OCR, czyli Optical Character Recognition, to technologia zamiany obrazu na tekst. W praktyce oznacza to, że system OCR bierze skan, zdjęcie, stronę PDF albo obraz dokumentu i próbuje odtworzyć tekst, który widzi człowiek.
Na pierwszy rzut oka brzmi to prosto: obraz wchodzi, tekst wychodzi.
W realnych dokumentach szybko okazuje się jednak, że OCR to nie tylko rozpoznawanie liter. Dobry OCR musi zachować kolejność czytania, nie mieszać kolumn, nie gubić fragmentów tekstu, poprawnie rozpoznawać polskie znaki, radzić sobie z małym drukiem, tabelami, pieczątkami, podpisami, skanami słabej jakości i dokumentami, które nie wyglądają jak idealny PDF z prezentacji sprzedażowej.
Dlatego przygotowaliśmy serię publicznych benchmarków OCR dla języka polskiego. Chcieliśmy sprawdzić nie tylko jak OCR wygląda na prostym przykładzie demonstracyjnym, ale także jak radzi sobie z realnymi polskimi dokumentami.
Wynik jest prosty do podsumowania:
clearOCR zajął pierwsze miejsce we wszystkich 6 publicznych benchmarkach opisanych w tym artykule.
Testy objęły różne typy dokumentów: dokumenty urzędowe, teksty prawne, OWU, strony prasowe, wycinki archiwalne oraz mieszane polskie dokumenty biznesowo-administracyjne.
To ważne, bo osoba szukająca OCR zwykle nie pyta: „który model wygrał abstrakcyjny ranking?”. Pyta raczej:
Czy ten OCR dobrze poradzi sobie z moimi dokumentami?
Właśnie na to pytanie odpowiadają poniższe benchmarki.
Najważniejsze wyniki w skrócie
W sześciu publicznych benchmarkach clearOCR uzyskał:
- 6 razy pierwsze miejsce na 6 benchmarków,
- od 79% do 94% wygranych porównań parami,
- od 157 do 387 punktów ELO przewagi nad drugim miejscem,
- najlepszy wynik na dokumentach urzędowych, prawnych, ubezpieczeniowych, prasowych, archiwalnych i mieszanych.
| Benchmark | 1. miejsce | ELO clearOCR | Win% clearOCR | Drugi model | ELO drugiego modelu | Przewaga ELO |
|---|---|---|---|---|---|---|
| Mieszane polskie dokumenty | clearocr.com/clearocr-api | 1735 | 82% | rednote-hilab/dots.ocr | 1491 | 244 |
| Dokumenty urzędowe | clearocr.com/clearocr-api | 1702 | 79% | deepseek-ai/DeepSeek-OCR | 1545 | 157 |
| Polskie dokumenty prawne UE | clearocr.com/clearocr-api | 1861 | 88% | lightonai/LightOnOCR-2-1B | 1681 | 180 |
| OWU i dokumenty ubezpieczeniowe | clearocr.com/clearocr-api | 1793 | 87% | deepseek-ai/DeepSeek-OCR | 1617 | 176 |
| Polskie strony prasowe | clearocr.com/clearocr-api | 1916 | 94% | lightonai/LightOnOCR-2-1B | 1529 | 387 |
| Fiszki i wycinki archiwalne | clearocr.com/clearocr-api | 1777 | 87% | lightonai/LightOnOCR-2-1B | 1567 | 210 |
Pełna kolekcja benchmarków jest dostępna publicznie na Hugging Face: Polish OCR Benchmarks – Results.
Dlaczego porównanie OCR dla języka polskiego jest trudne?
Nie każdy OCR rozwiązuje ten sam problem.
Inaczej wygląda rozpoznawanie tekstu z czystego, prostego PDF-a. Inaczej ze zdjęcia dokumentu. Jeszcze inaczej ze starej gazety, OWU, dokumentu urzędowego, umowy z tabelą albo skanu z pieczątką i podpisem.
W praktyce system OCR może dobrze działać na jednym typie dokumentów i słabo na innym. To dlatego ogólne rankingi OCR bywają mylące. Średni wynik z wielu języków i wielu typów danych nie musi mówić nic o tym, czy narzędzie poradzi sobie z polską uchwałą rządową, OWU albo stroną z gazety.
Dla języka polskiego dochodzi kilka dodatkowych problemów:
- polskie znaki diakrytyczne,
- długie formalne zdania,
- skróty prawne i administracyjne,
- numeracje paragrafów, ustępów i punktów,
- wiele kolumn,
- mały druk,
- skany o różnej jakości,
- dokumenty z pieczątkami, podpisami i adnotacjami.
W takim materiale jeden pozornie mały błąd może mieć duże znaczenie. Jeśli OCR zgubi numer punktu, pomyli kolejność kolumn albo zamieni polski znak, wynik może być trudny do użycia w dalszym procesie.
A OCR coraz rzadziej jest końcem pracy. Najczęściej jest pierwszym etapem większego procesu: wyszukiwania, archiwizacji, ekstrakcji danych, analizy prawnej, klasyfikacji, RAG'ów, porównywania dokumentów albo przekazywania tekstu do modelu llm w celu dalszej analizy.
Jeżeli OCR popełni błąd na wejściu, cały dalszy proces pracuje na uszkodzonym tekście.
Jak działał benchmark?
Benchmarki zostały wykonane na bazie narzędzia davanstrien/ocr-bench.
To narzędzie jest zbudowane wokół bardzo praktycznej idei: nie istnieje jeden najlepszy OCR do wszystkiego. Najlepszy system zależy od dokumentów, które chcemy przetwarzać.
Dlatego ocr-bench pozwala tworzyć osobne rankingi dla konkretnych kolekcji dokumentów. W naszym przypadku były to polskie dokumenty: urzędowe, prawne, prasowe, ubezpieczeniowe, archiwalne i mieszane.
Porównania parami, czyli proste pytanie: który wynik jest lepszy?
Zamiast sprowadzać ocenę OCR tylko do jednej automatycznej miary, benchmark działa na zasadzie porównań parami.
Dla tego samego obrazu dokumentu porównywane są dwa wyniki OCR. Sędzia widzi:
- obraz źródłowy,
- wynik OCR A,
- wynik OCR B.
Następnie wybiera, który wynik lepiej odtwarza tekst z dokumentu.
To przypomina zwykłą ludzką ocenę jakości: patrzymy na dokument i pytamy, która transkrypcja jest bardziej poprawna, pełniejsza i bardziej użyteczna.
W opublikowanych benchmarkach jako sędzia występował model Qwen3.5-35B-A3B.
Co oznacza ELO?
ELO to sposób budowania rankingu na podstawie wielu bezpośrednich pojedynków. Najbardziej znany jest z szachów, ale ta sama idea dobrze pasuje do porównań OCR.
Jeśli system OCR często wygrywa bezpośrednie porównania z innymi systemami, jego wynik ELO rośnie. Jeśli często przegrywa, spada.
W tym artykule ELO nie oznacza „procentowej dokładności OCR”. Oznacza pozycję rankingową wyliczoną na podstawie wielu porównań parami.
Co to jest metoda Bradley-Terry?
Bradley-Terry to metoda statystyczna do pracy z porównaniami parami. Jej zadanie jest proste: na podstawie wielu pojedynków typu „A wygrał z B” oszacować siłę poszczególnych uczestników rankingu.
W benchmarku OCR oznacza to, że metoda pomaga odpowiedzieć na pytanie:
Skoro porównaliśmy wiele wyników OCR między sobą, który system najczęściej daje lepszą transkrypcję?
Wyniki są prezentowane jako ELO z 95% przedziałem ufności. Przedział ufności pokazuje, jak stabilny jest wynik statystycznie. Jeżeli przedziały dwóch modeli mocno się rozjeżdżają, mamy większą pewność, że różnica nie jest przypadkowa.
Czego ta metoda nie robi?
To nie jest klasyczny pomiar CER/WER liczony względem ręcznie przygotowanego ground truth. To ranking porównawczy: oceniamy, który wynik OCR jest lepszy dla konkretnego obrazu.
Takie podejście ma dużą zaletę: pozwala testować realne zbiory dokumentów nawet wtedy, gdy nie mamy ręcznie przygotowanej idealnej transkrypcji dla każdej strony.
Ma też ograniczenie: wynik zależy od jakości sędziego, zestawu porównywanych modeli i typu dokumentów. Dlatego każdy benchmark trzeba czytać w kontekście konkretnego datasetu.
Benchmark 1: mieszane polskie dokumenty
Dataset źródłowy
Benchmark wynikowy: Lukaszl/pl-mixed-docs-ocr-dataset-100-v1-results
Dataset źródłowy z obrazami: No240we1/polish_documents
Dataset źródłowy No240we1/polish_documents to obrazowy zbiór polskich dokumentów. Zawiera różne klasy dokumentów, m.in. wnioski, upoważnienia, umowy B2B, wyciągi bankowe i akty urodzenia.
W benchmarku wykorzystano próbkę 100 polskich obrazów dokumentowych. To test różnorodności: zamiast jednego typu dokumentu mamy przekrój przez dokumenty o różnych układach i poziomach trudności.
Dlaczego ten dataset jest trudny?
To scenariusz bardzo bliski praktyce. W realnym systemie OCR użytkownik rzadko przesyła wyłącznie jeden perfekcyjny typ formularza. Częściej trafia się paczka różnych dokumentów: formularze, umowy, skany, załączniki, dokumenty urzędowe i biznesowe.
Wyzwania dla OCR:
- wiele typów dokumentów w jednym teście,
- różne układy stron,
- formularze i pola opisowe,
- elementy tabelaryczne,
- polskie znaki,
- różne kroje pisma,
- konieczność zachowania logicznej kolejności czytania.
To dobry test ogólnej odporności OCR na polskie dokumenty.
Wyniki benchmarku
Liczba porównań: 1000
Sędzia: Qwen3.5-35B-A3B
Metoda: Bradley-Terry MLE with bootstrap 95% CIs
| Rank | Model | Params | ELO | 95% CI | Wins | Losses | Ties | Win% |
|---|---|---|---|---|---|---|---|---|
| 1 | clearocr.com/clearocr-api | — | 1735 | 1704–1773 | 326 | 53 | 21 | 82% |
| 2 | rednote-hilab/dots.ocr | 1.7B | 1491 | 1462–1521 | 185 | 190 | 25 | 46% |
| 3 | zai-org/GLM-OCR | 0.9B | 1451 | 1422–1480 | 159 | 215 | 26 | 40% |
| 4 | lightonai/LightOnOCR-2-1B | 1B | 1451 | 1424–1481 | 167 | 224 | 9 | 42% |
| 5 | FireRedTeam/FireRed-OCR | 2.1B | 1373 | 1342–1403 | 119 | 274 | 7 | 30% |
Interpretacja wyniku
Na mieszanym zbiorze polskich dokumentów clearOCR uzyskał 1735 ELO i 82% wygranych porównań.
Drugi model, rednote-hilab/dots.ocr, uzyskał 1491 ELO. Przewaga clearOCR wyniosła więc 244 punkty ELO.
To ważny wynik, bo ten benchmark nie testuje jednego wąskiego przypadku. Pokazuje, jak OCR zachowuje się wtedy, gdy dokumenty są różne. Z punktu widzenia osoby szukającej OCR API do codziennej pracy to często najbliższy rzeczywistości scenariusz.
W tym benchmarku clearOCR był najwyżej ocenionym systemem OCR.
Benchmark 2: polskie dokumenty urzędowe
Dataset źródłowy
Benchmark wynikowy: Lukaszl/pl-government-docs-mix-ocr-dataset-v1-results
Dataset źródłowy z obrazami: Lukaszl/pl-government-docs-mix-ocr-dataset
Dataset źródłowy Lukaszl/pl-government-docs-mix-ocr-dataset zawiera polskie dokumenty administracyjne i urzędowe. W takich danych pojawiają się m.in. uchwały, załączniki, obwieszczenia, regulaminy, strony tabelaryczne, podpisy, pieczątki i skany o różnej jakości.
Dlaczego ten dataset jest trudny?
Dokumenty urzędowe często wyglądają spokojnie, ale są trudne dla OCR. Mają dużo formalnego tekstu, numeracji, tabel, załączników i elementów graficznych, które mogą zaburzać kolejność czytania.
Wyzwania dla OCR:
- gęsty tekst formalny,
- tabele i załączniki,
- podpisy i pieczątki,
- numeracje, paragrafy i listy,
- skany o różnej jakości,
- ryzyko pomieszania elementów strony.
W takim materiale OCR musi być nie tylko „czytelny”, ale też użyteczny. Jeśli wynik ma trafić do archiwum, wyszukiwarki albo systemu ekstrakcji danych, kolejność i kompletność tekstu są kluczowe.
Wyniki benchmarku
Liczba porównań: 1013
Sędzia: Qwen3.5-35B-A3B
Metoda: Bradley-Terry MLE with bootstrap 95% confidence intervals
| Rank | Model | Params | ELO | 95% CI | Wins | Losses | Ties | Win% |
|---|---|---|---|---|---|---|---|---|
| 1 | clearocr.com/clearocr-api | — | 1702 | 1676–1733 | 403 | 103 | 1 | 79% |
| 2 | deepseek-ai/DeepSeek-OCR | 4B | 1545 | 1519–1573 | 283 | 222 | 1 | 56% |
| 3 | lightonai/LightOnOCR-2-1B | 1B | 1522 | 1496–1549 | 265 | 241 | 0 | 52% |
| 4 | zai-org/GLM-OCR | 0.9B | 1231 | 1193–1261 | 61 | 446 | 0 | 12% |
Interpretacja wyniku
Na polskich dokumentach urzędowych clearOCR uzyskał 1702 ELO i 79% wygranych porównań.
Drugi model, deepseek-ai/DeepSeek-OCR, uzyskał 1545 ELO. Przewaga clearOCR wyniosła 157 punktów ELO.
To najmniejsza przewaga clearOCR w całej opisanej serii, ale nadal wyraźna. Przedział ufności clearOCR znajduje się powyżej przedziału drugiego modelu, co wzmacnia interpretację, że clearOCR faktycznie był liderem tego benchmarku.
To ważny benchmark z praktycznego punktu widzenia. Dokumenty administracyjne są jednym z najczęstszych zastosowań OCR: digitalizacja archiwów, obieg dokumentów, wyszukiwanie pełnotekstowe, ekstrakcja danych z decyzji, uchwał, załączników i formularzy.
W tym benchmarku clearOCR był najwyżej ocenionym OCR AI dla polskich dokumentów urzędowych.
Benchmark 3: polskie dokumenty prawne UE
Dataset źródłowy
Benchmark wynikowy: Lukaszl/eu-law-ocr-dataset-pl-100-v1-results
Dataset źródłowy z obrazami: Lukaszl/eu-law-ocr-dataset-pl-100
Dataset źródłowy Lukaszl/eu-law-ocr-dataset-pl-100 zawiera 100 obrazów stron JPG w języku polskim, pochodzących z dokumentów prawnych i regulacyjnych UE. To obrazowy zestaw do szybkiego testowania OCR na polskich tekstach prawnych.
Dlaczego ten dataset jest trudny?
Dokumenty prawne nie zawsze wyglądają ekstremalnie. Ich trudność jest inna: tu liczy się precyzja.
Wyzwania dla OCR:
- gęsty tekst,
- długie zdania,
- mały font,
- numerowane akapity,
- odwołania do artykułów, ustępów i punktów,
- formalna interpunkcja,
- wysoka wrażliwość na pojedyncze błędy.
W tekście prawnym zgubiony punkt, zmieniona kolejność albo błędnie rozpoznany fragment może zmienić sens późniejszej analizy. Dlatego OCR dokumentów prawnych musi być stabilny, a nie tylko „mniej więcej poprawny”.
Wyniki benchmarku
Liczba porównań: 1000
Sędzia: Qwen3.5-35B-A3B
Metoda: Bradley-Terry MLE with bootstrap 95% CIs
| Rank | Model | Params | ELO | 95% CI | Wins | Losses | Ties | Win% |
|---|---|---|---|---|---|---|---|---|
| 1 | clearocr.com/clearocr-api | — | 1861 | 1815–1915 | 352 | 47 | 1 | 88% |
| 2 | lightonai/LightOnOCR-2-1B | 1B | 1681 | 1648–1724 | 275 | 124 | 1 | 69% |
| 3 | rednote-hilab/dots.ocr | 1.7B | 1501 | 1463–1543 | 180 | 206 | 14 | 45% |
| 4 | deepseek-ai/DeepSeek-OCR | 4B | 1468 | 1429–1510 | 164 | 221 | 15 | 41% |
| 5 | zai-org/GLM-OCR | 0.9B | 990 | 899–1050 | 13 | 386 | 1 | 3% |
Interpretacja wyniku
Na polskich dokumentach prawnych UE clearOCR uzyskał 1861 ELO i 88% wygranych porównań.
Drugi model, lightonai/LightOnOCR-2-1B, uzyskał 1681 ELO. Przewaga clearOCR wyniosła 180 punktów ELO.
Ten wynik jest istotny, bo dokumenty prawne premiują dokładność i stabilność. Tu nie wystarczy rozpoznać większości słów. Trzeba zachować kolejność, numerację i kompletność tekstu, bo wynik OCR często trafia dalej: do wyszukiwarki, bazy wiedzy, systemu compliance, ekstraktora danych albo modelu językowego.
W tym benchmarku clearOCR był najwyżej ocenionym OCR dla polskojęzycznych dokumentów prawnych UE.
Benchmark 4: OWU i polskie dokumenty ubezpieczeniowe
Dataset źródłowy
Benchmark wynikowy: Lukaszl/clearocr-benchmark-pl-insurance-terms-v1-results
Dataset źródłowy z obrazami: byczong/pl-insurance-terms-struct
Dataset źródłowy byczong/pl-insurance-terms-struct zawiera polskie dokumenty ubezpieczeniowe, w tym teksty typu OWU. Dane są związane ze strukturą dokumentów prawnych i ubezpieczeniowych, gdzie występują zagnieżdżone listy, definicje, paragrafy i długie fragmenty formalnego tekstu.
Dlaczego ten dataset jest trudny?
OWU, czyli ogólne warunki ubezpieczenia, to jeden z najbardziej praktycznych testów jakości OCR. To dokumenty, które potrafią wyglądać czytelnie dla człowieka, ale są trudne dla systemów automatycznych.
Wyzwania dla OCR:
- mały druk,
- długie akapity,
- definicje pojęć,
- numerowane paragrafy,
- zagnieżdżone listy,
- odwołania wewnętrzne,
- gęsty skład tekstu,
- wysoka wrażliwość na zgubione punkty i numeracje.
Jeśli OCR zgubi numerację albo połączy dwa punkty listy, późniejsza analiza OWU może być błędna. To szczególnie ważne w branży ubezpieczeniowej, prawnej i finansowej.
Wyniki benchmarku
Liczba porównań: 1089
Sędzia: Qwen3.5-35B-A3B
Metoda: Bradley-Terry MLE with bootstrap 95% CIs
| Rank | Model | Params | ELO | 95% CI | Wins | Losses | Ties | Win% |
|---|---|---|---|---|---|---|---|---|
| 1 | clearocr.com/clearocr-api | — | 1793 | 1754–1840 | 379 | 56 | 1 | 87% |
| 2 | deepseek-ai/DeepSeek-OCR | 4B | 1617 | 1585–1653 | 291 | 144 | 1 | 67% |
| 3 | lightonai/LightOnOCR-2-1B | 1B | 1471 | 1439–1502 | 203 | 232 | 0 | 47% |
| 4 | baidu/Qianfan-OCR | 4.7B | 1311 | 1276–1344 | 108 | 327 | 0 | 25% |
| 5 | rednote-hilab/dots.ocr | 1.7B | 1309 | 1272–1344 | 107 | 329 | 0 | 25% |
Interpretacja wyniku
Na benchmarku OWU i dokumentów ubezpieczeniowych clearOCR uzyskał 1793 ELO i 87% wygranych porównań.
Drugi model, deepseek-ai/DeepSeek-OCR, uzyskał 1617 ELO. Przewaga clearOCR wyniosła 176 punktów ELO.
Ten wynik dobrze pokazuje znaczenie specjalizacji pod polskie dokumenty. OWU nie są materiałem efektownym, ale są bardzo wymagające: gęsty tekst, zagnieżdżone listy, definicje i numeracje tworzą środowisko, w którym błędy OCR łatwo przenoszą się na dalsze etapy pracy.
W tym benchmarku clearOCR był najwyżej ocenionym OCR dla polskich dokumentów ubezpieczeniowych i OWU.
Benchmark 5: polskie strony prasowe i magazynowe
Dataset źródłowy
Benchmark wynikowy: Lukaszl/pl-newspaper-pages-ocr-dataset-100-v1-results
Dataset źródłowy z obrazami: Lukaszl/pl-newspaper-pages-ocr-dataset-100
Dataset źródłowy Lukaszl/pl-newspaper-pages-ocr-dataset-100 zawiera 100 obrazów JPG polskich stron prasowych i magazynowych. To obrazy stron z układami redakcyjnymi, wieloma blokami tekstu, kolumnami, grafikami i elementami pobocznymi.
Dlaczego ten dataset jest trudny?
Strony prasowe są trudne nie tylko dlatego, że zawierają dużo tekstu. Największy problem to często **kolejność czytania**.
Wyzwania dla OCR:
- wiele kolumn,
- nagłówki i śródtytuły,
- podpisy pod zdjęciami,
- ramki boczne,
- reklamy,
- wyróżnione sekcje,
- tekst przeplatany grafiką,
- ryzyko mieszania kolumn i bloków.
OCR może rozpoznać dużo pojedynczych słów poprawnie, a mimo to dać zły wynik, jeśli pomiesza kolejność kolumn albo wstawi podpis pod zdjęciem w środek artykułu.
Dlatego strony prasowe są bardzo dobrym testem praktycznej jakości OCR AI.
Wyniki benchmarku
Liczba porównań: 997
Sędzia: Qwen3.5-35B-A3B
Metoda: Bradley-Terry MLE with bootstrap 95% CIs
| Rank | Model | Params | ELO | 95% CI | Wins | Losses | Ties | Win% |
|---|---|---|---|---|---|---|---|---|
| 1 | clearocr.com/clearocr-api | — | 1916 | 1865–1989 | 375 | 24 | 0 | 94% |
| 2 | lightonai/LightOnOCR-2-1B | 1B | 1529 | 1495–1566 | 221 | 178 | 0 | 55% |
| 3 | deepseek-ai/DeepSeek-OCR | 4B | 1504 | 1468–1542 | 208 | 190 | 0 | 52% |
| 4 | FireRedTeam/FireRed-OCR | 2.1B | 1387 | 1350–1420 | 147 | 252 | 0 | 37% |
| 5 | zai-org/GLM-OCR | 0.9B | 1163 | 1107–1208 | 46 | 353 | 0 | 12% |
Interpretacja wyniku
To najmocniejszy wynik clearOCR w całej serii.
Na polskich stronach prasowych i magazynowych clearOCR uzyskał 1916 ELO i 94% wygranych porównań.
Drugi model, lightonai/LightOnOCR-2-1B, uzyskał 1529 ELO. Przewaga clearOCR wyniosła 387 punktów ELO.
To szczególnie ważne, bo strony prasowe mocno sprawdzają kolejność czytania. W praktyce dobry OCR dla gazet, magazynów i archiwów prasowych musi odtworzyć tekst tak, żeby dało się go czytać, indeksować i analizować. Nie wystarczy rozpoznać rozsypanych fragmentów.
W tym benchmarku clearOCR miał największą przewagę nad drugim miejscem spośród wszystkich opisanych testów.
Benchmark 6: fiszki i wycinki archiwalne
Dataset źródłowy
Benchmark wynikowy: Lukaszl/clearocr-benchmark-fiszki91-v1-results
Dataset źródłowy z obrazami: Zombely/fiszki-ocr-test-A
Dataset źródłowy Zombely/fiszki-ocr-test-A zawiera 91 obrazów. W benchmarku są to materiały o charakterze fiszek i wycinków archiwalnych, często bliższe zeskanowanym fragmentom niż czystym, współczesnym stronom PDF.
Dlaczego ten dataset jest trudny?
Fiszki i wycinki są trudne, bo dokument nie zawsze ma pełny, przewidywalny układ strony. Materiał może być fragmentaryczny, mieć gorszą jakość druku lub skanu, mały tekst albo elementy zakłócające.
Wyzwania dla OCR:
- mały druk,
- zmienna jakość skanu,
- artefakty papieru,
- przebarwienia,
- odręczne adnotacje,
- fragmentaryczny kontekst,
- układ wycinka zamiast pełnej strony.
To dobry test dla OCR, który ma pracować nie tylko na nowych, czystych dokumentach, ale też na archiwach, bibliotekach cyfrowych i historycznych zbiorach tekstowych.
Wyniki benchmarku
Liczba porównań: 907
Sędzia: Qwen3.5-35B-A3B
Metoda: Bradley-Terry MLE with bootstrap 95% CIs
| Rank | Model | Params | ELO | 95% CI | Wins | Losses | Ties | Win% |
|---|---|---|---|---|---|---|---|---|
| 1 | clearocr.com/clearocr-api | — | 1777 | 1734–1824 | 316 | 47 | 0 | 87% |
| 2 | lightonai/LightOnOCR-2-1B | 1B | 1567 | 1537–1603 | 222 | 141 | 0 | 61% |
| 3 | deepseek-ai/DeepSeek-OCR | 4B | 1412 | 1378–1444 | 137 | 225 | 0 | 38% |
| 4 | FireRedTeam/FireRed-OCR | 2.1B | 1380 | 1345–1411 | 120 | 243 | 0 | 33% |
| 5 | zai-org/GLM-OCR | 0.9B | 1364 | 1326–1400 | 112 | 251 | 0 | 31% |
Interpretacja wyniku
Na fiszkach i wycinkach archiwalnych clearOCR uzyskał 1777 ELO i 87% wygranych porównań.
Drugi model, lightonai/LightOnOCR-2-1B, uzyskał 1567 ELO. Przewaga clearOCR wyniosła 210 punktów ELO.
To kolejny benchmark, w którym clearOCR nie tylko zajął pierwsze miejsce, ale wyraźnie oddzielił się od reszty stawki. Ten wynik jest szczególnie istotny dla digitalizacji archiwów, bibliotek, kolekcji prasowych i materiałów historycznych.
W tym benchmarku clearOCR był najwyżej ocenionym OCR dla fiszek i wycinków archiwalnych.
Co te wyniki oznaczają w praktyce?
Najprostszy wniosek brzmi:
W sześciu różnych publicznych benchmarkach polskich dokumentów clearOCR zajął sześć pierwszych miejsc.
Ale ważniejsze jest to, na jakich danych zostało to sprawdzone.
To nie był jeden prosty test na czystym tekście. Benchmarki obejmowały:
- dokumenty mieszane,
- dokumenty urzędowe,
- dokumenty prawne UE,
- OWU i dokumenty ubezpieczeniowe,
- strony prasowe i magazynowe,
- fiszki oraz wycinki archiwalne.
To są dokładnie te typy dokumentów, na których OCR w realnych wdrożeniach często zaczyna się psuć.
Dla użytkownika oznacza to, że clearOCR nie został sprawdzony wyłącznie na łatwych przykładach. Został porównany na zróżnicowanych polskich danych, gdzie liczą się polskie znaki, kolejność czytania, formalny język, mały druk, układ strony i odporność na jakość skanu.
Największa przewaga clearOCR pojawiła się na stronach prasowych, czyli tam, gdzie ważna jest nie tylko poprawność znaków, ale też zachowanie sensownego przepływu tekstu. Dobre wyniki na dokumentach prawnych i OWU pokazują z kolei stabilność na gęstym, formalnym tekście.
Czego te benchmarki nie pokazują?
Warto postawić sprawę uczciwie.
Te benchmarki nie są uniwersalnym rankingiem wszystkich systemów OCR na świecie. Nie obejmują każdego języka, każdego typu dokumentu, każdego modelu i każdej możliwej metody oceny.
Nie są też klasycznym pomiarem CER/WER względem ręcznie przygotowanego ground truth.
Pokazują coś bardziej konkretnego i, dla wielu użytkowników w Polsce, bardziej praktycznego:
W publicznych benchmarkach opartych na polskich dokumentach clearOCR osiągnął najlepszy wynik w każdym z sześciu testów.
To jest mocniejsza informacja niż ogólne hasło reklamowe. W realnym wdrożeniu najważniejsze pytanie brzmi bowiem nie „kto jest najlepszy wszędzie?”, tylko:
Który OCR działa najlepiej na dokumentach podobnych do moich?
Jeżeli Twoje dokumenty są podobne do tych benchmarków — polskie, formalne, urzędowe, prawne, ubezpieczeniowe, prasowe, archiwalne albo mieszane — te wyniki są dobrym punktem odniesienia.
Dlaczego jakość OCR ma znaczenie dla całego procesu?
OCR to często pierwszy element większego systemu.
Najpierw rozpoznajemy tekst z PDF-a, skanu albo zdjęcia. Dopiero potem robimy kolejne rzeczy:
- wyszukujemy dokumenty,
- indeksujemy archiwum,
- klasyfikujemy treści,
- wyciągamy dane do systemu,
- porównujemy dokumenty,
- budujemy bazę wiedzy,
- przekazujemy tekst do modelu językowego,
- automatyzujemy obieg dokumentów.
Jeśli OCR pomyli tekst na początku, dalsze etapy mogą działać na błędnych danych. Wyszukiwarka może nie znaleźć dokumentu. Ekstraktor może zgubić pole. Model językowy może dostać niepełny kontekst. Człowiek może tracić czas na ręczne poprawki.
Dlatego dobry OCR do polskich dokumentów powinien być oceniany na danych podobnych do tych, które naprawdę trafiają do systemu. Właśnie taki był cel opisanych benchmarków.
Podsumowanie
Dla języka polskiego nie wystarczy testować OCR na ogólnych, międzynarodowych benchmarkach. Polski OCR warto sprawdzać na polskich dokumentach: urzędowych, prawnych, ubezpieczeniowych, prasowych, archiwalnych i mieszanych.
W opisanej serii publicznych benchmarków clearOCR wygrał wszystkie sześć testów:
- Mieszane polskie dokumenty — 1. miejsce, 1735 ELO, 82% Win%
- Dokumenty urzędowe — 1. miejsce, 1702 ELO, 79% Win%
- Polskie dokumenty prawne UE — 1. miejsce, 1861 ELO, 88% Win%
- OWU i dokumenty ubezpieczeniowe — 1. miejsce, 1793 ELO, 87% Win%
- Polskie strony prasowe — 1. miejsce, 1916 ELO, 94% Win%
- Fiszki i wycinki archiwalne — 1. miejsce, 1777 ELO, 87% Win%
To dobry sygnał dla firm, instytucji i zespołów technicznych, które szukają OCR API do polskich dokumentów i chcą oprzeć decyzję na publicznych porównaniach, a nie wyłącznie na deklaracjach marketingowych.
Jeżeli potrzebujesz OCR do PDF-ów, skanów, zdjęć dokumentów, OWU, dokumentów urzędowych, archiwów albo materiałów prasowych, clearOCR jest narzędziem, które warto przetestować na własnych danych.
Źródła i benchmarki
- Narzędzie benchmarkowe: davanstrien/ocr-bench
- Kolekcja wyników: Lukaszl/polish-ocr-benchmarks-results
- Wyniki: pl-mixed-docs-ocr-dataset-100-v1-results
- Dataset źródłowy: No240we1/polish_documents
- Wyniki: pl-government-docs-mix-ocr-dataset-v1-results
- Dataset źródłowy: pl-government-docs-mix-ocr-dataset)
- Wyniki: eu-law-ocr-dataset-pl-100-v1-results
- Dataset źródłowy: eu-law-ocr-dataset-pl-100
- Wyniki: clearocr-benchmark-pl-insurance-terms-v1-results
- Dataset źródłowy: byczong/pl-insurance-terms-struct
- Wyniki: pl-newspaper-pages-ocr-dataset-100-v1-results
- Dataset źródłowy: pl-newspaper-pages-ocr-dataset-100
- Wyniki: clearocr-benchmark-fiszki91-v1-results
- Dataset źródłowy: Zombely/fiszki-ocr-test-A
