Nowe na GitHubie
Źródła 33Wiadomości zawsze najświeższe
0 Newsletter
Animowana ilustracja do wpisu: OCR, MediaPipe i emocje twarzy w analizie rolekface.jsonPP-OCRv5MediaPipe
TestLAB · Lokalne AI · Porównanie · 12 min czytania

OCR, MediaPipe i emocje twarzy w analizie rolek

Czytam napisy z moich rolek modelem RapidOCR, śledzę twarz i spojrzenie w MediaPipe, a emocje w HSEmotion. Wszystko na procesorze Maca mini: czas i wyniki.

W skrócie
  • RapidOCR odczytuje napisy z ekranu dwa razy na sekundę, ale polskie ogonki czasem gubi.
  • MediaPipe znajduje twarz, kierunek głowy i spojrzenia, a HSEmotion ocenia emocje.
  • Wszystkie trzy działają na procesorze; na moich trzech rolkach zajmowały razem 18–22 s na minutę wideo.

Trzynasta część serii dotyczy trzech małych modeli, które w moim studiu rolek pracowały na procesorze, obok dużych modeli na karcie graficznej. RapidOCR czyta tekst z ekranu, MediaPipe śledzi twarz, kierunek głowy i spojrzenie, a HSEmotion ocenia emocje na twarzy. Żaden z nich nie robi wrażenia sam w sobie, ale razem mówią, co widz czyta i na kogo patrzy. Testuję je na trzech moich rolkach na Macu mini M6 z 32 GB.

Tekst na ekranie

Napisy w rolce robią dwie rzeczy: przyciągają uwagę w pierwszych sekundach i trzymają ją u osób, które oglądają bez dźwięku. Żeby to ocenić, studio musi wiedzieć, jaki tekst jest na ekranie, kiedy i gdzie. Robi to OCR, czyli odczytywanie tekstu z obrazu.

Używam RapidOCR. To projekt, który przenosi modele z PaddleOCR do formatu ONNX, dzięki czemu działają na zwykłym procesorze bez dużych dodatkowych bibliotek. Do znajdowania tekstu używam modeli PP-OCRv5 w lekkiej wersji mobile, a do odczytu liter modelu latin_PP-OCRv5_mobile_rec. Według dokumentacji obejmuje on też język polski. Wszystkie modele zajmują razem około 13 MB.

Ustawienia z projektu:

  • OCR czyta dwie klatki na sekundę,
  • całą klatkę zmniejszam do 1280 pikseli na dłuższym boku,
  • odrzucam odczyty poniżej progu pewności 0,6,
  • napisy dodane w montażu odróżniam od tekstu w tle po wysokości: element niższy niż 2,5% wysokości kadru to raczej napis na koszulce albo ekranie laptopa niż podpis rolki.

Każda ramka tekstu daje dane do cech rolki: czy jest tekst w pierwszych trzech sekundach, jak gęste są napisy i czy tekst nie wchodzi w miejsca zasłaniane przez Instagram.

Twarz, głowa i spojrzenie

MediaPipe Face Landmarker to model Google, który znajduje na twarzy 478 punktów twarzy, w tym po 5 na każdej tęczówce, co opisuje praca Google. Zwraca też macierz obrotu, czyli liczby opisujące, jak bardzo obrócona jest głowa.

Studio liczy z tych danych dwie rzeczy:

  • ze środków tęczówek i obrotu głowy, czy patrzę w kamerę,
  • z wielkości twarzy w kadrze, czy to zbliżenie, czy plan ogólny.

Osobny model, MediaPipe Hand Landmarker, znajduje 21 punktów na każdej dłoni. Studio liczy z nich, jak szybko środek dłoni przesuwa się w kadrze, co jest prostą miarą gestykulacji.

Jedna praktyczna uwaga z projektu: nowsza wersja biblioteki MediaPipe nie ma już starego sposobu uruchamiania o nazwie solutions. Przeszedłem więc na nowszy sposób, Tasks, z plikami modeli .task dołączonymi do repozytorium. Przy pionowych klatkach biblioteka ostrzega, że obraz nie jest kwadratowy, ale wykrywanie działa: w mojej rolce 47 s twarz była widoczna w 79% klatek.

Emocje

HSEmotion to zestaw lekkich sieci do rozpoznawania wyrazu twarzy. Według autorów uczono je między innymi na zbiorze AffectNet, czyli ponad milionie zdjęć twarzy opisanych ręcznie przez ludzi. Używam modelu enet_b0_8_best_afew, dostrojonego pod wideo (zbiór AFEW). Autor opisuje to podejście w pracy o rozpoznawaniu mimiki na urządzeniach mobilnych.

AffectNet ma własne warunki użycia, więc przed użyciem komercyjnym trzeba je sprawdzić. Ja używam emocji wyłącznie jako wewnętrznej miary w analizie własnych rolek. Korzystam z pakietu hsemotion-onnx na licencji Apache 2.0, z modelem, który rozpoznaje osiem rodzajów wyrazu twarzy. Wycinek twarzy z MediaPipe trafia do modelu kilka razy na sekundę, a wynikiem jest emocja z największym prawdopodobieństwem.

Do wyników tego modelu podchodzę ostrożnie. Rozpoznaje wygląd twarzy, a nie to, co człowiek czuje. Uśmiech przy mówieniu bywa odczytany jako radość niezależnie od treści.

Mój model przewidywania wyników nie korzysta więc z nazwy emocji, tylko z natężenia mimiki na początku rolki, czyli z tego, jak bardzo twarz odchodzi od neutralnej. Ta cecha była wśród ważniejszych dla polubień i komentarzy. Udział twarzy w całej rolce działał na minus dla zapisów i udostępnień, a na plus dla komentarzy. To nie znaczy, że należy chować twarz. Raczej to, że w rolkach, w których dużo mówię do kamery, liczy się też to, co poza moją twarzą dzieje się na ekranie.

Trzy modele na procesorze w moim studiu (czasy z 47 moich rolek, 29.10.2026)
Co zwracaMediana na rolkęNa minutę wideo
RapidOCR PP-OCRv5tekst, pewność i ramka, 2× na sekundę36,6 s24,9 s
MediaPipe + HSEmotiontwarz, głowa, spojrzenie, dłonie, emocje12,8 s8,9 s

Liczby ze studia są wyższe niż w moim pomiarze i nie ma w tym sprzeczności. W partii z 29 października było 47 rolek, a ich mediana długości wynosiła 90 s. OCR znajdował w medianie 9,5 fragmentu tekstu na klatkę, więcej niż w najgęstszej rolce testu (7,3). OCR płaci czasem za każdy fragment, więc minuta takiej rolki kosztuje więcej. Te same trzy rolki zajęły w studiu 4,5, 11,2 i 27,9 s OCR, czyli niewiele więcej niż w pomiarze, bo w partii obok OCR pracują też inne etapy analizy.

Z tych samych danych mój model wyciągnął jeszcze dwie rzeczy: duża twarz na początku rolki szła w parze z mniejszą liczbą udostępnień, a kontakt wzrokowy na początku rolki z większą liczbą obserwacji.

Na czym i jak mierzę

Sprzęt testowy: mój Mac mini (dane z system_profiler i ze strony Apple)
Mac mini M6 (Mac18,5)
ProcesorApple M6, 12 rdzeni CPU: 2 Super, 4 Performance, 6 Efficiency
Grafika12 rdzeni GPU, Metal 4
Pamięć32 GB pamięci wspólnej dla procesora i grafiki, przepustowość 170 GB/s
DyskSSD 512 GB (494 GB po sformatowaniu)
SystemmacOS 27.0.1

Biorę trzy moje rolki (26 s, 47 s i 90 s) i uruchamiam te same funkcje co w studiu. OCR mierzę trzy razy, a analizę twarzy z emocjami dwa razy. Zapisuję:

  • czas pracy,
  • liczbę odczytanych napisów,
  • udział klatek z twarzą,
  • udział klatek z kontaktem wzrokowym,
  • pierwsze rozpoznane emocje.

Do artykułu rysuję ramki tekstu na klatce z największą liczbą odczytów: w klipie z Veo i w mojej rolce 47 s z napisami. Pomiar robię na Macu, na którym nie działają inne ciężkie programy. Osobny, pojedynczy przebieg nagrałem w prawdziwym oknie Terminala.

Nagranie pojedynczego przebiegu w prawdziwym Terminalu. Liczby w tabelach pochodzą z osobnego pomiaru.

Wyniki

Klatka z klipu Veo 3.1 z turkusowymi ramkami fałszywych odczytów OCR na okularach i obrazku na półce
Klip wygenerowany w Veo 3.1 bez napisów: RapidOCR uznał za tekst oprawki okularów i obrazek na półce („29”, „6”).

OCR i analiza twarzy na procesorze Maca mini M6 (OCR: mediana z 3, twarz: średnia z 2 przebiegów; pomiar 9.11.2026)
Rolka 26 s (Veo 3.1)Rolka 47 s (telefon)Rolka 90 s (ekran)
OCR: czas3,4 s8,3 s25,1 s
OCR: s na minutę wideo7,8 s10,6 s16,7 s
OCR: klatki / odczytane fragmenty tekstu52 / 2393 / 367181 / 1316
Twarz i emocje: czas4,6 s6,1 s7,7 s
Twarz i emocje: s na minutę wideo10,6 s7,8 s5,1 s
Twarz w kadrze100%79%31%
Kontakt wzrokowy (gdy widać twarz)50%97%98%

Czas OCR rośnie z ilością tekstu, a nie tylko z długością rolki. Rolka 90 s, w której przez większość czasu widać ekran komputera, dała 1316 fragmentów tekstu i kosztowała 16,7 s na minutę. Klip z Veo bez napisów kosztował tylko 7,8 s.

Analiza twarzy zachowuje się odwrotnie: w przeliczeniu na minutę jest najtańsza tam, gdzie twarzy jest mało. MediaPipe analizuje 10 klatek na sekundę w rozdzielczości 512 pikseli, a HSEmotion liczy emocje tylko na klatkach z twarzą. Każdy przebieg zaczyna się też od wczytania modeli, co w krótkiej rolce podnosi koszt na minutę. Cały test zajął najwyżej 1,1 GB pamięci, więc oba etapy spokojnie mieszczą się obok dużych modeli na karcie graficznej.

Klatka mojej rolki z polskimi napisami w turkusowych ramkach OCR: Poproszę go naprawić, poproszę kupić nowy, pójść do kasy, kupić, wrócić
Polskie napisy na mojej rolce 47 s: ramki pokazują fragmenty tekstu, które znalazł RapidOCR.

Na mojej rolce z napisami OCR znalazł i odczytał każde słowo, ale z polskimi znakami bywa różnie:

  • w napisie „Poproszę go naprawić, poproszę kupić nowy, pójść do kasy, kupić, wrócić” słowo „Poproszę” w jednych klatkach wyszło poprawnie, a w sąsiednich jako „Poprosze”,
  • „Pójść” zamieniło się w „pójé”, „pójśé” albo „pójsé” i tylko czasem wyszło poprawnie,
  • w następnym napisie, „Nie, nie mogę wrócić do komita, nie mogę postawić worktree…”, OCR w każdej zapisanej klatce zapisał „mogę” jako „moge”, z pewnością 0,995–0,999.

To ważna lekcja: wysoka pewność nie oznacza poprawnych znaków diakrytycznych. Do wyszukiwania i liczenia słów warto więc porównywać tekst bez polskich znaków. Studio już to robi: przed porównaniem usuwa ogonki z każdego słowa.

Inaczej wygląda klip z Veo bez napisów (ramki wyżej). Tam OCR uznał za tekst oprawki okularów i obrazek na półce („29” i „6”). Przy rolkach bez napisów trzeba więc odrzucać pojedyncze, krótkie odczyty.

Analiza twarzy dała sensowne liczby. W moich nagraniach patrzę w kamerę przez 97–98% czasu, w którym widać twarz. W klipie z Veo tylko przez połowę, bo postacie rozmawiają ze sobą albo mają głowę obróconą o więcej niż 15°, a tyle studio uznaje za granicę kontaktu wzrokowego.

Emocje są mniej pewne:

  • na początku rolki o drzwiach (47 s) model widział smutek z prawdopodobieństwem do 0,90, co pasuje do płaczliwej miny w pierwszych sekundach,
  • w rolce o domenie (90 s), przy zwykłym mówieniu, podawał w pierwszych dwóch sekundach na zmianę „wstręt” i „zaskoczenie” z prawdopodobieństwem tylko 0,24–0,46, czego w tym nagraniu nie widzę.
Klatka z mojej rolki 47 s z 478 punktami MediaPipe na twarzy
Punkty twarzy z MediaPipe (478) na klatce z mojej rolki 47 s.

Lokalnie czy przez API

Duże firmy chmurowe oferują odczyt tekstu i wykrywanie twarzy jako płatne usługi. Przy wideo szybko robi się z tego tysiące zapytań: dwie klatki na sekundę to 120 obrazów na każdą minutę rolki.

Można też wysłać klatki do modelu multimodalnego, na przykład Gemini. Według dokumentacji liczy on obraz do 384 pikseli jako 258 tokenów. Gemini umie zwrócić ramki obiektów (box_2d, w skali 0–1000), ale klatka 720 × 1280 to co najmniej dwa kafelki po 258 tokenów. Przy 120 klatkach na minutę każda rolka staje się serią płatnych zapytań.

OCR na własnym komputerze zwraca ramkę każdego fragmentu tekstu bez opłat, na procesorze. Nie zajmuje przy tym karty graficznej, która w tym czasie liczy inne modele.

Na co uważać

OCR myli się najczęściej na ozdobnych krojach pisma, na tekście na półprzezroczystym tle i na bardzo krótkich słowach. Pomaga próg pewności i odrzucanie elementów, w których nie ma liter ani cyfr.

Wykrywanie twarzy zawodzi, gdy twarz jest z profilu, w mocnym cieniu albo z zasłoniętymi ustami. Rozpoznawanie emocji zależy od kultury i sposobu mówienia.

Wszystkie trzy modele traktuję jako źródła danych do dalszej analizy, a nie gotowe odpowiedzi. O tym, jak budować takie oceny i sprawdzać je na własnych danych, piszę w artykule o własnych testach z Inspect i lm-eval.

Jak sprawdzić strefy interfejsu w swoich rolkach

To najbardziej praktyczne zastosowanie OCR na własnym komputerze, jakie znam. Aplikacje z krótkimi filmami zasłaniają część ekranu: na dole opis i przyciski, z boku ikony polubień i komentarzy, u góry nazwę konta. Strefy interfejsu to właśnie te miejsca. Tekstu, który tam trafi, widz po prostu nie przeczyta. W studiu sprawdzam to automatycznie dla każdej rolki.

Krok po kroku

Kontrola stref interfejsu z OCR

  1. 01
    Odczytaj ramki tekstuOCR dwa razy na sekundę, ramki zapisane względem rozmiaru całej klatki.
  2. 02
    Odrzuć tłoPomijam bardzo małe napisy, bo to raczej tekst w kadrze niż podpis rolki.
  3. 03
    Wyznacz strefyDolny pas na opis i przyciski, prawy pas na ikony, górny na nazwę konta.
  4. 04
    Policz kolizjeUdział klatek, w których ramka napisu wchodzi w strefę.
  5. 05
    Popraw szablonJeśli kolizji jest dużo, przesuwam napisy w szablonie, a nie w każdej rolce osobno.

W moim szablonie rolek karty z tekstem i dymki mają stałą szerokość i pozycję ustawioną tak, żeby omijały strefy interfejsu. Ten test pilnuje, żeby nowe rolki tego nie psuły.

Tak samo działa wykrywanie twarzy z MediaPipe: jeśli twarz jest za nisko, przykrywa ją opis, a jeśli za wysoko, nazwa konta. To proste zasady, ale bez automatycznej kontroli łatwo je przeoczyć.

Werdykt

Te trzy modele to niewidoczna, ale potrzebna część analizy wideo. Działają na procesorze, nie potrzebują dużo pamięci i dają dane, których duże modele językowe nie zwracają w użytecznej formie. RapidOCR i MediaPipe polecam bez zastrzeżeń. Rozpoznawanie emocji traktuję jako ciekawostkę i miarę natężenia mimiki, a nie jako ocenę uczuć.

W poprzednich częściach pisałem o modelach, które oglądają obraz i słuchają dźwięku. Kolejne części serii pojawiają się codziennie.

Najczęstsze pytania

Czy OCR na własnym komputerze czyta polskie znaki w napisach?
Tak. RapidOCR z modelem do alfabetu łacińskiego w wersji PP-OCRv5 rozpoznaje ą, ę, ł i inne polskie litery, ale ogonki potrafi zgubić nawet przy pewności 0,99, więc porównuję tekst bez nich. W moim studiu czyta całą klatkę w rozdzielczości 1280 pikseli na dłuższym boku, dwa razy na sekundę.
Do czego w rolce przydaje się wykrywanie twarzy?
Pokazuje, przez jaką część rolki widać twarz, jak duża jest w kadrze, czy patrzę w kamerę i jak mocna jest mimika na początku rolki. Te cechy miały wpływ w moim modelu przewidywania wyników, choć cały model daje słabą wskazówkę.
Czy rozpoznawanie emocji z twarzy jest wiarygodne?
To przybliżenie. Model zgaduje jedną z kilku podstawowych emocji z wyglądu twarzy, a nie z tego, co człowiek czuje. Traktuję to jako miarę natężenia mimiki, a nie jako prawdę o emocjach.
Czy te modele potrzebują karty graficznej?
Nie. RapidOCR korzysta z ONNX Runtime na procesorze, MediaPipe z własnego silnika, a HSEmotion z małej sieci w formacie ONNX. Dzięki temu mogą działać obok modelu na karcie graficznej i nie zabierają mu pamięci.

Źródła

Lokalne AI

Powiązane