- Chatterbox to otwarty model od Resemble AI, który zamienia tekst na mowę i klonuje głos z kilkusekundowej próbki.
- Angielska wersja po polsku się rozsypuje, a wielojęzyczna, dopisana 12.11, mówi po polsku wyraźnie.
- Każde nagranie dostaje niesłyszalny znak wodny Perth, a przez płatną usługę ta sama ilość tekstu kosztuje grosze.
Dziewiąta część serii dotyczy głosu. Chatterbox od Resemble AI to otwarty model, który zamienia tekst na mowę i klonuje głos z kilkusekundowej próbki. W mojej animowanej rolce Few Summers był planem zapasowym na głosy postaci: główną drogą okazało się API ElevenLabs, a Chatterbox czekał na wypadek, gdyby coś nie zadziałało. Teraz sprawdzam go dokładnie na Macu mini M6 z 32 GB, na próbce mojego własnego głosu.
Do czego potrzebuję głosu z modelu w studiu rolek
Głos z modelu przydaje się w trzech miejscach:
- jako lektor w rolkach, w których nie chcę się nagrywać,
- jako głosy postaci w animacjach,
- w szybkich wersjach roboczych, gdy montaż jest gotowy, a ostatecznego nagrania jeszcze nie ma.
W rolce Few Summers potrzebowałem głosów taty i małej córki. Zdecydowałem, że postaci dostaną głosy z ElevenLabs, bo największym ryzykiem była jakość głosu dziecka z otwartego modelu. Chciałem zaprojektować głos córki narzędziem do projektowania głosów, ale usługa odrzuciła opis głosu dziecka. Obie postaci dostały więc gotowe głosy z biblioteki ElevenLabs. Chatterbox i model Kokoro jako drugi zapas zostały w planie awaryjnym, którego ostatecznie nie użyłem.
Dlatego ten test jest dla mnie ciekawy: odpowiada na pytanie, czy przy następnej rolce mógłbym zrobić głos w całości na własnym komputerze.
Co to za model
Według karty modelu podstawowy Chatterbox ma 500 mln parametrów, jest zbudowany na bazie modelu Llama i działa po angielsku. Model ma licencję MIT.
Wyróżniają go dwa ustawienia:
- ekspresja (
exaggeration) decyduje, jak bardzo emocjonalnie brzmi wypowiedź, - cfg_weight wpływa głównie na tempo mowy.
Autorzy piszą, że domyślne wartości ekspresji i cfg_weight, czyli 0,5 i 0,5, dobrze sprawdzają się w większości przypadków, a wyższa ekspresja zwykle przyspiesza mowę.
Resemble AI wydało też wersję wielojęzyczną tej samej wielkości, która obsługuje 23 języki, w tym polski. Na moim dysku była na początku tylko wersja angielska i to ją testuję w głównej części. Wersję wielojęzyczną pobrałem później, 12.11.2026, i opisuję ją w dopisku przed werdyktem.
| Chatterbox (angielski) | Chatterbox Multilingual | |
|---|---|---|
| Parametry | 500 mln | 500 mln |
| Języki | angielski | 23, w tym polski |
| Ustawienia emocji i tempa | exaggeration i cfg_weight | tak |
| Znak wodny | Perth w każdym nagraniu | Perth |
| Licencja | MIT | MIT |
Każde nagranie z Chatterboksa dostaje znak wodny Perth, czyli niesłyszalny znacznik, który pozwala później sprawdzić, że dźwięk wygenerował model. To dobra praktyka, o której piszę więcej w artykule o C2PA i oznaczaniu treści AI.
Na czym i jak mierzę
| Mac mini M6 (Mac18,5) | |
|---|---|
| Procesor | Apple M6, 12 rdzeni CPU: 2 Super, 4 Performance, 6 Efficiency |
| Grafika | 12 rdzeni GPU, Metal 4 |
| Pamięć | 32 GB pamięci wspólnej dla procesora i grafiki, przepustowość 170 GB/s |
| Dysk | SSD 512 GB (494 GB po sformatowaniu) |
| System | macOS 27.0.1 |
Do klonowania głosu używam próbki: 10 sekund polskiej mowy z mojego nagrania rolki, bez muzyki (16 kHz, przeliczone do 24 kHz). Angielski klon powstaje więc z polskiej próbki, choć repozytorium zaleca próbkę w języku tekstu. Na czas testu kopiuję model z zewnętrznego dysku na wewnętrzny. Instaluję oficjalny pakiet chatterbox-tts w wersji 0.1.7 w osobnym środowisku Pythona.
Tworzę dwa zdania o tej samej treści, po angielsku i po polsku:
- na karcie graficznej (przez MPS) każde z ekspresją 0,5 i 0,8,
- na samym procesorze tylko z ustawieniem domyślnym.
Mierzę czas tworzenia nagrania i RTF, czyli ile sekund liczenia przypada na sekundę gotowego nagrania. Pomiar robię na Macu, na którym nie działają inne ciężkie programy. Osobny, pojedynczy przebieg nagrałem w prawdziwym oknie Terminala.
Wyniki: posłuchaj
Najpierw mój prawdziwy głos. Barwa głosu klonu pochodzi właśnie z tej próbki:
Zamiast oceniać brzmienie na ucho, sprawdziłem, jak dobrze da się zrozumieć mowę, i zmierzyłem to liczbą WER, opisaną w pracy o Whisperze. Whisper large-v3-turbo z trzeciej części zamienił każde nagranie z modelu na tekst. Potem porównałem ten tekst z tym, który dostał Chatterbox.
Po angielsku klon jest w pełni zrozumiały:
- przy ekspresji 0,8 Whisper zapisał zdanie bez jednego błędu (WER 0),
- przy ekspresji 0,5 pomylił dwa pierwsze słowa: „grinding the” zamiast „running a” (WER 0,08).
Po polsku angielski model się rozsypuje:
- przy ekspresji 0,5 WER wyniósł 0,95, czyli około 20 błędów na 21 słów. Whisper zapisał na przykład „To kalni model GO su, na moim maku oznak sa”,
- przy ekspresji 0,8 WER wyniósł 0,62. Whisper zapisał „Uskali model, że osu na moim Macu…”.
Z transkrypcji widać, że model nie wymawia polskich słów poprawnie. Przy ekspresji 0,5 Whisper rozpoznaje tylko pojedyncze słowa, a przy 0,8 mniej więcej co trzecie, na przykład „model”, „Macu”, „komputera” czy „API”.
Wyższa ekspresja skróciła polskie nagranie (z 9,6 do 8,8 s), a angielskie trochę wydłużyła (z 7,6 do 7,7 s). Wniosku to nie zmienia. Podobieństwa barwy do mojego głosu nie mierzyłem żadną liczbą, więc o barwie się nie wypowiadam: możesz porównać próbkę z klonami sam.
Wyniki: czas
| Czas | Nagranie | RTF | |
|---|---|---|---|
| EN, ekspresja 0,5, karta graficzna | 12,2 s | 7,6 s | 1,61 |
| EN, ekspresja 0,8, karta graficzna | 11,1 s | 7,7 s | 1,43 |
| PL, ekspresja 0,5, karta graficzna | 17,0 s | 9,6 s | 1,76 |
| PL, ekspresja 0,8, karta graficzna | 14,1 s | 8,8 s | 1,61 |
| EN, ekspresja 0,5, procesor | 21,1 s | 7,4 s | 2,87 |
| PL, ekspresja 0,5, procesor | 25,8 s | 9,3 s | 2,78 |
RTF powyżej 1 oznacza, że tworzenie nagrania trwa dłużej niż samo nagranie. Na karcie graficznej Maca sekunda głosu kosztuje około 1,4–1,8 s, a na samym procesorze około 2,8 s.
Pozostałe pomiary:
- wczytanie modelu zajęło 5,1 s na karcie graficznej i 10,4 s na procesorze,
- pamięć procesu wyniosła w szczycie 7,3 GB przez cały test, więc na 32 GB zostaje dużo miejsca na inne etapy,
- pierwszy mierzony przebieg na karcie graficznej był wolniejszy (19,4 s zamiast około 12 s), mimo krótkiej rozgrzewki przed pomiarem,
- przy tym samym ustawieniu polski tekst trwał 9,6 s na karcie graficznej i 9,3 s na procesorze, bo model za każdym razem losuje tempo i pauzy.
Lokalnie czy przez API
W cenniku ElevenLabs zamiana tekstu na mowę kosztuje 0,08 USD za tysiąc znaków w modelu v4 i 0,04 USD w tańszych modelach Flash i Turbo. Moje zdanie testowe ma około 120 znaków, więc kosztowałoby około centa. Typowa rolka z lektorem to 600–900 znaków, czyli kilka centów.
60 sekund lektora to przy zmierzonym RTF około półtorej minuty pracy na karcie graficznej Maca (RTF 1,4–1,8) i około trzech minut na samym procesorze (RTF 2,8). Minutę trzeba przy tym podzielić na kilka części, bo jedno wywołanie daje najwyżej około 40 s mowy.
Tak jak w innych częściach serii, cena nie przesądza sprawy. Głos z modelu na własnym komputerze ma sens, gdy:
- tworzysz dużo wersji,
- tekst jest poufny,
- nie chcesz uzależniać projektu od jednego dostawcy.
API wygrywa jakością w wielu językach i szybkością odpowiedzi. Przy polskich głosach ma też dziś przewagę dopracowanych modeli wielojęzycznych.
Etyka klonowania głosu
Model sklonuje każdy głos, który mu podasz. Ja używam tylko własnego. Klonowanie cudzego głosu bez zgody narusza prawa tej osoby, a w wielu krajach także przepisy o ochronie wizerunku i danych.
Jeśli publikujesz treści z głosem z AI, napisz o tym wprost: w opisie, w napisach albo w danych pliku. Znak wodny Perth pomaga, ale nie zastępuje informacji dla widza. Szerzej o narzędziach do głosu i dźwięku z AI piszę w przewodniku o obrazie, wideo i głosie z AI.
Jak dodać głos z modelu do zestawu narzędzi do rolek
Sam plik z głosem to dopiero początek. Żeby lektor z modelu dobrze zabrzmiał w rolce, powinien przejść przez kilka kroków. Warto je zautomatyzować niezależnie od tego, czy głos pochodzi z Chatterboksa, czy z API.
Głos z modelu w rolce, krok po kroku
- 01Tekst w krótkich kwestiachJedno lub dwa zdania na raz; długie bloki częściej mają błędy wymowy i dziwne pauzy.
- 02Kilka wersjiDwie lub trzy wersje każdej kwestii; Whisper zamienia każdą na tekst i wygrywa ta najbliższa scenariuszowi.
- 03Przycięcie ciszyUsuwam ciszę na początku i końcu, zostawiam kilkadziesiąt milisekund oddechu.
- 04Wyrównanie głośnościKażda kwestia do tego samego poziomu, żeby głośność nie skakała między ujęciami.
- 05Czasy słówTranskrypcja Whisperem albo wyrównanie czasów, z których powstają napisy i ruch ust.
W rolce Few Summers głosy postaci pochodziły z API, ale reszta tych kroków działała na moim komputerze. Ruch ust postaci wyznaczałem z czasów każdego znaku, które ElevenLabs zwraca razem z nagraniem, i z tego, jak zmienia się głośność dźwięku. Ułożenie ust, montaż i napisy liczyły się już na Macu.
Gdybym robił lektora w całości na własnym komputerze, zostawiłbym te same kroki i podmienił tylko głos oraz źródło czasów. Zamiast czasów znaków z ElevenLabs czasy słów dałby Whisper albo osobne narzędzie do wyrównania czasów. Dlatego warto budować zestaw narzędzi tak, żeby źródło głosu dało się wymienić: dziś API, jutro model na własnym komputerze, a cała reszta bez zmian. Wtedy test nowego modelu głosu, taki jak ten, to podmiana jednego kroku, a nie przebudowa montażu.
Jeszcze jedna praktyczna uwaga: przy klonie własnego głosu trzymaj pod ręką próbkę oryginału i porównuj ją z wynikiem w tych samych warunkach odsłuchu. Poziomy głośności da się porównać też liczbami (polecenie ffmpeg volumedetect). W moim teście najgłośniejsze punkty klonów wypadły od −11 do −13 dBFS (próbka −14 dBFS), a średni poziom od −31 do −32 dB, tak jak w próbce.
Turbo, Nano i wersja wielojęzyczna
Rodzina Chatterbox urosła od wersji, którą testuję. Repozytorium wymienia dziś cztery modele:
- oryginalny: 500 mln parametrów, angielski,
- Turbo: 350 mln parametrów, angielski, z oznaczeniami takimi jak
[laugh](śmiech), - Nano: 110 mln parametrów, angielski,
- Multilingual V3: 500 mln parametrów, 23 języki, w tym polski.
Według autorów Nano działa na 8 rdzeniach procesora trzy razy szybciej niż czas nagrania, czyli z RTF około 0,33. To dokładnie ten przypadek, w którym mój test na procesorze wypadł najsłabiej (RTF 2,8).
Wersję wielojęzyczną uruchamia się osobną klasą w Pythonie, a język podaje w parametrze language_id. Autorzy zalecają próbkę głosu w tym samym języku co tekst, bo inaczej klon może przejąć akcent próbki.
Ważna informacja dla każdego, kto chce na nim oprzeć swoje narzędzia: od sierpnia 2026 Resemble AI traktuje Chatterbox jako zakończony projekt badawczy, bez dalszego wsparcia i aktualizacji. Licencja MIT pozwala go dalej używać i zmieniać, ale poprawek trzeba szukać samemu.
Jedna pułapka przy instalacji: biblioteka znaku wodnego Perth potrzebuje modułu pkg_resources, więc w środowisku zostawiam pakiet setuptools w wersji poniżej 81. Ostrzeżenie z Perth każe to zrobić, bo ten moduł ma zniknąć w nowszych wersjach.
Znak wodny można sprawdzić funkcją get_watermark. Przykład w repozytorium Chatterbox pokazuje, że dla oznaczonego nagrania zwraca 1,0, ale w tym teście tego nie sprawdzałem. Jako drugi zapas mam na oku mniejszy model Kokoro.
Dopisek z 12.11: wersja wielojęzyczna mówi po polsku
Po pierwszej wersji tego artykułu pobrałem wersję wielojęzyczną: pliki t3_mtl23ls_v2.safetensors i s3gen.pt, razem 3 GB. Uruchomiłem ją tym samym pakietem 0.1.7, klasą ChatterboxMultilingualTTS z parametrem language_id="pl". Ustawienia zostawiłem domyślne: ekspresja 0,5 i cfg_weight 0,5.
Najpierw to samo polskie zdanie co wyżej, z tej samej 10-sekundowej próbki mojego głosu:
Whisper zapisał je bez jednego błędu (WER 0). W drugim losowaniu pomylił dwa słowa: „Matsu” zamiast „Macu” i „bolniej” zamiast „wolniej” (WER 0,10). Model angielski miał na tym zdaniu WER od 0,62 do 0,95.
Potem porównanie wprost z moim głosem. Jako próbkę wziąłem 12 sekund innego fragmentu tego samego nagrania rolki. Model mówi dwa zdania, które w tym nagraniu mówię naprawdę, a próbka tych zdań nie zawiera. Wszystkie pliki mają wyrównaną głośność (−18 LUFS), żeby różnica poziomów nie myliła ucha.
W obu zdaniach i w obu losowaniach Whisper zapisał klon słowo w słowo (WER 0). Barwy znów nie mierzę liczbą, więc porównaj nagrania na ucho.
Czasu w tym dopisku nie podaję. Nagrania powstawały, gdy karta graficzna Maca renderowała w Blenderze kilka ujęć naraz, więc wyniki nie byłyby porównywalne z tabelą wyżej.
Werdykt
Po angielsku Chatterbox daje zrozumiały głos (WER 0–0,08 w transkrypcji Whispera) w około 1,5 s pracy karty graficznej na sekundę nagrania. Do polskich rolek angielski model się nie nadaje: WER po polsku wyniósł 0,62–0,95.
To jedno nagranie na każde ustawienie, a model losuje wymowę, więc różnica między ekspresją 0,5 i 0,8 może być przypadkowa. Wersja wielojęzyczna to zmienia: po polsku Whisper zapisał 5 z 6 jej nagrań bez jednego błędu, więc polski lektor na własnym komputerze jest już realny. Kwestie w Few Summers są po angielsku, więc język nie byłby przeszkodą. Czy model poradziłby sobie z głosem dziecka, ten test nie mówi.
W poprzednich częściach testowałem Stable Audio Open do efektów i zamianę mowy na tekst Whisperem. Głos i dźwięk w rolkach z AI mogę przećwiczyć z Tobą na warsztatach AI 1:1.

