Nowe na GitHubie
Źródła 33Wiadomości zawsze najświeższe
0 Newsletter
Animowana ilustracja do wpisu: Chatterbox na Macu: klon mojego głosu bez chmuryChatterboxPerTh
Wyskaluj · Obraz, wideo i głos · Porównanie · 13 min czytania

Chatterbox na Macu: klon mojego głosu bez chmury

Klonuję swój głos z 10-sekundowej próbki modelem Chatterbox na Macu mini: po angielsku i po polsku, z dwoma poziomami emocji. Pokazuję czas, znak wodny i koszt.

W skrócie
  • Chatterbox to otwarty model od Resemble AI, który zamienia tekst na mowę i klonuje głos z kilkusekundowej próbki.
  • Angielska wersja po polsku się rozsypuje, a wielojęzyczna, dopisana 12.11, mówi po polsku wyraźnie.
  • Każde nagranie dostaje niesłyszalny znak wodny Perth, a przez płatną usługę ta sama ilość tekstu kosztuje grosze.

Dziewiąta część serii dotyczy głosu. Chatterbox od Resemble AI to otwarty model, który zamienia tekst na mowę i klonuje głos z kilkusekundowej próbki. W mojej animowanej rolce Few Summers był planem zapasowym na głosy postaci: główną drogą okazało się API ElevenLabs, a Chatterbox czekał na wypadek, gdyby coś nie zadziałało. Teraz sprawdzam go dokładnie na Macu mini M6 z 32 GB, na próbce mojego własnego głosu.

Do czego potrzebuję głosu z modelu w studiu rolek

Głos z modelu przydaje się w trzech miejscach:

  • jako lektor w rolkach, w których nie chcę się nagrywać,
  • jako głosy postaci w animacjach,
  • w szybkich wersjach roboczych, gdy montaż jest gotowy, a ostatecznego nagrania jeszcze nie ma.

W rolce Few Summers potrzebowałem głosów taty i małej córki. Zdecydowałem, że postaci dostaną głosy z ElevenLabs, bo największym ryzykiem była jakość głosu dziecka z otwartego modelu. Chciałem zaprojektować głos córki narzędziem do projektowania głosów, ale usługa odrzuciła opis głosu dziecka. Obie postaci dostały więc gotowe głosy z biblioteki ElevenLabs. Chatterbox i model Kokoro jako drugi zapas zostały w planie awaryjnym, którego ostatecznie nie użyłem.

Dlatego ten test jest dla mnie ciekawy: odpowiada na pytanie, czy przy następnej rolce mógłbym zrobić głos w całości na własnym komputerze.

Co to za model

Według karty modelu podstawowy Chatterbox ma 500 mln parametrów, jest zbudowany na bazie modelu Llama i działa po angielsku. Model ma licencję MIT.

Wyróżniają go dwa ustawienia:

  • ekspresja (exaggeration) decyduje, jak bardzo emocjonalnie brzmi wypowiedź,
  • cfg_weight wpływa głównie na tempo mowy.

Autorzy piszą, że domyślne wartości ekspresji i cfg_weight, czyli 0,5 i 0,5, dobrze sprawdzają się w większości przypadków, a wyższa ekspresja zwykle przyspiesza mowę.

Resemble AI wydało też wersję wielojęzyczną tej samej wielkości, która obsługuje 23 języki, w tym polski. Na moim dysku była na początku tylko wersja angielska i to ją testuję w głównej części. Wersję wielojęzyczną pobrałem później, 12.11.2026, i opisuję ją w dopisku przed werdyktem.

Chatterbox i jego wersja wielojęzyczna według karty modelu
Chatterbox (angielski)Chatterbox Multilingual
Parametry500 mln500 mln
Językiangielski23, w tym polski
Ustawienia emocji i tempaexaggeration i cfg_weighttak
Znak wodnyPerth w każdym nagraniuPerth
LicencjaMITMIT

Każde nagranie z Chatterboksa dostaje znak wodny Perth, czyli niesłyszalny znacznik, który pozwala później sprawdzić, że dźwięk wygenerował model. To dobra praktyka, o której piszę więcej w artykule o C2PA i oznaczaniu treści AI.

Na czym i jak mierzę

Sprzęt testowy: mój Mac mini (dane z system_profiler i ze strony Apple)
Mac mini M6 (Mac18,5)
ProcesorApple M6, 12 rdzeni CPU: 2 Super, 4 Performance, 6 Efficiency
Grafika12 rdzeni GPU, Metal 4
Pamięć32 GB pamięci wspólnej dla procesora i grafiki, przepustowość 170 GB/s
DyskSSD 512 GB (494 GB po sformatowaniu)
SystemmacOS 27.0.1

Do klonowania głosu używam próbki: 10 sekund polskiej mowy z mojego nagrania rolki, bez muzyki (16 kHz, przeliczone do 24 kHz). Angielski klon powstaje więc z polskiej próbki, choć repozytorium zaleca próbkę w języku tekstu. Na czas testu kopiuję model z zewnętrznego dysku na wewnętrzny. Instaluję oficjalny pakiet chatterbox-tts w wersji 0.1.7 w osobnym środowisku Pythona.

Tworzę dwa zdania o tej samej treści, po angielsku i po polsku:

  • na karcie graficznej (przez MPS) każde z ekspresją 0,5 i 0,8,
  • na samym procesorze tylko z ustawieniem domyślnym.

Mierzę czas tworzenia nagrania i RTF, czyli ile sekund liczenia przypada na sekundę gotowego nagrania. Pomiar robię na Macu, na którym nie działają inne ciężkie programy. Osobny, pojedynczy przebieg nagrałem w prawdziwym oknie Terminala.

Nagranie pojedynczego przebiegu w prawdziwym Terminalu. Liczby w tabelach pochodzą z osobnego pomiaru.

Wyniki: posłuchaj

Najpierw mój prawdziwy głos. Barwa głosu klonu pochodzi właśnie z tej próbki:

Próbka: 10 sekund mojego prawdziwego głosu z nagrania rolki.

Chatterbox, angielski, ekspresja 0,5: klon mojego głosu.

Chatterbox, polski tekst w modelu angielskim, ekspresja 0,5.

Chatterbox, angielski, ekspresja 0,8.

Chatterbox, polski tekst w modelu angielskim, ekspresja 0,8.

Zamiast oceniać brzmienie na ucho, sprawdziłem, jak dobrze da się zrozumieć mowę, i zmierzyłem to liczbą WER, opisaną w pracy o Whisperze. Whisper large-v3-turbo z trzeciej części zamienił każde nagranie z modelu na tekst. Potem porównałem ten tekst z tym, który dostał Chatterbox.

Po angielsku klon jest w pełni zrozumiały:

  • przy ekspresji 0,8 Whisper zapisał zdanie bez jednego błędu (WER 0),
  • przy ekspresji 0,5 pomylił dwa pierwsze słowa: „grinding the” zamiast „running a” (WER 0,08).

Po polsku angielski model się rozsypuje:

  • przy ekspresji 0,5 WER wyniósł 0,95, czyli około 20 błędów na 21 słów. Whisper zapisał na przykład „To kalni model GO su, na moim maku oznak sa”,
  • przy ekspresji 0,8 WER wyniósł 0,62. Whisper zapisał „Uskali model, że osu na moim Macu…”.

Z transkrypcji widać, że model nie wymawia polskich słów poprawnie. Przy ekspresji 0,5 Whisper rozpoznaje tylko pojedyncze słowa, a przy 0,8 mniej więcej co trzecie, na przykład „model”, „Macu”, „komputera” czy „API”.

Wyższa ekspresja skróciła polskie nagranie (z 9,6 do 8,8 s), a angielskie trochę wydłużyła (z 7,6 do 7,7 s). Wniosku to nie zmienia. Podobieństwa barwy do mojego głosu nie mierzyłem żadną liczbą, więc o barwie się nie wypowiadam: możesz porównać próbkę z klonami sam.

Wyniki: czas

Chatterbox na Macu mini M6: czas tworzenia, długość nagrania i RTF (karta graficzna: mediana z 3 przebiegów, procesor: 1 przebieg; RTF = mediana czasu / długość nagrania z ostatniego przebiegu; pomiar 9.11.2026)
CzasNagranieRTF
EN, ekspresja 0,5, karta graficzna12,2 s7,6 s1,61
EN, ekspresja 0,8, karta graficzna11,1 s7,7 s1,43
PL, ekspresja 0,5, karta graficzna17,0 s9,6 s1,76
PL, ekspresja 0,8, karta graficzna14,1 s8,8 s1,61
EN, ekspresja 0,5, procesor21,1 s7,4 s2,87
PL, ekspresja 0,5, procesor25,8 s9,3 s2,78

RTF powyżej 1 oznacza, że tworzenie nagrania trwa dłużej niż samo nagranie. Na karcie graficznej Maca sekunda głosu kosztuje około 1,4–1,8 s, a na samym procesorze około 2,8 s.

Pozostałe pomiary:

  • wczytanie modelu zajęło 5,1 s na karcie graficznej i 10,4 s na procesorze,
  • pamięć procesu wyniosła w szczycie 7,3 GB przez cały test, więc na 32 GB zostaje dużo miejsca na inne etapy,
  • pierwszy mierzony przebieg na karcie graficznej był wolniejszy (19,4 s zamiast około 12 s), mimo krótkiej rozgrzewki przed pomiarem,
  • przy tym samym ustawieniu polski tekst trwał 9,6 s na karcie graficznej i 9,3 s na procesorze, bo model za każdym razem losuje tempo i pauzy.

Lokalnie czy przez API

W cenniku ElevenLabs zamiana tekstu na mowę kosztuje 0,08 USD za tysiąc znaków w modelu v4 i 0,04 USD w tańszych modelach Flash i Turbo. Moje zdanie testowe ma około 120 znaków, więc kosztowałoby około centa. Typowa rolka z lektorem to 600–900 znaków, czyli kilka centów.

60 sekund lektora to przy zmierzonym RTF około półtorej minuty pracy na karcie graficznej Maca (RTF 1,4–1,8) i około trzech minut na samym procesorze (RTF 2,8). Minutę trzeba przy tym podzielić na kilka części, bo jedno wywołanie daje najwyżej około 40 s mowy.

Tak jak w innych częściach serii, cena nie przesądza sprawy. Głos z modelu na własnym komputerze ma sens, gdy:

  • tworzysz dużo wersji,
  • tekst jest poufny,
  • nie chcesz uzależniać projektu od jednego dostawcy.

API wygrywa jakością w wielu językach i szybkością odpowiedzi. Przy polskich głosach ma też dziś przewagę dopracowanych modeli wielojęzycznych.

Etyka klonowania głosu

Model sklonuje każdy głos, który mu podasz. Ja używam tylko własnego. Klonowanie cudzego głosu bez zgody narusza prawa tej osoby, a w wielu krajach także przepisy o ochronie wizerunku i danych.

Jeśli publikujesz treści z głosem z AI, napisz o tym wprost: w opisie, w napisach albo w danych pliku. Znak wodny Perth pomaga, ale nie zastępuje informacji dla widza. Szerzej o narzędziach do głosu i dźwięku z AI piszę w przewodniku o obrazie, wideo i głosie z AI.

Jak dodać głos z modelu do zestawu narzędzi do rolek

Sam plik z głosem to dopiero początek. Żeby lektor z modelu dobrze zabrzmiał w rolce, powinien przejść przez kilka kroków. Warto je zautomatyzować niezależnie od tego, czy głos pochodzi z Chatterboksa, czy z API.

Krok po kroku

Głos z modelu w rolce, krok po kroku

  1. 01
    Tekst w krótkich kwestiachJedno lub dwa zdania na raz; długie bloki częściej mają błędy wymowy i dziwne pauzy.
  2. 02
    Kilka wersjiDwie lub trzy wersje każdej kwestii; Whisper zamienia każdą na tekst i wygrywa ta najbliższa scenariuszowi.
  3. 03
    Przycięcie ciszyUsuwam ciszę na początku i końcu, zostawiam kilkadziesiąt milisekund oddechu.
  4. 04
    Wyrównanie głośnościKażda kwestia do tego samego poziomu, żeby głośność nie skakała między ujęciami.
  5. 05
    Czasy słówTranskrypcja Whisperem albo wyrównanie czasów, z których powstają napisy i ruch ust.

W rolce Few Summers głosy postaci pochodziły z API, ale reszta tych kroków działała na moim komputerze. Ruch ust postaci wyznaczałem z czasów każdego znaku, które ElevenLabs zwraca razem z nagraniem, i z tego, jak zmienia się głośność dźwięku. Ułożenie ust, montaż i napisy liczyły się już na Macu.

Gdybym robił lektora w całości na własnym komputerze, zostawiłbym te same kroki i podmienił tylko głos oraz źródło czasów. Zamiast czasów znaków z ElevenLabs czasy słów dałby Whisper albo osobne narzędzie do wyrównania czasów. Dlatego warto budować zestaw narzędzi tak, żeby źródło głosu dało się wymienić: dziś API, jutro model na własnym komputerze, a cała reszta bez zmian. Wtedy test nowego modelu głosu, taki jak ten, to podmiana jednego kroku, a nie przebudowa montażu.

Jeszcze jedna praktyczna uwaga: przy klonie własnego głosu trzymaj pod ręką próbkę oryginału i porównuj ją z wynikiem w tych samych warunkach odsłuchu. Poziomy głośności da się porównać też liczbami (polecenie ffmpeg volumedetect). W moim teście najgłośniejsze punkty klonów wypadły od −11 do −13 dBFS (próbka −14 dBFS), a średni poziom od −31 do −32 dB, tak jak w próbce.

Turbo, Nano i wersja wielojęzyczna

Rodzina Chatterbox urosła od wersji, którą testuję. Repozytorium wymienia dziś cztery modele:

  • oryginalny: 500 mln parametrów, angielski,
  • Turbo: 350 mln parametrów, angielski, z oznaczeniami takimi jak [laugh] (śmiech),
  • Nano: 110 mln parametrów, angielski,
  • Multilingual V3: 500 mln parametrów, 23 języki, w tym polski.

Według autorów Nano działa na 8 rdzeniach procesora trzy razy szybciej niż czas nagrania, czyli z RTF około 0,33. To dokładnie ten przypadek, w którym mój test na procesorze wypadł najsłabiej (RTF 2,8).

Wersję wielojęzyczną uruchamia się osobną klasą w Pythonie, a język podaje w parametrze language_id. Autorzy zalecają próbkę głosu w tym samym języku co tekst, bo inaczej klon może przejąć akcent próbki.

Ważna informacja dla każdego, kto chce na nim oprzeć swoje narzędzia: od sierpnia 2026 Resemble AI traktuje Chatterbox jako zakończony projekt badawczy, bez dalszego wsparcia i aktualizacji. Licencja MIT pozwala go dalej używać i zmieniać, ale poprawek trzeba szukać samemu.

Jedna pułapka przy instalacji: biblioteka znaku wodnego Perth potrzebuje modułu pkg_resources, więc w środowisku zostawiam pakiet setuptools w wersji poniżej 81. Ostrzeżenie z Perth każe to zrobić, bo ten moduł ma zniknąć w nowszych wersjach.

Znak wodny można sprawdzić funkcją get_watermark. Przykład w repozytorium Chatterbox pokazuje, że dla oznaczonego nagrania zwraca 1,0, ale w tym teście tego nie sprawdzałem. Jako drugi zapas mam na oku mniejszy model Kokoro.

Dopisek z 12.11: wersja wielojęzyczna mówi po polsku

Po pierwszej wersji tego artykułu pobrałem wersję wielojęzyczną: pliki t3_mtl23ls_v2.safetensors i s3gen.pt, razem 3 GB. Uruchomiłem ją tym samym pakietem 0.1.7, klasą ChatterboxMultilingualTTS z parametrem language_id="pl". Ustawienia zostawiłem domyślne: ekspresja 0,5 i cfg_weight 0,5.

Najpierw to samo polskie zdanie co wyżej, z tej samej 10-sekundowej próbki mojego głosu:

Chatterbox Multilingual, polski, ekspresja 0,5: to samo zdanie co w modelu angielskim.

Whisper zapisał je bez jednego błędu (WER 0). W drugim losowaniu pomylił dwa słowa: „Matsu” zamiast „Macu” i „bolniej” zamiast „wolniej” (WER 0,10). Model angielski miał na tym zdaniu WER od 0,62 do 0,95.

Potem porównanie wprost z moim głosem. Jako próbkę wziąłem 12 sekund innego fragmentu tego samego nagrania rolki. Model mówi dwa zdania, które w tym nagraniu mówię naprawdę, a próbka tych zdań nie zawiera. Wszystkie pliki mają wyrównaną głośność (−18 LUFS), żeby różnica poziomów nie myliła ucha.

Zdanie 1: mój prawdziwy głos z nagrania rolki.

Zdanie 1: klon mojego głosu z Chatterbox Multilingual.

Zdanie 2: mój prawdziwy głos z nagrania rolki.

Zdanie 2: klon mojego głosu z Chatterbox Multilingual.

W obu zdaniach i w obu losowaniach Whisper zapisał klon słowo w słowo (WER 0). Barwy znów nie mierzę liczbą, więc porównaj nagrania na ucho.

Czasu w tym dopisku nie podaję. Nagrania powstawały, gdy karta graficzna Maca renderowała w Blenderze kilka ujęć naraz, więc wyniki nie byłyby porównywalne z tabelą wyżej.

Werdykt

Po angielsku Chatterbox daje zrozumiały głos (WER 0–0,08 w transkrypcji Whispera) w około 1,5 s pracy karty graficznej na sekundę nagrania. Do polskich rolek angielski model się nie nadaje: WER po polsku wyniósł 0,62–0,95.

To jedno nagranie na każde ustawienie, a model losuje wymowę, więc różnica między ekspresją 0,5 i 0,8 może być przypadkowa. Wersja wielojęzyczna to zmienia: po polsku Whisper zapisał 5 z 6 jej nagrań bez jednego błędu, więc polski lektor na własnym komputerze jest już realny. Kwestie w Few Summers są po angielsku, więc język nie byłby przeszkodą. Czy model poradziłby sobie z głosem dziecka, ten test nie mówi.

W poprzednich częściach testowałem Stable Audio Open do efektów i zamianę mowy na tekst Whisperem. Głos i dźwięk w rolkach z AI mogę przećwiczyć z Tobą na warsztatach AI 1:1.

Najczęstsze pytania

Czy Chatterbox mówi po polsku?
Podstawowy model Chatterbox jest angielski i po polsku się rozsypuje: Whisper rozumie najwyżej co trzecie słowo. Wersja wielojęzyczna, którą sprawdziłem 12.11.2026, mówi po polsku: Whisper zapisał 5 z 6 jej polskich nagrań bez jednego błędu.
Ile nagrania potrzeba do sklonowania głosu?
Wystarczy kilka sekund czystej mowy. Używam 10 sekund z mojego nagrania rolki, bez muzyki w tle. Według karty modelu przy szybko mówiącej próbce warto obniżyć ustawienie cfg_weight do około 0,3.
Co to jest znak wodny Perth?
To niesłyszalny znacznik, który Chatterbox dodaje do każdego nagrania. Pozwala później sprawdzić, że dźwięk powstał w modelu, nawet po kompresji. To ważne przy oznaczaniu treści z AI.
Czy mogę klonować cudzy głos?
Technicznie model na to pozwala, ale ja klonuję wyłącznie własny głos. Klonowanie cudzego głosu bez zgody to naruszenie praw tej osoby, a często także przepisów.

Źródła

Obraz, wideo i głos

Powiązane