Nowe na GitHubie
Źródła 33Wiadomości zawsze najświeższe
0 Newsletter
Animowana ilustracja do wpisu: Stable Audio Open: efekty dźwiękowe do rolek lokalniepromptStable Audio OpenCLAP
Wyskaluj · Obraz, wideo i głos · Porównanie · 11 min czytania

Stable Audio Open: efekty dźwiękowe do rolek lokalnie

Tworzę efekty dźwiękowe i tło dźwiękowe do rolek modelem Stable Audio Open na Macu mini, a najlepszą wersję wybiera model CLAP. Czas, jakość, licencja i koszt.

W skrócie
  • Stable Audio Open zamienia opis tekstowy w kilkusekundowy dźwięk stereo 44,1 kHz: szum przejścia, uderzenie, odgłosy lasu.
  • Tworzę po trzy wersje, a model CLAP wybiera tę, która najlepiej pasuje do opisu.
  • Model jest darmowy dla twórców z przychodem poniżej 1 mln USD rocznie, a płatna usługa kosztuje kilka centów za dźwięk.

W ósmej części serii zostawiam obraz i przechodzę do dźwięku. Rolka bez efektów brzmi płasko: cięcie bez szumu przejścia, plansza bez lekkiego uderzenia, scena w lesie bez ptaków. Stable Audio Open to otwarty model, który zamienia opis tekstowy w kilkusekundowy dźwięk. Używałem go w mojej animowanej rolce Few Summers do efektów (kroki na drewnianej kładce, uderzenie siekiery, śmiech dzieci) i podkładu fortepianowego, a najlepszą wersję wybierał mi model CLAP. Odgłosy otoczenia wziąłem tam z nagrań terenowych z paczek Sonniss GDC, z których można korzystać bez opłat. Testuję to na Macu mini M6 z 32 GB.

Skąd brać efekty dźwiękowe

Mam trzy źródła efektów:

  • Gotowe biblioteki na licencji CC0. Z nich zbudowałem zestaw efektów do szablonu rolek: kilka szumów przejścia, uderzeń, narastających dźwięków i kliknięć z Freesound i Kenney.
  • Dźwięki liczone wprost z kodu. Tak powstaje na przykład szum serwera albo stukanie klawiatury.
  • Model, który tworzy dźwięk z opisu. Robi dźwięk, którego nie ma w żadnej bibliotece, na przykład „spokojny nocny las z cichym wiatrem i odległymi świerszczami” albo „szybki, kinowy szum przejścia, bez muzyki”.

Licencja CC0 oznacza, że autor zrzekł się praw, więc takie dźwięki mogę używać w rolkach bez podawania autora.

Trzy źródła efektów w moim studiu
Biblioteka CC0Dźwięk z koduStable Audio Open
SkądFreesound, Kenneykod (generator sygnału)model z opisu tekstowego
Przewidywalnośćwysokapełnazmienna, kilka wersji
Czas przygotowaniaszukanie i odsłuchpisanie koduokoło 2 min na wersję (Mac mini M6)
LicencjaCC0 (bez podawania autora)mojaCommunity: darmowa do 1 mln USD przychodu
Najlepsze doszumy, uderzenia, kliknięciaszum serwera, stukaniekrótkie efekty, których nie ma w bibliotekach (kroki na kładce, siekiera, śmiech dzieci)

Stable Audio Open zajął w moim projekcie miejsce tego trzeciego źródła. Według pracy autorów to otwarty model, który zamienia tekst w dźwięk stereo 44,1 kHz i był uczony na nagraniach z licencjami Creative Commons. To model dyfuzyjny: zaczyna od szumu i w kolejnych krokach dochodzi do dźwięku zgodnego z opisem. Plik modelu zajmuje około 5 GB, a model działa w bibliotece diffusers na karcie graficznej Maca.

Jak tworzyłem dźwięki w Few Summers

Few Summers to krótka animowana historia, w której każda scena ma własne tło dźwiękowe. Ustawienia, które zostały do wersji końcowej:

Krok po kroku

Mój proces tworzenia efektu

  1. 01
    Opis po angielskuCo ma brzmieć, jaki ma mieć charakter i czego ma nie być (bez muzyki, bez mowy).
  2. 02
    Negatywny promptNiska jakość, zniekształcenia, szum, przester, mowa.
  3. 03
    Dwie wersje (w teście trzy)70 kroków dla efektów, 100 dla podkładu muzycznego.
  4. 04
    Ocena CLAPKażda wersja dostaje wynik zgodności z opisem.
  5. 05
    Wybór albo odrzucenieZostaje najlepsza; poniżej 0,20 druga seria z dopiskiem „clean, natural, realistic”, a potem efekt odpada.

Negatywny prompt to druga część polecenia, w której wypisuję, czego w dźwięku ma nie być. Model stara się wtedy omijać te cechy.

Jedna rzecz wymagała poprawki w kodzie. Próbnik, czyli część modelu, która decyduje, jak usuwać szum w kolejnych krokach, zapętlał się przy ostatnim kroku. Pochodził z biblioteki, z której korzysta diffusers. Zastąpiłem jego źródło losowości zwykłym szumem z ustalonym ziarnem losowości. Dla tego próbnika to równie poprawne źródło losowości, a do tego daje powtarzalne wyniki. Od tej pory tworzenie dźwięków działało stabilnie.

CLAP jako sędzia

CLAP to model, który zamienia dźwięk i tekst na liczby w tej samej przestrzeni. Im bliżej siebie leżą, tym bardziej dźwięk pasuje do opisu. To dobry automatyczny sędzia: nie muszę odsłuchiwać dziesiątek wersji, bo model wskazuje kandydata, a ja słucham tylko wybranej.

We wczesnym przebiegu projektu wynik zgodności dla ptaków w lesie wyniósł 0,251, powyżej mojego progu 0,20. Projekt porównywał dźwięk z krótką etykietą, a ten test z pełnym opisem, więc tych liczb nie warto ze sobą porównywać.

Trzeba pamiętać, że CLAP ocenia zgodność z opisem, a nie jakość nagrania. Dźwięk z trzaskami może dostać wysoki wynik, jeśli brzmi „bardzo leśnie”. Dlatego CLAP odsiewa wersje, ale ostateczną decyzję podejmuję, słuchając.

Na czym i jak mierzę

Sprzęt testowy: mój Mac mini (dane z system_profiler i ze strony Apple)
Mac mini M6 (Mac18,5)
ProcesorApple M6, 12 rdzeni CPU: 2 Super, 4 Performance, 6 Efficiency
Grafika12 rdzeni GPU, Metal 4
Pamięć32 GB pamięci wspólnej dla procesora i grafiki, przepustowość 170 GB/s
DyskSSD 512 GB (494 GB po sformatowaniu)
SystemmacOS 27.0.1

Test powtarza ustawienia z projektu na czterech typowych opisach do rolek:

  • szum przejścia (2,5 s),
  • kinowe uderzenie (3 s),
  • stukanie klawiatury (6 s),
  • tło dźwiękowe nocnego lasu (10 s).

Dla każdego opisu tworzę trzy wersje w 70 krokach, mierzę czas i liczę wynik CLAP. Na czas testu kopiuję plik modelu z zewnętrznego dysku na wewnętrzny, bo modele czytane z dysku USB potrafiły przerwać pracę błędem. Pomiar robię na Macu, na którym nie działają inne ciężkie programy. Osobny, pojedynczy przebieg nagrałem w prawdziwym oknie Terminala.

Nagranie pojedynczego przebiegu w prawdziwym Terminalu. Liczby w tabelach pochodzą z osobnego pomiaru.

Wyniki: posłuchaj

Szum przejścia (opis: fast cinematic whoosh transition, airy, clean, no music).

Kinowe uderzenie (opis: deep cinematic sub impact hit with short tail, punchy).

Tło dźwiękowe nocnego lasu (opis: calm night forest ambience with soft wind and distant crickets).

Stukanie klawiatury (opis: close mechanical keyboard typing in a quiet room, realistic).

Spektrogramy czterech efektów ze Stable Audio Open: szum przejścia w niskim paśmie, uderzenie z długim niskim wybrzmieniem, wyraźne pojedyncze stuknięcia klawiatury w czterech seriach i cichy szum lasu z cienką linią około 6,6 kHz
Spektrogramy wybranych wersji: oś pozioma to czas, pionowa wysokość dźwięku, jaśniej znaczy głośniej. Każdy panel ma własną skalę (0 dB to najgłośniejszy punkt tego efektu), więc jasności nie porównuj między panelami; głośność podaje RMS w tytule. Pliki mają 48 kHz.

Opis każdego efektu opieram na spektrogramie i pomiarach głośności wybranej wersji, którą możesz odsłuchać wyżej. Spektrogram to obraz dźwięku: oś pozioma to czas, pionowa wysokość dźwięku, a jasność głośność.

Stukanie klawiatury wypadło najbardziej przekonująco. Widać pojedyncze uderzenia w czterech seriach z przerwami między nimi, tak jak przy prawdziwym pisaniu, a nie jednolity szum.

Szum przejścia jest raczej niski niż „lekki i powietrzny”, o jaki prosiłem. Prawie całą energię (97%) ma w paśmie 30–130 Hz. Wyższe dźwięki narastają tylko między 0,3 a 1,2 s, a całość cichnie przed 2 s, choć zamówiłem 2,5 s.

Uderzenie ma mocny początek, ale wybrzmienie nie jest krótkie. Niski dźwięk około 50 Hz opada przez 2,5 s (z −6 do −41 dBFS RMS w kolejnych połówkach sekundy) i wciąż brzmi, gdy plik kończy się na 3 s. Dlatego końcówkę trzeba przyciąć z wyciszeniem.

Tło dźwiękowe lasu jest bardzo ciche. Ma RMS −43 dBFS w stereo, podczas gdy uderzenie ma −14 dBFS, a szum przejścia −17 dBFS. Prawie całą energię ma poniżej 100 Hz, a 88% nawet poniżej 30 Hz, czyli w paśmie, którego głośnik telefonu nie zagra. Zanim je podgłośnię, wycinam to dudnienie filtrem górnoprzepustowym około 80 Hz, tak jak nagrania terenowe w Few Summers. Na spektrogramie jest też cienka, stała linia około 6,6 kHz, która może udawać świerszcze z opisu, choć brakuje jej rytmicznego cykania.

Dwa problemy dotyczą kilku efektów naraz:

  • uderzenie i tło lasu mają kanały częściowo w przeciwfazie. Po złożeniu do mono, tak jak w głośniku telefonu, uderzenie traci 6,6 dB, a tło lasu 8,1 dB. Klawiatura ma kanały zgodne i nie traci nic,
  • trzy z czterech efektów kończą się ciszą przed czasem: szum przejścia po 1,9 s z 2,5, klawiatura po 5,7 s z 6, a tło lasu po 9,2 s z 10.

Przeciwfaza to częsty problem efektów z modelu, więc każdy efekt sprawdzam też po złożeniu do mono. Z trzech wersji CLAP wybrał dla szumu przejścia trzecią (0,48), dla uderzenia drugą (0,38), dla klawiatury trzecią (0,45), a dla tła lasu pierwszą (0,40). Wszystkie 12 wersji przekroczyło próg 0,20 (najniższy wynik to 0,27), a różnice między wersjami jednego opisu wynosiły 0,04–0,11. Wybrane tło lasu to właśnie to ciche i dudniące, co pokazuje, że CLAP nie ocenia jakości.

Wyniki: czas i CLAP

Stable Audio Open 1.0 na karcie graficznej Maca mini M6 (MPS, fp32, 70 kroków): mediana z 3 przebiegów po 3 wersje, pomiar 9.11.2026
3 wersjeNa 1 s dźwiękuCLAP 3 wersjiWybrana
Szum przejścia, 2,5 s334,8 s44,6 s0,41 / 0,37 / 0,483.
Uderzenie, 3 s354,1 s39,3 s0,27 / 0,38 / 0,302.
Klawiatura, 6 s356,1 s19,8 s0,39 / 0,40 / 0,453.
Tło lasu, 10 s354,3 s11,8 s0,40 / 0,36 / 0,381.

Najważniejsza lekcja z tej tabeli: czas prawie nie zależy od długości efektu. Szum przejścia 2,5 s i tło lasu 10 s kosztują tyle samo, około 2 minut na wersję. Trzy wersje liczą się razem w jednym wywołaniu, więc to średnia, a nie czas pojedynczej wersji.

Przyczynę znalazłem w kodzie biblioteki diffusers. Model zawsze liczy pełne okno, na jakie go zbudowano, czyli około 47 s dźwięku (karta modelu podaje to samo jako maksimum). Dopiero na końcu przycina wynik do żądanej długości. Według dokumentacji diffusers domyślna długość to 47,55 s, a długość dźwięku model dostaje jako osobną informację o czasie.

Krótkie efekty są więc najdroższe w przeliczeniu na sekundę. Jeśli potrzebujesz kilku krótkich dźwięków, taniej powinno być wygenerować jeden dłuższy i pociąć go, choć tego nie mierzyłem.

Pozostałe pomiary:

  • wczytanie modelu trwało 5,5 s, a skopiowanie pliku z zewnętrznego dysku 6,7 s,
  • model w fp32 zajmuje 4,9 GB, a przed testem wolne było 19,4 GB z 32 GB, więc mieści się z dużym zapasem,
  • wersji na samym procesorze nie mierzyłem.

Jeden wyjątek: pierwsza seria wersji szumu przejścia trwała 253 s, a wszystkie kolejne 334–359 s. Nie wiem dokładnie dlaczego. Przypuszczam, że przy dłuższej pracy Mac obniżył taktowanie karty graficznej.

Lokalnie czy przez API

Stability AI udostępnia nowsze modele dźwiękowe przez API, czyli jako płatną usługę w chmurze. Według cennika Stability jeden kredyt kosztuje 0,01 USD, a jeden dźwięk ze Stable Audio 2.5 lub 3.0 to 8 kredytów, czyli 0,08 USD za dźwięk do trzech minut. W cenniku ElevenLabs efekty dźwiękowe kosztują 0,12 USD za minutę.

Moje cztery efekty po trzy wersje kosztowałyby w API Stability 0,96 USD, a w ElevenLabs około 0,13 USD, licząc 0,12 USD za minutę dźwięku. Na Macu 12 wersji (cztery opisy po trzy) to razem około 23 minut pracy karty graficznej, więc w nocy spokojnie zmieści się kilkadziesiąt opisów.

Pieniądze znowu nie są głównym argumentem. Za modelem na własnym komputerze przemawia to, że mogę wygenerować w nocy kilkadziesiąt wersji, odsiać je CLAP-em i nie martwić się limitami.

Licencja też jest przejrzysta. Według Stability AI Community License:

  • model jest darmowy, także do użytku komercyjnego, dla osób i firm z rocznym przychodem poniżej 1 mln USD,
  • do użytku komercyjnego trzeba się zarejestrować w Stability AI,
  • próg liczy się razem z firmami powiązanymi,
  • powyżej progu trzeba poprosić Stability o osobną licencję, a firma decyduje, czy jej udzieli.

Pliki modelu na Hugging Face wymagają zalogowania i akceptacji warunków.

Na co uważać

Model najlepiej radzi sobie z krótkimi, jednolitymi dźwiękami. Przy dłuższych nagraniach otoczenia charakter dźwięku potrafi nagle zmienić się w połowie. W projekcie z dłuższych nagrań z biblioteki wycinam najspokojniejszy fragment: szukam miejsca o najbardziej równej głośności, bez nagłych skoków. To samo warto zrobić z dłuższym dźwiękiem z modelu.

Przed miksem ściszam najgłośniejszy punkt każdego efektu do około −3 dBFS, bo plik ze stukaniem klawiatury po kompresji AAC ma szczyt około +0,6 dBFS, czyli powyżej poziomu, przy którym dźwięk się przesterowuje.

Mowy i śpiewu ten model nie tworzy dobrze i nie jest do tego przeznaczony, dlatego negatywny prompt zawiera słowa „speech, talking”. Do sprawdzania, co jest w gotowym dźwięku, używam też modelu AST, który opisuję w jednej z kolejnych części serii. O zamianie mowy na tekst na własnym komputerze piszę w części o Whisperze, a szerzej o tworzeniu dźwięku i głosu z AI w przewodniku o obrazie, wideo i głosie z AI.

Jak zmiksować efekt z mową

Wygenerowany efekt rzadko brzmi dobrze sam. W rolce dźwięk ma trzy warstwy: mowę, podkład i efekty, a mowa zawsze jest najważniejsza. W mojej rolce o modelach viral-hub (wersja 13) cały miks ma średnio −17,1 dB, a najgłośniejszy punkt −1,5 dB. Efekty są wyraźnie cichsze od głosu. Kilka zasad, których się trzymam:

  • Efekt przejścia zaczyna się chwilę przed cięciem i kończy chwilę po nim. Szum, który startuje dokładnie na cięciu, brzmi jak spóźniony.
  • Uderzenie na początku rolki ustawiam na pierwszym akcencie mowy albo na pojawieniu się pierwszej planszy, nigdy w środku słowa.
  • Tło dźwiękowe ściszam pod mową o kilka do kilkunastu decybeli i podgłaśniam w pauzach. Tak działa typowy miks.
  • Każdy efekt przycinam z krótkim wyciszeniem na końcu, żeby nie urywał się w połowie.

Te zasady działają niezależnie od tego, skąd pochodzi efekt. Z gotowej biblioteki biorę dźwięk o znanym charakterze, a z modelu dostaję coś nowego, co trzeba najpierw odsłuchać i przyciąć. Dlatego w studiu efekt z modelu przechodzi przez te same kroki co dźwięk z biblioteki: przycięcie ciszy, wyrównanie głośności i dopiero potem ustawienie na osi czasu rolki.

Werdykt

Stable Audio Open zastępuje mi bibliotekę efektów tam, gdzie gotowego dźwięku nie ma. Razem z CLAP-em daje proces, który da się zautomatyzować: opis, kilka wersji, automatyczny wybór i krótki odsłuch. Do typowych szumów i uderzeń wciąż wolę sprawdzone dźwięki na licencji CC0, bo są przewidywalne.

Dźwięk w rolkach i automatyczny wybór wersji mogę pokazać Ci na warsztatach AI 1:1.

Najczęstsze pytania

Czy Stable Audio Open nadaje się do muzyki?
Najlepiej sprawdza się w krótkich efektach. Tło dźwiękowe lasu w moim teście wyszło bardzo ciche i zdominowane przez dudnienie. Do podkładu muzycznego w mojej rolce Few Summers ustawiałem więcej kroków (100 zamiast 70), ale do piosenek z wokalem ten model nie jest przeznaczony.
Jak wybrać najlepszy z kilku wygenerowanych dźwięków?
Używam modelu CLAP, który mierzy, jak bardzo dźwięk pasuje do opisu tekstowego. W projekcie tworzyłem dwie wersje i zostawiałem tę z najwyższym wynikiem. Gdy żadna nie przekroczyła progu 0,20, druga seria dostawała w opisie dopisek „clean, natural, realistic”, a jeśli i to nie pomogło, efekt odpadał. W tym teście tworzę trzy wersje.
Czy mogę używać dźwięków ze Stable Audio Open komercyjnie?
Licencja Stability AI Community pozwala na użycie komercyjne bez opłat, jeśli roczny przychód Twojej firmy jest niższy niż 1 mln USD. Trzeba się przy tym zarejestrować w Stability AI, a próg liczy się razem z firmami powiązanymi. Powyżej progu trzeba poprosić Stability o osobną licencję, a firma decyduje, czy jej udzieli. Pliki modelu na Hugging Face wymagają zalogowania i akceptacji warunków.
Ile czasu zajmuje jeden efekt na Macu?
Na Macu mini M6 trzy wersje w 70 krokach to około 6 minut (średnio 2 minuty na wersję), niezależnie od tego, czy efekt ma 2,5 czy 10 s. Biblioteka diffusers zawsze liczy pełne okno 47,55 s, więc czas zależy od liczby kroków i wersji, a nie od długości efektu.

Źródła

Obraz, wideo i głos

Powiązane