- Hugging Face i AWS udostępniły narzędzie, które pokazuje, czy popularne modele działają na chipach Trainium bez zmian.
- Test obejmuje tylko modele tekstowe i tekstowo-obrazowe, a „PASS” nie mówi nic o szybkości.
Najkrócej: Hugging Face i AWS uruchomiły publiczną stronę (Space), na której sprawdzisz, czy popularne modele z Hugging Face Hub działają bez zmian na chipach AWS Trainium. Autorem wpisu jest David Corvoysier.
Co się zmieniło
- Widoki: „Selected” (lista wybrana przez autorów), „Trending” i „Downloads”.
- Dla każdego modelu widzisz wynik, liczbę użytych rdzeni Trainium, czas działania z kompilacją i szczytowe zużycie pamięci.
- Dla modelu dostajesz pakiety i skrypt
run.py, który uruchamiasz poleceniempython3 run.py. - Możesz pominąć początkową kompilację, pobierając gotowe grafy z publicznego zasobnika z cache.
- Wyniki są w publicznym zbiorze
aws-neuron/torch-neuronx-model-support.
Czego potrzebujesz
Instancji trn2 z oprogramowaniem Neuron (na przykład kontener AWS Neuron Deep Learning Container) oraz pakietu torch-neuronx. Do pobrania cache potrzebujesz narzędzia hf.
Jak to czytać
Testy obejmują tylko modele mieszczące się na 4 urządzeniach Trainium2 (do 16 rdzeni), generują 32 tokeny i dotyczą wyłącznie modeli tekstowych oraz tekstowo-obrazowych z Transformers. Według autorów „PASS” nie mówi nic o przepustowości ani dłuższych odpowiedziach. Traktuj to jako wstępne sito, nie gwarancję. Więcej o modelach uruchamianych na własnym sprzęcie piszę w hubie o lokalnym AI.