- Dermatolog Magnus Lynch porównał dwa czaty AI z prostym programem na 200 zmianach skórnych.
- Pierwszą diagnozę trafił program (62%), czaty nieco ponad 40%.
- Przy ustawionym progu program uznał jednak za bezpieczne 18 z 30 czerniaków.
Najkrócej: dermatolog Magnus Lynch (Guy’s Hospital, King’s College London) sprawdził na 200 zmianach skórnych potwierdzonych biopsją, jak radzą sobie dwa duże czaty AI: GPT-6 Astra i Claude Fable 5.1. Porównał je z prostym programem rozpoznającym obrazy, czyli siecią konwolucyjną (model Inception v3). Wpis opublikował 25.10.2026 na stronie swojego laboratorium. To nie jest recenzowana praca naukowa.
Co sprawdzono
- 200 zmian: 100 takich, których nie wolno odesłać bez dalszej kontroli (30 czerniaków, 25 raków podstawnokomórkowych, 25 kolczystokomórkowych, 20 rogowacieni słonecznych) i 100 niegroźnych (50 znamion, 50 brodawek łojotokowych).
- Każdy przypadek miał zdjęcie kliniczne i dermatoskopowe. Czaty wybierały jedną z sześciu diagnoz i mówiły, czy zmianę można bezpiecznie zostawić.
- Program uczył się na 68 011 obrazach z archiwum ISIC. Zmiany testowe i powiązane obrazy wyłączono z nauki.
Wyniki
- Pierwsza diagnoza trafna: GPT-6 Astra 84 z 200 (42%), Claude Fable 5.1 85 z 200 (42%), program 125 z 200 (62%).
- Czerniak jako pierwszy wybór (z 30): 8, 11 i 13.
- Niegroźne zmiany uznane za bezpieczne (ze 100): 32, 22 i 76. Czaty prawie wszystko kierowały dalej, więc były ostrożne, ale mało pomocne.
- Program ma ustawiony próg decyzji i przy nim pomylił się w drugą stronę: za bezpieczne uznał 18 z 30 czerniaków (czaty: 3 i 4).
W osobnym teście na samych zdjęciach klinicznych oba czaty zalecały wizytę u lekarza w 99 i 98 przypadkach czerniaka na 100, ale podobnie radziły przy większości niegroźnych zmian.
Jak to czytać
Autor sam wymienia ograniczenia: mała próba (tylko 30 czerniaków), każdy czat uruchomiony raz, wszystkie zmiany były już biopsjowane, więc trudniejsze niż typowe, a czaty mogły widzieć publiczny zbiór danych w czasie nauki (program nie). Program to prosty wzorzec, nie najnowszy model. Autor zaznacza też, że jeden z testowanych czatów pochodzi od Anthropic, a do analizy używał Claude Code.
To nie jest porada medyczna: niepokojące znamię pokaż lekarzowi. Więcej o badaniach nad AI piszę w hubie o badaniach i paperach.