Komputer opisuje to, co masz w głowie. Przełom dla osób niemych?
Badacze opisali technikę „mind captioning”, która z zapisu aktywności mózgu potrafi złożyć krótkie zdania o tym, co oglądamy albo co sobie przypominamy. W eksperymencie osoby badane oglądały krótkie filmy, a ich mózgi były skanowane metodą fMRI.
System najpierw uczył się prostego odwzorowania: z sygnału mózgu przewidywał ogólne cechy znaczeniowe tekstu towarzyszącego filmowi. Potem generował opisy i krok po kroku je poprawiał, by lepiej pasowały do „odczytanych” cech. Autor pracy podkreśla, że to interpretacja stanu umysłu, a nie dosłowne czytanie myśli.
Jak to działa w skrócie
Najpierw buduje się liniowy dekoder, który łączy wzorce fMRI z cechami semantycznymi zdań (np. „kto co robi, gdzie, z kim”). Następnie używa się modelu językowego do podmiany słów i dopracowania zdań tak, aby ich cechy coraz lepiej zgadzały się z tym, co wyszło z mózgu. Efekt to opis zdarzeń widzianych na filmie lub przypominanych z pamięci, często z poprawnym szkieletem „kto-robi-co”. Metoda działa nawet wtedy, gdy aktywność nie pochodzi z klasycznej „sieci językowej” w mózgu, co sugeruje, że uchwycone zostały znaczenia związane z widzeniem i wyobraźnią.
Co to oznacza
To obiecujący trop dla osób, które utraciły mowę. Zamiast żmudnego literowania można byłoby opisy generować z sygnału mózgu. Autor zaznacza jednocześnie, że metoda jest interfejsem interpretacyjnym: łączy informacje z mózgu z wiedzą modelu językowego, więc nie „wydobywa” treści prywatnych wprost. Potrzebne są dalsze testy, w tym poza skanerem i z innymi bodźcami.
Na co uważać
To małe badanie w skanerze fMRI, z kilkoma ochotnikami i przygotowanymi wcześniej bodźcami. Wyniki zależą od jakości danych i od treningu modeli. Publikacja jasno ostrzega przed nadinterpretacją: celem jest sensowna, zrozumiała parafraza tego, co dzieje się w głowie uczestnika, a nie dosłowne „podsłuchiwanie myśli”.
Źródło: Tomoyasu Horikawa, „Mind captioning: Evolving descriptive text of mental content from human brain activity”, Science Advances, 7 listopada 2025 (open access/PMCID).
