Opowiadania ChatGPT dostały wyższe oceny niż teksty ludzi. Czytelnicy nie rozpoznawali autora
Czytelnicy wyżej ocenili krótkie opowiadania wygenerowane przez ChatGPT niż historie napisane przez ludzi. Gdy jednak informowano ich, że autorem tekstu jest AI, oceny spadały. W kolejnych eksperymentach badani nie potrafili wiarygodnie wskazać, które opowiadanie stworzyła maszyna.
Takie wyniki przyniosło badanie Sydney Sears i Deeny Skolnick Weisberg z Villanova University. Praca „Bot or not: Can people tell the difference between stories written by a human or by an AI system?” ukazała się 5 sierpnia 2026 roku w czasopiśmie „Judgment and Decision Making”. W trzech eksperymentach uczestniczyło łącznie 2587 dorosłych mieszkańców Stanów Zjednoczonych.
ChatGPT kontra trzy opublikowane opowiadania
Badaczki wykorzystały trzy teksty napisane przez ludzi. Były to opowiadania opublikowane wcześniej w magazynie literackim lub zbiorach. Następnie przygotowały dla ChatGPT szczegółowe polecenia opisujące zbliżoną fabułę oraz sposób prowadzenia narracji.
Model wygenerował trzy nowe historie liczące około tysiąca słów. W publikacji został określony jako ChatGPT 4.0. Pierwszy tekst powstał w listopadzie 2023 roku, dwa następne w grudniu 2024 roku. Model otrzymał rozbudowane streszczenia historii, więc nie zaczynał od pustej kartki. To ma znaczenie przy interpretacji wyniku.
W pierwszym eksperymencie wzięły udział 1682 osoby. Każda przeczytała jedno z sześciu opowiadań. Część uczestników dostała prawdziwą informację o jego pochodzeniu, pozostałym podano fałszywego autora.
Opowiadania ChatGPT uzyskały średnią ocenę jakości 1,54 punktu. Teksty ludzkich autorów otrzymały 0,97 punktu. Skala obejmowała wartości od minus 3 do 3. Historie stworzone przez model mocniej wciągały uczestników: średnia wyniosła 1,42 punktu wobec 1,00 punktu dla opowiadań napisanych przez ludzi.
Na ocenę wpływała też etykieta. Teksty przedstawione jako dzieło człowieka otrzymały średnio 1,40 punktu za jakość. Historie opisane jako wygenerowane przez ChatGPT zebrały 1,12 punktu. Efekt występował niezależnie od prawdziwego pochodzenia opowiadania.
Nie oznacza to jednak, że można ogłosić zdecydowane zwycięstwo historii AI podpisanych nazwiskiem człowieka. Badacze nie wykryli statystycznie znaczącej interakcji pomiędzy faktycznym autorem tekstu a informacją przekazaną czytelnikom.
Gorzej niż rzut monetą
W drugim eksperymencie 424 osoby czytały parę opowiadań o zbliżonej tematyce. Jedno napisał człowiek, drugie wygenerował ChatGPT. Uczestnicy wiedzieli, że mają przed sobą teksty pochodzące z dwóch różnych źródeł.
Prawidłowego autora wskazało 39,39 proc. badanych. Wynik był statystycznie niższy od poziomu losowego wyboru. Uczestnicy częściej mylili się, niż trafiali. Osoby kierujące się językiem opowiadania radziły sobie gorzej.
Trzeci eksperyment objął 481 osób. Tym razem poprawną odpowiedź podało 51,97 proc. uczestników. Rezultat nie różnił się od rzutu monetą. Wyższa deklarowana znajomość AI zwiększała szansę trafienia, choć cały badany zespół nadal nie przekroczył poziomu przypadku. Doświadczenie związane z czytaniem lub analizowaniem literatury nie pomagało.
Czy AI rzeczywiście pisze lepiej?
Badanie pozwala stwierdzić, że w tym konkretnym zestawie opowiadań czytelnicy wyżej ocenili historie ChatGPT. Nie dowodzi, że model pisze lepiej od ludzi w każdej formie.
Porównanie obejmowało sześć tekstów, wszystkie liczyły około tysiąca słów. Były to opowiadania należące do prozy realistycznej. Eksperyment nie mówi nic pewnego o powieściach, publicystyce, reportażach czy tekstach przygotowywanych na zamówienie redakcji.
Autorzy wskazują, że utwory generowane przez modele mogą wygładzać nietypowe cechy ludzkiej prozy. Taki tekst bywa łatwiejszy w odbiorze, co sprzyja wyższym ocenom. Nie jest to jednak dowód, że prezentuje większą wartość literacką. Badaczki przypominają, że wymagająca literatura nie zawsze jest od razu przyjemna dla czytelnika.
"AI Eksploracja"
To jest link afiliacyjny. Kupując za jego pomocą, wspieracie rozwój bloga, a cena dla Was pozostaje bez zmian.
Sprawdź cenęDo wyników trzeba podejść ostrożnie także z powodów metodologicznych. Żaden z trzech eksperymentów nie został wcześniej prerejestrowany. Skala użyta do pomiaru jakości opowiadań została przygotowana na potrzeby badania i nie przeszła wcześniejszej walidacji. Autorzy udostępnili materiały, dane oraz skrypty analityczne w serwisie Open Science Framework.
