Naukowcy zauważyli oczywistą wadę inteligentniejszych chatbotów. Chociaż modele AI przewidywalnie stają się dokładniejsze w miarę rozwoju, jest również bardziej prawdopodobne, że (błędnie) odpowiedzą na pytania wykraczające poza ich możliwości, zamiast powiedzieć: „Nie wiem”. A ludzie, którzy je podpowiadają, są bardziej skłonni przyjąć ich pewne halucynacje za dobrą monetę, tworząc efekt kaskadowy pewnej dezinformacji.
„Obecnie odpowiadają niemal na wszystko” – powiedział José Hernández-Orallo, profesor na Uniwersytecie Politechnicznym w Walencji w Hiszpanii. powiedział Natura. „A to oznacza więcej poprawności, ale też więcej niepoprawności”. Hernández-Orallo, kierownik projektu, pracował nad badaniem ze swoimi kolegami z Walenckiego Instytutu Badawczego Sztucznej Inteligencji w Hiszpanii.
Zespół badał trzy rodziny LLM, w tym serię GPT firmy OpenAI, LLaMA Meta i BLOOM z otwartym kodem źródłowym. Testowali wczesne wersje każdego modelu i przeszli na większe, bardziej zaawansowane — ale nie na dzisiejsze najbardziej zaawansowane. Na przykład zespół zaczął od stosunkowo prymitywnego modelu ada GPT-3 OpenAI i testował iteracje prowadzące do GPT-4, który przybył w marcu 2023 r.. Ten czteromiesięczny GPT-4o nie został uwzględniony w badaniu, ani nie był nowsza wersja o1-preview. Ciekawi mnie, czy w przypadku najnowszych modeli ta tendencja nadal się utrzymuje.
Naukowcy przetestowali każdy model na tysiącach pytań dotyczących „arytmetyki, anagramów, geografii i nauk ścisłych”. Przepytali również modele AI pod kątem ich zdolności do przekształcania informacji, np. alfabetycznego sortowania listy. Zespół uporządkował swoje podpowiedzi według postrzeganej trudności.
Dane pokazały, że odsetek błędnych odpowiedzi chatbotów (zamiast całkowicie unikać pytań) wzrastał wraz ze wzrostem modeli. Tak więc sztuczna inteligencja jest trochę jak profesor, który, opanowując coraz więcej przedmiotów, coraz bardziej wierzy, że ma złote odpowiedzi na wszystkie z nich.
Sprawę dodatkowo komplikuje fakt, że ludzie podpowiadają chatbotom i czytają ich odpowiedzi. Naukowcy zlecili wolontariuszom ocenę dokładności odpowiedzi botów AI i odkryli, że „nieprawidłowo klasyfikowali niedokładne odpowiedzi jako zaskakująco często dokładne”. Zakres błędnych odpowiedzi błędnie postrzeganych przez wolontariuszy jako prawidłowe wynosił zazwyczaj od 10 do 40 procent.
„Ludzie nie są w stanie nadzorować tych modeli” – podsumowała Hernández-Orallo.
Zespół badawczy zaleca, aby twórcy sztucznej inteligencji zaczęli zwiększać wydajność w przypadku łatwych pytań i programować chatboty tak, aby odmawiały odpowiadania na złożone pytania. „Musimy, aby ludzie zrozumieli: »Mogę używać tego w tym obszarze, ale nie powinienem używać tego w tamtym obszarze«” – powiedziała Hernández-Orallo Natura.
To dobrze zamierzona sugestia, która mogłaby mieć sens w idealnym świecie. Ale firmy AI, które mają duże szanse, by to zrobić. Chatboty, które częściej mówią „nie wiem”, prawdopodobnie byłyby postrzegane jako mniej zaawansowane lub wartościowe, co prowadziłoby do mniejszego wykorzystania — i mniejszych pieniędzy dla firm, które je tworzą i sprzedają. Zamiast tego otrzymujemy ostrzeżenia drobnym drukiem, że „ChatGPT może popełniać błędy” i „Gemini może wyświetlać niedokładne informacje”.
Pozostawia to nam unikanie wiary i rozpowszechniania halucynogennych dezinformacji, które mogłyby zaszkodzić nam lub innym. Dla dokładności, sprawdź fakty w odpowiedziach twojego cholernego chatbota, na litość boską.
Możesz przeczytać pełne badanie zespołu W Natura.
