Jeśli sztuczna inteligencja ma przejąć władzę nad światem, dlaczego nie może rozwiązać problemu Spelling Bee?

Moje zadanie dla naszych władców AI było proste: pomóż mi złamać szyfr New York Times Śpiąca Pszczoła.

Spędziłem dużą część sobotniego wieczoru, próbując ułożyć litery G, Y, A, L, P, O i N w jak najwięcej słów. Ale trzy godziny, 141 punktów i 37 słów – w tym „nonapologia”, „laguna” i „analogia” – później uderzyłem w ścianę. Jeszcze kilka słów wystarczyło, aby dostać się do grona „geniuszy” Spelling Bee, tytułu zarezerwowanego dla tych, którzy rozszyfrowują 70 procent wszystkich możliwych słów za pomocą podanych liter i punktu, w którym zagadka uważa się za skutecznie rozwiązaną . (Rozwiązującym w 100 procentach przyznaje się rangę „królowej pszczół”, ale nawet ja mam pewne ograniczenia.)

Mój ludzki umysł najwyraźniej miał trudności, ale to zadanie wydawało się dziecinnie proste dla AI, więc odpaliłem ChatGPT, powiedziałem, że próbuję wygrać Spelling Bee, przekazałem mu moje listy i przedstawiłem zasady. „Daj mi listę wszystkich słów, które można z nich utworzyć” – napisałam. „Możesz powtarzać litery, ale każde słowo musi zawierać literę „N”.

Kiedy nacisnąłem Enter, oto co wypluł ChatGPT:

Niezbyt dobry początek.

„Te słowa muszą znajdować się w słowniku” – odpisałam. „Jasne” – brzmiała odpowiedź. „Dostarczę listę prawidłowych angielskich słów na podstawie podanych liter.ANGLY, GALON, LANG.

Najwyraźniej to nie zadziałało, więc zwróciłem się do Copilot firmy Microsoft (YANG, ZABAWA, PLANOWANIE, Irytujące), Bliźnięta Google (GAPO, GON, GIAN) i Claude z Anthropic (MANGO, TRWAJĄCE, Trawnik17.UKŁAD). Meta AI pomogła mi powiedzieć, że na zawartej liście uwzględniła tylko słowa rozpoznawane przez słowniki NALYP I DUŻY, natomiast Perplexity — chatbot z ambicje o zabiciu wyszukiwarki Google – po prostu napisano GAL setki razy, po czym nagle zamarznie.

Sztuczna inteligencja może teraz tworzyć obrazy, wideo i audio tak szybko, jak tylko możesz wpisywać opisy tego, co chcesz. Potrafi pisać wiersze, eseje i prace semestralne. Może to być również blada imitacja twojej dziewczyny, terapeuty i osobistego asystenta. Wiele osób uważa, że ​​może to spowodować automatyzację utraty pracy i przekształcenie świata w sposób, który z trudem możemy sobie wyobrazić. Dlaczego więc tak trudno jest rozwiązać prostą łamigłówkę słowną?

Odpowiedź leży w tym, jak działają duże modele językowe, czyli technologia leżąca u podstaw naszego współczesnego szaleństwa związanego ze sztuczną inteligencją. Programowanie komputerowe jest tradycyjnie logiczne i oparte na regułach; wypisujesz polecenia, które komputer wykonuje zgodnie z zestawem instrukcji, a on dostarcza prawidłowy wynik. Jednak uczenie maszynowe, którego podzbiorem jest generatywna sztuczna inteligencja, jest inne.

„To kwestia czysto statystyczna” – powiedział mi Noah Giansiracusa, profesor matematyki i analityki danych na Uniwersytecie Bentley. „Tak naprawdę chodzi o wyodrębnianie wzorców z danych, a następnie wypychanie nowych danych, które w dużej mierze pasują do tych wzorców”.

OpenAI nie odpowiedziało zgodnie z protokołem, ale rzecznik firmy powiedział mi, że tego typu „opinie” pomogły OpenAI poprawić zrozumienie modelu i reagowanie na problemy. „Rzeczy takie jak struktury słów i anagramy nie są częstym przypadkiem użycia Perplexity, więc nasz model nie jest pod tym kątem zoptymalizowany” – powiedziała mi rzeczniczka firmy Sara Platnick. „Jako codzienny gracz Wordle/Connections/Mini Crossword jestem podekscytowany widząc, jak sobie radzimy!” Microsoft i Meta odmówiły komentarza. Google i Anthropic nie odpowiedziały do ​​czasu publikacji.

Sercem dużych modeli językowych są „transformatory” – przełom techniczny dokonany przez badaczy z Google w 2017 r. Po wpisaniu monitu duży model językowy dzieli słowa lub ułamki tych słów na jednostki matematyczne zwane „tokenami”. Transformatory są w stanie analizować każdy token w kontekście większego zestawu danych, na którym szkolony jest model, aby zobaczyć, w jaki sposób są ze sobą połączone. Gdy transformator zrozumie te relacje, będzie w stanie odpowiedzieć na Twój monit, odgadując następny prawdopodobny żeton w sekwencji. The „Financial Times”. ma wspaniałe animowany objaśnienie to wszystko rozbija, jeśli jesteś zainteresowany.

I myśl Podawałem chatbotom dokładne instrukcje dotyczące generowania słów Spelling Bee, a oni jedyne, co robili, to konwertowanie moich słów na tokeny i używanie transformatorów do wypluwania wiarygodnych odpowiedzi. „To nie to samo, co programowanie komputerowe lub wpisywanie poleceń w wierszu poleceń DOS” – powiedział Giansiracusa. „Twoje słowa zostały przetłumaczone na liczby, a następnie przetworzone statystycznie.” Wygląda na to, że zapytanie oparte wyłącznie na logice było najgorszym zastosowaniem umiejętności sztucznej inteligencji – przypominało to próbę dokręcenia śruby młotkiem wymagającym dużych zasobów.

Sukces modelu sztucznej inteligencji zależy również od danych, na których jest on szkolony. Właśnie dlatego firmy zajmujące się sztuczną inteligencją właśnie teraz gorączkowo zawierają umowy z wydawcami wiadomości — im świeższe dane szkoleniowe, tym lepsze reakcje. Generacyjna sztuczna inteligencja, np. jest do bani w sugerowaniu ruchów szachowych, ale przynajmniej jest marginalnie lepiej radzi sobie z zadaniem niż rozwiązywanie zagadek słownych. Giansiracusa zwraca uwagę, że nadmiar partii szachowych dostępnych w Internecie prawie na pewno jest uwzględniony w danych szkoleniowych dla istniejących modeli sztucznej inteligencji. „Podejrzewam, że w Internecie nie ma wystarczającej liczby gier Spelling Bee z adnotacjami, na których sztuczna inteligencja mogłaby trenować, podobnie jak partie w szachy” – powiedział.

„Jeśli Twój chatbot wydaje się bardziej zdezorientowany grą słowną niż kotem z kostką Rubika, to dlatego, że nie został specjalnie przeszkolony do grania w złożone gry słowne” – powiedziała Sandi Besen, badaczka sztucznej inteligencji w Neudesic, firmie zajmującej się sztuczną inteligencją, której właścicielem jest IBM-a. „Gry słowne mają określone zasady i ograniczenia, których model będzie miał trudności z przestrzeganiem, chyba że otrzyma specjalne instrukcje podczas szkolenia, dostrajania lub podpowiedzi”.

Nic z tego nie powstrzymuje wiodących na świecie firm zajmujących się sztuczną inteligencją od częstego promowania tej technologii jako panaceum rażąco przesadzone twierdzenia o jego możliwościach. W kwietniu zarówno OpenAI, jak i Meta pochwaliły się, że ich nowe modele sztucznej inteligencji będą zdolne do „wnioskowania” i „planowania”. W wywiadzie dyrektor operacyjny OpenAI Brad Lightcap powiedział the „Financial Times”. że następna generacja GPT, modelu sztucznej inteligencji, na którym opiera się ChatGPT, wykaże postęp w rozwiązywaniu „trudnych problemów”, takich jak rozumowanie. Joelle Pineau, wiceprezes Meta ds. badań nad sztuczną inteligencją, powiedziała w publikacji, że firma „ciężko pracowała nad wymyśleniem, jak zmusić te modele nie tylko do mówienia, ale także do rozumowania, planowania… posiadania pamięci”.

Moje wielokrotne próby nakłonienia GPT-4o i Lamy 3 do złamania Spelling Bee zakończyły się spektakularnym niepowodzeniem. Kiedy powiedziałem to ChatGPT GALON, LANG i ANGLY nie było w słowniku, chatbot powiedział, że się ze mną zgadza i zasugerował GALWANOPIA Zamiast. Kiedy w mojej odpowiedzi na ofertę Meta AI dotyczącą dodania większej liczby słów błędnie wpisałem słowo „pewny” jako „sur”, chatbot powiedział mi, że „sur” to rzeczywiście kolejne słowo, które można utworzyć z liter G, Y , A, L, P, O i N.

Najwyraźniej wciąż jesteśmy daleko od sztucznej inteligencji ogólnej, mglistej koncepcji opisującej moment, w którym maszyny są w stanie wykonać większość zadań równie dobrze lub lepiej niż ludzie. Niektórzy eksperci, jak Yann LeCun, główny naukowiec zajmujący się sztuczną inteligencją w Meta, otwarcie wypowiadali się na temat ograniczeń dużych modeli językowych, twierdząc, że nigdy nie osiągną one inteligencji na poziomie ludzkim, ponieważ tak naprawdę nie korzystają z logiki. W zeszłym roku na imprezie w Londynie LeCun powiedział że obecna generacja modeli AI „po prostu nie rozumie, jak działa świat. Nie potrafią planować. Nie są zdolni do prawdziwego rozumowania” – powiedział. „Nie mamy w pełni autonomicznych, autonomicznych samochodów, które mogłyby nauczyć się prowadzić po około 20 godzinach ćwiczeń, co jest w stanie zrobić 17-latek”.

Giansiracusa uderza jednak w bardziej ostrożny ton. „Tak naprawdę nie wiemy, jak rozumują ludzie, prawda? Nie wiemy, czym właściwie jest inteligencja. Nie wiem, czy mój mózg to tylko duży kalkulator statystyczny, coś w rodzaju bardziej wydajnej wersji dużego modelu językowego.

Być może kluczem do życia z generatywną sztuczną inteligencją bez ulegania szumowi i niepokojom jest po prostu zrozumienie jej nieodłącznych ograniczeń. „Te narzędzia nie są tak naprawdę zaprojektowane do wielu celów, do jakich ludzie ich używają” – powiedział Chirag Shah, profesor sztucznej inteligencji i uczenia maszynowego na Uniwersytecie Waszyngtońskim. Jest współautorem głośnego artykuł badawczy w 2022 r., krytykując wykorzystanie dużych modeli językowych w wyszukiwarkach. Shah uważa, że ​​firmy technologiczne mogłyby znacznie lepiej zachować przejrzystość w zakresie tego, co sztuczna inteligencja może, a czego nie może zrobić, zanim nam to narzucą. Jednak ten statek mógł już odpłynąć. W ciągu ostatnich kilku miesięcy największe światowe firmy technologiczne – Microsoftu, Meta, SAMSUNG, JabłkoI Google – złożyli deklaracje ścisłego wplecenia sztucznej inteligencji w swoje produkty, usługi i systemy operacyjne.

„Boty są do niczego, bo nie zostały do ​​tego zaprojektowane” – Shah powiedział o mojej zagadce związanej z grami słownymi. Czas pokaże, czy radzą sobie ze wszystkimi innymi problemami, jakie rzucają na nie firmy technologiczne.

W jakim innym przypadku chatboty AI Cię zawiodły? Wyślij mi e-mail na adres pranav.dixit@engadget.com i daj mi znać!

Aktualizacja, 13 czerwca 2024 r., 16:19 ET: Ta historia została zaktualizowana, aby uwzględnić oświadczenie firmy Perplexity.