GPT-6 Astra stanął obok czterech testowanych na torze parkingowym modeli i jako jedyny go ukończył, kierując prawdziwym autem. Nikt nie zginął, auto nie wyrwało się z toru i nie ruszyło na ulice. Ale są pewne niuanse, na które trzeba zwrócić uwagę.
Ludzie z projektu DrivingBench sprawdzili, czy duży model językowy (LLM), taki jak GPT-6, będzie w stanie wykorzystać swoje zdolności do kierowania rzeczywistym pojazdem. Testy polegały na przekazaniu kontroli nad Toyotą Corollą modelom i wyznaczeniu trasy za pomocą pachołków na parkingu. Najlepszym rezultatem okazał się model GPT-6 Astra, który podczas udanego przejazdu osiągnął średnią prędkość wynoszącą około 1,5 kilometra na godzinę. Może się to wydawać nieco komiczne, ale warto zauważyć, że żaden z tych LLM-ów nie był pierwotnie trenowany do prowadzenia pojazdów. Do tego celu istnieją specjalistyczne mechanizmy montowane w pojazdach, takie jak te w Tesli, a także obecne we flotach Waymo oraz Ubera.
Model językowy wziął się za jazdę autem
W eksperymencie model był wspierany przez dodatkowe oprogramowanie oraz sprzęt pomocniczy. Badacze wykorzystali urządzenie comma four z oprogramowaniem openpilot, komputer przenośny oraz telefon, aby zapewnić pojazdowi łączność z modelem wykonującym obliczenia w chmurze. Obrazy z kamer oraz dane o ruchu były przekazywane bezpośrednio do modelu, który wydawał polecenia dotyczące kierunku jazdy oraz otwarcia przepustnicy. System pośredniczący przekładał komendy modelu bezpośrednio na sterowanie pojazdem, komunikując się z nim przez magistralę CAN, omijając fizyczną kierownicę, manetki itp.
Jednakże, modele napotkały trudności w odczytywaniu przebiegu trasy. Często myliły, po której stronie pachołków znajduje się ich tor jazdy, co jest dość interesujące. Większość prób kończyła się przed pierwszym zakrętem, chociaż model Fable 5.1 dotarł mniej więcej do połowy toru. Astra zakończyła swoją pierwszą próbę w okolicach połowy toru, ale za drugim razem udało jej się pokonać pełną trasę.
Taki model nie zdałby egzaminu na prawo jazdy
LLM-y nie są przystosowane do podejmowania szybkich decyzji w czasie rzeczywistym. Astra wywoływała obrazy z kamer co pięć lub sześć sekund. Skąd to wynika? Głównie z jej trybu myślenia, co nie jest zaskakujące. W jednej z prób model Claude poruszał się zaledwie przez 31 z 190 sekund; pozostały czas spędzał na analizowaniu sytuacji. Zdecydowanie, taki model nie nadawałby się do ruchu ulicznego: zanim zdążyłby się włączyć do ruchu, mogłoby na niego spaść noc. Nic dziwnego, że żaden z LLM-ów nie uciekł z toru parkingowego w kierunku ulicy. Po prostu nie byłby w stanie tego dokonać.
Struktura eksperymentu pozwalała modelom na korzystanie z doświadczeń nabytych w poprzednich próbach. W jednym podejściu miały maksymalnie trzy próby, a po niepowodzeniu mogły przeanalizować swoje błędy. Każdy z modeli otrzymał jedynie jedną podobną serię dla wszystkich prób, co utrudnia ocenę, czy Astra zachowałaby przewagę przy kolejnych podejściach. Niezależnie od wszystkiego, obecna konfiguracja LLM-ów nie pozwala im stać się kierowcami z krwi i kości: zbyt długo analizują sytuacje i nie dostosowują się do szybko zmieniającego się „widoku drogowego”. Niemniej jednak, eksperyment jest niezwykle interesujący.
57 dolarów za kilometr. To raczej mało opłacalna przejażdżka
Udana próba wygenerowała 6,6 miliona tokenów i kosztowała 7,74 dolara. Kolejne wywołania często przesyłały historię rozmowy wraz z obrazami, co sprawiało, że w rzeczywistości większość z tego stanowiło po prostu powtórzony kontekst: ilekroć model musiał przeanalizować obraz z kamer. Choć system cachingowy pozwalał na nieco niższe koszty, kwota wciąż pozostaje zdumiewająca.
Co więcej, niskie prędkości były częściowo efektem decyzji samych twórców eksperymentu. Za kierownicą cały czas siedział operator, gotowy w każdej chwili nacisnąć na hamulec. Co ciekawe, część modeli odmówiła prowadzenia pojazdu z powodów bezpieczeństwa: aktywowały się więc zabezpieczenia ze strony infrastruktury LLM-ów. W takich sytuacjach stosowano „obejścia”, sugerując w opisie środowiska symulację lub zmieniając nazwę narzędzia sterującego, aby nie informować modelu o odpowiedzialności za prowadzenie samochodu.
Czytaj również: Oto GPT-6 Sol i Luna. OpenAI nie zwalnia tempa z premierami
Na razie lokalne mechanizmy odpowiedzialne za autonomię w pojazdach pozostaną na czołowej pozycji. Jednak możliwe jest, że w ramach destylacji można byłoby przenieść możliwości większego modelu do mniejszego, dostosowanego do konkretnego zadania: mogłoby to działać w takim zamknięty w aucie modelu, lokalnie. Na dzień dzisiejszy wiadomo, że LLM-y „średnio” radzą sobie z obsługą pojazdów, co wynika z ich specyficznych cech oraz faktu, iż komunikacja realizowana była przez wiele pośredniczących urządzeń, korzystających z chmury. Interesujące jest, jak poradziłyby sobie np. lokalne LLM-y z podłączeniem do magistrali CAN.