Gemini otrzymał zlecenie przeprowadzenia kontrolowanych cyberataków, jednak z powodu błędu w konfiguracji, zamiast wyznaczonych celów, uzyskał dostęp do systemów trzech rzeczywistych firm.
Granica między eksperymentem a rzeczywistością w przypadku autonomicznych modeli AI może być niebezpiecznie wąska. Wystarczy jeden błąd w konfiguracji, aby system, zaprojektowany do działania w kontrolowanym środowisku, uzyskał dostęp do prawdziwego internetu i rozpoczął realizację swoich zadań na realnych celach. Tak właśnie postąpił model Gemini podczas testu cyberbezpieczeństwa. Uzyskał dostęp do systemów trzech rzeczywistych firm, które nie były wyznaczone do jego działań. Google ma jednak inną interpretację tego zdarzenia.
Model wyszedł poza wyznaczony zakres
Incydenty miały miejsce w maju, jednak opinia publiczna została o nich poinformowana dopiero we wrześniu, gdy o sprawę zapytał „Wall Street Journal”. Google był informowany o zaistniałej sytuacji już pod koniec lipca przez zewnętrzną firmę Irregular, ale zdecydował się na jej publiczne ujawnienie dopiero później.
Gemini brał udział w teście mającym na celu ocenę jego możliwości w zakresie cyberbezpieczeństwa. Ćwiczenia były prowadzone przez wspomniane Irregular, które uczestniczyło również w podobnych testach dla innych gigantów technologicznych, takich jak Meta czy OpenAI. Zadanie miało formę ćwiczenia typu „capture the flag”, polegającego na poszukiwaniach ukrytych informacji w oprogramowaniu fikcyjnej firmy w zamkniętym środowisku testowym. Problematyczne było to, że fikcyjna firma miała taką samą nazwę jak jedna z prawdziwych firm. Model nie powinien mieć dostępu do internetu, ale Irregular przyznało „WSJ”, że przez pomyłkę pozostawiono połączenie aktywnym. W efekcie Gemini rozpoczął korzystanie z publicznie dostępnych informacji i poszukiwanie danych, które umożliwiłyby mu zrealizowanie zadania.
W jednym z przypadków model uzyskał dostęp do chronionego systemu, stosując metodę brute force, czyli podejmując wielokrotne próby. W dwóch pozostałych przypadkach natrafił na dane uwierzytelniające w publicznie dostępnym repozytorium. Problematyczne jest to, że systemy, do których dotarł, należały do rzeczywistych firm, a nie do celów przewidzianych na potrzeby testu. Na szczęście w żadnym z przypadków Gemini nie kontynuował działań, gdy zorientował się, że został skierowany do rzeczywistych podmiotów.
Google woli mówić o pomyłce
Jak Google zareagował na to zdarzenie? Koncern nie uznał go za przykład działania modelu niezgodnego z przeznaczeniem, czyli tzw. misalignment. Zamiast tego określił sytuację jako „pomyłkę co do tożsamości”, co przy zbieżności nazw wydaje się na pierwszy rzut oka uzasadnione. Heather Adkins, wiceprezeska Google ds. inżynierii bezpieczeństwa, zauważyła, że w tej sytuacji model zareagował właściwie, ponieważ zatrzymał się po uzyskaniu dostępu do danych prawdziwych firm. W rozmowie z „The Verge” wyjaśniła, że Gemini znalazł publiczne informacje i wykorzystał dane uwierzytelniające, aby uzyskać dostęp do stron, które uważał za część testu. Google podkreśla, że wszystkie trzy podmioty zostały poinformowane o incydentach, a Irregular zmieniło swoje procedury testowe.
Choć sytuacja nie zakończyła się wielką kontrowersją, rodzi się pytanie, dlaczego wyjście modelu poza obszar eksperymentu i przeprowadzenie rzeczywistych działań na cudzych systemach nie zostały uznane za problem. Zbieżność nazw tłumaczy co prawda pierwszy przypadek, lecz nie wyjaśnia dwóch następnych, w których Gemini natrafił na cudze dane logowania znalezione w sieci. Model co prawda zatrzymał się, gdy zorientował się w pomyłce, lecz wcześniej zdążył już wykorzystać odnalezione dane i uzyskać dostęp do rzeczywistych systemów. Na ten problem zwraca uwagę Jack Cable, prezes firmy Corridor, specjalizującej się w bezpieczeństwie, który zauważa, że modele zaczynają przekraczać granice swoich możliwości i podejmują rzeczywiste działania cyberataków.
Google podkreśla z kolei, że jego zespoły bezpieczeństwa od lat informują o lukach w oprogramowaniu i systemach, nawet w przypadku tak banalnych problemów jak słabe hasła. W tym przypadku sytuacja jest jednak bardziej skomplikowana. Luki nie wykrył bowiem człowiek z zespołu bezpieczeństwa, lecz model AI, który został błędnie przekonfigurowany do działania w środowisku testowym, uzyskując dostęp do internetu i wykorzystując go do realizacji swoich zadań.