Każdy zna charakterystyczny styl tekstów generowanych przez AI, ale który z popularnych modeli najlepiej radzi sobie z jego maskowaniem?
Wpisy na mediach społecznościowych, posty na LinkedIn, a nawet niektóre artykuły w serwisach informacyjnych coraz częściej zdradzają ingerencję AI. Czatboty wykorzystujące ludzki język radzą sobie całkiem dobrze, jednak ich styl jest często stereotypowy i rozpoznawalny – nawet osoba z minimalnym doświadczeniem w korzystaniu z narzędzi AI nie powinna mieć problemów z identyfikacją specyficznych struktur czy technik stylistycznych. Nawet po zastosowaniu konkretnych promptów trudno pozbyć się charakterystycznych nawyków, co postanowili zbadać eksperci z firmy analityczno-marketingowej Graphite.
AI zmienia swoje nawyki, ale wciąż zostawia ślady
Po kilku latach analizowania tekstów autorstwa ludzi, AI jest już bliskie porzucenia zmanierowanego języka, jednak wciąż łatwo dostrzec wygenerowane publikacje – na przykład poprzez często używane zwroty typu „to nie X, ale Y” lub „to więcej niż X, to Y”, które mogą świadczyć o braku doświadczania generującego. Najpopularniejsze obecnie narzędzia to Gemini, ChatGPT oraz Claude, które były przedmiotem badań Graphite.
Punktem wyjścia badania była analiza ponad 10 tysięcy artykułów opublikowanych przed premierą ChatGPT, które stanowiły grupę kontrolną. Streszczenia tych publikacji zostały wprowadzone do trzech konkurencyjnych narzędzi, aby ujawnić sedno artykułu, ale ukryć styl autora. AI miało za zadanie napisać swoją wersję, a dla badaczy kluczowa była częstotliwość konkretnego słownictwa oraz schematy budowy zdań. Każde z trzech narzędzi AI miało swoje charakterystyczne nawyki, ale jedno z nich zaskoczyło badaczy bardzo ludzkim tonem generowanych tekstów.
Claude najbliżej człowieka
Graphite zidentyfikowało 13 tysięcy słów oraz zwrotów, które w tekstach AI występowały co najmniej dwa razy częściej niż w publikacjach ludzkich. Model Opus 5.5 od Anthropic szczególnie upodobał sobie słowo „dependable” (niezawodny), które w jego tekstach pojawia się 23 razy częściej niż u ludzi. Choć zredukował użycie wspomnianej wcześniej konstrukcji „to nie X, ale Y”, chętnie zastępuje ją wariantem „to coś więcej niż X, to Y”, co w praktyce niewiele zmienia. Badanie wykazało też, że Opus 5.5 ma tendencję do tłumaczenia, dlaczego coś jest istotne – zwrot „this matters” („to ma znaczenie”) występuje w jego tekstach 116 razy częściej niż u ludzi.
Astra od OpenAI chętnie używa zwrotów typu „kolejny wymiar” i często asekuracyjnie posługuje się sformułowaniami, takimi jak „może przynieść” korzyść. Jej charakterystycznym stylem jest corrective framing, czyli przedstawianie tematu przez kontrast – „nie tylko X” lub „zamiast polegać na X”. Takie konstrukcje pojawiały się w tekstach Astry ponad 100 razy częściej niż w tekstach ludzkich.
Pamiętacie krytykę użycia pauzy (tzw. długiego myślnika), którą na początku epoki AI uznawano za najbardziej widoczny atrybut tekstów generowanych przez maszyny? Opus 5.5 stosuje ją o 99% rzadziej niż Opus 5, Astra o 88% rzadziej niż ludzie, a Gemini 3.1 Pro niemal całkowicie wyeliminował ten element. Problem polega jednak na tym, że w miejsce usuniętych nawyków pojawiają się nowe, a każdy model ma swój unikalny zestaw.
Który z modeli zatem najlepiej opanował język angielski? Greg Druck, dyrektor ds. AI w Graphite, w rozmowie z TechCrunch wskazał, że kolejne modele Claude coraz bardziej zbliżają się do ludzkiego rozkładu słów, podczas gdy modele GPT oddalają się od niego. Dlatego, jeśli naprawdę chcecie zabłysnąć na LinkedIn, ale nie macie ochoty pisać, lepiej unikać narzędzi od OpenAI, bo wprawne oko od razu dostrzeże sztuczność tekstu.