Jak sprawdzić, czy AI naprawdę zrobiła to, co twierdzi

„Sprawdziłam, przetestowałam, naprawiłam.” Brzmi jak raport od solidnego pracownika. Tyle że AI potrafi napisać takie zdanie z pełnym przekonaniem, choć nic takiego się nie wydarzyło. Żadnego uruchomienia, żadnego testu, żadnego otwartego pliku. Sam tekst, za to ładnie ułożony.

Ten tekst jest o tym, jak to złapać, zanim uwierzysz na słowo. Nie musisz umieć w kodowanie. Ja nie umiem, napisałem to zresztą na stronie głównej, więc metoda musi działać u laika.

Gdybym dostawał złotówkę za każdym razem, jak AI powiedziała, że robota skończona, a tak naprawdę nic nie było zrobione, to wcale nie musiałbym już walczyć z rzeczywistością o utrzymanie siebie i całej rodziny. Można to podsumować tak, jak moja nauczycielka od historii w liceum mówiła o mnie: „Zdolny, ale leniwy”. Tak też jest z AI: jak się ich nie przyciśnie, będą szukały najtańszej i najłatwiejszej metody, aby udowodnić, że coś zostało zrobione.

Opis roboty to nie robota

Najpierw dlaczego tak się dzieje. Dla modelu napisanie „uruchomiłam testy” jest mniej więcej tym samym, co napisanie „dzień dobry”: układa słowa, które pasują do sytuacji. Żeby test faktycznie poszedł, ktoś musi go odpalić, a samo zdanie o tym niczego nie dowodzi. Brzmi przy tym tak samo pewnie, czy robota się wydarzyła, czy nie. Dlatego ton głosu nie jest żadnym wskaźnikiem. Ani pewność siebie, ani szczegółowość opisu, ani zgrabne podsumowanie na końcu.

Co dokładnie dzieje się w środku modelu, kiedy to robi? Nie wiem. Cokolwiek by to było, dla ciebie liczy się tylko to, czy po drugiej stronie został ślad.

Metoda paragonu

Kasjerowi nie mówisz „wierzę ci na słowo, ile wyszło”. Bierzesz paragon. Z AI robimy tak samo, w czterech krokach.

Pierwszy: poproś o paragon, nie o opowieść. „Pokaż mi dokładny wynik tego, co uruchomiłaś. Wklej go bez streszczania.” Paragonem jest wynik polecenia, nazwa pliku, który powstał, link, zrzut ekranu. „Poprawiłam formuły w arkuszu” to opowieść. Konkretna komórka z konkretną formułą to paragon. Jeśli czat pokazuje, że coś wywołał (uruchomiony kod, użyte narzędzie), rozwiń ten wpis i przeczytaj, co tam naprawdę stoi.

Drugi: sprawdź jedną rzecz sam, w miejscu, gdzie zmiana ma być widoczna. Nie kod, tylko skutek. AI mówi, że zmieniła nazwy plików z nagrań? Otwórz folder. Mówi, że poprawiła napisy? Odtwórz film w miejscu, gdzie napisy mają się zmienić. Efekt widać nawet wtedy, kiedy kod jest dla ciebie czarną magią.

Trzeci: zapytaj, czego nie sprawdziła. „Wypisz, czego NIE sprawdziłaś i co mogło pójść inaczej.” Dobra odpowiedź to lista dziur. Zła to „wszystko zostało sprawdzone”. Jeśli praca nie ma ani jednej dziury, to ktoś tu blefuje.

Czwarty: nowa rozmowa. Otwórz czystą rozmowę (najlepiej z innym modelem) i daj jej sam wynik oraz kryteria, co ma spełniać. Nie swój wniosek. Jeśli napiszesz „wydaje mi się, że działa, potwierdź”, dostaniesz potwierdzenie. Takie przytakiwanie to nie kontrola.

Jak rozpoznać blef

Prawdziwa robota zostawia zadziory: konkretny komunikat, nazwę pliku, liczbę, która nie jest okrągła, drobne „tu wyszło inaczej, niż zakładałam”. Blef jest gładki jak parkiet po cyklinowaniu. Uważaj na słowa „powinno działać”, „zazwyczaj”, „w większości przypadków” użyte tam, gdzie miało być „działa”. Uważaj też na odpowiedź na „pokaż”, która znowu jest opisem, a nie wklejonym dowodem.

Jest jeszcze odmiana łagodniejsza: AI nie mówi, że coś zrobiła, tylko radzi, gdzie kliknąć. Zdarza się, że podaje nazwę opcji, której w twojej wersji programu nie ma. Poradnik mówi „Ustawienia → Wyjście”, a ty widzisz zupełnie inne menu? Nie szukaj winy w sobie, zaglądnij do programu i sprawdź, czy ta pozycja w ogóle istnieje.

Czego nie robić

Nie pytaj „na pewno?”. Często dostaniesz przeprosiny albo to samo zdanie powiedziane głośniej, bo odpowiedź na „na pewno?” to znowu tylko tekst. I nie każ AI recenzować samej siebie w tej samej rozmowie, w której właśnie coś napisała. Sędzia, który widział proces od środka i sam go prowadził, ma ochotę przyznać sobie rację.

Hydraulik mówi, że uszczelnił. Nie kłócisz się z nim, tylko zaglądasz pod zlew. Z AI jest tak samo, tylko że ona nawet nie ma ubrudzonych rąk.

Ta metoda nie jest szczelna. Łapie to, co da się zobaczyć lub otworzyć, a reszty pod kloszem nadal nie zobaczysz. Ale zdanie „sprawdziłam” bez paragonu przestaje wystarczać, i to już jest sporo. No tak. Na pewno.

Tematy: ai · warsztat