@normalniklas kan vara att du ser exempel på det här:
"GPT-4 Can’t Reason"
https://arxiv.org/pdf/2308.03762.pdf
Kolla till exempel "Simple Graph Coloring" på sidan 16 i den, där maskinen bara hittar på svar som är fel hela tiden, sen när fel påpekas svarar den "oj förlåt, jag gjorde ett misstag. Här är rätt svar: ..." följt av fel igen, och fel igen, osv.
Grejen är att den förstår ingenting, den är inte ens byggd för att försöka förstå något, den bara sätter ihop meningar som liknar sånt den sett förr.