Zašto AI alati izmišljaju izvore i kako se to prepoznaje
Zašto jezički modeli sastavljaju nepostojeće reference, kako izgleda izmišljen izvor i postupak od četiri koraka kojim se u minut proverava da li rad postoji.
Kratak odgovor
Jezički model ne pretražuje bazu nego pogađa sledeću reč, pa referencu sastavlja po obliku — proverava se traženjem naslova pod navodnicima i provlačenjem DOI oznake kroz pretragu.
Alat koji generiše tekst ne pretražuje biblioteku. On predviđa šta najverovatnije dolazi posle onoga što je već napisano. Referenca ima vrlo pravilan oblik — prezime, inicijal, godina u zagradi, naslov, naziv časopisa, volumen, strane — i taj oblik model imitira savršeno i onda kad iza njega ne stoji nijedan postojeći rad.
Zbog toga izmišljena referenca često deluje uverljivije od prave. Sastavljena je od najverovatnijih delova: uobičajenog prezimena, skorašnje godine, naslova koji tačno opisuje ono o čemu pišeš, i časopisa koji zaista postoji. Pravi radovi imaju neuredne detalje — čudan podnaslov, autora sa četiri prezimena, godinu koja ne odgovara temi. Izmišljeni nemaju.
Provera je mehanička i traje oko minut po izvoru. Ide ovim redom: naslov pod navodnicima u pretragu, DOI oznaka u pretragu, ime autora uz naziv časopisa, pa na kraju — ako rad postoji — da li on stvarno tvrdi ono zbog čega si ga naveo. Poslednji korak preskače najviše ljudi, a najskuplji je.
Zašto se to uopšte dešava
Korisno je razumeti mehanizam, jer objašnjava i kad je rizik najveći.
Model je učen na ogromnoj količini teksta, u kom su reference česte. Naučio je kako referenca izgleda, ali njegov zadatak nije da pamti bazu podataka — nego da nastavi tekst. Kad ga pitaš za literaturu o uskoj temi, on radi ono što uvek radi: pravi najverovatniji nastavak. Ako u njegovom „sećanju” ne postoji stvaran rad koji tačno odgovara tvom upitu, najverovatniji nastavak je referenca koja bi mogla da postoji.
Iz toga slede tri praktične posledice:
- Uža tema, veći rizik. Pitanje o opštem pojmu često pogađa stvarne, mnogo puta citirane radove. Pitanje o kombinaciji dve uske stvari („uticaj X na Y u Srbiji, posle 2020”) gotovo garantovano vodi u izmišljanje.
- Domaći izvori su rizičniji od stranih. Radova na srpskom u podacima ima neuporedivo manje, pa model češće improvizuje.
- Detalji su najnepouzdaniji deo. Čak i kad rad postoji, broj strana, volumen i godina umeju da budu pogrešni.
Neki alati imaju pretragu interneta i navode linkove koje su stvarno otvorili. Tu je rizik od potpuno izmišljenog naslova manji, ali se pojavljuje drugi problem — o njemu niže, u delu o tome kad izvor postoji a tvrdnja ne stoji.
Kako izmišljena referenca izgleda
Ne postoji siguran znak koji se vidi golim okom, ali postoje obrasci koji traže proveru pre svih ostalih.
| Znak | Zašto je sumnjiv |
|---|---|
| Naslov koji doslovno opisuje tvoju temu | Pravi radovi retko imaju naslov skrojen po tvom pitanju |
| Prezime bez imena ili sa samo jednim inicijalom | Model često ne „zna” puno ime jer ga nije ni bilo |
| Okrugli brojevi strana (npr. 100–110) | Stvarne paginacije su nasumične |
| Skorašnja godina uz vrlo specifičan nalaz | Najčešći oblik izmišljanja |
| Poznat časopis + nepoznat autor | Kombinacija koja deluje ozbiljno, a lako se sastavlja |
DOI koji ne počinje sa 10. | DOI uvek počinje prefiksom 10. i kosom crtom |
Ovi znaci ne dokazuju ništa. Oni samo određuju redosled provere kad imaš dvadeset referenci i pola sata.
Provera u četiri koraka
1. Naslov pod navodnicima
Ceo naslov stavi pod navodnike i pretraži — i u običnoj pretrazi i u akademskoj. Navodnici traže tačan niz reči, pa se odmah vidi da li taj naslov igde postoji u tom obliku.
Tri moguća ishoda:
- Nema nijednog rezultata. Skoro sigurno izmišljeno. Pravi rad, ako je ikad objavljen, ostavi bar jedan trag — u bazi, u spisku literature nekog drugog rada, u repozitorijumu ustanove.
- Ima rezultata, ali su to citati iz drugih AI tekstova. Isti izmišljeni naslov se lako umnoži. Gledaj vodi li bar jedan rezultat do izdavača ili baze.
- Vodi do stvarnog rada. Prelaziš na korak 2.
Kako se pretraga akademskih baza koristi precizno: Google Scholar korak po korak.
2. DOI, ako ga ima
DOI je trajna oznaka koju nose radovi objavljeni u časopisima, obično u obliku 10.xxxx/nešto. Ako ti je alat dao DOI, uzmi ga i pretraži — ili ga zalepi iza https://doi.org/. Ispravan DOI vodi tačno na taj rad.
Dva česta ishoda kod izmišljenih referenci: DOI ne vodi nigde, ili vodi na potpuno drugi rad. Drugi slučaj je opasniji, jer na prvi pogled deluje kao da je provera prošla.
Ne paniči ako DOI-ja nema. Knjige, zbornici, stariji radovi i mnogi domaći časopisi ga nemaju. Odsustvo DOI-ja nije dokaz da rad ne postoji — samo znači da ideš na korak 3.
3. Autor i časopis, odvojeno
Pretraži ime autora sa temom. Postoji li ta osoba, radi li u toj oblasti, ima li spisak radova? Zatim proveri časopis: postoji li, izlazi li još, objavljuje li tekstove iz te oblasti.
Ovde se otkriva čest obrazac — autor je stvaran i poznat u oblasti, časopis je stvaran, ali taj autor u tom časopisu nikad nije objavio taj tekst. Dva tačna podatka i jedan izmišljen, spojena u jednu referencu.
4. Rad postoji — ali da li kaže to?
Poslednji korak je jedini koji traži čitanje. Otvori rad i nađi mesto na kom stoji tvrdnja zbog koje si ga naveo.
Iznenađujuće često — ne stoji. Rad postoji, tema se poklapa, ali zaključak je drugačiji, odnosi se na drugu populaciju, ili je u pitanju pregled tuđih nalaza umesto originalnog istraživanja. Referenca koja postoji, a ne potkrepljuje tvrdnju, jednako je pogrešna kao izmišljena; samo se teže otkriva.
Ako ti je taj korak spor, pomaže postupak iz teksta kako čitati naučni članak brzo — apstrakt, zaključak, pa samo odeljak koji ti treba.
Poseban slučaj: link koji vodi negde
Kad alat navede adresu, prvi refleks je da se proveri otvara li se. To nije dovoljno. Adresa koja se otvara može voditi na naslovnu stranu sajta umesto na tekst, na tekst o srodnoj temi, ili na stranicu koja je u međuvremenu promenjena.
Provera je ista kao za svaki drugi veb izvor: ko je autor ili institucija, kad je objavljeno, i da li na toj stranici zaista piše ono što si preneo. Kriterijumi su u tekstu kako proceniti da li je izvor pouzdan.
Šta AI radi korisno kod izvora
Pogrešan zaključak iz svega ovoga bio bi da alat ne treba koristiti. Korisno je razlikovati poslove u kojima greši od poslova u kojima ne može da omaši.
Nepouzdano je kad traži konkretan podatak koji mora da bude tačan — referencu, godinu, citat, broj. Upotrebljivo je kad traži nešto što ionako sam proveravaš u sledećem koraku:
- Stručni termini za pretragu. Tema napisana svakodnevnim jezikom prevedena u reči kojima se oblast zove u literaturi. Te termine zatim ti sam kucaš u bazu.
- Mapa oblasti. Koje su glavne struje, koji su tipični pristupi, šta se obično poredi. Imena i radove i dalje proveravaš.
- Objašnjenje pročitanog. Kad si već otvorio rad, a metod ti nije jasan.
- Pitanja za sopstveni tekst. Šta u ovom pasusu nije potkrepljeno, gde nedostaje dokaz.
U sva četiri slučaja alat proizvodi nešto što ti proveravaš gledajući stvarni izvor — a ne nešto što ide pravo u spisak literature.
Kako se problem sprečava unapred
Najsigurnije pravilo je jedno: u spisak literature ulazi samo izvor koji si otvorio. Ne referenca koju si prepisao odnekud, ne jedinica koju ti je alat izdiktirao, ne naslov koji si video u tuđem spisku.
Uz to pomaže i evidencija koja se vodi u trenutku otvaranja izvora, sa linkom i datumom pristupa — opisana u tekstu kako organizovati literaturu. Referenca koja u toj evidenciji nema link ili DOI je referenca koju nisi video.
Pred predaju je vredno uraditi i poslednji prolaz: uzmi spisak literature i za svaku jedinicu odgovori na dva pitanja — gde sam je otvorio i šta sam iz nje preuzeo. Jedinica na koju ne umeš da odgovoriš se briše.
Najčešće greške
- Provera samo prve dve reference. Ako je jedna izmišljena, verovatnoća da su i ostale problematične je visoka. Proveravaju se sve.
- Zaustavljanje na tome da rad postoji. Postojanje nije isto što i potkrepljivanje.
- Prepisivanje broja strane bez otvaranja rada. Broj strane tvrdi da si tačno to mesto video.
- Pretraga bez navodnika. Pretraživač će naći „nešto slično” i stvoriti utisak da je naslov pronađen.
- Verovanje da je alat sa pretragom imun. Manji je rizik od potpuno izmišljenog naslova, ali ne i od pogrešno prenetog nalaza.
Konsekvence nisu samo tehničke. Izmišljena referenca u radu je tvrdnja da si čitao nešto što ne postoji, i mentor to otkriva jednom pretragom — obično baš onom koju ti nisi uradio.