Euskarazko txatbot irekia auzolanean hobetzeko ekimena

Euskarak, etorkizuna badu, mundu digitalean presentzia aregotuz izango duela hainbatetan errepikatu da. Hedabideetan, aditu-hitzaldietan, politikoen agerraldietan… Ez plaza gutxitan. Hitz zentrotik hainbatetan esan dute ere eta bide hori jorratuz, 'Latxa', euskarazko txatbot irekia, auzolanean hobetzeko bi asteko 'Ebaluatoia' ekimena antolatu dute.

Izan ere, UPV/EHUko taldeak ChatGPT eta antzeko eredu itxien pare edo hobeto dabilen euskarazko tresna irekia sortzea du helburu eta, aldi berean, txatboten kalitatea neurtzeko bide berriak irekitzea. Erronka kasu horretan baliabideak dira, hauen arteko arrakala. OpenAI edo Google bezalako enpresa handien teknologiek miloika dolarrekin eraikitzen baitituzte. Horregatik egin dute deia «auzolanean» egitera.

Animatzen den orok ebaluatoia.hitz.eus webgunean sartu, galdera edo eskaera egin eta erantzun hoberena aukeratu behar du. Zehazki, webguneak bi txatbot ezberdinen erantzunak emango dizkio bata bestearen ondoan, erabiltzaileak erantzunen artean onena aukeratu dezan. Alborapenak ekiditeko, erabiltzailearen bozka itsua da, hau da, erabiltzaileak ez daki zein bi txatbot ari den epaitzen. Txatboten sailkapena osatzeko xakean baliatzen den ELO ebaluazio-sistema erabiltzen da. Ereduak hasierako puntuazio arbitrario batetik abiatzen dira (adibidez, 1.000 puntu bakoitzak), eta partidak irabazi, galdu edo berdindu ahala puntuazioa aldatuz joango da, aurkarien puntuazioaren arabera. Naiara Perez HiTZeko ikertzaileak dioenez «Ebaluazio mota honi arena deritzo, hizkuntza-ereduak elkarrekin lehiatzen direlako, eta txatbotak eszenatoki errealista eta praktikoan ebaluatzea ahalbidetzen du. Zentzu horretan ohikoa bihurtu da enpresa beraiek eredu hoberenak Ingeleserako Chatbot Arena delakoan lehiatzera bidaltzea. Guk nahiago izan dugu ebaluatoia deitzea».

Ebaluatoian HiTZek eraikitako 18 txatbot probatuko dira, baita txatbot komertzial hoberenak ere. Denetarik dago, txatbot oso onak, ez hain onak, eta baita txarrak direnak ere, ikerketa zientifikoan ondorioak atera ahal izateko. Oscar Sainz HiTZeko ikertzailearen esanetan, «tartean egongo da estatuan inoiz eraiki den txatbot handiena ere, 70B parametroko Latxan oinarritutako txatbot erraldoia».

Duela gutxi ebaluatoiaren lehen fase bat antolatu zuen HiTZ zentroak. Oso arrakastatsua izan zen, bost milatik gora parte-hartze jaso dira, 250 parte-hartzailetik gora. Parte-hartzaile emankorrenak 470 ariketa egin zituen, eta horren araberako saria jaso zuen.