Na Seminaru za matematičku logiku i računarstvo, u ponedjeljak 16. veljače 2026. u 17:15 sati, u predavaonici 105, PMF-MO, 

Goran Ivanković (PMF-MO) održat će predavanje 

 

Memorijski učinkovito treniranje velikih modela: LORA

 

Sažetak: U posljednje vrijeme često slušamo o napretku umjetne inteligencije koja uključuje chatbotove i generativne modele. Većinu tog napretka dugujemo velikom broju parametara modela. Za pokretanje takvih modela potrebne su skupine vrlo jakih računala, dostupnih samo velikim kompanijama. Mnoge firme, a pogotovo one koje se zalažu za open-source, okreću se treniranju manjih i efikasnijih modela koje napokon može pokrenuti krajnji korisnik uz prosječnu grafičku karticu. S nedavnim napretkom u područjima optimizacije i kvantizacije, čak i fino podešavanje modela u vlastite i specijalizirane svrhe postaje sve jednostavnije.

 

U ovom seminaru opisat ćemo jednu metodu koja to omogućuje – LORA (Low-Rank Adaptation). Metoda je zanimljiva zbog načina na koji smanjuje broj parametara koji se treniraju, zbog čega potrebna memorija na grafičkoj kartici ostaje unutar dohvata prosječnog korisnika.

 

Link za Zoom prijenos: https://zoom.us/j/97139294096?pwd=GQwhT0XM3J4Yzm7LNsgvDimdFba4cC.1