Predvsem pa so bili za to potrebni trdo delo, motivacija in kanček sreče, pove skorajšnja doktorska študentka na eni od najbolj priznanih univerz na svetu. Jamnikova je bila tudi Urškina somentorica pri pripravi magistrske naloge Ekstrakcija pravil iz globokih nevronskih mrež, ki jo je zagovarjala avgusta letos. Delo je napisala v angleškem jeziku, da bo vsebina lahko koristna tudi preostalim članom raziskovalne skupine. Z novimi upi tlakovana pot se je za Urško razgrnila takrat, ko je na fakulteti videla štipendijski razpis fundacije Asef in si je dejala, zakaj pa ne bi izkoristila priložnosti.
Kako ste postali študentka Mateje Jamnik?
»Organizacija Asef omogoča raziskovalne obiske v tujini slovenskim študentom, ki živijo v Sloveniji, prav tako študentom slovenskih korenin, ki živijo v tujini. S fundacijo sodelujejo slovenski mentorji in njihova imena so objavljena na spletni strani fundacije. V času moje prijave je bilo pet ali šest profesorjev s področja računalništva, od vseh pa me je najbolj pritegnilo področje, s katerim se ukvarja doktorica Jamnik. Pisala sem ji, in ker je ravno takrat leto dni delala na Inštitutu Jožefa Stefana v Ljubljani, sva se tudi osebno spoznali. Predstavila mi je razne projekte, s katerimi se ukvarja, z namenom, da bi si izbrala tistega, v katerega bi se želela vključiti.«
Kaj je bilo bolj navdihujoče, področje, s katerim se Jamnikova ukvarja, ali morda tudi ona sama?
Preberite še
Odpri v novem zavihku
Kolesarski turizem tudi v Pomurju ponuja pravo doživetje
Kolesarjenje, ki v zadnjih letih postaja pri vseh generacijah čedalje bolj priljubljena aktivnost v naravi, nam omogoča, da odkrivamo tudi takšne kotičke, ki morda ostanejo običajnemu turistu skriti.
»Mislim, da je zelo pomembno, kako zna nekdo navdušiti in spodbuditi druge, in v tem smislu je lahko profesorica marsikomu vzor. Dala mi je tudi neko novo perspektivo na področju, ki me je zanimalo že prej. To je povezava matematike z računalništvom, čemur sem se posvečala v času magistrskega študija. Mateja Jamnik se ukvarja z različnimi področji, sama pa sem se v času raziskovalnega obiska vključila v projekt razlage umetnih nevronskih mrež z uporabo podatkov o bolnicah z rakom.«
Kaj so globoke nevronske mreže?
»Nevronske mreže so modeli, ki se uporabljajo za obdelovanje informacij in napovedovanje. Globoke se imenujejo zato, ker so sestavljene iz več nivojev, ki se v nekem smislu nadgrajujejo. Sestavljene so iz vhodnega nivoja, poljubnega števila skritih nivojev in izhodnega nivoja. Nevronske mreže se zelo pogosto uporabljajo v praksi predvsem zadnja leta, ko smo priča pospešenemu tehnološkemu razvoju in razvoju novih algoritmov globokega učenja.«
Ali si pri razumevanju tega lahko pomagamo s poznavanjem delovanja človeškega nevrona?
»Seveda. Umetne nevronske mreže temeljijo na bioloških nevronskih mrežah. Poenostavljeno rečeno se princip delovanja nevronov v človeških možganih preslika na delovanje nevronov v umetni nevronski mreži. Na ravni vsakega nevrona pride do nelinearnih preslikav, ki vodijo do visoke napovedne točnosti globokih nevronskih mrež, govorimo o uspešnosti mrež pri napovedovanju, in s tem množične uporabe mrež v praksi.
Toda problem je, da prav zaradi kompleksnosti nevronskih mrež njihovih napovedi ne moremo preprosto pojasniti in jih uporabljamo kot nekakšne 'črne škatle'. To pa je lahko problematično pri uporabi mrež v varnostnokritičnih aplikacijah, recimo v medicini.«
Kaj to pomeni za uporabo nevronskih mrež v praksi?
»Velikokrat odločitev nevronskih mrež ne moremo uporabljati kar na slepo. Da bi na primer zdravnik sledil odločitvi nevronske mreže glede uporabe nekega zdravila. Kaj pa če se je nevronska mreža zmotila? Zato je pomembno, da razumemo razloge, ki privedejo do napovedi. Na raziskovalnem obisku sem implementirala algoritem, s katerim skušamo razložiti napovedi nevronske mreže, in ga potem tudi opisala v svoji magistrski nalogi.
Algoritem iz nevronske mreže izvleče ljudem razumljiva pravila, ki preslikajo vhodne podatke v napovedi. Ideja je, da z atributi objektov, ki jih poznamo, razložimo odločitve nevronske mreže. V našem primeru so bili ti atributi podatki o bolnicah z rakom. Poudarila bi še, da smo algoritem testirali na medicinski domeni, je pa uporaben tudi na drugih domenah.«
Če povemo drugače, posvetili ste se odkrivanju pravil, ki jih je črna skrinjica upoštevala pri obdelavi nekih podatkov.
»Recimo. Izvlečena pravila posnemajo obnašanje nevronske mreže. Na izvlečeno množico pravil lahko tako gledamo kot na neki nov model, katerega napoved se včasih razlikuje od napovedi nevronske mreže. Če pa modela večinoma napovedujeta enako, si lahko predstavljamo, da je mreža uporabila takšna pravila, da je prišla do svojih napovedi.
Pri tem se mi zdi pomembno poudariti, da ta črna skrinjica najprej potrebuje zelo veliko podatkov, na katerih potem zgradi model. Šele na podlagi naučenega modela jo uporabljamo za nove napovedi.«
V zvezi z delovanjem globokih nevronskih mrež je laikom morda še najbolj poznan primer učenja umetne inteligence in tega, da je leta 2016 premagala takratnega svetovnega prvaka v kitajski igri go. Pri tej igri je namreč veliko možnih potez, celo več kot pri šahu.
»Računalniški program AlphaGo se je na podlagi odigranih iger naučil optimalne strategije, in ko je igral s svetovnim prvakom, je bila možnost sprotnega učenja izključena. Pri igri je torej uporabljal samo znanje, pridobljeno ob že videnih partijah. V bistvu vsi takšni modeli delujejo na principu učenja iz nekih podatkov, nakar to znanje uporabijo na novih, še ne videnih podatkih. Mislim, da so prav za igro go dejali, da računalnik ne more premagati človeka, in zato ta zmaga stroja pomeni neko prelomnico na tem področju.«
V tem, da je umetna inteligenca premagala človeško, se skriva osupljivo sporočilo. Kakšno po vašem mnenju?
»Ta dogodek je eden izmed zadnjih velikih uspehov na tem področju. Zagotovo pa nas ni treba biti strah, da bi se roboti zoperstavili človeštvu, kot je to velikokrat prikazano v izmišljenih zgodbah ali filmih.«
Ali lahko predstavite principe učenja nevronske mreže?
»Učenje lahko traja zelo dolgo, ker gre za izjemno veliko parametrov, ki se morajo v procesu učenja optimizirati. V procesu gradnje najboljšega modela za določene vhodne podatke se mreža uči s pomočjo optimizacijske funkcije in v tem procesu prilagaja parametre. Ob koncu učenja so ti parametri fiksni.«
Če to poenostavimo na primeru delovanja globoke nevronske mreže, ki s svojo izbiro pomaga človeku pri nakupu avtomobila. Ponudimo ji nekaj značilnosti, kot so cena, starost, barva, znamka avtomobila … Kaj nevronska mreža naredi z vsemi temi podatki, ki ji jih damo kot vhodne podatke?
»Najprej moramo izbrati ustrezno strukturo nevronske mreže. Če imamo na primer pet lastnosti avtomobilov, torej atributov, to pomeni pet nevronov v vhodnem, prvem nivoju. Število nevronov v skritih nivojih določimo z eksperimentiranjem. Zadnji, izhodni nivo pa je sestavljen iz toliko nevronov, kot imamo različnih možnosti. Posebnost je binarni problem, kjer imamo lahko enega ali dva izhodna nevrona.
Recimo, da se danes na spletni strani Avto.net prodaja tisoč avtomobilov. Glede na njihove lastnosti bi vsak avtomobil označili z 'da', če bi ga kupili, in z 'ne', če nam ne ustreza. Podatke o avtomobilih skupaj z njihovimi oznakami bi nato dali v obdelavo nevronski mreži kot vhodne podatke. Ta bi se naučila nekega modela, ki sovpada s tem, kakšen avto bi želeli imeti. Če bi se potem čez nekaj časa odločali o nakupu avtomobila, bi lahko ta naučeni model uporabili za napoved, tako da bi vnesli konkretne podatke za neki nov avtomobil, in glede na naše preference bi nam nevronska mreža ponudila rešitev.«
Kakšen prispevek sta temu področju dala vaše raziskovalno delo in magistrska naloga?
»V nalogi sem predstavila algoritem, ki smo ga implementirali s prof. Matejo Jamnik in dr. Zohreh Shams, znanstveno sodelavko na univerzi v Cambridgeu. Algoritem na ljudem razumljiv način razloži odločitve globokih nevronskih mrež, tako da iz njih izvleče množico »če – potem« pravil. Torej, če veljajo neki pogoji o nam znanih atributih, potem sledi neka odločitev.«
Kakšen je vaš pogled na mnoštvo podatkov, ki jih označujemo s terminom big data in se navezuje na delovanje globokih nevronskih mrež?
»Z razvojem tehnologije smo prišli v situacijo, ko imamo na voljo res ogromno podatkov in na neki točki smo se začeli spraševati, kaj lahko z njimi naredimo in kako jih lahko uporabimo sebi v prid. Seveda pa se v tem mnoštvu podatkov poleg pomembnih znajdejo tudi nepomembni podatki. Tako se tudi v podatkih pri strojnem učenju pojavljajo šumi, ki jih moramo izločiti.«
Ali naprava, v katero kar počez vnesemo neke podatke, zna ločiti seme od plev?
»Različni algoritmi se s tem spopadajo na različne načine. Nekateri vedo izločiti pleve, torej šume, drugi malo manj. Veliko pa je odvisno od vnesenih podatkov, kajti rezultati so tako dobri, kot so dobri vhodni podatki.«
Profesorica Mateja Jamnik je eno od svojih predavanj naslovila Ali lahko stroji mislijo kot ljudje. Kako bi odgovorili na to vprašanje?
»To je res dobro vprašanje. Rekla bi, da do neke mere ja, vseeno pa stroj nima človeškega razuma. Prav tako je težko implementirati nekatere človeške lastnosti, na primer čustva. Je pa analiza zmagovalne poteze programa Alphago pri igri go pokazala, da take poteze program nikoli prej ni videl. Program je torej ni mogel prenesti iz neke druge situacije, ampak se je vseeno naučil, da je v tistem trenutku tista poteza optimalna.«
Kam bo vse to znanje, ki ste ga že pridobili, peljalo vas v prihodnje?
»Oktobra začenjam doktorski študij na univerzi v Cambridgeu pri dr. Jamnik. Lanski raziskovalni obisk pri njej je bil prelomnica na moji akademski poti. S tem so se mi odprla vrata, na katera prej sploh nisem pomislila. Tega pa ne bi bilo, če ne bi s pomočjo fundacije Asef dobila priložnosti, da bolje spoznam, kako stvari potekajo.«
S čim ste navdušili odločevalce, da so vam dali to možnost?
»Ne vem, morda s trdim delom. Zagotovo je prednost tudi to, da je problematika, s katero se bom ukvarjala, trenutno zelo aktualna. Je pa bilo veliko kriterijev, ki jih je bilo treba izpolniti. Najtežje se mi je zdelo pridobiti štipendijo, kajti imeti moraš zagotovljen denar za tri leta, tako da se lahko potem povsem posvetiš študiju. Pridobila sem jo pri skladu Cambridge Trust v sodelovanju s podjetjem Deepmind.
Kakšni so občutki?
»Prijetno je doseči nekaj takega, čeprav ni bilo lahko, se je pa izplačalo. Zdaj me navdajata predvsem veselje in pozitivno vznemirjenje. Okoliščine pa so žal take, da bom morala zaradi epidemije ob prihodu v Anglijo najprej v karanteno.«
