Doktoritöö: Uus tehnoloogia laseb AI-agendil lugeda inimese näoilmeid ja neile reageerida
Inimesed jälgivad vestluse ajal pidevalt üksteise näoilmeid ja kohandavad oma reaktsioone selle põhjal, mida nad näevad. ÍøÆسԹÏi värske doktor Abdallah Hussein Sham töötas välja uue tehnoloogia, mis laseb sama teha ka AI-agendil ja metainimesel.
Tehnoloogia võimaldab luua aina realistlikumaid AI-agente. Kohtame neid virtuaalassistentidena enda nutiseadmetes ning väga elutruude metainimestena mängudes ja filmides. Tehisintellektikaaslased võivad olla head vestluspartnerid, kuid seni on enamiku näoilmed vestluse ajal jäänud jäigaks ja umbmääraseks. Abdallah Hussein Shami teadustöö eesmärk oli seda lünka parandada.
Selleks töötas ta välja modulaarse kaamerapõhise süsteemi (Enactive Facial Expression Pipeline ehk EFEP), mis võimaldab tehisintellekti agendil lugeda inimese näoilmeid ja vastata neile konteksti sobiva ilmega.
„Lähtusin teadustöös ideest, et tähenduslik suhtlus sünnib inimese ja AI-agendi vahelisest pidevast vastastikusest mõjust, mitte ühe hetkepildi põhjal nägu analüüsides,“ toob Abdallah Hussein Sham välja kasu, mida loodud süsteem kaasa toob.
Kuidas see töötab?
Kasutades tavalist veebikaamerat, loeb süsteem inimese näoilmet, ennustab inimese ilmele loomulikult järgnevat reaktsiooni ning sünteesib selle põhjal agendi näoilme. Uurimistöös ühendati olemasolevad näoilmete andmekogud uue koguga, mille sisu saadi 60 osalejalt viies erinevas sotsiaalses olukorras. Oluline leid oli, et üksikute näolihaste liikumise analüüsimine võimaldas TI-agendil oma reaktsioone täpsemalt luua kui lähtumine üldistest kategooriatest, nagu „õnnelik“ või „kurb“.
Veaoht näoilmete tõlgendamisel vähenes ka siis, kui mudeleid treeniti rohkemate kui ainult ühe demograafilise grupi andmetega.
Oluline on eetika
Uus arendus on oluline, sest madala riskiga suhtlussituatsioonides kasutatakse AI-agente üha enam, kuid et suhtlus oleks meeldiv, on oluline ka mitteverbaalne kommunikatsioon. Inimsarnane agent, mis reageerib sobiva näoilmega, mitte eelprogrammeeritud animatsiooniga, võib märkimisväärselt parandada seda, kuidas inimesed neid tehnoloogiaid kogevad. Järgmise sammuna saaks tehnoloogiale lisada arendused, mis hõlmaksid ka häält ja kehakeelt, muutes suhtluse AI-agendi või metainimesega veelgi loomulikumaks.
Turvaliselt ja kooskõlas seadustega
°Õ±ð²¹»å³Ü²õ³Ùöös arendati tehisintellekti inimese näoilmeid lugema ja kontekstitundlikult vastama arvestades Euroopa Liidu tehisintellekti määrust (EU AI Act) ja teadlikult kasutamiseks madala riskiga valdkondades, nagu mängudes, kasutajakogemuse uuringutes ja loomingulisteks katsetusteks.
Doktoritöö kaitsmine
kaitses doktorikraadi ÍøÆسԹÏi digitehnoloogiate instituudis 15. mail 2026. Tema doktoritöö teema on „Biotagasisidestatult juhitud suhtlus inimtaoliste tehisagentidega“ ("Enactive Facial Expression Pipeline for Dyadic Interaction between Humans and Human-Like Agents").
Doktoritöö juhendajad on , ÍøÆسԹÏi vanemteadur, , ÍøÆسԹÏi professor ja , Estonian Busines Schooli külalisprofessor.
Oponendid on , Helsingi Ãœlikooli professor ja , Cardiffi Ãœlikooli dotsent.
Doktoritöö on kättesaadav TLÜ Akadeemilise Raamatukogu keskkonnas .
