Primena veštačke inteligencije za analizu interakcije između čoveka i računara i procenu kognitivnih performansi

Proučavanje interakcije između čoveka i računara podrazumeva pristup koji se zasniva na više naučnih disciplina i oblasti, kao što su računarske nauke, psihologija, sociologija, kognitivne nauke, dizajn i sl. Moderni interfejsi preko kojih se obavlja interakcija omogućavaju korišćenje velikog broja različitih senzora (miša, tastature, uređaja za praćenje pogleda, elektroencefalografije (EEG), uređaja za praćenje pulsa, otkucaja srca itd.). Predmet ovog istraživanja je interakcija između čoveka i računara, odnosno mogućnost primene veštačke inteligencije za njenu analizu i procenu kognitivnih performansi ispitanika. Zbog brzine analiziranja podataka koja daleko nadmašuje mogućnosti obrade od strane ljudi, ovakav sistem je u mogućnosti da u realnom vremenu šalje povratnu informaciju korisniku, čime postaje aktivni učesnik interakcije.
Mogućnost razvoja modela veštačke inteligencije za prikupljanje i analizu podataka o interakciji između čoveka i računara demonstrirana je na primeru četiri eksperimenta procene kognitivnih performansi ispitanika kroz neuropsihološke testove - Wisconsin Card Sorting Test (WSCT), Visual Short Term Working Memory Test (VSTWMT), mTutor Test i AC Test. Za potrebe svakog pojedinačnog eksperimenta razvijena je posebna klijentska aplikacija, sa mogućnošću povezivanja sa senzorskim aplikacijama putem sinhronizacijske platforme (HCI-MAP). Za prikupljanje podataka o interakciji između čoveka i računara korišćeni su podaci sa tri senzora: EEG uređaja, uređaja za praćenje pogleda i računarskog miša. Kako bi se omogućila agregacija i kasnija zajednička obrada podataka o celokupnoj interakciji, za komunikaciju sa EEG uređajem i uređajem za praćenje pogleda napisane su nezavisne senzorske aplikacije.
Rezultati našeg istraživanja koji se odnose na postignuće ispitanika na računarskoj verziji WCS testa pokazuju da je broj postignutih kategorija kod naših ispitanika sa izvesnim odstupanjem u odnosu na referentne vrednosti, zatim, da postoji značajno odstupanje rezultata ispitanika u odnosu na referentne vrednosti u broju pokušaja do postizanja prve kategorije. Takođe, broj perseverativnih odgovora naših ispitanika je ispod normativnih vrednosti, ali ne postoje značajna odstupanja kod grešaka u održanju seta.
Vizualna kratkoročna memorija (engl. Visual short term memory) se definiše kao sposobnost zadržavanja male količine vizualnih informacija (oblici, boje, itd.) tokom kratkog vremenskog perioda. VSTM je deo kratkoročne memorije, koja može da zadržava informacije do 30 sekundi. Eksperiment je sproveden kroz dve sesije merenja. U prvoj sesiji ispitanici su se nalazili u izolovanom okruženju, a u drugoj u prisustvu publike. Klasifikacija EEG podataka je izvršena korišćenjem četiri algoritma: Naive Bayes, Support Vector, KNN, i Random Forest. Dobijeni rezultati pokazuju da je moguće ispravno klasifikovati redosled prikazivanja slike u 90.12% slučajeva, a vrstu prikazane slike u 90.51% slučajeva.
Cilj eksperimenta sa elektronskim testiranjem znanja putem mTuror platforme bio je pronalaženje modela za primenu veštačke inteligencije koji bi omogućio da elektronska procena znanja u što većoj meri oslikava realno znanje ispitanika. Iako nije otkrivena snažna korelacija između bilo kog individualnog parametra i preciznosti odgovora može se zaključiti da je moguće uticati na emotivno stanje ispitanika ubacivanjem odgovora određenog tipa. Tako, stres se može umanjiti ubacivanjem pitanja zabavnog karaktera sa očiglednim tačnim odgovorom. Interesovanje se može povećati korišćenjem lakih pitanja, a fokusiranost studenta može povratiti korišćenjem nemogućih pitanja, bez tačnog odgovora.
AC test se koristi za procenu stepena pažnje, odnosno, sposobnosti isticanja važnih stimulusa u odnosu na ometajuće nadražaje. Visok nivo korelacije između položaja pogleda i položaja kursora miša pruža mogućnost aproksimacije interakcije detektovane preko jednog senzora uz pomoć analiziranih podataka sa drugog. Upoređivanjem podataka o lokaciji i pomeranju pogleda sa podacima o kretanju miša, može se zaključiti da je u slučaju AC testa postojeći nivo korelacije visok, naročito na koordinatama slova koja je ispitanik precrtavao.
Opšti zaključak sprovedenih istraživanja je da je moguće koristiti veštačku inteligenciju za analizu interakcije između čoveka i računara i da će se njenom primenom ostvariti približni ili bolji rezultati od onih u kojima analizu vrši čovek. Moguće je primeniti distribuirana rešenja za sinhronizaciju i pružanje povratne informacije od sistema u realnom vremenu. Automatizovanom analizom dobijenih rezultata od strane veštačke inteligencije moguća je procena kognitivnih performansi korisnika.