Softverska rešenja za automatizovano ocenjivanje radova u oblasti računarstva

Softverska rešenja za automatizovano ocenjivanje radova u oblasti računarstva - Društvo se zasniva na nastavku kulture, ali se gradi njenim usavršavanjem i nadogradnjom. Sredstvo usavršavanja društva je obrazovanje. Jedan od sastavnih delova obrazovanja, ali i važan izazov kojim se ono bavi je provera usvojenih znanja i stečenih radnih veština. Na akademskim studijama, u oblastima prirodnih i tehničko-tehnoloških nauka, a posebno u računarstvu, provera znanja je u velikoj meri okrenuta utvrđivanju i vrednovanju stepena stečenih radnih veština studenta. U obrazovanje su uvedeni razni postupci provere znanja. Cilj svakog poboljšanja ovih postupaka je postizanje tačnog i nepristrasnog ocenjivanja. U literaturi su opisani načini koji su se pre koristili, kao i oni koji su još uvek u upotrebi. Među njima, najčešći su oni koji se oslanjaju na zadavanje testova i oni koji se oslanjaju na pregledanje rešenja radnih zadataka. Prednost testova je pri utvrđivanju stepena usvojenih znanja, dok je prednost pregledanja rešenja radnih zadataka pri utvrđivanju stepena stečenih radnih veština. Za oba pristupa postoje ručni i automatizovani postupci za ocenjivanje, koji se oslanjaju na to da su testovi i zadaci postavljeni tako da je moguće lako sprovesti automatizovani postupak ocenjivanja bez učešća ispitivača.

Iskustva iz struke su pokazala da je teško obezbediti potreban nivo nepristrasnosti i tačnosti prilikom ručnog ocenjivanja studenata primenom bilo koja od ova dva pristupa. Zbog toga je upotreba automatizovanih postupaka preporučljiva. Međutim, kada je neophodno sprovesti i utvrđivanje istepena usvojenih znanja istepena stečenih radnih veština, postoje poteškoće u primeni ova dva pristupa, jer nisu oba pristupa pogodna za ove dve namene. Pregledom literature, istraženi su najčešći izazovi koji nastaju primenom ova dva pristupa.

Istraživanje, predstavljeno u ovom radu, okrenuto je pronalaženju načina da se obezbedi nepristrasno i tačno ocenjivanje stepena stečenih radnih veština studenata na predmetu na kojem je zastupljeno pisanje programskog koda. Primenjena su dva sopstvena rešenja, koja su korišćena za ocenjivanje po dve generacije studenata, tokom četiri godine, koliko obuhvata istraživanje. Jedno rešenje je zasnovano na upotrebi elektronskog testa kao postupka za proveru znanja studenata, dok je drugo zasnovano na upotrebi programa za automatizovano pregledanje rešenja radnih zadataka.

Istraživanjem podataka, prikupljenih primenom ova dva pristupa ocenjivanju, pokušano je davanje odgovora na nekoliko istraživačkih pitanja. Primenjeni su vrednosni i svojstveni naučni postupci raščlanjavanja podataka i donošenja zaključaka, kao i metod studije slučaja koje obuhvataju razradu dva predstavljena sopstvena rešenja, korišćena za ocenjivanje tokom perioda koje obuhvata istraživanje.

Doneti su odgovori na više pitanja o mogućnosti razvoja sopstvenog alata za automatizovanje pregledanje i ocenjivanje rešenja radnih zadataka studenata koje može u potpunosti zameniti nastavnika u ulozi ispitivača; o proveri usaglašenosti ishoda ocenjivanja studenata primenom dva navedena pristupa automatizovanom ocenjivanju; o upotrebljivosti elektronskog testa za utvrđivanje stepena stečenih radnih veština; kao i o mogućnosti obezbeđivanja nepristrasnog ocenjivanja studenata bez uticaja ispitivača. Prikazana je rasprava o ishodima obrade podataka i o zaključcima.

Ovo istraživanje je pokazalo na koji način je moguće sprovesti utvrđivanje i ocenjivanje stepena stečenih radnih veština studenata na osnovnim akademskim studijama na predmetu iz oblasti računarstva, na kojem se daje velika važnost pisanju programskog koda. Jasno su prikazana sopstvena rešenja kojim je postignut ovaj cilj, te istraživanje ima, pored naučnog, potvrđen i doprinos u službi struke.

Software Solutions for Automated Assessment in the Field of Computer Science - The continuation of culture defines society. However, society is built by improving and advancing culture and knowledge. Education is the means of improving society. An integral and important part of education is the assessment of learned knowledge and gained practical skills. Of all natural and technical sciences, computer science often uses assessments to determine and evaluate the level of the student's practical skills. Education utilizes various assessment methods. Efforts to improve these methods aim to achieve accurate and objective assessment. The literature reports deprecated methods, as well as those still in use. Among them, the most common are closed question type tests and practical work reviews and assessments. Tests are useful for determining the level of knowledge. On the other hand, reviewing practical works is useful for determining the level of practical skills. Both methods can be performed manually or automatically. Automated methods require setups such that it is possible to perform them without the participation of examiners.
Based on professional experience, manual student assessment is difficult to do with the required level of neutrality and accuracy, regardless of the method. As a result, it is advisable to use automated assessments. However, applying these methods for determining both the level of learned knowledge and the level of gained practical skills is challenging because these methods are incompatible for both use cases. In the literature review, this paper explores the most common problems.
The paper focuses on finding a way to provide an accurate and objective method for the assessment of the practical skills of students in a subject that involves programming. Over the four years covered by the study, two generations of students were tested with these two own solutions. One method uses an electronic multichoice test to assess students' knowledge, while the other analyses the correctness of the student's practical work.
This paper gives answers to several research questions. These answers are found by examining the data gathered using these two methods to assess. The research used quantitative and qualitative methods to analyse collected data. Also, the paper covers case studies of assessment methods used to perform these assessments and collect data from the period covered by this research. Case studies elaborate on the presented assessment tools.
The paper explores the possibility of developing a tool that can replace the teacher in the role of examiner by automating the review and evaluation of practical works; comparing the similarity of assessment results from both assessment methods; on the usefulness of using tests to determine the level of practical skills; and on the possibility of providing an objective assessment, without the influence of examiners. The paper has discussions of analysed data and research conclusions.

This study proposes a way to objectively and accurately assess the level of practical skills in subjects in the field of computer science that involve programming at the bachelor's academic level. Solutions for achieving this goal are presented. Aside from the scientific, this research also has a practical contribution.

Solutions logicielles pour l'évaluation automatisée dans le domaine des sciences informatiques - Le développement de la culture définit une société qui se construit en améliorant et en faisant progresser la culture même et les connaissances. L'éducation est le moyen d'améliorer la société. L'évaluation des connaissances et des compétences pratiques acquises fait partie intégrante et importante de l'éducation. Dans les études universitaires, dans les domaines des sciences naturelles et technico-technologiques, notamment en informatique, les tests de connaissances sont largement axés sur la détermination et l'évaluation du niveau de compétences pratiques acquises des étudiants. Diverses procédures d'évaluation de connaissances ont été introduites dans l'éducation. Le but de toute amélioration de ces procédures est d'obtenir une évaluation précise, objective et impartiale. La littérature décrit des méthodes qui ont été utilisées auparavant, ainsi que celles qui sont encore utilisées. Parmi elles, les plus courantes sont celles qui comptent sur les tests et celles qui comptent sur le contrôle des réponses des devoirs pratiques. L'avantage des tests est de déterminer le niveau de connaissances acquises, tandis que l'avantage du contrôle des devoirs pratiques est de déterminer le niveau de compétences pratiques acquises. Pour les deux approches, il existe des procédures d'évaluation manuelles et automatisées qui reposent sur des tests et des devoirs pratiques afin qu'il soit possible de mener facilement une procédure d'évaluation automatisée sans la participation d'examinateurs.

L'expérience professionnelle a montré qu'il est difficile d'assurer le niveau requis d'impartialité et de précision dans l'évaluation manuelle des étudiants en utilisant l'une ou l'autre de ces deux approches. Par conséquent, l'utilisation de procédures automatisées est recommandée. Cependant, lorsqu'il faut déterminer à la fois le niveau des connaissances et des compétences pratiques acquises, il y a des difficultés à appliquer ces deux approches qui ne sont pas adaptées dans ces deux cas. Dans la revue de la littérature, cette thèse explore les défis les plus courants posés par l'application de ces deux approches.

La recherche présentée dans cette étude vise à trouver un moyen d’accomplir une évaluation impartiale et précise du niveau de compétences pratiques des étudiants dans la matière où l'écriture du code de programme figure. Deux solutions propres ont été appliquées et utilisées pour évaluer deux générations d'étudiants au cours de la recherche des quatre années. Une méthode repose sur l'utilisation d'un test électronique comme procédure de vérification des connaissances des étudiants, tandis que l'autre repose sur l'utilisation d'un programme de correction automatisée des devoirs pratiques des étudiants.
En recherchant les données recueillies à l'aide de ces deux méthodes d'évaluation, on a tenté de donner des réponses à plusieurs questions de recherche. Pour analyser des données, les méthodes quantitatives et qualitatives ont été appliquées, ainsi que la méthodologie de l'étude de cas, qui comprend l'élaboration de deux solutions propres présentées et utilisées pour l'évaluation au cours de la période couverte par la recherche.

Réponses à plusieurs questions sont trouvées : la possibilité de développer un propre outil d'automatisation du contrôle et de l'évaluation des réponses des étudiants qui pourrait remplacer complètement l'enseignant dans le rôle d'examinateur ; la vérification de la conformité des résultats de l'évaluation des étudiants en appliquant les deux approches mentionnées à l'évaluation automatisée ; l'utilisabilité du test électronique pour déterminer le niveau de compétences pratiques acquises; ainsi que la possibilité d'assurer une évaluation impartiale des étudiants sans l'influence des examinateurs. La thèse contient une discussion des résultats du traitement de données et des conclusions de la recherche effectuée.

Cette étude a montré la possibilité de déterminer et d'évaluer le niveau de compétences pratiques acquises des étudiants au premier cycle universitaire dans le domaine de l'informatique, où une grande importance est accordée à l'écriture du code de programme. Des solutions pour atteindre cet objectif sont clairement présentées. Outre scientifique, cette recherche confirme également une contribution pratique.