AmuEval

Kluczowym elementem tworzenia systemów uczenia maszynowego jest porównywanie jakości działania różnych metod, które służą do rozwiązania tego samego zadania. W tym celu dane dzieli się na zbiory: uczący i testowy. Dane uczące służą do wypracowania nowych metod, a na danych testowych sprawdzana jest jakość ich działania. Jakość ta mierzona jest za pomocą wybranej metryki, która porównuje wyniki danej metody z wynikami oczekiwanymi. W zależności od specyfiki zadania dobierana jest taka metryka, która najlepiej odpowiada celowi stawianemu przed systemem sztucznej inteligencji.

Skuteczną  metodą na  wybranie najlepszej metody  jest zorganizowanie otwartego konkursu, w którym uczestnicy  opracowują  swoje  rozwiązania dla podanego zadania. Najbardziej  popularną platformą informatyczną stworzoną  do organizacji tego typu konkursów jest Kaggle. Jej  zaletą  jest elastyczność  (umożliwia  tworzenie  konkursów  różnego typu), a  wadą  -  pracochłonność organizacji konkursu.

Platformę AmuEval stworzono z myślą o uproszczeniu organizacji konkursów. Sprowadza się ona do udostępnienia danych uczących, wybraniu metryki oraz zamieszczeniu na platformie oczekiwanych odpowiedzi dla zbioru testowego (odpowiedzi te są ukryte). Uczestnicy konkursu przesyłają wyniki swojej metody dla zbioru testowego. Metryki wszystkich rozwiązań można porównać na tablicy wyników, która aktualizowana jest po nadesłaniu każdego rozwiązania.

Aby dowiedzieć się więcej na temat AMUEval, odwiedź repozytorium.