Gonito

Platforma ewaluacyjna Gonito.Odwiedź stronę projektu

Kluczowym elementem tworzenia systemów uczenia maszynowego jest porównywanie różnych metod pod względem jakości. W tym celu dane dzieli się na zbiory: trenujący, walidujący i testowy. Modele uczy się na danych trenujących i sprawdza wynik na bieżąco na danych walidujących. Ostateczne rozwiązanie ewaluuje się na danych testowych. Wynik mierzymy za pomocą metryki, która reprezentowana jest przez jedną liczbę. Dobór metryki często nie jest oczywisty i zależy mocno od specyfiki zadania.

Aby umożliwić ten proces w sposób ustrukturyzowany i powtarzalny stworzyliśmy platformę Gonito. Autorzy wyzwania uczenia maszynowego tworzą podział danych na zbiory oraz dobierają metrykę, a uczestnicy wyzwania zamieszczają swoje rozwiązania wraz z odpowiedziami dla zbioru testowego. Prawdziwe odpowiedzi dla zbioru testowego są zakryte uczestnikom, aby nie mieli możliwości oszukiwania. Wyniki wszystkich rozwiązań możemy oglądać na jednym ekranie w Gonito, porównując je względem zadanej metryki. Metryka wyliczana jest automatycznie. Oprócz tego Gonito oferuje szereg narzędzi pozwalających na analizę błędów.

Zastosowanie Gonito jest podobne do platformy Kaggle, ale w przeciwieństwie do niej jest otwartoźródłowa, wymusza stosowanie git-a w celu zgłaszania rozwiązań. Otwartoźródłowość pozwala na dowolne dostosowanie platformy pod konkretne wyzwanie. Natomiast dzięki git-owi możliwe jest wersjonowanie i archiwizowanie wszystkich rozwiązań uczenia maszynowego.

Gonito można uruchomić samodzielnie, także on-premise. Z tego względu stosowana jest komercyjnie przez firmy, uczelnie (do wspomagania publikowania artykułów naukowych i prowadzenia zajęć), oraz organizatorów konkursów uczenia maszynowego (np. Poleval).

Aby dowiedzieć się więcej na temat Gonito, przeczytaj artykuł i odwiedź repozytorium.