Co naprawdę oznacza to pojęcie
Proces, w którym wytrenowany model przetwarza dane wejściowe i tworzy prognozę, klasyfikację albo odpowiedź.
Jak wygląda w praktyce
Inferencja zachodzi przy każdej produkcyjnej odpowiedzi modelu i obejmuje przygotowanie wejścia, obliczenie wyniku oraz jego dalszą obsługę.
Najważniejsza decyzja przed wdrożeniem
Wybór infrastruktury zależy od rozmiaru modelu, wolumenu, opóźnienia, prywatności i tego, czy obciążenie jest stałe czy skokowe.
Jak sprawdzić, czy rozwiązanie działa
Mierz czas do pierwszego wyniku, pełne opóźnienie, koszt, wykorzystanie zasobów, błędy i jakość po optymalizacjach takich jak kwantyzacja. Wynik należy porównać z ustaloną wersją bazową i analizować osobno dla prostych spraw, trudnych wyjątków oraz przypadków wymagających człowieka. Praktyczny test Inference powinien mieć właściciela, datę przeglądu i zapisany przykład wyniku, którego zespół nie zaakceptuje.
Podejście PAR HOUSE Agency
Pracę z Inference zaczynamy od procesu, a nie od demonstracji narzędzia. Wybór infrastruktury zależy od rozmiaru modelu, wolumenu, opóźnienia, prywatności i tego, czy obciążenie jest stałe czy skokowe. Następnie budujemy mały, mierzalny zakres, zapisujemy założenia i dopiero po kontroli jakości rozszerzamy zastosowanie.
