inference History
Speichert die letzten MAX_HISTORY_SIZE Inferenzdauern (in ms) pro Modelltypschlüssel. Verwendet von estimateWaitMs zur Berechnung der durchschnittlichen Inferenzzeit pro Modelltyp.
Speichert die letzten MAX_HISTORY_SIZE Inferenzdauern (in ms) pro Modelltypschlüssel. Verwendet von estimateWaitMs zur Berechnung der durchschnittlichen Inferenzzeit pro Modelltyp.