queue
Verfolgt jede Anfrage, die auf das Inferenzsemaphor wartet oder es derzeit enthält. Streaming-Threads registrieren sich vor acquire; Wiederholungsbasierte Clients (Synchronisierung von LLAMA, Tesseract) Registrieren Sie sich beim ersten fehlgeschlagenen tryAcquire. Tickets werden entfernt, wenn die Inferenz abgeschlossen ist (in der „finally“-Block nach Release). Der Kartenwert ist der Erstellungszeitstempel für das Warten Tickets oder Long.MAX_VALUE zum Ausführen von Inferenzen (immun gegen veraltete Bereinigung).