PlatformDetector

Erkennt die aktuelle Serverplattform, das GPU-Backend und die Anzahl der physischen CPU-Kerne.

Alle Methoden sind zustandslos und akzeptieren eine Protokollfunktion zur Diagnoseausgabe. Diese Klasse wird geteilt zwischen LLAMA-Server (Text/Vision) und Whisper-Server (Speech-to-Text).

Types

Link copied to clipboard

GPU-Backend auf dem aktuellen System erkannt. Wird verwendet, um die richtige Binärvariante des Servers auszuwählen.

Link copied to clipboard
data class Platform(val os: String, val arch: String, val exeName: String)

Stellt eine erkannte Serverplattform dar.

Functions

Link copied to clipboard

Erkennt das beste verfügbare GPU-Backend auf dem aktuellen System.

Link copied to clipboard

Erkennt die Anzahl der physischen CPU-Kerne (nicht der logischen Hyper-Thread-Prozessoren). Fällt zurück auf Runtime.availableProcessors, wenn die Erkennung fehlschlägt.

Link copied to clipboard
fun detectPlatform(log: (CodBi.LogLevel, String) -> Unit, windowsExeName: String = "llama-server.exe", unixExeName: String = "LLAMA-Server"): PlatformDetector.Platform

Erkennt die aktuelle Serverplattform anhand der JVM-Systemeigenschaften.