fc-plugin-codbi/com.github.xima_formcycle_entwicklerkreis.fc.plugin.codbi.logic.cb.ai/LLAMA

LLAMA

abstract class LLAMA : AI

Basisklasse für KI-Modelle, die über einen lokalen LLAMA-Serverprozess bereitgestellt werden.

Phasen

Intelligenz – Betriebssystem (os.name) und Architektur (os.arch) erkennen
Abrufen – Laden Sie das richtige LLAMA-Server-Binär- und GGUF-Modell herunter (mit Lebenslaufunterstützung).
Initiierung – Starten Sie den Server über ProcessBuilder an einem lokalen Port
Anfrage – Alle Rückschlüsse erfolgen über „http://127.0.0.1:{port}/v1/chat/completions“.

Crash-Isolierung

Da die KI in einem separaten Betriebssystemprozess ausgeführt wird, bricht das Betriebssystem ab, wenn dem Modell der RAM ausgeht LLAMA-Server-Prozess, aber die Formcycle Tomcat JVM spürt nicht einmal einen Stoß.

Plugin-Eigenschaften

Eigenschaft	Standard	Beschreibung
`Active_AI`	—	Muss `llama_engine` enthalten
`AI_Remove`	—	Wenn `llama_engine` enthalten ist, alles bereinigen
`AI_LLAMA_ENGINE_Port`	`8392`	Lokaler Port für LLAMA-Server
`AI_LLAMA_ENGINE_Threads`	physische Kerne	Anzahl der CPU-Threads
`AI_LLAMA_ENGINE_CtxSize`	`32768`	Kontextfenstergröße (gemeinsam über parallele Slots hinweg)
`AI_LLAMA_ENGINE_GpuLayers`	automatische Erkennung	Auf die GPU ausgelagerte Ebenen (-1 = automatisch)
`AI_LLAMA_ENGINE_Release`	`b8175`	llama.cpp Release-Tag für Downloads
`AI_LLAMA_ENGINE_ServerArgs`	—	Zusätzliche CLI-Argumente für LLAMA-Server
`AI_LLAMA_ENGINE_MaxConcurrent`	`2`	Maximal zulässige gleichzeitige Rückschlüsse auf allen lokalen Servern
`AI_LLAMA_ENGINE_Parallel`	`4`	VERALTET Anzahl paralleler Inferenzslots pro Server (stattdessen MaxConcurrent verwenden)

Domains zur Whitelist

github.com – Binärversionen des Lama-Servers
objects.githubusercontent.com – GitHub-Release-Asset-CDN

DSGVO / EU-KI-Gesetz

Alle Daten bleiben auf dem lokalen Computer.
Keine externen API-Aufrufe.
Gleiche Compliance-Vorteile wie alle anderen CodBi AI-Implementierungen.

Inheritors

Standard

Constructors

LLAMA

constructor()

Types

Companion

object Companion

The companion for static members.

Functions

execute

abstract fun execute(p0: IPluginServletActionParams): IPluginServletActionRetVal

getDescription

open fun ~~getDescription~~(): String

open fun getDescription(p0: Locale): String

getDisplayName

open override fun getDisplayName(p0: Locale): String

getName

abstract override fun getName(): String

initialize

open override fun initialize(configData: IPluginInitializeData)

Initialisiert die LLAMA-Infrastruktur: erstellt Verzeichnisse, liest Plugin-Eigenschaften. Unterklassen sollte „super.initialize(configData)“ aufrufen und dann mit dem Herunterladen und Starten von fortfahren Server.

initPlugin

open fun ~~initPlugin~~()

install

open fun install(p0: IPluginInstallData)

shutdown

open override fun shutdown(shutdownData: IPluginShutdownData?)

Fährt den LLAMA-Server-Prozess herunter und gibt Ressourcen frei.

open fun ~~shutdown~~()

startJanitor

fun startJanitor()

Initiiert eine Aufgabe, die nicht verwendete, abgelaufene Bilder (msExpirationIDedImages) aus dem entfernt Cache (cacheIDedImages).

uninstall

open fun uninstall(p0: IPluginUninstallData)

validateConfigurationData

open override fun validateConfigurationData(configData: IPluginValidationData): IPluginInitializeValidationResult?

Lehnt die Installation auf Mandantenebene ab. CodBi muss als System-Plugin installiert werden, da es KI-Dienste (Whisper, LLAMA) binden lokale Server-Ports und verwalten schwergewichtige Prozesse würde zu Konflikten führen, wenn sie einmal pro Mandant instanziiert würden.