fc-plugin-codbi/com.github.xima_formcycle_entwicklerkreis.fc.plugin.codbi.logic.cb.ai/LLAMA

LLAMA

abstract class LLAMA : AI

Classe base per modelli AI serviti tramite un processo server LLAMA locale.

Fasi

Intelligenza: rileva il sistema operativo (os.name) e l'architettura (os.arch)
Recupera: scarica il modello binario LLAMA-Server + GGUF corretto (con supporto per il curriculum)
Ignition: avvia il server tramite ProcessBuilder su una porta locale
Richiesta — Tutte le inferenze passano attraverso http://127.0.0.1:{port}/v1/chat/completions.

Isolamento in caso di incidente

Poiché l'intelligenza artificiale viene eseguita in un processo del sistema operativo separato, se il modello esaurisce la RAM, il sistema operativo interrompe il Processo LLAMA-Server ma la JVM Formcycle Tomcat non avverte nemmeno un urto.

Proprietà del plugin

Proprietà	Predefinito	Descrizione
`Active_AI`	—	Deve contenere `llama_engine`
`AI_Remove`	—	Se contiene `llama_engine`, ripulisci tutto
`AI_LLAMA_ENGINE_Port`	`8392`	Porta locale per server LLAMA
`AI_LLAMA_ENGINE_Threads`	core fisici	Numero di thread della CPU
`AI_LLAMA_ENGINE_CtxSize`	`32768`	Dimensione della finestra di contesto (condivisa tra slot paralleli)
`AI_LLAMA_ENGINE_GpuLayers`	rilevamento automatico	Livelli scaricati sulla GPU (-1 = automatico)
`AI_LLAMA_ENGINE_Release`	`b8175`	Tag di rilascio llama.cpp per i download
`AI_LLAMA_ENGINE_ServerArgs`	—	Argomenti CLI aggiuntivi per LLAMA-Server
`AI_LLAMA_ENGINE_MaxConcurrent`	`2`	Numero massimo di inferenze simultanee consentite su tutti i server locali
`AI_LLAMA_ENGINE_Parallel`	`4`	DEPRECATED Numero di slot di inferenza parallela per server (utilizza invece MaxConcurrent)

Domini da autorizzare

github.com: versioni binarie del server lama
objects.githubusercontent.com: CDN delle risorse di rilascio di GitHub

DSGVO / Legge UE-AI

Tutti i dati rimangono sul computer locale.
Nessuna chiamata API esterna.
Stessi vantaggi di conformità di tutte le altre implementazioni AI di CodBi.

Inheritors

Standard

Constructors

LLAMA

constructor()

Types

Companion

object Companion

The companion for static members.

Functions

execute

abstract fun execute(p0: IPluginServletActionParams): IPluginServletActionRetVal

getDescription

open fun ~~getDescription~~(): String

open fun getDescription(p0: Locale): String

getDisplayName

open override fun getDisplayName(p0: Locale): String

getName

abstract override fun getName(): String

initialize

open override fun initialize(configData: IPluginInitializeData)

Inizializza l'infrastruttura LLAMA: crea directory, legge le proprietà del plugin. Sottoclassi dovrebbe chiamare super.initialize(configData) quindi procedere con il download e l'avvio del file server.

initPlugin

open fun ~~initPlugin~~()

install

open fun install(p0: IPluginInstallData)

shutdown

open override fun shutdown(shutdownData: IPluginShutdownData?)

Arresta il processo LLAMA-Server e rilascia risorse.

open fun ~~shutdown~~()

startJanitor

fun startJanitor()

Avvia un'attività che rimuove le immagini inutilizzate scadute (msExpirationIDedImages) dal cache (cacheIDedImages).

uninstall

open fun uninstall(p0: IPluginUninstallData)

validateConfigurationData

open override fun validateConfigurationData(configData: IPluginValidationData): IPluginInitializeValidationResult?

Rifiuta l'installazione a livello di tenant. CodBi deve essere installato come plugin di sistema perché è I servizi AI (Whisper, LLAMA) collegano le porte del server locale e gestiscono processi pesanti sarebbe in conflitto se istanziato una volta per tenant.