Standard

class Standard : LLAMA

Standard: runner di modello GGUF generico tramite processo LLAMA-Server locale. Tutti i calcoli dell'IA avvengono nel processo LLAMA-Server esterno. Se va in OOM, la JVM Tomcat rimane in vita, solo il Il server LLAMA muore.

Proprietà del plugin

|Proprietà |Tipo |Predefinito |Descrizione | |-------------------------------------||-------|--------------------------------------||--------------------------------------------------------------------------------------------------------------------------------------------------------------------|| |Active_AI |String |— |Deve contenere llama_std per attivare questo modello | |AI_LLAMA_STD_ModelUrl |URL |Qwen3-VL-2B Q4_K_M HuggingFace |URL di download per il file del modello GGUF | |AI_LLAMA_STD_MmprojUrl |URL |Qwen3-VL-2B mmproj (quando si utilizza il modello predefinito)|URL di download per il file del proiettore visivo (mmproj). Omettere per i modelli di solo testo (funzioni di visione disabilitate). Impostazione automatica quando si utilizza il modello VL predefinito | |AI_LLAMA_STD_MaxPixels |Lungo |3211264 |Budget pixel massimo per il downscaling dell'immagine (min 3136) | |AI_LLAMA_STD_MaxUploadBytes |Lungo |52428800 |Dimensione massima dell'immagine raw in byte prima della decodifica (predefinito 50 MB, minimo 1 MB) | |AI_LLAMA_STD_MaxTokens |Int |2048 |Numero massimo di token da generare per risposta | |AI_LLAMA_STD_MaxRAMPercent |Double |101.0 |Soglia di utilizzo della RAM (%): blocca le richieste quando viene superata | |AI_LLAMA_STD_MaxComputePercent |Double |101.0 |Soglia di utilizzo del calcolo (%): gate su GPU% (CUDA) o CPU% (fallback). Blocca le richieste quando vengono superate | |AI_LLAMA_STD_MaxCPUPercent |Double |— |Alias legacy per MaxComputePercent (accettato come fallback) | |AI_LLAMA_STD_LlamaRelease |String |b8175 |Tag di rilascio llama.cpp per download binario del server | |AI_LLAMA_STD_ServerUrl_<piattaforma> |URL |(auto dal tag di rilascio) |Sostituzione per piattaforma per l'URL binario del server LLAMA | |AI_LLAMA_STD_UpdateCheckHours |Lungo |24 |Ore tra i controlli di rilascio di GitHub (0 = disabilitato) | |AI_LLAMA_STD_NotifyEmail |String |— |Indirizzo email per le notifiche di aggiornamento | |AI_LLAMA_STD_ThinkingModelUrl |URL |— |URL di download per un modello di pensiero dedicato GGUF (facoltativo) | |AI_LLAMA_STD_ThinkingMmprojUrl |URL |— |URL di download per il file mmproj del modello di pensiero (opzionale) | |AI_LLAMA_STD_ExternalUrl |URL |— |URL di base di un'API esterna compatibile con OpenAI; sovrascrive il modello locale | |AI_LLAMA_STD_ExternalApiKey |String |— |Chiave API per l'AI esterna (inviata come token Bearer) | |AI_LLAMA_STD_ExternalModel |String |— |Nome del modello per l'API esterna (ad es. gpt-4o, claude-3-opus) | |AI_LLAMA_STD_ExternalNoPrompt |Boolean|false |Se true, salta tutte le sezioni integrate dei prompt di sistema (§1–§6) per l'IA esterna: invia solo il messaggio dell'utente e la cronologia della chat. | |AI_LLAMA_STD_PromptIdentity |Stringa |(incorporato) |Sostituisci la frase identità/ruolo ("Sei un assistente utile..."). Utilizza {date} per la data odierna, {time} per l'ora corrente. | |AI_LLAMA_STD_PromptLocation |String |(incorporato) |Sostituisce l'istruzione del contesto della posizione. Utilizza "{location}" come segnaposto. | |AI_LLAMA_STD_PromptSearch |String |(incorporato) |Sovrascrive il blocco di istruzioni CALL:search (prima degli esempi). | |AI_LLAMA_STD_PromptThinking |Stringa |(integrato) |Sostituisce l'istruzione in modalità pensiero. Utilizza "{lingua}" come segnaposto. | |AI_LLAMA_STD_PromptNoInternet |String |(integrato) |Ignora l'avviso di mancato accesso a Internet. | |AI_LLAMA_STD_PromptRules |String |(integrato) |Sostituisce le regole generali (linguaggio, misurazioni, indipendenza). | |AI_LLAMA_STD_FallbackLocation |String |— |Stringa di posizione di fallback utilizzata quando la geolocalizzazione fallisce (ad esempio Ansbach, Nürnberger Straße 32, Bayern, Deutschland) | |AI_LLAMA_STD_NominatimDomain |String |nominatim.openstreetmap.org |Dominio per richieste di geocodifica inversa (senza percorso). | |AI_LLAMA_STD_IpGeolocationDomain |String |ipwho.is |Dominio per richieste di geolocalizzazione IP (senza percorso). | |AI_BraveSearch_ApiKey |String |— |Chiave API Brave Search: abilita lo strumento di ricerca web per il modello | |AI_BraveSearch_MaxResults |Int |5 |Numero massimo di risultati Brave Search per query (1–20). | |AI_LLAMA_STD_Language |String |— |Codice ISO 639-1 di due lettere (ad esempio de, fr) — forza l'IA a rispondere in questa lingua, saltando il rilevamento automatico. Sostituito da "responselingual" per funzionalità toLoad.| |AI_LLAMA_STD_SPECIALIST_XXX |URL |— |URL di download per un modello GGUF specializzato denominato "XXX". Il nome viene scelto dall'amministratore e abbinato, senza distinzione tra maiuscole e minuscole, dalla proprietà "specialista" toLoad. | |AI_LLAMA_STD_SPECIALIST_MMProj_XXX |URL |— |URL di download per il proiettore multimodale dello specialista XXX (mmproj). Facoltativo: omettere se il modello specializzato non ha capacità di visione. | |AI_LLAMA_STD_EXT_SPECIALIST_XXX |URL |— |URL di base di un'API esterna compatibile con OpenAI per uno specialista denominato "XXX". Corrispondenza senza distinzione tra maiuscole e minuscole dalla proprietà "specialista" toLoad. | |AI_LLAMA_STD_EXT_SPECIALIST_Key_XXX |Stringa |— |Chiave API per lo specialista esterno "XXX" (inviata come token al portatore). Opzionale. | |AI_LLAMA_STD_EXT_SPECIALIST_Model_XXX|String |— |Nome del modello per lo specialista esterno XXX (ad es. gpt-4o). Facoltativo: ometti di utilizzare l'API predefinita. | |AI_LLAMA_STD_ExtraParams |JSON |— |Parametri aggiuntivi aggiunti a ogni corpo della richiesta di completamento (ad esempio {"top_p":0.9,"seed":42}). Le chiavi messages, stream, model, id_slot, logprobs vengono silenziosamente ignorate.|

Domini da autorizzare

  • github.com: versioni binarie di LLAMA-Server e API di controllo delle versioni

  • api.github.com: verifica della versione dell'ultima versione

  • objects.githubusercontent.com: CDN delle risorse di rilascio di GitHub

  • huggingface.co: download di modelli GGUF e mmproj

  • nominatim.openstreetmap.org: geocodifica inversa per il contesto della posizione

  • ipwho.is: fallback di geolocalizzazione basato su IP

  • api.search.brave.com — Brave web search (solo quando è configurato AI_BraveSearch_ApiKey)

Constructors

Link copied to clipboard
constructor()

Types

Link copied to clipboard
object Companion

Companion for static members.

Functions

Link copied to clipboard
open override fun execute(params: IPluginServletActionParams): IPluginServletActionRetVal

Instrada le richieste in entrata a uno dei tre gestori:

Link copied to clipboard
Link copied to clipboard
open override fun getDisplayName(p0: Locale): String
Link copied to clipboard
open override fun getName(): String
Link copied to clipboard
open override fun initialize(configData: IPluginInitializeData)

Legge tutte le proprietà del plugin, scarica i file del modello se necessario, avvia il server LLAMA processo e avvia il monitoraggio delle risorse e il demone di controllo della versione.

Link copied to clipboard
open fun initPlugin()
Link copied to clipboard
open fun install(p0: IPluginInstallData)
Link copied to clipboard
open override fun shutdown(shutdownData: IPluginShutdownData?)

Elimina tutte le risorse in background: controllo aggiornamenti, monitoraggio risorse, sessioni di streaming, server pensante e il processo server di classe base.

open fun shutdown()
Link copied to clipboard

Avvia un'attività che rimuove le immagini inutilizzate scadute (msExpirationIDedImages) dal cache (cacheIDedImages).

Link copied to clipboard
open fun uninstall(p0: IPluginUninstallData)
Link copied to clipboard
open override fun validateConfigurationData(configData: IPluginValidationData): IPluginInitializeValidationResult?

Rifiuta l'installazione a livello di tenant. CodBi deve essere installato come plugin di sistema perché è I servizi AI (Whisper, LLAMA) collegano le porte del server locale e gestiscono processi pesanti sarebbe in conflitto se istanziato una volta per tenant.