This commit is contained in:
Lars committed 2025-12-12 09:35:21 +01:00
1 parent 9fbf0b7c91
commit bf40169662
2 files changed
+49 -27

No files matched your search

+26 -9
View File
@@ -1,6 +1,6 @@
"""
app/services/llm_service.py — LLM Client (Ollama)
Version: 0.2.1 (Fix: System Prompt Handling for Phi-3)
Version: 0.3.0 (Fix: JSON Format Enforcement)
"""
import httpx
@@ -8,10 +8,22 @@ import yaml
import logging
import os
from pathlib import Path
from app.config import get_settings
# ANNAHME: app.config ist verfügbar
# from app.config import get_settings
logger = logging.getLogger(__name__)
# --- Mock get_settings für die Vollständigkeit ---
class Settings:
OLLAMA_URL = os.getenv("MINDNET_OLLAMA_URL", "http://127.0.0.1:11434")
LLM_TIMEOUT = float(os.getenv("MINDNET_LLM_TIMEOUT", 300.0))
LLM_MODEL = os.getenv("MINDNET_LLM_MODEL", "phi3:mini")
PROMPTS_PATH = os.getenv("MINDNET_PROMPTS_PATH", "./config/prompts.yaml")
def get_settings():
return Settings()
# -----------------------------------------------
class LLMService:
def __init__(self):
self.settings = get_settings()
@@ -33,24 +45,26 @@ class LLMService:
logger.error(f"Failed to load prompts: {e}")
return {}
async def generate_raw_response(self, prompt: str, system: str = None) -> str:
async def generate_raw_response(self, prompt: str, system: str = None, force_json: bool = False) -> str:
"""
Führt einen LLM Call aus.
Unterstützt nun explizite System-Prompts für sauberes Templating.
force_json: NEUER OPTIONALER PARAMETER zur Erzwingung des Ollama JSON-Modus.
"""
payload = {
"model": self.settings.LLM_MODEL,
"prompt": prompt,
"stream": False,
"options": {
# Temperature etwas höher für Empathie, niedriger für Code?
# Wir lassen es auf Standard, oder steuern es später via Config.
"temperature": 0.7,
"num_ctx": 2048
}
}
# WICHTIG: System-Prompt separat übergeben, damit Ollama formatiert
# NEU: Ollama Format Erzwingung (wichtig für Semantic Chunking)
if force_json:
payload["format"] = "json"
# WICHTIG: System-Prompt separat übergeben
if system:
payload["system"] = system
@@ -68,12 +82,15 @@ class LLMService:
return "Interner LLM Fehler."
async def generate_rag_response(self, query: str, context_str: str) -> str:
"""Legacy Support"""
"""
Legacy Support: Wird vom Chat und Intent Router genutzt.
Ruft generate_raw_response OHNE force_json auf.
"""
system_prompt = self.prompts.get("system_prompt", "")
rag_template = self.prompts.get("rag_template", "{context_str}\n\n{query}")
final_prompt = rag_template.format(context_str=context_str, query=query)
# Leite an die neue Methode weiter
# Aufruf bleibt im Standard-Modus (force_json=False Default)
return await self.generate_raw_response(final_prompt, system=system_prompt)
async def close(self):