korrektur zu besseren Analyse

This commit is contained in:
Lars committed 2025-12-09 13:37:26 +01:00
1 parent 972cd0dfac
commit bd44af2b68
2 files changed
+23 -36

No files matched your search

+15 -11
View File
@@ -1,6 +1,6 @@
"""
app/services/llm_service.py — LLM Client (Ollama)
Version: 0.2.0 (WP-06 Hybrid Router Support)
Version: 0.2.1 (Fix: System Prompt Handling for Phi-3)
"""
import httpx
@@ -17,7 +17,6 @@ class LLMService:
self.settings = get_settings()
self.prompts = self._load_prompts()
# Timeout aus Config nutzen (Default 120s)
self.client = httpx.AsyncClient(
base_url=self.settings.OLLAMA_URL,
timeout=self.settings.LLM_TIMEOUT
@@ -34,21 +33,27 @@ class LLMService:
logger.error(f"Failed to load prompts: {e}")
return {}
async def generate_raw_response(self, prompt: str) -> str:
async def generate_raw_response(self, prompt: str, system: str = None) -> str:
"""
NEU: Führt einen direkten LLM Call ohne RAG-Template aus.
Wird vom Router für die Antwortgenerierung genutzt.
Führt einen LLM Call aus.
Unterstützt nun explizite System-Prompts für sauberes Templating.
"""
payload = {
"model": self.settings.LLM_MODEL,
"prompt": prompt,
"stream": False,
"options": {
"temperature": 0.0,
"num_ctx": 512
# Temperature etwas höher für Empathie, niedriger für Code?
# Wir lassen es auf Standard, oder steuern es später via Config.
"temperature": 0.7,
"num_ctx": 2048
}
}
# WICHTIG: System-Prompt separat übergeben, damit Ollama formatiert
if system:
payload["system"] = system
try:
response = await self.client.post("/api/generate", json=payload)
if response.status_code != 200:
@@ -63,14 +68,13 @@ class LLMService:
return "Interner LLM Fehler."
async def generate_rag_response(self, query: str, context_str: str) -> str:
"""Legacy Support / Fallback"""
"""Legacy Support"""
system_prompt = self.prompts.get("system_prompt", "")
rag_template = self.prompts.get("rag_template", "{context_str}\n\n{query}")
final_prompt = rag_template.format(context_str=context_str, query=query)
# Wir nutzen intern nun auch raw_response, um Code zu sparen
full_prompt = f"{system_prompt}\n\n{final_prompt}"
return await self.generate_raw_response(full_prompt)
# Leite an die neue Methode weiter
return await self.generate_raw_response(final_prompt, system=system_prompt)
async def close(self):
await self.client.aclose()