Anpassung der Textausgabe zur Filterung der Steuerzeichen

This commit is contained in:
Lars committed 2025-12-27 18:59:38 +01:00
1 parent cd5383432e
commit e045371969
2 files changed
+40 -20

No files matched your search

+14 -6
View File
@@ -6,12 +6,11 @@ DESCRIPTION: Hybrid-Client für Ollama, Google GenAI (Gemini) und OpenRouter.
WP-20 Fix: Bulletproof Prompt-Auflösung für format() Aufrufe.
WP-22/JSON: Optionales JSON-Schema + strict (für OpenRouter structured outputs).
FIX: Intelligente Rate-Limit Erkennung (429 Handling), v1-API Sync & Timeouts.
VERSION: 3.3.7
VERSION: 3.3.8
STATUS: Active
FIX:
- Implementiert striktes max_retries Handling für alle Provider (v.a. für Chat-Stabilität).
- Synchronisiert Rate-Limit Retries mit dem max_retries Parameter.
- Optimiert Logging für sofortige Fehlererkennung.
- Integriert clean_llm_text zur Entfernung von Steuerzeichen (<s>, [OUT] etc.) in Antworten.
- Stellt sicher, dass Chat-Antworten sauber formatiert ausgegeben werden.
"""
import httpx
import yaml
@@ -25,6 +24,9 @@ from pathlib import Path
from typing import Optional, Dict, Any, Literal
from app.config import get_settings
# Import der zentralen Bereinigungs-Logik (WP-14 Fix)
from app.core.ingestion.ingestion_utils import clean_llm_text
logger = logging.getLogger(__name__)
@@ -119,22 +121,26 @@ class LLMService:
) -> str:
"""
Haupteinstiegspunkt für LLM-Anfragen mit Priorisierung.
Wendet die Bereinigung auf Text-Antworten an.
"""
target_provider = provider or self.settings.MINDNET_LLM_PROVIDER
if priority == "background":
async with LLMService._background_semaphore:
return await self._dispatch(
res = await self._dispatch(
target_provider, prompt, system, force_json,
max_retries, base_delay, model_override,
json_schema, json_schema_name, strict_json_schema
)
# WP-14 Fix: Bereinige Text-Antworten vor Rückgabe
return clean_llm_text(res) if not force_json else res
return await self._dispatch(
res = await self._dispatch(
target_provider, prompt, system, force_json,
max_retries, base_delay, model_override,
json_schema, json_schema_name, strict_json_schema
)
return clean_llm_text(res) if not force_json else res
async def _dispatch(
self,
@@ -206,6 +212,7 @@ class LLMService:
config = types.GenerateContentConfig(
system_instruction=system,
# WICHTIG: Gemini 1.5+ unterstützt response_mime_type nativ
response_mime_type="application/json" if force_json else "text/plain"
)
response = await asyncio.wait_for(
@@ -297,6 +304,7 @@ class LLMService:
final_prompt = rag_template.format(context_str=context_str, query=query)
# RAG Aufrufe im Chat nutzen nun standardmäßig max_retries=2 (überschreibbar)
# Durch den Aufruf von generate_raw_response wird die Bereinigung automatisch angewendet.
return await self.generate_raw_response(
final_prompt,
system=system_prompt,