Anpassung der Textausgabe zur Filterung der Steuerzeichen

This commit is contained in:
Lars committed 2025-12-27 18:59:38 +01:00
1 parent cd5383432e
commit e045371969
2 files changed
+40 -20

No files matched your search

+26 -14
View File
@@ -1,37 +1,49 @@
"""
FILE: app/core/ingestion/ingestion_utils.py
DESCRIPTION: Hilfswerkzeuge für JSON-Recovery, Typ-Registry und Konfigurations-Lookups.
AUDIT v2.13.7: Dynamisierung von Cleanup-Patterns und Default-Typen (WP-14).
AUDIT v2.13.8: Zentralisierung der Text-Bereinigung für LLM-Antworten.
"""
import os
import json
import re
import yaml
from typing import Any, Optional, Dict
from typing import Any, Optional, Dict, List
def extract_json_from_response(text: str, registry: Optional[dict] = None) -> Any:
def clean_llm_text(text: str, registry: Optional[dict] = None) -> str:
"""
Extrahiert JSON-Daten und bereinigt LLM-Steuerzeichen (v2.11.14 Logic).
WP-14: Nutzt nun dynamische cleanup_patterns aus der Registry.
Entfernt LLM-Steuerzeichen und Artefakte aus einem Text.
Nutzt die cleanup_patterns aus der Registry oder Standardwerte.
"""
if not text or not isinstance(text, str):
return []
# Fallback-Patterns für die Bereinigung
patterns = ["<s>", "</s>", "[OUT]", "[/OUT]"]
if not text or not isinstance(text, str):
return ""
# Fallback-Patterns, falls die Registry nicht greift
default_patterns = ["<s>", "</s>", "[OUT]", "[/OUT]"]
# Falls keine Registry übergeben wurde, versuchen wir sie zu laden
reg = registry or load_type_registry()
if reg:
# Lade Patterns aus llm_settings (WP-14 Erweiterung)
patterns = reg.get("llm_settings", {}).get("cleanup_patterns", patterns)
# Lade Patterns aus llm_settings (WP-14 Erweiterung)
patterns: List[str] = reg.get("llm_settings", {}).get("cleanup_patterns", default_patterns)
clean = text
for p in patterns:
clean = clean.replace(p, "")
clean = clean.strip()
return clean.strip()
def extract_json_from_response(text: str, registry: Optional[dict] = None) -> Any:
"""
Extrahiert JSON-Daten und bereinigt LLM-Steuerzeichen.
WP-14: Nutzt nun die zentrale clean_llm_text Funktion.
"""
if not text:
return []
# 1. Text zentral bereinigen
clean = clean_llm_text(text, registry)
# 2. Markdown-Code-Blöcke extrahieren
match = re.search(r"```(?:json)?\s*(.*?)\s*```", clean, re.DOTALL)
payload = match.group(1) if match else clean