Anpassung der Textausgabe zur Filterung der Steuerzeichen
This commit is contained in:
1 parent
cd5383432e
commit
e045371969
2 files changed
+40
-20
No files matched your search
@@ -1,37 +1,49 @@
|
||||
"""
|
||||
FILE: app/core/ingestion/ingestion_utils.py
|
||||
DESCRIPTION: Hilfswerkzeuge für JSON-Recovery, Typ-Registry und Konfigurations-Lookups.
|
||||
AUDIT v2.13.7: Dynamisierung von Cleanup-Patterns und Default-Typen (WP-14).
|
||||
AUDIT v2.13.8: Zentralisierung der Text-Bereinigung für LLM-Antworten.
|
||||
"""
|
||||
import os
|
||||
import json
|
||||
import re
|
||||
import yaml
|
||||
from typing import Any, Optional, Dict
|
||||
from typing import Any, Optional, Dict, List
|
||||
|
||||
def extract_json_from_response(text: str, registry: Optional[dict] = None) -> Any:
|
||||
def clean_llm_text(text: str, registry: Optional[dict] = None) -> str:
|
||||
"""
|
||||
Extrahiert JSON-Daten und bereinigt LLM-Steuerzeichen (v2.11.14 Logic).
|
||||
WP-14: Nutzt nun dynamische cleanup_patterns aus der Registry.
|
||||
Entfernt LLM-Steuerzeichen und Artefakte aus einem Text.
|
||||
Nutzt die cleanup_patterns aus der Registry oder Standardwerte.
|
||||
"""
|
||||
if not text or not isinstance(text, str):
|
||||
return []
|
||||
|
||||
# Fallback-Patterns für die Bereinigung
|
||||
patterns = ["<s>", "</s>", "[OUT]", "[/OUT]"]
|
||||
if not text or not isinstance(text, str):
|
||||
return ""
|
||||
|
||||
# Fallback-Patterns, falls die Registry nicht greift
|
||||
default_patterns = ["<s>", "</s>", "[OUT]", "[/OUT]"]
|
||||
|
||||
# Falls keine Registry übergeben wurde, versuchen wir sie zu laden
|
||||
reg = registry or load_type_registry()
|
||||
if reg:
|
||||
# Lade Patterns aus llm_settings (WP-14 Erweiterung)
|
||||
patterns = reg.get("llm_settings", {}).get("cleanup_patterns", patterns)
|
||||
|
||||
# Lade Patterns aus llm_settings (WP-14 Erweiterung)
|
||||
patterns: List[str] = reg.get("llm_settings", {}).get("cleanup_patterns", default_patterns)
|
||||
|
||||
clean = text
|
||||
for p in patterns:
|
||||
clean = clean.replace(p, "")
|
||||
|
||||
clean = clean.strip()
|
||||
return clean.strip()
|
||||
|
||||
def extract_json_from_response(text: str, registry: Optional[dict] = None) -> Any:
|
||||
"""
|
||||
Extrahiert JSON-Daten und bereinigt LLM-Steuerzeichen.
|
||||
WP-14: Nutzt nun die zentrale clean_llm_text Funktion.
|
||||
"""
|
||||
if not text:
|
||||
return []
|
||||
|
||||
# 1. Text zentral bereinigen
|
||||
clean = clean_llm_text(text, registry)
|
||||
|
||||
# 2. Markdown-Code-Blöcke extrahieren
|
||||
match = re.search(r"```(?:json)?\s*(.*?)\s*```", clean, re.DOTALL)
|
||||
payload = match.group(1) if match else clean
|
||||
|
||||
|
||||
Reference in new issue
Block a user