""" app/services/semantic_analyzer.py Kapselt die LLM-Strategie für Chunking und Kanten-Extraktion. """ import json import logging import re from typing import List, Dict, Any, Optional from dataclasses import dataclass # Import der benötigten Services (Annahme: llm_service und discovery sind verfügbar.) from app.services.llm_service import LLMService from app.services.discovery import DiscoveryService logger = logging.getLogger(__name__) @dataclass class SemanticChunkResult: content: str suggested_edges: List[str] # Format: "kind:Target" class SemanticAnalyzer: def __init__(self): self.llm = LLMService() self.discovery = DiscoveryService() self.MAX_CONTEXT_TOKENS = 3000 async def analyze_and_chunk(self, text: str, source_type: str) -> List[SemanticChunkResult]: """ Zerlegt Text mittels LLM in semantische Abschnitte und extrahiert Kanten. """ system_prompt = ( "Du bist ein Knowledge Graph Experte. Deine Aufgabe ist es, Rohtext in " "thematisch geschlossene Abschnitte (Chunks) zu zerlegen.\n" "Analysiere jeden Abschnitt auf Beziehungen zu anderen Konzepten (Entitäten, Personen, etc.).\n" "Antworte AUSSCHLIESSLICH mit validem JSON in diesem Format:\n" "[\n" " {\n" " \"content\": \"Der Text des Abschnitts...\",\n" " \"relations\": [{\"target\": \"Entität X\", \"type\": \"related_to\"}]\n" " }\n" "]\n" "Halte die Chunks mittellang (ca. 100-300 Wörter). Verändere den Inhalt nicht, nur die Struktur." ) user_prompt = f"Dokument-Typ: {source_type}\n\nTEXT:\n{text}" try: # 2. LLM Call (Async) response_json = await self.llm.generate_raw_response( user_prompt, system=system_prompt, force_json=True ) # 3. JSON Parsing & Validierung clean_json = response_json.replace("```json", "").replace("```", "").strip() data = json.loads(clean_json) # FIX: Typsicherheit auf der Wurzel if isinstance(data, dict): # LLM hat ein Einzelobjekt geliefert -> wandle es in ein Array data = [data] elif not isinstance(data, list): logger.error("SemanticAnalyzer: JSON root ist weder Array noch Objekt. Fehlerhafte LLM-Antwort.") raise ValueError("Root element is not a list or dictionary.") results = [] for item in data: # Typsicherheit auf Item-Ebene if not isinstance(item, dict): logger.warning(f"SemanticAnalyzer: Ungültiges Chunk-Element ignoriert: {item}") continue content = item.get("content", "").strip() if not content: continue raw_rels = item.get("relations", []) refined_edges = [] for rel in raw_rels: # Typsicherheit auf Relation-Ebene if not isinstance(rel, dict): logger.warning(f"SemanticAnalyzer: Ignoriere ungültige Relation: {rel}") continue target = rel.get("target") raw_type = rel.get("type", "related_to") if target: # 1. Typ-Auflösung (für Matrix) target_entity_type = self._get_target_type_from_title(target) # 2. Matrix-Logik anwenden: final_kind = self.discovery._resolve_edge_type(source_type, target_entity_type) # 3. Priorisierung: Wählt den Matrix-Vorschlag, wenn er spezifischer ist. if final_kind not in ["related_to", "references"] and target_entity_type != "concept": edge_str = f"{final_kind}:{target}" else: edge_str = f"{raw_type}:{target}" refined_edges.append(edge_str) results.append(SemanticChunkResult(content=content, suggested_edges=refined_edges)) return results except json.JSONDecodeError: logger.error("SemanticAnalyzer: LLM lieferte KEIN valides JSON. Fallback auf Raw Text.") return [SemanticChunkResult(content=text, suggested_edges=[])] except Exception as e: logger.error(f"SemanticAnalyzer Unbehandelter Fehler: {e}") return [SemanticChunkResult(content=text, suggested_edges=[])] # NEU: Helper zur Abfrage des Typs (muss die bestehenden Funktionen nutzen) def _get_target_type_from_title(self, title: str) -> str: """Simuliert den Abruf des Notiztyps basierend auf dem Titel aus dem Index (für Matrix-Logik).""" title_lower = title.lower() if "leitbild-werte" in title_lower or "integrität" in title_lower: return "value" if "leitbild-prinzipien" in title_lower: return "principle" if "leitbild-rollen" in title_lower: return "profile" if "leitbild-rituale-system" in title_lower: return "concept" return "concept" async def close(self): if self.llm: await self.llm.close()