WP15-Chunker und Test

This commit is contained in:
Lars committed 2025-12-12 09:07:33 +01:00
1 parent 9a38daafc0
commit f6d8751f23
2 files changed
+50 -41

No files matched your search

+8 -6
View File
@@ -10,17 +10,19 @@ from markdown_it.token import Token
import asyncio
# NEUE IMPORTS
# Import der benötigten Klassen direkt (ersetzt get_semantic_analyzer)
try:
# ANNAHME: Die Klassen SemanticAnalyzer und SemanticChunkResult existieren in app.services.semantic_analyzer.py
from app.services.semantic_analyzer import SemanticAnalyzer, SemanticChunkResult
except ImportError:
# Fallback für Tests
# Fallback für Tests, wenn der Service noch nicht auf dem Pfad ist
print("WARNUNG: SemanticAnalyzer Service nicht gefunden. Semantic Chunking wird fehlschlagen.")
class SemanticAnalyzer:
async def analyze_and_chunk(self, text, type): return [SemanticChunkResult(content=text, suggested_edges=[])]
@dataclass
class SemanticChunkResult:
content: str
suggested_edges: List[str]
suggested_edges: List[str] # Format: "kind:Target"
# ==========================================
@@ -30,8 +32,10 @@ except ImportError:
def extract_frontmatter_from_text(md_text: str) -> Tuple[Dict[str, Any], str]:
"""
Extrakte das YAML Frontmatter aus dem Markdown-Text und gibt den Body zurück.
(Lokalisiert im Chunker zur Vermeidung von Import-Fehlern)
"""
fm_match = re.match(r'^---\s*\n(.*?)\n---', md_text, re.DOTALL)
# Regex toleriert Whitespace/Newline vor dem ersten ---
fm_match = re.match(r'^\s*---\s*\n(.*?)\n---', md_text, re.DOTALL)
if not fm_match:
return {}, md_text
@@ -47,7 +51,7 @@ def extract_frontmatter_from_text(md_text: str) -> Tuple[Dict[str, Any], str]:
frontmatter = {}
# Entferne den Frontmatter Block aus dem Text
text_without_fm = re.sub(r'^---\s*\n(.*?)\n---', '', md_text, flags=re.DOTALL)
text_without_fm = re.sub(r'^\s*---\s*\n(.*?)\n---', '', md_text, flags=re.DOTALL)
return frontmatter, text_without_fm.strip()
@@ -368,8 +372,6 @@ async def assemble_chunks(note_id: str, md_text: str, note_type: str) -> List[Ch
# 3. Execution (Dispatcher)
# Der Text, der an die Chunker-Strategie geht.
# Da extract_frontmatter_from_text den Frontmatter entfernt hat,
# ist der Body der saubere Text. md_text enthält ihn noch für non-Frontmatter-Logik.
md_to_chunk = md_text
if strategy == "semantic_llm":