WP15-Chunker und Test
This commit is contained in:
1 parent
9a38daafc0
commit
f6d8751f23
2 files changed
+50
-41
No files matched your search
+8
-6
@@ -10,17 +10,19 @@ from markdown_it.token import Token
|
||||
import asyncio
|
||||
|
||||
# NEUE IMPORTS
|
||||
# Import der benötigten Klassen direkt (ersetzt get_semantic_analyzer)
|
||||
try:
|
||||
# ANNAHME: Die Klassen SemanticAnalyzer und SemanticChunkResult existieren in app.services.semantic_analyzer.py
|
||||
from app.services.semantic_analyzer import SemanticAnalyzer, SemanticChunkResult
|
||||
except ImportError:
|
||||
# Fallback für Tests
|
||||
# Fallback für Tests, wenn der Service noch nicht auf dem Pfad ist
|
||||
print("WARNUNG: SemanticAnalyzer Service nicht gefunden. Semantic Chunking wird fehlschlagen.")
|
||||
class SemanticAnalyzer:
|
||||
async def analyze_and_chunk(self, text, type): return [SemanticChunkResult(content=text, suggested_edges=[])]
|
||||
@dataclass
|
||||
class SemanticChunkResult:
|
||||
content: str
|
||||
suggested_edges: List[str]
|
||||
suggested_edges: List[str] # Format: "kind:Target"
|
||||
|
||||
|
||||
# ==========================================
|
||||
@@ -30,8 +32,10 @@ except ImportError:
|
||||
def extract_frontmatter_from_text(md_text: str) -> Tuple[Dict[str, Any], str]:
|
||||
"""
|
||||
Extrakte das YAML Frontmatter aus dem Markdown-Text und gibt den Body zurück.
|
||||
(Lokalisiert im Chunker zur Vermeidung von Import-Fehlern)
|
||||
"""
|
||||
fm_match = re.match(r'^---\s*\n(.*?)\n---', md_text, re.DOTALL)
|
||||
# Regex toleriert Whitespace/Newline vor dem ersten ---
|
||||
fm_match = re.match(r'^\s*---\s*\n(.*?)\n---', md_text, re.DOTALL)
|
||||
|
||||
if not fm_match:
|
||||
return {}, md_text
|
||||
@@ -47,7 +51,7 @@ def extract_frontmatter_from_text(md_text: str) -> Tuple[Dict[str, Any], str]:
|
||||
frontmatter = {}
|
||||
|
||||
# Entferne den Frontmatter Block aus dem Text
|
||||
text_without_fm = re.sub(r'^---\s*\n(.*?)\n---', '', md_text, flags=re.DOTALL)
|
||||
text_without_fm = re.sub(r'^\s*---\s*\n(.*?)\n---', '', md_text, flags=re.DOTALL)
|
||||
|
||||
return frontmatter, text_without_fm.strip()
|
||||
|
||||
@@ -368,8 +372,6 @@ async def assemble_chunks(note_id: str, md_text: str, note_type: str) -> List[Ch
|
||||
# 3. Execution (Dispatcher)
|
||||
|
||||
# Der Text, der an die Chunker-Strategie geht.
|
||||
# Da extract_frontmatter_from_text den Frontmatter entfernt hat,
|
||||
# ist der Body der saubere Text. md_text enthält ihn noch für non-Frontmatter-Logik.
|
||||
md_to_chunk = md_text
|
||||
|
||||
if strategy == "semantic_llm":
|
||||
|
||||
Reference in new issue
Block a user