Fix v3.3.5: Prevent duplicate Wikilink targets in text by checking for existing references before injecting section edges. Update comments for clarity and maintain consistency in the code structure.

This commit is contained in:
Lars committed 2025-12-30 08:22:17 +01:00
1 parent 65d697b7be
commit 33dff04d47
2 files changed
+34 -26

No files matched your search

+11 -10
View File
@@ -1,9 +1,7 @@
"""
FILE: app/core/chunking/chunking_propagation.py
DESCRIPTION: Injiziert Sektions-Kanten physisch in den Text (Embedding-Enrichment).
Stellt die "Gold-Standard"-Qualität von v3.1.0 wieder her.
VERSION: 3.3.1
STATUS: Active
Fix v3.3.5: Erkennt Wikilink-Targets, um Dopplungen zu verhindern.
"""
from typing import List, Dict, Set
from .chunking_models import Chunk
@@ -12,7 +10,7 @@ from .chunking_parser import parse_edges_robust
def propagate_section_edges(chunks: List[Chunk]) -> List[Chunk]:
"""
Sammelt Kanten pro Sektion und schreibt sie hart in den Text und das Window.
Dies ist essenziell für die Vektorisierung der Beziehungen.
Verhindert Dopplungen, wenn Kanten bereits via [!edge] Callout vorhanden sind.
"""
# 1. Sammeln: Alle expliziten Kanten pro Sektions-Pfad aggregieren
section_map: Dict[str, Set[str]] = {} # path -> set(kind:target)
@@ -39,18 +37,21 @@ def propagate_section_edges(chunks: List[Chunk]) -> List[Chunk]:
injections = []
for e_str in edges_to_add:
kind, target = e_str.split(':', 1)
# Nur injizieren, wenn die Kante nicht bereits im Text steht
token = f"[[rel:{kind}|{target}]]"
if token not in ch.text:
injections.append(token)
# DER FIX: Wir prüfen, ob das Ziel (target) bereits im Text vorkommt.
# Wir suchen nach [[target]] (Callout-Stil) oder |target]] (Rel-Stil).
if f"[[{target}]]" in ch.text or f"|{target}]]" in ch.text:
continue
injections.append(f"[[rel:{kind}|{target}]]")
if injections:
# Physische Anreicherung (Der v3.1.0 Qualitäts-Fix)
# Physische Anreicherung
# Triple-Newline für saubere Trennung im Embedding-Fenster
block = "\n\n\n" + " ".join(injections)
ch.text += block
# ENTSCHEIDEND: Auch ins Window schreiben, da Qdrant hier sucht!
# Auch ins Window schreiben, da Qdrant hier sucht!
if ch.window:
ch.window += block
else: