Implement origin-based purge logic in ingestion_db.py to prevent accidental deletion of inverse edges during re-imports. Enhance logging for error handling and artifact checks. Update ingestion_processor.py to support redundancy checks and improve symmetry logic for edge generation, ensuring bidirectional graph integrity. Version bump to 3.1.2.

This commit is contained in:
Lars committed 2026-01-09 14:41:50 +01:00
1 parent 9b3fd7723e
commit 5e2a074019
2 files changed
+89 -36

No files matched your search

+41 -27
View File
@@ -5,8 +5,8 @@ DESCRIPTION: Der zentrale IngestionService (Orchestrator).
WP-25a: Integration der Mixture of Experts (MoE) Architektur.
WP-15b: Two-Pass Workflow mit globalem Kontext-Cache.
WP-20/22: Cloud-Resilienz und Content-Lifecycle integriert.
AUDIT v3.1.0: Korrektur der bidirektionalen Graph-Injektion für Qdrant.
VERSION: 3.1.0 (WP-24c: Symmetric Edge Injection Fix)
AUDIT v3.1.2: Redundanz-Check, ID-Resolution & Origin-Tracking.
VERSION: 3.1.2 (WP-24c: Redundancy-Aware Symmetric Ingestion)
STATUS: Active
"""
import logging
@@ -33,7 +33,6 @@ from app.services.llm_service import LLMService
# Package-Interne Imports
from .ingestion_utils import load_type_registry, resolve_note_type, get_chunk_config_by_profile
from .ingestion_db import fetch_note_payload, artifacts_missing, purge_artifacts
# WP-24c: Wir nutzen die Basis-Validierung; die Symmetrie wird im Prozessor injiziert
from .ingestion_validation import validate_edge_candidate
from .ingestion_note_payload import make_note_payload
from .ingestion_chunk_payload import make_chunk_payloads
@@ -205,48 +204,63 @@ class IngestionService:
include_note_scope_refs=note_scope_refs
)
# --- WP-24c: Symmetrie-Injektion (Invers-Kanten Fix) ---
# Wir bauen die finalen Kanten-Objekte inklusive ihrer Gegenstücke
# --- WP-24c: Symmetrie-Injektion (Bidirektionale Graph-Logik) ---
final_edges = []
for e in raw_edges:
# 1. Primär-Kante auflösen & kanonisieren
# 1. Primär-Kante kanonisieren & Owner setzen
resolved_kind = edge_registry.resolve(
e.get("kind", "related_to"),
provenance=e.get("provenance", "explicit"),
context={"file": file_path, "note_id": note_id, "line": e.get("line", "system")}
context={"file": file_path, "note_id": note_id}
)
e["kind"] = resolved_kind
# Markierung der Herkunft für selektiven Purge
e["origin_note_id"] = note_id
final_edges.append(e)
# 2. Symmetrie-Erzeugung via Registry
# 2. Symmetrie-Ermittlung via Registry
inverse_kind = edge_registry.get_inverse(resolved_kind)
target_id = e.get("target_id")
target_raw = e.get("target_id")
# Wir erzeugen eine Inverse nur bei sinnvoller Symmetrie und existierendem Ziel
if inverse_kind and inverse_kind != resolved_kind and target_id:
# Deep Copy für die Inverse zur Vermeidung von Side-Effects
inv_edge = e.copy()
# ID-Resolution: Finden der echten Note_ID im Cache
target_ctx = self.batch_cache.get(target_raw)
target_canonical_id = target_ctx.note_id if target_ctx else target_raw
# Validierung für Symmetrie-Erzeugung (Kein Self-Loop, Existenz der Inversen)
if (inverse_kind and target_canonical_id and target_canonical_id != note_id):
# Richtungs-Umkehr
inv_edge["note_id"] = target_id # Ursprung ist nun das Ziel
inv_edge["target_id"] = note_id # Ziel ist nun die Quelle
inv_edge["kind"] = inverse_kind
# REDUNDANZ-CHECK: Existiert bereits eine explizite Gegenrichtung?
is_redundant = any(
ex.get("target_id") == target_canonical_id and
edge_registry.resolve(ex.get("kind")) == inverse_kind
for ex in raw_edges
)
# Metadaten-Anpassung
inv_edge["virtual"] = True
inv_edge["provenance"] = "structure" # Schutz durch Firewall
inv_edge["confidence"] = e.get("confidence", 0.9) * 0.9 # Leichte Dämpfung
# Lifecycle-Verankerung: Die Inverse gehört logisch zur Quell-Note
inv_edge["origin_note_id"] = note_id
final_edges.append(inv_edge)
logger.info(f"🔄 [SYMMETRY] Built inverse in payload: {target_id} --({inverse_kind})--> {note_id}")
# Nur anlegen, wenn nicht redundant und kein simpler related_to Loop
if not is_redundant and (inverse_kind != resolved_kind or resolved_kind not in ["related_to", "references"]):
inv_edge = e.copy()
# Richtungs-Umkehr
inv_edge["note_id"] = target_canonical_id
inv_edge["target_id"] = note_id
inv_edge["kind"] = inverse_kind
# Metadaten für Struktur-Kante
inv_edge["virtual"] = True
inv_edge["provenance"] = "structure"
inv_edge["confidence"] = e.get("confidence", 0.9) * 0.9
# Lifecycle-Verankerung: Diese Kante gehört logisch zum Verursacher (Note A)
inv_edge["origin_note_id"] = note_id
final_edges.append(inv_edge)
logger.info(f"🔄 [SYMMETRY] Built inverse: {target_canonical_id} --({inverse_kind})--> {note_id}")
edges = final_edges
# 4. DB Upsert via modularisierter Points-Logik
if purge_before and old_payload:
# Hinweis: purge_artifacts wird im nächsten Schritt auf origin_note_id umgestellt
purge_artifacts(self.client, self.prefix, note_id)
# Speichern der Haupt-Note