Lars
1056078e6a
Update the logging mechanism for ID collisions to include more structured metadata, enhancing the clarity of logged information. This change aims to facilitate easier analysis of conflicts during the ingestion process and improve overall traceability.
114 lines
5.1 KiB
Markdown
114 lines
5.1 KiB
Markdown
# Branch Merge Commit: WP-24c
|
|
|
|
**Branch:** `WP24c`
|
|
**Target:** `main`
|
|
**Version:** v4.5.8
|
|
**Date:** 2026-01-XX
|
|
|
|
---
|
|
|
|
## Commit Message
|
|
|
|
```
|
|
feat: Phase 3 Agentic Edge Validation & Chunk-Aware Multigraph-System (v4.5.8)
|
|
|
|
### Phase 3 Agentic Edge Validation
|
|
- Finales Validierungs-Gate für Kanten mit candidate: Präfix
|
|
- LLM-basierte semantische Prüfung gegen Kontext (Note-Scope vs. Chunk-Scope)
|
|
- Differenzierte Fehlerbehandlung: Transiente Fehler erlauben Kante, permanente Fehler lehnen ab
|
|
- Kontext-Optimierung: Note-Scope nutzt Note-Summary/Text, Chunk-Scope nutzt spezifischen Chunk-Text
|
|
- Implementierung in app/core/ingestion/ingestion_validation.py (v2.14.0)
|
|
|
|
### Automatische Spiegelkanten (Invers-Logik)
|
|
- Automatische Erzeugung von Spiegelkanten für explizite Verbindungen
|
|
- Phase 2 Batch-Injektion am Ende des Imports
|
|
- Authority-Check: Explizite Kanten haben Vorrang (keine Duplikate)
|
|
- Provenance Firewall: System-Kanten können nicht manuell überschrieben werden
|
|
- Implementierung in app/core/ingestion/ingestion_processor.py (v2.13.12)
|
|
|
|
### Note-Scope Zonen (v4.2.0)
|
|
- Globale Verbindungen für ganze Notizen (scope: note)
|
|
- Konfigurierbare Header-Namen via ENV-Variablen
|
|
- Höchste Priorität bei Duplikaten
|
|
- Phase 3 Validierung nutzt Note-Summary/Text für bessere Präzision
|
|
- Implementierung in app/core/graph/graph_derive_edges.py (v1.1.2)
|
|
|
|
### Chunk-Aware Multigraph-System
|
|
- Section-basierte Links: [[Note#Section]] wird präzise in target_id und target_section aufgeteilt
|
|
- Multigraph-Support: Mehrere Kanten zwischen denselben Knoten möglich (verschiedene Sections)
|
|
- Semantische Deduplizierung basierend auf src->tgt:kind@sec Key
|
|
- Metadaten-Persistenz: target_section, provenance, confidence bleiben erhalten
|
|
|
|
### Code-Komponenten
|
|
- app/core/ingestion/ingestion_validation.py: v2.14.0 (Phase 3 Validierung, Kontext-Optimierung)
|
|
- app/core/ingestion/ingestion_processor.py: v2.13.12 (Automatische Spiegelkanten, Authority-Check)
|
|
- app/core/graph/graph_derive_edges.py: v1.1.2 (Note-Scope Zonen, LLM-Validierung Zonen)
|
|
- app/core/chunking/chunking_processor.py: v2.13.0 (LLM-Validierung Zonen Erkennung)
|
|
- app/core/chunking/chunking_parser.py: v2.12.0 (Header-Level Erkennung, Zonen-Extraktion)
|
|
|
|
### Konfiguration
|
|
- Neue ENV-Variablen für konfigurierbare Header:
|
|
- MINDNET_LLM_VALIDATION_HEADERS (Default: "Unzugeordnete Kanten,Edge Pool,Candidates")
|
|
- MINDNET_LLM_VALIDATION_HEADER_LEVEL (Default: 3)
|
|
- MINDNET_NOTE_SCOPE_ZONE_HEADERS (Default: "Smart Edges,Relationen,Global Links,Note-Level Relations,Globale Verbindungen")
|
|
- MINDNET_NOTE_SCOPE_HEADER_LEVEL (Default: 2)
|
|
- config/llm_profiles.yaml: ingest_validator Profil für Phase 3 Validierung (Temperature 0.0)
|
|
- config/prompts.yaml: edge_validation Prompt für Phase 3 Validierung
|
|
|
|
### Dokumentation
|
|
- 01_knowledge_design.md: Automatische Spiegelkanten, Phase 3 Validierung, Note-Scope Zonen
|
|
- NOTE_SCOPE_ZONEN.md: Phase 3 Validierung integriert
|
|
- LLM_VALIDIERUNG_VON_LINKS.md: Phase 3 statt global_pool, Kontext-Optimierung
|
|
- 02_concept_graph_logic.md: Phase 3 Validierung, automatische Spiegelkanten, Note-Scope vs. Chunk-Scope
|
|
- 03_tech_data_model.md: candidate: Präfix, verified Status, virtual Flag, scope Feld
|
|
- 03_tech_configuration.md: Neue ENV-Variablen dokumentiert
|
|
- 04_admin_operations.md: Troubleshooting für Phase 3 Validierung und Note-Scope Links
|
|
- 05_testing_guide.md: WP-24c Test-Szenarien hinzugefügt
|
|
- 00_quality_checklist.md: WP-24c Features in Checkliste aufgenommen
|
|
- README.md: Version auf v4.5.8 aktualisiert, WP-24c Features verlinkt
|
|
|
|
### Breaking Changes
|
|
- Keine Breaking Changes für Endbenutzer
|
|
- Vollständige Rückwärtskompatibilität
|
|
- Bestehende Notizen funktionieren ohne Änderungen
|
|
|
|
### Migration
|
|
- Keine Migration erforderlich
|
|
- System funktioniert ohne Änderungen
|
|
- Optional: ENV-Variablen können für Custom-Header konfiguriert werden
|
|
|
|
---
|
|
|
|
**Status:** ✅ WP-24c ist zu 100% implementiert und audit-geprüft.
|
|
**Nächster Schritt:** WP-25c (Kontext-Budgeting & Erweiterte Prompt-Optimierung).
|
|
```
|
|
|
|
---
|
|
|
|
## Zusammenfassung
|
|
|
|
Dieser Merge führt die **Phase 3 Agentic Edge Validation** und das **Chunk-Aware Multigraph-System** in MindNet ein. Das System validiert nun automatisch Kanten mit `candidate:` Präfix, erzeugt automatisch Spiegelkanten für explizite Verbindungen und unterstützt Note-Scope Zonen für globale Verbindungen.
|
|
|
|
**Kern-Features:**
|
|
- Phase 3 Agentic Edge Validation (finales Validierungs-Gate)
|
|
- Automatische Spiegelkanten (Invers-Logik)
|
|
- Note-Scope Zonen (globale Verbindungen)
|
|
- Chunk-Aware Multigraph-System (Section-basierte Links)
|
|
|
|
**Technische Integrität:**
|
|
- Alle Kanten durchlaufen Phase 3 Validierung (falls candidate: Präfix)
|
|
- Spiegelkanten werden automatisch erzeugt (Phase 2)
|
|
- Note-Scope Links haben höchste Priorität
|
|
- Kontext-Optimierung für bessere Validierungs-Genauigkeit
|
|
|
|
**Dokumentation:**
|
|
- Vollständige Aktualisierung aller relevanten Dokumente
|
|
- Neue ENV-Variablen dokumentiert
|
|
- Troubleshooting-Guide erweitert
|
|
- Test-Szenarien hinzugefügt
|
|
|
|
**Deployment:**
|
|
- Keine Breaking Changes
|
|
- Optional: ENV-Variablen für Custom-Header konfigurieren
|
|
- System funktioniert ohne Änderungen
|