Compare commits
| Author | SHA1 | Date | |
|---|---|---|---|
|
|
4f171e5245 | ||
|
|
d48b671314 | ||
|
|
b9d73af062 | ||
|
|
21904e62ee | ||
|
|
f9af30b195 | ||
|
|
531e3790b3 | ||
|
|
7745b71832 | ||
|
|
b39663408c | ||
|
|
9c4696e9d5 | ||
|
|
cf5e53f341 | ||
|
|
e512f768ff | ||
|
|
c3ef65d069 | ||
|
|
90f0be6baf | ||
|
|
eba51eba0f | ||
|
|
fbaa07ba88 | ||
|
|
d0ecc5316f | ||
|
|
9ee39277ae | ||
|
|
9d3fd21c88 | ||
|
|
d7217672a3 | ||
|
|
e39b685b1e | ||
|
|
5b9399361d | ||
|
|
7631b93900 | ||
|
|
f98eb8fc16 | ||
|
|
ab60106fb9 | ||
|
|
caab41a760 | ||
|
|
78d8ab11ed | ||
|
|
d49da1b5fe |
No files matched your search
@@ -0,0 +1,27 @@
|
||||
# Architecture Snapshot v2.2.1
|
||||
**Stand:** Nach Abschluss von WP-04c
|
||||
**Kontext:** Wichtig für WP-05 Entwicklung.
|
||||
|
||||
## 1. Neue Komponenten (Seit v2.2.0)
|
||||
|
||||
### A. Feedback Service (`app/services/feedback_service.py`)
|
||||
- **Zweck:** Logging von Trainingsdaten für späteres Self-Tuning (WP-08).
|
||||
- **Storage:** Lokale JSONL-Dateien in `data/logs/` (Append-Only).
|
||||
- `search_history.jsonl`: Query + Snapshot der Ergebnisse (Scores).
|
||||
- `feedback.jsonl`: User-Rating zu spezifischer `node_id`.
|
||||
|
||||
### B. Explanation Layer (`app/core/retriever.py`)
|
||||
- **Logik:** Der Retriever berechnet nicht nur Scores, sondern generiert `Explanation`-Objekte.
|
||||
- **Graph:** `Subgraph` (in `graph_adapter.py`) führt jetzt auch `reverse_adj` (Incoming Edges), um zu erklären, warum ein Knoten wichtig ist ("Referenziert von...").
|
||||
|
||||
### C. DTOs (`app/models/dto.py`)
|
||||
Das Datenmodell wurde massiv erweitert. Wichtige Klassen für WP-05:
|
||||
- `QueryResponse`: Enthält jetzt `query_id` (UUID).
|
||||
- `QueryHit`: Enthält optional `explanation` (Typ `Explanation`).
|
||||
- `FeedbackRequest`: Für den Feedback-Loop.
|
||||
|
||||
## 2. Implikationen für WP-05 (Chat)
|
||||
|
||||
1. **Logging:** Auch der neue `/chat` Endpoint sollte idealerweise die `query_id` loggen oder nutzen, um Konsistenz zu wahren.
|
||||
2. **DTO-Nutzung:** Der Chat-Service wird intern den Retriever aufrufen. Er muss mit den `QueryHit`-Objekten arbeiten, um den Kontext für das LLM zu bauen.
|
||||
3. **Config:** Die Persönlichkeit wird in `config/prompts.yaml` definiert (Late Binding), nicht im Python-Code hardcodiert.
|
||||
@@ -1,7 +1,7 @@
|
||||
# mindnet v2.2 — Programmplan
|
||||
**Version:** 2.2
|
||||
**Stand:** 2025-12-06
|
||||
**Status:** Aktiv (Fortschreibung von v2.1)
|
||||
**Version:** 2.3.0 (Post-WP05 RAG Integration)
|
||||
**Stand:** 2025-12-08
|
||||
**Status:** Aktiv
|
||||
|
||||
---
|
||||
|
||||
@@ -14,7 +14,7 @@ mindnet v2.2 entwickelt ein persönliches, wachsendes KI-Gedächtnis, das:
|
||||
- einen KI-Zwilling aufbaut, der ähnlich argumentiert, entscheidet und reflektiert wie du,
|
||||
- über mehrere Kanäle gefüttert wird:
|
||||
- Obsidian-Markdown (primäre Quelle),
|
||||
- Chat-basierter Agent (mindnet-Assistent),
|
||||
- Chat-basierter Agent (RAG-Chat aktiv),
|
||||
- später: Interview-Assistent (strukturierte Dialogerfassung),
|
||||
- automatisch neue Zusammenhänge erkennt und vernetzt (Edges, Typen, Hinweise),
|
||||
- sich durch Rückmeldungen (Feedback) selbst verbessert (Self-Tuning).
|
||||
@@ -31,7 +31,7 @@ Langfristig soll mindnet als **digitales Gegenüber** funktionieren, das:
|
||||
mindnet ist **kein statisches Wissensarchiv**, sondern ein **lebendes, lernendes Gedächtnismodell** mit Fokus auf:
|
||||
|
||||
- persönliche Perspektive,
|
||||
- erklärbare Begründungspfade,
|
||||
- erklärbare Begründungspfade (Why-Layer),
|
||||
- kontinuierliche Erweiterbarkeit,
|
||||
- robuste technische Basis (lokal, nachvollziehbar, versioniert).
|
||||
|
||||
@@ -44,13 +44,13 @@ mindnet ist **kein statisches Wissensarchiv**, sondern ein **lebendes, lernendes
|
||||
Kernprinzipien der Vision:
|
||||
|
||||
- **Erklärbarkeit:**
|
||||
Jede Antwort muss über Edges, Scores, Werte-Bezüge und Herkunftsnotizen begründbar sein.
|
||||
Jede Antwort muss über Edges, Scores, Werte-Bezüge und Herkunftsnotizen begründbar sein. Das System kann Entscheidungen auf zugrundeliegende `[DECISION]`-Notizen zurückführen.
|
||||
|
||||
- **Wachstum:**
|
||||
Das System arbeitet von Anfang an mit unvollständigen Daten, kann aber schrittweise dichter werden, ohne dass alte Notizen massenhaft manuell angepasst werden müssen.
|
||||
|
||||
- **Flexibilität (Late Binding):**
|
||||
Semantik wird überwiegend in Konfiguration (z. B. `types.yaml`, Policies, Knowledge-Design) festgelegt, nicht in jeder einzelnen Markdown-Datei.
|
||||
Semantik wird überwiegend in Konfiguration (z. B. `types.yaml`, `prompts.yaml`, Policies) festgelegt. Die Persönlichkeit entsteht durch das Prompt-Design, nicht durch Hardcoding.
|
||||
|
||||
- **Autonomie & Self-Healing:**
|
||||
mindnet schlägt fehlende Typen, Relationen und Edges vor (z. B. aus Inline-Relationen, Edge-Defaults, Ähnlichkeitsbeziehungen) und baut damit einen „self-healing graph“ auf.
|
||||
@@ -59,7 +59,7 @@ Kernprinzipien der Vision:
|
||||
Feedback zu Antworten (gut/schlecht, relevant/nicht relevant) fließt in Score-Gewichte, Policies und ggf. Edge-Struktur ein.
|
||||
|
||||
- **Persönlichkeit:**
|
||||
Entscheidungen werden wert- und erfahrungsbasiert begründet; mittelfristig entsteht ein Persönlichkeitsmodell, das den KI-Zwilling trägt.
|
||||
Entscheidungen werden wert- und erfahrungsbasiert begründet; das System agiert als KI-Zwilling durch Nutzung lokaler LLMs (z.B. Phi-3/Mistral).
|
||||
|
||||
- **Incremental Growth:**
|
||||
Das System muss mit wenigen, heterogenen Notizen starten und sich fortlaufend verdichten können – ohne Retro-Massenmigrationen im Vault.
|
||||
@@ -68,29 +68,29 @@ Kernprinzipien der Vision:
|
||||
|
||||
## 3. Programmziele
|
||||
|
||||
### 3.1 Kurzfristig (nächste Monate)
|
||||
### 3.1 Kurzfristig (Abgeschlossen / Laufend)
|
||||
|
||||
- Automatische Sammlung von Wissen aus Markdown-Vault und ersten Chat-Dialogen.
|
||||
- Automatische Sammlung von Wissen aus Markdown-Vault.
|
||||
- Aufbau eines stabilen Graph-Speichers in Qdrant (`*_notes`, `*_chunks`, `*_edges`).
|
||||
- Semantischer und graphbasierter Retriever (WP-04a abgeschlossen, WP-04b/04c in Vorbereitung).
|
||||
- Semantischer und graphbasierter Retriever (WP-04a abgeschlossen).
|
||||
- **Erklärbarkeit:** Why-Layer liefert Begründungen zu Treffern (WP-04b abgeschlossen).
|
||||
- **Feedback-Loop:** Systematisches Logging von Suche und Bewertung (WP-04c abgeschlossen).
|
||||
- **RAG-Chat:** KI antwortet in natürlicher Sprache auf Basis von Wissen und Persönlichkeit (WP-05 abgeschlossen).
|
||||
- Technische Basis: FastAPI, Qdrant, Ollama (Local LLM).
|
||||
- Automatisierte Erkennung von Beziehungen:
|
||||
- Wikilinks, Inline-Relationen, Callout-Edges, Typ-Defaults.
|
||||
- Schrittweises Lernen über Feedback (Score-Tuning, noch „manuell“ konfiguriert). :contentReference[oaicite:8]{index=8}
|
||||
- Schrittweises Lernen über Feedback (Score-Tuning, noch „manuell“ konfiguriert).
|
||||
- „Mitwachsendes“ Schema ohne Obsidian-Umstrukturierungen:
|
||||
- Neues Wissen kann sofort erfasst werden,
|
||||
- bestehende Notizen bleiben gültig (Virtual Schema Layer).
|
||||
- Technische Basis für die späteren Agenten und den KI-Zwilling:
|
||||
- lokaler FastAPI-Dienst,
|
||||
- Qdrant als Graph-Backend,
|
||||
- konfigurierbarer Retriever (`retriever.yaml`).
|
||||
|
||||
### 3.2 Mittelfristig
|
||||
### 3.2 Mittelfristig (Nächste Schritte)
|
||||
|
||||
- Persönlichkeitsprofil wird stabil erkannt und für Antworten genutzt (Typen, Werte-Notizen, Entscheidungsnotizen).
|
||||
- Why-Layer: KI-Assistenz für Entscheidungen mit nachvollziehbarer Argumentation.
|
||||
- **Decision Engine (WP-06):** Das System berät aktiv bei Entscheidungen, indem es `type: value` und `type: principle` Notizen gegen eine Fragestellung abwägt.
|
||||
- **Chat Interface (WP-10):** Ablösung der Terminal-Interaktion durch ein Web-Frontend (Streamlit/React) für bessere UX und einfacheres Feedback-Geben.
|
||||
- Interview-Assistent erstellt neue Notes automatisch (strukturierte Dialoge → Markdown).
|
||||
- mindnet erzeugt Vorschläge für neue Notes & Edges und bietet einen „Vernetzungs-Assistenten“ für manuell angelegte Notizen.
|
||||
- Agenten können über MCP-Tools (`mindnet_query`, `mindnet_subgraph`, `mindnet_store_note`, `mindnet_explain`) auf mindnet zugreifen.
|
||||
- Agenten können über MCP-Tools (`mindnet_query`, `mindnet_chat`) auf mindnet zugreifen.
|
||||
|
||||
### 3.3 Langfristig
|
||||
|
||||
@@ -109,54 +109,53 @@ Kernprinzipien der Vision:
|
||||
Die folgenden Prinzipien steuern alle Workpackages und Entscheidungen:
|
||||
|
||||
1. **Late Binding (späte Semantik)**
|
||||
- Struktur und Interpretation werden in Konfigurationen (z. B. `types.yaml`, Policies, `knowledge_design.md`) definiert, nicht direkt in den Vault-Dateien.
|
||||
- Erlaubt spätere Anpassungen ohne manuelle Massenänderungen.
|
||||
- Struktur und Interpretation werden in Konfigurationen (z. B. `types.yaml`, `prompts.yaml`, Policies) definiert, nicht direkt in den Vault-Dateien.
|
||||
- Die "Persönlichkeit" des Chats ist ein Prompt-Template, kein Code.
|
||||
|
||||
2. **Virtual Schema Layer**
|
||||
- Typen, Regeln, Policies, Edge-Defaults werden im Schema-Layer beschrieben (z. B. `knowledge_design.md`, `mindnet_functional_architecture.md`, `types.yaml`).
|
||||
- Typen, Regeln, Policies, Edge-Defaults werden im Schema-Layer beschrieben.
|
||||
- Markdown-Dateien benötigen nur minimale, robuste Angaben (Titel, Typ, optionale Properties).
|
||||
|
||||
3. **Self-Healing Graph**
|
||||
- Der Graph wird regelmäßig analysiert (Edges, Centrality, fehlende Links).
|
||||
- Automatisierte Jobs ergänzen fehlende Kanten (ähnliche Inhalte, typisierte Standardbeziehungen, Backlinks).
|
||||
- Automatisierte Jobs ergänzen fehlende Kanten.
|
||||
|
||||
4. **Deterministische IDs**
|
||||
- Notes, Chunks und Edges erhalten stabile IDs (z. B. UUIDv5, deterministische `note_id`/`chunk_id`/`edge_id`).
|
||||
- Notes, Chunks und Edges erhalten stabile IDs (z. B. UUIDv5).
|
||||
- Der Graph ist jederzeit wiederaufbaubar (Import-Pipeline idempotent).
|
||||
|
||||
5. **Full Explainability**
|
||||
- Jeder Score, jede Beziehung, jeder Vorschlag muss über:
|
||||
- Edges,
|
||||
- Scoring-Komponenten (Semantik, Typ, Edge-Bonus, Centrality),
|
||||
- Provenienz (Notizen, Chunks, rule_id, confidence) nachvollziehbar sein.
|
||||
5. **Full Explainability & Context Enrichment**
|
||||
- Jeder Score, jede Beziehung muss nachvollziehbar sein.
|
||||
- Dem LLM werden Metadaten (`[DECISION]`, `[PROJECT]`) injiziert, um Halluzinationen zu vermeiden und logische Schlüsse zu ermöglichen.
|
||||
|
||||
6. **Persistence First**
|
||||
- Obsidian bleibt die primäre Quelle der Wahrheit.
|
||||
- mindnet ergänzt, schlägt Änderungen vor, schreibt aber nur kontrolliert (z. B. über Rewriter oder Vernetzungs-Assistent mit Freigabe).
|
||||
- mindnet ergänzt, schlägt Änderungen vor, schreibt aber nur kontrolliert.
|
||||
|
||||
7. **Minimalinvasives Schreiben**
|
||||
- Automatische Veränderungen an Markdown-Dateien erfolgen ausschließlich nach expliziter Zustimmung.
|
||||
- Rewriter und Vernetzungs-Assistent arbeiten grundsätzlich im Vorschlagsmodus.
|
||||
|
||||
8. **Incremental Growth & Early Value**
|
||||
- Das System muss bereits mit wenigen Notizen und einem kleinen Vault sinnvolle Antworten liefern (Retrieval-MVP).
|
||||
- Spätere Erweiterungen (Typen, Policies, zusätzliche Edges) dürfen bestehende Notizen nicht „ungültig“ machen, sondern ergänzen sie.
|
||||
- Feedback-Mechanismen werden früh eingeführt, auch wenn sie anfangs noch nicht vollautomatisch ausgewertet werden.
|
||||
- Das System muss bereits mit wenigen Notizen und einem kleinen Vault sinnvolle Antworten liefern.
|
||||
- Feedback-Mechanismen werden früh eingeführt.
|
||||
|
||||
9. **Observability & Testbarkeit**
|
||||
- Jeder Importlauf, jede Retriever-Anfrage und jede Policy-Änderung soll prüfbar sein (Logs, Traces, Tests, Reports).
|
||||
- Jeder Importlauf, jede Retriever-Anfrage und jede Policy-Änderung soll prüfbar sein.
|
||||
|
||||
10. **Local First & Privacy**
|
||||
- Nutzung lokaler LLMs (Ollama/Phi-3) für Inference. Keine Daten verlassen den Server.
|
||||
|
||||
---
|
||||
|
||||
## 5. Programmstruktur (Phasenmodell)
|
||||
|
||||
Phase A – Fundament & Import
|
||||
Phase B – Semantik, Graph & Lernen
|
||||
Phase C – Persönlichkeitsmodell & KI-Zwilling
|
||||
Phase D – Agenten, MCP & Interaktion
|
||||
Phase A – Fundament & Import (Fertig)
|
||||
Phase B – Semantik, Graph & Lernen (Fertig)
|
||||
Phase C – Persönlichkeitsmodell & KI-Zwilling (Laufend)
|
||||
Phase D – Agenten, MCP & Interaktion (Startend)
|
||||
Phase E – Review, Refactoring, Dokumentation
|
||||
|
||||
Alle Workpackages sind einer Phase zugeordnet; einige Workpackages (z. B. WP-03, WP-04a) sind bereits abgeschlossen und bilden heute die Basis für alle weiteren Schritte.
|
||||
Alle Workpackages sind einer Phase zugeordnet. WP-01 bis WP-05 sind bereits erfolgreich abgeschlossen.
|
||||
|
||||
---
|
||||
|
||||
@@ -167,7 +166,7 @@ Alle Workpackages sind einer Phase zugeordnet; einige Workpackages (z. B. WP-03,
|
||||
- Aufwand: Niedrig / Mittel / Hoch
|
||||
- Komplexität: Niedrig / Mittel / Hoch
|
||||
|
||||
Die Status-Ampel zeigt den aktuellen Stand gemäß Programmfortschritt. :contentReference[oaicite:18]{index=18}
|
||||
Die Status-Ampel zeigt den aktuellen Stand gemäß Programmfortschritt.
|
||||
|
||||
---
|
||||
|
||||
@@ -178,33 +177,12 @@ Die Status-Ampel zeigt den aktuellen Stand gemäß Programmfortschritt. :content
|
||||
|
||||
**Ziel:**
|
||||
Grundlegendes Schema für mindnet festlegen (`knowledge_design.md`), inkl.:
|
||||
- Note-Typen (z. B. `concept`, `experience`, `project`, `decision`, `value`).
|
||||
- Standard-Properties und Grundstruktur von Edges.
|
||||
- Abbildung zentraler Lebens-Bereiche.
|
||||
|
||||
- Note-Typen (z. B. `concept`, `experience`, `project`, `decision`, `value`, `principle`, `person`, `event`, etc.).
|
||||
- Standard-Properties (Titel, Typ, Tags, Status, Zeitstempel, Referenzen, Policies).
|
||||
- Grundstruktur von Edges (z. B. `belongs_to`, `references`, `depends_on`, `similar_to`, `related_to`, `influenced_by`).
|
||||
- Abbildung zentraler Lebens-Bereiche, Rollen und Wissenskategorien.
|
||||
|
||||
**Aufwand / Komplexität:**
|
||||
- Aufwand: Mittel
|
||||
- Komplexität: Mittel
|
||||
|
||||
**Erreichte Ergebnisse / Funktionsumfang:**
|
||||
|
||||
- `knowledge_design.md` in Version 1.5 definiert:
|
||||
- Zielarchitektur,
|
||||
- Collections,
|
||||
- Identitätsmodell,
|
||||
- zentrale Typen und Edges. :contentReference[oaicite:20]{index=20}
|
||||
- Das Dokument beschreibt klar:
|
||||
- wie Wissen fachlich strukturiert wird,
|
||||
- welche Typen und Relationen in mindnet „erwartet“ werden,
|
||||
- wie spätere Erweiterungen (neue Typen, zusätzliche Edge-Arten) ohne Retro-Migration möglich sind.
|
||||
|
||||
**DoD:**
|
||||
|
||||
- Schema ist konsistent beschrieben.
|
||||
- Grundtypen und Edge-Arten sind definiert und im Code konzeptionell verankert (z. B. via `types.yaml`).
|
||||
- Das Dokument dient als Referenz für alle folgenden WPs.
|
||||
**Erreichte Ergebnisse:**
|
||||
- `knowledge_design.md` und `types.yaml` definieren die Zielarchitektur.
|
||||
|
||||
---
|
||||
|
||||
@@ -214,32 +192,11 @@ Grundlegendes Schema für mindnet festlegen (`knowledge_design.md`), inkl.:
|
||||
**Status:** 🟢 abgeschlossen
|
||||
|
||||
**Ziel:**
|
||||
Festlegen und implementieren einer robusten Chunking-Strategie und einer Hash-Logik zur Änderungserkennung.
|
||||
Festlegen und implementieren einer robusten Chunking-Strategie und einer Hash-Logik zur Änderungserkennung.
|
||||
|
||||
**Umfang (fachlich & technisch):**
|
||||
|
||||
- Text in semantisch sinnvolle Chunks teilen (Heading-/Block-aware).
|
||||
- Parallelhaltung von:
|
||||
- `text` (Chunk-Kern ohne Overlap),
|
||||
- `window` (Chunk-Fenster mit Overlap für Embeddings).
|
||||
- Hash-Modi zur Änderungserkennung (Body / Frontmatter / Full, canonical vs. none).
|
||||
- Unterstützung eines „Baseline-Modus“ (mehrere Hash-Signaturen), um spätere Modus-Wechsel zu ermöglichen, ohne alle Notizen als „geändert“ zu sehen.
|
||||
|
||||
**Aufwand / Komplexität:**
|
||||
- Aufwand: Mittel
|
||||
- Komplexität: Mittel/Hoch
|
||||
|
||||
**Erreichte Ergebnisse / Funktionsumfang:**
|
||||
|
||||
- Implementierte Chunker-Logik mit Ziel-Längen, Overlap und Nachbarschaft (`neighbors_prev`, `neighbors_next`).
|
||||
- Tests zur Überprüfung der Rekonstruktion von Notiz-Bodies aus Chunks (`verify_chunks_integrity.py`, `check_chunks_window_vs_text.py`).
|
||||
- Hash-Konfiguration über ENV-Variablen + Option `--baseline-modes`.
|
||||
- Roundtrip-Tests für Vault → Qdrant → Export-Vault (keine ungewollten Veränderungen an Inhalten).
|
||||
|
||||
**DoD:**
|
||||
|
||||
- Chunking stabil, deterministisch, überprüft.
|
||||
- Hash-Strategie ermöglicht sichere Änderungserkennung ohne Mass-Diffs bei Konfigurationswechsel.
|
||||
**Erreichte Ergebnisse:**
|
||||
- Implementierte Chunker-Logik mit Overlap.
|
||||
- Stabile Hash-Strategie zur sicheren Änderungserkennung.
|
||||
|
||||
---
|
||||
|
||||
@@ -249,39 +206,11 @@ Festlegen und implementieren einer robusten Chunking-Strategie und einer Hash-Lo
|
||||
**Status:** 🟢 abgeschlossen
|
||||
|
||||
**Ziel:**
|
||||
Durchgängige Import-Pipeline von Markdown → Notes/Chunks/Edges in Qdrant mit deterministischen IDs, typbasierten Defaults und erklärbarem Edge-Modell.
|
||||
Durchgängige Import-Pipeline von Markdown → Notes/Chunks/Edges in Qdrant mit deterministischen IDs.
|
||||
|
||||
**Umfang:**
|
||||
|
||||
- Parser (robust gegenüber Zeichensatzfehlern, Frontmatter/Body-Erkennung, Sonderfälle wie Silverbullet-Dateien).
|
||||
- Bau von Note-Payloads (`note_payload`):
|
||||
- Typ-Vererbung (`retriever_weight`, `chunk_profile`, `edge_defaults`).
|
||||
- Bau von Chunk-Payloads (`chunk_payload`):
|
||||
- `text`, `window`, Nachbarn, Typ-Information.
|
||||
- Edge-System:
|
||||
- Strukturkanten (`belongs_to`, `next`, `prev`),
|
||||
- explizite Wikilinks (`[[Note]]` → `references`),
|
||||
- Inline-Relationen (`[[rel:depends_on Note]]`),
|
||||
- Callout-Edges (`> [!edge] related_to: [[Note]]`),
|
||||
- typbasierte Standardkanten aus `types.yaml` (`edge_defaults`).
|
||||
- Idempotente Upserts in Qdrant (Notes/Chunks/Edges).
|
||||
|
||||
**Aufwand / Komplexität:**
|
||||
- Aufwand: Hoch
|
||||
- Komplexität: Hoch
|
||||
|
||||
**Erreichte Ergebnisse / Funktionsumfang:**
|
||||
|
||||
- Vollständige E2E-Import-Pipeline incl. Tests (`run_e2e_roundtrip.sh`, `compare_vaults.py`, `validate_edges`, `edges_full_check`).
|
||||
- deterministische ID-Vergabe für Notes/Chunks/Edges.
|
||||
- vollständiges Edge-Modell gemäß Facharchitektur (`mindnet_functional_architecture.md`). :contentReference[oaicite:26]{index=26}
|
||||
- Exporte zurück nach Markdown (Export-Pipeline) ermöglicht Roundtrip-Vergleich.
|
||||
|
||||
**DoD:**
|
||||
|
||||
- Importer generiert stabile Notes/Chunks/Edges für gesamten Vault.
|
||||
- Edge-Invarianten (`belongs_to == #Chunks`, `next/prev` konsistent) erfüllt.
|
||||
- Roundtrip: Exportierte Vault-Version stimmt inhaltlich mit originalem Vault überein (bis auf bewusst ausgeschlossene Dateien).
|
||||
**Erreichte Ergebnisse:**
|
||||
- Vollständige E2E-Import-Pipeline.
|
||||
- Vollständiges Edge-Modell (Strukturkanten, Wikilinks, Inline-Relationen).
|
||||
|
||||
---
|
||||
|
||||
@@ -291,160 +220,97 @@ Durchgängige Import-Pipeline von Markdown → Notes/Chunks/Edges in Qdrant mit
|
||||
**Status:** 🟢 abgeschlossen
|
||||
|
||||
**Ziel:**
|
||||
Aufbau eines hybriden Retrievers, der Semantik (Embeddings), Typwissen (`retriever_weight`) und Graph-Informationen (Edges, Centrality) zu einem erklärbaren Score kombiniert.
|
||||
Aufbau eines hybriden Retrievers, der Semantik, Typwissen und Graph-Informationen kombiniert.
|
||||
|
||||
**Umfang:**
|
||||
|
||||
- Retriever-Modul (`app/core/retriever.py`):
|
||||
- Vektorsuche über `*_chunks`,
|
||||
- Zusammenführung von Chunk-Treffern mit Note-Metadaten,
|
||||
- Aufbau eines Subgraphen (Nachbarn über Edges, Centrality-Berechnung).
|
||||
- Scoring-Formel:
|
||||
semantic_score
|
||||
retriever_weight
|
||||
edge_bonus
|
||||
centrality_bonus
|
||||
- Konfiguration über `config/retriever.yaml` (Gewichte, Parameter). :contentReference[oaicite:28]{index=28}
|
||||
- FastAPI-Endpoint `/query` mit Rückgabe:
|
||||
- Trefferliste,
|
||||
- Teil-Scores,
|
||||
- Begründung (inkl. Edge-Kontext).
|
||||
|
||||
**Aufwand / Komplexität:**
|
||||
- Aufwand: Hoch
|
||||
- Komplexität: Hoch
|
||||
|
||||
**Erreichte Ergebnisse / Funktionsumfang:**
|
||||
|
||||
- Hybrides Scoring-Modell mit konfigurierbaren Gewichten (`semantic_weight`, `edge_weight`, `centrality_weight`).
|
||||
- Nutzung von `retriever_weight` aus `types.yaml` in Score-Berechnung.
|
||||
- Graph-boni aus echten Edges (explizit, Inline, Typ-Defaults, Strukturkanten).
|
||||
- Funktionsfähiger `/query`-Endpoint mit Testcases (inkl. Relations-Showcase-Vault).
|
||||
- Basis für spätere Self-Tuning-Mechanismen (Logging von Scores, Konfiguration in `retriever.yaml`).
|
||||
|
||||
**DoD:**
|
||||
|
||||
- `/query` liefert nachvollziehbare Ergebnisse mit sichtbarem Einfluss von:
|
||||
- Typprioritäten,
|
||||
- Edge-Struktur,
|
||||
- Centrality.
|
||||
- Scoring ist rein konfigurierbar (Konfig-Change → Score-Veränderung ohne Code-Änderung).
|
||||
**Erreichte Ergebnisse:**
|
||||
- Hybrides Scoring-Modell (Semantic + Edge + Centrality).
|
||||
- Konfiguration über `retriever.yaml`.
|
||||
- `/query` Endpoint aktiv.
|
||||
|
||||
---
|
||||
|
||||
### WP-04b – Explanation Layer (geplant)
|
||||
### WP-04b – Explanation Layer ("Why-Layer") (abgeschlossen)
|
||||
|
||||
**Phase:** B
|
||||
**Status:** 🟡 geplant
|
||||
**Status:** 🟢 abgeschlossen
|
||||
|
||||
**Ziel:**
|
||||
Treffererklärungen liefern, die für dich (Mindmaster) und spätere Nutzer verständlich sind (Why-Layer).
|
||||
Treffererklärungen liefern, die verständlich machen, warum ein Ergebnis gewählt wurde.
|
||||
|
||||
**Umfang:**
|
||||
|
||||
- Erklärungsschicht über dem Retriever:
|
||||
- Aufschlüsselung des Scores pro Treffer,
|
||||
- Ketten von Edges (Pfade) als Begründungsgraph,
|
||||
- Markierung relevanter Chunks / Notizen.
|
||||
- Darstellung von:
|
||||
- verwendeten Typen,
|
||||
- Edges und deren `rule_id` / `confidence`,
|
||||
- Centrality-Beiträgen.
|
||||
|
||||
**Aufwand / Komplexität:**
|
||||
- Aufwand: Mittel
|
||||
- Komplexität: Hoch
|
||||
|
||||
**DoD (Zielbild):**
|
||||
|
||||
- API-Endpoint (z. B. `/query/explain`), der eine strukturierte Erklärung in JSON liefert.
|
||||
- Mindestens ein Beispiel, in dem Score-Änderung nachvollziehbar auf Policies/Edges zurückgeführt werden kann.
|
||||
**Erreichte Ergebnisse:**
|
||||
- **DTO-Erweiterung:** `QueryHit` enthält `explanation`, `breakdown` und `reason`.
|
||||
- **Logic:** Graph-Adapter unterstützt `incoming_edges` (Reverse Lookup) für Authority-Erklärungen.
|
||||
- **Output:** `/query` Endpoint liefert auf Wunsch (`explain: true`) menschenlesbare Begründungen ("Verweist auf...").
|
||||
|
||||
---
|
||||
|
||||
### WP-04c – Feedback Logging & Bewertungsdaten (geplant)
|
||||
### WP-04c – Feedback Logging & Bewertungsdaten (abgeschlossen)
|
||||
|
||||
**Phase:** B
|
||||
**Status:** 🟡 geplant
|
||||
**Status:** 🟢 abgeschlossen
|
||||
|
||||
**Ziel:**
|
||||
Grundlage für Self-Tuning schaffen, indem Queries, Antworten und Bewertungen systematisch protokolliert werden.
|
||||
Grundlage für Self-Tuning schaffen durch systematisches Logging.
|
||||
|
||||
**Umfang:**
|
||||
|
||||
- Logging von:
|
||||
- Query-Texten,
|
||||
- verwendeten Policies/Config-Versionen,
|
||||
- Trefferlisten (Scores, Edges),
|
||||
- Feedback (z. B. „hilfreich“, „irrelevant“, „falsch“).
|
||||
- Persistente Speicherung (z. B. in einer separaten Sammlung oder Datei-basiert).
|
||||
- Bereitstellung von Auswertungs-Skripten (Statistiken, Ranking-Qualität).
|
||||
|
||||
**Aufwand / Komplexität:**
|
||||
- Aufwand: Mittel
|
||||
- Komplexität: Mittel/Hoch
|
||||
|
||||
**DoD (Zielbild):**
|
||||
|
||||
- Vollständiger Feedback-Trail für ausgewählte Test-Sessions.
|
||||
- Exportfähige Datenbasis zur späteren Optimierung der Retriever-Parameter.
|
||||
**Erreichte Ergebnisse:**
|
||||
- **Data Flywheel:** Logging von Queries und User-Feedback in lokalen JSONL-Dateien.
|
||||
- **Search Log:** Speichert Query + Score-Snapshot in `data/logs/search_history.jsonl`.
|
||||
- **Feedback Log:** Speichert User-Ratings in `data/logs/feedback.jsonl`.
|
||||
- **Traceability:** Durchgängige `query_id` von Request bis Feedback.
|
||||
|
||||
---
|
||||
|
||||
### WP-05 – Persönlichkeitsmodell (geplant)
|
||||
### WP-05 – Persönlichkeitsmodell & RAG-Chat (abgeschlossen)
|
||||
|
||||
**Phase:** C
|
||||
**Status:** 🟡 geplant
|
||||
**Status:** 🟢 abgeschlossen
|
||||
|
||||
**Ziel:**
|
||||
Aufbau eines expliziten Persönlichkeitsmodells, das Werte, Prinzipien, prägende Erfahrungen und wiederkehrende Entscheidungsstrategien abbildet.
|
||||
Aufbau eines RAG-Systems, das in natürlicher Sprache antwortet und Kontext versteht.
|
||||
|
||||
**Umfang:**
|
||||
|
||||
- Identifikation und Typisierung relevanter Notes:
|
||||
- `value`, `principle`, `life_event`, `milestone`, `decision`.
|
||||
- Aufbau eines Modells, das:
|
||||
- typische Begründungsmuster erkennt,
|
||||
- Wertprioritäten identifiziert,
|
||||
- langfristig in Scoring & Antwort-Formulierung einfließt.
|
||||
**Erreichte Ergebnisse:**
|
||||
- **Infrastruktur:** Integration von Ollama (Phi-3 Mini) in den Service-Layer.
|
||||
- **Router:** `/chat` Endpoint mit "Hybrid Retrieval Enforcement".
|
||||
- **Context Enrichment:** Injection von Metadaten (`[TYPE]`, `[SCORE]`) in den Prompt, damit kleine Modelle (SLMs) komplexe Zusammenhänge ("Warum?") verstehen.
|
||||
- **Config:** `prompts.yaml` steuert System-Prompt und RAG-Template.
|
||||
|
||||
**Aufwand / Komplexität:**
|
||||
- Aufwand: Mittel
|
||||
- Komplexität: Mittel
|
||||
|
||||
**DoD (Zielbild):**
|
||||
---
|
||||
|
||||
- Dokumentiertes Persönlichkeitsmodell (z. B. YAML/Markdown), das konkrete Wert-/Prinzipien-Strukturen beschreibt.
|
||||
- Basis-Integration in den Retriever (z. B. Wert-Bezüge in Explanation-Layer).
|
||||
### WP-05b – Advanced Chat (Optional)
|
||||
|
||||
**Phase:** C
|
||||
**Status:** ⚪ optional
|
||||
|
||||
**Ziel:**
|
||||
Erweiterung des Chats um Gedächtnis (History) und einfache Tools.
|
||||
|
||||
**Umfang:**
|
||||
- Implementierung von `ChatHistory` (vergangene Nachrichten in den Kontext).
|
||||
- Einfache Tool-Nutzung (z.B. "Suche in Web").
|
||||
|
||||
---
|
||||
|
||||
### WP-06 – Decision Engine (geplant)
|
||||
|
||||
**Phase:** C
|
||||
**Status:** 🟡 geplant
|
||||
**Status:** 🟡 geplant (Priorität A)
|
||||
|
||||
**Ziel:**
|
||||
Entscheidungsunterstützung auf Basis von Wissen, Persönlichkeit und Zielen – inklusive nachvollziehbarer Begründung.
|
||||
|
||||
**Umfang:**
|
||||
|
||||
- Identifikation typischer Entscheidungssituationen (z. B. beruflich, familiär, gesundheitlich).
|
||||
- Integration von:
|
||||
- fachlichem Wissen,
|
||||
- Erfahrungen (Vergangenheitsentscheidungen),
|
||||
- Persönlichkeitsmodell.
|
||||
- Ableitung von Entscheidungs-Templates / Heuristiken.
|
||||
- Erweiterung des RAG-Kontexts um gezieltes Nachladen von `type: value` und `type: principle`.
|
||||
- Prompt-Engineering für "Trade-off Analyse" (Pro/Contra basierend auf Werten).
|
||||
- Output-Formatierung als Entscheidungsvorlage.
|
||||
|
||||
**Aufwand / Komplexität:**
|
||||
- Aufwand: Mittel
|
||||
- Komplexität: Hoch
|
||||
|
||||
**DoD (Zielbild):**
|
||||
|
||||
- Prototypischer „Decision-Assistant“, der für definierte Szenarien begründete Empfehlungen gibt.
|
||||
- Erklärungen referenzieren konkrete Notes/Edges.
|
||||
|
||||
---
|
||||
|
||||
### WP-07 – Interview-Assistent (geplant)
|
||||
@@ -456,20 +322,13 @@ Entscheidungsunterstützung auf Basis von Wissen, Persönlichkeit und Zielen –
|
||||
Dialogbasierter Erfassungs-Assistent, der strukturierte Interviews führt und daraus konsistente Markdown-Notizen generiert.
|
||||
|
||||
**Umfang:**
|
||||
|
||||
- Design von Interview-Flows (z. B. für Lebensereignisse, Projekte, Werte-Workshops).
|
||||
- Konvertierung von Dialogtranskripten in typisierte Notes (inkl. Typ, Tags, erste Edges).
|
||||
- Integration mit Vault-Struktur (Ablagepfade, Namenskonventionen).
|
||||
- Design von Interview-Flows.
|
||||
- Konvertierung von Dialogtranskripten in typisierte Notes.
|
||||
|
||||
**Aufwand / Komplexität:**
|
||||
- Aufwand: Niedrig/Mittel
|
||||
- Komplexität: Mittel
|
||||
|
||||
**DoD (Zielbild):**
|
||||
|
||||
- Mindestens ein produktionsnaher Flow (z. B. „Erzähle mir von einem prägenden Ereignis“).
|
||||
- Automatische Erzeugung von Markdown-Notizen, die vom Importer direkt verarbeitet werden können.
|
||||
|
||||
---
|
||||
|
||||
### WP-08 – Self-Tuning v1/v2 (geplant)
|
||||
@@ -478,29 +337,16 @@ Dialogbasierter Erfassungs-Assistent, der strukturierte Interviews führt und da
|
||||
**Status:** 🟡 geplant
|
||||
|
||||
**Ziel:**
|
||||
Aufbau eines Self-Tuning-Mechanismus, der auf Basis von Feedback-Daten Vorschläge für Retriever- und Policy-Anpassungen macht.
|
||||
Aufbau eines Self-Tuning-Mechanismus, der auf Basis von Feedback-Daten (WP-04c) Vorschläge für Retriever- und Policy-Anpassungen macht.
|
||||
|
||||
**Umfang:**
|
||||
|
||||
- Auswertung der Feedback-Daten (WP-04c).
|
||||
- Regel-basierte Anpassungs-Vorschläge:
|
||||
- Gewichte in `retriever.yaml`,
|
||||
- Typ-Prioritäten,
|
||||
- Edge-Provenance-Gewichte.
|
||||
- Optionale halbautomatische Übernahme (Freigabe durch Mindmaster).
|
||||
- Auswertung der JSONL-Feedback-Daten.
|
||||
- Regel-basierte Anpassungs-Vorschläge für `retriever.yaml` und Typ-Prioritäten.
|
||||
|
||||
**Aufwand / Komplexität:**
|
||||
- Aufwand: Hoch
|
||||
- Komplexität: Hoch
|
||||
|
||||
**DoD (Zielbild):**
|
||||
|
||||
- Mindestens ein in der Praxis getesteter Tuning-Zyklus:
|
||||
- Feedback sammeln,
|
||||
- Vorschlag generieren,
|
||||
- Anpassung vornehmen,
|
||||
- Qualitätsgewinn nachweisen.
|
||||
|
||||
---
|
||||
|
||||
### WP-09 – Vault-Onboarding & Migration (geplant)
|
||||
@@ -512,57 +358,32 @@ Aufbau eines Self-Tuning-Mechanismus, der auf Basis von Feedback-Daten Vorschlä
|
||||
Sicherstellen, dass bestehende und neue Obsidian-Vaults schrittweise in mindnet integriert werden können – ohne Massenumbau.
|
||||
|
||||
**Umfang:**
|
||||
|
||||
- Tools/Guides für:
|
||||
- Analyse des Vault-Status (Typen, Edges, Lücken),
|
||||
- Empfehlungen für minimale Anpassungen (z. B. Typ-Setzung, Basis-Tags),
|
||||
- optional automatisierte Ergänzung von Properties (mit Freigabe).
|
||||
- Unterstützung eines „wachsenden Systems“:
|
||||
- erste Notizen liefern sofort Mehrwert im Retriever,
|
||||
- später können Typen und Edges ergänzt werden, ohne alte Notizen zu brechen.
|
||||
- Tools zur Analyse des Vault-Status.
|
||||
- Empfehlungen für minimale Anpassungen.
|
||||
|
||||
**Aufwand / Komplexität:**
|
||||
- Aufwand: Mittel
|
||||
- Komplexität: Niedrig/Mittel
|
||||
|
||||
**DoD (Zielbild):**
|
||||
|
||||
- Dokumentierter Onboarding-Prozess für Produkt-Vault.
|
||||
- Mindestens ein erfolgreicher Durchlauf mit deinem realen Vault (Pilot).
|
||||
|
||||
---
|
||||
|
||||
### WP-10 – Chat-Interface & Writeback (geplant)
|
||||
|
||||
**Phase:** D
|
||||
**Status:** 🟡 geplant
|
||||
**Status:** 🟡 geplant (Priorität B - "Quick Win")
|
||||
|
||||
**Ziel:**
|
||||
Chat-basierter mindnet-Agent, der sowohl Fragen beantwortet als auch neue Notizen erzeugen/aktualisieren kann (Writeback Richtung Vault).
|
||||
Ablösung der Terminal-Interaktion durch ein grafisches Interface.
|
||||
|
||||
**Umfang:**
|
||||
|
||||
- Chat-Frontend (z. B. in deiner bestehenden LLM-Umgebung).
|
||||
- Anbindung an:
|
||||
- `/query` (Retriever),
|
||||
- MCP-Tools (WP-13),
|
||||
- Import-/Export-Routinen.
|
||||
- Funktionen:
|
||||
- Antworten aus mindnet-Wissen,
|
||||
- Vorschlag neuer Notes/Edges,
|
||||
- optionales Schreiben ins Vault (Markdown-Erzeugung, Rewriting nur mit Freigabe).
|
||||
- Technologie: Streamlit oder einfaches HTML/JS Frontend.
|
||||
- Funktionen: Chat-Verlauf, Anzeige der Quellen (mit Scores), Daumen-hoch/runter für WP-04c Feedback.
|
||||
- Funktionen für Q&A sowie Vorschlag neuer Notes/Edges.
|
||||
|
||||
**Aufwand / Komplexität:**
|
||||
- Aufwand: Hoch
|
||||
- Aufwand: Hoch (durch Writeback) / Mittel (für reines Frontend)
|
||||
- Komplexität: Hoch
|
||||
|
||||
**DoD (Zielbild):**
|
||||
|
||||
- Du kannst im Chat:
|
||||
- Fragen an dein Wissensnetz stellen,
|
||||
- neue Gedanken/Erinnerungen erfassen,
|
||||
- Vorschläge für Ablage & Vernetzung als Markdown-Notizen erhalten.
|
||||
|
||||
---
|
||||
|
||||
### WP-11 – Knowledge-Builder & Vernetzungs-Assistent (geplant)
|
||||
@@ -573,30 +394,10 @@ Chat-basierter mindnet-Agent, der sowohl Fragen beantwortet als auch neue Notize
|
||||
**Ziel:**
|
||||
Assistent, der manuell erstellte oder importierte Notizen analysiert und Vorschläge für Typen, Edges und Einordnung macht.
|
||||
|
||||
**Umfang:**
|
||||
|
||||
- Analyse neuer/aktualisierter Notes:
|
||||
- mögliche Typen,
|
||||
- passende Tags,
|
||||
- potenzielle Relationen zu bestehenden Notes.
|
||||
- Vorschläge:
|
||||
- Inline-Relationen,
|
||||
- Wikilinks,
|
||||
- Typ-Zuweisung.
|
||||
- Optional: Generierung konkreter Patch-Vorschläge für Markdown-Dateien (Diff-basiert).
|
||||
|
||||
**Aufwand / Komplexität:**
|
||||
- Aufwand: Hoch
|
||||
- Komplexität: Hoch
|
||||
|
||||
**DoD (Zielbild):**
|
||||
|
||||
- Mindestens ein produktionsnaher Workflow, bei dem ein neuer Eintrag:
|
||||
- erstellt wird,
|
||||
- analysiert wird,
|
||||
- Vernetzungs-Vorschläge liefert,
|
||||
- und nach Freigabe in den Vault zurückgeschrieben wird.
|
||||
|
||||
---
|
||||
|
||||
### WP-12 – Knowledge Rewriter (Soft Mode, geplant)
|
||||
@@ -605,23 +406,12 @@ Assistent, der manuell erstellte oder importierte Notizen analysiert und Vorschl
|
||||
**Status:** 🟡 geplant
|
||||
|
||||
**Ziel:**
|
||||
Optionaler Assistent, der vorhandene Notes „aufräumt“, zusammenfasst oder reorganisiert – ausschließlich mit expliziter Freigabe. :contentReference[oaicite:31]{index=31}
|
||||
|
||||
**Einschränkungen:**
|
||||
|
||||
- Änderungen an Markdown-Dateien nur nach Freigabe.
|
||||
- Kein „silent overwrite“ existierender Inhalte.
|
||||
Optionaler Assistent, der vorhandene Notes „aufräumt“, zusammenfasst oder reorganisiert – ausschließlich mit expliziter Freigabe.
|
||||
|
||||
**Aufwand / Komplexität:**
|
||||
- Aufwand: Niedrig/Mittel
|
||||
- Komplexität: Mittel
|
||||
|
||||
**DoD (Zielbild):**
|
||||
|
||||
- Rewriter generiert Vorschläge (neue Versionen) inklusive Diffs.
|
||||
- Nach Freigabe werden Notes konsistent aktualisiert:
|
||||
- IDs, Edges und Typen bleiben konsistent oder werden sauber mitaktualisiert.
|
||||
|
||||
---
|
||||
|
||||
### WP-13 – MCP-Integration & Agenten-Layer (geplant)
|
||||
@@ -630,27 +420,15 @@ Optionaler Assistent, der vorhandene Notes „aufräumt“, zusammenfasst oder r
|
||||
**Status:** 🟡 geplant
|
||||
|
||||
**Ziel:**
|
||||
mindnet als MCP-Server bereitstellen, damit Agenten/LLMs standardisierte Tools nutzen können (z. B. in deiner n8n- und LLM-Umgebung).
|
||||
mindnet als MCP-Server bereitstellen, damit Agenten/LLMs standardisierte Tools nutzen können.
|
||||
|
||||
**Umfang:**
|
||||
|
||||
- MCP-Server mit Tools wie:
|
||||
- `mindnet_query`,
|
||||
- `mindnet_subgraph`,
|
||||
- `mindnet_store_note`,
|
||||
- `mindnet_explain`.
|
||||
- Sichere Konfiguration (lokal, authentifiziert, logging-fähig).
|
||||
- MCP-Server mit Tools (`mindnet_query`, `mindnet_explain`, etc.).
|
||||
|
||||
**Aufwand / Komplexität:**
|
||||
- Aufwand: Mittel
|
||||
- Komplexität: Mittel
|
||||
|
||||
**DoD (Zielbild):**
|
||||
|
||||
- Lokaler MCP-Server läuft und ist aus einem LLM-Client nutzbar.
|
||||
- Tools liefern konsistente Ergebnisse (aligned mit FastAPI-Endpoints).
|
||||
- Sicherheits- und Loggingkonzept dokumentiert.
|
||||
|
||||
---
|
||||
|
||||
### WP-14 – Review / Refactoring / Dokumentation (geplant)
|
||||
@@ -661,25 +439,10 @@ mindnet als MCP-Server bereitstellen, damit Agenten/LLMs standardisierte Tools n
|
||||
**Ziel:**
|
||||
Aufräumen, dokumentieren, stabilisieren – insbesondere für Onboarding Dritter und Langfrist-Betrieb.
|
||||
|
||||
**Deliverables (Beispiele):**
|
||||
|
||||
- konsolidierte technische Architektur (`mindnet_technical_architecture.md`),
|
||||
- fachliche Architektur (`mindnet_functional_architecture.md`),
|
||||
- Identity-Modell (`identity_model.md`),
|
||||
- API-Spezifikation (`api_spec.md`),
|
||||
- MCP-Integration (`mcp_integration.md`),
|
||||
- aktualisiertes Handbuch (`Handbuch.md`).
|
||||
|
||||
**Aufwand / Komplexität:**
|
||||
- Aufwand: Mittel
|
||||
- Komplexität: Niedrig/Mittel
|
||||
|
||||
**DoD (Zielbild):**
|
||||
|
||||
- Aktueller Stand ist sauber dokumentiert.
|
||||
- Wichtige Designentscheidungen sind nachvollziehbar festgehalten.
|
||||
- Onboarding einer dritten Person (z. B. Entwickler:in) ist mit Dokumentation möglich.
|
||||
|
||||
---
|
||||
|
||||
## 7. Abhängigkeiten (vereinfacht, aktualisiert)
|
||||
@@ -692,11 +455,9 @@ Aufräumen, dokumentieren, stabilisieren – insbesondere für Onboarding Dritte
|
||||
WP03/WP04 → WP13
|
||||
Alles → WP14
|
||||
|
||||
Diese Struktur bleibt gegenüber v2.1 unverändert, ist aber jetzt explizit an den bereits implementierten Stand (WP-03, WP-04a) angepasst.
|
||||
|
||||
---
|
||||
|
||||
## 8. Laufzeit- & Komplexitätsindikatoren (unverändert, ergänzt)
|
||||
## 8. Laufzeit- & Komplexitätsindikatoren (aktualisiert)
|
||||
|
||||
| WP | Aufwand | Komplexität |
|
||||
|-------|----------------|------------------|
|
||||
@@ -711,9 +472,7 @@ Diese Struktur bleibt gegenüber v2.1 unverändert, ist aber jetzt explizit an d
|
||||
| WP11 | Hoch | Hoch |
|
||||
| WP12 | Niedrig/Mittel | Mittel |
|
||||
| WP13 | Mittel | Mittel |
|
||||
| WP14 | Mittel | Niedrig/Mittel | :contentReference[oaicite:35]{index=35}
|
||||
|
||||
Für WP01–WP04a gilt: Aufwand/Komplexität wie in v2.1; Status jetzt explizit „abgeschlossen“ mit beschriebenem Funktionsumfang.
|
||||
| WP14 | Mittel | Niedrig/Mittel |
|
||||
|
||||
---
|
||||
|
||||
@@ -725,9 +484,10 @@ Für WP01–WP04a gilt: Aufwand/Komplexität wie in v2.1; Status jetzt explizit
|
||||
| WP02 | 🟢 |
|
||||
| WP03 | 🟢 |
|
||||
| WP04a | 🟢 |
|
||||
| WP04b | 🟡 |
|
||||
| WP04c | 🟡 |
|
||||
| WP05 | 🟡 |
|
||||
| WP04b | 🟢 |
|
||||
| WP04c | 🟢 |
|
||||
| WP05 | 🟢 |
|
||||
| WP05b | ⚪ |
|
||||
| WP06 | 🟡 |
|
||||
| WP07 | 🟡 |
|
||||
| WP08 | 🟡 |
|
||||
@@ -736,37 +496,31 @@ Für WP01–WP04a gilt: Aufwand/Komplexität wie in v2.1; Status jetzt explizit
|
||||
| WP11 | 🟡 |
|
||||
| WP12 | 🟡 |
|
||||
| WP13 | 🟡 |
|
||||
| WP14 | 🟡 | :contentReference[oaicite:36]{index=36}
|
||||
| WP14 | 🟡 |
|
||||
|
||||
---
|
||||
|
||||
## 10. Governance & Versionierung
|
||||
|
||||
- Versionierung über Gitea (Branches, Tags, Releases).
|
||||
- Jede wesentliche Änderung an Architektur/Schema:
|
||||
- eigener Commit,
|
||||
- kurze Doku (z. B. in `CHANGELOG.md` oder Projekt-Notiz).
|
||||
- Feature-Branch Workflow mit "Sync First" Strategie.
|
||||
- Jede wesentliche Änderung an Architektur/Schema erhält einen eigenen Commit.
|
||||
- Jedes Workpackage erhält ein eigenes Chat-Fenster mit dediziertem Prompt (WP-Hand-Over).
|
||||
- Programmleitung verantwortet:
|
||||
- Konsistenz von Fach- und Technikdokumenten,
|
||||
- Abhängigkeiten und Priorisierung,
|
||||
- Freigabe von Meilensteinen,
|
||||
- Sicherstellung, dass Änderungen mit dem langfristigen Ziel (KI-Zwilling) vereinbar sind.
|
||||
- Programmleitung verantwortet Konsistenz und Priorisierung.
|
||||
- **Modell-Governance:** Das verwendete LLM (z.B. `phi3:mini`) wird in der `.env` und `config.py` festgeschrieben. Updates erfordern Tests gegen die "Why-Layer" Referenzfragen.
|
||||
|
||||
---
|
||||
|
||||
## 11. Executive Summary (unverändert, präzisiert)
|
||||
## 11. Executive Summary
|
||||
|
||||
mindnet v2.2 ist so aufgesetzt, dass:
|
||||
|
||||
- du **schrittweise** Wissen erfassen kannst (Obsidian + Chat + später Interview-Assistent),
|
||||
- die Struktur **mitwächst**, ohne Retro-Massenarbeit im Vault,
|
||||
- ein **hybrider Retriever** qualitativ hochwertige, erklärbare Antworten liefert,
|
||||
- ein **Self-Healing- und Self-Tuning-Mechanismus** vorbereitet ist, der auf Feedback aufsetzt,
|
||||
- ein **Self-Healing- und Self-Tuning-Mechanismus** vorbereitet ist (durch WP-04c Feedback-Daten),
|
||||
- ein **Persönlichkeitsmodell** und eine **Decision Engine** entstehen,
|
||||
- langfristig ein **KI-Zwilling** aufgebaut wird, der deine Werte, Erfahrungen und Denkweise spiegelt,
|
||||
- die technische Architektur (FastAPI, Qdrant, YAML-Policies, MCP-Integration) lokal, nachvollziehbar und erweiterbar bleibt.
|
||||
|
||||
Dieser Programmplan bildet die konsolidierte Grundlage (v2.2) für alle weiteren Arbeiten.
|
||||
Er integriert die bisherigen Ergebnisse (WP-01 bis WP-04a) und die zusätzlichen Anforderungen aus der späteren Planung (Feedback-basiertes Tuning, wachsendes System, Chat-/Interview-Eingabe, Vault-Writeback) in ein einheitliches, versionierbares Dokument.
|
||||
|
||||
Dieser Programmplan bildet die konsolidierte Grundlage (v2.3.0) für alle weiteren Arbeiten.
|
||||
+13
-5
@@ -2,16 +2,15 @@
|
||||
app/config.py — zentrale Konfiguration (ENV → Settings)
|
||||
|
||||
Version:
|
||||
0.2.0 (WP-04: Retriever-Gewichte & Defaults ergänzt; keine Verhaltensänderung für bestehende Nutzung)
|
||||
0.3.1 (WP-05: Switch default to Mistral for CPU inference)
|
||||
Stand:
|
||||
2025-10-06
|
||||
Hinweis:
|
||||
Bestehende Attribute bleiben erhalten; neue WP-04 Felder sind optional.
|
||||
2025-12-08
|
||||
"""
|
||||
|
||||
from __future__ import annotations
|
||||
import os
|
||||
from functools import lru_cache
|
||||
from pathlib import Path
|
||||
|
||||
class Settings:
|
||||
# Qdrant
|
||||
@@ -20,11 +19,20 @@ class Settings:
|
||||
COLLECTION_PREFIX: str = os.getenv("MINDNET_PREFIX", "mindnet")
|
||||
VECTOR_SIZE: int = int(os.getenv("MINDNET_VECTOR_SIZE", "384"))
|
||||
DISTANCE: str = os.getenv("MINDNET_DISTANCE", "Cosine")
|
||||
|
||||
# Embeddings
|
||||
MODEL_NAME: str = os.getenv("MINDNET_MODEL", "sentence-transformers/all-MiniLM-L6-v2")
|
||||
|
||||
# WP-05 LLM / Ollama
|
||||
OLLAMA_URL: str = os.getenv("MINDNET_OLLAMA_URL", "http://127.0.0.1:11434")
|
||||
# ÄNDERUNG: Standard auf 'mistral' gesetzt, da bereits lokal vorhanden
|
||||
LLM_MODEL: str = os.getenv("MINDNET_LLM_MODEL", "phi3:mini")
|
||||
PROMPTS_PATH: str = os.getenv("MINDNET_PROMPTS_PATH", "config/prompts.yaml")
|
||||
|
||||
# API
|
||||
DEBUG: bool = os.getenv("DEBUG", "false").lower() == "true"
|
||||
# WP-04 Retriever Defaults (optional; können per ENV überschrieben werden)
|
||||
|
||||
# WP-04 Retriever Defaults
|
||||
RETRIEVER_W_SEM: float = float(os.getenv("MINDNET_WP04_W_SEM", "0.70"))
|
||||
RETRIEVER_W_EDGE: float = float(os.getenv("MINDNET_WP04_W_EDGE", "0.25"))
|
||||
RETRIEVER_W_CENT: float = float(os.getenv("MINDNET_WP04_W_CENT", "0.05"))
|
||||
|
||||
+62
-140
@@ -1,3 +1,9 @@
|
||||
"""
|
||||
app/core/retriever.py — Hybrider Such-Algorithmus
|
||||
|
||||
Version:
|
||||
0.5.2 (WP-05 Fix: Pass content in QueryHit source)
|
||||
"""
|
||||
from __future__ import annotations
|
||||
|
||||
import os
|
||||
@@ -22,24 +28,18 @@ import app.core.graph_adapter as ga
|
||||
|
||||
try:
|
||||
import yaml # type: ignore[import]
|
||||
except Exception: # pragma: no cover - Fallback, falls PyYAML nicht installiert ist
|
||||
except Exception: # pragma: no cover
|
||||
yaml = None # type: ignore[assignment]
|
||||
|
||||
|
||||
@lru_cache
|
||||
def _get_scoring_weights() -> Tuple[float, float, float]:
|
||||
"""Liefert (semantic_weight, edge_weight, centrality_weight) für den Retriever.
|
||||
|
||||
Priorität:
|
||||
1. Werte aus config/retriever.yaml (falls vorhanden und gültig).
|
||||
2. Fallback auf Settings.RETRIEVER_W_* (ENV-basiert).
|
||||
"""
|
||||
"""Liefert (semantic_weight, edge_weight, centrality_weight) für den Retriever."""
|
||||
settings = get_settings()
|
||||
sem = float(getattr(settings, "RETRIEVER_W_SEM", 1.0))
|
||||
edge = float(getattr(settings, "RETRIEVER_W_EDGE", 0.0))
|
||||
cent = float(getattr(settings, "RETRIEVER_W_CENT", 0.0))
|
||||
|
||||
# YAML-Override, falls konfiguriert
|
||||
config_path = os.getenv("MINDNET_RETRIEVER_CONFIG", "config/retriever.yaml")
|
||||
if yaml is None:
|
||||
return sem, edge, cent
|
||||
@@ -52,22 +52,19 @@ def _get_scoring_weights() -> Tuple[float, float, float]:
|
||||
edge = float(scoring.get("edge_weight", edge))
|
||||
cent = float(scoring.get("centrality_weight", cent))
|
||||
except Exception:
|
||||
# Bei Fehlern in der YAML-Konfiguration defensiv auf Defaults zurückfallen
|
||||
return sem, edge, cent
|
||||
return sem, edge, cent
|
||||
|
||||
|
||||
def _get_client_and_prefix() -> Tuple[Any, str]:
|
||||
"""Liefert (QdrantClient, prefix) basierend auf QdrantConfig.from_env()."""
|
||||
"""Liefert (QdrantClient, prefix)."""
|
||||
cfg = qdr.QdrantConfig.from_env()
|
||||
client = qdr.get_client(cfg)
|
||||
return client, cfg.prefix
|
||||
|
||||
|
||||
def _get_query_vector(req: QueryRequest) -> List[float]:
|
||||
"""
|
||||
Liefert den Query-Vektor aus dem Request.
|
||||
"""
|
||||
"""Liefert den Query-Vektor aus dem Request."""
|
||||
if req.query_vector:
|
||||
return list(req.query_vector)
|
||||
|
||||
@@ -78,9 +75,9 @@ def _get_query_vector(req: QueryRequest) -> List[float]:
|
||||
model_name = settings.MODEL_NAME
|
||||
|
||||
try:
|
||||
return ec.embed_text(req.query, model_name=model_name) # type: ignore[call-arg]
|
||||
return ec.embed_text(req.query, model_name=model_name)
|
||||
except TypeError:
|
||||
return ec.embed_text(req.query) # type: ignore[call-arg]
|
||||
return ec.embed_text(req.query)
|
||||
|
||||
|
||||
def _semantic_hits(
|
||||
@@ -90,7 +87,7 @@ def _semantic_hits(
|
||||
top_k: int,
|
||||
filters: Dict[str, Any] | None = None,
|
||||
) -> List[Tuple[str, float, Dict[str, Any]]]:
|
||||
"""Führt eine semantische Suche über mindnet_chunks aus und liefert Roh-Treffer."""
|
||||
"""Führt eine semantische Suche aus."""
|
||||
flt = filters or None
|
||||
raw_hits = qp.search_chunks_by_vector(client, prefix, vector, top=top_k, filters=flt)
|
||||
results: List[Tuple[str, float, Dict[str, Any]]] = []
|
||||
@@ -105,7 +102,7 @@ def _compute_total_score(
|
||||
edge_bonus: float = 0.0,
|
||||
cent_bonus: float = 0.0,
|
||||
) -> Tuple[float, float, float]:
|
||||
"""Berechnet total_score aus semantic_score, retriever_weight und Graph-Boni."""
|
||||
"""Berechnet total_score."""
|
||||
raw_weight = payload.get("retriever_weight", 1.0)
|
||||
try:
|
||||
weight = float(raw_weight)
|
||||
@@ -129,10 +126,7 @@ def _build_explanation(
|
||||
subgraph: Optional[ga.Subgraph],
|
||||
node_key: Optional[str]
|
||||
) -> Explanation:
|
||||
"""
|
||||
Erstellt ein detailliertes Explanation-Objekt für einen Treffer.
|
||||
Analysiert Scores, Typen und Kanten (Incoming & Outgoing).
|
||||
"""
|
||||
"""Erstellt ein Explanation-Objekt."""
|
||||
sem_w, edge_w, cent_w = _get_scoring_weights()
|
||||
|
||||
try:
|
||||
@@ -155,100 +149,49 @@ def _build_explanation(
|
||||
reasons: List[Reason] = []
|
||||
edges_dto: List[EdgeDTO] = []
|
||||
|
||||
# 1. Semantische Gründe
|
||||
if semantic_score > 0.85:
|
||||
reasons.append(Reason(
|
||||
kind="semantic",
|
||||
message="Sehr hohe textuelle Übereinstimmung.",
|
||||
score_impact=breakdown.semantic_contribution
|
||||
))
|
||||
reasons.append(Reason(kind="semantic", message="Sehr hohe textuelle Übereinstimmung.", score_impact=breakdown.semantic_contribution))
|
||||
elif semantic_score > 0.70:
|
||||
reasons.append(Reason(
|
||||
kind="semantic",
|
||||
message="Gute textuelle Übereinstimmung.",
|
||||
score_impact=breakdown.semantic_contribution
|
||||
))
|
||||
reasons.append(Reason(kind="semantic", message="Gute textuelle Übereinstimmung.", score_impact=breakdown.semantic_contribution))
|
||||
|
||||
# 2. Typ-Gründe
|
||||
if type_weight != 1.0:
|
||||
msg = "Bevorzugt" if type_weight > 1.0 else "Leicht abgewertet"
|
||||
reasons.append(Reason(
|
||||
kind="type",
|
||||
message=f"{msg} aufgrund des Typs '{note_type}' (Gewicht: {type_weight}).",
|
||||
score_impact=(sem_w * semantic_score * (type_weight - 1.0))
|
||||
))
|
||||
reasons.append(Reason(kind="type", message=f"{msg} aufgrund des Typs '{note_type}'.", score_impact=(sem_w * semantic_score * (type_weight - 1.0))))
|
||||
|
||||
# 3. Graph-Gründe (Edges)
|
||||
if subgraph and node_key and edge_bonus > 0:
|
||||
# Wir sammeln die stärksten Kanten (egal ob rein oder raus),
|
||||
# die zum Score beitragen.
|
||||
|
||||
# A) Outgoing (Ich verweise auf...) - Das ist oft der Hub-Score
|
||||
if hasattr(subgraph, "get_outgoing_edges"):
|
||||
outgoing = subgraph.get_outgoing_edges(node_key)
|
||||
for edge in outgoing:
|
||||
target = edge.get("target", "Unknown")
|
||||
kind = edge.get("kind", "edge")
|
||||
weight = edge.get("weight", 0.0)
|
||||
|
||||
# Nur relevante Kanten aufnehmen
|
||||
if weight > 0.05:
|
||||
edges_dto.append(EdgeDTO(
|
||||
id=f"{node_key}->{target}:{kind}",
|
||||
kind=kind, source=node_key, target=target, weight=weight, direction="out"
|
||||
))
|
||||
edges_dto.append(EdgeDTO(id=f"{node_key}->{target}:{kind}", kind=kind, source=node_key, target=target, weight=weight, direction="out"))
|
||||
|
||||
# B) Incoming (Ich werde verwiesen von...)
|
||||
if hasattr(subgraph, "get_incoming_edges"):
|
||||
incoming = subgraph.get_incoming_edges(node_key)
|
||||
for edge in incoming:
|
||||
src = edge.get("source", "Unknown")
|
||||
kind = edge.get("kind", "edge")
|
||||
weight = edge.get("weight", 0.0)
|
||||
|
||||
if weight > 0.05:
|
||||
edges_dto.append(EdgeDTO(
|
||||
id=f"{src}->{node_key}:{kind}",
|
||||
kind=kind, source=src, target=node_key, weight=weight, direction="in"
|
||||
))
|
||||
edges_dto.append(EdgeDTO(id=f"{src}->{node_key}:{kind}", kind=kind, source=src, target=node_key, weight=weight, direction="in"))
|
||||
|
||||
# Sortieren nach Gewicht und Top-3 als Reasons generieren
|
||||
all_edges = sorted(edges_dto, key=lambda e: e.weight, reverse=True)
|
||||
|
||||
for top_edge in all_edges[:3]:
|
||||
# Impact schätzen (grob, da Edge-Bonus eine Summe ist)
|
||||
impact = edge_w * top_edge.weight
|
||||
dir_txt = "Verweist auf" if top_edge.direction == "out" else "Referenziert von"
|
||||
tgt_txt = top_edge.target if top_edge.direction == "out" else top_edge.source
|
||||
reasons.append(Reason(kind="edge", message=f"{dir_txt} '{tgt_txt}' via '{top_edge.kind}'", score_impact=impact, details={"kind": top_edge.kind}))
|
||||
|
||||
if top_edge.direction == "out":
|
||||
msg = f"Verweist auf '{top_edge.target}' via '{top_edge.kind}'"
|
||||
else:
|
||||
msg = f"Referenziert von '{top_edge.source}' via '{top_edge.kind}'"
|
||||
|
||||
reasons.append(Reason(
|
||||
kind="edge",
|
||||
message=msg,
|
||||
score_impact=impact,
|
||||
details={"kind": top_edge.kind, "weight": top_edge.weight}
|
||||
))
|
||||
|
||||
# 4. Centrality
|
||||
if cent_bonus > 0.01:
|
||||
reasons.append(Reason(
|
||||
kind="centrality",
|
||||
message="Knoten liegt zentral im Kontext.",
|
||||
score_impact=breakdown.centrality_contribution
|
||||
))
|
||||
reasons.append(Reason(kind="centrality", message="Knoten liegt zentral im Kontext.", score_impact=breakdown.centrality_contribution))
|
||||
|
||||
return Explanation(
|
||||
breakdown=breakdown,
|
||||
reasons=reasons,
|
||||
related_edges=edges_dto if edges_dto else None
|
||||
)
|
||||
# --- End Explanation Logic ---
|
||||
return Explanation(breakdown=breakdown, reasons=reasons, related_edges=edges_dto if edges_dto else None)
|
||||
|
||||
|
||||
def _extract_expand_options(req: QueryRequest) -> Tuple[int, List[str] | None]:
|
||||
"""Extrahiert depth und edge_types aus req.expand."""
|
||||
"""Extrahiert depth und edge_types."""
|
||||
expand = getattr(req, "expand", None)
|
||||
if not expand:
|
||||
return 0, None
|
||||
@@ -278,14 +221,10 @@ def _build_hits_from_semantic(
|
||||
top_k: int,
|
||||
used_mode: str,
|
||||
subgraph: ga.Subgraph | None = None,
|
||||
explain: bool = False, # WP-04b
|
||||
explain: bool = False,
|
||||
) -> QueryResponse:
|
||||
"""Baut aus Raw-Hits und optionalem Subgraph strukturierte QueryHits.
|
||||
|
||||
WP-04b: Wenn explain=True, wird _build_explanation aufgerufen.
|
||||
"""
|
||||
"""Baut strukturierte QueryHits."""
|
||||
t0 = time.time()
|
||||
|
||||
enriched: List[Tuple[str, float, Dict[str, Any], float, float, float]] = []
|
||||
|
||||
for pid, semantic_score, payload in hits:
|
||||
@@ -303,26 +242,14 @@ def _build_hits_from_semantic(
|
||||
except Exception:
|
||||
cent_bonus = 0.0
|
||||
|
||||
total, edge_bonus, cent_bonus = _compute_total_score(
|
||||
semantic_score,
|
||||
payload,
|
||||
edge_bonus=edge_bonus,
|
||||
cent_bonus=cent_bonus,
|
||||
)
|
||||
total, edge_bonus, cent_bonus = _compute_total_score(semantic_score, payload, edge_bonus=edge_bonus, cent_bonus=cent_bonus)
|
||||
enriched.append((pid, float(semantic_score), payload, total, edge_bonus, cent_bonus))
|
||||
|
||||
# Sortierung nach total_score absteigend
|
||||
enriched_sorted = sorted(enriched, key=lambda h: h[3], reverse=True)
|
||||
limited = enriched_sorted[: max(1, top_k)]
|
||||
|
||||
results: List[QueryHit] = []
|
||||
for pid, semantic_score, payload, total, edge_bonus, cent_bonus in limited:
|
||||
note_id = payload.get("note_id")
|
||||
path = payload.get("path")
|
||||
section = payload.get("section") or payload.get("section_title")
|
||||
node_key = payload.get("chunk_id") or payload.get("note_id")
|
||||
|
||||
# WP-04b: Explanation bauen?
|
||||
explanation_obj = None
|
||||
if explain:
|
||||
explanation_obj = _build_explanation(
|
||||
@@ -331,59 +258,51 @@ def _build_hits_from_semantic(
|
||||
edge_bonus=edge_bonus,
|
||||
cent_bonus=cent_bonus,
|
||||
subgraph=subgraph,
|
||||
node_key=node_key
|
||||
node_key=payload.get("chunk_id") or payload.get("note_id")
|
||||
)
|
||||
|
||||
results.append(
|
||||
QueryHit(
|
||||
node_id=str(pid),
|
||||
note_id=note_id,
|
||||
semantic_score=float(semantic_score),
|
||||
edge_bonus=edge_bonus,
|
||||
centrality_bonus=cent_bonus,
|
||||
total_score=total,
|
||||
paths=None,
|
||||
source={
|
||||
"path": path,
|
||||
"section": section,
|
||||
},
|
||||
explanation=explanation_obj
|
||||
)
|
||||
)
|
||||
# FIX: Hier holen wir jetzt den Textinhalt (text, content oder page_content) aus dem Payload
|
||||
text_content = payload.get("page_content") or payload.get("text") or payload.get("content")
|
||||
|
||||
results.append(QueryHit(
|
||||
node_id=str(pid),
|
||||
note_id=payload.get("note_id"),
|
||||
semantic_score=float(semantic_score),
|
||||
edge_bonus=edge_bonus,
|
||||
centrality_bonus=cent_bonus,
|
||||
total_score=total,
|
||||
paths=None,
|
||||
source={
|
||||
"path": payload.get("path"),
|
||||
"section": payload.get("section") or payload.get("section_title"),
|
||||
"text": text_content # WICHTIG: Inhalt durchreichen
|
||||
},
|
||||
explanation=explanation_obj
|
||||
))
|
||||
|
||||
dt = int((time.time() - t0) * 1000)
|
||||
return QueryResponse(results=results, used_mode=used_mode, latency_ms=dt)
|
||||
|
||||
|
||||
def semantic_retrieve(req: QueryRequest) -> QueryResponse:
|
||||
"""Reiner semantischer Retriever (ohne Edge-Expansion)."""
|
||||
"""Reiner semantischer Retriever."""
|
||||
client, prefix = _get_client_and_prefix()
|
||||
vector = _get_query_vector(req)
|
||||
top_k = req.top_k or get_settings().RETRIEVER_TOP_K
|
||||
|
||||
hits = _semantic_hits(client, prefix, vector, top_k=top_k, filters=req.filters)
|
||||
|
||||
# explain Flag durchreichen
|
||||
return _build_hits_from_semantic(
|
||||
hits,
|
||||
top_k=top_k,
|
||||
used_mode="semantic",
|
||||
subgraph=None,
|
||||
explain=req.explain
|
||||
)
|
||||
return _build_hits_from_semantic(hits, top_k=top_k, used_mode="semantic", subgraph=None, explain=req.explain)
|
||||
|
||||
|
||||
def hybrid_retrieve(req: QueryRequest) -> QueryResponse:
|
||||
"""Hybrid-Retriever: semantische Suche + optionale Edge-Expansion."""
|
||||
client, prefix = _get_client_and_prefix()
|
||||
|
||||
if req.query_vector:
|
||||
vector = list(req.query_vector)
|
||||
else:
|
||||
vector = _get_query_vector(req)
|
||||
|
||||
top_k = req.top_k or get_settings().RETRIEVER_TOP_K
|
||||
|
||||
hits = _semantic_hits(client, prefix, vector, top_k=top_k, filters=req.filters)
|
||||
|
||||
depth, edge_types = _extract_expand_options(req)
|
||||
@@ -394,18 +313,21 @@ def hybrid_retrieve(req: QueryRequest) -> QueryResponse:
|
||||
key = payload.get("chunk_id") or payload.get("note_id")
|
||||
if key and key not in seed_ids:
|
||||
seed_ids.append(key)
|
||||
|
||||
if seed_ids:
|
||||
try:
|
||||
subgraph = ga.expand(client, prefix, seed_ids, depth=depth, edge_types=edge_types)
|
||||
except Exception:
|
||||
subgraph = None
|
||||
|
||||
# explain Flag durchreichen
|
||||
return _build_hits_from_semantic(
|
||||
hits,
|
||||
top_k=top_k,
|
||||
used_mode="hybrid",
|
||||
subgraph=subgraph,
|
||||
explain=req.explain
|
||||
)
|
||||
return _build_hits_from_semantic(hits, top_k=top_k, used_mode="hybrid", subgraph=subgraph, explain=req.explain)
|
||||
|
||||
|
||||
class Retriever:
|
||||
"""
|
||||
Wrapper-Klasse für WP-05 (Chat).
|
||||
"""
|
||||
def __init__(self):
|
||||
pass
|
||||
|
||||
async def search(self, request: QueryRequest) -> QueryResponse:
|
||||
return hybrid_retrieve(request)
|
||||
+11
-8
@@ -1,40 +1,43 @@
|
||||
"""
|
||||
app/main.py — mindnet API bootstrap (WP-04 Hooks)
|
||||
Version: 0.4.2 • Stand: 2025-10-07
|
||||
app/main.py — mindnet API bootstrap
|
||||
"""
|
||||
|
||||
from __future__ import annotations
|
||||
from fastapi import FastAPI
|
||||
from .config import get_settings
|
||||
from .routers.embed_router import router as embed_router
|
||||
from .routers.qdrant_router import router as qdrant_router
|
||||
|
||||
# WP-04 Router:
|
||||
from .routers.query import router as query_router
|
||||
from .routers.graph import router as graph_router
|
||||
from .routers.tools import router as tools_router
|
||||
# Optional:
|
||||
from .routers.feedback import router as feedback_router
|
||||
# NEU: Chat Router (WP-05)
|
||||
from .routers.chat import router as chat_router
|
||||
|
||||
try:
|
||||
from .routers.admin import router as admin_router
|
||||
except Exception:
|
||||
admin_router = None
|
||||
|
||||
def create_app() -> FastAPI:
|
||||
app = FastAPI(title="mindnet API", version="0.1.0")
|
||||
app = FastAPI(title="mindnet API", version="0.5.0") # Version bump WP-05
|
||||
s = get_settings()
|
||||
|
||||
@app.get("/healthz")
|
||||
def healthz():
|
||||
return {"status": "ok", "qdrant": s.QDRANT_URL, "prefix": s.COLLECTION_PREFIX}
|
||||
|
||||
# Bestehende Router (unverändert)
|
||||
app.include_router(embed_router)
|
||||
app.include_router(qdrant_router)
|
||||
|
||||
# WP-04 Endpunkte
|
||||
app.include_router(query_router, prefix="/query", tags=["query"])
|
||||
app.include_router(graph_router, prefix="/graph", tags=["graph"])
|
||||
app.include_router(tools_router, prefix="/tools", tags=["tools"])
|
||||
app.include_router(feedback_router, prefix="/feedback", tags=["feedback"])
|
||||
|
||||
# NEU: Chat Endpoint
|
||||
app.include_router(chat_router, prefix="/chat", tags=["chat"])
|
||||
|
||||
if admin_router:
|
||||
app.include_router(admin_router, prefix="/admin", tags=["admin"])
|
||||
|
||||
|
||||
+54
-48
@@ -1,31 +1,26 @@
|
||||
"""
|
||||
app/models/dto.py — Pydantic-Modelle (DTOs) für WP-04 Endpunkte
|
||||
app/models/dto.py — Pydantic-Modelle (DTOs) für WP-04/WP-05 Endpunkte
|
||||
|
||||
Zweck:
|
||||
Laufzeit-Modelle für FastAPI (Requests/Responses), getrennt von JSON-Schemas.
|
||||
Deckt die Graph-/Retriever-Endpunkte ab.
|
||||
Enthält Erweiterungen für WP-04b (Explanation Layer).
|
||||
Laufzeit-Modelle für FastAPI (Requests/Responses).
|
||||
WP-05 Update: Chat-Modelle.
|
||||
|
||||
Kompatibilität:
|
||||
Python 3.12+, Pydantic 2.x, FastAPI 0.110+
|
||||
Version:
|
||||
0.2.0 (Update für WP-04b Explanation Layer)
|
||||
0.4.0 (Update für WP-05 Chat)
|
||||
Stand:
|
||||
2025-12-07
|
||||
Bezug:
|
||||
- schemas/*.json (Speicherschema für Notes/Chunks/Edges)
|
||||
- WP-04 API-Design (Query- und Graph-Endpunkte)
|
||||
Nutzung:
|
||||
from app.models.dto import QueryRequest, QueryResponse, GraphResponse
|
||||
2025-12-08
|
||||
"""
|
||||
|
||||
from __future__ import annotations
|
||||
from pydantic import BaseModel, Field
|
||||
from typing import List, Literal, Optional, Dict, Any
|
||||
import uuid
|
||||
|
||||
EdgeKind = Literal["references", "references_at", "backlink", "next", "prev", "belongs_to", "depends_on", "related_to", "similar_to"]
|
||||
|
||||
|
||||
# --- Basis-DTOs ---
|
||||
|
||||
class NodeDTO(BaseModel):
|
||||
"""Darstellung eines Knotens (Note oder Chunk) im API-Graph."""
|
||||
id: str
|
||||
@@ -44,20 +39,18 @@ class NodeDTO(BaseModel):
|
||||
class EdgeDTO(BaseModel):
|
||||
"""Darstellung einer Kante im API-Graph."""
|
||||
id: str
|
||||
kind: str # String statt Literal, um flexibel für Custom-Types zu bleiben
|
||||
kind: str
|
||||
source: str
|
||||
target: str
|
||||
weight: float
|
||||
direction: Literal["out", "in", "undirected"] = "out"
|
||||
|
||||
|
||||
# --- Request Models ---
|
||||
|
||||
class QueryRequest(BaseModel):
|
||||
"""
|
||||
Request für /query:
|
||||
- mode: 'semantic' | 'edge' | 'hybrid'
|
||||
- query: (optional) Freitext; Embedding wird später angebunden
|
||||
- query_vector: (optional) direkter Vektor (384d) für Quick-Tests ohne Embedding
|
||||
- explain: (optional) Fordert detaillierte Erklärungen an (WP-04b)
|
||||
Request für /query.
|
||||
"""
|
||||
mode: Literal["semantic", "edge", "hybrid"] = "hybrid"
|
||||
query: Optional[str] = None
|
||||
@@ -65,35 +58,46 @@ class QueryRequest(BaseModel):
|
||||
top_k: int = 10
|
||||
expand: Dict = {"depth": 1, "edge_types": ["references", "belongs_to", "prev", "next", "depends_on", "related_to"]}
|
||||
filters: Optional[Dict] = None
|
||||
# Flags zur Steuerung der Rückgabe
|
||||
ret: Dict = {"with_paths": True, "with_notes": True, "with_chunks": True}
|
||||
# WP-04b: Soll eine Erklärung generiert werden?
|
||||
explain: bool = False
|
||||
|
||||
|
||||
class FeedbackRequest(BaseModel):
|
||||
"""
|
||||
User-Feedback zu einem spezifischen Treffer.
|
||||
"""
|
||||
query_id: str = Field(..., description="ID der ursprünglichen Suche")
|
||||
node_id: str = Field(..., description="ID des bewerteten Treffers")
|
||||
score: int = Field(..., ge=0, le=1, description="1 (Positiv) oder 0 (Negativ/Irrelevant)")
|
||||
comment: Optional[str] = None
|
||||
|
||||
|
||||
class ChatRequest(BaseModel):
|
||||
"""
|
||||
WP-05: Request für /chat.
|
||||
"""
|
||||
message: str = Field(..., description="Die Nachricht des Users")
|
||||
conversation_id: Optional[str] = Field(None, description="Optional: ID für Chat-Verlauf (noch nicht implementiert)")
|
||||
# RAG Parameter (Override defaults)
|
||||
top_k: int = 5
|
||||
explain: bool = False
|
||||
|
||||
|
||||
# --- WP-04b Explanation Models ---
|
||||
|
||||
class ScoreBreakdown(BaseModel):
|
||||
"""
|
||||
Aufschlüsselung der Score-Komponenten.
|
||||
Zeigt die gewichteten Beiträge zum Total Score.
|
||||
"""
|
||||
semantic_contribution: float = Field(..., description="W_sem * semantic_score * weight")
|
||||
edge_contribution: float = Field(..., description="W_edge * edge_bonus")
|
||||
centrality_contribution: float = Field(..., description="W_cent * centrality_bonus")
|
||||
|
||||
# Rohwerte für Transparenz
|
||||
"""Aufschlüsselung der Score-Komponenten."""
|
||||
semantic_contribution: float
|
||||
edge_contribution: float
|
||||
centrality_contribution: float
|
||||
raw_semantic: float
|
||||
raw_edge_bonus: float
|
||||
raw_centrality: float
|
||||
node_weight: float = Field(..., description="Typ-Gewicht (retriever_weight)")
|
||||
node_weight: float
|
||||
|
||||
|
||||
class Reason(BaseModel):
|
||||
"""
|
||||
Ein semantischer Grund für das Ranking.
|
||||
z.B. 'Verlinkt von Projekt X', 'Hohe Textähnlichkeit'.
|
||||
"""
|
||||
"""Ein semantischer Grund für das Ranking."""
|
||||
kind: Literal["semantic", "edge", "type", "centrality"]
|
||||
message: str
|
||||
score_impact: Optional[float] = None
|
||||
@@ -101,46 +105,48 @@ class Reason(BaseModel):
|
||||
|
||||
|
||||
class Explanation(BaseModel):
|
||||
"""
|
||||
Container für alle Erklärungsdaten eines Treffers.
|
||||
"""
|
||||
"""Container für alle Erklärungsdaten eines Treffers."""
|
||||
breakdown: ScoreBreakdown
|
||||
reasons: List[Reason]
|
||||
# Optional: Pfade im Graphen, die zu diesem Treffer geführt haben
|
||||
related_edges: Optional[List[EdgeDTO]] = None
|
||||
|
||||
|
||||
# --- End Explanation Models ---
|
||||
|
||||
# --- Response Models ---
|
||||
|
||||
class QueryHit(BaseModel):
|
||||
"""Einzelnes Trefferobjekt für /query."""
|
||||
node_id: str
|
||||
note_id: Optional[str]
|
||||
|
||||
# Flache Scores (Kompatibilität WP-04a)
|
||||
semantic_score: float
|
||||
edge_bonus: float
|
||||
centrality_bonus: float
|
||||
total_score: float
|
||||
|
||||
paths: Optional[List[List[Dict]]] = None
|
||||
source: Optional[Dict] = None
|
||||
|
||||
# WP-04b: Erklärungsobjekt (nur gefüllt, wenn explain=True)
|
||||
explanation: Optional[Explanation] = None
|
||||
|
||||
|
||||
class QueryResponse(BaseModel):
|
||||
"""Antwortstruktur für /query (Liste von Treffern + Telemetrie)."""
|
||||
"""Antwortstruktur für /query."""
|
||||
query_id: str = Field(default_factory=lambda: str(uuid.uuid4()))
|
||||
results: List[QueryHit]
|
||||
used_mode: str
|
||||
latency_ms: int
|
||||
|
||||
|
||||
class GraphResponse(BaseModel):
|
||||
"""Antwortstruktur für /graph/{note_id} (Nachbarschaft)."""
|
||||
"""Antwortstruktur für /graph/{note_id}."""
|
||||
center_note_id: str
|
||||
nodes: List[NodeDTO]
|
||||
edges: List[EdgeDTO]
|
||||
stats: Dict[str, int]
|
||||
|
||||
|
||||
class ChatResponse(BaseModel):
|
||||
"""
|
||||
WP-05: Antwortstruktur für /chat.
|
||||
"""
|
||||
query_id: str = Field(..., description="Traceability ID (dieselbe wie für Search)")
|
||||
answer: str = Field(..., description="Generierte Antwort vom LLM")
|
||||
sources: List[QueryHit] = Field(..., description="Die für die Antwort genutzten Quellen")
|
||||
latency_ms: int
|
||||
@@ -0,0 +1,114 @@
|
||||
"""
|
||||
app/routers/chat.py — RAG Endpunkt (WP-05 Final Audit Version)
|
||||
|
||||
Zweck:
|
||||
Verbindet Retrieval mit LLM-Generation.
|
||||
Enriched Context: Fügt Typen und Metadaten in den Prompt ein,
|
||||
damit das LLM komplexe Zusammenhänge (z.B. Decisions) versteht.
|
||||
"""
|
||||
|
||||
from fastapi import APIRouter, HTTPException, Depends
|
||||
from typing import List
|
||||
import time
|
||||
import uuid
|
||||
import logging
|
||||
|
||||
from app.models.dto import ChatRequest, ChatResponse, QueryRequest, QueryHit
|
||||
from app.services.llm_service import LLMService
|
||||
from app.core.retriever import Retriever
|
||||
|
||||
router = APIRouter()
|
||||
logger = logging.getLogger(__name__)
|
||||
|
||||
def get_llm_service():
|
||||
return LLMService()
|
||||
|
||||
def get_retriever():
|
||||
return Retriever()
|
||||
|
||||
def _build_enriched_context(hits: List[QueryHit]) -> str:
|
||||
"""
|
||||
Baut einen 'Rich Context' String.
|
||||
Statt nur Text, injizieren wir Metadaten (Typ, Tags), damit das LLM
|
||||
die semantische Rolle des Schnipsels versteht.
|
||||
"""
|
||||
context_parts = []
|
||||
|
||||
for i, hit in enumerate(hits, 1):
|
||||
source = hit.source or {}
|
||||
|
||||
# 1. Content extrahieren (Robust: prüft alle üblichen Felder)
|
||||
content = (
|
||||
source.get("text") or
|
||||
source.get("content") or
|
||||
source.get("page_content") or
|
||||
source.get("chunk_text") or
|
||||
"[Kein Textinhalt verfügbar]"
|
||||
)
|
||||
|
||||
# 2. Metadaten für "Context Intelligence"
|
||||
title = hit.note_id or "Unbekannte Notiz"
|
||||
# Typ in Großbuchstaben (z.B. "DECISION"), damit das LLM es als Signal erkennt
|
||||
note_type = source.get("type", "unknown").upper()
|
||||
|
||||
# 3. Formatierung als strukturiertes Dokument für das LLM
|
||||
entry = (
|
||||
f"### QUELLE {i}: {title}\n"
|
||||
f"TYP: [{note_type}] (Score: {hit.total_score:.2f})\n"
|
||||
f"INHALT:\n{content}\n"
|
||||
)
|
||||
context_parts.append(entry)
|
||||
|
||||
return "\n\n".join(context_parts)
|
||||
|
||||
@router.post("/", response_model=ChatResponse)
|
||||
async def chat_endpoint(
|
||||
request: ChatRequest,
|
||||
llm: LLMService = Depends(get_llm_service),
|
||||
retriever: Retriever = Depends(get_retriever)
|
||||
):
|
||||
start_time = time.time()
|
||||
query_id = str(uuid.uuid4())
|
||||
|
||||
logger.info(f"Chat request [{query_id}]: {request.message[:50]}...")
|
||||
|
||||
try:
|
||||
# 1. Retrieval (Hybrid erzwingen für Graph-Nutzung)
|
||||
query_req = QueryRequest(
|
||||
query=request.message,
|
||||
mode="hybrid", # WICHTIG: Hybrid Mode für Graph-Nachbarn
|
||||
top_k=request.top_k,
|
||||
explain=request.explain
|
||||
)
|
||||
|
||||
retrieve_result = await retriever.search(query_req)
|
||||
hits = retrieve_result.results
|
||||
|
||||
# 2. Context Building (Enriched)
|
||||
if not hits:
|
||||
logger.info(f"[{query_id}] No hits found.")
|
||||
context_str = "Keine relevanten Notizen gefunden."
|
||||
else:
|
||||
context_str = _build_enriched_context(hits)
|
||||
|
||||
# 3. Generation
|
||||
logger.info(f"[{query_id}] Context built with {len(hits)} chunks. Sending to LLM...")
|
||||
answer_text = await llm.generate_rag_response(
|
||||
query=request.message,
|
||||
context_str=context_str
|
||||
)
|
||||
|
||||
# 4. Response
|
||||
duration_ms = int((time.time() - start_time) * 1000)
|
||||
logger.info(f"[{query_id}] Completed in {duration_ms}ms")
|
||||
|
||||
return ChatResponse(
|
||||
query_id=retrieve_result.query_id,
|
||||
answer=answer_text,
|
||||
sources=hits,
|
||||
latency_ms=duration_ms
|
||||
)
|
||||
|
||||
except Exception as e:
|
||||
logger.error(f"Error in chat endpoint: {e}", exc_info=True)
|
||||
raise HTTPException(status_code=500, detail=str(e))
|
||||
@@ -0,0 +1,20 @@
|
||||
"""
|
||||
app/routers/feedback.py
|
||||
Endpunkt für User-Feedback (WP-04c).
|
||||
"""
|
||||
from fastapi import APIRouter, HTTPException
|
||||
from app.models.dto import FeedbackRequest
|
||||
from app.services.feedback_service import log_feedback
|
||||
|
||||
router = APIRouter()
|
||||
|
||||
@router.post("", status_code=201)
|
||||
def post_feedback(fb: FeedbackRequest):
|
||||
"""
|
||||
Nimmt Feedback entgegen (z.B. Daumen hoch für einen Treffer).
|
||||
"""
|
||||
try:
|
||||
log_feedback(fb)
|
||||
return {"status": "recorded", "query_id": fb.query_id}
|
||||
except Exception as e:
|
||||
raise HTTPException(status_code=500, detail=str(e))
|
||||
+13
-6
@@ -15,23 +15,30 @@ Bezug:
|
||||
Nutzung:
|
||||
app.include_router(query.router, prefix="/query", tags=["query"])
|
||||
Änderungsverlauf:
|
||||
0.2.0 (2025-12-07) - Update für WP04c Feedback
|
||||
0.1.0 (2025-10-07) – Erstanlage.
|
||||
"""
|
||||
|
||||
from __future__ import annotations
|
||||
from fastapi import APIRouter, HTTPException
|
||||
from fastapi import APIRouter, HTTPException, BackgroundTasks
|
||||
from app.models.dto import QueryRequest, QueryResponse
|
||||
from app.core.retriever import hybrid_retrieve, semantic_retrieve
|
||||
# NEU:
|
||||
from app.services.feedback_service import log_search
|
||||
|
||||
router = APIRouter()
|
||||
|
||||
@router.post("", response_model=QueryResponse)
|
||||
def post_query(req: QueryRequest) -> QueryResponse:
|
||||
def post_query(req: QueryRequest, background_tasks: BackgroundTasks) -> QueryResponse:
|
||||
try:
|
||||
if req.mode == "semantic":
|
||||
return semantic_retrieve(req)
|
||||
# default: hybrid
|
||||
return hybrid_retrieve(req)
|
||||
res = semantic_retrieve(req)
|
||||
else:
|
||||
res = hybrid_retrieve(req)
|
||||
|
||||
# WP-04c: Logging im Hintergrund (bremst Antwort nicht)
|
||||
background_tasks.add_task(log_search, req, res)
|
||||
|
||||
return res
|
||||
except ValueError as e:
|
||||
raise HTTPException(status_code=400, detail=str(e))
|
||||
except Exception as e:
|
||||
|
||||
@@ -0,0 +1,80 @@
|
||||
"""
|
||||
app/services/feedback_service.py
|
||||
Service zum Loggen von Suchanfragen und Feedback (WP-04c).
|
||||
Speichert Daten als JSONL für späteres Self-Tuning (WP-08).
|
||||
"""
|
||||
import json
|
||||
import os
|
||||
import time
|
||||
from pathlib import Path
|
||||
from typing import Dict, Any, List
|
||||
from app.models.dto import QueryRequest, QueryResponse, FeedbackRequest
|
||||
|
||||
# Pfad für Logs (lokal auf dem Beelink/PC)
|
||||
LOG_DIR = Path("data/logs")
|
||||
SEARCH_LOG_FILE = LOG_DIR / "search_history.jsonl"
|
||||
FEEDBACK_LOG_FILE = LOG_DIR / "feedback.jsonl"
|
||||
|
||||
def _ensure_log_dir():
|
||||
if not LOG_DIR.exists():
|
||||
os.makedirs(LOG_DIR, exist_ok=True)
|
||||
|
||||
def log_search(req: QueryRequest, res: QueryResponse):
|
||||
"""
|
||||
Speichert den "Snapshot" der Suche.
|
||||
WICHTIG: Wir speichern die Scores (Breakdown), damit wir später wissen,
|
||||
warum das System so entschieden hat.
|
||||
"""
|
||||
_ensure_log_dir()
|
||||
|
||||
# Wir reduzieren die Datenmenge etwas (z.B. keine vollen Texte)
|
||||
hits_summary = []
|
||||
for hit in res.results:
|
||||
# Falls Explanation an war, speichern wir den Breakdown, sonst die Scores
|
||||
breakdown = None
|
||||
if hit.explanation and hit.explanation.breakdown:
|
||||
breakdown = hit.explanation.breakdown.model_dump()
|
||||
|
||||
hits_summary.append({
|
||||
"node_id": hit.node_id,
|
||||
"note_id": hit.note_id,
|
||||
"total_score": hit.total_score,
|
||||
"breakdown": breakdown, # Wichtig für Training!
|
||||
"rank_semantic": hit.semantic_score,
|
||||
"rank_edge": hit.edge_bonus
|
||||
})
|
||||
|
||||
entry = {
|
||||
"timestamp": time.time(),
|
||||
"query_id": res.query_id,
|
||||
"query_text": req.query,
|
||||
"mode": req.mode,
|
||||
"top_k": req.top_k,
|
||||
"hits": hits_summary
|
||||
}
|
||||
|
||||
try:
|
||||
with open(SEARCH_LOG_FILE, "a", encoding="utf-8") as f:
|
||||
f.write(json.dumps(entry, ensure_ascii=False) + "\n")
|
||||
except Exception as e:
|
||||
print(f"ERROR logging search: {e}")
|
||||
|
||||
def log_feedback(fb: FeedbackRequest):
|
||||
"""
|
||||
Speichert das User-Feedback.
|
||||
"""
|
||||
_ensure_log_dir()
|
||||
|
||||
entry = {
|
||||
"timestamp": time.time(),
|
||||
"query_id": fb.query_id,
|
||||
"node_id": fb.node_id,
|
||||
"score": fb.score,
|
||||
"comment": fb.comment
|
||||
}
|
||||
|
||||
try:
|
||||
with open(FEEDBACK_LOG_FILE, "a", encoding="utf-8") as f:
|
||||
f.write(json.dumps(entry, ensure_ascii=False) + "\n")
|
||||
except Exception as e:
|
||||
print(f"ERROR logging feedback: {e}")
|
||||
@@ -0,0 +1,83 @@
|
||||
"""
|
||||
app/services/llm_service.py — LLM Client (Ollama)
|
||||
|
||||
Version:
|
||||
0.1.2 (WP-05 Fix: Increased Timeout for CPU Inference)
|
||||
"""
|
||||
|
||||
import httpx
|
||||
import yaml
|
||||
import logging
|
||||
import os
|
||||
from pathlib import Path
|
||||
from app.config import get_settings
|
||||
|
||||
logger = logging.getLogger(__name__)
|
||||
|
||||
class LLMService:
|
||||
def __init__(self):
|
||||
self.settings = get_settings()
|
||||
self.prompts = self._load_prompts()
|
||||
# FIX: Timeout auf 120 Sekunden erhöht für CPU-Only Server
|
||||
self.client = httpx.AsyncClient(base_url=self.settings.OLLAMA_URL, timeout=120.0)
|
||||
|
||||
def _load_prompts(self) -> dict:
|
||||
"""Lädt Prompts aus der konfigurierten YAML-Datei."""
|
||||
path = Path(self.settings.PROMPTS_PATH)
|
||||
if not path.exists():
|
||||
logger.warning(f"Prompt config not found at {path}, using defaults.")
|
||||
return {
|
||||
"system_prompt": "You are a helpful AI assistant.",
|
||||
"rag_template": "Context: {context_str}\nQuestion: {query}"
|
||||
}
|
||||
|
||||
try:
|
||||
with open(path, "r", encoding="utf-8") as f:
|
||||
return yaml.safe_load(f)
|
||||
except Exception as e:
|
||||
logger.error(f"Failed to load prompts: {e}")
|
||||
return {}
|
||||
|
||||
async def generate_rag_response(self, query: str, context_str: str) -> str:
|
||||
"""
|
||||
Generiert eine Antwort basierend auf Query und Kontext.
|
||||
"""
|
||||
system_prompt = self.prompts.get("system_prompt", "")
|
||||
template = self.prompts.get("rag_template", "{context_str}\n\n{query}")
|
||||
|
||||
# Template füllen
|
||||
final_prompt = template.format(context_str=context_str, query=query)
|
||||
|
||||
payload = {
|
||||
"model": self.settings.LLM_MODEL,
|
||||
"system": system_prompt,
|
||||
"prompt": final_prompt,
|
||||
"stream": False,
|
||||
"options": {
|
||||
"temperature": 0.7,
|
||||
# Kleinerer Context spart Rechenzeit, falls 4096 zu viel ist
|
||||
"num_ctx": 2048
|
||||
}
|
||||
}
|
||||
|
||||
try:
|
||||
response = await self.client.post("/api/generate", json=payload)
|
||||
|
||||
if response.status_code != 200:
|
||||
error_msg = response.text
|
||||
logger.error(f"Ollama API Error ({response.status_code}): {error_msg}")
|
||||
return f"Fehler vom LLM (Modell '{self.settings.LLM_MODEL}' vorhanden?): {error_msg}"
|
||||
|
||||
data = response.json()
|
||||
return data.get("response", "")
|
||||
|
||||
except httpx.ReadTimeout:
|
||||
return "Timeout: Das Modell braucht zu lange zum Antworten (>120s). Hardware-Limit erreicht?"
|
||||
except httpx.ConnectError:
|
||||
return "Verbindungsfehler: Ist Ollama gestartet (Port 11434)?"
|
||||
except Exception as e:
|
||||
logger.error(f"LLM Service Exception: {e}")
|
||||
return f"Interner Fehler: {str(e)}"
|
||||
|
||||
async def close(self):
|
||||
await self.client.aclose()
|
||||
@@ -0,0 +1,24 @@
|
||||
# config/prompts.yaml — Final V2.1
|
||||
# Optimiert für Phi-3 Mini (Small Language Model)
|
||||
|
||||
system_prompt: |
|
||||
Du bist 'mindnet', das KI-Gedächtnis.
|
||||
|
||||
DEINE REGELN:
|
||||
1. Deine Antwort muss zu 100% auf dem KONTEXT basieren. Erfinde nichts.
|
||||
2. Wenn eine Quelle den Typ [DECISION] hat, ist sie die wichtigste Quelle für das "Warum".
|
||||
3. Nenne konkrete technische Details aus dem Text (z.B. genannte Features, Gründe), statt nur allgemein zu antworten.
|
||||
4. Antworte auf Deutsch.
|
||||
|
||||
rag_template: |
|
||||
QUELLEN (WISSEN):
|
||||
=========================================
|
||||
{context_str}
|
||||
=========================================
|
||||
|
||||
FRAGE:
|
||||
{query}
|
||||
|
||||
ANWEISUNG:
|
||||
Beantworte die Frage basierend auf den Quellen.
|
||||
Nenne die spezifischen Gründe, die im Text stehen (besonders aus [DECISION] Quellen).
|
||||
@@ -0,0 +1,32 @@
|
||||
# config/prompts.yaml — Persönlichkeit & RAG-Strategie
|
||||
# Version: 2.0 (Audit Update)
|
||||
|
||||
system_prompt: |
|
||||
Du bist 'mindnet', ein persönliches KI-Gedächtnis und der Digitale Zwilling deines Erschaffers ("User").
|
||||
|
||||
DEINE PERSÖNLICHKEIT & WERTE:
|
||||
1. Pragmatismus: Du bevorzugst funktionierende Lösungen über theoretische Perfektion.
|
||||
2. Transparenz: Du erfindest keine Fakten. Wenn Informationen im Kontext fehlen, sagst du das klar.
|
||||
3. Vernetztes Denken: Du suchst aktiv nach Verbindungen zwischen den bereitgestellten Notizen.
|
||||
4. Erklärbarkeit: Wenn du eine Aussage machst, beziehst du dich implizit auf die Quelle (z.B. "Wie in Projekt X definiert...").
|
||||
|
||||
DEINE AUFGABE:
|
||||
Beantworte die Frage des Users ausschließlich basierend auf dem untenstehenden KONTEXT.
|
||||
Der Kontext besteht aus Auszügen verschiedener Notizen. Achte besonders auf den [TYPE] der Notiz:
|
||||
- [DECISION] erklärt das "Warum".
|
||||
- [PROJECT] erklärt das "Was" und "Wann".
|
||||
- [CONCEPT] liefert Definitionen.
|
||||
- [VALUE] definiert die moralische/strategische Ausrichtung.
|
||||
|
||||
rag_template: |
|
||||
HINTERGRUNDWISSEN (KONTEXT):
|
||||
=========================================
|
||||
{context_str}
|
||||
=========================================
|
||||
|
||||
FRAGE DES USERS:
|
||||
{query}
|
||||
|
||||
ANWEISUNG:
|
||||
Analysiere die Quellen oben. Synthetisiere eine Antwort, die die Frage präzise beantwortet.
|
||||
Nutze Markdown für Struktur (Fettgedrucktes für Wichtiges).
|
||||
@@ -0,0 +1,24 @@
|
||||
system_prompt: |
|
||||
Du bist 'mindnet', ein persönliches KI-Gedächtnis.
|
||||
|
||||
DEINE REGELN:
|
||||
1. Antworte NUR basierend auf dem untenstehenden KONTEXT.
|
||||
2. Achte auf den TYP der Quelle:
|
||||
- [DECISION] enthält Begründungen (Warum?).
|
||||
- [PROJECT] enthält Ziele (Was?).
|
||||
- [CONCEPT] enthält Definitionen.
|
||||
3. Sei präzise. Nenne konkrete technische Gründe, wenn sie im Text stehen.
|
||||
4. Halluziniere nicht.
|
||||
|
||||
rag_template: |
|
||||
KONTEXT (WISSEN):
|
||||
=========================================
|
||||
{context_str}
|
||||
=========================================
|
||||
|
||||
FRAGE:
|
||||
{query}
|
||||
|
||||
ANWEISUNG:
|
||||
Analysiere den Kontext. Wenn eine [DECISION] Quelle dabei ist, nutze deren Inhalt für die Begründung.
|
||||
Antworte kurz und präzise auf Deutsch.
|
||||
@@ -1,8 +1,8 @@
|
||||
# mindnet v2.2 – Knowledge Design Manual
|
||||
**Datei:** `docs/mindnet_knowledge_design_manual_v2.2.md`
|
||||
**Stand:** 2025-12-07
|
||||
**Status:** **FINAL** (Konsolidiert aus WP01–WP04a)
|
||||
**Quellen:** `knowledge_design.md`, `TYPE_REGISTRY_MANUAL.md`, `chunking_strategy.md`, `mindnet_functional_architecture.md`, `WP03/WP04 Hinweise`.
|
||||
**Stand:** 2025-12-08
|
||||
**Status:** **FINAL** (Integrierter Stand WP01–WP05)
|
||||
**Quellen:** `knowledge_design.md`, `TYPE_REGISTRY_MANUAL.md`, `chunking_strategy.md`, `mindnet_functional_architecture.md`.
|
||||
|
||||
---
|
||||
|
||||
@@ -11,7 +11,10 @@
|
||||
Dieses Handbuch ist die **primäre Arbeitsanweisung** für dich als Mindmaster (Owner) und alle Autoren, die Inhalte im mindnet-Vault erstellen.
|
||||
|
||||
### 1.1 Zielsetzung
|
||||
Mindnet ist mehr als eine Dokumentablage. Es ist ein vernetztes System, das deine Persönlichkeit, Entscheidungen und Erfahrungen abbildet. Damit der **Retriever** (die Suchmaschine) und spätere **KI-Agenten** dieses Wissen nutzen können, müssen Notizen einer klaren Struktur folgen.
|
||||
Mindnet ist mehr als eine Dokumentablage. Es ist ein vernetztes System, das deine Persönlichkeit, Entscheidungen und Erfahrungen abbildet.
|
||||
Seit Version 2.2 verfügt Mindnet über:
|
||||
* **Explanation Engine:** Das System erklärt, warum es Notizen findet (über Edges).
|
||||
* **RAG-Chat (KI-Zwilling):** Das System antwortet in natürlicher Sprache. **Wie** du schreibst, bestimmt, **wie schlau** die KI antwortet.
|
||||
|
||||
### 1.2 Der Vault als „Source of Truth“
|
||||
Die Markdown-Dateien in deinem Vault sind die **einzige Quelle der Wahrheit**.
|
||||
@@ -45,7 +48,7 @@ Diese Felder sind technisch nicht zwingend, aber für bestimmte Typen sinnvoll:
|
||||
aliases: [Alpha Projekt, Project A] # Synonyme für die Suche
|
||||
visibility: internal # internal (default), public, private
|
||||
|
||||
> **Hinweis:** Felder wie `retriever_weight` oder `chunk_profile` sollten **nicht** mehr manuell im Frontmatter gesetzt werden. Diese werden zentral über den `type` gesteuert (siehe Kap. 3).
|
||||
> **Hinweis:** Felder wie `retriever_weight` oder `chunk_profile` sollten **nicht** mehr manuell im Frontmatter gesetzt werden. Diese werden zentral über den `type` gesteuert (siehe Kap. 3), um die Wartbarkeit zu sichern.
|
||||
|
||||
### 2.3 Empfehlungen für IDs und Pfade
|
||||
|
||||
@@ -69,17 +72,16 @@ Der `type` ist der wichtigste Hebel im Knowledge Design. Er verknüpft die Notiz
|
||||
|
||||
Mindnet unterscheidet verschiedene Wissensarten. Wähle den Typ, der die **Rolle** der Notiz am besten beschreibt:
|
||||
|
||||
| Typ | Beschreibung & Einsatzzweck |
|
||||
| :--- | :--- |
|
||||
| **`concept`** | Fachbegriffe, Theorien, Modelle. Zeitloses Wissen. (z. B. "Vektordatenbank") |
|
||||
| **`project`** | Ein Vorhaben mit Ziel, Dauer und Aufgaben. (z. B. "Aufbau Homelab") |
|
||||
| **`experience`** | Persönliche Erfahrung, Lektion oder Erkenntnis. (z. B. "Learning: Docker Networking") |
|
||||
| **`decision`** | Eine bewusst getroffene Entscheidung inkl. Alternativen und Begründung. (z. B. "ADR-001: Nutzung von Qdrant") |
|
||||
| **`value`** | Ein persönlicher Wert oder ein Prinzip. (z. B. "Datensparsamkeit") |
|
||||
| **`person`** | Eine reale Person (Netzwerk, Autor). |
|
||||
| **`event`** | Ein Ereignis (Konferenz, Meeting). |
|
||||
| **`journal`** | Zeitbezogener Log-Eintrag, Daily Note. |
|
||||
| **`source`** | Externe Quelle (Buch, PDF, Artikel), die exzerpiert wird. |
|
||||
| Typ | Beschreibung & Einsatzzweck | Wichtigkeit für Chat |
|
||||
| :--- | :--- | :--- |
|
||||
| **`concept`** | Fachbegriffe, Theorien. Zeitloses Wissen. | Mittel (Basiswissen) |
|
||||
| **`project`** | Ein Vorhaben mit Ziel, Dauer und Aufgaben. | Hoch (Kontext) |
|
||||
| **`experience`** | Persönliche Erfahrung, Lektion oder Erkenntnis. | Sehr Hoch (Persönlichkeit) |
|
||||
| **`decision`** | Eine bewusst getroffene Entscheidung (ADR). | **Kritisch** (Begründung "Warum") |
|
||||
| **`value`** | Ein persönlicher Wert oder ein Prinzip. | **Kritisch** (Moralischer Kompass) |
|
||||
| **`person`** | Eine reale Person (Netzwerk, Autor). | Niedrig |
|
||||
| **`journal`** | Zeitbezogener Log-Eintrag, Daily Note. | Mittel (Historie) |
|
||||
| **`source`** | Externe Quelle (Buch, PDF, Artikel). | Niedrig (Faktenbasis) |
|
||||
|
||||
### 3.2 Zusammenspiel mit `types.yaml`
|
||||
|
||||
@@ -87,20 +89,19 @@ Der `type` steuert im Hintergrund drei technische Mechanismen:
|
||||
|
||||
1. **`retriever_weight` (Wichtigkeit):**
|
||||
* Ein `concept` (0.6) wiegt weniger als ein `project` (0.97) oder eine `decision` (1.0).
|
||||
* Ziel: Mindnet soll bei Fragen eher *deine Entscheidungen* und *Projekte* finden als reine Definitionen.
|
||||
* **Warum?** Bei einer Suche nach "Datenbank" soll Mindnet bevorzugt deine *Entscheidung* ("Warum wir X nutzen") anzeigen.
|
||||
2. **`chunk_profile` (Textzerlegung):**
|
||||
* `journal` (short): Wird fein zerlegt, da sich Themen schnell ändern.
|
||||
* `concept` (medium): Standard-Absätze.
|
||||
* `project` (long): Längere Kontext-Fenster, um Zusammenhänge zu wahren.
|
||||
* `journal` (short): Wird fein zerlegt.
|
||||
* `project` (long): Längere Kontext-Fenster.
|
||||
3. **`edge_defaults` (Automatische Vernetzung):**
|
||||
* Mindnet ergänzt automatisch Kanten.
|
||||
* Beispiel: Ein Link in einem `project` wird automatisch als `depends_on` (Abhängigkeit) interpretiert, sofern nicht anders angegeben.
|
||||
* Beispiel: Ein Link in einem `project` wird automatisch als `depends_on` (Abhängigkeit) interpretiert.
|
||||
|
||||
---
|
||||
|
||||
## 4. Edges & Referenzen in Notes
|
||||
|
||||
Um aus isolierten Dateien ein **Netzwerk** zu machen, nutzen wir Verlinkungen. Mindnet v2.2 (WP03) bietet hierfür präzise Werkzeuge.
|
||||
Um aus isolierten Dateien ein **Netzwerk** zu machen, nutzen wir Verlinkungen. In Version 2.2 sind diese Verlinkungen die Basis für den **Hybrid Retriever** (Suche über Nachbarn).
|
||||
|
||||
### 4.1 Wikilinks (Die Basis-Referenz)
|
||||
Der klassische Obsidian-Link.
|
||||
@@ -109,37 +110,27 @@ Der klassische Obsidian-Link.
|
||||
|
||||
* **Bedeutung:** "Diese Notiz erwähnt Qdrant."
|
||||
* **Edge-Typ:** `references`
|
||||
* **Confidence:** 1.0
|
||||
|
||||
### 4.2 Inline-Relationen (Semantische Verknüpfung)
|
||||
Wenn du ausdrücken willst, **wie** Dinge zusammenhängen. Dies ist essenziell für die Erklärbarkeit ("Warum ist das relevant?").
|
||||
Dies ist die **mächtigste** Methode. Du sagst dem System explizit, **wie** Dinge zusammenhängen.
|
||||
|
||||
Daher [[rel:depends_on Qdrant]].
|
||||
Dieses Konzept ist [[rel:similar_to Pinecone]].
|
||||
|
||||
* **Syntax:** `[[rel:RELATION ZIEL]]`. (Wichtig: Das `rel:` Präfix steht *innerhalb* der Klammer).
|
||||
* **Syntax:** `[[rel:RELATION ZIEL]]`.
|
||||
* **Gültige Relationen:**
|
||||
* `depends_on`: Hängt ab von / Benötigt.
|
||||
* `depends_on`: Hängt ab von / Benötigt. (Trigger für hohe Graph-Relevanz).
|
||||
* `similar_to`: Ähnelt / Ist vergleichbar mit.
|
||||
* `related_to`: Hat zu tun mit (allgemein).
|
||||
* `caused_by`: Wurde verursacht durch.
|
||||
* `solves`: Löst (Problem).
|
||||
* `implements`: Setzt um (Konzept).
|
||||
* **Nicht unterstützt:** `rel: depends_on [[Ziel]]` (alte Syntax, funktioniert nicht mehr!).
|
||||
|
||||
### 4.3 Callout-Edges (Kuratierte Listen)
|
||||
Für Zusammenfassungen oder "Siehe auch"-Blöcke am Ende einer Notiz, die nicht im Fließtext stehen sollen.
|
||||
Für Zusammenfassungen oder "Siehe auch"-Blöcke am Ende einer Notiz.
|
||||
|
||||
> [!edge] related_to: [[Vector Embeddings]] [[AI Agents]]
|
||||
|
||||
* **Funktion:** Erzeugt `related_to`-Kanten zu allen genannten Zielen in dieser Zeile.
|
||||
* **Nutzen:** Erlaubt schnelle Listenpflege ohne den Textfluss zu stören.
|
||||
|
||||
### 4.4 Strukturkanten (Automatisch)
|
||||
Diese musst du nicht schreiben, sie entstehen automatisch:
|
||||
* `belongs_to`: Verknüpft jeden Textabschnitt (Chunk) mit seiner Ursprungsnotiz.
|
||||
* `next` / `prev`: Verknüpft Absätze in Lesereihenfolge (ermöglicht Agenten das "Weiterlesen").
|
||||
* `has_part` / `part_of`: (Zukünftig) Basierend auf Ordnerstrukturen.
|
||||
|
||||
---
|
||||
|
||||
@@ -186,17 +177,6 @@ Entscheidungen sind hoch gewichtet (`retriever_weight: 1.0`).
|
||||
## Begründung
|
||||
Qdrant erlaubt lokalen Betrieb und [[rel:solves Payload Filtering Requirements]].
|
||||
|
||||
### 5.3 Typische Anti-Patterns (Bitte vermeiden!)
|
||||
|
||||
1. **Der "Alles"-Zettel:** Eine Notiz "Ideen 2025", die 50 verschiedene Themen enthält.
|
||||
* *Besser:* Atomare Notizen ("Idee A", "Idee B") erstellen und verlinken.
|
||||
2. **Manuelle Gewichtung:** `retriever_weight: 0.9` im Frontmatter setzen.
|
||||
* *Problem:* Wenn du das System tunen willst, musst du hunderte Dateien ändern.
|
||||
* *Besser:* Den `type` korrekt setzen und das Gewicht zentral in `types.yaml` steuern.
|
||||
3. **Link-Wüsten:** Eine Notiz, die nur aus einer Liste von 100 Links besteht ohne Text.
|
||||
* *Problem:* Der Vektor-Sucher findet keinen kontextuellen "Anker" (Text).
|
||||
* *Besser:* Kurze Beschreibung zu jedem Link hinzufügen.
|
||||
|
||||
---
|
||||
|
||||
## 6. Langfristige Stabilität & Virtual Schema Layer
|
||||
@@ -210,5 +190,24 @@ Wir vermeiden es, Logik in den Markdown-Dateien hart zu kodieren.
|
||||
|
||||
### 6.2 Was bedeutet das für dich?
|
||||
* Du kannst dich auf den Inhalt konzentrieren.
|
||||
* Wenn wir in Zukunft entscheiden, dass "Projekte" stärker gewichtet werden sollen, ändern wir **eine Zeile** in der Konfiguration, und das gesamte System passt sich beim nächsten Import an.
|
||||
* Deine Notizen bleiben sauber und zukunftssicher.
|
||||
* Wenn wir in Zukunft (WP08) basierend auf Feedback lernen, dass "Projekte" noch wichtiger sind, ändern wir **eine Zeile** in der Konfiguration, und das gesamte System passt sich beim nächsten Import an.
|
||||
|
||||
---
|
||||
|
||||
## 7. Schreiben für den KI-Zwilling (New in v2.2)
|
||||
|
||||
Damit der **RAG-Chat (WP05)** gute Antworten liefert, beachte diese Regeln:
|
||||
|
||||
1. **Atomare Konzepte:**
|
||||
* Der Chatbot baut seine Antwort aus mehreren kleinen Text-Stücken ("Chunks") zusammen.
|
||||
* Schreibe so, dass ein Absatz auch für sich allein verständlich ist.
|
||||
2. **Explizite Entscheidungen:**
|
||||
* Wenn du eine Meinung hast ("Tool X ist schlecht"), schreibe sie nicht in einen Nebensatz.
|
||||
* Erstelle eine Notiz `type: experience` oder `decision` ("Warum Tool X nicht geeignet ist").
|
||||
* Die KI sucht gezielt nach `[DECISION]`-Typen, um "Warum"-Fragen zu beantworten.
|
||||
3. **Werte definieren:**
|
||||
* Erstelle Notizen mit `type: value` (z.B. "Datenschutz First").
|
||||
* Die KI nutzt diese, um bei Konflikten ("Soll ich Cloud oder Lokal nutzen?") in deinem Sinne zu argumentieren.
|
||||
4. **Verlinken ist Pflicht:**
|
||||
* Der Chatbot nutzt **Hybrid Search**. Er findet Notizen nur, wenn sie über Kanten verbunden sind.
|
||||
* Eine isolierte Notiz (ohne Links) ist für die KI fast unsichtbar.
|
||||
@@ -0,0 +1,92 @@
|
||||
# Mindnet v2.2 – Overview & Einstieg
|
||||
**Datei:** `docs/mindnet_overview_v2.2.md`
|
||||
**Stand:** 2025-12-08
|
||||
**Status:** **FINAL** (Post-WP05 Release)
|
||||
**Version:** 2.3.0
|
||||
|
||||
---
|
||||
|
||||
## 1. Einführung: Was ist Mindnet?
|
||||
|
||||
**Mindnet** ist ein persönliches, lokales KI-Gedächtnis. Es ist der Versuch, einen **Digitalen Zwilling** deines Wissens und deiner Persönlichkeit zu erschaffen.
|
||||
|
||||
Anders als herkömmliche Notiz-Apps (wie Obsidian oder Evernote), die Texte nur passiv speichern, ist Mindnet ein **aktives System**:
|
||||
* Es **versteht** Zusammenhänge über einen Wissensgraphen.
|
||||
* Es **begründet** Antworten ("Warum ist das so?").
|
||||
* Es **antwortet** im Dialog als Persona (RAG-Chat), basierend auf deinen Werten.
|
||||
|
||||
### Die Vision
|
||||
> „Ein System, das nicht nur speichert, was ich weiß, sondern auch wie ich denke.“
|
||||
|
||||
---
|
||||
|
||||
## 2. Die drei Ebenen des Systems
|
||||
|
||||
Mindnet arbeitet auf drei Schichten, die aufeinander aufbauen:
|
||||
|
||||
### Ebene 1: Content (Das Gedächtnis)
|
||||
* **Quelle:** Dein lokaler Obsidian-Vault (Markdown).
|
||||
* **Funktion:** Speicherung von Fakten, Projekten und Logs.
|
||||
* **Technik:** Import-Pipeline, Chunking, Vektor-Datenbank (Qdrant).
|
||||
* **Status:** 🟢 Live (WP01–WP03).
|
||||
|
||||
### Ebene 2: Semantik (Das Verstehen)
|
||||
* **Funktion:** Verknüpfung von isolierten Notizen zu einem Netzwerk.
|
||||
* **Logik:** "Projekt A *hängt ab von* Entscheidung B".
|
||||
* **Technik:** Hybrider Retriever (Graph + Vektor), Explanation Engine.
|
||||
* **Status:** 🟢 Live (WP04).
|
||||
|
||||
### Ebene 3: Identität (Die Persönlichkeit)
|
||||
* **Funktion:** Interaktion und Bewertung. Das System nimmt eine Haltung ein.
|
||||
* **Logik:** "Ich empfehle Lösung X, weil sie unserem Wert 'Datensparsamkeit' entspricht."
|
||||
* **Technik:** RAG-Chat, LLM (Phi-3), Prompt Engineering, Feedback Loop.
|
||||
* **Status:** 🟢 Live (WP05).
|
||||
|
||||
---
|
||||
|
||||
## 3. End-to-End Architektur
|
||||
|
||||
Der Datenfluss in Mindnet ist zyklisch ("Data Flywheel"):
|
||||
|
||||
1. **Input:** Du schreibst Notizen in Obsidian.
|
||||
2. **Ingest:** Ein Python-Skript importiert, zerlegt (Chunking) und vernetzt (Edges) die Daten in Qdrant.
|
||||
3. **Retrieval:** Bei einer Frage sucht das System semantisch (Text) und graph-basiert (Nachbarn).
|
||||
4. **Generation:** Ein lokales LLM (Ollama) formuliert die Antwort, angereichert mit Kontext-Metadaten.
|
||||
5. **Feedback:** Du bewertest die Antwort. Das System lernt (langfristig) daraus.
|
||||
|
||||
**Tech-Stack:**
|
||||
* **Backend:** Python 3.12, FastAPI.
|
||||
* **Datenbank:** Qdrant (Vektor & Graph).
|
||||
* **KI:** Ollama (Phi-3 Mini / Mistral) – 100% lokal.
|
||||
* **Frontend:** Terminal (aktuell) / Web-UI (geplant WP10).
|
||||
|
||||
---
|
||||
|
||||
## 4. Dokumentations-Wegweiser
|
||||
|
||||
Wo findest du was?
|
||||
|
||||
| Wenn du... | ...lies dieses Dokument |
|
||||
| :--- | :--- |
|
||||
| **...wissen willst, wie man Notizen schreibt.** | `mindnet_knowledge_design_manual_v2.2.md` |
|
||||
| **...das System installieren oder betreiben musst.** | `mindnet_admin_guide_v2.2.md` |
|
||||
| **...am Python-Code entwickeln willst.** | `mindnet_developer_guide_v2.2.md` |
|
||||
| **...die Pipeline (Import -> RAG) verstehen willst.** | `mindnet_pipeline_playbook_v2.2.md` |
|
||||
| **...die genaue JSON-Struktur oder APIs suchst.** | `mindnet_technical_architecture.md` |
|
||||
| **...verstehen willst, was fachlich passiert.** | `mindnet_functional_architecture.md` |
|
||||
| **...den aktuellen Projektstatus suchst.** | `Programmplan_V2.2.md` |
|
||||
|
||||
---
|
||||
|
||||
## 5. Rollen im System
|
||||
|
||||
* **Mindmaster (User/Owner):** Du. Du erstellst Inhalte, stellst Fragen und gibst Feedback. Du definierst die Werte (`type: value`).
|
||||
* **Mindnet (Der Agent):** Der digitale Zwilling. Er agiert als pragmatischer, transparenter Assistent im Chat.
|
||||
* **Administrator:** Verantwortlich für Docker-Container, Backups und LLM-Ressourcen.
|
||||
|
||||
---
|
||||
|
||||
## 6. Aktueller Fokus
|
||||
|
||||
Wir befinden uns im Übergang von **Phase C (Persönlichkeit)** zu **Phase D (Interaktion)**.
|
||||
Das "Gehirn" (WP05) ist fertig. Als Nächstes folgen die **Decision Engine (WP06)** für komplexe Entscheidungen und das **Frontend (WP10)** für bessere Usability.
|
||||
+75
-95
@@ -1,38 +1,36 @@
|
||||
# Mindnet v2.2 – Admin Guide
|
||||
**Datei:** `docs/mindnet_admin_guide_v2.2.md`
|
||||
**Stand:** 2025-12-07
|
||||
**Status:** **FINAL** (Konsolidiert WP02–WP04a)
|
||||
**Quellen:** `Handbuch.md`, `mindnet_v2_implementation_playbook.md`, `mindnet_technical_architecture.md`, `Programmplan_V2.2.md`.
|
||||
**Stand:** 2025-12-08
|
||||
**Status:** **FINAL** (Inkl. RAG & LLM Ops)
|
||||
**Quellen:** `Handbuch.md`, `mindnet_developer_guide_v2.2.md`.
|
||||
|
||||
> Dieses Handbuch richtet sich an **Administratoren**. Es beschreibt Installation, Konfiguration, Backup-Strategien, Monitoring und den sicheren Betrieb der Mindnet-Instanz.
|
||||
> Dieses Handbuch richtet sich an **Administratoren**. Es beschreibt Installation, Konfiguration, Backup-Strategien, Monitoring und den sicheren Betrieb der Mindnet-Instanz (API + DB + LLM).
|
||||
|
||||
---
|
||||
|
||||
## 1. Zielgruppe & Scope
|
||||
|
||||
Mindnet ist als **Single-Node System** konzipiert, das lokal (z.B. Laptop) oder auf einem privaten Server (Homelab, Intranet) läuft.
|
||||
Als Admin bist du verantwortlich für:
|
||||
* Die Verfügbarkeit der Dienste (Qdrant, API).
|
||||
* Die Datensicherheit (Backups).
|
||||
* Die Integrität des Imports (Sync zwischen Vault und DB).
|
||||
* Die Governance (wer darf zugreifen).
|
||||
Wir unterscheiden strikt zwischen:
|
||||
* **Production (Port 8001):** Stabiler `main` Branch.
|
||||
* **Development (Port 8002):** Experimentelle Feature-Branches.
|
||||
|
||||
---
|
||||
|
||||
## 2. Initial Setup
|
||||
## 2. Initial Setup & Installation
|
||||
|
||||
### 2.1 Systemvoraussetzungen
|
||||
* **OS:** Linux (Ubuntu 22.04+ empfohlen) oder macOS.
|
||||
* **Runtime:** Python 3.10+, Docker (für Qdrant).
|
||||
* **Runtime:** Python 3.10+, Docker (für Qdrant), Ollama (für LLM).
|
||||
* **Hardware:**
|
||||
* CPU: 2+ Cores.
|
||||
* RAM: Min. 4GB (abhängig von der Vault-Größe und Qdrant-Index).
|
||||
* CPU: 4+ Cores empfohlen (für Import & Inference).
|
||||
* RAM: Min. 8GB empfohlen (4GB System + 4GB für Phi-3/Qdrant).
|
||||
* Disk: SSD empfohlen für Qdrant-Performance.
|
||||
|
||||
### 2.2 Installation
|
||||
### 2.2 Installation (Code)
|
||||
# 1. Repository klonen
|
||||
git clone <repo-url> /opt/mindnet
|
||||
cd /opt/mindnet
|
||||
git clone <repo-url> /home/llmadmin/mindnet
|
||||
cd /home/llmadmin/mindnet
|
||||
|
||||
# 2. Umgebung einrichten
|
||||
python3 -m venv .venv
|
||||
@@ -40,7 +38,7 @@ Als Admin bist du verantwortlich für:
|
||||
pip install -r requirements.txt
|
||||
|
||||
# 3. Verzeichnisse anlegen
|
||||
mkdir -p logs qdrant_storage
|
||||
mkdir -p logs qdrant_storage data/logs
|
||||
|
||||
### 2.3 Qdrant Setup (Docker)
|
||||
Wir nutzen Qdrant als Vektor-Datenbank. Persistenz ist wichtig.
|
||||
@@ -51,140 +49,122 @@ Wir nutzen Qdrant als Vektor-Datenbank. Persistenz ist wichtig.
|
||||
-v $(pwd)/qdrant_storage:/qdrant/storage \
|
||||
qdrant/qdrant
|
||||
|
||||
### 2.4 Konfiguration (ENV)
|
||||
Erstelle eine `.env` Datei im Root-Verzeichnis. Diese Variablen steuern das Verhalten der Skripte und der API.
|
||||
### 2.4 Ollama Setup (LLM Service)
|
||||
Mindnet benötigt einen lokalen LLM-Server für den Chat.
|
||||
# 1. Installieren (Linux Script)
|
||||
curl -fsSL https://ollama.com/install.sh | sh
|
||||
|
||||
# 2. Modell laden (Phi-3 Mini für CPU-Performance)
|
||||
ollama pull phi3:mini
|
||||
|
||||
# 3. Testen
|
||||
curl http://localhost:11434/api/generate -d '{"model": "phi3:mini", "prompt":"Hi"}'
|
||||
|
||||
### 2.5 Konfiguration (ENV)
|
||||
Erstelle eine `.env` Datei im Root-Verzeichnis.
|
||||
|
||||
# Qdrant Verbindung
|
||||
QDRANT_URL="http://localhost:6333"
|
||||
QDRANT_API_KEY="" # Leer lassen für lokale Instanzen ohne Auth
|
||||
|
||||
# Mindnet Core Settings
|
||||
COLLECTION_PREFIX="mindnet"
|
||||
MINDNET_TYPES_FILE="./config/types.yaml"
|
||||
MINDNET_RETRIEVER_CONFIG="./config/retriever.yaml"
|
||||
MINDNET_PROMPTS_PATH="./config/prompts.yaml"
|
||||
|
||||
# Embedding Settings (Default: all-MiniLM-L6-v2)
|
||||
VECTOR_DIM=384
|
||||
# LLM Settings
|
||||
MINDNET_LLM_MODEL="phi3:mini"
|
||||
MINDNET_OLLAMA_URL="http://127.0.0.1:11434"
|
||||
|
||||
# Import-Strategie (Performance vs. Gründlichkeit)
|
||||
# Body: Nur Textänderungen triggern Update (Standard)
|
||||
# Full: Auch Frontmatter-Änderungen (z.B. Tags) triggern Update
|
||||
MINDNET_HASH_COMPARE="Body"
|
||||
MINDNET_HASH_SOURCE="parsed"
|
||||
### 2.6 Deployment via Systemd
|
||||
Mindnet wird als Systemdienst gestartet. Ollama läuft meist als eigener Dienst (`ollama.service`).
|
||||
|
||||
**Production Service (`/etc/systemd/system/mindnet-prod.service`):**
|
||||
* Läuft auf Port 8001.
|
||||
* Autostart (`enabled`).
|
||||
* Restart Policy: `always`.
|
||||
* Abhängigkeit: Sollte nach `docker` und `ollama` starten.
|
||||
|
||||
---
|
||||
|
||||
## 3. Betrieb im Alltag
|
||||
|
||||
### 3.1 Regelmäßige Importe
|
||||
Der Vault-Zustand sollte regelmäßig (z.B. stündlich per Cronjob oder Trigger) nach Qdrant synchronisiert werden. Das Skript erkennt Änderungen automatisch.
|
||||
Der Vault-Zustand sollte regelmäßig (z.B. stündlich per Cronjob) nach Qdrant synchronisiert werden.
|
||||
|
||||
**Cronjob-Beispiel (stündlich):**
|
||||
0 * * * * cd /opt/mindnet && .venv/bin/python3 -m scripts.import_markdown --vault /path/to/vault --prefix "mindnet" --apply --purge-before-upsert --sync-deletes >> ./logs/import.log 2>&1
|
||||
|
||||
* `--purge-before-upsert`: Wichtig, um Fragmente gelöschter Textstellen zu entfernen.
|
||||
* `--sync-deletes`: Wichtig, um Notizen aus dem Index zu entfernen, die im Vault gelöscht wurden.
|
||||
0 * * * * cd /home/llmadmin/mindnet && .venv/bin/python3 -m scripts.import_markdown --vault /path/to/vault --prefix "mindnet" --apply --purge-before-upsert --sync-deletes >> ./logs/import.log 2>&1
|
||||
|
||||
### 3.2 Health-Checks
|
||||
Prüfe regelmäßig, ob die API und der Retriever korrekt arbeiten.
|
||||
Prüfe regelmäßig, ob alle drei Komponenten (API, DB, LLM) laufen.
|
||||
|
||||
**API Status Check:**
|
||||
curl -f http://localhost:8000/health || echo "API Down"
|
||||
**Status prüfen:**
|
||||
sudo systemctl status mindnet-prod
|
||||
sudo systemctl status ollama
|
||||
|
||||
**Logischer Smoke-Test:**
|
||||
Führt eine echte Hybrid-Suche durch und prüft, ob Scores berechnet werden.
|
||||
python3 scripts/test_retriever_smoke.py --mode hybrid
|
||||
python3 scripts/test_retriever_smoke.py --mode hybrid --url http://localhost:8001/query
|
||||
|
||||
### 3.3 Umgang mit Fehlern im Importer
|
||||
Falls der Importer abbricht oder Dateien ignoriert:
|
||||
### 3.3 Logs & Monitoring
|
||||
* **Technische Fehler (API):** `journalctl -u mindnet-prod -f`
|
||||
* **LLM Fehler (Ollama):** `journalctl -u ollama -f`
|
||||
* **Fachliche Logs:** `data/logs/search_history.jsonl`
|
||||
|
||||
1. **Diagnose:** Nutze `scripts/diagnose_changed.py`, um zu sehen, warum eine Datei als "unchanged" gilt.
|
||||
python3 -m scripts.diagnose_changed --vault ./vault --note-id "MeineProblemnote"
|
||||
2. **Schema-Validierung:** Prüfe mit `scripts/payload_dryrun.py`, ob eine spezifische Datei das JSON-Schema verletzt.
|
||||
3. **Erzwingen:** Nutze `touch <filename>` im Vault, um den Zeitstempel zu aktualisieren und Hash-Checks zu umgehen, oder nutze `--force` (Vorsicht: Performance).
|
||||
**Troubleshooting Chat:**
|
||||
* Wenn `/chat` in den Timeout läuft (>300s): Prüfe, ob `phi3:mini` geladen ist und ob der Server überlastet ist.
|
||||
* Wenn `/chat` halluziniert: Prüfe `config/prompts.yaml` und ob der Import aktuell ist.
|
||||
|
||||
---
|
||||
|
||||
## 4. Update-Prozess
|
||||
|
||||
Wenn neue Versionen der Mindnet-Software (z.B. Schema-Updates in WP05) ausgerollt werden:
|
||||
Wenn neue Versionen ausgerollt werden (Deployment):
|
||||
|
||||
1. **Code aktualisieren:**
|
||||
cd /home/llmadmin/mindnet
|
||||
git pull origin main
|
||||
2. **Dependencies prüfen:**
|
||||
source .venv/bin/activate
|
||||
pip install -r requirements.txt
|
||||
3. **Schema-Migration:**
|
||||
Mindnet nutzt oft "Rebuild" statt komplexer Migrationen, da der Vault die Source of Truth ist.
|
||||
* Prüfe `CHANGELOG.md` auf "Breaking Changes".
|
||||
* Bei Schema-Änderungen: Führe einen **Full Rebuild** durch (siehe 5.3).
|
||||
3. **Dienst neustarten (Zwingend!):**
|
||||
sudo systemctl restart mindnet-prod
|
||||
4. **Schema-Migration (falls nötig):**
|
||||
python3 -m scripts.import_markdown ... --apply
|
||||
|
||||
---
|
||||
|
||||
## 5. Backup & Restore
|
||||
|
||||
Datensicherheit ruht auf zwei Säulen: Dem Vault (Original) und Qdrant (Index).
|
||||
Datensicherheit ruht auf drei Säulen: Vault (Source), Qdrant (Index), JSONL-Logs (Lern-Daten).
|
||||
|
||||
### 5.1 Vault-Backup (Priorität 1)
|
||||
Der Markdown-Vault ist die **Single Source of Truth**. Er muss klassisch gesichert werden.
|
||||
* **Strategie:** Git-Repository, rsync auf NAS, oder Cloud-Sync.
|
||||
* **Restore:** Einfach Dateien zurückkopieren und Import laufen lassen.
|
||||
Der Markdown-Vault ist die **Single Source of Truth**. Er muss klassisch gesichert werden (Git/NAS).
|
||||
|
||||
### 5.2 Qdrant-Snapshots (Priorität 2)
|
||||
Für schnelle Wiederherstellung des Suchindex ohne stundenlangen Re-Import (bei großen Vaults).
|
||||
|
||||
**Backup erstellen (Volume-Level):**
|
||||
Für schnelle Wiederherstellung des Suchindex.
|
||||
docker stop mindnet_qdrant
|
||||
tar -czf qdrant_backup_$(date +%F).tar.gz ./qdrant_storage
|
||||
docker start mindnet_qdrant
|
||||
|
||||
**Alternativ: API-Snapshot (Zero-Downtime):**
|
||||
Siehe Qdrant Dokumentation (Snapshot API).
|
||||
|
||||
**Restore:**
|
||||
1. Container stoppen.
|
||||
2. Inhalt von `qdrant_storage` löschen.
|
||||
3. Backup entpacken.
|
||||
4. Container starten.
|
||||
|
||||
### 5.3 Notfall-Wiederherstellung (Rebuild)
|
||||
Wenn die Datenbank korrupt ist oder Indizes defekt sind, ist der sauberste Weg ein Rebuild:
|
||||
### 5.3 Log-Daten (Priorität 3)
|
||||
Sichere den Ordner `data/logs/`. Verlust dieser Daten bedeutet, dass das System vergisst, welche Antworten Nutzer hilfreich fanden.
|
||||
|
||||
### 5.4 Notfall-Wiederherstellung (Rebuild)
|
||||
Wenn die Datenbank korrupt ist:
|
||||
# 1. DB komplett leeren (Wipe)
|
||||
python3 -m scripts.reset_qdrant --mode wipe --prefix "mindnet" --yes
|
||||
|
||||
# 2. Alles neu importieren
|
||||
python3 -m scripts.import_markdown --vault /path/to/vault --prefix "mindnet" --apply
|
||||
|
||||
---
|
||||
|
||||
## 6. Monitoring & Logging
|
||||
## 6. Governance & Sicherheit
|
||||
|
||||
### 6.1 Log-Quellen
|
||||
* **Importer:** Schreibt nach STDOUT/STDERR. Sollte im Cronjob in eine Datei (z.B. `/var/log/mindnet_import.log`) umgeleitet werden.
|
||||
* **API (Uvicorn):** Standard Access-Logs.
|
||||
* **Qdrant:** Docker Logs (`docker logs mindnet_qdrant`).
|
||||
### 6.1 Zugriffsschutz
|
||||
Mindnet hat aktuell **keine integrierte Authentifizierung**.
|
||||
* **API:** Muss hinter einem Reverse Proxy (Nginx) mit Basic Auth laufen.
|
||||
* **Qdrant:** Sollte via Firewall (ufw) auf `127.0.0.1` beschränkt sein.
|
||||
* **Ollama:** Standardmäßig hört Ollama nur auf `localhost`. Das ist sicher.
|
||||
|
||||
### 6.2 Wichtige Metriken (Log-Parsing)
|
||||
Achte in den Import-Logs auf folgende Muster:
|
||||
* `edges_created`: Sollte bei neuen Inhalten > 0 sein.
|
||||
* `chunks_created`: Sollte plausibel zur Anzahl neuer/geänderter Notizen sein.
|
||||
* `unresolved_references`: Ein hoher Anstieg deutet auf tote Links oder Tippfehler im Vault hin.
|
||||
* `ERROR` / `WARNING`: Parsing-Fehler (z.B. ungültiges YAML).
|
||||
|
||||
---
|
||||
|
||||
## 7. Governance & Sicherheit
|
||||
|
||||
### 7.1 Zugriffsschutz
|
||||
Mindnet hat aktuell **keine integrierte Authentifizierung** (By Design für lokalen Betrieb).
|
||||
* **API:** Muss hinter einem Reverse Proxy (Nginx, Traefik, Caddy) mit Basic Auth oder OAuth laufen, wenn sie im Netzwerk freigegeben wird.
|
||||
* **Qdrant:** Sollte nicht öffentlich erreichbar sein (Firewall auf Port 6333, `127.0.0.1` Bindung).
|
||||
|
||||
### 7.2 Datenschutz & Sichtbarkeit
|
||||
* **Interne Nutzung:** Standardmäßig sind alle Inhalte im Index "internal".
|
||||
* **Trennung:** Wenn du öffentliche und private Daten hast, nutze unterschiedliche `COLLECTION_PREFIX` (z.B. `mindnet_public`, `mindnet_private`) und getrennte Import-Jobs/Vault-Ordner, oder warte auf die WP05-ACL-Implementierung (Filterung auf API-Ebene).
|
||||
|
||||
### 7.3 Typen-Governance
|
||||
### 6.2 Typen-Governance
|
||||
Änderungen an der `types.yaml` (z.B. neue Gewichte) wirken global.
|
||||
* **Prozess:** Änderungen sollten getestet werden (Smoke-Test), bevor sie produktiv gehen.
|
||||
* **Review:** Prüfe, ob neue Typen (`type: xyz`) auch Chunking-Profile haben, sonst fallen sie auf Defaults zurück.
|
||||
+26
-24
@@ -1,7 +1,7 @@
|
||||
# Mindnet v2.2 – Appendices & Referenzen
|
||||
**Datei:** `docs/mindnet_appendices_v2.2.md`
|
||||
**Stand:** 2025-12-07
|
||||
**Status:** **FINAL** (Konsolidiert aus WP01–WP04a)
|
||||
**Stand:** 2025-12-08
|
||||
**Status:** **FINAL** (Integrierter Stand WP01–WP05)
|
||||
**Quellen:** `TYPE_REGISTRY_MANUAL.md`, `chunking_strategy.md`, `mindnet_technical_architecture.md`, `Handbuch.md`.
|
||||
|
||||
> Dieses Dokument bündelt Tabellen, Schemata und technische Referenzen, die in den Prozess-Dokumenten (Playbook, Guides) den Lesefluss stören würden.
|
||||
@@ -10,7 +10,7 @@
|
||||
|
||||
## Anhang A: Typ-Registry Referenz (Default-Werte)
|
||||
|
||||
Diese Tabelle zeigt die Standard-Konfiguration der `types.yaml` (Stand v2.2). Diese Werte werden beim Import angewendet, sofern im Frontmatter nichts anderes definiert ist.
|
||||
Diese Tabelle zeigt die Standard-Konfiguration der `types.yaml` (Stand v2.2).
|
||||
|
||||
| Typ (`type`) | Chunk Profile | Retriever Weight | Edge Defaults (Auto-Kanten) | Beschreibung |
|
||||
| :--- | :--- | :--- | :--- | :--- |
|
||||
@@ -22,13 +22,14 @@ Diese Tabelle zeigt die Standard-Konfiguration der `types.yaml` (Stand v2.2). Di
|
||||
| **person** | `short` | 0.50 | `related_to` | Personen-Profile. |
|
||||
| **source** | `long` | 0.50 | *(keine)* | Externe Quellen (Bücher, PDFs). |
|
||||
| **event** | `short` | 0.60 | `related_to` | Meetings, Konferenzen. |
|
||||
| **value** | `medium` | 1.00 | `related_to` | Persönliche Werte/Prinzipien. |
|
||||
| **default** | `medium` | 1.00 | `references` | Fallback, wenn Typ unbekannt. |
|
||||
|
||||
---
|
||||
|
||||
## Anhang B: Edge-Typen & Semantik
|
||||
|
||||
Referenz aller implementierten Kantenarten (`kind`). Die Spalte "Herkunft" zeigt, durch welchen Mechanismus diese Kante primär entsteht.
|
||||
Referenz aller implementierten Kantenarten (`kind`).
|
||||
|
||||
| Kind | Herkunft (Primär) | Symmetrisch? | Bedeutung & Nutzung |
|
||||
| :--- | :--- | :--- | :--- |
|
||||
@@ -46,7 +47,7 @@ Referenz aller implementierten Kantenarten (`kind`). Die Spalte "Herkunft" zeigt
|
||||
|
||||
## Anhang C: Datenmodelle (JSON Payloads)
|
||||
|
||||
Dies sind die Felder, die effektiv in Qdrant gespeichert werden. Dient als Referenz für Entwickler und Debugging (`payload_dryrun`).
|
||||
Dies sind die Felder, die effektiv in Qdrant gespeichert werden.
|
||||
|
||||
### C.1 Note Payload (`mindnet_notes`)
|
||||
{
|
||||
@@ -99,33 +100,33 @@ Diese Variablen steuern das Verhalten der Skripte und Container.
|
||||
| `COLLECTION_PREFIX` | `mindnet` | Namensraum für Collections (`{prefix}_notes` etc). |
|
||||
| `MINDNET_TYPES_FILE` | `config/types.yaml` | Pfad zur Typ-Registry. |
|
||||
| `MINDNET_RETRIEVER_CONFIG`| `config/retriever.yaml`| Pfad zur Scoring-Konfiguration. |
|
||||
| `MINDNET_PROMPTS_PATH` | `config/prompts.yaml` | Pfad zu LLM-Prompts (Neu in v2.2). |
|
||||
| `MINDNET_LLM_MODEL` | `phi3:mini` | Name des Ollama-Modells (Neu in v2.2). |
|
||||
| `MINDNET_OLLAMA_URL` | `http://127.0.0.1:11434`| URL zum LLM-Server (Neu in v2.2). |
|
||||
| `MINDNET_HASH_COMPARE` | `Body` | Vergleichsmodus für Import (`Body`, `Frontmatter`, `Full`). |
|
||||
| `MINDNET_HASH_SOURCE` | `parsed` | Quelle für Hash (`parsed`, `raw`, `file`). |
|
||||
| `MINDNET_HASH_NORMALIZE` | `canonical` | Normalisierung vor Hash (`canonical`, `none`). |
|
||||
| `VECTOR_DIM` | `384` | Dimension der Embeddings (Modellabhängig). |
|
||||
|
||||
---
|
||||
|
||||
## Anhang E: Glossar
|
||||
|
||||
Zentrale Begriffe des Mindnet-Systems.
|
||||
|
||||
* **Callout-Edge:** Eine Kante, die durch einen Obsidian-Callout Block (`> [!edge]`) definiert wird. Dient für Listen.
|
||||
* **Chunking:** Prozess des Zerlegens einer Notiz in kleinere, semantische Einheiten (Chunks).
|
||||
* **Confidence:** Ein Wert (0.0-1.0), der angibt, wie sicher eine Kante ist. Explizite User-Eingaben haben 1.0, Defaults ~0.7.
|
||||
* **Idempotenz:** Eigenschaft des Importers, bei mehrfacher Ausführung das exakt gleiche Ergebnis zu liefern (keine Duplikate).
|
||||
* **Inline-Edge:** Eine Kante, die im Fließtext mittels `[[rel:type Ziel]]` definiert wird. Semantisch sehr stark.
|
||||
* **Provenance:** Die Herkunft einer Information (z.B. "explicit" vs "rule" vs "inference").
|
||||
* **Retriever:** Die Komponente (FastAPI), die Suchanfragen beantwortet und Scores berechnet.
|
||||
* **Rule ID:** Ein String, der genau identifiziert, welche Code-Regel eine Kante erzeugt hat (z.B. `edge_defaults:project:depends_on`).
|
||||
* **Vault:** Der lokale Ordner mit Markdown-Dateien. Die "Single Source of Truth".
|
||||
* **Vector Search:** Suche basierend auf semantischer Ähnlichkeit (Embeddings) statt reiner Stichworte.
|
||||
* **Callout-Edge:** Kante via `> [!edge]`.
|
||||
* **Chunking:** Zerlegung von Notizen in kleinere Einheiten.
|
||||
* **Confidence:** Vertrauenswürdigkeit einer Kante (0.0-1.0).
|
||||
* **Explanation Layer:** Komponente, die Scores und Graphen als Begründung liefert.
|
||||
* **Feedback Loop:** Prozess des Loggens und Auswertens von User-Reaktionen.
|
||||
* **Idempotenz:** Mehrfache Ausführung liefert gleiches Ergebnis.
|
||||
* **Inline-Edge:** Kante via `[[rel:type Ziel]]`.
|
||||
* **RAG (Retrieval Augmented Generation):** Kombination aus Suche und Text-Generierung.
|
||||
* **Retriever:** Suchmaschine (FastAPI).
|
||||
* **Vault:** Ordner mit Markdown-Dateien.
|
||||
|
||||
---
|
||||
|
||||
## Anhang F: Workpackage Status (v2.2)
|
||||
## Anhang F: Workpackage Status (v2.3.0)
|
||||
|
||||
Status der Module gemäß Programmplan.
|
||||
Aktueller Implementierungsstand der Module.
|
||||
|
||||
| WP | Titel | Status | Anmerkung |
|
||||
| :--- | :--- | :--- | :--- |
|
||||
@@ -133,8 +134,9 @@ Status der Module gemäß Programmplan.
|
||||
| **WP02** | Chunking Strategy | 🟢 Live | Profilbasiertes Chunking aktiv. |
|
||||
| **WP03** | Edge Logic / Import | 🟢 Live | Neue Importer-Pipeline mit Provenance. |
|
||||
| **WP04a**| Retriever Scoring | 🟢 Live | Hybrider Score (Semantik + Graph). |
|
||||
| **WP04b**| Explanation Layer | 🟡 In Arbeit | API liefert Pfade, UI fehlt noch. |
|
||||
| **WP04c**| Feedback Loop | 🔴 Geplant | Logging von User-Feedback. |
|
||||
| **WP05** | Virtual Schema | 🟡 Teilw. | `types.yaml` aktiv, ACL fehlt. |
|
||||
| **WP06** | Self-Healing | 🔴 Geplant | Auto-Fixing von Broken Links. |
|
||||
| **WP04b**| Explanation Layer | 🟢 Live | API liefert Reasons & Breakdown. |
|
||||
| **WP04c**| Feedback Loop | 🟢 Live | Logging (JSONL) & Traceability aktiv. |
|
||||
| **WP05** | Persönlichkeit / Chat | 🟢 Live | RAG-Chat mit Context Enrichment. |
|
||||
| **WP06** | Decision Engine | 🟡 Geplant | Nächster Schritt (Logik). |
|
||||
| **WP08** | Self-Tuning | 🔴 Geplant | Auto-Adjustment der Gewichte. |
|
||||
| **WP10** | Chat Interface | 🟡 Geplant | Nächster Schritt (Frontend). |
|
||||
+96
-52
@@ -1,6 +1,6 @@
|
||||
# Mindnet v2.2 – Entwickler-Workflow
|
||||
**Datei:** `DEV_WORKFLOW.md`
|
||||
**Stand:** 2025-12-07
|
||||
**Stand:** 2025-12-08 (Aktualisiert: Systemd Services & Sync-First)
|
||||
|
||||
Dieses Handbuch beschreibt den Entwicklungszyklus zwischen **Windows PC** (IDE), **Raspberry Pi** (Gitea) und **Beelink** (Runtime/Server).
|
||||
|
||||
@@ -10,9 +10,9 @@ Dieses Handbuch beschreibt den Entwicklungszyklus zwischen **Windows PC** (IDE),
|
||||
|
||||
* **Windows 11 (VS Code):** Hier schreibst du Code. **Nie** direkt auf `main` arbeiten!
|
||||
* **Raspberry Pi (Gitea):** Der Tresor. Speichert den Code und verwaltet Versionen.
|
||||
* **Beelink (Runtime):** Hier läuft die Software. Wir trennen strikt:
|
||||
* **PROD (`~/mindnet`):** Läuft stabil auf `main`. **Port 8001**.
|
||||
* **DEV (`~/mindnet_dev`):** Deine Spielwiese für Branches. **Port 8002**.
|
||||
* **Beelink (Runtime):** Hier läuft die Software. Wir nutzen **Systemd-Services**:
|
||||
* **PROD (`mindnet-prod`):** Läuft stabil auf `main`. Ordner: `~/mindnet`. **Port 8001**.
|
||||
* **DEV (`mindnet-dev`):** Deine Spielwiese. Ordner: `~/mindnet_dev`. **Port 8002**.
|
||||
|
||||
---
|
||||
|
||||
@@ -22,34 +22,33 @@ Dieses Handbuch beschreibt den Entwicklungszyklus zwischen **Windows PC** (IDE),
|
||||
|
||||
Hier erstellst du die neue Funktion in einer sicheren Umgebung.
|
||||
|
||||
1. **Sicherstellen, dass Git bereit ist:**
|
||||
* Öffne VS Code.
|
||||
* Unten links in der blauen Leiste sollte der aktuelle Branch stehen (z.B. `main`).
|
||||
1. **Basis aktualisieren (WICHTIG!):**
|
||||
Bevor du startest, muss dein lokales `main` auf dem Stand des Servers sein.
|
||||
* Klicke unten links auf den aktuellen Branch und wähle **`main`**.
|
||||
* Klicke links im Menü "Source Control" auf die **drei Punkte (...)** -> **Pull** (oder das Synchronisieren-Symbol).
|
||||
* *Erst jetzt hast du alle Dateien!*
|
||||
|
||||
2. **Branch erstellen (WICHTIG):**
|
||||
* Klicke unten links auf den Branch-Namen (z.B. `main`).
|
||||
* Wähle im Menü oben `+ Create new branch...`.
|
||||
* Gib den Namen ein: `feature/was-ich-tue` (z.B. `feature/wp04b-explanation`).
|
||||
2. **Branch erstellen:**
|
||||
* Klicke wieder unten links auf `main`.
|
||||
* Wähle `+ Create new branch...`.
|
||||
* Gib den Namen ein: `feature/was-ich-tue` (z.B. `feature/wp05-chat`).
|
||||
* Drücke **Enter**.
|
||||
|
||||
3. **Sicherheits-Check:**
|
||||
* Schau unten links: Steht dort jetzt `feature/wp04b-explanation`?
|
||||
* **Nur wenn dort dein Feature-Branch steht, darfst du Code ändern!** Alles, was du jetzt speicherst, landet in diesem Branch.
|
||||
* Steht unten links jetzt dein Feature-Branch? **Nur dann darfst du Code ändern!**
|
||||
|
||||
4. **Coden:**
|
||||
* Nimm deine Änderungen vor.
|
||||
|
||||
5. **Sichern & Hochladen:**
|
||||
* Klicke links auf das **Source Control** Icon (Gabel-Symbol).
|
||||
* Gib eine Nachricht ein: "feat: Add explanation layer logic".
|
||||
* Klicke auf **Commit**.
|
||||
* Klicke auf **Publish Branch** (oder "Sync Changes"), um den Branch zum Raspberry Pi (Gitea) zu senden.
|
||||
* **Source Control** Icon (Gabel-Symbol) -> Nachricht eingeben -> **Commit**.
|
||||
* **Publish Branch** (oder "Sync Changes"), um den Branch zum Raspberry Pi (Gitea) zu senden.
|
||||
|
||||
---
|
||||
|
||||
### Phase 2: Testen (Beelink / `mindnet_dev`)
|
||||
|
||||
Hier prüfst du, ob dein neuer Code auf dem echten Server läuft, ohne die Produktion zu stören.
|
||||
Hier prüfst du, ob dein neuer Code auf dem echten Server läuft.
|
||||
|
||||
1. **Einloggen:**
|
||||
`ssh user@<BEELINK-IP>`
|
||||
@@ -60,33 +59,51 @@ Hier prüfst du, ob dein neuer Code auf dem echten Server läuft, ohne die Produ
|
||||
3. **Code holen:**
|
||||
```bash
|
||||
git fetch
|
||||
git checkout feature/wp04b-explanation
|
||||
# Tipp: 'git branch -r' zeigt alle verfügbaren Branches an
|
||||
git checkout feature/wp05-chat
|
||||
git pull
|
||||
```
|
||||
|
||||
4. **Umgebung aktivieren (Venv):**
|
||||
Damit Python die installierten Bibliotheken findet, musst du das Virtual Environment aktivieren:
|
||||
4. **Umgebung vorbereiten (bei Bedarf):**
|
||||
```bash
|
||||
source .venv/bin/activate
|
||||
pip install -r requirements.txt # Nur nötig bei neuen Paketen
|
||||
```
|
||||
*(Dein Prompt sollte jetzt `(.venv) user@...` zeigen)*
|
||||
|
||||
5. **Abhängigkeiten prüfen:**
|
||||
*(Nur nötig, wenn du neue Libraries in `requirements.txt` eingetragen hast)*
|
||||
5. **Test-Server aktualisieren (WICHTIG):**
|
||||
Der Code ist da, aber der Prozess im RAM ist noch alt. Wir müssen den Service neustarten.
|
||||
|
||||
**Option A: Standard (Als Service laufen lassen)**
|
||||
Ideal, wenn du nur testen willst, ob es läuft.
|
||||
```bash
|
||||
pip install -r requirements.txt
|
||||
sudo systemctl restart mindnet-dev
|
||||
|
||||
# Logs prüfen (um Fehler zu sehen):
|
||||
journalctl -u mindnet-dev -f
|
||||
```
|
||||
|
||||
6. **Test-Server starten:**
|
||||
**WICHTIG:** Nutze Port **8002** und das Dev-Prefix!
|
||||
Stelle sicher, dass in `~/mindnet_dev/.env` steht: `COLLECTION_PREFIX="mindnet_dev"`.
|
||||
|
||||
**Option B: Manuell Debuggen (Direct Output)**
|
||||
Ideal, wenn du Print-Ausgaben direkt sehen willst oder der Service dauernd crasht.
|
||||
```bash
|
||||
uvicorn app.main:app --host 0.0.0.0 --port 8002
|
||||
# 1. Service stoppen (wichtig, sonst ist Port 8002 belegt!)
|
||||
sudo systemctl stop mindnet-dev
|
||||
|
||||
# 2. Manuell starten
|
||||
uvicorn app.main:app --host 0.0.0.0 --port 8002 --env-file .env
|
||||
|
||||
# ... Testen ...
|
||||
|
||||
# 3. Wenn fertig: Service wieder anschalten (Optional)
|
||||
# Strg+C drücken
|
||||
sudo systemctl start mindnet-dev
|
||||
```
|
||||
|
||||
7. **Testen:**
|
||||
Prüfe deine Änderung (z.B. Browser auf `http://<BEELINK-IP>:8002/docs` oder Smoke-Test Skript).
|
||||
6. **Validieren:**
|
||||
Führe deine Tests in einem **zweiten Terminal** aus:
|
||||
```bash
|
||||
# Beispiel für Smoke-Test gegen Dev-Port
|
||||
python3 tests/test_chat_smoke.py --url http://localhost:8002/chat
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
@@ -95,9 +112,8 @@ Hier prüfst du, ob dein neuer Code auf dem echten Server läuft, ohne die Produ
|
||||
Wenn der Test auf Port 8002 erfolgreich war:
|
||||
|
||||
1. Öffne Gitea im Browser.
|
||||
2. Du solltest einen Hinweis sehen "feature/... had recent pushes".
|
||||
3. Erstelle einen **Pull Request** (Dein Branch -> `main`).
|
||||
4. **Merge** den Pull Request.
|
||||
2. Erstelle einen **Pull Request** (Dein Branch -> `main`).
|
||||
3. **Merge** den Pull Request.
|
||||
|
||||
---
|
||||
|
||||
@@ -112,32 +128,60 @@ Jetzt bringen wir die Änderung in das Live-System (Port 8001).
|
||||
```bash
|
||||
cd /home/llmadmin/mindnet
|
||||
git pull origin main
|
||||
sudo systemctl restart mindnet-api
|
||||
|
||||
# Produktions-Service neustarten
|
||||
sudo systemctl restart mindnet-prod
|
||||
|
||||
# Kurz prüfen, ob er läuft
|
||||
sudo systemctl status mindnet-prod
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
### Phase 5: Aufräumen (Optional aber empfohlen)
|
||||
|
||||
Damit das Chaos nicht wächst, löschen wir den fertigen Branch.
|
||||
|
||||
1. **Gitea:** Im Pull Request auf "Delete Branch" klicken.
|
||||
2. **Beelink (Dev):**
|
||||
```bash
|
||||
cd ~/mindnet_dev
|
||||
git checkout main
|
||||
git pull
|
||||
git branch -d feature/wp05-chat
|
||||
```
|
||||
*Hinweis: Der `mindnet-dev` Service läuft jetzt mit dem Code von `main`, was okay ist.*
|
||||
3. **VS Code:**
|
||||
* Auf `main` wechseln.
|
||||
* Sync drücken.
|
||||
* `F1` -> `Git: Delete Branch` -> Branch auswählen.
|
||||
|
||||
---
|
||||
|
||||
## 3. Cheat Sheet: Die wichtigsten Befehle
|
||||
|
||||
| Wo? | Befehl | Was tut es? |
|
||||
| :--- | :--- | :--- |
|
||||
| **VS Code** | `Klick auf Branch-Namen` | Branch erstellen oder wechseln. |
|
||||
| **VS Code** | `Sync Changes` | Lädt Code zu Gitea hoch. |
|
||||
| **Beelink** | `cd ~/mindnet_dev` | Gehe in den Test-Ordner. |
|
||||
| **Beelink** | `source .venv/bin/activate` | **Aktiviert Python-Umgebung.** |
|
||||
| **Beelink** | `git fetch` | "Gibt es neue Branches auf Gitea?" |
|
||||
| **Beelink** | `git checkout <name>` | Wechsle auf einen anderen Branch. |
|
||||
| **Beelink** | `git pull` | Hol den neuesten Stand des aktuellen Branches. |
|
||||
| **Beelink** | `uvicorn ... --port 8002` | Startet Test-Server (Dev). |
|
||||
| **VS Code** | `Sync (auf main)` | **WICHTIG:** Holt neuesten Code vom Server. |
|
||||
| **Beelink** | `git fetch` | Aktualisiert Liste der Remote-Branches. |
|
||||
| **Beelink** | `git checkout <name>` | Wechsle Branch. |
|
||||
| **Beelink** | `git pull` | Aktualisiere aktuellen Branch. |
|
||||
| **Beelink** | `sudo systemctl restart mindnet-dev` | **Neustart Dev-Server (Port 8002).** |
|
||||
| **Beelink** | `sudo systemctl stop mindnet-dev` | **Stoppt Dev-Server (macht Port frei).** |
|
||||
| **Beelink** | `sudo systemctl restart mindnet-prod`| **Neustart Prod-Server (Port 8001).** |
|
||||
| **Beelink** | `journalctl -u mindnet-dev -f` | **Live-Logs vom Dev-Server sehen.** |
|
||||
|
||||
---
|
||||
|
||||
## 4. Sicherheitsregeln
|
||||
## 4. Troubleshooting
|
||||
|
||||
1. **Niemals** in `~/mindnet` (Prod-Ordner) experimentieren oder `git checkout` machen. Dieser Ordner bleibt immer auf `main`.
|
||||
2. **Niemals** beide Umgebungen auf denselben `COLLECTION_PREFIX` zeigen lassen.
|
||||
* Prod `.env`: `COLLECTION_PREFIX="mindnet"`
|
||||
* Dev `.env`: `COLLECTION_PREFIX="mindnet_dev"`
|
||||
3. **Port-Disziplin:**
|
||||
* **PROD:** Port 8001
|
||||
* **DEV:** Port 8002
|
||||
**"Port 8002 already in use"**
|
||||
* Du willst `uvicorn` manuell starten, aber der Service läuft noch.
|
||||
* **Lösung:** `sudo systemctl stop mindnet-dev`
|
||||
|
||||
**"Hilfe, in meinem neuen Branch fehlen Dateien!"**
|
||||
* Das passiert, wenn du beim Erstellen nicht aktuell warst.
|
||||
* **Lösung:**
|
||||
```bash
|
||||
git checkout feature/mein-kaputter-branch
|
||||
git merge main
|
||||
+77
-40
@@ -1,15 +1,15 @@
|
||||
# Mindnet v2.2 – Developer Guide
|
||||
**Datei:** `docs/mindnet_developer_guide_v2.2.md`
|
||||
**Stand:** 2025-12-07
|
||||
**Status:** **FINAL** (Konsolidiert WP02–WP04a)
|
||||
**Quellen:** `mindnet_technical_architecture.md`, `Handbuch.md`, `docs_mindnet_retriever.md`, `mindnet_v2_implementation_playbook.md`.
|
||||
**Stand:** 2025-12-08
|
||||
**Status:** **FINAL** (Inkl. RAG & LLM Setup)
|
||||
**Quellen:** `mindnet_technical_architecture.md`, `Handbuch.md`, `DEV_WORKFLOW.md`.
|
||||
|
||||
> **Zielgruppe:** Entwickler:innen.
|
||||
> **Zweck:** Anleitung zum Aufsetzen der Entwicklungsumgebung, Verständnis der Modulstruktur und Durchführung von Tests.
|
||||
|
||||
---
|
||||
|
||||
## 1. Projektstruktur
|
||||
## 1. Projektstruktur (Aktualisiert)
|
||||
|
||||
Der Code ist modular in `app` (Logik), `scripts` (CLI) und `config` (Steuerung) getrennt.
|
||||
|
||||
@@ -18,18 +18,29 @@ Der Code ist modular in `app` (Logik), `scripts` (CLI) und `config` (Steuerung)
|
||||
│ ├── core/ # Kernlogik
|
||||
│ │ ├── chunker.py # Text-Zerlegung
|
||||
│ │ ├── derive_edges.py # Edge-Erzeugung (WP03 Logik)
|
||||
│ │ ├── retriever.py # Scoring & Graph-Expansion (WP04 Logik)
|
||||
│ │ ├── retriever.py # Scoring & Hybrid Search
|
||||
│ │ ├── qdrant.py # DB-Verbindung
|
||||
│ │ └── ...
|
||||
│ ├── models/ # Pydantic DTOs (Request/Response)
|
||||
│ ├── models/ # Pydantic DTOs
|
||||
│ │ └── dto.py # Zentrale DTO-Definition
|
||||
│ ├── routers/ # FastAPI Endpoints
|
||||
│ ├── services/ # Externe Dienste (LLM, Embeddings)
|
||||
│ │ ├── query.py # Suche
|
||||
│ │ ├── chat.py # RAG-Chat (WP05)
|
||||
│ │ ├── feedback.py # Feedback (WP04c)
|
||||
│ │ └── ...
|
||||
│ ├── services/ # Interne & Externe Dienste
|
||||
│ │ ├── llm_service.py # Ollama Client (WP05)
|
||||
│ │ ├── feedback_service.py # Logging (JSONL Writer)
|
||||
│ │ └── embeddings_client.py
|
||||
│ └── main.py # Entrypoint der API
|
||||
├── config/ # YAML-Konfigurationen (Single Source of Truth)
|
||||
│ ├── types.yaml # Import-Regeln
|
||||
│ ├── prompts.yaml # LLM Prompts & RAG Templates (WP05)
|
||||
│ └── retriever.yaml # Scoring-Regeln
|
||||
├── data/
|
||||
│ └── logs/ # Lokale Logs (search_history.jsonl, feedback.jsonl)
|
||||
├── scripts/ # CLI-Tools (Import, Diagnose, Reset)
|
||||
├── tests/ # Pytest Suite
|
||||
├── tests/ # Pytest Suite & Smoke Scripts
|
||||
└── vault/ # Dein lokaler Markdown-Content (Git-ignored)
|
||||
|
||||
---
|
||||
@@ -39,6 +50,7 @@ Der Code ist modular in `app` (Logik), `scripts` (CLI) und `config` (Steuerung)
|
||||
### 2.1 Voraussetzungen
|
||||
* **Python:** 3.10 oder höher.
|
||||
* **Docker:** Für Qdrant.
|
||||
* **Ollama:** Für lokale LLM-Inference (erforderlich für `/chat`).
|
||||
* **Vault:** Ein Ordner mit Markdown-Dateien (z.B. `./mindnet_v2_test_vault` für Tests).
|
||||
|
||||
### 2.2 Installation
|
||||
@@ -53,25 +65,47 @@ Der Code ist modular in `app` (Logik), `scripts` (CLI) und `config` (Steuerung)
|
||||
# 3. Abhängigkeiten installieren
|
||||
pip install -r requirements.txt
|
||||
|
||||
# 4. Ollama Setup (Modell laden)
|
||||
# Wir nutzen Phi-3 Mini für schnelle CPU-Inference
|
||||
ollama pull phi3:mini
|
||||
|
||||
### 2.3 Konfiguration (Environment)
|
||||
Erstelle eine `.env` Datei im Root-Verzeichnis oder exportiere die Variablen.
|
||||
Erstelle eine `.env` Datei im Root-Verzeichnis.
|
||||
|
||||
# Qdrant Verbindung
|
||||
QDRANT_URL="http://localhost:6333"
|
||||
QDRANT_API_KEY="" # Leer lassen für lokal
|
||||
|
||||
# Mindnet Settings
|
||||
# Mindnet Core Settings
|
||||
COLLECTION_PREFIX="mindnet_dev"
|
||||
MINDNET_TYPES_FILE="./config/types.yaml"
|
||||
MINDNET_RETRIEVER_CONFIG="./config/retriever.yaml"
|
||||
|
||||
# Hash-Strategie (für Importer-Debugging)
|
||||
# LLM / RAG Settings (WP05)
|
||||
MINDNET_LLM_MODEL="phi3:mini"
|
||||
MINDNET_OLLAMA_URL="http://127.0.0.1:11434"
|
||||
MINDNET_PROMPTS_PATH="./config/prompts.yaml"
|
||||
|
||||
# Import-Strategie
|
||||
MINDNET_HASH_COMPARE="Body"
|
||||
MINDNET_HASH_SOURCE="parsed"
|
||||
|
||||
### 2.4 Dienste starten
|
||||
Starten von Qdrant via Docker:
|
||||
docker run -d --name mindnet_qdrant_dev -p 6333:6333 -p 6334:6334 qdrant/qdrant
|
||||
### 2.4 Dienste starten (Systemd bevorzugt)
|
||||
Auf dem Entwicklungsserver (Beelink) nutzen wir Systemd.
|
||||
|
||||
# Starten / Neustarten
|
||||
sudo systemctl restart mindnet-dev
|
||||
|
||||
# Logs prüfen
|
||||
journalctl -u mindnet-dev -f
|
||||
|
||||
Falls du lokal auf Windows entwickelst:
|
||||
# 1. Qdrant starten
|
||||
docker run -p 6333:6333 qdrant/qdrant
|
||||
# 2. Ollama starten
|
||||
ollama serve
|
||||
# 3. API starten
|
||||
uvicorn app.main:app --host 0.0.0.0 --port 8002 --env-file .env --reload
|
||||
|
||||
---
|
||||
|
||||
@@ -80,18 +114,17 @@ Starten von Qdrant via Docker:
|
||||
### 3.1 Der Importer (`scripts.import_markdown`)
|
||||
Dies ist das komplexeste Modul.
|
||||
* **Einstieg:** `scripts/import_markdown.py` -> `main()`.
|
||||
* **Idempotenz:** Der Importer muss mehrfach laufen können, ohne Duplikate zu erzeugen. Wir nutzen deterministische IDs (UUIDv5) basierend auf Dateipfaden/Titeln.
|
||||
* **Debugging:** Wenn du am Importer arbeitest, nutze `--dry-run` oder `scripts/payload_dryrun.py`, um DB-Schreibvorgänge zu vermeiden.
|
||||
* **Idempotenz:** Der Importer muss mehrfach laufen können, ohne Duplikate zu erzeugen. Wir nutzen deterministische IDs (UUIDv5).
|
||||
* **Debugging:** Nutze `--dry-run` oder `scripts/payload_dryrun.py`.
|
||||
|
||||
### 3.2 Edge-Logik (`app.core.derive_edges`)
|
||||
Hier wird entschieden, welche Kanten entstehen.
|
||||
* **Erweiterung:** Wenn du neue Edge-Regeln (z.B. Regex-Parser) hinzufügst, tue dies hier.
|
||||
* **Rule-ID:** Vergib zwingend eine eindeutige `rule_id` (z.B. `custom:my_rule`), damit die Herkunft nachvollziehbar bleibt.
|
||||
* **Rule-ID:** Vergib zwingend eine eindeutige `rule_id` (z.B. `custom:my_rule`), damit die Herkunft für die Explanation nachvollziehbar bleibt.
|
||||
|
||||
### 3.3 Der Retriever (`app.core.retriever`)
|
||||
Hier passiert das Scoring und die Graph-Expansion.
|
||||
* **Gewichtung:** Hardcodiere niemals Gewichte (`0.5` etc.) im Code. Nutze `app.core.config.get_retriever_config()`, um `retriever.yaml` zu lesen.
|
||||
* **Graph-Adapter:** Nutze `graph_adapter.expand()`, um Nachbarn zu laden. Vermeide direkte Qdrant-Point-Queries im Retriever-Code, um die Abstraktion zu wahren.
|
||||
### 3.3 Der Retriever & Chat (`app.core.retriever` / `app.routers.chat`)
|
||||
Hier passiert das Scoring und die Generation.
|
||||
* **Hybrid Search:** Der Chat-Endpoint erzwingt `mode="hybrid"`.
|
||||
* **Context Enrichment:** In `_build_enriched_context` (chat.py) werden Metadaten (Typ, Score) in den Prompt injiziert. Achte darauf, dass neue Typen hier ggf. berücksichtigt werden, falls sie spezielle Behandlung brauchen (aktuell generisch gelöst).
|
||||
|
||||
---
|
||||
|
||||
@@ -107,39 +140,43 @@ Für isolierte Logik (Parsing, Scoring).
|
||||
|
||||
### 4.2 Integration / Pipeline Tests
|
||||
Prüfen den Datenfluss von Markdown bis Qdrant-JSON.
|
||||
* **Payload Dryrun:** Prüft, ob `import_markdown` valide JSON-Objekte erzeugt, ohne in die DB zu schreiben. Essentiell bei Schema-Änderungen.
|
||||
* **Payload Dryrun:** Prüft JSON-Schema Konformität.
|
||||
python3 -m scripts.payload_dryrun --vault ./mindnet_v2_test_vault
|
||||
|
||||
* **Edge Checks:** Prüft Graph-Invarianten (z.B. `next` muss reziprok zu `prev` sein).
|
||||
* **Edge Checks:** Prüft Graph-Invarianten.
|
||||
python3 -m scripts.edges_full_check
|
||||
|
||||
### 4.3 Smoke Tests (E2E)
|
||||
Prüfen das laufende System (API) gegen eine echte (lokale) Qdrant-Instanz.
|
||||
# 1. API im Hintergrund starten
|
||||
uvicorn app.main:app --port 8000 &
|
||||
Prüfen das laufende System (API) gegen eine echte Qdrant-Instanz und Ollama.
|
||||
|
||||
# 2. Smoke Test feuern
|
||||
python scripts/test_retriever_smoke.py --query "Test" --mode hybrid --top-k 5
|
||||
# 1. Retriever Test (Hybrid + Explanation)
|
||||
python scripts/test_retriever_smoke.py --query "Test" --mode hybrid --top-k 5 --explain
|
||||
|
||||
# 2. Chat / RAG Test (WP05)
|
||||
# Prüft die gesamte Kette: Suche -> Kontext -> LLM -> Antwort
|
||||
python tests/test_chat_wp05.py
|
||||
|
||||
# 3. Feedback Test (WP04c)
|
||||
python tests/test_feedback_smoke.py --url http://localhost:8002/query
|
||||
|
||||
---
|
||||
|
||||
## 5. Guidelines für Erweiterungen
|
||||
|
||||
### 5.1 Neuen Note-Typ hinzufügen
|
||||
* **Nicht im Code!** Bearbeite `config/types.yaml`.
|
||||
* Definiere `chunk_profile` und `retriever_weight`.
|
||||
* Führe einen **Re-Import** durch, damit die Änderungen wirksam werden.
|
||||
* Bearbeite `config/types.yaml`.
|
||||
* Definiere `chunk_profile`, `retriever_weight` und `edge_defaults`.
|
||||
* Führe einen **Re-Import** durch.
|
||||
|
||||
### 5.2 Schema-Änderungen
|
||||
Wenn du Felder in `mindnet_notes` oder `mindnet_chunks` hinzufügst:
|
||||
1. Passe `app/core/note_payload.py` bzw. `chunk_payload.py` an.
|
||||
2. Aktualisiere `tests/assert_payload_schema.py`.
|
||||
3. Führe `scripts/reset_qdrant.py` (Wipe) aus, um die Indizes neu anzulegen.
|
||||
### 5.2 Persönlichkeit anpassen (Prompt Engineering)
|
||||
* Bearbeite `config/prompts.yaml`.
|
||||
* Änderungen sind sofort aktiv (kein Neustart nötig, da pro Request geladen, sofern nicht gecached).
|
||||
* **Prompt-Regel:** Kleine Modelle (Phi-3) brauchen strikte Anweisungen (z.B. "Achte auf [DECISION]").
|
||||
|
||||
### 5.3 Neue API-Endpunkte
|
||||
* Erstelle einen neuen Router in `app/routers/`.
|
||||
* Nutze Pydantic Models aus `app/models/dto.py` für Request/Response.
|
||||
* Registriere den Router in `app/main.py`.
|
||||
* Denke an **Traceability**: Generiere oder durchschleife `query_id`.
|
||||
|
||||
---
|
||||
|
||||
@@ -151,5 +188,5 @@ Wenn du Felder in `mindnet_notes` oder `mindnet_chunks` hinzufügst:
|
||||
**Einen einzelnen File inspizieren (Parser-Sicht):**
|
||||
python3 tests/inspect_one_note.py --file ./vault/MeinFile.md
|
||||
|
||||
**Warum wird mein File nicht importiert?**
|
||||
python3 -m scripts.diagnose_changed --vault ./vault --all
|
||||
**Live-Logs sehen (Beelink):**
|
||||
journalctl -u mindnet-dev -f
|
||||
@@ -1,9 +1,9 @@
|
||||
# Mindnet v2.2 – Fachliche Architektur
|
||||
**Datei:** `docs/mindnet_functional_architecture_v2.2.md`
|
||||
**Stand:** 2025-12-07
|
||||
**Status:** **FINAL** (Integrierter Stand WP01–WP04a)
|
||||
**Stand:** 2025-12-08
|
||||
**Status:** **FINAL** (Integrierter Stand WP01–WP05)
|
||||
|
||||
> Dieses Dokument beschreibt **was** Mindnet fachlich tut und **warum** – mit Fokus auf die Erzeugung und Nutzung von **Edges** (Kanten) zwischen Notizen/Chunks sowie die Logik des Retrievers. Die technische Umsetzung (Module, Flags, Schemas) wird im technischen Dokument detailliert.
|
||||
> Dieses Dokument beschreibt **was** Mindnet fachlich tut und **warum** – mit Fokus auf die Erzeugung und Nutzung von **Edges** (Kanten), die Logik des Retrievers und den neuen **RAG-Chat** (Persönlichkeit). Die technische Umsetzung wird im technischen Dokument detailliert.
|
||||
|
||||
---
|
||||
|
||||
@@ -134,7 +134,7 @@ Der Importer lädt die Registry aus `MINDNET_TYPES_FILE` oder nutzt Fallbacks. *
|
||||
|
||||
## 5) Der Retriever (Funktionaler Layer)
|
||||
|
||||
Der Retriever ist in v2.2 der zentrale Zugangspunkt zum Wissen. Er realisiert die **Hybride Suche**.
|
||||
Der Retriever ist in v2.2 der zentrale Zugangspunkt. Er realisiert die **Hybride Suche**.
|
||||
|
||||
### 5.1 Scoring-Modell
|
||||
Die Relevanz eines Treffers ergibt sich nicht mehr nur aus Textähnlichkeit, sondern aus einer gewichteten Formel:
|
||||
@@ -147,17 +147,65 @@ Die Relevanz eines Treffers ergibt sich nicht mehr nur aus Textähnlichkeit, son
|
||||
|
||||
* **semantic_score:** Vektorähnlichkeit (Qdrant).
|
||||
* **retriever_weight:** Wichtigkeit des Typs (z.B. Projekte > Quellen).
|
||||
* **edge_bonus:** Belohnung für Chunks, die im Kontext der Anfrage stark vernetzt sind (unter Berücksichtigung der *confidence*).
|
||||
* **edge_bonus:** Belohnung für Chunks, die im Kontext der Anfrage stark vernetzt sind (Summe der Confidence eingehender relevanter Kanten).
|
||||
* **centrality_bonus:** Belohnung für Knoten, die zentrale Hubs im lokalen Graphen darstellen.
|
||||
|
||||
### 5.2 Erklärbarkeit (Explainability)
|
||||
Der Retriever liefert **Begründungspfade**. Er gibt nicht nur Text zurück, sondern:
|
||||
* `score_breakdown`: Warum ist dieser Chunk oben? (War es der Text oder der Graph?)
|
||||
* `paths`: Über welche Kanten wurde dieser Chunk gefunden? (z.B. "Gefunden via `depends_on` von deiner aktuellen Projekt-Notiz").
|
||||
### 5.2 Erklärbarkeit (Explainability) – WP04b
|
||||
Der Retriever ist keine Blackbox mehr. Er liefert auf Wunsch (`explain=True`) eine strukturierte Begründung (`Explanation`-Objekt).
|
||||
|
||||
**Die "Warum"-Logik:**
|
||||
1. **Semantik:** Prüfung der Cosine-Similarity ("Sehr hohe textuelle Übereinstimmung").
|
||||
2. **Typ:** Prüfung des `retriever_weight` ("Bevorzugt, da Entscheidung").
|
||||
3. **Graph (Kontext):**
|
||||
* **Hub (Outgoing):** Worauf verweist dieser Treffer? ("Verweist auf Qdrant").
|
||||
* **Authority (Incoming):** Wer verweist auf diesen Treffer? ("Wird referenziert von Projekt Alpha").
|
||||
|
||||
Die API gibt diese Analysen als menschenlesbare Sätze (`reasons`) und als Datenstruktur (`score_breakdown`) zurück.
|
||||
|
||||
---
|
||||
|
||||
## 6) Confidence & Provenance – wozu?
|
||||
## 6) Der RAG-Chat & Persönlichkeit (WP05)
|
||||
|
||||
Seit WP-05 kann Mindnet nicht nur suchen, sondern als **KI-Zwilling** antworten.
|
||||
|
||||
### 6.1 Context Intelligence (Der "Enriched Context")
|
||||
Kleine Sprachmodelle (SLMs wie Phi-3) scheitern oft an komplexen Zusammenhängen. Mindnet löst dies durch **explizite Metadaten-Injection** in den Prompt.
|
||||
Dem LLM wird nicht nur der Text eines Chunks gezeigt, sondern auch sein Typ und Score:
|
||||
* *"Hier ist eine Notiz vom Typ `[DECISION]`. Sie erklärt, warum wir etwas tun."*
|
||||
* *"Hier ist eine Notiz vom Typ `[PROJECT]`. Sie erklärt, was wir tun."*
|
||||
|
||||
Dadurch kann das System Fragen wie *"Warum nutzen wir X?"* korrekt beantworten, indem es die Begründung aus der Decision-Notiz zieht, selbst wenn die Frage auf das Projekt abzielte.
|
||||
|
||||
### 6.2 Persönlichkeit (Late Binding)
|
||||
Die "Persönlichkeit" von Mindnet (Stil, Werte, Tonfall) ist **nicht** im Python-Code verankert, sondern in `config/prompts.yaml`.
|
||||
* **System Prompt:** Definiert die Rolle ("Ich bin dein digitales Gedächtnis...").
|
||||
* **Werte:** Pragmatismus, Transparenz (kein Halluzinieren), Vernetztes Denken.
|
||||
* **Flexibilität:** Die Persönlichkeit kann jederzeit angepasst werden (z.B. "Sei kritischer"), ohne das System neu zu starten.
|
||||
|
||||
---
|
||||
|
||||
## 7) Feedback & Lernen – WP04c
|
||||
|
||||
Das System verfügt nun über ein **Kurzzeitgedächtnis für Interaktionen**, das die Basis für zukünftiges Lernen bildet.
|
||||
|
||||
### 7.1 Der Feedback-Loop
|
||||
1. **Suche (Situation):**
|
||||
Wenn ein Nutzer eine Anfrage stellt, loggt Mindnet die "Situation":
|
||||
* Den Query-Text.
|
||||
* Die Top-K Ergebnisse.
|
||||
* Den exakten `score_breakdown` zu diesem Zeitpunkt.
|
||||
* Eine eindeutige `query_id` wird generiert.
|
||||
|
||||
2. **Bewertung (Label):**
|
||||
Der Nutzer (oder ein Agent) bewertet einen spezifischen Treffer (`node_id`) positiv oder negativ (Score 1-5).
|
||||
Dieses Feedback wird unter Referenzierung der `query_id` gespeichert.
|
||||
|
||||
3. **Lernen (Perspektive WP08):**
|
||||
Durch die Verknüpfung von Situation und Bewertung entstehen Trainingsdaten. Mindnet kann später analysieren: *"Nutzer bevorzugen Treffer mit hohem Edge-Bonus, auch wenn der Text weniger passt."* -> Konsequenz: `edge_weight` erhöhen.
|
||||
|
||||
---
|
||||
|
||||
## 8) Confidence & Provenance – wozu?
|
||||
|
||||
Der Retriever kann Edges gewichten:
|
||||
- **provenance**: *explicit* > *rule*
|
||||
@@ -169,7 +217,7 @@ Eine typische Gewichtung (konfigurierbar in `retriever.yaml`) ist:
|
||||
|
||||
---
|
||||
|
||||
## 7) Semantik ausgewählter `kind`-Werte
|
||||
## 9) Semantik ausgewählter `kind`-Werte
|
||||
|
||||
- `references` – „Nutzt/erwähnt“; neutral, aber stützend für Kontext.
|
||||
- `related_to` – Ähnlichkeit/Verwandtschaft (symmetrisch interpretierbar).
|
||||
@@ -181,7 +229,7 @@ Eine typische Gewichtung (konfigurierbar in `retriever.yaml`) ist:
|
||||
|
||||
---
|
||||
|
||||
## 8) Frontmatter-Eigenschaften – Rolle & Empfehlung
|
||||
## 10) Frontmatter-Eigenschaften – Rolle & Empfehlung
|
||||
|
||||
Frontmatter-Eigenschaften (Properties) bleiben **minimiert**:
|
||||
- **type** – steuert Typ-Defaults via Registry (Pflicht für differenziertes Verhalten).
|
||||
@@ -191,7 +239,7 @@ Frontmatter-Eigenschaften (Properties) bleiben **minimiert**:
|
||||
|
||||
---
|
||||
|
||||
## 9) Lösch-/Update-Garantien (Idempotenz)
|
||||
## 11) Lösch-/Update-Garantien (Idempotenz)
|
||||
|
||||
- Jede Note hat einen stabilen **note_id** (Frontmatter/Hash).
|
||||
- Vor einem Upsert können *alte Chunks/Edges einer Note* gefiltert gelöscht werden (`note_id`-Filter) – das hält Collections sauber bei Re-Imports.
|
||||
@@ -199,7 +247,7 @@ Frontmatter-Eigenschaften (Properties) bleiben **minimiert**:
|
||||
|
||||
---
|
||||
|
||||
## 10) Beispiel – Von Markdown zu Kanten (v2.2)
|
||||
## 12) Beispiel – Von Markdown zu Kanten (v2.2)
|
||||
|
||||
**Markdown (Auszug)**
|
||||
# Relations Showcase
|
||||
@@ -218,18 +266,29 @@ Frontmatter-Eigenschaften (Properties) bleiben **minimiert**:
|
||||
|
||||
---
|
||||
|
||||
## 11) Qualitäts- und Testkriterien (fachlich)
|
||||
|
||||
- **Keine Duplikate** gleicher `(src, relation, dst)` in der Collectionsicht (Dedup).
|
||||
- **Explizite Links** werden vollständig materialisiert (*explicit_total*).
|
||||
- **Typ-Defaults** ergänzen, aber überdecken nicht.
|
||||
- **Retriever Smoke-Test:** Ein Query muss plausible Scores liefern, die den Einfluss von `edge_bonus` zeigen.
|
||||
|
||||
---
|
||||
|
||||
## 12) Referenzen (Projektdateien & Leitlinien)
|
||||
## 13) Referenzen (Projektdateien & Leitlinien)
|
||||
|
||||
- Import-Pipeline & Registry-Auflösung: `scripts/import_markdown.py`.
|
||||
- Kantenbildung (V2-Logic): `app/core/derive_edges.py`.
|
||||
- Typ-Registry: `config/types.yaml` & `TYPE_REGISTRY_MANUAL.md`.
|
||||
- Retriever-Scoring: `app/core/retriever.py` & `wp04_retriever_scoring.md`.
|
||||
- Retriever-Scoring & Explanation: `app/core/retriever.py`.
|
||||
- Persönlichkeit & Chat: `config/prompts.yaml` & `app/routers/chat.py`.
|
||||
- Logging Service: `app/services/feedback_service.py`.
|
||||
|
||||
---
|
||||
|
||||
## 14) Workpackage Status (v2.2.1)
|
||||
|
||||
Aktueller Implementierungsstand der Module.
|
||||
|
||||
| WP | Titel | Status | Anmerkung |
|
||||
| :--- | :--- | :--- | :--- |
|
||||
| **WP01** | Knowledge Design | 🟢 Live | Typen, Frontmatter definiert. |
|
||||
| **WP02** | Chunking Strategy | 🟢 Live | Profilbasiertes Chunking aktiv. |
|
||||
| **WP03** | Edge Logic / Import | 🟢 Live | Neue Importer-Pipeline mit Provenance. |
|
||||
| **WP04a**| Retriever Scoring | 🟢 Live | Hybrider Score (Semantik + Graph). |
|
||||
| **WP04b**| Explanation Layer | 🟢 Live | API liefert Reasons & Breakdown. |
|
||||
| **WP04c**| Feedback Loop | 🟢 Live | Logging (JSONL) & Traceability aktiv. |
|
||||
| **WP05** | Persönlichkeit / Chat | 🟢 Live | RAG-Integration mit Context Enrichment. |
|
||||
| **WP06** | Decision Engine | 🟡 Geplant | Nächster Schritt. |
|
||||
| **WP08** | Self-Tuning | 🔴 Geplant | Auto-Adjustment der Gewichte. |
|
||||
@@ -1,27 +1,29 @@
|
||||
# Mindnet v2.2 – Technische Architektur
|
||||
**Datei:** `docs/mindnet_technical_architecture_v2.2.md`
|
||||
**Stand:** 2025-12-07
|
||||
**Status:** **FINAL** (Integrierter Stand WP01–WP04a)
|
||||
**Quellen:** `mindnet_technical_architecture.md`, `chunking_strategy.md`, `Handbuch.md`, `wp04_retriever_scoring.md`, `Überarbeitungshinweise_WP03.md`, `Überarbeitungshinweise_WP04.md`.
|
||||
**Stand:** 2025-12-08
|
||||
**Status:** **FINAL** (Integrierter Stand WP01–WP05)
|
||||
**Quellen:** `Programmplan_V2.2.md`, `Handbuch.md`, `chunking_strategy.md`, `wp04_retriever_scoring.md`.
|
||||
|
||||
> **Ziel dieses Dokuments:**
|
||||
> Vollständige, konsolidierte Beschreibung der aktuellen technischen Architektur von **Mindnet v2.2**. Es definiert die Datenstrukturen in Qdrant, die Verarbeitungspipelines (Importer, Chunker, Edges) und die Retrieval-Logik. Es bildet den **aktuellen Implementierungsstand** ab.
|
||||
> Vollständige Beschreibung der technischen Architektur inkl. Graph-Datenbank, Retrieval-Logik und der **neuen RAG-Komponenten (LLM/Chat)**.
|
||||
|
||||
---
|
||||
|
||||
## 1. Systemüberblick
|
||||
|
||||
### 1.1 Architektur-Zielbild
|
||||
Mindnet ist ein **persönliches Wissensnetz**. Technisch bedeutet das:
|
||||
Mindnet ist ein **lokales RAG-System (Retrieval Augmented Generation)**.
|
||||
1. **Source:** Markdown-Notizen in einem Vault (Obsidian-kompatibel).
|
||||
2. **Pipeline:** Ein Python-Importer transformiert diese in **Notes**, **Chunks** und **Edges**.
|
||||
3. **Storage:** Speicherung in **Qdrant** (Vektor-Datenbank) in drei getrennten Collections.
|
||||
4. **Service:** Eine FastAPI-Anwendung stellt Endpunkte für **Semantische** und **Hybride Suche** bereit.
|
||||
3. **Storage:**
|
||||
* **Qdrant:** Vektor-Datenbank für Graph und Semantik (Collections: notes, chunks, edges).
|
||||
* **Local Files (JSONL):** Append-Only Logs für Feedback und Search-History (Data Flywheel).
|
||||
4. **Service:** Eine FastAPI-Anwendung stellt Endpunkte für **Semantische** und **Hybride Suche** sowie **Feedback** bereit.
|
||||
5. **Inference:** Lokales LLM (Ollama: Phi-3 Mini) für RAG-Chat und Antwortgenerierung.
|
||||
|
||||
Das System arbeitet **deterministisch** (stabile IDs) und ist **konfigurationsgetrieben** (`types.yaml`, `retriever.yaml`).
|
||||
Das System arbeitet **deterministisch** (stabile IDs) und ist **konfigurationsgetrieben** (`types.yaml`, `retriever.yaml`, `prompts.yaml`).
|
||||
|
||||
### 1.2 Verzeichnisstruktur & Komponenten
|
||||
Die Codebasis ist modular aufgebaut.
|
||||
### 1.2 Verzeichnisstruktur & Komponenten (Post-WP05)
|
||||
|
||||
/mindnet/
|
||||
├── app/
|
||||
@@ -34,12 +36,24 @@ Die Codebasis ist modular aufgebaut.
|
||||
│ │ ├── chunker.py # Text-Zerlegung (Profiling)
|
||||
│ │ ├── edges.py # Edge-Datenstrukturen
|
||||
│ │ ├── derive_edges.py # Logik der Kantenableitung (WP03)
|
||||
│ │ └── retriever.py # Scoring & Graph-Expansion (WP04)
|
||||
│ ├── models/ # Pydantic DTOs (QueryRequest, etc.)
|
||||
│ └── routers/ # API Routen
|
||||
│ │ ├── graph_adapter.py # Subgraph & Reverse-Lookup (WP04b)
|
||||
│ │ └── retriever.py # Scoring, Expansion & Explanation (WP04a/b)
|
||||
│ ├── models/ # Pydantic DTOs (QueryHit, Explanation, FeedbackRequest, ChatRequest)
|
||||
│ ├── routers/
|
||||
│ │ ├── query.py # Such-Endpunkt
|
||||
│ │ ├── chat.py # RAG-Chat Endpunkt (WP05)
|
||||
│ │ ├── feedback.py # Feedback-Endpunkt (WP04c)
|
||||
│ │ └── ...
|
||||
│ ├── services/
|
||||
│ │ ├── llm_service.py # Ollama Client (WP05)
|
||||
│ │ ├── feedback_service.py # JSONL Logging (WP04c)
|
||||
│ │ └── embeddings_client.py
|
||||
├── config/
|
||||
│ ├── types.yaml # Typ-Definitionen (Import-Zeit)
|
||||
│ └── retriever.yaml # Scoring-Gewichte (Laufzeit)
|
||||
│ ├── retriever.yaml # Scoring-Gewichte (Laufzeit)
|
||||
│ └── prompts.yaml # LLM System-Prompts & Templates (WP05)
|
||||
├── data/
|
||||
│ └── logs/ # Lokale JSONL-Logs (WP04c)
|
||||
├── scripts/
|
||||
│ ├── import_markdown.py # Haupt-Importer CLI
|
||||
│ ├── payload_dryrun.py # Diagnose: JSON-Generierung ohne DB
|
||||
@@ -69,8 +83,6 @@ Repräsentiert die Metadaten einer Datei.
|
||||
| `updated` | Integer | Zeitstempel (z.B. YYYYMMDD...). | File Stats |
|
||||
| `fulltext` | Text | Gesamter Inhalt (für Export/Rekonstruktion). | Body |
|
||||
|
||||
|
||||
|
||||
### 2.2 Chunks Collection (`<prefix>_chunks`)
|
||||
Die atomaren Sucheinheiten.
|
||||
* **Zweck:** Vektorsuche (Embeddings), Granulares Ergebnis.
|
||||
@@ -88,8 +100,6 @@ Die atomaren Sucheinheiten.
|
||||
| `neighbors_prev` | List[Str] | ID des Vorgänger-Chunks. |
|
||||
| `neighbors_next` | List[Str] | ID des Nachfolger-Chunks. |
|
||||
|
||||
|
||||
|
||||
### 2.3 Edges Collection (`<prefix>_edges`)
|
||||
Gerichtete Kanten. Massiv erweitert in WP03 für Provenienz-Tracking.
|
||||
* **Zweck:** Graph-Traversal, Kontext-Anreicherung.
|
||||
@@ -106,8 +116,6 @@ Gerichtete Kanten. Massiv erweitert in WP03 für Provenienz-Tracking.
|
||||
| `rule_id` | Keyword | Herkunftsregel. | `explicit:wikilink`, `inline:rel` |
|
||||
| `confidence` | Float | Vertrauenswürdigkeit (0.0-1.0). | 1.0, 0.95, 0.7 |
|
||||
|
||||
|
||||
|
||||
---
|
||||
|
||||
## 3. Konfiguration
|
||||
@@ -117,24 +125,37 @@ Die Logik ist ausgelagert in YAML-Dateien.
|
||||
### 3.1 Typ-Registry (`config/types.yaml`)
|
||||
Steuert den Import-Prozess.
|
||||
* **Priorität:** Frontmatter > Pfad > Default.
|
||||
* **Inhalt:**
|
||||
```yaml
|
||||
* **Inhalt (Beispiel):**
|
||||
|
||||
types:
|
||||
concept:
|
||||
chunk_profile: medium
|
||||
edge_defaults: ["references", "related_to"]
|
||||
retriever_weight: 0.60
|
||||
```
|
||||
|
||||
### 3.2 Retriever-Config (`config/retriever.yaml`)
|
||||
Steuert das Scoring zur Laufzeit (WP04a).
|
||||
* **Inhalt:**
|
||||
```yaml
|
||||
* **Inhalt (Beispiel):**
|
||||
|
||||
scoring:
|
||||
semantic_weight: 1.0
|
||||
edge_weight: 0.7
|
||||
centrality_weight: 0.5
|
||||
```
|
||||
|
||||
### 3.3 Prompts (`config/prompts.yaml`)
|
||||
Steuert die LLM-Persönlichkeit (WP05).
|
||||
* **Inhalt (Beispiel):**
|
||||
|
||||
system_prompt: |
|
||||
Du bist 'mindnet', das KI-Gedächtnis.
|
||||
rag_template: |
|
||||
QUELLEN (WISSEN): {context_str}
|
||||
|
||||
### 3.4 Environment (`.env`)
|
||||
Erweiterung für LLM-Steuerung:
|
||||
|
||||
MINDNET_LLM_MODEL=phi3:mini
|
||||
MINDNET_OLLAMA_URL=http://127.0.0.1:11434
|
||||
|
||||
---
|
||||
|
||||
@@ -165,7 +186,7 @@ Das Skript `scripts/import_markdown.py` orchestriert den Prozess.
|
||||
|
||||
## 5. Retriever-Architektur & Scoring
|
||||
|
||||
Der Retriever (`app/core/retriever.py`) realisiert die Logik hinter `/query`.
|
||||
Der Retriever (`app/core/retriever.py`) unterstützt zwei Modi. Für den Chat wird **zwingend** der Hybrid-Modus genutzt.
|
||||
|
||||
### 5.1 Betriebsmodi
|
||||
* **Semantic:** Reine Vektorsuche. Schnell.
|
||||
@@ -185,12 +206,71 @@ $$
|
||||
* $B_{cent}$: Centrality-Bonus (im lokalen Subgraphen).
|
||||
* **Gewichte ($W$):** Stammen aus `retriever.yaml`.
|
||||
|
||||
### 5.3 Graph-Expansion
|
||||
Der Hybrid-Modus lädt dynamisch die Nachbarschaft der Top-K Vektor-Treffer ("Seeds") über `graph_adapter.expand`. Dies baut einen temporären `NetworkX`-Graphen im Speicher, auf dem Boni berechnet werden.
|
||||
### 5.3 Explanation Layer (WP04b)
|
||||
Der Retriever kann Ergebnisse erklären (`explain=True`).
|
||||
* **Logik:**
|
||||
* Berechnung des `ScoreBreakdown` (Anteile von Semantik, Graph, Typ).
|
||||
* Analyse des lokalen Subgraphen mittels `graph_adapter.py`.
|
||||
* **Incoming Edges (Authority):** Wer zeigt auf diesen Treffer? (z.B. "Referenziert von...")
|
||||
* **Outgoing Edges (Hub):** Worauf zeigt dieser Treffer? (z.B. "Verweist auf...")
|
||||
* **Output:** `QueryHit` enthält ein `explanation` Objekt mit menschenlesbaren `reasons` und `related_edges`.
|
||||
|
||||
### 5.4 Graph-Expansion
|
||||
Der Hybrid-Modus lädt dynamisch die Nachbarschaft der Top-K Vektor-Treffer ("Seeds") über `graph_adapter.expand`. Dies baut einen temporären `NetworkX`-artigen Graphen im Speicher (Klasse `Subgraph`), auf dem Boni berechnet werden.
|
||||
|
||||
---
|
||||
|
||||
## 6. Indizes & Performance
|
||||
## 6. RAG & Chat Architektur (WP05)
|
||||
|
||||
Der Flow für eine Chat-Anfrage (`/chat`) ist eine Pipeline aus vier Schritten.
|
||||
|
||||
### 6.1 Schritt 1: Intent & Retrieval
|
||||
* Der `ChatRouter` ruft den `Retriever` im **Hybrid-Modus** auf.
|
||||
* Dies stellt sicher, dass logisch verknüpfte Notizen (z.B. Entscheidungen zu einem Projekt) gefunden werden.
|
||||
|
||||
### 6.2 Schritt 2: Context Enrichment (Das "Context Intelligence" Pattern)
|
||||
* Der Router (`_build_enriched_context`) reichert die Chunks mit Metadaten an:
|
||||
* **Typ-Injection:** `[DECISION]`, `[PROJECT]`, `[CONCEPT]`.
|
||||
* **Score-Transparenz:** `(Score: 0.75)`.
|
||||
* **Formatierung:** Markdown-Header pro Quelle.
|
||||
* *Ziel:* Kleine Modelle (SLMs wie Phi-3) benötigen diese expliziten Signale, um komplexe Zusammenhänge ("Warum nutzen wir X?") aus den Texten abzuleiten.
|
||||
|
||||
### 6.3 Schritt 3: Generation (LLM Service)
|
||||
* **Service:** `app/services/llm_service.py` nutzt `httpx` (async).
|
||||
* **Backend:** Ollama (lokal).
|
||||
* **Modell:** `phi3:mini` (3.8B Parameter).
|
||||
* **Timeout:** Erhöht auf 300s für CPU-Inference Sicherheit.
|
||||
|
||||
### 6.4 Schritt 4: Response & Traceability
|
||||
* Die Antwort enthält die generierte Nachricht **und** die verwendeten Quellen (`sources`).
|
||||
* Eine `query_id` wird generiert und durchgereicht, um späteres Feedback (WP04c) zu ermöglichen.
|
||||
|
||||
---
|
||||
|
||||
## 7. Feedback & Logging Architektur (WP04c)
|
||||
|
||||
Mindnet implementiert ein "Data Flywheel" zur späteren Optimierung (Self-Tuning).
|
||||
|
||||
### 7.1 Komponenten
|
||||
* **Feedback Service (`app/services/feedback_service.py`):** Kapselt die Schreibzugriffe.
|
||||
* **Storage:** Lokales Dateisystem (`data/logs/`), Format JSONL (Line-delimited JSON).
|
||||
|
||||
### 7.2 Log-Dateien
|
||||
1. **`search_history.jsonl`**:
|
||||
* Speichert jede Anfrage an `/query` und `/chat`.
|
||||
* Enthält: `query_id`, `query_text`, `timestamp`, `hits` (inkl. `score_breakdown` Snapshots).
|
||||
* Zweck: Trainingsdaten ("Was hat das System gesehen?").
|
||||
2. **`feedback.jsonl`**:
|
||||
* Speichert User-Reaktionen an `/feedback`.
|
||||
* Enthält: `query_id`, `node_id`, `score` (1-5), `comment`.
|
||||
* Zweck: Labels ("War es gut?").
|
||||
|
||||
### 7.3 Traceability
|
||||
Die `query_id` (UUIDv4) wird im `/query` Response generiert und muss vom Client beim `/feedback` Aufruf mitgesendet werden. Dies ermöglicht den Join zwischen Snapshot und Bewertung.
|
||||
|
||||
---
|
||||
|
||||
## 8. Indizes & Performance
|
||||
|
||||
Damit Qdrant performant bleibt, sind Payload-Indizes essenziell.
|
||||
|
||||
@@ -203,7 +283,7 @@ Validierung erfolgt über `tests/ensure_indexes_and_show.py`.
|
||||
|
||||
---
|
||||
|
||||
## 7. Offene Punkte / Known Limitations
|
||||
## 9. Offene Punkte / Known Limitations
|
||||
|
||||
1. **Multi-Target Inline-Relations:**
|
||||
* `rel: similar_to [[A]] [[B]]` wird aktuell parser-seitig nicht unterstützt.
|
||||
|
||||
+67
-60
@@ -1,25 +1,25 @@
|
||||
# mindnet v2.2 – Pipeline Playbook
|
||||
**Datei:** `docs/mindnet_pipeline_playbook_v2.2.md`
|
||||
**Stand:** 2025-12-07
|
||||
**Status:** **FINAL** (Konsolidiert aus WP02, WP03, WP04a)
|
||||
**Quellen:** `mindnet_v2_implementation_playbook.md`, `Handbuch.md`, `chunking_strategy.md`, `docs_mindnet_retriever.md`, `wp04_retriever_scoring.md`.
|
||||
**Stand:** 2025-12-08
|
||||
**Status:** **FINAL** (Inkl. WP05 RAG Pipeline)
|
||||
**Quellen:** `mindnet_v2_implementation_playbook.md`, `Handbuch.md`, `chunking_strategy.md`, `docs_mindnet_retriever.md`, `mindnet_admin_guide_v2.2.md`.
|
||||
|
||||
---
|
||||
|
||||
## 1. Zweck & Einordnung
|
||||
|
||||
Dieses Playbook ist das zentrale operative Handbuch für die **mindnet-Pipeline**. Es beschreibt, wie Daten vom Markdown-Vault in den Wissensgraphen (Qdrant) gelangen und wie der Retriever konfiguriert und betrieben wird.
|
||||
Dieses Playbook ist das zentrale operative Handbuch für die **mindnet-Pipeline**. Es beschreibt, wie Daten vom Markdown-Vault in den Wissensgraphen (Qdrant) gelangen, wie der Retriever betrieben wird und wie die **RAG-Generierung** funktioniert.
|
||||
|
||||
**Zielgruppe:** Dev/Ops, Tech-Leads.
|
||||
**Scope:**
|
||||
* **Ist-Stand (WP01–WP04a):** Markdown-Import, Chunking, Edge-Erzeugung, Hybrider Retriever.
|
||||
* **Roadmap (Ausblick):** Self-Healing (WP06), Feedback-Loops (WP08).
|
||||
* **Ist-Stand (WP01–WP05):** Import, Chunking, Edge-Erzeugung, Hybrider Retriever, RAG-Chat, Feedback Loop.
|
||||
* **Roadmap (Ausblick):** Technische Skizzen für Self-Healing (WP06) und Self-Tuning (WP08).
|
||||
|
||||
---
|
||||
|
||||
## 2. Die Import-Pipeline (Runbook)
|
||||
|
||||
Der Import ist der kritischste Prozess. Er muss **deterministisch** und **idempotent** sein. Wir nutzen `scripts/import_markdown.py` als zentralen Entrypoint.
|
||||
Der Import ist der kritischste Prozess ("Data Ingestion"). Er muss **deterministisch** und **idempotent** sein. Wir nutzen `scripts/import_markdown.py` als zentralen Entrypoint.
|
||||
|
||||
### 2.1 Der 12-Schritte-Prozess
|
||||
Gemäß WP03-Spezifikation läuft der Import intern wie folgt ab:
|
||||
@@ -44,7 +44,8 @@ Für regelmäßige Updates (z.B. Cronjob). Erkennt Änderungen via Hash.
|
||||
export COLLECTION_PREFIX="mindnet"
|
||||
|
||||
# Import starten (Apply = Schreiben, Purge = Sauberer Upsert)
|
||||
python3 -m scripts.import_markdown \
|
||||
# Nutzt das Venv der Produktionsumgebung
|
||||
/home/llmadmin/mindnet/.venv/bin/python3 -m scripts.import_markdown \
|
||||
--vault ./vault \
|
||||
--prefix "$COLLECTION_PREFIX" \
|
||||
--apply \
|
||||
@@ -55,24 +56,23 @@ Für regelmäßige Updates (z.B. Cronjob). Erkennt Änderungen via Hash.
|
||||
* `--purge-before-upsert`: Löscht vor dem Schreiben einer Note ihre alten Chunks/Edges. Essentiell, um "Geister-Chunks" zu vermeiden, wenn Text gekürzt wurde.
|
||||
* `--sync-deletes`: Entfernt Notizen aus Qdrant, die im Vault gelöscht wurden.
|
||||
|
||||
### 2.3 Full Rebuild (Clean Slate)
|
||||
### 2.3 Deployment & Restart (Systemd)
|
||||
Nach einem Import oder Code-Update muss der API-Prozess neu gestartet werden.
|
||||
|
||||
# Neustart des Produktions-Services
|
||||
sudo systemctl restart mindnet-prod
|
||||
|
||||
# Prüfung
|
||||
sudo systemctl status mindnet-prod
|
||||
|
||||
### 2.4 Full Rebuild (Clean Slate)
|
||||
Notwendig bei Änderungen an `types.yaml` (z.B. neue Chunk-Größen) oder Embedding-Modellen.
|
||||
|
||||
# 1. Qdrant Collections löschen und neu anlegen (Wipe inkl. Schema)
|
||||
python3 -m scripts.reset_qdrant --mode wipe --prefix "mindnet" --yes
|
||||
|
||||
# 2. Vollständiger Import aller Dateien
|
||||
python3 -m scripts.import_markdown \
|
||||
--vault ./vault \
|
||||
--prefix "mindnet" \
|
||||
--apply
|
||||
|
||||
### 2.4 Baseline-Builds & Hashing
|
||||
Um unnötige Updates zu vermeiden, nutzt der Importer Hashes.
|
||||
* **ENV `MINDNET_HASH_COMPARE`:** Steuert, was verglichen wird.
|
||||
* `Body`: Nur Textänderungen triggern Update (Standard).
|
||||
* `Full`: Auch Frontmatter-Änderungen (z.B. Tags) triggern Update.
|
||||
* **Flag `--baseline-modes`:** Berechnet Hashes für alle Modi vor, um spätere Wechsel der Strategie ohne Massen-Update zu ermöglichen.
|
||||
python3 -m scripts.import_markdown --vault ./vault --prefix "mindnet" --apply
|
||||
|
||||
---
|
||||
|
||||
@@ -116,40 +116,47 @@ Wenn in `types.yaml` für einen Typ `edge_defaults` definiert sind, werden diese
|
||||
|
||||
---
|
||||
|
||||
## 5. Retriever & Scoring
|
||||
## 5. Retriever, Chat & Generation (RAG Pipeline)
|
||||
|
||||
Der Retriever (`app/core/retriever.py`) kombiniert Signale zur Laufzeit.
|
||||
Der Datenfluss endet nicht beim Finden. Er geht weiter bis zur Antwort.
|
||||
|
||||
### 5.1 Konfiguration (`retriever.yaml`)
|
||||
Diese Datei steuert das Ranking. Änderungen wirken sofort (API-Neustart).
|
||||
|
||||
scoring:
|
||||
semantic_weight: 1.0 # Vektor-Ähnlichkeit
|
||||
edge_weight: 0.7 # Graph-Dichte Bonus
|
||||
centrality_weight: 0.5 # Zentralitäts-Bonus
|
||||
|
||||
### 5.2 Scoring-Formel
|
||||
### 5.1 Retrieval (Hybrid)
|
||||
total_score =
|
||||
semantic_weight * semantic_score
|
||||
+ edge_weight * edge_bonus
|
||||
+ centrality_weight * centrality_bonus
|
||||
+ type_weight * retriever_weight
|
||||
|
||||
* `retriever_weight`: Kommt aus dem Note-Payload (via `types.yaml`).
|
||||
* `edge_bonus`: Summe der `confidence` aller relevanten Kanten im Subgraph.
|
||||
Der `/chat` Endpunkt nutzt **Hybrid Retrieval** (Semantic + Graph), um auch logisch verbundene, aber textlich unterschiedliche Notizen zu finden (z.B. Decisions zu einem Projekt).
|
||||
|
||||
### 5.3 Hybrider Modus
|
||||
Der Request muss `mode="hybrid"` und `expand.depth > 0` setzen, damit der Graph genutzt wird.
|
||||
* **Expand:** Lädt Nachbarn der Vektor-Treffer.
|
||||
* **Re-Rank:** Berechnet Boni auf diesem lokalen Graphen.
|
||||
### 5.2 Context Enrichment (Das "Context Intelligence" Pattern)
|
||||
Bevor der Text an das LLM geht, reichert der Router (`chat.py`) ihn an.
|
||||
* **Metadaten-Injection:** `[DECISION]`, `[PROJECT]`, `[SCORE: 0.9]`.
|
||||
* **Zweck:** Ermöglicht kleinen Modellen (Phi-3) das Erkennen von logischen Rollen ("Warum?" vs "Was?").
|
||||
|
||||
### 5.3 Generation (LLM)
|
||||
* **Engine:** Ollama (lokal).
|
||||
* **Modell:** `phi3:mini` (Standard).
|
||||
* **Prompting:** Gesteuert über `config/prompts.yaml`.
|
||||
|
||||
### 5.4 Explanation Mode (WP04b)
|
||||
Wird `/query` mit `explain=True` aufgerufen, führt der Retriever eine Post-Processing-Analyse durch und liefert `reasons` ("Verweist auf...", "Hoher Typ-Bonus").
|
||||
|
||||
---
|
||||
|
||||
## 6. Quality Gates & Tests
|
||||
## 6. Feedback & Lernen (WP04c)
|
||||
|
||||
Das System schreibt kontinuierlich Logs ("Data Flywheel"):
|
||||
* `data/logs/search_history.jsonl`: Trainingsdaten (Query + Ergebnisse + Breakdown).
|
||||
* `data/logs/feedback.jsonl`: Labels (User-Rating zur `query_id`).
|
||||
|
||||
---
|
||||
|
||||
## 7. Quality Gates & Tests
|
||||
|
||||
Diese Tests garantieren die Stabilität der Pipeline.
|
||||
|
||||
### 6.1 Pflicht-Tests vor Commit
|
||||
### 7.1 Pflicht-Tests vor Commit
|
||||
|
||||
1. **Payload Dryrun (Schema-Check):**
|
||||
Simuliert Import, prüft JSON-Schema Konformität.
|
||||
@@ -157,35 +164,35 @@ Diese Tests garantieren die Stabilität der Pipeline.
|
||||
python3 -m scripts.payload_dryrun --vault ./test_vault
|
||||
|
||||
2. **Full Edge Check (Graph-Integrität):**
|
||||
Prüft Invarianten (z.B. `next` muss reziprok zu `prev` sein; keine verwaisten Kanten).
|
||||
Prüft Invarianten (z.B. `next` muss reziprok zu `prev` sein).
|
||||
|
||||
python3 -m scripts.edges_full_check
|
||||
|
||||
3. **Unit Tests:**
|
||||
### 7.2 Smoke-Test (E2E)
|
||||
Prüft am laufenden System (Prod oder Dev), ob Semantik, Graph und Feedback funktionieren.
|
||||
|
||||
pytest tests/test_retriever_basic.py tests/test_retriever_edges.py
|
||||
# Retriever Test
|
||||
python scripts/test_retriever_smoke.py --mode hybrid --top-k 5
|
||||
|
||||
### 6.2 Smoke-Test (E2E)
|
||||
Prüft am laufenden System, ob Semantik und Graph funktionieren.
|
||||
# Chat Test (Neu WP05)
|
||||
python tests/test_chat_wp05.py
|
||||
|
||||
python scripts/test_retriever_smoke.py \
|
||||
--query "mindnet" \
|
||||
--mode hybrid \
|
||||
--expand-depth 1 \
|
||||
--top-k 5
|
||||
|
||||
### 6.3 Roundtrip-Test (Datenverlust-Check)
|
||||
Exportiert Qdrant zurück nach Markdown und vergleicht mit Original.
|
||||
|
||||
python3 -m scripts.export_markdown --out ./_export
|
||||
python3 tests/compare_vaults.py --src ./vault --dst ./_export --focus body
|
||||
# Feedback Test
|
||||
python tests/test_feedback_smoke.py --url http://localhost:8001/query
|
||||
|
||||
---
|
||||
|
||||
## 7. Ausblick & Roadmap
|
||||
## 8. Ausblick & Roadmap (Technische Skizzen)
|
||||
|
||||
### 7.1 Self-Healing (WP06)
|
||||
Geplant: Automatisierte Jobs, die `unresolved` Referenzen periodisch prüfen und heilen, wenn die Ziel-Note erstellt wurde. Aktuell manuell via `scripts/resolve_unresolved_references.py`.
|
||||
Wie entwickeln wir die Pipeline weiter?
|
||||
|
||||
### 7.2 Feedback-Logging (WP04c/WP08)
|
||||
Geplant: Speicherung von User-Feedback zu Suchergebnissen, um `retriever.yaml` Gewichte mittelfristig automatisch zu justieren ("Self-Tuning").
|
||||
### 8.1 WP-06: Decision Engine (Skizze)
|
||||
**Ziel:** Aktive Entscheidungsberatung.
|
||||
**Erweiterung:** Der Chat-Router lädt bei Entscheidungfragen gezielt `type: value` Notizen nach, um Optionen gegen Werte abzuwägen.
|
||||
|
||||
### 8.2 WP-08: Self-Tuning (Skizze)
|
||||
**Ziel:** Die Gewichte in `retriever.yaml` basierend auf `feedback.jsonl` optimieren.
|
||||
**Ansatz:** Ein Offline-Learning-Skript `scripts/optimize_weights.py`.
|
||||
1. **Load:** Liest `search_history.jsonl` und joint mit `feedback.jsonl` via `query_id`.
|
||||
2. **Analyze:** Korrelation Scores vs. User-Rating.
|
||||
3. **Optimize:** Vorschlag neuer Gewichte für `retriever.yaml`.
|
||||
+50
-43
@@ -1,11 +1,11 @@
|
||||
# Mindnet v2.2 – User Guide
|
||||
**Datei:** `docs/mindnet_user_guide_v2.2.md`
|
||||
**Stand:** 2025-12-07
|
||||
**Status:** **FINAL** (Konsolidiert WP01–WP04a)
|
||||
**Stand:** 2025-12-08
|
||||
**Status:** **FINAL** (Inkl. RAG & Chat)
|
||||
**Quellen:** `knowledge_design.md`, `wp04_retriever_scoring.md`, `Programmplan_V2.2.md`, `Handbuch.md`.
|
||||
|
||||
> **Willkommen bei Mindnet.**
|
||||
> Dies ist dein persönliches Wissensnetzwerk. Im Gegensatz zu einer normalen Suche (wie Google Drive oder Spotlight), die nur Texte findet, "denkt" Mindnet mit. Dieser Guide zeigt dir, wie du das System nutzt.
|
||||
> Dies ist dein persönliches Wissensnetzwerk. Im Gegensatz zu einer normalen Suche (wie Google Drive), die nur Texte findet, "denkt" Mindnet mit. Es erklärt dir, warum es etwas gefunden hat, und kann dir im Chat Fragen beantworten.
|
||||
|
||||
---
|
||||
|
||||
@@ -32,36 +32,34 @@ Mindnet nutzt eine **Hybride Suche**. Das heißt, es schaut auf deine Worte (Sem
|
||||
Um gute Antworten zu erhalten, formuliere deine Anfragen präzise:
|
||||
|
||||
* **Faktensuche:** "Wie installiere ich Qdrant?"
|
||||
* *Mindnet sucht:* Chunks mit technischer Anleitung. Hier gewinnt oft die reine Text-Ähnlichkeit.
|
||||
* *Mindnet sucht:* Chunks mit technischer Anleitung.
|
||||
* **Zusammenhänge:** "Womit hängt Projekt Alpha zusammen?"
|
||||
* *Mindnet sucht:* Den Projekt-Knoten und folgt den Kanten (`depends_on`, `related_to`). Hier gewinnt der Graph.
|
||||
* *Mindnet sucht:* Den Projekt-Knoten und folgt den Kanten (`depends_on`, `related_to`).
|
||||
* **Entscheidungen:** "Warum nutzen wir Vektordatenbanken?"
|
||||
* *Mindnet sucht:* Notizen vom Typ `decision` oder `principle`. Hier gewinnt das Typ-Gewicht (`retriever_weight`).
|
||||
* *Mindnet sucht:* Notizen vom Typ `decision` oder `principle`.
|
||||
|
||||
### 2.2 Tipps für bessere Ergebnisse
|
||||
1. **Nutze deine Sprache:** Verwende die Begriffe, die du auch in deinen Notizen benutzt hast.
|
||||
2. **Kontext geben:** Statt nur "Qdrant" zu tippen (was alles finden würde), frage "Qdrant Setup für Mindnet", um den Kontext einzuschränken.
|
||||
2. **Kontext geben:** Statt nur "Qdrant" zu tippen, frage "Qdrant Setup für Mindnet", um den Kontext einzuschränken.
|
||||
|
||||
---
|
||||
|
||||
## 3. Ergebnisse interpretieren
|
||||
## 3. Ergebnisse interpretieren (Explanation Layer)
|
||||
|
||||
Wenn Mindnet antwortet, siehst du oft mehr als nur Text. Du siehst eine **Begründung**.
|
||||
Mindnet liefert nicht einfach nur Treffer. Es liefert eine **Begründung** (Explanation). Achte auf diese Hinweise in der Antwort:
|
||||
|
||||
### 3.1 Der Score (Warum ist das hier oben?)
|
||||
Mindnet berechnet für jeden Treffer einen `total_score`. Dieser ist keine Magie, sondern Mathematik:
|
||||
### 3.1 Die Gründe ("Reasons")
|
||||
Das System sagt dir in natürlicher Sprache, warum ein Treffer relevant ist:
|
||||
* *"Hohe textuelle Übereinstimmung."* (Semantik war stark)
|
||||
* *"Bevorzugt aufgrund des Typs 'decision'."* (Typ war wichtig)
|
||||
* *"Verweist auf 'Projekt X' via 'depends_on'."* (Dieser Treffer ist eine wichtige Grundlage für deine Suche)
|
||||
* *"Wird referenziert von 'Wichtige Notiz Y'."* (Dieser Treffer ist eine Autorität im Netzwerk)
|
||||
|
||||
Score = (Text-Treffer) + (Wichtigkeit) + (Vernetzung)
|
||||
### 3.2 Der Score Breakdown
|
||||
Wenn du es genau wissen willst, schau auf die Aufschlüsselung:
|
||||
Score = (Text) + (Typ-Bonus) + (Vernetzungs-Bonus)
|
||||
|
||||
* **Text-Treffer (Semantik):** Wie gut passen die Worte?
|
||||
* **Wichtigkeit (Typ):** Ist die Quelle eine zentrale `decision` (hoch gewichtet) oder nur eine `source` (niedrig)? Ein Treffer in einer Entscheidung schlägt oft einen Treffer in einem Buch-Exzerpt.
|
||||
* **Vernetzung (Edge Bonus):** Wird dieser Inhalt oft von anderen wichtigen Projekten referenziert? Ein "zentraler" Knoten wird bevorzugt.
|
||||
|
||||
### 3.2 Pfade (Der Kontext)
|
||||
Oft zeigt Mindnet im Hintergrund (Explainability):
|
||||
*"Gefunden via: Projekt Alpha -> depends_on -> Vektordatenbank"*
|
||||
|
||||
Das bedeutet: Dieser Treffer ist relevant, weil er eine **Abhängigkeit** deines aktuellen Projekts ist, auch wenn deine Suchworte vielleicht nicht exakt passen. Das ist der Moment, in dem Mindnet "mitdenkt".
|
||||
Ein Treffer mit niedrigem Text-Score kann trotzdem auf Platz 1 landen, wenn er extrem gut vernetzt ist ("Hidden Champion").
|
||||
|
||||
---
|
||||
|
||||
@@ -70,8 +68,7 @@ Das bedeutet: Dieser Treffer ist relevant, weil er eine **Abhängigkeit** deines
|
||||
Mindnet lebt von deinem Input. Du musst kein Techniker sein, um gutes Wissen zu designen. Du schreibst einfach Markdown.
|
||||
|
||||
### 4.1 Die Goldene Regel: "Verlinke semantisch"
|
||||
Statt einfach nur `[[Link]]` zu schreiben, versuche zu sagen, *wie* es zusammenhängt. Das hilft dem Retriever später, den "Pfad" zu finden.
|
||||
|
||||
Statt einfach nur `[[Link]]` zu schreiben, versuche zu sagen, *wie* es zusammenhängt.
|
||||
* Hängt es davon ab? -> `[[rel:depends_on Ziel]]`
|
||||
* Ist es ähnlich? -> `[[rel:similar_to Ziel]]`
|
||||
* Ist es eine Folge davon? -> `[[rel:caused_by Ziel]]`
|
||||
@@ -80,20 +77,9 @@ Statt einfach nur `[[Link]]` zu schreiben, versuche zu sagen, *wie* es zusammenh
|
||||
Mindnet zerlegt deinen Text in Häppchen ("Chunks"). Hilf dabei:
|
||||
* Verwende **Überschriften** (##), um Themen zu trennen.
|
||||
* Schreibe **Absätze**, die einen Gedanken fassen.
|
||||
* Vermeide endlose Textwüsten.
|
||||
|
||||
### 4.3 Typen nutzen
|
||||
Setze im Frontmatter deiner Notizen den richtigen Typ.
|
||||
* `type: project` -> Mindnet weiß: Das hat Aufgaben und Abhängigkeiten.
|
||||
* `type: decision` -> Mindnet weiß: Das ist wichtig und begründet Dinge.
|
||||
* `type: journal` -> Mindnet weiß: Das ist zeitgebunden und weniger wichtig für Grundsatzfragen.
|
||||
|
||||
**Beispiel:**
|
||||
---
|
||||
title: Entscheidung für Python
|
||||
type: decision
|
||||
---
|
||||
Wir nutzen Python, weil es [[rel:solves AI Library Requirements]].
|
||||
Setze im Frontmatter deiner Notizen den richtigen Typ (z.B. `type: project`, `type: decision`). Das steuert automatisch, wie wichtig die Notiz ist.
|
||||
|
||||
---
|
||||
|
||||
@@ -101,14 +87,35 @@ Setze im Frontmatter deiner Notizen den richtigen Typ.
|
||||
|
||||
Mindnet wird schlauer, wenn du es pflegst.
|
||||
|
||||
### 5.1 Ergebnis fehlt?
|
||||
### 5.1 Feedback geben (Data Flywheel)
|
||||
Das System zeichnet nun auf, welche Ergebnisse es liefert (`search_history`).
|
||||
Du kannst Treffer bewerten (1-5 Sterne oder Daumen hoch/runter).
|
||||
* **Was passiert damit?** Mindnet speichert "Situation" (Query) und "Reaktion" (Rating).
|
||||
* **Wozu?** In Zukunft analysiert das System diese Daten, um zu lernen: "Aha, der Nutzer mag Entscheidungen lieber als Quellen". Es passt seine Gewichte dann selbstständig an (Self-Tuning).
|
||||
|
||||
### 5.2 Ergebnis fehlt?
|
||||
* Existiert die Notiz im Vault?
|
||||
* Ist sie isoliert (keine Links)? Isolierte Notizen haben keinen Graph-Bonus und werden schlechter gefunden. **Verlinke sie!**
|
||||
* Ist der Typ `source`? Dann ist das Gewicht niedrig (0.5). Wenn es deine eigene Meinung ist, ändere den Typ auf `concept` oder `experience`.
|
||||
* Ist sie isoliert (keine Links)? Isolierte Notizen haben keinen Graph-Bonus. **Verlinke sie!**
|
||||
|
||||
### 5.2 Falsches Ergebnis?
|
||||
* Ist die Notiz veraltet? Setze `status: archived` (wenn du Filter konfiguriert hast) oder lösche sie.
|
||||
* Wird ein Begriff falsch verstanden? Füge Synonyme oder eine Definition hinzu.
|
||||
---
|
||||
|
||||
### 5.3 Ausblick (Roadmap)
|
||||
In Zukunft (WP08) wirst du Ergebnisse direkt mit "Daumen hoch/runter" bewerten können. Mindnet passt dann seine Gewichte (`retriever.yaml`) automatisch an, um deine Präferenzen zu lernen.
|
||||
## 6. Chat mit Mindnet (Neu in v2.2)
|
||||
|
||||
Neben der Suche (`/query`) gibt es jetzt den Chat (`/chat`).
|
||||
|
||||
### 6.1 Wann Chat, wann Suche?
|
||||
* **Suche:** Wenn du ein konkretes Dokument oder einen Link brauchst.
|
||||
* **Chat:** Wenn du eine Frage hast, die sich aus mehreren Dokumenten zusammensetzt.
|
||||
* *Frage:* "Was ist der Status von Projekt X und welche Risiken gibt es?"
|
||||
* *Antwort:* Mindnet liest die Projekt-Notiz UND verknüpfte Risiko-Notizen und fasst sie zusammen.
|
||||
|
||||
### 6.2 Die Persönlichkeit
|
||||
Der Chatbot agiert als dein "Digitaler Zwilling". Er versucht:
|
||||
1. **Pragmatisch** zu sein (Lösungen statt Theorie).
|
||||
2. **Transparent** zu sein (er sagt, wenn er etwas nicht weiß).
|
||||
3. **Wertebasiert** zu handeln (er bevorzugt Lösungen, die deinen `type: value` Notizen entsprechen).
|
||||
|
||||
### 6.3 Quellen-Check
|
||||
Der Chatbot halluziniert nicht (oder sehr selten). Unter jeder Antwort listet er die **Quellen** auf, die er genutzt hat.
|
||||
* Prüfe immer: Hat er die richtige `[DECISION]`-Notiz gefunden?
|
||||
* Falls nein: Füge in deinem Vault einen Link (`[[rel:depends_on]]`) hinzu, damit er den Zusammenhang beim nächsten Mal sieht.
|
||||
@@ -0,0 +1,44 @@
|
||||
import requests
|
||||
import json
|
||||
import sys
|
||||
|
||||
# Konfiguration
|
||||
API_URL = "http://localhost:8002/chat/" # Port ggf. anpassen
|
||||
QUESTION = "Warum nutzen wir Qdrant für mindnet?" # Eine Frage, zu der du Notizen hast
|
||||
|
||||
def test_chat():
|
||||
payload = {
|
||||
"message": QUESTION,
|
||||
"top_k": 3,
|
||||
"explain": True
|
||||
}
|
||||
|
||||
print(f"Sending Question: '{QUESTION}'...")
|
||||
|
||||
try:
|
||||
response = requests.post(API_URL, json=payload)
|
||||
response.raise_for_status()
|
||||
|
||||
data = response.json()
|
||||
|
||||
print("\n=== RESPONSE ===")
|
||||
print(data["answer"])
|
||||
print("================\n")
|
||||
|
||||
print(f"Query ID: {data['query_id']}")
|
||||
print(f"Latency: {data['latency_ms']}ms")
|
||||
print("\nUsed Sources:")
|
||||
for source in data["sources"]:
|
||||
score = source.get("total_score", 0)
|
||||
note = source.get("note_id", "unknown")
|
||||
print(f"- {note} (Score: {score:.3f})")
|
||||
|
||||
except requests.exceptions.ConnectionError:
|
||||
print("Error: Could not connect to API. Is it running on port 8002?")
|
||||
except Exception as e:
|
||||
print(f"Error: {e}")
|
||||
if 'response' in locals():
|
||||
print(response.text)
|
||||
|
||||
if __name__ == "__main__":
|
||||
test_chat()
|
||||
@@ -0,0 +1,65 @@
|
||||
import requests
|
||||
import json
|
||||
import sys
|
||||
import time
|
||||
|
||||
# Konfiguration
|
||||
BASE_URL = "http://localhost:8001"
|
||||
QUERY_URL = f"{BASE_URL}/query"
|
||||
FEEDBACK_URL = f"{BASE_URL}/feedback"
|
||||
|
||||
def run_test():
|
||||
print(f"--- 1. Sende Suchanfrage an {QUERY_URL} ---")
|
||||
query_payload = {
|
||||
"query": "mindnet architecture",
|
||||
"mode": "hybrid",
|
||||
"top_k": 2,
|
||||
"explain": True # Wir wollen auch Breakdown loggen
|
||||
}
|
||||
|
||||
try:
|
||||
r = requests.post(QUERY_URL, json=query_payload)
|
||||
r.raise_for_status()
|
||||
res_data = r.json()
|
||||
except Exception as e:
|
||||
print(f"ERROR bei Suche: {e}")
|
||||
sys.exit(1)
|
||||
|
||||
query_id = res_data.get("query_id")
|
||||
results = res_data.get("results", [])
|
||||
|
||||
if not query_id:
|
||||
print("FAIL: Keine query_id in der Antwort erhalten!")
|
||||
sys.exit(1)
|
||||
|
||||
if not results:
|
||||
print("WARNUNG: Keine Treffer gefunden, Test kann Feedback nur simuliert senden.")
|
||||
target_node_id = "fake-node-id"
|
||||
else:
|
||||
target_node_id = results[0].get("node_id")
|
||||
|
||||
print(f"SUCCESS: Suche OK. Erhaltene Query-ID: {query_id}")
|
||||
print(f"Target Node für Feedback: {target_node_id}")
|
||||
|
||||
# Kurze Pause, damit Background-Task Zeit hat zu schreiben (nur für Log-Check relevant)
|
||||
time.sleep(0.5)
|
||||
|
||||
print(f"\n--- 2. Sende Feedback an {FEEDBACK_URL} ---")
|
||||
feedback_payload = {
|
||||
"query_id": query_id,
|
||||
"node_id": target_node_id,
|
||||
"score": 1,
|
||||
"comment": "Automatisierter Smoke-Test: Dieser Treffer war hilfreich."
|
||||
}
|
||||
|
||||
try:
|
||||
r_fb = requests.post(FEEDBACK_URL, json=feedback_payload)
|
||||
r_fb.raise_for_status()
|
||||
print(f"SUCCESS: Feedback gesendet. Status: {r_fb.status_code}")
|
||||
print(f"Response: {r_fb.json()}")
|
||||
except Exception as e:
|
||||
print(f"ERROR bei Feedback: {e}")
|
||||
sys.exit(1)
|
||||
|
||||
if __name__ == "__main__":
|
||||
run_test()
|
||||
Reference in new issue
Block a user