Dokumentation aktualisiert
This commit is contained in:
1 parent
b9d73af062
commit
d48b671314
10 files changed
+578
-344
No files matched your search
@@ -1,6 +1,6 @@
|
||||
# mindnet v2.2 — Programmplan
|
||||
**Version:** 2.2.1 (Post-WP04 Update)
|
||||
**Stand:** 2025-12-07
|
||||
**Version:** 2.3.0 (Post-WP05 RAG Integration)
|
||||
**Stand:** 2025-12-08
|
||||
**Status:** Aktiv
|
||||
|
||||
---
|
||||
@@ -14,7 +14,7 @@ mindnet v2.2 entwickelt ein persönliches, wachsendes KI-Gedächtnis, das:
|
||||
- einen KI-Zwilling aufbaut, der ähnlich argumentiert, entscheidet und reflektiert wie du,
|
||||
- über mehrere Kanäle gefüttert wird:
|
||||
- Obsidian-Markdown (primäre Quelle),
|
||||
- Chat-basierter Agent (mindnet-Assistent),
|
||||
- Chat-basierter Agent (RAG-Chat aktiv),
|
||||
- später: Interview-Assistent (strukturierte Dialogerfassung),
|
||||
- automatisch neue Zusammenhänge erkennt und vernetzt (Edges, Typen, Hinweise),
|
||||
- sich durch Rückmeldungen (Feedback) selbst verbessert (Self-Tuning).
|
||||
@@ -31,7 +31,7 @@ Langfristig soll mindnet als **digitales Gegenüber** funktionieren, das:
|
||||
mindnet ist **kein statisches Wissensarchiv**, sondern ein **lebendes, lernendes Gedächtnismodell** mit Fokus auf:
|
||||
|
||||
- persönliche Perspektive,
|
||||
- erklärbare Begründungspfade,
|
||||
- erklärbare Begründungspfade (Why-Layer),
|
||||
- kontinuierliche Erweiterbarkeit,
|
||||
- robuste technische Basis (lokal, nachvollziehbar, versioniert).
|
||||
|
||||
@@ -44,13 +44,13 @@ mindnet ist **kein statisches Wissensarchiv**, sondern ein **lebendes, lernendes
|
||||
Kernprinzipien der Vision:
|
||||
|
||||
- **Erklärbarkeit:**
|
||||
Jede Antwort muss über Edges, Scores, Werte-Bezüge und Herkunftsnotizen begründbar sein.
|
||||
Jede Antwort muss über Edges, Scores, Werte-Bezüge und Herkunftsnotizen begründbar sein. Das System kann Entscheidungen auf zugrundeliegende `[DECISION]`-Notizen zurückführen.
|
||||
|
||||
- **Wachstum:**
|
||||
Das System arbeitet von Anfang an mit unvollständigen Daten, kann aber schrittweise dichter werden, ohne dass alte Notizen massenhaft manuell angepasst werden müssen.
|
||||
|
||||
- **Flexibilität (Late Binding):**
|
||||
Semantik wird überwiegend in Konfiguration (z. B. `types.yaml`, Policies, Knowledge-Design) festgelegt, nicht in jeder einzelnen Markdown-Datei.
|
||||
Semantik wird überwiegend in Konfiguration (z. B. `types.yaml`, `prompts.yaml`, Policies) festgelegt. Die Persönlichkeit entsteht durch das Prompt-Design, nicht durch Hardcoding.
|
||||
|
||||
- **Autonomie & Self-Healing:**
|
||||
mindnet schlägt fehlende Typen, Relationen und Edges vor (z. B. aus Inline-Relationen, Edge-Defaults, Ähnlichkeitsbeziehungen) und baut damit einen „self-healing graph“ auf.
|
||||
@@ -59,7 +59,7 @@ Kernprinzipien der Vision:
|
||||
Feedback zu Antworten (gut/schlecht, relevant/nicht relevant) fließt in Score-Gewichte, Policies und ggf. Edge-Struktur ein.
|
||||
|
||||
- **Persönlichkeit:**
|
||||
Entscheidungen werden wert- und erfahrungsbasiert begründet; mittelfristig entsteht ein Persönlichkeitsmodell, das den KI-Zwilling trägt.
|
||||
Entscheidungen werden wert- und erfahrungsbasiert begründet; das System agiert als KI-Zwilling durch Nutzung lokaler LLMs (z.B. Phi-3/Mistral).
|
||||
|
||||
- **Incremental Growth:**
|
||||
Das System muss mit wenigen, heterogenen Notizen starten und sich fortlaufend verdichten können – ohne Retro-Massenmigrationen im Vault.
|
||||
@@ -68,32 +68,29 @@ Kernprinzipien der Vision:
|
||||
|
||||
## 3. Programmziele
|
||||
|
||||
### 3.1 Kurzfristig (nächste Monate)
|
||||
### 3.1 Kurzfristig (Abgeschlossen / Laufend)
|
||||
|
||||
- Automatische Sammlung von Wissen aus Markdown-Vault und ersten Chat-Dialogen.
|
||||
- Automatische Sammlung von Wissen aus Markdown-Vault.
|
||||
- Aufbau eines stabilen Graph-Speichers in Qdrant (`*_notes`, `*_chunks`, `*_edges`).
|
||||
- Semantischer und graphbasierter Retriever (WP-04a abgeschlossen).
|
||||
- **Erklärbarkeit:** Why-Layer liefert Begründungen zu Treffern (WP-04b abgeschlossen).
|
||||
- **Feedback-Loop:** Systematisches Logging von Suche und Bewertung (WP-04c abgeschlossen).
|
||||
- **RAG-Chat:** KI antwortet in natürlicher Sprache auf Basis von Wissen und Persönlichkeit (WP-05 abgeschlossen).
|
||||
- Technische Basis: FastAPI, Qdrant, Ollama (Local LLM).
|
||||
- Automatisierte Erkennung von Beziehungen:
|
||||
- Wikilinks, Inline-Relationen, Callout-Edges, Typ-Defaults.
|
||||
- Schrittweises Lernen über Feedback (Score-Tuning, noch „manuell“ konfiguriert).
|
||||
- „Mitwachsendes“ Schema ohne Obsidian-Umstrukturierungen:
|
||||
- Neues Wissen kann sofort erfasst werden,
|
||||
- bestehende Notizen bleiben gültig (Virtual Schema Layer).
|
||||
- Technische Basis für die späteren Agenten und den KI-Zwilling:
|
||||
- lokaler FastAPI-Dienst,
|
||||
- Qdrant als Graph-Backend,
|
||||
- konfigurierbarer Retriever (`retriever.yaml`).
|
||||
|
||||
### 3.2 Mittelfristig
|
||||
### 3.2 Mittelfristig (Nächste Schritte)
|
||||
|
||||
- Persönlichkeitsprofil wird stabil erkannt und für Antworten genutzt (Typen, Werte-Notizen, Entscheidungsnotizen).
|
||||
- **RAG-Chat:** KI antwortet in natürlicher Sprache auf Basis von Wissen und Persönlichkeit (WP-05).
|
||||
- Why-Layer: KI-Assistenz für Entscheidungen mit nachvollziehbarer Argumentation.
|
||||
- **Decision Engine (WP-06):** Das System berät aktiv bei Entscheidungen, indem es `type: value` und `type: principle` Notizen gegen eine Fragestellung abwägt.
|
||||
- **Chat Interface (WP-10):** Ablösung der Terminal-Interaktion durch ein Web-Frontend (Streamlit/React) für bessere UX und einfacheres Feedback-Geben.
|
||||
- Interview-Assistent erstellt neue Notes automatisch (strukturierte Dialoge → Markdown).
|
||||
- mindnet erzeugt Vorschläge für neue Notes & Edges und bietet einen „Vernetzungs-Assistenten“ für manuell angelegte Notizen.
|
||||
- Agenten können über MCP-Tools (`mindnet_query`, `mindnet_subgraph`, `mindnet_store_note`, `mindnet_explain`) auf mindnet zugreifen.
|
||||
- Agenten können über MCP-Tools (`mindnet_query`, `mindnet_chat`) auf mindnet zugreifen.
|
||||
|
||||
### 3.3 Langfristig
|
||||
|
||||
@@ -112,54 +109,53 @@ Kernprinzipien der Vision:
|
||||
Die folgenden Prinzipien steuern alle Workpackages und Entscheidungen:
|
||||
|
||||
1. **Late Binding (späte Semantik)**
|
||||
- Struktur und Interpretation werden in Konfigurationen (z. B. `types.yaml`, Policies, `knowledge_design.md`) definiert, nicht direkt in den Vault-Dateien.
|
||||
- Erlaubt spätere Anpassungen ohne manuelle Massenänderungen.
|
||||
- Struktur und Interpretation werden in Konfigurationen (z. B. `types.yaml`, `prompts.yaml`, Policies) definiert, nicht direkt in den Vault-Dateien.
|
||||
- Die "Persönlichkeit" des Chats ist ein Prompt-Template, kein Code.
|
||||
|
||||
2. **Virtual Schema Layer**
|
||||
- Typen, Regeln, Policies, Edge-Defaults werden im Schema-Layer beschrieben (z. B. `knowledge_design.md`, `mindnet_functional_architecture.md`, `types.yaml`).
|
||||
- Typen, Regeln, Policies, Edge-Defaults werden im Schema-Layer beschrieben.
|
||||
- Markdown-Dateien benötigen nur minimale, robuste Angaben (Titel, Typ, optionale Properties).
|
||||
|
||||
3. **Self-Healing Graph**
|
||||
- Der Graph wird regelmäßig analysiert (Edges, Centrality, fehlende Links).
|
||||
- Automatisierte Jobs ergänzen fehlende Kanten (ähnliche Inhalte, typisierte Standardbeziehungen, Backlinks).
|
||||
- Automatisierte Jobs ergänzen fehlende Kanten.
|
||||
|
||||
4. **Deterministische IDs**
|
||||
- Notes, Chunks und Edges erhalten stabile IDs (z. B. UUIDv5, deterministische `note_id`/`chunk_id`/`edge_id`).
|
||||
- Notes, Chunks und Edges erhalten stabile IDs (z. B. UUIDv5).
|
||||
- Der Graph ist jederzeit wiederaufbaubar (Import-Pipeline idempotent).
|
||||
|
||||
5. **Full Explainability**
|
||||
- Jeder Score, jede Beziehung, jeder Vorschlag muss über:
|
||||
- Edges,
|
||||
- Scoring-Komponenten (Semantik, Typ, Edge-Bonus, Centrality),
|
||||
- Provenienz (Notizen, Chunks, rule_id, confidence) nachvollziehbar sein.
|
||||
5. **Full Explainability & Context Enrichment**
|
||||
- Jeder Score, jede Beziehung muss nachvollziehbar sein.
|
||||
- Dem LLM werden Metadaten (`[DECISION]`, `[PROJECT]`) injiziert, um Halluzinationen zu vermeiden und logische Schlüsse zu ermöglichen.
|
||||
|
||||
6. **Persistence First**
|
||||
- Obsidian bleibt die primäre Quelle der Wahrheit.
|
||||
- mindnet ergänzt, schlägt Änderungen vor, schreibt aber nur kontrolliert (z. B. über Rewriter oder Vernetzungs-Assistent mit Freigabe).
|
||||
- mindnet ergänzt, schlägt Änderungen vor, schreibt aber nur kontrolliert.
|
||||
|
||||
7. **Minimalinvasives Schreiben**
|
||||
- Automatische Veränderungen an Markdown-Dateien erfolgen ausschließlich nach expliziter Zustimmung.
|
||||
- Rewriter und Vernetzungs-Assistent arbeiten grundsätzlich im Vorschlagsmodus.
|
||||
|
||||
8. **Incremental Growth & Early Value**
|
||||
- Das System muss bereits mit wenigen Notizen und einem kleinen Vault sinnvolle Antworten liefern (Retrieval-MVP).
|
||||
- Spätere Erweiterungen (Typen, Policies, zusätzliche Edges) dürfen bestehende Notizen nicht „ungültig“ machen, sondern ergänzen sie.
|
||||
- Feedback-Mechanismen werden früh eingeführt, auch wenn sie anfangs noch nicht vollautomatisch ausgewertet werden.
|
||||
- Das System muss bereits mit wenigen Notizen und einem kleinen Vault sinnvolle Antworten liefern.
|
||||
- Feedback-Mechanismen werden früh eingeführt.
|
||||
|
||||
9. **Observability & Testbarkeit**
|
||||
- Jeder Importlauf, jede Retriever-Anfrage und jede Policy-Änderung soll prüfbar sein (Logs, Traces, Tests, Reports).
|
||||
- Jeder Importlauf, jede Retriever-Anfrage und jede Policy-Änderung soll prüfbar sein.
|
||||
|
||||
10. **Local First & Privacy**
|
||||
- Nutzung lokaler LLMs (Ollama/Phi-3) für Inference. Keine Daten verlassen den Server.
|
||||
|
||||
---
|
||||
|
||||
## 5. Programmstruktur (Phasenmodell)
|
||||
|
||||
Phase A – Fundament & Import
|
||||
Phase B – Semantik, Graph & Lernen
|
||||
Phase C – Persönlichkeitsmodell & KI-Zwilling
|
||||
Phase D – Agenten, MCP & Interaktion
|
||||
Phase A – Fundament & Import (Fertig)
|
||||
Phase B – Semantik, Graph & Lernen (Fertig)
|
||||
Phase C – Persönlichkeitsmodell & KI-Zwilling (Laufend)
|
||||
Phase D – Agenten, MCP & Interaktion (Startend)
|
||||
Phase E – Review, Refactoring, Dokumentation
|
||||
|
||||
Alle Workpackages sind einer Phase zugeordnet. WP-01 bis WP-04c sind bereits erfolgreich abgeschlossen.
|
||||
Alle Workpackages sind einer Phase zugeordnet. WP-01 bis WP-05 sind bereits erfolgreich abgeschlossen.
|
||||
|
||||
---
|
||||
|
||||
@@ -236,7 +232,7 @@ Aufbau eines hybriden Retrievers, der Semantik, Typwissen und Graph-Informatione
|
||||
### WP-04b – Explanation Layer ("Why-Layer") (abgeschlossen)
|
||||
|
||||
**Phase:** B
|
||||
**Status:** 🟢 abgeschlossen (Neu)
|
||||
**Status:** 🟢 abgeschlossen
|
||||
|
||||
**Ziel:**
|
||||
Treffererklärungen liefern, die verständlich machen, warum ein Ergebnis gewählt wurde.
|
||||
@@ -251,7 +247,7 @@ Treffererklärungen liefern, die verständlich machen, warum ein Ergebnis gewäh
|
||||
### WP-04c – Feedback Logging & Bewertungsdaten (abgeschlossen)
|
||||
|
||||
**Phase:** B
|
||||
**Status:** 🟢 abgeschlossen (Neu)
|
||||
**Status:** 🟢 abgeschlossen
|
||||
|
||||
**Ziel:**
|
||||
Grundlage für Self-Tuning schaffen durch systematisches Logging.
|
||||
@@ -264,19 +260,19 @@ Grundlage für Self-Tuning schaffen durch systematisches Logging.
|
||||
|
||||
---
|
||||
|
||||
### WP-05 – Persönlichkeitsmodell & RAG-Chat (Startbereit)
|
||||
### WP-05 – Persönlichkeitsmodell & RAG-Chat (abgeschlossen)
|
||||
|
||||
**Phase:** C
|
||||
**Status:** 🟡 geplant (Nächster Schritt)
|
||||
**Status:** 🟢 abgeschlossen
|
||||
|
||||
**Ziel:**
|
||||
Aufbau eines RAG-Systems, das nicht nur sucht, sondern in natürlicher Sprache antwortet und dabei eine definierte Persönlichkeit (Werte, Prinzipien) einnimmt.
|
||||
Aufbau eines RAG-Systems, das in natürlicher Sprache antwortet und Kontext versteht.
|
||||
|
||||
**Umfang:**
|
||||
- **Config:** `config/prompts.yaml` für System-Prompts, Werte und RAG-Templates.
|
||||
- **Service:** `llm_service.py` für Text-Generierung (Ollama-Anbindung).
|
||||
- **Router:** `/chat` Endpoint (Kontext-Assembly -> Prompt -> LLM).
|
||||
- **Persönlichkeit:** Definition von "Mindnet" als KI-Zwilling (Stil, Haltung).
|
||||
**Erreichte Ergebnisse:**
|
||||
- **Infrastruktur:** Integration von Ollama (Phi-3 Mini) in den Service-Layer.
|
||||
- **Router:** `/chat` Endpoint mit "Hybrid Retrieval Enforcement".
|
||||
- **Context Enrichment:** Injection von Metadaten (`[TYPE]`, `[SCORE]`) in den Prompt, damit kleine Modelle (SLMs) komplexe Zusammenhänge ("Warum?") verstehen.
|
||||
- **Config:** `prompts.yaml` steuert System-Prompt und RAG-Template.
|
||||
|
||||
**Aufwand / Komplexität:**
|
||||
- Aufwand: Mittel
|
||||
@@ -284,18 +280,32 @@ Aufbau eines RAG-Systems, das nicht nur sucht, sondern in natürlicher Sprache a
|
||||
|
||||
---
|
||||
|
||||
### WP-05b – Advanced Chat (Optional)
|
||||
|
||||
**Phase:** C
|
||||
**Status:** ⚪ optional
|
||||
|
||||
**Ziel:**
|
||||
Erweiterung des Chats um Gedächtnis (History) und einfache Tools.
|
||||
|
||||
**Umfang:**
|
||||
- Implementierung von `ChatHistory` (vergangene Nachrichten in den Kontext).
|
||||
- Einfache Tool-Nutzung (z.B. "Suche in Web").
|
||||
|
||||
---
|
||||
|
||||
### WP-06 – Decision Engine (geplant)
|
||||
|
||||
**Phase:** C
|
||||
**Status:** 🟡 geplant
|
||||
**Status:** 🟡 geplant (Priorität A)
|
||||
|
||||
**Ziel:**
|
||||
Entscheidungsunterstützung auf Basis von Wissen, Persönlichkeit und Zielen – inklusive nachvollziehbarer Begründung.
|
||||
|
||||
**Umfang:**
|
||||
- Identifikation typischer Entscheidungssituationen.
|
||||
- Integration von fachlichem Wissen, Erfahrungen und Persönlichkeitsmodell.
|
||||
- Ableitung von Entscheidungs-Templates / Heuristiken.
|
||||
- Erweiterung des RAG-Kontexts um gezieltes Nachladen von `type: value` und `type: principle`.
|
||||
- Prompt-Engineering für "Trade-off Analyse" (Pro/Contra basierend auf Werten).
|
||||
- Output-Formatierung als Entscheidungsvorlage.
|
||||
|
||||
**Aufwand / Komplexität:**
|
||||
- Aufwand: Mittel
|
||||
@@ -360,17 +370,18 @@ Sicherstellen, dass bestehende und neue Obsidian-Vaults schrittweise in mindnet
|
||||
### WP-10 – Chat-Interface & Writeback (geplant)
|
||||
|
||||
**Phase:** D
|
||||
**Status:** 🟡 geplant
|
||||
**Status:** 🟡 geplant (Priorität B - "Quick Win")
|
||||
|
||||
**Ziel:**
|
||||
Chat-basierter mindnet-Agent, der sowohl Fragen beantwortet als auch neue Notizen erzeugen/aktualisieren kann (Writeback Richtung Vault).
|
||||
Ablösung der Terminal-Interaktion durch ein grafisches Interface.
|
||||
|
||||
**Umfang:**
|
||||
- Chat-Frontend.
|
||||
- Technologie: Streamlit oder einfaches HTML/JS Frontend.
|
||||
- Funktionen: Chat-Verlauf, Anzeige der Quellen (mit Scores), Daumen-hoch/runter für WP-04c Feedback.
|
||||
- Funktionen für Q&A sowie Vorschlag neuer Notes/Edges.
|
||||
|
||||
**Aufwand / Komplexität:**
|
||||
- Aufwand: Hoch
|
||||
- Aufwand: Hoch (durch Writeback) / Mittel (für reines Frontend)
|
||||
- Komplexität: Hoch
|
||||
|
||||
---
|
||||
@@ -475,7 +486,8 @@ Aufräumen, dokumentieren, stabilisieren – insbesondere für Onboarding Dritte
|
||||
| WP04a | 🟢 |
|
||||
| WP04b | 🟢 |
|
||||
| WP04c | 🟢 |
|
||||
| WP05 | 🟡 |
|
||||
| WP05 | 🟢 |
|
||||
| WP05b | ⚪ |
|
||||
| WP06 | 🟡 |
|
||||
| WP07 | 🟡 |
|
||||
| WP08 | 🟡 |
|
||||
@@ -495,6 +507,7 @@ Aufräumen, dokumentieren, stabilisieren – insbesondere für Onboarding Dritte
|
||||
- Jede wesentliche Änderung an Architektur/Schema erhält einen eigenen Commit.
|
||||
- Jedes Workpackage erhält ein eigenes Chat-Fenster mit dediziertem Prompt (WP-Hand-Over).
|
||||
- Programmleitung verantwortet Konsistenz und Priorisierung.
|
||||
- **Modell-Governance:** Das verwendete LLM (z.B. `phi3:mini`) wird in der `.env` und `config.py` festgeschrieben. Updates erfordern Tests gegen die "Why-Layer" Referenzfragen.
|
||||
|
||||
---
|
||||
|
||||
@@ -510,4 +523,4 @@ mindnet v2.2 ist so aufgesetzt, dass:
|
||||
- langfristig ein **KI-Zwilling** aufgebaut wird, der deine Werte, Erfahrungen und Denkweise spiegelt,
|
||||
- die technische Architektur (FastAPI, Qdrant, YAML-Policies, MCP-Integration) lokal, nachvollziehbar und erweiterbar bleibt.
|
||||
|
||||
Dieser Programmplan bildet die konsolidierte Grundlage (v2.2.1) für alle weiteren Arbeiten.
|
||||
Dieser Programmplan bildet die konsolidierte Grundlage (v2.3.0) für alle weiteren Arbeiten.
|
||||
Reference in new issue
Block a user