Compare commits
22
Commits
| Author | SHA1 | Date | |
|---|---|---|---|
|
|
62aa24a4bc | ||
|
|
f2de556c16 | ||
|
|
67d865d373 | ||
|
|
5c0a36c9ea | ||
|
|
f50ae4c934 | ||
|
|
1fefc538ac | ||
|
|
a520b62d08 | ||
|
|
1063c94f5d | ||
|
|
954e21ca81 | ||
|
|
fd39211801 | ||
|
|
ff23ce6f00 | ||
|
|
86464cec11 | ||
|
|
ba57e8b43f | ||
|
|
be406d230f | ||
|
|
38abde8516 | ||
|
|
9bb6566419 | ||
|
|
2acaf3c060 | ||
|
|
ec33163d98 | ||
|
|
2d0913cf3b | ||
|
|
76ea8e3350 | ||
|
|
bbc1e589f5 | ||
|
|
987e297c07 |
No files matched your search
@@ -1,6 +1,6 @@
|
|||||||
# mindnet v2.2 — Programmplan
|
# mindnet v2.2 — Programmplan
|
||||||
**Version:** 2.3.1 (Post-WP06 Decision Engine)
|
**Version:** 2.4.0 (Inkl. WP-07 Interview & WP-10a Draft Editor)
|
||||||
**Stand:** 2025-12-09
|
**Stand:** 2025-12-10
|
||||||
**Status:** Aktiv
|
**Status:** Aktiv
|
||||||
|
|
||||||
---
|
---
|
||||||
@@ -24,10 +24,11 @@
|
|||||||
- [WP-05 – Persönlichkeitsmodell \& RAG-Chat (abgeschlossen)](#wp-05--persönlichkeitsmodell--rag-chat-abgeschlossen)
|
- [WP-05 – Persönlichkeitsmodell \& RAG-Chat (abgeschlossen)](#wp-05--persönlichkeitsmodell--rag-chat-abgeschlossen)
|
||||||
- [WP-05b – Advanced Chat (Optional)](#wp-05b--advanced-chat-optional)
|
- [WP-05b – Advanced Chat (Optional)](#wp-05b--advanced-chat-optional)
|
||||||
- [WP-06 – Decision Engine \& Hybrid Router (abgeschlossen)](#wp-06--decision-engine--hybrid-router-abgeschlossen)
|
- [WP-06 – Decision Engine \& Hybrid Router (abgeschlossen)](#wp-06--decision-engine--hybrid-router-abgeschlossen)
|
||||||
- [WP-07 – Interview-Assistent (geplant)](#wp-07--interview-assistent-geplant)
|
- [WP-07 – Interview-Assistent (abgeschlossen)](#wp-07--interview-assistent-abgeschlossen)
|
||||||
- [WP-08 – Self-Tuning v1/v2 (geplant)](#wp-08--self-tuning-v1v2-geplant)
|
- [WP-08 – Self-Tuning v1/v2 (geplant)](#wp-08--self-tuning-v1v2-geplant)
|
||||||
- [WP-09 – Vault-Onboarding \& Migration (geplant)](#wp-09--vault-onboarding--migration-geplant)
|
- [WP-09 – Vault-Onboarding \& Migration (geplant)](#wp-09--vault-onboarding--migration-geplant)
|
||||||
- [WP-10 – Chat-Interface \& Writeback (geplant)](#wp-10--chat-interface--writeback-geplant)
|
- [WP-10 – Chat-Interface \& Writeback (abgeschlossen)](#wp-10--chat-interface--writeback-abgeschlossen)
|
||||||
|
- [WP-10a – GUI Evolution: Draft Editor (abgeschlossen)](#wp-10a--gui-evolution-draft-editor-abgeschlossen)
|
||||||
- [WP-11 – Knowledge-Builder \& Vernetzungs-Assistent (geplant)](#wp-11--knowledge-builder--vernetzungs-assistent-geplant)
|
- [WP-11 – Knowledge-Builder \& Vernetzungs-Assistent (geplant)](#wp-11--knowledge-builder--vernetzungs-assistent-geplant)
|
||||||
- [WP-12 – Knowledge Rewriter (Soft Mode, geplant)](#wp-12--knowledge-rewriter-soft-mode-geplant)
|
- [WP-12 – Knowledge Rewriter (Soft Mode, geplant)](#wp-12--knowledge-rewriter-soft-mode-geplant)
|
||||||
- [WP-13 – MCP-Integration \& Agenten-Layer (geplant)](#wp-13--mcp-integration--agenten-layer-geplant)
|
- [WP-13 – MCP-Integration \& Agenten-Layer (geplant)](#wp-13--mcp-integration--agenten-layer-geplant)
|
||||||
@@ -38,13 +39,11 @@
|
|||||||
- [10. Governance \& Versionierung](#10-governance--versionierung)
|
- [10. Governance \& Versionierung](#10-governance--versionierung)
|
||||||
- [11. Executive Summary](#11-executive-summary)
|
- [11. Executive Summary](#11-executive-summary)
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
---
|
---
|
||||||
|
|
||||||
## 1. Programmauftrag
|
## 1. Programmauftrag
|
||||||
|
|
||||||
mindnet v2.2 entwickelt ein persönliches, wachsendes KI-Gedächtnis, das:
|
mindnet v2.4 entwickelt ein persönliches, wachsendes KI-Gedächtnis, das:
|
||||||
|
|
||||||
- Wissen, Erfahrungen, Werte und Entscheidungen speichert,
|
- Wissen, Erfahrungen, Werte und Entscheidungen speichert,
|
||||||
- diese Informationen semantisch verknüpft und rekonstruierbar macht,
|
- diese Informationen semantisch verknüpft und rekonstruierbar macht,
|
||||||
@@ -52,7 +51,7 @@ mindnet v2.2 entwickelt ein persönliches, wachsendes KI-Gedächtnis, das:
|
|||||||
- über mehrere Kanäle gefüttert wird:
|
- über mehrere Kanäle gefüttert wird:
|
||||||
- Obsidian-Markdown (primäre Quelle),
|
- Obsidian-Markdown (primäre Quelle),
|
||||||
- Chat-basierter Agent (Decision Engine & RAG-Chat aktiv),
|
- Chat-basierter Agent (Decision Engine & RAG-Chat aktiv),
|
||||||
- später: Interview-Assistent (strukturierte Dialogerfassung),
|
- **Interview-Assistent (One-Shot Extraction aktiv)**,
|
||||||
- automatisch neue Zusammenhänge erkennt und vernetzt (Edges, Typen, Hinweise),
|
- automatisch neue Zusammenhänge erkennt und vernetzt (Edges, Typen, Hinweise),
|
||||||
- sich durch Rückmeldungen (Feedback) selbst verbessert (Self-Tuning).
|
- sich durch Rückmeldungen (Feedback) selbst verbessert (Self-Tuning).
|
||||||
|
|
||||||
@@ -87,7 +86,7 @@ Kernprinzipien der Vision:
|
|||||||
Das System arbeitet von Anfang an mit unvollständigen Daten, kann aber schrittweise dichter werden, ohne dass alte Notizen massenhaft manuell angepasst werden müssen.
|
Das System arbeitet von Anfang an mit unvollständigen Daten, kann aber schrittweise dichter werden, ohne dass alte Notizen massenhaft manuell angepasst werden müssen.
|
||||||
|
|
||||||
- **Flexibilität (Late Binding):**
|
- **Flexibilität (Late Binding):**
|
||||||
Semantik wird überwiegend in Konfiguration (z. B. `types.yaml`, `prompts.yaml`, `decision_engine.yaml`, Policies) festgelegt. Die Persönlichkeit entsteht durch das Config-Design, nicht durch Hardcoding.
|
Semantik wird überwiegend in Konfiguration (z. B. `types.yaml`, `prompts.yaml`, `decision_engine.yaml`) festgelegt. Die Persönlichkeit entsteht durch das Config-Design, nicht durch Hardcoding.
|
||||||
|
|
||||||
- **Autonomie & Self-Healing:**
|
- **Autonomie & Self-Healing:**
|
||||||
mindnet schlägt fehlende Typen, Relationen und Edges vor (z. B. aus Inline-Relationen, Edge-Defaults, Ähnlichkeitsbeziehungen) und baut damit einen „self-healing graph“ auf.
|
mindnet schlägt fehlende Typen, Relationen und Edges vor (z. B. aus Inline-Relationen, Edge-Defaults, Ähnlichkeitsbeziehungen) und baut damit einen „self-healing graph“ auf.
|
||||||
@@ -115,7 +114,9 @@ Kernprinzipien der Vision:
|
|||||||
- **RAG-Chat:** KI antwortet in natürlicher Sprache auf Basis von Wissen und Persönlichkeit (WP-05 abgeschlossen).
|
- **RAG-Chat:** KI antwortet in natürlicher Sprache auf Basis von Wissen und Persönlichkeit (WP-05 abgeschlossen).
|
||||||
- **Decision Engine:** System erkennt Intent (Fakt vs. Entscheidung) und wägt Werte ab (WP-06 abgeschlossen).
|
- **Decision Engine:** System erkennt Intent (Fakt vs. Entscheidung) und wägt Werte ab (WP-06 abgeschlossen).
|
||||||
- **Multi-Persona:** System wechselt den Tonfall (Empathisch vs. Analytisch) situativ (WP-06 abgeschlossen).
|
- **Multi-Persona:** System wechselt den Tonfall (Empathisch vs. Analytisch) situativ (WP-06 abgeschlossen).
|
||||||
- Technische Basis: FastAPI, Qdrant, Ollama (Local LLM).
|
- **Chat Interface:** Web-basiertes Frontend (Streamlit) für einfache Interaktion und Feedback-Gabe (WP-10 abgeschlossen).
|
||||||
|
- **Interview-Assistent (WP-07):** One-Shot Extraction von Notizen ("Neues Projekt anlegen") ist live.
|
||||||
|
- Technische Basis: FastAPI, Qdrant, Ollama (Local LLM), Streamlit.
|
||||||
- Automatisierte Erkennung von Beziehungen:
|
- Automatisierte Erkennung von Beziehungen:
|
||||||
- Wikilinks, Inline-Relationen, Callout-Edges, Typ-Defaults.
|
- Wikilinks, Inline-Relationen, Callout-Edges, Typ-Defaults.
|
||||||
- „Mitwachsendes“ Schema ohne Obsidian-Umstrukturierungen:
|
- „Mitwachsendes“ Schema ohne Obsidian-Umstrukturierungen:
|
||||||
@@ -124,9 +125,8 @@ Kernprinzipien der Vision:
|
|||||||
|
|
||||||
### 3.2 Mittelfristig (Nächste Schritte)
|
### 3.2 Mittelfristig (Nächste Schritte)
|
||||||
|
|
||||||
- **Chat Interface (WP-10):** Ablösung der Terminal-Interaktion durch ein Web-Frontend (Streamlit/React) für bessere UX und einfacheres Feedback-Geben.
|
- **Self-Tuning (WP-08):** Optimierung der Gewichte in `retriever.yaml` basierend auf dem gesammelten Feedback.
|
||||||
- Interview-Assistent erstellt neue Notes automatisch (strukturierte Dialoge → Markdown).
|
- **Knowledge-Builder (WP-11):** Assistent zur Analyse und Vernetzung manuell erstellter Notizen.
|
||||||
- mindnet erzeugt Vorschläge für neue Notes & Edges und bietet einen „Vernetzungs-Assistenten“ für manuell angelegte Notizen.
|
|
||||||
- Agenten können über MCP-Tools (`mindnet_query`, `mindnet_chat`) auf mindnet zugreifen.
|
- Agenten können über MCP-Tools (`mindnet_query`, `mindnet_chat`) auf mindnet zugreifen.
|
||||||
|
|
||||||
### 3.3 Langfristig
|
### 3.3 Langfristig
|
||||||
@@ -189,10 +189,10 @@ Die folgenden Prinzipien steuern alle Workpackages und Entscheidungen:
|
|||||||
Phase A – Fundament & Import (Fertig)
|
Phase A – Fundament & Import (Fertig)
|
||||||
Phase B – Semantik, Graph & Lernen (Fertig)
|
Phase B – Semantik, Graph & Lernen (Fertig)
|
||||||
Phase C – Persönlichkeitsmodell & KI-Zwilling (Fertig)
|
Phase C – Persönlichkeitsmodell & KI-Zwilling (Fertig)
|
||||||
Phase D – Agenten, MCP & Interaktion (Startend)
|
Phase D – Agenten, MCP & Interaktion (Aktiv)
|
||||||
Phase E – Review, Refactoring, Dokumentation
|
Phase E – Review, Refactoring, Dokumentation
|
||||||
|
|
||||||
Alle Workpackages sind einer Phase zugeordnet. WP-01 bis WP-06 sind bereits erfolgreich abgeschlossen.
|
Alle Workpackages sind einer Phase zugeordnet. WP-01 bis WP-07 und WP-10/10a sind erfolgreich abgeschlossen.
|
||||||
|
|
||||||
---
|
---
|
||||||
|
|
||||||
@@ -352,17 +352,18 @@ Transformation vom reinen Wissens-Abrufer zum strategischen Entscheidungspartner
|
|||||||
|
|
||||||
---
|
---
|
||||||
|
|
||||||
### WP-07 – Interview-Assistent (geplant)
|
### WP-07 – Interview-Assistent (abgeschlossen)
|
||||||
|
|
||||||
**Phase:** C
|
**Phase:** C/D
|
||||||
**Status:** 🟡 geplant
|
**Status:** 🟢 abgeschlossen
|
||||||
|
|
||||||
**Ziel:**
|
**Ziel:**
|
||||||
Dialogbasierter Erfassungs-Assistent, der strukturierte Interviews führt und daraus konsistente Markdown-Notizen generiert.
|
Dialogbasierter Erfassungs-Assistent, der strukturierte Interviews führt und daraus konsistente Markdown-Notizen generiert.
|
||||||
|
|
||||||
**Umfang:**
|
**Erreichte Ergebnisse:**
|
||||||
- Design von Interview-Flows.
|
- **One-Shot Extractor:** Extrahiert Notiz-Inhalte aus einem Prompt.
|
||||||
- Konvertierung von Dialogtranskripten in typisierte Notes.
|
- **Schema Injection:** Typspezifische Pflichtfelder (Late Binding).
|
||||||
|
- **Draft Generator:** Liefert validen Markdown-Codeblock mit `status: draft`.
|
||||||
|
|
||||||
**Aufwand / Komplexität:**
|
**Aufwand / Komplexität:**
|
||||||
- Aufwand: Niedrig/Mittel
|
- Aufwand: Niedrig/Mittel
|
||||||
@@ -373,7 +374,7 @@ Dialogbasierter Erfassungs-Assistent, der strukturierte Interviews führt und da
|
|||||||
### WP-08 – Self-Tuning v1/v2 (geplant)
|
### WP-08 – Self-Tuning v1/v2 (geplant)
|
||||||
|
|
||||||
**Phase:** B/C
|
**Phase:** B/C
|
||||||
**Status:** 🟡 geplant
|
**Status:** 🟡 geplant (Nächster Fokus)
|
||||||
|
|
||||||
**Ziel:**
|
**Ziel:**
|
||||||
Aufbau eines Self-Tuning-Mechanismus, der auf Basis von Feedback-Daten (WP-04c) Vorschläge für Retriever- und Policy-Anpassungen macht.
|
Aufbau eines Self-Tuning-Mechanismus, der auf Basis von Feedback-Daten (WP-04c) Vorschläge für Retriever- und Policy-Anpassungen macht.
|
||||||
@@ -406,25 +407,46 @@ Sicherstellen, dass bestehende und neue Obsidian-Vaults schrittweise in mindnet
|
|||||||
|
|
||||||
---
|
---
|
||||||
|
|
||||||
### WP-10 – Chat-Interface & Writeback (geplant)
|
### WP-10 – Chat-Interface & Writeback (abgeschlossen)
|
||||||
|
|
||||||
**Phase:** D
|
**Phase:** D
|
||||||
**Status:** 🟡 geplant (Priorität B - "Quick Win")
|
**Status:** 🟢 abgeschlossen
|
||||||
|
|
||||||
**Ziel:**
|
**Ziel:**
|
||||||
Ablösung der Terminal-Interaktion durch ein grafisches Interface.
|
Ablösung der Terminal-Interaktion durch ein grafisches Interface.
|
||||||
|
|
||||||
**Umfang:**
|
**Erreichte Ergebnisse:**
|
||||||
- Technologie: Streamlit oder einfaches HTML/JS Frontend.
|
- **Tech-Stack:** Streamlit Frontend (`app/frontend/ui.py`).
|
||||||
- Funktionen: Chat-Verlauf, Anzeige der Quellen (mit Scores), Daumen-hoch/runter für WP-04c Feedback.
|
- **Funktionen:** Chat-Verlauf, Visualisierung von Intents und Quellen (Expander).
|
||||||
- Funktionen für Q&A sowie Vorschlag neuer Notes/Edges.
|
- **Feedback:** Globales Rating (Sterne) und granulare Quellen-Bewertung (Faces).
|
||||||
|
- **Writeback:** Mockup-Interface für neue Einträge (Vorbereitung WP-07).
|
||||||
|
- **Deployment:** Systemd-Services für Prod (8501) und Dev (8502).
|
||||||
|
|
||||||
**Aufwand / Komplexität:**
|
**Aufwand / Komplexität:**
|
||||||
- Aufwand: Hoch (durch Writeback) / Mittel (für reines Frontend)
|
- Aufwand: Hoch
|
||||||
- Komplexität: Hoch
|
- Komplexität: Hoch
|
||||||
|
|
||||||
---
|
---
|
||||||
|
|
||||||
|
### WP-10a – GUI Evolution: Draft Editor (abgeschlossen)
|
||||||
|
|
||||||
|
**Phase:** D
|
||||||
|
**Status:** 🟢 abgeschlossen
|
||||||
|
|
||||||
|
**Ziel:**
|
||||||
|
Anpassung der GUI an komplexe Interaktionsmuster, die durch den Interview-Assistenten und Knowledge-Builder entstehen.
|
||||||
|
|
||||||
|
**Erreichte Ergebnisse:**
|
||||||
|
- **Draft Editor:** Interaktive `st.text_area` für generierte Entwürfe.
|
||||||
|
- **Sanitizer:** `normalize_meta_and_body` zur Korrektur von LLM-Fehlern.
|
||||||
|
- **Download/Copy:** Export-Funktionen für Markdown.
|
||||||
|
|
||||||
|
**Aufwand / Komplexität:**
|
||||||
|
- Aufwand: Mittel
|
||||||
|
- Komplexität: Mittel
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
### WP-11 – Knowledge-Builder & Vernetzungs-Assistent (geplant)
|
### WP-11 – Knowledge-Builder & Vernetzungs-Assistent (geplant)
|
||||||
|
|
||||||
**Phase:** D
|
**Phase:** D
|
||||||
@@ -489,6 +511,7 @@ Aufräumen, dokumentieren, stabilisieren – insbesondere für Onboarding Dritte
|
|||||||
WP01 → WP02 → WP03 → WP04a
|
WP01 → WP02 → WP03 → WP04a
|
||||||
WP04a → WP04b → WP04c → WP08
|
WP04a → WP04b → WP04c → WP08
|
||||||
WP03 → WP05 → WP06 → WP07
|
WP03 → WP05 → WP06 → WP07
|
||||||
|
WP07 → WP10a
|
||||||
WP03 → WP09
|
WP03 → WP09
|
||||||
WP01/WP03 → WP10 → WP11 → WP12
|
WP01/WP03 → WP10 → WP11 → WP12
|
||||||
WP03/WP04 → WP13
|
WP03/WP04 → WP13
|
||||||
@@ -508,6 +531,7 @@ Aufräumen, dokumentieren, stabilisieren – insbesondere für Onboarding Dritte
|
|||||||
| WP08 | Hoch | Hoch |
|
| WP08 | Hoch | Hoch |
|
||||||
| WP09 | Mittel | Niedrig/Mittel |
|
| WP09 | Mittel | Niedrig/Mittel |
|
||||||
| WP10 | Hoch | Hoch |
|
| WP10 | Hoch | Hoch |
|
||||||
|
| WP10a | Mittel | Mittel |
|
||||||
| WP11 | Hoch | Hoch |
|
| WP11 | Hoch | Hoch |
|
||||||
| WP12 | Niedrig/Mittel | Mittel |
|
| WP12 | Niedrig/Mittel | Mittel |
|
||||||
| WP13 | Mittel | Mittel |
|
| WP13 | Mittel | Mittel |
|
||||||
@@ -528,10 +552,11 @@ Aufräumen, dokumentieren, stabilisieren – insbesondere für Onboarding Dritte
|
|||||||
| WP05 | 🟢 |
|
| WP05 | 🟢 |
|
||||||
| WP05b | ⚪ |
|
| WP05b | ⚪ |
|
||||||
| WP06 | 🟢 |
|
| WP06 | 🟢 |
|
||||||
| WP07 | 🟡 |
|
| WP07 | 🟢 |
|
||||||
| WP08 | 🟡 |
|
| WP08 | 🟡 |
|
||||||
| WP09 | 🟡 |
|
| WP09 | 🟡 |
|
||||||
| WP10 | 🟡 |
|
| WP10 | 🟢 |
|
||||||
|
| WP10a | 🟢 |
|
||||||
| WP11 | 🟡 |
|
| WP11 | 🟡 |
|
||||||
| WP12 | 🟡 |
|
| WP12 | 🟡 |
|
||||||
| WP13 | 🟡 |
|
| WP13 | 🟡 |
|
||||||
@@ -552,14 +577,15 @@ Aufräumen, dokumentieren, stabilisieren – insbesondere für Onboarding Dritte
|
|||||||
|
|
||||||
## 11. Executive Summary
|
## 11. Executive Summary
|
||||||
|
|
||||||
mindnet v2.2 ist so aufgesetzt, dass:
|
mindnet v2.4 ist so aufgesetzt, dass:
|
||||||
|
|
||||||
- du **schrittweise** Wissen erfassen kannst (Obsidian + Chat + später Interview-Assistent),
|
- du **schrittweise** Wissen erfassen kannst (Obsidian + Chat + Interview-Drafts),
|
||||||
- die Struktur **mitwächst**, ohne Retro-Massenarbeit im Vault,
|
- die Struktur **mitwächst**, ohne Retro-Massenarbeit im Vault,
|
||||||
- ein **hybrider Retriever** qualitativ hochwertige, erklärbare Antworten liefert,
|
- ein **hybrider Retriever** qualitativ hochwertige, erklärbare Antworten liefert,
|
||||||
- ein **Self-Healing- und Self-Tuning-Mechanismus** vorbereitet ist (durch WP-04c Feedback-Daten),
|
- ein **Self-Healing- und Self-Tuning-Mechanismus** vorbereitet ist (durch WP-04c Feedback-Daten),
|
||||||
- ein **Persönlichkeitsmodell** (Decision Engine, Empathie) existiert und den Tonfall situativ anpasst,
|
- ein **Persönlichkeitsmodell** (Decision Engine, Empathie) existiert und den Tonfall situativ anpasst,
|
||||||
|
- eine **grafische Oberfläche** (WP-10/10a) existiert, die komplexe Zusammenhänge visualisiert und Co-Creation ermöglicht,
|
||||||
- langfristig ein **KI-Zwilling** aufgebaut wird, der deine Werte, Erfahrungen und Denkweise spiegelt,
|
- langfristig ein **KI-Zwilling** aufgebaut wird, der deine Werte, Erfahrungen und Denkweise spiegelt,
|
||||||
- die technische Architektur (FastAPI, Qdrant, YAML-Policies, MCP-Integration) lokal, nachvollziehbar und erweiterbar bleibt.
|
- die technische Architektur (FastAPI, Qdrant, YAML-Policies, MCP-Integration) lokal, nachvollziehbar und erweiterbar bleibt.
|
||||||
|
|
||||||
Dieser Programmplan bildet die konsolidierte Grundlage (v2.3.1) für alle weiteren Arbeiten.
|
Dieser Programmplan bildet die konsolidierte Grundlage (v2.4.0) für alle weiteren Arbeiten.
|
||||||
@@ -0,0 +1,375 @@
|
|||||||
|
import streamlit as st
|
||||||
|
import requests
|
||||||
|
import uuid
|
||||||
|
import os
|
||||||
|
import json
|
||||||
|
import re
|
||||||
|
import yaml
|
||||||
|
from datetime import datetime
|
||||||
|
from pathlib import Path
|
||||||
|
from dotenv import load_dotenv
|
||||||
|
|
||||||
|
# --- CONFIGURATION ---
|
||||||
|
load_dotenv()
|
||||||
|
API_BASE_URL = os.getenv("MINDNET_API_URL", "http://localhost:8002")
|
||||||
|
CHAT_ENDPOINT = f"{API_BASE_URL}/chat"
|
||||||
|
FEEDBACK_ENDPOINT = f"{API_BASE_URL}/feedback"
|
||||||
|
HISTORY_FILE = Path("data/logs/search_history.jsonl")
|
||||||
|
|
||||||
|
# Timeout Strategy
|
||||||
|
timeout_setting = os.getenv("MINDNET_API_TIMEOUT") or os.getenv("MINDNET_LLM_TIMEOUT")
|
||||||
|
API_TIMEOUT = float(timeout_setting) if timeout_setting else 300.0
|
||||||
|
|
||||||
|
# --- PAGE SETUP ---
|
||||||
|
st.set_page_config(page_title="mindnet v2.3.2", page_icon="🧠", layout="wide")
|
||||||
|
|
||||||
|
# --- CSS STYLING ---
|
||||||
|
st.markdown("""
|
||||||
|
<style>
|
||||||
|
.block-container { padding-top: 2rem; max_width: 1000px; margin: auto; }
|
||||||
|
|
||||||
|
.intent-badge {
|
||||||
|
background-color: #e8f0fe; color: #1a73e8;
|
||||||
|
padding: 4px 10px; border-radius: 12px;
|
||||||
|
font-size: 0.8rem; font-weight: 600;
|
||||||
|
border: 1px solid #d2e3fc; display: inline-block; margin-bottom: 0.5rem;
|
||||||
|
}
|
||||||
|
|
||||||
|
.draft-box {
|
||||||
|
border: 1px solid #d0d7de;
|
||||||
|
border-radius: 6px;
|
||||||
|
padding: 16px;
|
||||||
|
background-color: #f6f8fa;
|
||||||
|
margin-top: 10px;
|
||||||
|
margin-bottom: 10px;
|
||||||
|
}
|
||||||
|
|
||||||
|
.preview-box {
|
||||||
|
border: 1px solid #e0e0e0;
|
||||||
|
border-radius: 6px;
|
||||||
|
padding: 24px;
|
||||||
|
background-color: white;
|
||||||
|
font-family: -apple-system,BlinkMacSystemFont,"Segoe UI",Helvetica,Arial,sans-serif;
|
||||||
|
}
|
||||||
|
|
||||||
|
.debug-info {
|
||||||
|
font-size: 0.7rem;
|
||||||
|
color: #888;
|
||||||
|
margin-bottom: 5px;
|
||||||
|
}
|
||||||
|
</style>
|
||||||
|
""", unsafe_allow_html=True)
|
||||||
|
|
||||||
|
# --- SESSION STATE ---
|
||||||
|
if "messages" not in st.session_state: st.session_state.messages = []
|
||||||
|
if "user_id" not in st.session_state: st.session_state.user_id = str(uuid.uuid4())
|
||||||
|
|
||||||
|
# --- HELPER FUNCTIONS ---
|
||||||
|
|
||||||
|
def normalize_meta_and_body(meta, body):
|
||||||
|
"""
|
||||||
|
Sanitizer: Stellt sicher, dass nur erlaubte Felder im Frontmatter bleiben.
|
||||||
|
Alles andere wird in den Body verschoben (Repair-Strategie).
|
||||||
|
"""
|
||||||
|
ALLOWED_KEYS = {"title", "type", "status", "tags", "id", "created", "updated", "aliases", "lang"}
|
||||||
|
|
||||||
|
clean_meta = {}
|
||||||
|
extra_content = []
|
||||||
|
|
||||||
|
# 1. Title/Titel Normalisierung
|
||||||
|
if "titel" in meta and "title" not in meta:
|
||||||
|
meta["title"] = meta.pop("titel")
|
||||||
|
|
||||||
|
# 2. Tags Normalisierung (Synonyme)
|
||||||
|
tag_candidates = ["tags", "emotionale_keywords", "keywords", "schluesselwoerter"]
|
||||||
|
all_tags = []
|
||||||
|
for key in tag_candidates:
|
||||||
|
if key in meta:
|
||||||
|
val = meta[key]
|
||||||
|
if isinstance(val, list): all_tags.extend(val)
|
||||||
|
elif isinstance(val, str): all_tags.extend([t.strip() for t in val.split(",")])
|
||||||
|
|
||||||
|
# 3. Filterung und Verschiebung
|
||||||
|
for key, val in meta.items():
|
||||||
|
if key in ALLOWED_KEYS:
|
||||||
|
clean_meta[key] = val
|
||||||
|
elif key in tag_candidates:
|
||||||
|
pass # Schon oben behandelt
|
||||||
|
else:
|
||||||
|
# Unerlaubtes Feld (z.B. 'situation') -> Ab in den Body!
|
||||||
|
if val and isinstance(val, str):
|
||||||
|
header = key.replace("_", " ").title()
|
||||||
|
extra_content.append(f"## {header}\n{val}\n")
|
||||||
|
|
||||||
|
if all_tags:
|
||||||
|
clean_meta["tags"] = list(set(all_tags))
|
||||||
|
|
||||||
|
# 4. Body Zusammenbau
|
||||||
|
if extra_content:
|
||||||
|
new_section = "\n".join(extra_content)
|
||||||
|
final_body = f"{new_section}\n{body}"
|
||||||
|
else:
|
||||||
|
final_body = body
|
||||||
|
|
||||||
|
return clean_meta, final_body
|
||||||
|
|
||||||
|
def parse_markdown_draft(full_text):
|
||||||
|
"""
|
||||||
|
Robustes Parsing + Sanitization.
|
||||||
|
"""
|
||||||
|
clean_text = full_text
|
||||||
|
|
||||||
|
# Codeblock entfernen
|
||||||
|
pattern_block = r"```(?:markdown|md)?\s*(.*?)\s*```"
|
||||||
|
match_block = re.search(pattern_block, full_text, re.DOTALL | re.IGNORECASE)
|
||||||
|
if match_block:
|
||||||
|
clean_text = match_block.group(1).strip()
|
||||||
|
|
||||||
|
# Frontmatter splitten
|
||||||
|
parts = re.split(r"^---+\s*$", clean_text, maxsplit=2, flags=re.MULTILINE)
|
||||||
|
|
||||||
|
meta = {}
|
||||||
|
body = clean_text
|
||||||
|
|
||||||
|
if len(parts) >= 3:
|
||||||
|
yaml_str = parts[1]
|
||||||
|
body_candidate = parts[2]
|
||||||
|
try:
|
||||||
|
parsed = yaml.safe_load(yaml_str)
|
||||||
|
if isinstance(parsed, dict):
|
||||||
|
meta = parsed
|
||||||
|
body = body_candidate.strip()
|
||||||
|
except Exception:
|
||||||
|
pass
|
||||||
|
|
||||||
|
return normalize_meta_and_body(meta, body)
|
||||||
|
|
||||||
|
def build_markdown_doc(meta, body):
|
||||||
|
"""Baut das finale Dokument zusammen."""
|
||||||
|
if "id" not in meta or meta["id"] == "generated_on_save":
|
||||||
|
safe_title = re.sub(r'[^a-zA-Z0-9]', '-', meta.get('title', 'note')).lower()[:30]
|
||||||
|
meta["id"] = f"{datetime.now().strftime('%Y%m%d')}-{safe_title}-{uuid.uuid4().hex[:4]}"
|
||||||
|
|
||||||
|
meta["updated"] = datetime.now().strftime("%Y-%m-%d")
|
||||||
|
|
||||||
|
# Sortierung für UX
|
||||||
|
ordered_meta = {}
|
||||||
|
prio_keys = ["id", "type", "title", "status", "tags"]
|
||||||
|
for k in prio_keys:
|
||||||
|
if k in meta: ordered_meta[k] = meta.pop(k)
|
||||||
|
ordered_meta.update(meta)
|
||||||
|
|
||||||
|
try:
|
||||||
|
yaml_str = yaml.dump(ordered_meta, default_flow_style=None, sort_keys=False, allow_unicode=True).strip()
|
||||||
|
except:
|
||||||
|
yaml_str = "error: generating_yaml"
|
||||||
|
|
||||||
|
return f"---\n{yaml_str}\n---\n\n{body}"
|
||||||
|
|
||||||
|
def load_history_from_logs(limit=10):
|
||||||
|
queries = []
|
||||||
|
if HISTORY_FILE.exists():
|
||||||
|
try:
|
||||||
|
with open(HISTORY_FILE, "r", encoding="utf-8") as f:
|
||||||
|
lines = f.readlines()
|
||||||
|
for line in reversed(lines):
|
||||||
|
try:
|
||||||
|
entry = json.loads(line)
|
||||||
|
q = entry.get("query_text")
|
||||||
|
if q and q not in queries:
|
||||||
|
queries.append(q)
|
||||||
|
if len(queries) >= limit: break
|
||||||
|
except: continue
|
||||||
|
except: pass
|
||||||
|
return queries
|
||||||
|
|
||||||
|
def send_chat_message(message: str, top_k: int, explain: bool):
|
||||||
|
try:
|
||||||
|
response = requests.post(
|
||||||
|
CHAT_ENDPOINT,
|
||||||
|
json={"message": message, "top_k": top_k, "explain": explain},
|
||||||
|
timeout=API_TIMEOUT
|
||||||
|
)
|
||||||
|
response.raise_for_status()
|
||||||
|
return response.json()
|
||||||
|
except Exception as e:
|
||||||
|
return {"error": str(e)}
|
||||||
|
|
||||||
|
def submit_feedback(query_id, node_id, score, comment=None):
|
||||||
|
try:
|
||||||
|
requests.post(FEEDBACK_ENDPOINT, json={"query_id": query_id, "node_id": node_id, "score": score, "comment": comment}, timeout=2)
|
||||||
|
st.toast(f"Feedback ({score}) gesendet!")
|
||||||
|
except: pass
|
||||||
|
|
||||||
|
# --- UI COMPONENTS ---
|
||||||
|
|
||||||
|
def render_sidebar():
|
||||||
|
with st.sidebar:
|
||||||
|
st.title("🧠 mindnet")
|
||||||
|
st.caption("v2.3.2 | WP-10 UI")
|
||||||
|
mode = st.radio("Modus", ["💬 Chat", "📝 Manueller Editor"], index=0)
|
||||||
|
st.divider()
|
||||||
|
st.subheader("⚙️ Settings")
|
||||||
|
top_k = st.slider("Quellen (Top-K)", 1, 10, 5)
|
||||||
|
explain = st.toggle("Explanation Layer", True)
|
||||||
|
st.divider()
|
||||||
|
st.subheader("🕒 Verlauf")
|
||||||
|
for q in load_history_from_logs(8):
|
||||||
|
if st.button(f"🔎 {q[:25]}...", key=f"hist_{q}", use_container_width=True):
|
||||||
|
st.session_state.messages.append({"role": "user", "content": q})
|
||||||
|
st.rerun()
|
||||||
|
return mode, top_k, explain
|
||||||
|
|
||||||
|
def render_draft_editor(msg):
|
||||||
|
qid = msg.get('query_id', str(uuid.uuid4()))
|
||||||
|
key_base = f"draft_{qid}"
|
||||||
|
|
||||||
|
# 1. Init
|
||||||
|
if f"{key_base}_init" not in st.session_state:
|
||||||
|
meta, body = parse_markdown_draft(msg["content"])
|
||||||
|
|
||||||
|
st.session_state[f"{key_base}_type"] = meta.get("type", "default")
|
||||||
|
st.session_state[f"{key_base}_title"] = meta.get("title", "")
|
||||||
|
|
||||||
|
tags_raw = meta.get("tags", [])
|
||||||
|
st.session_state[f"{key_base}_tags"] = ", ".join(tags_raw) if isinstance(tags_raw, list) else str(tags_raw)
|
||||||
|
|
||||||
|
st.session_state[f"{key_base}_body"] = body.strip()
|
||||||
|
st.session_state[f"{key_base}_meta"] = meta
|
||||||
|
st.session_state[f"{key_base}_init"] = True
|
||||||
|
|
||||||
|
# 2. UI
|
||||||
|
st.markdown(f'<div class="draft-box">', unsafe_allow_html=True)
|
||||||
|
st.markdown("### 📝 Entwurf bearbeiten")
|
||||||
|
|
||||||
|
# Metadata
|
||||||
|
c1, c2 = st.columns([2, 1])
|
||||||
|
with c1:
|
||||||
|
new_title = st.text_input("Titel", value=st.session_state.get(f"{key_base}_title", ""), key=f"{key_base}_inp_title")
|
||||||
|
with c2:
|
||||||
|
known_types = ["concept", "project", "decision", "experience", "journal", "person", "value", "goal", "principle", "default"]
|
||||||
|
curr_type = st.session_state.get(f"{key_base}_type", "default")
|
||||||
|
if curr_type not in known_types: known_types.append(curr_type)
|
||||||
|
new_type = st.selectbox("Typ", known_types, index=known_types.index(curr_type), key=f"{key_base}_sel_type")
|
||||||
|
|
||||||
|
new_tags = st.text_input("Tags (kommagetrennt)", value=st.session_state.get(f"{key_base}_tags", ""), key=f"{key_base}_inp_tags")
|
||||||
|
|
||||||
|
# Tabs
|
||||||
|
tab_edit, tab_view = st.tabs(["✏️ Inhalt", "👁️ Vorschau"])
|
||||||
|
|
||||||
|
with tab_edit:
|
||||||
|
st.caption("Bearbeite hier den Inhalt. Metadaten (oben) werden automatisch hinzugefügt.")
|
||||||
|
new_body = st.text_area(
|
||||||
|
"Body",
|
||||||
|
value=st.session_state.get(f"{key_base}_body", ""),
|
||||||
|
height=500,
|
||||||
|
key=f"{key_base}_txt_body",
|
||||||
|
label_visibility="collapsed"
|
||||||
|
)
|
||||||
|
|
||||||
|
# Reassembly
|
||||||
|
final_tags_list = [t.strip() for t in new_tags.split(",") if t.strip()]
|
||||||
|
final_meta = st.session_state.get(f"{key_base}_meta", {}).copy()
|
||||||
|
final_meta.update({
|
||||||
|
"id": "generated_on_save",
|
||||||
|
"type": new_type,
|
||||||
|
"title": new_title,
|
||||||
|
"status": "draft",
|
||||||
|
"tags": final_tags_list
|
||||||
|
})
|
||||||
|
|
||||||
|
final_doc = build_markdown_doc(final_meta, new_body)
|
||||||
|
|
||||||
|
with tab_view:
|
||||||
|
st.markdown('<div class="preview-box">', unsafe_allow_html=True)
|
||||||
|
st.markdown(final_doc)
|
||||||
|
st.markdown('</div>', unsafe_allow_html=True)
|
||||||
|
|
||||||
|
st.markdown("---")
|
||||||
|
|
||||||
|
# Actions
|
||||||
|
b1, b2 = st.columns([1, 1])
|
||||||
|
with b1:
|
||||||
|
fname = f"{datetime.now().strftime('%Y%m%d')}-{new_type}.md"
|
||||||
|
st.download_button("💾 Download .md", data=final_doc, file_name=fname, mime="text/markdown")
|
||||||
|
with b2:
|
||||||
|
if st.button("📋 Code anzeigen", key=f"{key_base}_btn_copy"):
|
||||||
|
st.code(final_doc, language="markdown")
|
||||||
|
|
||||||
|
st.markdown("</div>", unsafe_allow_html=True)
|
||||||
|
|
||||||
|
|
||||||
|
def render_chat_interface(top_k, explain):
|
||||||
|
for idx, msg in enumerate(st.session_state.messages):
|
||||||
|
with st.chat_message(msg["role"]):
|
||||||
|
if msg["role"] == "assistant":
|
||||||
|
# Meta
|
||||||
|
intent = msg.get("intent", "UNKNOWN")
|
||||||
|
src = msg.get("intent_source", "?")
|
||||||
|
icon = {"EMPATHY":"❤️", "DECISION":"⚖️", "CODING":"💻", "FACT":"📚", "INTERVIEW":"📝"}.get(intent, "🧠")
|
||||||
|
st.markdown(f'<div class="intent-badge">{icon} Intent: {intent} <span style="opacity:0.6; font-size:0.8em">({src})</span></div>', unsafe_allow_html=True)
|
||||||
|
|
||||||
|
# Debugging (Always visible for safety)
|
||||||
|
with st.expander("🐞 Debug Raw Payload", expanded=False):
|
||||||
|
st.json(msg)
|
||||||
|
|
||||||
|
# Logic
|
||||||
|
if intent == "INTERVIEW":
|
||||||
|
render_draft_editor(msg)
|
||||||
|
else:
|
||||||
|
st.markdown(msg["content"])
|
||||||
|
|
||||||
|
# Sources
|
||||||
|
if "sources" in msg and msg["sources"]:
|
||||||
|
for hit in msg["sources"]:
|
||||||
|
with st.expander(f"📄 {hit.get('note_id', '?')} ({hit.get('total_score', 0):.2f})"):
|
||||||
|
st.markdown(f"_{hit.get('source', {}).get('text', '')[:300]}..._")
|
||||||
|
if hit.get('explanation'):
|
||||||
|
st.caption(f"Grund: {hit['explanation']['reasons'][0]['message']}")
|
||||||
|
def _cb(qid=msg.get("query_id"), nid=hit.get('node_id')):
|
||||||
|
val = st.session_state.get(f"fb_src_{qid}_{nid}")
|
||||||
|
if val is not None: submit_feedback(qid, nid, val+1)
|
||||||
|
st.feedback("faces", key=f"fb_src_{msg.get('query_id')}_{hit.get('node_id')}", on_change=_cb)
|
||||||
|
|
||||||
|
if "query_id" in msg:
|
||||||
|
qid = msg["query_id"]
|
||||||
|
st.feedback("stars", key=f"fb_glob_{qid}", on_change=lambda: submit_feedback(qid, "generated_answer", st.session_state[f"fb_glob_{qid}"]+1))
|
||||||
|
else:
|
||||||
|
st.markdown(msg["content"])
|
||||||
|
|
||||||
|
if prompt := st.chat_input("Frage Mindnet..."):
|
||||||
|
st.session_state.messages.append({"role": "user", "content": prompt})
|
||||||
|
st.rerun()
|
||||||
|
|
||||||
|
if len(st.session_state.messages) > 0 and st.session_state.messages[-1]["role"] == "user":
|
||||||
|
with st.chat_message("assistant"):
|
||||||
|
with st.spinner("Thinking..."):
|
||||||
|
resp = send_chat_message(st.session_state.messages[-1]["content"], top_k, explain)
|
||||||
|
if "error" in resp:
|
||||||
|
st.error(resp["error"])
|
||||||
|
else:
|
||||||
|
st.session_state.messages.append({
|
||||||
|
"role": "assistant",
|
||||||
|
"content": resp.get("answer"),
|
||||||
|
"intent": resp.get("intent", "FACT"),
|
||||||
|
"intent_source": resp.get("intent_source", "Unknown"),
|
||||||
|
"sources": resp.get("sources", []),
|
||||||
|
"query_id": resp.get("query_id")
|
||||||
|
})
|
||||||
|
st.rerun()
|
||||||
|
|
||||||
|
def render_manual_editor():
|
||||||
|
st.header("📝 Manueller Editor")
|
||||||
|
c1, c2 = st.columns([1, 2])
|
||||||
|
n_type = c1.selectbox("Typ", ["concept", "project", "decision", "experience", "value", "goal"])
|
||||||
|
tags = c2.text_input("Tags")
|
||||||
|
body = st.text_area("Inhalt", height=400, placeholder="# Titel\n\nText...")
|
||||||
|
if st.button("Code anzeigen"):
|
||||||
|
meta = {"type": n_type, "status": "draft", "tags": [t.strip() for t in tags.split(",")]}
|
||||||
|
st.code(build_markdown_doc(meta, body), language="markdown")
|
||||||
|
|
||||||
|
mode, top_k, explain = render_sidebar()
|
||||||
|
if mode == "💬 Chat":
|
||||||
|
render_chat_interface(top_k, explain)
|
||||||
|
else:
|
||||||
|
render_manual_editor()
|
||||||
+9
-4
@@ -6,7 +6,7 @@ Zweck:
|
|||||||
WP-06 Update: Intent & Intent-Source in ChatResponse.
|
WP-06 Update: Intent & Intent-Source in ChatResponse.
|
||||||
|
|
||||||
Version:
|
Version:
|
||||||
0.6.1 (WP-06: Decision Engine Transparency)
|
0.6.2 (WP-06: Decision Engine Transparency, Erweiterung des Feeback Request)
|
||||||
Stand:
|
Stand:
|
||||||
2025-12-09
|
2025-12-09
|
||||||
"""
|
"""
|
||||||
@@ -64,11 +64,14 @@ class QueryRequest(BaseModel):
|
|||||||
|
|
||||||
class FeedbackRequest(BaseModel):
|
class FeedbackRequest(BaseModel):
|
||||||
"""
|
"""
|
||||||
User-Feedback zu einem spezifischen Treffer.
|
User-Feedback zu einem spezifischen Treffer oder der Gesamtantwort.
|
||||||
"""
|
"""
|
||||||
query_id: str = Field(..., description="ID der ursprünglichen Suche")
|
query_id: str = Field(..., description="ID der ursprünglichen Suche")
|
||||||
node_id: str = Field(..., description="ID des bewerteten Treffers")
|
# node_id ist optional: Wenn leer oder "generated_answer", gilt es für die Antwort.
|
||||||
score: int = Field(..., ge=0, le=1, description="1 (Positiv) oder 0 (Negativ/Irrelevant)")
|
# Wenn eine echte Chunk-ID, gilt es für die Quelle.
|
||||||
|
node_id: str = Field(..., description="ID des bewerteten Treffers oder 'generated_answer'")
|
||||||
|
# Update: Range auf 1-5 erweitert für differenziertes Tuning
|
||||||
|
score: int = Field(..., ge=1, le=5, description="1 (Irrelevant/Falsch) bis 5 (Perfekt)")
|
||||||
comment: Optional[str] = None
|
comment: Optional[str] = None
|
||||||
|
|
||||||
|
|
||||||
@@ -153,3 +156,5 @@ class ChatResponse(BaseModel):
|
|||||||
latency_ms: int
|
latency_ms: int
|
||||||
intent: Optional[str] = Field("FACT", description="WP-06: Erkannter Intent (FACT/DECISION)")
|
intent: Optional[str] = Field("FACT", description="WP-06: Erkannter Intent (FACT/DECISION)")
|
||||||
intent_source: Optional[str] = Field("Unknown", description="WP-06: Quelle der Intent-Erkennung (Keyword vs. LLM)")
|
intent_source: Optional[str] = Field("Unknown", description="WP-06: Quelle der Intent-Erkennung (Keyword vs. LLM)")
|
||||||
|
|
||||||
|
|
||||||
+159
-40
@@ -1,6 +1,13 @@
|
|||||||
"""
|
"""
|
||||||
app/routers/chat.py — RAG Endpunkt (WP-06 Hybrid Router v3)
|
app/routers/chat.py — RAG Endpunkt (WP-06 Hybrid Router + WP-07 Interview Mode)
|
||||||
Update: Transparenz über Intent-Source (Keyword vs. LLM).
|
Version: 2.4.0 (Interview Support)
|
||||||
|
|
||||||
|
Features:
|
||||||
|
- Hybrid Intent Router (Keyword + LLM)
|
||||||
|
- Strategic Retrieval (Late Binding via Config)
|
||||||
|
- Interview Loop (Schema-driven Data Collection)
|
||||||
|
- Context Enrichment (Payload/Source Fallback)
|
||||||
|
- Data Flywheel (Feedback Logging Integration)
|
||||||
"""
|
"""
|
||||||
|
|
||||||
from fastapi import APIRouter, HTTPException, Depends
|
from fastapi import APIRouter, HTTPException, Depends
|
||||||
@@ -15,6 +22,7 @@ from app.config import get_settings
|
|||||||
from app.models.dto import ChatRequest, ChatResponse, QueryRequest, QueryHit
|
from app.models.dto import ChatRequest, ChatResponse, QueryRequest, QueryHit
|
||||||
from app.services.llm_service import LLMService
|
from app.services.llm_service import LLMService
|
||||||
from app.core.retriever import Retriever
|
from app.core.retriever import Retriever
|
||||||
|
from app.services.feedback_service import log_search
|
||||||
|
|
||||||
router = APIRouter()
|
router = APIRouter()
|
||||||
logger = logging.getLogger(__name__)
|
logger = logging.getLogger(__name__)
|
||||||
@@ -54,6 +62,47 @@ def get_decision_strategy(intent: str) -> Dict[str, Any]:
|
|||||||
strategies = config.get("strategies", {})
|
strategies = config.get("strategies", {})
|
||||||
return strategies.get(intent, strategies.get("FACT", {}))
|
return strategies.get(intent, strategies.get("FACT", {}))
|
||||||
|
|
||||||
|
# --- Helper: Target Type Detection (WP-07) ---
|
||||||
|
|
||||||
|
def _detect_target_type(message: str, configured_schemas: Dict[str, Any]) -> str:
|
||||||
|
"""
|
||||||
|
Versucht zu erraten, welchen Notiz-Typ der User erstellen will.
|
||||||
|
Nutzt Keywords und Mappings.
|
||||||
|
"""
|
||||||
|
message_lower = message.lower()
|
||||||
|
|
||||||
|
# 1. Direkter Match mit Schema-Keys (z.B. "projekt", "entscheidung")
|
||||||
|
# Ignoriere 'default' hier
|
||||||
|
for type_key in configured_schemas.keys():
|
||||||
|
if type_key == "default":
|
||||||
|
continue
|
||||||
|
if type_key in message_lower:
|
||||||
|
return type_key
|
||||||
|
|
||||||
|
# 2. Synonym-Mapping (Deutsch -> Schema Key)
|
||||||
|
# Dies verbessert die UX, falls User deutsche Begriffe nutzen
|
||||||
|
synonyms = {
|
||||||
|
"projekt": "project",
|
||||||
|
"vorhaben": "project",
|
||||||
|
"entscheidung": "decision",
|
||||||
|
"beschluss": "decision",
|
||||||
|
"ziel": "goal",
|
||||||
|
"erfahrung": "experience",
|
||||||
|
"lektion": "experience",
|
||||||
|
"wert": "value",
|
||||||
|
"prinzip": "principle",
|
||||||
|
"grundsatz": "principle",
|
||||||
|
"notiz": "default",
|
||||||
|
"idee": "default"
|
||||||
|
}
|
||||||
|
|
||||||
|
for term, schema_key in synonyms.items():
|
||||||
|
if term in message_lower:
|
||||||
|
# Prüfen, ob der gemappte Key auch konfiguriert ist
|
||||||
|
if schema_key in configured_schemas:
|
||||||
|
return schema_key
|
||||||
|
|
||||||
|
return "default"
|
||||||
|
|
||||||
# --- Dependencies ---
|
# --- Dependencies ---
|
||||||
|
|
||||||
@@ -77,7 +126,7 @@ def _build_enriched_context(hits: List[QueryHit]) -> str:
|
|||||||
)
|
)
|
||||||
title = hit.note_id or "Unbekannt"
|
title = hit.note_id or "Unbekannt"
|
||||||
|
|
||||||
# FIX: Wir holen den Typ aus Payload oder Source (Fallback)
|
# [FIX] Robustes Auslesen des Typs (Payload > Source > Unknown)
|
||||||
payload = hit.payload or {}
|
payload = hit.payload or {}
|
||||||
note_type = payload.get("type") or source.get("type", "unknown")
|
note_type = payload.get("type") or source.get("type", "unknown")
|
||||||
note_type = str(note_type).upper()
|
note_type = str(note_type).upper()
|
||||||
@@ -159,52 +208,104 @@ async def chat_endpoint(
|
|||||||
|
|
||||||
# Strategy Load
|
# Strategy Load
|
||||||
strategy = get_decision_strategy(intent)
|
strategy = get_decision_strategy(intent)
|
||||||
inject_types = strategy.get("inject_types", [])
|
|
||||||
prompt_key = strategy.get("prompt_template", "rag_template")
|
prompt_key = strategy.get("prompt_template", "rag_template")
|
||||||
prepend_instr = strategy.get("prepend_instruction", "")
|
|
||||||
|
|
||||||
# 2. Primary Retrieval
|
# --- SPLIT LOGIC: INTERVIEW vs. RAG ---
|
||||||
query_req = QueryRequest(
|
|
||||||
query=request.message,
|
|
||||||
mode="hybrid",
|
|
||||||
top_k=request.top_k,
|
|
||||||
explain=request.explain
|
|
||||||
)
|
|
||||||
retrieve_result = await retriever.search(query_req)
|
|
||||||
hits = retrieve_result.results
|
|
||||||
|
|
||||||
# 3. Strategic Retrieval
|
sources_hits = []
|
||||||
if inject_types:
|
final_prompt = ""
|
||||||
logger.info(f"[{query_id}] Executing Strategic Retrieval for types: {inject_types}...")
|
|
||||||
strategy_req = QueryRequest(
|
if intent == "INTERVIEW":
|
||||||
|
# --- WP-07: INTERVIEW MODE ---
|
||||||
|
# Kein Retrieval. Wir nutzen den Dialog-Kontext.
|
||||||
|
|
||||||
|
# 1. Schema Loading (Late Binding)
|
||||||
|
schemas = strategy.get("schemas", {})
|
||||||
|
target_type = _detect_target_type(request.message, schemas)
|
||||||
|
active_schema = schemas.get(target_type, schemas.get("default"))
|
||||||
|
|
||||||
|
logger.info(f"[{query_id}] Starting Interview for Type: {target_type}")
|
||||||
|
|
||||||
|
# Robustes Schema-Parsing (Dict vs List)
|
||||||
|
if isinstance(active_schema, dict):
|
||||||
|
fields_list = active_schema.get("fields", [])
|
||||||
|
hint_str = active_schema.get("hint", "")
|
||||||
|
else:
|
||||||
|
fields_list = active_schema # Fallback falls nur Liste definiert
|
||||||
|
hint_str = ""
|
||||||
|
|
||||||
|
fields_str = "\n- " + "\n- ".join(fields_list)
|
||||||
|
|
||||||
|
# 2. Context Logic
|
||||||
|
# Hinweis: In einer Stateless-API ist {context_str} idealerweise die History.
|
||||||
|
# Da ChatRequest (noch) kein History-Feld hat, nutzen wir einen Placeholder
|
||||||
|
# oder verlassen uns darauf, dass der Client die History im Prompt mitschickt
|
||||||
|
# (Streamlit Pattern: Appends history to prompt).
|
||||||
|
# Wir labeln es hier explizit.
|
||||||
|
context_str = "Bisheriger Verlauf (falls vorhanden): Siehe oben/unten."
|
||||||
|
|
||||||
|
# 3. Prompt Assembly
|
||||||
|
template = llm.prompts.get(prompt_key, "")
|
||||||
|
final_prompt = template.replace("{context_str}", context_str) \
|
||||||
|
.replace("{query}", request.message) \
|
||||||
|
.replace("{target_type}", target_type) \
|
||||||
|
.replace("{schema_fields}", fields_str) \
|
||||||
|
.replace("{schema_hint}", hint_str)
|
||||||
|
|
||||||
|
# Keine Hits im Interview
|
||||||
|
sources_hits = []
|
||||||
|
|
||||||
|
else:
|
||||||
|
# --- WP-06: STANDARD RAG MODE ---
|
||||||
|
inject_types = strategy.get("inject_types", [])
|
||||||
|
prepend_instr = strategy.get("prepend_instruction", "")
|
||||||
|
|
||||||
|
# 2. Primary Retrieval
|
||||||
|
query_req = QueryRequest(
|
||||||
query=request.message,
|
query=request.message,
|
||||||
mode="hybrid",
|
mode="hybrid",
|
||||||
top_k=3,
|
top_k=request.top_k,
|
||||||
filters={"type": inject_types},
|
explain=request.explain
|
||||||
explain=False
|
|
||||||
)
|
)
|
||||||
strategy_result = await retriever.search(strategy_req)
|
retrieve_result = await retriever.search(query_req)
|
||||||
|
hits = retrieve_result.results
|
||||||
|
|
||||||
existing_ids = {h.node_id for h in hits}
|
# 3. Strategic Retrieval (WP-06 Kernfeature)
|
||||||
for strat_hit in strategy_result.results:
|
if inject_types:
|
||||||
if strat_hit.node_id not in existing_ids:
|
logger.info(f"[{query_id}] Executing Strategic Retrieval for types: {inject_types}...")
|
||||||
hits.append(strat_hit)
|
strategy_req = QueryRequest(
|
||||||
|
query=request.message,
|
||||||
|
mode="hybrid",
|
||||||
|
top_k=3,
|
||||||
|
filters={"type": inject_types},
|
||||||
|
explain=False
|
||||||
|
)
|
||||||
|
strategy_result = await retriever.search(strategy_req)
|
||||||
|
|
||||||
# 4. Context Building
|
existing_ids = {h.node_id for h in hits}
|
||||||
if not hits:
|
for strat_hit in strategy_result.results:
|
||||||
context_str = "Keine relevanten Notizen gefunden."
|
if strat_hit.node_id not in existing_ids:
|
||||||
else:
|
hits.append(strat_hit)
|
||||||
context_str = _build_enriched_context(hits)
|
|
||||||
|
# 4. Context Building
|
||||||
|
if not hits:
|
||||||
|
context_str = "Keine relevanten Notizen gefunden."
|
||||||
|
else:
|
||||||
|
context_str = _build_enriched_context(hits)
|
||||||
|
|
||||||
|
# 5. Generation Setup
|
||||||
|
template = llm.prompts.get(prompt_key, "{context_str}\n\n{query}")
|
||||||
|
|
||||||
|
if prepend_instr:
|
||||||
|
context_str = f"{prepend_instr}\n\n{context_str}"
|
||||||
|
|
||||||
|
final_prompt = template.replace("{context_str}", context_str).replace("{query}", request.message)
|
||||||
|
sources_hits = hits
|
||||||
|
|
||||||
|
# --- COMMON GENERATION ---
|
||||||
|
|
||||||
# 5. Generation
|
|
||||||
template = llm.prompts.get(prompt_key, "{context_str}\n\n{query}")
|
|
||||||
system_prompt = llm.prompts.get("system_prompt", "")
|
system_prompt = llm.prompts.get("system_prompt", "")
|
||||||
|
|
||||||
if prepend_instr:
|
|
||||||
context_str = f"{prepend_instr}\n\n{context_str}"
|
|
||||||
|
|
||||||
final_prompt = template.replace("{context_str}", context_str).replace("{query}", request.message)
|
|
||||||
|
|
||||||
logger.info(f"[{query_id}] Sending to LLM (Intent: {intent}, Template: {prompt_key})...")
|
logger.info(f"[{query_id}] Sending to LLM (Intent: {intent}, Template: {prompt_key})...")
|
||||||
|
|
||||||
# System-Prompt separat übergeben
|
# System-Prompt separat übergeben
|
||||||
@@ -212,13 +313,31 @@ async def chat_endpoint(
|
|||||||
|
|
||||||
duration_ms = int((time.time() - start_time) * 1000)
|
duration_ms = int((time.time() - start_time) * 1000)
|
||||||
|
|
||||||
|
# 6. Logging (Fire & Forget)
|
||||||
|
try:
|
||||||
|
log_search(
|
||||||
|
query_id=query_id,
|
||||||
|
query_text=request.message,
|
||||||
|
results=sources_hits,
|
||||||
|
mode="interview" if intent == "INTERVIEW" else "chat_rag",
|
||||||
|
metadata={
|
||||||
|
"intent": intent,
|
||||||
|
"intent_source": intent_source,
|
||||||
|
"generated_answer": answer_text,
|
||||||
|
"model": llm.settings.LLM_MODEL
|
||||||
|
}
|
||||||
|
)
|
||||||
|
except Exception as e:
|
||||||
|
logger.error(f"Logging failed: {e}")
|
||||||
|
|
||||||
|
# 7. Response
|
||||||
return ChatResponse(
|
return ChatResponse(
|
||||||
query_id=query_id,
|
query_id=query_id,
|
||||||
answer=answer_text,
|
answer=answer_text,
|
||||||
sources=hits,
|
sources=sources_hits,
|
||||||
latency_ms=duration_ms,
|
latency_ms=duration_ms,
|
||||||
intent=intent,
|
intent=intent,
|
||||||
intent_source=intent_source # Source durchreichen
|
intent_source=intent_source
|
||||||
)
|
)
|
||||||
|
|
||||||
except Exception as e:
|
except Exception as e:
|
||||||
|
|||||||
@@ -2,13 +2,18 @@
|
|||||||
app/services/feedback_service.py
|
app/services/feedback_service.py
|
||||||
Service zum Loggen von Suchanfragen und Feedback (WP-04c).
|
Service zum Loggen von Suchanfragen und Feedback (WP-04c).
|
||||||
Speichert Daten als JSONL für späteres Self-Tuning (WP-08).
|
Speichert Daten als JSONL für späteres Self-Tuning (WP-08).
|
||||||
|
|
||||||
|
Version: 1.1 (Chat-Support)
|
||||||
"""
|
"""
|
||||||
import json
|
import json
|
||||||
import os
|
import os
|
||||||
import time
|
import time
|
||||||
|
import logging
|
||||||
from pathlib import Path
|
from pathlib import Path
|
||||||
from typing import Dict, Any, List
|
from typing import Dict, Any, List, Union
|
||||||
from app.models.dto import QueryRequest, QueryResponse, FeedbackRequest
|
from app.models.dto import QueryRequest, QueryResponse, FeedbackRequest, QueryHit
|
||||||
|
|
||||||
|
logger = logging.getLogger(__name__)
|
||||||
|
|
||||||
# Pfad für Logs (lokal auf dem Beelink/PC)
|
# Pfad für Logs (lokal auf dem Beelink/PC)
|
||||||
LOG_DIR = Path("data/logs")
|
LOG_DIR = Path("data/logs")
|
||||||
@@ -19,18 +24,35 @@ def _ensure_log_dir():
|
|||||||
if not LOG_DIR.exists():
|
if not LOG_DIR.exists():
|
||||||
os.makedirs(LOG_DIR, exist_ok=True)
|
os.makedirs(LOG_DIR, exist_ok=True)
|
||||||
|
|
||||||
def log_search(req: QueryRequest, res: QueryResponse):
|
def _append_jsonl(file_path: Path, data: dict):
|
||||||
|
try:
|
||||||
|
with open(file_path, "a", encoding="utf-8") as f:
|
||||||
|
f.write(json.dumps(data, ensure_ascii=False) + "\n")
|
||||||
|
except Exception as e:
|
||||||
|
logger.error(f"Failed to write log: {e}")
|
||||||
|
|
||||||
|
def log_search(
|
||||||
|
query_id: str,
|
||||||
|
query_text: str,
|
||||||
|
results: List[QueryHit],
|
||||||
|
mode: str = "unknown",
|
||||||
|
metadata: Dict[str, Any] = None
|
||||||
|
):
|
||||||
"""
|
"""
|
||||||
Speichert den "Snapshot" der Suche.
|
Generische Logging-Funktion für Suche UND Chat.
|
||||||
WICHTIG: Wir speichern die Scores (Breakdown), damit wir später wissen,
|
|
||||||
warum das System so entschieden hat.
|
Args:
|
||||||
|
query_id: UUID der Anfrage.
|
||||||
|
query_text: User-Eingabe.
|
||||||
|
results: Liste der Treffer (QueryHit Objekte).
|
||||||
|
mode: z.B. "semantic", "hybrid", "chat_rag".
|
||||||
|
metadata: Zusätzliche Infos (z.B. generierte Antwort, Intent).
|
||||||
"""
|
"""
|
||||||
_ensure_log_dir()
|
_ensure_log_dir()
|
||||||
|
|
||||||
# Wir reduzieren die Datenmenge etwas (z.B. keine vollen Texte)
|
|
||||||
hits_summary = []
|
hits_summary = []
|
||||||
for hit in res.results:
|
for hit in results:
|
||||||
# Falls Explanation an war, speichern wir den Breakdown, sonst die Scores
|
# Pydantic Model Dump für saubere Serialisierung
|
||||||
breakdown = None
|
breakdown = None
|
||||||
if hit.explanation and hit.explanation.breakdown:
|
if hit.explanation and hit.explanation.breakdown:
|
||||||
breakdown = hit.explanation.breakdown.model_dump()
|
breakdown = hit.explanation.breakdown.model_dump()
|
||||||
@@ -39,25 +61,24 @@ def log_search(req: QueryRequest, res: QueryResponse):
|
|||||||
"node_id": hit.node_id,
|
"node_id": hit.node_id,
|
||||||
"note_id": hit.note_id,
|
"note_id": hit.note_id,
|
||||||
"total_score": hit.total_score,
|
"total_score": hit.total_score,
|
||||||
"breakdown": breakdown, # Wichtig für Training!
|
"breakdown": breakdown,
|
||||||
"rank_semantic": hit.semantic_score,
|
"rank_semantic": hit.semantic_score,
|
||||||
"rank_edge": hit.edge_bonus
|
"rank_edge": hit.edge_bonus,
|
||||||
|
"type": hit.source.get("type") if hit.source else "unknown"
|
||||||
})
|
})
|
||||||
|
|
||||||
entry = {
|
entry = {
|
||||||
"timestamp": time.time(),
|
"timestamp": time.time(),
|
||||||
"query_id": res.query_id,
|
"query_id": query_id,
|
||||||
"query_text": req.query,
|
"query_text": query_text,
|
||||||
"mode": req.mode,
|
"mode": mode,
|
||||||
"top_k": req.top_k,
|
"hits_count": len(hits_summary),
|
||||||
"hits": hits_summary
|
"hits": hits_summary,
|
||||||
|
"metadata": metadata or {}
|
||||||
}
|
}
|
||||||
|
|
||||||
try:
|
_append_jsonl(SEARCH_LOG_FILE, entry)
|
||||||
with open(SEARCH_LOG_FILE, "a", encoding="utf-8") as f:
|
logger.info(f"Logged search/chat interaction {query_id}")
|
||||||
f.write(json.dumps(entry, ensure_ascii=False) + "\n")
|
|
||||||
except Exception as e:
|
|
||||||
print(f"ERROR logging search: {e}")
|
|
||||||
|
|
||||||
def log_feedback(fb: FeedbackRequest):
|
def log_feedback(fb: FeedbackRequest):
|
||||||
"""
|
"""
|
||||||
@@ -73,8 +94,5 @@ def log_feedback(fb: FeedbackRequest):
|
|||||||
"comment": fb.comment
|
"comment": fb.comment
|
||||||
}
|
}
|
||||||
|
|
||||||
try:
|
_append_jsonl(FEEDBACK_LOG_FILE, entry)
|
||||||
with open(FEEDBACK_LOG_FILE, "a", encoding="utf-8") as f:
|
logger.info(f"Logged feedback for {fb.query_id}")
|
||||||
f.write(json.dumps(entry, ensure_ascii=False) + "\n")
|
|
||||||
except Exception as e:
|
|
||||||
print(f"ERROR logging feedback: {e}")
|
|
||||||
@@ -1,17 +1,19 @@
|
|||||||
# config/decision_engine.yaml
|
# config/decision_engine.yaml
|
||||||
# Steuerung der Decision Engine (WP-06)
|
# Steuerung der Decision Engine (WP-06 + WP-07)
|
||||||
# Hybrid-Modus: Keywords (Fast) + LLM Router (Smart Fallback)
|
# Hybrid-Modus: Keywords (Fast) + LLM Router (Smart Fallback)
|
||||||
version: 1.2
|
version: 1.3
|
||||||
|
|
||||||
settings:
|
settings:
|
||||||
llm_fallback_enabled: true
|
llm_fallback_enabled: true
|
||||||
|
|
||||||
# Few-Shot Prompting für bessere SLM-Performance
|
# Few-Shot Prompting für bessere SLM-Performance
|
||||||
|
# Erweitert um INTERVIEW Beispiele
|
||||||
llm_router_prompt: |
|
llm_router_prompt: |
|
||||||
Du bist ein Klassifikator. Analysiere die Nachricht und wähle die passende Strategie.
|
Du bist ein Klassifikator. Analysiere die Nachricht und wähle die passende Strategie.
|
||||||
Antworte NUR mit dem Namen der Strategie.
|
Antworte NUR mit dem Namen der Strategie.
|
||||||
|
|
||||||
STRATEGIEN:
|
STRATEGIEN:
|
||||||
|
- INTERVIEW: User will Wissen strukturieren, Notizen anlegen, Projekte starten ("Neu", "Festhalten").
|
||||||
- DECISION: Rat, Strategie, Vor/Nachteile, "Soll ich".
|
- DECISION: Rat, Strategie, Vor/Nachteile, "Soll ich".
|
||||||
- EMPATHY: Gefühle, Frust, Freude, Probleme, "Alles ist sinnlos", "Ich bin traurig".
|
- EMPATHY: Gefühle, Frust, Freude, Probleme, "Alles ist sinnlos", "Ich bin traurig".
|
||||||
- CODING: Code, Syntax, Programmierung, Python.
|
- CODING: Code, Syntax, Programmierung, Python.
|
||||||
@@ -20,6 +22,8 @@ settings:
|
|||||||
BEISPIELE:
|
BEISPIELE:
|
||||||
User: "Wie funktioniert Qdrant?" -> FACT
|
User: "Wie funktioniert Qdrant?" -> FACT
|
||||||
User: "Soll ich Qdrant nutzen?" -> DECISION
|
User: "Soll ich Qdrant nutzen?" -> DECISION
|
||||||
|
User: "Ich möchte ein neues Projekt anlegen" -> INTERVIEW
|
||||||
|
User: "Lass uns eine Entscheidung festhalten" -> INTERVIEW
|
||||||
User: "Schreibe ein Python Script" -> CODING
|
User: "Schreibe ein Python Script" -> CODING
|
||||||
User: "Alles ist grau und sinnlos" -> EMPATHY
|
User: "Alles ist grau und sinnlos" -> EMPATHY
|
||||||
User: "Mir geht es heute gut" -> EMPATHY
|
User: "Mir geht es heute gut" -> EMPATHY
|
||||||
@@ -87,3 +91,53 @@ strategies:
|
|||||||
inject_types: ["snippet", "reference", "source"]
|
inject_types: ["snippet", "reference", "source"]
|
||||||
prompt_template: "technical_template"
|
prompt_template: "technical_template"
|
||||||
prepend_instruction: null
|
prepend_instruction: null
|
||||||
|
|
||||||
|
# 5. Interview / Datenerfassung (WP-07)
|
||||||
|
INTERVIEW:
|
||||||
|
description: "Der User möchte strukturiertes Wissen erfassen (Projekt, Notiz, Idee)."
|
||||||
|
trigger_keywords:
|
||||||
|
- "neue notiz"
|
||||||
|
- "neues projekt"
|
||||||
|
- "neue entscheidung"
|
||||||
|
- "neues ziel"
|
||||||
|
- "festhalten"
|
||||||
|
- "entwurf erstellen"
|
||||||
|
- "interview"
|
||||||
|
- "dokumentieren"
|
||||||
|
- "erfassen"
|
||||||
|
- "idee speichern"
|
||||||
|
inject_types: [] # Keine RAG-Suche, reiner Kontext-Dialog
|
||||||
|
prompt_template: "interview_template"
|
||||||
|
prepend_instruction: null
|
||||||
|
|
||||||
|
# LATE BINDING SCHEMAS:
|
||||||
|
# Definition der Pflichtfelder pro Typ (korrespondiert mit types.yaml)
|
||||||
|
# Wenn ein Typ hier fehlt, wird 'default' genutzt.
|
||||||
|
schemas:
|
||||||
|
default:
|
||||||
|
fields: ["Titel", "Thema/Inhalt", "Tags"]
|
||||||
|
hint: "Halte es einfach und übersichtlich."
|
||||||
|
|
||||||
|
project:
|
||||||
|
fields: ["Titel", "Zielsetzung (Goal)", "Status (draft/active)", "Wichtige Stakeholder", "Nächste Schritte"]
|
||||||
|
hint: "Achte darauf, Abhängigkeiten zu anderen Projekten mit [[rel:depends_on]] zu erfragen."
|
||||||
|
|
||||||
|
decision:
|
||||||
|
fields: ["Titel", "Kontext (Warum entscheiden wir?)", "Getroffene Entscheidung", "Betrachtete Alternativen", "Status (proposed/final)"]
|
||||||
|
hint: "Wichtig: Frage explizit nach den Gründen gegen die Alternativen."
|
||||||
|
|
||||||
|
goal:
|
||||||
|
fields: ["Titel", "Zeitrahmen (Deadline)", "Messkriterien (KPIs)", "Verbundene Werte"]
|
||||||
|
hint: "Ziele sollten SMART formuliert sein."
|
||||||
|
|
||||||
|
experience:
|
||||||
|
fields: ["Titel", "Situation (Kontext)", "Erkenntnis (Learning)", "Emotionale Keywords (für Empathie-Suche)"]
|
||||||
|
hint: "Fokussiere dich auf die persönliche Lektion."
|
||||||
|
|
||||||
|
value:
|
||||||
|
fields: ["Titel (Name des Werts)", "Definition (Was bedeutet das für uns?)", "Anti-Beispiel (Was ist es nicht?)"]
|
||||||
|
hint: "Werte dienen als Entscheidungsgrundlage."
|
||||||
|
|
||||||
|
principle:
|
||||||
|
fields: ["Titel", "Handlungsanweisung", "Begründung"]
|
||||||
|
hint: "Prinzipien sind härter als Werte."
|
||||||
@@ -94,3 +94,47 @@ technical_template: |
|
|||||||
- Kurze Erklärung des Ansatzes.
|
- Kurze Erklärung des Ansatzes.
|
||||||
- Markdown Code-Block (Copy-Paste fertig).
|
- Markdown Code-Block (Copy-Paste fertig).
|
||||||
- Wichtige Edge-Cases.
|
- Wichtige Edge-Cases.
|
||||||
|
# ---------------------------------------------------------
|
||||||
|
# 5. INTERVIEW: Der "One-Shot Extractor" (Performance Mode)
|
||||||
|
# ---------------------------------------------------------
|
||||||
|
|
||||||
|
interview_template: |
|
||||||
|
TASK:
|
||||||
|
Erstelle einen Markdown-Entwurf für eine Notiz vom Typ '{target_type}'.
|
||||||
|
|
||||||
|
SCHEMA (Inhaltliche Pflichtfelder für den Body):
|
||||||
|
{schema_fields}
|
||||||
|
|
||||||
|
USER INPUT:
|
||||||
|
"{query}"
|
||||||
|
|
||||||
|
ANWEISUNG:
|
||||||
|
1. Extrahiere Informationen aus dem Input.
|
||||||
|
2. Generiere validen Markdown.
|
||||||
|
|
||||||
|
OUTPUT REGELN (STRIKT BEACHTEN):
|
||||||
|
A. FRONTMATTER (YAML):
|
||||||
|
- Darf NUR folgende Felder enthalten: [type, status, title, tags].
|
||||||
|
- Schreibe KEINE inhaltlichen Sätze (wie 'Situation', 'Ziel') in das YAML!
|
||||||
|
- Setze 'status: draft'.
|
||||||
|
|
||||||
|
B. BODY (Markdown):
|
||||||
|
- Nutze für jedes Schema-Feld eine Markdown-Überschrift (## Feldname).
|
||||||
|
- Schreibe den Inhalt DARUNTER.
|
||||||
|
- Nutze "[TODO: Ergänzen]", wenn Infos fehlen.
|
||||||
|
|
||||||
|
HINWEIS ZUM TYP:
|
||||||
|
{schema_hint}
|
||||||
|
|
||||||
|
OUTPUT FORMAT BEISPIEL:
|
||||||
|
```markdown
|
||||||
|
---
|
||||||
|
type: {target_type}
|
||||||
|
status: draft
|
||||||
|
title: ...
|
||||||
|
tags: [...]
|
||||||
|
---
|
||||||
|
# Titel der Notiz
|
||||||
|
|
||||||
|
## Erstes Schema Feld
|
||||||
|
Der Inhalt hier...
|
||||||
@@ -1,7 +1,7 @@
|
|||||||
# mindnet v2.2 – Knowledge Design Manual
|
# mindnet v2.4 – Knowledge Design Manual
|
||||||
**Datei:** `docs/mindnet_knowledge_design_manual_v2.2.md`
|
**Datei:** `docs/mindnet_knowledge_design_manual_v2.4.md`
|
||||||
**Stand:** 2025-12-09
|
**Stand:** 2025-12-10
|
||||||
**Status:** **FINAL** (Integrierter Stand WP01–WP06)
|
**Status:** **FINAL** (Integrierter Stand WP01–WP10a)
|
||||||
**Quellen:** `knowledge_design.md`, `TYPE_REGISTRY_MANUAL.md`, `chunking_strategy.md`, `mindnet_functional_architecture.md`.
|
**Quellen:** `knowledge_design.md`, `TYPE_REGISTRY_MANUAL.md`, `chunking_strategy.md`, `mindnet_functional_architecture.md`.
|
||||||
|
|
||||||
---
|
---
|
||||||
@@ -27,6 +27,8 @@ Mindnet ist mehr als eine Dokumentablage. Es ist ein vernetztes System, das dein
|
|||||||
Seit Version 2.3.1 verfügt Mindnet über:
|
Seit Version 2.3.1 verfügt Mindnet über:
|
||||||
* **Hybrid Router:** Das System erkennt, ob du Fakten, Entscheidungen oder Empathie brauchst.
|
* **Hybrid Router:** Das System erkennt, ob du Fakten, Entscheidungen oder Empathie brauchst.
|
||||||
* **Context Intelligence:** Das System lädt je nach Situation unterschiedliche Notiz-Typen (z.B. Werte bei Entscheidungen).
|
* **Context Intelligence:** Das System lädt je nach Situation unterschiedliche Notiz-Typen (z.B. Werte bei Entscheidungen).
|
||||||
|
* **Web UI (WP10):** Du kannst direkt sehen, welche Quellen genutzt wurden.
|
||||||
|
* **Interview Modus (WP07):** Du kannst Notizen direkt im Chat entwerfen lassen.
|
||||||
|
|
||||||
### 1.2 Der Vault als „Source of Truth“
|
### 1.2 Der Vault als „Source of Truth“
|
||||||
Die Markdown-Dateien in deinem Vault sind die **einzige Quelle der Wahrheit**.
|
Die Markdown-Dateien in deinem Vault sind die **einzige Quelle der Wahrheit**.
|
||||||
@@ -47,7 +49,7 @@ Jede Datei muss mindestens folgende Felder enthalten, um korrekt verarbeitet zu
|
|||||||
id: 20251110-projekt-alpha-8a9b2c # Eindeutige Kennung (YYYYMMDD-slug)
|
id: 20251110-projekt-alpha-8a9b2c # Eindeutige Kennung (YYYYMMDD-slug)
|
||||||
title: Projekt Alpha # Sprechender Titel (wird in Suchergebnissen angezeigt)
|
title: Projekt Alpha # Sprechender Titel (wird in Suchergebnissen angezeigt)
|
||||||
type: project # Steuert Verarbeitung & Vernetzung (siehe Kap. 3)
|
type: project # Steuert Verarbeitung & Vernetzung (siehe Kap. 3)
|
||||||
status: active # Status (z.B. draft, active, archived)
|
status: active # active, archived oder 'draft' (für generierte Notes)
|
||||||
created: 2025-11-10 # Erstellungsdatum (ISO 8601 oder YYYY-MM-DD)
|
created: 2025-11-10 # Erstellungsdatum (ISO 8601 oder YYYY-MM-DD)
|
||||||
updated: 2025-12-07 # Letzte Änderung
|
updated: 2025-12-07 # Letzte Änderung
|
||||||
tags: [ki, entwicklung] # Taxonomie für Filterung
|
tags: [ki, entwicklung] # Taxonomie für Filterung
|
||||||
@@ -78,23 +80,23 @@ Diese Felder sind technisch nicht zwingend, aber für bestimmte Typen sinnvoll:
|
|||||||
|
|
||||||
## 3. Note-Typen & Typ-Registry
|
## 3. Note-Typen & Typ-Registry
|
||||||
|
|
||||||
Der `type` ist der wichtigste Hebel im Knowledge Design. Er steuert nicht nur das Gewicht bei der Suche, sondern seit WP-06 auch, **wann** eine Notiz aktiv in den Chat geholt wird ("Strategic Retrieval").
|
Der `type` ist der wichtigste Hebel im Knowledge Design. Er steuert nicht nur das Gewicht bei der Suche, sondern seit WP-06 auch, **wann** eine Notiz aktiv in den Chat geholt wird ("Strategic Retrieval") und **welche Felder** im Interview abgefragt werden.
|
||||||
|
|
||||||
### 3.1 Übersicht der Kern-Typen
|
### 3.1 Übersicht der Kern-Typen
|
||||||
|
|
||||||
Mindnet unterscheidet verschiedene Wissensarten. Wähle den Typ, der die **Rolle** der Notiz am besten beschreibt:
|
Mindnet unterscheidet verschiedene Wissensarten. Wähle den Typ, der die **Rolle** der Notiz am besten beschreibt:
|
||||||
|
|
||||||
| Typ | Beschreibung & Einsatzzweck | Rolle im Chat (Intent) |
|
| Typ | Beschreibung & Einsatzzweck | Rolle im Chat (Intent) | Interview Schema (WP07) |
|
||||||
| :--- | :--- | :--- |
|
| :--- | :--- | :--- | :--- |
|
||||||
| **`concept`** | Fachbegriffe, Theorien. Zeitloses Wissen. | **FACT** (Basiswissen) |
|
| **`concept`** | Fachbegriffe, Theorien. Zeitloses Wissen. | **FACT** | Titel, Definition, Tags |
|
||||||
| **`project`** | Ein Vorhaben mit Ziel, Dauer und Aufgaben. | **FACT / DECISION** (Kontext) |
|
| **`project`** | Ein Vorhaben mit Ziel, Dauer und Aufgaben. | **FACT / DECISION** | Ziel, Status, Stakeholder, Steps |
|
||||||
| **`experience`** | Persönliche Erfahrung, Lektion oder Erkenntnis. | **EMPATHY** (Spiegelung) |
|
| **`experience`** | Persönliche Erfahrung, Lektion oder Erkenntnis. | **EMPATHY** | Situation, Erkenntnis, Emotionen |
|
||||||
| **`decision`** | Eine bewusst getroffene Entscheidung (ADR). | **DECISION** (Begründung "Warum") |
|
| **`decision`** | Eine bewusst getroffene Entscheidung (ADR). | **DECISION** | Kontext, Entscheidung, Alternativen |
|
||||||
| **`value`** | Ein persönlicher Wert oder ein Prinzip. | **DECISION** (Moralischer Kompass) |
|
| **`value`** | Ein persönlicher Wert oder ein Prinzip. | **DECISION** | Definition, Anti-Beispiel |
|
||||||
| **`goal`** | Ein strategisches Ziel (kurz- oder langfristig). | **DECISION** (Abgleich) |
|
| **`goal`** | Ein strategisches Ziel (kurz- oder langfristig). | **DECISION** | Zeitrahmen, KPIs, Werte |
|
||||||
| **`person`** | Eine reale Person (Netzwerk, Autor). | **FACT** |
|
| **`person`** | Eine reale Person (Netzwerk, Autor). | **FACT** | Rolle, Kontext |
|
||||||
| **`journal`** | Zeitbezogener Log-Eintrag, Daily Note. | **FACT** (Historie) |
|
| **`journal`** | Zeitbezogener Log-Eintrag, Daily Note. | **FACT** | Datum, Tags |
|
||||||
| **`source`** | Externe Quelle (Buch, PDF, Artikel). | **FACT** (Faktenbasis) |
|
| **`source`** | Externe Quelle (Buch, PDF, Artikel). | **FACT** | Autor, URL |
|
||||||
|
|
||||||
### 3.2 Zusammenspiel mit `types.yaml`
|
### 3.2 Zusammenspiel mit `types.yaml`
|
||||||
|
|
||||||
@@ -194,6 +196,19 @@ Erstelle Notizen mit `type: experience`. Nutze im Text **emotionale Brückenwör
|
|||||||
|
|
||||||
*Effekt:* Wenn du im Chat jammerst ("Alles ist sinnlos"), findet das System diese Notiz und spiegelt dir deine eigene Erfahrung zurück.
|
*Effekt:* Wenn du im Chat jammerst ("Alles ist sinnlos"), findet das System diese Notiz und spiegelt dir deine eigene Erfahrung zurück.
|
||||||
|
|
||||||
|
### 5.3 Schreiben für den Chat (UI Optimization)
|
||||||
|
Da deine Notizen im Web-Interface (WP10) angezeigt werden:
|
||||||
|
* **Kurze Absätze:** Das LLM liest besser, und der Mensch scannt schneller.
|
||||||
|
* **Klare Headings:** Nutze H1/H2, um dem Chunker logische Trennlinien zu geben.
|
||||||
|
|
||||||
|
### 5.4 Der Interview-Modus (Auto-Drafting)
|
||||||
|
Seit v2.4 (WP07) kann Mindnet Notizen für dich entwerfen.
|
||||||
|
|
||||||
|
* **Wie:** Schreibe im Chat einfach: *"Ich möchte ein neues Projekt 'Alpha' anlegen, Ziel ist die Markteroberung."*
|
||||||
|
* **Was passiert:** Mindnet erkennt den Wunsch (`INTERVIEW`), wählt das Schema für `project` und generiert **sofort** einen Markdown-Entwurf.
|
||||||
|
* **Ergebnis:** Du erhältst einen Code-Block mit `status: draft`. Diesen kannst du im Draft-Editor (UI) direkt bearbeiten und herunterladen.
|
||||||
|
* **Drafts:** Enthalten oft Platzhalter `[TODO]`. Das ist Absicht. Ergänze sie im Editor.
|
||||||
|
|
||||||
---
|
---
|
||||||
|
|
||||||
## 6. Best Practices & Beispiele (Klassik)
|
## 6. Best Practices & Beispiele (Klassik)
|
||||||
|
|||||||
+33
-28
@@ -1,8 +1,8 @@
|
|||||||
# Mindnet v2.2 – Overview & Einstieg
|
# Mindnet v2.4 – Overview & Einstieg
|
||||||
**Datei:** `docs/mindnet_overview_v2.2.md`
|
**Datei:** `docs/mindnet_overview_v2.4.md`
|
||||||
**Stand:** 2025-12-09
|
**Stand:** 2025-12-10
|
||||||
**Status:** **FINAL** (Post-WP06 Release)
|
**Status:** **FINAL** (Inkl. Interview-Assistent & Web-Editor)
|
||||||
**Version:** 2.3.1
|
**Version:** 2.4.0
|
||||||
|
|
||||||
---
|
---
|
||||||
|
|
||||||
@@ -13,10 +13,10 @@
|
|||||||
Anders als herkömmliche Notiz-Apps (wie Obsidian oder Evernote), die Texte nur passiv speichern, ist Mindnet ein **aktives System**:
|
Anders als herkömmliche Notiz-Apps (wie Obsidian oder Evernote), die Texte nur passiv speichern, ist Mindnet ein **aktives System**:
|
||||||
* Es **versteht** Zusammenhänge über einen Wissensgraphen.
|
* Es **versteht** Zusammenhänge über einen Wissensgraphen.
|
||||||
* Es **begründet** Antworten ("Warum ist das so?").
|
* Es **begründet** Antworten ("Warum ist das so?").
|
||||||
* Es **antwortet** situativ angepasst: Mal als harter Strategieberater, mal als empathischer Spiegel.
|
* Es **antwortet** situativ angepasst: Mal als Strategieberater, mal als empathischer Spiegel, und neu: **als Interviewer, der hilft, Wissen zu erfassen.**
|
||||||
|
|
||||||
### Die Vision
|
### Die Vision
|
||||||
> „Ein System, das nicht nur speichert, was ich weiß, sondern auch wie ich denke und fühle.“
|
> „Ein System, das nicht nur speichert, was ich weiß, sondern auch wie ich denke, fühle und arbeite.“
|
||||||
|
|
||||||
---
|
---
|
||||||
|
|
||||||
@@ -36,13 +36,16 @@ Mindnet arbeitet auf drei Schichten, die aufeinander aufbauen:
|
|||||||
* **Technik:** Hybrider Retriever (Graph + Vektor), Explanation Engine.
|
* **Technik:** Hybrider Retriever (Graph + Vektor), Explanation Engine.
|
||||||
* **Status:** 🟢 Live (WP04).
|
* **Status:** 🟢 Live (WP04).
|
||||||
|
|
||||||
### Ebene 3: Identität (Die Persönlichkeit)
|
### Ebene 3: Identität & Interaktion (Die Persönlichkeit)
|
||||||
* **Funktion:** Interaktion und Bewertung. Das System nimmt eine Haltung ein.
|
* **Funktion:** Interaktion, Bewertung und Co-Creation.
|
||||||
* **Logik:** "Ich empfehle Lösung X, weil sie unserem Wert 'Datensparsamkeit' entspricht."
|
* **Logik:**
|
||||||
* **Technik:** * **Intent Router:** Erkennt Absichten (Fakt vs. Gefühl vs. Entscheidung).
|
* "Ich empfehle Lösung X, weil sie unserem Wert 'Datensparsamkeit' entspricht."
|
||||||
|
* "Ich sehe, du willst ein Projekt starten. Lass uns die Eckdaten erfassen."
|
||||||
|
* **Technik:**
|
||||||
|
* **Intent Router:** Erkennt Absichten (Fakt vs. Gefühl vs. Entscheidung vs. Interview).
|
||||||
* **Strategic Retrieval:** Lädt gezielt Werte oder Erfahrungen nach.
|
* **Strategic Retrieval:** Lädt gezielt Werte oder Erfahrungen nach.
|
||||||
* **Multi-Persona:** Passt den Tonfall an.
|
* **One-Shot Extraction:** Generiert Entwürfe für neue Notizen.
|
||||||
* **Status:** 🟢 Live (WP05–WP06).
|
* **Status:** 🟢 Live (WP05–WP07, WP10).
|
||||||
|
|
||||||
---
|
---
|
||||||
|
|
||||||
@@ -50,18 +53,20 @@ Mindnet arbeitet auf drei Schichten, die aufeinander aufbauen:
|
|||||||
|
|
||||||
Der Datenfluss in Mindnet ist zyklisch ("Data Flywheel"):
|
Der Datenfluss in Mindnet ist zyklisch ("Data Flywheel"):
|
||||||
|
|
||||||
1. **Input:** Du schreibst Notizen in Obsidian.
|
1. **Input:** Du schreibst Notizen in Obsidian **ODER** lässt sie von Mindnet im Chat entwerfen.
|
||||||
2. **Ingest:** Ein Python-Skript importiert, zerlegt (Chunking) und vernetzt (Edges) die Daten in Qdrant.
|
2. **Ingest:** Ein Python-Skript importiert, zerlegt (Chunking) und vernetzt (Edges) die Daten in Qdrant.
|
||||||
3. **Intent Recognition:** Der Router analysiert deine Frage: Willst du Fakten, Code oder Empathie?
|
3. **Intent Recognition:** Der Router analysiert deine Frage: Willst du Fakten, Code, Empathie oder etwas dokumentieren?
|
||||||
4. **Retrieval:** Das System sucht Inhalte passend zum Intent (z.B. "Lade Erfahrungen bei Empathie").
|
4. **Retrieval / Action:**
|
||||||
5. **Generation:** Ein lokales LLM (Ollama) formuliert die Antwort.
|
* Bei Fragen: Das System sucht Inhalte passend zum Intent.
|
||||||
|
* Bei Interviews: Das System wählt das passende Schema (z.B. Projekt-Vorlage).
|
||||||
|
5. **Generation:** Ein lokales LLM (Ollama) formuliert die Antwort oder den Markdown-Draft.
|
||||||
6. **Feedback:** Du bewertest die Antwort. Das System lernt (langfristig) daraus.
|
6. **Feedback:** Du bewertest die Antwort. Das System lernt (langfristig) daraus.
|
||||||
|
|
||||||
**Tech-Stack:**
|
**Tech-Stack:**
|
||||||
* **Backend:** Python 3.12, FastAPI.
|
* **Backend:** Python 3.10+, FastAPI.
|
||||||
* **Datenbank:** Qdrant (Vektor & Graph).
|
* **Datenbank:** Qdrant (Vektor & Graph).
|
||||||
* **KI:** Ollama (Phi-3 Mini / Mistral) – 100% lokal.
|
* **KI:** Ollama (Phi-3 Mini) – 100% lokal.
|
||||||
* **Frontend:** Terminal (aktuell) / Web-UI (geplant WP10).
|
* **Frontend:** Streamlit Web-UI (v2.4).
|
||||||
|
|
||||||
---
|
---
|
||||||
|
|
||||||
@@ -71,25 +76,25 @@ Wo findest du was?
|
|||||||
|
|
||||||
| Wenn du... | ...lies dieses Dokument |
|
| Wenn du... | ...lies dieses Dokument |
|
||||||
| :--- | :--- |
|
| :--- | :--- |
|
||||||
| **...wissen willst, wie man Notizen schreibt.** | `mindnet_knowledge_design_manual_v2.2.md` |
|
| **...wissen willst, wie man Notizen schreibt.** | `mindnet_knowledge_design_manual_v2.4.md` |
|
||||||
| **...das System installieren oder betreiben musst.** | `mindnet_admin_guide_v2.2.md` |
|
| **...das System installieren oder betreiben musst.** | `mindnet_admin_guide_v2.4.md` |
|
||||||
| **...am Python-Code entwickeln willst.** | `mindnet_developer_guide_v2.2.md` |
|
| **...am Python-Code entwickeln willst.** | `mindnet_developer_guide_v2.4.md` |
|
||||||
| **...die Pipeline (Import -> RAG) verstehen willst.** | `mindnet_pipeline_playbook_v2.2.md` |
|
| **...die Pipeline (Import -> RAG) verstehen willst.** | `mindnet_pipeline_playbook_v2.4.md` |
|
||||||
| **...die genaue JSON-Struktur oder APIs suchst.** | `mindnet_technical_architecture.md` |
|
| **...die genaue JSON-Struktur oder APIs suchst.** | `mindnet_technical_architecture.md` |
|
||||||
| **...verstehen willst, was fachlich passiert.** | `mindnet_functional_architecture.md` |
|
| **...verstehen willst, was fachlich passiert.** | `mindnet_functional_architecture.md` |
|
||||||
| **...den aktuellen Projektstatus suchst.** | `Programmplan_V2.2.md` |
|
| **...den aktuellen Projektstatus suchst.** | `mindnet_appendices_v2.4.md` |
|
||||||
|
|
||||||
---
|
---
|
||||||
|
|
||||||
## 5. Rollen im System
|
## 5. Rollen im System
|
||||||
|
|
||||||
* **Mindmaster (User/Owner):** Du. Du erstellst Inhalte, stellst Fragen und gibst Feedback. Du definierst die Werte (`type: value`).
|
* **Mindmaster (User/Owner):** Du. Du erstellst Inhalte, stellst Fragen und gibst Feedback. Du definierst die Werte (`type: value`).
|
||||||
* **Mindnet (Der Agent):** Der digitale Zwilling. Er agiert als pragmatischer, transparenter Assistent im Chat.
|
* **Mindnet (Der Agent):** Der digitale Zwilling. Er agiert als pragmatischer, transparenter Assistent und Analyst.
|
||||||
* **Administrator:** Verantwortlich für Docker-Container, Backups und LLM-Ressourcen.
|
* **Administrator:** Verantwortlich für Docker-Container, Backups und LLM-Ressourcen.
|
||||||
|
|
||||||
---
|
---
|
||||||
|
|
||||||
## 6. Aktueller Fokus
|
## 6. Aktueller Fokus
|
||||||
|
|
||||||
Wir haben **Phase C (Persönlichkeit)** mit WP06 (Decision Engine) abgeschlossen.
|
Wir haben den **Interview-Assistenten (WP07)** und den **Draft-Editor (WP10a)** erfolgreich integriert.
|
||||||
Das System kann nun strategisch denken und fühlen. Als Nächstes folgt **Phase D (Interaktion)** mit dem **Chat Interface (WP10)** für bessere Usability.
|
Das System kann nun aktiv helfen, Wissen zu strukturieren, anstatt es nur abzurufen. Der Fokus verschiebt sich nun in Richtung **Self-Tuning (WP08)**, um aus dem gesammelten Feedback automatisch zu lernen.
|
||||||
+79
-45
@@ -1,19 +1,19 @@
|
|||||||
# Mindnet v2.2 – Admin Guide
|
# Mindnet v2.4 – Admin Guide
|
||||||
**Datei:** `docs/mindnet_admin_guide_v2.2.md`
|
**Datei:** `docs/mindnet_admin_guide_v2.4.md`
|
||||||
**Stand:** 2025-12-09
|
**Stand:** 2025-12-10
|
||||||
**Status:** **FINAL** (Inkl. RAG, Decision Engine & LLM Ops)
|
**Status:** **FINAL** (Inkl. Frontend Deployment & Interview Config)
|
||||||
**Quellen:** `Handbuch.md`, `mindnet_developer_guide_v2.2.md`.
|
**Quellen:** `Handbuch.md`, `mindnet_developer_guide_v2.4.md`.
|
||||||
|
|
||||||
> Dieses Handbuch richtet sich an **Administratoren**. Es beschreibt Installation, Konfiguration, Backup-Strategien, Monitoring und den sicheren Betrieb der Mindnet-Instanz (API + DB + LLM).
|
> Dieses Handbuch richtet sich an **Administratoren**. Es beschreibt Installation, Konfiguration, Backup-Strategien, Monitoring und den sicheren Betrieb der Mindnet-Instanz (API + UI + DB).
|
||||||
|
|
||||||
---
|
---
|
||||||
|
|
||||||
## 1. Zielgruppe & Scope
|
## 1. Zielgruppe & Scope
|
||||||
|
|
||||||
Mindnet ist als **Single-Node System** konzipiert, das lokal (z.B. Laptop) oder auf einem privaten Server (Homelab, Intranet) läuft.
|
Mindnet ist als **Multi-Service-Architektur** konzipiert, die lokal oder auf einem privaten Server läuft.
|
||||||
Wir unterscheiden strikt zwischen:
|
Wir unterscheiden strikt zwischen:
|
||||||
* **Production (Port 8001):** Stabiler `main` Branch.
|
* **Production:** Backend (8001) + Frontend (8501). Stabiler `main` Branch.
|
||||||
* **Development (Port 8002):** Experimentelle Feature-Branches.
|
* **Development:** Backend (8002) + Frontend (8502). Experimentelle Feature-Branches.
|
||||||
|
|
||||||
---
|
---
|
||||||
|
|
||||||
@@ -36,9 +36,11 @@ Wir unterscheiden strikt zwischen:
|
|||||||
# 2. Umgebung einrichten
|
# 2. Umgebung einrichten
|
||||||
python3 -m venv .venv
|
python3 -m venv .venv
|
||||||
source .venv/bin/activate
|
source .venv/bin/activate
|
||||||
|
|
||||||
|
# 3. Dependencies installieren (inkl. Streamlit)
|
||||||
pip install -r requirements.txt
|
pip install -r requirements.txt
|
||||||
|
|
||||||
# 3. Verzeichnisse anlegen
|
# 4. Verzeichnisse anlegen
|
||||||
mkdir -p logs qdrant_storage data/logs
|
mkdir -p logs qdrant_storage data/logs
|
||||||
|
|
||||||
### 2.3 Qdrant Setup (Docker)
|
### 2.3 Qdrant Setup (Docker)
|
||||||
@@ -55,7 +57,7 @@ Wir nutzen Qdrant als Vektor-Datenbank. Persistenz ist wichtig.
|
|||||||
Mindnet benötigt einen lokalen LLM-Server für den Chat.
|
Mindnet benötigt einen lokalen LLM-Server für den Chat.
|
||||||
|
|
||||||
# 1. Installieren (Linux Script)
|
# 1. Installieren (Linux Script)
|
||||||
curl -fsSL https://ollama.com/install.sh | sh
|
curl -fsSL [https://ollama.com/install.sh](https://ollama.com/install.sh) | sh
|
||||||
|
|
||||||
# 2. Modell laden (Phi-3 Mini für CPU-Performance)
|
# 2. Modell laden (Phi-3 Mini für CPU-Performance)
|
||||||
ollama pull phi3:mini
|
ollama pull phi3:mini
|
||||||
@@ -64,7 +66,7 @@ Mindnet benötigt einen lokalen LLM-Server für den Chat.
|
|||||||
curl http://localhost:11434/api/generate -d '{"model": "phi3:mini", "prompt":"Hi"}'
|
curl http://localhost:11434/api/generate -d '{"model": "phi3:mini", "prompt":"Hi"}'
|
||||||
|
|
||||||
### 2.5 Konfiguration (ENV)
|
### 2.5 Konfiguration (ENV)
|
||||||
Erstelle eine `.env` Datei im Root-Verzeichnis. Die neuen Settings für WP-06 (Timeout, Decision Config) sind essenziell für stabilen Betrieb auf CPUs.
|
Erstelle eine `.env` Datei im Root-Verzeichnis. Die neuen Settings für WP-06/WP-07 (Timeout, Decision Config) sind essenziell für stabilen Betrieb auf CPUs.
|
||||||
|
|
||||||
# Qdrant Verbindung
|
# Qdrant Verbindung
|
||||||
QDRANT_URL="http://localhost:6333"
|
QDRANT_URL="http://localhost:6333"
|
||||||
@@ -77,22 +79,62 @@ Erstelle eine `.env` Datei im Root-Verzeichnis. Die neuen Settings für WP-06 (T
|
|||||||
MINDNET_LLM_MODEL="phi3:mini"
|
MINDNET_LLM_MODEL="phi3:mini"
|
||||||
MINDNET_OLLAMA_URL="http://127.0.0.1:11434"
|
MINDNET_OLLAMA_URL="http://127.0.0.1:11434"
|
||||||
|
|
||||||
# NEU in v2.3: Config & Timeouts
|
# Config & Timeouts
|
||||||
# Pfad zu Prompts
|
|
||||||
MINDNET_PROMPTS_PATH="./config/prompts.yaml"
|
MINDNET_PROMPTS_PATH="./config/prompts.yaml"
|
||||||
# Pfad zur Decision Engine Config
|
|
||||||
MINDNET_DECISION_CONFIG="./config/decision_engine.yaml"
|
MINDNET_DECISION_CONFIG="./config/decision_engine.yaml"
|
||||||
# Timeout in Sekunden (300s = 5min fuer Cold Starts)
|
|
||||||
MINDNET_LLM_TIMEOUT=300.0
|
MINDNET_LLM_TIMEOUT=300.0
|
||||||
|
|
||||||
### 2.6 Deployment via Systemd
|
### 2.6 Deployment via Systemd (Backend & Frontend)
|
||||||
Mindnet wird als Systemdienst gestartet. Ollama läuft meist als eigener Dienst (`ollama.service`).
|
|
||||||
|
|
||||||
**Production Service (`/etc/systemd/system/mindnet-prod.service`):**
|
Mindnet benötigt zwei Services pro Umgebung: API (Uvicorn) und UI (Streamlit).
|
||||||
* Läuft auf Port 8001.
|
|
||||||
* Autostart (`enabled`).
|
**Production Backend (`/etc/systemd/system/mindnet-prod.service`):**
|
||||||
* Restart Policy: `always`.
|
|
||||||
* Abhängigkeit: Sollte nach `docker` und `ollama` starten.
|
[Unit]
|
||||||
|
Description=Mindnet API Prod (8001)
|
||||||
|
After=network.target
|
||||||
|
|
||||||
|
[Service]
|
||||||
|
User=llmadmin
|
||||||
|
Group=llmadmin
|
||||||
|
WorkingDirectory=/home/llmadmin/mindnet
|
||||||
|
ExecStart=/home/llmadmin/mindnet/.venv/bin/uvicorn app.main:app --host 0.0.0.0 --port 8001 --env-file .env
|
||||||
|
Restart=always
|
||||||
|
RestartSec=5
|
||||||
|
|
||||||
|
[Install]
|
||||||
|
WantedBy=multi-user.target
|
||||||
|
|
||||||
|
**Production Frontend (`/etc/systemd/system/mindnet-ui-prod.service`):**
|
||||||
|
|
||||||
|
[Unit]
|
||||||
|
Description=Mindnet UI Prod (8501)
|
||||||
|
After=mindnet-prod.service
|
||||||
|
|
||||||
|
[Service]
|
||||||
|
User=llmadmin
|
||||||
|
Group=llmadmin
|
||||||
|
WorkingDirectory=/home/llmadmin/mindnet
|
||||||
|
|
||||||
|
# Environment Variables
|
||||||
|
Environment="MINDNET_API_URL=http://localhost:8001"
|
||||||
|
Environment="MINDNET_API_TIMEOUT=300"
|
||||||
|
Environment="STREAMLIT_SERVER_PORT=8501"
|
||||||
|
Environment="STREAMLIT_SERVER_ADDRESS=0.0.0.0"
|
||||||
|
Environment="STREAMLIT_SERVER_HEADLESS=true"
|
||||||
|
|
||||||
|
ExecStart=/home/llmadmin/mindnet/.venv/bin/streamlit run app/frontend/ui.py
|
||||||
|
Restart=always
|
||||||
|
RestartSec=5
|
||||||
|
|
||||||
|
[Install]
|
||||||
|
WantedBy=multi-user.target
|
||||||
|
|
||||||
|
**Firewall (UFW):**
|
||||||
|
Öffne die Ports für den Zugriff:
|
||||||
|
|
||||||
|
sudo ufw allow 8501/tcp # Prod UI
|
||||||
|
sudo ufw allow 8502/tcp # Dev UI (falls gewünscht)
|
||||||
|
|
||||||
---
|
---
|
||||||
|
|
||||||
@@ -106,27 +148,19 @@ Der Vault-Zustand sollte regelmäßig (z.B. stündlich per Cronjob) nach Qdrant
|
|||||||
0 * * * * cd /home/llmadmin/mindnet && .venv/bin/python3 -m scripts.import_markdown --vault /path/to/vault --prefix "mindnet" --apply --purge-before-upsert --sync-deletes >> ./logs/import.log 2>&1
|
0 * * * * cd /home/llmadmin/mindnet && .venv/bin/python3 -m scripts.import_markdown --vault /path/to/vault --prefix "mindnet" --apply --purge-before-upsert --sync-deletes >> ./logs/import.log 2>&1
|
||||||
|
|
||||||
### 3.2 Health-Checks
|
### 3.2 Health-Checks
|
||||||
Prüfe regelmäßig, ob alle drei Komponenten (API, DB, LLM) laufen.
|
Prüfe regelmäßig, ob alle Komponenten laufen.
|
||||||
|
|
||||||
**Status prüfen:**
|
|
||||||
|
|
||||||
sudo systemctl status mindnet-prod
|
sudo systemctl status mindnet-prod
|
||||||
|
sudo systemctl status mindnet-ui-prod
|
||||||
sudo systemctl status ollama
|
sudo systemctl status ollama
|
||||||
|
|
||||||
**Logischer Smoke-Test:**
|
|
||||||
|
|
||||||
python3 scripts/test_retriever_smoke.py --mode hybrid --url http://localhost:8001/query
|
|
||||||
|
|
||||||
### 3.3 Logs & Monitoring
|
### 3.3 Logs & Monitoring
|
||||||
* **Technische Fehler (API):** `journalctl -u mindnet-prod -f`
|
* **Backend Fehler:** `journalctl -u mindnet-prod -f`
|
||||||
* Achte auf: `LLM Router Raw Output`. Hier siehst du, wie die Decision Engine entscheidet.
|
* **Frontend Fehler:** `journalctl -u mindnet-ui-prod -f`
|
||||||
* **LLM Fehler (Ollama):** `journalctl -u ollama -f`
|
* Achte auf "Timeout"-Meldungen im Frontend, wenn das Backend zu langsam antwortet.
|
||||||
|
* **LLM Fehler:** `journalctl -u ollama -f`
|
||||||
* **Fachliche Logs:** `data/logs/search_history.jsonl`
|
* **Fachliche Logs:** `data/logs/search_history.jsonl`
|
||||||
|
|
||||||
**Troubleshooting Chat:**
|
|
||||||
* Wenn `/chat` in den Timeout läuft (>300s): Prüfe `MINDNET_LLM_TIMEOUT` in `.env` und ob das Modell im RAM liegt.
|
|
||||||
* Wenn `/chat` halluziniert: Prüfe `config/prompts.yaml` und ob der Import aktuell ist.
|
|
||||||
|
|
||||||
---
|
---
|
||||||
|
|
||||||
## 4. Update-Prozess
|
## 4. Update-Prozess
|
||||||
@@ -143,9 +177,10 @@ Wenn neue Versionen ausgerollt werden (Deployment):
|
|||||||
source .venv/bin/activate
|
source .venv/bin/activate
|
||||||
pip install -r requirements.txt
|
pip install -r requirements.txt
|
||||||
|
|
||||||
3. **Dienst neustarten (Zwingend!):**
|
3. **Dienste neustarten (Zwingend!):**
|
||||||
|
|
||||||
sudo systemctl restart mindnet-prod
|
sudo systemctl restart mindnet-prod
|
||||||
|
sudo systemctl restart mindnet-ui-prod
|
||||||
|
|
||||||
4. **Schema-Migration (falls nötig):**
|
4. **Schema-Migration (falls nötig):**
|
||||||
|
|
||||||
@@ -158,7 +193,7 @@ Wenn neue Versionen ausgerollt werden (Deployment):
|
|||||||
Datensicherheit ruht auf drei Säulen: Vault (Source), Qdrant (Index), JSONL-Logs (Lern-Daten).
|
Datensicherheit ruht auf drei Säulen: Vault (Source), Qdrant (Index), JSONL-Logs (Lern-Daten).
|
||||||
|
|
||||||
### 5.1 Vault-Backup (Priorität 1)
|
### 5.1 Vault-Backup (Priorität 1)
|
||||||
Der Markdown-Vault ist die **Single Source of Truth**. Er muss klassisch gesichert werden (Git/NAS).
|
Der Markdown-Vault ist die **Single Source of Truth**.
|
||||||
|
|
||||||
### 5.2 Qdrant-Snapshots (Priorität 2)
|
### 5.2 Qdrant-Snapshots (Priorität 2)
|
||||||
Für schnelle Wiederherstellung des Suchindex.
|
Für schnelle Wiederherstellung des Suchindex.
|
||||||
@@ -168,7 +203,7 @@ Für schnelle Wiederherstellung des Suchindex.
|
|||||||
docker start mindnet_qdrant
|
docker start mindnet_qdrant
|
||||||
|
|
||||||
### 5.3 Log-Daten (Priorität 3)
|
### 5.3 Log-Daten (Priorität 3)
|
||||||
Sichere den Ordner `data/logs/`. Verlust dieser Daten bedeutet, dass das System vergisst, welche Antworten Nutzer hilfreich fanden.
|
Sichere den Ordner `data/logs/`. Verlust dieser Daten bedeutet Verlust des Trainingsmaterials für Self-Tuning.
|
||||||
|
|
||||||
### 5.4 Notfall-Wiederherstellung (Rebuild)
|
### 5.4 Notfall-Wiederherstellung (Rebuild)
|
||||||
Wenn die Datenbank korrupt ist:
|
Wenn die Datenbank korrupt ist:
|
||||||
@@ -184,10 +219,9 @@ Wenn die Datenbank korrupt ist:
|
|||||||
|
|
||||||
### 6.1 Zugriffsschutz
|
### 6.1 Zugriffsschutz
|
||||||
Mindnet hat aktuell **keine integrierte Authentifizierung**.
|
Mindnet hat aktuell **keine integrierte Authentifizierung**.
|
||||||
* **API:** Muss hinter einem Reverse Proxy (Nginx) mit Basic Auth laufen.
|
* **Frontend:** Streamlit auf Port 8501 ist offen. Nutze Nginx Basic Auth oder VPN.
|
||||||
* **Qdrant:** Sollte via Firewall (ufw) auf `127.0.0.1` beschränkt sein.
|
* **API:** Sollte nicht direkt im öffentlichen Netz stehen.
|
||||||
* **Ollama:** Standardmäßig hört Ollama nur auf `localhost`. Das ist sicher.
|
* **Qdrant:** Auf `127.0.0.1` beschränken.
|
||||||
|
|
||||||
### 6.2 Typen-Governance
|
### 6.2 Typen-Governance
|
||||||
Änderungen an der `types.yaml` (z.B. neue Gewichte) wirken global.
|
Änderungen an der `types.yaml` (z.B. neue Gewichte) wirken global und erfordern Tests.
|
||||||
* **Prozess:** Änderungen sollten getestet werden (Smoke-Test), bevor sie produktiv gehen.
|
|
||||||
+21
-18
@@ -1,7 +1,7 @@
|
|||||||
# Mindnet v2.2 – Appendices & Referenzen
|
# Mindnet v2.4 – Appendices & Referenzen
|
||||||
**Datei:** `docs/mindnet_appendices_v2.2.md`
|
**Datei:** `docs/mindnet_appendices_v2.4.md`
|
||||||
**Stand:** 2025-12-09
|
**Stand:** 2025-12-10
|
||||||
**Status:** **FINAL** (Integrierter Stand WP01–WP06)
|
**Status:** **FINAL** (Integrierter Stand WP01–WP10a)
|
||||||
**Quellen:** `TYPE_REGISTRY_MANUAL.md`, `chunking_strategy.md`, `mindnet_technical_architecture.md`, `Handbuch.md`.
|
**Quellen:** `TYPE_REGISTRY_MANUAL.md`, `chunking_strategy.md`, `mindnet_technical_architecture.md`, `Handbuch.md`.
|
||||||
|
|
||||||
> Dieses Dokument bündelt Tabellen, Schemata und technische Referenzen, die in den Prozess-Dokumenten (Playbook, Guides) den Lesefluss stören würden.
|
> Dieses Dokument bündelt Tabellen, Schemata und technische Referenzen, die in den Prozess-Dokumenten (Playbook, Guides) den Lesefluss stören würden.
|
||||||
@@ -10,7 +10,7 @@
|
|||||||
|
|
||||||
## Anhang A: Typ-Registry Referenz (Default-Werte)
|
## Anhang A: Typ-Registry Referenz (Default-Werte)
|
||||||
|
|
||||||
Diese Tabelle zeigt die Standard-Konfiguration der `types.yaml` (Stand v2.3.1).
|
Diese Tabelle zeigt die Standard-Konfiguration der `types.yaml` (Stand v2.4).
|
||||||
|
|
||||||
| Typ (`type`) | Chunk Profile | Retriever Weight | Edge Defaults (Auto-Kanten) | Beschreibung |
|
| Typ (`type`) | Chunk Profile | Retriever Weight | Edge Defaults (Auto-Kanten) | Beschreibung |
|
||||||
| :--- | :--- | :--- | :--- | :--- |
|
| :--- | :--- | :--- | :--- | :--- |
|
||||||
@@ -23,8 +23,8 @@ Diese Tabelle zeigt die Standard-Konfiguration der `types.yaml` (Stand v2.3.1).
|
|||||||
| **source** | `long` | 0.50 | *(keine)* | Externe Quellen (Bücher, PDFs). |
|
| **source** | `long` | 0.50 | *(keine)* | Externe Quellen (Bücher, PDFs). |
|
||||||
| **event** | `short` | 0.60 | `related_to` | Meetings, Konferenzen. |
|
| **event** | `short` | 0.60 | `related_to` | Meetings, Konferenzen. |
|
||||||
| **value** | `medium` | 1.00 | `related_to` | Persönliche Werte/Prinzipien. |
|
| **value** | `medium` | 1.00 | `related_to` | Persönliche Werte/Prinzipien. |
|
||||||
| **goal** | `medium` | 0.95 | `depends_on` | Strategische Ziele (Neu in WP06). |
|
| **goal** | `medium` | 0.95 | `depends_on` | Strategische Ziele. |
|
||||||
| **belief** | `medium` | 0.90 | `related_to` | Glaubenssätze (Neu in WP06). |
|
| **belief** | `medium` | 0.90 | `related_to` | Glaubenssätze. |
|
||||||
| **default** | `medium` | 1.00 | `references` | Fallback, wenn Typ unbekannt. |
|
| **default** | `medium` | 1.00 | `references` | Fallback, wenn Typ unbekannt. |
|
||||||
|
|
||||||
---
|
---
|
||||||
@@ -71,7 +71,7 @@ Diese sind die Felder, die effektiv in Qdrant gespeichert werden.
|
|||||||
{
|
{
|
||||||
"chunk_id": "string (keyword)", // Format: {note_id}#c{index}
|
"chunk_id": "string (keyword)", // Format: {note_id}#c{index}
|
||||||
"note_id": "string (keyword)", // FK zur Note
|
"note_id": "string (keyword)", // FK zur Note
|
||||||
"type": "string (keyword)", // Typ-Kopie aus Note (Neu in WP06a)
|
"type": "string (keyword)", // Typ-Kopie aus Note
|
||||||
"text": "string (text)", // Reintext für Anzeige (ohne Overlap)
|
"text": "string (text)", // Reintext für Anzeige (ohne Overlap)
|
||||||
"window": "string (text)", // Text + Overlap (für Embedding)
|
"window": "string (text)", // Text + Overlap (für Embedding)
|
||||||
"ord": "integer", // Laufende Nummer (1..N)
|
"ord": "integer", // Laufende Nummer (1..N)
|
||||||
@@ -87,10 +87,10 @@ Diese sind die Felder, die effektiv in Qdrant gespeichert werden.
|
|||||||
"source_id": "string (keyword)", // Chunk-ID (Start)
|
"source_id": "string (keyword)", // Chunk-ID (Start)
|
||||||
"target_id": "string (keyword)", // Chunk-ID oder Note-Titel (Ziel)
|
"target_id": "string (keyword)", // Chunk-ID oder Note-Titel (Ziel)
|
||||||
"kind": "string (keyword)", // z.B. 'depends_on'
|
"kind": "string (keyword)", // z.B. 'depends_on'
|
||||||
"scope": "string (keyword)", // Immer 'chunk' in v2.2
|
"scope": "string (keyword)", // Immer 'chunk'
|
||||||
"rule_id": "string (keyword)", // Traceability: 'inline:rel', 'explicit:wikilink'
|
"rule_id": "string (keyword)", // Traceability: 'inline:rel', 'explicit:wikilink'
|
||||||
"confidence": "float", // 0.0 - 1.0
|
"confidence": "float", // 0.0 - 1.0
|
||||||
"note_id": "string (keyword)" // Owner Note ID (für Löschung)
|
"note_id": "string (keyword)" // Owner Note ID
|
||||||
}
|
}
|
||||||
|
|
||||||
---
|
---
|
||||||
@@ -107,10 +107,11 @@ Diese Variablen steuern das Verhalten der Skripte und Container.
|
|||||||
| `MINDNET_TYPES_FILE` | `config/types.yaml` | Pfad zur Typ-Registry. |
|
| `MINDNET_TYPES_FILE` | `config/types.yaml` | Pfad zur Typ-Registry. |
|
||||||
| `MINDNET_RETRIEVER_CONFIG`| `config/retriever.yaml`| Pfad zur Scoring-Konfiguration. |
|
| `MINDNET_RETRIEVER_CONFIG`| `config/retriever.yaml`| Pfad zur Scoring-Konfiguration. |
|
||||||
| `MINDNET_PROMPTS_PATH` | `config/prompts.yaml` | Pfad zu LLM-Prompts (Neu in v2.2). |
|
| `MINDNET_PROMPTS_PATH` | `config/prompts.yaml` | Pfad zu LLM-Prompts (Neu in v2.2). |
|
||||||
| `MINDNET_DECISION_CONFIG` | `config/decision_engine.yaml` | Pfad zur Router-Config (Neu in v2.3). |
|
| `MINDNET_DECISION_CONFIG` | `config/decision_engine.yaml` | Router & Interview Config (Neu in v2.3). |
|
||||||
| `MINDNET_LLM_MODEL` | `phi3:mini` | Name des Ollama-Modells (Neu in v2.2). |
|
| `MINDNET_LLM_MODEL` | `phi3:mini` | Name des Ollama-Modells (Neu in v2.2). |
|
||||||
| `MINDNET_OLLAMA_URL` | `http://127.0.0.1:11434`| URL zum LLM-Server (Neu in v2.2). |
|
| `MINDNET_OLLAMA_URL` | `http://127.0.0.1:11434`| URL zum LLM-Server (Neu in v2.2). |
|
||||||
| `MINDNET_LLM_TIMEOUT` | `120.0` | Timeout für Ollama (Erhöhen auf 300.0 für CPU). |
|
| `MINDNET_LLM_TIMEOUT` | `300.0` | Timeout für Ollama (Erhöht für CPU-Inference). |
|
||||||
|
| `MINDNET_API_TIMEOUT` | `300.0` | Frontend Timeout (Streamlit). |
|
||||||
| `MINDNET_HASH_COMPARE` | `Body` | Vergleichsmodus für Import (`Body`, `Frontmatter`, `Full`). |
|
| `MINDNET_HASH_COMPARE` | `Body` | Vergleichsmodus für Import (`Body`, `Frontmatter`, `Full`). |
|
||||||
| `MINDNET_HASH_SOURCE` | `parsed` | Quelle für Hash (`parsed`, `raw`, `file`). |
|
| `MINDNET_HASH_SOURCE` | `parsed` | Quelle für Hash (`parsed`, `raw`, `file`). |
|
||||||
| `VECTOR_DIM` | `384` | Dimension der Embeddings (Modellabhängig). |
|
| `VECTOR_DIM` | `384` | Dimension der Embeddings (Modellabhängig). |
|
||||||
@@ -119,16 +120,16 @@ Diese Variablen steuern das Verhalten der Skripte und Container.
|
|||||||
|
|
||||||
## Anhang E: Glossar
|
## Anhang E: Glossar
|
||||||
|
|
||||||
* **Callout-Edge:** Kante via `> [!edge]`.
|
|
||||||
* **Decision Engine:** Komponente, die den Intent prüft und Strategien wählt (WP06).
|
* **Decision Engine:** Komponente, die den Intent prüft und Strategien wählt (WP06).
|
||||||
|
* **Draft Editor:** Web-Komponente zur Bearbeitung generierter Notizen (WP10a).
|
||||||
* **Explanation Layer:** Komponente, die Scores und Graphen als Begründung liefert.
|
* **Explanation Layer:** Komponente, die Scores und Graphen als Begründung liefert.
|
||||||
* **Hybrid Router:** Kombination aus Keyword-Matching und LLM-Klassifizierung für Intents.
|
* **Hybrid Router:** Kombination aus Keyword-Matching und LLM-Klassifizierung für Intents.
|
||||||
|
* **One-Shot Extractor:** LLM-Strategie zur sofortigen Generierung von Drafts ohne Rückfragen (WP07).
|
||||||
* **RAG (Retrieval Augmented Generation):** Kombination aus Suche und Text-Generierung.
|
* **RAG (Retrieval Augmented Generation):** Kombination aus Suche und Text-Generierung.
|
||||||
* **Strategic Retrieval:** Gezieltes Nachladen von Werten (`value`) bei Entscheidungfragen.
|
|
||||||
|
|
||||||
---
|
---
|
||||||
|
|
||||||
## Anhang F: Workpackage Status (v2.3.1)
|
## Anhang F: Workpackage Status (v2.4.0)
|
||||||
|
|
||||||
Aktueller Implementierungsstand der Module.
|
Aktueller Implementierungsstand der Module.
|
||||||
|
|
||||||
@@ -140,7 +141,9 @@ Aktueller Implementierungsstand der Module.
|
|||||||
| **WP04a**| Retriever Scoring | 🟢 Live | Hybrider Score (Semantik + Graph). |
|
| **WP04a**| Retriever Scoring | 🟢 Live | Hybrider Score (Semantik + Graph). |
|
||||||
| **WP04b**| Explanation Layer | 🟢 Live | API liefert Reasons & Breakdown. |
|
| **WP04b**| Explanation Layer | 🟢 Live | API liefert Reasons & Breakdown. |
|
||||||
| **WP04c**| Feedback Loop | 🟢 Live | Logging (JSONL) & Traceability aktiv. |
|
| **WP04c**| Feedback Loop | 🟢 Live | Logging (JSONL) & Traceability aktiv. |
|
||||||
| **WP05** | Persönlichkeit / Chat | 🟢 Live | RAG-Chat mit Context Enrichment. |
|
| **WP05** | Persönlichkeit / Chat | 🟢 Live | RAG-Integration mit Context Enrichment. |
|
||||||
| **WP06** | Decision Engine | 🟢 Live | Hybrid Router, Strategic Retrieval, Multi-Persona. |
|
| **WP06** | Decision Engine | 🟢 Live | Intent-Router & Strategic Retrieval. |
|
||||||
|
| **WP07** | Interview Assistent | 🟢 Live | **One-Shot Extractor & Schemas aktiv.** |
|
||||||
| **WP08** | Self-Tuning | 🔴 Geplant | Auto-Adjustment der Gewichte. |
|
| **WP08** | Self-Tuning | 🔴 Geplant | Auto-Adjustment der Gewichte. |
|
||||||
| **WP10** | Chat Interface | 🟡 Geplant | Nächster Schritt (Frontend). |
|
| **WP10** | Chat Interface | 🟢 Live | Web-Interface (Streamlit). |
|
||||||
|
| **WP10a**| Draft Editor | 🟢 Live | **Interaktives UI für WP07 Drafts.** |
|
||||||
+58
-31
@@ -1,6 +1,6 @@
|
|||||||
# Mindnet v2.2 – Entwickler-Workflow
|
# Mindnet v2.4 – Entwickler-Workflow
|
||||||
**Datei:** `DEV_WORKFLOW.md`
|
**Datei:** `docs/DEV_WORKFLOW.md`
|
||||||
**Stand:** 2025-12-09 (Aktualisiert: LLM Timeouts & Systemd)
|
**Stand:** 2025-12-10 (Aktualisiert: Inkl. Interview-Tests WP07)
|
||||||
|
|
||||||
Dieses Handbuch beschreibt den Entwicklungszyklus zwischen **Windows PC** (IDE), **Raspberry Pi** (Gitea) und **Beelink** (Runtime/Server).
|
Dieses Handbuch beschreibt den Entwicklungszyklus zwischen **Windows PC** (IDE), **Raspberry Pi** (Gitea) und **Beelink** (Runtime/Server).
|
||||||
|
|
||||||
@@ -11,8 +11,12 @@ Dieses Handbuch beschreibt den Entwicklungszyklus zwischen **Windows PC** (IDE),
|
|||||||
* **Windows 11 (VS Code):** Hier schreibst du Code. **Nie** direkt auf `main` arbeiten!
|
* **Windows 11 (VS Code):** Hier schreibst du Code. **Nie** direkt auf `main` arbeiten!
|
||||||
* **Raspberry Pi (Gitea):** Der Tresor. Speichert den Code und verwaltet Versionen.
|
* **Raspberry Pi (Gitea):** Der Tresor. Speichert den Code und verwaltet Versionen.
|
||||||
* **Beelink (Runtime):** Hier läuft die Software. Wir nutzen **Systemd-Services**:
|
* **Beelink (Runtime):** Hier läuft die Software. Wir nutzen **Systemd-Services**:
|
||||||
* **PROD (`mindnet-prod`):** Läuft stabil auf `main`. Ordner: `~/mindnet`. **Port 8001**.
|
* **PROD:**
|
||||||
* **DEV (`mindnet-dev`):** Deine Spielwiese. Ordner: `~/mindnet_dev`. **Port 8002**.
|
* API: `mindnet-prod` (Port 8001). Ordner: `~/mindnet`.
|
||||||
|
* UI: `mindnet-ui-prod` (Port 8501).
|
||||||
|
* **DEV:**
|
||||||
|
* API: `mindnet-dev` (Port 8002). Ordner: `~/mindnet_dev`.
|
||||||
|
* UI: `mindnet-ui-dev` (Port 8502).
|
||||||
|
|
||||||
---
|
---
|
||||||
|
|
||||||
@@ -31,14 +35,14 @@ Hier erstellst du die neue Funktion in einer sicheren Umgebung.
|
|||||||
2. **Branch erstellen:**
|
2. **Branch erstellen:**
|
||||||
* Klicke wieder unten links auf `main`.
|
* Klicke wieder unten links auf `main`.
|
||||||
* Wähle `+ Create new branch...`.
|
* Wähle `+ Create new branch...`.
|
||||||
* Gib den Namen ein: `feature/was-ich-tue` (z.B. `feature/wp06-decision`).
|
* Gib den Namen ein: `feature/was-ich-tue` (z.B. `feature/wp07-interview`).
|
||||||
* Drücke **Enter**.
|
* Drücke **Enter**.
|
||||||
|
|
||||||
3. **Sicherheits-Check:**
|
3. **Sicherheits-Check:**
|
||||||
* Steht unten links jetzt dein Feature-Branch? **Nur dann darfst du Code ändern!**
|
* Steht unten links jetzt dein Feature-Branch? **Nur dann darfst du Code ändern!**
|
||||||
|
|
||||||
4. **Coden:**
|
4. **Coden:**
|
||||||
* Nimm deine Änderungen vor (z.B. neue YAML-Configs).
|
* Nimm deine Änderungen vor (z.B. neue Schemas in `decision_engine.yaml`).
|
||||||
|
|
||||||
5. **Sichern & Hochladen:**
|
5. **Sichern & Hochladen:**
|
||||||
* **Source Control** Icon (Gabel-Symbol) -> Nachricht eingeben -> **Commit**.
|
* **Source Control** Icon (Gabel-Symbol) -> Nachricht eingeben -> **Commit**.
|
||||||
@@ -60,7 +64,7 @@ Hier prüfst du, ob dein neuer Code auf dem echten Server läuft.
|
|||||||
```bash
|
```bash
|
||||||
git fetch
|
git fetch
|
||||||
# Tipp: 'git branch -r' zeigt alle verfügbaren Branches an
|
# Tipp: 'git branch -r' zeigt alle verfügbaren Branches an
|
||||||
git checkout feature/wp06-decision
|
git checkout feature/wp07-interview
|
||||||
git pull
|
git pull
|
||||||
```
|
```
|
||||||
|
|
||||||
@@ -71,45 +75,62 @@ Hier prüfst du, ob dein neuer Code auf dem echten Server läuft.
|
|||||||
```
|
```
|
||||||
|
|
||||||
5. **Test-Server aktualisieren (WICHTIG):**
|
5. **Test-Server aktualisieren (WICHTIG):**
|
||||||
Der Code ist da, aber der Prozess im RAM ist noch alt. Wir müssen den Service neustarten.
|
Der Code ist da, aber die Prozesse im RAM sind noch alt. Wir müssen die Services neustarten.
|
||||||
|
|
||||||
**Option A: Standard (Als Service laufen lassen)**
|
**Option A: Standard (Als Service laufen lassen)**
|
||||||
Ideal, wenn du nur testen willst, ob es läuft.
|
Ideal, wenn du nur testen willst, ob es läuft.
|
||||||
```bash
|
```bash
|
||||||
|
# 1. API neustarten (Backend)
|
||||||
sudo systemctl restart mindnet-dev
|
sudo systemctl restart mindnet-dev
|
||||||
|
# 2. UI neustarten (Frontend)
|
||||||
|
sudo systemctl restart mindnet-ui-dev
|
||||||
|
|
||||||
# Logs prüfen (um Fehler zu sehen):
|
# Logs prüfen (um Fehler zu sehen):
|
||||||
journalctl -u mindnet-dev -f
|
journalctl -u mindnet-dev -f
|
||||||
|
# Oder Frontend Logs:
|
||||||
|
journalctl -u mindnet-ui-dev -f
|
||||||
```
|
```
|
||||||
|
|
||||||
**Option B: Manuell Debuggen (Direct Output)**
|
**Option B: Manuell Debuggen (Direct Output)**
|
||||||
Ideal, wenn du Print-Ausgaben direkt sehen willst oder der Service dauernd crasht.
|
Ideal, wenn du Print-Ausgaben direkt sehen willst oder der Service dauernd crasht.
|
||||||
```bash
|
```bash
|
||||||
# 1. Service stoppen (wichtig, sonst ist Port 8002 belegt!)
|
# 1. Services stoppen (wichtig, sonst sind Ports 8002/8502 belegt!)
|
||||||
sudo systemctl stop mindnet-dev
|
sudo systemctl stop mindnet-dev
|
||||||
|
sudo systemctl stop mindnet-ui-dev
|
||||||
|
|
||||||
# 2. Manuell starten
|
# 2. Manuell starten (z.B. API)
|
||||||
uvicorn app.main:app --host 0.0.0.0 --port 8002 --env-file .env
|
uvicorn app.main:app --host 0.0.0.0 --port 8002 --env-file .env
|
||||||
|
|
||||||
# ... Testen ...
|
# ... Testen ...
|
||||||
|
|
||||||
# 3. Wenn fertig: Service wieder anschalten (Optional)
|
# 3. Wenn fertig: Services wieder anschalten (Optional)
|
||||||
# Strg+C drücken
|
# Strg+C drücken
|
||||||
sudo systemctl start mindnet-dev
|
sudo systemctl start mindnet-dev
|
||||||
|
sudo systemctl start mindnet-ui-dev
|
||||||
```
|
```
|
||||||
|
|
||||||
6. **Validieren:**
|
6. **Validieren (Smoke Tests):**
|
||||||
Führe deine Tests in einem **zweiten Terminal** aus:
|
|
||||||
```bash
|
* **Browser:** Öffne `http://<IP>:8502` um die UI zu testen (Intent Badge prüfen!).
|
||||||
# Beispiel für Decision Engine Test
|
* **CLI:** Führe Testskripte in einem **zweiten Terminal** aus:
|
||||||
python tests/test_wp06_decision.py -p 8002 -q "Soll ich...?"
|
|
||||||
```
|
**Test A: Decision Engine**
|
||||||
|
```bash
|
||||||
|
python tests/test_wp06_decision.py -p 8002 -q "Soll ich Qdrant nutzen?"
|
||||||
|
# Erwartung: Intent DECISION
|
||||||
|
```
|
||||||
|
|
||||||
|
**Test B: Interview Modus (Neu!)**
|
||||||
|
```bash
|
||||||
|
python tests/test_wp06_decision.py -p 8002 -q "Ich will ein neues Projekt starten"
|
||||||
|
# Erwartung: Intent INTERVIEW, Output ist Markdown Codeblock
|
||||||
|
```
|
||||||
|
|
||||||
---
|
---
|
||||||
|
|
||||||
### Phase 3: Release (Gitea / Raspberry Pi)
|
### Phase 3: Release (Gitea / Raspberry Pi)
|
||||||
|
|
||||||
Wenn der Test auf Port 8002 erfolgreich war:
|
Wenn der Test auf Port 8002 / 8502 erfolgreich war:
|
||||||
|
|
||||||
1. Öffne Gitea im Browser.
|
1. Öffne Gitea im Browser.
|
||||||
2. Erstelle einen **Pull Request** (Dein Branch -> `main`).
|
2. Erstelle einen **Pull Request** (Dein Branch -> `main`).
|
||||||
@@ -119,7 +140,7 @@ Wenn der Test auf Port 8002 erfolgreich war:
|
|||||||
|
|
||||||
### Phase 4: Deployment (Beelink / `mindnet`)
|
### Phase 4: Deployment (Beelink / `mindnet`)
|
||||||
|
|
||||||
Jetzt bringen wir die Änderung in das Live-System (Port 8001).
|
Jetzt bringen wir die Änderung in das Live-System (Port 8001 / 8501).
|
||||||
|
|
||||||
1. **Deploy-Agent (Automatisch):**
|
1. **Deploy-Agent (Automatisch):**
|
||||||
Wenn dein `deploy.yml` aktiv ist, passiert das jetzt von selbst!
|
Wenn dein `deploy.yml` aktiv ist, passiert das jetzt von selbst!
|
||||||
@@ -129,8 +150,13 @@ Jetzt bringen wir die Änderung in das Live-System (Port 8001).
|
|||||||
cd /home/llmadmin/mindnet
|
cd /home/llmadmin/mindnet
|
||||||
git pull origin main
|
git pull origin main
|
||||||
|
|
||||||
# Produktions-Service neustarten
|
# Dependencies updaten
|
||||||
|
source .venv/bin/activate
|
||||||
|
pip install -r requirements.txt
|
||||||
|
|
||||||
|
# Produktions-Services neustarten
|
||||||
sudo systemctl restart mindnet-prod
|
sudo systemctl restart mindnet-prod
|
||||||
|
sudo systemctl restart mindnet-ui-prod
|
||||||
|
|
||||||
# Kurz prüfen, ob er läuft
|
# Kurz prüfen, ob er läuft
|
||||||
sudo systemctl status mindnet-prod
|
sudo systemctl status mindnet-prod
|
||||||
@@ -148,7 +174,7 @@ Damit das Chaos nicht wächst, löschen wir den fertigen Branch.
|
|||||||
cd ~/mindnet_dev
|
cd ~/mindnet_dev
|
||||||
git checkout main
|
git checkout main
|
||||||
git pull
|
git pull
|
||||||
git branch -d feature/wp06-decision
|
git branch -d feature/wp07-interview
|
||||||
```
|
```
|
||||||
3. **VS Code:**
|
3. **VS Code:**
|
||||||
* Auf `main` wechseln.
|
* Auf `main` wechseln.
|
||||||
@@ -163,23 +189,24 @@ Damit das Chaos nicht wächst, löschen wir den fertigen Branch.
|
|||||||
| :--- | :--- | :--- |
|
| :--- | :--- | :--- |
|
||||||
| **VS Code** | `Sync (auf main)` | **WICHTIG:** Holt neuesten Code vom Server. |
|
| **VS Code** | `Sync (auf main)` | **WICHTIG:** Holt neuesten Code vom Server. |
|
||||||
| **Beelink** | `git fetch` | Aktualisiert Liste der Remote-Branches. |
|
| **Beelink** | `git fetch` | Aktualisiert Liste der Remote-Branches. |
|
||||||
| **Beelink** | `sudo systemctl restart mindnet-dev` | **Neustart Dev-Server (Port 8002).** |
|
| **Beelink** | `sudo systemctl restart mindnet-dev` | **Neustart Dev-Backend (Port 8002).** |
|
||||||
| **Beelink** | `journalctl -u mindnet-dev -f` | **Live-Logs vom Dev-Server sehen.** |
|
| **Beelink** | `sudo systemctl restart mindnet-ui-dev` | **Neustart Dev-Frontend (Port 8502).** |
|
||||||
|
| **Beelink** | `journalctl -u mindnet-dev -f` | **Live-Logs Backend.** |
|
||||||
|
| **Beelink** | `journalctl -u mindnet-ui-dev -f` | **Live-Logs Frontend.** |
|
||||||
|
|
||||||
---
|
---
|
||||||
|
|
||||||
## 4. Troubleshooting
|
## 4. Troubleshooting
|
||||||
|
|
||||||
**"Read timed out (120s)" / 500 Error beim Chat**
|
**"Read timed out (300s)" / 500 Error beim Interview**
|
||||||
* **Ursache:** Das LLM (Ollama) braucht zu lange zum Laden ("Cold Start").
|
* **Ursache:** Das LLM (Ollama) braucht für den One-Shot Draft länger als das Timeout erlaubt.
|
||||||
* **Lösung:**
|
* **Lösung:**
|
||||||
1. Erhöhe in `.env` den Wert: `MINDNET_LLM_TIMEOUT=300.0`.
|
1. Erhöhe in `.env` den Wert: `MINDNET_LLM_TIMEOUT=300.0`.
|
||||||
2. Starte den Server neu (`sudo systemctl restart mindnet-dev`).
|
2. Starte die Server neu.
|
||||||
3. Stelle sicher, dass dein Test-Skript (Client) auch ein hohes Timeout hat.
|
|
||||||
|
|
||||||
**"Port 8002 already in use"**
|
**"Port 8002 / 8502 already in use"**
|
||||||
* **Ursache:** Du willst `uvicorn` manuell starten, aber der Service läuft noch.
|
* **Ursache:** Du willst `uvicorn` oder `streamlit` manuell starten, aber der Service läuft noch.
|
||||||
* **Lösung:** `sudo systemctl stop mindnet-dev`.
|
* **Lösung:** `sudo systemctl stop mindnet-dev` bzw. `mindnet-ui-dev`.
|
||||||
|
|
||||||
**"UnicodeDecodeError in .env"**
|
**"UnicodeDecodeError in .env"**
|
||||||
* **Ursache:** Umlaute oder Sonderzeichen in der `.env` Datei.
|
* **Ursache:** Umlaute oder Sonderzeichen in der `.env` Datei.
|
||||||
|
|||||||
+64
-52
@@ -1,24 +1,25 @@
|
|||||||
# Mindnet v2.2 – Developer Guide
|
# Mindnet v2.4 – Developer Guide
|
||||||
**Datei:** `docs/mindnet_developer_guide_v2.2.md`
|
**Datei:** `docs/mindnet_developer_guide_v2.4.md`
|
||||||
**Stand:** 2025-12-09
|
**Stand:** 2025-12-10
|
||||||
**Status:** **FINAL** (Inkl. RAG, Decision Engine & AI-Teaching)
|
**Status:** **FINAL** (Inkl. RAG, Interview Mode & Frontend WP10)
|
||||||
**Quellen:** `mindnet_technical_architecture.md`, `Handbuch.md`, `DEV_WORKFLOW.md`.
|
**Quellen:** `mindnet_technical_architecture.md`, `Handbuch.md`, `DEV_WORKFLOW.md`.
|
||||||
|
|
||||||
> **Zielgruppe:** Entwickler:innen.
|
> **Zielgruppe:** Entwickler:innen.
|
||||||
> **Zweck:** Anleitung zum Aufsetzen der Entwicklungsumgebung, Verständnis der Modulstruktur und Durchführung von Tests.
|
> **Zweck:** Anleitung zum Aufsetzen der Entwicklungsumgebung, Verständnis der Modulstruktur und Durchführung von Tests.
|
||||||
|
|
||||||
---
|
---
|
||||||
- [Mindnet v2.2 – Developer Guide](#mindnet-v22--developer-guide)
|
- [Mindnet v2.4 – Developer Guide](#mindnet-v24--developer-guide)
|
||||||
- [1. Projektstruktur (Post-WP06)](#1-projektstruktur-post-wp06)
|
- [1. Projektstruktur (Post-WP10)](#1-projektstruktur-post-wp10)
|
||||||
- [2. Lokales Setup (Development)](#2-lokales-setup-development)
|
- [2. Lokales Setup (Development)](#2-lokales-setup-development)
|
||||||
- [2.1 Voraussetzungen](#21-voraussetzungen)
|
- [2.1 Voraussetzungen](#21-voraussetzungen)
|
||||||
- [2.2 Installation](#22-installation)
|
- [2.2 Installation](#22-installation)
|
||||||
- [2.3 Konfiguration (Environment)](#23-konfiguration-environment)
|
- [2.3 Konfiguration (Environment)](#23-konfiguration-environment)
|
||||||
- [2.4 Dienste starten (Systemd bevorzugt)](#24-dienste-starten-systemd-bevorzugt)
|
- [2.4 Dienste starten (API \& UI)](#24-dienste-starten-api--ui)
|
||||||
- [3. Core-Module \& Entwicklung](#3-core-module--entwicklung)
|
- [3. Core-Module \& Entwicklung](#3-core-module--entwicklung)
|
||||||
- [3.1 Der Importer (`scripts.import_markdown`)](#31-der-importer-scriptsimport_markdown)
|
- [3.1 Der Importer (`scripts.import_markdown`)](#31-der-importer-scriptsimport_markdown)
|
||||||
- [3.2 Der Hybrid Router (`app.routers.chat`)](#32-der-hybrid-router-approuterschat)
|
- [3.2 Der Hybrid Router (`app.routers.chat`)](#32-der-hybrid-router-approuterschat)
|
||||||
- [3.3 Der Retriever (`app.core.retriever`)](#33-der-retriever-appcoreretriever)
|
- [3.3 Der Retriever (`app.core.retriever`)](#33-der-retriever-appcoreretriever)
|
||||||
|
- [3.4 Das Frontend (`app.frontend.ui`)](#34-das-frontend-appfrontendui)
|
||||||
- [4. Tests \& Debugging](#4-tests--debugging)
|
- [4. Tests \& Debugging](#4-tests--debugging)
|
||||||
- [4.1 Unit Tests (Pytest)](#41-unit-tests-pytest)
|
- [4.1 Unit Tests (Pytest)](#41-unit-tests-pytest)
|
||||||
- [4.2 Integration / Pipeline Tests](#42-integration--pipeline-tests)
|
- [4.2 Integration / Pipeline Tests](#42-integration--pipeline-tests)
|
||||||
@@ -26,12 +27,13 @@
|
|||||||
- [5. Das "Teach-the-AI" Paradigma (Context Intelligence)](#5-das-teach-the-ai-paradigma-context-intelligence)
|
- [5. Das "Teach-the-AI" Paradigma (Context Intelligence)](#5-das-teach-the-ai-paradigma-context-intelligence)
|
||||||
- [A. Workflow: Einen neuen Typ implementieren (z. B. `type: risk`)](#a-workflow-einen-neuen-typ-implementieren-z-b-type-risk)
|
- [A. Workflow: Einen neuen Typ implementieren (z. B. `type: risk`)](#a-workflow-einen-neuen-typ-implementieren-z-b-type-risk)
|
||||||
- [B. Workflow: Neue Beziehungen (Edges) nutzen (z. B. `beeinflusst_von`)](#b-workflow-neue-beziehungen-edges-nutzen-z-b-beeinflusst_von)
|
- [B. Workflow: Neue Beziehungen (Edges) nutzen (z. B. `beeinflusst_von`)](#b-workflow-neue-beziehungen-edges-nutzen-z-b-beeinflusst_von)
|
||||||
|
- [C. Workflow: Interview-Schema anpassen (WP07)](#c-workflow-interview-schema-anpassen-wp07)
|
||||||
- [Fazit](#fazit)
|
- [Fazit](#fazit)
|
||||||
- [6. Nützliche Einzeiler](#6-nützliche-einzeiler)
|
- [6. Nützliche Einzeiler](#6-nützliche-einzeiler)
|
||||||
|
|
||||||
---
|
---
|
||||||
|
|
||||||
## 1. Projektstruktur (Post-WP06)
|
## 1. Projektstruktur (Post-WP10)
|
||||||
|
|
||||||
Der Code ist modular in `app` (Logik), `scripts` (CLI) und `config` (Steuerung) getrennt.
|
Der Code ist modular in `app` (Logik), `scripts` (CLI) und `config` (Steuerung) getrennt.
|
||||||
|
|
||||||
@@ -47,18 +49,20 @@ Der Code ist modular in `app` (Logik), `scripts` (CLI) und `config` (Steuerung)
|
|||||||
│ │ └── dto.py # Zentrale DTO-Definition
|
│ │ └── dto.py # Zentrale DTO-Definition
|
||||||
│ ├── routers/ # FastAPI Endpoints
|
│ ├── routers/ # FastAPI Endpoints
|
||||||
│ │ ├── query.py # Suche
|
│ │ ├── query.py # Suche
|
||||||
│ │ ├── chat.py # Hybrid Router & Decision Engine (WP06)
|
│ │ ├── chat.py # Hybrid Router & Interview Logic (WP06/WP07)
|
||||||
│ │ ├── feedback.py # Feedback (WP04c)
|
│ │ ├── feedback.py # Feedback (WP04c)
|
||||||
│ │ └── ...
|
│ │ └── ...
|
||||||
│ ├── services/ # Interne & Externe Dienste
|
│ ├── services/ # Interne & Externe Dienste
|
||||||
│ │ ├── llm_service.py # Ollama Client (Mit Timeout & Raw-Mode)
|
│ │ ├── llm_service.py # Ollama Client (Mit Timeout & Raw-Mode)
|
||||||
│ │ ├── feedback_service.py # Logging (JSONL Writer)
|
│ │ ├── feedback_service.py # Logging (JSONL Writer)
|
||||||
│ │ └── embeddings_client.py
|
│ │ └── embeddings_client.py
|
||||||
|
│ ├── frontend/ # NEU (WP10)
|
||||||
|
│ │ └── ui.py # Streamlit Application inkl. Draft-Editor
|
||||||
│ └── main.py # Entrypoint der API
|
│ └── main.py # Entrypoint der API
|
||||||
├── config/ # YAML-Konfigurationen (Single Source of Truth)
|
├── config/ # YAML-Konfigurationen (Single Source of Truth)
|
||||||
│ ├── types.yaml # Import-Regeln
|
│ ├── types.yaml # Import-Regeln
|
||||||
│ ├── prompts.yaml # LLM Prompts & RAG Templates (WP06)
|
│ ├── prompts.yaml # LLM Prompts & Interview Templates (WP06/07)
|
||||||
│ ├── decision_engine.yaml # Router-Strategien (WP06)
|
│ ├── decision_engine.yaml # Router-Strategien & Schemas (WP06/07)
|
||||||
│ └── retriever.yaml # Scoring-Regeln & Kantengewichte
|
│ └── retriever.yaml # Scoring-Regeln & Kantengewichte
|
||||||
├── data/
|
├── data/
|
||||||
│ └── logs/ # Lokale Logs (search_history.jsonl, feedback.jsonl)
|
│ └── logs/ # Lokale Logs (search_history.jsonl, feedback.jsonl)
|
||||||
@@ -86,7 +90,7 @@ Der Code ist modular in `app` (Logik), `scripts` (CLI) und `config` (Steuerung)
|
|||||||
python3 -m venv .venv
|
python3 -m venv .venv
|
||||||
source .venv/bin/activate
|
source .venv/bin/activate
|
||||||
|
|
||||||
# 3. Abhängigkeiten installieren
|
# 3. Abhängigkeiten installieren (inkl. Streamlit)
|
||||||
pip install -r requirements.txt
|
pip install -r requirements.txt
|
||||||
|
|
||||||
# 4. Ollama Setup (Modell laden)
|
# 4. Ollama Setup (Modell laden)
|
||||||
@@ -94,7 +98,7 @@ Der Code ist modular in `app` (Logik), `scripts` (CLI) und `config` (Steuerung)
|
|||||||
ollama pull phi3:mini
|
ollama pull phi3:mini
|
||||||
|
|
||||||
### 2.3 Konfiguration (Environment)
|
### 2.3 Konfiguration (Environment)
|
||||||
Erstelle eine `.env` Datei im Root-Verzeichnis. Die Timeout-Settings sind kritisch für CPU-Inference.
|
Erstelle eine `.env` Datei im Root-Verzeichnis.
|
||||||
|
|
||||||
# Qdrant Verbindung
|
# Qdrant Verbindung
|
||||||
QDRANT_URL="http://localhost:6333"
|
QDRANT_URL="http://localhost:6333"
|
||||||
@@ -105,35 +109,35 @@ Erstelle eine `.env` Datei im Root-Verzeichnis. Die Timeout-Settings sind kritis
|
|||||||
MINDNET_TYPES_FILE="./config/types.yaml"
|
MINDNET_TYPES_FILE="./config/types.yaml"
|
||||||
MINDNET_RETRIEVER_CONFIG="./config/retriever.yaml"
|
MINDNET_RETRIEVER_CONFIG="./config/retriever.yaml"
|
||||||
|
|
||||||
# LLM / RAG Settings (WP06)
|
# LLM / RAG Settings (WP06/07)
|
||||||
MINDNET_LLM_MODEL="phi3:mini"
|
MINDNET_LLM_MODEL="phi3:mini"
|
||||||
MINDNET_OLLAMA_URL="http://127.0.0.1:11434"
|
MINDNET_OLLAMA_URL="http://127.0.0.1:11434"
|
||||||
MINDNET_LLM_TIMEOUT=300.0
|
MINDNET_LLM_TIMEOUT=300.0
|
||||||
MINDNET_PROMPTS_PATH="./config/prompts.yaml"
|
MINDNET_PROMPTS_PATH="./config/prompts.yaml"
|
||||||
MINDNET_DECISION_CONFIG="./config/decision_engine.yaml"
|
MINDNET_DECISION_CONFIG="./config/decision_engine.yaml"
|
||||||
|
|
||||||
|
# Frontend Settings (WP10)
|
||||||
|
MINDNET_API_URL="http://localhost:8002"
|
||||||
|
|
||||||
# Import-Strategie
|
# Import-Strategie
|
||||||
MINDNET_HASH_COMPARE="Body"
|
MINDNET_HASH_COMPARE="Body"
|
||||||
MINDNET_HASH_SOURCE="parsed"
|
MINDNET_HASH_SOURCE="parsed"
|
||||||
|
|
||||||
### 2.4 Dienste starten (Systemd bevorzugt)
|
### 2.4 Dienste starten (API & UI)
|
||||||
Auf dem Entwicklungsserver (Beelink) nutzen wir Systemd.
|
|
||||||
|
|
||||||
# Starten / Neustarten
|
Wir entwickeln mit zwei Services. Du kannst sie manuell in zwei Terminals starten oder die Systemd-Services nutzen (siehe `admin_guide.md`).
|
||||||
sudo systemctl restart mindnet-dev
|
|
||||||
|
|
||||||
# Logs prüfen (Wichtig für LLM Debugging)
|
**Terminal A: Backend (API)**
|
||||||
journalctl -u mindnet-dev -f
|
|
||||||
|
|
||||||
Falls du lokal auf Windows entwickelst:
|
# Startet auf Port 8002 (Dev Standard)
|
||||||
|
|
||||||
# 1. Qdrant starten
|
|
||||||
docker run -p 6333:6333 qdrant/qdrant
|
|
||||||
# 2. Ollama starten
|
|
||||||
ollama serve
|
|
||||||
# 3. API starten
|
|
||||||
uvicorn app.main:app --host 0.0.0.0 --port 8002 --env-file .env --reload
|
uvicorn app.main:app --host 0.0.0.0 --port 8002 --env-file .env --reload
|
||||||
|
|
||||||
|
**Terminal B: Frontend (UI)**
|
||||||
|
|
||||||
|
# Startet auf Port 8502 (Dev Standard)
|
||||||
|
# --server.port 8502 verhindert Konflikte mit Prod (8501)
|
||||||
|
streamlit run app/frontend/ui.py --server.port 8502
|
||||||
|
|
||||||
---
|
---
|
||||||
|
|
||||||
## 3. Core-Module & Entwicklung
|
## 3. Core-Module & Entwicklung
|
||||||
@@ -145,9 +149,9 @@ Dies ist das komplexeste Modul.
|
|||||||
* **Debugging:** Nutze `--dry-run` oder `scripts/payload_dryrun.py`.
|
* **Debugging:** Nutze `--dry-run` oder `scripts/payload_dryrun.py`.
|
||||||
|
|
||||||
### 3.2 Der Hybrid Router (`app.routers.chat`)
|
### 3.2 Der Hybrid Router (`app.routers.chat`)
|
||||||
Hier liegt die Logik für Intent Detection (WP06).
|
Hier liegt die Logik für Intent Detection (WP06) und Interview-Modus (WP07).
|
||||||
* **Logic:** `_classify_intent` prüft zuerst Keywords (Fast Path) und fällt auf `llm_service.generate_raw_response` zurück (Slow Path), wenn konfiguriert.
|
* **Logic:** `_classify_intent` prüft zuerst Keywords (Fast Path) und fällt auf `llm_service.generate_raw_response` zurück (Slow Path), wenn konfiguriert.
|
||||||
* **Config:** Gesteuert durch `decision_engine.yaml`.
|
* **One-Shot:** Wenn Intent `INTERVIEW` erkannt wird, wird **kein Retrieval** ausgeführt. Stattdessen wird ein Draft generiert.
|
||||||
* **Erweiterung:** Um neue Intents hinzuzufügen, editiere nur die YAML, nicht den Python-Code (Late Binding).
|
* **Erweiterung:** Um neue Intents hinzuzufügen, editiere nur die YAML, nicht den Python-Code (Late Binding).
|
||||||
|
|
||||||
### 3.3 Der Retriever (`app.core.retriever`)
|
### 3.3 Der Retriever (`app.core.retriever`)
|
||||||
@@ -155,6 +159,12 @@ Hier passiert das Scoring.
|
|||||||
* **Hybrid Search:** Der Chat-Endpoint erzwingt `mode="hybrid"`.
|
* **Hybrid Search:** Der Chat-Endpoint erzwingt `mode="hybrid"`.
|
||||||
* **Strategic Retrieval:** In `chat.py` wird der Retriever *zweimal* aufgerufen, wenn ein Intent (z.B. `DECISION`) eine Injection (`value`) erfordert.
|
* **Strategic Retrieval:** In `chat.py` wird der Retriever *zweimal* aufgerufen, wenn ein Intent (z.B. `DECISION`) eine Injection (`value`) erfordert.
|
||||||
|
|
||||||
|
### 3.4 Das Frontend (`app.frontend.ui`)
|
||||||
|
Eine Streamlit-App (WP10).
|
||||||
|
* **Draft Editor:** Enthält einen YAML-Sanitizer (`normalize_meta_and_body`), der sicherstellt, dass LLM-Halluzinationen im Frontmatter nicht das File zerstören.
|
||||||
|
* **State:** Nutzt `st.session_state` für Chat-History und Drafts.
|
||||||
|
* **Logik:** Ruft `/chat` und `/feedback` Endpoints der API auf.
|
||||||
|
|
||||||
---
|
---
|
||||||
|
|
||||||
## 4. Tests & Debugging
|
## 4. Tests & Debugging
|
||||||
@@ -179,27 +189,23 @@ Prüfen den Datenfluss von Markdown bis Qdrant-JSON.
|
|||||||
python3 -m scripts.edges_full_check
|
python3 -m scripts.edges_full_check
|
||||||
|
|
||||||
### 4.3 Smoke Tests (E2E)
|
### 4.3 Smoke Tests (E2E)
|
||||||
Prüfen das laufende System (API) gegen eine echte Qdrant-Instanz und Ollama.
|
Prüfen das laufende System gegen eine echte Qdrant-Instanz und Ollama.
|
||||||
|
|
||||||
# 1. Retriever Test (Hybrid + Explanation)
|
# 1. API Test (Decision Engine)
|
||||||
python scripts/test_retriever_smoke.py --query "Test" --mode hybrid --top-k 5 --explain
|
|
||||||
|
|
||||||
# 2. Decision Engine Test (WP06)
|
|
||||||
# Prüft Intent, Retrieval und Reasoning (mit Timeout-Handling)
|
|
||||||
python tests/test_wp06_decision.py -p 8002 -e DECISION -q "Soll ich X tun?"
|
python tests/test_wp06_decision.py -p 8002 -e DECISION -q "Soll ich X tun?"
|
||||||
|
|
||||||
# 3. Empathy Test (WP06)
|
# 2. UI Test (Manuell)
|
||||||
# Prüft LLM-Router Fallback
|
# Öffne http://localhost:8502
|
||||||
python tests/test_wp06_decision.py -p 8002 -e EMPATHY -q "Alles ist grau"
|
# Stelle eine Frage und prüfe Intent-Badge und Quellen-Anzeige.
|
||||||
|
|
||||||
# 4. Feedback Test (WP04c)
|
# 3. Feedback Test
|
||||||
python tests/test_feedback_smoke.py --url http://localhost:8002/query
|
python tests/test_feedback_smoke.py --url http://localhost:8002/query
|
||||||
|
|
||||||
---
|
---
|
||||||
|
|
||||||
## 5. Das "Teach-the-AI" Paradigma (Context Intelligence)
|
## 5. Das "Teach-the-AI" Paradigma (Context Intelligence)
|
||||||
|
|
||||||
Mindnet lernt nicht durch Training (Fine-Tuning), sondern durch **Konfiguration**, **Vernetzung** und **Prompting**. Wenn du dem System ein neues Konzept beibringen willst, musst du in der Regel an drei Stellen eingreifen. Dies ist der **Core-Workflow** für Erweiterungen.
|
Mindnet lernt nicht durch Training (Fine-Tuning), sondern durch **Konfiguration**, **Vernetzung** und **Prompting**. Dies ist der **Core-Workflow** für Erweiterungen.
|
||||||
|
|
||||||
### A. Workflow: Einen neuen Typ implementieren (z. B. `type: risk`)
|
### A. Workflow: Einen neuen Typ implementieren (z. B. `type: risk`)
|
||||||
|
|
||||||
@@ -222,26 +228,29 @@ Damit dieser Typ aktiv geladen wird, musst du ihn einer Strategie zuordnen.
|
|||||||
**3. Kognitive Ebene (`config/prompts.yaml`)**
|
**3. Kognitive Ebene (`config/prompts.yaml`)**
|
||||||
Erkläre dem LLM im Template, was es damit tun soll.
|
Erkläre dem LLM im Template, was es damit tun soll.
|
||||||
|
|
||||||
decision_template: |
|
|
||||||
...
|
|
||||||
- Prüfe auf [RISK]: Wenn vorhanden, warne mich davor!
|
|
||||||
|
|
||||||
### B. Workflow: Neue Beziehungen (Edges) nutzen (z. B. `beeinflusst_von`)
|
### B. Workflow: Neue Beziehungen (Edges) nutzen (z. B. `beeinflusst_von`)
|
||||||
|
|
||||||
Beziehungen sind der Klebstoff für die "Why"-Erklärungen.
|
Beziehungen sind der Klebstoff für die "Why"-Erklärungen.
|
||||||
|
|
||||||
**1. Erfassung im Vault (Markdown)**
|
**1. Erfassung im Vault (Markdown)**
|
||||||
Du musst dem System keinen neuen Edge-Typ "beibringen" (Schema-less). Du nutzt ihn einfach.
|
|
||||||
Nutze die Inline-Syntax im Fließtext:
|
Nutze die Inline-Syntax im Fließtext:
|
||||||
|
> "Die Entscheidung für Qdrant wurde [[rel:beeinflusst_von Budgetkürzung 2024]]."
|
||||||
Die Entscheidung für Qdrant wurde [[rel:beeinflusst_von Budgetkürzung 2024]].
|
|
||||||
|
|
||||||
**2. Gewichtung (`config/retriever.yaml`)**
|
**2. Gewichtung (`config/retriever.yaml`)**
|
||||||
Standardmäßig werden alle expliziten Kanten gleich behandelt. Wenn Kausalität wichtiger ist als Ähnlichkeit, konfiguriere dies hier.
|
Konfiguriere `edge_weights`, wenn Kausalität wichtiger ist als Ähnlichkeit.
|
||||||
|
|
||||||
scoring:
|
### C. Workflow: Interview-Schema anpassen (WP07)
|
||||||
edge_type_weights:
|
|
||||||
beeinflusst_von: 1.5 # Sehr starker Einfluss auf das Ranking
|
Wenn Mindnet neue Fragen stellen soll:
|
||||||
|
|
||||||
|
**1. Schema erweitern (`config/decision_engine.yaml`)**
|
||||||
|
Füge das Feld in die Liste ein.
|
||||||
|
|
||||||
|
project:
|
||||||
|
fields: ["Titel", "Ziel", "Budget"] # <--- Budget neu
|
||||||
|
|
||||||
|
**2. Keine Code-Änderung nötig**
|
||||||
|
Der `One-Shot Extractor` (Prompt Template) liest diese Liste dynamisch und weist das LLM an, das Budget zu extrahieren oder `[TODO]` zu setzen.
|
||||||
|
|
||||||
### Fazit
|
### Fazit
|
||||||
* **Vault:** Liefert das Wissen.
|
* **Vault:** Liefert das Wissen.
|
||||||
@@ -260,6 +269,9 @@ Standardmäßig werden alle expliziten Kanten gleich behandelt. Wenn Kausalität
|
|||||||
|
|
||||||
python3 tests/inspect_one_note.py --file ./vault/MeinFile.md
|
python3 tests/inspect_one_note.py --file ./vault/MeinFile.md
|
||||||
|
|
||||||
**Live-Logs sehen (Beelink) - inkl. LLM Thoughts:**
|
**Live-Logs sehen (Systemd):**
|
||||||
|
|
||||||
|
# Backend
|
||||||
journalctl -u mindnet-dev -f
|
journalctl -u mindnet-dev -f
|
||||||
|
# Frontend
|
||||||
|
journalctl -u mindnet-ui-dev -f
|
||||||
@@ -1,15 +1,15 @@
|
|||||||
# Mindnet v2.2 – Fachliche Architektur
|
# Mindnet v2.4 – Fachliche Architektur
|
||||||
**Datei:** `docs/mindnet_functional_architecture_v2.2.md`
|
**Datei:** `docs/mindnet_functional_architecture_v2.4.md`
|
||||||
**Stand:** 2025-12-09
|
**Stand:** 2025-12-10
|
||||||
**Status:** **FINAL** (Integrierter Stand WP01–WP06)
|
**Status:** **FINAL** (Integrierter Stand WP01–WP10 + WP07)
|
||||||
|
|
||||||
> Dieses Dokument beschreibt **was** Mindnet fachlich tut und **warum** – mit Fokus auf die Erzeugung und Nutzung von **Edges** (Kanten), die Logik des Retrievers und den neuen **RAG-Chat** (Decision Engine & Persönlichkeit). Die technische Umsetzung wird im technischen Dokument detailliert.
|
> Dieses Dokument beschreibt **was** Mindnet fachlich tut und **warum** – mit Fokus auf die Erzeugung und Nutzung von **Edges** (Kanten), die Logik des Retrievers und den **RAG-Chat** (Decision Engine, Interview-Modus & Persönlichkeit). Die technische Umsetzung wird im technischen Dokument detailliert.
|
||||||
|
|
||||||
---
|
---
|
||||||
<details>
|
<details>
|
||||||
<summary>📖 <b>Inhaltsverzeichnis (Klicken zum Öffnen)</b></summary>
|
<summary>📖 <b>Inhaltsverzeichnis (Klicken zum Öffnen)</b></summary>
|
||||||
|
|
||||||
- [Mindnet v2.2 – Fachliche Architektur](#mindnet-v22--fachliche-architektur)
|
- [Mindnet v2.4 – Fachliche Architektur](#mindnet-v24--fachliche-architektur)
|
||||||
- [](#)
|
- [](#)
|
||||||
- [0) Zielbild \& Grundprinzip](#0-zielbild--grundprinzip)
|
- [0) Zielbild \& Grundprinzip](#0-zielbild--grundprinzip)
|
||||||
- [1) Notizen \& Chunks (fachliche Perspektive)](#1-notizen--chunks-fachliche-perspektive)
|
- [1) Notizen \& Chunks (fachliche Perspektive)](#1-notizen--chunks-fachliche-perspektive)
|
||||||
@@ -26,11 +26,12 @@
|
|||||||
- [5) Der Retriever (Funktionaler Layer)](#5-der-retriever-funktionaler-layer)
|
- [5) Der Retriever (Funktionaler Layer)](#5-der-retriever-funktionaler-layer)
|
||||||
- [5.1 Scoring-Modell](#51-scoring-modell)
|
- [5.1 Scoring-Modell](#51-scoring-modell)
|
||||||
- [5.2 Erklärbarkeit (Explainability) – WP04b](#52-erklärbarkeit-explainability--wp04b)
|
- [5.2 Erklärbarkeit (Explainability) – WP04b](#52-erklärbarkeit-explainability--wp04b)
|
||||||
- [6) Context Intelligence \& Intent Router (WP06)](#6-context-intelligence--intent-router-wp06)
|
- [6) Context Intelligence \& Intent Router (WP06/WP07)](#6-context-intelligence--intent-router-wp06wp07)
|
||||||
- [6.1 Das Problem: Statische vs. Dynamische Antworten](#61-das-problem-statische-vs-dynamische-antworten)
|
- [6.1 Das Problem: Statische vs. Dynamische Antworten](#61-das-problem-statische-vs-dynamische-antworten)
|
||||||
- [6.2 Der Intent-Router (Keyword \& Semantik)](#62-der-intent-router-keyword--semantik)
|
- [6.2 Der Intent-Router (Keyword \& Semantik)](#62-der-intent-router-keyword--semantik)
|
||||||
- [6.3 Strategic Retrieval (Injektion von Werten)](#63-strategic-retrieval-injektion-von-werten)
|
- [6.3 Strategic Retrieval (Injektion von Werten)](#63-strategic-retrieval-injektion-von-werten)
|
||||||
- [6.4 Reasoning (Das Gewissen)](#64-reasoning-das-gewissen)
|
- [6.4 Reasoning (Das Gewissen)](#64-reasoning-das-gewissen)
|
||||||
|
- [6.5 Der Interview-Modus (One-Shot Extraction) – Neu in v2.4](#65-der-interview-modus-one-shot-extraction--neu-in-v24)
|
||||||
- [7) Future Concepts: The Empathic Digital Twin (Ausblick)](#7-future-concepts-the-empathic-digital-twin-ausblick)
|
- [7) Future Concepts: The Empathic Digital Twin (Ausblick)](#7-future-concepts-the-empathic-digital-twin-ausblick)
|
||||||
- [7.1 Antizipation durch Erfahrung](#71-antizipation-durch-erfahrung)
|
- [7.1 Antizipation durch Erfahrung](#71-antizipation-durch-erfahrung)
|
||||||
- [7.2 Empathie \& "Ich"-Modus](#72-empathie--ich-modus)
|
- [7.2 Empathie \& "Ich"-Modus](#72-empathie--ich-modus)
|
||||||
@@ -38,7 +39,7 @@
|
|||||||
- [8) Erweiterbarkeit \& Teaching (Context Intelligence)](#8-erweiterbarkeit--teaching-context-intelligence)
|
- [8) Erweiterbarkeit \& Teaching (Context Intelligence)](#8-erweiterbarkeit--teaching-context-intelligence)
|
||||||
- [A. Workflow: Einen neuen Typ implementieren (z. B. `type: risk`)](#a-workflow-einen-neuen-typ-implementieren-z-b-type-risk)
|
- [A. Workflow: Einen neuen Typ implementieren (z. B. `type: risk`)](#a-workflow-einen-neuen-typ-implementieren-z-b-type-risk)
|
||||||
- [B. Workflow: Neue Beziehungen nutzen (z. B. `beeinflusst_von`)](#b-workflow-neue-beziehungen-nutzen-z-b-beeinflusst_von)
|
- [B. Workflow: Neue Beziehungen nutzen (z. B. `beeinflusst_von`)](#b-workflow-neue-beziehungen-nutzen-z-b-beeinflusst_von)
|
||||||
- [9) Feedback \& Lernen – WP04c](#9-feedback--lernen--wp04c)
|
- [9) Feedback \& Lernen – WP04c/WP10](#9-feedback--lernen--wp04cwp10)
|
||||||
- [9.1 Der Feedback-Loop](#91-der-feedback-loop)
|
- [9.1 Der Feedback-Loop](#91-der-feedback-loop)
|
||||||
- [10) Confidence \& Provenance – wozu?](#10-confidence--provenance--wozu)
|
- [10) Confidence \& Provenance – wozu?](#10-confidence--provenance--wozu)
|
||||||
- [11) Semantik ausgewählter `kind`-Werte](#11-semantik-ausgewählter-kind-werte)
|
- [11) Semantik ausgewählter `kind`-Werte](#11-semantik-ausgewählter-kind-werte)
|
||||||
@@ -46,7 +47,7 @@
|
|||||||
- [13) Lösch-/Update-Garantien (Idempotenz)](#13-lösch-update-garantien-idempotenz)
|
- [13) Lösch-/Update-Garantien (Idempotenz)](#13-lösch-update-garantien-idempotenz)
|
||||||
- [14) Beispiel – Von Markdown zu Kanten (v2.2)](#14-beispiel--von-markdown-zu-kanten-v22)
|
- [14) Beispiel – Von Markdown zu Kanten (v2.2)](#14-beispiel--von-markdown-zu-kanten-v22)
|
||||||
- [15) Referenzen (Projektdateien \& Leitlinien)](#15-referenzen-projektdateien--leitlinien)
|
- [15) Referenzen (Projektdateien \& Leitlinien)](#15-referenzen-projektdateien--leitlinien)
|
||||||
- [16) Workpackage Status (v2.3.1)](#16-workpackage-status-v231)
|
- [16) Workpackage Status (v2.4.0)](#16-workpackage-status-v240)
|
||||||
|
|
||||||
</details>
|
</details>
|
||||||
---
|
---
|
||||||
@@ -208,13 +209,13 @@ Die API gibt diese Analysen als menschenlesbare Sätze (`reasons`) und als Daten
|
|||||||
|
|
||||||
---
|
---
|
||||||
|
|
||||||
## 6) Context Intelligence & Intent Router (WP06)
|
## 6) Context Intelligence & Intent Router (WP06/WP07)
|
||||||
|
|
||||||
Seit WP06 agiert Mindnet nicht mehr statisch, sondern passt seine Suchstrategie dem **Intent** (der Absicht) des Nutzers an. Dies ist die Transformation vom reinen Wissens-Abrufer zum strategischen Entscheidungspartner.
|
Seit WP06/WP07 agiert Mindnet nicht mehr statisch, sondern passt seine Suchstrategie dem **Intent** (der Absicht) des Nutzers an. Dies ist die Transformation vom reinen Wissens-Abrufer zum strategischen Partner.
|
||||||
|
|
||||||
### 6.1 Das Problem: Statische vs. Dynamische Antworten
|
### 6.1 Das Problem: Statische vs. Dynamische Antworten
|
||||||
* **Früher (Pre-WP06):** Jede Frage ("Was ist X?" oder "Soll ich X?") wurde gleich behandelt -> Fakten-Retrieval.
|
* **Früher (Pre-WP06):** Jede Frage ("Was ist X?" oder "Soll ich X?") wurde gleich behandelt -> Fakten-Retrieval.
|
||||||
* **Heute (WP06):** Das System erkennt, *was* der User will, und lädt unterschiedliche Wissensbausteine.
|
* **Heute (WP06):** Das System erkennt, *was* der User will (Rat, Fakten oder Datenerfassung) und wechselt den Modus.
|
||||||
|
|
||||||
### 6.2 Der Intent-Router (Keyword & Semantik)
|
### 6.2 Der Intent-Router (Keyword & Semantik)
|
||||||
Der Router prüft vor jeder Antwort die Absicht über konfigurierbare Strategien (`config/decision_engine.yaml`):
|
Der Router prüft vor jeder Antwort die Absicht über konfigurierbare Strategien (`config/decision_engine.yaml`):
|
||||||
@@ -222,11 +223,8 @@ Der Router prüft vor jeder Antwort die Absicht über konfigurierbare Strategien
|
|||||||
1. **FACT:** Reine Wissensfrage ("Was ist Qdrant?"). → Standard RAG.
|
1. **FACT:** Reine Wissensfrage ("Was ist Qdrant?"). → Standard RAG.
|
||||||
2. **DECISION:** Frage nach Rat oder Strategie ("Soll ich Qdrant nutzen?"). → Aktiviert die Decision Engine.
|
2. **DECISION:** Frage nach Rat oder Strategie ("Soll ich Qdrant nutzen?"). → Aktiviert die Decision Engine.
|
||||||
3. **EMPATHY:** Emotionale Zustände ("Ich bin gestresst"). → Aktiviert den empathischen Modus.
|
3. **EMPATHY:** Emotionale Zustände ("Ich bin gestresst"). → Aktiviert den empathischen Modus.
|
||||||
4. **CODING:** Technische Anfragen.
|
4. **INTERVIEW (Neu in WP07):** Wunsch, Wissen zu erfassen ("Neues Projekt anlegen"). → Aktiviert den Draft-Generator.
|
||||||
|
5. **CODING:** Technische Anfragen.
|
||||||
**Erkennung:**
|
|
||||||
* **Fast Path:** Prüfung auf Schlüsselwörter (z.B. "soll ich").
|
|
||||||
* **Slow Path (Smart Fallback):** Wenn kein Keyword passt, prüft ein LLM (Phi-3) die Semantik des Satzes.
|
|
||||||
|
|
||||||
### 6.3 Strategic Retrieval (Injektion von Werten)
|
### 6.3 Strategic Retrieval (Injektion von Werten)
|
||||||
Im Modus `DECISION` führt das System eine **zweite Suchstufe** aus. Es sucht nicht nur nach semantisch passenden Texten zur Frage, sondern erzwingt das Laden von strategischen Notizen wie:
|
Im Modus `DECISION` führt das System eine **zweite Suchstufe** aus. Es sucht nicht nur nach semantisch passenden Texten zur Frage, sondern erzwingt das Laden von strategischen Notizen wie:
|
||||||
@@ -234,12 +232,18 @@ Im Modus `DECISION` führt das System eine **zweite Suchstufe** aus. Es sucht ni
|
|||||||
* **Principles (`type: principle`):** Handlungsanweisungen.
|
* **Principles (`type: principle`):** Handlungsanweisungen.
|
||||||
* **Goals (`type: goal`):** Strategische Ziele.
|
* **Goals (`type: goal`):** Strategische Ziele.
|
||||||
|
|
||||||
Dies wird über **Late Binding** in `config/decision_engine.yaml` gesteuert. Neue Facetten der Persönlichkeit können dort konfiguriert werden, ohne den Code zu ändern.
|
|
||||||
|
|
||||||
### 6.4 Reasoning (Das Gewissen)
|
### 6.4 Reasoning (Das Gewissen)
|
||||||
Das LLM erhält im Prompt die explizite Anweisung: *"Wäge die Fakten (aus der Suche) gegen die injizierten Werte ab."*
|
Das LLM erhält im Prompt die explizite Anweisung: *"Wäge die Fakten (aus der Suche) gegen die injizierten Werte ab."*
|
||||||
Dadurch entstehen Antworten, die nicht nur technisch korrekt sind, sondern subjektiv passend ("Tool X passt nicht zu deinem Ziel Z").
|
Dadurch entstehen Antworten, die nicht nur technisch korrekt sind, sondern subjektiv passend ("Tool X passt nicht zu deinem Ziel Z").
|
||||||
|
|
||||||
|
### 6.5 Der Interview-Modus (One-Shot Extraction) – Neu in v2.4
|
||||||
|
Wenn der User Wissen erfassen will ("Ich möchte ein neues Projekt anlegen"), wechselt Mindnet in den **Interview-Modus**.
|
||||||
|
|
||||||
|
* **Late Binding Schema:** Das System lädt ein konfiguriertes Schema für den Ziel-Typ (z.B. `project`: Pflichtfelder sind Titel, Ziel, Status).
|
||||||
|
* **One-Shot Extraction:** Statt eines langen Dialogs extrahiert das LLM **sofort** alle verfügbaren Infos aus dem Prompt und generiert einen validen Markdown-Draft mit Frontmatter.
|
||||||
|
* **Draft-Status:** Fehlende Pflichtfelder werden mit `[TODO]` markiert.
|
||||||
|
* **UI-Integration:** Das Frontend rendert statt einer Chat-Antwort einen **interaktiven Editor** (WP10), in dem der Entwurf finalisiert werden kann.
|
||||||
|
|
||||||
---
|
---
|
||||||
|
|
||||||
## 7) Future Concepts: The Empathic Digital Twin (Ausblick)
|
## 7) Future Concepts: The Empathic Digital Twin (Ausblick)
|
||||||
@@ -273,7 +277,7 @@ Mindnet lernt nicht durch klassisches Training (Fine-Tuning), sondern durch **Ko
|
|||||||
Steuere, wie schwer der Inhalt wiegt und wie er vernetzt wird.
|
Steuere, wie schwer der Inhalt wiegt und wie er vernetzt wird.
|
||||||
```yaml
|
```yaml
|
||||||
risk:
|
risk:
|
||||||
chunk_profile: short # Risiken sind prägnant
|
chunk_profile: short # Risiken sind oft kurze Statements
|
||||||
retriever_weight: 0.90 # Hohe Priorität im Ranking
|
retriever_weight: 0.90 # Hohe Priorität im Ranking
|
||||||
edge_defaults: ["blocks"] # Automatische Kante zu verlinkten Projekten
|
edge_defaults: ["blocks"] # Automatische Kante zu verlinkten Projekten
|
||||||
```
|
```
|
||||||
@@ -308,11 +312,13 @@ Beziehungen sind der Klebstoff für logische Schlussfolgerungen.
|
|||||||
|
|
||||||
---
|
---
|
||||||
|
|
||||||
## 9) Feedback & Lernen – WP04c
|
## 9) Feedback & Lernen – WP04c/WP10
|
||||||
|
|
||||||
Das System verfügt nun über ein **Kurzzeitgedächtnis für Interaktionen**, das die Basis für zukünftiges Lernen bildet.
|
Das System verfügt nun über ein **Kurzzeitgedächtnis für Interaktionen**, das die Basis für zukünftiges Lernen bildet.
|
||||||
|
|
||||||
### 9.1 Der Feedback-Loop
|
### 9.1 Der Feedback-Loop
|
||||||
|
Die Interaktion erfolgt primär über das **Web-Interface (WP10)**.
|
||||||
|
|
||||||
1. **Suche (Situation):**
|
1. **Suche (Situation):**
|
||||||
Wenn ein Nutzer eine Anfrage stellt, loggt Mindnet die "Situation":
|
Wenn ein Nutzer eine Anfrage stellt, loggt Mindnet die "Situation":
|
||||||
* Den Query-Text.
|
* Den Query-Text.
|
||||||
@@ -321,8 +327,8 @@ Das System verfügt nun über ein **Kurzzeitgedächtnis für Interaktionen**, da
|
|||||||
* Eine eindeutige `query_id` wird generiert.
|
* Eine eindeutige `query_id` wird generiert.
|
||||||
|
|
||||||
2. **Bewertung (Label):**
|
2. **Bewertung (Label):**
|
||||||
Der Nutzer (oder ein Agent) bewertet einen spezifischen Treffer (`node_id`) positiv oder negativ (Score 1-5).
|
Der Nutzer bewertet die Antwort (**Sterne**) oder einzelne Quellen (**Faces**) im Frontend.
|
||||||
Dieses Feedback wird unter Referenzierung der `query_id` gespeichert.
|
Dieses Feedback wird unter Referenzierung der `query_id` in `feedback.jsonl` gespeichert.
|
||||||
|
|
||||||
3. **Lernen (Perspektive WP08):**
|
3. **Lernen (Perspektive WP08):**
|
||||||
Durch die Verknüpfung von Situation und Bewertung entstehen Trainingsdaten. Mindnet kann später analysieren: *"Nutzer bevorzugen Treffer mit hohem Edge-Bonus, auch wenn der Text weniger passt."* -> Konsequenz: `edge_weight` erhöhen.
|
Durch die Verknüpfung von Situation und Bewertung entstehen Trainingsdaten. Mindnet kann später analysieren: *"Nutzer bevorzugen Treffer mit hohem Edge-Bonus, auch wenn der Text weniger passt."* -> Konsequenz: `edge_weight` erhöhen.
|
||||||
@@ -399,10 +405,11 @@ Frontmatter-Eigenschaften (Properties) bleiben **minimiert**:
|
|||||||
- Persönlichkeit & Chat: `config/prompts.yaml` & `app/routers/chat.py`.
|
- Persönlichkeit & Chat: `config/prompts.yaml` & `app/routers/chat.py`.
|
||||||
- Decision Engine: `config/decision_engine.yaml`.
|
- Decision Engine: `config/decision_engine.yaml`.
|
||||||
- Logging Service: `app/services/feedback_service.py`.
|
- Logging Service: `app/services/feedback_service.py`.
|
||||||
|
- Frontend UI: `app/frontend/ui.py`.
|
||||||
|
|
||||||
---
|
---
|
||||||
|
|
||||||
## 16) Workpackage Status (v2.3.1)
|
## 16) Workpackage Status (v2.4.0)
|
||||||
|
|
||||||
Aktueller Implementierungsstand der Module.
|
Aktueller Implementierungsstand der Module.
|
||||||
|
|
||||||
@@ -416,4 +423,7 @@ Aktueller Implementierungsstand der Module.
|
|||||||
| **WP04c**| Feedback Loop | 🟢 Live | Logging (JSONL) & Traceability aktiv. |
|
| **WP04c**| Feedback Loop | 🟢 Live | Logging (JSONL) & Traceability aktiv. |
|
||||||
| **WP05** | Persönlichkeit / Chat | 🟢 Live | RAG-Integration mit Context Enrichment. |
|
| **WP05** | Persönlichkeit / Chat | 🟢 Live | RAG-Integration mit Context Enrichment. |
|
||||||
| **WP06** | Decision Engine | 🟢 Live | Intent-Router & Strategic Retrieval. |
|
| **WP06** | Decision Engine | 🟢 Live | Intent-Router & Strategic Retrieval. |
|
||||||
|
| **WP07** | Interview Assistent | 🟢 Live | **One-Shot Extractor & Schemas aktiv.** |
|
||||||
| **WP08** | Self-Tuning | 🔴 Geplant | Auto-Adjustment der Gewichte. |
|
| **WP08** | Self-Tuning | 🔴 Geplant | Auto-Adjustment der Gewichte. |
|
||||||
|
| **WP10** | Chat Interface | 🟢 Live | Web-UI mit Feedback & Intents. |
|
||||||
|
| **WP10a**| Draft Editor | 🟢 Live | **Interaktiver Editor für WP07 Drafts.** |
|
||||||
@@ -1,21 +1,21 @@
|
|||||||
# Mindnet v2.2 – Technische Architektur
|
# Mindnet v2.4 – Technische Architektur
|
||||||
**Datei:** `docs/mindnet_technical_architecture_v2.2.md`
|
**Datei:** `docs/mindnet_technical_architecture_v2.4.md`
|
||||||
**Stand:** 2025-12-09
|
**Stand:** 2025-12-10
|
||||||
**Status:** **FINAL** (Integrierter Stand WP01–WP06)
|
**Status:** **FINAL** (Integrierter Stand WP01–WP10 + WP07)
|
||||||
**Quellen:** `Programmplan_V2.2.md`, `Handbuch.md`, `chunking_strategy.md`, `wp04_retriever_scoring.md`.
|
**Quellen:** `Programmplan_V2.2.md`, `Handbuch.md`, `chunking_strategy.md`, `wp04_retriever_scoring.md`.
|
||||||
|
|
||||||
> **Ziel dieses Dokuments:**
|
> **Ziel dieses Dokuments:**
|
||||||
> Vollständige Beschreibung der technischen Architektur inkl. Graph-Datenbank, Retrieval-Logik und der **neuen RAG-Komponenten (Decision Engine & Hybrid Router)**.
|
> Vollständige Beschreibung der technischen Architektur inkl. Graph-Datenbank, Retrieval-Logik, der **RAG-Komponenten (Decision Engine & Hybrid Router)**, des **Interview-Modus** und dem **Frontend (Streamlit)**.
|
||||||
|
|
||||||
---
|
---
|
||||||
<details>
|
<details>
|
||||||
<summary>📖 <b>Inhaltsverzeichnis (Klicken zum Öffnen)</b></summary>
|
<summary>📖 <b>Inhaltsverzeichnis (Klicken zum Öffnen)</b></summary>
|
||||||
|
|
||||||
- [Mindnet v2.2 – Technische Architektur](#mindnet-v22--technische-architektur)
|
- [Mindnet v2.4 – Technische Architektur](#mindnet-v24--technische-architektur)
|
||||||
- [](#)
|
- [](#)
|
||||||
- [1. Systemüberblick](#1-systemüberblick)
|
- [1. Systemüberblick](#1-systemüberblick)
|
||||||
- [1.1 Architektur-Zielbild](#11-architektur-zielbild)
|
- [1.1 Architektur-Zielbild](#11-architektur-zielbild)
|
||||||
- [1.2 Verzeichnisstruktur \& Komponenten (Post-WP06)](#12-verzeichnisstruktur--komponenten-post-wp06)
|
- [1.2 Verzeichnisstruktur \& Komponenten (Post-WP10)](#12-verzeichnisstruktur--komponenten-post-wp10)
|
||||||
- [2. Datenmodell \& Collections (Qdrant)](#2-datenmodell--collections-qdrant)
|
- [2. Datenmodell \& Collections (Qdrant)](#2-datenmodell--collections-qdrant)
|
||||||
- [2.1 Notes Collection (`<prefix>_notes`)](#21-notes-collection-prefix_notes)
|
- [2.1 Notes Collection (`<prefix>_notes`)](#21-notes-collection-prefix_notes)
|
||||||
- [2.2 Chunks Collection (`<prefix>_chunks`)](#22-chunks-collection-prefix_chunks)
|
- [2.2 Chunks Collection (`<prefix>_chunks`)](#22-chunks-collection-prefix_chunks)
|
||||||
@@ -33,18 +33,23 @@
|
|||||||
- [5.2 Scoring-Formel (WP04a)](#52-scoring-formel-wp04a)
|
- [5.2 Scoring-Formel (WP04a)](#52-scoring-formel-wp04a)
|
||||||
- [5.3 Explanation Layer (WP04b)](#53-explanation-layer-wp04b)
|
- [5.3 Explanation Layer (WP04b)](#53-explanation-layer-wp04b)
|
||||||
- [5.4 Graph-Expansion](#54-graph-expansion)
|
- [5.4 Graph-Expansion](#54-graph-expansion)
|
||||||
- [6. RAG \& Chat Architektur (WP06 Hybrid Router)](#6-rag--chat-architektur-wp06-hybrid-router)
|
- [6. RAG \& Chat Architektur (WP06 Hybrid Router + WP07 Interview)](#6-rag--chat-architektur-wp06-hybrid-router--wp07-interview)
|
||||||
- [6.1 Architektur-Pattern: Intent Router](#61-architektur-pattern-intent-router)
|
- [6.1 Architektur-Pattern: Intent Router](#61-architektur-pattern-intent-router)
|
||||||
- [6.2 Schritt 1: Intent Detection (Hybrid)](#62-schritt-1-intent-detection-hybrid)
|
- [6.2 Schritt 1: Intent Detection (Hybrid)](#62-schritt-1-intent-detection-hybrid)
|
||||||
- [6.3 Schritt 2: Strategy Resolution (Late Binding)](#63-schritt-2-strategy-resolution-late-binding)
|
- [6.3 Schritt 2: Strategy Resolution (Late Binding)](#63-schritt-2-strategy-resolution-late-binding)
|
||||||
- [6.4 Schritt 3: Multi-Stage Retrieval](#64-schritt-3-multi-stage-retrieval)
|
- [6.4 Schritt 3: Retrieval vs. Extraction](#64-schritt-3-retrieval-vs-extraction)
|
||||||
- [6.5 Schritt 4: Generation \& Response](#65-schritt-4-generation--response)
|
- [6.5 Schritt 4: Generation \& Response](#65-schritt-4-generation--response)
|
||||||
- [7. Feedback \& Logging Architektur (WP04c)](#7-feedback--logging-architektur-wp04c)
|
- [7. Frontend Architektur (WP10)](#7-frontend-architektur-wp10)
|
||||||
- [7.1 Komponenten](#71-komponenten)
|
- [7.1 Kommunikation](#71-kommunikation)
|
||||||
- [7.2 Log-Dateien](#72-log-dateien)
|
- [7.2 Features \& UI-Logik](#72-features--ui-logik)
|
||||||
- [7.3 Traceability](#73-traceability)
|
- [7.3 Draft-Editor \& Sanitizer (Neu in WP10a)](#73-draft-editor--sanitizer-neu-in-wp10a)
|
||||||
- [8. Indizes \& Performance](#8-indizes--performance)
|
- [7.4 Deployment Ports](#74-deployment-ports)
|
||||||
- [9. Offene Punkte / Known Limitations](#9-offene-punkte--known-limitations)
|
- [8. Feedback \& Logging Architektur (WP04c)](#8-feedback--logging-architektur-wp04c)
|
||||||
|
- [8.1 Komponenten](#81-komponenten)
|
||||||
|
- [8.2 Log-Dateien](#82-log-dateien)
|
||||||
|
- [8.3 Traceability](#83-traceability)
|
||||||
|
- [9. Indizes \& Performance](#9-indizes--performance)
|
||||||
|
- [10. Offene Punkte / Known Limitations](#10-offene-punkte--known-limitations)
|
||||||
|
|
||||||
|
|
||||||
</details>
|
</details>
|
||||||
@@ -53,18 +58,19 @@
|
|||||||
## 1. Systemüberblick
|
## 1. Systemüberblick
|
||||||
|
|
||||||
### 1.1 Architektur-Zielbild
|
### 1.1 Architektur-Zielbild
|
||||||
Mindnet ist ein **lokales RAG-System (Retrieval Augmented Generation)**.
|
Mindnet ist ein **lokales RAG-System (Retrieval Augmented Generation)** mit Web-Interface.
|
||||||
1. **Source:** Markdown-Notizen in einem Vault (Obsidian-kompatibel).
|
1. **Source:** Markdown-Notizen in einem Vault (Obsidian-kompatibel).
|
||||||
2. **Pipeline:** Ein Python-Importer transformiert diese in **Notes**, **Chunks** und **Edges**.
|
2. **Pipeline:** Ein Python-Importer transformiert diese in **Notes**, **Chunks** und **Edges**.
|
||||||
3. **Storage:**
|
3. **Storage:**
|
||||||
* **Qdrant:** Vektor-Datenbank für Graph und Semantik (Collections: notes, chunks, edges).
|
* **Qdrant:** Vektor-Datenbank für Graph und Semantik (Collections: notes, chunks, edges).
|
||||||
* **Local Files (JSONL):** Append-Only Logs für Feedback und Search-History (Data Flywheel).
|
* **Local Files (JSONL):** Append-Only Logs für Feedback und Search-History (Data Flywheel).
|
||||||
4. **Service:** Eine FastAPI-Anwendung stellt Endpunkte für **Semantische** und **Hybride Suche** sowie **Feedback** bereit.
|
4. **Backend:** Eine FastAPI-Anwendung stellt Endpunkte für **Semantische** und **Hybride Suche** sowie **Feedback** bereit.
|
||||||
5. **Inference:** Lokales LLM (Ollama: Phi-3 Mini) für RAG-Chat und Antwortgenerierung.
|
5. **Frontend:** Streamlit-App (`ui.py`) für Interaktion und Visualisierung inkl. **Draft Editor**.
|
||||||
|
6. **Inference:** Lokales LLM (Ollama: Phi-3 Mini) für RAG-Chat und Antwortgenerierung.
|
||||||
|
|
||||||
Das System arbeitet **deterministisch** (stabile IDs) und ist **konfigurationsgetrieben** (`types.yaml`, `retriever.yaml`, `decision_engine.yaml`, `prompts.yaml`).
|
Das System arbeitet **deterministisch** (stabile IDs) und ist **konfigurationsgetrieben** (`types.yaml`, `retriever.yaml`, `decision_engine.yaml`, `prompts.yaml`).
|
||||||
|
|
||||||
### 1.2 Verzeichnisstruktur & Komponenten (Post-WP06)
|
### 1.2 Verzeichnisstruktur & Komponenten (Post-WP10)
|
||||||
|
|
||||||
/mindnet/
|
/mindnet/
|
||||||
├── app/
|
├── app/
|
||||||
@@ -82,17 +88,19 @@ Das System arbeitet **deterministisch** (stabile IDs) und ist **konfigurationsge
|
|||||||
│ ├── models/ # Pydantic DTOs
|
│ ├── models/ # Pydantic DTOs
|
||||||
│ ├── routers/
|
│ ├── routers/
|
||||||
│ │ ├── query.py # Such-Endpunkt
|
│ │ ├── query.py # Such-Endpunkt
|
||||||
│ │ ├── chat.py # Hybrid Router & Decision Engine (WP06)
|
│ │ ├── chat.py # Hybrid Router & Interview Logic (WP06/07)
|
||||||
│ │ ├── feedback.py # Feedback-Endpunkt (WP04c)
|
│ │ ├── feedback.py # Feedback-Endpunkt (WP04c)
|
||||||
│ │ └── ...
|
│ │ └── ...
|
||||||
│ ├── services/
|
│ ├── services/
|
||||||
│ │ ├── llm_service.py # Ollama Client mit Timeout & Raw-Mode
|
│ │ ├── llm_service.py # Ollama Client mit Timeout & Raw-Mode
|
||||||
│ │ ├── feedback_service.py # JSONL Logging (WP04c)
|
│ │ ├── feedback_service.py # JSONL Logging (WP04c)
|
||||||
│ │ └── embeddings_client.py
|
│ │ └── embeddings_client.py
|
||||||
|
│ ├── frontend/ # NEU (WP10)
|
||||||
|
│ └── ui.py # Streamlit Application inkl. Sanitizer
|
||||||
├── config/
|
├── config/
|
||||||
│ ├── types.yaml # Typ-Definitionen (Import-Zeit)
|
│ ├── types.yaml # Typ-Definitionen (Import-Zeit)
|
||||||
│ ├── retriever.yaml # Scoring-Gewichte (Laufzeit)
|
│ ├── retriever.yaml # Scoring-Gewichte (Laufzeit)
|
||||||
│ ├── decision_engine.yaml # Strategien & Keywords (WP06)
|
│ ├── decision_engine.yaml # Strategien & Schemas (WP06/WP07)
|
||||||
│ └── prompts.yaml # LLM System-Prompts & Templates (WP06)
|
│ └── prompts.yaml # LLM System-Prompts & Templates (WP06)
|
||||||
├── data/
|
├── data/
|
||||||
│ └── logs/ # Lokale JSONL-Logs (WP04c)
|
│ └── logs/ # Lokale JSONL-Logs (WP04c)
|
||||||
@@ -186,14 +194,14 @@ Steuert das Scoring zur Laufzeit (WP04a).
|
|||||||
centrality_weight: 0.5
|
centrality_weight: 0.5
|
||||||
|
|
||||||
### 3.3 Decision Engine (`config/decision_engine.yaml`)
|
### 3.3 Decision Engine (`config/decision_engine.yaml`)
|
||||||
**Neu in WP06:** Steuert den Intent-Router.
|
**Neu in WP06/07:** Steuert den Intent-Router und die Interview-Schemas.
|
||||||
* Definiert Strategien (`DECISION`, `EMPATHY`, `CODING`, `FACT`).
|
* Definiert Strategien (`DECISION`, `INTERVIEW`, etc.).
|
||||||
* Definiert `trigger_keywords` und `inject_types` (Late Binding).
|
* Definiert `schemas` für den Interview-Modus (Pflichtfelder pro Typ).
|
||||||
* Definiert LLM-Router-Settings (`llm_fallback_enabled`).
|
* Definiert LLM-Router-Settings (`llm_fallback_enabled`).
|
||||||
|
|
||||||
### 3.4 Prompts (`config/prompts.yaml`)
|
### 3.4 Prompts (`config/prompts.yaml`)
|
||||||
Steuert die LLM-Persönlichkeit und Templates.
|
Steuert die LLM-Persönlichkeit und Templates.
|
||||||
* Enthält Templates für alle Strategien (z.B. `decision_template`, `empathy_template`, `technical_template`).
|
* Enthält Templates für alle Strategien inkl. `interview_template` mit One-Shot Logik.
|
||||||
|
|
||||||
### 3.5 Environment (`.env`)
|
### 3.5 Environment (`.env`)
|
||||||
Erweiterung für LLM-Steuerung:
|
Erweiterung für LLM-Steuerung:
|
||||||
@@ -266,7 +274,7 @@ Der Hybrid-Modus lädt dynamisch die Nachbarschaft der Top-K Vektor-Treffer ("Se
|
|||||||
|
|
||||||
---
|
---
|
||||||
|
|
||||||
## 6. RAG & Chat Architektur (WP06 Hybrid Router)
|
## 6. RAG & Chat Architektur (WP06 Hybrid Router + WP07 Interview)
|
||||||
|
|
||||||
Der Flow für eine Chat-Anfrage (`/chat`) wurde in WP06 auf eine **Configuration-Driven Architecture** umgestellt. Der `ChatRouter` (`app/routers/chat.py`) fungiert als zentraler Dispatcher.
|
Der Flow für eine Chat-Anfrage (`/chat`) wurde in WP06 auf eine **Configuration-Driven Architecture** umgestellt. Der `ChatRouter` (`app/routers/chat.py`) fungiert als zentraler Dispatcher.
|
||||||
|
|
||||||
@@ -288,35 +296,79 @@ Der Router ermittelt die Absicht (`Intent`) des Nutzers.
|
|||||||
* Nur aktiv, wenn `llm_fallback_enabled: true`.
|
* Nur aktiv, wenn `llm_fallback_enabled: true`.
|
||||||
* Greift, wenn keine Keywords gefunden wurden.
|
* Greift, wenn keine Keywords gefunden wurden.
|
||||||
* Sendet die Query an das LLM mit einem Klassifizierungs-Prompt (`llm_router_prompt`).
|
* Sendet die Query an das LLM mit einem Klassifizierungs-Prompt (`llm_router_prompt`).
|
||||||
* Ergebnis: `EMPATHY`, `DECISION`, `CODING` oder `FACT` (Default).
|
* Ergebnis: `EMPATHY`, `DECISION`, `INTERVIEW`, `CODING` oder `FACT`.
|
||||||
|
|
||||||
### 6.3 Schritt 2: Strategy Resolution (Late Binding)
|
### 6.3 Schritt 2: Strategy Resolution (Late Binding)
|
||||||
Basierend auf dem Intent lädt der Router die Parameter:
|
Basierend auf dem Intent lädt der Router die Parameter:
|
||||||
* **inject_types:** Liste der Notiz-Typen, die erzwungen werden sollen (z.B. `["value", "goal"]` bei `DECISION`).
|
* **Bei RAG (FACT/DECISION):** `inject_types` für Strategic Retrieval.
|
||||||
* **prompt_template:** Schlüssel für das Template in `prompts.yaml` (z.B. `decision_template`, `empathy_template`).
|
* **Bei INTERVIEW (WP07):** `schemas` (Pflichtfelder) basierend auf der erkannten Ziel-Entität (`_detect_target_type`).
|
||||||
|
|
||||||
### 6.4 Schritt 3: Multi-Stage Retrieval
|
### 6.4 Schritt 3: Retrieval vs. Extraction
|
||||||
1. **Primary Retrieval:** Hybride Suche nach der User-Query (findet Fakten).
|
Der Router verzweigt hier:
|
||||||
|
|
||||||
|
**A) RAG Modus (FACT, DECISION, EMPATHY):**
|
||||||
|
1. **Primary Retrieval:** Hybride Suche nach der User-Query.
|
||||||
2. **Strategic Retrieval (Conditional):** Wenn `inject_types` definiert sind, erfolgt eine zweite Suche, die explizit auf diese Typen filtert.
|
2. **Strategic Retrieval (Conditional):** Wenn `inject_types` definiert sind, erfolgt eine zweite Suche, die explizit auf diese Typen filtert.
|
||||||
3. **Merge:** Ergebnisse werden dedupliziert zusammengeführt.
|
3. **Merge:** Ergebnisse werden dedupliziert zusammengeführt.
|
||||||
|
|
||||||
|
**B) Interview Modus (INTERVIEW):**
|
||||||
|
1. **Kein Retrieval:** Der Kontext ist der Chat-Verlauf (oder initial die Query).
|
||||||
|
2. **Schema Injection:** Das Schema für den erkannten Typ (z.B. "Project") wird geladen.
|
||||||
|
3. **Prompt Assembly:** Der `interview_template` Prompt wird mit der Schema-Definition ("Ziel", "Status") gefüllt.
|
||||||
|
|
||||||
### 6.5 Schritt 4: Generation & Response
|
### 6.5 Schritt 4: Generation & Response
|
||||||
* **Context Enrichment:** Metadaten (`[VALUE]`, `[GOAL]`, `[SCORE]`) werden in den Context-String injiziert, um dem LLM die Rolle des Textstücks zu signalisieren.
|
|
||||||
* **Templating:** Das LLM erhält den Prompt basierend auf dem gewählten Template.
|
* **Templating:** Das LLM erhält den Prompt basierend auf dem gewählten Template.
|
||||||
* **Execution:** Der `LLMService` führt den Call aus. Ein konfigurierbarer Timeout (`MINDNET_LLM_TIMEOUT`) fängt Cold-Start-Verzögerungen auf CPU-Hardware ab.
|
* **Execution:** Der `LLMService` führt den Call aus. Ein konfigurierbarer Timeout (`MINDNET_LLM_TIMEOUT`) fängt Cold-Start-Verzögerungen auf CPU-Hardware ab.
|
||||||
* **Response:** Rückgabe enthält Antworttext, Quellenliste und den erkannten `intent` (für Debugging/Frontend).
|
* **Response:** Rückgabe enthält Antworttext (im Interview-Modus: Markdown Codeblock), Quellenliste und den erkannten `intent`.
|
||||||
|
|
||||||
---
|
---
|
||||||
|
|
||||||
## 7. Feedback & Logging Architektur (WP04c)
|
## 7. Frontend Architektur (WP10)
|
||||||
|
|
||||||
|
Das Frontend ist eine **Streamlit-Anwendung** (`app/frontend/ui.py`), die als separater Prozess läuft und via HTTP mit dem Backend kommuniziert.
|
||||||
|
|
||||||
|
### 7.1 Kommunikation
|
||||||
|
* **Backend-URL:** Konfiguriert via `MINDNET_API_URL` (Default: `http://localhost:8002`).
|
||||||
|
* **Endpoints:** Nutzt `/chat` für Interaktion und `/feedback` für Bewertungen.
|
||||||
|
* **Resilienz:** Das Frontend implementiert eigene Timeouts (`MINDNET_API_TIMEOUT`, Default 300s).
|
||||||
|
|
||||||
|
### 7.2 Features & UI-Logik
|
||||||
|
* **State Management:** Session-State speichert Chat-Verlauf und `query_id`.
|
||||||
|
* **Visualisierung:**
|
||||||
|
* **Intent Badges:** Zeigt Router-Entscheidung (`DECISION`, `INTERVIEW`, etc.).
|
||||||
|
* **Source Expanders:** Zeigt verwendete Chunks inkl. Score und "Why"-Explanation.
|
||||||
|
* **Sidebar:** Zeigt Suchhistorie (Log-basiert) und Konfiguration.
|
||||||
|
|
||||||
|
### 7.3 Draft-Editor & Sanitizer (Neu in WP10a)
|
||||||
|
Wenn der Intent `INTERVIEW` ist, rendert die UI statt einer Textblase den **Draft-Editor**.
|
||||||
|
|
||||||
|
1. **Parsing:** Die Funktion `parse_markdown_draft` extrahiert den Codeblock aus der LLM-Antwort.
|
||||||
|
2. **Sanitization (`normalize_meta_and_body`):**
|
||||||
|
* Prüft den YAML-Frontmatter auf unerlaubte Felder (Halluzinationen des LLMs).
|
||||||
|
* Verschiebt ungültige Felder (z.B. "Situation") in den Body der Notiz.
|
||||||
|
* Stellt sicher, dass das Markdown valide bleibt.
|
||||||
|
3. **Editor Widget:** `st.text_area` erlaubt das Bearbeiten des Inhalts vor dem Speichern.
|
||||||
|
4. **Action:** Buttons zum Download oder Kopieren des fertigen Markdowns.
|
||||||
|
|
||||||
|
### 7.4 Deployment Ports
|
||||||
|
Zur sauberen Trennung von Prod und Dev laufen Frontend und Backend auf dedizierten Ports:
|
||||||
|
|
||||||
|
| Umgebung | Backend (FastAPI) | Frontend (Streamlit) |
|
||||||
|
| :--- | :--- | :--- |
|
||||||
|
| **Production** | 8001 | 8501 |
|
||||||
|
| **Development** | 8002 | 8502 |
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## 8. Feedback & Logging Architektur (WP04c)
|
||||||
|
|
||||||
Mindnet implementiert ein "Data Flywheel" zur späteren Optimierung (Self-Tuning).
|
Mindnet implementiert ein "Data Flywheel" zur späteren Optimierung (Self-Tuning).
|
||||||
|
|
||||||
### 7.1 Komponenten
|
### 8.1 Komponenten
|
||||||
* **Feedback Service (`app/services/feedback_service.py`):** Kapselt die Schreibzugriffe.
|
* **Feedback Service (`app/services/feedback_service.py`):** Kapselt die Schreibzugriffe.
|
||||||
* **Storage:** Lokales Dateisystem (`data/logs/`), Format JSONL (Line-delimited JSON).
|
* **Storage:** Lokales Dateisystem (`data/logs/`), Format JSONL (Line-delimited JSON).
|
||||||
|
|
||||||
### 7.2 Log-Dateien
|
### 8.2 Log-Dateien
|
||||||
1. **`search_history.jsonl`**:
|
1. **`search_history.jsonl`**:
|
||||||
* Speichert jede Anfrage an `/query` und `/chat`.
|
* Speichert jede Anfrage an `/query` und `/chat`.
|
||||||
* Enthält: `query_id`, `query_text`, `timestamp`, `hits` (inkl. `score_breakdown` Snapshots).
|
* Enthält: `query_id`, `query_text`, `timestamp`, `hits` (inkl. `score_breakdown` Snapshots).
|
||||||
@@ -324,14 +376,15 @@ Mindnet implementiert ein "Data Flywheel" zur späteren Optimierung (Self-Tuning
|
|||||||
2. **`feedback.jsonl`**:
|
2. **`feedback.jsonl`**:
|
||||||
* Speichert User-Reaktionen an `/feedback`.
|
* Speichert User-Reaktionen an `/feedback`.
|
||||||
* Enthält: `query_id`, `node_id`, `score` (1-5), `comment`.
|
* Enthält: `query_id`, `node_id`, `score` (1-5), `comment`.
|
||||||
|
* **Granularität:** Kann sich auf `generated_answer` (Global) oder eine spezifische `node_id` (Quelle) beziehen.
|
||||||
* Zweck: Labels ("War es gut?").
|
* Zweck: Labels ("War es gut?").
|
||||||
|
|
||||||
### 7.3 Traceability
|
### 8.3 Traceability
|
||||||
Die `query_id` (UUIDv4) wird im `/query` Response generiert und muss vom Client beim `/feedback` Aufruf mitgesendet werden. Dies ermöglicht den Join zwischen Snapshot und Bewertung.
|
Die `query_id` (UUIDv4) wird im `/query` Response generiert und muss vom Client beim `/feedback` Aufruf mitgesendet werden. Dies ermöglicht den Join zwischen Snapshot und Bewertung.
|
||||||
|
|
||||||
---
|
---
|
||||||
|
|
||||||
## 8. Indizes & Performance
|
## 9. Indizes & Performance
|
||||||
|
|
||||||
Damit Qdrant performant bleibt, sind Payload-Indizes essenziell.
|
Damit Qdrant performant bleibt, sind Payload-Indizes essenziell.
|
||||||
|
|
||||||
@@ -344,7 +397,7 @@ Validierung erfolgt über `tests/ensure_indexes_and_show.py`.
|
|||||||
|
|
||||||
---
|
---
|
||||||
|
|
||||||
## 9. Offene Punkte / Known Limitations
|
## 10. Offene Punkte / Known Limitations
|
||||||
|
|
||||||
1. **Multi-Target Inline-Relations:**
|
1. **Multi-Target Inline-Relations:**
|
||||||
* `rel: similar_to [[A]] [[B]]` wird aktuell parser-seitig nicht unterstützt.
|
* `rel: similar_to [[A]] [[B]]` wird aktuell parser-seitig nicht unterstützt.
|
||||||
|
|||||||
+47
-17
@@ -1,14 +1,14 @@
|
|||||||
# mindnet v2.2 – Pipeline Playbook
|
# mindnet v2.4 – Pipeline Playbook
|
||||||
**Datei:** `docs/mindnet_pipeline_playbook_v2.2.md`
|
**Datei:** `docs/mindnet_pipeline_playbook_v2.4.md`
|
||||||
**Stand:** 2025-12-09
|
**Stand:** 2025-12-10
|
||||||
**Status:** **FINAL** (Inkl. WP06 Decision Engine)
|
**Status:** **FINAL** (Inkl. WP07 Interview & WP10a Editor)
|
||||||
**Quellen:** `mindnet_v2_implementation_playbook.md`, `Handbuch.md`, `chunking_strategy.md`, `docs_mindnet_retriever.md`, `mindnet_admin_guide_v2.2.md`.
|
**Quellen:** `mindnet_v2_implementation_playbook.md`, `Handbuch.md`, `chunking_strategy.md`, `docs_mindnet_retriever.md`, `mindnet_admin_guide_v2.4.md`.
|
||||||
|
|
||||||
---
|
---
|
||||||
<details>
|
<details>
|
||||||
<summary>📖 <b>Inhaltsverzeichnis (Klicken zum Öffnen)</b></summary>
|
<summary>📖 <b>Inhaltsverzeichnis (Klicken zum Öffnen)</b></summary>
|
||||||
|
|
||||||
- [mindnet v2.2 – Pipeline Playbook](#mindnet-v22--pipeline-playbook)
|
- [mindnet v2.4 – Pipeline Playbook](#mindnet-v24--pipeline-playbook)
|
||||||
- [](#)
|
- [](#)
|
||||||
- [1. Zweck \& Einordnung](#1-zweck--einordnung)
|
- [1. Zweck \& Einordnung](#1-zweck--einordnung)
|
||||||
- [2. Die Import-Pipeline (Runbook)](#2-die-import-pipeline-runbook)
|
- [2. Die Import-Pipeline (Runbook)](#2-die-import-pipeline-runbook)
|
||||||
@@ -24,7 +24,7 @@
|
|||||||
- [4.2 Typ-Defaults](#42-typ-defaults)
|
- [4.2 Typ-Defaults](#42-typ-defaults)
|
||||||
- [5. Retriever, Chat \& Generation (RAG Pipeline)](#5-retriever-chat--generation-rag-pipeline)
|
- [5. Retriever, Chat \& Generation (RAG Pipeline)](#5-retriever-chat--generation-rag-pipeline)
|
||||||
- [5.1 Retrieval (Hybrid)](#51-retrieval-hybrid)
|
- [5.1 Retrieval (Hybrid)](#51-retrieval-hybrid)
|
||||||
- [5.2 Intent Router (WP06)](#52-intent-router-wp06)
|
- [5.2 Intent Router (WP06/07)](#52-intent-router-wp0607)
|
||||||
- [5.3 Context Enrichment](#53-context-enrichment)
|
- [5.3 Context Enrichment](#53-context-enrichment)
|
||||||
- [5.4 Generation (LLM)](#54-generation-llm)
|
- [5.4 Generation (LLM)](#54-generation-llm)
|
||||||
- [6. Feedback \& Lernen (WP04c)](#6-feedback--lernen-wp04c)
|
- [6. Feedback \& Lernen (WP04c)](#6-feedback--lernen-wp04c)
|
||||||
@@ -33,17 +33,18 @@
|
|||||||
- [7.2 Smoke-Test (E2E)](#72-smoke-test-e2e)
|
- [7.2 Smoke-Test (E2E)](#72-smoke-test-e2e)
|
||||||
- [8. Ausblick \& Roadmap (Technische Skizzen)](#8-ausblick--roadmap-technische-skizzen)
|
- [8. Ausblick \& Roadmap (Technische Skizzen)](#8-ausblick--roadmap-technische-skizzen)
|
||||||
- [8.1 WP-08: Self-Tuning (Skizze)](#81-wp-08-self-tuning-skizze)
|
- [8.1 WP-08: Self-Tuning (Skizze)](#81-wp-08-self-tuning-skizze)
|
||||||
|
- [16. Workpackage Status (v2.4.0)](#16-workpackage-status-v240)
|
||||||
|
|
||||||
</details>
|
</details>
|
||||||
---
|
---
|
||||||
|
|
||||||
## 1. Zweck & Einordnung
|
## 1. Zweck & Einordnung
|
||||||
|
|
||||||
Dieses Playbook ist das zentrale operative Handbuch für die **mindnet-Pipeline**. Es beschreibt, wie Daten vom Markdown-Vault in den Wissensgraphen (Qdrant) gelangen, wie der Retriever betrieben wird und wie die **RAG-Generierung** (inkl. Decision Engine) funktioniert.
|
Dieses Playbook ist das zentrale operative Handbuch für die **mindnet-Pipeline**. Es beschreibt, wie Daten vom Markdown-Vault in den Wissensgraphen (Qdrant) gelangen, wie der Retriever betrieben wird und wie die **RAG-Generierung** (inkl. Decision Engine & Interviewer) funktioniert.
|
||||||
|
|
||||||
**Zielgruppe:** Dev/Ops, Tech-Leads.
|
**Zielgruppe:** Dev/Ops, Tech-Leads.
|
||||||
**Scope:**
|
**Scope:**
|
||||||
* **Ist-Stand (WP01–WP06):** Import, Chunking, Edge-Erzeugung, Hybrider Retriever, RAG-Chat (Hybrid Router), Feedback Loop.
|
* **Ist-Stand (WP01–WP10a):** Import, Chunking, Edge-Erzeugung, Hybrider Retriever, RAG-Chat (Hybrid Router), Feedback Loop, Frontend, Draft Editor.
|
||||||
* **Roadmap (Ausblick):** Technische Skizze für Self-Tuning (WP08).
|
* **Roadmap (Ausblick):** Technische Skizze für Self-Tuning (WP08).
|
||||||
|
|
||||||
---
|
---
|
||||||
@@ -88,10 +89,11 @@ Für regelmäßige Updates (z.B. Cronjob). Erkennt Änderungen via Hash.
|
|||||||
* `--sync-deletes`: Entfernt Notizen aus Qdrant, die im Vault gelöscht wurden.
|
* `--sync-deletes`: Entfernt Notizen aus Qdrant, die im Vault gelöscht wurden.
|
||||||
|
|
||||||
### 2.3 Deployment & Restart (Systemd)
|
### 2.3 Deployment & Restart (Systemd)
|
||||||
Nach einem Import oder Code-Update muss der API-Prozess neu gestartet werden.
|
Nach einem Import oder Code-Update müssen die API-Prozesse neu gestartet werden.
|
||||||
|
|
||||||
# Neustart des Produktions-Services
|
# Neustart des Produktions-Services (API + UI)
|
||||||
sudo systemctl restart mindnet-prod
|
sudo systemctl restart mindnet-prod
|
||||||
|
sudo systemctl restart mindnet-ui-prod
|
||||||
|
|
||||||
# Prüfung
|
# Prüfung
|
||||||
sudo systemctl status mindnet-prod
|
sudo systemctl status mindnet-prod
|
||||||
@@ -154,22 +156,26 @@ Der Datenfluss endet nicht beim Finden. Er geht weiter bis zur Antwort.
|
|||||||
### 5.1 Retrieval (Hybrid)
|
### 5.1 Retrieval (Hybrid)
|
||||||
Der `/chat` Endpunkt nutzt **Hybrid Retrieval** (Semantic + Graph), um auch logisch verbundene, aber textlich unterschiedliche Notizen zu finden (z.B. Decisions zu einem Projekt).
|
Der `/chat` Endpunkt nutzt **Hybrid Retrieval** (Semantic + Graph), um auch logisch verbundene, aber textlich unterschiedliche Notizen zu finden (z.B. Decisions zu einem Projekt).
|
||||||
|
|
||||||
### 5.2 Intent Router (WP06)
|
### 5.2 Intent Router (WP06/07)
|
||||||
Der Request durchläuft den **Hybrid Router**:
|
Der Request durchläuft den **Hybrid Router**:
|
||||||
1. **Fast Path:** Prüfung auf `trigger_keywords` aus `decision_engine.yaml`.
|
1. **Fast Path:** Prüfung auf `trigger_keywords` aus `decision_engine.yaml`.
|
||||||
2. **Slow Path:** Falls kein Keyword matched und `llm_fallback_enabled=true`, klassifiziert das LLM den Intent (`DECISION`, `EMPATHY`, `FACT`, `CODING`).
|
2. **Slow Path:** Falls kein Keyword matched und `llm_fallback_enabled=true`, klassifiziert das LLM den Intent.
|
||||||
3. **Result:** Auswahl der Strategie und der `inject_types` (z.B. Values & Goals).
|
* `FACT`: Wissen abfragen.
|
||||||
|
* `DECISION`: Rat suchen.
|
||||||
|
* `EMPATHY`: Trost suchen.
|
||||||
|
* `INTERVIEW`: Wissen eingeben (Neu in WP07).
|
||||||
|
3. **Result:** Auswahl der Strategie und der `inject_types` oder `schemas`.
|
||||||
|
|
||||||
### 5.3 Context Enrichment
|
### 5.3 Context Enrichment
|
||||||
Der Router (`chat.py`) reichert die gefundenen Chunks mit Metadaten an:
|
Der Router (`chat.py`) reichert die gefundenen Chunks mit Metadaten an:
|
||||||
* **Typ-Injection:** `[DECISION]`, `[PROJECT]`.
|
* **Typ-Injection:** `[DECISION]`, `[PROJECT]`.
|
||||||
* **Reasoning-Infos:** `(Score: 0.75)`.
|
* **Reasoning-Infos:** `(Score: 0.75)`.
|
||||||
* **Zweck:** Ermöglicht kleinen Modellen (Phi-3) das Erkennen von logischen Rollen ("Warum?" vs "Was?").
|
|
||||||
|
|
||||||
### 5.4 Generation (LLM)
|
### 5.4 Generation (LLM)
|
||||||
* **Engine:** Ollama (lokal).
|
* **Engine:** Ollama (lokal).
|
||||||
* **Modell:** `phi3:mini` (Standard).
|
* **Modell:** `phi3:mini` (Standard).
|
||||||
* **Prompting:** Template wird basierend auf Intent gewählt (`decision_template` vs `empathy_template`).
|
* **Prompting:** Template wird basierend auf Intent gewählt (`decision_template`, `interview_template` etc.).
|
||||||
|
* **One-Shot (WP07):** Im Interview-Modus generiert das LLM direkt einen Markdown-Block ohne Rückfragen.
|
||||||
|
|
||||||
---
|
---
|
||||||
|
|
||||||
@@ -203,9 +209,12 @@ Prüft am laufenden System (Prod oder Dev), ob Semantik, Graph und Feedback funk
|
|||||||
# Retriever Test
|
# Retriever Test
|
||||||
python scripts/test_retriever_smoke.py --mode hybrid --top-k 5
|
python scripts/test_retriever_smoke.py --mode hybrid --top-k 5
|
||||||
|
|
||||||
# Chat / Decision Engine Test (Neu WP06)
|
# Decision Engine Test (WP06)
|
||||||
python tests/test_wp06_decision.py -p 8002 -e EMPATHY -q "Alles ist grau"
|
python tests/test_wp06_decision.py -p 8002 -e EMPATHY -q "Alles ist grau"
|
||||||
|
|
||||||
|
# Interview Test (WP07)
|
||||||
|
python tests/test_wp06_decision.py -p 8002 -e INTERVIEW -q "Neues Projekt starten"
|
||||||
|
|
||||||
# Feedback Test
|
# Feedback Test
|
||||||
python tests/test_feedback_smoke.py --url http://localhost:8001/query
|
python tests/test_feedback_smoke.py --url http://localhost:8001/query
|
||||||
|
|
||||||
@@ -221,3 +230,24 @@ Wie entwickeln wir die Pipeline weiter?
|
|||||||
1. **Load:** Liest `search_history.jsonl` und joint mit `feedback.jsonl` via `query_id`.
|
1. **Load:** Liest `search_history.jsonl` und joint mit `feedback.jsonl` via `query_id`.
|
||||||
2. **Analyze:** Korrelation Scores vs. User-Rating.
|
2. **Analyze:** Korrelation Scores vs. User-Rating.
|
||||||
3. **Optimize:** Vorschlag neuer Gewichte für `retriever.yaml`.
|
3. **Optimize:** Vorschlag neuer Gewichte für `retriever.yaml`.
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## 16. Workpackage Status (v2.4.0)
|
||||||
|
|
||||||
|
Aktueller Implementierungsstand der Module.
|
||||||
|
|
||||||
|
| WP | Titel | Status | Anmerkung |
|
||||||
|
| :--- | :--- | :--- | :--- |
|
||||||
|
| **WP01** | Knowledge Design | 🟢 Live | Typen, Frontmatter definiert. |
|
||||||
|
| **WP02** | Chunking Strategy | 🟢 Live | Profilbasiertes Chunking aktiv. |
|
||||||
|
| **WP03** | Edge Logic / Import | 🟢 Live | Neue Importer-Pipeline mit Provenance. |
|
||||||
|
| **WP04a**| Retriever Scoring | 🟢 Live | Hybrider Score (Semantik + Graph). |
|
||||||
|
| **WP04b**| Explanation Layer | 🟢 Live | API liefert Reasons & Breakdown. |
|
||||||
|
| **WP04c**| Feedback Loop | 🟢 Live | Logging (JSONL) & Traceability aktiv. |
|
||||||
|
| **WP05** | Persönlichkeit / Chat | 🟢 Live | RAG-Integration mit Context Enrichment. |
|
||||||
|
| **WP06** | Decision Engine | 🟢 Live | Hybrid Router, Strategic Retrieval. |
|
||||||
|
| **WP07** | Interview Assistent | 🟢 Live | **One-Shot Extractor & Schemas aktiv.** |
|
||||||
|
| **WP08** | Self-Tuning | 🔴 Geplant | Auto-Adjustment der Gewichte. |
|
||||||
|
| **WP10** | Chat Interface | 🟢 Live | Web-Interface (Streamlit). |
|
||||||
|
| **WP10a**| Draft Editor | 🟢 Live | **Interaktives UI für WP07 Drafts.** |
|
||||||
+75
-52
@@ -1,11 +1,11 @@
|
|||||||
# Mindnet v2.2 – User Guide
|
# Mindnet v2.4 – User Guide
|
||||||
**Datei:** `docs/mindnet_user_guide_v2.2.md`
|
**Datei:** `docs/mindnet_user_guide_v2.4.md`
|
||||||
**Stand:** 2025-12-09
|
**Stand:** 2025-12-10
|
||||||
**Status:** **FINAL** (Inkl. RAG & Multi-Personality Chat)
|
**Status:** **FINAL** (Inkl. RAG, Web-Interface & Interview-Assistent)
|
||||||
**Quellen:** `knowledge_design.md`, `wp04_retriever_scoring.md`, `Programmplan_V2.2.md`, `Handbuch.md`.
|
**Quellen:** `knowledge_design.md`, `wp04_retriever_scoring.md`, `Programmplan_V2.2.md`, `Handbuch.md`.
|
||||||
|
|
||||||
> **Willkommen bei Mindnet.**
|
> **Willkommen bei Mindnet.**
|
||||||
> Dies ist dein persönliches Wissensnetzwerk und dein Digitaler Zwilling. Es hilft dir beim Erinnern, beim Entscheiden und beim Reflektieren.
|
> Dies ist dein persönliches Wissensnetzwerk und dein Digitaler Zwilling. Es hilft dir beim Erinnern, beim Entscheiden, beim Reflektieren und beim **Erstellen von Inhalten**.
|
||||||
|
|
||||||
---
|
---
|
||||||
|
|
||||||
@@ -20,19 +20,40 @@ Wenn du nach "Projekt Alpha" suchst, findet Mindnet nicht nur das Dokument. Es f
|
|||||||
* **Ähnliches:** "Projekt Beta war ähnlich".
|
* **Ähnliches:** "Projekt Beta war ähnlich".
|
||||||
|
|
||||||
### 1.2 Der Zwilling (Die Personas)
|
### 1.2 Der Zwilling (Die Personas)
|
||||||
Seit Version 2.3.1 passt Mindnet seinen Charakter dynamisch an deine Frage an:
|
Mindnet passt seinen Charakter dynamisch an deine Frage an:
|
||||||
1. **Der Bibliothekar (FACT):** Liefert präzise Fakten und Definitionen.
|
1. **Der Bibliothekar (FACT):** Liefert präzise Fakten und Definitionen.
|
||||||
2. **Der Berater (DECISION):** Hilft dir beim Abwägen, basierend auf deinen Werten und Zielen.
|
2. **Der Berater (DECISION):** Hilft dir beim Abwägen, basierend auf deinen Werten und Zielen.
|
||||||
3. **Der Spiegel (EMPATHY):** Hört zu und antwortet basierend auf deinen Erfahrungen ("Ich"-Perspektive).
|
3. **Der Spiegel (EMPATHY):** Hört zu und antwortet basierend auf deinen Erfahrungen ("Ich"-Perspektive).
|
||||||
4. **Der Coder (CODING):** Liefert technische Schnipsel ohne Smalltalk.
|
4. **Der Analyst (INTERVIEW):** Hilft dir, neue Notizen zu entwerfen und strukturiert zu erfassen.
|
||||||
|
|
||||||
---
|
---
|
||||||
|
|
||||||
## 2. Den Chat steuern (Intents)
|
## 2. Die Oberfläche (Web UI)
|
||||||
|
|
||||||
|
Seit Version 2.3.1 bedienst du Mindnet über eine grafische Oberfläche im Browser.
|
||||||
|
|
||||||
|
### 2.1 Der Chat-Bereich
|
||||||
|
* **Eingabe:** Unten findest du das Textfeld.
|
||||||
|
* **Intent-Badge:** Über jeder Antwort zeigt ein kleines Label (z.B. **⚖️ Intent: DECISION**), in welchem Modus das System arbeitet und ob dies durch ein Schlüsselwort oder die KI erkannt wurde.
|
||||||
|
* **Quellen-Karten:** Unter der Antwort findest du ausklappbare Karten ("Expanders").
|
||||||
|
* **Grüner Punkt:** Hohe Relevanz (Score > 0.8).
|
||||||
|
* **Gelber Punkt:** Mittlere Relevanz.
|
||||||
|
* **Klick darauf:** Zeigt den Textauszug und die **Begründung** ("Warum wurde das gefunden?").
|
||||||
|
|
||||||
|
### 2.2 Die Sidebar (Einstellungen & Verlauf)
|
||||||
|
* **Modus-Wahl:** Umschalten zwischen "💬 Chat" und "📝 Manueller Editor".
|
||||||
|
* **Verlauf:** Die letzten Suchanfragen sind hier gelistet. Ein Klick führt die Suche erneut aus.
|
||||||
|
* **Settings:**
|
||||||
|
* **Top-K:** Wie viele Quellen sollen gelesen werden? (Standard: 5).
|
||||||
|
* **Explanation Layer:** Schaltet die "Warum"-Erklärungen an/aus.
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## 3. Den Chat steuern (Intents)
|
||||||
|
|
||||||
Du steuerst die Persönlichkeit von Mindnet durch deine Wortwahl. Das System nutzt einen **Hybrid Router**, der sowohl auf Schlüsselwörter als auch auf die Bedeutung achtet.
|
Du steuerst die Persönlichkeit von Mindnet durch deine Wortwahl. Das System nutzt einen **Hybrid Router**, der sowohl auf Schlüsselwörter als auch auf die Bedeutung achtet.
|
||||||
|
|
||||||
### 2.1 Modus: Entscheidung ("Der Berater")
|
### 3.1 Modus: Entscheidung ("Der Berater")
|
||||||
Wenn du vor einer Wahl stehst, hilft Mindnet dir, konform zu deinen Prinzipien zu bleiben.
|
Wenn du vor einer Wahl stehst, hilft Mindnet dir, konform zu deinen Prinzipien zu bleiben.
|
||||||
|
|
||||||
* **Auslöser (Keywords):** "Soll ich...", "Was ist deine Meinung?", "Strategie für...", "Vor- und Nachteile".
|
* **Auslöser (Keywords):** "Soll ich...", "Was ist deine Meinung?", "Strategie für...", "Vor- und Nachteile".
|
||||||
@@ -41,68 +62,70 @@ Wenn du vor einer Wahl stehst, hilft Mindnet dir, konform zu deinen Prinzipien z
|
|||||||
* *Du:* "Soll ich Tool X nutzen?"
|
* *Du:* "Soll ich Tool X nutzen?"
|
||||||
* *Mindnet:* "Nein. Tool X speichert Daten in den USA. Das verstößt gegen dein Prinzip 'Privacy First' und dein Ziel 'Digitale Autarkie'."
|
* *Mindnet:* "Nein. Tool X speichert Daten in den USA. Das verstößt gegen dein Prinzip 'Privacy First' und dein Ziel 'Digitale Autarkie'."
|
||||||
|
|
||||||
### 2.2 Modus: Empathie ("Der Spiegel")
|
### 3.2 Modus: Empathie ("Der Spiegel")
|
||||||
Wenn du frustriert bist oder reflektieren willst, wechselt Mindnet in den "Ich"-Modus.
|
Wenn du frustriert bist oder reflektieren willst, wechselt Mindnet in den "Ich"-Modus.
|
||||||
|
|
||||||
* **Auslöser (Keywords & Semantik):** "Ich fühle mich...", "Traurig", "Gestresst", "Alles ist sinnlos", "Ich bin überfordert".
|
* **Auslöser (Keywords & Semantik):** "Ich fühle mich...", "Traurig", "Gestresst", "Alles ist sinnlos", "Ich bin überfordert".
|
||||||
* **Was passiert:** Mindnet lädt deine **Erfahrungen** (`type: experience`) und **Glaubenssätze** (`type: belief`). Es antwortet verständnisvoll und zitiert deine eigenen Lektionen.
|
* **Was passiert:** Mindnet lädt deine **Erfahrungen** (`type: experience`) und **Glaubenssätze** (`type: belief`). Es antwortet verständnisvoll und zitiert deine eigenen Lektionen.
|
||||||
* **Beispiel-Dialog:**
|
|
||||||
* *Du:* "Ich bin total überfordert, nichts funktioniert."
|
|
||||||
* *Mindnet:* "Das Gefühl kenne ich. Erinnere dich an die Situation im Projekt X ('Der Durchbruch nach der Krise'). Damals hat uns das Mantra 'Einfach weitermachen, der Nebel lichtet sich' geholfen."
|
|
||||||
|
|
||||||
### 2.3 Modus: Coding ("Der Techniker")
|
### 3.3 Modus: Interview ("Der Analyst") – Neu!
|
||||||
* **Auslöser:** "Code", "Python", "Funktion", "Syntax".
|
Wenn du Wissen festhalten willst, statt zu suchen.
|
||||||
* **Was passiert:** Mindnet antwortet kurz, prägnant und liefert Code-Blöcke. Smalltalk wird reduziert.
|
|
||||||
|
|
||||||
### 2.4 Modus: Fakten (Standard)
|
* **Auslöser:** "Neues Projekt", "Notiz erstellen", "Ich will etwas festhalten", "Neue Entscheidung dokumentieren".
|
||||||
* **Auslöser:** Alles andere. "Was ist Qdrant?", "Zusammenfassung von X".
|
* **Was passiert:** Siehe Kapitel 6.3.
|
||||||
* **Was passiert:** Standard-Suche nach Wissen ohne spezielle Filter.
|
|
||||||
|
|
||||||
---
|
---
|
||||||
|
|
||||||
## 3. Ergebnisse interpretieren (Explanation Layer)
|
## 4. Ergebnisse interpretieren (Explanation Layer)
|
||||||
|
|
||||||
Mindnet liefert nicht einfach nur Treffer. Es liefert eine **Begründung** (Explanation), warum es etwas gefunden hat.
|
Mindnet liefert nicht einfach nur Treffer. Es liefert eine **Begründung** (Explanation), warum es etwas gefunden hat.
|
||||||
|
|
||||||
### 3.1 Die Gründe ("Reasons")
|
### 4.1 Die Gründe ("Reasons")
|
||||||
Das System sagt dir in natürlicher Sprache, warum ein Treffer relevant ist:
|
Öffne eine Quellen-Karte, um zu sehen:
|
||||||
* *"Hohe textuelle Übereinstimmung."* (Semantik)
|
* *"Hohe textuelle Übereinstimmung."* (Semantik)
|
||||||
* *"Bevorzugt aufgrund des Typs 'decision'."* (Wichtigkeit)
|
* *"Bevorzugt aufgrund des Typs 'decision'."* (Wichtigkeit)
|
||||||
* *"Verweist auf 'Projekt X' via 'depends_on'."* (Graph-Kontext)
|
* *"Verweist auf 'Projekt X' via 'depends_on'."* (Graph-Kontext)
|
||||||
|
|
||||||
### 3.2 Der Score Breakdown
|
|
||||||
Wenn du es genau wissen willst, schau auf die Aufschlüsselung:
|
|
||||||
|
|
||||||
Score = (Text) + (Typ-Bonus) + (Vernetzungs-Bonus)
|
|
||||||
|
|
||||||
---
|
|
||||||
|
|
||||||
## 4. Neues Wissen beisteuern (Authoring)
|
|
||||||
|
|
||||||
Mindnet lebt von deinem Input. Du musst kein Techniker sein, um gutes Wissen zu designen. Siehe dazu das **Knowledge Design Manual** für Details.
|
|
||||||
|
|
||||||
### 4.1 Die Goldene Regel: "Verlinke semantisch"
|
|
||||||
Statt einfach nur `[[Link]]` zu schreiben, versuche zu sagen, *wie* es zusammenhängt.
|
|
||||||
* Hängt es davon ab? -> `[[rel:depends_on Ziel]]`
|
|
||||||
* Ist es ähnlich? -> `[[rel:similar_to Ziel]]`
|
|
||||||
|
|
||||||
### 4.2 Typen nutzen (Wichtig!)
|
|
||||||
Setze im Frontmatter deiner Notizen den richtigen Typ. Das ist der wichtigste Hebel für den Chat:
|
|
||||||
* Willst du, dass Mindnet etwas als **Regel** nutzt? -> `type: principle`
|
|
||||||
* Willst du, dass Mindnet dich an eine **Lektion** erinnert? -> `type: experience`
|
|
||||||
|
|
||||||
---
|
---
|
||||||
|
|
||||||
## 5. Feedback & Lernen
|
## 5. Feedback & Lernen
|
||||||
|
|
||||||
Mindnet wird schlauer, wenn du es pflegst.
|
Mindnet wird schlauer, wenn du es pflegst. Nutze die Feedback-Funktionen im Chat:
|
||||||
|
|
||||||
### 5.1 Feedback geben (Data Flywheel)
|
### 5.1 Globales Feedback (Antwort-Qualität)
|
||||||
Das System zeichnet auf, welche Ergebnisse es liefert. Du kannst Treffer bewerten (geplant für WP-10 UI).
|
* **Wie:** Klicke auf die **Sterne (1-5)** unter der Antwort.
|
||||||
In Zukunft analysiert das System diese Daten, um seine Gewichte selbstständig anzupassen (Self-Tuning).
|
* **Bedeutung:** Bewertet, wie gut die generierte Antwort war (Prompting, Tonfall).
|
||||||
|
|
||||||
### 5.2 Ergebnis fehlt? Troubleshooting
|
### 5.2 Granulares Feedback (Quellen-Relevanz)
|
||||||
Wenn Mindnet etwas nicht findet:
|
* **Wie:** Klicke innerhalb einer Quellen-Karte auf die **Smileys (Faces)**.
|
||||||
1. **Existiert** die Notiz im Vault? (Dateiname korrekt?)
|
* **Bedeutung:**
|
||||||
2. **Typ korrekt?** (Eine Erfahrung als `concept` getaggt wird im Empathie-Modus vielleicht übersehen).
|
* 😞 (Sad): Diese Quelle ist irrelevant/falsch. (Senkt zukünftig das Gewicht).
|
||||||
3. **Keywords?** (Wenn du "grau" sagst, aber in der Notiz nur "schlecht" steht, füge das Wort "grau" zur Notiz hinzu).
|
* 😐 (Neutral): Okay, aber nicht entscheidend.
|
||||||
|
* 😀 (Grin): Das ist der perfekte Treffer! (Stärkt diesen Typ/Kante).
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## 6. Neues Wissen beisteuern (Authoring)
|
||||||
|
|
||||||
|
Mindnet lebt von deinem Input. Du musst kein Techniker sein, um gutes Wissen zu designen. Siehe dazu das **Knowledge Design Manual** für Details.
|
||||||
|
|
||||||
|
### 6.1 Die Goldene Regel: "Verlinke semantisch"
|
||||||
|
Statt einfach nur `[[Link]]` zu schreiben, versuche zu sagen, *wie* es zusammenhängt.
|
||||||
|
* Hängt es davon ab? -> `[[rel:depends_on Ziel]]`
|
||||||
|
* Ist es ähnlich? -> `[[rel:similar_to Ziel]]`
|
||||||
|
|
||||||
|
### 6.2 Typen nutzen (Wichtig!)
|
||||||
|
Setze im Frontmatter deiner Notizen den richtigen Typ. Das ist der wichtigste Hebel für den Chat:
|
||||||
|
* Willst du, dass Mindnet etwas als **Regel** nutzt? -> `type: principle`
|
||||||
|
* Willst du, dass Mindnet dich an eine **Lektion** erinnert? -> `type: experience`
|
||||||
|
|
||||||
|
### 6.3 Der Interview-Assistent (Drafting)
|
||||||
|
Mindnet kann dir helfen, Markdown-Notizen zu schreiben.
|
||||||
|
|
||||||
|
1. **Start:** Schreibe im Chat: *"Ich möchte ein neues Projekt 'Apollo' starten, Ziel ist die Mondlandung."*
|
||||||
|
2. **Generierung:** Mindnet erkennt den Wunsch (`INTERVIEW`), analysiert den Satz und erstellt **sofort** einen Entwurf.
|
||||||
|
3. **Editor:** Die UI wechselt von der Chat-Blase zu einem **Draft-Editor**.
|
||||||
|
* Du siehst das generierte Frontmatter (`type: project`, `status: draft`).
|
||||||
|
* Du siehst den Body-Text mit Platzhaltern (`[TODO]`), wo Infos fehlten (z.B. Stakeholder).
|
||||||
|
4. **Finalisierung:** Ergänze die fehlenden Infos direkt im Editor und klicke auf **Download** oder **Kopieren**.
|
||||||
|
5. **Speichern:** Speichere die Datei in deinen Obsidian Vault. Beim nächsten Import ist sie im System.
|
||||||
+4
-6
@@ -11,25 +11,23 @@ qdrant-client>=1.15.1
|
|||||||
pydantic>=2.11.7
|
pydantic>=2.11.7
|
||||||
numpy>=2.3.2
|
numpy>=2.3.2
|
||||||
|
|
||||||
# --- Markdown & Parsing (Hier fehlten Pakete!) ---
|
# --- Markdown & Parsing ---
|
||||||
python-frontmatter>=1.1.0
|
python-frontmatter>=1.1.0
|
||||||
# WICHTIG: Das fehlte und verursachte den Fehler
|
|
||||||
markdown-it-py>=3.0.0
|
markdown-it-py>=3.0.0
|
||||||
# WICHTIG: Für types.yaml und retriever.yaml
|
|
||||||
PyYAML>=6.0.2
|
PyYAML>=6.0.2
|
||||||
python-slugify>=8.0.4
|
python-slugify>=8.0.4
|
||||||
|
|
||||||
# --- KI & Embeddings ---
|
# --- KI & Embeddings ---
|
||||||
sentence-transformers>=5.1.0
|
sentence-transformers>=5.1.0
|
||||||
# Torch wird meist durch sentence-transformers geholt,
|
|
||||||
# aber wir listen es explizit für Stabilität
|
|
||||||
torch>=2.0.0
|
torch>=2.0.0
|
||||||
|
|
||||||
# --- Utilities ---
|
# --- Utilities ---
|
||||||
# WICHTIG: Damit .env Dateien gelesen werden
|
|
||||||
python-dotenv>=1.1.1
|
python-dotenv>=1.1.1
|
||||||
requests>=2.32.5
|
requests>=2.32.5
|
||||||
tqdm>=4.67.1
|
tqdm>=4.67.1
|
||||||
|
|
||||||
# --- Testing ---
|
# --- Testing ---
|
||||||
pytest>=8.4.2
|
pytest>=8.4.2
|
||||||
|
|
||||||
|
# --- Frontend (WP-10) ---
|
||||||
|
streamlit>=1.39.0
|
||||||
@@ -0,0 +1,40 @@
|
|||||||
|
import requests
|
||||||
|
import sys
|
||||||
|
|
||||||
|
API_URL = "http://localhost:8002/chat/"
|
||||||
|
|
||||||
|
def test_intent(message):
|
||||||
|
print(f"📡 Sende: '{message}' ...")
|
||||||
|
payload = {
|
||||||
|
"message": message,
|
||||||
|
"top_k": 0,
|
||||||
|
"explain": False
|
||||||
|
}
|
||||||
|
|
||||||
|
try:
|
||||||
|
# Timeout nach 30 Sekunden erzwingen
|
||||||
|
response = requests.post(API_URL, json=payload, timeout=30)
|
||||||
|
|
||||||
|
if response.status_code != 200:
|
||||||
|
print(f"❌ Server Error {response.status_code}: {response.text}")
|
||||||
|
return
|
||||||
|
|
||||||
|
data = response.json()
|
||||||
|
intent = data.get("intent")
|
||||||
|
source = data.get("intent_source")
|
||||||
|
answer = data.get("answer")
|
||||||
|
|
||||||
|
print(f"✅ Ergebnis erhalten:")
|
||||||
|
print(f" Intent: {intent} (Quelle: {source})")
|
||||||
|
print(f" Antwort: {answer[:100]}...") # Nur die ersten 100 Zeichen
|
||||||
|
print("-" * 40)
|
||||||
|
|
||||||
|
except requests.exceptions.Timeout:
|
||||||
|
print("❌ TIMEOUT: Das Backend antwortet nicht innerhalb von 30 Sekunden.")
|
||||||
|
print(" -> Prüfe das Terminal, wo uvicorn läuft. Gibt es dort Fehlermeldungen?")
|
||||||
|
except Exception as e:
|
||||||
|
print(f"❌ Fehler: {e}")
|
||||||
|
|
||||||
|
if __name__ == "__main__":
|
||||||
|
# Testfall: Muss INTERVIEW auslösen
|
||||||
|
test_intent("Ich möchte ein neues Projekt anlegen")
|
||||||
Reference in new issue
Block a user