WP11 #8

Lars · 2025-12-11T17:00:23+01:00

Lars commented

2025-12-11 17:00:23 +01:00

Merge Request: WP-11 Backend Intelligence & Async Core (v2.4.0)

Branch: feature/wp11-backend-intelligence → main
Reviewer: @Mindmaster
Status: ✅ Ready to Merge

🎯 Zielsetzung

Dieses Update implementiert die "Active Intelligence" Architektur. Das System wechselt von einer reaktiven Suche zu einem proaktiven Assistenten, der während des Schreibens im Editor semantische Verknüpfungen vorschlägt. Zudem wurde der gesamte Core auf asyncio umgestellt, um Timeouts bei der Generierung zu verhindern.

🛠 Technische Änderungen

1. Async & Performance

Ingestion: scripts/import_markdown.py und app/core/ingestion.py laufen nun asynchron.
Embeddings: Neuer EmbeddingsClient nutzt httpx statt requests (Non-blocking).
Semaphore: Import nutzt max. 5 parallele Tasks, um Ollama-Überlastung zu verhindern.

2. Quality Upgrade (Nomic)

Modell: Wechsel von sentence-transformers (384 dim) auf nomic-embed-text (768 dim).
Effekt: Massiv verbesserte semantische Trefferquote (siehe "Italien-Test").

3. Intelligence Features

Active Intelligence: Neuer Endpoint /ingest/analyze analysiert Drafts mittels "Sliding Window".
Exact Match: Erkennt Aliases (z.B. "KI-Gedächtnis") zuverlässig.
Matrix Logic: DiscoveryService wählt Kanten-Typen kontextsensitiv (z.B. experience + value -> based_on).

4. Frontend Integration

UI: Neuer Tab "🧠 Intelligence" im manuellen Editor.
State: "Resurrection Pattern" verhindert Datenverlust beim Tab-Wechsel.

⚠️ Breaking Changes (WICHTIG für Deployment)

Dieses Release ist nicht abwärtskompatibel zur Datenbank von v2.3!

Vektor-Dimension: Geändert von 384 auf 768.
Ollama: Modell nomic-embed-text ist PFLICHT.
Config: .env benötigt VECTOR_DIM=768 und MINDNET_EMBEDDING_MODEL.

🧪 Test-Protokoll

Test	Befehl	Status
Alias Lookup	`python debug_analysis.py`	✅ Pass
Async Import	`python -m scripts.import_markdown ...`	✅ Pass
API Intelligence	`curl ... /ingest/analyze`	✅ Pass
UI Interaction	Editor öffnen -> Analyse -> Link einfügen	✅ Pass

🔄 Deployment Schritte

Nach dem Merge auf dem Server ausführen:

git pull
pip install -r requirements.txt
ollama pull nomic-embed-text
DB Reset: python -m scripts.reset_qdrant --mode wipe --prefix mindnet --yes
Re-Import: python -m scripts.import_markdown --vault ./vault --prefix mindnet --apply --force
sudo systemctl restart mindnet-prod mindnet-ui-prod

# Merge Request: WP-11 Backend Intelligence & Async Core (v2.4.0) **Branch:** `feature/wp11-backend-intelligence` → `main` **Reviewer:** @Mindmaster **Status:** ✅ Ready to Merge ## 🎯 Zielsetzung Dieses Update implementiert die "Active Intelligence" Architektur. Das System wechselt von einer reaktiven Suche zu einem proaktiven Assistenten, der während des Schreibens im Editor semantische Verknüpfungen vorschlägt. Zudem wurde der gesamte Core auf `asyncio` umgestellt, um Timeouts bei der Generierung zu verhindern. ## 🛠 Technische Änderungen ### 1. Async & Performance * **Ingestion:** `scripts/import_markdown.py` und `app/core/ingestion.py` laufen nun asynchron. * **Embeddings:** Neuer `EmbeddingsClient` nutzt `httpx` statt `requests` (Non-blocking). * **Semaphore:** Import nutzt max. 5 parallele Tasks, um Ollama-Überlastung zu verhindern. ### 2. Quality Upgrade (Nomic) * **Modell:** Wechsel von `sentence-transformers` (384 dim) auf `nomic-embed-text` (768 dim). * **Effekt:** Massiv verbesserte semantische Trefferquote (siehe "Italien-Test"). ### 3. Intelligence Features * **Active Intelligence:** Neuer Endpoint `/ingest/analyze` analysiert Drafts mittels "Sliding Window". * **Exact Match:** Erkennt Aliases (z.B. "KI-Gedächtnis") zuverlässig. * **Matrix Logic:** `DiscoveryService` wählt Kanten-Typen kontextsensitiv (z.B. `experience` + `value` -> `based_on`). ### 4. Frontend Integration * **UI:** Neuer Tab "🧠 Intelligence" im manuellen Editor. * **State:** "Resurrection Pattern" verhindert Datenverlust beim Tab-Wechsel. ## ⚠️ Breaking Changes (WICHTIG für Deployment) Dieses Release ist **nicht abwärtskompatibel** zur Datenbank von v2.3! 1. **Vektor-Dimension:** Geändert von 384 auf 768. 2. **Ollama:** Modell `nomic-embed-text` ist PFLICHT. 3. **Config:** `.env` benötigt `VECTOR_DIM=768` und `MINDNET_EMBEDDING_MODEL`. ## 🧪 Test-Protokoll | Test | Befehl | Status | | :--- | :--- | :--- | | **Alias Lookup** | `python debug_analysis.py` | ✅ Pass | | **Async Import** | `python -m scripts.import_markdown ...` | ✅ Pass | | **API Intelligence** | `curl ... /ingest/analyze` | ✅ Pass | | **UI Interaction** | Editor öffnen -> Analyse -> Link einfügen | ✅ Pass | ## 🔄 Deployment Schritte Nach dem Merge auf dem Server ausführen: 1. `git pull` 2. `pip install -r requirements.txt` 3. `ollama pull nomic-embed-text` 4. **DB Reset:** `python -m scripts.reset_qdrant --mode wipe --prefix mindnet --yes` 5. **Re-Import:** `python -m scripts.import_markdown --vault ./vault --prefix mindnet --apply --force` 6. `sudo systemctl restart mindnet-prod mindnet-ui-prod`

Lars added 30 commits 2025-12-11 17:00:24 +01:00

neuer Importer mit eigenem Service 865b261294

erster Stand 0170d9291f

Ergänzung und Korrektur 565d34fb7b

import auf .env 408c4ace93

neuer discovery mode 765fad6a8d

payload angepasst 8639791914

angepasste UI d2ee48555a

bugfix a7cda3f51c

new ingestion, asyn writing, robust e7cec6acc6

async 4ed04039e5

bug fixing 5aae33f578