Lars/mindnet
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases 21 Wiki Activity
896 Commits 3 Branches 37 Tags 7.6 MiB
97c3461685
Commit Graph

896 Commits

This Branch
This Branch
All Branches
Author SHA1 Message Date
Lars
df971f9c56 neuer start semantic chunker 2025-12-12 11:40:38 +01:00
Lars
ecc2b60427 integration prompts.yaml 2025-12-12 10:39:40 +01:00
Lars
2826cbadbc bug raten 2025-12-12 10:32:01 +01:00
Lars
a2856bfe87 bug fix 2025-12-12 10:30:38 +01:00
Lars
69617802c3 bug fixing chunker 2025-12-12 10:27:57 +01:00
Lars
135c02bc9a bug fixing 2025-12-12 10:25:01 +01:00
Lars
cd28a9d35c neue chunker strategie mit smart chunking 2025-12-12 10:10:05 +01:00
Lars
49cdc9a13f modified: app/services/semantic_analyzer.py 2025-12-12 09:44:01 +01:00
Lars
3629bc3fb9 modified: app/services/semantic_analyzer.py 2025-12-12 09:42:57 +01:00
Lars
37c0f526ec modified: app/services/semantic_analyzer.py 2025-12-12 09:41:06 +01:00
Lars
bf40169662 WP15 2025-12-12 09:35:21 +01:00
Lars
9fbf0b7c91 modified: app/services/semantic_analyzer.py 2025-12-12 09:22:00 +01:00
Lars
652d22e8e8 modified: tests/test_smart_chunking_integration.py 2025-12-12 09:18:36 +01:00
Lars
94dbaafc72 modified: tests/test_smart_chunking_integration.py 2025-12-12 09:16:25 +01:00
Lars
69ad7bc823 testscript 2025-12-12 09:14:18 +01:00
Lars
d59bd1885d WP15 testscript 2025-12-12 09:11:01 +01:00
Lars
f6d8751f23 WP15-Chunker und Test 2025-12-12 09:07:33 +01:00
Lars
9a38daafc0 WP15 - Chunker 2025-12-12 09:02:32 +01:00
Lars
e5bc77b93e neues testscript für smart chunker 2025-12-12 08:59:08 +01:00
Lars
2bcf1930fe WP15 Chunker 2025-12-12 08:57:25 +01:00
Lars
2d58220a3c chunker angepasst 2025-12-12 08:53:30 +01:00
Lars
8436f4192d neuer chunker und smart test 2025-12-12 08:47:12 +01:00
Lars
13ab2b7d68 chunker mit LLM initial 2025-12-11 23:21:24 +01:00
Lars
714763f92f pfad auf types.yaml angepasst 2025-12-11 22:48:31 +01:00
Lars
a1cd0741c9 smarter chunker initial 2025-12-11 22:39:35 +01:00
Lars
c741cc7d1b vault
All checks were successful
Deploy mindnet to llm-node / deploy (push) Successful in 3s
Details
2025-12-11 22:29:03 +01:00
Lars
e8b8c9a350 types.yaml angepasst
All checks were successful
Deploy mindnet to llm-node / deploy (push) Successful in 4s
Details
2025-12-11 22:02:44 +01:00
Lars
f016a16c68 Merge pull request 'WP11' (#8) from WP11 into main
All checks were successful
Deploy mindnet to llm-node / deploy (push) Successful in 3s
Details 
Reviewed-on: #8
# Merge Request: WP-11 Backend Intelligence & Async Core (v2.4.0)

**Branch:** `feature/wp11-backend-intelligence` → `main`
**Reviewer:** @Mindmaster
**Status:** ✅ Ready to Merge

## 🎯 Zielsetzung
Dieses Update implementiert die "Active Intelligence" Architektur. Das System wechselt von einer reaktiven Suche zu einem proaktiven Assistenten, der während des Schreibens im Editor semantische Verknüpfungen vorschlägt. Zudem wurde der gesamte Core auf `asyncio` umgestellt, um Timeouts bei der Generierung zu verhindern.

## 🛠 Technische Änderungen

### 1. Async & Performance
* **Ingestion:** `scripts/import_markdown.py` und `app/core/ingestion.py` laufen nun asynchron.
* **Embeddings:** Neuer `EmbeddingsClient` nutzt `httpx` statt `requests` (Non-blocking).
* **Semaphore:** Import nutzt max. 5 parallele Tasks, um Ollama-Überlastung zu verhindern.

### 2. Quality Upgrade (Nomic)
* **Modell:** Wechsel von `sentence-transformers` (384 dim) auf `nomic-embed-text` (768 dim).
* **Effekt:** Massiv verbesserte semantische Trefferquote (siehe "Italien-Test").

### 3. Intelligence Features
* **Active Intelligence:** Neuer Endpoint `/ingest/analyze` analysiert Drafts mittels "Sliding Window".
* **Exact Match:** Erkennt Aliases (z.B. "KI-Gedächtnis") zuverlässig.
* **Matrix Logic:** `DiscoveryService` wählt Kanten-Typen kontextsensitiv (z.B. `experience` + `value` -> `based_on`).

### 4. Frontend Integration
* **UI:** Neuer Tab "🧠 Intelligence" im manuellen Editor.
* **State:** "Resurrection Pattern" verhindert Datenverlust beim Tab-Wechsel.

## ⚠️ Breaking Changes (WICHTIG für Deployment)

Dieses Release ist **nicht abwärtskompatibel** zur Datenbank von v2.3!

1.  **Vektor-Dimension:** Geändert von 384 auf 768.
2.  **Ollama:** Modell `nomic-embed-text` ist PFLICHT.
3.  **Config:** `.env` benötigt `VECTOR_DIM=768` und `MINDNET_EMBEDDING_MODEL`.

## 🧪 Test-Protokoll

| Test | Befehl | Status |
| :--- | :--- | :--- |
| **Alias Lookup** | `python debug_analysis.py` | ✅ Pass |
| **Async Import** | `python -m scripts.import_markdown ...` | ✅ Pass |
| **API Intelligence** | `curl ... /ingest/analyze` | ✅ Pass |
| **UI Interaction** | Editor öffnen -> Analyse -> Link einfügen | ✅ Pass |

## 🔄 Deployment Schritte

Nach dem Merge auf dem Server ausführen:
1. `git pull`
2. `pip install -r requirements.txt`
3. `ollama pull nomic-embed-text`
4. **DB Reset:** `python -m scripts.reset_qdrant --mode wipe --prefix mindnet --yes`
5. **Re-Import:** `python -m scripts.import_markdown --vault ./vault --prefix mindnet --apply --force`
6. `sudo systemctl restart mindnet-prod mindnet-ui-prod`
 2025-12-11 17:00:37 +01:00
Lars
5bf91d51da Dokumentation WP11 2025-12-11 16:58:23 +01:00
Lars
00aecf692d UI Texteditor merkt sich den Inhalt bei Umschalten 2025-12-11 15:12:30 +01:00
Lars
b815f6235f mehrdimensionale matrix für Kanten 2025-12-11 14:59:59 +01:00
Lars
a1a58727fd discovery opt - deduplicate, last 300 Zeichen 2025-12-11 14:46:56 +01:00
Lars
b1cf89982b anpassung an 786 vector 2025-12-11 14:28:46 +01:00
Lars
5fa02aed2d bug fix 2025-12-11 14:20:00 +01:00
Lars
1fde4ed72a reset qdrant überarbeitet mit .env parametern 2025-12-11 13:57:19 +01:00
Lars
52210a91fd update aus WP11 2025-12-11 13:50:40 +01:00
Lars
9d792e11ce ui change 2025-12-11 13:26:14 +01:00
Lars
2677ad7269 bug fix ui 2025-12-11 13:15:43 +01:00
Lars
98c395b5de Ui bug fix 2025-12-11 13:05:05 +01:00
Lars
b4ebbe5c28 WP10 ui mit text buffer 2025-12-11 12:56:16 +01:00
Lars
88e2cbf254 WP10, neue UI mit echtem manuellem Editor/Import 2025-12-11 12:40:39 +01:00
Lars
b153571933 hard mode ingestion 2025-12-11 12:23:06 +01:00
Lars
aba6f0c38b render draft_editor in ui.py 2025-12-11 12:11:55 +01:00
Lars
f4299db347 WP10 Überarbeitung 2025-12-11 12:04:08 +01:00
Lars
06f77fe8b7 debug mode im router 2025-12-11 11:35:27 +01:00
Lars
54e38d58c3 UI um debug Modus 2025-12-11 11:28:16 +01:00
Lars
fd47a954bd bug fix 2025-12-11 11:11:01 +01:00
Lars
5aae33f578 bug fixing 2025-12-11 10:46:37 +01:00
Lars
4ed04039e5 async 2025-12-11 10:32:56 +01:00
Lars
e7cec6acc6 new ingestion, asyn writing, robust 2025-12-11 10:23:23 +01:00