Lars/mindnet
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases 21 Wiki Activity

scriptAudit #11

Merged
Lars merged 24 commits from scriptAudit into main 2025-12-16 18:55:45 +01:00
Conversation 0 Commits 24 Files Changed 69 +1840 -2493
Lars commented 2025-12-16 18:55:31 +01:00
Owner
Copy Link

WP-14 & WP-15: Consolidated Release & Cleanup (v2.7.0)

Dieses Merge führt die Arbeiten an der Systemstabilität (Async/Fixes), der neuen Chunking-Intelligenz und der massiven Code-Bereinigung zusammen.

Zusammenfassung der Änderungen:

  1. API / Core:

    • Umbau von /ingest/save auf FastAPI BackgroundTasks (Async).
    • Implementierung SemanticAnalyzer für Edge-Filterung.
    • Traffic Control via asyncio.Semaphore im LLMService.

  2. Ingestion Logic:

    • Multi-Hash: Implementierung von Body vs. Full Hash in note_payload.py.
    • Chunker: Rewrite von chunker.py auf Hybrid-Strategie (Strict Heading + Safety Net).
    • Config: Fix der Hierarchie (Frontmatter > Type > Default).

  3. Refactoring & Cleanup:

    • DELETION: Entfernung von "Dead Code" (Legacy mindnet_embed, alte Router v0.1, ungenutzte UI-Files wie ui_editor.py).
    • Structure: Durchsetzung der 4-Säulen-Architektur im Developer Guide.
    • Docs: Vollständiges Update aller Tech-Docs (03_*.md) auf v2.7.0 Stand sowie Generierung neuer Referenztabellen.

🔧 CONSOLIDATION REPORT (Conflict Resolution):

Die parallelen Entwicklungsstränge (Bugfix vs. Feature vs. Cleanup) wurden wie folgt gelöst:

  • app/core/ingestion.py:

    • Konflikt: WP-14 entfernte Argumente, WP-15 fügte Smart-Edge-Logik hinzu.
    • Lösung: Neue Signatur nutzt ENV-Vars für Hashes, ruft aber den neuen Chunker mit smart_edge-Flag auf.

  • config/types.yaml:

    • Konflikt: WP-14 verließ sich auf alte Profile, WP-15 führte neue ein.
    • Lösung: Datei wurde auf WP-15 Stand (v2.6.0+) gehoben, inkl. structured_smart_edges_strict.

  • app/frontend/ui.py:

    • Das UI reagiert nun auf den queued Status (WP-14), visualisiert aber keine Wartezeit mehr, da der Prozess im Hintergrund läuft. UI-Code für synchrone Warteschlangen wurde entfernt.

  • Legacy Removal:

    • Alle Dateien, die im AST-Scan used_by: [] aufwiesen und keine Entrypoints waren (z.B. app/routers/embed_router.py), wurden aus dem Git-Index entfernt.

Post-Merge Actions:

  1. pip install -r requirements.txt (Prüfen auf neue Async-Libs).
  2. CRITICAL: app/embed_server.py und andere "Zombie"-Dateien müssen lokal gelöscht werden.
  3. .env anpassen (MINDNET_LLM_BACKGROUND_LIMIT).
  4. FULL REBUILD erforderlich (import_markdown --force).
**WP-14 & WP-15: Consolidated Release & Cleanup (v2.7.0)** Dieses Merge führt die Arbeiten an der Systemstabilität (Async/Fixes), der neuen Chunking-Intelligenz und der massiven Code-Bereinigung zusammen. **Zusammenfassung der Änderungen:** --------------------------------- 1. **API / Core:** - Umbau von `/ingest/save` auf FastAPI BackgroundTasks (Async). - Implementierung `SemanticAnalyzer` für Edge-Filterung. - Traffic Control via `asyncio.Semaphore` im `LLMService`. 2. **Ingestion Logic:** - **Multi-Hash:** Implementierung von Body vs. Full Hash in `note_payload.py`. - **Chunker:** Rewrite von `chunker.py` auf Hybrid-Strategie (Strict Heading + Safety Net). - **Config:** Fix der Hierarchie (Frontmatter > Type > Default). 3. **Refactoring & Cleanup:** - **DELETION:** Entfernung von "Dead Code" (Legacy `mindnet_embed`, alte Router v0.1, ungenutzte UI-Files wie `ui_editor.py`). - **Structure:** Durchsetzung der 4-Säulen-Architektur im `Developer Guide`. - **Docs:** Vollständiges Update aller Tech-Docs (`03_*.md`) auf v2.7.0 Stand sowie Generierung neuer Referenztabellen. **🔧 CONSOLIDATION REPORT (Conflict Resolution):** --------------------------------- Die parallelen Entwicklungsstränge (Bugfix vs. Feature vs. Cleanup) wurden wie folgt gelöst: - **`app/core/ingestion.py`:** - Konflikt: WP-14 entfernte Argumente, WP-15 fügte Smart-Edge-Logik hinzu. - Lösung: Neue Signatur nutzt ENV-Vars für Hashes, ruft aber den neuen Chunker mit `smart_edge`-Flag auf. - **`config/types.yaml`:** - Konflikt: WP-14 verließ sich auf alte Profile, WP-15 führte neue ein. - Lösung: Datei wurde auf WP-15 Stand (v2.6.0+) gehoben, inkl. `structured_smart_edges_strict`. - **`app/frontend/ui.py`:** - Das UI reagiert nun auf den `queued` Status (WP-14), visualisiert aber keine Wartezeit mehr, da der Prozess im Hintergrund läuft. UI-Code für synchrone Warteschlangen wurde entfernt. - **Legacy Removal:** - Alle Dateien, die im AST-Scan `used_by: []` aufwiesen und keine Entrypoints waren (z.B. `app/routers/embed_router.py`), wurden aus dem Git-Index entfernt. **Post-Merge Actions:** --------------------------------- 1. `pip install -r requirements.txt` (Prüfen auf neue Async-Libs). 2. **CRITICAL:** `app/embed_server.py` und andere "Zombie"-Dateien müssen lokal gelöscht werden. 3. `.env` anpassen (`MINDNET_LLM_BACKGROUND_LIMIT`). 4. **FULL REBUILD** erforderlich (`import_markdown --force`).
Lars added 24 commits 2025-12-16 18:55:32 +01:00
Lars merged commit cdcaff184f into main 2025-12-16 18:55:45 +01:00
Lars deleted branch scriptAudit 2025-12-16 18:55:45 +01:00
Sign in to join this conversation.
Reviewers
No reviewers
Labels
Clear labels
No items
No Label
Milestone
Clear milestone
No items
No Milestone
Projects
Clear projects
No project
Assignees
Clear assignees
No Assignees
1 Participants
Notifications
Due Date
The due date is invalid or out of range. Please use the format 'yyyy-mm-dd'.

No due date set.

Dependencies

No dependencies set.

Reference: Lars/mindnet#11
No description provided.
Delete Branch "scriptAudit"

Deleting a branch is permanent. Although the deleted branch may continue to exist for a short time before it actually gets removed, it CANNOT be undone in most cases. Continue?