WP25a #20

Merged

Lars merged 7 commits from WP25a into main 2026-01-02 13:55:09 +01:00

Conversation 0 Commits 7 Files Changed 20 +1160 -347

Lars commented 2026-01-02 13:55:00 +01:00

Owner

Copy Link

Branch Merge Commit: WP-25a

Branch: WP25a
Target: main
Version: v3.1.0
Date: 2026-01-02

---

Commit Message

feat: Mixture of Experts (MoE) & Fallback-Kaskade (v3.0.0)

### Mixture of Experts (MoE) Architektur
- Übergang von provider-basierter zu profilbasierter Experten-Steuerung
- Zentrale Experten-Registry (`llm_profiles.yaml` v1.3.0)
- Aufgabenspezifische Profile: synthesis_pro, tech_expert, compression_fast, ingest_validator, identity_safe, embedding_expert
- Hardware-Optimierung: Lokaler Anker (Ollama/Phi-3) für maximale Privacy

### Rekursive Fallback-Kaskade
- Implementierung in `app/services/llm_service.py` (v3.5.2)
- Automatische Fallback-Logik bei Provider-Fehlern
- Schutz gegen Zirkel-Referenzen via `visited_profiles`-Tracking
- Background-Semaphore für parallele Tasks

### Pre-Synthesis Kompression (Module A)
- Asynchrone Verdichtung überlanger Wissens-Streams
- Konfigurierbare Schwellenwerte pro Stream (`compression_threshold`)
- Profil-gesteuerte Kompression via `compression_profile`
- Parallelisierung über `asyncio.gather()`

### Profilgesteuerte Ingestion
- Semantische Kanten-Validierung via `ingest_validator` (Temperature 0.0)
- Embedding-Konsolidierung über `embedding_expert` Profil
- Entfernung der Embedding-Konfiguration aus `.env`

### Startup-Schutz & Audit-Fixes
- Validierung von `llm_profiles.yaml` und `decision_engine.yaml` beim Booten
- Behebung der Sicherheitslücke in `DecisionEngine` (Fallback-Aufrufe nutzen nun `profile_name`)
- Circular Import Fix: Ingestion-Module nutzen neutrale `app.core.registry`

### Code-Komponenten
- `app/services/llm_service.py`: v3.5.2 (Rekursive Fallback-Kaskade)
- `app/core/retrieval/decision_engine.py`: v1.2.1 (Profile-Driven Orchestration)
- `app/core/ingestion/ingestion_processor.py`: v2.14.0 (Profilgesteuerte Validierung)
- `app/core/ingestion/ingestion_validation.py`: v2.13.0 (MoE-Profil Integration)
- `app/services/embeddings_client.py`: v2.6.0 (Profil-basierte Modell-Auflösung)
- `app/main.py`: v1.1.0 (Startup-Validierung)

### Konfiguration
- `config/llm_profiles.yaml`: v1.3.0 (Zentrale Experten-Registry)
- `config/decision_engine.yaml`: v3.2.2 (Decoupled MoE Logic, compression_thresholds)

### Dokumentation
- `03_tech_configuration.md`: llm_profiles.yaml Dokumentation
- `03_tech_chat_backend.md`: MoE Architektur und Fallback-Kaskade
- `02_concept_ai_personality.md`: Mixture of Experts Konzept
- `03_tech_ingestion_pipeline.md`: Profilgesteuerte Validierung
- `00_glossary.md`: Neue Begriffe (MoE, Profile, Fallback-Kaskade)
- `05_developer_guide.md`: Teach-the-AI mit Profilen
- `04_admin_operations.md`: Konfigurations-Updates
- `06_active_roadmap.md`: WP25a als abgeschlossen markiert

### Breaking Changes
- Keine Breaking Changes für Endbenutzer
- ENV-Variablen `MINDNET_LLM_PROVIDER`, `MINDNET_LLM_MODEL` etc. dienen nur noch als Fallback
- Neue Konfigurationsdatei `llm_profiles.yaml` ist erforderlich (Startup-Validierung)

### Migration
- Administratoren müssen `config/llm_profiles.yaml` erstellen
- System startet nicht, wenn `llm_profiles.yaml` fehlt oder ungültig ist
- ENV-Variablen bleiben als Fallback erhalten

---

**Status:** ✅ WP-25a ist zu 100% implementiert und audit-geprüft.  
**Nächster Schritt:** WP-25b (Prompt-Orchestration & Model-Specific Tuning).

---

Zusammenfassung

Dieser Merge führt die Mixture of Experts (MoE) Architektur in MindNet ein. Das System nutzt nun eine profilbasierte Experten-Steuerung statt einer globalen Provider-Konfiguration. Jede Systemaufgabe wird einem dedizierten Profil zugewiesen, das Modell, Provider und Parameter unabhängig definiert.

Kern-Features:

• Zentrale Experten-Registry (llm_profiles.yaml)
• Rekursive Fallback-Kaskade mit Schutz gegen Zirkel-Referenzen
• Pre-Synthesis Kompression für überlange Wissens-Streams
• Profilgesteuerte Ingestion mit deterministischer Validierung
• Startup-Schutz und Audit-Fixes

Technische Integrität:

• Alle LLM-Aufrufe nutzen nun die Profilsteuerung
• Startup-Validierung verhindert fehlerhafte Konfigurationen
• Circular Import Fix verbessert Wartbarkeit

Dokumentation:

• Vollständige Aktualisierung aller relevanten Dokumente
• Neue Begriffe im Glossar
• Konfigurations-Referenz erweitert
• Developer Guide aktualisiert

# Branch Merge Commit: WP-25a **Branch:** `WP25a` **Target:** `main` **Version:** v3.1.0 **Date:** 2026-01-02 --- ## Commit Message ``` feat: Mixture of Experts (MoE) & Fallback-Kaskade (v3.0.0) ### Mixture of Experts (MoE) Architektur - Übergang von provider-basierter zu profilbasierter Experten-Steuerung - Zentrale Experten-Registry (`llm_profiles.yaml` v1.3.0) - Aufgabenspezifische Profile: synthesis_pro, tech_expert, compression_fast, ingest_validator, identity_safe, embedding_expert - Hardware-Optimierung: Lokaler Anker (Ollama/Phi-3) für maximale Privacy ### Rekursive Fallback-Kaskade - Implementierung in `app/services/llm_service.py` (v3.5.2) - Automatische Fallback-Logik bei Provider-Fehlern - Schutz gegen Zirkel-Referenzen via `visited_profiles`-Tracking - Background-Semaphore für parallele Tasks ### Pre-Synthesis Kompression (Module A) - Asynchrone Verdichtung überlanger Wissens-Streams - Konfigurierbare Schwellenwerte pro Stream (`compression_threshold`) - Profil-gesteuerte Kompression via `compression_profile` - Parallelisierung über `asyncio.gather()` ### Profilgesteuerte Ingestion - Semantische Kanten-Validierung via `ingest_validator` (Temperature 0.0) - Embedding-Konsolidierung über `embedding_expert` Profil - Entfernung der Embedding-Konfiguration aus `.env` ### Startup-Schutz & Audit-Fixes - Validierung von `llm_profiles.yaml` und `decision_engine.yaml` beim Booten - Behebung der Sicherheitslücke in `DecisionEngine` (Fallback-Aufrufe nutzen nun `profile_name`) - Circular Import Fix: Ingestion-Module nutzen neutrale `app.core.registry` ### Code-Komponenten - `app/services/llm_service.py`: v3.5.2 (Rekursive Fallback-Kaskade) - `app/core/retrieval/decision_engine.py`: v1.2.1 (Profile-Driven Orchestration) - `app/core/ingestion/ingestion_processor.py`: v2.14.0 (Profilgesteuerte Validierung) - `app/core/ingestion/ingestion_validation.py`: v2.13.0 (MoE-Profil Integration) - `app/services/embeddings_client.py`: v2.6.0 (Profil-basierte Modell-Auflösung) - `app/main.py`: v1.1.0 (Startup-Validierung) ### Konfiguration - `config/llm_profiles.yaml`: v1.3.0 (Zentrale Experten-Registry) - `config/decision_engine.yaml`: v3.2.2 (Decoupled MoE Logic, compression_thresholds) ### Dokumentation - `03_tech_configuration.md`: llm_profiles.yaml Dokumentation - `03_tech_chat_backend.md`: MoE Architektur und Fallback-Kaskade - `02_concept_ai_personality.md`: Mixture of Experts Konzept - `03_tech_ingestion_pipeline.md`: Profilgesteuerte Validierung - `00_glossary.md`: Neue Begriffe (MoE, Profile, Fallback-Kaskade) - `05_developer_guide.md`: Teach-the-AI mit Profilen - `04_admin_operations.md`: Konfigurations-Updates - `06_active_roadmap.md`: WP25a als abgeschlossen markiert ### Breaking Changes - Keine Breaking Changes für Endbenutzer - ENV-Variablen `MINDNET_LLM_PROVIDER`, `MINDNET_LLM_MODEL` etc. dienen nur noch als Fallback - Neue Konfigurationsdatei `llm_profiles.yaml` ist erforderlich (Startup-Validierung) ### Migration - Administratoren müssen `config/llm_profiles.yaml` erstellen - System startet nicht, wenn `llm_profiles.yaml` fehlt oder ungültig ist - ENV-Variablen bleiben als Fallback erhalten --- **Status:** ✅ WP-25a ist zu 100% implementiert und audit-geprüft. **Nächster Schritt:** WP-25b (Prompt-Orchestration & Model-Specific Tuning). ``` --- ## Zusammenfassung Dieser Merge führt die **Mixture of Experts (MoE) Architektur** in MindNet ein. Das System nutzt nun eine profilbasierte Experten-Steuerung statt einer globalen Provider-Konfiguration. Jede Systemaufgabe wird einem dedizierten Profil zugewiesen, das Modell, Provider und Parameter unabhängig definiert. **Kern-Features:** - Zentrale Experten-Registry (`llm_profiles.yaml`) - Rekursive Fallback-Kaskade mit Schutz gegen Zirkel-Referenzen - Pre-Synthesis Kompression für überlange Wissens-Streams - Profilgesteuerte Ingestion mit deterministischer Validierung - Startup-Schutz und Audit-Fixes **Technische Integrität:** - Alle LLM-Aufrufe nutzen nun die Profilsteuerung - Startup-Validierung verhindert fehlerhafte Konfigurationen - Circular Import Fix verbessert Wartbarkeit **Dokumentation:** - Vollständige Aktualisierung aller relevanten Dokumente - Neue Begriffe im Glossar - Konfigurations-Referenz erweitert - Developer Guide aktualisiert

Lars added 7 commits 2026-01-02 13:55:00 +01:00

Update Decision Engine and related components for WP-25a: Bump version to 1.2.0, enhance multi-stream retrieval with pre-synthesis compression, and integrate Mixture of Experts (MoE) profile support. Refactor chat interface to utilize new compression logic and llm_profiles for improved synthesis. Maintain compatibility with existing methods and ensure robust error handling across services. d0eae8e43c

Enhance logging in LLMService: Update log messages for MoE dispatch and default provider usage, and add detailed logging before OpenRouter calls for improved traceability and debugging. f62983b08f

Update LLM profiles in llm_profiles.yaml: Change model for 'compression_fast' and 'synthesis_pro' profiles to 'mistralai/mistral-7b-instruct:free' and adjust provider for 'synthesis_pro' to 'openrouter' for improved performance. de05784428

Enhance Decision Engine configuration: Add 'router_profile' setting to decision_engine.yaml and update the DecisionEngine class to utilize this profile when generating responses, improving flexibility in strategy determination. 9a98093e70

Update FastAPI application and related services for WP-25a: Enhance lifespan management with Mixture of Experts (MoE) integrity checks, improve logging and error handling in LLMService, and integrate profile-driven orchestration across components. Bump versions for main application, ingestion services, and LLM profiles to reflect new features and optimizations. 9b906bbabf

Update documentation and technical references for Mindnet v3.0.0: Revise glossary, AI personality concepts, chat backend, configuration, ingestion pipeline, and admin operations to reflect the integration of Mixture of Experts (MoE) architecture and associated features. Enhance clarity on profile-driven orchestration, fallback mechanisms, and pre-synthesis compression across components. ac26cc4940

Update LLM profiles in llm_profiles.yaml: Change models for 'synthesis_pro', 'synthesis_backup', and 'tech_expert' profiles to enhance performance and capabilities, reflecting the latest advancements in AI model offerings. 5541ceb13d

Lars merged commit d41da670fc into main 2026-01-02 13:55:09 +01:00

Lars deleted branch WP25a 2026-01-02 13:55:09 +01:00

Lars referenced this issue from a commit 2026-01-02 13:55:09 +01:00

Merge pull request 'WP25a' (#20) from WP25a into main

Sign in to join this conversation.

Reviewers

No reviewers

Labels

Clear labels

No items

No Label

Milestone

Clear milestone

No items

No Milestone

Projects

Clear projects

No project

Assignees

Clear assignees

No Assignees

1 Participants

Notifications

Subscribe

Due Date

The due date is invalid or out of range. Please use the format 'yyyy-mm-dd'.

No due date set.

Dependencies

No dependencies set.

Reference: Lars/mindnet#20

No description provided.