This commit is contained in:
1 parent
23b1cb2966
commit
e9532e8878
30 files changed
+1835
-542
No files matched your search
@@ -1,11 +1,69 @@
|
||||
#!/usr/bin/env python3
|
||||
# -*- coding: utf-8 -*-
|
||||
"""
|
||||
scripts/import_markdown.py
|
||||
CLI-Tool zum Importieren von Markdown-Dateien in Qdrant.
|
||||
WP-15b: Implementiert den Two-Pass Workflow (Pre-Scan + Processing).
|
||||
Sorgt dafür, dass der LocalBatchCache vor der Verarbeitung robust gefüllt wird.
|
||||
Indiziert Notizen nach ID, Titel und Dateiname für maximale Link-Kompatibilität.
|
||||
VERSION: 2.4.1
|
||||
FILE: scripts/import_markdown.py
|
||||
VERSION: 2.4.1 (2025-12-15)
|
||||
STATUS: Active (Core)
|
||||
COMPATIBILITY: v2.9.1 (Post-WP14/WP-15b)
|
||||
|
||||
Zweck:
|
||||
-------
|
||||
Hauptwerkzeug zum Importieren von Markdown-Dateien aus einem Vault in Qdrant.
|
||||
Implementiert den Two-Pass Workflow (WP-15b) für robuste Edge-Validierung.
|
||||
|
||||
Funktionsweise:
|
||||
---------------
|
||||
1. PASS 1: Global Pre-Scan
|
||||
- Scannt alle Markdown-Dateien im Vault
|
||||
- Extrahiert Note-Kontext (ID, Titel, Dateiname)
|
||||
- Füllt LocalBatchCache für semantische Edge-Validierung
|
||||
- Indiziert nach ID, Titel und Dateiname für Link-Auflösung
|
||||
|
||||
2. PASS 2: Semantic Processing
|
||||
- Verarbeitet Dateien in Batches (20 Dateien, max. 5 parallel)
|
||||
- Nutzt gefüllten Cache für binäre Edge-Validierung
|
||||
- Erzeugt Notes, Chunks und Edges in Qdrant
|
||||
- Respektiert Hash-basierte Change Detection
|
||||
|
||||
Ergebnis-Interpretation:
|
||||
------------------------
|
||||
- Log-Ausgabe: Fortschritt und Statistiken
|
||||
- Stats: processed, skipped, errors
|
||||
- Exit-Code 0: Erfolgreich (auch wenn einzelne Dateien Fehler haben)
|
||||
- Ohne --apply: Dry-Run (keine DB-Änderungen)
|
||||
|
||||
Verwendung:
|
||||
-----------
|
||||
- Regelmäßiger Import nach Vault-Änderungen
|
||||
- Initial-Import eines neuen Vaults
|
||||
- Re-Indexierung mit --force
|
||||
|
||||
Hinweise:
|
||||
---------
|
||||
- Two-Pass Workflow sorgt für robuste Edge-Validierung
|
||||
- Change Detection verhindert unnötige Re-Indexierung
|
||||
- Parallele Verarbeitung für Performance (max. 5 gleichzeitig)
|
||||
- Cloud-Resilienz durch Semaphore-Limits
|
||||
|
||||
Aufruf:
|
||||
-------
|
||||
python3 -m scripts.import_markdown --vault ./vault --apply
|
||||
python3 -m scripts.import_markdown --vault ./vault --prefix mindnet_dev --force --apply
|
||||
|
||||
Parameter:
|
||||
----------
|
||||
--vault PATH Pfad zum Vault-Verzeichnis (Default: ./vault)
|
||||
--prefix TEXT Collection-Präfix (Default: ENV COLLECTION_PREFIX oder mindnet)
|
||||
--force Erzwingt Re-Indexierung aller Dateien (ignoriert Hashes)
|
||||
--apply Führt tatsächliche DB-Schreibvorgänge durch (sonst Dry-Run)
|
||||
|
||||
Änderungen:
|
||||
-----------
|
||||
v2.4.1 (2025-12-15): WP-15b Two-Pass Workflow
|
||||
- Implementiert Pre-Scan für LocalBatchCache
|
||||
- Indizierung nach ID, Titel und Dateiname
|
||||
- Batch-Verarbeitung mit Semaphore-Limits
|
||||
v2.0.0: Initial Release
|
||||
"""
|
||||
import asyncio
|
||||
import os
|
||||
|
||||
Reference in new issue
Block a user