This commit is contained in:
1 parent
23b1cb2966
commit
e9532e8878
30 files changed
+1835
-542
No files matched your search
@@ -1,38 +1,61 @@
|
||||
#!/usr/bin/env python3
|
||||
# -*- coding: utf-8 -*-
|
||||
"""
|
||||
Name: scripts/audit_vault_vs_qdrant.py
|
||||
Version: v1.0.0 (2025-09-05)
|
||||
Kurzbeschreibung:
|
||||
Prüft die Konsistenz zwischen Obsidian-Vault und Qdrant:
|
||||
- Zählt Markdown-Dateien mit gültiger Frontmatter (title, id, type, status, created).
|
||||
- Zählt Wikilink-Vorkommen im Vault (regex wie in derive_edges.py).
|
||||
- Liest Zählungen aus Qdrant (Notes/Chunks/Edges je kind).
|
||||
- Vergleicht erwartete Wikilink-Anzahl (Vault) vs. tatsächlich importierte Edges (Qdrant).
|
||||
- Listet Auffälligkeiten pro Note (z. B. Wikilinks im Vault, aber keine references in Qdrant).
|
||||
FILE: scripts/audit_vault_vs_qdrant.py
|
||||
VERSION: 2.1.0 (2025-12-15)
|
||||
STATUS: Active
|
||||
COMPATIBILITY: v2.9.1 (Post-WP14/WP-15b)
|
||||
|
||||
Aufruf (aus Projekt-Root, im venv):
|
||||
python3 -m scripts.audit_vault_vs_qdrant --vault ./vault --prefix mindnet
|
||||
Zweck:
|
||||
-------
|
||||
Prüft Konsistenz zwischen Vault und Qdrant.
|
||||
Vergleicht erwartete vs. tatsächliche Edge-Anzahlen.
|
||||
|
||||
Parameter:
|
||||
--vault Pfad zum Vault (z. B. ./vault)
|
||||
--prefix Collection-Prefix in Qdrant (Default: mindnet)
|
||||
--limit Max. Punkte pro Scroll-Seite aus Qdrant (Default: 1000)
|
||||
Funktionsweise:
|
||||
---------------
|
||||
1. Scannt Vault:
|
||||
- Zählt Markdown-Dateien mit gültiger Frontmatter
|
||||
- Zählt Wikilink-Vorkommen (regex wie in derive_edges.py)
|
||||
2. Liest Qdrant:
|
||||
- Zählt Notes/Chunks/Edges
|
||||
- Gruppiert Edges nach kind
|
||||
3. Vergleicht:
|
||||
- Erwartete Wikilink-Anzahl (Vault) vs. references (Qdrant)
|
||||
- Listet Auffälligkeiten pro Note
|
||||
|
||||
Voraussetzungen:
|
||||
- Aktives Python venv mit installiertem qdrant-client.
|
||||
- Zugriff auf Qdrant per ENV (QDRANT_URL, QDRANT_API_KEY optional).
|
||||
Ergebnis-Interpretation:
|
||||
------------------------
|
||||
- Ausgabe: JSON mit Vergleichs-Ergebnissen
|
||||
* vault_stats: Zählungen aus Vault
|
||||
* qdrant_stats: Zählungen aus Qdrant
|
||||
* discrepancies: Abweichungen und Auffälligkeiten
|
||||
- Exit-Code 0: Erfolgreich
|
||||
|
||||
Verwendung:
|
||||
-----------
|
||||
- Konsistenz-Check nach Importen
|
||||
- Validierung der Edge-Erzeugung
|
||||
- Debugging von fehlenden Links
|
||||
|
||||
Hinweise:
|
||||
- Der Wikilink-Regex entspricht dem in app/core/derive_edges.py verwendeten Muster. (Quelle: derive_edges.py) # :contentReference[oaicite:3]{index=3}
|
||||
- Pflicht-Frontmatter wird wie in app/core/parser.py geprüft. (Quelle: parser.py) # :contentReference[oaicite:4]{index=4}
|
||||
- Collection-Namen & 1D-Edge-Vektoren folgen app/core/qdrant.py / qdrant_points.py. (Quellen: qdrant.py, qdrant_points.py) #
|
||||
---------
|
||||
- Wikilink-Regex entspricht derive_edges.py
|
||||
- Prüft strukturelle, nicht semantische Korrektheit
|
||||
|
||||
Changelog:
|
||||
v1.0.0: Erste Version.
|
||||
Aufruf:
|
||||
-------
|
||||
python3 -m scripts.audit_vault_vs_qdrant --vault ./vault --prefix mindnet
|
||||
|
||||
Autor:
|
||||
mindnet – Datenimporte & Sync
|
||||
Parameter:
|
||||
----------
|
||||
--vault PATH Pfad zum Vault-Verzeichnis (erforderlich)
|
||||
--prefix TEXT Collection-Präfix (Default: mindnet)
|
||||
--limit INT Max. Punkte pro Scroll-Seite (Default: 1000)
|
||||
|
||||
Änderungen:
|
||||
-----------
|
||||
v2.1.0 (2025-12-15): Dokumentation aktualisiert
|
||||
v1.0.0 (2025-09-05): Initial Release
|
||||
"""
|
||||
from __future__ import annotations
|
||||
import argparse, os, glob, re, json
|
||||
|
||||
Reference in new issue
Block a user