This commit is contained in:
1 parent
23b1cb2966
commit
e9532e8878
30 files changed
+1835
-542
No files matched your search
@@ -1,38 +1,79 @@
|
||||
# scripts/prune_qdrant_vs_vault.py
|
||||
# -----------------------------------------------------------------------------
|
||||
# Name: prune_qdrant_vs_vault.py
|
||||
# Version: 1.0.0 (2025-09-08)
|
||||
# Zweck: Entfernt verwaiste Qdrant-Einträge (notes/chunks/edges), wenn
|
||||
# die zugehörigen Markdown-Dateien im Vault nicht mehr existieren.
|
||||
#
|
||||
# Was es macht:
|
||||
# - Liest alle note_id aus dem Vault (Frontmatter: id / note_id).
|
||||
# - Liest alle note_id aus Qdrant (mindnet_notes).
|
||||
# - Bildet die Differenz (nur in Qdrant vorhandene, im Vault fehlende).
|
||||
# - Löscht für jede verwaiste note_id:
|
||||
# * Notes-Point(s)
|
||||
# * Alle Chunks der Note
|
||||
# * Alle Edges, die auf diese Note referenzieren
|
||||
# (source_id == note_id ODER target_id == note_id ODER
|
||||
# source_note_id == note_id ODER target_note_id == note_id)
|
||||
#
|
||||
# Hinweise:
|
||||
# - Kein globaler Delete. Nur betroffene note_id.
|
||||
# - Dry-Run standardmäßig; tatsächliches Löschen erst mit --apply.
|
||||
# - Interaktive Bestätigung (abschaltbar mit --yes).
|
||||
#
|
||||
# Aufruf:
|
||||
# python3 -m scripts.prune_qdrant_vs_vault --vault ./vault --prefix mindnet
|
||||
# python3 -m scripts.prune_qdrant_vs_vault --vault ./vault --prefix mindnet --apply
|
||||
# python3 -m scripts.prune_qdrant_vs_vault --vault ./vault --prefix mindnet --apply --yes
|
||||
#
|
||||
# Voraussetzungen:
|
||||
# - Ausführung im aktivierten venv empfohlen: source .venv/bin/activate
|
||||
# - Qdrant läuft lokal (oder URL/API-Key in ENV), siehe app/core/qdrant.py
|
||||
#
|
||||
# Änderungen:
|
||||
# - 1.0.0: Erster Release.
|
||||
# -----------------------------------------------------------------------------
|
||||
#!/usr/bin/env python3
|
||||
# -*- coding: utf-8 -*-
|
||||
"""
|
||||
FILE: scripts/prune_qdrant_vs_vault.py
|
||||
VERSION: 2.1.0 (2025-12-15)
|
||||
STATUS: Active
|
||||
COMPATIBILITY: v2.9.1 (Post-WP14/WP-15b)
|
||||
|
||||
Zweck:
|
||||
-------
|
||||
Bereinigt verwaiste Einträge in Qdrant, wenn die zugehörigen Markdown-Dateien
|
||||
im Vault nicht mehr existieren. Stellt Konsistenz zwischen Vault und Datenbank her.
|
||||
|
||||
Funktionsweise:
|
||||
---------------
|
||||
1. Liest alle note_id aus dem Vault (aus Frontmatter: id / note_id)
|
||||
2. Liest alle note_id aus Qdrant (Collection: {prefix}_notes)
|
||||
3. Berechnet Differenz: note_ids nur in Qdrant vorhanden (verwaist)
|
||||
4. Für jede verwaiste note_id (nur mit --apply):
|
||||
- Löscht Note-Point(s) aus {prefix}_notes
|
||||
- Löscht alle Chunks der Note aus {prefix}_chunks
|
||||
- Löscht alle Edges, die auf diese Note referenzieren:
|
||||
* source_id == note_id
|
||||
* target_id == note_id
|
||||
* source_note_id == note_id
|
||||
* target_note_id == note_id
|
||||
|
||||
Ergebnis-Interpretation:
|
||||
------------------------
|
||||
- Ausgabe: JSON mit Preview-Informationen
|
||||
* mode: "DRY-RUN" oder "APPLY"
|
||||
* counts: Statistiken (vault_note_ids, qdrant_note_ids, orphans)
|
||||
* orphans_sample: Erste 20 verwaiste note_ids
|
||||
- Bei --apply: Zusätzlich JSON mit deleted-Statistiken
|
||||
* deleted.notes: Anzahl gelöschter Note-Points
|
||||
* deleted.chunks: Anzahl gelöschter Chunks
|
||||
* deleted.edges: Anzahl gelöschter Edges
|
||||
|
||||
Verwendung:
|
||||
-----------
|
||||
- Regelmäßige Wartung nach Vault-Bereinigung
|
||||
- Vor Migrationen oder größeren Umstrukturierungen
|
||||
- Konsistenz-Check zwischen Vault und Datenbank
|
||||
|
||||
Sicherheitsmerkmale:
|
||||
-------------------
|
||||
- Dry-Run standardmäßig (keine Änderungen ohne --apply)
|
||||
- Interaktive Bestätigung (außer mit --yes)
|
||||
- Nur betroffene note_ids werden gelöscht (kein globaler Delete)
|
||||
- Zeigt Preview vor Ausführung
|
||||
|
||||
Aufruf:
|
||||
-------
|
||||
# Dry-Run (nur Analyse)
|
||||
python3 -m scripts.prune_qdrant_vs_vault --vault ./vault --prefix mindnet
|
||||
|
||||
# Tatsächliches Löschen
|
||||
python3 -m scripts.prune_qdrant_vs_vault --vault ./vault --prefix mindnet --apply
|
||||
|
||||
# Ohne Rückfrage
|
||||
python3 -m scripts.prune_qdrant_vs_vault --vault ./vault --prefix mindnet --apply --yes
|
||||
|
||||
Parameter:
|
||||
----------
|
||||
--vault PATH Pfad zum Vault-Verzeichnis (erforderlich)
|
||||
--prefix TEXT Collection-Präfix (Default: mindnet)
|
||||
--apply Führt tatsächliches Löschen durch (sonst nur Dry-Run)
|
||||
--yes Keine interaktive Bestätigung
|
||||
|
||||
Änderungen:
|
||||
-----------
|
||||
v2.1.0 (2025-12-15): Kompatibilität mit WP-14 Modularisierung
|
||||
- Geändert: parse_markdown_file → read_markdown + normalize_frontmatter
|
||||
- Parsing-Logik an neue API angepasst
|
||||
v1.0.0 (2025-09-08): Erster Release
|
||||
"""
|
||||
|
||||
import argparse
|
||||
import json
|
||||
@@ -45,18 +86,19 @@ from qdrant_client import QdrantClient
|
||||
from qdrant_client.http import models as rest
|
||||
|
||||
from app.core.qdrant import QdrantConfig, get_client, collection_names
|
||||
from app.core.parser import parse_markdown_file # nutzt euer bestehendes Parsing/Schema
|
||||
from app.core.parser import read_markdown, normalize_frontmatter
|
||||
|
||||
|
||||
def read_vault_note_ids(vault_dir: Path) -> Set[str]:
|
||||
note_ids: Set[str] = set()
|
||||
for p in vault_dir.rglob("*.md"):
|
||||
try:
|
||||
parsed = parse_markdown_file(str(p))
|
||||
fm = parsed.frontmatter if hasattr(parsed, "frontmatter") else (parsed.get("frontmatter") or {})
|
||||
nid = fm.get("id") or fm.get("note_id")
|
||||
if nid:
|
||||
note_ids.add(str(nid))
|
||||
parsed = read_markdown(str(p))
|
||||
if parsed:
|
||||
fm = normalize_frontmatter(parsed.frontmatter) if parsed.frontmatter else {}
|
||||
nid = fm.get("id") or fm.get("note_id")
|
||||
if nid:
|
||||
note_ids.add(str(nid))
|
||||
except Exception:
|
||||
# still und leise weiter – wir wollen robust sein
|
||||
continue
|
||||
|
||||
Reference in new issue
Block a user