This commit is contained in:
1 parent
23b1cb2966
commit
e9532e8878
30 files changed
+1835
-542
No files matched your search
@@ -1,58 +1,73 @@
|
||||
#!/usr/bin/env python3
|
||||
# -*- coding: utf-8 -*-
|
||||
"""
|
||||
Script: scripts/verify_chunk_texts.py
|
||||
Version: 1.0.0
|
||||
Datum: 2025-09-09
|
||||
FILE: scripts/verify_chunk_texts.py
|
||||
VERSION: 2.1.0 (2025-12-15)
|
||||
STATUS: Active
|
||||
COMPATIBILITY: v2.9.1 (Post-WP14/WP-15b)
|
||||
|
||||
Kurzbeschreibung
|
||||
Zweck:
|
||||
-------
|
||||
Verifiziert, dass Chunk-Texte in Qdrant korrekt gespeichert sind und
|
||||
der Note-Body aus Chunks rekonstruiert werden kann.
|
||||
|
||||
Funktionsweise:
|
||||
---------------
|
||||
Verifiziert, dass in Qdrant für jede Note die zugehörigen Chunks ein Textfeld
|
||||
enthalten und der Body (notes.payload.fulltext) aus den Chunk-Texten sinnvoll
|
||||
rekonstruiert werden kann.
|
||||
1. Lädt alle Notes aus {prefix}_notes
|
||||
2. Für jede Note:
|
||||
- Lädt zugehörige Chunks
|
||||
- Prüft, dass alle Chunks Text enthalten (text/content/raw)
|
||||
- Rekonstruiert Body aus Chunks (sortiert nach chunk_index/chunk_id)
|
||||
- Berechnet Coverage: gefundene Textsegmente / Fulltext-Länge
|
||||
3. Validiert gegen notes.payload.fulltext
|
||||
|
||||
Prüfungen pro Note:
|
||||
- Alle Chunks vorhanden (>=1).
|
||||
- Jedes Chunk-Payload hat einen nutzbaren Textschlüssel: "text" (bevorzugt), sonst "content", sonst "raw".
|
||||
- Reihenfolge der Chunks wird stabil bestimmt (payload.chunk_index -> Nummer aus chunk_id).
|
||||
- Coverage: Summe der im Fulltext gefundenen Chunk-Textsegmente / len(Fulltext) (Toleranz für Overlaps).
|
||||
-> OK wenn coverage >= 0.90 (konfigurierbar via --min-coverage)
|
||||
Ergebnis-Interpretation:
|
||||
------------------------
|
||||
- Ausgabe: JSON mit Validierungs-Ergebnissen
|
||||
* summary: Gesamtstatistiken
|
||||
* per_note: Details pro Note
|
||||
* coverage: Durchschnittliche Coverage
|
||||
- Exit-Code 0: Alle Prüfungen bestanden
|
||||
- Exit-Code 1: Probleme gefunden
|
||||
|
||||
Ausgabe:
|
||||
- JSON mit Gesamtsummen und Details je Note.
|
||||
Verwendung:
|
||||
-----------
|
||||
- Validierung nach Importen
|
||||
- Diagnose von Text-Rekonstruktionsproblemen
|
||||
- Qualitätskontrolle
|
||||
|
||||
ENV:
|
||||
- QDRANT_URL | QDRANT_HOST/QDRANT_PORT | QDRANT_API_KEY
|
||||
- COLLECTION_PREFIX (Fallback, wenn --prefix fehlt)
|
||||
Hinweise:
|
||||
---------
|
||||
- Coverage-Toleranz für Overlaps (Standard: >= 0.90)
|
||||
- Prüft Text-Felder: text (bevorzugt), content, raw
|
||||
|
||||
Beispiele:
|
||||
# Alle Notes prüfen (Prefix aus ENV)
|
||||
python3 -m scripts.verify_chunk_texts
|
||||
Aufruf:
|
||||
-------
|
||||
python3 -m scripts.verify_chunk_texts --prefix mindnet
|
||||
python3 -m scripts.verify_chunk_texts --note-id concept-alpha --min-coverage 0.95
|
||||
|
||||
# Nur eine Note prüfen
|
||||
python3 -m scripts.verify_chunk_texts --note-id concept-alpha
|
||||
Parameter:
|
||||
----------
|
||||
--prefix TEXT Collection-Präfix (Default: ENV COLLECTION_PREFIX)
|
||||
--note-id ID Nur eine bestimmte Note prüfen (optional)
|
||||
--min-coverage F Minimale Coverage (Default: 0.90)
|
||||
|
||||
# Prefix explizit setzen und strengere Coverage verlangen
|
||||
python3 -m scripts.verify_chunk_texts --prefix mindnet --min-coverage 0.95
|
||||
Umgebungsvariablen:
|
||||
-------------------
|
||||
QDRANT_URL | QDRANT_HOST/QDRANT_PORT | QDRANT_API_KEY, COLLECTION_PREFIX
|
||||
|
||||
Änderungen:
|
||||
-----------
|
||||
v2.1.0 (2025-12-15): Dokumentation aktualisiert
|
||||
v1.0.0 (2025-09-09): Initial Release
|
||||
"""
|
||||
from __future__ import annotations
|
||||
import argparse, json, os, re, sys
|
||||
from typing import Dict, List, Tuple, Optional
|
||||
|
||||
from qdrant_client import QdrantClient
|
||||
from qdrant_client.http import models as rest
|
||||
|
||||
def _names(prefix: str) -> Tuple[str,str,str]:
|
||||
return f"{prefix}_notes", f"{prefix}_chunks", f"{prefix}_edges"
|
||||
|
||||
def _client() -> QdrantClient:
|
||||
url = os.getenv("QDRANT_URL")
|
||||
if not url:
|
||||
host = os.getenv("QDRANT_HOST", "127.0.0.1")
|
||||
port = int(os.getenv("QDRANT_PORT", "6333"))
|
||||
url = f"http://{host}:{port}"
|
||||
api_key = os.getenv("QDRANT_API_KEY") or None
|
||||
return QdrantClient(url=url, api_key=api_key)
|
||||
from app.core.qdrant import QdrantConfig, get_client, collection_names
|
||||
|
||||
def _chunk_sort_key(p: Dict, pid: str) -> Tuple[int,int,str]:
|
||||
# Primär: payload.chunk_index, sekundär: Nummer am Ende der ID (#cNN oder #NN), sonst 0
|
||||
@@ -104,9 +119,11 @@ def main() -> None:
|
||||
ap.add_argument("--min-coverage", type=float, default=0.90, help="Mindestabdeckung durch Chunks (Default: 0.90)")
|
||||
args = ap.parse_args()
|
||||
|
||||
prefix = args.prefix or os.getenv("COLLECTION_PREFIX", "mindnet")
|
||||
notes_col, chunks_col, _ = _names(prefix)
|
||||
cli = _client()
|
||||
cfg = QdrantConfig.from_env()
|
||||
if args.prefix:
|
||||
cfg.prefix = args.prefix
|
||||
notes_col, chunks_col, _ = collection_names(cfg.prefix)
|
||||
cli = get_client(cfg)
|
||||
|
||||
# Notes abrufen (optional filter by note_id)
|
||||
notes_filter = None
|
||||
@@ -125,7 +142,7 @@ def main() -> None:
|
||||
if off is None:
|
||||
break
|
||||
|
||||
results = []
|
||||
results: List[Dict] = []
|
||||
total_missing_text = 0
|
||||
total_notes_ok = 0
|
||||
for n in notes:
|
||||
|
||||
Reference in new issue
Block a user