This commit is contained in:
1 parent
23b1cb2966
commit
e9532e8878
30 files changed
+1835
-542
No files matched your search
@@ -1,4 +1,64 @@
|
||||
#!/usr/bin/env python3
|
||||
# -*- coding: utf-8 -*-
|
||||
"""
|
||||
FILE: scripts/audit_chunks.py
|
||||
VERSION: 2.1.0 (2025-12-15)
|
||||
STATUS: Active
|
||||
COMPATIBILITY: v2.9.1 (Post-WP14/WP-15b)
|
||||
|
||||
Zweck:
|
||||
-------
|
||||
Audit-Tool zur Analyse der Chunk-Qualität im Vault.
|
||||
Erkennt Probleme wie überdimensionierte Chunks, leere Chunks und defekte Nachbarschafts-Links.
|
||||
|
||||
Funktionsweise:
|
||||
---------------
|
||||
1. Scannt alle Markdown-Dateien im Vault
|
||||
2. Für jede Datei:
|
||||
- Erzeugt Chunks via assemble_chunks
|
||||
- Prüft Token-Anzahl pro Chunk
|
||||
- Validiert Nachbarschafts-Links (prev/next)
|
||||
3. Aggregiert Statistiken und identifiziert Probleme
|
||||
|
||||
Ergebnis-Interpretation:
|
||||
------------------------
|
||||
- Ausgabe: JSON mit Zusammenfassung
|
||||
* notes: Anzahl verarbeiteter Notizen
|
||||
* chunks_total: Gesamtanzahl Chunks
|
||||
* chunks_per_note_avg: Durchschnittliche Chunks pro Note
|
||||
* tokens_avg: Durchschnittliche Token pro Chunk
|
||||
* tokens_p95: 95. Perzentil der Token-Verteilung
|
||||
* issues_counts: Anzahl gefundener Probleme
|
||||
- Zusätzlich: Liste der ersten 20 Probleme pro Kategorie
|
||||
* oversize: Chunks > 600 Tokens
|
||||
* broken_neighbors: Defekte prev/next Links
|
||||
* empty: Leere Chunks (0 Tokens)
|
||||
|
||||
Verwendung:
|
||||
-----------
|
||||
- Qualitätskontrolle nach Chunking-Änderungen
|
||||
- Identifikation von Problemen vor dem Import
|
||||
- Monitoring der Chunk-Verteilung
|
||||
|
||||
Hinweise:
|
||||
---------
|
||||
- Nutzt synchrones assemble_chunks (kann async sein)
|
||||
- Heuristik für Oversize: > 600 Tokens
|
||||
- Prüft nur strukturelle Integrität, keine semantische Qualität
|
||||
|
||||
Aufruf:
|
||||
-------
|
||||
python3 -m scripts.audit_chunks --vault ./vault
|
||||
|
||||
Parameter:
|
||||
----------
|
||||
--vault PATH Pfad zum Vault-Verzeichnis (erforderlich)
|
||||
|
||||
Änderungen:
|
||||
-----------
|
||||
v2.1.0 (2025-12-15): Dokumentation aktualisiert
|
||||
v1.0.0: Initial Release
|
||||
"""
|
||||
from __future__ import annotations
|
||||
import argparse, os, json, glob, statistics as stats
|
||||
from app.core.parser import read_markdown, normalize_frontmatter, validate_required_frontmatter
|
||||
|
||||
Reference in new issue
Block a user