Ergänzung und Korrektur

This commit is contained in:
Lars committed 2025-12-10 22:17:40 +01:00
1 parent 0170d9291f
commit 565d34fb7b
4 files changed
+43 -29

No files matched your search

+19 -17
View File
@@ -1,7 +1,6 @@
"""
app/services/discovery.py
Service für Link-Vorschläge und Knowledge-Discovery (WP-11).
Analysiert Drafts auf Keywords und semantische Ähnlichkeiten.
"""
import logging
from typing import List, Dict, Any, Set
@@ -14,21 +13,21 @@ from app.core.retriever import hybrid_retrieve
logger = logging.getLogger(__name__)
class DiscoveryService:
def __init__(self, collection_prefix: str = "mindnet"):
self.prefix = collection_prefix
def __init__(self, collection_prefix: str = None):
self.cfg = QdrantConfig.from_env()
self.cfg.prefix = collection_prefix
# Prefix Priorität: Argument > Env > Default
self.prefix = collection_prefix or self.cfg.prefix or "mindnet"
self.client = get_client(self.cfg)
async def analyze_draft(self, text: str, current_type: str) -> Dict[str, Any]:
"""
Analysiert einen Draft-Text und schlägt Verlinkungen vor.
Kombiniert Exact Match (Titel) und Semantic Match (Vektor).
Kombiniert Exact Match (Titel/Alias) und Semantic Match (Vektor).
"""
suggestions = []
# 1. Exact Match: Finde Begriffe im Text, die als Notiz-Titel existieren
# (Bei sehr großen Vaults >10k sollte dies gecached werden)
# (Holt alle Titel aus Qdrant - bei riesigen Vaults später cachen)
known_entities = self._fetch_all_titles_and_aliases()
found_entities = self._find_entities_in_text(text, known_entities)
@@ -42,23 +41,23 @@ class DiscoveryService:
"target_title": entity["title"],
"target_id": entity["id"],
"confidence": 1.0,
"reason": "Existierender Notiz-Titel"
"reason": "Existierender Notiz-Titel/Alias"
})
# 2. Semantic Match: Finde inhaltlich ähnliche Notizen via Vektor-Suche
# Wir filtern Ergebnisse heraus, die wir schon per Exact Match gefunden haben.
semantic_hits = self._get_semantic_suggestions(text)
for hit in semantic_hits:
# Duplikate vermeiden (wenn wir es schon per Titel gefunden haben)
if hit.node_id in existing_target_ids:
continue
# Schwellwert: Nur relevante Vorschläge anzeigen (z.B. > 0.65)
# Wir nutzen den total_score, der bereits Typ-Gewichte enthält.
# Schwellwert: Nur relevante Vorschläge
# total_score beinhaltet bereits Typ-Gewichte aus dem Retriever
if hit.total_score > 0.65:
suggestions.append({
"type": "semantic_match",
"text_found": (hit.source.get("text") or "")[:50] + "...", # Snippet
"text_found": (hit.source.get("text") or "")[:50] + "...",
"target_title": hit.payload.get("title", "Unbekannt"),
"target_id": hit.node_id,
"confidence": round(hit.total_score, 2),
@@ -79,7 +78,6 @@ class DiscoveryService:
try:
while True:
# Scroll API nutzen, um effizient alle Metadaten zu laden
res, next_page = self.client.scroll(
collection_name=col_name,
limit=1000,
@@ -89,10 +87,15 @@ class DiscoveryService:
)
for point in res:
pl = point.payload or {}
# Aliases robust lesen
aliases = pl.get("aliases") or []
if isinstance(aliases, str): aliases = [aliases]
notes.append({
"id": pl.get("note_id"),
"title": pl.get("title"),
"aliases": pl.get("aliases", [])
"aliases": aliases
})
if next_page is None:
@@ -105,7 +108,7 @@ class DiscoveryService:
def _find_entities_in_text(self, text: str, entities: List[Dict]) -> List[Dict]:
"""
Sucht Vorkommen von Titeln im Text (Case-Insensitive).
Sucht Vorkommen von Titeln/Alias im Text (Case-Insensitive).
"""
found = []
text_lower = text.lower()
@@ -119,7 +122,7 @@ class DiscoveryService:
"title": title,
"id": entity["id"]
})
continue # Wenn Titel gefunden, Aliases nicht mehr prüfen (Prio)
continue # Wenn Titel gefunden, Aliases nicht mehr prüfen
# 2. Aliases prüfen
aliases = entity.get("aliases")
@@ -136,14 +139,13 @@ class DiscoveryService:
def _get_semantic_suggestions(self, text: str):
"""Wrapper um den Hybrid Retriever."""
# Wir nutzen eine vereinfachte Query
req = QueryRequest(
query=text,
top_k=5,
explain=False
)
try:
# hybrid_retrieve ist sync, wird aber schnell genug sein für diesen Kontext
# hybrid_retrieve nutzen (sync Wrapper)
res = hybrid_retrieve(req)
return res.results
except Exception as e: