update aus WP11

This commit is contained in:
Lars committed 2025-12-11 13:50:40 +01:00
1 parent 9d792e11ce
commit 52210a91fd
3 files changed
+147 -181

No files matched your search

+44 -53
View File
@@ -1,19 +1,9 @@
"""
app/services/embeddings_client.py — Text→Embedding Service
app/services/embeddings_client.py
Client für die Vektorisierung von Texten via Ollama API.
Zweck:
Liefert Embeddings für Textqueries.
- Legacy Mode (Sync): Nutzt lokal Sentence-Transformers (CPU).
- Modern Mode (Async/Class): Nutzt Ollama API (HTTP) für Non-Blocking Operations (WP-11).
Kompatibilität:
Python 3.12+, sentence-transformers 5.x, httpx
Version:
0.2.0 (Erweitert um Async EmbeddingsClient)
Stand:
2025-12-11
Version: 2.4.0 (Async + Dedicated Embedding Model Support)
"""
from __future__ import annotations
import os
import logging
@@ -24,45 +14,53 @@ from app.config import get_settings
logger = logging.getLogger(__name__)
# ==============================================================================
# TEIL 1: NEUE ASYNC KLASSE (Für Ingestion API / WP-11)
# ==============================================================================
class EmbeddingsClient:
"""
Async Client für Embeddings via Ollama (oder kompatible APIs).
Verhindert das Blockieren des Event-Loops bei schweren Berechnungen.
Async Client für Embeddings via Ollama.
Trennt Chat-Modell (Generation) von Embedding-Modell (Semantik).
"""
def __init__(self):
self.settings = get_settings()
# Fallback auf Environment Variablen, falls Settings nicht geladen
self.base_url = os.getenv("MINDNET_OLLAMA_URL", "http://127.0.0.1:11434")
# Nutze explizites Embedding Modell oder Fallback auf LLM Modell
self.model = os.getenv("MINDNET_EMBEDDING_MODEL", os.getenv("MINDNET_LLM_MODEL", "phi3:mini"))
# Lese Konfiguration für spezialisiertes Embedding-Modell
self.model = os.getenv("MINDNET_EMBEDDING_MODEL")
# Fallback auf LLM, falls kein Embedding-Modell gesetzt (nicht empfohlen für Prod)
if not self.model:
self.model = os.getenv("MINDNET_LLM_MODEL", "phi3:mini")
logger.warning(f"No MINDNET_EMBEDDING_MODEL set. Falling back to LLM '{self.model}'. Quality might suffer.")
else:
logger.info(f"EmbeddingsClient initialized with model: {self.model}")
async def embed_query(self, text: str) -> List[float]:
"""Erzeugt Embedding für einen einzelnen Text."""
"""
Erzeugt Embedding für einen einzelnen Text (z.B. Suchanfrage).
"""
return await self._request_embedding(text)
async def embed_documents(self, texts: List[str]) -> List[List[float]]:
"""
Erzeugt Embeddings für eine Liste von Texten.
Nutzt eine Session für effizientere Requests.
Erzeugt Embeddings für eine Liste von Texten (z.B. Chunks beim Import).
Nutzt eine persistente Session für Performance.
"""
vectors = []
async with httpx.AsyncClient(timeout=60.0) as client:
# Timeout erhöht für Batch-Processing
async with httpx.AsyncClient(timeout=120.0) as client:
for text in texts:
vec = await self._request_embedding_with_client(client, text)
vectors.append(vec)
return vectors
async def _request_embedding(self, text: str) -> List[float]:
"""Interne Hilfsmethode für Single-Request (One-off Client)."""
"""Interne Hilfsmethode für Single-Request."""
async with httpx.AsyncClient(timeout=30.0) as client:
return await self._request_embedding_with_client(client, text)
async def _request_embedding_with_client(self, client: httpx.AsyncClient, text: str) -> List[float]:
"""Führt den eigentlichen Request gegen Ollama aus."""
"""
Führt den eigentlichen HTTP-Request gegen Ollama aus.
"""
if not text or not text.strip():
return []
@@ -75,46 +73,39 @@ class EmbeddingsClient:
"prompt": text
}
)
if response.status_code == 404:
logger.error(f"Model '{self.model}' not found in Ollama. Run: ollama pull {self.model}")
return []
response.raise_for_status()
data = response.json()
return data.get("embedding", [])
except Exception as e:
logger.error(f"Embedding error (Ollama) for model {self.model}: {e}")
# Fallback: Leere Liste, damit der Prozess nicht crasht (wird vom Caller gefiltert)
logger.error(f"Embedding error (Model: {self.model}): {e}")
# Wir geben eine leere Liste zurück, damit der Batch-Prozess nicht komplett crasht.
# Der Aufrufer (IngestionService) muss prüfen, ob Vektor leer ist.
return []
# ==============================================================================
# TEIL 2: LEGACY FUNKTIONEN (Für bestehende Sync-Module / CLI)
# ==============================================================================
# Lazy import, damit Testläufe ohne Modell-Laden schnell sind
def _load_model():
# Performance-Warnung loggen, da dies viel RAM braucht
logger.info("Loading local SentenceTransformer model (Legacy Mode)...")
from sentence_transformers import SentenceTransformer # import hier, nicht top-level
s = get_settings()
return SentenceTransformer(s.MODEL_NAME, device="cpu")
# --- LEGACY SUPPORT (Synchron) ---
# Wird nur noch von alten Skripten oder Tests ohne Async-Support genutzt.
@lru_cache(maxsize=1)
def _cached_model():
return _load_model()
def _cached_legacy_model():
from sentence_transformers import SentenceTransformer
s = get_settings()
# Hier nutzen wir das Modell aus den Settings, meist CPU-basiert
return SentenceTransformer(s.MODEL_NAME, device="cpu")
def embed_text(text: str) -> List[float]:
"""
LEGACY: Erzeugt einen Vektor synchron via Sentence-Transformers.
Wird u.a. vom Retriever oder alten CLI-Skripten genutzt.
LEGACY: Synchrones Embedding via SentenceTransformers (CPU).
"""
if not text or not text.strip():
# Um Konsistenz mit neuer Klasse zu wahren, loggen wir Warnung statt Error
# raise ValueError("embed_text: leerer Text") -> Veraltet
logger.warning("embed_text called with empty string")
return []
try:
model = _cached_model()
vec = model.encode([text], normalize_embeddings=True)[0]
return vec.astype(float).tolist()
return _cached_legacy_model().encode([text], normalize_embeddings=True)[0].tolist()
except Exception as e:
logger.error(f"Legacy embed_text failed: {e}")
return []