update aus WP11
This commit is contained in:
1 parent
9d792e11ce
commit
52210a91fd
3 files changed
+147
-181
No files matched your search
@@ -1,19 +1,9 @@
|
||||
"""
|
||||
app/services/embeddings_client.py — Text→Embedding Service
|
||||
app/services/embeddings_client.py
|
||||
Client für die Vektorisierung von Texten via Ollama API.
|
||||
|
||||
Zweck:
|
||||
Liefert Embeddings für Textqueries.
|
||||
- Legacy Mode (Sync): Nutzt lokal Sentence-Transformers (CPU).
|
||||
- Modern Mode (Async/Class): Nutzt Ollama API (HTTP) für Non-Blocking Operations (WP-11).
|
||||
|
||||
Kompatibilität:
|
||||
Python 3.12+, sentence-transformers 5.x, httpx
|
||||
Version:
|
||||
0.2.0 (Erweitert um Async EmbeddingsClient)
|
||||
Stand:
|
||||
2025-12-11
|
||||
Version: 2.4.0 (Async + Dedicated Embedding Model Support)
|
||||
"""
|
||||
|
||||
from __future__ import annotations
|
||||
import os
|
||||
import logging
|
||||
@@ -24,45 +14,53 @@ from app.config import get_settings
|
||||
|
||||
logger = logging.getLogger(__name__)
|
||||
|
||||
# ==============================================================================
|
||||
# TEIL 1: NEUE ASYNC KLASSE (Für Ingestion API / WP-11)
|
||||
# ==============================================================================
|
||||
|
||||
class EmbeddingsClient:
|
||||
"""
|
||||
Async Client für Embeddings via Ollama (oder kompatible APIs).
|
||||
Verhindert das Blockieren des Event-Loops bei schweren Berechnungen.
|
||||
Async Client für Embeddings via Ollama.
|
||||
Trennt Chat-Modell (Generation) von Embedding-Modell (Semantik).
|
||||
"""
|
||||
def __init__(self):
|
||||
self.settings = get_settings()
|
||||
# Fallback auf Environment Variablen, falls Settings nicht geladen
|
||||
self.base_url = os.getenv("MINDNET_OLLAMA_URL", "http://127.0.0.1:11434")
|
||||
# Nutze explizites Embedding Modell oder Fallback auf LLM Modell
|
||||
self.model = os.getenv("MINDNET_EMBEDDING_MODEL", os.getenv("MINDNET_LLM_MODEL", "phi3:mini"))
|
||||
|
||||
# Lese Konfiguration für spezialisiertes Embedding-Modell
|
||||
self.model = os.getenv("MINDNET_EMBEDDING_MODEL")
|
||||
|
||||
# Fallback auf LLM, falls kein Embedding-Modell gesetzt (nicht empfohlen für Prod)
|
||||
if not self.model:
|
||||
self.model = os.getenv("MINDNET_LLM_MODEL", "phi3:mini")
|
||||
logger.warning(f"No MINDNET_EMBEDDING_MODEL set. Falling back to LLM '{self.model}'. Quality might suffer.")
|
||||
else:
|
||||
logger.info(f"EmbeddingsClient initialized with model: {self.model}")
|
||||
|
||||
async def embed_query(self, text: str) -> List[float]:
|
||||
"""Erzeugt Embedding für einen einzelnen Text."""
|
||||
"""
|
||||
Erzeugt Embedding für einen einzelnen Text (z.B. Suchanfrage).
|
||||
"""
|
||||
return await self._request_embedding(text)
|
||||
|
||||
async def embed_documents(self, texts: List[str]) -> List[List[float]]:
|
||||
"""
|
||||
Erzeugt Embeddings für eine Liste von Texten.
|
||||
Nutzt eine Session für effizientere Requests.
|
||||
Erzeugt Embeddings für eine Liste von Texten (z.B. Chunks beim Import).
|
||||
Nutzt eine persistente Session für Performance.
|
||||
"""
|
||||
vectors = []
|
||||
async with httpx.AsyncClient(timeout=60.0) as client:
|
||||
# Timeout erhöht für Batch-Processing
|
||||
async with httpx.AsyncClient(timeout=120.0) as client:
|
||||
for text in texts:
|
||||
vec = await self._request_embedding_with_client(client, text)
|
||||
vectors.append(vec)
|
||||
return vectors
|
||||
|
||||
async def _request_embedding(self, text: str) -> List[float]:
|
||||
"""Interne Hilfsmethode für Single-Request (One-off Client)."""
|
||||
"""Interne Hilfsmethode für Single-Request."""
|
||||
async with httpx.AsyncClient(timeout=30.0) as client:
|
||||
return await self._request_embedding_with_client(client, text)
|
||||
|
||||
async def _request_embedding_with_client(self, client: httpx.AsyncClient, text: str) -> List[float]:
|
||||
"""Führt den eigentlichen Request gegen Ollama aus."""
|
||||
"""
|
||||
Führt den eigentlichen HTTP-Request gegen Ollama aus.
|
||||
"""
|
||||
if not text or not text.strip():
|
||||
return []
|
||||
|
||||
@@ -75,46 +73,39 @@ class EmbeddingsClient:
|
||||
"prompt": text
|
||||
}
|
||||
)
|
||||
|
||||
if response.status_code == 404:
|
||||
logger.error(f"Model '{self.model}' not found in Ollama. Run: ollama pull {self.model}")
|
||||
return []
|
||||
|
||||
response.raise_for_status()
|
||||
data = response.json()
|
||||
return data.get("embedding", [])
|
||||
|
||||
except Exception as e:
|
||||
logger.error(f"Embedding error (Ollama) for model {self.model}: {e}")
|
||||
# Fallback: Leere Liste, damit der Prozess nicht crasht (wird vom Caller gefiltert)
|
||||
logger.error(f"Embedding error (Model: {self.model}): {e}")
|
||||
# Wir geben eine leere Liste zurück, damit der Batch-Prozess nicht komplett crasht.
|
||||
# Der Aufrufer (IngestionService) muss prüfen, ob Vektor leer ist.
|
||||
return []
|
||||
|
||||
|
||||
# ==============================================================================
|
||||
# TEIL 2: LEGACY FUNKTIONEN (Für bestehende Sync-Module / CLI)
|
||||
# ==============================================================================
|
||||
|
||||
# Lazy import, damit Testläufe ohne Modell-Laden schnell sind
|
||||
def _load_model():
|
||||
# Performance-Warnung loggen, da dies viel RAM braucht
|
||||
logger.info("Loading local SentenceTransformer model (Legacy Mode)...")
|
||||
from sentence_transformers import SentenceTransformer # import hier, nicht top-level
|
||||
s = get_settings()
|
||||
return SentenceTransformer(s.MODEL_NAME, device="cpu")
|
||||
# --- LEGACY SUPPORT (Synchron) ---
|
||||
# Wird nur noch von alten Skripten oder Tests ohne Async-Support genutzt.
|
||||
|
||||
@lru_cache(maxsize=1)
|
||||
def _cached_model():
|
||||
return _load_model()
|
||||
def _cached_legacy_model():
|
||||
from sentence_transformers import SentenceTransformer
|
||||
s = get_settings()
|
||||
# Hier nutzen wir das Modell aus den Settings, meist CPU-basiert
|
||||
return SentenceTransformer(s.MODEL_NAME, device="cpu")
|
||||
|
||||
def embed_text(text: str) -> List[float]:
|
||||
"""
|
||||
LEGACY: Erzeugt einen Vektor synchron via Sentence-Transformers.
|
||||
Wird u.a. vom Retriever oder alten CLI-Skripten genutzt.
|
||||
LEGACY: Synchrones Embedding via SentenceTransformers (CPU).
|
||||
"""
|
||||
if not text or not text.strip():
|
||||
# Um Konsistenz mit neuer Klasse zu wahren, loggen wir Warnung statt Error
|
||||
# raise ValueError("embed_text: leerer Text") -> Veraltet
|
||||
logger.warning("embed_text called with empty string")
|
||||
return []
|
||||
|
||||
try:
|
||||
model = _cached_model()
|
||||
vec = model.encode([text], normalize_embeddings=True)[0]
|
||||
return vec.astype(float).tolist()
|
||||
return _cached_legacy_model().encode([text], normalize_embeddings=True)[0].tolist()
|
||||
except Exception as e:
|
||||
logger.error(f"Legacy embed_text failed: {e}")
|
||||
return []
|
||||
Reference in new issue
Block a user