bug fix
This commit is contained in:
1 parent
3c19e192bc
commit
e27b1f4621
2 files changed
+30
-55
No files matched your search
@@ -18,8 +18,9 @@ def get_config_for_test(strategy: str, enable_smart_edge: bool) -> Dict[str, Any
|
||||
cfg = chunker.get_chunk_config("concept")
|
||||
cfg['strategy'] = strategy
|
||||
cfg['enable_smart_edge_allocation'] = enable_smart_edge
|
||||
cfg['target'] = 150 # Kleineres Target für sicherere Splits im Test
|
||||
cfg['max'] = 300
|
||||
# WICHTIG: Setze sehr kleine Werte, um Split bei kurzem Text zu erzwingen
|
||||
cfg['target'] = 50
|
||||
cfg['max'] = 100
|
||||
return cfg
|
||||
|
||||
TEST_NOTE_ID_SMART = "20251212-test-smart"
|
||||
@@ -41,7 +42,7 @@ Der Konflikt zwischen [[leitbild-rollen#Vater]] und [[leitbild-rollen#Beruf]].
|
||||
Lösung: [[rel:depends_on leitbild-review#Weekly Review]].
|
||||
"""
|
||||
|
||||
# Text mit klaren Absätzen für Sliding Window Test
|
||||
# Verlängerter Text, um Split > 1 zu erzwingen (bei Target 50)
|
||||
TEST_MARKDOWN_SLIDING = """
|
||||
---
|
||||
id: 20251212-test-legacy
|
||||
@@ -49,9 +50,13 @@ title: Fließtext Protokoll
|
||||
type: journal
|
||||
status: active
|
||||
---
|
||||
Dies ist der erste lange Absatz. Er enthält viel Text über allgemeine Dinge und Rituale wie [[leitbild-rituale-system]]. Wir schreiben hier viel, damit der Token-Zähler anschlägt. Das ist wichtig für den Test.
|
||||
Dies ist der erste Absatz. Er muss lang genug sein, damit der Chunker ihn schneidet.
|
||||
Wir schreiben hier über Rituale wie [[leitbild-rituale-system]] und viele andere Dinge.
|
||||
Das Wetter ist schön und die Programmierung läuft gut. Dies sind Füllsätze für Länge.
|
||||
|
||||
Dies ist der zweite Absatz, der durch eine Leerzeile getrennt ist. Er sollte idealerweise in einem neuen Chunk landen oder zumindest den Split erzwingen, wenn das Target klein genug ist (150 Tokens). Hier steht noch mehr Text.
|
||||
Dies ist der zweite Absatz. Er ist durch eine Leerzeile getrennt und sollte einen neuen Kontext bilden.
|
||||
Auch hier schreiben wir viel Text, damit die Token-Anzahl die Grenze von 50 Tokens überschreitet.
|
||||
Das System muss hier splitten.
|
||||
"""
|
||||
|
||||
class TestFinalWP15Integration(unittest.TestCase):
|
||||
@@ -80,12 +85,7 @@ class TestFinalWP15Integration(unittest.TestCase):
|
||||
))
|
||||
|
||||
self.assertTrue(len(chunks) >= 2, f"A1 Fehler: Erwartete >= 2 Chunks, bekam {len(chunks)}")
|
||||
|
||||
# Prüfen auf Injektion (Text muss [[rel:...]] enthalten)
|
||||
# Hinweis: Da wir keine echte LLM-Antwort garantieren können (Mock fehlt hier),
|
||||
# prüfen wir zumindest, ob der Code durchlief.
|
||||
# Wenn LLM fehlschlägt/leer ist, läuft der Code durch (Robustheit).
|
||||
print(f" -> Chunks generiert: {len(chunks)}")
|
||||
print(f" -> Chunks generiert (Smart): {len(chunks)}")
|
||||
|
||||
def test_b_backward_compatibility(self):
|
||||
"""B: Prüft Sliding Window (Legacy)."""
|
||||
@@ -98,12 +98,13 @@ class TestFinalWP15Integration(unittest.TestCase):
|
||||
config=config
|
||||
))
|
||||
|
||||
# Sliding Window muss bei 2 Absätzen und kleinem Target > 1 Chunk liefern
|
||||
# Sliding Window muss bei diesem langen Text > 1 Chunk liefern
|
||||
self.assertTrue(len(chunks) >= 2, f"B1 Fehler: Sliding Window lieferte nur {len(chunks)} Chunk(s). Split defekt.")
|
||||
|
||||
# Check: Keine LLM Kanten (da deaktiviert)
|
||||
injected = re.search(r'\[\[rel:', chunks[0].text)
|
||||
self.assertIsNone(injected, "B2 Fehler: LLM-Kanten trotz Deaktivierung gefunden!")
|
||||
print(f" -> Chunks generiert (Legacy): {len(chunks)}")
|
||||
|
||||
if __name__ == '__main__':
|
||||
unittest.main()
|
||||
Reference in new issue
Block a user