Commit Graph

324 Commits

Author SHA1 Message Date
6b83879741 Aktualisierung des Chunking-Parsers zur Verbesserung der Satzverarbeitung und Blocktrennung. Einführung des 'Pack-and-Carry-Over' Verfahrens in der Sektions-Chunking-Strategie zur Optimierung der Handhabung von großen Sektionen und Gewährleistung der Sektionsintegrität. Anpassungen an der Token-Schätzung und Verbesserung der Metadatenverarbeitung. 2025-12-29 22:04:23 +01:00
be265e9cc0 Verbesserung des Chunking-Parsers zur Unterstützung atomarer Blöcke und Gewährleistung der strukturellen Integrität von Callouts. Aktualisierung der Beschreibung und Optimierung der Satz- und Blockverarbeitung, einschließlich präziserer Handhabung von H1-Überschriften und Trennern. 2025-12-29 21:48:54 +01:00
680c36ab59 Aktualisierung des Chunking-Parsers zur Verbesserung der Blockverarbeitung und Beschreibung. Anpassungen an der atomaren Sektions-Chunking-Strategie mit optimierter Token-Schätzung und neuen Hilfsfunktionen zur besseren Handhabung von großen Sektionen. Einführung einer präziseren Schätzung für deutsche Texte und Anpassungen an der Logik zur Handhabung von Sektionen. 2025-12-29 21:45:14 +01:00
96b4f65cd1 Aktualisierung des Chunking-Parsers zur Verbesserung der Blockverarbeitung und Beschreibung. Anpassungen an der atomaren Sektions-Chunking-Strategie mit optimierter Token-Schätzung und neuen Hilfsfunktionen zur besseren Handhabung von großen Sektionen. 2025-12-29 21:37:11 +01:00
b1a897e51c Verbesserung des Chunking-Parsers zur Unterstützung aller Überschriften (H1-H6) und Optimierung der Block-Trennung für atomares Sektions-Chunking. Aktualisierung der Sektions-Chunking-Strategie mit striktem Look-Ahead und präziserer Token-Schätzung für eine verbesserte Handhabung von großen Blöcken. 2025-12-29 21:26:05 +01:00
e5a34efee9 Verbesserung des Chunking-Parsers zur Gewährleistung der Integrität von Callouts und Listen sowie Anpassungen an der Blockverarbeitung. Aktualisierung der atomaren Sektions-Chunking-Strategie mit Block-Aware-Flushing und optimierter Token-Schätzung für eine präzisere Handhabung von großen Blöcken. 2025-12-29 21:15:03 +01:00
f9ac4e4dbf Verbesserung der atomaren Sektions-Chunking-Strategie durch Einführung strikter Look-Ahead-Logik und präventiven Flush zur Gewährleistung von Sektionsgrenzen. Anpassungen an der Token-Schätzung und Umbenennung von Funktionen zur besseren Lesbarkeit. 2025-12-29 21:05:42 +01:00
1b40e29f40 Optimierung des Chunking-Parsers zur Unterstützung atomares Chunking und verbesserte Block-Trennung. Anpassungen an der Sektions-Chunking-Strategie zur Wahrung von Sektionsgrenzen und Vermeidung von Überhängen. 2025-12-29 20:57:07 +01:00
7eba1fb487 Aktualisierung des Chunking-Parsers zur Unterstützung aller Überschriften im Stream und Verbesserung der Metadatenverarbeitung. Anpassungen an der atomaren Sektions-Chunking-Strategie zur besseren Handhabung von Blockinhalten und Token-Schätzungen. 2025-12-29 20:45:04 +01:00
838083b909 Verbesserung des Chunking-Parsers zur Unterstützung von H1-Überschriften und Anpassung der Metadatenlogik. Implementierung einer atomaren Sektions-Chunking-Strategie, die Überschriften und deren Inhalte zusammenhält. 2025-12-29 20:33:43 +01:00
8f5eb36b5f neuer Chunking parser, der Headings mitführt und nicht mitten im Abschnitt schneidet 2025-12-29 20:16:23 +01:00
b7d1bcce3d Rücksprung zur Vorwersion, in der 2 Kantentypen angelegt wurden 2025-12-29 18:04:14 +01:00
03d3173ca6 neu deduplizierung für callout-edges 2025-12-29 12:42:26 +01:00
38a61d7b50 Fix: Semantische Deduplizierung in graph_derive_edges.py 2025-12-29 12:21:57 +01:00
0a429e1f7b anpassungen Kantenvergeleich 2025-12-29 11:45:25 +01:00
857ba953e3 bug fix 2025-12-29 11:00:00 +01:00
ac9956bf00 Index und Anlage neues Feld in qdrant 2025-12-29 10:16:51 +01:00
62b5a8bf65 Anpassung payload für neues Feld in edges 2025-12-29 08:40:05 +01:00
303efefcb7 bug fix 2025-12-29 08:19:40 +01:00
feeb7c2d92 Initial WP4d 2025-12-29 07:58:20 +01:00
e93bab6ea7 Fassadenauflösung unter app/core
All checks were successful
Deploy mindnet to llm-node / deploy (push) Successful in 4s
2025-12-28 11:04:40 +01:00
7fa9ce81bd letzte anpassungen 2025-12-27 20:30:24 +01:00
8490911958 modularisierung 2025-12-27 20:26:00 +01:00
19d899b277 Große Modularisierung WP19b 2025-12-27 19:47:23 +01:00
37ec8b614e bug fix 2025-12-27 19:12:14 +01:00
e045371969 Anpassung der Textausgabe zur Filterung der Steuerzeichen 2025-12-27 18:59:38 +01:00
cd5383432e Parametrisierung der wesentliche Einstellwerte in der types.yaml 2025-12-27 18:45:15 +01:00
8b8baa27b3 W19b flexible Level Überschriften 2025-12-27 18:31:00 +01:00
386fa3ef0c WP15b vollständieg chunking strategien 2025-12-27 18:17:13 +01:00
19c96fd00f graph refacturiert 2025-12-27 14:44:44 +01:00
ecb35fb869 parser refactured WP15b 2025-12-27 14:31:12 +01:00
21cda0072a refacturing parser 2025-12-27 14:26:42 +01:00
e3858e8bc3 aufräumen und löschen von Alt-Scripten WP19b 2025-12-27 14:15:22 +01:00
f08a331bc6 herstellung vollständiger Kompaitibilität 2025-12-27 13:20:37 +01:00
cfcaa926cd WP19a Refacturierung - Edgedefaults 2025-12-27 13:14:10 +01:00
8ade34af0a WP19b- chunk_payload an neue Struktur 2025-12-27 10:50:15 +01:00
a6d37c92d2 Integration von payload modulen in die neue Struktur 2025-12-27 10:40:44 +01:00
1b7b8091a3 bug Fix 2025-12-27 10:30:09 +01:00
94e5ebf577 WP13b Refactoring ingestion und Chunker 2025-12-27 10:25:35 +01:00
82c7752266 richtige Filename für den pool Lookup 2025-12-27 06:31:57 +01:00
c676c8263f Import Script und Logging für WP15b 2025-12-26 22:07:25 +01:00
f6b2375d65 WP15b - Initial 2025-12-26 21:52:08 +01:00
b0d73cb053 app/core/ingestion.py aktualisiert
All checks were successful
Deploy mindnet to llm-node / deploy (push) Successful in 3s
2025-12-25 21:46:40 +01:00
5213d262a2 app/core/ingestion.py aktualisiert
All checks were successful
Deploy mindnet to llm-node / deploy (push) Successful in 4s
2025-12-25 21:28:54 +01:00
16e128668c Mistral sichere Parser implemntierung 2025-12-25 17:17:55 +01:00
5c55229376 bereinigung Code Basis, wegfall von Platzhaltern und Annahmen. Volle Kofigurierbarkeit 2025-12-25 08:38:08 +01:00
079cf174d4 überarbeitet mit Gemini 2025-12-24 08:07:48 +01:00
5278c75ac1 bug fix 2025-12-23 22:02:32 +01:00
a908853c30 weitere Anpassungen WP20 2025-12-23 21:57:50 +01:00
867a7a8b44 bug fix Wp20 2025-12-23 21:44:49 +01:00
0157faab89 komplett neues WP20 deployment 2025-12-23 18:51:12 +01:00
a733212c0f neue Wp20 2025-12-23 17:56:44 +01:00
36fb27edf0 komplette openrouter integration 2025-12-23 15:55:06 +01:00
c60aba63a4 WP20 openrouter 2025-12-23 15:20:14 +01:00
0ac8a14ea7 WP20 - parser 2025-12-23 14:38:27 +01:00
234949800b WP20 initial 2025-12-23 14:33:51 +01:00
2d43e0596c Test der neuen mehrzeiligen Edge-Parser
All checks were successful
Deploy mindnet to llm-node / deploy (push) Successful in 4s
2025-12-22 06:08:48 +01:00
ba46957556 bug fix 2025-12-18 17:15:43 +01:00
33b0c83c87 aufteilung retriever 2025-12-18 17:13:36 +01:00
5dd58f49f0 retriever in zwei Teilen 2025-12-18 17:05:14 +01:00
cc12dcf993 retriever neu 2025-12-18 16:59:37 +01:00
cbfdd96152 stark gekürzter retriever 2025-12-18 16:53:29 +01:00
babab3167b neue debug Version im retriever 2025-12-18 16:44:47 +01:00
c61d9c8236 bug fix 2025-12-18 16:14:03 +01:00
e47241740d letzte bereinigungen 2025-12-18 14:30:24 +01:00
136c3bb43f neue version 2025-12-18 14:00:08 +01:00
2c3ee8efd6 neu version 2025-12-18 13:56:45 +01:00
48729e6f5d bug fix 2025-12-18 13:21:53 +01:00
3eac646cb6 bug fix 2025-12-18 13:15:58 +01:00
e2ee5df815 erster Aufschlag WP22 2025-12-18 11:50:52 +01:00
edbd8f0ca8 chunk_payload soll nun auch die Overrides schreiben 2025-12-16 17:07:12 +01:00
a4272c17a9 Notizen overvride von chunk_profile und retriever_weight in der Notiz 2025-12-16 16:07:27 +01:00
c8cdf218f2 bug fix 2025-12-16 15:52:50 +01:00
b3833f2051 chunk_payload nimmt auch das richtige chunking_profile 2025-12-16 15:50:24 +01:00
a272c39613 bug_fixing, mindnet_notes enthält beide Hash und schreibt auch das richtige chunking_profile 2025-12-16 15:43:11 +01:00
6df9b54626 note_payload berechnet und speichert den Hash Wert 2025-12-16 14:53:56 +01:00
156c2c2fd5 neue hash-wert berechnung 2025-12-16 14:48:04 +01:00
c61b66b49d neue chunker, Fehler und Strategie Korrektur 2025-12-16 12:07:28 +01:00
8fadec5c2c chunker korrigiert zu scmart edges 2025-12-16 07:25:34 +01:00
7263fee4c7 prune 2025-12-15 17:55:53 +01:00
60092b378b löschen von Zombies 2025-12-15 16:07:58 +01:00
83bb18b6a7 code header 2025-12-15 15:40:39 +01:00
1fe9582cbe bug fix 2025-12-12 18:10:26 +01:00
d34f388ee1 bug fix WP11 2025-12-12 17:53:31 +01:00
87083355ee WP15 Bug fixing 2025-12-12 12:58:24 +01:00
7fc316d284 bug 2025-12-12 12:04:31 +01:00
e27b1f4621 bug fix 2025-12-12 11:56:44 +01:00
3c19e192bc bug fixing 2025-12-12 11:45:43 +01:00
df971f9c56 neuer start semantic chunker 2025-12-12 11:40:38 +01:00
2826cbadbc bug raten 2025-12-12 10:32:01 +01:00
a2856bfe87 bug fix 2025-12-12 10:30:38 +01:00
69617802c3 bug fixing chunker 2025-12-12 10:27:57 +01:00
135c02bc9a bug fixing 2025-12-12 10:25:01 +01:00
cd28a9d35c neue chunker strategie mit smart chunking 2025-12-12 10:10:05 +01:00
f6d8751f23 WP15-Chunker und Test 2025-12-12 09:07:33 +01:00
9a38daafc0 WP15 - Chunker 2025-12-12 09:02:32 +01:00
2bcf1930fe WP15 Chunker 2025-12-12 08:57:25 +01:00
2d58220a3c chunker angepasst 2025-12-12 08:53:30 +01:00
8436f4192d neuer chunker und smart test 2025-12-12 08:47:12 +01:00
13ab2b7d68 chunker mit LLM initial 2025-12-11 23:21:24 +01:00