Commit Graph

571 Commits

Author SHA1 Message Date
6aa6b32a6c Update chunking system to version 3.9.9, synchronizing parameters with the orchestrator and enhancing edge detection. Implement robust parsing to prevent duplicate edges in section propagation. Adjust comments for clarity and consistency across the codebase. 2025-12-30 08:40:19 +01:00
33dff04d47 Fix v3.3.5: Prevent duplicate Wikilink targets in text by checking for existing references before injecting section edges. Update comments for clarity and maintain consistency in the code structure. 2025-12-30 08:22:17 +01:00
65d697b7be Aktualisierung der atomaren Sektions-Chunking-Strategie auf Version 3.9.8 mit verbesserten Implementierungen des 'Pack-and-Carry-Over' Verfahrens. Einführung von Look-Ahead zur strikten Einhaltung von Sektionsgrenzen und Vermeidung redundanter Kanten-Injektionen. Anpassungen an der Chunk-Erstellung und Optimierung der Handhabung von leeren Überschriften. 2025-12-30 07:54:54 +01:00
06fc42ed37 Aktualisierung des Chunking-Parsers zur Einführung der Funktion parse_edges_robust zur Extraktion von Kanten-Kandidaten aus Wikilinks und Callouts. Verbesserung der Satzverarbeitung durch die Implementierung der Funktion split_sentences. Aktualisierung der Sektions-Chunking-Strategie auf Version 3.9.6 mit optimierter Handhabung von leeren Überschriften und Carry-Over Logik zur besseren Chunk-Erstellung. 2025-12-30 07:44:30 +01:00
3c5c567077 Aktualisierung der atomaren Sektions-Chunking-Strategie auf Version 3.9.5 mit Implementierung des 'Pack-and-Carry-Over' Verfahrens. Einführung neuer Konfigurationsoptionen für Smart-Edge und strikte Überschriftenteilung. Verbesserte Handhabung von leeren Überschriften und Anpassungen an der Warteschlangen-Verarbeitung zur Optimierung der Chunk-Erstellung. 2025-12-30 07:41:30 +01:00
8f65e550c8 Optimierung des Chunking-Parsers zur Unterstützung atomarer Blöcke und Verbesserung der Satzverarbeitung. Aktualisierung der Sektions-Chunking-Strategie auf Version 3.9.0 mit regelkonformer Implementierung und Anpassungen an der Warteschlangen-Verarbeitung für Carry-Over. Verbesserte Handhabung von Überschriften und Metadaten zur Gewährleistung der strukturellen Integrität. 2025-12-29 22:16:12 +01:00
6b83879741 Aktualisierung des Chunking-Parsers zur Verbesserung der Satzverarbeitung und Blocktrennung. Einführung des 'Pack-and-Carry-Over' Verfahrens in der Sektions-Chunking-Strategie zur Optimierung der Handhabung von großen Sektionen und Gewährleistung der Sektionsintegrität. Anpassungen an der Token-Schätzung und Verbesserung der Metadatenverarbeitung. 2025-12-29 22:04:23 +01:00
be265e9cc0 Verbesserung des Chunking-Parsers zur Unterstützung atomarer Blöcke und Gewährleistung der strukturellen Integrität von Callouts. Aktualisierung der Beschreibung und Optimierung der Satz- und Blockverarbeitung, einschließlich präziserer Handhabung von H1-Überschriften und Trennern. 2025-12-29 21:48:54 +01:00
680c36ab59 Aktualisierung des Chunking-Parsers zur Verbesserung der Blockverarbeitung und Beschreibung. Anpassungen an der atomaren Sektions-Chunking-Strategie mit optimierter Token-Schätzung und neuen Hilfsfunktionen zur besseren Handhabung von großen Sektionen. Einführung einer präziseren Schätzung für deutsche Texte und Anpassungen an der Logik zur Handhabung von Sektionen. 2025-12-29 21:45:14 +01:00
96b4f65cd1 Aktualisierung des Chunking-Parsers zur Verbesserung der Blockverarbeitung und Beschreibung. Anpassungen an der atomaren Sektions-Chunking-Strategie mit optimierter Token-Schätzung und neuen Hilfsfunktionen zur besseren Handhabung von großen Sektionen. 2025-12-29 21:37:11 +01:00
b1a897e51c Verbesserung des Chunking-Parsers zur Unterstützung aller Überschriften (H1-H6) und Optimierung der Block-Trennung für atomares Sektions-Chunking. Aktualisierung der Sektions-Chunking-Strategie mit striktem Look-Ahead und präziserer Token-Schätzung für eine verbesserte Handhabung von großen Blöcken. 2025-12-29 21:26:05 +01:00
e5a34efee9 Verbesserung des Chunking-Parsers zur Gewährleistung der Integrität von Callouts und Listen sowie Anpassungen an der Blockverarbeitung. Aktualisierung der atomaren Sektions-Chunking-Strategie mit Block-Aware-Flushing und optimierter Token-Schätzung für eine präzisere Handhabung von großen Blöcken. 2025-12-29 21:15:03 +01:00
f9ac4e4dbf Verbesserung der atomaren Sektions-Chunking-Strategie durch Einführung strikter Look-Ahead-Logik und präventiven Flush zur Gewährleistung von Sektionsgrenzen. Anpassungen an der Token-Schätzung und Umbenennung von Funktionen zur besseren Lesbarkeit. 2025-12-29 21:05:42 +01:00
1b40e29f40 Optimierung des Chunking-Parsers zur Unterstützung atomares Chunking und verbesserte Block-Trennung. Anpassungen an der Sektions-Chunking-Strategie zur Wahrung von Sektionsgrenzen und Vermeidung von Überhängen. 2025-12-29 20:57:07 +01:00
7eba1fb487 Aktualisierung des Chunking-Parsers zur Unterstützung aller Überschriften im Stream und Verbesserung der Metadatenverarbeitung. Anpassungen an der atomaren Sektions-Chunking-Strategie zur besseren Handhabung von Blockinhalten und Token-Schätzungen. 2025-12-29 20:45:04 +01:00
838083b909 Verbesserung des Chunking-Parsers zur Unterstützung von H1-Überschriften und Anpassung der Metadatenlogik. Implementierung einer atomaren Sektions-Chunking-Strategie, die Überschriften und deren Inhalte zusammenhält. 2025-12-29 20:33:43 +01:00
8f5eb36b5f neuer Chunking parser, der Headings mitführt und nicht mitten im Abschnitt schneidet 2025-12-29 20:16:23 +01:00
b7d1bcce3d Rücksprung zur Vorwersion, in der 2 Kantentypen angelegt wurden 2025-12-29 18:04:14 +01:00
03d3173ca6 neu deduplizierung für callout-edges 2025-12-29 12:42:26 +01:00
38a61d7b50 Fix: Semantische Deduplizierung in graph_derive_edges.py 2025-12-29 12:21:57 +01:00
0a429e1f7b anpassungen Kantenvergeleich 2025-12-29 11:45:25 +01:00
857ba953e3 bug fix 2025-12-29 11:00:00 +01:00
e180018c99 Anpassung gui 2025-12-29 10:31:51 +01:00
ac9956bf00 Index und Anlage neues Feld in qdrant 2025-12-29 10:16:51 +01:00
62b5a8bf65 Anpassung payload für neues Feld in edges 2025-12-29 08:40:05 +01:00
303efefcb7 bug fix 2025-12-29 08:19:40 +01:00
feeb7c2d92 Initial WP4d 2025-12-29 07:58:20 +01:00
ea9a54421a ui_fraph.old Version 2025-12-29 07:51:07 +01:00
fdf99b2bb0 bug fix
All checks were successful
Deploy mindnet to llm-node / deploy (push) Successful in 3s
2025-12-28 18:53:11 +01:00
c7cd641f89 bug fix
All checks were successful
Deploy mindnet to llm-node / deploy (push) Successful in 3s
2025-12-28 18:51:44 +01:00
18b90c8df3 bug fix
All checks were successful
Deploy mindnet to llm-node / deploy (push) Successful in 3s
2025-12-28 18:16:29 +01:00
8d3bc1c2e2 next try
All checks were successful
Deploy mindnet to llm-node / deploy (push) Successful in 3s
2025-12-28 12:00:31 +01:00
079d988034 bug fix
All checks were successful
Deploy mindnet to llm-node / deploy (push) Successful in 4s
2025-12-28 11:57:49 +01:00
aa9d388337 ui_update
All checks were successful
Deploy mindnet to llm-node / deploy (push) Successful in 3s
2025-12-28 11:54:44 +01:00
92bd3d9a47 bug fix
All checks were successful
Deploy mindnet to llm-node / deploy (push) Successful in 4s
2025-12-28 11:52:49 +01:00
53058d1504 bug fix
All checks were successful
Deploy mindnet to llm-node / deploy (push) Successful in 3s
2025-12-28 11:49:41 +01:00
3fe8463a03 bug fix
All checks were successful
Deploy mindnet to llm-node / deploy (push) Successful in 3s
2025-12-28 11:44:04 +01:00
5c4ce5d727 neuer test
All checks were successful
Deploy mindnet to llm-node / deploy (push) Successful in 4s
2025-12-28 11:41:47 +01:00
459193e7b1 test ui
All checks were successful
Deploy mindnet to llm-node / deploy (push) Successful in 3s
2025-12-28 11:38:51 +01:00
98f21323fb bug fix
All checks were successful
Deploy mindnet to llm-node / deploy (push) Successful in 4s
2025-12-28 11:35:18 +01:00
515248d438 kanten mit #Abschnitt finden
All checks were successful
Deploy mindnet to llm-node / deploy (push) Successful in 3s
2025-12-28 11:30:22 +01:00
b0c69ad3e0 UI test
All checks were successful
Deploy mindnet to llm-node / deploy (push) Successful in 3s
2025-12-28 11:23:46 +01:00
c5f29ab4ae Erweiterung der Kanten um Abschnittsinformationen
All checks were successful
Deploy mindnet to llm-node / deploy (push) Successful in 4s
2025-12-28 11:20:30 +01:00
876ee898d8 Ui_Update_cytos
All checks were successful
Deploy mindnet to llm-node / deploy (push) Successful in 3s
2025-12-28 11:15:11 +01:00
e93bab6ea7 Fassadenauflösung unter app/core
All checks were successful
Deploy mindnet to llm-node / deploy (push) Successful in 4s
2025-12-28 11:04:40 +01:00
7fa9ce81bd letzte anpassungen 2025-12-27 20:30:24 +01:00
8490911958 modularisierung 2025-12-27 20:26:00 +01:00
19d899b277 Große Modularisierung WP19b 2025-12-27 19:47:23 +01:00
37ec8b614e bug fix 2025-12-27 19:12:14 +01:00
e045371969 Anpassung der Textausgabe zur Filterung der Steuerzeichen 2025-12-27 18:59:38 +01:00
cd5383432e Parametrisierung der wesentliche Einstellwerte in der types.yaml 2025-12-27 18:45:15 +01:00
8b8baa27b3 W19b flexible Level Überschriften 2025-12-27 18:31:00 +01:00
386fa3ef0c WP15b vollständieg chunking strategien 2025-12-27 18:17:13 +01:00
19c96fd00f graph refacturiert 2025-12-27 14:44:44 +01:00
ecb35fb869 parser refactured WP15b 2025-12-27 14:31:12 +01:00
21cda0072a refacturing parser 2025-12-27 14:26:42 +01:00
e3858e8bc3 aufräumen und löschen von Alt-Scripten WP19b 2025-12-27 14:15:22 +01:00
f08a331bc6 herstellung vollständiger Kompaitibilität 2025-12-27 13:20:37 +01:00
cfcaa926cd WP19a Refacturierung - Edgedefaults 2025-12-27 13:14:10 +01:00
8ade34af0a WP19b- chunk_payload an neue Struktur 2025-12-27 10:50:15 +01:00
a6d37c92d2 Integration von payload modulen in die neue Struktur 2025-12-27 10:40:44 +01:00
1b7b8091a3 bug Fix 2025-12-27 10:30:09 +01:00
94e5ebf577 WP13b Refactoring ingestion und Chunker 2025-12-27 10:25:35 +01:00
82c7752266 richtige Filename für den pool Lookup 2025-12-27 06:31:57 +01:00
c676c8263f Import Script und Logging für WP15b 2025-12-26 22:07:25 +01:00
f6b2375d65 WP15b - Initial 2025-12-26 21:52:08 +01:00
f686ecf947 anpassung an variable Kontextgrenzen für Ollama
All checks were successful
Deploy mindnet to llm-node / deploy (push) Successful in 5s
2025-12-26 11:15:13 +01:00
6ac1f318d0 max retries eingeführt
All checks were successful
Deploy mindnet to llm-node / deploy (push) Successful in 4s
2025-12-26 10:33:40 +01:00
cbaf664123 Die Context-Drossel (10.000 Zeichen), die Deaktivierung der Retry-Kaskaden (max_retries=0) für den Echtzeit-Chat und eine robustere Fehlerbehandlung für die LLM-Aufrufe.
All checks were successful
Deploy mindnet to llm-node / deploy (push) Successful in 6s
2025-12-26 07:19:51 +01:00
43d3d8f7f3 debug für chat
All checks were successful
Deploy mindnet to llm-node / deploy (push) Successful in 4s
2025-12-26 05:21:15 +01:00
83c0c9944d angepasst an die neue LLM Logik
All checks were successful
Deploy mindnet to llm-node / deploy (push) Successful in 4s
2025-12-26 05:11:48 +01:00
b0d73cb053 app/core/ingestion.py aktualisiert
All checks were successful
Deploy mindnet to llm-node / deploy (push) Successful in 3s
2025-12-25 21:46:40 +01:00
5213d262a2 app/core/ingestion.py aktualisiert
All checks were successful
Deploy mindnet to llm-node / deploy (push) Successful in 4s
2025-12-25 21:28:54 +01:00
16e128668c Mistral sichere Parser implemntierung 2025-12-25 17:17:55 +01:00
ecfdc67485 neue Version mit Wartezeit bei externen LLM Fehler 2025-12-25 13:03:42 +01:00
c9cf1b7e4c WP20 - Chat Interface auf neue Struktur der decision.yaml 2025-12-25 11:50:08 +01:00
fa6eb0795a Config Anpassungen WP20 2025-12-25 09:58:25 +01:00
b4a07a05af Nachzügler für Config mit abgleich auf die neue .env 2025-12-25 08:41:33 +01:00
5c55229376 bereinigung Code Basis, wegfall von Platzhaltern und Annahmen. Volle Kofigurierbarkeit 2025-12-25 08:38:08 +01:00
079cf174d4 überarbeitet mit Gemini 2025-12-24 08:07:48 +01:00
4ab44e36a2 Mit ChatGBT Überarbeitetes Modell WP20 2025-12-24 07:47:45 +01:00
5278c75ac1 bug fix 2025-12-23 22:02:32 +01:00
a908853c30 weitere Anpassungen WP20 2025-12-23 21:57:50 +01:00
867a7a8b44 bug fix Wp20 2025-12-23 21:44:49 +01:00
2c073c7d3c bug Fix 2025-12-23 19:05:43 +01:00
0157faab89 komplett neues WP20 deployment 2025-12-23 18:51:12 +01:00
f1bfa40b5b semantic semantic_analyzer angepasst 2025-12-23 18:17:34 +01:00
dcc3083455 pfad Anpassung 2025-12-23 18:11:05 +01:00
a5b4dfb31f edge_registry 2025-12-23 18:07:24 +01:00
a733212c0f neue Wp20 2025-12-23 17:56:44 +01:00
49b454d2ec edge_registry hergestellt 2025-12-23 16:05:40 +01:00
36fb27edf0 komplette openrouter integration 2025-12-23 15:55:06 +01:00
c60aba63a4 WP20 openrouter 2025-12-23 15:20:14 +01:00
2a98c37ca1 integration openrouter 2025-12-23 15:09:47 +01:00
0ac8a14ea7 WP20 - parser 2025-12-23 14:38:27 +01:00
234949800b WP20 initial 2025-12-23 14:33:51 +01:00
2d43e0596c Test der neuen mehrzeiligen Edge-Parser
All checks were successful
Deploy mindnet to llm-node / deploy (push) Successful in 4s
2025-12-22 06:08:48 +01:00
2cd3605017 doku 2025-12-19 09:02:49 +01:00
0d71f41a13 dictionary parsen 2025-12-18 18:53:01 +01:00
f5bfb0cfb4 edge regsitry debug 2025-12-18 18:50:45 +01:00
f7ab32ebf4 debug 2025-12-18 18:40:46 +01:00
64dbd57fc5 Pfad auflösen zum dictionary 2025-12-18 18:37:23 +01:00
ba46957556 bug fix 2025-12-18 17:15:43 +01:00
33b0c83c87 aufteilung retriever 2025-12-18 17:13:36 +01:00
5dd58f49f0 retriever in zwei Teilen 2025-12-18 17:05:14 +01:00
cc12dcf993 retriever neu 2025-12-18 16:59:37 +01:00
cbfdd96152 stark gekürzter retriever 2025-12-18 16:53:29 +01:00
babab3167b neue debug Version im retriever 2025-12-18 16:44:47 +01:00
c61d9c8236 bug fix 2025-12-18 16:14:03 +01:00
e47241740d letzte bereinigungen 2025-12-18 14:30:24 +01:00
136c3bb43f neue version 2025-12-18 14:00:08 +01:00
2c3ee8efd6 neu version 2025-12-18 13:56:45 +01:00
48729e6f5d bug fix 2025-12-18 13:21:53 +01:00
3eac646cb6 bug fix 2025-12-18 13:15:58 +01:00
8af744fc97 bug fix 2025-12-18 12:48:57 +01:00
7f7d8c87db neuer semantik retriever im Chat 2025-12-18 12:40:34 +01:00
43f695de54 bug fix 2025-12-18 12:17:10 +01:00
e2ee5df815 erster Aufschlag WP22 2025-12-18 11:50:52 +01:00
edbd8f0ca8 chunk_payload soll nun auch die Overrides schreiben 2025-12-16 17:07:12 +01:00
a4272c17a9 Notizen overvride von chunk_profile und retriever_weight in der Notiz 2025-12-16 16:07:27 +01:00
c8cdf218f2 bug fix 2025-12-16 15:52:50 +01:00
b3833f2051 chunk_payload nimmt auch das richtige chunking_profile 2025-12-16 15:50:24 +01:00
a272c39613 bug_fixing, mindnet_notes enthält beide Hash und schreibt auch das richtige chunking_profile 2025-12-16 15:43:11 +01:00
6df9b54626 note_payload berechnet und speichert den Hash Wert 2025-12-16 14:53:56 +01:00
156c2c2fd5 neue hash-wert berechnung 2025-12-16 14:48:04 +01:00
6011b96fc1 neue ui Save-logik 2025-12-16 14:11:17 +01:00
c61b66b49d neue chunker, Fehler und Strategie Korrektur 2025-12-16 12:07:28 +01:00
8fadec5c2c chunker korrigiert zu scmart edges 2025-12-16 07:25:34 +01:00
7263fee4c7 prune 2025-12-15 17:55:53 +01:00
60092b378b löschen von Zombies 2025-12-15 16:07:58 +01:00
9025af62f0 wiederhergstellt 2025-12-15 15:45:36 +01:00
83bb18b6a7 code header 2025-12-15 15:40:39 +01:00
eccdf43cd3 update 2025-12-14 16:45:48 +01:00
9e25e5b26b merken der Einstellungen 2025-12-14 16:40:13 +01:00
cee8fc05c2 verbesserung 2025-12-14 16:35:39 +01:00
9a55d45832 update 2025-12-14 16:29:08 +01:00
48de6aed8c neu Strategie zum Node Select 2025-12-14 16:22:48 +01:00
8772271648 bug fix 2025-12-14 16:15:32 +01:00
0cb216c2bc update 2025-12-14 16:12:19 +01:00
eb45d78c47 kleine visuelle verbesserung an ui_graph_cytoscape 2025-12-14 15:42:36 +01:00
582aed61ec bug fix 2025-12-14 15:35:39 +01:00
0294414d26 emprove ui_graph_cytoscape 2025-12-14 15:31:52 +01:00
3a2a78e0fd erneuter upgrade con ui_graph_cytoscape 2025-12-14 15:26:47 +01:00
245a96809a upgrade cytoscape 2025-12-14 15:16:01 +01:00
bb41b11cce neue bibliothek 2025-12-14 15:05:24 +01:00
af73ab9371 bug fix 2025-12-14 15:01:58 +01:00
cba1337066 bug fix 2025-12-14 15:00:05 +01:00
d50ed70467 cytoscape Versuch 2025-12-14 14:57:34 +01:00
f313f0873b ausgehende Kanten 2025-12-14 14:50:06 +01:00
f7a4dab707 problem fix
ausgehende Kanten
2025-12-14 14:45:50 +01:00