Allow remote detect in production until local Ollama is connected.
Keep KANSHO_ENV=production and require an explicit operator flag instead of treating Prod as Development. Promote to Prod only via merge commit on main. Co-authored-by: Cursor <cursoragent@cursor.com>
This commit is contained in:
1 parent
dd7858347c
commit
af6fe55577
23 files changed
+236
-27
No files matched your search
+2
-2
@@ -63,7 +63,7 @@ Watchtower bleibt aus.
|
||||
| `deploy-prod.yml` | Push `main` | Deploy nach `/home/lars/docker/kansho`, Health `localhost:8005` |
|
||||
| `test.yml` | nach erfolgreichem `Deploy Development` | pytest auf `kansho_test`, nicht-schreibender Smoke gegen die laufende Dev-API, Frontend-Build. Keine Live-Provider-Keys. |
|
||||
|
||||
Prod nur über Merge `develop` → `main`, kein direkter Prod-Schreibzugriff.
|
||||
Prod nur über Merge-Commit `develop` → `main` (`git merge --no-ff develop` auf `main`), danach Push von `main`. Kein Fast-Forward, kein direkter Commit auf `main`, kein manuelles `git pull` auf dem Prod-Checkout. Gitea (`deploy-prod.yml`) ist der einzige Prod-Schreibpfad für Code.
|
||||
|
||||
---
|
||||
|
||||
@@ -89,7 +89,7 @@ Windows-Vorbereitung (Kopie, nicht das einzige Backup):
|
||||
# Archiv prüfen, dann SQLite+Medien auf den Pi kopieren — nicht nach Gitea.
|
||||
```
|
||||
|
||||
4. Abnahme Dev: Profilanzahl, Journal-Days/Entries, Messages, ein Medien-GET, Gateway fail-closed, `KANSHO_ENV=production` ohne Klartext-Detect.
|
||||
4. Abnahme Dev: Profilanzahl, Journal-Days/Entries, Messages, ein Medien-GET, Gateway fail-closed. Production ohne `KANSHO_ALLOW_REMOTE_DETECT` blockiert Klartext-Detect; der Operator-Übergang bis Ollama ist explizit und dokumentiert (`guardrails.md` §22.3).
|
||||
5. Erst dann derselbe Import nach Prod (`--confirm`, leeres Volume). `--replace` nur auf einer bewussten Kopie.
|
||||
|
||||
`debug.persist_traces` nach dem Import prüfen.
|
||||
|
||||
@@ -693,6 +693,20 @@ Additiv. Keine Wortlisten und keine textbezogenen Ausnahmen.
|
||||
|
||||
**Additiv 2026-08-28 (Prüffassung vs. Ausgabe):** Die interne Klartext-zu-Token-Normalisierung der Modellantwort bleibt die Prüffassung. Die sichtbare und gespeicherte Fassung rehydriert nur tatsächlich ausgegebene Platzhalter; modellseitiger Klartext behält seine Oberflächenform.
|
||||
|
||||
## 22.3 Übergang: externes Klartext-Detect in Production (2026-09-08)
|
||||
|
||||
Additiv. Ändert nicht das Ziel. Technische Abbildung: `../technical/privacy_gateway.md` §9.6.
|
||||
|
||||
**Entschieden (Endbetrieb):** Semantische Detection vor jedem persönlichen Generate bleibt Pflicht. Produktivziel ist ein lokales Detect-Modell. Das Privacy Gateway bleibt nicht abschaltbar. Generate sieht nur maskierten Kontext. Keys bleiben in der Umgebung, nicht in der Datenbank.
|
||||
|
||||
**Entschieden (Übergang, explizite Operatoranforderung):** Bis ein lokales Detect (Ollama) angebunden ist, darf Production externes Klartext-Detect nutzen, wenn der Operator `KANSHO_ALLOW_REMOTE_DETECT` setzt. Development/Test erlauben remote Detect weiter ohne dieses Flag. Ohne Flag bleibt Production fail-closed, sobald Detect nicht lokal ist.
|
||||
|
||||
Das ist kein Admin-Feature-Flag und kein Umdeuten von `KANSHO_ENV=production` nach Development. Default bleibt blockiert. Die Detect-Stufe sendet in diesem Übergang Klartext an den konfigurierten Detect-Endpunkt; das ist das bekannte Restrisiko der Testphase, nicht der Zielpfad.
|
||||
|
||||
**Entschieden (Modellwahl):** Maskierung und Sprachmodell bleiben zwei getrennte Stufen. URL und Modell sind je Stufe in Admin → Schnittstellen wählbar. Das größere Modell gehört an Generate, nicht zwingend an Detect.
|
||||
|
||||
**Später prüfen:** Flag entfernen, sobald lokales Detect auf Prod läuft. Dann wieder Production ohne Klartext-Detect.
|
||||
|
||||
---
|
||||
|
||||
# 23. Externe Referenzquellen
|
||||
|
||||
@@ -137,6 +137,8 @@ Additiv zu Abschnitt 2. Kein horizontaler Slice, kein Target-Model-Vorbau. Korri
|
||||
|
||||
Tests: `backend/tests/test_architecture_correction.py` plus Anpassungen in `test_mvp_journal.py` und `test_privacy_detect.py`.
|
||||
|
||||
**Additiv 2026-09-08:** Die Detect-Zeile in der Tabelle oben ist der Ist-Stand von 2026-08-25. Pattern-Fallback ist überholt. Production bleibt ohne lokales Detect default fail-closed; der Operator-Übergang `KANSHO_ALLOW_REMOTE_DETECT` ist in `guardrails.md` §22.3 festgehalten.
|
||||
|
||||
---
|
||||
|
||||
# 2.2 Profile Governance (2026-08-25)
|
||||
@@ -389,7 +391,7 @@ Er ist **noch nicht Kanshō im Sinne der Vision**. Die gefährlichen Drifts sind
|
||||
| Automatische Space-Erkennung | nein | **Bewusst offen** |
|
||||
| Semantisches Retrieval | nein | **Bewusst offen** |
|
||||
| Session Summary | nein | **Bewusst offen** |
|
||||
| Zusätzliche Enrichment-Calls | Detect in Development/Test optional remote | **Abweichung** gegenüber Produktivziel „Detect lokal“; Produktivmodus lässt externes Klartext-Detect nicht als normalen Pfad zu |
|
||||
| Zusätzliche Enrichment-Calls | Detect in Development/Test optional remote | **Abweichung** gegenüber Produktivziel „Detect lokal“; Produktivmodus lässt externes Klartext-Detect nicht als normalen Pfad zu. **Additiv 2026-09-08:** expliziter Operator-Übergang `KANSHO_ALLOW_REMOTE_DETECT`, Ziel bleibt lokal. |
|
||||
|
||||
## 4.4 Foundation Non-Goals
|
||||
|
||||
|
||||
@@ -51,6 +51,8 @@ Nicht übernehmen: Mitai-Admin für Körpertarife, Coupons, Training Types als K
|
||||
|
||||
**Status: Code vorhanden.** Admin-Seite `/admin/providers` und `GET/PUT /api/admin/providers`. Zeigt URL, Modell, ZDR, No-Train, `ready` und `key_present` – niemals den Secret. Key-Schreiben aktualisiert nur `backend/.env`. Generate bleibt fail-closed ohne Key/ZDR/No-Train. Kein Gateway-Bypass.
|
||||
|
||||
**Additiv 2026-09-08:** Zwei Stufen mit je eigenem Modell. `GET /api/admin/providers/models` liefert den Katalog zur Auswahl (soft-fail). `remote_plaintext_reason` macht den Production-Übergang `KANSHO_ALLOW_REMOTE_DETECT` sichtbar, setzt ihn aber nicht.
|
||||
|
||||
## 4.2 Implementierungsstand (Dialog-Testspur)
|
||||
|
||||
**Additiv 2026-08-26:** Lokale Identitätsregistry unter `/admin/identities`. Detect-Vorschläge sind unbestätigt. Compact-Diagnose enthält Detect-Abdeckung, Chunks, Kosten und Laufzeit, aber keine Labels.
|
||||
|
||||
@@ -179,7 +179,7 @@ Editor speichert Markdown, nicht HTML. Medien-Token bleiben lokal. Dirty: In-App
|
||||
|
||||
| Schicht | Rolle | Call |
|
||||
|---|---|---|
|
||||
| Maskierung | `detect` | Vollständige semantische Detection des Generate-Egress. Externes Klartext-Detect nur Development/Test (`KANSHO_ENV`). Produktiv: lokales Detect-Modell. Kein Pattern-Fallback. |
|
||||
| Maskierung | `detect` | Vollständige semantische Detection des Generate-Egress. Externes Klartext-Detect in Development/Test; in Production default-off, optional Operator-Übergang `KANSHO_ALLOW_REMOTE_DETECT`. Ziel: lokales Detect-Modell. Kein Pattern-Fallback. |
|
||||
| Dialogzug | `generate` | Operation + Impuls |
|
||||
| Journalentwurf | `generate` | Explizit, getrennt |
|
||||
|
||||
@@ -238,7 +238,7 @@ Nur die **technische** Lage. Bewertung gegen Spec und Vision: Fit-Gap.
|
||||
| Thema | Ist | Zielrahmen / Produktiv |
|
||||
|---|---|---|
|
||||
| DB | SQLite Datei | PostgreSQL |
|
||||
| Detect | Semantische Request-Detection; Chunking; fail-closed ohne vollständige Abdeckung; Detect-Treffer nicht auto-persistiert. Externes Klartext-Detect nur Development/Test. | lokales Modell (Ollama) als Ziel |
|
||||
| Detect | Semantische Request-Detection; Chunking; fail-closed ohne vollständige Abdeckung; Detect-Treffer nicht auto-persistiert. Externes Klartext-Detect in Development/Test; Production default-off, optional `KANSHO_ALLOW_REMOTE_DETECT` bis lokales Detect. | lokales Modell (Ollama) als Ziel |
|
||||
| Fehlerkörper | oft Objekt | `{detail: string}` |
|
||||
| `/dialog` | Admin-Harness, aus der Produkt-Nav entfernt | nicht MVP-Screen |
|
||||
| Response Validation | blockiert Klartext-Identität in der Rohantwort vor Demask; keine Quasi-Identifikatoren | `privacy_gateway.md` §9.2 voll |
|
||||
@@ -258,7 +258,7 @@ Additiv zum Slice, 2026-08-25. Kein Target-Model-Vorbau.
|
||||
- Provenance von Draft und Entry-Version ist relational (`journal_*_source_refs`); JSON-ID-Listen werden verlustfrei migriert. Source-Messages bleiben unangetastet.
|
||||
- Context Builder spricht Selection-Specs; Recency bleibt die aktuelle Retrieval-Heuristik, nicht die fachliche API.
|
||||
- Dialogzug kann begrenzte jüngere Original-Conversations desselben Space sehen, ohne denselben Journal Day voll zu laden.
|
||||
- Externes Klartext-Detect ist kein Produktmodus (`KANSHO_ENV=production` ohne lokales Detect fail-closed). Lokales Detect bleibt austauschbare Rolle. Detect-Ausgabe persistiert keine aktive Identität.
|
||||
- Externes Klartext-Detect ist kein Produktmodus (`KANSHO_ENV=production` ohne lokales Detect fail-closed). **Additiv 2026-09-08:** Operator darf mit `KANSHO_ALLOW_REMOTE_DETECT` den Übergang bis Ollama explizit öffnen; ohne Flag bleibt der Block. Lokales Detect bleibt austauschbare Rolle. Detect-Ausgabe persistiert keine aktive Identität.
|
||||
- Response Validation blockiert Klartext-Identität vor Demask. Dialog-Egress maskiert den ganzen Prompt inkl. Opening/Space-Kontext; ein Leak bricht den Zug nicht leer ab. Journal-Generate bricht bei einem Leak nach Retry nicht ab: lokales Quellenartefakt bzw. lokaler Entwurf, die leckende Modellantwort wird nicht verwendet.
|
||||
- Konsolidierung nutzt lokale Signale, nicht `count >= 2`.
|
||||
- `/dialog` ist Admin-Harness, nicht Produkt-IA.
|
||||
|
||||
@@ -241,6 +241,16 @@ Bestätigte Registry-Zeilen und bestätigte Aliase werden im gesamten gerenderte
|
||||
|
||||
Contract-Tests: `backend/tests/test_privacy_detect.py`, `backend/tests/test_identity_registry.py`, `backend/tests/test_privacy_response_integrity.py`, `backend/tests/test_detect_contract_retry.py`. Sie beweisen Schema, Fail-closed, span-genaue Maskierung und Datenfluss, nicht semantische Modellleistung. Opt-in: `python entity_detect_eval.py --live` mit synthetischen Sätzen und exakten erwarteten Spans. Ohne diesen Lauf bleibt die Live-Qualität unbestätigt. Das aktuell konfigurierte `openai/gpt-4.1-nano` gilt durch reale False-Positive-Vorschläge qualitativ nicht als zuverlässig bestätigt; das Modell wird deshalb nicht stillschweigend gewechselt.
|
||||
|
||||
## 9.6 Übergang: `KANSHO_ALLOW_REMOTE_DETECT` (2026-09-08)
|
||||
|
||||
Additiv. Fachliches Home: `../functional/guardrails.md` §22.3.
|
||||
|
||||
Default in `KANSHO_ENV=production`: externes Klartext-Detect bleibt fail-closed (`remote_detect_blocked_production`). Lokales Detect bleibt erlaubt. Development/Test erlauben remote Detect ohne Extra-Flag.
|
||||
|
||||
Operator-Übergang bis Ollama: `KANSHO_ALLOW_REMOTE_DETECT=1` (Compose `.env`, Container neu anlegen). Das Gateway, die Pflicht-Detection vor Generate, ZDR/No-Train für Generate und die Key-Trennung bleiben. Admin kann das Flag nicht setzen. URL und Modell je Stufe bleiben in `provider_settings`.
|
||||
|
||||
Status in `GET /api/admin/providers`: `remote_plaintext_allowed`, `remote_plaintext_reason` (`non_production` | `operator_override` | `blocked`). Modellauswahl: `GET /api/admin/providers/models` (Katalog, soft-fail).
|
||||
|
||||
## 10. Offene Fragen
|
||||
|
||||
Übernommen aus `guardrails.md` §21, hier nicht vorentschieden: Entitätstypen, Quasi-Identifikatoren, Pseudonym-Stabilität, Mehrnutzer-Trennung der Mappings, Verschlüsselung der Mapping-Tabelle, rechtliche DSFA bei Mehrbenutzer-Produktbetrieb.
|
||||
|
||||
@@ -78,7 +78,7 @@ Mitai-Pipeline als Vorlage:
|
||||
```text
|
||||
push develop → deploy-dev.yml → compose build/up → Healthcheck
|
||||
successful Dev deploy → test.yml (pytest on kansho_test, Live-Smoke /api/health, Frontend-Build)
|
||||
merge in main → deploy-prod.yml
|
||||
merge --no-ff develop in main → push main → deploy-prod.yml
|
||||
```
|
||||
|
||||
**Status: entschieden.** Workflows liegen unter `.gitea/workflows/` (`deploy-dev.yml`, `deploy-prod.yml`, `test.yml`). Muster analog Kairo: `git reset --hard`, `build --no-cache`, Health `GET /api/health`.
|
||||
|
||||
@@ -136,7 +136,7 @@ Nach Phase A zwingend, nach B/C erneut:
|
||||
2. Einen Journal Day öffnen, kurzen Dialog, Generate nur wenn Keys gesetzt.
|
||||
3. Opening-Invariante: abgeschlossener Vortag erzeugt keinen falschen Plan-Impuls.
|
||||
4. Admin → Schnittstellen: Keys aus `.env`, nicht aus der DB.
|
||||
5. Kein Klartext-Detect in `KANSHO_ENV=production`.
|
||||
5. Kein Klartext-Detect in `KANSHO_ENV=production` ohne `KANSHO_ALLOW_REMOTE_DETECT`. Der Operator-Übergang bis Ollama ist explizit, kein Umdeuten nach Development.
|
||||
6. Regression: `.\scripts\test-mvp.ps1`
|
||||
|
||||
---
|
||||
|
||||
Reference in new issue
Block a user