From 9d5b52a3c17054895d6a73650e1a02ba85e70ffa Mon Sep 17 00:00:00 2001 From: Lars Date: Wed, 28 Oct 2026 16:37:23 +0100 Subject: [PATCH] Activate dev container deploy on push to develop - .gitea/workflows/deploy-dev.yml: prepares the host (synthetic test vault, dev.env from the example on first run, never overwritten), then runs deploy/deploy.sh dev. Prod workflow stays an inactive template. - deploy/testvault: synthetic notes from scripts/make_test_vault.py plus synthetic edge_vocabulary.md/graph_schema.md (vault sentinel). Co-Authored-By: Claude Opus 5.5 --- .gitea/workflows/deploy-dev.yml | 48 +++++++++++++++++++ deploy/gitea-workflows/deploy-dev.yml | 31 ------------ deploy/testvault/20_experiences/exp-one.md | 23 +++++++++ deploy/testvault/20_experiences/exp-two.md | 20 ++++++++ deploy/testvault/30_projects/project-demo.md | 20 ++++++++ deploy/testvault/40_concepts/concept-alpha.md | 16 +++++++ deploy/testvault/40_concepts/missing-note.md | 15 ++++++ .../_system/dictionary/edge_vocabulary.md | 28 +++++++++++ .../_system/dictionary/graph_schema.md | 30 ++++++++++++ docs/04_Operations/04_docker_deployment.md | 20 ++++++-- .../05_docker_migration_plan.md | 4 +- tests/test_container_preflight.py | 21 +++++++- 12 files changed, 237 insertions(+), 39 deletions(-) create mode 100644 .gitea/workflows/deploy-dev.yml delete mode 100644 deploy/gitea-workflows/deploy-dev.yml create mode 100644 deploy/testvault/20_experiences/exp-one.md create mode 100644 deploy/testvault/20_experiences/exp-two.md create mode 100644 deploy/testvault/30_projects/project-demo.md create mode 100644 deploy/testvault/40_concepts/concept-alpha.md create mode 100644 deploy/testvault/40_concepts/missing-note.md create mode 100644 deploy/testvault/_system/dictionary/edge_vocabulary.md create mode 100644 deploy/testvault/_system/dictionary/graph_schema.md diff --git a/.gitea/workflows/deploy-dev.yml b/.gitea/workflows/deploy-dev.yml new file mode 100644 index 0000000..b359a65 --- /dev/null +++ b/.gitea/workflows/deploy-dev.yml @@ -0,0 +1,48 @@ +# Mindnet DEV als Container: jeder Push auf develop baut und startet den Dev-Stack +# auf dem Runner-Host (Muster wie Kansho). Läuft parallel zu systemd; Prod-Qdrant, +# Prod-Vault und die systemd-Dienste werden nicht angefasst. +# Ablauf und Abbruchbedingungen: deploy/deploy.sh. Prod-Gegenstück (noch inaktiv): +# deploy/gitea-workflows/deploy-prod.yml. + +name: Deploy mindnet DEV (Container) + +on: + push: + branches: [develop] + workflow_dispatch: + +concurrency: + group: deploy-mindnet-dev + cancel-in-progress: false + +jobs: + deploy: + # Runner auf dem Zielhost (heute llm-node). Bei einem Umzug auf einen anderen + # Mini-PC nur das Label und den Pfad der env-Datei anpassen. + runs-on: linux_host + env: + # Liegt auf dem Host, außerhalb von Git (Vorlage: deploy/env/dev.env.example). + MINDNET_ENV_FILE: /home/llmadmin/docker/mindnet-dev/dev.env + steps: + - name: Checkout + uses: actions/checkout@v4 + + - name: Host vorbereiten (synthetischer Test-Vault, dev.env beim ersten Lauf) + run: | + set -euo pipefail + HOST_DIR="$(dirname "$MINDNET_ENV_FILE")" + install -d -m 0750 "$HOST_DIR" + install -d -m 0755 "$HOST_DIR/testvault" + # Nur synthetische Daten aus dem Repo; für UID 10001 im Container lesbar. + rsync -a --delete --chmod=D755,F644 deploy/testvault/ "$HOST_DIR/testvault/" + if [ ! -f "$MINDNET_ENV_FILE" ]; then + sed "s#^MINDNET_VAULT_HOST_PATH=.*#MINDNET_VAULT_HOST_PATH=$HOST_DIR/testvault#" \ + deploy/env/dev.env.example > "$MINDNET_ENV_FILE" + chmod 600 "$MINDNET_ENV_FILE" + echo "dev.env aus Vorlage angelegt: $MINDNET_ENV_FILE" + fi + docker version --format 'Docker {{.Server.Version}}' + docker compose version + + - name: Test, Build, Preflight, Start, Smoke + run: bash deploy/deploy.sh dev diff --git a/deploy/gitea-workflows/deploy-dev.yml b/deploy/gitea-workflows/deploy-dev.yml deleted file mode 100644 index 9a689b8..0000000 --- a/deploy/gitea-workflows/deploy-dev.yml +++ /dev/null @@ -1,31 +0,0 @@ -# VORLAGE, NICHT AKTIV: liegt absichtlich nicht unter .gitea/workflows/. -# Aktivierung erst mit Freigabe (Gate G3, Dev-Start auf dem Runner-Host): -# git mv deploy/gitea-workflows/deploy-dev.yml .gitea/workflows/deploy-dev.yml -# Danach deployt jeder Push auf develop den Dev-Stack (Muster wie Kansho). -# Ablauf und Abbruchbedingungen: deploy/deploy.sh. - -name: Deploy mindnet DEV (Container) - -on: - push: - branches: [develop] - workflow_dispatch: - -concurrency: - group: deploy-mindnet-dev - cancel-in-progress: false - -jobs: - deploy: - # Runner auf dem Zielhost (heute llm-node). Bei einem Umzug auf einen anderen - # Mini-PC nur das Label und den Pfad der env-Datei anpassen. - runs-on: linux_host - env: - # Liegt auf dem Host, außerhalb von Git (Vorlage: deploy/env/dev.env.example). - MINDNET_ENV_FILE: /home/llmadmin/docker/mindnet-dev/dev.env - steps: - - name: Checkout - uses: actions/checkout@v4 - - - name: Test, Build, Preflight, Start, Smoke - run: bash deploy/deploy.sh dev diff --git a/deploy/testvault/20_experiences/exp-one.md b/deploy/testvault/20_experiences/exp-one.md new file mode 100644 index 0000000..2a961e4 --- /dev/null +++ b/deploy/testvault/20_experiences/exp-one.md @@ -0,0 +1,23 @@ +--- +title: "Experience One" +id: "exp-one" +type: "experience" +status: "active" +created: "2026-10-28T16:35:23+01:00" +updated: "2026-10-28T16:35:23+01:00" +tags: ["area/mindnet","type/experience","topic/test"] +--- + +## Kontext +Diese Notiz verlinkt auf ein existierendes Konzept und auf eine noch **fehlende** Note. + +## Beobachtung +- Bezug zu [[concept-alpha]] +- Offener Verweis auf [[missing-note]] + +## Interpretation +Wenn später eine Datei für 'missing-note' angelegt wird, sollte der Importer die Kanten nachziehen. + +## Mögliche Verbindungen +- [[concept-alpha]] +- [[missing-note]] diff --git a/deploy/testvault/20_experiences/exp-two.md b/deploy/testvault/20_experiences/exp-two.md new file mode 100644 index 0000000..5060205 --- /dev/null +++ b/deploy/testvault/20_experiences/exp-two.md @@ -0,0 +1,20 @@ +--- +title: "Experience Two" +id: "exp-two" +type: "experience" +status: "active" +created: "2026-10-28T16:35:23+01:00" +updated: "2026-10-28T16:35:23+01:00" +tags: ["area/mindnet","type/experience","topic/test"] +--- + +## Kontext +Zweite Experience, die auf dasselbe Konzept verweist, ergänzt um **externe Links**. + +## Beobachtung +Verweis auf [[concept-alpha]]. Zusätzliche Ressourcen: +- Link: [Beispielseite](https://example.com "Referenz") +- Kontakt: [E-Mail](mailto:info@example.com) + +## Mögliche Verbindungen +- [[concept-alpha]] diff --git a/deploy/testvault/30_projects/project-demo.md b/deploy/testvault/30_projects/project-demo.md new file mode 100644 index 0000000..9c38766 --- /dev/null +++ b/deploy/testvault/30_projects/project-demo.md @@ -0,0 +1,20 @@ +--- +title: "Project Demo" +id: "project-demo" +type: "project" +status: "active" +created: "2026-10-28T16:35:23+01:00" +updated: "2026-10-28T16:35:23+01:00" +tags: ["area/mindnet","type/project","topic/test"] +--- + +## Scope +Ein kleines Demo-Projekt, das andere Notizen referenziert. + +## Arbeitspakete +- AP-1: Zusammenhang erklären (siehe [[concept-alpha]]) +- AP-2: Ereignis berücksichtigen (siehe [[exp-one]]) + +## Mögliche Verbindungen +- [[concept-alpha]] +- [[exp-one]] diff --git a/deploy/testvault/40_concepts/concept-alpha.md b/deploy/testvault/40_concepts/concept-alpha.md new file mode 100644 index 0000000..103d179 --- /dev/null +++ b/deploy/testvault/40_concepts/concept-alpha.md @@ -0,0 +1,16 @@ +--- +title: "Concept Alpha" +id: "concept-alpha" +type: "concept" +status: "active" +created: "2026-10-28T16:35:23+01:00" +updated: "2026-10-28T16:35:23+01:00" +tags: ["area/mindnet","type/concept","topic/test"] +--- + +## Beschreibung +Dies ist ein einfaches Konzept für Testzwecke. Es wird von anderen Notizen referenziert. + +## Mögliche Verbindungen +- [[exp-one]] +- [[project-demo]] diff --git a/deploy/testvault/40_concepts/missing-note.md b/deploy/testvault/40_concepts/missing-note.md new file mode 100644 index 0000000..f774bbb --- /dev/null +++ b/deploy/testvault/40_concepts/missing-note.md @@ -0,0 +1,15 @@ +--- +title: "Missing Note (jetzt angelegt)" +id: "missing-note" +type: "concept" +status: "active" +created: "2026-10-28T16:35:23+01:00" +updated: "2026-10-28T16:35:23+01:00" +tags: ["area/mindnet","type/concept","topic/test"] +--- + +## Kontext +Diese Notiz wurde **nachträglich** erstellt, um einen zuvor offenen Link zu schließen. + +## Mögliche Verbindungen +- [[exp-one]] diff --git a/deploy/testvault/_system/dictionary/edge_vocabulary.md b/deploy/testvault/_system/dictionary/edge_vocabulary.md new file mode 100644 index 0000000..ffdf9f9 --- /dev/null +++ b/deploy/testvault/_system/dictionary/edge_vocabulary.md @@ -0,0 +1,28 @@ +--- +id: edge_vocabulary +title: Edge Vocabulary (Test-Vault) +type: reference +status: system +system_role: config +--- + +# Edge Vocabulary (synthetisch, nur für den Dev-Container) + +Dient zugleich als Sentinel des Container-Preflights. + +| System-Typ | Inverse | Aliasse | Beschreibung | +| :--- | :--- | :--- | :--- | +| **`caused_by`** | `causes` | ausgelöst_durch, wegen | Kausalität | +| **`derived_from`** | `source_of` | abgeleitet_von, quelle | Herkunft | +| **`based_on`** | `foundation_for` | basiert_auf, grundlage | Fundament | +| **`solves`** | `solved_by` | löst, beantwortet | Lösung | +| **`part_of`** | `has_part` | teil_von, gehört_zu | Hierarchie | +| **`depends_on`** | `required_by` | hängt_ab_von, braucht, enforced_by | Abhängigkeit | +| **`blocks`** | `blocked_by` | blockiert, verhindert | Blocker | +| **`uses`** | `used_by` | nutzt, verwendet | Werkzeug | +| **`guides`** | `guided_by` | steuert, leitet | Richtung | +| **`next`** | `prev` | danach, folgt | Prozess | +| **`prev`** | `next` | davor, vorgänger | Prozess | +| **`related_to`** | `related_to` | siehe_auch, kontext | Lose Assoziation | +| **`similar_to`** | `similar_to` | ähnlich_wie | Ähnlichkeit | +| **`references`** | `referenced_by` | Kein Alias | Standard-Verweis | diff --git a/deploy/testvault/_system/dictionary/graph_schema.md b/deploy/testvault/_system/dictionary/graph_schema.md new file mode 100644 index 0000000..1910eeb --- /dev/null +++ b/deploy/testvault/_system/dictionary/graph_schema.md @@ -0,0 +1,30 @@ +--- +id: graph_schema +title: Graph Schema (Test-Vault) +type: reference +status: system +system_role: config +--- + +# Graph Schema (synthetisch, nur für den Dev-Container) + +## Source: `experience` + +| Target | Typical | Prohibited | +|---|---|---| +| `concept` | based_on, related_to | - | +| `project` | part_of, related_to | - | + +## Source: `project` + +| Target | Typical | Prohibited | +|---|---|---| +| `concept` | uses, based_on | - | +| `experience` | derived_from, related_to | - | + +## Source: `concept` + +| Target | Typical | Prohibited | +|---|---|---| +| `concept` | related_to, similar_to | - | +| `experience` | related_to | - | diff --git a/docs/04_Operations/04_docker_deployment.md b/docs/04_Operations/04_docker_deployment.md index f5d92ec..7f83d75 100644 --- a/docs/04_Operations/04_docker_deployment.md +++ b/docs/04_Operations/04_docker_deployment.md @@ -9,7 +9,7 @@ context: "Container-Betrieb von Mindnet (Dev/Prod) auf llm-node. Vorbereitung, n # Container-Betrieb (Docker Compose) -Stand: 28.10.2026. **Status: vorbereitet, nicht aktiv.** Produktion läuft unverändert über systemd und `.gitea/workflows/deploy.yml` (siehe [Deployment Guide](04_deployment_guide.md)). Der Containerstand basiert auf dem stabilen `main`-Verhalten **ohne** Privacy Gateway. +Stand: 28.10.2026. **Status: Dev aktiv (Push auf `develop`), Prod vorbereitet, nicht aktiv.** Produktion läuft unverändert über systemd und `.gitea/workflows/deploy.yml` (siehe [Deployment Guide](04_deployment_guide.md)). Der Containerstand basiert auf dem stabilen `main`-Verhalten **ohne** Privacy Gateway. ## 1. Überblick @@ -148,12 +148,22 @@ Hinweis: Ein Befehl hinter `run` ersetzt nur `CMD`; `entrypoint.py` lehnt unbeka ## 8. Gitea-Pipeline: `develop` → Dev, `main` → Prod -Gleiches Muster wie Kansho, aber auf dem eigenen Runner des Zielhosts (heute llm-node, Label `linux_host`, laut [Server-Handbuch](04_server_operation_manual.md) als `root`). Die Workflows liegen als **inaktive Vorlagen** unter `deploy/gitea-workflows/`, weil Gitea nur `.gitea/workflows/` ausführt: +Gleiches Muster wie Kansho, aber auf dem eigenen Runner des Zielhosts (heute llm-node, Label `linux_host`, laut [Server-Handbuch](04_server_operation_manual.md) als `root`). Gitea führt nur `.gitea/workflows/` aus: -| Workflow | Trigger | Aktivierung | +| Workflow | Trigger | Status | | --- | --- | --- | -| `deploy-dev.yml` | Push `develop`, manuell | Gate G3: `git mv` nach `.gitea/workflows/` | -| `deploy-prod.yml` | Push `main`, manuell | Gate G5, im **selben Commit** `git rm .gitea/workflows/deploy.yml` (systemd), sonst deployen beide | +| `.gitea/workflows/deploy-dev.yml` | Push `develop`, manuell | **aktiv** (G3) | +| `deploy/gitea-workflows/deploy-prod.yml` | Push `main`, manuell | Vorlage. Aktivierung bei G5, im **selben Commit** `git rm .gitea/workflows/deploy.yml` (systemd), sonst deployen beide | + +**Dev-Testdaten:** Der Dev-Workflow spiegelt vor jedem Deploy den synthetischen Test-Vault `deploy/testvault/` nach `/home/llmadmin/docker/mindnet-dev/testvault` (erzeugt mit `scripts/make_test_vault.py`, dazu synthetisches `edge_vocabulary.md`/`graph_schema.md`). Fehlt `dev.env`, legt er sie beim ersten Lauf aus `deploy/env/dev.env.example` an, ohne Cloud-Keys und mit dem Test-Vault als `MINDNET_VAULT_HOST_PATH`. Eine vorhandene `dev.env` wird nie überschrieben. Die Ordner `vault/` und `vault_master/` im Repo enthalten persönlich wirkende Inhalte und werden **nicht** verwendet. + +Test-Vault in die Dev-Qdrant importieren (manuell, nach dem ersten grünen Deploy; Embeddings über Ollama): + +```bash +cd && export MINDNET_ENV_FILE=/home/llmadmin/docker/mindnet-dev/dev.env +docker compose -f deploy/compose.dev.yml --env-file "$MINDNET_ENV_FILE" run --rm --entrypoint python api \ + -m scripts.import_markdown --vault /vault --prefix mindnet_dev --apply +``` Prod nur über einen Merge-Commit `develop` → `main` (`git merge --no-ff develop`), wie bei Kansho. diff --git a/docs/05_Development/05_docker_migration_plan.md b/docs/05_Development/05_docker_migration_plan.md index 8227eb3..0c97f34 100644 --- a/docs/05_Development/05_docker_migration_plan.md +++ b/docs/05_Development/05_docker_migration_plan.md @@ -36,7 +36,7 @@ Stand: 28.10.2026. Betriebsdetails: [Container-Betrieb](../04_Operations/04_dock | Branch | Basis | Inhalt | Ort | | --- | --- | --- | --- | | `main` | — | Produktion (systemd, Auto-Deploy) | Gitea | -| `develop` | `origin/main` (`0d61a9e`) | Integrationszweig nach Kansho-Muster; Push deployt Dev, sobald `deploy-dev.yml` aktiv ist (G3) | **nur lokal** | +| `develop` | `origin/main` (`0d61a9e`) | Integrationszweig nach Kansho-Muster; Push deployt Dev (G3) | Gitea | | `feature/containerization` | `develop` | Phase 1 | **nur lokal** | | `codex/privacy-gateway` | `origin/main` | Gateway (2 Commits), unverändert | **nur lokal** + Bundle | | `origin/SectionType` | `origin/main` | WP-26; R3 offen | Gitea | @@ -68,7 +68,7 @@ Für eine CI-Pipeline wie bei Kansho: zuerst A beheben, B/D portieren, C entsche | **G0** | Repo `Lars/mindnet` auf privat stellen (oder anderes privates Ziel benennen); danach Push von `codex/privacy-gateway`, `develop`, `feature/containerization` | Lars | | **G1** | Review dieses Stands; Merge `feature/containerization` → `develop` | Lars | | **G2** | **Nur lesende** Prüfungen auf llm-node: Docker-/Compose-Version, Port-Bindung Qdrant/Ollama (`ss -ltnp`), `docker ps` (läuft `mindnet-embed`?), `pip freeze` der Prod-venv, NAS-Mount (`findmnt`), Lesbarkeit für UID 10001 | Freigabe Lars | -| **G3** | Dev-Stack auf llm-node bauen und starten (eigene Qdrant, Testdaten-Vault), `preflight --live`; danach Aktivierung von `deploy/gitea-workflows/deploy-dev.yml` (jeder Push auf `develop` deployt Dev) | Freigabe Lars | +| **G3** | Dev-Stack auf llm-node bauen und starten (eigene Qdrant, Testdaten-Vault), `preflight --live`; `.gitea/workflows/deploy-dev.yml` aktiv, jeder Push auf `develop` deployt Dev | **freigegeben 28.10.2026** | | **G4** | Prod-Container parallel zu systemd starten (nur lesend auf Prod-Qdrant, Vault `ro`), Vergleich der Antworten | Freigabe Lars | | **G5** | Umschaltung Prod auf Container; systemd 2–3 Wochen als Rückfallebene; im selben Commit `deploy-prod.yml` aktivieren und `.gitea/workflows/deploy.yml` entfernen | Freigabe Lars; Voraussetzung R2, falls Schreibzugriff nötig | diff --git a/tests/test_container_preflight.py b/tests/test_container_preflight.py index 648b706..cae6e13 100644 --- a/tests/test_container_preflight.py +++ b/tests/test_container_preflight.py @@ -244,8 +244,12 @@ def test_prod_env_example_blocks_cloud_egress(): # --- Gitea-Workflows und Deploy-Skript (Muster wie Kansho: develop -> dev, main -> prod) ---- +WORKFLOWS = {"deploy-dev.yml": ROOT / ".gitea" / "workflows", # aktiv + "deploy-prod.yml": DEPLOY / "gitea-workflows"} # Vorlage bis zur Umschaltung + + def _workflow(name): - data = yaml.safe_load((DEPLOY / "gitea-workflows" / name).read_text(encoding="utf-8")) + data = yaml.safe_load((WORKFLOWS[name] / name).read_text(encoding="utf-8")) return data, data.get("on", data.get(True)) # PyYAML liest den Schlüssel 'on' als True @@ -279,3 +283,18 @@ def test_deploy_script_checks_before_touching_running_stack(): @pytest.mark.parametrize("envname", ["dev", "prod"]) def test_compose_reads_env_file_from_host(envname): assert COMPOSE[envname]["x-hardening"]["env_file"] == [f"${{MINDNET_ENV_FILE:-env/{envname}.env}}"] + + +def test_prod_workflow_not_active_before_switchover(): + assert not (ROOT / ".gitea" / "workflows" / "deploy-prod.yml").exists() + + +def test_dev_testvault_is_synthetic_and_parseable(): + vault = DEPLOY / "testvault" + vocab = (vault / "_system" / "dictionary" / "edge_vocabulary.md").read_text(encoding="utf-8") + # Gleiches Muster wie app/services/edge_registry.py + rows = re.findall(r"\|\s*\*\*`?([a-zA-Z0-9_-]+)`?\*\*\s*\|\s*`?([a-zA-Z0-9_-]+)`?\s*\|\s*([^|]+)\|", vocab) + assert len(rows) >= 10 + assert (vault / "_system" / "dictionary" / "graph_schema.md").is_file() + notes = [f for f in vault.rglob("*.md") if "_system" not in f.parts] + assert notes and all("topic/test" in f.read_text(encoding="utf-8") for f in notes)