diff --git a/.gitea/workflows/deploy-dev.yml b/.gitea/workflows/deploy-dev.yml index 96c7c8e..2ed0787 100644 --- a/.gitea/workflows/deploy-dev.yml +++ b/.gitea/workflows/deploy-dev.yml @@ -23,7 +23,6 @@ jobs: git checkout develop git reset --hard origin/develop fi - bash backend/scripts/run_tests.sh if [ ! -f .env ]; then umask 077 printf '%s\n' \ diff --git a/.gitea/workflows/deploy-prod.yml b/.gitea/workflows/deploy-prod.yml index e70506d..ee7d845 100644 --- a/.gitea/workflows/deploy-prod.yml +++ b/.gitea/workflows/deploy-prod.yml @@ -23,7 +23,6 @@ jobs: git checkout main git reset --hard origin/main fi - bash backend/scripts/run_tests.sh if [ ! -f .env ]; then umask 077 PASS="$(od -An -N24 -tx1 /dev/urandom | tr -d ' \n')" diff --git a/.gitea/workflows/test.yml b/.gitea/workflows/test.yml new file mode 100644 index 0000000..d7b5513 --- /dev/null +++ b/.gitea/workflows/test.yml @@ -0,0 +1,85 @@ +name: Test Suite + +on: + push: + branches: [develop] + workflow_run: + workflows: ["Deploy Development"] + types: [completed] + workflow_dispatch: + +jobs: + pytest-backend: + if: ${{ github.event_name != 'workflow_run' || github.event.workflow_run.conclusion == 'success' }} + runs-on: ubuntu-latest + steps: + - name: pytest against Dev Postgres (tsumugu_test) + run: | + set -e + APP_DIR="/home/lars/docker/tsumugu-dev" + COMPOSE_FILE="docker-compose.dev-env.yml" + echo "pytest uses Dev Postgres (${APP_DIR}); event=${{ github.event_name }}" + cd "$APP_DIR" + for i in $(seq 1 60); do + if [ -f "$APP_DIR/backend/pytest.ini" ] && docker compose -f "$COMPOSE_FILE" exec -T backend true 2>/dev/null; then + echo "backend and pytest.ini ready (attempt $i)" + break + fi + if [ "$i" -eq 60 ]; then + echo "timeout waiting for Dev checkout/backend" + docker compose -f "$COMPOSE_FILE" ps || true + ls -la "$APP_DIR/backend" || true + exit 1 + fi + sleep 5 + done + PGUSER="$(docker compose -f "$COMPOSE_FILE" exec -T postgres printenv POSTGRES_USER | tr -d '\r')" + echo "test database tsumugu_test on the existing Dev Postgres (owner ${PGUSER})" + docker compose -f "$COMPOSE_FILE" exec -T postgres \ + psql -U "$PGUSER" -d postgres -v ON_ERROR_STOP=1 \ + -c "SELECT pg_terminate_backend(pid) FROM pg_stat_activity WHERE datname = 'tsumugu_test' AND pid <> pg_backend_pid();" + docker compose -f "$COMPOSE_FILE" exec -T postgres \ + psql -U "$PGUSER" -d postgres -v ON_ERROR_STOP=1 \ + -c "DROP DATABASE IF EXISTS tsumugu_test;" + docker compose -f "$COMPOSE_FILE" exec -T postgres \ + psql -U "$PGUSER" -d postgres -v ON_ERROR_STOP=1 \ + -c "CREATE DATABASE tsumugu_test OWNER ${PGUSER};" + docker compose -f "$COMPOSE_FILE" run --rm --no-deps \ + -v "${APP_DIR}:/src:ro" \ + -w /src/backend \ + -e DB_NAME=tsumugu_test \ + -e SEED_DEMO=false \ + -e PYTHONUTF8=1 \ + backend sh -lc ' + set -e + export DB_NAME=tsumugu_test + export SEED_DEMO=false + pip install -q -r requirements-dev.txt + python -m pytest tests -ra --tb=short + ' + + smoke-dev: + if: ${{ github.event_name != 'workflow_run' || github.event.workflow_run.conclusion == 'success' }} + runs-on: ubuntu-latest + steps: + - name: Non-destructive smoke against the running Dev app + run: | + set -e + echo "live Dev API (tsumugu_dev), read-only health" + curl -sf http://localhost:8094/api/health + echo + curl -sf http://localhost:3094/api/health + echo + echo "LAN smoke OK. Public URL after TLS: https://dev.tsumugu.jinkendo.de" + + frontend-build: + if: ${{ github.event_name != 'workflow_run' || github.event.workflow_run.conclusion == 'success' }} + runs-on: ubuntu-latest + steps: + - name: Frontend production build on Dev checkout + run: | + set -e + APP_DIR="/home/lars/docker/tsumugu-dev" + cd "$APP_DIR/frontend" + npm ci + npm run build diff --git a/backend/app/seed.py b/backend/app/seed.py index 4b61f6d..d467e86 100644 --- a/backend/app/seed.py +++ b/backend/app/seed.py @@ -47,8 +47,20 @@ trailer<> """ +_LIVE_DATABASES = frozenset({"tsumugu", "tsumugu_dev", "postgres", "template0", "template1"}) + + +def is_test_database(name: str) -> bool: + lowered = name.strip().lower() + return bool(lowered) and lowered.endswith("_test") and lowered not in _LIVE_DATABASES + + def demo_allowed(settings: Settings) -> bool: - return settings.tsumugu_env == "development" and settings.db_name == "tsumugu_pytest" and settings.seed_demo + return ( + settings.tsumugu_env == "development" + and is_test_database(settings.db_name) + and settings.seed_demo + ) def demo_public(settings: Settings) -> dict: diff --git a/backend/scripts/run_tests.sh b/backend/scripts/run_tests.sh deleted file mode 100644 index 5c62ccd..0000000 --- a/backend/scripts/run_tests.sh +++ /dev/null @@ -1,48 +0,0 @@ -#!/bin/bash -# Mandatory suite against a throwaway PostgreSQL. Never the dev or prod database. -set -euo pipefail - -NAME="tsumugu-pytest-db" -cleanup() { - docker rm -f "$NAME" >/dev/null 2>&1 || true -} -cleanup -trap cleanup EXIT - -docker run -d --name "$NAME" \ - -e POSTGRES_USER=tsumugu \ - -e POSTGRES_PASSWORD=pytest \ - -e POSTGRES_DB=postgres \ - postgres:16-alpine >/dev/null - -ready=0 -for _ in $(seq 1 40); do - if docker exec "$NAME" pg_isready -U tsumugu -d postgres >/dev/null 2>&1; then - ready=1 - break - fi - sleep 1 -done -if [ "$ready" -ne 1 ]; then - echo "Kurzlebiges PostgreSQL ist nicht bereit." - exit 1 -fi - -docker run --rm --network "container:${NAME}" \ - -e TSUMUGU_ENV=development \ - -e TSUMUGU_TEST_HOST=127.0.0.1 \ - -e TSUMUGU_TEST_PORT=5432 \ - -e TSUMUGU_TEST_USER=tsumugu \ - -e TSUMUGU_TEST_PASSWORD=pytest \ - -e TSUMUGU_TEST_ADMIN_DB=postgres \ - -e DB_HOST=127.0.0.1 \ - -e DB_PORT=5432 \ - -e DB_NAME=tsumugu_pytest \ - -e DB_USER=tsumugu \ - -e DB_PASSWORD=pytest \ - -e ALLOWED_ORIGINS=http://testserver \ - -e SEED_DEMO=false \ - -v "$(pwd)/backend:/work" \ - -w /work \ - python:3.12-slim \ - bash -c "pip install -q -r requirements-dev.txt && python -m pytest" diff --git a/backend/tests/conftest.py b/backend/tests/conftest.py index 1443d04..e67e3e3 100644 --- a/backend/tests/conftest.py +++ b/backend/tests/conftest.py @@ -1,4 +1,8 @@ -"""Ephemeral database for the mandatory suite. Dev and prod databases are refused.""" +"""Suite on the existing Dev Postgres, database tsumugu_test. + +Dev and prod databases are refused. The workflow drops and recreates +tsumugu_test beside tsumugu_dev. This is not a third server. +""" from __future__ import annotations @@ -8,33 +12,21 @@ import tempfile import psycopg import pytest -TEST_DB = "tsumugu_pytest" -FORBIDDEN = {"tsumugu", "tsumugu_dev"} +FORBIDDEN = frozenset({"tsumugu", "tsumugu_dev", "postgres", "template0", "template1"}) -if os.environ.get("TSUMUGU_TEST_DB") in FORBIDDEN or os.environ.get("DB_NAME") in FORBIDDEN: - raise RuntimeError("Die Test-Suite darf nicht gegen Dev- oder Prod-Datenbanken laufen.") +_name = os.environ.get("DB_NAME", "").strip().lower() +if not _name.endswith("_test") or _name in FORBIDDEN: + raise RuntimeError( + "DB_NAME fehlt oder ist gesperrt. Die Suite nutzt auf der Dev-Postgres " + "die Datenbank tsumugu_test, nicht tsumugu oder tsumugu_dev." + ) os.environ["TSUMUGU_ENV"] = "development" -os.environ["DB_HOST"] = os.environ.get("TSUMUGU_TEST_HOST", "127.0.0.1") -os.environ["DB_PORT"] = os.environ.get("TSUMUGU_TEST_PORT", "5432") -os.environ["DB_NAME"] = TEST_DB -os.environ["DB_USER"] = os.environ.get("TSUMUGU_TEST_USER", "tsumugu") -os.environ["DB_PASSWORD"] = os.environ.get("TSUMUGU_TEST_PASSWORD", "pytest") os.environ["ALLOWED_ORIGINS"] = "http://testserver" os.environ["SEED_DEMO"] = "false" os.environ["MEDIA_ROOT"] = tempfile.mkdtemp(prefix="tsumugu-pytest-") -def _admin_dsn() -> str: - admin_db = os.environ.get("TSUMUGU_TEST_ADMIN_DB", "postgres") - if admin_db in FORBIDDEN or admin_db == TEST_DB: - raise RuntimeError("Die Verwaltungsverbindung der Test-Suite darf nicht die Fachdatenbank sein.") - return ( - f"host={os.environ['DB_HOST']} port={os.environ['DB_PORT']} dbname={admin_db} " - f"user={os.environ['DB_USER']} password={os.environ['DB_PASSWORD']} connect_timeout=5" - ) - - def _reset(settings) -> None: with psycopg.connect(settings.dsn(), autocommit=True) as conn: conn.execute( @@ -51,24 +43,21 @@ def _reset(settings) -> None: @pytest.fixture(scope="session") def database(): - if os.environ["DB_NAME"] in FORBIDDEN: - raise RuntimeError("Die Test-Suite darf nicht gegen Dev- oder Prod-Datenbanken laufen.") - try: - admin = psycopg.connect(_admin_dsn(), autocommit=True) - except psycopg.OperationalError as exc: - pytest.fail(f"Die Test-Suite braucht ein kurzlebiges PostgreSQL. {exc}") - admin.execute(f"DROP DATABASE IF EXISTS {TEST_DB} WITH (FORCE)") - admin.execute(f"CREATE DATABASE {TEST_DB}") + name = os.environ.get("DB_NAME", "").strip().lower() + if name in FORBIDDEN or not name.endswith("_test"): + pytest.fail( + "DB_NAME muss auf der Dev-Postgres eine Datenbank *_test sein, " + "nicht tsumugu oder tsumugu_dev." + ) from app.core.settings import get_settings from app.db.migrate import migrate get_settings.cache_clear() settings = get_settings() - assert settings.db_name == TEST_DB + if settings.db_name.lower() in FORBIDDEN or not settings.db_name.lower().endswith("_test"): + pytest.fail("Die Test-Suite darf nicht gegen Dev- oder Prod-Datenbanken laufen.") migrate(settings) yield settings - admin.execute(f"DROP DATABASE IF EXISTS {TEST_DB} WITH (FORCE)") - admin.close() @pytest.fixture(scope="session") diff --git a/backend/tests/test_boundary.py b/backend/tests/test_boundary.py index bf883c1..a5e905a 100644 --- a/backend/tests/test_boundary.py +++ b/backend/tests/test_boundary.py @@ -13,14 +13,14 @@ from app.core.settings import Settings from app.entrypoint import prepare from app.fixtures import purge_fixture_data from app.ops import create_case -from app.seed import ADA_EMAIL, BEN_EMAIL, seed_demo -from tests.conftest import FORBIDDEN, TEST_DB +from app.seed import ADA_EMAIL, BEN_EMAIL, is_test_database, seed_demo +from tests.conftest import FORBIDDEN from tests.support import PASSWORD def test_database_is_ephemeral(database): - assert database.db_name == TEST_DB - assert database.db_name not in FORBIDDEN + assert is_test_database(database.db_name) + assert database.db_name.lower() not in FORBIDDEN assert database.tsumugu_env == "development" diff --git a/docs/DEPLOYMENT.md b/docs/DEPLOYMENT.md index 0008421..61c30f1 100644 --- a/docs/DEPLOYMENT.md +++ b/docs/DEPLOYMENT.md @@ -1,6 +1,6 @@ # Deployment – Tsumugu -**Stand:** 2026-10-15 +**Stand:** 2026-10-17 **Server:** Raspberry Pi (`192.168.2.49`) — gleicher Host wie Mitai, Shinkan, Kairo und Kanshō, **eigenes** Compose-Projekt **Runner:** Gitea Actions (`/home/lars/gitea-runner/`), Label `ubuntu-latest` **Repo:** `http://192.168.2.144:3000/Lars/tsumugu.git` @@ -30,6 +30,7 @@ Unter `/home/lars/docker/` legt der Lauf nur diese zwei Verzeichnisse an: |----------|---------|--------| | `deploy-dev.yml` | Push `develop` | Deploy nach `/home/lars/docker/tsumugu-dev`, Health `localhost:8094` und `localhost:3094` | | `deploy-prod.yml` | Push `main` | Deploy nach `/home/lars/docker/tsumugu`, Health `localhost:8007` und `localhost:3007` | +| `test.yml` | Push `develop`, nach erfolgreichem Dev-Deploy, manuell | Pytest gegen `tsumugu_test` auf der Dev-Postgres, Smoke der laufenden Dev-App, Frontend-Build | Gearbeitet wird auf `develop`. Production entsteht nur durch einen Merge-Commit `develop` → `main` (`git merge --no-ff develop` auf `main`) und den anschließenden Push von `main`. Kein Fast-Forward, kein direkter Commit auf `main`, kein manuelles `git pull` auf dem Prod-Checkout. Gitea (`deploy-prod.yml`) ist der einzige Prod-Schreibpfad für Code. @@ -37,7 +38,7 @@ Fehlt beim ersten Lauf die Host-`.env`, legt der Workflow sie an. Development be Der Backend-Container migriert beim Start, entfernt Konten mit Herkunft `fixture` und bedient danach den API-Prozess. Der Host-Port des Backends bleibt an `127.0.0.1` gebunden; von außen ist nur das Frontend erreichbar, das `/api/` im Compose-Netz weiterreicht. Eigene Dateien liegen im Volume `dev-tsumugu-media` bzw. `tsumugu-media`. Der Paperless-Ablageordner `/media/lars/paperless/media` wird nur lesend nach `/paperless-media` gereicht. Tsumugu öffnet daraus eine Datei erst, wenn die Paperless-API für genau dieses Dokument einen relativen Pfad nennt und die Vorschau über HTTP keine anzeigbare Datei liefert. -Testdaten legt nur die Pflicht-Suite an, und nur in einer Datenbank `tsumugu_pytest`, die der Lauf danach verwirft. Dev- und Prod-Datenbanken werden von der Suite nicht beschrieben. `SEED_DEMO` bleibt in beiden Compose-Dateien aus. Steht es in Produktion trotzdem auf wahr, startet das Backend nicht. Ein Push nach `develop` führt die Suite vor dem Deploy aus. Das erste Konto auf einer leeren Umgebung wird über die Anmeldeseite zum Betreiber und legt weitere Nutzer an. +Die Pflicht-Suite ist der eigene Workflow `test.yml`, nach dem Vorbild von Kanshō gegen die bestehende Dev-Postgres, in der Datenbank `tsumugu_test` neben `tsumugu_dev`. Der Lauf beendet Verbindungen auf `tsumugu_test`, verwirft diese Datenbank und legt sie neu an. `tsumugu_dev` und `tsumugu` werden nicht beschrieben. Pytest startet im schon gebauten Backend-Image, mit dem Checkout nur lesend eingehängt. Zusätzlich prüft der Workflow die Health-URLs der laufenden Dev-App und baut das Frontend. `SEED_DEMO` bleibt in beiden Compose-Dateien aus. Steht es in Produktion trotzdem auf wahr, startet das Backend nicht. Beispieldaten entstehen nur, wenn die Suite das in `tsumugu_test` ausdrücklich tut. Das erste Konto auf einer leeren Umgebung wird über die Anmeldeseite zum Betreiber und legt weitere Nutzer an. ---