Fuehre die Pflicht-Suite nach dem Dev-Deploy gegen tsumugu_test auf der bestehenden Dev-Postgres aus.
Deploy Development / deploy (push) Failing after 20s
Test Suite / pytest-backend (push) Failing after 35s
Test Suite / smoke-dev (push) Failing after 0s
Test Suite / frontend-build (push) Successful in 7s

Co-authored-by: Cursor <cursoragent@cursor.com>
This commit is contained in:
LarsandCursor committed 2026-10-17 07:21:20 +02:00
1 parent b328385561
commit 0924e28fce
8 files changed
+125 -88

No files matched your search

-1
View File
@@ -23,7 +23,6 @@ jobs:
git checkout develop
git reset --hard origin/develop
fi
bash backend/scripts/run_tests.sh
if [ ! -f .env ]; then
umask 077
printf '%s\n' \
-1
View File
@@ -23,7 +23,6 @@ jobs:
git checkout main
git reset --hard origin/main
fi
bash backend/scripts/run_tests.sh
if [ ! -f .env ]; then
umask 077
PASS="$(od -An -N24 -tx1 /dev/urandom | tr -d ' \n')"
+85
View File
@@ -0,0 +1,85 @@
name: Test Suite
on:
push:
branches: [develop]
workflow_run:
workflows: ["Deploy Development"]
types: [completed]
workflow_dispatch:
jobs:
pytest-backend:
if: ${{ github.event_name != 'workflow_run' || github.event.workflow_run.conclusion == 'success' }}
runs-on: ubuntu-latest
steps:
- name: pytest against Dev Postgres (tsumugu_test)
run: |
set -e
APP_DIR="/home/lars/docker/tsumugu-dev"
COMPOSE_FILE="docker-compose.dev-env.yml"
echo "pytest uses Dev Postgres (${APP_DIR}); event=${{ github.event_name }}"
cd "$APP_DIR"
for i in $(seq 1 60); do
if [ -f "$APP_DIR/backend/pytest.ini" ] && docker compose -f "$COMPOSE_FILE" exec -T backend true 2>/dev/null; then
echo "backend and pytest.ini ready (attempt $i)"
break
fi
if [ "$i" -eq 60 ]; then
echo "timeout waiting for Dev checkout/backend"
docker compose -f "$COMPOSE_FILE" ps || true
ls -la "$APP_DIR/backend" || true
exit 1
fi
sleep 5
done
PGUSER="$(docker compose -f "$COMPOSE_FILE" exec -T postgres printenv POSTGRES_USER | tr -d '\r')"
echo "test database tsumugu_test on the existing Dev Postgres (owner ${PGUSER})"
docker compose -f "$COMPOSE_FILE" exec -T postgres \
psql -U "$PGUSER" -d postgres -v ON_ERROR_STOP=1 \
-c "SELECT pg_terminate_backend(pid) FROM pg_stat_activity WHERE datname = 'tsumugu_test' AND pid <> pg_backend_pid();"
docker compose -f "$COMPOSE_FILE" exec -T postgres \
psql -U "$PGUSER" -d postgres -v ON_ERROR_STOP=1 \
-c "DROP DATABASE IF EXISTS tsumugu_test;"
docker compose -f "$COMPOSE_FILE" exec -T postgres \
psql -U "$PGUSER" -d postgres -v ON_ERROR_STOP=1 \
-c "CREATE DATABASE tsumugu_test OWNER ${PGUSER};"
docker compose -f "$COMPOSE_FILE" run --rm --no-deps \
-v "${APP_DIR}:/src:ro" \
-w /src/backend \
-e DB_NAME=tsumugu_test \
-e SEED_DEMO=false \
-e PYTHONUTF8=1 \
backend sh -lc '
set -e
export DB_NAME=tsumugu_test
export SEED_DEMO=false
pip install -q -r requirements-dev.txt
python -m pytest tests -ra --tb=short
'
smoke-dev:
if: ${{ github.event_name != 'workflow_run' || github.event.workflow_run.conclusion == 'success' }}
runs-on: ubuntu-latest
steps:
- name: Non-destructive smoke against the running Dev app
run: |
set -e
echo "live Dev API (tsumugu_dev), read-only health"
curl -sf http://localhost:8094/api/health
echo
curl -sf http://localhost:3094/api/health
echo
echo "LAN smoke OK. Public URL after TLS: https://dev.tsumugu.jinkendo.de"
frontend-build:
if: ${{ github.event_name != 'workflow_run' || github.event.workflow_run.conclusion == 'success' }}
runs-on: ubuntu-latest
steps:
- name: Frontend production build on Dev checkout
run: |
set -e
APP_DIR="/home/lars/docker/tsumugu-dev"
cd "$APP_DIR/frontend"
npm ci
npm run build
+13 -1
View File
@@ -47,8 +47,20 @@ trailer<</Root 1 0 R>>
"""
_LIVE_DATABASES = frozenset({"tsumugu", "tsumugu_dev", "postgres", "template0", "template1"})
def is_test_database(name: str) -> bool:
lowered = name.strip().lower()
return bool(lowered) and lowered.endswith("_test") and lowered not in _LIVE_DATABASES
def demo_allowed(settings: Settings) -> bool:
return settings.tsumugu_env == "development" and settings.db_name == "tsumugu_pytest" and settings.seed_demo
return (
settings.tsumugu_env == "development"
and is_test_database(settings.db_name)
and settings.seed_demo
)
def demo_public(settings: Settings) -> dict:
-48
View File
@@ -1,48 +0,0 @@
#!/bin/bash
# Mandatory suite against a throwaway PostgreSQL. Never the dev or prod database.
set -euo pipefail
NAME="tsumugu-pytest-db"
cleanup() {
docker rm -f "$NAME" >/dev/null 2>&1 || true
}
cleanup
trap cleanup EXIT
docker run -d --name "$NAME" \
-e POSTGRES_USER=tsumugu \
-e POSTGRES_PASSWORD=pytest \
-e POSTGRES_DB=postgres \
postgres:16-alpine >/dev/null
ready=0
for _ in $(seq 1 40); do
if docker exec "$NAME" pg_isready -U tsumugu -d postgres >/dev/null 2>&1; then
ready=1
break
fi
sleep 1
done
if [ "$ready" -ne 1 ]; then
echo "Kurzlebiges PostgreSQL ist nicht bereit."
exit 1
fi
docker run --rm --network "container:${NAME}" \
-e TSUMUGU_ENV=development \
-e TSUMUGU_TEST_HOST=127.0.0.1 \
-e TSUMUGU_TEST_PORT=5432 \
-e TSUMUGU_TEST_USER=tsumugu \
-e TSUMUGU_TEST_PASSWORD=pytest \
-e TSUMUGU_TEST_ADMIN_DB=postgres \
-e DB_HOST=127.0.0.1 \
-e DB_PORT=5432 \
-e DB_NAME=tsumugu_pytest \
-e DB_USER=tsumugu \
-e DB_PASSWORD=pytest \
-e ALLOWED_ORIGINS=http://testserver \
-e SEED_DEMO=false \
-v "$(pwd)/backend:/work" \
-w /work \
python:3.12-slim \
bash -c "pip install -q -r requirements-dev.txt && python -m pytest"
+20 -31
View File
@@ -1,4 +1,8 @@
"""Ephemeral database for the mandatory suite. Dev and prod databases are refused."""
"""Suite on the existing Dev Postgres, database tsumugu_test.
Dev and prod databases are refused. The workflow drops and recreates
tsumugu_test beside tsumugu_dev. This is not a third server.
"""
from __future__ import annotations
@@ -8,33 +12,21 @@ import tempfile
import psycopg
import pytest
TEST_DB = "tsumugu_pytest"
FORBIDDEN = {"tsumugu", "tsumugu_dev"}
FORBIDDEN = frozenset({"tsumugu", "tsumugu_dev", "postgres", "template0", "template1"})
if os.environ.get("TSUMUGU_TEST_DB") in FORBIDDEN or os.environ.get("DB_NAME") in FORBIDDEN:
raise RuntimeError("Die Test-Suite darf nicht gegen Dev- oder Prod-Datenbanken laufen.")
_name = os.environ.get("DB_NAME", "").strip().lower()
if not _name.endswith("_test") or _name in FORBIDDEN:
raise RuntimeError(
"DB_NAME fehlt oder ist gesperrt. Die Suite nutzt auf der Dev-Postgres "
"die Datenbank tsumugu_test, nicht tsumugu oder tsumugu_dev."
)
os.environ["TSUMUGU_ENV"] = "development"
os.environ["DB_HOST"] = os.environ.get("TSUMUGU_TEST_HOST", "127.0.0.1")
os.environ["DB_PORT"] = os.environ.get("TSUMUGU_TEST_PORT", "5432")
os.environ["DB_NAME"] = TEST_DB
os.environ["DB_USER"] = os.environ.get("TSUMUGU_TEST_USER", "tsumugu")
os.environ["DB_PASSWORD"] = os.environ.get("TSUMUGU_TEST_PASSWORD", "pytest")
os.environ["ALLOWED_ORIGINS"] = "http://testserver"
os.environ["SEED_DEMO"] = "false"
os.environ["MEDIA_ROOT"] = tempfile.mkdtemp(prefix="tsumugu-pytest-")
def _admin_dsn() -> str:
admin_db = os.environ.get("TSUMUGU_TEST_ADMIN_DB", "postgres")
if admin_db in FORBIDDEN or admin_db == TEST_DB:
raise RuntimeError("Die Verwaltungsverbindung der Test-Suite darf nicht die Fachdatenbank sein.")
return (
f"host={os.environ['DB_HOST']} port={os.environ['DB_PORT']} dbname={admin_db} "
f"user={os.environ['DB_USER']} password={os.environ['DB_PASSWORD']} connect_timeout=5"
)
def _reset(settings) -> None:
with psycopg.connect(settings.dsn(), autocommit=True) as conn:
conn.execute(
@@ -51,24 +43,21 @@ def _reset(settings) -> None:
@pytest.fixture(scope="session")
def database():
if os.environ["DB_NAME"] in FORBIDDEN:
raise RuntimeError("Die Test-Suite darf nicht gegen Dev- oder Prod-Datenbanken laufen.")
try:
admin = psycopg.connect(_admin_dsn(), autocommit=True)
except psycopg.OperationalError as exc:
pytest.fail(f"Die Test-Suite braucht ein kurzlebiges PostgreSQL. {exc}")
admin.execute(f"DROP DATABASE IF EXISTS {TEST_DB} WITH (FORCE)")
admin.execute(f"CREATE DATABASE {TEST_DB}")
name = os.environ.get("DB_NAME", "").strip().lower()
if name in FORBIDDEN or not name.endswith("_test"):
pytest.fail(
"DB_NAME muss auf der Dev-Postgres eine Datenbank *_test sein, "
"nicht tsumugu oder tsumugu_dev."
)
from app.core.settings import get_settings
from app.db.migrate import migrate
get_settings.cache_clear()
settings = get_settings()
assert settings.db_name == TEST_DB
if settings.db_name.lower() in FORBIDDEN or not settings.db_name.lower().endswith("_test"):
pytest.fail("Die Test-Suite darf nicht gegen Dev- oder Prod-Datenbanken laufen.")
migrate(settings)
yield settings
admin.execute(f"DROP DATABASE IF EXISTS {TEST_DB} WITH (FORCE)")
admin.close()
@pytest.fixture(scope="session")
+4 -4
View File
@@ -13,14 +13,14 @@ from app.core.settings import Settings
from app.entrypoint import prepare
from app.fixtures import purge_fixture_data
from app.ops import create_case
from app.seed import ADA_EMAIL, BEN_EMAIL, seed_demo
from tests.conftest import FORBIDDEN, TEST_DB
from app.seed import ADA_EMAIL, BEN_EMAIL, is_test_database, seed_demo
from tests.conftest import FORBIDDEN
from tests.support import PASSWORD
def test_database_is_ephemeral(database):
assert database.db_name == TEST_DB
assert database.db_name not in FORBIDDEN
assert is_test_database(database.db_name)
assert database.db_name.lower() not in FORBIDDEN
assert database.tsumugu_env == "development"
+3 -2
View File
@@ -1,6 +1,6 @@
# Deployment – Tsumugu
**Stand:** 2026-10-15
**Stand:** 2026-10-17
**Server:** Raspberry Pi (`192.168.2.49`) — gleicher Host wie Mitai, Shinkan, Kairo und Kanshō, **eigenes** Compose-Projekt
**Runner:** Gitea Actions (`/home/lars/gitea-runner/`), Label `ubuntu-latest`
**Repo:** `http://192.168.2.144:3000/Lars/tsumugu.git`
@@ -30,6 +30,7 @@ Unter `/home/lars/docker/` legt der Lauf nur diese zwei Verzeichnisse an:
|----------|---------|--------|
| `deploy-dev.yml` | Push `develop` | Deploy nach `/home/lars/docker/tsumugu-dev`, Health `localhost:8094` und `localhost:3094` |
| `deploy-prod.yml` | Push `main` | Deploy nach `/home/lars/docker/tsumugu`, Health `localhost:8007` und `localhost:3007` |
| `test.yml` | Push `develop`, nach erfolgreichem Dev-Deploy, manuell | Pytest gegen `tsumugu_test` auf der Dev-Postgres, Smoke der laufenden Dev-App, Frontend-Build |
Gearbeitet wird auf `develop`. Production entsteht nur durch einen Merge-Commit `develop` → `main` (`git merge --no-ff develop` auf `main`) und den anschließenden Push von `main`. Kein Fast-Forward, kein direkter Commit auf `main`, kein manuelles `git pull` auf dem Prod-Checkout. Gitea (`deploy-prod.yml`) ist der einzige Prod-Schreibpfad für Code.
@@ -37,7 +38,7 @@ Fehlt beim ersten Lauf die Host-`.env`, legt der Workflow sie an. Development be
Der Backend-Container migriert beim Start, entfernt Konten mit Herkunft `fixture` und bedient danach den API-Prozess. Der Host-Port des Backends bleibt an `127.0.0.1` gebunden; von außen ist nur das Frontend erreichbar, das `/api/` im Compose-Netz weiterreicht. Eigene Dateien liegen im Volume `dev-tsumugu-media` bzw. `tsumugu-media`. Der Paperless-Ablageordner `/media/lars/paperless/media` wird nur lesend nach `/paperless-media` gereicht. Tsumugu öffnet daraus eine Datei erst, wenn die Paperless-API für genau dieses Dokument einen relativen Pfad nennt und die Vorschau über HTTP keine anzeigbare Datei liefert.
Testdaten legt nur die Pflicht-Suite an, und nur in einer Datenbank `tsumugu_pytest`, die der Lauf danach verwirft. Dev- und Prod-Datenbanken werden von der Suite nicht beschrieben. `SEED_DEMO` bleibt in beiden Compose-Dateien aus. Steht es in Produktion trotzdem auf wahr, startet das Backend nicht. Ein Push nach `develop` führt die Suite vor dem Deploy aus. Das erste Konto auf einer leeren Umgebung wird über die Anmeldeseite zum Betreiber und legt weitere Nutzer an.
Die Pflicht-Suite ist der eigene Workflow `test.yml`, nach dem Vorbild von Kanshō gegen die bestehende Dev-Postgres, in der Datenbank `tsumugu_test` neben `tsumugu_dev`. Der Lauf beendet Verbindungen auf `tsumugu_test`, verwirft diese Datenbank und legt sie neu an. `tsumugu_dev` und `tsumugu` werden nicht beschrieben. Pytest startet im schon gebauten Backend-Image, mit dem Checkout nur lesend eingehängt. Zusätzlich prüft der Workflow die Health-URLs der laufenden Dev-App und baut das Frontend. `SEED_DEMO` bleibt in beiden Compose-Dateien aus. Steht es in Produktion trotzdem auf wahr, startet das Backend nicht. Beispieldaten entstehen nur, wenn die Suite das in `tsumugu_test` ausdrücklich tut. Das erste Konto auf einer leeren Umgebung wird über die Anmeldeseite zum Betreiber und legt weitere Nutzer an.
---