From 8eae37e11de03378748a29480d7657c76f99b757 Mon Sep 17 00:00:00 2001 From: Lars Stommer Date: Mon, 26 Oct 2026 13:27:52 +0100 Subject: [PATCH] =?UTF-8?q?FeWo=20als=20Pilot=20an=20den=20eigenst=C3=A4nd?= =?UTF-8?q?igen=20PipelineManager=20anbinden?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- .gitea/workflows/deploy.yml | 162 ++++++++++-------------------------- .gitignore | 1 + docs/DEPLOYMENT.md | 21 +++-- docs/STATUS.md | 4 +- docs/ZUSAMMENARBEIT.md | 2 +- pipeline.toml | 63 ++++++++++++++ 6 files changed, 127 insertions(+), 126 deletions(-) create mode 100644 pipeline.toml diff --git a/.gitea/workflows/deploy.yml b/.gitea/workflows/deploy.yml index 5fa34a8..85f1c93 100644 --- a/.gitea/workflows/deploy.yml +++ b/.gitea/workflows/deploy.yml @@ -1,134 +1,62 @@ -# Tests on every push; deployment to Strato for tags "v*" or by hand (Gitea › Actions › Deploy › Run workflow). -# Needs a Gitea act_runner (e.g. on the private server) and these repository secrets: -# DEPLOY_SSH_KEY private key whose public key is stored at Strato (SFTP & SSH) -# DEPLOY_HOST package-specific SSH server, e.g. 51539426.ssh.w1.strato.hosting (not ssh.strato.de) -# DEPLOY_USER SSH user from the Strato customer login -# DEPLOY_PATH e.g. fewo-production -# DEPLOY_PHP e.g. /opt/RZphp84/bin/php-cli -# DEPLOY_URL e.g. https://www.fewo-stommer.de -name: Deploy - +name: Deploy FeWo mit PipelineManager on: push: - branches: [main] - tags: ['v*'] + branches: [develop, main] workflow_dispatch: - inputs: - environment: - description: Ziel - type: choice - options: [production, staging] - default: production jobs: - test: - runs-on: ubuntu-latest - services: - mariadb: - image: mariadb:11.8 - env: - MARIADB_DATABASE: fewo_test - MARIADB_ROOT_PASSWORD: test - ports: ['3306:3306'] - options: >- - --health-cmd="healthcheck.sh --connect --innodb_initialized" - --health-interval=5s --health-timeout=5s --health-retries=20 - steps: - - uses: actions/checkout@v4 - - - name: Runner-Umgebung prüfen - shell: bash - run: | - uname -m - cat /etc/os-release - id - if command -v php >/dev/null 2>&1; then - php --version - else - echo 'PHP ist noch nicht im PATH.' - fi - if command -v apt-cache >/dev/null 2>&1; then - apt-cache policy php8.4 php8.4-cli php8.4-dev - fi - if [ "$(id -u)" = 0 ]; then - echo 'Runner läuft als root.' - elif command -v sudo >/dev/null 2>&1 && sudo -n true; then - echo 'Passwortloses sudo ist verfügbar.' - else - echo '::error::setup-php benötigt auf diesem Host passwortloses sudo; der Runner hat es nicht.' - exit 1 - fi - - # act_runner v0.2.11 supports Node 20; newer setup-php releases require Node 24. - - uses: shivammathur/setup-php@2.36.0 - with: - php-version: '8.4' - extensions: mbstring, intl, gd, exif, zip, pdo_sqlite, sqlite3, pdo_mysql, fileinfo, openssl - tools: composer:v2 - env: - runner: self-hosted - - - uses: actions/setup-node@v4 - with: - node-version: '22' - cache: npm - - - name: Install - run: | - composer install --no-interaction --no-progress --prefer-dist - npm ci --no-audit --no-fund - npm run build - cp .env.example .env - php artisan key:generate - - - name: Tests (SQLite) - run: php artisan test --compact --testsuite=Feature - - - name: Tests (MariaDB 11.8, wie auf Strato) - env: - DB_CONNECTION: mariadb - DB_HOST: 127.0.0.1 - DB_PORT: '3306' - DB_DATABASE: fewo_test - DB_USERNAME: root - DB_PASSWORD: test - run: php artisan test --compact --testsuite=Feature - deploy: - needs: test - if: startsWith(github.ref, 'refs/tags/v') || github.event_name == 'workflow_dispatch' + # Raspi5-Paperless: existing host runner; all PHP/Node work happens inside the image. runs-on: ubuntu-latest + env: + PIPELINE_IMAGE: pipeline-manager:0.1.0 + PIPELINE_HOME: /home/lars/docker/pipeline-manager steps: - uses: actions/checkout@v4 - - # Keep the runtime compatible with the test job and the installed act_runner. - - uses: shivammathur/setup-php@2.36.0 with: - php-version: '8.4' - extensions: mbstring, intl, gd, exif, zip, fileinfo, openssl - tools: composer:v2 - env: - runner: self-hosted + fetch-depth: 0 - - uses: actions/setup-node@v4 - with: - node-version: '22' - cache: npm - - - name: SSH key + - name: Anwendung im Manager-Container vorbereiten und testen + id: build run: | - mkdir -p ~/.ssh - printf '%s\n' "${{ secrets.DEPLOY_SSH_KEY }}" > ~/.ssh/deploy_key - chmod 600 ~/.ssh/deploy_key - ssh-keyscan -H "${{ secrets.DEPLOY_HOST }}" >> ~/.ssh/known_hosts + set -eu + case "$GITHUB_REF" in + refs/heads/develop) TARGET=staging ;; + refs/heads/main) TARGET=production ;; + *) echo 'Unzulässiger Branch'; exit 1 ;; + esac + docker image inspect "$PIPELINE_IMAGE" >/dev/null + STATUS=0 + docker run --rm --user "$(id -u):$(id -g)" \ + -v "$(pwd -P):/workspace:ro" "$PIPELINE_IMAGE" \ + pipeline-manager check --environment "$TARGET" || STATUS=$? + if [ "$STATUS" = 3 ]; then + echo 'enabled=false' >> "$GITHUB_OUTPUT" + exit 0 + fi + test "$STATUS" = 0 + umask 077 + mkdir -p "$PIPELINE_HOME/cache/composer" "$PIPELINE_HOME/cache/npm" "$PIPELINE_HOME/backups" .pipeline + docker run --rm --user "$(id -u):$(id -g)" --cpus=2 --memory=2g --pids-limit=512 \ + -e HOME=/tmp \ + -v "$(pwd -P):/workspace" \ + -v "$PIPELINE_HOME/cache:/cache" "$PIPELINE_IMAGE" \ + pipeline-manager prepare + echo "target=$TARGET" >> "$GITHUB_OUTPUT" + echo 'enabled=true' >> "$GITHUB_OUTPUT" - - name: Deploy + - name: Sichern und nach Strato übertragen + if: steps.build.outputs.enabled == 'true' env: + TARGET: ${{ steps.build.outputs.target }} DEPLOY_HOST: ${{ secrets.DEPLOY_HOST }} DEPLOY_USER: ${{ secrets.DEPLOY_USER }} - DEPLOY_PATH: ${{ secrets.DEPLOY_PATH }} - DEPLOY_PHP: ${{ secrets.DEPLOY_PHP }} - DEPLOY_URL: ${{ secrets.DEPLOY_URL }} + DEPLOY_SSH_KEY: ${{ secrets.DEPLOY_SSH_KEY }} + DEPLOY_KNOWN_HOSTS: ${{ secrets.DEPLOY_KNOWN_HOSTS }} run: | - export DEPLOY_SSH_KEY="$HOME/.ssh/deploy_key" - bash scripts/deploy.sh "${{ inputs.environment || 'production' }}" deploy + set -eu + docker run --rm --user "$(id -u):$(id -g)" --cpus=1 --memory=512m --pids-limit=128 \ + -e GITHUB_REF -e GITHUB_SHA -e DEPLOY_HOST -e DEPLOY_USER -e DEPLOY_SSH_KEY -e DEPLOY_KNOWN_HOSTS \ + -v "$(pwd -P):/workspace:ro" \ + -v "$PIPELINE_HOME/backups:/backups" "$PIPELINE_IMAGE" \ + pipeline-manager deploy --environment "$TARGET" --backup-root /backups diff --git a/.gitignore b/.gitignore index b5ff25e..da53748 100644 --- a/.gitignore +++ b/.gitignore @@ -24,6 +24,7 @@ /storage/*.key /storage/pail /vendor +/.pipeline/ _ide_helper.php Homestead.json Homestead.yaml diff --git a/docs/DEPLOYMENT.md b/docs/DEPLOYMENT.md index c885cac..9c232c6 100644 --- a/docs/DEPLOYMENT.md +++ b/docs/DEPLOYMENT.md @@ -1,11 +1,12 @@ # Deployment auf Strato -Stand: 22.10.2026 · Skript: `scripts/deploy.sh` · CI: `.gitea/workflows/deploy.yml` +Stand: 26.10.2026 · Gemeinsamer Manager: [PipelineManager](https://gitea.stommer.de/Lars/PipelineManager) · Pilotkonfiguration: `pipeline.toml` · CI: `.gitea/workflows/deploy.yml` ## 1. Prinzip ``` -Gitea (main/Tag) ──► Build (CI oder lokal): git-Stand · composer --no-dev · npm run build +Gitea (develop/main) ──► PipelineManager-Container auf Raspi5-Paperless + │ exakter Git-Commit · Abhängigkeiten · Tests · fertige Assets │ tar.gz ▼ SSH Strato / @@ -20,6 +21,10 @@ ## 1. Prinzip Auf dem Server werden nur **bash, tar und PHP-CLI** gebraucht – kein Composer, kein Node, kein Git, kein rsync. +Die Werkzeugumgebung wird im eigenen Repository `C:\dev\pipelinemanager` entwickelt und als lokales Image `pipeline-manager:0.1.0` auf dem Pi freigegeben. Das Image bleibt nach dem Entfernen eines Job-Containers erhalten. Der Ablauf folgt Tsumugus Docker-Aufträgen auf dem vorhandenen Host-Runner (`ubuntu-latest`), führt Tests jedoch am exakten Commit vor dem Upload aus. Keine PHP-/Node-Installation auf dem Host und kein Build auf dem Entwicklungsrechner für automatische Deployments. + +FeWo definiert nur seine prepare/test/finalize-Befehle, erforderlichen Dateien, Laravel-Hooks, persistenten Pfade und Ziele in `pipeline.toml`. Gemeinsame Paket-, Sicherungs-, Upload- und Rückfalllogik liegt im PipelineManager. Der bisherige manuelle Weg über `scripts/deploy.sh` bleibt als bestehender Wartungsweg erhalten, bis die neue Anbindung vollständig auf Test bestätigt ist. + ## 2. SSH oder SFTP? **Empfehlung: SSH.** Das Skript führt nach dem Hochladen Befehle auf dem Server aus (Archiv entpacken, Datenbank migrieren, Caches erzeugen, Version umschalten, ggf. zurückschalten). Das geht nur mit SSH. @@ -77,11 +82,13 @@ ## 4. Tägliche Nutzung ## 5. Automatisch über Gitea Actions -- Workflow `.gitea/workflows/deploy.yml`: **Tests bei jedem Push**; **Deployment** bei Tags `v*` (z. B. `git tag v1.0.0 && git push --tags`) oder per Knopfdruck (Actions › Deploy › Run workflow, Ziel production/staging). -- Runner-Kompatibilität (26.10.2026): Der vorhandene `act_runner v0.2.11` unterstützt Actions bis Node 20. `setup-php` ist deshalb in beiden Jobs auf `2.36.0` (Node 20) festgelegt; das bewegliche `@v2` benötigt inzwischen Node 24 und bricht vor den Tests ab. Erst nach einem Runner-Upgrade wieder anheben. Beide Datenbank-Testläufe wählen ausdrücklich `--testsuite=Feature`, weil `tests/Unit` nicht existiert. -- Zweiter Lauf (26.10.): Checkout erfolgreich, danach `Could not setup PHP 8.4`. Das Log nennt `hostexecutor`: Das Label `ubuntu-latest` beweist bei Gitea kein Ubuntu-Container-System. Der Workflow gibt vor der Installation deshalb Architektur, `/etc/os-release`, Benutzer, vorhandenes PHP, APT-Kandidaten für PHP 8.4 und die Verfügbarkeit von passwortlosem sudo aus. Beide PHP-Setup-Schritte setzen ausdrücklich `runner: self-hosted`. Die genaue Installationsursache ist mit dem bisherigen Log noch offen; keine Paketquellen, sudo-Regeln oder Runner-Labels ohne Prüfung ändern. -- Voraussetzung: Gitea Actions aktiviert und ein **act_runner** registriert – passt gut auf den privaten Server (Docker). Anleitung: Gitea-Doku „Act Runner“. -- Repository-Secrets: `DEPLOY_SSH_KEY` (privater Schlüssel, dessen öffentlicher Teil bei Strato hinterlegt ist), `DEPLOY_HOST`, `DEPLOY_USER`, `DEPLOY_PATH`, `DEPLOY_PHP`, `DEPLOY_URL`. +- Push auf `develop`: Manager-Image prüfen, FeWo vorbereiten und die Feature-Suite im Container ausführen, danach nach `test.fewo-stommer.de/` unter https://stommer.info deployen. Merge-Commit von `develop` nach `main`: derselbe Ablauf für `prod.fewo-stommer.de/`, sobald dieses Ziel ausdrücklich in `pipeline.toml` aktiviert ist. +- Produktion ist derzeit `enabled=false`: Der Workflow überspringt Vorbereitung und Deployment. Eigenständige Produktionsdatenbank, `.env` und Domain-Zuordnung müssen vor Freigabe eingerichtet werden. Das bestehende WordPress-Verzeichnis `www.fewo-stommer.de/` bleibt unangetastet. +- Die 18 Manager-Tests liegen im separaten Repository; die Anwendung behält ihre 285 Feature-Tests. Kein `setup-php`, kein `setup-node`, keine Toolinstallation auf dem Pi-Host. Der bisherige Node-24-/PHP-Setup-Fehler entfällt damit. +- Build und Deployment laufen in getrennten Containeraufrufen mit UID/GID des Runners und Ressourcenlimits. Nur der Deployment-Container erhält die Strato-Zugänge. Er bekommt weder den Docker-Socket noch Verzeichnisse anderer Anwendungen. +- Persistente Verzeichnisse auf dem Pi: `/home/lars/docker/pipeline-manager/cache` (Composer/npm) und `backups//` (Datenbank, Medien und Server-Konfiguration). Backups werden vor dem Upload geprüft; ein Fehler verhindert die Auslieferung. Eine Sperre auf Strato verhindert parallele Umschaltungen desselben Ziels. +- Repository-Secrets vor dem ersten Deployment einrichten: `DEPLOY_HOST`, `DEPLOY_USER`, `DEPLOY_SSH_KEY` (Schlüsselinhalt), `DEPLOY_KNOWN_HOSTS` (geprüfter Hostschlüssel). Geheimnisse bleiben außerhalb von Image und Repository. Der Manager schreibt sie nur vorübergehend in geschützte Dateien. Im Repository waren bei Prüfung noch keine Secrets vorhanden. +- Die auf dem Pi freigegebene Image-Version muss vor dem FeWo-Workflow vorhanden sein. Für weitere Runner mit anderer Architektur ist eine entsprechende Imagebereitstellung erforderlich. Erst nach erfolgreichem Pilotlauf wird der alte manuelle Deploy-Weg ersetzt. ## 6. Getestet / offen diff --git a/docs/STATUS.md b/docs/STATUS.md index 2668ca5..546e4c9 100644 --- a/docs/STATUS.md +++ b/docs/STATUS.md @@ -157,7 +157,9 @@ ### Phase 7: Kern umgesetzt und ausgeliefert Tests: `tests/Feature/SectionPropertyTest.php` prüft in 13 Fällen gemischte Wohnungen auf einer Seite, Hauptwohnungs-Fallback, das Buchungsformular, verzögerte Ausgabe, verschachtelte Kontexte und Fehler sowie Speichern und Ablehnen im Admin über Website- und Mandantengrenzen. Gesamte Feature-Suite: **285 Tests, 1289 Assertions grün**; Pint ausgeführt. Keine neue Tabelle, Migration oder Abhängigkeit. Deployment erfolgreich, keine Migration offen. -**Gitea-Workflow (26.10., noch nicht grün):** Der vorhandene Runner `v0.2.11` kann kein Node 24 ausführen. `setup-php@v2` wurde in beiden Jobs durch die geprüfte Node-20-Version `2.36.0` ersetzt; SQLite- und MariaDB-Testlauf wählen jetzt ausdrücklich `--testsuite=Feature`. Der nächste Lauf bestätigt: Checkout klappt, aber die PHP-8.4-Installation scheitert ohne Detailursache. Ausführung laut Log über `hostexecutor`; Betriebssystem und Architektur sind noch nicht belegt. Diagnose vor dem Setup ergänzt (OS, Architektur, Benutzer, PHP, APT-Kandidaten, passwortloses sudo), beide Setup-Schritte ausdrücklich auf `runner: self-hosted` gesetzt. Nächsten Lauf auswerten; Installationsursache noch offen. Weiter gilt: Push auf `main` startet Tests; Deploy nur über `v*`-Tag oder manuellen Workflow. Dieses Release wurde lokal mit `scripts/deploy.sh staging deploy` ausgeliefert. +**Gemeinsamer PipelineManager (26.10., Pilotanbindung auf `feature/pipeline-manager-integration`):** Eigenes Repository [Lars/PipelineManager](https://gitea.stommer.de/Lars/PipelineManager), lokal `C:\dev\pipelinemanager`. Werkzeug-Image mit PHP/Composer/Node/Python/Git/SSH und gemeinsame Tests, Paketprüfung, Sicherung, Upload, Umschaltung und Rückfall. Nach dem Vorbild von Tsumugu baut der vorhandene Runner `Raspi5-Paperless` das Image im Docker; Anwendungen starten daraus ihre Aufträge. Image und Download-Caches werden wiederverwendet. FeWo liefert nur `pipeline.toml` mit Laravel-Befehlen und Zielen. Push `develop` → `test.fewo-stommer.de/`, Merge nach `main` → `prod.fewo-stommer.de/`; Produktion bleibt ausdrücklich gesperrt. Das leere Produktionsverzeichnis ist bereits angelegt, ohne `.env` oder Datenbank-Anbindung. Keine PHP-/Node-Installation mehr auf dem Host vorgesehen. + +Der frühere lokale Paket-/Registry-Ansatz bleibt unveröffentlicht auf `feature/artifact-pipeline` und ist nicht Bestandteil der Pilotanbindung. Anwendung und Theme-Dateien unverändert. Manager-Stand `0e44a42`: **18 Manager-Tests lokal grün, Docker-Build und Werkzeugprüfungen auf Raspi5-Paperless grün** ([Gitea-Lauf 4648](https://gitea.stommer.de/Lars/PipelineManager/actions/runs/4648)). Version `v0.1.0` ist zur Image-Freigabe markiert. Die Verzeichnisse für Cache und Backups liegen unter `/home/lars/docker/pipeline-manager/`; der Manager veröffentlicht keine Ports. Vor dem ersten automatischen FeWo-Deployment fehlen noch die Strato-Zugänge als Gitea-Secrets. Der aktuelle Strato-Release steht oben; Tsumugu wurde ausschließlich gelesen. **Nicht vergessen:** Jede neue Tabelle bekommt `tenant_id` von Anfang an und gehört in `TenantArchive::DELETE_ORDER`, sonst überlebt sie die Kündigung ihres Mandanten. `tests/Feature/TenantSeparationTest.php` merkt das – aber nur, wenn der Testaufbau dort die neue Tabelle auch füllt. diff --git a/docs/ZUSAMMENARBEIT.md b/docs/ZUSAMMENARBEIT.md index c880271..636725f 100644 --- a/docs/ZUSAMMENARBEIT.md +++ b/docs/ZUSAMMENARBEIT.md @@ -34,7 +34,7 @@ # … arbeiten (docs/THEME-ERSTELLUNG.md) … ## 3. Ausliefern (Deployment) -- **Nur aus `main`, nur nach `git pull`, nur mit grünen Tests.** Das Skript baut den letzten Commit des **lokalen** Stands. Wer aus einem Feature- oder Theme-Branch ausliefert, nimmt alle Änderungen der anderen Session vom Server. +- **Zielablauf mit PipelineManager:** Feature- und Theme-Branches gehen nach `develop`; dessen Push startet Tests und Deployment auf das Testsystem. Produktion entsteht durch Merge-Commit `develop` → `main` und ist bis zur Einrichtung gesperrt. Gemeinsame Deployment-Werkzeuge werden im separaten Repository PipelineManager gepflegt. Details und Freigabestand: `docs/DEPLOYMENT.md`, `docs/STATUS.md`. Bis der Pilot bestätigt ist, bleibt der bestehende manuelle Weg aus aktuellem `main` verfügbar. - Theme-Vorschau auf stommer.info: erst nach dem Zusammenführen in `main`, dann `bash scripts/deploy.sh staging deploy` und `bash scripts/deploy.sh staging artisan themes:preview ` (gibt die Vorschau-Links aus). - Das neue Theme aktivieren (Admin › System › Websites › Theme) entscheidet Lars, nach Sichtung der Vorschau. - `shared/.env` auf dem Server ändert nur Lars (Passwörter); Sessions ändern dort höchstens nicht geheime Werte und dokumentieren das in BETRIEB.md. diff --git a/pipeline.toml b/pipeline.toml new file mode 100644 index 0000000..4673e2f --- /dev/null +++ b/pipeline.toml @@ -0,0 +1,63 @@ +schema = 1 +project = "fewo-stommer" +manager = "0.1.0" + +[build] +prepare = [ + ["composer", "install", "--prefer-dist", "--no-interaction", "--no-progress"], + ["npm", "ci", "--no-audit", "--no-fund"], + ["npm", "run", "build"], + ["php", "-r", "copy('.env.example', '.env');"], + ["php", "artisan", "key:generate", "--no-interaction"], +] +test = [["php", "artisan", "test", "--compact", "--testsuite=Feature"]] +finalize = [ + ["composer", "install", "--no-dev", "--prefer-dist", "--optimize-autoloader", "--no-interaction", "--no-progress"], + ["php", "artisan", "optimize:clear", "--no-interaction"], +] +exclude = [ + "node_modules", "tests", "docs", "styles", "scripts", "storage", ".gitea", ".github", + ".claude", ".codex", ".ai", ".cursor", "AGENTS.md", "CLAUDE.md", "phpunit.xml", + "pipeline.toml", "boost.json", "vendor/laravel/boost", "vendor/laravel/pao", +] +required = ["artisan", "vendor/autoload.php", "public/index.php", "public/build/manifest.json"] + +[build.environment] +APP_ENV = "testing" +DB_CONNECTION = "sqlite" +DB_DATABASE = ":memory:" +DB_URL = "" +MAIL_MAILER = "array" +CACHE_STORE = "array" +SESSION_DRIVER = "array" +QUEUE_CONNECTION = "sync" + +[remote] +public = "public" +backup = [["@php", "artisan", "backup:database", "--no-interaction"]] +activate = [ + ["@php", "artisan", "migrate", "--force", "--no-interaction"], + ["@php", "artisan", "optimize", "--no-interaction"], + ["@php", "artisan", "filament:optimize", "--no-interaction"], +] + +[remote.shared] +".env" = ".env" +storage = "storage" +"public/storage" = "storage/app/public" + +[targets.staging] +branch = "develop" +path = "test.fewo-stommer.de" +url = "https://stommer.info" +php = "/opt/RZphp84/bin/php-cli" +enabled = true + +[targets.production] +branch = "main" +require_merge = true +source_branch = "develop" +path = "prod.fewo-stommer.de" +url = "https://www.fewo-stommer.de" +php = "/opt/RZphp84/bin/php-cli" +enabled = false