Sync aller 566 verdrahteten Mediendateien (4.79 GB) inkl. Speicherplatz-Check auf dem Pi
Deploy Development / deploy (push) Successful in 1m34s

This commit is contained in:
Lars Stommer committed 2026-10-24 19:08:22 +02:00
1 parent 923d8b6049
commit 18c94e1bf8
2 files changed
+138 -50

No files matched your search

+61 -50
View File
@@ -70,60 +70,48 @@ jobs:
docker compose -f docker-compose.dev-env.yml run --rm --no-deps mediawiki php /usr/local/bin/ensure-db-schema.php
# Pruefe, ob bereits echte Wiki-Seiten aus Strato importiert wurden
# SSH-Hilfsfunktion vorbereiten falls DB oder verdrahtete Medien noch fehlen
SSH_KEY_FILE=""
cleanup_key() {
if [ -n "${TEMP_KEY:-}" ] && [ -f "${TEMP_KEY:-}" ]; then
rm -f "$TEMP_KEY"
fi
}
trap cleanup_key EXIT
if [ -n "${DEPLOY_SSH_KEY:-}" ]; then
TEMP_KEY="$(mktemp)"
chmod 600 "$TEMP_KEY"
printf '%s\n' "$DEPLOY_SSH_KEY" > "$TEMP_KEY"
SSH_KEY_FILE="$TEMP_KEY"
elif [ -f "$HOME/.ssh/strato_fewo" ]; then
SSH_KEY_FILE="$HOME/.ssh/strato_fewo"
fi
STRATO_HOST="51539426.ssh.w1.strato.hosting"
STRATO_USER="stu100093250"
if [ -n "$SSH_KEY_FILE" ]; then
mkdir -p "$HOME/.ssh"
ssh-keyscan -H "$STRATO_HOST" >> "$HOME/.ssh/known_hosts" 2>/dev/null || true
SSH_OPTS=(-i "$SSH_KEY_FILE" -o BatchMode=yes -o StrictHostKeyChecking=accept-new)
fi
# 1. Pruefe, ob bereits echte Wiki-Seiten aus Strato importiert wurden
PAGE_COUNT="$(docker compose -f docker-compose.dev-env.yml exec -T db mariadb -N -B -u root -p"${MW_DB_ROOT_PASSWORD}" "$MW_DB_NAME" -e "SELECT COUNT(*) FROM ${MW_DB_PREFIX}page;" 2>/dev/null | tr -d ' \r\n' || echo 0)"
echo "Aktuelle Seitenanzahl in Dev-DB: ${PAGE_COUNT:-0}"
if [ "${PAGE_COUNT:-0}" -lt 10 ]; then
echo "Dev-DB hat noch keine Strato-Daten (< 10 Seiten). Pruefe SSH-Zugang fuer Erst-Import von Strato..."
SSH_KEY_FILE=""
cleanup_key() {
if [ -n "${TEMP_KEY:-}" ] && [ -f "${TEMP_KEY:-}" ]; then
rm -f "$TEMP_KEY"
fi
}
trap cleanup_key EXIT
if [ "${PAGE_COUNT:-0}" -lt 10 ] && [ -n "$SSH_KEY_FILE" ]; then
DUMP_FILE="$TARGET/backups/db-init/01-karatewiki.sql"
echo "[Strato-Sync] Ziehe aktuellen MySQL-Dump von Strato (rein lesend)..."
ssh "${SSH_OPTS[@]}" "${STRATO_USER}@${STRATO_HOST}" \
'/opt/RZphp84/bin/php-cli -r '\''$c=file_get_contents("Karate_Wiki_135/LocalSettings.php");preg_match("/wgDBpassword\s*=\s*\"([^\"]+)\"/",$c,$m);passthru(sprintf("mysqldump --single-transaction --no-tablespaces --default-character-set=binary -h rdbms.strato.de -u dbu1061679 -p%s dbs1754262",escapeshellarg($m[1])));'\''' \
> "$DUMP_FILE"
echo " Dump gespeichert ($(du -h "$DUMP_FILE" | cut -f1))."
if [ -n "${DEPLOY_SSH_KEY:-}" ]; then
TEMP_KEY="$(mktemp)"
chmod 600 "$TEMP_KEY"
printf '%s\n' "$DEPLOY_SSH_KEY" > "$TEMP_KEY"
SSH_KEY_FILE="$TEMP_KEY"
echo "Nutze SSH-Key aus Gitea Secret DEPLOY_SSH_KEY."
elif [ -f "$HOME/.ssh/strato_fewo" ]; then
SSH_KEY_FILE="$HOME/.ssh/strato_fewo"
echo "Nutze lokalen SSH-Key $SSH_KEY_FILE."
fi
if [ -n "$SSH_KEY_FILE" ]; then
STRATO_HOST="51539426.ssh.w1.strato.hosting"
STRATO_USER="stu100093250"
mkdir -p "$HOME/.ssh"
ssh-keyscan -H "$STRATO_HOST" >> "$HOME/.ssh/known_hosts" 2>/dev/null || true
SSH_OPTS=(-i "$SSH_KEY_FILE" -o BatchMode=yes -o StrictHostKeyChecking=accept-new)
DUMP_FILE="$TARGET/backups/db-init/01-karatewiki.sql"
echo "[Strato-Sync 1/3] Ziehe aktuellen MySQL-Dump von Strato (rein lesend)..."
ssh "${SSH_OPTS[@]}" "${STRATO_USER}@${STRATO_HOST}" \
'/opt/RZphp84/bin/php-cli -r '\''$c=file_get_contents("Karate_Wiki_135/LocalSettings.php");preg_match("/wgDBpassword\s*=\s*\"([^\"]+)\"/",$c,$m);passthru(sprintf("mysqldump --single-transaction --no-tablespaces --default-character-set=binary -h rdbms.strato.de -u dbu1061679 -p%s dbs1754262",escapeshellarg($m[1])));'\''' \
> "$DUMP_FILE"
echo " Dump gespeichert ($(du -h "$DUMP_FILE" | cut -f1))."
echo "[Strato-Sync 2/3] Spiele Datenbank-Dump in MariaDB ($MW_DB_NAME) ein..."
docker compose -f docker-compose.dev-env.yml exec -T db \
mariadb -u root -p"${MW_DB_ROOT_PASSWORD}" --default-character-set=binary "$MW_DB_NAME" < "$DUMP_FILE"
echo " Datenbank erfolgreich importiert!"
echo "[Strato-Sync 3/3] Kopiere Beispiel-Videos (Seienchin, Tensho, Shisoshin) zum Testen..."
docker compose -f docker-compose.dev-env.yml up -d mediawiki
ssh "${SSH_OPTS[@]}" "${STRATO_USER}@${STRATO_HOST}" \
'cd Karate_Wiki_135/images && FILES=$(find . -type f \( -iname "*Seienchin*.mp4" -o -iname "*Tensho*.mp4" -o -iname "*Shisoshin*.mp4" -o -name ".htaccess" \) | head -n 15) && tar -cf - $FILES' \
| docker compose -f docker-compose.dev-env.yml exec -T mediawiki tar -xf - -C /var/www/html/images/
docker compose -f docker-compose.dev-env.yml exec -T mediawiki chown -R www-data:www-data /var/www/html/images
echo " Beispiel-Videos erfolgreich kopiert!"
else
echo "HINWEIS: Kein DEPLOY_SSH_KEY Secret in Gitea gefunden – ueberspringe automatischen Strato-Erstimport."
fi
echo "[Strato-Sync] Spiele Datenbank-Dump in MariaDB ($MW_DB_NAME) ein..."
docker compose -f docker-compose.dev-env.yml exec -T db \
mariadb -u root -p"${MW_DB_ROOT_PASSWORD}" --default-character-set=binary "$MW_DB_NAME" < "$DUMP_FILE"
echo " Datenbank erfolgreich importiert!"
fi
docker compose -f docker-compose.dev-env.yml run --rm --no-deps mediawiki php maintenance/run.php update --quick
@@ -133,6 +121,29 @@ jobs:
docker compose -f docker-compose.dev-env.yml ps || true
exit 1
fi
# 2. Pruefe, ob bereits alle 566 verdrahteten Mediendateien (4.79 GB) synchronisiert wurden
if ! docker compose -f docker-compose.dev-env.yml exec -T mediawiki test -f /var/www/html/images/.strato_linked_synced; then
if [ -n "$SSH_KEY_FILE" ]; then
echo "=== Pruefe freien Speicherplatz auf dem Raspberry Pi vor dem 4.79 GB Medien-Sync ==="
df -h /home/lars
AVAIL_MB="$(df -BM --output=avail /home/lars | tail -n 1 | tr -d ' M\r\n')"
echo "Verfuegbarer Speicherplatz auf dem Raspberry Pi: ${AVAIL_MB} MB"
if [ "${AVAIL_MB:-0}" -lt 8000 ]; then
echo "WARNUNG: Weniger als 8000 MB frei (${AVAIL_MB} MB) – ueberspringe 4.79 GB Voll-Sync zum Schutz des Raspberry Pi!"
else
echo "Genug Speicherplatz frei (${AVAIL_MB} MB >= 8000 MB). Starte Sync aller 566 verdrahteten Dateien (4.79 GB)..."
ssh "${SSH_OPTS[@]}" "${STRATO_USER}@${STRATO_HOST}" '/opt/RZphp84/bin/php-cli' < scripts/stream-linked-images.php \
| docker compose -f docker-compose.dev-env.yml exec -T mediawiki tar -xf - -C /var/www/html/images/
docker compose -f docker-compose.dev-env.yml exec -T mediawiki touch /var/www/html/images/.strato_linked_synced
docker compose -f docker-compose.dev-env.yml exec -T mediawiki chown -R www-data:www-data /var/www/html/images
echo "Alle 566 verdrahteten Mediendateien erfolgreich synchronisiert!"
fi
fi
else
echo "Medien-Check: Alle 566 verdrahteten Dateien sind bereits im Volume vorhanden (.strato_linked_synced)."
fi
if ! curl -sf "http://localhost:3093/api.php?action=query&meta=siteinfo&format=json" >/dev/null; then
echo "DEV MediaWiki API not reachable — logs:"
docker compose -f docker-compose.dev-env.yml logs mediawiki --tail 150 || true