Sync aller 566 verdrahteten Mediendateien (4.79 GB) inkl. Speicherplatz-Check auf dem Pi
Deploy Development / deploy (push) Successful in 1m34s

This commit is contained in:
Lars Stommer committed 2026-10-24 19:08:22 +02:00
1 parent 923d8b6049
commit 18c94e1bf8
2 files changed
+138 -50

No files matched your search

+61 -50
View File
@@ -70,60 +70,48 @@ jobs:
docker compose -f docker-compose.dev-env.yml run --rm --no-deps mediawiki php /usr/local/bin/ensure-db-schema.php
# Pruefe, ob bereits echte Wiki-Seiten aus Strato importiert wurden
# SSH-Hilfsfunktion vorbereiten falls DB oder verdrahtete Medien noch fehlen
SSH_KEY_FILE=""
cleanup_key() {
if [ -n "${TEMP_KEY:-}" ] && [ -f "${TEMP_KEY:-}" ]; then
rm -f "$TEMP_KEY"
fi
}
trap cleanup_key EXIT
if [ -n "${DEPLOY_SSH_KEY:-}" ]; then
TEMP_KEY="$(mktemp)"
chmod 600 "$TEMP_KEY"
printf '%s\n' "$DEPLOY_SSH_KEY" > "$TEMP_KEY"
SSH_KEY_FILE="$TEMP_KEY"
elif [ -f "$HOME/.ssh/strato_fewo" ]; then
SSH_KEY_FILE="$HOME/.ssh/strato_fewo"
fi
STRATO_HOST="51539426.ssh.w1.strato.hosting"
STRATO_USER="stu100093250"
if [ -n "$SSH_KEY_FILE" ]; then
mkdir -p "$HOME/.ssh"
ssh-keyscan -H "$STRATO_HOST" >> "$HOME/.ssh/known_hosts" 2>/dev/null || true
SSH_OPTS=(-i "$SSH_KEY_FILE" -o BatchMode=yes -o StrictHostKeyChecking=accept-new)
fi
# 1. Pruefe, ob bereits echte Wiki-Seiten aus Strato importiert wurden
PAGE_COUNT="$(docker compose -f docker-compose.dev-env.yml exec -T db mariadb -N -B -u root -p"${MW_DB_ROOT_PASSWORD}" "$MW_DB_NAME" -e "SELECT COUNT(*) FROM ${MW_DB_PREFIX}page;" 2>/dev/null | tr -d ' \r\n' || echo 0)"
echo "Aktuelle Seitenanzahl in Dev-DB: ${PAGE_COUNT:-0}"
if [ "${PAGE_COUNT:-0}" -lt 10 ]; then
echo "Dev-DB hat noch keine Strato-Daten (< 10 Seiten). Pruefe SSH-Zugang fuer Erst-Import von Strato..."
SSH_KEY_FILE=""
cleanup_key() {
if [ -n "${TEMP_KEY:-}" ] && [ -f "${TEMP_KEY:-}" ]; then
rm -f "$TEMP_KEY"
fi
}
trap cleanup_key EXIT
if [ "${PAGE_COUNT:-0}" -lt 10 ] && [ -n "$SSH_KEY_FILE" ]; then
DUMP_FILE="$TARGET/backups/db-init/01-karatewiki.sql"
echo "[Strato-Sync] Ziehe aktuellen MySQL-Dump von Strato (rein lesend)..."
ssh "${SSH_OPTS[@]}" "${STRATO_USER}@${STRATO_HOST}" \
'/opt/RZphp84/bin/php-cli -r '\''$c=file_get_contents("Karate_Wiki_135/LocalSettings.php");preg_match("/wgDBpassword\s*=\s*\"([^\"]+)\"/",$c,$m);passthru(sprintf("mysqldump --single-transaction --no-tablespaces --default-character-set=binary -h rdbms.strato.de -u dbu1061679 -p%s dbs1754262",escapeshellarg($m[1])));'\''' \
> "$DUMP_FILE"
echo " Dump gespeichert ($(du -h "$DUMP_FILE" | cut -f1))."
if [ -n "${DEPLOY_SSH_KEY:-}" ]; then
TEMP_KEY="$(mktemp)"
chmod 600 "$TEMP_KEY"
printf '%s\n' "$DEPLOY_SSH_KEY" > "$TEMP_KEY"
SSH_KEY_FILE="$TEMP_KEY"
echo "Nutze SSH-Key aus Gitea Secret DEPLOY_SSH_KEY."
elif [ -f "$HOME/.ssh/strato_fewo" ]; then
SSH_KEY_FILE="$HOME/.ssh/strato_fewo"
echo "Nutze lokalen SSH-Key $SSH_KEY_FILE."
fi
if [ -n "$SSH_KEY_FILE" ]; then
STRATO_HOST="51539426.ssh.w1.strato.hosting"
STRATO_USER="stu100093250"
mkdir -p "$HOME/.ssh"
ssh-keyscan -H "$STRATO_HOST" >> "$HOME/.ssh/known_hosts" 2>/dev/null || true
SSH_OPTS=(-i "$SSH_KEY_FILE" -o BatchMode=yes -o StrictHostKeyChecking=accept-new)
DUMP_FILE="$TARGET/backups/db-init/01-karatewiki.sql"
echo "[Strato-Sync 1/3] Ziehe aktuellen MySQL-Dump von Strato (rein lesend)..."
ssh "${SSH_OPTS[@]}" "${STRATO_USER}@${STRATO_HOST}" \
'/opt/RZphp84/bin/php-cli -r '\''$c=file_get_contents("Karate_Wiki_135/LocalSettings.php");preg_match("/wgDBpassword\s*=\s*\"([^\"]+)\"/",$c,$m);passthru(sprintf("mysqldump --single-transaction --no-tablespaces --default-character-set=binary -h rdbms.strato.de -u dbu1061679 -p%s dbs1754262",escapeshellarg($m[1])));'\''' \
> "$DUMP_FILE"
echo " Dump gespeichert ($(du -h "$DUMP_FILE" | cut -f1))."
echo "[Strato-Sync 2/3] Spiele Datenbank-Dump in MariaDB ($MW_DB_NAME) ein..."
docker compose -f docker-compose.dev-env.yml exec -T db \
mariadb -u root -p"${MW_DB_ROOT_PASSWORD}" --default-character-set=binary "$MW_DB_NAME" < "$DUMP_FILE"
echo " Datenbank erfolgreich importiert!"
echo "[Strato-Sync 3/3] Kopiere Beispiel-Videos (Seienchin, Tensho, Shisoshin) zum Testen..."
docker compose -f docker-compose.dev-env.yml up -d mediawiki
ssh "${SSH_OPTS[@]}" "${STRATO_USER}@${STRATO_HOST}" \
'cd Karate_Wiki_135/images && FILES=$(find . -type f \( -iname "*Seienchin*.mp4" -o -iname "*Tensho*.mp4" -o -iname "*Shisoshin*.mp4" -o -name ".htaccess" \) | head -n 15) && tar -cf - $FILES' \
| docker compose -f docker-compose.dev-env.yml exec -T mediawiki tar -xf - -C /var/www/html/images/
docker compose -f docker-compose.dev-env.yml exec -T mediawiki chown -R www-data:www-data /var/www/html/images
echo " Beispiel-Videos erfolgreich kopiert!"
else
echo "HINWEIS: Kein DEPLOY_SSH_KEY Secret in Gitea gefunden – ueberspringe automatischen Strato-Erstimport."
fi
echo "[Strato-Sync] Spiele Datenbank-Dump in MariaDB ($MW_DB_NAME) ein..."
docker compose -f docker-compose.dev-env.yml exec -T db \
mariadb -u root -p"${MW_DB_ROOT_PASSWORD}" --default-character-set=binary "$MW_DB_NAME" < "$DUMP_FILE"
echo " Datenbank erfolgreich importiert!"
fi
docker compose -f docker-compose.dev-env.yml run --rm --no-deps mediawiki php maintenance/run.php update --quick
@@ -133,6 +121,29 @@ jobs:
docker compose -f docker-compose.dev-env.yml ps || true
exit 1
fi
# 2. Pruefe, ob bereits alle 566 verdrahteten Mediendateien (4.79 GB) synchronisiert wurden
if ! docker compose -f docker-compose.dev-env.yml exec -T mediawiki test -f /var/www/html/images/.strato_linked_synced; then
if [ -n "$SSH_KEY_FILE" ]; then
echo "=== Pruefe freien Speicherplatz auf dem Raspberry Pi vor dem 4.79 GB Medien-Sync ==="
df -h /home/lars
AVAIL_MB="$(df -BM --output=avail /home/lars | tail -n 1 | tr -d ' M\r\n')"
echo "Verfuegbarer Speicherplatz auf dem Raspberry Pi: ${AVAIL_MB} MB"
if [ "${AVAIL_MB:-0}" -lt 8000 ]; then
echo "WARNUNG: Weniger als 8000 MB frei (${AVAIL_MB} MB) – ueberspringe 4.79 GB Voll-Sync zum Schutz des Raspberry Pi!"
else
echo "Genug Speicherplatz frei (${AVAIL_MB} MB >= 8000 MB). Starte Sync aller 566 verdrahteten Dateien (4.79 GB)..."
ssh "${SSH_OPTS[@]}" "${STRATO_USER}@${STRATO_HOST}" '/opt/RZphp84/bin/php-cli' < scripts/stream-linked-images.php \
| docker compose -f docker-compose.dev-env.yml exec -T mediawiki tar -xf - -C /var/www/html/images/
docker compose -f docker-compose.dev-env.yml exec -T mediawiki touch /var/www/html/images/.strato_linked_synced
docker compose -f docker-compose.dev-env.yml exec -T mediawiki chown -R www-data:www-data /var/www/html/images
echo "Alle 566 verdrahteten Mediendateien erfolgreich synchronisiert!"
fi
fi
else
echo "Medien-Check: Alle 566 verdrahteten Dateien sind bereits im Volume vorhanden (.strato_linked_synced)."
fi
if ! curl -sf "http://localhost:3093/api.php?action=query&meta=siteinfo&format=json" >/dev/null; then
echo "DEV MediaWiki API not reachable — logs:"
docker compose -f docker-compose.dev-env.yml logs mediawiki --tail 150 || true
+77
View File
@@ -0,0 +1,77 @@
<?php
/**
* Wird per SSH (stdin) auf dem Strato-Server ausgefuehrt (100% read-only).
* Ermittelt aus der Datenbank alle tatsaechlich in Wiki-Seiten eingebundenen Dateien
* (Karate_imagelinks + <html5media>-Tags = 566 Dateien) und streamt exakt diese
* als unkomprimiertes tar-Archiv nach stdout.
*/
$c = file_get_contents( 'Karate_Wiki_135/LocalSettings.php' );
if ( !preg_match( '/\$wgDBpassword\s*=\s*"([^"]+)"/', $c, $m ) ) {
fwrite( STDERR, "Konnte wgDBpassword nicht lesen.\n" );
exit( 1 );
}
$db = new mysqli( 'rdbms.strato.de', 'dbu1061679', $m[1], 'dbs1754262' );
if ( $db->connect_error ) {
fwrite( STDERR, "DB-Verbindungsfehler: {$db->connect_error}\n" );
exit( 1 );
}
$usedNames = [];
// 1. Alle <html5media>-Einbindungen aus den aktuellen Seitentexten sammeln
$sqlPages = "
SELECT t.old_text
FROM Karate_page p
JOIN Karate_revision r ON p.page_latest = r.rev_id
LEFT JOIN Karate_slots s ON r.rev_id = s.slot_revision_id
LEFT JOIN Karate_content co ON s.slot_content_id = co.content_id
LEFT JOIN Karate_text t ON CAST(SUBSTRING(co.content_address, 4) AS UNSIGNED) = t.old_id
";
$res = $db->query( $sqlPages );
while ( $row = $res->fetch_assoc() ) {
$txt = $row['old_text'] ?? '';
if ( preg_match_all( '/<html5media[^>]*>\s*(?:File:|Datei:|Image:|Bild:)?\s*([^<\r\n]+?)\s*<\/html5media>/i', $txt, $matches ) ) {
foreach ( $matches[1] as $fn ) {
$norm = str_replace( ' ', '_', ucfirst( trim( $fn ) ) );
$usedNames[$norm] = true;
}
}
}
// 2. Alle [[Datei:...]] / [[File:...]] Einbindungen aus Karate_imagelinks sammeln
$resLinks = $db->query( "SELECT DISTINCT il_to FROM Karate_imagelinks" );
while ( $row = $resLinks->fetch_assoc() ) {
$usedNames[$row['il_to']] = true;
}
// 3. Existierende Dateien im images/-Ordner ueber ihren MediaWiki-MD5-Pfad aufloesen
$baseDir = 'Karate_Wiki_135/images';
$filesToStream = [];
if ( file_exists( "$baseDir/.htaccess" ) ) {
$filesToStream[] = '.htaccess';
}
$resImg = $db->query( "SELECT img_name FROM Karate_image" );
while ( $row = $resImg->fetch_assoc() ) {
$name = $row['img_name'];
if ( !isset( $usedNames[$name] ) ) {
continue;
}
$hash = md5( $name );
$relPath = substr( $hash, 0, 1 ) . '/' . substr( $hash, 0, 2 ) . '/' . $name;
if ( file_exists( "$baseDir/$relPath" ) ) {
$filesToStream[] = $relPath;
}
}
fwrite( STDERR, "Streame " . count( $filesToStream ) . " verdrahtete Mediendateien von Strato...\n" );
$tmpList = tempnam( sys_get_temp_dir(), 'mw_files_' );
file_put_contents( $tmpList, implode( "\n", $filesToStream ) . "\n" );
$cmd = sprintf( 'tar -cf - -C %s -T %s', escapeshellarg( $baseDir ), escapeshellarg( $tmpList ) );
passthru( $cmd, $ret );
@unlink( $tmpList );
exit( $ret );