Links automatisch nach 404 testen

[YourMJK]

um z.B. Änderungen bei den Apple Music- oder Spotify-IDs zu erkennen

[stehefan]

Hab da mal was ge-prototyped:

#!/bin/bash

function checkUrl() {
  local url=$1
  rc=$(curl -H 'User-Agent: Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:80.0) Gecko/20100101 Firefox/80.0' -w "%{http_code}" -s -o /dev/null "${url}")

  if [[ $rc -gt 399 ]]; then
     echo "${url} responding with status code: ${rc}"
   fi
}
export -f checkUrl

echo "Starting link check..."
jq -r '.serie.[].links | to_entries | .[] | "\(.value)"' ../metadata/json/Alle.json | xargs -I {} bash -c 'checkUrl "{}"'

Läuft auf meinem lokalen Mac (M1 Pro) in ~60 Sekunden. Könnte man gut als Github Action einbinden und dann über ein Schedule bspw. nächtlich laufen lassen.

[YourMJK]

@stehefan Vielen Dank!
Das ist eine gute Idee, v.a. das mit GitHub-Actions zu lösen. Muss ich mir mal anschauen.

Was noch zu testen ist: ob die verschiedenen Seiten wirklich einen 400-Code zurückgeben bei nicht (mehr) verfügbaren Hörspielen – oder doch 200 mit entsprechendem body, oder eine Weiterleitung etc.

[stehefan]

Die verschiedenen Anbieter nutzen verschiedene Return-Codes bei den Requests. Einige nutzen 200, andere 30x um auf die volle URL weiterzuleiten. Hatte keine 4xx oder 5xx bei den Requests (außer, als ich den Header noch nicht mitgesendet hatte).

Das war auch der Grund, warum ich alles unter 400 als OK akzeptiert habe. Man könnte noch nach den Anbietern filtern, da die sich für alle Requests zumindest gleich verhalten.