Docs HilfeCrawl hinter Cloudflare

Crawl hinter Cloudflare

Wenn Cloudflare den Alpheris-Crawler blockiert, findet die Wissensbasis keine Seiten. So lässt du den Crawler kurzzeitig durch, startest den Crawl neu und stellst deinen Schutz danach wieder her.

Kurzfassung: Cloudflare hält den Crawler über Bot-Schutz, WAF-Regeln, „Under Attack"-Modus oder Rate-Limiting auf. Lege eine Ausnahme für den Alpheris-Crawler an, crawle neu und behalte deinen normalen Schutz für alle anderen Besucher.

Wie Alpheris crawlt

Beim Onboarding und bei jedem Re-Crawl ruft Alpheris die Seiten deiner verifizierten Domain über HTTPS ab. Der Crawler folgt deiner Sitemap (z. B. sitemap.xml oder wp-sitemap.xml) und liest die Seiteninhalte sowie Produkt-/OG-Metadaten aus. Der Abruf läuft serverseitig von Alpheris aus — nicht aus dem Browser deiner Besucher. Genau diese serverseitigen Anfragen können von Cloudflare als „Bot" eingestuft und blockiert werden.

Die Crawl-Anfragen kommen mit einem dieser User-Agents:

User-Agent

# Sitemap-, Produkt- und API-Prüfungen
AlpherisBot/1.0 (+https://alpheris.com)

# Abruf der eigentlichen Seiteninhalte (Browser-ähnlich)
Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/124.0.0.0 Safari/537.36

Wichtig: Eine Regel, die nur auf den String AlpherisBot matcht, reicht oft nicht — der Inhaltsabruf nutzt einen normalen Browser-User-Agent. Verlässlicher ist es, den Schutz kurz zu lockern oder per IP zu allowlisten (siehe unten).

Erkennen, ob Cloudflare blockiert

Typische Anzeichen, dass Cloudflare der Auslöser ist:

Der Crawl liefert 0 Seiten oder bricht direkt mit einem Fehler ab.
Beim manuellen Aufruf deiner Seite erscheint eine Cloudflare-Sicherheitsabfrage („Checking your browser…", Turnstile-/Captcha-Seite) oder ein Error 1020 / 1010.
HTTP-Status 403 oder 429 auf an sich öffentliche Seiten.
Cloudflare-Logs (Security → Events) zeigen blockierte Anfragen mit Ziel deiner Sitemap oder Produktseiten.

Lösung 1 — Bot-Schutz temporär lockern (am schnellsten)

Cloudflare-Dashboard öffnen

Gehe auf dash.cloudflare.com und wähle die betroffene Domain.

Under-Attack-Modus deaktivieren

Unter Security → Settings sicherstellen, dass der Under Attack-Modus aus ist. Dieser blockt jeden nicht-Browser-Zugriff.

Bot Fight Mode pausieren

Unter Security → Bots den Bot Fight Mode bzw. Super Bot Fight Mode für die Crawl-Dauer ausschalten oder lockern.

Re-Crawl in Alpheris starten

Im Dashboard unter Datenquellen & Wissensbasis auf „Website scannen" klicken (siehe Abschnitt „Re-Crawl auslösen").

Schutz wieder einschalten

Sobald der Crawl durch ist, Bot-Schutz und ggf. Under-Attack-Modus wieder auf deine üblichen Werte stellen.

Dieser Weg ist am einfachsten, lockert den Schutz aber kurz für alle. Für eine dauerhafte, gezielte Ausnahme nutze stattdessen Lösung 2 oder 3.

Lösung 2 — Gezielte WAF-Skip-Regel

Statt den Schutz global zu lockern, kannst du eine Custom Rule anlegen, die den Alpheris-Crawler durchlässt und alle übrigen Schutzmaßnahmen überspringt. Lege die Regel unter Security → WAF → Custom rules → Create rule an.

Variante A — Match über den User-Agent

Trifft die API-/Sitemap-Anfragen zuverlässig:

Expression

(http.user_agent contains "AlpherisBot")

Variante B — Match über die Crawl-IP (am robustesten)

Da der Inhaltsabruf einen Browser-User-Agent nutzt, ist eine Regel auf die Egress-IP deines Alpheris-Kontos zuverlässiger. Die für deinen Account gültige Crawler-IP erfährst du beim Support unter alpheris.com; trage sie als Platzhalter CRAWLER_IP ein:

Expression

(ip.src eq CRAWLER_IP)

Empfohlene Einstellungen für die Regel:

Einstellung	Wert
Rule name	`Alpheris Crawler erlauben`
Action	`Skip`
Skip	All remaining custom rules, Rate Limiting, Managed rules, Super Bot Fight Mode
Place at	Ganz oben (höchste Priorität)

Der User-Agent lässt sich fälschen — eine UA-only-Regel ist daher etwas weniger sicher als eine IP-Regel. Kombiniere beides (UA und IP), wenn du dauerhaft offen lassen willst.

Lösung 3 — IP-Allowlist

Wenn ihr ohnehin mit einer IP-Allowlist arbeitet, trag dort die Egress-IP des Alpheris-Crawlers ein:

Security → WAF → Tools → IP Access Rules öffnen.
Die vom Support genannte Crawler-IP mit Action Allow für die betroffene Zone hinterlegen.
Keine festen Beispiel-IPs verwenden — nur die für deinen Account gültige Adresse.

Sitemap & robots.txt erreichbar lassen

Auch bei gelockertem Schutz muss der Crawler deine Struktur finden. Prüfe daher:

Deine Sitemap (/sitemap.xml bzw. /wp-sitemap.xml) ist ohne Captcha öffentlich abrufbar.
Deine robots.txt sperrt den Crawler nicht aus (kein pauschales Disallow: /).
Cloudflare-Funktionen wie Cache Everything oder Mobil-Redirects liefern dem Crawler echte HTML-Inhalte statt einer Platzhalterseite.

Re-Crawl auslösen

Nach jeder Cloudflare-Änderung musst du den Crawl neu anstoßen, damit die Wissensbasis die Seiten neu einliest:

Dashboard öffnen

Melde dich in der Alpheris Console an.

Datenquellen aufrufen

Gehe zu Datenquellen & Wissensbasis.

Website scannen

Unter Website scannen auf die Schaltfläche „deine-domain.de scannen" klicken. Alpheris liest danach alle erreichbaren Seiten neu ein.

Status prüfen

Der Crawl läuft im Hintergrund; die Quelle zeigt anschließend die Anzahl der erfassten Seiten. Bleibt sie bei 0, ist der Schutz noch aktiv.

Tipp: Brauchst du nur einzelne Seiten, kannst du unter Einzelne Seiten gezielt URLs hinzufügen, statt die ganze Domain neu zu crawlen.

Wenn es weiter hakt

Lädt der Crawl trotz Ausnahme keine Seiten, prüfe weitere mögliche Ursachen auf der allgemeinen Hilfeseite — oder kontaktiere den Support über alpheris.com. Halte dabei deine Domain und den ungefähren Zeitpunkt des Crawl-Versuchs bereit, damit die Logs zugeordnet werden können.

Hinweis: Cloudflare ist kein Alpheris-Connector — diese Seite hilft nur beim Crawlen von Websites, die hinter Cloudflare liegen. Gespeichert werden die Daten in Deutschland; zur KI-Verarbeitung siehe Sicherheit & Datenschutz und AVV).