So funktioniert der Crawl
Beim Onboarding und danach liest Alpheris deine Domain als Wissensbasis ein: Sitemap (inkl. wp-sitemap.xml), Produkt- und Open-Graph-Metadaten sowie plattformspezifische Muster. Aus diesen öffentlich erreichbaren Seiten entsteht die Wissensbasis, mit der der Chatbot gegroundete Antworten gibt. Schlägt der Crawl fehl, liegt das fast immer an einer von vier Ursachen: Zugriff blockiert, keine indexierbaren Inhalte, falsche Domain oder Rate-Limit.
Schnellprüfung (2 Minuten)
deinshop.de) – nicht eine Staging-URL, eine Preview-Adresse oder eine passwortgeschützte Vorschau.https://deine-domain/robots.txt und stelle sicher, dass nicht alles per Disallow: / gesperrt ist.Häufige Fehler & Behebung
| Symptom / Fehler | Ursache & Behebung |
|---|---|
| 403 / Challenge-Seite | Cloudflare oder eine WAF blockiert den Bot. Lege eine Ausnahme für unseren Crawler an – Details unter Crawl hinter Cloudflare. |
| 429 (Rate-Limit) | Der Server drosselt Anfragen. Bot-/IP-Rate-Limits lockern oder eine Ausnahme setzen, dann erneut crawlen. |
| robots.txt blockiert | Globales Disallow: / sperrt den Crawl. Relevante Pfade (Produkte, FAQ, Policies) freigeben und Re-Crawl starten. |
| 0 Seiten / leere Wissensbasis | Keine Sitemap, reine JavaScript-Seite ohne serverseitiges HTML oder nur Bilder ohne Text. Sitemap ergänzen oder Inhalte manuell hochladen. |
| Nur Login-Seiten erfasst | Inhalte stecken hinter einem Login. Öffentliche Seiten priorisieren oder Schlüsselinhalte als Datei hochladen. |
| Timeout / Domain nicht erreichbar | DNS-Problem, Wartungsmodus oder falsche Domain. Im privaten Fenster prüfen, ob die Seite ohne Login lädt. |
| Falsche / wenige Seiten | Staging-Domain oder fehlende interne Verlinkung. Finale Domain eintragen und eine vollständige Sitemap bereitstellen. |
Seiten werden blockiert (403, Challenge, Rate-Limit)
Wenn die Seite im Browser lädt, der Crawl aber scheitert, blockiert in den meisten Fällen ein Schutzmechanismus den automatisierten Zugriff. Typische Quellen sind Cloudflare, ein Bot-Management oder aggressive Rate-Limits auf dem Webserver.
- Cloudflare / Bot-Schutz: Lege eine Allow-Regel oder eine „Skip"-Regel für unseren Crawler an. Die Schritt-für-Schritt-Anleitung steht unter Crawl hinter Cloudflare.
- Rate-Limit (429): Erhöhe das Limit für Bot-Zugriffe oder nimm den Crawler aus dem Rate-Limit aus. Danach den Crawl erneut anstoßen.
- Geo-/IP-Sperre: Stelle sicher, dass dein Hosting Zugriffe aus der EU nicht blockt. Alpheris verarbeitet und crawlt aus der EU (Hosting bei Hetzner, Rechenzentren Nürnberg/Falkenstein).
- Wartungsmodus / „Coming soon": Solche Plugins liefern allen Besuchern nur eine Platzhalterseite – auch dem Crawler. Erst deaktivieren, dann crawlen.
Seiten sind leer oder ohne Text
Manchmal ist der Zugriff erlaubt, der Crawl findet aber kaum oder keinen verwertbaren Text. Häufige Gründe:
- Reines Client-Side-Rendering: Wird der Inhalt erst nachträglich per JavaScript geladen und steht nicht im ausgelieferten HTML, fehlt dem Crawler der Text. Serverseitiges Rendering (SSR) oder eine Sitemap mit echten Inhaltsseiten hilft.
- Keine Sitemap: Ohne
sitemap.xmlbzw.wp-sitemap.xmlfindet der Crawler nur, was intern verlinkt ist. Lege eine Sitemap an oder verlinke deine wichtigsten Seiten von der Startseite. - Inhalt nur als Bild oder PDF: Texte in Grafiken oder eingebetteten Dokumenten werden auf der Website nicht als Text gelesen. Lade solche Dokumente direkt als Datei hoch – siehe unten.
- Sehr dünne Seiten: Eine reine Landingpage ohne FAQ, Produkt- oder Policy-Texte ergibt eine dünne Wissensbasis. Ergänze die Inhalte oder lade sie als Datei hoch.
Prüfen lässt sich das im Browser über „Seitenquelltext anzeigen": Wenn dort kaum Text steht, sieht der Crawler ebenfalls kaum Text.
Crawl erneut starten
Nachdem du die Ursache behoben hast, stößt du den Crawl im Dashboard neu an:
Alternative: Inhalte manuell hochladen
Wenn sich der Crawl partout nicht freischalten lässt – etwa weil die Seite hinter einem Login liegt oder erst noch gebaut wird – kannst du die Wissensbasis auch ganz ohne Crawl mit Datei-Uploads füllen. Das funktioniert auf jedem Plan und ist ein eigener Quelltyp (upload) neben dem Website-Crawl.
Lade im Dashboard unter Datenquellen z. B. dein FAQ, Versand- und Retourenrichtlinien, Produktdatenblätter oder Preislisten hoch. Unterstützte Dateitypen:
| Kategorie | Erlaubte Formate |
|---|---|
| Dokumente | .pdf .txt .md .rtf .log .doc .docx .odt |
| Tabellen / Daten | .csv .tsv .json .xml .xls .xlsx .ods |
| Präsentationen | .ppt .pptx |
| Bilder | .png .jpg .jpeg .webp .gif .bmp .tif .tiff .heic .heif |
.html und .svg werden als Upload abgelehnt. Ausführbare Dateien (z. B. .exe, .msi, .sh, .jar, .bat) sind ebenfalls gesperrt. Jeder Upload wird vor der Verarbeitung mit einem Virenscanner (ClamAV) geprüft..html nicht direkt hochladbar ist, kopiere den sichtbaren Text der Seite in eine .txt- oder .md-Datei oder drucke die Seite als .pdf und lade diese hoch.Crawl-Quellen und Uploads lassen sich beliebig kombinieren: Du kannst zuerst hochladen und später, sobald der Zugriff frei ist, zusätzlich crawlen.
Shopify- & WordPress-Shops
Bei einer Anbindung über Shopify oder WordPress & WooCommerce wird die Domain automatisch verifiziert und – bei Shopify – ergänzend Produkt- und Bestelldaten synchronisiert. Wenn der reine Website-Crawl dort wenig findet, liefert die Plattform-Anbindung trotzdem die wichtigsten Produktinhalte. Prüfe in diesem Fall, ob die Integration verbunden ist, bevor du den Crawl mehrfach wiederholst.
Weiter hängen geblieben?
Wenn der Crawl nach Behebung aller Punkte weiterhin fehlschlägt, schick uns die betroffene Domain und – falls vorhanden – die angezeigte Fehlermeldung. Allgemeine Diagnoseschritte findest du unter Fehlerbehebung; bei Schutz durch Cloudflare hilft die Cloudflare-Anleitung am schnellsten weiter.