Wieso kann Perplexity bestimmte URLs nicht abrufen?
Ich habe festgestellt, dass Perplexity einige URLs bei steigerlegal.ch nicht abrufen kann, zum Beispiel https://steigerlegal.ch/2024/11/25/plattform-regulierung-schweiz-sankt-nimmerleins-tag/.
Andere URLs hingegen funktioniert, zum Beispiel https://steigerlegal.ch/2024/11/21/dubai-schokolade-markenregister-schweiz/.
Woran könnte das liegen?
Bislang hilft auch die ausdrückliche Erlaubnis via robots.txt nicht.