@Matthias (one)
Hallo,
ich suche den Admin von friendica.de und #PHP Hilfe!
Zum Parsen von robots.txt benutze ich bisher github.com/t1gor/Robots.txt-Pa…
Das hat auch bisher wunderbar geklappt und die robots.txt hat den User-Agent StartDirectory ausgesperrt.
Ich frage mich ob was an der robots.txt Datei geändert wurde?
Das Library scheint den Disallow nicht mehr zu erkennen?
Ich habe auch den fork gestestet: github.com/edim24/Robots.txt-P…
Und noch ein anderes Library zusätzlich: github.com/bopoda/robots-txt-p…
if(($type === 'handle' || $type === 'website' ) && !empty($subject)){
$robotsTxT = $RobotsCache->fetchRobotsTxt($serverInstanceOfEntry);
$robotsTxTParser = new RobotsTxtParser($robotsTxT);
$robotsTxTValidator = new RobotsTxtValidator($robotsTxTParser->getRules());if(!$robotsTxTValidator->isUrlAllow('/', 'StartDirectory')
|| ($type === 'handle' && !$robotsTxTValidator->isUrlAllow( '/.well-known/webfinger', 'StartDirectory'))
){
$OptOutManager->optOut($subject, 'user',$timeToBlock, 'webfinger robots.txt or hashtags');$item = $TagManager->getItemByName($subject);
if ($item) {
$TagManager->deleteItem($item['id'] );
}
echo $isJSONRequest
? patchJsonOut($subject.' is blocked/moderated by robots.txt or hashtags')
: \StartDir\Helpers::webfinger_fallback_page($subject, false, $subject.' profile info');
$dbh = null;
return __outReturnNoDie('');
}
}
Hilft nichts: Die robots.txt wird von diesen PHP Libraries nicht richtig interpretiert?
Ich habe nun den optout von friendica.de manuell auf dauerhaft gestellt.
Aber vielleicht kann jemand bei der Lösung des Problems zu helfen?
Wie parsed Ihr in PHP robots.txt Dateien?
Liegt es an den verwendeten Libraries oder gibt es einen Fehler in der Formatierung dieser speziellen robots.txt, denn meine Test-Strings damit und die anderen Seiten scheinen zu funktionieren?
Melanie Wehowski
in reply to Melanie Wehowski • •@Admin friendica.de
@Jools
@Jools
Sorry, ich dachte Matthias wäre der Admin.
Das Problem: Beide PHP Libraries (siehe oben) scheinen Eure robots.txt nicht richtig zu parsen? Und ich frage mich woran es liegt, ob es an den libraries liegt und es bessere Alternativen gibt?
Melanie Wehowski
Unknown parent • •@Jools @Jools @Admin friendica.de
Ja, ich habe grad hiermit gestestet: robotstxt.com/tester
Der Fehler liegt bei mir.
Aber hat jemand einen Tipp, oder ein Library zum robots.txt parsen?
... show moreBei einfacheren Examples funktionieren beide Libraries, ich muss weiter suchen, aber vielleicht hat jemand einen Tipp?
Beide Libraries geben "1" aus, ist aber hier falsch:
@Jools @Jools @Admin friendica.de
Ja, ich habe grad hiermit gestestet: robotstxt.com/tester
Der Fehler liegt bei mir.
Aber hat jemand einen Tipp, oder ein Library zum robots.txt parsen?
Bei einfacheren Examples funktionieren beide Libraries, ich muss weiter suchen, aber vielleicht hat jemand einen Tipp?
Beide Libraries geben "1" aus, ist aber hier falsch:
Melanie Wehowski
in reply to Melanie Wehowski • •Ich habe den Fehler gefunden!
strtolower fixed die Sache, der User-Agent muss lowercase sein.