Verzeichnis von der Robot indexierung ausschliesen

GeBe · 13. November 2019 um 12:10

Liebe/-r Experte/-in,

Ich möchte per robot.txt verhindern das die Bilder diverser Bildordner meiner Internetseite von den Suchmaschinenrobots indexiert werden und bei den Google Suchergebnissen auftauchen. Wie lauten die entsprechenden Befehle in der robot.txt? Der Pfad zu den Bilder lautet: Veranstaltungen/Party/Bilder

Muß die robot.txt ins Root Verzeichnis? Auf welcher Seite muß ich die robot.txt (per metatags?) einbinden. Auf allen Seiten oder nur auf der Index.html ?

Im Vorraus schon mal herzlichen Dank für Deine Mühe

GeBe

edi_5d8612 · 13. November 2019 um 12:10

Hallo GeBe,

User-agent: *
Disallow: /Veranstaltungen/Party/Bilder/

wers1 · 13. November 2019 um 12:10

wirklich experte bin ich dafür nocht, aber ich glaube es gibt gute generatoren für die robot.txt(–> Google), eingebunden sollte die jedoch auch vorsichtshalber auf jeder seite werden, sind ja kaum daten.

Viele grüße

Felix

butterbrei · 13. November 2019 um 12:10

Hi GeBe,

Die robots.txt wird im Stammverzeichnis abgelegt (meistens heisst dieser htdocs, httpdocs oder auch www).
Bei jedem Start einer Indexierung wird zuerst versucht die robots.txt geladen. Das heisst, die Datei wird nicht eingebunden.

Der Befehl in der robots.txt den du suchst lautet Disallow. In deinem Fall dann wie folgt:
Disallow: /Veranstaltungen/Party/Bilder

Liebe Grüsse,
butterbrei

klw · 13. November 2019 um 12:10

Hallo GeBe,

du bist damit schon recht weit:

Ja, die robots.txt muss ins Root Verzeichnis
Es heißt robots.txt nicht robot.txt
Einbindung per
Syntax in der robots.txt:
User-agent: *
Disallow: /Veranstaltungen/Party/Bilder/

Viel Erfolg

MorphexX · 13. November 2019 um 12:10

Guten Abend GeBe.

Die robots.txt muss in keiner html-Datei referenziert werden. Du musst sie lediglich in das Root-Verzeichnis ablegen und anschließend wie folgt befüllen:

User-agent: *
Disallow: /Veranstaltungen/Party/Bilder

Schönen Abend noch und viel Erfolg.

maw · 13. November 2019 um 12:10

Hi,

schreib einfach folgendes in die robots.txt:

User-agent: *
Disallow: /Veranstaltungen/Party/Bilder

Die muss dann unter http://www.deinedomain.de/robots.txt erreichbar sein. Am einfachsten, indem Du sie einfach ins Root-Verzeichnis legst, genau.

Die robots.txt musst Du garnicht über Meta-Tags ins HTML einbinden. Nach der wird beim ersten Zugriff, später dann regelmäßig selbst von den Suchmaschinen aufgerufen.

Du kannst aber durchaus einzelne HTML-Seiten von den Suchmaschinen ausschließen, wenn Du z.B.

splash42 · 13. November 2019 um 12:10

Hi,

die robots.txt muss tatsächlich ins root. Der entsprechende Befehl, um Ordner auszuschließen lautet

User-agent: *
Disallow: /Veranstaltungen/Party/Bilder/

Groß-/Kleinschreibung beachten.

Michael_Suszek_61eda1 · 13. November 2019 um 12:10

Hallo GeBe,
sorry, daß ich erst jetzt antworte. (Streß-Gründe)

Also zuerst Achtung:

* Die Datei muß „robots.txt“ heißen. - Nicht robot.txt.

* Diese Datei muß ins Root-Verzeichnis.

* In dieser Datei müssen die folgenden 2 Zeilen stehen:

User-agent: *
Disallow: /Veranstaltungen/Party/Bilder/

* Einbinden in html-Seiten muß man diese Datei überhaupt nicht.

Suchmaschinen-Bots versuchen immer als erstes, ohne daß sie von html-Seiten aufgefordert werden, zuerst auf die robots.txt im root-Verzeichnis zuzugreifen. Antwortet der Server, daß es diese Datei dort nicht gibt, dann weiß der Bot, daß er auch nichts beachten muß.

Desweiteren gibt es auch einen „Art-Verwandten“ Meta-Tag:

Dieser Tag im Header von html-Seiten dient aber nur dazu, dem Bot zu sagen, daß er den (HTML-) Inhalt dieser Seite nicht indizieren soll, und bei „NOFOLLOW“ auch den Links auf der HTML-Seite nicht folgen soll.

All diese Befehle sind für Bots natürlich nicht bindend.
Es steht den Bot-Programmierern frei, ob sie diesen Anweisungen folgen, oder nicht. Die großen Suchmaschinen-Betreiber achten aber alle darauf.

Schönen Gruß!

Michael Suszek

Lutz_Mahlstedt · 13. November 2019 um 12:10

Moin moin!

Erstmal sorry, dass ich das übersehen habe, irgendwie kam keine E-Mail-Benachrichtigung für diese Anfrage bei mir an

Liebe/-r Experte/-in,

Ich möchte per robot.txt verhindern das die Bilder diverser
Bildordner meiner Internetseite von den Suchmaschinenrobots
indexiert werden und bei den Google Suchergebnissen
auftauchen. Wie lauten die entsprechenden Befehle in der
robot.txt? Der Pfad zu den Bilder lautet:
Veranstaltungen/Party/Bilder

Das ist relativ einfach. Erstelle im Root-Verzeichnis einfach die robots.txt mit folgendem Inhalt:

robots.txt zu http://www.example.org/

User-agent: *
Disallow: /Veranstaltungen/Party/Bilder/

Mach dir aber bitte bewusst, dass das den Zugriff nicht blockiert, sondern der Suchmaschine lediglich mitteilt, dass es nicht gewünscht ist dieses Verzeichnis auszulesen. Darauf zugreifen kann die Suchmaschine trotzdem, wenn sie die robots.txt ignoriert. Google und die üblichen weiteren seriösen Suchmaschinen beachten allerdings die Angaben in der robots.txt und ignorieren die angegebenen Ordner entsprechend. Insofern braucht man sich keine großen Sorgen machen. Aber unseriöse Suchmaschinen könnten (Konjunktiv!) rein theoretisch trotzdem die Bilder indizieren.

Es wäre zwar möglich Suchmaschinen mit Hilfe von Webserver-Konfigurationen von bestimmten Ordnern auszuschließen, jedoch ist das a) sehr aufwändig und b) geben sich unseriöse Suchmaschinen nicht unbedingt als bot zu erkennen, weshalb die Richtlinien dann hinfällig sind. Grund hierfür ist, dass meist der User-Agent überprüft wird, den jeder bot selber definieren kann. Trägt man hier die Kennung ein, die auch ein FireFox-Browser sendet, sieht es für den Server nicht als Bot aus und er lässt den bot durch. Würde man auch dieses blocken, käme niemand mit einem FireFox mehr auf den Ordner. Entsprechend gilt: Man kann es bots zwar erschweren gegen die robots.txt zu ignorieren, aber gänzlich verhindern kann man garnichts. Was für einen normalen Surfer offen ist kann auch jeder bot abgrasen.

Muß die robot.txt ins Root Verzeichnis? Auf welcher Seite muß
ich die robot.txt (per metatags?) einbinden. Auf allen Seiten
oder nur auf der Index.html ?

Ja, muss sie. Suchmaschinen suchen normalerweise nur dort nach der robots.txt und sonst nirgends.
Eingebunden werden muss die Datei nirgendwo. Suchmaschinen-bots fragen die Datei einfach ab. Erhalten sie einen Fehler 404, weil die Datei nicht da ist, gibt es keine Einschränkungen, bekommen sie die Datei, wird diese in der Regel ausgewertet und beachtet.

Im Vorraus schon mal herzlichen Dank für Deine Mühe

GeBe

Ich hoffe, dass dir das weiterhelfen konnte.

LG
Lutz