Robots.txt

Computer: Software & Programmierung HTML & CSS
#1

Hallo!

Ich hatte mal eine tolle robots.txt diemir aber ein Mitbewohner gelöscht hat. Ich hatte unter meinem Google Eitrag noch viele weitere Links zum Forum, nun versuche ich das wieder hinzukriegen. Ich weiß nur nicht was in die robots.txt rein gehört ?!

Ich hätte das gerne so wie Marions Kochbuch, seht Ihr hier:
https://www.google.de/webhp?sourceid=chrome-instant&ion=1&espv=2&ie=UTF-8#q=marions%20kochbuch

Die frage ist ob das mit meiner Robots.txt geht oder ob ich was anders machen
muß:

_----------------------------------

Disallow: /pjirc.php*

User-agent: msnbot
Disallow: /search.php
Disallow: /search.php*
Disallow: /ucp.php
Disallow: /ucp.php*
Disallow: /posting.php
Disallow: /posting.php*
Disallow: /report.php
Disallow: /report.php*
Disallow: /viewonline.php
Disallow: /download.php
Disallow: /download.php*
Disallow: /?sid=
Disallow: /viewcategory.php
Disallow: /viewcategory.php*
Disallow: /viewgame.php
Disallow: /viewgame.php*
Disallow: /arcade.php
Disallow: /arcade.php*
Disallow: /knuffel.php
Disallow: /knuffel.php*
Disallow: /pjirc.php
Disallow: /pjirc.php*

das Forum steht unter
http://www.köche-nord.de/Kochrezepte-kochforum/index.php

die Robots.txt seht unter http://www.köche-nord.de/robots.txt

#2

Dafür müsstes du erstmal erklären was für ein CMS du nutzt, und warum du die Crawler verbieten möchtest?
Wenn auf deinem Server gar keine search.php liegt, machts wenig sinn, den Crawlern zu verbieten die zu crawlen. Ansonsten nimm doch einen Robots Generator: Bsp: http://www.seo-ranking-tools.de/robots-txt-generator.html bzw belies dich: https://www.abakus-internet-marketing.de/seo-artikel/robots-txt.htm

#3

@Tobias_Richter_59d951

Was ist ein CMS ? :slight_smile:
Ich habe einfach ein phpbb Forum rein gestellt (das hat eine Suche aber ich
wüßte nicht warum ich den Crawern verbieten soll zu suchen ?) und dann
eine html Seite als Startseite erstellt. Die html Seite ist in PHP abgespeichert
weil ich mir Bücher über PHP gekauft habe und ich die Scripte einfügen
will … ist noch Zukunftsmusik.

Die Robots Generator besuche ich jetzt mal, danke für die Antwort !

MfG

#4

Der schreibt mir ich soll nur den folgenden Text einfügen:

User-agent: *
Disallow:

Ist das alles ?

MfG www.Köche-nord.de

#5

Genau so ist es.
Ich habe das Gefühl du weißt gar nicht was so eine Robots.txt macht, bzw warum du sie nutzen solltest.
Was ist denn der Hintergrund, wenn ich fragen darf

#6

Hi!

Also die robots.txt ist doch nur dazu da robots (crawler und andere automatische Website besucher) zu sagen was alles besucht werden darf (ist eigentlich nur ein Hinweiß, aber die meisten halten sich daran).

Diese hat aber ncihts mit den zusätzlich angezeigten Subeinträgen auf Google zu tun.
Darüber entscheided Google selbst (zumindest war es das letzte mal so als ich mcih darüber informiert habe)
Es hängt eben von der „Größe“ deiner Seite ab und wie „gut“ sie Strukturiert ist (und wie der google bot das erkennt).

#7

Also Ahnung von der Robots hatte ich eigentlich nie :smile:ich möchte nur das alle meine Foren (und wenn möglich auch die Einträge) bei Google aufgelistet
werden und wenn möglich auch meine Kochseite/Startseite.

Dann werde ich es mal mit dem kurzen Text von seo-ranking versuchen,
Danke ! MfG www.köche-nord.de

#8

Nein auf keinen Fall. In deinem Fall, solltest du keine robots.txt anlegen. Du willst ja das alles indexiert wird. Demzufolge ist die robots.txt nicht sinnvoll.

#9

Ja, habe ich verstanden und gemacht. Ich habe jetzt in der robots
User-agent: *
Disallow:

stehen Zwei Fragen habe ich aber noch:
Kann ich anstelle von *
„User-agent: http://www.köche-nord.de“
schreiben oder wie soll ich Google auf meine Seite verweisen ?

Und was muß ich dazu schreiben wenn ich will das der Crawer
den Links folgt ?

MfG