Robots.txt + XML sitemaps ?

bin grad am optimieren meiner website. jetzt heisst es von mehreren seiten, robots.txt + XML sitemaps fehlen.

brauche ich die? zu was? wie erstelle ich die?

irgendwo habe ich gelesen, das ich die robots nur brauche, wenn den crawlern einige unterseiten verbieten möchte zu indizieren.

zu XML habe ich das hier gelesen, aber überhaupt nicht verstanden:
https://support.google.com/webmasters/bin/answer.py?..

Moin,

zu XML habe ich das hier gelesen, aber überhaupt nicht
verstanden:
https://support.google.com/webmasters/bin/answer.py?..

Der erste Absatz bringt es auf den Punkt. Eine Sitemap enthält alle Seiten einer Site, auch die nicht verlinkten. Eine Suchmaschine kann ja nur Links verfolgen. Gibt es keine Links auf eine Unterseite, kann Google die Seite nicht indizieren.

Weiter unten stehen Beispiele, was das für Seiten sein können.

Außerdem kann man wohl zusätzliche Informationen über die Seiten in der Datei unterbringen.

Wenn Du schreibst „habe ich überhaupt nicht verstanden“, dann wird eine Antwort nicht viel detaillierter ausfallen. Wenn Du noch mehr wissen möchtest, müsstest Du Deine Frage präzisieren.

Freundliche Grüße,
-Efchen

Meine Fragen standen ja deutlich drin:

brauche ich die? zu was? wie erstelle ich die?

Eine Sitemap enthält alle Seiten einer Site, auch die nicht :verlinkten. Eine
Suchmaschine kann ja nur Links verfolgen. Gibt es keine Links
auf eine Unterseite, kann Google die Seite nicht indizieren.

was sind den seiten die nicht verlinkt sind? und zu was hat man seiten online, wenn kein besucher dahin kommen soll (indem man nicht verlinkt?) versteh ich nicht.
ich glaube schon das alle meine seiten verlinkt sind. sonst könnt ich online dahin gar nicht navigieren.

inzwischen habe ich herausgefunden, das es sitemaps generatoren gibt, und ich nicht alles selbst schreiben muss. kannste was gutes empfehlen?

und was ist mit der robots?

grüsse, bonetrip

Moin,

Meine Fragen standen ja deutlich drin:

Ja, aber die Antwort dazu steht ja in der von Dir verlinkten Seite.

was sind den seiten die nicht verlinkt sind?

Ich hatte schon vermutet, dass Dir einige Grundlagen fehlen, wenn Du den Artikel nicht verstanden hast. Ich habe selber noch nie XML Sitemaps erstellt, habe den Artikel aber als verständlich empfunden, wenn man mit dem Erstellen von Webseiten und der dahinterliegenden Technik vertraut ist.
Seiten, die nicht verlinkt sind, sind solche Seiten, auf die es von keiner anderen Seite einen Link gibt, so dass Suchmaschinen diese nicht indizieren können.

und zu was hat man seiten online, wenn kein besucher dahin
kommen soll (indem man nicht verlinkt?) versteh ich nicht.

Nicht verlinkt heißt ja nicht, dass kein Besucher hin kommt. Es reicht ja, wenn man eine URL im Klartext schreibt, ohne sie auch als Link auszuzeichnen. Dann kommt da jeder hin, der da hin will, außer eben Suchmaschinen. Über Sinn und Unsinn möchte ich nicht diskutieren, ich habe zwar durchaus Verwendung für nicht verlinkte Seiten, aber das sind dann auch solche, die nicht von jedem aufgerufen werden (also z.B. Administrationsseiten einer Website). Aber die würde ich auch nicht in eine XML Sitemap eintragen.

Auch versteht der von Dir hier verlinkte Artikel unter solchen Seiten die, deren Inhalte z.B. per Ajax erzeugt wurden. Dynamische Inhalte, die asynchron vom Server abgeholt werden z.B. Der Nutzer wählt seine Wunschinhalte möglicherweise nicht über Links, sondern über Formularelemente (select) aus. Aber zu jedem dieser dynamischen Inhalte kann man ja trotzdem eine eigene URL erstellen, indem man einem Script eine bestimmte ID mitgibt. Dann ist diese Seite nicht verlinkt (Ajax stellt keine Verlinkung und eine unüberwindbare Hürde für Suchmaschinen dar), aber sie hat trotzdem eine eigene URL. Das wäre für eine Sitemap eine sinnvolle Anwendung.

ich glaube schon das alle meine seiten verlinkt sind. sonst
könnt ich online dahin gar nicht navigieren.

Wenn man unter „navigieren“ auch das direkte Eingeben einer URL in die Adresszeile des Browsers versteht, dann ginge das schon.

inzwischen habe ich herausgefunden, das es sitemaps
generatoren gibt, und ich nicht alles selbst schreiben muss.
kannste was gutes empfehlen?

Nein, ich habe keine Erfahrung mit XML Sitemaps.

und was ist mit der robots?

Dazu habe ich mich nicht geäußert :smile:
Aber meine Meinung dazu deckt sich weitestgehend mit Deiner, die Datei wird dann interessant, wenn man Suchmaschinen den Zugang verbieten möchte.

Letztendlich kann man mit solchen Mechanismen einiges für Suchmaschinen verbessern. Aber nicht jede Website benötigt sowas. Arbeitet man anständig, richtig und nach dem, was die Websprachen bewirken sollen (ich meine damit HTML nur für die Semantik, Trennung von Inhalt und Layout, kein Einsatz optionaler Techniken ohne Alternativinhalte), dann haben auch Suchmaschinen keine Probleme dmait und man braucht keine zusätzliche Optimierung.

Grüße,
-Efchen

Hallo,

inzwischen habe ich herausgefunden, das es sitemaps
generatoren gibt, und ich nicht alles selbst schreiben muss.
kannste was gutes empfehlen?

Ich nutze google-sitemapgen.

**niehaus@sonnenblume:~$** apt-cache show google-sitemapgen 
Package: google-sitemapgen
Priority: optional
Section: utils
Installed-Size: 140
Maintainer: Python Applications Packaging Team 
Architecture: all
Version: 1.5-2
Depends: python
Filename: pool/main/g/google-sitemapgen/google-sitemapgen\_1.5-2\_all.deb
Size: 26976
MD5sum: fe1b0380421f3fa41693faac7f78b192
SHA1: 13172fb9a85bc794801fe8dea91c3ecfd71ece30
SHA256: a52492bd50357a31feb2870d8ab53e147ccc79386dd7821c85770cb0a9dbc6df
Description: sitemap generator for Google Sitemap
 This script analyzes your web server and generates one or more
 sitemap files. These files are XML listings of content you make
 available on your web server. The files can be directly submitted to
 search engines as hints for the search engine web crawlers as they
 index your web site. This can result in better coverage of your web
 content in search engine indices, and less of your bandwidth spent
 doing it.
Homepage: [http://code.google.com/p/sitemap-generators/](http://code.google.com/p/sitemap-generators/)
Tag: implemented-in::stuck\_out\_tongue:ython, interface::commandline, role::stuck\_out\_tongue:rogram, scope::utility, works-with-format::xml

**niehaus@sonnenblume:~$**

HTH,

Sebastian

ok, dann danke ich dir erstmal für deine antworten.

inzwischen habe ich auch meine seite bei google verifiziert.

gemäss google alles top bis auf einen crawling fehler

http://www.bonetrip.com/equipment.htm

Leider weiss ich nicht wo der link auf meiner website ist. auf der index habe ich nichts gefunden.
Muss ich jetzt jede seite per hand durchgehen, oder gibt es eine andere lösung den falschen link zu finden?

google schreibt dazu:

Die Quelle der ungültigen Links erfahren Sie durch Klicken auf die URL. Klicken Sie im Fehlerdialog auf den Tab Über diese Seiten verlinkt. Wenn die Links von Ihrer eigenen Website stammen, korrigieren oder löschen Sie sie.
https://support.google.com/webmasters/bin/answer.py?..

hab leider nicht verstanden wie ich den link finde. hast du eine idee?

inzwischen hat google 1 crawling fehler bei mir gefunden. meint aber das wär nicht weiter schlimm