Standardm��ig befolgt der Crawler die Empfehlungen
des Web-Servers, welche Seiten f�r automatisierte Crawler n�tzlich sein
k�nnten. Wenn Sie diese Empfehlungen ignorieren m�chten, deaktivieren
Sie das Kontrollk�stchen Befolgen der
Auslassungsprotokolle des Roboters der Ziel-Site.
Im Allgemeinen sind diese Empfehlungen recht n�tzlich, um das Importieren
unerw�nschten Inhalts in das Portal einzuschr�nken. Einige Websites bieten
jedoch nur sehr wenige Empfehlungen. Wenn Sie bemerken, dass Ihr Crawler
von einer Website �berhaupt keinen Inhalt importiert, deaktivieren Sie
diese Option.
Standardm��ig speichert der Crawler die URLs zu importierten Webseiten mit der gleichen Gro�- und Kleinschreibung, wie sie in der urspr�nglichen Website verwendet wird. Wenn Sie die URLs in Kleinbuchstaben umwandeln m�chten, w�hlen Sie die Option Alle URLs in Kleinbuchstaben umwandeln.
So vermeiden Sie, dass bestimmte Seiten oder bestimmter Inhalt aus bestimmten Bereichen einer Website importiert werden:
Wenn Sie einen Bereich, der ignoriert werden soll, angeben m�chten, klicken Sie auf
Ausschluss hinzuf�gen. Geben Sie danach
im Textfeld die URL des zu ignorierenden Bereichs der Website ein.
Sie k�nnen Platzhalter-Zeichen (*) verwenden, um die Ausschl�sse allgemeiner zu gestalten. Wenn Sie z. B. keine Verkaufsinformationen von einer bestimmten Website erhalten m�chten, geben Sie http://meinefirma.com*verkauf ein. Dadurch importiert der Crawler keine Seiten von meinefirma.com, in deren URL der Ausdruck �Verkauf� vorkommt.
Hinweis: Platzhalter-Zeichen gelten f�r den Anfang und das Ende Ihres Texts. Wenn Sie beispielsweise Verkauf eingeben, importiert der Crawler keine Seiten von Websites, die von der Ziel-URL aufgerufen werden k�nnen und den Begriff �Verkauf� an irgendeiner Stelle in ihrer URL enthalten.
Wichtig: Wenn Sie Ausschl�sse und Aufnahmen auff�hren, gelten die Ausschl�sse nur f�r die aufgenommenen Seiten. Beispiel: Sie haben den Begriff Verkauf ausgeschlossen und http://meinefirma.com aufgenommen. Ihr Crawler importiert also alle Seiten aus http://meinefirma.com au�er den Seiten, in deren URL der Begriff �Verkauf� vorkommt.W�hlen Sie zum Entfernen eines Ausschlusses, den entsprechenden Ausschluss aus und klicken Sie auf
.Klicken Sie zum Aktivieren bzw. Deaktivieren aller Kontrollk�stchen f�r die Ausschl�sse in das K�stchen links neben Ausschl�sse.
Standardm��ig werden von diesem Crawler keine Seiten importiert oder durchsucht, die in den Ausschl�ssen angegeben wurden. Wenn Ihr Crawler von einem Link auf einer ausgeschlossenen Seite auf eine Seite geht, die nicht ausgeschlossen ist und importiert werden soll, w�hlen Sie Crawlen in ausgeschlossenen Seiten, aber kein Import.
So beschr�nken Sie den Crawl auf einen Website-Bereich oder auf bestimmte Seiten:
Klicken Sie auf
Aufnahme hinzuf�gen, um den Crawl-Bereich des Crawlers
festzulegen. Geben Sie dann im Textfeld die URL zum Bereich der Website
an, auf die Sie den Crawl beschr�nken m�chten. Da Websites Links zu anderen
Websites enthalten k�nnen, empfiehlt es sich, den Crawler mithilfe von
Aufnahmen auf einer bestimmten Website zu halten. Damit keine anderen
Sites durchsucht werden, nehmen Sie die Ausgangs-URL der Website, die
durchsucht werden soll, in die Aufnahmeliste auf. Beispiel: http://meinefirma.com.
Sie k�nnen Platzhalter-Zeichen (*) verwenden, um die Aufnahmen allgemeiner zu halten. Wenn Sie beispielsweise nur Informationen �ber Einfachanmeldungen (SSO) durchsuchen m�chten, geben Sie http://meinefirma.com*sso ein. Dadurch w�rde der Crawler ausschlie�lich Seiten von meinefirma.com importieren, in deren URL der Ausdruck �SSO� vorkommt.
Hinweis: Platzhalter-Zeichen gelten f�r den Anfang und das Ende Ihres Texts. Wenn Sie beispielsweise sso eingeben, importiert der Crawler alle Seiten aus allen Sites, die von der Ziel-URL aufgerufen werden k�nnen und den Begriff �sso� an irgendeiner Stelle in ihrer URL enthalten.
Wichtig: Wenn Sie Ausschl�sse und Aufnahmen auff�hren, gelten die Ausschl�sse nur f�r die aufgenommenen Seiten. Beispiel: Sie haben http://meinefirma.com aufgenommen und den Begriff sso ausgeschlossen. Ihr Crawler importiert also alle Seiten aus http://meinefirma.com au�er den Seiten, in deren URL der Begriff �sso� vorkommt.W�hlen Sie zum Entfernen einer Aufnahme, die entsprechende Aufnahme aus und klicken Sie auf
.Klicken Sie zum Aktivieren bzw. Deaktivieren aller Kontrollk�stchen f�r die Aufnahmen in das K�stchen links neben Aufnahmen.