Ĭ������£��� crawler ��ѭ Web ������������Щҳ����ܶ��Զ� crawler ���м�ֵ�Ľ��顣���Ҫ������Щ���飬�������ѭĿ��վ����Զ��ų�Э����ѡ��
һ������£���Щ�������������ƽ�����Ҫ��������Ѱ���Ż���վ�С����ǣ�һЩվ�������dz��ϸ�Ľ��顣��� crawler δ��վ�㵼���κ����ݣ��볢�Թرմ�ѡ�
Ĭ������£�crawler �ᱣ�浼�� Web ҳ��� URL���Ա���Դ Web վ����Ҫʱʹ�á�Ҫ�� URL ��ΪСд����ѡ�������� URL ת��ΪСд��
Ҫ�����ij Web վ�����������ݻ������ض�ҳ�棺
Ҫָ������������뵥��
�����ų���Ȼ�����ı����м���Ҫ����� Web վ������� URL��
������ʹ��ͨ��� (*) ���и��㷺���ų������磬Ҫ������Ѱվ���е�������Ϣ�������Լ��� http://mycompany.com*sales�����ǣ��� crawler ������� mycompany.com ���� URL ���κ�λ�ð��� "sales" ���κ�ҳ�档
ע�������ı����߾��ٶ�ʹ��ͨ��������磬������� sales��crawler ������ӿ�ͨ��Ŀ�� URL ���ʵ��κ�վ���е��� URL ���κ�λ���а��� "sales" ���κ�ҳ�档
�мǣ����ͬʱ�г��ų������������ų���Ӧ����������ҳ�档���磬����ų� sales ������ http://mycompany.com���� crawler ������ http://mycompany.com ���� URL ���κ�λ�ð��� "sales" ����Щҳ�����������ҳ�档Ҫ�Ƴ��ų������ѡ�и��ų��Ȼ��
��Ҫѡ�л���������ų���ѡ����ѡ�л�����ų���ߵĸ�ѡ��
Ĭ������£��� crawler ����Ѱ�����ų���ָ�����κ�ҳ�档��� crawler Ҫ�����ų�ҳ���ϵ����Ӷ�λ�����ų���Ӧ�����ҳ�棬��ѡ����Ѱ�ų���ҳ�浫��������
Ҫ����Ѱ����Ϊ Web վ���������ض�ҳ�����ڣ�
Ҫָ���� crawler ����Ѱ��λ�ã��뵥��
���Ӱ�����Ȼ�����ı����м��� URL���Խ���Ѱ�����ڸ������ Web վ�㡣���� Web վ�����������վ������ӣ������������Ҫʹ�ð������� crawler �������ض�վ���ϡ�Ҫ������Ѱ����վ�㣬��������б�������Ҫ��Ѱվ��Ļ��� URL�����磬http://mycompany.com��
������ʹ��ͨ��� (*) ���и��㷺�İ��������磬�����Ҫ��Ѱ�����¼ (SSO) �е���Ϣ�������Լ��� http://mycompany.com*sso�����ǣ��� Crawler ������ mycompany.com ���� URL ���κ�λ�ð��� "sso" ��ҳ�档
ע�������ı����߾��ٶ�ʹ��ͨ��������磬������� sso��crawler ���ӿ�ͨ��Ŀ�� URL ���ʵ��κ�վ�㵼�� URL ���κ�λ���а��� "sso" ���κ�ҳ�档
�мǣ����ͬʱ�г��������ų������ų���Ӧ����������ҳ�档���磬������� http://mycompany.com ���ų� sso���� crawler ������ http://mycompany.com ���� URL ���κ�λ�ð��� "sso" ����Щҳ��������κ�ҳ�档Ҫ�Ƴ����������ѡ�иð����Ȼ��
��Ҫѡ�л�������а�����ѡ����ѡ�л����������ߵĸ�ѡ��