��“Ŀ�ĵ��ļ���”�£�ָ��Ҫ�����ݵ��뵽��Щ�ļ��С����� crawler ���Խ����ҵ���ÿ���ĵ������ӵ�����Ŀ�ĵ��ļ������������ݸ����ӵ���ײ����ļ��С������˴��ɻ�ȡ��ʾ���� crawler ���ȷ�������ݵ�����Щ�ļ��е�����ͼ��
Ҫ����Ŀ���ļ��У��뵥��
�����ļ�����Ȼ����“ѡ���ļ���”�Ի����У�ѡ��Ҫ���ӵ��ļ��в�����ȷ����Ҫ��Ѱ�ĵ������䵼�뵽�ļ��У�������Ը��ļ������پ����༭Ȩ����Ҫ�Ƴ�ij���ļ��У���ѡ����ļ��У�Ȼ��
��Ҫѡ�л���������ļ��и�ѡ����ѡ�л�����ļ���·����ߵĸ�ѡ��
Ҫ�л��ļ��е�����˳���뵥���ļ���·�������ߵ����ұߵ�
������������ a-z���� 
������������ z-a��ͼ�ꡣ
��������� crawler ��ʹ�õ����� Web ����֧���ļ��о��������� Web ����༭����������ҳ����ָ������������ͨ��ѡ��������Դ�ļ��нṹ��ʹ�ô����� crawler ����Ŀ¼�ļ��У�������Ҫ��Ѱ�����ݴ�ſ���ļ��нṹ��
ע��
��������ļ��нṹ������ÿ���ĵ��İ�ȫ����Ϣ���粽�� 5 ����������Ϊ������ļ��е����ļ��а�ȫ�ԡ�
��������ļ��нṹ�����ں��������У����� crawler ���Ƴ���Ӧ��Դ�ļ��е��κ��Ż���վ�ļ��С����ڴˣ�������������д����� crawler�����κ��˶���Ӧ���κη�ʽ�ı�������Ż���վ�ļ��л��ĵ���
���������� crawler ���ܸ��ľ������á�Ҳ����˵��������ô����� crawler �����ļ��нṹ�����Ժ��ܱ༭�����á�
ΪҪ���ĵ��ڵ�����Ŀ�ĵ��ļ���ǰͨ����Щ�ļ��еĹ���������ѡ��Ӧ��Ŀ�ĵ��ļ��й�������Ĭ������£��ĵ�����ͨ��Ŀ�ĵ��ļ��й���������������ĵ���������������Ŀ�ĵ��ļ��С�
ע�� ����Ѿ�����Դ�ļ��нṹ���˹��ܽ������á�
Ҫ�����е�����ĵ����ܵ��Ż���վ�в��������û�ʹ�ã���ѡ���Զ���������ĵ���Ĭ������£��ĵ���Ҫ�����������ʾ�ڵ����ĵ������ӿɹ��û�ʹ��ǰ�������������ٶ�Ŀ�ĵ��ļ��о��б༭Ȩ���Ż���վ����Ա���к���
���Ҫ�����ļ��нṹ����������Ҫ�������ĵ�����Ϊ�Զ����к��������û�Ȩ������Ϊ��ȡȨ��������Ա�û����е��û�ʼ�վ���ϵͳ��������Ȩ��������������ĵ�����ΪҪ�������Ӧע�⣬�κξ��б༭����Ȩ���Ż���վ����ԱҲ�������ļ��к����ݣ��Ӷ�ʹ�Ż���վ�ļ��к���������Դ��ſ�ʧȥͬ����
��������� crawler ��ʹ�õ����� Web ����֧�ְ�ȫ�Ե��룬������Դ��ſ���û����û������Ż���վ���û����û��飨��ȫ�� ACL ͬ����ӳ����ָ�������Ӧ����������ͨ��ѡ������ÿ���ĵ��İ�ȫ����ʹ������ crawler ����ÿ���ĵ��İ�ȫ�����á�����������Դ��ſ��û����õ��ĵ�Ҳ�Զ���ӳ����Ż���վ�û����á�
ע�����ڶ�����Ȩ����Դ��ſ���Ż���վ���ǶԵȵģ���д����Ȩ��Ȼ����˽����������Ȩ��д����Ȩ�������ԡ������ⲿ��ſ����ĵ���д����Ȩ�����༭�ĵ������Ż���վ�е�д����Ȩ����Ϊ�༭Ȩ�ޣ��������༭���ĵ�����������ȫ����������
��“�ĵ�����Ȩ��”�£�������ִ�����²��������û����û����ֶ���������� crawler ���������ݵķ���Ȩ��
Ҫ�����û����û��飬�뵥��
�����û�/�û�����Ȼ����“ѡ���û�����û�”�Ի����У�ѡ����Ҫ���ӵ��û����û��鲢����ȷ����Ҫ�����û����û��飬���������ٶԸ��û����û������ѡ��Ȩ��������ÿ���û����û��飬�ڹ�����Ȩ�������б��У�ѡ����Ҫ����ĶԴ� Crawler ���������ݵ�����Ȩ����
Ҫ�Ƴ��û����û��飬��ѡ���û����û��飬Ȼ��
��Ҫѡ�л���������û����û��鸴ѡ����ѡ�л�����û�/�û�����ߵĸ�ѡ��
Ҫ�л��û����û��������˳���뵥���û�/�û��������������ұߵ�
������������ a-z���� ������������ z-a��ͼ�ꡣҪ�鿴�û���ij�Ա���뵥���û������ơ�