有個極其麻煩的替代方案,可行但是感覺有點複雜,如下:在extensions裡定義def spider_idle(self, spider):即對scrapy訊號spider_idle的捕獲後的方法,如果在此處加上讀取一批新的urls的方法,
append(get_url)# 將要採集的內頁網址加入佇列thread=[]foriinrange(4):wx_nemoon=MyThread(getContent,(que,),name=‘ID’+str(i))thread
new_urls and url not in self
htm,A字母開頭的第2頁成語是:http://tools