我正在使用scrapy来抓取网站上的多个页面.
变量start_urls用于定义要爬网的页面.
我最初从第一页开始,从而在文件example_spider.py中定义start_urls = [第一页]
变量start_urls用于定义要爬网的页面.
我最初从第一页开始,从而在文件example_spider.py中定义start_urls = [第一页]
从第1页获得更多信息后,我将确定要抓取的下一页是什么,然后相应地分配start_urls.因此,我必须用start_urls = [第1页,第2页,…,第K页]的更改覆盖example_spider.py,然后再次执行scrapy抓取.
这是最好的方法还是有更好的方法来动态地分配start_urls使用scrapy API,而不必覆盖example_splider.py？
谢谢.
解决方法
start_urls类属性包含启动URL – 没有更多.如果您提取了您想要删除的其他页面的URL – 从[另一个]回调的解析回调相应的请求中获得收益：
class Spider(BaseSpider):
name = 'my_spider'
start_urls = [
'http://www.domain.com/'
]
allowed_domains = ['domain.com']
def parse(self,response):
'''Parse main page and extract categories links.'''
hxs = HtmlXPathSelector(response)
urls = hxs.select("//*[@id='tSubmenuContent']/a[position()>1]/@href").extract()
for url in urls:
url = urlparse.urljoin(response.url,url)
self.log('Found category url: %s' % url)
yield Request(url,callback = self.parseCategory)
def parseCategory(self,response):
'''Parse category page and extract links of the items.'''
hxs = HtmlXPathSelector(response)
links = hxs.select("//*[@id='_list']//td[@class='tListDesc']/a/@href").extract()
for link in links:
itemLink = urlparse.urljoin(response.url,link)
self.log('Found item link: %s' % itemLink,log.DEBUG)
yield Request(itemLink,callback = self.parseItem)
def parseItem(self,response):
...
如果您仍然要自定义开始请求创建,请覆盖方法BaseSpider.start_requests()