我正在使用Celery来自动化一些屏幕抓取.我正在使用Selenium打开Chrome webdriver,操作页面,保存一些数据,然后转到队列中的下一页.问题在于它为队列中的每个任务构建和分解Web驱动程序,这非常耗时且占用大量资源.
如何在通话中保留对象？我已经阅读了有关Celery中连接池的一些内容,但我不清楚这是如何工作的 – 我在哪里构建webdriver – 在任务文件或主排队文件中？如果是后者,工人们如何知道使用哪个webdriver？
例：
scrape.py：
for page in list: scrape.delay(str(row['product_id']),str(row['pg_code']))
tasks.py：
def scrape: # do some stuff
解决方法
由于每个worker将任务实例化为单例,因此您可以将Web驱动程序缓存在任务对象中.文档特别提出了这种方法.
http://docs.celeryproject.org/en/latest/userguide/tasks.html#instantiation