java – 如何以并行方式运行apache nutch不同的工作

我使用的是母鸡2.3.所有作业运行一个又一个,即第一个生成器,提取,解析,索引等.我想同时运行一些作业.我知道一些作业不能并行运行,但其他作业可以解析作业,dbupdate,indexjob应该用fetch运行.

可能吗 ?我的基本目标是一直运行抓取工作.我想我们可以用不同的时间戳来做.
任何人都可以指导我正确的方法吗?

解决方法

如果您查看了Nutch Web应用服务器,您将发现它可以并行执行多个爬网作业.您应该查看Nutch 2.3的源代码,用于webapp [NutchUiServer].希望这可以帮助.

相关文章

ArrayList简介:ArrayList 的底层是数组队列,相当于动态数组。与 Java 中的数组相比,它的容量能动态增...
一、进程与线程 进程:是代码在数据集合上的一次运行活动,是系统进行资源分配和调度的基本单位。 线程...
本文为博客园作者所写: 一寸HUI,个人博客地址:https://www.cnblogs.com/zsql/ 简单的一个类...
#############java面向对象详解#############1、面向对象基本概念2、类与对象3、类和对象的定义格式4、...
一、什么是异常? 异常就是有异于常态,和正常情况不一样,有错误出错。在java中,阻止当前方法或作用域...
Collection接口 Collection接口 Collection接口 Collection是最基本的集合接口,一个Collection代表一组...