Apache Nutch|Apache Nutch v1.15下载

  • 时间:
  • 浏览:0
  • 来源:5分时时彩官网_5分时时彩玩法_5分时时彩技巧

Nutch的创始人是Doug Cutting,他一起也是Lucene、Hadoop和Avro开源项目的创始人。

Nutch诞生于2002年8月,是Apache旗下的另一有一3个用Java实现的开源搜索引擎项目,自Nutch1.2版本已经 ,Nutch由于从搜索引擎演化为网络爬虫,接着Nutch进一步演化为两大分支版本:1.X和2.X,这两大分支最大的区别在于2.X对底层的数据存储进行了抽象以支持各种底层存储技术。

在Nutch的进化过程中,产生了Hadoop、Tika、Gora和Crawler Commons3个Java开源项目。如今这3个项目都发展好快,极其火爆,尤其是Hadoop,其已成为大规模数据解决的事实上的标准。Tika使用多种现有的开源内容解析项目来实现从多种格式的文件中提取元数据和形状化文本,Gora支持把大数据持久化到多种存储实现,Crawler Commons是另一有一3个通用的网络爬虫组件。

大数据你这些 术语最早的引用可追溯到Nutch。当时,大数据用来描述为更新网络搜索索引需用一起进行批量解决或分析的一定量数据集。现在,大数据的含义由于被极大地发展了,业界将大数据的形状归纳为另一有一3个“V”。Volume数据体量巨大,Variety数据类型繁多,Value价值密度低,商业价值高,Velocity解决时延快。

Hadoop是大数据的核心技术之一,而Nutch集Hadoop之大成,是Hadoop的源头。学习Hadoop,越来越数据为什么在么在办?用Nutch抓!学了Hadoop的Map Reduce以及HDFS,越来越实用案例为什么在么在办?学习Nutch!Nutch的这些 这些 代码是用Map Reduce和HDFS写的,哪里还能找到比Nutch更好的Hadoop应用案例呢?

Tags: Nutch   Apache Nutch   Apache Nutch1.15   Java网络爬虫