跳到分类
  • 首页
  • 关于本站

关注互联网最新资讯,最新技术趋势
首页
全部
互联网资讯
技术博客
创业报道
发表于 2020-05-10
0 条评论

小而全的开源引擎:Nutch

原创博客 开源技术 资讯

Nutch 是一个开源Java 实现的基于Lucene的搜索引擎,Lucene为Nutch提供了文本索引和搜索的API。Nutch 提供了我们运行自己的搜索引擎所需的全部工具。作为一个研究平台,Nutch有其开放灵活的架构,用户可以基于Nutch来定制自己的搜索引擎。
Nutch有其高质量和模块化的架构特点,允许使用插件来进行media-type解析、Html分析、数据检索、查询和集群化处理。主要的模块包括,包括全文搜索Searcher, 引擎Indexer和Web爬虫Crawler。
Crawler主要用于从网络上抓取网页并为这些网页建立索引
Searcher主要利用这些索引检索用户的查找关键词来产生查找结果
Indexer。为已有的网站网页信息和相关链接建立基于关键词搜索的索引
Nutch诞生于2002年8月,是Apache旗下的一个用Java实现的开源搜索引擎项目,自Nutch1.2版本之后,Nutch已经从搜索引擎演化为网络爬虫,接着Nutch进一步演化为两大分支版本:1.X和2.X,这两大分支最大的区别在于2.X对底层的数据存储进行了抽象以支持各种底层存储技术。
在Nutch的进化过程中,产生了Hadoop、Tika、Gora和Crawler Commons四个Java开源项目。如今这四个项目都发展迅速,极其火爆,尤其是Hadoop,其已成为大规模数据处理的事实上的标准。Tika使用多种现有的开源内容解析项目来实现从多种格式的文件中提取元数据和结构化文本,Gora支持把大数据持久化到多种存储实现,Crawler Commons是一个通用的网络爬虫组件。
Nutch在线帮助文档:http://tool.oschina.net/apidocs/apidoc?api=nutch2.0 ,非常详实,研究时供实时查阅。

转发到新浪微博
除非注明,本站文章均为原创或编译,转载请注明: 文章来自程序界
分享给朋友:

轻松一刻

相关文章
随机文章
    • 暂无相关日志
    • 微信公众平台为什么会火
    • 腾讯刘炽平:页游与社交游戏市场占有率超30%
    • 戴志康谈微信二维码运营:学会注重结果
    • Python 是否是下一个 PHP?
    • 磊友赵霏:一个手游老兵的回忆录
    • 自己验证过的centos上protobuf安装过程
    • 国内手游进入爆发前夜 近10款收入超500万
    • 老罗写代码了
    • 全球视频提供商viki,近日和人人网签订了国内第一份视频分享协议,其意义重大
    • 易观国际:2012年Q1中国网页游戏市场主要产品市场份额
所有评论

发表评论

取消回复

带星号*是必填项目。由于缓存,您的评论会稍后显示;请以个人的名义发表评论,昵称填写产品或网站名、评论内容附加无关网址将不通过审核。

上一篇: chrome代码的编译和调试(全部过程经本人亲自验证)

← 返回首页
热门资讯
本周
本月
昨日
    • 小而全的开源引擎:Nutch
    • chrome代码的编译和调试(全部过程经本人亲自验证)
    • 国内访问gmail的方法
    • android adb使用小记
    • windows下搭建android开发环境-史上最正确最清楚版
    • 那些年,我开发过的约炮软件-由陌陌上市谈谈im产品这点事儿
    • linux共享动态库中同名对象重复析构-两次析构或多次析构的解决办法
    • 周鸿祎冰水浇头,接受als慈善冰桶挑战
    • 简单谈一谈字符编码这点事儿
    • 这一年,过的快–我的2014年终总结
    • 一场地方网站的盛宴-5.10日车库咖啡地方站长沙龙小记
    • 一个比较靠谱的awk的学习笔记
    • 磊友赵霏:一个手游老兵的回忆录
    • 如何在半天时间内,上手python项目
    • 个人角度谈一点对go和erlang两门语言的体会
    • 回首我的2012-随笔
    • 比hadoop更即时的大数据分布式实时处理系统storm
    • 微信公众平台为什么会火
    • 一个中国互联网草根:我眼中的中国互联网创业
    • 2012十大最佳CEO提名:人人网CEO陈一舟
技术宅的思考
本周
    • 小而全的开源引擎:Nutch
    • 这一年,过的快–我的2014年终总结
    • Instagram 架构分析笔记
    • SSD硬盘,缓存技术的掘墓人
    • 运维日常操作—linux命令篇
    • 十条不错的编程观点
    • Unity引擎将支持Win8以及Windows Phone 8
    • C++真的比C差吗?
    • 史上最牛的程序员?
    • Python 是否是下一个 PHP?
花边八卦
本周
    • 小而全的开源引擎:Nutch
    • 这一年,过的快–我的2014年终总结
    • 盛大游戏高管再变动:董事长兼CEO谭群钊离职
    • 360搜索被指偷来的“市场第二”
    • 疑似PPS代理公司声明曝光:曾讨论收购PPTV
    • 网谣传盛大游戏,盛大在线将打包被360收购,良知网友诅咒造谣者:造谣死全家
    • 谁为京东苏宁的价格战埋单?
    • 硅谷创业公司出奇招,直接用函数作为招聘广告的标题
    • 传雅虎CEO梅耶尔要为每位员工配备iPhone
    • 老罗写代码了
联系我们

关于 / 关于本站

本站由 WordPress 驱动 ,主题由SoftUses 提供技术支持
沪ICP备11048881号-1

©2021