本文目录一览：
ant-ANT编译nutch时失败,请问大神们这是什么原因
怀疑你的情况可能是路径的问题，也有可能是代码的问题，建议使用最新的4版本的。nutch加载plugin的时候，会根据nutch-site.xml中配置的plugin.folders去搜索plugin资源，而不是classpath。
你去你的sdk目录下看看是否有这个文件夹和文件bin\aapt.exe；没有的话自己新建一个，然后将aapt.exe和zipalign.exe复制进去，这两个文件在你D：\android\sdk\build-tools\0_rc2目录下。
如何利用nutch和hadoop爬取网页数据
1、向hdfs中存入待抓取的网站url hadoop fs -put urldir urldir 注：第一个urldir为本地文件夹，存放了url数据文件，每行一个url地址 第二个urldir为hdfs的存储路径。-nutch下载
2、爬虫本质上不需要分布式。因为你要爬一个网站通常5-10个线程足够了，再多就是对网站压力测试了。你只需要将任务分配到不同的机器上，然后各运行各自己的，结果合并一下就可以。 这个与nutch人map， reduse也没有什么差别。-nutch下载
3、大多数Nutch的精抽取插件，都是挂载在逗页面解析地(parser)这个挂载点的，这个挂载点其实是为了解析链接(为后续爬取提供URL)，以及为搜索引擎提供一些易抽取的网页信息(网页的meta信息、text文本)。-nutch下载
4、网络爬虫将抓取到的HTML页面解析完成之后，把解析出的数据加入缓冲区队列，由其他两个线程负责处理数据，一个线程负责将数据保存到分布式数据库，一个线程负责将数据提交到搜索引擎进行索引。
5、如果您对数据采集有需求，可以尝试使用八爪鱼采集器来解决问题。八爪鱼为用户准备了一系列简洁易懂的教程，帮助大家快速掌握采集技巧，轻松应对各类网站数据采集，请前往官网教程与帮助了解更多详情。
开源爬虫框架各有什么优缺点?
精抽取问题。Nutch将抓取的HTML结果存放在hbase里面，页面信息都在里面了，想怎么抽取就怎么抽取。
Python中有很多优秀的爬虫框架，常用的有以下几种： Scrapy：Scrapy是一个功能强大的开源爬虫框架，它提供了完整的爬虫流程控制和数据处理功能，支持异步和分布式爬取，适用于大规模的数据采集任务。-nutch下载
Crawley：可以高速抓取对应网站内容，支持关系和非关系数据库，数据可以导出为json、xml等。
