由于项目想借助Nutch来做网络爬虫，所以一番研究，发现网上文档比较散，学习的很艰难，因此总结了一些，放上来与大家交流。
1 环境部署
Nutch有1.x系列和2.x系列，主要区别是2.x使用了Gora作为持久层媒介，可以将数据持久化到关系型数据库，更详细的介绍参考Nutch官网。
这里主要介绍采用Nutch2.3.1+HBase的方式进行部署，HBase又依赖于HDFS和Zookeeper，实际上，Nutch只是将HBase视为持久层，而并不关心HBase是单机模式还是分布模式，HBase又是将文件存储于HDFS，将元数据（表信息）存储于zookeeper，只不过单机模式下，把文件系统视为HDFS，而zookeeper可以使用内置，也可以使用外置的zookeeper。
安装Nutch
解压缩源码包：
tar –zxf apache-nutch-2.3.1-src.tar.gz
进入到解压缩后的目录
cd apache-nutch-2.3.1
执行ant进行编译
ant
(如果解压缩的是bin包，则无须ant编译，路径/…/apache-nutch-2.3.1即为$ NUTCH_RUNTIME_HOME。实际上2.x已经没有bin包了，只有1.x才有bin包。)
编译需要较长时间（主要是下载依赖特别慢，有说法是修改下载源地址，我试过反而会下载失败），编译完成后，将生成/runtime/local目录，可以设置环境变量：
export NUTCH_RUNTIME_HOME=/home/apache/apache-nutch-2.3.1/runtime/local
export PATH=$PATH:$NUTCH_RUNTIME_HOME/bin
输入bin/nutch 看到提示信息说明安装成功
安装Ant
如果在执行ant时提示没有ant命令，则需要先安装ant：
解压缩tar包
tar –zxf apache-ant-1.9.6-bin.tar.gz
添加环境变量
export ANT_HOME=/home/apache-ant-1.9.6/ant
export PATH=/home/apache-ant-1.9.6/bin:$PATH
输入ant –version看到版本号说明安装成功
安装HBase
解压缩tar包
tar –zxf hbase-0.98.8-hadoop2-bin.tar.gz
添加环境变量
export HBASE_HOME=/home/hbase-0.98.8-hadoop2
2 配置方法
配置单机模式下的HBase
单机模式下，不需要HDFS和Zookeeper，使用本地文件系统作为存储介质。
（单机模式需要使用端口2181，理论上应该是要求该端口未被占用。）
修改$HBASE_HOME/conf/ hbase-site.xml
在<configuration>标签中添加配置：
<property>
<name>hbase.rootdir</name>
<value>file:///home/testuser/hbase</value>
</property>
<property>
<name>hbase.zookeeper.property.dataDir</name>
<value>/home/testuser/zookeeper</value>
</property>
这里配置的rootdir是HBase存储文件的存储路径，dataDir是HBase使用zookeeper存放的元数据的存储路径。
使用命令$HBASE_HOME/bin/start-hbase.sh启动HBase，并使用jps命令查看进程，发现有HMaster进程则说明启动成功，可以在$HBASE_HOME/logs目录下找到运行日志。
单机模式下只能使用本地存储文件作为存储介质，且只能使用内置的zookeeper，不能使用外置的HDFS和zookeeper。
配置集群模式下的HBase
1、修改$HBASE_HOME/conf/ hbase-site.xml
在<configuration>标签中添加配置：
<property>
<name>hbase.rootdir</name>
<value>hdfs://192.168.1.92:9000/hbase</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
hbase.cluster.distributed属性为false代表单机模式，默认为fasle，置为true则代表分布模式，此时的hbase.rootdir要配置为HDFS的路径，这里的192.168.1.92:9000是HDFS的ip和端口，根据实际情况配置。如果没有那么需要搭建Hadoop2的环境。
2、修改$HBASE_HOME/conf/ hbase-env.sh为HBase设置jdk路径：
增加（或取消注释）
export JAVA_HOME=/usr/java/jdk1.7.0_71/
使用命令$HBASE_HOME/bin/start-hbase.sh启动HBase，这是你会发现一共启动了三项，使用jps命令查看进程，发现有HMaster、HRegionServer、H QuorumPeer进程则说明启动成功，可以在$HBASE_HOME/logs目录下分别找到运行日志。
3、（可选）使用外置的Zookeeper
在集群模式下，可以使用外置的Zookeeper，也可以使用HBase内置的Zookeeper。刚才的H QuorumPeer进程就是HBase启动的内置Zookeeper。使用外置的Zookeeper时新增如下配置：
修改$HBASE_HOME/conf/ hbase-env.sh告诉HBase使用外置的zookeeper：
增加（或取消注释）
export HBASE_MANAGES_ZK=false
在启动HBase之前，先启动你的zookeeper即可。默认HBase会向localhost:2181寻找zookeeper，如果想自定义ip和端口，则可以在$HBASE_HOME/conf/ hbase-site.xml中添加配置：
<property>
<name>hbase.zookeeper.quorum</name>
<value>192.168.1.92</value>
</property>
<property>
<name>hbase.zookeeper.property.clientPort</name>
<value>2181</value>
</property>
启动外置zookeeper后，再启动HBase，这是只有两个进程启动HMaster、HRegionServer，同样可以在$HBASE_HOME/logs目录下分别找到运行日志。
Nutch2.x关联HBase
官方建议Nutch2.3.1使用HBase0.98.8
在关联HBase之前，先配置你的Nutch，此配置类似Nutch1.x的配置：
1、修改$NUTCH_RUNTIME_HOME/conf/nutch-site.xml
新增如下属性：
<property>
<name>http.agent.name</name>
<value>My Nutch Spider</value>
</property>
2、（可选）设置url过滤规则，修改$NUTCH_RUNTIME_HOME/conf/regex-urlfilter.txt
添加类似如下正则匹配：
+^http://([a-z0-9]*\.)*nutch.apache.org/
+号代表匹配上的添加，-号代表匹配上的不添加。
3、为Nutch配置HBase属性
修改$NUTCH_RUNTIME_HOME/conf/nutch-site.xml新增如下配置：
<property>
<name>storage.data.store.class</name>
<value>org.apache.gora.hbase.store.HBaseStore</value>
<description>Default class for storing data</description>
</property>
4、为Nutch添加HBase依赖：
修改$NUTCH_HOME/ivy/ivy.xml（注意这里的$NUTCH_HOME指Nutch所在目录）
添加（或取消注释）以下配置
<!-- Uncomment this to use HBase as Gora backend. -->
<dependency org="org.apache.gora" name="gora-hbase" rev="0.6.1" conf="*->default" />
<dependency org="org.apache.hbase" name="hbase-common" rev="0.98.8-hadoop2" conf="*->default" />
5、为Nutch配置gora为hbase：
修改$NUTCH_RUNTIME_HOME/conf/gora.properties
添加（或取消注释）以下配置
gora.datastore.default=org.apache.gora.hbase.store.HBaseStore
6、使用ant重新编译Nutch、使配置生效：
在Nutch所在目录下执行
ant runtime
7、如果HBase的zookeeper不在NUTCH所在的服务器上，还需要将HBase的conf下的hbase-site.xml文件，拷贝到$NUTCH_RUNTIME_HOME/conf目录下。这样NUTCH才能找到HBase。
3 使用说明
HBase使用说明
无论是单机模式还是分布模式，都可以通过以下命令测试HBase的正常使用：
启动HBase
$HBASE_HOME/bin/start-hbase.sh
进入命令行：
$HBASE_HOME/bin/hbase shell
在命令行可以执行的命令：
create ‘test’, ‘cf’
list ‘test’
put ‘test’, ‘row1’, ‘cf:a’, ‘value1’
put ‘test’, ‘row2’, ‘cf:b’, ‘value2’
put ‘test’, ‘row3’, ‘cf:c’, ‘value3’
scan ‘test’
get ‘test’, ‘row1’
disable ‘test’
enable ‘test’
drop ‘test’
关闭HBase
$HBASE_HOME/bin/stop-hbase.sh
Nutch2.x使用说明
这里以2.3.1版本为例。
1、创建你的种子：
新建目录urls、在urls目录下创建文件seeds.txt，在seeds.txt中添加urls地址，一行一条urls。
2、inject可以理解为创建一个爬取任务:
$NUTCH_RUNTIME_HOME/bin/nutch inject urls -crawlId yyy
这里的urls就是你创建的种子url所在的文件夹，可以使用绝对路径。
yyy即为爬取任务的ID，在HBase中会创建一个yyy_webpage的表，来记录所有此爬取任务的数据信息。可以在HBase命令行用list等命令来查看爬取数据的变化。
3、generate 获取将要爬取的链接
$NUTCH_RUNTIME_HOME/bin/nutch generate -crawlId yyy
4、fetch 爬取网页
$NUTCH_RUNTIME_HOME/bin/nutch fetch –all -crawlId yyy –threads 4
5、parse解析网页数据
$NUTCH_RUNTIME_HOME/bin/nutch parse -crawlId yyy -all
6、updata更新数据库
$NUTCH_RUNTIME_HOME/bin/nutch updatedb -all -crawlId yyy
7、重复2-6步即可继续下一个深度的爬取
详细的命令可选参数，参考Nutch官网。
