- 浏览: 1777874 次
- 性别:
- 来自: 北京
文章分类
最新评论
-
奔跑的小牛:
例子都打不开
如何使用JVisualVM进行性能分析 -
蜗牛coder:
好东西[color=blue][/color]
Lucene学习:全文检索的基本原理 -
lovesunweina:
不在haoop中是在linux系统中,映射IP的时候,不能使用 ...
java.io.IOException: Incomplete HDFS URI, no host -
evening_xxxy:
挺好的, 谢谢分享
如何利用 JConsole观察分析Java程序的运行,进行排错调优 -
di1984HIT:
学习了~~~
ant使用ssh和linux交互 如:上传文件
如何在eclipse中跑nutch :http://jiajun.iteye.com/blog/612023 这里没有翻译,不过应该能看懂
那么如何分布式搭建nutch1.0 呢?
如果进行到这篇文章,就很容易了:hadoop搭建进阶,多台机器分布式搭建 :http://jiajun.iteye.com/blog/624559
具体如何做呢,参看:How to Setup Nutch and Hadoop :http://wiki.apache.org/nutch/NutchHadoopTutorial
可惜的是现在的nutch-1.0使用的hadoop架构不是0.20.2,而是使用的0.19.1,配置文件上有些差别。
注意:如果要本地调试nutch1.0,那么需要把conf/hadoop-site.xml删除或者改为其他名字,否则的话就是配置好的环境下跑的nutch,某些在从机器上运行的程序不能够调试。
下面说说,如何搭建nutch1.0
一些环境这里就不介绍了,这篇文章是接着上面几篇文章的。
一、下载安装文件
1、下载目前最新版本 nutch-1.0:http://lucene.apache.org/nutch
2、下载tomcat6.0:http://tomcat.apache.org
3、解压下载的两个压缩文件到 /home/java
二、配置文件
1、修改conf/hadoop-site.xml (配置文件和前面的hadoop-0.20.2不一样,这里的版本0.19.1不够先进)
<?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!-- Put site-specific property overrides in this file. --> <configuration> <property> <name>fs.default.name</name> <value>hdfs://home0.hadoop:9000</value> </property> <property> <name>mapred.job.tracker</name> <value>home0.hadoop:9001</value> </property> <property> <name>dfs.name.dir</name> <value>/home/lighttpd/hadoopfs/name_0,/home/lighttpd/hadoopfs/name_1</val ue> <description>Determines where on the local filesystem the DFS name node should store the name table. If this is a comma-delimited list of directories then the name table is replicated in all of the directories, for redundancy. </description> </property> <property> <name>dfs.data.dir</name> <value>/home/lighttpd/hadoopfs/data_0,/home/lighttpd/hadoopfs/data_1</val ue> <description> Determines where on the local filesystem an DFS data node should store its blocks. If this is a comma-delimited list of dir ectories, then data will be stored in all named directories, typically on d ifferent devices. Directories that do not exist are ignored. </description> </property> </configuration>
2、修改 JAVA_HOME变量指向
在这个文件中hadoop-env.sh修改,前面配置hadoop已经讲过了。
4、设定主从节点
修改 conf/masters 文件,将其中的 localhost 改为 home0.hadoop 。
修改 conf/slaves 文件。 删掉其中的localhost, 将我们的另两台机器 home1.hadoop、home2.hadoop 加入, 注意每个机器一行。
masters里面的是主机节点,slaves里面是从机节点。
5、同样的配置拷贝到其他两台机器上去
scp -r nutch1.0 home1.hadoop:/home/yourname/
注意:可能您每台机器的JAVA安装位置不一样,记得修改conf/hadoop-env.sh,设置export JAVA_HOME=正确路径
三、启动hadoop服务
1、 格式化一个新的分布式文件系统
bin/hadoop namenode -format
2、 启动hadoop进程
$ bin/start-all.sh
四、抓取、建立索引
1、配置抓取入口
在nutch1.0目录下新建文件夹:urls,在该文件夹下新建文件:urllist.txt,在该文件中写入抓取列表,比如:
http://lucene.apache.org
写入分布式文件系统
bin/hadoop fs -put urls urls
2、设置URL过滤规则
编辑conf/crawl-urlfilter.txt
# accept hosts in MY.DOMAIN.NAME #+^http://([a-z0-9]*\.)*MY.DOMAIN.NAME/ +^http://([a-z0-9]*\.)*apache.org
3、执行抓取命令
bin/nutch crawl urls -dir crawledDir -depth 3 -threads 10
五、搜索环境
1 、把上面索引后的文件拷贝到本地 ,速度会好些,也可在分布式系统中,参考文档中讲到
bin/hadoop fs -copyToLocal crawledDir /home/yourname/nutch-1.0/crawledData
2、把 nutch-1.0.war 文件拷贝到tomcat下webapps目录,启动tomcat解压文件,再关闭服务
$ cp nutch-1.0.war /home/yourname/java/apache-tomcat-6.0.18/ $ cd /home/lighttpd/java/apache-tomcat-6.0.18/ $ bin/startup.sh 浏览器输入:http://locahost:8080/nutch-1.0 $ bin/shutdown.sh
3、修改/WEB-INF/classes/nutch-site.xml
<?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!-- Put site-specific property overrides in this file. --> <!-- /home/lighttpd/nutch-1.0/conf/search-dir/sina.com.cn --> <configuration> <property> <name>searcher.dir</name> <value>/home/yourname/nutch-1.0/crawledDir</value> </property> </configuration>
4、支持中文 ,在server.xml的 Connector中加入属性
URIEncoding="UTF-8" useBodyEncodingForURI="true"
5、启动tomcat
$ cd /home/lighttpd/java/apache-tomcat-6.0.18/ $ bin/startup.sh
6、浏览器输入:http://locahost:8080/nutch-1.0 搜索试试
六、注意:
1、这里搜索的索引文件是拷贝到本地的文件,也可以搭建分布式索引文件
2、还可以搭建索引文件在不同的机器上,搜索时候从各个索引文件合并搜索结果
3、eclipse工程中的对应配置文件,都做设置的话,会运行在分布式系统中,如想调试运行在从机器上程序,需要采用本地运行方式,把hadoop-site.xml文件挪走,或者改名。
发表评论
-
HBase配置LZO压缩
2011-07-10 22:40 6116系统: gentoo HDFS: hadoop:hado ... -
HBase RegionServer 退出 ( ZooKeeper session expired)
2011-04-23 08:32 9018RegionServer 由于 ZooKeeper sessi ... -
HBase迁移数据方案1(两个集群不能通信)
2011-03-30 18:23 3818前一篇文章里面介绍了 两个可以直接通信的集群之间很容易拷贝数据 ... -
HBase如何迁移数据
2011-03-10 13:42 6468HBase如何迁移数据?这里有个方案:http://blog. ... -
HBase如何存取多个版本的值
2011-03-07 16:11 27182HBase如何存取多个版本 ... -
HBase简介(很好的梳理资料)
2011-01-30 10:18 130597一、 简介 history s ... -
Google_三大论文中文版(Bigtable、 GFS、 Google MapReduce)
2010-11-28 16:30 22150做个中文版下载源: http://dl.iteye.c ... -
hadoop主节点(NameNode)备份策略以及恢复方法
2010-11-11 19:35 27730一、dits和fsimage 首先要提到 ... -
HRegionServer: ZooKeeper session expired
2010-11-01 14:21 11412Hbase不稳定,分析日志 ... -
Bad connect ack with firstBadLink
2010-10-25 13:20 8290hbase报的错误,经过分析是Hadoop不能写入数据了。可恶 ... -
hbase0.20.支持多个主节点容灾切换功能(只激活当前某个节点,其他节点备份)
2010-09-09 14:53 2840http://wiki.apache.org/hadoop/H ... -
java.io.IOException: Incomplete HDFS URI, no host
2010-09-07 08:31 16128ERROR org.apache.hadoop.hdfs.se ... -
升级hadoop0.20.2到hadoop-0.21.0
2010-09-05 11:52 7722按照新的文档来 更新配置: http://hadoop.apa ... -
hadoop-hdfs启动又自动退出的问题
2010-05-20 10:45 6062hadoop-hdfs启动又自动退出的问题,折腾了我1天时间啊 ... -
在windows平台下Eclipse调试Hadoop/Nutch
2010-04-29 14:34 3267即让碰到这个问题说明 准备工作都做好了,软件包,环境什么的这里 ... -
Hadoop运行mapreduce实例时,抛出错误 All datanodes xxx.xxx.xxx.xxx:xxx are bad. Aborting…
2010-04-29 14:26 6369Hadoop运行mapreduce实例时,抛出错误 All d ... -
cygwin 添加用户
2010-04-13 17:48 7355http://hi.baidu.com/skychen1900 ... -
nutch总体输入输出流程图解析
2010-04-12 16:58 2429附件里面有word文档,请下 ... -
解析hadoop框架下的Map-Reduce job的输出格式的实现
2010-04-10 18:34 10095Hadoop 其实并非一个单纯用于存储的分布式文 ... -
解析Nutch插件系统
2010-03-31 16:31 6491nutch系统架构的一个亮点就是插件,借鉴这个架构我们 ...
相关推荐
Nutch分布式网络爬虫研究与优化.pdfNutch分布式网络爬虫研究与优化.pdfNutch分布式网络爬虫研究与优化.pdf
nutch分布式搜索索引热替换程序,当使用nutch分布式搜索的时候,通过修改nutch来实现重建索引和分布式搜索分隔开,相互不影响
Linux下Nutch分布式配置 使用:分布式爬虫、索引、Nutch搜索本地数据、Nutch搜索HDFS数据。
6 Nutch分布式爬虫 .................................................. 9 6.1配置Nutch配置文件 ............................................ 9 6.2 执行Nutch分布式爬虫 ......................................
Nutch2.3.1 环境搭建 Nutch2.3.1 环境搭建 Nutch2.3.1 环境搭建 亲测可用,我自己安装和搭建过程的记录文档
Linux下Nutch分布式配置和使用.pdf Lucene+Nutch源码.rar Lucene学习笔记.doc nutch_tutorial.pdf nutch二次开发总结.txt nutch入门.pdf nutch入门学习.pdf Nutch全文搜索学习笔记.doc Yahoo的Hadoop教程.doc [硕士...
Nutch-1.0分布式安装手册.rar,完整的
这篇文档是Nutch的基础文档,对Nutch的环境搭建做了简单的介绍。
基于Nutch的分布式主题爬虫的研究与实现,王光,辛阳,随着互联网的日新月异的发展,网络中存储的信息量急剧增加,传统的通用搜索引擎在广泛应用的同时,面临无法满足个性化、专业化检
非常实用的分布式搜索引擎开发工具nutch,有兴趣的赶紧下吧!
nutch平台的详细搭建过程 配置环境 抓取 建立索引 查看结果
一步一步详细解释了如何搭建nutch web开发环境,对nutch1.2有效,nutch1.3以上已经没有web这部分内容了
Nutch 是一个开源Java 实现的搜索引擎。它提供了我们运行自己 的搜索引擎所需的全部工具。包括全文搜索和Web爬虫。 尽管Web搜索是漫游Internet的基本要求, 但是现有web搜索引擎的数目却在下降. 并且这很有可能进一步...
自己写的 hadoop nutch solr 环境搭建手册,成功搭建后写的,会有红色标注容易出错的地方
7. nutch分布式文件系统........41 2007-8-26 北京邮电大学-李阳 Nutch入门学习 7.1 概述...41 7.2 MapReduce.......41 7.3 文件系统语法......42 7.4 文件系统设计......42 7.5 系统的可用性......43 7.6 Nutch...
详细解释了如何搭建nutch开发环境,每一个步骤都有详细说明
nutch框架详细介绍,基本概念,功能模块,搭建方法
nutch 爬虫数据nutch 爬虫数据nutch 爬虫数据nutch 爬虫数据nutch 爬虫数据nutch 爬虫数据nutch 爬虫数据nutch 爬虫数据nutch 爬虫数据
学习nutch 源码解读 轻松入门 搭建自己的nutch搜索引擎