系统: gentoo
HDFS: hadoop:hadoop-0.20.2-cdh3u0
HBase: HBase:0.90.3
安装过程:
1、安装lzo
emerge dev-libs/lzo
2.1 下载
download from:
wget http://www.apache.org/dist//hbase/hbase-0.90.3/hbase-0.90.3.tar.gz
wget http://hadoop-gpl-compression.apache-extras.org.codespot.com/files/hadoop-gpl-compression-0.1.0-rc0.tar.gz
2.2 编译
tar -zxvf hadoop-gpl-compression-0.1.0-rc0.tar.gz
cd hadoop-gpl-compression-0.1.0
cp $HADOOP_HOME//hadoop-core-0.20.2-cdh3u0.jar lib/
nano -w src/java/com/hadoop/compression/lzo/LzoCompressor.java
......
import org.apache.hadoop.conf.Configuration;
.....
public void reinit(Configuration conf) {
// do nothing
}
ant compile-native tar
2.3 拷贝需要的文件
cp build/hadoop-gpl-compression-0.1.0-dev.jar $HADOOP_HOME/lib/
cp build/hadoop-gpl-compression-0.1.0-dev.jar $HBASE_HOME/lib/
rsync -auPv lib/native $HADOOP_HOME/lib/
rsync -auPv lib/native $HBASE_HOME/lib/
3.修改配置重启HBase和Hadoop
nano core-site.xml
<property>
<name>io.compression.codecs</name>
<value>com.hadoop.compression.lzo.LzoCodec,com.hadoop.compression.lzo.LzopCodec</value>
</property>
<property>
<name>io.compression.codec.lzo.class</name>
<value>com.hadoop.compression.lzo.LzoCodec</value>
</property>
4 测试是否成功
bin/hbase org.apache.hadoop.hbase.util.CompressionTest hdfs://test1.namenode.uc.uuwatch.com:9000/test_path lzo
5 参考资料
http://wiki.apache.org/hadoop/UsingLzoCompression
http://wiki.apache.org/hadoop/Hbase/HdfsSyncSupport
http://koven2049.iteye.com/blog/983502
分享到:
相关推荐
hbase安装lzo压缩包的编译文件master
hbase配置需要的配置文件已配置好,可以直接拿来用
指导手册06:HBase安装部署 hbase配置文件
hbase配置内置的zookeeper;hbase配置内置的zookeeper;
HBase配置文件若干配置.zip
HBase配置文件与HBase doc文档
NULL 博文链接:https://qindongliang.iteye.com/blog/2267681
HBase配置
Hbase配置属性,Hbase配置属性,Hbase配置属性,Hbase配置属性
为解决现有的HBase数据压缩策略选择方法未考虑数据的冷热性,以及在选择过程中存在片面性和不可靠性的缺陷,提出了基于HBase数据分类的压缩策略选择方法。依据数据文件的访问频度将HBase数据划分为冷热数据,并限定具体...
Hbase配置.docx
一份配置好的Hadoop和Hbase 配置文件conf,你需要修改里面的host和文件路径即可;
HBase配置项说明及调优建议
HBase官方指南——配置详解篇;HBase官方指南——配置详解篇
大数据技术基础实验报告-HBase安装配置和应用实践
本人刚开始学大数据,根据自己主机写的一些HBASE配置文件,如有所需请自取,错误之处请多包涵。。。。。
1 介绍 大数据时代,海量数据的存储和分析是一个巨大的挑战...主流的HBase压缩方式有LZO和Snappy,Snappy的压缩比会稍微优于LZO,具体的对比,可参考这篇文章:http://www.cnblogs.com/zhengrunjian/p/4527165.html Sna
hbase 常用参数含义,默认值,调优建议(必须参数,split,compaction,blockcache,memstore flush,hlog,zookeeper,其他,等相参数名称、含义、默认值、调优建议)
文档是我自己一步步完成实验写成的,给初学大数据的朋友共享一下希望能有所帮助
搭建hadoop框架中的hbase集群之前,先搭建单机的hbase,了解hbase的参数配置可以在后续搭建hbase集群节省时间