2010 年文章归档
共 79 篇文章
Google_三大论文中文版(Bigtable、 GFS、 Google MapReduce)
做个中文版下载源: http://dl.iteye.com/topics/download/38db9a29-3e17-3dce-bc93-df9286081126 做个原版地址链接: http://labs.google.com/papers/gfs.html http://labs.google.com/papers/bigtable.html http://labs.google.com/papers/mapreduce.html
2010-11-28 16:30 · HBase
如何利用 JConsole观察分析Java程序的运行,进行排错调优
一、JConsole是什么 从Java 5开始 引入了 JConsole。JConsole 是一个内置 Java 性能分析器,可以从命令行或在 GUI shell 中运行。您可以轻松地使用 JConsole(或者,它更高端的 “近亲” VisualVM )来监控 Java 应用程序性能和跟踪 Java 中的代码。 二、如何启动JConsole 如果是从命令行启动,使 JDK 在 PATH 上,运行 jconsole 即可。 如果从 GUI shell 启动,找到 JDK 安装路径,打开 bin 文件夹,双击 jconsole 。 当分析工具弹出时(取决于正在运行的 Java 版本以及正在运行…
2010-11-12 18:38 · JAVA
hadoop主节点(NameNode)备份策略以及恢复方法
一、dits和fsimage 首先要提到两个文件edits和fsimage,下面来说说他们是做什么的。 集群中的名称节点(NameNode)会把文件系统的变化以追加保存到日志文件edits中。 当名称节点(NameNode)启动时,会从镜像文件 fsimage 中读取HDFS的状态,并且把edits文件中记录的操作应用到fsimage,也就是合并到fsimage中去。合并后更新fsimage的HDFS状 态,创建一个新的edits文件来记录文件系统的变化 那么问题来了,只有在名称节点(NameNode)启动的时候才会合并fsimage和edits,那么久而久之edits文件会越来越大,特别是…
2010-11-11 19:35 · HBase
gentoo下 JAVA生成图片的问题 以及JFreeChart的图片问题
=============================== gentoo(linux)系统下图片问题 验证码图片问题或者是说采用以下方案生成图片的问题 {code} // 创建内存图象并获得其图形上下文 final BufferedImage image = new BufferedImage(WIDTH, HEIGHT, BufferedImage.TYPE_INT_RGB); final Graphics g = image.getGraphics(); {code} 如何解决? 我目前机器上的JDK如下(java-config -L) JDK发行版: 1) IcedTea6-bin…
2010-11-05 17:21 · JAVA
磁盘 I/O 分析
什么时候需要分析 对于JAVA程序员来说,磁盘IO存在性能问题的时候可能不是那么多,频繁操作磁盘的也就是大量的日志、索引文件,甚或是JAVA写的数据库(如:hbase)等。 JAVA程序员在Linux下分析程序性能,top命令是比较常用的,比如这么一行: Cpu(s): 14.8%us, 0.8%sy, 0.0%ni, 60.3%id, 83.8%wa, 0.1%hi, 0.2%si, 0.0%st 如果磁盘IO是瓶颈之一的话,那么%wa的值就会很高,那么这个时候就要分析磁盘IO了。其他字段这里就不再解释了(小提示:按1会显示你所有CPU的情况,这里这是个总体值的情况) 用什么分析 那么如何…
2010-11-04 14:16 · LINUX
跨域资源共享的10种方式
呵呵,发现一不错文章:跨域资源共享的10种方式 同源策略 在客户端编程语言中,如JavaScript和ActionScript,同源策略是一个很重要的安全理念,它在保证数据的安全性方面有着重要的意 义。同源策略规定跨域之间的脚本是隔离的,一个域的脚本不能访问和操作另外一个域的绝大部分属性和方法。那么什么叫相同域,什么叫不同的域呢?当两个域具 有相同的协议(如http), 相同的端口(如80),相同的host(如www.example.org),那么我们就可以认为它们是相同的域。比如 http://www.example.org/index.html和http://www.example.or…
2010-11-01 16:44 · JavaScript
HRegionServer: ZooKeeper session expired
Hbase不稳定,分析日志发现,归纳总结,目前发现共存在两个问题,一个就是上篇博客提到的问题,还有个问题就是zookeeper的问题 我的异常输出为: 2010-10-28 00:36:49,573 WARN org.apache.zookeeper.ClientCnxn: Exception closing session 0x9d2be33dbe860005 to sun.nio.ch.SelectionKeyImpl@6655bb93 java.io.IOException: Read error rc = -1 java.nio.DirectByteBuffer[pos=0 lim=…
2010-11-01 14:21 · HBase
Bad connect ack with firstBadLink
hbase报的错误,经过分析是Hadoop不能写入数据了。可恶的是hbase会丢失该阶段put的的数据。 DFSClient: Exception in createBlockOutputStream java.io.IOException: Bad connect ack with firstBadLink DFSClient: Abandoning block blk_ DFSClient: Waiting to find target node DFSClient: DataStreamer Exception: java.io.IOException: Unable to creat…
2010-10-25 13:20 · HBase
JAVA NIO 详解Buffer类
讲得很好,转载一下:http://www.java1995.cn/wiki/article/115-Xiang_Jie_Buffer_Class Buffer类基本概念: 一般而言,Buffer的数据结构是一个保存了原始数据的数组,在Java语言里面封装成为一 个带引用的对象。Buffer一般称为缓冲区,该缓冲区的优点在于它虽然是一个简单数组,但是它封装了很多数据常量以及单个对象的相关属性。针对 Buffer而言主要有四个主要的属性: 容 量(Capacity ): 容量描述了这个缓冲区最 多能够存放多少,也是Buffer的最大存储元素量,这个值是在创建Buffer的时候指定的,而且不可以更…
2010-10-19 11:21 · JAVA
Google Code SVN 密码的解决之道
自己指定DNS解析: 66.249.89.104 code.google.com 这里查到的,感谢! http://www.oraforum.net/thread-2711-1-1.html
2010-10-18 13:27 · FAQ
gentoo下解决RAID卡识别问题 找到RAID卡Adeptec 5805对应的驱动
RAID卡Adeptec 5805的识别有问题 在这里寻找了半天,没搞好事 http://www.adaptec.com/en-US/support/raid/sas_raid/SAS-5085/ 解决方法: 编译内核解决掉RAID卡驱动问题,需要注意的是不同的RAID卡应该有不同的驱动。 Device Drivers ---> SCSI device support ---> [*] SCSI low-level drivers ---> <M> Adaptec AACRAID support 不过可笑的是,我的实际动手时候选择了基本所有的Adapte(由于某些原因,没法再测试,如果上面的…
2010-10-12 18:31 · LINUX
gentoo下解决Intel Corporation 80003ES2LAN网卡驱动问题
网卡没识别,难道驱动有问题? lspci查看 05:00.0 Ethernet controller: Intel Corporation 80003ES2LAN Gigabit Ethernet Controller (Copper) (rev 01) 05:00.1 Ethernet controller: Intel Corporation 80003ES2LAN Gigabit Ethernet Controller (Copper) (rev 01) 之前的网卡是 03:00.0 Ethernet controller: Realtek Semiconductor Co., Ltd…
2010-10-12 18:11 · LINUX
solr多实例配置以及应用中文分词器IKAnalyzer
前面的两篇博客写的有点傻了,这里整理下,写下整个过程: 参考官方文档: http://wiki.apache.org/solr/SolrTomcat 但是不是完全按照官方文档来的。 一、准备材料: 从这里下载solr: http://lucene.apache.org/solr/ ,我下载的是sorl-1.4.0 本机上安装tomcat,我装的是apache-tomcat-6.0.29 二、安装 solr 服务 tomcat根目录我下面称为: $CATALINA_HOME 自己选择一个规划好的服务目录,比如我选择了:/var/www/run/index/sorl1 用它作为sorl1的$SO…
2010-09-24 15:34 · Lucene
Linux 域名服务器DNS gentoo dnsmasq
DNS缓存 # emerge dnsmasq # nano /etc/resolv.conf nameserver 127.0 . 0.1 # nano /etc/resolv.dnsmasq.conf # Generated by net-scripts for interface lo nameserver 8.8 . 8.8 nameserver 8.8 . 4.4 # nano /etc/dnsmasq.conf resolv-file=/etc/resolv.dnsmasq.conf # rc-update add dnsmasq default 本地DNS设置 # nano /e…
2010-09-20 15:47 · LINUX
hbase0.20.支持多个主节点容灾切换功能(只激活当前某个节点,其他节点备份)
http://wiki.apache.org/hadoop/Hbase/MultipleMasters 发现Hbase支持多个主节点的,万一某个主节点挂了,还可以切换到备用节点上。 据说hadoop-0.21支持备份主节点,万一主节点挂了的话,还是可以切换的。 不过本人稍微尝试了下hbase的主节点切换功能,不太好使。并且还没有支持hadoop-0.21.0版本的hbase出现。 推荐阅读下这个: http://wiki.apache.org/hadoop/Hbase/MultipleMasters 很不错
2010-09-09 14:53 · HBase
简单的记录下 jconsole 查看远程机器的JAVA程序运行状况
简单实用 远端: java \ -Dcom.sun.management.jmxremote.port=8999 \ -Dcom.sun.management.jmxremote.authenticate=false \ -Dcom.sun.management.jmxremote.ssl=false youJavaTest\ 本地: jconsole 192.168.0.171:8999
2010-09-07 14:31 · JAVA
java.io.IOException: Incomplete HDFS URI, no host
ERROR org.apache.hadoop.hdfs.server.namenode.NameNode: java.io.IOException: Incomplete HDFS URI, no host: hdfs://data_181.uc:9000 着实郁闷到了,原来在Hadoop中,主机名不要包含下划线“_”,但可以有横线“-”。 Incomplete HDFS URI
2010-09-07 08:31 · HBase
升级hadoop0.20.2到hadoop-0.21.0
按照新的文档来 更新配置: http://hadoop.apache.org/common/docs/current/cluster_setup.html 发现多了很多东西,新的文档也比以前的详细,好的多. 不过此次只为了升级hadoop0.20.2到hadoop-0.21.0 看看发布的版本:http://hadoop.apache.org/common/releases.html 23 August, 2010: release 0.21.0 available 26 February, 2010: release 0.20.2 available 整整半年了,等的好辛苦,等得Hbase…
2010-09-05 11:52 · HBase
Solr简单的多个实例
接着上篇文章: http://jiajun.iteye.com/blog/745333 多个实例应用还是比较符合日常需求,建立多个索引,如何配置呢? 简单的建立多个索引 :接着上篇文章,直接操作 cp -a /opt/apache-solr-1.4.1/example/multicore/* /var/www/solr/ 然后重启tomcat,访问:http://192.168.0.173:8983/solr/ 会发现,已经OK: Welcome to Solr! Admin core0 Admin core1 如何修改成自己需要的呢?制造几个复杂点的: mkdir /var/www/sol…
2010-08-23 19:38 · Lucene
solr安装配置
一、初步感受一下: 看这里, http://lucene.apache.org/solr/tutorial.html 例子很简单,采用了jetty,运行下面的命令 user:~/solr/example$ java -jar start.jar 就可以在浏览器访问了,添加/查询等操作 按照例子来就是了。 题外话: 那么如何在tomcat里面配置呢。今天是在gentoo下面配置的有点犯迷糊,还是在博客上备份一下吧。 tomcat的目录布局在gentoo下面有些不一样,不过这里有很好的说明和对照: http://www.gentoo.org/proj/en/java/tomcat-guide.x…
2010-08-23 18:31 · Lucene