Hbase 客户端因 /hbase 错误导致连接丢失

2024-01-04

我快要疯了:

安装了Hadoop/Hbase,一切都在运行;

/opt/jdk1.6.0_24/bin/jps
23261 ThriftServer
22582 QuorumPeerMain
21969 NameNode
23500 Jps
23021 HRegionServer
22211 TaskTracker
22891 HMaster
22117 SecondaryNameNode
21779 DataNode
22370 Main
22704 JobTracker

伪分布式环境。

hbase外壳

正在运行“list”并得出正确的结果;

hbase shell
HBase Shell; enter 'help<RETURN>' for list of supported commands.
Type "exit<RETURN>" to leave the HBase Shell
Version 0.90.1-cdh3u0, r, Fri Mar 25 16:10:51 PDT 2011

hbase(main):001:0> status
1 servers, 0 dead, 8.0000 average load

通过 ruby​​ 和 thrift 连接时,一切正常;我们正在添加数据,它正在进入系统,我们可以查询/扫描它。一切看起来都很好。

然而,当用Java连接时:

groovy> import org.apache.hadoop.hbase.HBaseConfiguration 
groovy> import org.apache.hadoop.hbase.client.HBaseAdmin 
groovy> conf = HBaseConfiguration.create() 
groovy> conf.set("hbase.master","127.0.0.1:60000"); 
groovy> hbase = new HBaseAdmin(conf); 

Exception thrown

org.apache.hadoop.hbase.ZooKeeperConnectionException: org.apache.hadoop.hbase.ZooKeeperConnectionException: org.apache.zookeeper.KeeperException$ConnectionLossException: KeeperErrorCode = ConnectionLoss for /hbase
    at org.apache.hadoop.hbase.client.HConnectionManager$HConnectionImplementation.getZooKeeperWatcher(HConnectionManager.java:1000)
    at org.apache.hadoop.hbase.client.HConnectionManager$HConnectionImplementation.setupZookeeperTrackers(HConnectionManager.java:303)
    at org.apache.hadoop.hbase.client.HConnectionManager$HConnectionImplementation.<init>(HConnectionManager.java:294)
    at org.apache.hadoop.hbase.client.HConnectionManager.getConnection(HConnectionManager.java:156)
    at org.apache.hadoop.hbase.client.HBaseAdmin.<init>(HBaseAdmin.java:84)

我一直在努力寻找原因,但我真的一点线索也没有。一切似乎都已正确安装。

netstat -lnp|grep 60000
tcp6       0      0 :::60000                :::*                    LISTEN      22891/java  

看起来也不错。

# telnet localhost 60000
Trying 127.0.0.1...
Connected to localhost.
Escape character is '^]'.

如果你输入任何内容+回车,就会连接并死亡(不确定是否是这个想法,9090 上的 thrift 也是如此)。

谁能帮我?


这是 Zookeeper(ZK) 错误。 HBase 客户端尝试从 Zookeeper 获取 /hbase 节点,但失败。

您可以从 HBase 主 Web 界面获取 ZK 转储。您应该查看与 ZK 的所有连接,并找出是否有什么东西耗尽了它们的精力。

在深入研究其他内容之前,您可以尝试重新启动 ZK 集群,看看是否可以解决您的问题。 (很奇怪,你在一个客户身上看到这种情况)。

HBase 有一个设置可以增加到 ZK 的连接数量。它是

hbase.zookeeper.property.maxClientCnxns

最近有一些与默认连接数相关的更新(见下文)(有一个 hbase-default.xml 文件包含所有默认配置)。 您可以在 hbase-site.xml 文件(在 HBase conf 目录下)中覆盖此值,并将其提高到 100 或更多。但请确保您没有以这种方式掩盖真正的问题,您不应该在单个客户端上看到此问题。

我们也遇到过类似的情况,但它发生在升级到 HBase-0.90 后,map-reduce 作业的大量操作期间。

以下是与您的问题相关的几个问题:

  • https://issues.apache.org/jira/browse/HBASE-3773 https://issues.apache.org/jira/browse/HBASE-3773
  • https://issues.apache.org/jira/browse/HBASE-3777 https://issues.apache.org/jira/browse/HBASE-3777

如果您仍然无法弄清楚,请发送电子邮件至 hbase-users 列表或加入 freenode 上的 #hbase 频道并提出实时问题。

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

Hbase 客户端因 /hbase 错误导致连接丢失 的相关文章

随机推荐