换下风格^_^

 分类:Flume

flume向hdfs传输数据,出现Lease mismatch

flume向hdfs传输数据,出现Lease mismatch
使用flume向做hdfs实时传送数据过程中的异常。 环境: hadoop:做了高可用的CDH4.4.0 flume:做了负载的flume,版本flume-ng 1.4.0。source是:exce tail;channel是:memory;sink是:hdfs flume里...

3年前 (2014-01-13) 4评论 0喜欢

集群datanode节点失败导致hdfs写失败

集群datanode节点失败导致hdfs写失败
这几天由于杭州集群处于升级过度时期,任务量大,集群节点少(4个DN),集群不断出现问题,导致flume收集数据出现错误,以致数据丢失。 出现数据丢失,最先拿来开刀的就是数据收集,好嘛,先看看flume的错误日志: Caused by: java.io.IOException: F...

3年前 (2014-01-11) 0评论 0喜欢

Flume-ng配置失败failover

Flume-ng配置失败failover
flume-ng 1.3支持失败(failover),即flume的日志收集服务端配置有两台,当其中一台服务端出现异常或宕机的情况下,客户端的数据能够被另外一台接收,替代失败的服务器提供服务。这是一种很好的容错机制。下面列出服务端和客户端的配置代码: 主服务器: 作为正常情况下接...

4年前 (2013-06-25) 0评论 0喜欢

Flume:关于Flume日志收集宕机问题

Flume:关于Flume日志收集宕机问题
问题: 这应该是第三个周一发现时间在上周五左右出现我的flume收集日志服务失败。 时间:5月3号 周五 14:00~20:00左右 事件:hue里面的日志收集在5月3号20点终止 描述: 从flume收集日志的两台服务端(主/备)和一台日志的客户端日志等上看到,大概是在14...

4年前 (2013-05-06) 0评论 0喜欢