换下风格^_^

 分类:Hadoop运维

Hadoop2.x安装启动错误

Hadoop2.x安装启动错误
Hadoop2安装笔记可以参看:http://www.geedoo.info/hadoop2-development-environment-to-build-test.html 这里主要记录下hadoop安装和测试过程遇到的问题记录: 1.问题一 安装配置完成后执行start-...

3年前 (2014-06-10) 0评论 0喜欢

集群服务器优化(Hadoop)

集群服务器优化(Hadoop)
分析从管理员角度对Hadoop进行调优,管理员负责为用户作业提供一个高效的运行环境。管理员需要从全局出发,通过调整一些关键参数值提高系统的吞吐率和性能。总体上看,管理员需从硬件选择、操作系统参数调优、JVM参数调优和Hadoop参数调优等四个方面人手,为Hadoop用户...

3年前 (2014-04-20) 0评论 0喜欢

flume向hdfs传输数据,出现Lease mismatch

flume向hdfs传输数据,出现Lease mismatch
使用flume向做hdfs实时传送数据过程中的异常。 环境: hadoop:做了高可用的CDH4.4.0 flume:做了负载的flume,版本flume-ng 1.4.0。source是:exce tail;channel是:memory;sink是:hdfs flume里...

3年前 (2014-01-13) 4评论 0喜欢

集群datanode节点失败导致hdfs写失败

集群datanode节点失败导致hdfs写失败
这几天由于杭州集群处于升级过度时期,任务量大,集群节点少(4个DN),集群不断出现问题,导致flume收集数据出现错误,以致数据丢失。 出现数据丢失,最先拿来开刀的就是数据收集,好嘛,先看看flume的错误日志: Caused by: java.io.IOException: F...

3年前 (2014-01-11) 0评论 0喜欢

Hadoop有关于时间导致的JobTracker异常

Hadoop有关于时间导致的JobTracker异常
今天周一上班前,同事说事大了,数据没出来。好嘛,一个周末后来总是要弥补这两天轻松导致的后果。 好了言归正传, 问题是这样的: 打开JobTracker页面,无法显示,其他正常。使用top查看进程,有个mapred进程占用3g多内存。但是这些还是不足以说明问题出现在哪里啊? 还是参...

3年前 (2013-09-16) 0评论 0喜欢

Hadoop运维(02)记一次java内存参数修改引起的血案

Hadoop运维(02)记一次java内存参数修改引起的血案
由于同事的一个pig程序一直报内存泄漏的错误,程序是对大量数据进行按所有(all)分组的代码。该程序本身逻辑上没有问题,只是按所有分组只会有一个reduce去跑所以的数据,数据量过大导致内存的异常。本人能力有限,暂时没有好的解决方案,只好采用加大mapred.child.java...

4年前 (2013-06-17) 0评论 0喜欢

Hadoop2 错误记录

Hadoop2  错误记录
1.Hadoop安装后,启动start-dfs.sh时出现如下信息: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable St...

4年前 (2013-06-17) 0评论 0喜欢