换下风格^_^

 分类:工作日志

Pig解析Json数据的UDF出现空指针

Pig解析Json数据的UDF出现空指针
问题一: 时间:2013-5-23 今天定时任务全部失败,查看pig等执行记录,只在job的web界面里看到如下错误: ERROR 2108: Could not determine data type of field: “[(this Collection)]&#...

4年前 (2013-05-28) 0评论 0喜欢

Hadoop问题集

Hadoop问题集
这里记录下Hadoop开发工作中遇到的问题: 1、Pig统计,出现内存溢出 描述:使用Pig来统计业务时,使用到同一份数据的统计代码放在一个Pig脚本。考虑到分开的话需要重复加载同一份数据据多次。代码中使用了很多按所有分组(SEARCH_listen_group = group...

4年前 (2013-05-22) 0评论 0喜欢

工作中Hive优化记录

工作中Hive优化记录
工作中Hive的优化记录: set hive.exec.max.dynamic.partitions=100000; set hive.exec.max.dynamic.partitions.pernode=100000; set hive.exec.reducers.bytes...

4年前 (2013-05-15) 0评论 0喜欢

歌曲试听pig脚本

歌曲试听pig脚本
    rmf /pig/ttpod_client/res –set default_parallel 8; register /usr/lib/pig/piggybank.jar; register /home/hdfs/...

4年前 (2013-05-06) 0评论 0喜欢

Flume:关于Flume日志收集宕机问题

Flume:关于Flume日志收集宕机问题
问题: 这应该是第三个周一发现时间在上周五左右出现我的flume收集日志服务失败。 时间:5月3号 周五 14:00~20:00左右 事件:hue里面的日志收集在5月3号20点终止 描述: 从flume收集日志的两台服务端(主/备)和一台日志的客户端日志等上看到,大概是在14...

4年前 (2013-05-06) 0评论 0喜欢