换下风格^_^

最新发布 第4页

极豆技术博客关注大数据、分布式计算、互联网应用

Hadoop运维

集群服务器优化(Hadoop)

集群服务器优化(Hadoop)
分析从管理员角度对Hadoop进行调优,管理员负责为用户作业提供一个高效的运行环境。管理员需要从全局出发,通过调整一些关键参数值提高系统的吞吐率和性能。总体上看,管理员需从硬件选择、操作系统参数调优、JVM参数调优和Hadoop参数调优等四个方面人手,为Hadoop用户...

3年前 (2014-04-20) 0评论 0喜欢

学习

学习R的经验分享

学习R的经验分享
一般程序语言和sql都是针对二维数据,多维的都是类似笛卡尔积的方式放进二维,最直观的多维处理其实就是excel的数据透视表,可以先取一部分用数据透视表感受下数据,拿到数据应该先做一些简单的探索,以有个直观感受,在R的操作有这个帖子 1,http://datapig.diandia...

3年前 (2014-03-14) 0评论 0喜欢

Hive

R通过JDBC连接hive和impala

R通过JDBC连接hive和impala
R连接Hive和Impala本质上是通过JDBC来实现的。 下载支持impala和hive的jar -rw-r–r–. 1 hadoop hadoop 3928530 Nov  7 14:02 hadoop-core-1.0.4.jar -rw-rR...

3年前 (2014-03-14) 0评论 0喜欢

数据结构与算法系列

数据结构与算法系列

数据结构与算法系列
1、常见数据结构 线性:数组,链表,队列,堆栈,块状数组(数组+链表),hash表,双端队列,位图(bitmap) 树:堆(大顶堆、小顶堆),trie树(字母树or字典树),后缀树,后缀树组,二叉排序/查找树,B+/B-,AVL树,Treap,红黑树,splay树,线段树,树状数...

3年前 (2014-02-25) 0评论 0喜欢

Storm

Storm on YARN平台搭建

Storm on YARN平台搭建
1.相关知识 (1)Storm:一个实时计算框架,与MapReduce离线计算框架互补,分别用于解决不同场景下的问题,Storm的官方网站是:http://storm-project.net/,如果想快速了解,推荐阅读淘宝的这篇文章:Storm简介。 (2)YARN:YARN是H...

3年前 (2014-02-20) 4评论 0喜欢

非技术

技术布道师

技术布道师
说起布道师和布道,有人觉得陌生,其实它距离我们很近;有人觉得忽悠,其实它很真实。 技术布道是随着IT产业的兴起而兴起的职业。与传统的“宣传推广”不同,它是针对特殊产品、面向特殊人群、采用特殊方法进行“宣传推广”。从性质上,靠近“Marketing”;从行为细节上,更靠近“技术”。...

3年前 (2014-01-26) 0评论 0喜欢

Flume

集群datanode节点失败导致hdfs写失败

集群datanode节点失败导致hdfs写失败
这几天由于杭州集群处于升级过度时期,任务量大,集群节点少(4个DN),集群不断出现问题,导致flume收集数据出现错误,以致数据丢失。 出现数据丢失,最先拿来开刀的就是数据收集,好嘛,先看看flume的错误日志: Caused by: java.io.IOException: F...

3年前 (2014-01-11) 0评论 0喜欢