换下风格^_^

最新发布 第5页

极豆技术博客关注大数据、分布式计算、互联网应用

学习

密码保护:他山之石,可以为错,可以攻玉

密码保护:他山之石,可以为错,可以攻玉
淘友 一个做hadoop平台,一个负责算法,分工很明确。使用到了协同过滤,聚类分类算法来做推荐系统。使用开源的mahout算法库,其实用这个来做推荐系统已有很多案例了。我们6月份也有做个相应的方案,建立了相应的数据矩阵(这个跟下面“第九城市”的周诚演讲的UserCF和ItemC...

3年前 (2014-01-06) 0评论 0喜欢

Hadoop

编写MapReduce经验总结

编写MapReduce经验总结
MapReduce是一个最先由Google提出的分布式计算软件构架,它可以支持大数据量的分布式处理。这个架构最初起源于函数式程式的map和reduce两个函数组成,但它们在MapReduce架构中的应用和原来的使用上的大相径庭。 由于有像hive,pig等众多基于mapreduc...

3年前 (2013-12-26) 0评论 0喜欢

Hadoop

MRUnit使用技巧

MRUnit使用技巧
导读 为了能测试编写的hadoop组件和MapReduce程序,一般有下面三种思路: 一、使用hadoop-eclipse插件来调试MapReduce程序,不过这在hadoop比较新的版本里已经不再提供了; 二、是配置jvm参数远程调试hadoop组件。这种方式用于读hadoop...

3年前 (2013-12-16) 0评论 0喜欢

Linux

MySQL按属性字段导出CSV数据

MySQL按属性字段导出CSV数据
因为需要导出一张表的数据成csv格式格式文件。需要根据表中的日期字段自动导成一个文件。可以用下面代码实现: date_start='2013-12-01' date_end='2013-12-03' date_n=$date_start while(true) d...

3年前 (2013-12-03) 0评论 0喜欢

MySQL

MySQL5.5主从同步配置及问题

MySQL5.5主从同步配置及问题
安装网上的一些文章配置MySQL的主从同步机制,无奈重启从MySQL时出现异常,说不认识参数master_host /usr/sbin/mysqld: unknown variable ‘master_host=10.0.2.160’ 原来我使用的是MyS...

3年前 (2013-12-02) 0评论 0喜欢

MySQL

MySQL使用笔记

MySQL使用笔记
MySQL安装管理 1.给root用户设置密码 一般情况下,刚安装的mysql的root密码是空,为了安全我们需要给他设置密码 sudo /usr/bin/mysql_secure_installation 输入你设置的密码,然后一路默认就可以了。 2.用户管理 创建用户 分配权...

3年前 (2013-12-02) 0评论 0喜欢

Impala

Impala JOIN操作及元数据过期问题

Impala JOIN操作及元数据过期问题
Hints(Joins 问题) Hints 英译为“暗示,示意,提示”,用于数据表join时影响执行语句被后台程序解析成执行计划的,达到优化执行效率的目的。说白了这有点像写Java代码里面的注解(anotation)。 主要有两个hints: Hints 解释 使用场景 ...

3年前 (2013-11-13) 0评论 2喜欢

Impala

Impala1.1.1 安装使用

Impala1.1.1 安装使用
一、介绍 Impala 号称在性能上比Hive高出3~30倍,甚至预言说在将来的某一天可能会超过Hive的使用率而成为Hadoop上最流行的实时计算平台。 Impala的三个组件说明: impalad :Implala的后台进程,需要安装在每一台数据节点上 statestore...

3年前 (2013-11-13) 0评论 0喜欢