换下风格^_^
Linux

使用jq把json转化成csv格式

使用jq把json转化成csv格式
导读:相信大家在开发数据接口时提供的一般是json格式的数据交互。而老板们一般使用傻逼excel来看一下临时报表数据。这时候我们就需要把json数据转换成csv,随即可供excel使用。 本文讲讲怎么来把json转成csv格式输出到文件的。这里我们首先推荐一款用于操作json的神...

4个月前 (09-12) 0评论 0喜欢

数据库

通过ObjectId按照时间筛选备份mongo

通过ObjectId按照时间筛选备份mongo
给你个任务:备份mongo某个库里的所有表数据。这是一个很简单的任务mongodump -d  就ok了。但是我们限定只备份最近几天或者某日之后的数据时,而且我们假设该库里某些表没有保存时间字段,或者时间字段名字不统一。那你改怎么做呢?本文就是探讨如何实现该需求。 要完成上述引言...

1年前 (2015-12-22) 0评论 2喜欢

Hive

记一次Hive Multi Insert 引起的GC overhead limit exceeded

记一次Hive Multi Insert 引起的GC overhead limit exceeded
当你有这么个需求从某张hive表里做各类统计,完了之后落到各个分类的统计表里存储。自然而然我们会想到使用hive的Multi Insert 语句来实现。因为使用Multi Insert 语句可以避免多次扫描同一份原始表数据。本文记录一次使用Multi Insert 语句出现的G...

1年前 (2015-12-03) 0评论 0喜欢

数据库

MongoDB 固定集合(Capped Collections)

MongoDB 固定集合(Capped Collections)
MongoDB 固定集合(Capped Collections)是性能出色且有着固定大小的集合,对于大小固定,我们可以想象其就像一个环形队列,当集合空间用完后,再插入的元素就会覆盖最初始的头部的元素! 创建固定集合 我们通过createCollection来创建一个固定集合,且...

1年前 (2015-11-27) 0评论 0喜欢

数据分析

大数据分析之-分组求TOPN

大数据分析之-分组求TOPN
本章大数据分析我们来讨论下如何求分组请求TOPN的问题。 问题描述 我们有一个部门(数据部、BI部,开发部),部门里有各有几个同事,每个同事的工资各不相同。那么如果财务想统计下每个部门工资最高的前3位。好,现在交给你开发分析方法。 数据: depart name money 数据...

1年前 (2015-11-25) 0评论 1喜欢

系统管理

git revert单独撤销中间的某次commit

git revert单独撤销中间的某次commit
原文:http://blog.csdn.net/koffuxu/article/details/6731876 git revert 是撤销某次操作,此次操作之前的commit都会被保留 git reset 是撤销某次提交,但是此次之后的修改都会被退回到暂存区 具体一个例子,假...

1年前 (2015-09-23) 0评论 0喜欢

Spark

Spark streaming 优化

Spark streaming 优化
http://colobu.com/2015/01/05/kafka-spark-streaming-integration-summary/ http://www.virdata.com/tuning-spark/ 转载请注明:极豆技术博客 » Spark stre...

2年前 (2015-05-25) 0评论 0喜欢

Spark

Spark1.2.0编译

Spark1.2.0编译
如果你还需要编译hadoop,请参考:《Hadoop 2.x编译》 1. 准备 工具: jdk maven ant 依赖: C compiler (e.g. GNU C Compiler) GNU Autools Chain: autoconf, automake, l...

2年前 (2015-02-02) 0评论 0喜欢

Hadoop

Hadoop 2.x编译

Hadoop 2.x编译
前言 从官网下载的Apache 发行版本的hadoop默认是在32位下编译的。对于大都是64位系统的集群来说我们需要自己编译64位的hadoop版本,特别是native本地链接库。如果native与你所使用的64位系统不符,那么会影响集群的性能。 那么如何判断你使用的hadoop...

2年前 (2015-01-30) 0评论 0喜欢