换下风格^_^

2015年12月的内容

数据库

通过ObjectId按照时间筛选备份mongo

通过ObjectId按照时间筛选备份mongo
给你个任务:备份mongo某个库里的所有表数据。这是一个很简单的任务mongodump -d  就ok了。但是我们限定只备份最近几天或者某日之后的数据时,而且我们假设该库里某些表没有保存时间字段,或者时间字段名字不统一。那你改怎么做呢?本文就是探讨如何实现该需求。 要完成上述引言...

1年前 (2015-12-22) 0评论 2喜欢

Hive

记一次Hive Multi Insert 引起的GC overhead limit exceeded

记一次Hive Multi Insert 引起的GC overhead limit exceeded
当你有这么个需求从某张hive表里做各类统计,完了之后落到各个分类的统计表里存储。自然而然我们会想到使用hive的Multi Insert 语句来实现。因为使用Multi Insert 语句可以避免多次扫描同一份原始表数据。本文记录一次使用Multi Insert 语句出现的G...

1年前 (2015-12-03) 0评论 0喜欢