大数据处理

Question

楼主说的大数据是指hadoop还是用数据库去处理数量比较大的数据呢？hadoop的话，增加子节点机就可以提高处理效率了。

Answer 1

你在项目中用hadoop？
好厉害

Answer 2

之前改造过hadoop的项目，将用存储过程处理的部分改为hadoop处理。参与了一下，对hadoop略有了解。

Answer 3

如果数据是结构化的，就可以考虑用hadoop处理，hadoop处理，对服务器的要求比较低，增加子节点机就可以提高处理效率，一般的子节点机用普通PC机就可以了。

Answer 4

100w查询应该在几十毫秒才对100w不能叫大数据，上E才叫大数据，而且在大数据的领域里，记录条数是浮云，真正影响难度的是记录文件的大小，100w单列文件体积很小，直接塞内存就可以处理，但是如果超过内存大小，怎么去做查询、聚合操作才是真正难的地方

Answer 5

有道理。
我1KW的数据还是笔记本处理的8G内存。。很快

Answer 6

大数据处理一般都是分而治之+Hash+top k等等之类的。