小弟有个项目，大数据，现在风雨飘摇地坚持着

Question

描述下项目：
     oralce为数据支撑，jdbc访问，网站形式展现，目前主要做查询操作。数据库中数据来自文件，文件按照规则解析后入库，成为最重要的基础表，目前已经存在近3000W条（查询效率低下所以对表已经分区）。通过计算基础表生成多张附表。
     现在新需求过来，增加实时接收数据，分析数据的功能。也就是对3000W数据量的基础表做插入，对其他附表也要重新计算。当前的查询基本都需要10秒多，慢的半分钟时间。接下来更改后我有点无从下手，对之后实时更新数据库期间对数据库查询这些效率影响问题无法想象。不知道hadoop能否用于这个项目
      大数据jdbc

Answer 1

hadoop是不适用支持OLTP的，也就是不好做实时更新
而且如果把数据存储在HIVE里面，查询的延迟也很高，通常也要十几秒朝上
3000W的数据还弄不上hadoop，而且hadoop也无法满足你的需求。
还是多在oracle调优上下功夫吧

Answer 2

现在是2年半的数据，基础表数据为7500W(之前3000w记错了，是另外一个库)。今后要做持续地写入，每个月4、500w的增长量，是长久之策吗

Answer 3

我的数据长期保留，目前最大的那张7500w基础表，对查询效率方面没有多大要求，分区之后现在还能接受。但是剩下的7,8张左右的详情表（从7500W数据量的基础表中计算得出）有效率方面要求。现在有张1400w的详情表做了分区之后单进程查询是100毫秒左右。我所担忧之后需要实时接受数据，处理，然后更新基础表以及所有详情表数据的话需要锁表（应该需要吧），对这种实时入库，实时分析，然后兼顾查询效率这方面之前没有过经验。