--------------以下是前提--------------------
目前有一个表A,数据量300万,表A有主键KEY。
还有表B、C、D,这三张表也包含了表A这个主键KEY的列,但主键不是它。这三张表都以这个KEY这一列做了索引。表B、C的数据量有1亿,表D的数据量有3亿。
--------------以下是问题--------------------
现在我需要根据表A中的数据来拿表BCD中的数据(某些列),然后写入另外一个表E。
由于数据量的庞大,简单的select;insert效率非常低下,处理完表A这三百万的数据库得花很长时间。我把表A拆成了10份,做了一个并行处理,时间还是达不到要求。请各位大神支招,能从架构上解决这个问题。
目前有一个表A,数据量300万,表A有主键KEY。
还有表B、C、D,这三张表也包含了表A这个主键KEY的列,但主键不是它。这三张表都以这个KEY这一列做了索引。表B、C的数据量有1亿,表D的数据量有3亿。
--------------以下是问题--------------------
现在我需要根据表A中的数据来拿表BCD中的数据(某些列),然后写入另外一个表E。
由于数据量的庞大,简单的select;insert效率非常低下,处理完表A这三百万的数据库得花很长时间。我把表A拆成了10份,做了一个并行处理,时间还是达不到要求。请各位大神支招,能从架构上解决这个问题。
解决方案 »
免费领取超大流量手机卡,每月29元包185G流量+100分钟通话, 中国电信官方发货