如何实现表的纵向连接

现在一次查询的记录数为一千多条,而总的数据数在上百万,为了提高查询速度,把记录保存在多个表中,先确定查哪个表,然后查记录,这就出现一个问题,可能有的查询会跨两个表,怎么样才能实现表的纵向连接 ,JOIN好像能横向连接,请帮忙谢谢