现在搞一套 省 市 县 多级独立部署运营的平台,但数据检索时,每个独立平台都能检索到其他节点平台上的数据,
现在想的方案有两种:
一种是各个独立平台的元数据信息,定时同步汇聚到一个总库中,每个独立平台检索数据时,检索这个总库就行了,
另一种方案是, 平台开放数据检索接口, 其一平台检索时,分别向其他平台发送检索请求,然后汇聚结果返回给前端。
总感觉这两种方案都不是特别完善,也或者是本人能力有限,没有更好的处理方法,特向各位兄弟请教。
下面是为了方便大家对问题的理解,我画的一个图, 里面采用了分布式索引搜索引擎的一些东西做参考,大家不一定非得参照这个的考虑,容我再赘述一下,是这样子的, 搞的是一套资源管理平台产品。
这套产品可能在多个市 、多个县 都可能分别独立部署。
这个产品除了资源这块,还有其他功能,也就是说各个独立的平台中用户不一样,数据等都不一样,
而需求就是,我其中任意一个平台的用户在检索资源时,
比如A市平台的一个用户,在自己的平上,要能检索到所有其他平台上的数据,比如B省其他平台的资源。
不知道明白我的意思了么。DFS:分布式存储文件系统。
Lucene\hadoop: apache下面的子项目,做全文检索等分布式搜索引擎相关的框架
elasticsearch:基于Lucene实现,跟apache的solr类似的功能。分布式搜索引擎数据检索行业数据
现在想的方案有两种:
一种是各个独立平台的元数据信息,定时同步汇聚到一个总库中,每个独立平台检索数据时,检索这个总库就行了,
另一种方案是, 平台开放数据检索接口, 其一平台检索时,分别向其他平台发送检索请求,然后汇聚结果返回给前端。
总感觉这两种方案都不是特别完善,也或者是本人能力有限,没有更好的处理方法,特向各位兄弟请教。
下面是为了方便大家对问题的理解,我画的一个图, 里面采用了分布式索引搜索引擎的一些东西做参考,大家不一定非得参照这个的考虑,容我再赘述一下,是这样子的, 搞的是一套资源管理平台产品。
这套产品可能在多个市 、多个县 都可能分别独立部署。
这个产品除了资源这块,还有其他功能,也就是说各个独立的平台中用户不一样,数据等都不一样,
而需求就是,我其中任意一个平台的用户在检索资源时,
比如A市平台的一个用户,在自己的平上,要能检索到所有其他平台上的数据,比如B省其他平台的资源。
不知道明白我的意思了么。DFS:分布式存储文件系统。
Lucene\hadoop: apache下面的子项目,做全文检索等分布式搜索引擎相关的框架
elasticsearch:基于Lucene实现,跟apache的solr类似的功能。分布式搜索引擎数据检索行业数据
解决方案 »
- 网页嵌套播放器 tomcat
- urlrewritefilter url重写问题
- jsp HElp 急........
- 请问我的struts 是1.2.7 那么spring 和hibernate用什么版本呢 ?谢了
- 怎么对客户端请求发送一个自定义大小的数据包?
- 请教各位jboss中jboss-web.xml,web.xml如何配置二者有何区别?
- 一个struts中ActionForm的validate的问题
- Weblogic运行了一段时间(2天)后,为何就连简单的查询也会超时?详情见内!
- 请教 关于jboss-3.0.4_tomcat-4.1.12 的配置。
- java初学者————冒泡排序问题
- Struts2,访问loginA.action报404
- 数字电视 机顶盒 问题
另一个非常重要的问题是,检索频度如何?毕竟统一库的话,所有检索压力也是集中的。
数据量说大不大,说不大嘛PB级别在用户量上来的时候,也不是不可能,但就目前情况来看,100万级别吧。
如果是单个库,各地的数据同步兄台可有好的方案
看时效性要求,如果时效性要求不高,可以自行开发同步程序,晚上增量抽;然后再触发全文索引生成。
如果时效性要求高,恐怕要用工具来完成同步。其实可以考虑每个地方汇总上来的数据,仍然是分开目录存储,这样便于同步的运维管理。