我现在要从异地的三个不同的数据库(Sql server,Dbase,Fox)中取得数据,然后进行一些分析处理(在我自己的库中),这三个库分别是不同的系统中的,并且这三个系统不能更改。现在我的问题是:1。这三个地方是每次把它们的数库库都传给我呢?还是如何做?(有些库是很大的)2。我接收到他们的库之后,我如何判断那些数据增加了?那些修改了?是不是要一一遍历每一条数据?(量很大,有无提高效率的方法?)?
望各位大侠能出售相助,提出好的建议者,另外开贴给分。
望各位大侠能出售相助,提出好的建议者,另外开贴给分。
可以把数据分发到不同类型的数据库中去
也可以从不同的数据库中取数
如果你的网速足够高
不妨直接利用
中,当时我做得很麻烦,每天晚上要进行当天数据的结算(就是把当天的
数据考到一各库中中),然后二天晚上就把工作库中的数据和昨天晚上结算
后的数据通过SQL的集合运算取出不同的(修改或者增加或者被删除)数据
然后把生成的数据集导成我要的文件!
不过我这个办法在7*24的应用就没用了!
我也在两个sql server 上处理数据!
然后,把你想做的事(提取相关数据)用DELPHI做好;
最后,每次把数据收集回来拷入相应路径。
to:zklove(花花公子) 数据肯定是从三个数据库中取得(可以通过网络,或者是盘),本地数据库待定。因为要从中抽取数据,表的个数待定。
解决方法是
除了你自己的数据库连接外, 新建三个数据库连接,分别连到那三个库, 并绑定若干用于查询的Query/ADOQuery写程序时判断三个库的数据就行了, 如果有导入等功能, 用ClientDataSet控件较好
我以前用的是PB, DataWindow是内存表, 操作很方便。ClientDataSet也是取到内存后关闭数据源的。
to: zhang21cnboy(沧桑男人)这三个库的差异性是很大的,如何提高效率?
再查询。。呵呵。。是有够土的啦。。
典型的三层结构。
我没做过,因为没环境和时间,但我想是可以的。
上传成功后,备份一次数据。下次上传前校验。也可以不用本地校验,直接用batchmove控件试试,可能更好。还是那句话,我没试过,都是凭想象,没时间实践。羡慕你们有那么多项目做。
就算你通过其他方式来取数据,类似与DTS什么的。但是你能解决所有类型的数据系统吗?或者用直接到其他系统查询数据的方式,你又能保证对其他系统的性能没有影响吗?几百万的数据,对原有系统本身就是很大的数据了。加上你还要在这几百万(或者更多)的数据中抽取一些数据,肯定会大大降低原有系统的性能。可以采用的办法,最好就是原有系统加上上报接口,这样可以大大的降低对原有系统的影响。
三方的数据上传到服务器后是以什么方式存储这些数据,数据库?文件?
这步的工作是怎么做的?为什么不在这个步骤里面就把你的库直接更新了呢。
既然对实时性要求不是很高。我认为直接覆盖掉前一次的数据是最高效的方法
数据库?表?这是要讨论的一个问题。
上传是通过B/S作了一个简单的上传,到一个文件夹中,是以文件的方式保存的。然后我通过C/S结构作一个数据的倒入工作。问:这样做是否合理?欢迎讨论,并参考楼上个位大侠的意见和建议。多谢!·!
但是还有问题:sql server中如何只是把其中的某些表导出为一个文件?就像是把整个数据库备份为一个文件一样?用DTS好像不行呀,只能在两个sql server库中用DTS互相导。是如何进行的呀?
up
或者说是每个表各自为文件?
或者说是每个表各自为文件?
1、各个系统上报的数据采用统一的数据格式
2、各个系统的上报采用FTP或则其他方式
3、将上传的文件导入一个临时表
4、在临时表中建立触发器可以看出你在做决策分析方面的东西,我门也做这个,我做的数据采集就是这样的
1。设置三个odbc数据源;
2。写个工具,对数据源中的数据逐条处理;