服务端:TADOConnection + TADODataSet + TDataSetProvider客户端:TSocketConnection + TClientDataSet + TDataSource当我查询的表数据量有3、4万的时候就提示:insufficient memory for this operation语句是这样的:
 ClientDataSet1.DisableControls;
 if ClientDataSet1.Active=true then
  ClientDataSet1.Close;
 ClientDataSet1.CommandText:=memo1.Text;
 ClientDataSet1.Open;
 ClientDataSet1.EnableControls;

解决方案 »

  1.   

    设置一下ClientDataSet的FetchOnDemand和PacketRecords试试呢?
      

  2.   

    PacketRecords 这个我设置过,但是只能查出一千条,但是比如我要查询的符合条件的记录应该有两千条,另外一千条怎么办呢?
      

  3.   

    FetchOnDemand := True; //当数据集或数据网格滚动到当前数据包的末尾时,自动获取下一包数据,此时RecordCount为不准确的状态,仅仅表示获取到本地的数据包中包含的记录条数。
      

  4.   

    我刚才设置了PacketRecords :=10000 。第一次点击查询的时候可以出来 ,数据网格滚动的时候就出问题了,滚了一会儿还是会出现这个问题,内存不足无法操作
      

  5.   

    Client:TSocketConnection 和Server: Scktsrvr关系----压缩数据传输
    一直用SocketConnection和服务端的传输数据在三层数据库中,从来没有注意到它们之间的数据传输,只是想着,管它了,网络的事,前段时间在Delphi中的Demos中发现Demos\Midas\Intrcpt.dpr例子,呵呵,再看了半天的VCL发现可以将Client端发送的给Server的数据,和Server发送给Client的数据是可以进行压缩的。呵呵,不敢藏私,Share给大家。
    1:
    准备工作,先delphi光盘中的\info\extras\zlib\zlib.pas进行编绎,然后copy 到lib路径中,因为要压缩数据,必须要有压缩功能,这个delphi已经自带,它是基于流的方式对接口IDataBlock(TDataBlock实现,其实就是对TMemoryStream的操作)数据进行压缩和解压的。做了这个后,才能进行下面的工作。
    2:
    Open \Demos\Midas\Intrcpt\Intrcpt.dpr
    complier....(如没有做第一步,嘿嘿...)
    生成Intrcpt.dll
    将Intrcpt.dll copy to System directory,或者你的程序下面。
    注册它:regsrvr32 Intrcpt.dll (为什么,这个嘛...)
    记住Intrcpt.dpr的那个GUID,你也可以自己重新生成一个(按Shift+Ctrl+G)
    3:
    Server:
    Open scktsrvr.exe,相信各位都很熟悉那界面,端口(TListbox),Thread Cache Size(TEdit), GUID(TEdit),好,我们要做的事,就是将注册的Intrcpt.dll那个GUID填到这个GUID(TEdit)框框中,
    只需填自己程序的的那个端口的GUID啊,别乱填,如果有别人用这个程序,出了什么,别找我。OK,Apply.
    Client:
    你写的程序中肯定有TSocketConnection,它有个属性InterceptGUID: string;好了,将Intrcpt.dll的GUID填上去,它是跟Server中的一样的。OK.还有别忘了,Regsrvr32 intrcpt.dll 在你的客户端。不然,程序虽不会raise,但是Server传过来的数据是压缩的.... 好了,呵呵。就这些了。3步骤,很清楚吧(不会吧,还不懂,倒)原理scktsrvr.exe其实是一堆TServerSocket,一个端口代表了一个TServerSocket,每个TServerSocket是基于多线程方式与客户端进行数据交换。它写了个TServerClientThread(在服务端中的客户端)的扩展
    ,多加了对客户端数据接收的管理解析,还有ActivityDateTime,GUID,一般不管它。但是我们用到的压缩只是跟这个GUID有关,其它费话少说。Server接受一个Client连接,则加一个TServerClientThread到本地中,用来监控Client Read 和Close事件,所以Server中的scktsrvr中我们只要了解了TServerClientThread动作方式就行了。
    (
    题外话:Server Socket中有客户端连接后,记录ClientSocket.Handle,并且将根据这个Handle产生一个 TServerClientWinSocket对象加入到Connections(TList)对象中,当任何对这个Client的动作也就是说 Server 发送和接收数据都是根据这个Client Handle来进行的,相应的ServerSocket中的Connections中的ClientSocket也发生相应的变化。
    )有两个类跟这个TServerClientThread(实现ISendDataBlock接口)有关1: TDataBlockInterpreter(对发送过来的数据进行解析InterpretData(Data: IDataBlock))
      解析数据(水平有限,对它真是还是一知半解,有错请指出)
        接口类IDataBlock,由TDataBlock通过TMemoryStream的读写来实现,其中Signature是其主要标识,说明这个 IDataBlock的数据类型    ,TDataBlockInterpreter根据Signature来对应进行相应的调用,  如:
        Client端连接后,在Server要运行应用服务器(Application Server),
        Client端需要得到ServerName 列表,
        Client端得到Server 的DataBroker的列表,
        Client端断开连接后,Server要Close应用服务器(Application Server),
        Client和Server的数据交换,也是由它来解析。
    所以这个IDataBlock的数据很重要,而我们的压缩和解压就是针对于它,但是TDataBlockInterpreter是得到Data才对它解析,因而我们要在Send 和Recv 之前对它解压和压缩。这个任务在TSocketTransport身上。   2: TSocketTransport;(数据进行发送和接收, 实现ITransport接口)
      Server端:
        在Server端,TSocketTransport其实就是一个用来管理对ClientSocket实例,它将ClientSocket.Handle 生成一个对象后,ClientSocket发送和接收过来的Data,在发送Data之前,它将调用InterceptOutgoing(Data: IDataBlock)函数,这个函数的功能是:
    如果InterceptGUID <> '''''''',那么它将根据这个GUID生成一个COM(Obj)对象,Obj.DataOut(Data: IDataBlock),也就是我们注册的那个压缩的DLL中的那个压缩函数,将压缩过后的Data再发送出去。这就完成compress and send Data.(我试过那个压缩功能,压缩比大概是1/9,像zip压缩比差不多).
    由客户端传过来的数据调用InterceptIncoming(Data: IDataBlock)函数,这就不多说了,Data := 解压后的Data.  压缩和解压过后的Data交由TDataBlockInterpreter去解析,完成一次数据交换。 
      Client端:
        说完Server端,客户端的道理也是差不多的。唯一不同的是Server端中不调用ITransport.SetConnected()方法,因为它是根据ClientSocket.Handle生成的对象,也就是它是已经连接的对象,而Client端的TSocktConnection调用 Connected := True时,其实就是调用ITransport.SetConnect将一个ClientSocket连接到Server端中的 TServerSocket中,然后TServerSocket根据这个ClientSocket.Handle生成了一个 TServerClientThread对象保存在本地中,开始对这个ClientSocket的监控(FD_Read, FD_Close消息事件).注:
      IDataBlock由TDataBlock实现,主要是管理TMemoryStream来存放数据
      ITransport由TSocketTransport实现,主要是用TClientSocket来连接TServerSocket,并和它进行交换数据。
      ISendDataBlock在Scktsrvr.exe中由TServerClientThread实现,通过TSocketTransport来发送数据.
      

  6.   

    你的记录中是否包含有很大的blob字段?
      

  7.   

    请注意,提示insufficient memory for this operation是服务器端程序无法从操作系统获得足够的内存,上面的朋友说对数据做压缩,那也只是减少传输的量,应该不会有效果的。TADOConnection之所以需要占用很多内存,是因为他会把需要的数据缓存到本地,当数据量一大,那么就得占用很大的内存量。最好的解决方法是采用单向数据集连接,如DBExpress,效果会比用ADO好的多。
      

  8.   


    http://www.coolsoo.cn/1.jpg上面就是表里的内容,几万条数据都是这样的,没有blob字段奇怪了吧
      

  9.   

    DBX?  dbexpress??  好像不支持ACCESS啊?我用的是delphi 6
      

  10.   

    用快驴能很好解决你的问题:1、导出dataset到文件
    2、文件分块并发下载
    3、将下载得到的文件导入http://www.quickburro.net/