单表数据超过100万,请问大数据量(百万级)查询怎么解决? 分页方式查询还是怎么解决》 有熟悉的人员吗?

解决方案 »

  1.   

    set ANSI_NULLS ON
    set QUOTED_IDENTIFIER ON
    goALTER PROC [dbo].[PROCE_PageView2000]
    (
    @tbname     nvarchar(100),               --要分页显示的表名
    @FieldKey   nvarchar(1000),      --用于定位记录的主键(惟一键)字段,可以是逗号分隔的多个字段
    @PageCurrent int=1,               --要显示的页码
    @PageSize   int=10,                --每页的大小(记录数)
    @FieldShow nvarchar(1000)='',      --以逗号分隔的要显示的字段列表,如果不指定,则显示所有字段
    @FieldOrder nvarchar(1000)='',      --以逗号分隔的排序字段列表,可以指定在字段后面指定DESC/ASC
    @WhereString    nvarchar(1000)=N'',     --查询条件
    @RecordCount int OUTPUT             --总记录数
    )
    AS
    SET NOCOUNT ON
    --检查对象是否有效
    --IF OBJECT_ID(@tbname) IS NULL
    --BEGIN
    --    RAISERROR(N'对象"%s"不存在',1,16,@tbname)
    --    RETURN
    --END
    --IF OBJECTPROPERTY(OBJECT_ID(@tbname),N'IsTable')=0
    --    AND OBJECTPROPERTY(OBJECT_ID(@tbname),N'IsView')=0
    --    AND OBJECTPROPERTY(OBJECT_ID(@tbname),N'IsTableFunction')=0
    --BEGIN
    --    RAISERROR(N'"%s"不是表、视图或者表值函数',1,16,@tbname)
    --    RETURN
    --END--分页字段检查
    IF ISNULL(@FieldKey,N'')=''
    BEGIN
        RAISERROR(N'分页处理需要主键(或者惟一键)',1,16)
        RETURN
    END--其他参数检查及规范
    IF ISNULL(@PageCurrent,0)<1 SET @PageCurrent=1
    IF ISNULL(@PageSize,0)<1 SET @PageSize=10
    IF ISNULL(@FieldShow,N'')=N'' SET @FieldShow=N'*'
    IF ISNULL(@FieldOrder,N'')=N''
        SET @FieldOrder=N''
    ELSE
        SET @FieldOrder=N'ORDER BY '+LTRIM(@FieldOrder)
    IF ISNULL(@WhereString,N'')=N''
        SET @WhereString=N''
    ELSE
        SET @WhereString=N'WHERE ('+@WhereString+N')'--如果@RecordCount为NULL值,则计算总页数(这样设计可以只在第一次计算总页数,以后调用时,把总页数传回给存储过程,避免再次计算总页数,对于不想计算总页数的处理而言,可以给@RecordCount赋值)
    IF @RecordCount IS NULL
    BEGIN
        DECLARE @sql nvarchar(4000)
        SET @sql=N'SELECT @RecordCount=COUNT(*)'
            +N' FROM '+@tbname
            +N' '+@WhereString
        EXEC sp_executesql @sql,N'@RecordCount int OUTPUT',@RecordCount OUTPUT
    END--计算分页显示的TOPN值
    DECLARE @TopN varchar(20),@TopN1 varchar(20)
    SELECT @TopN=@PageSize,
        @TopN1=(@PageCurrent-1)*@PageSize--第一页直接显示
    IF @PageCurrent=1
        EXEC(N'SELECT TOP '+@TopN
            +N' '+@FieldShow
            +N' FROM '+@tbname
            +N' '+@WhereString
            +N' '+@FieldOrder)
    ELSE
    BEGIN
        --处理别名
        IF @FieldShow=N'*'
            SET @FieldShow=N'a.*'    --生成主键(惟一键)处理条件
        DECLARE @Where1 nvarchar(4000),@Where2 nvarchar(4000),
            @s nvarchar(1000),@Field sysname
        SELECT @Where1=N'',@Where2=N'',@s=@FieldKey
        WHILE CHARINDEX(N',',@s)>0
            SELECT @Field=LEFT(@s,CHARINDEX(N',',@s)-1),
                @s=STUFF(@s,1,CHARINDEX(N',',@s),N''),
                @Where1=@Where1+N' AND a.'+@Field+N'=b.'+@Field,
                @Where2=@Where2+N' AND b.'+@Field+N' IS NULL',
                @WhereString=REPLACE(@WhereString,@Field,N'a.'+@Field),
                @FieldOrder=REPLACE(@FieldOrder,@Field,N'a.'+@Field),
                @FieldShow=REPLACE(@FieldShow,@Field,N'a.'+@Field)
        SELECT @WhereString=REPLACE(@WhereString,@s,N'a.'+@s),
            @FieldOrder=REPLACE(@FieldOrder,@s,N'a.'+@s),
            @FieldShow=REPLACE(@FieldShow,@s,N'a.'+@s),
            @Where1=STUFF(@Where1+N' AND a.'+@s+N'=b.'+@s,1,5,N''),    
            @Where2=CASE
                WHEN @WhereString='' THEN N'WHERE ('
                ELSE @WhereString+N' AND ('
                END+N'b.'+@s+N' IS NULL'+@Where2+N')'    --执行查询
        EXEC(N'SELECT TOP '+@TopN
            +N' '+@FieldShow
            +N' FROM '+@tbname
            +N' a LEFT JOIN(SELECT TOP '+@TopN1
            +N' '+@FieldKey
            +N' FROM '+@tbname
            +N' a '+@WhereString
            +N' '+@FieldOrder
            +N')b ON '+@Where1
            +N' '+@Where2
            +N' '+@FieldOrder)
    END
     
    MSSQL2005set ANSI_NULLS ON
    set QUOTED_IDENTIFIER ON
    go
    ALTER PROCEDURE [dbo].[PROCE_SQL2005PAGECHANGE]
    (
     @TableName varchar(50),            --表名
     @ReFieldsStr varchar(200) = '*',   --字段名(全部字段为*)
     @OrderString varchar(200),         --排序字段(必须!支持多字段不用加order by)
     @WhereString varchar(500) =N'',  --条件语句(不用加where)
     @PageSize int,                     --每页多少条记录
     @PageIndex int = 1 ,               --指定当前为第几页
     @TotalRecord int output            --返回总记录数
    )
    AS
     
    BEGIN        --处理开始点和结束点
        Declare @StartRecord int;
        Declare @EndRecord int; 
        Declare @TotalCountSql nvarchar(500); 
        Declare @SqlString nvarchar(2000);    
        set @StartRecord = (@PageIndex-1)*@PageSize + 1
        set @EndRecord = @StartRecord + @PageSize - 1 
        SET @TotalCountSql= N'select @TotalRecord = count(*) from ' + @TableName;--总记录数语句
        SET @SqlString = N'(select row_number() over (order by '+ @OrderString +') as rowId,'+@ReFieldsStr+' from '+ @TableName;--查询语句
        --
        IF (@WhereString! = '' or @WhereString!=null)
            BEGIN
                SET @TotalCountSql=@TotalCountSql + '  where '+ @WhereString;
                SET @SqlString =@SqlString+ '  where '+ @WhereString;            
            END
        --第一次执行得到
        --IF(@TotalRecord is null)
        --   BEGIN
               EXEC sp_executesql @totalCountSql,N'@TotalRecord int out',@TotalRecord output;--返回总记录数
        --  END
        ----执行主语句
        set @SqlString ='select * from ' + @SqlString + ') as t where rowId between ' + ltrim(str(@StartRecord)) + ' and ' +  ltrim(str(@EndRecord));
        Exec(@SqlString)    
    END
      

  2.   


    本来想发帖 居然没有20分 我靠  我要在所有百万级分页中都用这个回复declare @d datetime;set @d=getdate() 
    Select ST.st_id,ST.st_name,ST.st_sex,ST.st_phoneNumber,ST.st_nativePlace,s_name,c_name,ST.st_number,ST.st_index,ST.st_note,ST.st_cdate,c_index From ( SELECT TOP 30 *    FROM 
     
    (SELECT TOP 1051152 st_id,st_index  FROM 
     
    N25175_Student 

    INNER JOIN N25175_Specialty ON N25175_Student.st_sid = N25175_Specialty.s_id 
    INNER JOIN N25175_Class ON N25175_Student.st_cid = N25175_Class.c_id 

    ORDER BY  st_index ASC)

    AS T_T  

    ORDER by st_index DESC 
    ) as T_T
    INNER JOIN N25175_Student as ST ON T_T.st_id = ST.st_id
    INNER JOIN N25175_Specialty ON ST.st_sid = N25175_Specialty.s_id 
    INNER JOIN N25175_Class ON ST.st_cid = N25175_Class.c_id select [语句执行花费时间(毫秒)]=datediff(ms,@d,getdate()) 在本人电脑上测试 SELECT TOP 1051152 只需 500毫秒 TOP值越小速度越快 (st_index 是非聚集索引)
    当然我的电脑绝对是淘汰货 Pentium Dual-Core Cpu E5500 2.80GHZ 2.79GHZ 1.96的内存至于为什么是通用的 你没发现这个语句是有规律的吗! 你只要发挥一下你的聪明才智 用存储过程也行 
    用程序拼接字符串也行 当然我也想获取各位大神的通用的sqlserver 2000的分页方法 如果有更好更通用的方法 请各位大神 发下
    (模拟数据库就不发了 本人比较懒惰 想测试的自己设置一下模拟环境吧)
    构造分页的通用方法主要代码  你可以尽量完善这个方法 
            /// <summary>
            /// 百万级 500毫秒(注意要设置排序索引,where 不会产生大量数据)  分页方法 总而言之 百万级分页 在可接受范围内 的一个方法(最主要这东西通用啊)
            /// </summary>
            /// <param name="ConnectionString">数据库连接字符串</param>
            /// <param name="columns">显示的列</param>
            /// <param name="keyID">主表的主键名称</param>
            /// <param name="ordercolumns">排序列 index as or_index ,date as or_date</param>
            /// <param name="formStr">from 子句内容</param>
            /// <param name="whereClauses">where 子句内容</param>
            /// <param name="orderby">order by 子句</param>
            /// <param name="pageOrder">内容反转 Order by 子句 名称关联 ordercolumns参数 </param>
            /// <param name="tableName">主表名称</param>
            /// <param name="showForm">与主表关联的内外连接子句  INNER JOIN [LEFT OUTER JOIN]</param>
            /// <param name="pageindex">第几页</param>
            /// <param name="pageSize">每页多少条数据</param>
            /// <param name="paramenters">where查询参数列表</param>
            /// <param name="dataCount"> out 返回 总页数</param>
            /// <returns> 分页数据 </returns>
            public DataTable FastPageInfo(String ConnectionString,
                
                String columns,
                String keyID,
                String ordercolumns,//排序列
                String formStr,//From 子句
                String whereClauses,//where 子句
                String orderby,//排序
                String pageOrder,//分页排序
                String tableName,//主表名
                String showForm,//用于显示的 form子句
                int pageindex,
                int pageSize,
                SqlParameter[] paramenters,
                out int dataCount
                )
            {
                string sql = null;
                int count = SelectCount(ConnectionString, formStr, whereClauses, paramenters);
                dataCount = count;
                int getRowNum = pageSize;
                int topIndex = pageSize * pageindex;
                if (count < topIndex)
                {
                    getRowNum = getRowNum - (topIndex - count);
                    topIndex =  count;
                }
                if (getRowNum > 0)
                {                whereClauses = whereClauses ==String.Empty?String.Empty:String.Format(" WHERE {0}",whereClauses);                sql = String.Format(@"Select 
                    
                    {0}                From ( SELECT TOP {1} *                    FROM 
                      
                    (SELECT TOP {2} {3} as KeyID,{4}  FROM 
                      
                    {5}
                    
                            {6}                                   ORDER BY  {7})
                    
                    AS T1  
                    
                    ORDER BY {8}                ) as T2
                    INNER JOIN {9} ON T2.KeyID = {9}.{10}
                    {11}
                    
                    ORDER BY  {7}
                    ",                columns,//显示的列
                    getRowNum,//获取的页数
                    topIndex,//截取最大TOP
                    keyID,//主表主键
                    ordercolumns,//排序列
                    formStr,//From 子句
                    whereClauses,//where 子句
                    orderby,//排序
                    pageOrder,//分页排序
                    tableName,//主表名
                    keyID,//主表主键
                    showForm//用于显示的 form子句
                    );            }
                else
                {
                    return new DataTable();
                }
              
                return SQLServerHelper.DataTable(ConnectionString, CommandType.Text, sql, paramenters);
            }如果你有更好 更通用的都发上来吧