hibernate为什么处理大量数据的时候效率低?
用什么可以优化呢

解决方案 »

  1.   

    这个需要一个使用hibernate经验丰富的人才行新手一般做出来得效率据说都比较低
      

  2.   

    我也觉得hibernate在处理大量数据时效率不是很好,lz可以通过配置二级缓存,延迟加载等方式缓解,但还是尽量避免过大量数据的处理。
      

  3.   

    方法可以!
      如果是高性能开发的话,建议用JDBC会好些!
      

  4.   

    没有办法优化的,像批量删除和批量增加的时候,Hibernate是没有办法改进的,速度很慢
      

  5.   

    hibernate 在处理大数据的时候性能是会降低。
    合理的设计表结构 可以缓解这一现状。
      

  6.   

    hibernate应该是无辜的
    楼主应该学习一下数据库的优化,比如建立索引,优化hql语句等
      

  7.   

    同意LS,习惯用SQL + iBatis。个人觉得性能至上的项目还是别用Hibernate吧
      

  8.   

    大量的生成对象,反射的问题,导致Hibernate效率相对会较低,这是没有办法的
    Hibernate是表与对象的映射(一个对象映射到一个表)。
    MyBatis是查询结果与对象的映射(SQL经常涉及多个表),复杂查询会比Hibernate快一些。
      

  9.   

    如果 Hibernate 用了关联、级联的话,那样效率会更低!
      

  10.   

          Hibernate在遇到大量的数据量的时候,效率是会比较低的.....而hibernate他有一级缓存和二级缓存啊!一级缓存是默认使用的,如果遇到大量的数据的时候就需要配置个二级缓存咯;至于优化大都是关于表关系间的处理,可以上网查找看看..............
          JDBC相对来说似乎是能更好的快速的处理大量的数据。
          总之各有各的好处啦!
      

  11.   

    google得到的结果..........查询性能往往是系统性能表现的一个重要方面,查询机制的优劣很大程度上决定了系统的整体性能。这个领域往往也存在最大的性能调整空间。 
    hibernate2中Session.find()对应于3中的session.createQuery().list();
    hibernate2中Session.iterate()对应于3中的session.createQuery().iterate();
    find和iterate区别:
    find方法通过一条Select SQL实现了查询操作,而iterate方法要执行多条Select SQL.
    iterate第一次查询获取所有符合条件的记录的id,然后再根据各个id从库表中读取对应的记录,这是一个典型的N+1次的查询问题,如果符合条件记录有10000条,就需要执行10001条Select SQL,可想性能会如何的差。
    那为什么要提供iterator方法,而不只是提供高效率的find方法?
    原因1.与hibernate缓存机制密切相关
    find方法实际上是无法利用缓存的,它对缓存只写不读。
    find方法只执行一次SQL查询,它无法判断缓存中什么样的数据是符合条件的,也无法保证查询结果的完整性。而iterate方法,会首先查询所有符合条件记录的id,然后根据id去缓存中找,如果缓存中有该id,就返回,没有可以根据id再去数据库查询。
    String hql = "from TUser where age > ?";
    List userList = session.find(hql, new Integer(18), Hibernate.INTEGER);
    Iterator it = session.iterate(hql, new Integer(18), Hibernate.INTEGER);
    顺序执行,iterate方法只会执行一次SQL查询,就是查找id,然后根据id就可以从缓存中获得数据。
    String hql = "from TUser where age > ?";
    List userList = session.find(hql, new Integer(18), Hibernate.INTEGER);
    userList = session.find(hql, new Integer(18), Hibernate.INTEGER);
    缓存是不起作用的。
    如果目标数据读取相对较为频繁,通过iterate这种机制,会减少性能损耗。
    原因2.内存使用上的考虑
    find方法将一次获得的所有记录并将其读入内存。如果数据量太大,可能会触发OutOfMemoryError,从而导致系统异常。解决方案之一就是结合iterate方法和evict方法逐条对记录进行处理,将内存消化保持在一个可以接受的范围之内。如:
    String hql = "from TUser where age > ?";
    Iterator it = session.iterate(hql, new Integer(18), Hibernate.INTEGER);
    while(it.hasNext()) {
        TUser user = (TUser)it.next();
        
        //将对象从一级缓存中删除
        session.evict(user);
        //二级缓存可以设定最大缓存量,达到后自动对较老数据进行废除,但也可以通过编
        //码移除,这样有助于保持数据有效性。
        sessionFactory.evict(TUser.class, user.getID());
    }
    Hibernate批量更新是指在一个事务中更新大批量数据,Hibernate批量删除是指在一个事务中删除大批量数据。以下程序直接通过Hibernate API批量更新CUSTOMERS表中年龄大于零的所有记录的AGE字段:
    1. tx = session.beginTransaction();     
    2.   Iterator customers=session.find("from Customer c where c.age>0").iterator();     
    3.   while(customers.hasNext()){     
    4.   Customer customer=(Customer)customers.next();     
    5.   customer.setAge(customer.getAge()+1);     
    6.   }      
    7.   tx.commit();     
    8.   session.close();  
    如果CUSTOMERS表中有1万条年龄大于零的记录,那么Session的find()方法会一下子加载1万个Customer对象到内存。当执行tx.commit()方法时,会清理缓存,Hibernate执行1万条更新CUSTOMERS表的update语句:
    1. update CUSTOMERS set AGE=? …. where ID=i;     
    2.   update CUSTOMERS set AGE=? …. where ID=j;     
    3.   update CUSTOMERS set AGE=? …. where ID=k;  
    以上Hibernate批量更新方式有两个缺点:
    (1) 占用大量内存,必须把1万个Customer对象先加载到内存,然后一一更新它们。 
    (2) 执行的update语句的数目太多,每个update语句只能更新一个Customer对象,必须通过1万条update语句才能更新一万个Customer对象,频繁的访问数据库,会大大降低应用的性能。
    为了迅速释放1万个Customer对象占用的内存,可以在更新每个Customer对象后,就调用Session的evict()方法立即释放它的内存:
    1. tx = session.beginTransaction();     
    2. Iterator customers=session.find("from Customer c where c.age>0").iterator();     
    3. while(customers.hasNext()){     
    4. Customer customer=(Customer)customers.next();     
    5. customer.setAge(customer.getAge()+1);     
    6. session.flush();     
    7. session.evict(customer);     
    8. }      
    9. tx.commit();     
    10. session.close();  
    在 以上程序中,修改了一个Customer对象的age属性后,就立即调用Session的flush()方法和evict()方法,flush()方法使 Hibernate立刻根据这个Customer对象的状态变化同步更新数据库,从而立即执行相关的update语句;evict()方法用于把这个 Customer对象从缓存中清除出去,从而及时释放它占用的内存。
    但evict()方法只能稍微提高批量操作的性能,因为不管有没有使用evict()方法,Hibernate都必须执行1万条update语句,才能更新1万个Customer对象,这是影响批量操作性能的重要因素。假如Hibernate能直接执行如下SQL语句:
    1. update CUSTOMERS set AGEAGE=AGE+1 where AGE>0;   
    那么以上一条update语句就能更新CUSTOMERS表中的1万条记录。但是Hibernate并没有直接提供执行这种update语句的接口。应用程序必须绕过Hibernate API,直接通过JDBC API来执行该SQL语句:
    1. tx = session.beginTransaction();     
    2. Connection con=session.connection();     
    3. PreparedStatement stmt=con.prepareStatement("update CUSTOMERS set AGEAGE=AGE+1 "     
    4. +"where AGE>0 ");     
    5. stmt.executeUpdate();     
    6. tx.commit();  
    以 上程序演示了绕过Hibernate API,直接通过JDBC API访问数据库的过程。应用程序通过Session的connection()方法获得该Session使用的数据库连接,然后通过它创建 PreparedStatement对象并执行SQL语句。值得注意的是,应用程序仍然通过Hibernate的Transaction接口来声明事务边 界。 
    如果底层数据库(如Oracle)支持存储过程,也可以通过存储过程来执行Hibernate批量更新。存储过程直接在数据库中运行,速度更加快。在Oracle数据库中可以定义一个名为batchUpdateCustomer()的存储过程,代码如下:
    1. create or replace procedure batchUpdateCustomer(p_age in number) as     
    2. begin     
    3. update CUSTOMERS set AGEAGE=AGE+1 where AGE>p_age;     
    4. end;  
    以上存储过程有一个参数p_age,代表客户的年龄,应用程序可按照以下方式调用存储过程:
    1. tx = session.beginTransaction();     
    2. Connection con=session.connection();     
    3. String procedure = "{call batchUpdateCustomer(?) }";     
    4. CallableStatement cstmt = con.prepareCall(procedure);     
    5. cstmt.setInt(1,0); //把年龄参数设为0     
    6. cstmt.executeUpdate();     
    7. tx.commit();  
    从上面程序看出,应用程序也必须绕过Hibernate API,直接通过JDBC API来调用存储过程。 
    Session的各种重载形式的update()方法都一次只能更新一个对象,而delete()方法的有些重载形式允许以HQL语句作为参数,例如:
    1. session.delete("from Customer c where c.age>0");  
    如果CUSTOMERS表中有1万条年龄大于零的记录,那么以上代码能删除一万条记录。但是Session的delete()方法并没有执行以下delete语句
    1. delete from CUSTOMERS where AGE>0;  
    Session的delete()方法先通过以下select语句把1万个Customer对象加载到内存中:
    1. select * from CUSTOMERS where AGE>0;  
    接下来执行一万条delete语句,逐个删除Customer对象:
    1. delete from CUSTOMERS where ID=i;     
    2. delete from CUSTOMERS where ID=j;     
    3. delete from CUSTOMERS where ID=k;  
    由 此可见,直接通过Hibernate API进行Hibernate批量更新和Hibernate批量删除都不值得推荐。而直接通过JDBC API执行相关的SQL语句或调用相关的存储过程,是Hibernate批量更新和Hibernate批量删除的最佳方式,这两种方式都有以下优点:
    (1) 无需把数据库中的大批量数据先加载到内存中,然后逐个更新或修改它们,因此不会消耗大量内存。 
    (2) 能在一条SQL语句中更新或删除大批量的数据。
      

  12.   

    建议如果是批量插入,更新可以使用oracle procedure来做
      

  13.   

    然后通过hibernate来调用存储过程
      

  14.   

    大量的数据,存储过程更快!一个很现实的问题,用户批量导入数据,我们应用存储过程导入数据,速度绝对可以!hibernate支持存储过程的!