记得前一阵北京旅游局搞了一个活动
每天9点开始申请免费旅游门票,直到申领完为止。
但是那个网站系统做的不是很好,因为确实大家都在9点的时候来申领这种的大访问量并发插入数据库的操作 该如何处理呢?
比如有十万百万的数据同时insert
我们该怎么办呢?有高人指点一二,除了数据库使用事务处理外,还有什么别的办法吗?分不够了可以再加

解决方案 »

  1.   

    早上9点是系统的高峰期,其他时间好像都量很小可以考虑用memcache,早上用户访问的时候只操作cache,量大也没啥问题
    数据的重要性方面,可以考虑每隔10分钟,拉取一次cache里的数据缓慢刷入到db,保证数据不会有问题其他时间的话,可以直接操作db
      

  2.   

    如果系统一直都是高并发量,一般考虑加机器,做负载均衡
    楼主的情况,只是在某些特定情况下才高访问,其他时间机器都可以顶得住的,可以考虑用cache来临时解决高访问量的情况,不增加机器成本
    另外,站点肯定也有值得优化的地方,可以参考一下雅虎的22条优化策略
      

  3.   

    我知道一个方法是更改mysql的并发数 
    mysql的并发数默认为100   怎样改大一些呢?
    Windows   中: 
    在文件   my.ini   中找到段   [mysqld],在其中添加一行   
    max_connections=200         ###   想设置成多大那就由你定了.   
      重启   mysql   服务,呵呵...但是不知道适合你的情况不原文:http://www.phpzc.com/read.php?tid-414.html
      

  4.   

    大话题呀,大公司都把大把钱丢到硬件升级上.
    lz先考虑就mysql设计而言,是不是还有优化空间?
      

  5.   

    个人觉得用memcache是个好方法,解决了一时的尴尬。访问量大的时候用memcache。
      

  6.   

    一、memcached 简介
    在很多场合,我们都会听到 memcached 这个名字,但很多同学只是听过,并没有用过或实际了解过,只知道它是一个很不错的东东。这里简单介绍一下,memcached 是高效、快速的分布式内存对象缓存系统,主要用于加速 WEB 动态应用程序。
    二、memcached 安装
    首先是下载 memcached 了,目前最新版本是 1.1.12,直接从官方网站即可下载到 memcached-1.1.12.tar.gz。除此之外,memcached 用到了 libevent,我下载的是 libevent-1.1a.tar.gz。
    接下来是分别将 libevent-1.1a.tar.gz 和 memcached-1.1.12.tar.gz 解开包、编译、安装:  
     
    参数解释:
     当然,还有其它参数可以用,man memcached 一下就可以看到了。
     
    四、memcached 的工作原理
    首先 memcached 是以守护程序方式运行于一个或多个服务器中,随时接受客户端的连接操作,客户端可以由各种语言编写,目前已知的客户端 API 包括 Perl/PHP/Python/Ruby/Java/C#/C 等等。PHP 等客户端在与 memcached 服务建立连接之后,接下来的事情就是存取对象了,每个被存取的对象都有一个唯一的标识符 key,存取操作均通过这个 key 进行,保存到 memcached 中的对象实际上是放置内存中的,并不是保存在 cache 文件中的,这也是为什么 memcached 能够如此高效快速的原因。注意,这些对象并不是持久的,服务停止之后,里边的数据就会丢失。五、PHP 如何作为 memcached 客户端
    有两种方法可以使 PHP 作为 memcached 客户端,调用 memcached 的服务进行对象存取操作。
    第一种,PHP 有一个叫做 memcache 的扩展,Linux 下编译时需要带上 –enable-memcache[=DIR] 选项,Window 下则在 php.ini 中去掉 php_memcache.dll 前边的注释符,使其可用。
    除此之外,还有一种方法,可以避开扩展、重新编译所带来的麻烦,那就是直接使用 php-memcached-client。
    本文选用第二种方式,虽然效率会比扩展库稍差一些,但问题不大。
     
    六、PHP memcached 应用示例
    首先 下载 memcached-client.php,在下载了 memcached-client.php 之后,就可以通过这个文件中的类“memcached”对 memcached 服务进行操作了。其实代码调用非常简单,主要会用到的方法有 add()、get()、replace() 和 delete(),方法说明如下:
    add ($key, $val, $exp = 0)
    往 memcached 中写入对象,$key 是对象的唯一标识符,$val 是写入的对象数据,$exp 为过期时间,单位为秒,默认为不限时间;
    get ($key)
    从 memcached 中获取对象数据,通过对象的唯一标识符 $key 获取;
    replace ($key, $value, $exp=0)
    使用 $value 替换 memcached 中标识符为 $key 的对象内容,参数与 add() 方法一样,只有 $key 对象存在的情况下才会起作用;
    delete ($key, $time = 0)
    删除 memcached 中标识符为 $key 的对象,$time 为可选参数,表示删除之前需要等待多长时间。
    下面是一段简单的测试代码,代码中对标识符为 "mykey" 的对象数据进行存取操作:
    //  选项设置 
    $options = array( 
        //memcached 服务的地址、端口,可用多个数组元素表示多个 memcached 服务
        "servers" => array("192.168.1.1:11211"),  
        "debug" => true,  //是否打开 debug 
        "compress_threshold" => 10240,  //超过多少字节的数据时进行压缩 
        "persistant" => false  //是否使用持久连接 
        ); 
    //  创建 memcached 对象实例 
    $mc = new memcached($options); 
    //  设置此脚本使用的唯一标识符 
    $key = "mykey"; 
    //  往 memcached 中写入对象 
    $mc->add($key, "some random strings"); 
    $val = $mc->get($key); 
    echo "n".str_pad("$mc->add() ", 60, "_")."n"; 
    var_dump($val); 
    //  替换已写入的对象数据值 
    $mc->replace($key, array("some"=>"haha", "array"=>"xxx")); 
    $val = $mc->get($key); 
    echo "n".str_pad("$mc->replace() ", 60, "_")."n"; 
    var_dump($val); 
    //  删除 memcached 中的对象 
    $mc->delete($key); 
    $val = $mc->get($key); 
    echo "n".str_pad("$mc->delete() ", 60, "_")."n"; 
    var_dump($val); 
    ?>   是不是很简单,在实际应用中,通常会把数据库查询的结果集保存到 memcached 中,下次访问时直接从 memcached 中获取,而不再做数据库查询操作,这样可以在很大程度上减轻数据库的负担。通常会将 SQL 语句 md5() 之后的值作为唯一标识符 key。下边是一个利用 memcached 来缓存数据库查询结果集的示例(此代码片段紧接上边的示例代码):
    $key = md5($sql);   //memcached 对象标识符 

        //  在 memcached 中未获取到缓存数据,则使用数据库查询获取记录集。 
        echo "n".str_pad("Read datas from MySQL.", 60, "_")."n"; 
        $conn = mysql_connect("localhost", "test", "test"); 
        mysql_select_db("test"); 
        $result = mysql_query($sql); 
        while ($row = mysql_fetch_object($result)) 
            $datas[] = $row; 
        //  将数据库中获取到的结果集数据保存到 memcached 中,以供下次访问时使用。 
        $mc->add($key, $datas); 

        echo "n".str_pad("Read datas from memcached.", 60, "_")."n"; 

    var_dump($datas); 
    ?>  可以看出,使用 memcached 之后,可以减少数据库连接、查询操作,数据库负载下来了,脚本的运行速度也提高了。
    之前我曾经写过一篇名为《PHP 实现多服务器共享 SESSION 数据》文章,文中的 SESSION 是使用数据库保存的,在并发访问量大的时候,服务器的负载会很大,经常会超出 MySQL 最大连接数,利用 memcached,我们可以很好地解决这个问题,工作原理如下:
    用户访问网页时,查看 memcached 中是否有当前用户的 SESSION 数据,使用 session_id() 作为唯一标识符;如果数据存在,则直接返回,如果不存在,再进行数据库连接,获取 SESSION 数据,并将此数据保存到 memcached 中,供下次使用; 
    当前的 PHP 运行结束(或使用了 session_write_close())时,会调用 My_Sess::write() 方法,将数据写入数据库,这样的话,每次仍然会有数据库操作,对于这个方法,也需要进行优化。使用一个全局变量,记录用户进入页面时的 SESSION 数据,然后在 write() 方法内比较此数据与想要写入的 SESSION 数据是否相同,不同才进行数据库连接、写入数据库,同时将 memcached 中对应的对象删除,如果相同的话,则表示 SESSION 数据未改变,那么就可以不做任何操作,直接返回了; 
    那么用户 SESSION 过期时间怎么解决呢?记得 memcached 的 add() 方法有个过期时间参数 $exp 吗?把这个参数值设置成小于 SESSION 最大存活时间即可。另外别忘了给那些一直在线的用户延续 SESSION 时长,这个可以在 write() 方法中解决,通过判断时间,符合条件则更新数据库数据。 
      

  7.   

    9楼和10楼的兄弟们 似乎没有看我的问题的描述,
    如果只是select出数据 让百万的用户来访问 也就罢了,使用memcache可以解决,
    但是,我说的并发 是并发插入数据,同时伴随的是还要select查询是否已经申领完毕
    据我的了解oracle允许最大的同时插入数据的数目为3000
    mysql好像也就100左右
      

  8.   

    mysqli 支持prepared语句的使用,它们对于大量具有不同数据的相同查询时可以提高执行速度.不知道这个对楼主有没有用!
    <?php
    $mysqli = new mysqli("localhost", "my_user", "my_password", "world");if (mysqli_connect_errno()) {
        printf("Connect failed: %s\n", mysqli_connect_error());
        exit();
    }/* prepare statement */
    if ($stmt = $mysqli->prepare("SELECT Code, Name FROM Country ORDER BY Name LIMIT 5")) {
        $stmt->execute();    /* bind variables to prepared statement */
        $stmt->bind_result($col1, $col2);    /* fetch values */
        while ($stmt->fetch()) {
            printf("%s %s\n", $col1, $col2);
        }    /* close statement */
        $stmt->close();
    }
    /* close connection */
    $mysqli->close();?> 
      

  9.   

    我们也只是在讨论
    解决的方法 应该有很多种
    我也是看到了那个网站想到的 
    只不过是现在才在csdn上提出来
      

  10.   

    插入的话,mysql高的时候可以达到500~600的,楼主可以先优化一下mysql等mysql的插入都顶不住的话,用memcache就可以了啊,读、写都从memcache嘛,一秒2万个读写都是没有问题的楼主的问题memcache肯定是可以解决
      

  11.   

    首先要考虑的是使用缓存,来减少访问MYSQL的次数
    然后就要考虑使用服务器负载平衡了
      

  12.   

    没做过
    感觉memcache解决不了,就不要想表的问题了,因为像你所说,并发最大100,10台才1000,也达不到你所说百万级操作就你这个项目,建议事务处理,操作不成功回滚提示,
    或者前台打印有多少申请记数,或者给用户一个早请高峰的流量图表,让它们避开
      

  13.   

    我认为memcache只用来存储一些静态网页,不能处理对数据库的insert操作。
    并发访问,应该使用负载均衡吧。
    如果采用消息队列方式的话,由于队列的长度有限,那肯定有很多请求超时。只能重复的提交请求来完成insert的操作。因此我觉得消息队列方式不可行。
    欢迎拍砖。
      

  14.   

    楼上的好像都没有针对楼主的问题......楼主,我想问你们实际出现了什么问题? 是出现了数据不一致?还是出现了无法连接?
    还是mysql或apache崩溃了?
      

  15.   

    如果门票数额有限,就别一直insert了,可以用随机数。
      

  16.   

    做负载均衡、读写分离、memcache后按时间段更新、注意写log