记得前一阵北京旅游局搞了一个活动
每天9点开始申请免费旅游门票,直到申领完为止。
但是那个网站系统做的不是很好,因为确实大家都在9点的时候来申领这种的大访问量并发插入数据库的操作 该如何处理呢?
比如有十万百万的数据同时insert
我们该怎么办呢?有高人指点一二,除了数据库使用事务处理外,还有什么别的办法吗?分不够了可以再加
每天9点开始申请免费旅游门票,直到申领完为止。
但是那个网站系统做的不是很好,因为确实大家都在9点的时候来申领这种的大访问量并发插入数据库的操作 该如何处理呢?
比如有十万百万的数据同时insert
我们该怎么办呢?有高人指点一二,除了数据库使用事务处理外,还有什么别的办法吗?分不够了可以再加
解决方案 »
- 求助:php引用文件问题
- php 操作两个数据库的问题
- 慶祝升星進行PHP版的第十專
- 请问循环结果没问题
- 求教,现在还能从百度的搜索结果里获取内容吗?
- 模板问题,大家说说应该用哪一种啊》?---------------------------------------------
- 用PHP调用Oracle存储过程------------在线的等待!!!!!!!!!!!!!!!!!!!!!!!!!!!
- 同一个文件,在本地测试没有问题,FTP到服务器后,无法正常显示,求助~
- 一个开发模式上的问题,请进来讨论
- 这段代码中echo怎么不执行呢,高手给支个招
- 数组结构调整求助
- PHP新手,指导如何获取第一行第一列数据?
数据的重要性方面,可以考虑每隔10分钟,拉取一次cache里的数据缓慢刷入到db,保证数据不会有问题其他时间的话,可以直接操作db
楼主的情况,只是在某些特定情况下才高访问,其他时间机器都可以顶得住的,可以考虑用cache来临时解决高访问量的情况,不增加机器成本
另外,站点肯定也有值得优化的地方,可以参考一下雅虎的22条优化策略
mysql的并发数默认为100 怎样改大一些呢?
Windows 中:
在文件 my.ini 中找到段 [mysqld],在其中添加一行
max_connections=200 ### 想设置成多大那就由你定了.
重启 mysql 服务,呵呵...但是不知道适合你的情况不原文:http://www.phpzc.com/read.php?tid-414.html
lz先考虑就mysql设计而言,是不是还有优化空间?
在很多场合,我们都会听到 memcached 这个名字,但很多同学只是听过,并没有用过或实际了解过,只知道它是一个很不错的东东。这里简单介绍一下,memcached 是高效、快速的分布式内存对象缓存系统,主要用于加速 WEB 动态应用程序。
二、memcached 安装
首先是下载 memcached 了,目前最新版本是 1.1.12,直接从官方网站即可下载到 memcached-1.1.12.tar.gz。除此之外,memcached 用到了 libevent,我下载的是 libevent-1.1a.tar.gz。
接下来是分别将 libevent-1.1a.tar.gz 和 memcached-1.1.12.tar.gz 解开包、编译、安装:
参数解释:
当然,还有其它参数可以用,man memcached 一下就可以看到了。
四、memcached 的工作原理
首先 memcached 是以守护程序方式运行于一个或多个服务器中,随时接受客户端的连接操作,客户端可以由各种语言编写,目前已知的客户端 API 包括 Perl/PHP/Python/Ruby/Java/C#/C 等等。PHP 等客户端在与 memcached 服务建立连接之后,接下来的事情就是存取对象了,每个被存取的对象都有一个唯一的标识符 key,存取操作均通过这个 key 进行,保存到 memcached 中的对象实际上是放置内存中的,并不是保存在 cache 文件中的,这也是为什么 memcached 能够如此高效快速的原因。注意,这些对象并不是持久的,服务停止之后,里边的数据就会丢失。五、PHP 如何作为 memcached 客户端
有两种方法可以使 PHP 作为 memcached 客户端,调用 memcached 的服务进行对象存取操作。
第一种,PHP 有一个叫做 memcache 的扩展,Linux 下编译时需要带上 –enable-memcache[=DIR] 选项,Window 下则在 php.ini 中去掉 php_memcache.dll 前边的注释符,使其可用。
除此之外,还有一种方法,可以避开扩展、重新编译所带来的麻烦,那就是直接使用 php-memcached-client。
本文选用第二种方式,虽然效率会比扩展库稍差一些,但问题不大。
六、PHP memcached 应用示例
首先 下载 memcached-client.php,在下载了 memcached-client.php 之后,就可以通过这个文件中的类“memcached”对 memcached 服务进行操作了。其实代码调用非常简单,主要会用到的方法有 add()、get()、replace() 和 delete(),方法说明如下:
add ($key, $val, $exp = 0)
往 memcached 中写入对象,$key 是对象的唯一标识符,$val 是写入的对象数据,$exp 为过期时间,单位为秒,默认为不限时间;
get ($key)
从 memcached 中获取对象数据,通过对象的唯一标识符 $key 获取;
replace ($key, $value, $exp=0)
使用 $value 替换 memcached 中标识符为 $key 的对象内容,参数与 add() 方法一样,只有 $key 对象存在的情况下才会起作用;
delete ($key, $time = 0)
删除 memcached 中标识符为 $key 的对象,$time 为可选参数,表示删除之前需要等待多长时间。
下面是一段简单的测试代码,代码中对标识符为 "mykey" 的对象数据进行存取操作:
// 选项设置
$options = array(
//memcached 服务的地址、端口,可用多个数组元素表示多个 memcached 服务
"servers" => array("192.168.1.1:11211"),
"debug" => true, //是否打开 debug
"compress_threshold" => 10240, //超过多少字节的数据时进行压缩
"persistant" => false //是否使用持久连接
);
// 创建 memcached 对象实例
$mc = new memcached($options);
// 设置此脚本使用的唯一标识符
$key = "mykey";
// 往 memcached 中写入对象
$mc->add($key, "some random strings");
$val = $mc->get($key);
echo "n".str_pad("$mc->add() ", 60, "_")."n";
var_dump($val);
// 替换已写入的对象数据值
$mc->replace($key, array("some"=>"haha", "array"=>"xxx"));
$val = $mc->get($key);
echo "n".str_pad("$mc->replace() ", 60, "_")."n";
var_dump($val);
// 删除 memcached 中的对象
$mc->delete($key);
$val = $mc->get($key);
echo "n".str_pad("$mc->delete() ", 60, "_")."n";
var_dump($val);
?> 是不是很简单,在实际应用中,通常会把数据库查询的结果集保存到 memcached 中,下次访问时直接从 memcached 中获取,而不再做数据库查询操作,这样可以在很大程度上减轻数据库的负担。通常会将 SQL 语句 md5() 之后的值作为唯一标识符 key。下边是一个利用 memcached 来缓存数据库查询结果集的示例(此代码片段紧接上边的示例代码):
$key = md5($sql); //memcached 对象标识符
{
// 在 memcached 中未获取到缓存数据,则使用数据库查询获取记录集。
echo "n".str_pad("Read datas from MySQL.", 60, "_")."n";
$conn = mysql_connect("localhost", "test", "test");
mysql_select_db("test");
$result = mysql_query($sql);
while ($row = mysql_fetch_object($result))
$datas[] = $row;
// 将数据库中获取到的结果集数据保存到 memcached 中,以供下次访问时使用。
$mc->add($key, $datas);
{
echo "n".str_pad("Read datas from memcached.", 60, "_")."n";
}
var_dump($datas);
?> 可以看出,使用 memcached 之后,可以减少数据库连接、查询操作,数据库负载下来了,脚本的运行速度也提高了。
之前我曾经写过一篇名为《PHP 实现多服务器共享 SESSION 数据》文章,文中的 SESSION 是使用数据库保存的,在并发访问量大的时候,服务器的负载会很大,经常会超出 MySQL 最大连接数,利用 memcached,我们可以很好地解决这个问题,工作原理如下:
用户访问网页时,查看 memcached 中是否有当前用户的 SESSION 数据,使用 session_id() 作为唯一标识符;如果数据存在,则直接返回,如果不存在,再进行数据库连接,获取 SESSION 数据,并将此数据保存到 memcached 中,供下次使用;
当前的 PHP 运行结束(或使用了 session_write_close())时,会调用 My_Sess::write() 方法,将数据写入数据库,这样的话,每次仍然会有数据库操作,对于这个方法,也需要进行优化。使用一个全局变量,记录用户进入页面时的 SESSION 数据,然后在 write() 方法内比较此数据与想要写入的 SESSION 数据是否相同,不同才进行数据库连接、写入数据库,同时将 memcached 中对应的对象删除,如果相同的话,则表示 SESSION 数据未改变,那么就可以不做任何操作,直接返回了;
那么用户 SESSION 过期时间怎么解决呢?记得 memcached 的 add() 方法有个过期时间参数 $exp 吗?把这个参数值设置成小于 SESSION 最大存活时间即可。另外别忘了给那些一直在线的用户延续 SESSION 时长,这个可以在 write() 方法中解决,通过判断时间,符合条件则更新数据库数据。
如果只是select出数据 让百万的用户来访问 也就罢了,使用memcache可以解决,
但是,我说的并发 是并发插入数据,同时伴随的是还要select查询是否已经申领完毕
据我的了解oracle允许最大的同时插入数据的数目为3000
mysql好像也就100左右
<?php
$mysqli = new mysqli("localhost", "my_user", "my_password", "world");if (mysqli_connect_errno()) {
printf("Connect failed: %s\n", mysqli_connect_error());
exit();
}/* prepare statement */
if ($stmt = $mysqli->prepare("SELECT Code, Name FROM Country ORDER BY Name LIMIT 5")) {
$stmt->execute(); /* bind variables to prepared statement */
$stmt->bind_result($col1, $col2); /* fetch values */
while ($stmt->fetch()) {
printf("%s %s\n", $col1, $col2);
} /* close statement */
$stmt->close();
}
/* close connection */
$mysqli->close();?>
解决的方法 应该有很多种
我也是看到了那个网站想到的
只不过是现在才在csdn上提出来
然后就要考虑使用服务器负载平衡了
感觉memcache解决不了,就不要想表的问题了,因为像你所说,并发最大100,10台才1000,也达不到你所说百万级操作就你这个项目,建议事务处理,操作不成功回滚提示,
或者前台打印有多少申请记数,或者给用户一个早请高峰的流量图表,让它们避开
并发访问,应该使用负载均衡吧。
如果采用消息队列方式的话,由于队列的长度有限,那肯定有很多请求超时。只能重复的提交请求来完成insert的操作。因此我觉得消息队列方式不可行。
欢迎拍砖。
还是mysql或apache崩溃了?