完成端口中的IO投递

Question

SOCKET sockAccept=WSASocket(AF_INET,SOCK_STREAM,0,NULL,0,WSA_FLAG_OVERLAPPED);---创建一个WSA_FLAG_OVERLAPPED属性的SOCKET
if(sockAccept==INVALID_SOCKET)
{      return;
}sockAccept=accept(g_sockListen,NULL,NULL);---------调用accept接收一个connection 并将返回赋给sockAcceptif(sockAccept==INVALID_SOCKET)  
{
     return ;
}CreateIoCompletionPort((HANDLE)sockAccept,g_hIOCP,(DWORD)pConnCtx,0);----关联
WSARecv(s, &(pConnCtx->pPerIOData->Wbuf), 1, &dwRecved, &dwFlags, &pConnCtx->pPerIOData->OverLapped, NULL);-----io投递
------------------------------------------------
问题如下：
1、CreateIoCompletionPort 出现错误，GetLastError为87：参数不正确，我的系统是XP sp32、WSARecv---IO投递，不能马上返回，会一直等，知道有数据过来，但本意是想马上返回，所以我特别在  开始处：SOCKET sockAccept=WSASocket(AF_INET,SOCK_STREAM,0,NULL,0,WSA_FLAG_OVERLAPPED[color=#FF0000]);---创建    一个WSA_FLAG_OVERLAPPED属
   
  这样处理了下但是效果一样，一直堵塞在WSARecv上

Answer 1

typedef struct _CONN_CTX
{
SOCKET            SockAccept;
LPPER_IO_DATA     pPerIOData;
struct _CONN_CTX *pPrec;
struct _CONN_CTX *pNext;
}CONN_CTX,*LPCONN_CTX;
typedef struct _OverLappedEx
{
OVERLAPPED OverLapped;
WSABUF     Wbuf;
char       Data[MAX_BUF_LEN];
IO_OPER    Oper;
DWORD      Flags;
}PER_IO_DATA,*LPPER_IO_DATA;

Answer 2

IO 投递前 pConnCtx处理如下：
pConnCtx->pPerIOData->OverLapped.hEvent=NULL;
pConnCtx->pPerIOData->OverLapped.Internal=0;
pConnCtx->pPerIOData->OverLapped.InternalHigh=0;
pConnCtx->pPerIOData->OverLapped.Offset=0;
pConnCtx->pPerIOData->OverLapped.OffsetHigh=0; pConnCtx->pPerIOData->Oper=OP_RECV;
pConnCtx->pPerIOData->Flags=0;
pConnCtx->pPerIOData->Wbuf.buf=(char*)pConnCtx->pPerIOData->Data;
pConnCtx->pPerIOData->Wbuf.len=MAX_BUF_LEN;

Answer 3

我这有个源代你对比一下
/////////////////////////////////////////////////
// IOCPDemo.cpp文件 调试通过#include <stdio.h>
#include <windows.h>class CInitSock
{
public:
CInitSock(BYTE minorVer = 2, BYTE majorVer = 2)
{
// 初始化WS2_32.dll
WSADATA wsaData;
WORD sockVersion = MAKEWORD(minorVer, majorVer);
if(::WSAStartup(sockVersion, &wsaData) != 0)
{
exit(0);
}
}
~CInitSock()
{
::WSACleanup();
}
};// 初始化Winsock库
CInitSock theSock;#define BUFFER_SIZE 1024typedef struct _PER_HANDLE_DATA // per-handle数据
{
SOCKET s; // 对应的套节字句柄
sockaddr_in addr; // 客户方地址
} PER_HANDLE_DATA, *PPER_HANDLE_DATA;
typedef struct _PER_IO_DATA // per-I/O数据
{
OVERLAPPED ol; // 重叠结构
char buf[BUFFER_SIZE]; // 数据缓冲区
int nOperationType; // 操作类型
#define OP_READ   1
#define OP_WRITE  2
#define OP_ACCEPT 3
} PER_IO_DATA, *PPER_IO_DATA;
DWORD WINAPI ServerThread(LPVOID lpParam)
{
// 得到完成端口对象句柄
HANDLE hCompletion = (HANDLE)lpParam; DWORD dwTrans;
PPER_HANDLE_DATA pPerHandle;
PPER_IO_DATA pPerIO;
while(TRUE)
{
// 在关联到此完成端口的所有套节字上等待I/O完成
BOOL bOK = ::GetQueuedCompletionStatus(hCompletion, 
&dwTrans, (LPDWORD)&pPerHandle, (LPOVERLAPPED*)&pPerIO, WSA_INFINITE);
if(!bOK) // 在此套节字上有错误发生
{
::closesocket(pPerHandle->s);
::GlobalFree(pPerHandle);
::GlobalFree(pPerIO);
continue;
}

if(dwTrans == 0 && // 套节字被对方关闭
(pPerIO->nOperationType == OP_READ || pPerIO->nOperationType == OP_WRITE))

{
::closesocket(pPerHandle->s);
::GlobalFree(pPerHandle);
::GlobalFree(pPerIO);
continue;
} switch(pPerIO->nOperationType) // 通过per-I/O数据中的nOperationType域查看什么I/O请求完成了
{
case OP_READ: // 完成一个接收请求
{
pPerIO->buf[dwTrans] = '\0';
printf(pPerIO -> buf);

// 继续投递接收I/O请求
WSABUF buf;
buf.buf = pPerIO->buf ;
buf.len = BUFFER_SIZE;
pPerIO->nOperationType = OP_READ; DWORD nFlags = 0;
::WSARecv(pPerHandle->s, &buf, 1, &dwTrans, &nFlags, &pPerIO->ol, NULL);
}
break;
case OP_WRITE: // 本例中没有投递这些类型的I/O请求
case OP_ACCEPT:
break;
}
}
return 0;
}
void main()
{
int nPort = 4567;
// 创建完成端口对象，创建工作线程处理完成端口对象中事件
HANDLE hCompletion = ::CreateIoCompletionPort(INVALID_HANDLE_VALUE, 0, 0, 0);
::CreateThread(NULL, 0, ServerThread, (LPVOID)hCompletion, 0, 0); // 创建监听套节字，绑定到本地地址，开始监听
SOCKET sListen = ::socket(AF_INET, SOCK_STREAM, 0);
SOCKADDR_IN si;
si.sin_family = AF_INET;
si.sin_port = ::ntohs(nPort);
si.sin_addr.S_un.S_addr = INADDR_ANY;
::bind(sListen, (sockaddr*)&si, sizeof(si));
::listen(sListen, 5); // 循环处理到来的连接
while(TRUE)
{
// 等待接受未决的连接请求
SOCKADDR_IN saRemote;
int nRemoteLen = sizeof(saRemote);
SOCKET sNew = ::accept(sListen, (sockaddr*)&saRemote, &nRemoteLen); // 接受到新连接之后，为它创建一个per-handle数据，并将它们关联到完成端口对象。
PPER_HANDLE_DATA pPerHandle = 
(PPER_HANDLE_DATA)::GlobalAlloc(GPTR, sizeof(PER_HANDLE_DATA));
pPerHandle->s = sNew;
memcpy(&pPerHandle->addr, &saRemote, nRemoteLen);
::CreateIoCompletionPort((HANDLE)pPerHandle->s, hCompletion, (DWORD)pPerHandle, 0);

// 投递一个接收请求
PPER_IO_DATA pPerIO = (PPER_IO_DATA)::GlobalAlloc(GPTR, sizeof(PER_IO_DATA));
pPerIO->nOperationType = OP_READ;
WSABUF buf;
buf.buf = pPerIO->buf;
buf.len = BUFFER_SIZE;
DWORD dwRecv;
DWORD dwFlags = 0;
::WSARecv(pPerHandle->s, &buf, 1, &dwRecv, &dwFlags, &pPerIO->ol, NULL);
}
}

Answer 4

多谢 tttyd我想请教下你：IO投递，按道理来讲，应该是马上就返回的，至于完成IO没有，那是GetQueuedCompletionStatus的事
所以，IO投递应该是马上就返回。但是，我IO投递的时候，就一直堵塞在WSARecv上，WSARecv函数又是个异步API，怎么会堵塞呢到底哪出问题了

Answer 5

你在什么地方设置了异步套接字了
WSARecv在没有设置异步操作的话，缺省就是会阻塞的

Answer 6

看一哈《windows网络通信与程序设计》中的第4章，对IOCP有详细介绍，网上有完整的例子代码可下，很有用的

Answer 7

我将后面两个参数都设置成NULL或0 也是一样---------------------------
你在什么地方设置了异步套接字了
WSARecv在没有设置异步操作的话，缺省就是会阻塞的
-----------------------------------
accept接收一个SOCKET后，用ioctlsocket设置非阻塞模式，但还一样堵塞，那如何设置呢？

Answer 8

原因很简单,你用的是IOCP,但是你看你的代码:
SOCKET sockAccept=WSASocket(AF_INET,SOCK_STREAM,0,NULL,0,WSA_FLAG_OVERLAPPED);你用的是 重叠IO!

Answer 9

重叠IO也是堵塞吗？那IOCP，都成堵塞的，那还什么有效率还不如用select 等其他模型这个模型说的很强大，当然之前我没用过，一直用select 等其他的模型但IOCP很容易吃问题
网上的资料，感觉都是COPY来COPY去的真正用过的，用到自己工程中的人 有几个呢------------------------------------------------------
那如何解决呢？
总不能一个IO投递，就堵塞在那吧

Answer 10

完成端口中，套接字最好设为非阻塞模式的
PerIoData和PerHandleData结构最好分开来定义
关于完成端口的原理和机制，找些书或资料看看吧，这样对理解程序很有帮助的。你IO 投递前 pConnCtx处理中，对accept所接受的acceptSock的处理在哪里呢？
CreateIoCompletionPort((HANDLE)sockAccept,g_hIOCP,(DWORD)pConnCtx,0);----关联
句中，第三个参数，恰好是PerHandleData类型的数据呀，你的87问题应该出在这里当你把所有套接字设为非阻塞模式后，若程序逻辑正确，对Socket API的调用会立即返回的，不会阻塞
对数据的接收和发送宜用线程池来处理，所开线程数通常为你电脑CPU处理器个数的2倍，这样完成端口大规模的高效性才容易体现出来

Answer 11

按照chexlong说的和 tttyd的源码将PER_IO_DATA 和PER_HANDLE_DATA 分开定义了下 if(CreateIoCompletionPort((HANDLE)pHandleData->SockAccept,g_hIOCP,(DWORD)pHandleData,0)!=g_hIOCP)
{
DWORD dw=GetLastError();
但是还是在关联的时候，出现同样的错误，参数不正确真不知道，是哪个参数出问题了前面几个参数都很好理解，估计还是在第三个上

Answer 12

Debug呀，跟踪调试你的相关变量，看其值是否正确

Answer 13

根据了lastError来继续查了 ,

Answer 14

多谢各位，按照各位的方法，我已经弄好了但在时间调试的过程中，发现一个问题,如下：1、我在客户端明明就一次connect  然后服务端accept 2、然后客户端一次send  服务端GetQueuedCompletionStatus获得了客户端传来的数据3、从GetQueuedCompletionStatus获得数据并处理完后，单步走到GetQueuedCompletionStatus这个的时候，按理说应该不网上执行，因为IO上没有完成消息，不在往下执行，但实际上我又获得一个IO完成消息不知道怎么回事

Answer 15

GetQueuedCompletionStatus  应该只会返回一次我是单步调试的，客户端 服务端都是客户端就发了一次，connect 和一次 send但完成端口GetQueuedCompletionStatus收到了两个IO完成包

Answer 16

IO处理时，我调用WSASEND一次难道是这次的Io投递，GetQueuedCompletionStatus获得了？
我只能这样理解，不然GetQueuedCompletionStatus不会接收到两次IO完成信息