selectlinuxsocket

Ⅰ linux如何清空Socket缓冲区

socket不是这么接收数据的 由于socket是以数据流的形式发送数据，接收方不知道对方一次性发送了多少数据，也能保证对方一次性发送的数据能在同一刻接收到，所以Receive方法是这么工作的： 接受一个byye[]类型的参数作为缓冲区，在经过一定的时间后把接收到的数据填充到这个缓冲区里面，并且返回实际接收到数据的长度，这个实际接收到的数据长度有可能为0（没有接收到数据）、大于0小于缓冲区的长度（接收到数据，但是没有我们预期的多）、等于缓冲区的长度（说明接收到的数据大于等于我们预期的长度）。 每次接收缓冲区都用同一个byte[] byteMessage，并且你没有检查接收到的数据长度，所以第一次你接收到的数据是123456，第二次你只接收到了8，但是缓冲区里面还有23456，所以加起来就是823456了。 socket接收缓冲区的大小有讲究，设置大了接收起来慢，因为它要等尽可能多的数据接收到了再返回；设置小了需要重复多次调用接收方法才能把数据接收完，socket有个属性，标识了系统默认的接收缓冲区大小，可以参考这个！ 还有就是用recv读取，但是由于不知道缓存里有多少数据，如果是阻塞模式，到最后必然等到超时才知道数据已经读取完毕，这是个问题。 另一个是用fgetc，通过返回判断是否是feof： whlie （1） { a=fgetc（f）；if （feof（f）） break；//… b=fgetc（f）；if （feof（f）） break；//…}当然，我不知道读取完毕后最后一次调用fgetc会不会堵塞，需要测试。 在非阻塞模式下，我们用recv就可以轻松搞定了，但是阻塞模式下，由于我们不知道缓冲区有多少数据，不能直接调用recv尝试清除。 使用一个小小的技巧，利用select函数，我们可以轻松搞定这个问题： select函数用于监视一个文件描述符集合，如果集合中的描述符没有变化，则一直阻塞在这里，直到超时时间到达；在超时时间内，一旦某个描述符触发了你所关心的事件，select立即返回，通过检索文件描述符集合处理相应事件；select函数出错则返回小于零的值，如果有事件触发，则返回触发事件的描述符个数；如果超时，返回0，即没有数据可读。 重点在于：我们可以用select的超时特性，将超时时间设置为0，通过检测select的返回值，就可以判断缓冲是否被清空。通过这个技巧，使一个阻塞的socket成了‘非阻塞’socket. 现在就可以得出解决方案了：使用select函数来监视要清空的socket描述符，并把超时时间设置为0，每次读取一个字节然后丢弃（或者按照业务需要进行处理，随你便了），一旦select返回0，说明缓冲区没数据了（“超时”了）。 struct timeval tmOut；tmOut.tv_sec = 0；tmOut.tv_usec = 0；fd_set fds；FD_ZEROS（&fds）；FD_SET（skt， &fds）； int nRet； char tmp[2]； memset（tmp， 0， sizeof（tmp））； while（1） { nRet= select（FD_SETSIZE， &fds， NULL， NULL， &tmOut）；if（nRet== 0） break；recv（skt， tmp， 1，0）；} 这种方式的好处是，不再需要用recv、recvfrom等阻塞函数直接去读取，而是使用select，利用其超时特性检测缓冲区是否为空来判断是否有数据，有数据时才调用recv进行清除。 有人说同样可以用recv和socket的超时设置去清空啊，这个没错，但是你需要直接对socket描述符设置超时时间，而为了清空数据而直接修改socket描述符的属性，可能会影响到其他地方的使用，造成系统奇奇怪怪的问题，所以，不推荐使用。

Ⅱ 关于Linux下的select/epoll

select这个系统调用的原型如下

第一个参数nfds用来告诉内核 要扫描的socket fd的数量+1 ，select系统调用最大接收的数量是1024，但是如果每次都去扫描1024，实际上的数量并不多，则效率太低，这里可以指定需要扫描的数量。 最大数量为1024，如果需要修改这个数量，则需要重新编译Linux内核源码。
第2、3、4个参数分别是readfds、writefds、exceptfds，传递的参数应该是fd_set 类型的引用，内核会检测每个socket的fd， 如果没有读事件，就将对应的fd从第二个参数传入的fd_set中移除，如果没有写事件，就将对应的fd从第二个参数的fd_set中移除，如果没有异常事件，就将对应的fd从第三个参数的fd_set中移除 。这里我们应该 要将实际的readfds、writefds、exceptfds拷贝一份副本传进去，而不是传入原引用，因为如果传递的是原引用，某些socket可能就已经丢失 。
最后一个参数是等待时间， 传入0表示非阻塞，传入>0表示等待一定时间，传入NULL表示阻塞，直到等到某个socket就绪 。

FD_ZERO()这个函数将fd_set中的所有bit清0，一般用来进行初始化等。
FD_CLR()这个函数用来将bitmap(fd_set )中的某个bit清0，在客户端异常退出时就会用到这个函数，将fd从fd_set中删除。
FD_ISSET()用来判断某个bit是否被置1了，也就是判断某个fd是否在fd_set中。
FD_SET()这个函数用来将某个fd加入fd_set中，当客户端新加入连接时就会使用到这个函数。

epoll_create系统调用用来创建epfd，会在开辟一块内存空间(epoll的结构空间)。size为epoll上能关注的最大描述符数，不够会进行扩展，size只要＞0就行，早期的设计size是固定大小，但是现在size参数没什么用，会自动扩展。
返回值是epfd，如果为-1则说明创建epoll对象失败 。

第一个参数epfd传入的就是epoll_create返回的epfd。
第二个参数传入对应操作的宏，包括 增删改(EPOLL_CTL_ADD、EPOLL_CTL_DEL、EPOLL_CTL_MOD) 。
第三个参数传入的是 需要增删改的socket的fd 。
第四个参数传入的是 需要操作的fd的哪些事件 ，具体的事件可以看后续。
返回值是一个int类型，如果为-1则说明操作失败 。

第一个参数是epfd，也就是epoll_create的返回值。
第二个参数是一个epoll_event类型的指针，也就是传入的是一个数组指针。 内核会将就绪的socket的事件拷贝到这个数组中，用户可以根据这个数组拿到事件和消息等 。
第三个参数是maxevents，传入的是 第二个参数的数组的容量 。
第四个参数是timeout， 如果设为-1一直阻塞直到有就绪数据为止，如果设为0立即返回，如果＞0那么阻塞一段时间 。
返回值是一个int类型，也就是就绪的socket的事件的数量(内核拷贝给用户的events的元素的数量)，通过这个数量可以进行遍历处理每个事件 。

一般需要传入 ev.data.fd 和 ev.events ，也就是fd和需要监控的fd的事件。事件如果需要传入多个，可以通过按位与来连接，比如需要监控读写事件，只需要像如下这样操作即可： ev.events=EPOLLIN | EPOLLOUT 。

LT(水平触发)， 默认 的工作模式， 事件就绪后用户可以选择处理和不处理，如果用户不处理，内核会对这部分数据进行维护，那么下次调用epoll_wait()时仍旧会打包出来 。
ET(边缘触发)，事件就绪之后， 用户必须进行处理 ，因为内核把事件打包出来之后就把对应的就绪事件给清掉了， 如果不处理那么就绪事件就没了 。ET可以减少epoll事件被重复触发的次数，效率比LT高。
如果需要设置为边缘触发只需要设置事件为类似 ev.events=EPOLLIN | EPOLLET 即可 。

select/poll/epoll是nio多路复用技术， 传统的bio无法实现C10K/C100K ，也就是无法满足1w/10w的并发量，在这么高的并发量下，在进行上下文切换就很容易将服务器的负载拉飞。

1.将fd_set从用户态拷贝到内核态
2.根据fd_set扫描内存中的socket的fd的状态，时间复杂度为O(n)
3.检查fd_set，如果有已经就绪的socket，就给对应的socket的fd打标记，那么就return 就绪socket的数量并唤醒当前线程，如果没有就绪的socket就继续阻塞当前线程直到有socket就绪才将当前线程唤醒。
4.如果想要获取当前已经就绪的socket列表，则还需要进行一次系统调用，使用O(n)的时间去扫描socket的fd列表，将已经打上标记的socket的fd返回。

CPU在同一个时刻只能执行一个程序，通过RR时间片轮转去切换执行各个程序。没有被挂起的进程(线程)则在工作队列中排队等待CPU的执行，将进程(线程)从工作队列中移除就是挂起，反映到Java层面的就是线程的阻塞。

什么是中断？当我们使用键盘、鼠标等IO设备的时候，会给主板一个电流信号，这个电流信号就给CPU一个中断信号，CPU执行完当前的指令便会保存现场，然后执行键盘/鼠标等设备的中断程序，让中断程序获取CPU的使用权，在中断程序后又将现场恢复，继续执行之前的进程。

如果第一次没检测到就绪的socket，就要将其进程(线程)从工作队列中移除，并加入到socket的等待队列中。

socket包含读缓冲区+写缓冲区+等待队列(放线程或eventpoll对象)

当从客户端往服务器端发送数据时，使用TCP/IP协议将通过物理链路、网线发给服务器的网卡设备，网卡的DMA设备将接收到的的数据写入到内存中的一块区域(网卡缓冲区)，然后会给CPU发出一个中断信号，CPU执行完当前指令则会保存现场，然后网卡的中断程序就获得了CPU的使用权，然后CPU便开始执行网卡的中断程序，将内存中的缓存区中的数据包拿出，判断端口号便可以判断它是哪个socket的数据，将数据包写入对应的socket的读(输入)缓冲区，去检查对应的socket的等待队列有没有等待着的进程(线程)，如果有就将该线程(进程)从socket的等待队列中移除，将其加入工作队列，这时候该进程(线程)就再次拥有了CPU的使用权限，到这里中断程序就结束了。

之后这个进程(线程)就执行select函数再次去检查fd_set就能发现有socket缓冲区中有数据了，就将该socket的fd打标记，这个时候select函数就执行完了，这时候就会给上层返回一个int类型的数值，表示已经就绪的socket的数量或者是发生了错误。这个时候就再进行内核态到用户态的切换，对已经打标记的socket的fd进行处理。

将原本1024bit长度的bitmap(fd_set)换成了数组的方式传入 ，可以 解决原本1024个不够用的情况 ，因为传入的是数组，长度可以不止是1024了，因此socket数量可以更多，在Kernel底层会将数组转换成链表。

在十多年前，linux2.6之前，不支持epoll，当时可能会选择用Windows/Unix用作服务器，而不会去选择Linux，因为select/poll会随着并发量的上升，性能变得越来越低，每次都得检查所有的Socket列表。

1.select/poll每次调用都必须根据提供所有的socket集合，然后就 会涉及到将这个集合从用户空间拷贝到内核空间，在这个过程中很耗费性能 。但是 其实每次的socket集合的变化也许并不大，也许就1-2个socket ，但是它会全部进行拷贝，全部进行遍历一一判断是否就绪。

2.select/poll的返回类型是int，只能代表当前的就绪的socket的数量/发生了错误， 如果还需要知道是哪些socket就绪了，则还需要再次使用系统调用去检查哪些socket是就绪的，又是一次O(n)的操作，很耗费性能 。

1.epoll在Kernel内核中存储了对应的数据结构(eventpoll)。我们可以 使用epoll_create()这个系统调用去创建一个eventpoll对象 ，并返回eventpoll的对象id(epfd)，eventpoll对象主要包括三个部分：需要处理的正在监听的socket_fd列表(红黑树结构)、socket就绪列表以及等待队列(线程)。

2.我们可以使用epoll_ctl()这个系统调用对socket_fd列表进行CRUD操作，因为可能频繁地进行CRUD，因此 socket_fd使用的是红黑树的结构 ，让其效率能更高。epoll_ctl()传递的参数主要是epfd(eventpoll对象id)。

3.epoll_wait()这个系统调用默认会 将当前进程(线程)阻塞，加入到eventpoll对象的等待队列中，直到socket就绪列表中有socket，才会将该进程(线程)重新加入工作队列 ，并返回就绪队列中的socket的数量。

socket包含读缓冲区、写缓冲区和等待队列。当使用epoll_ctl()系统调用将socket新加入socket_fd列表时，就会将eventpoll对象引用加到socket的等待队列中， 当网卡的中断程序发现socket的等待队列中不是一个进程(线程)，而是一个eventpoll对象的引用，就将socket引用追加到eventpoll对象的就绪列表的尾部 。而eventpoll对象中的等待队列存放的就是调用了epoll_wait()的进程(线程)，网卡的中断程序执行会将等待队列中的进程(线程)重新加入工作队列，让其拥有占用CPU执行的资格。epoll_wait()的返回值是int类型，返回的是就绪的socket的数量/发生错误，-1表示发生错误。

epoll的参数有传入一个epoll_event的数组指针(作为输出参数)，在调用epoll_wait()返回的同时，Kernel内核还会将就绪的socket列表添加到epoll_event类型的数组当中。

Ⅲ 我想请教LINUX 下socket 超时设置的问题

举例：

s=socket();
设置s为non-blocking；
connect(s,..);
FD_SET...;
rc = select(..., 10s);
if (rc == 0) 表示10s超时了。

这个超时的意思是：10s之内，select中所有socket的事件均未产生（如果至少有一个产生，则rc大于0)

注意：这个10s跟connect本身的超时机制完全无关，前者的设置不影响后者。10s后select的返回，表明10s内connect还没成功，connect可能还在按自己的超时机制（例如慢启动）尝试重连（当然它最终也有个超时）。

至于connect本身的超时是否可以设置，可能各系统不一样。

顺便提醒：connect的socket必须是non-blocking类型，否则，connect会阻塞，也就没必要用select来检测是否连接成功。另外，那个s要注册到write类型的fd中，即select的第3个参数中。

其他listen，recv什么的，完全类似（但listen，recv本身没有什么超时概念）。只不过listen的和recv的socket，要注册到read的fd中。

Ⅳ 请教Linux下服务器用select处理一个socket对应的多个客户端

如果客户端并发连接数不是很大，比如50个以下，可以用如下模型：建立一个监听主线程，循环监听端口。当有客户端连接时，建立客户端通讯线程，并保留客户端socket到链表中。当客户端断开连接时，从socket链表中删除该socket。

Ⅳ 如何在linux下使用c语言 利用select和pthread编写可以实现多用户的大文件传输的socket通信程序

你的意思是单独使用select或者单独使用pthread么？

单独使用select的话，就是server的监听socket监听到来自client的请求，那么就会有一个socket句柄，通过使用select来管理多个句柄，而不需要多个线程thread。

单独使用thread的话，就是server监听到socket请求，那么就会创建一个thread来处理文件的传输的事儿。那么这样的话就会有穿多个文件，就会有多个线程出现。

Ⅵ linux socket编程、server端有几个socket绑定不同端口、想用select函数实

fd_set rdfds; /* 先申明一个 fd_set 集合来保存我们要检测的 socket句柄 */
struct timeval tv; /* 申明一个时间变量来保存时间 */
int ret; /* 保存返回值 */
FD_ZERO(&rdfds); /* 用select函数之前先把集合清零 */
FD_SET(socket, &rdfds); /* 把要检测的句柄socket加入到集合里 */
tv.tv_sec = 1;
tv.tv_usec = 500; /* 设置select等待的最大时间为1秒加500毫秒 */
ret = select(socket + 1, &rdfds, NULL, NULL, &tv); /* 检测我们上面设置到集合rdfds里的句柄是否有可读信息 */
if(ret < 0) perror("select");/* 这说明select函数出错 */
else if(ret == 0) printf("超时\n"); /* 说明在我们设定的时间值1秒加500毫秒的时间内，socket的状态没有发生变化 */
else { /* 说明等待时间还未到1秒加500毫秒，socket的状态发生了变化 */
printf("ret=%d\n", ret); /* ret这个返回值记录了发生状态变化的句柄的数目，由于我们只监视了socket这一个句柄，所以这里一定正大ret=1，如果同时有多个句柄举陵竖发生变化返回的就是句柄的总和了 */
/* 这里我们就应该从socket这个句柄里读取数据了，因为select函数已经告诉我们这个句柄里有数据可读 */
if(FD_ISSET(socket, &rdfds)) { /* 先判断一下socket这外被监视的句柄是否真的变成可读的了 */
/* 读取socket句汪贺柄里的数据 */
recv(...);
}
}