详解从Linux源码看Socket(TCP)的bind

void start_server(){
    // server fd
    int sockfd_server;
    // accept fd 
    int sockfd;
    int call_err;
    struct sockaddr_in sock_addr;

    sockfd_server = socket(AF_INET,SOCK_STREAM,0);
    memset(&sock_addr,0,sizeof(sock_addr));
    sock_addr.sin_family = AF_INET;
    sock_addr.sin_addr.s_addr = htonl(INADDR_ANY);
    sock_addr.sin_port = htons(SERVER_PORT);
    // 这边就是我们今天的聚焦点bind
    call_err=bind(sockfd_server,(struct sockaddr*)(&sock_addr),sizeof(sock_addr));
    if(call_err == -1){
        fprintf(stdout,"bind error!\n");
        exit(1);
    }
    // listen
    call_err=listen(sockfd_server,MAX_BACK_LOG);
    if(call_err == -1){
        fprintf(stdout,"listen error!\n");
        exit(1);
    }
}

#include <sys/socket.h>
// 返回，若成功则为0，若出错则为-1
int bind(int sockfd, const struct sockaddr *myaddr, socklen_t addrlen); 

// 让系统随机选择可用端口号
sock_addr.sin_port = 0;
call_err=bind(sockfd_server,(struct sockaddr*)(&sock_addr),sizeof(sock_addr));

// 这边如果snum指定为0，则随机选择端口
int inet_csk_get_port(struct sock *sk, unsigned short snum)
{
	......
	// 这边net_random()采用prandom_u32,是伪(pseudo)随机数
	smallest_rover = rover = net_random() % remaining + low;
	smallest_size = -1;
	// snum=0,随机选择端口的分支
	if(!sum){
		// 获取内核设置的端口号范围,对应内核参数/proc/sys/net/ipv4/ip_local_port_range 
		inet_get_local_port_range(&low,&high);
		......
		do{
			if(inet_is_reserved_local_port(rover)
				goto next_nonlock; // 不选择保留端口号
			......
			inet_bind_bucket_for_each(tb, &head->chain)
				// 在同一个网络命名空间下存在和当前希望选择的port rover一样的port
				if (net_eq(ib_net(tb), net) && tb->port == rover) {
					// 已经存在的sock和当前新sock都开启了SO_REUSEADDR,且当前sock状态不为listen
					// 或者
					// 已经存在的sock和当前新sock都开启了SO_REUSEPORT,而且两者都是同一个用户
					if (((tb->fastreuse > 0 &&
					      sk->sk_reuse &&
					      sk->sk_state != TCP_LISTEN) ||
					     (tb->fastreuseport > 0 &&
					      sk->sk_reuseport &&
					      uid_eq(tb->fastuid, uid))) &&
					    (tb->num_owners < smallest_size || smallest_size == -1)) {
					   // 这边是选择一个最小的num_owners的port，即同时bind或者listen最小个数的port
					   // 因为一个端口号(port)在开启了so_reuseaddr/so_reuseport之后，是可以多个进程同时使用的
						smallest_size = tb->num_owners;
						smallest_rover = rover;
						if (atomic_read(&hashinfo->bsockets) > (high - low) + 1 &&
						    !inet_csk(sk)->icsk_af_ops->bind_conflict(sk, tb, false)) {
						    // 进入这个分支，表明可用端口号已经不够了，同时绑定当前端口号和之前已经使用此port的不冲突，则我们选择这个端口号(最小的)
							snum = smallest_rover;
							goto tb_found;
						}
					}
					// 若端口号不冲突，则选择这个端口
					if (!inet_csk(sk)->icsk_af_ops->bind_conflict(sk, tb, false)) {
						snum = rover;
						goto tb_found;
					}
					goto next;
				}
			break;
			// 直至遍历完所有的可用port
		} while (--remaining > 0);
	}
	.......
}

have_snum:
	inet_bind_bucket_for_each(tb, &head->chain)
			if (net_eq(ib_net(tb), net) && tb->port == snum)
				goto tb_found;
	}
	tb = NULL;
	goto tb_not_found
tb_found:
	// 如果此port已被bind
	if (!hlist_empty(&tb->owners)) {
		// 如果设置为强制重用，则直接成功
		if (sk->sk_reuse == SK_FORCE_REUSE)
			goto success;
	}
	if (((tb->fastreuse > 0 &&
		      sk->sk_reuse && sk->sk_state != TCP_LISTEN) ||
		     (tb->fastreuseport > 0 &&
		      sk->sk_reuseport && uid_eq(tb->fastuid, uid))) &&
		    smallest_size == -1) {
		    // 这个分支表明之前bind的port和当前sock都设置了reuse同时当前sock状态不为listen
			// 或者同时设置了reuseport而且是同一个uid(注意，设置了reuseport后，可以同时listen同一个port了)
			goto success;
	} else {
			ret = 1;
			// 检查端口是否冲突
			if (inet_csk(sk)->icsk_af_ops->bind_conflict(sk, tb, true)) {
				if (((sk->sk_reuse && sk->sk_state != TCP_LISTEN) ||
				     (tb->fastreuseport > 0 &&
				      sk->sk_reuseport && uid_eq(tb->fastuid, uid))) &&
				    smallest_size != -1 && --attempts >= 0) {
				    // 若冲突，但是设置了reuse非listen状态或者设置了reuseport且出在同一个用户下
				    // 则可以进行重试
					spin_unlock(&head->lock);
					goto again;
				}

				goto fail_unlock;
			}
			// 不冲突，走下面的逻辑
		}
tb_not_found:
	if (!tb && (tb = inet_bind_bucket_create(hashinfo->bind_bucket_cachep,
					net, head, snum)) == NULL)
			goto fail_unlock;
	// 设置fastreuse
	// 设置fastreuseport
success:
	......
	// 将当前sock链入tb->owner，同时tb->num_owners++
	inet_bind_hash(sk, tb, snum);
	ret = 0;
	// 返回bind(绑定)成功
	return ret;

inet_csk(sk)->icsk_af_ops->bind_conflict 也即 inet_csk_bind_conflict
int inet_csk_bind_conflict(const struct sock *sk,
			   const struct inet_bind_bucket *tb, bool relax){
	......
	sk_for_each_bound(sk2, &tb->owners) {
			// 这边判断表明，必须同一个接口(dev_if)才进入下内部分支，也就是说不在同一个接口端口的不冲突
			if (sk != sk2 &&
		    !inet_v6_ipv6only(sk2) &&
		    (!sk->sk_bound_dev_if ||
		     !sk2->sk_bound_dev_if ||
		     sk->sk_bound_dev_if == sk2->sk_bound_dev_if)) 
		     {
		     	if ((!reuse || !sk2->sk_reuse ||
			    sk2->sk_state == TCP_LISTEN) &&
			    (!reuseport || !sk2->sk_reuseport ||
			    (sk2->sk_state != TCP_TIME_WAIT &&
			     !uid_eq(uid, sock_i_uid(sk2))))) {
			   // 在有一方没设置reuse且sock2状态为listen 同时
			   // 有一方没设置reuseport且sock2状态不为time_wait同时两者的uid不一样的时候
				const __be32 sk2_rcv_saddr = sk_rcv_saddr(sk2);
				if (!sk2_rcv_saddr || !sk_rcv_saddr(sk) ||
				 	 // ip地址一样，才算冲突
				    sk2_rcv_saddr == sk_rcv_saddr(sk))
					break;
			}
			// 非放松模式，ip地址一样，才算冲突
			......
		  	return sk2 != NULL;
	}
	......
}

 setsockopt(sockfd_server, SOL_SOCKET, SO_REUSEADDR, &(int){ 1 }, sizeof(int));
 setsockopt(sockfd_server, SOL_SOCKET, SO_REUSEPORT, &(int){ 1 }, sizeof(int));

 // java8中，原生的socket并不支持so_reuseport
 ServerSocket server = new ServerSocket(port);
 server.setReuseAddress(true);

(!reuse || !sk2->sk_reuse ||
			    sk2->sk_state == TCP_LISTEN) /* 暂忽略reuseport */){
	// 即有一方没有设置
}

if(!reuseport || !sk2->sk_reuseport ||
			    (sk2->sk_state != TCP_TIME_WAIT &&
			     !uid_eq(uid, sock_i_uid(sk2))

tcp_v4_rcv
	|->__inet_lookup_skb 
		|->__inet_lookup
			|->__inet_lookup_listener
 /* 用打分和伪随机数等挑选出一个listen的sock */
struct sock *__inet_lookup_listener(......)
{
	......
	if (score > hiscore) {
			result = sk;
			hiscore = score;
			reuseport = sk->sk_reuseport;
			if (reuseport) {
				phash = inet_ehashfn(net, daddr, hnum,
						     saddr, sport);
				matches = 1;
			}
		} else if (score == hiscore && reuseport) {
			matches++;
			if (((u64)phash * matches) >> 32 == 0)
				result = sk;
			phash = next_pseudo_random32(phash);
		}
	......
}

http {
     server {
          listen 80 reuseport;
          server_name  localhost;
          # ...
     }
}

stream {
     server {
          listen 12345 reuseport;
          # ...
     }
}