HW Queue Leasing 介绍

// 用户态：注册一块大页内存作为 UMEM，由内核和硬件 DMA 共享
struct xsk_umem_config cfg = {
    .fill_size = XSK_RING_CONS__DEFAULT_NUM_DESCS,
    .comp_size = XSK_RING_CONS__DEFAULT_NUM_DESCS,
    .frame_size = XSK_UMEM__DEFAULT_FRAME_SIZE,
    .frame_headroom = 0,
    .flags = 0,
};

// 创建 UMEM，底层调用 setsockopt(XDP_UMEM_REG)
ret = xsk_umem__create(&umem, buf, umem_size,
                       &fill_ring, &comp_ring, &cfg);
// 内核路径: xdp_umem_reg() → xdp_umem_create()
//           分配页表映射，固定到物理内存（pin memory）

// 用户态：创建 AF_XDP socket
struct xsk_socket_config xsk_cfg = {
    .rx_size = XSK_RING_CONS__DEFAULT_NUM_DESCS,
    .tx_size = XSK_RING_CONS__DEFAULT_NUM_DESCS,
    .bind_flags = XDP_USE_NEED_WAKEUP,  // 可选：省电模式
};

// 绑定到网卡的队列 0 —— 这就是「租赁」的核心操作
ret = xsk_socket__create(&xsk, ifname, 0, /* queue_id = 0 */
                         umem, &rx_ring, &tx_ring, &xsk_cfg);

// net/xdp/xsk.c 内核代码路径（v6.6+）
int xsk_bind(struct socket *sock, struct sockaddr *addr, int addr_len)
{
    struct sockaddr_xdp *sxdp = (struct sockaddr_xdp *)addr;
    struct net_device *dev;
    u16 queue_id;

    // 1. 解析要绑定的队列 ID
    dev = dev_get_by_index(sock_net(sk), sxdp->sxdp_ifindex);
    queue_id = sxdp->sxdp_queue_id;  // 这就是「租」的队列号

    // 2. 检查队列有效性和独占性
    if (queue_id >= dev->real_num_rx_queues)
        return -EINVAL;

    // 3. 调用驱动 ndo_bpf() 设置 XDP socket
    //    mlx5 驱动示例:
    err = dev->netdev_ops->ndo_bpf(dev, &bpf);  // XDP_SETUP_XSK_POOL
    //     └→ mlx5e_xdp_setup() 内部:
    //        - 关闭该队列的 NAPI 常规收包
    //        - 将 UMEM 物理地址写入队列描述符
    //        - 重定向该队列的 DMA 目标到 UMEM

    // 4. 标记该队列为 XSK 模式
    xs->dev = dev;
    xs->queue_id = queue_id;
    netif_queue_set_xsk(dev, queue_id, xs);
}

// drivers/net/ethernet/mellanox/mlx5/core/en/xsk/rx.c
// 当队列被 AF_XDP 「租赁」后，驱动收包逻辑完全改变：

// 普通收包路径:
int mlx5e_poll_rx_cq(struct mlx5e_cq *cq)
{
    // 遍历 CQ entries → 分配 sk_buff → 送入网络栈
}

// AF_XDP 收包路径:
int mlx5e_xsk_poll_rx_cq(struct mlx5e_cq *cq)
{
    // 从 CQ 获取包 → 直接填充到 UMEM FILL ring
    //    → 通过 RX ring 通知用户态
    //    → 零拷贝，零分配，零 sk_buff 开销
    while (likely(budget-- > 0)) {
        wi = mlx5e_fill_rx_wqe(cq->channel);  // 从 UMEM 取 frame
        // DMA 直接把包写入 UMEM 中的 frame
        mlx5e_post_rx_wqe(cq->channel, wi);
        // 推送完成事件到 RX ring
        xsk_buff_set_rx_desc(xsk_pool, xdp_desc);
    }
}

// 用户态：忙轮询或 epoll 等待
while (1) {
    // 填充 FILL ring（告诉硬件哪些 UMEM frame 可用）
    xsk_ring_prod__reserve(&fill_ring, BATCH_SIZE, &idx);
    // ... 填充 desc 地址 ...
    xsk_ring_prod__submit(&fill_ring, BATCH_SIZE);

    // 收包：从 RX ring 读取
    rcvd = xsk_ring_cons__peek(&rx_ring, BATCH_SIZE, &idx);
    for (int i = 0; i < rcvd; i++) {
        const struct xdp_desc *desc = &rx_ring[idx + i];
        void *pkt = xsk_umem__get_data(umem, desc->addr);
        // pkt 就是网卡 DMA 写入的数据包，直接处理！
        process_packet(pkt, desc->len);
    }
    xsk_ring_cons__release(&rx_ring, rcvd);
}