stp的可靠網絡配置的實訓總結（ebpfskfilter）

2023-09-15 03:21:47

BPF_PROG_TYPE_SOCKET_FILTER，從宏字面意思比較容易想到實現的是socket filter功能，它區別於sockops和tracepoint等功能，需要額外藉助setsockopt能力將功能函數和socket綁定，功能才能真正生效。

如何定該類型

在內核態功能函數中定義SEC("socketxxxx")，則會被解析為BPF_PROG_TYPE_SOCKET_FILTER類型功能。

比如內核中實現的三個example程序：

samples/bpf/sockex1_kern.c --->SEC("socket1")

samples/bpf/sockex1_user.c

samples/bpf/sockex2_kern.c --->SEC("socket2")

samples/bpf/sockex2_user.c

samples/bpf/sockex3_kern.c --->SEC("socket3")

samples/bpf/sockex3_user.c

功能程序加載

這個沒什麼好講的，程序肯定是裝載到了內核，內核定義了一個數據結構

478 struct bpf_prog { 479 u16 pages; /* Number of allocated pages */ 480 u16 jited:1, /* Is our filter JIT'ed? */ 481 jit_requested:1,/* archs need to JIT the prog */ 482 undo_set_mem:1, /* Passed set_memory_ro checkpoint */ 483 gpl_compatible:1, /* Is filter GPL compatible? */ 484 cb_access:1, /* Is control block accessed? */ 485 dst_needed:1, /* Do we need dst entry? */ 486 blinded:1, /* Was blinded */ 487 is_func:1, /* program is a bpf function */ 488 kprobe_override:1, /* Do we override a kprobe? */ 489 has_callchain_buf:1; /* callchain buffer allocated? */ 490 enum bpf_prog_type type; /* Type of BPF program */ 491 enum bpf_attach_type expected_attach_type; /* For some prog types */ 492 u32 len; /* Number of filter blocks */ 493 u32 jited_len; /* Size of jited insns in bytes */ 494 u8 tag[BPF_TAG_SIZE]; 495 struct bpf_prog_aux *aux; /* Auxiliary fields */ 496 struct sock_fprog_kern *orig_prog; /* Original BPF program */ 497 unsigned int (*bpf_func)(const void *ctx, 498 const struct bpf_insn *insn); 499 /* Instructions for interpreter */ 500 union { 501 struct sock_filter insns[0]; 502 struct bpf_insn insnsi[0]; 503 }; 504 };

該數據解決在內核態功能函數被解析後逐漸初始化，並且最終初始化完整。

那麼struct bpf_prog對象是如何被外部引用的呢？通過文件的方式實現。

在linux內核中萬物都可以定位為文件，通過文件的方式讓隱晦的內容呈現給用戶，用戶通過文件fd的方式就可以快速的獲取struct bpf_prog對象。片段代碼如下：

1366 err = bpf_prog_new_fd(prog);1367 if (err < 0) {1368 /* failed to allocate fd.1369 * bpf_prog_put is needed because the above1370 * bpf_prog_alloc_id has published the prog1371 * to the userspace and the userspace may1372 * have refcnt-ed it through BPF_PROG_GET_FD_BY_ID.1373 */1374 bpf_prog_put(prog);1375 return err;1376 }

prog就是功能型函數的存儲對象，通過bpf_prog_new_fd最終實現了和文件關聯，並且後續可以通過文件方式關聯找到struct bpf_prog對象，事實上setsockopt就是這麼實現將struct bpf_prog對象和sock關聯的。

功能程序關聯

struct bpf_prog對象肯定要和sock關聯，然後才能在sock關鍵路徑上被調用執行。

11 int main(int ac, char **argv) 12 { 13 char filename[256]; 14 FILE *f; 15 int i, sock; 16 17 snprintf(filename, sizeof(filename), "%s_kern.o", argv[0]); 18 19 if (load_bpf_file(filename)) { 20 printf("%s", bpf_log_buf); 21 return 1; 22 } 23 24 sock = open_raw_sock("lo"); 25 26 assert(setsockopt(sock, SOL_SOCKET, SO_ATTACH_BPF, prog_fd, 27 sizeof(prog_fd[0])) == 0);

26行代碼正式將prog對象和sock關聯。

setsockopt 的關鍵代碼片段：

1906 if (level == SOL_SOCKET)1907 err =1908 sock_setsockopt(sock, level, optname, optval,1909 optlen);1910 else 939 case SO_ATTACH_BPF: 940 ret = -EINVAL; 941 if (optlen == sizeof(u32)) { 942 u32 ufd; 943 944 ret = -EFAULT; 945 if (copy_from_user(&ufd, optval, sizeof(ufd))) 946 break; 947 948 ret = sk_attach_bpf(ufd, sk); 949 } 950 break; 1570 int sk_attach_bpf(u32 ufd, struct sock *sk)1571 {1572 struct bpf_prog *prog = __get_bpf(ufd, sk);1573 int err;15741575 if (IS_ERR(prog))1576 return PTR_ERR(prog);15771578 err = __sk_attach_prog(prog, sk);1579 if (err prog = prog;14391440 if (!__sk_filter_charge(sk, fp)) {1441 kfree(fp);1442 return -ENOMEM;1443 }1444 refcount_set(&fp->refcnt, 1);14451446 old_fp = rcu_dereference_protected(sk->sk_filter,1447 lockdep_sock_is_held(sk));1448 rcu_assign_pointer(sk->sk_filter, fp);14491450 if (old_fp)1451 sk_filter_uncharge(sk, old_fp);14521453 return 0;1454 }

最終prog對象指向了sk->sk_filter->prog。

功能函數執行

到這裡已經很明顯了，直接在內核過濾sk_filter就能找到相關的代碼了。

481 int sock_queue_rcv_skb(struct sock *sk, struct sk_buff *skb) 482 { 483 int err; 484 485 err = sk_filter(sk, skb); 486 if (err) 487 return err; 488 489 return __sock_queue_rcv_skb(sk, skb); 490 }

sk_filter就是BPF_PROG_TYPE_SOCKET_FILTER埋點函數。

raw_rcv -> raw_rcv_skb -> sock_queue_rcv_skb。

需要注意的是sk_filter看到的skb為拷貝後的副本。