Browse Source
rx_acked was used for two conflicting purposes: 1. remote ack of our sends (inflight = tx_seq - rx_acked) 2. our last sent ACK seq (dedup: rx_seq != rx_acked) When the ack timer fired and set rx_acked = rx_seq, it overwrote the inflight-tracking value. If rx_seq > tx_seq, the computation tx_seq - rx_acked underflowed (e.g. 18 - 24 = 0xFFFFFFFA), permanently blocking router_drain_send_q and causing send_q to grow indefinitely. Fix: - Split rx_acked into tx_acked (remote ack, for inflight) and last_sent_ack_seq (our ACK, for dedup) - Incoming ACK handler only advances tx_acked forward (stale guard) - Use int32_t cast on all inflight comparisons to handle stale states - Add etcp_router architecture diagram (doc/etcp_router_arch.md)etcp-inflight-fix
Evgeny
4 months ago
4 changed files with 353 additions and 22 deletions
@ -0,0 +1,324 @@
|
||||
# ETCP Router Architecture |
||||
|
||||
## Структуры данных |
||||
|
||||
``` |
||||
ETCP_ROUTER_CONN (один на пару remote_node_id + svc_id) |
||||
┌─────────────────────────────────────────────────────┐ |
||||
│ ll_entry (хеш-индекс: remote_node_id[8] + svc_id[1]) │ |
||||
│ remote_node_id: u64 │ |
||||
│ svc_id: u8 │ |
||||
│ last_dgram_ts: u16 (timestamp последней датаграммы) │ |
||||
│ │ |
||||
│ tx_seq: u32 следующий seq для отправки │ |
||||
│ rx_seq: u32 ожидаемый seq для сборки │ |
||||
│ tx_acked: u32 сколько наших пакетов подтвердил remote │ |
||||
│ last_sent_ack_seq: u32 последний отправленный ACK │ |
||||
│ │ |
||||
│ recv_q: ll_queue* очередь reorder (хеш по seq[4]) │ |
||||
│ send_q: ll_queue* очередь при переполнении inflight │ |
||||
│ │ |
||||
│ ack_timer: void* периодический 100ms │ |
||||
│ idle_ack_timer: void* idle таймаут 500ms │ |
||||
│ send_resume_timer: void* retry send_q 50ms │ |
||||
│ send_blocked: u8 inflight полон │ |
||||
└─────────────────────────────────────────────────────┘ |
||||
|
||||
SVC_ROUTE_HDR (22 байта) |
||||
┌──────┬────────────────┬────────────────┬───────┬────────┬──────────┐ |
||||
│ cmd │ dst_node_id │ src_node_id │ seq │ svc_id │ payload │ |
||||
│ u8 │ u64 │ u64 │ u32 │ u8 │ ... │ |
||||
└──────┴────────────────┴────────────────┴───────┴────────┴──────────┘ |
||||
|
||||
seq в data-пакетах = tx_seq (счетчик отправленных) |
||||
seq в ACK-пакетах = rx_seq (ожидаемый следующий) |
||||
CLOSE-флаг = 0x80000000 в seq, RST-флаг = 0x40000000 |
||||
``` |
||||
|
||||
## Send Path (отправка данных) |
||||
|
||||
``` |
||||
etcp_route_send(inst, dst, entry) |
||||
etcp_router_conn_send(rconn, data, len) |
||||
│ |
||||
▼ |
||||
┌─────────────────────┐ |
||||
│ rconn = find/get │ поиск по (dst, svc_id) |
||||
│ авто-создание если │ или etcp_router_conn_get() |
||||
│ ещё нет │ |
||||
└────────┬────────────┘ |
||||
│ |
||||
▼ |
||||
┌──────────────────────────────┐ |
||||
│ inflight < ROUTER_MAX(256)? │ |
||||
│ tx_seq - tx_acked < 256 ? │ |
||||
└──────┬───────────┬───────────┘ |
||||
│ YES │ NO (inflight полон) |
||||
▼ ▼ |
||||
┌──────────────┐ ┌─────────────────────┐ |
||||
│router_send_one│ │ router_enqueue_send │ → send_q (FIFO) |
||||
│ (прямая) │ │ (в очередь) │ send_blocked = 1 |
||||
└──────┬────────┘ └─────────┬───────────┘ send_resume_timer (50ms) |
||||
│ │ |
||||
▼ │ |
||||
┌────────────────────┐ │ |
||||
│ tx_seq++ │ │ |
||||
│ hdr.dst = dst │ │ |
||||
│ hdr.src = node_id │ │ |
||||
│ hdr.seq = tx_seq │ │ |
||||
│ hdr.svc_id = svc │ │ |
||||
│ │ │ |
||||
│ etcp_send(conn, e) │ │ |
||||
└────────────────────┘ │ |
||||
│ |
||||
┌────────────────────────────┘ |
||||
│ (при получении ACK от remote) |
||||
▼ |
||||
┌────────────────────┐ |
||||
│ router_drain_send_q│ вызывается из ACK handler |
||||
│ │ или по send_resume_timer |
||||
│ while inflight < 256│ |
||||
│ e = send_q.pop() │ |
||||
│ router_send_one(e)│ |
||||
│ │ |
||||
│ если send_q пуст: │ |
||||
│ send_blocked = 0 │ |
||||
└────────────────────┘ |
||||
``` |
||||
|
||||
## Receive Path (приём данных) |
||||
|
||||
``` |
||||
etcp_router_recv_cb(conn, entry) |
||||
│ |
||||
▼ |
||||
┌──────────────────────┐ |
||||
│ dst == node_id? │ |
||||
└──┬───────────────┬───┘ |
||||
│ YES │ NO (транзит) |
||||
▼ ▼ |
||||
┌────────────────────┐ ┌──────────────────────────┐ |
||||
│ Мы — целевая нода │ │ Транзит: найти next hop │ |
||||
└────────┬───────────┘ │ route_bgp_find_conn_for_ │ |
||||
│ │ node(bgp, hdr.dst) │ |
||||
▼ │ etcp_send(next, entry) │ |
||||
┌────────────────────┐ └──────────────────────────┘ |
||||
│ pl_len == 0? │ |
||||
└──┬───────────┬─────┘ |
||||
│ YES │ NO (данные) |
||||
▼ ▼ |
||||
┌─────────┐ ┌─────────────────────────┐ |
||||
│ CLOSE/ │ │ rconn = find/get │ |
||||
│ RST? │ │ (авто-создание если нет) │ |
||||
└──┬──┬───┘ └───────────┬─────────────┘ |
||||
│ │ │ |
||||
│ │ NO (ACK) ▼ |
||||
│ ▼ ┌───────────────────────────────────────┐ |
||||
│ ┌──────────┐│ Проверка границ seq: │ |
||||
│ │ tx_acked ││ d = seq - rx_seq │ |
||||
│ │ = hdr.seq││ |d| < ROUTER_MAX_INFLIGHT? │ |
||||
│ │ (только ││ │ |
||||
│ │ вперёд) ││ Дубликат? │ |
||||
│ │ drain_q ││ rx_seq - seq > 0 ИЛИ │ |
||||
│ └──────────┘│ seq уже в recv_q? │ |
||||
│ └──────┬─────────────┬──────────────────┘ |
||||
│ │ OK │ out-of-bounds / dup |
||||
│ ▼ ▼ |
||||
│ ┌──────────────┐ ┌─────────┐ |
||||
│ │ recv_q.put() │ │ DROP │ |
||||
│ │ хеш по seq │ └─────────┘ |
||||
│ └──────┬───────┘ |
||||
│ │ |
||||
│ ▼ |
||||
│ ┌──────────────────────┐ |
||||
│ │ seq == rx_seq? │ |
||||
│ └──┬───────────────┬───┘ |
||||
│ │ YES │ NO |
||||
│ ▼ │ |
||||
│ ┌──────────────┐ │ |
||||
│ │ try_assembly │ │ |
||||
│ │ while next в │ │ |
||||
│ │ recv_q: │ │ |
||||
│ │ deliver() │ │ |
||||
│ │ rx_seq++ │ │ |
||||
│ └──────┬───────┘ │ |
||||
│ │ │ |
||||
│ ▼ │ |
||||
│ ┌──────────────────────┴──┐ |
||||
│ │ router_deliver() │ |
||||
│ │ вызывает callback │ |
||||
│ │ сервиса (svc_id) │ |
||||
│ │ entry: [svc_id|payload] │ |
||||
│ └──────────────┬──────────┘ |
||||
│ │ |
||||
▼ ▼ |
||||
┌────────────────────────────────────┐ |
||||
│ router_schedule_ack(rconn) │ |
||||
│ запускает ack_timer (100ms) если │ |
||||
│ ещё не запущен │ |
||||
└────────────────────────────────────┘ |
||||
``` |
||||
|
||||
``` |
||||
CLOSE / RST ветка: |
||||
┌────────────────────────────────────────┐ |
||||
│ pl_len == 0 && seq & CLOSE/RST │ |
||||
│ → router_close_and_notify(rconn) │ |
||||
│ ├─ router_send_close_to_service() │ |
||||
│ │ (callback с NULL conn) │ |
||||
│ ├─ отправить CLOSE удалённой стороне│ |
||||
│ ├─ отмена всех таймеров │ |
||||
│ ├─ очистка recv_q + send_q │ |
||||
│ └─ удаление из inst->router_conns │ |
||||
└────────────────────────────────────────┘ |
||||
``` |
||||
|
||||
## ACK Mechanism |
||||
|
||||
``` |
||||
┌─────────────────────────────────────────┐ |
||||
│ router_schedule_ack(rconn) │ |
||||
│ (вызывается при получении данных) │ |
||||
└────────────────┬────────────────────────┘ |
||||
│ |
||||
┌────────────────▼────────────────────────┐ |
||||
│ если idle_ack_timer активен — отменить │ |
||||
│ если ack_timer не активен — запустить │ |
||||
│ ROUTER_ACK_INTERVAL_TB = 1000 (100ms) │ |
||||
└────────────────┬────────────────────────┘ |
||||
│ |
||||
▼ (через 100ms) |
||||
┌─────────────────────────────────────────┐ |
||||
│ router_ack_timer_cb() │ |
||||
│ │ |
||||
│ if rx_seq != last_sent_ack_seq: │ |
||||
│ router_send_ack(rconn) │ |
||||
│ last_sent_ack_seq = rx_seq │ |
||||
│ перезапустить ack_timer │ |
||||
│ else: │ |
||||
│ запустить idle_ack_timer (500ms) │ |
||||
└────────────────┬────────────────────────┘ |
||||
│ |
||||
▼ (через 500ms) |
||||
┌─────────────────────────────────────────┐ |
||||
│ router_idle_ack_timer_cb() │ |
||||
│ │ |
||||
│ if rx_seq != last_sent_ack_seq: │ |
||||
│ router_send_ack(rconn) (досылка) │ |
||||
│ last_sent_ack_seq = rx_seq │ |
||||
└─────────────────────────────────────────┘ |
||||
|
||||
router_send_ack(rconn): |
||||
hdr.seq = rx_seq |
||||
hdr.svc_id = svc_id |
||||
pl_len = 0 → это ACK-пакет |
||||
etcp_send(conn, entry) |
||||
``` |
||||
|
||||
``` |
||||
Обработка входящего ACK: |
||||
┌────────────────────────────────────────┐ |
||||
│ pl_len == 0 && нет CLOSE/RST флагов │ |
||||
│ │ |
||||
│ if seq >= tx_acked: // только вперёд │ |
||||
│ tx_acked = seq // обновить │ |
||||
│ else: │ |
||||
│ DEBUG_WARN "stale ACK" │ |
||||
│ │ |
||||
│ if send_blocked: │ |
||||
│ router_drain_send_q(rconn) │ |
||||
└────────────────────────────────────────┘ |
||||
``` |
||||
|
||||
## Inflight Control |
||||
|
||||
``` |
||||
ROUTER_MAX_INFLIGHT = 256 |
||||
|
||||
Отправка возможна когда: tx_seq - tx_acked < 256 |
||||
Отправка заблокирована: tx_seq - tx_acked >= 256 |
||||
|
||||
При блокировке: |
||||
данные → send_q (FIFO, без дропов) |
||||
send_blocked = 1 |
||||
send_resume_timer = 50ms retry |
||||
|
||||
Разблокировка: |
||||
приход ACK от remote → tx_acked обновляется |
||||
→ router_drain_send_q() разгребает send_q |
||||
или send_resume_timer (50ms) → router_drain_send_q() |
||||
|
||||
send_q полностью разобран → send_blocked = 0 |
||||
``` |
||||
|
||||
## Полная схема потоков |
||||
|
||||
``` |
||||
┌──────────┐ |
||||
│ Сервис │ (routing, proxy, NAT, ...) |
||||
│ (svc_id)│ |
||||
└────┬─────┘ |
||||
│ |
||||
etcp_route_send() │ callback(svc_id, entry) |
||||
▼ ▲ |
||||
┌─────────┐ send ┌─────────────────────────────────┐ recv ┌─────────┐ |
||||
│ TUN │─────────▶│ ETCP ROUTER │─────────▶│ TUN │ |
||||
│ (выход) │ │ │ │ (вход) │ |
||||
└─────────┘ │ ┌──────────┐ ┌──────────┐ │ └─────────┘ |
||||
│ │ send_q │ │ recv_q │ │ |
||||
│ │ (FIFO) │ │ (хеш seq)│ │ |
||||
│ └────┬─────┘ └────┬─────┘ │ |
||||
│ │ │ │ |
||||
│ ▼ ▼ │ |
||||
│ ┌─────────────────────────┐ │ |
||||
│ │ Inflight / Assembly │ │ |
||||
│ │ tx_seq - tx_acked │ │ |
||||
│ │ rx_seq → deliver │ │ |
||||
│ └───────────┬─────────────┘ │ |
||||
│ │ │ |
||||
└──────────────┼──────────────────┘ |
||||
│ |
||||
┌──────▼──────┐ |
||||
│ BGP │ |
||||
│ (нахождение│ |
||||
│ next hop) │ |
||||
└──────┬──────┘ |
||||
│ |
||||
┌──────▼──────┐ |
||||
│ ETCP conn │──▶ сеть |
||||
└─────────────┘ |
||||
|
||||
──▶ send (исходящие данные) |
||||
──▶ recv (входящие данные, callback сервису) |
||||
──▶ транзит (через BGP к следующему hop) |
||||
``` |
||||
|
||||
## Таймеры (один rconn) |
||||
|
||||
``` |
||||
┌─────────────────────────────────────────────────────┐ |
||||
│ │ |
||||
│ ack_timer ──────── 100ms ─────▶ router_ack_timer_cb│ |
||||
│ (периодический) │ |
||||
│ │ |
||||
│ idle_ack_timer ─── 500ms ─────▶ router_idle_ack_cb │ |
||||
│ (досылка последнего ACK) │ |
||||
│ │ |
||||
│ send_resume_timer ─ 50ms ─────▶ router_send_resume │ |
||||
│ (retry когда send_q не пуст) │ |
||||
│ │ |
||||
└─────────────────────────────────────────────────────┘ |
||||
``` |
||||
|
||||
## Флаги seq |
||||
|
||||
``` |
||||
┌──────────────────────────────────────────────────┐ |
||||
│ CLOSE: 0x80000000 нормальное закрытие conn │ |
||||
│ RST: 0x40000000 conn не найден (reset) │ |
||||
│ │ |
||||
│ CLOSE/RST-пакеты: seq=0 | флаг, pl_len=0 │ |
||||
│ Data-пакеты: seq=tx_seq, pl_len>0 │ |
||||
│ ACK-пакеты: seq=rx_seq, pl_len=0 │ |
||||
└──────────────────────────────────────────────────┘ |
||||
``` |
||||
Loading…
Reference in new issue