Browse Source
- Add CRC32 checksum support using IEEE 802.3 polynomial - Update sc_encrypt/sc_decrypt API: combine tag and CRC32 into single buffer - Add SC_CRC32_SIZE, SC_MAX_OVERHEAD constants and SC_ERR_CRC_FAILED error code - Implement CRC32 calculation before encryption and verification after decryption - Update connection.c to use new API with error statistics tracking - Modify test files for compatibility with new API - All tests pass successfullyv2_dev
Evgeny
3 months ago
11 changed files with 514 additions and 584 deletions
@ -1,273 +0,0 @@ |
|||||||
# План реализации ETCP (Extended Transmission Control Protocol) |
|
||||||
|
|
||||||
## Обзор |
|
||||||
Протокол поверх UDP с восстановлением порядка, повторными передачами, метриками RTT/jitter и ограничением полосы. Использует две очереди: сортированный linked-list для принятых пакетов и ll_queue для выходных данных. |
|
||||||
|
|
||||||
## Структуры данных |
|
||||||
|
|
||||||
### struct epkt (etcp.h) |
|
||||||
```c |
|
||||||
typedef struct epkt epkt_t; |
|
||||||
|
|
||||||
struct epkt { |
|
||||||
// Очереди |
|
||||||
ll_queue_t* tx_queue; // Очередь пакетов на передачу |
|
||||||
ll_queue_t* output_queue; // Выходная очередь (собранные данные) |
|
||||||
struct rx_packet* rx_list; // Сортированный linked-list принятых пакетов |
|
||||||
|
|
||||||
// Метрики |
|
||||||
uint16_t rtt_last; // Последний RTT (timebase 0.1ms) |
|
||||||
uint16_t rtt_avg_10; // Среднее RTT за последние 10 пакетов |
|
||||||
uint16_t rtt_avg_100; // Среднее RTT за последние 100 пакетов |
|
||||||
uint16_t jitter; // Jitter (усреднённый) |
|
||||||
uint16_t bandwidth; // Текущая полоса пропускания (байт/таймбазу) |
|
||||||
uint32_t bytes_sent_total; // Всего отправлено байт |
|
||||||
uint16_t last_sent_timestamp; // Timestamp последней отправки |
|
||||||
uint32_t bytes_allowed; // Расчётное число байт, которое можно отправить |
|
||||||
|
|
||||||
// Состояние |
|
||||||
uint16_t next_tx_id; // Следующий ID для передачи |
|
||||||
uint16_t last_rx_id; // Последний принятый ID (для ACK) |
|
||||||
uint16_t last_delivered_id; // Последний доставленный в output_queue ID |
|
||||||
|
|
||||||
// Таймеры |
|
||||||
void* next_tx_timer; // Таймер следующей передачи |
|
||||||
void* retransmit_timer; // Таймер повторных передач |
|
||||||
|
|
||||||
// Callback'и |
|
||||||
void (*tx_callback)(epkt_t*, uint8_t*, uint16_t); // Отправка в UDP |
|
||||||
void* tx_callback_arg; |
|
||||||
|
|
||||||
// Буферы для метрик |
|
||||||
uint16_t rtt_history[100]; // История RTT для усреднения |
|
||||||
uint8_t rtt_history_idx; |
|
||||||
uint8_t rtt_history_count; |
|
||||||
|
|
||||||
// Накопленные timestamp'ы для отчётов |
|
||||||
uint16_t pending_ack_ids[32]; // ID пакетов, для которых нужно отправить ACK |
|
||||||
uint16_t pending_ack_timestamps[32]; // Соответствующие timestamp'ы |
|
||||||
uint8_t pending_ack_count; |
|
||||||
}; |
|
||||||
``` |
|
||||||
|
|
||||||
### struct rx_packet (внутренняя) |
|
||||||
```c |
|
||||||
struct rx_packet { |
|
||||||
struct rx_packet* next; |
|
||||||
uint16_t id; |
|
||||||
uint16_t timestamp; |
|
||||||
uint8_t* data; |
|
||||||
uint16_t data_len; |
|
||||||
// uint8_t has_payload; // 1 если содержит payload (hdr=0) - пакеты без payload сюда не попадаютю просто парсим сразу метрици и всё. |
|
||||||
}; |
|
||||||
``` |
|
||||||
|
|
||||||
## Формат пакета |
|
||||||
``` |
|
||||||
<id:2> <timestamp:2> [<hdr:1> <metrics_data>]* <hdr=0> <payload> |
|
||||||
``` |
|
||||||
|
|
||||||
### Заголовки (hdr): |
|
||||||
- `0x00`: payload (данные начинаются со следующего байта) |
|
||||||
- `0x01`: отчёт о timestamp принятого пакета (4 байта: id:2 + timestamp:2) |
|
||||||
- `0x10`-`0x2F`: перезапрос пакетов + ACK: |
|
||||||
- hdr & 0x0F = количество записей (1-32) |
|
||||||
- Далее N*2 байт: ID пакетов для повторной передачи |
|
||||||
- Последние 2 байта: номер последнего доставленного пакета (ACK) |
|
||||||
|
|
||||||
### Пакет только с метриками: |
|
||||||
Если очередь передачи пуста, отправляется пакет с id=0 и без hdr=0+payload. |
|
||||||
|
|
||||||
## Алгоритмы |
|
||||||
|
|
||||||
### 1. Инициализация |
|
||||||
- Создать очереди tx_queue и output_queue через queue_new() |
|
||||||
- Инициализировать метрики нулями |
|
||||||
- Установить bandwidth по умолчанию (например, 100000 байт/таймбазу) |
|
||||||
|
|
||||||
### 2. Приём пакетов (etcp_rx_input) |
|
||||||
1. Парсинг: |
|
||||||
- Читаем id, timestamp |
|
||||||
- Пока есть данные, читаем hdr: |
|
||||||
- hdr=0x00: запоминаем payload |
|
||||||
- hdr=0x01: обрабатываем отчёт о timestamp (обновляем метрики) |
|
||||||
- hdr=0x10-0x2F: обрабатываем перезапрос (добавляем ID в очередь повторной передачи) |
|
||||||
2. Для пакетов с hdr!=0 вызываем upd_metric_for_transmitter: |
|
||||||
- rtt_last = текущее время - timestamp |
|
||||||
- Обновляем rtt_avg_10 и rtt_avg_100 (скользящее среднее) |
|
||||||
- jitter += (abs(rtt_avg_10 - rtt_last) - jitter) * 0.1 |
|
||||||
3. Добавляем пакет в сортированный rx_list: |
|
||||||
- Ищем позицию по id (сравнение через (int16_t)(id1-id2)) |
|
||||||
- Пропускаем дубликаты |
|
||||||
- Вставляем в нужное место |
|
||||||
4. Перемещаем непрерывную последовательность в output_queue: |
|
||||||
- Начиная с last_delivered_id+1, проверяем наличие пакетов в rx_list |
|
||||||
- При нахождении непрерывной цепочки перемещаем payload в output_queue |
|
||||||
- Освобождаем rx_packet структуры |
|
||||||
5. Накопление ACK: |
|
||||||
- Для каждого принятого пакета сохраняем id и timestamp в pending_ack_* |
|
||||||
- При следующей отправке включаем эти ACK в пакет |
|
||||||
|
|
||||||
### 3. Передача пакетов |
|
||||||
1. Очередь tx_queue содержит данные для отправки |
|
||||||
2. Функция tx_process вызывается по таймеру или при добавлении в пустую очередь: |
|
||||||
- Проверяем ограничение полосы: |
|
||||||
- delta_time = текущее_время - last_sent_timestamp |
|
||||||
- bytes_allowed += delta_time * bandwidth |
|
||||||
- Если bytes_allowed < размер_пакета, планируем таймер и выходим |
|
||||||
- Формируем пакет: |
|
||||||
- Базовый заголовок: next_tx_id++, текущий timestamp |
|
||||||
- Добавляем pending_ack (hdr=0x01 для каждого) |
|
||||||
- Добавляем перезапросы если нужно (на основе метрик) |
|
||||||
- Добавляем payload из tx_queue (hdr=0x00) |
|
||||||
- Если payload нет и есть метрики - отправляем пакет с id=0 |
|
||||||
- Отправляем через tx_callback |
|
||||||
- Обновляем bytes_sent_total, last_sent_timestamp, bytes_allowed |
|
||||||
- Сохраняем пакет в список отправленных (для возможной ретрансмиссии) |
|
||||||
3. Повторные передачи: |
|
||||||
- Для каждого отправленного пакета отслеживаем время отправки |
|
||||||
- Если (текущее_время - время_отправки) > rtt_avg_10*1.2 + jitter*2 |
|
||||||
- Добавляем ID в очередь повторной передачи |
|
||||||
|
|
||||||
### 4. Ограничение полосы |
|
||||||
- bandwidth: константа (байт/таймбазу), timebase = 0.1ms |
|
||||||
- При инициализации: bytes_allowed = 0, last_sent_timestamp = текущее_время |
|
||||||
- При отправке: |
|
||||||
- current_time = uasync время |
|
||||||
- delta = (int16_t)(current_time - last_sent_timestamp) (циклическое) |
|
||||||
- bytes_allowed += delta * bandwidth |
|
||||||
- Если bytes_allowed >= размер_пакета: |
|
||||||
- bytes_allowed -= размер_пакета |
|
||||||
- last_sent_timestamp = current_time |
|
||||||
- Отправляем пакет |
|
||||||
- Иначе: |
|
||||||
- wait_time = (размер_пакета - bytes_allowed) / bandwidth |
|
||||||
- Устанавливаем таймер на wait_time |
|
||||||
|
|
||||||
## API функции |
|
||||||
|
|
||||||
### Основные: |
|
||||||
```c |
|
||||||
epkt_t* etcp_init(void); |
|
||||||
void etcp_free(epkt_t* epkt); |
|
||||||
void etcp_set_callback(epkt_t* epkt, void (*cb)(epkt_t*, uint8_t*, uint16_t), void* arg); |
|
||||||
int etcp_rx_input(epkt_t* epkt, uint8_t* pkt, uint16_t len); |
|
||||||
int etcp_tx_queue_size(epkt_t* epkt); |
|
||||||
``` |
|
||||||
|
|
||||||
### Вспомогательные: |
|
||||||
```c |
|
||||||
void etcp_set_bandwidth(epkt_t* epkt, uint16_t bandwidth); |
|
||||||
uint16_t etcp_get_rtt(epkt_t* epkt); |
|
||||||
uint16_t etcp_get_jitter(epkt_t* epkt); |
|
||||||
ll_queue_t* etcp_get_output_queue(epkt_t* epkt); // Для извлечения данных |
|
||||||
int etcp_tx_put(epkt_t* epkt, uint8_t* data, uint16_t len); // Добавить данные на передачу |
|
||||||
``` |
|
||||||
|
|
||||||
## Интеграция с проектом |
|
||||||
|
|
||||||
### Зависимости: |
|
||||||
- `ll_queue.c/.h` - для очередей |
|
||||||
- `u_async.h` - для таймеров |
|
||||||
- `stdint.h`, `stdlib.h`, `string.h` - стандартные библиотеки |
|
||||||
|
|
||||||
### Таймеры: |
|
||||||
- Использовать `uasync_set_timeout` для: |
|
||||||
- Планирования следующей передачи (при ограничении полосы) |
|
||||||
- Повторных передач |
|
||||||
- Очистки старых пакетов в rx_list |
|
||||||
- Все callback'и должны быть быстрыми, не блокирующими |
|
||||||
|
|
||||||
### Обработка циклических значений: |
|
||||||
- ID: uint16_t, сравнение через `(int16_t)(a - b)` |
|
||||||
- Timestamp: uint16_t, timebase 0.1us, сравнение аналогично |
|
||||||
- При вычислении дельты времени учитывать переполнение |
|
||||||
|
|
||||||
## План тестирования |
|
||||||
|
|
||||||
1. **Unit-тесты для парсинга:** |
|
||||||
- Корректность разбора различных hdr |
|
||||||
- Обработка циклических ID |
|
||||||
|
|
||||||
2. **Тесты очередей:** |
|
||||||
- Сортировка в rx_list |
|
||||||
- Перемещение в output_queue |
|
||||||
- Обработка дубликатов |
|
||||||
|
|
||||||
3. **Тесты метрик:** |
|
||||||
- Расчет RTT (скользящее среднее) |
|
||||||
- Расчет jitter |
|
||||||
- Обновление bandwidth |
|
||||||
|
|
||||||
4. **Интеграционный тест:** |
|
||||||
- Два экземпляра ETCP, обмен данными через эмуляцию UDP |
|
||||||
- Проверка восстановления порядка при потере пакетов |
|
||||||
- Проверка ограничения полосы |
|
||||||
|
|
||||||
5. **Тест производительности:** |
|
||||||
- Минимальные задержки |
|
||||||
- Корректность работы при высокой нагрузке |
|
||||||
|
|
||||||
## Последовательность реализации |
|
||||||
|
|
||||||
1. Создать etcp.h с определениями структур и API |
|
||||||
2. Реализовать etcp.c в следующем порядке: |
|
||||||
a) Базовая структура и init/free |
|
||||||
b) Внутренние функции для работы с rx_list |
|
||||||
c) Парсинг пакетов (etcp_rx_input) |
|
||||||
d) Функции метрик (upd_metric_for_transmitter) |
|
||||||
e) Механизм передачи (tx_process, ограничение полосы) |
|
||||||
f) Повторные передачи |
|
||||||
g) Интеграция с таймерами u_async |
|
||||||
3. Создать тестовую программу test_etcp.c |
|
||||||
4. Протестировать, исправить ошибки |
|
||||||
5. Интегрировать в Makefile |
|
||||||
|
|
||||||
## Риски и неопределённости |
|
||||||
|
|
||||||
1. **Переполнение буферов:** Нужны лиматиры на размер rx_list и pending_ack |
|
||||||
3. **Производительность:** Сортированный linked-list может быть медленным при большом количестве пакетов. Возможно, нужна оптимизация. - не должно быть много пакетов в списке перезапросов |
|
||||||
4. **Интеграция с существующим кодом:** Проверить совместимость стиля кодирования и соглашений об именовании. |
|
||||||
|
|
||||||
## Дополнительные вопросы |
|
||||||
|
|
||||||
1. Нужны ли callback'и для событий (доставка данных, изменение метрик)? - нет, но нужна структура из которой эти метрики можно считывать. |
|
||||||
2. Как обрабатывать очень старые пакеты в rx_list (таймаут)? - никак. надо сделать reset_connection - он обнуляет все очереди, метрики итд. |
|
||||||
3. Как определять начальный bandwidth и адаптировать его? - пока константа. адаптировать позже. |
|
||||||
|
|
||||||
## Статус реализации (13.01.2026) |
|
||||||
|
|
||||||
### Реализовано: |
|
||||||
1. Структуры epkt, rx_packet, sent_packet |
|
||||||
2. API функции: etcp_init, etcp_free, etcp_set_callback, etcp_rx_input, etcp_tx_queue_size, etcp_tx_put, etcp_get_output_queue, etcp_set_bandwidth, etcp_get_rtt, etcp_get_jitter |
|
||||||
3. Парсинг пакетов с поддержкой заголовков 0x00 (payload), 0x01 (timestamp report), 0x10-0x2F (retransmission request) |
|
||||||
4. Сортированный rx_list с учётом циклических ID (сравнение через (int16_t)(id1-id2)) |
|
||||||
5. Перемещение непрерывной последовательности пакетов в output_queue |
|
||||||
6. Ограничение полосы пропускания (bandwidth, bytes_allowed) |
|
||||||
7. Отправка пакетов с данными и метриками, включая пакеты только с метриками (id=0) |
|
||||||
8. Накопление ACK для полученных пакетов и отправка их в следующий пакет |
|
||||||
9. Повторные передачи на основе RTT и jitter |
|
||||||
10. Обновление метрик RTT (скользящее среднее за 10 и 100 пакетов) и jitter |
|
||||||
11. Интеграция с u_async для таймеров передачи и проверки повторных отправок |
|
||||||
12. Unit-тесты, покрывающие базовую функциональность (инициализация, передача, приём, реordering) |
|
||||||
|
|
||||||
### Особенности реализации: |
|
||||||
- Timebase: 0.1ms (совместимость с u_async) |
|
||||||
- Bandwidth по умолчанию: 10000 байт/таймбазу |
|
||||||
- Максимальное количество pending ACK: 32 |
|
||||||
- Максимальное количество pending retransmit: 32 |
|
||||||
- RTT история: 100 измерений |
|
||||||
|
|
||||||
### Ограничения и упрощения: |
|
||||||
- Отсутствует таймаут для старых пакетов в rx_list |
|
||||||
- Отсутствует адаптация bandwidth |
|
||||||
- get_current_timestamp использует статический счётчик (для тестов) |
|
||||||
- Нет обработки reset_connection |
|
||||||
- Нет защиты от переполнения буферов при очень большом количестве пакетов |
|
||||||
|
|
||||||
### Планируемые улучшения: |
|
||||||
1. Реализация reset_connection для сброса состояния |
|
||||||
2. Использование системного времени для get_current_timestamp |
|
||||||
3. Добавление таймаута для rx_list |
|
||||||
4. Оптимизация производительности при большом количестве пакетов |
|
||||||
5. Адаптация bandwidth на основе метрик |
|
||||||
Loading…
Reference in new issue