142 lines
11 KiB
Markdown
142 lines
11 KiB
Markdown
# DM: доставка сообщений и подготовка медиа
|
||
|
||
Личные беседы принадлежат `src/dm/`. Общие CHAT-группы используются для знакомства,
|
||
проверки ролей и маршрутизации; группа не становится идентичностью беседы.
|
||
|
||
## Реализовано
|
||
|
||
- История и постоянная исходящая очередь сообщений в общей SQLite ядра.
|
||
- Доставка через живой маршрут router, включая BGP-транзит.
|
||
- При отсутствии маршрута — подписанный PUT доступному суперузлу общей группы сторон.
|
||
- Приём после проверки подписи и расшифровки, подтверждение только после commit.
|
||
- Доставка с суперузла после возвращения получателя, независимо от отправителя.
|
||
- Точное удаление промежуточного сообщения и сохранение квитанции для поздних повторов.
|
||
- Шифрование медиа порциями в worker; сетевой жизненный цикл медиа пока не подключён.
|
||
|
||
## Идентичность и шифрование
|
||
|
||
```text
|
||
conv_id = SHA256("utun_dm_v1" || min(node_a,node_b) || max(node_a,node_b))[..63]
|
||
content_key = SHA256(X25519(my_private, target_public) || "utun_dm_content")
|
||
msg_nonce = SHA256(conv_id || author || seq)[..13]
|
||
media_nonce = SHA256("utun_dm_media" || author || media_id || part)[..13]
|
||
```
|
||
|
||
Сообщения и медиа используют один content_key target, без ключей отдельных файлов.
|
||
AES-256-CCM: nonce 13 байт, tag 16 байт. Максимальная порция plaintext — 65535 байт;
|
||
порция медиа — 32768 байт. UUID медиа новый для каждой подготовки. Повтор доставки
|
||
использует неизменяемый ciphertext. Повторная подготовка после ошибки требует нового UUID.
|
||
|
||
Каноническое тело сообщения:
|
||
|
||
```text
|
||
[conv:8][seq:8][ts:8][author:8][ct_len:1][ct][enc_len:2][ciphertext+tag][author_sig:64]
|
||
```
|
||
|
||
Автор подписывает все поля до sig. conv связывает автора с получателем.
|
||
Размер plaintext сообщения ограничен 1024 байтами. seq — положительное int64.
|
||
|
||
Медиа ciphertext — последовательность порций с отдельным tag каждой порции.
|
||
Последняя порция короче; пустой файл содержит один tag. Размер plaintext и SHA256
|
||
ciphertext должны входить в подписанный manifest. Потоковая расшифровка проверяет все
|
||
tags, точный размер и хеш; владелец публикует временный файл только после успеха
|
||
и собственного durable сохранения.
|
||
|
||
## Владение и данные
|
||
|
||
- `dm_core`: беседы, история, outbox и подтверждение получателя.
|
||
- `dm_mailbox`: промежуточные сообщения суперузла и квитанции.
|
||
- `dm_crypto`: вывод ключей, nonce, CCM и файловые примитивы без БД/сети.
|
||
|
||
```text
|
||
dm_conversations(conv_id, peer_node_id, peer_x25519, peer_ed25519, peer_name,
|
||
group_id, last_out_seq, last_in_seq, created_at, last_ts)
|
||
dm_messages(conv_id, dir, seq, ts, author, ct, data, sig)
|
||
dm_outbox(conv_id, seq, body, retry_at)
|
||
dm_pending_messages(recipient, sender, seq, msg, group_id, retry_at)
|
||
dm_mail_receipts(recipient, sender, seq, receipt, group_id)
|
||
```
|
||
|
||
Запись исходящего сообщения, увеличение seq и запись неизменяемого body в outbox —
|
||
одна транзакция. При ошибке откатывается всё, сообщение не выходит в сеть.
|
||
Приём, создание/обновление беседы и история — также одна транзакция.
|
||
|
||
Dedup — точный ключ (conv,dir,seq) с проверкой сохранённой подписи. last_in_seq —
|
||
статистика максимального номера, не курсор подтверждения: seq=99 после seq=100
|
||
сохраняется. Тело с другой подписью для уже сохранённого seq отклоняется.
|
||
|
||
У каждой локальной очереди таймер 1с; порция обработки до 32 задач, повтор задачи
|
||
через 5с. retry_at предотвращает голодание хвоста очереди. Перед отправкой проверяется
|
||
backpressure router. Потеря пути сохраняет durable задачу; остановка отменяет таймеры,
|
||
но сохраняет БД. При старте очередь продолжает работу.
|
||
|
||
## Подтверждения и протокол
|
||
|
||
Сервис `ETCP_RT_ID_DM=0x34`: MSG=1, RECEIPT=2.
|
||
|
||
```text
|
||
["DMACK001":8][conv:8][seq:8][author:8][recipient:8][SHA256(message):32][recipient_sig:64]
|
||
```
|
||
|
||
Квитанцию создаёт только получатель после commit. Подпись охватывает первые 72 байта.
|
||
Отправитель удаляет outbox только после проверки подписи и точного хеша тела.
|
||
История беседы сохраняется. Подтверждение транспорта router не заменяет квитанцию.
|
||
|
||
Сервис `ETCP_RT_ID_DM_MAILBOX=0x35`:
|
||
|
||
```text
|
||
PUT=1 [recipient:8][message]
|
||
DELIVER=2 [message]
|
||
RECEIPT=3 [receipt:136]
|
||
STORED=4 [conv:8][seq:8]
|
||
```
|
||
|
||
Все пакеты идут с подписью router; unsigned control отклоняется.
|
||
PUT принимается только от автора, при роли supernode=yes у локального узла
|
||
в общей группе автора и получателя. Роль берётся из подписанного adm_tags;
|
||
node_type=4 — производная сетевой классификации, для авторизации не используется.
|
||
storage=yes само по себе не даёт права хранить сообщения.
|
||
|
||
STORED подтверждает durable запись суперузлом, outbox до квитанции получателя остаётся
|
||
у автора. Суперузел повторяет DELIVER при появлении живого маршрута. RECEIPT проверяется
|
||
по точному сохранённому телу; запись квитанции и удаление копии — одна транзакция.
|
||
Квитанция пересылается автору. Поздний PUT возвращает её и не возрождает задачу.
|
||
|
||
dm_mail_receipts содержит только служебные квитанции; доставленное содержимое
|
||
с промежуточного узла удаляется. Ранее использовавшийся dm_mail/PULL/HELLO и
|
||
диапазонные ACK не поддерживаются: это devel, совместимость не сохраняется.
|
||
TTL текстовых сообщений не введён; недельный TTL из pm.txt относится к медиа.
|
||
|
||
## Следующая интеграция медиа по pm.txt
|
||
|
||
1. Общая передача байтов: явные peer/group/file/size, backpressure и CM handle
|
||
на всю активную операцию. Владение handle сохраняется после DOWN/TIMEOUT.
|
||
Передавать через собственный svc router; conn_mgr_send использует управляющий сервис CM.
|
||
2. Отдельный owner dm_media: подготовка ciphertext, manifest, отправка/скачивание,
|
||
временные файлы, TTL и лимит хранения. Каталоги dm_media/ и dm_pending/ вне
|
||
группового обхода очистки orphan-файлов; групповые объявления HAVE_BLOCK не используются.
|
||
3. Суперузел сначала durable регистрирует сообщение и media job, затем выбирает M.
|
||
M скачивает ciphertext у A и сообщает S подтверждённое хранение, место и expiry.
|
||
4. Текстовая квитанция и квитанция медиа независимы. Получатель подтверждает медиа
|
||
после проверки, публикации файла и commit. S хранит задачу удаления у M до DELETE_ACK;
|
||
поздний STORED не возрождает завершённую доставку.
|
||
5. TTL медиа по умолчанию 7 дней, конфиг на M. Новая custody отклоняется при
|
||
недостатке квоты; уже подтверждённые копии не вытесняются молча раньше срока.
|
||
6. Stop снимает новые задачи, ждёт media_async с живыми owner-контекстами, затем
|
||
закрывает операции/handles до уничтожения групп.
|
||
|
||
## Проверки
|
||
|
||
`test_dm`: симметрия ключа target, CCM round-trip, пустое тело, пределы длины,
|
||
неверный ключ/tag, разделение nonce; потоковые файлы на границах 32 КиБ,
|
||
неверные author/UUID/hash, обрезание и лишние байты.
|
||
|
||
`test_dm_e2e`: реальные A–C–B соединения и BGP; нет физического A–B линка.
|
||
Проверяет out-of-order, dedup/conflict, подписи, SQL rollback при приёме и enqueue,
|
||
ACK чужого тела, отказ mailbox без роли, точное удаление и поздний PUT.
|
||
Первый сценарий передаёт 40 offline-сообщений (больше порции pump) и перезапускает источник с pending outbox; второй перезапускает
|
||
суперузел и доставляет первое сообщение при выключенном источнике.
|
||
|
||
Сетевые тесты CM-передачи медиа, media custody/TTL/quota и независимых квитанций
|
||
нужно добавить вместе с сетевой интеграцией медиа.
|