Compare commits
170 Commits
| Author | SHA1 | Date |
|---|---|---|
|
|
35648a19ce | 5 hours ago |
|
|
23368a5bbe | 5 hours ago |
|
|
66afcc8625 | 6 hours ago |
|
|
df346fc097 | 10 hours ago |
|
|
7ec5f931bb | 10 hours ago |
|
|
f12bab8676 | 10 hours ago |
|
|
f4b273d0be | 10 hours ago |
|
|
1d189195f9 | 11 hours ago |
|
|
dc34faaada | 11 hours ago |
|
|
a7632cfee1 | 11 hours ago |
|
|
1c499dc230 | 11 hours ago |
|
|
01bc6e4cf0 | 12 hours ago |
|
|
bd082a26bf | 12 hours ago |
|
|
d7fb0c83f9 | 19 hours ago |
|
|
ac45554439 | 20 hours ago |
|
|
217e5795bf | 20 hours ago |
|
|
40b974b29c | 20 hours ago |
|
|
bdcf8b5634 | 20 hours ago |
|
|
b1e3193899 | 1 day ago |
|
|
7ae56f03b3 | 1 day ago |
|
|
203ae61eda | 1 day ago |
|
|
c863b80917 | 1 day ago |
|
|
dd8041b30f | 1 day ago |
|
|
fe9441d63b | 1 day ago |
|
|
05476fb102 | 1 day ago |
|
|
6ccf71b20d | 1 day ago |
|
|
418329962d | 1 day ago |
|
|
f2ff3ee5ab | 1 day ago |
|
|
3b0609fe76 | 1 day ago |
|
|
8e108425ae | 1 day ago |
|
|
20322e7ecb | 1 day ago |
|
|
5092bdf9fe | 1 day ago |
|
|
be8dbcf25e | 1 day ago |
|
|
72233d2365 | 1 day ago |
|
|
79f0f2a07f | 1 day ago |
|
|
225e11265f | 1 day ago |
|
|
6da6471204 | 1 day ago |
|
|
e4a57970f0 | 1 day ago |
|
|
55b21fdcda | 1 day ago |
|
|
51a820ac82 | 1 day ago |
|
|
c900adbc69 | 1 day ago |
|
|
b1ee7857f7 | 1 day ago |
|
|
318d72708c | 1 day ago |
|
|
172cc3a649 | 1 day ago |
|
|
d4a27d1975 | 1 day ago |
|
|
c77cb9bb0a | 1 day ago |
|
|
add016894b | 1 day ago |
|
|
fd3fc971fa | 1 day ago |
|
|
fef800ef7a | 1 day ago |
|
|
1cd366c0e1 | 1 day ago |
|
|
dbec6e75e8 | 1 day ago |
|
|
80b4e6f3e9 | 1 day ago |
|
|
6185869c6d | 1 day ago |
|
|
038fd173c2 | 1 day ago |
|
|
14935378bb | 1 day ago |
|
|
0dc2b0135a | 1 day ago |
|
|
c58b92ecd7 | 1 day ago |
|
|
a281165450 | 1 day ago |
|
|
4f76b4d765 | 1 day ago |
|
|
d1f03f2f80 | 1 day ago |
|
|
0d3f2952c1 | 1 day ago |
|
|
ba409427c6 | 1 day ago |
|
|
1b3794e9f9 | 1 day ago |
|
|
555b6fcf86 | 1 day ago |
|
|
1bd310c859 | 1 day ago |
|
|
20acf975d9 | 1 day ago |
|
|
984b9e8123 | 1 day ago |
|
|
c7310e1fad | 1 day ago |
|
|
a5f90ec207 | 1 day ago |
|
|
72d1d3f582 | 1 day ago |
|
|
7b8e2cd96c | 1 day ago |
|
|
c1185b62c1 | 1 day ago |
|
|
7357a63fdf | 1 day ago |
|
|
adff64e483 | 1 day ago |
|
|
00e890e0c3 | 1 day ago |
|
|
142eefaf86 | 1 day ago |
|
|
7e780bb6a7 | 1 day ago |
|
|
ef5cd63d9f | 1 day ago |
|
|
7bd3e0d4de | 1 day ago |
|
|
18ee21cf93 | 1 day ago |
|
|
934f1ccd1f | 1 day ago |
|
|
a90274f24c | 1 day ago |
|
|
dc1110af4d | 1 day ago |
|
|
1457275139 | 1 day ago |
|
|
52e38ff5d6 | 1 day ago |
|
|
8403697013 | 1 day ago |
|
|
d9eee4e520 | 1 day ago |
|
|
e562896d63 | 1 day ago |
|
|
7fee3ec551 | 1 day ago |
|
|
1ceb09062f | 1 day ago |
|
|
570f3dfab3 | 1 day ago |
|
|
4cabbc32f5 | 1 day ago |
|
|
3d6f9c1be4 | 1 day ago |
|
|
76497481f7 | 1 day ago |
|
|
139356bd18 | 1 day ago |
|
|
1cdead18de | 1 day ago |
|
|
b47918fad5 | 1 day ago |
|
|
55c9d79a01 | 1 day ago |
|
|
d7a12b24bf | 1 day ago |
|
|
41fc5902be | 1 day ago |
|
|
e47c7fb2ac | 1 day ago |
|
|
84c148acff | 1 day ago |
|
|
d559cbf473 | 1 day ago |
|
|
5e9a9059c8 | 1 day ago |
|
|
27fa3a4812 | 1 day ago |
|
|
3d0ab35efe | 1 day ago |
|
|
f39ba840b8 | 1 day ago |
|
|
6c86e380a8 | 1 day ago |
|
|
c63343cf2b | 1 day ago |
|
|
bd550159f0 | 1 day ago |
|
|
43c89ca1ed | 1 day ago |
|
|
1740bec94f | 1 day ago |
|
|
0e0f611d3c | 1 day ago |
|
|
bd05ab6d3a | 1 day ago |
|
|
467d2e7605 | 1 day ago |
|
|
10de4f1c71 | 1 day ago |
|
|
794d7b70f3 | 1 day ago |
|
|
e6c78c17b7 | 1 day ago |
|
|
3cdb3e6580 | 1 day ago |
|
|
febc3419b0 | 1 day ago |
|
|
937ef9fcef | 1 day ago |
|
|
5800902a42 | 1 day ago |
|
|
cc072cceb2 | 1 day ago |
|
|
67bbf80769 | 1 day ago |
|
|
ce5f5bb7d0 | 1 day ago |
|
|
577bfb4e6f | 2 days ago |
|
|
fe1d29f007 | 2 days ago |
|
|
fbf50b093d | 2 days ago |
|
|
5b0262d53f | 2 days ago |
|
|
4a2efe21c7 | 2 days ago |
|
|
7d9f13b8bc | 2 days ago |
|
|
50e3db81ea | 2 days ago |
|
|
d8745fd303 | 2 days ago |
|
|
bc797550d9 | 2 days ago |
|
|
5ebab7072c | 2 days ago |
|
|
9ff4e68246 | 2 days ago |
|
|
00666499fe | 2 days ago |
|
|
5487bc8c20 | 2 days ago |
|
|
a3f6b6e86e | 2 days ago |
|
|
6f66df61f7 | 2 days ago |
|
|
72b5a9887f | 2 days ago |
|
|
076cc3c617 | 2 days ago |
|
|
91a69b939c | 2 days ago |
|
|
969c085085 | 2 days ago |
|
|
426fc2f4e8 | 2 days ago |
|
|
464575ef44 | 2 days ago |
|
|
a65ef30d78 | 2 days ago |
|
|
8f5f2b089c | 2 days ago |
|
|
111432aa64 | 2 days ago |
|
|
1c51df039f | 2 days ago |
|
|
9e3a417059 | 2 days ago |
|
|
e914a1bdc1 | 2 days ago |
|
|
b36c685cfa | 2 days ago |
|
|
3c5c9604b3 | 2 days ago |
|
|
fb37ca747a | 2 days ago |
|
|
2d21c53b4b | 2 days ago |
|
|
752c1f140c | 2 days ago |
|
|
db3cacd33e | 2 days ago |
|
|
7ebc282eb2 | 2 days ago |
|
|
0d44ada922 | 2 days ago |
|
|
52ffb91101 | 2 days ago |
|
|
745ec3dbd2 | 3 days ago |
|
|
15958a078e | 3 days ago |
|
|
61bf235ef4 | 3 days ago |
|
|
556b0bc7b7 | 3 days ago |
|
|
f12f61d7ee | 3 days ago |
|
|
1176411b79 | 3 days ago |
|
|
74ca98b38f | 3 days ago |
|
|
961a234d7d | 3 days ago |
|
|
a73ae13df4 | 3 days ago |
317 changed files with 184216 additions and 7954 deletions
@ -1,33 +0,0 @@
|
||||
Ниже — подтверждённые по коду проблемы; отдельно указал, что воспроизведено запуском. |
||||
|
||||
[P1] Exit смешивает TCP-потоки разных клиентов. Поиск соединения использует только stream_id, хотя каждый клиент начинает нумерацию заново. После подключения второго клиента с таким же ID данные первого могут уйти в соединение второго; FIN/CLOSE также закрывают чужой поток. Нужен ключ (src_node_id, stream_id) во всех обработчиках, включая проверку повторного CONNECT. src/proxy/tcp_proxy_server.c:342 |
||||
|
||||
[P1] Клиент не проверяет отправителя ответов. DATA/FIN/CLOSE принимаются по одному stream_id, без сравнения источника с via_node_id. Обработка CLOSE_ALL читает peer_id, но затем уничтожает вообще все клиентские соединения. Пакеты другого узла, доставленные этому сервису, могут повредить или закрыть существующие потоки. src/proxy/tcp_proxy_client.c:668 |
||||
|
||||
[P1, воспроизведено] UDP-ответы в TUN имеют неправильную checksum. Обнуляется только IP-заголовок; байты UDP checksum остаются заполненными аллокатором значением 0xAAAA. Проверка сформированного пакета дала сумму 0xC1E2 вместо 0xFFFF. Такие ответы будут отбрасываться принимающим стеком. Нужно рассчитывать checksum либо явно устанавливать ноль для IPv4. src/proxy/udp_proxy.c:188 |
||||
|
||||
[P1, воспроизведено] ICMP с нечётной длиной payload получает неверную checksum. Цикл читает последнее 16-битное слово целиком, захватывая байт за пределами выделенного пользовательского буфера. Ошибка есть и на exit, и при восстановлении ответа клиенту. Для payload длиной 2 проверочная сумма получилась FFFF, длиной 3 — FF10. Отправка (src/proxy/icmp_proxy.c:80), ответ в TUN (src/proxy/icmp_proxy.c:285) |
||||
|
||||
[P1] UDP/ICMP-контексты глобальные, а ядро поддерживает несколько instances. Следующий init() перезаписывает g_udp_ctx/g_icmp_ctx; обработчики старого экземпляра используют новый контекст, а destroy(inst) освобождает его без проверки владельца. Дополнительно UDP различает запрос и ответ только по глобальному is_exit: узел, одновременно работающий клиентом и exit, трактует входящий ответ как новый исходящий запрос. src/proxy/udp_proxy.c:137, инициализация (src/proxy/udp_proxy.c:237), src/proxy/icmp_proxy.c:321 |
||||
|
||||
[P1] Нет сквозного ограничения потока при медленном получателе. Принятые ETCP-данные без ограничения добавляются в write_queue сокета или to_lwip. Заполненность этих очередей не останавливает доставку и подтверждение данных маршрутизатором. Медленный destination или локальный клиент приводит к росту памяти; при отказе выделения TCP-данные просто теряются. src/proxy/tcp_proxy_server.c:424, src/proxy/tcp_proxy_client.c:584 |
||||
|
||||
[P1] TUN-клиент может уничтожить ещё не отправленные данные при FIN. Если локальный FIN уже получен, но tx_queue остаётся заблокированной, входящий FIN от exit вызывает conn_finish() без проверки этой очереди. Она освобождается вместе с данными. Завершать поток нужно после опустошения очередей обоих направлений. src/proxy/tcp_proxy_client.c:642 |
||||
|
||||
[P1] Exit может отправить CLOSE раньше остатка ответа. В on_fin_cb() проверка tc->fin_local имеет приоритет над pend_r. Если клиент уже закрыл свою половину, а ответ destination остался в tx_buf из-за backpressure, сервер отправляет CLOSE и освобождает остаток. Ветка on_flushed_cb() также не проверяет ожидающие отправки данные ответа. src/proxy/tcp_proxy_server.c:108 |
||||
|
||||
[P1] HTTP CONNECT зависит от границ TCP-чтений. Парсер запускает туннель после первой \r\n, не дожидаясь \r\n\r\n. Если заголовки приходят следующим чтением, они пересылаются destination как содержимое туннеля — например, перед TLS ClientHello. Если вместе с заголовками уже пришли данные туннеля, они уничтожаются обнулением buf_len. src/proxy/socks_proxy.c:195 |
||||
|
||||
[P1] HTTP POST во время DNS может потерять весь накопленный запрос. dns_pending накапливается до 65535 байт, затем отправляется одним DATA. Exit принимает максимум 8192 байта в одном сообщении и отбрасывает превышение. При переполнении самого dns_pending очередные данные также теряются без прекращения потока. Нужны ограниченная очередь и отправка частями. src/proxy/socks_proxy.c:339, накопление (src/proxy/socks_proxy.c:430), ограничение exit (src/proxy/tcp_proxy_server.c:438) |
||||
|
||||
[P2] FIN теряется в двух штатных сценариях. SOCKS/HTTP при непустой очереди ответа вызывает tcp_conn_set_flushed(tc, NULL) — продолжение, которое должно переслать FIN, отсутствует. Exit молча игнорирует FIN, пришедший до завершения TCP connect. Протоколы, ожидающие EOF перед ответом, могут зависнуть. src/proxy/socks_proxy.c:538, src/proxy/tcp_proxy_server.c:492 |
||||
|
||||
[P2] SOCKS5-парсер некорректно обрабатывает запросы. После greeting/CONNECT сбрасывается весь буфер, включая следующие байты; всегда выбирается метод NO AUTH, даже если клиент его не предлагал. IPv6 вместо отказа превращается в IPv4 из неправильного смещения buf + 12. Доменный CONNECT длиной менее 10 байт бесконечно ожидает продолжения. src/proxy/socks_proxy.c:132 |
||||
|
||||
[P2] SOCKS/HTTP сообщают об успешном соединении до подключения exit. Ответ SOCKS success или HTTP 200 формируется даже до send_connect(). Подтверждения успешного TCP connect от exit в протоколе нет. При отказе подключения клиент сначала получает успех, затем закрытие вместо корректной ошибки. src/proxy/socks_proxy.c:316 |
||||
|
||||
[P2] После RST TUN-соединение остаётся в списке. tcp_proxy_client_err_cb() обнуляет pcb и выставляет error, но не освобождает pc. Очистка предусмотрена в poll callback уже уничтоженного PCB, который больше не вызовется. src/proxy/tcp_proxy_client.c:446 |
||||
|
||||
[P2] Неправильно разбираются IP options и фрагменты в TUN. UDP/ICMP используют фиксированные смещения от 20-байтового IPv4-заголовка, игнорируя IHL и fragment offset. Пакет с options или последующий IP-фрагмент превращается в запрос с неверными портами/данными. src/proxy/tcp_proxy_client.c:158 |
||||
|
||||
[P2] ICMP-ответы разных клиентов могут перепутаться. Exit сохраняет исходные echo_id/echo_seq и ищет ответ только по этой паре, без уникального преобразования ID и проверки адреса отправителя. Совпадающие ping-запросы разных клиентов получают чужие ответы. src/proxy/icmp_proxy.c:56 |
||||
@ -1,89 +0,0 @@
|
||||
# Задача: BGP NODEINFO теряется при флапающем реконнекте (chatgui member online не возвращается) |
||||
|
||||
## Кратко |
||||
|
||||
После рестарта Android-пира и реконнекта локальный chatgui показывает мембера **offline** и не возвращает **online**. |
||||
Корневая причина — **не в chat/member коде**, а в ETCP: BGP-пакет NODEINFO (347 байт) расшифровывается, но **не доходит до BGP-обработчика** `topo_group_receive_cbk()`. |
||||
|
||||
Нужно: **точно локализовать точку потери NODEINFO в receive-пути ETCP и починить её.** |
||||
|
||||
## Что уже сделано (исправлено и работает) |
||||
|
||||
1. `tools/chatgui/src/mainwindow.cpp` — **исправлен** `onMemberUpdatedCallback`/`onMemberRemovedCallback`: проверка `len < 1+64+1+79` отбрасывала все события с channel_id короче 64 симв. Теперь `len < 1` + точная проверка. (Это была причина «не обновляется вообще».) |
||||
2. `src/chat/chat_member.c/h` — добавлен `chat_core_member_online(ch_id,node_id)` = присутствие в `topo_group` (`topo_node_find_by_id`). Используется в `chat_core_get_member_list`/`get_single_member`. Убран `nodes.online` из SQL и блок `connected→2`. |
||||
3. `src/chat/chat_core.c`, `src/chat/chat_sync.c`, `src/chat/member_sync.c/h` — удалён онлайн-статус из БД + merkle-online gossip (`member_sync_set_online`, `_ms_apply_update`, `push_update`). |
||||
4. `src/chat/chat_status.c` + `tools/chatgui/src/accountlist.cpp` — флаг «bgp present» (0x08) для detail-панели. |
||||
5. `tools/chatgui/src/nodespage.cpp` — убрана колонка Online из диагностики. |
||||
|
||||
Эти правки корректны; статус работает на чистом connect/disconnect/стабильном реконнекте. |
||||
|
||||
## Найденная причина (подтверждено логами) |
||||
|
||||
- Android **шлёт** свой NODEINFO: `send_nodeinfo: node 1657b3ea8281c0a8 ver=2` (bgp-debug на Android). |
||||
- Локально пакет **расшифровывается**: `decrypt: code=01 dlen=347 plen=350` (347-байтный BGP-пакет, `code=0x01` = `ETCP_ID_TOPO_ENTRY`). |
||||
- Но `BGP recv NODEINFO nid=1657` (строка 193 в `topo_group.c`) **не появляется** — до обработчика пакет не доходит. |
||||
- При этом маленький `TABLE_COMPLETE` (10 байт) **доходит** (виден в логе как «mislabeled» `nid=aaaaaaaaaadeadbe` — это строка 193 логирует не-NODEINFO пакет как NODEINFO, garbage-поля). |
||||
- Признак: в стабильных рестартах (18:18/18:20) узел **добавляется** каждый раз, в флапающем (18:07) — нет. Т.е. потеря привязана к флапу (TCP-линки + ETCP reinit). |
||||
|
||||
## Receive-путь ETCP (где искать потерю) |
||||
|
||||
``` |
||||
decrypt (etcp_connections.c:2262, лог "decrypt: code=.. dlen=..") |
||||
→ if (link_state==CONNECTED) etcp_conn_input(pkt) |
||||
else memory_pool_free(pkt) ← добавлен WARN "decrypted pkt DROPPED" |
||||
→ etcp_conn_input (etcp.c:1506, "RX pkt dlen=%d") |
||||
→ нормализатор (reassembly) → int_queue |
||||
→ etcp_int_recv (etcp_api.c) ← добавлен WARN "int_recv BGP id=0x01 len=.." |
||||
→ dispatch по route id (0x01) → topo_group_receive_cbk (topo_group.c:193 "BGP recv NODEINFO") |
||||
``` |
||||
|
||||
## Уже добавленный дебаг (для локализации) |
||||
|
||||
1. `src/transport_layer/etcp_connections.c` (после дешифровки): |
||||
```c |
||||
} else { |
||||
DEBUG_WARN(DEBUG_CATEGORY_ETCP, "[%s] decrypted pkt DROPPED: link_state=%d code=0x%02x dlen=%u", |
||||
link->etcp->log_name, link->link_state, pkt_code, pkt->data_len); |
||||
memory_pool_free(e_sock->instance->pkt_pool, pkt); |
||||
} |
||||
``` |
||||
2. `src/transport_layer/etcp_api.c` (`etcp_int_recv`, после чтения `id`): |
||||
```c |
||||
uint8_t id = e->dgram[0]; |
||||
if (id == 0x01) DEBUG_WARN(DEBUG_CATEGORY_ETCP, "int_recv BGP id=0x01 conn=%s len=%zu", conn->log_name, e->len); |
||||
``` |
||||
3. Android: `tools/chatgui-android/libutun_lite/instance_lite.c` добавлено |
||||
`debug_set_category_level(DEBUG_CATEGORY_BGP, DEBUG_LEVEL_DEBUG);` (пересобрать APK: `cd tools/chatgui-android && ./build.sh`). |
||||
4. chatgui конфиг `tools/chatgui/build/vibechat.cfg` — включены `bgp=debug`, `chat_sync=debug`, `member_sync=debug`, `debug=debug`. |
||||
|
||||
Как читать (по таймстампу флапа): |
||||
- есть `decrypt code=01 dlen=..` + `DROPPED` → потеря в проверке `link_state==CONNECTED`; |
||||
- есть `decrypt` + нет `DROPPED` + нет `int_recv BGP` → потеря в `etcp_conn_input`/нормализаторе; |
||||
- есть `int_recv BGP` + нет `BGP recv NODEINFO` → потеря в BGP-обработчике. |
||||
|
||||
## Задача для агента |
||||
|
||||
1. Пересобрать chatgui (`cd tools/chatgui && cmake --build build -j4`) и Android APK (`cd tools/chatgui-android && ./build.sh`). |
||||
2. Запустить chatgui (DISPLAY=:0, `./vibechat`), воспроизвести флап реконнекта: |
||||
```bash |
||||
adb shell am force-stop com.utun.chat && adb shell am start -n com.utun.chat/.MainActivity |
||||
``` |
||||
(повторить несколько раз; флап ловится не каждый раз). |
||||
3. В логах (`tools/chatgui/build/chatgui.log`) найти потерю NODEINFO и **точно определить точку** по таблице выше. |
||||
4. Починить первопричину (варианты): |
||||
- буферизовать расшифрованный пакет до `LINK_STATE_CONNECTED` вместо `memory_pool_free`; |
||||
- либо гарантированный BGP-retry (после conn UP, если узел пира не в `group->nodes` через N мс — повторно `topo_group_send_table_request`). |
||||
5. Убрать весь диагностический мусор: |
||||
- WARN "DROPPED" (etcp_connections.c), WARN "int_recv BGP" (etcp_api.c); |
||||
- DEBUG-логи в `chat_member.c` (`on_member_props_changed`), `chat_sync.c` (`cs_on_peer_status_changed`), `memberlistmodel.cpp`; |
||||
- `instance_lite.c` BGP-debug; |
||||
- `vibechat.cfg` — вернуть категории в закомментированное состояние. |
||||
6. Прогнать: connect→online, disconnect→offline, реконнект (флап)→online. `./check.sh` (или `cd src && make -j4`). |
||||
|
||||
## Воспроизведение / ключевые артефакты |
||||
|
||||
- Пир: Android SM-A525F (`com.utun.chat`), node_id `0x1657b3ea8281c0a8`. |
||||
- Локальный: chatgui (`tools/chatgui/build/vibechat`), node_id `0x24cd036a6e659b9a`. |
||||
- Канал: `ch_id=7206723622466219923`, `group_id=0x64036cf3a783ef93`. |
||||
- Лог chatgui: `tools/chatgui/build/chatgui.log` (debug_file из конфига). |
||||
- Лог Android: `adb logcat -d | grep -iE "send_nodeinfo|NOT in registry|NODEINFO|DROPPED|int_recv"`. |
||||
|
After Width: | Height: | Size: 1.3 MiB |
@ -1,93 +1,222 @@
|
||||
# DM — прямой p2p чат между двумя пользователями группы |
||||
|
||||
## 1. Цель |
||||
|
||||
Возможность начать личный чат с любым пользователем доступных групп. |
||||
Пока target offline сообщения временно хранятся на storage-узлах. |
||||
|
||||
## 2. Ключевые решения |
||||
|
||||
- Отдельная DM-подсистема (НЕ канал: без TOPO_GROUP/member_sync/merkle). |
||||
- Идентичность детерминированная: одна ветка на пару, согласование без handshake. |
||||
- E2E-шифрование содержимого сразу. |
||||
- Offline-хранение: dm_mailbox на storage-узлах с флагом dm_storage. |
||||
- Доставка: fallback — сперва проверка наличия узла в BGP-группе; доступен → |
||||
прямой send; нет связи → storage. |
||||
|
||||
## 3. Идентичность и ключи (детерминированные) |
||||
|
||||
conv_id = SHA256("utun_dm_v1" || min(node_a,node_b) || max(node_a,node_b))[..63] |
||||
shared = X25519(my_x25519_priv, peer_x25519_pub) |
||||
content_key = SHA256(shared || "utun_dm_content") |
||||
|
||||
Обе стороны выводят одинаковые значения из своего privkey и pubkey пира |
||||
(известен из общей группы). Смена x25519 у пира = новая ветка. |
||||
|
||||
## 4. Модель данных (SQLite, общий chats.db) |
||||
|
||||
dm_conversations(conv_id TEXT PK, peer_node_id, peer_x25519 BLOB, peer_ed25519 BLOB, |
||||
peer_name TEXT, last_out_seq INT, last_in_seq INT, created_at INT, last_ts INT) |
||||
dm_messages(conv_id TEXT, dir INT, seq INT, ts INT, author INT, ct TEXT, |
||||
data BLOB, sig BLOB, PRIMARY KEY(conv_id,dir,seq)) |
||||
dm_mail(recipient INT, sender INT, conv_id TEXT, seq INT, ts INT, data BLOB, sig BLOB, |
||||
ttl INT, PRIMARY KEY(recipient,sender,seq)) |
||||
|
||||
Два независимых направленных потока (A→B, B→A) с монотонным seq. |
||||
Без chain-хеша: для 2 пиров достаточно seq + catch-up по диапазону. |
||||
|
||||
## 5. Доставка |
||||
|
||||
1. Проверка доступности: peer присутствует в BGP-группе (общая группа). |
||||
2. Доступен → прямой send (сервис ETCP_RT_ID_DM = 0x34), ждём DM_ACK{conv_id,seq}. |
||||
Нет ACK за таймаут → fallback в mailbox. |
||||
3. Нет связи → MAIL_PUT на 1..N storage-узлов. |
||||
4. Catch-up при connect: DM_HELLO{conv_id,last_out_seq,last_in_seq} → пир досылает |
||||
(in_seq+1 .. out_seq). |
||||
5. Dedup: вставка только при seq > last_in_seq. |
||||
|
||||
## 6. E2E-шифрование |
||||
|
||||
data_enc = nonce(13B, счётчик по seq) || AES-CCM_ct || tag |
||||
|
||||
secure_channel уже умеет AES-CCM. Storage/relay видят только шифротекст. |
||||
|
||||
## 7. Storage-узлы (dm_storage) |
||||
|
||||
- Новый флаг dm_storage=yes в adm_tags (блок B владельца), распространяется |
||||
существующим member_sync без нового синка. |
||||
- DM читает adm_tags мемберов общих групп (peers_<ch>) и кэширует storage-узлы. |
||||
- Протокол mailbox (сервис ETCP_RT_ID_DM_MAILBOX = 0x35): |
||||
|
||||
MAIL_PUT {recipient,sender,conv_id,seq,ts,data,sig} |
||||
MAIL_PULL {recipient, per-sender cursor} |
||||
MAIL_ACK {up_to_seq} |
||||
|
||||
TTL 7 дней + лимит объёма, dedup по (recipient,sender,seq). |
||||
|
||||
## 8. Старт и anti-spam |
||||
|
||||
- dm_start(peer): создать беседу (вывести conv_id/ключи), обеспечить прямое |
||||
соединение (переиспользовать chat_sync_connect_node/node_conn_direct). |
||||
- Пир автопринимает на первом DM_HELLO/сообщении, только если отправитель в |
||||
общей группе. |
||||
|
||||
## 9. Файлы и интеграция |
||||
|
||||
| Файл | Назначение | |
||||
|------|-----------| |
||||
| src/dm/dm_core.c/h | беседы, send/recv, таблицы, bind 0x34, conn-события, fallback | |
||||
| src/dm/dm_crypto.c/h | derive + AES-CCM | |
||||
| src/dm/dm_mailbox.c/h | storage-узел, push/pull/ack, bind 0x35 | |
||||
|
||||
Плюс: |
||||
|
||||
- src/chat/chat_member.c — бит CHAT_MEMBER_FLAG_DM_STORAGE + парсинг dm_storage. |
||||
- utun_instance.c — dm_core_init/destroy. |
||||
- chat_core — API dm_start/send/list + события CHAT_EVT_DM_*. |
||||
- headless CLI — dm list/send/messages. |
||||
- src/Makefile.am — новые источники. |
||||
|
||||
## 10. Сервисы ETCP |
||||
|
||||
ETCP_RT_ID_DM = 0x34 |
||||
ETCP_RT_ID_DM_MAILBOX = 0x35 |
||||
# DM: доставка сообщений и файлов |
||||
|
||||
Личные беседы принадлежат `src/dm/`. Общие CHAT-группы используются для знакомства, |
||||
проверки ролей и маршрутизации; группа не становится идентичностью беседы. |
||||
|
||||
## Реализовано |
||||
|
||||
- История и постоянная исходящая очередь сообщений в общей SQLite ядра. |
||||
- Доставка через живой маршрут router, включая BGP-транзит. |
||||
- При отсутствии маршрута — подписанный PUT доступному суперузлу общей группы сторон. |
||||
- Приём после проверки подписи и расшифровки, подтверждение только после commit. |
||||
- Доставка с суперузла после возвращения получателя, независимо от отправителя. |
||||
- Точное удаление промежуточного сообщения и сохранение квитанции для поздних повторов. |
||||
- Подготовка, шифрование, проверка и durable публикация медиа в рабочих потоках. |
||||
- Прямая передача файлов либо custody на отдельном M, доставка после restart и подтверждённое удаление. |
||||
- TTL и квота M; вложения и статусы доставки в Qt и Android. |
||||
- Голосовые Opus и видео MP4 с зашифрованными метаданными; общий ввод и отображение с каналами. |
||||
|
||||
## Идентичность и шифрование |
||||
|
||||
```text |
||||
conv_id = SHA256("utun_dm_v1" || min(node_a,node_b) || max(node_a,node_b))[..63] |
||||
content_key = SHA256(X25519(my_private, target_public) || "utun_dm_content") |
||||
msg_nonce = SHA256(conv_id || author || seq)[..13] |
||||
media_nonce = SHA256("utun_dm_media" || author || media_id || part)[..13] |
||||
``` |
||||
|
||||
Сообщения и медиа используют один content_key target, без ключей отдельных файлов. |
||||
AES-256-CCM: nonce 13 байт, tag 16 байт. Максимальная порция plaintext — 65535 байт; |
||||
порция медиа — 32768 байт. UUID медиа новый для каждой подготовки. Повтор доставки |
||||
использует неизменяемый ciphertext. Повторная подготовка после ошибки требует нового UUID. |
||||
|
||||
Каноническое тело сообщения: |
||||
|
||||
```text |
||||
[conv:8][seq:8][ts:8][author:8][ct_len:1][ct][enc_len:2][ciphertext+tag][author_sig:64] |
||||
``` |
||||
|
||||
Автор подписывает все поля до sig. conv связывает автора с получателем. |
||||
Для `ct=file` перед подписью добавляется descriptor `[UUID:16][plaintext_size:8][SHA256(ciphertext):32]`. |
||||
В зашифрованном теле находится `attachment_info`; пути хранения строятся только из UUID. |
||||
Размер plaintext сообщения ограничен 1024 байтами. seq — положительное int64. |
||||
|
||||
```text |
||||
[kind:1][name_len:2][duration_ms:4][width:2][height:2][UTF8_name:name_len][waveform:100, только voice] |
||||
``` |
||||
|
||||
Поля метаданных многобайтной длины имеют big-endian формат. kind: 1=file, |
||||
2=voice, 3=video. Имя — basename до 255 байт, без разделителей, управляющих символов |
||||
и некорректного UTF-8. FILE имеет нулевые duration/dimensions; VOICE — положительную |
||||
длительность и 100 символов уровней waveform; VIDEO — длительность и размеры. |
||||
Длительность ограничена 24 часами, размеры — 16384. Метаданные проверяются до |
||||
локального commit и до подтверждения получателем; S/M видят только ciphertext. |
||||
|
||||
Медиа ciphertext — последовательность порций с отдельным tag каждой порции. |
||||
Последняя порция короче; пустой файл содержит один tag. Размер plaintext и SHA256 |
||||
ciphertext должны входить в подписанный manifest. Потоковая расшифровка проверяет все |
||||
tags, точный размер и хеш; владелец публикует временный файл только после успеха |
||||
и собственного durable сохранения. |
||||
|
||||
## Владение и данные |
||||
|
||||
- `dm_core`: беседы, история, outbox и подтверждение получателя. |
||||
- `dm_mailbox`: промежуточные сообщения суперузла и квитанции. |
||||
- `dm_crypto`: вывод ключей, nonce, CCM и файловые примитивы без БД/сети. |
||||
- `dm_media`: файлы endpoint, загрузки и отдельная custody M. |
||||
- `dm_mailbox_media`: durable задания S, выбор M и повтор удаления до DELETE_ACK. |
||||
- `file_transfer`: подписанная передача байтов, backpressure и отдельный CM handle каждой операции. |
||||
- `attachment`: формат, валидация и тип метаданных, без сети и БД. |
||||
- `voice_file`: общий Opus-кодек отправки; `attachment_send` готовит файл в worker |
||||
и передаёт результат отдельно в `chat_core` либо `dm_media`. |
||||
|
||||
```text |
||||
dm_conversations(conv_id, peer_node_id, peer_x25519, peer_ed25519, peer_name, |
||||
group_id, last_out_seq, last_in_seq, created_at, last_ts) |
||||
dm_messages(conv_id, dir, seq, ts, author, ct, data, sig) |
||||
dm_outbox(conv_id, seq, body, retry_at) |
||||
dm_pending_messages(recipient, sender, seq, msg, group_id, retry_at) |
||||
dm_mail_receipts(recipient, sender, seq, receipt, group_id) |
||||
``` |
||||
|
||||
Запись исходящего сообщения, увеличение seq и запись неизменяемого body в outbox — |
||||
одна транзакция. При ошибке откатывается всё, сообщение не выходит в сеть. |
||||
Приём, создание/обновление беседы и история — также одна транзакция. |
||||
|
||||
Dedup — точный ключ (conv,dir,seq) с проверкой сохранённой подписи. last_in_seq — |
||||
статистика максимального номера, не курсор подтверждения: seq=99 после seq=100 |
||||
сохраняется. Тело с другой подписью для уже сохранённого seq отклоняется. |
||||
|
||||
У каждой локальной очереди таймер 1с; порция обработки до 32 задач, повтор задачи |
||||
через 5с. retry_at предотвращает голодание хвоста очереди. Перед отправкой проверяется |
||||
backpressure router. Потеря пути сохраняет durable задачу; остановка отменяет таймеры, |
||||
но сохраняет БД. При старте очередь продолжает работу. |
||||
|
||||
## Подтверждения и протокол |
||||
|
||||
Сервис `ETCP_RT_ID_DM=0x34`: MSG=1, RECEIPT=2. |
||||
|
||||
```text |
||||
["DMACK001":8][conv:8][seq:8][author:8][recipient:8][SHA256(message):32][recipient_sig:64] |
||||
``` |
||||
|
||||
Квитанцию создаёт только получатель после commit. Подпись охватывает первые 72 байта. |
||||
Отправитель удаляет outbox только после проверки подписи и точного хеша тела. |
||||
История беседы сохраняется. Подтверждение транспорта router не заменяет квитанцию. |
||||
|
||||
Сервис `ETCP_RT_ID_DM_MAILBOX=0x35`: |
||||
|
||||
```text |
||||
PUT=1 [recipient:8][message] |
||||
DELIVER=2 [message] |
||||
RECEIPT=3 [receipt:136] |
||||
STORED=4 [conv:8][seq:8] |
||||
``` |
||||
|
||||
Все пакеты идут с подписью router; unsigned control отклоняется. |
||||
PUT принимается только от автора, при роли supernode=yes у локального узла |
||||
в общей группе автора и получателя. Роль берётся из подписанного adm_tags; |
||||
node_type=4 — производная сетевой классификации, для авторизации не используется. |
||||
storage=yes само по себе не даёт права хранить сообщения. |
||||
|
||||
STORED подтверждает durable запись суперузлом, outbox до квитанции получателя остаётся |
||||
у автора. Суперузел повторяет DELIVER при появлении живого маршрута. RECEIPT проверяется |
||||
по точному сохранённому телу; запись квитанции и удаление копии — одна транзакция. |
||||
Квитанция пересылается автору. Поздний PUT возвращает её и не возрождает задачу. |
||||
|
||||
dm_mail_receipts содержит только служебные квитанции; доставленное содержимое |
||||
с промежуточного узла удаляется. Ранее использовавшийся dm_mail/PULL/HELLO и |
||||
диапазонные ACK не поддерживаются: это devel, совместимость не сохраняется. |
||||
TTL текстовых сообщений не введён; недельный TTL из pm.txt относится к медиа. |
||||
|
||||
## Доставка медиа по pm.txt |
||||
|
||||
1. Общая передача байтов: явные peer/group/file/size, backpressure и CM handle |
||||
на всю активную операцию. Владение handle сохраняется после DOWN/TIMEOUT. |
||||
Используется `ETCP_RT_ID_FILE_TRANSFER=0x37`. Один callback читает/отправляет |
||||
не более 8 КиБ, продолжение через `call_soon`; inflight ограничен 16 пакетами. |
||||
2. Отдельный owner dm_media: подготовка ciphertext, manifest, отправка/скачивание, |
||||
временные файлы, TTL и лимит хранения. Каталоги dm_media/ и dm_pending/ вне |
||||
группового обхода очистки orphan-файлов; групповые объявления HAVE_BLOCK не используются. |
||||
3. Суперузел сначала durable регистрирует сообщение и media job, затем выбирает M. |
||||
M скачивает ciphertext у A и сообщает S подтверждённое хранение, место и expiry. |
||||
4. Текстовая квитанция и квитанция медиа независимы. Получатель подтверждает медиа |
||||
после проверки, публикации файла и commit. S хранит задачу удаления у M до DELETE_ACK; |
||||
поздний STORED не возрождает завершённую доставку. |
||||
5. TTL медиа `dm_media_ttl_sec` по умолчанию 604800 с; квота `dm_media_storage_mb` |
||||
по умолчанию 1024 МиБ. Настройки на M. Новая custody отклоняется при |
||||
недостатке квоты; уже подтверждённые копии не вытесняются молча раньше срока. |
||||
6. Stop снимает новые задачи и закрывает transfer/CM handles, затем ждёт |
||||
media_async с живыми owner-контекстами. Группы уничтожаются после owners. |
||||
|
||||
Control `ETCP_RT_ID_DM_MEDIA=0x38`: OFFER, STORE, STORED, RECEIPT, DELETE, |
||||
DELETE_ACK, EXPIRED, REJECT; точные форматы заданы в `dm_media.h` и реализациях owners. |
||||
Подпись router обязательна. Media receipt содержит `DMFILE01`, conv, seq, author, |
||||
recipient, UUID и SHA256 полного подписанного сообщения; B подписывает первые 88 байт. |
||||
Отдельные таблицы `dm_files`, `dm_custody`, `dm_custody_done`, `dm_media_jobs`, |
||||
`dm_media_holders` сохраняют состояния и tombstones. Все выданные grants M |
||||
учитываются при удалении; повторный STORE не продлевает TTL. |
||||
|
||||
Qt и Android получают историю через события ядра: 41 — conv + JSON сообщений, |
||||
45 — JSON бесед. Снимки ограничены 200 записями. Отправка вложения вызывает |
||||
`dm_send_file` в uasync; длительная обработка выполняется в `media_async`. |
||||
Android копирует выбранный URI и сохраняет полученный файл через `Dispatchers.IO`; |
||||
Qt сохраняет файл из контекстного меню в отдельном потоке. Выбор «как файл» сохраняет |
||||
оригинал; «как видео» в Qt использует общий FFmpeg worker и метаданные конечного MP4. |
||||
Android записывает MP4 через CameraX; импорт MP4 проходит через платформенный |
||||
MediaMetadataRetriever в IO. Другие контейнеры на Android отправляются как файлы. |
||||
|
||||
Голосовая запись отдаёт worker собственный PCM либо компрессор без копирования |
||||
в GUI/uasync; worker выполняет flush, Opus-кодирование и вычисление waveform. |
||||
Кодирование Qt и Android использует один `voice_file`. Адресат фиксируется до |
||||
записи, выбора URI и подготовки; завершение не читает текущую беседу GUI. |
||||
Подготовленный PM-файл и Android cache удаляются после копирования, ошибки или отмены; |
||||
пользовательский исходник Qt остаётся во владении пользователя. |
||||
|
||||
Событие 46 `[target_len:1][target][job_UUID:16][state:1]` сообщает начало (0), |
||||
готовность (1) и ошибку (2). Target канала — числовой ID, PM — `dm:<conv_id>`. |
||||
Подготовка, доставка и воспроизведение имеют независимые состояния. UI отображает |
||||
только задания текущей беседы. Состояния файла и delivery receipt приходят в JSON |
||||
41; `content_type`, duration, dimensions и waveform преобразуются в общие роли |
||||
сообщения. Канальные скачивания вызываются контроллером только для каналов; |
||||
PM-файлы доставляются автоматически через `dm_media`. |
||||
|
||||
Android использует общие `ConversationComposer`/`ConversationMessages` для обеих |
||||
бесед; Qt — `InputBar` и `MessageDelegate`. Превью Qt создаются в общем пуле |
||||
с двумя workers; декодирование длинного Opus-файла выполняется вне GUI. Оба плеера |
||||
проверяют заголовок, пакеты и end marker; Qt ограничивает PCM буфер 256 МиБ. |
||||
|
||||
## Проверки |
||||
|
||||
`test_dm`: симметрия ключа target, CCM round-trip, пустое тело, пределы длины, |
||||
неверный ключ/tag, разделение nonce; потоковые файлы на границах 32 КиБ, |
||||
неверные author/UUID/hash, обрезание и лишние байты. |
||||
|
||||
`test_dm_e2e`: реальные A–C–B соединения и BGP; нет физического A–B линка. |
||||
Проверяет out-of-order, dedup/conflict, подписи, SQL rollback при приёме и enqueue, |
||||
ACK чужого тела, отказ mailbox без роли, точное удаление и поздний PUT. |
||||
Первый сценарий передаёт 40 offline-сообщений (больше порции pump) и перезапускает источник с pending outbox; второй перезапускает |
||||
суперузел и доставляет первое сообщение при выключенном источнике. |
||||
|
||||
`test_dm_media`: реальные A/B/S/M с раздельными ролями supernode и storage; |
||||
прямая передача, custody, restart S/M при выключенном A, точный файл на B, |
||||
удаление копии и тела S, поздние STORE/STORED, TTL, отказ по квоте, неверная квитанция, |
||||
SQL rollback регистрации, состояния JSON и отмена операции с CM handle. |
||||
Голосовое передаётся напрямую; метаданные видео сохраняются после offline custody |
||||
и restart S/M при выключенном источнике. |
||||
|
||||
`test_dm_worker`: повторное шифрование 8 МиБ не менее 0,5 с и проверка расшифровки; |
||||
work выполняется вне uasync, done в его потоке, heartbeat продолжает работать. |
||||
Destroy отменяет уже posted completion, callback вызывается ровно один раз. |
||||
|
||||
`test_attachment`: строгий формат, повреждения и граничные длины, реальное |
||||
кодирование/декодирование 50 Opus-кадров, длительность и waveform. |
||||
`test_attachment_send`: выбранная беседа после смены текущего target, освобождение |
||||
PCM в worker, остановка до completion без регистрации и удаление отклонённого cache. |
||||
Qt `test_voice_file`: реальные PCM/Opus, повреждённые файлы и отмена async decoder. |
||||
|
||||
Проверка 01.10.2026: чистые сборки Qt и Android APK; полный `check.sh` — |
||||
117 PASS, 0 FAIL, 1 SKIP (auto_socket_dynamic требует root), proxy/burst/load PASS. |
||||
Qt CTest: 7 PASS, 0 FAIL; Android APK собран после `clean`. |
||||
В тесте worker максимальный интервал heartbeat составил 10,3 мс. |
||||
Интерактивная проверка GUI на телефоне и десктопе не выполнялась. |
||||
|
||||
@ -0,0 +1,433 @@
|
||||
# Linux: диагностика и восстановление аудио |
||||
|
||||
Проверка 2026-10-02: desktop chatgui, miniaudio/PulseAudio, общий голосовой стек, |
||||
звонки, рация и запись сообщений. Исправления обработки PCM, владения устройствами |
||||
и автоматическое восстановление реализованы. Ниже сохранены исходные результаты |
||||
аудита; раздел «Реализация» описывает действующие контракты и проверки. |
||||
|
||||
## Вывод |
||||
|
||||
До исправлений тракт был некорректен при сбоях. Самое существенное: воспроизведение |
||||
звонка зависит от наличия микрофонных кадров в duplex-ring. Его опустошение |
||||
останавливает вызов пользовательского callback, оставляя хвост выходного буфера |
||||
незаполненным. Восстановление jitter-буфера не исправляет остановившееся устройство. |
||||
Отдельного управляющего механизма восстановления устройств не было. |
||||
|
||||
В реализации восстановлены три гарантии: каждый запрос output полностью заполнен; обработка |
||||
одного callback всегда ограничена; остановка/пересоздание устройства выполняются |
||||
вне аудиопотока и не уничтожают сетевую сессию звонка. |
||||
|
||||
## Что установлено по работающим клиентам |
||||
|
||||
В локальном старом логе звонка `132e4a9698f47bdf` с Samsung SM_A525F наблюдались |
||||
паузы callback примерно 0,5–2,6 секунды при зарегистрированной обработке 0–2 мс. |
||||
Входящий буфер desktop достигал 15 секунд, росли потери, включалось ускорение 160%. |
||||
На Samsung захват продолжал давать около 50 кадров/с, playback регистрировал |
||||
underrun и тоны разрыва. RTT порядка 1–4 мс не объясняет эти паузы сам по себе. |
||||
|
||||
Это признаки проблемы обслуживания локального аудио, но ещё не доказательство |
||||
конкретной причины зависания PulseAudio. Старое измерение исключало время |
||||
синхронных DEBUG-вызовов между концом обработки и обновлением timestamp. |
||||
Новая диагностика охватывает весь callback, включая эти логи. |
||||
Работающий GUI не перезапускался, поэтому новый инструмент ещё не записал этот |
||||
сбой на реальном звонке. Лог Samsung сохранён в `/tmp/sm-audio-current.log`. |
||||
|
||||
## Найденные дефекты и ограничения до исправлений |
||||
|
||||
| Место | Поведение и последствия | Необходимая доработка | |
||||
| --- | --- | --- | |
||||
| `lib/miniaudio.h`, `ma_device__handle_duplex_callback_playback()` | При пустом capture-ring `acquire_read` возвращает success с нулём кадров. Выполняется `break`, output остаётся частично незаполненным, call callback не вызывается. PulseAudio затем отправляет весь mapped buffer. | Обеспечить полный output и продолжение playback при отсутствии capture. Нельзя делать commit_read для синтетических кадров. | |
||||
| `ma_device_on_write__pulse()` | Успешная запись с нулём обработанных кадров не уменьшает остаток цикла. Возможно бесконечное вращение с блокированием того же PA mainloop, включая capture. | Немедленно выходить при отсутствии продвижения, возвращать управление mainloop. Логировать состояние и запрос, не пытаться записывать до успеха в этом callback. | |
||||
| `ma_device_on_read__pulse()` | PA hole отбрасывается без подачи соответствующего количества нулевых кадров. Из capture timeline исчезает интервал, duplex-ring может опустеть. | Сохранять длительность hole тишиной либо явно обозначать discontinuity независимому capture-тракту. | |
||||
| `lib/speex_aec.c`, `speex_aec_feed_playback()` | Обрабатывает только остаток одного 960-sample кадра, отбрасывая хвост входного блока. Контракт разрешает произвольный count. | Циклом потреблять весь count, складывать все полные кадры, сохранять остаток. | |
||||
| `CallAudioEngine::setPlaybackDeviceIndex()` | После неудачного пересоздания `m_active` остаётся true при отсутствии устройства; `start` того же звонка возвращает успех. | Разделить желание продолжать звонок и работоспособность устройства. Ошибка запуска переводит устройство в recovering. | |
||||
| `RadioAudioEngine::teardownDevice()` | Если playback init успешен, а start нет, uninit пропускается: он зависит от флага started. Объект удаляется вместе с незавершёнными ресурсами. | Разделить initialized и started; каждый успешный init обязательно завершать uninit. | |
||||
| `MainWindow::~MainWindow()` / `SoundManager::shutdown()` | Общий context освобождается вместе с engine, но звонок и рация здесь явно не останавливаются. Их singleton-объекты могут оставлять живые устройства. `m_context` также не обнуляется. | Сначала остановить все зависимые устройства и дождаться callbacks, затем освобождать общий context. | |
||||
| `AudioRecorder` | Callback выбирает глобальный `g_recorder`, игнорируя `pUserData`. Второй recorder, в том числе тест микрофона, заменяет получателя. Флаги/уровень/вектор waveform используются из GUI и аудиопотока без согласованной синхронизации. | Использовать `pUserData`; передавать уровни атомарно, waveform — безопасным snapshot; буфер записи должен иметь однозначного владельца. | |
||||
|
||||
До исправлений первые два дефекта воспроизводились стендом без аппаратуры: |
||||
duplex оставлял sentinel в output при starvation, а PA-write без продвижения |
||||
требовал внешней остановки. AEC из 1200 + 720 samples сохранял один кадр вместо |
||||
двух. Теперь эти проверки требуют полного output, самостоятельного возврата |
||||
из callback и двух сохранённых AEC-кадров; результаты приведены ниже. |
||||
|
||||
Capture-AEC также обрабатывает не более одного кадра за вызов. В звонке его |
||||
вызывают ровно с 960 samples, поэтому текущий call feed этот случай не нарушает. |
||||
При расширении API нельзя объявлять произвольный count без согласованного размера |
||||
выходного буфера. `speex_aec_reset()` уже существует: новый API для сброса самого |
||||
AEC не нужен, но нужен согласованный сброс всего локального voice-тракта. |
||||
|
||||
## Чистота реализации |
||||
|
||||
Этот раздел фиксирует исходный аудит; изменения владения и ограничение работы |
||||
callback описаны в разделе «Реализация». |
||||
|
||||
Нормальная структура уже есть: GUI владеет устройствами, сервисный слой кодирует |
||||
Opus и обрабатывает jitter, сетевой поток доставляет пакеты. Нет необходимости |
||||
переписывать весь стек или заводить новый backend. |
||||
|
||||
Однако границы владения не завершены: context фактически принадлежит engine |
||||
звуковых уведомлений, а используется независимыми устройствами звонка/рации. |
||||
Флаги active/started/initialized местами смешивают три разных состояния. |
||||
Выбор input применяется к recorder, звонок использует default input, рация — |
||||
default устройства. Output звонка и SoundManager тоже выбираются отдельно. |
||||
Индекс перечисления не является устойчивой идентичностью устройства после hotplug. |
||||
В radio capture fallback `useDefault` фактически повторяет ту же попытку: |
||||
`pDeviceID` и так NULL в обеих ветках. Callbacks рации запускаются раньше |
||||
подготовки capture-буфера и установки VAD; порядок запуска нужно привести к |
||||
«сначала состояние и буферы, затем устройства», чтобы исключить гонки при старте. |
||||
|
||||
Callback не является строго realtime-safe. Capture удерживает `g_mtx` во время |
||||
AEC/AGC/Opus; отправка выделяет память и вызывает `uasync_post`. Playback вызывает |
||||
SoundTouch и код с возможным расширением контейнеров, mutex и синхронными логами. |
||||
Приём пакетов тоже может держать mutex при работе с jitter и логировании. |
||||
Плохие Opus-кадры могут последовательно выбираться из большой очереди в одном |
||||
pull: нужен предел работы на callback. Новая диагностика покажет, где это |
||||
действительно нарушает deadline. Перенос всего DSP в ещё один worker заранее |
||||
увеличит число очередей и точек синхронизации без установленной необходимости. |
||||
|
||||
AEC получает reference только звонка. Звуки отдельного SoundManager в него не |
||||
попадают; delay по умолчанию фиксирован, не вычисляется по фактической задержке |
||||
устройств. Это ограничение качества эхоподавления, а не установленная причина |
||||
текущего зависания. |
||||
|
||||
Jitter умеет повторно накопить резерв после сетевого underrun, но диапазон tempo |
||||
ограничен 1,0–1,6. Ускорение убирает избыток, а замедления для компенсации более |
||||
медленных часов отправителя нет. При устойчивом отрицательном дрейфе резерв будет |
||||
снова опустошаться. Это отдельная задача длительных звонков: после восстановления |
||||
устройств проверить наклон глубины буфера и при необходимости добавить небольшую |
||||
компенсацию дрейфа в обе стороны, не смешивая её с быстрым catch-up после паузы. |
||||
|
||||
Принудительные 480 frames задают период 10 мс при 48 кГц. Собственный PA default |
||||
miniaudio — 25 мс с комментарием о проблемах PipeWire при периодах меньше ~20 мс. |
||||
Период backend и Opus-кадр 20 мс должны оставаться независимыми. Увеличивать |
||||
период до исправления AEC нельзя: 1200-sample блоки уже воспроизводят потерю хвоста. |
||||
После исправления разумно сначала проверить default backend и измерить задержку. |
||||
|
||||
## Предлагаемое восстановление без большого усложнения |
||||
|
||||
### 1. Сначала восстановить инварианты обработки и владения |
||||
|
||||
Исправить полный output, zero-progress, AEC accumulation и uninit при неудачном |
||||
start. Перед освобождением context явно остановить recorder, звонок, рацию и |
||||
прочие его устройства. До остановки отменять recovery timer; после join можно |
||||
сбрасывать voice-ресурсы. Проверять возвраты feed/start/init и логировать причину. |
||||
|
||||
Самый небольшой вариант — оставить один duplex-device: при нехватке capture |
||||
подать в call callback нулевой input, полностью сформировать playback и не |
||||
продвигать реальный capture-ring за синтетические samples. Это чинит непосредственный |
||||
дефект, но сохраняет общий жизненный цикл input/output и синтетический TX по |
||||
playback-clock. |
||||
|
||||
Для устойчивости к исчезновению микрофона предпочтительнее два устройства |
||||
capture/playback внутри существующего `CallAudioEngine`, как уже сделано в рации. |
||||
Capture только накапливает 960 samples и вызывает feed; playback независимо |
||||
вызывает pull и всегда заполняет output. Это два handle с одним владельцем, |
||||
без нового DSP-worker или дополнительной PCM-очереди. Потребуется уточнить |
||||
потоковый контракт voice-слоя: один capture-writer и один playback-writer, |
||||
согласованный доступ к AEC, остановка обоих до release. Текущий `g_mtx` уже |
||||
защищает AEC, но остальные общие поля нужно проверить перед разделением. |
||||
|
||||
### 2. Разделить краткий underrun и неисправность устройства |
||||
|
||||
| Событие | Действие | |
||||
| --- | --- | |
||||
| Нет сетевого PCM, callback продолжает приходить | Тишина/существующий gap tone; jitter автоматически накапливает данные. Устройство не пересоздавать. | |
||||
| Один backend underrun, новые кадры принимаются | Подать следующий полностью заполненный буфер; собрать счётчик. Не сбрасывать AEC и не запускать restart на каждый xrun. | |
||||
| Hole/переполнение capture | Учесть потерянную длительность; краткую потерю пережить, длительную отметить discontinuity для AEC. | |
||||
| Поток failed/stopped или нет продвижения кадров длительное время | Перейти в recovering и пересоздать затронутое устройство вне callback. | |
||||
| Suspend/resume ОС | Учитывать suspend как отдельную причину, восстановление проверять после resume; не запускать частый restart-loop во время сна. | |
||||
| Потерян общий backend/context | Однократно остановить всех его пользователей, восстановить владельца, затем требуемые устройства. | |
||||
|
||||
Один owner timer и состояния `Stopped / Running / Recovering` достаточны. |
||||
`wanted` хранит желание пользователя продолжать; generation меняется при stop, |
||||
новом звонке и смене устройства. Каждая отложенная попытка проверяет generation |
||||
и wanted — законченный звонок никогда не возрождается. |
||||
|
||||
Callbacks только обновляют атомарные счётчики успешно обработанных кадров и |
||||
признак backend failure. Watchdog проверяет фактический прогресс отдельно по |
||||
направлениям. Тишина в PCM не означает остановку устройства. Reporter диагностической |
||||
очереди не должен становиться watchdog: его события могут теряться. |
||||
|
||||
Начальные значения для проверки: timer 200 мс, подозрение при отсутствии прогресса |
||||
500 мс после startup grace; повторные попытки через 250/500/1000 мс с потолком |
||||
2 секунды. Это предлагаемые настройки, не доказанные универсальные пределы. |
||||
Suspend и фактический согласованный backend period должны учитываться отдельно. |
||||
Нельзя обещать bounded recovery, пока init/stop/uninit сами могут зависнуть: |
||||
сначала устранить spin-loop и проверить время backend-операций. Если они реально |
||||
блокируют GUI, вынести только управление устройствами в один owner-thread, |
||||
сохранив тот же автомат состояний. |
||||
|
||||
На пересоздании сбросить capture-accumulator, AEC delay/filter и локальный PCM/ |
||||
stretch, сохранив call ID и сетевую сессию. После длительной аппаратной паузы |
||||
устаревшую речь нужно явно отбросить до актуального резерва jitter, иначе |
||||
15 секунд накопленного звука при скорости 160% разгружаются примерно 25 секунд. |
||||
Этот сброс применять только при аппаратной discontinuity; обычный сетевой jitter |
||||
не должен автоматически приводить к отбрасыванию очереди. |
||||
|
||||
Устройство хранить по backend ID либо как default, не по индексу. При его |
||||
исчезновении попробовать default и явно сообщить о смене; выбранное устройство |
||||
можно вернуть при появлении. Нужны ошибки с ID/именем/направлением и результатом |
||||
попытки. Для PA-ошибок следующий уровень диагностики — stream/context state и |
||||
`pa_context_errno`, потому что один `-1` от API не объясняет причину. |
||||
|
||||
### 3. Проверить сценарии, а не только успешный старт |
||||
|
||||
После реализации добавить проверки: capture starvation 20/500 мс и возврат; |
||||
hole; AEC блоки, пересекающие границу кадра; zero writable; ошибка записи; |
||||
исчезновение выбранного устройства и появление default; suspend/resume; |
||||
перезапуск звукового сервера; stop во время backoff; закрытие GUI при активном |
||||
звонке/рации. Проверять полный output, bounded очереди и работу callback, |
||||
возобновление прогресса, отсутствие callbacks после release и отсутствие |
||||
повторного старта после пользовательского stop. |
||||
|
||||
## Как читать добавленную диагностику |
||||
|
||||
В GUI-категориях включить `call=debug` либо задать отдельную строку в INI: |
||||
|
||||
```ini |
||||
[debug] |
||||
call=debug |
||||
``` |
||||
|
||||
Обычные сводки идут на DEBUG, аномалии — WARN/ERROR; miniaudio info перенесён |
||||
на DEBUG, подробный backend log — TRACE. Все устройства используют категорию |
||||
call, включая recorder, radio и sound-engine; role и ID различают их в строках. |
||||
Не включать глобальный trace для всего проекта при измерении аудио. |
||||
|
||||
Reporter раз в секунду печатает stage, tid, callbacks/s, requested frames/s, |
||||
максимальный интервал между входами, полное wall-time обработки и thread CPU-time, |
||||
незавершённый вход и время с последнего входа. `work_max` и `cpu_max` — отдельные |
||||
максимумы за окно, они не обязательно относятся к одному вызову. |
||||
|
||||
| Stage | Что измеряется | |
||||
| --- | --- | |
||||
| loop | Один `pa_mainloop_iterate`, включая ожидание и вложенные callbacks. Долгое время само по себе не доказывает тяжёлый DSP. | |
||||
| read / write | Полный backend read/write callback. Frames/s здесь — запрошенные, не гарантированно обработанные кадры. | |
||||
| map | `writable_size` и `begin_write`; пустой/ошибочный выход тоже закрывает измерение. | |
||||
| submit | Вызов `pa_stream_write`. | |
||||
| duplex | Перенос capture-ring в duplex-output; detail содержит глубину capture-ring. | |
||||
| callback | Полный miniaudio data callback, включая код приложения и его синхронные логи. | |
||||
| feed / pull | Capture DSP/encode/send и playback jitter/stretch/tone в звонке. | |
||||
|
||||
`unfilled_frames` — незаполненный output, `hole_frames` — потеря capture timeline, |
||||
`capture_drop_frames` — переполнение capture-ring, `no_progress` — PA-write без |
||||
продвижения. `backend_underruns` — отдельный callback самого PA-stream; это не |
||||
то же самое, что пустой сетевой jitter. `backend playback started/resumed` |
||||
показывает фактическое начало/возобновление playback. Notification содержит |
||||
числовые miniaudio type/state. |
||||
|
||||
Первое событие каждого типа за окно имеет tid и CLOCK_MONOTONIC timestamp; |
||||
повторения суммируются. Для задержавшихся потоков reporter читает `/proc` wchan |
||||
и накопленные schedstat CPU/ready-wait/slices. Сравнивать соседние snapshots: |
||||
сами totals не являются длительностью текущей паузы. CPU-time намного меньше |
||||
wall-time означает ожидание/вытеснение; wchan помогает отличить poll от mutex/ |
||||
I/O wait. Это снимок в момент отчёта, не исторический стек зависшего вызова. |
||||
|
||||
Producer не выделяет память, не ждёт mutex reporter и не пишет диагностические |
||||
логи: ограниченная MPSC-очередь 8192 события, не более четырёх CAS-попыток. |
||||
Reporter не разыменовывает ma_device/pa_stream. Переполнение логируется как |
||||
`diagnostic events lost`; такое окно нельзя считать полным. Инструментация |
||||
добавляет получение часов/TID и атомарные операции, поэтому overhead ненулевой. |
||||
Частые события call jitter/AEC/TX теперь публикуются счётчиками и выводятся из |
||||
uasync вне аудиомьютекса. Часть существующих логов рации остаётся синхронной; |
||||
тракт не объявляется строго realtime-safe. |
||||
После close устройство удаляется из reporter: для устройств короче секунды |
||||
доступны lifecycle и первые аномалии, но не полная секундная сводка. |
||||
|
||||
Новый binary собран в `tools/chatgui/build/vibechat`; для нового измерения нужен |
||||
его обычный перезапуск. Изменение файла binary не обновляет уже запущенный процесс. |
||||
|
||||
## Реализация (2026-10-02) |
||||
|
||||
`SoundManager` владеет общим контекстом и конечными выходами. На каждый фактический |
||||
выход приходится один микшер: PCM сообщений/видео, заранее декодированные сигналы, |
||||
готовый голос звонка и рации. После суммирования float PCM ограничивается, и один |
||||
и тот же stereo буфер отправляется устройству и AEC соответствующего микрофона. |
||||
Звук другого выхода в референс не входит. Default/явный backend ID объединяются; |
||||
PulseAudio также публикует идентификатор фактического маршрута. После server move |
||||
совпавшие выходы объединяются в GUI только после подтверждения фактического |
||||
маршрута; предположение о default не используется вместо PA snapshot. При временной коллизии дополнительный выход |
||||
отдаёт тишину до объединения. Изменение списка источников выполняется после stop |
||||
callback, с сохранением backend stream и выбранного сервером маршрута. |
||||
|
||||
Устройства сохраняются как backend ID вместо индекса. При init/start failure |
||||
явного выбора пробуется default, причина логируется. Выбранный ID сохраняется; |
||||
вернуться к нему можно повторным выбором или при следующем recovery. Автоматический |
||||
опрос hotplug для возврата на первоначальный выбор не добавлен. |
||||
|
||||
`AudioDevice` — владелец одного miniaudio device в GUI. Успешный init всегда имеет |
||||
парный uninit, включая ошибку start. Callback и его состояние готовятся до start. |
||||
Close останавливает/join-ит device worker перед освобождением callback. Отдельный |
||||
атомарный счётчик кадров контролирует прогресс. Таймер 200 мс проверяет stopped |
||||
и отсутствие продвижения 1 с; suspend продлевает grace, отдельный xrun не вызывает |
||||
restart. Backoff: 250/500/1000/2000 мс, сброс после продвижения. |
||||
|
||||
Miniaudio не добавляет накопитель фиксированного периода: `noFixedSizedCallback` |
||||
включён, hardware chunks могут иметь любую длину. В PulseAudio физическое начало |
||||
блока определяется по timing snapshot с AUTO_TIMING_UPDATE/INTERPOLATE_TIMING. |
||||
Capture: monotonic now минус latency read index, без повторного вычитания длины |
||||
блока. Playback: now плюс latency write index. Учитываются задержка converter и |
||||
остающийся input cache. Один backend dispatch имеет один snapshot, позиции |
||||
последующих client callbacks продвигаются по числу кадров. В отсутствие snapshot |
||||
используется оценка по callback; источник времени и physical route логируются. |
||||
PA hole отдельно помечен как отсутствующий capture, а не как реальная тишина. |
||||
|
||||
`VoiceAudioIo` создаётся только для звонка и рации. Capture и RX обрабатывают |
||||
независимые потоки. Hardware capture только копирует PCM в фиксированную MPSC-очередь; |
||||
RX worker выполняет decode/SoundTouch/тоны и поддерживает до 40 мс готового голоса. |
||||
В сервисном слое рации вычисление Silero держит только TX mutex: общий mutex |
||||
отпущен, поэтому VAD не блокирует RX; lifetime и порядок PCM/PTT сохранены. |
||||
Hardware output смешивает готовый PCM. Opus, AEC, VAD, AGC и растущие буферы записи |
||||
не исполняются в аппаратных callbacks. Обработка самого backend, PCM/resampler |
||||
узлов miniaudio и атомарные уведомления остаются в callback; строгая hard realtime |
||||
гарантия не заявляется. |
||||
|
||||
Capture worker — единственный владелец AEC и порядка PCM/PTT/mute. Кадр AEC — |
||||
960 отсчётов на канал; 1/2 канала микрофона и 2 независимых канала референса. |
||||
Противофазное стерео не усредняется. История рендера содержит до 1,92 с PCM и |
||||
физические timestamps. Reference выбирается по времени микрофона; небольшое |
||||
различие часов компенсируется интерполяцией только референса. Реальная тишина |
||||
сохраняется как валидный PCM; при отсутствующем reference AEC пропускает микрофон |
||||
и не адаптируется. Потеря reference, смена маршрута/поколения и скачок часов |
||||
сбрасывают фильтр. Возраст capture-очереди ограничен 100 мс от enqueue, отдельно |
||||
от собственной задержки backend. Потери и очередь видны в сводках категории `aec`. |
||||
|
||||
Mute применяется после AEC/AGC: фильтр продолжает получать настоящий микрофон, |
||||
а Opus получает нули только в отмеченной части кадра. Desktop запускает core |
||||
через `call_audio_start_prepared`: повторного core AEC нет. Raw API с core AEC |
||||
сохранён для Android/headless; смешивать политики в активном звонке нельзя. |
||||
|
||||
У рации один автомат передачи: manual PTT или VAD. VAD читает непрерывный очищенный |
||||
сигнал до AGC, включая время ручного PTT. Передача использует отдельный накопитель |
||||
Opus-кадра; границы PTT внутри AEC-кадра сохраняются. При закрытии серии хвост |
||||
дополняется нулями только перед Opus и помещается в очередь перед FIN. Короткий |
||||
capture tail при stop проходит без AEC, а не дополняет непрерывный фильтр. Разрыв |
||||
захвата завершает старый сетевой хвост и сбрасывает VAD, исключая склейку через |
||||
потерянные отсчёты. Capture restart завершает принятую серию; новое прослушивание |
||||
того же канала отменяет старые BEGIN/media. FIN проверяет токен своего capture/burst |
||||
и поколение экземпляра ядра, поэтому не закрывает более новую серию и не обращается |
||||
к освобождённому ядру даже при повторном использовании его адреса. |
||||
|
||||
TX ограничен 8 media-задачами, возраст — 200 мс. У рации дополнительно ограничено |
||||
16 control-задач; FIN выделяется заранее вместе с BEGIN. Если control-очередь |
||||
занята, новый BEGIN откладывается до освобождения; это логируется. Очередь PCM |
||||
резервирует 8 слотов для управляющих сообщений; producer не меняет consumer и |
||||
публикует слот только после копирования. Capture callback никогда не ждёт слот. |
||||
Отказ постановки GUI-команды завершает capture; таймер запускает recovery. |
||||
|
||||
`AudioRecorder` получает raw microphone без AEC. Его worker обрабатывает AGC, |
||||
накапливает запись и публикует атомарный уровень/длительность. Переполнение или |
||||
ошибка обработки отклоняют запись с логом. Meter-only использует тот же capture, |
||||
но не сохраняет PCM и не создаёт голосовое сообщение. Stop: close device, drain |
||||
и join worker, затем передача владельца записи задаче attachment. Настройки |
||||
компрессора в ходе записи применяются к следующей. |
||||
|
||||
PCM воспроизводится через независимые handles. Сообщение, видео и тест динамика |
||||
не останавливают чужой PCM; sample rate принадлежит источнику. Seek пересоздаёт |
||||
узел и очищает его read/resampler cache, сохраняя handle и владельца PCM. Cursor |
||||
вычисляется по реально обработанным графом кадрам, а не по prefetched datasource. |
||||
Pause отсоединяет узел и ждёт начатое чтение графа; resume подключает тот же узел, |
||||
сохраняя его PCM и cache. Соседние проигрыватели продолжают работать. |
||||
У асинхронного открытия видео/голоса проверяется generation. |
||||
|
||||
Потоковый AGC использует фиксированные кольца истории и PCM, нулевой lookahead |
||||
и непосредственный process_frame без растущего output. У записи lookahead явно |
||||
100 мс; растёт только сохраняемый результат. Push/flush/configure возвращают |
||||
ошибки; flush проверяется перед кодированием вложения. |
||||
|
||||
Порядок остановки голосового направления: close capture → join capture worker → |
||||
detach output → join RX worker → release core. При failed context синхронный сигнал |
||||
сначала закрывает всех клиентов, затем освобождает context. Mixer, PCM handles, |
||||
call ID и группа переживают recovery. Stop выключает recovery; таймер завершения |
||||
звонка проверяет generation. MainWindow останавливает клиентов до SoundManager |
||||
и сетевого ядра. Сетевые операции и регистрация audio ops выполняются в uasync. |
||||
|
||||
PulseAudio control-waits ограничены 1 с на операцию; при timeout operation |
||||
отменяется до возврата, исключая callback с просроченным stack pointer. Partial |
||||
init освобождает контекст/mainloop/события. Failed stream/context содержит PA |
||||
errno в логе. Zero writable/zero converter progress возвращают управление. |
||||
Последовательность нескольких операций init/uninit всё ещё может задержать GUI |
||||
дольше секунды; отдельный device owner-thread не добавлен. |
||||
|
||||
## Проверки реализации |
||||
|
||||
`vibechat` и аудиотесты собираются через CMake. Набор проверки: |
||||
|
||||
```sh |
||||
ctest --test-dir tools/chatgui/build --output-on-failure \ |
||||
-R 'test_(linux_audio|audio_timing|audio_diagnostics|audio_recovery|audio_event_queue|voice_audio_io|voice_tx|call_jitter|radio_audio|radio_jitter|voice_file)$' |
||||
make -C tests test_audio_compressor test_speex_aec |
||||
./tests/test_audio_compressor |
||||
./tests/test_speex_aec |
||||
``` |
||||
|
||||
Добавлены отдельные проверки MPSC (80000 сообщений, reserve/control, слот ещё не |
||||
опубликован), точных PCM/PTT/mute границ, короткого хвоста, независимого RX при |
||||
задержке capture worker, противофазного stereo AEC, старого физического timestamp |
||||
при свежем enqueue, совпадения реальных Opus-пакетов с правильно дополненным |
||||
хвостом, rapid PTT, capture restart, отмены старого прослушивания и bounded control. |
||||
Проверяются manual/VAD handover |
||||
без второй серии и продвижение настоящего сервисного RX при заблокированном VAD. |
||||
Timing test проверяет read-index timestamp, несколько converter callbacks одного |
||||
блока и метку hole. Recorder тестирует raw PCM и отсутствие вложения в meter-only. |
||||
|
||||
Speex проверяет подавление эха и сохранение double-talk также для двух микрофонов |
||||
с двумя независимыми каналами reference. В детерминированном синтетическом тесте |
||||
остаточная энергия эха — около 0,009 исходной; корреляция near-end — около 0,95. |
||||
Эти величины относятся только к тесту, а не к реальным акустическим условиям. |
||||
|
||||
В `/tmp/utun-audio-asan` проверяются пять тестов нового тракта с ASAN/UBSAN и |
||||
LeakSanitizer; LeakSanitizer запускается вне песочницы. MPSC отдельно проверяется |
||||
ThreadSanitizer. Изолированный интеграционный запуск: |
||||
|
||||
```sh |
||||
python3 tools/chatgui/tests/run_pulse_recovery.py |
||||
``` |
||||
|
||||
Итоговый прогон 2026-10-02: сборка `vibechat` успешна, CTest — 11/11, |
||||
ASAN/UBSAN/LeakSanitizer — 5/5, компрессор — 479/479, Speex — PASS, |
||||
MPSC под ThreadSanitizer — PASS. Timing-стенд прошёл ещё 100 последовательных |
||||
повторов. Пауза PCM проверяется также серией pause/resume при работающем соседнем |
||||
проигрывателе; она ждёт чтение узла, а не только меняет его флаг. |
||||
|
||||
Тест создаёт собственные PipeWire/PulseAudio/WirePlumber в `/tmp`, отключает |
||||
аппаратные monitors и использует два виртуальных sink. Проверяет объединение |
||||
voice с общим выходом после `move-sink-input`, сохранение desired выхода звонка |
||||
при recovery общего выхода (включая server stream-restore), затем восстановление capture/PCM |
||||
после остановки и запуска своего PulseAudio. Звонок и рация сохраняют идентичность; |
||||
recorder и медиа продолжают работу. Системный аудиосервер не затрагивается. |
||||
|
||||
Исторические проверки исходного recovery: полный `check.sh` — 119 passed, |
||||
0 failed, 1 skipped; proxy/burst/load интеграции прошли. По указанию пользователя |
||||
async-тесты исключены из дальнейших запусков. APK ранее собран offline; установка |
||||
на телефон не выполнялась. |
||||
|
||||
Физический USB/Bluetooth hotplug, сон ОС, внешние звуки других приложений и качество |
||||
AEC в длительном реальном звонке этими проверками не подтверждены. Reference |
||||
охватывает звук этого приложения на том же выходе, согласно выбранному контракту. |
||||
|
||||
## Референсы |
||||
|
||||
Первичные исходники и документация просмотрены 2026-10-01; ссылки на master могут |
||||
изменяться. Используем принципы, а не копируем целиком архитектуру библиотеки. |
||||
|
||||
- [PipeWire audio-src-ring.c](https://docs.pipewire.org/audio-src-ring_8c-example.html): |
||||
callback читает доступные кадры, заполняет остаток тишиной и возвращает полный |
||||
буфер; пополнение инициирует через событие управляющего потока. Хороший минимальный |
||||
пример поведения при пустой PCM-очереди. |
||||
- [PulseAudio stream API](https://github.com/pulseaudio/pulseaudio/blob/master/src/pulse/stream.h): |
||||
отдельные underflow/overflow/started/suspended/moved callbacks; peek различает |
||||
пустую очередь и hole с ненулевой длиной. Нужно разделять эти состояния в логах. |
||||
- [PulseAudio pacat.c](https://github.com/pulseaudio/pulseaudio/blob/master/src/utils/pacat.c): |
||||
underflow callback сообщает событие без пересоздания stream. При failed context |
||||
утилита завершает работу — это пример диагностики, не готовая self-healing система. |
||||
- [Mozilla cubeb PulseAudio backend](https://github.com/mozilla/cubeb/blob/master/src/cubeb_pulse.c): |
||||
явные context/stream states, пересоздание ошибочного context при инициализации, |
||||
согласованное отключение callbacks и доступ под mainloop lock; minimum latency |
||||
25 мс. Это полезный референс владения и границ управления, а не основание |
||||
автоматически заимствовать всю библиотеку. |
||||
- [miniaudio](https://github.com/mackron/miniaudio/blob/master/miniaudio.h): |
||||
init/start/stop/uninit запрещены внутри data callback из-за deadlock. Просмотренный |
||||
upstream тоже содержит break при пустом duplex-ring: обновление библиотеки само |
||||
по себе не решает этот найденный дефект. |
||||
@ -0,0 +1,12 @@
|
||||
Работа лички |
||||
|
||||
1. отдели логику лички от логики групповых чатов. не смешивай. |
||||
|
||||
Работа лички. сообщения и медиа доставляется напрямую если узел доступен через bgp. |
||||
если недоступен - то pending сообщения сохраняются на суперузле и pending media сохраняется на каком-либо медиаузле, а суперузлу сообщается где хранится медиа. |
||||
при появлении пира суперузел организует доставку медиа до получателя. после успешной доставки медиа/сообщений они удаляются с промежуточных узлов. |
||||
|
||||
время хранения медиафайлов на промежуточных узлах ограничено - 1 неделя по умолчанию (задачется в конфиге этих узлов). |
||||
для доставки медиа поднимаем линк (conn_mgr). |
||||
|
||||
и посмотри реализацию медиа для групповых чатов. |
||||
@ -0,0 +1,301 @@
|
||||
#include "silero_vad.h" |
||||
#include "debug_config.h" |
||||
#include "mem.h" |
||||
|
||||
#ifdef HAVE_SILERO_VAD |
||||
|
||||
#include <stdio.h> |
||||
#include <string.h> |
||||
|
||||
#include <onnxruntime/onnxruntime_c_api.h> |
||||
|
||||
#include "silero_vad_model.inc" |
||||
|
||||
/* Число float-элементов рекуррентного состояния модели: 2 * 1 * 128 */ |
||||
#define SILERO_VAD_STATE_COUNT 256 |
||||
|
||||
struct silero_vad { |
||||
const OrtApi* ort; |
||||
OrtEnv* env; |
||||
OrtSession* session; |
||||
OrtMemoryInfo* mem_info; |
||||
float state[SILERO_VAD_STATE_COUNT]; /* рекуррентное состояние между вызовами */ |
||||
uint8_t* model_data; /* байты .onnx, загруженные в память (для file-версии) */ |
||||
size_t model_len; |
||||
}; |
||||
|
||||
/* Освободить OrtStatus и залогировать его сообщение как ошибку */ |
||||
static void vad_report_ort_error(const OrtApi* ort, OrtStatus* status, const char* what) { |
||||
const char* msg = ort->GetErrorMessage(status); |
||||
DEBUG_ERROR(DEBUG_CATEGORY_VAD, "%s: %s", what, msg ? msg : "unknown onnxruntime error"); |
||||
ort->ReleaseStatus(status); |
||||
} |
||||
|
||||
/* Прочитать файл целиком в буфер. 0 при успехе: буфер пишется в out/out_len (u_malloc). */ |
||||
static int vad_read_file(const char* path, uint8_t** out, size_t* out_len) { |
||||
FILE* f; |
||||
long size; |
||||
uint8_t* buf; |
||||
|
||||
*out = NULL; |
||||
*out_len = 0; |
||||
|
||||
f = fopen(path, "rb"); |
||||
if (!f) { |
||||
DEBUG_ERROR(DEBUG_CATEGORY_VAD, "vad_read_file: cannot open model '%s'", path); |
||||
return -1; |
||||
} |
||||
if (fseek(f, 0, SEEK_END) != 0) { |
||||
DEBUG_ERROR(DEBUG_CATEGORY_VAD, "vad_read_file: fseek failed on '%s'", path); |
||||
fclose(f); |
||||
return -1; |
||||
} |
||||
size = ftell(f); |
||||
if (size <= 0) { |
||||
DEBUG_ERROR(DEBUG_CATEGORY_VAD, "vad_read_file: empty or unreadable model '%s'", path); |
||||
fclose(f); |
||||
return -1; |
||||
} |
||||
rewind(f); |
||||
|
||||
buf = (uint8_t*)u_malloc((size_t)size); |
||||
if (!buf) { |
||||
DEBUG_ERROR(DEBUG_CATEGORY_VAD, "vad_read_file: OOM for %ld bytes", size); |
||||
fclose(f); |
||||
return -1; |
||||
} |
||||
if (fread(buf, 1, (size_t)size, f) != (size_t)size) { |
||||
DEBUG_ERROR(DEBUG_CATEGORY_VAD, "vad_read_file: short read on '%s'", path); |
||||
u_free(buf); |
||||
fclose(f); |
||||
return -1; |
||||
} |
||||
fclose(f); |
||||
|
||||
*out = buf; |
||||
*out_len = (size_t)size; |
||||
return 0; |
||||
} |
||||
|
||||
/* Общая инициализация детектора из байтов модели (файл или вшитая модель).
|
||||
* data может указывать на внешний буфер (вшитая модель) — тогда не освобождается. */ |
||||
static silero_vad_t* silero_vad_create_from_bytes(const uint8_t* data, size_t len, |
||||
const uint8_t* owned_buf, const char* label) { |
||||
silero_vad_t* vad = NULL; |
||||
const OrtApi* ort; |
||||
OrtStatus* status; |
||||
OrtSessionOptions* opts = NULL; |
||||
|
||||
if (!data || len == 0) { |
||||
DEBUG_ERROR(DEBUG_CATEGORY_VAD, "silero_vad_create(%s): empty model", label); |
||||
return NULL; |
||||
} |
||||
|
||||
ort = OrtGetApiBase() ? OrtGetApiBase()->GetApi(ORT_API_VERSION) : NULL; |
||||
if (!ort) { |
||||
DEBUG_ERROR(DEBUG_CATEGORY_VAD, "silero_vad_create(%s): onnxruntime C API unavailable", label); |
||||
return NULL; |
||||
} |
||||
|
||||
vad = (silero_vad_t*)u_calloc(1, sizeof(*vad)); |
||||
if (!vad) { |
||||
DEBUG_ERROR(DEBUG_CATEGORY_VAD, "silero_vad_create(%s): OOM", label); |
||||
return NULL; |
||||
} |
||||
vad->ort = ort; |
||||
vad->model_data = (uint8_t*)owned_buf; |
||||
vad->model_len = len; |
||||
|
||||
status = ort->CreateEnv(ORT_LOGGING_LEVEL_WARNING, "utun_silero_vad", &vad->env); |
||||
if (status) { vad_report_ort_error(ort, status, "CreateEnv"); goto fail; } |
||||
|
||||
status = ort->CreateSessionOptions(&opts); |
||||
if (status) { vad_report_ort_error(ort, status, "CreateSessionOptions"); goto fail; } |
||||
status = ort->SetIntraOpNumThreads(opts, 1); |
||||
if (status) { vad_report_ort_error(ort, status, "SetIntraOpNumThreads"); } |
||||
status = ort->SetSessionGraphOptimizationLevel(opts, ORT_ENABLE_ALL); |
||||
if (status) { vad_report_ort_error(ort, status, "SetSessionGraphOptimizationLevel"); } |
||||
|
||||
status = ort->CreateSessionFromArray(vad->env, data, len, opts, &vad->session); |
||||
if (status) { vad_report_ort_error(ort, status, "CreateSessionFromArray"); goto fail; } |
||||
|
||||
status = ort->CreateCpuMemoryInfo(OrtArenaAllocator, OrtMemTypeDefault, &vad->mem_info); |
||||
if (status) { vad_report_ort_error(ort, status, "CreateCpuMemoryInfo"); goto fail; } |
||||
|
||||
ort->ReleaseSessionOptions(opts); |
||||
|
||||
DEBUG_INFO(DEBUG_CATEGORY_VAD, "silero_vad_create(%s): ok bytes=%zu", label, len); |
||||
return vad; |
||||
|
||||
fail: |
||||
if (opts) ort->ReleaseSessionOptions(opts); |
||||
silero_vad_destroy(vad); |
||||
return NULL; |
||||
} |
||||
|
||||
silero_vad_t* silero_vad_create(const char* model_path) { |
||||
uint8_t* buf = NULL; |
||||
size_t len = 0; |
||||
silero_vad_t* vad; |
||||
|
||||
if (!model_path || !*model_path) { |
||||
DEBUG_ERROR(DEBUG_CATEGORY_VAD, "silero_vad_create: empty model path"); |
||||
return NULL; |
||||
} |
||||
if (vad_read_file(model_path, &buf, &len) != 0) return NULL; |
||||
vad = silero_vad_create_from_bytes(buf, len, buf, model_path); |
||||
if (!vad) u_free(buf); |
||||
return vad; |
||||
} |
||||
|
||||
silero_vad_t* silero_vad_create_default(void) { |
||||
return silero_vad_create_from_bytes(silero_vad_model_data, silero_vad_model_len, NULL, "embedded"); |
||||
} |
||||
|
||||
void silero_vad_destroy(silero_vad_t* vad) { |
||||
if (!vad) return; |
||||
const OrtApi* ort = vad->ort; |
||||
if (ort) { |
||||
if (vad->mem_info) ort->ReleaseMemoryInfo(vad->mem_info); |
||||
if (vad->session) ort->ReleaseSession(vad->session); |
||||
if (vad->env) ort->ReleaseEnv(vad->env); |
||||
} |
||||
if (vad->model_data) u_free(vad->model_data); |
||||
DEBUG_DEBUG(DEBUG_CATEGORY_VAD, "silero_vad_destroy"); |
||||
u_free(vad); |
||||
} |
||||
|
||||
void silero_vad_reset(silero_vad_t* vad) { |
||||
if (!vad) return; |
||||
memset(vad->state, 0, sizeof(vad->state)); |
||||
DEBUG_DEBUG(DEBUG_CATEGORY_VAD, "silero_vad_reset"); |
||||
} |
||||
|
||||
int silero_vad_process(silero_vad_t* vad, const float* samples, float* prob) { |
||||
const OrtApi* ort; |
||||
OrtStatus* status; |
||||
OrtValue* in_input = NULL; |
||||
OrtValue* in_state = NULL; |
||||
OrtValue* in_sr = NULL; |
||||
OrtValue* out_prob = NULL; |
||||
OrtValue* out_state = NULL; |
||||
const char* input_names[3]; |
||||
const char* output_names[2]; |
||||
const OrtValue* inputs[3]; |
||||
OrtValue* outputs[2]; |
||||
int64_t shape_input[2] = {1, SILERO_VAD_WINDOW_SAMPLES}; |
||||
int64_t shape_state[3] = {2, 1, 128}; |
||||
int64_t shape_prob[2] = {1, 1}; |
||||
int64_t sr_value = SILERO_VAD_SAMPLE_RATE; |
||||
float prob_local = 0.0f; |
||||
float next_state[SILERO_VAD_STATE_COUNT]; |
||||
int rc = -1; |
||||
|
||||
if (!vad || !samples || !prob) { |
||||
DEBUG_ERROR(DEBUG_CATEGORY_VAD, "silero_vad_process: invalid args"); |
||||
return -1; |
||||
} |
||||
ort = vad->ort; |
||||
|
||||
status = ort->CreateTensorWithDataAsOrtValue(vad->mem_info, (void*)samples, |
||||
SILERO_VAD_WINDOW_SAMPLES * sizeof(float), shape_input, 2, |
||||
ONNX_TENSOR_ELEMENT_DATA_TYPE_FLOAT, &in_input); |
||||
if (status) { vad_report_ort_error(ort, status, "input tensor"); return -1; } |
||||
|
||||
status = ort->CreateTensorWithDataAsOrtValue(vad->mem_info, vad->state, |
||||
SILERO_VAD_STATE_COUNT * sizeof(float), shape_state, 3, |
||||
ONNX_TENSOR_ELEMENT_DATA_TYPE_FLOAT, &in_state); |
||||
if (status) { vad_report_ort_error(ort, status, "state tensor"); goto done; } |
||||
|
||||
status = ort->CreateTensorWithDataAsOrtValue(vad->mem_info, &sr_value, |
||||
sizeof(sr_value), NULL, 0, |
||||
ONNX_TENSOR_ELEMENT_DATA_TYPE_INT64, &in_sr); |
||||
if (status) { vad_report_ort_error(ort, status, "sr tensor"); goto done; } |
||||
|
||||
status = ort->CreateTensorWithDataAsOrtValue(vad->mem_info, &prob_local, |
||||
sizeof(float), shape_prob, 2, |
||||
ONNX_TENSOR_ELEMENT_DATA_TYPE_FLOAT, &out_prob); |
||||
if (status) { vad_report_ort_error(ort, status, "output tensor"); goto done; } |
||||
|
||||
status = ort->CreateTensorWithDataAsOrtValue(vad->mem_info, next_state, |
||||
SILERO_VAD_STATE_COUNT * sizeof(float), shape_state, 3, |
||||
ONNX_TENSOR_ELEMENT_DATA_TYPE_FLOAT, &out_state); |
||||
if (status) { vad_report_ort_error(ort, status, "stateN tensor"); goto done; } |
||||
|
||||
input_names[0] = "input"; |
||||
input_names[1] = "state"; |
||||
input_names[2] = "sr"; |
||||
inputs[0] = in_input; |
||||
inputs[1] = in_state; |
||||
inputs[2] = in_sr; |
||||
|
||||
output_names[0] = "output"; |
||||
output_names[1] = "stateN"; |
||||
outputs[0] = out_prob; |
||||
outputs[1] = out_state; |
||||
|
||||
status = ort->Run(vad->session, NULL, input_names, inputs, 3, output_names, 2, outputs); |
||||
if (status) { |
||||
vad_report_ort_error(ort, status, "Run"); |
||||
goto done; |
||||
} |
||||
|
||||
memcpy(vad->state, next_state, sizeof(next_state)); |
||||
*prob = prob_local; |
||||
rc = 0; |
||||
|
||||
done: |
||||
if (in_input) ort->ReleaseValue(in_input); |
||||
if (in_state) ort->ReleaseValue(in_state); |
||||
if (in_sr) ort->ReleaseValue(in_sr); |
||||
if (out_prob) ort->ReleaseValue(out_prob); |
||||
if (out_state) ort->ReleaseValue(out_state); |
||||
return rc; |
||||
} |
||||
|
||||
int silero_vad_process_pcm16(silero_vad_t* vad, const int16_t* pcm, float* prob) { |
||||
float samples[SILERO_VAD_WINDOW_SAMPLES]; |
||||
int i; |
||||
|
||||
if (!pcm) { |
||||
DEBUG_ERROR(DEBUG_CATEGORY_VAD, "silero_vad_process_pcm16: pcm == NULL"); |
||||
return -1; |
||||
} |
||||
for (i = 0; i < SILERO_VAD_WINDOW_SAMPLES; i++) { |
||||
samples[i] = (float)pcm[i] / 32768.0f; |
||||
} |
||||
return silero_vad_process(vad, samples, prob); |
||||
} |
||||
|
||||
#else /* !HAVE_SILERO_VAD — пустые стабы (сборки без onnxruntime) */ |
||||
|
||||
silero_vad_t* silero_vad_create(const char* model_path) { |
||||
(void)model_path; |
||||
DEBUG_ERROR(DEBUG_CATEGORY_VAD, "silero_vad_create: built without onnxruntime (HAVE_SILERO_VAD not defined)"); |
||||
return NULL; |
||||
} |
||||
|
||||
silero_vad_t* silero_vad_create_default(void) { |
||||
DEBUG_ERROR(DEBUG_CATEGORY_VAD, "silero_vad_create_default: built without onnxruntime (HAVE_SILERO_VAD not defined)"); |
||||
return NULL; |
||||
} |
||||
|
||||
void silero_vad_destroy(silero_vad_t* vad) { |
||||
(void)vad; |
||||
} |
||||
|
||||
void silero_vad_reset(silero_vad_t* vad) { |
||||
(void)vad; |
||||
} |
||||
|
||||
int silero_vad_process(silero_vad_t* vad, const float* samples, float* prob) { |
||||
(void)vad; (void)samples; (void)prob; |
||||
return -1; |
||||
} |
||||
|
||||
int silero_vad_process_pcm16(silero_vad_t* vad, const int16_t* pcm, float* prob) { |
||||
(void)vad; (void)pcm; (void)prob; |
||||
return -1; |
||||
} |
||||
|
||||
#endif /* HAVE_SILERO_VAD */ |
||||
@ -0,0 +1,76 @@
|
||||
/**
|
||||
* Silero VAD (Voice Activity Detector) — C-обёртка над ONNX Runtime. |
||||
* |
||||
* Запускает официальную стриминговую модель silero_vad.onnx (v5, ~2.3 МБ), |
||||
* которая по окну аудио возвращает вероятность наличия речи [0..1]. |
||||
* Рекуррентное состояние (GRU) хранится внутри объекта и переносится между |
||||
* вызовами, поэтому детектор работает в потоковом (real-time) режиме. |
||||
* |
||||
* Требования к входному аудио: |
||||
* - частота дискретизации 16 кГц (модель поддерживает только 16k); |
||||
* - моно; |
||||
* - окно ровно SILERO_VAD_WINDOW_SAMPLES = 512 сэмплов (32 мс); |
||||
* - float-сэмплы в диапазоне примерно [-1;1] (для int16 есть |
||||
* silero_vad_process_pcm16, который сам делит на 32768). |
||||
* |
||||
* Порог и гистерезис (задержки начала/конца речи) намеренно оставлены |
||||
* вызывающему — радио/звонок сами решают, как интерпретировать вероятность. |
||||
* |
||||
* Зависимость: libonnxruntime (C API). Сборка включается опцией |
||||
* `--with-silero-vad` (см. configure.ac) или макросом HAVE_SILERO_VAD в |
||||
* CMake-сборках. Без HAVE_SILERO_VAD модуль компилируется в пустые стабы |
||||
* (все create-функции возвращают NULL, process — ошибку), чтобы исходники lib/ |
||||
* можно было GLOB-ить во всех сборках (Android/chatgui) без onnxruntime. |
||||
* |
||||
* Лицензия модели: MIT (Silero Team, https://github.com/snakers4/silero-vad).
|
||||
*/ |
||||
#ifndef SILERO_VAD_H |
||||
#define SILERO_VAD_H |
||||
|
||||
#include <stdint.h> |
||||
|
||||
#ifdef __cplusplus |
||||
extern "C" { |
||||
#endif |
||||
|
||||
/* Фиксированное окно стриминговой модели: 512 сэмплов @ 16 кГц = 32 мс */ |
||||
#define SILERO_VAD_WINDOW_SAMPLES 512 |
||||
#define SILERO_VAD_SAMPLE_RATE 16000 |
||||
|
||||
typedef struct silero_vad silero_vad_t; |
||||
|
||||
/**
|
||||
* Создать детектор, загрузив ONNX-модель из файла model_path. |
||||
* Возвращает NULL при ошибке (подробности — в лог категории "vad"). |
||||
*/ |
||||
silero_vad_t* silero_vad_create(const char* model_path); |
||||
|
||||
/**
|
||||
* Создать детектор из модели, вшитой в бинарник (silero_vad_model_data в |
||||
* silero_vad.c). Не требует файла на диске. NULL при ошибке. |
||||
*/ |
||||
silero_vad_t* silero_vad_create_default(void); |
||||
|
||||
/* Освободить детектор. NULL безопасен. */ |
||||
void silero_vad_destroy(silero_vad_t* vad); |
||||
|
||||
/* Сбросить рекуррентное состояние (начало нового аудиопотока / после длительной тишины). */ |
||||
void silero_vad_reset(silero_vad_t* vad); |
||||
|
||||
/**
|
||||
* Обработать окно из 512 float-сэмплов @ 16 кГц (примерно [-1;1]). |
||||
* При успехе возвращает 0 и заполняет *prob вероятностью речи [0..1]; |
||||
* при ошибке — отрицательное значение (проб не трогается). |
||||
*/ |
||||
int silero_vad_process(silero_vad_t* vad, const float* samples, float* prob); |
||||
|
||||
/**
|
||||
* То же, но вход — int16 PCM: сэмплы преобразуются к float делением на 32768. |
||||
*/ |
||||
int silero_vad_process_pcm16(silero_vad_t* vad, const int16_t* pcm, float* prob); |
||||
|
||||
#ifdef __cplusplus |
||||
} |
||||
#endif |
||||
|
||||
#endif /* SILERO_VAD_H */ |
||||
Binary file not shown.
@ -0,0 +1,178 @@
|
||||
// speex_aec.c — C-обёртка над SpeexDSP mdf.c (акустическое эхоподавление).
|
||||
//
|
||||
// API см. в speex_aec.h. Ключевые детали реализации:
|
||||
// - собственная линия задержки рендера на depth кадров (SpeexDSP даёт только
|
||||
// фиксированные 2 кадра — PLAYBACK_DELAY в mdf.c);
|
||||
// - синхронный speex_echo_cancellation(rec, play_delayed, out) с выравниванием
|
||||
// рендер↔захват по линии задержки;
|
||||
// - дрейф независимых потоков: переполнение линии → отбрасываем старый кадр,
|
||||
// недозаполнение (старт/underflow) → passthrough без канселлера.
|
||||
//
|
||||
// Рендер принимает чанки любого размера; захват — ровно один полный кадр.
|
||||
// Частые аномалии учитываются счётчиками; владелец публикует сводку вне audio callback.
|
||||
|
||||
#include "speex_aec.h" |
||||
#include "debug_config.h" |
||||
#include "mem.h" |
||||
|
||||
#include <string.h> |
||||
#include <limits.h> |
||||
|
||||
#include <speex/speex_echo.h> |
||||
|
||||
#define AEC_ID "speex_aec" |
||||
|
||||
struct speex_aec { |
||||
SpeexEchoState* st; |
||||
int mic_channels, render_channels; |
||||
int frame_samples; /* сэмплов в кадре (960 @48кГц) */ |
||||
int depth; /* глубина линии задержки в кадрах (>=1) */ |
||||
int16_t* line; /* кольцо depth*frame_samples */ |
||||
int head; /* индекс самого старого кадра в line */ |
||||
int count; /* кадров в линии (0..depth) */ |
||||
int16_t* play_acc; /* аккумулятор рендера до кадра */ |
||||
int play_len; |
||||
uint32_t overruns; /* отброшено рендер-кадров (дрейф: рендер быстрее) */ |
||||
uint32_t underruns; /* passthrough-кадров (дрейф: рендер медленнее/старт) */ |
||||
}; |
||||
|
||||
/* Положить полный рендер-кадр в линию задержки (вытесняя старейший при переполнении). */ |
||||
static void aec_enqueue(speex_aec_t* a, const int16_t* frame) { |
||||
if (a->count == a->depth) { |
||||
a->head = (a->head + 1) % a->depth; |
||||
a->count--; |
||||
a->overruns++; |
||||
} |
||||
memcpy(a->line + (size_t)((a->head + a->count) % a->depth) * a->frame_samples * a->render_channels, |
||||
frame, (size_t)a->frame_samples * a->render_channels * sizeof(int16_t)); |
||||
a->count++; |
||||
} |
||||
|
||||
speex_aec_t* speex_aec_create(int sample_rate, int frame_samples, int filter_samples, int delay_frames) { |
||||
return speex_aec_create_mc(sample_rate, frame_samples, filter_samples, delay_frames, 1, 1); |
||||
} |
||||
|
||||
/* Независимые каналы референса: противофазное стерео не усредняется. */ |
||||
speex_aec_t* speex_aec_create_mc(int sample_rate, int frame_samples, int filter_samples, int delay_frames, |
||||
int mic_channels, int render_channels) { |
||||
speex_aec_t* a; |
||||
int rate; |
||||
|
||||
if (sample_rate <= 0 || frame_samples <= 0 || filter_samples < frame_samples || |
||||
mic_channels < 1 || mic_channels > 2 || render_channels < 1 || render_channels > 2 || |
||||
frame_samples > INT_MAX / render_channels || frame_samples > INT_MAX / mic_channels || |
||||
(delay_frames > 0 && delay_frames > INT_MAX / frame_samples / render_channels)) { |
||||
DEBUG_ERROR(DEBUG_CATEGORY_AEC, "%s: bad args rate=%d frame=%d filter=%d delay=%d", |
||||
AEC_ID, sample_rate, frame_samples, filter_samples, delay_frames); |
||||
return NULL; |
||||
} |
||||
|
||||
a = (speex_aec_t*)u_calloc(1, sizeof(*a)); |
||||
if (!a) { |
||||
DEBUG_ERROR(DEBUG_CATEGORY_AEC, "%s: OOM for state", AEC_ID); |
||||
return NULL; |
||||
} |
||||
|
||||
a->st = speex_echo_state_init_mc(frame_samples, filter_samples, mic_channels, render_channels); |
||||
if (!a->st) { |
||||
DEBUG_ERROR(DEBUG_CATEGORY_AEC, "%s: echo state allocation failed", AEC_ID); |
||||
u_free(a); |
||||
return NULL; |
||||
} |
||||
rate = sample_rate; |
||||
if (speex_echo_ctl(a->st, SPEEX_ECHO_SET_SAMPLING_RATE, &rate) != 0) { |
||||
DEBUG_ERROR(DEBUG_CATEGORY_AEC, "%s: SET_SAMPLING_RATE(%d) failed", AEC_ID, sample_rate); |
||||
speex_echo_state_destroy(a->st); |
||||
u_free(a); |
||||
return NULL; |
||||
} |
||||
|
||||
a->mic_channels = mic_channels; a->render_channels = render_channels; |
||||
a->frame_samples = frame_samples; |
||||
a->depth = delay_frames > 0 ? delay_frames : 1; |
||||
a->line = (int16_t*)u_calloc((uint32_t)(a->depth * frame_samples * render_channels), sizeof(int16_t)); |
||||
a->play_acc = (int16_t*)u_calloc((uint32_t)(frame_samples * render_channels), sizeof(int16_t)); |
||||
if (!a->line || !a->play_acc) { |
||||
DEBUG_ERROR(DEBUG_CATEGORY_AEC, "%s: OOM for buffers", AEC_ID); |
||||
if (a->line) u_free(a->line); |
||||
if (a->play_acc) u_free(a->play_acc); |
||||
speex_echo_state_destroy(a->st); |
||||
u_free(a); |
||||
return NULL; |
||||
} |
||||
|
||||
DEBUG_INFO(DEBUG_CATEGORY_AEC, "%s: created rate=%d frame=%d filter=%d delay=%d frames mic=%d render=%d", |
||||
AEC_ID, sample_rate, frame_samples, filter_samples, a->depth, mic_channels, render_channels); |
||||
return a; |
||||
} |
||||
|
||||
void speex_aec_destroy(speex_aec_t* a) { |
||||
if (!a) return; |
||||
speex_echo_state_destroy(a->st); |
||||
u_free(a->line); |
||||
u_free(a->play_acc); |
||||
u_free(a); |
||||
} |
||||
|
||||
void speex_aec_reset(speex_aec_t* a) { |
||||
if (!a) return; |
||||
speex_echo_state_reset(a->st); |
||||
a->head = 0; |
||||
a->count = 0; |
||||
a->play_len = 0; |
||||
DEBUG_INFO(DEBUG_CATEGORY_AEC, "%s: reset (filter + delay line)", AEC_ID); |
||||
} |
||||
|
||||
void speex_aec_feed_playback(speex_aec_t* a, const int16_t* pcm, int count) { |
||||
int fs, take; |
||||
|
||||
if (!a || !pcm || count <= 0) return; |
||||
fs = a->frame_samples * a->render_channels; |
||||
|
||||
while (count > 0) { |
||||
take = fs - a->play_len; |
||||
if (take > count) take = count; |
||||
memcpy(a->play_acc + a->play_len, pcm, (size_t)take * sizeof(int16_t)); |
||||
a->play_len += take; |
||||
pcm += take; |
||||
count -= take; |
||||
if (a->play_len == fs) { |
||||
aec_enqueue(a, a->play_acc); |
||||
a->play_len = 0; |
||||
} |
||||
} |
||||
} |
||||
|
||||
int speex_aec_process_capture(speex_aec_t* a, const int16_t* pcm, int count, int16_t* out) { |
||||
int fs; |
||||
|
||||
if (!a || !pcm || !out || count <= 0) return 0; |
||||
fs = a->frame_samples; |
||||
|
||||
if (count != fs * a->mic_channels) { |
||||
DEBUG_ERROR(DEBUG_CATEGORY_AEC, "%s: capture requires one frame samples=%d expected=%d", AEC_ID, count, fs * a->mic_channels); |
||||
return 0; |
||||
} |
||||
|
||||
if (a->count == a->depth) { |
||||
const int16_t* ref = a->line + (size_t)a->head * fs * a->render_channels; |
||||
speex_echo_cancellation(a->st, pcm, ref, out); |
||||
a->head = (a->head + 1) % a->depth; |
||||
a->count--; |
||||
} else { |
||||
/* линия не наполнена (старт или рендер отстаёт): passthrough без канселлера */ |
||||
memcpy(out, pcm, (size_t)count * sizeof(int16_t)); |
||||
a->underruns++; |
||||
} |
||||
|
||||
return count; |
||||
} |
||||
|
||||
int speex_aec_delay_fill(const speex_aec_t* a) { |
||||
return a ? a->count : 0; |
||||
} |
||||
|
||||
void speex_aec_get_stats(const speex_aec_t* a, uint32_t* overruns, uint32_t* underruns) { |
||||
*overruns = a ? a->overruns : 0; |
||||
*underruns = a ? a->underruns : 0; |
||||
} |
||||
@ -0,0 +1,80 @@
|
||||
/*
|
||||
* speex_aec.h — акустическое эхоподавление (AEC), C-обёртка над SpeexDSP mdf.c. |
||||
* |
||||
* Подавляет эхо дальнего конца (то, что играем в динамик) в сигнале микрофона |
||||
* перед кодированием. Работает на interleaved int16 PCM, 1/2 канала, частота 48000 (можно |
||||
* 8000/16000/32000/48000), кадр 20 мс (960 сэмплов @48 кГц). |
||||
* |
||||
* Модель использования (duplex-контур звонка): |
||||
* - рендер (far-end, то что пошло в динамик) → speex_aec_feed_playback(); |
||||
* - захват (near-end, микрофон) → speex_aec_process_capture(). |
||||
* |
||||
* Обёртка держит собственную линию задержки рендера на `delay_frames` кадров и |
||||
* зовёт синхронный speex_echo_cancellation(rec, play_delayed, out). Это делает |
||||
* выравнивание рендер↔захват предсказуемым и настраиваемым (встроенный буфер |
||||
* SpeexDSP фиксирован в 2 кадра и для Android-задержки не годится). |
||||
* |
||||
* Дрейф двух независимых потоков (capture/play на Android) компенсируется |
||||
* ограниченной глубиной линии: переполнение → отбрасываем старый рендер-кадр, |
||||
* недозаполнение → passthrough без канселлера; счётчики публикует владелец вне callback. |
||||
* |
||||
* Зависимости: SpeexDSP (mdf.c/fftwrap.c/kiss_fft*) из lib/speexdsp, флаги |
||||
* FLOATING_POINT + USE_KISS_FFT. Собирается всегда (без внешних зависимостей). |
||||
* |
||||
* Лицензия SpeexDSP: 3-clause BSD (Xiph) — см. lib/speexdsp/COPYING. |
||||
*/ |
||||
#ifndef SPEEX_AEC_H |
||||
#define SPEEX_AEC_H |
||||
|
||||
#include <stdint.h> |
||||
|
||||
#ifdef __cplusplus |
||||
extern "C" { |
||||
#endif |
||||
|
||||
typedef struct speex_aec speex_aec_t; |
||||
|
||||
/**
|
||||
* Создать эхоканселлер. |
||||
* sample_rate — 48000 (также 8000/16000/32000); |
||||
* frame_samples — сэмплов в кадре (960 = 20 мс @48 кГц); |
||||
* filter_samples— длина эхо-хвоста в сэмплах (14400 = 300 мс, кратно кадру); |
||||
* delay_frames — глубина линии рендер→захват в кадрах (значения <=0 приводятся к 1). |
||||
* Возвращает NULL при ошибке (лог категории "aec"). |
||||
*/ |
||||
speex_aec_t* speex_aec_create(int sample_rate, int frame_samples, int filter_samples, int delay_frames); |
||||
|
||||
/* Многоканальный AEC: frame_samples на канал, count в feed/process — все interleaved отсчёты.
|
||||
* mic_channels и render_channels — 1/2; возвращаемый count захвата равен frame_samples*mic_channels. */ |
||||
speex_aec_t* speex_aec_create_mc(int sample_rate, int frame_samples, int filter_samples, int delay_frames, |
||||
int mic_channels, int render_channels); |
||||
|
||||
/* Освободить канселлер. NULL безопасен. */ |
||||
void speex_aec_destroy(speex_aec_t* aec); |
||||
|
||||
/* Сбросить адаптивный фильтр и линию задержки (смена устройства/роута). */ |
||||
void speex_aec_reset(speex_aec_t* aec); |
||||
|
||||
/**
|
||||
* Подать рендер (дальний конец). Накопление до кадра внутри; полный кадр |
||||
* кладётся в линию задержки. count может быть любым (обычно 480 или 960). |
||||
*/ |
||||
void speex_aec_feed_playback(speex_aec_t* aec, const int16_t* pcm, int count); |
||||
|
||||
/**
|
||||
* Обработать ровно один кадр захвата (count == frame_samples*mic_channels). |
||||
* Возвращает count при успехе, 0 при ошибке. out вмещает полный interleaved кадр |
||||
* и не должен алиаситься с pcm. Накопитель аппаратных чанков принадлежит I/O-движку. |
||||
*/ |
||||
int speex_aec_process_capture(speex_aec_t* aec, const int16_t* pcm, int count, int16_t* out); |
||||
|
||||
/* Актуальная глубина линии задержки (кадров) — для диагностики дрейфа. */ |
||||
int speex_aec_delay_fill(const speex_aec_t* aec); |
||||
/* Под той же блокировкой, что feed/process; выводить снимок вне callback. */ |
||||
void speex_aec_get_stats(const speex_aec_t* aec, uint32_t* overruns, uint32_t* underruns); |
||||
|
||||
#ifdef __cplusplus |
||||
} |
||||
#endif |
||||
|
||||
#endif /* SPEEX_AEC_H */ |
||||
@ -0,0 +1,35 @@
|
||||
Copyright 2002-2008 Xiph.org Foundation |
||||
Copyright 2002-2008 Jean-Marc Valin |
||||
Copyright 2005-2007 Analog Devices Inc. |
||||
Copyright 2005-2008 Commonwealth Scientific and Industrial Research |
||||
Organisation (CSIRO) |
||||
Copyright 1993, 2002, 2006 David Rowe |
||||
Copyright 2003 EpicGames |
||||
Copyright 1992-1994 Jutta Degener, Carsten Bormann |
||||
|
||||
Redistribution and use in source and binary forms, with or without |
||||
modification, are permitted provided that the following conditions |
||||
are met: |
||||
|
||||
- Redistributions of source code must retain the above copyright |
||||
notice, this list of conditions and the following disclaimer. |
||||
|
||||
- Redistributions in binary form must reproduce the above copyright |
||||
notice, this list of conditions and the following disclaimer in the |
||||
documentation and/or other materials provided with the distribution. |
||||
|
||||
- Neither the name of the Xiph.org Foundation nor the names of its |
||||
contributors may be used to endorse or promote products derived from |
||||
this software without specific prior written permission. |
||||
|
||||
THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS |
||||
``AS IS'' AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT |
||||
LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR |
||||
A PARTICULAR PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE FOUNDATION OR |
||||
CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, |
||||
EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO, |
||||
PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR |
||||
PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF |
||||
LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING |
||||
NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS |
||||
SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE. |
||||
@ -0,0 +1,160 @@
|
||||
/*
|
||||
Copyright (c) 2003-2004, Mark Borgerding |
||||
|
||||
All rights reserved. |
||||
|
||||
Redistribution and use in source and binary forms, with or without modification, are permitted provided that the following conditions are met: |
||||
|
||||
* Redistributions of source code must retain the above copyright notice, this list of conditions and the following disclaimer. |
||||
* Redistributions in binary form must reproduce the above copyright notice, this list of conditions and the following disclaimer in the documentation and/or other materials provided with the distribution. |
||||
* Neither the author nor the names of any contributors may be used to endorse or promote products derived from this software without specific prior written permission. |
||||
|
||||
THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS "AS IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT OWNER OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE. |
||||
*/ |
||||
|
||||
#define MIN(a,b) ((a)<(b) ? (a):(b)) |
||||
#define MAX(a,b) ((a)>(b) ? (a):(b)) |
||||
|
||||
/* kiss_fft.h
|
||||
defines kiss_fft_scalar as either short or a float type |
||||
and defines |
||||
typedef struct { kiss_fft_scalar r; kiss_fft_scalar i; }kiss_fft_cpx; */ |
||||
#include "kiss_fft.h" |
||||
#include "math_approx.h" |
||||
|
||||
#define MAXFACTORS 32 |
||||
/* e.g. an fft of length 128 has 4 factors
|
||||
as far as kissfft is concerned |
||||
4*4*4*2 |
||||
*/ |
||||
|
||||
struct kiss_fft_state{ |
||||
int nfft; |
||||
int inverse; |
||||
int factors[2*MAXFACTORS]; |
||||
kiss_fft_cpx twiddles[1]; |
||||
}; |
||||
|
||||
/*
|
||||
Explanation of macros dealing with complex math: |
||||
|
||||
C_MUL(m,a,b) : m = a*b |
||||
C_FIXDIV( c , div ) : if a fixed point impl., c /= div. noop otherwise |
||||
C_SUB( res, a,b) : res = a - b |
||||
C_SUBFROM( res , a) : res -= a |
||||
C_ADDTO( res , a) : res += a |
||||
* */ |
||||
#ifdef FIXED_POINT |
||||
#include "arch.h" |
||||
# define FRACBITS 15 |
||||
# define SAMPPROD spx_int32_t |
||||
#define SAMP_MAX 32767 |
||||
|
||||
#define SAMP_MIN -SAMP_MAX |
||||
|
||||
#if defined(CHECK_OVERFLOW) |
||||
# define CHECK_OVERFLOW_OP(a,op,b) \ |
||||
if ( (SAMPPROD)(a) op (SAMPPROD)(b) > SAMP_MAX || (SAMPPROD)(a) op (SAMPPROD)(b) < SAMP_MIN ) { \
|
||||
fprintf(stderr,"WARNING:overflow @ " __FILE__ "(%d): (%d " #op" %d) = %ld\n",__LINE__,(a),(b),(SAMPPROD)(a) op (SAMPPROD)(b) ); } |
||||
#endif |
||||
|
||||
|
||||
# define smul(a,b) ( (SAMPPROD)(a)*(b) ) |
||||
# define sround( x ) (kiss_fft_scalar)( ( (x) + (1<<(FRACBITS-1)) ) >> FRACBITS ) |
||||
|
||||
# define S_MUL(a,b) sround( smul(a,b) ) |
||||
|
||||
# define C_MUL(m,a,b) \ |
||||
do{ (m).r = sround( smul((a).r,(b).r) - smul((a).i,(b).i) ); \
|
||||
(m).i = sround( smul((a).r,(b).i) + smul((a).i,(b).r) ); }while(0) |
||||
|
||||
# define C_MUL4(m,a,b) \ |
||||
do{ (m).r = PSHR32( smul((a).r,(b).r) - smul((a).i,(b).i),17 ); \
|
||||
(m).i = PSHR32( smul((a).r,(b).i) + smul((a).i,(b).r),17 ); }while(0) |
||||
|
||||
# define DIVSCALAR(x,k) \ |
||||
(x) = sround( smul( x, SAMP_MAX/k ) ) |
||||
|
||||
# define C_FIXDIV(c,div) \ |
||||
do { DIVSCALAR( (c).r , div); \
|
||||
DIVSCALAR( (c).i , div); }while (0) |
||||
|
||||
# define C_MULBYSCALAR( c, s ) \ |
||||
do{ (c).r = sround( smul( (c).r , s ) ) ;\
|
||||
(c).i = sround( smul( (c).i , s ) ) ; }while(0) |
||||
|
||||
#else /* not FIXED_POINT*/ |
||||
|
||||
# define S_MUL(a,b) ( (a)*(b) ) |
||||
#define C_MUL(m,a,b) \ |
||||
do{ (m).r = (a).r*(b).r - (a).i*(b).i;\
|
||||
(m).i = (a).r*(b).i + (a).i*(b).r; }while(0) |
||||
|
||||
#define C_MUL4(m,a,b) C_MUL(m,a,b) |
||||
|
||||
# define C_FIXDIV(c,div) /* NOOP */ |
||||
# define C_MULBYSCALAR( c, s ) \ |
||||
do{ (c).r *= (s);\
|
||||
(c).i *= (s); }while(0) |
||||
#endif |
||||
|
||||
#ifndef CHECK_OVERFLOW_OP |
||||
# define CHECK_OVERFLOW_OP(a,op,b) /* noop */ |
||||
#endif |
||||
|
||||
#define C_ADD( res, a,b)\ |
||||
do { \
|
||||
CHECK_OVERFLOW_OP((a).r,+,(b).r)\
|
||||
CHECK_OVERFLOW_OP((a).i,+,(b).i)\
|
||||
(res).r=(a).r+(b).r; (res).i=(a).i+(b).i; \
|
||||
}while(0) |
||||
#define C_SUB( res, a,b)\ |
||||
do { \
|
||||
CHECK_OVERFLOW_OP((a).r,-,(b).r)\
|
||||
CHECK_OVERFLOW_OP((a).i,-,(b).i)\
|
||||
(res).r=(a).r-(b).r; (res).i=(a).i-(b).i; \
|
||||
}while(0) |
||||
#define C_ADDTO( res , a)\ |
||||
do { \
|
||||
CHECK_OVERFLOW_OP((res).r,+,(a).r)\
|
||||
CHECK_OVERFLOW_OP((res).i,+,(a).i)\
|
||||
(res).r += (a).r; (res).i += (a).i;\
|
||||
}while(0) |
||||
|
||||
#define C_SUBFROM( res , a)\ |
||||
do {\
|
||||
CHECK_OVERFLOW_OP((res).r,-,(a).r)\
|
||||
CHECK_OVERFLOW_OP((res).i,-,(a).i)\
|
||||
(res).r -= (a).r; (res).i -= (a).i; \
|
||||
}while(0) |
||||
|
||||
|
||||
#ifdef FIXED_POINT |
||||
# define KISS_FFT_COS(phase) floor(MIN(32767,MAX(-32767,.5+32768 * cos (phase)))) |
||||
# define KISS_FFT_SIN(phase) floor(MIN(32767,MAX(-32767,.5+32768 * sin (phase)))) |
||||
# define HALF_OF(x) ((x)>>1) |
||||
#elif defined(USE_SIMD) |
||||
# define KISS_FFT_COS(phase) _mm_set1_ps( cos(phase) ) |
||||
# define KISS_FFT_SIN(phase) _mm_set1_ps( sin(phase) ) |
||||
# define HALF_OF(x) ((x)*_mm_set1_ps(.5)) |
||||
#else |
||||
# define KISS_FFT_COS(phase) (kiss_fft_scalar) cos(phase) |
||||
# define KISS_FFT_SIN(phase) (kiss_fft_scalar) sin(phase) |
||||
# define HALF_OF(x) ((x)*.5) |
||||
#endif |
||||
|
||||
#define kf_cexp(x,phase) \ |
||||
do{ \
|
||||
(x)->r = KISS_FFT_COS(phase);\
|
||||
(x)->i = KISS_FFT_SIN(phase);\
|
||||
}while(0) |
||||
#define kf_cexp2(x,phase) \ |
||||
do{ \
|
||||
(x)->r = spx_cos_norm((phase));\
|
||||
(x)->i = spx_cos_norm((phase)-32768);\
|
||||
}while(0) |
||||
|
||||
|
||||
/* a debugging function */ |
||||
#define pcpx(c)\ |
||||
fprintf(stderr,"%g + %gi\n",(double)((c)->r),(double)((c)->i) ) |
||||
@ -0,0 +1,232 @@
|
||||
/* Copyright (C) 2003 Jean-Marc Valin */ |
||||
/**
|
||||
@file arch.h |
||||
@brief Various architecture definitions Speex |
||||
*/ |
||||
/*
|
||||
Redistribution and use in source and binary forms, with or without |
||||
modification, are permitted provided that the following conditions |
||||
are met: |
||||
|
||||
- Redistributions of source code must retain the above copyright |
||||
notice, this list of conditions and the following disclaimer. |
||||
|
||||
- Redistributions in binary form must reproduce the above copyright |
||||
notice, this list of conditions and the following disclaimer in the |
||||
documentation and/or other materials provided with the distribution. |
||||
|
||||
- Neither the name of the Xiph.org Foundation nor the names of its |
||||
contributors may be used to endorse or promote products derived from |
||||
this software without specific prior written permission. |
||||
|
||||
THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS |
||||
``AS IS'' AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT |
||||
LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR |
||||
A PARTICULAR PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE FOUNDATION OR |
||||
CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, |
||||
EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO, |
||||
PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR |
||||
PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF |
||||
LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING |
||||
NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS |
||||
SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE. |
||||
*/ |
||||
|
||||
#ifndef ARCH_H |
||||
#define ARCH_H |
||||
|
||||
/* A couple test to catch stupid option combinations */ |
||||
#ifdef FIXED_POINT |
||||
|
||||
#ifdef FLOATING_POINT |
||||
#error You cannot compile as floating point and fixed point at the same time |
||||
#endif |
||||
#ifdef USE_SSE |
||||
#error SSE is only for floating-point |
||||
#endif |
||||
#if defined(ARM4_ASM) + defined(ARM5E_ASM) + defined(BFIN_ASM) > 1 |
||||
#error Make up your mind. What CPU do you have? |
||||
#endif |
||||
#ifdef VORBIS_PSYCHO |
||||
#error Vorbis-psy model currently not implemented in fixed-point |
||||
#endif |
||||
|
||||
#else |
||||
|
||||
#ifndef FLOATING_POINT |
||||
#error You now need to define either FIXED_POINT or FLOATING_POINT |
||||
#endif |
||||
#if defined(ARM4_ASM) || defined(ARM5E_ASM) || defined(BFIN_ASM) |
||||
#error I suppose you can have a [ARM4/ARM5E/Blackfin] that has float instructions? |
||||
#endif |
||||
#ifdef FIXED_DEBUG |
||||
#error "Don't you think enabling fixed-point is a good thing to do if you want to debug that?" |
||||
#endif |
||||
|
||||
|
||||
#endif |
||||
|
||||
#ifndef OUTSIDE_SPEEX |
||||
#include "speex/speexdsp_types.h" |
||||
#endif |
||||
|
||||
#define ABS(x) ((x) < 0 ? (-(x)) : (x)) /**< Absolute integer value. */ |
||||
#define ABS16(x) ((x) < 0 ? (-(x)) : (x)) /**< Absolute 16-bit value. */ |
||||
#define MIN16(a,b) ((a) < (b) ? (a) : (b)) /**< Maximum 16-bit value. */ |
||||
#define MAX16(a,b) ((a) > (b) ? (a) : (b)) /**< Maximum 16-bit value. */ |
||||
#define ABS32(x) ((x) < 0 ? (-(x)) : (x)) /**< Absolute 32-bit value. */ |
||||
#define MIN32(a,b) ((a) < (b) ? (a) : (b)) /**< Maximum 32-bit value. */ |
||||
#define MAX32(a,b) ((a) > (b) ? (a) : (b)) /**< Maximum 32-bit value. */ |
||||
|
||||
#ifdef FIXED_POINT |
||||
|
||||
typedef spx_int16_t spx_word16_t; |
||||
typedef spx_int32_t spx_word32_t; |
||||
typedef spx_word32_t spx_mem_t; |
||||
typedef spx_word16_t spx_coef_t; |
||||
typedef spx_word16_t spx_lsp_t; |
||||
typedef spx_word32_t spx_sig_t; |
||||
|
||||
#define Q15ONE 32767 |
||||
|
||||
#define LPC_SCALING 8192 |
||||
#define SIG_SCALING 16384 |
||||
#define LSP_SCALING 8192. |
||||
#define GAMMA_SCALING 32768. |
||||
#define GAIN_SCALING 64 |
||||
#define GAIN_SCALING_1 0.015625 |
||||
|
||||
#define LPC_SHIFT 13 |
||||
#define LSP_SHIFT 13 |
||||
#define SIG_SHIFT 14 |
||||
#define GAIN_SHIFT 6 |
||||
|
||||
#define WORD2INT(x) ((x) < -32767 ? -32768 : ((x) > 32766 ? 32767 : (x))) |
||||
|
||||
#define VERY_SMALL 0 |
||||
#define VERY_LARGE32 ((spx_word32_t)2147483647) |
||||
#define VERY_LARGE16 ((spx_word16_t)32767) |
||||
#define Q15_ONE ((spx_word16_t)32767) |
||||
|
||||
|
||||
#ifdef FIXED_DEBUG |
||||
#include "fixed_debug.h" |
||||
#else |
||||
|
||||
#include "fixed_generic.h" |
||||
|
||||
#ifdef ARM5E_ASM |
||||
#include "fixed_arm5e.h" |
||||
#elif defined(ARM4_ASM) |
||||
#include "fixed_arm4.h" |
||||
#elif defined(BFIN_ASM) |
||||
#include "fixed_bfin.h" |
||||
#endif |
||||
|
||||
#endif |
||||
|
||||
|
||||
#else |
||||
|
||||
typedef float spx_mem_t; |
||||
typedef float spx_coef_t; |
||||
typedef float spx_lsp_t; |
||||
typedef float spx_sig_t; |
||||
typedef float spx_word16_t; |
||||
typedef float spx_word32_t; |
||||
|
||||
#define Q15ONE 1.0f |
||||
#define LPC_SCALING 1.f |
||||
#define SIG_SCALING 1.f |
||||
#define LSP_SCALING 1.f |
||||
#define GAMMA_SCALING 1.f |
||||
#define GAIN_SCALING 1.f |
||||
#define GAIN_SCALING_1 1.f |
||||
|
||||
|
||||
#define VERY_SMALL 1e-15f |
||||
#define VERY_LARGE32 1e15f |
||||
#define VERY_LARGE16 1e15f |
||||
#define Q15_ONE ((spx_word16_t)1.f) |
||||
|
||||
#define QCONST16(x,bits) (x) |
||||
#define QCONST32(x,bits) (x) |
||||
|
||||
#define NEG16(x) (-(x)) |
||||
#define NEG32(x) (-(x)) |
||||
#define EXTRACT16(x) (x) |
||||
#define EXTEND32(x) (x) |
||||
#define SHR16(a,shift) (a) |
||||
#define SHL16(a,shift) (a) |
||||
#define SHR32(a,shift) (a) |
||||
#define SHL32(a,shift) (a) |
||||
#define PSHR16(a,shift) (a) |
||||
#define PSHR32(a,shift) (a) |
||||
#define VSHR32(a,shift) (a) |
||||
#define SATURATE16(x,a) (x) |
||||
#define SATURATE32(x,a) (x) |
||||
#define SATURATE32PSHR(x,shift,a) (x) |
||||
|
||||
#define PSHR(a,shift) (a) |
||||
#define SHR(a,shift) (a) |
||||
#define SHL(a,shift) (a) |
||||
#define SATURATE(x,a) (x) |
||||
|
||||
#define ADD16(a,b) ((a)+(b)) |
||||
#define SUB16(a,b) ((a)-(b)) |
||||
#define ADD32(a,b) ((a)+(b)) |
||||
#define SUB32(a,b) ((a)-(b)) |
||||
#define MULT16_16_16(a,b) ((a)*(b)) |
||||
#define MULT16_32_32(a,b) ((a)*(b)) |
||||
#define MULT16_16(a,b) ((spx_word32_t)(a)*(spx_word32_t)(b)) |
||||
#define MAC16_16(c,a,b) ((c)+(spx_word32_t)(a)*(spx_word32_t)(b)) |
||||
|
||||
#define MULT16_32_Q15(a,b) ((a)*(b)) |
||||
#define MULT16_32_P15(a,b) ((a)*(b)) |
||||
|
||||
#define MAC16_32_Q15(c,a,b) ((c)+(a)*(b)) |
||||
|
||||
#define MAC16_16_Q11(c,a,b) ((c)+(a)*(b)) |
||||
#define MAC16_16_Q13(c,a,b) ((c)+(a)*(b)) |
||||
#define MAC16_16_P13(c,a,b) ((c)+(a)*(b)) |
||||
#define MULT16_16_Q11_32(a,b) ((a)*(b)) |
||||
#define MULT16_16_Q13(a,b) ((a)*(b)) |
||||
#define MULT16_16_Q14(a,b) ((a)*(b)) |
||||
#define MULT16_16_Q15(a,b) ((a)*(b)) |
||||
#define MULT16_16_P15(a,b) ((a)*(b)) |
||||
#define MULT16_16_P13(a,b) ((a)*(b)) |
||||
#define MULT16_16_P14(a,b) ((a)*(b)) |
||||
|
||||
#define DIV32_16(a,b) (((spx_word32_t)(a))/(spx_word16_t)(b)) |
||||
#define PDIV32_16(a,b) (((spx_word32_t)(a))/(spx_word16_t)(b)) |
||||
#define DIV32(a,b) (((spx_word32_t)(a))/(spx_word32_t)(b)) |
||||
#define PDIV32(a,b) (((spx_word32_t)(a))/(spx_word32_t)(b)) |
||||
|
||||
#define WORD2INT(x) ((x) < -32767.5f ? -32768 : \ |
||||
((x) > 32766.5f ? 32767 : (spx_int16_t)floor(.5 + (x)))) |
||||
#endif |
||||
|
||||
|
||||
#if defined(CONFIG_TI_C54X) || defined(CONFIG_TI_C55X) |
||||
|
||||
/* 2 on TI C5x DSP */ |
||||
#define BYTES_PER_CHAR 2 |
||||
#define BITS_PER_CHAR 16 |
||||
#define LOG2_BITS_PER_CHAR 4 |
||||
|
||||
#else |
||||
|
||||
#define BYTES_PER_CHAR 1 |
||||
#define BITS_PER_CHAR 8 |
||||
#define LOG2_BITS_PER_CHAR 3 |
||||
|
||||
#endif |
||||
|
||||
|
||||
|
||||
#ifdef FIXED_DEBUG |
||||
extern long long spx_mips; |
||||
#endif |
||||
|
||||
|
||||
#endif |
||||
@ -0,0 +1,448 @@
|
||||
/* Copyright (C) 2005-2006 Jean-Marc Valin
|
||||
File: fftwrap.c |
||||
|
||||
Wrapper for various FFTs |
||||
|
||||
Redistribution and use in source and binary forms, with or without |
||||
modification, are permitted provided that the following conditions |
||||
are met: |
||||
|
||||
- Redistributions of source code must retain the above copyright |
||||
notice, this list of conditions and the following disclaimer. |
||||
|
||||
- Redistributions in binary form must reproduce the above copyright |
||||
notice, this list of conditions and the following disclaimer in the |
||||
documentation and/or other materials provided with the distribution. |
||||
|
||||
- Neither the name of the Xiph.org Foundation nor the names of its |
||||
contributors may be used to endorse or promote products derived from |
||||
this software without specific prior written permission. |
||||
|
||||
THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS |
||||
``AS IS'' AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT |
||||
LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR |
||||
A PARTICULAR PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE FOUNDATION OR |
||||
CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, |
||||
EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO, |
||||
PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR |
||||
PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF |
||||
LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING |
||||
NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS |
||||
SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE. |
||||
|
||||
*/ |
||||
|
||||
#ifdef HAVE_CONFIG_H |
||||
#include "config.h" |
||||
#endif |
||||
|
||||
#include "arch.h" |
||||
#include "os_support.h" |
||||
|
||||
#define MAX_FFT_SIZE 2048 |
||||
|
||||
#ifdef FIXED_POINT |
||||
static int maximize_range(spx_word16_t *in, spx_word16_t *out, spx_word16_t bound, int len) |
||||
{ |
||||
int i, shift; |
||||
spx_word16_t max_val = 0; |
||||
for (i=0;i<len;i++) |
||||
{ |
||||
if (in[i]>max_val) |
||||
max_val = in[i]; |
||||
if (-in[i]>max_val) |
||||
max_val = -in[i]; |
||||
} |
||||
shift=0; |
||||
while (max_val <= (bound>>1) && max_val != 0) |
||||
{ |
||||
max_val <<= 1; |
||||
shift++; |
||||
} |
||||
for (i=0;i<len;i++) |
||||
{ |
||||
out[i] = SHL16(in[i], shift); |
||||
} |
||||
return shift; |
||||
} |
||||
|
||||
static void renorm_range(spx_word16_t *in, spx_word16_t *out, int shift, int len) |
||||
{ |
||||
int i; |
||||
for (i=0;i<len;i++) |
||||
{ |
||||
out[i] = PSHR16(in[i], shift); |
||||
} |
||||
} |
||||
#endif |
||||
|
||||
#ifdef USE_SMALLFT |
||||
|
||||
#include "smallft.h" |
||||
#include <math.h> |
||||
|
||||
void *spx_fft_init(int size) |
||||
{ |
||||
struct drft_lookup *table; |
||||
table = speex_alloc(sizeof(struct drft_lookup)); |
||||
spx_drft_init((struct drft_lookup *)table, size); |
||||
return (void*)table; |
||||
} |
||||
|
||||
void spx_fft_destroy(void *table) |
||||
{ |
||||
spx_drft_clear(table); |
||||
speex_free(table); |
||||
} |
||||
|
||||
void spx_fft(void *table, float *in, float *out) |
||||
{ |
||||
if (in==out) |
||||
{ |
||||
int i; |
||||
float scale = 1./((struct drft_lookup *)table)->n; |
||||
speex_warning("FFT should not be done in-place"); |
||||
for (i=0;i<((struct drft_lookup *)table)->n;i++) |
||||
out[i] = scale*in[i]; |
||||
} else { |
||||
int i; |
||||
float scale = 1./((struct drft_lookup *)table)->n; |
||||
for (i=0;i<((struct drft_lookup *)table)->n;i++) |
||||
out[i] = scale*in[i]; |
||||
} |
||||
spx_drft_forward((struct drft_lookup *)table, out); |
||||
} |
||||
|
||||
void spx_ifft(void *table, float *in, float *out) |
||||
{ |
||||
if (in==out) |
||||
{ |
||||
speex_warning("FFT should not be done in-place"); |
||||
} else { |
||||
int i; |
||||
for (i=0;i<((struct drft_lookup *)table)->n;i++) |
||||
out[i] = in[i]; |
||||
} |
||||
spx_drft_backward((struct drft_lookup *)table, out); |
||||
} |
||||
|
||||
#elif defined(USE_INTEL_MKL) |
||||
#include <mkl.h> |
||||
|
||||
struct mkl_config { |
||||
DFTI_DESCRIPTOR_HANDLE desc; |
||||
int N; |
||||
}; |
||||
|
||||
void *spx_fft_init(int size) |
||||
{ |
||||
struct mkl_config *table = (struct mkl_config *) speex_alloc(sizeof(struct mkl_config)); |
||||
table->N = size; |
||||
DftiCreateDescriptor(&table->desc, DFTI_SINGLE, DFTI_REAL, 1, size); |
||||
DftiSetValue(table->desc, DFTI_PACKED_FORMAT, DFTI_PACK_FORMAT); |
||||
DftiSetValue(table->desc, DFTI_PLACEMENT, DFTI_NOT_INPLACE); |
||||
DftiSetValue(table->desc, DFTI_FORWARD_SCALE, 1.0f / size); |
||||
DftiCommitDescriptor(table->desc); |
||||
return table; |
||||
} |
||||
|
||||
void spx_fft_destroy(void *table) |
||||
{ |
||||
struct mkl_config *t = (struct mkl_config *) table; |
||||
DftiFreeDescriptor(t->desc); |
||||
speex_free(table); |
||||
} |
||||
|
||||
void spx_fft(void *table, spx_word16_t *in, spx_word16_t *out) |
||||
{ |
||||
struct mkl_config *t = (struct mkl_config *) table; |
||||
DftiComputeForward(t->desc, in, out); |
||||
} |
||||
|
||||
void spx_ifft(void *table, spx_word16_t *in, spx_word16_t *out) |
||||
{ |
||||
struct mkl_config *t = (struct mkl_config *) table; |
||||
DftiComputeBackward(t->desc, in, out); |
||||
} |
||||
|
||||
#elif defined(USE_INTEL_IPP) |
||||
|
||||
#include <ipps.h> |
||||
|
||||
struct ipp_fft_config |
||||
{ |
||||
IppsDFTSpec_R_32f *dftSpec; |
||||
Ipp8u *buffer; |
||||
}; |
||||
|
||||
void *spx_fft_init(int size) |
||||
{ |
||||
int bufferSize = 0; |
||||
int hint; |
||||
struct ipp_fft_config *table; |
||||
|
||||
table = (struct ipp_fft_config *)speex_alloc(sizeof(struct ipp_fft_config)); |
||||
|
||||
/* there appears to be no performance difference between ippAlgHintFast and
|
||||
ippAlgHintAccurate when using the with the floating point version |
||||
of the fft. */ |
||||
hint = ippAlgHintAccurate; |
||||
|
||||
ippsDFTInitAlloc_R_32f(&table->dftSpec, size, IPP_FFT_DIV_FWD_BY_N, hint); |
||||
|
||||
ippsDFTGetBufSize_R_32f(table->dftSpec, &bufferSize); |
||||
table->buffer = ippsMalloc_8u(bufferSize); |
||||
|
||||
return table; |
||||
} |
||||
|
||||
void spx_fft_destroy(void *table) |
||||
{ |
||||
struct ipp_fft_config *t = (struct ipp_fft_config *)table; |
||||
ippsFree(t->buffer); |
||||
ippsDFTFree_R_32f(t->dftSpec); |
||||
speex_free(t); |
||||
} |
||||
|
||||
void spx_fft(void *table, spx_word16_t *in, spx_word16_t *out) |
||||
{ |
||||
struct ipp_fft_config *t = (struct ipp_fft_config *)table; |
||||
ippsDFTFwd_RToPack_32f(in, out, t->dftSpec, t->buffer); |
||||
} |
||||
|
||||
void spx_ifft(void *table, spx_word16_t *in, spx_word16_t *out) |
||||
{ |
||||
struct ipp_fft_config *t = (struct ipp_fft_config *)table; |
||||
ippsDFTInv_PackToR_32f(in, out, t->dftSpec, t->buffer); |
||||
} |
||||
|
||||
#elif defined(USE_GPL_FFTW3) |
||||
|
||||
#include <fftw3.h> |
||||
|
||||
struct fftw_config { |
||||
float *in; |
||||
float *out; |
||||
fftwf_plan fft; |
||||
fftwf_plan ifft; |
||||
int N; |
||||
}; |
||||
|
||||
void *spx_fft_init(int size) |
||||
{ |
||||
struct fftw_config *table = (struct fftw_config *) speex_alloc(sizeof(struct fftw_config)); |
||||
table->in = fftwf_malloc(sizeof(float) * (size+2)); |
||||
table->out = fftwf_malloc(sizeof(float) * (size+2)); |
||||
|
||||
table->fft = fftwf_plan_dft_r2c_1d(size, table->in, (fftwf_complex *) table->out, FFTW_PATIENT); |
||||
table->ifft = fftwf_plan_dft_c2r_1d(size, (fftwf_complex *) table->in, table->out, FFTW_PATIENT); |
||||
|
||||
table->N = size; |
||||
return table; |
||||
} |
||||
|
||||
void spx_fft_destroy(void *table) |
||||
{ |
||||
struct fftw_config *t = (struct fftw_config *) table; |
||||
fftwf_destroy_plan(t->fft); |
||||
fftwf_destroy_plan(t->ifft); |
||||
fftwf_free(t->in); |
||||
fftwf_free(t->out); |
||||
speex_free(table); |
||||
} |
||||
|
||||
|
||||
void spx_fft(void *table, spx_word16_t *in, spx_word16_t *out) |
||||
{ |
||||
int i; |
||||
struct fftw_config *t = (struct fftw_config *) table; |
||||
const int N = t->N; |
||||
float *iptr = t->in; |
||||
float *optr = t->out; |
||||
const float m = 1.0 / N; |
||||
for(i=0;i<N;++i) |
||||
iptr[i]=in[i] * m; |
||||
|
||||
fftwf_execute(t->fft); |
||||
|
||||
out[0] = optr[0]; |
||||
for(i=1;i<N;++i) |
||||
out[i] = optr[i+1]; |
||||
} |
||||
|
||||
void spx_ifft(void *table, spx_word16_t *in, spx_word16_t *out) |
||||
{ |
||||
int i; |
||||
struct fftw_config *t = (struct fftw_config *) table; |
||||
const int N = t->N; |
||||
float *iptr = t->in; |
||||
float *optr = t->out; |
||||
|
||||
iptr[0] = in[0]; |
||||
iptr[1] = 0.0f; |
||||
for(i=1;i<N;++i) |
||||
iptr[i+1] = in[i]; |
||||
iptr[N+1] = 0.0f; |
||||
|
||||
fftwf_execute(t->ifft); |
||||
|
||||
for(i=0;i<N;++i) |
||||
out[i] = optr[i]; |
||||
} |
||||
|
||||
#elif defined(USE_KISS_FFT) |
||||
|
||||
#include "kiss_fftr.h" |
||||
#include "kiss_fft.h" |
||||
|
||||
struct kiss_config { |
||||
kiss_fftr_cfg forward; |
||||
kiss_fftr_cfg backward; |
||||
int N; |
||||
}; |
||||
|
||||
void *spx_fft_init(int size) |
||||
{ |
||||
struct kiss_config *table; |
||||
table = (struct kiss_config*)speex_alloc(sizeof(struct kiss_config)); |
||||
table->forward = kiss_fftr_alloc(size,0,NULL,NULL); |
||||
table->backward = kiss_fftr_alloc(size,1,NULL,NULL); |
||||
table->N = size; |
||||
return table; |
||||
} |
||||
|
||||
void spx_fft_destroy(void *table) |
||||
{ |
||||
struct kiss_config *t = (struct kiss_config *)table; |
||||
kiss_fftr_free(t->forward); |
||||
kiss_fftr_free(t->backward); |
||||
speex_free(table); |
||||
} |
||||
|
||||
#ifdef FIXED_POINT |
||||
|
||||
void spx_fft(void *table, spx_word16_t *in, spx_word16_t *out) |
||||
{ |
||||
int shift; |
||||
struct kiss_config *t = (struct kiss_config *)table; |
||||
shift = maximize_range(in, in, 32000, t->N); |
||||
kiss_fftr2(t->forward, in, out); |
||||
renorm_range(in, in, shift, t->N); |
||||
renorm_range(out, out, shift, t->N); |
||||
} |
||||
|
||||
#else |
||||
|
||||
void spx_fft(void *table, spx_word16_t *in, spx_word16_t *out) |
||||
{ |
||||
int i; |
||||
float scale; |
||||
struct kiss_config *t = (struct kiss_config *)table; |
||||
scale = 1./t->N; |
||||
kiss_fftr2(t->forward, in, out); |
||||
for (i=0;i<t->N;i++) |
||||
out[i] *= scale; |
||||
} |
||||
#endif |
||||
|
||||
void spx_ifft(void *table, spx_word16_t *in, spx_word16_t *out) |
||||
{ |
||||
struct kiss_config *t = (struct kiss_config *)table; |
||||
kiss_fftri2(t->backward, in, out); |
||||
} |
||||
|
||||
|
||||
#else |
||||
|
||||
#error No other FFT implemented |
||||
|
||||
#endif |
||||
|
||||
|
||||
#ifdef FIXED_POINT |
||||
/*#include "smallft.h"*/ |
||||
|
||||
|
||||
void spx_fft_float(void *table, float *in, float *out) |
||||
{ |
||||
int i; |
||||
#ifdef USE_SMALLFT |
||||
int N = ((struct drft_lookup *)table)->n; |
||||
#elif defined(USE_KISS_FFT) |
||||
int N = ((struct kiss_config *)table)->N; |
||||
#else |
||||
#endif |
||||
#ifdef VAR_ARRAYS |
||||
spx_word16_t _in[N]; |
||||
spx_word16_t _out[N]; |
||||
#else |
||||
spx_word16_t _in[MAX_FFT_SIZE]; |
||||
spx_word16_t _out[MAX_FFT_SIZE]; |
||||
#endif |
||||
for (i=0;i<N;i++) |
||||
_in[i] = (int)floor(.5+in[i]); |
||||
spx_fft(table, _in, _out); |
||||
for (i=0;i<N;i++) |
||||
out[i] = _out[i]; |
||||
#if 0 |
||||
if (!fixed_point) |
||||
{ |
||||
float scale; |
||||
struct drft_lookup t; |
||||
spx_drft_init(&t, ((struct kiss_config *)table)->N); |
||||
scale = 1./((struct kiss_config *)table)->N; |
||||
for (i=0;i<((struct kiss_config *)table)->N;i++) |
||||
out[i] = scale*in[i]; |
||||
spx_drft_forward(&t, out); |
||||
spx_drft_clear(&t); |
||||
} |
||||
#endif |
||||
} |
||||
|
||||
void spx_ifft_float(void *table, float *in, float *out) |
||||
{ |
||||
int i; |
||||
#ifdef USE_SMALLFT |
||||
int N = ((struct drft_lookup *)table)->n; |
||||
#elif defined(USE_KISS_FFT) |
||||
int N = ((struct kiss_config *)table)->N; |
||||
#else |
||||
#endif |
||||
#ifdef VAR_ARRAYS |
||||
spx_word16_t _in[N]; |
||||
spx_word16_t _out[N]; |
||||
#else |
||||
spx_word16_t _in[MAX_FFT_SIZE]; |
||||
spx_word16_t _out[MAX_FFT_SIZE]; |
||||
#endif |
||||
for (i=0;i<N;i++) |
||||
_in[i] = (int)floor(.5+in[i]); |
||||
spx_ifft(table, _in, _out); |
||||
for (i=0;i<N;i++) |
||||
out[i] = _out[i]; |
||||
#if 0 |
||||
if (!fixed_point) |
||||
{ |
||||
int i; |
||||
struct drft_lookup t; |
||||
spx_drft_init(&t, ((struct kiss_config *)table)->N); |
||||
for (i=0;i<((struct kiss_config *)table)->N;i++) |
||||
out[i] = in[i]; |
||||
spx_drft_backward(&t, out); |
||||
spx_drft_clear(&t); |
||||
} |
||||
#endif |
||||
} |
||||
|
||||
#else |
||||
|
||||
void spx_fft_float(void *table, float *in, float *out) |
||||
{ |
||||
spx_fft(table, in, out); |
||||
} |
||||
void spx_ifft_float(void *table, float *in, float *out) |
||||
{ |
||||
spx_ifft(table, in, out); |
||||
} |
||||
|
||||
#endif |
||||
@ -0,0 +1,58 @@
|
||||
/* Copyright (C) 2005 Jean-Marc Valin
|
||||
File: fftwrap.h |
||||
|
||||
Wrapper for various FFTs |
||||
|
||||
Redistribution and use in source and binary forms, with or without |
||||
modification, are permitted provided that the following conditions |
||||
are met: |
||||
|
||||
- Redistributions of source code must retain the above copyright |
||||
notice, this list of conditions and the following disclaimer. |
||||
|
||||
- Redistributions in binary form must reproduce the above copyright |
||||
notice, this list of conditions and the following disclaimer in the |
||||
documentation and/or other materials provided with the distribution. |
||||
|
||||
- Neither the name of the Xiph.org Foundation nor the names of its |
||||
contributors may be used to endorse or promote products derived from |
||||
this software without specific prior written permission. |
||||
|
||||
THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS |
||||
``AS IS'' AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT |
||||
LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR |
||||
A PARTICULAR PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE FOUNDATION OR |
||||
CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, |
||||
EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO, |
||||
PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR |
||||
PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF |
||||
LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING |
||||
NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS |
||||
SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE. |
||||
|
||||
*/ |
||||
|
||||
#ifndef FFTWRAP_H |
||||
#define FFTWRAP_H |
||||
|
||||
#include "arch.h" |
||||
|
||||
/** Compute tables for an FFT */ |
||||
void *spx_fft_init(int size); |
||||
|
||||
/** Destroy tables for an FFT */ |
||||
void spx_fft_destroy(void *table); |
||||
|
||||
/** Forward (real to half-complex) transform */ |
||||
void spx_fft(void *table, spx_word16_t *in, spx_word16_t *out); |
||||
|
||||
/** Backward (half-complex to real) transform */ |
||||
void spx_ifft(void *table, spx_word16_t *in, spx_word16_t *out); |
||||
|
||||
/** Forward (real to half-complex) transform of float data */ |
||||
void spx_fft_float(void *table, float *in, float *out); |
||||
|
||||
/** Backward (half-complex to real) transform of float data */ |
||||
void spx_ifft_float(void *table, float *in, float *out); |
||||
|
||||
#endif |
||||
@ -0,0 +1,170 @@
|
||||
/* Copyright (C) Jean-Marc Valin */ |
||||
/**
|
||||
@file speex_echo.h |
||||
@brief Echo cancellation |
||||
*/ |
||||
/*
|
||||
Redistribution and use in source and binary forms, with or without |
||||
modification, are permitted provided that the following conditions are |
||||
met: |
||||
|
||||
1. Redistributions of source code must retain the above copyright notice, |
||||
this list of conditions and the following disclaimer. |
||||
|
||||
2. Redistributions in binary form must reproduce the above copyright |
||||
notice, this list of conditions and the following disclaimer in the |
||||
documentation and/or other materials provided with the distribution. |
||||
|
||||
3. The name of the author may not be used to endorse or promote products |
||||
derived from this software without specific prior written permission. |
||||
|
||||
THIS SOFTWARE IS PROVIDED BY THE AUTHOR ``AS IS'' AND ANY EXPRESS OR |
||||
IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED WARRANTIES |
||||
OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE |
||||
DISCLAIMED. IN NO EVENT SHALL THE AUTHOR BE LIABLE FOR ANY DIRECT, |
||||
INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES |
||||
(INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR |
||||
SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) |
||||
HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, |
||||
STRICT LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN |
||||
ANY WAY OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE |
||||
POSSIBILITY OF SUCH DAMAGE. |
||||
*/ |
||||
|
||||
#ifndef SPEEX_ECHO_H |
||||
#define SPEEX_ECHO_H |
||||
/** @defgroup SpeexEchoState SpeexEchoState: Acoustic echo canceller
|
||||
* This is the acoustic echo canceller module. |
||||
* @{ |
||||
*/ |
||||
#include "speexdsp_types.h" |
||||
|
||||
#ifdef __cplusplus |
||||
extern "C" { |
||||
#endif |
||||
|
||||
/** Obtain frame size used by the AEC */ |
||||
#define SPEEX_ECHO_GET_FRAME_SIZE 3 |
||||
|
||||
/** Set sampling rate */ |
||||
#define SPEEX_ECHO_SET_SAMPLING_RATE 24 |
||||
/** Get sampling rate */ |
||||
#define SPEEX_ECHO_GET_SAMPLING_RATE 25 |
||||
|
||||
/* Can't set window sizes */ |
||||
/** Get size of impulse response (int32) */ |
||||
#define SPEEX_ECHO_GET_IMPULSE_RESPONSE_SIZE 27 |
||||
|
||||
/* Can't set window content */ |
||||
/** Get impulse response (int32[]) */ |
||||
#define SPEEX_ECHO_GET_IMPULSE_RESPONSE 29 |
||||
|
||||
/** Internal echo canceller state. Should never be accessed directly. */ |
||||
struct SpeexEchoState_; |
||||
|
||||
/** @class SpeexEchoState
|
||||
* This holds the state of the echo canceller. You need one per channel. |
||||
*/ |
||||
|
||||
/** Internal echo canceller state. Should never be accessed directly. */ |
||||
typedef struct SpeexEchoState_ SpeexEchoState; |
||||
|
||||
/** Creates a new echo canceller state
|
||||
* @param frame_size Number of samples to process at one time (should correspond to 10-20 ms) |
||||
* @param filter_length Number of samples of echo to cancel (should generally correspond to 100-500 ms) |
||||
* @return Newly-created echo canceller state |
||||
*/ |
||||
SpeexEchoState *speex_echo_state_init(int frame_size, int filter_length); |
||||
|
||||
/** Creates a new multi-channel echo canceller state
|
||||
* @param frame_size Number of samples to process at one time (should correspond to 10-20 ms) |
||||
* @param filter_length Number of samples of echo to cancel (should generally correspond to 100-500 ms) |
||||
* @param nb_mic Number of microphone channels |
||||
* @param nb_speakers Number of speaker channels |
||||
* @return Newly-created echo canceller state |
||||
*/ |
||||
SpeexEchoState *speex_echo_state_init_mc(int frame_size, int filter_length, int nb_mic, int nb_speakers); |
||||
|
||||
/** Destroys an echo canceller state
|
||||
* @param st Echo canceller state |
||||
*/ |
||||
void speex_echo_state_destroy(SpeexEchoState *st); |
||||
|
||||
/** Performs echo cancellation a frame, based on the audio sent to the speaker (no delay is added
|
||||
* to playback in this form) |
||||
* |
||||
* @param st Echo canceller state |
||||
* @param rec Signal from the microphone (near end + far end echo) |
||||
* @param play Signal played to the speaker (received from far end) |
||||
* @param out Returns near-end signal with echo removed |
||||
*/ |
||||
void speex_echo_cancellation(SpeexEchoState *st, const spx_int16_t *rec, const spx_int16_t *play, spx_int16_t *out); |
||||
|
||||
/** Performs echo cancellation a frame (deprecated) */ |
||||
void speex_echo_cancel(SpeexEchoState *st, const spx_int16_t *rec, const spx_int16_t *play, spx_int16_t *out, spx_int32_t *Yout); |
||||
|
||||
/** Perform echo cancellation using internal playback buffer, which is delayed by two frames
|
||||
* to account for the delay introduced by most soundcards (but it could be off!) |
||||
* @param st Echo canceller state |
||||
* @param rec Signal from the microphone (near end + far end echo) |
||||
* @param out Returns near-end signal with echo removed |
||||
*/ |
||||
void speex_echo_capture(SpeexEchoState *st, const spx_int16_t *rec, spx_int16_t *out); |
||||
|
||||
/** Let the echo canceller know that a frame was just queued to the soundcard
|
||||
* @param st Echo canceller state |
||||
* @param play Signal played to the speaker (received from far end) |
||||
*/ |
||||
void speex_echo_playback(SpeexEchoState *st, const spx_int16_t *play); |
||||
|
||||
/** Reset the echo canceller to its original state
|
||||
* @param st Echo canceller state |
||||
*/ |
||||
void speex_echo_state_reset(SpeexEchoState *st); |
||||
|
||||
/** Used like the ioctl function to control the echo canceller parameters
|
||||
* |
||||
* @param st Echo canceller state |
||||
* @param request ioctl-type request (one of the SPEEX_ECHO_* macros) |
||||
* @param ptr Data exchanged to-from function |
||||
* @return 0 if no error, -1 if request in unknown |
||||
*/ |
||||
int speex_echo_ctl(SpeexEchoState *st, int request, void *ptr); |
||||
|
||||
|
||||
|
||||
struct SpeexDecorrState_; |
||||
|
||||
typedef struct SpeexDecorrState_ SpeexDecorrState; |
||||
|
||||
|
||||
/** Create a state for the channel decorrelation algorithm
|
||||
This is useful for multi-channel echo cancellation only |
||||
* @param rate Sampling rate |
||||
* @param channels Number of channels (it's a bit pointless if you don't have at least 2) |
||||
* @param frame_size Size of the frame to process at ones (counting samples *per* channel) |
||||
*/ |
||||
SpeexDecorrState *speex_decorrelate_new(int rate, int channels, int frame_size); |
||||
|
||||
/** Remove correlation between the channels by modifying the phase and possibly
|
||||
adding noise in a way that is not (or little) perceptible. |
||||
* @param st Decorrelator state |
||||
* @param in Input audio in interleaved format |
||||
* @param out Result of the decorrelation (out *may* alias in) |
||||
* @param strength How much alteration of the audio to apply from 0 to 100. |
||||
*/ |
||||
void speex_decorrelate(SpeexDecorrState *st, const spx_int16_t *in, spx_int16_t *out, int strength); |
||||
|
||||
/** Destroy a Decorrelation state
|
||||
* @param st State to destroy |
||||
*/ |
||||
void speex_decorrelate_destroy(SpeexDecorrState *st); |
||||
|
||||
|
||||
#ifdef __cplusplus |
||||
} |
||||
#endif |
||||
|
||||
|
||||
/** @}*/ |
||||
#endif |
||||
@ -0,0 +1,14 @@
|
||||
/* speexdsp_config_types.h — статически сгенерировано для POSIX (Linux/FreeBSD/Android).
|
||||
* В оригинале генерируется configure из speexdsp_config_types.h.in. На Windows ветка |
||||
* _WIN32 в speexdsp_types.h использует нативные типы и этот файл не инклудится. */ |
||||
#ifndef __SPEEX_TYPES_H__ |
||||
#define __SPEEX_TYPES_H__ |
||||
|
||||
#include <stdint.h> |
||||
|
||||
typedef int16_t spx_int16_t; |
||||
typedef uint16_t spx_uint16_t; |
||||
typedef int32_t spx_int32_t; |
||||
typedef uint32_t spx_uint32_t; |
||||
|
||||
#endif |
||||
@ -0,0 +1,126 @@
|
||||
/* speexdsp_types.h taken from libogg */ |
||||
/********************************************************************
|
||||
* * |
||||
* THIS FILE IS PART OF THE OggVorbis SOFTWARE CODEC SOURCE CODE. * |
||||
* USE, DISTRIBUTION AND REPRODUCTION OF THIS LIBRARY SOURCE IS * |
||||
* GOVERNED BY A BSD-STYLE SOURCE LICENSE INCLUDED WITH THIS SOURCE * |
||||
* IN 'COPYING'. PLEASE READ THESE TERMS BEFORE DISTRIBUTING. * |
||||
* * |
||||
* THE OggVorbis SOURCE CODE IS (C) COPYRIGHT 1994-2002 * |
||||
* by the Xiph.Org Foundation http://www.xiph.org/ *
|
||||
* * |
||||
******************************************************************** |
||||
|
||||
function: #ifdef jail to whip a few platforms into the UNIX ideal. |
||||
last mod: $Id: os_types.h 7524 2004-08-11 04:20:36Z conrad $ |
||||
|
||||
********************************************************************/ |
||||
/**
|
||||
@file speexdsp_types.h |
||||
@brief Speex types |
||||
*/ |
||||
#ifndef _SPEEX_TYPES_H |
||||
#define _SPEEX_TYPES_H |
||||
|
||||
#if defined(_WIN32) |
||||
|
||||
# if defined(__CYGWIN__) |
||||
# include <_G_config.h> |
||||
typedef _G_int32_t spx_int32_t; |
||||
typedef _G_uint32_t spx_uint32_t; |
||||
typedef _G_int16_t spx_int16_t; |
||||
typedef _G_uint16_t spx_uint16_t; |
||||
# elif defined(__MINGW32__) |
||||
typedef short spx_int16_t; |
||||
typedef unsigned short spx_uint16_t; |
||||
typedef int spx_int32_t; |
||||
typedef unsigned int spx_uint32_t; |
||||
# elif defined(__MWERKS__) |
||||
typedef int spx_int32_t; |
||||
typedef unsigned int spx_uint32_t; |
||||
typedef short spx_int16_t; |
||||
typedef unsigned short spx_uint16_t; |
||||
# else |
||||
/* MSVC/Borland */ |
||||
typedef __int32 spx_int32_t; |
||||
typedef unsigned __int32 spx_uint32_t; |
||||
typedef __int16 spx_int16_t; |
||||
typedef unsigned __int16 spx_uint16_t; |
||||
# endif |
||||
|
||||
#elif defined(__MACOS__) |
||||
|
||||
# include <sys/types.h> |
||||
typedef SInt16 spx_int16_t; |
||||
typedef UInt16 spx_uint16_t; |
||||
typedef SInt32 spx_int32_t; |
||||
typedef UInt32 spx_uint32_t; |
||||
|
||||
#elif (defined(__APPLE__) && defined(__MACH__)) /* MacOS X Framework build */ |
||||
|
||||
# include <sys/types.h> |
||||
typedef int16_t spx_int16_t; |
||||
typedef u_int16_t spx_uint16_t; |
||||
typedef int32_t spx_int32_t; |
||||
typedef u_int32_t spx_uint32_t; |
||||
|
||||
#elif defined(__BEOS__) |
||||
|
||||
/* Be */ |
||||
# include <inttypes.h> |
||||
typedef int16_t spx_int16_t; |
||||
typedef u_int16_t spx_uint16_t; |
||||
typedef int32_t spx_int32_t; |
||||
typedef u_int32_t spx_uint32_t; |
||||
|
||||
#elif defined (__EMX__) |
||||
|
||||
/* OS/2 GCC */ |
||||
typedef short spx_int16_t; |
||||
typedef unsigned short spx_uint16_t; |
||||
typedef int spx_int32_t; |
||||
typedef unsigned int spx_uint32_t; |
||||
|
||||
#elif defined (DJGPP) |
||||
|
||||
/* DJGPP */ |
||||
typedef short spx_int16_t; |
||||
typedef int spx_int32_t; |
||||
typedef unsigned int spx_uint32_t; |
||||
|
||||
#elif defined(R5900) |
||||
|
||||
/* PS2 EE */ |
||||
typedef int spx_int32_t; |
||||
typedef unsigned spx_uint32_t; |
||||
typedef short spx_int16_t; |
||||
|
||||
#elif defined(__SYMBIAN32__) |
||||
|
||||
/* Symbian GCC */ |
||||
typedef signed short spx_int16_t; |
||||
typedef unsigned short spx_uint16_t; |
||||
typedef signed int spx_int32_t; |
||||
typedef unsigned int spx_uint32_t; |
||||
|
||||
#elif defined(CONFIG_TI_C54X) || defined (CONFIG_TI_C55X) |
||||
|
||||
typedef short spx_int16_t; |
||||
typedef unsigned short spx_uint16_t; |
||||
typedef long spx_int32_t; |
||||
typedef unsigned long spx_uint32_t; |
||||
|
||||
#elif defined(CONFIG_TI_C6X) |
||||
|
||||
typedef short spx_int16_t; |
||||
typedef unsigned short spx_uint16_t; |
||||
typedef int spx_int32_t; |
||||
typedef unsigned int spx_uint32_t; |
||||
|
||||
#else |
||||
|
||||
#include "speexdsp_config_types.h" |
||||
|
||||
#endif |
||||
|
||||
#endif /* _SPEEX_TYPES_H */ |
||||
@ -0,0 +1,523 @@
|
||||
/*
|
||||
Copyright (c) 2003-2004, Mark Borgerding |
||||
Copyright (c) 2005-2007, Jean-Marc Valin |
||||
|
||||
All rights reserved. |
||||
|
||||
Redistribution and use in source and binary forms, with or without modification, are permitted provided that the following conditions are met: |
||||
|
||||
* Redistributions of source code must retain the above copyright notice, this list of conditions and the following disclaimer. |
||||
* Redistributions in binary form must reproduce the above copyright notice, this list of conditions and the following disclaimer in the documentation and/or other materials provided with the distribution. |
||||
* Neither the author nor the names of any contributors may be used to endorse or promote products derived from this software without specific prior written permission. |
||||
|
||||
THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS "AS IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT OWNER OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE. |
||||
*/ |
||||
|
||||
|
||||
#ifdef HAVE_CONFIG_H |
||||
#include "config.h" |
||||
#endif |
||||
|
||||
#include "_kiss_fft_guts.h" |
||||
#include "arch.h" |
||||
#include "os_support.h" |
||||
|
||||
/* The guts header contains all the multiplication and addition macros that are defined for
|
||||
fixed or floating point complex numbers. It also declares the kf_ internal functions. |
||||
*/ |
||||
|
||||
static void kf_bfly2( |
||||
kiss_fft_cpx * Fout, |
||||
const size_t fstride, |
||||
const kiss_fft_cfg st, |
||||
int m, |
||||
int N, |
||||
int mm |
||||
) |
||||
{ |
||||
kiss_fft_cpx * Fout2; |
||||
kiss_fft_cpx * tw1; |
||||
kiss_fft_cpx t; |
||||
if (!st->inverse) { |
||||
int i,j; |
||||
kiss_fft_cpx * Fout_beg = Fout; |
||||
for (i=0;i<N;i++) |
||||
{ |
||||
Fout = Fout_beg + i*mm; |
||||
Fout2 = Fout + m; |
||||
tw1 = st->twiddles; |
||||
for(j=0;j<m;j++) |
||||
{ |
||||
/* Almost the same as the code path below, except that we divide the input by two
|
||||
(while keeping the best accuracy possible) */ |
||||
spx_word32_t tr, ti; |
||||
tr = SHR32(SUB32(MULT16_16(Fout2->r , tw1->r),MULT16_16(Fout2->i , tw1->i)), 1); |
||||
ti = SHR32(ADD32(MULT16_16(Fout2->i , tw1->r),MULT16_16(Fout2->r , tw1->i)), 1); |
||||
tw1 += fstride; |
||||
Fout2->r = PSHR32(SUB32(SHL32(EXTEND32(Fout->r), 14), tr), 15); |
||||
Fout2->i = PSHR32(SUB32(SHL32(EXTEND32(Fout->i), 14), ti), 15); |
||||
Fout->r = PSHR32(ADD32(SHL32(EXTEND32(Fout->r), 14), tr), 15); |
||||
Fout->i = PSHR32(ADD32(SHL32(EXTEND32(Fout->i), 14), ti), 15); |
||||
++Fout2; |
||||
++Fout; |
||||
} |
||||
} |
||||
} else { |
||||
int i,j; |
||||
kiss_fft_cpx * Fout_beg = Fout; |
||||
for (i=0;i<N;i++) |
||||
{ |
||||
Fout = Fout_beg + i*mm; |
||||
Fout2 = Fout + m; |
||||
tw1 = st->twiddles; |
||||
for(j=0;j<m;j++) |
||||
{ |
||||
C_MUL (t, *Fout2 , *tw1); |
||||
tw1 += fstride; |
||||
C_SUB( *Fout2 , *Fout , t ); |
||||
C_ADDTO( *Fout , t ); |
||||
++Fout2; |
||||
++Fout; |
||||
} |
||||
} |
||||
} |
||||
} |
||||
|
||||
static void kf_bfly4( |
||||
kiss_fft_cpx * Fout, |
||||
const size_t fstride, |
||||
const kiss_fft_cfg st, |
||||
int m, |
||||
int N, |
||||
int mm |
||||
) |
||||
{ |
||||
kiss_fft_cpx *tw1,*tw2,*tw3; |
||||
kiss_fft_cpx scratch[6]; |
||||
const size_t m2=2*m; |
||||
const size_t m3=3*m; |
||||
int i, j; |
||||
|
||||
if (st->inverse) |
||||
{ |
||||
kiss_fft_cpx * Fout_beg = Fout; |
||||
for (i=0;i<N;i++) |
||||
{ |
||||
Fout = Fout_beg + i*mm; |
||||
tw3 = tw2 = tw1 = st->twiddles; |
||||
for (j=0;j<m;j++) |
||||
{ |
||||
C_MUL(scratch[0],Fout[m] , *tw1 ); |
||||
C_MUL(scratch[1],Fout[m2] , *tw2 ); |
||||
C_MUL(scratch[2],Fout[m3] , *tw3 ); |
||||
|
||||
C_SUB( scratch[5] , *Fout, scratch[1] ); |
||||
C_ADDTO(*Fout, scratch[1]); |
||||
C_ADD( scratch[3] , scratch[0] , scratch[2] ); |
||||
C_SUB( scratch[4] , scratch[0] , scratch[2] ); |
||||
C_SUB( Fout[m2], *Fout, scratch[3] ); |
||||
tw1 += fstride; |
||||
tw2 += fstride*2; |
||||
tw3 += fstride*3; |
||||
C_ADDTO( *Fout , scratch[3] ); |
||||
|
||||
Fout[m].r = scratch[5].r - scratch[4].i; |
||||
Fout[m].i = scratch[5].i + scratch[4].r; |
||||
Fout[m3].r = scratch[5].r + scratch[4].i; |
||||
Fout[m3].i = scratch[5].i - scratch[4].r; |
||||
++Fout; |
||||
} |
||||
} |
||||
} else |
||||
{ |
||||
kiss_fft_cpx * Fout_beg = Fout; |
||||
for (i=0;i<N;i++) |
||||
{ |
||||
Fout = Fout_beg + i*mm; |
||||
tw3 = tw2 = tw1 = st->twiddles; |
||||
for (j=0;j<m;j++) |
||||
{ |
||||
C_MUL4(scratch[0],Fout[m] , *tw1 ); |
||||
C_MUL4(scratch[1],Fout[m2] , *tw2 ); |
||||
C_MUL4(scratch[2],Fout[m3] , *tw3 ); |
||||
|
||||
Fout->r = PSHR16(Fout->r, 2); |
||||
Fout->i = PSHR16(Fout->i, 2); |
||||
C_SUB( scratch[5] , *Fout, scratch[1] ); |
||||
C_ADDTO(*Fout, scratch[1]); |
||||
C_ADD( scratch[3] , scratch[0] , scratch[2] ); |
||||
C_SUB( scratch[4] , scratch[0] , scratch[2] ); |
||||
Fout[m2].r = PSHR16(Fout[m2].r, 2); |
||||
Fout[m2].i = PSHR16(Fout[m2].i, 2); |
||||
C_SUB( Fout[m2], *Fout, scratch[3] ); |
||||
tw1 += fstride; |
||||
tw2 += fstride*2; |
||||
tw3 += fstride*3; |
||||
C_ADDTO( *Fout , scratch[3] ); |
||||
|
||||
Fout[m].r = scratch[5].r + scratch[4].i; |
||||
Fout[m].i = scratch[5].i - scratch[4].r; |
||||
Fout[m3].r = scratch[5].r - scratch[4].i; |
||||
Fout[m3].i = scratch[5].i + scratch[4].r; |
||||
++Fout; |
||||
} |
||||
} |
||||
} |
||||
} |
||||
|
||||
static void kf_bfly3( |
||||
kiss_fft_cpx * Fout, |
||||
const size_t fstride, |
||||
const kiss_fft_cfg st, |
||||
size_t m |
||||
) |
||||
{ |
||||
size_t k=m; |
||||
const size_t m2 = 2*m; |
||||
kiss_fft_cpx *tw1,*tw2; |
||||
kiss_fft_cpx scratch[5]; |
||||
kiss_fft_cpx epi3; |
||||
epi3 = st->twiddles[fstride*m]; |
||||
|
||||
tw1=tw2=st->twiddles; |
||||
|
||||
do{ |
||||
if (!st->inverse) { |
||||
C_FIXDIV(*Fout,3); C_FIXDIV(Fout[m],3); C_FIXDIV(Fout[m2],3); |
||||
} |
||||
|
||||
C_MUL(scratch[1],Fout[m] , *tw1); |
||||
C_MUL(scratch[2],Fout[m2] , *tw2); |
||||
|
||||
C_ADD(scratch[3],scratch[1],scratch[2]); |
||||
C_SUB(scratch[0],scratch[1],scratch[2]); |
||||
tw1 += fstride; |
||||
tw2 += fstride*2; |
||||
|
||||
Fout[m].r = Fout->r - HALF_OF(scratch[3].r); |
||||
Fout[m].i = Fout->i - HALF_OF(scratch[3].i); |
||||
|
||||
C_MULBYSCALAR( scratch[0] , epi3.i ); |
||||
|
||||
C_ADDTO(*Fout,scratch[3]); |
||||
|
||||
Fout[m2].r = Fout[m].r + scratch[0].i; |
||||
Fout[m2].i = Fout[m].i - scratch[0].r; |
||||
|
||||
Fout[m].r -= scratch[0].i; |
||||
Fout[m].i += scratch[0].r; |
||||
|
||||
++Fout; |
||||
}while(--k); |
||||
} |
||||
|
||||
static void kf_bfly5( |
||||
kiss_fft_cpx * Fout, |
||||
const size_t fstride, |
||||
const kiss_fft_cfg st, |
||||
int m |
||||
) |
||||
{ |
||||
kiss_fft_cpx *Fout0,*Fout1,*Fout2,*Fout3,*Fout4; |
||||
int u; |
||||
kiss_fft_cpx scratch[13]; |
||||
kiss_fft_cpx * twiddles = st->twiddles; |
||||
kiss_fft_cpx *tw; |
||||
kiss_fft_cpx ya,yb; |
||||
ya = twiddles[fstride*m]; |
||||
yb = twiddles[fstride*2*m]; |
||||
|
||||
Fout0=Fout; |
||||
Fout1=Fout0+m; |
||||
Fout2=Fout0+2*m; |
||||
Fout3=Fout0+3*m; |
||||
Fout4=Fout0+4*m; |
||||
|
||||
tw=st->twiddles; |
||||
for ( u=0; u<m; ++u ) { |
||||
if (!st->inverse) { |
||||
C_FIXDIV( *Fout0,5); C_FIXDIV( *Fout1,5); C_FIXDIV( *Fout2,5); C_FIXDIV( *Fout3,5); C_FIXDIV( *Fout4,5); |
||||
} |
||||
scratch[0] = *Fout0; |
||||
|
||||
C_MUL(scratch[1] ,*Fout1, tw[u*fstride]); |
||||
C_MUL(scratch[2] ,*Fout2, tw[2*u*fstride]); |
||||
C_MUL(scratch[3] ,*Fout3, tw[3*u*fstride]); |
||||
C_MUL(scratch[4] ,*Fout4, tw[4*u*fstride]); |
||||
|
||||
C_ADD( scratch[7],scratch[1],scratch[4]); |
||||
C_SUB( scratch[10],scratch[1],scratch[4]); |
||||
C_ADD( scratch[8],scratch[2],scratch[3]); |
||||
C_SUB( scratch[9],scratch[2],scratch[3]); |
||||
|
||||
Fout0->r += scratch[7].r + scratch[8].r; |
||||
Fout0->i += scratch[7].i + scratch[8].i; |
||||
|
||||
scratch[5].r = scratch[0].r + S_MUL(scratch[7].r,ya.r) + S_MUL(scratch[8].r,yb.r); |
||||
scratch[5].i = scratch[0].i + S_MUL(scratch[7].i,ya.r) + S_MUL(scratch[8].i,yb.r); |
||||
|
||||
scratch[6].r = S_MUL(scratch[10].i,ya.i) + S_MUL(scratch[9].i,yb.i); |
||||
scratch[6].i = -S_MUL(scratch[10].r,ya.i) - S_MUL(scratch[9].r,yb.i); |
||||
|
||||
C_SUB(*Fout1,scratch[5],scratch[6]); |
||||
C_ADD(*Fout4,scratch[5],scratch[6]); |
||||
|
||||
scratch[11].r = scratch[0].r + S_MUL(scratch[7].r,yb.r) + S_MUL(scratch[8].r,ya.r); |
||||
scratch[11].i = scratch[0].i + S_MUL(scratch[7].i,yb.r) + S_MUL(scratch[8].i,ya.r); |
||||
scratch[12].r = - S_MUL(scratch[10].i,yb.i) + S_MUL(scratch[9].i,ya.i); |
||||
scratch[12].i = S_MUL(scratch[10].r,yb.i) - S_MUL(scratch[9].r,ya.i); |
||||
|
||||
C_ADD(*Fout2,scratch[11],scratch[12]); |
||||
C_SUB(*Fout3,scratch[11],scratch[12]); |
||||
|
||||
++Fout0;++Fout1;++Fout2;++Fout3;++Fout4; |
||||
} |
||||
} |
||||
|
||||
/* perform the butterfly for one stage of a mixed radix FFT */ |
||||
static void kf_bfly_generic( |
||||
kiss_fft_cpx * Fout, |
||||
const size_t fstride, |
||||
const kiss_fft_cfg st, |
||||
int m, |
||||
int p |
||||
) |
||||
{ |
||||
int u,k,q1,q; |
||||
kiss_fft_cpx * twiddles = st->twiddles; |
||||
kiss_fft_cpx t; |
||||
kiss_fft_cpx scratchbuf[17]; |
||||
int Norig = st->nfft; |
||||
|
||||
/*CHECKBUF(scratchbuf,nscratchbuf,p);*/ |
||||
if (p>17) |
||||
speex_fatal("KissFFT: max radix supported is 17"); |
||||
|
||||
for ( u=0; u<m; ++u ) { |
||||
k=u; |
||||
for ( q1=0 ; q1<p ; ++q1 ) { |
||||
scratchbuf[q1] = Fout[ k ]; |
||||
if (!st->inverse) { |
||||
C_FIXDIV(scratchbuf[q1],p); |
||||
} |
||||
k += m; |
||||
} |
||||
|
||||
k=u; |
||||
for ( q1=0 ; q1<p ; ++q1 ) { |
||||
int twidx=0; |
||||
Fout[ k ] = scratchbuf[0]; |
||||
for (q=1;q<p;++q ) { |
||||
twidx += fstride * k; |
||||
if (twidx>=Norig) twidx-=Norig; |
||||
C_MUL(t,scratchbuf[q] , twiddles[twidx] ); |
||||
C_ADDTO( Fout[ k ] ,t); |
||||
} |
||||
k += m; |
||||
} |
||||
} |
||||
} |
||||
|
||||
static |
||||
void kf_shuffle( |
||||
kiss_fft_cpx * Fout, |
||||
const kiss_fft_cpx * f, |
||||
const size_t fstride, |
||||
int in_stride, |
||||
int * factors, |
||||
const kiss_fft_cfg st |
||||
) |
||||
{ |
||||
const int p=*factors++; /* the radix */ |
||||
const int m=*factors++; /* stage's fft length/p */ |
||||
|
||||
/*printf ("fft %d %d %d %d %d %d\n", p*m, m, p, s2, fstride*in_stride, N);*/ |
||||
if (m==1) |
||||
{ |
||||
int j; |
||||
for (j=0;j<p;j++) |
||||
{ |
||||
Fout[j] = *f; |
||||
f += fstride*in_stride; |
||||
} |
||||
} else { |
||||
int j; |
||||
for (j=0;j<p;j++) |
||||
{ |
||||
kf_shuffle( Fout , f, fstride*p, in_stride, factors,st); |
||||
f += fstride*in_stride; |
||||
Fout += m; |
||||
} |
||||
} |
||||
} |
||||
|
||||
static |
||||
void kf_work( |
||||
kiss_fft_cpx * Fout, |
||||
const kiss_fft_cpx * f, |
||||
const size_t fstride, |
||||
int in_stride, |
||||
int * factors, |
||||
const kiss_fft_cfg st, |
||||
int N, |
||||
int s2, |
||||
int m2 |
||||
) |
||||
{ |
||||
int i; |
||||
kiss_fft_cpx * Fout_beg=Fout; |
||||
const int p=*factors++; /* the radix */ |
||||
const int m=*factors++; /* stage's fft length/p */ |
||||
#if 0 |
||||
/*printf ("fft %d %d %d %d %d %d\n", p*m, m, p, s2, fstride*in_stride, N);*/ |
||||
if (m==1) |
||||
{ |
||||
/* int j;
|
||||
for (j=0;j<p;j++) |
||||
{ |
||||
Fout[j] = *f; |
||||
f += fstride*in_stride; |
||||
}*/ |
||||
} else { |
||||
int j; |
||||
for (j=0;j<p;j++) |
||||
{ |
||||
kf_work( Fout , f, fstride*p, in_stride, factors,st, N*p, fstride*in_stride, m); |
||||
f += fstride*in_stride; |
||||
Fout += m; |
||||
} |
||||
} |
||||
|
||||
Fout=Fout_beg; |
||||
|
||||
switch (p) { |
||||
case 2: kf_bfly2(Fout,fstride,st,m); break; |
||||
case 3: kf_bfly3(Fout,fstride,st,m); break; |
||||
case 4: kf_bfly4(Fout,fstride,st,m); break; |
||||
case 5: kf_bfly5(Fout,fstride,st,m); break; |
||||
default: kf_bfly_generic(Fout,fstride,st,m,p); break; |
||||
} |
||||
#else |
||||
/*printf ("fft %d %d %d %d %d %d %d\n", p*m, m, p, s2, fstride*in_stride, N, m2);*/ |
||||
if (m==1) |
||||
{ |
||||
/*for (i=0;i<N;i++)
|
||||
{ |
||||
int j; |
||||
Fout = Fout_beg+i*m2; |
||||
const kiss_fft_cpx * f2 = f+i*s2; |
||||
for (j=0;j<p;j++) |
||||
{ |
||||
*Fout++ = *f2; |
||||
f2 += fstride*in_stride; |
||||
} |
||||
}*/ |
||||
}else{ |
||||
kf_work( Fout , f, fstride*p, in_stride, factors,st, N*p, fstride*in_stride, m); |
||||
} |
||||
|
||||
|
||||
|
||||
|
||||
switch (p) { |
||||
case 2: kf_bfly2(Fout,fstride,st,m, N, m2); break; |
||||
case 3: for (i=0;i<N;i++){Fout=Fout_beg+i*m2; kf_bfly3(Fout,fstride,st,m);} break; |
||||
case 4: kf_bfly4(Fout,fstride,st,m, N, m2); break; |
||||
case 5: for (i=0;i<N;i++){Fout=Fout_beg+i*m2; kf_bfly5(Fout,fstride,st,m);} break; |
||||
default: for (i=0;i<N;i++){Fout=Fout_beg+i*m2; kf_bfly_generic(Fout,fstride,st,m,p);} break; |
||||
} |
||||
#endif |
||||
} |
||||
|
||||
/* facbuf is populated by p1,m1,p2,m2, ...
|
||||
where |
||||
p[i] * m[i] = m[i-1] |
||||
m0 = n */ |
||||
static |
||||
void kf_factor(int n,int * facbuf) |
||||
{ |
||||
int p=4; |
||||
|
||||
/*factor out powers of 4, powers of 2, then any remaining primes */ |
||||
do { |
||||
while (n % p) { |
||||
switch (p) { |
||||
case 4: p = 2; break; |
||||
case 2: p = 3; break; |
||||
default: p += 2; break; |
||||
} |
||||
if (p>32000 || (spx_int32_t)p*(spx_int32_t)p > n) |
||||
p = n; /* no more factors, skip to end */ |
||||
} |
||||
n /= p; |
||||
*facbuf++ = p; |
||||
*facbuf++ = n; |
||||
} while (n > 1); |
||||
} |
||||
/*
|
||||
* |
||||
* User-callable function to allocate all necessary storage space for the fft. |
||||
* |
||||
* The return value is a contiguous block of memory, allocated with malloc. As such, |
||||
* It can be freed with free(), rather than a kiss_fft-specific function. |
||||
* */ |
||||
kiss_fft_cfg kiss_fft_alloc(int nfft,int inverse_fft,void * mem,size_t * lenmem ) |
||||
{ |
||||
kiss_fft_cfg st=NULL; |
||||
size_t memneeded = sizeof(struct kiss_fft_state) |
||||
+ sizeof(kiss_fft_cpx)*(nfft-1); /* twiddle factors*/ |
||||
|
||||
if ( lenmem==NULL ) { |
||||
st = ( kiss_fft_cfg)KISS_FFT_MALLOC( memneeded ); |
||||
}else{ |
||||
if (mem != NULL && *lenmem >= memneeded) |
||||
st = (kiss_fft_cfg)mem; |
||||
*lenmem = memneeded; |
||||
} |
||||
if (st) { |
||||
int i; |
||||
st->nfft=nfft; |
||||
st->inverse = inverse_fft; |
||||
#ifdef FIXED_POINT |
||||
for (i=0;i<nfft;++i) { |
||||
spx_word32_t phase = i; |
||||
if (!st->inverse) |
||||
phase = -phase; |
||||
kf_cexp2(st->twiddles+i, DIV32(SHL32(phase,17),nfft)); |
||||
} |
||||
#else |
||||
for (i=0;i<nfft;++i) { |
||||
const double pi=3.14159265358979323846264338327; |
||||
double phase = ( -2*pi /nfft ) * i; |
||||
if (st->inverse) |
||||
phase *= -1; |
||||
kf_cexp(st->twiddles+i, phase ); |
||||
} |
||||
#endif |
||||
kf_factor(nfft,st->factors); |
||||
} |
||||
return st; |
||||
} |
||||
|
||||
|
||||
|
||||
|
||||
void kiss_fft_stride(kiss_fft_cfg st,const kiss_fft_cpx *fin,kiss_fft_cpx *fout,int in_stride) |
||||
{ |
||||
if (fin == fout) |
||||
{ |
||||
speex_fatal("In-place FFT not supported"); |
||||
/*CHECKBUF(tmpbuf,ntmpbuf,st->nfft);
|
||||
kf_work(tmpbuf,fin,1,in_stride, st->factors,st); |
||||
SPEEX_MOVE(fout,tmpbuf,st->nfft);*/ |
||||
} else { |
||||
kf_shuffle( fout, fin, 1,in_stride, st->factors,st); |
||||
kf_work( fout, fin, 1,in_stride, st->factors,st, 1, in_stride, 1); |
||||
} |
||||
} |
||||
|
||||
void kiss_fft(kiss_fft_cfg cfg,const kiss_fft_cpx *fin,kiss_fft_cpx *fout) |
||||
{ |
||||
kiss_fft_stride(cfg,fin,fout,1); |
||||
} |
||||
|
||||
@ -0,0 +1,108 @@
|
||||
#ifndef KISS_FFT_H |
||||
#define KISS_FFT_H |
||||
|
||||
#include <stdlib.h> |
||||
#include <math.h> |
||||
#include "arch.h" |
||||
|
||||
#ifdef __cplusplus |
||||
extern "C" { |
||||
#endif |
||||
|
||||
/*
|
||||
ATTENTION! |
||||
If you would like a : |
||||
-- a utility that will handle the caching of fft objects |
||||
-- real-only (no imaginary time component ) FFT |
||||
-- a multi-dimensional FFT |
||||
-- a command-line utility to perform ffts |
||||
-- a command-line utility to perform fast-convolution filtering |
||||
|
||||
Then see kfc.h kiss_fftr.h kiss_fftnd.h fftutil.c kiss_fastfir.c |
||||
in the tools/ directory. |
||||
*/ |
||||
|
||||
#ifdef USE_SIMD |
||||
# include <xmmintrin.h> |
||||
# define kiss_fft_scalar __m128 |
||||
#define KISS_FFT_MALLOC(nbytes) memalign(16,nbytes) |
||||
#else |
||||
#define KISS_FFT_MALLOC speex_alloc |
||||
#endif |
||||
|
||||
|
||||
#ifdef FIXED_POINT |
||||
#include "arch.h" |
||||
# define kiss_fft_scalar spx_int16_t |
||||
#else |
||||
# ifndef kiss_fft_scalar |
||||
/* default is float */ |
||||
# define kiss_fft_scalar float |
||||
# endif |
||||
#endif |
||||
|
||||
typedef struct { |
||||
kiss_fft_scalar r; |
||||
kiss_fft_scalar i; |
||||
}kiss_fft_cpx; |
||||
|
||||
typedef struct kiss_fft_state* kiss_fft_cfg; |
||||
|
||||
/*
|
||||
* kiss_fft_alloc |
||||
* |
||||
* Initialize a FFT (or IFFT) algorithm's cfg/state buffer. |
||||
* |
||||
* typical usage: kiss_fft_cfg mycfg=kiss_fft_alloc(1024,0,NULL,NULL); |
||||
* |
||||
* The return value from fft_alloc is a cfg buffer used internally |
||||
* by the fft routine or NULL. |
||||
* |
||||
* If lenmem is NULL, then kiss_fft_alloc will allocate a cfg buffer using malloc. |
||||
* The returned value should be free()d when done to avoid memory leaks. |
||||
* |
||||
* The state can be placed in a user supplied buffer 'mem': |
||||
* If lenmem is not NULL and mem is not NULL and *lenmem is large enough, |
||||
* then the function places the cfg in mem and the size used in *lenmem |
||||
* and returns mem. |
||||
* |
||||
* If lenmem is not NULL and ( mem is NULL or *lenmem is not large enough), |
||||
* then the function returns NULL and places the minimum cfg |
||||
* buffer size in *lenmem. |
||||
* */ |
||||
|
||||
kiss_fft_cfg kiss_fft_alloc(int nfft,int inverse_fft,void * mem,size_t * lenmem); |
||||
|
||||
/*
|
||||
* kiss_fft(cfg,in_out_buf) |
||||
* |
||||
* Perform an FFT on a complex input buffer. |
||||
* for a forward FFT, |
||||
* fin should be f[0] , f[1] , ... ,f[nfft-1] |
||||
* fout will be F[0] , F[1] , ... ,F[nfft-1] |
||||
* Note that each element is complex and can be accessed like |
||||
f[k].r and f[k].i |
||||
* */ |
||||
void kiss_fft(kiss_fft_cfg cfg,const kiss_fft_cpx *fin,kiss_fft_cpx *fout); |
||||
|
||||
/*
|
||||
A more generic version of the above function. It reads its input from every Nth sample. |
||||
* */ |
||||
void kiss_fft_stride(kiss_fft_cfg cfg,const kiss_fft_cpx *fin,kiss_fft_cpx *fout,int fin_stride); |
||||
|
||||
/* If kiss_fft_alloc allocated a buffer, it is one contiguous
|
||||
buffer and can be simply free()d when no longer needed*/ |
||||
#define kiss_fft_free speex_free |
||||
|
||||
/*
|
||||
Cleans up some memory that gets managed internally. Not necessary to call, but it might clean up |
||||
your compiler output to call this before you exit. |
||||
*/ |
||||
void kiss_fft_cleanup(void); |
||||
|
||||
|
||||
#ifdef __cplusplus |
||||
} |
||||
#endif |
||||
|
||||
#endif |
||||
@ -0,0 +1,297 @@
|
||||
/*
|
||||
Copyright (c) 2003-2004, Mark Borgerding |
||||
|
||||
All rights reserved. |
||||
|
||||
Redistribution and use in source and binary forms, with or without modification, are permitted provided that the following conditions are met: |
||||
|
||||
* Redistributions of source code must retain the above copyright notice, this list of conditions and the following disclaimer. |
||||
* Redistributions in binary form must reproduce the above copyright notice, this list of conditions and the following disclaimer in the documentation and/or other materials provided with the distribution. |
||||
* Neither the author nor the names of any contributors may be used to endorse or promote products derived from this software without specific prior written permission. |
||||
|
||||
THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS "AS IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT OWNER OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE. |
||||
*/ |
||||
|
||||
#ifdef HAVE_CONFIG_H |
||||
#include "config.h" |
||||
#endif |
||||
|
||||
#include "os_support.h" |
||||
#include "kiss_fftr.h" |
||||
#include "_kiss_fft_guts.h" |
||||
|
||||
struct kiss_fftr_state{ |
||||
kiss_fft_cfg substate; |
||||
kiss_fft_cpx * tmpbuf; |
||||
kiss_fft_cpx * super_twiddles; |
||||
#ifdef USE_SIMD |
||||
long pad; |
||||
#endif |
||||
}; |
||||
|
||||
kiss_fftr_cfg kiss_fftr_alloc(int nfft,int inverse_fft,void * mem,size_t * lenmem) |
||||
{ |
||||
int i; |
||||
kiss_fftr_cfg st = NULL; |
||||
size_t subsize, memneeded; |
||||
|
||||
if (nfft & 1) { |
||||
speex_warning("Real FFT optimization must be even.\n"); |
||||
return NULL; |
||||
} |
||||
nfft >>= 1; |
||||
|
||||
kiss_fft_alloc (nfft, inverse_fft, NULL, &subsize); |
||||
memneeded = sizeof(struct kiss_fftr_state) + subsize + sizeof(kiss_fft_cpx) * ( nfft * 2); |
||||
|
||||
if (lenmem == NULL) { |
||||
st = (kiss_fftr_cfg) KISS_FFT_MALLOC (memneeded); |
||||
} else { |
||||
if (*lenmem >= memneeded) |
||||
st = (kiss_fftr_cfg) mem; |
||||
*lenmem = memneeded; |
||||
} |
||||
if (!st) |
||||
return NULL; |
||||
|
||||
st->substate = (kiss_fft_cfg) (st + 1); /*just beyond kiss_fftr_state struct */ |
||||
st->tmpbuf = (kiss_fft_cpx *) (((char *) st->substate) + subsize); |
||||
st->super_twiddles = st->tmpbuf + nfft; |
||||
kiss_fft_alloc(nfft, inverse_fft, st->substate, &subsize); |
||||
|
||||
#ifdef FIXED_POINT |
||||
for (i=0;i<nfft;++i) { |
||||
spx_word32_t phase = i+(nfft>>1); |
||||
if (!inverse_fft) |
||||
phase = -phase; |
||||
kf_cexp2(st->super_twiddles+i, DIV32(SHL32(phase,16),nfft)); |
||||
} |
||||
#else |
||||
for (i=0;i<nfft;++i) { |
||||
const double pi=3.14159265358979323846264338327; |
||||
double phase = pi*(((double)i) /nfft + .5); |
||||
if (!inverse_fft) |
||||
phase = -phase; |
||||
kf_cexp(st->super_twiddles+i, phase ); |
||||
} |
||||
#endif |
||||
return st; |
||||
} |
||||
|
||||
void kiss_fftr(kiss_fftr_cfg st,const kiss_fft_scalar *timedata,kiss_fft_cpx *freqdata) |
||||
{ |
||||
/* input buffer timedata is stored row-wise */ |
||||
int k,ncfft; |
||||
kiss_fft_cpx fpnk,fpk,f1k,f2k,tw,tdc; |
||||
|
||||
if ( st->substate->inverse) { |
||||
speex_fatal("kiss fft usage error: improper alloc\n"); |
||||
} |
||||
|
||||
ncfft = st->substate->nfft; |
||||
|
||||
/*perform the parallel fft of two real signals packed in real,imag*/ |
||||
kiss_fft( st->substate , (const kiss_fft_cpx*)timedata, st->tmpbuf ); |
||||
/* The real part of the DC element of the frequency spectrum in st->tmpbuf
|
||||
* contains the sum of the even-numbered elements of the input time sequence |
||||
* The imag part is the sum of the odd-numbered elements |
||||
* |
||||
* The sum of tdc.r and tdc.i is the sum of the input time sequence. |
||||
* yielding DC of input time sequence |
||||
* The difference of tdc.r - tdc.i is the sum of the input (dot product) [1,-1,1,-1... |
||||
* yielding Nyquist bin of input time sequence |
||||
*/ |
||||
|
||||
tdc.r = st->tmpbuf[0].r; |
||||
tdc.i = st->tmpbuf[0].i; |
||||
C_FIXDIV(tdc,2); |
||||
CHECK_OVERFLOW_OP(tdc.r ,+, tdc.i); |
||||
CHECK_OVERFLOW_OP(tdc.r ,-, tdc.i); |
||||
freqdata[0].r = tdc.r + tdc.i; |
||||
freqdata[ncfft].r = tdc.r - tdc.i; |
||||
#ifdef USE_SIMD |
||||
freqdata[ncfft].i = freqdata[0].i = _mm_set1_ps(0); |
||||
#else |
||||
freqdata[ncfft].i = freqdata[0].i = 0; |
||||
#endif |
||||
|
||||
for ( k=1;k <= ncfft/2 ; ++k ) { |
||||
fpk = st->tmpbuf[k]; |
||||
fpnk.r = st->tmpbuf[ncfft-k].r; |
||||
fpnk.i = - st->tmpbuf[ncfft-k].i; |
||||
C_FIXDIV(fpk,2); |
||||
C_FIXDIV(fpnk,2); |
||||
|
||||
C_ADD( f1k, fpk , fpnk ); |
||||
C_SUB( f2k, fpk , fpnk ); |
||||
C_MUL( tw , f2k , st->super_twiddles[k]); |
||||
|
||||
freqdata[k].r = HALF_OF(f1k.r + tw.r); |
||||
freqdata[k].i = HALF_OF(f1k.i + tw.i); |
||||
freqdata[ncfft-k].r = HALF_OF(f1k.r - tw.r); |
||||
freqdata[ncfft-k].i = HALF_OF(tw.i - f1k.i); |
||||
} |
||||
} |
||||
|
||||
void kiss_fftri(kiss_fftr_cfg st,const kiss_fft_cpx *freqdata, kiss_fft_scalar *timedata) |
||||
{ |
||||
/* input buffer timedata is stored row-wise */ |
||||
int k, ncfft; |
||||
|
||||
if (st->substate->inverse == 0) { |
||||
speex_fatal("kiss fft usage error: improper alloc\n"); |
||||
} |
||||
|
||||
ncfft = st->substate->nfft; |
||||
|
||||
st->tmpbuf[0].r = freqdata[0].r + freqdata[ncfft].r; |
||||
st->tmpbuf[0].i = freqdata[0].r - freqdata[ncfft].r; |
||||
/*C_FIXDIV(st->tmpbuf[0],2);*/ |
||||
|
||||
for (k = 1; k <= ncfft / 2; ++k) { |
||||
kiss_fft_cpx fk, fnkc, fek, fok, tmp; |
||||
fk = freqdata[k]; |
||||
fnkc.r = freqdata[ncfft - k].r; |
||||
fnkc.i = -freqdata[ncfft - k].i; |
||||
/*C_FIXDIV( fk , 2 );
|
||||
C_FIXDIV( fnkc , 2 );*/ |
||||
|
||||
C_ADD (fek, fk, fnkc); |
||||
C_SUB (tmp, fk, fnkc); |
||||
C_MUL (fok, tmp, st->super_twiddles[k]); |
||||
C_ADD (st->tmpbuf[k], fek, fok); |
||||
C_SUB (st->tmpbuf[ncfft - k], fek, fok); |
||||
#ifdef USE_SIMD |
||||
st->tmpbuf[ncfft - k].i *= _mm_set1_ps(-1.0); |
||||
#else |
||||
st->tmpbuf[ncfft - k].i *= -1; |
||||
#endif |
||||
} |
||||
kiss_fft (st->substate, st->tmpbuf, (kiss_fft_cpx *) timedata); |
||||
} |
||||
|
||||
void kiss_fftr2(kiss_fftr_cfg st,const kiss_fft_scalar *timedata,kiss_fft_scalar *freqdata) |
||||
{ |
||||
/* input buffer timedata is stored row-wise */ |
||||
int k,ncfft; |
||||
kiss_fft_cpx f2k,tdc; |
||||
spx_word32_t f1kr, f1ki, twr, twi; |
||||
|
||||
if ( st->substate->inverse) { |
||||
speex_fatal("kiss fft usage error: improper alloc\n"); |
||||
} |
||||
|
||||
ncfft = st->substate->nfft; |
||||
|
||||
/*perform the parallel fft of two real signals packed in real,imag*/ |
||||
kiss_fft( st->substate , (const kiss_fft_cpx*)timedata, st->tmpbuf ); |
||||
/* The real part of the DC element of the frequency spectrum in st->tmpbuf
|
||||
* contains the sum of the even-numbered elements of the input time sequence |
||||
* The imag part is the sum of the odd-numbered elements |
||||
* |
||||
* The sum of tdc.r and tdc.i is the sum of the input time sequence. |
||||
* yielding DC of input time sequence |
||||
* The difference of tdc.r - tdc.i is the sum of the input (dot product) [1,-1,1,-1... |
||||
* yielding Nyquist bin of input time sequence |
||||
*/ |
||||
|
||||
tdc.r = st->tmpbuf[0].r; |
||||
tdc.i = st->tmpbuf[0].i; |
||||
C_FIXDIV(tdc,2); |
||||
CHECK_OVERFLOW_OP(tdc.r ,+, tdc.i); |
||||
CHECK_OVERFLOW_OP(tdc.r ,-, tdc.i); |
||||
freqdata[0] = tdc.r + tdc.i; |
||||
freqdata[2*ncfft-1] = tdc.r - tdc.i; |
||||
|
||||
for ( k=1;k <= ncfft/2 ; ++k ) |
||||
{ |
||||
/*fpk = st->tmpbuf[k];
|
||||
fpnk.r = st->tmpbuf[ncfft-k].r; |
||||
fpnk.i = - st->tmpbuf[ncfft-k].i; |
||||
C_FIXDIV(fpk,2); |
||||
C_FIXDIV(fpnk,2); |
||||
|
||||
C_ADD( f1k, fpk , fpnk ); |
||||
C_SUB( f2k, fpk , fpnk ); |
||||
|
||||
C_MUL( tw , f2k , st->super_twiddles[k]); |
||||
|
||||
freqdata[2*k-1] = HALF_OF(f1k.r + tw.r); |
||||
freqdata[2*k] = HALF_OF(f1k.i + tw.i); |
||||
freqdata[2*(ncfft-k)-1] = HALF_OF(f1k.r - tw.r); |
||||
freqdata[2*(ncfft-k)] = HALF_OF(tw.i - f1k.i); |
||||
*/ |
||||
|
||||
/*f1k.r = PSHR32(ADD32(EXTEND32(st->tmpbuf[k].r), EXTEND32(st->tmpbuf[ncfft-k].r)),1);
|
||||
f1k.i = PSHR32(SUB32(EXTEND32(st->tmpbuf[k].i), EXTEND32(st->tmpbuf[ncfft-k].i)),1); |
||||
f2k.r = PSHR32(SUB32(EXTEND32(st->tmpbuf[k].r), EXTEND32(st->tmpbuf[ncfft-k].r)),1); |
||||
f2k.i = SHR32(ADD32(EXTEND32(st->tmpbuf[k].i), EXTEND32(st->tmpbuf[ncfft-k].i)),1); |
||||
|
||||
C_MUL( tw , f2k , st->super_twiddles[k]); |
||||
|
||||
freqdata[2*k-1] = HALF_OF(f1k.r + tw.r); |
||||
freqdata[2*k] = HALF_OF(f1k.i + tw.i); |
||||
freqdata[2*(ncfft-k)-1] = HALF_OF(f1k.r - tw.r); |
||||
freqdata[2*(ncfft-k)] = HALF_OF(tw.i - f1k.i); |
||||
*/ |
||||
f2k.r = SHR32(SUB32(EXTEND32(st->tmpbuf[k].r), EXTEND32(st->tmpbuf[ncfft-k].r)),1); |
||||
f2k.i = PSHR32(ADD32(EXTEND32(st->tmpbuf[k].i), EXTEND32(st->tmpbuf[ncfft-k].i)),1); |
||||
|
||||
f1kr = SHL32(ADD32(EXTEND32(st->tmpbuf[k].r), EXTEND32(st->tmpbuf[ncfft-k].r)),13); |
||||
f1ki = SHL32(SUB32(EXTEND32(st->tmpbuf[k].i), EXTEND32(st->tmpbuf[ncfft-k].i)),13); |
||||
|
||||
twr = SHR32(SUB32(MULT16_16(f2k.r,st->super_twiddles[k].r),MULT16_16(f2k.i,st->super_twiddles[k].i)), 1); |
||||
twi = SHR32(ADD32(MULT16_16(f2k.i,st->super_twiddles[k].r),MULT16_16(f2k.r,st->super_twiddles[k].i)), 1); |
||||
|
||||
#ifdef FIXED_POINT |
||||
freqdata[2*k-1] = PSHR32(f1kr + twr, 15); |
||||
freqdata[2*k] = PSHR32(f1ki + twi, 15); |
||||
freqdata[2*(ncfft-k)-1] = PSHR32(f1kr - twr, 15); |
||||
freqdata[2*(ncfft-k)] = PSHR32(twi - f1ki, 15); |
||||
#else |
||||
freqdata[2*k-1] = .5f*(f1kr + twr); |
||||
freqdata[2*k] = .5f*(f1ki + twi); |
||||
freqdata[2*(ncfft-k)-1] = .5f*(f1kr - twr); |
||||
freqdata[2*(ncfft-k)] = .5f*(twi - f1ki); |
||||
|
||||
#endif |
||||
} |
||||
} |
||||
|
||||
void kiss_fftri2(kiss_fftr_cfg st,const kiss_fft_scalar *freqdata,kiss_fft_scalar *timedata) |
||||
{ |
||||
/* input buffer timedata is stored row-wise */ |
||||
int k, ncfft; |
||||
|
||||
if (st->substate->inverse == 0) { |
||||
speex_fatal ("kiss fft usage error: improper alloc\n"); |
||||
} |
||||
|
||||
ncfft = st->substate->nfft; |
||||
|
||||
st->tmpbuf[0].r = freqdata[0] + freqdata[2*ncfft-1]; |
||||
st->tmpbuf[0].i = freqdata[0] - freqdata[2*ncfft-1]; |
||||
/*C_FIXDIV(st->tmpbuf[0],2);*/ |
||||
|
||||
for (k = 1; k <= ncfft / 2; ++k) { |
||||
kiss_fft_cpx fk, fnkc, fek, fok, tmp; |
||||
fk.r = freqdata[2*k-1]; |
||||
fk.i = freqdata[2*k]; |
||||
fnkc.r = freqdata[2*(ncfft - k)-1]; |
||||
fnkc.i = -freqdata[2*(ncfft - k)]; |
||||
/*C_FIXDIV( fk , 2 );
|
||||
C_FIXDIV( fnkc , 2 );*/ |
||||
|
||||
C_ADD (fek, fk, fnkc); |
||||
C_SUB (tmp, fk, fnkc); |
||||
C_MUL (fok, tmp, st->super_twiddles[k]); |
||||
C_ADD (st->tmpbuf[k], fek, fok); |
||||
C_SUB (st->tmpbuf[ncfft - k], fek, fok); |
||||
#ifdef USE_SIMD |
||||
st->tmpbuf[ncfft - k].i *= _mm_set1_ps(-1.0); |
||||
#else |
||||
st->tmpbuf[ncfft - k].i *= -1; |
||||
#endif |
||||
} |
||||
kiss_fft (st->substate, st->tmpbuf, (kiss_fft_cpx *) timedata); |
||||
} |
||||
@ -0,0 +1,51 @@
|
||||
#ifndef KISS_FTR_H |
||||
#define KISS_FTR_H |
||||
|
||||
#include "kiss_fft.h" |
||||
#ifdef __cplusplus |
||||
extern "C" { |
||||
#endif |
||||
|
||||
|
||||
/*
|
||||
|
||||
Real optimized version can save about 45% cpu time vs. complex fft of a real seq. |
||||
|
||||
|
||||
|
||||
*/ |
||||
|
||||
typedef struct kiss_fftr_state *kiss_fftr_cfg; |
||||
|
||||
|
||||
kiss_fftr_cfg kiss_fftr_alloc(int nfft,int inverse_fft,void * mem, size_t * lenmem); |
||||
/*
|
||||
nfft must be even |
||||
|
||||
If you don't care to allocate space, use mem = lenmem = NULL |
||||
*/ |
||||
|
||||
|
||||
void kiss_fftr(kiss_fftr_cfg cfg,const kiss_fft_scalar *timedata,kiss_fft_cpx *freqdata); |
||||
/*
|
||||
input timedata has nfft scalar points |
||||
output freqdata has nfft/2+1 complex points |
||||
*/ |
||||
|
||||
void kiss_fftr2(kiss_fftr_cfg st,const kiss_fft_scalar *timedata,kiss_fft_scalar *freqdata); |
||||
|
||||
void kiss_fftri(kiss_fftr_cfg cfg,const kiss_fft_cpx *freqdata,kiss_fft_scalar *timedata); |
||||
|
||||
void kiss_fftri2(kiss_fftr_cfg st,const kiss_fft_scalar *freqdata, kiss_fft_scalar *timedata); |
||||
|
||||
/*
|
||||
input freqdata has nfft/2+1 complex points |
||||
output timedata has nfft scalar points |
||||
*/ |
||||
|
||||
#define kiss_fftr_free speex_free |
||||
|
||||
#ifdef __cplusplus |
||||
} |
||||
#endif |
||||
#endif |
||||
@ -0,0 +1,332 @@
|
||||
/* Copyright (C) 2002 Jean-Marc Valin */ |
||||
/**
|
||||
@file math_approx.h |
||||
@brief Various math approximation functions for Speex |
||||
*/ |
||||
/*
|
||||
Redistribution and use in source and binary forms, with or without |
||||
modification, are permitted provided that the following conditions |
||||
are met: |
||||
|
||||
- Redistributions of source code must retain the above copyright |
||||
notice, this list of conditions and the following disclaimer. |
||||
|
||||
- Redistributions in binary form must reproduce the above copyright |
||||
notice, this list of conditions and the following disclaimer in the |
||||
documentation and/or other materials provided with the distribution. |
||||
|
||||
- Neither the name of the Xiph.org Foundation nor the names of its |
||||
contributors may be used to endorse or promote products derived from |
||||
this software without specific prior written permission. |
||||
|
||||
THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS |
||||
``AS IS'' AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT |
||||
LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR |
||||
A PARTICULAR PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE FOUNDATION OR |
||||
CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, |
||||
EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO, |
||||
PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR |
||||
PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF |
||||
LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING |
||||
NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS |
||||
SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE. |
||||
*/ |
||||
|
||||
#ifndef MATH_APPROX_H |
||||
#define MATH_APPROX_H |
||||
|
||||
#include "arch.h" |
||||
|
||||
#ifndef FIXED_POINT |
||||
|
||||
#define spx_sqrt sqrt |
||||
#define spx_acos acos |
||||
#define spx_exp exp |
||||
#define spx_cos_norm(x) (cos((.5f*M_PI)*(x))) |
||||
#define spx_atan atan |
||||
|
||||
/** Generate a pseudo-random number */ |
||||
static inline spx_word16_t speex_rand(spx_word16_t std, spx_int32_t *seed) |
||||
{ |
||||
const unsigned int jflone = 0x3f800000; |
||||
const unsigned int jflmsk = 0x007fffff; |
||||
union {int i; float f;} ran; |
||||
*seed = 1664525 * *seed + 1013904223; |
||||
ran.i = jflone | (jflmsk & *seed); |
||||
ran.f -= 1.5; |
||||
return 3.4642*std*ran.f; |
||||
} |
||||
|
||||
|
||||
#endif |
||||
|
||||
|
||||
static inline spx_int16_t spx_ilog2(spx_uint32_t x) |
||||
{ |
||||
int r=0; |
||||
if (x>=(spx_int32_t)65536) |
||||
{ |
||||
x >>= 16; |
||||
r += 16; |
||||
} |
||||
if (x>=256) |
||||
{ |
||||
x >>= 8; |
||||
r += 8; |
||||
} |
||||
if (x>=16) |
||||
{ |
||||
x >>= 4; |
||||
r += 4; |
||||
} |
||||
if (x>=4) |
||||
{ |
||||
x >>= 2; |
||||
r += 2; |
||||
} |
||||
if (x>=2) |
||||
{ |
||||
r += 1; |
||||
} |
||||
return r; |
||||
} |
||||
|
||||
static inline spx_int16_t spx_ilog4(spx_uint32_t x) |
||||
{ |
||||
int r=0; |
||||
if (x>=(spx_int32_t)65536) |
||||
{ |
||||
x >>= 16; |
||||
r += 8; |
||||
} |
||||
if (x>=256) |
||||
{ |
||||
x >>= 8; |
||||
r += 4; |
||||
} |
||||
if (x>=16) |
||||
{ |
||||
x >>= 4; |
||||
r += 2; |
||||
} |
||||
if (x>=4) |
||||
{ |
||||
r += 1; |
||||
} |
||||
return r; |
||||
} |
||||
|
||||
#ifdef FIXED_POINT |
||||
|
||||
/** Generate a pseudo-random number */ |
||||
static inline spx_word16_t speex_rand(spx_word16_t std, spx_int32_t *seed) |
||||
{ |
||||
spx_word32_t res; |
||||
*seed = 1664525 * *seed + 1013904223; |
||||
res = MULT16_16(EXTRACT16(SHR32(*seed,16)),std); |
||||
return EXTRACT16(PSHR32(SUB32(res, SHR32(res, 3)),14)); |
||||
} |
||||
|
||||
/* sqrt(x) ~= 0.22178 + 1.29227*x - 0.77070*x^2 + 0.25723*x^3 (for .25 < x < 1) */ |
||||
/*#define C0 3634
|
||||
#define C1 21173 |
||||
#define C2 -12627 |
||||
#define C3 4215*/ |
||||
|
||||
/* sqrt(x) ~= 0.22178 + 1.29227*x - 0.77070*x^2 + 0.25659*x^3 (for .25 < x < 1) */ |
||||
#define C0 3634 |
||||
#define C1 21173 |
||||
#define C2 -12627 |
||||
#define C3 4204 |
||||
|
||||
static inline spx_word16_t spx_sqrt(spx_word32_t x) |
||||
{ |
||||
int k; |
||||
spx_word32_t rt; |
||||
k = spx_ilog4(x)-6; |
||||
x = VSHR32(x, (k<<1)); |
||||
rt = ADD16(C0, MULT16_16_Q14(x, ADD16(C1, MULT16_16_Q14(x, ADD16(C2, MULT16_16_Q14(x, (C3))))))); |
||||
rt = VSHR32(rt,7-k); |
||||
return rt; |
||||
} |
||||
|
||||
/* log(x) ~= -2.18151 + 4.20592*x - 2.88938*x^2 + 0.86535*x^3 (for .5 < x < 1) */ |
||||
|
||||
|
||||
#define A1 16469 |
||||
#define A2 2242 |
||||
#define A3 1486 |
||||
|
||||
static inline spx_word16_t spx_acos(spx_word16_t x) |
||||
{ |
||||
int s=0; |
||||
spx_word16_t ret; |
||||
spx_word16_t sq; |
||||
if (x<0) |
||||
{ |
||||
s=1; |
||||
x = NEG16(x); |
||||
} |
||||
x = SUB16(16384,x); |
||||
|
||||
x = x >> 1; |
||||
sq = MULT16_16_Q13(x, ADD16(A1, MULT16_16_Q13(x, ADD16(A2, MULT16_16_Q13(x, (A3)))))); |
||||
ret = spx_sqrt(SHL32(EXTEND32(sq),13)); |
||||
|
||||
/*ret = spx_sqrt(67108864*(-1.6129e-04 + 2.0104e+00*f + 2.7373e-01*f*f + 1.8136e-01*f*f*f));*/ |
||||
if (s) |
||||
ret = SUB16(25736,ret); |
||||
return ret; |
||||
} |
||||
|
||||
|
||||
#define K1 8192 |
||||
#define K2 -4096 |
||||
#define K3 340 |
||||
#define K4 -10 |
||||
|
||||
static inline spx_word16_t spx_cos(spx_word16_t x) |
||||
{ |
||||
spx_word16_t x2; |
||||
|
||||
if (x<12868) |
||||
{ |
||||
x2 = MULT16_16_P13(x,x); |
||||
return ADD32(K1, MULT16_16_P13(x2, ADD32(K2, MULT16_16_P13(x2, ADD32(K3, MULT16_16_P13(K4, x2)))))); |
||||
} else { |
||||
x = SUB16(25736,x); |
||||
x2 = MULT16_16_P13(x,x); |
||||
return SUB32(-K1, MULT16_16_P13(x2, ADD32(K2, MULT16_16_P13(x2, ADD32(K3, MULT16_16_P13(K4, x2)))))); |
||||
} |
||||
} |
||||
|
||||
#define L1 32767 |
||||
#define L2 -7651 |
||||
#define L3 8277 |
||||
#define L4 -626 |
||||
|
||||
static inline spx_word16_t _spx_cos_pi_2(spx_word16_t x) |
||||
{ |
||||
spx_word16_t x2; |
||||
|
||||
x2 = MULT16_16_P15(x,x); |
||||
return ADD16(1,MIN16(32766,ADD32(SUB16(L1,x2), MULT16_16_P15(x2, ADD32(L2, MULT16_16_P15(x2, ADD32(L3, MULT16_16_P15(L4, x2)))))))); |
||||
} |
||||
|
||||
static inline spx_word16_t spx_cos_norm(spx_word32_t x) |
||||
{ |
||||
x = x&0x0001ffff; |
||||
if (x>SHL32(EXTEND32(1), 16)) |
||||
x = SUB32(SHL32(EXTEND32(1), 17),x); |
||||
if (x&0x00007fff) |
||||
{ |
||||
if (x<SHL32(EXTEND32(1), 15)) |
||||
{ |
||||
return _spx_cos_pi_2(EXTRACT16(x)); |
||||
} else { |
||||
return NEG32(_spx_cos_pi_2(EXTRACT16(65536-x))); |
||||
} |
||||
} else { |
||||
if (x&0x0000ffff) |
||||
return 0; |
||||
else if (x&0x0001ffff) |
||||
return -32767; |
||||
else |
||||
return 32767; |
||||
} |
||||
} |
||||
|
||||
/*
|
||||
K0 = 1 |
||||
K1 = log(2) |
||||
K2 = 3-4*log(2) |
||||
K3 = 3*log(2) - 2 |
||||
*/ |
||||
#define D0 16384 |
||||
#define D1 11356 |
||||
#define D2 3726 |
||||
#define D3 1301 |
||||
/* Input in Q11 format, output in Q16 */ |
||||
static inline spx_word32_t spx_exp2(spx_word16_t x) |
||||
{ |
||||
int integer; |
||||
spx_word16_t frac; |
||||
integer = SHR16(x,11); |
||||
if (integer>14) |
||||
return 0x7fffffff; |
||||
else if (integer < -15) |
||||
return 0; |
||||
frac = SHL16(x-SHL16(integer,11),3); |
||||
frac = ADD16(D0, MULT16_16_Q14(frac, ADD16(D1, MULT16_16_Q14(frac, ADD16(D2 , MULT16_16_Q14(D3,frac)))))); |
||||
return VSHR32(EXTEND32(frac), -integer-2); |
||||
} |
||||
|
||||
/* Input in Q11 format, output in Q16 */ |
||||
static inline spx_word32_t spx_exp(spx_word16_t x) |
||||
{ |
||||
if (x>21290) |
||||
return 0x7fffffff; |
||||
else if (x<-21290) |
||||
return 0; |
||||
else |
||||
return spx_exp2(MULT16_16_P14(23637,x)); |
||||
} |
||||
#define M1 32767 |
||||
#define M2 -21 |
||||
#define M3 -11943 |
||||
#define M4 4936 |
||||
|
||||
static inline spx_word16_t spx_atan01(spx_word16_t x) |
||||
{ |
||||
return MULT16_16_P15(x, ADD32(M1, MULT16_16_P15(x, ADD32(M2, MULT16_16_P15(x, ADD32(M3, MULT16_16_P15(M4, x))))))); |
||||
} |
||||
|
||||
#undef M1 |
||||
#undef M2 |
||||
#undef M3 |
||||
#undef M4 |
||||
|
||||
/* Input in Q15, output in Q14 */ |
||||
static inline spx_word16_t spx_atan(spx_word32_t x) |
||||
{ |
||||
if (x <= 32767) |
||||
{ |
||||
return SHR16(spx_atan01(x),1); |
||||
} else { |
||||
int e = spx_ilog2(x); |
||||
if (e>=29) |
||||
return 25736; |
||||
x = DIV32_16(SHL32(EXTEND32(32767),29-e), EXTRACT16(SHR32(x, e-14))); |
||||
return SUB16(25736, SHR16(spx_atan01(x),1)); |
||||
} |
||||
} |
||||
#else |
||||
|
||||
#ifndef M_PI |
||||
#define M_PI 3.14159265358979323846 /* pi */ |
||||
#endif |
||||
|
||||
#define C1 0.9999932946f |
||||
#define C2 -0.4999124376f |
||||
#define C3 0.0414877472f |
||||
#define C4 -0.0012712095f |
||||
|
||||
|
||||
#define SPX_PI_2 1.5707963268 |
||||
static inline spx_word16_t spx_cos(spx_word16_t x) |
||||
{ |
||||
if (x<SPX_PI_2) |
||||
{ |
||||
x *= x; |
||||
return C1 + x*(C2+x*(C3+C4*x)); |
||||
} else { |
||||
x = M_PI-x; |
||||
x *= x; |
||||
return NEG16(C1 + x*(C2+x*(C3+C4*x))); |
||||
} |
||||
} |
||||
|
||||
#endif |
||||
|
||||
|
||||
#endif |
||||
@ -0,0 +1,169 @@
|
||||
/* Copyright (C) 2007 Jean-Marc Valin
|
||||
|
||||
File: os_support.h |
||||
This is the (tiny) OS abstraction layer. Aside from math.h, this is the |
||||
only place where system headers are allowed. |
||||
|
||||
Redistribution and use in source and binary forms, with or without |
||||
modification, are permitted provided that the following conditions are |
||||
met: |
||||
|
||||
1. Redistributions of source code must retain the above copyright notice, |
||||
this list of conditions and the following disclaimer. |
||||
|
||||
2. Redistributions in binary form must reproduce the above copyright |
||||
notice, this list of conditions and the following disclaimer in the |
||||
documentation and/or other materials provided with the distribution. |
||||
|
||||
3. The name of the author may not be used to endorse or promote products |
||||
derived from this software without specific prior written permission. |
||||
|
||||
THIS SOFTWARE IS PROVIDED BY THE AUTHOR ``AS IS'' AND ANY EXPRESS OR |
||||
IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED WARRANTIES |
||||
OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE |
||||
DISCLAIMED. IN NO EVENT SHALL THE AUTHOR BE LIABLE FOR ANY DIRECT, |
||||
INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES |
||||
(INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR |
||||
SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) |
||||
HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, |
||||
STRICT LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN |
||||
ANY WAY OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE |
||||
POSSIBILITY OF SUCH DAMAGE. |
||||
*/ |
||||
|
||||
#ifndef OS_SUPPORT_H |
||||
#define OS_SUPPORT_H |
||||
|
||||
#include <string.h> |
||||
#include <stdio.h> |
||||
#include <stdlib.h> |
||||
|
||||
#ifdef HAVE_CONFIG_H |
||||
#include "config.h" |
||||
#endif |
||||
#ifdef OS_SUPPORT_CUSTOM |
||||
#include "os_support_custom.h" |
||||
#endif |
||||
|
||||
/** Speex wrapper for calloc. To do your own dynamic allocation, all you need to do is replace this function, speex_realloc and speex_free
|
||||
NOTE: speex_alloc needs to CLEAR THE MEMORY */ |
||||
#ifndef OVERRIDE_SPEEX_ALLOC |
||||
static inline void *speex_alloc (int size) |
||||
{ |
||||
/* WARNING: this is not equivalent to malloc(). If you want to use malloc()
|
||||
or your own allocator, YOU NEED TO CLEAR THE MEMORY ALLOCATED. Otherwise |
||||
you will experience strange bugs */ |
||||
return calloc(size,1); |
||||
} |
||||
#endif |
||||
|
||||
/** Same as speex_alloc, except that the area is only needed inside a Speex call (might cause problem with wideband though) */ |
||||
#ifndef OVERRIDE_SPEEX_ALLOC_SCRATCH |
||||
static inline void *speex_alloc_scratch (int size) |
||||
{ |
||||
/* Scratch space doesn't need to be cleared */ |
||||
return calloc(size,1); |
||||
} |
||||
#endif |
||||
|
||||
/** Speex wrapper for realloc. To do your own dynamic allocation, all you need to do is replace this function, speex_alloc and speex_free */ |
||||
#ifndef OVERRIDE_SPEEX_REALLOC |
||||
static inline void *speex_realloc (void *ptr, int size) |
||||
{ |
||||
return realloc(ptr, size); |
||||
} |
||||
#endif |
||||
|
||||
/** Speex wrapper for calloc. To do your own dynamic allocation, all you need to do is replace this function, speex_realloc and speex_alloc */ |
||||
#ifndef OVERRIDE_SPEEX_FREE |
||||
static inline void speex_free (void *ptr) |
||||
{ |
||||
free(ptr); |
||||
} |
||||
#endif |
||||
|
||||
/** Same as speex_free, except that the area is only needed inside a Speex call (might cause problem with wideband though) */ |
||||
#ifndef OVERRIDE_SPEEX_FREE_SCRATCH |
||||
static inline void speex_free_scratch (void *ptr) |
||||
{ |
||||
free(ptr); |
||||
} |
||||
#endif |
||||
|
||||
/** Copy n elements from src to dst. The 0* term provides compile-time type checking */ |
||||
#ifndef OVERRIDE_SPEEX_COPY |
||||
#define SPEEX_COPY(dst, src, n) (memcpy((dst), (src), (n)*sizeof(*(dst)) + 0*((dst)-(src)) )) |
||||
#endif |
||||
|
||||
/** Copy n elements from src to dst, allowing overlapping regions. The 0* term
|
||||
provides compile-time type checking */ |
||||
#ifndef OVERRIDE_SPEEX_MOVE |
||||
#define SPEEX_MOVE(dst, src, n) (memmove((dst), (src), (n)*sizeof(*(dst)) + 0*((dst)-(src)) )) |
||||
#endif |
||||
|
||||
/** For n elements worth of memory, set every byte to the value of c, starting at address dst */ |
||||
#ifndef OVERRIDE_SPEEX_MEMSET |
||||
#define SPEEX_MEMSET(dst, c, n) (memset((dst), (c), (n)*sizeof(*(dst)))) |
||||
#endif |
||||
|
||||
|
||||
#ifndef OVERRIDE_SPEEX_FATAL |
||||
static inline void _speex_fatal(const char *str, const char *file, int line) |
||||
{ |
||||
fprintf (stderr, "Fatal (internal) error in %s, line %d: %s\n", file, line, str); |
||||
exit(1); |
||||
} |
||||
#endif |
||||
|
||||
#ifndef OVERRIDE_SPEEX_WARNING |
||||
static inline void speex_warning(const char *str) |
||||
{ |
||||
#ifndef DISABLE_WARNINGS |
||||
fprintf (stderr, "warning: %s\n", str); |
||||
#endif |
||||
} |
||||
#endif |
||||
|
||||
#ifndef OVERRIDE_SPEEX_WARNING_INT |
||||
static inline void speex_warning_int(const char *str, int val) |
||||
{ |
||||
#ifndef DISABLE_WARNINGS |
||||
fprintf (stderr, "warning: %s %d\n", str, val); |
||||
#endif |
||||
} |
||||
#endif |
||||
|
||||
#ifndef OVERRIDE_SPEEX_NOTIFY |
||||
static inline void speex_notify(const char *str) |
||||
{ |
||||
#ifndef DISABLE_NOTIFICATIONS |
||||
fprintf (stderr, "notification: %s\n", str); |
||||
#endif |
||||
} |
||||
#endif |
||||
|
||||
#ifndef OVERRIDE_SPEEX_PUTC |
||||
/** Speex wrapper for putc */ |
||||
static inline void _speex_putc(int ch, void *file) |
||||
{ |
||||
FILE *f = (FILE *)file; |
||||
fprintf(f, "%c", ch); |
||||
} |
||||
#endif |
||||
|
||||
#define speex_fatal(str) _speex_fatal(str, __FILE__, __LINE__); |
||||
#define speex_assert(cond) {if (!(cond)) {speex_fatal("assertion failed: " #cond);}} |
||||
|
||||
#ifndef RELEASE |
||||
static inline void print_vec(float *vec, int len, char *name) |
||||
{ |
||||
int i; |
||||
printf ("%s ", name); |
||||
for (i=0;i<len;i++) |
||||
printf (" %f", vec[i]); |
||||
printf ("\n"); |
||||
} |
||||
#endif |
||||
|
||||
#endif |
||||
|
||||
@ -0,0 +1,379 @@
|
||||
/* Copyright (C) 2005 Jean-Marc Valin */ |
||||
/**
|
||||
@file pseudofloat.h |
||||
@brief Pseudo-floating point |
||||
* This header file provides a lightweight floating point type for |
||||
* use on fixed-point platforms when a large dynamic range is |
||||
* required. The new type is not compatible with the 32-bit IEEE format, |
||||
* it is not even remotely as accurate as 32-bit floats, and is not |
||||
* even guaranteed to produce even remotely correct results for code |
||||
* other than Speex. It makes all kinds of shortcuts that are acceptable |
||||
* for Speex, but may not be acceptable for your application. You're |
||||
* quite welcome to reuse this code and improve it, but don't assume |
||||
* it works out of the box. Most likely, it doesn't. |
||||
*/ |
||||
/*
|
||||
Redistribution and use in source and binary forms, with or without |
||||
modification, are permitted provided that the following conditions |
||||
are met: |
||||
|
||||
- Redistributions of source code must retain the above copyright |
||||
notice, this list of conditions and the following disclaimer. |
||||
|
||||
- Redistributions in binary form must reproduce the above copyright |
||||
notice, this list of conditions and the following disclaimer in the |
||||
documentation and/or other materials provided with the distribution. |
||||
|
||||
- Neither the name of the Xiph.org Foundation nor the names of its |
||||
contributors may be used to endorse or promote products derived from |
||||
this software without specific prior written permission. |
||||
|
||||
THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS |
||||
``AS IS'' AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT |
||||
LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR |
||||
A PARTICULAR PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE FOUNDATION OR |
||||
CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, |
||||
EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO, |
||||
PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR |
||||
PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF |
||||
LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING |
||||
NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS |
||||
SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE. |
||||
*/ |
||||
|
||||
#ifndef PSEUDOFLOAT_H |
||||
#define PSEUDOFLOAT_H |
||||
|
||||
#include "arch.h" |
||||
#include "os_support.h" |
||||
#include "math_approx.h" |
||||
#include <math.h> |
||||
|
||||
#ifdef FIXED_POINT |
||||
|
||||
typedef struct { |
||||
spx_int16_t m; |
||||
spx_int16_t e; |
||||
} spx_float_t; |
||||
|
||||
static const spx_float_t FLOAT_ZERO = {0,0}; |
||||
static const spx_float_t FLOAT_ONE = {16384,-14}; |
||||
static const spx_float_t FLOAT_HALF = {16384,-15}; |
||||
|
||||
#define MIN(a,b) ((a)<(b)?(a):(b)) |
||||
static inline spx_float_t PSEUDOFLOAT(spx_int32_t x) |
||||
{ |
||||
int e=0; |
||||
int sign=0; |
||||
if (x<0) |
||||
{ |
||||
sign = 1; |
||||
x = -x; |
||||
} |
||||
if (x==0) |
||||
{ |
||||
spx_float_t r = {0,0}; |
||||
return r; |
||||
} |
||||
e = spx_ilog2(ABS32(x))-14; |
||||
x = VSHR32(x, e); |
||||
if (sign) |
||||
{ |
||||
spx_float_t r; |
||||
r.m = -x; |
||||
r.e = e; |
||||
return r; |
||||
} |
||||
else |
||||
{ |
||||
spx_float_t r; |
||||
r.m = x; |
||||
r.e = e; |
||||
return r; |
||||
} |
||||
} |
||||
|
||||
|
||||
static inline spx_float_t FLOAT_ADD(spx_float_t a, spx_float_t b) |
||||
{ |
||||
spx_float_t r; |
||||
if (a.m==0) |
||||
return b; |
||||
else if (b.m==0) |
||||
return a; |
||||
if ((a).e > (b).e) |
||||
{ |
||||
r.m = ((a).m>>1) + ((b).m>>MIN(15,(a).e-(b).e+1)); |
||||
r.e = (a).e+1; |
||||
} |
||||
else |
||||
{ |
||||
r.m = ((b).m>>1) + ((a).m>>MIN(15,(b).e-(a).e+1)); |
||||
r.e = (b).e+1; |
||||
} |
||||
if (r.m>0) |
||||
{ |
||||
if (r.m<16384) |
||||
{ |
||||
r.m<<=1; |
||||
r.e-=1; |
||||
} |
||||
} else { |
||||
if (r.m>-16384) |
||||
{ |
||||
r.m<<=1; |
||||
r.e-=1; |
||||
} |
||||
} |
||||
/*printf ("%f + %f = %f\n", REALFLOAT(a), REALFLOAT(b), REALFLOAT(r));*/ |
||||
return r; |
||||
} |
||||
|
||||
static inline spx_float_t FLOAT_SUB(spx_float_t a, spx_float_t b) |
||||
{ |
||||
spx_float_t r; |
||||
if (a.m==0) |
||||
return b; |
||||
else if (b.m==0) |
||||
return a; |
||||
if ((a).e > (b).e) |
||||
{ |
||||
r.m = ((a).m>>1) - ((b).m>>MIN(15,(a).e-(b).e+1)); |
||||
r.e = (a).e+1; |
||||
} |
||||
else |
||||
{ |
||||
r.m = ((a).m>>MIN(15,(b).e-(a).e+1)) - ((b).m>>1); |
||||
r.e = (b).e+1; |
||||
} |
||||
if (r.m>0) |
||||
{ |
||||
if (r.m<16384) |
||||
{ |
||||
r.m<<=1; |
||||
r.e-=1; |
||||
} |
||||
} else { |
||||
if (r.m>-16384) |
||||
{ |
||||
r.m<<=1; |
||||
r.e-=1; |
||||
} |
||||
} |
||||
/*printf ("%f + %f = %f\n", REALFLOAT(a), REALFLOAT(b), REALFLOAT(r));*/ |
||||
return r; |
||||
} |
||||
|
||||
static inline int FLOAT_LT(spx_float_t a, spx_float_t b) |
||||
{ |
||||
if (a.m==0) |
||||
return b.m>0; |
||||
else if (b.m==0) |
||||
return a.m<0; |
||||
if ((a).e > (b).e) |
||||
return ((a).m>>1) < ((b).m>>MIN(15,(a).e-(b).e+1)); |
||||
else |
||||
return ((b).m>>1) > ((a).m>>MIN(15,(b).e-(a).e+1)); |
||||
|
||||
} |
||||
|
||||
static inline int FLOAT_GT(spx_float_t a, spx_float_t b) |
||||
{ |
||||
return FLOAT_LT(b,a); |
||||
} |
||||
|
||||
static inline spx_float_t FLOAT_MULT(spx_float_t a, spx_float_t b) |
||||
{ |
||||
spx_float_t r; |
||||
r.m = (spx_int16_t)((spx_int32_t)(a).m*(b).m>>15); |
||||
r.e = (a).e+(b).e+15; |
||||
if (r.m>0) |
||||
{ |
||||
if (r.m<16384) |
||||
{ |
||||
r.m<<=1; |
||||
r.e-=1; |
||||
} |
||||
} else { |
||||
if (r.m>-16384) |
||||
{ |
||||
r.m<<=1; |
||||
r.e-=1; |
||||
} |
||||
} |
||||
/*printf ("%f * %f = %f\n", REALFLOAT(a), REALFLOAT(b), REALFLOAT(r));*/ |
||||
return r; |
||||
} |
||||
|
||||
static inline spx_float_t FLOAT_AMULT(spx_float_t a, spx_float_t b) |
||||
{ |
||||
spx_float_t r; |
||||
r.m = (spx_int16_t)((spx_int32_t)(a).m*(b).m>>15); |
||||
r.e = (a).e+(b).e+15; |
||||
return r; |
||||
} |
||||
|
||||
|
||||
static inline spx_float_t FLOAT_SHL(spx_float_t a, int b) |
||||
{ |
||||
spx_float_t r; |
||||
r.m = a.m; |
||||
r.e = a.e+b; |
||||
return r; |
||||
} |
||||
|
||||
static inline spx_int16_t FLOAT_EXTRACT16(spx_float_t a) |
||||
{ |
||||
if (a.e<0) |
||||
return EXTRACT16((EXTEND32(a.m)+(EXTEND32(1)<<(-a.e-1)))>>-a.e); |
||||
else |
||||
return a.m<<a.e; |
||||
} |
||||
|
||||
static inline spx_int32_t FLOAT_EXTRACT32(spx_float_t a) |
||||
{ |
||||
if (a.e<0) |
||||
return (EXTEND32(a.m)+(EXTEND32(1)<<(-a.e-1)))>>-a.e; |
||||
else |
||||
return EXTEND32(a.m)<<a.e; |
||||
} |
||||
|
||||
static inline spx_int32_t FLOAT_MUL32(spx_float_t a, spx_word32_t b) |
||||
{ |
||||
return VSHR32(MULT16_32_Q15(a.m, b),-a.e-15); |
||||
} |
||||
|
||||
static inline spx_float_t FLOAT_MUL32U(spx_word32_t a, spx_word32_t b) |
||||
{ |
||||
int e1, e2; |
||||
spx_float_t r; |
||||
if (a==0 || b==0) |
||||
{ |
||||
return FLOAT_ZERO; |
||||
} |
||||
e1 = spx_ilog2(ABS32(a)); |
||||
a = VSHR32(a, e1-14); |
||||
e2 = spx_ilog2(ABS32(b)); |
||||
b = VSHR32(b, e2-14); |
||||
r.m = MULT16_16_Q15(a,b); |
||||
r.e = e1+e2-13; |
||||
return r; |
||||
} |
||||
|
||||
/* Do NOT attempt to divide by a negative number */ |
||||
static inline spx_float_t FLOAT_DIV32_FLOAT(spx_word32_t a, spx_float_t b) |
||||
{ |
||||
int e=0; |
||||
spx_float_t r; |
||||
if (a==0) |
||||
{ |
||||
return FLOAT_ZERO; |
||||
} |
||||
e = spx_ilog2(ABS32(a))-spx_ilog2(b.m-1)-15; |
||||
a = VSHR32(a, e); |
||||
if (ABS32(a)>=SHL32(EXTEND32(b.m-1),15)) |
||||
{ |
||||
a >>= 1; |
||||
e++; |
||||
} |
||||
r.m = DIV32_16(a,b.m); |
||||
r.e = e-b.e; |
||||
return r; |
||||
} |
||||
|
||||
|
||||
/* Do NOT attempt to divide by a negative number */ |
||||
static inline spx_float_t FLOAT_DIV32(spx_word32_t a, spx_word32_t b) |
||||
{ |
||||
int e0=0,e=0; |
||||
spx_float_t r; |
||||
if (a==0) |
||||
{ |
||||
return FLOAT_ZERO; |
||||
} |
||||
if (b>32767) |
||||
{ |
||||
e0 = spx_ilog2(b)-14; |
||||
b = VSHR32(b, e0); |
||||
e0 = -e0; |
||||
} |
||||
e = spx_ilog2(ABS32(a))-spx_ilog2(b-1)-15; |
||||
a = VSHR32(a, e); |
||||
if (ABS32(a)>=SHL32(EXTEND32(b-1),15)) |
||||
{ |
||||
a >>= 1; |
||||
e++; |
||||
} |
||||
e += e0; |
||||
r.m = DIV32_16(a,b); |
||||
r.e = e; |
||||
return r; |
||||
} |
||||
|
||||
/* Do NOT attempt to divide by a negative number */ |
||||
static inline spx_float_t FLOAT_DIVU(spx_float_t a, spx_float_t b) |
||||
{ |
||||
int e=0; |
||||
spx_int32_t num; |
||||
spx_float_t r; |
||||
if (b.m<=0) |
||||
{ |
||||
speex_warning_int("Attempted to divide by", b.m); |
||||
return FLOAT_ONE; |
||||
} |
||||
num = a.m; |
||||
a.m = ABS16(a.m); |
||||
while (a.m >= b.m) |
||||
{ |
||||
e++; |
||||
a.m >>= 1; |
||||
} |
||||
num = num << (15-e); |
||||
r.m = DIV32_16(num,b.m); |
||||
r.e = a.e-b.e-15+e; |
||||
return r; |
||||
} |
||||
|
||||
static inline spx_float_t FLOAT_SQRT(spx_float_t a) |
||||
{ |
||||
spx_float_t r; |
||||
spx_int32_t m; |
||||
m = SHL32(EXTEND32(a.m), 14); |
||||
r.e = a.e - 14; |
||||
if (r.e & 1) |
||||
{ |
||||
r.e -= 1; |
||||
m <<= 1; |
||||
} |
||||
r.e >>= 1; |
||||
r.m = spx_sqrt(m); |
||||
return r; |
||||
} |
||||
|
||||
#else |
||||
|
||||
#define spx_float_t float |
||||
#define FLOAT_ZERO 0.f |
||||
#define FLOAT_ONE 1.f |
||||
#define FLOAT_HALF 0.5f |
||||
#define PSEUDOFLOAT(x) (x) |
||||
#define FLOAT_MULT(a,b) ((a)*(b)) |
||||
#define FLOAT_AMULT(a,b) ((a)*(b)) |
||||
#define FLOAT_MUL32(a,b) ((a)*(b)) |
||||
#define FLOAT_DIV32(a,b) ((a)/(b)) |
||||
#define FLOAT_EXTRACT16(a) (a) |
||||
#define FLOAT_EXTRACT32(a) (a) |
||||
#define FLOAT_ADD(a,b) ((a)+(b)) |
||||
#define FLOAT_SUB(a,b) ((a)-(b)) |
||||
#define REALFLOAT(x) (x) |
||||
#define FLOAT_DIV32_FLOAT(a,b) ((a)/(b)) |
||||
#define FLOAT_MUL32U(a,b) ((a)*(b)) |
||||
#define FLOAT_SHL(a,b) (a) |
||||
#define FLOAT_LT(a,b) ((a)<(b)) |
||||
#define FLOAT_GT(a,b) ((a)>(b)) |
||||
#define FLOAT_DIVU(a,b) ((a)/(b)) |
||||
#define FLOAT_SQRT(a) (spx_sqrt(a)) |
||||
|
||||
#endif |
||||
|
||||
#endif |
||||
@ -0,0 +1,217 @@
|
||||
// Буфер звонка: храним речь в порядке доставки, ускоряем накопление без изменения высоты голоса.
|
||||
#include "call_jitter.h" |
||||
#include "call_jitter_window.h" |
||||
#include <chrono> |
||||
#include "../../lib/debug_config.h" |
||||
#include "../../lib/mem.h" |
||||
#include "soundtouch/SoundTouch.h" |
||||
|
||||
#include <algorithm> |
||||
#include <cmath> |
||||
#include <cstring> |
||||
#include <mutex> |
||||
#include <new> |
||||
#include <vector> |
||||
|
||||
static constexpr int kSampleRate = 48000; |
||||
static constexpr int kFrameSamples = 960; |
||||
static constexpr int kMaxEncoded = 512; |
||||
static constexpr int kTargetMs = 60; |
||||
static constexpr double kMaxTempo = 1.6; |
||||
static constexpr int kTempoRampMs = 500; |
||||
|
||||
template<typename T> static T clamp_value(T value, T low, T high) { |
||||
return std::max(low, std::min(value, high)); |
||||
} |
||||
|
||||
struct call_jitter { |
||||
std::mutex mtx; |
||||
uint8_t ring[CALL_JITTER_MAX_FRAMES][kMaxEncoded]; |
||||
int lens[CALL_JITTER_MAX_FRAMES]; |
||||
int head = 0, count = 0; |
||||
uint32_t dropped = 0, underruns = 0; |
||||
call_jitter_diagnostics diagnostics{}; |
||||
int processing_ms = 0, tempo_x100 = 100; /* снимок аудиопотока под mtx */ |
||||
call_jitter_window depth_window, arrival_window; |
||||
call_jitter_range range = {0, 0, 60}; /* опубликованный снимок под mtx */ |
||||
call_jitter_decode_fn decode; |
||||
void* arg; |
||||
soundtouch::SoundTouch st; |
||||
int16_t pcm[kFrameSamples]; |
||||
float input[kFrameSamples]; |
||||
std::vector<float> output; |
||||
bool primed = false, catching_up = false; |
||||
double tempo = 1.0, ema_ms = kTargetMs; |
||||
}; |
||||
|
||||
extern "C" { |
||||
struct call_jitter* call_jitter_create(call_jitter_decode_fn decode, void* arg, int max_reserve_ms) { |
||||
if (max_reserve_ms < 500 || max_reserve_ms > 2000) { |
||||
DEBUG_ERROR(DEBUG_CATEGORY_CALL, "call_jitter: invalid max reserve=%dms", max_reserve_ms); |
||||
return nullptr; |
||||
} |
||||
if (!decode) { |
||||
DEBUG_ERROR(DEBUG_CATEGORY_CALL, "call_jitter: missing decoder"); |
||||
return nullptr; |
||||
} |
||||
void* memory = u_malloc(sizeof(call_jitter)); |
||||
if (!memory) { |
||||
DEBUG_ERROR(DEBUG_CATEGORY_CALL, "call_jitter: allocation failed"); |
||||
return nullptr; |
||||
} |
||||
auto* j = new (memory) call_jitter; |
||||
j->arrival_window.max_reserve = max_reserve_ms; |
||||
j->decode = decode; j->arg = arg; |
||||
j->st.setSampleRate(kSampleRate); j->st.setChannels(1); j->st.setTempo(1.0); |
||||
j->st.setSetting(SETTING_USE_QUICKSEEK, 1); |
||||
j->st.setSetting(SETTING_SEQUENCE_MS, 20); |
||||
j->st.setSetting(SETTING_SEEKWINDOW_MS, 10); |
||||
j->st.setSetting(SETTING_OVERLAP_MS, 4); |
||||
j->st.setSetting(SETTING_USE_AA_FILTER, 0); |
||||
DEBUG_INFO(DEBUG_CATEGORY_CALL, "call_jitter: created capacity=%dms target=%dms max_reserve=%dms tempo=1.0..%.1f ramp=%dms", |
||||
CALL_JITTER_MAX_FRAMES * CALL_JITTER_FRAME_MS, kTargetMs, max_reserve_ms, kMaxTempo, kTempoRampMs); |
||||
return j; |
||||
} |
||||
|
||||
void call_jitter_destroy(struct call_jitter* j) { |
||||
if (!j) return; |
||||
j->~call_jitter(); u_free(j); |
||||
} |
||||
|
||||
void call_jitter_push(struct call_jitter* j, const uint8_t* enc, int len, uint32_t sent_ms, int64_t received_ms) { |
||||
if (!j || !enc || len <= 0 || len > kMaxEncoded || received_ms < 0) { |
||||
DEBUG_WARN(DEBUG_CATEGORY_CALL, "call_jitter: invalid frame len=%d received=%lldms", len, (long long)received_ms); |
||||
return; |
||||
} |
||||
std::lock_guard<std::mutex> lock(j->mtx); |
||||
if (received_ms < j->arrival_window.last_received_ms) { |
||||
DEBUG_WARN(DEBUG_CATEGORY_CALL, "call_jitter: receive clock moved backwards previous=%lldms now=%lldms", |
||||
(long long)j->arrival_window.last_received_ms, (long long)received_ms); |
||||
return; |
||||
} |
||||
j->arrival_window.observe_arrival(received_ms, sent_ms); |
||||
j->range.reserve_ms = j->arrival_window.reserve; |
||||
if (j->count == CALL_JITTER_MAX_FRAMES) { |
||||
j->head = (j->head + 1) % CALL_JITTER_MAX_FRAMES; j->count--; j->dropped++; |
||||
} |
||||
int idx = (j->head + j->count) % CALL_JITTER_MAX_FRAMES; |
||||
std::memcpy(j->ring[idx], enc, (size_t)len); j->lens[idx] = len; j->count++; |
||||
} |
||||
|
||||
int call_jitter_pull(struct call_jitter* j, int16_t* out, int max_samples) { |
||||
if (!j || !out || max_samples <= 0) return 0; |
||||
int count, reserve; |
||||
{ std::lock_guard<std::mutex> lock(j->mtx); count = j->count; reserve = j->arrival_window.reserve; } |
||||
// Готовый PCM учитываем в длительности исходной речи.
|
||||
double depth = count * CALL_JITTER_FRAME_MS |
||||
+ (j->st.numUnprocessedSamples() + j->st.numSamples() * j->tempo) * 1000.0 / kSampleRate; |
||||
int64_t now_ms = std::chrono::duration_cast<std::chrono::milliseconds>( |
||||
std::chrono::steady_clock::now().time_since_epoch()).count(); |
||||
j->depth_window.observe(now_ms, (int)std::lround(depth)); |
||||
int resumed = 0; |
||||
{ |
||||
std::lock_guard<std::mutex> lock(j->mtx); |
||||
j->range.min_ms = (int)j->depth_window.low; j->range.max_ms = (int)j->depth_window.high; |
||||
} |
||||
if (!j->primed) { |
||||
if (depth < reserve) { |
||||
std::lock_guard<std::mutex> lock(j->mtx); |
||||
j->diagnostics.depth_ms = (int)depth; j->diagnostics.reserve_ms = reserve; |
||||
j->diagnostics.tempo_x100 = j->tempo_x100; j->diagnostics.waiting = 1; |
||||
return 0; |
||||
} |
||||
j->primed = true; |
||||
resumed = 1; |
||||
} |
||||
j->ema_ms += 0.2 * (depth - j->ema_ms); |
||||
double target = 1.0 + (kMaxTempo - 1.0) * clamp_value((std::min(depth, j->ema_ms) - reserve - 15.0) / 925.0, 0.0, 1.0); |
||||
// Линейный предел 1.0→1.6 за 500мс PCM. Снижение следует за глубиной буфера с тем же пределом.
|
||||
double step = (kMaxTempo - 1.0) * max_samples * 1000.0 / (kSampleRate * kTempoRampMs); |
||||
j->tempo += clamp_value(target - j->tempo, -step, step); |
||||
j->st.setTempo(j->tempo); |
||||
bool catching = j->tempo > 1.05; |
||||
j->catching_up = catching; |
||||
uint32_t decode_errors = 0; |
||||
int error_result = 0, error_len = 0; |
||||
uint8_t enc[kMaxEncoded]; |
||||
// Бюджет учитывает ускорение 1.6 и начальное накопление SoundTouch, включая битые пакеты.
|
||||
int budget = std::min(CALL_JITTER_MAX_FRAMES, 8 + max_samples / 480); |
||||
int attempted = 0; |
||||
while (j->st.numSamples() < (uint)max_samples && attempted++ < budget) { |
||||
int len; |
||||
{ |
||||
std::lock_guard<std::mutex> lock(j->mtx); |
||||
if (!j->count) break; |
||||
len = j->lens[j->head]; std::memcpy(enc, j->ring[j->head], (size_t)len); |
||||
j->head = (j->head + 1) % CALL_JITTER_MAX_FRAMES; j->count--; |
||||
} |
||||
int n = j->decode(j->arg, enc, len, j->pcm, kFrameSamples); |
||||
if (n <= 0 || n > kFrameSamples) { |
||||
++decode_errors; |
||||
error_result = n; error_len = len; |
||||
continue; |
||||
} |
||||
for (int i = 0; i < n; i++) j->input[i] = j->pcm[i] / 32768.0f; |
||||
j->st.putSamples(j->input, (uint)n); |
||||
} |
||||
j->output.resize((size_t)max_samples); |
||||
int n = (int)j->st.receiveSamples(j->output.data(), (uint)max_samples); |
||||
for (int i = 0; i < n; i++) out[i] = (int16_t)std::lrintf(clamp_value(j->output[i] * 32767.0f, -32768.0f, 32767.0f)); |
||||
int processing_ms = (int)std::lround((j->st.numUnprocessedSamples() + j->st.numSamples() * j->tempo) * 1000.0 / kSampleRate); |
||||
{ |
||||
std::lock_guard<std::mutex> lock(j->mtx); |
||||
j->processing_ms = processing_ms; j->tempo_x100 = (int)std::lround(j->tempo * 100); |
||||
if (n < max_samples) j->underruns++; |
||||
j->diagnostics.depth_ms = (int)depth; |
||||
j->diagnostics.reserve_ms = reserve; |
||||
j->diagnostics.tempo_x100 = j->tempo_x100; |
||||
j->diagnostics.decode_errors += decode_errors; |
||||
if (decode_errors) { j->diagnostics.error_result = error_result; j->diagnostics.error_len = error_len; } |
||||
if (attempted > budget) ++j->diagnostics.budget_hits; |
||||
j->diagnostics.resumed |= resumed; |
||||
j->diagnostics.catching_up = catching; |
||||
j->diagnostics.waiting = n < max_samples; |
||||
} |
||||
if (n < max_samples) { |
||||
j->primed = false; |
||||
} |
||||
return n; |
||||
} |
||||
|
||||
void call_jitter_take_diagnostics(struct call_jitter* j, struct call_jitter_diagnostics* out) { |
||||
std::lock_guard<std::mutex> lock(j->mtx); |
||||
*out = j->diagnostics; |
||||
j->diagnostics.decode_errors = j->diagnostics.budget_hits = 0; |
||||
j->diagnostics.resumed = 0; |
||||
} |
||||
|
||||
void call_jitter_reset(struct call_jitter* j) { |
||||
if (!j) return; |
||||
std::lock_guard<std::mutex> lock(j->mtx); |
||||
int keep = std::min(j->count, (j->arrival_window.reserve + CALL_JITTER_FRAME_MS - 1) / CALL_JITTER_FRAME_MS); |
||||
int discard = j->count - keep; |
||||
j->head = (j->head + discard) % CALL_JITTER_MAX_FRAMES; |
||||
j->count = keep; |
||||
j->dropped += discard; |
||||
j->st.clear(); j->st.setTempo(1.0); |
||||
j->primed = false; j->catching_up = false; |
||||
j->tempo = 1.0; j->ema_ms = j->arrival_window.reserve; |
||||
j->processing_ms = 0; j->tempo_x100 = 100; |
||||
j->depth_window = {}; |
||||
j->diagnostics = {}; |
||||
j->range.min_ms = j->range.max_ms = keep * CALL_JITTER_FRAME_MS; |
||||
DEBUG_INFO(DEBUG_CATEGORY_CALL, "call_jitter: device discontinuity discarded=%dms kept=%dms reserve=%dms", |
||||
discard * CALL_JITTER_FRAME_MS, keep * CALL_JITTER_FRAME_MS, j->arrival_window.reserve); |
||||
} |
||||
|
||||
void call_jitter_get_stats(struct call_jitter* j, int* depth_ms, int* tempo_x100, |
||||
uint32_t* dropped, uint32_t* underruns, struct call_jitter_range* range) { |
||||
if (!j) return; |
||||
std::lock_guard<std::mutex> lock(j->mtx); |
||||
if (depth_ms) *depth_ms = j->count * CALL_JITTER_FRAME_MS + j->processing_ms; |
||||
if (tempo_x100) *tempo_x100 = j->tempo_x100; |
||||
if (range) *range = j->range; |
||||
if (dropped) *dropped = j->dropped; |
||||
if (underruns) *underruns = j->underruns; |
||||
} |
||||
} |
||||
@ -0,0 +1,39 @@
|
||||
#ifndef CALL_JITTER_H |
||||
#define CALL_JITTER_H |
||||
|
||||
#include <stdint.h> |
||||
|
||||
#ifdef __cplusplus |
||||
extern "C" { |
||||
#endif |
||||
|
||||
/* Звонок: FIFO Opus, запас 60мс..max_reserve_ms по изменению задержки доставки за 10 секунд и догон после паузы устройства.
|
||||
* push — сетевой поток, pull/decode/SoundTouch — единственный аудиопоток. |
||||
* destroy — после остановки обоих потребителей. get_stats — любой поток. */ |
||||
#define CALL_JITTER_FRAME_MS 20 |
||||
#define CALL_JITTER_MAX_FRAMES 750 /* 10с перебоя + 5с запаса на накопление и восстановление */ |
||||
typedef int (*call_jitter_decode_fn)(void*, const uint8_t*, int, int16_t*, int); |
||||
struct call_jitter_range { int min_ms, max_ms, reserve_ms; }; |
||||
struct call_jitter; |
||||
struct call_jitter_diagnostics { |
||||
int depth_ms, reserve_ms, tempo_x100, error_result, error_len; |
||||
uint32_t decode_errors, budget_hits; |
||||
int resumed, catching_up, waiting; |
||||
}; |
||||
/* Снимок и сброс событий под mutex; логировать после выхода из mutex голосового стека. */ |
||||
void call_jitter_take_diagnostics(struct call_jitter*, struct call_jitter_diagnostics*); |
||||
struct call_jitter* call_jitter_create(call_jitter_decode_fn decode, void* arg, int max_reserve_ms); |
||||
void call_jitter_destroy(struct call_jitter* j); |
||||
/* sent_ms — timestamp кадра на проводе (uint32 с переполнением), received_ms — локальные монотонные часы.
|
||||
* Абсолютное смещение часов пиров не влияет на оценку джиттера. */ |
||||
void call_jitter_push(struct call_jitter* j, const uint8_t* enc, int len, uint32_t sent_ms, int64_t received_ms); |
||||
/* Только после остановки pull: убрать устаревший PCM, сохранить свежий сетевой запас. */ |
||||
void call_jitter_reset(struct call_jitter* j); |
||||
int call_jitter_pull(struct call_jitter* j, int16_t* out, int max_samples); |
||||
void call_jitter_get_stats(struct call_jitter* j, int* depth_ms, int* tempo_x100, |
||||
uint32_t* dropped, uint32_t* underruns, struct call_jitter_range* range); |
||||
|
||||
#ifdef __cplusplus |
||||
} |
||||
#endif |
||||
#endif |
||||
@ -0,0 +1,34 @@
|
||||
#pragma once |
||||
#include <algorithm> |
||||
#include <cstdint> |
||||
|
||||
// Десять секундных интервалов. Отдельные экземпляры для глубины очереди и задержки доставки.
|
||||
struct call_jitter_window { |
||||
struct bucket { int64_t second = -1, low = 0, high = 0; } buckets[10]; |
||||
int64_t low = 0, high = 0; |
||||
int reserve = 60; |
||||
int max_reserve = 1000; |
||||
int64_t last_received_ms = -1, transit_ms = 0; |
||||
uint32_t last_sent_ms = 0; |
||||
bool observe(int64_t now_ms, int64_t depth) { |
||||
int64_t second = now_ms / 1000; |
||||
auto& b = buckets[second % 10]; |
||||
bool changed_second = b.second != second; |
||||
if (changed_second) { b.second = second; b.low = b.high = depth; } |
||||
else { b.low = std::min(b.low, depth); b.high = std::max(b.high, depth); } |
||||
low = high = depth; |
||||
for (const auto& item : buckets) { |
||||
if (item.second < 0 || item.second > second || second - item.second >= 10) continue; |
||||
low = std::min(low, item.low); high = std::max(high, item.high); |
||||
} |
||||
reserve = (int)std::max<int64_t>(60, std::min<int64_t>(max_reserve, high - low)); |
||||
return changed_second; |
||||
} |
||||
|
||||
// Разность интервалов прихода и отправки: смещение часов исключается, uint32 timestamp разворачивается.
|
||||
bool observe_arrival(int64_t received_ms, uint32_t sent_ms) { |
||||
if (last_received_ms >= 0) transit_ms += received_ms - last_received_ms - (int32_t)(sent_ms - last_sent_ms); |
||||
last_received_ms = received_ms; last_sent_ms = sent_ms; |
||||
return observe(received_ms, transit_ms); |
||||
} |
||||
}; |
||||
@ -1,353 +1,453 @@
|
||||
/*
|
||||
* dm_mailbox.c — offline-хранение DM-сообщений на storage-узлах |
||||
* |
||||
* Storage-узел хранит зашифрованные блобы в таблице dm_mail и отдаёт их |
||||
* получателю по PULL, удаляя после ACK. Отправитель кладёт блобы по PUT. |
||||
* Содержимое для storage-узла непрозрачно (E2E-шифрование + подпись автора). |
||||
* dm_mailbox.c — durable очередь суперузла. Сообщения и квитанции непрозрачны; |
||||
* приём/удаление атомарны, роли и область маршрута проверяются на каждом PUT. |
||||
*/ |
||||
|
||||
#include "dm_mailbox.h" |
||||
#include "dm_core.h" |
||||
#include "../chat/chat_core.h" |
||||
#include "dm_mailbox_media.h" |
||||
#include "dm_media_priv.h" |
||||
#include "../utun_instance.h" |
||||
#include "../ntp_time.h" |
||||
#include "../routing_layer/etcp_router.h" |
||||
#include "../routing_layer/topo_node_sqlite.h" |
||||
#include "../transport_layer/etcp_api.h" |
||||
#include "../transport_layer/etcp.h" |
||||
#include "../../lib/mem.h" |
||||
#include "../../lib/ll_queue.h" |
||||
#include "../../lib/debug_config.h" |
||||
#include "../../lib/json_flat.h" |
||||
#include "../../lib/platform_compat.h" |
||||
|
||||
#include <string.h> |
||||
#include <stdlib.h> |
||||
#include <sqlite3.h> |
||||
#include <string.h> |
||||
#include <stdio.h> |
||||
|
||||
#define MB_ID "dm_mailbox" |
||||
#define MB_PUT 1 /* [recipient:8][каноническое тело] */ |
||||
#define MB_DELIVER 2 /* [каноническое тело] */ |
||||
#define MB_RECEIPT 3 /* [подписанная квитанция получателя] */ |
||||
#define MB_STORED 4 /* [conv:8][seq:8] — durable PUT подтверждён суперузлом */ |
||||
|
||||
/* Подкоманды протокола mailbox (первый байт payload после ROUTER_SVC-заголовка). */ |
||||
#define MB_SUBCMD_PUT 0x01 /* отправитель → storage: [recipient:8][sender:8][msg] */ |
||||
#define MB_SUBCMD_PULL 0x02 /* получатель → storage: [recipient:8][sender:8][since_seq:8] */ |
||||
#define MB_SUBCMD_PULL_RESP 0x03 /* storage → получатель: [recipient:8][count:2][msg]* */ |
||||
#define MB_SUBCMD_ACK 0x04 /* получатель → storage: [recipient:8][sender:8][up_to_seq:8] */ |
||||
|
||||
#define MB_TTL_DAYS 7 |
||||
#define MB_MAX_BATCH 32 |
||||
|
||||
/* Per-instance состояние модуля. */ |
||||
struct dm_mb_state { |
||||
struct UTUN_INSTANCE* inst; |
||||
sqlite3* db; |
||||
int initialized; |
||||
dm_mail_deliver_fn deliver_fn; |
||||
void* deliver_arg; |
||||
sqlite3* db; |
||||
void* timer; |
||||
struct dm_mb_media* media; |
||||
}; |
||||
|
||||
static struct dm_mb_state* mb_of(struct UTUN_INSTANCE* inst) { |
||||
return inst ? inst->dm_mailbox : NULL; |
||||
struct dm_mb_media* dm_mailbox_get_media(struct UTUN_INSTANCE* inst) { |
||||
return inst && inst->dm_mailbox ? inst->dm_mailbox->media : NULL; |
||||
} |
||||
|
||||
void dm_mailbox_set_deliver_cb(struct UTUN_INSTANCE* inst, dm_mail_deliver_fn fn, void* arg) { |
||||
struct dm_mb_state* mb = mb_of(inst); |
||||
if (!mb) return; |
||||
mb->deliver_fn = fn; |
||||
mb->deliver_arg = arg; |
||||
/* Проверить роль в конкретной общей группе; storage не заменяет supernode. */ |
||||
static int mb_scope(struct dm_mb_state* mb, uint64_t gid, uint64_t super, uint64_t a, uint64_t b) { |
||||
if (!gid) return 0; |
||||
char ch[64]; |
||||
snprintf(ch, sizeof(ch), "%llu", (unsigned long long)gid); |
||||
char sql[256]; |
||||
snprintf(sql, sizeof(sql), "SELECT adm_tags FROM \"peers_%s\" WHERE node_id=? AND deleted=0", ch); |
||||
sqlite3_stmt* st = NULL; |
||||
if (sqlite3_prepare_v2(mb->db, sql, -1, &st, NULL) != SQLITE_OK) { |
||||
DEBUG_ERROR(DEBUG_CATEGORY_DM, "%s: role query failed group=%llu: %s", MB_ID, |
||||
(unsigned long long)gid, sqlite3_errmsg(mb->db)); |
||||
return 0; |
||||
} |
||||
sqlite3_bind_int64(st, 1, (sqlite3_int64)super); |
||||
int allowed = 0; |
||||
char role[16]; |
||||
if (sqlite3_step(st) == SQLITE_ROW) { |
||||
const char* tags = (const char*)sqlite3_column_text(st, 0); |
||||
allowed = tags && json_flat_get(tags, "supernode", role, sizeof(role)) == 0 && !strcmp(role, "yes"); |
||||
} |
||||
sqlite3_finalize(st); |
||||
return allowed && topo_node_sqlite_member_in_channel(mb->db, ch, a) && |
||||
topo_node_sqlite_member_in_channel(mb->db, ch, b); |
||||
} |
||||
|
||||
/* Выполнить SQL без результата. Возвращает 0/ошибку. */ |
||||
static int mb_exec(struct dm_mb_state* mb, const char* sql) { |
||||
char* err = NULL; |
||||
if (sqlite3_exec(mb->db, sql, NULL, NULL, &err) != SQLITE_OK) { |
||||
DEBUG_ERROR(DEBUG_CATEGORY_DM, "%s: sql failed: %s (%s)", MB_ID, sql, err ? err : "?"); |
||||
if (err) sqlite3_free(err); |
||||
/* Подписать контроль и передать владение пакетом router, учитывая backpressure. */ |
||||
static int mb_send(struct dm_mb_state* mb, uint64_t gid, uint64_t dst, uint8_t cmd, const uint8_t* body, size_t len) { |
||||
if (!etcp_router_conn_get(mb->inst, gid, dst, ETCP_RT_ID_DM_MAILBOX)) { |
||||
DEBUG_ERROR(DEBUG_CATEGORY_DM, "%s: router channel allocation failed peer=%llu", MB_ID, (unsigned long long)dst); |
||||
return -1; |
||||
} |
||||
return 0; |
||||
if (!etcp_router_send_q_has_room(mb->inst, gid, dst, ETCP_RT_ID_DM_MAILBOX)) { |
||||
DEBUG_DEBUG(DEBUG_CATEGORY_DM, "%s: backpressure peer=%llu", MB_ID, (unsigned long long)dst); |
||||
return -1; |
||||
} |
||||
struct ll_entry* e = queue_entry_new(0); |
||||
if (!e) { DEBUG_ERROR(DEBUG_CATEGORY_DM, "%s: packet allocation failed", MB_ID); return -1; } |
||||
e->dgram = u_malloc(len + 2); |
||||
if (!e->dgram) { |
||||
DEBUG_ERROR(DEBUG_CATEGORY_DM, "%s: payload allocation failed", MB_ID); |
||||
queue_entry_free(e); |
||||
return -1; |
||||
} |
||||
e->dgram[0] = ETCP_RT_ID_DM_MAILBOX; |
||||
e->dgram[1] = cmd; |
||||
memcpy(e->dgram + 2, body, len); |
||||
e->len = (uint16_t)(len + 2); |
||||
int rc = etcp_route_send(mb->inst, gid, dst, e, 1, ROUTER_FLAG_SIGNED); |
||||
if (rc) DEBUG_WARN(DEBUG_CATEGORY_DM, "%s: route failed peer=%llu group=%llu cmd=%u rc=%d", MB_ID, |
||||
(unsigned long long)dst, (unsigned long long)gid, cmd, rc); |
||||
return rc; |
||||
} |
||||
|
||||
/* Прочитать seq из канонического тела сообщения (смещение 8). */ |
||||
static uint64_t mb_msg_seq(const uint8_t* msg) { |
||||
uint64_t seq; memcpy(&seq, msg + 8, 8); return seq; |
||||
/* Проверять каждый SQL результат, в том числе границы транзакций. */ |
||||
static int mb_exec(struct dm_mb_state* mb, const char* sql) { |
||||
int rc = sqlite3_exec(mb->db, sql, NULL, NULL, NULL); |
||||
if (rc != SQLITE_OK) DEBUG_ERROR(DEBUG_CATEGORY_DM, "%s: SQL rc=%d error=%s statement=%s", |
||||
MB_ID, rc, sqlite3_errmsg(mb->db), sql); |
||||
return rc == SQLITE_OK ? 0 : -1; |
||||
} |
||||
|
||||
/* Создать таблицу dm_mail (на любом узле; фактически используется storage-узлами). */ |
||||
static void mb_create_tables(struct dm_mb_state* mb) { |
||||
mb_exec(mb, "CREATE TABLE IF NOT EXISTS dm_mail (" |
||||
" recipient INTEGER NOT NULL," |
||||
" sender INTEGER NOT NULL," |
||||
" seq INTEGER NOT NULL," |
||||
" msg BLOB NOT NULL," |
||||
" ttl INTEGER NOT NULL," |
||||
" PRIMARY KEY (recipient, sender, seq))"); |
||||
/* Принять неизменяемое тело; подтверждать только durable запись или точный повтор. */ |
||||
static void mb_put_received(struct dm_mb_state* mb, uint64_t gid, uint64_t source, const uint8_t* p, size_t len) { |
||||
if (len < 8) { DEBUG_WARN(DEBUG_CATEGORY_DM, "%s: short PUT bytes=%zu", MB_ID, len); return; } |
||||
uint64_t recipient, author, seq; |
||||
memcpy(&recipient, p, 8); |
||||
p += 8; |
||||
len -= 8; |
||||
if (dm_verify_message(mb->inst, recipient, p, len) != 0) return; |
||||
memcpy(&seq, p + 8, 8); |
||||
memcpy(&author, p + 24, 8); |
||||
if (source != author || !mb_scope(mb, gid, mb->inst->node_id, author, recipient)) { |
||||
DEBUG_WARN(DEBUG_CATEGORY_DM, "%s: unauthorized PUT source=%llu recipient=%llu group=%llu", MB_ID, |
||||
(unsigned long long)source, (unsigned long long)recipient, (unsigned long long)gid); |
||||
return; |
||||
} |
||||
sqlite3_stmt* st = NULL; |
||||
if (mb_exec(mb, "BEGIN IMMEDIATE") != 0) return; |
||||
if (dm_mailbox_media_register(mb->media, gid, recipient, p, len) != 0) { |
||||
mb_exec(mb, "ROLLBACK"); |
||||
return; |
||||
} |
||||
int rc = sqlite3_prepare_v2(mb->db, |
||||
"SELECT receipt FROM dm_mail_receipts WHERE recipient=? AND sender=? AND seq=?", -1, &st, NULL); |
||||
if (rc != SQLITE_OK) goto fail; |
||||
sqlite3_bind_int64(st, 1, (sqlite3_int64)recipient); |
||||
sqlite3_bind_int64(st, 2, (sqlite3_int64)author); |
||||
sqlite3_bind_int64(st, 3, (sqlite3_int64)seq); |
||||
rc = sqlite3_step(st); |
||||
if (rc == SQLITE_ROW) { |
||||
uint8_t receipt[DM_RECEIPT_SIZE]; |
||||
if (sqlite3_column_bytes(st, 0) != DM_RECEIPT_SIZE) goto fail; |
||||
memcpy(receipt, sqlite3_column_blob(st, 0), sizeof(receipt)); |
||||
sqlite3_finalize(st); |
||||
st = NULL; |
||||
if (mb_exec(mb, "COMMIT") != 0) goto fail; |
||||
if (dm_verify_receipt(mb->inst, receipt, p, len) == 0) |
||||
mb_send(mb, gid, author, MB_RECEIPT, receipt, sizeof(receipt)); |
||||
return; /* Поздний PUT не возрождает доставленную задачу. */ |
||||
} |
||||
if (rc != SQLITE_DONE) goto fail; |
||||
sqlite3_finalize(st); |
||||
st = NULL; |
||||
rc = sqlite3_prepare_v2(mb->db, |
||||
"INSERT INTO dm_pending_messages(recipient,sender,seq,msg,group_id,retry_at) VALUES(?,?,?,?,?,0)" |
||||
" ON CONFLICT(recipient,sender,seq) DO NOTHING", -1, &st, NULL); |
||||
if (rc != SQLITE_OK) goto fail; |
||||
sqlite3_bind_int64(st, 1, (sqlite3_int64)recipient); |
||||
sqlite3_bind_int64(st, 2, (sqlite3_int64)author); |
||||
sqlite3_bind_int64(st, 3, (sqlite3_int64)seq); |
||||
sqlite3_bind_blob(st, 4, p, (int)len, SQLITE_STATIC); |
||||
sqlite3_bind_int64(st, 5, (sqlite3_int64)gid); |
||||
rc = sqlite3_step(st); |
||||
if (rc != SQLITE_DONE) goto fail; |
||||
sqlite3_finalize(st); |
||||
st = NULL; |
||||
rc = sqlite3_prepare_v2(mb->db, |
||||
"SELECT msg FROM dm_pending_messages WHERE recipient=? AND sender=? AND seq=?", -1, &st, NULL); |
||||
if (rc != SQLITE_OK) goto fail; |
||||
sqlite3_bind_int64(st, 1, (sqlite3_int64)recipient); |
||||
sqlite3_bind_int64(st, 2, (sqlite3_int64)author); |
||||
sqlite3_bind_int64(st, 3, (sqlite3_int64)seq); |
||||
rc = sqlite3_step(st); |
||||
if (rc != SQLITE_ROW || sqlite3_column_bytes(st, 0) != (int)len || |
||||
memcmp(sqlite3_column_blob(st, 0), p, len)) goto fail; |
||||
sqlite3_finalize(st); |
||||
st = NULL; |
||||
if (mb_exec(mb, "COMMIT") != 0) goto fail; |
||||
mb_send(mb, gid, author, MB_STORED, p, 16); |
||||
DEBUG_INFO(DEBUG_CATEGORY_DM, "%s: stored sender=%llu recipient=%llu seq=%llu group=%llu", MB_ID, |
||||
(unsigned long long)author, (unsigned long long)recipient, (unsigned long long)seq, (unsigned long long)gid); |
||||
return; |
||||
fail: |
||||
DEBUG_ERROR(DEBUG_CATEGORY_DM, "%s: PUT database/conflict rc=%d error=%s", MB_ID, rc, sqlite3_errmsg(mb->db)); |
||||
sqlite3_finalize(st); |
||||
mb_exec(mb, "ROLLBACK"); |
||||
} |
||||
|
||||
/* Отправить payload подкомандой subcmd в dst через etcp_router (mode=0, своё E2E). */ |
||||
static int mb_route_send(struct dm_mb_state* mb, uint64_t group_id, uint64_t dst, uint8_t subcmd, |
||||
const uint8_t* body, size_t body_len) { |
||||
struct ll_entry* entry = queue_entry_new(0); |
||||
if (!entry) return -1; |
||||
entry->dgram = u_malloc(1 + 1 + body_len); |
||||
if (!entry->dgram) { queue_entry_free(entry); return -1; } |
||||
entry->dgram[0] = ETCP_RT_ID_DM_MAILBOX; |
||||
memcpy(entry->dgram + 1, &subcmd, 1); |
||||
if (body_len) memcpy(entry->dgram + 1 + 1, body, body_len); |
||||
entry->len = (uint16_t)(1 + 1 + body_len); |
||||
int rc = etcp_route_send(mb->inst, group_id, dst, entry, 1, 0); |
||||
if (rc != 0) { queue_dgram_free(entry); queue_entry_free(entry); return -1; } |
||||
return 0; |
||||
/* Сначала durable квитанция, затем удаление точной копии в той же транзакции. */ |
||||
static void mb_receipt_received(struct dm_mb_state* mb, uint64_t gid, uint64_t source, const uint8_t* r) { |
||||
if (dm_verify_receipt(mb->inst, r, NULL, 0) != 0) return; |
||||
uint64_t author, recipient, seq; |
||||
memcpy(&seq, r + 16, 8); |
||||
memcpy(&author, r + 24, 8); |
||||
memcpy(&recipient, r + 32, 8); |
||||
if (author == mb->inst->node_id) { |
||||
dm_accept_receipt(mb->inst, r); |
||||
return; |
||||
} |
||||
if ((source != author && source != recipient) || !mb_scope(mb, gid, mb->inst->node_id, author, recipient)) { |
||||
DEBUG_WARN(DEBUG_CATEGORY_DM, "%s: receipt outside authorized scope source=%llu group=%llu", MB_ID, |
||||
(unsigned long long)source, (unsigned long long)gid); |
||||
return; |
||||
} |
||||
if (mb_exec(mb, "BEGIN IMMEDIATE") != 0) return; |
||||
sqlite3_stmt* st = NULL; |
||||
int rc = sqlite3_prepare_v2(mb->db, |
||||
"SELECT msg FROM dm_pending_messages WHERE recipient=? AND sender=? AND seq=?", -1, &st, NULL); |
||||
if (rc != SQLITE_OK) goto fail; |
||||
sqlite3_bind_int64(st, 1, (sqlite3_int64)recipient); |
||||
sqlite3_bind_int64(st, 2, (sqlite3_int64)author); |
||||
sqlite3_bind_int64(st, 3, (sqlite3_int64)seq); |
||||
rc = sqlite3_step(st); |
||||
if (rc == SQLITE_ROW) { |
||||
if (dm_verify_receipt(mb->inst, r, sqlite3_column_blob(st, 0), (size_t)sqlite3_column_bytes(st, 0)) != 0) goto fail; |
||||
} else if (rc != SQLITE_DONE) goto fail; |
||||
sqlite3_finalize(st); |
||||
st = NULL; |
||||
rc = sqlite3_prepare_v2(mb->db, |
||||
"INSERT INTO dm_mail_receipts(recipient,sender,seq,receipt,group_id) VALUES(?,?,?,?,?)" |
||||
" ON CONFLICT(recipient,sender,seq) DO NOTHING", -1, &st, NULL); |
||||
if (rc != SQLITE_OK) goto fail; |
||||
sqlite3_bind_int64(st, 1, (sqlite3_int64)recipient); |
||||
sqlite3_bind_int64(st, 2, (sqlite3_int64)author); |
||||
sqlite3_bind_int64(st, 3, (sqlite3_int64)seq); |
||||
sqlite3_bind_blob(st, 4, r, DM_RECEIPT_SIZE, SQLITE_STATIC); |
||||
sqlite3_bind_int64(st, 5, (sqlite3_int64)gid); |
||||
rc = sqlite3_step(st); |
||||
if (rc != SQLITE_DONE) goto fail; |
||||
sqlite3_finalize(st); |
||||
st = NULL; |
||||
rc = sqlite3_prepare_v2(mb->db, "DELETE FROM dm_pending_messages WHERE recipient=? AND sender=? AND seq=?", -1, &st, NULL); |
||||
if (rc != SQLITE_OK) goto fail; |
||||
sqlite3_bind_int64(st, 1, (sqlite3_int64)recipient); |
||||
sqlite3_bind_int64(st, 2, (sqlite3_int64)author); |
||||
sqlite3_bind_int64(st, 3, (sqlite3_int64)seq); |
||||
rc = sqlite3_step(st); |
||||
if (rc != SQLITE_DONE) goto fail; |
||||
int deleted = sqlite3_changes(mb->db); |
||||
sqlite3_finalize(st); |
||||
st = NULL; |
||||
if (mb_exec(mb, "COMMIT") != 0) goto fail; |
||||
if (deleted) DEBUG_INFO(DEBUG_CATEGORY_DM, "%s: delivered copy removed sender=%llu recipient=%llu seq=%llu", MB_ID, |
||||
(unsigned long long)author, (unsigned long long)recipient, (unsigned long long)seq); |
||||
mb_send(mb, gid, author, MB_RECEIPT, r, DM_RECEIPT_SIZE); |
||||
return; |
||||
fail: |
||||
DEBUG_ERROR(DEBUG_CATEGORY_DM, "%s: receipt commit failed rc=%d error=%s", MB_ID, rc, sqlite3_errmsg(mb->db)); |
||||
sqlite3_finalize(st); |
||||
mb_exec(mb, "ROLLBACK"); |
||||
} |
||||
|
||||
/* ── обработка входящих mailbox-пакетов (etcp_router 0x35) ── */ |
||||
|
||||
static void mb_recv_cb(struct ETCP_CONN* conn, struct ll_entry* entry) { |
||||
if (!entry || !conn || !entry->dgram || entry->len < ROUTER_SVC_PAYLOAD_OFF + 1) { |
||||
/* Никаких диапазонных ACK: одна квитанция подтверждает одно тело. */ |
||||
static void mb_recv(struct ETCP_CONN* conn, struct ll_entry* entry) { |
||||
if (!conn || !entry || !entry->dgram || entry->len <= ROUTER_SVC_PAYLOAD_OFF) { |
||||
if (entry) { queue_dgram_free(entry); queue_entry_free(entry); } |
||||
return; |
||||
} |
||||
struct UTUN_INSTANCE* inst = conn->instance; |
||||
struct dm_mb_state* mb = mb_of(inst); |
||||
if (!inst || !mb || !mb->db) { queue_dgram_free(entry); queue_entry_free(entry); return; } |
||||
|
||||
const uint8_t* d = entry->dgram; |
||||
uint64_t group_id; memcpy(&group_id, d + ROUTER_SVC_GROUP_OFF, 8); |
||||
const uint8_t* p = d + ROUTER_SVC_PAYLOAD_OFF; |
||||
size_t plen = entry->len - ROUTER_SVC_PAYLOAD_OFF; |
||||
uint8_t subcmd = p[0]; |
||||
|
||||
if (subcmd == MB_SUBCMD_PUT) { |
||||
/* [subcmd][recipient:8][sender:8][msg] — storage: сохранить блоб */ |
||||
if (plen < 1 + 8 + 8 + 16) { queue_dgram_free(entry); queue_entry_free(entry); return; } |
||||
uint64_t recipient; memcpy(&recipient, p + 1, 8); |
||||
uint64_t sender; memcpy(&sender, p + 9, 8); |
||||
const uint8_t* msg = p + 17; |
||||
size_t mlen = plen - 17; |
||||
uint64_t seq = mb_msg_seq(msg); |
||||
int64_t ttl = (int64_t)ntp_time_get_seconds(inst) + MB_TTL_DAYS * 86400; |
||||
sqlite3_stmt* st = NULL; |
||||
if (sqlite3_prepare_v2(mb->db, |
||||
"INSERT OR IGNORE INTO dm_mail(recipient,sender,seq,msg,ttl) VALUES(?,?,?,?,?)", |
||||
-1, &st, NULL) == SQLITE_OK) { |
||||
sqlite3_bind_int64(st, 1, (sqlite3_int64)recipient); |
||||
sqlite3_bind_int64(st, 2, (sqlite3_int64)sender); |
||||
sqlite3_bind_int64(st, 3, (sqlite3_int64)seq); |
||||
sqlite3_bind_blob(st, 4, msg, (int)mlen, SQLITE_STATIC); |
||||
sqlite3_bind_int64(st, 5, ttl); |
||||
int rc = sqlite3_step(st); |
||||
DEBUG_INFO(DEBUG_CATEGORY_DM, "%s: PUT recipient=0x%016llx sender=0x%016llx seq=%llu rc=%d", |
||||
MB_ID, (unsigned long long)recipient, (unsigned long long)sender, |
||||
(unsigned long long)seq, rc); |
||||
struct dm_mb_state* mb = conn->instance->dm_mailbox; |
||||
if (!mb) { DEBUG_WARN(DEBUG_CATEGORY_DM, "%s: receive after stop", MB_ID); goto done; } |
||||
uint64_t gid, source; |
||||
memcpy(&gid, entry->dgram + ROUTER_SVC_GROUP_OFF, 8); |
||||
memcpy(&source, entry->dgram + ROUTER_SVC_SRC_OFF, 8); |
||||
const uint8_t* p = entry->dgram + ROUTER_SVC_PAYLOAD_OFF; |
||||
size_t len = entry->len - ROUTER_SVC_PAYLOAD_OFF - 1; |
||||
if (!(entry->dgram[ROUTER_SVC_FLAGS_OFF] & ROUTER_FLAG_SIGNED)) { |
||||
DEBUG_WARN(DEBUG_CATEGORY_DM, "%s: unsigned control source=%llu", MB_ID, (unsigned long long)source); |
||||
goto done; |
||||
} |
||||
if (p[0] == MB_PUT) mb_put_received(mb, gid, source, p + 1, len); |
||||
else if (p[0] == MB_DELIVER) { |
||||
if (len < DM_MSG_FIXED_HDR) { DEBUG_WARN(DEBUG_CATEGORY_DM, "%s: short delivery", MB_ID); goto done; } |
||||
uint64_t author; |
||||
memcpy(&author, p + 25, 8); |
||||
if (!mb_scope(mb, gid, source, author, mb->inst->node_id)) { |
||||
DEBUG_WARN(DEBUG_CATEGORY_DM, "%s: delivery from non-supernode source=%llu", MB_ID, (unsigned long long)source); |
||||
goto done; |
||||
} |
||||
if (st) sqlite3_finalize(st); |
||||
} else if (subcmd == MB_SUBCMD_PULL) { |
||||
/* [subcmd][recipient:8][sender:8][since_seq:8] — storage: вернуть очередь */ |
||||
if (plen < 1 + 8 + 8 + 8) { queue_dgram_free(entry); queue_entry_free(entry); return; } |
||||
uint64_t recipient; memcpy(&recipient, p + 1, 8); |
||||
uint64_t sender; memcpy(&sender, p + 9, 8); |
||||
uint64_t since_seq; memcpy(&since_seq, p + 17, 8); |
||||
|
||||
/* прочитать блобы (до MB_MAX_BATCH) в буфер: [recipient:8][sender:8][count:2][msg]* */ |
||||
size_t buf_cap = 18 + (size_t)MB_MAX_BATCH * 4096; |
||||
uint8_t* body = u_malloc(buf_cap); |
||||
if (!body) { queue_dgram_free(entry); queue_entry_free(entry); return; } |
||||
memcpy(body, &recipient, 8); |
||||
memcpy(body + 8, &sender, 8); |
||||
uint16_t count = 0; |
||||
size_t boff = 18; |
||||
uint8_t receipt[DM_RECEIPT_SIZE]; |
||||
if (dm_accept_message(mb->inst, p + 1, len, receipt) == 0) |
||||
mb_send(mb, gid, source, MB_RECEIPT, receipt, sizeof(receipt)); |
||||
} else if (p[0] == MB_RECEIPT && len == DM_RECEIPT_SIZE) mb_receipt_received(mb, gid, source, p + 1); |
||||
else if (p[0] == MB_STORED && len == 16) { |
||||
uint64_t conv, seq; |
||||
memcpy(&conv, p + 1, 8); |
||||
memcpy(&seq, p + 9, 8); |
||||
DEBUG_DEBUG(DEBUG_CATEGORY_DM, "%s: custody confirmed super=%llu conv=%llu seq=%llu (await recipient)", MB_ID, |
||||
(unsigned long long)source, (unsigned long long)conv, (unsigned long long)seq); |
||||
} else DEBUG_WARN(DEBUG_CATEGORY_DM, "%s: invalid command=%u bytes=%zu", MB_ID, p[0], len); |
||||
done: |
||||
queue_dgram_free(entry); |
||||
queue_entry_free(entry); |
||||
} |
||||
|
||||
/* Продвигать ограниченную порцию; SQLite statement закрыт до вызова транспорта. */ |
||||
static void mb_tick(void* arg) { |
||||
struct dm_mb_state* mb = arg; |
||||
mb->timer = NULL; |
||||
int64_t now = (int64_t)ntp_time_get_seconds(mb->inst); |
||||
for (int i = 0; i < 32; i++) { |
||||
sqlite3_stmt* st = NULL; |
||||
if (sqlite3_prepare_v2(mb->db, |
||||
"SELECT msg, length(msg) FROM dm_mail WHERE recipient=? AND sender=? AND seq>? ORDER BY seq LIMIT ?", |
||||
-1, &st, NULL) == SQLITE_OK) { |
||||
sqlite3_bind_int64(st, 1, (sqlite3_int64)recipient); |
||||
sqlite3_bind_int64(st, 2, (sqlite3_int64)sender); |
||||
sqlite3_bind_int64(st, 3, (sqlite3_int64)since_seq); |
||||
sqlite3_bind_int(st, 4, MB_MAX_BATCH); |
||||
while (sqlite3_step(st) == SQLITE_ROW) { |
||||
const uint8_t* msg = (const uint8_t*)sqlite3_column_blob(st, 0); |
||||
int mlen = sqlite3_column_int(st, 1); |
||||
if (!msg || mlen <= 0) continue; |
||||
if (boff + (size_t)mlen > buf_cap) break; |
||||
memcpy(body + boff, msg, (size_t)mlen); |
||||
boff += (size_t)mlen; |
||||
count++; |
||||
} |
||||
} |
||||
if (st) sqlite3_finalize(st); |
||||
memcpy(body + 16, &count, 2); |
||||
DEBUG_INFO(DEBUG_CATEGORY_DM, "%s: PULL recipient=0x%016llx sender=0x%016llx since=%llu → %u msgs", |
||||
MB_ID, (unsigned long long)recipient, (unsigned long long)sender, |
||||
(unsigned long long)since_seq, count); |
||||
if (count > 0) |
||||
mb_route_send(mb, group_id, recipient, MB_SUBCMD_PULL_RESP, body, boff); |
||||
u_free(body); |
||||
} else if (subcmd == MB_SUBCMD_PULL_RESP) { |
||||
/* [subcmd][recipient:8][sender:8][count:2][msg]* — получатель: передать в dm_core + ACK storage */ |
||||
if (plen < 1 + 8 + 8 + 2) { queue_dgram_free(entry); queue_entry_free(entry); return; } |
||||
uint64_t storage; memcpy(&storage, d + ROUTER_SVC_SRC_OFF, 8); |
||||
uint64_t recipient; memcpy(&recipient, p + 1, 8); |
||||
uint64_t sender; memcpy(&sender, p + 9, 8); |
||||
uint16_t count; memcpy(&count, p + 17, 2); |
||||
const uint8_t* m = p + 19; |
||||
size_t remaining = plen - 19; |
||||
uint64_t max_seq = 0; |
||||
for (int i = 0; i < count; i++) { |
||||
size_t mlen = 0; |
||||
if (!dm_msg_len(m, remaining, &mlen)) break; |
||||
uint64_t seq = mb_msg_seq(m); |
||||
if (seq > max_seq) max_seq = seq; |
||||
if (mb->deliver_fn) mb->deliver_fn(m, mlen, mb->deliver_arg); |
||||
m += mlen; remaining -= mlen; |
||||
} |
||||
/* подтвердить storage-узлу приём — удалить доставленное (recipient/sender/up_to_seq) */ |
||||
if (count > 0 && max_seq > 0) { |
||||
uint8_t ack[24]; |
||||
memcpy(ack, &recipient, 8); |
||||
memcpy(ack + 8, &sender, 8); |
||||
memcpy(ack + 16, &max_seq, 8); |
||||
mb_route_send(mb, group_id, storage, MB_SUBCMD_ACK, ack, sizeof(ack)); |
||||
DEBUG_INFO(DEBUG_CATEGORY_DM, "%s: PULL_RESP recipient=0x%016llx sender=0x%016llx count=%u → ACK up_to=%llu", |
||||
MB_ID, (unsigned long long)recipient, (unsigned long long)sender, count, |
||||
(unsigned long long)max_seq); |
||||
int rc = sqlite3_prepare_v2(mb->db, |
||||
"SELECT recipient,sender,seq,msg,group_id FROM dm_pending_messages" |
||||
" WHERE retry_at<=? ORDER BY retry_at,seq LIMIT 1", -1, &st, NULL); |
||||
if (rc != SQLITE_OK) goto fail; |
||||
sqlite3_bind_int64(st, 1, now); |
||||
rc = sqlite3_step(st); |
||||
if (rc == SQLITE_DONE) { sqlite3_finalize(st); break; } |
||||
if (rc != SQLITE_ROW) goto fail; |
||||
uint64_t recipient = (uint64_t)sqlite3_column_int64(st, 0), author = (uint64_t)sqlite3_column_int64(st, 1); |
||||
uint64_t seq = (uint64_t)sqlite3_column_int64(st, 2), gid = (uint64_t)sqlite3_column_int64(st, 4); |
||||
size_t len = (size_t)sqlite3_column_bytes(st, 3); |
||||
uint8_t* msg = u_malloc(len); |
||||
if (!msg) { DEBUG_ERROR(DEBUG_CATEGORY_DM, "%s: delivery allocation failed", MB_ID); sqlite3_finalize(st); break; } |
||||
memcpy(msg, sqlite3_column_blob(st, 3), len); |
||||
sqlite3_finalize(st); |
||||
st = NULL; |
||||
rc = sqlite3_prepare_v2(mb->db, |
||||
"UPDATE dm_pending_messages SET retry_at=? WHERE recipient=? AND sender=? AND seq=?", -1, &st, NULL); |
||||
if (rc == SQLITE_OK) { |
||||
sqlite3_bind_int64(st, 1, now + 5); |
||||
sqlite3_bind_int64(st, 2, (sqlite3_int64)recipient); |
||||
sqlite3_bind_int64(st, 3, (sqlite3_int64)author); |
||||
sqlite3_bind_int64(st, 4, (sqlite3_int64)seq); |
||||
rc = sqlite3_step(st); |
||||
} |
||||
} else if (subcmd == MB_SUBCMD_ACK) { |
||||
/* [subcmd][recipient:8][sender:8][up_to_seq:8] — storage: удалить доставленное */ |
||||
if (plen < 1 + 8 + 8 + 8) { queue_dgram_free(entry); queue_entry_free(entry); return; } |
||||
uint64_t recipient; memcpy(&recipient, p + 1, 8); |
||||
uint64_t sender; memcpy(&sender, p + 9, 8); |
||||
uint64_t up_to_seq; memcpy(&up_to_seq, p + 17, 8); |
||||
sqlite3_stmt* st = NULL; |
||||
if (sqlite3_prepare_v2(mb->db, |
||||
"DELETE FROM dm_mail WHERE recipient=? AND sender=? AND seq<=?", |
||||
-1, &st, NULL) == SQLITE_OK) { |
||||
sqlite3_bind_int64(st, 1, (sqlite3_int64)recipient); |
||||
sqlite3_bind_int64(st, 2, (sqlite3_int64)sender); |
||||
sqlite3_bind_int64(st, 3, (sqlite3_int64)up_to_seq); |
||||
sqlite3_step(st); |
||||
sqlite3_finalize(st); |
||||
st = NULL; |
||||
if (rc != SQLITE_DONE) { u_free(msg); goto fail; } |
||||
uint64_t route_gid = gid; |
||||
if (dm_route_group(mb->inst, recipient, gid, &route_gid) && |
||||
mb_scope(mb, route_gid, mb->inst->node_id, author, recipient)) { |
||||
mb_send(mb, route_gid, recipient, MB_DELIVER, msg, len); |
||||
DEBUG_DEBUG(DEBUG_CATEGORY_DM, "%s: pending delivery sender=%llu recipient=%llu seq=%llu group=%llu", MB_ID, |
||||
(unsigned long long)author, (unsigned long long)recipient, (unsigned long long)seq, |
||||
(unsigned long long)route_gid); |
||||
} |
||||
if (st) sqlite3_finalize(st); |
||||
DEBUG_INFO(DEBUG_CATEGORY_DM, "%s: ACK recipient=0x%016llx sender=0x%016llx up_to=%llu", |
||||
MB_ID, (unsigned long long)recipient, (unsigned long long)sender, |
||||
(unsigned long long)up_to_seq); |
||||
} else { |
||||
DEBUG_WARN(DEBUG_CATEGORY_DM, "%s: unknown subcmd=%02x", MB_ID, subcmd); |
||||
u_free(msg); |
||||
continue; |
||||
fail: |
||||
DEBUG_ERROR(DEBUG_CATEGORY_DM, "%s: pending scan rc=%d error=%s", MB_ID, rc, sqlite3_errmsg(mb->db)); |
||||
sqlite3_finalize(st); |
||||
break; |
||||
} |
||||
|
||||
queue_dgram_free(entry); queue_entry_free(entry); |
||||
mb->timer = uasync_set_timeout(mb->inst->ua, 10000, mb, mb_tick, "dm_mailbox"); |
||||
if (!mb->timer) DEBUG_ERROR(DEBUG_CATEGORY_DM, "%s: retry timer allocation failed", MB_ID); |
||||
} |
||||
|
||||
/* ── Жизненный цикл ── */ |
||||
|
||||
/* Новые таблицы протокола; прежний формат и диапазонные ACK не используются. */ |
||||
int dm_mailbox_init(struct UTUN_INSTANCE* inst) { |
||||
if (!inst) return -1; |
||||
if (inst->dm_mailbox && inst->dm_mailbox->initialized) return 0; |
||||
if (!inst || !inst->topo_sqlite_db) { DEBUG_ERROR(DEBUG_CATEGORY_DM, "%s: init without core DB", MB_ID); return -1; } |
||||
if (inst->dm_mailbox) return 0; |
||||
struct dm_mb_state* mb = u_calloc(1, sizeof(*mb)); |
||||
if (!mb) return -1; |
||||
inst->dm_mailbox = mb; |
||||
if (!mb) { DEBUG_ERROR(DEBUG_CATEGORY_DM, "%s: state allocation failed", MB_ID); return -1; } |
||||
mb->inst = inst; |
||||
mb->db = chat_core_get_db(inst); |
||||
if (!mb->db) { DEBUG_ERROR(DEBUG_CATEGORY_DM, "%s: no chat db", MB_ID); u_free(mb); inst->dm_mailbox = NULL; return -1; } |
||||
mb_create_tables(mb); |
||||
if (etcp_router_bind(inst, ETCP_RT_ID_DM_MAILBOX, mb_recv_cb) != 0) { |
||||
DEBUG_ERROR(DEBUG_CATEGORY_DM, "%s: etcp_router_bind failed", MB_ID); |
||||
u_free(mb); inst->dm_mailbox = NULL; return -1; |
||||
mb->db = inst->topo_sqlite_db; |
||||
if (mb_exec(mb, "CREATE TABLE IF NOT EXISTS dm_pending_messages (recipient INTEGER NOT NULL,sender INTEGER NOT NULL," |
||||
"seq INTEGER NOT NULL,msg BLOB NOT NULL,group_id INTEGER NOT NULL,retry_at INTEGER NOT NULL DEFAULT 0," |
||||
"PRIMARY KEY(recipient,sender,seq))") != 0 || |
||||
mb_exec(mb, "CREATE TABLE IF NOT EXISTS dm_mail_receipts (recipient INTEGER NOT NULL,sender INTEGER NOT NULL," |
||||
"seq INTEGER NOT NULL,receipt BLOB NOT NULL,group_id INTEGER NOT NULL," |
||||
"PRIMARY KEY(recipient,sender,seq))") != 0) goto fail; |
||||
if (etcp_router_bind(inst, ETCP_RT_ID_DM_MAILBOX, mb_recv) != 0) goto fail; |
||||
inst->dm_mailbox = mb; |
||||
mb->media = dm_mailbox_media_create(inst); |
||||
if (!mb->media) { |
||||
etcp_router_unbind(inst, ETCP_RT_ID_DM_MAILBOX); |
||||
inst->dm_mailbox = NULL; |
||||
goto fail; |
||||
} |
||||
mb->initialized = 1; |
||||
DEBUG_INFO(DEBUG_CATEGORY_DM, "%s: initialized", MB_ID); |
||||
mb->timer = uasync_set_timeout(inst->ua, 10000, mb, mb_tick, "dm_mailbox"); |
||||
if (!mb->timer) { |
||||
etcp_router_unbind(inst, ETCP_RT_ID_DM_MAILBOX); |
||||
inst->dm_mailbox = NULL; |
||||
goto fail; |
||||
} |
||||
DEBUG_INFO(DEBUG_CATEGORY_DM, "%s: initialized persistent supernode queue", MB_ID); |
||||
return 0; |
||||
fail: |
||||
DEBUG_ERROR(DEBUG_CATEGORY_DM, "%s: initialization failed", MB_ID); |
||||
dm_mailbox_media_destroy(mb->media); |
||||
u_free(mb); |
||||
return -1; |
||||
} |
||||
|
||||
/* Отменить таймер до освобождения owner, durable копии оставить в БД. */ |
||||
void dm_mailbox_destroy(struct UTUN_INSTANCE* inst) { |
||||
struct dm_mb_state* mb = mb_of(inst); |
||||
if (!inst || !mb || !mb->initialized) return; |
||||
if (!inst || !inst->dm_mailbox) return; |
||||
struct dm_mb_state* mb = inst->dm_mailbox; |
||||
if (mb->timer) uasync_cancel_timeout(inst->ua, mb->timer); |
||||
dm_mailbox_media_destroy(mb->media); |
||||
etcp_router_unbind(inst, ETCP_RT_ID_DM_MAILBOX); |
||||
u_free(mb); |
||||
inst->dm_mailbox = NULL; |
||||
DEBUG_INFO(DEBUG_CATEGORY_DM, "%s: destroyed", MB_ID); |
||||
DEBUG_INFO(DEBUG_CATEGORY_DM, "%s: destroyed, pending retained", MB_ID); |
||||
u_free(mb); |
||||
} |
||||
|
||||
/* ── Публичные операции ── */ |
||||
|
||||
/* Собрать storage-узлы (storage=yes в adm_tags) из общих групп без дублей. */ |
||||
int dm_mailbox_get_storage_nodes(struct UTUN_INSTANCE* inst, uint64_t* out, int max) { |
||||
struct dm_mb_state* mb = mb_of(inst); |
||||
if (!inst || !out || max <= 0 || !mb || !mb->db) return 0; |
||||
uint64_t my_id = inst->node_id; |
||||
uint64_t* ch_ids = NULL; |
||||
int ch_count = 0; |
||||
if (topo_node_sqlite_get_member_channels(mb->db, my_id, &ch_ids, &ch_count) != 0) return 0; |
||||
|
||||
int found = 0; |
||||
char buf[256]; |
||||
for (int c = 0; c < ch_count && found < max; c++) { |
||||
char ch[64]; snprintf(ch, sizeof(ch), "%llu", (unsigned long long)ch_ids[c]); |
||||
char tbl[80]; snprintf(tbl, sizeof(tbl), "peers_%s", ch); |
||||
char sql[256]; snprintf(sql, sizeof(sql), |
||||
"SELECT node_id, COALESCE(adm_tags,'') FROM \"%s\"", tbl); |
||||
/* Найти суперузлы в общей группе обеих сторон; для PUT выбрать только один. */ |
||||
static int mb_to_supernodes(struct dm_mb_state* mb, uint64_t recipient, uint64_t author, |
||||
uint8_t cmd, const uint8_t* body, size_t len) { |
||||
uint64_t* ids = NULL; |
||||
int count = 0, sent = 0; |
||||
if (topo_node_sqlite_get_member_channels(mb->db, mb->inst->node_id, &ids, &count) != 0) { |
||||
DEBUG_ERROR(DEBUG_CATEGORY_DM, "%s: membership lookup failed", MB_ID); |
||||
return -1; |
||||
} |
||||
for (int i = 0; i < count; i++) { |
||||
char ch[64], sql[256]; |
||||
snprintf(ch, sizeof(ch), "%llu", (unsigned long long)ids[i]); |
||||
if (!topo_node_sqlite_member_in_channel(mb->db, ch, author) || |
||||
!topo_node_sqlite_member_in_channel(mb->db, ch, recipient)) continue; |
||||
snprintf(sql, sizeof(sql), "SELECT node_id,adm_tags FROM \"peers_%s\" WHERE deleted=0 ORDER BY node_id", ch); |
||||
sqlite3_stmt* st = NULL; |
||||
if (sqlite3_prepare_v2(mb->db, sql, -1, &st, NULL) != SQLITE_OK) continue; |
||||
while (sqlite3_step(st) == SQLITE_ROW && found < max) { |
||||
uint64_t nid = (uint64_t)sqlite3_column_int64(st, 0); |
||||
if (nid == my_id) continue; |
||||
if (sqlite3_prepare_v2(mb->db, sql, -1, &st, NULL) != SQLITE_OK) { |
||||
DEBUG_ERROR(DEBUG_CATEGORY_DM, "%s: supernode query failed: %s", MB_ID, sqlite3_errmsg(mb->db)); |
||||
continue; |
||||
} |
||||
int rc; |
||||
while ((rc = sqlite3_step(st)) == SQLITE_ROW) { |
||||
uint64_t node = (uint64_t)sqlite3_column_int64(st, 0); |
||||
const char* tags = (const char*)sqlite3_column_text(st, 1); |
||||
if (tags && json_flat_get(tags, "storage", buf, sizeof(buf)) == 0 |
||||
&& strcmp(buf, "yes") == 0) { |
||||
int dup = 0; |
||||
for (int i = 0; i < found; i++) if (out[i] == nid) { dup = 1; break; } |
||||
if (!dup) out[found++] = nid; |
||||
char role[16]; |
||||
if (!tags || json_flat_get(tags, "supernode", role, sizeof(role)) != 0 || strcmp(role, "yes")) continue; |
||||
if (node == mb->inst->node_id || node == recipient || node == author) continue; |
||||
struct ETCP_ROUTER_PATH path = etcp_router_get_path(mb->inst, ids[i], node, ETCP_RT_ID_DM_MAILBOX); |
||||
if (!path.next_hop_node_id) continue; |
||||
if (!mb_send(mb, ids[i], node, cmd, body, len)) { |
||||
sent++; |
||||
if (cmd == MB_PUT) break; |
||||
} |
||||
} |
||||
if (rc != SQLITE_ROW && rc != SQLITE_DONE) |
||||
DEBUG_ERROR(DEBUG_CATEGORY_DM, "%s: supernode scan failed rc=%d", MB_ID, rc); |
||||
sqlite3_finalize(st); |
||||
if (sent && cmd == MB_PUT) break; |
||||
} |
||||
if (ch_ids) u_free(ch_ids); |
||||
return found; |
||||
u_free(ids); |
||||
return sent; |
||||
} |
||||
|
||||
/* Отправитель: разослать зашифрованное сообщение на все storage-узлы. */ |
||||
int dm_mailbox_put(struct UTUN_INSTANCE* inst, uint64_t recipient, uint64_t sender, |
||||
const uint8_t* msg, size_t msg_len) { |
||||
struct dm_mb_state* mb = mb_of(inst); |
||||
if (!inst || !mb || !msg || msg_len == 0) return -1; |
||||
|
||||
uint64_t nodes[8]; |
||||
int n = dm_mailbox_get_storage_nodes(inst, nodes, 8); |
||||
if (n == 0) { |
||||
DEBUG_WARN(DEBUG_CATEGORY_DM, "%s: no storage nodes for offline delivery", MB_ID); |
||||
/* Исходящее тело остаётся у A до подписанного подтверждения B. */ |
||||
int dm_mailbox_put(struct UTUN_INSTANCE* inst, uint64_t recipient, uint64_t sender, const uint8_t* msg, size_t len) { |
||||
struct dm_mb_state* mb = inst ? inst->dm_mailbox : NULL; |
||||
if (!mb || sender != inst->node_id || dm_verify_message(inst, recipient, msg, len) != 0) { |
||||
DEBUG_ERROR(DEBUG_CATEGORY_DM, "%s: invalid local PUT", MB_ID); |
||||
return -1; |
||||
} |
||||
|
||||
/* body = [recipient:8][sender:8][msg] */ |
||||
size_t body_len = 8 + 8 + msg_len; |
||||
uint8_t* body = u_malloc(body_len); |
||||
if (!body) return -1; |
||||
uint8_t body[8 + DM_MEDIA_BODY_MAX]; |
||||
memcpy(body, &recipient, 8); |
||||
memcpy(body + 8, &sender, 8); |
||||
memcpy(body + 16, msg, msg_len); |
||||
|
||||
int sent = 0; |
||||
for (int i = 0; i < n; i++) { |
||||
if (mb_route_send(mb, 0, nodes[i], MB_SUBCMD_PUT, body, body_len) == 0) sent++; |
||||
} |
||||
u_free(body); |
||||
DEBUG_INFO(DEBUG_CATEGORY_DM, "%s: put → %d/%d storage nodes", MB_ID, sent, n); |
||||
return sent > 0 ? 0 : -1; |
||||
memcpy(body + 8, msg, len); |
||||
int n = mb_to_supernodes(mb, recipient, sender, MB_PUT, body, len + 8); |
||||
if (n <= 0) DEBUG_DEBUG(DEBUG_CATEGORY_DM, "%s: no reachable supernode; local outbox retained recipient=%llu", MB_ID, |
||||
(unsigned long long)recipient); |
||||
return n > 0 ? 0 : -1; |
||||
} |
||||
|
||||
/* Получатель: запросить почту от отправителя со всех storage-узлов. */ |
||||
void dm_mailbox_pull(struct UTUN_INSTANCE* inst, uint64_t peer_node_id, uint64_t since_seq) { |
||||
struct dm_mb_state* mb = mb_of(inst); |
||||
if (!inst || !mb) return; |
||||
uint64_t nodes[8]; |
||||
int n = dm_mailbox_get_storage_nodes(inst, nodes, 8); |
||||
if (n == 0) return; |
||||
|
||||
uint8_t body[24]; |
||||
memcpy(body, &inst->node_id, 8); |
||||
memcpy(body + 8, &peer_node_id, 8); |
||||
memcpy(body + 16, &since_seq, 8); |
||||
for (int i = 0; i < n; i++) |
||||
mb_route_send(mb, 0, nodes[i], MB_SUBCMD_PULL, body, sizeof(body)); |
||||
DEBUG_INFO(DEBUG_CATEGORY_DM, "%s: pull from %d storage nodes (peer=0x%016llx since=%llu)", |
||||
MB_ID, n, (unsigned long long)peer_node_id, (unsigned long long)since_seq); |
||||
/* Копии могут остаться после смены маршрута/суперузла — удалить каждую доступную. */ |
||||
void dm_mailbox_receipt(struct UTUN_INSTANCE* inst, const uint8_t* receipt) { |
||||
struct dm_mb_state* mb = inst ? inst->dm_mailbox : NULL; |
||||
if (!mb || dm_verify_receipt(inst, receipt, NULL, 0) != 0) return; |
||||
uint64_t author, recipient; |
||||
memcpy(&author, receipt + 24, 8); |
||||
memcpy(&recipient, receipt + 32, 8); |
||||
mb_to_supernodes(mb, recipient, author, MB_RECEIPT, receipt, DM_RECEIPT_SIZE); |
||||
} |
||||
|
||||
@ -0,0 +1,318 @@
|
||||
/* dm_mailbox_media — S хранит координатор отдельно от opaque custody на M. */ |
||||
#include <stdio.h> |
||||
#include <string.h> |
||||
#include <openssl/sha.h> |
||||
|
||||
#include "../../lib/mem.h" |
||||
#include "../../lib/debug_config.h" |
||||
#include "../../lib/json_flat.h" |
||||
#include "dm_media_priv.h" |
||||
#include "dm_mailbox_media.h" |
||||
#include "../utun_instance.h" |
||||
#include "../ntp_time.h" |
||||
#include "../routing_layer/etcp_router.h" |
||||
#include "../routing_layer/topo_node_sqlite.h" |
||||
|
||||
struct dm_mb_media { |
||||
struct UTUN_INSTANCE* inst; |
||||
void* timer; |
||||
}; |
||||
|
||||
/* Регистрация идёт в транзакции PUT, до выдачи какого-либо задания M. */ |
||||
int dm_mailbox_media_register(struct dm_mb_media* media, uint64_t group, uint64_t recipient, |
||||
const uint8_t* body, size_t len) { |
||||
const uint8_t* desc = dm_message_media(body, len); |
||||
if (!desc) return 0; |
||||
if (!media) { DEBUG_ERROR(DEBUG_CATEGORY_DM, "dm_mailbox_media: registration without owner"); return -1; } |
||||
struct UTUN_INSTANCE* inst = media->inst; |
||||
uint64_t author, seq; |
||||
memcpy(&author, body + 24, 8); memcpy(&seq, body + 8, 8); |
||||
uint8_t hash[32]; SHA256(body, len, hash); |
||||
sqlite3_stmt* st = dm_media_prepare(inst, "INSERT INTO dm_media_jobs(id,author,recipient,seq,body,body_hash,group_id)" |
||||
" VALUES(?,?,?,?,?,?,?) ON CONFLICT(id) DO NOTHING"); |
||||
if (!st) return -1; |
||||
sqlite3_bind_blob(st, 1, desc, 16, SQLITE_STATIC); sqlite3_bind_int64(st, 2, (sqlite3_int64)author); |
||||
sqlite3_bind_int64(st, 3, (sqlite3_int64)recipient); sqlite3_bind_int64(st, 4, (sqlite3_int64)seq); |
||||
sqlite3_bind_blob(st, 5, body, (int)len, SQLITE_STATIC); sqlite3_bind_blob(st, 6, hash, 32, SQLITE_STATIC); |
||||
sqlite3_bind_int64(st, 7, (sqlite3_int64)group); |
||||
if (dm_media_step(inst, st)) return -1; |
||||
int inserted = sqlite3_changes(inst->topo_sqlite_db); |
||||
st = dm_media_prepare(inst, "SELECT body_hash FROM dm_media_jobs WHERE id=?"); |
||||
if (!st) return -1; |
||||
sqlite3_bind_blob(st, 1, desc, 16, SQLITE_STATIC); |
||||
int rc = sqlite3_step(st); |
||||
int exact = rc == SQLITE_ROW && sqlite3_column_bytes(st, 0) == 32 && !memcmp(sqlite3_column_blob(st, 0), hash, 32); |
||||
sqlite3_finalize(st); |
||||
if (!exact) { DEBUG_ERROR(DEBUG_CATEGORY_DM, "dm_mailbox_media: conflicting media UUID/body"); return -1; } |
||||
if (inserted) DEBUG_INFO(DEBUG_CATEGORY_DM, "dm_mailbox_media: registered author=%llu recipient=%llu seq=%llu group=%llu", |
||||
(unsigned long long)author, (unsigned long long)recipient, (unsigned long long)seq, (unsigned long long)group); |
||||
return 0; |
||||
} |
||||
|
||||
/* Список S используется только для пересылки подписанного подтверждения B. */ |
||||
void dm_mailbox_media_receipt(struct UTUN_INSTANCE* inst, const uint8_t* receipt) { |
||||
if (dm_media_verify_receipt(inst, receipt, NULL, 0)) return; |
||||
uint64_t author, recipient; |
||||
memcpy(&author, receipt + 24, 8); memcpy(&recipient, receipt + 32, 8); |
||||
uint64_t* groups = NULL; |
||||
int count = 0; |
||||
if (topo_node_sqlite_get_member_channels(inst->topo_sqlite_db, inst->node_id, &groups, &count)) { |
||||
DEBUG_ERROR(DEBUG_CATEGORY_DM, "dm_mailbox_media: common group lookup failed"); return; |
||||
} |
||||
for (int i = 0; i < count; i++) { |
||||
char sql[192]; |
||||
snprintf(sql, sizeof(sql), "SELECT node_id FROM \"peers_%llu\" WHERE deleted=0", (unsigned long long)groups[i]); |
||||
sqlite3_stmt* st = dm_media_prepare(inst, sql); |
||||
if (!st) continue; |
||||
uint64_t peers[64]; |
||||
unsigned n = 0; |
||||
int rc; |
||||
while ((rc = sqlite3_step(st)) == SQLITE_ROW && n < 64) { |
||||
uint64_t node = (uint64_t)sqlite3_column_int64(st, 0); |
||||
if (node != author && node != recipient && dm_media_scope(inst, groups[i], node, "supernode", author, recipient)) |
||||
peers[n++] = node; |
||||
} |
||||
if (rc != SQLITE_ROW && rc != SQLITE_DONE) DEBUG_ERROR(DEBUG_CATEGORY_DM, "dm_mailbox_media: supernode scan failed rc=%d", rc); |
||||
sqlite3_finalize(st); |
||||
for (unsigned j = 0; j < n; j++) |
||||
if (peers[j] == inst->node_id || etcp_router_get_path(inst, groups[i], peers[j], ETCP_RT_ID_DM_MEDIA).next_hop_node_id) |
||||
dm_media_send(inst, groups[i], peers[j], DM_MEDIA_RECEIPT, receipt, DM_MEDIA_RECEIPT_SIZE); |
||||
} |
||||
u_free(groups); |
||||
} |
||||
|
||||
/* Подтверждение медиадоставки сохраняется до начала DELETE и никогда не отменяется STORED. */ |
||||
static void dm_job_receipt(struct dm_mb_media* media, uint64_t group, uint64_t source, const uint8_t* r) { |
||||
struct UTUN_INSTANCE* inst = media->inst; |
||||
if (dm_media_verify_receipt(inst, r, NULL, 0)) return; |
||||
uint64_t author, recipient; |
||||
memcpy(&author, r + 24, 8); memcpy(&recipient, r + 32, 8); |
||||
if (!dm_media_scope(inst, group, inst->node_id, "supernode", author, recipient)) { |
||||
DEBUG_WARN(DEBUG_CATEGORY_DM, "dm_mailbox_media: receipt outside S scope source=%llu", (unsigned long long)source); return; |
||||
} |
||||
sqlite3_stmt* st = dm_media_prepare(inst, "SELECT body_hash,receipt FROM dm_media_jobs WHERE id=?"); |
||||
if (!st) return; |
||||
sqlite3_bind_blob(st, 1, r + 40, 16, SQLITE_STATIC); |
||||
int rc = sqlite3_step(st); |
||||
if (rc == SQLITE_DONE) { sqlite3_finalize(st); return; } /* Нет выданных копий на этом S. */ |
||||
int exact = rc == SQLITE_ROW && sqlite3_column_bytes(st, 0) == 32 && !memcmp(sqlite3_column_blob(st, 0), r + 56, 32); |
||||
int already = rc == SQLITE_ROW && sqlite3_column_bytes(st, 1) == DM_MEDIA_RECEIPT_SIZE; |
||||
sqlite3_finalize(st); |
||||
if (!exact) { DEBUG_WARN(DEBUG_CATEGORY_DM, "dm_mailbox_media: receipt body hash mismatch rc=%d", rc); return; } |
||||
st = dm_media_prepare(inst, "UPDATE dm_media_jobs SET receipt=?,retry_at=0 WHERE id=? AND receipt IS NULL"); |
||||
if (!st) return; |
||||
sqlite3_bind_blob(st, 1, r, DM_MEDIA_RECEIPT_SIZE, SQLITE_STATIC); sqlite3_bind_blob(st, 2, r + 40, 16, SQLITE_STATIC); |
||||
if (dm_media_step(inst, st)) return; |
||||
if (!already) { |
||||
DEBUG_INFO(DEBUG_CATEGORY_DM, "dm_mailbox_media: recipient confirmed file; delete jobs activated source=%llu", |
||||
(unsigned long long)source); |
||||
dm_media_send(inst, group, author, DM_MEDIA_RECEIPT, r, DM_MEDIA_RECEIPT_SIZE); |
||||
} |
||||
} |
||||
|
||||
/* Control от M принимается только для durable зарегистрированного назначения. */ |
||||
void dm_mailbox_media_recv(struct dm_mb_media* media, uint64_t group, uint64_t source, |
||||
uint8_t cmd, const uint8_t* p, size_t len) { |
||||
if (!media) { DEBUG_WARN(DEBUG_CATEGORY_DM, "dm_mailbox_media: control after stop"); return; } |
||||
struct UTUN_INSTANCE* inst = media->inst; |
||||
if (cmd == DM_MEDIA_RECEIPT && len == DM_MEDIA_RECEIPT_SIZE) { dm_job_receipt(media, group, source, p); return; } |
||||
sqlite3_stmt* st = dm_media_prepare(inst, "SELECT j.author,j.recipient,j.receipt,j.holder FROM dm_media_jobs j" |
||||
" JOIN dm_media_holders h ON h.id=j.id WHERE j.id=? AND h.node_id=? AND h.group_id=?"); |
||||
if (!st) return; |
||||
sqlite3_bind_blob(st, 1, p, 16, SQLITE_STATIC); sqlite3_bind_int64(st, 2, (sqlite3_int64)source); |
||||
sqlite3_bind_int64(st, 3, (sqlite3_int64)group); |
||||
int rc = sqlite3_step(st); |
||||
if (rc == SQLITE_DONE) { sqlite3_finalize(st); return; } |
||||
if (rc != SQLITE_ROW) { DEBUG_ERROR(DEBUG_CATEGORY_DM, "dm_mailbox_media: location lookup failed rc=%d", rc); sqlite3_finalize(st); return; } |
||||
uint64_t author = (uint64_t)sqlite3_column_int64(st, 0), recipient = (uint64_t)sqlite3_column_int64(st, 1); |
||||
uint64_t holder = (uint64_t)sqlite3_column_int64(st, 3); |
||||
uint8_t receipt[DM_MEDIA_RECEIPT_SIZE]; |
||||
int delivered = sqlite3_column_bytes(st, 2) == sizeof(receipt); |
||||
if (delivered) memcpy(receipt, sqlite3_column_blob(st, 2), sizeof(receipt)); |
||||
sqlite3_finalize(st); |
||||
if (cmd == DM_MEDIA_STORED && len == 24) { |
||||
uint64_t expiry; |
||||
memcpy(&expiry, p + 16, 8); |
||||
if (delivered) { dm_media_send(inst, group, source, DM_MEDIA_DELETE, receipt, sizeof(receipt)); return; } |
||||
if (holder != source || expiry <= ntp_time_get_seconds(inst) || |
||||
!dm_media_scope(inst, group, source, "storage", author, recipient)) { |
||||
DEBUG_WARN(DEBUG_CATEGORY_DM, "dm_mailbox_media: stale/unauthorized STORED source=%llu expiry=%llu", |
||||
(unsigned long long)source, (unsigned long long)expiry); return; |
||||
} |
||||
st = dm_media_prepare(inst, "UPDATE dm_media_jobs SET stored=1,expires=?,retry_at=0 WHERE id=? AND receipt IS NULL AND stored=0"); |
||||
if (!st) return; |
||||
sqlite3_bind_int64(st, 1, (sqlite3_int64)expiry); sqlite3_bind_blob(st, 2, p, 16, SQLITE_STATIC); |
||||
if (dm_media_step(inst, st)) return; |
||||
if (sqlite3_changes(inst->topo_sqlite_db)) |
||||
DEBUG_INFO(DEBUG_CATEGORY_DM, "dm_mailbox_media: custody committed M=%llu expires=%llu", |
||||
(unsigned long long)source, (unsigned long long)expiry); |
||||
} else if ((cmd == DM_MEDIA_DELETE_ACK || cmd == DM_MEDIA_EXPIRED) && len == 16) { |
||||
st = dm_media_prepare(inst, "UPDATE dm_media_holders SET released=1 WHERE id=? AND node_id=?"); |
||||
if (!st) return; |
||||
sqlite3_bind_blob(st, 1, p, 16, SQLITE_STATIC); sqlite3_bind_int64(st, 2, (sqlite3_int64)source); |
||||
if (dm_media_step(inst, st)) return; |
||||
if (!delivered && cmd == DM_MEDIA_EXPIRED) { |
||||
st = dm_media_prepare(inst, "UPDATE dm_media_jobs SET holder=0,stored=0,expired=1,retry_at=0 WHERE id=? AND holder=?"); |
||||
if (!st) return; |
||||
sqlite3_bind_blob(st, 1, p, 16, SQLITE_STATIC); sqlite3_bind_int64(st, 2, (sqlite3_int64)source); |
||||
dm_media_step(inst, st); |
||||
} |
||||
} else if (cmd == DM_MEDIA_REJECT && len == 17 && !delivered) { |
||||
DEBUG_WARN(DEBUG_CATEGORY_DM, "dm_mailbox_media: storage refused M=%llu reason=%u", (unsigned long long)source, p[16]); |
||||
st = dm_media_prepare(inst, "UPDATE dm_media_holders SET released=1 WHERE id=? AND node_id=?"); |
||||
if (!st) return; |
||||
sqlite3_bind_blob(st, 1, p, 16, SQLITE_STATIC); sqlite3_bind_int64(st, 2, (sqlite3_int64)source); |
||||
if (dm_media_step(inst, st)) return; |
||||
st = dm_media_prepare(inst, "UPDATE dm_media_jobs SET holder=0,stored=0,retry_at=0 WHERE id=? AND holder=?"); |
||||
if (!st) return; |
||||
sqlite3_bind_blob(st, 1, p, 16, SQLITE_STATIC); sqlite3_bind_int64(st, 2, (sqlite3_int64)source); |
||||
dm_media_step(inst, st); |
||||
} else DEBUG_WARN(DEBUG_CATEGORY_DM, "dm_mailbox_media: unexpected control cmd=%u bytes=%zu", cmd, len); |
||||
} |
||||
|
||||
/* Выбрать один достижимый storage, исключив A/B и прежние отказы/истёкшие назначения. */ |
||||
static uint64_t dm_job_storage(struct dm_mb_media* media, uint64_t group, const uint8_t id[16], uint64_t a, uint64_t b) { |
||||
struct UTUN_INSTANCE* inst = media->inst; |
||||
char sql[256]; |
||||
snprintf(sql, sizeof(sql), "SELECT node_id,adm_tags FROM \"peers_%llu\" WHERE deleted=0 AND node_id NOT IN" |
||||
" (SELECT node_id FROM dm_media_holders WHERE id=?) ORDER BY node_id", (unsigned long long)group); |
||||
sqlite3_stmt* st = dm_media_prepare(inst, sql); |
||||
if (!st) return 0; |
||||
sqlite3_bind_blob(st, 1, id, 16, SQLITE_STATIC); |
||||
uint64_t found = 0; |
||||
int rc; |
||||
while ((rc = sqlite3_step(st)) == SQLITE_ROW) { |
||||
uint64_t node = (uint64_t)sqlite3_column_int64(st, 0); |
||||
const char* tags = (const char*)sqlite3_column_text(st, 1); |
||||
char role[16]; |
||||
if (node == a || node == b || !tags || json_flat_get(tags, "storage", role, sizeof(role)) || strcmp(role, "yes")) continue; |
||||
if (node == inst->node_id || etcp_router_get_path(inst, group, node, ETCP_RT_ID_DM_MEDIA).next_hop_node_id) { found = node; break; } |
||||
} |
||||
if (rc != SQLITE_ROW && rc != SQLITE_DONE) DEBUG_ERROR(DEBUG_CATEGORY_DM, "dm_mailbox_media: storage scan failed rc=%d", rc); |
||||
sqlite3_finalize(st); |
||||
return found; |
||||
} |
||||
|
||||
/* Удаление каждого когда-либо выданного назначения повторяется до signed DELETE_ACK. */ |
||||
static void dm_job_cleanup(struct dm_mb_media* media, const uint8_t id[16], const uint8_t* receipt) { |
||||
struct UTUN_INSTANCE* inst = media->inst; |
||||
sqlite3_stmt* st = dm_media_prepare(inst, "SELECT node_id,group_id FROM dm_media_holders WHERE id=? AND released=0 LIMIT 16"); |
||||
if (!st) return; |
||||
sqlite3_bind_blob(st, 1, id, 16, SQLITE_STATIC); |
||||
uint64_t peers[16], groups[16]; |
||||
unsigned count = 0; |
||||
int rc; |
||||
while ((rc = sqlite3_step(st)) == SQLITE_ROW && count < 16) { |
||||
peers[count] = (uint64_t)sqlite3_column_int64(st, 0); groups[count++] = (uint64_t)sqlite3_column_int64(st, 1); |
||||
} |
||||
sqlite3_finalize(st); |
||||
if (rc != SQLITE_ROW && rc != SQLITE_DONE) { DEBUG_ERROR(DEBUG_CATEGORY_DM, "dm_mailbox_media: cleanup scan failed rc=%d", rc); return; } |
||||
for (unsigned i = 0; i < count; i++) dm_media_send(inst, groups[i], peers[i], DM_MEDIA_DELETE, receipt, DM_MEDIA_RECEIPT_SIZE); |
||||
if (!count) { |
||||
st = dm_media_prepare(inst, "UPDATE dm_media_jobs SET body=NULL WHERE id=? AND receipt IS NOT NULL AND body IS NOT NULL"); |
||||
if (!st) return; |
||||
sqlite3_bind_blob(st, 1, id, 16, SQLITE_STATIC); |
||||
if (!dm_media_step(inst, st) && sqlite3_changes(inst->topo_sqlite_db)) |
||||
DEBUG_INFO(DEBUG_CATEGORY_DM, "dm_mailbox_media: all custody copies deleted; message body removed"); |
||||
} |
||||
} |
||||
|
||||
/* Snapshot statement закрывается до control send, включая локальное совмещение S/M. */ |
||||
static void dm_mailbox_media_tick(void* arg) { |
||||
struct dm_mb_media* media = arg; |
||||
struct UTUN_INSTANCE* inst = media->inst; |
||||
media->timer = NULL; |
||||
uint64_t now = ntp_time_get_seconds(inst); |
||||
for (int i = 0; i < 8; i++) { |
||||
sqlite3_stmt* st = dm_media_prepare(inst, "SELECT id,author,recipient,body,group_id,holder,stored,expires,receipt,expired" |
||||
" FROM dm_media_jobs WHERE retry_at<=? ORDER BY retry_at,seq LIMIT 1"); |
||||
if (!st) break; |
||||
sqlite3_bind_int64(st, 1, (sqlite3_int64)now); |
||||
int rc = sqlite3_step(st); |
||||
if (rc == SQLITE_DONE) { sqlite3_finalize(st); break; } |
||||
if (rc != SQLITE_ROW || sqlite3_column_bytes(st, 0) != 16) { |
||||
DEBUG_ERROR(DEBUG_CATEGORY_DM, "dm_mailbox_media: job scan failed rc=%d", rc); sqlite3_finalize(st); break; |
||||
} |
||||
uint8_t id[16], body[DM_MEDIA_BODY_MAX], receipt[DM_MEDIA_RECEIPT_SIZE]; |
||||
memcpy(id, sqlite3_column_blob(st, 0), 16); |
||||
uint64_t author = (uint64_t)sqlite3_column_int64(st, 1), recipient = (uint64_t)sqlite3_column_int64(st, 2); |
||||
size_t len = (size_t)sqlite3_column_bytes(st, 3); |
||||
if (len <= sizeof(body) && len) memcpy(body, sqlite3_column_blob(st, 3), len); |
||||
uint64_t group = (uint64_t)sqlite3_column_int64(st, 4), holder = (uint64_t)sqlite3_column_int64(st, 5); |
||||
int stored = sqlite3_column_int(st, 6), expired = sqlite3_column_int(st, 9); |
||||
uint64_t expires = (uint64_t)sqlite3_column_int64(st, 7); |
||||
int delivered = sqlite3_column_bytes(st, 8) == sizeof(receipt); |
||||
if (delivered) memcpy(receipt, sqlite3_column_blob(st, 8), sizeof(receipt)); |
||||
sqlite3_finalize(st); |
||||
st = dm_media_prepare(inst, "UPDATE dm_media_jobs SET retry_at=? WHERE id=?"); |
||||
if (!st) break; |
||||
sqlite3_bind_int64(st, 1, (sqlite3_int64)(now + 5)); sqlite3_bind_blob(st, 2, id, 16, SQLITE_STATIC); |
||||
if (dm_media_step(inst, st)) break; |
||||
if (delivered) { |
||||
dm_job_cleanup(media, id, receipt); |
||||
uint64_t gid = group; |
||||
if (dm_route_group(inst, author, group, &gid)) dm_media_send(inst, gid, author, DM_MEDIA_RECEIPT, receipt, sizeof(receipt)); |
||||
continue; |
||||
} |
||||
if (!len || len > sizeof(body) || !dm_message_media(body, len)) { |
||||
DEBUG_ERROR(DEBUG_CATEGORY_DM, "dm_mailbox_media: corrupt saved descriptor"); continue; |
||||
} |
||||
if (!dm_media_scope(inst, group, inst->node_id, "supernode", author, recipient)) continue; |
||||
uint64_t gid = group; |
||||
if (dm_route_group(inst, recipient, group, &gid)) { |
||||
uint8_t offer[24 + DM_MEDIA_BODY_MAX]; |
||||
uint64_t location = stored && expires > now ? holder : author; |
||||
uint64_t expiry = stored ? expires : 0; |
||||
memcpy(offer, &recipient, 8); memcpy(offer + 8, &location, 8); memcpy(offer + 16, &expiry, 8); |
||||
memcpy(offer + 24, body, len); |
||||
dm_media_send(inst, gid, recipient, DM_MEDIA_OFFER, offer, len + 24); |
||||
if (expired || (stored && expires <= now)) dm_media_send(inst, gid, recipient, DM_MEDIA_EXPIRED, id, 16); |
||||
} else { |
||||
if (!holder) { |
||||
holder = dm_job_storage(media, group, id, author, recipient); |
||||
if (!holder) continue; |
||||
if (dm_media_exec(inst, "BEGIN IMMEDIATE")) continue; |
||||
st = dm_media_prepare(inst, "INSERT INTO dm_media_holders(id,node_id,group_id) VALUES(?,?,?)"); |
||||
if (!st) { dm_media_exec(inst, "ROLLBACK"); continue; } |
||||
sqlite3_bind_blob(st, 1, id, 16, SQLITE_STATIC); sqlite3_bind_int64(st, 2, (sqlite3_int64)holder); |
||||
sqlite3_bind_int64(st, 3, (sqlite3_int64)group); |
||||
if (dm_media_step(inst, st)) { dm_media_exec(inst, "ROLLBACK"); continue; } |
||||
st = dm_media_prepare(inst, "UPDATE dm_media_jobs SET holder=?,stored=0 WHERE id=? AND receipt IS NULL"); |
||||
if (!st) { dm_media_exec(inst, "ROLLBACK"); continue; } |
||||
sqlite3_bind_int64(st, 1, (sqlite3_int64)holder); sqlite3_bind_blob(st, 2, id, 16, SQLITE_STATIC); |
||||
if (dm_media_step(inst, st) || dm_media_exec(inst, "COMMIT")) { dm_media_exec(inst, "ROLLBACK"); continue; } |
||||
DEBUG_INFO(DEBUG_CATEGORY_DM, "dm_mailbox_media: assigned storage M=%llu", (unsigned long long)holder); |
||||
} |
||||
if (!stored) { |
||||
uint8_t put[8 + DM_MEDIA_BODY_MAX]; memcpy(put, &recipient, 8); memcpy(put + 8, body, len); |
||||
dm_media_send(inst, group, holder, DM_MEDIA_STORE, put, len + 8); |
||||
} |
||||
} |
||||
} |
||||
media->timer = uasync_set_timeout(inst->ua, 10000, media, dm_mailbox_media_tick, "dm_mailbox_media"); |
||||
if (!media->timer) DEBUG_ERROR(DEBUG_CATEGORY_DM, "dm_mailbox_media: retry timer allocation failed"); |
||||
} |
||||
|
||||
struct dm_mb_media* dm_mailbox_media_create(struct UTUN_INSTANCE* inst) { |
||||
if (dm_media_exec(inst, "CREATE TABLE IF NOT EXISTS dm_media_jobs(id BLOB PRIMARY KEY,author INTEGER NOT NULL," |
||||
"recipient INTEGER NOT NULL,seq INTEGER NOT NULL,body BLOB,body_hash BLOB NOT NULL,group_id INTEGER NOT NULL," |
||||
"holder INTEGER NOT NULL DEFAULT 0,stored INTEGER NOT NULL DEFAULT 0,expires INTEGER NOT NULL DEFAULT 0," |
||||
"expired INTEGER NOT NULL DEFAULT 0,receipt BLOB,retry_at INTEGER NOT NULL DEFAULT 0)") || |
||||
dm_media_exec(inst, "CREATE TABLE IF NOT EXISTS dm_media_holders(id BLOB NOT NULL,node_id INTEGER NOT NULL," |
||||
"group_id INTEGER NOT NULL,released INTEGER NOT NULL DEFAULT 0,PRIMARY KEY(id,node_id))") || |
||||
dm_media_exec(inst, "UPDATE dm_media_jobs SET retry_at=0")) return NULL; |
||||
struct dm_mb_media* media = u_calloc(1, sizeof(*media)); |
||||
if (!media) { DEBUG_ERROR(DEBUG_CATEGORY_DM, "dm_mailbox_media: owner allocation failed"); return NULL; } |
||||
media->inst = inst; |
||||
media->timer = uasync_set_timeout(inst->ua, 10000, media, dm_mailbox_media_tick, "dm_mailbox_media"); |
||||
if (!media->timer) { DEBUG_ERROR(DEBUG_CATEGORY_DM, "dm_mailbox_media: timer allocation failed"); u_free(media); return NULL; } |
||||
DEBUG_INFO(DEBUG_CATEGORY_DM, "dm_mailbox_media: initialized persistent coordinator"); |
||||
return media; |
||||
} |
||||
|
||||
void dm_mailbox_media_destroy(struct dm_mb_media* media) { |
||||
if (!media) return; |
||||
if (media->timer) uasync_cancel_timeout(media->inst->ua, media->timer); |
||||
DEBUG_INFO(DEBUG_CATEGORY_DM, "dm_mailbox_media: destroyed, pending custody/delete jobs retained"); |
||||
u_free(media); |
||||
} |
||||
@ -0,0 +1,23 @@
|
||||
/* dm_mailbox_media — durable задания суперузла: размещение на M, доставка
|
||||
* метаданных получателю и удаление всех выданных копий до DELETE_ACK. |
||||
* Жизненный цикл принадлежит dm_mailbox, control принимает dm_media. |
||||
*/ |
||||
#ifndef DM_MAILBOX_MEDIA_H |
||||
#define DM_MAILBOX_MEDIA_H |
||||
|
||||
#include <stdint.h> |
||||
#include <stddef.h> |
||||
struct UTUN_INSTANCE; |
||||
struct dm_mb_media; |
||||
|
||||
struct dm_mb_media* dm_mailbox_media_create(struct UTUN_INSTANCE* inst); |
||||
void dm_mailbox_media_destroy(struct dm_mb_media* media); |
||||
/* Вызвать в транзакции PUT после проверки роли S и подписи сообщения. */ |
||||
int dm_mailbox_media_register(struct dm_mb_media* media, uint64_t group, uint64_t recipient, |
||||
const uint8_t* msg, size_t len); |
||||
void dm_mailbox_media_recv(struct dm_mb_media* media, uint64_t group, uint64_t source, |
||||
uint8_t cmd, const uint8_t* body, size_t len); |
||||
/* Отправить квитанцию всем доступным S общей группы, включая поздние копии. */ |
||||
void dm_mailbox_media_receipt(struct UTUN_INSTANCE* inst, const uint8_t* receipt); |
||||
|
||||
#endif |
||||
@ -0,0 +1,60 @@
|
||||
/* dm_media — файлы личных бесед и ограниченное ciphertext-хранилище M.
|
||||
* Шифрование/проверка/публикация файлов в media_async; БД и сеть в uasync. |
||||
* dm_core вызывает track внутри своей транзакции. Квитанция файла независима |
||||
* от квитанции сообщения; создаётся после проверки, публикации и commit. |
||||
* Суперузлом и заданиями удаления владеет dm_mailbox_media. |
||||
*/ |
||||
#ifndef DM_MEDIA_H |
||||
#define DM_MEDIA_H |
||||
|
||||
#include <stdint.h> |
||||
#include <stddef.h> |
||||
#include "../media_async/attachment.h" |
||||
|
||||
struct UTUN_INSTANCE; |
||||
|
||||
#define DM_MEDIA_DESC_SIZE 56 /* UUID:16, plaintext_size:8, SHA256(ciphertext):32 */ |
||||
#define DM_MEDIA_RECEIPT_SIZE 152 |
||||
#define DM_MEDIA_MAX_SIZE (1024ULL * 1024 * 1024) |
||||
|
||||
#define DM_MEDIA_OFFER 1 |
||||
#define DM_MEDIA_STORE 2 |
||||
#define DM_MEDIA_STORED 3 |
||||
#define DM_MEDIA_RECEIPT 4 |
||||
#define DM_MEDIA_DELETE 5 |
||||
#define DM_MEDIA_DELETE_ACK 6 |
||||
#define DM_MEDIA_EXPIRED 7 |
||||
#define DM_MEDIA_REJECT 8 |
||||
|
||||
int dm_media_init(struct UTUN_INSTANCE* inst); |
||||
/* quiesce до media_async_destroy; destroy после workers, до групп/core/mailbox. */ |
||||
void dm_media_quiesce(struct UTUN_INSTANCE* inst); |
||||
void dm_media_destroy(struct UTUN_INSTANCE* inst); |
||||
|
||||
/* Подготовить копию и enqueue file-сообщение асинхронно. 0=задача принята. */ |
||||
int dm_send_file(struct UTUN_INSTANCE* inst, const char* conv, const char* path, const struct attachment_info* info, |
||||
int remove_source); |
||||
struct dm_file_req { |
||||
struct UTUN_INSTANCE* inst; |
||||
char conv[64]; |
||||
char path[1024]; |
||||
struct attachment_info info; |
||||
int remove_source; /* Только принадлежащий приложению временный файл. */ |
||||
}; |
||||
void dm_send_file_trampoline(void* arg); |
||||
|
||||
/* Внутри транзакции dm_core, 0=записано/точный повтор. Для text — пустая операция. */ |
||||
int dm_media_track(struct UTUN_INSTANCE* inst, int dir, const uint8_t* msg, size_t len); |
||||
const uint8_t* dm_message_media(const uint8_t* msg, size_t len); |
||||
uint64_t dm_media_cipher_size(uint64_t plain_size); |
||||
int dm_media_verify_receipt(struct UTUN_INSTANCE* inst, const uint8_t* receipt, const uint8_t* msg, size_t len); |
||||
int dm_media_accept_receipt(struct UTUN_INSTANCE* inst, const uint8_t* receipt); |
||||
|
||||
/* Общие операции control для endpoint/M и mailbox/S. Все пакеты подписаны. */ |
||||
int dm_media_send(struct UTUN_INSTANCE* inst, uint64_t group, uint64_t peer, |
||||
uint8_t cmd, const uint8_t* body, size_t len); |
||||
int dm_media_scope(struct UTUN_INSTANCE* inst, uint64_t group, uint64_t node, |
||||
const char* role, uint64_t author, uint64_t recipient); |
||||
void dm_media_notify(struct UTUN_INSTANCE* inst, uint64_t conv); |
||||
|
||||
#endif |
||||
@ -0,0 +1,16 @@
|
||||
/* Внутренние SQL/control операции двух владельцев DM media; снаружи не использовать. */ |
||||
#ifndef DM_MEDIA_PRIV_H |
||||
#define DM_MEDIA_PRIV_H |
||||
|
||||
#include "dm_media.h" |
||||
#include "dm_core.h" |
||||
#include <sqlite3.h> |
||||
|
||||
#define DM_MEDIA_BODY_MAX (DM_MSG_FIXED_HDR + 255 + 2 + DM_DATA_MAX + 16 + DM_MEDIA_DESC_SIZE + DM_MSG_SIG_SIZE) |
||||
|
||||
sqlite3_stmt* dm_media_prepare(struct UTUN_INSTANCE* inst, const char* sql); |
||||
int dm_media_step(struct UTUN_INSTANCE* inst, sqlite3_stmt* st); |
||||
int dm_media_exec(struct UTUN_INSTANCE* inst, const char* sql); |
||||
struct dm_mb_media* dm_mailbox_get_media(struct UTUN_INSTANCE* inst); |
||||
|
||||
#endif |
||||
@ -0,0 +1,86 @@
|
||||
/* Ограниченный бинарный формат: kind:1, name_len:2, duration_ms:4, width:2,
|
||||
* height:2, UTF-8 name, waveform:100 для voice. Числа big-endian. */ |
||||
#include <string.h> |
||||
#include "../../lib/debug_config.h" |
||||
#include "attachment.h" |
||||
|
||||
/* Имя должно быть корректным UTF-8 basename без управляющих символов. */ |
||||
static int valid_name(const char* name, size_t n) { |
||||
if (!n || n > 255 || (n == 1 && name[0] == '.') || (n == 2 && !memcmp(name, "..", 2))) return 0; |
||||
for (size_t i = 0; i < n;) { |
||||
unsigned c = (unsigned char)name[i++]; |
||||
if (c < 0x20 || c == 0x7f || c == '/' || c == '\\') return 0; |
||||
if (c < 0x80) continue; |
||||
unsigned count, scalar, minimum; |
||||
if (c >= 0xc2 && c <= 0xdf) { count = 1; scalar = c & 31; minimum = 0x80; } |
||||
else if (c >= 0xe0 && c <= 0xef) { count = 2; scalar = c & 15; minimum = 0x800; } |
||||
else if (c >= 0xf0 && c <= 0xf4) { count = 3; scalar = c & 7; minimum = 0x10000; } |
||||
else return 0; |
||||
if (count > n - i) return 0; |
||||
while (count--) { |
||||
c = (unsigned char)name[i++]; |
||||
if ((c & 0xc0) != 0x80) return 0; |
||||
scalar = (scalar << 6) | (c & 63); |
||||
} |
||||
if (scalar < minimum || scalar > 0x10ffff || (scalar >= 0xd800 && scalar <= 0xdfff)) return 0; |
||||
} |
||||
return 1; |
||||
} |
||||
|
||||
/* Один набор правил для отправки, приёма и снимка истории. */ |
||||
int attachment_validate(const struct attachment_info* info) { |
||||
if (!info || !valid_name(info->name, strnlen(info->name, sizeof(info->name)))) goto invalid; |
||||
size_t wave = strnlen(info->waveform, sizeof(info->waveform)); |
||||
if (info->kind == ATTACHMENT_VOICE) { |
||||
if (!info->duration_ms || info->duration_ms > 86400000 || info->width || info->height || wave != 100) goto invalid; |
||||
if (strspn(info->waveform, "ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz0123456789+/") != wave) goto invalid; |
||||
} else { |
||||
if (wave) goto invalid; |
||||
if (info->kind == ATTACHMENT_FILE) { |
||||
if (info->duration_ms || info->width || info->height) goto invalid; |
||||
} else if (info->kind == ATTACHMENT_VIDEO) { |
||||
if (!info->width || !info->height || info->width > 16384 || info->height > 16384) goto invalid; |
||||
if (!info->duration_ms || info->duration_ms > 86400000) goto invalid; |
||||
} else goto invalid; |
||||
} |
||||
return 0; |
||||
invalid: |
||||
DEBUG_WARN(DEBUG_CATEGORY_MEDIA, "attachment: invalid metadata kind=%d", info ? (int)info->kind : 0); |
||||
return -1; |
||||
} |
||||
|
||||
int attachment_encode(const struct attachment_info* info, uint8_t* out, size_t capacity) { |
||||
if (attachment_validate(info)) return -1; |
||||
size_t n = strlen(info->name), length = 11 + n + (info->kind == ATTACHMENT_VOICE ? 100 : 0); |
||||
if (!out || capacity < length) { DEBUG_ERROR(DEBUG_CATEGORY_MEDIA, "attachment: encode buffer too small"); return -1; } |
||||
out[0] = (uint8_t)info->kind; out[1] = (uint8_t)(n >> 8); out[2] = (uint8_t)n; |
||||
for (unsigned i = 0; i < 4; i++) out[3 + i] = (uint8_t)(info->duration_ms >> (24 - 8 * i)); |
||||
out[7] = (uint8_t)(info->width >> 8); out[8] = (uint8_t)info->width; |
||||
out[9] = (uint8_t)(info->height >> 8); out[10] = (uint8_t)info->height; |
||||
memcpy(out + 11, info->name, n); |
||||
if (info->kind == ATTACHMENT_VOICE) memcpy(out + 11 + n, info->waveform, 100); |
||||
return (int)length; |
||||
} |
||||
|
||||
int attachment_decode(const uint8_t* data, size_t length, struct attachment_info* info) { |
||||
if (!data || !info || length < 11) goto invalid; |
||||
size_t n = ((size_t)data[1] << 8) | data[2]; |
||||
if (!n || n > 255 || length != 11 + n + (data[0] == ATTACHMENT_VOICE ? 100 : 0) || memchr(data + 11, 0, n)) goto invalid; |
||||
memset(info, 0, sizeof(*info)); info->kind = (enum attachment_kind)data[0]; |
||||
for (unsigned i = 0; i < 4; i++) info->duration_ms = (info->duration_ms << 8) | data[3 + i]; |
||||
info->width = (uint16_t)((data[7] << 8) | data[8]); info->height = (uint16_t)((data[9] << 8) | data[10]); |
||||
memcpy(info->name, data + 11, n); |
||||
if (info->kind == ATTACHMENT_VOICE) memcpy(info->waveform, data + 11 + n, 100); |
||||
return attachment_validate(info); |
||||
invalid: |
||||
DEBUG_WARN(DEBUG_CATEGORY_MEDIA, "attachment: malformed wire metadata bytes=%zu", length); |
||||
return -1; |
||||
} |
||||
|
||||
const char* attachment_content_type(enum attachment_kind kind) { |
||||
switch (kind) { |
||||
case ATTACHMENT_VOICE: return "audio/opus"; |
||||
case ATTACHMENT_VIDEO: return "video/mp4"; |
||||
default: return "application/octet-stream"; |
||||
} |
||||
} |
||||
@ -0,0 +1,30 @@
|
||||
/* Общие метаданные готового вложения. Подготовка не знает адресата и транспорта.
|
||||
* PM шифрует компактный wire-формат; GUI получает разобранные поля. |
||||
* encode/decode возвращают длину/0 или -1; неизвестные типы и лишние байты запрещены. */ |
||||
#ifndef ATTACHMENT_H |
||||
#define ATTACHMENT_H |
||||
#include <stdint.h> |
||||
#include <stddef.h> |
||||
#ifdef __cplusplus |
||||
extern "C" { |
||||
#endif |
||||
|
||||
enum attachment_kind { ATTACHMENT_FILE = 1, ATTACHMENT_VOICE, ATTACHMENT_VIDEO }; |
||||
#define ATTACHMENT_WAVE_SIZE 100 |
||||
#define ATTACHMENT_WIRE_MAX (11 + 255 + ATTACHMENT_WAVE_SIZE) |
||||
struct attachment_info { |
||||
enum attachment_kind kind; |
||||
char name[256]; |
||||
uint32_t duration_ms; |
||||
uint16_t width, height; |
||||
char waveform[ATTACHMENT_WAVE_SIZE + 1]; /* 100 уровней из A-Za-z0-9+/; только voice. */ |
||||
}; |
||||
int attachment_validate(const struct attachment_info* info); |
||||
int attachment_encode(const struct attachment_info* info, uint8_t* out, size_t capacity); |
||||
int attachment_decode(const uint8_t* data, size_t length, struct attachment_info* info); |
||||
const char* attachment_content_type(enum attachment_kind kind); |
||||
|
||||
#ifdef __cplusplus |
||||
} |
||||
#endif |
||||
#endif |
||||
@ -0,0 +1,155 @@
|
||||
/* Подготовка не обращается к БД; публикация и выбор транспорта выполняются в uasync. */ |
||||
#include <stdio.h> |
||||
#include <string.h> |
||||
#include <errno.h> |
||||
#include <openssl/rand.h> |
||||
#include "../../lib/mem.h" |
||||
#include "../../lib/debug_config.h" |
||||
#include "../../lib/platform_compat.h" |
||||
#include "../../lib/audio_compressor.h" |
||||
#include "../utun_instance.h" |
||||
#include "../chat/chat_core.h" |
||||
#include "../chat/chat_event.h" |
||||
#include "../dm/dm_media.h" |
||||
#include "../video/video.h" |
||||
#include "media_async.h" |
||||
#include "voice_file.h" |
||||
#include "attachment_send.h" |
||||
|
||||
/* PCM освобождается в worker после кодирования, до callback. */ |
||||
static void attachment_release_pcm(struct attachment_send_req* req) { |
||||
if (req->pcm_release) req->pcm_release(req->pcm_owner); |
||||
else u_free((void*)req->pcm); |
||||
req->pcm = NULL; req->pcm_owner = NULL; req->pcm_release = NULL; |
||||
audio_compressor_destroy(req->compressor); req->compressor = NULL; |
||||
} |
||||
|
||||
/* Только пути собственного output; исходный пользовательский файл не удаляется. */ |
||||
static void attachment_prepare_work(void* arg) { |
||||
struct attachment_send_req* req = arg; |
||||
req->error = -1; |
||||
char parent[1024]; snprintf(parent, sizeof(parent), "%s", req->output); |
||||
for (char* p = parent + 1; *p; p++) { |
||||
if (*p != '/') continue; |
||||
*p = 0; |
||||
int rc = utun_mkdir(parent, 0700); |
||||
*p = '/'; |
||||
if (rc && errno != EEXIST) { DEBUG_ERROR(DEBUG_CATEGORY_MEDIA, "attachment: mkdir failed path=%s", parent); goto done; } |
||||
} |
||||
if (req->info.kind == ATTACHMENT_VOICE) { |
||||
const int16_t* pcm = req->pcm; size_t count = req->pcm_count; |
||||
if (req->compressor) { |
||||
if (audio_compressor_flush(req->compressor) != 0) goto done; |
||||
pcm = audio_compressor_output(req->compressor); count = audio_compressor_output_size(req->compressor); |
||||
} |
||||
req->error = voice_file_encode(pcm, count, 48000, 1, req->preset, req->output, &req->info); |
||||
} else if (req->transcode) req->error = 0; /* FFmpeg worker стартует после создания каталога. */ |
||||
else { |
||||
req->error = ma_copy_file(req->source, req->output); |
||||
} |
||||
done: |
||||
if (req->temporary_source && !req->transcode && remove(req->source) && errno != ENOENT) { |
||||
DEBUG_ERROR(DEBUG_CATEGORY_MEDIA, "attachment: source cleanup failed path=%s", req->source); req->error = -1; |
||||
} |
||||
attachment_release_pcm(req); |
||||
if (req->error && remove(req->output) && errno != ENOENT) |
||||
DEBUG_WARN(DEBUG_CATEGORY_MEDIA, "attachment: partial output cleanup failed path=%s", req->output); |
||||
} |
||||
|
||||
/* Один выбор транспорта после общей подготовки; групповой индекс и PM crypto не смешиваются. */ |
||||
static void attachment_publish(struct attachment_send_req* req, int error) { |
||||
attachment_release_pcm(req); /* Submit мог завершиться ошибкой до запуска work. */ |
||||
if (req->temporary_source && remove(req->source) && errno != ENOENT) { |
||||
DEBUG_ERROR(DEBUG_CATEGORY_MEDIA, "attachment: abandoned source cleanup failed path=%s", req->source); |
||||
error = -1; |
||||
} |
||||
if (error || req->error || attachment_validate(&req->info)) { |
||||
chat_event_attachment(req->inst, req->is_dm, req->target, req->id, 2); |
||||
DEBUG_ERROR(DEBUG_CATEGORY_MEDIA, "attachment: preparation failed target=%s error=%d worker=%d", req->target, error, req->error); |
||||
if (remove(req->output) && errno != ENOENT) DEBUG_WARN(DEBUG_CATEGORY_MEDIA, "attachment: output cleanup failed path=%s", req->output); |
||||
u_free(req); return; |
||||
} |
||||
chat_event_attachment(req->inst, req->is_dm, req->target, req->id, 1); |
||||
DEBUG_INFO(DEBUG_CATEGORY_MEDIA, "attachment: prepared target=%s pm=%d kind=%d duration=%u dimensions=%ux%u", |
||||
req->target, req->is_dm, req->info.kind, req->info.duration_ms, req->info.width, req->info.height); |
||||
if (req->is_dm) { |
||||
struct dm_file_req* file = u_calloc(1, sizeof(*file)); |
||||
if (file) { |
||||
file->inst = req->inst; file->info = req->info; file->remove_source = 1; |
||||
snprintf(file->conv, sizeof(file->conv), "%s", req->target); |
||||
snprintf(file->path, sizeof(file->path), "%s", req->output); |
||||
dm_send_file_trampoline(file); |
||||
} else { |
||||
DEBUG_ERROR(DEBUG_CATEGORY_MEDIA, "attachment: PM dispatch allocation failed"); |
||||
chat_event_attachment(req->inst, req->is_dm, req->target, req->id, 2); |
||||
if (remove(req->output)) DEBUG_WARN(DEBUG_CATEGORY_MEDIA, "attachment: rejected output cleanup failed"); |
||||
} |
||||
} else { |
||||
char text[384]; |
||||
if (req->info.kind == ATTACHMENT_VOICE) snprintf(text, sizeof(text), "wf=%s;dur=%u;", req->info.waveform, req->info.duration_ms); |
||||
else snprintf(text, sizeof(text), "%s", req->info.name); |
||||
size_t length = strlen(text); |
||||
struct chat_msg_submit* message = u_calloc(1, sizeof(*message) + length); |
||||
if (message) { |
||||
message->inst = req->inst; |
||||
snprintf(message->channel_id, sizeof(message->channel_id), "%s", req->target); |
||||
snprintf(message->content_type, sizeof(message->content_type), "%s", attachment_content_type(req->info.kind)); |
||||
snprintf(message->media_src, sizeof(message->media_src), "%s", req->output); |
||||
snprintf(message->media_dest, sizeof(message->media_dest), "%s", req->output); |
||||
message->duration_ms = req->info.duration_ms; message->width = req->info.width; message->height = req->info.height; |
||||
message->data = (uint8_t*)(message + 1); message->data_len = (uint32_t)length; memcpy(message->data, text, length); |
||||
chat_core_submit_trampoline(message); |
||||
} else { |
||||
DEBUG_ERROR(DEBUG_CATEGORY_MEDIA, "attachment: channel dispatch allocation failed"); |
||||
chat_event_attachment(req->inst, req->is_dm, req->target, req->id, 2); |
||||
if (remove(req->output)) DEBUG_WARN(DEBUG_CATEGORY_MEDIA, "attachment: rejected output cleanup failed"); |
||||
} |
||||
} |
||||
u_free(req); |
||||
} |
||||
|
||||
static void attachment_video_done(void* arg, int error, const struct video_info* info) { |
||||
struct attachment_send_req* req = arg; |
||||
if (!error && info && info->is_video && info->duration_ms > 0 && info->duration_ms <= 86400000 && |
||||
info->width > 0 && info->width <= 16384 && info->height > 0 && info->height <= 16384) { |
||||
req->info.duration_ms = (uint32_t)info->duration_ms; |
||||
req->info.width = (uint16_t)info->width; req->info.height = (uint16_t)info->height; |
||||
} else req->error = -1; |
||||
attachment_publish(req, error); |
||||
} |
||||
|
||||
static void attachment_prepare_done(void* arg, int error) { |
||||
struct attachment_send_req* req = arg; |
||||
if (!error && !req->error && req->transcode) { |
||||
if (!video_transcode_start(req->inst->media_async, req->inst->ua, req->source, req->output, attachment_video_done, req)) return; |
||||
error = -1; |
||||
} |
||||
attachment_publish(req, error); |
||||
} |
||||
|
||||
/* Request содержит адресата, выбранного до записи/выбора файла. */ |
||||
void attachment_send_trampoline(void* arg) { |
||||
struct attachment_send_req* req = arg; |
||||
if (!req) return; |
||||
if (!req->inst || !req->inst->chat_core || !req->inst->media_async || !req->target[0] || |
||||
strspn(req->target, "0123456789") != strlen(req->target)) { |
||||
DEBUG_ERROR(DEBUG_CATEGORY_MEDIA, "attachment: invalid target/stopped service"); |
||||
attachment_publish(req, -1); return; |
||||
} |
||||
uint8_t uuid[16]; char hex[33]; |
||||
if (RAND_bytes(uuid, sizeof(uuid)) != 1) { |
||||
DEBUG_ERROR(DEBUG_CATEGORY_MEDIA, "attachment: UUID generation failed"); attachment_publish(req, -1); return; |
||||
} |
||||
for (unsigned i = 0; i < 16; i++) snprintf(hex + 2 * i, 3, "%02x", uuid[i]); |
||||
memcpy(req->id, uuid, sizeof(req->id)); |
||||
const char* base = req->inst->config->global.db_path; |
||||
int n = snprintf(req->output, sizeof(req->output), "%s/media/%s/%s.%s", base[0] ? base : ".", |
||||
req->is_dm ? "pm-prepared" : req->target, hex, req->info.kind == ATTACHMENT_VOICE ? "opus" : "mp4"); |
||||
if (n < 0 || (size_t)n >= sizeof(req->output)) { |
||||
DEBUG_ERROR(DEBUG_CATEGORY_MEDIA, "attachment: output path too long"); req->output[0] = 0; attachment_publish(req, -1); return; |
||||
} |
||||
if (!req->info.name[0]) snprintf(req->info.name, sizeof(req->info.name), "%s.%s", hex, |
||||
req->info.kind == ATTACHMENT_VOICE ? "opus" : "mp4"); |
||||
chat_event_attachment(req->inst, req->is_dm, req->target, req->id, 0); |
||||
media_async_submit(req->inst->media_async, req->inst->ua, attachment_prepare_work, req, attachment_prepare_done, req); |
||||
} |
||||
@ -0,0 +1,32 @@
|
||||
/* Подготовить голос/видео и отправить в зафиксированную беседу. Вызывать trampoline
|
||||
* через uasync_post. Request и PCM/compressor переходят во владение задачи; |
||||
* pcm_release освобождает pcm_owner, NULL означает PCM из u_malloc. |
||||
* Qt/Android используют общий результат подготовки, доставка остаётся в chat/dm. */ |
||||
#ifndef ATTACHMENT_SEND_H |
||||
#define ATTACHMENT_SEND_H |
||||
#include "attachment.h" |
||||
struct UTUN_INSTANCE; |
||||
struct audio_compressor; |
||||
#ifdef __cplusplus |
||||
extern "C" { |
||||
#endif |
||||
struct attachment_send_req { |
||||
struct UTUN_INSTANCE* inst; |
||||
char target[64]; |
||||
int is_dm; |
||||
struct attachment_info info; |
||||
uint8_t id[16]; |
||||
char source[1024], output[1024]; |
||||
int transcode, temporary_source; |
||||
const int16_t* pcm; |
||||
size_t pcm_count; |
||||
void* pcm_owner; |
||||
void (*pcm_release)(void* owner); |
||||
struct audio_compressor* compressor; |
||||
int preset, error; |
||||
}; |
||||
void attachment_send_trampoline(void* arg); |
||||
#ifdef __cplusplus |
||||
} |
||||
#endif |
||||
#endif |
||||
@ -0,0 +1,62 @@
|
||||
/* Общий кодек файла и waveform без зависимости от GUI, беседы или сети. */ |
||||
#include <stdio.h> |
||||
#include <string.h> |
||||
#include <math.h> |
||||
#include "../../lib/debug_config.h" |
||||
#include "../../lib/opus_codec.h" |
||||
#include "voice_file.h" |
||||
|
||||
int voice_file_encode(const int16_t* pcm, size_t count, int rate, int channels, int preset, |
||||
const char* path, struct attachment_info* info) { |
||||
static const int bitrates[] = {16000, 32000, 64000}, complexities[] = {2, 5, 10}; |
||||
static const char levels[] = "ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz0123456789+/"; |
||||
if (!pcm || !info || !path || (rate != 8000 && rate != 12000 && rate != 16000 && rate != 24000 && rate != 48000) || |
||||
(channels != 1 && channels != 2) || preset < 0 || preset > 2) goto invalid; |
||||
size_t frame = (size_t)(rate / 50) * channels, samples = count / frame * frame; |
||||
if (samples < (size_t)rate * channels / 2 || samples / channels / rate > 86400) goto invalid; |
||||
opus_codec_encoder_t* encoder = opus_codec_encoder_create(rate, channels); |
||||
if (!encoder) { DEBUG_ERROR(DEBUG_CATEGORY_MEDIA, "voice_file: encoder creation failed"); return -1; } |
||||
opus_codec_encoder_bitrate_set(encoder, bitrates[preset]); |
||||
opus_codec_encoder_complexity_set(encoder, complexities[preset]); |
||||
FILE* file = fopen(path, "wb"); |
||||
int error = -1; |
||||
if (!file) { DEBUG_ERROR(DEBUG_CATEGORY_MEDIA, "voice_file: output open failed path=%s", path); goto done; } |
||||
uint32_t magic = 0x5355504f, sample_rate = (uint32_t)rate; |
||||
uint16_t channel_count = (uint16_t)channels, frame_samples = (uint16_t)(rate / 50); |
||||
if (fwrite(&magic, 4, 1, file) != 1 || fwrite(&sample_rate, 4, 1, file) != 1 || |
||||
fwrite(&channel_count, 2, 1, file) != 1 || fwrite(&frame_samples, 2, 1, file) != 1) goto done; |
||||
uint8_t packet[4000]; |
||||
for (size_t offset = 0; offset < samples; offset += frame) { |
||||
int n = opus_codec_encode(encoder, pcm + offset, frame_samples, packet, sizeof(packet)); |
||||
if (n <= 0) { DEBUG_ERROR(DEBUG_CATEGORY_MEDIA, "voice_file: encode failed offset=%zu result=%d", offset, n); goto done; } |
||||
uint16_t length = (uint16_t)n; |
||||
if (fwrite(&length, 2, 1, file) != 1 || fwrite(packet, 1, (size_t)n, file) != (size_t)n) goto done; |
||||
} |
||||
uint16_t end = 0; |
||||
if (fwrite(&end, 2, 1, file) != 1 || fflush(file)) goto done; |
||||
info->kind = ATTACHMENT_VOICE; info->duration_ms = (uint32_t)(samples / frame * 20); |
||||
info->width = info->height = 0; |
||||
for (size_t i = 0; i < 100; i++) { |
||||
size_t first = i * samples / 100, last = (i + 1) * samples / 100; |
||||
double sum = 0; |
||||
for (size_t j = first; j < last; j++) { double v = pcm[j] / 32768.0; sum += v * v; } |
||||
double rms = sqrt(sum / (last - first)), db = rms > 0.00001 ? 20 * log10(rms) : -100; |
||||
int level = (int)((db + 60) * 64 / 60); |
||||
if (level < 0) level = 0; |
||||
if (level > 63) level = 63; |
||||
info->waveform[i] = levels[level]; |
||||
} |
||||
info->waveform[100] = 0; |
||||
error = 0; |
||||
done: |
||||
if (file && fclose(file)) error = -1; |
||||
opus_codec_encoder_destroy(encoder); |
||||
if (error) { |
||||
DEBUG_ERROR(DEBUG_CATEGORY_MEDIA, "voice_file: encoding/write failed path=%s", path); |
||||
if (file && remove(path)) DEBUG_WARN(DEBUG_CATEGORY_MEDIA, "voice_file: partial file cleanup failed path=%s", path); |
||||
} else DEBUG_INFO(DEBUG_CATEGORY_MEDIA, "voice_file: prepared path=%s duration=%ums rate=%d channels=%d", path, info->duration_ms, rate, channels); |
||||
return error; |
||||
invalid: |
||||
DEBUG_WARN(DEBUG_CATEGORY_MEDIA, "voice_file: invalid/short recording count=%zu rate=%d channels=%d preset=%d", count, rate, channels, preset); |
||||
return -1; |
||||
} |
||||
@ -0,0 +1,15 @@
|
||||
/* Существующий контейнер Opus голосовых Qt/Android. Вызывать только в worker.
|
||||
* PCM принадлежит вызывающему; encode заполняет duration/waveform по реально |
||||
* записанным кадрам. При ошибке неполный файл удаляется. */ |
||||
#ifndef VOICE_FILE_H |
||||
#define VOICE_FILE_H |
||||
#include "attachment.h" |
||||
#ifdef __cplusplus |
||||
extern "C" { |
||||
#endif |
||||
int voice_file_encode(const int16_t* pcm, size_t count, int rate, int channels, int preset, |
||||
const char* path, struct attachment_info* info); |
||||
#ifdef __cplusplus |
||||
} |
||||
#endif |
||||
#endif |
||||
@ -0,0 +1,343 @@
|
||||
/* file_transfer — signed router stream с ограниченной очередью и CM-владением. */ |
||||
#include <stdio.h> |
||||
#include <string.h> |
||||
#include <errno.h> |
||||
#include <openssl/rand.h> |
||||
|
||||
#include "../../lib/mem.h" |
||||
#include "../../lib/platform_compat.h" |
||||
#include "../../lib/debug_config.h" |
||||
#include "file_transfer.h" |
||||
#include "../utun_instance.h" |
||||
#include "../routing_layer/conn_mgr.h" |
||||
#include "../routing_layer/etcp_router.h" |
||||
#include "../transport_layer/etcp.h" |
||||
|
||||
#define FT_REQUEST 1 /* tid:16, object:16, size:8, offset:8 */ |
||||
#define FT_DATA 2 /* tid:16, offset:8, bytes */ |
||||
#define FT_DONE 3 /* tid:16 */ |
||||
#define FT_REFUSE 4 /* tid:16 */ |
||||
#define FT_CHUNK 8192u /* Вместе с подписью и полным путём помещается в кодограмму router (16 КиБ). */ |
||||
#define FT_MAX_OPS 16 |
||||
|
||||
struct file_transfer { |
||||
struct UTUN_INSTANCE* inst; |
||||
file_transfer_lookup_fn lookup; |
||||
void* arg; |
||||
struct file_transfer_op* ops; |
||||
unsigned count; |
||||
int closing; |
||||
}; |
||||
|
||||
struct file_transfer_op { |
||||
struct file_transfer_op* next; |
||||
struct file_transfer* ft; |
||||
uint64_t group, peer, size, offset, progress_tb, request_tb; |
||||
uint8_t tid[16], object[16]; |
||||
int receiving, up; |
||||
FILE* file; |
||||
struct CONN_MGR_HANDLE* cm; |
||||
struct queue_waiter_handle waiter; |
||||
void* timer; |
||||
void* pump; |
||||
file_transfer_done_fn done; |
||||
void* arg; |
||||
}; |
||||
|
||||
/* Очистить все локальные триггеры до callback владельца. */ |
||||
static void ft_finish(struct file_transfer_op* op, int error) { |
||||
struct file_transfer* ft = op->ft; |
||||
if (op->timer) uasync_cancel_timeout(ft->inst->ua, op->timer); |
||||
if (op->pump) uasync_call_soon_cancel(ft->inst->ua, op->pump); |
||||
etcp_router_cancel_send_ready(ft->inst, op->group, op->peer, ETCP_RT_ID_FILE_TRANSFER, &op->waiter); |
||||
if (op->cm) conn_mgr_close(op->cm); |
||||
if (op->file && fclose(op->file) != 0) { |
||||
DEBUG_ERROR(DEBUG_CATEGORY_MEDIA, "file_transfer: close failed peer=%llu: %s", |
||||
(unsigned long long)op->peer, strerror(errno)); |
||||
error = -1; |
||||
} |
||||
struct file_transfer_op** p = &ft->ops; |
||||
while (*p && *p != op) p = &(*p)->next; |
||||
if (*p) *p = op->next; |
||||
ft->count--; |
||||
DEBUG_INFO(DEBUG_CATEGORY_MEDIA, "file_transfer: finish peer=%llu receive=%d bytes=%llu/%llu error=%d active=%u", |
||||
(unsigned long long)op->peer, op->receiving, (unsigned long long)op->offset, |
||||
(unsigned long long)op->size, error, ft->count); |
||||
file_transfer_done_fn done = op->done; |
||||
void* arg = op->arg; |
||||
u_free(op); |
||||
if (done) done(arg, error); |
||||
} |
||||
|
||||
/* Отправить подписанную кодограмму, не превышая порог очереди. */ |
||||
static int ft_send(struct file_transfer* ft, uint64_t group, uint64_t peer, |
||||
uint8_t cmd, const uint8_t* data, size_t size) { |
||||
struct ETCP_ROUTER_CONN* rc = etcp_router_conn_get(ft->inst, group, peer, ETCP_RT_ID_FILE_TRANSFER); |
||||
if (!rc) { DEBUG_ERROR(DEBUG_CATEGORY_MEDIA, "file_transfer: router allocation failed"); return -1; } |
||||
queue_set_threshold(rc->send_q, 0, 0); |
||||
etcp_router_set_max_inflight(rc, 16); |
||||
if (!etcp_router_send_q_has_room(ft->inst, group, peer, ETCP_RT_ID_FILE_TRANSFER)) return 1; |
||||
uint8_t packet[1 + 24 + FT_CHUNK]; |
||||
packet[0] = cmd; |
||||
memcpy(packet + 1, data, size); |
||||
int error = etcp_router_conn_send(rc, packet, size + 1, ROUTER_FLAG_SIGNED); |
||||
if (error) DEBUG_WARN(DEBUG_CATEGORY_MEDIA, "file_transfer: send failed peer=%llu cmd=%u rc=%d", |
||||
(unsigned long long)peer, cmd, error); |
||||
return error ? -1 : 0; |
||||
} |
||||
|
||||
/* Повторный REQUEST возобновляет приём со следующего неполученного байта. */ |
||||
static void ft_request(struct file_transfer_op* op) { |
||||
uint8_t body[48]; |
||||
memcpy(body, op->tid, 16); |
||||
memcpy(body + 16, op->object, 16); |
||||
memcpy(body + 32, &op->size, 8); |
||||
memcpy(body + 40, &op->offset, 8); |
||||
if (ft_send(op->ft, op->group, op->peer, FT_REQUEST, body, sizeof(body)) == 0) |
||||
op->request_tb = get_time_tb(); |
||||
} |
||||
|
||||
static void ft_pump(void* arg); |
||||
|
||||
/* Waiter может сработать синхронно; продолжение всегда через call_soon. */ |
||||
static void ft_ready(struct ll_queue* q, void* arg) { |
||||
(void)q; |
||||
struct file_transfer_op* op = arg; |
||||
if (op->pump) return; |
||||
op->pump = uasync_call_soon(op->ft->inst->ua, op, ft_pump); |
||||
if (!op->pump) DEBUG_ERROR(DEBUG_CATEGORY_MEDIA, "file_transfer: pump timer allocation failed"); |
||||
} |
||||
|
||||
/* Ограничить работу одного callback и количество байтов в router. */ |
||||
static void ft_pump(void* arg) { |
||||
struct file_transfer_op* op = arg; |
||||
op->pump = NULL; |
||||
if (!op->up || op->receiving) return; |
||||
struct file_transfer* ft = op->ft; |
||||
if (op->offset < op->size) { |
||||
if (!etcp_router_send_q_has_room(ft->inst, op->group, op->peer, ETCP_RT_ID_FILE_TRANSFER)) { |
||||
etcp_router_on_send_ready(ft->inst, op->group, op->peer, ETCP_RT_ID_FILE_TRANSFER, &op->waiter, ft_ready, op); |
||||
return; |
||||
} |
||||
uint8_t body[24 + FT_CHUNK]; |
||||
size_t n = op->size - op->offset < FT_CHUNK ? (size_t)(op->size - op->offset) : FT_CHUNK; |
||||
memcpy(body, op->tid, 16); |
||||
memcpy(body + 16, &op->offset, 8); |
||||
if (fseeko(op->file, (off_t)op->offset, SEEK_SET) != 0 || fread(body + 24, 1, n, op->file) != n) { |
||||
DEBUG_ERROR(DEBUG_CATEGORY_MEDIA, "file_transfer: read failed peer=%llu offset=%llu: %s", |
||||
(unsigned long long)op->peer, (unsigned long long)op->offset, strerror(errno)); |
||||
ft_finish(op, -1); |
||||
return; |
||||
} |
||||
int error = ft_send(ft, op->group, op->peer, FT_DATA, body, 24 + n); |
||||
if (error < 0) { ft_finish(op, -1); return; } |
||||
if (error > 0) return; |
||||
op->offset += n; |
||||
op->progress_tb = get_time_tb(); |
||||
} |
||||
if (op->offset < op->size) ft_ready(NULL, op); |
||||
} |
||||
|
||||
/* DOWN/TIMEOUT сохраняет CM handle; таймер проверяет позднее восстановление. */ |
||||
static void ft_connected(struct CONN_MGR_HANDLE* h, uint64_t peer, uint64_t group, |
||||
enum conn_mgr_event event, void* arg) { |
||||
(void)h; (void)peer; (void)group; |
||||
struct file_transfer_op* op = arg; |
||||
op->up = event == CONN_EVENT_UP; |
||||
DEBUG_DEBUG(DEBUG_CATEGORY_MEDIA, "file_transfer: CM event=%d peer=%llu receive=%d offset=%llu", |
||||
event, (unsigned long long)op->peer, op->receiving, (unsigned long long)op->offset); |
||||
if (op->up) { |
||||
if (op->receiving) ft_request(op); |
||||
else ft_ready(NULL, op); |
||||
} |
||||
} |
||||
|
||||
/* Неактивная операция завершается; durable владелец решает, когда повторять. */ |
||||
static void ft_tick(void* arg) { |
||||
struct file_transfer_op* op = arg; |
||||
op->timer = NULL; |
||||
uint64_t now = get_time_tb(); |
||||
if (now - op->progress_tb >= 300000) { |
||||
DEBUG_WARN(DEBUG_CATEGORY_MEDIA, "file_transfer: inactivity timeout peer=%llu offset=%llu/%llu", |
||||
(unsigned long long)op->peer, (unsigned long long)op->offset, (unsigned long long)op->size); |
||||
ft_finish(op, -1); |
||||
return; |
||||
} |
||||
if (op->up) { |
||||
if (op->receiving && now - op->request_tb >= 50000 && now - op->progress_tb >= 50000) ft_request(op); |
||||
else if (!op->receiving && !op->pump && !op->waiter.internal) ft_ready(NULL, op); |
||||
} |
||||
op->timer = uasync_set_timeout(op->ft->inst->ua, 10000, op, ft_tick, "file_transfer"); |
||||
if (!op->timer) { DEBUG_ERROR(DEBUG_CATEGORY_MEDIA, "file_transfer: watchdog allocation failed"); ft_finish(op, -1); } |
||||
} |
||||
|
||||
/* Добавить операцию до conn_mgr_open; callbacks CM используют уже живой owner. */ |
||||
static struct file_transfer_op* ft_open(struct file_transfer* ft, uint64_t group, uint64_t peer, |
||||
const uint8_t object[16], uint64_t size, const char* path, int receiving) { |
||||
if (!ft || ft->closing || !group || !peer || !object || !path || !size || size > INT64_MAX || ft->count >= FT_MAX_OPS) { |
||||
DEBUG_WARN(DEBUG_CATEGORY_MEDIA, "file_transfer: invalid request or operation limit size=%llu", |
||||
(unsigned long long)size); |
||||
return NULL; |
||||
} |
||||
struct file_transfer_op* op = u_calloc(1, sizeof(*op)); |
||||
if (!op) { DEBUG_ERROR(DEBUG_CATEGORY_MEDIA, "file_transfer: operation allocation failed"); return NULL; } |
||||
op->ft = ft; op->group = group; op->peer = peer; op->size = size; op->receiving = receiving; |
||||
memcpy(op->object, object, 16); |
||||
op->file = fopen(path, receiving ? "wb" : "rb"); |
||||
if (!op->file) { |
||||
DEBUG_ERROR(DEBUG_CATEGORY_MEDIA, "file_transfer: open failed path=%s: %s", path, strerror(errno)); |
||||
u_free(op); |
||||
return NULL; |
||||
} |
||||
op->next = ft->ops; ft->ops = op; ft->count++; |
||||
op->progress_tb = get_time_tb(); |
||||
op->timer = uasync_set_timeout(ft->inst->ua, 10000, op, ft_tick, "file_transfer"); |
||||
if (!op->timer || !etcp_router_conn_get(ft->inst, group, peer, ETCP_RT_ID_FILE_TRANSFER) || |
||||
conn_mgr_open(ft->inst, group, peer, ft_connected, op, &op->cm) != 0) { |
||||
DEBUG_ERROR(DEBUG_CATEGORY_MEDIA, "file_transfer: CM/timer launch failed peer=%llu", (unsigned long long)peer); |
||||
ft_finish(op, -1); |
||||
return NULL; |
||||
} |
||||
DEBUG_INFO(DEBUG_CATEGORY_MEDIA, "file_transfer: start peer=%llu receive=%d size=%llu active=%u", |
||||
(unsigned long long)peer, receiving, (unsigned long long)size, ft->count); |
||||
return op; |
||||
} |
||||
|
||||
static struct file_transfer_op* ft_find(struct file_transfer* ft, uint64_t group, uint64_t peer, |
||||
const uint8_t tid[16], int receiving) { |
||||
for (struct file_transfer_op* op = ft->ops; op; op = op->next) |
||||
if (op->group == group && op->peer == peer && op->receiving == receiving && !memcmp(op->tid, tid, 16)) return op; |
||||
return NULL; |
||||
} |
||||
|
||||
/* REQUEST проверяется владельцем файла при каждом повторе, включая TTL/права. */ |
||||
static void ft_serve(struct file_transfer* ft, uint64_t group, uint64_t peer, const uint8_t* p) { |
||||
uint64_t size, offset; |
||||
memcpy(&size, p + 32, 8); |
||||
memcpy(&offset, p + 40, 8); |
||||
char path[1024]; |
||||
if (!size || offset >= size || ft->lookup(ft->arg, group, peer, p + 16, size, path, sizeof(path)) != 0) { |
||||
DEBUG_WARN(DEBUG_CATEGORY_MEDIA, "file_transfer: request refused peer=%llu size=%llu offset=%llu", |
||||
(unsigned long long)peer, (unsigned long long)size, (unsigned long long)offset); |
||||
ft_send(ft, group, peer, FT_REFUSE, p, 16); |
||||
return; |
||||
} |
||||
struct file_transfer_op* op = ft_find(ft, group, peer, p, 0); |
||||
if (op && (op->size != size || memcmp(op->object, p + 16, 16))) { |
||||
DEBUG_WARN(DEBUG_CATEGORY_MEDIA, "file_transfer: conflicting transfer ID peer=%llu", (unsigned long long)peer); |
||||
return; |
||||
} |
||||
if (!op) { |
||||
op = ft_open(ft, group, peer, p + 16, size, path, 0); |
||||
if (!op) { ft_send(ft, group, peer, FT_REFUSE, p, 16); return; } |
||||
memcpy(op->tid, p, 16); |
||||
} |
||||
op->offset = offset; |
||||
op->progress_tb = get_time_tb(); |
||||
if (op->up) ft_ready(NULL, op); |
||||
} |
||||
|
||||
/* Signed source, transfer ID и точные границы отделяют операции и повторы. */ |
||||
static void ft_recv(struct ETCP_CONN* conn, struct ll_entry* e) { |
||||
if (!e || !conn || !e->dgram || e->len <= ROUTER_SVC_PAYLOAD_OFF) goto done; |
||||
struct file_transfer* ft = conn->instance->file_transfer; |
||||
if (!ft || ft->closing) goto done; |
||||
uint64_t group, peer; |
||||
memcpy(&group, e->dgram + ROUTER_SVC_GROUP_OFF, 8); |
||||
memcpy(&peer, e->dgram + ROUTER_SVC_SRC_OFF, 8); |
||||
if (!(e->dgram[ROUTER_SVC_FLAGS_OFF] & ROUTER_FLAG_SIGNED)) { |
||||
DEBUG_WARN(DEBUG_CATEGORY_MEDIA, "file_transfer: unsigned packet peer=%llu", (unsigned long long)peer); |
||||
goto done; |
||||
} |
||||
const uint8_t* p = e->dgram + ROUTER_SVC_PAYLOAD_OFF; |
||||
uint8_t cmd = *p++; |
||||
size_t len = e->len - ROUTER_SVC_PAYLOAD_OFF - 1; |
||||
if (cmd == FT_REQUEST && len == 48) ft_serve(ft, group, peer, p); |
||||
else if (cmd == FT_DONE && len == 16) { |
||||
struct file_transfer_op* op = ft_find(ft, group, peer, p, 0); |
||||
if (op && op->offset == op->size) ft_finish(op, 0); |
||||
} else if (cmd == FT_REFUSE && len == 16) { |
||||
struct file_transfer_op* op = ft_find(ft, group, peer, p, 1); |
||||
if (op) { DEBUG_WARN(DEBUG_CATEGORY_MEDIA, "file_transfer: source refused peer=%llu", (unsigned long long)peer); ft_finish(op, -1); } |
||||
} else if (cmd == FT_DATA && len > 24 && len <= 24 + FT_CHUNK) { |
||||
struct file_transfer_op* op = ft_find(ft, group, peer, p, 1); |
||||
if (!op) goto done; /* Поздний пакет завершённой/отменённой операции. */ |
||||
uint64_t offset; |
||||
memcpy(&offset, p + 16, 8); |
||||
size_t n = len - 24; |
||||
if (offset < op->offset && n <= op->offset - offset) goto done; |
||||
if (offset != op->offset || n > op->size - op->offset) { |
||||
DEBUG_WARN(DEBUG_CATEGORY_MEDIA, "file_transfer: wrong range peer=%llu offset=%llu expected=%llu bytes=%zu", |
||||
(unsigned long long)peer, (unsigned long long)offset, (unsigned long long)op->offset, n); |
||||
ft_request(op); |
||||
goto done; |
||||
} |
||||
if (fwrite(p + 24, 1, n, op->file) != n) { |
||||
DEBUG_ERROR(DEBUG_CATEGORY_MEDIA, "file_transfer: write failed peer=%llu: %s", (unsigned long long)peer, strerror(errno)); |
||||
ft_finish(op, -1); |
||||
goto done; |
||||
} |
||||
op->offset += n; |
||||
op->progress_tb = get_time_tb(); |
||||
if (op->offset == op->size) { |
||||
ft_send(ft, group, peer, FT_DONE, op->tid, 16); |
||||
ft_finish(op, 0); |
||||
} |
||||
} else DEBUG_WARN(DEBUG_CATEGORY_MEDIA, "file_transfer: malformed packet cmd=%u bytes=%zu", cmd, len); |
||||
done: |
||||
if (e) { queue_dgram_free(e); queue_entry_free(e); } |
||||
} |
||||
|
||||
struct file_transfer* file_transfer_create(struct UTUN_INSTANCE* inst, file_transfer_lookup_fn lookup, void* arg) { |
||||
if (!inst || !lookup || inst->file_transfer) { |
||||
DEBUG_ERROR(DEBUG_CATEGORY_MEDIA, "file_transfer: invalid initialization"); |
||||
return NULL; |
||||
} |
||||
struct file_transfer* ft = u_calloc(1, sizeof(*ft)); |
||||
if (!ft) { DEBUG_ERROR(DEBUG_CATEGORY_MEDIA, "file_transfer: owner allocation failed"); return NULL; } |
||||
ft->inst = inst; ft->lookup = lookup; ft->arg = arg; |
||||
if (etcp_router_bind(inst, ETCP_RT_ID_FILE_TRANSFER, ft_recv) != 0) { u_free(ft); return NULL; } |
||||
inst->file_transfer = ft; |
||||
DEBUG_INFO(DEBUG_CATEGORY_MEDIA, "file_transfer: initialized max_operations=%u", FT_MAX_OPS); |
||||
return ft; |
||||
} |
||||
|
||||
void file_transfer_destroy(struct file_transfer* ft) { |
||||
if (!ft) return; |
||||
ft->closing = 1; |
||||
etcp_router_unbind(ft->inst, ETCP_RT_ID_FILE_TRANSFER); |
||||
while (ft->ops) ft_finish(ft->ops, -2); |
||||
ft->inst->file_transfer = NULL; |
||||
DEBUG_INFO(DEBUG_CATEGORY_MEDIA, "file_transfer: destroyed"); |
||||
u_free(ft); |
||||
} |
||||
|
||||
struct file_transfer_op* file_transfer_pull(struct file_transfer* ft, uint64_t group, uint64_t peer, |
||||
const uint8_t object[16], uint64_t size, const char* path, |
||||
file_transfer_done_fn done, void* arg) { |
||||
uint8_t tid[16]; |
||||
if (!done || RAND_bytes(tid, sizeof(tid)) != 1) { |
||||
DEBUG_ERROR(DEBUG_CATEGORY_MEDIA, "file_transfer: transfer ID generation/arguments failed"); |
||||
return NULL; |
||||
} |
||||
struct file_transfer_op* op = ft_open(ft, group, peer, object, size, path, 1); |
||||
if (!op) return NULL; |
||||
memcpy(op->tid, tid, sizeof(tid)); |
||||
op->done = done; op->arg = arg; |
||||
return op; |
||||
} |
||||
|
||||
void file_transfer_cancel(struct file_transfer_op* op) { |
||||
if (op) ft_finish(op, -2); |
||||
} |
||||
|
||||
void file_transfer_cancel_object(struct file_transfer* ft, const uint8_t object[16]) { |
||||
if (!ft) return; |
||||
for (;;) { |
||||
struct file_transfer_op* found = NULL; |
||||
for (struct file_transfer_op* op = ft->ops; op; op = op->next) |
||||
if (!memcmp(op->object, object, 16)) { found = op; break; } |
||||
if (!found) break; |
||||
ft_finish(found, -2); |
||||
} |
||||
} |
||||
@ -0,0 +1,34 @@
|
||||
/* file_transfer — передача неизменяемого файла между явно заданными узлами.
|
||||
* Не знает о чатах, ключах содержимого, custody или БД. lookup авторизует запрос |
||||
* и возвращает путь; получатель проверяет содержимое в своём done. |
||||
* Каждая операция владеет CM handle до завершения/отмены, включая DOWN/TIMEOUT. |
||||
* Все API/callbacks в uasync; destroy вызывается вне callbacks, до удаления групп. |
||||
* Файл назначения принадлежит вызывающему; при ошибке его нужно отбросить. |
||||
*/ |
||||
#ifndef FILE_TRANSFER_H |
||||
#define FILE_TRANSFER_H |
||||
|
||||
#include <stdint.h> |
||||
#include <stddef.h> |
||||
|
||||
struct UTUN_INSTANCE; |
||||
struct file_transfer; |
||||
struct file_transfer_op; |
||||
|
||||
typedef int (*file_transfer_lookup_fn)(void* arg, uint64_t group, uint64_t peer, |
||||
const uint8_t object[16], uint64_t size, char* path, size_t cap); |
||||
typedef void (*file_transfer_done_fn)(void* arg, int error); |
||||
|
||||
/* 0 в done означает точный приём size байт и закрытие файла, а не custody ACK.
|
||||
* Возврат NULL означает отказ запуска, done не вызывается. cancel вызывает done(-2). |
||||
* Handle перестаёт существовать перед вызовом done, его нужно обнулить в callback. */ |
||||
struct file_transfer* file_transfer_create(struct UTUN_INSTANCE* inst, file_transfer_lookup_fn lookup, void* arg); |
||||
void file_transfer_destroy(struct file_transfer* ft); |
||||
struct file_transfer_op* file_transfer_pull(struct file_transfer* ft, uint64_t group, uint64_t peer, |
||||
const uint8_t object[16], uint64_t size, const char* destination, |
||||
file_transfer_done_fn done, void* arg); |
||||
void file_transfer_cancel(struct file_transfer_op* op); |
||||
/* Отозвать все операции объекта (TTL/delete); callbacks приёма вызываются с -2. */ |
||||
void file_transfer_cancel_object(struct file_transfer* ft, const uint8_t object[16]); |
||||
|
||||
#endif |
||||
@ -0,0 +1,95 @@
|
||||
// radio_vad.h — авто-PTT рации по VAD: чистая логика без I/O (юнит-тестируется).
|
||||
//
|
||||
// Содержит:
|
||||
// - ресемплер 48кГц→16кГц моно (3-tap box + децимация 3:1, стерео микшируется);
|
||||
// - фильтр-гистерезис вероятности речи и машину состояний «передаю/молчу».
|
||||
//
|
||||
// Всё — static inline, без состояния (кроме struct radio_vad_fsm, который владеет
|
||||
// вызывающий). Используется сервисным слоем radio_audio.c и тестом test_radio_vad.
|
||||
//
|
||||
// Время — в timebase-единицах (0.1мс), как get_time_tb() в ядре.
|
||||
#ifndef RADIO_VAD_H |
||||
#define RADIO_VAD_H |
||||
|
||||
#include <stdint.h> |
||||
|
||||
/* Выходов ресемплера на один 20мс кадр 48кГц: 960 сэмплов / 3 = 320 @ 16кГц. */ |
||||
#define RADIO_VAD_FRAME_SAMPLES_16K 320 |
||||
|
||||
/* Число 16кГц-сэмплов в окне Silero: 512 = 32мс. */ |
||||
#define RADIO_VAD_WINDOW_16K 512 |
||||
|
||||
/* Ресемпл 20мс кадра 48кГц (frame_total int16, channels=1|2) → 320 float @16кГц
|
||||
* моно в диапазоне [-1;1]. Стерео миксируется (среднее L/R), затем децимация 3:1. */ |
||||
static inline void radio_vad_resample(const int16_t* pcm, int channels, float* out16k) { |
||||
for (int j = 0; j < RADIO_VAD_FRAME_SAMPLES_16K; j++) { |
||||
float s = 0.0f; |
||||
for (int t = 0; t < 3; t++) { |
||||
int idx = j * 3 + t; |
||||
float v = (channels == 2) |
||||
? ((float)pcm[2 * idx] + (float)pcm[2 * idx + 1]) * 0.5f |
||||
: (float)pcm[idx]; |
||||
s += v; |
||||
} |
||||
out16k[j] = (s / 3.0f) * (1.0f / 32768.0f); |
||||
} |
||||
} |
||||
|
||||
/* ── машина состояний авто-PTT ── */ |
||||
|
||||
struct radio_vad_fsm { |
||||
int talking; /* идёт VAD-передача */ |
||||
int confirm_count; /* подряд окон с prob >= threshold */ |
||||
uint64_t silence_since_tb; /* начало текущей тишины (0 — не в тишине) */ |
||||
}; |
||||
|
||||
static inline void radio_vad_fsm_reset(struct radio_vad_fsm* f) { |
||||
f->talking = 0; |
||||
f->confirm_count = 0; |
||||
f->silence_since_tb = 0; |
||||
} |
||||
|
||||
/* Обработать очередную вероятность речи (окно 32мс).
|
||||
* prob — вероятность [0..1]; |
||||
* threshold — порог срабатывания [0..1]; |
||||
* confirm_windows — сколько окон подряд выше порога нужно для старта; |
||||
* hangover_tb — сколько тишины (tb) держать передачу перед стопом; |
||||
* busy — 1 если сейчас говорит кто-то другой (канал занят); |
||||
* now — текущее время (tb). |
||||
* Возврат: 1 = начать передачу, -1 = закончить передачу, 0 = без изменений. */ |
||||
static inline int radio_vad_fsm_update(struct radio_vad_fsm* f, float prob, float threshold, |
||||
int confirm_windows, uint64_t hangover_tb, |
||||
int busy, uint64_t now) { |
||||
if (busy) { |
||||
/* чужой разговор: старт запрещён, свою передачу гасим сразу */ |
||||
f->confirm_count = 0; |
||||
f->silence_since_tb = 0; |
||||
if (f->talking) { f->talking = 0; return -1; } |
||||
return 0; |
||||
} |
||||
if (prob >= threshold) { |
||||
f->silence_since_tb = 0; |
||||
if (!f->talking) { |
||||
f->confirm_count++; |
||||
if (f->confirm_count >= confirm_windows) { |
||||
f->confirm_count = 0; |
||||
f->talking = 1; |
||||
return 1; /* старт: подтверждение набрано */ |
||||
} |
||||
} |
||||
return 0; |
||||
} |
||||
/* prob < threshold */ |
||||
f->confirm_count = 0; |
||||
if (f->talking) { |
||||
if (f->silence_since_tb == 0) f->silence_since_tb = now; |
||||
else if (now - f->silence_since_tb >= hangover_tb) { |
||||
f->talking = 0; |
||||
f->silence_since_tb = 0; |
||||
return -1; /* стоп: hangover истёк */ |
||||
} |
||||
} |
||||
return 0; |
||||
} |
||||
|
||||
#endif /* RADIO_VAD_H */ |
||||
File diff suppressed because it is too large
Load Diff
Some files were not shown because too many files have changed in this diff Show More
Loading…
Reference in new issue