From ed9d294486a8a8e67f532cd3181dcbfafab9931d Mon Sep 17 00:00:00 2001 From: evgeny Date: Sat, 24 Oct 2026 18:28:28 +0200 Subject: [PATCH] Document member files audit findings and verified fixes --- doc/member_files_audit_findings.txt | 128 ++++++++++++++++++++++++++++ doc/tasks.md | 20 ++++- src/member_files/member_files.c | 8 +- 3 files changed, 151 insertions(+), 5 deletions(-) create mode 100644 doc/member_files_audit_findings.txt diff --git a/doc/member_files_audit_findings.txt b/doc/member_files_audit_findings.txt new file mode 100644 index 000000000..51c5e989f --- /dev/null +++ b/doc/member_files_audit_findings.txt @@ -0,0 +1,128 @@ +Аудит C-модуля member_files — 2026-10-24 + +Статус: полностью прочитаны шесть реализаций и шесть заголовков src/member_files/. +Заголовки сверены; четыре подтверждённых дефекта исправлены и проверены. +Серверная/клиентская части doc/member_files.txt согласованы с кодом. Общий документ +остаётся [~]: его desktop/AvatarManager/Android-подсистемы целиком в этот аудит не входили. +Ниже результаты относятся к C-сервису, а не к полному аудиту всех файлов GUI/аватарок. + +1. Удаление чужого локального temp + +До исправления TRANSFER_FINISH безусловно удалял вычисленный путь temp при ошибке, +включая отказ эксклюзивного open из-за существующего файла и отказ до открытия. +Настоящий test_member_files_network: preexisting target/temp по37 проверенных байт, +скачивание с подписанного storage, MF_EXISTS; target=1, foreign_temp=0, FAIL phase23. +Корректное воспроизведение: /tmp/member-files-temp-repro5.log, строки391..395. + +Исправление: один temp_owned у handle, устанавливается только после успешного +эксклюзивного создания. Finish закрывает fd, публикует/удаляет только свой temp. +После успешного rename владение именем temp снято; source/target не подменяются caller. +Новый FILE-слой или второй файловый владелец не добавлены: disk API работает с native fd. +Обычный и sanitizer-прогоны: EXISTS, max_bytes, немедленная отмена сохраняют +прежние37 байт target и чужого temp, finished ровно один раз. + +2. Ранняя отмена возобновляла передачу и приводила к UAF + +После cancel сразу вслед за start поздний CM UP вызывал wake. Starting оставался1, +поэтому pump после начала cleanup снова посылал STAT. Finish освобождал handle, +а ответ STAT вызывал transfer_response с уже освобождённым arg. +Лог: /tmp/member-files-temp-fixed.log; GDB: /tmp/member-files-cancel-gdb.log, +SIGSEGV в transfer_response → mf_pending_finish → mf_dispatch. + +Переход stopping теперь снимает starting; wake без готового финального ответа +ничего не планирует. Обязательная cleanup-задача остаётся единственным продолжением, +затем отправляется финальный CANCEL/END и освобождается handle до callback. +Не добавлены новые ссылки/таймеры или зависимость от скорости ответа CM. +Регрессия early cancel прошла вместе с обычной отменой, параллельными потоками, +router restart и destroy при активном server I/O. + +3. Заполнение64 квитанций обрывало массовые мутации + +Прежнее воспроизведение в doc/tasks.md: из76 удалений выполнены64, затем MF_BUSY. +Серверный предел/окно нужны для идемпотентности и остаются: до64 успешных +COMMIT/MKDIR/RENAME/REMOVE, MF_REPLAY_TB=1200000 (120с) от начала обработки. +Квитанции не вытесняются досрочно. Полный кеш возвращает BUSY с cursor=остаток +до ближайшего освобождения в timebase0.1мс; это значение кодируется обычным LE-полем. +Нулевой/недопустимый hint использует обычную задержку5с; недопустимый логируется. + +Клиент этих четырёх команд сохраняет тот же pending/ID/параметры и ожидает +отменяемый retry timer. Остальные BUSY возвращаются callback как раньше. +Общий срок запроса остаётся120с от создания; ни BUSY, ни потеря ответа его не продлевают. +Перед повторной отправкой pump также проверяет срок. Сервер начинает обработку +не раньше создания клиентского запроса, поэтому допустимые повторы не выходят +за окно первой успешной квитанции. Ошибка/timeout не обещают отката серверной мутации. +При постоянной конкуренции запрос может завершиться TIMEOUT; unbounded waiting нет. + +Вариант с продлением срока клиента отклонён при архитектурной сверке до итогового +прогона: поздний BUSY и потеря результата могли вывести повтор за жизнь квитанции. +Один секундный tick также недостаточен для точного освобождения; введён отдельный +retry timer, который снимается до free/cancel/quiesce, с tick fallback при OOM. +Формат125-байтного заголовка не менялся; смысл mutation BUSY.cursor описан в protocol.h. + +Новая сетевая регрессия проходит настоящий клиентский API/router/storage: +-76 MKDIR, включая исчерпание кеша; QUOTA подтверждает ровно76 каталогов. +-Первый успешный ответ намеренно отброшен до клиентского handler; повтор с прежним + ID возвращает успех, не создавая второй объект и не выдавая EXISTS. +-76 STAT/REMOVE, включая новое исчерпание квитанций; QUOTA подтверждает0 объектов/байт/резерва. +Qt recursiveDeletion(server-busy) вызывает storage напрямую через stub bridge: +его сырой MF_BUSY остаётся правильным серверным ответом. Поведение полного +клиентского ожидания и массового удаления проверено C-сетевой регрессией, не этим stub. + +4. FIFO блокировал общий disk worker до проверки типа + +POSIX mf_disk_local_open(source,0) использовал блокирующий open. FIFO без writer +зависал ещё до mf_disk_info, который должен отвергнуть не-regular источник. +Регрессия запускает отдельный процесс до создания pthread, alarm2с ограничивает +только диагностический child. До фикса он завершился SIGALRM (status14), failures=1: +/tmp/member-files-fifo-repro.log. Добавлен O_NONBLOCK, как у серверного open: +FIFO открывается без ожидания, проверка типа даёт INVALID_PATH, fd закрывается. +Обычный и sanitizer-прогоны: child status0, failures0; invalid mode/links имеют WARN. +Произвольный уже выполняющийся системный I/O/хеширование всё ещё не прерывается cancel. + +Сверка архитектуры и описаний + +-Uasync владеет запросами, streams, local FIFO, ACL, CM handles, waiter/pump/timers. + Единственный worker выполняет файловое I/O последовательно; work FIFO, порядок + done при синхронном drain не обещается. Данные живут до completion. +-Обычных работ до64; заранее зарезервированные cleanup jobs обходят лимит. + Quiesce запрещает producers; drain завершает I/O и cleanup, затем storage destroy + выполняется в worker, после него join/free, пока ядро/группы ещё живы. +-Storage принимает только уже проверенные членство/роли. Сам проверяет UID мутации + и токены temp. Квота общая для UID во всех группах; обычные операции не делают rescan. +-Server COMMIT и local download имеют разные гарантии: локальный POSIX rename + не синхронизирует каталог. Ошибка server sync после rename не откатывает публикацию. +-Пути disk API доверенные и уже проверены protocol/storage. Callback LIST получает + заимствованные name/info; порядок файловой системы, не сортировка. Source/target + aliases локальных download исключает caller; одинаковая строка local запрещена. +-Codec проверяет формат и размеры, не ACL и не UTF-8 policy пути. Ошибка decode + может изменить output; encode не проверяет семантику команды. Эти границы описаны. +-Все поля/функции шести .h получили соответствующие контракты и комментарии. + +Проверки и границы + +./build.sh --no-gui -j4 PASS: /tmp/member-files-audit-final-build.log. +Профиль7/7 PASS: member_files, member_files_network, services, encrypted_attachment, +dm_media, attachment_send, member_adapter. Результат: /tmp/member-files-audit-profile-results.log, +подробности: /tmp/member-files-audit-profile-logs/. + +ASAN/UBSan/LSan4/4 PASS, detect_leaks=1, halt_on_error=1: member_files, +member_files_network, services, encrypted_attachment. Отдельная копия: +/home/user/utun4/.cache/member-files-asan-b87xwg24, все встроенные зависимости +инструментированы через CPPFLAGS; системные OpenSSL/FFmpeg не пересобирались. +Логи: /tmp/member-files-sanitizer-build.log, /tmp/member-files-sanitizer-tests-build.log, +/tmp/member-files-sanitizer-results.log, /tmp/member-files-sanitizer-test_*.log. +После этого прогона добавлены только уточнения описаний и WARN без изменения логики. + +В sanitizer-сборке остаётся прежнее предупреждение snprintf в disk_parent_open: +strlen(component)<=MF_NAME_MAX проверяется до записи в leaf[MF_NAME_MAX+1]; +воспроизведённого усечения здесь нет. Остальные предупреждения сборки относятся +к существующему коду других модулей/зависимостей, не скрывались фильтрами компилятора. + +Первые диагностические прогоны до repro5 недействительны для temp: тест был +собран с новым utun_instance.h и старой libutun.a, в startup читались0xaaaaaaaa. +Общая сборка устранила несовпадение; ненужное изменение маршрутного условия отменено. +Один промежуточный старт остановился из-за полного /tmp; очищены только +воспроизводимые объекты предыдущей sanitizer-копии, исходники/журналы сохранены. + +Новый полный make check, Windows/FreeBSD runtime и GUI/Android проверки не выполнялись. +Четыре подтверждённых дефекта закрыты; новых подтверждённых незакрытых в этом объёме нет. diff --git a/doc/tasks.md b/doc/tasks.md index 56420c945..2314f9854 100644 --- a/doc/tasks.md +++ b/doc/tasks.md @@ -4,6 +4,15 @@ ## Текущие задачи +[+] **member_files: сверить контракты и исправить ошибки владения/повторов** — завершено 24.10.2026. + Прочитаны все6 реализаций и6 заголовков C-модуля. Исправлены удаление чужого temp, + повторный запуск после раннего cancel с UAF, обрыв массовых мутаций при64 квитанциях + и блокирующий open FIFO до проверки типа. Заголовки и серверная/клиентская документация согласованы. + Подтверждены сохранность файлов при трёх отказах, 76 созданий/76 удалений и потеря успешного ответа без повторной мутации. + Сборка PASS; профиль7/7, ASAN/UBSan/LSan4/4 PASS с detect_leaks=1. Общий GUI/avatar документ остаётся [~]. + Отчёт и границы: [member_files_audit_findings.txt](member_files_audit_findings.txt). + Логи: /tmp/member-files-audit-profile-results.log, /tmp/member-files-sanitizer-results.log. + [+] **media_async/media_delivery: завершить сверку контрактов и исправлений** — завершено 24.10.2026. Проверены все11 заголовков двух каталогов по полным реализациям; исправлены alias файлов, граница voice duration, переанонс SQLite и расхождение MIME. Результаты каждого фикса приведены ниже. @@ -786,13 +795,16 @@ нескольких ретрансляторов, нескольких автоматических источников/групп и mobile standby на устройстве (doc/stream.txt, раздел 16). Сохранённые проверки отдельных этапов не закрывают всю матрицу. -[ ] **Member files: исчерпание кеша результатов массовых изменений** — 10.10.2026: +[+] **Member files: исчерпание кеша результатов массовых изменений** — исправлено 24.10.2026. Воспроизведено test_member_files_browser::recursiveDeletion(server-busy): из 76 объектов удаляются 64, следующая команда получает MF_BUSY, остаются 12. storage.c: STORE_RECEIPTS=64, RECEIPT_TB=1200000 (120 секунд). Лимит общий для успешных COMMIT/MKDIR/RENAME/REMOVE; затрагивает также рекурсивное копирование. - Нужен отдельный этап управления временем жизни receipts с сохранением идемпотентности повторных запросов; - простое вытеснение старых записей нарушает гарантию повторного ответа. После исправления изменить регрессию - на успешное удаление более 64 объектов и проверить повторные запросы/потерю ответа. + Сохранены64 квитанции/120с без досрочного вытеснения. BUSY.cursor сообщает ближайшее освобождение, + клиент этих мутаций ждёт отменяемый таймер с прежним ID/параметрами и общим сроком120с без продления. + Новая сетевая регрессия через настоящий клиентский API:76 созданий, потеря успешного ответа, + затем76 удалений; QUOTA подтверждает76 и0 каталогов без дубликатов. Обычный и sanitizer-прогоны PASS. + Старый Qt-stub вызывает storage напрямую и по-прежнему видит допустимый сырой MF_BUSY; + он не проверяет новый клиентский retry. Подробности: [member_files_audit_findings.txt](member_files_audit_findings.txt). [ ] **Desktop: провалы вероятности VAD при компрессии** — диагностика 09.10.2026: Воспроизведение пользователя: длительная гласная, затем временная нечувствительность; ближе к концу лога несколько повторов. diff --git a/src/member_files/member_files.c b/src/member_files/member_files.c index d9e08fb01..35cc1ad5e 100644 --- a/src/member_files/member_files.c +++ b/src/member_files/member_files.c @@ -191,7 +191,11 @@ static void mf_pending_pump(void* arg) { struct mf_pending* p = arg; p->pump = NULL; if (p->files->closing) return; if (p->retry) { uasync_cancel_timeout(p->files->inst->ua, p->retry); p->retry = NULL; } - if (get_time_tb() - p->started >= MF_REPLAY_TB) { mf_pending_finish(p, NULL, MF_TIMEOUT); return; } + if (get_time_tb() - p->started >= MF_REPLAY_TB) { + DEBUG_WARN(DEBUG_CATEGORY_MEDIA, "member_files: request expired before send id=%llu cmd=%s", + (unsigned long long)p->request.request_id, mf_command_text(p->request.command)); + mf_pending_finish(p, NULL, MF_TIMEOUT); return; + } int rc = mf_send(p->files, p->group, p->server, &p->request); if (!rc) { p->sent = get_time_tb(); p->retry_at = 0; } else if (rc > 0) etcp_router_on_send_ready(p->files->inst, p->group, p->server, ETCP_RT_ID_MEMBER_FILES, @@ -438,6 +442,8 @@ static void mf_dispatch(struct member_files* f, uint64_t group, uint64_t peer, c } if (!member_files_member(f->inst, group, peer, 1)) { m.status = MF_ACCESS_DENIED; m.data_len = 0; } if (m.status == MF_BUSY && (m.command == MF_COMMIT || (m.command >= MF_MKDIR && m.command <= MF_REMOVE_PATH))) { + if (m.cursor > MF_REPLAY_TB) DEBUG_WARN(DEBUG_CATEGORY_MEDIA, "member_files: invalid busy hint id=%llu delay_tb=%llu; using5s", + (unsigned long long)m.request_id, (unsigned long long)m.cursor); uint64_t now = get_time_tb(), delay = m.cursor && m.cursor <= MF_REPLAY_TB ? m.cursor : 50000; p->retry_at = now + delay; p->sent = now;