Document member files audit findings and verified fixes

This commit is contained in:
evgeny committed 2026-10-24 18:47:06 +02:00
1 parent ffbfd0ffbf
commit ed9d294486
3 files changed
+151 -5

No files matched your search

+128
View File
@@ -0,0 +1,128 @@
Аудит C-модуля member_files — 2026-10-24
Статус: полностью прочитаны шесть реализаций и шесть заголовков src/member_files/.
Заголовки сверены; четыре подтверждённых дефекта исправлены и проверены.
Серверная/клиентская части doc/member_files.txt согласованы с кодом. Общий документ
остаётся [~]: его desktop/AvatarManager/Android-подсистемы целиком в этот аудит не входили.
Ниже результаты относятся к C-сервису, а не к полному аудиту всех файлов GUI/аватарок.
1. Удаление чужого локального temp
До исправления TRANSFER_FINISH безусловно удалял вычисленный путь temp при ошибке,
включая отказ эксклюзивного open из-за существующего файла и отказ до открытия.
Настоящий test_member_files_network: preexisting target/temp по37 проверенных байт,
скачивание с подписанного storage, MF_EXISTS; target=1, foreign_temp=0, FAIL phase23.
Корректное воспроизведение: /tmp/member-files-temp-repro5.log, строки391..395.
Исправление: один temp_owned у handle, устанавливается только после успешного
эксклюзивного создания. Finish закрывает fd, публикует/удаляет только свой temp.
После успешного rename владение именем temp снято; source/target не подменяются caller.
Новый FILE-слой или второй файловый владелец не добавлены: disk API работает с native fd.
Обычный и sanitizer-прогоны: EXISTS, max_bytes, немедленная отмена сохраняют
прежние37 байт target и чужого temp, finished ровно один раз.
2. Ранняя отмена возобновляла передачу и приводила к UAF
После cancel сразу вслед за start поздний CM UP вызывал wake. Starting оставался1,
поэтому pump после начала cleanup снова посылал STAT. Finish освобождал handle,
а ответ STAT вызывал transfer_response с уже освобождённым arg.
Лог: /tmp/member-files-temp-fixed.log; GDB: /tmp/member-files-cancel-gdb.log,
SIGSEGV в transfer_response → mf_pending_finish → mf_dispatch.
Переход stopping теперь снимает starting; wake без готового финального ответа
ничего не планирует. Обязательная cleanup-задача остаётся единственным продолжением,
затем отправляется финальный CANCEL/END и освобождается handle до callback.
Не добавлены новые ссылки/таймеры или зависимость от скорости ответа CM.
Регрессия early cancel прошла вместе с обычной отменой, параллельными потоками,
router restart и destroy при активном server I/O.
3. Заполнение64 квитанций обрывало массовые мутации
Прежнее воспроизведение в doc/tasks.md: из76 удалений выполнены64, затем MF_BUSY.
Серверный предел/окно нужны для идемпотентности и остаются: до64 успешных
COMMIT/MKDIR/RENAME/REMOVE, MF_REPLAY_TB=1200000 (120с) от начала обработки.
Квитанции не вытесняются досрочно. Полный кеш возвращает BUSY с cursor=остаток
до ближайшего освобождения в timebase0.1мс; это значение кодируется обычным LE-полем.
Нулевой/недопустимый hint использует обычную задержку5с; недопустимый логируется.
Клиент этих четырёх команд сохраняет тот же pending/ID/параметры и ожидает
отменяемый retry timer. Остальные BUSY возвращаются callback как раньше.
Общий срок запроса остаётся120с от создания; ни BUSY, ни потеря ответа его не продлевают.
Перед повторной отправкой pump также проверяет срок. Сервер начинает обработку
не раньше создания клиентского запроса, поэтому допустимые повторы не выходят
за окно первой успешной квитанции. Ошибка/timeout не обещают отката серверной мутации.
При постоянной конкуренции запрос может завершиться TIMEOUT; unbounded waiting нет.
Вариант с продлением срока клиента отклонён при архитектурной сверке до итогового
прогона: поздний BUSY и потеря результата могли вывести повтор за жизнь квитанции.
Один секундный tick также недостаточен для точного освобождения; введён отдельный
retry timer, который снимается до free/cancel/quiesce, с tick fallback при OOM.
Формат125-байтного заголовка не менялся; смысл mutation BUSY.cursor описан в protocol.h.
Новая сетевая регрессия проходит настоящий клиентский API/router/storage:
-76 MKDIR, включая исчерпание кеша; QUOTA подтверждает ровно76 каталогов.
-Первый успешный ответ намеренно отброшен до клиентского handler; повтор с прежним
ID возвращает успех, не создавая второй объект и не выдавая EXISTS.
-76 STAT/REMOVE, включая новое исчерпание квитанций; QUOTA подтверждает0 объектов/байт/резерва.
Qt recursiveDeletion(server-busy) вызывает storage напрямую через stub bridge:
его сырой MF_BUSY остаётся правильным серверным ответом. Поведение полного
клиентского ожидания и массового удаления проверено C-сетевой регрессией, не этим stub.
4. FIFO блокировал общий disk worker до проверки типа
POSIX mf_disk_local_open(source,0) использовал блокирующий open. FIFO без writer
зависал ещё до mf_disk_info, который должен отвергнуть не-regular источник.
Регрессия запускает отдельный процесс до создания pthread, alarm2с ограничивает
только диагностический child. До фикса он завершился SIGALRM (status14), failures=1:
/tmp/member-files-fifo-repro.log. Добавлен O_NONBLOCK, как у серверного open:
FIFO открывается без ожидания, проверка типа даёт INVALID_PATH, fd закрывается.
Обычный и sanitizer-прогоны: child status0, failures0; invalid mode/links имеют WARN.
Произвольный уже выполняющийся системный I/O/хеширование всё ещё не прерывается cancel.
Сверка архитектуры и описаний
-Uasync владеет запросами, streams, local FIFO, ACL, CM handles, waiter/pump/timers.
Единственный worker выполняет файловое I/O последовательно; work FIFO, порядок
done при синхронном drain не обещается. Данные живут до completion.
-Обычных работ до64; заранее зарезервированные cleanup jobs обходят лимит.
Quiesce запрещает producers; drain завершает I/O и cleanup, затем storage destroy
выполняется в worker, после него join/free, пока ядро/группы ещё живы.
-Storage принимает только уже проверенные членство/роли. Сам проверяет UID мутации
и токены temp. Квота общая для UID во всех группах; обычные операции не делают rescan.
-Server COMMIT и local download имеют разные гарантии: локальный POSIX rename
не синхронизирует каталог. Ошибка server sync после rename не откатывает публикацию.
-Пути disk API доверенные и уже проверены protocol/storage. Callback LIST получает
заимствованные name/info; порядок файловой системы, не сортировка. Source/target
aliases локальных download исключает caller; одинаковая строка local запрещена.
-Codec проверяет формат и размеры, не ACL и не UTF-8 policy пути. Ошибка decode
может изменить output; encode не проверяет семантику команды. Эти границы описаны.
-Все поля/функции шести .h получили соответствующие контракты и комментарии.
Проверки и границы
./build.sh --no-gui -j4 PASS: /tmp/member-files-audit-final-build.log.
Профиль7/7 PASS: member_files, member_files_network, services, encrypted_attachment,
dm_media, attachment_send, member_adapter. Результат: /tmp/member-files-audit-profile-results.log,
подробности: /tmp/member-files-audit-profile-logs/.
ASAN/UBSan/LSan4/4 PASS, detect_leaks=1, halt_on_error=1: member_files,
member_files_network, services, encrypted_attachment. Отдельная копия:
/home/user/utun4/.cache/member-files-asan-b87xwg24, все встроенные зависимости
инструментированы через CPPFLAGS; системные OpenSSL/FFmpeg не пересобирались.
Логи: /tmp/member-files-sanitizer-build.log, /tmp/member-files-sanitizer-tests-build.log,
/tmp/member-files-sanitizer-results.log, /tmp/member-files-sanitizer-test_*.log.
После этого прогона добавлены только уточнения описаний и WARN без изменения логики.
В sanitizer-сборке остаётся прежнее предупреждение snprintf в disk_parent_open:
strlen(component)<=MF_NAME_MAX проверяется до записи в leaf[MF_NAME_MAX+1];
воспроизведённого усечения здесь нет. Остальные предупреждения сборки относятся
к существующему коду других модулей/зависимостей, не скрывались фильтрами компилятора.
Первые диагностические прогоны до repro5 недействительны для temp: тест был
собран с новым utun_instance.h и старой libutun.a, в startup читались0xaaaaaaaa.
Общая сборка устранила несовпадение; ненужное изменение маршрутного условия отменено.
Один промежуточный старт остановился из-за полного /tmp; очищены только
воспроизводимые объекты предыдущей sanitizer-копии, исходники/журналы сохранены.
Новый полный make check, Windows/FreeBSD runtime и GUI/Android проверки не выполнялись.
Четыре подтверждённых дефекта закрыты; новых подтверждённых незакрытых в этом объёме нет.
+16 -4
View File
@@ -4,6 +4,15 @@
## Текущие задачи
[+] **member_files: сверить контракты и исправить ошибки владения/повторов** — завершено 24.10.2026.
Прочитаны все6 реализаций и6 заголовков C-модуля. Исправлены удаление чужого temp,
повторный запуск после раннего cancel с UAF, обрыв массовых мутаций при64 квитанциях
и блокирующий open FIFO до проверки типа. Заголовки и серверная/клиентская документация согласованы.
Подтверждены сохранность файлов при трёх отказах, 76 созданий/76 удалений и потеря успешного ответа без повторной мутации.
Сборка PASS; профиль7/7, ASAN/UBSan/LSan4/4 PASS с detect_leaks=1. Общий GUI/avatar документ остаётся [~].
Отчёт и границы: [member_files_audit_findings.txt](member_files_audit_findings.txt).
Логи: /tmp/member-files-audit-profile-results.log, /tmp/member-files-sanitizer-results.log.
[+] **media_async/media_delivery: завершить сверку контрактов и исправлений** — завершено 24.10.2026.
Проверены все11 заголовков двух каталогов по полным реализациям; исправлены alias файлов,
граница voice duration, переанонс SQLite и расхождение MIME. Результаты каждого фикса приведены ниже.
@@ -786,13 +795,16 @@
нескольких ретрансляторов, нескольких автоматических источников/групп и mobile standby на устройстве
(doc/stream.txt, раздел 16). Сохранённые проверки отдельных этапов не закрывают всю матрицу.
[ ] **Member files: исчерпание кеша результатов массовых изменений** — 10.10.2026:
[+] **Member files: исчерпание кеша результатов массовых изменений** — исправлено 24.10.2026.
Воспроизведено test_member_files_browser::recursiveDeletion(server-busy): из 76 объектов удаляются 64,
следующая команда получает MF_BUSY, остаются 12. storage.c: STORE_RECEIPTS=64, RECEIPT_TB=1200000 (120 секунд).
Лимит общий для успешных COMMIT/MKDIR/RENAME/REMOVE; затрагивает также рекурсивное копирование.
Нужен отдельный этап управления временем жизни receipts с сохранением идемпотентности повторных запросов;
простое вытеснение старых записей нарушает гарантию повторного ответа. После исправления изменить регрессию
на успешное удаление более 64 объектов и проверить повторные запросы/потерю ответа.
Сохранены64 квитанции/120с без досрочного вытеснения. BUSY.cursor сообщает ближайшее освобождение,
клиент этих мутаций ждёт отменяемый таймер с прежним ID/параметрами и общим сроком120с без продления.
Новая сетевая регрессия через настоящий клиентский API:76 созданий, потеря успешного ответа,
затем76 удалений; QUOTA подтверждает76 и0 каталогов без дубликатов. Обычный и sanitizer-прогоны PASS.
Старый Qt-stub вызывает storage напрямую и по-прежнему видит допустимый сырой MF_BUSY;
он не проверяет новый клиентский retry. Подробности: [member_files_audit_findings.txt](member_files_audit_findings.txt).
[ ] **Desktop: провалы вероятности VAD при компрессии** — диагностика 09.10.2026:
Воспроизведение пользователя: длительная гласная, затем временная нечувствительность; ближе к концу лога несколько повторов.
+7 -1
View File
@@ -191,7 +191,11 @@ static void mf_pending_pump(void* arg) {
struct mf_pending* p = arg; p->pump = NULL;
if (p->files->closing) return;
if (p->retry) { uasync_cancel_timeout(p->files->inst->ua, p->retry); p->retry = NULL; }
if (get_time_tb() - p->started >= MF_REPLAY_TB) { mf_pending_finish(p, NULL, MF_TIMEOUT); return; }
if (get_time_tb() - p->started >= MF_REPLAY_TB) {
DEBUG_WARN(DEBUG_CATEGORY_MEDIA, "member_files: request expired before send id=%llu cmd=%s",
(unsigned long long)p->request.request_id, mf_command_text(p->request.command));
mf_pending_finish(p, NULL, MF_TIMEOUT); return;
}
int rc = mf_send(p->files, p->group, p->server, &p->request);
if (!rc) { p->sent = get_time_tb(); p->retry_at = 0; }
else if (rc > 0) etcp_router_on_send_ready(p->files->inst, p->group, p->server, ETCP_RT_ID_MEMBER_FILES,
@@ -438,6 +442,8 @@ static void mf_dispatch(struct member_files* f, uint64_t group, uint64_t peer, c
}
if (!member_files_member(f->inst, group, peer, 1)) { m.status = MF_ACCESS_DENIED; m.data_len = 0; }
if (m.status == MF_BUSY && (m.command == MF_COMMIT || (m.command >= MF_MKDIR && m.command <= MF_REMOVE_PATH))) {
if (m.cursor > MF_REPLAY_TB) DEBUG_WARN(DEBUG_CATEGORY_MEDIA, "member_files: invalid busy hint id=%llu delay_tb=%llu; using5s",
(unsigned long long)m.request_id, (unsigned long long)m.cursor);
uint64_t now = get_time_tb(), delay = m.cursor && m.cursor <= MF_REPLAY_TB ? m.cursor : 50000;
p->retry_at = now + delay;
p->sent = now;