Document member files audit findings and verified fixes
This commit is contained in:
1 parent
ffbfd0ffbf
commit
ed9d294486
3 files changed
+151
-5
No files matched your search
@@ -0,0 +1,128 @@
|
||||
Аудит C-модуля member_files — 2026-10-24
|
||||
|
||||
Статус: полностью прочитаны шесть реализаций и шесть заголовков src/member_files/.
|
||||
Заголовки сверены; четыре подтверждённых дефекта исправлены и проверены.
|
||||
Серверная/клиентская части doc/member_files.txt согласованы с кодом. Общий документ
|
||||
остаётся [~]: его desktop/AvatarManager/Android-подсистемы целиком в этот аудит не входили.
|
||||
Ниже результаты относятся к C-сервису, а не к полному аудиту всех файлов GUI/аватарок.
|
||||
|
||||
1. Удаление чужого локального temp
|
||||
|
||||
До исправления TRANSFER_FINISH безусловно удалял вычисленный путь temp при ошибке,
|
||||
включая отказ эксклюзивного open из-за существующего файла и отказ до открытия.
|
||||
Настоящий test_member_files_network: preexisting target/temp по37 проверенных байт,
|
||||
скачивание с подписанного storage, MF_EXISTS; target=1, foreign_temp=0, FAIL phase23.
|
||||
Корректное воспроизведение: /tmp/member-files-temp-repro5.log, строки391..395.
|
||||
|
||||
Исправление: один temp_owned у handle, устанавливается только после успешного
|
||||
эксклюзивного создания. Finish закрывает fd, публикует/удаляет только свой temp.
|
||||
После успешного rename владение именем temp снято; source/target не подменяются caller.
|
||||
Новый FILE-слой или второй файловый владелец не добавлены: disk API работает с native fd.
|
||||
Обычный и sanitizer-прогоны: EXISTS, max_bytes, немедленная отмена сохраняют
|
||||
прежние37 байт target и чужого temp, finished ровно один раз.
|
||||
|
||||
2. Ранняя отмена возобновляла передачу и приводила к UAF
|
||||
|
||||
После cancel сразу вслед за start поздний CM UP вызывал wake. Starting оставался1,
|
||||
поэтому pump после начала cleanup снова посылал STAT. Finish освобождал handle,
|
||||
а ответ STAT вызывал transfer_response с уже освобождённым arg.
|
||||
Лог: /tmp/member-files-temp-fixed.log; GDB: /tmp/member-files-cancel-gdb.log,
|
||||
SIGSEGV в transfer_response → mf_pending_finish → mf_dispatch.
|
||||
|
||||
Переход stopping теперь снимает starting; wake без готового финального ответа
|
||||
ничего не планирует. Обязательная cleanup-задача остаётся единственным продолжением,
|
||||
затем отправляется финальный CANCEL/END и освобождается handle до callback.
|
||||
Не добавлены новые ссылки/таймеры или зависимость от скорости ответа CM.
|
||||
Регрессия early cancel прошла вместе с обычной отменой, параллельными потоками,
|
||||
router restart и destroy при активном server I/O.
|
||||
|
||||
3. Заполнение64 квитанций обрывало массовые мутации
|
||||
|
||||
Прежнее воспроизведение в doc/tasks.md: из76 удалений выполнены64, затем MF_BUSY.
|
||||
Серверный предел/окно нужны для идемпотентности и остаются: до64 успешных
|
||||
COMMIT/MKDIR/RENAME/REMOVE, MF_REPLAY_TB=1200000 (120с) от начала обработки.
|
||||
Квитанции не вытесняются досрочно. Полный кеш возвращает BUSY с cursor=остаток
|
||||
до ближайшего освобождения в timebase0.1мс; это значение кодируется обычным LE-полем.
|
||||
Нулевой/недопустимый hint использует обычную задержку5с; недопустимый логируется.
|
||||
|
||||
Клиент этих четырёх команд сохраняет тот же pending/ID/параметры и ожидает
|
||||
отменяемый retry timer. Остальные BUSY возвращаются callback как раньше.
|
||||
Общий срок запроса остаётся120с от создания; ни BUSY, ни потеря ответа его не продлевают.
|
||||
Перед повторной отправкой pump также проверяет срок. Сервер начинает обработку
|
||||
не раньше создания клиентского запроса, поэтому допустимые повторы не выходят
|
||||
за окно первой успешной квитанции. Ошибка/timeout не обещают отката серверной мутации.
|
||||
При постоянной конкуренции запрос может завершиться TIMEOUT; unbounded waiting нет.
|
||||
|
||||
Вариант с продлением срока клиента отклонён при архитектурной сверке до итогового
|
||||
прогона: поздний BUSY и потеря результата могли вывести повтор за жизнь квитанции.
|
||||
Один секундный tick также недостаточен для точного освобождения; введён отдельный
|
||||
retry timer, который снимается до free/cancel/quiesce, с tick fallback при OOM.
|
||||
Формат125-байтного заголовка не менялся; смысл mutation BUSY.cursor описан в protocol.h.
|
||||
|
||||
Новая сетевая регрессия проходит настоящий клиентский API/router/storage:
|
||||
-76 MKDIR, включая исчерпание кеша; QUOTA подтверждает ровно76 каталогов.
|
||||
-Первый успешный ответ намеренно отброшен до клиентского handler; повтор с прежним
|
||||
ID возвращает успех, не создавая второй объект и не выдавая EXISTS.
|
||||
-76 STAT/REMOVE, включая новое исчерпание квитанций; QUOTA подтверждает0 объектов/байт/резерва.
|
||||
Qt recursiveDeletion(server-busy) вызывает storage напрямую через stub bridge:
|
||||
его сырой MF_BUSY остаётся правильным серверным ответом. Поведение полного
|
||||
клиентского ожидания и массового удаления проверено C-сетевой регрессией, не этим stub.
|
||||
|
||||
4. FIFO блокировал общий disk worker до проверки типа
|
||||
|
||||
POSIX mf_disk_local_open(source,0) использовал блокирующий open. FIFO без writer
|
||||
зависал ещё до mf_disk_info, который должен отвергнуть не-regular источник.
|
||||
Регрессия запускает отдельный процесс до создания pthread, alarm2с ограничивает
|
||||
только диагностический child. До фикса он завершился SIGALRM (status14), failures=1:
|
||||
/tmp/member-files-fifo-repro.log. Добавлен O_NONBLOCK, как у серверного open:
|
||||
FIFO открывается без ожидания, проверка типа даёт INVALID_PATH, fd закрывается.
|
||||
Обычный и sanitizer-прогоны: child status0, failures0; invalid mode/links имеют WARN.
|
||||
Произвольный уже выполняющийся системный I/O/хеширование всё ещё не прерывается cancel.
|
||||
|
||||
Сверка архитектуры и описаний
|
||||
|
||||
-Uasync владеет запросами, streams, local FIFO, ACL, CM handles, waiter/pump/timers.
|
||||
Единственный worker выполняет файловое I/O последовательно; work FIFO, порядок
|
||||
done при синхронном drain не обещается. Данные живут до completion.
|
||||
-Обычных работ до64; заранее зарезервированные cleanup jobs обходят лимит.
|
||||
Quiesce запрещает producers; drain завершает I/O и cleanup, затем storage destroy
|
||||
выполняется в worker, после него join/free, пока ядро/группы ещё живы.
|
||||
-Storage принимает только уже проверенные членство/роли. Сам проверяет UID мутации
|
||||
и токены temp. Квота общая для UID во всех группах; обычные операции не делают rescan.
|
||||
-Server COMMIT и local download имеют разные гарантии: локальный POSIX rename
|
||||
не синхронизирует каталог. Ошибка server sync после rename не откатывает публикацию.
|
||||
-Пути disk API доверенные и уже проверены protocol/storage. Callback LIST получает
|
||||
заимствованные name/info; порядок файловой системы, не сортировка. Source/target
|
||||
aliases локальных download исключает caller; одинаковая строка local запрещена.
|
||||
-Codec проверяет формат и размеры, не ACL и не UTF-8 policy пути. Ошибка decode
|
||||
может изменить output; encode не проверяет семантику команды. Эти границы описаны.
|
||||
-Все поля/функции шести .h получили соответствующие контракты и комментарии.
|
||||
|
||||
Проверки и границы
|
||||
|
||||
./build.sh --no-gui -j4 PASS: /tmp/member-files-audit-final-build.log.
|
||||
Профиль7/7 PASS: member_files, member_files_network, services, encrypted_attachment,
|
||||
dm_media, attachment_send, member_adapter. Результат: /tmp/member-files-audit-profile-results.log,
|
||||
подробности: /tmp/member-files-audit-profile-logs/.
|
||||
|
||||
ASAN/UBSan/LSan4/4 PASS, detect_leaks=1, halt_on_error=1: member_files,
|
||||
member_files_network, services, encrypted_attachment. Отдельная копия:
|
||||
/home/user/utun4/.cache/member-files-asan-b87xwg24, все встроенные зависимости
|
||||
инструментированы через CPPFLAGS; системные OpenSSL/FFmpeg не пересобирались.
|
||||
Логи: /tmp/member-files-sanitizer-build.log, /tmp/member-files-sanitizer-tests-build.log,
|
||||
/tmp/member-files-sanitizer-results.log, /tmp/member-files-sanitizer-test_*.log.
|
||||
После этого прогона добавлены только уточнения описаний и WARN без изменения логики.
|
||||
|
||||
В sanitizer-сборке остаётся прежнее предупреждение snprintf в disk_parent_open:
|
||||
strlen(component)<=MF_NAME_MAX проверяется до записи в leaf[MF_NAME_MAX+1];
|
||||
воспроизведённого усечения здесь нет. Остальные предупреждения сборки относятся
|
||||
к существующему коду других модулей/зависимостей, не скрывались фильтрами компилятора.
|
||||
|
||||
Первые диагностические прогоны до repro5 недействительны для temp: тест был
|
||||
собран с новым utun_instance.h и старой libutun.a, в startup читались0xaaaaaaaa.
|
||||
Общая сборка устранила несовпадение; ненужное изменение маршрутного условия отменено.
|
||||
Один промежуточный старт остановился из-за полного /tmp; очищены только
|
||||
воспроизводимые объекты предыдущей sanitizer-копии, исходники/журналы сохранены.
|
||||
|
||||
Новый полный make check, Windows/FreeBSD runtime и GUI/Android проверки не выполнялись.
|
||||
Четыре подтверждённых дефекта закрыты; новых подтверждённых незакрытых в этом объёме нет.
|
||||
+16
-4
@@ -4,6 +4,15 @@
|
||||
|
||||
## Текущие задачи
|
||||
|
||||
[+] **member_files: сверить контракты и исправить ошибки владения/повторов** — завершено 24.10.2026.
|
||||
Прочитаны все6 реализаций и6 заголовков C-модуля. Исправлены удаление чужого temp,
|
||||
повторный запуск после раннего cancel с UAF, обрыв массовых мутаций при64 квитанциях
|
||||
и блокирующий open FIFO до проверки типа. Заголовки и серверная/клиентская документация согласованы.
|
||||
Подтверждены сохранность файлов при трёх отказах, 76 созданий/76 удалений и потеря успешного ответа без повторной мутации.
|
||||
Сборка PASS; профиль7/7, ASAN/UBSan/LSan4/4 PASS с detect_leaks=1. Общий GUI/avatar документ остаётся [~].
|
||||
Отчёт и границы: [member_files_audit_findings.txt](member_files_audit_findings.txt).
|
||||
Логи: /tmp/member-files-audit-profile-results.log, /tmp/member-files-sanitizer-results.log.
|
||||
|
||||
[+] **media_async/media_delivery: завершить сверку контрактов и исправлений** — завершено 24.10.2026.
|
||||
Проверены все11 заголовков двух каталогов по полным реализациям; исправлены alias файлов,
|
||||
граница voice duration, переанонс SQLite и расхождение MIME. Результаты каждого фикса приведены ниже.
|
||||
@@ -786,13 +795,16 @@
|
||||
нескольких ретрансляторов, нескольких автоматических источников/групп и mobile standby на устройстве
|
||||
(doc/stream.txt, раздел 16). Сохранённые проверки отдельных этапов не закрывают всю матрицу.
|
||||
|
||||
[ ] **Member files: исчерпание кеша результатов массовых изменений** — 10.10.2026:
|
||||
[+] **Member files: исчерпание кеша результатов массовых изменений** — исправлено 24.10.2026.
|
||||
Воспроизведено test_member_files_browser::recursiveDeletion(server-busy): из 76 объектов удаляются 64,
|
||||
следующая команда получает MF_BUSY, остаются 12. storage.c: STORE_RECEIPTS=64, RECEIPT_TB=1200000 (120 секунд).
|
||||
Лимит общий для успешных COMMIT/MKDIR/RENAME/REMOVE; затрагивает также рекурсивное копирование.
|
||||
Нужен отдельный этап управления временем жизни receipts с сохранением идемпотентности повторных запросов;
|
||||
простое вытеснение старых записей нарушает гарантию повторного ответа. После исправления изменить регрессию
|
||||
на успешное удаление более 64 объектов и проверить повторные запросы/потерю ответа.
|
||||
Сохранены64 квитанции/120с без досрочного вытеснения. BUSY.cursor сообщает ближайшее освобождение,
|
||||
клиент этих мутаций ждёт отменяемый таймер с прежним ID/параметрами и общим сроком120с без продления.
|
||||
Новая сетевая регрессия через настоящий клиентский API:76 созданий, потеря успешного ответа,
|
||||
затем76 удалений; QUOTA подтверждает76 и0 каталогов без дубликатов. Обычный и sanitizer-прогоны PASS.
|
||||
Старый Qt-stub вызывает storage напрямую и по-прежнему видит допустимый сырой MF_BUSY;
|
||||
он не проверяет новый клиентский retry. Подробности: [member_files_audit_findings.txt](member_files_audit_findings.txt).
|
||||
|
||||
[ ] **Desktop: провалы вероятности VAD при компрессии** — диагностика 09.10.2026:
|
||||
Воспроизведение пользователя: длительная гласная, затем временная нечувствительность; ближе к концу лога несколько повторов.
|
||||
|
||||
@@ -191,7 +191,11 @@ static void mf_pending_pump(void* arg) {
|
||||
struct mf_pending* p = arg; p->pump = NULL;
|
||||
if (p->files->closing) return;
|
||||
if (p->retry) { uasync_cancel_timeout(p->files->inst->ua, p->retry); p->retry = NULL; }
|
||||
if (get_time_tb() - p->started >= MF_REPLAY_TB) { mf_pending_finish(p, NULL, MF_TIMEOUT); return; }
|
||||
if (get_time_tb() - p->started >= MF_REPLAY_TB) {
|
||||
DEBUG_WARN(DEBUG_CATEGORY_MEDIA, "member_files: request expired before send id=%llu cmd=%s",
|
||||
(unsigned long long)p->request.request_id, mf_command_text(p->request.command));
|
||||
mf_pending_finish(p, NULL, MF_TIMEOUT); return;
|
||||
}
|
||||
int rc = mf_send(p->files, p->group, p->server, &p->request);
|
||||
if (!rc) { p->sent = get_time_tb(); p->retry_at = 0; }
|
||||
else if (rc > 0) etcp_router_on_send_ready(p->files->inst, p->group, p->server, ETCP_RT_ID_MEMBER_FILES,
|
||||
@@ -438,6 +442,8 @@ static void mf_dispatch(struct member_files* f, uint64_t group, uint64_t peer, c
|
||||
}
|
||||
if (!member_files_member(f->inst, group, peer, 1)) { m.status = MF_ACCESS_DENIED; m.data_len = 0; }
|
||||
if (m.status == MF_BUSY && (m.command == MF_COMMIT || (m.command >= MF_MKDIR && m.command <= MF_REMOVE_PATH))) {
|
||||
if (m.cursor > MF_REPLAY_TB) DEBUG_WARN(DEBUG_CATEGORY_MEDIA, "member_files: invalid busy hint id=%llu delay_tb=%llu; using5s",
|
||||
(unsigned long long)m.request_id, (unsigned long long)m.cursor);
|
||||
uint64_t now = get_time_tb(), delay = m.cursor && m.cursor <= MF_REPLAY_TB ? m.cursor : 50000;
|
||||
p->retry_at = now + delay;
|
||||
p->sent = now;
|
||||
|
||||
Reference in new issue
Block a user