Доработка редактора креативов, замеры и архитектура парсинга фидов, нагрузочный тест прогресса генерации: 42 закрытые задачи и 200 одновременных подключений без ошибок.
DynamicADS - сервис автоматической генерации динамической рекламы: из товарных фидов в форматах CSV и XML он собирает рекламные креативы. Стек: Django и React, MongoDB, PostgreSQL, Celery, Redis, Yandex Cloud.
С февраля по октябрь 2026 года команда Фортех работала над сервисом в пяти блоках: доработка редактора дизайнов, парсинг фидов, очереди и архитектура, генерация выходных файлов, прогресс генерации в реальном времени.
После приёмки версии у редактора накопился список ошибок и пожеланий пользователей. Парсинг фидов был встроен в монолитное Django-приложение и привязан к Celery, Redis и биллингу, поэтому его нельзя было масштабировать отдельно. Итоговые файлы собирал один воркер последовательно. При росте числа открытых страниц прогресса росла нагрузка на SQL и Redis.
Сервис работает. Изменения делаются так, чтобы не менять формат данных и не влиять на саму генерацию.
Решения по масштабированию нужны на цифрах. Прежде чем переносить компоненты в облако, нужно измерить, где система тормозит, и сохранить эталонные значения для сравнения.
Блок 1. Редактор дизайнов (16 февраля - 24 марта 2026, доработки до 22 мая)
Закрыли 42 задачи: 32 бага и 10 доработок, из них 8 высокого приоритета. Основной пакет из 31 задачи занял около 5 недель и 216,5 часа при плане 260 часов, апрельские и майские доработки ещё 14 часов. Исправили отрисовку групп и динамических блоков, относительное позиционирование, шрифты, отмену действий и копирование дизайнов. Добавили поиск товаров не только по id, поиск проектов по названию, линейку для выравнивания, цветовую маркировку слоёв, поддержку арабского языка (RTL) и конвертацию фидов Яндекс в Google. Фиды Яндекс.Маркета больше не теряют родительские категории.

Блок 2. Парсинг фидов (февраль - начало марта 2026)
Разобрали текущие парсеры и описали форматы CSV и XML: выявили связность с Django и Celery и дублирование логики. Сняли базовые замеры скорости, 20 прогонов на каждом фиде, 0 ошибок: фид на 5 077 товаров разбирается за 0,86 секунды (около 5 900 товаров в секунду), фид на 19 865 товаров за 15,3 секунды (около 1 300 товаров в секунду). Эти значения стали эталоном для сравнения с новой схемой. Облачный парсер Yandex Cloud проверили интеграционными тестами: XML и YML (около 7 700 товаров из фида Яндекс.Маркета) и CSV (около 1 300 товаров) разбираются корректно, а при недоступной ссылке функция не падает и возвращает понятный ответ.

Блок 3. Очереди и архитектура (апрель - начало мая 2026)
Нашли узкие места: очереди создаются по одной на каждый выход с паузами, поэтому задержка запуска растёт с числом выходов, нет сквозного идентификатора для поиска сбоев, а Redis остаётся единой точкой отказа. На реальном проекте с 29 354 товарами сняли эталонные метрики: Celery-воркер потребляет пик 0,93 ядра CPU и 1,4 ГБ памяти, Django API использует лишь 2,4% выделенного CPU. Спроектировали целевую схему с разделёнными сервисами и очередью недоставленных сообщений.
Блок 4. Генерация выходных файлов (сентябрь 2026)
Разобрали, как формируются итоговые файлы. На стейдже успешная сборка занимала от 4,1 до 2 223,5 секунды, выходы одного запуска собираются по очереди. Подготовили ТЗ на вынос сборки в облачную функцию: параллельная обработка выходов, неизменяемые результаты с контрольными суммами, идемпотентное списание в биллинге, метрики и ручной перезапуск.
Блок 5. Прогресс генерации в реальном времени (октябрь 2026)
Сделали доставку прогресса масштабируемой и безопасной. Нагрузочный тест на 50, 100 и 200 подключений (каждый клиент подписан на 22 проекта и 430 выходов, удержание по 60 секунд): 0 ошибок, все 350 начальных снимков получены. Нагрузка на базы не зависит от числа клиентов: около 2 запросов SQL и 1 запроса Redis в секунду на любом профиле. Один WebSocket-контейнер использует до 0,09 ядра CPU и 108 МБ памяти при 200 подключениях. Прошли 16 проверок безопасности и контрактов, 87 тестов бэкенда и 20 тестов интерфейса.
Резервная копия (2 ноября 2026). Сделали полную копию системы: 15 репозиториев (170 веток) с проверкой восстановления, свежие дампы 5 баз PostgreSQL и архив MongoDB около 20,9 ГБ.
Редактор стал стабильнее. Закрыто 42 задачи, типовые сбои вроде потери шрифтов и слетающего цвета рамки устранены, работа с большими проектами проще благодаря поиску, линейке и маркировке слоёв.
Появилась точка отсчёта для ускорения. Скорость парсера и нагрузка на очереди измерены на реальных фидах, поэтому любое ускорение теперь можно доказать цифрами.
Прогресс генерации выдерживает 200 подключений. 0 ошибок за 60 секунд удержания на каждой ступени, нагрузка на базы не растёт с числом пользователей.
Дальше по плану вынос парсинга и сборки файлов в облачные функции: архитектура и ТЗ готовы.
Как измерить скорость парсинга товарных фидов?
Нужно прогнать парсер на реальных фидах разного размера несколько раз и зафиксировать скорость и число ошибок. Здесь сделали 20 прогонов на каждом фиде: от около 1 300 до около 5 900 товаров в секунду, 0 ошибок.
Сколько одновременных подключений выдерживает прогресс генерации в реальном времени?
Нагрузочный тест на 50, 100 и 200 подключений прошёл без ошибок. Нагрузка на SQL и Redis не зависит от числа клиентов, а один WebSocket-контейнер использует до 0,09 ядра CPU и 108 МБ памяти при 200 подключениях.
Зачем выносить парсинг фидов в облачную функцию?
Парсинг, встроенный в монолит и привязанный к Celery, Redis и биллингу, нельзя масштабировать отдельно. Облачная функция позволяет наращивать только его, не расширяя весь сервер.

Разработка масштабируемого бэкенда на Nest.js и AWS для обработки миллионов SEO-запросов ежедневно.

Как поддерживать и развивать интернет-магазин, через который каждый день идут заказы, остатки из 1С и чеки: переход на НДС 22/122 в срок, перенос аналитики в Yandex Cloud, миграция серверов к обязательной дате.

Как мы делали поисковый сервис с обновлением до 10 мс, координацию серверов, автобукинг, шардирование MongoDB и подписки на Stripe

Веб-приложение для управления счетами и заказа карт, включая детские и на третьих лиц