Кейс · 28 октября 2026

Умная видеоаналитика на уже установленных камерах: как отличить настоящее событие от тени

Мы сделали систему видеоаналитики, которая работает с камерами и видеорегистраторами, уже установленными у компании. В кадре размечаются зоны, и если в зоне что-то появилось или пропало, приходит сигнал с коротким видеофрагментом. Рассказываем, где в такой задаче основная сложность и почему мы выбрали именно такие решения.

Видеонаблюдение есть почти в каждой компании, но пользы от него обычно меньше, чем могло бы быть. Камеры пишут круглые сутки, архив растёт, а смотрят его только после происшествия, когда что-то уже случилось. Следить за экранами в реальном времени некому.

Задача была сформулирована просто: использовать камеры, которые уже стоят, и получать сигнал только тогда, когда в важном месте действительно что-то изменилось. Покупать новое оборудование и ставить сервер под это не требовалось.

Задача: зоны, а не «движение в кадре»

Система подключается к IP-камерам и видеорегистраторам по стандартному протоколу RTSP. Его поддерживает большинство современных устройств, в том числе регистраторы Dahua, на которых система проверялась. В кадре каждой камеры размечаются зоны, за которыми нужно следить: стол ресепшена, витрина, стеллаж на складе. Для каждой зоны система запоминает, как она должна выглядеть, и сообщает, если там появился новый предмет или пропал тот, что был.

На словах это выглядит просто. На деле обычный датчик движения в таких местах почти бесполезен: на ресепшене люди находятся постоянно, по витрине днём ходят тени, вечером включается свет. Если реагировать на любое изменение картинки, сигналов будет столько, что их перестанут читать уже на второй день.

Как устроена система

Система работает как приложение для Windows на обычном компьютере в офисе. Есть панель для просмотра камер и экран настройки зон. Для каждой камеры система:

  • непрерывно читает видеопоток и держит последние секунды записи в памяти;
  • сравнивает размеченные зоны с эталоном и оценивает, изменилось ли в них что-то по существу;
  • распознаёт людей в кадре, чтобы понимать, есть ли рядом человек;
  • при событии сохраняет короткий ролик: несколько секунд до события и само событие;
  • отправляет оповещение с этим роликом.

Все фоновые процессы находятся под присмотром. Если запись по какой-то камере остановилась, система замечает это и перезапускает её.

Почему сделано именно так

Тень меняет яркость, но не рисунок

Главная проблема — ложные тревоги от теней, бликов и смены освещения. Если просто сравнивать, насколько изменилась яркость в зоне, тень от проходящего человека выглядит точно так же, как поставленная на стол коробка.

Мы опирались на простое наблюдение: тень делает поверхность темнее, но сохраняет её рисунок, то есть фактуру стола, края предметов, узор. Предмет, который появился в зоне, этот рисунок закрывает. Поэтому система оценивает не яркость, а сохранность структуры изображения. Она считает, какая доля площади зоны утратила свой прежний рисунок.

Первая версия усредняла эту оценку по всей зоне, и это не сработало. Среднее значение для теней на реальных кадрах составляло от 0,77 до 0,87, а для настоящего события — 0,806, то есть внутри того же диапазона. Предмет обычно мал относительно зоны и в среднем теряется. Пробовали и компенсировать общее изменение яркости, но и это не помогло отделить тени.

Сработало другое отличие. Предмет разрушает структуру сплошным пятном, а граница тени или полоса света даёт тонкую линию. Система убирает тонкие линии специальным фильтром, оставляет пятна и после этого считает их долю в площади зоны. Пороги подбирали по реальным кадрам с объектов:

  • дневные тени — от 0 до 6,5% площади зоны;
  • включённый ночью свет — от 6 до 7,8%;
  • реальное событие — от 12,2 до 13,4%.

Граница проведена на уровне 8%. Если изменение меньше, система помечает зону как «возможно, тень» и не поднимает тревогу.

Эта проверка — не единственная защита. Если ночью или в пустом помещении что-то изменилось, а людей в кадре нет, это почти наверняка свет. Массовое выключение света распознаётся отдельно, по изменению всей сцены. Проверка структуры закрывает самый сложный случай: тени днём, когда люди в кадре есть всегда и правило «нет человека — нет события» не помогает.

Буфер в памяти вместо сплошной записи

Первая версия писала видео непрерывно, и на пустом складе это быстро забивало диск часами записей, где ничего не происходит. Сейчас последние 60 секунд каждого потока хранятся в оперативной памяти, а на диск попадает только эпизод с активностью вместе с несколькими секундами перед ним. В работе на четырёх камерах это заняло около 53 МБ памяти в сумме, примерно 16 МБ на камеру с разрешением 1280×720.

Запись начинается, когда система видит человека или заметное движение. Чтобы ролик не рвался, порог продолжения записи ниже порога её начала: сидящий за столом человек почти не двигается, и уверенность распознавания у него колеблется. Без этого запись обрывалась, хотя человек оставался в кадре. Соседние эпизоды склеиваются без повторов. Раньше они перекрывались на 10–19 секунд, и одно и то же видео сохранялось дважды.

Ролики сохраняются в формате, который можно прочитать, даже если программа аварийно завершилась прямо во время записи. Мы проверили это, принудительно остановив процесс на 96-й секунде записи: файл открылся полностью.

Опорные кадры вместо полного декодирования

Видео с камеры сжато. Полные кадры, или опорные, приходят примерно раз в две секунды, а между ними передаются только изменения. Чтобы получить каждый кадр, весь поток нужно непрерывно расшифровывать, а это основная нагрузка на процессор.

Мы замерили расход на камере Full HD с кодеком H.265. Просто читать поток стоит 0,01 ядра процессора, читать поток и расшифровывать только опорные кадры — 0,06 ядра, расшифровывать всё — 0,43 ядра. Чтобы следить за предметами в зонах, одного кадра раз в две секунды достаточно, поэтому для таких камер включается экономичный режим. Для подсчёта людей, пересекающих линию, он не подходит: человек проходит быстрее, чем приходит следующий опорный кадр.

Поток при этом всё равно вычитывается целиком. Если читать его медленнее, чем его отдаёт камера, картинка начинает отставать. В одном из случаев отставание дошло до восьми минут, хотя по всем внутренним показателям камера выглядела работающей. С тех пор актуальность кадра проверяется по часам, которые камера сама впечатывает в изображение.

Сначала замер, потом оптимизация

Предварительные оценки обещали от 1,7 до 2,5 ядра процессора на каждую камеру. Замер на работающей системе показал другое: около 55% времени уходит на сравнение зон и лишь около 3% на чтение видеопотоков. Поэтому мы оптимизировали то, что действительно нагружает систему, и не стали снижать разрешение. Проверка структуры работает с мелкими деталями изображения, и при уменьшенной картинке она стала бы хуже отличать тень от предмета.

Что построено

  • Приложение для Windows: панель камер, настройка зон, отдельный экран про людей в кадре, запуск из трея и установщик.
  • Подключение к IP-камерам и регистраторам по RTSP, в том числе к оборудованию Dahua.
  • Контроль зон с проверкой структуры, которая отсеивает тени, блики и смену освещения.
  • Распознавание людей в кадре как дополнительный фильтр.
  • Запись по событию с буфером в памяти и ролики, устойчивые к сбоям.
  • Экономичный режим чтения потока для камер, которые следят за предметами.
  • Постоянная проверка фоновых процессов.

Практическая ценность

Компания получает пользу от камер, которые уже купила и установила. Вместо многочасового архива, который никто не смотрит, приходят сигналы о конкретных событиях: на ресепшене оставили или забрали вещь, на витрине или складе изменилось содержимое полки. Каждый сигнал сопровождается коротким роликом, поэтому разобраться в ситуации можно за минуту.

Сигналы приходят по делу, поэтому их не начинают игнорировать: система полезна, только пока её сообщениям доверяют.

Отдельный сервер не нужен. Буферы в памяти на четыре камеры занимают десятки мегабайт, а экономичный режим чтения потока расходует малую долю ядра процессора на камеру.

Перспективы

Пороги системы подобраны по реальным кадрам, и их можно настраивать под конкретный объект. Если в зоне нужно замечать совсем мелкие или тонкие предметы, чувствительность проверки увеличивается. Для мест, где важен каждый проход, а не состояние полки, остаётся режим полного разбора видео.

Поговорим

У вас уже есть задача?

Сайт, интернет-магазин или автоматизация — расскажите, и мы честно скажем, чем можем быть полезны.

Журнал Pragmatic Center

  • 01Как устроены сильные сайты и магазины.
  • 02Почему скорость важнее, чем кажется.
  • 03Что автоматизация реально даёт бизнесу.