Pametna video analitika na već postavljenim kamerama: kako razlikovati pravi događaj od senke
Napravili smo sistem video analitike koji radi sa kamerama i video rekorderima koje firma već ima. U kadru se označavaju zone, i ako se u zoni nešto pojavi ili nestane, stiže signal sa kratkim video snimkom. Objašnjavamo gde je glavna složenost u takvom zadatku i zašto smo izabrali baš ovakva rešenja.
Video nadzor postoji u gotovo svakoj firmi, ali od njega obično ima manje koristi nego što bi moglo. Kamere snimaju danonoćno, arhiva raste, a pregleda se tek posle incidenta, kada se nešto već dogodilo. Nema ko da prati ekrane u realnom vremenu.
Zadatak je formulisan jednostavno: iskoristiti kamere koje su već postavljene i dobijati signal samo kada se na važnom mestu zaista nešto promenilo. Kupovina nove opreme i postavljanje servera za to nisu bili potrebni.
Zadatak: zone, a ne „pokret u kadru“
Sistem se povezuje sa IP kamerama i video rekorderima preko standardnog protokola RTSP. Podržava ga većina savremenih uređaja, uključujući Dahua rekordere na kojima je sistem proveravan. U kadru svake kamere označavaju se zone koje treba pratiti: pult recepcije, izlog, polica u magacinu. Za svaku zonu sistem pamti kako treba da izgleda i javlja ako se tamo pojavio novi predmet ili nestao onaj koji je bio.
Na rečima to izgleda jednostavno. U stvarnosti je običan senzor pokreta na takvim mestima gotovo beskoristan: na recepciji su ljudi stalno prisutni, preko izloga danju prelaze senke, uveče se pali svetlo. Ako bi se reagovalo na svaku promenu slike, signala bi bilo toliko da bi ih ljudi prestali da čitaju već drugog dana.
Kako je sistem organizovan
Sistem radi kao aplikacija za Windows na običnom računaru u kancelariji. Postoji panel za pregled kamera i ekran za podešavanje zona. Za svaku kameru sistem:
- neprekidno čita video tok i drži poslednje sekunde snimka u memoriji;
- upoređuje označene zone sa referentnim stanjem i procenjuje da li se u njima nešto suštinski promenilo;
- prepoznaje ljude u kadru, da bi znao da li je neko u blizini;
- pri događaju čuva kratak snimak: nekoliko sekundi pre događaja i sam događaj;
- šalje obaveštenje sa tim snimkom.
Svi pozadinski procesi su pod nadzorom. Ako se snimanje neke kamere zaustavi, sistem to primećuje i ponovo ga pokreće.
Zašto je napravljeno baš ovako
Senka menja osvetljenost, ali ne i šaru
Glavni problem su lažni alarmi od senki, odsjaja i promene osvetljenja. Ako se samo poredi koliko se promenila osvetljenost u zoni, senka čoveka koji prolazi izgleda isto kao kutija spuštena na sto.
Oslonili smo se na jednostavno zapažanje: senka čini površinu tamnijom, ali zadržava njenu šaru, odnosno teksturu stola, ivice predmeta, dezen. Predmet koji se pojavio u zoni tu šaru prekriva. Zato sistem ne procenjuje osvetljenost, već očuvanost strukture slike. On računa koliki je udeo površine zone izgubio svoju prethodnu šaru.
Prva verzija je tu ocenu usrednjavala po celoj zoni, i to nije uspelo. Srednja vrednost za senke na stvarnim kadrovima iznosila je od 0,77 do 0,87, a za pravi događaj 0,806, dakle unutar istog raspona. Predmet je obično mali u odnosu na zonu i u proseku se gubi. Pokušali smo i da kompenzujemo ukupnu promenu osvetljenosti, ali ni to nije pomoglo da se senke izdvoje.
Uspela je druga razlika. Predmet narušava strukturu kompaktnom mrljom, a ivica senke ili traka svetla daje tanku liniju. Sistem posebnim filterom uklanja tanke linije, zadržava mrlje i zatim računa njihov udeo u površini zone. Pragovi su određeni na osnovu stvarnih kadrova sa objekata:
- dnevne senke — od 0 do 6,5% površine zone;
- svetlo upaljeno noću — od 6 do 7,8%;
- stvarni događaj — od 12,2 do 13,4%.
Granica je postavljena na 8%. Ako je promena manja, sistem označava zonu kao „moguće senka“ i ne podiže alarm.
Ova provera nije jedina zaštita. Ako se noću ili u praznoj prostoriji nešto promenilo, a ljudi u kadru nema, to je gotovo sigurno svetlo. Masovno gašenje svetla prepoznaje se posebno, po promeni cele scene. Provera strukture pokriva najteži slučaj: senke danju, kada su ljudi uvek u kadru i pravilo „nema čoveka — nema događaja“ ne pomaže.
Bafer u memoriji umesto neprekidnog snimanja
Prva verzija je snimala video neprekidno, i u praznom magacinu to je brzo punilo disk satima snimaka na kojima se ništa ne dešava. Sada se poslednjih 60 sekundi svakog toka čuva u radnoj memoriji, a na disk odlazi samo epizoda sa aktivnošću zajedno sa nekoliko sekundi pre nje. U radu sa četiri kamere to je zauzelo ukupno oko 53 MB memorije, otprilike 16 MB po kameri rezolucije 1280×720.
Snimanje počinje kada sistem vidi čoveka ili primetan pokret. Da se snimak ne bi prekidao, prag za nastavak snimanja niži je od praga za početak: čovek koji sedi za stolom gotovo se ne pomera, a pouzdanost njegovog prepoznavanja varira. Bez toga se snimanje prekidalo iako je čovek ostajao u kadru. Susedne epizode spajaju se bez ponavljanja. Ranije su se preklapale za 10–19 sekundi, i isti video se čuvao dvaput.
Snimci se čuvaju u formatu koji može da se pročita čak i ako se program nasilno ugasi usred snimanja. Proverili smo to prinudnim zaustavljanjem procesa u 96. sekundi snimanja: fajl se otvorio u celosti.
Ključni kadrovi umesto potpunog dekodiranja
Video sa kamere je kompresovan. Puni, odnosno ključni kadrovi stižu otprilike jednom u dve sekunde, a između njih se prenose samo promene. Da bi se dobio svaki kadar, ceo tok mora neprekidno da se dekodira, a to je glavno opterećenje procesora.
Izmerili smo potrošnju na Full HD kameri sa kodekom H.265. Samo čitanje toka košta 0,01 jezgra procesora, čitanje toka uz dekodiranje samo ključnih kadrova 0,06 jezgra, a dekodiranje svega 0,43 jezgra. Za praćenje predmeta u zonama dovoljan je jedan kadar na dve sekunde, pa se za takve kamere uključuje štedljivi režim. Za brojanje ljudi koji prelaze liniju on nije pogodan: čovek prođe brže nego što stigne sledeći ključni kadar.
Tok se pritom ipak čita u celini. Ako se čita sporije nego što ga kamera šalje, slika počinje da kasni. U jednom slučaju kašnjenje je dostiglo osam minuta, iako je po svim internim pokazateljima kamera izgledala ispravno. Od tada se aktuelnost kadra proverava po satu koji kamera sama utiskuje u sliku.
Prvo merenje, pa optimizacija
Preliminarne procene predviđale su od 1,7 do 2,5 jezgra procesora po kameri. Merenje na sistemu u radu pokazalo je nešto drugo: oko 55% vremena odlazi na poređenje zona, a tek oko 3% na čitanje video tokova. Zato smo optimizovali ono što zaista opterećuje sistem i nismo smanjivali rezoluciju. Provera strukture radi sa sitnim detaljima slike, i na umanjenoj slici lošije bi razlikovala senku od predmeta.
Šta je napravljeno
- Aplikacija za Windows: panel kamera, podešavanje zona, poseban ekran za ljude u kadru, pokretanje iz sistemske trake i instalacioni program.
- Povezivanje sa IP kamerama i rekorderima preko RTSP-a, uključujući Dahua opremu.
- Kontrola zona sa proverom strukture koja odbacuje senke, odsjaje i promene osvetljenja.
- Prepoznavanje ljudi u kadru kao dodatni filter.
- Snimanje po događaju sa baferom u memoriji i snimci otporni na otkaze.
- Štedljivi režim čitanja toka za kamere koje prate predmete.
- Stalna provera pozadinskih procesa.
Praktična vrednost
Firma dobija korist od kamera koje je već kupila i postavila. Umesto višesatne arhive koju niko ne gleda, stižu signali o konkretnim događajima: na recepciji je neko ostavio ili uzeo stvar, na izlogu ili u magacinu promenio se sadržaj police. Svaki signal prati kratak snimak, pa se situacija može razjasniti za minut.
Signali stižu s razlogom, pa ih ljudi ne počinju da ignorišu: sistem je koristan samo dok se njegovim porukama veruje.
Poseban server nije potreban. Baferi u memoriji za četiri kamere zauzimaju desetine megabajta, a štedljivi režim čitanja toka troši mali deo jezgra procesora po kameri.
Perspektive
Pragovi sistema određeni su na osnovu stvarnih kadrova i mogu da se podese za konkretan objekat. Ako u zoni treba primećivati sasvim sitne ili tanke predmete, osetljivost provere se povećava. Za mesta na kojima je važan svaki prolaz, a ne stanje police, ostaje režim potpune analize videa.