ICT 기반의 군중 밀집도 감시 및 위험 행동 인식 기술 동향

●

●

●


왕기철   ||  한국전자통신연구원 책임연구원
김재인   ||  한국전자통신연구원 선임연구원
김성창   ||  한국전자통신연구원 실장/책임연구원


*   본 내용은 왕기철 책임연구원(☎ 062-970-6531, gcwang@etri.re.kr)에게 문의하시기 바랍니다.

**   본 내용은 필자의 주관적인 의견이며 IITP의 공식적인 입장이 아님을 밝힙니다.

I. 서론

 현재 군중이 운집하는 상황에서 군중의 밀집도 감시 및 위험 관리 실패함에 따른 대형 사고들이 국내외에서 지속적으로 발생하고 있다. 실제, 군중은 자신이 위치한 지역의 밀집도를 인식하지 못하거나, 때로는 무관심하고 때로는 안일하게 생각하는 경향이 있다. 이로 인해, 군중 밀집 사고의 성격은 위험 예측의 난해성, 위험 상황의 급변성, 대형사고 등으로 표현된다. 본 연구진은 2000년 이후에 발생한 군중 밀집으로 인한 사고들의 시기, 장소, 규모 및 원인을 조사하였다. 이 조사의 결과에 따르면, 군중 밀집으로 인한 사고들은 예측하지 못한 규모의 군중 운집, 탈출구 부재, 진입 제한 부재 그리고 군중 밀집도 및 위험 행동 관리의 부재로 인해 발생하였다. 위의 원인들 중에서 군중 밀집도 관리와 군중의 위험 행동 관리를 묶어서 군중 관리라 하는데, 대부분의 사고가 군중 관리의 부재로 인해 발생하였다. 이에 대응하기 위하여, 최근에 ICT 기술을 활용하여 군중 관리를 수행하기 위한 다양한 연구들이 진행되고 있다.
 군중 밀집도는 일반적으로 단위 제곱미터 당 사람 수로 결정된다. 만일, 임의의 지역에서 군중 밀집도가 8에서 10이 되면, 해당 군중은 자신의 의지와 상관없이 떠밀려 움직이게 된다[1][2]. 이때 만일 누군가 넘어지게 되면, 군중은 자신의 몸을 제어할 수 없기 때문에 대형사고로 이어지게 된다[1][2]. 따라서, 군중이 운집하는 장소에서 ICT 기반의 기술을 통해 군중 밀집도를 신속하게 탐지하고, 군중 밀집도가 높아지는 경우에 질서 유지 인력을 신속히 투입하여 밀집도를 분산시키는 것이 반드시 필요하다. 또한, 군중이 운집한 상황에서 일부 군중이 위험한 행동을 수행하게 되면, 혼란과 무질서가 발생하게 되어 대형사고로 이어지게 된다. 이를 예방하기 위해서는 군중이 운집한 상황에서 일부 군중 그룹의 위험 행동을 ICT 기술을 통해 선제적으로 인식하고, 질서 유지 인력을 투입하여 해당 위험 행동을 억제해야 한다.
 본 고에서는 ICT 기술을 활용하여 군중 밀집도를 감시하는 기술들과 군중 내 특정 그룹의 위험 행동을 인식하는 기술들을 살펴본다. 먼저, II장에서는 군중 밀집도 감시를 위한 최근의 연구 및 개발 동향을 간략히 소개한다. III장에서는 군중 밀집도 감시를 위해 CCTV 영상과 영상이 아닌 기술들을 함께 활용하는 방법들을 최근의 연구 결과들을 중심으로 설명한다. IV장에서는 ICT 기술들을 활용하여 군중의 위험 행동을 인식하는 최근의 연구 결과들을 살펴본다. 끝으로 V장에서는 본 고의 결론을 제시한다.

 


II. 군중 밀집도 감시 기술 개발 동향

 군중 안전 전문가인 G. K. Still 교수는 군중 밀집에 따른 안전 및 위험성 분석에 관한 연구를 오랫동안 진행해 왔다[2]. Still 교수의 연구 분야는 군중 밀집으로 인한 사고 조사, 군중 밀집도에 따른 위험성 분석, 밀집 군중의 이동 흐름에 따른 위험성 분석, 시뮬레이터를 이용한 밀집 위험성 가시화, 시뮬레이터를 이용한 압사 상황 피해 가시화 작업 등을 포함한다.

<자료> C. Shao, P. Shao and F. Kuo, “Stampede Events and Strategies for Crowd Management”, J. Disaster Res., 14(7), 2019, pp.949-958.

[그림 1] 군중의 25%가 노년층인 경우 탈출 안전 시간(8분) 후의 출입구 상황 시뮬레이션

 Shao 등은 군중의 밀집에 따른 압사 사고의 위험 요소를 실내와 실외로 구분하여 제시하였다[3]. 먼저, 실내의 경우에 해당 영역 내의 인원수, 영역 내 체류시간, 보행속도, 군중 압력을 압사 사고의 위험 요소들로 정의하였다. 두 번째, 실외의 경우에는 방화, 메카 순례, 테러와 같은 인간적인 요소, 홍수나 지진과 같은 자연재해 요소 그리고 구조물 붕괴와 같은 시설 위험 요소를 식별하였다. 저자들은 위험 측정을 위한 지표로서 군중 밀집도와 흐름 공계수를 정의하였다. 여기서, 흐름 공계수는 1미터 폭의 출입구를 통과하는 사람 수를 의미한다. 또한, 저자들은 Simulex로 시뮬레이션을 수행하여 군중 밀집도와 흐름 공계수를 측정하였다. 이 결과를 보면, 실내 압사 사고를 예방하기 위해 군중 밀집도는 4 이하가 되어야 하며, 흐름 공계수는 1 이하가 되는 것이 적합하였다. 또한, 노령층이 군중에 포함되어 있는 경우에 이동시간이 지체되고, 이로 인해 [그림 1]처럼 출입구에서 압사 사고가 발생할 확률이 크게 증가함을 보였다.

<자료> W. Weng, J. Wang, L. Shen and Y. Song, “Review of analyses on crowd-gathering risk and its evaluation methods”, J. Saf. Sci. Resil., 4, 2023, pp.93-107. 재가공

[그림 2] 군중 밀집도 모니터링 방법들과 미래 발전 방향

 Weng 등은 군중 밀집의 위험을 관리하기 위한 절차로서 위험 진화 과정 분석, 위험 모니터링, 위험 평가 방법을 정의하였다[4]. 먼저, 저자들은 위험이 진화하는 과정을 제시하였고, 이 과정의 분석을 통해 군중 밀집의 위험 요소들을 밀집도, 속도, 압력 그리고 기타 요소들로 식별하였다. 둘째, 저자들은 위험을 모니터링하는 기존의 방법들을 분석하여 특성 기반으로 분류하고, 미래에 이들을 고도화하여 성능을 높이기 위한 방법으로써 환경 및 건물 구조 모니터링의 융합 그리고 다중 센서 융합 및 다중 플랫폼 융합을 제안하였다. [그림 2]는 저자들이 제시한 군중 밀집도 모니터링 방법의 분류와 미래의 발전 방향을 보여준다.

 


III. 영상 및 비영상 기반의 군중 밀집도 감시 기술

<자료> V. W. Wong and K. H. Low, “Fusion of CCTV Video and Spatial Information for Automated Crowd Congestion Monitoring in Public Urban Spaces”, Algorithms 2023, 16(3), 154, 2023, 재가공

[그림 3] CCTV 영상과 건물 지도를 활용한 밀집도 맵 작성 과정

 Wong 등은 CCTV 영상에서 인물을 추출하고 추적한 뒤에 추적한 인물들을 건물 실내 지도에 사상시켜서 밀집도 지도를 만드는 방법에 대해 제안하였다[5]. 이 방법에서 밀집도 지도는 밀집도에 따라 하얀색, 파란색, 녹색, 노란색, 빨간색 순서로 변화된다. 또한, 시공간 데이터 집합에 대해 그래프를 생성하여 밀집도 지도를 작성하면, 군중의 이동 흐름을 파악하고 밀집도의 변화를 근접하게 예측할 수 있음을 보였다. [그림 3]은 CCTV 영상과 건물 지도를 활용한 밀집도 맵의 작성 과정을 보여준다.

<자료> M. Gulliano, F. Mazzenga, E. Innocenti and A. Vizzarri, “Integration of Video and Radio Technologies for Social Distancing”, IEEE Commun. Mag. 59(9), 2021, pp.30-35. 재가공

[그림 4] CCTV 영상과 무선 통신을 활용한 밀집도 완화 방법

 Giuliano 등은 사람들이 많이 모이는 장소에 입장하는 사람들에게 무선 통신 장치를 소지하게 하고, 그들이 일정 시간 동안 근접성을 유지하면 그들이 소지한 무선 통신 장치의 ID들을 파악하고 알람 메시지를 전송하는 방법[6]을 제안하였다. 이 방법은 먼저 CCTV 영상을 통해 사람들과 그들 간의 거리를 감지하고, 그 거리가 일정 시간 동안 임계치 이하이면 이를 서버에 알린다. 서버는 사람들이 모여있는 곳에 근접한 마커에 이를 알리고, 그 마커는 주변의 무선 통신 장치들의 ID와 그들과의 거리를 파악하여 서버에 전송한다. 서버는 이를 통해 마커 주변의 무선 장치 소유자들에게 안전거리를 유지하도록 휴대폰 경고 메시지를 전송한다. 이 방법은 원래 팬데믹 시기에 사람들 사이에 사회적 거리를 유지하기 위한 방법으로 제안되었으나, 군중이 밀집되기 쉬운 지역에서 밀집도를 탐지하고 완화하는 방법으로 이용될 수도 있다. 다만, 이 방법은 사용자들이 시스템이 동작하는 장소에 입장하기 전에 자신의 휴대폰 전화번호를 알려주고 무선 통신 장치를 배부 받아서 상시적으로 소지해야 한다는 문제점이 있다. [그림 4]는 영상과 무선 통신을 모두 활용하는 밀집도 완화 방법을 보여준다.

<자료> Y. Jiang, Y. Miao, B. Alzahrani, A. Barnawi, R. Alotaibi and L. Hu, “Ultra Large-Scale Crowd Monitoring System Architecture and Design Issues”, IEEE Internet Things J. 8(13), 2021, pp.10356-10366. 재가공

[그림 5] 카메라 영상, UAV 편대, 센서 네트워크를 이용하여 군중 밀집도 측정 프레임워크

<자료> Y. Cheng and R. Y. Chang, “Device-Free Indoor Counting Using Wi-Fi Channel State Information for Internet of Things”, Proc. of 2017 IEEE Global Communication Conference(GLOBECOM), Singapore, Dec. 2017, pp.1-6.

[그림 6] 실내 인원수 계수에 사용된 WiFi 신호의 CSI 정보

 Jiang 등은 군중 밀집도 측정을 위해 CCTV 및 적외선 영상, 무인기 편대 그리고 센서 네트워크를 같이 이용하는 프레임워크를 제안하였다[7]. [그림 5]는 CCTV 및 적외선 영상, 무인기 편대, 센서 네트워크를 같이 이용하는 군중 밀집도 측정 프레임워크이다. 이 논문의 실험 결과는 CCTV와 무인기 편대만을 이용하여 수행되었고, 이들이 CCTV 영상만을 이용하는 방법에 비해 성능을 얼마나 향상시키는지 제시되지 않았다.
 Cheng 등은 실내에 WiFi 신호 송신기와 수신기를 하나씩 배치하고 수신기에서 수신된 신호의 CSI(Channel State Information)를 수집한 뒤에 수집한 신호들을 심층 신경망으로 학습하여 0에서 9명까지의 실내 인원을 계수할 수 있는 시스템을 제안하였다 [8]. 제안된 방법은 밀집 신경망을 사용하였으며, 최대 9명까지를 88%의 정확도로 구분할 수 있음을 보였다. [그림 6]은 이 시스템이 4명까지의 실내 인원을 구분하는 CSI 진폭 그래프이다. 그러나 이 방법은 실내에서만 사용이 가능하고, 사람 사이의 간격이 최소 1미터 이상일 경우에만 동작하는 문제점이 있다.

<자료> 주식회사 지란지교 데이터, 밀집도 예측 시스템 및 방법, 특허 출원번호 10-2022-0177, 출원일 2022. 12. 19., 등록일 2023. 5. 19., 재가공

[그림 7] 상용 무선 통신과 CCTV 영상을 활용한 밀집도 감시 및 완화 방법

 최근에 한 국내 회사는 상용 통신망에 접속된 무선 단말의 수와 CCTV 영상을 함께 분석하여 군중 밀집도 감시 지역의 밀집 인원수를 추정하고, 밀집도를 완화하는 특허를 출원하였다[9]. [그림 7]은 상용 무선 통신과 CCTV 영상을 활용하는 밀집도 감시 및 완화 방법을 보여준다. 이 특허에서 밀집도 예측 서버는 상용 통신망의 위치 서버가 접속된 단말과의 실시간 통신을 통해 추정한 인원 수를 바탕으로 실시간 밀집도를 측정하고, CCTV 영상을 추가적으로 분석하여 감시 지역에서 군중 밀집도의 정확성을 높인다. 감시 지역의 군중 밀집도가 임계치 이상인 경우에, 이 방법은 사용자들의 단말에 메시지를 전송하여 군중 밀집도가 낮은 지역으로 이동하도록 한다. 위 특허의 군중 밀집도 측정과 유사하게, 이동통신 회사들은 사용자들의 이동통신 기지국 접속기록을 통해 기지국 내 밀집도를 추정하는 고객 위치 정보 시스템(Cellular-based Positioning System: CPS)을 제공하고 있다. 그러나 위의 특허에서 제시한 밀집도 완화 서비스를 제공하기 위해서는 어떤 기지국의 영역 내에서 밀집도의 고저를 측정할 수 있어야 하고, 고 밀집도의 사용자들에게만 이동 유도 메시지를 전송할 수 있어야 한다. 이를 위해서는 LPP(LTE Positioning Protocol)[10]나 NRPPa(New Radio Positioning Protocol A)[10]와 같은 사용자 위치 인식 프로토콜들을 먼저 사용자 단말과 이동통신망 장비들에 구현해야 하는 문제점이 있다.


 


Ⅳ. 군중 내 특정 그룹의 위험 행동 인식 기술

 Meneghello 등은 실내에서 송출된 WiFi 신호가 인체에 반사되어 수신기에 전달될 때, 수신측에서 전달된 신호의 도플러 변이를 측정하여 그 사람의 행위를 인식하는 방법을 제안하였다[11]. 이 방법은 먼저 수신된 도플러 변이를 이미지로 바꾼 후에 세 갈래의 합성곱 신경망 체인을 통과시켜 나온 출력들을 하나로 통합한다. 이후에, 통합된 출력을 평탄화시키고 밀집 신경망을 통과시켜서 5가지 행위에 대한 벡터를 출력한다. 수신측에 안테나가 다수인 경우에, 각각의 수신 신호에 대해 위의 과정을 반복하면, 안테나 수만큼의 행위 벡터가 생성되고 이를 집약하면 하나의 행위 레이블을 추출할 수 있다. 집약하는 방법은 각 행위 벡터의 출력(가장 높은 값)들에서 다수결로 결정하거나 행위 벡터들의 값들을 요소별로 더하고 가장 큰 요소값을 행위 레이블로 결정한다. 그러나 이 방법은 실내에서만 적용이 가능하고, 행동 인식의 범위가 한 사람으로 제한된다는 단점이 있다. [그림 8]은 도플러 변이 기반의 행위 인식 방법을 보여준다.

<자료> F. Meneghello, D. Garlisi, N. D. Fabbro, I. Tinnirello and M. Rossi, “SHARP: Environment and Person Independent Activity Recognition With Commodity IEEE 802.11 Access Points”, IEEE Trans, Mob, Comput, 22(10), 2023, pp.6160-6175. 재가공

[그림 8] WiFi 수신 신호의 도플러 변이를 활용한 실내 행위 인식 방법

 Noor는 메카 순례와 같은 대규모 군중이 밀집하는 상황에서 CCTV 영상을 통해 얻어진 이미지들의 옵티칼 플로우를 추출하고 위험 행동을 인식하는 방법을 제안하였다 [12]. 이 방법은 먼저 이미지에서 군중의 옵티칼 플로우를 추출하고 이들의 오차를 제거한다. 다음으로, 군중의 옵티칼 플로우들을 크기에 따라 K-Means 클러스터링 기법을 통해 분류한다. 마지막으로, 군중 내에서 임계치를 넘어서는 옵티칼 플로우를 가지는 사람들을 적색으로 나머지는 녹색으로 표시하여 위험 행동을 인식한다.
 Chen 등은 시공간 그래프 합성곱 신경망에 기반한 그룹 행동 인식 알고리즘을 제안하였다[13]. 이 방법은 먼저 영상의 프레임 내에서 인식된 사람들의 인접 관계를 그래프로 모델링한다. 다음으로, 이 그래프의 시간적 변화를 시공간 그래프 합성곱 신경망을 사용하여 학습한 뒤에 이후의 군중 행동 변화를 예측한다. 이 방법은 딥러닝을 이용하거나 옵티칼 플로우를 이용하는 방법에 비해 위험 행동 인식률을 향상시킴을 보여주었다.
 Alafif 등은 CCTV 영상에서 비정상 행동을 수행하는 프레임들을 인식하고, 비정상 프레임들에서 인식된 사람들의 옵티컬 플로우를 측정하여 비정상 행위들을 확정하는 기법을 제안하였다[14]. 이 방법에서는 먼저 대규모 군중 영상 집합에서 비정상 행위들을 레이블링하여 합성곱 신경망에 학습시킨 후에 실제 테스트 영상에서 비정상 프레임들을 식별한다. 이후에 식별된 비정상 프레임들에 옵티칼 플로우와 칼만 필터를 적용하여 비정상적인 움직임을 보이거나 그럴 것으로 예측되는 객체들을 식별하여 표시한다. 다음으로, 표시된 객체들의 움직임 통계값(평균, 분산, 표준편차)을 이용하여 RF(Radom Forest) 기반의 분류를 확정한다.
 Sharma 등은 다양한 크기의 이미지 특성 맵에 대해 각각 셀프 어텐션을 적용하여 통합함으로써 이미지 크기 변화에 강건한 밀집도를 측정하고, 움직임 지도와 에너지 분포 기반의 특성 변화를 이용한 비정상 행위를 탐지하는 기법을 제안하였다[15]. 이 방법의 군중 밀집도 측정에서 합성곱 층을 통해 생성된 특성 맵들에 대해 다른 확장 비율로 커널을 적용한 후에 각각의 확장 비율에 대해 셀프 어텐션 기법을 적용한다. 각각의 확장 비율과 셀프 어텐션 기법이 적용된 특성 맵들은 이미지의 크기 변화에 강건한 특성 추출이 가능하기에 보다 정확한 군중 밀집도 측정이 가능해진다. 이 방법의 비정상 행위 인식에서는 이미지의 옵티칼 플로우를 측정하여 움직임 지도를 그린 후에, 움직임이 두드러지는 부분과 그렇지 않은 부분을 구분하여 균일성, 엔트로피, 대비성을 측정한다. 다음으로, 이미지 프레임들에서 균일성, 엔트로피, 대비성이 급격히 변화하는 프레임이 존재하면 이 프레임을 비정상 프레임으로 인식한다.

 


Ⅴ. 결론

 본 고에서는 군중이 운집하는 장소에서 사고위험을 감소시키기 위해서 군중의 밀집도 감시와 군중의 위험 행동 인식이 모두 중요함을 설명하고, 이를 위한 기술들을 차례로 소개하였다. 먼저, 일반적인 군중의 밀집도를 감시하기 위한 최근의 연구 및 개발 동향을 소개하였다. 두 번째, 군중의 밀집도 관리를 위해 영상과 비영상을 활용하는 기술들을 소개하고 분석하였다. 세 번째, 군중의 위험 행동 인식을 위한 ICT 기반의 기술들을 소개하고 분석하였다.
 본 고에서 소개된 군중 밀집도 감시 기술들과 군중의 위험 행동 인식 기술들은 군중 관리를 위한 필수적인 기술이지만, 실제 감시 영역에 적용되기 위해서는 정확도가 향상되어야 한다. 먼저, 군중의 밀집도 감시 기술들은 CCTV 영상의 사각 지역, 사람 간 가림 현상, 사람 간 겹침 현상 등으로 인해 밀집도 측정의 정확성이 떨어지게 된다. 물론, CPS와 같은 보조 정보를 사용하여 정확성을 일부 향상시킬 수는 있으나, 정교한 군중 밀집도 관리를 위해서는 사용자의 위치를 보다 정확하게 인식하는 프로토콜의 사용이 필요하다. 군중의 위험 행동 인식 기술 또한 CCTV 영상과 인공지능 기술을 통해 정확성을 높이고 있지만, 앞서 말한 CCTV 영상 자체의 한계로 인해 보조적인 위험 행동 인식 수단의 사용을 통해 정확성을 더 향상시킬 필요가 있다.

[ 참고문헌 ]

[1] M. Haghani and R. Lovreglio, “Data-based tools can prevent crowd crushes”, Science 378(6624), 2022, pp.1060-1061.
[2] “Crowd Risk Analysis Ltd,” https://www.gkstill.com/
[3] C. Shao, P. Shao and F. Kuo, “Stampede Events and Strategies for Crowd Management”, J. Disaster Res. 14(7), 2019, pp.949-958.
[4] W. Weng, J. Wang, L. Shen and Y. Song, “Review of analyses on crowd-gathering risk and its evaluation methods”, J. Saf. Sci. Resil. 4, 2023, pp.93-107.
[5] V. W. Wong and K. H. Low, “Fusion of CCTV Video and Spatial Information for Automated Crowd Congestion Monitoring in Public Urban Spaces”, Algorithms 16(3), 2023, Article 154.
[6] M. Gulliano, F. Mazzenga, E. Innocenti and A. Vizzarri, “Integration of Video and Radio Technologies for Social Distancing”, IEEE Commun. Mag. 59(9), 2021, pp.30-35.
[7] Y. Jiang, Y. Miao, B. Alzahrani, A. Barnawi, R. Alotaibi and L. Hu, “Ultra Large-Scale Crowd Monitoring System Architecture and Design Issues”, IEEE Internet Things J. 8(13), 2021, pp.10356-10366.
[8] Y. Cheng and R. Y. Chang, “Device-Free Indoor Counting Using Wi-Fi Channel State Information for Internet of Things”, Proc. of 2017 IEEE Global Communication Conference (GLOBECOM), Singapore, Dec. 2017, pp.1-6.
[9] 주식회사 지란지교 데이터, 밀집도 예측 시스템 및 방법, 특허 출원번호 10-2022-0177, 출원일 2022. 12. 19, 등록일 2023. 5. 19.
[10] Dwivedi et al., “Positioning in 5G Networks”, IEEE Commun. Mag. 59(11), 2021, pp.38-44.
[11] F. Meneghello, D. Garlisi, N. D. Fabbro, I. Tinnirello and M. Rossi, “SHARP: Environment and Person Independent Activity Recognition With Commodity IEEE 802.11 Access Points”, IEEE Trans. Mob. Comput. 22(10), 2023, pp.6160-6175.
[12] T. H. Noor, “Behavior Analysis-Based IoT Services For Crowd Management”, Comput. J. 66(9), 2023, pp.2208-2219.
[13] X. Chen and V. Dinavahi, “Group Behavior Pattern Recognition Algorithm Based on Spatio-Temporal Graph Convolutional Networks”, Sci. Program. 2021, 2021, Article 2934943.
[14] T. Alafif et al., “Hybrid Classifiers for Spatio-Temporal Abnormal Behavior Detection, Tracking and Recognition in Massive Hajj Crowds”, Electronics 12(5), 2023, Article 1165.
[15] V. K. Sharma, R. N. Mir, C. Singh, “Scale-aware density estimation and crowd behavior analysis”, Comput. Electr. Eng. 106, 2023, Article 108569.

* 본 자료는 공공누리 제2유형 이용조건에 따라 정보통신기획평가원의 자료를 활용하여 제작되었습니다.