1. 서 론
모든 구조물은 시간이 흐름에 따라 외부 환경의 영향을 받아 재료적, 구조적 성능 저하가 발생하게 된다. 이러한 노후화로 인해 구조물의 안전성과 사용성이 감소하고, 결국에는 구조물 본연의 역할을 수행하지 못하는 단계에 이르게 된다. 예를 들면, 2007년도 미국 미네소타주의 Squirt 교량은 노후로 인하여 붕괴 되었으며(Lee, 2011), 2018년도 이탈리아 제노바 에서는 노후화로 인한 Morandi 교량 붕괴사고로 인하여 60여명의 사상자가 발생하였다(Lee, 2019).
우리나라의 경우 1970~1980년대에 집중 개발된 사회기반시설물들이 30년 이상 경과되어 노후화로 인한 문제가 크게 대두될 전망이다(Cha, 2016). 시설물 안전법 대상 시설물 가운데 건설된 지 30년 이상 된 고령화 시설물의 비율은 1종 시설물의 경우 7.7%, 2종 시설물의 경우 4.4%이며, 향후 시설물의 노후화가 급격히 진행될 것으로 예상된다(Kim, 2018).
구조물의 노후화에 따른 피해를 최소화시키기 위해 구조물 점검 및 유지관리의 필요성이 증대되고 있다. 현재 구조물의 노후화를 평가하거나 구조물을 점검하는 데에는 전문가가 직접 구조물의 상태를 확인하고 평가 하고 있다. 하지만 이러한 평가 방법은 전문가의 의견으로 주관적인 요소가 많이 개입 될 뿐만 아니라, 상당한 인력과 시간을 필요로 한다.
구조물의 노후화 상태를 파악하는 자동화 기술로 가장 많이 사용되고 있는 기술은 진동 기반 구조 건전성 모니터링(Structure Health Monitoring)이다. 진동 기반 구조 건전성 모니터링 기술은 구조물에 가속도계 등의 센서를 부착하여 진동을 측정하고, 이 정보로부터 구조물의 상태를 파악하는 기술이다. 최근에도 진동기반 구조 건전성 모니터링에 신호처리와 칼만 필터 등을 활용하는 등 관련 연구가 활발하게 수행되고 있다(Amezquita-Sanchez and Adeli, 2016; Erazo et al., 2019). Juang and Pappa (1985)는 교량 등의 구조물에서 진동을 측정한 정보를 역해석하여 구조물의 시스템을 예측하는 시스템 식별 알고리즘 Eigensystem Realization Algorithm (ERA)을 개발하였고, Bernal (2002)은 구조물의 손상 위치를 자동으로 찾아내는 Damage Localization Vector (DLV) 알고리즘을 개발하였으며, 이러한 알고리즘들을 진도대교 등 실제 교량에 적용한 연구 사례들도 있다(Jang et al., 2010).
구조 건전성 모니터링 기술은 동적하중 측정 유무에 따라 크게 거동 측정 기반 방법(Output-Only Method)와 하중-거동 측정 기반 방법(Input-Ouput Method)로 구분 할 수 있다. 거동 측정 기반 방법은 Input인 동적 하중을 백색 소음(White Noise)으로 가정하고 Output인 동적 거동 정보만을 측정하여 이용하는 기술이기 때문에 정확도에 문제점이 발생한다. 반면에 하중-거동 측정 기반 방법은 구조물에 가해지는 동적 하중과 동적 거동을 모두 측정하여 모니터링에 이용하기 때문에 거동 측정 기반 방법 보다 높은 정확도를 얻을 수 있는 장점이 있다.
이러한 장점에도 불구하고 대부분의 모니터링 연구에서는 거동 측정 기반 방법이 널리 사용된다. 이는 거동 측정 기반 방법이 더 정확하기 때문이 아니라 Input 측정이 어렵기 때문이다. 일반적으로 Input의 측정을 위해 해머(Hammer) 등을 활용한 충격 재하 실험(Impact Loading) 방법이 사용되지만, 별도의 장비가 필요하거나, 측정을 위해 교통 통제를 필요로 하는 경제적인 한계를 가지고 있다.
최근 디지털 영상기기와 영상 처리 기술이 급속도로 발전하고 있으며, 이러한 기술들은 시설물 점검, 진단 및 재난 안전 분야, CCTV를 이용한 현장 관리 및 재난 감지/대응, 구조물의 균열 상태 점검, 그리고 동적 변위 측정에도 사용되고 있다(Park et al., 2014; Yoon et al., 2016). 이러한 영상 기법들을 활용하면 구조물의 가해지는 동적 하중을 예측하는데 크게 도움이 될 것으로 고려되나, 아직까지 영상기법들을 활용하여 구조물의 동적 하중을 예측하는 연구는 미비한 것으로 보인다.
가속도 측정과 구조물의 변형률을 이용하는 등 센서를 활용하여 하중의 위치를 구조물의 구동으로부터 예측하는 연구는 수행되어 왔다(Cho et al., 2007). 하지만 System Identification을 위한 하중의 위치는 대부분 영상 정보로부터 사용자가 대략적인 위치를 추정하고 있다. 동일한 하중이라도 가해지는 위치에 따라 구조물이 보이는 거동은 매우 달라지기 때문에 하중의 위치를 추정하는 것은 하중-거동 측정 기반 방법에서 매우 중요하다.
따라서 본 연구에서는 영상기법을 활용하여 구조물에 가해지는 동적 하중에 대한 위치정보를 측정하고자 한다. 추가적인 고가의 장비나 실험 등을 필요로 하지 않고, 상용화된 카메라만을 활용한 모션센싱 기법을 개발하여 보다 편리하고 경제적으로 측정 및 분석을 수행 할 수 있고, 구조물 건전성 모니터링에 활용할 수 있도록 하고자 한다. 본 연구에서는 비교적 동적 하중에 종류가 단순한 보도교를 대상으로 하였으며, 보도교의 가장 대표적인 동적 하중인 보행자의 위치정보를 측정하고자 한다.
본문에서는 영상기반 모션센싱 기법을 (1) 객체 추적(Object Tracking)과 (2) 좌표계 변환 및 위치인식의 두 프로세스로 나누어 설명하였으며, 검증 실험, 결과 분석과 토의, 그리고 마지막 결론 순으로 기술하였다.
2. 영상기반 위치정보 측정시스템
2.1 시스템 개요
본 연구에서 제시하는 전체 시스템의 개요는 다음과 같다(Fig. 1). 상용 카메라나 스마트폰으로 촬영된 영상에 객체 추적 알고리즘을 적용, 구조물 위에서 움직이는 객체를 지속적으로 추적한다. 이를 통해서 영상 프레임에서 픽셀(Pixel)로 이루어진 좌표 정보를 얻을 수 있다. 영상 내에서 이미 길이를 알고 있는 물체를 이용하여 이미지 좌표계에서 실제 좌표계로 변환하는 비율을 얻을 수 있는데, 이를 이용하여 위에서 얻은 좌표를 변환, 구조물에 가해지는 동적 하중의 위치로 산정한다.
2.2 객체 추적
본 연구에서 개발한 시스템의 첫 번째 단계는 촬영한 비디오로부터 동적 하중에 해당되는 객체를 추적(Object Tracking)하는 단계이다. 객체 추적은 상용 카메라나 스마트폰 등으로 기 촬영된 영상을 후처리 과정을 통해 추적하거나, 실시간으로 촬영되고 있는 영상을 활용할 수 있도록 구현하였다.
영상처리 기술 중에서 객체의 위치를 예측할 수 있는 방법으로는 크게 객체 검출(Object Detection)기법, 유사 특징점 탐지(Feature Matching)기법과 추적(Tracking) 기법 등이 있다. 객체 검출 기법은 딥러닝(Deep-Learning) 등의 인공지능 기술을 이용하여 검출하고자 하는 객체를 미리 학습시킨 후 학습된 모델을 통해 영상에서 객체의 종류와 위치를 검출해내는 방식이다. Redmon et al. (2016)이 제시한 YOLO (You Look Only Once) 객체 검출 알고리즘의 경우 1장의 프레임을 처리하는데 약 400 ms (millisecond), 즉 2.5 FPS (frames per second) 의 처리속도를 나타내었다(Fig. 2).
위의 결과와 같이 객체 검출 알고리즘은 미리 학습된 객체가 아닌 경우 검출이 불가능하고, 학습과 객체를 검출하는 과정에서 많은 연산이 필요함에 따라 매우 낮은 처리속도를 보여 실시간 영상에 적용하기엔 어려울 것으로 판단된다. 유사 특징점 탐지 기법은 영상의 매 프레임마다 영상 전체 부분에 대하여 특징점(Feature)들을 추출하고 프레임간의 특징점들의 유사도를 계산하여 추적하는 방법으로 많은 연산 과정이 수반되는 어려움이 있다. 이에 반해 추적 기법은 기준이 되는 프레임에서 특징점을 한번만 추출하여 각 특징점의 모양, 움직임의 방향과 속도 정보를 가지고 다음 프레임에서의 객체 위치를 예측하기 때문에 상대적으로 더 빠른 연산이 가능하다. 또한 객체가 다른 객체나 구조물 등에 가려졌을 때 객체 검출이나 유사 특징점 탐지 기법의 경우 찾아냈던 객체를 상실하지만, 추적 기법의 경우 기존 정보를 가지고 가려진 객체의 위치정보를 예측, 간직할 수 있기에 하중의 위치를 유지할 수 있다.
따라서 본 연구에서는 추적 기법을 사용하였으며, Fig. 3과 같이 연구의 목표에 적합한 추적 기법을 선택하기 위해 추적 기법들의 성능을 비교하였다. 여러 영상에 각각 동일한 ROI를 적용하였고, 초당 처리속도(FPS)를 표기하고 추적 성공 여부를 나타내는 알고리즘을 추가하여 처리속도와 추적 성공률을 평가하였다. 해상도에 따른 결과를 비교하기 위해 같은 영상을 해상도를 다르게 하여 추가 실험을 진행하였으며 신뢰도를 높이기 위해 각 영상에 대해 반복 실험으로 도출된 결과의 평균값을 사용하였다. 실험에 사용된 영상(Fig. 4)은 각 추적 기법이 다양한 상황에서 적절한 성능을 발휘하는지 알아보기 위해 객체 이동 경로 상에 배경의 색, 형태 등의 Intensity 가 급격하게 변화하는 영상과, 추적하는 객체가 다른 이동하는 객체에 의해 가려지는 영상 등을 이용하였다.
순환행렬의 특성을 이용한 Kernelized Correlation Filters (KCF) 알고리즘(Henriques et al., 2014) 의 경우 높은 처리속도를 보였으나 추적 중이던 객체의 배경이 급격하게 변화하는 경우나 객체가 가려지는 경우 추적 중이던 객체를 상실하는 경우가 빈번하게 발생 하였다. 물체의 현재 위치와 주변 위치까지 Positive example로 고려, 다중 인스턴스 학습을 통해 물체를 추적하는 Multiple Instance Learning (MIL) 알고리즘(Babenko et al., 2009)은 해상도에 따른 성능 편차가 불규칙하게 발생하였고, 낮은 처리속도를 보여주었다. 적응형 상관 필터를 이용한 Minimum Output Sum of Squared Error (MOSSE) 알고리즘(Bolme et al., 2010)은 매우 빠른 처리속도와 준수한 추적 성공률을 보였으나, 추적 중이던 객체가 가려지는 경우에 성능이 급격하게 하락하는 모습을 보였다. 관심 영역(Region of Interest, ROI)으로 설정한 객체의 가중치(Weight)를 Mapping하는 방식으로 작동하는 Channel and Spatial Reliability (CSRT) 알고리즘(Lukežic et al., 2017)은 공간 신뢰도 맵 구축, 제한된 상관 필터 학습, 채널 신뢰성 추정의 3단계 연산을 통해 작동한다. 첫 번째 단계는 ROI로 설정된 영역 안에서 필터가 작동하는 범위를 추적할 객체에 적합하도록 제한하여 직사각형이 아닌 불규칙한 모양의 객체에 대한 검색 범위와 성능을 향상시키는 단계이다. 두 번째 단계에서는 첫 번째 단계를 통해 제한된 영역 내의 픽셀들에 대해 배경의 영향을 감소시키고 객체에 해당하는 부분에 가중치를 부여한다. 마지막으로 제한되지 않은 전 영역에 대한 필터의 응답에 이전 단계에서 산정한 가중치를 곱해서 객체의 위치를 추정한다. 이러한 CSRT 알고리즘은 최상의 추적 성공률을 보여주었고, 처리 속도는 낮은 편에 속했으나 실사용에는 무리가 없는 수준으로 판단되어 본 연구에 적용하였다. Table 1은 추적 알고리즘들의 성능을 비교한 결과이다.
본 시스템에선 객체 추적에 앞서 사용자가 추적할 객체의 위치를 ROI 영역으로 지정해 주면 각 프레임별로 Fig. 5와 같이 좌측 상단을 원점으로 하는 이미지 좌표계에서 객체의 위치를 계산한다. 이때 객체의 위치는 원점에서부터 객체의 중심까지를 픽셀 단위로 계산한다. 이후 추적 알고리즘이 작동하여 객체의 이동에 따라 ROI 영역도 이동하게 되며 각 프레임별 좌표 값을 얻을 수 있게 된다.
2.3 좌표계 변환 및 위치산정
추적 기법을 통해 얻은 좌표는 실제 객체의 위치를 나타내는 정보가 아닌, 영상 프레임에서 객체가 있는 위치까지가 몇 개의 픽셀로 구성되어 있는가를 나타내는 정보에 불과하다. 이를 실제 객체의 위치인 길이 정보로 변환하기 위해서는 한 개의 픽셀이 얼마의 실제 길이에 대응하는지를 나타내는 Scale Factor를 계산해야 한다.
객체 추적에 사용된 영상에서 이미 길이를 알고 있는 사람이나 구조물을 이용하여, Scale Factor (해당하는 길이가 몇 개의 픽셀로 이루어져 있는지를)를 계산한 후, 영상 프레임에서의 위치를 실제 위치로 환산하는 방법을 사용 할 수 있다(Fig. 6).
추적을 위한 관심 영역(ROI) 으로 선택된 객체의 길이를 이미 알고 있다면 손쉽게 해당 객체를 구성하는 픽셀의 개수 X를 얻을 수 있다. 해당 객체의 실제 길이 Y를 X로 나누어 주면 픽셀 한 개에 해당하는 길이를 얻을 수 있다. 이렇게 얻어진 비율을 영상 프레임의 가로 픽셀 수 W에 곱하면 프레임에 담긴 실제 가로 폭 길이 Z가 산출된다. 이를 식으로 나타내면 Eq. (1)과 같다.
픽셀 당 실제 길이를 이용하면 (Fig. 5)에서 구한 객체까지의 픽셀 수 A가 실제 길이 얼마에 해당하는지 알 수 있고, A와 W, Z를 이용하여 객체의 실제 위치 A'을 계산할 수 있다(Eq. (2)).
2.4 구조 해석
마지막 단계는 구조해석 단계로써, 위에서 산출한 동적하중의 위치를 구조물의 유한요소 모델에 적용시키는 단계이다. 본 연구는 구조물의 동적 하중을 측정하는데 초점을 맞추었기 때문에, 간단한 가상의 보를 이용하여 결과를 분석하였다(Fig. 7).
3. 실험 및 검증
개발한 시스템의 성능을 검증하기 위하여 실내실험을 진행하였다. iPhone 7+에 탑재된 카메라를 이용, 카메라를 설치한 후 객체를 지속적으로 움직이게 하며 영상을 촬영하였고, Figs. 8, 9와 같이 영상 촬영에서 발생하는 왜곡을 보정하기 위해 Zhang (2000)이 제시한 알고리즘을 이용하여 카메라 캘리브레이션을 진행, 획득한 파라미터를 통해 영상을 보정하였다(Fig. 10).
이후 보정된 영상을 개발한 시스템을 통해 처리하였고 결과 값 비교를 위해 바닥의 길이를 측정하여 실제 길이를 얻었다. 영상 처리를 통해 계산된 전체 가로 폭 길이 및 객체의 위치와 측정을 통해 얻은 실제 값과 비교를 진행하였다. 전체적인 테스트베드 구축 개요는 다음과 같다(Fig. 11).
장비 및 측정방법의 한계로 인해 실내실험을 진행했으나 좀 더 명확한 시스템의 평가를 위해 하중 위치의 이동량을 정확히 통제할 수 있는 간략한 보도현수교 시뮬레이션을 제작하였다. 시뮬레이션 결과를 영상으로 촬영하여 이에 대한 실험을 추가적으로 진행하였다(Fig. 12). 시뮬레이션 제작에 사용한 하중 이동량과 본 연구에서 개발된 시스템을 통해 얻어진 이동량을 비교하였다.
4. 결과 분석 및 토의
카메라 보정에 따른 효과를 알아보기 위해 보정되지 않은 영상과 보정된 영상에 개발한 시스템을 적용하여 측정된 하중의 위치를 비교하였다(Fig. 13). 실험결과 720 × 404 픽셀로 이루어진 영상의 경우 평균 제곱근 오차(RMSE)가 약 5.4픽셀 정도 발생하는 것을 확인하였다. 또한 영상의 왜곡이 가장자리에서 상대적으로 크게 발생하기 때문에 객체가 영상의 좌, 우 끝으로 이동할수록 오차가 크게 발생하는 것을 확인할 수 있었다.
위의 정보를 바탕으로 보정된 영상에 시스템을 적용하였다. Eq. (1)을 적용하기 위해, 추적할 객체의 키(1,816 mm)를 이미 알고 있으므로 이를 Y로 이용하였다. 영상 프레임에서 이 객체를 구성하는 세로 픽셀 수는 163개(X)에 해당되었다. 전체 영상 프레임의 가로 픽셀 수는 총 720개(W) 이고, 바닥 가로 폭은 실제 측정결과 8,150 mm 이었다(Fig. 14). Eq. (1)에 따라 계산된 Z값은 약 8,022 mm로, 실제 측정값인 8,150 mm와 1.57%의 오차를 보였다. 보정 전 영상의 경우 X값이 168개, 이에 따른 최종 Z값은 7,783 mm로 4.51%의 오차를 보였는데, 영상 보정을 통해 2.94%의 오차 감소 효과를 보았음을 알 수 있다.
객체의 위치를 인식한 결과는 Fig. 15와 같으며, 위치 이동에 따른 변화를 쉽게 알아보기 위해 임의의 하중을 적용하여 전단력도와 휨모멘트도를 작도하였다. Eq. (2)를 적용했기 때문에 Z의 오차에서 기인한 객체의 위치 오차가 발생했고 이는 Z의 오차를 해결하면 같이 해결될 것으로 판단된다. 이 오차 외에 다른 오차는 발생하지 않아 높은 위치 인식률을 보였다.
추가 실험에 사용된 시뮬레이션 영상은 762 × 330픽셀로 이루어져 있으며, 실제 시뮬레이션의 이동량과 시스템을 통해 얻어진 결과를 비교한 결과 평균 제곱 오차가 약 2.47픽셀로 실내실험에 비해 높은 정확도를 보여주었다(Fig. 16).
본 연구에서는 획득한 하중의 위치정보에 임의의 하중 크기를 적용하여 간략하게 구조 해석을 진행하였으나, 이 시스템에 딥러닝(Deep Learning) 기법을 기반으로 한 하중 예측 알고리즘을 추가한다면 영상 촬영만으로 동적 하중의 크기와 위치를 산출하여 구조 모니터링에 손쉽게 이용할 수 있을 것으로 기대된다.
또한 추적 기법이 가지는 한계와 실제 적용성을 높이기 위하여 객체 검출 기법과 추적 기법을 함께 사용하는 방법에 대한 추가적인 연구가 필요 한 것으로 판단된다. ROI 설정 단계에만 검출 기법을 적용하여 검출 기법의 처리속도가 낮다는 한계점을 해결하고, 추적 대상 선정을 자동화 할 수 있을 것으로 기대된다.
기존 연구들은 영상 기법을 이용하여 Input이 가해졌을 때 발생하는 구조물의 변위를 측정하는 데 중점을 두고 있었으나, 이 연구를 통해 Output이 아닌 Input 측정에도 영상 기법을 활용할 수 있다는 가능성을 제시 하게 되었다. 영상 기반 동적 하중 측정 시스템이 좀 더 발전하게 되면 기존에 개발된 영상 기반 동적 응답 측정 시스템과 결합하여 영상 촬영만으로 구조물 모니터링이 가능하게 될 것으로 기대된다.
특히 보행하중이 지배적인 역할을 하는 보도현수교의 경우 일반적인 구조물에 비해 Input과 그에 대한 Output 또한 가시적으로 확인될 정도이므로, 이러한 구조물에 본 연구를 기반으로 한 영상 기반 구조물 모니터링 시스템을 적용한다면 보다 명확하게 구조물의 상태를 알아낼 수 있을 것으로 생각된다.
5. 결 론
본 연구에서는 구조물 건전성 모니터링에 이용하기 위한 동적 하중 측정에 있어서, 영상 기법을 이용하여 편리하고 경제적으로 하중의 위치정보를 측정할 수 있는 시스템을 개발하였다. 이 시스템은 기존 동적 하중 측정 방식과 별도의 자원이 소모되는 한계를 극복하고, 상용 카메라를 이용하여 손쉽게 동적 하중의 위치정보를 획득할 수 있었으며, 이를 구조 해석에 적용할 수 있게 되었다. 이 연구를 통해 구조물의 동적 하중 측정에 영상 기법을 이용하는 연구에 대한 가능성을 제시했다고 판단된다. 추후 연구에서는 딥러닝에 기반한 하중 크기 측정 알고리즘 개발과 영상 기반 동적 응답 측정 시스템과의 연동, 구조물 모델을 추가하여 궁극적으로 영상 촬영만으로 해당 구조물의 모니터링이 가능해지도록 하는 연구가 필요할 것으로 보인다.
PDF Links
PubReader
ePub Link
Full text via DOI
Download Citation
Print
