드론 장착 카메라를 이용한 하천의 표면유속측정

Measurement of Surface Velocity in Open Channels Using Cameras on a Drone

Article information

J. Korean Soc. Hazard Mitig. 2017;17(2):403-413
Publication date (electronic) : 2017 April 30
doi : https://doi.org/10.9798/KOSHAM.2017.17.2.403
류권규, 황정근**
** Graduate Student, Department of Civil Engineering, Dong-eui University
*Corresponding Author, Member, Professor, Department of Civil Engineering, Dong-eui University (Tel: +82-51-890-1631, Fax: +82-51-890-2633, E-mail: pururumi@deu.ac.kr)
Received 2017 February 04; Revised 2017 February 07; Accepted 2017 February 20.

Abstract

본 연구의 목적은 드론에 장착된 카메라로 하천 수표면을 촬영하여 하천의 표면유속을 측정하는 방법을 개발하는 것이다. 표면영상유속계를 이용할 때, 폭이 넓은 하천의 경우 하천 양안이나 교량 등에서는 충분한 화각을 확보하기 어렵다. 드론을 이용하면 사람이 접근하기 힘든 지역도 쉽게 촬영이 가능하므로 원하는 하천 표면의 영상을 쉽게 촬영할 수 있다. 다만, 드론에 장착된 비디오 카메라는 야간에는 촬영이 어려우며, 아무리 정지비행을 잘 하더라도 영상에는 다소간의 흔들림이 항상 존재한다. 이를 해결하기 위해 본 연구에서는 열영상 카메라를 추가적으로 드론에 장착하고, 흔들린 영상에 대해서는 형태 정합법에 의해 보정을 하였다. 영상 보정 과정은 고정된 표정점을 영상에서 추적한 뒤, 기준 영상의 표정점과 보정 영상의 표정점이 일치하도록 보정하였다. 영상 보정 후 영상 처리와 분석프로그램을 통하여 유속을 도출한다. 실험 하천에 대해 적용한 결과 상당히 만족스런 결과를 얻었다.

Trans Abstract

The present study aims to develop a drone-based surface image velocimeter to measure velocity fields of a river surface. When we measure water surface velocity using a surface image velocimeter, it is difficult to get a proper angle of view from bridges or river banks, especially for wide rivers. If we use a drone to take images of river surface, it is possible to access anywhere and get good angle of view. However, most video cameras installed by default on drones cannot take image in night time. And another problem is in most cases the images taken with a drone camera will have small and large sway due to drone stabilization. To solve the problems, we installed a far-infrared camera on a drone and corrected images using a pattern matching technique. In the image correction process, we tracked some reference points on images, and transformed the images to a reference image so that the locations of ground control points on transformed images match to those of the reference image. After the image correction, a surface image volocimeter software can calculates velocity fields from those images. The analyses showed fairly good results.

1. 서 론

최근 드론(drone)이라 불리는 소형 무인비행장치(UAV; unmaned aerial vehicle)에 관한 관심도가 높아짐에 따라, 국내외적으로 이에 대한 연구와 개발, 응용 등이 활발히 진행되고 있다. 드론은 초기에는 주로 군사적 목적으로 개발되어 정찰과 공격 등 다양한 군사작전수행을 위하여 사용되어 왔지만, 현재는 군사적 분야 이외에도 농업, 방송, 취미 활동 등 산업분야부터 개인적인 레저분야까지 사회 전반적으로 널리 활용되고 있다. 크기도 수 미터 크기의 소형 유인 항공기 크기부터 손바닥 크기만한 드론까지 종류가 다양하다. 드론은 대부분 기본적으로 카메라를 장착하며, GPS, 자동항법장치 등 갖가지 첨단 기술이 적용되어 사용자가 손쉽게 원하는 정보를 취득할 수 있다. 드론도 여러 종류로 나눌 수 있으나, 산업 분야에 이용하는 것은 여러 개의 회전익을 가진 헬리콥터(멀티콥터라고도 부름)형이 가장 일반적이다.

드론이 가진 가장 큰 특징은 안정적인 정지비행(hovering)이 가능하여 품질이 뛰어난 영상을 취득할 수 있다는 점이다. 이런 점에서 현재의 드론의 활용은 비행체로서의 활용이 주요 핵심이 아니라, 드론 영상의 활용이 주요 핵심이라는 점에 주목할 필요가 있다. 현재 하천분야 응용에서는 주로 측량 부분이 핵심을 이루고 있으며, 이 부분은 어느 정도 상용화가 되어 있는 것으로 보인다. 하천공학분야에서는 지형조사, 식생조사, 하천 관리 등 여러 가지 연구 개발에 활용되거나 활용을 시도하고 있다(Lee and Lee, 2015; Lee et al, 2016). 다만, 이들은 모두 정지영상의 처리에 의한 응용기술이며, 동영상 처리 기술을 이용한 것은 아니다. 한편으로는, 영상활용이 아닌 드론의 비행능력을 활용하여, ADCP를 드론으로 견인하여 유량조사를 하려는 시도(Lee and Lee, 2015)도 있으나, 이것은 본 연구의 관심대상은 아니다.

한편, 국외에서는 드론의 동영상을 이용하여 유속을 측정하려는 연구가 상당히 활발히 진행되고 있다. (드론 영상을 이용한 유속측정의 기존 연구에서 대해서는 ‘2. 기존 연구에 대한 검토’에서 상세하게 다룰 것이다.) 드론을 이용하면 사람이 쉽게 접근하지 못하는 지역까지 손쉽게 접근하여 영상을 촬영할 수 있으며, 높은 고도에서도 무리없이 지면을 촬영할 수 있다. 본 연구에서는 드론과 표면영상유속측정법을 접합시켜, 드론으로 촬영된 영상에 영상처리 방법을 적용하여 표면유속을 계측하는 방법을 개발하고자 한다.

다만, 이 과정에서 발생하는 새로운 문제들이 있으며, 이 문제들을 해결하는 방법에 대해 살펴보고자 한다.

드론 영상을 영상분석할 때 가장 큰 문제는 흔들림이다. 물론 고가의 드론들은 영상 흔들림을 방지하기 위해 안정기(stabilizer)를 가지고 있지만, 흔들림을 완전히 제거하기는 불가능하며, 드론 영상들은 크건 작건 흔들림을 포함하게 된다. 표면유속분석에서는 영상 프레임 사이의 변화를 이용하여 유속을 분석하기 때문에 아주 사소한 흔들림이라도 유속 산정 결과에 심각한 오류를 미치게 된다. 따라서, 드론 영상을 이용하여 표면유속을 분석할 경우 흔들림 보정은 필수적인 요소가 된다.

두 번째 해결해야 할 선결과제는 야간 측정 문제이다. 많은 경우 홍수는 야간에 발생한다. 그런데, 드론에 장착된 카메라는 야간에는 거의 무용지물이 된다. 이런 면에서 야간에도 유속 측정이 가능한 원적외선 카메라(far-infrared camera, 열영상 카메라라고도 한다)를 이용할 필요가 있다. 그러나 이 경우, 기존에 드론에 장착된 카메라를 떼어내고 대신에 원적외선 카메라를 장착하는 것은 어려움이 있다. 결국 원적외선 카메라를 추가적으로 장착해야 하며, 이 경우에는 안정기가 없어서 원적외선 카메라 영상에는 흔들림이 더 많이 포함되게 된다.

본 연구에서는 위의 두 가지 문제를 해결하는 데 중점을 두고 수행하였다.

2. 기존 연구에 대한 검토

2.1 표면영상유속계측법

현재 우리나라의 유속측정법은 크게 두 가지로 분류된다. 첫째로는, 접촉식 유속 측정방법이다. 접촉식 유속측정방법은 프로펠러 유속계나 봉부자, ADCP 등을 활용하여 유속을 측정하는 방법이다(Korean Water Resources Association, 2009). 이와 같은 접촉식 유속측정방법은 유속측정 시 많은 인력과 경비, 시간이 들며 때로는 여러 가지 위험을 동반한다. 둘째로는, 비접촉식 유속측정방법이다. 비접촉식 유속측정방법으로는 대표적으로 전자파 표면유속측정법(Yamaguchi and Niizato, 1994; K-Water, 1994; K-Water, 2010; Kim et al., 2011)과 표면영상유속측정법(Kim et al., 2014)을 들 수 있다.

비접촉식 유속측정방법은 접촉식 유속측정방법에 비하여 인력, 경비, 시간이 적게 들며 무엇보다도 안전하게 유속측정을 수행할 수 있다는 것이다. 이에 착안하여 본 연구에서는 유속측정 방법 중 표면영상유속측정법(surface image velocimetry)을 적용하여 연구를 진행하였다. 표면영상유속측정법은 한 지점의 유속이 아닌 표면유속장 전체를 한꺼번에 측정할 수 있다는 장점이 있다(Yu et al., 2014). 또한 영상을 취득하는 장비에 따라 다양한 시스템을 구성할 수 있다.

표면영상유속측정법은 PIV기법을 하천 수표면에 적용하여, 하천의 표면유속을 측정하는 것이다. 표면영상유속측정법을 직접 하천에 적용한 최초의 사례는 Kinoshita (1967)의 연구라고 볼 수 있다. Kinoshita (1967)는 홍수시 하천 표면을 촬영한 2매의 항공사진을 카메론 효과(입체시)를 이용하여 표면유속을 산정하였다. 그러나 본격적인 표면영상유속측정은 Fujita and Komura (1994)의 연구로 보는 것이 타당하다. 이들은 캠코더를 이용하여 하천의 표면 영상을 촬영하고, 이를 디지타이징하여 PC로 옮겨서 디지털 영상처리를 하는 기본적인 표면영상유속측정법의 기초를 완성하였다. 이 때, 기울어져 촬영된 영상을 4개 이상의 참조점을 이용하여 수직영상으로 변환(8-변수 사영변환)하는 영상왜곡 보정기술을 처음으로 이용하였다. Fujita and Komura (1994)의 연구에서 개발된 표면영상유속측정법은 Iowa 수리연구소의 대규모 수리모형실험에 적용되었으며, 이 때 LSPIV라는 이름이 붙여졌다(Ettema et al., 1997). 이 때의 표면영상유속계측법의 기본적인 구조는 캠코더로 수표면 영상을 촬영하고 이를 A/D 변환기판 등을 이용하여 PC로 전송한 뒤 영상 분석을 하는 구조이다. 영상 분석은 PIV에서 통상 이용되는 방법인 상호상관분석법(cross-correlation analysis)을 이용하였다.

표면영상계측법은 이용하는 영상을 촬영하는 장비와 분석하는 방법을 바꾸면서 발전을 거듭하였다. 촬영 장비에 따른 변화를 살펴보면, 다음과 같다. 앞서 언급한 것처럼, Fujita and Komura (1994) 이전의 연구에서는 필름 카메라를 이용하여 2매의 연속된 사진을 촬영하였으며, 이들의 연구에서 처음으로 비디오 카메라(캠코더)를 이용하였다. 또한 Fujita et al. (2002)의 연구에서는 ITV (Industrial Television)라고 하는 일본의 일급 하천에 설치된 하천 감시용 CCTV를 이용하고자 추진한 바 있다. 국내에서도 Kim et al. (2014)가 재난감시용 하천 CCTV를 이용하여 홍수유출량을 산정한 바 있다. 또한 표면영상유속계측법을 야간에는 적용하기 힘들다는 점을 고려하여 이를 극복하고자 하는 연구로, 적외선 카메라(Etoh et al., 2002; Kim et al., 2010), 원적외선 카메라(Fujita, 2013; Fujita et al., 2013; Yu et al., 2015), 스마트폰 (Yu and Cho, 2014; Tsubaki et al., 2005; Yu and Hwang, 2016)으로 발전하였다.

2.2 항공촬영에 의한 표면영상유속계측법

항공기 영상을 이용하여 표면유속장을 측정하는 방법에 관한 연구는 이미 오래전부터 시도되어 왔다. 대표적으로 일본에서는 Takehara et al. (2002), Kunida, et al. (2009), Okubo and Fujita (2010), Fujita and Notoya (2015a, 2015b) 등이 헬리콥터 영상을 이용한 측정법부터 드론 영상을 이용한 측정법까지 다양한 연구를 시도하였다. 먼저, Takehara et al. (2002), Kunida, et al. (2009), Okubo and Fujita (2010)는 헬리콥터에서 촬영한 정지영상이나 비디오 동영상을 이용하여 유속장을 분석하였다. 영상의 흔들림은 지상의 표정점을 이용하여 보정하였다고 기술되어 있으나, 실제로 어떤 방법을 이용하였는지는 명시되어 있지 않다. 또, 실제 헬리콥터를 이용하였기 때문에, 측정 비용과 시간 등이 많이 소요되는 문제가 있었다. 본격적으로 드론을 이용한 연구는 Fujita et al. (2015a, 2015b)의 연구라 볼 수 있다. 이 시기는 드론이 본격적으로 수자원연구에 활용되기 시작하는 무렵이다. 이들의 연구에서는 처음으로, 지상 표정점을 추적하는 데 SIFT나 RIPOC, RANSAC 알고리즘을 조합하였다고 기술되어 있다. 다만, 이들 알고리즘은 대부분이 특허로 등록되어 있어, 임의로 사용하는 것이 제한이 될 우려가 있다. 그 밖에 일본 이외에서는 Tauro et al. (2016)Bolognesi et al (2016) 등의 연구가 드론을 이용한 표면유속 측정을 시도하였으나, 이들 문헌에서는 영상 처리에 대한 세부적인 내용이 밝혀져 있지 않다.

3. 드론영상을 이용한 표면영상유속측정법

3.1 표면영상유속계의 기본 구조

표면영상유속계의 기본 과정은 영상 촬영, 영상 보정, 영상 분석, 후처리의 네 단계로 이루어진다. 먼저, 영상 촬영을 위한 장비가 필요하다.

가장 널리 쓰이는 방법은 종전부터 이용해 온 캠코더를 이용하는 방법이며, 최근에 스마트폰(Yu and Hwang, 2016), 원적외선 카메라 (Fujita et al., 2013; Yu et al., 2015), CCTV (Fujita et al., 2002; Kim et al., 2014) 등을 이용하는 연구가 진행되고 있다. 본 연구에서는 드론에 장착한 비디오 카메라(캠코더)와 야간 촬영을 위해 추가로 장착한 원적외선 카메라를 이용한다. 이 카메라로 촬영된 영상을 일단 카메라내의 SD 카드에 저장되며, 이를 PC나 노트북으로 옮겨서 영상 처리 및 분석을 통하여 유속을 도출한다.

3.2 연구 장비

본 연구에서 사용된 장비로는 드론, 비디오 카메라, 원적외선 카메라, PC를 사용하였다.

드론은 DJI사의 Matrice 100 제품으로 개발형으로 나온 것이다(Table 1 참조). 다른 일반적인 드론과는 다르게 사용자 목적에 따라 비행 플랫폼을 맞춤형으로 제작할 수 있다. 기본적으로 비행조종기, 추진 시스템, GPS, 무선 송수신 장치 등 비행에 필요한 복잡한 시스템을 자동으로 관리가 가능하여 초보자라도 간단한 교육 후 쉽게 사용할 수 있다. 이 드론의 성능으로는 정지비행 정확성이 수직으로는 0.5 m, 수평으로 2.5 m 정도이며 최대 10 m/s의 바람저항력을 가지고 있다고 한다. 또한 비행에 있어 중요한 정지비행 시간은 배터리 2개를 장착했을 때에 최대 40분 정도까지 비행할 수 있다.

Specifications of devices

드론에 장착된 비디오 카메라는 DJI Zenmuse X3이며, 3840 × 2160 화소로 프레임률 30 fps의 동영상을 촬영한다. 자동초점 기능이 있어 필요에 따라 초점을 조정한다. 이 비디오 카메라는 거치대(zymbol)의 안정기(stabilizer)에 장착되어 있어 흔들림에 대해 상당히 안정된 영상을 촬영할 수 있다.

이 카메라는 드론조종기(Table 1의 DJI Remote Controller)를 통하여 드론 조종과 함께 카메라 조작(확대 및 축소, 촬영 각도 등)이 가능하다.

이 드론으로 촬영한 영상과 함께 드론의 이동경로에 대한 정보가 자막파일(SRT 확장자)의 형태로 제공된다. 이 파일에는 시각, GPS, 고도 등 드론의 비행 정보와 ISO, 셔터 속도, F값 등 카메라 정보가 기록된다.

여기에 추가적으로 FLIR사의 Vue 원적외선 카메라를 장착하였다. 이 카메라는 640 × 512 화소의 영상을 초당 30 프레임씩 취득한다.

영상 촬영은 소하천 규모부터 대하천 규모까지 모두 가능

하며, 하천의 규모에 따라 고정점 설정을 적절히 하여, 원하는 구간의 영상을 촬영하면 된다. 영상 촬영시 드론에 탑재된 카메라를 활용하여 초당 30매의 영상을 촬영하여 메모리에 저장한다. 본 연구에서는 동영상 촬영 시간을 보통 30초 ~ 1분 정도 촬영하였다. 분석에 필요한 영상은 대부분 10초 내외면 충분하지만, 드론이 정지비행하며 촬영하기 때문에 급작스러운 바람 등 주변 환경 요인으로 인하여 영상이 심하게 흔들리는 경우나 카메라 이상으로 영상 내 잡음이 심하게 생기는 경우가 있어 적당한 시간동안 영상을 취득하는 것이 좋다.

3.3 영상 보정

드론으로 촬영한 영상을 표면영상유속계로 분석하기 위해서는 두 가지 보정을 해야 한다. 하나는 드론의 흔들림 때문에 생기는 영상 흔들림에 대한 보정이며, 다른 하나는 일반적인 표면영상유속계에서 수행하는 정사영 보정이다.

드론을 사용하여 영상을 촬영하게 되면 필연적으로 흔들린 영상을 취득하게 된다. 영상이 흔들리게 되면 영상 촬영 시 설정하였던 고정점의 이동이 나타나게 되므로, 영상의 흔들림을 보정하는 영상처리가 필수적이다. 즉, 드론에 탑재된 카메라를 통하여 촬영한 연속 영상에서 고정점들의 움직임을 추적하여 카메라의 위치 변동을 파악하여 고정점들을 일치시켜주는 것이 본 연구에서의 핵심적인 부분이라 할 수 있다.

한편, Yu et al. (2008)은 흔들리는 영상 분석을 위한 표면영상유속계 알고리즘에 관하여 연구한 바 있다. 이 때는 표정점의 추적을 통해 카메라의 움직임을 분석하고, 계산된 유속 분포에서 카메라 움직임만큼 빼 주는 간단한 방법이었다. 또한, Fujita et al. (2015a, 2015b)는 Aerial STIV의 개발 연구에서 영상의 회전이나 축척 변화가 있어도 대응하는 특징점을 검출할 수 있는 SIFT(Scale Invariant Feature Transform) 기법과 부화소 수준에서의 영상일치를 수행할 수 있는 위상한정상관법(RIPOC; Rotation Invariant Phase Only Correlation)을 적용하여 연구를 수행하였다.

영상 특징점이란 다음과 같다. 영상에서 물체를 추적하거나 인식할 때, 영상과 영상을 매칭할 때에 영상에서 주요 특징점(key point 또는 feature point)을 뽑아서 정합(matching)하는 것이다. 이 때, 특징점이 되기 위한 조건으로는 첫째, 물체의 형태나 크기, 위치가 변해도 쉽게 식별이 가능해야 한다. 둘째, 카메라의 시점, 조명이 변해도 영상에서 해당 지점을 쉽게 찾아낼 수 있어야한다. 이러한 조건을 만족하는 가장 좋은 특징점이 바로 모퉁이점(corner point)이다. 그리고 대부분의 특징점 추출 알고리즘들은 이러한 모퉁이점 검출을 바탕으로 하고 있다. 그 이유는 이러한 특징점 추출 알고리즘들이 찾고자 하는 형태나 크기가 일부 변형되더라도 쉽게 찾을 수 있으며, 또 처리속도가 빠르다는 장점이 있다. 그러나, 정확한 위치의 추정에는 어려움이 있는 것으로 보인다.

본 연구에서는 이러한 특징점 추적 알고리즘 대신에 형태 정합(pattern matching) 기법을 이용한다. 이것은 기존의 PIV 알고리즘에서 서로 정합되는 형태를 찾아내는 방법과 유사하다. 위의 특징점 추적법은 영상의 회전이나 크기 변화를 추적하는 기능이 뛰어나고 계산속도가 빠른 반면, 정확성이 떨어진다는 점이다. 반면, 형태 정합법은 속도는 느리지만 정확성이 뛰어나고, 부화소(subpixel) 단위까지 변위를 추적할 수 있다는 장점이 있다. 본 연구에서는 표정점의 크기나 위치 변화, 회전 등을 가급적 작게 유지한다는 전제하에서, 속도면보다 정확성을 추구하여 상호상관법을 이용한 형태 정합을 이용하기로 하였다.

상호상관법을 이용한 형태 정합은 일반적인 PIV 기법과 동일하다. 첫 번째 영상에서 찾고자 하는 표정점의 영상 조각(template)을I (i,j)라 하고, 두 번째 영상에서 표정점을 찾을 영역을I′ (i,j)라고 하면, 상호상관계수는 다음과 같이 주어진다(Raffel et al., 2007).

(1)rII(x,y)=cII(x,y)σI(x,y)σI(x,y)

여기서

(2.a)CII(x,y)=i=0Mj=0N[I(i,j)μI(x,y)][I(i+x,j+y)μI(x,y)]
(2.b)σI(x,y)=i=0Mj=0N[I(i,j)μI(x,y)]2
(2.c)σI(x,y)=i=0Mj=0N[I(i+x,j+y)μI(x,y)]2

여기서 계산된 최대 상관위치는 화소단위이므로, 이를 3점 적합법(포물선 첨두적합)에 의해 한 화소 이하의 정확도(부화소 보간)로 추정한다(Raffel et al., 2007).

Fig. 1에서 첫 번째 영상을 기준 영상(이것이 목표영상이다) Frame 1이라 하고, 두 번째 이하의 영상(Frame 2, Frame 3)을 기준 영상으로 사영변환하게 된다. 두 번째와 세 번째 등의 영상(이것이 원영상이다)에서 표정점을 찾아내는 방법은 상호상관법에 의한 형태적합을 이용한다. 즉 원영상의 표정점(xs,ys)와 목표영상의 표정점(xt,yt)는 다음과 같은 형태를 갖는다.

Fig. 1

Concept of Image Correction with Pattern Matching

(3.a)xt=c1xs+c2ys+c3c7xs+c8ys+1
(3.b)yt=c4xs+c5ys+c6c7xs+c8ys+1

여기서 ci (i=1,2,…,8)는 두 좌표계간의 좌표보정을 위한 8개의 사상 계수이다. Eq. (3)은 기준점 각각에 대해 성립하며 8개의 미지수를 갖기 때문에 최소 4개의 기준점을 필요로 한다. 이 사영변환식을 이용하여, Frame 2와 Frame 3에서의 표정점 위치가 Frame 1의 표정점 위치와 일치하도록 Frame 2와 Frame 3를 변환하면, Fig. 1(c)와 같이 된다.

두 번째 정사영 보정을 하는 이유는 표면영상유속측정을 위하여 영상을 촬영할 때에는 일반적으로 교량, 제방 등에서 촬영하므로 수직영상을 얻기가 힘들기 때문이다. 이것은 드론 영상을 이용할 때도 마찬가지이다. 드론 카메라로 촬영을 할 경우, 정확하게 수직으로 촬영된 동영상을 얻기는 매우 어려운 상황이며, 대부분의 영상은 크건 작건 경사를 갖게 된다. 이렇게 경사져서 촬영된 영상에서는 영상내 위치에 따라 축척이 달라지게 된다. 따라서 Fig. 2와 같이 왜곡 영상을 정사영(수직영상)으로 보정하는 과정을 거쳐야 한다. 이 과정은 일반적으로 사영변환(perspective transform)이라 하여 8 개의 변수를 갖는다.

Fig. 2

Reference Points for Image Coordinate Transform (Fujita and Komura, 1994)

실세계 좌표를(X,Y,Z)라 하고, 영상좌표를(x,y)라 하면, 두 좌표 사이의 변환식은 다음 식과 같이 주어진다(Fujita and Komura, 1994). 단, 이 때 수표면은Z = 0인 평면으로 가정한다.

(4.a)x=c1X+c2Y+c3c7X+c8Y+1
(4.b)y=c4X+c5Y+c6c7X+c8Y+1

여기서 ci (i=1,2,…,8)는 두 좌표계간의 좌표보정을 위한 8개의 사상 계수이다. Eq. (4)는 기준점 각각에 대해 성립하며 8개의 미지수를 갖기 때문에 최소 4개의 기준점을 필요로 한다.

이처럼 흔들림 보정과 정사영 보정에 같은 수식을 사용하면, 실제 분석 프로그램을 작성할 때, 별도의 루틴을 작성하지 않고 한 개의 함수로 처리할 수 있으므로 코딩 작업량이 상당히 줄어드는 이점이 있다.

3.4 영상 분석

표면영상유속계는 일반적으로 PIV기법에서 사용하고 있는 상호상관분석법을 이용한다. 상호상관분석법의 경우 두 장의 영상만을 이용하여 유속을 산정한다. 따라서 짧은 시간간격의 유속분포 측정에는 장점이 있으나 측정 시간이 짧기 때문에 잡음이나 추적입자 부족으로 인하여 유속 측정의 불확도가 증가한다는 단점이 있다(Kim et al., 2011).

이를 해결하기 위한 방법으로 Fujita and Tsubaki (2002)는 시공간영상 유속계측법(STIV, Space-Time Image Velocimetry)을 개발하였다. 하지만 이 방법 역시 계측 대상의 주 흐름 방향 성분만을 측정할 수 있다는 한계가 있다(Fujita and Tsubaki, 2002; Fujita et al., 2005; Fujita et al., 2009). 한편, Yu et al. (2014)Yu et al.(2015a)는 시공간 영상을 상호상관분석하는 새로운 방법을 제안하고, 이를 CASTI (Cross-correlation Analysis for Spatio-Temporal Image)라 이름하였다. CASTI에 대해서는 Yu et al.(2015a)을 참조하기 바란다.

본 연구에서는 보다 기본적인 방법인 상호상관법을 이용하기로 한다.

3.5 표면영상유속측정 시험

개발된 표면영상유속측정 시스템을 한국건설기술연구원 안동하천실험센터의 직선수로와 곡선수로 구간중 한 구간을 택하여 실험을 진행하였다(Fig. 3 참조). 안동하천실험센터는 실제 소규모 하천 규모의 실험수로를 가진 실험시설이며, 급경사수로, 직선수로, 사행수로 등 다양한 유형의 실험장이 있다. 그리고 실제 하천의 흐름상태, 지형, 구조물 등이 재현되어 있으며 무엇보다도 펌프로 물을 공급하기 때문에 유량 조건을 파악할 수 있으며, 실험기간동안 일정한 흐름조건에서 실험을 수행할 수 있다.

Fig. 3

Site of Experiments of River Experiment Center in Andong

주간 실험은 급경사수로에서 실험을 진행하였다. 유속이 빠르고, 수심이 깊어 도섭으로 세밀한 유속 측정이 어려운 상황이라, 상류의 가대에서 ADV로 수로 중앙부분의 유속을 측정하였다. 추적자로는 쌀튀밥을 사용하였다.

표정점 설정은 Fig. 4(a)와 같이 실험수로 근처의 표석과 콘크리트 모퉁이 부분에 표식을 하여 총 7개의 표정점을 사용하였다. 표정점 설정 후 토탈스테이션을 이용하여 사전 측량작업을 실시하여 각 점의 좌표를 구하였다. Fig. 4(a)와 같은 영상을 흔들림이 적어 영상 분석에 적합한 분량이 약 30초가 넘도록 촬영하였다. 촬영도중에 가급적 안정된 정지비행을 하도록 노력하였으며, 실제 눈으로 보기에도 상당히 안정된 촬영이 가능하였다. 이것은 드론의 비디오 카메라가 안정장치(stabilizer)에 부착되어 있기 때문으로 보인다.

Fig. 4

Sample images and their reference points

한편, 원적외선 카메라의 주야간 실험은 직선 수로에서 수행하였으며, 영상 유속과의 비교를 위해 Flow Tracker로 약 0.3 m 간격으로 유속값을 측정하였다. Fig. 4(c)는 원적외선 영상(열영상)의 예이며, 오른쪽의 작은 그림은 이 때 사용한 표정점이다. 원적외선 카메라는 열을 감지하므로, 병에 온수를 담아 이를 표정점으로 사용하였다. 위의 비디오 영상과 달리 원적외선 영상은 상당한 흔들림을 보이며, 이는 카메라를 드론에 별도로 추가하여 장착한 탓에 안정장치가 없기 때문으로 보인다.

동영상의 차분영상을 이용하면 각 프레임 사이의 변화를 알 수 있다. 차분 영상이란t시각의 영상과t + Δt시각

영상의 차이를 말한다. 또 이 차분영상을 평균하면 그 시간 동안 고정점들이 얼마나 움직였는지 확인하기 쉽다. Fig. 4(a)의 영상중 20초 분량의 영상 600매에 대해 차분영상을 평균하여 표정점의 이동 상황을 나타내 보면 Fig. 5(a)와 같다. Fig. 5(a)의 오른쪽에 확대하여 보인 표정점을 보면, 20초간 표정점이 크게 두 영역에서 움직인 것으로 보인다. 이는 드론의 흔들림으로 인하여 표정점의 이동이 일어난 것이다. 또한, 유수 영역이 아닌 다른 부분(고정 영역)에서도 영상이 나타난다는 것은 촬영을 하는 동안 영상이 흔들렸다는 의미이다. 따라서 영상 보정을 통하여 각 표정점을 정합하여 영상 보정을 해주어야 한다.

Fig. 5

Averaged difference image

Fig. 4(a)의 7개 표정점 중 4개의 표정점을 이용하여, 영상 정합에 의해 두 번째 이후의 영상을 모두 기준영상으로 사영변환을 하였다. 이렇게 하면 각 영상에서 4개의 표정점이 같은 좌표를 가지도록 하는 것이다. 이렇게 변환을 한 뒤 Fig. 5(a)와 같은 방법으로 차분 영상의 평균을 만들면 Fig. 5(b)와 같다.

Fig. 5에서 보면, 보정전 영상 Fig. 5(a)에서는 고정점이 여러 방향으로 움직였으나, 보정후 차분영상인 Fig. 5(b)에서는 실험 수로의 흐름만이 나타나며, 표정점을 포함한 고정영역은 모두 제거되었다.

표정점의 실제 이동상황은 각 영상내 나타난 표정점의 위치를 추정해 보면 알 수 있다. 이 과정을 원적외선 영상에 대해 실시하면 Fig. 6과 같이 여기서 영상내 표정점의 움직임은 좌우 약 50 화소, 상하 약 25 화소이다.

Fig. 6

Movement of Reference Points in Far-infrared Images

이렇게 영상들에 대해 기존의 표면영상유속계 프로그램을 적용하여 유속을 산정한 결과는 Fig. 7(a)와 같으며, 선택한 단면 No.5와 No.15에 대한 유속분포를 보이면 Fig. 7(b)과 같다.

Fig. 7

Average Velocity of a Normal Camera Images

이 경우는 유속이 도섭이 어려운 상황이라 세부적인 유속의 산정보다는 전체적인 유황의 파악에 목적이 있었으므로, 추가적으로 세부적인 유속의 비교는 곤란하였으며, 작업용 가대에서 ADV(초음파유속계)로 측정한 유속은 1.40 m/s이었다.

영상 유속계의 분석 결과 No. 5 단면에서 최대 유속이 1.498 m/s로 나왔으며, No. 15단면에서는 최대 유속이 1.681 m/s이었다. 물리적인 관점에서유속분포를 보다 적절히 파악하기 위해서는 표면영상유속 분석시 격자를 유향과 직각을 이루도록 배치하여야 하나, 현재 이용하는 표면영상유속계에서는 이런 격자 배치가 불가능하다. 이 때문에 Fig. 7에서 볼 수 있듯이 횡단면이 유향과 직각을 이루지 못한 채 배치되어 있다.

한편, 원적외선 카메라를 이용한 유속장의 분석 과정을 살펴 보면 다음과 같다.

먼저 Fig. 4(c) 또는 Fig. 8(a)와 같은 영상들은 앞서 설명한 영상 정합에 의한 영상 흔들림 보정에 의해 Fig. 8(b)와 같이 변환된다.

Fig. 8

Effect of correction

이렇게 보정한 10초간의 영상 300매를 표면영상유속계측 소프트웨어로 분석한 결과는, Fig. 9와 같다. Fig. 9(a)는 표면영상유속 분석 프로그램에 나타난 최종 유속장이며, 그 중 중앙 부분의 횡단면 표면 유속을 Flow Tracker로 측정한 표면 유속과 비교한 결과는 Fig. 9(b)와 같다. 두 유속 분포는 일부 단면에서 약간의 차이는 있지만, 상당히 유사한 결과를 보인다. 이를 유량으로 환산하여 비교해 보면, 원적외선 영상의 경우 2.071 m3/s, Flow Tracker의 경우 2.110 m3/s로 양자간의 차이는 2 % 이하이다. 이 때 표면유속을 각 측정선의 연직평균유속으로 환산할 때 환산계수 0.85를 이용하였다. 한편, 횡단면 전체의 평균유속은 원적외선 영상은 0.644 m/s, Flow Tracker는 0.656 m/s 이다. 수로 중심에서 표면유속은 원적외선 영상은 0.903 m/s, Flow Tracker는 0.884 m/s 이다. 측정 오차율은 중심쪽에서 작고 양옆으로 갈수록 약간 커진다.

Fig. 9

Average velocity of a cross section

이처럼 일부 오차가 생긴 부분은 추적자 분포의 불균일성에 따른 오차, 측정 위치와 계산 위치가 정확하게 일치하지

않는 데 따른 오차 등으로 보인다. 또한, 이 결과는 10초간의 영상을 분석한 결과이며, 영상 촬영 시간을 좀 더 늘리고, 영상 강화, 추적자 산포 방법 개선 등을 통해 보다 정확한 결과를 도출해 낼 수 있으리라 생각한다.

3.6 개발된 방법의 추후 개발 방향

앞서 언급한 바와 같이, 드론을 이용한 하천의 표면 유속 측정은 측정의 간편성, 측정 장소의 접근성, 신속한 측정 등 여러 가지 면에서 홍수 측정의 매우 좋은 대안이 될 수 있다.

다만, 드론을 이용한 표면영상 유속측정법의 개발 과정에서 발견된 문제점, 즉 이러한 시스템의 실용화를 위해 추후 해결해야 할 문제들은 다음과 같다.

(1) 위의 결과는 실험수로에서 얻은 결과이며, 실제 하천 현장에서는 실험 수로와 달리 해결해야 할 문제가 많이 남아 있다. 즉, 드론을 활용하여 표면유속측정을 수행할 때 자연적인 조건(기상, 일사상황 등)과 기계적인 조건(드론 배터리, 방수, 바람저항 등) 등의 영향을 받으며, 이러한 영향을 가급적 제거할 수 있도록 하여야 한다. 특히 실험 과정에서, 강풍이 불 때는 영상이 너무 심하게 흔들려 분석이 거의 곤란한 경우도 있었다. 이런 문제는 실제 현장에서는 더욱 심할 것으로 생각한다.

(2) 분석 과정에서, 분석에 적합한 동영상의 선별이나 표정점 위치의 확인 등 수작업으로 처리해야 할 부분이 많이 남아 있다.

(3) 때로는 드론으로 영상을 촬영하기에 적합한 표정점을 설치할 수 없거나, 설치된 표정점이 영상 밖으로 벗어나는 경우가 있을 수 있다. 이것은 화각이 좁은 원적외선 카메라를 이용하는 경우에 자주 나타난다. 따라서 표정점에 의존하지 않고도 영상내 위치를 자동적으로 찾아내는 방법을 강구해야 한다.

4. 결론 및 고찰

본 연구에서는 최근 여러 분야에서 관심의 대상으로 떠오르고 있는 드론을 활용하여, 비디오 카메라와 열영상 카메라로 촬영한 영상에서 실험수로의 표면유속을 측정하였다. 이는 드론을 이용한 표면유속측정 시스템을 하천에 적용할 수 있다는 그 유용성을 확인한 것이다.

표면유속 측정을 위한 표정점 추적에는 영상 정합법을 이용하였으며, 추적된 표정점 위치를 이용하여 기준 영상의 표정점 위치로 변환하는 영상의 흔들림 보정을 시행하였다.

결론적으로, 흔들림이 보정된 영상을 표면영상유속측정 소프트웨어에 적용하여 정사영 보정을 수행하고 영상 분석을 한 결과, 기존의 유속계로 측정한 결과와 상당히 비슷한 유속을 도출할 수 있었다. 즉, 본 연구에서 개발한 영상보정 기법을 이용하면, 드론을 하천의 표면영상유속 측정에 활용할 수 있음을 입증하였다.

앞서 드론 기반 표면영상유속측정에서 해결해야 할 과제에 대해 언급하였지만, 드론의 비행체 기술발전과 영상처리 및 분석 소프트웨어의 보완 등 추가적인 연구를 통하여 개선시켜 하천에서 표면유속측정시 충분히 활용될 수 있을 것으로 기대한다.

감사의 글

이 연구는 2014년도 한국연구재단의 중견연구자지원사업 (NRF-2014R1A2A2A04006578)의 지원을 받아 수행되었습니다.

References

Bolognesi M, Farina G, Alvisi S, Franchini M, Pellegrinelli A, Russo P. 2016. Measurement of surface velocity in open channels using a lightweight remotely piloted aircraft system. Geomatics, Natural Hazards and Risk Talyor & Francis.
Etoh G, Takehara K, Takano Y, Fujita I, Sakai N, Aya S, Tamai M, Miyamoto H, Muto Y. 2002;Infrared particle tracking velocimetry for applications to measurements of surface velocity fields of rivers. Advances in River Engineering, JSCE 8:465–470. (in Japanes).
Ettema R, Fujita I, Muste M, Kruger A. 1997;Particle-image velocimetry for whole-field measurement of ice velocities. Cold Regions Science and Technology 26:97–112. 10.1016/S0165-232X(97)00011-6.
Fujita I. 2013;Utilization of far-infrared-ray camera for image-based measurement of river flow and discharge. Nagare 32:347–352. (in Japanese).
Fujita I, Ando T, Tsutsumi S, Okabe T. 2009;Flood flow measurements using STIV in worse imaging conditions. Annual Journal of Hydraulic Engineering, JSCE 53:1003–1008. (in Japanese).
Fujita I, Komura S. 1994;Application of video image analysis for measurements of river-surface flows. Annual Journal of Hydraulic Engineering, JSCE 38:733–738. (in Japanese). 10.2208/prohe.38.733.
Fujita I, Kosaka Y, Yorozuya A, Motonaga Y. 2013;Surface flow measurement of snow melt flood by using a far infrared camera. J. of JSCE, B1 (Water Resources Engineering) 69(4):I_703–I_708. (in Japanese).
Fujita I, Notoya Y, Shimono M. 2015a;Development of aerial STIV applied to videotaped movie from multicopter based on high-accurate image stabilization method. Journal of JSCE, B1 (Water Resources Engineering) 71(4):I_829–I_834. (in Japanese).
Fujita I, Notoya Y, Shimono M. 2015b;Development of UAV-based river surface velocity measurement by STIV based on high-accurate image stabilization techniques. E-proceedings of the 36th IAHR World Congress
Fujita I, Takehara K, Aya S, Sakai N, Tamai M, Takano Y, Miyamoto H. 2002;Measurement of river flow by ITV video camera. Annual Journal of Hydraulic Engineering JSCE 8:459–464. (in Japanese).
Fujita I, Tsubaki R. 2002;A novel free-surface velocity measurement method using spatio-temporal images. Proc. of Hydraulic Measurements and Experimental Methods ASCE, on CDROM
Fujita I, Watanabe H, Tsubaki R. 2005;Efficient image analysis method for river flow measurement using space-time images. Proc. of XXXI IAHR Congress :422–428. 15840777.
Kim S.J, Yu K, Yoon B.M. 2010;Development of a velocity measurement method at night time using an infrared camera. Proc. of 2010 Annual Conference KWRA (in Korean).
Kim S.J, Yu K, Yoon B.M. 2011;Real-time discharge measurement of the river using fixed-type surface image velocimetry. . of Korea Water Resources Association 44:377–388. (in Korean). 10.3741/JKWRA.2011.44.5.377.
Kim Y, Yang S, Yu K, Kim D.S. 2014;Flood Runoff Calculation using Disaster Monitoring CCTV System. J. of Environmental Science International 23(4):571–584. (in Korean). 10.5322/JESI.2014.4.571.
Kinoshita R. 1967;An analysis of the movement of flood waters by aerial photography concerning characteristics of turbulence and surface flow. J. of the Japan Society of Photogrammetry 6(1):1–17. (in Japanese). 10.4287/jsprs1962.6.1.
Korean Water Resources Association. 2009;Design Standard of River Works (in Korean).
Kunida Y, Fujita I, Tsubaki R. 2009;Analysis of flood using video images from a helicopter and shallow water equation based on unstructured grid system. Annual Journal of Hydraulic Engineering, JSCE 53:991–996. (in Japanese).
K-Water. 1994;Development of Measurement Facilities for Stream Discharge (Development of a Microwave Surface Velocity Meter and Supersonic Correlation Current Meter) WRRI-WR-94-1 (in Korean).
K-Water. 2010;Improvement of Accuracy on Discharge Measurement Using Surface Velocity. KWI-WR- 10-01 (in Korean).
Lee H.S, Lee H.B. 2015;A review of drone technologies applicable to water resources engineering fields. Water for Future 48(11):100–107. (in Korean).
Lee J.H, Kim T.W, Kim J.W. 2016;An application plan of drones to water resources engineering and river management fields. Water for Future 49(3):63–73. (in Korean).
Okubo S, Fujita I. 2010;Accuracy of Aerial LSPIV and its application to a flood flow in the Yodo River. The Proceedings of the JSCE Annual Meeting :37–38. (in Japanese).
Raffel M, Willert C, Wereley S.T, Kompenhans J. 2007. Particle Image Velocimetry, a Practical Guide 2nd edth ed. Springer. Berlin:
Takehara K, Fujita K, Takano Y, Etoh G, Aya S, Tamai M, Miyamoto H, Sakai N. 2002;An attempt of field measurements of surface flow on a river by using a helicopter aided image velocimetry. Annual Journal of Hydraulic Engineering, Japan Society of Civil Engineers 46:809–814. (in Japanese).
Tauro F, Petroselli A, Arcangeletti E. 2016;Assessment of drone-based surface flow observations. Hydrological Processes 30:1114–1130. 10.1002/hyp.10698.
Yamaguchi T, Niizato K. 1994;Flood discharge observation using radio current meter. J. of Japan Society of Civil Engineers No. 497/II-28 :41–50. (in Japanese). 10.2208/jscej.1994.497_41.
Yu K, Cho W.S. 2014;Real-time surface image velocimeter using a smartphone. Proc. of 19th IAHR- APD Congress :210–211. PMC4353335.
Yu K, Hwang J. G. 2016;Development of a real-time surface image velocimeter using an android smartphone. J. of Korea Water Resources Association 49(6):469–480. (in Korean). 10.3741/JKWRA.2016.49.6.469.
Yu K, Kim S.J, Kim D.S. 2015a;Correlation analysis of spatio-temporal images for estimating two-dimensional flow velocity field in a rotating flow condition. J. of Hydrology 529:1810–1822. 10.1016/j.jhydrol.2015.08.005.
Yu K, Kim S.J, Yoon B.M. 2014;Measurement of two-dimensional velocity distribution of spatio-temporal image velocimeter using cross-correlation analysis. J. of Korea Water Resources Association 47(6):537–546. (in Korean). 10.3741/JKWRA.2014.47.6.537.
Yu K, Kim S.J, Yoo B.N, Bae I.H. 2015b;A test of a far infrared camera for development of new surface image velocimeter for day and night measurement. J. of Korea Water Resources Association 48(8):659–672. (in Korean). 10.3741/JKWRA.2015.48.8.659.
Yu K, Yoon B.M, Jung B.S. 2008;A Surface Image Velocimetry Algorithm for Analyzing Swaying Images. J. of Korea Water Resources Association 41:855–862. (in Korean). 10.3741/JKWRA.2008.41.8.855.

Article information Continued

Table 1

Specifications of devices

Weight(with TB47D battery): 2355 g Max Takeoff Weight: 3600 g Max Speed: 17 m/s (GPS mode, no wind) Max Wind Resistance: 10 m/s Hovering Accuracy: Vertical: 0.5 m Horizontal: 2.5 m Hovering Time(with two battery): 33 min Battery Capacity: 4500 mAh (LiPo 6S) Battery Voltage: 22.2 V
(a) DJI Matrice100
Operating Frequency: 5.725~5.825 GHz Transmission Distance: CE: 3.5 km FCC: 5 km Video Output: USB, Mini-HDMI Power Supply: Built-in battery Mobile Device Holder: Supports Smartphone and Tablets Output Power: 9 W Max Mobile Device Width: 170 mm
(b) DJI Remote Controller
Sensor Size: 6.17 × 4.55 mm Sensor ISO range: 100~3200 Lens Optics: 20 mm Diagonal FOV: 94 ° Distortion: 0.90 % Focus Range: Infinite Video Resolution: 3840 × 2160 (30 fps) Video Encoder: MPEG4/AVC/H.264 Video Format: MP4/MOV Video Storage: Micro-SD Class 10
(c) DJI Zenmuse X3 Camera
Size: 57.4 × 44,4 x 44.4 mm (including lens) Spectral Band: 7.5 ~ 13.5 μm Weight: 113.4 g Input Supply Voltage: 4.0 ~ 6.0 V Operating Temperature Range: -20℃ ~ 50℃ Operational Altitude: 12,000 m Video Resolution: 640 × 512 (30 fps) Video Format: AVI Video Storage: Micro-SD Card
(d) FLIR Vue Thermal Camera

Fig. 1

Concept of Image Correction with Pattern Matching

Fig. 3

Site of Experiments of River Experiment Center in Andong

Fig. 4

Sample images and their reference points

Fig. 5

Averaged difference image

Fig. 6

Movement of Reference Points in Far-infrared Images

Fig. 7

Average Velocity of a Normal Camera Images

Fig. 8

Effect of correction

Fig. 9

Average velocity of a cross section