팬틸트 기반의 IR 카메라를 이용한 산불 위치 추정 방법

Position Estimation of Forest Fires using an Infrared Camera Based on Pan Tilt Servo

Article information

J. Korean Soc. Hazard Mitig. 2022;22(4):97-103
Publication date (electronic) : 2022 August 26
doi : https://doi.org/10.9798/KOSHAM.2022.22.4.97
류진규*, 곽동걸**, 최승민***
* 정회원, 강원대학교 방재전문대학원 박사과정(E-mail: jkryu@kangwon.ac.kr)
* Member, Ph.D. Candidate, Graduate School of Disaster Prevention, Kangwon National University
** 정회원, 강원대학교 방재전문대학원 교수
** Member, Professor, Graduate School of Disaster Prevention, Kangwon National University
*** 정회원, 강원대학교 방재전문대학원 석사과정(E-mail: csm8975@kangwon.ac.kr)
*** Member, M.S. Course, Graduate School of Disaster Prevention, Kangwon National University
** 교신저자, 정회원, 강원대학교 방재전문대학원 교수(Tel: +82-33-570-6823, Fax: +82-33-570-6389, E-mail: dkkwak@kangwon.ac.kr)
** Corresponding Author, Member, Professor, Graduate School of Disaster Prevention, Kangwon National University
Received 2022 May 03; Revised 2022 May 09; Accepted 2022 June 02.

Abstract

최근 발생하는 산불은 많은 수의 인력과 장비를 동원하여도 대형화 및 장기간으로 진행되는 경우가 많아 진화에 어려움이 많은 실정이다. 이러한 문제를 이미지 기반의 실시간 산불 감지를 통해 대응하거나 모니터링을 통해 감시한다면 산불의 큰 피해를 막는데 효과적일 것이다. 하지만 실제 산불 발생 시 해당 발생지역에 이동수단의 접근이 어렵거나 모니터링 영상만을 통해 발생 위치를 구체적으로 파악하기가 어려운 문제점이 있다. 이러한 문제를 해결하고자 본 논문에서는 IR (Infrared) 카메라 기반의 산불 감지를 진행하고, 공간전방교회법을 응용하여 산불의 발생 위치를 추정하는 방법을 제안하였다. 그리고 실외에서 발화 실험을 통해 실용성 검증을 진행하였으며, 거리별 측정 정확도를 비교하였다.

Trans Abstract

Forest fires are often enlarged over extended periods of time, but if they are detected through image-based real-time monitoring, this would shorten the response time of fire fighters, thereby preventing great damage. When a forest fire occurs, it is often difficult to access the area and to accurately identify the location of its occurrence through monitoring images only. To overcome these problems, this paper proposes a method of detecting forest fires using infrared cameras and estimating the location of the forest fire by applying the space forward intersection method. Additionally, practicality verification was conducted through an outdoor ignition experiment, and the measurement accuracy of distance was compared.

1. 서 론

최근 산불은 지구 온난화로 인한 평균 기온 상승과 가뭄의 발생빈도 증가로 인해 대형화되고 있는 추세이다. 과거 대형산불의 발생 사례로는 2019년 4월 발생하였던 고성⋅속초 산불이 있는데, 이 산불로 13명의 사상자가 발생하였으며 약 3,054억 원의 재산 피해가 발생하였다. 또 최근 2022년 3월에 발생한 울진⋅삼척 산불의 경우 약 2,200억 원의 재산피해가 발생하였고, 산불이 13일간 이어지며 역대 최장기간 산불로 기록되었다. 이러한 산불 발생의 원인은 자연발화보다는 입산자 또는 인근 주민의 부주의로 발생하는 경우가 가장 많은 것으로 나타났다. 따라서 도시와 인접하거나 도로 등의 시설 기반이 있는 곳에 CCD (Charge-Coupled Device) 또는 IR 카메라 기반의 실시간 감시를 수행한다면 초기 발생에 대응하여 산불의 대형화를 막는데 효과적일 것이다. 하지만 이러한 모니터링 시스템이 산불 취약지역을 중심으로 현재도 운용되고 있으나, 영상 기반의 감시에는 한계가 있어 산불예찰단, 산불감시원 등 인력에 의존하고 있는 실정이다(Yun et al., 2019; Chung et al., 2020). 또한 이동수단의 접근이 어렵거나 영상을 통해 발생 위치를 파악하기 어려운 경우가 많아 인력에 의존한 감시 방법에는 한계가 있다(Kwak et al., 2021). 이러한 문제를 보완하고자 본 연구에서는 Fig. 1과 같이 IR 카메라를 이용한 실시간 산불 발생의 검출과 사진측량기법인 공간전방교회법을 이용하여 산불의 발생 위치를 추정할 수 있도록 하였다.

Fig. 1

Flowchart of Proposed Methods in This Study

본 연구는 발생 위치 추정을 위해 2대의 IR 카메라를 통해 실시간 이미지를 획득하고 온도가 높은 영역을 임계처리한다. 그리고 임계처리된 산불 발생 영역은 좌우나 상하가 정확히 대칭인 영역이 아니므로 공간모멘트(spatial moments)를 계산하여 영역의 중심점을 구하도록 한다. 산불 영역의 중심점이 카메라의 중심과 일치하는지 여부를 비교하도록 하고, 중심과 일치하지 않을 경우 신속히 팬틸트 서보모터를 움직여 정렬하도록 한다. 최종적으로 카메라의 중심이 산불 영역의 중심과 일치하게되면 서보모터가 기동한 만큼의 각도 정보를 얻는다. 그리고 초기에 설정된 카메라 설치 방위각에 기동한 각도를 더해 카메라와 산불 발생 위치 간의 방위 정보를 얻고 공간전방교회법을 이용하여 산불의 발생 위치를 추정하도록 한다. 이러한 방법을 통해 위치를 추정할 경우 단일 카메라 기반의 특징점을 매칭하는 방식 등을 이용하였을 때보다 연산속도와 정확도의 이점이 있다. 또한 산불의 연기가 산 너머에서 발생하였을 때 단일 카메라를 이용하거나 레이저 거리 측정 장치(Laser Range Finder, LRF)를 이용하였을 경우 오차가 발생하기 쉬우나 제안하는 방법을 이용할 경우 2대 이상의 카메라로 부터 산불 위치의 교차점을 통해 위치를 계산하므로 오차가 적고 보다 신뢰성이 우수한 장점이 있다.

2. 기존 산불감시 방법 현황

2.1 기존 산불감시 문제점

우리나라 산불의 경우 산세가 험한 지형이 대부분이며 산불 진화를 위해 많은 인력과 소화장비의 지원에도 진화 효과는 저조한 실정이다(Choi and Lee, 2020). 또한 인력적인 측면에서는 2020년 기준 산불재난특수진화대원이 약 430여 명이며, 산림청 산림항공본부 공중진화대에는 100여 명 등 산불진화대의 규모는 적지 않지만, 초기 진화에 효과적인 초대형 헬기의 경우 정부의 도입 지연으로 인해 부족하여 산불 발생 시마다 진화에 어려움이 따르는 실정이다. 따라서 산불 초기에 대응할 수 있도록 지자체별 산불 종합상황실에서 넓은 산림을 효과적으로 모니터링하고자 IR 카메라나 초고해상도 카메라를 이용하고 있지만, 산불을 발견하거나, 발생 신고 접수 후에도 구체적인 발생 위치 정보를 파악하는데 상당 시간이 걸려 초기 대응에 어려움이 있는 실정이다. 기존에도 이러한 문제를 해결하고자 산불감시용 CCTV (Closed-circuit Television)에 레이저 거리 측정 장치 등을 부착하여 산불 발생 위치를 산정하는 방법을 이용하였지만 비용 문제와 기상 상태에 따라 측정 거리에 한계가 있는 문제점 등 있다. 따라서 이러한 한계점을 보완하고자 본 연구에서는 산불의 발생을 감지하고 해당 발생 위치의 위경도 정보를 표출하도록 하여 초기 대응에 유용하도록 하였다.

2.2 산불 위치 감시 기존 연구 현황

산불의 조기 발견은 산불의 피해 발생을 줄이기 위한 가장 중요한 요소로 최근에는 영상 기반의 산불 감지 관련 연구들이 진행되고 있다.

Lee et al. (2013)은 팬틸트 기반의 카메라를 통해 산림 이미지를 여러 장 촬영한 뒤 메인 컴퓨터에서 이미지 처리를 통해 화재를 감지하도록 하였다. 이를 위해 입력 이미지에 대해 파노라마 쓰레드와 화재인식 쓰레드로 나누어 처리하고 파노라마 쓰레드에서는 특징점 추출 및 특징점 매칭을위한 호모그라피 계산 등을 통해 촬영된 여러 장의 이미지를 한 장의 이미지로 구성되도록 하였다. 그리고 화재인식 쓰레드에서는 이 이미지에 대해 산불을 검출하고 이미지에 산불 영역을 표시하도록 설계되었다. 이는 한 대의 카메라로 넓은 시야를 확보하고 모니터링이 가능하여 산불의 발생 규모를 확인하기에 용이하나, 실제 산불의 발생 위치까지는 사람이 직접 확인하여야 하는 단점이 있다.

다른 연구로는 Song and Lee (2017)가 제안한 연구로 관찰 카메라의 초점과 화각을 통해 산불의 발생 지점까지의 거리를 계산하였고, 계산된 위치 정보를 통해 산불의 진행 경로를 예측하는 연구를 진행하였다. 하지만 이러한 방법은 한 대의 카메라를 통해 산불의 위치를 추정하는 방식으로 산불이 산등선 너머에서 발생하여 지평선보다 높게 연기가 유동한 경우 거리의 오차가 상당히 크게 발생할 가능성과 전혀 위치를 추정하지 못하는 경우도 주어진다. 따라서 본 연구에서는 기존의 문제들을 보완하고 새로운 방법으로 산불 위치를 추정하고자 한다. 이를 위해 IR 카메라를 통해 산불을 검출하고 검출된 산불 영역에 대해 공간모멘트를 구하고 무게 중심(center of mass)을 구하여 불규칙한 모양의 산불 영역으로 부터 중심을 찾도록 개선하였다. 그리고 2대의 IR 카메라와 산불 중심간의 방위각을 통해 정밀하게 위치를 추정하도록 하였다.

3. 연구내용 및 방법

3.1 팬틸트가 적용된 IR 카메라를 이용한 방위각 추정

본 연구에서는 해석적 공간전방교회법을 이용하여 산불의 발생 위치를 추론하고자 하여, 여기서 필요한 입력 변수로는 2대의 카메라의 설치 위치 정보와 각 카메라로부터 산불이 발생한 위치까지의 방위각 정보가 필요하다. 산불 발생 초기에는 Fig. 2와 같이 IR 카메라의 관찰 방향에 따라 산불 발생 원점까지의 방위각이 차이가 발생하므로 정확한 방위각을 얻기 위한 방법이 필요하다.

Fig. 2

Angle Difference between Camera and Object Center

이를 위해 IR 카메라의 이미지 중심과 산불 발생 중심의 픽셀 위치 차이에 따라 비례하여 각도를 보상하는 방법이 있다. 이 같은 경우 IR 카메라의 렌즈의 왜곡에 의해 중심과 외각의 굴절률이 달라 오차가 발생할 수 있으며 이를 보정하는 검교정(calibration) 과정이 필요하다. 또한 CCD 카메라와 달리 IR 카메라의 경우 방사되는 열 정보를 통해 검교정을 해야하므로 검교정판에 램프를 이용해 열을 가열하는 방식이나, MEMS (Micro Electro-Mechanical Sensor)를 이용하여 검교정하는 방법이 이용되고 있다. 하지만 이러한 방법은 검교정판 전영역에 대해 동등한 열로 가열하여야 하고 이러한 과정을 정밀하게 수행하기 어려워 정확도가 감소된다는 문제가 있다. 또한 램프에서 발생하는 열이 기류에 따라 불규칙하게 유동하여 램프의 중심을 정밀하게 측정하기 어려운 문제가 있어 향후 측정에서 오차가 발생할 가능성이 있다(Kim et al., 2014).

따라서 본 연구에서는 팬틸트가 적용된 IR 카메라를 이용하여 카메라와 산불 발생 중심점 간의 방위각을 얻도록 하였다. 이를 위해 IR 카메라의 중심과 산불 발생 원점의 위치를 비교하여 중심에 정렬되어있지 않을 경우 서보모터를 0.1°씩 가동하며 중심을 일치시키도록 하였다. 그리고 총 이동한 각도를 초기 방위각에 더하여 현재 IR 카메라의 방위각을 얻게 된다. 이렇게 2대의 IR 카메라로부터 얻어진 방위각을 해석적 공간전방교회법을 이용하여 산불 발생 위치를 계산하도록 한다.

3.2 영상처리 및 중심 모멘트 추출

산불 발생 영역의 중심과 IR 카메라의 중심을 정렬하기 위해 산불 영역의 중심점을 결정해야 하고 이를 위해 먼저 Fig. 3과 같이 입력 IR 이미지를 설정 온도에 따라 이진화 임계처리를 진행한다. 임계처리된 영역에 대해서는 이미지 모멘트를 이용하여 무게 중심을 구하게 된다. 이미지 모멘트를 이용하여 무게 중심을 구하는 이유는 산불 발생 영역의 경우 화염의 모양이 일정하지 않아 단순히 영역의 가장 좌측 및 우측의 중간값을 중심으로 결정하면 객체의 비중이 가장 높은 부분을 벗어날 수 있기 때문이다.

Fig. 3

Fire Area Threshold Processing of IR Image

여기서 이미지 모멘트를 이용하여 중심을 구하기 위해 Eq. (1)과 같이 공간모멘트를 구하고 Eq. (2)를 통해 x축 및 y축 상의 객체의 무게 중심을 구할 수 있다. 픽셀의 밀집도가f(x,y)인 2차원 이미지에 적용하면 여기서 0차 모멘트m10, m01은 각각xy축의 분포 값이 되며 Eq. (2)를 이용하여 객체의 중심을 구할 수 있다.

(1)mji=x,yxjyi·f(x,y)
(2)x¯=m10m00,y¯m01m00

이를 이용하여 임계처리된 산불 영역에 대해 중심점을 붉은색 점으로 시각화한 것이 Fig. 4로, 산불 영역과 같이 좌우가 비대칭이고 불규칙한 모양을 갖는 객체에 대해 큰 면적을 갖는 쪽의 중심을 찾을 수 있다.

Fig. 4

Visualization of the Center of Mass of the Forest Fire Area

3.3 공간전방교회법을 이용한 위치 추정

산불이 발생한 위치를 IR 카메라를 통해 추론하기 위해 본 연구에서는 공간전방교회법을 이용하여 구현하였다. 공간전방교회법에는 공선조건식을 이용하는 방법과 해석적 공간전방교회법을 이용하는 방법이 있다. 공선조건식은 노출점, 대상점, 영상점이 같은 직선상에 위치해 있다는 가정을 통해 Eq. (3)을 이용하여 미지점의 위치를 구한다.

(3)xa=f(m11(XAXL)+m12(YAYL)+m13(ZAZL)m31(XAXL)+m32(YAYL)+m33(ZAZL))ya=f(m21(XAXL)+m22(YAYL)+m23(ZAZL)m31(XAXL)+m32(YAYL)+m33(ZAZL))

여기서f는 카메라의 초점거리이며, XA, YA, ZA는 미지점의 실세계좌표, XL, YL, ZL는 절대좌표계에서 투영중심의 위치이고, m11~ m33은 카메라의 절대좌표계에서의 회전행렬이다(Kwon et al., 2005).

해석적 공간전방교회법은 기지점으로부터 미지점까지의 거리를 재기가 어려울경우 사용할수 있는 방법으로 각 기지점에서 교차되는 미지점까지의 거리를 계산할 수 있다.

해석적 공간전방교회법의 경우 Fig. 5와 같이 미지점A를 관찰하고 있는 L1L2 위치에 카메라가 있고 두 카메라 간의 거리인 BL그리고 해당 설치 위치에 대한 위경도 정보와 각 카메라와 미지점간의 방위각도인 a1, a2를 Eq. (4)에 대입하고 미지점까지의 거리인 AL1AL2를 Eq. (5)를 통해 계산할 수 있고, 그리고 미지점의 위치XA’’, YA’’를 Eq. (6)을 이용하여 계산된다(Jeong, 2007; Jeong et al., 2008).

Fig. 5

Analytic Space Forward Intersection

(4)a1=90+ϕ1tan1(x1af)a2=90+ϕ2tan1(x2af)
(5)AL1=BL·sina2sina3AL2=BL·sina1sina3
(6)XA=AL1·cosa1+BLAL2·cosa22YA=AL1·sina1+AL2·sina22

공선조건식을 이용한 방법과 해석적 공간전방교회법은 모두 사진측량에서 보편적으로 사용되고 있지만 공선조건식은 행렬의 곱셈과 역행렬 연산과정이 포함되기 때문에 계산이 복잡한 단점이 있어, 본 연구에서는 해석적 공간전방교회법을 이용하여 산불의 발생위치를 추론하도록 하였다.

본 연구에서 제시한 영상 전처리 방법과 팬틸트 카메라를 통해 얻은 방위 각도를 이용하여 산불 위치를 추론할 수 있는 프로그램을 구성하였다. Fig. 6과 같이 Python 3.7 기반에서 프로그램을 작성하였고, 지도상에 계산을 통해 추론한 미지점의 정보를 시각화할 수 있도록 하였다.

Fig. 6

Implementation of the Proposal Method Using Python

4. 실외 실험을 통한 검증

본 연구에서 제안하는 방법의 성능을 검증하고자 실외 발화 실험을 진행하였다. 이를 위해 Fig. 7(a)와 같이 사전에 광파기를 통해 발화지점과 카메라 설치 위치까지의 거리를 측정하였다. 그리고 실험은 산불을 발생시켜 진행할 수 없어, 산불과 유사한 조건에서 실험할 수 있도록 산을 배경이 되도록 하였으며, 실험 중 비화 등으로 산불이 발생되지 않도록 주변이 건천 형태의 자갈로 이루어진 평지에서 실험을 진행하였다. 그리고 점화원은 500 mm × 800 mm 화조에 목재를 채워 점화시켜 진행하였다.

Fig. 7

Outdoor Ignition Experiment

측정 지점은 발화원을 중심으로 Fig. 8과 같이 700 m 3지점, 1,000 m 3지점에서 측정하였다. Fig. 7(b)는 측정지점에서 제안하는 방법을 통해 구현한 프로그램을 노트북과 IR 카메라를 통해 측정하는 장면과 두번째 측정지점으로 이동 후 계산된 발화지점 까지의 거리와 위경도 정보를 나타내고 있다. 실험에 사용된 IR 카메라는 -10 ℃에서 +450 ℃까지 온도를 측정할 수 있으며 160 × 120 픽셀의 해상도로 초당 8.7 프레임으로 촬영이 가능한 카메라를 이용하였다.

Fig. 8

Location of Ignition Point and IR Cameras

Table 1은 발화 지점 추정 결과에 대한 구체적인 성능을 나타내는 것으로 2대의 카메라를 통해 다른 위치에서 6회 위치 추론 실험을 실시한 결과를 나타내며, 실제 발화원의 위치와 추론된 위치의 오차를 정리하였고, 각 축에 대한 평균 제곱근 오차, RMSE (Root Mean Squared Error)도 표시하였다.

The RMSE of the Position Estimation

그 결과 700 m 거리 실험에서 x 방향의 RMSE는 4.49 m로 나왔으며 y 방향의 오차는 3.63 m로 나타났다. 그리고 1,000 m 실험에서는 x 방향으로 5.37 m y 방향으로 6.58 m의 오차가 발생했다.

5. 결 론

본 연구에서는 팬틸트 모터가 장착된 IR 카메라와 측량기법을 응용하여 산불의 위치를 추론하는 방법을 제안하였다. 이러한 방법은 별도의 장비를 통해 거리를 측정하여 산불 발생 위치를 추론하는 경우 대비 비용을 절감할 수 있다. 또한 기존에 사용되던 레이저 거리 측정기의 경우 안개나 연무가 형성되었거나 기상이 좋지 않은 경우 정확한 측정이 불가능한 문제가 있지만 제안하는 방법을 이용할 경우 이러한 단점들을 보완할 수 있다. 또한 본 연구에서 제시한 방법을 이용할 경우 두 카메라의 교차점을 통해 산불의 위치를 추론하므로 산등선 너머에서 발생하거나 거리측정기로 측정이 불가능한 경우에도 정밀하게 위치를 추정할 수 있는 장점이 있으며, 여러 대의 카메라를 설치하고 두 대 이상의 카메라로부터 산불이 감지될 경우 산불이나 카메라의 설치 높이에 상관없이 교차점을 통해 산불의 위치를 추론할 수 있다. 하지만 두 대의 카메라 시야 내에 산불이 반드시 있어야 위치 추론이 가능하다는 단점이 있다. 향후 연구에서는 고해상도 열화상카메라와 정밀한 측량 기법을 응용하여 더욱 먼 거리에서 낮은 오차로 위치를 추정할 수 있는 방법을 연구할 예정이다.

감사의 글

본 과제는 행정안전부 지역맞춤형 재난안전 연구개발 사업의 지원을 받아 수행된 연구임(20010162).

References

1. Choi H. H, Lee E. P. 2020;Development of the wide area fire support system in Korea. Jorunal of Korean Society of Hazard Mitigation Association 20(4):161–172.
2. Chung D. K, Lee M. H, Kim H. Y, Park J. Y, Lee I. P. 2020;Development of forest fire monitoring system using a long-term endurance solar powered drone and deep learning. Journal of Korean Society for Geospatial Information Science 28(2):29–38.
3. Jeong D. H. 2007;A comparative study on the 3D positioniing methods by CCD images of the mobile mapping system. The Journal of GIS Association of Korea 15(2):169–180.
4. Jeong J. S, Jeong D. H, Sung J. G. 2008;Automatic extraction of kilometer posts using a mobile mapping system. Journal of Cadastre &Land InformatiX 38(2):251–273.
5. Kim S. U, Choi M. Y, Park J. H, Shin K. Y, Lee E. C. 2014;Development of calibration target for infrared thermal imaging camera. Journal of the Korean Society for Nondestructive Testing 34(3):248–253.
6. Kwak J. H, Kim N. G, Kim M. I. 2021;Development of evacuatn route planning algorithm for responding to urban forest fires. Jorunal of Korean Society of Hazard Mitigation Association 21(6):63–70.
7. Kwon H. J, Bae S. K, Kim B. G. 2005;3D position tracking for moving objects using stereo CCD cameras. The Journal of GIS Association of Korea 13(2):129–138.
8. Lee S. H, Shin B. J, Song B. D, An S. J, Kim J. D, Lee H. J. 2013;Wild fire monitoring system using the image matching. The Journal of the Korea Contents Association 13(6):40–46.
9. Song H. S, Lee E. Y. 2017;A study on the distance estimation using infrared camera and forecast the direction of forest fire by meteorological instrument in the forest fire monitoring system. Journal of the Korean Institute of IIIuminating and Electrical Installation Engineers 31(12):53–59.
10. Yun W. K, Song Y. J, Moon J. S, Jang S. J, Yoo S. J. 2019;Deep learning based temperature sensor data and wildfire propagation prediction in duty cycled wireless sensor network. The Journal of Korean Institute of Communications and Information Sciences 44(6):1092–1104.

Article information Continued

Fig. 1

Flowchart of Proposed Methods in This Study

Fig. 2

Angle Difference between Camera and Object Center

Fig. 3

Fire Area Threshold Processing of IR Image

Fig. 4

Visualization of the Center of Mass of the Forest Fire Area

Fig. 5

Analytic Space Forward Intersection

Fig. 6

Implementation of the Proposal Method Using Python

Fig. 7

Outdoor Ignition Experiment

Fig. 8

Location of Ignition Point and IR Cameras

Table 1

The RMSE of the Position Estimation

Distance Points ∆x (m) ∆y (m)
700 m A 5.86 4.04
B 3.55 3.64
C 3.71 3.17
RMSE 4.49 3.63
1,000 m D 5.17 6.83
E 5.02 6.29
F 5.87 6.60
RMSE 5.37 6.58