가스 누출 탐지 모델 개발을 위한 딥러닝 기반 초음파 이미지 학습 연구

Research on Deep learning based Ultrasonic Image Learning to Develop a Gas Leak Detection Model

Article information

J. Korean Soc. Hazard Mitig. 2023;23(6):135-143
Publication date (electronic) : 2023 December 31
doi : https://doi.org/10.9798/KOSHAM.2023.23.6.135
* 정회원, 1한국전자기술연구원 산업데이터융합연구센터 연구원(E-mail: yjgu13@keti.re.kr) 2창원대학교 환경공학과 박사과정
* Member, 1Researcher, Industry Big Data Convergence Research Center, Korea Electronics Technology Institute 2Ph.D. Candidate, Department of Environmental Engineering, Changwon National University
** 창원대학교 정보통신공학과 학부생
** Undergraduate Student, Department of Information and Communication Engineering, Changwon National University
*** 한국전자기술연구원 스마트제조연구센터 선임연구원
*** Senior Researcher, Smart Manufacturing Research Center, Korea Electronics Technology Institute
**** 한국전자기술연구원 스마트제조연구센터 센터장
**** Director, Smart Manufacturing Research Center, Korea Electronics Technology Institute
***** 창원대학교 정보통신공학과 조교수
***** Assistant Professor, Department of Information and Communication Engineering, Changwon National University
****** 정회원, 한국전자기술연구원 스마트제조연구센터 책임연구원(E-mail: jhshin@keti.re.kr)
****** Member, Principal Researcher, Smart Manufacturing Research Center, Korea Electronics Technology Institute
****** 교신저자, 정회원, 한국전자기술연구원 스마트제조연구센터 책임연구원(Tel: +82-31-759-8122, Fax: +82-31-759-8135, E-mail: jhshin@keti.re.kr)
****** Corresponding Author, Member, Principal Researcher, Smart Manufacturing Research Center, Korea Electronics Technology Institute
Received 2023 November 06; Revised 2023 November 07; Accepted 2023 November 15.

Abstract

가스는 눈에 보이지 않아 가스 누출 사고가 발생하는 경우 누출 위치 확인 및 사고 규모 예측이 어렵다. 본 연구에서는 가스 누출 시 발생하는 초음파를 시각화하는 기술을 이용하여 가스 누출 여부 뿐만 아니라 가스 누출 위치, 누출 유량 정보를 획득할 수 있는 딥러닝 기반의 가스 누출 탐지 모델을 개발하였다. 연구 방법은 크게 데이터 수집 및 모델 학습으로 구분된다. 먼저 데이터 수집은 초음파 카메라를 이용하여 측정 거리(1, 3 m) 및 가스 누출 유량(0~8 L/min)에 따른 초음파 이미지를 수집하였다. 이미지 학습은 YOLO를 이용하였으며 가스 누출 유량 범위에 따라 Class를 설정한 후 모델을 학습하였다. 수집한 초음파 이미지는 측정 거리가 멀어질수록 선명도가 낮아지고, 누출 유량에 따른 이미지의 차이가 거의 없어 육안으로 구분하기 어려웠다. 그러나 모델 학습 결과 precision 0.960, recall 0.967, mAP (IoU 50%) 0.987로 높은 성능을 나타내었으므로 향후 산업현장의 가스 안전 관리 기술로 적용하는 경우 가스 누출로 발생하는 사고를 탐지하고 누출 위치, 누출 유량 등의 정보 전달을 통해 적절한 사고 대응을 제시할 수 있을 것으로 기대된다.

Trans Abstract

If a gas leak occurs in an industrial area, identifying the location of the gas leak and predicting the scale of the accident are challenging owing to the invisible nature of the gas. In this study, we developed a deep learning-based gas leak detection model that can obtain not only the gas leak status, but also the gas leak location and flow rate information, by using technology to visualize the ultrasonic waves generated during gas leaks. Research methods are broadly categorized into data collection and model learning methods. First, data was collected using an ultrasonic camera to capture ultrasonic images at different measurement distances (1 and 3 m) and gas leak flow rates (0-8 L/min). YOLO (You Only Look Once) was used for image learning, and the model was trained after setting the class according to the gas-leak flow range. The clarity of the collected ultrasonic images decreased as the measurement distance increased. In addition, there was little difference between the images for each leakage flow rate, posing challenges in distinguishing them with the naked eye. However, the model learning results showed high accuracy, with a precision of 0.960, recall of 0.967, and mAP (IoU (Intersection over Union) 50%) of 0.987. Applying this model as a gas safety management technology at industrial sites, enables the accurate determination of gas leak status, gas leak location, and gas leakage flow. This information is expected to guide appropriate accident responses for workers.

1. 서 론

가스는 산업 및 가정 등 여러 환경에서 사용되고 있는 만큼 가스 누출과 같은 안전사고를 예방하기 위한 체계적인 관리가 요구된다. 현재 산업시설은 가스안전 관리를 위해 안전관리자를 지정하여 관리지침에 따라 압력⋅유량 센서 모니터링 및 가스 감지 센서를 이용한 설비 점검을 수행하고 있다(Jin et al., 2011). 그러나 중⋅저압 가스배관에서 공급압력 대비 발생하는 미세한 누출은 압력⋅유량 센서로 감지하기 어렵다. 또한, 산업에서 주로 사용하는 접촉식 방식의 전기화학식(Electro chemical) 및 반도체식(Semiconductor) 가스 센서 그리고 비접촉 방식의 비분산적외선(NDIR) 가스 센서는 국부적인 영역 내에서만 특정 농도 이상의 가스를 감지하므로 가스 누출 사고가 발생하는 경우 즉각적인 대응이 힘들다. 특히 가스는 육안으로 보이지 않기 때문에 정확한 가스 누출 위치를 확인할 수 없어 근로자가 가스에 노출되는 경우 안전사고로 이어질 수 있다.

적외선 카메라나 초음파 카메라를 이용하는 경우 누출가스의 시각화를 통해 기존 센서 방식보다 빠르게 감지할 수 있으며, 원거리에서 측정이 가능하여 근로자의 안전사고를 예방할 수 있다. 적외선 카메라는 가스가 특정 적외선 파장을 흡수하는 성질을 이용하여 가스 영역과 배경 영역의 적외선 에너지 차이를 통해 가스를 시각화하는 기술이며(Park et al., 2017; Olbrycht and Kaluza, 2020), 초음파 카메라는 가스 누출원에서 발생하는 난류에 의해 생성되는 초음파를 감지하여 dB의 세기를 시각화하는 기술이다(Cho et al., 2019). 관련 연구로 Johnson et al. (2022)은 적외선 기반의 OGI (Optical Gas Image) 카메라를 이용하여 유정(油井) 현장에서 발생하는 천연가스의 비산 또는 저장탱크에서 발생하는 가스 누출 여부를 분류하는데 사용하였으며, 가스 이미지로부터 배출 속도 및 배출 위치를 분석하였다. Gibson et al. (2017)은 DMD (digital micromirror device)를 사용하여 단일 픽셀 검출 및 이미징 기술을 통해 메탄 가스가 포함된 장면에 적외선을 투영하고 후방 산란된 레이저 광을 단일 픽셀로 측정하여 메탄 가스를 이미지 및 고해상도로 변환하는 연구를 수행하였다. Nordin et al. (2014)은 초음파 단층 촬영 기술을 이용하여 수집한 초음파 센서 데이터 기반으로 이미지를 생성하여 가스 배관의 결함을 모니터링하는 시스템을 개발하였다.

그러나 현재 상용화된 적외선 및 초음파 카메라는 가스를 자동으로 탐지하는 기술이 없어 지속적인 모니터링이 어렵다. 또한, 근로자의 경험과 지식에 의존하여 가스 이미지를 보고 누출 사고의 위험을 판단한다면 휴먼 에러(human error)가 발생할 수 있다. 이와 같은 문제를 해결하기 위해 최근 가스 시각화 기술과 AI 기술을 융합한 연구를 통해 가스 누출 시 이미지를 자동으로 감지하는 연구가 활발하게 이루어지고 있다. Shi et al. (2020)은 OGI 카메라를 이용해 Faster R-CNN 기술을 적용하여 자동으로 가스 누출 이미지를 감지하고 위치를 추적하는 연구를 진행하였다. Wang et al. (2020)은 공장 굴뚝에서 메탄 가스의 누출 유무를 실시간 모니터링하기 위해 OGI 이미지를 학습한 CNN 기반 GASnet 시스템을 개발하였다. 이와 같이 가스 시각화 및 실시간 모니터링 기술의 융합을 통해 산업 현장에서 발생하는 가스 누출 이미지를 분석하고 현장에 위치한 근로자에게 적절한 대처를 지시하여 가스 누출로 인한 화재 및 인명 피해를 예방할 수 있다.

그러나 가스 누출 탐지를 위해 초음파 카메라를 활용하여 AI 기술을 접목한 연구는 현재까지 없는 실정이다. 초음파 카메라는 적외선 카메라와 달리 난류로 인해 발생하는 초음파를 감지하기 때문에 가스 종류와 상관없이 가스를 감지할 수 있어 활용 범위가 넓은 장점이 있다. 따라서, 본 연구에서는 초음파 카메라를 이용하여 중⋅저압 배관에서 발생하는 가스 누출을 탐지하는 딥러닝 모델을 개발하고자 한다. 또한, 선행 연구에서는 가스 누출 및 비(非) 누출을 판단하는 이진 분류 모델을 개발하였으나 본 연구에서는 가스 누출 여부뿐만 아니라 가스 누출 유량을 탐지하는 다중 분류 모델을 개발하고자 한다. 초음파 카메라를 이용하여 측정 거리 및 가스 누출 유량별 초음파 이미지를 수집하였으며 딥러닝 모델인 YOLOv8을 이용하여 가스 누출 유량 범위에 따라 Class를 분류하여 모델 학습을 진행하였다.

2. 연구방법론

2.1 Testbed 구축

Fig. 1은 가스 누출 실험을 위한 소규모 테스트베드로 실험을 수행하기 전 기밀 테스트를 완료하였다. Testbed는 볼유량계, MFM (Mass Flow Meter), 압력계, S자형 배관, 볼밸브, SCADA 시스템으로 구성된다. 40 L 질소 공업용 가스를 사용하였으며 레귤레이터를 이용해 배관 압력을 3 bar로 설정하였다. 볼유량계는 0~20 L/min까지 조절할 수 있으며 질소가스 용기와 배관 사이에 설치 후 가스 유량은 20 L/min으로 고정하였다. 압력계 3개를 밸브 사이에 각각 설치하여 배관 압력을 확인하였다. 산업에서 주로 사용하는 SUS316 배관은 S자 형태로 구성한 후 각 위치마다 볼밸브 6개를 설치하여 누출 위치 포인트로 설정하였다. MFM은 배관 양 끝단에 설치 후 SCADA 시스템과 연결하여 입구 및 출구 유량 값의 차를 실시간으로 계산하여 가스 누출 유량을 확인하였다. 밸브는 개도율을 0%~100%로 높여서 가스 누출 유량에 따른 초음파 이미지를 수집하였다. 초음파 카메라는 FLIR 사의 Si124 제품을 사용하였다. Si124는 저소음 MEMS 마이크 124개를 통해 실시간 음향 시각화 기능이탑재된 초음파 카메라로서 2 kHz~35 kHz 대역폭의 음파를 감지 및 시각화할 수 있으며 0.4~130 m 거리까지 촬영이 가능하다.

Fig. 1

Testbed for Gas Leak Test

2.2 학습데이터 구축

학습 데이터는 누출 위치 포인트로 설정한 6개 밸브에서 가스 누출로 인해 나타나는 초음파 이미지 및 주변 소음(Noise)에 의해 나타나는 초음파 이미지를 수집하였다. 가스 누출 유량(0~2, 2~4, 4~7, 7~8 L/min)에 따른 초음파 이미지는 누출 유량의 구간별로 150장씩 수집하여 1 m 및 3 m 거리에서 각각 촬영한 이미지 600장씩 총 1,200장을 수집하였으며, 가스 누출 유량이 아닌 Noise에 의해 발생하는 초음파 이미지 100장을 수집하여 총 1,300장을 모델 학습에 사용하였다.

Class는 가스 누출 유량에 따라 각각 0 to 2, 2 to 4, 4 to 7, 7 to 8 그리고 Noise로 설정하였으며 Class별 대표 이미지는 Fig. 2와 같다. 1 m 거리 이미지는 가스 누출이 발생하는 지점을 중심으로 원 형태를 띄며 가스 누출 유량이 증가할수록 주황색에서 빨간색으로 색상이 진하게 나타났다. 그러나 3 m 거리 이미지는 원의 크기가 넓게 퍼져서 나타나며, 가스 누출 유량에 따른 초음파 이미지 간 색상 차이가 크게 나타나지 않는다. 또한, 거리가 멀어질수록 배경 이미지의 선명도도 다소 감소하였다. Noise는 주변 소음에 의해 나타나는 초음파 이미지로 가스 누출 실험 중에 주변 소음의 세기에 따라 색상 및 크기가 다양하게 나타났으며, 본 연구에서는 가스 누출에 의해 나타나는 초음파 이미지와 유사한 Noise 이미지를 Fig. 2와 같이 수집 및 학습데이터로 사용하였다.

Fig. 2

Gas Leak and Noise Images Using Ultrasonic Camera (Gas Leakage Flow (A) 0~2 L/min, (B) 2~4 L/min, (C) 4~7 L/min, (D) 7~8 L/min)

모든 이미지 사이즈는 640 × 640으로 통일한 후 Fig. 3과 같이 Labelimg 프로그램을 이용하여 직접 이미지 위에 경계박스를 그린 후 박스에 대한 Class, box의 좌표(x, y) 및 크기(width, height) 정보를 텍스트 파일로 저장하는 레이블을 적용한다.

Fig. 3

Data Labeling according to Class

2.3 모델 학습

본 연구에서 사용한 객체 탐지 알고리즘인 YOLO는 기존 R-CNN, Fast R-CNN에서 사용하는 two-stage detection이 아닌 one-stage detection 방식을 이용하여 객체의 bounding box 좌표(x, y) 및 크기(width, height) 값과 Class 확률을 동시에 계산하므로 기존 객체 탐지 모델과 비교했을 때 속도가 빠른 특징이 있다(Redmon et al., 2016; Lee et al., 2021). 또한, 기존 객체 탐지 모델과 비교했을 때 약 2배 높은 mAP (mean Average Precision)을 나타내어 탐지율이 높다(Kim and Hong, 2023). YOLOv8은 현재 기준으로 가장 최신 버전이며 DarkNet53의 구조를 개선한 CSPDarkNet53을 기반으로 네트워크 구조를 이룬다. 또한, 객체 중심을 직접 예측하는 앵커프리 모델로 NMS의 속도를 증가시켜 이전 버전보다 높은 모델 성능을 나타낸다. 따라서, 본 연구에서는 YOLOv8을 이용하여 모델 학습을 진행하였다.

Class별 이미지를 일정한 비율로 학습 및 검증하기 위하여 각 Class에 해당하는 이미지를 폴더로 따로 분할하였다. 이후 각각의 폴더에서 이미지들의 주소리스트를 무작위로 섞은 다음 상위 80% 이미지는 train, 하위 20% 데이터는 validation으로 사용하였다. Table 1과 같이 0 to 2, 2 to 4, 4 to 7, 7 to 8은 300장 데이터 중 80%인 240장을 train 데이터로 사용하였으며, noise는 100장 중 80%인 80장을 train 데이터로 사용하였다. train 데이터로 학습한 모델은 validation 데이터를 통해 최종적으로 모델의 성능을 평가 및 과적합 유무를 확인하였다. 모델 학습을 위해 epochs = 50, batch = 16, weight decay = 0.0005, learning rate = 0.001111로 파라미터 값을 사용하여 초음파 이미지에 따른 가스 누출 유량을 학습하였다.

Number of Image Data for Each Class

3. 결과 및 고찰

3.1 가스 누출 탐지 모델의 성능 분석

모델 학습에 대한 성능은 정밀도(precision), 재현율(recall), 평균정밀도(Average Precision, AP) 및 정밀도-재현율 곡선(Precision-Recall curve, RP curve)으로 평가하였다. 정밀도는 모델이 객체로 예측한 정답(True Positive + False Positive, TP + FP) 중 실제 정답(True Positive, TP)의 비율이며, 재현율은 실제 객체 수(True Positive + False Negative, TP + FN) 중에서 모델이 객체로 예측한 비율을 의미한다. 그리고 AP는 1개의 객체 클래스에 대한 정밀도의 평균값을 의미한다. 일반적으로 이미지 학습에서 객체를 탐지하는 실제 바운딩박스에 대한 예측 바운딩박스의 중첩 비율을 나타내는 IoU (Intersection over Union) 값에 따른 AP의 변화를 비교하여 모델의 성능을 분석할 수 있다.

(1)Precision=TruePositive(TP)TruePositive(TP)+FalsePositive(FP)
(2)Recall=TruePositive(TP)TruePositive(TP)+FalseNagative(FN)

Fig. 4는 모델 epoch (학습 횟수)에 따른 정밀도, 재현율 및 mAP (mean Average Precision) 그래프를 나타낸다. Figs. 4(a)(b)는 각각 epoch에 따른 정밀도 및 재현율 그래프이며, 2개 지표 모두 epoch가 50일 때 0.9 이상의 높은 값을 나타내었다. Fig. 4(c)는 IoU 50일 때 epoch에 따른 mAP를 나타내었다. mAP는 모든 클래스에 대한 AP 값을 평균한 것으로 epoch 50일 때 mAP는 0.987로 높은 성능을 나타내었다. Fig. 4(d)는 IoU를 50~95%일 때 epoch에 따른 mAP이며, 실제 바운딩박스와 예측 바운딩박스 간 중첩비율을 5% 단위로 나누어 50~95%일 때 각각의 AP를 평균한 값이다. IoU 50일 때 보다 낮은 0.814을 나타내었으나 전반적으로 IoU 50 및 IoU 50~95% 조건에서 0.8 이상의 높은 성능을 보인다.

Fig. 4

Inference Results Etrics of YOLO Model

Fig. 5는 정밀도-재현율 곡선(Precision-Recall curve, RP curve)을 나타낸 것으로 재현율에 따른 정밀도 값을 분석하여 모델의 성능을 종합적으로 평가할 수 있다. AP는 정밀도-재현율 곡선의 면적 값으로 곡선의 형태가 정사각형을 띌수록 AP값이 높게 나타난다. 재현율의 값을 0~1까지 0.1 단위로 증가할 때 모든 클래스의 mAP는 0.987의 높은 값을 나타내었다. 또한, 각 클래스의 정밀도 최대값은 0 to 2 (0.995), noise (0.995), 7 t 8 (0.992), 2 to 4 (0.983), 4 to 7 (0.972) 순으로 높게 나타났다. 0 to 2 및 noise의 정밀도가 0.995로 가장 높고 Class 4 to 7의 정밀도가 0.972로 다소 낮게 나타났다.

Fig. 5

Precision-recall Curve of YOLO Model

3.2 가스 누출 탐지 모델 학습의 결과 분석

Fig. 6은 1 m, 3 m 거리에서 촬영한 초음파 이미지의 예측 바운딩박스 결과이다. 측정 거리가 1 m에서 3 m로 증가하면서 초음파의 크기는 넓게 퍼진 원의 형태를 나타냈으며, 가스 누출 유량이 증가할수록 초음파 색상의 채도가 증가하였다. 측정 거리가 멀어질수록 가스 누출 유량에 따른 초음파의 색상 차이는 작게 나타났다. 또한, 거리가 멀어질수록 배경 이미지의 선명도도 다소 감소하였으므로 모델 학습에 적용하는 경우 Class별 이미지 간 차이점이 뚜렷하게 나타나지 않고 선명도가 낮아 정확하게 객체를 탐지하기 어려울 것으로 예상하였다.

Fig. 6

Gas Leak Images by Gas Leak Flow and Noise Images (Class as (A) 0 to 2, (B) 2 to 4, (C) 4 to 7, (D) 7 to 8)

Fig. 6의 YOLO 모델 예측 결과는 정밀도, 재현율 및 mAP로 Tables 23에 나타내었다. 먼저, Table 2는 가스 누출 유량 범위 따른 모델의 성능을 비교한 것으로 Class 0 to 2 및 7 to 8은 모든 지표에서 높은 성능을 나타냈으며 Class 4 to 7은 가장 낮은 성능을 보였다. 이는 다른 Class에 비해 가스 누출 유량 범위가 넓기 때문에 이미지 데이터 간 차이가 비교적 뚜렷하여 충분히 학습하지 못한 것으로 나타난다. Class 2 to 4는 두번째로 낮은 성능을 나타내었는데, Class 4 to 7의 오답은 대부분 Class 2 to 4로 예측하였으므로 Class 2 to 4 및 4 to 7 간 이미지가 비슷하여 2개의 모델 성능이 낮아진 것으로 보인다. 이를 보완하기 위해 Class 2 to 4 및 4 to 7의 유량 범위를 재설정하거나 추가적인 데이터 확보가 필요하다.

Inference Results of YOLO Model according to Class

Inference Results of YOLO Model according to Distance (1 m, 3 m)

Fig. 6의 Noise는 가스 누출이 아닌 주변 소음으로 인해 발생하는 초음파 이미지의 모델 학습 결과이다. 주변 소음에 의한 초음파 이미지를 가스 누출에 의한 이미지로 감지하는 문제를 해결하기 위해 주변 소음에 의한 초음파 이미지를 Noise로 Class를 설정하였다. 모델 학습 결과 정밀도 0.993, 재현율 1.000, mAP (IoU 50%) 0.995로 높게 나타났으나 IoU 50~95%로 임계치를 높였을 때 0.614로 다른 Class와 비교했을 때 가장 낮은 수치를 나타내었다. Noise 이미지는 불규칙적으로 발생하므로 데이터 수집이 어려웠으며, 다른 클래스에 비해 수집한 데이터 수가 적었기 때문에 충분히 학습하지 못하였다. 따라서, Noise가 나타나는 이미지 데이터의 추가 확보를 통해 모델 성능을 보완할 수 있을 것으로 예상된다.

Table 3은 1 m 거리 이미지만 학습한 모델 및 3 m 거리 이미지만 학습한 모델의 성능을 정밀도, 재현율 및 mAP로 비교하였다. 1 m 거리 이미지만 학습한 모델은 정밀도 0.971, 재현율 0.984, mAP (IoU 50%) 0.994, mAP (IoU 50-95%) 0.866로 나타났다. 3 m 거리 이미지만 학습한 모델은 정밀도 0.939, 재현율 0.967, mAP (IoU 50%) 0.977, mAP (IoU 50-95%) 0.812로 1 m 거리 이미지에 비해 모델 성능은 다소 감소하였으나 IoU 50-95%의 mAP를 제외하고는 모두 0.9 이상의 수치를 나타내었다. 이미지의 선명도, 초음파의 색상 및 크기 차이로 인해 거리에 따른 모델 성능은 다소 낮아졌으나 3 m 거리에서도 가스 누출 유량에 따른 초음파 이미지에 대해 높은 객체 탐지 성능을 확인하였다.

Fig. 7은 가스 누출 위치를 감지하기 위한 소스 코드 및 실행 결과를 나타낸다. 누출 포인트인 볼밸브 6곳의 좌푯값을 A~F로 정의하고 예측한 바운딩박스의 중심점 사이 간 거리를 측정하여 가장 가까운 볼밸브의 위치를 반환하였다. 실행 결과는 소스코드의 오른쪽 이미지와 같이 나타나며 가스 누출 유량 측정과 동시에 가스 누출 위치를 감지할 수 있다. 본 연구에서는 1개의 배관에서 발생하는 가스 누출 위치를 감지하였으므로 2차원 좌푯값을 입력하였다. 그러나 실제 산업에서는 여러 개의 배관이 복잡한 구조를 이루고 있으므로 배관 및 가스 누출 위치의 좌푯값을 3차원으로 나타낼 수 있도록 가스 누출 감지 환경을 구축할 필요가 있다.

Fig. 7

Source Code and Results for Gas Leak Location Detection

3.3 타 연구와 모델 성능 비교 및 분석

본 연구에서 개발한 모델 성능의 수준을 확인하기 위해 타 연구와 비교 및 분석이 요구된다. 그러나 본 연구는 이전 연구 사례에는 찾기 어려운 초음파 카메라를 이용한 가스 누출 유량 탐지 모델을 개발하였으므로 비슷한 연구가 거의 없다. Wang et al. (2020)은 적외선 카메라 기반인 OGI 카메라를 이용하여 가스의 시각화를 통해 가스 누출 감지 모델을 개발한 점에서 본 연구와 공통점이 있다. 따라서 Wang et al. (2020) 및 본 연구의 실험 조건과 모델의 성능을 비교 및 분석하고자 한다.

Table 4를 보면 Wang et al. (2020)은 4.6 m 거리로부터 굴뚝에서 비산하는 가스 이미지를 누출 유량별로 수집하였다. 수집한 이미지는 가스 및 굴뚝을 제외한 모든 배경을 제거한 후 가스 누출 여부를 판별하는 이미지 학습을 진행하였다. 이미지 학습을 위해 자체적으로 개발한 Conv-Pool 구조 및 fully connected layer로 구성된 CNN 기반의 GasNet 모델을 사용하였다. 모델의 성능은 정확도(accuracy)로 나타내었으며, 정확도는 전체 데이터(True Positive + False Positive + True Negative + False Negative, TP + FP + TN + FN) 중에 모델이 올바르게 탐지한 비율을 나타내는 것으로 Eq. (3)과 같이 계산한다. 해당 연구 결과는 본 연구의 3 m 거리에서 측정한 초음파 이미지 학습 모델의 정확도와 비교하였다.

Image Data for Each Class according to Gas Leak Flow

(3)Accuracy=TP+TNTP+FP+TN+FN

Table 4에 따르면 Wang et al. (2020)의 측정 거리는 본 연구보다 1.6 m 더 먼 거리에서 측정했음에도 불구하고 98%의 높은 정확도를 나타내었다. 연구 방법이 달라 정확도의 차이가 나타나는 것은 당연하지만 본 연구의 모델 성능과 큰 차이를 나타낸 이유는 크게 3가지로 추정할 수 있다. 첫 번째는 배경 제거(Background subtraction)이다. Wang et al. (2020)은 배경 제거를 통해 탐지하고자 하는 객체의 경계를 더 잘 학습할 수 있어 모델의 객체 탐지 성능이 높아졌을 것으로 예측된다. 두 번째는 모델의 Class이다. Wang et al. (2020)은 가스 누출 및 비(非) 누출을 탐지하는 2개의 Class로 구성된 이진 분류 모델이며 본 연구는 측정 거리에 따른 누출 유량을 탐지하기 위해 5개의 Class로 구성된 다중 분류 모델이다. 따라서, 본 연구에서 개발한 모델은 비교적 복잡한 조건에서 객체 탐지 학습을 진행하였기 때문에 모델의 성능이 더 낮게 나타난 것으로 보인다. 세 번째로 본 연구는 Class로 정의된 각각의 가스 누출 유량 범위가 서로 경계를 접하고 있으므로 Class 간 이미지 차이가 비교적 낮아 이미지 학습의 난이도가 매우 높으며, 이는 모델 성능 저하를 야기한다. 이와 같이 본 연구는 Class 및 학습 데이터를 고려했을 때 Wang et al. (2020)보다 가혹한 조건에서 이미지 학습을 진행하였으므로 모델의 성능 저하는 예측 가능한 결과이며, 오히려 92%의 높은 정확도를 나타내었다. 추가로 본 연구의 Class를 가스 누출 및 비(非) 누출 탐지를 위해 2 Class로 학습하는 경우 Noise 이미지가 있는 상황에서 100%의 정확도를 나타내었으므로 Wang et al. (2020)과 상응하는 수준의 모델을 개발한 것을 확인하였다.

4. 결 론

본 연구에서는 산업현장의 배관 또는 저장탱크에서 발생할 수 있는 가스 누출 사고를 효과적으로 탐지하기 위해 초음파 이미지를 활용하여 YOLOv8 기반 가스 누출 유량 및 위치 탐지를 위한 가스 누출 탐지 모델을 개발하였다. 가스 누출 유량에 따른 초음파 이미지를 1 m 및 3 m 거리별로 수집하였으며 모델 학습 결과는 다음과 같다.

  • (1) 초음파 이미지 기반 가스 누출 탐지 모델의 정밀도, 재현율, mAP를 비교하였다. epoch 50일 때 정밀도 및 재현율 모두 90% 이상을 나타냈으며 mAP (IoU 50%) 81%~98%의 높은 성능을 나타내었다.

  • (2) 가스 누출로 인해 나타나는 초음파 이미지는 1 m에서 3 m로 측정 거리가 멀어질수록 원의 크기가 더욱 크게 나타났으며 가스 누출 유량에 따른 초음파의 색상 차이가 적어 단순 육안으로 판단하기 어려웠다. 그러나 모델 학습 결과, 3 m 거리 이미지 학습 모델은 정밀도 0.939, 재현율 0.967, mAP (IoU 50%) 0.977, mAP (IoU 50-95%) 0.812로, 1 m 거리 이미지 학습 모델의 성능보다 낮게 나타났으나 3 m 거리에서도 객체 탐지가 가능한 것을 확인하였다.

  • (3) 클래스별 모델 성능을 비교하였을 때 클래스 4 to 7은 다른 클래스에 비해 다소 낮은 성능을 나타내었다. 모델 성능이 낮은 주요 원인은 가스 누출 유량 범위가 다른 클래스에 비해 넓고 클래스 2 to 4와 이미지가 유사하여 차이점이 크게 나타나지 않기 때문이다. 향후 추가적인 데이터 확보 및 유량 범위의 재조정을 통해 모델 성능을 보완할 필요가 있다.

모델 학습 결과는 전반적으로 우수한 성능을 나타냈으나 이미지의 선명도 및 Class별 이미지 간 차이점이 낮을수록 모델의 성능은 낮게 나타났으므로 가스 누출 유량 범위를 세분화하고 초음파 카메라 촬영 거리가 멀어질수록 이미지 학습의 성능은 낮아질 것으로 예상된다. 향후 초음파 이미지 외 주변 환경 데이터와 이미지 데이터를 추가적으로 수집 및 학습하여 가스 누출 탐지 모델의 성능을 보완할 필요가 있다.

감사의 글

본 연구는 2023년 정부(산업통상자원부)의 재원으로 한국산업기술기획평가원의 지원을 받아 수행되었습니다(No. 20017259, 생활 속 안전시설을 위한 IT 융합기술 기반 스마트 안전 센서 및 운영시스템 기술 개발).

References

1. Cho J.-W, Lee J.-C, Choi Y.-R. 2019;Leakage detection of the pipe using an ultrasonic signal. Autumn Annual Conference of IEIE :359–362.
2. Gibson G.M, Sun B, Edgar M.P, Phillips D.B, Hempler N, Maker G. T, et al. 2017;Real-time imaging of methane gas leaks using a single-pixel camera. Optics Express 25(4):2998–3005.
3. Jin K.-M, Choi G.-H, Lee S.-K, Chung T.-Y, Shin D.H, Hwang S.-S, Oh J.-S. 2011;An experimental study on detection of gas leakage position by monitoring pressure values at city gas pipeline. Journal of Energy Engineering 20(4):292–297.
4. Johnson D, Clark N, Heltzel R, Darzi M, Footer T.L, Herndon S, Thoma E.D. 2022;Methane emissions from oil and gas production sites and their storage tanks in West Virginia. Atmospheric Environment:X 16:100193.
5. Kim J.S, Hong I.Y. 2023;Instance segmentation based on YOLO model for multiple classes of ground objects using UAV images and digital topographic map. Journal of the Korean Society of Surveying, Geodesy, Photogrammetry and Cartography 41(4):205–216.
6. Lee G.-W, Lee H, Cheong H.-W. 2021;Object detection of AGV in manufacturing plants using deep learning. Journal of the Korea Institute of Information and Communication Engineering 25(1):36–43.
7. Nordin N, Zakaria M, Idroas Z, Ibrahim M.N. 2014;Tomographic image reconstruction of monitoring flaws on gas pipeline based on reverse ultrasonic tomography. 5th International Conference on Intelligent and Advanced Systems (ICIAS) :1–6.
8. Olbrycht R, Kaluza M. 2020;Optical gas imaging with uncooled thermal imaging camera - Impact of warm filters and elevated background temperature. Institute of Electrical and Electronics Engineers 67(11):9824–9832.
9. Park S.-R, Han S.-W, Kim B.-J, Hong C.-J. 2017;Effects of gas background temperature difference (Emissivity) on OGI (Optical Gas Image) clarity. Journal of the Korean Institute of Gas 21(5):1–8.
10. Redmon J, Divvala S, Girshick R, Farhadi A. 2016;You only look once:Unified, real-time object detection. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition :779–788.
11. Shi J, Chang Y, Xu C, Khan F, Chen G, Li C. 2020;Real-time leak detection using an infrared camera and faster R-CNN technique. Computers &Chemical Engineering 135(6):106780.
12. Wang J, Tchapmi L.P, Ravikumar A.P, McGuire M, Bell C.S, Zimmerle D, et al. 2020;Machine vision for natural gas methane emissions detection using an infrared camera. Applied Energy 257:113998.

Article information Continued

Fig. 1

Testbed for Gas Leak Test

Fig. 2

Gas Leak and Noise Images Using Ultrasonic Camera (Gas Leakage Flow (A) 0~2 L/min, (B) 2~4 L/min, (C) 4~7 L/min, (D) 7~8 L/min)

Fig. 3

Data Labeling according to Class

Table 1

Number of Image Data for Each Class

Gas leak flow Class Train data (ea) Validation data (ea)
0~2 L/min 0 to 2 240 80
2~4 L/min 2 to 4 240 80
4~7 L/min 4 to 7 240 80
7~8 L/min 7 to 8 240 80
Noise Noise 80 20

Fig. 4

Inference Results Etrics of YOLO Model

Fig. 5

Precision-recall Curve of YOLO Model

Fig. 6

Gas Leak Images by Gas Leak Flow and Noise Images (Class as (A) 0 to 2, (B) 2 to 4, (C) 4 to 7, (D) 7 to 8)

Table 2

Inference Results of YOLO Model according to Class

Class Precision Recall mAP (IoU 50%) mAP (IoU 50-95%)
Total 0.960 0.967 0.987 0.814
0 to 2 0.985 1.000 0.995 0.865
2 to 4 0.927 0.967 0.983 0.880
4 to 7 0.931 0.901 0.972 0.851
7 to 8 0.967 0.967 0.992 0.859
Noise 0.993 1.000 0.995 0.614

Table 3

Inference Results of YOLO Model according to Distance (1 m, 3 m)

Class Precision Recall mAP (IoU 50%) mAP (IoU 50-95%)
1 m 0.971 0.984 0.994 0.866
3 m 0.939 0.967 0.977 0.812

Fig. 7

Source Code and Results for Gas Leak Location Detection

Table 4

Image Data for Each Class according to Gas Leak Flow

Class This research Wang et al. (2020)
Measuring distance 3 m 4.6 m
Camera Ultrasonic camera OGI camera
Gas flow 0~8 L/min 0.1, 7.9, 20.3, 32.0, 39.6, 51.5, 58.4 L/min
Background subtraction No Yes
Model YOLOv8 GasNet
Class 5 class 2 class 2 class
Accuracy 92% 100% 98%