Comparing Two Approaches of Compliance Monitoring for Safety Regulations using Human Activity Recognition: Wearable Sensor and Vision
1. 세미나 주요 개요
젊은연구자위원회는 지난 7월 21일(목) 2차 온라인 세미나를 개최하였다. 이번 두 번째 세미나는 단국대학교 건축학부(건축공학전공) 김현수 교수가 “Comparing Two Approaches of Compliance Monitoring for Safety Regulations using Human Activity Recognition: Wearable Sensor and Vision”을 주제로 세미나를 진행하였으며 약 30여명의 산학연 관계자와 석/박사과정 대학원생이 세미나에 참여하여 다양한 관련 정보와 의견을 교류하는 시간을 가졌다.
2. 주요 발표 및 질의사항 내용 젊은연구자위원회의 두 번째 세미나 강연자인 단국대학교 김현수 교수는 상기의 주제로 약 1시간 가량 세미나를 진행하였으며 주요 내용은 다음과 같다. - (연구 배경) 중대재해처벌법 제정 등 대·내외 환경과 그에 따른 건설현장 안전관리의 중요성 제시 - (CM Research Trends in human activity recognition) Human Activity Recognition (HAR)을 위한 2가지 접근 방식 소개: Wearable sensor 방식과 Computer Vision(CV) 방식 - (Wearable Sensor 방식) IMU data를 활용한 Generation of Gramian Agular Field (GAF)-based Convolutional Neural Network (CNN) - (CV 방식) Spatial Temporal Graph Convolutional Networks for Skeleton-based Action Recognition (ST-GCN) - (케이스 스터디) 두 가지 접근방식의 안전규정 준수 여부 판별성능 비교 - (결론) 작업자 행동인식을 위한 두 가지 접근방식의 성능 비교 데이터를 제시하고, 안전행동별 적절한 방식 적용을 통해 작업자 안전행동인식 정확도 향상 기대 김현수 교수는 연구의 배경으로 중대재해처벌법 제정, 건설산업의 높은 중대재해 발생현황, 사고원인 모델 분석 등을 통해 작업자 행동인식(Human Activity Recognition; HAR) 기반 안전행동 판별 모니터링 연구의 중요성과 필요성을 제시하였고, 이를 위한 두 가지 접근방식으로 Wearable sensor와 CV 방식을 제안하였다. 그 후 연구대상인 안정행동 5가지를 선정하여 두 가지 접근방식에 따른 데이터를 수집하였고 이를 바탕으로 두 가지 접근방식을 적용하여 성능비교를 하는 순서로 발표가 진행되었다. 첫 번째 방식인 Wearable sensor 방식은 IMU data를 사용해 GAF(Gramian Angular Field)를 생성하고, 생성한 GAF를 CNN 모델에 통과시켜 안전행동을 인식하는 과정으로 구성되었다. 두 번째 방식인 CV 방식은 OpenPose를 통해 추출한 작업자 Skeleton 데이터를 ST-GCN(Spatial Temporal Graph Convolutional Network for Skeleton-based Action Recognition)에 통과시켜 안전행동을 인식하는 과정으로 구성되었다. 5가지 안전행동 판별을 위한 두 방식의 성능을 비교한 결과, 안전행동 별로 우수한 방식이 다른 것으로 나타났다. 결론에서는 안전행동별 특성을 고려해 적절한 방식 적용을 통해 더 높은 작업자 안전행동 판별 정확도를 달성하는데 기여할 수 있을 것으로 기대된다고 하였다. 세미나 참석자들은 이후 20분간 발표내용과 관련하여 다양한 질의를 하였으며 주요 내용은 다음과 같다. (인천대학교 이슬비 교수) 안전행동을 정의해 학습을 진행하였을 때 어떤 방식으로 데이터를 다뤘는가를 질의하였다. 이에 대해 김현수 교수는 비디오 클립을 만들어 안전관리자분들의 자문을 구해 안전한지 그렇지 않은지 판별해 데이터를 분류하였고, 데이터를 자르는 과정이 시간 소모가 커, 최적의 방법을 찾아야 하는 것이 향후 해결해야 할 숙제라고 답변하였다. (중앙대학교 이동민 교수) 단순 학습을 진행하였을 때, 모든 사람에게 적용 가능한 것인지에 대해 질의하였다. 이에 대해 김현수 교수는 사람의 체형, 걸어 다니는 습관 등이 다른 경우 단순 학습을 진행하면 결과가 다르게 나타날 가능성이 존재한다고 하였다. GAF를 사용해 이러한 문제점들을 보완할 수 있다고 답변하였다. (서울과학기술대학교 조현상 연구원) 센서 데이터를 모으는 과정에서 결측치나 이상치를 어떻게 처리하였는지 질의하였다. 이에 대해 김현수 교수는 연구자로서 모든 데이터를 포함시켰다고 답변하였다. 또한 수집된 데이터가 매우 많아 이상치 데이터의 비중이 매우 낮아 결과값에 큰 영향은 없었다고 답변하였다. (서울과학기술대학교 김태훈 교수) 건설 현장에 적용될 때에 얼마만큼의 정확도가 나와야 적당한가에 대해 질의하였다. 이에 대해 김현수 교수는 기술의 용도에 따라 요구되는 정확도가 달라질 것이라 답변하였고, 진행중인 연구의 경우 같은 장소에서 지속적으로 학습했기에 90%의 정확도가 나왔지만, 다양하게 학습을 했을 때도 90% 이상의 정확도가 나와야 건설 작업자들의 만족도나, 사용성이 적절할 것이라고 답변하였다.
3. 맺음말
젊은연구자위원회의 2022년 두 번째 온라인 세미나에는 30여명의 인원이 참여하여 활발한 정보 및 의견 교류의 시간을 가지며 성공적으로 개최되었다. 다음 세 번째 온라인 세미나는 9월에 진행될 예정이다. 앞으로도 지속적으로 온라인 세미나를 개최하여 건설분야의 산학연 관계자 및 석/박사 대학원생에게 유익한 정보를 제공하고 활발히 교류할 수 있는 장을 이어가고자 한다.
■ 작성자1: 윤세빈 / 서울과학기술대학교 연구원 / paul6452@naver.com 작성자2: 김태훈 / 서울과학기술대학교 교수 / kimth@seoultech.ac.kr