Introduction
참외는 우리나라에서 매년 15만 톤 이상 생산되고 있으며(KOSIS, 2023), 특히 최근 3년 동안 조수입이 연평균 5,000억 원 이상으로서 경제적으로도 매우 중요한 위치를 차지하고 있는 과채류이다(ATC, 2023). 그러나 지속적인 농촌인구의 감소 및 고령화, Covid-19로 인한 외국인 근로자 감소 등의 영향으로 노동력 부족 문제가 심각하게 대두되면서 포복작물인 참외의 재배면적도 매년 감소하고 있다(KOSIS, 2023). 이를 해결하고자 고품질 참외의 안정적 생산, 재배에서 수확까지 이르는 농작업의 자동화를 위한 연구가 수행되어 왔으나(Fountas et al., 2020), 기존 연구는 모두 포복방식으로 재배하는 참외를 대상으로 수행되었다(Ha and Kim, 2014). 최근, 작업자의 노동강도 개선과 생산성 증대를 위해 참외의 재배 방식을 포복재배에서 유인재배로 전환하기 위한 연구가 시도되고 있다(Lee et al., 2021). 이에 더불어, 수직 유인방식으로 수경재배 되는 참외를 대상으로 하는 새로운 자동화 기술의 개발도 요구되어 온실 자동화를 위한 로봇 적용 연구도 증가하는 추세이다.
로봇을 적용하기 위해서는 우선적으로 작물을 모니터링할 수 있는 기술이 필요하며, 그 중에서도 RGB와 분광 영상을 이용한 과실 모니터링 기술 연구가 활발하게 수행되고 있다(Benelli et al., 2021; Hondo et al., 2022). RGB 영상은 세 가지 대역(Red, Green, Blue)의 가시광선 영역만을 제공하며, 분광 영상은 필터 성능에 따라 적게는 4 - 5개 밴드에서 많게는 수백 개의 밴드대역 정보를 제공한다(Wang et al., 2022a). 분광 영상은 밴드 수에 따라 초분광 영상과 다중분광 영상으로 분류되며, 일반적으로 초분광 영상은 100개 이상의 연속적인 밴드, 다중분광 영상은 10개 이하의 밴드에서 영상을 취득할 수 있다(Aggarwal and Papay, 2022). 초분광 영상은 밴드의 수만큼 많은 정보를 얻을 수 있지만 데이터 취득과 분석이 어려우며, 장비 가격도 고가인 편이다. 그에 비해 다중분광 영상은 데이터 취득 및 분석이 초분광 영상과 비교하여 용이하며 상대적으로 저렴하다는 이점이 있다(ElMasry et al., 2019). 한편, NIR 대역이 과실의 인식과 특성 추출에 유용하다고 알려지면서 관련 연구에 이용되어 왔으며, 체리(Li et al., 2018), 망고(Wang et al., 2022b), 토마토(Arink et al., 2021), 멜론(Zeb et al., 2021) 등의 다양한 과실 인식과 성숙도 분류에도 이용되었다.
최근, 정보통신기술, 빅데이터, 인공지능 등의 기술이 발전하면서 분광 영상 분석에 SVM (support vector machine), DT (decision tree), RF (random forest), ANN (artificial neural network), LR (logistics regression) 등의 다양한 기계학습 알고리즘이 많이 도입되고 있다(Kang et al., 2022). 그 중에서 DT는 빠른 속도, 높은 해석력, 직관적 모델, 범용성 등의 장점으로 인해 농업의 다양한 분야에서 적용되고 있다. 특히, LightGBM (Light Gradient Boosting Machine)은 비교적 최신의 DT 기반 기계학습 알고리즘으로, 대규모의 데이터를 분석하는 데 효과적인 것으로 알려져 있다(Sun et al., 2020). 또한, 빠른 훈련 속도, 정확도 향상, 메모리 사용량 감소 및 GPU 학습 지원 등의 이점이 있다.
따라서 본 연구에서는 줄기 유인방식에 따라 수경재배되는 참외의 성숙도를 분류하고 추가적으로 과실, 잎 그리고 배경을 인식하기 위해 다중분광 영상의 적용 가능성을 검토하고자 하였다. 이를 위해, 첫 번째로 참외 시계열 다중분광 영상을 취득하여 성숙도에 따른 분광 데이터의 스펙트럼 변화를 분석하였다. 두 번째로는 참외 인식을 위해 기계학습 모델 중 한 가지인 LightGBM을 이용하여 인식 모델 학습을 진행하였다.
Materials and Methods
실험 재료
본 연구에서 사용한 참외는 엘리트꿀(Eliteggul) 품종으로서 국립농업과학원(전라북도 완주군)의 첨단디지털온실에서 줄기 유인 방식으로 수경재배 되었다. 참외 샘플은 Fig. 1에 나타낸 바와 같이 유인 방식(상향유인, 하향유인)에 따라 각 10개씩 총 20개를 선정하였다. 선정된 참외의 초기 평균 장축과 단축은 각각 95.6 ± 7.25 mm, 56.3 ± 3.78 mm이었고, 참외 표면의 색을 나타내는 L*, a*, b* 값은 각각 42.05 ± 3.12, -6.94 ± 0.52, 18.02 ± 3.53으로 초기 생장이 유사한 참외를 대상으로 선정하였다.
다중분광 영상 취득 시스템
본 연구에서는 안정적인 다중분광 영상의 취득을 위해 Fig. 2와 같은 영상 취득 시스템을 제작하였다. 이 시스템은 영상 및 조명 시스템, 카메라와 샘플 사이의 거리 조절을 위한 거리 및 높이 조절 시스템, 마지막으로 온실과 온실내에 설치된 히트 파이프를 이동하기 위한 온실용 전동 운반차(DW-2005, DongWon Tech, Korea)로 구성되어 있
다. 참외의 시계열 영상 취득을 위해 휴대용 다중분광 카메라(MonarchⅡ, Unispectral, Israel)를 이용하였다. 카메라의 스펙트럼 범위는 713 - 920 nm이고, 총 10개의 밴드(713, 736, 759, 782, 805, 828, 851, 874, 897 및 920 nm)를 제공한다. 또한, 각 밴드의 대역폭은 40 ± 10 nm, 스펙트럼 대역의 정확도는 ± 2.5 nm, F 값은 4.7이다. 한편, 분광 영상은 광에 대한 의존도가 높기 때문에 촬영 중 외부 광의 영향을 최소화하기 위해 보조광을 추가하였다(Manea and Calin, 2015). 광원으로는 100 W/12 V 할로겐 램프(LS-F100HS, Seokwang Optical Co., Korea)를 사용하였으며, 광원은 카메라의 양 측면에 카메라 보다 앞쪽에 설치하였고 광 균일성을 높이기 위해 할로겐 램프에 디퓨저를 장착하였다. 또한, 균일한 분광 영상 취득을 위해서는 카메라와 대상체의 거리를 일정하게 하여 거리에 따른 빛의 세기 차이를 최소화하는 것이 중요하다(Kosec et al., 2013). 본 연구에서는 분광 영상의 일관성을 위해 카메라의 수평, 수직 이동이 가능한 거리 및 높이 조절 시스템을 설치하여 참외와 카메라의 거리를 조절할 수 있도록 구성하였다. 마지막으로, 이러한 영상 및 조명 시스템과 거리 및 높이 조절 시스템은 온실용 전동 운반차에 탑재하여 온실 내 이동이 용이하도록 하였다.
다중분광 영상 취득
총 20개체에 대한 참외 시계열 다중분광 영상은 2023년 4월 21일부터 5월 12일까지 2 - 3일 간격으로 총 148장 취득하였으며, 완숙한 참외는 순차적으로 수확하였다. 또한, 본 연구에서는 태양의 고도에 따른 광 영향을 최소화하기 위해 일정한 시간에 영상을 취득하였고, 영상 취득 전에는 광원의 안정화를 위해 할로겐 램프를 30분 동안 예열하였다. 본 연구에서는 다중분광 카메라의 Gain 값은 1.0으로 고정하였고, 광 노출시간은 광포화가 발생하지 않는 30 - 100 ms의 범위로 설정하여 촬영하였다. 또한, 온실 내에서 발생하는 다양한 외란으로부터 영상을 보정하기 위해 매 촬영 시 샘플 옆에 90%의 반사율을 가지는 백색 표준판을 위치한 후 영상을 함께 획득하였다(Lowe et al., 2017).
다중분광 영상 전처리
본 연구에서는 촬영된 다중분광 영상의 광노출에 대한 전처리를 위해 Breeze 프로그램(Ver. 2023.2.0, Prediktera, Sweden)을 사용하였다. 먼저, 참외 영상 촬영 시 함께 촬영한 백색 표준판을 참조하여 영상의 광 산란을 보정하였으며, 이는 백색 표준판을 기준으로 대기중에 존재하는 수분 등으로 발생하는 광 산란 등을 보정할 수 있다. 그 후, 다중분광 영상에서 polygon 기능으로 참외의 ROI (region of interest)를 지정하고 각 파장대역에 대한 참외 영역의 반사율을 추출하였다(Fig. 3). 한편, 추출한 분광 데이터에는 카메라 자체나 외부 광에 의해 발생하는 다양한 노이즈가 포함될 수 있으며, 이러한 노이즈는 부정확하거나 관련 없는 신호를 유발하고 분석에 영향을 미칠 수 있다(Jia et al., 2020). 따라서 분광 분석시에는 먼저 이러한 노이즈를 최소화하고자 분광 데이터에 대한 전처리 기법이 다양하게 적용되고 있다(Jiang et al., 2022; Taghinezhad et al., 2023). 본 연구에서는 분광 데이터의 전처리를 위해 널리 사용되는 SG (Savitzky-Golay), SNV (standard normal variate)와 이 두 기법을 복합한 SG + SNV를 적용하여 추출된 다중분광 데이터의 전처리를 수행하였다. SG는 파장대역별 분광 특성을 보존하면서 최소 제곱 다항식 근사치를 이동 평균하며(Massaoudi et al., 2020), SG의 핵심 개념은 p차 다항식을 나타내기 위해 이동창(2n + 1)을 생성하여 데이터를 평활화하는 것이다. SG 필터를 적용하기 위해서는 미분 및 다항식 차수 그리고 이동창의 크기 3가지 변수가 고려되어야 한다. 본 연구에서는 SG 필터에서 적절한 변수를 선택하기 위해 1, 2차 미분 및 다항식 조건에서 이동창의 크기를 1, 2, 3으로 하여 총 12가지 조건에서 전처리를 적용하였다. 그 결과, SG 필터의 각 변수는 1차 미분, 1차 다항식 그리고 이동창의 크기는 3으로 적용하였다. SNV는 산란, 입자 크기 및 광 거리 변화의 곱셈 및 가산 산란 효과를 모두 수정하며(Cen and He, 2007), 개별 스펙트럼을 기준으로 기울기 변화를 제거하기 위해 전체 스펙트럼의 표준편차로 데이터를 정규화하는 전처리 방법이다. 한편, 단일 전처리 방법으로 스펙트럼에서 모든 부정적인 요소를 제거할 수 없는 경우에는 전처리를 결합하여 적용한다(Yang et al., 2022). 본 연구에서는 SG에서 데이터를 먼저 처리한 후에 SNV에서 추가로 전처리를 수행하였다.
추가적으로 본 연구에서는 참외의 객체 인식을 위해 참외뿐만 아니라 잎, 배경, 그리고 백색 표준판의 ROI를 지정하였다. 그리고 지정된 ROI에 Grid 기법을 적용하여 학습 데이터를 증강하였으며, Grid 크기는 6 × 6으로 하였다(Fig. 4). 그 이후, 각 영역에서의 다중분광 데이터를 추출하였으며, 추출된 데이터는 전처리를 수행하고 참외 객체 인식 모델링에 이용되었다.
다중분광 데이터 분석
통계 분석
본 연구에서는 참외의 성숙도와 분광 특성 사이의 관계를 분석하기 위해 상관분석을 수행하였으며, 연속형 변수의 상관관계를 분석하기 위해 Pearson 모델을 이용하였다(Schober et al., 2018). 상관분석에는 SPSS 프로그램(IBM SPSS Statistics 20.0, IBM, USA)을 이용하였으며, 유의확률 0.05 수준에서 분석하였다.
인식 모델
참외 과실별 성숙도를 분류하기 위해서는 먼저 참외 과실을 인식하는 것이 중요하다. 본 연구에서는 참외 인식 모델을 학습하기 위해 Breeze 프로그램을 이용하였으며, LightGBM (Light Gradient Boosting Machine) 알고리즘으로 인식 모델을 학습하였다. LightGBM은 Decision Tree를 기반으로 하는 알고리즘으로, 기존의 Tree 기반 모델과 비교하여 고효율, 빠른 학습 속도, 적은 메모리 사용량으로 대규모 데이터 처리 능력이 좋다는 장점이 있다(Chun et al., 2021). LightGBM을 최적화하기 위한 중요 변수로는 Tree의 노드 수(num_leaves), Tree의 최대 깊이(max depth) 및 학습율(learning_rate)이 있으며(Hao et al., 2022), 본 연구에서는 ʻAuto’ 기능을 활용하여 최적의 변수를 결정하였다.
모델의 학습과 검증을 위해 총 40,067개의 다중분광 데이터가 사용되었고, 데이터를 Training set (80%)와 Testing set (20%)로 나누어 학습하였다(Gholamy et al., 2018). 또한, 학습 시 과적합을 방지하기 위해 5-fold 교차 검증을 수행하여 최적의 변수가 선정되었으며, 선정된 모델의 반복 검증을 통해 산출된 정확도를 평가하였다. 그리고 학습된 모델의 성능은 결정계수(Coefficient of determination, R2)와 F-score로 평가하였다. R2는 학습된 모델의 우수성을 0.0-1.0 사이의 범위로 표현하는 지표로서, 0에 가까운 값은 유용성이 낮으며 1에 가까울수록 모델의 유용성이 높은 것을 의미한다(Rustam et al., 2020). 또한, F-score는 분류 모델의 정확도를 나타내는 지표이며, 모델의 정밀도(precision)와 재현율(recall)의 가중 조화 평균으로 나타낸다(Abdulhammed et al., 2019).
Results and Discussion
다중분광 스펙트럼 분석
본 연구에서 획득한 다중분광 데이터와 SG, SNV 및 SG + SNV 세 가지 전처리 기법을 적용한 결과를 Fig. 5에 나타내었다. Fig. 5에서 확인할 수 있듯이 전처리를 수행하지 않은 스펙트럼의 경우에는 참외의 성숙도에 따른 변이가 713 nm 밴드를 제외한 다른 밴드에서는 뚜렷하지 않았으나(Fig. 5A), 전처리를 수행한 스펙트럼에서는 일부 파장대역에서 피크가 나타나는 등 전처리에 따른 효과가 보였다(Fig. 5B-D). 따라서 성숙도에 따른 스펙트럼 차이를 보다 명확하게 보기 위하여 성숙도에 따른 평균 스펙트럼을 계산하여 나타내었다(Fig. 6). Fig. 6에서 보는 바와 같이 원본 스펙트럼에서는 713 nm 밴드를 제외하고는 성숙도에 따른 평균 스펙트럼의 변이를 관찰하기 어려웠으나, SG와 SG + SNV 방법을 사용한 경우, 713 - 805 nm 밴드에서는 참외가 성숙함에 따라 상대적으로 반사율이 감소하는 경향을 나타내었다. SNV 방법의 경우, 참외가 성숙함에 따라 713 nm 밴드에서는 반사율이 높게 나타났고, 920 nm 밴드에서는 낮게 나타나는 경향을 보였다(Fig. 6C).
이러한 결과는 참외 과피의 엽록소 함량 변화에 따른 것이라고 판단된다. 참외는 익어가면서 과피색이 녹색에서 노란색으로 점차 변하며, 이러한 과정을 통해 엽록소 함량이 급격하게 감소하게 된다(Choi et al., 2007). Fig. 6A에서 볼 수 있듯이 참외가 익어가면서 713 nm 밴드의 반사율이 증가하였으며, 이는 엽록소가 감소함에 따라 엽록소 함량을 나타내는 680 nm 밴드가 주변 밴드에까지 영향을 미쳐 713 nm 밴드의 반사율이 증가한 것으로 판단된다(Zude, 2003; Xie et al., 2018; Xu et al., 2023). 반면, SG와 SG + SNV 전처리의 경우에는 엽록소 함량이 감소할수록 713 - 782 nm 밴드의 반사율도 감소하는 경향을 나타내었다. 이는 Fig. 6A에서 확인할 수 있듯이 엽록소 함량이 높은 미숙과의 반사율은 713 nm에서 782 nm 밴드까지 상대적으로 큰 기울기를 나타내며, 이러한 결과를 바탕으로 SG에 미분 필터를 적용하여 엽록소 함량이 높은 미숙과의 반사율이 완숙과보다 높게 나타난 것으로 판단된다(Luo and Bai, 2005; Roy, 2020).
한편, 참외의 성숙도 분류를 위해 전처리에 따른 다중분광 데이터의 시각화 분석뿐만 아니라, 통계적인 분석을 위해 상관분석을 수행하였다(Table 1). 그 결과, 원본 스펙트럼에서는 713 nm 밴드에서만 상관계수(Correlation coefficient, R)가 0.7 이상으로 나타났다(p < 0.01). SG 방법의 경우에는 713 - 782 nm 밴드에서 R 값이 -0.8 이하로 비교적 높은 상관관계를 나타내었다(p < 0.01). SNV로 전처리한 데이터에서 R 값은 713 nm와 920 nm 밴드에서 각각 0.8 이상, -0.7 이하의 상관관계를 나타냈고, SG + SNV 복합 방법에서는 713 - 759 nm 밴드에서 R 값이 -0.7 이하로 나타났다(p < 0.01). 따라서 713 - 782 nm 밴드 대역을 제공하는 다중분광 영상을 이용할 경우 참외의 성숙도 분류가 가능할 것이라고 판단된다.
다중분광 영상의 참외 인식 분류 모델
본 연구에서는 생육중인 참외를 인식할 수 있는 모델을 개발하기 위해 LightGBM 모델을 사용하여 학습을 진행하였다. 학습 결과, 모델의 성능을 나타내는 R2는 Training set의 경우 0.92, Validation set의 경우에는 0.91로 비교적 높은 정확도를 보였다. 또한, 학습된 모델의 분류 성능은 Fig. 7에서 확인할 수 있다. Training set의 평균 F-score는 96.6%로 매우 높은 분류 성능을 나타내었다. Testing set의 평균 F-score는 79.4%로 Training set와 비교하여 낮은 경향을 보였다(Table 2). Fig. 7에서 볼 수 있듯이 Testing set에서 배경을 잎으로 분류한 오류가 약 30%로 높은 것으로 나타났으며(Fig. 7B), 이로 인해 Training set에 비해 F-score 값이 17% 정도 감소하였다.
이러한 이유는 첫번째로 데이터의 수가 부족하여 과적합이 발생하였기 때문이라고 판단된다(Baek and Kim,2018). Grid 기법을 이용하여 학습 데이터를 증강하였으나, 다중분광 영상 자체는 Training set와 Testing set를 모두 포함하여 148장으로 학습을 진행하기에는 부족함이 있었다고 사료된다. 두번째 이유는 Fig. 8에서 확인할 수 있듯이 온실의 특성상 구조물의 영향으로 인해 광이 균일하게 조사되지 않았기 때문에 동일한 영상 내에서도 위치별로 명암 차이가 존재하였다(Nguyen et al., 2020). 이러한 외부 광과 같은 다양한 외부적 요인으로 인하여 배경을 잎으로 잘못 인식하는 비율이 높았던 것으로 판단된다. 따라서, 참외 분류 모델의 성능을 개선하기 위해서는 다양한 광 조건을 고려할 필요가 있다고 판단되며, 이를 위해 추가적인 실험을 수행할 계획이다.
Table 1
The results of correlation analysis between maturity and multispectral data of oriental melons.
Conclusion
본 연구에서는 온실에서 줄기 유인 방식으로 수경재배된 참외의 인식과 성숙도 분류를 위해 713 - 920 nm 파장대역을 제공하는 다중분광 영상의 적용 가능성을 확인하고자 하였다. 안정적인 다중분광 영상을 취득하기 위하여 온실용 다중분광 영상 취득 시스템을 제작하였다. 영상 취득 시스템을 이용하여 2023년 4월 21일부터 5월 12일까지 2 - 3일 간격으로 참외의 시계열 다중분광 영상을 취득하였으며, 취득된 다중분광 영상은 몇 가지 전처리를 통해 참외 영역만의 다중분광 데이터를 추출하였다. 추출된 데이터는 SG, SNV 및 SG + SNV 방법을 이용하여 전처리를 수행하였으며, 그 결과 참외의 성숙도 분류를 위해서는 SG 방법으로 다중분광 데이터를 전처리하는 것이 적합하였다. 또한, 참외 인식 모델을 학습하기 위해 LightGBM 알고리즘을 이용하였다. 그 결과, 인식 모델의 분류 정확도(F-score)는 Training set의 경우 96.6%이고, Testing set는 79.4%이었다. 따라서, 참외의 인식과 성숙도 분류를 위해 713 - 920 nm 대역을 제공하는 다중분광 영상이 이용될 수 있음을 확인하였다. 또한, 본 연구에서 제시한 시스템은 참외 온실을 이동하며 실시간으로 각 과실을 인식하고 수확시기를 예측할 수 있는 모니터링 로봇에도 적용될 수 있을 것이라고 사료된다. 그러나, 향후 보다 포괄적인 참외 모니터링을 위해서는 다양한 광 조건에서 추가적인 실험을 진행해야 할 것으로 판단된다.
Acknowledgements
본 연구는 농림축산식품부 및 과학기술정보통신부, 농촌진흥청의 재원으로 농림식품기술기획평가원과 재단법인 스마트팜 연구개발사업단의 스마트팜 다부처패키지 혁신기술개발사업(421031-04)의 지원을 받아 연구되었습니다.
Authors Information
Seongmin Lee, https://orcid.org/0009-0003-3441-9053
Kyoung-Chul Kim, https://orcid.org/0000-0001-6699-881X
Kangjing Lee, https://orcid.org/0000-0001-6195-3735
Jinhwan Ryu, https://orcid.org/0009-0001-8942-4672
Youngki Hong, https://orcid.org/0000-0002-9772-9820
Byeong-Hyo Cho, https://orcid.org/0000-0001-7276-5617
