Introduction
딸기(Fragaria x Ananassa, Duch.)는 세계에서 가장 소비가 많은 과일 중 하나로서, 안토시아닌과 같은 페놀성 화합 물, 비타민 C 및 β-카로틴이 매우 풍부한 생체활성 화합물들로 구성되어 있다(Oszmiański and Wojdyło, 2009). 이러한 페놀화합물들은 항산화제 역할을 하는데 이는 여러 질병의 원인이 되는 활성산소의 과잉 생산을 억제함으로써 산화스트레스를 줄이는 역할을 한다(Podsedek, 2007; Ariza et al., 2016). 딸기는 가공 과정 없이 바로 섭취가 가능하 여 가공으로 인한 영양 손실이 없어 소비자가 선호하는 품목이다(Cordenunsi et al., 2005; Velde et al., 2013). 또한 신 선하고 고품질 딸기에 대한 소비자들의 선호도가 증가하고 있어서 딸기의 품질 선별이 요구되고 있다.
기존 딸기의 품질은 선별 전문가가 육안으로 외관을 평가하고, 전자 저울로 무게를 측정하여 크기별로 선별하 고 있다. 육안 선별은 작업자에 따라 주관적인 기준이 적용될 수 있어 선별 작업의 일관성이 저하될 수 있으며, 투 입노동력이 많이 소요된다. 이러한 점들을 개선하기 위하여 객관적인 기준으로 측정 가능한 영상 기술과 분광 기 술 등 비파괴적인 측정 방법들이 농산품의 품질 선별에 적용되고 있다(Menguito, 2000; Podsedek, 2007; Mo et al., 2017; Hong et al., 2018; Ning et al., 2018; Joshi et al., 2019; Seo et al., 2019).
농산물의 크기는 부피나 중량으로 측정이 가능하며, 중량 측정은 작업자가 수작업을 하는 경우는 전자 저울이 이용되고 있으며, 자동 선별 장치에는 추나 로드셀 등이 이용되고 있다(Lim et al., 2015). 로드셀은 무게를 받으면 압축되거나 늘어나는 등 변형이 되고 이 변형량을 변형측정장치가 전기 신호로 검출한 뒤 컴퓨터 장치에 의해 디 지털 신호로 바꾸면 무게가 숫자로 나타나게 된다. 이러한 로드셀의 중량 측정 정확도는 우수한 편이지만 가격이 비싸고 자동 선별 시스템에서 중량 측정부라는 시스템에서 하나의 부분을 차지하게 된다.
영상 기술을 이용하는 머신 비전 기술은 농작물 상태나 농산물의 외관 등 품질 등급 측정에 관한 연구들이 많이 수행되어 왔다(Kang et al., 2018; Lee et al., 2018; Sarkar et al., 2018). 비파괴적으로 무게, 크기, 당도, 모양 등과 같은 특성들을 확인하기 때문에 식품 및 농업 분야에서 광범위하게 사용되고 있다(Ahmed et al., 2019; Lee et al., 2019). 딸 기의 품질 역시 색상이나 형상을 자동으로 측정하기 위한 머신 비전 시스템을 이용한 연구들도 수행되고 있다. 또 한 영상처리를 이용한 농산물의 중량에 관한 연구는 망고의 2차원 영상 처리를 이용한 중량 예측에 관한 연구와 감귤의 3차원 영상을 이용하여 부피를 측정하고 실제 중량을 비교하는 연구가 수행되었다(Brosnan and Sun, 2002; Teoh and Syaifudin, 2007; Liming and Yanchao, 2010).
하나의 영상 시스템으로 외관 품질 뿐만 아니라 중량을 동시에 측정함으로써 딸기 품질 판별 시스템의 비용 절 감 및 처리 속도를 향상시킬 수 있다. 이를 위해 색상 형상 등 외관 품질과 크기를 동시에 측정할 수 있도록 머신비 전을 이용한 딸기의 중량 예측 기술 개발이 필요하다. 따라서 본 연구 목적은 머신비전을 이용한 딸기의 종합 품질 측정 시스템 개발을 위해 딸기 품종별 표면형상 특성을 이용하여 중량을 측정하는 영상 기술을 개발하는 것이다. 이를 위해 딸기 형상 특성을 반영하기 위하여 세 품종의 딸기에 대해 개별 중량 예측 영상 알고리즘과 통합 중량 예측 영상 알고리즘을 개발하고 이를 검증하고자 한다.
Materials and Methods
공시재료
공시 재료로 2018년에 경상남도 산청군에서 생산된 설향 품종, 매향 품종, 싼타 품종의 딸기가 사용되었다. 이 3 가지 품종은 외국으로 수출이 가장 많이 되는 딸기 품종으로 다른 형상 특성을 가지고 있다(Fig. 1). 딸기 시료는 Fig. 1과 같은 형상을 가지는 시료를 정상 형상 시료로 하여 비정상 형상 시료를 제외하였으며, 수확시기별 특성을 고려하기 위하여 2월부터 3월사이에 매향, 설향, 싼타 품종의 딸기 시료를 각각 240, 240, 240개씩 총 720개를 수집 하였다. 수집된 딸기는 5℃의 냉장 상태에 보관되었고, 실험전에 항온항습기를 이용하여 실내온도 10℃, 상대습도 60%의 환경에서 딸기의 영상 측정을 수행하였다. 딸기의 무게는 전자 저울(GX-61000, A&D Company Ltd., Tokyo, Japan)로 영상 획득 전에 측정하였다.
영상측정시스템 및 영상 획득
Fig. 2와 같이 딸기의 중량 예측을 위한 영상 측정 시스템을 개발하였다. 이 시스템은 CCD (charge coupled device) 칼라 카메라와 조명, 이송 컨베이어 벨트, 이송접시, 제어 시스템으로 구성되었다. CCD 색상 카메라(STC-530, Sensor Technologies America Inc., Carrollton, Texas, USA)는 가변초점 렌즈가 장착되어 있고 해상도와 프레임 수는 각각 510 × 492와 15이다. 딸기 영상을 획득시 딸기 시료의 아웃라인에 그림자가 형성되는 것을 방지하기 위하여 조명으로 60 W의 크립톤 전구를 카메라를 중심으로 4 방향에 등간격으로 4개를 위치시켰다(Fig. 2). CCD 색상 카 메라에 프레임-그래버 카드와 영상출력장치를 연결하여 실시간으로 영상을 획득하고 저장하도록 하였다. 딸기를 이송하는 이송컨베이어는 CCD 카메라 하부에 설치되었다. 딸기 과육의 표면 면적이 가장 크게 측정될 수 있도록 다이아몬드 형상으로 이루어진 이송접시 위에 시료를 안착시킨 후, 딸기 시료를 37.3 cm·s-1 속도의 컨베이어로 이 송시키면서 딸기의 2차원 표면 영상을 측정하였다. 딸기 시료들의 앞면과 뒷면의 영상을 획득하였다(Fig. 3). 딸기 가 37.3 cm·s-1의 속도로 이송될 때 딸기 영상의 블러링(blurring) 현상이 없도록 초당 15프레임의 카메라를 사용하 였다. 이 때, 딸기의 이송속도는 다른 과일 비파괴선별기의 처리속도와 동일하게 설정하였다.
영상 처리 및 데이터 분석
CCD 칼라 카메라로 획득한 딸기 영상을 이용하여 중량을 측정하기 위하여 중량 예측 영상 알고리즘을 개발하 였다. Fig. 4는 딸기 영상을 이용한 중량예측을 위한 영상처리 및 분석에 대한 순서도를 나타낸 것이다. 딸기는 과 육부분과 꼭지 부분으로 이루어져 있으며 꼭지부분은 중량부분에 비해 비중이 매우 낮기 때문에 딸기 영상에서 꼭지 부분을 제거한 과육부분만 추출하는 알고리즘을 개발하였다. 또한 딸기의 형상 특성을 고려하기 위하여 세 품종의 딸기에 대해 중량예측알고리즘을 개발하였다. 2차원 딸기 영상의 과육 영역과 실제 딸기의 중량 사이의 관 계를 구명하기 위하여 선형 회귀 분석법이 사용되었다. 2차원 딸기 영상의 과육 부분의 크기를 예측하기 위하여 딸기 이진화 영상의 과육영역에서 추출한 픽셀값들을 이용하였다. 이 이진화 영상에서 계산된 딸기 과육의 픽셀 수를 설명변수(X, explanatory variable), 실제 딸기 중량을 반응변수(Y, response variable)로 설정하여 예측 모델식을 개발하였다. 매향품종, 설향품종, 싼타품종을 위한 각각의 중량예측 모델과 세 품종 모두에 적용할 수 있는 통합 중량예측 모델를 개발하였다. 영상처리는 Matlab (Version 9.8.0, Mathworks, Natick, MA, USA) 소프트웨어를 이용하 여 수행하였다. 통계 분석은 Medcalc 프로그램(MedCalc, Seoul, Korea)을 이용하였다. 중량예측모델의 성능은 결정 계수(R²)와 측정오차(root mean square error, RMSE)를 이용하여 평가하였다.
딸기의 중량예측모델 개발을 위하여 매향품종, 설향품종, 싼타품종 모두 각각 240개씩, 통합모델은 720개 시료 의 영상을 사용하였다. 세 가지 개별 품종별 예측모델 개발을 위해 각각 160개 시료를 이용하였으며, 개발한 품종 별 예측모델 검증하기 위해 동일품종 80개 시료에 대한 영상을 이용하였다. 또한 통합중량모델 개발을 위해 480개 시료의 영상을 이용하였으며, 개발한 통합모델 검증을 위해 240개 시료의 영상을 이용하였다.
Results and Discussion
딸기 품종별 형상 특성 및 중량 분포
본 연구에 사용된 딸기의 품종은 매향, 설향, 싼타 품종으로서 Fig. 1과 같이 서로 다른 형상 특성을 보였다. 매향 품종의 딸기는 원추형상으로서 세로방향 길이가 가로방향 길이보다 큰 특징을 가지며, 설향 품종의 딸기는 정면 형상이 끝이 뭉뚝한 삼각형 형상이고, 측면 형상이 삼각형 형상의 특성을 가지고 있으며, 싼타 품종의 딸기는 정면 형상이 사다리꼴이고, 측면 형상이 삼각형 형상의 특성을 가지고 있다. Fig. 5는 각 품종별 중량분포를 보여주며, 딸 기 중량은 매향 품종의 경우 8.0 g에서 31 g, 설향 품종의 경우 10.24 g에서 36.47 g, 싼타 품종의 경우 8.39 g에서 45.8 g사이에 분포하였다. 매향 품종은 중량이 8 g에서 31 g사이로 세 품종 중 중량이 가장 작았다. 매향 품종의 중량은 8 - 25 g, 설향 품종의 중량은 15 - 30 g, 싼타 품종의 중량은 10 - 35 g에 주로 분포하였다.
3딸기 과육 추출 알고리즘 개발
컨베이어 벨트로 이송 중인 딸기에서 CCD 칼라 카메라로 획득한 2차원 영상을 이용하여 딸기의 과육 영역만 을 추출하는 알고리즘을 개발하였다. 딸기는 과육 부분과 꼭지 부분의 비중의 차이가 크기 때문에 딸기의 과육에 서의 단위 픽셀과 꼭지에서의 단위 픽셀이 의미하게 될 딸기의 중량은 서로 큰 차이를 갖는다. 또한 딸기는 중량의 대부분을 과육이 차지하기 때문에 딸기의 꼭지를 제거한 과육을 이용하여 중량을 예측하였다. 이를 위해 영상 처 리 과정에서 딸기의 과육을 제외한 꼭지 및 배경을 제거하였다.
딸기 중량 예측을 위한 영상 처리 알고리즘의 과정은 Fig. 6과 같다. 개발한 시스템에서 이송 중인 딸기의 영상을 측정하고(Fig. 6a) 측정된 영상에서 딸기 이송 접시와 딸기만 보이도록 관심영역을 추출한다(Fig. 6b). 추출된 관심 영역 영상에서 딸기의 영상만을 획득하기 위하여 배경인 이송접시 영역을 제거한다(Fig. 6c). 이 때 배경 제거 문턱 값은 0.055로 하였다. 배경을 제거한 영상에서 먼지나 씨에 의해 과육 내부에 생기는 작은 구멍 등을 제거하기 위 하여 중간값 필터를 적용하였다. 중간값 필터를 적용한 영상에서 딸기의 과육 부분과 꼭지 부분 중 중량에 영향을 미치는 부분이 작은 꼭지 부분을 제거하였으며 이 때 문턱값을 0.031로 하였다(Fig. 6d). 꼭지가 제거된 딸기 과육의 이진화 영상을 획득하였고, 이 영상에 에지 검출을 쉽게 하기 위하여 중간값 필터를 적용하였다(Fig. 6e). 최종적으 로 추출된 과육 이진화 영상에서 픽셀수를 추출하였다. 이와 같은 방법으로 매향 품종 240개, 설향 품종 240개, 싼 타 품종 240개에 대한 앞면과 뒷면의 영상을 이용하여 총 1,440개의 데이터를 확보하였다.
딸기 중량 예측 영상 판별 모델 개발
딸기의 과육 추출 영상처리 알고리즘을 적용하여 추출한 딸기 과육 영역의 픽셀수를 이용하여 딸기의 중량예측 모델을 개발하였다. 딸기는 품종에 따라 형상이 다르므로 2차원 영상에서 계산되는 픽셀수가 중량에 미치는 영향 이 다르게 나타났다. 선형회귀분석법을 적용하여 품종별(매향, 설향, 싼타)로 중량예측 모델과 3개 품종의 통합 중 량예측모델을 개발하였다(Table 1). 또한 딸기 단면의 영상과 양면 영상을 이용하여 각각에 대해 중량예측모델을 개발하였다.
Table 1. Results of weight prediction model for strawberry of three cultivars.
|
|
WP, weight prediction; n, number of samples; R2, coefficient of determination; RMSE, root mean square error. |
매향 품종 딸기의 중량 예측 모델 개발
매향 품종 160개의 딸기 시료에 대한 영상을 이용하여 단면 영상 이용 중량예측모델과 양면 영상이용 중량예측 모델을 각각 개발하였다. 딸기의 앞면 영상과 뒷면 영상을 이용하여 개발한 중량예측모델의 판별정확도(R2)는 각 각 0.9248, 0.9246로 나타났다. Fig. 7a에 보여준 것과 같이, 딸기의 양면 영상을 이용하여 개발한 중량예측모델의 판 별정확도(R2)는 0.9356로 나타났으며, 예측모델의 판별식은 식(1)와 같이 나타났다.
매향 품종 중량예측 모델: Υ = 0.001122Χ - 6.7940 (1)
개발한 중량예측 알고리즘을 각각 미지의 시료로 검증하였다. 딸기 앞면 영상 이용 중량예측 알고리즘과 뒤면 영상 중량예측 알고리즘의 판별정확도(R2)가 각각 0.9474, 0.9421로 나타났으며, RMSE가 각각 1.220, 1.225 g으로 나타났다. 그리고 Fig. 7b와 Table 1에서 양면 영상 이용 중량예측 알고리즘의 판별정확도와 RMSE는 각각 0.9531, 1.129 g으로 나타났으며, 딸기의 한 면 영상을 이용한 중량예측 알고리즘보다 우수한 성능을 보였다. 미지의 시료 에 대해 검증한 결과, 검량식보다 판별오차가 감소하는 경향을 보였다.
설향 품종 딸기의 중량 예측 모델 개발
설향 품종 160개의 딸기 영상을 이용하여 중량 예측 모델을 개발하였다. 매향 품종의 딸기와 마찬가지로 딸기의 한쪽면 영상을 이용한 중량예측모델과 양쪽면 영상을 이용한 중량예측모델을 각각 개발하였다. 딸기의 앞면 영상 과 뒷면 영상을 이용하여 개발한 중량예측모델의 결정계수(R2)는 각각 0.8692, 0.8617로 나타났다. 또한 딸기 양면 영상으로 개발한 중량예측모델는 0.8840의 판별정확도(R2)를 가졌으며, 이 예측모델의 판별식은 식(2)와 같다. 매 향품종의 중량예측모델보다 낮은 판별성능을 보였다.
설향 품종 중량예측 모델 : Υ = 0.001149Χ - 6.6908 (2)
개발한 3가지 종류의 중량예측 알고리즘을 각각 미지의 시료 검증한 결과, 딸기 앞면 영상 이용 중량예측 알고 리즘과 뒤면 영상 중량예측 알고리즘의 판별정확도(R2)는 모두 0.9446, 0.9437를, 판별오차(RMSE)가 각각 1.769, 1.590 g으로 나타났다. Fig. 8b와 Table 1에서 양면 영상을 이용한 중량예측 알고리즘의 판별정확도와 RMSE가 각각 0.951, 1.674 g으로 나타났으며 딸기의 한 쪽면 영상을 이용한 중량예측 알고리즘보다 우수한 성능을 보였다. 매향 품종의 중량예측모델보다 판별오차가 증가하는 경향을 보였다
싼타 품종 딸기의 중량 예측 모델 개발
싼타 품종도 160개의 딸기 영상을 이용하여 중량예측모델을 개발하였다. 두 품종의 딸기와 마찬가지로 한쪽면 영상과 양쪽면 영상을 이용한 중량예측모델을 개발하였다. 딸기의 앞면 영상을 이용하여 개발한 중량예측모델의 판별정확도(R2)가 0.9127였으며, 딸기의 뒷면 영상을 이용한 모델의 판별정확도(R2)는 0.8986였다. 그리고 딸기의 양면 영상을 이용하여 개발한 중량예측모델의 판별정확도는 0.9168로 나타났으며, 판별식은 식(3)과 같다.
싼타 품종 중량예측 모델 : Υ = 0.001058Χ - 4.6079 (3)
개발한 3가지 중량예측 알고리즘을 각각 미지의 시료를 이용하여 검증하였으며, 그 결과로 딸기 앞면 영상 이용 한 중량예측 알고리즘과 뒤면 영상 중량예측 알고리즘의 판별정확도가 각각 0.9395, 0.9332를 보였으며, RMSE가 각각 1.685, 1.805 g였다. Fig. 9b 및 Table 1과 같이 양면 영상 이용한 중량판별 알고리즘의 판별정확도와 RMSE가 각각 0.9432, 1.641 g으로 나타났으며, 딸기의 한면 영상을 이용한 중량판별 알고리즘보다 우수한 성능을 보였다. 매향 품종과 설향 품종의 중량예측모델보다 판별오차가 증가하는 경향을 보였다.
세 품종 통합 딸기의 중량 예측 모델 개발
세 품종의 480개의 딸기 영상을 이용하여 중량 예측 모델을 개발하였다. 딸기의 한쪽면 영상과 양쪽면 영상을 이 용한 중량예측모델을 각각 개발하였다. 딸기의 앞면 영상과 뒷면 영상을 이용하여 개발한 중량예측모델의 판별정 확도(R2)는 각각 0.9260, 0.9185로 나타났다. 딸기의 양면 영상을 이용하여 개발한 중량예측모델의 판별정확도는 0.9321로 나타났으며, 판별식은 식(4)과 같다.
세 품종 통합 중량예측 모델: Υ = 0.001114Χ - 6.1969 (4)
개발한 3가지 중량예측 알고리즘을 각각 미지의 시료로 예측한 결과, 앞면 영상 이용 중량예측 알고리즘과 뒤면 영상 이용 중량예측 알고리즘의 판별정확도가 각각 0.9548, 0.9502로 나타났으며 판별오차(RMSE)가 각각 1.529, 1.560 g으로 나타났다. 또한 양면 영상 이용 중량예측 알고리즘의 성능은 0.958의 판별정확도와 1.454 g의 RMSE 로 나타났으며, 한면 영상을 이용한 중량예측 알고리즘보다 우수한 성능을 보였다(Fig. 10b; Table 1). 2차원 영상을 이용하여 망고의 중량 예측 연구결과 결정계수(R2)가 0.954로서 본 연구결과와 유사한 정확도를 보였다(Teoh and Syaifudin, 2007). 따라서 딸기의 중량예측 정확도는 다른 과일들의 중량 예측 정확도와 비슷한 정확도를 나타내었 다.
세 가지 품종 중 중량예측 모델의 판별정확도는 매향 품종, 설향 품종, 싼타 품종 순으로 높았으며, 이는 중량범 위가 작고 좁은 경우에 판별오차가 작게 나타나는 경향을 보였다. 즉 딸기의 중량이 클 때 오차도 증가하는 경향을 보였다. 그렇지만 개별품종과 다르게 세 품종의 딸기를 통합하여 개발한 예측 모델의 정확도는 가장 예측 정확도 가 높은 품종인 매향 품종의 중량예측 모델과 유사한 정확도를 보였으며 설향품종과 싼타품종의 예측모델보다 성 능이 개선되었다. 본 연구 결과는 2차원 영상을 이용하여 딸기의 중량예측이 가능함을 보였다.
Conclusion
본 연구에서는 딸기의 품종에 따른 형상 특성을 이용하여 딸기의 중량을 예측하는 영상기술을 개발하였다. CCD 칼라 카메라와 이송컨베이어 벨트가 구비된 딸기 중량예측 영상 측정 시스템을 개발하였고 이를 이용하여 이송중인 딸기의 영상을 측정하였다. 딸기 영상에서 과육 부분의 픽셀수로 예측한 딸기의 크기와 실측한 딸기 중 량을 이용하여 설향, 매향, 싼타 세 가지 품종의 중량 예측 알고리즘을 개발하였다. 영상처리 기술 및 통계 분석을 이용하여 딸기의 중량 예측이 가능함을 보였다.
형상 특성이 다른 딸기의 2차원 영상을 이용하여 중량예측모델을 개발한 결과, 매향 품종, 설향 품종, 싼타 품종 의 중량 판별 정확도(R2) 가 각각 0.9531, 0.951, 0.9432였으며, 그리고 세 품종의 통합 예측 모델의 판별정확도와 판 별오차(RMSE)는 각각 0.958, 1.454 g 이였다. 이 결과들은 딸기의 형상 특성을 반영한 2차원 영상을 이용하여 딸기 의 중량 예측이 가능함을 보여주었다. 따라서 컨베이어 벨트에서 빠른 속도로 움직이는 딸기의 영상을 분석하여 중량을 예측하므로 추후 개발될 딸기 선별 기계화 시스템에 적용될 수 있을 것으로 판단되고, 기존의 벨트식 저울 을 제외시킬 수 있어 시스템이 간소화되고 구축비용을 절감할 수 있을 것으로 기대되다. 또한 현장에서 범용적으 로 적용하기 위해 다른 딸기 품종들에 대한 추가 연구를 수행할 예정이다.
Acknowledgements
본 결과물은 2019년도 강원대학교 대학회계 학술연구조성사업(520190071)와 농림축산식품부의 재원으로 농림식품기술기획평가원의 첨단농기계산업화기술개발 사업 (320031-03-1-HD020)의 지원을 받아 연구되었음.
Auhtors Information
Hyeonchae Yoo, https://orcid.org/0000-0001-5301-3815
Jongguk Lim, https://orcid.org/0000-0002-2501-4367
Giyoung Kim, National Institute of Agricultural Sciences, RDA, Researcher
Moon Sung Kim, USDA-ARS, Research Leader
Jungsook Kang, National Institute of Agricultural Sciences, RDA, Researcher
Youngwook Seo, National Institute of Agricultural Sciences, RDA, Researcher
Ah-yeong Lee, https://orcid.org/0000-0002-8524-6282
Byoung-Kwan Cho, Chungnam National University, Professor
Soon-Jung Hong, Korea National College of Agriculture and Fisheries, Professor
Changyeun Mo, https://orcid.org/0000-0002-9088-5978
