Prediction of pollution loads in agricultural reservoirs using LSTM algorithm: case study of reservoirs in Nonsan City

ANIMAL
Heesung Lim1Hyunuk An1Gyeongsuk Choi2Jaenam Lee3Jongwon Do4*

Abstract

The recurrent neural network (RNN) algorithm has been widely used in water-related research areas, such as water level predictions and water quality predictions, due to its excellent time series learning capabilities. However, studies on water quality predictions using RNN algorithms are limited because of the scarcity of water quality data. Therefore, most previous studies related to water quality predictions were based on monthly predictions. In this study, the quality of the water in a reservoir in Nonsan, Chungcheongnam-do Republic of Korea was predicted using the RNN-LSTM algorithm. The study was conducted after constructing data that could then be, linearly interpolated as daily data. In this study, we attempt to predict the water quality on the 7th, 15th, 30th, 45th and 60th days instead of making daily predictions of water quality factors. For daily predictions, linear interpolated daily water quality data and daily weather data (rainfall, average temperature, and average wind speed) were used. The results of predicting water quality concentrations (chemical oxygen demand [COD], dissolved oxygen [DO], suspended solid [SS], total nitrogen [T-N], total phosphorus [T-P]) through the LSTM algorithm indicated that the predictive value was high on the 7th and 15th days. In the 30th day predictions, the COD and DO items showed R2 that exceeded 0.6 at all points, whereas the SS, T-N, and T-P items showed differences depending on the factor being assessed. In the 45th day predictions, it was found that the accuracy of all water quality predictions except for the DO item was sharply lowered.

Keyword



Introduction

우리나라 전국에 사용되는 물은 생활용수, 공업용수, 농업용수 등으로 이용되고 있으며, 연간 전국 수자원 이용량 총 366억 m3 중 생활·공업·농업 등 용수 이용은 244억 m3 (67%)로 각각 생활용수 74억 m3 (30%), 공업용수 16억 m3 (7%), 농업용수 154억 m3 (63%)의 비율로 이용하고 있다. 이 중 농업용수는 63%로 전국에서 사용되는 물 이용량 중 가장 많은 비율을 차지하고 있다. 그러나 농촌의 수질환경은 도시지역에 비해 하수처리 등 환경기초시설의 투자가 미흡하고, 농약 및 비료 등 각종 오염원이 적절한 처리 없이 소하천으로 유입됨으로 인해 농촌의 수질은 악화되고 있다(Chung et al., 2004). 한국농어촌공사에서 관리중인 중대형 저수지는 안정적인 농업용수 공급을 위해 저수량 및 수질 대한 조사가 주기적으로 이루어지고 있다. 반면, 지자체에서 관리중인 중소 규모 저수지는 체계적인 관리 및 저수량 변화, 수질 변화 등에 대한 조사가 거의 이루어지지 않고 있다(Lim et al., 2015).

저수지의 수질 관리를 위해서는 미래수질변화에 대한 예측을 통해 수질개선대책을 수립하고 대책에 따른 효과를 분석하는 것이 중요하다(Haam et al., 2012). 국내에 널리 적용되고 있는 저수지 수질예측 모형으로는 CE-QUAL-W2, QUAL2E, ARIMA (autore-gressive integrated moving average) 등이 있다. Pyo 등(2015)은 2차원 수질 모형인 CE-QUAL-W2를 이용하여 사연호의 수질예측을 수행하여, 정확한 수질인자 예측을 위해서는 정확한 기상 및 수질데이터와 수리학적 계수 보정을 위해 많은 시행착오가 필요함을 주장하였다. Kim 등(1999)은 ARIMA 모형을 이용한 진양호의 수질예측을 수행하여 ARIMA 모형이 월별 수질 예측에 유효함을 증명하였다. ARIMA 모형은 가까운 시점의 경향을 많이 반영하기 때문에 장기예측보다 단기예측에 정확성을 보였다. CE-QUAL-W2 모형과 ARIMA 모형의 수질 예측은 각각 많은 시행착오를 통해 얻어지는 섬세한 수리학적 계수보정의 필요하며, 장기예측보다는 단기예측에 한정된다는 명확한 한계를 보였다.

최근 컴퓨터의 발전과 함께 빅 데이터 기반 인공신경망을 이용한 수질예측 연구가 진행되고 있다(Lim et al., 2020). 이에 따라 국내·외에서는 빅 데이터 기반 인공신경망을 활용한 수질예측 연구가 진행되고 있다. Chen과 Liu (2014)는 저수지의 DO (dissolved oxygen) 농도 예측을 위해 다중선형 회귀분석을 포함한 인공신경망(artificial neural network, ANN) 모형을 활용한 연구를 진행하여 DO농도 예측에 우수한 성능을 나타내었다. Najah 등(2009)은 수질예측을 위한 인공신경망 검토를 진행하여 수질예측을 진행하기 위해서는 데이터 전처리에서 누락된 데이터의 선형보간 작업이 필요하며, 수질예측을 위해서는 수질 항목 데이터가 학습에 필요함을 주장하였다. 국내에서 Oh 등(2002)은 인공신경망을 이용하여 영산강의 수질예측 연구를 진행하였고 인공신경망이 수질을 잘 예측한다는 결과를 보였다. Jeong 등(2002)은 인공신경망을 활용하여 DO 및 BOD (biochemical oxygen demand)의 수질 특정을 예측하였다. 그러나 Jeong 등(2002)은 연구에 있어 수질자료만을 활용하는 것보다 기상자료를 연계한 기계학습이 필요함을 제시하였다. Oh 등(2008)은 인공신경망을 활용한 유출량 및 TOC (total organic carbon)예측 연구를 진행하였다. 연구 결과로 예측 정확도는 높았으나 결측치로 인해 예측의 한계가 나타나는 것을 확인하였으며, 이는 자료의 보간이 필요함을 시사하고 있다. Yeon과 Ahn (2005)은 평창강 수질자동측정망 자료를 활용한 수질예측에 대한 적용성을 검토하였다. 예측 정확도는 높은것으로 확인하였으며, 안정적으로 수질예측을 모의하기 위해서는 연속적인 수질측정이 필요하다고 시사하고 있다. 과거의 연구들에서 인공신경망을 활용한 수질예측은 전반적으로 우수한 성능을 보이고 있으나, 수질측정자료 수집의 어려움으로 인하여 데이터의 누락에 따른 한계점이 지적되었으며 이는 데이터를 보완할 수 있는 방법이 필요함을 시사하고 있다.

본 연구는 시계열 학습에 널리 사용되고 있는 기계학습 알고리즘 RNN-LSTM을 활용하여 농업용 저수지를 대상으로 장기(7일 이상) 수질예측의 적용성을 테스트하고자 하였다. 수질예측에 필요한 기상자료는 기상자료개방포털에서 일 자료를, 한국농어촌공사로부터 수질측정(COD [chemical oxygen demand], DO, SS [suspended solid], T-N [total nitrogen], T-P [total phosphorus]) 자료를 수집하여 연구를 진행하였다. 일 단위의 수질 예측을 위해서는 일 단위 수질 측정 자료가 필요하나 한국농어촌공사로부터 수집한 수질측정자료는 1년에 2개월에 한번 또는 3개월에 한번 수집하고 있다. 따라서 한국농어촌공사로부터 수집한 수질측정 자료를 선형보간하여 일 자료로 구축한 뒤, 구축한 일 자료를 활용하여 RNN-LSTM 알고리즘을 통해 수일 후 수질을 예측하였다. 이를 통해 본 모델의 활용성을 종합적으로 검토하였다.

Materials and Methods

LSTM

순환신경망(Recurent Neural Network, RNN)은 과거의 데이터가 미래에 영향을 주는 루프 반복형 구조로 시계열 데이터 처리에 유용한 모형이다. 순환신경망은 루프 반복형 구조로 되어있어 시퀀스 데이터(sequence data)의 순서가 멀어지면 가중치가 작아져 소멸해버리는 가중치 소실(vanishing gradient)문제가 발생하는데 가중치 소실 문제를 극복하기 위해 Hochretier과 Schmidhuber (1997)는 순환신경망을 수정한 LSTM (long short term) 기법을 제안하였으며 순환신경망과 LSTM 기법의 차이는 Fig. 1과 같다(Lim et al., 2019).

Fig. 1. Structure of recurrent neural network (RNN) and long-short term memory (LSTM). ht, hidden state; Xt, input gate; tanh, hyper tangent; σ, sigmoid.

http://dam.zipot.com:8080/sites/kjoas/images/N0030490203_image/Fig_KJOAS_49_02_03_F1.png

LSTM은 입력값에서 출력값으로 변환하는 단계를 하나의 셀(cell)로 구성되어 있으며, 셀 내부의 상태량인 셀 스테이트(cell state)를 통해 이전의 가중치를 기억, 제거 여부를 결정하는 단계가 있다. 첫 번째 단계로는 특정 정보의 제거여부를 망각게이트(forget gate)를 통하여 정보를 버릴 것인지 결정하는 단계를 거친다. 두 번째 단계로는 입력게이트(input gate)를 통하여 새로운 정보를 저장할 것인지 결정하는 단계를 거친다. 먼저 sigmoid (σ) 함수를 통하여 업데이트 할 값을 결정하고, 다음으로 hyper tangent (tanh ) 함수를 활용하여 새로운 셀 상태를 생성한다. 마지막 단계로는 sigmoid 함수를 통하여 정보를 출력할 것인지 결정하는 출력게이트(output gate)단계를 거쳐 hyper tangent (tanh ) 함수를 활용하여 현재 시점의 출력값 ht를 업데이트 한다.

Analysis of research data

데이터 구축

본 연구에서 활용된 수질 측정자료는 한국농어촌공사 농어촌연구원으로부터 수집하였으며, 충청남도 논산시에 위치한 시설명 가곡, 수락, 탑정 지점의 2011 - 2020년까지의 COD, DO, SS, T-N, T-P농도 자료를 활용하였다. 한국농어촌공사 농어촌연구원으로부터 받은 COD, DO, SS, T-N, T-P 농도 자료는 2개월에 한번 또는 3개월에 한번 분기별로 자료를 수집하고 있다. 가곡의 경우 10년동안 관측된 수질농도(COD, DO, SS, T-N, T-P) 측정 자료는 총 40건, 수락의 경우 총 40건, 탑정의 경우 총 53건으로 확인되었다. 이에 따라 연 4 - 6회 정도 비정기적으로 측정된 수질농도(COD, DO, SS, T-N, T-P)자료를 일 단위 예측을 위해 끝점의 값이 주어졌을 때 그 사이에 위치한 값을 추정하는 방법인 선형보간법을 활용하여 일 자료로 구축한 뒤 연구에 활용하였다. 기상자료는 기상청 기상자료개방포털의 방재기상관측(AWS)에서 수집한 논산 지점(위도 36.21164, 경도 127.10815)의 일 단위 자료를 활용하였다. 각 지점별 위치는 Fig. 2와 같다.

http://dam.zipot.com:8080/sites/kjoas/images/N0030490203_image/Fig_KJOAS_49_02_03_F2.png

Fig. 2. Study area Nonsan (Nonsan, Chungcheongnam-do, Korea).

연구자료 분석

LSTM 모형의 입력자료 구축에는 2011 - 2020년의 기상자료 평균풍속, 강우량, 평균기온 자료를 사용하였으며 모형의 학습을 위해 수질 농도 데이터를 활용하였다. 모형의 테스트에는 농도 측정 데이터를 활용하지 않았으며, 측정값과 예측값이 얼마나 정확한 것인지 비교 검토를 위해 R2를 이용하여 통계분석을 실시하였다. LSTM 모형 구성을 위해 구글의 오픈소스인 Tensorflow (https://www.tensorflow.org/)를 활용하였으며, LSTM 모형의 구성에는 은닉층의 개수를 10개, 학습율은 0.01, 반복시행횟수는 5,000번으로 고정하였다. 시퀀스 데이터(sequence length)의 길이는 3, 5, 7에 대하여 연구하였다. LSTM 모형 활성화 함수로는 tanh  함수로 학습시켰으며, Fig. 3과 같이 2011 - 2018년의 ((a) COD, (b) DO, (c) SS, (d) T-N, (e) T-P) 데이터는 학습(training)에 활용하였고 이를 통해 2019 - 2020년의 값을 예측하였다. 본 연구의 모형에서 계산된 오차와 비교 검토하기 위해 통계적 검증방법으로 R2를 이용하여 예측 결과를 분석하였다.

http://dam.zipot.com:8080/sites/kjoas/images/N0030490203_image/Eq_KJOAS_49_02_03_eq1.png

수질예측 R2에 대한 평가 분류는 0.9이상 매우 우수한 성능 0.8정도 우수한 성능으로 Kim과 Shin (2013), Kim 등(2011)이 평가하고, R2에 대한 평가 분류는 Moriasi 등(2015)에서 제시한 모의에 대한 기준을 Table 1에 제시하였다.

Fig. 3. Time series data sets for long-short term memory (LSTM) applications. (a) COD, (b) DO, (c) SS, (d) T-N, (e) T-P. COD, chemical oxygen demand; DO, dissolved oxygen; SS, suspended solids; T-N, totalnitrogen; T-P, total-phosphorus.

http://dam.zipot.com:8080/sites/kjoas/images/N0030490203_image/Fig_KJOAS_49_02_03_F3.png
Table 1. Evaluation criteria for the recommended statistical performance measure for watershed and fieldscale models.http://dam.zipot.com:8080/sites/kjoas/images/N0030490203_image/Table_KJOAS_49_02_03_T1.png

Adapted from Moriasi et al. (2015).

D, daily; M, monthly; A, annual.

Results and Discussion

LSTM 알고리즘으로 COD, DO, SS, T-N, T-P농도를 예측한 결과값을 종합적인 비교분석을 위해 각 지점별 시퀀스 데이터(sequence length)의 길이 3, 5, 7에 대한 R2 값의 평균값을 만들어 Table 2에 정리하였다.

Table 2. Model performance results of the COD, DO, SS, T-N, T-P, LSTM.http://dam.zipot.com:8080/sites/kjoas/images/N0030490203_image/Table_KJOAS_49_02_03_T2.png

COD, chemical oxygen demand; DO, dissolved oxygen; SS, suspended solids; T-N, total-nitrogen; T-P, total-phosphorus; LSTM, long shortterm memory.

COD 예측 결과 분석

시퀀스 데이터(sequence length)의 길이에 따른 R2 값을 비교하기 위해 시퀀스 데이터(sequence length) 3, 5, 7에 대한 COD 농도값을 예측한 결과값(7, 15, 30, 45, 60일)을 Table 3에 제시하였으며 R2는 0.9953 - 0.0834의 범위를 나타내었다. 각 지점별 결과값은 가곡의 경우 7일 예측 R2는 0.9887, 15일 예측 R2는 0.9197로 높은 정확도를 나타내었으며 30일 예측 R2는 0.6913으로 나타내었으나, 45일 예측 R2는 0.2616, 60일 예측 R2는 0.0948로 30일 이후 정확도가 낮아진 현상을 볼 수 있었으며 Fig. 4a와 같이 45일 이후 정확도가 확연히 낮아지는 현상을 볼 수 있었다. 수락, 탑정의 경우에도 7일, 15일까지 높은 예측 정확도를 나타내었으며, 30일 이후 정확도가 낮아지는 현상을 볼 수 있었으나, 가곡 지점과 같이 45일 이후 정확도가 확연히 낮아지는 현상을 나타내지는 않았다. 시퀀스 데이터(sequence length)는 3, 5, 7 모두 비슷하게 예측하는 것으로 나타났다.

Table 3. Model performance results of the COD (chemical oxygen demand) LSTM (long short-term memory).http://dam.zipot.com:8080/sites/kjoas/images/N0030490203_image/Table_KJOAS_49_02_03_T3.png

Fig. 4. Prediction results with different lead time. (a) COD, (b) DO, (c) SS, (d) T-N, (e) T-P. COD, chemical oxygen demand; DO, dissolved oxygen; SS, suspended solids; T-N, total-nitrogen; T-P, total-phosphorus.

http://dam.zipot.com:8080/sites/kjoas/images/N0030490203_image/Fig_KJOAS_49_02_03_F4.png

DO 예측 결과 분석

DO 농도값 예측 결과 R2는 0.9945 - 0.3115의 범위를 나타내었다. 각 지점별로 7일 예측의 경우 가곡, 탑정, 수락의 R2는 각각 0.9945, 0.9843, 0.9634, 순으로 높은 정확도를 나타내었으며, 15일 예측의 경우도 가곡, 탑정, 수락의 R2는 각각 0.9180, 0.9286, 0.8784 순으로 높은 정확도를 나타내었다. 30일 예측의 경우 탑정, 가곡, 수락의 R2가 각각 0.7419, 0.7365, 0.7330으로 나타내었으며, 30일이 넘어가면서 가곡은 45일 R2 0.5184, 60일 R2 0.3115로 Fig. 4b와 같이 정확도가 내려가는 현상을 볼 수 있었다. 수락의 경우 45일 R2 0.6214, 60일 R2 0.3589로 다른 지점에 비해 60일 이후에 정확도가 내려가는 현상을 볼 수 있었으며, 탑정의 경우 45일 R2 0.5997, 60일 R2 0.4483으로 다른 지점보다 45일 정확도는 내려가는 현상이 나타났으나, 60일 예측 정확도는 다른 지점 보다 높은 예측 정확도를 나타내었다.

SS 예측 결과 분석

SS 농도값 예측 결과 R2는 0.9946 - 0.0781의 범위를 나타내었다. 각 지점별로 가곡의 경우 7일, 15일의 R2가 각각 0.9946, 0.9175로 높은 정확도를 나타냈으나, 30일 이후 0.2934, 0.1911, 0.0781로 예측 정확도가 급격하게 떨어지는 현상을 볼 수 있었다. 수락의 경우 7일, 15일의 R2가 각각 0.9929, 0.9397로 15일까지 비교적 정확한 예측이 가능했으나, Fig. 4c와 같이 30일 이후 R2가 0.6676부터 0.3059까지 예측정확도가 떨어지는 현상을 볼 수 있었다. 탑정의 경우 7, 15, 30, 45, 60일의 R2가 각각 0.9642, 0.8932, 0.5364, 0.2813, 0.2860으로 45일 이후 예측 정확도가 급격하게 떨어지는 현상을 볼 수 있었다.

T-N 예측 결과 분석

T-N 농도값 예측 결과 R2는 0.9902 - 0.0983의 범위를 나타내었다. 가곡, 탑정 7, 15일 예측의 경우 R2값이 가곡(0.9760, 0.8873), 탑정(0.9642, 0.8466)으로 높은 정확도를 나타내었으나, 30, 45, 60일 예측의 경우 R2값이 가곡(0.6056, 0.3250, 0.0983), 탑정(0.5075, 0.2798, 0.1715)으로 Fig. 4d와 같이 45일 이후 급격하게 예측 정확도가 떨어지는 현상을 볼 수 있었다. 수락의 경우 7, 15, 30, 45, 60일의 R2가 각각 0.9902, 0.9497, 0.8316, 0.6214, 0.4388으로 가곡, 탑정 보다 예측의 정확도가 높은 것으로 나타났다.

T-P 예측 결과 분석

T-P 농도값 예측한 결과 R2는 0.9658 - 0.0785의 범위를 나타내었다. 가곡 7, 15일 예측의 경우 각각 R2 0.9658, 0.8627로 높은 정확도를 나타내었으나, Fig. 4e와 같이 30, 45, 60일 예측의 경우 각각 R2 0.5313, 0.2758, 0.0922로 45일 이후 급격하게 예측 정확도가 떨어지는 현상을 볼 수 있었다. 수락의 경우 7, 15, 30, 45, 60일의 R2가 각각 0.6360, 0.5943, 0.5236, 0.3927, 0.2726으로 예측 정확도가 낮았다. 탑정 7일 예측의 경우 R2 0.8984로 높은 정확도를 나타내었으나, 15, 30, 45, 60일의 R2가 각각 0.6524, 0.2699, 0.1152, 0.0785로 30일 이후 급격하게 낮은 예측 정확도를 나타내었다.

Conclusion

본 연구에서는 딥러닝 기반 순환신경망을 수정한 LSTM 기법을 이용하여 일단위 COD, DO, SS, T-N, T-P를 예측하였다. LSTM 기법 학습을 위해 기상인자, 수질데이터 자료를 활용했으며, 2011 - 2020년까지의 10년간의 일단위 기상(평균풍속, 평균온도, 강우량) 데이터와 3 - 4개월 간격으로 관측된 수질(COD, DO, SS, T-N, T-P)자료를 수질데이터 자료처럼 일단위 데이터로 선형보간하여 학습자료로 구축하였다. 예측의 정확도를 판단하기 위해 수질데이터가 포함된 training 데이터셋과 수질데이터가 포함되지 않은 test 데이터셋으로 구분하여 연구를 진행하였으며, 학습 모형 구축을 위해 은닉층의 갯수는 10개, 학습율은 0.01, 학습횟수는 5,000번으로 진행하였다. 시퀀스 데이터(sequence length)의 차이에 따른 예측 정확도를 확인하기 위해 시퀀스 데이터(sequence length)는 3, 5, 7로 변화를 주어 학습을 진행하였다. 본 논문의 결과를 정리하면 다음과 같다.

1) LSTM 기법을 통해 가곡, 수락, 탑정 지점의 수질농도(COD, DO, SS, T-N, T-P)를 예측한 결과 7, 15일까지 높은 예측도를 보였다. 30일 예측에서 COD, DO 항목은 모든 지점에서 R2가 0.6 이상 나타내었으며, SS, T-N, T-P 항목에서는 지점별 차이를 나타내었다. 45일 예측에는 DO 항목을 제외한 모든 수질예측 정확도가 급격하게 낮아지는 현상을 확인할 수 있었다.

2) 시퀀스 데이터(sequence length)가 LSTM 기법에 미치는 영향을 파악하기 위해 시퀀스 데이터(sequence length)를 3, 5, 7로 변화를 주어 예측 정확도를 확인한 결과, 시퀀스 데이터(sequence length)의 길이에 따른 예측 정확도는 많은 차이를 나타내지 않았다.

본 연구는 LSTM 알고리즘으로 기상자료와 이전 저수지 수질자료를 활용하여 7, 15, 30, 45, 60일 장기 수질예측을 수행하고자 하였다. T-P 항목을 제외한 모든 수질항목에서 15일까지 높은 정확도로 수질예측이 가능한 것으로 확인하였다. 향후 30, 45, 60일의 예측 정확도를 높이기 위해서 3 - 4개월 단위로 측정된 데이터가 아닌 일별로 측정된 데이터를 활용하여 예측 정확도 검증을 수행할 예정이다.

Conflict of Interests

No potential conflict of interest relevant to this article was reported.

Acknowledgements

본 연구는 농림축산식품부의 재원 농림식품기술기획평가원의 농업기반 및 재해대응기술 개발사업(과제번호:321071-3)의 지원으로 수행되었습니다.

Authors Information

Heesung Lim, https://orcid.org/0000-0002-1922-3680

Hyunuk An, https://orcid.org/0000-0002-4566-5159

Gyeongsuk Choi, https://orcid.org/0000-0003-3289-3176

Jaenam Lee, https://orcid.org/0000-0001-5096-6856

Jongwon Do, https://orcid.org/0000-0001-7416-0232

References

1 Chen WB, Liu WC. 2014. Artificial neural network modeling of dissolved oxygen in reservoir. Environmental Monitoring and Assessment 186:1203-1217.  

2 Chung PJ, Goh HS, Hyun MH, Lee EJ. 2004. Water quality management using WASP5 & WASP builder for a basin of an agricultural reservoir. Journal of Korean Society on Water Environment 20:422-431. [in Korean]  

3 Haam JH, Kim DH, Kim HJ, Kim MO. 2012. Development and application of agricultural reservoir water quality simulation model (ARSIM-Rev). Journal of The Korean Society of Agricultural Engineers 54:65-76. [in Korean]  

4 Hochretier S, Schmidhuber J. 1997. LSTM can solve hard long time lag problems. Advances in Neural Information Processing Systems 9:473-479.  

5 Jeong HJ, Lee SJ, Lee HK. 2002. Water quality forecasting of Chungju lake using artificial neural network algorithm. Journal of Environmental Science International 11:201-207. [in Korean]  

6 Kim JH, Chea SK, Kim BS. 2011. Evaluation of water quality prediction models at intake station by data mining techniques. Korean Society of Environmental Impact Assessment 20:705-716. [in Korean]  

7 Kim JO, Yoo HH, Kim OS, Park JS. 1999. Forecasting of water quality in Chinyang reservoir using ARIMA model. Journal of Wetlands Researh 1:17-28. [in Korean]  

8 Kim ME, Shin HS. 2013. Study on establishing algal bloom forecasting models using the artificial neural network. Journal of Korea Water Resources Association 46:697-706. [in Korean]  

9 Lim HS, An HU, Choi EH, Kim YS. 2020. Prediction of the DO concentration using the machine learning algorithm: Case study in Oncheoncheon, Republic of Korea. Korean Journal of Agricultural Science 47:1029-1037. [in Korean]  

10 Lim HS, An HU, Kim HD, Lee JJ. 2019. Prediction of pollution loads in the Geum river upstream using the recurrent neural network algorithm. Korean Journal of Agricultural Science 46:67-78. [in Korean]  

11 Lim MH, Lee YT, Son YG. 2015. Water quality monitoring in small/medium sized reservoirs. Journal of Korean Socienty of Environmental Engineers 37:631-635. [in Korean]  

12 Moriasi DN, Gitau MW, Pai N, Daggupati P. 2015. Hydrologic and water quality models: Performance measures and evaluation criteria. Transactions of the ASABE 58:1763-1785.  

13 Najah A, Elshafie A, Karin OA, Jaffar O. 2009. Prediction of Johor river water quality parameters using artificial neural networks. European Journal of Scientific Research 28:422-435.  

14 Oh SR, Jin SH, Kim DR, Park SC. 2008. Study on development of artificial neural network forecasting model using runoff, water quality data. Journal of Korea Water Resources Association 41:1035-1044. [in Korean]  

15 Oh YP, Park CR, Lee SC, Pyo HM. 2002. A forecasting of water quality in the Youngsan river using neural network. Journal of The Korean Society of Civil Engineers 22B:371-382. [in Korean]  

16 Pyo JC, Lee SH, Kim MJ, Cho KH, Cho HJ. 2015. Application of CE-QUAL-W2 model and scenario analysis for predicting water quality constituents in Sayeun reservoir. Journal of Korean Society of Hazard Mitigation 15:275-282. [in Korean]  

17 Yeon IS, Ahn SJ. 2005. A development of real time artificial intelligence warning system linked discharge and water quality (1) application of discharge - water quality forecasting model. Journal of Korea Water Resources Assocition 38:565-574. [in Korean]