(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023003026
(43)【公開日】2023-01-11
(54)【発明の名称】深層学習に基づく農村地域分けゴミ識別方法
(51)【国際特許分類】
G06T 7/00 20170101AFI20221228BHJP
G06N 3/08 20230101ALI20221228BHJP
G06N 3/02 20060101ALI20221228BHJP
【FI】
G06T7/00 350C
G06N3/08
G06N3/02
【審査請求】有
【請求項の数】8
【出願形態】OL
(21)【出願番号】P 2021103937
(22)【出願日】2021-06-23
(11)【特許番号】
(45)【特許公報発行日】2021-12-15
(71)【出願人】
【識別番号】521275909
【氏名又は名称】中国科学院西北生態環境資源研究院
(74)【代理人】
【識別番号】100088063
【弁理士】
【氏名又は名称】坪内 康治
(72)【発明者】
【氏名】祁元
(72)【発明者】
【氏名】楊瑞
(72)【発明者】
【氏名】張金竜
(72)【発明者】
【氏名】王宏偉
(72)【発明者】
【氏名】周聖明
【テーマコード(参考)】
5L096
【Fターム(参考)】
5L096AA06
5L096EA05
5L096EA12
5L096EA15
5L096EA16
5L096EA39
5L096GA12
5L096GA17
5L096HA11
5L096KA04
(57)【要約】 (修正有)
【課題】農村の不規則なゴミを効率的かつ正確に識別するために、深層学習に基づく農村地域分けゴミ識別方法を提供する。
【解決手段】方法は、ドローンを使用して農村地域情報を采集してドローン画像を前処理するステップと、データ正規化やデータ強調を行い訓練データセットと検証データセットに分割し、スライドウィンドウによる選択で、試験データセットを生成するステップと、畳み込みニューラルネットワークモデルを構築するステップと、モデルパラメータの決定するステップと、訓練済の畳み込みニューラルネットワークモデルを使用して各地域がゴミまたは非ゴミである識別結果を出力するステップと、を含む。
【選択図】なし
【特許請求の範囲】
【請求項1】
S1:ドローンを使用して農村地域情報を采集し、ドローン画像を前処理するステップと
、
S2:データ正規化方法を利用して、各チャンネルのピクセル値範囲を[0,1]に縮小し
、データ強調方法によりドローン画像のサンプルデータを強調処理し、サンプルを8:2
の割合で訓練データセットと検証データセットに分割し、スライドウィンドウによる選択
で、試験データセットを生成するステップと、
S3:畳み込み演算の受容野特徴に基づいて、異なるサイズの畳み込みカーネルで画像特
徴を抽出し、機械学習方法を分類器として畳み込みニューラルネットワークのモデルを構
築するステップと、
S4:畳み込み、プーリング、活性化関数を含む順伝播と、損失関数、勾配降下アルゴリ
ズム、正則化を含む逆伝播を使用して訓練を行い、モデルパラメータを決定するステップ
と、
S5:訓練済の畳み込みニューラルネットワークモデルを使用して、各地域がゴミまたは
非ゴミである識別結果を出力するステップと、
を含む、ことを特徴とする深層学習に基づく農村地域分けゴミ識別方法。
【請求項2】
前記ステップS1では、ドローン画像を前処理することは、歪み補正、空中三角暗号化お
よびDOM作成を含む、ことを特徴とする請求項1に記載の方法。
【請求項3】
前記ステップS2では、強調処理は、ノイズ、フリッピング、回転、平行移動、トリミン
グ、およびボケによりデータを強調処理する、ことを特徴とする請求項1に記載の方法。
【請求項4】
前記ステップS2では、スライドウィンドウの選択方法は、サイズ200×200のウィ
ンドウでドローン画像に対して左から右および上から下へ、一定間隔でトリミングするこ
とで試験データセットを取得する、ことを特徴とする請求項1に記載の方法。
【請求項5】
前記ステップS3では、畳み込みニューラルネットワークのモデルを構築する具体的な過
程は以下のとおりである:
(1)モデル入力:畳み込みニューラルネットワークのモデル入力は、200×200サ
イズのドローン画像のゴミサンプルと非ゴミサンプルである、
(2)畳み込み演算:畳み込み演算の受容野の特徴に基づいて、各層畳み込み演算につい
てそれぞれ3×3と5×5の畳み込みカーネルサイズの2回畳み込み演算を実行し、その
結果をスプライスし、該畳み込みニューラルネットワークモデルは、それぞれ16、32
、64、32の特徴チャンネルを使用して4回の畳み込み演算を実行する、
(3)完全結合演算:(2)での畳み込み演算の結果を平坦化してから、それぞれニュー
ロンサイズが256、64と2の3回の完全結合操作を実行する、
(4)モデル分類器:機械学習方法のランダムフォレストを畳み込みニューラルネットワ
ークの分類器として使用し、畳み込みニューラルネットワークを構築する、ことを特徴と
する請求項1に記載の方法。
【請求項6】
前記ステップS4中の順伝播の具体的な過程は以下のとおりである:
(1)前記畳み込みとは畳み込み演算により入力画像を処理することを指し、畳み込み演
算は、入力とカーネル関数の2つのパラメータを含み、畳み込み演算はsameとval
idの2つの方法で入力を処理する、
1)same方法は、入力画像の外層にn層0をラップし、畳み込み後に得られた出力と
入力のサイズが同じになる、
2)valid方法は、入力画像を変更せず、得られた畳み込み後の出力が入力より小さ
く、出力のサイズは、
であり、ただし、Wは入力画像のサイズであり、Fは畳み込みカーネルのサイズであり、
畳み込みカーネルストライドはSであり、入力画像の外層を充填するための層数はPであ
る、
(2)前記活性化関数は線形整流関数ReLUを使用する、
(3)前記プーリングとは、最大プーリングで畳み込み後の特徴を圧縮することを指す、
ことを特徴とする請求項1に記載の方法。
【請求項7】
前記ステップS4中の逆伝播の具体的な過程は以下のとおりである:
(1)前記損失関数は、クロスエントロピー損失関数を使用して、モデル出力値と真の値
間の差を測定し、予測値の分布と実際従属変数の分布が可能な限り一致している場合、ク
ロスエントロピーが次のように一番小さい:
(2)前記勾配降下アルゴリズムはAdamであり、Adamを使用してパラメータを最
適化する、
(3)前記正則化とは、各畳み込み層の後にDropoutとBatchNormali
zation正則項を追加することである、ことを特徴とする請求項1に記載の方法。
【請求項8】
前記ステップS4中の畳み込みニューラルネットワークモデルの訓練方法は、具体的な過
程が以下のとおりである:
(1)モデル訓練過程中、ガウス分布により重みパラメータの初期値を決定する、
(2)予測結果とラベルデータに従ってクロスマウンテン関数を損失関数として定義し、
Adam最適化方法に従って重みを更新し、損失関数値を減らし、ただし、学習率は0.
01であり、運動量は0.9である、
(3)各層の畳み込み演算後にDropdoutを追加し、過剰適合現象の発生を防止し
、その拒否率は0.3であり、ネットワークに正則項を追加して早期に終了し、その許容
値は10である、
(4)数回繰り返して、検証精度が基本的に変わらないことを確認した後、モデル訓練を
停止し、畳み込みニューラルネットワークのモデルパラメータを決定する、ことを特徴と
する請求項1に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ゴミ分類の技術分野に関し、具体的に深層学習に基づく農村地域分けゴミ識別
方法に関する。
【背景技術】
【0002】
現在、世界の人口の約83%が途上国に住んでおり、その中でも半分以上が農村人口であ
り、人口の急増に伴い、農村のゴミがかつてないほど増加しており、深刻な環境汚染を引
き起こし、農村ゴミの管理は途上国の大きな課題になっている。
効果的なゴミ管理は、農村の居住環境を改善し、生態学的に住みやすい美しい村を建設し
、農村の活性化を実現するための重要な前提条件であり、農村の貧困地域では、ゴミ管理
は資金不足などの多くの問題に直面し、ゴミの現在分布を正確に把握し、ゴミ管理に非常
に重要である。
深層学習の概念の導入により、ニューラルネットワークの拡張として、画像識別分野で広
く応用される。従来の画像識別方法と比較して、深層学習方法は、深層アーキテクチャを
通じてより多くの抽象的なデータ特徴を自動学習して、画像分類の効果を大幅に向上する
。
現在、不規則なゴミ抽出方法は、主に従来の解釈、分類などの方法に基づいたものであり
、計算効率と抽出精度などの点でまだ改善する余地がある。したがって、農村の不規則な
ゴミを効率的かつ正確に識別する農村不規則なゴミの自動識別方法が必要である。
【発明の概要】
【0003】
上記の技術的問題を解決するために、本発明は、深層学習に基づく農村地域分けゴミ識別
方法を提供する。
本発明の技術的解決策は、深層学習に基づく農村不規則なゴミ識別方法であり、
ステップ:
S1:ドローンを使用して農村地域情報を采集し、ドローン画像を前処理するステップと
、
S2:データ正規化方法を利用して、各チャンネルのピクセル値範囲を[0,1]に縮小し
、データ強調方法によりドローン画像のサンプルデータを強調処理し、サンプルを8:2
の割合で訓練データセットと検証データセットに分割し、スライドウィンドウによる選択
で、試験データセットを生成するステップと、
S3:畳み込み演算の受容野特徴に基づいて、異なるサイズの畳み込みカーネルで画像特
徴を抽出し、機械学習方法を分類器として畳み込みニューラルネットワークのモデルを構
築するステップと、畳み込みニューラルネットワークは受容野(Receptive F
ield)を有し、受容野は畳み込みニューラルネットワーク中の1つの特徴が入力空間
にマッピングされる地域サイズであり、異なる畳み込みカーネルサイズは異なる受容野の
特徴を抽出可能であり、受容野の範囲は畳み込み層の数の増加に従って拡大し、2層の3
×3畳み込み演算後の受容野は5×5であり、3層の3×3畳み込み演算の受容野は7×
7である、
S4:畳み込み、プーリング、活性化関数を含む順伝播と、損失関数、勾配降下アルゴリ
ズム、正則化を含む逆伝播を使用して訓練を行い、モデルパラメータを決定するステップ
と、
S5:訓練済の畳み込みニューラルネットワークモデルを使用して、各地域がゴミまたは
非ゴミである識別結果を出力するステップと、を含む。
さらに、前記ステップS1では、ドローン画像を前処理することは、具体的に、歪み補正
、空中三角暗号化、およびDOM作成などを含む。
さらに、前記ステップS2では、強調処理は、具体的に、ノイズ、フリッピング、回転、
平行移動、トリミング、ボケによりデータを強調処理することであり、ドローン画像サン
プルを強調処理することは過剰適合を防止する最も効果的な方法であり、より多くのデー
タを使用して訓練し、画像は高次元になり、大きな変化要因が含まれ、画像の幾何的変換
によりデータ量を増加する。
【0004】
さらに、前記ステップS2中のスライドウィンドウの選択方法は、具体的に、サイズ20
0×200のウィンドウでドローン画像に対して左から右および上から下へ、一定間隔で
トリミングすることで試験データセットを取得することであり、試験サンプルを畳み込み
ニューラルネットワークモデルに入力した後、畳み込み演算により試験サンプルの境界部
分が効果的に分類できず、明らかな矩形状フレームが現れ、スライドウィンドウ方法を使
用して試験サンプルを選択する。
【0005】
さらに、前記ステップS3中の畳み込みニューラルネットワークのモデルを構築する具体
的な過程は以下のとおりである:
(1)モデル入力:畳み込みニューラルネットワークのモデル入力は、200×200サ
イズのドローン画像のゴミサンプルと非ゴミサンプルである、
(2)畳み込み演算:畳み込み演算の受容野の特徴に基づいて、各層畳み込み演算につい
てそれぞれ3×3と5×5の畳み込みカーネルサイズの2回畳み込み演算を実行し、その
結果をスプライスし、該畳み込みニューラルネットワークモデルは、それぞれ16、32
、64、32の特徴チャンネルを使用して4回の畳み込み演算を実行する、
(3)完全結合演算:(2)での畳み込み演算の結果を平坦化してから、それぞれニュー
ロンサイズが256、64と2の3回の完全結合操作を実行する、
(4)モデル分類器:機械学習方法のランダムフォレストを畳み込みニューラルネットワ
ークの分類器として使用し、グラフ識別モデルとしてのsoftmaxの一般化能力が不
足などの問題を解決して、分類精度を向上させることができる。
【0006】
さらに、前記ステップS4中の順伝播の具体的な過程は以下のとおりである:
(1)前記畳み込みとは畳み込み演算により入力画像を処理することを指し、畳み込み演
算は、入力とカーネル関数の2つのパラメータを含み、畳み込み演算はsameとval
idの2つの方法で入力を処理する、
1)same方法は、入力画像の外層にn層0をラップし、畳み込み後に得られた出力と
入力のサイズが同じになる、
2)valid方法は、入力画像を変更せず、得られた畳み込み後の出力が入力より小さ
く、出力のサイズは、
であり、ただし、Wは入力画像のサイズであり、Fは畳み込みカーネルのサイズであり、
畳み込みカーネルストライドはSであり、入力画像の外層を充填するための層数はPであ
る、
(2)活性化関数として、通常、Sigmoid関数、tanH関数、およびReLU関
数などが使用され、前記活性化関数は線形整流関数ReLUを使用し、ReLU=max(
0,x)の式から分かるように、x>0の場合、ReLUは、勾配が減衰するのを防ぎ、勾
配の消失現象を遅くすることができる、
(3)前記プーリングとは、最大プーリングで畳み込み後の特徴を圧縮することを指し、
パラメータのデータ量を顕著に減らし、計算の複雑さが軽減され、特徴が簡素化される、
【0007】
さらに、前記ステップS4中の逆伝播の具体的な過程は以下のとおりである:
(1)前記損失関数は、クロスエントロピー損失関数を使用して、モデル出力値と真の値
間の差を測定し、予測値の分布と実際従属変数の分布が可能な限り一致している場合、ク
ロスエントロピーが次のように一番小さい:
(2)前記勾配降下アルゴリズムはAdamであり、Adamを使用してパラメータを最
適化し、Adamは、小さなメモリ要件に加えて、モデル訓練過程中にパラメータが更新
されるときに、異なるパラメータに従って学習率を計算して、異なる手動介入により適切
な学習率を求める。
(3)前記正則化とは、各畳み込み層の後にDropoutとBatchNormali
zation正則項を追加することであり、モデル訓練過程中に、訓練データセットが十
分でない場合、過剰適合現象が発生するため、正則項を追加する必要がある。
【0008】
さらに、前記ステップS4中の畳み込みニューラルネットワークモデルの訓練方法は、具
体的な過程が以下のとおりである:
(1)モデル訓練過程中、ガウス分布により重みパラメータの初期値を決定する、
(2)予測結果とラベルデータに従ってクロスマウンテン関数を損失関数として定義し、
Adam最適化方法に従って重みを更新し、損失関数値を減らし、ただし、学習率は0.
01であり、運動量は0.9である、
(3)過剰適合現象の発生を防止するために、各層の畳み込み演算後にDropdout
を追加し、その拒否率は0.3であり、ネットワークに正則項を追加して早期に終了し、
その許容値は10である、
(4)数回繰り返して、検証精度が基本的に変わらないことを確認した後、モデル訓練を
停止し、畳み込みニューラルネットワークのモデルパラメータを決定する。
【0009】
本発明の有益な効果は以下のとおりである。
(1)本発明の農村不規則なゴミ識別方法は、畳み込みニューラルネットワークモデルを
構築することで、農村不規則なゴミポイントを識別し、ゴミの現在分布状況を正確に把握
し、ゴミ管理にとって非常に重要である。
(2)本発明は、受容野特徴を畳み込み演算することにより、異なるサイズの畳み込みカ
ーネル畳み込み演算結果をスプライスして、softmax分類器を機械学習アルゴリズ
ムランダムフォレストに置き換えることで、農村の不規則なゴミサイトの識別精度を向上
する。
【図面の簡単な説明】
【0010】
【
図1】本発明の応用例の畳み込みニューラルネットワークのモデル構造図である。
【
図2】本発明の応用例における訓練回数による識別精度の変化曲線である。
【発明を実施するための形態】
【0011】
以下、本発明の利点をさらに具体化するために、実際の実施形態を併せて本発明をより詳
細に説明する。
実施例
深層学習に基づく農村不規則なゴミ識別方法は、
S1:ドローンを使用して農村地域情報を采集し、ドローン画像を前処理し、前処理は、
具体的に歪み補正、空中三角暗号化、DOM作成を含み、ドローンの飛行高さが低く、飛
行環境の違いが大きいため、プラットフォームは従来の写真測量大型航空機と比較して、
安定性が比較的悪く、飛行中の揺れやカメラ自身の動きにより、ある程度の画像のボケや
画像歪みが発生するため、ドローン画像を前処理する。
【0012】
S2:データ正規化方法を利用して、各チャンネルのピクセル値範囲を[0,1]に縮小し
、データ強調方法によりドローン画像のサンプルデータを強調処理し、サンプルを8:2
の割合で訓練データセットと検証データセットに分割し、スライドウィンドウによる選択
で、試験データセットを生成するステップと、
(1)強調処理は過剰適合を防止する最も効果的な方法であり、より多くのデータを使用
して訓練し、画像は高次元になり、大きな変化要因が含まれ、画像の幾何的変換によりデ
ータ量を増加し、この方法は主にノイズ、フリッピング、回転、平行移動、トリミング、
ボケを使用してデータを強調処理する、
(2)スライドウィンドウの選択方法は、試験サンプルを畳み込みニューラルネットワー
クモデルに入力した後、畳み込み演算により試験サンプルの境界部分が効果的に分類でき
ず、明らかな矩形状フレームが現れ、スライドウィンドウ方法を使用して試験サンプルを
選択するであり、この方法は、サイズ200×200のウィンドウでドローン画像に対し
て左から右および上から下へ、一定間隔でトリミングすることで試験データセットを取得
し、スライド間隔が大きいまたは小さいとデータの冗長と欠落が発生する可能性があり、
試験した結果、本方法での選択間隔は40であると、上記の矩形状フレーム現象を効果的
に改善しデータの冗長を回避することができる。
【0013】
S3:畳み込み演算の受容野特徴に基づいて、異なるサイズの畳み込みカーネルで画像特
徴を抽出し、機械学習方法を分類器として畳み込みニューラルネットワークのモデルを構
築する、モデルの具体的なパラメータは以下のとおりである:
(1)モデル入力:該畳み込みニューラルネットワークのモデル入力は200×200サ
イズのドローン画像のゴミサンプルと非ゴミサンプルである、
(2)畳み込み演算:畳み込み演算の受容野の特徴に基づいて、本方法は、各層の畳み込
み演算に対してそれぞれ3×3と5×5の畳み込みカーネルサイズの2回畳み込み演算を
実行し、その結果をスプライスし、該畳み込みニューラルネットワークモデルは、それぞ
れ16、32、64、32の特徴チャンネルを使用して4回の畳み込み演算を実行する、
(3)完全結合演算:(2)中の畳み込み演算の結果を平坦化(つまりFlatten)
してから、それぞれニューロンサイズ256、64および2の3回の完全結合操作を実行
する、
(4)モデル分類器:本方法は、機械学習方法ランダムフォレストを畳み込みニューラル
ネットワークの分類器として使用し、グラフ識別モデルとしてのsoftmaxの一般化
能力不足などの問題を解決し、分類精度を向上させる、
S4:畳み込み、プーリング、活性化関数を含む順伝播、損失関数、勾配降下アルゴリズ
ム、正則化を含む逆伝播により、モデルを訓練する、
【0014】
(1)順伝播と逆伝播の具体的な過程は以下のとおりである:
1)畳み込み:畳み込み演算は、入力とカーネル関数の2つの重要なパラメータがあり、
畳み込み演算は、それぞれsameとvalidにより入力を処理し、same方法とは
、入力画像の外層にn層0をラップして、畳み込み後に得られた出力と入力のサイズが同
じになり、valid方法とは入力を変更せず、畳み込み後の出力が入力よりも小さく、
出力のサイズは
であり、ただし、Wは入力画像のサイズであり、Fは畳み込みカーネルのサイズであり、
畳み込みカーネルストライドはSであり、入力画像の外層を充填するための層数はPであ
る。
【0015】
本発明では、異なる畳み込みカーネルの畳み込み結果をスプライスする必要があるため、
畳み込み演算結果のサイズが同じべきであり、same方法を使用する、
2)活性化関数:通常、活性化関数としてSigmoid関数、tanH関数、およびR
eLU関数などを使用し、本発明は、線形整流関数(Rectified Linear
Unit, ReLU)(ReLU=max(0, x))を使用し、x>0の場合、Re
LUは勾配の減衰を維持し、勾配消失の現象を遅く、
3)プーリング:本発明は、最大プーリングを使用して畳み込み後の特徴を圧縮し、パラ
メータのデータ量を顕著に減らし、計算の複雑さが軽減され、特徴が簡素化される、
4)損失関数:モデル出力値と真の値間の差を測定するために、本発明はクロスエントロ
ピー損失関数を使用して、予測値の分布と実際の従属変数の分布が可能な限り一致してい
る場合、クロスエントロピーが最も小さい:
5)勾配降下アルゴリズム:本発明で使用されるパラメータ最適化アルゴリズムはAda
mであり、Adamは、小さなメモリ要件に加え、モデル訓練過程中パラメータに従って
更新され、異なるパラメータに従って学習率を計算することで、異なる手動介入により適
切な学習率を求める;
6)正則化:本発明では、各畳み込み層の後にDropoutとBatchNormal
ization正則項を追加し、モデル訓練過程中に、訓練データセットが十分ではない
場合、過剰適合現象が発生するため、正則項を追加する必要がある。
【0016】
(2)モデル訓練の具体的な過程は以下のとおりである:
1)モデル訓練を通じて、モデルパラメータを決定し、モデル訓練過程中、ガウス分布に
より重みパラメータの初期値を決定する、
2)予測結果とラベルデータに基づいてクロスエントロピー関数を損失関数として定義し
、Adam最適化方法に従って重みを更新し、損失関数値を減らし、ただし、学習率が0
.01であり、運動量が0.9である、
3)過剰適合現象の発生を防止し、各層畳み込み演算の後にDropdoutを追加し、
その拒否率が0.3であり、ネットワークに正則項を追加して早期に終了し、その許容値
は10である、
4)数回繰り返して、検証精度が基本的に変わらないことを確認した後、モデル訓練を停
止し、モデルパラメータを決定する、
S5:訓練後の畳み込みニューラルネットワークモデルを使用して、試験サンプルの各地
域がゴミまたは非ゴミであるかの識別結果を出力する。
【0017】
応用例
中国の甘粛省を例にとると、
図1に示すように、甘粛省のある農村の不規則なゴミのポイ
ント分布図である。
図3に示すサンプルのように、ドローン画像に基づいて、ドローン画像に対して歪み補正
、空中三角暗号化、DOM作成などの前処理を実行し、実際の調査を組み合わせて、ゴミ
点と非ゴミ点画像をそれぞれ100個を選択し、画像強調処理、回転、フリッピング、ノ
イズ増加によりサンプルの数を3倍増やし、600個のサンプルを得、サンプルデータを
8:2の割合で訓練サンプルデータセットと検証サンプルデータセットに分割し、試験デ
ータをスライドウィンドウの選択方法により試験データセットを決定する、
図1に示すように、畳み込み演算に基づいて、異なるサイズの畳み込みカーネルで画像特
徴を抽出し、ランダムフォレスト方法を分類器として使用し、畳み込みニューラルネット
ワークのモデルを構築する。
訓練サンプルと検証サンプルをモデルに入力して訓練を行う。
【0018】
(1)まず、順伝播演算を実行し、それぞれ畳み込みカーネルサイズ3×3と5×5、活
性化関数ReLUの畳み込み演算、および最大プーリング演算を介して、画像特徴を抽出
する、
(2)逆伝播演算を実行し、モデルパラメータを継続的に更新し、循環回数が300回に
達した後、検証精度が基本的に変わらず、86%に達するとき、モデルパラメータを決定
し、訓練過程の分類精度の変化が
図2に示される。
試験サンプルをモデルに入力して計算し、試験サンプルの分類結果を取得し、各地域がゴ
ミまたは非ゴミであるかの識別結果を出力する。