(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2024-12-18
(45)【発行日】2024-12-26
(54)【発明の名称】植物の葉の高精細な識別方法、システム、装置、記憶媒体及びデバイス
(51)【国際特許分類】
G06T 7/00 20170101AFI20241219BHJP
G06V 10/82 20220101ALI20241219BHJP
A01G 7/00 20060101ALI20241219BHJP
【FI】
G06T7/00 350C
G06V10/82
A01G7/00 603
(21)【出願番号】P 2024069019
(22)【出願日】2024-04-22
【審査請求日】2024-04-22
(31)【優先権主張番号】202311288015.8
(32)【優先日】2023-10-08
(33)【優先権主張国・地域又は機関】CN
【早期審査対象出願】
(73)【特許権者】
【識別番号】521162399
【氏名又は名称】之江実験室
(73)【特許権者】
【識別番号】524155448
【氏名又は名称】中国科学院東北地理与農業生態研究所
【氏名又は名称原語表記】Northeast Institute of Geography and Agroecology, Chinese Academy of Sciences
(74)【代理人】
【識別番号】110000729
【氏名又は名称】弁理士法人ユニアス国際特許事務所
(72)【発明者】
【氏名】章 依依
(72)【発明者】
【氏名】徐 暁剛
(72)【発明者】
【氏名】王 軍
(72)【発明者】
【氏名】李 蕭縁
(72)【発明者】
【氏名】衛 思迪
(72)【発明者】
【氏名】何 鵬飛
(72)【発明者】
【氏名】曹 衛強
(72)【発明者】
【氏名】張 耀華
(72)【発明者】
【氏名】馬 寅星
(72)【発明者】
【氏名】陳 家杰
【審査官】鈴木 圭一郎
(56)【参考文献】
【文献】特開2023-092185(JP,A)
【文献】特開2023-008416(JP,A)
【文献】中国特許出願公開第110634103(CN,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 7/00
G06V 10/82
A01G 7/00
(57)【特許請求の範囲】
【請求項1】
高精細な葉の分類データセットを構築し、8:2に従って前記高精細な葉の分類データセットを訓練セットとテストセットとに分けるステップS1と、
前記訓練セットの各葉の画像について、当該葉の画像のサイズを224×224にスケーリングして原画像とし、同じサイズのN×N個の小ブロックに分割し、(N×N)/2個の小ブロックをランダムに選択してマスキングし、前記原画像に対応するマスク画像を生成するステップS2と、
前記原画像と前記マスク画像をペアで特徴抽出ネットワークモデルに入力し、原画像とマスク画像の特徴マップ{Μ,φ(Μ)}を得るステップS3であって、Μは原画像の特徴マップを表し、φ(Μ)はマスク画像の特徴マップを表す、ステップS3と、
前記原画像とマスク画像の特徴マップ{Μ,φ(Μ)}を平均プーリングして分類層に入力し、前記原画像とマスク画像の特徴マップ{Μ,φ(Μ)}に対する分類結果を得て、真のラベルを用いて分類損失関数の計算を行うステップS4と、
前記原画像とマスク画像の特徴マップ{Μ,φ(Μ)}を平均プーリングして敵対的ネットワークに入力し、前記原画像とマスク画像の特徴マップ{Μ,φ(Μ)}に対する二項分類結果を得て、真のラベルを用いて敵対的損失関数の計算を行うステップS5と、
前記マスク画像の特徴マップφ(Μ)を自己符号化ネットワークモジュールに入力して画像の画素復元を行い、復元画像を得、前記復元画像と前記原画像とのマスク位置の画素の類似度を自己教師あり損失関数として計算するステップS6と、
前記分類損失関数と、前記敵対的損失関数と、前記自己教師あり損失関数との重み付け和を求めて総合損失関数を得、前記総合損失関数を最小化することを目的としてネットワーク全体を訓練するステップであって、前記ネットワーク全体は、少なくとも前記特徴抽出ネットワークモデル、前記分類層、前記敵対的ネットワーク、及び前記自己符号化ネットワークモジュールを含む、ステップS7と、
前記テストセットの画像を、訓練済みの特徴抽出ネットワークモデル及び分類層に入力して分類の予測を行い、予測されたラベル分布に基づいて画像のカテゴリを決定するステップS8と、を含む植物の葉の高精細な識別方法であって、
ここで、ステップS6は、
前記マスク画像の特徴マップφ(Μ)を4層の転置畳み込みネットワークで構成される自己符号化ネットワークモジュールに入力して画像の画素復元を行い、復元画像Z’を得るステップであって、前記復元画像Z’のサイズと前記原画像Zのサイズはいずれも224×224である、ステップと、
前記復元画像Z’と前記原画像Zとのマスク位置の画素の類似度を自己教師あり損失関数として計算するステップであって、前記自己教師あり損失関数の計算は、
【数1】
であり、L
sslは自己教師あり損失関数を表し、nはマスク位置の画素の総数を表し、Ζ
iは原画像Ζのi番目のマスク位置の画素値を表し、
【数2】
は復元マップZ’のi番目のマスク位置の画素値を表す、ステップと、を含む、
ことを特徴とする植物の葉の高精細な識別方法。
【請求項2】
ステップS2のN=14である、
ことを特徴とする請求項1に記載の植物の葉の高精細な識別方法。
【請求項3】
ステップS3は、
ImageNetデータセットで予め訓練された畳み込みネットワークモデルResNet50をダウンロードして、前記特徴抽出ネットワークモデルとして使用し、前記原画像と前記マスク画像をペアで特徴抽出ネットワークモデルに入力し、最終層の畳み込みネットワークによって出力された前記原画像とマスク画像の特徴マップ{Μ,φ(Μ)}を得るステップであって、特徴マップのサイズはいずれも14×14である、ステップを含む、
ことを特徴とする請求項1に記載の植物の葉の高精細な識別方法。
【請求項4】
ステップS4は、
前記原画像とマスク画像の特徴マップ{Μ,φ(Μ)}を平均プーリングして原画像とマスク画像の特徴ベクトル{Ι,φ(Ι)}を得るステップであって、Ιは原画像の特徴ベクトルを表し、φ(Ι)はマスク画像の特徴ベクトルを表し、特徴ベクトルの次元はいずれも2048である、ステップと、
前記原画像とマスク画像の特徴ベクトル{Ι,φ(Ι)}を、2048×107の全結合ネットワークからなる分類層C(・)に入力し、前記分類層C(・)によって出力された分類結果を得て、真のラベルlを用いて分類損失関数の計算を行うステップであって、前記分類損失関数の計算は、
【数3】
であり、L
clsは分類損失関数である、
ことを特徴とする請求項1に記載の植物の葉の高精細な識別方法。
【請求項5】
ステップS5は、
前記原画像とマスク画像の特徴マップ{Μ,φ(Μ)}を平均プーリングして原画像とマスク画像の特徴ベクトル{Ι,φ(Ι)}を得るステップであって、Ιは原画像の特徴ベクトルを表し、φ(Ι)はマスク画像の特徴ベクトルを表し、特徴ベクトルの次元はいずれも2048である、ステップと、
前記原画像とマスク画像の特徴ベクトル{Ι,φ(Ι)}を、2048×2の全結合ネットワークからなる敵対的ネットワークD(・)に入力し、前記敵対的ネットワークD(・)によって出力された二項分類結果を得て、ワンホットエンコーディングされた真のラベルd∈{0,1}
2を用いて敵対的損失関数の計算を行うステップであって、前記敵対的損失関数の計算は、
【数4】
であり、L
advは敵対的損失関数であり、1は(1,1)のベクトルであり、原画像の真のラベルdは(1,0)であり、マスク画像の真のラベルdは(0,1)である、
ことを特徴とする請求項1に記載の植物の葉の高精細な識別方法。
【請求項6】
ステップS7は、
前記分類損失関数と、前記敵対的損失関数と、前記自己教師あり損失関数との重み付け和を求めて総合損失関数を得、前記総合損失関数を最小化することを目的としてネットワーク全体を訓練するステップであって、前記総合損失関数の計算は、
【数5】
であり、Lは総合損失関数であり、L
clsは分類損失関数であり、L
advは敵対的損失関数であり、α、β、γはそれぞれ分類損失関数L
cls、敵対的損失関数L
adv、自己教師あり損失関数L
sslに対応する重みであり、α=1、β=1、γ=0.8である、
ことを特徴とする請求項1に記載の植物の葉の高精細な識別方法。
【請求項7】
前記ネットワーク全体の訓練は、Adamオプティマイザを用いて行われ、バッチサイズbatch sizeは32に設定され、その初期学習率は0.02であり、訓練エポックepochが[80,120]にあるとき、現在の学習率に0.1が掛けられ、訓練エポックepochが150回に達したとき、訓練が停止される、
ことを特徴とする請求項6に記載の植物の葉の高精細な識別方法。
【請求項8】
高精細な葉の分類データセットを構築し、8:2に従って前記高精細な葉の分類データセットを訓練セットとテストセットとに分けるように構成される高精細な葉の分類データセット構築モジュールと、
前記訓練セットの各葉の画像について、当該葉の画像のサイズを224×224にスケーリングして原画像とし、同じサイズのN×N個の小ブロックに分割し、(N×N)/2個の小ブロックをランダムに選択してマスキングし、前記原画像に対応するマスク画像を生成するように構成されるマスク画像生成モジュールと、
前記原画像と前記マスク画像をペアで特徴抽出ネットワークモデルに入力し、原画像とマスク画像の特徴マップ{Μ,φ(Μ)}を得るように構成される特徴マップ取得モジュールであって、Μは原画像の特徴マップを表し、φ(Μ)はマスク画像の特徴マップを表す、特徴マップ取得モジュールと、
前記原画像とマスク画像の特徴マップ{Μ,φ(Μ)}を平均プーリングして分類層に入力し、前記原画像とマスク画像の特徴マップ{Μ,φ(Μ)}に対する分類結果を得て、真のラベルを用いて分類損失関数の計算を行うように構成される分類モジュールと、
前記原画像とマスク画像の特徴マップ{Μ,φ(Μ)}を平均プーリングして敵対的ネットワークに入力し、前記原画像とマスク画像の特徴マップ{Μ,φ(Μ)}に対する二項分類結果を得て、真のラベルを用いて敵対的損失関数の計算を行うように構成される二項分類モジュールと、
前記マスク画像の特徴マップφ(Μ)を自己符号化ネットワークモジュールに入力して画像の画素復元を行い、復元画像を得、前記復元画像と前記原画像とのマスク位置の画素の類似度を自己教師あり損失関数として計算するように構成される類似度計算モジュールと、
前記分類損失関数と、前記敵対的損失関数と、前記自己教師あり損失関数との重み付け和を求めて総合損失関数を得、前記総合損失関数を最小化することを目的としてネットワーク全体を訓練するように構成される重み付け融合モジュールであって、前記ネットワーク全体は、少なくとも前記特徴抽出ネットワークモデル、前記分類層、前記敵対的ネットワーク、及び前記自己符号化ネットワークモジュールを含む、重み付け融合モジュールと、
前記テストセットの画像を、訓練済みの特徴抽出ネットワークモデル及び分類層に入力して分類の予測を行い、予測されたラベル分布に基づいて画像のカテゴリを決定するように構成される推論モジュールと、を含む植物の葉の高精細な識別システムであって、
ここで、前記類似度計算モジュールは、具体的に、
前記マスク画像の特徴マップφ(Μ)を4層の転置畳み込みネットワークで構成される自己符号化ネットワークモジュールに入力して画像の画素復元を行い、復元画像Z’を得、
前記復元画像Z’と前記原画像Zとのマスク位置の画素の類似度を自己教師あり損失関数として計算するように構成され、
前記復元画像Z’のサイズと前記原画像Zのサイズはいずれも224×224であり、
前記自己教師あり損失関数の計算は、
【数6】
であり、L
sslは自己教師あり損失関数を表し、nはマスク位置の画素の総数を表し、Ζ
iは原画像Ζのi番目のマスク位置の画素値を表し、
【数7】
は復元マップZ’のi番目のマスク位置の画素値を表す、
ことを特徴とする植物の葉の高精細な識別システム。
【請求項9】
メモリと、少なくとも1つのプロセッサとを含む植物の葉の高精細な識別装置であって、前記メモリは、機械実行可能な命令を記憶しており、前記少なくとも1つのプロセッサが、前記機械実行可能な命令を実行すると、請求項1~7のいずれか1項に記載の植物の葉の高精細な識別方法を実施する、
ことを特徴とする植物の葉の高精細な識別装置。
【請求項10】
プログラムを記憶しているコンピュータ可読記憶媒体であって、当該プログラムがプロセッサによって実行されると、請求項1~7のいずれか1項に記載の植物の葉の高精細な識別方法が実施される、
ことを特徴とするコンピュータ可読記憶媒体。
【請求項11】
メモリと、プロセッサとを含むコンピュータデバイスであって、前記メモリは、機械実行可能な命令を記憶しており、前記プロセッサが、前記機械実行可能な命令を実行すると、請求項1~7のいずれか1項に記載の植物の葉の高精細な識別方法を実施する、
ことを特徴とするコンピュータデバイス。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、コンピュータビジョン識別の技術分野に関し、特に、植物の葉の高精細な識別方法、システム、装置、記憶媒体及びデバイスに関する。
【背景技術】
【0002】
植物は私たちに酸素や食料を供給するだけでなく、高い薬効もある。しかし、多くの植物種が人間の介入によって絶滅の危機に瀕している。信頼性が高く効率的な植物品種の識別は、植物育種家の遺伝資源に対する財産権保護と革新を促進することができる。現在、多くの研究者が植物の自動識別法について積極的に研究を始めている。この研究は植物学者にとって役に立つだけでなく、一般の人々にとっても大きな価値がある。ほとんどの場合、人々は様々な植物の価値を知っているが、それらを識別することができず、その結果、新種や希少種をタイムリーに保護することができない。植物を葉や花、その他の部分から識別する研究が行われてきた。その中で、葉は一年中入手可能であり、植物の最も安定した主要器官のひとつであるため、最も信頼できる情報源であると広く考えられている。このため、葉は植物の「指紋」とも呼ばれている。しかし、専門知識が必要な上、植物研究所で植物の葉を分析するのは高価で時間のかかる作業である。この問題を解決するために、多くのコンピュータビジョン研究者は、葉の画像を、植物の種類を識別するツールとして使用している。
【0003】
過去数十年間、葉の画像の特徴を抽出することによって植物種の識別を行う多くの手法が用いられてきた。これらの手法は、主に伝統的な手作業による方法と深層学習による方法に分類することができる。伝統的な手作業による方法では、葉の形状、テクスチャ、葉脈、色などの葉の視覚的特徴が、植物種を識別する手がかりとして手作業で抽出される。一方、深層学習による方法では、葉の画像を訓練サンプルとして使用し、葉の画像の元の表現から直接判別特徴を学習する。植物の葉に含まれる豊富な情報に注目する研究者や学者が増える中、人工知能は植物の葉の知的分類に応用されている。深層学習による方法は、植物種識別のためのエンドツーエンド学習において、葉の特徴を自動的に抽出し、多くの成果を上げている。従来の手作業による方法と比較して、深層学習による方法は完全にデータ駆動であるため、十分な訓練データが利用可能な場合、一般的に判別特徴を捉える可能性が高い。
【0004】
葉の画像に基づく方法は植物種の識別に広く使われているが、系統間の葉の類似性が高いため、植物種の識別にはまだ大きな課題がある。植物の葉は系統間の差異が小さく、系統内の差異が大きいため、植物種の分類モデルの使用は効果が出ないことが多く、高精細な分類の性能の向上が求められている。
【発明の概要】
【0005】
従来技術の欠点を解決し、推論速度の保証を前提として、高精細な識別の性能を向上させるために、本発明は、植物の葉の高精細な識別方法、システム、装置、記憶媒体及びデバイスを提案する。具体的な技術的解決手段は以下の通りである。
【0006】
本発明の第1の態様によれば、
高精細な葉の分類データセットを構築し、8:2に従って前記高精細な葉の分類データセットを訓練セットとテストセットとに分けるステップS1と、
前記訓練セットの各葉の画像について、当該葉の画像のサイズを224×224にスケーリングして原画像とし、同じサイズのN×N個の小ブロックに分割し、(N×N)/2個の小ブロックをランダムに選択してマスキングし、前記原画像に対応するマスク画像を生成するステップS2と、
前記原画像と前記マスク画像をペアで特徴抽出ネットワークモデルに入力し、原画像とマスク画像の特徴マップ{Μ,φ(Μ)}を得るステップS3であって、Μは原画像の特徴マップを表し、φ(Μ)はマスク画像の特徴マップを表す、ステップS3と、
前記原画像とマスク画像の特徴マップ{Μ,φ(Μ)}を平均プーリングして分類層に入力し、前記原画像とマスク画像の特徴マップ{Μ,φ(Μ)}に対する分類結果を得て、真のラベルを用いて分類損失関数の計算を行うステップS4と、
前記原画像とマスク画像の特徴マップ{Μ,φ(Μ)}を平均プーリングして敵対的ネットワークに入力し、前記原画像とマスク画像の特徴マップ{Μ,φ(Μ)}に対する二項分類結果を得て、真のラベルを用いて敵対的損失関数の計算を行うステップS5と、
前記マスク画像の特徴マップφ(Μ)を自己符号化ネットワークモジュールに入力して画像の画素復元を行い、復元画像を得、前記復元画像と前記原画像とのマスク位置の画素の類似度を自己教師あり損失関数として計算するステップS6と、
前記分類損失関数と、前記敵対的損失関数と、前記自己教師あり損失関数との重み付け和を求めて総合損失関数を得、前記総合損失関数を最小化することを目的としてネットワーク全体を訓練するステップであって、前記ネットワーク全体は、少なくとも前記特徴抽出ネットワークモデル、前記分類層、前記敵対的ネットワーク、及び前記自己符号化ネットワークモジュールを含む、ステップS7と、
前記テストセットの画像を、訓練済みの特徴抽出ネットワークモデル及び分類層に入力して分類の予測を行い、予測されたラベル分布に基づいて画像のカテゴリを決定するステップS8と、を含む植物の葉の高精細な識別方法であって、
ここで、ステップS6は、
前記マスク画像の特徴マップφ(Μ)を4層の転置畳み込みネットワークで構成される自己符号化ネットワークモジュールに入力して画像の画素復元を行い、復元画像Z’を得るステップであって、前記復元画像Z’のサイズと前記原画像Zのサイズはいずれも224×224である、ステップと、
前記復元画像Z’と前記原画像Zとのマスク位置の画素の類似度を自己教師あり損失関数として計算するステップであって、前記自己教師あり損失関数の計算は、
【数1】
であり、L
sslは自己教師あり損失関数を表し、nはマスク位置の画素の総数を表し、Ζ
iは原画像Ζのi番目のマスク位置の画素値を表し、
【数2】
は復元マップZ’のi番目のマスク位置の画素値を表す、ステップと、を含む、
植物の葉の高精細な識別方法が提供される。
【0007】
本発明の第2の態様によれば、
高精細な葉の分類データセットを構築し、8:2に従って前記高精細な葉の分類データセットを訓練セットとテストセットとに分けるように構成される高精細な葉の分類データセット構築モジュールと、
前記訓練セットの各葉の画像について、当該葉の画像のサイズを224×224にスケーリングして原画像とし、同じサイズのN×N個の小ブロックに分割し、(N×N)/2個の小ブロックをランダムに選択してマスキングし、前記原画像に対応するマスク画像を生成するように構成されるマスク画像生成モジュールと、
前記原画像と前記マスク画像をペアで特徴抽出ネットワークモデルに入力し、原画像とマスク画像の特徴マップ{Μ,φ(Μ)}を得るように構成される特徴マップ取得モジュールであって、Μは原画像の特徴マップを表し、φ(Μ)はマスク画像の特徴マップを表す、特徴マップ取得モジュールと、
前記原画像とマスク画像の特徴マップ{Μ,φ(Μ)}を平均プーリングして分類層に入力し、前記原画像とマスク画像の特徴マップ{Μ,φ(Μ)}に対する分類結果を得て、真のラベルを用いて分類損失関数の計算を行うように構成される分類モジュールと、
前記原画像とマスク画像の特徴マップ{Μ,φ(Μ)}を平均プーリングして敵対的ネットワークに入力し、前記原画像とマスク画像の特徴マップ{Μ,φ(Μ)}に対する二項分類結果を得て、真のラベルを用いて敵対的損失関数の計算を行うように構成される二項分類モジュールと、
前記マスク画像の特徴マップφ(Μ)を自己符号化ネットワークモジュールに入力して画像の画素復元を行い、復元画像を得、前記復元画像と前記原画像とのマスク位置の画素の類似度を自己教師あり損失関数として計算するように構成される類似度計算モジュールと、
前記分類損失関数と、前記敵対的損失関数と、前記自己教師あり損失関数との重み付け和を求めて総合損失関数を得、前記総合損失関数を最小化することを目的としてネットワーク全体を訓練するように構成される重み付け融合モジュールであって、前記ネットワーク全体は、少なくとも前記特徴抽出ネットワークモデル、前記分類層、前記敵対的ネットワーク、及び前記自己符号化ネットワークモジュールを含む、重み付け融合モジュールと、
前記テストセットの画像を、訓練済みの特徴抽出ネットワークモデル及び分類層に入力して分類の予測を行い、予測されたラベル分布に基づいて画像のカテゴリを決定するように構成される推論モジュールと、を含む植物の葉の高精細な識別システムであって、
ここで、前記類似度計算モジュールは、具体的に、
前記マスク画像の特徴マップφ(Μ)を4層の転置畳み込みネットワークで構成される自己符号化ネットワークモジュールに入力して画像の画素復元を行い、復元画像Z’を得、
前記復元画像Z’と前記原画像Zとのマスク位置の画素の類似度を自己教師あり損失関数として計算するように構成され、
前記復元画像Z’のサイズと前記原画像Zのサイズはいずれも224×224であり、
前記自己教師あり損失関数の計算は、
【数3】
であり、L
sslは自己教師あり損失関数を表し、nはマスク位置の画素の総数を表し、Ζ
iは原画像Ζのi番目のマスク位置の画素値を表し、
【数4】
は復元マップZ’のi番目のマスク位置の画素値を表す、
植物の葉の高精細な識別システムが提供される。
【0008】
本発明の第3の態様によれば、メモリと、少なくとも1つのプロセッサとを含む植物の葉の高精細な識別装置であって、前記メモリは、機械実行可能な命令を記憶しており、前記少なくとも1つのプロセッサが、前記機械実行可能な命令を実行すると、第1の態様に記載の植物の葉の高精細な識別方法を実施する、植物の葉の高精細な識別装置が提供される。
【0009】
本発明の第4の態様によれば、プログラムを記憶しているコンピュータ可読記憶媒体であって、当該プログラムがプロセッサによって実行されると、第1の態様に記載の植物の葉の高精細な識別方法が実施される、コンピュータ可読記憶媒体が提供される。
【0010】
本発明の第5の態様によれば、メモリと、プロセッサとを含むコンピュータデバイスであって、前記メモリは、機械実行可能な命令を記憶しており、前記プロセッサが、前記機械実行可能な命令を実行すると、第1の態様に記載の植物の葉の高精細な識別方法を実施する、コンピュータデバイスが提供される。
【0011】
本発明の利点と有益な効果は以下の通りである。
【0012】
自己符号化ネットワークモジュールにより、ネットワークは、マスクされた葉の画像を元の画像に復元する方法を学習することができる。復元を学習する過程で、ネットワークは、テクスチャ、葉脈、色などの連続性特徴など、小ブロック間の葉の関連情報に注目することを学習しなければならない。従って、このモジュールにより、特徴抽出ネットワークがミクロレベルの葉の特徴に注目し、より豊かな葉の局所情報を捉えることができる。
【0013】
強調画像(すなわち、以降のマスク画像)は、葉のテクスチャや葉脈のような局所的な詳細情報にモデルがより注目することを可能にする一方で、モデルに若干のノイズ干渉を加える。つまり、実際のデータ分布とは異なる。本発明では、原画像と強調画像を識別するための敵対的損失関数を設計し、分類損失と敵対的な相互共存を形成することで、強調データへの分類モデルのオーバーフィッティングを防ぐ。
【0014】
原画像は葉の形状情報や葉の全体的な特徴を保持し、強調画像は葉の局所的な詳細情報を捉え、全体的な特徴と局所的な特徴を統合することで、葉の高精細な特徴抽出における現在の分類ネットワークの欠点を十分に補っている。この方法は、既存の大豆の葉の高精細な分類データセットにおいて90.6%の識別精度を達成することができ、その先進性と実用性が示された。
【図面の簡単な説明】
【0015】
【
図1】本発明のネットワークアーキテクチャ図である。
【
図2】本発明における訓練段階のフローチャートである。
【
図3a】本発明のアルゴリズムにおける原画像、マスク画像、及び復元画像のサンプル例である。
【
図3b】本発明のアルゴリズムにおける原画像、マスク画像、及び復元画像のサンプル例である。
【
図3c】本発明のアルゴリズムにおける原画像、マスク画像、及び復元画像のサンプル例である。
【発明を実施するための形態】
【0016】
以下、本発明の具体的な実施形態を添付図面と併せて詳細に説明する。ここで説明する具体的な実施形態は、本発明を例示し説明することのみを意図したものであり、本発明を限定することを意図するものではないことを理解されたい。
【0017】
図1~2に示すように、本発明は、以下のステップ1~8を含む、植物の葉の高精細な(Fine-grained)識別方法を提供する。
【0018】
ステップ1:高精細な葉の分類データセットを構築し、8:2に従って高精細な葉の分類データセットを訓練セットとテストセットとに分ける。
【0019】
例示的に、中国東北部の大豆の葉の画像を収集し、具体的に、107品種の大豆を各品種30枚ずつ、合計3210枚の画像データを収集した。
【0020】
ステップ2:訓練セットの各葉の画像について、当該葉の画像のサイズを224×224にスケーリングして原画像とし、同じサイズのN×N個の小ブロックに分割し、(N×N)/2個の小ブロックをランダムに選択してマスキングし、原画像に対応するマスク画像を生成する。例示的に、N=14である。
【0021】
ImageNetデータセットで予め訓練された畳み込みネットワークモデルResNet50をダウンロードして、特徴抽出ネットワークモデルとして使用し、原画像とマスク画像をペアで特徴抽出ネットワークモデルに入力し、特徴抽出ネットワークモデルの最終層の畳み込みネットワークによって出力された原画像とマスク画像の特徴マップ{Μ,φ(Μ)}を得る。Μは原画像の特徴マップを表し、φ(Μ)はマスク画像の特徴マップを表し、特徴マップのサイズはいずれも14×14である。原画像とマスク画像の特徴マップ{Μ,φ(Μ)}を平均プーリングして原画像とマスク画像の特徴ベクトル{Ι,φ(Ι)}を得る。Ιは原画像の特徴ベクトルを表し、φ(Ι)はマスク画像の特徴ベクトルを表し、特徴ベクトルの次元はいずれも2048である。
【0022】
一実施形態では、原画像とマスク画像の特徴マップ{Μ,φ(Μ)}を平均プーリングする操作は、以下のステップ4と5で実行されてもよい。
【0023】
ステップ4:原画像とマスク画像の特徴ベクトル{Ι,φ(Ι)}を、2048×107の全結合ネットワークからなる分類層C(・)に入力し、分類層C(・)によって出力された分類結果を得て、真のラベルlを用いて分類損失関数の計算を行う。分類損失関数の計算は、
【数5】
であり、L
clsは分類損失関数である。
【0024】
ステップ5:原画像とマスク画像の特徴ベクトル{Ι,φ(Ι)}を、2048×2の全結合ネットワークからなる敵対的ネットワークD(・)に入力し、敵対的ネットワークD(・)によって出力された二項分類結果を得て、ワンホット(One-Hot)エンコーディングされた真のラベルd∈{0,1}
2を用いて敵対的損失関数の計算を行う。ここで、敵対的ネットワークは、敵対的生成ネットワーク(Generative Adversarial Network)から生成器を取り除いた後に残るものに似ている。敵対的ネットワークは、原画像とマスク画像の特徴ベクトル{Ι,φ(Ι)}に対する二項分類結果を出力し、敵対的損失関数を計算するために用いられる。敵対的損失関数の計算は、
【数6】
であり、L
advは敵対的損失関数であり、1は(1,1)のベクトルであり、原画像の真のラベルdは(1,0)であり、マスク画像の真のラベルdは(0,1)である。
【0025】
ステップ6:マスク画像の特徴マップφ(Μ)を4層の転置畳み込みネットワークで構成される自己符号化ネットワークモジュールに入力して画像の画素復元を行い、復元画像Z’を出力し、復元画像Z’のサイズと原画像Zのサイズはいずれも224×224であり、復元画像Z’と原画像Zとのマスク位置の画素の類似度を自己教師あり損失関数として計算する。本実施形態では、平均二乗損失関数を使用し、自己教師あり損失関数の計算は、
【数7】
であり、L
sslは自己教師あり損失関数を表し、nはマスク位置の画素の総数を表し、Ζ
iは原画像Ζのi番目のマスク位置の画素値を表し、
【数8】
は復元マップZ’のi番目のマスク位置の画素値を表す。
【0026】
ステップ7:分類損失関数と、敵対的損失関数と、自己教師あり損失関数との重み付け和を求めて総合損失関数を得、総合損失関数を最小化することを目的として、少なくとも特徴抽出ネットワークモデル、分類層、敵対的ネットワーク、及び自己符号化ネットワークモジュールを含むネットワーク全体を訓練する。総合損失関数の計算は、
【数9】
であり、Lは総合損失関数であり、α、β、γはそれぞれ分類損失関数L
cls、敵対的損失関数L
adv、自己教師あり損失関数L
sslに対応する重みである。例示的に、α=1、β=1、γ=0.8である。
【0027】
ステップ8:テストセットの画像を、訓練済みの特徴抽出ネットワークモデル及び分類層に入力して分類の予測を行い、予測されたラベル分布に基づいて画像のカテゴリを決定する。
【0028】
本実施形態では、訓練はAdamオプティマイザ(Adam Optimizer)を用いて行われ、バッチサイズbatch sizeは32に設定され、その初期学習率は0.02であり、訓練エポックepochが[80,120]にあるとき、現在の学習率に0.1が掛けられ、訓練エポックepochが150回に達したとき、訓練が停止される。これは、シングルGPUサーバーA100を使用することで実現できる。
【0029】
本発明では、高精細な画像クラス間の差異が小さい場合、自己教師ありタスクではモデルを葉の局所的な連続特徴(テクスチャ、葉脈)に注目させ、教師ありタスクではモデルを葉の元の形状情報や全体的な特徴に注目させる。全体的な特徴と局所的な特徴を統合することで、葉の高精細な特徴抽出における現在の分類ネットワークの欠点を十分に補っている。さらに、分類モデルを実際のテストデータに偏ったものにするため、原画像と強調画像を識別するための敵対的損失関数を使用する。この方法は、既存の大豆の葉の高精細な分類データセットにおいて90.6%の識別精度を達成することができ、その先進性と実用性が示された。
【0030】
上述の実施形態は、本発明の技術的解決手段を説明するためのものに過ぎず、限定するものではない。本発明は、前述の実施形態を参照して詳細に説明されたが、当業者であれば、前述の実施形態に記載された技術的解決手段を変更したり、その中の技術的特徴の一部または全部を等価に置き換えたりすることは可能であり、そのような修正または置き換えは、対応する技術的解決手段の本質を本発明の実施形態の技術的解決手段の範囲から外すものではないことを理解すべきである。
【要約】 (修正有)
【課題】植物の葉の高精細な識別方法、システム、装置、記憶媒体及びデバイスを提供する
【解決手段】方法は、植物の葉の画像をまずランダムにマスキングして強調画像を得、原画像とペアで特徴抽出ネットワークモデルに入力し、特徴ベクトルを得る。原画像の特徴ベクトルとマスク画像の特徴ベクトルを分類ネットワーク層に入力して品種識別を行い、原画像の特徴ベクトルとマスク画像の特徴ベクトルを、敵対的ネットワーク層に入力して二項分類識別を行い、マスク画像の特徴ベクトルを、自己符号化ネットワークモジュールに入力して画像復元の自己教師あり学習に、3つのタスクの損失関数を用いる。自己教師ありタスクでは、マスク画像が画素復元の学習により、特徴抽出ネットワークを葉の局所的な特徴(テクスチャ、葉脈)に注目させる一方、原画像が品種識別タスクにおいて、特徴抽出ネットワークを葉の元の形状情報や全体的な特徴に注目させる。
【選択図】
図2