特開2024-117069背景フィルタリングに基づく少量データ学習の作物樹冠被覆率の計算方法および装置
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024117069
(43)【公開日】2024-08-28
(54)【発明の名称】背景フィルタリングに基づく少量データ学習の作物樹冠被覆率の計算方法および装置
(51)【国際特許分類】
G06T 7/00 20170101AFI20240821BHJP
G06T 7/90 20170101ALI20240821BHJP
G06T 7/194 20170101ALI20240821BHJP
【ＦＩ】
G06T7/00 640
G06T7/00 350C
G06T7/90 A
G06T7/194
【審査請求】有
【請求項の数】3
【出願形態】ＯＬ
(21)【出願番号】P 2024011391
(22)【出願日】2024-01-30
(11)【特許番号】
(45)【特許公報発行日】2024-03-15
(31)【優先権主張番号】202310122727.6
(32)【優先日】2023-02-16
(33)【優先権主張国・地域又は機関】CN
(71)【出願人】
【識別番号】521162399
【氏名又は名称】之江実験室
(74)【代理人】
【識別番号】110000729
【氏名又は名称】弁理士法人ユニアス国際特許事務所
(72)【発明者】
【氏名】張 文広
(72)【発明者】
【氏名】王 軍
(72)【発明者】
【氏名】徐 曉剛
(72)【発明者】
【氏名】馬 寅星
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096AA02
5L096AA06
5L096CA02
5L096DA02
5L096FA19
5L096GA10
5L096GA40
5L096HA11
5L096JA05
5L096JA11
(57)【要約】 （修正有）
【課題】高精度で、ラベル付けコストが非常に低く、作物樹冠被覆率の計算に汎用性がある背景フィルタリングに基づく少量データ学習の作物樹冠被覆率の計算方法および計算装置を提供する。
【解決手段】方法は、ＵＡＶを用いて、計算すべき現場の俯瞰ＲＧＢ画像データを取得し、前記画像データに基づいてサポートデータセットとクエリデータセットを構築するステップＳ１と、背景分割ネットワークモデルを構築して訓練するステップＳ２と、訓練して得られた背景分割ネットワークモデルに基づいて推論を行い、緑の特徴指数を組み合わせて背景指数マップを得るステップＳ３と、少量データ分割ネットワークモデルを構築して訓練するステップＳ４と、訓練して得られた少量データ分割ネットワークモデルに基づいて推論を行い、背景指数マップを組み合わせて作物樹冠被覆領域を得、樹冠被覆領域に基づいて樹冠被覆率を算出するステップＳ５と、を含む。
【選択図】図１
【解決手段】方法は、ＵＡＶを用いて、計算すべき現場の俯瞰ＲＧＢ画像データを取得し、前記画像データに基づいてサポートデータセットとクエリデータセットを構築するステップＳ１と、背景分割ネットワークモデルを構築して訓練するステップＳ２と、訓練して得られた背景分割ネットワークモデルに基づいて推論を行い、緑の特徴指数を組み合わせて背景指数マップを得るステップＳ３と、少量データ分割ネットワークモデルを構築して訓練するステップＳ４と、訓練して得られた少量データ分割ネットワークモデルに基づいて推論を行い、背景指数マップを組み合わせて作物樹冠被覆領域を得、樹冠被覆領域に基づいて樹冠被覆率を算出するステップＳ５と、を含む。
【選択図】図１
【特許請求の範囲】
【請求項1】
ＵＡＶを用いて、計算すべき現場の俯瞰ＲＧＢ画像データを取得し、取得された画像データに基づいてサポートデータセットとクエリデータセットを構築するステップＳ１と、
背景分割ネットワークモデルを構築し、雑草、土地、および道路を含む既知の背景目標を目標クラスとして設定し、既知の作物を背景クラスとして設定して、前記背景分割ネットワークモデルを訓練するステップＳ２と、
訓練して得られた背景分割ネットワークモデルに基づいて推論を行い、樹冠被覆率を算出すべきクエリ画像内の目標領域の分割信頼度マップを取得し、前記クエリ画像の緑の特徴指数を抽出し、分割信頼度と前記緑の特徴指数とを重ねて背景指数マップを得、前記背景指数マップに基づいて前記クエリ画像内の背景領域と前景領域とを取得するステップＳ３と、
少量データ分割ネットワークモデルを構築し、既知の作物を目標クラスとして設定し、他の領域を背景クラスとして設定して、前記少量データ分割ネットワークモデルを訓練するステップＳ４と、
訓練して得られた少量データ分割ネットワークモデルに基づいて推論を行い、前記サポートデータセットにおけるサポート画像と、前記樹冠被覆率を算出すべきクエリ画像とをそれぞれ前記少量データ分割ネットワークモデルに入力して分類予測マップを得、予測信頼度が所定の閾値より大きい領域を目標領域とし、当該目標領域のうち前記前景領域と重なる部分を作物樹冠被覆領域とし、当該樹冠被覆領域に基づいて樹冠被覆率を算出するステップＳ５と、を含み、
前記ステップＳ１は、
現場に巡航ポイントを設定し、巡航ポイントと飛行高度を固定し、可視光カメラを搭載したＵＡＶで現場のＲＧＢ可視光画像を取得するステップと、
ＵＡＶによって取得された画像データを照合し、数枚の代表的な画像をサポートデータセットとして選択して作物樹冠の画素領域をラベル付けし、残りの画像をラベル付けされていないクエリ画像とするステップと、を含み、
前記ステップＳ２は、完全畳み込みニューラルネットワーク（ＦＣＮ）に基づいて背景分割ネットワークモデルを構築し、雑草、土地、および道路をそれぞれ目標クラス０、目標クラス１、および目標クラス２として設定し、それ以外の領域を他クラス３として設定し、既知の公開データセットを用いて前記背景分割ネットワークモデルを訓練するステップを含み、
前記ステップＳ３における、訓練して得られた背景分割ネットワークモデルに基づいて推論を行い、樹冠被覆率を算出すべきクエリ画像内の目標領域の分割信頼度マップを取得し、前記クエリ画像の緑の特徴指数を抽出するステップは、
前記樹冠被覆率を算出すべきクエリ画像を訓練済みの背景分割ネットワークモデルに入力して、目標クラス０、目標クラス１、目標クラス２、他クラス３の４つの領域を表現するための分割信頼度マップを得、前記クエリ画像の緑の特徴指数を計算して緑の特徴指数マップを得るステップを含み、
前記緑の特徴指数は、ＲＧＢ画像の画素のＧチャネルの相対的な割合指数であり、割合指数が大きいほど、緑の特徴指数が大きいことを意味し、緑の特徴値は、
で表され、ｆｉ，ｊは画像のｉ行ｊ列の画素の緑の特徴値を表し、Ｇｉ，ｊは画像のｉ行ｊ列の画素のＧチャネルの値を表し、Ｒｉ，ｊは画像のｉ行ｊ列の画素のＲチャネルの値を表し、Ｂｉ，ｊは画像のｉ行ｊ列の画素のＢチャネルの値を表し、ｆｉ，ｊを定量化することで緑の特徴指数
は得られ、ｆｍｉｎはｆｉ，ｊの中の最小値を表し、ｆｍａｘはｆｉ，ｊの中の最大値を表し、
前記分割信頼度マップは、前記クエリ画像の各画素の各クラスにおける分類信頼度と対応するクラスラベルとを表し、前記分割信頼度マップは、
で表され、ｒｉ，ｊは前記クエリ画像のｉ行ｊ列の画素の各クラスにおける分類信頼度を表し、ｃｉ，ｊは対応するクラスを表し、
前記ステップＳ３における、分割信頼度と前記緑の特徴指数とを重ねて背景指数マップを得、前記背景指数マップに基づいて前記クエリ画像内の背景領域と前景領域とを取得するステップは、
分割信頼度と前記緑の特徴指数とを重ねて、
で表される背景指数マップを得るステップであって、ｇｉ，ｊは前記クエリ画像のｉ行ｊ列の画素の背景指数を表し、画素のクラスが地面や道路である場合、対応する背景指数は、分類信頼度から緑の特徴指数を引いたものであり、画素のクラスが雑草やその他のクラスである場合、対応する背景指数は分類信頼度である、ステップと、
背景指数に基づいて各画素の最大背景指数に対応するクラスを求め、最大背景指数のクラスが雑草、地面、道路である画素領域を背景領域とし、最大背景指数のクラスがその他のクラスである画素領域を前景領域とするステップと、を含み、
前記ステップＳ４における少量データ分割ネットワークモデルは、セマンティック特徴抽出モジュール、先験的マスク生成モジュール、およびマルチスケール特徴融合モジュールから構成され、
前記セマンティック特徴抽出モジュールはＲｅｓＮｅｔ５０ネットワークを採用し、前記セマンティック特徴抽出モジュールは高レベルセマンティック特徴マップと中レベルセマンティック特徴とを抽出し、推論段階において、先験的マスク生成モジュールの入力は、前記セマンティック特徴抽出モジュールによって抽出された、サポート画像の高レベルセマンティック特徴マップおよびクエリ画像の高レベルセマンティック特徴マップであり、先験的マスク生成モジュールは、２つの特徴マップの対応する画素間の余弦距離を計算し、対応する画素間の余弦距離の最大値を求めることでサポート画像とクエリ画像との相関性マップを取得し、前記相関性マップを正規化して先験的マスクを得、
前記マルチスケール特徴融合モジュールは、主にアトラス空間ピラミッドプーリング（ＡＳＰＰ）ネットワーク層から構成され、前記セマンティック特徴抽出モジュールによって抽出された、サポート画像の中レベルセマンティック特徴およびクエリ画像の中レベルセマンティック特徴と、前記先験的マスクとをＡＳＰＰネットワーク層で融合し、クエリ画像の分類予測マップを得、
モデル訓練段階において、前記少量データ分割ネットワークモデルの訓練データセットとして公開データセットが採用され、訓練は公開データセットのクラスに従って行われ、クラスは、推論する際に２つのクラスに変更され、クラス１は背景クラスであり、クラス０は目標クラスであり、
前記セマンティック特徴抽出モジュールは、入力画像の高レベルセマンティック特徴と中レベルセマンティック特徴とをそれぞれ抽出し、サポート画像の高レベルセマンティック特徴を
で表し、クエリ画像の高レベルセマンティック特徴を
で表すと、サポート画像とクエリ画像との高レベルセマンティック特徴の余弦距離は、
となり、ｗとｈはそれぞれ画像の幅と高さを表し、
前記先験的マスク生成モジュールは、クエリ画像とサポート画像との相関性を計算することで先験的マスクを取得し、クエリ画像の各画素とサポート画像の対応する画素との相関性は、それぞれの高レベルセマンティック特徴マップの余弦距離の最大値、すなわち、
で表され、
はサポート画像の高レベルセマンティック特徴を表し、
はクエリ画像の高レベルセマンティック特徴を表し、前記サポート画像とクエリ画像との相関性マップを
で表すと、前記相関性マップを正規化して得られた先験的マスクは
で表され、
前記セマンティック特徴抽出モジュールによって抽出された中レベルセマンティック特徴と、前記先験的マスク生成モジュールによって生成された前記先験的マスクとを結合して前記マルチスケール特徴融合モジュールに入力し、前記マルチスケール特徴融合モジュールによって出力された特徴マップを通じて、各画素が異なるクラスに属する信頼度を予測し、
前記マルチスケール特徴融合モジュールは、ＡＳＰＰネットワーク層から構成され、すなわち、６膨張率の３×３膨張畳み込み、１２膨張率の３×３膨張畳み込み、１８膨張率の３×３膨張畳み込みおよび２４膨張率の３×３膨張畳み込みである４つの膨張畳み込みと、１つの平均プーリング層とを並列に連結し、さらに１つの１×１畳み込みを連結することで構成される、
ことを特徴とする背景フィルタリングに基づく少量データ学習の作物樹冠被覆率の計算方法。
背景分割ネットワークモデルを構築し、雑草、土地、および道路を含む既知の背景目標を目標クラスとして設定し、既知の作物を背景クラスとして設定して、前記背景分割ネットワークモデルを訓練するステップＳ２と、
訓練して得られた背景分割ネットワークモデルに基づいて推論を行い、樹冠被覆率を算出すべきクエリ画像内の目標領域の分割信頼度マップを取得し、前記クエリ画像の緑の特徴指数を抽出し、分割信頼度と前記緑の特徴指数とを重ねて背景指数マップを得、前記背景指数マップに基づいて前記クエリ画像内の背景領域と前景領域とを取得するステップＳ３と、
少量データ分割ネットワークモデルを構築し、既知の作物を目標クラスとして設定し、他の領域を背景クラスとして設定して、前記少量データ分割ネットワークモデルを訓練するステップＳ４と、
訓練して得られた少量データ分割ネットワークモデルに基づいて推論を行い、前記サポートデータセットにおけるサポート画像と、前記樹冠被覆率を算出すべきクエリ画像とをそれぞれ前記少量データ分割ネットワークモデルに入力して分類予測マップを得、予測信頼度が所定の閾値より大きい領域を目標領域とし、当該目標領域のうち前記前景領域と重なる部分を作物樹冠被覆領域とし、当該樹冠被覆領域に基づいて樹冠被覆率を算出するステップＳ５と、を含み、
前記ステップＳ１は、
現場に巡航ポイントを設定し、巡航ポイントと飛行高度を固定し、可視光カメラを搭載したＵＡＶで現場のＲＧＢ可視光画像を取得するステップと、
ＵＡＶによって取得された画像データを照合し、数枚の代表的な画像をサポートデータセットとして選択して作物樹冠の画素領域をラベル付けし、残りの画像をラベル付けされていないクエリ画像とするステップと、を含み、
前記ステップＳ２は、完全畳み込みニューラルネットワーク（ＦＣＮ）に基づいて背景分割ネットワークモデルを構築し、雑草、土地、および道路をそれぞれ目標クラス０、目標クラス１、および目標クラス２として設定し、それ以外の領域を他クラス３として設定し、既知の公開データセットを用いて前記背景分割ネットワークモデルを訓練するステップを含み、
前記ステップＳ３における、訓練して得られた背景分割ネットワークモデルに基づいて推論を行い、樹冠被覆率を算出すべきクエリ画像内の目標領域の分割信頼度マップを取得し、前記クエリ画像の緑の特徴指数を抽出するステップは、
前記樹冠被覆率を算出すべきクエリ画像を訓練済みの背景分割ネットワークモデルに入力して、目標クラス０、目標クラス１、目標クラス２、他クラス３の４つの領域を表現するための分割信頼度マップを得、前記クエリ画像の緑の特徴指数を計算して緑の特徴指数マップを得るステップを含み、
前記緑の特徴指数は、ＲＧＢ画像の画素のＧチャネルの相対的な割合指数であり、割合指数が大きいほど、緑の特徴指数が大きいことを意味し、緑の特徴値は、
【数1】
【数2】
前記分割信頼度マップは、前記クエリ画像の各画素の各クラスにおける分類信頼度と対応するクラスラベルとを表し、前記分割信頼度マップは、
【数3】
前記ステップＳ３における、分割信頼度と前記緑の特徴指数とを重ねて背景指数マップを得、前記背景指数マップに基づいて前記クエリ画像内の背景領域と前景領域とを取得するステップは、
分割信頼度と前記緑の特徴指数とを重ねて、
【数4】
背景指数に基づいて各画素の最大背景指数に対応するクラスを求め、最大背景指数のクラスが雑草、地面、道路である画素領域を背景領域とし、最大背景指数のクラスがその他のクラスである画素領域を前景領域とするステップと、を含み、
前記ステップＳ４における少量データ分割ネットワークモデルは、セマンティック特徴抽出モジュール、先験的マスク生成モジュール、およびマルチスケール特徴融合モジュールから構成され、
前記セマンティック特徴抽出モジュールはＲｅｓＮｅｔ５０ネットワークを採用し、前記セマンティック特徴抽出モジュールは高レベルセマンティック特徴マップと中レベルセマンティック特徴とを抽出し、推論段階において、先験的マスク生成モジュールの入力は、前記セマンティック特徴抽出モジュールによって抽出された、サポート画像の高レベルセマンティック特徴マップおよびクエリ画像の高レベルセマンティック特徴マップであり、先験的マスク生成モジュールは、２つの特徴マップの対応する画素間の余弦距離を計算し、対応する画素間の余弦距離の最大値を求めることでサポート画像とクエリ画像との相関性マップを取得し、前記相関性マップを正規化して先験的マスクを得、
前記マルチスケール特徴融合モジュールは、主にアトラス空間ピラミッドプーリング（ＡＳＰＰ）ネットワーク層から構成され、前記セマンティック特徴抽出モジュールによって抽出された、サポート画像の中レベルセマンティック特徴およびクエリ画像の中レベルセマンティック特徴と、前記先験的マスクとをＡＳＰＰネットワーク層で融合し、クエリ画像の分類予測マップを得、
モデル訓練段階において、前記少量データ分割ネットワークモデルの訓練データセットとして公開データセットが採用され、訓練は公開データセットのクラスに従って行われ、クラスは、推論する際に２つのクラスに変更され、クラス１は背景クラスであり、クラス０は目標クラスであり、
前記セマンティック特徴抽出モジュールは、入力画像の高レベルセマンティック特徴と中レベルセマンティック特徴とをそれぞれ抽出し、サポート画像の高レベルセマンティック特徴を
【数5】
【数6】
【数7】
前記先験的マスク生成モジュールは、クエリ画像とサポート画像との相関性を計算することで先験的マスクを取得し、クエリ画像の各画素とサポート画像の対応する画素との相関性は、それぞれの高レベルセマンティック特徴マップの余弦距離の最大値、すなわち、
【数8】
【数9】
【数10】
【数11】
【数12】
前記セマンティック特徴抽出モジュールによって抽出された中レベルセマンティック特徴と、前記先験的マスク生成モジュールによって生成された前記先験的マスクとを結合して前記マルチスケール特徴融合モジュールに入力し、前記マルチスケール特徴融合モジュールによって出力された特徴マップを通じて、各画素が異なるクラスに属する信頼度を予測し、
前記マルチスケール特徴融合モジュールは、ＡＳＰＰネットワーク層から構成され、すなわち、６膨張率の３×３膨張畳み込み、１２膨張率の３×３膨張畳み込み、１８膨張率の３×３膨張畳み込みおよび２４膨張率の３×３膨張畳み込みである４つの膨張畳み込みと、１つの平均プーリング層とを並列に連結し、さらに１つの１×１畳み込みを連結することで構成される、
ことを特徴とする背景フィルタリングに基づく少量データ学習の作物樹冠被覆率の計算方法。
【請求項2】
前記ステップＳ５は、
訓練して得られた少量データ分割ネットワークモデルに基づいて推論を行い、前記サポート画像と前記クエリ画像とをそれぞれ前記少量データ分割ネットワークモデルに入力して分類予測マップを得、予測信頼度が０．５より大きい領域を目標領域とし、当該目標領域のうち前記前景領域と重なる部分を作物樹冠被覆領域とし、作物の樹冠被覆率を
で算出するステップを含み、
ｈとｗはそれぞれ画像の高さと幅を表し、Ｃｉは作物樹冠被覆領域として分類された画素のうち、ｉ番目の画素を表す、
ことを特徴とする請求項１に記載の背景フィルタリングに基づく少量データ学習の作物樹冠被覆率の計算方法。
訓練して得られた少量データ分割ネットワークモデルに基づいて推論を行い、前記サポート画像と前記クエリ画像とをそれぞれ前記少量データ分割ネットワークモデルに入力して分類予測マップを得、予測信頼度が０．５より大きい領域を目標領域とし、当該目標領域のうち前記前景領域と重なる部分を作物樹冠被覆領域とし、作物の樹冠被覆率を
【数13】
ｈとｗはそれぞれ画像の高さと幅を表し、Ｃｉは作物樹冠被覆領域として分類された画素のうち、ｉ番目の画素を表す、
ことを特徴とする請求項１に記載の背景フィルタリングに基づく少量データ学習の作物樹冠被覆率の計算方法。
【請求項3】
１つ以上のプロセッサを含み、
前記１つ以上のプロセッサは、請求項１～２のいずれか１項に記載の背景フィルタリングに基づく少量データ学習の作物樹冠被覆率の計算方法を実施するために用いられる、
ことを特徴とする背景フィルタリングに基づく少量データ学習の作物樹冠被覆率の計算装置。
前記１つ以上のプロセッサは、請求項１～２のいずれか１項に記載の背景フィルタリングに基づく少量データ学習の作物樹冠被覆率の計算方法を実施するために用いられる、
ことを特徴とする背景フィルタリングに基づく少量データ学習の作物樹冠被覆率の計算装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像認識技術、農業育種の分野に関し、特に、背景フィルタリングに基づく少量データ学習（Ｆｅｗ－ｓｈｏｔ ｌｅａｒｎｉｎｇ）の作物樹冠被覆率の計算方法および装置に関する。
【背景技術】
【0002】
樹冠カバー率（Ｃａｎｏｐｙ ｃｏｖｅｒａｇｅ）とは、土壌表面が植物の葉で覆われた割合を示すもので、作物の苗立ちと初期生育の状態（初期活力とも呼ばれる）を測定・表現するための重要な指標である。初期生育において樹冠被覆率が高い遺伝子型は、一般に、より多くの日射を遮り、土壌の大部分を日陰にするため、土壌からの水分の蒸発が減少し、水の利用率が向上する。樹冠カバー率が大きいほど、湿潤な生育環境ではメリットが大きいが、乾燥した環境では、生育が早すぎると土壌水分が早期に枯渇するため、生育期末に深刻な乾燥ストレスにさらされるリスクがある。また、樹冠カバー率が高い作物は、雑草との競合性が高いため、除草剤耐性の雑草との戦いに役立つ。
【0003】
知的育種の過程において、生育初期の作物の樹冠被覆率をいかに迅速かつ正確に抽出するかが、徐々に重要な技術支援となっている。現段階では、作物の樹冠被覆率を抽出する方法は主に２つある。
【0004】
１つ目は地上測量で、主に手作業による現地測量でデータを取得する。区画法（ｑｕａｄｒａｔｅ ｍｅｔｈｏｄ）、ベルトトランセクト法（ｂｅｌｔ ｔｒａｎｓｅｃｔ ｍｅｔｈｏｄ）、ポイントトランセクト法（ｐｏｉｎｔ ｔｒａｎｓｅｃｔ ｍｅｔｈｏｄ）などのサンプリング法が主な方法であるが、得られる結果は多くの人的要因に影響されるため、精度が十分ではなく、変動も大きい。より正確なデータを得るために、科学者らは空間定量計（ｓｐａｔｉａｌ ｑｕａｎｔｕｍ ｓｅｎｓｏｒ）や移動光量計（ｔｒａｖｅｒｓｉｎｇ ｑｕａｎｔｕｍ ｓｅｌｌ）のようなサンプリング用の機器を発明した。このような機器は、測定精度を向上させるという目的には適しているが、現場での使用は操作上不便である。
【0005】
２つ目はリモートセンシング測定で、近年の発展は生態学の進歩にある程度貢献している。リモートセンシング技術による作物樹冠被覆率の抽出も、新たな発展の方向となっている。一般的な方法には、回帰モデリング法、植生指数法、画素分解モデリング法、カラーフィルタリング法などがある。回帰モデリング法では、植生樹冠被覆率には敏感だが背景要素には敏感でない植生指数を見つけ、統計的な考え方で植生指数と植生樹冠被覆率の関係を分析し、両者の間の各種の回帰モデルを構築する。植生指数法は、植生指数とよく関連する指数を用いて植生の樹冠被覆率を直接推定するインバージョン法である。画素分解モデリング法は、画素を直接理論的に分析して画素を分解し、植生指数と植生樹冠被覆率の相関関係モデルを構築するものである。カラーフィルタリング法は、リモートセンシングで得られたＲＧＢ画像を色などの特徴でフィルタリングする、または緑に関連する色の特徴を抽出してフィルタリングするという、より単純な方法である。
【0006】
以上をまとめると、作物樹冠被覆率を求める上記の方法には、いずれも一定の欠点や問題点があり、主に以下の（１）～（６）を含む。
（１）区画の選択には先験的な知識が必要であり、人間の目による推定は主観的で、写真のスケッチには時間と労力がかかる。
（２）現場でのサンプリング機器の使用や持ち運びが不便である。
（３）統計モデルは適切な指標を見つける際に特殊であり、広く適用できるものではない。
（４）リモートセンシングを利用して関係モデルを構築するインバージョンの方法は、精度に限界があり、インバージョンの適応性にも制限がある。
（５）色などの特徴を利用すると、雑草や落葉など、作物以外の対象が混入しやすい。
（６）アルゴリズムは作物に大きく依存しており、作物を変えると結果が大幅に低下する。
（１）区画の選択には先験的な知識が必要であり、人間の目による推定は主観的で、写真のスケッチには時間と労力がかかる。
（２）現場でのサンプリング機器の使用や持ち運びが不便である。
（３）統計モデルは適切な指標を見つける際に特殊であり、広く適用できるものではない。
（４）リモートセンシングを利用して関係モデルを構築するインバージョンの方法は、精度に限界があり、インバージョンの適応性にも制限がある。
（５）色などの特徴を利用すると、雑草や落葉など、作物以外の対象が混入しやすい。
（６）アルゴリズムは作物に大きく依存しており、作物を変えると結果が大幅に低下する。
【0007】
これに基づき、作物の樹冠被覆率を抽出するための、高精度でコストの低い方法を提供する必要がある。
【発明の概要】
【発明が解決しようとする課題】
【0008】
従来技術に存在する上記の技術的問題を解決するために、本発明は、背景フィルタリングに基づく少量データ学習の作物樹冠被覆率の計算方法を提案し、従来の領域分割ネットワークを介して、雑草、土地、道路などの既知の背景領域をフィルタリングし、その後、少量データ分割ネットワークを用いて、細かい分割を行って作物樹冠被覆領域を得、最終的に樹冠被覆領域の画素割合を計算して樹冠被覆率を得る。具体的な技術的解決策は以下のとおりである。
【課題を解決するための手段】
【0009】
背景フィルタリングに基づく少量データ学習の作物樹冠被覆率の計算方法は、
ＵＡＶを用いて、計算すべき現場の俯瞰ＲＧＢ画像データを取得し、取得された画像データに基づいてサポートデータセットとクエリデータセットを構築するステップＳ１と、
背景分割ネットワークモデルを構築し、雑草、土地、および道路を含む既知の背景目標を目標クラスとして設定し、既知の作物を背景クラスとして設定して、前記背景分割ネットワークモデルを訓練するステップＳ２と、
訓練して得られた背景分割ネットワークモデルに基づいて推論を行い、樹冠被覆率を算出すべきクエリ画像内の目標領域の分割信頼度マップを取得し、前記クエリ画像の緑の特徴指数を抽出し、分割信頼度と前記緑の特徴指数とを重ねて背景指数マップを得、前記背景指数マップに基づいて前記クエリ画像内の背景領域と前景領域とを取得するステップＳ３と、
少量データ分割ネットワークモデルを構築し、既知の作物を目標クラスとして設定し、他の領域を背景クラスとして設定して、前記少量データ分割ネットワークモデルを訓練するステップＳ４と、
訓練して得られた少量データ分割ネットワークモデルに基づいて推論を行い、前記サポートデータセットにおけるサポート画像と、前記樹冠被覆率を算出すべきクエリ画像とをそれぞれ前記少量データ分割ネットワークモデルに入力して分類予測マップを得、予測信頼度が所定の閾値より大きい領域を目標領域とし、当該目標領域のうち前記前景領域と重なる部分を作物樹冠被覆領域とし、当該樹冠被覆領域に基づいて樹冠被覆率を算出するステップＳ５と、を含む。
ＵＡＶを用いて、計算すべき現場の俯瞰ＲＧＢ画像データを取得し、取得された画像データに基づいてサポートデータセットとクエリデータセットを構築するステップＳ１と、
背景分割ネットワークモデルを構築し、雑草、土地、および道路を含む既知の背景目標を目標クラスとして設定し、既知の作物を背景クラスとして設定して、前記背景分割ネットワークモデルを訓練するステップＳ２と、
訓練して得られた背景分割ネットワークモデルに基づいて推論を行い、樹冠被覆率を算出すべきクエリ画像内の目標領域の分割信頼度マップを取得し、前記クエリ画像の緑の特徴指数を抽出し、分割信頼度と前記緑の特徴指数とを重ねて背景指数マップを得、前記背景指数マップに基づいて前記クエリ画像内の背景領域と前景領域とを取得するステップＳ３と、
少量データ分割ネットワークモデルを構築し、既知の作物を目標クラスとして設定し、他の領域を背景クラスとして設定して、前記少量データ分割ネットワークモデルを訓練するステップＳ４と、
訓練して得られた少量データ分割ネットワークモデルに基づいて推論を行い、前記サポートデータセットにおけるサポート画像と、前記樹冠被覆率を算出すべきクエリ画像とをそれぞれ前記少量データ分割ネットワークモデルに入力して分類予測マップを得、予測信頼度が所定の閾値より大きい領域を目標領域とし、当該目標領域のうち前記前景領域と重なる部分を作物樹冠被覆領域とし、当該樹冠被覆領域に基づいて樹冠被覆率を算出するステップＳ５と、を含む。
【0010】
さらに、前記ステップＳ１は、
現場に巡航ポイントを設定し、巡航ポイントと飛行高度を固定し、可視光カメラを搭載したＵＡＶで現場のＲＧＢ可視光画像を取得するステップと、
ＵＡＶによって取得された画像データを照合し、数枚の代表的な画像をサポートデータセットとして選択して作物樹冠の画素領域をラベル付けし、残りの画像をラベル付けされていないクエリ画像とするステップと、を含む。
現場に巡航ポイントを設定し、巡航ポイントと飛行高度を固定し、可視光カメラを搭載したＵＡＶで現場のＲＧＢ可視光画像を取得するステップと、
ＵＡＶによって取得された画像データを照合し、数枚の代表的な画像をサポートデータセットとして選択して作物樹冠の画素領域をラベル付けし、残りの画像をラベル付けされていないクエリ画像とするステップと、を含む。
【0011】
さらに、前記ステップＳ２は、完全畳み込みニューラルネットワーク（ＦＣＮ）に基づいて背景分割ネットワークモデルを構築し、雑草、土地、および道路をそれぞれ目標クラス０、目標クラス１、および目標クラス２として設定し、それ以外の領域を他クラス３として設定し、既知の公開データセットを用いて前記背景分割ネットワークモデルを訓練するステップを含む。
【0012】
さらに、前記ステップＳ３における、訓練して得られた背景分割ネットワークモデルに基づいて推論を行い、樹冠被覆率を算出すべきクエリ画像内の目標領域の分割信頼度マップを取得し、前記クエリ画像の緑の特徴指数を抽出するステップは、
前記樹冠被覆率を算出すべきクエリ画像を訓練済みの背景分割ネットワークモデルに入力して、目標クラス０、目標クラス１、目標クラス２、他クラス３の４つの領域を表現するための分割信頼度マップを得、前記クエリ画像の緑の特徴指数を計算して緑の特徴指数マップを得るステップを含み、
前記緑の特徴指数は、ＲＧＢ画像の画素のＧチャネルの相対的な割合指数であり、割合指数が大きいほど、緑の特徴指数が大きいことを意味し、緑の特徴値は、
で表され、ｆｉ，ｊは画像のｉ行ｊ列の画素の緑の特徴値を表し、Ｇｉ，ｊは画像のｉ行ｊ列の画素のＧチャネルの値を表し、Ｒｉ，ｊは画像のｉ行ｊ列の画素のＲチャネルの値を表し、Ｂｉ，ｊは画像のｉ行ｊ列の画素のＢチャネルの値を表し、ｆｉ，ｊを定量化することで緑の特徴指数
は得られ、ｆｍｉｎはｆｉ，ｊの中の最小値を表し、ｆｍａｘはｆｉ，ｊの中の最大値を表し、
前記分割信頼度マップは、前記クエリ画像の各画素の各クラスにおける分類信頼度と対応するクラスラベルとを表し、前記分割信頼度マップは、
で表され、ｒｉ，ｊは前記クエリ画像のｉ行ｊ列の画素の各クラスにおける分類信頼度を表し、ｃｉ，ｊは対応するクラスを表す。
前記樹冠被覆率を算出すべきクエリ画像を訓練済みの背景分割ネットワークモデルに入力して、目標クラス０、目標クラス１、目標クラス２、他クラス３の４つの領域を表現するための分割信頼度マップを得、前記クエリ画像の緑の特徴指数を計算して緑の特徴指数マップを得るステップを含み、
前記緑の特徴指数は、ＲＧＢ画像の画素のＧチャネルの相対的な割合指数であり、割合指数が大きいほど、緑の特徴指数が大きいことを意味し、緑の特徴値は、
【数1】
【数2】
前記分割信頼度マップは、前記クエリ画像の各画素の各クラスにおける分類信頼度と対応するクラスラベルとを表し、前記分割信頼度マップは、
【数3】
【0013】
さらに、前記ステップＳ３における、分割信頼度と前記緑の特徴指数とを重ねて背景指数マップを得、前記背景指数マップに基づいて前記クエリ画像内の背景領域と前景領域とを取得するステップは、
分割信頼度と前記緑の特徴指数とを重ねて、
で表される背景指数マップを得るステップであって、ｇｉ，ｊは前記クエリ画像のｉ行ｊ列の画素の背景指数を表し、画素のクラスが地面や道路である場合、対応する背景指数は、分類信頼度から緑の特徴指数を引いたものであり、画素のクラスが雑草やその他のクラスである場合、対応する背景指数は分類信頼度である、ステップと、
背景指数に基づいて各画素の最大背景指数に対応するクラスを求め、最大背景指数のクラスが雑草、地面、道路である画素領域を背景領域とし、最大背景指数のクラスがその他のクラスである画素領域を前景領域とするステップと、を含む。
分割信頼度と前記緑の特徴指数とを重ねて、
【数4】
背景指数に基づいて各画素の最大背景指数に対応するクラスを求め、最大背景指数のクラスが雑草、地面、道路である画素領域を背景領域とし、最大背景指数のクラスがその他のクラスである画素領域を前景領域とするステップと、を含む。
【0014】
さらに、前記ステップＳ４における少量データ分割ネットワークモデルは、セマンティック特徴抽出モジュール、先験的マスク生成モジュール、およびマルチスケール特徴融合モジュールから構成され、
前記セマンティック特徴抽出モジュールはＲｅｓＮｅｔ５０ネットワークを採用し、前記セマンティック特徴抽出モジュールは高レベルセマンティック特徴マップと中レベルセマンティック特徴とを抽出し、推論段階において、先験的マスク生成モジュールの入力は、前記セマンティック特徴抽出モジュールによって抽出された、サポート画像の高レベルセマンティック特徴マップおよびクエリ画像の高レベルセマンティック特徴マップであり、先験的マスク生成モジュールは、２つの特徴マップの対応する画素間の余弦距離を計算し、対応する画素間の余弦距離の最大値を求めることでサポート画像とクエリ画像との相関性マップを取得し、前記相関性マップを正規化して先験的マスクを得、
前記マルチスケール特徴融合モジュールは、主にアトラス空間ピラミッドプーリング（ＡＳＰＰ）ネットワーク層から構成され、前記セマンティック特徴抽出モジュールによって抽出された、サポート画像の中レベルセマンティック特徴およびクエリ画像の中レベルセマンティック特徴と、前記先験的マスクとをＡＳＰＰネットワーク層で融合し、クエリ画像の分類予測マップを得、
モデル訓練段階において、前記少量データ分割ネットワークモデルの訓練データセットとして公開データセットが採用され、訓練は公開データセットのクラスに従って行われ、クラスは、推論する際に２つのクラスに変更され、クラス１は背景クラスであり、クラス０は目標クラスである。
前記セマンティック特徴抽出モジュールはＲｅｓＮｅｔ５０ネットワークを採用し、前記セマンティック特徴抽出モジュールは高レベルセマンティック特徴マップと中レベルセマンティック特徴とを抽出し、推論段階において、先験的マスク生成モジュールの入力は、前記セマンティック特徴抽出モジュールによって抽出された、サポート画像の高レベルセマンティック特徴マップおよびクエリ画像の高レベルセマンティック特徴マップであり、先験的マスク生成モジュールは、２つの特徴マップの対応する画素間の余弦距離を計算し、対応する画素間の余弦距離の最大値を求めることでサポート画像とクエリ画像との相関性マップを取得し、前記相関性マップを正規化して先験的マスクを得、
前記マルチスケール特徴融合モジュールは、主にアトラス空間ピラミッドプーリング（ＡＳＰＰ）ネットワーク層から構成され、前記セマンティック特徴抽出モジュールによって抽出された、サポート画像の中レベルセマンティック特徴およびクエリ画像の中レベルセマンティック特徴と、前記先験的マスクとをＡＳＰＰネットワーク層で融合し、クエリ画像の分類予測マップを得、
モデル訓練段階において、前記少量データ分割ネットワークモデルの訓練データセットとして公開データセットが採用され、訓練は公開データセットのクラスに従って行われ、クラスは、推論する際に２つのクラスに変更され、クラス１は背景クラスであり、クラス０は目標クラスである。
【0015】
さらに、前記セマンティック特徴抽出モジュールは、入力画像の高レベルセマンティック特徴と中レベルセマンティック特徴とをそれぞれ抽出し、サポート画像の高レベルセマンティック特徴を
で表し、クエリ画像の高レベルセマンティック特徴を
で表すと、サポート画像とクエリ画像との高レベルセマンティック特徴の余弦距離は、
となり、ｗとｈはそれぞれ画像の幅と高さを表し、
前記先験的マスク生成モジュールは、クエリ画像とサポート画像との相関性を計算することで先験的マスクを取得し、クエリ画像の各画素とサポート画像の対応する画素との相関性は、それぞれの高レベルセマンティック特徴マップの余弦距離の最大値、すなわち、
で表され、
はサポート画像の高レベルセマンティック特徴を表し、
はクエリ画像の高レベルセマンティック特徴を表し、前記サポート画像とクエリ画像との相関性マップを
で表すと、前記相関性マップを正規化して得られた先験的マスクは
で表され、
前記セマンティック特徴抽出モジュールによって抽出された中レベルセマンティック特徴と、前記先験的マスク生成モジュールによって生成された前記先験的マスクとを結合して前記マルチスケール特徴融合モジュールに入力し、前記マルチスケール特徴融合モジュールによって出力された特徴マップを通じて、各画素が異なるクラスに属する信頼度を予測する。
【数5】
【数6】
【数7】
前記先験的マスク生成モジュールは、クエリ画像とサポート画像との相関性を計算することで先験的マスクを取得し、クエリ画像の各画素とサポート画像の対応する画素との相関性は、それぞれの高レベルセマンティック特徴マップの余弦距離の最大値、すなわち、
【数8】
【数9】
【数10】
【数11】
【数12】
前記セマンティック特徴抽出モジュールによって抽出された中レベルセマンティック特徴と、前記先験的マスク生成モジュールによって生成された前記先験的マスクとを結合して前記マルチスケール特徴融合モジュールに入力し、前記マルチスケール特徴融合モジュールによって出力された特徴マップを通じて、各画素が異なるクラスに属する信頼度を予測する。
【0016】
さらに、前記マルチスケール特徴融合モジュールは、ＡＳＰＰネットワーク層から構成され、すなわち、６膨張率の３×３膨張畳み込み、１２膨張率の３×３膨張畳み込み、１８膨張率の３×３膨張畳み込み、および２４膨張率の３×３膨張畳み込みである４つの膨張畳み込みと、１つの平均プーリング層とを並列に連結し、さらに１つの１×１畳み込みを連結することで構成される。
【0017】
さらに、前記ステップＳ５は、
訓練して得られた少量データ分割ネットワークモデルに基づいて推論を行い、前記サポート画像と前記クエリ画像とをそれぞれ前記少量データ分割ネットワークモデルに入力して分類予測マップを得、予測信頼度が０．５より大きい領域を目標領域とし、当該目標領域のうち前記前景領域と重なる部分を作物樹冠被覆領域とし、作物の樹冠被覆率を
で算出するステップを含み、
ｈとｗはそれぞれ画像の高さと幅を表し、Ｃｉは作物樹冠被覆領域として分類された画素のうち、ｉ番目の画素を表す。
訓練して得られた少量データ分割ネットワークモデルに基づいて推論を行い、前記サポート画像と前記クエリ画像とをそれぞれ前記少量データ分割ネットワークモデルに入力して分類予測マップを得、予測信頼度が０．５より大きい領域を目標領域とし、当該目標領域のうち前記前景領域と重なる部分を作物樹冠被覆領域とし、作物の樹冠被覆率を
【数13】
ｈとｗはそれぞれ画像の高さと幅を表し、Ｃｉは作物樹冠被覆領域として分類された画素のうち、ｉ番目の画素を表す。
【0018】
背景フィルタリングに基づく少量データ学習の作物樹冠被覆率の計算装置は、
１つ以上のプロセッサを含み、
前記１つ以上のプロセッサは、前記背景フィルタリングに基づく少量データ学習の作物樹冠被覆率の計算方法を実施するために用いられる。
１つ以上のプロセッサを含み、
前記１つ以上のプロセッサは、前記背景フィルタリングに基づく少量データ学習の作物樹冠被覆率の計算方法を実施するために用いられる。
【発明の効果】
【0019】
従来技術と比較して、本発明の有益な効果は以下のとおりである。１．背景分割ネットワークモデルは、雑草、道路、土地などの既知の背景目標の作物領域の分割への影響をよく除去することができる。２．緑の特徴指数の導入を重ねて得られた背景指数マップは、作物が背景として誤分類されることを防ぐことができる。３．少量データ分割ネットワークは、異なる未知の作物種の樹冠分割タスクに大規模に適用することができ、事前のデータ収集やラベル付けによる高コストを大幅に削減する。４．コンピュータビジョンによる樹冠被覆率の計算は、他の主観的な方法より正確であり、主観的な測定方法などによる結果の変動の問題も生じない。
【図面の簡単な説明】
【0020】
【図1】本発明の実施形態により提供される背景フィルタリングに基づく少量データ学習の作物樹冠被覆率の計算方法のフローを示す概略図である。
【図2】本発明の実施形態により提供される背景フィルタリングに基づく少量データ学習の作物樹冠被覆率の計算方法の全体的なネットワークフレームワークを示す概略図である。
【図3】本発明の実施形態により提供される背景フィルタリングに基づく少量データ学習の作物樹冠被覆率の計算方法のマルチスケール特徴融合モジュールのネットワークフレームワークを示す概略図である。
【図4】本発明の実施形態により提供される背景フィルタリングに基づく少量データ学習の作物樹冠被覆率の計算装置の構造を示す概略図である。
【発明を実施するための形態】
【0021】
本発明の目的、技術的解決策および技術的効果をより明確かつ理解しやすくするために、以下、本発明を添付図面および実施形態と併せてさらに詳細に説明する。
【0022】
図１に示すように、本発明の背景フィルタリングに基づく少量データ学習の作物樹冠被覆率の計算方法は、具体的に以下のステップを含む。
【0023】
ステップＳ１：ＵＡＶを用いて、計算すべき現場の俯瞰ＲＧＢ画像データを取得し、取得された画像データに基づいてサポートデータセットとクエリデータセットを構築する。
【0024】
具体的に、現場に巡航ポイントを設定し、巡航ポイントと飛行高度を固定し、可視光カメラを搭載したＵＡＶ（Ｕｎｍａｎｎｅｄ Ａｅｒｉａｌ Ｖｅｈｉｃｌｅ）で現場のＲＧＢ可視光画像を取得する。ＵＡＶによって取得された画像データを照合し、５枚の代表的な画像をサポートデータセットとして選択して作物樹冠の画素領域をラベル付けする。残りの画像は、テスト推論段階の樹冠被覆率を算出すべき画像、すなわちクエリ画像として使用される。
【0025】
ステップＳ２：背景分割ネットワークモデルを構築し、雑草、土地、および道路を含む既知の背景目標を目標クラスとして設定し、既知の作物を背景クラスとして設定して、前記背景分割ネットワークモデルを訓練する。
【0026】
具体的に、完全畳み込みニューラルネットワーク（Ｆｕｌｌｙ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋｓ、ＦＣＮ）に基づいて背景分割ネットワークモデルを構築し、雑草、土地、および道路をそれぞれ目標クラス０、目標クラス１、および目標クラス２として設定し、それ以外の領域を他クラス３として設定して背景分割ネットワークモデルを訓練する。訓練は、既知の公開データセットを用いて行うことができる。
【0027】
ステップＳ３：訓練して得られた背景分割ネットワークモデルに基づいて推論を行い、樹冠被覆率を算出すべきクエリ画像内の目標領域の分割信頼度マップを取得し、前記クエリ画像の緑の特徴指数を抽出し、分割信頼度と前記緑の特徴指数とを重ねて背景指数マップを得、前記背景指数マップに基づいて前記クエリ画像内の背景領域と前景領域とを取得する。
【0028】
具体的に、前記樹冠被覆率を算出すべきクエリ画像を訓練済みの背景分割ネットワークモデルに入力して、目標クラス０、目標クラス１、目標クラス２、他クラス３の４つの領域を表現するための分割信頼度マップを得、前記クエリ画像の緑の特徴指数を計算して緑の特徴指数マップを得る。前記緑の特徴指数は、ＲＧＢ画像の画素のＧチャネルの相対的な割合指数であり、割合指数が大きいほど、緑の特徴指数が大きいことを意味し、
で表され、ｆｉ，ｊは画像のｉ行ｊ列の画素の緑の特徴値を表し、Ｇｉ，ｊは画像のｉ行ｊ列の画素のＧチャネルの値を表し、Ｒｉ，ｊは画像のｉ行ｊ列の画素のＲチャネルの値を表し、Ｂｉ，ｊは画像のｉ行ｊ列の画素のＢチャネルの値を表し、ｆｉ，ｊを定量化することで緑の特徴指数
は得られ、ｆｍｉｎはｆｉ，ｊの中の最小値を表し、ｆｍａｘはｆｉ，ｊの中の最大値を表す。
【数14】
【数15】
【0029】
前記背景分割ネットワークモデルで得られた分割信頼度マップは、前記クエリ画像の各画素の各クラスにおける分類信頼度と対応するクラスラベルとを表し、前記分割信頼度マップは、
で表され、ｒｉ，ｊは前記クエリ画像のｉ行ｊ列の画素の各クラスにおける分類信頼度を表し、ｃｉ，ｊは対応するクラスを表す。
【数16】
【0030】
分割信頼度と前記緑の特徴指数とを重ねて得られた背景指数マップは、
で表される。ｇｉ，ｊは前記クエリ画像のｉ行ｊ列の画素の背景指数を表す。画素のクラスが地面や道路である場合、対応する背景指数は、分類信頼度から緑の特徴指数を引いたものであり、画素のクラスが雑草やその他のクラスである場合、対応する背景指数は分類信頼度である。最終的に、背景指数に基づいて各画素の最大背景指数に対応するクラスを求める。最大背景指数のクラスが雑草、地面、道路である画素領域を背景領域とし、最大背景指数のクラスがその他のクラスである画素領域を前景領域とする。
【数17】
【0031】
ステップＳ４：少量データ分割ネットワークモデルを構築し、既知の作物を目標クラスとして設定し、他の領域を背景クラスとして設定して、前記少量データ分割ネットワークモデルを訓練する。
【0032】
具体的に、図２に示すように、少量データ分割ネットワークモデルは、セマンティック特徴抽出モジュール、先験的マスク生成モジュール、およびマルチスケール特徴融合モジュールから構成される。
【0033】
前記セマンティック特徴抽出モジュールはＲｅｓＮｅｔ５０ネットワークを採用する。前記セマンティック特徴抽出モジュールは高レベルセマンティック特徴マップと中レベルセマンティック特徴とを抽出する。推論段階において、先験的マスク生成モジュールの入力は、前記セマンティック特徴抽出モジュールによって抽出された、サポート画像（ステップＳ１でラベル付けされた画像）の高レベルセマンティック特徴マップおよびクエリ画像（ラベル付けされていない画像）の高レベルセマンティック特徴マップであり、先験的マスク生成モジュールは、２つの特徴マップの対応する画素間の余弦距離を計算し、対応する画素間の余弦距離の最大値を求めることでサポート画像とクエリ画像との相関性マップを取得し、前記相関性マップを正規化して、最終的に先験的マスクを得る。
【0034】
前記マルチスケール特徴融合モジュールは、主にＡＳＰＰ（Ａｔｒｏｕｓ Ｓｐａｔｉａｌ Ｐｙｒａｍｉｄ Ｐｏｏｌｉｎｇ、アトラス空間ピラミッドプーリング）ネットワーク層から構成される。前記セマンティック特徴抽出モジュールによって抽出された、サポート画像の中レベルセマンティック特徴およびクエリ画像の中レベルセマンティック特徴と、先験的マスクとをＡＳＰＰネットワーク層で融合し、クエリ画像の分類予測マップを得る。
【0035】
訓練段階において、前記少量データ分割ネットワークモデルの訓練データセットとして公開データセットが採用され、訓練は公開データセットのクラスに従って行われる。クラスは、推論する際に２つのクラスに変更され、クラス１は背景クラスであり、クラス０は目標クラスである。
【0036】
具体的に、セマンティック特徴抽出モジュールは、入力画像の高レベルセマンティック特徴と中レベルセマンティック特徴とをそれぞれ抽出し、サポート画像の高レベルセマンティック特徴を
で表し、クエリ画像の高レベルセマンティック特徴を
で表すと、サポート画像とクエリ画像との高レベルセマンティック特徴の余弦距離は、
となり、ｗとｈはそれぞれ画像の幅と高さを表す。
【数18】
【数19】
【数20】
【0037】
前記先験的マスク生成モジュールは、クエリ画像とサポート画像との相関性を計算することで先験的マスクを取得し、クエリ画像の各画素とサポート画像の対応する画素との相関性は、それぞれの高レベルセマンティック特徴マップの余弦距離の最大値、すなわち、
で表され、
はサポート画像の高レベルセマンティック特徴を表し、
はクエリ画像の高レベルセマンティック特徴を表し、前記サポート画像とクエリ画像との相関性マップを
で表すと、前記相関性マップを正規化して得られた先験的マスクは
で表される。
【数21】
【数22】
【数23】
【数24】
【数25】
【0038】
そして、セマンティック特徴抽出モジュールによって抽出された中レベルセマンティック特徴と、先験的マスク生成モジュールによって生成された前記先験的マスクとを結合して前記マルチスケール特徴融合モジュールに入力する。マルチスケール特徴融合モジュールは、主にＡＳＰＰアトラス空間ピラミッドプーリングネットワーク層から構成される。すなわち、図３に示すように、６膨張率の３×３膨張畳み込み、１２膨張率の３×３膨張畳み込み、１８膨張率の３×３膨張畳み込み、２４膨張率の３×３膨張畳み込みである４つの膨張畳み込みと、１つの平均プーリング層とを並列に連結し、さらに１つの１×１畳み込みを連結することで構成される。ピラミッドプーリングにより、特徴マップはスケールすることなく、受容野（Ｒｅｃｅｐｔｉｖｅ Ｆｉｅｌｄ）を拡大することができる。
【0039】
最終的に、ネットワークはマルチスケール特徴融合モジュールによって出力された特徴マップを通じて、各画素が異なるクラスに属する信頼度を予測する。
【0040】
ステップＳ５：訓練して得られた少量データ分割ネットワークモデルに基づいて推論を行い、前記サポートデータセットにおけるサポート画像と、前記樹冠被覆率を算出すべきクエリ画像とをそれぞれ前記少量データ分割ネットワークモデルに入力して分類予測マップを得、予測信頼度が所定の閾値より大きい領域を目標領域とし、当該目標領域のうち前記前景領域と重なる部分を作物樹冠被覆領域とし、当該樹冠被覆領域に基づいて樹冠被覆率を算出する。
【0041】
具体的に、訓練して得られた少量データ分割ネットワークモデルに基づいて推論を行い、前記サポート画像と前記クエリ画像とをそれぞれ前記少量データ分割ネットワークモデルに入力して分類予測マップを得、予測信頼度が０．５より大きい領域を目標領域とし、前記ステップＳ５で少量データ分割ネットワークモデルにより得られた目標領域のうち、前記ステップ３で得られた前景領域と重なる部分を作物樹冠被覆領域とし、最終的に作物の樹冠被覆率を
で算出する。Ｃｉは作物樹冠被覆領域として分類された画素のうち、ｉ番目の画素を表す。
【数26】
【0042】
前述の背景フィルタリングに基づく少量データ学習の作物樹冠被覆率の計算方法の実施形態に対応して、本発明は、背景フィルタリングに基づく少量データ学習の作物樹冠被覆率の計算装置の実施形態も提供する。
【0043】
図４を参照し、本発明の実施形態により提供される背景フィルタリングに基づく少量データ学習の作物樹冠被覆率の計算装置は、１つ以上のプロセッサを含み、前記１つ以上のプロセッサは、上記実施形態における背景フィルタリングに基づく少量データ学習の作物樹冠被覆率の計算方法を実施するために用いられる。
【0044】
本発明の背景フィルタリングに基づく少量データ学習の作物樹冠被覆率の計算方法の実施形態は、データ処理能力を有する任意のデバイスに適用することができ、当該データ処理能力を有する任意のデバイスは、コンピュータのようなデバイスまたは装置であってもよい。装置の実施形態は、ソフトウェアによって実現されてもよいし、ハードウェアによって実現されてもよいし、ハードウェアとソフトウェアの組み合わせによって実現されてもよい。ソフトウェアによる実現を例にとると、ロジック的な意味の装置として、位置するデータ処理能力を有する任意のデバイスのプロセッサが不揮発性メモリから対応するコンピュータプログラム命令をメモリに読み込んで実行することで形成される。ハードウェアレベルでは、図４に示すように、本発明の背景フィルタリングに基づく少量データ学習の作物樹冠被覆率の計算装置がデータ処理能力を有する任意のデバイスのハードウェア構造が示されており、図４に示すプロセッサ、メモリ、ネットワークインタフェース、不揮発性メモリの他に、実施形態の装置が位置するデータ処理能力を有する任意のデバイスは、当該データ処理能力を有する任意のデバイスの実際の機能によっては、通常、他のハードウェアも含み得るが、ここでは説明を省略する。
【0045】
上記装置における各ユニットの機能と役割の実現プロセスについては、上記方法における対応するステップの実現プロセスに具体的に詳述されているので、ここでは繰り返さない。
【0046】
装置の実施形態については、基本的に方法の実施形態に対応するので、関連する部分については方法の実施形態の説明の一部を参照すればよい。上述した装置の実施形態は、単に例示的なものであり、分離された構成要素として説明されたユニットは、物理的に分離されていてもいなくてもよく、ユニットとして示された構成要素は、物理的なユニットであってもなくてもよく、すなわち、１つの場所に配置されていてもよく、複数のネットワークユニットに分散されていてもよい。実際のニーズに応じて、本発明の目的を達成するために、これらのモジュールの一部または全部を選択することができる。当業者であれば、創造的な労力を要することなく理解し、実施することができる。
【0047】
本発明の実施形態は、プロセッサによって実行されると、上記実施形態における背景フィルタリングに基づく少量データ学習の作物樹冠被覆率の計算方法が実施されるプログラムを記憶したコンピュータ可読記憶媒体も提供する。
【0048】
前記コンピュータ可読記憶媒体は、前記いずれかの実施形態で説明したデータ処理能力を有する任意のデバイスのハードディスクやメモリなどの内部記憶ユニットであってもよい。また、前記コンピュータ可読記憶媒体は、前記デバイスに設けられたプラグインハードディスク、スマートメディアカード（Ｓｍａｒｔ Ｍｅｄｉａ（登録商標） Ｃａｒｄ、ＳＭＣ）、ＳＤカード、フラッシュカード（Ｆｌａｓｈ Ｃａｒｄ）などの外部記憶デバイスであってもよい。さらに、前記コンピュータ可読記憶媒体は、データ処理能力を有する任意のデバイスの内部記憶ユニットと外部記憶デバイスの両方を含むことも可能である。前記コンピュータ可読記憶媒体は、コンピュータプログラムおよびデータ処理能力を有する任意のデバイスが必要とする他のプログラムおよびデータを記憶するために用いられ、また、出力されたデータまたは出力される予定のデータを一時的に記憶するためにも用いられ得る。
【0049】
前述は本発明の好ましい実施形態に過ぎず、いかなる形で本発明を限定するものではない。本発明の実施プロセスを前述で詳細に説明したが、当業者であれば、前述した実施例に記載された技術的解決策を修正したり、その技術的特徴の一部を等価置換したりすることができる。本発明の精神および原理の範囲内で行われた修正または等価置換などは、本発明の保護範囲に含まれるものとする。
【図1】
【図2】
【図3】
【図4】
