▶ グアンジョウ エックスエアークラフト テクノロジー カンパニー リミテッドの特許一覧
特許7307743作業対象領域境界の取得方法および装置、並びに作業経路の計画方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-07-04
(45)【発行日】2023-07-12
(54)【発明の名称】作業対象領域境界の取得方法および装置、並びに作業経路の計画方法
(51)【国際特許分類】
G06T 7/00 20170101AFI20230705BHJP
G06T 7/11 20170101ALI20230705BHJP
G05D 1/02 20200101ALI20230705BHJP
G06N 3/04 20230101ALI20230705BHJP
G06N 3/08 20230101ALI20230705BHJP
【ＦＩ】
G06T7/00 350C
G06T7/00 640
G06T7/11
G05D1/02 N
G06N3/04
G06N3/08
【請求項の数】
13
(21)【出願番号】P 2020551274
(86)(22)【出願日】2019-02-19
(65)【公表番号】
(43)【公表日】2021-07-15
(86)【国際出願番号】 CN2019075456
(87)【国際公開番号】W WO2019179269
(87)【国際公開日】2019-09-26
【審査請求日】2020-09-18
(31)【優先権主張番号】201810236417.6
(32)【優先日】2018-03-21
(33)【優先権主張国・地域又は機関】CN
【前置審査】
(73)【特許権者】
【識別番号】520027202
【氏名又は名称】グアンジョウ エックスエアークラフト テクノロジー カンパニー リミテッド
(74)【代理人】
【識別番号】100103850
【弁理士】
【氏名又は名称】田中 秀▲てつ▼
(74)【代理人】
【識別番号】100105854
【弁理士】
【氏名又は名称】廣瀬 一
(74)【代理人】
【識別番号】100115679
【弁理士】
【氏名又は名称】山田 勇毅
(74)【代理人】
【識別番号】100114177
【弁理士】
【氏名又は名称】小林 龍
(74)【代理人】
【識別番号】100066980
【弁理士】
【氏名又は名称】森 哲也
(72)【発明者】
【氏名】ダイ，シュアンリャン
【審査官】山田 辰美
(56)【参考文献】
【文献】国際公開第２０１７／２００６２２（ＷＯ，Ａ２）
【文献】特開２００８－２１７７０６（ＪＰ，Ａ）
【文献】特開２０１５－１６０４２０（ＪＰ，Ａ）
【文献】中国特許出願公開第１０７７８４３０８（ＣＮ，Ａ）
【文献】中国特許出願公開第１０７３６８０９４（ＣＮ，Ａ）
【文献】特開２０１７－１２６３０４（ＪＰ，Ａ）
【文献】特開２０１８－０４１４０６（ＪＰ，Ａ）
【文献】薮崎 隼人，畳み込みニューラルネットワークを用いた脂肪細胞セグメンテーションにおける分割精度改善手法の提案，情報処理学会 研究報告 数理モデル化と問題解決（ＭＰＳ） ２０１７－ＭＰＳ－１１２ ［ｏｎｌｉｎｅ］ ，日本，情報処理学会，2017年
【文献】山下 隆義，Ｍｕｌｔｉｐｌｅ Ｄｉｌａｔｅｄ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｂｌｏｃｋｓによるセマンティクセグメンテーション，第２３回 画像センシングシンポジウム ＳＳＩＩ２０１７ ［ＵＳＢ］ The 23rd Symposium on Sensing via Image Information，日本，画像センシング技術研究会，2017年
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００
Ｇ０６Ｔ ７／１１
Ｇ０５Ｄ １／０２
Ｇ０６Ｎ ３／０４
Ｇ０６Ｎ ３／０８
(57)【特許請求の範囲】
【請求項1】
作業対象領域を含む当初画像を事前設定識別モデルに入力するステップと、前記事前設定識別モデルから出力された目標画像を取得するステップと、
前記目標画像に基づいて前記作業対象領域の境界を取得するステップとを含み、
前記事前設定識別モデルは、予め取得した当初農地画像と、予め取得した当初農地画像に基づいてマーキングした農地領域の農地画像および非農地領域の農地画像とを含むトレーニングサンプルに基づいてトレーニングされてなり、農地領域の農地画像は、農地領域の形状情報および分布情報を含み、
前記目標画像には、農地境界情報が含まれており、
前記事前設定識別モデルは、深層学習ネットワークモデルであり、
前記深層学習ネットワークモデルは、
第１数の畳み込み層を含む畳み込みモジュールと、
第２数の逆畳み込み層を含む逆畳み込みモジュールと、
特徴融合モジュールと、を含み、
前記畳み込みモジュールは、前記第１数の畳み込み層によって、前記当初画像の特徴を抽出して前記逆畳み込みモジュールに出力するためのものであり、
前記逆畳み込みモジュールは、前記第２数の逆畳み込み層によって、前記畳み込みモジュールから出力された特徴に基づいて画像特徴の復元処理を行うためのものであり、
前記特徴融合モジュールは、前記逆畳み込みモジュールの各層において画像特徴の復元処理を行った画像特徴を融合して出力画像を得るためのものであり、
前記深層学習ネットワークモデルの損失関数は、
ｌｏｓｓ＝－βΣｌｏｇｐ（ｙ ｊ ＝１｜Ｘ）－（１－β）Σｌｏｇ（ｙ ｊ ＝０｜Ｘ）
となり、
ｌｏｓｓは損失値であり、Ｘは目標領域および非目標領域がマーキングされた画像サンプルであり、βは前記画像サンプルＸにおける目標農地ブロックの画素数の、前記画像サンプルＸの総画素数に占める割合であり、ｐ（ｙ ｊ ＝１｜Ｘ）は前記画像サンプルＸにおける画素ｊが活性化関数を経由した出力値である、
ことを特徴とする作業対象領域境界の取得方法。
【請求項2】
前記畳み込み層と前記逆畳み込み層とは、カスケード接続構造によって接続されており、前記逆畳み込みモジュールは、さらに、
前記第２数の逆畳み込み層によって対応する逆畳み込み層にカスケード接続された前記畳み込み層の畳み込み処理情報を取得するとともに、対応する逆畳み込み層よりも上層の逆畳み込み結果と対応する逆畳み込み層にカスケード接続された前記畳み込み層の前記畳み込み処理情報とを重畳することにより、前記対応する逆畳み込み層の逆畳み込み結果を得るためのものである、
ことを特徴とする請求項１に記載の方法。
【請求項3】
各前記畳み込み層は、前記畳み込み層に入力された画像を膨張演算することにより、前記畳み込み層に入力された画像の特徴を抽出する、ことを特徴とする請求項１または２に記載の方法。
【請求項4】
前記逆畳み込みモジュールは、分離可能な畳み込み構造とする、ことを特徴とする請求項１または２に記載の方法。
【請求項5】
前記目標画像に基づいて前記作業対象領域の境界を取得する前記ステップは、境界検出アルゴリズムに基づいて前記目標画像を検出して、前記目標画像に含まれる前記作業対象領域の境界を特定するステップを含む、
ことを特徴とする請求項１に記載の方法。
【請求項6】
前記境界検出アルゴリズムに基づいて前記目標画像を検出して、前記目標画像に含まれる前記作業対象領域の境界を特定する前記ステップは、境界検出アルゴリズムに基づいて前記目標画像を検出し、前記目標画像に含まれる農地ブロックの境界点を特定するステップと、
前記農地ブロックの境界点に対して膨張・平滑化処理を行って、前記目標画像に含まれる前記作業対象領域の境界を特定するステップとを含む、
ことを特徴とする請求項５に記載の方法。
【請求項7】
前記目標画像に基づいて前記作業対象領域の境界を取得する前記ステップは、事前設定検出アルゴリズムに基づいて前記目標画像を検出して、前記目標画像に含まれる前記作業対象領域の境界を特定するステップを含み、
前記事前設定検出アルゴリズムは、色検出アルゴリズム、密度検出アルゴリズム、マルチスペクトル検出アルゴリズムのうちの１つまたは複数を含む、
ことを特徴とする請求項１に記載の方法。
【請求項8】
作業経路の計画用の当初画像を取得するステップと、請求項１から７のいずれか１項に記載の作業対象領域境界の取得方法によって、前記当初画像における作業対象領域の境界を取得するステップと、
取得した前記作業対象領域の境界に基づいて、対応する作業対象領域における移動機器の作業経路を特定するステップとを含む、
ことを特徴とする作業経路の計画方法。
【請求項9】
取得した前記作業対象領域の境界に基づいて、対応する作業対象領域における移動機器の作業経路を特定する前記ステップは、取得した前記作業対象領域の境界データを、前記当初画像のうち、前記作業対象領域が位置する領域の画像である前記作業対象領域の画像に重畳するステップと、
作業対象領域の境界データが重畳された前記作業対象領域の画像に基づいて、前記作業対象領域における移動機器の作業経路を特定するステップとを含む、
ことを特徴とする請求項８に記載の方法。
【請求項10】
前記作業対象領域の各境界の２つのノードのそれぞれは、第１のノードおよび第２のノードであり、いずれか１つの境界を開始境界として特定し、当該開始境界の２つのノードのそれぞれを起点ノードおよび終点ノードとして特定するステップと、
前記起点ノードを現在のノードとして捜索し、現在のノードと重なり合ういずれか１つの境界の第１のノードを捜索すると、当該境界の第２のノードを現在のノードとして継続して捜索し、前記終点ノードと重なり合ういずれか１つの境界の第２のノードを捜索すると、捜索した全ての境界で囲まれた領域を候補領域として特定するステップと、
前記候補領域に境界が含まれていないと、当該候補領域を作業対象領域として特定するステップとをさらに含む、
ことを特徴とする請求項８または９に記載の方法。
【請求項11】
前記作業対象領域を強調表示するステップと、ユーザからの選択操作に応じて、前記作業対象領域のち計画対象領域を特定するステップと、
前記計画対象領域に対して経路の計画を行うステップとをさらに含む、
ことを特徴とする請求項１０に記載の方法。
【請求項12】
作業対象領域を含む当初画像を事前設定識別モデルに入力するように構成された当初画像入力モジュールと、前記事前設定識別モデルから出力された目標画像を取得するように構成された目標画像取得モジュールと、
前記目標画像に基づいて前記作業対象領域の境界を取得するように構成された作業対象領域境界取得モジュールと、を含み、
前記事前設定識別モデルは、予め取得した当初農地画像と、予め取得した当初農地画像に基づいてマーキングした農地領域の農地画像および非農地領域の農地画像とを含むトレーニングサンプルに基づいてトレーニングされてなり、農地領域の農地画像は、農地領域の形状情報および分布情報を含み、
前記目標画像には、農地境界情報が含まれており、
前記事前設定識別モデルは、深層学習ネットワークモデルであり、
前記深層学習ネットワークモデルは、
第１数の畳み込み層を含む畳み込みモジュールと、
第２数の逆畳み込み層を含む逆畳み込みモジュールと、
特徴融合モジュールと、を含み、
前記畳み込みモジュールは、前記第１数の畳み込み層によって、前記当初画像の特徴を抽出して前記逆畳み込みモジュールに出力するためのものであり、
前記逆畳み込みモジュールは、前記第２数の逆畳み込み層によって、前記畳み込みモジュールから出力された特徴に基づいて画像特徴の復元処理を行うためのものであり、
前記特徴融合モジュールは、前記逆畳み込みモジュールの各層において画像特徴の復元処理を行った画像特徴を融合して出力画像を得るためのものであり、
前記深層学習ネットワークモデルの損失関数は、
ｌｏｓｓ＝－βΣｌｏｇｐ（ｙ ｊ ＝１｜Ｘ）－（１－β）Σｌｏｇ（ｙ ｊ ＝０｜Ｘ）
となり、
ｌｏｓｓは損失値であり、Ｘは目標領域および非目標領域がマーキングされた画像サンプルであり、βは前記画像サンプルＸにおける目標農地ブロックの画素数の、前記画像サンプルＸの総画素数に占める割合であり、ｐ（ｙ ｊ ＝１｜Ｘ）は前記画像サンプルＸにおける画素ｊが活性化関数を経由した出力値である、
ことを特徴とする作業対象領域境界の取得装置。
【請求項13】
作業経路の計画用の当初画像を取得するように構成された当初画像取得モジュールと、請求項１から７のいずれか１項に記載の作業対象領域境界の取得方法によって、前記当初画像における作業対象領域の境界を取得するように構成された作業対象領域境界取得モジュールと、
取得された前記作業対象領域の境界に基づいて、対応する作業対象領域における移動機器の作業経路を特定する作業経路計画モジュールと、を含む、
ことを特徴とする作業経路の計画装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、農業植物保護の技術分野に関し、特に、作業対象領域境界の取得方法および装置、並びに作業経路の計画方法に関する。
【背景技術】
【0002】
農薬散布等のような農業植物保護の適用において、ドローンは、他の農機に対して巨大な優位性を有するので、近年幅広く応用されてきた。ドローンによる植物保護には、正確な経路を必要とするが、従来の経路計画は、通常、人工的な計画とマッピングデータに基づく自動的計画との２つの方法がある。マッピングデータに基づいて自動的に計画する過程において、マッピングデータの正確性は、ドローンの飛行経路の計画の正確性と安全性に直接影響を与える。従来、例えば、作業対象領域である農地の境界などの通常のマッピングデータは、人工的にマッピングするか、または、最初にマッピングドローンによって農地データを取得した後に人工的に処理を行うことによって、最終に農地境界データを取得して、農地境界データに基づいてドローンの作業経路を計画するようになっている。このように、従来の農地境界データを取得するには、人工的に処理しなければならない。
以上のように、従来の農地境界の取得方法では、少なくとも、人工的な処理が必要であるため、効率が低下するという課題が存在する。
以上のように、従来の農地境界の取得方法では、少なくとも、人工的な処理が必要であるため、効率が低下するという課題が存在する。
【発明の概要】
【発明が解決しようとする課題】
【0003】
本発明の実施例は、従来の作業対象領域境界の取得方法では人工的な処理が必要であるため、効率が低下するという課題を少なくとも解決するための、作業対象領域境界の取得方法および装置、並びに作業経路の計画方法を提供する。
【課題を解決するための手段】
【0004】
本発明の実施例の第１の側面によれば、
作業対象領域を含む当初画像を事前設定識別モデルに入力するステップと、
前記事前設定識別モデルから出力された目標画像を取得するステップと、
前記目標画像に基づいて前記作業対象領域の境界を取得するステップとを含む作業対象領域境界の取得方法を提供する。
作業対象領域を含む当初画像を事前設定識別モデルに入力するステップと、
前記事前設定識別モデルから出力された目標画像を取得するステップと、
前記目標画像に基づいて前記作業対象領域の境界を取得するステップとを含む作業対象領域境界の取得方法を提供する。
【0005】
また、前記事前設定識別モデルは、深層学習ネットワークモデルであり、前記深層学習ネットワークモデルは、第１数の畳み込み層を含む畳み込みモジュールと、第２数の逆畳み込み層を含む逆畳み込みモジュールと、特徴融合モジュールとを含み、
前記畳み込みモジュールは、前記第１数の畳み込み層によって、前記当初画像の特徴を抽出して前記逆畳み込みモジュールに出力するためのものであり、
前記逆畳み込みモジュールは、前記第２数の逆畳み込み層によって、前記畳み込みモジュールから出力された特徴に基づいて画像特徴の復元処理を行うためのものであり、
前記特徴融合モジュールは、前記逆畳み込みモジュールの各層において画像特徴の復元処理を行った画像特徴を融合して出力画像を得るためのものであってもよい。
前記畳み込みモジュールは、前記第１数の畳み込み層によって、前記当初画像の特徴を抽出して前記逆畳み込みモジュールに出力するためのものであり、
前記逆畳み込みモジュールは、前記第２数の逆畳み込み層によって、前記畳み込みモジュールから出力された特徴に基づいて画像特徴の復元処理を行うためのものであり、
前記特徴融合モジュールは、前記逆畳み込みモジュールの各層において画像特徴の復元処理を行った画像特徴を融合して出力画像を得るためのものであってもよい。
【0006】
また、前記畳み込み層と逆畳み込み層とは、カスケード接続構造によって接続されており、前記逆畳み込みモジュールは、前記第２数の逆畳み込み層によって対応する逆畳み込み層にカスケード接続された前記畳み込み層の畳み込み処理情報を取得するとともに、対応する逆畳み込み層よりも上層の逆畳み込み結果と対応する逆畳み込み層にカスケード接続された前記畳み込み層の前記畳み込み処理情報とを重畳することにより、前記対応する逆畳み込み層の逆畳み込み結果を得るためのものであってもよい。
【0007】
また、各前記畳み込み層は、前記畳み込み層に入力された画像を膨張演算することにより、前記畳み込み層に入力された画像の特徴を抽出してもよい。
また、前記逆畳み込みモジュールは、分離可能な畳み込み構造としてもよい。
また、前記深層学習ネットワークモデルの損失関数は、
ｌｏｓｓ＝－βΣｌｏｇｐ（ｙｊ＝１｜Ｘ）－（１－β）Σｌｏｇ（ｙｊ＝０｜Ｘ）
となり、
ここで、ｌｏｓｓは損失値であり、Ｘは目標領域および非目標領域がマーキングされた画像サンプルであり、βは前記画像サンプルＸにおける目標農地ブロックの画素数の、前記画像サンプルＸの総画素数に占める割合であり、ｐ（ｙ j =１|Ｘ）は前記画像サンプルＸにおける画素ｊが活性化関数を経由した出力値であってもよい。
また、前記逆畳み込みモジュールは、分離可能な畳み込み構造としてもよい。
また、前記深層学習ネットワークモデルの損失関数は、
ｌｏｓｓ＝－βΣｌｏｇｐ（ｙｊ＝１｜Ｘ）－（１－β）Σｌｏｇ（ｙｊ＝０｜Ｘ）
となり、
ここで、ｌｏｓｓは損失値であり、Ｘは目標領域および非目標領域がマーキングされた画像サンプルであり、βは前記画像サンプルＸにおける目標農地ブロックの画素数の、前記画像サンプルＸの総画素数に占める割合であり、ｐ（ｙ j =１|Ｘ）は前記画像サンプルＸにおける画素ｊが活性化関数を経由した出力値であってもよい。
【0008】
また、前記目標画像に基づいて前記作業対象領域の境界を取得する前記ステップは、境界検出アルゴリズムに基づいて前記目標画像を検出して、前記目標画像に含まれる前記作業対象領域の境界を特定するステップを含んでもよい。
また、前記境界検出アルゴリズムに基づいて前記目標画像を検出して、前記目標画像に含まれる前記作業対象領域の境界を特定する前記ステップは、
境界検出アルゴリズムに基づいて前記目標画像を検出して、前記目標画像に含まれる前記農地ブロックの境界点を特定するステップと、
前記農地ブロックの境界点に基づいて膨張・平滑化処理を行って、前記目標画像に含まれる前記作業対象領域の境界を特定するステップとを含んでもよい。
また、前記境界検出アルゴリズムに基づいて前記目標画像を検出して、前記目標画像に含まれる前記作業対象領域の境界を特定する前記ステップは、
境界検出アルゴリズムに基づいて前記目標画像を検出して、前記目標画像に含まれる前記農地ブロックの境界点を特定するステップと、
前記農地ブロックの境界点に基づいて膨張・平滑化処理を行って、前記目標画像に含まれる前記作業対象領域の境界を特定するステップとを含んでもよい。
【0009】
また、前記目標画像に基づいて前記作業対象領域の境界を取得する前記ステップは、事前設定検出アルゴリズムに基づいて前記目標画像を検出して、前記目標画像に含まれる前記作業対象領域の境界を特定するステップを含み、前記事前設定検出アルゴリズムは、色検出アルゴリズム、密度検出アルゴリズム、マルチスペクトル検出アルゴリズムのうちの１つまたは複数を含んでもよい。
【0010】
本発明の実施例の第２の側面によれば、
作業対象領域を含む当初画像を事前設定識別モデルに入力するための当初画像入力モジュールと、
前記事前設定識別モデルから出力された目標画像を取得するための目標画像取得モジュールと、
前記目標画像に基づいて前記作業対象領域の境界を取得するための作業対象領域境界取得モジュールとを含む作業対象領域境界の取得装置を提供する。
作業対象領域を含む当初画像を事前設定識別モデルに入力するための当初画像入力モジュールと、
前記事前設定識別モデルから出力された目標画像を取得するための目標画像取得モジュールと、
前記目標画像に基づいて前記作業対象領域の境界を取得するための作業対象領域境界取得モジュールとを含む作業対象領域境界の取得装置を提供する。
【0011】
また、前記事前設定識別モデルは、深層学習ネットワークモデルであり、前記深層学習ネットワークモデルは、第１数の畳み込み層を含む畳み込みモジュールと、第２数の逆畳み込み層を含む逆畳み込みモジュールと、特徴融合モジュールとを含み、
前記畳み込みモジュールは、前記第１数の畳み込み層によって、前記当初画像の特徴を抽出して前記逆畳み込みモジュールに出力するためのものであり、
前記逆畳み込みモジュールは、前記第２数の逆畳み込み層によって、前記畳み込みモジュールから出力された特徴に基づいて画像特徴の復元処理を行うためのものであり、
前記特徴融合モジュールは、前記逆畳み込みモジュールの各層において画像特徴の復元処理を行った画像特徴を融合して出力画像を得るためのものであってもよい。
前記畳み込みモジュールは、前記第１数の畳み込み層によって、前記当初画像の特徴を抽出して前記逆畳み込みモジュールに出力するためのものであり、
前記逆畳み込みモジュールは、前記第２数の逆畳み込み層によって、前記畳み込みモジュールから出力された特徴に基づいて画像特徴の復元処理を行うためのものであり、
前記特徴融合モジュールは、前記逆畳み込みモジュールの各層において画像特徴の復元処理を行った画像特徴を融合して出力画像を得るためのものであってもよい。
【0012】
また、前記畳み込み層と逆畳み込み層とは、カスケード接続構造によって接続されており、前記逆畳み込みモジュールは、前記第２数の逆畳み込み層によって対応する逆畳み込み層にカスケード接続された前記畳み込み層の畳み込み処理情報を取得するとともに、対応する逆畳み込み層よりも上層の逆畳み込み結果と対応する逆畳み込み層にカスケード接続された前記畳み込み層の前記畳み込み処理情報とを重畳することにより、前記対応する逆畳み込み層の逆畳み込み結果を得るためのものであってもよい。
また、各前記畳み込み層は、前記畳み込み層に入力された画像を膨張演算することにより、前記畳み込み層に入力された画像の特徴を抽出してもよい。
また、前記逆畳み込みモジュールは、分離可能な畳み込み構造としてもよい。
また、各前記畳み込み層は、前記畳み込み層に入力された画像を膨張演算することにより、前記畳み込み層に入力された画像の特徴を抽出してもよい。
また、前記逆畳み込みモジュールは、分離可能な畳み込み構造としてもよい。
【0013】
また、前記深層学習ネットワークモデルの損失関数は、
ｌｏｓｓ＝－βΣｌｏｇｐ（ｙｊ＝１｜Ｘ）－（１－β）Σｌｏｇ（ｙｊ＝０｜Ｘ）
となり、
ここで、ｌｏｓｓは損失値であり、Ｘは目標領域および非目標領域がマーキングされた画像サンプルであり、βは前記画像サンプルＸにおける目標農地ブロックの画素数の、前記画像サンプルＸの総画素数に占める割合であり、ｐ（ｙ j =１|Ｘ）は前記画像サンプルＸにおける画素ｊが活性化関数を経由した出力値であってもよい。
ｌｏｓｓ＝－βΣｌｏｇｐ（ｙｊ＝１｜Ｘ）－（１－β）Σｌｏｇ（ｙｊ＝０｜Ｘ）
となり、
ここで、ｌｏｓｓは損失値であり、Ｘは目標領域および非目標領域がマーキングされた画像サンプルであり、βは前記画像サンプルＸにおける目標農地ブロックの画素数の、前記画像サンプルＸの総画素数に占める割合であり、ｐ（ｙ j =１|Ｘ）は前記画像サンプルＸにおける画素ｊが活性化関数を経由した出力値であってもよい。
【0014】
また、前記作業対象領域境界取得モジュールは、さらに、境界検出アルゴリズムに基づいて前記目標画像を検出して、前記目標画像に含まれる前記作業対象領域の境界を特定するためのものであってもよい。
また、前記境界検出アルゴリズムに基づいて前記目標画像を検出して、前記目標画像に含まれる前記作業対象領域の境界を特定することは、
境界検出アルゴリズムに基づいて前記目標画像を検出して、前記目標画像に含まれる前記農地ブロックの境界点を特定し、
前記農地ブロックの境界点に基づいて膨張・平滑化処理を行って、前記目標画像に含まれる前記作業対象領域の境界を特定することを含んでもよい。
また、前記境界検出アルゴリズムに基づいて前記目標画像を検出して、前記目標画像に含まれる前記作業対象領域の境界を特定することは、
境界検出アルゴリズムに基づいて前記目標画像を検出して、前記目標画像に含まれる前記農地ブロックの境界点を特定し、
前記農地ブロックの境界点に基づいて膨張・平滑化処理を行って、前記目標画像に含まれる前記作業対象領域の境界を特定することを含んでもよい。
【0015】
また、前記目標画像に基づいて前記作業対象領域の境界を取得するステップは、事前設定検出アルゴリズムに基づいて前記目標画像を検出して、前記目標画像に含まれる前記作業対象領域の境界を特定することを含み、前記事前設定検出アルゴリズムは、色検出アルゴリズム、密度検出アルゴリズム、マルチスペクトル検出アルゴリズムのうちの１つまたは複数を含んでもよい。
【0016】
本発明の実施例の第３の側面によれば、
作業経路の計画用の当初画像を取得するステップと、
本発明の実施例に記載の作業対象領域境界の取得方法によって、前記当初画像における作業対象領域の境界を取得するステップと、
取得した前記作業対象領域の境界に基づいて、対応する作業対象領域における移動機器の作業経路を特定するステップとを含む作業経路の計画方法を提供する。
また、前記取得した前記作業対象領域の境界に基づいて、対応する作業対象領域における移動機器の作業経路を特定する前記ステップは、
取得した前記作業対象領域の境界データを、前記当初画像のうち、前記作業対象領域が位置する領域の画像である前記作業対象領域の画像に重畳し、
作業対象領域の境界データが重畳された前記作業対象領域の画像に基づいて、前記作業対象領域における移動機器の作業経路を特定することを含んでもよい。
作業経路の計画用の当初画像を取得するステップと、
本発明の実施例に記載の作業対象領域境界の取得方法によって、前記当初画像における作業対象領域の境界を取得するステップと、
取得した前記作業対象領域の境界に基づいて、対応する作業対象領域における移動機器の作業経路を特定するステップとを含む作業経路の計画方法を提供する。
また、前記取得した前記作業対象領域の境界に基づいて、対応する作業対象領域における移動機器の作業経路を特定する前記ステップは、
取得した前記作業対象領域の境界データを、前記当初画像のうち、前記作業対象領域が位置する領域の画像である前記作業対象領域の画像に重畳し、
作業対象領域の境界データが重畳された前記作業対象領域の画像に基づいて、前記作業対象領域における移動機器の作業経路を特定することを含んでもよい。
【0017】
また、前記作業対象領域の各境界の２つのノードのそれぞれは、第１のノードおよび第２のノードであり、
前記方法は、いずれか１つの境界を開始境界として特定し、この開始境界の２つのノードのそれぞれを起点ノードと終点ノードとして特定するステップと、
前記起点ノードを現在のノードとして捜索し、現在のノードと重なり合ういずれか１つの境界の第１のノードを捜索すると、当該境界の第２のノードを現在のノードとして継続して捜索し、前記終点ノードと重なり合ういずれか１つの境界の第２のノードを捜索すると、捜索した全ての境界で囲まれた領域を候補領域として特定するステップと、
前記候補領域に境界が含まれていないと、当該候補領域を作業対象領域として特定するステップとを含んでもよい。
前記方法は、いずれか１つの境界を開始境界として特定し、この開始境界の２つのノードのそれぞれを起点ノードと終点ノードとして特定するステップと、
前記起点ノードを現在のノードとして捜索し、現在のノードと重なり合ういずれか１つの境界の第１のノードを捜索すると、当該境界の第２のノードを現在のノードとして継続して捜索し、前記終点ノードと重なり合ういずれか１つの境界の第２のノードを捜索すると、捜索した全ての境界で囲まれた領域を候補領域として特定するステップと、
前記候補領域に境界が含まれていないと、当該候補領域を作業対象領域として特定するステップとを含んでもよい。
【0018】
また、前記方法は、
前記作業対象領域を強調表示するステップと、
ユーザからの選択操作に応じて、前記作業対象領域における計画対象領域を特定するステップと、
前記計画対象領域に対して経路の計画を行うステップとを含んでもよい。
前記作業対象領域を強調表示するステップと、
ユーザからの選択操作に応じて、前記作業対象領域における計画対象領域を特定するステップと、
前記計画対象領域に対して経路の計画を行うステップとを含んでもよい。
【0019】
本発明の実施例の第４の側面によれば、
作業経路の計画用の当初画像を取得する当初画像取得モジュールと、
前記当初画像における作業対象領域の境界を、本発明の実施例に記載される作業対象領域境界の取得方法により取得する作業対象領域境界取得モジュールと、
取得した前記作業対象領域の境界に基づいて、当該作業対象領域における移動機器の作業経路を特定する作業経路計画モジュールとを含む作業経路の計画装置を提供する。
作業経路の計画用の当初画像を取得する当初画像取得モジュールと、
前記当初画像における作業対象領域の境界を、本発明の実施例に記載される作業対象領域境界の取得方法により取得する作業対象領域境界取得モジュールと、
取得した前記作業対象領域の境界に基づいて、当該作業対象領域における移動機器の作業経路を特定する作業経路計画モジュールとを含む作業経路の計画装置を提供する。
【0020】
また、前記作業経路計画モジュールは、さらに、
取得した前記作業対象領域の境界データを前記当初画像のうち、前記作業対象領域が位置する領域の画像である前記作業対象領域の画像に重畳し、
作業対象領域の境界データが重畳された前記作業対象領域の画像に基づいて、前記作業対象領域における移動機器の作業経路を特定するためのものであってもよい。
取得した前記作業対象領域の境界データを前記当初画像のうち、前記作業対象領域が位置する領域の画像である前記作業対象領域の画像に重畳し、
作業対象領域の境界データが重畳された前記作業対象領域の画像に基づいて、前記作業対象領域における移動機器の作業経路を特定するためのものであってもよい。
【0021】
また、前記作業対象領域の各境界の２つのノードのそれぞれは、第１のノードおよび第２のノードであり、
前記作業経路計画モジュールは、さらに、
いずれか１つの境界を開始境界として特定し、この開始境界の２つのノードのそれぞれを起点ノードと終点ノードとして特定し、
前記起点ノードを現在のノードとして捜索し、現在のノードと重なり合ういずれか１つの境界の第１のノードを捜索すると、当該境界の第２のノードを現在のノードとして継続して捜索し、前記終点ノードと重なり合ういずれか１つの境界の第２のノードを捜索すると、捜索した全ての境界で囲まれた領域を候補領域として特定し、
前記候補領域に境界が含まれていないと、当該候補領域を作業対象領域として特定するためのものであってもよい。
前記作業経路計画モジュールは、さらに、
いずれか１つの境界を開始境界として特定し、この開始境界の２つのノードのそれぞれを起点ノードと終点ノードとして特定し、
前記起点ノードを現在のノードとして捜索し、現在のノードと重なり合ういずれか１つの境界の第１のノードを捜索すると、当該境界の第２のノードを現在のノードとして継続して捜索し、前記終点ノードと重なり合ういずれか１つの境界の第２のノードを捜索すると、捜索した全ての境界で囲まれた領域を候補領域として特定し、
前記候補領域に境界が含まれていないと、当該候補領域を作業対象領域として特定するためのものであってもよい。
【0022】
また、前記作業経路計画モジュールは、さらに、
前記作業対象領域を強調表示し、
ユーザからの選択操作に応じて、前記作業対象領域における計画対象領域を特定し、
前記計画対象領域に対して経路の計画を行うためのものであってもよい。
前記作業対象領域を強調表示し、
ユーザからの選択操作に応じて、前記作業対象領域における計画対象領域を特定し、
前記計画対象領域に対して経路の計画を行うためのものであってもよい。
【発明の効果】
【0023】
このように、本発明の実施例に記載の作業対象領域境界の取得方法は、作業対象領域を含む当初画像を事前設定識別モデルに入力し、前記事前設定識別モデルから出力された目標画像を取得し、前記目標画像に基づいて前記作業対象領域の境界を取得することによって、従来の、農地の境界を取得するために農地画像に対してデータ処理を人工的に行う必要があるので、効率が低下するという課題を解決することができる。また、深層学習ネットワークモデルと合せることによって、画像における作業対象領域の境界を取得し、さらに作業経路の計画に使用することにより、作業対象領域の境界を自動的に識別し、作業経路の計画を自動的に行うことができ、人工的な参加が必要ではなくなり、作業対象領域の境界をリアルタイムで取得することができ、作業対象領域の境界を取得する効率を効果的に向上させることができる。
【0024】
以下、本発明の実施例の技術手段をより明瞭に説明するために、本発明の実施例の説明に必要な図面を簡単に説明するが、以下に説明する図面は、本発明のいくつかの実施例に関するものに過ぎず、当業者にとっては、進歩性のある労働をせずにれらの図面に基づいて他の図面を得ることができることは明らかである。
【図面の簡単な説明】
【0025】
【図1】本発明の実施例１に係る作業対象領域境界の取得方法を示すフローチャートである。
【図2】本発明の実施例１における当初画像を示す図である。
【図4】本発明の実施例２に係る作業対象領域境界の取得方法を示すフローチャートである。
【図5】本発明の実施例２で取得された当初農地画像を示す図である。
【図7】本発明の実施例２における深層学習ネットワークモデルの構造を示す図である。
【図8】本発明の実施例３に係る作業経路の計画方法を示すフローチャートである。
【図10】本発明の実施例４に係る作業対象領域境界の取得装置の構造を示す図である。
【図11】本発明の実施例５に係る作業経路の計画装置の構造を示す図である。
【発明を実施するための形態】
【0026】
以下、当業者が本発明の技術手段をよりよく理解するために、本発明の実施例に関する図面を参照しながら本発明の実施例の技術手段を明瞭かつ完全に説明するが、以下に説明する実施例は本発明の実施例の全部ではなく、その一部に過ぎないことは言うまでもない。また、当業者が本発明の実施例に基づいて進歩性のある労働をせずに得られる他の実施例のいずれも本発明の保護範囲に含まれる。
【0027】
なお、本発明の明細書および特許請求の範囲、並びに上記の図面における「第１」、「第２」等の用語は、類似する対象を区別するためのものであり、必ずしも特定の順序や優先順位を記述するものではない。なお、このように使用するデータは、ここで説明する本発明の実施例をここで図示や説明したもの以外の順序で実施できるように、適宜に交換してもよいと理解すべきである。また、「含む」や「有する」などの用語、およびそれらのいかなる変形は、非排他的な包含をカバーし、例えば一連のステップまたはユニットを含む過程、方法、システム、製品または機器については、そのステップまたはユニットを明確にリストアップするものに限らず、明確にリストアップされていないか、またはこれらの過程、方法、製品または機器に固有する他のステップまたはユニットを含んでもよいことを意味する。
【0028】
実施例１
本発明の実施例に係る作業対象領域境界の取得方法は、図１に示すように、ステップ１１０～ステップ１３０を含む。
ステップ１１０において、作業対象領域を含む当初画像を事前設定識別モデルに入力する。
本発明の実施例に係る作業対象領域境界の取得方法は、図１に示すように、ステップ１１０～ステップ１３０を含む。
ステップ１１０において、作業対象領域を含む当初画像を事前設定識別モデルに入力する。
【0029】
本発明の実施例における当初画像は、移動機器の作業対象領域を含む画像であり、前記当初画像は、移動機器に対するマッピングまたは衛星によって取得された高解像度の地図映像とすることができる。前記作業対象領域は、農地ブロック、果樹園、ポンド等であってもよい。前記事前設定識別モデルは、深層学習ネットワークモデルであってもよいし、事前設定識別アルゴリズムプロセスであってもよい。前記アルゴリズムプロセスは、例えば画像に対して画像分割処理、画像グレースケール変換、画像特徴識別、画像２値化処理等のステップを行い、ｈｏｕｇｈ検出アルゴリズムによって画像におけるラインを検出することができるが、勿論、他の実施例では、ｓｏｂｅｌ検出アルゴリズム等にしてもよい。
【0030】
前記移動機器は、ドローン、飛行機、トラクタ、耕耘機、収穫機、およびインテリジェントロボット等を含み、前記ドローンは、作業対象領域への農薬、化学肥料、種子などの散布に利用され、前記トラクタ、耕耘機、および収穫機は、農地の耕耘、収穫などに利用され、前記インテリジェントロボットは、作業対象領域における自動的な摘み取り、綿花摘心、レーザーによる除草除虫等に利用されることができる。
【0031】
ドローンによるある村の農地での作業を例に挙げると、まず、衛星によって当該村の高解像度の地図映像を当初画像として取得する。図２に示すように、農地ブロックには、作業対象領域が含まれる。そして、取得された当初画像を事前設定識別モデルに入力する。
ステップ１２０において、前記事前設定識別モデルから出力された目標画像を取得する。
ステップ１２０において、前記事前設定識別モデルから出力された目標画像を取得する。
【0032】
事前設定アルゴリズムまたはネットワークモデルにより当初画像を識別して、例えば特定の２値化画像を形成するように特定の目標画像を得ることができる。農地ブロックの場合、本発明の１つの実施例では、出力された画像のうちの白領域が農地ブロックを示し、黒領域が非農地ブロックを示す。また、前記事前設定識別モデルは、深層学習ネットワークモデルであってもよく、前記深層学習ネットワークモデルは、入力された当初画像に対して畳み込みおよび復元処理を行うことによって前記入力画像における事前設定特徴（例えば、農地境界特徴）を抽出し、その後抽出された事前設定特徴から目標画像を生成するためのものである。出力された目標画像の情報は、図３に示すように、より純粋となり、かつ作業対象領域の明瞭な境界を含む。
【0033】
ステップ１３０において、前記目標画像に基づいて前記作業対象領域の境界を取得する。
当初画像の目標画像を取得した後、従来の画像視覚処理方法によって、前記目標画像におけるブロック境界情報を取得することができる。また、前記ブロック境界情報を膨張・平滑化処理した後、閉合のブロック検出を行うことによって、作業対象領域の境界を特定してもよい。
当初画像の目標画像を取得した後、従来の画像視覚処理方法によって、前記目標画像におけるブロック境界情報を取得することができる。また、前記ブロック境界情報を膨張・平滑化処理した後、閉合のブロック検出を行うことによって、作業対象領域の境界を特定してもよい。
【0034】
本発明の実施例に係る作業対象領域境界の取得方法は、作業対象領域を含む当初画像を事前設定識別モデルに入力し、前記事前設定識別モデルから出力された目標画像を取得し、前記目標画像に基づいて前記作業対象領域の境界を取得することによって、従来の、作業対象領域の境界を取得するために、当初画像に対してデータ処理を人工的に行う必要があるので、効率が低下するという課題を解決することができる。また、事前設定識別モデルによって画像における作業対象領域の境界を取得して、さらに作業経路の計画に用いることによって、作業対象領域の境界を自動的に識別し、作業経路の計画を自動的に行うことができ、人工的な参加が必要ではなくなり、作業対象領域の境界をリアルタイムで取得することができ、作業対象領域の境界を取得する効率が効果的に向上させた。
【0035】
【0036】
本発明は、植物保護用の移動機器の経路の計画に用いられ、作業対象領域を処理して作業対象領域の境界を取得することによって、前記作業対象領域の境界に基づいて作業対象領域に対して作業経路を容易に計画するためのものである。そのため、本方法を応用する前に、深層学習ネットワークモデルをトレーニングする必要がある。本発明の実施例に係る作業対象領域境界の取得方法は、例えば農地、果樹園、湖沼等の複数種類の作業対象領域に適用することができる。本実施例では、作業対象領域として農地を例に挙げて、作業対象領域境界の取得方法の実施態様を具体的に説明する。
【0037】
まず、図５に示すように、マッピング用の移動機器または衛星によって高解像度の地図映像を取得して当初農地画像を取得する。
そして、前記当初農地画像における農地領域を人工的にマーキングする。なお、マーキング方式は、農地を当初農地画像から分割することである。例えば、当初農地画像における農地領域を白色にマーキングするとともに、非農地領域を黒背景としてマーキングすると、図６に示すような画像を得る。ここで、農地領域は、作業範囲として植生で被覆され、非農地領域は、非作業範囲として、村、河流、道路などの領域である。また、当初農地画像における対応する作業範囲は、移動機器の作業経路がカバーできる範囲である。具体的な実施にあっては、当初農地画像における農地領域を黒色にマーキングするとともに、非農地領域を白色にマーキングしてもよい。本発明の実施例において、当初農地画像における農地領域にマーキングした色は、農地領域と非農地領域とを区別するためのものに過ぎず、色の値には実質上の意味がない。
そして、前記当初農地画像における農地領域を人工的にマーキングする。なお、マーキング方式は、農地を当初農地画像から分割することである。例えば、当初農地画像における農地領域を白色にマーキングするとともに、非農地領域を黒背景としてマーキングすると、図６に示すような画像を得る。ここで、農地領域は、作業範囲として植生で被覆され、非農地領域は、非作業範囲として、村、河流、道路などの領域である。また、当初農地画像における対応する作業範囲は、移動機器の作業経路がカバーできる範囲である。具体的な実施にあっては、当初農地画像における農地領域を黒色にマーキングするとともに、非農地領域を白色にマーキングしてもよい。本発明の実施例において、当初農地画像における農地領域にマーキングした色は、農地領域と非農地領域とを区別するためのものに過ぎず、色の値には実質上の意味がない。
【0038】
最後に、当初農地画像と、人工的にマーキングした農地領域および非農地領域からなる農地画像をトレーニングサンプルとして、教師ありトレーニングを行うことにより、ニューラルネットワークモデルをトレーニングする。農地領域がマーキングされたトレーニングサンプルには、農地領域の形状、分布等の情報が含まれている。多くの当初農地画像と農地領域がマーキングされた農地画像とをニューラルネットワークモデルのトレーニングサンプルとすることにより、深層学習ネットワークモデルをトレーニングすることができる。深層学習ネットワークモデルのトレーニング過程は、実質的には深層学習ネットワークモデルのパラメータを求める過程である。
【0039】
具体的な実施にあっては、図７に示すように、前記深層学習ネットワークモデルは、第１数の畳み込み層を含む畳み込みモジュール７１０と、第２数の逆畳み込み層を含む逆畳み込みモジュール７２０と、特徴融合モジュール７３０とを含む。ここで、前記畳み込みモジュール７１０は、前記当初画像の特徴を前記第１数の畳み込み層によって抽出して前記逆畳み込みモジュール７２０に出力するためのものであり、前記逆畳み込みモジュール７２０は、前記第２数の逆畳み込み層によって、前記畳み込みモジュール７１０から出力された特徴に基づいて、画像特徴の復元処理を行うためのものであり、前記特徴融合モジュール７３０は、前記逆畳み込みモジュール７２０の各層が画像特徴の復元処理を行った、画像の特徴を融合して出力画像を得るためのものである。前記畳み込みモジュール７１０が画像の特徴を抽出する際に、畳み込み層の数が増加するに伴い、抽出する特徴が多くなる一方、損失される情報も多くなる。前記逆畳み込みモジュール７２０が画像の特徴を復元する際に、畳み込み層の数が増加するに伴い、復元される特徴も多くなる。
【0040】
また、前記畳み込み層と逆畳み込み層とは、カスケード接続構造によって接続され、前記逆畳み込みモジュール７２０は、さらに、前記第２数の逆畳み込み層によって対応する逆畳み込み層にカスケード接続された前記畳み込み層の畳み込み処理情報を取得するとともに、対応する逆畳み込み層よりも上層の逆畳み込み結果と対応する逆畳み込み層にカスケード接続された前記畳み込み層の前記畳み込み処理情報とを重畳することにより、前記対応する逆畳み込み層の逆畳み込み結果を得るためのものであってもよい。前記第１数は、前記第２数に等しくてもよいし、前記第２数よりも小さくてもよい。前記深層学習ネットワークモデルは、残差ネットワークであってもよい。
【0041】
また、移動機器による植物保護の要求により、深層学習ネットワークモデルのネットワーク構造を選択する際に、農地画像の特徴を抽出するのに十分なネットワークパラメータがある上に、より精確の農地の位置情報を抽出できることを確保する必要があるので、本発明の実施例では、１０１層のＣＮＮネットワーク構造で十分なパラメータ量を保証し、如何なる背景や形状に基づく農地の境界特徴を抽出することができる。具体的な実施にあっては、本発明の実施例における上記の深層学習ニューラルネットワークは、ＲＥＳＮＥＴ１０１畳み込み構造となるニューラルネットワークである。すなわち、前記畳み込みモジュール７１０は、１０１個の畳み込み層を含み、前記逆畳み込みモジュール７２０は、１０１個の逆畳み込み層を含む。入力された農地画像は、畳み込みモジュール７１０によって畳み込まれ、各畳み込み層は該当層に入力された画像に対してダウンサンプリングを行うことで画像特徴を抽出して、次の畳み込み層に出力することを、必要な農地画像の特徴を得るまで繰り返して行う。
【0042】
畳み込みニューラルネットワークにおいて、畳み込みカーネルにおける各要素の値は、畳み込みニューラルネットワークの重みである。各畳み込み層において、画像に対する畳み込み演算は、実質的には各ニューロンの出力を求めることであり、単に、畳み込みの結果にバイアスを加算してから活性化関数を経由することで、１つの畳み込みカーネルが１つのニューロンに対応し、１つの画像が同一の畳み込みカーネルによって異なる領域に複数回使われて、畳み込まれた画像の特徴マップであって次の畳み込み層に入力される畳み込み画像でもある１つの特徴平面が得られる。例えば、畳み込み層７１０１は、入力された当初農地画像Ｉｍａｇｅに対して１回のダウンサンプリングを行うことによって畳み込み画像Ｉｍａｇｅ１を得て、畳み込み層７１０２に出力する。畳み込み層７１０２は、入力された畳み込み画像Ｉｍａｇｅ１に対して１回のダウンサンプリングを行うことによって畳み込み画像Ｉｍａｇｅ２を得て、畳み込み層７１０３に出力する。このようにして、最下層の畳み込み層７１０１０１は、入力された畳み込み画像Ｉｍａｇｅ１００に対して１回のダウンサンプリングを行うことによって畳み込み画像Ｉｍａｇｅ１０１を得て、逆畳み込みモジュールの最上層の逆畳み込み層７２０１に出力するまで実行する。逆畳み込みモジュール７２０に出力された画像特徴は、保留する必要がある農地の画像特徴である。具体的な実施にあっては、畳み込み層が少ない場合、多すぎる干渉特徴が保留されるので、正確な深層学習ネットワークモデルのトレーニングに不利となる一方、畳み込み層が多い場合、抽出された農地特徴が細密になりすぎるので、深層学習ネットワークモデルのデータ処理量を増加させるとともに、識別精度が高すぎることにより農地画像に対する識別のロバスト性を低下させる。本発明で利用するＲＥＳＮＥＴ１０１畳み込み構造のニューラルネットワークは、農地境界の識別精度を満足した上で、農地画像に対する識別のロバスト性を向上させることができる。
【0043】
そして、逆畳み込み層によって層ごとに画像充填を行い、畳み込みモジュール７１０によって抽出された農地の画像特徴は、最下層の逆畳み込み層が当初農地画像と同じ大きさであるとともに農地画像の重要な特徴である農地境界情報を含む目標農地画像を出力するまで調節充填される。例えば、逆畳み込み層７２０１によって畳み込み画像Ｉｍａｇｅ１０１に対して充填処理を行うことにより、画素サイズが１倍拡大された逆畳み込み画像Ｉｍａｇｅ１００’が得られる。逆畳み込み層７２０２によって逆畳み込み画像Ｉｍａｇｅ１００’に対して充填処理を行うことにより、画素サイズが１倍拡大された逆畳み込み画像Ｉｍａｇｅ９９’が得られる。このようにして、最下層の逆畳み込み層７２０１０１によって、入力された逆畳み込み画像Ｉｍａｇｅ１’に対して１回のダウンサンプリングを行うことにより、当初農地画像Ｉｍａｇｅと同じ大きさであるとともに農地領域情報および非農地領域情報を含む目標農地画像Ｉｍａｇｅ ’が得られるまで実行する。なお、農地領域が白色で示され、非農地領域が黒色で示されると、前記目標農地画像Ｉｍａｇｅ’は、１つの白黒画像となり、当初農地画像における重要な特徴である農地境界特徴が保留される。
【0044】
具体的な実施にあっては、逆畳み込みモジュールは、双線形自己適応サンプリング方式および通常畳み込みとすることができる。また、より多くの農地画像情報を取得し、境界の識別精度を確保するために、前記畳み込み層と逆畳み込み層とは、カスケード接続構造によって接続され、前記逆畳み込み層は、前記カスケード接続構造により対応する畳み込み層の畳み込み処理情報を取得することが好ましい。ここで、前記カスケード接続構造とは、畳み込み層同士、逆畳み込み層同士、畳み込み層と対応する逆畳み込み層との間に層ごとに接続された構造を意味する。また、図７に示すように、畳み込み層７１０１は、畳み込み層７１０２と逆畳み込み層７２０１０１とに同時に出力し、逆畳み込み層７２０１０１は、畳み込み層７１０１および逆畳み込み層７２０１００の出力に接続されている。
【0045】
前記逆畳み込み層は、より上層の逆畳み込み結果と対応する畳み込み層の前記畳み込み処理情報とを重畳することにより、前記逆畳み込み層の逆畳み込み結果を得る。例えば、現在の逆畳み込み層は、より上層の逆畳み込み層の特徴情報が３６×３６×６４の特徴マップであると、前記現在の逆畳み込み層に接続された畳み込み層の特徴情報が３６×３６×４８となる。よって、現在の逆畳み込み層よりも上層の逆畳み込み層の特徴情報の特徴マップと、対応する畳み込み層の特徴マップとを重畳すると、現在の逆畳み込み層の特徴情報の特徴マップが３６×３６×１１２となる。本発明の具体的な実施にあっては、前記深層学習ネットワークモデルは、カスケード接続構造としており、すなわち、畳み込み層から逆畳み込み層へと前記畳み込み層のデータ処理情報を対応する逆畳み込み層に伝達するための１本の伝達線が接続された。本発明においてカスケード接続構造となる深層学習ネットワークモデルは、逆畳み込み処理を行う過程において、畳み込み層による農地画像特徴マップと上位層の逆畳み込み層による農地画像特徴マップとを接続（ｃｏｎｔａｃｔ）の方式で重畳してから、次の層の逆畳み込み処理を行うことにより、畳み込み過程で失われた当初画像の細かい情報と組み合わせて、当初画像における実の農地の位置情報を精度よく復元することができ、農地境界の細部をより多く保留することができる。本発明における深層学習ネットワークモデルは、従来の汎用ニューラルネットワーク構造と比べて、畳み込み過程において失われた画像情報を取得するために、畳み込み層から対応する逆畳み込み層へとカスケード接続されている点で異なっている。
【0046】
また、前記畳み込みモジュールは、空洞畳み込み構造とすることが好ましい。
具体的な実施にあっては、如何なる背景や形状の農地も抽出できるとともに、逆畳み込みモジュールによる当初農地画像における実の農地の位置情報の正確な復元効果を高めるために、畳み込みモジュールの各畳み込み層は空洞畳み込みとする。各前記畳み込み層は、前記畳み込み層に入力された画像を膨張演算することにより、前記畳み込み層に入力された画像の特徴を抽出する。空洞畳み込みは、通常の畳み込みと比べて、畳み込みカーネルの大きさと同様であり、すなわち、ニューラルネットワークにおいてパラメータの数が変わらないという点で同様である一方、空洞畳み込みのほうがより大きな受容野を持つという点で相違する。受容野は、畳み込みカーネルを画像上で見える大きさであり、例えば３×３の畳み込みカーネルの受容野の大きさは９であり、空洞畳み込みとすることにより、畳み込みカーネルの視野を効果的に増やすことができる。１つの拡張率が２の３×３畳み込みカーネルは、その受容野が５×５の畳み込みカーネルと同じであり、また、９つのパラメータだけで十分である。具体的な実施にあっては、本発明は、空洞係数を２とし、すなわち、膨張演算の膨張係数を２とすることにより、受容野をその前の２倍に拡大して、当初画像の細部の損失をできるだけ減少させる。同時に、空洞畳み込みとすることにより、広い受容野を得るとともに、演算資源の消費を増やすことなく、農地境界をリアルタイムで取得する上で有利となる。
具体的な実施にあっては、如何なる背景や形状の農地も抽出できるとともに、逆畳み込みモジュールによる当初農地画像における実の農地の位置情報の正確な復元効果を高めるために、畳み込みモジュールの各畳み込み層は空洞畳み込みとする。各前記畳み込み層は、前記畳み込み層に入力された画像を膨張演算することにより、前記畳み込み層に入力された画像の特徴を抽出する。空洞畳み込みは、通常の畳み込みと比べて、畳み込みカーネルの大きさと同様であり、すなわち、ニューラルネットワークにおいてパラメータの数が変わらないという点で同様である一方、空洞畳み込みのほうがより大きな受容野を持つという点で相違する。受容野は、畳み込みカーネルを画像上で見える大きさであり、例えば３×３の畳み込みカーネルの受容野の大きさは９であり、空洞畳み込みとすることにより、畳み込みカーネルの視野を効果的に増やすことができる。１つの拡張率が２の３×３畳み込みカーネルは、その受容野が５×５の畳み込みカーネルと同じであり、また、９つのパラメータだけで十分である。具体的な実施にあっては、本発明は、空洞係数を２とし、すなわち、膨張演算の膨張係数を２とすることにより、受容野をその前の２倍に拡大して、当初画像の細部の損失をできるだけ減少させる。同時に、空洞畳み込みとすることにより、広い受容野を得るとともに、演算資源の消費を増やすことなく、農地境界をリアルタイムで取得する上で有利となる。
【0047】
また、前記逆畳み込みモジュール７２０は、分離可能な畳み込み構造とすることが好ましい。
分離可能な畳み込み構造（ｓｅｐａｒａｂｌｅ ｃｏｎｖｏｌｕｔｉｏｎ）では、畳み込みカーネルの動作を複数のステップに分けることができる。従来のサイズが３×３である層であって、その入力チャンネルが１６、出力チャンネルが３２のの畳み込み層による畳み込み過程を例にすると、畳み込み過程では、３２個の３×３サイズの畳み込みカーネルが１６個のチャンネルにおける各データをトラバースし、１６×３２=５１２個の特徴マップを生成する。また、各入力チャンネルに対応する特徴マップを重畳して融合することにより、１つの特徴マップが得られ、最後に必要な３２個の出力チャンネルに対応する特徴マップが得られることができる。畳み込み処理では、１６×３２×３×３=４６０８個のパラメータが用いられる。分離可能な畳み込み構造とする場合、具体的な実施にあっては、まず、サイズが３×３の１つの畳み込みカーネルを利用して１６個のチャンネルのデータをトラバースすることで、１６個の特徴マップが得られる。その後、この１６個の特徴マップを３２個のサイズが１×１の畳み込みカーネルでトラバースして加算融合（ａｄｄｉｔｉｏｎ ａｎｄ ｆｕｓｉｏｎ）を行うことにより、３２個の出力チャンネルに対応する特徴マップが得られることができる。このように、分離可能な畳み込み構造で画像を畳み込む過程では、１６×３×３+１６×３２×１×１=６５６個のパラメータが用いられ、通常畳み込み構造の１６×３２×３×３=４６０８個のパラメータよりもずっと少なくなった。本発明は、分離可能な畳み込み構造とすることにより、トレーニングで得られた深層学習ネットワークモデルの作動速度を効果的に向上させることができる。
分離可能な畳み込み構造（ｓｅｐａｒａｂｌｅ ｃｏｎｖｏｌｕｔｉｏｎ）では、畳み込みカーネルの動作を複数のステップに分けることができる。従来のサイズが３×３である層であって、その入力チャンネルが１６、出力チャンネルが３２のの畳み込み層による畳み込み過程を例にすると、畳み込み過程では、３２個の３×３サイズの畳み込みカーネルが１６個のチャンネルにおける各データをトラバースし、１６×３２=５１２個の特徴マップを生成する。また、各入力チャンネルに対応する特徴マップを重畳して融合することにより、１つの特徴マップが得られ、最後に必要な３２個の出力チャンネルに対応する特徴マップが得られることができる。畳み込み処理では、１６×３２×３×３=４６０８個のパラメータが用いられる。分離可能な畳み込み構造とする場合、具体的な実施にあっては、まず、サイズが３×３の１つの畳み込みカーネルを利用して１６個のチャンネルのデータをトラバースすることで、１６個の特徴マップが得られる。その後、この１６個の特徴マップを３２個のサイズが１×１の畳み込みカーネルでトラバースして加算融合（ａｄｄｉｔｉｏｎ ａｎｄ ｆｕｓｉｏｎ）を行うことにより、３２個の出力チャンネルに対応する特徴マップが得られることができる。このように、分離可能な畳み込み構造で画像を畳み込む過程では、１６×３×３+１６×３２×１×１=６５６個のパラメータが用いられ、通常畳み込み構造の１６×３２×３×３=４６０８個のパラメータよりもずっと少なくなった。本発明は、分離可能な畳み込み構造とすることにより、トレーニングで得られた深層学習ネットワークモデルの作動速度を効果的に向上させることができる。
【0048】
モデルのトレーニング過程では、前記深層学習ネットワークモデルの最後層の損失関数を最小化することにより、モデルパラメータを最適化させる。好ましくは、前記深層学習ネットワークモデルの損失関数が、ｌｏｓｓ＝－βΣｌｏｇｐ（ｙｊ＝１｜Ｘ）－（１－β）Σｌｏｇ（ｙｊ＝０｜Ｘ）となる。ここで、ｌｏｓｓは損失値であり、Ｘは目標領域と非目標領域がマーキングされた画像サンプルであり、βは前記画像サンプルＸにおける目標農地ブロックの画素数の、前記画像サンプルＸの総画素数に占める割合であり、ｐ（ｙ
j
=１|Ｘ）は前記画像サンプルＸにおける画素ｊが活性化関数を経由した出力値である。具体的には、本実施例では、目標領域は、農地領域であり、目標農地ブロックは、農地ブロックである。具体的な実施にあっては、前記活性化関数は、ｓｉｇｍｏｄ関数である。前記深層学習ネットワークモデルの損失関数は、モデルから出力された前記当初画像に対応する目標農地画像と、当初農地画像に対応するとともに農地領域と非農地領域がマーキングされたテスト農地画像との誤差を評価するものであり、トレーニング過程では、逆伝播・勾配降下法により畳み込み層のパラメータを調節し、さらに損失関数の値を調節して、最適な畳み込み層のパラメータを特定する。具体的な実施にあっては、例えば損失値ｌｏｓｓが最も小さい場合のモデルパラメータが最適であるように、損失値ｌｏｓｓが事前設定条件を満たす場合のモデルパラメータが最適であるとすることができる。
【0049】
最適なモデルパラメータを特定すると、モデルのトレーニング過程が完了したことになる。今までに、農地画像に基づいた深層学習ネットワークモデルのトレーニング過程が完了した。
ステップ４２０において、作業対象領域を含む当初画像を事前設定識別モデルに入力する。
具体的な応用における１つの実施例は、作業対象領域を含む当初画像を、トレーニング済みの深層学習ネットワークモデルの入力とし、モデルは、前記当初画像における作業対象領域の境界情報を識別する。
ステップ４２０において、作業対象領域を含む当初画像を事前設定識別モデルに入力する。
具体的な応用における１つの実施例は、作業対象領域を含む当初画像を、トレーニング済みの深層学習ネットワークモデルの入力とし、モデルは、前記当初画像における作業対象領域の境界情報を識別する。
【0050】
例えば、植物保護チームが作業する場合、地上局を持つ制御者は、位置決め情報によって植物保護チームの近傍の高解像度の地図を取得して、図２に示すように当初画像の領域を手動で選定することができる。そして、前記深層学習ネットワークモデルを呼び出して手動で選定した当初画像を識別することにより、前記手動で選定した農地ブロックにおける作業対象領域の境界を取得する。または、クラウド制御センターにより当初画像を限定し、前記深層学習ネットワークモデルを呼び出してクラウド制御センターによる当初画像を識別することにより、前記クラウド制御センターによる当初画像における作業対象領域の境界を取得する。
【0051】
ステップ４３０において、前記事前設定識別モデルから出力された目標画像を取得する。
本発明の１つの好適な実施例では、事前設定識別モデルが深層学習ネットワークモデルである場合、前記深層学習ネットワークモデルは、入力された当初画像に対して畳み込みおよび復元処理を行い、前記入力された画像における事前設定特徴（例えば、農地境界特徴）を抽出して、抽出した事前設定特徴から目標画像を生成するためのものである。出力された目標画像の情報は、図３に示すように、より純粋となり、作業対象領域の明瞭な境界を含む。
本発明の１つの好適な実施例では、事前設定識別モデルが深層学習ネットワークモデルである場合、前記深層学習ネットワークモデルは、入力された当初画像に対して畳み込みおよび復元処理を行い、前記入力された画像における事前設定特徴（例えば、農地境界特徴）を抽出して、抽出した事前設定特徴から目標画像を生成するためのものである。出力された目標画像の情報は、図３に示すように、より純粋となり、作業対象領域の明瞭な境界を含む。
【0052】
前記深層学習ネットワークモデルから出力された作業対象領域における農地境界の特徴マップでは、図３に示すように、白色領域が農地領域であり、黒色領域が非農地領域である。ただし、黒色および白色は、実質上の意味がなく、異なる領域を区別するためのものに過ぎない。本発明の具体的な実施にあっては、サンプルのマーキングの際に、農地領域を黒色、非農地領域を白色とそれぞれマーキングすると、モデルから出力された作業対象領域における農地境界の特徴マップにおいて、農地領域が黒色となり、非農地領域が白色となる。
【0053】
具体的な実施にあっては、前記深層学習ネットワークモデルの各逆畳み込み層は、いずれも農地画像の特徴マップを出力することができるが、本発明では、最下層の逆畳み込み層の出力をモデルの出力として選択する。最下層の逆畳み込み層の出力に含まれる農地境界情報もより純粋となる。
ステップ４４０において、前記目標画像に基づいて前記作業対象領域の境界を取得する。
ステップ４４０において、前記目標画像に基づいて前記作業対象領域の境界を取得する。
【0054】
具体的な実施にあっては、前記目標画像に基づいて前記作業対象領域の境界を取得することは、境界検出アルゴリズムに基づいて前記目標画像を検出することにより、前記目標画像に含まれる前記作業対象領域の境界を特定することを含む。また、前記境界検出アルゴリズムに基づいて前記対象画像を検出することにより、前記目標画像に含まれる前記作業対象領域の境界を特定することは、境界検出アルゴリズムに基づいて前記目標画像を検出して、前記目標画像に含まれる前記農地ブロックの境界点を特定することと、前記農地ブロックの境界点に基づいて膨張・平滑化処理を行って、前記目標画像に含まれる前記作業対象領域の境界を特定することを含んでもよい。
【0055】
他の実施例では、前記目標画像に基づいて前記作業対象領域の境界を取得するステップは、事前設定検出アルゴリズムに基づいて前記目標画像を検出して、前記目標画像に含まれる前記作業対象領域の境界を特定することを含む。なお、前記事前設定検出アルゴリズムは、色検出アルゴリズム、密度検出アルゴリズム、マルチスペクトル検出アルゴリズムのうちの１つまたは複数を含む。例えば、色検出アルゴリズムに基づいて菜の花の農地ブロックと小麦の農地ブロックとを区別することができ、また、密度検出アルゴリズムに基づいて小麦の農地ブロックとトウモロコシの農地ブロックとを区別することができるので、異なる植生の境界を区別することができる。
【0056】
当初画像の目標画像を取得した後、従来の画像視覚処理方法によって、前記目標画像におけるブロック境界情報を取得することができる。農地境界の特徴画像を取得した後、従来の視覚境界検出アルゴリズム（例えば、Ｃａｎｎｙ演算子等のエッジ検出方法）により、農地領域の境界の位置情報を取得することができる。また、境界点の情報は、（ｘ，ｙ）の形式で記憶することができ、ｘは画像の左境界から境界点までの画素点の個数、ｙは上境界から境界点までの画素点の個数をそれぞれ表す。また、前記ブロック境界情報を膨張・平滑化処理してバリを除去することにより、平滑な連続した境界線を得るようにしてもよい。
【0057】
本発明の実施例に記載されている作業対象領域境界の取得方法は、まず、作業対象領域を含む当初画像に基づいて深層学習ネットワークモデルをトレーニングし、その後、前記深層学習ネットワークモデルによって現在入力された当初画像における作業対象領域の境界を取得することにより、従来の、農地の境界を取得するために農地画像に対して人工的にデータ処理を行う必要があるので、効率が悪いという課題を解決することができる。深層学習ネットワークモデルを予め採集し、その後、作業対象領域に対して作業経路の計画を行う必要がある場合、作業対象領域を含む画像を予めトレーニングされた前記深層学習ネットワークモデルに入力し、前記深層学習ネットワークモデルによって作業対象領域の境界を取得し、さらに作業経路の計画に利用することにより、作業対象領域の境界を自動的に識別し、作業経路の計画を自動的に行うことができ、人工的な参加が必要ではなくなり、作業対象領域の境界をリアルタイムで取得することができ、作業対象領域の境界を取得する効率を効果的に向上させることができる。
【0058】
【0059】
具体的な実施にあっては、植物保護チームが作業する場合、地上局を持つ制御者は、位置決め情報によって植物保護チームの近傍の写真や地図情報を取得し、または写真を直接撮影して作業対象領域を含む地図範囲を手動で選定し、またはクラウド制御センターによって作業対象領域を含む地図範囲を限定することにより、作業経路の計画用の当初画像を特定する。
ステップ８２０において、前記当初画像における作業対象領域の境界を取得する。
ステップ８２０において、前記当初画像における作業対象領域の境界を取得する。
【0060】
そして、取得した作業経路の計画用の作業対象領域を含む当初画像を予めトレーニングされた事前設定識別モデルに入力し、前記事前設定識別モデルから前記作業対象領域を含む画像における作業対象領域境界の特徴画像を出力する。ここで、前記事前設定識別モデルは、深層学習ネットワークモデルであってもよく、前記深層学習ネットワークモデルの具体的なトレーニング過程および方法は、実施例２における対応するステップを参照することができるので、本実施例では説明を省略する。
【0061】
図２は、作業経路の計画用の当初画像を取得する例を示すものである。図２に示す作業対象領域を含む当初画像を予めトレーニングされた深層学習ネットワークモデルに入力し、前記深層学習ネットワークモデルによって図３に示すような前記作業対象領域の境界を含む特徴画像を出力する。モデルの出力画像には、作業対象領域の情報、すなわち、農地ブロック情報が含まれている。前記深層学習ネットワークモデルは、１つの画像を出力し、前記画像における背景および目標物はいずれも純粋である。ここで、目標物は作業対象領域であり、その他の領域は背景である。例えば、図３において、白色は農地領域（すなわち、作業対象領域）であり、黒色は非農地領域である。
【0062】
ステップ８３０において、取得した前記作業対象領域の境界に基づいて、対応する作業対象領域における移動機器の作業経路を特定する。なお、本発明の幾つかの実施例では、「特定」は、計画や描画等の操作を含むが、これらに限定されるものではない。
具体的な実施にあっては、取得した前記作業対象領域の境界に基づいて、対応する作業対象領域内における移動機器の作業経路を特定することは、取得した前記作業対象領域の境界データを、前記当初画像のうち前記作業対象領域が位置する領域の画像である作業対象領域画像に重畳し、作業対象領域の境界データを重畳した前記作業対象領域画像に基づいて前記作業対象領域における移動機器の作業経路を特定することを含む。
具体的な実施にあっては、取得した前記作業対象領域の境界に基づいて、対応する作業対象領域内における移動機器の作業経路を特定することは、取得した前記作業対象領域の境界データを、前記当初画像のうち前記作業対象領域が位置する領域の画像である作業対象領域画像に重畳し、作業対象領域の境界データを重畳した前記作業対象領域画像に基づいて前記作業対象領域における移動機器の作業経路を特定することを含む。
【0063】
農地境界の特徴画像を取得した後、従来の視覚境界検出アルゴリズム（例えば、Ｃａｎｎｙ演算子等のエッジ検出方法）により、農地領域の境界の位置情報を取得することができる。また、境界点の情報は、（ｘ，ｙ）の形式で記憶することができ、ｘは画像の左境界から境界点までの画素点の個数、ｙは上境界から境界点までの画素点の個数をそれぞれ表す。そして、前記農地境界の境界点を前記当初画像に重畳する。具体的には、本実施例では、取得した農地境界の境界点を図２に示す当初農地画像に重畳して、図９に示すような農地画像を得る。図９において、灰色の細長い領域において、農地ブロックに密接している箇所の灰色の辺線を、当初農地画像に重畳された農地境界（すなわち、作業対象領域の境界）とみなすことができる。具体的な実施にあっては、当初農地画像のうち、特定した農地境界に対応する位置の画素を事前設定値に設定することにより、農地境界データを前記当初農地画像に重畳することができる。図９における灰色の辺線は、単に農地境界を強調して示すためのものに過ぎず、具体的な実施にあっては、例えば赤色、黄色、黒色等の他の色に設定してもよい。
【0064】
具体的な実施にあっては、作業経路の計画の正確性を向上させるために、当初画像における完全な農地ブロックのみに対して作業経路の計画を行うため、まず、前記当初画像における完全な農地ブロックを特定する。前記作業対象領域の各境界の２つのノードのそれぞれは、第１のノードおよび第２のノードであり、前記方法は、そのうちのいずれか１つの境界を開始境界として特定するとともに、この開始境界の２つのノードを起点ノードおよび終点ノードとして特定することと、前記起点ノードを現在のノードとして捜索し、現在のノードと重なり合ういずれか１つの境界の第１のノードを捜索すると、当該境界の第２のノードを現在のノードとして継続して捜索し、前記終点ノードと重なり合ういずれか１つの境界の第２のノードを捜索すると、捜索した全ての境界で囲まれた領域を候補領域として特定することと、前記候補領域に境界が含まれていないと、当該候補領域を作業対象領域として特定することをさらに含む。作業対象領域境界の座標に基づいて首尾接続されている境界を特定し、複数の首尾接続された境界によって閉合ブロックを構成し、そして、閉合ブロックに境界が存在しないと、この閉合ブロックを作業対象領域とすることができる。
【0065】
農地境界情報が重畳された作業対象領域の画像に対しては、従来の移動機器の経路計画方法により移動機器の作業経路の計画をさらに行うことができ、本発明の実施例では説明を省略する。
具体的な実施にあっては、前記方法は、閉合の作業対象領域を特定した後に、さらに、前記作業対象領域を強調表示することと、ユーザからの選択操作に応じて、前記作業対象領域における計画対象領域を特定することと、前記計画対象領域に対して経路の計画を行うことをさらに含む。１つの農地画像は、通常、複数の完全な農地ブロックを含む可能性があり、これらはいずれも作業対象領域とすることができる。また、作業者が直感的かつ正確に農地ブロックを選択して作業を行うように、作業対象領域を特定した後、前記作業対象領域をハイライト、点滅などの強調表示方式で表示して、ユーザーの選択に提供することができる。そして、ユーザからの選択操作に応じて、前記作業対象領域における計画対象領域を特定し、最後に、ユーザが選択した前記計画対象領域に対して経路の計画を行う。
具体的な実施にあっては、前記方法は、閉合の作業対象領域を特定した後に、さらに、前記作業対象領域を強調表示することと、ユーザからの選択操作に応じて、前記作業対象領域における計画対象領域を特定することと、前記計画対象領域に対して経路の計画を行うことをさらに含む。１つの農地画像は、通常、複数の完全な農地ブロックを含む可能性があり、これらはいずれも作業対象領域とすることができる。また、作業者が直感的かつ正確に農地ブロックを選択して作業を行うように、作業対象領域を特定した後、前記作業対象領域をハイライト、点滅などの強調表示方式で表示して、ユーザーの選択に提供することができる。そして、ユーザからの選択操作に応じて、前記作業対象領域における計画対象領域を特定し、最後に、ユーザが選択した前記計画対象領域に対して経路の計画を行う。
【0066】
本発明の実施例に係わる作業経路の計画方法は、作業経路の計画用の当初画像を取得し、予めトレーニングされた深層学習ネットワークモデルによって前記当初画像における作業対象領域の境界を取得し、取得した前記作業対象領域の境界に基づいて、対応する作業対象領域における移動機器の作業経路を特定することにより、従来の、農地の境界を取得するために農地画像に対して人工的にデータ処理を行う必要があるので、効率が悪いという課題を解決することができる。予めトレーニングされた深層学習ネットワークモデルによって、画像における作業対象領域の境界情報をリアルタイムで取得して、移動機器の作業経路の計画をリアルタイムで行うことができるので、移動機器の作業経路の計画のリアルタイム性および効率を効果的に向上させることができる。従来技術では、まず作業対象領域をマッピングしてから、経路の計画を行って、植物保護を実行することしかできない。これに対して、本発明に係わる移動機器の作業経路の計画方法によれば、作業対象領域を事前にマッピングする必要がなくなり、作業対象領域の画像をリアルタイムで収集するとともに、経路の計画および植物保護の任務を実行することができるので、植物保護作業の効率を効果的に向上させることができる。
【0067】
実施例４
本発明がさらに提供する作業対象領域境界の取得装置は、図１０に示すように、
作業対象領域を含む当初画像を事前設定識別モデルに入力するための当初画像入力モジュール１０１０と、
前記事前設定識別モデルから出力された目標画像を取得するための目標画像取得モジュール１０２０と、
前記目標画像に基づいて前記作業対象領域の境界を取得するための作業対象領域境界取得モジュール１０３０とを含む。
本発明がさらに提供する作業対象領域境界の取得装置は、図１０に示すように、
作業対象領域を含む当初画像を事前設定識別モデルに入力するための当初画像入力モジュール１０１０と、
前記事前設定識別モデルから出力された目標画像を取得するための目標画像取得モジュール１０２０と、
前記目標画像に基づいて前記作業対象領域の境界を取得するための作業対象領域境界取得モジュール１０３０とを含む。
【0068】
また、前記事前設定識別モデルは、深層学習ネットワークモデルであり、前記深層学習ネットワークモデルは、第１数の畳み込み層を含む畳み込みモジュールと、第２数の逆畳み込み層を含む逆畳み込みモジュールと、特徴融合モジュールとを含み、前記畳み込みモジュールは、前記当初画像の特徴を前記第１数の畳み込み層で抽出して前記逆畳み込みモジュールに出力するためのものであり、前記逆畳み込みモジュールは、前記第２数の逆畳み込み層によって、前記畳み込みモジュールから出力された特徴に基づいて画像特徴の復元処理を行うためのものであり、前記特徴融合モジュールは、前記逆畳み込みモジュールの各層が画像特徴の復元処理を行った画像特徴を融合して出力画像を得るためのものであってもよい。
【0069】
また、前記畳み込み層と逆畳み込み層とは、カスケード接続構造によって接続されており、前記逆畳み込みモジュールは、前記第２数の逆畳み込み層によって対応する逆畳み込み層にカスケード接続された前記畳み込み層の畳み込み処理情報を取得するとともに、対応する逆畳み込み層よりも上層の逆畳み込み結果と対応する逆畳み込み層にカスケード接続された前記畳み込み層の前記畳み込み処理情報とを重畳することにより、前記対応する逆畳み込み層の逆畳み込み結果を得るためのものであってもよい。
【0070】
具体的な実施にあっては、本発明は、ＲＥＳＮＥＴ１０１畳み込み構造となるニューラルネットワークとする。本発明で利用するＲＥＳＮＥＴ１０１畳み込み構造となるニューラルネットワークは、農地境界の識別精度を満足すた上で、農地画像に対する識別のロバスト性を向上させることができる。
【0071】
本発明においてカスケード接続構造となる深層学習ネットワークモデルは、逆畳み込み処理を行う過程において、畳み込み層による農地画像の特徴マップと上位層の逆畳み込み層による農地画像の特徴マップとを接続（ｃｏｎｔａｃｔ）の方式で重畳してから、次の層の逆畳み込み処理を行うことにより、畳み込み過程で失われた当初画像の細かい情報と組み合わせて、当初画像における実の農地の位置情報を精度よく復元することができ、農地境界の細部をより多く保留することができる。本発明における深層学習ネットワークモデルは、従来の汎用ニューラルネットワーク構造と比べて、畳み込み過程において失われた画像情報を取得するために、畳み込み層から対応する逆畳み込み層へとカスケード接続されている点で異なっている。
【0072】
また、前記畳み込みモジュールは、空洞畳み込み構造としてもよい。
各前記畳み込み層は、前記畳み込み層に入力された画像を膨張演算することにより、前記畳み込み層に入力された画像の特徴を抽出する。
本発明は、空洞畳み込みとすることにより、受容野を拡大して、当初画像の細部の損失をできるだけ減少することができる。同時に、空洞畳み込みとすることにより、広い受容野を得るとともに、演算資源の消費を増やすことなく、農地境界をリアルタイムで取得する上で有利となる。また、前記膨張演算の膨張係数は、２としてもよい。
各前記畳み込み層は、前記畳み込み層に入力された画像を膨張演算することにより、前記畳み込み層に入力された画像の特徴を抽出する。
本発明は、空洞畳み込みとすることにより、受容野を拡大して、当初画像の細部の損失をできるだけ減少することができる。同時に、空洞畳み込みとすることにより、広い受容野を得るとともに、演算資源の消費を増やすことなく、農地境界をリアルタイムで取得する上で有利となる。また、前記膨張演算の膨張係数は、２としてもよい。
【0073】
また、前記逆畳み込みモジュールは、分離可能な畳み込み構造としてもよい。
本発明は、分離可能な畳み込み構造とすることにより、トレーニングで得られた深層学習ネットワークモデルの作動速度を効果的に向上させることができる。
また、前記深層学習ネットワークモデルの損失関数は、
ｌｏｓｓ＝－βΣｌｏｇｐ（ｙｊ＝１｜Ｘ）－（１－β）Σｌｏｇ（ｙｊ＝０｜Ｘ）
となる。
本発明は、分離可能な畳み込み構造とすることにより、トレーニングで得られた深層学習ネットワークモデルの作動速度を効果的に向上させることができる。
また、前記深層学習ネットワークモデルの損失関数は、
ｌｏｓｓ＝－βΣｌｏｇｐ（ｙｊ＝１｜Ｘ）－（１－β）Σｌｏｇ（ｙｊ＝０｜Ｘ）
となる。
【0074】
ここで、ｌｏｓｓは損失値であり、Ｘは目標領域および非目標領域がマーキングされた画像サンプルであり、βは前記画像サンプルＸにおける目標農地ブロックの画素数の、前記画像サンプルＸの総画素数に占める割合であり、ｐ（ｙ
j
=１|Ｘ）は前記画像サンプルＸにおける画素ｊが活性化関数を経由した出力値である。
また、前記作業対象領域境界取得モジュール１０３０は、さらに、境界検出アルゴリズムに基づいて前記目標画像を検出して、前記目標画像に含まれる前記作業対象領域の境界を特定するためのものであってもよい。
また、前記作業対象領域境界取得モジュール１０３０は、さらに、境界検出アルゴリズムに基づいて前記目標画像を検出して、前記目標画像に含まれる前記作業対象領域の境界を特定するためのものであってもよい。
【0075】
また、前記境界検出アルゴリズムに基づいて前記目標画像を検出して、前記目標画像に含まれる前記作業対象領域の境界を特定することは、
境界検出アルゴリズムに基づいて前記目標画像を検出して、前記目標画像に含まれる前記農地ブロックの境界点を特定することと、
前記農地ブロックの境界点に基づいて膨張・平滑化等の処理方法を行って、前記目標画像に含まれる前記作業対象領域の境界を特定することを含んでもよい。
境界検出アルゴリズムに基づいて前記目標画像を検出して、前記目標画像に含まれる前記農地ブロックの境界点を特定することと、
前記農地ブロックの境界点に基づいて膨張・平滑化等の処理方法を行って、前記目標画像に含まれる前記作業対象領域の境界を特定することを含んでもよい。
【0076】
他の実施例では、前記目標画像に基づいて前記作業対象領域の境界を取得するステップは、事前設定検出アルゴリズムに基づいて前記目標画像を検出して、前記目標画像に含まれる前記作業対象領域の境界を特定することを含む。なお、前記事前設定検出アルゴリズムは、色検出アルゴリズム、密度検出アルゴリズム、マルチスペクトル検出アルゴリズムのうちの１つまたは複数を含む。例えば、色検出アルゴリズムに基づいて菜の花の農地ブロックと小麦の農地ブロックとを区別することができ、また、密度検出アルゴリズムに基づいて小麦の農地ブロックとトウモロコシの農地ブロックとを区別することができるので、異なる植生の境界を区別することができる。
【0077】
本発明の実施例に係わる作業対象領域境界の取得装置は、まず、作業対象領域を含む当初画像に基づいて深層学習ネットワークモデルをトレーニングし、その後、前記深層学習ネットワークモデルによって現在入力された当初画像における作業対象領域の境界を取得することにより、従来の、農地の境界を取得するために農地画像に対して人工的にデータ処理を行う必要があるので、効率が悪いという課題を解決することができる。深層学習ネットワークモデルを予め採集し、その後、作業対象領域に対して作業経路の計画を行う必要がある場合、作業対象領域を含む画像を予めトレーニングされた前記深層学習ネットワークモデルに入力し、前記深層学習ネットワークモデルによって作業対象領域の境界を取得し、さらに作業経路の計画に利用することにより、作業対象領域の境界を自動的に識別し、作業経路の計画を自動的に行うことができ、人工的な参加が必要ではなくなり、作業対象領域の境界をリアルタイムで取得することができ、作業対象領域の境界を取得する効率を効果的に向上させることができる。
【0078】
実施例５
本発明がさらに提供する作業経路の計画装置は、図１１に示すように、
作業経路の計画用の当初画像を取得する当初画像取得モジュール１１１０と、
前記当初画像における作業対象領域の境界を、本発明の実施例１および２に係わる作業対象領域境界の取得方法により取得する作業対象領域境界取得モジュール１１２０と、
取得された前記作業対象領域の境界に基づいて、対応する作業対象領域における移動機器の作業経路を特定する作業経路計画モジュール１１３０とを含む。
本発明がさらに提供する作業経路の計画装置は、図１１に示すように、
作業経路の計画用の当初画像を取得する当初画像取得モジュール１１１０と、
前記当初画像における作業対象領域の境界を、本発明の実施例１および２に係わる作業対象領域境界の取得方法により取得する作業対象領域境界取得モジュール１１２０と、
取得された前記作業対象領域の境界に基づいて、対応する作業対象領域における移動機器の作業経路を特定する作業経路計画モジュール１１３０とを含む。
【0079】
また、前記作業経路計画モジュール１１３０は、さらに、
取得された前記作業対象領域の境界データを、前記当初画像のうち、前記作業対象領域が位置する領域の画像である作業対象領域の画像に重畳し、
作業対象領域の境界データが重畳された前記作業対象領域の画像に基づいて、前記作業対象領域における移動機器の作業経路を特定することを含んでもよい。
取得された前記作業対象領域の境界データを、前記当初画像のうち、前記作業対象領域が位置する領域の画像である作業対象領域の画像に重畳し、
作業対象領域の境界データが重畳された前記作業対象領域の画像に基づいて、前記作業対象領域における移動機器の作業経路を特定することを含んでもよい。
【0080】
また、前記作業対象領域の各境界の２つのノードのそれぞれは、第１のノードおよび第２のノードであり、前記作業経路計画モジュールは、さらに、
いずれか１つの境界を開始境界として特定し、この開始境界の２つのノードのそれぞれを起点ノードと終点ノードとして特定し、
前記起点ノードを現在のノードとして捜索し、現在のノードと重なり合ういずれか１つの境界の第１のノードを捜索すると、当該境界の第２のノードを現在のノードとして継続して捜索し、前記終点ノードと重なり合ういずれか１つの境界の第２のノードを捜索すると、捜索した全ての境界で囲まれた領域を候補領域として特定し、
前記候補領域に境界が含まれていないと、当該候補領域を作業対象領域として特定するためのものであってもよい。
いずれか１つの境界を開始境界として特定し、この開始境界の２つのノードのそれぞれを起点ノードと終点ノードとして特定し、
前記起点ノードを現在のノードとして捜索し、現在のノードと重なり合ういずれか１つの境界の第１のノードを捜索すると、当該境界の第２のノードを現在のノードとして継続して捜索し、前記終点ノードと重なり合ういずれか１つの境界の第２のノードを捜索すると、捜索した全ての境界で囲まれた領域を候補領域として特定し、
前記候補領域に境界が含まれていないと、当該候補領域を作業対象領域として特定するためのものであってもよい。
【0081】
また、前記作業経路計画モジュール１１３０は、さらに、
前記作業対象領域を強調表示し、
ユーザからの選択操作に応じて、前記作業対象領域における計画対象領域を特定し、
前記計画対象領域に対して経路計画を行うためのものであってもよい。
前記作業対象領域を強調表示し、
ユーザからの選択操作に応じて、前記作業対象領域における計画対象領域を特定し、
前記計画対象領域に対して経路計画を行うためのものであってもよい。
【0082】
本発明の実施例に係わる作業経路の計画装置は、作業経路の計画用の当初画像を取得し、予めトレーニングされた深層学習ネットワークモデルによって前記当初画像における作業対象領域の境界を取得し、取得した前記作業対象領域の境界に基づいて、対応する作業対象領域における移動機器の作業経路を特定することにより、従来の、農地の境界を取得するために農地画像に対して人工的にデータ処理を行う必要があるので、効率が悪いという課題を解決することができる。予めトレーニングされた深層学習ネットワークモデルにより、作業対象領域の境界情報をリアルタイムで取得して、移動機器の作業経路の計画をリアルタイムで行うことができるので、移動機器の作業経路の計画のリアルタイム性および効率を効果的に向上させることができる。従来技術では、まず作業対象領域をマッピングしてから、経路の計画を行って、植物保護を実行することしかできない。これに対して、本発明に係わる移動機器の作業経路の計画方法によれば、作業対象領域を事前にマッピングする必要がなくなり、作業対象領域の画像をリアルタイムで収集するとともに、経路の計画および植物保護の任務を実行することができるので、植物保護作業の効率を効果的に向上させることができる。
【0083】
本発明の装置の実施例は、方法に対応するものとして、装置の実施例における各モジュールの具体的な実現方式は、方法の実施例を参照することができるので、ここでは説明を省略する。
上記の本発明の実施例の番号は説明に使われるものに過ぎず、実施例の優劣を表すものではない。
本発明の上記実施例では、各実施例の説明はそれぞれ異なる面を中心にし、ある実施例において詳細に説明していない部分については、他の実施例の関連説明を参照することができる。
上記の本発明の実施例の番号は説明に使われるものに過ぎず、実施例の優劣を表すものではない。
本発明の上記実施例では、各実施例の説明はそれぞれ異なる面を中心にし、ある実施例において詳細に説明していない部分については、他の実施例の関連説明を参照することができる。
【0084】
本発明が提供するいくつかの実施例において、開示された技術内容は、他の形態で実現可能であると理解すべきである。なお、以上に説明した装置の実施例は、例示的なものに過ぎず、例えば、前記ユニットの区分について、論理機能に基づいて区分することができるが、実際の実施にあっては、別の方式で区分してもよい。例えば、複数のユニットまたはアセンブリを組合せたり、または他のシステムに組み込まれてもよいし、あるいはそのうちの一部の特徴を無視するか、または実行しなくてもよい。なお、表示または検討した相互の結合、直接的な結合または通信可能な接続は、インタフェースによって実現することができ、ユニットやモジュールの間接的な結合または通信可能な接続は、電気的または他の形態で実現することができる。
【0085】
前記分離部材として説明されたユニットは、物理的に分離されているかまたはされていなくてもよく、ユニットとして表示される部材は、物理的ユニットであってもなくてもよく、１箇所にあってもよく、あるいは複数のユニットに分布していてもよい。また、実際の需要に応じてそのうちの一部または全部のユニットを選択して本実施例の解決手段の目的を達成することができる。
【0086】
また、本発明の各実施例における各機能ユニットは、１つの処理ユニットに集積されていてもよいし、個々のユニットが個別に物理的に存在していてもよいし、２以上のユニットが１つのユニットに集積されていてもよい。上記集積されたユニットは、ハードウェアで実現されてもよいし、ソフトウェア機能ユニットで実現されてもよい。
【0087】
上記集積されたユニットがソフトウェア機能ユニットで実現されかつ独立した製品として販売または使用される場合、１つのコンピュータ読み取り可能な記憶媒体に記憶されてもよい。これに基づいて、本発明の技術手段は本質的または従来技術に貢献する部分または該技術手段の全部または一部をソフトウェア製品として具現化することができ、当該コンピュータソフトウェア製品は、記憶媒体に記憶されており、コンピュータ（パーソナルコンピュータ、サーバまたはネットワーク装置など）に本発明の各実施例に係わる方法の全部または一部のステップを実行させるための若干の命令を含む。前記記憶媒体は、ＵＳＢ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、リムーバブルハードディスク、磁気ディスクや光ディスク等の様々なプログラムコードを記憶可能な媒体が含まれる。
【0088】
以上は、本発明の好適な実施例に過ぎず、当業者にとっては、本発明の原理を逸脱することなく、多少の改良や修飾が可能であり、それらも本発明の保護範囲に含まれるとみなされるべきである。
【産業上の利用可能性】
【0089】
本発明の実施例が提供する技術手段は、農業植物保護の技術分野に適用可能である。本発明の実施例では、作業対象領域を含む当初画像を事前設定識別モデルに入力し、前記事前設定識別モデルから出力された目標画像を取得し、前記目標画像に基づいて前記作業対象領域の境界を取得する。深層学習ネットワークモデルによって画像における作業対象領域の境界を取得し、さらに作業経路の計画に利用することにより、作業対象領域の境界のを自動的に識別し、作業経路の計画を自動的に行うことができ、人工的な参加が必要ではなくなり、作業対象領域の境界をリアルタイムで取得することができ、作業対象領域の境界を取得する効率を効果的に向上させることができる。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】