ホーム > 特許ランキング > ソニーグループ株式会社
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-11-11
(45)【発行日】2024-11-19
(54)【発明の名称】情報処理装置、情報処理方法、プログラム
(51)【国際特許分類】
G06Q 50/02 20240101AFI20241112BHJP
【ＦＩ】
G06Q50/02
【請求項の数】
12
(21)【出願番号】P 2021572986
(86)(22)【出願日】2020-11-27
(86)【国際出願番号】 JP2020044256
(87)【国際公開番号】W WO2021149355
(87)【国際公開日】2021-07-29
【審査請求日】2023-11-14
(31)【優先権主張番号】P 2020007236
(32)【優先日】2020-01-21
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000002185
【氏名又は名称】ソニーグループ株式会社
(74)【代理人】
【識別番号】110003410
【氏名又は名称】弁理士法人テクノピア国際特許事務所
(74)【代理人】
【識別番号】100116942
【弁理士】
【氏名又は名称】岩田 雅信
(74)【代理人】
【識別番号】100167704
【弁理士】
【氏名又は名称】中川 裕人
(72)【発明者】
【氏名】綱島 宣浩
【審査官】加内 慎也
(56)【参考文献】
【文献】特開２０１９－１８５７７３（ＪＰ，Ａ）
【文献】特開２０１７－０８３３５８（ＪＰ，Ａ）
【文献】特開２０１２－１９８６８８（ＪＰ，Ａ）
【文献】特開２００７－０４３９１９（ＪＰ，Ａ）
【文献】特開２００３－００９６６４（ＪＰ，Ａ）
【文献】特開２００３－００６６１２（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｑ １０／００－９９／００
(57)【特許請求の範囲】
【請求項1】
上方から圃場を撮像した撮像画像の射影変換を行い射影変換画像を得る射影変換部と、圃場を撮像した画像内で作物検出を行い、前記画像内で、作物の植え付けが行われたラインであるロウを、前記作物検出により求められる作物サイズの情報を用いて決定するロウ決定部と、
前記射影変換画像を用い、前記ロウ決定部で決定されたロウの情報を用いて作物数のカウントを行い、作物数情報を生成する出力情報演算部と、を備えた
情報処理装置。
【請求項2】
上方から圃場を撮像した撮像画像の射影変換を行い射影変換画像を得る射影変換部と、
圃場を撮像した画像内で作物検出を行い、前記画像内で、作物の植え付けが行われたラインであるロウを、前記作物検出の結果に基づいて決定するロウ決定部と、
前記射影変換画像を用い、前記ロウ決定部で決定されたロウの情報を用いて作物数のカウントを行い、作物数情報を生成する出力情報演算部と、
を備え、
前記ロウ決定部は、
ロウ候補の上付近にある作物らしい領域の大きさから作物サイズを算出し、
算出された作物サイズからロウ候補上の作物候補を検出し、
検出した作物候補の間隔から前記画像上の作物間隔を算出し、
決定した作物間隔からロウ候補の確からしさを決定し、
決定した確からしさを用いて誤検出と判定したロウ候補を除外したうえでロウを決定する処理を行う
情報処理装置。
【請求項3】
前記出力情報演算部は、前記射影変換画像に対して作物数をカウントする対象とするカウントエリアを設定し、前記カウントエリア内でカウントした作物数に基づいて、単位面積あたりの作物数の算出を行う
請求項１又は請求項２に記載の情報処理装置。
【請求項4】
前記出力情報演算部は、前記カウントエリアとして、それぞれが圃場内の同一面積の領域に相当する複数のカウントエリアを設定し、各カウントエリア内でカウントした作物数に基づいて、作物数の代表値を求め、代表値を用いて単位面積あたりの作物数の算出を行う
請求項３に記載の情報処理装置。
【請求項5】
前記出力情報演算部は、圃場におけるカウント対象の面積に相当する、射影変換画像上でのピクセル数を求め、求めたピクセル数の画像範囲として前記カウントエリアを設定する
請求項３に記載の情報処理装置。
【請求項6】
前記カウントエリアは、作物の植え付けが行われたラインであるロウを１つ含む範囲として設定される請求項３に記載の情報処理装置。
【請求項7】
前記射影変換部は、前記撮像画像について撮像時の撮像装置の姿勢判定を行い、傾きが許容範囲外であった場合に射影変換画像を生成し、前記出力情報演算部は、前記射影変換部によって射影変換画像が生成されない場合は、前記射影変換が施されていない画像を用いて作物数のカウントを行い、作物数情報を生成する
請求項１から請求項６のいずれかに記載の情報処理装置。
【請求項8】
前記ロウ決定部は、圃場を撮像した画像として前記射影変換部による射影変換画像を用い、射影変換画像内で、作物の植え付けが行われたラインであるロウを、前記作物検出の結果に基づいて決定する
請求項１から請求項７のいずれかに記載の情報処理装置。
【請求項9】
情報処理装置が、
上方から圃場を撮像した撮像画像の射影変換を行い射影変換画像を得る射影変換処理と、
圃場を撮像した画像内で作物検出を行い、前記画像内で、作物の植え付けが行われたラインであるロウを、前記作物検出により求められる作物サイズの情報を用いて決定するロウ決定処理と、
前記射影変換画像を用い、前記ロウ決定処理で決定されたロウの情報を用いて作物数のカウントを行い、作物数情報を生成する出力情報演算処理と、を行う
情報処理方法。
【請求項10】
情報処理装置が、
上方から圃場を撮像した撮像画像の射影変換を行い射影変換画像を得る射影変換処理と、
圃場を撮像した画像内で作物検出を行い、前記画像内で、作物の植え付けが行われたラインであるロウを、前記作物検出の結果に基づいて決定するロウ決定処理と、
前記射影変換画像を用い、前記ロウ決定処理で決定されたロウの情報を用いて作物数のカウントを行い、作物数情報を生成する出力情報演算処理と、を行い、
前記ロウ決定処理では、
ロウ候補の上付近にある作物らしい領域の大きさから作物サイズを算出し、
算出された作物サイズからロウ候補上の作物候補を検出し、
検出した作物候補の間隔から前記画像上の作物間隔を算出し、
決定した作物間隔からロウ候補の確からしさを決定し、
決定した確からしさを用いて誤検出と判定したロウ候補を除外したうえでロウを決定する処理を行う
情報処理方法。
【請求項11】
上方から圃場を撮像した撮像画像の射影変換を行い射影変換画像を得る射影変換処理と、
圃場を撮像した画像内で作物検出を行い、前記画像内で、作物の植え付けが行われたラインであるロウを、前記作物検出により求められる作物サイズの情報を用いて決定するロウ決定処理と、
前記射影変換画像を用い、前記ロウ決定処理で決定されたロウの情報を用いて作物数のカウントを行い、作物数情報を生成する出力情報演算処理と、を情報処理装置に実行させる
プログラム。
【請求項12】
上方から圃場を撮像した撮像画像の射影変換を行い射影変換画像を得る射影変換処理と、
圃場を撮像した画像内で作物検出を行い、前記画像内で、作物の植え付けが行われたラインであるロウを、前記作物検出の結果に基づいて決定するロウ決定処理と、
前記射影変換画像を用い、前記ロウ決定処理で決定されたロウの情報を用いて作物数のカウントを行い、作物数情報を生成する出力情報演算処理と、を情報処理装置に実行させ、
前記ロウ決定処理では、
ロウ候補の上付近にある作物らしい領域の大きさから作物サイズを算出し、
算出された作物サイズからロウ候補上の作物候補を検出し、
検出した作物候補の間隔から前記画像上の作物間隔を算出し、
決定した作物間隔からロウ候補の確からしさを決定し、
決定した確からしさを用いて誤検出と判定したロウ候補を除外したうえでロウを決定する処理を情報処理装置に実行させる
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本技術は情報処理装置、情報処理方法、プログラムに関し、特に作物の育成に関する情報の生成に好適な技術に関する。
【背景技術】
【0002】
近年、農場の大規模化によって、作物の自動作付けが行われるようになってきている。自動作付けにおいて、作物が正しく作付けされたか、あるいは、作物が期待通りに育成しているか否かを確認するのは非常に重要である。作物が期待通りに作付け、育成されていない箇所がある場合は、そこに再作付けなどを行い、最終的な収穫量の最適化を図ることがある。
【0003】
一方で、ドローン等の飛行体に搭載したカメラなどによる空からの撮像技術の発達で、大規模農場において、人手で農地を見回る作業を省き、作業の簡略化、自動化する試みがなされている。上記した作付けの不具合の検出もこのような空撮技術によって自動化が行われるようになってきている。
特許文献１には、圃場を撮像し、植生状態のリモートセンシングを行う技術に関して開示されている。
特許文献１には、圃場を撮像し、植生状態のリモートセンシングを行う技術に関して開示されている。
【先行技術文献】
【特許文献】
【0004】
【文献】特許第５１６２８９０号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
ところで、作付けの確認には、空撮された画像から作物数をカウントすればよいのであるが、空撮画像から作物を精度良くカウントすることは難しい。
また画像処理によって作物のカウントを行う場合、画像においてロウ（畝や作付けのライン）を指定することで、カウント精度を上げることができるが、そのためには畑の領域やロウの方向、ロウの位置などを手入力する必要があり、多くの画像を処理する場合に非常に手間がかかる。
また空撮による画像は、飛行体の揺れにより撮像する際のカメラの角度や方向が一定ではないことや、高度の揺れやズーム状態により必ずしも撮像する範囲の面積が均一でなく、またロウに対して平行に写されるとは限らない。このため、画像から作物をカウントし、それを単位面積あたりの数に換算するようにすると、誤差が大きくなる場合がある。
また画像処理によって作物のカウントを行う場合、画像においてロウ（畝や作付けのライン）を指定することで、カウント精度を上げることができるが、そのためには畑の領域やロウの方向、ロウの位置などを手入力する必要があり、多くの画像を処理する場合に非常に手間がかかる。
また空撮による画像は、飛行体の揺れにより撮像する際のカメラの角度や方向が一定ではないことや、高度の揺れやズーム状態により必ずしも撮像する範囲の面積が均一でなく、またロウに対して平行に写されるとは限らない。このため、画像から作物をカウントし、それを単位面積あたりの数に換算するようにすると、誤差が大きくなる場合がある。
【0006】
そこで本開示では、空撮された画像から画像処理によって作物数のカウント等を行う場合の精度を向上させる技術を提案する。
【課題を解決するための手段】
【0007】
本技術に係る情報処理装置は、上方から圃場を撮像した撮像画像の射影変換を行い射影変換画像を得る射影変換部と、前記射影変換画像を用いて作物数のカウントを行い、作物数情報を生成する出力情報演算部と、を備える。
即ち圃場を撮像した画像を、射影変換によって圃場の上空から直下方向を見た状態の画像に変換し、この射影変換画像上に表れている作物の数をカウントする。
即ち圃場を撮像した画像を、射影変換によって圃場の上空から直下方向を見た状態の画像に変換し、この射影変換画像上に表れている作物の数をカウントする。
【0008】
上記した本技術に係る情報処理装置においては、前記出力情報演算部は、前記射影変換画像に対して作物数をカウントする対象とするカウントエリアを設定し、前記カウントエリア内でカウントした作物数に基づいて、単位面積あたりの作物数の算出を行うことが考えられる。
即ち実際の圃場の或る面積の範囲が射影変換画像上に現れている画素範囲であって、作物数のカウントを行う範囲をカウントエリアと設定する。そして例えば射影変換画像内でカウントエリアにおける作物数をカウントする。この作物数を例えば１エーカーなどの単位面積あたりの作物数に換算する。
即ち実際の圃場の或る面積の範囲が射影変換画像上に現れている画素範囲であって、作物数のカウントを行う範囲をカウントエリアと設定する。そして例えば射影変換画像内でカウントエリアにおける作物数をカウントする。この作物数を例えば１エーカーなどの単位面積あたりの作物数に換算する。
【0009】
上記した本技術に係る情報処理装置においては、前記出力情報演算部は、前記カウントエリアとして、それぞれが圃場内の同一面積の領域に相当する複数のカウントエリアを設定し、各カウントエリア内でカウントした作物数に基づいて、作物数の代表値を求め、代表値を用いて単位面積あたりの作物数の算出を行うことが考えられる。
例えば複数のカウントエリアでカウントされた作物数の平均値を代表値とする。
例えば複数のカウントエリアでカウントされた作物数の平均値を代表値とする。
【0010】
上記した本技術に係る情報処理装置においては、前記出力情報演算部は、圃場におけるカウント対象の面積に相当する、射影変換画像上でのピクセル数を求め、求めたピクセル数の画像範囲として前記カウントエリアを設定することが考えられる。
即ちカウントエリアが、圃場上で特定の面積を写した範囲となるようにする。
即ちカウントエリアが、圃場上で特定の面積を写した範囲となるようにする。
【0011】
上記した本技術に係る情報処理装置においては、前記カウントエリアは、作物の植え付けが行われたラインであるロウを１つ含む範囲として設定されることが考えられる。
即ちカウントエリアは１本のロウを含んだ範囲となるようにする。
即ちカウントエリアは１本のロウを含んだ範囲となるようにする。
【0012】
上記した本技術に係る情報処理装置においては、前記射影変換部は、前記撮像画像について撮像時の撮像装置の姿勢判定を行い、傾きが許容範囲外であった場合に射影変換画像を生成し、前記出力情報演算部は、前記射影変換部によって射影変換画像が生成されない場合は、前記撮像画像を用いて作物数のカウントを行い、作物数情報を生成することが考えられる。
即ち射影変換画像は、必要な場合のみ生成するようにする。
即ち射影変換画像は、必要な場合のみ生成するようにする。
【0013】
上記した本技術に係る情報処理装置においては、圃場を撮像した画像内で作物検出を行い、前記画像内で、作物の植え付けが行われたラインであるロウを、前記作物検出の結果に基づいて決定するロウ決定部を備え、前記出力情報演算部は、前記ロウ決定部で決定されたロウの情報を用いて作物数のカウントを行うことが考えられる。
圃場に関する画像において作物の部分を検出する。これに基づいて画像データにおけるロウを決定する。
圃場に関する画像において作物の部分を検出する。これに基づいて画像データにおけるロウを決定する。
【0014】
上記した本技術に係る情報処理装置においては、前記ロウ決定部は、圃場を撮像した画像として前記射影変換部による射影変換画像を用い、射影変換画像内で、作物の植え付けが行われたラインであるロウを、前記作物検出の結果に基づいて決定することが考えられる。
例えば処理対象の撮像画像について射影変換をしてから、その射影変換画像上でロウ決定を行い、さらに作物カウントを行うようにする。
例えば処理対象の撮像画像について射影変換をしてから、その射影変換画像上でロウ決定を行い、さらに作物カウントを行うようにする。
【0015】
上記した本技術に係る情報処理装置においては、前記ロウ決定部は、前記作物検出の結果に基づいてロウ候補を検出し、各ロウ候補における作物間隔に基づいてロウとしての確からしさを計算し、確からしさの計算結果に基づいてロウを決定することが考えられる。
作物検出として作物らしい領域の検出を行うことで、作物の並びとしてのロウが推定できるので、それをロウ候補とする。各ロウ候補については、作物間隔に基づいて確からしさを判定する。
作物検出として作物らしい領域の検出を行うことで、作物の並びとしてのロウが推定できるので、それをロウ候補とする。各ロウ候補については、作物間隔に基づいて確からしさを判定する。
【0016】
上記した本技術に係る情報処理装置においては、前記ロウ決定部は、ロウ候補の上付近にある作物らしい領域の大きさから作物サイズを算出し、算出された作物サイズからロウ候補上の作物候補を検出し、検出した作物候補の間隔から前記画像上の作物間隔を算出し、決定した作物間隔からロウ候補の確からしさを決定し、決定した確からしさを用いて誤検出と判定したロウ候補を除外したうえでロウを決定する処理を行うことが考えられる。
作物検出として作物らしい領域から生育サイズを推定することで、画像上の作物間隔を適切に判定できる。そのような作物間隔からロウ候補の確からしさを判定する。
作物検出として作物らしい領域から生育サイズを推定することで、画像上の作物間隔を適切に判定できる。そのような作物間隔からロウ候補の確からしさを判定する。
【0017】
本技術に係る情報処理方法は、上方から圃場を撮像した撮像画像の射影変換を行って射影変換画像を生成し、前記射影変換画像を用いて作物数のカウントを行い、作物数情報を生成する。
これにより情報処理装置において作物の情報の算出精度を向上させる。
本技術に係るプログラムは、上記方法の処理を情報処理装置に実行させるプログラムである。これによりユーザの手間をかけずに精度の良い出力情報を生成するコンピュータ装置の実現が容易となる。
これにより情報処理装置において作物の情報の算出精度を向上させる。
本技術に係るプログラムは、上記方法の処理を情報処理装置に実行させるプログラムである。これによりユーザの手間をかけずに精度の良い出力情報を生成するコンピュータ装置の実現が容易となる。
【図面の簡単な説明】
【0018】
【図1】本技術の実施の形態のセンシングシステムの説明図である。
【図2】圃場におけるロウ及び撮像範囲の説明図である。
【図3】実施の形態の情報処理装置のハードウエア構成のブロック図である。
【図4】実施の形態の情報処理装置の機能構成の説明図である。
【図5】第１の実施の形態の処理例のフローチャートである。
【図6】第１の実施の形態の作物数計算処理のフローチャートである。
【図7】実施の形態の作物らしさを示す画像の説明図である。
【図8】実施の形態のロウ候補の説明図である。
【図9】実施の形態のロウ候補の直線のプロジェクション計算の説明図である。
【図10】実施の形態のロウ上の作物箇所の検出の説明図である。
【図11】実施の形態のロウ候補の絞り込みの説明図である。
【図12】撮像画像の説明図である。
【図13】実施の形態の射影変換の説明図である。
【図14】実施の形態の射影変換の説明図である。
【図15】実施の形態の射影変換画像の座標の説明図である。
【図16】第１の実施の形態のカウントエリアの説明図である。
【図17】第２の実施の形態の処理例のフローチャートである。
【図18】第２の実施の形態のカウントエリアの説明図である。
【図19】第３の実施の形態の作物数計算処理のフローチャートである。
【図20】第４の実施の形態の作物数計算処理のフローチャートである。
【発明を実施するための形態】
【0019】
以下、実施の形態を次の順序で説明する。
＜１．センシングシステムの構成＞
＜２．情報処理装置の構成＞
＜３．第１の実施の形態＞
＜４．第２の実施の形態＞
＜５．第３の実施の形態＞
＜６．第４の実施の形態＞
＜７．第５の実施の形態＞
＜８．まとめ及び変形例＞
＜１．センシングシステムの構成＞
＜２．情報処理装置の構成＞
＜３．第１の実施の形態＞
＜４．第２の実施の形態＞
＜５．第３の実施の形態＞
＜６．第４の実施の形態＞
＜７．第５の実施の形態＞
＜８．まとめ及び変形例＞
【0020】
＜１．センシングシステムの構成＞
まず実施の形態のセンシングシステムについて説明する。
図１はセンシングシステムを構成する情報処理装置１と、例えばドローンのような小型の飛行体２００に搭載された撮像装置２２０を示している。また植え付けを行うトラクター（播種機）２７０も示している。
まず実施の形態のセンシングシステムについて説明する。
図１はセンシングシステムを構成する情報処理装置１と、例えばドローンのような小型の飛行体２００に搭載された撮像装置２２０を示している。また植え付けを行うトラクター（播種機）２７０も示している。
【0021】
飛行体２００は、例えば操作者の無線操縦、或いは自動操縦等により、圃場３００の上空を移動することができる。
飛行体２００には撮像装置２２０が例えば下方を撮像するようにセットされている。飛行体２００が、所定の経路で圃場３００の上空を移動する際に、撮像装置２２０は例えば定期的に静止画撮像を行う。
飛行体２００には撮像装置２２０が例えば下方を撮像するようにセットされている。飛行体２００が、所定の経路で圃場３００の上空を移動する際に、撮像装置２２０は例えば定期的に静止画撮像を行う。
【0022】
なお、飛行体２００が比較的低空（例えば高度１０ｍから２０ｍ程度など）で飛行することで、１枚の撮像画像は、圃場３００の一部が写るものとなる。
短時間間隔で静止画撮像を行うことで、撮像した各画像のスティッチ処理を行って、圃場全体を映し出した合成画像を得ることもできる。しかし本実施の形態のセンシングの場合は、必ずしもそのようなことは必要なく、例えば圃場３００において離散的な領域が、センシングのサンプルとして撮像されて複数の画像データが得られればよい。
以下では、撮像された一枚毎の静止画としての画像データを「サンプル」とも呼ぶ。
短時間間隔で静止画撮像を行うことで、撮像した各画像のスティッチ処理を行って、圃場全体を映し出した合成画像を得ることもできる。しかし本実施の形態のセンシングの場合は、必ずしもそのようなことは必要なく、例えば圃場３００において離散的な領域が、センシングのサンプルとして撮像されて複数の画像データが得られればよい。
以下では、撮像された一枚毎の静止画としての画像データを「サンプル」とも呼ぶ。
【0023】
飛行体２００に搭載される撮像装置２２０は、可視光イメージセンサ（Ｒ（赤）、Ｇ（緑）、Ｂ（青）の可視光を撮像するイメージセンサ）、ＮＩＲ（Near Infra Red：近赤外域）画像撮像用のカメラ、複数の波長帯の画像撮像を行うマルチスペクトラムカメラ（Multi Spectrum Camera）、ハイパースペクトラムカメラ、フーリエ変換赤外分光光度計（ＦＴＩＲ：Fourier Transform Infrared Spectroscopy）、赤外線センサなどが想定される。もちろん複数種類のカメラ（センサ）が飛行体２００に搭載されてもよい。
マルチスペクトラムカメラとしては、例えばＮＩＲ画像とＲ（赤）画像の撮像を行うもので、得られる画像からＮＤＶＩ（Normalized Difference Vegetation Index）が算出できるものが用いられることも想定される。ＮＤＶＩとは植物らしさを表す植生指数であり、植生の分布状況や活性度を示す指標とすることができる。
ＮＤＶＩはＲ画像とＮＩＲ画像から求めることができる。即ちＮＤＶＩの値は、
ＮＤＶＩ＝（ＮＩＲ－Ｒ）／（ＮＩＲ＋Ｒ）
として求められる。
マルチスペクトラムカメラとしては、例えばＮＩＲ画像とＲ（赤）画像の撮像を行うもので、得られる画像からＮＤＶＩ（Normalized Difference Vegetation Index）が算出できるものが用いられることも想定される。ＮＤＶＩとは植物らしさを表す植生指数であり、植生の分布状況や活性度を示す指標とすることができる。
ＮＤＶＩはＲ画像とＮＩＲ画像から求めることができる。即ちＮＤＶＩの値は、
ＮＤＶＩ＝（ＮＩＲ－Ｒ）／（ＮＩＲ＋Ｒ）
として求められる。
【0024】
撮像装置２２０で撮像されて得られる画像には、タグ情報が付加されている。タグ情報には撮像日時情報や、ＧＰＳ（Global Positioning System）データとしての位置情報（緯度／経度情報）、撮像時の飛行体２００の飛行高度の情報、撮像装置情報（カメラの個体識別情報や機種情報等）、各画像データの情報（画サイズ、波長、撮像パラメータ等の情報）などが含まれている。
【0025】
このような飛行体２００に装着された撮像装置２２０により撮像された画像データやタグ情報は情報処理装置１に取得される。
例えば撮像装置２２０と情報処理装置１の無線通信やネットワーク通信などにより画像データやダグ情報が受け渡される。ネットワークとしては例えばインターネット、ホームネットワーク、ＬＡＮ（Local Area Network）等、衛星通信網、その他の各種のネットワークが想定される。
或いは撮像装置２２０に装着されていた記録媒体（例えばメモリカードなど）が情報処理装置１側で読み取られるなどの態様で画像データやダグ情報が情報処理装置１に受け渡される。
例えば撮像装置２２０と情報処理装置１の無線通信やネットワーク通信などにより画像データやダグ情報が受け渡される。ネットワークとしては例えばインターネット、ホームネットワーク、ＬＡＮ（Local Area Network）等、衛星通信網、その他の各種のネットワークが想定される。
或いは撮像装置２２０に装着されていた記録媒体（例えばメモリカードなど）が情報処理装置１側で読み取られるなどの態様で画像データやダグ情報が情報処理装置１に受け渡される。
【0026】
情報処理装置１は画像データやタグ情報を用いて、圃場３００を計測対象とした分析情報を生成する。また分析結果をユーザに対して、画像として提示する処理を行う。
具体的には、画像データに写された作物のカウント等を行い、それに基づいて、例えばサンプルとしての画像に写された作物数、単位面積あたりの作物数、発芽率、予測収穫量、作物割合など、圃場３００の管理に用いることができる情報を生成し、ユーザに提示することができる。
具体的には、画像データに写された作物のカウント等を行い、それに基づいて、例えばサンプルとしての画像に写された作物数、単位面積あたりの作物数、発芽率、予測収穫量、作物割合など、圃場３００の管理に用いることができる情報を生成し、ユーザに提示することができる。
【0027】
情報処理装置１は、例えばＰＣ（personal computer）やＦＰＧＡ（field-programmable gate array）、或いはスマートフォンやタブレットなどの端末装置などとして実現される。
なお、図１では情報処理装置１は撮像装置２２０とは別体のものとしているが、例えば撮像装置２２０を含むユニット内に情報処理装置１となる演算装置（マイクロコンピュータ等）を設けてもよい。
なお、図１では情報処理装置１は撮像装置２２０とは別体のものとしているが、例えば撮像装置２２０を含むユニット内に情報処理装置１となる演算装置（マイクロコンピュータ等）を設けてもよい。
【0028】
本実施の形態のセンシングシステムの場合、例えば画像データ上で圃場３００における「ロウ」とされる箇所を自動的に決定し、その決定に基づいて作付けされた作物のカウントを行う。
ロウとは、作物が植え付けられたラインのことであり、例えば圃場３００において種植えのために形成される畝もロウの一種である。また特に畝のように土を盛り上げた状態としたものに限らず、平地に種を蒔いていったときに形成される仮想的なラインもロウである。例えばトラクター２７０で種まきをしたときに形成される、植え付けのラインがロウと呼ばれる。
ロウとは、作物が植え付けられたラインのことであり、例えば圃場３００において種植えのために形成される畝もロウの一種である。また特に畝のように土を盛り上げた状態としたものに限らず、平地に種を蒔いていったときに形成される仮想的なラインもロウである。例えばトラクター２７０で種まきをしたときに形成される、植え付けのラインがロウと呼ばれる。
【0029】
図２には、圃場３００に形成されたロウ３０１を模式的に示している。例えば種まきから日にちが立つことで、種が発芽して、図のように作物の葉が並んでいるラインがロウ３０１となる。
本実施の形態の場合、飛行体２００が移動しながら撮像装置２２０によって圃場３００が撮像されていくが、適宜タイミングで例えば図中の撮像範囲ＳＰ１、ＳＰ２のように、各所が撮像されることになる。例えば１フレームの静止画撮像画像として撮像範囲ＳＰ１の画像データや、撮像範囲ＳＰ２の画像データが撮像装置２２０によって得られていき、これらがそれぞれサンプルとして情報処理装置１に取り込まれる。
本実施の形態の場合、飛行体２００が移動しながら撮像装置２２０によって圃場３００が撮像されていくが、適宜タイミングで例えば図中の撮像範囲ＳＰ１、ＳＰ２のように、各所が撮像されることになる。例えば１フレームの静止画撮像画像として撮像範囲ＳＰ１の画像データや、撮像範囲ＳＰ２の画像データが撮像装置２２０によって得られていき、これらがそれぞれサンプルとして情報処理装置１に取り込まれる。
【0030】
なお、この図２は説明上のわかりやすさのために撮像範囲ＳＰ１、ＳＰ２を或るサイズの長方形で示しているが、実際の撮像範囲、即ち撮像装置２２０のイメージャーによって撮像される範囲は、飛行体２００に搭載された撮像装置２２０の撮像方向、画角、ズーム倍率などの条件によって異なるし、さらに飛行体２００の飛行中の揺れにより大きく変動する。必ずしも撮像装置２２０が直下を向いて地面からの垂直線に光軸を一致させるような撮像が行われるわけではない。従って、各サンプルとしての長方形の画像に写される実際の圃場の範囲は長方形とならないことが多い。
後述の射影変換は、このような事情を考慮して行うものである。
後述の射影変換は、このような事情を考慮して行うものである。
【0031】
また図２では直線状のロウ３０１を示しているが、ロウ３０１は、必ずしも常に直線とは限らない。直線状のロウ３０１が圃場３００の端などで曲がる場合がある。また圃場３００の形状や種まきの際の経路、障害物などにより、ロウ３０１は一部がカーブする場合もあるし、例えばスパイラル状、同心円状にロウ３０１が形成される場合もある。
【0032】
トラクター２７０は、圃場３００に種子等（種子や苗や株など）の植え付けを行う。トラクター２７０は例えば情報処理装置１から提供される植え付けの指示データに基づいて自動走行し植え付けを行う。これにより圃場３００に上述のロウ３０１が形成される。
トラクター２７０にはコンピュータ装置が搭載されており、そのコンピュータ装置は指示データに基づいて走行や植え付け動作の制御を行う。例えばコンピュータ装置は、後述する指示レートマップで示されるような植え付けの指示データ（箇所毎の単位面積あたりの植え付け指示数を含むレートマップデータ）を含むデータファイルがインポートされることで、その指示データに基づいてトラクター２７０の走行及び植え付け動作を制御する。
またトラクター２７０による植え付け作業の実績（箇所毎の単位面積あたりの植え付け実績数）は、実績データとして情報処理装置１に提供される。
トラクター２７０にはコンピュータ装置が搭載されており、そのコンピュータ装置は指示データに基づいて走行や植え付け動作の制御を行う。例えばコンピュータ装置は、後述する指示レートマップで示されるような植え付けの指示データ（箇所毎の単位面積あたりの植え付け指示数を含むレートマップデータ）を含むデータファイルがインポートされることで、その指示データに基づいてトラクター２７０の走行及び植え付け動作を制御する。
またトラクター２７０による植え付け作業の実績（箇所毎の単位面積あたりの植え付け実績数）は、実績データとして情報処理装置１に提供される。
【0033】
＜２．情報処理装置の構成＞
以上のセンシングシステムにおいて撮像装置２２０からの画像データを取得して処理を行う情報処理装置１について説明する。
以上のセンシングシステムにおいて撮像装置２２０からの画像データを取得して処理を行う情報処理装置１について説明する。
【0034】
図３は情報処理装置１のハードウエア構成を示している。情報処理装置１は、ＣＰＵ（Central Processing Unit）５１、ＲＯＭ（Read Only Memory）５２、ＲＡＭ（Random Access Memory）５３を有して構成される。
ＣＰＵ５１は、ＲＯＭ５２に記憶されているプログラム、または記憶部５９からＲＡＭ５３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ５３にはまた、ＣＰＵ５１が各種の処理を実行する上において必要なデータなども適宜記憶される。
ＣＰＵ５１、ＲＯＭ５２、およびＲＡＭ５３は、バス５４を介して相互に接続されている。このバス５４にはまた、入出力インタフェース５５も接続されている。
ＣＰＵ５１は、ＲＯＭ５２に記憶されているプログラム、または記憶部５９からＲＡＭ５３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ５３にはまた、ＣＰＵ５１が各種の処理を実行する上において必要なデータなども適宜記憶される。
ＣＰＵ５１、ＲＯＭ５２、およびＲＡＭ５３は、バス５４を介して相互に接続されている。このバス５４にはまた、入出力インタフェース５５も接続されている。
【0035】
入出力インタフェース５５には、液晶パネル或いは有機ＥＬ（Electroluminescence）パネルなどよりなる表示部５６、キーボード、マウスなどよりなる入力部５７、スピーカ５８、記憶部５９、通信部６０などが接続可能である。
【0036】
表示部５６は情報処理装置１と一体でも良いし別体の機器でもよい。
表示部５６では、ＣＰＵ５１の指示に基づいて表示画面上に撮像画像や各種の計算結果等の表示が行われる。また表示部５６はＣＰＵ５１の指示に基づいて、各種操作メニュー、アイコン、メッセージ等、即ちＧＵＩ（Graphical User Interface）としての表示を行う。
表示部５６では、ＣＰＵ５１の指示に基づいて表示画面上に撮像画像や各種の計算結果等の表示が行われる。また表示部５６はＣＰＵ５１の指示に基づいて、各種操作メニュー、アイコン、メッセージ等、即ちＧＵＩ（Graphical User Interface）としての表示を行う。
【0037】
入力部５７は、情報処理装置１を使用するユーザが用いる入力デバイスを意味する。
例えば入力部５７としては、キーボード、マウス、キー、ダイヤル、タッチパネル、タッチパッド、リモートコントローラ等の各種の操作子や操作デバイスが想定される。
入力部５７によりユーザの操作が検知され、入力された操作に応じた信号はＣＰＵ５１によって解釈される。
例えば入力部５７としては、キーボード、マウス、キー、ダイヤル、タッチパネル、タッチパッド、リモートコントローラ等の各種の操作子や操作デバイスが想定される。
入力部５７によりユーザの操作が検知され、入力された操作に応じた信号はＣＰＵ５１によって解釈される。
【0038】
記憶部５９は例えばＨＤＤ（Hard Disk Drive）や固体メモリなどの記憶媒体より構成される。記憶部５９には、例えば撮像装置２２０等の外部機器から受信した検出データや分析結果その他各種の情報が記憶される。また分析処理等のためのプログラムデータの格納にも記憶部５９は用いられる。
【0039】
通信部６０は、インターネットを含むネットワークを介しての通信処理や、周辺各部の機器との間の通信を行う。
この通信部６０は例えば撮像装置２２０との通信を行う通信デバイスとされる場合もある。
この通信部６０は例えば撮像装置２２０との通信を行う通信デバイスとされる場合もある。
【0040】
入出力インタフェース５５には、必要に応じてドライブ６１が接続され、メモリカード等のストレージデバイス６２が装着され、データの書込や読出が行われる。
例えばストレージデバイス６２から読み出されたコンピュータプログラムが、必要に応じて記憶部５９にインストールされたり、ＣＰＵ５１で処理したデータが記憶されたりする。もちろんドライブ６１は、磁気ディスク、光ディスク、光磁気ディスク等のリムーバブル記憶媒体に対する記録再生ドライブとされてもよい。これら磁気ディスク、光ディスク、光磁気ディスク等もストレージデバイス６２の一態様である。
例えばストレージデバイス６２から読み出されたコンピュータプログラムが、必要に応じて記憶部５９にインストールされたり、ＣＰＵ５１で処理したデータが記憶されたりする。もちろんドライブ６１は、磁気ディスク、光ディスク、光磁気ディスク等のリムーバブル記憶媒体に対する記録再生ドライブとされてもよい。これら磁気ディスク、光ディスク、光磁気ディスク等もストレージデバイス６２の一態様である。
【0041】
なお、実施の形態の情報処理装置１は、図３のようなハードウエア構成の情報処理装置（コンピュータ装置）１が単一で構成されることに限らず、複数のコンピュータ装置がシステム化されて構成されてもよい。複数のコンピュータ装置は、ＬＡＮ等によりシステム化されていてもよいし、インターネット等を利用したＶＰＮ（Virtual Private Network）等により遠隔地に配置されたものでもよい。複数のコンピュータ装置には、クラウドコンピューティングサービスによって利用可能なコンピュータ装置が含まれてもよい。
またこの図３の情報処理装置１は、据え置き型、ノート型等のパーソナルコンピュータ、タブレット端末やスマートフォン等の携帯端末として実現できる。さらには情報処理装置１としての機能を有する測定装置、テレビジョン装置、モニタ装置、撮像装置、設備管理装置等の電子機器でも、本実施の形態の情報処理装置１を搭載することができる。
またこの図３の情報処理装置１は、据え置き型、ノート型等のパーソナルコンピュータ、タブレット端末やスマートフォン等の携帯端末として実現できる。さらには情報処理装置１としての機能を有する測定装置、テレビジョン装置、モニタ装置、撮像装置、設備管理装置等の電子機器でも、本実施の形態の情報処理装置１を搭載することができる。
【0042】
例えばこのようなハードウエア構成の情報処理装置１では、ＣＰＵ５１による演算機能や、ＲＯＭ５２、ＲＡＭ５３、記憶部５９による記憶機能、通信部６０やドライブ６１によるデータ取得機能、表示部５６などによる出力機能を有し、インストールされたソフトウエアが機能することで、図４のような機能構成を備えるようにされる。
【0043】
即ち情報処理装置１には一例として図４に示すように、画像取得部２、射影変換部３、ロウ決定部４、出力情報演算部５、ユーザインタフェース制御部６（以下「ユーザインタフェース」を「ＵＩ」とも表記する）、記録制御部７が設けられる。
これらの処理機能を実現するソフトウエアを構成するプログラムは、ネットワークからダウンロードされたり、ストレージデバイス６２（例えばリムーバブル記憶媒体）から読み出されたりして図３の情報処理装置１にインストールされる。或いはそのプログラムが記憶部５９等に予め記憶されていてもよい。そしてＣＰＵ５１において当該プログラムが起動されることで、上記各部の機能が発現する。
また各機能の演算経過や結果の記憶は、例えばＲＡＭ５３の記憶領域や記憶部５９の記憶領域を用いて実現される。
これらの処理機能を実現するソフトウエアを構成するプログラムは、ネットワークからダウンロードされたり、ストレージデバイス６２（例えばリムーバブル記憶媒体）から読み出されたりして図３の情報処理装置１にインストールされる。或いはそのプログラムが記憶部５９等に予め記憶されていてもよい。そしてＣＰＵ５１において当該プログラムが起動されることで、上記各部の機能が発現する。
また各機能の演算経過や結果の記憶は、例えばＲＡＭ５３の記憶領域や記憶部５９の記憶領域を用いて実現される。
【0044】
画像取得部２は、処理対象とする画像データ及び画像データに付随するタグ情報を取得する機能である。例えば撮像装置２２０で撮像された画像データは、記憶部５９などに保存されるが、ＣＰＵ５１が特定の画像データを読み出して、計算処理の対象とする。
【0045】
射影変換部３は、サンプルとしての画像、即ち圃場３００の上方から圃場３００を撮像した撮像画像の射影変換を行い射影変換画像を得る。射影変換画像は、圃場３００の上空から直下方向を見た状態であり、画像内のスケールの均一性が図られた画像である。詳しくは後述する。
【0046】
ロウ決定部４は、圃場３００を撮像した画像データ、即ち画像取得部２が処理対象とした画像（射影変換前の撮像画像又は射影変換画像）内で作物検出を行い、その画像データ内でロウ３０１（即ち画像上でロウ３０１が写されている部分）を作物検出の結果に基づいて決定する処理機能である。
【0047】
出力情報演算部５は、圃場３００の状態を示す情報を生成する演算を行う機能である。
例えば出力情報演算部５は、画像データに写されている作物のカウントや、作物のカウント数に基づいて単位面積（例えば１エーカーなど）あたりの作物数、予測収穫量、作物割合などの計算を行う。
特に射影変換画像から作物カウントを行い、カウントされた作物数を単位面積あたりの作物数に換算する。
例えば出力情報演算部５は、画像データに写されている作物のカウントや、作物のカウント数に基づいて単位面積（例えば１エーカーなど）あたりの作物数、予測収穫量、作物割合などの計算を行う。
特に射影変換画像から作物カウントを行い、カウントされた作物数を単位面積あたりの作物数に換算する。
【0048】
ＵＩ制御部６は、例えば表示部５６の表示制御や、入力部５７により入力される操作情報の取得処理などを行う機能である。即ちＵＩ制御部６は、画像や出力情報演算部５により算出された情報の提示や、ユーザ操作の認識などを行う。
【0049】
記録制御部７は、出力情報演算部５により算出された情報などの記憶部５９への保存の制御を行う機能である。
通信制御部８は、出力情報演算部５により算出された情報などを通信部６０により外部機器に送信する制御を行う機能である。
通信制御部８は、出力情報演算部５により算出された情報などを通信部６０により外部機器に送信する制御を行う機能である。
【0050】
＜３．第１の実施の形態＞
第１の実施の形態としての情報処理装置１の処理を説明する。情報処理装置１は撮像装置２２０で撮像された画像を用いて作物数のカウントを行うのであるが、特に本実施の形態では、撮像されたサンプルとしての画像に対して射影変換を行った画像（射影変換画像を用いてカウントを行うものである。
またそのカウントのためには画像上でのロウの検出、決定を行い、精度の良い作物カウントを実現する。
第１の実施の形態としての情報処理装置１の処理を説明する。情報処理装置１は撮像装置２２０で撮像された画像を用いて作物数のカウントを行うのであるが、特に本実施の形態では、撮像されたサンプルとしての画像に対して射影変換を行った画像（射影変換画像を用いてカウントを行うものである。
またそのカウントのためには画像上でのロウの検出、決定を行い、精度の良い作物カウントを実現する。
【0051】
まず本実施の形態の技術の開発に至る事情を述べておく。
農場管理者は、播種後において単位面積あたりの作物数をカウントして発芽状況を確認する必要があるが、これを手作業で行う場合は次のようになる。
農場管理者は、播種後において単位面積あたりの作物数をカウントして発芽状況を確認する必要があるが、これを手作業で行う場合は次のようになる。
【0052】
例えば米国の場合、畑の管理単位はエーカーである。１エーカーは約４０４７ｍ2であり、１エーカー全ての作物数をカウントするのは非現実的であるので、一般的には１／１０００エーカー、つまり、４．０４７ｍ2の作物数をカウントし、それを１０００倍することで１エーカー当たりの作物数に換算している。
ここで４．０４７ｍ2を人間が２次元的に囲むのは面倒なので、図２に斜線部で示すように、ロウ間隔Ｗを用いて４．０４７ｍ2相当の面積に相当する部分を想定し、これに含まれる１本のロウ３０１の区分長さＬを設定する。
ロウ間隔Ｗ［ｍ］はトラクター２７０の播種口の間隔であり既知である。
すると、求めるロウ３０１の区分長さＬ［ｍ］は、次式で表される。
Ｌ＝４．０４７／Ｗ 式（１）
ここで４．０４７ｍ2を人間が２次元的に囲むのは面倒なので、図２に斜線部で示すように、ロウ間隔Ｗを用いて４．０４７ｍ2相当の面積に相当する部分を想定し、これに含まれる１本のロウ３０１の区分長さＬを設定する。
ロウ間隔Ｗ［ｍ］はトラクター２７０の播種口の間隔であり既知である。
すると、求めるロウ３０１の区分長さＬ［ｍ］は、次式で表される。
Ｌ＝４．０４７／Ｗ 式（１）
【0053】
例えばＷ＝０．５ｍであると、区分長さＬは８ｍ程度となる。
そして、計算した区分長さＬ［ｍ］（例えば８ｍ程度の区間）を、圃場３００において巻き尺で計測し、その範囲で、ロウ３０１上にある作物数を目視でカウントする。そして、そのカウント結果を１０００倍することで１エーカー当たりの作物数として決定する。
このように１本のロウ３０１上の作物数をカウントすることで、単位面積あたりの作物数を想定しているが、本実施の形態のように画像処理を用いる場合でも同様のことを行うようにすれば、農場管理者や農業従事者であるユーザの経験で培った感覚に近い数値を提供することができる。
無闇に高度な演算処理を行って高精度化を求めるのではなく、演算処理負担の少ない効率的な処理でありながら、これまでの農場管理者／従事者の感覚に近い数値を算出できるようにすることは重要であるといえる。
そして、計算した区分長さＬ［ｍ］（例えば８ｍ程度の区間）を、圃場３００において巻き尺で計測し、その範囲で、ロウ３０１上にある作物数を目視でカウントする。そして、そのカウント結果を１０００倍することで１エーカー当たりの作物数として決定する。
このように１本のロウ３０１上の作物数をカウントすることで、単位面積あたりの作物数を想定しているが、本実施の形態のように画像処理を用いる場合でも同様のことを行うようにすれば、農場管理者や農業従事者であるユーザの経験で培った感覚に近い数値を提供することができる。
無闇に高度な演算処理を行って高精度化を求めるのではなく、演算処理負担の少ない効率的な処理でありながら、これまでの農場管理者／従事者の感覚に近い数値を算出できるようにすることは重要であるといえる。
【0054】
そこで本実施の形態では、画像上で例えば実際の圃場３００における１／４０００エーカーなどに相当する領域を設定し、ロウ３０１上の作物カウントを行う。そしてそれを１エーカーなどの単位面積あたりの作物数に換算する。
【0055】
以下では、このような情報処理装置１の作物カウントの処理を図５、図６に沿って説明していく。なお実施の形態の処理では、作物のカウントのために、まず画像上でロウを検出するようにし、そのうえでロウ上の作物数のカウントを行うことになる。ロウの検出を含めて詳細に説明する。
【0056】
図５は、ＣＰＵ５１が処理対象とした画像データに対して必要な演算処理を行い、出力情報を生成して出力するまでの一連の処理を示している。この処理はＣＰＵ５１が図４に示した機能を備えることで実現される。即ちステップＳ１０１は画像取得部２、ステップＳ１０２からステップＳ１０８はロウ決定部４、ステップＳ１１０は出力情報演算部５、ステップＳ１２０はＵＩ制御部６（又は記録制御部７、又は通信制御部８）の機能による処理となる。
【0057】
ＣＰＵ５１はステップＳ１０１で処理対象の画像データを特定する。即ちＣＰＵ５１は、飛行体２００に搭載された撮像装置２２０で空撮されたサンプルとしての画像データの１つを処理対象として特定する。この場合の画像データは、ＲＧＢ（赤、緑、青）カメラによるカラー画像データでもよいし、ＩＲ（近赤外）データ及びＲ（赤）データとしての画像データでもよい。またＩＲ（近赤外）データ及びＲ（赤）データから求められるＮＤＶＩ画像データであってもよい。
【0058】
ステップＳ１０２でＣＰＵ５１は、処理対象とした画像データについて、画像内で作物らしい領域の検出を行う。
例えばＲＧＢカメラで撮像した画像を用いる場合の検出手法としてＧ画素検出を説明する。
作物は主に葉で構成され、葉は一般的に、緑色をしているので、ＲＧＢのカラー画像から緑色の領域を検出する。緑色の領域の検出については、例えば、画像中の或る画素におけるＲＧＢの各成分を比較して、Ｇ（緑）が一番高い画素のみを検出すればよい。
あるいは、ＲＧＢをＨＳＶなどの明度、彩度、色相の空間に変換する。そして、色相値の緑色にある幅を持った領域を設けることによって、領域内の色相を持つ画素を検出してもよい。
例えばＲＧＢカメラで撮像した画像を用いる場合の検出手法としてＧ画素検出を説明する。
作物は主に葉で構成され、葉は一般的に、緑色をしているので、ＲＧＢのカラー画像から緑色の領域を検出する。緑色の領域の検出については、例えば、画像中の或る画素におけるＲＧＢの各成分を比較して、Ｇ（緑）が一番高い画素のみを検出すればよい。
あるいは、ＲＧＢをＨＳＶなどの明度、彩度、色相の空間に変換する。そして、色相値の緑色にある幅を持った領域を設けることによって、領域内の色相を持つ画素を検出してもよい。
【0059】
次に、近赤外と赤を撮像した画像を用いる場合の検出手法としてＮＤＶＩ画像に対する閾値検出について説明する。
作物（植物）の分布を示す指数であるＮＤＶＩは近赤外と赤から計算され、±１の値域をとり、作物はＮＤＶＩ値が高く、土壌などはＮＤＶＩが低い。そのためＩＲデータとＲデータからＮＤＶＩ画像を作成し、閾値処理によって作物らしい画素を検出する。
なお既にＮＤＶＩ画像が存在する場合は、上述のようにステップＳ１０１でＮＤＶＩ画像を取得し、ステップＳ１０２では、閾値処理によって作物らしい画素を検出すればよい。
作物（植物）の分布を示す指数であるＮＤＶＩは近赤外と赤から計算され、±１の値域をとり、作物はＮＤＶＩ値が高く、土壌などはＮＤＶＩが低い。そのためＩＲデータとＲデータからＮＤＶＩ画像を作成し、閾値処理によって作物らしい画素を検出する。
なお既にＮＤＶＩ画像が存在する場合は、上述のようにステップＳ１０１でＮＤＶＩ画像を取得し、ステップＳ１０２では、閾値処理によって作物らしい画素を検出すればよい。
【0060】
以上のいずれかの処理のみで作物らしい領域を検出してもよいが、上記の２つの処理（Ｇ画素検出、ＮＤＶＩ画像に対する閾値検出）を、入力画像の持つ情報の種類に合わせて選択し、作物らしい領域の検出を行うようにしてもよい。
【0061】
例えば図７Ａのような画像が処理対象として入力された場合を考える。
図７Ａの画像は、作物３１０がロウ上に並んで植えられている画像であるが、いくつか欠落（作物３１０があるべきなのに存在しない箇所）があり、また、雑草３１５のような、作物以外の植物がロウ以外の箇所に存在する画像である。
図７Ａの画像は、作物３１０がロウ上に並んで植えられている画像であるが、いくつか欠落（作物３１０があるべきなのに存在しない箇所）があり、また、雑草３１５のような、作物以外の植物がロウ以外の箇所に存在する画像である。
【0062】
そして、上述のＧ画素検出、又はＮＤＶＩ画像に対する閾値検出として得られる、作物らしい領域の検出結果は、図７Ｂのように、入力された画像と同じサイズの画像に、画素毎に作物らしい（白）、もしくは、作物らしくない（黒）、の２値で表現されたものとなる。白画素部分は、植物が写っているとされる画素領域であるが、この場合、作物３１０だけでなく雑草３１５の部分も作物らしい領域とされる。
【0063】
なお、このような結果を得るための上記の閾値を１つではなく複数設定してもよい。
例えば、ＮＤＶＩ値についての閾値を２つ設定し、「作物らしい」もしくは「作物らしくない」の２種類に加えて、「作物かそれ以外かは不明」の３値にしてもよい。
例えば、ＮＤＶＩ値についての閾値を２つ設定し、「作物らしい」もしくは「作物らしくない」の２種類に加えて、「作物かそれ以外かは不明」の３値にしてもよい。
【0064】
また、ロウは実際には視認できるラインが存在するわけではないため、図７Ａのような画像には表れないが、この場合は、作物３１０が図の上下方向に並ぶラインがロウである。もちろんロウは畝などにより物理的に視認できる場合もある。
ＣＰＵ５１は、以降、画像内でロウを探索する処理を行うことになる。
ＣＰＵ５１は、以降、画像内でロウを探索する処理を行うことになる。
【0065】
ステップＳ１０３でＣＰＵ５１はロウ候補の検出を行う。
ロウは一般的には直線であるので、画像内の作物３１０の並びの直線を検出する。直線の検出には、ハフ変換やＲＡＮＳＡＣ（Random Sample Consensus）などを用いる。
上記した作物らしい画素（図７Ｂの白画素部分）を通る直線をロウ候補として検出する。ロウの本数や方向は未知であるので、ここでは、図８の破線Ｋ１から破線Ｋ７のように画像内でロウらしい直線をすべてロウ候補として検出しておく。
ロウは一般的には直線であるので、画像内の作物３１０の並びの直線を検出する。直線の検出には、ハフ変換やＲＡＮＳＡＣ（Random Sample Consensus）などを用いる。
上記した作物らしい画素（図７Ｂの白画素部分）を通る直線をロウ候補として検出する。ロウの本数や方向は未知であるので、ここでは、図８の破線Ｋ１から破線Ｋ７のように画像内でロウらしい直線をすべてロウ候補として検出しておく。
【0066】
次にＣＰＵ５１はステップＳ１０４で、作物サイズを算出する。
まず、あるロウ候補の直線について、直線付近にある作物らしい画素を直線に沿ってプロジェクションを行う。具体的には、ロウ候補の直線に平行な任意の直線を仮定し、その直線上にある作物らしい画素の数をカウントする。これによって、ロウ候補の直線に垂直な方向に対する作物らしい画素の分布を得ることができる。
図９に、図８の左端の破線Ｋ１で示すロウ候補の直線のプロジェクションを計算した例を示す。ロウ候補の直線は作物らしい画素を通るように検出されているので、この分布は、中央付近で最も高くなり、中央から離れていくにつれて下がっていく。そして、この分布に対して、或る閾値ｔｈＳを設定し、閾値ｔｈＳ以上となる幅ＷＳを作物サイズとして推定する。閾値ｔｈＳとしては、例えば中央値の半分とすることが考えられる。
まず、あるロウ候補の直線について、直線付近にある作物らしい画素を直線に沿ってプロジェクションを行う。具体的には、ロウ候補の直線に平行な任意の直線を仮定し、その直線上にある作物らしい画素の数をカウントする。これによって、ロウ候補の直線に垂直な方向に対する作物らしい画素の分布を得ることができる。
図９に、図８の左端の破線Ｋ１で示すロウ候補の直線のプロジェクションを計算した例を示す。ロウ候補の直線は作物らしい画素を通るように検出されているので、この分布は、中央付近で最も高くなり、中央から離れていくにつれて下がっていく。そして、この分布に対して、或る閾値ｔｈＳを設定し、閾値ｔｈＳ以上となる幅ＷＳを作物サイズとして推定する。閾値ｔｈＳとしては、例えば中央値の半分とすることが考えられる。
【0067】
このような処理をすべてのロウ候補の直線（破線Ｋ１から破線Ｋ７）に対して行い、作物サイズを算出（推定）する。
同じ時期に作付けされた作物は、ほぼ同じ大きさであると考えられるので、算出したすべてのロウ候補の作物サイズの平均値、中央値などの値を作物サイズＳＳとして決定する。
あるいは、任意のロウ候補の直線付近にある作物らしい画素のプロジェクションをすべて合計して、閾値処理によって、一意に作物サイズＳＳを決定してもよい。
同じ時期に作付けされた作物は、ほぼ同じ大きさであると考えられるので、算出したすべてのロウ候補の作物サイズの平均値、中央値などの値を作物サイズＳＳとして決定する。
あるいは、任意のロウ候補の直線付近にある作物らしい画素のプロジェクションをすべて合計して、閾値処理によって、一意に作物サイズＳＳを決定してもよい。
【0068】
次にＣＰＵ５１はステップＳ１０５で、ロウ上の作物箇所を検出する。
この場合、まず算出した作物サイズに応じて、ロウ上に参照領域ＲＡを設定する。図１０Ａに参照領域ＲＡの例を示している。参照領域ＲＡは、例えば、作物サイズＳＳを直径とした円領域でもよいし、作物サイズＳＳを１辺とした正方形領域でもよい。もちろん他の形状でもよい。例えば作物の種別（作物の形状）に合わせて領域形状が設定されるようにしてもよい。
この場合、まず算出した作物サイズに応じて、ロウ上に参照領域ＲＡを設定する。図１０Ａに参照領域ＲＡの例を示している。参照領域ＲＡは、例えば、作物サイズＳＳを直径とした円領域でもよいし、作物サイズＳＳを１辺とした正方形領域でもよい。もちろん他の形状でもよい。例えば作物の種別（作物の形状）に合わせて領域形状が設定されるようにしてもよい。
【0069】
この参照領域ＲＡをロウ候補の直線（図１０Ｃの破線Ｋ１から破線Ｋ７）に沿って動かしながら順次、作物箇所を決定していく。例えば図１０Ｂのように参照領域ＲＡを破線Ｋ１に沿って動かしながら、それぞれの参照領域ＲＡの箇所が作物箇所であるか否かを判定する。例えば参照領域ＲＡ内の作物らしい画素数をカウントして、カウント数が或る閾値ｔｈＣ以上の場合には、参照領域ＲＡの位置を作物箇所ＣＳとして決定する。この場合の閾値ｔｈＣは、例えば、参照領域ＲＡの面積の半分や２／３などに設定すればよい。
図１０Ｃにロウ候補上の作物箇所ＣＳを検出した例を示している。
図１０Ｃにロウ候補上の作物箇所ＣＳを検出した例を示している。
【0070】
次にＣＰＵ５１はステップＳ１０６で、ロウ上での作物間隔を決定する。入力された処理対象の画像において、任意のロウ上で作物は等間隔に作付けされていると考えられる場合、画像上での作物間隔を決定する。
まず、任意のロウ候補の直線において、上記した処理で検出された作物箇所ＣＳについて、隣にある作物箇所までの距離を計算する。すべての作物箇所ＣＳにおいて、隣の作物箇所ＣＳまでの距離を計算し、その平均値あるいは中央値などを、処理対象の画像における作物間隔として決定する。
まず、任意のロウ候補の直線において、上記した処理で検出された作物箇所ＣＳについて、隣にある作物箇所までの距離を計算する。すべての作物箇所ＣＳにおいて、隣の作物箇所ＣＳまでの距離を計算し、その平均値あるいは中央値などを、処理対象の画像における作物間隔として決定する。
【0071】
次にＣＰＵ５１はステップＳ１０７で、ロウ候補（破線Ｋ１から破線Ｋ７）のそれぞれについての確からしさを計算する。
正しいロウ上には、作物が均等に植えられているので、算出した作物間隔を用いて、正しい作物間隔で作付けされた作物の組の数をカウントする。
「作物の組」とは、隣り合う２つの作物のことであり、この場合の処理上では、隣り合う２つの作物箇所ＣＳのことに相当する。つまり正しい作物間隔となっている、２つの作物箇所ＣＳの組の数をカウントする。
作物間隔が正しいかどうかの判定は、作物間の距離が上記した作物間隔に対して誤差範囲内であるとする。ここでの誤差範囲とは例えば２０％などを予め設定しておく。
正しいロウ上には、作物が均等に植えられているので、算出した作物間隔を用いて、正しい作物間隔で作付けされた作物の組の数をカウントする。
「作物の組」とは、隣り合う２つの作物のことであり、この場合の処理上では、隣り合う２つの作物箇所ＣＳのことに相当する。つまり正しい作物間隔となっている、２つの作物箇所ＣＳの組の数をカウントする。
作物間隔が正しいかどうかの判定は、作物間の距離が上記した作物間隔に対して誤差範囲内であるとする。ここでの誤差範囲とは例えば２０％などを予め設定しておく。
【0072】
例えば図１１Ａには、４つの作物箇所ＣＳを示しており、この場合、「作物の組」としては３つの組ＧＰ１，ＧＰ２，ＧＰ３が存在する。ここで各組ＧＰ１，ＧＰ２，ＧＰ３の作物間隔が距離ＢＴ１，ＢＴ２，ＢＴ３としたときに、距離ＢＴ１，ＢＴ２は正しい作物間隔、距離ＢＴ３は正しくない作物間隔であるとしたら、正しい作物間隔となっている作物の組の数は「２」となる。
このようにＣＰＵ５１は、正しい作物間隔で作付けされた作物の組みの数を、各ロウ候補について算出し、その値をロウ候補の確からしさの値として設定する。そしてその値が大きい方がロウらしいと定義する。
このようにＣＰＵ５１は、正しい作物間隔で作付けされた作物の組みの数を、各ロウ候補について算出し、その値をロウ候補の確からしさの値として設定する。そしてその値が大きい方がロウらしいと定義する。
【0073】
次にＣＰＵ５１はステップＳ１０８で、ロウ候補のうちで正しいロウを決定する。例えば次の（Ｐ１）から（Ｐ３）の手順の処理を行う。
【0074】
（Ｐ１） ロウは基本的には交差しないので、交差している２本のロウ候補を探し、２本のロウ候補の内、確からしさが低い方のロウ候補を削除する。
これを交差するロウ候補が無くなるまで繰り返す。
これを交差するロウ候補が無くなるまで繰り返す。
【0075】
（Ｐ２） 上記（Ｐ１）の処理で残された各ロウ候補の線の傾きを算出し、その平均値あるいは中央値などを画像全体のロウの傾きとして求める。各ロウは平行に配置されているので、求めたロウの傾きから許容範囲以上にズレた傾きとなっているロウ候補を削除する。なおズレの許容範囲は、例えば角度差が１０度以内などとして予め設定しておく。許容範囲は撮像時の撮像装置２２０の傾き、画角等の情報に基づいて設定してもよい。
【0076】
（Ｐ３） 絞り込まれたロウ候補の間隔の平均値あるいは中央値から、ロウ間隔を算出する。そして、上記（Ｐ１）（Ｐ２）の処理で残された各ロウ候補のうちで、算出したロウ間隔と比べて近い間隔（例えばロウ間隔の８０％以下など）となっているロウ候補を、確からしさが低いロウ候補であるとして削除する。
【0077】
このような処理により、例えば図１１Ｂのように、破線Ｋ１，Ｋ２，Ｋ３，Ｋ４で示すロウ候補が確からしいロウ候補として残る。この場合、交差したロウ候補が除去されただけでなく、雑草などによって検出された誤ったロウ候補も除去されることになる。
ＣＰＵ５１はこれらの残ったロウ候補を、画像上におけるロウであると決定する。
ＣＰＵ５１はこれらの残ったロウ候補を、画像上におけるロウであると決定する。
【0078】
ＣＰＵ５１はステップＳ１１０で作物数の計算を行う。
作物数については、例えばロウとして決定した直線上にある作物箇所ＣＳの数を集計し、処理対象の画像内の作物数を全てカウントすることもできるが、ここでは画像内でカウントエリアとして設定した範囲内で作物数をカウントし、それに基づいて単位面積（例えば１エーカー）あたりの作物数を求める処理を行う例を述べる。
特にステップＳ１０８までの処理でロウを検出しているため、雑草などのロウ外もランダムに生えている植物と、ロウ上に生えている作物と区別することができため、作物数のカウントを精度よく実行できることになる。
作物数については、例えばロウとして決定した直線上にある作物箇所ＣＳの数を集計し、処理対象の画像内の作物数を全てカウントすることもできるが、ここでは画像内でカウントエリアとして設定した範囲内で作物数をカウントし、それに基づいて単位面積（例えば１エーカー）あたりの作物数を求める処理を行う例を述べる。
特にステップＳ１０８までの処理でロウを検出しているため、雑草などのロウ外もランダムに生えている植物と、ロウ上に生えている作物と区別することができため、作物数のカウントを精度よく実行できることになる。
【0079】
【0080】
画像から作物数のカウントを行う場合に問題となるのが、撮像画像と実際の地上面との関係である。ドローンなどの飛行体２００によって、空中から撮像された画像上で検出される複数のロウは、トラクター２７０によって等間隔に播種されるため、撮像時のカメラの向きが地面に対して垂直であれば、お互いに略平行な直線上に並んでいるものとなる。
【0081】
しかしながら、実際には飛行体２００に取り付けられた撮像装置２２０は、必ずしも地面に対して垂直で撮像できるとは限らない。また撮像される範囲内でも直下とそれ以外の周縁部では撮像装置２２０からの距離も異なる。
このため必ずしも画像上で平行にはならず、例えば図１２に例示するように、画像上で検出された複数のロウは放射上に並んでいることがある。図ではロウを一点鎖線ＲＬで示しているが、この例では図面上方に広がるような放射状となっている。
また実際には平行なロウが放射状に広がっていることは、画面内でスケールも一様ではないことを意味する。例えば図１２の画像ではロウ間隔が狭い下方ほど、実際には広い面積の範囲を写していることになる。
このため必ずしも画像上で平行にはならず、例えば図１２に例示するように、画像上で検出された複数のロウは放射上に並んでいることがある。図ではロウを一点鎖線ＲＬで示しているが、この例では図面上方に広がるような放射状となっている。
また実際には平行なロウが放射状に広がっていることは、画面内でスケールも一様ではないことを意味する。例えば図１２の画像ではロウ間隔が狭い下方ほど、実際には広い面積の範囲を写していることになる。
【0082】
このような状態では、図２の斜線部に相当するような範囲、例えば１／１０００エーカーの範囲を、画面上で精度良く設定することが難しい。具体的な処理として言えば、作物のカウント対象とするロウの長さ、即ち上述した区分長さＬを精度良く設定するのは難しい。
【0083】
そこで、飛行体２００に撮像装置２２０と共に搭載している加速度センサの情報を用いて傾きを補正する。即ち加速度センサによって撮像角度を判定し、射影変換と呼ばれる処理で画像を補正する。射影変換によって画像を補正することで、補正した射影変換画像上でのロウは略平行になる。
図１３Ａは撮像画像を模式的に示している。撮像装置２２０のイメージャーで撮像された長方形の画像であるが、撮像方向の垂直に対する角度などによりロウ（一点鎖線ＲＬ）が放射状になっている。
図１３Ｂは射影変換画像を模式的に示している。射影変換画像ではロウが平行になっている。また射影変換画像では、画像内でスケールが均一化されることにもなる。
図１３Ａは撮像画像を模式的に示している。撮像装置２２０のイメージャーで撮像された長方形の画像であるが、撮像方向の垂直に対する角度などによりロウ（一点鎖線ＲＬ）が放射状になっている。
図１３Ｂは射影変換画像を模式的に示している。射影変換画像ではロウが平行になっている。また射影変換画像では、画像内でスケールが均一化されることにもなる。
【0084】
また、射影変換によってロウは平行になっても、撮像装置２２０の撮像時の高度によっても、スケールが異なるため、高度に応じた画像のスケール補正も必要となる。
画像のスケールは、飛行体２００に撮像装置２２０と共に搭載しているＧＰＳセンサの情報を用いる。ＧＰＳセンサは、センサの緯度経度高度の情報をセンシングしている。
画像のスケールは、飛行体２００に撮像装置２２０と共に搭載しているＧＰＳセンサの情報を用いる。ＧＰＳセンサは、センサの緯度経度高度の情報をセンシングしている。
【0085】
このように撮像角度、ＧＰＳセンサからの緯度経度高度情報、撮像装置２２０の画角から、撮像画像を地上面にスケール変換を含めた射影変換をすることで、撮像装置２２０の傾きにより生じた画像を、直下に向いて撮像した状態の画像に補正するとともに、実測の長さ［ｍ］を画素［ｐｉｘｅｌ］に変換するスケール変換係数を求める。
【0086】
図１４Ａは地上をｘ軸、ｙ軸による平面とし、垂直方向をｚ軸とした座標系で、撮像装置２２０が、ある三次元位置ｐｃで、垂直方向からのずれ角度を有する姿勢Ｒｃａｍで撮像をおこなった場合を示している。ベクトルＶＣ１、ＶＣ２，ＶＣ３，ＶＣ４は撮像装置２２０のレンズ焦点から長方形の撮像画像面（イメージプレーンＩＰ）の各頂点への方向ベクトルである。
なお、この例はあくまで１つのモデルであるが、仮にｘ軸方向を飛行体２００の飛行方向としたときに、撮像装置２２０の撮像方向は、ｘ軸、ｙ軸方向にも角度θのずれを持っている場合としている。
なお、この例はあくまで１つのモデルであるが、仮にｘ軸方向を飛行体２００の飛行方向としたときに、撮像装置２２０の撮像方向は、ｘ軸、ｙ軸方向にも角度θのずれを持っている場合としている。
【0087】
図１４ＢはベクトルＶＣ１、ＶＣ２，ＶＣ３，ＶＣ４を地上面まで延長した状態を示しており、その各地上面に達した地点を頂点とする形状が、図１４Ｃに斜線で示す形状となる。この形状に相当する地上面の範囲が、図１３Ｂのような射影変換画像として現れることになる。
【0088】
具体的にはＣＰＵ５１は、撮像装置２２０の緯度経度高度情報から撮像装置２２０の地上面に対する位置ｐｃを求める。次に、撮像装置２２０の画角、レンズ焦点から撮像装置２２０のイメージプレーンＩＰの４隅への方向ベクトルＶＣ１、ＶＣ２，ＶＣ３，ＶＣ４を求める。
次にＣＰＵ５１は、それら４つの方向ベクトルＶＣ１、ＶＣ２，ＶＣ３，ＶＣ４を地上面と交差するまで延長する。
次にＣＰＵ５１は、それら４つの方向ベクトルＶＣ１、ＶＣ２，ＶＣ３，ＶＣ４を地上面と交差するまで延長する。
【0089】
そしてＣＰＵ５１は、この交差した４点を射影変換の４隅として、射影変換パラメータを求める。図１５Ａのように元の撮像画像上のある座標（ｘ，ｙ）を、図１５Ｂの射影変換画像の座標（ｘ’，ｙ’）へと変換する射影変換は次式で計算できる。
ｘ’＝（ａｘ＋ｂｙ＋ｃ）／（ｇｘ＋ｈｙ＋１）
ｙ’＝（ｄｘ＋ｅｙ＋ｆ）／（ｇｘ＋ｈｙ＋１）
ｘ’＝（ａｘ＋ｂｙ＋ｃ）／（ｇｘ＋ｈｙ＋１）
ｙ’＝（ｄｘ＋ｅｙ＋ｆ）／（ｇｘ＋ｈｙ＋１）
【0090】
ここで４隅のｘ，ｙ座標の８つ数値（ｘ０，ｙ０，ｘ１，ｙ１、ｘ２，ｙ２、ｘ３，ｙ３）から、射影変換の８つのパラメータを一意に求めることができる。
また、この地上面は、実測の座標系なので、射影変換した座標を画像として切り出す際に、実際の距離と画素数の関係であるスケール変換係数を求めることができる。
また、この地上面は、実測の座標系なので、射影変換した座標を画像として切り出す際に、実際の距離と画素数の関係であるスケール変換係数を求めることができる。
【0091】
ＣＰＵ５１はこのような射影変換を図６のステップＳ１１１で行ったら、ステップＳ１１２で、区分画素数の設定を行う。
即ち、ロウ間隔Ｗを用いて上述の式（１）によって区分長さＬを求め、その区分長さＬに相当する画素数を算出する。ロウ間隔Ｗはトラクター２７０によって決まるため、予め情報処理装置１に入力／記憶されていればよい。
即ち、ロウ間隔Ｗを用いて上述の式（１）によって区分長さＬを求め、その区分長さＬに相当する画素数を算出する。ロウ間隔Ｗはトラクター２７０によって決まるため、予め情報処理装置１に入力／記憶されていればよい。
【0092】
ステップＳ１１３でＣＰＵ５１は図１６のようにカウントエリアＣＡを設定する。
図１６はロウが平行化された射影変換画像の一部を示しており、その中で、１つのロウについての区分長さＬに相当する画素の範囲を囲うカウントエリアＣＡを例示している。
このカウントエリアＣＡは、作物カウントの対象とするエリアであるとともに、例えば実際に１／１０００エーカーなどの或る面積の範囲が射影変換画像上に現れている画素範囲である。しかもこの場合は、１つのロウのみが含まれている範囲となっている。或る面積とは、例えば１エーカーなどの単位面積に換算が容易な面積であるとよい。
１つのロウから左右（ロウ間隔方向）にＷ／２ずつの幅で、区分長さＬの長さとすることで、カウントエリアＣＡは、１つのロウが含まれる１／１０００エーカーの範囲に相当する範囲となる。
図１６はロウが平行化された射影変換画像の一部を示しており、その中で、１つのロウについての区分長さＬに相当する画素の範囲を囲うカウントエリアＣＡを例示している。
このカウントエリアＣＡは、作物カウントの対象とするエリアであるとともに、例えば実際に１／１０００エーカーなどの或る面積の範囲が射影変換画像上に現れている画素範囲である。しかもこの場合は、１つのロウのみが含まれている範囲となっている。或る面積とは、例えば１エーカーなどの単位面積に換算が容易な面積であるとよい。
１つのロウから左右（ロウ間隔方向）にＷ／２ずつの幅で、区分長さＬの長さとすることで、カウントエリアＣＡは、１つのロウが含まれる１／１０００エーカーの範囲に相当する範囲となる。
【0093】
ステップＳ１１４でＣＰＵ５１は、カウントエリアＣＡ内で作物数のカウントを行う。即ち先にステップＳ１０８で決定したロウ上で、作物箇所とした数をカウントする。
ステップＳ１１５でＣＰＵ５１は、カウントエリアＣＡ内でのカウント数を、単位面積あたりの作物数に換算する。例えば上記のようにカウントエリアＣＡを１／１０００エーカーに相当する範囲とした場合、カウントエリアＣＡでカウントした作物数を１０００倍することで１エーカーあたりの作物数を算出する。
ステップＳ１１５でＣＰＵ５１は、カウントエリアＣＡ内でのカウント数を、単位面積あたりの作物数に換算する。例えば上記のようにカウントエリアＣＡを１／１０００エーカーに相当する範囲とした場合、カウントエリアＣＡでカウントした作物数を１０００倍することで１エーカーあたりの作物数を算出する。
【0094】
例えば以上のように図６の処理を行ったら、ＣＰＵ５１は図５のステップＳ１２０で、単位面積あたりの作物数を出力情報として出力する処理を行う。
例えばＣＰＵ５１は、単位面積あたりの作物数の情報を表示部５６で表示させたり、記憶部５９やストレージデバイス６２に記録させたり、通信部６０により外部機器に送信させたりする処理を行う。
またＣＰＵ５１は、ロウの数や位置、作物箇所ＣＳなど、作物数を計算するまでに求められている情報を補助情報として出力してもよい。
例えばＣＰＵ５１は、単位面積あたりの作物数の情報を表示部５６で表示させたり、記憶部５９やストレージデバイス６２に記録させたり、通信部６０により外部機器に送信させたりする処理を行う。
またＣＰＵ５１は、ロウの数や位置、作物箇所ＣＳなど、作物数を計算するまでに求められている情報を補助情報として出力してもよい。
【0095】
【0096】
ＣＰＵ５１はステップＳ１０１で処理対象の撮像画像を特定したら、ステップＳ１５０で射影変換を行う。即ち上述した図６のステップＳ１１１と同様の処理である。
その後ＣＰＵ５１は、ステップＳ１０２からステップＳ１０８の処理で、射影変換画像を対象として上述同様のロウ決定のための処理を行う。そしてステップＳ１１０Ａとして作物数計算の処理を行う。
なおステップＳ１１０Ａの作物数計算の処理は図５と概略同様であるが、既に射影変換を行っているため、図６のステップＳ１１２からステップＳ１１５の処理を行うようにすれば良い。
その後ＣＰＵ５１は、ステップＳ１０２からステップＳ１０８の処理で、射影変換画像を対象として上述同様のロウ決定のための処理を行う。そしてステップＳ１１０Ａとして作物数計算の処理を行う。
なおステップＳ１１０Ａの作物数計算の処理は図５と概略同様であるが、既に射影変換を行っているため、図６のステップＳ１１２からステップＳ１１５の処理を行うようにすれば良い。
【0097】
この第２の実施の形態のように、ロウ決定のための処理の前に射影変換を行うことで、ロウが平行化された画像を用いることができるため、ステップＳ１０８で正しいロウを決定する場合（例えば上記（Ｐ２）のように平行であることを条件とする場合）に、より正確に判定でき、ロウ決定精度を向上させることができる。
【0098】
但し第１の実施の形態のように、ロウ決定後に射影変換を行う場合は、ロウ決定の処理過程で処理対象の画像サイズが一定（つまり処理時間が一定）であるという利点がある。
先に射影変換する場合、縮小すると画像の一部がつぶれるので、ロウ決定処理のためには拡大するようにせざるを得ない。また、回転補正を掛けると画像の外接矩形が大きくなる。また撮像装置２２０の撮像角度や飛行高度に誤差があると、平行である条件成り立たないことがあるが、平行である条件をそのまま適用すると精度が低下する場合もあり得る。
先に射影変換する場合、縮小すると画像の一部がつぶれるので、ロウ決定処理のためには拡大するようにせざるを得ない。また、回転補正を掛けると画像の外接矩形が大きくなる。また撮像装置２２０の撮像角度や飛行高度に誤差があると、平行である条件成り立たないことがあるが、平行である条件をそのまま適用すると精度が低下する場合もあり得る。
【0099】
そのため第１の実施の形態のように、ロウ決定後に射影変換するか、第２の実施の形態のようにロウ決定処理に先立って射影変換するかは、実施の状況、測定上の各種事情、飛行プランなどに応じて選択できるようにしてもよい。
【0100】
＜５．第３の実施の形態＞
第１の実施の形態では、射影変換画像上で１つのカウントエリアＣＡを設定する例を述べたが、もちろん１枚の射影変換画像で複数のカウントエリアＣＡを設定してもよい。
図１８にはカウントエリアＣＡ１，ＣＡ２，ＣＡ３，ＣＡ４として複数のカウントエリアＣＡを設定した状態を示している。
第１の実施の形態では、射影変換画像上で１つのカウントエリアＣＡを設定する例を述べたが、もちろん１枚の射影変換画像で複数のカウントエリアＣＡを設定してもよい。
図１８にはカウントエリアＣＡ１，ＣＡ２，ＣＡ３，ＣＡ４として複数のカウントエリアＣＡを設定した状態を示している。
【0101】
【0102】
ＣＰＵ５１はステップＳ１１３Ａとして、射影変換画像上で複数（Ｎ個）のカウントエリアＣＡを設定する。
この場合、カウントエリアＣＡを設定するロウは、区分画素数以上に検出されたロウ（つまり区分長さＬ以上の長さが射影変換画像に現れているロウ）から、それら全てを選んでもよいし、あるいは、あらかじめ設定してある本数を超えないロウの数で選んでもよい。そして例えば図１８のように、各カウントエリアＣＡ１，ＣＡ２，ＣＡ３，ＣＡ４は、それぞれ１本のロウのみを含む区分長さＬの長さのエリアとする。
各カウントエリアＣＡ１，ＣＡ２，ＣＡ３，ＣＡ４は、それぞれＬ×Ｗの面積に相当する画像上のエリアである。
この場合、カウントエリアＣＡを設定するロウは、区分画素数以上に検出されたロウ（つまり区分長さＬ以上の長さが射影変換画像に現れているロウ）から、それら全てを選んでもよいし、あるいは、あらかじめ設定してある本数を超えないロウの数で選んでもよい。そして例えば図１８のように、各カウントエリアＣＡ１，ＣＡ２，ＣＡ３，ＣＡ４は、それぞれ１本のロウのみを含む区分長さＬの長さのエリアとする。
各カウントエリアＣＡ１，ＣＡ２，ＣＡ３，ＣＡ４は、それぞれＬ×Ｗの面積に相当する画像上のエリアである。
【0103】
図１９のステップＳ１３０以降、ＣＰＵ５１はそれぞれのカウントエリアＣＡで順次作物カウントを行う。
即ちＣＰＵ５１は、ステップＳ１３０で変数ｎ＝１とし、ステップＳ１３１で第ｎのカウントエリアＣＡについて作物数のカウントを行う。ステップＳ１３２で変数ｎがカウントエリア数Ｎに達していなければ、ステップＳ１３３で変数ｎをインクリメントしてステップＳ１３１に戻り、第ｎのカウントエリアＣＡについて作物数のカウントを行う。
これをステップＳ１３２でｎ＝Ｎとなるまで行うことで、設定した全てのカウントエリアＣＡで、それぞれ作物数のカウントが完了する。
即ちＣＰＵ５１は、ステップＳ１３０で変数ｎ＝１とし、ステップＳ１３１で第ｎのカウントエリアＣＡについて作物数のカウントを行う。ステップＳ１３２で変数ｎがカウントエリア数Ｎに達していなければ、ステップＳ１３３で変数ｎをインクリメントしてステップＳ１３１に戻り、第ｎのカウントエリアＣＡについて作物数のカウントを行う。
これをステップＳ１３２でｎ＝Ｎとなるまで行うことで、設定した全てのカウントエリアＣＡで、それぞれ作物数のカウントが完了する。
【0104】
全てのカウントエリアＣＡで作物数のカウントが完了したら、ＣＰＵ５１はステップＳ１３４で代表値を算出する。例えばカウントエリアＣＡ１，ＣＡ２，ＣＡ３，ＣＡ４についてカウントを行った場合、これらのカウント数の平均値を代表値とする。
なお代表値は平均値に限らず、中央値、重心値、最大値と最小値の中間値などとしてもよい。
なお代表値は平均値に限らず、中央値、重心値、最大値と最小値の中間値などとしてもよい。
【0105】
そしてステップＳ１１５では代表値を単位面積あたりの作物数を算出する。例えば各カウントエリアＣＡが１／１０００エーカー相当のエリアであれば、代表値を１０００倍して１エーカーあたりの作物数を求める。
【0106】
以上のように複数のカウントエリアＣＡを設定し、その代表値により単位面積あたりの作物数を算出することで、１つだけ設定したカウントエリアＣＡが偶然、突出して作物数が少ない（又は多い）ような場合に単位面積あたりの作物数の値が大幅に異なってしまうような状況を避けることができる。従って単位面積あたりの作物数の検出精度を上げることができる。
【0107】
【0108】
＜６．第４の実施の形態＞
第４の実施の形態は、場合によっては射影変換を行わないようにする例である。
図２０は図５のステップＳ１１０で行う作物数計算の処理を示している。
ステップＳ１４０でＣＰＵ５１は処理対象としている撮像画像についての撮像時の撮像装置２２０の姿勢判定を行う。つまり撮像装置２２０の姿勢として、撮像方向（光軸）の直下を向いた状態からのずれ角度が所定の許容範囲内であるか否かを確認する。
第４の実施の形態は、場合によっては射影変換を行わないようにする例である。
図２０は図５のステップＳ１１０で行う作物数計算の処理を示している。
ステップＳ１４０でＣＰＵ５１は処理対象としている撮像画像についての撮像時の撮像装置２２０の姿勢判定を行う。つまり撮像装置２２０の姿勢として、撮像方向（光軸）の直下を向いた状態からのずれ角度が所定の許容範囲内であるか否かを確認する。
【0109】
そしてずれ角度、即ち傾きが許容範囲内でなければＣＰＵ５１はステップＳ１４１からステップＳ１１１に進み、射影変換処理を行う。
一方、傾きが許容範囲内であればＣＰＵ５１は、ステップＳ１４１を行わずにステップＳ１１２以降の処理に進む。ステップＳ１１２以降の処理は図６と同様である。
一方、傾きが許容範囲内であればＣＰＵ５１は、ステップＳ１４１を行わずにステップＳ１１２以降の処理に進む。ステップＳ１１２以降の処理は図６と同様である。
【0110】
つまり元々垂直方向にずれの少ない状態で撮像されていた場合は、射影変換を行わなくとも、ロウが平行に写され、また画像内でのスケールの均一性もある程度保たれている。そこで、そのような場合は射影変換処理を行わないようにすることで、処理負担を軽減するものである。
【0111】
例えば図２で撮像範囲ＳＰ１、ＳＰ２として示したように離散的にサンプルとしての画像撮像が行われるが、広大な農場では、１回のフライトで数１０枚から数１００枚のサンプル画像が得られ、それぞれについて、作物カウントが行われる。
そして飛行中の飛行体２００の姿勢は、飛行速度や旋回などの状況、風の状況などにより、安定していない。すると、通常は垂直方向に対して角度をもって撮像がおこなわれていても、場合によっては撮像装置２２０が直下を向く場合も想定でき、その場合、射影変換しなくとも作物カウントに適した撮像画像が得られる。
このようなことを想定し、不要である場合は、射影変換処理を行わないようにするのが第４の実施の形態の処理となる。
そして飛行中の飛行体２００の姿勢は、飛行速度や旋回などの状況、風の状況などにより、安定していない。すると、通常は垂直方向に対して角度をもって撮像がおこなわれていても、場合によっては撮像装置２２０が直下を向く場合も想定でき、その場合、射影変換しなくとも作物カウントに適した撮像画像が得られる。
このようなことを想定し、不要である場合は、射影変換処理を行わないようにするのが第４の実施の形態の処理となる。
【0112】
【0113】
＜７．第５の実施の形態＞
ここまでの実施の形態では、１枚の撮像画像に基づいてロウおよび作物数を検出するものとした。しかしながら、撮像高度が低かったり、式（１）で計算されるロウの長さ（区分長さＬ）が長かったりする場合、１枚の画像では、式（１）の区分長さＬの範囲がカバーできないことがある。
そのような場合、複数枚の撮像画像を地面に投影してスティッチし、スティッチ画像からからロウ決定および作物カウントを行うようにすることが考えられる。
ここまでの実施の形態では、１枚の撮像画像に基づいてロウおよび作物数を検出するものとした。しかしながら、撮像高度が低かったり、式（１）で計算されるロウの長さ（区分長さＬ）が長かったりする場合、１枚の画像では、式（１）の区分長さＬの範囲がカバーできないことがある。
そのような場合、複数枚の撮像画像を地面に投影してスティッチし、スティッチ画像からからロウ決定および作物カウントを行うようにすることが考えられる。
【0114】
＜８．まとめ及び変形例＞
以上の実施の形態によれば次のような効果が得られる。
実施の形態の情報処理装置１は、圃場３００の上方から圃場３００を撮像した撮像画像の射影変換を行い射影変換画像を得る射影変換部３と、射影変換画像を用いて作物数のカウントを行い、作物数情報を生成する出力情報演算部５を備える。
射影変換により、撮像時に撮像装置２２０が姿勢のずれのない状態で撮像した画像を得ることができる。即ち撮像装置２２０が直下の方向を向いて撮像したような画像である。このような射影変換画像は、画像上に表れるロウが実際のロウと同様に略平行に表れている。即ちカメラ姿勢のズレにより放射状にはなっていない。また画像内のスケールが均一化された状態になる。つまりピクセルあたりの面積が均一化される。
このような射影変換画像を用いて作物カウントを行うことで、精度の高い作物カウントが可能となる。
以上の実施の形態によれば次のような効果が得られる。
実施の形態の情報処理装置１は、圃場３００の上方から圃場３００を撮像した撮像画像の射影変換を行い射影変換画像を得る射影変換部３と、射影変換画像を用いて作物数のカウントを行い、作物数情報を生成する出力情報演算部５を備える。
射影変換により、撮像時に撮像装置２２０が姿勢のずれのない状態で撮像した画像を得ることができる。即ち撮像装置２２０が直下の方向を向いて撮像したような画像である。このような射影変換画像は、画像上に表れるロウが実際のロウと同様に略平行に表れている。即ちカメラ姿勢のズレにより放射状にはなっていない。また画像内のスケールが均一化された状態になる。つまりピクセルあたりの面積が均一化される。
このような射影変換画像を用いて作物カウントを行うことで、精度の高い作物カウントが可能となる。
【0115】
第１から第５の実施の形態では、出力情報演算部５は、射影変換画像に対して作物数をカウントする対象とするカウントエリアＣＡを設定し、カウントエリアＣＡ内でカウントした作物数に基づいて、単位面積あたりの作物数の算出を行うものとした。
例えば１エーカーあたりの作物数を出力したい場合に、射影変換画像内で、実際の面積が１／１０００エーカーになる範囲をカウントエリアＣＡとする。このカウントエリアＣＡで計測された作物数を１０００倍すれば、１エーカーあたりの作物数となる。
このような場合、画像を用いたカウント数の誤差が小さくても、１０００倍することで誤差の影響が大きく表れ、農場管理者に適切な情報提示とならないおそれもある。例えば撮像画像は画像内でスケールが必ずしも均一ではないため、画像内で実際の面積が１／１０００エーカーに相当する範囲として選定したカウントエリアが、実際には１／１０００エーカーから誤差が大きいなどの事情で、作物カウントの誤差も生じ易い。
これに対して射影変換画像を用いることで、カウントエリアを、画像内で実際の面積が１／１０００エーカーに相当する範囲として誤差なく設定でき、結果として作物数のカウント誤差も小さくなる。このため１エーカーあたり作物数に換算しても、誤差は小さい。従ってユーザに提示する情報として望ましいものとなる。
例えば１エーカーあたりの作物数を出力したい場合に、射影変換画像内で、実際の面積が１／１０００エーカーになる範囲をカウントエリアＣＡとする。このカウントエリアＣＡで計測された作物数を１０００倍すれば、１エーカーあたりの作物数となる。
このような場合、画像を用いたカウント数の誤差が小さくても、１０００倍することで誤差の影響が大きく表れ、農場管理者に適切な情報提示とならないおそれもある。例えば撮像画像は画像内でスケールが必ずしも均一ではないため、画像内で実際の面積が１／１０００エーカーに相当する範囲として選定したカウントエリアが、実際には１／１０００エーカーから誤差が大きいなどの事情で、作物カウントの誤差も生じ易い。
これに対して射影変換画像を用いることで、カウントエリアを、画像内で実際の面積が１／１０００エーカーに相当する範囲として誤差なく設定でき、結果として作物数のカウント誤差も小さくなる。このため１エーカーあたり作物数に換算しても、誤差は小さい。従ってユーザに提示する情報として望ましいものとなる。
【0116】
第３の実施の形態では、出力情報演算部５は、それぞれが圃場３００内の同一面積の領域に相当する複数のカウントエリアＣＡ（ＣＡ１，ＣＡ２，ＣＡ３，ＣＡ４）を設定し、各カウントエリアＣＡ内でカウントした作物数に基づいて、作物数の代表値を求め、代表値を用いて単位面積あたりの作物数の算出を行うようにした。
射影変換画像内で１つのカウントエリアＣＡのみでは、偶然そのカウントエリアＣＡの作物数が他の部分とは大きく異なっているなどにより、単位面積での作物数に換算したときに比較的大きな誤差が生ずる可能性がある。そこで、複数のカウントエリアＣＡについて作物数のカウントを行い、代表値を求めることで、より広い範囲での作物数を反映した代表値に基づいて単位面積あたりの作物数を求める。これにより単位面積あたりの作物数としての誤差を小さくすることができる。
なお代表値は、平均値、重心値、中央値などとすることが考えられる。
射影変換画像内で１つのカウントエリアＣＡのみでは、偶然そのカウントエリアＣＡの作物数が他の部分とは大きく異なっているなどにより、単位面積での作物数に換算したときに比較的大きな誤差が生ずる可能性がある。そこで、複数のカウントエリアＣＡについて作物数のカウントを行い、代表値を求めることで、より広い範囲での作物数を反映した代表値に基づいて単位面積あたりの作物数を求める。これにより単位面積あたりの作物数としての誤差を小さくすることができる。
なお代表値は、平均値、重心値、中央値などとすることが考えられる。
【0117】
第１から第５の実施の形態では、出力情報演算部５は、圃場３００におけるカウント対象の面積に相当する、射影変換画像上でのピクセル数を求め、求めたピクセル数の画像範囲としてカウントエリアＣＡを設定する例を挙げた。
例えば１エーカーの作物数を求めるためのカウント対象とする面積を１／１０００エーカーとする。この場合、射影変換画像における１／１０００エーカーに相当する画像範囲、つまり１／１０００エーカーの範囲を撮像した画像範囲のピクセル数を求める。このピクセル数の範囲として１つのカウントエリアが設定されることで、射影変換画像からカウントされる作物数は、実際の１／１０００エーカーの範囲の作物数となる。
このようにピクセル数でカウントエリアを設定することで、実際の圃場３００での所定の面積内の作物数を画像からカウントできる。
例えば１エーカーの作物数を求めるためのカウント対象とする面積を１／１０００エーカーとする。この場合、射影変換画像における１／１０００エーカーに相当する画像範囲、つまり１／１０００エーカーの範囲を撮像した画像範囲のピクセル数を求める。このピクセル数の範囲として１つのカウントエリアが設定されることで、射影変換画像からカウントされる作物数は、実際の１／１０００エーカーの範囲の作物数となる。
このようにピクセル数でカウントエリアを設定することで、実際の圃場３００での所定の面積内の作物数を画像からカウントできる。
【0118】
第１から第５の実施の形態では、カウントエリアＣＡは、１つのロウを含む範囲として設定されるものとした。
これにより作物数のカウントは、１本のロウ上でほぼ等間隔の植物をカウントしていく処理となり、比較的簡易な処理で正確性の高いものとなる。
そして、この場合、１つのロウで区分長さＬの範囲で作物数をカウントし、それを単位面積あたりの作物数に換算するということになる。これは農場管理者／従事者が目視で行ってきた手法に沿ったものとなり、結果として得られる単位面積あたりの作物数が、農場管理者／従事者の感覚に極めて近いものとなる。
即ち無闇に高度な演算処理を行って高精度化を求めるのではなく、演算処理負担の少ない効率的な処理でありながら、これまでの農場管理者／従事者の感覚に近い数値を算出できるようにすることで、農場管理者／従事者にとって感覚的にわかりやすい算出結果を提供できることになる。
これにより作物数のカウントは、１本のロウ上でほぼ等間隔の植物をカウントしていく処理となり、比較的簡易な処理で正確性の高いものとなる。
そして、この場合、１つのロウで区分長さＬの範囲で作物数をカウントし、それを単位面積あたりの作物数に換算するということになる。これは農場管理者／従事者が目視で行ってきた手法に沿ったものとなり、結果として得られる単位面積あたりの作物数が、農場管理者／従事者の感覚に極めて近いものとなる。
即ち無闇に高度な演算処理を行って高精度化を求めるのではなく、演算処理負担の少ない効率的な処理でありながら、これまでの農場管理者／従事者の感覚に近い数値を算出できるようにすることで、農場管理者／従事者にとって感覚的にわかりやすい算出結果を提供できることになる。
【0119】
なお、複数のロウが含まれる範囲でカウントエリアＣＡを設定してもよい。
例えば図１６の区分長さＬの半分の長さで２Ｗの幅の範囲をカウントエリアＣＡとし、２本のロウが含まれる範囲をカウントエリアＣＡとすることも可能である。
例えば図１６の区分長さＬの半分の長さで２Ｗの幅の範囲をカウントエリアＣＡとし、２本のロウが含まれる範囲をカウントエリアＣＡとすることも可能である。
【0120】
第４の実施の形態では、射影変換部３は、撮像画像について撮像時の撮像装置２２０の姿勢判定を行い、傾きが許容範囲外であった場合に射影変換画像を生成する。そして出力情報演算部５は、射影変換部３によって射影変換画像が生成されない場合は、射影変換が施されていない画像を用いて作物数のカウントを行い、作物数情報を生成するとした。
飛行体２００に搭載された撮像装置２２０の撮像方向は、常に一定というわけではない。飛行体２００自体の姿勢が飛行動作や風の影響などで変動しているためである。このため、撮像装置２２０の姿勢変化を想定して射影変換を行うのであるが、逆に考えると、偶然撮像装置２２０が直下を向いて撮像した撮像画像が得られることがある。その場合、射影変換画像を用いなくとも、誤差の少ないカウントが可能となる。そこで、撮像時の撮像装置２２０の姿勢が鉛直方向に対して許容範囲内のずれであれば、射影変換を行わないで、撮像画像でそのままカウントを行うようにする。これにより射影変換の処理負担を小さくすることができる。
飛行体２００に搭載された撮像装置２２０の撮像方向は、常に一定というわけではない。飛行体２００自体の姿勢が飛行動作や風の影響などで変動しているためである。このため、撮像装置２２０の姿勢変化を想定して射影変換を行うのであるが、逆に考えると、偶然撮像装置２２０が直下を向いて撮像した撮像画像が得られることがある。その場合、射影変換画像を用いなくとも、誤差の少ないカウントが可能となる。そこで、撮像時の撮像装置２２０の姿勢が鉛直方向に対して許容範囲内のずれであれば、射影変換を行わないで、撮像画像でそのままカウントを行うようにする。これにより射影変換の処理負担を小さくすることができる。
【0121】
第１から第５の実施の形態では、圃場３００を撮像した画像内で作物検出を行い、画像内で、作物の植え付けが行われたラインであるロウを、作物検出の結果に基づいて決定するロウ決定部４を備え、出力情報演算部５は、ロウ決定部４で決定されたロウの情報を用いて作物数のカウントを行うものとした。
これによりロウを、圃場３００を撮像した画像データから自動的に判定できることになる。従って、ロウを特定するためにユーザ入力や、データ転送などの手間が不要となり、例えば圃場の状態をチェックするためのシステムとして、極めて使用性がよいシステムを実現できる。ロウを特定することで、ロウ上の植物として、作物のカウントを行うことができ、例えばロウ以外の場所に生えている雑草等を排除してカウント精度を高めることができる。
これによりロウを、圃場３００を撮像した画像データから自動的に判定できることになる。従って、ロウを特定するためにユーザ入力や、データ転送などの手間が不要となり、例えば圃場の状態をチェックするためのシステムとして、極めて使用性がよいシステムを実現できる。ロウを特定することで、ロウ上の植物として、作物のカウントを行うことができ、例えばロウ以外の場所に生えている雑草等を排除してカウント精度を高めることができる。
【0122】
第２の実施の形態では、ロウ決定部４は、圃場３００を撮像した画像として射影変換部による射影変換画像を用い、射影変換画像内で、作物の植え付けが行われたラインであるロウを、作物検出の結果に基づいて決定するとした。
これによりロウ決定もロウの平行性やスケール誤差が解消された画像を用いることになるため、ロウ決定精度も向上する。これによりカウントエリアの設定や作物カウントの精度も向上される。
これによりロウ決定もロウの平行性やスケール誤差が解消された画像を用いることになるため、ロウ決定精度も向上する。これによりカウントエリアの設定や作物カウントの精度も向上される。
【0123】
実施の形態では、ロウ決定部４は、作物検出の結果に基づいてロウ候補を検出し、各ロウ候補における作物間隔に基づいてロウとしての確からしさを計算し、確からしさの計算結果に基づいてロウを決定する例を述べた（図５参照）。
ロウの決定に関し、まずは、作物（植物）が存在する部分は、ロウの候補となり得る。作物の存在を基準とすることで、ロウ（作物の並び）の候補を多数求めることで、或るロウの検出を逃すことを排除できる。そしてロウ候補の中から確からしさを計算することで精度のよいロウ検出が実現できる。特に作物間隔を基準とすることで、確からしさを求めやすい。もちろん、ロウが平行に並ぶことなども考慮すれば、より精度を高めることができる。
そして画像上でロウを精度よく検出することで、雑草などのランダムに生えている植物と作物と区別することもできるようになる。
ロウの決定に関し、まずは、作物（植物）が存在する部分は、ロウの候補となり得る。作物の存在を基準とすることで、ロウ（作物の並び）の候補を多数求めることで、或るロウの検出を逃すことを排除できる。そしてロウ候補の中から確からしさを計算することで精度のよいロウ検出が実現できる。特に作物間隔を基準とすることで、確からしさを求めやすい。もちろん、ロウが平行に並ぶことなども考慮すれば、より精度を高めることができる。
そして画像上でロウを精度よく検出することで、雑草などのランダムに生えている植物と作物と区別することもできるようになる。
【0124】
第１の実施の形態で詳述したように、ロウ決定部４は、ロウ候補の上付近にある作物らしい領域の大きさから作物サイズＳＳを算出し、算出された作物サイズＳＳからロウ候補上の作物候補を検出し、検出した作物候補の間隔から画像データ上の作物間隔を算出し、決定した作物間隔からロウ候補の確からしさを決定し、決定した確からしさを用いて誤検出と判定したロウ候補を除外する。即ち誤って検出されたロウ候補を除外する。その上でロウを決定する処理を行う。
作物間隔によってロウ候補について確からしさを判定する場合、その作物間隔の精度が高いことも重要となる。実施の形態の処理では、推定された作物サイズからロウ候補上の作物候補を検出している。つまり育成サイズも加味して作物間隔を検出し、それによりロウ候補の確からしさを決定することで、より精度の高いロウの決定が可能になる。
作物間隔によってロウ候補について確からしさを判定する場合、その作物間隔の精度が高いことも重要となる。実施の形態の処理では、推定された作物サイズからロウ候補上の作物候補を検出している。つまり育成サイズも加味して作物間隔を検出し、それによりロウ候補の確からしさを決定することで、より精度の高いロウの決定が可能になる。
【0125】
なお実施の形態で述べた圃場３００としては、野外農地の耕作地のみでなく、水耕栽培やハウス栽培などの用地であってもよく、各種の場所で生育される作物に関する情報提示に、実施の形態の技術を用いることができる。
また実施の形態の技術は作物以外にも、例えば果実の木々、雑草などの生育に関するセンシング結果の提示などにも用いることができる。従って森林、空き地などに対するリモートセンシングに適用することもできる。
さらに実施の形態の技術は、植物に限らず圃場３００等の土壌の質のセンシングなどにも応用することができる。
また実施の形態の技術は作物以外にも、例えば果実の木々、雑草などの生育に関するセンシング結果の提示などにも用いることができる。従って森林、空き地などに対するリモートセンシングに適用することもできる。
さらに実施の形態の技術は、植物に限らず圃場３００等の土壌の質のセンシングなどにも応用することができる。
【0126】
図４には挙げた機能は、本技術を実現するためには常に全てを備えなければならないものではない。本技術の情報処理装置としては、少なくとも射影変換部３と出力情報演算部５が設けられればよい。他の機能を適宜備えることで、実施の形態の説明から理解される効果が得られるようになる。
【0127】
実施の形態では、撮像装置２２０は、無線操縦又は自動操縦が可能な飛行体２００に搭載されている例を挙げた。
無線操縦又は自動操縦が可能な飛行体２００としてはいわゆるドローン、小型無線操縦固定翼飛行機、小型無線操縦ヘリコプタなどがある。
無線操縦又は自動操縦が可能な飛行体２００としてはいわゆるドローン、小型無線操縦固定翼飛行機、小型無線操縦ヘリコプタなどがある。
【0128】
実施の形態のプログラムは、情報処理装置１に、圃場３００の上方から圃場３００を撮像した撮像画像の射影変換を行って射影変換画像を生成する処理と、射影変換画像を用いて作物数のカウントを行い、作物数情報を生成する処理とを実行させるプログラムである。
即ち図５、図６、図１７、図１９、図２０等で説明した処理を情報処理装置１に実行させるプログラムである。
即ち図５、図６、図１７、図１９、図２０等で説明した処理を情報処理装置１に実行させるプログラムである。
【0129】
このようなプログラムにより本実施の形態の情報処理装置１の実現が容易となる。
そしてこのようなプログラムはコンピュータ装置等の機器に内蔵されている記録媒体や、ＣＰＵを有するマイクロコンピュータ内のＲＯＭ等に予め記憶しておくことができる。あるいはまた、半導体メモリ、メモリカード、光ディスク、光磁気ディスク、磁気ディスクなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記憶）しておくことができる。またこのようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、このようなプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、ＬＡＮ、インターネットなどのネットワークを介してダウンロードすることもできる。
そしてこのようなプログラムはコンピュータ装置等の機器に内蔵されている記録媒体や、ＣＰＵを有するマイクロコンピュータ内のＲＯＭ等に予め記憶しておくことができる。あるいはまた、半導体メモリ、メモリカード、光ディスク、光磁気ディスク、磁気ディスクなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記憶）しておくことができる。またこのようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、このようなプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、ＬＡＮ、インターネットなどのネットワークを介してダウンロードすることもできる。
【0130】
なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。
【0131】
なお本技術は以下のような構成も採ることができる。
（１）
上方から圃場を撮像した撮像画像の射影変換を行い射影変換画像を得る射影変換部と、
前記射影変換画像を用いて作物数のカウントを行い、作物数情報を生成する出力情報演算部と、を備えた
情報処理装置。
（２）
前記出力情報演算部は、
前記射影変換画像に対して作物数をカウントする対象とするカウントエリアを設定し、前記カウントエリア内でカウントした作物数に基づいて、単位面積あたりの作物数の算出を行う
上記（１）に記載の情報処理装置。
（３）
前記出力情報演算部は、
前記カウントエリアとして、それぞれが圃場内の同一面積の領域に相当する複数のカウントエリアを設定し、各カウントエリア内でカウントした作物数に基づいて、作物数の代表値を求め、代表値を用いて単位面積あたりの作物数の算出を行う
上記（２）に記載の情報処理装置。
（４）
前記出力情報演算部は、
圃場におけるカウント対象の面積に相当する、射影変換画像上でのピクセル数を求め、求めたピクセル数の画像範囲として前記カウントエリアを設定する
上記（２）又は（３）に記載の情報処理装置。
（５）
前記カウントエリアは、作物の植え付けが行われたラインであるロウを１つ含む範囲として設定される
上記（２）から（４）のいずれかに記載の情報処理装置。
（６）
前記射影変換部は、前記撮像画像について撮像時の撮像装置の姿勢判定を行い、傾きが許容範囲外であった場合に射影変換画像を生成し、
前記出力情報演算部は、前記射影変換部によって射影変換画像が生成されない場合は、前記射影変換が施されていない画像を用いて作物数のカウントを行い、作物数情報を生成する
上記（１）から（５）のいずれかに記載の情報処理装置。
（７）
圃場を撮像した画像内で作物検出を行い、前記画像内で、作物の植え付けが行われたラインであるロウを、前記作物検出の結果に基づいて決定するロウ決定部を備え、
前記出力情報演算部は、前記ロウ決定部で決定されたロウの情報を用いて作物数のカウントを行う
上記（１）から（６）のいずれかに記載の情報処理装置。
（８）
前記ロウ決定部は、
圃場を撮像した画像として前記射影変換部による射影変換画像を用い、射影変換画像内で、作物の植え付けが行われたラインであるロウを、前記作物検出の結果に基づいて決定する
上記（７）に記載の情報処理装置。
（９）
前記ロウ決定部は、
前記作物検出の結果に基づいてロウ候補を検出し、
各ロウ候補における作物間隔に基づいてロウとしての確からしさを計算し、
確からしさの計算結果に基づいてロウを決定する
上記（７）又は（８）に記載の情報処理装置。
（１０）
前記ロウ決定部は、
ロウ候補の上付近にある作物らしい領域の大きさから作物サイズを算出し、
算出された作物サイズからロウ候補上の作物候補を検出し、
検出した作物候補の間隔から前記画像上の作物間隔を算出し、
決定した作物間隔からロウ候補の確からしさを決定し、
決定した確からしさを用いて誤検出と判定したロウ候補を除外したうえでロウを決定する処理を行う
上記（７）から（９）のいずれかに記載の情報処理装置。
（１１）
上方から圃場を撮像した撮像画像の射影変換を行って射影変換画像を生成し、
前記射影変換画像を用いて作物数のカウントを行い、作物数情報を生成する
情報処理方法。
（１２）
上方から圃場を撮像した撮像画像の射影変換を行って射影変換画像を生成する処理と、
前記射影変換画像を用いて作物数のカウントを行い、作物数情報を生成する処理と、
を情報処理装置に実行させるプログラム。
（１）
上方から圃場を撮像した撮像画像の射影変換を行い射影変換画像を得る射影変換部と、
前記射影変換画像を用いて作物数のカウントを行い、作物数情報を生成する出力情報演算部と、を備えた
情報処理装置。
（２）
前記出力情報演算部は、
前記射影変換画像に対して作物数をカウントする対象とするカウントエリアを設定し、前記カウントエリア内でカウントした作物数に基づいて、単位面積あたりの作物数の算出を行う
上記（１）に記載の情報処理装置。
（３）
前記出力情報演算部は、
前記カウントエリアとして、それぞれが圃場内の同一面積の領域に相当する複数のカウントエリアを設定し、各カウントエリア内でカウントした作物数に基づいて、作物数の代表値を求め、代表値を用いて単位面積あたりの作物数の算出を行う
上記（２）に記載の情報処理装置。
（４）
前記出力情報演算部は、
圃場におけるカウント対象の面積に相当する、射影変換画像上でのピクセル数を求め、求めたピクセル数の画像範囲として前記カウントエリアを設定する
上記（２）又は（３）に記載の情報処理装置。
（５）
前記カウントエリアは、作物の植え付けが行われたラインであるロウを１つ含む範囲として設定される
上記（２）から（４）のいずれかに記載の情報処理装置。
（６）
前記射影変換部は、前記撮像画像について撮像時の撮像装置の姿勢判定を行い、傾きが許容範囲外であった場合に射影変換画像を生成し、
前記出力情報演算部は、前記射影変換部によって射影変換画像が生成されない場合は、前記射影変換が施されていない画像を用いて作物数のカウントを行い、作物数情報を生成する
上記（１）から（５）のいずれかに記載の情報処理装置。
（７）
圃場を撮像した画像内で作物検出を行い、前記画像内で、作物の植え付けが行われたラインであるロウを、前記作物検出の結果に基づいて決定するロウ決定部を備え、
前記出力情報演算部は、前記ロウ決定部で決定されたロウの情報を用いて作物数のカウントを行う
上記（１）から（６）のいずれかに記載の情報処理装置。
（８）
前記ロウ決定部は、
圃場を撮像した画像として前記射影変換部による射影変換画像を用い、射影変換画像内で、作物の植え付けが行われたラインであるロウを、前記作物検出の結果に基づいて決定する
上記（７）に記載の情報処理装置。
（９）
前記ロウ決定部は、
前記作物検出の結果に基づいてロウ候補を検出し、
各ロウ候補における作物間隔に基づいてロウとしての確からしさを計算し、
確からしさの計算結果に基づいてロウを決定する
上記（７）又は（８）に記載の情報処理装置。
（１０）
前記ロウ決定部は、
ロウ候補の上付近にある作物らしい領域の大きさから作物サイズを算出し、
算出された作物サイズからロウ候補上の作物候補を検出し、
検出した作物候補の間隔から前記画像上の作物間隔を算出し、
決定した作物間隔からロウ候補の確からしさを決定し、
決定した確からしさを用いて誤検出と判定したロウ候補を除外したうえでロウを決定する処理を行う
上記（７）から（９）のいずれかに記載の情報処理装置。
（１１）
上方から圃場を撮像した撮像画像の射影変換を行って射影変換画像を生成し、
前記射影変換画像を用いて作物数のカウントを行い、作物数情報を生成する
情報処理方法。
（１２）
上方から圃場を撮像した撮像画像の射影変換を行って射影変換画像を生成する処理と、
前記射影変換画像を用いて作物数のカウントを行い、作物数情報を生成する処理と、
を情報処理装置に実行させるプログラム。
【符号の説明】
【0132】
１ 情報処理装置
２ 画像取得部
３ 射影変換部
４ ロウ決定部
５ 出力情報演算部
６ ＵＩ制御部
７ 記録制御部
８ 通信制御部
５１ ＣＰＵ
５６ 表示部
５７ 入力部
５９ 記憶部
６０ 通信部
２００ 飛行体
２２０ 撮像装置
２７０ トラクター
３００ 圃場
２ 画像取得部
３ 射影変換部
４ ロウ決定部
５ 出力情報演算部
６ ＵＩ制御部
７ 記録制御部
８ 通信制御部
５１ ＣＰＵ
５６ 表示部
５７ 入力部
５９ 記憶部
６０ 通信部
２００ 飛行体
２２０ 撮像装置
２７０ トラクター
３００ 圃場
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】