特許 7523940 撮影装置および情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-19

(45)【発行日】2024-07-29

(54)【発明の名称】撮影装置および情報処理装置

(51)【国際特許分類】

   H04N 23/698 20230101AFI20240722BHJP

   H04N 23/60 20230101ALI20240722BHJP

   A01B 69/00 20060101ALI20240722BHJP

   G05D 1/43 20240101ALI20240722BHJP

【ＦＩ】

H04N23/698

H04N23/60

A01B69/00 303G

G05D1/43

【請求項の数】 3

(21)【出願番号】P 2020077600

(22)【出願日】2020-04-24

(65)【公開番号】P2021175082

(43)【公開日】2021-11-01

【審査請求日】2023-02-08

(73)【特許権者】

【識別番号】392026693

【氏名又は名称】株式会社ＮＴＴドコモ

(74)【代理人】

【識別番号】100088155

【弁理士】

【氏名又は名称】長谷川 芳樹

(74)【代理人】

【識別番号】100113435

【弁理士】

【氏名又は名称】黒木 義樹

(74)【代理人】

【識別番号】100121980

【弁理士】

【氏名又は名称】沖山 隆

(74)【代理人】

【識別番号】100128107

【弁理士】

【氏名又は名称】深石 賢治

(72)【発明者】

【氏名】北出 卓也

(72)【発明者】

【氏名】山谷 佳祐

(72)【発明者】

【氏名】松村 択磨

【審査官】越河 勉

(56)【参考文献】

【文献】特開２０１６－１０３７３２（ＪＰ，Ａ）

【文献】特開２０１４－１６４３６３（ＪＰ，Ａ）

【文献】特開２００４－３４２０６７（ＪＰ，Ａ）

【文献】特開平０８－１５９７６２（ＪＰ，Ａ）

【文献】特開２０１８－０２９２５０（ＪＰ，Ａ）

【文献】特開２００８－１７８０６８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／６９８

Ｈ０４Ｎ ２３／６０

Ａ０１Ｂ ６９／００

Ｇ０５Ｄ １／４３

(57)【特許請求の範囲】

【請求項1】

走行しながら撮影処理を行う撮影装置において、
前記撮影装置が移動しながら、当該移動方向に対して複数列、配列される複数の対象物を含むよう所定範囲を撮影する画像生成用撮影部と、
前記撮影された所定範囲の画像を記憶する記憶部と、
前記撮影装置の移動に伴って撮影された複数の画像を選択する選択部と、
前記選択された複数の画像を連結する画像処理部と、を備え、
前記画像処理部は、
前記画像における複数の対象物を認識して認識領域を取得し、前記複数の画像に含まれる前記認識領域に基づいて、それぞれの画像における認識領域同士の位置合わせを行うことで複数の画像を連結する、撮影装置。

【請求項2】

走行しながら撮影処理を行う撮影装置において、
前記撮影装置が移動しながら、当該移動方向に対して複数列、配列される複数の対象物を含むよう所定範囲を撮影する画像生成用撮影部と、
前記撮影された所定範囲の画像を記憶する記憶部と、
前記撮影装置の移動に伴って撮影された複数の画像を選択する選択部と、
前記選択された複数の画像を連結する画像処理部と、
前記撮影装置の挙動を検出する挙動検出部と、を備え、
前記画像生成用撮影部は、撮影時における前記所定範囲に含まれる対象物の全ての作物を含むように、走行に応じて前記所定範囲をずらしながら複数回撮影し、
前記記憶部は、前記所定範囲の画像を記憶する際、前記挙動と対応付けて記憶し、
前記選択部は、前記選択された画像に対応する前記挙動が所定状況を示していた場合、前記選択した画像の少なくとも時系列的に前後いずれかの画像に差し替える、
撮影装置。

【請求項3】

走行しながら撮影処理を行う撮影装置において、
前記撮影装置が移動しながら、当該移動方向に対して複数列、配列される複数の対象物を含むよう所定範囲を撮影する画像生成用撮影部と、
前記撮影された所定範囲の画像を記憶する記憶部と、
前記撮影装置の移動に伴って撮影された複数の画像を選択する選択部と、
前記選択された複数の画像を連結する画像処理部と、
前記撮影装置の進行方向に向けて対象物を撮影した走行制御用画像を取得する制御用撮影部と、
前記走行制御用画像に含まれる対象物の認識結果に基づいて進行方向の制御を行う制御部と、を備え、
前記画像処理部は、前記画像生成用撮影部が撮影した画像と、前記制御用撮影部が撮影した走行制御用画像とを結合した結合画像に対して前記対象物の認識を行う、
撮影装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、走行しながら撮影する撮影装置および情報処理装置に関する。

【背景技術】

【0002】

特許文献１には、作業車両の向きを検知し、その方向検知部材が検知する車体の向きと設定された走行経路が所定値以上異なると、作業車両を設定された走行経路に向かう方向に操舵部材を操舵させることの記載がある。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１９－１１５３０９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、圃場の画像を解析して収量計画または病害虫への対処を行うことが考えられている。しかしながら、特許文献１に記載の技術においては、圃場の状態を画像処理により解析しようとすることは考慮されていない。

【0005】

そこで、上述の課題を解決するために、本発明は、圃場など走行した場所の状態を解析するための情報を取得することができる撮影装置および情報処理装置を提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明の撮影装置は、走行しながら撮影処理を行う撮影装置において、前記自動走行装置が移動しながら、当該移動方向に対して複数列、配列される複数の対象物を撮影する画像生成用撮影部と、前記撮影された複数の対象物を含む画像を記憶する記憶部と、前記自動走行装置の移動に伴って撮影された複数の画像を選択する選択部と、前記選択された複数の画像を連結する画像処理部と、を備える。

【0007】

この発明によれば、撮影装置が走行した部分の画像を、その走行距離に応じて選択して、連結し、一枚の画像を生成することができる。したがって、管理者にとって、面として把握することが容易となる。

【発明の効果】

【0008】

本発明によると、撮影装置が走行した部分の画像連結を容易にすることができる。

【図面の簡単な説明】

【0009】

【図1】本開示の一実施形態の自動走行装置１００が、圃場Ｈを走行するときの模式図である。

【図2】本開示の一実施形態における自動走行装置１００の機能構成を示すブロック図である。

【図3】圃場Ｈを走行している自動走行装置１００と、カメラ１１７が撮影した画像データとの関係を示す図である。

【図4】圃場Ｈにおける撮影場所と、画像データとの位置関係を模式的に示した図である。

【図5】作物Ｓに対する認識窓を取得し、それを用いた合成について説明した図である。

【図6】画像データにおいて作物Ｓが斜めの状態で撮影したときの合成処理について説明した図である。

【図7】自動走行装置１００の動作を示すフローチャートである。

【図8】時間経過における挙動情報を示すグラフ図である。

【図9】変形例における自動走行装置１００ａの機能構成を示す図である。

【図10】変形例における画像データの合成手順を示す説明図である。

【図11】本開示の一実施の形態に係る自動走行装置１００の制御部分におけるハードウェア構成の一例を示す図である。

【発明を実施するための形態】

【0010】

添付図面を参照しながら本開示の実施形態を説明する。可能な場合には、同一の部分には同一の符号を付して、重複する説明を省略する。

【0011】

図１は、本開示の一実施形態の自動走行装置１００が、圃場Ｈを走行するときの模式図である。図１に示されるとおり、自動走行装置１００は、圃場Ｈに植えられている作物Ｓの配列を認識して、その配列に従った走行ルートＲに従って走行する。自動走行装置１００は、圃場Ｈの端部でＵターンして、圃場Ｈ全体を走行する。

【0012】

自動走行装置１００は、カメラ１０１を備えており、カメラ１０１が撮影した画像データに基づいて、作物Ｓの配列を認識する。自動走行装置１００は、車輪駆動機構および操舵機構１０６および作業部１０７を備えている。作業部１０７は、例えば除草機構である。自動走行装置１００は、圃場Ｈを走行することにより、作物Ｓ以外の雑草等を除草する。除草機構は一例であり、作業部１０７は、そのほかの作業機構を行う構成としてもよい。

【0013】

図２は、本開示の一実施形態における自動走行装置１００の機能構成を示すブロック図である。図に示されるとおり、自動走行装置１００は、カメラ１０１、認識部１０２、透視変換部１０３、調整部１０４、速度制御部１０５、車輪駆動機構および操舵機構１０６、作業部１０７、挙動検出部１１１、静止画像記憶部１１２、選択部１１３、画像処理部１１５、合成画像記憶部１１６およびカメラ１１７を含んで構成されている。

【0014】

カメラ１０１は、自動走行装置１００の進行方向に向けて配置されており、その進行方向に配列される作物などを撮影して、その走行制御用の画像データを取得する部分である。カメラ１０１は、動画を撮影し、そこから画像データを取り出してもよいし、所定周期ごとに静止画像を撮影してもよい。

【0015】

認識部１０２は、カメラ１０１が撮影して得た画像データから、検出対象物である作物Ｓを認識する部分である。認識部１０２は、画像データから作物Ｓの種類（または雑草）、座標、およびその大きさを認識する。本開示においては、認識部１０２は、雑草は認識せず、作物Ｓを認識するように構成されている。

【0016】

透視変換部１０３は、カメラ１０１で取得した画像データに対して透視変換処理を行う部分である。透視変換部１０３は、座標変換を行う部分であり、カメラ１０１で正面から撮影した作物の画像データを、撮影範囲の中心となる位置の上方を視点として見た画像データに変換する。

【0017】

調整部１０４は、透視変換部１０３により変換された圃場の作物列に沿って進行するよう、車輪駆動機構および操舵機構１０６を制御する部分である。調整部１０４は、認識部１０２で認識した作物列に基づいて、その列方向を認識して、進行方向を判断する。

【0018】

速度制御部１０５は、圃場Ｈの端部でＵターンする際に、速度調整を行う部分であり、車輪駆動機構および操舵機構１０６を制御する。調整部１０４は、認識部１０２で認識した作物列に基づいて、その圃場Ｈの端部を認識して、Ｕターンする位置を判断する。

【0019】

車輪駆動機構および操舵機構１０６は、自動走行装置１００の機構部分である。車輪駆動機構は、調整部１０４による制御に従った速度で進行するための機構である。操舵機構１０６は、調整部１０４による進行方向に従った方向に進むための機構である。自動走行装置１００には、その他の機構が存在するがここでは省略する。

【0020】

作業部１０７は、自動走行装置１００の進行にしたがって、除草処理を行う部分である。作業部１０７は、鉤爪状の器具を備えており、自動走行装置１００の走行中に当該鉤爪状の器具を引きずることで除草を行う。なお、これに限らず、追肥作業、農薬散布のための機構としてもよい。また、ロボットアームを備え、作物の間引き、収穫を行うようにしてもよい。

【0021】

挙動検出部１１１は、自動走行装置１００の走行時における挙動を検出する部分であり、例えばジャイロセンサおよび加速度センサなどで構成される。挙動検出部１１１は、自動走行装置１００の瞬間的な加速度、そのほかヨー角、ピッチ角、ロール角などを検出することにより、その挙動（姿勢、傾きなど）を検出する。

【0022】

静止画像記憶部１１２は、カメラ１１７が撮影した静止画像と、挙動検出部１１１が検出した挙動情報とを対応付けて記憶する部分である。また、静止画像記憶部１１２は、車輪駆動機構および操舵機構１０６からの走行情報（距離または時間など）を記憶し、画像データと対応付けている。

【0023】

選択部１１３は、静止画像記憶部１１２に記憶されている複数の静止画像のうち、自動走行装置１００の走行状態に従って定められた一の静止画像を選択する部分である。例えば、選択部１１３は、カメラ１１７が撮影した複数の作物列の作物Ｓを含む複数の画像データのうち、直前に選択した画像データに含まれている作物Ｓを一部含んだ画像データを選択する。直前の画像データと、選択された画像データとは、作物Ｓで位置決めすることで連結されることが要される。したがって、選択部１１３は、直前の画像データの進行方向の後方側に並んでいる作物Ｓと、選択された画像データの進行方向側に並んでいる作物Ｓとが、同じ作物Ｓであるよう、画像データを選択する。選択部１１３は、これを繰り返し行うことで、複数の画像データを選択する。なお、選択部１１３は、作物Ｓが同じであることを判断するのではなく、自動走行装置１００が走行した距離（時間そのほか、車輪の回転数などでもよい）などの走行情報に基づいて、同じ作物Ｓを含むよう選択する。この選択処理は、自動走行中に行ってもよいし、自動走行が終了した後にまとめて行ってもよい。自動走行中に画像の選択処理等を行う場合には、画像の蓄積を最小限に抑えることができる。

【0024】

画像処理部１１５は、選択部１１３が選択した複数の画像データを連結した合成画像データを生成する部分である。すなわち、画像処理部１１５は、選択された画像データに含まれている一または複数の作物Ｓを認識するとともに、その作物Ｓの認識領域を取得し、複数の画像データに含まれる認識領域に基づいて、当該複数の画像データを連結する。すなわち、時系列的に前に撮影した画像データと後に撮影した画像データとを連結する際に、作物Ｓの認識領域を基準に連結する。

【0025】

合成画像記憶部１１６は、画像処理部１１５により連結して生成された合成画像データを記憶する部分である。

【0026】

カメラ１１７は、圃場Ｈにある作物Ｓを撮影して静止画像を取得する部分であり、走行しながら所定時間ごとまたは所定距離走行ごとに撮影する。撮影される所定範囲は、走行に応じて少しずつずらされる。なお、カメラ１１７は、配列されている同じ作物Ｓを含むよう複数の静止画像を撮影してもよい。選択部１１３は、その複数の静止画像から画像状態のよいものを選択する。カメラ１１７は、自動走行装置１００の後部に、作物Ｓを上方から撮影可能な向きに配置されている。

【0027】

つぎに、画像処理部１１５における、カメラ１１７が撮影した画像データの連結処理について説明する。図３は、圃場Ｈを走行している自動走行装置１００と、カメラ１１７が撮影した画像データとの関係を示す図である。図３に示されるとおり、カメラ１１７は、自動走行装置１００のそれぞれの位置Ｐ１～Ｐ３に応じて撮影処理により画像データＧ１～Ｇ３を取得する。

【0028】

図４は、圃場Ｈにおける撮影場所と、画像データとの位置関係を模式的に示した図である。図に示されるとおり、圃場Ｈにおける部分Ｈ１１は、画像データＧ１１に対応し、圃場Ｈにおける部分Ｈ１２は、画像データＧ１２に対応し、圃場Ｈにおける部分Ｈ１３は、画像データＧ１３に対応する。

【0029】

静止画像記憶部１１２は、複数の画像データＧを記憶しており、選択部１１３は、自動走行装置１００が走行した距離（または時間などそのほか走行情報を含む）ごとに一の画像データＧを選択する。図４においては、選択部１１３は、画像データＧ１１～Ｇ１３を選択する。選択部１１３は、リアルタイムに画像データＧを選択する場合には、車輪駆動機構および操舵機構１０６からの走行状態に基づいて距離を判断する。走行終了後においては、選択部１１３は、静止画像記憶部１１２に記憶されている画像データに対応付けられている走行情報に基づいて一の画像データを選択する。

【0030】

図５は、作物Ｓに対する認識窓を取得し、それを用いた合成について説明した図である。図に示されるとおり、画像データＧ１１～Ｇ１３のそれぞれに含まれている作物Ｓに対して認識処理が行われる。図５（ｂ）に示されるとおり、画像データＧ１１から、認識窓Ｎ１１およびそのほかの認識窓Ｎが取得される。この認識窓は、物体検出における検出窓のことである。同様に、画像データＧ１２から、認識窓Ｎ１２、Ｎ１２ａ、そのほか認識窓Ｎが取得され、画像データＧ１３から、認識窓Ｎ１３、そのほか認識窓Ｎが取得される。

【0031】

そして、画像処理部１１５により、認識窓Ｎ１１と認識窓Ｎ１２と位置合わせが行われる。選択された画像データの走行情報および画像データ内における認識窓Ｎ１または認識窓Ｎ１２の位置に基づいて、認識窓Ｎ１と認識窓Ｎ１２とが、同じ位置の作物Ｓであるか否か、すなわち同じ作物Ｓであるか否かが判断される。

【0032】

他の認識窓Ｎにおいても同様に位置合わせが行われる。この処理により、画像データＧ１１と画像データＧ１２との連結が行われる。画像データＧ１２と画像データＧ１３とも同様の処理により連結される。

【0033】

図５（ｃ）は、連結されて得られた合成画像データＸを示す。説明の便宜上、画像データＧ１１～Ｇ１３を用いて説明したが、圃場Ｈにおいて撮影され、選択されたすべての画像データＧに対して上述処理が行われる。

【0034】

なお、画像データＧの形に合わせて、必ずしも連結しやすいように作物Ｓ等が並んでいるわけではない。自動走行装置１００の走行状態によっては、図３における画像データＧ１およびＧ２に示すように、画像データの形状（四角形）に対して作物Ｓは斜めに配列されることがある。

【0035】

このような場合においても、図６に示すように、画像データＧ２１～Ｇ２３の向きを変えて、認識窓Ｎにあわせて連結する。この場合、画像データがゆがむ場合があるが、本開示においては、作物Ｓの精細な画像を得ることが目的ではなく、作物Ｓの状態を判断するためのものであることから、その歪みは問題とはならない。

【0036】

つぎに、本開示における自動走行装置１００の動作について説明する。図７は、自動走行装置１００の動作を示すフローチャートである。この動作では、自動走行装置１００が自動走行中であることが前提である。自動走行中にカメラ１１７により圃場Ｈにある一または複数の作物Ｓを含んだ画像が撮影され、画像データが取得される（Ｓ１０１）。また、挙動検出部１１１により自動走行装置１００の挙動が検出される（Ｓ１０２）。撮影された画像データ、挙動情報および走行情報（距離など）が静止画像記憶部１１２に記憶される（Ｓ１０３）。

【0037】

そして、選択部１１３により画像データが選択される（Ｓ１０４）。その際、予め定められた所定距離を走行したときに撮影された画像データおよびその挙動情報が選択される。このとき、挙動情報に異常値が示されていた場合には、それに対応する画像データは採用されず、その画像データの前後のいずれかの画像データが選択される。なお、その前後いずれの画像データの挙動情報に異常があった場合、さらに別の画像データを選択することがよい。

【0038】

図８に、挙動情報の異常値を示す。図に示されるように、挙動情報は、横に時間軸、縦に挙動の数値を示す。図８では、挙動の数値として、ヨー、ピッチまたはロールを示しているがこれに限るものではない。選択された画像データの挙動情報（挙動の数値）が、他の挙動情報と比べて極端に異なっている場合、例えば平均値から所定値以上ズレていた場合、その挙動情報は異常であると判断される。

【0039】

挙動情報に異常がある場合には、画像データに瞬間的なブレなどを含んでおり、画像として不適切な場合がある。それを除外するために、その前後における挙動情報が正常な画像データを選択することがよい。なお、カメラ１１７は、定期的に撮影処理を行っており、静止画像記憶部１１２は、同じ範囲を含んだ画像データを複数記憶している。

【0040】

つぎに、画像処理部１１５により、画像データの作物Ｓが認識され、認識窓が生成される（Ｓ１０５）。画像処理部１１５により、認識窓を利用した画像データの連結処理が行われ、合成画像データが生成される（Ｓ１０６）。合成画像データは、合成画像記憶部１１６に記憶される（Ｓ１０７）。

【0041】

上記処理は、走行中における処理である。ステップＳ１０１～Ｓ１０３は、走行中に行い、ステップＳ１０４～Ｓ１０７は、走行終了後に、管理者などの操作によって行われてもよい。

【0042】

本開示における自動走行装置１００の変形例について説明する。図９は、変形例における自動走行装置１００ａの機能構成を示す図である。自動走行装置１００ａは、カメラ１０１、認識部１０２、透視変換部１０３、調整部１０４、速度制御部１０５、車輪駆動機構および操舵機構１０６、作業部１０７，挙動検出部１１１、静止画像記憶部１１２ａ、合成処理部１１２ｂ、選択部１１３、画像処理部１１５、合成画像記憶部１１６、およびカメラ１１７を含んで構成されている。

【0043】

自動走行装置１００とは、合成処理部１１２ｂを備えている点が大きく異なるところである。

【0044】

この変形例においては、静止画像記憶部１１２ａは、カメラ１０１が撮影した自動走行装置１００ａの走行方向（前方）の画像データと、カメラ１１７が撮影した自動走行装置１００ａの後方（または後方の下方）の画像データと、を記憶している。

【0045】

そして、合成処理部１１２ｂは、カメラ１０１が撮影した自動走行装置１００ａの走行方向（前方）の画像データと、カメラ１１７が撮影した自動走行装置１００ａの後方（または後方の下方）の画像データとを、合成する。 図１０は、その合成処理の手順を示す説明図である。図に示されるとおり、合成処理部１１２ｂは、カメラ１１７が撮影した前方の画像データの一部の画像データＧ１０１を切り出し、またカメラ１１７が撮影した後方の画像データの一部の画像データＧ１０２を切り出す。それら画像データＧ１０１と画像データＧ１０２とを結合する。

【0046】

認識部１０２は、合成処理部１１２ｂが結合して得た結合画像に対して作物Ｓの認識処理を行う。認識部１０２は、認識処理後、画像データＧ１０１および画像データＧ１０２を分離し、画像データＧ１０１を透視変換部１０３へ、画像データＧ１０２を選択部１１３へ受け渡し、それぞれの処理を行わせる。

【0047】

すなわち、画像データＧ１０１は、自動走行装置１００における自動走行制御に利用され、画像データＧ１０２は、圃場Ｈの状態の把握ための合成画像に利用される。

【0048】

この構成により、認識部１０２による処理を一度に行うことができ、その処理の高速化を可能にする。カメラ１０１により撮影された前方の画像データの上方部分およびカメラ１１７により撮影された公報の画像データの上方部分は、それぞれ調整部１０４による調整処理および画像データの結合に際しては重要な部分ではない。したがって、合成処理部１１２ｂは、重要ではない部分を除いた部分で合成処理を行い、まとめて認識処理を行うことで、その処理負荷を軽減する。

【0049】

つぎに、本開示における自動走行装置１００およびその変形例における自動走行装置１００ａの作用効果について説明する。

【0050】

この自動走行装置１００は、進行方向に配列されている対象物である作物Ｓに対して所定の作業を施すための装置である。画像生成用撮影部として機能するカメラ１１７は、移動しながら、当該移動方向に対して複数列、配列される複数の作物Ｓを撮影する。静止画像記憶部１１２は、撮影された複数の作物Ｓを含む画像データを記憶する。選択部１１３は、自動走行装置１００の移動に伴って（例えば、所定距離移動、または所定時間経過ごとに）撮影された複数の画像データを選択する。画像処理部１１５は、選択された複数の画像データを連結する。

【0051】

ここで、画像生成用撮影部であるカメラ１１７は、撮影時における所定範囲に含まれる作物Ｓの全ての作物Ｓを含むように、走行に応じて所定範囲をずらしながら複数回撮影している。

【0052】

そして、選択部１１３は、複数の画像を選択する際、第１の所定範囲（図４の圃場Ｈ１１）の画像（図４の画像Ｇ１）を選択し、当該所定範囲（圃場Ｈ１１）にある作物Ｓの一部を含む第２の所定範囲（圃場Ｈ１２）の画像（画像Ｇ１２）を選択する。

【0053】

その際、選択部１１３は、第１の所定範囲の進行方向の後方に配列された対象物を、前記第２の所定範囲における進行方向側に含むよう定められた前記第２の所定範囲の画像を選択する。

【0054】

この構成により、自動走行装置が自動走行によって所定の作業をしながら、圃場Ｈの作物Ｓを撮影して連結することで、圃場Ｈ全体の画像データを得ることができる。管理者は、その画像データに基づいて、作物Ｓの状態を判断することができる。よって、管理者は、圃場Ｈにおける収量計画または病害虫へ対処を効率的に行うことができる。

【0055】

この自動走行装置１００において、画像処理部１１５は、撮影された複数の作物Ｓを認識するとともに、その認識領域である認識窓を取得する。そして、複数の画像データに含まれる認識窓に基づいて、当該複数の画像を連結する。

【0056】

この構成によれば、複数の画像データを、より正確に連結することができる。例えば、複数の画像データの認識窓同士の位置合わせを行うことで、正確な連結を可能にする。

【0057】

この自動走行装置１００は、その挙動を検出する挙動検出部１１１をさらに備える。挙動は、ヨー、ピッチ、ロール、および加速度等を示す。静止画像記憶部１１２は、画像データを記憶する際、挙動を示す挙動情報と対応付けて記憶する。選択部１１３は、選択された画像データの挙動情報が所定状況を示していた場合、選択した画像の少なくとも前後いずれかの画像に差し替える。

【0058】

この構成により、挙動情報により異常と判断されたときの画像データを、他の画像データに差し替えることができる。したがって、ぶれた画像データなど、圃場の状態判断には不適切な画像データを連結させることがなく、適切な画像データを生成することができる。

【0059】

変形例における自動走行装置１００ａは、進行方向に配列されている対象物に対して所定の作業を施す装置である。この自動走行装置１００ａにおいて、制御用撮影部であるカメラ１０１は、 自動走行装置１００ａの進行方向に向けて作物Ｓを撮影して画像データを取得する。調整部１０４は、カメラ１０１が撮影した画像データに含まれる対象物の認識結果に基づいて進行方向の制御を行う。認識部１０２は、画像生成用撮影部として機能するカメラ１１７が撮影した画像データと、カメラ１０１が撮影した画像データとを合成した画像データに対して作物Ｓの認識を行う。

【0060】

この構成により、認識部１０２による認識処理をまとめて行うことができ、その処理負荷等を軽減することができる。

【0061】

また、走行しながら撮影処理を行う自動走行装置１００は、移動しながら、当該移動方向に対して複数列、配列される複数の対象物を含むよう所定範囲を撮影する画像生成用撮影部であるカメラ１１７と、所定範囲の複数の対象物を認識し、認識結果に基づいた複数の画像（模式化データ）を連結する画像処理部１１５と、を備えてもよい。連結した画像は、合成画像記憶部１１６に記憶される。

【0062】

すなわち、この自動走行装置１００において、画像処理部１１５は、圃場Ｈの画像データから、作物Ｓを認識し、その認識窓Ｎのみからなる模式化データ（認識結果データ）を生成し、それら画像データを認識窓Ｎに基づいて連結してもよい。例えば、図６に示されるようなデータ（データＧ２１～Ｇ２３）である。図６では、説明の便宜上模式図で説明したが、画像処理部１１５は、このような模式化データ（認識結果データ）を生成し、連結してもよい。

【0063】

認識窓Ｎは、作物Ｓの育ち具合などで大きさが変わるため、その認識窓Ｎの大きさから作物Ｓの育ち具合を把握可能である。従って、認識窓Ｎのみからなるデータを連結して、圃場Ｈ全体のデータを得ることで、分析結果のマップングを容易にすることができる。作物の大きさに応じて認識窓Ｎの大きさが変わり、結果的に、作物の大きさの分布（育ちの悪い場所を知る）を把握するためには、認識結果のみで十分である場合がある。

【0064】

なお、本開示における自動走行装置１００および変形例における自動走行装置１００ａは、進行方向に配列されている対象物に対して所定の作業を施す装置や、自動走行する自動走行装置に限定するものではない。例えば、走行自体は人がラジコンで操作し、撮影作業を自動化するラジコン装置としてもよい。また、ドライバが搭乗するトラクタが、本撮影機能および画像処理機能を装備してもよい。農薬散布または追肥などの作業のついでに自動撮影をすることができる。いずれの形態においても、走行・移動した場所の撮影を行う撮影装置として機能すればよい。

【0065】

上記開示において、自動走行装置１００が画像処理を行っているが、これに限るものではない。自動走行装置１００によって得られた画像データおよび挙動情報等を、図示しない情報処理装置（コンピュータ等）の取得部が取得し、その画像データに対する連結処理を行うようにしてもよい。情報処理装置は、静止画像記憶部１１２、選択部１１３、画像処理部１１５、合成画像記憶部１１６の機能を備える。

【0066】

上記実施形態の説明に用いたブロック図は、機能単位のブロックを示している。これらの機能ブロック（構成部）は、ハードウェア及びソフトウェアの少なくとも一方の任意の組み合わせによって実現される。また、各機能ブロックの実現方法は特に限定されない。すなわち、各機能ブロックは、物理的又は論理的に結合した１つの装置を用いて実現されてもよいし、物理的又は論理的に分離した２つ以上の装置を直接的又は間接的に（例えば、有線、無線などを用いて）接続し、これら複数の装置を用いて実現されてもよい。機能ブロックは、上記１つの装置又は上記複数の装置にソフトウェアを組み合わせて実現されてもよい。

【0067】

機能には、判断、決定、判定、計算、算出、処理、導出、調査、探索、確認、受信、送信、出力、アクセス、解決、選択、選定、確立、比較、想定、期待、見做し、報知（broadcasting）、通知（notifying）、通信（communicating）、転送（forwarding）、構成（configuring）、再構成（reconfiguring）、割り当て（allocating、mapping）、割り振り（assigning）などがあるが、これらに限られない。たとえば、送信を機能させる機能ブロック（構成部）は、送信部（transmitting unit）や送信機（transmitter）と呼称される。いずれも、上述したとおり、実現方法は特に限定されない。

【0068】

例えば、本開示の一実施の形態における自動走行装置１００などは、本開示の自動走行方法の処理を行うコンピュータとして機能してもよい。図１１は、本開示の一実施の形態に係る自動走行装置１００の制御部分におけるハードウェア構成の一例を示す図である。上述の自動走行装置１００は、物理的には、プロセッサ１００１、メモリ１００２、ストレージ１００３、通信装置１００４、入力装置１００５、出力装置１００６、バス１００７などを含むコンピュータ装置として構成されてもよい。

【0069】

なお、以下の説明では、「装置」という文言は、回路、デバイス、ユニットなどに読み替えることができる。自動走行装置１００のハードウェア構成は、図に示した各装置を１つ又は複数含むように構成されてもよいし、一部の装置を含まずに構成されてもよい。

【0070】

自動走行装置１００における各機能は、プロセッサ１００１、メモリ１００２などのハードウェア上に所定のソフトウェア（プログラム）を読み込ませることによって、プロセッサ１００１が演算を行い、通信装置１００４による通信を制御したり、メモリ１００２及びストレージ１００３におけるデータの読み出し及び書き込みの少なくとも一方を制御したりすることによって実現される。

【0071】

プロセッサ１００１は、例えば、オペレーティングシステムを動作させてコンピュータ全体を制御する。プロセッサ１００１は、周辺装置とのインターフェース、制御装置、演算装置、レジスタなどを含む中央処理装置（ＣＰＵ：Central Processing Unit）によって構成されてもよい。例えば、上述の認識部１０２、透視変換部１０３、調整部１０４、速度制御部１０５、選択部１１３、画像処理部１１５などは、プロセッサ１００１によって実現されてもよい。

【0072】

また、プロセッサ１００１は、プログラム（プログラムコード）、ソフトウェアモジュール、データなどを、ストレージ１００３及び通信装置１００４の少なくとも一方からメモリ１００２に読み出し、これらに従って各種の処理を実行する。プログラムとしては、上述の実施の形態において説明した動作の少なくとも一部をコンピュータに実行させるプログラムが用いられる。例えば、自動走行装置１００の認識部１０２等は、メモリ１００２に格納され、プロセッサ１００１において動作する制御プログラムによって実現されてもよく、他の機能ブロックについても同様に実現されてもよい。上述の各種処理は、１つのプロセッサ１００１によって実行される旨を説明してきたが、２以上のプロセッサ１００１により同時又は逐次に実行されてもよい。プロセッサ１００１は、１以上のチップによって実装されてもよい。なお、プログラムは、電気通信回線を介してネットワークから送信されても良い。

【0073】

メモリ１００２は、コンピュータ読み取り可能な記録媒体であり、例えば、ＲＯＭ（Read Only Memory）、ＥＰＲＯＭ（Erasable Programmable ＲＯＭ）、ＥＥＰＲＯＭ（Electrically Erasable Programmable ＲＯＭ）、ＲＡＭ（Random Access Memory）などの少なくとも１つによって構成されてもよい。メモリ１００２は、レジスタ、キャッシュ、メインメモリ（主記憶装置）などと呼ばれてもよい。メモリ１００２は、本開示の一実施の形態に係る自動走行方法を実施するために実行可能なプログラム（プログラムコード）、ソフトウェアモジュールなどを保存することができる。

【0074】

ストレージ１００３は、コンピュータ読み取り可能な記録媒体であり、例えば、ＣＤ－ＲＯＭ（Compact Disc ＲＯＭ）などの光ディスク、ハードディスクドライブ、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Ｂｌｕ－ｒａｙ（登録商標）ディスク)、スマートカード、フラッシュメモリ(例えば、カード、スティック、キードライブ)、フロッピー（登録商標）ディスク、磁気ストリップなどの少なくとも１つによって構成されてもよい。ストレージ１００３は、補助記憶装置と呼ばれてもよい。上述の記憶媒体は、例えば、メモリ１００２及びストレージ１００３の少なくとも一方を含むデータベース、サーバその他の適切な媒体であってもよい。

【0075】

通信装置１００４は、有線ネットワーク及び無線ネットワークの少なくとも一方を介してコンピュータ間の通信を行うためのハードウェア（送受信デバイス）であり、例えばネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュールなどともいう。通信装置１００４は、例えば周波数分割複信（ＦＤＤ：Frequency Division Duplex）及び時分割複信（ＴＤＤ：Time Division Duplex）の少なくとも一方を実現するために、高周波スイッチ、デュプレクサ、フィルタ、周波数シンセサイザなどを含んで構成されてもよい。

【0076】

入力装置１００５は、外部からの入力を受け付ける入力デバイス（例えば、キーボード、マウス、マイクロフォン、スイッチ、ボタン、センサなど）である。出力装置１００６は、外部への出力を実施する出力デバイス（例えば、ディスプレイ、スピーカー、LEDランプなど）である。なお、入力装置１００５及び出力装置１００６は、一体となった構成（例えば、タッチパネル）であってもよい。

【0077】

また、プロセッサ１００１、メモリ１００２などの各装置は、情報を通信するためのバス１００７によって接続される。バス１００７は、単一のバスを用いて構成されてもよいし、装置間ごとに異なるバスを用いて構成されてもよい。

【0078】

また、自動走行装置１００は、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ：Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）、ＦＰＧＡ（Field Programmable Gate Array）などのハードウェアを含んで構成されてもよく、当該ハードウェアにより、各機能ブロックの一部又は全てが実現されてもよい。例えば、プロセッサ１００１は、これらのハードウェアの少なくとも１つを用いて実装されてもよい。

【0079】

本開示において説明した各態様／実施形態の処理手順、シーケンス、フローチャートなどは、矛盾の無い限り、順序を入れ替えてもよい。例えば、本開示において説明した方法については、例示的な順序を用いて様々なステップの要素を提示しており、提示した特定の順序に限定されない。

【0080】

本開示において説明した各態様／実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。

【0081】

以上、本開示について詳細に説明したが、当業者にとっては、本開示が本開示中に説明した実施形態に限定されるものではないということは明らかである。本開示は、請求の範囲の記載により定まる本開示の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。したがって、本開示の記載は、例示説明を目的とするものであり、本開示に対して何ら制限的な意味を有するものではない。

【0082】

ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称で呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能などを意味するよう広く解釈されるべきである。

【0083】

また、ソフトウェア、命令、情報などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、有線技術（同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ：Digital Subscriber Line）など）及び無線技術（赤外線、マイクロ波など）の少なくとも一方を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び無線技術の少なくとも一方は、伝送媒体の定義内に含まれる。

【0084】

本開示において説明した情報、信号などは、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。

【0085】

なお、本開示において説明した用語及び本開示の理解に必要な用語については、同一の又は類似する意味を有する用語と置き換えてもよい。例えば、チャネル及びシンボルの少なくとも一方は信号（シグナリング）であってもよい。また、信号はメッセージであってもよい。また、コンポーネントキャリア（ＣＣ：Component Carrier）は、キャリア周波数、セル、周波数キャリアなどと呼ばれてもよい。

【0086】

本開示において使用する「システム」及び「ネットワーク」という用語は、互換的に使用される。

【0087】

また、本開示において説明した情報、パラメータなどは、絶対値を用いて表されてもよいし、所定の値からの相対値を用いて表されてもよいし、対応する別の情報を用いて表されてもよい。例えば、無線リソースはインデックスによって指示されるものであってもよい。

【0088】

上述したパラメータに使用する名称はいかなる点においても限定的な名称ではない。さらに、これらのパラメータを使用する数式等は、本開示で明示的に開示したものと異なる場合もある。様々なチャネル（例えば、ＰＵＣＣＨ、ＰＤＣＣＨなど）及び情報要素は、あらゆる好適な名称によって識別できるので、これらの様々なチャネル及び情報要素に割り当てている様々な名称は、いかなる点においても限定的な名称ではない。

【0089】

本開示で使用する「判断(determining)」、「決定(determining)」という用語は、多種多様な動作を包含する場合がある。「判断」、「決定」は、例えば、判定(judging)、計算(calculating)、算出(computing)、処理(processing)、導出(deriving)、調査(investigating)、探索(looking up、search、inquiry)（例えば、テーブル、データベース又は別のデータ構造での探索）、確認(ascertaining)した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、受信(receiving)（例えば、情報を受信すること）、送信(transmitting)(例えば、情報を送信すること)、入力(input)、出力(output)、アクセス(accessing)（例えば、メモリ中のデータにアクセスすること）した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、解決(resolving)、選択(selecting)、選定(choosing)、確立(establishing)、比較(comparing)などした事を「判断」「決定」したとみなす事を含み得る。つまり、「判断」「決定」は、何らかの動作を「判断」「決定」したとみなす事を含み得る。また、「判断（決定）」は、「想定する（assuming）」、「期待する（expecting）」、「みなす（considering）」などで読み替えられてもよい。

【0090】

「接続された(connected)」、「結合された(coupled)」という用語、又はこれらのあらゆる変形は、２又はそれ以上の要素間の直接的又は間接的なあらゆる接続又は結合を意味し、互いに「接続」又は「結合」された２つの要素間に１又はそれ以上の中間要素が存在することを含むことができる。要素間の結合又は接続は、物理的なものであっても、論理的なものであっても、或いはこれらの組み合わせであってもよい。例えば、「接続」は「アクセス」で読み替えられてもよい。本開示で使用する場合、２つの要素は、１又はそれ以上の電線、ケーブル及びプリント電気接続の少なくとも一つを用いて、並びにいくつかの非限定的かつ非包括的な例として、無線周波数領域、マイクロ波領域及び光（可視及び不可視の両方）領域の波長を有する電磁エネルギーなどを用いて、互いに「接続」又は「結合」されると考えることができる。

【0091】

本開示において使用する「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。

【0092】

上記の各装置の構成における「手段」を、「部」、「回路」、「デバイス」等に置き換えてもよい。

【0093】

本開示において、「含む（include）」、「含んでいる（including）」及びそれらの変形が使用されている場合、これらの用語は、用語「備える（comprising）」と同様に、包括的であることが意図される。さらに、本開示において使用されている用語「又は（or）」は、排他的論理和ではないことが意図される。

【0094】

本開示において、例えば、英語でのa, an及びtheのように、翻訳により冠詞が追加された場合、本開示は、これらの冠詞の後に続く名詞が複数形であることを含んでもよい。

【0095】

本開示において、「ＡとＢが異なる」という用語は、「ＡとＢが互いに異なる」ことを意味してもよい。なお、当該用語は、「ＡとＢがそれぞれＣと異なる」ことを意味してもよい。「離れる」、「結合される」などの用語も、「異なる」と同様に解釈されてもよい。

【符号の説明】

【0096】

１００…自動走行装置、１０１…カメラ、１０２…認識部、１０３…透視変換部、１０４…調整部、１０５…速度制御部、１０６…車輪起動機構および操舵機構、１０７…作業部、１１１…挙動検出部、１１２…静止画像記憶部、１１３…選択部、１１５…画像処理部、１１６…合成画像記憶部、１１７…カメラ、１００ａ…自動走行装置、１１２ａ…静止画像記憶部、１１２ｂ…合成処理部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】