特開 2024-99335 障害物検出装置及び障害物検出システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024099335

(43)【公開日】2024-07-25

(54)【発明の名称】障害物検出装置及び障害物検出システム

(51)【国際特許分類】

   E02F 9/24 20060101AFI20240718BHJP

   G08G 1/16 20060101ALI20240718BHJP

   H04N 7/18 20060101ALI20240718BHJP

   B66C 13/00 20060101ALI20240718BHJP

   B66C 23/88 20060101ALI20240718BHJP

【ＦＩ】

E02F9/24 H

G08G1/16 C

H04N7/18 J

B66C13/00 D

B66C23/88 D

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2023003200

(22)【出願日】2023-01-12

(71)【出願人】

【識別番号】000000099

【氏名又は名称】株式会社ＩＨＩ

(74)【代理人】

【識別番号】100088155

【弁理士】

【氏名又は名称】長谷川 芳樹

(74)【代理人】

【識別番号】100113435

【弁理士】

【氏名又は名称】黒木 義樹

(74)【代理人】

【識別番号】100170818

【弁理士】

【氏名又は名称】小松 秀輝

(74)【代理人】

【識別番号】100171583

【弁理士】

【氏名又は名称】梅景 篤

(72)【発明者】

【氏名】井澤 敏泰

【テーマコード（参考）】

2D015

3F205

5C054

5H181

【Ｆターム（参考）】

2D015GA03

2D015GB06

2D015GB07

2D015HA03

3F205AA03

3F205AA05

3F205AB01

5C054CA04

5C054CC02

5C054DA07

5C054FC12

5C054FE28

5C054FF06

5C054HA30

5H181AA07

5H181BB04

5H181CC04

5H181FF27

5H181FF32

5H181LL01

5H181LL08

(57)【要約】

【課題】障害物の検出に要する時間を短縮すること。
【解決手段】障害物検出装置３０は、本体部と本体部に対して移動可能に設けられた可動部とを備える作業機械の周辺の障害物を検出する装置であって、可動部の移動方向を特定する特定部３１と、可動部の移動範囲を撮像可能に設けられた複数の撮像装置のうち、移動方向に存在する撮像装置の出力を用いて障害物を検出する検出部３３と、を備える。
【選択図】図４

【特許請求の範囲】

【請求項1】

本体部と前記本体部に対して移動可能に設けられた可動部とを備える作業機械の周辺の障害物を検出する障害物検出装置であって、
前記可動部の移動方向を特定する特定部と、
前記可動部の移動範囲を撮像可能に設けられた複数の撮像装置のうち、前記移動方向に存在する撮像装置の出力を用いて障害物を検出する検出部と、
を備える、障害物検出装置。

【請求項2】

前記特定部は、前記複数の撮像装置のうちの、前記可動部に設けられた第１撮像装置によって撮像された撮像画像に基づいて前記移動方向を特定する、請求項１に記載の障害物検出装置。

【請求項3】

前記特定部は、前記複数の撮像装置のうちの、前記可動部を撮像可能な第１撮像装置によって撮像された撮像画像に基づいて前記移動方向を特定する、請求項１に記載の障害物検出装置。

【請求項4】

請求項１～請求項３のいずれか一項に記載の障害物検出装置と、
前記複数の撮像装置と、
を備える、障害物検出システム。

【請求項5】

前記障害物検出装置は、前記複数の撮像装置のうちの１つの撮像装置に搭載され、
前記複数の撮像装置は、互いに通信可能に接続されている、請求項４に記載の障害物検出システム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、障害物検出装置及び障害物検出システムに関する。

【背景技術】

【0002】

作業機械の周辺を監視する技術が知られている。特許文献１には、作業機械に搭載された複数の撮像装置によって撮像された撮像画像を用いて統合データ群を作成し、統合データ群に基づき監視エリア内の監視物体の検出を行う周辺監視システムが記載されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２２－８５６１７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に記載の周辺監視システムでは、すべての撮像装置によって撮像された撮像画像を統合する必要があるので、処理負荷が高く、障害物の検出に時間が掛かるおそれがある。

【0005】

本開示は、障害物の検出に要する時間を短縮可能な障害物検出装置及び障害物検出システムを説明する。

【課題を解決するための手段】

【0006】

本開示の一側面に係る障害物検出装置は、本体部と本体部に対して移動可能に設けられた可動部とを備える作業機械の周辺の障害物を検出する装置である。この障害物検出装置は、可動部の移動方向を特定する特定部と、可動部の移動範囲を撮像可能に設けられた複数の撮像装置のうち、移動方向に存在する撮像装置の出力を用いて障害物を検出する検出部と、を備える。

【発明の効果】

【0007】

本開示によれば、障害物の検出に要する時間を短縮することができる。

【図面の簡単な説明】

【0008】

【図1】図１は、一実施形態に係る障害物検出装置を含む障害物検出システムの概略構成を示す図である。

【図2】図２は、図１に示される障害物検出システムの適用例を示す図である。

【図3】図３は、図１に示される可動部に設けられた撮像装置のハードウェア構成の一例を示す図である。

【図4】図４は、図１に示される可動部に設けられた撮像装置の機能構成の一例を示す図である。

【図5】図５は、図１に示される本体部に設けられた撮像装置の機能構成の一例を示す図である。

【図6】図６は、図１に示される障害物検出システムにおける障害物検出方法の一例を示すシーケンス図である。

【図7】図７は、別の実施形態に係る障害物検出装置を含む障害物検出システムの概略構成を示す図である。

【図8】図８は、図７に示される撮像装置の機能構成の一例を示す図である。

【発明を実施するための形態】

【0009】

［１］実施形態の概要
本開示の一側面に係る障害物検出装置は、本体部と本体部に対して移動可能に設けられた可動部とを備える作業機械の周辺の障害物を検出する装置である。この障害物検出装置は、可動部の移動方向を特定する特定部と、可動部の移動範囲を撮像可能に設けられた複数の撮像装置のうち、移動方向に存在する撮像装置の出力を用いて障害物を検出する検出部と、を備える。

【0010】

この障害物検出装置においては、可動部の移動方向が特定され、複数の撮像装置のうち、可動部の移動方向に存在する撮像装置の出力を用いて障害物が検出される。したがって、障害物検出装置はすべての撮像装置によって撮像された撮像画像を処理する必要が無いので、障害物検出装置の処理負荷を軽減することができる。その結果、障害物の検出に要する時間を短縮することが可能となる。

【0011】

特定部は、複数の撮像装置のうちの、可動部に設けられた第１撮像装置によって撮像された撮像画像に基づいて移動方向を特定してもよい。例えば、可動部を撮像することによって可動部の移動方向を特定することが考えられる。この場合、可動部の移動範囲が大きい場合には、可動部の移動方向を特定するために複数台の撮像装置が必要になる可能性がある。これに対し、上記構成によれば、第１撮像装置が可動部に設けられるだけで、可動部の移動方向を特定することができる。

【0012】

特定部は、複数の撮像装置のうちの、可動部を撮像可能な第１撮像装置によって撮像された撮像画像に基づいて移動方向を特定してもよい。この場合、撮像画像は可動部を撮像することによって得られるので、撮像画像には可動部が含まれる。したがって、撮像画像から特徴点が抽出される可能性が高いので、可動部の移動方向をより確実に特定することができる。

【0013】

本開示の別の側面に係る障害物検出システムは、上記障害物検出装置と、複数の撮像装置と、を備える。

【0014】

この障害物検出システムは上記障害物検出装置を備えるので、障害物検出システムにおいても障害物の検出に要する時間を短縮することが可能となる。

【0015】

障害物検出装置は、複数の撮像装置のうちの１つの撮像装置に搭載されてもよい。複数の撮像装置は、互いに通信可能に接続されてもよい。この場合、複数の撮像装置が通信可能に接続されているローカルのネットワーク内で障害物検出の一連の処理を行うことができる。したがって、処理速度を向上させることが可能となる。その結果、障害物の検出に要する時間を更に短縮することが可能となる。

【0016】

［２］実施形態の例示
以下、図面を参照しながら本開示の実施形態が詳細に説明される。なお、図面の説明において同一要素には同一符号が付され、重複する説明は省略される。

【0017】

図１及び図２を参照しながら、一実施形態に係る障害物検出装置を含む障害物検出システムを説明する。図１は、一実施形態に係る障害物検出装置を含む障害物検出システムの概略構成を示す図である。図２は、図１に示される障害物検出システムの適用例を示す図である。図１に示される障害物検出システム１は、作業機械Ｍの周辺の障害物を検出するためのシステムである。障害物の例としては、作業者及び車両が挙げられる。

【0018】

作業機械Ｍは、土木及び建築の作業（工事）に用いられる機械である。作業機械Ｍは、本体部Ｍ１と、可動部Ｍ２と、を含む。本体部Ｍ１は、可動部Ｍ２を支持する部分である。可動部Ｍ２は、本体部Ｍ１に対して移動可能に本体部Ｍ１に設けられた部分である。このような作業機械Ｍの例としては、クレーン、ショベル、及びブルドーザが挙げられる。

【0019】

障害物検出システム１は、互いに通信可能に接続された複数の撮像装置を含む。本実施形態では、複数の撮像装置は、撮像装置１０（第１撮像装置）と、複数（本実施形態では、３台）の撮像装置２０と、を含む。撮像装置１０と複数の撮像装置２０とは、例えば、メッシュ型の無線ネットワークＮＷで接続されている。

【0020】

撮像装置１０は、可動部Ｍ２に設けられている。撮像装置１０は、可動部Ｍ２の移動方向Ｄを特定するために用いられる。可動部Ｍ２の移動方向Ｄは、可動部Ｍ２及び可動部Ｍ２によって運搬される運搬物のうち、作業機械Ｍの周辺に存在する障害物と干渉（衝突）し得る部分の移動方向を意味する。撮像装置１０は、可動部Ｍ２に固定されており、可動部Ｍ２とともに移動する。撮像装置１０の詳細については後述する。

【0021】

複数の撮像装置２０は、可動部Ｍ２の周辺に分散配置されている。各撮像装置２０は、本体部Ｍ１に設けられている。撮像装置２０は、可動部Ｍ２及び可動部Ｍ２によって運搬される運搬物のうち、作業機械Ｍの周辺に存在する障害物と干渉（衝突）し得る部分が移動可能な移動範囲を撮像可能に設けられている。各撮像装置２０は、上記移動範囲の一部を撮像しており、すべての撮像装置２０によって上記移動範囲全体が撮像される。撮像装置２０の台数は、上記移動範囲と各撮像装置２０の撮像範囲とに応じて適宜変更され得る。撮像装置２０の詳細については後述する。

【0022】

図２には、作業機械Ｍがタワークレーンである場合の撮像装置１０及び撮像装置２０の配置例が示されている。この例では、本体部Ｍ１は、タワークレーンを支持するマストＭ１１と、マストＭ１１に沿って可動部Ｍ２を昇降させる昇降フレームＭ１２と、を含む。可動部Ｍ２は、昇降フレームＭ１２上に設けられた旋回体Ｍ２１と、旋回体Ｍ２１と一体に構成されている運転室Ｍ２２と、旋回体Ｍ２１から延びるジブＭ２３と、ジブＭ２３の先端から垂れ下がるフックＭ２４と、を含む。撮像装置１０は、運転室Ｍ２２の上に設けられ、複数の撮像装置２０は、昇降フレームＭ１２に設けられる。撮像装置１０は、運転室Ｍ２２の内部に設けられてもよい。

【0023】

次に、図３及び図４を参照しながら、撮像装置１０の詳細を説明する。図３は、図１に示される可動部に設けられた撮像装置のハードウェア構成の一例を示す図である。図４は、図１に示される可動部に設けられた撮像装置の機能構成の一例を示す図である。

【0024】

図３に示されるように、撮像装置１０は、制御装置１０１と、記憶装置１０２と、カメラ１０３と、モーションセンサ１０４と、入力装置１０５と、無線通信モジュール１０６と、出力装置１０７と、を含む。制御装置１０１は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、及び各種入出力用のインターフェースなどを含むコンピュータによって構成される。記憶装置１０２は、ハードディスク及びフラッシュメモリ等によって構成される補助記憶装置を含む。

【0025】

カメラ１０３は、レンズ及び撮像素子等の複数の光学系の部品と、それらを駆動制御する複数の制御系の回路と、撮像素子によって取得された撮像画像を表す電気信号をデジタル信号である画像信号に変換する信号処理系の回路部と、を含む。撮像画像は、動画像である。カメラ１０３により取得される撮像画像（各フレーム）は、例えば、各画素（ピクセル）の画素値（例えば、輝度、明度及び色彩等の画素に関する数値）を示す画像データとして取得される。

【0026】

モーションセンサ１０４は、撮像装置１０の動きを検出するセンサである。モーションセンサ１０４の例としては、角速度センサ及び加速度センサが挙げられる。入力装置１０５は、キーボード、マウス、タッチパネル、及び音声入力用マイク等によって構成される。無線通信モジュール１０６は、複数の撮像装置２０と無線通信を行うためのモジュールである。出力装置１０７は、ディスプレイ等によって構成される。

【0027】

例えば、制御装置１０１のＲＯＭに格納されている障害物検出プログラムがＲＡＭ上にロードされてＣＰＵによって実行されることにより、制御装置１０１が障害物検出装置３０として機能する。言い換えると、障害物検出システム１は、障害物検出装置３０を更に備えており、障害物検出装置３０は、複数の撮像装置のうちの撮像装置１０に搭載されている。

【0028】

障害物検出装置３０は、作業機械Ｍの周辺の障害物を検出する装置である。図４に示されるように、障害物検出装置３０は、機能的な構成要素として、特定部３１と、決定部３２と、検出部３３と、出力部３４と、を含む。後述の障害物検出方法の説明において、各機能部の機能（動作）を詳細に説明するので、ここでは各機能部の機能を簡単に説明する。

【0029】

特定部３１は、可動部Ｍ２の移動方向Ｄを特定する機能部である。特定部３１は、撮像装置１０のカメラ１０３によって撮像された撮像画像（の各フレーム）に基づいて、可動部Ｍ２の移動方向Ｄを特定する。

【0030】

決定部３２は、可動部Ｍ２の移動方向Ｄに基づいて、複数の撮像装置２０の中から対象撮像装置を決定する機能部である。対象撮像装置は、出力が有効化される撮像装置２０である。

【0031】

検出部３３は、対象撮像装置の出力を用いて障害物を検出する機能部である。具体的には、検出部３３は、解析結果の取得要求を対象撮像装置に送信し、対象撮像装置から解析結果を受信する。検出部３３は、対象撮像装置の出力として解析結果を用いて、移動方向Ｄにおいて可動部Ｍ２の下流に障害物が存在するか否かを判定し、障害物の検出結果を生成する。

【0032】

出力部３４は、障害物の検出結果を出力する機能部である。出力部３４は、障害物の検出結果に基づいて、障害物検出装置３０の外部に設けられた装置（外部装置）を制御する。

【0033】

次に、図５を参照しながら、撮像装置２０の詳細を説明する。図５は、図１に示される本体部に設けられた撮像装置の機能構成の一例を示す図である。

【0034】

撮像装置２０は、撮像装置１０と同様のハードウェア構成を有する。撮像装置２０は、モーションセンサ１０４を含んでいなくてもよい。例えば、制御装置１０１のＲＯＭに格納されている解析プログラムがＲＡＭ上にロードされてＣＰＵによって実行されることにより、制御装置１０１が解析装置４０として機能する。言い換えると、障害物検出システム１は、解析装置４０を更に備えており、解析装置４０は、各撮像装置２０に搭載されている。

【0035】

解析装置４０は、撮像装置２０のカメラ１０３によって撮像された撮像画像を解析する装置である。図５に示されるように、解析装置４０は、機能的な構成要素として、解析部４１と、出力部４２と、を含む。後述の障害物検出方法の説明において、各機能部の機能（動作）を詳細に説明するので、ここでは各機能部の機能を簡単に説明する。

【0036】

解析部４１は、撮像装置２０のカメラ１０３によって撮像された撮像画像を解析する機能部である。解析部４１は、障害物が存在するか否かを示す解析結果を生成する。

【0037】

出力部４２は、解析結果を障害物検出装置３０に送信（出力）する機能部である。出力部４２は、解析部４１によって障害物が存在すると判定された場合、撮像画像を撮像装置２０の記憶装置１０２に出力し、撮像画像を撮像装置２０の記憶装置１０２に保存してもよい。

【0038】

次に、図６を参照しながら、障害物検出システム１における障害物検出方法を説明する。図６は、図１に示される障害物検出システムにおける障害物検出方法の一例を示すシーケンス図である。図６に示される一連の処理は、例えば、作業機械Ｍに電源が投入されることによって開始される。障害物検出システム１が動作している間、撮像装置１０及び撮像装置２０のカメラ１０３は、連続的に撮像を行っている。なお、図１に示される３台の撮像装置２０を区別するために、図１の右側の撮像装置２０を「撮像装置２０Ａ」と称し、図１の下側の撮像装置２０を「撮像装置２０Ｂ」と称し、図１の左側の撮像装置２０を「撮像装置２０Ｃ」と称する。

【0039】

図６に示されるように、まず、撮像装置１０（障害物検出装置３０）の特定部３１が可動部Ｍ２の移動方向Ｄを特定する（ステップＳ１）。ステップＳ１では、特定部３１は、撮像装置１０のカメラ１０３によって撮像された撮像画像（の各フレーム）に基づいて、可動部Ｍ２の移動方向Ｄを特定する。例えば、特定部３１は、オプティカルフロー法及びフレーム間差分法などにより、可動部Ｍ２の移動方向Ｄを特定する。特定部３１は、撮像画像から特徴点を抽出することができない場合には、モーションセンサ１０４によって検出された動きに基づいて、可動部Ｍ２の移動方向Ｄを特定してもよい。そして、特定部３１は、可動部Ｍ２の移動方向Ｄを示す移動方向情報を決定部３２に出力する。

【0040】

各撮像装置２０においては、解析装置４０の解析部４１が、撮像装置２０のカメラ１０３によって撮像された撮像画像を常時解析している（ステップＳ２）。解析部４１は、例えば、ディープラーニングにより撮像画像を解析し、障害物が存在するか否かを判定する。解析部４１は、撮像画像のうちの予め定められた検出エリアに障害物が存在するか否かを判定してもよい。そして、解析部４１は、解析結果を生成する。このとき、解析部４１によって障害物が存在すると判定された場合、出力部４２は、撮像画像を記憶装置１０２に出力し、撮像画像を記憶装置１０２に保存してもよい。

【0041】

続いて、決定部３２は、特定部３１から移動方向情報を受け取ると、可動部Ｍ２の移動方向Ｄに基づいて、複数の撮像装置２０の中から対象撮像装置を決定する（ステップＳ３）。決定部３２は、例えば、複数の撮像装置２０のうち、可動部Ｍ２の移動方向Ｄに存在する撮像装置２０を対象撮像装置として決定する。ここで、障害物検出装置３０には、各撮像装置２０の位置情報が予め登録されている。作業機械Ｍは可動部Ｍ２の現在の位置を示す位置情報を有しているので、決定部３２は、入力装置１０５を介して作業機械Ｍから可動部Ｍ２の現在の位置を示す位置情報を取得する。

【0042】

決定部３２は、可動部Ｍ２の位置及び可動部Ｍ２の移動方向Ｄから、移動方向Ｄにおいて可動部Ｍ２の下流に位置する撮像装置２０を対象撮像装置として決定する。そして、決定部３２は、対象撮像装置を識別可能な識別情報を検出部３３に出力する。ここでは、撮像装置２０Ａ及び撮像装置２０Ｂが対象撮像装置として決定されたと仮定して、以下の説明を行う。

【0043】

続いて、検出部３３は、決定部３２から対象撮像装置の識別情報を受け取ると、識別情報によって識別される撮像装置に取得要求を送信する（ステップＳ４）。そして、撮像装置２０Ａ及び撮像装置２０Ｂが取得要求を受信すると、各解析装置４０の出力部４２は、解析結果を撮像装置１０（障害物検出装置３０）に送信する（ステップＳ５）。

【0044】

続いて、撮像装置１０（障害物検出装置３０）の検出部３３は、撮像装置２０Ａ及び撮像装置２０Ｂから解析結果を受信すると、解析結果に基づいて、障害物を検出する（ステップＳ６）。ステップＳ６では、検出部３３は、移動方向Ｄにおいて可動部Ｍ２の下流に障害物が存在するか否かを判定し、障害物が存在するか否かを示す検出結果を生成する。例えば、いずれかの解析結果が、障害物が存在することを示す場合に、検出部３３は、移動方向Ｄにおいて可動部Ｍ２の下流に障害物が存在すると判定し、障害物が存在することを示す検出結果を生成する。すべての解析結果が、障害物が存在しないことを示す場合に、検出部３３は、移動方向Ｄにおいて可動部Ｍ２の下流に障害物が存在しないと判定し、障害物が存在しないことを示す検出結果を生成する。そして、検出部３３は、検出結果を出力部３４に出力する。

【0045】

続いて、出力部３４は、検出部３３から検出結果を受け取ると、検出結果を出力する（ステップＳ７）。出力部３４は、例えば、作業機械Ｍに設けられた表示灯に検出結果を出力し、検出結果に応じて表示灯を点灯表示させてもよい。出力部３４は、作業機械Ｍの運転室に設けられたディスプレイに検出結果を出力し、ディスプレイに検出結果を表示させてもよい。検出結果が、障害物が存在することを示す場合には、出力部３４は、作業機械Ｍの動作を停止させてもよい。出力部３４は、検出結果を記憶装置１０２に出力し、記憶装置１０２に検出結果を保存してもよい。

【0046】

以降、所定の時間が経過するごとに、ステップＳ１～ステップＳ７の処理が繰り返される。

【0047】

以上説明した障害物検出システム１及び障害物検出装置３０においては、可動部Ｍ２の移動方向Ｄが特定され、複数の撮像装置２０のうち、可動部Ｍ２の移動方向Ｄに存在する撮像装置２０の出力（解析結果）を用いて障害物が検出される。したがって、障害物検出装置３０はすべての撮像装置２０によって撮像された撮像画像を処理する必要が無いので、障害物検出装置３０の処理負荷を軽減することができる。その結果、障害物の検出に要する時間を短縮することが可能となる。

【0048】

例えば、可動部Ｍ２を撮像することによって可動部Ｍ２の移動方向Ｄを特定することが考えられる。この場合、可動部Ｍ２の移動範囲が大きいと、複数台の撮像装置が必要になる可能性がある。これに対し、特定部３１は、可動部Ｍ２に設けられた撮像装置１０によって撮像された撮像画像に基づいて可動部Ｍ２の移動方向Ｄを特定する。この構成によれば、撮像装置１０が可動部Ｍ２に設けられるだけで、可動部Ｍ２の移動方向Ｄを特定することができる。

【0049】

障害物検出システム１においては、撮像装置１０及び複数の撮像装置２０が無線ネットワークＮＷで通信可能に接続されている。この構成によれば、クラウドを介さずに、ローカルの無線ネットワークＮＷ（エッジ）内で障害物検出の一連の処理を行うことができる。したがって、処理速度を向上させることが可能となる。その結果、障害物の検出に要する時間を更に短縮することが可能となる。撮像装置１０と複数の撮像装置２０とはメッシュ型の無線ネットワークＮＷで接続されているので、２つの撮像装置が１対１で通信することができる。各撮像装置が中継機能を有しているので、通信経路を冗長化することができ、耐障害性を向上させることができる。各撮像装置が通信を中継することで、長距離の通信も可能となる。

【0050】

障害物検出システム１及び障害物検出装置３０においては、可動部Ｍ２の移動方向Ｄに存在する撮像装置２０の出力（解析結果）を用いて障害物が検出されるので、可動部Ｍ２の動作と連動した障害物検出を行うことができ、可動部Ｍ２が移動する前に事前に障害物を検出することが可能となる。障害物検出システム１及び障害物検出装置３０においては、自律的に障害物が検出されるので、人による監視が不要となる。したがって、運用コストを削減することができる。複数の撮像装置２０の位置は固定されているので、障害物が含まれる撮像画像を撮像した撮像装置２０の位置から障害物の位置を特定することが可能となる。

【0051】

障害物検出システム１においては、各撮像装置２０が撮像画像を解析し、撮像装置１０が可動部Ｍ２の移動方向Ｄを特定して、各撮像装置２０による解析結果から障害物を検出している。したがって、障害物検出に関する一連の処理が複数の撮像装置で分散処理されるので、処理速度を向上させることが可能となる。

【0052】

次に、図７及び図８を参照しながら、別の実施形態に係る障害物検出装置を含む障害物検出システムを説明する。図７は、別の実施形態に係る障害物検出装置を含む障害物検出システムの概略構成を示す図である。図８は、図７に示される撮像装置の機能構成の一例を示す図である。図７に示される障害物検出システム１Ａは、撮像装置１０及び複数の撮像装置２０に代えて、複数の撮像装置５０を含む点において、障害物検出システム１と主に相違する。

【0053】

複数の撮像装置５０は、可動部Ｍ２の周辺に分散配置されている。各撮像装置５０は、可動部Ｍ２を撮像可能に設けられている。各撮像装置５０は、固定されている。本実施形態では、複数の撮像装置５０は、作業機械Ｍを中心として同心円状に配置されている。撮像装置５０は、可動部Ｍ２及び可動部Ｍ２によって運搬される運搬物のうち、作業機械Ｍの周辺に存在する障害物と干渉（衝突）し得る部分が移動可能な移動範囲の一部を撮像しており、すべての撮像装置５０によって上記移動範囲全体が撮像される。複数の撮像装置５０は、例えば、メッシュ型の無線ネットワークＮＷで接続されている。撮像装置５０の台数は、上記移動範囲と各撮像装置５０の撮像範囲とに応じて適宜変更され得る。

【0054】

撮像装置５０は、撮像装置１０と同様のハードウェア構成を有する。撮像装置５０は、モーションセンサ１０４を含んでいなくてもよい。例えば、制御装置１０１のＲＯＭに格納されている障害物検出プログラムがＲＡＭ上にロードされてＣＰＵによって実行されることにより、制御装置１０１が障害物検出装置３０Ａとして機能する。言い換えると、障害物検出システム１Ａは、障害物検出装置３０Ａを更に備えており、障害物検出装置３０Ａは、各撮像装置５０に搭載されている。

【0055】

図８に示されるように、障害物検出装置３０Ａは、機能的な構成要素として、選択部３５、解析部４１及び出力部４２を更に含む点において、障害物検出装置３０と主に相違する。

【0056】

選択部３５は、障害物検出装置３０の機能（特定部３１、決定部３２、検出部３３及び出力部３４）と解析装置４０の機能（解析部４１及び出力部４２）とのうち、障害物検出装置３０Ａが実施する機能を選択する。例えば、可動部Ｍ２に認識用のマークが付されており、選択部３５は、当該選択部３５を含む撮像装置５０のカメラ１０３によって撮像された撮像画像に認識用のマークが含まれている場合に、障害物検出装置３０Ａが障害物検出装置３０の機能を実施すると判定し、撮像画像に認識用のマークが含まれていない場合に、障害物検出装置３０Ａが解析装置４０の機能を実施すると判定する。そして、選択部３５は、判定結果に基づき、障害物検出装置３０Ａが実施する機能を選択する。

【0057】

なお、複数台の撮像装置５０が認識用のマークを撮像することが考えられる。このため、選択部３５は、当該選択部３５を含む撮像装置５０のカメラ１０３によって撮像された撮像画像に認識用のマークが含まれているか否かを示す情報を、残りの障害物検出装置３０Ａに送信してもよい。そして、他のすべての障害物検出装置３０Ａから受信した情報が、マークが含まれていないことを示す場合に、選択部３５は、障害物検出装置３０Ａが障害物検出装置３０の機能を実施すると判定してもよい。

【0058】

他の障害物検出装置３０Ａから受信した情報が、マークが含まれていることを示す場合には、選択部３５は、他の障害物検出装置３０Ａからマークを含む撮像画像を取得し、マークの正面に最も近い位置から撮像した撮像装置５０の障害物検出装置３０Ａが障害物検出装置３０の機能を実施すると判定する。例えば、認識用のマークが二重丸である場合、撮像方向が正面から外れてしまうと、撮像画像に含まれるマークの形状が楕円になったり、撮像画像に含まれるマークの面積が小さくなったりする。したがって、撮像画像に含まれるマークのうち、マークの本来の形状に最も近いマークは、正面に最も近い位置から撮像されたと考えられる。よって、選択部３５は、予め登録されているマークの形状と、各撮像画像に含まれるマークとを比較し、類似度を算出する。選択部３５は、公知の手法により類似度を算出する。そして、選択部３５は、類似度が高い撮像画像を撮像した撮像装置５０の障害物検出装置３０Ａが障害物検出装置３０の機能を実施すると判定する。

【0059】

この構成により、複数の撮像装置５０の障害物検出装置３０Ａのうち、１つの障害物検出装置３０Ａが障害物検出装置３０の機能を実施し、残りの障害物検出装置３０Ａが解析装置４０の機能を実施する。したがって、特定部３１は、複数の撮像装置５０のうちの、可動部Ｍ２（のマーク）を撮像可能な撮像装置５０（第１撮像装置）によって撮像された撮像画像に基づいて移動方向Ｄを特定する。

【0060】

障害物検出システム１Ａ及び障害物検出装置３０Ａにおいても、障害物検出システム１及び障害物検出装置３０と共通の構成については、障害物検出システム１及び障害物検出装置３０と同様の効果が奏される。さらに、障害物検出システム１Ａ及び障害物検出装置３０Ａでは、移動方向Ｄを特定するために用いられる撮像画像は可動部Ｍ２を撮像することによって得られるので、撮像画像には可動部Ｍ２が含まれる。したがって、撮像画像から特徴点が抽出される可能性が高いので、可動部Ｍ２の移動方向Ｄをより確実に特定することができる。障害物検出システム１Ａ及び障害物検出装置３０Ａでは、可動部Ｍ２の移動方向Ｄを検出するために専用の撮像装置を設ける必要がないので、撮像装置の台数を低減することができる。

【0061】

なお、本開示に係る障害物検出装置及び障害物検出システムは上記実施形態に限定されない。

【0062】

例えば、撮像装置１０及び撮像装置２０は、ＧＮＳＳ（Global Navigation Satellite System）などを用いて位置情報を取得し、障害物検出装置３０に位置情報を登録してもよい。各撮像装置５０は、ＧＮＳＳなどを用いて位置情報を取得し、すべての障害物検出装置３０Ａに位置情報を登録してもよい。

【0063】

障害物検出装置３０は、撮像装置１０と別体でもよい。障害物検出装置３０Ａは、撮像装置５０と別体でもよい。

【0064】

決定部３２は、撮像装置１０によって撮像された撮像画像を用いて、可動部Ｍ２の現在の位置を特定してもよい。例えば、障害物検出システム１のセットアップにおいて、作業機械Ｍの可動部Ｍ２が可動部Ｍ２の移動範囲全体にわたって移動され、その間に撮像装置１０によって撮像された撮像画像が、作業機械Ｍの周囲の風景画像として位置情報とともに障害物検出装置３０に登録されてもよい。そして、決定部３２は、特定部３１から移動方向情報を受け取ると、撮像装置１０によって撮像された撮像画像を取得し、当該撮像画像を予め登録されている風景画像と照合することによって、可動部Ｍ２の現在の位置を特定してもよい。

【0065】

決定部３２は、可動部Ｍ２の移動速度に応じて定められた台数分、移動方向Ｄにおいて可動部Ｍ２の下流に位置する撮像装置２０の中から、可動部Ｍ２に近い順に対象撮像装置を決定してもよい。

【0066】

上記実施形態では、解析部４１は、撮像画像を常時解析しているが、障害物検出装置３０，３０Ａから取得要求を受信したことに応じて、撮像画像を解析してもよい。

【0067】

対象撮像装置の解析装置４０は、撮像画像の解析結果に代えて、撮像画像を障害物検出装置３０に送信してもよい。この場合、障害物検出装置３０の検出部３３が対象撮像装置から受信した撮像画像を解析する。同様に、対象撮像装置の障害物検出装置３０Ａは、撮像画像の解析結果に代えて撮像画像を、取得要求を送信した障害物検出装置３０Ａに送信してもよい。この場合、取得要求を送信した障害物検出装置３０Ａの検出部３３が対象撮像装置から受信した撮像画像を解析する。

【0068】

撮像装置５０は、車両又はドローンなどの移動体に搭載されてもよい。この場合、撮像装置５０は、移動体によって所望の位置に配置され、静止状態で撮像を行う。この構成によれば、撮像装置５０の配置の自由度を向上させることが可能となる。

【符号の説明】

【0069】

１，１Ａ 障害物検出システム
１０ 撮像装置（第１撮像装置）
２０ 撮像装置
３０，３０Ａ 障害物検出装置
３１ 特定部
３２ 決定部
３３ 検出部
３４ 出力部
３５ 選択部
５０ 撮像装置（第１撮像装置）
Ｍ 作業機械
Ｍ１ 本体部
Ｍ２ 可動部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】