特許 6796518 移動物体検知システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6796518

(24)【登録日】2020年11月18日

(45)【発行日】2020年12月9日

(54)【発明の名称】移動物体検知システム

(51)【国際特許分類】

   H04N 7/18 20060101AFI20201130BHJP

   B60R 1/00 20060101ALI20201130BHJP

   G06T 7/00 20170101ALI20201130BHJP

   G06T 7/20 20170101ALI20201130BHJP

【ＦＩ】

   H04N7/18 J

   B60R1/00 A

   G06T7/00 650B

   G06T7/20 100

【請求項の数】7

【全頁数】25

(21)【出願番号】特願2017-41374(P2017-41374)

(22)【出願日】2017年3月6日

(65)【公開番号】特開2018-148386(P2018-148386A)

(43)【公開日】2018年9月20日

【審査請求日】2019年8月7日

(73)【特許権者】

【識別番号】000005522

【氏名又は名称】日立建機株式会社

(74)【代理人】

【識別番号】110001829

【氏名又は名称】特許業務法人開知国際特許事務所

(72)【発明者】

【氏名】福田 善文

(72)【発明者】

【氏名】川股 幸博

(72)【発明者】

【氏名】杉本 和也

(72)【発明者】

【氏名】石井 啓範

(72)【発明者】

【氏名】辻村 舜

【審査官】 鈴木 隆夫

(56)【参考文献】

【文献】 国際公開第２０１６／１４００１６（ＷＯ，Ａ１）

【文献】 特開２０１２−２５７１０７（ＪＰ，Ａ）

【文献】 特開２００２−１７６６４１（ＪＰ，Ａ）

【文献】 特開２０１６−１１９５５９（ＪＰ，Ａ）

【文献】 特開２０１０−１８３１７０（ＪＰ，Ａ）

【文献】 特開２０１５−２１０６４９（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ７／１８

Ｂ６０Ｒ １／００

Ｇ０６Ｔ ７／００

Ｇ０６Ｔ ７／２０

(57)【特許請求の範囲】

【請求項1】

少なくとも１つのカメラと、
利用者に提示する結果出力となる合成映像を前記カメラの映像から合成する映像合成器と、
移動物体の検知処理を行い検知結果を出力する移動物体検知器と、
前記結果出力を利用者に提示する表示装置とを備える移動物体検知システムにおいて、
前記移動物体検知器が検知した前記移動物体の時間推移に伴って移動する方向を追跡し、過去に検知した移動物体と現在検知した移動物体が同一であるかどうかを判定すると共に、前記移動物体が初めて検知されたものである場合には、前記移動物体を識別する新たな識別子を生成する検知結果追跡部と、
前記検知結果追跡部が現在検知した移動物体と過去に検知した移動物体とが同一であると判定した場合に、現在検知した移動物体の検知位置が、前記カメラの取得映像上の過去の検知位置より遠方に位置しているか否かを判定する検知位置判定部と、
前記移動物体検知器が検知した前記移動物体の画像と、前記画像を取得したカメラの取得映像上の位置と、前記移動物体を識別するための識別子とを保持する検知情報データベースと、
前記検知位置判定部が現在検知した移動物体は過去の検知位置より遠方に位置していると判定した場合に、現在検知した移動物体の画像を前記検知情報データベースに記録し、現在検知した移動物体が過去の検知位置より遠方に位置していないと判定した場合には、前記検知情報データベースに既に記録している前記移動物体の画像を取得する更新演算部と、
前記更新演算部から取得した前記移動物体の画像を前記表示装置に表示するように前記映像合成器へ送出する検知画像取得部とを備え、
前記映像合成器は、前記移動物体の画像を前記少なくとも１つのカメラで取得した映像上に重畳表示する
ことを特徴とする移動物体検知システム。

【請求項2】

請求項１に記載の移動物体検知システムにおいて、
前記映像合成器は、前記少なくとも１つのカメラからの映像を上方視点となるように視点変換して俯瞰画像を合成し、前記移動物体の画像を前記俯瞰画像上に重畳表示することを特徴とする移動物体検知システム。

【請求項3】

請求項２に記載の移動物体検知システムにおいて、
前記移動物体検知システムが搭載された車両の進行方向を指示するシフトレバーと、
前記シフトレバーの状態を取得する車両状態抽出装置と、
前記移動物体検知器が検知した移動物体である検知結果が複数個存在する場合に、前記車両状態抽出装置からの前記シフトレバーの状態と前記検知画像取得部からの前記検知結果の位置を入力し、少なくとも前記シフトレバーによって自車両の進行方向が指示され、かつ、前記シフトレバーが指示する前記自車両の進行方向に検知結果が存在する場合は、その検知結果のうち前記自車両に最も近い位置に存在する検知結果を選択し、前記検知情報データベースに記録されている選択された検知結果に対応する前記移動物体の画像を取得する優先画像構築部と、
前記優先画像構築部から送出された前記選択された検知結果に対応する前記移動物体の画像を俯瞰画像の仮想視点を中心に俯瞰画像上における自車の形状および大きさを示す自車アイコン上に表示するように前記映像合成器へ送出する検知画像取得部とを備える
ことを特徴とする移動物体検知システム。

【請求項4】

請求項２に記載の移動物体検知システムにおいて、
前記移動物体検知器が検知した移動物体である検知結果が少なくとも１つ存在する場合に、前記検知情報データベースに記録されている前記検知結果に対応する前記移動物体の画像を取得して、前記表示装置における前記合成映像を表示する領域の外周である余剰領域に並べて表示するように映像を構築する並立画像構築部を備える
ことを特徴とする移動物体検知システム。

【請求項5】

請求項２に記載の移動物体検知システムにおいて、
前記移動物体検知器が検知した移動物体である検知結果が存在する位置に、前記検知結果に対応する現在の移動物体の画像に代えて、前記検知情報データベースに記録されている前記検知結果に対応する前記移動物体の画像を置換表示するように映像を構築する置換画像構築部を備える
ことを特徴とする移動物体検知システム。

【請求項6】

請求項２に記載の移動物体検知システムにおいて、
前記移動物体検知器が検知した移動物体である検知結果が存在する位置において、前記検知結果に対応する現在の移動物体の画像に、前記検知情報データベースに記録されている前記検知結果に対応する前記移動物体の画像を重畳表示するように映像を構築する置換画像構築部を備える
ことを特徴とする移動物体検知システム。

【請求項7】

請求項２に記載の移動物体検知システムにおいて、
前記検知情報データベースは、前記移動物体検知器が検知した移動物体である検知結果の過去の移動方向情報と現在の移動方向情報とを保持し、
前記検知情報データベースに記録されている前記検知結果の過去の移動方向情報と現在の移動方向情報とに基づいて、現在の前記移動物体の位置に回転させた過去の前記移動物体の画像を重ねて表示するように映像を構築する回転画像構築部を備える
ことを特徴とする移動物体検知システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は移動物体検知システムに関する。

【背景技術】

【0002】

車両の周辺領域を撮影する車載カメラによって取得された撮影画像を上方仮想視点で射影変換することで生成される俯瞰画像を表示画像として出力する画像生成装置において、認識された立体物と当該立体物の撮影画像である立体物画像の領域に合成される代替画像との同一視認性を高めるために、前記周辺領域に存在する立体物を認識して当該立体物の属性を示す立体物属性情報を出力する立体物認識部と、前記立体物属性情報に含まれている位置情報に基づいて前記撮影画像における前記立体物の画像領域である立体物画像領域を決定する立体物画像領域決定部と、前記立体物属性情報に含まれている種別情報と姿勢情報とに基づいて特定された立体物の特定された向き姿勢での代替画像を出力する代替画像出力部と、前記立体物画像領域の位置に前記代替画像出力部から出力された代替画像が合成された代替画像付き俯瞰画像を生成する画像合成部とを備えたものがある（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１２−２５７１０７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上述した画像生成装置によれば、撮影画像に撮影画像に含まれていた認識立体物は、当該立体物の種別とその向き姿勢が実質的に同一である代替画像の形となって、その俯瞰画像に含まれることになる。従って、運転者は、この代替画像付き俯瞰画像から車両周辺に位置する立体物を容易に認めることができる。

【0005】

ところで、鉱山向けのダンプトラックなど大型の作業車両に上述した従来技術を適用した場合には、以下の課題が生じる。
（１）大型の作業車両においては、車載カメラの設置位置が地上高４メートル程度となるので、遠方領域に存在する対象物はその側面が広く映されるのに対し、近傍領域に存在する対象物に関しては見下ろす形態となるため、上面が広く映される。このため、近傍領域に存在する対象物に対して代替画像が抽出できたとしても、対象物の上面しか見えないことから、対象物が車両の場合には車種の特定、対象物が人物の場合には個人の特定が困難となる。
（２）鉱山等の現場で作業する作業車両には、泥や油、埃が付着し、その外観を著しく変化させる場合がある。このことから、代替画像の抽出を誤る可能性が生じる。
（３）鉱山等の現場で作業する作業車両は、車種によってその外観の形態が動的に変化する場合がある。例えば、ドーザやホイールローダは、作業内容に基づいてフロントバケットの位置が変わる。このため、作業車両の車種を特定できたとしても、代替画像が示す作業車両の外観形状と、実際の車両の外観形状が異なってしまい、代替画像では実物との同一視認性を確保できない場合が生じる。

【0006】

これらの事柄により、利用者が対象物の確認と対処方法の判定を行うのに時間を要してしまい、作業効率が低下する可能性がある。

【0007】

本発明は上述の事柄に基づいてなされたものであって、その目的は、鉱山向けのダンプトラックなど大型の作業車両において、車両周辺に位置する移動物体の検知と検知した対象物の視認性を高めた移動物体検知システムを提供するものである。

【課題を解決するための手段】

【0008】

上記課題を解決するために、例えば特許請求の範囲に記載の構成を採用する。本願は、上記課題を解決する手段を複数含んでいるが、その一例を挙げるならば、少なくとも１つのカメラと、利用者に提示する結果出力となる合成映像を前記カメラの映像から合成する映像合成器と、移動物体の検知処理を行い検知結果を出力する移動物体検知器と、前記結果出力を利用者に提示する表示装置とを備える移動物体検知システムにおいて、前記移動物体検知器が検知した前記移動物体の時間推移に伴って移動する方向を追跡し、過去に検知した移動物体と現在検知した移動物体が同一であるかどうかを判定すると共に、前記移動物体が初めて検知されたものである場合には、前記移動物体を識別する新たな識別子を生成する検知結果追跡部と、前記検知結果追跡部が現在検知した移動物体と過去に検知した移動物体とが同一であると判定した場合に、現在検知した移動物体の検知位置が、前記カメラの取得映像上の過去の検知位置より遠方に位置しているか否かを判定する検知位置判定部と、前記移動物体検知器が検知した前記移動物体の画像と、前記画像を取得したカメラの取得映像上の位置と、前記移動物体を識別するための識別子とを保持する検知情報データベースと、前記検知位置判定部が現在検知した移動物体は過去の検知位置より遠方に位置していると判定した場合に、現在検知した移動物体の画像を前記検知情報データベースに記録し、現在検知した移動物体が過去の検知位置より遠方に位置していないと判定した場合には、前記検知情報データベースに既に記録している前記移動物体の画像を取得する更新演算部と、前記更新演算部から取得した前記移動物体の画像を前記表示装置に表示するように前記映像合成器へ送出する検知画像取得部とを備え、前記映像合成器は、前記移動物体の画像を前記少なくとも１つのカメラで取得した映像上に重畳表示することを特徴とする。

【発明の効果】

【0009】

本発明によれば、検知対象がより遠方に存在している状態において対象物の画像を取得して保持し、自車両の周囲の実際の映像を用いて検知結果を利用者に示すので、利用者が対象物の個体を識別しやすくなる。これにより、利用者は実施すべき操作を迅速に決定することができる。この結果、作業全体の運用効率を向上することができる。

【図面の簡単な説明】

【0010】

【図1】本発明の作業車両の移動物体検知システムの第１の実施の形態を備えたダンプトラックを示す側面図である。

【図2】本発明の作業車両の移動物体検知システムの第１の実施の形態におけるカメラの配置を説明する概念図である。

【図3】本発明の作業車両の移動物体検知システムの第１の実施の形態を構成するカメラが撮影した映像を示す概念図である。

【図4】本発明の作業車両の移動物体検知システムの第１の実施の形態の構成を示すブロック図である。

【図5】本発明の作業車両の移動物体検知システムの第１の実施の形態における処理内容を示すフローチャート図である。

【図6】本発明の作業車両の移動物体検知システムの第１の実施の形態における移動物体の検知の例を示す概念図である。

【図7】本発明の作業車両の移動物体検知システムの第１の実施の形態における検知情報データベースに保持される情報の一例を示す概念図である。

【図8】本発明の作業車両の移動物体検知システムの第１の実施の形態における移動物体検知の結果表示の一例を示す概念図である。

【図9】本発明の作業車両の移動物体検知システムの第１の実施の形態における移動物体検知の結果表示の他の例を示す概念図である。

【図10】本発明の作業車両の移動物体検知システムの第２の実施の形態の構成を示すブロック図である。

【図11】本発明の作業車両の移動物体検知システムの第２の実施の形態における移動物体検知の結果表示の一例を示す概念図である。

【図12】本発明の作業車両の移動物体検知システムの第２の実施の形態における合成映像の構築処理の詳細を示すフローチャート図である。

【図13】本発明の作業車両の移動物体検知システムの第３の実施の形態の構成を示すブロック図である。

【図14】本発明の作業車両の移動物体検知システムの第３の実施の形態における移動物体検知の結果表示の一例を示す概念図である。

【図15】本発明の作業車両の移動物体検知システムの第３の実施の形態における移動物体検知の結果表示の他の例を示す概念図である。

【図16】本発明の作業車両の移動物体検知システムの第４の実施の形態の構成を示すブロック図である。

【図17】本発明の作業車両の移動物体検知システムの第４の実施の形態における移動物体検知の結果表示の前の処理を説明する概念図である。

【図18】本発明の作業車両の移動物体検知システムの第４の実施の形態における移動物体検知の結果表示の一例を示す概念図である。

【図19】本発明の作業車両の移動物体検知システムの第４の実施の形態における移動物体検知の結果表示の他の例を示す概念図である。

【図20】本発明の作業車両の移動物体検知システムの第５の実施の形態の構成を示すブロック図である。

【図21】本発明の作業車両の移動物体検知システムの第５の実施の形態における検知情報データベースに保持される情報の一例を示す概念図である。

【図22】本発明の作業車両の移動物体検知システムの第５の実施の形態における移動物体検知の結果表示の前の処理の一例を説明する概念図である。

【図23】本発明の作業車両の移動物体検知システムの第５の実施の形態における移動物体検知の結果表示の一例を示す概念図である。

【図24】本発明の作業車両の移動物体検知システムの第５の実施の形態における移動物体検知の結果表示の前の処理の他の例を説明する概念図である。

【図25】本発明の作業車両の移動物体検知システムの第５の実施の形態における移動物体検知の結果表示の他の例を示す概念図である。

【図26】本発明の作業車両の移動物体検知システムの第５の実施の形態における移動物体検知の結果表示の更に他の例を示す概念図である。

【発明を実施するための形態】

【0011】

以下、鉱山等で採掘した砕石や鉱物等を運搬する大型の作業車両であるダンプトラックに適用した場合を例にとって本発明の実施の形態を図面を用いて説明する。なお、本発明の適用はダンプトラックに限定されるものではない。

【実施例1】

【0012】

図１は本発明の作業車両の移動物体検知システムの第１の実施の形態を備えたダンプトラックを示す側面図である。
図１に示すダンプトラック（自車両）１は、頑丈なフレーム構造で形成された車体２と、車体２上に起伏可能に搭載されたベッセル（荷台）３と、車体２に装着された左前輪４Ａ（Ｌ）及び左後輪４Ｂ（Ｌ）を主に備えている。

【0013】

車体２には、後輪４Ｂを駆動するエンジン（図示せず）が配設されている。エンジンは、例えば、エンジン制御装置（以下ＥＣＵという）を有し、ＥＣＵからの指令信号によって、供給される燃料流量が制御されることで、その回転数が制御されている。

【0014】

ベッセル３は、砕石物等の荷物を積載するために設けられた容器であり、ピン結合部５等を介して車体２に対して起伏可能に連結されている。ベッセル３の下部には、車両の幅方向に所定の間隔を介して２つの起伏シリンダ６が設置されている。起伏シリンダ６に圧油が供給・排出されると、起伏シリンダ６が伸長・縮短してベッセル３が起伏される。また、ベッセル３の前側上部には庇部７が設けられている。

【0015】

庇部７は、その下側（すなわち車体２の前部）に設置された運転室８を岩石等の飛散物から保護するとともに、車両転倒時等に運転室８を保護する機能を有している。運転室８の内部には、作業車両の移動物体検知システムを構成する制御装置の車体近傍移動物体検知装置１００（図４参照）と、操舵用のハンドル（図示せず）と、ダンプトラック（自車両）１の進行の可否とその進行方向を指示するためのシフトレバー１８と、アクセルペダル及びブレーキペダル等（図示せず）とが設置されている。シフトレバー１８（後の図１０参照）は少なくとも前後方向及びその中間位置に操作可能であり、シフトレバー１８の状態、すなわちダンプトラック１の進行方向に関する設定を電気的に検知するシフトレバー状態センサ１９（後の図１０参照）を含み、シフトレバー状態センサ１９が検出したシフトレバー１８の状態を車体近傍移動物体検知装置１００に出力する。

【0016】

図２は本発明の作業車両の移動物体検知システムの第１の実施の形態におけるカメラの配置を説明する概念図、図３は本発明の作業車両の移動物体検知システムの第１の実施の形態を構成するカメラが撮影した映像を示す概念図である。

【0017】

図２において、ダンプトラック１の車体２の前側面と後側面とには、ダンプトラック１の前方を広角で撮影する前方カメラ３０１と、ダンプトラック１の後方を広角で撮影する後方カメラ３０３とが設けられている。また、車体２の左側面と右側面とには、ダンプトラック１の左方向を広角で撮影する左方向カメラ３０２と、ダンプトラック１の右方向を広角で撮影する右方向カメラ３０４とが設けられている。これらのカメラ３０１〜３０４は、それぞれの地表面を主に撮影できるように、車体２の各面に俯角をつけて取付けられている。また、ダンプトラック１の車体２には、右前輪４Ａ（Ｒ）と右後輪４Ｂ（Ｒ）と左前輪４Ａ（Ｌ）と左後輪４Ｂ（Ｌ）とが装着されている。

【0018】

図３はこれらのカメラ３０１〜３０３が撮影した周囲映像の例を示す。４０１は前方カメラ３０１が撮影した前方映像の例を示す。４０２は左方向カメラ３０２が撮影した左方向映像の例を示す。４０３は後方カメラ３０３が撮影した後方映像の例を示す。４０４は右方向カメラ３０４が撮影した右方向映像の例を示す。

【0019】

周囲映像４０１〜４０４は、それぞれ広角で撮影されるため遠方、すなわち各映像の上部に映し出されている地平線が湾曲して見えている。また、近傍、すなわち各映像の下部に車体２の一部が映っている。例えば、前方映像４０１には、車体２のフロント部分の一部が、左方向映像４０２には、車体２の左サイド部分と左前輪４Ａ（Ｌ）及び左後輪４Ｂ（Ｌ）がそれぞれ映っている。右方向映像４０４には、車体２の右サイド部分と右前輪４Ａ（Ｒ）及び右後輪４Ｂ（Ｒ）が、後方映像４０３には、車体２のリア部分と左後輪４Ｂ（Ｌ）と右後輪４Ｂ（Ｒ）、並びに映像内の上部に自車両１のベッセル３の一部がそれぞれ映っている。

【0020】

なお、この例ではカメラに広角レンズを用いているため、ベッセル３の映っている箇所のような特に映像の辺縁部では歪みが大きくなっている。また、同一の車輪が複数のカメラに映る場合がある。前方映像４０１、左方向映像４０２、後方映像４０３、右方向映像４０４を合わせたものが本実施の形態における周囲映像である。

【0021】

図４は本発明の作業車両の移動物体検知システムの第１の実施の形態の構成を示すブロック図である。図４において、作業車両の移動物体検知システムの第１の実施の形態は、車体近傍移動物体検知装置１００と、カメラ１０１とを備えている。

【0022】

カメラ１０１は、１個または複数の撮像装置で構成されていて、自車周囲の様子を撮影し、撮影結果である周囲映像４０１〜４０４を車体近傍移動物体検知装置１００へ送信する。

【0023】

車体近傍移動物体検知装置１００は、映像合成器１０２と移動物体検知器１０３と検知位置判定部１０４と検知結果追跡部１０５と検知情報データベース１０６と検知画像取得部１０７と表示装置１０８と更新演算部１０９とを備えている。

【0024】

映像合成器１０２は、カメラ１０１が送信した周囲映像の中から必要な部分を切り出し、座標変換と合成を行なうのと同時に、入力した検知位置座標を基に移動物体の検知結果抽出映像を合成し、得られた合成映像を表示装置１０８に送出する。

【0025】

移動物体検知器１０３は、カメラ１０１の送出する周囲映像に関して検知処理を行い、移動物体が映像中に存在するか否かを検知し、移動物体を検知した場合は検知した位置を示す検知位置座標を周囲映像とともに検知位置判定部１０４と映像合成器１０２とへ送出する。

【0026】

検知位置判定部１０４は、移動物体検知器１０３が移動物体を検知した場合に、後述する検知結果追跡部１０５からの過去の移動物体と同一であるか否かの信号と移動物体検知器１０３から送出された現在の移動物体の検知位置座標から、過去の検知位置に比べてより遠方に位置しているか（周囲映像の中では、過去の検知位置より上方に位置しているか）どうかを判定し、その結果を検知結果追跡部１０５と更新演算部１０９へ送出する。

【0027】

検知結果追跡部１０５は、移動物体検知器１０３が検知した移動物体が、時間推移に伴って移動する方向を追跡し、ある時刻に検知した移動物体と、別の時刻に検知した移動物体とが同一であるかどうかを判定するとともに、同一の移動物体の場合には、同一の移動物体識別子を付与した判定結果を検知位置判定部１０４へ送出する。

【0028】

検知情報データベース１０６は、移動物体検知器１０３が送出する移動物体の検知位置と検知した移動物体の画像、及びこの移動物体に関して検知結果追跡部１０５が送出する移動物体識別子を保持し、必要に応じて保持した検知情報を更新演算部１０９へ送出する。

【0029】

更新演算部１０９は、検知位置判定部１０４において判定した結果及び検知結果追跡部１０５の出力する移動物体識別子（以降、単に識別子と記載する）を基に、検知した移動物体が過去の検知位置に比べてより遠方（上方）に位置している場合には、周囲映像の中から検知位置座標にもとづいて抽出した移動物体の画像を検知情報データベース１０６に識別子と対応づけて記録する。一方、検知した移動物体が過去の検知位置に比べてより遠方に位置していない場合は、現在の識別子と同じ識別子とともに検知情報データベース１０６内に保持している移動物体の画像を取得し、検知画像取得部１０７へ送出する。

【0030】

検知画像取得部１０７は、更新演算部１０９から取得した移動物体の画像を映像合成器１０２に送出する。

【0031】

表示装置１０８は、例えばディスプレイを備え、映像合成器１０２から入力した合成映像を利用者に対して出力する。

【0032】

なお、車体近傍移動物体検知装置１００において、表示装置１０８以外の構成要素である各演算部等はコントローラの一機能として構成されている。

【0033】

次に、本発明の作業車両の移動物体検知システムの第１の実施の形態における移動物体の検知と表示の処理内容について図５乃至図９を用いて説明する。図５は本発明の作業車両の移動物体検知システムの第１の実施の形態における処理内容を示すフローチャート図、図６は本発明の作業車両の移動物体検知システムの第１の実施の形態における移動物体の検知の例を示す概念図、図７は本発明の作業車両の移動物体検知システムの第１の実施の形態における検知情報データベースに保持される情報の一例を示す概念図、図８は本発明の作業車両の移動物体検知システムの第１の実施の形態における移動物体検知の結果表示の一例を示す概念図、図９は本発明の作業車両の移動物体検知システムの第１の実施の形態における移動物体検知の結果表示の他の例を示す概念図である。図５乃至図９において、図１乃至図４に示す符号と同符号のものは同一部分であるので、その詳細な説明は省略する。

【0034】

図５において、車体近傍移動物体検知装置１００は、周囲映像入力を行う（ステップＳ２０１）。具体的には、図４に示す映像合成器１０２と移動物体検知器１０３とはカメラ１０１で撮影した周囲映像４０１〜４０４を入力する。

【0035】

車体近傍移動物体検知装置１００は、移動物体検知処理を実行する（ステップＳ２０２）。具体的には図４に示す移動物体検知器１０３が移動物体検知処理を実行する。検知の対象とする映像は、カメラ１０１から入力する前方映像４０１、左方向映像４０２、後方映像４０３、右方向映像４０４である。

【0036】

検知処理の一例を図６を用いて説明する。図６は左方向映像４０２における移動物体の検知を示すものであって、上から順に、（ａ）ある特定時刻ｔ_０より前の時刻である時刻ｔ_０−１における映像、（ｂ）ある特定時刻ｔ_０における映像、（ｃ）移動物体の検知結果を示す映像、（ｄ）移動物体の検知結果の追跡映像を示している。

【0037】

ここで、図６（ａ）には、時刻ｔ_０−１における移動物体５０１が左方向映像４０２上に撮影されている様子が示され、図６（ｂ）には特定時刻ｔ_０における移動物体５０２が左方向映像４０２上に撮影されている様子が示されている。これらの移動物体５０１と５０２は車両であって同一のものであり、時間の推移に伴って移動している様子が左方向カメラ３０２によって撮影されている。図６（ａ）〜（ｄ）では、移動物体が自車体の側面より数メートル離れた位置に存在している様子を示している。

【0038】

図４に示す移動物体検知器１０３は、カメラ１０１から入力するこれらの映像を比較し、時間の推移に伴って映像に変化が発生した箇所を算出する。移動物体検知器１０３での算出により得られた、図６（ｃ）に示す検知結果５０３について、検知位置判定部１０４の処理により左方向映像４０２上での座標情報を取得する。なお、映像に変化が発生していない場合はこのような検知結果は得られない。

【0039】

図５に戻り、移動物体検知器１０３は、ステップＳ２０２における処理結果を判定する（ステップＳ２０３）。移動物体を検知した場合には、ステップＳ２０４へ進み、それ以外の場合には、ステップＳ２１２へ進む。

【0040】

車体近傍移動物体検知装置１００は、追跡状態の取得の処理を実行する（ステップＳ２０４）。具体的には以下の処理を行なう。
（１）図４に示す検知位置判定部１０４は、移動物体検知器１０３にて検知した移動物体が、カメラ１０１からの入力映像内で見かけ上存在している位置、すなわち図６（ｄ）に示す現在の検知結果５０３の位置から、過去の検知位置に比べてより遠方に位置しているか（周囲映像の中では、過去（例えば前回）の検知位置より上方に位置しているか）どうかを判定し、その結果を検知結果追跡部１０５へ送出する。
（２）検知結果追跡部１０５は、検知情報データベース１０６にて保持している検知結果の情報の中から、図６（ｄ）に示す前回の検知結果５０４の位置情報を取得し、これらの位置情報と上述の現在の検知位置とを比較して、現在と前回の検知結果の間の距離５０５が予め定めた設定値内にあるかどうかを判定する。距離５０５が設定値内にある場合に、前回の検知結果５０４と現在の検知結果５０３が同一の移動物体を指していると判定し、それ以外の場合は同一の物体を指していないと判定する。
（３）なお、ここで用いる過去の検知結果は前回の検知結果に限られるものではなく、例えば、現在から予め定めた時間だけ前の検知結果を用いるように構成しても良い。また、現在と前回の検知結果の間の距離５０５における設定値とは、例えば車両や人物といった移動物体が、最大速度で移動した場合に、現在と前回との演算間隔において、映像内で見かけ上移動する距離を用いて定めても良い。また、前回の検知結果５０４が複数存在する場合は、現在と前回の検知結果の間の距離５０５が最も小さいものを対象として、上述の処理を行う。

【0041】

図５に戻り、車体近傍移動物体検知装置１００の検知位置判定部１０４は、ステップＳ２０４における処理結果から現在の検知結果５０３が新規の検知か否かを判定する（ステップＳ２０５）。具体的には、ステップＳ２０４において、同一の移動物体と判定された前回の検知結果５０４が存在するか否かを確認し、前回の検知結果５０４が存在しない場合には、現在の検知結果５０３は新規の検知であると判定する。新規の検知である場合にはステップＳ２０６へ進み、それ以外の場合にはステップＳ２１０へ進む。

【0042】

車体近傍移動物体検知装置１００の検知結果追跡部１０５は、ステップＳ２０５で新規の検知と判定された場合に、判定された新規の検知情報に対して、他の検知結果の情報との区別を可能とするために新たな識別子を生成する（ステップＳ２０６）。識別子は、例えば整数の数値を用意しておき、新規の検知が発生するたびに１ずつ増加させた数値を割り当てる方法を用いても良い。識別子は、現在の検知結果５０３と連係させて検知情報データベース１０６に記録する。ここで、検知情報データベース１０６に記録する情報について図７を用いて説明する。

【0043】

図７において、６０１は１個の検知結果に関連する情報である検知結果情報を示す。検知結果情報６０１は、識別子６０２と検知結果映像６０３と映像記録位置６０４と検知結果の現在位置６０５とを備えている。

【0044】

識別子６０２は、上述したようにステップＳ２０６で生成される数値が保持されていて、その後、他の１個の検知結果に対して他の数値が付与される。他のいずれの検知結果における数値とも異なる。

【0045】

検知結果映像６０３は、識別子６０２によって識別する検知結果について、カメラ１０１からの入力映像の１こまが保持されている。

【0046】

映像記録位置６０４は、現在保持されている検知結果映像６０３を撮影した入力映像上の位置を示す値が保持されている。例えばカメラ入力映像の平面に対して水平方向の位置をｘで表し、垂直方法の位置をｙで表す場合、（ｘ，ｙ）の形式の値が保持される。

【0047】

検知結果の現在位置６０５は、識別子６０２で規定される検知結果が、現在、存在する入力映像内の位置を示す値が保持されている。位置の表示形式は、映像記録位置６０４における形式と同等である。本実施の形態において、後述するステップＳ２０７〜２０９においても検知結果情報６０１を用いて処理を行なう。

【0048】

図５に戻り、車体近傍移動物体検知装置１００は、検知映像の記録を行なう（ステップＳ２０７）。具体的には、更新演算部１０９が図６（ｃ）に示す現在の検知結果５０３の映像を、現在の検知結果５０３と連係した識別子６０２を持つ検知結果情報６０１内の検知結果映像６０３として登録し、登録した検知結果情報６０１を検知情報データベース１０６に記録する。

【0049】

車体近傍移動物体検知装置１００は、映像位置の更新を行なう（ステップＳ２０８）。具体的には、更新演算部１０９がステップＳ２０７にて登録した検知結果映像６０３の存在する位置を、映像記録位置６０４として登録し、登録した検知結果情報６０１を検知情報データベース１０６に記録する。ここでの位置とは入力映像内における位置を示している。

【0050】

車体近傍移動物体検知装置１００は、検知情報の記録を行なう（ステップＳ２０９）。具体的には、更新演算部１０９が現在の検知結果５０３の入力映像内で存在する位置を、検知結果の現在位置６０５として登録し、登録した検知結果情報６０１を検知情報データベース１０６に記録する。この後、ステップＳ２１２へ進む。

【0051】

ステップＳ２０５において、現在の検知結果５０３は新規の検知でないと判定した場合、車体近傍移動物体検知装置１００は、検知位置の算出を行なう（ステップＳ２１０）。具体的には、検知位置判定部１０４が図６（ｃ）に示す現在の検知結果５０３の入力映像内で存在する位置から現地位置を算出する。入力映像内で、現在の検知結果５０３の範囲を示す領域、図６（ｃ）に示す車両を囲む矩形の範囲の中心を検知結果の現在位置６０５として取得することができる。

【0052】

車体近傍移動物体検知装置１００は、現在の検知位置が過去の検知位置に比べて遠方に位置しているか否かを判定する（ステップＳ２１１）。具体的には、検知位置判定部１０４が検知結果情報６０１において、検知結果の現在位置６０５と、映像記録位置６０４とを比較する。映像記録位置６０４よりも、検知結果の現在位置６０５の方が、入力映像においてより上方に存在する、すなわち実際の周囲環境においてはより遠方に存在する場合は、検知結果情報６０１として現在の検知結果５０３に関する情報に置き換えるためにステップＳ２０７に進み、それ以外の場合は置き換えが不要であるためステップＳ２０９に進む。

【0053】

ステップＳ２０３において、移動物体を検知しなかった場合、またはステップＳ２０９の処理を実行した後、車体近傍移動物体検知装置１００は、合成映像の構築を行なう（ステップＳ２１２）。具体的には、映像合成器１０２が前方映像４０１、左方向映像４０２、後方映像４０３、右方向映像４０４の映像を変換して合成すると共に、検知情報データベース１０６に保持されている検知結果５０３の映像を検知画像取得部１０７から取得して合成し、自車両１とその周囲を俯瞰するような合成映像を構築する。このようにして構成した例を図８に示す。

【0054】

図８において、映像合成器１０２が変換した前方映像７０１は、図３に示す前方映像４０１を、前方映像４０１に映る地表面の鉛直上方から撮影したように（つまり、上方視点となるように）視点変換した映像であり、同様に、変換した左方向映像７０２は左方向映像４０２を、変換した後方映像７０３は後方映像４０３を、変換した右方向映像７０４は右方向映像４０４をそれぞれ変換した映像である。自車アイコン７０５は、視点変換した際に自車両１が存在する位置に描画する模式的な画像である。これらの上方視点に視点変換した画像を変換後の各視点を中心に合わせて、各視点を合わせた仮想視点を中心として構築した映像が、俯瞰合成映像７０６である。つまり、自車アイコン７０５は、俯瞰画像（俯瞰合成映像７０６）の仮想視点を中心に俯瞰画像上における自車の形状および大きさを示すものである。この俯瞰合成映像７０６は表示装置１０８の表示内容となる。

【0055】

また、左方向映像４０２の中で検知した現在の検知結果５０３が、視点変換に伴って、変換した左方向映像を７０２の中に表示されている。さらに、自車アイコン７０５の位置には、現在の検知結果５０３と連係した検知結果情報６０１の保持する検知結果映像６０３を表示し、現在の検知結果５０３と検知結果映像６０３とが同一の対象であることを示すために、双方を矢印で接続するように表示している。

【0056】

なお、図８のように検知結果映像６０３を表示する際に、検知結果情報６０１に保持している検知結果映像６０３の大きさと表示先の領域の大きさとが異なる場合には、検知結果映像６０３の大きさを、表示先の領域の大きさに合わせて拡大または縮小してから表示する。なお、後述する実施例においても、検知結果映像６０３を表示する際は、このような拡大または縮小を実行するものとする。

【0057】

ところで、現在の検知結果５０３に示される車両が、自車両１に接近して移動する場合の検知結果の表示の例を図９に示す。自車両１に取り付けた前方カメラ３０１、左方向カメラ３０２、後方カメラ３０３、右方向カメラ３０４は、周囲を移動する車両などの検知対象に比べて高い位置に存在するため、これらのカメラから撮影した映像内では、検知対象が遠方に存在する場合は検知対象の側面がより多く撮影され、近傍に存在する場合は上面がより多く撮影される。このため、図９の自車両１に接近した検知結果８０１については、検知対象となっている車両の上面が主に撮影されている。ここで遠方とは、例えばカメラ１０１を地表面から高さ４メートルの位置に設けた状態で、カメラ１０１から鉛直下向きに引いた線が地表面と交わる地点から水平方向に４メートル以上離れている領域を指す。

【0058】

ここで、カメラ１０１から鉛直下向きに引いた線が地表面と交わる地点から４メートル離れている地点は、カメラ１０１の位置から斜め下４５度の位置関係となる。検知対象となる車両は主に直方体で構築されていることから、斜め下４５度の位置関係にある検知対象を撮影すると、検知対象の上面及び側面のいずれも、視線に対して直行する角度から４５度だけ回転した状態となり、実際の上面と側面が同じ面積であれば、カメラ１０１で撮影した見かけ上の上面と側面が同等の面積になる。したがって、この地点を境に検知対象となる車両がカメラ１０１から離隔するにつれて見かけ上の側面の面積がより広くなる。このように、検知対象となる車両の見かけ上の側面の面積がより広くなる領域を遠方と定義している。

【0059】

なお、カメラ１０１と検知対象との距離が大きくなると、カメラ取得映像内での検知対象が見かけ上小さくなり、撮影する検知対象の解像度が低くなって画質が低下し、利用者による判別を困難にさせる可能性がある。このため、処理の対象とする距離の範囲を定めるものする。例えば、カメラ１０１から鉛直下向きに引いた線が地表面と交わる地点よりの相対値で０メートルから１０メートルといった上限値及び下限値を設けて、その領域内における検知対象に対して処理を行なうようにしても良い。

【0060】

図９における検知結果映像６０３は、図８における検知結果映像６０３と同じ映像が使用されている。図８の現在の検知結果５０３に示される車両が、自車両１に接近して移動した場合、図５に示すステップＳ２１１において、現在の検知位置が過去の検知位置に比べて遠方に位置していないので、処理はステップＳ２０９へ進む。このことにより、前回の処理のステップＳ２０７において記録した検知結果映像６０３は更新されずに残るためである。

【0061】

検知結果映像６０３に対してこのような処理を行なうのは、以下の理由による。
（１）車両の上面を撮影した状態では、映像内で見えているのは、屋根やボンネットが主体となっている。これに比べて、車両の側面を撮影した状態では、映像内で見えているのは、車両のフロントグリルやサイドドア、車輪等が主体であり、車両の種類の判別がしやすい。
（２）検知結果が人物の場合には、上面を撮影した状態では、作業用のヘルメットの上部が見える程度であるのに比べて、側面を撮影した状態では、ヘルメットの他に顔、服装、靴などが見えるため、人物の作業役割や個人の特定などが行いやすい。
（３）図９において、接近した検知結果８０１では車両の上面のみが表示されているが、検知結果映像６０３では側面が表示されていることから、検知対象がどのようなものであるかの理解を促進させることが可能になる。

【0062】

なお、図８や図９において、現在の検知結果５０３と同様に、異なる検知結果が複数存在する場合は、自車アイコン７０５上で他の検知結果が描かれていない位置（すなわち描画可能な位置）に、検知結果映像を複数個、描画することが可能である。

【0063】

図５に戻り、車体近傍移動物体検知装置１００は、合成映像の出力を行なう（ステップＳ２１３）。具体的には、映像合成器１０２がステップＳ２１２において構築した俯瞰合成映像７０６を、表示装置１０８に出力する。

【0064】

車体近傍移動物体検知装置１００は、移動物体検知の処理が終了したかどうかを判定する（ステップＳ２１４）。利用者のシステム操作等により終了と判定した場合は処理を終了し、それ以外の場合は処理をステップＳ２０１に戻る。

【0065】

以上の処理により、検知結果映像６０３を自車アイコン７０５の位置で確認できるため、利用者が、接近した検知結果８０１に対してどのような対応をとれば良いかを迅速に判断でき、作業効率を向上させることが可能となる。

【0066】

上述した本発明の作業車両の移動物体検知システムの第１の実施の形態によれば、検知対象がより遠方に存在している状態において対象物の画像を取得し保持し、自車両の周囲の実際の映像を用いて検知結果を利用者に示すので、利用者が対象物の個体を識別しやすくなる。これにより、利用者は実施すべき操作を迅速に決定することができる。この結果、作業全体の運用効率を向上することができる。

【0067】

なお、本実施の形態においては、カメラ１０１として４台のカメラを使用し映像を取得した場合を例に説明しているが、台数に関してはこれより多い場合と少ない場合いずれにおいても本発明による手法は適用可能である。

【実施例2】

【0068】

以下、本発明の作業車両の移動物体検知システムの第２の実施の形態を図面を用いて説明する。図１０は本発明の作業車両の移動物体検知システムの第２の実施の形態の構成を示すブロック図、図１１は本発明の作業車両の移動物体検知システムの第２の実施の形態における移動物体検知の結果表示の一例を示す概念図、図１２は本発明の作業車両の移動物体検知システムの第２の実施の形態における合成映像の構築処理の詳細を示すフローチャート図である。図１０乃至図１２において、図１乃至図９に示す符号と同符号のものは同一部分であるので、その詳細な説明は省略する。

【0069】

本実施の形態における作業車両の移動物体検知システムは、その構成及び運用方法は第１の実施の形態と大略同様である。第２の実施の形態においては、検知結果が複数個存在する場合に、表示手法を選定する処理を行なう点が第１の実施の形態と異なる。

【0070】

本実施の形態における車体近傍移動物体検知装置１００の構成は、図１０に示すように、車両状態抽出装置２００１と、優先画像構築部２００２と、シフトレバー１８とが追加されている点が第１の実施の形態と異なる。車両状態抽出装置２００１は、自車両１の進行方向を指示するシフトレバー１８の状態をシフトレバー状態センサ１９によって取得し、このシフトレバー１８の状態信号を優先画像構築部２００２に出力する。優先画像構築部２００２は、車両状態抽出装置２００１からの自車両１のシフトレバーの状態信号と検知画像取得部１０７を介して得られる検知結果の位置を入力し、これらの信号から自車両１の進行方向、または近傍に存在する検知結果の状態を優先して表示する指令を検知画像取得部１０７へ出力する。

【0071】

本実施の形態においては、図１１に示すように、自車両１の周囲に３台の車両（以降、第１〜第３の車両と称する）が移動していてそれぞれが検知されている場合を例に説明する。すなわち、俯瞰合成映像７０６上に、第１の車両の検知結果９０１、第２の車両の検知結果９０２、及び第３の車両の検知結果９０３が存在する。ここで、各検知結果に関する検知結果情報６０１を識別しやすくするため、第１の車両の検知結果９０１における情報を、第１の検知結果情報６０１（９０１）とし、内包する識別子６０２や検知結果現在位置６０５に関しては、第１の識別子６０２（９０１）および第１の検知結果現在位置６０５（９０１）と表記する。同様に、第２の車両の検知結果９０２における情報を第２の検知結果情報６０１（９０２）と、第３の車両の検知結果９０３における情報を第３の検知結果情報６０１（９０３）と表記する。

【0072】

次に、本実施の形態における合成映像の構築処理の詳細内容を、図１２を用いて説明する。本実施の形態における処理の流れは、図５に類似するが、ステップＳ２１２の処理内容を更に詳しく説明するものである。

【0073】

車体近傍移動物体検知装置１００は、図５のステップＳ２０３またはステップＳ２０９から処理が移った場合、まず、合成映像の部分構築を行なう（ステップＳ１００１）。具体的には、映像合成器１０２は、検知結果映像６０３以外の部分を対象として、上述したステップＳ２１２と同様の処理にて合成映像の構築を行う。検知結果映像６０３の処理に関しては次のステップ以降で行う。

【0074】

優先画像構築部２００２は、俯瞰合成映像７０６の中に検知結果が存在するか否かを判定する（ステップＳ１００２）。検知結果が複数存在する場合、以降の処理を検知した複数の検知結果のそれぞれについて繰り返して実行するようにループ処理を行うため、ここでは一度ループ処理した（つまり、後述のステップＳ１００３〜Ｓ１００５の一連の処理を一度行った）検知結果は次回以降のループ処理の対象外とし、一度もループ処理されていない残りの検知結果が存在するか否かを判定する。ステップＳ１００２において、一度もループ処理されていない検知結果が存在する場合はステップＳ１００３へ進み、それ以外の場合はステップＳ１００６へ進む。

【0075】

車体近傍移動物体検知装置１００は、ステップＳ１００２で存在すると判定された検知結果のうちの１個の検知結果と自車両１との位置関係を判定するために自車両１の進行方向で検知したか否かを判定する（ステップＳ１００３）。具体的には、優先画像構築部２００２が車両状態抽出装置２００１によって自車両１のシフトレバー１８の状態を取得し、シフトレバー１８がフォワードに設定されていて、かつ検知結果が、俯瞰合成映像７０６において自車アイコン７０５の幅に当たる部分を前方に延長した範囲（自車両１の進行方向）に存在するか否か、又は、シフトレバー１８がリバースに設定されていて、かつ検知結果が、俯瞰合成映像７０６において、自車アイコン７０５の幅に当たる部分を後方に延長した範囲（自車両１の進行方向）に存在するか否かを判定する。検知結果が自車両１の進行方向に存在する場合は、ステップＳ１００４へ進み、それ以外の場合、すなわち、検知結果が自車両１の進行方向（すなわち、シフトレバー１８の設定方向）に存在しない場合、又は、シフトレバー１８がニュートラルに設定されていて自車両１の前後方向への移動が行われない場合は、ステップＳ１００２に戻る。

【0076】

優先画像構築部２００２は、ステップＳ１００３で自車両１の進行方向に存在すると検知された検知結果がそれ以前のループ処理で自車両１に最も近い位置にあると判定された他の検知結果よりも自車両１に近い位置（つまり、自車両１の最も近い位置）にあるか否かを判定する（ステップＳ１００４）。図１１に示すように、複数の検知結果情報６０１（図１１の例では、第１の検知結果情報６０１（９０１）、第２の検知結果情報６０１（９０２）、第３の検知結果情報６０１（９０３））が存在する場合、それぞれが保持する識別子６０２は互いに異なっている。優先画像構築部２００２は、このような複数の検知結果情報６０１が保持している検知結果現在位置６０５（図１１の例では、第１の検知結果現在位置６０５（９０１）、第２の検知結果現在位置６０５（９０２）、第３の検知結果現在位置６０５（９０３））をそれぞれ取得し、ステップＳ１００４で判定対象としている１個の検知結果情報６０１が保持する検知結果現在位置６０５と、それ以前のループ処理のステップＳ１００４で自車両１に最も近い位置にあると判定された他の検知結果の検知結果情報６０１が保持する検知結果現在位置６０５とを比較して、対象としている検知結果が他の検知結果よりも近い位置にあるかどうかを判定することにより、対象としている検知結果が自車両１の最も近い位置にあるか否かを判定する。対象としている１個の検知結果の検知結果情報６０１が保持する検知結果現在位置６０５が、それ以前のループ処理のステップＳ１００４で自車両１に最も近い位置にあると判定された他のどの検知結果の検知結果情報６０１が保持する検知結果現在位置６０５よりも自車両１に近い値を示している場合は、ステップＳ１００５へ進み、それ以外の場合は、ステップＳ１００２に戻る。なお、判定の対象としている１個の検知結果がステップＳ１００４の判定対象となる前に自車両１に最も近い位置にあると判定された他の検知結果が無い場合は、必然的に今回のループ処理における判定対象の検知結果が自車両１に最も近い位置にあると判定される。

【0077】

優先画像構築部２００２は、ステップＳ１００４で自車両１に最も近い位置にあると判定された検知結果について、検知結果の映像の更新を行なう（ステップＳ１００５）。つまり、ステップＳ１００５では、自車アイコン７０５上に表示する検知結果映像６０３を、ステップＳ１００４までで判定した結果にもとづいて設定する。図１１の例において、シフトレバー１８がフォワードに設定されているとすると、第１の車両の検知結果９０１は自車両１の進行方向にはない。また、第２の車両の検知結果９０２と第３の車両の検知結果９０３は自車両１の進行方向にあって、かつ第２の車両の検知結果９０２の方が自車両１に近い。このことから、第２の車両の検知結果９０２に対応する第２の車両の検知結果映像９０４を、自車アイコン７０５上に表示する検知結果映像６０３（９０２）として設定する。

【0078】

ステップＳ１００５の処理を実行後、ステップＳ１００２へ進む。ステップＳ１００２において、俯瞰合成映像７０６の中に未処理の検知結果が存在しなくなった場合、ステップＳ１００６へ進む。

【0079】

車体近傍移動物体検知装置１００の映像合成器１０２は、ステップＳ１００５で更新された検知結果映像に基づいて検知結果の画像を描画する（ステップＳ１００６）。映像合成器１０２は優先画像構築部２００２による処理の結果を検知画像取得部１０７を介して取得して、合成映像の全体を表示装置１０８に描画する。

【0080】

なお、上述したステップＳ１００２〜Ｓ１００５の処理において、検知結果が１個以上存在するにもかかわらず自車アイコン７０５上に表示する検知結果映像６０３が設定されなかった場合（すなわち、ステップＳ１００５の処理を行う検知結果が無い場合）は、存在する検知結果の中で最も自車両１に近いものの検知結果情報６０１が保持する検知結果映像６０３を使用する。例えば、図１１において、第２の車両の検知結果９０２及び第３の車両の検知結果９０３が存在せず第１の車両の検知結果９０１のみが存在する場合は、これまでの処理の中では検知結果映像の更新（ステップＳ１００５）が行われない。この場合には、存在する検知結果の中で最も自車両１に近い検知結果として第１の車両の検知結果９０１の保持する検知結果映像６０３（９０１）を自車アイコン７０５上に表示する。この後、処理をステップＳ２１３に移す。

【0081】

上述した処理を行なうことで、複数の検知結果が存在する場合に、自車両１の進行方向、または自車両１の近傍に存在する検知結果の状態を優先して表示することが可能になる。これにより、自車両１が移動を開始する際、周囲に存在する検知対象の中で、最も注意すべき範囲、すなわち自車両１の移動方向である前後方向、または自車両１の近傍に存在する検知対象の状況をより明確に把握することが可能になる。

【0082】

上述した本発明の作業車両の移動物体検知システムの第２の実施の形態によれば、上述した第１の実施の形態と同様の効果を得ることができる。

【0083】

また、上述した本発明の作業車両の移動物体検知システムの第２の実施の形態によれば、複数の検知結果が存在する場合に、自車両の前後方向、または自車両の近傍に存在する検知結果の状態を優先して表示することが可能になる。これにより、利用者は実施すべき操作を迅速に決定することができる。この結果、作業全体の運用効率を向上することができる。

【実施例3】

【0084】

以下、本発明の作業車両の移動物体検知システムの第３の実施の形態を図面を用いて説明する。図１３は本発明の作業車両の移動物体検知システムの第３の実施の形態の構成を示すブロック図、図１４は本発明の作業車両の移動物体検知システムの第３の実施の形態における移動物体検知の結果表示の一例を示す概念図、図１５は本発明の作業車両の移動物体検知システムの第３の実施の形態における移動物体検知の結果表示の他の例を示す概念図である。図１３乃至図１５において、図１乃至図１２に示す符号と同符号のものは同一部分であるので、その詳細な説明は省略する。

【0085】

本実施の形態における作業車両の移動物体検知システムは、その構成及び運用方法は第１の実施の形態と大略同様である。第３の実施の形態においては、複数存在する検知結果の検知結果映像６０３を同時に表示する処理を行なう点が第１の実施の形態と異なる。

【0086】

本実施の形態における車体近傍移動物体検知装置１００の構成は、図１３に示すように、並立画像構築部２１０１が追加されている点が第１の実施の形態と異なる。並立画像構築部２１０１は、検知画像取得部１０７からの検知結果の位置を入力し、複数の検知結果に対応する検知結果映像を表示装置の余剰領域に表示する指令を検知画像取得部１０７へ出力する。

【0087】

次に、本実施の形態における並立画像構築部２１０１の処理内容を、図１４を用いて説明する。第１の車両の検知結果９０１に対応する第１の検知結果映像１１０１と、第２の車両の検知結果９０２に対応する第２の検知結果映像１１０２、並びに第３の車両の検知結果９０３に対応する第３の検知結果映像１１０３を、表示装置１０８の俯瞰合成映像７０６を表示する領域の外周である余剰領域１１０４に表示する。

【0088】

各検知結果と対応する検知結果映像は矢印で接続されている。余剰領域１１０４内における、第１の検知結果映像１１０１、第２の検知結果映像１１０２、第３の検知結果映像１１０３の表示位置は、各矢印の距離を可能な限り短くするという条件で、かつ、各映像が余剰領域１１０４内で重ならないようにするという条件で配置されている。このことにより、自車両１の周囲に存在する複数の検知対象の検知結果映像６０３を同時に表示させることができる。この結果、自車両１の周囲に存在する複数の検知対象の特徴を同時に確認することができ、利用者がどのように対応すべきか迅速に判断することが可能となる。

【0089】

本実施の形態におけるこの処理は、図６に示した左方向映像４０２のような、１個のカメラが撮影する映像に対しても適用可能である。図１５を用いて説明する。図１５に示すように、自車両１の左側面近くに近傍移動車両１２０１が存在する場合、近傍移動車両の検知結果映像１２０２を左方向映像４０２の上部に表示し、近傍移動車両１２０１と近傍移動車両の検知結果映像１２０２とを矢印で接続表示する。自車両１に取り付けられたカメラは広角で撮影しているため、映像の上部には、空または遠方の地表面が映っている。このため、上部に近傍移動車両の検知結果映像１２０２を表示しても、自車両１の近傍を監視する上で妨げとはならない。この結果、俯瞰合成映像７０６以外の映像を表示している場合でも、利用者がどのように対応すべきか迅速に判断することが可能になる。

【0090】

上述した本発明の作業車両の移動物体検知システムの第３の実施の形態によれば、上述した第１の実施の形態と同様の効果を得ることができる。

【0091】

また、上述した本発明の作業車両の移動物体検知システムの第３の実施の形態によれば、自車両の周囲に存在する複数の検知対象の検知結果映像を同時に表示させることができるので、複数の検知対象の特徴を同時に確認することができ、利用者がどのように対応すべきか迅速に判断することが可能となる。

【実施例4】

【0092】

以下、本発明の作業車両の移動物体検知システムの第４の実施の形態を図面を用いて説明する。図１６は本発明の作業車両の移動物体検知システムの第４の実施の形態の構成を示すブロック図、図１７は本発明の作業車両の移動物体検知システムの第４の実施の形態における移動物体検知の結果表示の前の処理を説明する概念図、図１８は本発明の作業車両の移動物体検知システムの第４の実施の形態における移動物体検知の結果表示の一例を示す概念図、図１９は本発明の作業車両の移動物体検知システムの第４の実施の形態における移動物体検知の結果表示の他の例を示す概念図である。図１６乃至図１９において、図１乃至図１５に示す符号と同符号のものは同一部分であるので、その詳細な説明は省略する。

【0093】

本実施の形態における作業車両の移動物体検知システムは、その構成及び運用方法は第１の実施の形態と大略同様である。第４の実施の形態においては、複数存在する検知結果の検知結果映像６０３を検知結果に重ねて表示する処理を行なう点が第１の実施の形態と異なる。

【0094】

本実施の形態における車体近傍移動物体検知装置１００の構成は、図１６に示すように、置換画像構築部２２０１が追加されている点が第１の実施の形態と異なる。置換画像構築部２２０１は、検知画像取得部１０７からの検知結果の位置を入力し、複数の検知結果の位置に対応する検知結果映像６０３を表示する指令を検知画像取得部１０７へ出力する。

【0095】

次に、本実施の形態における置換画像構築部２２０１の処理内容を、図１７、１８を用いて説明する。図１７に示す置換画像構築部２２０１の処理前の俯瞰合成映像７０６内には、第１の車両の検知結果９０１、第２の車両の検知結果９０２、及び第３の車両の検知結果９０３が存在する。そして、各検知結果に対応して、第１の検知結果映像１１０１、第２の検知結果映像１１０２、及び第３の検知結果映像１１０３が、各検知結果の検知結果情報６０１に保持されている。

【0096】

置換画像構築部２２０１は、図１８に示すように、それぞれの検知結果情報６０１に保持されている検知結果現在位置６０５に対して、それぞれ対応する検知結果映像６０３を描画する。つまり、第１の車両の検知結果９０１、第２の車両の検知結果９０２、及び第３の車両の検知結果９０３が存在する位置に、第１の車両の検知結果９０１、第２の車両の検知結果９０２、及び第３の車両の検知結果９０３に代えて、第１の検知結果映像１１０１、第２の検知結果映像１１０２、及び第３の検知結果映像１１０３をそれぞれ置換表示している。このことにより、検知対象を検知した位置に、検知結果映像６０３が置換表示されている。この結果、どのような種別の検知対象がどの位置に存在しているかを容易に確認することができ、利用者がどのように対応すべきか迅速に判断することが可能となる。

【0097】

本実施の形態におけるこの処理は、図６に示した左方向映像４０２のような、１個のカメラが撮影する映像に対しても適用可能である。図１９を用いて説明する。図１９の上側の図に示すように、自車両１の左側面近くに近傍移動車両１２０１が存在する場合、図１９の下側の図に示すように近傍移動車両の検知結果映像１２０２を、近傍移動車両１２０１の存在する位置に表示する処理がなされる。そして、表示装置１０８にはこの下側の図を出力する。このような処理を行なうことで、表示装置１０８が俯瞰合成映像７０６以外の映像を表示している場合でも、利用者がどのように対応すべきか迅速に判断することが可能となる。なお、本実施の形態では検知対象を検知した位置に検知結果映像を置換表示する場合を例示したが、これに限られず、例えば、検知対象を検知した位置において、検知結果上に検知結果画像を重畳表示するように構成してもよい。

【0098】

上述した本発明の作業車両の移動物体検知システムの第４の実施の形態によれば、上述した第１の実施の形態と同様の効果を得ることができる。

【0099】

また、上述した本発明の作業車両の移動物体検知システムの第４の実施の形態によれば、検知対象を検知した位置に、検知結果映像が表示されるので、どのような種別の検知対象がどの位置に存在しているかを容易に確認することができ、利用者がどのように対応すべきか迅速に判断することが可能となる。

【実施例5】

【0100】

以下、本発明の作業車両の移動物体検知システムの第５の実施の形態を図面を用いて説明する。図２０は本発明の作業車両の移動物体検知システムの第５の実施の形態の構成を示すブロック図、図２１は本発明の作業車両の移動物体検知システムの第５の実施の形態における検知情報データベースに保持される情報の一例を示す概念図、図２２は本発明の作業車両の移動物体検知システムの第５の実施の形態における移動物体検知の結果表示の前の処理の一例を説明する概念図、図２３は本発明の作業車両の移動物体検知システムの第５の実施の形態における移動物体検知の結果表示の一例を示す概念図、図２４は本発明の作業車両の移動物体検知システムの第５の実施の形態における移動物体検知の結果表示の前の処理の他の例を説明する概念図、図２５は本発明の作業車両の移動物体検知システムの第５の実施の形態における移動物体検知の結果表示の他の例を示す概念図、図２６は本発明の作業車両の移動物体検知システムの第５の実施の形態における移動物体検知の結果表示の更に他の例を示す概念図である。図２０乃至図２６において、図１乃至図１９に示す符号と同符号のものは同一部分であるので、その詳細な説明は省略する。

【0101】

本実施の形態における作業車両の移動物体検知システムは、その構成及び運用方法は第１の実施の形態と大略同様である。第５の実施の形態においては、検知結果映像６０３を表示する際の角度を算出する処理を行う点が第１の実施の形態と異なる。

【0102】

本実施の形態における車体近傍移動物体検知装置１００の構成は、図２０に示すように、回転画像構築部２３０１が追加されている点が第１の実施の形態と異なる。回転画像構築部２３０１は、検知画像取得部１０７からの検知結果の位置を入力し、複数の検知結果の位置に対応する検知結果映像６０３を表示する際の角度を算出して指令を検知画像取得部１０７へ出力する。

【0103】

次に、本実施の形態における回転画像構築部２３０１の処理内容を、図２１乃至図２３を用いて説明する。図２１は本実施の形態における検知情報データベース１０６が保持する検知結果情報６０１を示す。図７に示した第１の実施の形態における検知結果情報６０１の項目の他に記録時の移動方向１６０１と現在の移動方向１６０２を追加して保持する。

【0104】

記録時の移動方向１６０１とは、検知結果映像６０３を記録した際に、検知結果が移動している方向を示すものである。また現在の移動方向１６０２とは、検知結果現在位置６０５において、検知結果が移動している方向を示すものである。移動方向に関しては、現在の検知結果５０３が存在している位置と、前回の検知結果５０４が存在している位置の差から求めた方向ベクトルによって算出する。

【0105】

次に、この検知結果情報６０１を用いた回転画像構築部２３０１の処理について説明する。図２２は、検知対象を俯瞰合成映像７０６に表示している。ここでは、移動する車両が第１の検知位置１７０１に存在している時点で検知結果映像６０３を作成したものとする。その後、車両は自車両１の前方を左から右へ移動しながら右旋回し、自車両１へ車両の先頭を向けて、現在は第２の検知位置１７０２に到達している。

【0106】

この場合、この車両の記録時の移動方向１６０１は、自車両１から見て前方の左から右への方向であり、現在の移動方向１６０２は、自車両１から見て前方から接近する方向である。記録時の移動方向１６０１から現在の移動方向１６０２への変化は、図２２の破線に示すものであり、時計回りに９０度の回転となる。

【0107】

これらの情報を基に、表示装置１０８に移動物体検知の結果表示として表示する内容を図２３に示す。現在車両が存在している第２の検知位置１７０２において、検知結果映像６０３を、時計回りに９０度回転させ描画している。このことにより、検知対象の側面を表示させると共に、検知対象が現在移動している方向と、検知結果映像６０３の方向とを合致させて表示する。この結果、表示装置１０８に表示されている内容から、検知対象がどの方向へ移動しているかを容易に把握できるので、利用者がどのように対応すべきか迅速に判断することが可能となる。

【0108】

上述した例は、第１の検知位置１７０１及び第２の検知位置１７０２が同一のカメラ１０１によって撮影した映像内に存在している状態における処理に関して説明している。第１の検知位置１７０１及び第２の検知位置１７０２が異なるカメラ１０１によって撮影された映像内に存在している場合について、図２４と図２５を用いて説明する。

【0109】

図２４に示す状態では、第１の検知位置１７０１は、変換した前方映像７０１内に存在し、第２の検知位置１７０２はこれとは異なり、変換した右方向映像７０４内に存在している。この場合、第１の検知位置１７０１が存在するカメラ１０１、すなわち前方カメラ３０１と、第２の検知位置１７０２が存在するカメラ１０１、すなわち右方向カメラ３０４が、水平方向になす角度θを、検知結果映像６０３を描画する際の方向に加算する処理を行う。

【0110】

この実施の形態においては、角度θは９０度である。これらの情報を基に、表示装置１０８に移動物体検知の結果表示として表示する内容を図２５に示す。現在車両が存在している第２の検知位置１７０２において、検知結果映像６０３を、時計回りに９０度回転させ描画している。

【0111】

本実施の形態におけるこの処理は、図６に示した前方映像４０１のような、１個のカメラが撮影する映像に対しても適用可能である。図２６を用いて説明する。ここで、上述した図２２と図２３と同様な位置関係にて第１の検知位置１７０１と第２の検知位置１７０２が存在して、それぞれの移動方向が記録時の移動方向１６０１及び現在の移動方向１６０２と同等であるとする。

【0112】

この関係は、図２６の上側の図に示される。回転画像構築部２３０１が上述と同じ処理を実行することで、表示装置１０８に移動物体検知の結果表示として表示する内容を図２６の下側の図に示す。このような処理を行なうことで、表示装置１０８が俯瞰合成映像７０６以外の映像を表示している場合でも、利用者がどのように対応すべきか迅速に判断することが可能となる。

【0113】

上述した本発明の作業車両の移動物体検知システムの第５の実施の形態によれば、上述した第１の実施の形態と同様の効果を得ることができる。

【0114】

また、上述した本発明の作業車両の移動物体検知システムの第５の実施の形態によれば、検知対象の側面を表示させると共に、検知対象が現在移動している方向と、検知結果映像の方向とを合致させて表示するので、表示装置に表示されている内容から、検知対象がどの方向へ移動しているかを容易に把握できる。この結果、利用者がどのように対応すべきか迅速に判断することが可能となる。

【0115】

なお、本発明の実施の形態は作業車両として大型のダンプトラックに適用した場合を例に説明したが、これに限られるものではない。鉱山などにおける大型の作業車両のいずれにも適用することができる。

【0116】

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。

【符号の説明】

【0117】

１：ダンプトラック（自車両）、２：車体、３：ベッセル（荷台）、１８：シフトレバー、１９：シフトレバー状態センサ、１０１：カメラ、１０２：映像合成器、１０３：移動物体検知器、１０４：検知位置判定部、１０５：検知結果追跡部、１０６：検知情報データベース、１０７：検知画像取得部、１０８：表示装置、１０９：更新演算部、３０１：前方カメラ、３０２：左方向カメラ、３０３：後方カメラ、３０４：右方向カメラ、４０１：前方映像、４０２：左方向映像、４０３：後方映像、４０４：右方向映像、５０１：時刻ｔ０−１における移動物体、５０２：時刻ｔ０における移動物体、５０３：現在の検知結果、５０４：前回の検知結果、５０５：現在と前回の検知結果の間の距離、６０１：検知結果情報、６０２：識別子、６０３：検知結果映像、６０４：映像記録位置、６０５：検知結果現在位置、７０１：変換した前方映像、７０２：変換した左方向映像、７０３：変換した後方映像、７０４：変換した右方向映像、７０５：自車アイコン、７０６：俯瞰合成映像、８０１：接近した検知結果、９０１：第１の車両の検知結果、９０２：第２の車両の検知結果、９０３：第３の車両の検知結果、９０４：検知結果映像、１１０１：第１の検知結果映像、１１０２：第２の検知結果映像、１１０３：第３の検知結果映像、１１０４：余剰領域、１２０１：近傍移動車両、１２０２：近傍移動車両の検知結果映像、１６０１：記録時の移動方向、１６０２：現在の移動方向、１７０１：第１の検知位置、１７０２：第２の検知位置、２００１：車両状態抽出装置、２００２：優先画像構築部、２１０１：並立画像構築部、２２０１：置換画像構築部、２３０１：回転画像構築部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】