特許 7590325 作業車両の表示システムおよび作業車両の表示方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-18

(45)【発行日】2024-11-26

(54)【発明の名称】作業車両の表示システムおよび作業車両の表示方法

(51)【国際特許分類】

   H04N 7/18 20060101AFI20241119BHJP

   G06T 7/00 20170101ALI20241119BHJP

   G06T 1/00 20060101ALI20241119BHJP

   E02F 9/26 20060101ALI20241119BHJP

【ＦＩ】

H04N7/18 J

G06T7/00 650B

G06T1/00 330B

E02F9/26 B

【請求項の数】 8

(21)【出願番号】P 2021533111

(86)(22)【出願日】2020-07-17

(86)【国際出願番号】 JP2020027853

(87)【国際公開番号】W WO2021010467

(87)【国際公開日】2021-01-21

【審査請求日】2023-06-09

(31)【優先権主張番号】P 2019133074

(32)【優先日】2019-07-18

(33)【優先権主張国・地域又は機関】JP

【前置審査】

(73)【特許権者】

【識別番号】000001236

【氏名又は名称】株式会社小松製作所

(74)【代理人】

【識別番号】110001634

【氏名又は名称】弁理士法人志賀国際特許事務所

(72)【発明者】

【氏名】江口 太郎

【審査官】鈴木 隆夫

(56)【参考文献】

【文献】特開２０１７－０７４８７３（ＪＰ，Ａ）

【文献】特開２０１７－０７４８７１（ＪＰ，Ａ）

【文献】特開２０１３－０６６０１０（ＪＰ，Ａ）

【文献】特開２００８－１７９９４０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１８

Ｇ０６Ｔ ７／００

Ｇ０６Ｔ １／００

Ｅ０２Ｆ ９／２６

(57)【特許請求の範囲】

【請求項1】

作業車両の周囲を撮像した撮像画像を取得する画像取得部と、
前記作業車両の周囲の障害物を検出する検出部と、
前記作業車両を中心とした所定範囲内に前記障害物が存在するか否かを判定する存在判定部と、
前記検出部によって複数の障害物が検出された場合に、前記撮像画像に対応する領域において検出された前記複数の障害物の中で障害物の確からしさを示す検出精度が高い障害物に係る位置に、障害物を識別可能な表示をするための信号を生成する表示制御部と
を備え、
前記表示制御部は、前記所定範囲内に複数の障害物が検出された場合に、前記複数の障害物のうち、当該所定範囲内における前記検出精度が高い障害物に係る位置に障害物を識別可能な表示をさせ、前記所定範囲内に障害物が検出されない場合に、前記複数の障害物のうち、前記所定範囲外における前記検出精度が高い障害物に係る位置に障害物を識別可能な表示をさせる
作業車両の表示システム。

【請求項2】

作業車両の周囲を撮像した撮像画像を取得する画像取得部と、
前記作業車両の周囲の障害物を検出する検出部と、
前記検出部によって複数の障害物が検出された場合に、前記撮像画像に対応する領域において検出された前記複数の障害物の中で障害物の確からしさを示す検出精度が高い障害物に係る位置に、障害物を識別可能な表示をするための信号を生成する表示制御部と、
を備え、
前記画像取得部は、前記作業車両の周囲を撮像した複数の撮像画像を取得し、
前記表示制御部は、前記複数の撮像画像のうち、隣り合う撮像画像の撮像範囲が重なり合う部分において検出された第一の障害物の前記検出精度が、前記重なり合う部分と異なる部分において検出された第二の障害物の前記検出精度よりも高い場合、前記第一の障害物に係る位置とともに前記第二の障害物に係る位置に障害物を識別可能な表示をするための信号を生成する
作業車両の表示システム。

【請求項3】

複数の撮像画像に基づいて、前記作業車両の周囲の俯瞰画像を生成する画像生成部を備え、
前記画像取得部は、前記作業車両の周囲を撮像した撮像画像を取得し、
前記検出部は、前記複数の撮像画像それぞれについて前記障害物の検出処理を実行し、
前記表示制御部は、検出された前記複数の障害物の中で前記検出精度が高い障害物に係る位置に、前記障害物を識別可能な表示を前記俯瞰画像上に表示させるための信号を、前記複数の撮像画像に対応する前記俯瞰画像の領域毎に生成する
請求項１、または請求項２に記載の作業車両の表示システム。

【請求項4】

前記表示制御部は、前記撮像画像のうち、所定の領域で検出された障害物は除外し、除外した障害物以外の複数の障害物の中で前記検出精度が高い障害物に係る位置に、前記障害物を識別可能な表示を前記俯瞰画像上に表示させるための信号を生成する
請求項３に記載の作業車両の表示システム。

【請求項5】

前記撮像画像に基づいて、前記作業車両の周囲の画像である単カメラ画像を生成する画像生成部を備え、
前記表示制御部は、検出された前記複数の障害物の中で前記検出精度が高い障害物に係る位置に、前記障害物を識別可能な表示を前記単カメラ画像上に表示させるための信号を生成する
請求項１から請求項４の何れか１項に記載の作業車両の表示システム。

【請求項6】

前記表示制御部は、検出された前記複数の障害物の中で、前記検出精度が最も高い障害物に係る位置に障害物を識別可能な表示をするための信号を生成する
請求項１から請求項５の何れか１項に記載の作業車両の表示システム。

【請求項7】

前記表示制御部は、検出された前記障害物の中で、前記検出精度が高い順に所定数の障害物に係る位置に障害物を識別可能な表示をするための信号を生成する
請求項１から請求項５の何れか１項に記載の作業車両の表示システム。

【請求項8】

作業車両の周囲を撮像した撮像画像を取得するステップと、
前記撮像画像に写った障害物の検出処理を実行するステップと、
前記作業車両を中心とした所定範囲内に前記障害物が存在するか否かを判定するステップと、
前記検出処理において複数の障害物が検出された場合に、前記撮像画像に対応する領域において検出された前記複数の障害物の中で障害物の確からしさを示す検出精度が高い障害物に係る位置に、障害物を識別可能な表示をするための信号を生成するステップと
を備え、
前記信号を生成するステップでは、前記所定範囲内に複数の障害物が検出された場合に、前記複数の障害物のうち、当該所定範囲内における前記検出精度が高い障害物に係る位置に障害物を識別可能な表示をさせ、前記所定範囲内に障害物が検出されない場合に、前記複数の障害物のうち、前記所定範囲外における前記検出精度が高い障害物に係る位置に障害物を識別可能な表示をさせる
作業車両の表示方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、作業車両の表示システムおよび作業車両の表示方法に関する。
本願は、２０１９年７月１８日に日本に出願された特願２０１９－１３３０７４号について優先権を主張し、その内容をここに援用する。

【背景技術】

【0002】

特許文献１には、作業車両の周辺の人を検知する周辺監視システムに係る技術が開示されております。特許文献１に記載の技術によれば、周辺監視システムは、画像処理によって画像に人が含まれるか否かを識別する。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１７－１５１８１５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、人などの障害物の検出処理において、１つの領域から複数の障害物が検出されることがある。このとき、検出処理によって検出されたすべての障害物を画面に表示させる場合、大量の検出結果が表示されることとなり、必要な情報がすぐに判別できない可能性がある。

【0005】

本開示の目的は、障害物の検出に係る必要な情報の見落としが生じる可能性を低減することができる作業車両の表示システムおよび作業車両の表示方法を提供することにある。

【課題を解決するための手段】

【0006】

本開示の第１の態様によれば、作業車両の表示システムは、作業車両の周囲を撮像した撮像画像を取得する画像取得部と、前記作業車両の周囲の障害物を検出する検出部と、前記検出部によって複数の障害物が検出された場合に、前記撮像画像に対応する領域において検出された前記複数の障害物の中で障害物の確からしさを示す検出精度が高い障害物に係る位置に、障害物を識別可能な表示をするための信号を生成する表示制御部とを備える。

【発明の効果】

【0007】

上記態様によれば、表示システムは、障害物の検出に係る必要な情報の見落としが生じる可能性を低減することができる。

【図面の簡単な説明】

【0008】

【図1】第１の実施形態に係る作業車両の構成を示す概略図である。

【図2】第１の実施形態に係る作業車両が備える複数のカメラの撮像範囲を示す図である。

【図3】第１の実施形態に係る運転室の内部の構成を示す図である。

【図4】第１の実施形態に係る制御装置の構成を示す概略ブロック図である。

【図5】第１の実施形態に係る制御装置の動作を示すフローチャートである。

【図6】第１の実施形態に係る表示画像の例である。

【図7】第１の実施形態に係る表示画像の例である。

【図8】第１の実施形態に係る表示画像の例である。

【図9】第１の実施形態に係る表示画像の例である。

【図10】他の実施形態に係る制御装置の動作を示すフローチャートである。

【図11】他の実施形態に係る表示画像の例である。

【図12】他の実施形態に係る表示画像の例である。

【図13】他の実施形態における表示画像のフレーム領域と撮像画像であるとの対応の例である。

【発明を実施するための形態】

【0009】

〈第１の実施形態〉
以下、図面を参照しながら実施形態について詳しく説明する。

【0010】

《作業車両の構成》
図１は、第１の実施形態に係る作業車両の構成を示す概略図である。
作業車両１００は、施工現場にて稼働し、土砂などの施工対象を施工する。第１の実施形態に係る作業車両１００は、例えば油圧ショベルである。作業車両１００は、走行体１１０、旋回体１２０、作業機１３０および運転室１４０を備える。
走行体１１０は、作業車両１００を走行可能に支持する。走行体１１０は、例えば左右１対の無限軌道である。
旋回体１２０は、走行体１１０に旋回中心回りに旋回可能に支持される。
作業機１３０は、油圧により駆動する。作業機１３０は、旋回体１２０の前部に上下方向に駆動可能に支持される。運転室１４０は、オペレータが搭乗し、作業車両１００の操作を行うためのスペースである。運転室１４０は、旋回体１２０の左前部に設けられる。
ここで、旋回体１２０のうち作業機１３０が取り付けられる部分を前部という。また、旋回体１２０について、前部を基準に、反対側の部分を後部、左側の部分を左部、右側の部分を右部という。

【0011】

《旋回体の構成》
旋回体１２０には、作業車両１００の周囲を撮像する複数のカメラ１２１が設けられる。図２は、第１の実施形態に係る作業車両が備える複数のカメラの撮像範囲を示す図である。
具体的には、旋回体１２０には、旋回体１２０の周囲のうち左後方範囲Ｒａを撮像する左後方カメラ１２１Ａ、旋回体１２０の周囲のうち後方範囲Ｒｂを撮像する後方カメラ１２１Ｂ、旋回体１２０の周囲のうち右後方範囲Ｒｃを撮像する右後方カメラ１２１Ｃ、旋回体１２０の周囲の右前方範囲Ｒｄを撮像する右前方カメラ１２１Ｄが設けられる。なお、複数のカメラ１２１の撮像範囲の一部は、互いに重複していてもよい。
複数のカメラ１２１の撮像範囲は、作業車両１００の全周のうち、運転室１４０から視認可能な左前方範囲Ｒｅを除く範囲をカバーする。なお、第１の実施形態に係るカメラ１２１は、旋回体１２０の左後方、後方、右後方、および右前方を撮像するが、他の実施形態においてはこれに限られない。例えば、他の実施形態に係るカメラ１２１の数および撮像範囲は、図１および図２に示す例と異なっていてよい。

【0012】

なお、左後方カメラ１２１Ａは、図２の後方範囲Ｒｂに示すように、旋回体１２０の左側方領域、及び左後方領域の範囲を撮像するものであるが、そのどちらか一方の領域を撮像するものであってもよい。同様に、右後方カメラ１２１Ｃは、図２の右後方範囲Ｒｃに示すように、旋回体１２０の右側方領域、及び右後方領域の範囲を撮像するものであるが、そのどちらか一方の領域を撮像するものであってもよい。同様に、右前方カメラ１２１Ｄは、図２の右前方範囲Ｒｄに示すように、旋回体１２０の右前方領域、及び右側方領域の範囲を撮像するものであるが、そのどちらか一方の領域を撮像するものであってもよい。

【0013】

《作業機の構成》
作業機１３０は、ブーム１３１、アーム１３２、バケット１３３、ブームシリンダ１３４、アームシリンダ１３５、およびバケットシリンダ１３６を備える。

【0014】

ブーム１３１の基端部は、旋回体１２０にブームピンＰ１を介して取り付けられる。
アーム１３２は、ブーム１３１とバケット１３３とを連結する。アーム１３２の基端部は、ブーム１３１の先端部にアームピンＰ２を介して取り付けられる。
バケット１３３は、土砂などを掘削するための刃と掘削した土砂を収容するための収容部とを備える。バケット１３３の基端部は、アーム１３２の先端部にバケットピンＰ３を介して取り付けられる。

【0015】

ブームシリンダ１３４は、ブーム１３１を作動させるための油圧シリンダである。ブームシリンダ１３４の基端部は、旋回体１２０に取り付けられる。ブームシリンダ１３４の先端部は、ブーム１３１に取り付けられる。
アームシリンダ１３５は、アーム１３２を駆動するための油圧シリンダである。アームシリンダ１３５の基端部は、ブーム１３１に取り付けられる。アームシリンダ１３５の先端部は、アーム１３２に取り付けられる。
バケットシリンダ１３６は、バケット１３３を駆動するための油圧シリンダである。バケットシリンダ１３６の基端部は、アーム１３２に取り付けられる。バケットシリンダ１３６の先端部は、バケット１３３に接続されるリンク部材に取り付けられる。

【0016】

《運転室の構成》
図３は、第１の実施形態に係る運転室の内部の構成を示す図である。
運転室１４０内には、運転席１４１、操作装置１４２および制御装置１４３が設けられる。

【0017】

操作装置１４２は、オペレータの手動操作によって走行体１１０、旋回体１２０および作業機１３０を駆動させるためのインタフェースである。操作装置１４２は、左操作レバー１４２１、右操作レバー１４２２、左フットペダル１４２３、右フットペダル１４２４、左走行レバー１４２５、右走行レバー１４２６を備える。

【0018】

左操作レバー１４２１は、運転席１４１の左側に設けられる。右操作レバー１４２２は、運転席１４１の右側に設けられる。

【0019】

左操作レバー１４２１は、旋回体１２０の旋回動作、及び、アーム１３２の引き／押し動作を行うための操作機構である。具体的には、作業車両１００のオペレータが左操作レバー１４２１を前方に倒すと、アーム１３２が押し動作する。また、作業車両１００のオペレータが左操作レバー１４２１を後方に倒すと、アーム１３２が引き動作する。また、作業車両１００のオペレータが左操作レバー１４２１を右方向に倒すと、旋回体１２０が右旋回する。また、作業車両１００のオペレータが左操作レバー１４２１を左方向に倒すと、旋回体１２０が左旋回する。なお、他の実施形態においては、左操作レバー１４２１を前後方向に倒した場合に旋回体１２０が右旋回または左旋回し、左操作レバー１４２１が左右方向に倒した場合にアーム１３２がダンプ動作または掘削動作してもよい。

【0020】

右操作レバー１４２２は、バケット１３３の掘削／ダンプ動作、及び、ブーム１３１の上げ／下げ動作を行うための操作機構である。具体的には、作業車両１００のオペレータが右操作レバー１４２２を前方に倒すと、ブーム１３１の下げ動作が実行される。また、作業車両１００のオペレータが右操作レバー１４２２を後方に倒すと、ブーム１３１の上げ動作が実行される。また、作業車両１００のオペレータが右操作レバー１４２２を右方向に倒すと、バケット１３３のダンプ動作が行われる。また、作業車両１００のオペレータが右操作レバー１４２２を左方向に倒すと、バケット１３３の掘削動作が行われる。

【0021】

左フットペダル１４２３は、運転席１４１の前方の床面の左側に配置される。右フットペダル１４２４は、運転席１４１の前方の床面の左側に配置される。左走行レバー１４２５は、左フットペダル１４２３に軸支され、左走行レバー１４２５の傾斜と左フットペダル１４２３の押し下げが連動するように構成される。右走行レバー１４２６は、右フットペダル１４２４に軸支され、右走行レバー１４２６の傾斜と右フットペダル１４２４の押し下げが連動するように構成される。

【0022】

左フットペダル１４２３および左走行レバー１４２５は、走行体１１０の左側履帯の回転駆動に対応する。具体的には、作業車両１００のオペレータが左フットペダル１４２３または左走行レバー１４２５を前方に倒すと、左側履帯は前進方向に回転する。また、作業車両１００のオペレータが左フットペダル１４２３または左走行レバー１４２５を後方に倒すと、左側履帯は後進方向に回転する。

【0023】

右フットペダル１４２４および右走行レバー１４２６は、走行体１１０の右側履帯の回転駆動に対応する。具体的には、作業車両１００のオペレータが右フットペダル１４２４または右走行レバー１４２６を前方に倒すと、右側履帯は前進方向に回転する。また、作業車両１００のオペレータが右フットペダル１４２４または右走行レバー１４２６を後方に倒すと、右側履帯は後進方向に回転する。

【0024】

制御装置１４３は、入出力装置であり、例えば、複数のカメラ１２１によって取得された作業車両１００の周囲状況を俯瞰画像として表示することができる。第１の実施形態に係る制御装置１４３の入力手段は、ハードキーである。なお、他の実施形態においては、タッチパネル、マウス、またはキーボード等を入力手段として用いてもよい。

【0025】

《制御装置の構成》
図４は、第１の実施形態に係る制御装置の構成を示す概略ブロック図である。
制御装置１４３は、プロセッサ２１０、メインメモリ２３０、ストレージ２５０、インタフェース２７０を備えるコンピュータである。

【0026】

ストレージ２５０は、一時的でない有形の記憶媒体である。ストレージ２５０の例としては、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ－ＲＯＭ（Digital Versatile Disc Read Only Memory）、半導体メモリ等が挙げられる。ストレージ２５０は、制御装置１４３のバスに直接接続された内部メディアであってもよいし、インタフェース２７０または通信回線を介して制御装置１４３に接続される外部メディアであってもよい。ストレージ２５０は、作業車両１００の周囲監視を実現するためのプログラムを記憶する。

【0027】

プログラムは、制御装置１４３に発揮させる機能の一部を実現するためのものであってもよい。例えば、プログラムは、ストレージ２５０に既に記憶されている他のプログラムとの組み合わせ、または他の装置に実装された他のプログラムとの組み合わせによって機能を発揮させるものであってもよい。なお、他の実施形態においては、制御装置１４３は、上記構成に加えて、または上記構成に代えてＰＬＤ（Programmable Logic Device）などのカスタムＬＳＩ（Large Scale Integrated Circuit）を備えてもよい。ＰＬＤの例としては、ＰＡＬ(Programmable Array Logic)、ＧＡＬ(Generic Array Logic)、ＣＰＬＤ(Complex Programmable Logic Device)、ＦＰＧＡ（Field Programmable Gate Array）が挙げられる。この場合、プロセッサによって実現される機能の一部または全部が当該集積回路によって実現されてよい。

【0028】

また、ストレージ２５０は、人物を検知するための人物辞書データＤ１を記憶する。人物辞書データＤ１は、例えば人物が写る複数の既知の画像それぞれから抽出された特徴量の辞書データである。特徴量の例としては、ＨＯＧ（Histograms of Oriented Gradients）やＣｏＨＯＧ（Co-occurrence HOG）を用いることができる。

【0029】

プロセッサ２１０は、プログラムを実行することで、画像取得部２１１、特徴量抽出部２１２、検出部２１３、画像生成部２１４、マーカ配置部２１５、存在判定部２１６、表示制御部２１７として機能する。また、プログラムの実行により、メインメモリ２３０には、マーカ記憶部２３１の記憶領域が確保される。

【0030】

画像取得部２１１は、複数のカメラ１２１から画像を取得する。各カメラ１２１から取得する画像は、所定のフレームレートで更新されるフレーム画像である。
特徴量抽出部２１２は、画像取得部２１１が取得したフレーム画像から特徴量を抽出する。特徴量抽出部２１２が抽出する特徴量の例としては、ＨＯＧ特徴量やＣｏＨＯＧ特徴量などが挙げられる。

【0031】

検出部２１３は、特徴量抽出部２１２が抽出した特徴量とストレージ２５０に記憶される人物辞書データＤ１とに基づいて、フレーム画像における人物を検出する。人物の検出方法の例としては、パターンマッチング、機械学習に基づく物体検出処理などが挙げられる。人物は、障害物の一例である。なお、第１の実施形態においては、検出部２１３は、画像の特徴量を用いて人物の検出を行うが、これに限られない。例えば、他の実施形態においては、検出部２１３は、赤外線センサの計測値などに基づいて人物の検出を行ってもよい。検出部２１３は、検出された人物ごとに、検出精度を特定する。検出精度は、人物の確からしさを示す精度であり、例えば特徴量の類似度や尤度として表される。

【0032】

画像生成部２１４は、画像取得部２１１が取得した複数のフレーム画像を変形し、合成することで、作業車両１００を中心として、現場を上方から平面視した俯瞰画像を生成する。すなわち、画像生成部２１４は、複数のフレーム画像それぞれを俯瞰座標系に変形し、変形後のフレーム画像を合成することで、俯瞰画像を生成する。なお、画像生成部２１４は、変形後のそれぞれのフレーム画像の一部を切り出して、切り出したフレーム画像を合成することで、俯瞰画像を生成してもよい。画像生成部２１４が生成する俯瞰画像の中央には、作業車両１００を上方から平面視した画像が予め貼り付けられている。

【0033】

マーカ配置部２１５は、画像生成部２１４が生成した俯瞰画像に重畳させて、人物の検出位置に対応する位置に、人物の位置を示すマーカを配置する。なお、他の実施形態に係るマーカ配置部２１５は、検出位置から所定の範囲内にマーカを配置してもよい。マーカの形状は、例えば、円、楕円、正多角形、多角形などが挙げられる。なお、マーカは、障害物を識別可能な表示の一例である。他の実施形態においては、障害物を識別可能な表示は、例えば、人物を示すテキストの表示、人物の色の変更、人物の形状の変更など、障害物を識別できる表示であればよい。
マーカ配置部２１５は、配置したマーカの位置をマーカ記憶部２３１に記録する。マーカ記憶部２３１は、俯瞰画像に配置されたマーカの位置を記憶する。

【0034】

マーカ配置部２１５は、検出位置と、作業車両１００を中心として設定された警告範囲との位置関係に応じて、マーカの色を異ならせる。例えば、マーカ配置部２１５は、検出位置が警告範囲内である場合に、マーカの色を赤にし、検出位置が警告範囲外である場合に、マーカの色を黄色にする。警告範囲は、例えば作業車両１００の旋回中心を中心とする円として設定されてよい。
なお、マーカの色およびマーカの位置と色の関係は、これに限られない。例えば、他の実施形態に係るマーカ配置部２１５は、赤および黄色以外の色をマーカに設定してもよい。また、他の実施形態に係るマーカ配置部２１５は、検出位置が警告範囲内である場合に、マーカの色を赤にし、検出位置が警告範囲外かつ注意範囲内である場合に、マーカの色を黄色にし、検出位置が注意範囲外である場合に、マーカの色を灰色にしてもよい。また、検出位置が警告範囲内、または注意範囲内である場合に、マーカの色を赤にしてもよい。また、検出位置にかかわらず、マーカの色を赤にしてもよい。注意範囲は、例えば作業車両１００の旋回中心を中心とする円であって、警告範囲の外側の範囲として設定されてよい。

【0035】

また、マーカ配置部２１５は、俯瞰画像において、マーカの配置とともに人物を検出した位置を含む領域を強調表示するようにしてもよい。領域は、複数のカメラ１２１の撮像範囲によって決定される。なお、該領域は、１つのカメラ１２１の撮像範囲によって決定されてもよいし、少なくとも２つのカメラ１２１の撮像範囲によって決定されてもよい。また、該領域は、撮像範囲より狭い範囲としてもよい。強調表示の例としては、例えば、領域の枠を赤い太枠で表示することなどが挙げられる。なお、強調表示の例は、これに限られず、赤色以外の色によるものであってもよい。また、強調表示は、領域の枠の点滅によってなされるものであってもよい。

【0036】

また、マーカ配置部２１５は、検出位置が警告範囲内、または注意範囲内である場合にのみ、その位置を含む領域を強調表示するようにしてもよい。この場合、検出された人物にマーカが配置されるとともに、検出した位置に対応する領域が強調表示されることで、オペレータは、注意すべき人物および、方向を容易に理解できる。すなわち、制御装置１４３は、オペレータに注意を促すことが出来る。

【0037】

存在判定部２１６は、俯瞰座標系の検出位置に基づいて、人物が作業車両１００を中心として設定された注意範囲または警告範囲の内側に存在するか否かを判定する。

【0038】

表示制御部２１７は、マーカが配置された俯瞰画像に、存在判定部２１６の判定結果に応じたアイコンを付すことで監視画像を生成する。表示制御部２１７は、生成した監視画像をタッチパネルに出力する。アイコンは、例えば人物が注意範囲内に存在しない場合、注意範囲内かつ警告範囲外に存在する場合、警告範囲内に存在する場合で、それぞれ態様を異ならせる。アイコンの態様の例としては、色、透明度、大きさなどが挙げられる。

【0039】

《制御装置の動作》
図５は、第１の実施形態に係る制御装置の動作を示すフローチャートである。
制御装置１４３は、周囲監視処理を開始すると、画像取得部２１１は、複数のカメラ１２１からフレーム画像を取得する（ステップＳ１）。次に、制御装置１４３は、取得したフレーム画像に基づいて人物検出処理Ｐ１と表示制御処理Ｐ２とを並列で実行する。

【0040】

人物検出処理Ｐ１は、以下のステップＳ２からステップＳ３の処理である。
特徴量抽出部２１２は、ステップＳ１で取得したフレーム画像から特徴量を抽出する（ステップＳ２）。次に、検出部２１３は、ストレージ２５０から人物辞書データＤ１を読み出し、抽出された特徴量と人物辞書データＤ１とを照合することにより、フレーム画像において人物が存在する検出位置を特定する（ステップＳ３）。人物検出処理Ｐ１は、表示制御処理Ｐ２と比較して計算量が多い。

【0041】

表示制御処理Ｐ２は、以下のステップＳ４からステップＳ９の処理である。
画像生成部２１４は、ステップＳ１で取得したフレーム画像に基づいて、俯瞰画像を生成する（ステップＳ４）。次に、存在判定部２１６は、マーカ記憶部２３１が記憶するマーカの位置に基づいて、人物が注意範囲または警告範囲の内側に存在するか否かを判定する（ステップＳ５）。

【0042】

表示制御部２１７は、ステップＳ４で生成した俯瞰画像上に、マーカ記憶部２３１が記憶する位置および大きさのマーカを描画し、さらに俯瞰画像のうち左前方範囲Ｒｅに相当する位置に、ステップＳ７の判定結果に応じたアイコンを付すことで監視画像を生成する（ステップＳ６）。表示制御部２１７は、生成した監視画像をタッチパネルに出力する（ステップＳ７）。

【0043】

次に、表示制御部２１７は、人物検出処理Ｐ１が完了したか否かを判定する（ステップＳ８）。人物検出処理Ｐ１が完了していない場合（ステップＳ８：ＮＯ）、画像取得部２１１は、複数のカメラ１２１から次のフレーム画像を取得し（ステップＳ９）、処理をステップＳ４に戻す。

【0044】

人物検出処理Ｐ１および表示制御処理Ｐ２が完了すると、存在判定部２１６は、人物検出処理Ｐ１において検出対象となったフレーム画像のそれぞれについて、ステップＳ３の検出処理の結果に係る検出位置に基づいて、人物が警告範囲の内側に存在するか否かを判定する（ステップＳ１０）。マーカ配置部２１５は、人物が警告範囲の内側に存在するフレーム画像については（ステップＳ１０：ＹＥＳ）、警告範囲内において、検出結果が示す検出精度が最も高い人物に係る検出位置を１つ特定する（ステップＳ１１）。

【0045】

人物が警告範囲の内側に存在しないフレーム画像については（ステップＳ１０：ＮＯ）、存在判定部２１６は、ステップＳ３の検出処理の結果に係る検出位置に基づいて、人物が注意範囲の内側に存在するか否かを判定する（ステップＳ１２）。マーカ配置部２１５は、人物が注意範囲の内側に存在するフレーム画像については（ステップＳ１２：ＹＥＳ）、注意範囲内において、検出結果が示す検出精度が最も高い人物に係る検出位置を１つ特定する（ステップＳ１３）。マーカ配置部２１５は、警告範囲および注意範囲内に人物が存在しないフレーム画像については（ステップＳ１２：ＮＯ）、検出結果が示す検出精度が最も高い人物を特定する（ステップＳ１４）。

【0046】

そして、マーカ配置部２１５は、人物検出処理Ｐ１において検出対象となったフレーム画像のそれぞれについて、ステップＳ１０からステップＳ１４の何れかによって特定された人物の検出位置にマーカを配置する。すなわちマーカ配置部２１５は、マーカ記憶部２３１に、検出位置に対応する位置のマーカの情報を記録し（ステップＳ１５）、制御装置１４３は周辺監視処理を終了する。

【0047】

なお、マーカは、配置されてから一定時間が経過すると消える。すなわち、マーカ配置部２１５は、マーカの配置から一定時間が経過したときに、マーカ記憶部２３１から該当するマーカの情報を削除する。なお、他の実施形態に係るマーカ配置部２１５は、マーカが所定サイズ以上になった場合に、マーカを削除してもよい。また、このときマーカ配置部２１５は、検出位置と警告範囲との関係に基づいてマーカの色を決定してもよい。これにより、俯瞰画像には、複数のフレーム画像に対応する領域ごとのマーカの数を１以下に抑えることができる。

【0048】

なお、人物検出処理Ｐ１は、複数のフレーム画像について並列に実行されてもよいし、各フレーム画像について順に実行されてもよい。また、マーカ配置部２１５は、他のフレーム画像から抽出された人物に係るマーカが検出位置に既にある場合、その検出位置にマーカを配置しなくてもよい。これにより、マーカが重複して配置され、見づらくなるのを防止することができる。また、人物検出処理Ｐ１が各フレーム画像について順に実行される場合、ステップＳ１０からステップＳ１５の処理は、人物検出処理Ｐ１の対象となったフレーム画像のみについて行われる。
なお、図５に示すフローチャートは一例であり、他の実施形態においては必ずしもすべてのステップを実行しなくてもよい。例えば、他の実施形態においては、ステップＳ２、ステップＳ５からステップＳ９、ステップＳ１０からステップＳ１３の何れかが実行されなくてもよい。

【0049】

《表示画像の例》
図６～９は、第１の実施形態に係る表示画像の例である。
図６～９によれば、表示画像には、表示制御部２１７が生成した監視画像Ｇ１と、単カメラ画像Ｇ２とが表示される。また、表示画像には、作業モードインジケータＧ３２、ＳＭＲ（service meter reading）インジケータＧ３３、燃料レベルインジケータＧ３４、作動油温インジケータＧ３５、およびエンジン水温インジケータＧ３６が含まれる。監視画像Ｇ１には、俯瞰画像Ｇ１１と、注意範囲を示す領域枠Ｇ１２と、警告範囲を示す領域枠Ｇ１３と、複数のマーカＧ１４とアイコンＧ１５とが含まれる。単カメラ画像Ｇ２は、複数のカメラ１２１のうち１つが撮像したフレーム画像である。

【0050】

また、図６～９には、表示画像には表示されないが、ステップＳ１０からステップＳ１４の処理において特定されなかった検出位置Ｅが示されている。また、図６～９には、表示画像には表示されないフレーム領域Ｆ１、Ｆ２、Ｆ３、Ｆ４が示されている。フレームＦ１は、左後方カメラ１２１Ａによって撮像される左後方範囲Ｒａに対応するフレーム領域である。フレームＦ２は、後方カメラ１２１Ｂによって撮像される後方範囲Ｒｂに対応するフレーム領域である。フレームＦ３は、右後方カメラ１２１Ｃによって撮像される右後方範囲Ｒｃに対応するフレーム領域である。フレームＦ４は、右前方カメラ１２１Ｄによって撮像される右前方範囲Ｒｄに対応するフレーム領域である。なお、前方、及び左前方のフレーム領域Ｆ０に俯瞰画像Ｇ１１は生成されない。オペレータは、運転室１４０の前方、及び左前方を直接視認できるためである。

【0051】

図６は、作業車両の警告範囲内に一人以上の人物が存在する場合であって、単カメラ画像Ｇ２に、右前方カメラ１２１Ｄが撮像したフレーム画像が表示されている表示画像の例である。図６によれば、警告範囲内に一人以上の人物が検出されている場合に、最も検出精度の高い人物に係る検出位置にのみマーカＧ１４が付されている。これにより、オペレータは、近距離における人物の中で特に注意すべき人物を把握することができる。なお、図６は、警告範囲内に一人以上の人物が存在する場合の例であるが、警告範囲内に人物が存在せず、注意範囲内に一人以上の人物が存在する場合においても、上記と同様の結果となる。なお、一人以上の人物は、一人の人物であってもよいし、複数の人物であってもよい。

【0052】

図７は、注意範囲外に一人以上の人物が存在する場合であって、単カメラ画像Ｇ２に、右後方カメラ１２１Ｃが撮像したフレーム画像が表示されている表示画像の例である。図７によれば、注意範囲より外に一人以上の人物が検出されている場合に、最も検出精度の高い人物に係る検出位置にのみマーカＧ１４が付されている。これにより、オペレータは、近距離に人物が存在しない場合において、特に注意すべき人物を把握することができる。なお、一人以上の人物は、一人の人物であってもよいし、複数の人物であってもよい。

【0053】

図８は、注意範囲内に一人以上の人物が存在し、物体が注意範囲内と、注意範囲外に存在する場合であって、単カメラ画像Ｇ２に、左後方カメラ１２１Ａが撮像したフレーム画像が表示されている表示画像の例である。図８によれば、物体が人物として誤検知され、注意範囲内に一人以上の人物が検出され、注意範囲外に人物が検出されている場合に、注意範囲内において最も検出精度の高い人物に係る検出位置にのみマーカＧ１４が付されている。人物と物体を比較すると、一般的に人物の方が検出精度が高くなるため、物体ではなく、人物にかかる位置にマーカＧ１４が付されることになる。これにより、オペレータは、特に注意すべき人物を把握することができる。

【0054】

また、複数の検出された人物の中で最も検出精度の高い人物にのみマーカＧ１４を付すようにするので、誤検知に係る位置にマーカＧ１４が付されることを防ぐことができる。また、注意範囲外に人物を検出しても、注意範囲内の人物にのみマーカＧ１４を付すことで、マーカの煩わしさを防止し、必要な情報を直ぐに判別することができる。なお、図８は、注意範囲内に一人以上の人物と物体が存在する場合の例であるが、警告範囲内に一人以上の人物と物体が存在する場合においても、上記と同様の結果となる。なお、一人以上の人物は、一人の人物であってもよいし、複数の人物であってもよい。

【0055】

図９は、警告範囲内に一人以上の人物が存在し、注意範囲外に一人以上の人物が存在する場合であって、単カメラ画像Ｇ２に、右前方カメラ１２１Ｄが撮像したフレーム画像が表示されている表示画像の例である。図９によれば、警告範囲内に一人以上の人物が存在し、注意範囲外に一人以上の人物が存在する場合に、警告範囲内の中で最も検出精度の高い人物に係る検出位置にのみマーカＧ１４が付されている。仮に注意範囲外に存在する人物の方が警告範囲内の人物よりも検出精度が高かったとしても、警告範囲内の中で最も検出精度の高い人物にのみマーカＧ１４が付されることになる。これにより、オペレータは、複数の人物が検出された場合に特に注意すべき人物を把握することができる。また、マーカの煩わしさを防止し、必要な情報を直ぐに判別することができる。なお、一人以上の人物は、一人の人物であってもよいし、複数の人物であってもよい。

【0056】

作業車両のキーオン時には、単カメラ画像Ｇ２として、後方カメラ１２１Ｂが撮像したフレーム画像が作業車両のキーオン時に表示される。単カメラ画像Ｇ２は、制御装置１４３の入力手段によって、他のカメラ１２１が撮像したフレーム画像に切り替えることができる。なお、後方カメラ１２１Ｂ以外のカメラ１２１が撮像したフレーム画像を、キーオン時に表示される単カメラフレーム画像Ｇ２としても良い。また、人物を検出した場合、単カメラ画像Ｇ２が、人物が撮像されたカメラ１２１のフレーム画像に自動的に切り替えるようにしても良い。

【0057】

《作用・効果》
このように、第１の実施形態に係る制御装置１４３は、撮像画像に写った障害物の検出処理において複数の障害物が検出された場合に、検出精度が最も高い所定数の障害物に係る位置にマーカを配置した表示画像を表示させる。これにより、表示画像におけるマーカの数を低減することができ、障害物の検出に係る必要な情報の見落としが生じる可能性を低減することができる。

【0058】

また、第１の実施形態に係る制御装置１４３は、作業車両１００を中心とした所定範囲内に複数の障害物が検出された場合に、当該範囲内における検出精度が最も高い所定数の障害物に係る位置にマーカを配置した表示画像を表示させる。これにより、作業車両の近傍の障害物より遠くの障害物の方が検出精度が高い場合にも、近傍の障害物を優先して通知することができる。なお、他の実施形態においては、これに限られない。例えば、他の実施形態に係る制御装置１４３は、注意範囲および警告範囲に関わらず、検出精度が最も高い所定数の障害物に係る位置にマーカを配置した表示画像を表示させてもよい。

【0059】

〈他の実施形態〉
以上、図面を参照して一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、様々な設計変更等をすることが可能である。他の実施形態においては、上述の処理の順序が適宜変更されてもよい。また、一部の処理が並列に実行されてもよい。

【0060】

上述した実施形態では、作業車両１００は、油圧ショベルとして説明したが、他の実施形態においては、ダンプトラック、ホイールローダなど種々の作業車両に適用可能である。例えば、ダンプトラックや、ホイールローダや他の作業車両用の表示システムに適用可能である。

【0061】

また、上述した実施形態では、１台の制御装置１４３が作業車両に設置されるものとして説明したが、他の実施形態においては、制御装置１４３の一部の構成を他の制御装置に配置し、２台以上の制御装置からなる表示システムから実現されてもよい。なお、上述の実施形態に示す１台の制御装置１４３も、表示システムの一例である。

【0062】

上述した実施形態に係る制御装置１４３は、作業車両に設置されるものとして説明したが、他の実施形態においては、制御装置１４３の一部、または全部の構成が作業車両の外部に設置されてもよい。

【0063】

また、上述した実施形態に係る制御装置１４３は、人物を検出するが、人物以外の障害物を検出してもよい。
また上述した実施形態に係る制御装置１４３は、左前方範囲Ｒｅを撮像する左前方カメラを備えないが、他の実施形態においては左前方範囲Ｒｅを撮像する左前方カメラを備えてもよい。この場合、制御装置１４３は、作業車両１００の周囲の全周が写る俯瞰画像を生成することができる。他方、この場合においても、制御装置１４３は、人物検出処理Ｐ１については、左前方カメラのフレーム画像から人物を検出しなくてもよい。これは、人物検出処理Ｐ１の計算量が多いため、制御装置１４３による監視の必要性が低い範囲について人物検出処理Ｐ１を行わないことで、全体の計算負荷の増加を防ぐためである。

【0064】

また、上述した実施形態に係る制御装置１４３は、各フレーム画像について検出精度が最も高い検出位置を１つ特定するが、これに限られない。例えば、他の実施形態においては、検出精度が高い順に２以上の所定数の検出位置を特定してもよい。また例えば、他の実施形態においては、すべてのフレーム画像（左後方範囲Ｒａ、後方範囲Ｒｂ、右後方範囲Ｒｃ、右前方範囲Ｒｄ）について、検出精度が高い検出位置を所定数特定してもよいし、フレーム画像の組み合わせごと（たとえば左後方範囲Ｒａと後方範囲Ｒｂの組み合わせ、および右後方範囲Ｒｃと右前方範囲Ｒｄの組み合わせ）に、検出精度が高い検出位置を所定数特定してもよい。

【0065】

また、上述した実施形態に係る制御装置１４３は、検出結果を表示させることでオペレータに注意を促すが、他の実施形態においては、さらに制御装置１４３の検出結果に基づいて制御装置が作業車両１００を制御してもよい。例えば、警告領域にマーカが配置された場合に制御装置が作業車両１００の走行、旋回および作業機の操作を禁止するように制御してもよい。この場合、上述の実施形態のようにマーカの数を低減しておくことで、誤検知によって作業車両１００の停止制御がなされることを防ぐことができる。

【0066】

上述した実施形態に係る制御装置１４３はディスプレイを有し、当該ディスプレイに表示画像を表示させるが、他の実施形態においてはこれに限られない。例えば、他の実施形態に係る制御装置１４３は、ディスプレイを備えないものであって、制御装置１４３と別体のディスプレイに表示画像を表示させる信号を送信するものであってよい。当該信号は、障害物に係る位置にマーカを配置した表示画像を表示するための信号である。なお、制御装置１４３とは別体のディスプレイと、上述した制御装置１４３の構成の一部ずつを備える２台以上の制御装置とからなる表示システムから実現されてもよい。

【0067】

また、上述した実施形態においては、警報範囲、注意範囲は、作業車両の旋回中心を中心とする円として説明したが、他の実施形態においては、作業車両１００の旋回中心を中心とする円以外の範囲であってもよい。例えば、作業車両１００の旋回中心を中心とする円を、前部、後部、左部、右部の一部の方向に所定の距離拡大した範囲であってもよい。また、作業車両１００の旋回中心以外の部分を中心とする円であってもよい。また、作業機１３０の作動範囲から求まる範囲としてもよい。また、楕円、多角形、直線と曲線から形成される範囲であってもよい。

【0068】

また、上述した実施形態では、ディスプレイが作業車両１００に設置されるものとして説明したが、他の実施形態においては、ディスプレイが作業車両１００の外に設置されるものであってもよい。例えば、作業現場から離れた地点にディスプレイを設け、制御装置１４３は、ディスプレイに表示画像を表示させる信号をインターネットなどのネットワークを介して送信するものであってよい。

【0069】

また、上述した実施形態では、警告範囲と注意範囲が設定されるものとして説明したが、他の実施形態においては、警告範囲と注意範囲のうち、いずれかの範囲が設定されるものであってもよい。また、３つ以上の範囲が設定されるものであってもよい。

【0070】

また、上述した実施形態においては、マーカＧ１４が俯瞰画像Ｇ１１に付されるが、これに限られない。例えば、他の実施形態においては、マーカＧ１４が俯瞰画像Ｇ１１と単カメラ画像Ｇ２の両方に付されてもよいし、マーカＧ１４が単カメラ画像Ｇ２のみに付されてもよい。このとき、俯瞰画像Ｇ１１と単カメラ画像Ｇ２の両方について、検出精度が高い所定数の検出位置にマーカＧ１４を付してよい。また、俯瞰画像Ｇ１１と単カメラ画像Ｇ２の一方の画像については検出精度が高い所定数の検出位置にのみマーカＧ１４を付し、他方の画像については全ての検出位置にマーカＧ４を付してもよい。

【0071】

また、他の実施形態においては、表示画像に俯瞰画像Ｇ１１および単カメラ画像Ｇ２のいずれか一方のみが含まれてもよい。この場合、マーカＧ１４は、表示画像に含まれる俯瞰画像Ｇ１１または単カメラ画像Ｇ２に付される。また、他の実施形態においては、複数のカメラ１２１による単カメラ画像Ｇ２が並べて表示されてもよい。この場合、マーカＧ１４は、１つの単カメラ画像Ｇ２に付されてもよいし、２つ以上の単カメラ画像に付されてもよい。

【0072】

ここで、制御装置１４３が、マーカＧ１４が付された単カメラ画像Ｇ２を含む表示画像を生成する例について説明する。
図１０は、他の実施形態に係る制御装置の動作を示すフローチャートである。他の実施形態においては、制御装置１４３は、第１の実施形態とステップＳ４、ステップＳ６およびステップＳ１５に代えて、ステップＳ１０４、ステップＳ１０６およびステップＳ１１５を実行する。
制御装置１４３の画像生成部２１４は、ステップＳ１０４において、ステップＳ１で取得したフレーム画像に基づいて、単カメラ画像を生成する。
制御装置１４３の表示制御部２１７は、ステップＳ１０６において、ステップＳ１０４で生成した単カメラ画像上に、マーカ記憶部２３１が記憶する位置のマーカを描画し、さらに単カメラ画像に、ステップＳ５の判定結果に応じたアイコンを付すことで、表示画像を生成する。当該アイコンは、単カメラ画像のうち、作業車両１００の一部が映っている領域などの監視の必要性が低い位置に配置されることで、アイコンが制御装置１４３による監視の必要性が高い位置に存在する人物を遮蔽することを防ぐことができる。
制御装置１４３のマーカ配置部２１５は、ステップＳ１１５において、ステップＳ３の検出処理の結果に係る検出位置にマーカを配置する。すなわちマーカ配置部２１５は、マーカ記憶部２３１に、検出位置のマーカの情報を記録する。

【0073】

図１１は、他の実施形態に係る表示画像の例である。
図１１によれば、表示画像には、異なるカメラ１２１が撮像した２つの単カメラ画像Ｇ２が含まれる。単カメラ画像Ｇ２には、それぞれマーカＧ１４が１つずつ付されている。なお、図１１に示す例では、２つの単カメラ画像Ｇ２のそれぞれについて、検出精度が高い検出位置を所定数特定してマーカＧ１４を付しているが、これに限られない。例えば、他の実施形態においては、２つの単カメラ画像Ｇ２の一方について、検出精度が高い検出位置を所定数特定してマーカＧ１４を付し、他方についてマーカＧ１４を付さなくてもよい。また他の実施形態においては、２つの単カメラ画像Ｇ２の一方について、検出精度が高い検出位置を所定数特定してマーカＧ１４を付し、他方については全ての検出位置にマーカＧ１４を付してもよい。また、他の実施形態においては、表示画像に３つ以上の単カメラ画像Ｇ２が含まれてもよい。

【0074】

図１２は、他の実施形態に係る表示画像の例である。
フレーム領域Ｆ１、Ｆ２、Ｆ３、Ｆ４は、撮像範囲が重なりあう場合がある。図１２の斜線部は、実際の画面には表示されない撮像範囲の重なり合う部分である。例えば、フレーム領域Ｆ３とフレーム領域Ｆ４は、フレーム領域Ｆ３に対応する右後方カメラ１２１Ｃの撮像範囲と、フレーム領域Ｆ４に対応する右前方カメラ１２１Ｄの撮像範囲の一部が重なり合う場合がある。フレーム領域Ｆ３、Ｆ４のうち重なり合う部分で検出された人物の検出精度が、重なり合う部分以外で検出された人物の検出精度よりも高い場合、重なり合う部分以外で検出された他の人物の位置にもマーカG１４を配置するようにしてよい。
また、撮像範囲が重なり合う部分で検出された人物の検出精度が重なり合う部分以外で検出された人物の検出精度よりも高い場合、隣り合うフレーム領域の中で、例えば、フレーム領域Ｆ３とフレーム領域Ｆ４との中で、検出された複数の人物のうち、検出精度が高い順に所定数の検出位置にマーカG１４を配置するようにしてもよい。この場合、重なり合う部分で検出した人物のみにマーカG１４が配置されることを防止することができる。
なお、フレーム領域Ｆ３とＦ４の重なり合う部分の例において説明したが、フレーム領域Ｆ１、Ｆ２、Ｆ３、Ｆ４のうち、隣り合うフレーム領域のいずれの組み合わせにおいて、上記の処理を行ってもよい。
なお、重なり合う部分で人物が検出されたことの決定は、例えば、フレーム画像毎に、隣り合うカメラとの撮像範囲が重なり合う部分を定めておき、その重なり合う部分において人物が検出されたか否か判定することで決定することができる。

【0075】

また、各カメラ１２１の撮像範囲が、対応するフレーム領域Ｆ１、Ｆ２、Ｆ３、Ｆ４よりも広い場合がある。図１３は、他の実施形態における表示画像のフレーム領域と撮像画像との対応の例である。
図１３のように、後方カメラ１２１Ｂのフレーム画像において複数の人物を検出した場合、フレーム領域外ＯＦで検出した人物を除外のうえ、フレーム領域外ＯＦを除外したフレーム画像のうち検出精度が高い人物の位置にマーカを配置するようにしてもよい。これによって、フレーム領域外ＯＦで検出した人物にマーカＧ１４が配置されることを防止され、特定された監視の必要性が高い領域にマーカＧ１４が付されるため、必要な情報を直ぐに判別することができる。なお、フレーム領域外ＯＦは、フレーム画像における所定の領域であって、例えば、俯瞰画像を生成する際に切り出されたフレーム画像の一部以外の領域、つまり、俯瞰画像に表示されない領域である俯瞰画像の領域外、とされてもよい。
また、フレーム画像において複数の人物を検出した場合、注意範囲外で検出した人物を除外のうえ、注意範囲外を除外したフレーム画像のうち検出精度が高い人物の位置にマーカを配置するようにしてもよい。これによって、注意範囲外で検出した人物にマーカＧ１４が配置されることを防止され、特定された注意範囲内の人物にマーカＧ１４が付されるため、必要な情報を直ぐに判別することができる。
また、上述した実施形態では、フレーム領域Ｆ１、Ｆ２、Ｆ３、Ｆ４の線が表示画像には表示されないものとして説明したが、これに限られない。例えば、他の実施形態においては、フレーム領域Ｆ１、Ｆ２、Ｆ３、Ｆ４の線が表示画像に表示させるようにしてもよい。

【産業上の利用可能性】

【0076】

上記開示によれば、表示システムは、障害物の検出に係る必要な情報の見落としが生じる可能性を低減することができる。

【符号の説明】

【0077】

１００…作業車両 １１０…走行体 １２０…旋回体 １２１…カメラ １３０…作業機 １４０…運転室 １４１…運転席 １４３…制御装置 ２１１…画像取得部 ２１２…特徴量抽出部 ２１３…検出部 ２１４…画像生成部 ２１５…マーカ配置部 ２１６…存在判定部 ２１７…表示制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】