(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-10-16
(45)【発行日】2024-10-24
(54)【発明の名称】作業機械の障害物報知システムおよび作業機械の障害物報知方法
(51)【国際特許分類】
E02F 9/24 20060101AFI20241017BHJP
G08G 1/16 20060101ALI20241017BHJP
E02F 9/26 20060101ALI20241017BHJP
【ＦＩ】
E02F9/24 Z
G08G1/16 C
E02F9/26 C
【請求項の数】
7
(21)【出願番号】P 2020140271
(22)【出願日】2020-08-21
(65)【公開番号】P2022035746
(43)【公開日】2022-03-04
【審査請求日】2023-07-07
【前置審査】
(73)【特許権者】
【識別番号】000001236
【氏名又は名称】株式会社小松製作所
(74)【代理人】
【識別番号】110001634
【氏名又は名称】弁理士法人志賀国際特許事務所
(72)【発明者】
【氏名】江口 太郎
(72)【発明者】
【氏名】中沢 浩一
(72)【発明者】
【氏名】下屋 芳之
(72)【発明者】
【氏名】栗原 毅
【審査官】亀谷 英樹
(56)【参考文献】
【文献】国際公開第２０２０／０８０５３８（ＷＯ，Ａ１）
【文献】国際公開第２０１８／１５１２８０（ＷＯ，Ａ１）
【文献】特開２０１９－０６０１０８（ＪＰ，Ａ）
【文献】国際公開第２０１８／００８０９６（ＷＯ，Ａ１）
【文献】特開２０１８－０１７１１５（ＪＰ，Ａ）
【文献】特開２０１８－１３５７５９（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１２／０３２７２６１（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｅ０２Ｆ ９／２４
Ｅ０２Ｆ ９／２６
Ｅ０２Ｆ ９／２０－９／２２
Ｅ０２Ｆ ３／４２－３／４３
Ｅ０２Ｆ ３／８４－３／８５
Ｇ０８Ｇ １／００－９９／００
(57)【特許請求の範囲】
【請求項1】
作業機械の周囲に１または複数の障害物が存在するか否かを判定する障害物判定部と、前記１または複数の障害物が存在すると判定した場合に、前記１または複数の障害物を示す報知を行う報知部と、
前記報知に対する操作指示を受け付け、前記１または複数の障害物のうち前記操作指示が示す位置に最も近い障害物を特定する指示入力部と、
前記操作指示に基づいて特定された前記障害物の表示形態を、前記障害物の詳細を表示する態様に変更する出力部と
を備える作業機械の障害物報知システム。
【請求項2】
前記表示形態の変更は、前記障害物の表示の拡大である請求項１に記載の障害物報知システム。
【請求項3】
前記障害物の表示の拡大は、固定の拡大率に基づく前記障害物の拡大画像を出力することである請求項２に記載の障害物報知システム。
【請求項4】
前記障害物の表示の拡大は、前記操作指示に基づいて決定される拡大率に基づく前記障害物の拡大画像を出力することである請求項２に記載の障害物報知システム。
【請求項5】
前記報知部はタッチパネルを備え、前記操作指示は、前記障害物が表示された前記タッチパネルに対するピンチアウト操作であって、
前記指示入力部は、前記１または複数の障害物のうち前記ピンチアウト操作の初期座標の中心座標からの距離が最も近い障害物を、前記操作指示が示す位置に最も近い障害物として特定する
請求項２に記載の障害物報知システム。
【請求項6】
前記報知に係る障害物の属性を特定する属性特定部を備え、前記出力部は、前記操作指示に基づいて特定された前記報知に係る前記障害物の属性を出力する
請求項１から請求項５の何れか１項に記載の障害物報知システム。
【請求項7】
作業機械の周囲に１または複数の障害物が存在するか否かを判定するステップと、前記１または複数の障害物が存在すると判定した場合に、前記１または複数の障害物を示す報知を行うステップと、
前記報知に対する操作指示を受け付け、前記１または複数の障害物のうち前記操作指示が示す位置に最も近い障害物を特定するステップと、
前記操作指示に基づいて特定された前記障害物の表示形態を、前記障害物の詳細を表示する態様に変更するステップと
を備える作業機械の障害物報知方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、作業機械の障害物報知システムおよび作業機械の障害物報知方法に関する。
【背景技術】
【0002】
特許文献１には、作業機械の周辺の人を検知する周辺監視システムに係る技術が開示されている。特許文献１に記載の技術によれば、周辺監視システムは、周囲の障害物を検知する。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１６－０３５７９１号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
周辺監視システムは、障害物を検出すると、障害物が存在することをディスプレイやスピーカなどから報知する。作業機械のオペレータは、周辺監視システムによる報知を受け、障害物が存在することを確認し、また安全が確保されていることを確認する。
【0005】
ところで、周辺監視システムによって障害物が検出されたとしても、報知の内容によっては検出された障害物の詳細をオペレータが認識できない可能性がある。
本開示の目的は、検出された障害物に関する情報を容易に取得することができる作業機械の障害物報知システムおよび作業機械の障害物報知方法を提供することにある。
本開示の目的は、検出された障害物に関する情報を容易に取得することができる作業機械の障害物報知システムおよび作業機械の障害物報知方法を提供することにある。
【課題を解決するための手段】
【0006】
第１の態様によれば、作業機械の障害物報知システムは、作業機械の周囲に障害物が存在するか否かを判定する障害物判定部と、前記障害物が存在すると判定した場合に、前記障害物を示す報知を行う報知部と、前記報知に対する操作指示を受け付ける指示入力部と、前記操作指示に基づいて前記障害物の表示形態の変更を行う出力部とを備える。
【発明の効果】
【0007】
上記態様によれば、作業機械のオペレータは、検出された障害物に関する情報を容易に取得することができる。
【図面の簡単な説明】
【0008】
【図1】第１の実施形態に係る作業機械の構成を示す概略図である。
【図2】第１の実施形態に係る作業機械が備える複数のカメラ１２１の撮像範囲を示す図である。
【図3】第１の実施形態に係る運転室の内部の構成を示す図である。
【図4】第１の実施形態に係る制御装置の構成を示す概略ブロック図である。
【図5】第１の実施形態に係る表示画面の例を示す図である。
【図6】第１の実施形態に係る制御装置の動作を示すフローチャートである。
【図7】第１の実施形態に係る制御装置の動作例を示す図である。
【図8】第１の実施形態の変形例に係る制御装置の動作例を示す図である。
【図9】第２の実施形態に係る制御装置の動作を示すフローチャートである。
【図10】第２の実施形態に係る制御装置の動作例を示す図である。
【図11】第２の実施形態の第１変形例に係る制御装置の動作例を示す図である。
【図12】第２の実施形態の第２変形例に係る制御装置の動作例を示す図である。
【図13】第２の実施形態の第３変形例に係る制御装置の動作例を示す図である。
【図14】第３の実施形態に係る制御装置の動作例を示す図である。
【発明を実施するための形態】
【0009】
〈第１の実施形態〉
以下、図面を参照しながら実施形態について詳しく説明する。
以下、図面を参照しながら実施形態について詳しく説明する。
【0010】
《作業機械１００の構成》
図１は、第１の実施形態に係る作業機械１００の構成を示す概略図である。
作業機械１００は、施工現場にて稼働し、土砂などの施工対象を施工する。第１の実施形態に係る作業機械１００は、例えば油圧ショベルである。作業機械１００は、走行体１１０、旋回体１２０、作業機１３０および運転室１４０を備える。
走行体１１０は、作業機械１００を走行可能に支持する。走行体１１０は、例えば左右一対の無限軌道である。
旋回体１２０は、走行体１１０に旋回中心回りに旋回可能に支持される。
作業機１３０は、油圧により駆動する。作業機１３０は、旋回体１２０の前部に上下方向に駆動可能に支持される。運転室１４０は、オペレータが搭乗し、作業機械１００の操作を行うためのスペースである。運転室１４０は、旋回体１２０の左前部に設けられる。
ここで、旋回体１２０のうち作業機１３０が取り付けられる部分を前部という。また、旋回体１２０について、前部を基準に、反対側の部分を後部、左側の部分を左部、右側の部分を右部という。
図１は、第１の実施形態に係る作業機械１００の構成を示す概略図である。
作業機械１００は、施工現場にて稼働し、土砂などの施工対象を施工する。第１の実施形態に係る作業機械１００は、例えば油圧ショベルである。作業機械１００は、走行体１１０、旋回体１２０、作業機１３０および運転室１４０を備える。
走行体１１０は、作業機械１００を走行可能に支持する。走行体１１０は、例えば左右一対の無限軌道である。
旋回体１２０は、走行体１１０に旋回中心回りに旋回可能に支持される。
作業機１３０は、油圧により駆動する。作業機１３０は、旋回体１２０の前部に上下方向に駆動可能に支持される。運転室１４０は、オペレータが搭乗し、作業機械１００の操作を行うためのスペースである。運転室１４０は、旋回体１２０の左前部に設けられる。
ここで、旋回体１２０のうち作業機１３０が取り付けられる部分を前部という。また、旋回体１２０について、前部を基準に、反対側の部分を後部、左側の部分を左部、右側の部分を右部という。
【0011】
《旋回体１２０の構成》
旋回体１２０には、作業機械１００の周囲を撮像する複数のカメラ１２１が設けられる。図２は、第１の実施形態に係る作業機械１００が備える複数のカメラ１２１の撮像範囲を示す図である。
具体的には、旋回体１２０には、旋回体１２０の周囲のうち左後方領域Ｒａを撮像する左後方カメラ１２１Ａ、旋回体１２０の周囲のうち後方領域Ｒｂを撮像する後方カメラ１２１Ｂ、旋回体１２０の周囲のうち右後方領域Ｒｃを撮像する右後方カメラ１２１Ｃ、旋回体１２０の周囲の右前方領域Ｒｄを撮像する右前方カメラ１２１Ｄが設けられる。なお、複数のカメラ１２１の撮像範囲の一部は、互いに重複していてもよい。
複数のカメラ１２１の撮像範囲は、作業機械１００の全周のうち、運転室１４０から視認可能な左前方領域Ｒｅを除く範囲をカバーする。なお、第１の実施形態に係るカメラ１２１は、旋回体１２０の左後方、後方、右後方、および右前方を撮像するが、他の実施形態においてはこれに限られない。例えば、他の実施形態に係るカメラ１２１の数および撮像範囲は、図１および図２に示す例と異なっていてよい。
旋回体１２０には、作業機械１００の周囲を撮像する複数のカメラ１２１が設けられる。図２は、第１の実施形態に係る作業機械１００が備える複数のカメラ１２１の撮像範囲を示す図である。
具体的には、旋回体１２０には、旋回体１２０の周囲のうち左後方領域Ｒａを撮像する左後方カメラ１２１Ａ、旋回体１２０の周囲のうち後方領域Ｒｂを撮像する後方カメラ１２１Ｂ、旋回体１２０の周囲のうち右後方領域Ｒｃを撮像する右後方カメラ１２１Ｃ、旋回体１２０の周囲の右前方領域Ｒｄを撮像する右前方カメラ１２１Ｄが設けられる。なお、複数のカメラ１２１の撮像範囲の一部は、互いに重複していてもよい。
複数のカメラ１２１の撮像範囲は、作業機械１００の全周のうち、運転室１４０から視認可能な左前方領域Ｒｅを除く範囲をカバーする。なお、第１の実施形態に係るカメラ１２１は、旋回体１２０の左後方、後方、右後方、および右前方を撮像するが、他の実施形態においてはこれに限られない。例えば、他の実施形態に係るカメラ１２１の数および撮像範囲は、図１および図２に示す例と異なっていてよい。
【0012】
なお、左後方カメラ１２１Ａは、図２の後方範囲Ｒａに示すように、旋回体１２０の左側方領域、及び左後方領域の範囲を撮像するものであるが、そのどちらか一方の領域を撮像するものであってもよい。同様に、右後方カメラ１２１Ｃは、図２の右後方範囲Ｒｃに示すように、旋回体１２０の右側方領域、及び右後方領域の範囲を撮像するものであるが、そのどちらか一方の領域を撮像するものであってもよい。同様に、右前方カメラ１２１Ｄは、図２の右前方範囲Ｒｄに示すように、旋回体１２０の右前方領域、及び右側方領域の範囲を撮像するものであるが、そのどちらか一方の領域を撮像するものであってもよい。また、他の実施形態においては、複数のカメラ１２１を用いて、作業機械１００の全周囲を撮像範囲とするようにしてもよい。例えば、左前方範囲Ｒｅを撮像する左前方カメラを備えて、作業機械１００の全周囲を撮像範囲としてもよい。
【0013】
《作業機１３０の構成》
作業機１３０は、ブーム１３１、アーム１３２、バケット１３３、ブームシリンダ１３１Ｃ、アームシリンダ１３２Ｃ、およびバケットシリンダ１３３Ｃを備える。
作業機１３０は、ブーム１３１、アーム１３２、バケット１３３、ブームシリンダ１３１Ｃ、アームシリンダ１３２Ｃ、およびバケットシリンダ１３３Ｃを備える。
【0014】
ブーム１３１の基端部は、旋回体１２０にブームピン１３１Ｐを介して取り付けられる。
アーム１３２は、ブーム１３１とバケット１３３とを連結する。アーム１３２の基端部は、ブーム１３１の先端部にアームピン１３２Ｐを介して取り付けられる。
バケット１３３は、土砂などを掘削するための刃と掘削した土砂を収容するための収容部とを備える。バケット１３３の基端部は、アーム１３２の先端部にバケットピン１３３Ｐを介して取り付けられる。
アーム１３２は、ブーム１３１とバケット１３３とを連結する。アーム１３２の基端部は、ブーム１３１の先端部にアームピン１３２Ｐを介して取り付けられる。
バケット１３３は、土砂などを掘削するための刃と掘削した土砂を収容するための収容部とを備える。バケット１３３の基端部は、アーム１３２の先端部にバケットピン１３３Ｐを介して取り付けられる。
【0015】
ブームシリンダ１３１Ｃは、ブーム１３１を作動させるための油圧シリンダである。ブームシリンダ１３１Ｃの基端部は、旋回体１２０に取り付けられる。ブームシリンダ１３１Ｃの先端部は、ブーム１３１に取り付けられる。
アームシリンダ１３２Ｃは、アーム１３２を駆動するための油圧シリンダである。アームシリンダ１３２Ｃの基端部は、ブーム１３１に取り付けられる。アームシリンダ１３２Ｃの先端部は、アーム１３２に取り付けられる。
バケットシリンダ１３３Ｃは、バケット１３３を駆動するための油圧シリンダである。バケットシリンダ１３３Ｃの基端部は、アーム１３２に取り付けられる。バケットシリンダ１３３Ｃの先端部は、バケット１３３に接続されるリンク部材に取り付けられる。
アームシリンダ１３２Ｃは、アーム１３２を駆動するための油圧シリンダである。アームシリンダ１３２Ｃの基端部は、ブーム１３１に取り付けられる。アームシリンダ１３２Ｃの先端部は、アーム１３２に取り付けられる。
バケットシリンダ１３３Ｃは、バケット１３３を駆動するための油圧シリンダである。バケットシリンダ１３３Ｃの基端部は、アーム１３２に取り付けられる。バケットシリンダ１３３Ｃの先端部は、バケット１３３に接続されるリンク部材に取り付けられる。
【0016】
【0017】
操作装置１４２は、オペレータの手動操作によって走行体１１０、旋回体１２０および作業機１３０を駆動させるための装置である。操作装置１４２は、左操作レバー１４２ＬＯ、右操作レバー１４２ＲＯ、左フットペダル１４２ＬＦ、右フットペダル１４２ＲＦ、左走行レバー１４２ＬＴ、右走行レバー１４２ＲＴを備える。
【0018】
左操作レバー１４２ＬＯは、運転席１４１の左側に設けられる。右操作レバー１４２ＲＯは、運転席１４１の右側に設けられる。
【0019】
左操作レバー１４２ＬＯは、旋回体１２０の旋回動作、及び、アーム１３２の掘削／ダンプ動作を行うための操作機構である。具体的には、作業機械１００のオペレータが左操作レバー１４２ＬＯを前方に倒すと、アーム１３２がダンプ動作する。また、作業機械１００のオペレータが左操作レバー１４２ＬＯを後方に倒すと、アーム１３２が掘削動作する。また、作業機械１００のオペレータが左操作レバー１４２ＬＯを右方向に倒すと、旋回体１２０が右旋回する。また、作業機械１００のオペレータが左操作レバー１４２ＬＯを左方向に倒すと、旋回体１２０が左旋回する。なお、他の実施形態においては、左操作レバー１４２ＬＯを前後方向に倒した場合に旋回体１２０が右旋回または左旋回し、左操作レバー１４２ＬＯが左右方向に倒した場合にアーム１３２が掘削動作またはダンプ動作してもよい。
【0020】
右操作レバー１４２ＲＯは、バケット１３３の掘削／ダンプ動作、及び、ブーム１３１の上げ／下げ動作を行うための操作機構である。具体的には、作業機械１００のオペレータが右操作レバー１４２ＲＯを前方に倒すと、ブーム１３１の下げ動作が実行される。また、作業機械１００のオペレータが右操作レバー１４２ＲＯを後方に倒すと、ブーム１３１の上げ動作が実行される。また、作業機械１００のオペレータが右操作レバー１４２ＲＯを右方向に倒すと、バケット１３３のダンプ動作が行われる。また、作業機械１００のオペレータが右操作レバー１４２ＲＯを左方向に倒すと、バケット１３３の掘削動作が行われる。なお、他の実施形態においては、右操作レバー１４２ＲＯを前後方向に倒した場合に、バケット１３３がダンプ動作または掘削動作し、右操作レバー１４２ＲＯを左右方向に倒した場合にブーム１３１が上げ動作または下げ動作してもよい。
【0021】
左フットペダル１４２ＬＦは、運転席１４１の前方の床面の左側に配置される。右フットペダル１４２ＲＦは、運転席１４１の前方の床面の右側に配置される。左走行レバー１４２ＬＴは、左フットペダル１４２ＬＦに軸支され、左走行レバー１４２ＬＴの傾斜と左フットペダル１４２ＬＦの押し下げが連動するように構成される。右走行レバー１４２ＲＴは、右フットペダル１４２ＲＦに軸支され、右走行レバー１４２ＲＴの傾斜と右フットペダル１４２ＲＦの押し下げが連動するように構成される。
【0022】
左フットペダル１４２ＬＦおよび左走行レバー１４２ＬＴは、走行体１１０の左側履帯の回転駆動に対応する。具体的には、作業機械１００のオペレータが左フットペダル１４２ＬＦまたは左走行レバー１４２ＬＴを前方に倒すと、左側履帯は前進方向に回転する。また、作業機械１００のオペレータが左フットペダル１４２ＬＦまたは左走行レバー１４２ＬＴを後方に倒すと、左側履帯は後進方向に回転する。
【0023】
右フットペダル１４２ＲＦおよび右走行レバー１４２ＲＴは、走行体１１０の右側履帯の回転駆動に対応する。具体的には、作業機械１００のオペレータが右フットペダル１４２ＲＦまたは右走行レバー１４２ＲＴを前方に倒すと、右側履帯は前進方向に回転する。また、作業機械１００のオペレータが右フットペダル１４２ＲＦまたは右走行レバー１４２ＲＴを後方に倒すと、右側履帯は後進方向に回転する。
【0024】
制御装置１４５は、作業機械１００が有する複数の機能に係る情報を表示するディスプレイ１４５Ｄを備える。制御装置１４５は、表示システムの一例である。また、ディスプレイ１４５Ｄは、表示部の一例である。第１の実施形態に係る制御装置１４５の入力手段は、タッチパネルである。
【0025】
《制御装置１４５の構成》
図４は、第１の実施形態に係る制御装置１４５の構成を示す概略ブロック図である。
制御装置１４５は、プロセッサ２１０、メインメモリ２３０、ストレージ２５０、インタフェース２７０を備えるコンピュータである。また、制御装置１４５は、ディスプレイ１４５Ｄおよびスピーカ１４５Ｓを備える。また、第１の実施形態に係る制御装置１４５は、ディスプレイ１４５Ｄおよびスピーカ１４５Ｓと一体に設けられるが、他の実施形態においては、ディスプレイ１４５Ｄおよびスピーカ１４５Ｓの少なくとも１つが制御装置１４５と別個に設けられていてもよい。なお、ディスプレイ１４５Ｄと制御装置１４５とが別個に設けられる場合、ディスプレイ１４５Ｄは運転室１４０の外に設けられてもよい。この場合、ディスプレイ１４５Ｄはモバイルディスプレイであってよい。また、作業機械１００が遠隔操作によって駆動する場合、ディスプレイ１４５Ｄは作業機械１００と遠隔に設けられた遠隔操作室に設けられてもよい。同様に、スピーカ１４５Ｓと制御装置１４５とが別個に設けられる場合、スピーカ１４５Ｓは運転室１４０の外に設けられてもよい。また、作業機械１００が遠隔操作によって駆動する場合、スピーカ１４５Ｓは作業機械１００と遠隔に設けられた遠隔操作室に設けられてもよい。
図４は、第１の実施形態に係る制御装置１４５の構成を示す概略ブロック図である。
制御装置１４５は、プロセッサ２１０、メインメモリ２３０、ストレージ２５０、インタフェース２７０を備えるコンピュータである。また、制御装置１４５は、ディスプレイ１４５Ｄおよびスピーカ１４５Ｓを備える。また、第１の実施形態に係る制御装置１４５は、ディスプレイ１４５Ｄおよびスピーカ１４５Ｓと一体に設けられるが、他の実施形態においては、ディスプレイ１４５Ｄおよびスピーカ１４５Ｓの少なくとも１つが制御装置１４５と別個に設けられていてもよい。なお、ディスプレイ１４５Ｄと制御装置１４５とが別個に設けられる場合、ディスプレイ１４５Ｄは運転室１４０の外に設けられてもよい。この場合、ディスプレイ１４５Ｄはモバイルディスプレイであってよい。また、作業機械１００が遠隔操作によって駆動する場合、ディスプレイ１４５Ｄは作業機械１００と遠隔に設けられた遠隔操作室に設けられてもよい。同様に、スピーカ１４５Ｓと制御装置１４５とが別個に設けられる場合、スピーカ１４５Ｓは運転室１４０の外に設けられてもよい。また、作業機械１００が遠隔操作によって駆動する場合、スピーカ１４５Ｓは作業機械１００と遠隔に設けられた遠隔操作室に設けられてもよい。
【0026】
なお、制御装置１４５は、単独のコンピュータによって構成されるものであってもよいし、制御装置１４５の構成を複数のコンピュータに分けて配置し、複数のコンピュータが互いに協働することで作業機械の障害物報知システムとして機能するものであってもよい。作業機械１００は、制御装置１４５として機能する複数のコンピュータを備えてもよい。制御装置１４５を構成する一部のコンピュータが作業機械１００の内部に搭載され、他のコンピュータが作業機械１００の外部に設けられてもよい。
なお、上述の１台の制御装置１４５も、作業機械の障害物報知システムの一例である。他の実施形態においては、作業機械の障害物報知システムを構成する一部の構成が作業機械１００の内部に搭載され、他の構成が作業機械１００の外部に設けられてもよい。例えば、ディスプレイ１４５Ｄは作業機械１００と遠隔に設けられた遠隔操作室に設ける構成とした作業機械の障害物報知システムとしてもよい。また他の実施形態においては、作業機械の障害物報知システムを構成する１または複数のコンピュータがすべて作業機械１００の外部に設けられてもよい。
なお、上述の１台の制御装置１４５も、作業機械の障害物報知システムの一例である。他の実施形態においては、作業機械の障害物報知システムを構成する一部の構成が作業機械１００の内部に搭載され、他の構成が作業機械１００の外部に設けられてもよい。例えば、ディスプレイ１４５Ｄは作業機械１００と遠隔に設けられた遠隔操作室に設ける構成とした作業機械の障害物報知システムとしてもよい。また他の実施形態においては、作業機械の障害物報知システムを構成する１または複数のコンピュータがすべて作業機械１００の外部に設けられてもよい。
【0027】
カメラ１２１、ディスプレイ１４５Ｄおよびスピーカ１４５Ｓは、インタフェース２７０を介してプロセッサ２１０に接続される。
ストレージ２５０の例としては、光ディスク、磁気ディスク、光磁気ディスク、半導体メモリ等が挙げられる。ストレージ２５０は、制御装置１４５のバスに直接接続された内部メディアであってもよいし、インタフェース２７０または通信回線を介して制御装置１４５に接続される外部メディアであってもよい。ストレージ２５０は、作業機械１００の周囲監視を実現するためのプログラムを記憶する。また、ストレージ２５０には、ディスプレイ１４５Ｄに表示させるためのアイコンを含む複数の画像が予め記憶されている。
ストレージ２５０の例としては、光ディスク、磁気ディスク、光磁気ディスク、半導体メモリ等が挙げられる。ストレージ２５０は、制御装置１４５のバスに直接接続された内部メディアであってもよいし、インタフェース２７０または通信回線を介して制御装置１４５に接続される外部メディアであってもよい。ストレージ２５０は、作業機械１００の周囲監視を実現するためのプログラムを記憶する。また、ストレージ２５０には、ディスプレイ１４５Ｄに表示させるためのアイコンを含む複数の画像が予め記憶されている。
【0028】
プログラムは、制御装置１４５に発揮させる機能の一部を実現するためのものであってもよい。例えば、プログラムは、ストレージ２５０に既に記憶されている他のプログラムとの組み合わせ、または他の装置に実装された他のプログラムとの組み合わせによって機能を発揮させるものであってもよい。なお、他の実施形態においては、制御装置１４５は、上記構成に加えて、または上記構成に代えてＰＬＤ（Programmable Logic Device）などのカスタムＬＳＩ（Large Scale Integrated Circuit）を備えてもよい。ＰＬＤの例としては、ＰＡＬ(Programmable Array Logic)、ＧＡＬ(Generic Array Logic)、ＣＰＬＤ(Complex Programmable Logic Device)、ＦＰＧＡ（Field Programmable Gate Array）が挙げられる。この場合、プロセッサ２１０によって実現される機能の一部または全部が当該集積回路によって実現されてよい。
【0029】
また、ストレージ２５０は、障害物を検知するための障害物辞書データＤ１を記憶する。
障害物辞書データＤ１は、例えば障害物が写る複数の既知の画像それぞれから抽出された特徴量の辞書データであってよい。特徴量の例としては、ＨＯＧ（Histograms of Oriented Gradients）やＣｏＨＯＧ（Co-occurrence HOG）などが挙げられる。
障害物辞書データＤ１は、例えば障害物が写る複数の既知の画像それぞれから抽出された特徴量の辞書データであってよい。特徴量の例としては、ＨＯＧ（Histograms of Oriented Gradients）やＣｏＨＯＧ（Co-occurrence HOG）などが挙げられる。
【0030】
プロセッサ２１０は、プログラムを実行することで、取得部２１１、俯瞰画像生成部２１２、障害物検出部２１３、指示入力部２１４、表示画面生成部２１５、表示制御部２１６、アラーム制御部２１７を備える。
【0031】
取得部２１１は、複数のカメラ１２１から撮像画像を取得する。
【0032】
俯瞰画像生成部２１２は、取得部２１１が取得した複数の撮像画像を変形し、合成することで、作業機械１００を中心として、現場を上方から平面視した俯瞰画像を生成する。以下、俯瞰画像生成部２１２が変形させた撮像画像を変形画像ともいう。俯瞰画像生成部２１２は、変形後のそれぞれの撮像画像の一部を切り出して、切り出した撮像画像を合成することで、俯瞰画像を生成してもよい。俯瞰画像生成部２１２が生成する俯瞰画像の中央には、作業機械１００を上方から平面視した画像が予め貼り付けられている。すなわち、俯瞰画像は、作業機械１００の周囲が写る周囲画像である。
【0033】
障害物検出部２１３は、取得部２１１が取得した各撮像画像から障害物を検出する。すなわち、障害物検出部２１３は、作業機械１００の周囲に障害物が存在するか否かを判定する障害物判定部の一例である。障害物の例としては、人、車両、岩石などが挙げられる。また、障害物検出部２１３は、障害物が検出された場合に、左後方領域Ｒａ、後方領域Ｒｂ、右後方領域Ｒｃ、右前方領域Ｒｄのうち障害物が存在する領域を特定する。
【0034】
障害物検出部２１３は、例えば以下の手順で障害物を検出する。障害物検出部２１３は、取得部２１１が取得した各撮像画像から特徴量を抽出する。障害物検出部２１３は、抽出した特徴量と障害物辞書データとに基づいて、撮像画像から障害物を検出する。障害物の検出方法の例としては、パターンマッチング、機械学習に基づく物体検出処理などが挙げられる。
なお、第１の実施形態においては、障害物検出部２１３は、画像の特徴量を用いて人の検出を行うが、これに限られない。例えば、他の実施形態においては、障害物検出部２１３は、ＬｉＤＡＲ（Light Detection and Ranging）の計測値などに基づいて障害物を検出してもよい。
なお、第１の実施形態においては、障害物検出部２１３は、画像の特徴量を用いて人の検出を行うが、これに限られない。例えば、他の実施形態においては、障害物検出部２１３は、ＬｉＤＡＲ（Light Detection and Ranging）の計測値などに基づいて障害物を検出してもよい。
【0035】
指示入力部２１４は、制御装置１４５のタッチパネルに対するオペレータのタッチ操作の入力を受け付ける。特に指示入力部２１４は、タッチパネルに対するピンチアウト操作を、ディスプレイ１４５Ｄへの障害物の表示に対する拡大指示として受け付ける。ピンチアウト操作とは、タッチパネルに触れた２本の指を互いに離間させる操作をいう。指示入力部２１４は、タッチパネルにおけるピンチアウト操作に係る２本の指の座標を特定する。
【0036】
表示画面生成部２１５は、俯瞰画像生成部２１２が生成した俯瞰画像Ｇ１１に重畳させて、障害物の検出位置に対応する位置に、障害物の位置を示すマーカＧ１２を配置した表示画面データＧ１を生成する。表示画面データＧ１へのマーカＧ１２の配置は、障害物の存在の報知の一例である。表示画面生成部２１５は、指示入力部２１４が拡大指示を受け付けたときに、俯瞰画像Ｇ１１のうち拡大指示が示す障害物の表示を拡大する。障害物の表示の拡大は、障害物の表示形態の変更の一例である。表示画面生成部２１５は、拡大指示の受け付けから一定時間後に、俯瞰画像Ｇ１１の表示をもとに戻す。
表示画面の例については後述する。
表示画面の例については後述する。
【0037】
表示制御部２１６は、表示画面生成部２１５が生成した表示画面データＧ１をディスプレイ１４５Ｄに出力する。これにより、ディスプレイ１４５Ｄは表示画面データＧ１を表示する。表示制御部２１６は、報知部の一例である。
アラーム制御部２１７は、障害物検出部２１３が障害物を検出したときに、スピーカ１４５Ｓにアラームの音声信号を出力する。アラーム制御部２１７は、報知部の一例である。
アラーム制御部２１７は、障害物検出部２１３が障害物を検出したときに、スピーカ１４５Ｓにアラームの音声信号を出力する。アラーム制御部２１７は、報知部の一例である。
【0038】
《表示画面について》
図５は、第１の実施形態に係る表示画面の例を示す図である。
図５に示すように、表示画面データＧ１には、俯瞰画像Ｇ１１、マーカＧ１２、および単カメラ画像Ｇ１４が含まれる。
俯瞰画像Ｇ１１は、現場を上方から平面視した画像である。俯瞰画像Ｇ１１は、左後方カメラ１２１Ａに係る変形画像が写る左後方領域Ｒａ、後方カメラ１２１Ｂに係る変形画像が写る後方領域Ｒｂ、右後方カメラ１２１Ｃに係る変形画像が写る右後方領域Ｒｃ、右前方カメラ１２１Ｄに係る変形画像が写る右前方領域Ｒｄ、画像が写らない左前方領域Ｒｅを有する。なお、左後方領域Ｒａ、後方領域Ｒｂ、右後方領域Ｒｃ、右前方領域Ｒｄ、左前方領域Ｒｅの領域の境界線は、俯瞰画像Ｇ１１に表示されない。
図５は、第１の実施形態に係る表示画面の例を示す図である。
図５に示すように、表示画面データＧ１には、俯瞰画像Ｇ１１、マーカＧ１２、および単カメラ画像Ｇ１４が含まれる。
俯瞰画像Ｇ１１は、現場を上方から平面視した画像である。俯瞰画像Ｇ１１は、左後方カメラ１２１Ａに係る変形画像が写る左後方領域Ｒａ、後方カメラ１２１Ｂに係る変形画像が写る後方領域Ｒｂ、右後方カメラ１２１Ｃに係る変形画像が写る右後方領域Ｒｃ、右前方カメラ１２１Ｄに係る変形画像が写る右前方領域Ｒｄ、画像が写らない左前方領域Ｒｅを有する。なお、左後方領域Ｒａ、後方領域Ｒｂ、右後方領域Ｒｃ、右前方領域Ｒｄ、左前方領域Ｒｅの領域の境界線は、俯瞰画像Ｇ１１に表示されない。
【0039】
マーカＧ１２は、障害物の位置を示す。マーカＧ１２の形状は、例えば、円、楕円、正多角形、多角形などが挙げられる。
単カメラ画像Ｇ１４は、１つのカメラ１２１が撮像した単カメラ画像である。
単カメラ画像Ｇ１４は、１つのカメラ１２１が撮像した単カメラ画像である。
【0040】
《障害物の報知方法》
図６は、第１の実施形態に係る制御装置１４５の動作を示すフローチャートである。
制御装置１４５が周囲監視処理を開始すると、取得部２１１は、複数のカメラ１２１、から撮像画像を取得する（ステップＳ１）。
次に、俯瞰画像生成部２１２は、ステップＳ１で取得した複数の撮像画像を変形し、合成することで、作業機械１００を中心として、現場を上方から平面視した俯瞰画像Ｇ１１を生成する（ステップＳ２）。このとき、俯瞰画像生成部２１２は、合成前の各変形画像をメインメモリ２３０に記録しておく。次に、障害物検出部２１３は、ステップＳ１で取得した各撮像画像について障害物の検出処理を実行し、障害物が検出されたか否かを判定する（ステップＳ３）。
図６は、第１の実施形態に係る制御装置１４５の動作を示すフローチャートである。
制御装置１４５が周囲監視処理を開始すると、取得部２１１は、複数のカメラ１２１、から撮像画像を取得する（ステップＳ１）。
次に、俯瞰画像生成部２１２は、ステップＳ１で取得した複数の撮像画像を変形し、合成することで、作業機械１００を中心として、現場を上方から平面視した俯瞰画像Ｇ１１を生成する（ステップＳ２）。このとき、俯瞰画像生成部２１２は、合成前の各変形画像をメインメモリ２３０に記録しておく。次に、障害物検出部２１３は、ステップＳ１で取得した各撮像画像について障害物の検出処理を実行し、障害物が検出されたか否かを判定する（ステップＳ３）。
【0041】
撮像画像において障害物が検出された場合（ステップＳ３：ＹＥＳ）、障害物検出部２１３は、左後方領域Ｒａ、後方領域Ｒｂ、右後方領域Ｒｃ、右前方領域Ｒｄのうち障害物が検出された領域を特定する（ステップＳ４）。すなわち、障害物検出部２１３は、左後方カメラ１２１Ａの撮像画像において障害物が検出された場合、障害物が検出された領域が左後方領域Ｒａであると判定する。障害物検出部２１３は、後方カメラ１２１Ｂの撮像画像において障害物が検出された場合、障害物が検出された領域が後方領域Ｒｂであると判定する。障害物検出部２１３は、右後方カメラ１２１Ｃの撮像画像において障害物が検出された場合、障害物が検出された領域が右後方領域Ｒｃであると判定する。障害物検出部２１３は、右前方カメラ１２１Ｄの撮像画像において障害物が検出された場合、障害物が検出された領域が右前方領域Ｒｄであると判定する。
【0042】
アラーム制御部２１７は、スピーカ１４５Ｓにアラームの音声信号を出力する（ステップＳ５）。また、表示画面生成部２１５は、ステップＳ２で生成した俯瞰画像Ｇ１１のうち、検出された障害物に対応する位置に、マーカＧ１２を配置する（ステップＳ６）。
【0043】
指示入力部２１４は、タッチパネルに２つの指が接触しているか否かを判定する（ステップＳ７）。タッチパネルに２つの指が接触してる場合（ステップＳ７：ＹＥＳ）、指示入力部２１４は、オペレータからピンチアウト操作による拡大指示を受け付けたか否かを判定する（ステップＳ８）。例えば、指示入力部２１４は、タッチパネルに２つの指が接触し、かつ２つの指の距離が接触開始時の距離より所定閾値以上大きい場合に、ピンチアウト操作がなされていると判定する。
【0044】
ピンチアウト操作がなされていない場合（ステップＳ８：ＮＯ）、指示入力部２１４は、タッチパネルにおける２つの指の座標を特定し、初期座標としてメインメモリ２３０に記録する（ステップＳ９）。ステップＳ９で記録した初期座標は、今回検出された２つの指によってピンチアウト操作がなされた場合に、ピンチアウト操作の開始時の座標とみなすことができる。
【0045】
ピンチアウト操作がなされた場合（ステップＳ８：ＹＥＳ）、指示入力部２１４は、メインメモリ２３０に記憶された２つの指の初期座標に基づいて、オペレータが指定する障害物を特定する（ステップＳ１０）。具体的には、指示入力部２１４は、ステップＳ３で検出された障害物のうち、２つの指の初期座標の中心座標からの距離が最も短いものを、オペレータが指定する障害物と特定する。また、指示入力部２１４は、２つの指の初期座標と、２つの指の現在の座標とに基づいて、拡大率を決定する（ステップＳ１１）。例えば、指示入力部２１４は、初期座標に係る２つの指の距離と、現在の２つの指の距離との比率に所定の係数を乗算することで、拡大率を決定する。
【0046】
俯瞰画像生成部２１２は、ステップＳ２で生成した俯瞰画像のうち、ステップＳ１０で特定した障害物が存在する領域の部分を、ステップＳ１１で決定した拡大率に従って拡大する（ステップＳ１２）。このとき、俯瞰画像生成部２１２は、ステップＳ１０で特定した障害物を中心に、画像の拡大を行う。
そして、表示画面生成部２１５は、ステップＳ１２で拡大した俯瞰画像Ｇ１１と、ステップＳ６で配置されたマーカＧ１２と、ステップＳ１で取得した単カメラ画像Ｇ１４とを配置した表示画面データＧ１を生成する（ステップＳ１３）。表示制御部２１６は、生成した表示画面データＧ１をディスプレイ１４５Ｄに出力する（ステップＳ１４）。つまり、表示制御部２１６は、拡大指示の入力があった場合、検出された障害物を中心とした拡大画像を出力する。
そして、表示画面生成部２１５は、ステップＳ１２で拡大した俯瞰画像Ｇ１１と、ステップＳ６で配置されたマーカＧ１２と、ステップＳ１で取得した単カメラ画像Ｇ１４とを配置した表示画面データＧ１を生成する（ステップＳ１３）。表示制御部２１６は、生成した表示画面データＧ１をディスプレイ１４５Ｄに出力する（ステップＳ１４）。つまり、表示制御部２１６は、拡大指示の入力があった場合、検出された障害物を中心とした拡大画像を出力する。
【0047】
他方、ステップＳ７で２つの指がタッチパネルに接触していない場合（ステップＳ７：ＮＯ）、またはステップＳ９で２つの指の初期座標を記録した場合（ステップＳ９）、表示画面生成部２１５は、ステップＳ２で生成した俯瞰画像Ｇ１１と、ステップＳ６で配置されたマーカＧ１２と、ステップＳ１で取得した単カメラ画像Ｇ１４とを配置した表示画面データＧ１を生成する（ステップＳ１３）。そして、表示制御部２１６は、生成した表示画面データＧ１をディスプレイ１４５Ｄに出力する（ステップＳ１４）。つまり、表示制御部２１６は、拡大指示の入力がない場合、障害物を拡大しない俯瞰画像Ｇ１を出力する。
【0048】
ステップＳ３で撮像画像において障害物が検出されない場合（ステップＳ３：ＹＥＳ）、アラーム制御部２１７は、音声信号の出力を停止する（ステップＳ１１）。そして、表示画面生成部２１５は、ステップＳ２で生成した俯瞰画像Ｇ１１と、ステップＳ１で取得した単カメラ画像Ｇ１４とを配置した表示画面データＧ１を生成する（ステップＳ１３）。そして、表示制御部２１６は、生成した表示画面データＧ１をディスプレイ１４５Ｄに出力する（ステップＳ１４）。
【0049】
上記の処理を繰り返し実行することで、制御装置１４５は、俯瞰画像Ｇ１１に重畳して検出された障害物にマーカＧ１２を付し、ピンチアウト操作による拡大指示がなされると障害物を中心に俯瞰画像の一部を拡大表示することができる。
【0050】
なお、図６に示すフローチャートは一例であり、他の実施形態においては必ずしもすべてのステップを実行しなくてもよい。例えば、他の実施形態において、アラームによる報知をしない場合には、ステップＳ５およびステップＳ１１の処理を実行しなくてもよい。また例えば、他の実施形態において、マーカＧ１２による報知をしない場合には、ステップＳ６の処理を実行しなくてもよい。また、他の実施形態において、拡大指示をピンチアウト操作ではなくタップ操作、ダブルタップ操作、長押し操作などによって行う場合には、ステップＳ９の初期座標の特定およびステップＳ１１の拡大率の決定を行わなくてもよい。タップ操作やダブルタップ操作などによって拡大指示がなされる場合、拡大率は固定となる。また、タッチ操作は、指Ｆに代えてタッチペンなどを用いて行われてもよい。
【0051】
《動作例》
以下、図を用いながら第１の実施形態に係る制御装置１４５の動作例について説明する。
図７は、第１の実施形態に係る制御装置１４５の動作例を示す図である。
制御装置１４５の障害物検出部２１３は、ステップＳ３で作業機械１００の周囲において障害物を検出すると、ステップＳ４で検出された領域を特定する。ここで、例えば右前方カメラ１２１Ｄの撮像画像および後方カメラ１２１Ｂの撮像画像において障害物が検出された場合、障害物検出部２１３は、障害物が検出された領域が後方領域Ｒｂおよび右前方領域Ｒｄであると特定する。
以下、図を用いながら第１の実施形態に係る制御装置１４５の動作例について説明する。
図７は、第１の実施形態に係る制御装置１４５の動作例を示す図である。
制御装置１４５の障害物検出部２１３は、ステップＳ３で作業機械１００の周囲において障害物を検出すると、ステップＳ４で検出された領域を特定する。ここで、例えば右前方カメラ１２１Ｄの撮像画像および後方カメラ１２１Ｂの撮像画像において障害物が検出された場合、障害物検出部２１３は、障害物が検出された領域が後方領域Ｒｂおよび右前方領域Ｒｄであると特定する。
【0052】
オペレータは、スピーカ１４５Ｓから発せられるアラームを聞き、ディスプレイ１４５Ｄを視認することで、後方領域Ｒｂおよび右前方領域Ｒｄに障害物が存在することを認識する。ここで、オペレータは、右前方領域Ｒｄの障害物を認識しづらい場合に、当該障害物の確認のために、拡大指示を行う。すなわち、オペレータは、図７に示すように、拡大したい障害物の近傍に２本の指Ｆを接触させ、２本の指を離間する操作を行う。
【0053】
このとき、制御装置１４５の指示入力部２１４は、まずピンチアウト開始時に、ステップＳ９で初期座標を記録し、ピンチアウト操作時にステップＳ１０で２本の指Ｆに最も近い障害物を特定する。ここでは、指示入力部２１４は、右前方領域Ｒｄの障害物を特定する。指示入力部２１４は、ステップＳ１１で拡大率を決定し、右前方領域Ｒｄの変形画像を、特定した障害物を中心に、かつステップＳ１１で決定した拡大率で、拡大する。
【0054】
《作用・効果》
第１の実施形態に係る制御装置１４５は、作業機械の周囲に障害物が存在すると判定した場合に障害物を示す報知を行い、当該報知に対する操作指示を受け付けた場合に、障害物の表示形態の変更を行う。これにより、オペレータは、障害物の確認のために所定の操作指示を行うことで、検出された障害物に関する情報を容易に取得することができる。
第１の実施形態に係る制御装置１４５は、作業機械の周囲に障害物が存在すると判定した場合に障害物を示す報知を行い、当該報知に対する操作指示を受け付けた場合に、障害物の表示形態の変更を行う。これにより、オペレータは、障害物の確認のために所定の操作指示を行うことで、検出された障害物に関する情報を容易に取得することができる。
【0055】
また、第１の実施形態に係る制御装置１４５は、ピンチアウト操作により、対象となる障害物を中心に変形画像を拡大する。これにより、オペレータは、直感的な操作により、障害物の拡大画像を取得することができる。また、ピンチアウト操作の初期座標ではなく障害物を中心に拡大をすることで、拡大により障害物が画面外に出てしまうことを防ぐことができる。
【0056】
《変形例》
なお、第１の実施形態に係る制御装置１４５は、俯瞰画像Ｇ１１に対する拡大指示により、俯瞰画像Ｇ１１の一部を拡大するが、これに限られない。図８は、第１の実施形態の変形例に係る制御装置１４５の動作例を示す図である。
例えば、第１変形例に係る制御装置１４５は、図８に示すように、単カメラ画像Ｇ１４にマーカＧ１２を付してもよい。この場合、制御装置１４５は、拡大指示に基づいて、障害物を中心に単カメラ画像Ｇ１４を拡大してもよい。
なお、第１の実施形態に係る制御装置１４５は、俯瞰画像Ｇ１１に対する拡大指示により、俯瞰画像Ｇ１１の一部を拡大するが、これに限られない。図８は、第１の実施形態の変形例に係る制御装置１４５の動作例を示す図である。
例えば、第１変形例に係る制御装置１４５は、図８に示すように、単カメラ画像Ｇ１４にマーカＧ１２を付してもよい。この場合、制御装置１４５は、拡大指示に基づいて、障害物を中心に単カメラ画像Ｇ１４を拡大してもよい。
【0057】
〈第２の実施形態〉
第１の実施形態に係る制御装置１４５は、ピンチアウト操作による拡大指示を受け付け、俯瞰画像Ｇ１１の一部領域を拡大する。これに対し、第２の実施形態に係る制御装置１４５は、タップ操作による拡大指示を受け付け、俯瞰画像Ｇ１１と別個に障害物の拡大画像を表示させる。俯瞰画像Ｇ１１と別個に障害物の拡大画像を表示させることは、障害物の表示形態の変更の一例である。
第１の実施形態に係る制御装置１４５は、ピンチアウト操作による拡大指示を受け付け、俯瞰画像Ｇ１１の一部領域を拡大する。これに対し、第２の実施形態に係る制御装置１４５は、タップ操作による拡大指示を受け付け、俯瞰画像Ｇ１１と別個に障害物の拡大画像を表示させる。俯瞰画像Ｇ１１と別個に障害物の拡大画像を表示させることは、障害物の表示形態の変更の一例である。
【0058】
第２の実施形態に係る制御装置１４５の構成は、第１の実施形態と同様である。第２の実施形態に係る制御装置１４５は、第１の実施形態と指示入力部２１４及び表示画面生成部２１５の動作が異なる。
【0059】
第２の実施形態に係る指示入力部２１４は、タッチパネルに対するダブルタップ操作を、ディスプレイ１４５Ｄへの障害物の表示に対する拡大指示として受け付ける。ダブルタップ操作とは、タッチパネルに短い時間間隔で２回触れる操作をいう。指示入力部２１４は、タッチパネルにおけるダブルタップ操作に係る指の座標を特定する。
【0060】
表示画面生成部２１５は、指示入力部２１４が拡大指示を受け付けた場合に、撮像画像の当該障害物の表示を拡大し、かつ障害物を中心にクロッピングした拡大画像Ｇ１５を配置した表示画面データＧ１を生成する。拡大画像Ｇ１５は、変形画像ではなく、撮像画像から生成される。拡大画像Ｇ１５は、俯瞰画像Ｇ１１のうち画像が写らない左前方領域Ｒｅに配置される。画像が写らない部分への障害物の拡大画像の表示は、障害物の表示形態の変更の一例である。
【0061】
《障害物の報知方法》
図９は、第２の実施形態に係る制御装置１４５の動作を示すフローチャートである。
第２の実施形態に係る制御装置１４５は、第１の実施形態に係るステップＳ７－Ｓ１２に代えて、以下に示すステップＳ２２－Ｓ２５を実行する。
表示画面生成部２１５がステップＳ６でマーカＧ１２を配置すると、指示入力部２１４は、タッチパネルに対しダブルタップ操作がなされたか否かを判定する（ステップＳ２１）。ダブルタップ操作がなされていない場合（ステップＳ２１：ＮＯ）、表示画面生成部２１５は、ステップＳ２で生成した俯瞰画像Ｇ１１と、ステップＳ６で配置されたマーカＧ１２と、ステップＳ１で取得した単カメラ画像Ｇ１４とを配置した表示画面データＧ１を生成する（ステップＳ１３）。そして、表示制御部２１６は、生成した表示画面データＧ１をディスプレイ１４５Ｄに出力する（ステップＳ１４）。つまり、表示制御部２１６は、拡大指示の入力がない場合、拡大画像Ｇ１５を含まない表示画面データＧ１を出力する。
図９は、第２の実施形態に係る制御装置１４５の動作を示すフローチャートである。
第２の実施形態に係る制御装置１４５は、第１の実施形態に係るステップＳ７－Ｓ１２に代えて、以下に示すステップＳ２２－Ｓ２５を実行する。
表示画面生成部２１５がステップＳ６でマーカＧ１２を配置すると、指示入力部２１４は、タッチパネルに対しダブルタップ操作がなされたか否かを判定する（ステップＳ２１）。ダブルタップ操作がなされていない場合（ステップＳ２１：ＮＯ）、表示画面生成部２１５は、ステップＳ２で生成した俯瞰画像Ｇ１１と、ステップＳ６で配置されたマーカＧ１２と、ステップＳ１で取得した単カメラ画像Ｇ１４とを配置した表示画面データＧ１を生成する（ステップＳ１３）。そして、表示制御部２１６は、生成した表示画面データＧ１をディスプレイ１４５Ｄに出力する（ステップＳ１４）。つまり、表示制御部２１６は、拡大指示の入力がない場合、拡大画像Ｇ１５を含まない表示画面データＧ１を出力する。
【0062】
他方、ダブルタップ操作がなされた場合（ステップＳ２１：ＹＥＳ）、指示入力部２１４は、ダブルタップ操作に係る座標に基づいて、オペレータが指定する障害物を特定する（ステップＳ２２）。具体的には、指示入力部２１４は、ステップＳ３で検出された障害物のうち、最後にタッチされた座標からの距離が最も短いものを、オペレータが指定する障害物と特定する。表示画面生成部２１５は、ステップＳ１で取得した撮像画像のうち、ステップＳ２２で特定した障害物が写るものを特定する（ステップＳ２３）。表示画面生成部２１５は、ステップＳ２２で特定した障害物を中心に、撮像画像を所定の拡大率で拡大し、所定のサイズにクロッピングすることで、拡大画像を生成する（ステップＳ２４）。例えば、所定の拡大率は予め定めておいた固定の拡大率とし、固定の拡大画像を生成するようにしてよい。表示画面生成部２１５は、生成した拡大画像を、俯瞰画像Ｇ１１の左前方領域Ｒｅに配置する（ステップＳ２５）。このとき、表示画面生成部２１５は、拡大画像とステップＳ２２で特定した障害物とを線で結び、拡大画像がどの障害物を示すかを明示してもよい。
【0063】
そして、表示画面生成部２１５は、ステップＳ１２で拡大した俯瞰画像Ｇ１１と、ステップＳ６で配置されたマーカＧ１２と、ステップＳ１で取得した単カメラ画像Ｇ１４と、拡大画像Ｇ１５とを配置した表示画面データＧ１を生成する（ステップＳ１３）。表示制御部２１６は、生成した表示画面データＧ１をディスプレイ１４５Ｄに出力する（ステップＳ１４）。つまり、表示制御部２１６は、拡大指示の入力があった場合、検出された障害物を中心とした拡大画像を出力する。表示画面生成部２１５は、拡大画像Ｇ１５の表示開始から一定時間が経過したときに、当該拡大画像Ｇ１５を表示画面データＧ１から削除してもよい。
【0064】
《動作例》
以下、図を用いながら第２の実施形態に係る制御装置１４５の動作例について説明する。
図１０は、第２の実施形態に係る制御装置１４５の動作例を示す図である。
制御装置１４５の障害物検出部２１３は、ステップＳ３で作業機械１００の周囲において障害物を検出すると、ステップＳ４で検出された領域を特定する。ここで、例えば右前方カメラ１２１Ｄの撮像画像および後方カメラ１２１Ｂの撮像画像において障害物が検出された場合、障害物検出部２１３は、障害物が検出された領域が後方領域Ｒｂおよび右前方領域Ｒｄであると特定する。
以下、図を用いながら第２の実施形態に係る制御装置１４５の動作例について説明する。
図１０は、第２の実施形態に係る制御装置１４５の動作例を示す図である。
制御装置１４５の障害物検出部２１３は、ステップＳ３で作業機械１００の周囲において障害物を検出すると、ステップＳ４で検出された領域を特定する。ここで、例えば右前方カメラ１２１Ｄの撮像画像および後方カメラ１２１Ｂの撮像画像において障害物が検出された場合、障害物検出部２１３は、障害物が検出された領域が後方領域Ｒｂおよび右前方領域Ｒｄであると特定する。
【0065】
オペレータは、スピーカ１４５Ｓから発せられるアラームを聞き、ディスプレイ１４５Ｄを視認することで、後方領域Ｒｂおよび右前方領域Ｒｄに障害物が存在することを認識する。ここで、オペレータは、右前方領域Ｒｄの障害物を認識しづらい場合に、当該障害物の確認のために、拡大指示を行う。すなわち、オペレータは、図１０に示すように、拡大したい障害物の近傍でダブルタップ操作を行う。
【0066】
このとき、指示入力部２１４は、最後に接触があった座標に最も近い障害物を特定する。ここでは、指示入力部２１４は、右前方領域Ｒｄの障害物を特定する。表示画面生成部２１５は、ステップＳ２４で、特定された障害物が写る撮像画像を、特定した障害物を中心に拡大し、クロッピングすることで、拡大画像Ｇ１５を生成する。表示画面生成部２１５は、ステップＳ２５で、拡大画像Ｇ１５を俯瞰画像Ｇ１１の左前方領域Ｒｅに配置する。
【0067】
《作用・効果》
第２の実施形態に係る制御装置１４５は、対象となる障害物を中心に変形画像ではなく撮像画像を拡大することで拡大画像Ｇ１５を生成する。俯瞰画像Ｇ１１のために生成された変形画像は、元の撮像画像を歪ませたものであるため、変形画像に写る障害物にも歪みが生じる可能性がある。そのため、制御装置１４５は、変形画像でなく撮像画像を拡大した拡大画像Ｇ１５を提示することで、オペレータに障害物を視認しやすい画像を提供することができる。
第２の実施形態に係る制御装置１４５は、対象となる障害物を中心に変形画像ではなく撮像画像を拡大することで拡大画像Ｇ１５を生成する。俯瞰画像Ｇ１１のために生成された変形画像は、元の撮像画像を歪ませたものであるため、変形画像に写る障害物にも歪みが生じる可能性がある。そのため、制御装置１４５は、変形画像でなく撮像画像を拡大した拡大画像Ｇ１５を提示することで、オペレータに障害物を視認しやすい画像を提供することができる。
【0068】
《変形例》
なお、第２の実施形態に係る制御装置１４５は、拡大画像Ｇ１５を俯瞰画像Ｇ１１の左前方領域Ｒｅに配置するが、これに限られない。図１１は、第２の実施形態の第１変形例に係る制御装置１４５の動作例を示す図である。図１２は、第２の実施形態の第２変形例に係る制御装置１４５の動作例を示す図である。
例えば、第１変形例に係る制御装置１４５は、図１１に示すように、拡大画像Ｇ１５を俯瞰画像Ｇ１１と単カメラ画像Ｇ１４の間に配置してもよい。また例えば、第２変形例に係る制御装置１４５は、図１２に示すように、単カメラ画像Ｇ１４に代えて拡大画像Ｇ１５を配置してもよい。
なお、第２の実施形態に係る制御装置１４５は、拡大画像Ｇ１５を俯瞰画像Ｇ１１の左前方領域Ｒｅに配置するが、これに限られない。図１１は、第２の実施形態の第１変形例に係る制御装置１４５の動作例を示す図である。図１２は、第２の実施形態の第２変形例に係る制御装置１４５の動作例を示す図である。
例えば、第１変形例に係る制御装置１４５は、図１１に示すように、拡大画像Ｇ１５を俯瞰画像Ｇ１１と単カメラ画像Ｇ１４の間に配置してもよい。また例えば、第２変形例に係る制御装置１４５は、図１２に示すように、単カメラ画像Ｇ１４に代えて拡大画像Ｇ１５を配置してもよい。
【0069】
第２の実施形態に係る制御装置１４５は、俯瞰画像Ｇ１１に対する拡大指示により拡大画像Ｇ１５を生成するが、これに限られない。図１３は、第２の実施形態の第３変形例に係る制御装置１４５の動作例を示す図である。
例えば、第３変形例に係る制御装置１４５は、図１３に示すように、単カメラ画像Ｇ１４にマーカＧ１２を付してもよい。この場合、制御装置１４５は、単カメラ画像Ｇ１４への拡大指示に基づいて拡大画像Ｇ１５を生成し、単カメラ画像Ｇ１４上に拡大画像Ｇ１５を配置してもよい。
例えば、第３変形例に係る制御装置１４５は、図１３に示すように、単カメラ画像Ｇ１４にマーカＧ１２を付してもよい。この場合、制御装置１４５は、単カメラ画像Ｇ１４への拡大指示に基づいて拡大画像Ｇ１５を生成し、単カメラ画像Ｇ１４上に拡大画像Ｇ１５を配置してもよい。
【0070】
〈第３の実施形態〉
第１、第２の実施形態に係る制御装置１４５は、拡大指示に基づいて画像における障害物を拡大する。これに対し、第３の実施形態に係る制御装置１４５は、タップ操作による種別表示指示を受け付け、障害物の近傍に当該障害物の種別を表示させる。障害物の近傍に当該障害物の種別を表示させることは、障害物の表示形態の変更の一例である。
第１、第２の実施形態に係る制御装置１４５は、拡大指示に基づいて画像における障害物を拡大する。これに対し、第３の実施形態に係る制御装置１４５は、タップ操作による種別表示指示を受け付け、障害物の近傍に当該障害物の種別を表示させる。障害物の近傍に当該障害物の種別を表示させることは、障害物の表示形態の変更の一例である。
【0071】
第３の実施形態に係る制御装置１４５の構成は、第２の実施形態と同様である。第３の実施形態に係る制御装置１４５は、第２の実施形態と障害物検出部２１３、指示入力部２１４、および表示画面生成部２１５の動作が異なる。
【0072】
第３の実施形態に係る障害物検出部２１３は、障害物を検出したときに、当該障害物の種別を特定する。例えば、障害物検出部２１３は、パターンマッチングによって障害物を検出する場合、予め障害物の種別ごとにパターンを用意しておき、マッチしたパターンに関連付けられた種別を、障害物の種別として特定する。例えば、障害物検出部２１３が機械学習に基づく物体検出処理によって障害物を検出する場合、予めモデルが障害物の種別を示すラベルを出力するように学習させておき、ラベルに基づいて障害物の種別を特定する。
第３の実施形態に係る指示入力部２１４は、タッチパネルに対するダブルタップ操作を、ディスプレイ１４５Ｄへの障害物の表示に対する種別表示指示として受け付ける。
表示画面生成部２１５は、指示入力部２１４が種別表示指示を受け付けた場合に、撮像画像の障害物の近傍に当該障害物の種別表示を配置する。
第３の実施形態に係る指示入力部２１４は、タッチパネルに対するダブルタップ操作を、ディスプレイ１４５Ｄへの障害物の表示に対する種別表示指示として受け付ける。
表示画面生成部２１５は、指示入力部２１４が種別表示指示を受け付けた場合に、撮像画像の障害物の近傍に当該障害物の種別表示を配置する。
【0073】
《動作例》
以下、図を用いながら第３の実施形態に係る制御装置１４５の動作例について説明する。
図１４は、第３の実施形態に係る制御装置１４５の動作例を示す図である。
制御装置１４５の障害物検出部２１３は、作業機械１００の周囲において障害物を検出すると、当該障害物の種別と、当該障害物が検出された領域を特定する。オペレータは、スピーカ１４５Ｓから発せられるアラームを聞き、ディスプレイ１４５Ｄを視認することで障害物が存在することを認識する。ここで、オペレータは、右前方領域Ｒｄの障害物を認識しづらい場合に、当該障害物の確認のために、種別表示指示を行う。指示入力部２１４は、最後に接触があった座標に最も近い障害物を特定する。表示画面生成部２１５は、特定された障害物の種別を表示するラベル画像Ｇ１６を生成する。表示画面生成部２１５は、ラベル画像Ｇ１６を種別表示指示に係る座標に配置する。
以下、図を用いながら第３の実施形態に係る制御装置１４５の動作例について説明する。
図１４は、第３の実施形態に係る制御装置１４５の動作例を示す図である。
制御装置１４５の障害物検出部２１３は、作業機械１００の周囲において障害物を検出すると、当該障害物の種別と、当該障害物が検出された領域を特定する。オペレータは、スピーカ１４５Ｓから発せられるアラームを聞き、ディスプレイ１４５Ｄを視認することで障害物が存在することを認識する。ここで、オペレータは、右前方領域Ｒｄの障害物を認識しづらい場合に、当該障害物の確認のために、種別表示指示を行う。指示入力部２１４は、最後に接触があった座標に最も近い障害物を特定する。表示画面生成部２１５は、特定された障害物の種別を表示するラベル画像Ｇ１６を生成する。表示画面生成部２１５は、ラベル画像Ｇ１６を種別表示指示に係る座標に配置する。
【0074】
《作用・効果》
第３の実施形態に係る制御装置１４５は、対象となる障害物の種別を表すラベル画像Ｇ１６を生成する。制御装置１４５は、ラベル画像Ｇ１６を提示することで、オペレータに障害物の種別を認識させることができる。
第３の実施形態に係る制御装置１４５は、対象となる障害物の種別を表すラベル画像Ｇ１６を生成する。制御装置１４５は、ラベル画像Ｇ１６を提示することで、オペレータに障害物の種別を認識させることができる。
【0075】
《変形例》
なお、第３の実施形態に係る制御装置１４５は、障害物の種別をディスプレイ１４５Ｄに表示させるが、これに限られない。例えば、他の実施形態に係る制御装置１４５は、ディスプレイ１４５Ｄへの表示に代えて、スピーカ１４５Ｓから障害物の種別を表す音声を出力させてもよい。
なお、第３の実施形態に係る制御装置１４５は、障害物の種別をディスプレイ１４５Ｄに表示させるが、これに限られない。例えば、他の実施形態に係る制御装置１４５は、ディスプレイ１４５Ｄへの表示に代えて、スピーカ１４５Ｓから障害物の種別を表す音声を出力させてもよい。
【0076】
〈他の実施形態〉
以上、図面を参照して一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、様々な設計変更等をすることが可能である。すなわち、他の実施形態においては、上述の処理の順序が適宜変更されてもよい。また、一部の処理が並列に実行されてもよい。
以上、図面を参照して一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、様々な設計変更等をすることが可能である。すなわち、他の実施形態においては、上述の処理の順序が適宜変更されてもよい。また、一部の処理が並列に実行されてもよい。
【0077】
上述した実施形態に係る制御装置１４５は、ディスプレイ１４５ＤへのマーカＧ１２の表示、アラームアイコンＧ１３の表示、およびスピーカ１４５Ｓからのアラームによって障害物の報知を行うが、他の実施形態においてはこれに限られない。例えば、他の実施形態に係る制御装置１４５は、作業機械１００の介入制御により障害物の報知を行ってもよい。
【0078】
また、上述した実施形態に係る作業機械１００は、油圧ショベルであるが、これに限られない。例えば、他の実施形態に係る作業機械１００は、例えば、ダンプトラック、ブルドーザ、ホイルローダなどの他の作業機械であってもよい。
【0079】
また、図５などに示す表示画面の例においては、表示画面に左後方領域Ｒａ、後方領域Ｒｂ、右後方領域Ｒｃ、右前方領域Ｒｄ、左前方領域Ｒｅの領域の境界線が表示されないものとし説明したが、これに限られず、他の実施形態においては、表示画面に領域の境界線が表示されてもよい。
【0080】
上述した実施形態に係る制御装置１４５の障害物検出部２１３は、障害物が存在する領域を特定するが、これに限られない。例えば、他の実施形態に係る制御装置１４５は、障害物が存在する領域を特定しなくてもよい。この場合、制御装置１４５は、拡大指示や種別表示指示によりに基づいて、接触があった座標に最も近い障害物を特定し、当該障害物を中心に拡大してもよいし、当該障害物の近傍に、障害物の種別を表示するようにしてもよい。
【0081】
上述した実施形態に係る制御装置１４５は、拡大指示や種別表示指示により接触があった座標に最も近い障害物を特定するが、これに限られない。例えば、制御装置１４５は、拡大指示がなされた領域に存在する当該障害物を中心に当該領域に係る変形画像を拡大してもよい。または、制御装置１４５は、拡大した画像を、画像が写らない左前方領域Ｒｅや、俯瞰画像Ｇ１１と単カメラ画像Ｇ１４の間などに表示させてもよい。なお、制御装置１４５は、拡大指示がなされた領域に存在する障害物の数に応じて、拡大表示の態様を異ならせてもよい。例えば、制御装置１４５は、拡大指示がなされた領域に存在する障害物の数が１つである場合に、当該障害物を中心に当該領域に係る変形画像を拡大し、拡大指示がなされた領域に存在する障害物の数が２つ以上である場合に、各障害物を拡大した画像を、画像が写らない左前方領域Ｒｅや、俯瞰画像Ｇ１１と単カメラ画像Ｇ１４の間などに表示させる。また、例えば、制御装置１４５は、種別表示指示がなされた領域に存在する障害物の近傍に、障害物の種別を表示するようにしてもよい。
【符号の説明】
【0082】
１００…作業機械 １１０…走行体 １２０…旋回体 １２１…カメラ １３０…作業機 １４５…制御装置 １４５Ｄ…ディスプレイ １４５Ｓ…スピーカ ２１１…取得部 ２１２…俯瞰画像生成部 ２１３…障害物検出部 ２１４…指示入力部 ２１５…表示画面生成部 ２１６…表示制御部 ２１７…アラーム制御部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】