特許 7560955 ショベル、作業機械の障害物報知システムおよびショベルの障害物報知方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-25

(45)【発行日】2024-10-03

(54)【発明の名称】ショベル、作業機械の障害物報知システムおよびショベルの障害物報知方法

(51)【国際特許分類】

   G08G 1/16 20060101AFI20240926BHJP

【ＦＩ】

G08G1/16 C

【請求項の数】 6

(21)【出願番号】P 2020074754

(22)【出願日】2020-04-20

(65)【公開番号】P2021174054

(43)【公開日】2021-11-01

【審査請求日】2023-03-08

(73)【特許権者】

【識別番号】000001236

【氏名又は名称】株式会社小松製作所

(74)【代理人】

【識別番号】110001634

【氏名又は名称】弁理士法人志賀国際特許事務所

(72)【発明者】

【氏名】中沢 浩一

(72)【発明者】

【氏名】江口 太郎

(72)【発明者】

【氏名】栗原 毅

(72)【発明者】

【氏名】下屋 芳之

【審査官】佐藤 吉信

(56)【参考文献】

【文献】特開２０１７－１０１４１９（ＪＰ，Ａ）

【文献】特開２０１５－１２５６８６（ＪＰ，Ａ）

【文献】特開２０１４－０８５８３２（ＪＰ，Ａ）

【文献】国際公開第２０１８／２２０７７４（ＷＯ，Ａ１）

【文献】特開平１１－１３９２２９（ＪＰ，Ａ）

【文献】特開２０１４－１９９５４６（ＪＰ，Ａ）

【文献】特開２０１５－１５３３１８（ＪＰ，Ａ）

【文献】特開２０１７－０６６８６０（ＪＰ，Ａ）

【文献】特開２０１７－１０１４２０（ＪＰ，Ａ）

【文献】国際公開第２０１５／００１６６５（ＷＯ，Ａ１）

【文献】国際公開第２０１６／１５８２５５（ＷＯ，Ａ１）

【文献】国際公開第２０１７／０６１１８３（ＷＯ，Ａ１）

【文献】国際公開第２０１９／１３１９５５（ＷＯ，Ａ１）

【文献】国際公開第２０１９／１１１８５９（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０８Ｇ １／００－９９／００

Ｂ６０Ｗ １０／００－１０／３０

Ｂ６０Ｗ ３０／００－６０／００

(57)【特許請求の範囲】

【請求項1】

ショベルであって、
走行体と、
前記走行体に旋回可能に支持される旋回体と、
前記旋回体に設けられ、前記ショベルの周囲を撮像する複数のカメラと、
制御装置と、
表示部と、
を備え、
前記制御装置は、
複数の前記カメラから取得した撮像画像から、前記ショベルを中心とした俯瞰画像を生成し、
複数の前記カメラから取得した撮像画像から、前記ショベルの周囲に障害物が存在するか否かを判定し、
前記ショベルの周囲に障害物が存在する場合、前記障害物の検出位置に対応する位置に、前記障害物の存在を報知するマーカを前記俯瞰画像に重畳し、
前記マーカを重畳させた前記俯瞰画像を前記表示部に表示し、
前記ショベルのオペレータのアクションを検出し、
検出された前記アクションが安全確認時に実行される確認アクションであるか否かを判定し、
検出された前記アクションが前記確認アクションであるか否かの判定に基づいて、前記俯瞰画像上の前記障害物の検出位置に対応する位置に重畳した前記マーカの態様を変更し、
前記確認アクションがなされていない前記障害物が存在する場合に、スピーカからアラームを出力し、
存在すると判定されたすべての障害物について、前記確認アクションがなされた場合に、前記アラームの態様を変更する
ショベル。

【請求項2】

前記制御装置は、
複数の障害物が存在すると判定された場合、前記複数の障害物のうち前記確認アクションが確認された障害物に係る前記マーカの態様を変更する
請求項１に記載のショベル。

【請求項3】

前記確認アクションは、前記障害物が存在する方向を指し示すアクションを含む
請求項１から請求項２の何れか１項に記載のショベル。

【請求項4】

作業機械の周囲に障害物が存在するか否かを判定する障害物判定部と、
前記作業機械のオペレータのアクションを検出するアクション検出部と、
検出された前記アクションが安全確認時に実行される確認アクションであるか否かを判定するアクション判定部と、
前記アクションが前記確認アクションであると判定された場合に、前記障害物を示す報知の態様を変更する報知部と
を備え
前記確認アクションは、前記障害物が存在する方向を呼称するアクションを含み、
前記報知部は、
前記確認アクションがなされていない前記障害物が存在する場合に、前記確認アクションがなされていない前記障害物の位置を示すマーカを重畳させた俯瞰画像を表示し、
前記確認アクションがなされていない前記障害物が存在する場合に、スピーカからアラームを出力し、
存在すると判定されたすべての障害物について、前記確認アクションがなされた場合に、前記アラームの態様を変更する
作業機械の障害物報知システム。

【請求項5】

前記制御装置は、
オペレータによる確認方向を特定し、
特定した前記確認方向に対応する領域に配置された前記マーカの態様を変更する、
請求項１に記載のショベル。

【請求項6】

走行体と、前記走行体に旋回可能に支持される旋回体と、前記旋回体に設けられ周囲を撮像する複数のカメラと、表示部と、を備えるショベルにおける障害物報知方法であって、
複数の前記カメラから取得した撮像画像から、前記ショベルを中心とした俯瞰画像を生成するステップと、
複数の前記カメラから取得した撮像画像から、前記ショベルの周囲に障害物が存在するか否かを判定するステップと、
前記ショベルの周囲に障害物が存在する場合、前記障害物の検出位置に対応する位置に、前記障害物の存在を報知するマーカを前記俯瞰画像に重畳するステップと、
前記マーカを重畳させた前記俯瞰画像を前記表示部に表示するステップと、
前記ショベルのオペレータのアクションを検出するステップと、
検出された前記アクションが安全確認時に実行される確認アクションであるか否かを判定するステップと、
検出された前記アクションが前記確認アクションであるか否かの判定に基づいて、前記俯瞰画像上の前記障害物の検出位置に対応する位置に重畳した前記マーカの態様を変更するステップと、
前記確認アクションがなされていない前記障害物が存在する場合に、スピーカからアラームを出力するステップと、
存在すると判定されたすべての障害物について、前記確認アクションがなされた場合に、前記アラームの態様を変更するステップと、
を備えるショベルの障害物報知方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、作業機械の障害物報知システムおよび作業機械の障害物報知方法に関する。

【背景技術】

【0002】

特許文献１には、作業機械の周辺の人を検知する周辺監視システムに係る技術が開示されている。特許文献１に記載の技術によれば、周辺監視システムは、周囲の障害物を検知する。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１６－０３５７９１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

周辺監視システムは、障害物を検出すると、障害物が存在することをディスプレイやスピーカなどから報知する。作業機械のオペレータは、周辺監視システムによる報知を受け、障害物が存在することを確認し、また安全が確保されていることを確認する。

【0005】

ところで、オペレータは、確認済みの障害物についての報知を終わらせる場合、キャンセルボタン等の押下により、周辺監視システムに報知の終了を指示する必要がある。そのため、オペレータは、障害物の存在が報知されるたびに、障害物の確認作業を行い、報知の終了を指示する必要があり、操作が煩雑であった。
本開示の目的は、確認済みの障害物に係る報知の態様を容易に変更することができる作業機械の障害物報知システムおよび作業機械の障害物報知方法を提供することにある。

【課題を解決するための手段】

【0006】

第１の態様によれば、作業機械の障害物報知システムは、作業機械の周囲に障害物が存在するか否かを判定する障害物判定部と、前記作業機械のオペレータのアクションを検出するアクション検出部と、検出された前記アクションが安全確認時に実行される確認アクションであるか否かを判定するアクション判定部と、前記アクションが前記確認アクションであると判定された場合に、前記障害物を示す報知の態様を変更する報知部とを備える。

【発明の効果】

【0007】

上記態様によれば、作業機械の障害物報知システムは、確認済みの障害物に係る報知の態様を容易に変更することができる。

【図面の簡単な説明】

【0008】

【図1】第１の実施形態に係る作業機械の構成を示す概略図である。

【図2】第１の実施形態に係る作業機械が備える複数のカメラの撮像範囲を示す図である。

【図3】第１の実施形態に係る運転室の内部の構成を示す図である。

【図4】第１の実施形態に係る制御装置の構成を示す概略ブロック図である。

【図5】第１の実施形態に係るアクション辞書データが記憶する情報の例を示す図である。

【図6】第１の実施形態に係る表示画面の例を示す図である。

【図7】第１の実施形態に係る制御装置の動作を示すフローチャートである。

【図8】第１の実施形態に係る制御装置の第１の動作例を示す図である。

【図9】第１の実施形態に係る制御装置の第２の動作例を示す図である。

【発明を実施するための形態】

【0009】

〈第１の実施形態〉
以下、図面を参照しながら実施形態について詳しく説明する。

【0010】

《作業機械１００の構成》
図１は、第１の実施形態に係る作業機械１００の構成を示す概略図である。
作業機械１００は、施工現場にて稼働し、土砂などの施工対象を施工する。第１の実施形態に係る作業機械１００は、例えば油圧ショベルである。作業機械１００は、走行体１１０、旋回体１２０、作業機１３０および運転室１４０を備える。
走行体１１０は、作業機械１００を走行可能に支持する。走行体１１０は、例えば左右一対の無限軌道である。
旋回体１２０は、走行体１１０に旋回中心回りに旋回可能に支持される。
作業機１３０は、油圧により駆動する。作業機１３０は、旋回体１２０の前部に上下方向に駆動可能に支持される。運転室１４０は、オペレータが搭乗し、作業機械１００の操作を行うためのスペースである。運転室１４０は、旋回体１２０の左前部に設けられる。
ここで、旋回体１２０のうち作業機１３０が取り付けられる部分を前部という。また、旋回体１２０について、前部を基準に、反対側の部分を後部、左側の部分を左部、右側の部分を右部という。

【0011】

《旋回体１２０の構成》
旋回体１２０には、作業機械１００の周囲を撮像する複数のカメラ１２１が設けられる。図２は、第１の実施形態に係る作業機械１００が備える複数のカメラ１２１の撮像範囲を示す図である。
具体的には、旋回体１２０には、旋回体１２０の周囲のうち左後方領域Ｒａを撮像する左後方カメラ１２１Ａ、旋回体１２０の周囲のうち後方領域Ｒｂを撮像する後方カメラ１２１Ｂ、旋回体１２０の周囲のうち右後方領域Ｒｃを撮像する右後方カメラ１２１Ｃ、旋回体１２０の周囲の右前方領域Ｒｄを撮像する右前方カメラ１２１Ｄが設けられる。なお、複数のカメラ１２１の撮像範囲の一部は、互いに重複していてもよい。
複数のカメラ１２１の撮像範囲は、作業機械１００の全周のうち、運転室１４０から視認可能な左前方領域Ｒｅを除く範囲をカバーする。なお、第１の実施形態に係るカメラ１２１は、旋回体１２０の左後方、後方、右後方、および右前方を撮像するが、他の実施形態においてはこれに限られない。例えば、他の実施形態に係るカメラ１２１の数および撮像範囲は、図１および図２に示す例と異なっていてよい。

【0012】

なお、左後方カメラ１２１Ａは、図２の後方範囲Ｒｂに示すように、旋回体１２０の左側方領域、及び左後方領域の範囲を撮像するものであるが、そのどちらか一方の領域を撮像するものであってもよい。同様に、右後方カメラ１２１Ｃは、図２の右後方範囲Ｒｃに示すように、旋回体１２０の右側方領域、及び右後方領域の範囲を撮像するものであるが、そのどちらか一方の領域を撮像するものであってもよい。同様に、右前方カメラ１２１Ｄは、図２の右前方範囲Ｒｄに示すように、旋回体１２０の右前方領域、及び右側方領域の範囲を撮像するものであるが、そのどちらか一方の領域を撮像するものであってもよい。また、他の実施形態においては、複数のカメラ１２１を用いて、作業機械１００の全周囲を撮像範囲とするようにしてもよい。例えば、左前方範囲Ｒｅを撮像する左前方カメラを備えて、作業機械１００の全周囲を撮像範囲としてもよい。

【0013】

《作業機１３０の構成》
作業機１３０は、ブーム１３１、アーム１３２、バケット１３３、ブームシリンダ１３１Ｃ、アームシリンダ１３２Ｃ、およびバケットシリンダ１３３Ｃを備える。

【0014】

ブーム１３１の基端部は、旋回体１２０にブームピン１３１Ｐを介して取り付けられる。
アーム１３２は、ブーム１３１とバケット１３３とを連結する。アーム１３２の基端部は、ブーム１３１の先端部にアームピン１３２Ｐを介して取り付けられる。
バケット１３３は、土砂などを掘削するための刃と掘削した土砂を収容するための収容部とを備える。バケット１３３の基端部は、アーム１３２の先端部にバケットピン１３３Ｐを介して取り付けられる。

【0015】

ブームシリンダ１３１Ｃは、ブーム１３１を作動させるための油圧シリンダである。ブームシリンダ１３１Ｃの基端部は、旋回体１２０に取り付けられる。ブームシリンダ１３１Ｃの先端部は、ブーム１３１に取り付けられる。
アームシリンダ１３２Ｃは、アーム１３２を駆動するための油圧シリンダである。アームシリンダ１３２Ｃの基端部は、ブーム１３１に取り付けられる。アームシリンダ１３２Ｃの先端部は、アーム１３２に取り付けられる。
バケットシリンダ１３３Ｃは、バケット１３３を駆動するための油圧シリンダである。バケットシリンダ１３３Ｃの基端部は、アーム１３２に取り付けられる。バケットシリンダ１３３Ｃの先端部は、バケット１３３に接続されるリンク部材に取り付けられる。

【0016】

《運転室１４０の構成》
図３は、第１の実施形態に係る運転室１４０の内部の構成を示す図である。
運転室１４０内には、運転席１４１、操作装置１４２、マイク１４３、深度センサ１４４および制御装置１４５が設けられる。

【0017】

操作装置１４２は、オペレータの手動操作によって走行体１１０、旋回体１２０および作業機１３０を駆動させるための装置である。操作装置１４２は、左操作レバー１４２ＬＯ、右操作レバー１４２ＲＯ、左フットペダル１４２ＬＦ、右フットペダル１４２ＲＦ、左走行レバー１４２ＬＴ、右走行レバー１４２ＲＴを備える。

【0018】

左操作レバー１４２ＬＯは、運転席１４１の左側に設けられる。右操作レバー１４２ＲＯは、運転席１４１の右側に設けられる。

【0019】

左操作レバー１４２ＬＯは、旋回体１２０の旋回動作、及び、アーム１３２の掘削／ダンプ動作を行うための操作機構である。具体的には、作業機械１００のオペレータが左操作レバー１４２ＬＯを前方に倒すと、アーム１３２がダンプ動作する。また、作業機械１００のオペレータが左操作レバー１４２ＬＯを後方に倒すと、アーム１３２が掘削動作する。また、作業機械１００のオペレータが左操作レバー１４２ＬＯを右方向に倒すと、旋回体１２０が右旋回する。また、作業機械１００のオペレータが左操作レバー１４２ＬＯを左方向に倒すと、旋回体１２０が左旋回する。なお、他の実施形態においては、左操作レバー１４２ＬＯを前後方向に倒した場合に旋回体１２０が右旋回または左旋回し、左操作レバー１４２ＬＯが左右方向に倒した場合にアーム１３２が掘削動作またはダンプ動作してもよい。

【0020】

右操作レバー１４２ＲＯは、バケット１３３の掘削／ダンプ動作、及び、ブーム１３１の上げ／下げ動作を行うための操作機構である。具体的には、作業機械１００のオペレータが右操作レバー１４２ＲＯを前方に倒すと、ブーム１３１の下げ動作が実行される。また、作業機械１００のオペレータが右操作レバー１４２ＲＯを後方に倒すと、ブーム１３１の上げ動作が実行される。また、作業機械１００のオペレータが右操作レバー１４２ＲＯを右方向に倒すと、バケット１３３のダンプ動作が行われる。また、作業機械１００のオペレータが右操作レバー１４２ＲＯを左方向に倒すと、バケット１３３の掘削動作が行われる。なお、他の実施形態においては、右操作レバー１４２ＲＯを前後方向に倒した場合に、バケット１３３がダンプ動作または掘削動作し、右操作レバー１４２ＲＯを左右方向に倒した場合にブーム１３１が上げ動作または下げ動作してもよい。

【0021】

左フットペダル１４２ＬＦは、運転席１４１の前方の床面の左側に配置される。右フットペダル１４２ＲＦは、運転席１４１の前方の床面の右側に配置される。左走行レバー１４２ＬＴは、左フットペダル１４２ＬＦに軸支され、左走行レバー１４２ＬＴの傾斜と左フットペダル１４２ＬＦの押し下げが連動するように構成される。右走行レバー１４２ＲＴは、右フットペダル１４２ＲＦに軸支され、右走行レバー１４２ＲＴの傾斜と右フットペダル１４２ＲＦの押し下げが連動するように構成される。

【0022】

左フットペダル１４２ＬＦおよび左走行レバー１４２ＬＴは、走行体１１０の左側履帯の回転駆動に対応する。具体的には、作業機械１００のオペレータが左フットペダル１４２ＬＦまたは左走行レバー１４２ＬＴを前方に倒すと、左側履帯は前進方向に回転する。また、作業機械１００のオペレータが左フットペダル１４２ＬＦまたは左走行レバー１４２ＬＴを後方に倒すと、左側履帯は後進方向に回転する。

【0023】

右フットペダル１４２ＲＦおよび右走行レバー１４２ＲＴは、走行体１１０の右側履帯の回転駆動に対応する。具体的には、作業機械１００のオペレータが右フットペダル１４２ＲＦまたは右走行レバー１４２ＲＴを前方に倒すと、右側履帯は前進方向に回転する。また、作業機械１００のオペレータが右フットペダル１４２ＲＦまたは右走行レバー１４２ＲＴを後方に倒すと、右側履帯は後進方向に回転する。

【0024】

マイク１４３は、運転室１４０内に設置され、運転室１４０内の
音声を集音する。なお、他の実施形態においては、マイク１４３は、運転室１４０に設置されず、ヘッドセットのようにオペレータに装着されてもよい。
深度センサ１４４は、運転室１４０内に前側から運転席１４１を向くように設置される。深度センサ１４４は、運転室１４０内の深度を計測し、三次元の深度データを生成する。深度センサ１４４の例としては、赤外線カメラやＬｉＤＡＲなどが挙げられる。なお、深度センサ１４４は、運転者が検知されるように設置されればよく、他の実施形態においては運転室１４０の外に設けられてもよい。

【0025】

制御装置１４５は、作業機械１００が有する複数の機能に係る情報を表示するディスプレイ１４５Ｄを備える。制御装置１４５は、表示システムの一例である。また、ディスプレイ１４５Ｄは、表示部の一例である。第１の実施形態に係る制御装置１４５の入力手段は、ハードキーである。なお、他の実施形態においては、タッチパネル、マウス、またはキーボード等を入力手段として用いてもよい。

【0026】

《制御装置１４５の構成》
図４は、第１の実施形態に係る制御装置１４５の構成を示す概略ブロック図である。
制御装置１４５は、プロセッサ２１０、メインメモリ２３０、ストレージ２５０、インタフェース２７０を備えるコンピュータである。また、制御装置１４５は、ディスプレイ１４５Ｄおよびスピーカ１４５Ｓを備える。また、第１の実施形態に係る制御装置１４５は、ディスプレイ１４５Ｄおよびスピーカ１４５Ｓと一体に設けられるが、他の実施形態においては、ディスプレイ１４５Ｄおよびスピーカ１４５Ｓの少なくとも１つが制御装置１４５と別個に設けられていてもよい。なお、ディスプレイ１４５Ｄと制御装置１４５とが別個に設けられる場合、ディスプレイ１４５Ｄは運転室１４０の外に設けられてもよい。この場合、ディスプレイ１４５Ｄはモバイルディスプレイであってよい。また、作業機械１００が遠隔操作によって駆動する場合、ディスプレイ１４５Ｄは作業機械１００と遠隔に設けられた遠隔操作室に設けられてもよい。同様に、スピーカ１４５Ｓと制御装置１４５とが別個に設けられる場合、スピーカ１４５Ｓは運転室１４０の外に設けられてもよい。また、作業機械１００が遠隔操作によって駆動する場合、スピーカ１４５Ｓは作業機械１００と遠隔に設けられた遠隔操作室に設けられてもよい。

【0027】

なお、制御装置１４５は、単独のコンピュータによって構成されるものであってもよいし、制御装置１４５の構成を複数のコンピュータに分けて配置し、複数のコンピュータが互いに協働することで作業機械の障害物報知システムとして機能するものであってもよい。作業機械１００は、制御装置１４５として機能する複数のコンピュータを備えてもよい。制御装置１４５を構成する一部のコンピュータが作業機械１００の内部に搭載され、他のコンピュータが作業機械１００の外部に設けられてもよい。
なお、上述の１台の制御装置１４５も、作業機械の障害物報知システムの一例である。他の実施形態においては、作業機械の障害物報知システムを構成する一部の構成が作業機械１００の内部に搭載され、他の構成が作業機械１００の外部に設けられてもよい。例えば、ディスプレイ１４５Ｄは作業機械１００と遠隔に設けられた遠隔操作室に設ける構成とした作業機械の障害物報知システムとしてもよい。また他の実施形態においては、作業機械の障害物報知システムを構成する１または複数のコンピュータがすべて作業機械１００の外部に設けられてもよい。

【0028】

カメラ１２１、マイク１４３、深度センサ１４４、ディスプレイ１４５Ｄおよびスピーカ１４５Ｓは、インタフェース２７０を介してプロセッサ２１０に接続される。
ストレージ２５０の例としては、光ディスク、磁気ディスク、光磁気ディスク、半導体メモリ等が挙げられる。ストレージ２５０は、制御装置１４５のバスに直接接続された内部メディアであってもよいし、インタフェース２７０または通信回線を介して制御装置１４５に接続される外部メディアであってもよい。ストレージ２５０は、作業機械１００の周囲監視を実現するためのプログラムを記憶する。また、ストレージ２５０には、ディスプレイ１４５Ｄに表示させるためのアイコンを含む複数の画像が予め記憶されている。

【0029】

プログラムは、制御装置１４５に発揮させる機能の一部を実現するためのものであってもよい。例えば、プログラムは、ストレージ２５０に既に記憶されている他のプログラムとの組み合わせ、または他の装置に実装された他のプログラムとの組み合わせによって機能を発揮させるものであってもよい。なお、他の実施形態においては、制御装置１４５は、上記構成に加えて、または上記構成に代えてＰＬＤ（Programmable Logic Device）などのカスタムＬＳＩ（Large Scale Integrated Circuit）を備えてもよい。ＰＬＤの例としては、ＰＡＬ(Programmable Array Logic)、ＧＡＬ(Generic Array Logic)、ＣＰＬＤ(Complex Programmable Logic Device)、ＦＰＧＡ（Field Programmable Gate Array）が挙げられる。この場合、プロセッサ２１０によって実現される機能の一部または全部が当該集積回路によって実現されてよい。

【0030】

また、ストレージ２５０は、障害物を検知するための障害物辞書データＤ１と、確認アクションを示すアクション辞書データＤ２とを記憶する。
障害物辞書データＤ１は、例えば障害物が写る複数の既知の画像それぞれから抽出された特徴量の辞書データであってよい。特徴量の例としては、ＨＯＧ（Histograms of Oriented Gradients）やＣｏＨＯＧ（Co-occurrence HOG）などが挙げられる。

【0031】

アクション辞書データＤ２は、安全確認時にオペレータによって実行される確認アクションを示すデータを記憶する。確認アクションとは、障害物を確認するためのオペレータのアクションである。アクションの例としては、オペレータの発声、ジェスチャなどが挙げられる。また、確認アクションの例としては、障害物が存在する方向を指で指し示すこと、障害物が存在する方向の呼称が挙げられ、その両方により確認するのが好ましい。

【0032】

図５は、第１の実施形態に係るアクション辞書データＤ２が記憶する情報の例を示す図である。例えば、第１の実施形態に係るアクション辞書データＤ２は、称呼パターン、ジェスチャパターン、および確認方向を、関連付けて記憶する。

【0033】

アクション辞書データＤ２は、「左後ろ、よし」という称呼パターンと、人差し指が運転室の正面方向から左側へ８０度以上１６０度未満傾いた方向を向くことを示すジェスチャパターンとに関連付けて、確認方向「左後方領域Ｒａ」を記憶する。
アクション辞書データＤ２は、「後方、よし」という称呼パターンと、人差し指が運転室の正面方向から右側へ２０度以上５０度未満傾いた方向を向くことを示すジェスチャパターンとに関連付けて、確認方向「後方領域Ｒｂ」を記憶する。なお、人差し指が運転室の正面方向から右側へ２０度以上５０度未満傾いた方向を向くことを示すジェスチャパターンは、図３に示すように運転席１４１の右側に設けられたディスプレイ１４５Ｄを指し示すジェスチャを示す。
アクション辞書データＤ２は、「右後ろ、よし」という称呼パターンと、人差し指が正面方向から右側へ８０度以上１６０度未満傾いた方向を向くことを示すジェスチャパターンとに関連付けて、確認方向「右後方領域Ｒｃ」を記憶する。
アクション辞書データＤ２は、「右前、よし」という称呼パターンと、人差し指が正面方向から右側へ０度以上９０度未満傾いた方向を向くことを示すジェスチャパターンとに関連付けて、確認方向「右前方領域Ｒｄ」を記憶する。

【0034】

なお、図５に示すジェスチャパターンは一例であって、障害物の確認動作を示すジェスチャであれば他のものでもよい。また、図５に示すジェスチャパターンに係る角度の数値は一例であり、この値に限られない。また、図５に示す称呼パターンは一例であって、障害物の確認を示す称呼であれば他のものでもよい。

【0035】

プロセッサ２１０は、プログラムを実行することで、取得部２１１、俯瞰画像生成部２１２、障害物検出部２１３、アクション検出部２１４、アクション判定部２１５、表示画面生成部２１６、表示制御部２１７、アラーム制御部２１８を備える。

【0036】

取得部２１１は、作業機械１００が備える各種センサから計測データを取得する。具体的には、取得部２１１は、複数のカメラ１２１から撮像画像を取得し、マイク１４３から音声信号を取得し、深度センサ１４４から深度データを取得する。

【0037】

俯瞰画像生成部２１２は、取得部２１１が取得した複数の撮像画像を変形し、合成することで、作業機械１００を中心として、現場を上方から平面視した俯瞰画像を生成する。俯瞰画像生成部２１２は、変形後のそれぞれの撮像画像の一部を切り出して、切り出した撮像画像を合成することで、俯瞰画像を生成してもよい。俯瞰画像生成部２１２が生成する俯瞰画像の中央には、作業機械１００を上方から平面視した画像が予め貼り付けられている。俯瞰画像は、作業機械１００の周囲が写る周囲画像の一例である。

【0038】

障害物検出部２１３は、取得部２１１が取得した各撮像画像から障害物を検出する。すなわち、障害物検出部２１３は、作業機械１００の周囲に障害物が存在するか否かを判定する障害物判定部の一例である。障害物の例としては、人、車両、岩石などが挙げられる。また、障害物検出部２１３は、障害物が検出された場合に、左後方領域Ｒａ、後方領域Ｒｂ、右後方領域Ｒｃ、右前方領域Ｒｄのうち障害物が存在する領域を特定する。

【0039】

障害物検出部２１３は、例えば以下の手順で障害物を検出する。障害物検出部２１３は、取得部２１１が取得した各撮像画像から特徴量を抽出する。障害物検出部２１３は、抽出した特徴量と障害物辞書データとに基づいて、撮像画像から障害物を検出する。障害物の検出方法の例としては、パターンマッチング、機械学習に基づく物体検出処理などが挙げられる。
なお、第１の実施形態においては、障害物検出部２１３は、画像の特徴量を用いて人の検出を行うが、これに限られない。例えば、他の実施形態においては、障害物検出部２１３は、ＬｉＤＡＲ（Light Detection and Ranging）の計測値などに基づいて障害物を検出してもよい。

【0040】

アクション検出部２１４は、取得部２１１が取得したマイク１４３の音声信号および深度センサ１４４に基づいて、オペレータのアクションを検出する。例えば、アクション検出部２１４は、音声認識技術によりマイク１４３の音声信号からオペレータの発声内容を示す称呼文字列を生成する。また、アクション検出部２１４は、ボーントラッキング技術により深度センサ１４４の撮像画像からオペレータの骨格姿勢を示す三次元データ（スケルトンデータ）を生成する。以下、アクション検出部２１４によって検出されたアクションを示すデータを、アクションデータという。

【0041】

アクション判定部２１５は、アクション検出部２１４が取得したアクションデータが示すアクションが、安全確認時に実行される確認アクションであるか否かを判定する。具体的には、アクション判定部２１５は、アクション検出部２１４が取得した称呼文字列および骨格姿勢が、アクション辞書データＤ２が記憶する称呼パターンおよびジェスチャパターンにマッチするか否かを判定する。
アクション判定部２１５は、アクションデータにマッチするジェスチャパターンが存在する場合、オペレータによる確認方向を特定する。すなわち、アクション判定部２１５は、アクション辞書データＤ２においてアクションデータにマッチするジェスチャパターンに関連付けられた確認方向を読み出す。

【0042】

なお、他の実施形態に係るアクション判定部２１５は、撮像画像そのものを入力としてアクションの判定を行ってもよい。例えば、アクション判定部２１５は、パターンマッチングや、機械学習された判別器などを用いて、撮像画像に基づいて確認アクションであるか否かの判定を行ってもよい。この場合、アクション検出部２１４は、取得部２１１が取得した撮像画像をアクションデータとして検出してもよい。なお、撮像画像は深度センサ１４４に代えて、カメラによって取得するようにしてもよい。

【0043】

表示画面生成部２１６は、俯瞰画像生成部２１２が生成した俯瞰画像Ｇ１１に重畳させて、障害物の検出位置に対応する位置に、障害物の位置を示すマーカＧ１２を配置した表示画面データＧ１を生成する。表示画面データＧ１へのマーカＧ１２の配置は、障害物の存在の報知の一例である。表示画面生成部２１６は、アクション判定部２１５が確認方向を特定したときに、当該確認方向に対応する領域に配置されたマーカＧ１２を削除する。マーカＧ１２の削除は、報知の態様の変更の一例である。なお、他の実施形態においては、マーカＧ１２の削除に代えて、マーカＧ１２の色を変更してもよい。
表示画面の例については後述する。

【0044】

表示制御部２１７は、表示画面生成部２１６が生成した表示画面データＧ１をディスプレイ１４５Ｄに出力する。これにより、ディスプレイ１４５Ｄは表示画面データＧ１を表示する。表示制御部２１７は、報知部の一例である。

【0045】

アラーム制御部２１８は、障害物検出部２１３が障害物を検出したときに、スピーカ１４５Ｓにアラームの音声信号を出力する。これにより、スピーカ１４５Ｓはアラームを鳴らし始める。アラームは、障害物の存在の報知の一例である。アラーム制御部２１８は、障害物が検出されたすべての領域についてアクション判定部２１５が確認方向を特定したときに、スピーカ１４５Ｓに音声信号の供給を停止する。これにより、スピーカ１４５Ｓはアラームを停止する。アラームの停止は、報知の態様の変更の一例である。なお、他の実施形態においては、アラームの停止に代えて、アラームの音量を変更してもよい。例えば、障害物が検出されたすべての領域について確認方向を特定した場合に、アラームの音量を下げてもよい。アラーム制御部２１８は、報知部の一例である。

【0046】

《表示画面について》
図６は、第１の実施形態に係る表示画面の例を示す図である。
図６に示すように、表示画面データＧ１には、俯瞰画像Ｇ１１、マーカＧ１２、アラームアイコンＧ１３、および単カメラ画像Ｇ１４が含まれる。なお、他の実施形態においては、マーカＧ１２およびアラームアイコンＧ１３の何れか一方が表示画面データＧ１に含まれてもよい。

【0047】

マーカＧ１２は、障害物の位置を示す。マーカＧ１２の形状は、例えば、円、楕円、正多角形、多角形などが挙げられる。
アラームアイコンＧ１３は、アラームの状態を表す。アラームアイコンＧ１３は、アラームが鳴っているときに例えば赤色に表示される。アラームアイコンＧ１３は、アラームが鳴っていないときに例えば灰色に表示される。
単カメラ画像Ｇ１４は、１つのカメラ１２１が撮像した単カメラ画像である。なお、オペレータは、作業機械１００の運転室１４０から後方を確認することが容易ではないが、表示画面データＧ１に後方カメラ１２１Ｂが撮像した単カメラ画像、又は俯瞰画像Ｇ１１が表示されることで、ディスプレイ１４５Ｄの指差呼称によって後方の確認をすることができる。

【0048】

《障害物の報知方法》
図７は、第１の実施形態に係る制御装置１４５の動作を示すフローチャートである。
制御装置１４５が周囲監視処理を開始すると、メインメモリ２３０に、左後方領域Ｒａ、後方領域Ｒｂ、右後方領域Ｒｃ、および右前方領域Ｒｄそれぞれについて障害物が確認済みであるか否かを示す確認済みフラグを格納する記憶領域を確保し、図７に示す処理を繰り返し実行する。確認済みフラグは、例えば、０または１の値を取り、０は未確認、１は確認済みを示す。確認済みフラグの初期値は０である。

【0049】

取得部２１１は、複数のカメラ１２１、マイク１４３、および深度センサ１４４から計測データを取得する（ステップＳ１）。すなわち、取得部２１１は、複数のカメラ１２１から撮像画像を取得し、マイク１４３から音声信号を取得し、深度センサ１４４から深度データを取得する。

【0050】

次に、俯瞰画像生成部２１２は、ステップＳ１で取得した複数の撮像画像を変形し、合成することで、作業機械１００を中心として、現場を上方から平面視した俯瞰画像Ｇ１１を生成する（ステップＳ２）。次に、障害物検出部２１３は、ステップＳ１で取得した各撮像画像について障害物の検出処理を実行し、障害物が検出されたか否かを判定する（ステップＳ３）。

【0051】

撮像画像において障害物が検出された場合（ステップＳ３：ＹＥＳ）、障害物検出部２１３は、左後方領域Ｒａ、後方領域Ｒｂ、右後方領域Ｒｃ、右前方領域Ｒｄのうち障害物が検出された領域を特定する（ステップＳ４）。すなわち、障害物検出部２１３は、左後方カメラ１２１Ａの撮像画像において障害物が検出された場合、障害物が検出された領域が左後方領域Ｒａであると判定する。障害物検出部２１３は、後方カメラ１２１Ｂの撮像画像において障害物が検出された場合、障害物が検出された領域が後方領域Ｒｂであると判定する。障害物検出部２１３は、右後方カメラ１２１Ｃの撮像画像において障害物が検出された場合、障害物が検出された領域が右後方領域Ｒｃであると判定する。障害物検出部２１３は、右前方カメラ１２１Ｄの撮像画像において障害物が検出された場合、障害物が検出された領域が右前方領域Ｒｄであると判定する。

【0052】

障害物検出部２１３は、障害物が検出されなかった領域に係る確認済みフラグをすべて０にリセットする（ステップＳ５）。障害物が検出された領域に係る確認済みフラグの値は維持される。すなわち、障害物が検出された領域のうち既に指差呼称によって確認済みの領域に係る確認済みフラグの値は１を維持し、障害物が検出された領域のうち未確認の領域に係る確認済みフラグの値は０を維持する。これにより、未確認の障害物が撮像画像において検出されなくなると、当該領域に係る確認済みフラグは１から０にリセットされる。

【0053】

アクション検出部２１４は、ステップＳ１で取得したマイク１４３の音声信号および深度センサ１４４に基づいて、アクションデータを検出する（ステップＳ６）。つまり、アクション検出部２１４は、オペレータのアクションを示す称呼文字列およびスケルトンデータを検出する。なお、スピーカ１４５Ｓからアラームが鳴っていると、アクション検出部２１４による音声信号の音声認識処理の精度が低下する可能性がある。そのため、アクション検出部２１４が音声信号にヒトの声が含まれていることを検知し、ヒトの声が検知されたときにアラーム制御部２１８がスピーカ１４５Ｓから出力するアラームの音量を低減してもよい。アクション判定部２１５は、アクション辞書データＤ２を参照し、称呼文字列がアクション辞書データＤ２に記憶される何れかの称呼パターンにマッチするか否かを判定する（ステップＳ７）。

【0054】

称呼文字列がアクション辞書データＤ２に記憶される何れかの称呼パターンにマッチした場合（ステップＳ７：ＹＥＳ）、アクション判定部２１５は、ステップＳ６で取得したスケルトンデータから人差し指の向く方向を特定し、スケルトンデータが当該称呼パターンに関連付けられたジェスチャパターンにマッチするか否かを判定する（ステップＳ８）。

【0055】

スケルトンデータがジェスチャパターンにマッチした場合（ステップＳ８：ＹＥＳ）、アクション判定部２１５は、ステップＳ５で検出されたアクションが安全確認時に実行される指差呼称であると判定する。アクション判定部２１５は、ステップＳ７に係る故障パターンおよびステップＳ８に係るジェスチャパターンに関連付けられた確認方向を読み出し、当該確認方向に関連付けられた確認済みフラグの値を１に書き換える（ステップＳ９）。
他方、称呼文字列が何れの称呼パターンにもマッチしない場合（ステップＳ７：ＮＯ）、またはスケルトンデータがジェスチャパターンにマッチしない場合（ステップＳ８：ＮＯ）、指差呼称が適切になされていないため、確認済みフラグの値を維持する。

【0056】

アラーム制御部２１８は、ステップＳ３で検出された障害物のうち未確認の障害物が１つ以上あるか否かを判定する（ステップＳ１０）。例えば、アラーム制御部２１８は、確認済みフラグが０を示す領域に存在する障害物を未確認と判定する。未確認の障害物が存在する場合（ステップＳ１０：ＹＥＳ）、アラーム制御部２１８は、アラームの音声信号をスピーカ１４５Ｓに出力する（ステップＳ１１）。他方、ステップＳ３で障害物が検出されていない場合、または検出された障害物のすべてが、確認済みフラグが１を示す領域に存在する場合（ステップＳ１０：ＮＯ）、アラーム制御部２１８は、アラームの音声信号の出力を停止する（ステップＳ１２）。

【0057】

表示画面生成部２１６は、表示画面生成部２１６は、ステップＳ２で生成した俯瞰画像Ｇ１１のうち、ステップＳ１０で特定した未確認の障害物に対応する位置に、マーカＧ１２を配置する（ステップＳ１３）。なお、表示画面生成部２１６は、確認済みの障害物、すなわちステップＳ４で検出された障害物のうち確認済みフラグが１を示す領域に存在するものに対応する位置には、マーカＧ１２を配置しない。つまり、前回生成された表示画面データＧ１に配置されたマーカＧ１２のうち、ステップＳ９で特定された確認方向に配置されたマーカＧ１２は、今回生成される表示画面データＧ１において表示されなくなる。

【0058】

表示画面生成部２１６は、俯瞰画像Ｇ１１と、ステップＳ１で取得した単カメラ画像Ｇ１４と、アラームの状態を示すアラームアイコンＧ１３とを配置した表示画面データＧ１を生成する（ステップＳ１４）。表示制御部２１７は、生成した表示画面データＧ１をディスプレイ１４５Ｄに出力する（ステップＳ１５）。

【0059】

上記の処理を繰り返し実行することで、制御装置１４５は、俯瞰画像Ｇ１１に重畳して検出された障害物にマーカＧ１２を付し、指差呼称によって確認がなされると当該マーカＧ１２を削除することができる。また、制御装置１４５は、障害物が検出されるとスピーカ１４５Ｓからアラームを鳴らし、指差呼称によってすべての障害物の確認がなされると当該アラームを停止することができる。

【0060】

なお、図７に示すフローチャートは一例であり、他の実施形態においては必ずしもすべてのステップを実行しなくてもよい。例えば、他の実施形態において、アラームによる報知をしない場合には、ステップＳ１０－１２の処理を実行しなくてもよい。また例えば、他の実施形態において、表示による報知をしない場合には、ステップＳ１３－１５の処理を実行しなくてもよい。また、他の実施形態において、確認アクションの判断を、称呼またはジェスチャの何れか一方のみで行う場合には、ステップＳ７またはＳ８の判定を行わなくてもよい。また、図７に示すフローチャートでは、ステップＳ１にて複数の撮像画像、音声信号、および深度データを取得するが、このタイミングに限られず、音声信号および深度データは、ステップＳ６によるアクションデータの検出前に取得されればよい。また、図７に示すフローチャートでは、ステップＳ１０－Ｓ１２の音声信号の出力または停止の処理の後に、ステップＳ１３において未確認の障害物の位置にマーカを配置するが、他の実施形態においてはステップＳ１１で音声信号を出力するタイミングにおいて、未確認の障害物の位置にマーカを配置してもよい。すなわち、他の実施形態においては、未確認の障害物が１つ以上ある場合にのみ、ステップS１３の処理を行ってもよい。

【0061】

《動作例》
以下、図を用いながら第１の実施形態に係る制御装置１４５の動作例について説明する。
図８は、第１の実施形態に係る制御装置１４５の第１の動作例を示す図である。
制御装置１４５の障害物検出部２１３は、ステップＳ３で作業機械１００の周囲において障害物を検出すると、ステップＳ４で検出された領域を特定する。ここで、例えば右前方カメラ１２１Ｄの撮像画像において障害物が検出された場合、障害物検出部２１３は、障害物が検出された領域が右前方領域Ｒｄであると特定する。このとき、すべての確認済みフラグは０であるため、表示画面生成部２１６は、ステップＳ１３において、図８に示すように、俯瞰画像Ｇ１１の障害物の位置にマーカＧ１２を配置する。また、このときアラーム制御部２１８はスピーカ１４５Ｓに音声信号を出力するため、アラームアイコンＧ１３は例えば赤色で表示される。

【0062】

オペレータは、スピーカ１４５Ｓから発せられるアラームを聞き、ディスプレイ１４５Ｄを視認することで、右前方領域Ｒｄに障害物が存在することを認識する。オペレータは、当該障害物の確認のために、指差呼称を行う。すなわち、オペレータは、図８に示すように、「右前、よし」と称呼し、右前方領域Ｒｄの障害物を指し示す。

【0063】

このとき、制御装置１４５のアクション検出部２１４は、ステップＳ６において、マイク１４３の音声信号から「右前、よし」との文字列を検出し、また深度センサ１４４から右前方向を指し示すスケルトンデータを検出する。検出されたアクションデータは、右前方領域Ｒｄに係る確認アクションのパターンにマッチする。そのため、アクション検出部２１４は、ステップＳ９において右前方領域Ｒｄに係る確認済みフラグを１に書き換える。右前方領域Ｒｄに係る確認済みフラグが１であるため、表示画面生成部２１６は、ステップＳ１３において、俯瞰画像Ｇ１１の障害物の位置にマーカＧ１２を配置しない。また、アラーム制御部２１８はスピーカ１４５Ｓに音声信号の出力を停止するため、アラームアイコンＧ１３は例えば灰色で表示される。

【0064】

このように、第１の実施形態に係る制御装置１４５は、オペレータによる指差呼称のアクションによって、障害物の報知を停止させることができる。

【0065】

図９は、第１の実施形態に係る制御装置１４５の第２の動作例を示す図である。
制御装置１４５の障害物検出部２１３は、ステップＳ３で作業機械１００の周囲において障害物を検出すると、ステップＳ４で検出された領域を特定する。ここで、例えば右前方カメラ１２１Ｄの撮像画像および後方カメラ１２１Ｂの撮像画像において障害物が検出された場合、障害物検出部２１３は、障害物が検出された領域が右前方領域Ｒｄおよび後方領域Ｒｂであると特定する。このとき、すべての確認済みフラグは０であるため、表示画面生成部２１６は、ステップＳ１３において、図９に示すように、俯瞰画像Ｇ１１の各障害物の位置にマーカＧ１２を配置する。また、このときアラーム制御部２１８はスピーカ１４５Ｓに音声信号を出力するため、アラームアイコンＧ１３は例えば赤色で表示される。

【0066】

オペレータは、スピーカ１４５Ｓから発せられるアラームを聞き、ディスプレイ１４５Ｄを視認することで、右前方領域Ｒｄおよび後方領域Ｒｂに障害物が存在することを認識する。オペレータは、まず右前方領域Ｒｄの障害物の確認のために、指差呼称を行う。すなわち、オペレータは、図９に示すように、「右前、よし」と称呼し、右前方領域Ｒｄの障害物を指し示す。

【0067】

制御装置１４５のアクション検出部２１４は、ステップＳ６において、マイク１４３の音声信号から「右前、よし」との文字列を検出し、また深度センサ１４４から右前方向を指し示すスケルトンデータを検出する。検出されたアクションデータは、右前方領域Ｒｄに係る確認アクションのパターンにマッチする。そのため、アクション検出部２１４は、ステップＳ９において右前方領域Ｒｄに係る確認済みフラグを１に書き換える。右前方領域Ｒｄに係る確認済みフラグが１であるため、表示画面生成部２１６は、ステップＳ１３において、右前方領域Ｒｄの障害物の位置にマーカＧ１２を配置しない。他方、後方領域Ｒｂに係る確認済みフラグは０のままであるため、表示画面生成部２１６は、ステップＳ１３において、後方領域Ｒｂの障害物の位置にマーカＧ１２を配置する。また、アラーム制御部２１８は、確認済みフラグが０の領域に障害物が検出されているため、音声信号の出力を継続する。そのため、アラームアイコンＧ１３の色は維持される。

【0068】

次に、オペレータは、後方領域Ｒｂの障害物の確認のために、指差呼称を行う。すなわち、オペレータは、図９に示すように、「後方、よし」と称呼し、ディスプレイ１４５Ｄに表示される後方カメラ１２１Ｂの単カメラ画像Ｇ１４を指し示す。

【0069】

制御装置１４５のアクション検出部２１４は、ステップＳ６において、マイク１４３の音声信号から「後方、よし」との文字列を検出し、また深度センサ１４４からディスプレイ１４５Ｄの方向を指し示すスケルトンデータを検出する。検出されたアクションデータは、後方領域Ｒｂに係る確認アクションのパターンにマッチする。そのため、アクション検出部２１４は、ステップＳ９において後方領域Ｒｂに係る確認済みフラグを１に書き換える。これにより、右前方領域Ｒｄおよび後方領域Ｒｂに係る確認済みフラグが１となるため、表示画面生成部２１６は、ステップＳ１３において、障害物の位置にマーカＧ１２を配置しない。また、アラーム制御部２１８は、障害物が検出された領域に係る確認済みフラグがすべて１であるため、音声信号の出力を停止する。そのため、アラームアイコンＧ１３は例えば灰色で表示される。

【0070】

このように、第１の実施形態に係る制御装置１４５は、オペレータによる指差呼称がなされていない障害物に係る報知を維持する。これにより、制御装置１４５は、障害物の確認漏れを防ぐことができる。

【0071】

《作用・効果》
第１の実施形態に係る制御装置１４５は、作業機械１００の周囲に障害物が存在すると判定された場合に、当該障害物の存在の報知を開始し、オペレータのアクションが安全確認時に実行される確認アクションであると判定された場合に、報知の態様を変更する。これにより、オペレータは、障害物の確認のために必要な確認アクションを実行するだけで、確認済みの障害物に係る報知の態様を変更することができる。

【0072】

第１の実施形態に係る制御装置１４５は、作業機械１００を中心とした複数の領域それぞれに障害物が存在するか否かを判定し、複数の領域のうち、確認アクションに係る領域に基づいて報知を終了する。これにより、オペレータによる障害物の確認漏れが発生することを防ぐことができる。

【0073】

《他の実施形態》
以上、図面を参照して一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、様々な設計変更等をすることが可能である。すなわち、他の実施形態においては、上述の処理の順序が適宜変更されてもよい。また、一部の処理が並列に実行されてもよい。

【0074】

上述した実施形態では、作業機械１００が障害物を検出するための複数のカメラ１２１、ジェスチャを検出するためのマイク１４３および深度センサ１４４、ならびにアラームを出力するためのスピーカ１４５Ｓを備えるが、これに限られない。例えば、他の実施形態においては、上記構成の少なくとも１つが作業機械１００の外部に設けられてもよい。例えば、他の実施形態に係る制御装置１４５は、現場に設置されたスピーカおよびカメラ、ならびに他の作業機械１００が備えるスピーカおよびカメラの計測データに基づいて、、障害物の検出、ジェスチャの検出、およびアラームの出力の少なくとも１つを行ってもよい。

【0075】

なお、上述した実施形態に係る確認アクションは指差呼称であるが、他の実施形態においてはこれに限られない。
また、上述した実施形態に係る制御装置１４５は、確認アクションがなされたときに報知を終了するが、これに限られない。例えば、他の実施形態においては確認アクションがなされたときに、マーカＧ１２の色を変え、またアラームの音量を低下させてもよい。

【0076】

また、上述した実施形態に係る制御装置１４５は、ディスプレイ１４５ＤへのマーカＧ１２の表示、アラームアイコンＧ１３の表示、およびスピーカ１４５Ｓからのアラームによって障害物の報知を行うが、他の実施形態においてはこれに限られない。例えば、他の実施形態に係る制御装置１４５は、作業機械１００の介入制御により障害物の報知を行ってもよい。例えば、制御装置１４５は、障害物が存在する方向への旋回体１２０の旋回を制限し、当該障害物に対する確認アクションが検出された場合に、当該制限を解除してもよい。

【0077】

また、上述した実施形態に係る制御装置１４５は、音声信号から文字列を抽出し、当該文字列に基づいて称呼のマッチングを行うが、これに限られない。例えば、他の実施形態に係る制御装置１４５は、称呼パターンごとに、当該称呼パターンの音声によって学習された学習済みモデルを記憶しておき、類似度が最も高い学習済みモデルを特定することで、称呼のマッチングを行ってもよい。

【0078】

また、上述した実施形態に係る制御装置１４５は、称呼とジェスチャのマッチングにより確認方向を特定するが、これに限られない。例えば、他の実施形態に係る制御装置１４５は、称呼パターンのマッチングをしなくてもよい。この場合、ジェスチャパターンのみによって確認方向を特定してもよいし、ジェスチャパターンのマッチングと、オペレータによる発生の有無との組み合わせによって確認方向を特定してもよい。
また、例えば、他の実施形態に係る制御装置１４５は、ジェスチャパターンのマッチングをしなくてもよい。この場合、称呼パターンのみによって確認方向を特定してもよいし、称呼パターンのマッチングと、指の形状のマッチングとの組み合わせによって確認方向を特定してもよい。

【0079】

また、上述した実施形態において、後方領域に係るジェスチャパターンは、ディスプレイ１４５Ｄを指し示すことを示すものであるが、これに限られない。例えば、他の実施形態においては、人差し指の方向が後方を向くことを示すジェスチャパターンであってもよい。また、他の実施形態においては、他の領域に係るジェスチャパターンは、ディスプレイ１４５Ｄを指し示すことを示すものであってもよい。
また、上述した実施形態において、各領域に係るジェスチャパターンが異なるが、これに限られない。例えば、他の実施形態においては、各領域のジェスチャパターンが共通のジェスチャパターンであってもよい。例えば、各領域が映るディスプレイ１４５Ｄに対して、人差し指を指し示すなどの、確認動作を示すジェスチャであってもよい。
また、上述した実施形態において、各領域に係る称呼パターンが異なるが、これに限られない。例えば、他の実施形態においては、各領域の称呼パターンが「よし」、「確認よし」などの共通の称呼パターンであってもよい。
また、上述した実施形態において、安全確認時に実行される確認アクションは、障害物を直接目視して確認することを含むが、これに限られない。例えば、他の実施形態に係る確認アクションは、ディスプレイ１４５Ｄに表示される障害物の画像や、マーカＧ１２などの目視および、ディスプレイ１４５Ｄに対する確認動作を含むものであってもよい。

【0080】

また、上述した実施形態に係る作業機械１００は、油圧ショベルであるが、これに限られない。例えば、他の実施形態に係る作業機械１００は、例えば、ダンプトラック、ブルドーザ、ホイルローダなどの他の作業機械であってもよい。

【符号の説明】

【0081】

１００…作業機械 １１０…走行体 １２０…旋回体 １２１…カメラ １３０…作業機 １４３…マイク １４４…深度センサ １４５…制御装置 １４５Ｄ…ディスプレイ １４５Ｓ…スピーカ ２１１…取得部 ２１２…俯瞰画像生成部 ２１３…障害物検出部 ２１４…アクション検出部 ２１５…アクション判定部 ２１６…表示画面生成部 ２１７…表示制御部 ２１８…アラーム制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】