特開 2024-76616 注視反応時間計測システム、遠隔操作装置、作業機械、管理装置、注視反応時間計測方法、及び操作主体感算出方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024076616

(43)【公開日】2024-06-06

(54)【発明の名称】注視反応時間計測システム、遠隔操作装置、作業機械、管理装置、注視反応時間計測方法、及び操作主体感算出方法

(51)【国際特許分類】

   A61B 5/11 20060101AFI20240530BHJP

   A61B 5/18 20060101ALI20240530BHJP

   E02F 9/20 20060101ALI20240530BHJP

【ＦＩ】

A61B5/11

A61B5/18

E02F9/20 Q

【審査請求】未請求

【請求項の数】17

【出願形態】ＯＬ

(21)【出願番号】P 2022188261

(22)【出願日】2022-11-25

【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り 令和４年６月３日にロボティクス・メカトロニクス講演会２０２２にて発表

(71)【出願人】

【識別番号】504136568

【氏名又は名称】国立大学法人広島大学

(71)【出願人】

【識別番号】000246273

【氏名又は名称】コベルコ建機株式会社

(74)【代理人】

【識別番号】100115381

【弁理士】

【氏名又は名称】小谷 昌崇

(74)【代理人】

【識別番号】100214961

【弁理士】

【氏名又は名称】中村 洋三

(72)【発明者】

【氏名】来間 千晶

(72)【発明者】

【氏名】永井 政樹

(72)【発明者】

【氏名】伊藤 卓

(72)【発明者】

【氏名】小岩井 一茂

【テーマコード（参考）】

2D003

4C038

【Ｆターム（参考）】

2D003BA04

2D003DA04

2D003DB08

4C038PQ04

4C038PR01

4C038PS07

4C038VA04

4C038VA17

4C038VB04

4C038VC01

(57)【要約】

【課題】作業機械による作業効率の低下を抑制しながら、作業機械を操作する操作者の操作主体感の度合いを把握する。
【解決手段】注視反応時間計測システムは、作業装置３を含む作業機械２００を操作する操作者ＯＰの注視点に関する注視点情報を取得する注視点情報取得器２０と、作業装置３とは異なる視認対象６０に操作者ＯＰが反応する時間である注視反応時間ＲＴを注視点情報を用いて計測するコントローラ１０１と、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

作業装置を含む作業機械を操作する操作者の注視点に関する注視点情報を取得する注視点情報取得器と、
前記作業装置とは異なる視認対象に前記操作者が反応する時間である注視反応時間を前記注視点情報を用いて計測するコントローラと、を備える注視反応時間計測システム。

【請求項2】

前記コントローラは、前記注視反応時間として、前記視認対象が表示された時点又は前記視認対象が現れた時点から、前記視認対象を基準に設定される範囲である注視判定範囲に前記操作者の前記注視点が移動するまでの時間を計測する、請求項１に記載の注視反応時間計測システム。

【請求項3】

前記視認対象は、前記操作者が視認することが可能な視認可能領域に表示される視覚刺激を含み、
前記コントローラは、予め設定された表示条件が満たされた場合に前記視認可能領域に前記視覚刺激を表示させるための指令を出力する、請求項１に記載の注視反応時間計測システム。

【請求項4】

前記コントローラは、前記作業機械が行う作業内容を判定し、前記作業内容に応じた表示態様で前記視覚刺激を表示させるための指令を出力する、請求項３に記載の注視反応時間計測システム。

【請求項5】

前記表示条件は、基準時点から所定時間が経過することを含む、請求項３に記載の注視反応時間計測システム。

【請求項6】

前記視認対象は、前記作業機械が配置された作業現場に存在する物体である対象物体を含む、請求項１に記載の注視反応時間計測システム。

【請求項7】

前記視認対象は、前記対象物体の近くに表示される注意喚起画像をさらに含む、請求項６に記載の注視反応時間計測システム。

【請求項8】

前記コントローラは、前記注視反応時間に応じた表示態様で前記注意喚起画像を表示させるための指令を出力する、請求項７に記載の注視反応時間計測システム。

【請求項9】

前記視認対象は、前記作業機械が配置された作業現場に存在する物体である対象物体と、前記操作者が視認することが可能な視認可能領域に表示される視覚刺激と、を含む、請求項１に記載の注視反応時間計測システム。

【請求項10】

前記コントローラは、
前記視認可能領域に前記対象物体が現れた場合には前記操作者が前記対象物体に反応する時間である第１注視反応時間を計測し、
所定時間内に前記視認可能領域に前記対象物体が現れない場合には前記視認可能領域に前記視覚刺激を表示させるための指令を出力し、前記操作者が前記視覚刺激に反応する時間である第２注視反応時間を計測する、請求項９に記載の注視反応時間計測システム。

【請求項11】

前記コントローラは、前記注視反応時間に応じて前記作業機械の制御パラメータを調節する、請求項１に記載の注視反応時間計測システム。

【請求項12】

前記コントローラは、前記注視反応時間の計測結果を用いて前記操作者の操作主体感の度合いを算出する、請求項１～１１の何れか１項に記載の注視反応時間計測システム。

【請求項13】

作業装置を含む作業機械を操作者が遠隔操作するための遠隔操作装置であって、
前記作業機械が配置された作業現場の画像を表示する表示領域を有する表示器と、
前記操作者の注視点に関する注視点情報を取得する注視点情報取得器と、を備え、
前記注視点情報取得器は、前記作業装置とは異なる視認対象に前記操作者が反応する時間である注視反応時間をコントローラが前記注視点情報を用いて計測することが可能なように、前記注視点情報を出力する、遠隔操作装置。

【請求項14】

作業装置と、
作業現場に存在する物体に関する物体情報を取得する物体情報取得器と、を備え、
前記物体情報取得器は、前記作業装置とは異なる視認対象に操作者が反応する時間である注視反応時間をコントローラが前記操作者の注視点に関する注視点情報を用いて計測することが可能なように、前記物体情報を出力する、作業機械。

【請求項15】

作業機械の作業装置とは異なる視認対象に前記作業機械の操作者が反応する時間である注視反応時間を、前記操作者の注視点に関する注視点情報を用いて計測する管理装置。

【請求項16】

作業装置を含む作業機械を操作する操作者の注視点に関する注視点情報を取得することと、
前記作業装置とは異なる視認対象に前記操作者が反応する時間である注視反応時間をコントローラが前記注視点情報を用いて計測することと、を含む注視反応時間計測方法。

【請求項17】

作業装置を含む作業機械を操作する操作者の注視点に関する注視点情報を取得することと、
前記作業装置とは異なる視認対象に前記操作者が反応する時間である注視反応時間をコントローラが前記注視点情報を用いて計測することと、
前記注視反応時間を用いて前記操作者の操作主体感の度合いを算出することと、を含む操作主体感算出方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、注視反応時間計測システム、遠隔操作装置、作業機械、管理装置、注視反応時間計測方法、及び操作主体感算出方法に関する。

【背景技術】

【0002】

非特許文献１には、操作主体感（Ｓｅｎｓｅ ｏｆ Ａｇｅｎｃｙ）について記載されている。この非特許文献１では、操作主体感は、物理的にはヒトと何らかのシステムがそれぞれある程度自律的に協調動作を行って何らかの目的に向かっていながらあくまでヒト側がその目的と制御の主体を握っていると主観的に感じる事柄である、と説明されている。非特許文献１には、操作主体感の計測は質問紙を用いて５件法や７件法に代表される方法で測定できることが記載されている。

【0003】

特許文献１には、操作主体感を定量化する評価装置が開示されている。この特許文献１では、操作主体感は、被操作装置の操作者が当該操作を自分で行っている感覚である、と説明されている。この評価装置は、操作された被操作装置の動きに伴って身体に与えられた運動刺激を表す入力値から、運動刺激に応じて生じる不随意運動に関連する出力値を出力する数理モデルに基づいて、入力値及び出力値の測定結果であるセンサ情報を用いて数理モデルの有する内部パラメータを算出し、算出された内部パラメータに基づいて操作主体感の指標値を算出する演算部を備える。運動刺激を表す入力値は、頭部運動の量を表す値である。

【先行技術文献】

【非特許文献】

【0004】

【非特許文献1】葭田貴子、外２名、“「自分の身体の使い心地」の心理学的・脳科学的計測”、［online］、２０１６年３月、計測と制御 第５５巻第３号、［令和４年１１月検索］、インターネット＜URL:https://www.jstage.jst.go.jp/article/sicejl/55/3/55_252/_pdf＞

【特許文献】

【0005】

【特許文献1】特開２０２０－４２６４１号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

例えば操作者が作業機械を操作するときの操作主体感は、操作対象としての作業装置の動きを、操作者が自分自身で意図的に引き起こし、コントロールしているという感覚である。この操作主体感の度合いを、操作者、管理者、補助者などの作業機械による作業に関係する作業関係者が把握することは、例えば、作業機械による作業の効率を改善する上で望ましい。

【0007】

しかしながら、非特許文献１に開示された質問紙を用いた方法では、操作者が質問に回答するためにはその都度作業を中断する必要があるので作業効率が低下する。また、作業機械による作業では操作者の頭部運動が十分に生じないこともあり、この場合、特許文献１に開示された評価方法では操作主体感の評価が困難になる。

【0008】

本発明は、作業機械による作業効率の低下を抑制しながら、作業機械を操作する操作者の操作主体感の度合いを把握することが可能な注視反応時間計測システム、遠隔操作装置、作業機械、管理装置、注視反応時間計測方法、及び操作主体感算出方法を提供することを目的とする。

【課題を解決するための手段】

【0009】

本発明者らは、前記目的を達成するための手段を検討する過程において、操作者の操作に対する操作対象の応答性を変えた様々な条件下、すなわち操作主体感を人為的に変えた様々な条件下で、前記操作対象とは異なる視覚刺激を提示し、当該視覚刺激に対する操作者の注視行動を解析した結果、前記操作対象を操作しているときの操作者の操作主体感の度合いと、前記操作対象とは異なる視覚刺激に対して操作者が反応する時間である注視反応時間と、の間に相関があることを明らかにした。具体的には、前記操作対象を操作しているときの操作者の操作主体感が低い場合には前記操作対象に対する注意の配分の度合いが増加し、その結果、前記操作対象とは異なる前記視覚刺激への視線の移動が遅れる。従って、前記注視反応時間は、操作者の操作主体感の度合いの評価の指標として用いることが可能である。

【0010】

本発明はこのような観点からなされたものである。提供される注視反応時間計測システムは、作業装置を含む作業機械を操作する操作者の注視点に関する注視点情報を取得する注視点情報取得器と、前記作業装置とは異なる視認対象に前記操作者が反応する時間である注視反応時間を前記注視点情報を用いて計測するコントローラと、を備える。

【0011】

この注視反応時間計測システムでは、操作対象としての作業装置とは異なる視認対象に操作者が反応する注視反応時間を計測することが可能であり、この注視反応時間の計測では、作業機械による作業を中断する必要はなく、また、頭部運動の量を表す値を計測する必要もない。従って、この注視反応時間計測システムでは、作業機械による作業効率の低下を抑制しながら、作業機械を操作する操作者の操作主体感の度合いを作業関係者が把握することが可能になる。

【0012】

前記コントローラは、前記注視反応時間として、前記視認対象が表示された時点又は前記視認対象が現れた時点から、前記視認対象を基準に設定される範囲である注視判定範囲に前記操作者の前記注視点が移動するまでの時間を計測することが好ましい。この構成では、前記注視反応時間の計測の開始と当該計測の完了を適切なタイミングで行うことができ、前記注視反応時間の計測の完了を示す注視点の位置を、設定された前記注視判定範囲を用いて適切に判定することができる。

【0013】

前記視認対象は、前記操作者が視認することが可能な視認可能領域に表示される視覚刺激を含み、前記コントローラは、予め設定された表示条件が満たされた場合に前記視認可能領域に前記視覚刺激を表示させるための指令を出力してもよい。この構成では、予め設定された表示条件が満たされると視認可能領域に視覚刺激が表示され、表示された視覚刺激に操作者が反応する注視反応時間、すなわち、その時点における操作者の操作主体感に相関する注視反応時間が計測される。

【0014】

前記コントローラは、前記作業機械が行う作業内容を判定し、前記作業内容に応じた表示態様で前記視覚刺激を表示させるための指令を出力してもよい。この構成では、コントローラは、作業内容に応じた表示態様で視覚刺激を表示させることができる。

【0015】

前記表示条件は、基準時点から所定時間が経過することを含んでいてもよい。この構成では、基準時間から所定時間が経過すると視認可能領域に視覚刺激が表示される。コントローラは、例えば、前記所定時間ごとに視認可能領域に視覚刺激を表示させるための指令を出力してもよい。この場合、所定時間ごとに断続的に視認可能領域に視覚刺激が表示される。

【0016】

前記視認対象は、前記作業機械が配置された作業現場に存在する物体である対象物体を含むことが好ましい。この構成では、作業現場に実際に存在する物体（対象物体）を利用して注視反応時間を計測することができる。例えば、対象物体は、作業現場に存在する人であってもよく、作業現場において作業の障害になる障害物であってもよく、作業現場に存在する他の物であってもよい。

【0017】

前記視認対象は、前記対象物体の近くに表示される注意喚起画像をさらに含むことが好ましい。この構成では、対象物体の近くに注意喚起画像が表示されるので、注視反応時間の計測結果が、対象物体の種類、大きさなどの対象物体の特性に左右されにくくなる。これにより、対象物体の特性にかかわらず、注視反応時間をより正確に計測することができる。

【0018】

前記コントローラは、前記注視反応時間に応じた表示態様で前記注意喚起画像を表示させるための指令を出力してもよい。この構成では、例えば、計測された注視反応時間に応じて注意喚起画像の表示態様を変えることができるので、操作者の操作主体感の度合いに応じた注意喚起画像を表示させることができる。具体的には、操作主体感の度合いが高い場合には、例えば、注意喚起画像のサイズを小さくしたり、注意喚起画像の色をあまり目立たない色にしたりするというような表示態様で注意喚起画像を表示させることで、注意喚起画像に対して操作者の注意が過度に注がれることを抑制できる。また、操作主体感の度合いが低い場合には、例えば、注意喚起画像のサイズを大きくしたり、注意喚起画像の色を目立つ色にしたりするというような表示態様で注意喚起画像を表示させることで、対象物体を操作者に確実に認識させることができる。

【0019】

前記視認対象は、前記作業機械が配置された作業現場に存在する物体である対象物体と、前記操作者が視認することが可能な視認可能領域に表示される視覚刺激と、を含むことが好ましい。この構成では、対象物体及び視覚刺激の少なくとも一方を用いて注視反応時間を計測することができる。

【0020】

前記コントローラは、前記視認可能領域に前記対象物体が現れた場合には前記操作者が前記対象物体に反応する時間である第１注視反応時間を計測し、所定時間内に前記視認可能領域に前記対象物体が現れない場合には前記視認可能領域に前記視覚刺激を表示させるための指令を出力し、前記操作者が前記視覚刺激に反応する時間である第２注視反応時間を計測することが好ましい。この構成では、作業現場に存在する物体（対象物体）が視認可能領域に現れた場合には、その対象物体を利用して注視反応時間を計測することができ、視認可能領域に対象物体が現れない場合であっても、視認可能領域に視覚刺激を表示させることによって注視反応時間を計測することができる。

【0021】

前記コントローラは、前記注視反応時間に応じて前記作業機械の制御パラメータを調節してもよい。具体的には例えば、前記注視反応時間が長い場合には操作者の操作主体感の度合いが低いので、このような場合には、コントローラは、作業機械の制御パラメータを前記注視反応時間に応じて調節することで作業機械の動作の特性をその操作者に適した状態に近づけることが可能である。

【0022】

前記コントローラは、前記注視反応時間の計測結果を用いて前記操作者の操作主体感の度合いを算出することが好ましい。算出された操作主体感の度合いに関するデータは、例えば、作業機械による作業効率の改善に利用されてもよい。

【0023】

提供される遠隔操作装置は、作業装置を含む作業機械を操作者が遠隔操作するための装置であって、前記作業機械が配置された作業現場の画像を表示する表示領域を有する表示器と、前記操作者の注視点に関する注視点情報を取得する注視点情報取得器と、を備え、前記注視点情報取得器は、前記作業装置とは異なる視認対象に前記操作者が反応する時間である注視反応時間をコントローラが前記注視点情報を用いて計測することが可能なように、前記注視点情報を出力する。この遠隔操作装置では、注視点情報取得器は、前記注視点情報を取得し、コントローラが当該注視点情報を用いて注視反応時間を計測することが可能なようにその注視点情報を出力する。従って、作業機械による作業効率の低下を抑制しながら、作業関係者が操作者の操作主体感の度合いを把握することが可能になる。

【0024】

提供される作業機械は、作業装置と、作業現場に存在する物体に関する物体情報を取得する物体情報取得器と、を備え、前記物体情報取得器は、前記作業装置とは異なる視認対象に操作者が反応する時間である注視反応時間をコントローラが前記操作者の注視点に関する注視点情報を用いて計測することが可能なように、前記物体情報を出力する。この作業機械では、物体情報取得器は、前記物体情報を取得し、コントローラが注視点情報を用いて注視反応時間を計測することが可能なようにその物体情報を出力する。従って、作業機械による作業効率の低下を抑制しながら、作業関係者が操作者の操作主体感の度合いを把握することが可能になる。

【0025】

提供される管理装置は、作業機械の作業装置とは異なる視認対象に前記作業機械の操作者が反応する時間である注視反応時間を、前記操作者の注視点に関する注視点情報を用いて計測する。この管理装置では、視認対象に操作者が反応する注視反応時間を計測することが可能であり、この注視反応時間の計測では、作業機械による作業を中断する必要はなく、また、頭部運動の量を表す値を計測する必要もない。従って、作業機械による作業効率の低下を抑制しながら、作業関係者が操作者の操作主体感の度合いを把握することが可能になる。

【0026】

提供される注視反応時間計測方法は、作業装置を含む作業機械を操作する操作者の注視点に関する注視点情報を取得することと、前記作業装置とは異なる視認対象に前記操作者が反応する時間である注視反応時間をコントローラが前記注視点情報を用いて計測することと、を含む。この注視反応時間計測方法では、視認対象に操作者が反応する注視反応時間を計測することが可能であり、この注視反応時間の計測では、作業機械による作業を中断する必要はなく、また、頭部運動の量を表す値を計測する必要もない。従って、作業機械による作業効率の低下を抑制しながら、作業関係者が操作者の操作主体感の度合いを把握することが可能になる。

【0027】

提供される操作主体感算出方法は、作業装置を含む作業機械を操作する操作者の注視点に関する注視点情報を取得することと、前記作業装置とは異なる視認対象に前記操作者が反応する時間である注視反応時間をコントローラが前記注視点情報を用いて計測することと、前記注視反応時間を用いて前記操作者の操作主体感の度合いを算出することと、を含む。この操作主体感算出方法では、視認対象に操作者が反応する注視反応時間を計測し、この注視反応時間を用いて操作主体感の度合いを算出することが可能であり、前記注視反応時間の計測及び前記操作主体感の度合いの算出では、作業機械による作業を中断する必要はなく、また、頭部運動の量を表す値を計測する必要もない。従って、作業機械による作業効率の低下を抑制しながら、作業関係者が操作者の操作主体感の度合いを把握することが可能になる。

【発明の効果】

【0028】

本発明によれば、作業機械による作業効率の低下を抑制しながら、作業機械を操作する操作者の操作主体感の度合いを把握することが可能な注視反応時間計測システム、遠隔操作装置、作業機械、注視反応時間計測方法、及び操作主体感算出方法が提供される。

【図面の簡単な説明】

【0029】

【図1】本発明の実施形態に係る注視反応時間計測システムの構成を示すブロック図である。

【図2】本発明の実施形態に係る作業機械を示す側面図である。

【図3】本発明の実施形態に係る遠隔操作装置を示す側面図である。

【図4】前記遠隔操作装置の表示器における表示領域を示す図である。

【図5】前記注視反応時間計測システムのコントローラが行う演算処理の一例を示すフローチャートである。

【図6】前記遠隔操作装置の表示器における表示領域を示す図である。

【図7】前記遠隔操作装置の表示器における表示領域を示す図である。

【図8】前記遠隔操作装置の表示器における表示領域を示す図である。

【図9】注視反応時間と操作主体感の度合いとの関係の一例を示すグラフである。

【図10】前記遠隔操作装置の表示器における表示領域を示す図である。

【図11】前記遠隔操作装置の表示器における表示領域を示す図である。

【図12】前記実施形態の変形例に係る注視反応時間計測システムの構成の一部を示すブロック図である。

【図13】操作者ごとの作業機械の動特性と注視反応時間との関係のイメージを示すグラフである。

【図14】操作者ごとの作業機械の速度特性と注視反応時間との関係のイメージを示すグラフである。

【図15】視覚刺激に対する操作者の注視行動を解析した結果を示すグラフである。

【発明を実施するための形態】

【0030】

本発明の実施形態を図面を参照しながら説明する。図１～図４に示すように、本実施形態に係る注視反応時間計測システム１００は、作業装置３を含む作業機械２００を操作する操作者ＯＰの注視点に関する注視点情報を取得する注視点情報取得器２０と（図１、図３参照）、操作者ＯＰが視認することが可能な視認可能領域Ｖにおいて作業装置３とは異なる視認対象６０（図４参照）に操作者ＯＰが反応する時間である注視反応時間ＲＴを前記注視点情報を用いて計測するコントローラ１０１（図１参照）と、を備える。

【0031】

図１に示すように、注視反応時間計測システム１００は、作業機械２００と、遠隔操作装置３００と、管理装置４００と、を含む。作業機械２００は、例えば作業現場５００（図４参照）に配置される。遠隔操作装置３００は、作業機械２００から離れた場所に配置される。管理装置４００は、作業機械２００及び遠隔操作装置３００から離れた場所に配置されてもよく、作業機械２００と同じ場所に配置されてもよく、遠隔操作装置３００と同じ場所に配置されてもよい。管理装置４００は、例えばサーバを含んでいてもよい。

【0032】

図１に示すように、作業機械２００は、作業機械２００の動作を制御する作業機械コントローラ２０１と、通信機器２１０と、を備える。遠隔操作装置３００は、遠隔操作装置コントローラ３０１と、通信機器３１０と、を備える。管理装置４００は、管理装置コントローラ４０１と、通信機器４１０と、を備える。注視反応時間計測システム１００のコントローラ１０１は、作業機械コントローラ２０１と、遠隔操作装置コントローラ３０１と、管理装置コントローラ４０１と、を含む。すなわち、作業機械コントローラ２０１、遠隔操作装置コントローラ３０１、及び管理装置コントローラ４０１のそれぞれは、注視反応時間計測システム１００のコントローラ１０１の一部を構成するコントローラユニットである。作業機械コントローラ２０１、遠隔操作装置コントローラ３０１及び管理装置コントローラ４０１のそれぞれは、演算処理装置と、メモリと、を含むコンピュータを備える。作業機械２００、遠隔操作装置３００及び管理装置４００は、通信機器２１０，３１０，４１０を用いて無線又は有線で情報を相互に伝達することが可能である。

【0033】

図２に示すように、作業機械２００は、下部走行体１と、上下方向の旋回軸Ｚ回りに旋回可能に下部走行体１に支持される上部旋回体２と、上部旋回体２に支持される作業装置３と、を備える。下部走行体１は、下部フレームと、下部フレームを支持する走行装置と、を備える。前記走行装置は、例えば左右一対のクローラと、これらのクローラを駆動する走行モータと、を含む。上部旋回体は、前記下部フレームに支持される旋回フレームと、旋回フレームに支持されるキャビン２Ａと、カウンタウエイト２Ｂと、を備える。作業装置３は、上部旋回体２に回動可能に支持されるブーム４と、ブーム４の先端部に回動可能に支持されるアーム５と、アーム５の先端部に回動可能に支持される先端アタッチメント６と、を備える。先端アタッチメント６は、図１に示す具体例ではバケットであるが、バケットに限られず、破砕機、フォークなどの他の先端アタッチメントであってもよい。

【0034】

作業機械２００は、複数のアクチュエータと、複数のアクチュエータを駆動する図略の駆動装置と、をさらに備える。複数のアクチュエータは、上部旋回体２に対してブーム４を回動させるためのブームシリンダ７と、ブーム４に対してアーム５を回動させるためのアームシリンダ８と、アーム５に対して先端アタッチメント６を回動させるための先端アタッチメントシリンダ９と、下部走行体１に対して上部旋回体２を旋回させるための旋回モータ１０と、前記走行モータと、を含む。

【0035】

複数のアクチュエータのそれぞれは、油圧アクチュエータであってもよく、電動アクチュエータであってもよい。複数のアクチュエータが油圧アクチュエータを含む場合には、前記駆動装置は、エンジンなどの駆動源により駆動されて作動油を吐出する油圧ポンプと、コントロールバルブと、を含む油圧回路を備える。複数のアクチュエータが電動アクチュエータを含む場合には、前記駆動装置は、バッテリーを含む電気回路を備える。

【0036】

作業機械２００は、物体情報取得器３０と、センサ群３１と、表示器３２と、操作器３３と、をさらに備える。

【0037】

物体情報取得器３０は、作業現場に存在する物体に関する物体情報を取得することが可能なように構成される。物体情報取得器３０は、取得した物体情報を出力する。出力された物体情報は、コントローラ１０１に入力される。具体的には、出力された物体情報は、作業機械コントローラ２０１に入力されてもよく、遠隔操作装置コントローラ３０１に入力されてもよく、管理装置コントローラ４０１に入力されてもよい。

【0038】

物体情報取得器３０は、例えば、作業現場の画像情報を検出する撮像器を含んでいてもよい。この撮像器は、例えば図２に示すように作業機械２００の特定部位に配置される。特定部位は、例えば、キャビン２Ａにおいて操作者が座席に座る場合における操作者の目の高さ位置に近い位置であってもよく、他の位置であってもよい。

【0039】

前記撮像器は、作業現場の撮像対象についての縦横の二次元情報を検出するカメラを含むものであってもよい。コントローラ１０１は、当該カメラから入力される物体情報を含む画像データと、後述する注視点情報と、を用いて、注視反応時間を計測してもよい。

【0040】

また、前記撮像器は、作業現場の撮像対象の三次元情報を検出する三次元情報検出器を含んでいてもよい。コントローラ１０１は、当該三次元情報検出器から入力される物体情報を含む画像データと、後述する注視点情報と、を用いて、注視反応時間を計測してもよい。

【0041】

この三次元情報検出器は、例えば、撮像対象についての縦横の２次元情報と、撮像対象についての奥行きの情報と、を検出することが可能な３次元カメラであってもよい。３次元カメラは、ステレオ方式の３次元カメラ（ステレオカメラ）であってもよく、ＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）方式の３次元カメラであってもよく、プロジェクターとカメラとを組み合わせた３次元カメラであってもよい。ＴＯＦ方式の３次元カメラは、例えばＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ Ａｎｄ Ｒａｎｇｉｎｇ）であってもよい。

【0042】

センサ群３１に含まれる各センサは、作業機械２００の動作を制御するために必要な種々のデータを取得する。表示器３２は、作業機械２００による作業において必要な情報を操作者に提示する。操作器３３は、作業装置３を動作させるための操作者による操作を受ける操作レバー、操作ペダルなどを含む。なお、操作者は、遠隔操作装置３００を用いて作業機械２００を操縦することが可能であり、作業機械２００のキャビン２Ａにおいて操作器３３を用いて作業機械２００を操縦することも可能である。

【0043】

遠隔操作装置３００は、注視点情報取得器２０と、表示器４０と、操作器５０と、座席９０と、をさらに備える。

【0044】

注視点情報取得器２０は、作業装置３を含む作業機械２００を操作する操作者ＯＰの注視点に関する注視点情報を取得することが可能なように構成される。注視点情報取得器２０は、取得した注視点情報を出力する。出力された注視点情報は、コントローラ１０１に入力される。具体的には、出力された注視点情報は、作業機械コントローラ２０１に入力されてもよく、遠隔操作装置コントローラ３０１に入力されてもよく、管理装置コントローラ４０１に入力されてもよい。

【0045】

注視点情報取得器２０は、操作者ＯＰの視線を検出することが可能な視線検出器を含んでいてもよい。この視線検出器は、例えば図３に示すように操作者ＯＰの頭部に装着されるヘッドマウント装置に搭載されていてもよく、操作者ＯＰの頭部から離れた位置に配置されていてもよい。視線検出器としては、例えばアイトラッカーと称されるものを用いることができる。注視点情報取得器２０は、操作者ＯＰの視線を含む注視点情報を出力し、コントローラ１０１は、その注視点情報を用いて、操作者ＯＰの注視点を算出してもよい。

【0046】

表示器４０は、作業機械２００が配置された作業現場５００の画像を表示する表示領域４１（図４参照）を有する。操作器５０は、作業装置３を動作させるための操作者による操作を受ける操作レバー５１，５２、操作ペダルなどを含む。操作者ＯＰは、座席９０に座って作業機械２００を操縦する。

【0047】

表示器４０は座席９０の前方に配置され、この座席９０に座る操作者ＯＰは、主に表示器４０の表示領域４１を見ながら操作器５０を操作することにより作業機械２００を操縦する。従って、操作者ＯＰが作業機械２００を操縦しているときに操作者ＯＰが視認することが可能な視認可能領域Ｖは、主に座席９０の前方の領域である。視認可能領域Ｖは、少なくとも表示器４０の表示領域４１を含む。また、視認可能領域Ｖは、例えば図３に示すように表示器４０の表示領域４１と、その周辺の領域と、を含んでいてもよい。具体的には、前記周辺の領域は、表示器４０の表示領域４１よりも上の領域と、表示領域４１よりも下の領域と、表示領域４１よりも右の領域と、表示領域４１よりも左の領域と、を含んでいてもよい。

【0048】

管理装置コントローラ４０１は、画像処理部と、視覚刺激提示部と、注意喚起提示部と、注視反応時間計測部と、操作主体感算出部と、を含む。画像処理部、視覚刺激提示部、注意喚起提示部、注視反応時間計測部、及び操作主体感算出部のそれぞれは、コントローラ１０１のメモリ（例えば、管理装置コントローラ４０１のメモリ）に記憶された制御プログラムが実行されることにより実現される。

【0049】

画像処理部は、物体情報取得器３０から入力される画像データの画像処理を行う。具体的には例えば、画像処理部は、物体情報取得器３０からコントローラ１０１に入力される画像データを用いて、視認可能領域Ｖ（表示領域４１）に作業装置３とは異なる対象物体６０Ａが現れたか否かを判定してもよい。

【0050】

視覚刺激提示部は、予め設定された表示条件が満たされた場合に視認可能領域Ｖに後述する視覚刺激６０Ｂを表示器４０に表示させるための指令を出力する。

【0051】

注意喚起提示部は、視認可能領域Ｖにおいて対象物体６０Ａの近くに注意喚起画像６２を表示器４０に表示させるための指令を出力する。

【0052】

注視反応時間計測部は、視認可能領域Ｖにおいて作業装置３とは異なる視認対象６０に操作者ＯＰが反応する時間である注視反応時間ＲＴを前記注視点情報を用いて計測する。

【0053】

操作主体感算出部は、注視反応時間ＲＴの計測結果を用いて操作者ＯＰの操作主体感の度合いを算出する。

【0054】

注視反応時間計測システム１００は、注視反応時間を計測する方法である本実施形態に係る注視時間計測方法に用いられる。また、注視反応時間計測システム１００は、操作者の操作主体感の度合いを算出する方法である操作主体感算出方法に用いられる。

【0055】

前記注視時間計測方法は、作業装置３を含む作業機械２００を操作する操作者ＯＰの注視点に関する注視点情報を取得することと、操作者ＯＰが視認することが可能な視認可能領域Ｖにおいて作業装置３とは異なる視認対象６０に操作者ＯＰが反応する時間である注視反応時間ＲＴを、注視反応時間計測システム１００のコントローラ１０１が前記注視点情報を用いて計測することと、を含む。前記操作主体感算出方法は、前記注視反応時間計測方法の前記ステップに加え、注視反応時間ＲＴを用いて操作者ＯＰの操作主体感の度合いを算出することをさらに含む。前記注視反応時間計測方法及び前記操作主体感算出方法では、視認対象６０に操作者ＯＰが反応する注視反応時間ＲＴを計測することが可能であり、また、注視反応時間ＲＴを用いて操作主体感の度合いを算出することが可能である。注視反応時間ＲＴの計測及び操作主体感の度合いの算出では、作業機械２００による作業を中断する必要はなく、また、頭部運動の量を表す値を計測する必要もない。従って、作業機械２００による作業効率の低下を抑制しながら、作業機械２００を操作する操作者ＯＰの操作主体感の度合いを作業関係者が把握することが可能になる。

【0056】

図４は、遠隔操作装置３００の表示器４０における表示領域４１を含む視認可能領域Ｖを示す図である。図４において、視認可能領域Ｖにおける表示領域４１には、視認対象６０が表示されている。この視認対象６０は、作業装置３とは異なる画像である。視認対象６０は、作業現場５００に存在する物体である対象物体６０Ａの画像（図６参照）であってもよく、作業現場５００に存在する物体の画像ではない視覚刺激６０Ｂの画像（図１０参照）であってもよい。対象物体６０Ａの画像は、例えば、作業現場５００に存在する人の画像であってもよく、作業現場５００において作業の障害になる障害物の画像であってもよく、作業現場に存在する他の物の画像であってもよい。前記障害物は、例えばダンプ、岩石、倒木などであってもよい。視覚刺激６０Ｂの画像は、例えば、特定の色と形状を有する画像であってもよい。視覚刺激６０Ｂの画像は、視認可能領域Ｖにおいて特定の場所に表示されてもよく、不特定の場所にランダムに表示されてもよい。また、視覚刺激６０Ｂの画像は、例えば、天候、時刻などの情報を含むものであってもよい。

【0057】

例えば図４に示すように作業機械２００により地盤を掘削する掘削作業が行われている場合、操作者ＯＰは、通常、作業装置３の先端アタッチメント６又はその近傍を見ながら、遠隔操作装置３００の操作器５０を操作することにより作業機械２００を遠隔操作する。具体的には、操作者ＯＰは、例えば、視認可能領域Ｖにおける表示領域４１に表示されている先端アタッチメント６の近傍の位置Ｐ０を見ながら操作器５０を操作する。

【0058】

このような操作中には、操作者ＯＰの注意は、主に先端アタッチメント６の近傍の位置Ｐ０に向けられているが、位置Ｐ０の周辺にも多少の注意が払われている。従って、このような操作中に視認可能領域Ｖに視認対象６０が表示され、操作者ＯＰがその視認対象６０の気配を感じると、操作者ＯＰの視線は、位置Ｐ０から視認対象６０に向かって移動する。具体的には、操作者ＯＰの視線は、例えば図４に示すように、位置Ｐ０から位置Ｐ１を経て、位置Ｐ２に移動する場合があり、また、位置Ｐ０から位置Ｐ１及び位置Ｐ２を経て、位置Ｐ３に移動する場合もある。位置Ｐ３は、視認対象６０の画像の範囲に含まれる位置である。位置Ｐ０，Ｐ１，Ｐ２のそれぞれは、視認対象６０の画像の範囲には含まれない位置である。位置Ｐ０，Ｐ１は、視認対象６０の画像の範囲から比較的大きく離れた位置であるが、位置Ｐ２は、視認対象６０の画像の範囲に近い位置である。

【0059】

本実施形態では、視認対象６０を基準にして注視判定範囲６１が設定されている。注視判定範囲６１は、視認対象６０の画像の範囲に一致する範囲であってもよく、視認対象６０の画像の範囲よりも広い範囲であってもよい。図４に示す具体例では、注視判定範囲６１は、二点鎖線の丸で示されており、視認対象６０の画像を含み、かつ、視認対象６０の画像の範囲よりも広い。注視判定範囲６１は、操作者ＯＰの注視点が視認対象６０に移動したこと又は視認対象６０の近傍に移動したことを判定することが可能な範囲に設定される。

【0060】

操作器５０を操作しているときの操作者ＯＰの操作主体感が低い場合には、先端アタッチメント６又はその近傍の部位（例えば位置Ｐ０）に対する注意の配分の度合いが増加し、その結果、作業装置３の先端アタッチメント６とは異なる視認対象６０への視線の移動が遅れる。すなわち、操作者ＯＰの操作主体感と、視認対象６０に対して操作者ＯＰが反応する時間である注視反応時間ＲＴと、の間には相関がある。従って、注視反応時間ＲＴは、操作者ＯＰの操作主体感の度合いの評価の指標として用いることが可能である。

【0061】

コントローラ１０１は、視認可能領域Ｖにおいて視認対象６０に操作者ＯＰが反応する注視反応時間ＲＴを、注視点情報取得器２０からコントローラ１０１に入力される注視点情報を用いて計測する。本実施形態では、注視反応時間ＲＴは、計測開始時点から注視判定範囲６１に操作者ＯＰの注視点が移動するまでの時間である。前記計測開始時点は、視認可能領域Ｖに視認対象６０（例えば視覚刺激６０Ｂ）が表示された時点であってもよく、視認可能領域Ｖに視認対象６０（例えば対象物体６０Ａ）が現れた時点であってもよい。

【0062】

図５は、注視反応時間計測システム１００のコントローラ１０１が行う演算処理の一例を示すフローチャートである。

【0063】

コントローラ１０１は、視認可能領域Ｖに含まれる表示領域４１に対象物体６０Ａが現れたか否かを判定する（ステップＳ１１）。表示領域４１に対象物体６０Ａが現れた場合には（ステップＳ１１においてＹＥＳ）、コントローラ１０１は、ステップＳ１２以降の処理を実行し、表示領域４１に対象物体６０Ａが現れていない場合には（ステップＳ１１においてＮＯ）、コントローラ１０１は、ステップＳ１８以降の処理を実行する。

【0064】

図６は、対象物体６０Ａが作業現場５００に存在する人である場合を例示している。図６に示すように表示領域４１に対象物体６０Ａが現れた場合、コントローラ１０１は、その時点における時刻ｔ１を記憶する（ステップＳ１２）。この時刻ｔ１は、注視反応時間の計測開始時点である。

【0065】

次に、コントローラ１０１は、対象物体６０Ａの近くに注意喚起画像６２を表示器４０に表示させるための指令を出力する（ステップＳ１３）。図７に示す具体例では、注意喚起画像６２は、対象物体６０Ａの周りを囲むように表示される枠画像６３と、その近傍に表示される注意喚起マーク６４と、を含む。ただし、注意喚起画像６２は、図７に示す具体例に限られず、作業機械２００の近くに対象物体６０Ａが現れたことを操作者に報知することが可能な画像であればよい。

【0066】

次に、コントローラ１０１は、操作者ＯＰの注視点が注視判定範囲に移動したか否か、すなわち操作者ＯＰの注視点が対象物体６０Ａ又はその近傍に移動したか否かを判定する（ステップＳ１４）。注視判定範囲は、対象物体６０Ａの画像に一致する範囲であってもよく、対象物体６０Ａの画像を含み、かつ、対象物体６０Ａの画像よりも広い範囲であってもよい。この注視判定範囲は、例えば図４における注視判定範囲６１と同様に、操作者ＯＰの注視点が対象物体６０Ａ又はその近傍に移動したことを判定することが可能な範囲に設定される。

【0067】

操作者ＯＰの注視点が前記注視判定範囲に移動した場合には（ステップＳ１４においてＹＥＳ）、コントローラ１０１は、ステップＳ１５以降の処理を実行し、操作者ＯＰの注視点が前記注視判定範囲に移動していない場合には（ステップＳ１４においてＮＯ）、コントローラ１０１は、ステップＳ１４の処理を実行する。

【0068】

操作者ＯＰの注視点が前記注視判定範囲に移動した場合、コントローラ１０１は、その時点における時刻ｔ２を記憶する（ステップＳ１５）。この時刻ｔ２は、注視反応時間の計測完了時点である。

【0069】

次に、コントローラ１０１は、メモリに記憶された時刻ｔ１と時刻ｔ２とを用いて、注視反応時間ＲＴ（ＲＴ＝ｔ２－ｔ１）を算出する（ステップＳ１６）。なお、以下では、時刻ｔ１と時刻ｔ２を用いて算出される注視反応時間ＲＴのことを第１注視反応時間ＲＴと称することがある。

【0070】

次に、コントローラ１０１は、注視反応時間ＲＴの計測結果を用いて操作者ＯＰの操作主体感の度合いを算出する（ステップＳ１７）。具体的には例えば、コントローラ１０１は、予めメモリに記憶された図９に示すマップと、注視反応時間ＲＴの計測結果と、を用いて、操作者ＯＰの操作主体感の度合いを算出してもよい。図９示すマップは、注視反応時間ＲＴと、操作主体感と、の関係を規定する関数である。このマップは、注視反応時間ＲＴが長くなるにつれて操作主体感の度合いが低くなるような特性を示している。ただし、注視反応時間ＲＴの計測結果を用いて操作者ＯＰの操作主体感の度合いを算出するためのマップは、図９に示す具体例に限られない。

【0071】

そして、コントローラ１０１は、ステップＳ１１以降の処理を繰り返す。

【0072】

なお、ステップＳ１３において、コントローラ１０１は、注視反応時間に応じた表示態様、すなわち操作者の操作主体感の度合いに応じた表示態様で、対象物体６０Ａの近くに注意喚起画像６２を表示器４０に表示させるための指令を出力してもよい。

【0073】

具体的には例えば、注視反応時間ＲＴが予め設定された反応時間閾値よりも小さい場合、すなわち操作者ＯＰの操作主体感の度合いが高い場合には、コントローラ１０１は、例えば図７に示すように、注意喚起画像６２のサイズを小さくしたり、注意喚起画像６２の色をあまり目立たない色にしたりするというような表示態様で注意喚起画像６２を表示器４０表示させてもよい。これにより、注意喚起画像６２に対して操作者ＯＰの注意が過度に注がれることを抑制できる。また、注視反応時間ＲＴが前記反応時間閾値以上である場合、すなわち操作者ＯＰの操作主体感の度合いが低い場合には、コントローラ１０１は、例えば図８に示すように、注意喚起画像６２のサイズを大きくしたり、注意喚起画像６２の色を目立つ色にしたりするというような表示態様で注意喚起画像６２を表示器４０に表示させてもよい。これにより、視認可能領域Ｖにおける表示領域４１に現れる対象物体６０Ａを操作者ＯＰに確実に認識させることができる。

【0074】

図５に示すフローチャートの演算処理の開始後、コントローラ１０１が注視反応時間ＲＴ（操作主体感の度合い）を一度も算出していない場合、コントローラ１０１は、表示態様を決める基準となる注視反応時間又は操作主体感の度合いとして、例えば予め設定されたデフォルト値を用いてもよい。図５に示すフローチャートの演算処理の開始後、コントローラ１０１が注視反応時間ＲＴ（操作主体感の度合い）を少なくとも１回算出している場合、コントローラ１０１は、表示態様を決める基準となる注視反応時間又は操作主体感の度合いとして、例えば、直近に算出された注視反応時間又は操作主体感の度合いを用いてもよく、算出された注視反応時間の平均値又は算出された操作主体感の度合いの平均値を用いてもよい。

【0075】

次に、図５のステップＳ１８以降の処理について説明する。表示領域４１に対象物体６０Ａが現れていない場合には（ステップＳ１１においてＮＯ）、コントローラ１０１は、ステップＳ１８の処理を行う。ステップＳ１８において、コントローラ１０１は、注視反応時間（操作主体感の度合い）を算出せずに所定時間が経過したか否かを判定する。この場合、コントローラ１０１は、視認可能領域Ｖにおける表示領域４１に対象物体６０Ａが現れていない状態で前記所定時間が経過したか否かを判定してもよい。

【0076】

図５に示すフローチャートの演算処理の開始後、コントローラ１０１が注視反応時間（操作主体感の度合い）を一度も算出していない場合、コントローラ１０１は、前記所定時間の計測を開始する時点（基準時点の一例）として、予め設定されたデフォルトの時点を用いてもよい。デフォルトの時点は、例えば、図５に示すフローチャートの演算処理が開始された時点であってもよい。図５に示すフローチャートの演算処理の開始後、コントローラ１０１が注視反応時間（操作主体感の度合い）を少なくとも１回算出している場合、コントローラ１０１は、前記所定時間の計測を開始する時点として、例えば、前回に注視反応時間ＲＴを算出した時点又は前回に操作主体感の度合いを算出した時点を用いてもよい。この場合、コントローラ１０１は、前回に注視反応時間ＲＴを算出した時点又は前回に操作主体感の度合いを算出した時点で所定時間をリセットした後にステップＳ１１の処理に戻ってもよい。

【0077】

前記所定時間が経過した場合には（ステップＳ１８においてＹＥＳ）、コントローラ１０１は、ステップＳ１９以降の処理を実行し、前記所定時間が経過していない場合には（ステップＳ１８においてＮＯ）、コントローラ１０１は、ステップＳ１１以降の処理を実行する。

【0078】

前記所定時間が経過した場合、コントローラ１０１は、視認可能領域Ｖに視覚刺激６０Ｂを表示させるための指令を出力する（ステップＳ１９）。具体的には、コントローラ１０１は、例えば図１０に示すように視認可能領域Ｖにおける表示領域４１に視覚刺激６０Ｂを表示させてもよく、例えば図１１に示すように視認可能領域Ｖの範囲内であるが表示領域４１の範囲外に視覚刺激６０Ｂを表示させてもよい。視覚刺激６０Ｂが表示領域４１の範囲外に表示される場合、視覚刺激６０Ｂが表示領域４１に表示される作業現場５００の画像の邪魔にならない。

【0079】

次に、コントローラ１０１は、その時点における時刻ｔ３を記憶する（ステップＳ２０）。この時刻ｔ３は、注視反応時間の計測開始時点である。

【0080】

次に、コントローラ１０１は、操作者ＯＰの注視点が注視判定範囲に移動したか否か、すなわち操作者ＯＰの注視点が視覚刺激６０Ｂ又はその近傍に移動したか否かを判定する（ステップＳ２１）。注視判定範囲は、視覚刺激６０Ｂの画像に一致する範囲であってもよく、視覚刺激６０Ｂの画像を含み、かつ、視覚刺激６０Ｂの画像よりも広い範囲であってもよい。この注視判定範囲は、例えば図４における注視判定範囲６１と同様に、操作者ＯＰの注視点が視覚刺激６０Ｂ又はその近傍に移動したことを判定することが可能な範囲に設定される。

【0081】

操作者ＯＰの注視点が前記注視判定範囲に移動した場合には（ステップＳ２１においてＹＥＳ）、コントローラ１０１は、ステップＳ２２以降の処理を実行し、操作者ＯＰの注視点が前記注視判定範囲に移動していない場合には（ステップＳ２１においてＮＯ）、コントローラ１０１は、ステップＳ２１の処理を実行する。

【0082】

操作者ＯＰの注視点が前記注視判定範囲に移動した場合、コントローラ１０１は、その時点における時刻ｔ４を記憶し（ステップＳ２２）、視覚刺激６０Ｂの画像が表示器４０に表示されないような制御を行う（ステップＳ２３）。この時刻ｔ４は、注視反応時間の計測完了時点である。

【0083】

次に、コントローラ１０１は、メモリに記憶された時刻ｔ３と時刻ｔ４とを用いて、注視反応時間ＲＴ（ＲＴ＝ｔ４－ｔ３）を算出する（ステップＳ１６）。なお、以下では、時刻ｔ３と時刻ｔ４を用いて算出される注視反応時間ＲＴのことを第２注視反応時間ＲＴと称することがある。

【0084】

次に、コントローラ１０１は、第２注視反応時間ＲＴの計測結果を用いて操作者ＯＰの操作主体感の度合いを算出する（ステップＳ１７）。具体的には例えば、コントローラ１０１は、予めメモリに記憶されたマップと、第２注視反応時間ＲＴの計測結果と、を用いて、操作者ＯＰの操作主体感の度合いを算出してもよい。なお、第２注視反応時間ＲＴとともに用いられる当該マップは、第１注視反応時間ＲＴとともに用いられる図９に示すマップと同じものであってもよく、異なるものであってもよい。ただし、第２注視反応時間ＲＴとともに用いられる当該マップは、第２注視反応時間ＲＴと、操作主体感と、の関係を規定する関数であり、注視反応時間ＲＴが長くなるにつれて操作主体感の度合いが低くなるような特性を示している点で、図９に示すマップと共通している。

【0085】

そして、コントローラ１０１は、ステップＳ１１以降の処理を繰り返す。

【0086】

以上説明したように、本実施形態に係る注視反応時間計測システム１００は、作業装置３を含む作業機械２００を操作する操作者ＯＰの注視点に関する注視点情報を取得する注視点情報取得器２０と、操作者ＯＰが視認することが可能な視認可能領域Ｖにおいて作業装置３とは異なる視認対象６０に操作者ＯＰが反応する時間である注視反応時間ＲＴを注視点情報を用いて計測するコントローラ１０１と、を備える。この注視反応時間計測システム１００では、作業機械２００による作業効率の低下を抑制しながら、作業機械２００を操作する操作者ＯＰの操作主体感の度合いを作業関係者が把握することが可能になる。

【0087】

本実施形態では、コントローラ１０１は、注視反応時間ＲＴとして、視認可能領域Ｖに視認対象６０が表示された時点又は視認可能領域Ｖに視認対象６０が現れた時点から、視認対象６０を基準に設定される範囲である注視判定範囲６１に操作者ＯＰの注視点が移動するまでの時間を計測する。従って、注視反応時間ＲＴの計測の開始と当該計測の完了を適切なタイミングで行うことができ、注視反応時間ＲＴの計測の完了を示す注視点の位置を、設定された注視判定範囲６１を用いて適切に判定することができる。

【0088】

本実施形態では、視認対象６０は、視認可能領域Ｖに表示される視覚刺激６０Ｂを含み、コントローラ１０１は、予め設定された表示条件が満たされた場合に視認可能領域Ｖに視覚刺激６０Ｂを表示させるための指令を出力する。従って、予め設定された表示条件が満たされると視認可能領域Ｖに視覚刺激６０Ｂが表示され、表示された視覚刺激６０Ｂに操作者ＯＰが反応する注視反応時間ＲＴ、すなわち、その時点における操作者ＯＰの操作主体感に相関する注視反応時間ＲＴが計測される。

【0089】

本実施形態では、前記表示条件は、基準時点から所定時間が経過することを含む。従って、基準時間から所定時間が経過すると視認可能領域Ｖに視覚刺激６０Ｂが表示される。なお、前記表示条件は、基準時点から所定時間が経過することでなくてもよく、例えば、操作者ＯＰが図略の入力器に対して、視認可能領域Ｖに視覚刺激６０Ｂを表示させるための入力を行ったことであってもよく、他の条件であってもよい。

【0090】

本実施形態では、視認対象６０は、作業機械２００が配置された作業現場５００に存在する物体である対象物体６０Ａを含む。従って、作業現場５００に実際に存在する物体が視認可能領域Ｖに現れた場合に、その物体（対象物体６０Ａ）を利用して注視反応時間ＲＴを計測することができる。

【0091】

本実施形態では、視認対象６０は、視認可能領域Ｖにおいて対象物体６０Ａの近くに表示される注意喚起画像６２をさらに含む。従って、視認可能領域Ｖに現れる対象物体６０Ａの近くに注意喚起画像６２が表示されるので、注視反応時間ＲＴの計測結果が、対象物体６０Ａの種類、大きさなどの対象物体６０Ａの特性に左右されにくくなる。これにより、対象物体６０Ａの特性にかかわらず、注視反応時間ＲＴをより正確に計測することができる。

【0092】

本実施形態では、コントローラ１０１は、注視反応時間ＲＴに応じた表示態様で注意喚起画像６２を表示させるための指令を出力する。従って、例えば、計測された注視反応時間ＲＴに応じて注意喚起画像６２の表示態様を変えることができるので、操作者ＯＰの操作主体感の度合いに応じた注意喚起画像６２を表示させることができる。

【0093】

本実施形態では、視認対象６０は、作業機械２００が配置された作業現場５００に存在する物体である対象物体６０Ａと、視認可能領域Ｖに表示される視覚刺激６０Ｂと、を含む。この構成では、対象物体６０Ａ及び視覚刺激６０Ｂの少なくとも一方を用いて注視反応時間ＲＴを計測することができる。

【0094】

本実施形態では、コントローラ１０１は、視認可能領域Ｖに対象物体６０Ａが現れた場合には操作者ＯＰが対象物体６０Ａに反応する時間である第１注視反応時間ＲＴを計測し、所定時間内に視認可能領域Ｖに対象物体６０Ａが現れない場合には視認可能領域Ｖに視覚刺激６０Ｂを表示させるための指令を出力し、操作者ＯＰが視覚刺激６０Ｂに反応する時間である第２注視反応時間ＲＴを計測する。従って、作業現場５００に存在する物体（対象物体６０Ａ）が視認可能領域Ｖに現れた場合には、その対象物体６０Ａを利用して注視反応時間ＲＴを計測することができ、視認可能領域Ｖに対象物体６０Ａが現れない場合であっても、視認可能領域Ｖに視覚刺激６０Ｂを表示させることにより、注視反応時間ＲＴを計測することができる。

【0095】

本実施形態では、コントローラ１０１は、注視反応時間ＲＴの計測結果を用いて操作者ＯＰの操作主体感の度合いを算出する。算出された操作主体感の度合いに関するデータは、例えば、作業機械２００による作業効率の改善に利用されてもよい。

【0096】

本実施形態に係る遠隔操作装置３００は、作業装置３を含む作業機械２００を操作者ＯＰが遠隔操作するための装置であって、作業機械２００が配置された作業現場５００の画像を表示する表示領域４１を有する表示器４０と、操作者ＯＰの注視点に関する注視点情報を取得する注視点情報取得器２０と、を備える。注視点情報取得器２０は、操作者ＯＰが視認することが可能な領域であって表示領域４１を含む視認可能領域Ｖにおいて作業装置３とは異なる視認対象６０に操作者ＯＰが反応する時間である注視反応時間ＲＴをコントローラ１０１が注視点情報を用いて計測することが可能なように、注視点情報を出力する。この遠隔操作装置３００では、注視点情報取得器２０は、注視点情報を取得し、コントローラ１０１が当該注視点情報を用いて注視反応時間ＲＴを計測することが可能なようにその注視点情報を出力する。従って、作業機械２００による作業効率の低下を抑制しながら、作業関係者が操作者ＯＰの操作主体感の度合いを把握することが可能になる。

【0097】

本実施形態に係る作業機械２００は、作業装置３と、作業現場５００に存在する物体に関する物体情報を取得する物体情報取得器３０と、を備える。物体情報取得器３０は、操作者ＯＰが視認することが可能な視認可能領域Ｖにおいて作業装置３とは異なる視認対象６０に操作者ＯＰが反応する時間である注視反応時間ＲＴをコントローラ１０１が操作者ＯＰの注視点に関する注視点情報を用いて計測することが可能なように、物体情報を出力する。この作業機械２００では、物体情報取得器３０は、物体情報を取得し、コントローラ１０１が注視点情報を用いて注視反応時間ＲＴを計測することが可能なようにその物体情報を出力する。従って、作業機械２００による作業効率の低下を抑制しながら、作業関係者が操作者ＯＰの操作主体感の度合いを把握することが可能になる。

【0098】

本実施形態に係る管理装置４００は、作業装置３を含む作業機械２００を操作する操作者ＯＰが視認することが可能な視認可能領域Ｖにおいて作業装置３とは異なる視認対象６０に操作者ＯＰが反応する時間である注視反応時間ＲＴを、操作者ＯＰの注視点に関する注視点情報を用いて計測する。この管理装置４００では、視認対象６０に操作者ＯＰが反応する注視反応時間ＲＴを計測することが可能であり、この注視反応時間ＲＴの計測では、作業機械２００による作業を中断する必要はなく、また、頭部運動の量を表す値を計測する必要もない。従って、作業機械２００による作業効率の低下を抑制しながら、作業関係者が操作者ＯＰの操作主体感の度合いを把握することが可能になる。

【0099】

［変形例］
以上、本発明の実施形態について説明したが、本発明は前記実施形態に限定されるものではなく、例えば以下のような変形例を含む。

【0100】

（Ａ）制御パラメータの調節について
コントローラ１０１は、注視反応時間ＲＴに応じて作業機械２００の制御パラメータを調節してもよい。注視反応時間ＲＴが長い場合には操作者ＯＰの操作主体感の度合いが低いので、このような場合には、コントローラ１０１は、作業機械２００の制御パラメータを注視反応時間ＲＴに応じて調節することで作業機械２００の動作の特性をその操作者ＯＰに適した状態に近づけることが可能である。

【0101】

前記制御パラメータは、例えば、作業機械２００の動特性に関する制御パラメータであってもよく、作業機械２００の速度特性に関する制御パラメータであってもよく、作業機械２００の他の特性に関する制御パラメータであってもよい。動特性に関する制御パラメータは、例えば、ブーム４、アーム５、先端アタッチメント６などのように作業装置３に含まれる可動部の動作に関する時定数であってもよく、上部旋回体２の旋回に関する時定数であってもよい。速度特性に関する制御パラメータは、例えば、ブームシリンダ７、アームシリンダ８、先端アタッチメントシリンダ９、旋回モータ１０などのアクチュエータの動作速度であってもよく、前記可動部の動作速度であってもよく、上部旋回体２の旋回の動作速度であってもよい。

【0102】

この変形例に係る注視反応時間計測システム１００では、例えば図１２のブロック図に示すように、コントローラ１０１（例えば作業機械コントローラ２０１）は、動特性設定部と、速度特性設定部と、最適動特性演算部と、最適速度特性演算部と、を備えていてもよい。前記動特性設定部、前記速度特性設定部、前記最適動特性演算部、及び前記最適速度特性演算部のそれぞれは、コントローラ１０１のメモリに記憶された制御プログラムが実行されることにより実現される。なお、前記動特性設定部、前記速度特性設定部、前記最適動特性演算部、及び前記最適速度特性演算部は、作業機械コントローラ２０１ではなく、遠隔操作装置コントローラ３０１に備えられていてもよく、管理装置コントローラ４０１に備えられていてもよい。

【0103】

コントローラ１０１の注視反応時間計測部（例えば管理装置コントローラ４０１の注視反応時間計測部）が前記注視点情報を用いて注視反応時間ＲＴを計測すると、前記最適動特性演算部は、計測された注視反応時間ＲＴに応じて、作業機械２００の動特性に関する制御パラメータの修正値を演算し、前記動特性設定部は、動特性に関する制御パラメータを前記修正値に変更する。また、前記最適速度特性演算部は、計測された注視反応時間ＲＴに応じて、作業機械２００の速度特性に関する制御パラメータの修正値を演算し、前記速度特性設定部は、速度特性に関する制御パラメータを前記修正値に変更する。

【0104】

図１３は、操作者ごとの作業機械の動特性と注視反応時間との関係のイメージを示すグラフであり、図１４は、操作者ごとの作業機械の速度特性と注視反応時間との関係のイメージを示すグラフである。これらのグラフのそれぞれにおいて、実線で示された操作者Ａの曲線は、操作者が作業機械の操縦について十分に慣れていない初心者である場合のものであり、破線で示された操作者Ｂの曲線は、操作者が作業機械の操縦について熟練した熟練者である場合のものである。

【0105】

図１３に示すように、初心者には初心者に適した動特性があり、熟練者には熟練者に適した動特性がある。同様に、図１４に示すように、初心者には初心者に適した速度特性があり、熟練者には熟練者に適した速度特性がある。具体的には例えば、初心者（操作者Ａ）は、動作の応答性が高い場合や動作速度が高い場合には思い通りに操作ができず、操作主体感が低下して注視反応時間ＲＴが長くなると考えられる。ただし、初心者であっても、動作の応答性が過度に低い場合や動作速度が過度に低い場合にも思い通りに操作ができず、操作主体感が低下して注視反応時間ＲＴが長くなると考えられる。一方、熟練者（操作者Ｂ）は、動作の応答性が低い場合や動作速度が低い場合には思い通りに操作ができず、操作主体感が低下して注視反応時間ＲＴが長くなると考えられる。ただし、熟練者であっても、動作の応答性が過度に高い場合や動作速度が過度に高い場合にも思い通りに操作ができず、操作主体感が低下して注視反応時間ＲＴが長くなると考えられる。初心者及び熟練者の何れでも、注視反応時間ＲＴが最も短いときには操作主体感の度合いが高いと考えられる。従って、コントローラ１０１は、計測された注視反応時間ＲＴを用いて、動特性に関する制御パラメータを、一人ひとりの操作者に適した値に調節することができる。同様に、コントローラ１０１は、計測された注視反応時間ＲＴを用いて、速度特性に関する制御パラメータを、一人ひとりの操作者に適した値に調節することができる。

【0106】

コントローラ１０１は、必ずしも制御パラメータを前記注視反応時間ＲＴに応じた最適な値に１回の制御で直ちに変更しなくてもよく、制御パラメータを最適な値に向けて段階的に変更してもよい。具体的には例えば、コントローラ１０１は、制御パラメータを徐々に変更することで注視反応時間が最も短くなるように制御パラメータを設定してもよい。すなわち、コントローラ１０１は、制御パラメータを探索的に変更することで注視反応時間が最も短くなるような制御パラメータを見つけ、その値に制御パラメータを設定してもよい。また、操作者は、作業機械２００の操縦を長時間続けると、疲労が蓄積して注意力が低下する傾向にあり、その時々に計測される注視反応時間ＲＴは、操作者の疲労度合いにも相関すると考えられる。従って、コントローラ１０１は、作業機械２００による作業中に断続的に注視反応時間ＲＴを計測することで、その時々の注視反応時間ＲＴに応じた最適な制御パラメータへの調節、すなわち操作者の疲労度合いに応じた最適な制御パラメータへの調節を行うことも可能である。これにより、操作者の疲労を軽減することも可能になる。

【0107】

（Ｂ）作業内容の判定について
コントローラ１０１は、作業機械２００が行う作業内容を判定し、判定した作業内容に応じた表示態様で視覚刺激６０Ｂを表示させるための指令を出力してもよい。この場合、コントローラ１０１は、作業内容に応じた表示態様で視覚刺激６０Ｂを表示させることができる。表示態様には、例えば、作業内容に応じて視認対象を表示器に表示させるか否かを変えてもよく、作業内容に応じて視認対象の表示位置を変えてもよく、作業内容に応じて表示器４０とは別の表示器に表示させてもよい。前記作業内容としては、掘削作業、掘削作業後に行われるブーム４の上げ動作と上部旋回体２の旋回動作を含む持ち上げ旋回作業、ダンプの荷台などに土砂を排土する排土作業、排土作業後に掘削対象に戻る戻り旋回作業、などを例示できるが、作業内容は、これらの具体例に限られない。掘削作業、持ち上げ旋回作業、排土作業、戻り旋回作業などの複数の作業のそれぞれでは、特有の作業装置３の動作が行われること、及び／又は特有の上部旋回体２の旋回動作が行われる。従って、コントローラ１０１は、予め設定された判定条件に基づいて、作業機械２００が行う作業内容を判定することができる。

【0108】

（Ｃ）注視反応時間計測システムの構成について
前記実施形態では、注視反応時間計測システム１００は、作業機械２００と、遠隔操作装置３００と、管理装置４００と、を含むが、操作者ＯＰが作業機械２００の搭乗して作業機械２００を操縦する場合には、遠隔操作装置３００は、注視反応時間計測システム１００に含まれていなくてもよい。

【0109】

また、管理装置４００の管理装置コントローラ４０１の機能を、作業機械コントローラ２０１及び遠隔操作装置コントローラ３０１の少なくとも一方が備えている場合には、管理装置４００は、注視反応時間計測システム１００に含まれていなくてもよい。

【0110】

管理装置４００は、作業機械２００及び遠隔操作装置３００から離れた場所に配置されてもよく、作業機械２００と同じ場所に配置されてもよく、遠隔操作装置３００と同じ場所に配置されてもよい。

【0111】

（Ｄ）操作者が作業機械に搭乗する場合について
前記実施形態では、操作者ＯＰが遠隔操作装置３００を用いて作業機械２００を遠隔操作するが、このような実施形態に限られない。操作者ＯＰは、作業機械２００のキャビン２Ａに搭乗して作業機械２００を操作してもよく、この場合、前記視認可能領域Ｖは、コントローラ１０１において、例えば、物体情報取得器３０の視野範囲に一致する範囲に設定されていてもよく、物体情報取得器３０の視野範囲のうちの一部に設定されていてもよい。具体的には、操作者ＯＰが視認することが可能な視認可能領域Ｖは、主に座席９０の前方の領域である。従って、物体情報取得器３０の視野範囲を、操作者ＯＰの視認可能領域Ｖに相当するような範囲、又は、操作者ＯＰの視認可能領域Ｖを含む範囲に、予め調節することで、コントローラ１０１は、物体情報取得器３０の視野範囲又は当該視野範囲の一部を、操作者ＯＰが視認することが可能な視認可能領域Ｖとして用いることができる。

【0112】

（Ｅ）その他
コントローラ１０１は、作業内容ごとに注視反応時間ＲＴを計測してもよく、作業内容ごとに操作主体感を算出してもよい。

【0113】

コントローラ１０１は、算出された操作主体感の度合いを表示器に表示させるための指令を出力するように構成されていてもよい。これにより、操作者、管理者などの作業関係者は、作業中における操作者の操作主体感をリアルタイムで把握することができる。

【0114】

［実施例］
図１５は、視覚刺激に対する操作者の注視行動を解析した結果を示すグラフである。図１５の解析結果では、平均反応時間（平均注視反応時間）と自己主体感スコア（操作主体感スコア）（Ｓｅｎｓｅ ｏｆ ａｇｅｎｃｙ ｓｃｏｒｅ）について、有意な負の相関関係がみられた（Ｓｐｅａｒｍａｎ’ｓρ＝－０．２５８、ｐ＝０．０１１、欠損値処理：ｐａｉｒｗｉｓｅ法）。

【0115】

図１５の解析結果を得るために行った実験条件の概要は次の通りである。実験の参加者のうち、実験プロトコル不履行の４名を除き、手指動作や視力に疾病のない３５名（女性１９名、男性１６名、２１．７１４±２.８１４歳）を有効データとした。テストブロックにおいて、視覚刺激として「正方形マーク」または「ひし形マーク」のいずれかをランダムに提示した。視覚刺激の提示位置は（ｘ，ｙ，ｚ）=（０，１５．０，５０．０）とした。ドットをゴールゾーンに留めた直後に、提示されていたマークについて手元のキーボード操作（正方形マークであれば左カーソルキー、ひし形マークであれば右カーソルキー）により回答を求めた。ただし、回答時間が０．０２ｓを下回ったトライアルは正答率の解析から除外した。また、注視行動の指標として、視点が視覚刺激および周辺範囲（－１．７５≦ｘ≦１．７５，－１３．２５≦ｙ≦１６．７５）内に置かれた時点を注視とし、各ブロックの合計注視時間、各トライアルのサイクルタイムあたりの注視時間、視覚刺激提示後の注視の反応時間を求めた。各テストブロックではキープレスがドットの動きに反映されるまでの間に０．１ｓ、０．４ｓ、０．７ｓのいずれかの遅延を発生させた。各遅延発生条件の実施順序は実験参加者ごとにランダムとし、カウンターバランスをとった。なお、実験参加者の視線情報については、市販のアイトラッキングシステムを用いて測定、解析した。算出された視線とプレイエリアの交点を視点とし、各トライアル開始から終了まで記録した。

【符号の説明】

【0116】

３ ：作業装置
２０ ：注視点情報取得器
３０ ：物体情報取得器
４０ ：表示器
４１ ：表示領域
６０ ：視認対象
６０Ａ ：対象物体
６０Ｂ ：視覚刺激
６１ ：注視判定範囲
６２ ：注意喚起画像
１００ ：注視反応時間計測システム
１０１ ：コントローラ
２００ ：作業機械
２０１ ：作業機械コントローラ
３００ ：遠隔操作装置
３０１ ：遠隔操作装置コントローラ
４００ ：管理装置
４０１ ：管理装置コントローラ
５００ ：作業現場
ＯＰ ：操作者
ＲＴ ：注視反応時間
Ｖ ：視認可能領域

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】