特開 2023-31692 運転支援システム、及び運転支援プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023031692

(43)【公開日】2023-03-09

(54)【発明の名称】運転支援システム、及び運転支援プログラム

(51)【国際特許分類】

   G08G 1/16 20060101AFI20230302BHJP

   G09B 19/00 20060101ALI20230302BHJP

   G06Q 10/08 20230101ALI20230302BHJP

   B66F 9/24 20060101ALI20230302BHJP

【ＦＩ】

G08G1/16 F

G09B19/00 Z

G06Q10/08

B66F9/24 Z

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2021137338

(22)【出願日】2021-08-25

(71)【出願人】

【識別番号】000003218

【氏名又は名称】株式会社豊田自動織機

(71)【出願人】

【識別番号】301021533

【氏名又は名称】国立研究開発法人産業技術総合研究所

(74)【代理人】

【識別番号】100088155

【弁理士】

【氏名又は名称】長谷川 芳樹

(74)【代理人】

【識別番号】100113435

【弁理士】

【氏名又は名称】黒木 義樹

(74)【代理人】

【識別番号】100124062

【弁理士】

【氏名又は名称】三上 敬史

(74)【代理人】

【識別番号】100148013

【弁理士】

【氏名又は名称】中山 浩光

(74)【代理人】

【識別番号】100162640

【弁理士】

【氏名又は名称】柳 康樹

(72)【発明者】

【氏名】チュウ ジョウヨン

(72)【発明者】

【氏名】河本 満

(72)【発明者】

【氏名】大隈 隆史

(72)【発明者】

【氏名】吉田 英一

(72)【発明者】

【氏名】加藤 紀彦

(72)【発明者】

【氏名】小出 幸和

(72)【発明者】

【氏名】岡本 浩伸

【テーマコード（参考）】

3F333

5H181

5L049

【Ｆターム（参考）】

3F333AA02

3F333DB10

5H181AA01

5H181AA27

5H181BB04

5H181CC04

5H181LL01

5H181LL02

5H181LL20

5L049AA16

(57)【要約】

【課題】産業車両を操作するオペレータの運転支援を適切に行うことができる運転支援システム、及び運転支援プログラムを提供する。
【解決手段】生体情報及び操作情報は、オペレータが操作対象（遠隔操作装置２の操作部１６）を操作している場合に取得されたものであるため、オペレータが操作中にどのような反応をしているかを客観的に把握することが可能な情報である。従って、解析部２３は、操作時におけるオペレータの状態を客観的に解析することができる。支援部２６は、オペレータの状態が客観的に解析された解析結果を用いることで、対象のオペレータ個人にとって、どのような支援を行うことが適切であるかを把握することができる。そのため、支援部２６は、解析部２３からの解析結果に基づいて、適切な態様にてオペレータに適合させた支援情報を作成することができる。
【選択図】図２

【特許請求の範囲】

【請求項1】

産業車両の運転のための運転支援システムであって、
オペレータが操作対象を操作している場合における、生体情報を取得する生体情報取得部と、
前記オペレータの前記操作対象を操作している場合における、操作情報を取得する操作情報取得部と、
前記生体情報取得部からの前記生体情報、及び前記操作情報取得部からの前記操作情報を解析することにより、前記オペレータを解析する解析部と、
前記解析部からの解析結果に基づいて、前記オペレータに適合させた支援情報を作成する支援部と、を備える、運転支援システム。

【請求項2】

前記オペレータが前記操作対象を操作しているときの客観的反応を用いて、前記オペレータの主観的反応を推定する主観情報推定部、を更に備え、
前記支援部は、前記解析部の解析結果に基づく客観的反応、及び前記主観情報推定部による作業負荷の推定結果に基づいて、前記支援情報を前記オペレータに適合させる、請求項１に記載の運転支援システム。

【請求項3】

前記生体情報取得部は、前記生体情報として、表示部の画面に対する前記オペレータの視線の動きを示す視線情報を取得し、
前記解析部は、
前記視線の動きの結果を、静止エントロピー、及び遷移エントロピーに基づいて分類し、
前記静止エントロピー及び前記遷移エントロピーの変化量に基づいて前記解析を行う、請求項１または２に記載の運転支援システム。

【請求項4】

表示部には、複数の撮影範囲のうち、特定のものを大きく表示する大画面部、及び複数のものを小さく表示する小画面部が形成され、
前記支援部は、前記表示部に関連する前記視線情報を踏まえつつ前記産業車両の作業状態を考慮した前記生体情報を、前記支援情報に反映させる、請求項３に記載の運転支援システム。

【請求項5】

前記支援部は、前記解析部での解析結果と、前記オペレータの主観的回答結果との相関関係を確認して、前記支援情報を前記オペレータに適合させる、請求項１～４の何れか一項に記載の運転支援システム。

【請求項6】

産業車両の運転のための運転支援プログラムであって、
オペレータが操作対象を操作している場合における、生体情報を取得する生体情報取得ステップと、
前記オペレータの前記操作対象を操作している場合における、操作情報を取得する操作情報取得ステップと、
前記生体情報取得ステップで取得された前記生体情報、及び前記操作情報取得ステップで取得された前記操作情報を解析することにより、前記オペレータを解析する解析ステップと、
前記解析ステップでの解析結果に基づいて、前記オペレータに適合させた支援情報を作成する支援ステップと、をコンピュータシステムに実行させる、運転支援プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、運転支援システム、及び運転支援プログラムに関するものである。

【背景技術】

【0002】

作業支援装置として、例えば特許文献１に記載されているものが知られている。特許文献１に記載の作業支援装置は、オペレータが、フォークリフトなどの産業車両の遠隔操作を行う場合に、オペレータの作業支援を行うものである。作業支援装置は、産業車両に設けられた撮影部の映像をオペレータに出力することで、オペレータがフォークリフトの周辺の様子を把握しながら操作できるようにしている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】欧州特許出願公開第２１８４２５４号明細書

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、産業車両は、車両を走行させることや、荷の取り出し作業、荷降ろし作業といった作業状態に応じて、様々な動作を行う。それに伴い、産業車両の周辺において、オペレータが注目するべき箇所が、作業状態に応じて変化する。また、システムが、オペレータに周囲の情報を提供する場合など、オペレータによって適切な情報提供態様が異なる。従って、適切な支援態様にて作業支援を行うことが求められる。

【0005】

本発明の目的は、産業車両を操作するオペレータの運転支援を適切に行うことができる運転支援システム、及び運転支援プログラムを提供することである。

【課題を解決するための手段】

【0006】

本発明の一側面に係る運転支援システムは、産業車両の運転のための運転支援システムであって、オペレータが操作対象を操作している場合における、生体情報を取得する生体情報取得部と、オペレータの操作対象を操作している場合における、操作情報を取得する操作情報取得部と、生体情報取得部からの生体情報、及び操作情報取得部からの操作情報を解析することにより、オペレータを解析する解析部と、解析部からの解析結果に基づいて、オペレータに適合させた支援情報を作成する支援部と、を備える。

【0007】

運転支援システムにおいて、解析部は、生体情報取得部からの生体情報、及び操作情報取得部からの操作情報を解析することにより、オペレータを解析する。生体情報及び操作情報は、オペレータが操作対象を操作している場合に取得されたものであるため、オペレータが操作中にどのような反応をしているかを客観的に把握することが可能な情報である。従って、解析部は、操作時におけるオペレータの状態を客観的に解析することができる。支援部は、オペレータの状態が客観的に解析された解析結果を用いることで、対象のオペレータ個人にとって、どのような支援を行うことが適切であるかを把握することができる。そのため、支援部は、解析部からの解析結果に基づいて、適切な態様にてオペレータに適合させた支援情報を作成することができる。以上より、産業車両を操作するオペレータの運転支援を適切に行うことができる。

【0008】

運転支援システムは、オペレータが操作対象を操作しているときの客観的反応を用いて、オペレータの主観的反応を推定する主観情報推定部、を更に備え、支援部は、解析部の解析結果に基づく客観的反応、及び主観情報推定部による作業負荷の推定結果に基づいて、支援情報をオペレータに適合させてよい。支援部は、客観的反応のみならず、主観的反応に基づく作業負荷の推定結果に基づくことで、より適切に支援情報をオペレータに適合させることができる。ここで、主観情報推定部は、単にオペレータの主観的反応のみに基づいて作業負荷を推定するのではなく、客観的反応を用いることで、主観的反応を補完することができる。その結果、オペレータが感じている作業負荷により近い推定を行うことができる。

【0009】

生体情報取得部は、生体情報として、表示部の画面に対するオペレータの視線の動きを示す視線情報を取得し、解析部は、視線の動きの結果を、静止エントロピー、及び遷移エントロピーに基づいて分類し、静止エントロピー及び遷移エントロピーの変化量に基づいて解析を行ってよい。静止エントロピーは視点の均一性を表し、遷移エントロピーは視線のランダム性を表す。これにより、解析部は、均一性、及びランダム性の二つの観点に分類することで、オペレータの視線の動きを正確に解析することができる。

【0010】

表示部には、複数の撮影範囲のうち、特定のものを大きく表示する大画面部、及び複数のものを小さく表示する小画面部が形成され、支援部は、表示部に関連する視線情報を踏まえつつ、産業車両の作業状態を考慮した生体情報を、支援情報に反映させてよい。この場合、オペレータが大画面部に反応するべきか、小画面部に反応するべきかは、作業状態に応じて変化する。そのため、支援部は、作業状態に応じた大画面部及び小画面部に対するオペレータの生体情報から、当該オペレータの特徴を把握し易くなる。そのため、支援部は、作業状態を考慮した生体情報を支援情報に反映させることで、適切な態様にてオペレータに適合させた支援情報を作成することができる。

【0011】

支援部は、解析部での解析結果と、オペレータの主観的回答結果との相関関係を確認して、支援情報をオペレータに適合させてよい。この場合、支援部は、単にオペレータの主観的回答結果のみに基づく作業負荷の推定結果より、解析結果との相関関係を確認することで、オペレータが感じている作業負荷により適合した支援情報を作成できる。

【0012】

本発明の一側面に係る運転支援プログラムは、産業車両の運転のための運転支援プログラムであって、オペレータが操作対象を操作している場合における、生体情報を取得する生体情報取得ステップと、オペレータの操作対象を操作している場合における、操作情報を取得する操作情報取得ステップと、生体情報取得ステップで取得された生体情報、及び操作情報取得ステップで取得された操作情報を解析することにより、オペレータを解析する解析ステップと、解析ステップでの解析結果に基づいて、オペレータに適合させた支援情報を作成する支援ステップと、をコンピュータシステムに実行させる。

【0013】

この運転支援プログラムによれば、上述の運転支援システムと同趣旨の作用・効果を得ることができる。

【発明の効果】

【0014】

本発明によれば、産業車両を操作するオペレータの運転支援を適切に行うことができる運転支援システム、及び運転支援プログラムを提供することができる。

【図面の簡単な説明】

【0015】

【図1】本発明の実施形態に係る運転支援システムを示すブロック図である。

【図2】（ａ）はフォークリフトに対する撮影部の取り付け態様を示す斜視図であり、（ｂ）は撮影部の角度を説明するための模式図である。

【図3】フォークリフトの作業状態を説明するための図である。

【図4】視線パターンを示す図である。

【図5】遷移行列を示す図である。

【図6】視線の遷移の様子を示す図である。

【図7】「Ｍｏｄｅｌ１」、「Ｍｏｄｅｌ２」、式（１４）、及び式（１５）の関係を示す表である。

【図8】「Ｍｏｄｅｌ１」、「Ｍｏｄｅｌ２」の評価結果を示す表である。

【図9】「Ｍｏｄｅｌ１」、「Ｍｏｄｅｌ２」の評価結果を示すグラフである。

【図10】「Ｍｏｄｅｌ１」、「Ｍｏｄｅｌ２」の評価結果を示すグラフである。

【図11】データベース作成装置によって実行される処理内容を示すフローチャートである。

【発明を実施するための形態】

【0016】

以下、本発明の好適な実施形態について、図面を参照して詳細に説明する。なお、図面において、同一または同等の要素には同じ符号を付し、重複する説明を省略する。

【0017】

図１は、本発明の実施形態に係る運転支援システム１００を示すブロック図である。図１に示すように、運転支援システム１００は、フォークリフト１（産業車両）と、遠隔操作装置２と、を備える。

【0018】

フォークリフト１は、運転制御部１１と、複数の撮影部１２と、を備える。運転制御部１１は、遠隔操作装置２からの指令信号を受信し、当該指令信号に基づいて運転制御、及び操舵制御を行う。複数の撮影部１２は、フォークリフト１の各部位に設けられ、フォークリフト１の周辺環境を撮影する。撮影部１２は、作業支援に用いられる支援情報として、撮影した映像を取得して、後述の表示制御部２２へ送信する。複数の撮影部１２の取り付け位置の例を、図２（ａ）に示す。撮影部１２は、フォークリフト１の車体の前端、幅方向の端部、天井などに設けられる。なお、図２（ｂ）に示すようにＸＹＺ座標を設定した場合、各箇所における撮影部１２は、Ｘ軸、Ｙ軸、Ｚ軸の各軸まわりに傾いた状態で設置されてよい。図２（ｂ）では、八箇所に撮影部１２が設けられ、それぞれ異なる箇所の映像を取得する。

【0019】

遠隔操作装置２は、記憶部１５と、操作部１６と、表示部１７と、生体情報取得部１８と、操作情報取得部１９と、演算部２０と、を備える。記憶部１５は、各種情報を記憶する装置である。操作部１６は、オペレータがフォークリフト１を遠隔操作するため操作を入力するためのユーザーインターフェースである。表示部１７は、映像を出力するためのユーザーインターフェースである。表示部１７は、互いに異なる映像を出力することができる第１領域Ｄ１、第２領域Ｄ２、及び第３領域Ｄ３を有している。

【0020】

生体情報取得部１８は、オペレータが操作対象（ここでは操作部１６）を操作している場合における、生体情報を取得するユニットである。生体情報取得部１８は、生体情報として、表示部１７の画面に対するオペレータの視線の動きを示す視線情報を取得する。例えば、生体情報取得部１８は、視線情報として、図４に示すような、表示部１７の映像に対する視線パターンＧＰを取得することができる。生体情報取得部１８は、視線情報を取得するための機器として、例えば、視線計測機能が設けられたＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）を備えてもよく、設置型視線計測装置を備えてもよい。ただし、生体情報取得部１８は、様々な生理状態を測定してもよく、例えば、脳波（ＥＥＧ）、心電図（ＥＣＧ）、皮膚伝導度、筋電図（ＥＭＧ）、呼吸などを取得してもよい。

【0021】

操作情報取得部１９は、オペレータの操作対象（ここでは操作部１６）を操作している場合における、操作情報を取得する。操作情報取得部１９は、例えば、操作部１６の操作レバーに設けられたセンサ、または操作部１６の操作内容を示す信号に基づいて操作内容を検知する手段などによって構成される。

【0022】

演算部２０は、遠隔操作装置２全体を制御する制御部である。演算部２０は、遠隔操作装置２を統括的に管理するＥＣＵ[ElectronicControl Unit]を備えている。ＥＣＵは、ＣＰＵ[Central Processing Unit]、ＲＯＭ[Read Only Memory]、ＲＡＭ[Random Access Memory]、ＣＡＮ［Controller Area Network］、通信回路等を有する電子制御ユニットである。ＥＣＵでは、例えば、ＲＯＭに記憶されているプログラムをＲＡＭにロードし、ＲＡＭにロードされたプログラムをＣＰＵで実行することにより各種の機能を実現する。演算部２０は、運転指令部２１と、表示制御部２２と、解析部２３と、主観情報推定部２４と、支援部２６と、を備える。

【0023】

運転指令部２１は、操作部１６で入力された操作に基づく指令信号を生成して、運転制御部１１へ送信するユニットである。また、運転指令部２１は、入力された操作内容を示す操作情報を表示制御部２２へ送信する。

【0024】

表示制御部２２は、表示部１７の表示内容を制御するユニットである。表示制御部２２は、オペレータの遠隔操作の作業を支援するための情報を表示部１７に表示させる。表示制御部２２は、記憶部１５のデータベースの情報を用いて表示部１７の第１領域Ｄ１、第２領域Ｄ２、及び第３領域Ｄ３の表示内容を制御する。

【0025】

表示制御部２２は、運転指令部２１からの操作情報に基づいてフォークリフト１の運転の作業状況を推定する。表示制御部２２は、推定した作業状態に応じて、複数の撮影部１２の中から、最適な撮影部１２の映像を選択する。ここで、記憶部１５は、フォークリフト１の作業状態と、オペレータの視線に基づく視線情報とが紐付けられたデータベースを有する。従って、表示制御部２２は、フォークリフト１の作業状態とデータベースとを照合することで、作業状態に対応する視線情報を取得する。そして、表示制御部２２は、取得された視線情報に基づいて、表示部１７に表示させる映像を選択する。第１領域Ｄ１及び第２領域Ｄ２は、特定の映像を大きく表示する大画面部であり、表示制御部２２が選択した撮影部１２の映像が表示される（図４も参照）。第３領域Ｄ３は、複数の映像を小さく表示させる小画面部に該当し、フォークリフト１上の全ての撮影部１２からの映像を、運転安全のための環境情報として表示する（図４も参照）。

【0026】

例えば、図３（ａ）は、フォークリフト８の作業状態を定義した表である。ここでは、「停止（Ｓｔｏｐ）」、「前進（Ｍｏｖｅ ｆｗｄ）」、「棚への接近（Ａｐｐｒｏａｃｈ）」、「調整（Ａｄｊｕｓｔ ｈｅａｄｉｎｇ）」、「荷役（Ｌｏａｄ／Ｕｎｌｏａｄ）」、「退避（Ｒｅｔｒｅａｔ）」、「後進（Ｍｏｖｅ ｒｅｖｅｒｓｅ）」というフォークリフト３の走行や、荷物の取り出し／荷降ろし作業に関する七つの状態について、荷物ありの状態（Ｌｏａｄ）と、荷物無しの状態（ＮｏＬｏａｄ）とで分けることで、合計１４個の作業状態を定義している。図３（ｂ）は、フォークリフト１が棚ＳＦからの荷物の取り出し及び荷降ろしを行う際の、各作業状態を示した模式図である。記憶部１５のデータベースでは、各作業状態と、作業状態において確認すべき箇所を映すことができる撮影部１２とが紐付けられている。従って、表示制御部２２は、オペレータが操作しているフォークリフト１の作業状態に合わせて、第１領域Ｄ１及び第２領域Ｄ２に、特に確認すべき箇所の映像を大画面で映すことができる。なお、運転支援のために表示制御部２２の制御によって表示部１７に表示された映像を「運転支援映像」と称する場合がある。

【0027】

ここで、オペレータが、表示制御部２２で制御された表示部１７の運転支援映像をどのように目視するかは、個人によって個体差が発生する。例えば、拡大された領域Ｄ１，Ｄ２を全く見ないオペレータ、適切でない場面でも領域Ｄ１，Ｄ２ばかりを見るオペレータ、適切なタイミングで領域Ｄ１，Ｄ２を確認できるオペレータなどが存在する。例えば、図４（ａ）（ｂ）に描かれた線は、オペレータが表示部１７の画面を見ているときの視線パターンＧＰ（視線の動きの結果）を示している。図４（ａ）の視線パターンＧＰは、主に領域Ｄ１，Ｄ２を注視していることを示している。このようなオペレータは、運転支援映像を適切に活用できていると言える。一方、図４（ｂ）の視線パターンＧＰは、安定しておらず、しばしば領域Ｄ３も確認しており、運転支援映像を適切に活用できていないと言える。

【0028】

上述のように、運転支援映像の利用態様に関して、オペレータによって個体差が存在する。当該事情に鑑みて、解析部２３、主観情報推定部２４、及び支援部２６は、運転支援映像をオペレータ個人に適合／パーソナライズするための処理を行う。

【0029】

解析部２３は、生体情報取得部１８からの生体情報、及び操作情報取得部１９からの操作情報を解析することにより、オペレータを解析する。これにより、解析部２３は、オペレータの客観的反応を解析することができる。解析部２３は、対象となるオペレータから得られた視線パターンに基づいて、視線メトリクスを演算する。解析部２３は、視線パターン（視線の動きの結果）を、静止エントロピー、及び遷移エントロピーに基づいて分類し、静止エントロピー及び遷移エントロピーの変化量に基づいて解析を行う。解析部２３は、解析結果を主観情報推定部２４、及び支援部２６に送信する。

【0030】

主観情報推定部２４は、オペレータの主観的反応を推定する。主観情報推定部２４は、操作中のオペレータの主観的な事項に基づく作業負荷を推定することで、オペレータの主観も考慮した運転支援を行うことを可能とする。ここで、記憶部１５は、予め多数のオペレータに行ったインタビュー結果（主観的回答結果）に基づく主観情報を格納している。主観情報推定部２４は、記憶部１５の中から、対象となるオペレータの主観情報を読み出す。主観情報推定部２４は、オペレータが操作対象を操作しているときの客観的反応を用いて、オペレータの主観的反応を推定する。主観情報推定部２４は、推定結果を支援部２６に送信する。

【0031】

支援部２６は、解析部２３からの解析結果に基づいて、オペレータに適合させた支援情報を作成する。支援部２６は、解析部２３の解析結果に基づく客観的反応、及び主観情報推定部２４による作業負荷の推定結果に基づいて、支援情報をオペレータに適合させる。例えば、支援部２６は、客観的反応、及び作業負荷の推定結果に基づいて、オペレータが安全性を無視したタイプであることを把握することができる。この場合、支援部２６は、当該タイプのオペレータに適合するように、表示部１７に安全性を高めるような注意喚起メッセージを行うことができる。あるいは、支援部２６は、領域Ｄ１，Ｄ２に表示させる映像が適切でないと判断した場合、領域Ｄ１，Ｄ２の映像を差し替えることができる。支援部２６は、支援情報を表示制御部２２に送信する。表示制御部２２は、支援情報に基づいた内容を表示部１７に表示させる。

【0032】

支援部２６は、解析部２３での解析結果と、オペレータの主観的回答結果との相関関係を確認して、支援情報をオペレータに適合させる。例えば、支援部２６は、オペレータから予め得ておいたインタビュー結果を、視線メトリクスの演算結果によって補完することができる。また、視線パターンに基づいて演算される視線メトリクスは、フォークリフト１の所定の作業状態のときに、オペレータの視線がどのように動いたかを示すことができる。そのため、支援部２６は、表示部１７に関連する視線情報を踏まえつつ、フォークリフト１の作業状態を考慮した視線パターンなどの生体情報を、支援情報に反映させることができる。

【0033】

次に、解析部２３、主観情報推定部２４、及び支援部２６の処理の具体例について説明する。

【0034】

［主観的反応］
複数のオペレータが、事前にフォークリフト１を遠隔操作する試験を行う。これらのオペレータは、試験後にＮＡＳＡ－ＴＬＸの質問票の回答を行った。当該回答結果は、主観的回答結果として、記憶部１５に記憶される。ＮＡＳＡ－ＴＬＸとは、あるタスクに対し、負荷仕事量（ｗｏｒｋｌｏａｄ）を示すための手法やツールを意味する。ＮＡＳＡ－ＴＬＸでは、タスクの仕事量を示すために，基本となる複数の評価尺度が用意されている。各評価尺度に重みをつけることで、最終的なタスクに対する負荷仕事量を数値として出すことができる。遠隔操作における運転支援映像の使い易さは、オペレータに知覚される作業負荷によって主観的に評価される。作業負荷指数は、６つの要因、すなわち、精神的、身体的、時間的圧力、パフォーマンス、努力、及びフラストレーションによって表される。各係数は、０から１００の間でスコア付けされる。重み付けされたＮＡＳＡ－ＴＬＸの場合、６つの要因の１５組の対比較を行った。ここでは、重み付けバージョンを用いるものとする。記憶部１５は、主観情報推定部２４において、あるオペレータの主観的反応の演算が行われるとき、主観情報推定部２４へ対象のオペレータの主観的回答結果（作業負荷指数）を送信する。なお、主観的回答結果は、ＮＡＳＡ－ＴＬＸに限定されず、オペレータの主観を確認することができる回答結果であれば特に限定されない。

【0035】

［視線メトリクス］
解析部２３は、生体情報取得部１８からの視線パターンに基づいて、視線メトリクスを演算する。視線メトリクスは、視線シーケンスを表す一次マルコフ連鎖の遷移行列（図５参照）によって導出される。視線メトリクスは、異なるオペレータ間の定量的比較、及び統計的検定が可能となり、視線パターンの差の有意性を判定することを可能とする。ここで、図６に示すように表示部１７の領域Ｄ１，Ｄ２の映像、及び第３領域Ｄ３の映像に対し、「Ａ０、Ａ１、Ｂ０～Ｂ１０」のラベルが付けられる。ラベルが付けられた一つ当たりの映像を、以降の説明では「ＵＩ要素」と称する。Ｘｎは、ｎ番目の時間ステップでオペレータによって凝視されるＵＩ要素であるものとする。具体的に、図６に示す例では、「Ｘ１＝Ａ０」「Ｘ１＝Ａ０」「Ｘ２＝Ｂ６」「Ｘ３＝Ｂ２」「Ｘ４＝Ａ１」となる。このとき、状態ｉから状態ｊへの遷移は式（１）で表される。ここで、図５に示すように、ｐ_ｉｊはマルコフ遷移行列の要素である。状態ｉから状態ｊへの遷移回数はｎ_ｉｊで表される。このときｐ_ｉｊは式（２）で表される。ｎ_ｉはすべてのｊ要素に対するｎ_ｉｊの和である。ｉ番目のＵＩ要素に対する注視の割合は、式（３）で表される。

【数1】

【0036】

遷移行列の固有値ベクトルは、λと、式（４）～（９）からの視線メトリクスによって計算される。なお、「定数α＝１×１０^－６」であり、ＭはＵＩ要素の総数である。ＵＩ要素間の最長注視時間はＤで定義され、注視時間が長いほどＤは小さくなる。ここでは、ＵＩ要素間の視線遷移のタイプを示すｄｅｎも小さくなる。視線メトリクスは、それぞれ静止エントロピーＨ_ｓ、及び遷移エントロピーＨ_ｔを定義する。静止エントロピーＨ_ｓは視線の均一性を表し、遷移エントロピーＨ_ｔはＵＩ要素間の視線のランダム性（視線が動いている度合）を表す。静止エントロピーＨ_ｓが小さいほど視線が不均一に分布していることを示し、遷移エントロピーＨ_ｔが小さいほど操作中に起こる視線遷移が少ないことを示す。値Ｈ_ｔｗ及び値Ｈ_ｓｗは、所望のＵＩ要素によって重み付けがなされる。これらの値は、目的のＵＩ要素が操作中に使用されていることを示す。これは、一般に均一性及び遷移を考慮する静止エントロピーＨ_ｓ及び遷移エントロピーＨ_ｔとは異なる。経験則として、安定した焦点の合った視線パターンは、より小さな視線指標となり、その逆も同様である。このような仮定に基づけば、適応されるＵＩ要素が他のＵＩ要素よりも適切である場合、視線メトリクスは比較的小さくなると予想される。

【数2】

【0037】

［効率］
解析部２３は、作業がどの程度良好に実行されたかについての検証を行うために、効率Ｅを計算する。具体的に、効率Ｅは、式（１０）で表される。この効率Ｅは、作業の動作時間および有効性の関数となる。各カテゴリの最大動作時間ｔ_ｍａｘは、各カテゴリのオペレータについての効率Ｅを計算するために使用される。オペレータのカテゴリは、例えば、熟練度に応じて「エキスパート」「ビギナー」に分けられる。遠隔操作における運転支援映像を評価するために、式（１１）は、例えば、オペレータのタイプＩ、及びタイプＩＩの２つのタイプの挙動によって定義される有効性の値を計算することができる。図６は、オペレータが安全に実施したかどうかを示す「タイプＩ」、及びオペレータが運転支援映像を十分に理解して作業を行ったかどうかを示す「タイプＩＩ」を表している。

【数3】

【0038】

図６を参照して、領域Ｄ１，Ｄ２を常に見ている「タイプＩ」のオペレータの行動と、第３領域Ｄ３を常に見ている「タイプＩＩ」のオペレータの行動について説明する。タイプＩは、安全性を無視した行動と言える。例えば、領域Ｄ１，Ｄ２がフォークリフト１の背面の映像を示していなかったにも関わらず、後進時に常に領域Ｄ１，Ｄ２を見る行動がタイプＩに該当する。タイプＩＩは、運転支援映像に対する慣れや理解度を示す行動と言える。例えば、同じ情報が拡大されて領域Ｄ１，Ｄ２に表示されているにも関わらず、常に第３領域Ｄ３を見る行動がタイプＩＩに該当する。

【0039】

適切な動作が実行されないときに、タイプＩの挙動は、視線メトリクスを誤って小さくし、タイプＩＩの挙動は、視線メトリクスを誤って大きくする。それらは、それぞれ式（１２）及び式（１３）で計算される。その他の変数は以下のように定義される。解析部２３は、式（１）～（１３）の計算を行ったら、計算結果を主観情報推定部２４、及び支援部２６に送信する。
「Ｎ_{ｘｃｈｅｃｋ}：フォークリフトの後退時にオペレータがバックビューを確認しなかった回数」
「Ｎ_ｂａｃｋ：オペレータがフォークリフトを後退させた場合の回数」
「Ｎ_{ｆｏｃ＝ａｍｂ}：Ａ０／Ａ１が周囲の領域で被験者が見ていたものと同様の情報を表示した場合の回数」
「Ｎ_{ａｍｂｉｅｎｔ}：オペレータが周囲領域を確認した場合の回数」

【数4】

【0040】

［主観的反応と客観的反応の相関］
主観情報推定部２４は、記憶部１５から取得した主観的回答結果の作業負荷指数を、解析部２３からの解析結果で補完する。これにより、主観情報推定部２４は、ＮＡＳＡ－ＴＬＸのインタビュー結果のみに基づいた主観的反応を、視線パラメータに基づく客観的反応を用いて補完することができる。主観情報推定部２４は、操作したオペレータが感じている作業負荷に、より近い作業負荷指数を計算することができる。主観情報推定部２４は、作業負荷指数を補完するためのモデルとして、例えば、「Ｍｏｄｅｌ１」及び「Ｍｏｄｅｌ２」の二つのモデルを用いることができる。主観情報推定部２４は、「Ｍｏｄｅｌ１」を用いて補完する場合、式（１４）を用いる。主観情報推定部２４は、「Ｍｏｄｅｌ２」を用いて補完する場合、式（１５）を用いる。「Ｍｏｄｅｌ１」、「Ｍｏｄｅｌ２」、式（１４）、及び式（１５）の関係を図７に示す。なお、主観情報推定部２４が用いることができる相関モデルは、「Ｍｏｄｅｌ１」、「Ｍｏｄｅｌ２」に限定されず、データベースが拡張された場合のディープラーニングなど、様々なモデルを使用することが可能である。

【数5】

【0041】

なお、図７に示す表のうち、項目１～５を含む「Ａｔｔｒｉｂｕｔｅｓ」、及び項目１３の「ＮＡＳＡ ｏｆ ｆｉｒｓｔ ｔｅｓｔ」に対する値は、記憶部１５に記憶されたものが用いられる。その他の項目については、解析部２３で演算された値が用いられる。例えば、「Ｍｏｄｅｌ１」の項目８には、式（７）で演算されたｄｅｎの値が代入される。なお、図７の表のうち、「Ｍｏｄｅｌ１」、「Ｍｏｄｅｌ２」の欄には、式（１４）、式（１５）で用いられる項目に「１」が示され、用いられない項目に「０」が示される。なお、項目１に対応するｘ１には、対象のオペレータがエキスパートである場合は「１」が代入され、ビギナーである場合は「２」が代入される。

【0042】

図７は、段階的線形回帰の予測因子のリストを示す。ｉ番目の予測子と係数はそれぞれｘｉ及びａｉで定義される。相互作用項の係数は、予測因子の数を超えて番号付けされている。式（１４）の「Ｍｏｄｅｌ１」は、提案された視線計量のみを考慮するモデルである。式（１５）の「Ｍｏｄｅｌ２」は、オペレータの初めての試験時におけるの試験のＮＡＳＡ－ＴＬＸの応答も考慮するモデルである。「Ｍｏｄｅｌ１」及び「Ｍｏｄｅｌ２」は、ｋ－分割交差検証（ｋ＝３）を使用した段階的線形回帰から取得される。式（１４）の「Ｍｏｄｅｌ１」のフィッティングパラメータは、Ｒ２＝０．２８１、且つｐ値＝４．８９×１０^－７である。式（１５）の「Ｍｏｄｅｌ２」のフィッティングパラメータは、Ｒ２＝０．５１７、且つｐ値＝９．３８×１０^－１４である。

【0043】

［評価］
「Ｍｏｄｅｌ１」、「Ｍｏｄｅｌ２」の評価結果を図８及び図９に示す。なお、これらの評価は、実際にオペレータがフォークリフト１の操作を行うときに、主観情報推定部２４が行う処理ではない。図９（ａ）（ｂ）の凡例において、「ＮＡＳＡ」はグラウンドトゥルースであり、「ＮＡＳＡ＿Ｍｏｄｅｌ１」及び「ＮＡＳＡ＿Ｍｏｄｅｌ２」は、それぞれ「Ｍｏｄｅｌ１」、「Ｍｏｄｅｌ２」の推定値である。Ｔｒａｉｎデータ及びＴｅｓｔデータは、ｋ－分割交差検証（ｋ＝３）に基づいてデータセットの２／３及び１／３を参照する。データセットは、２９人のオペレータによって実行された１６３回のテストで構成されている。図９は、テストデータのみをプロットしたものである。図９の横軸はデータセットの数を示す。図８の各項目は以下の通りである。
「Ｔｒａｉｎ ＲＭＳＥ：「ＮＡＳＡ」と推定値の二乗平均平方根誤差（２／３データセット）」
「Ｔｒａｉｎ ｃｏｒｒｅｌａｔｉｏｎ：「ＮＡＳＡ」と推定値のピアソン相関（２／３データセット）」
「Ｔｅｓｔ ＲＭＳＥ：「NASA」と推定値の間の二乗平均平方根誤差（１／３データセット）」
「Ｔｅｓｔ ｃｏｒｒｅｌａｔｉｏｎ：「ＮＡＳＡ」と推定値のピアソン相関（１／３データセット）」
「Ｒｓｑｕａｒｅｄ：決定係数（Ｒ－ｓｑｕａｒｅｄ）は、線形回帰モデルの独立変数Ｘによって説明される応答変数ｙの変動の比例量を示す。決定係数が大きいほど、線形回帰モデルによって説明される変動性が大きくなる。」

【0044】

「Ｍｏｄｅｌ２」は、「Ｍｏｄｅｌ１」よりも優れたパフォーマンスを発揮していることが示されている。「Ｍｏｄｅｌ１」のｋ－分割交差検証の平均検証ＲＭＳＥは２４．５である。平均検証ＲＭＳＥは小さくないが、実際のＮＡＳＡ－ＴＬＸと推定ＮＡＳＡ－ＴＬＸとの間の応答パターンは０．２８で相関した。このことは、オペレータごとにベースラインが異なることによって、逸脱が生じた可能性があることを意味する。「Ｍｏｄｅｌ２」は予測因子の一つとして初期のＮＡＳＡ－ＴＬＸのテストスコアを含む。平均ＲＭＳＥ及び相関は、この予測因子を含めることにより改善された。

【0045】

初期のＮＡＳＡ－ＴＬＸのテストスコアの予測因子は、各オペレータのベースラインを調整する上で重要な役割を果たしている可能性が高く、背景や作業経験などの複数の因子の影響を受ける可能性がある。「Ｍｏｄｅｌ１」、「Ｍｏｄｅｌ２」の平均推定ＮＡＳＡ－ＴＬＸは類似しており（図１０参照）、すなわち、ＵＩ３については最小のＮＡＳＡ－ＴＬＸとなり、次いでＵＩ１、及びＵＩ２の順で小さくなる。Ｗｉｌｃｏｘｏｎの符号順位検定を用いた従属標本検定では、「Ｍｏｄｅｌ２」のＵＩ間の差は、オペレータの実際のＮＡＳＡ－ＴＬＸ応答と同様に統計的に有意であることが示された。しかし、「Ｍｏｄｅｌ１」では、反応パターンは類似しているものの、統計的に有意ではない。これは、オペレータのベースラインのばらつきによるものと考えられる。さらに重要なことに、提案されたモデル、特に「Ｍｏｄｅｌ２」は、異なるタイプのＵＩに対する好みを区別することができ、その好みは、ＮＡＳＡ－ＴＬＸの実際の応答と一致している。

【0046】

［運転支援］
支援部２６の処理について説明する。支援部２６は、解析部２３の解析結果、及び主観情報推定部２４の推定結果に基づいて、オペレータに適合／パーソナライズするための視覚な支援情報を作成する。図６に示す、安全性を無視したタイプＩのオペレータに対する支援情報について例示する。支援部２６は、解析部２３の解析結果が「式（１１）＞５０」である場合、「しばしば安全性を無視した（後進時に背面側の映像をチェックしなかった）」ことを把握する。支援部２６は、解析部２３の解析結果が「式（８）＜１．０ 且つ 式（９）＜０．０５」である場合、「視線パターンは安定しており、焦点が合っていた」ことを把握する。支援部２６は、主観情報推定部２４によって演算された推定値が「推定値＜５０」である場合、「作業負荷は低負荷」であることを把握する。これらの条件が満たされる場合、支援部２６は、オペレータが安全対策を講じることに積極的でないと判断する。従って、支援部２６は、フォークリフト１の進行方向を変更する前に、周囲の環境を確認する旨のアラートメッセージを表示部１７に表示するような、支援情報を作成する。

【0047】

その他、図６に示す、運転支援映像に慣れていないタイプＩＩのオペレータに対する支援情報について例示する。支援部２６は、解析部２３の解析結果が「式（１２）＞２０」である場合、「Ａ０／Ａ１の視覚情報を使用しないことが多く、第３領域Ｄ３をしばしば検索している」ことを把握する。支援部２６は、解析部２３の解析結果が「式（８）＞１．０ 且つ 式（９）＞０．０５」である場合、「頻繁な視点遷移、及び分散視線パターンである」ことを把握する。支援部２６は、主観情報推定部２４によって演算された推定値が「推定値＞５０」である場合、「作業負荷は高負荷」であることを把握する。これらの条件が満たされる場合、支援部２６は、オペレータが目的の視覚情報を見つけることが難しいと判断する。従って、支援部２６は、例えば、Ａ０，Ａ１、Ｂ０…Ｂ１０のうち、必要な箇所のフレームを強調表示するなど、ビジョアルガイドを表示部１７にて行うような、支援情報を作成する。なお、支援部２６がどのような条件のときにどのような支援を行うかは特に限定されない。

【0048】

次に、図１１を参照して、演算部２０による運転支援方法を示す処理内容の一例について説明する。図１１に示す処理は、表示部１７に運転支援映像が表示されており、且つ、オペレータが遠隔操作でフォークリフト１を操作しているときに行われる。図１１に示すように、解析部２３は、生体情報取得部１８から生体情報を受信すると共に、操作情報取得部１９から操作情報を受信する（ステップＳ１０）。このとき、解析部２３は、オペレータの表示部１７に対する視線パターンを取得する。次に、解析部２３は、ステップＳ１０で取得した生体情報及び操作情報に基づいて、オペレータの解析を行い、解析結果を主観情報推定部２４及び支援部２６へ送信する（ステップＳ２０）。解析部２３は、式（１）～（１３）を演算して、演算結果を主観情報推定部２４及び支援部２６へ送信する。

【0049】

次に、主観情報推定部２４は、オペレータの主観的反応を推定する（ステップＳ３０）。このとき、主観情報推定部２４は、対象となるオペレータの主観的回答結果を記憶部１５から読み出すと共に、解析部２３の解析結果を用いて、主観的回答結果の相関性を確認して、補完する。主観情報推定部２４は、推定結果を支援部２６へ送信する。次に、支援部２６は、解析部２３の解析結果、及び主観情報推定部２４からの推定結果に基づいて、オペレータに適合させた支援情報を作成する（ステップＳ４０）。支援部２６は、作成した支援情報を表示制御部２２へ送信する。これにより、表示制御部２２は、オペレータに適合した支援情報を表示部１７に表示する。以上により、図１１に示す制御処理が終了する。

【0050】

次に、本実施形態に係る運転支援システム１００、運転支援プログラムの作用・効果について説明する。

【0051】

運転支援システム１００において、解析部２３は、生体情報取得部１８からの生体情報、及び操作情報取得部１９からの操作情報を解析することにより、オペレータを解析する。生体情報及び操作情報は、オペレータが操作対象（遠隔操作装置２の操作部１６）を操作している場合に取得されたものであるため、オペレータが操作中にどのような反応をしているかを客観的に把握することが可能な情報である。従って、解析部２３は、操作時におけるオペレータの状態を客観的に解析することができる。支援部２６は、オペレータの状態が客観的に解析された解析結果を用いることで、対象のオペレータ個人にとって、どのような支援を行うことが適切であるかを把握することができる。そのため、支援部２６は、解析部２３からの解析結果に基づいて、適切な態様にてオペレータに適合させた支援情報を作成することができる。以上より、産業車両を操作するオペレータの運転支援を適切に行うことができる。

【0052】

運転支援システム１００は、オペレータが操作対象を操作しているときの客観的反応を用いて、オペレータの主観的反応を推定する主観情報推定部２４、を更に備え、支援部２６は、解析部２３の解析結果に基づく客観的反応、及び主観情報推定部２４による作業負荷の推定結果に基づいて、支援情報をオペレータに適合させてよい。支援部２６は、客観的反応のみならず、主観的反応に基づく作業負荷の推定結果に基づくことで、より適切に支援情報をオペレータに適合させることができる。ここで、主観情報推定部２４は、単にオペレータの主観的反応のみに基づいて作業負荷を推定するのではなく、客観的反応を用いることで、主観的反応を補完することができる。その結果、オペレータが感じている作業負荷により近い推定を行うことができる。

【0053】

生体情報取得部１８は、生体情報として、表示部１７の画面に対するオペレータの視線の動きを示す視線情報を取得し、解析部２３は、視線の動きの結果を、静止エントロピー、及び遷移エントロピーに基づいて分類し、静止エントロピー及び遷移エントロピーの変化量に基づいて解析を行ってよい。静止エントロピーは視点の均一性を表し、遷移エントロピーは視線のランダム性を表す。これにより、解析部２３は、均一性、及びランダム性の二つの観点に分類することで、オペレータの視線の動きを正確に解析することができる。

【0054】

表示部１７には、複数の撮影範囲のうち、特定のものを大きく表示する大画面部（第３領域Ｄ３）、及び複数のものを小さく表示する小画面部（第１領域Ｄ１、第２領域Ｄ２）が形成され、支援部２６は、表示部１７に関連する視線情報を踏まえつつ、産業車両の作業状態を考慮した生体情報を、支援情報に反映させてよい。これは、生体情報自体に、表示部１７を見る視線情報と産業車両の操作情報の両方が反映されていることである。この場合、オペレータが大画面部に反応するべきか、小画面部に反応するべきかは、作業状態に応じて変化する。そのため、支援部２６は、作業状態に応じた大画面部及び小画面部に対するオペレータの生体情報から、当該オペレータの特徴を把握し易くなる。例えば、産業車両の作業状態が前進から後進に切り替わったにも関わらず、オペレータが大画面部で周囲の状況を確認していない場合、支援部２６は、オペレータの安全性に対する注意度を把握し易くなる。そのため、支援部２６は、作業状態を考慮した生体情報を支援情報に反映させることで、適切な態様にてオペレータに適合させた支援情報を作成することができる。

【0055】

支援部２６は、解析部２３での解析結果と、オペレータの主観的回答結果との相関関係を確認して、支援情報をオペレータに適合させてよい。この場合、支援部２６は、単にオペレータの主観的回答結果のみに基づく作業負荷の推定結果より、解析結果との相関関係を確認することで、オペレータが感じている作業負荷により適合した支援情報を作成できる。例えば、主観情報推定部２４は、単にＮＡＳＡ－ＴＬＸの結果のみに基づいて作業負荷を推定するより、ＮＡＳＡ－ＴＬＸを式（１４）又は式（１５）を用いて「Ｍｏｄｅｌ１」または「Ｍｏｄｅｌ２」を用いて補完することで、より正確に作業負荷を推定することができる。

【0056】

本実施形態に係る運転支援プログラムは、産業車両の運転のための運転支援プログラムであって、オペレータが操作対象を操作している場合における、生体情報を取得する生体情報取得ステップと、オペレータの操作対象を操作している場合における、操作情報を取得する操作情報取得ステップと、生体情報取得ステップで取得された生体情報、及び操作情報取得ステップで取得された操作情報を解析することにより、オペレータを解析する解析ステップと、解析ステップでの解析結果に基づいて、オペレータに適合させた支援情報を作成する支援ステップと、をコンピュータシステムに実行させる。

【0057】

この運転支援プログラムによれば、上述の運転支援システム１００と同趣旨の作用・効果を得ることができる。

【0058】

以上、本発明の好適な実施形態について幾つか説明してきたが、本発明は、上記実施形態に限定されるものではない。

【0059】

上述の実施形態では、運転支援システムは、遠隔操作時のオペレータの作業を支援していたが、産業車両を有人操作するときに支援を行ってもよい。また、オペレータが産業車両のシミュレーション運転を行うときの支援を行ってもよい。

【0060】

上述の実施形態では、各方向における映像を取得できるように、多数の撮影部が産業車両に設けられ、表示制御部は、表示すべき撮影部を選択していた。これに代えて、広範囲を撮影できるカメラを採用し、表示制御部は、広範囲の映像の中から、表示すべき部分を抜き出して、領域Ｄ１，Ｄ２に表示してもよい。

【0061】

産業車両は、フォークリフトに限定されず、トーイングトラクター、スキッドステアローダーなどが採用されてもよい。

【符号の説明】

【0062】

１…フォークリフト、１６…操作部、１７…表示部、１８…生体情報取得部、１９…操作情報取得部、２３…解析部、２４…主観情報推定部、２６…支援部、１００…運転支援システム。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】