ホーム > 特許ランキング > 株式会社豊田自動織機
▶ 株式会社豊田自動織機の特許一覧 ▶ 独立行政法人産業技術総合研究所の特許一覧
特許7496553作業支援装置、データベース作成装置、作業支援システム、及び作業支援方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-05-30
(45)【発行日】2024-06-07
(54)【発明の名称】作業支援装置、データベース作成装置、作業支援システム、及び作業支援方法
(51)【国際特許分類】
B66F 9/075 20060101AFI20240531BHJP
G05B 19/418 20060101ALI20240531BHJP
【ＦＩ】
B66F9/075 J
G05B19/418 Z
【請求項の数】
8
(21)【出願番号】P 2021057735
(22)【出願日】2021-03-30
(65)【公開番号】P2022154616
(43)【公開日】2022-10-13
【審査請求日】2023-04-21
(73)【特許権者】
【識別番号】000003218
【氏名又は名称】株式会社豊田自動織機
(73)【特許権者】
【識別番号】301021533
【氏名又は名称】国立研究開発法人産業技術総合研究所
(74)【代理人】
【識別番号】100088155
【弁理士】
【氏名又は名称】長谷川 芳樹
(74)【代理人】
【識別番号】100113435
【弁理士】
【氏名又は名称】黒木 義樹
(74)【代理人】
【識別番号】100124062
【弁理士】
【氏名又は名称】三上 敬史
(74)【代理人】
【識別番号】100148013
【弁理士】
【氏名又は名称】中山 浩光
(74)【代理人】
【識別番号】100162640
【弁理士】
【氏名又は名称】柳 康樹
(72)【発明者】
【氏名】チュウ ジョウヨン
(72)【発明者】
【氏名】河本 満
(72)【発明者】
【氏名】大隈 隆史
(72)【発明者】
【氏名】音田 弘
(72)【発明者】
【氏名】岡山 健
(72)【発明者】
【氏名】加藤 紀彦
【審査官】八板 直人
(56)【参考文献】
【文献】特開２００７－０１６４０３（ＪＰ，Ａ）
【文献】特開２０２０－１４４７７６（ＪＰ，Ａ）
【文献】特開平０９－３０４８１４（ＪＰ，Ａ）
【文献】特開２００７－３１０４５４（ＪＰ，Ａ）
【文献】特開２０１７－１８３９１７（ＪＰ，Ａ）
【文献】特開２００６－２０２１８１（ＪＰ，Ａ）
【文献】特開平１０－１２９９９６（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｂ６６Ｆ ９／００－１１／０４
Ｇ０５Ｂ １９／４１８
(57)【特許請求の範囲】
【請求項1】
産業車両のための作業支援装置であって、前記産業車両に設けられ、作業支援に用いられる支援情報を取得する支援情報取得部と、
前記産業車両の操作情報に基づき、前記産業車両の作業状態を取得する第１の作業状態取得部と、
前記第１の作業状態取得部で取得された前記作業状態に基づいて作業支援の内容を制御する作業支援制御部と、を備え、
前記作業支援制御部は、
前記産業車両の作業状態と、前記産業車両のオペレータの視線情報とを紐付けた状態で予め記憶された記憶情報を取得し、
取得された前記作業状態及び前記記憶情報に基づいて、前記支援情報取得部を用いた支援態様を制御し、
前記支援情報取得部は、複数の撮影手段であり、
前記作業支援制御部は、前記視線情報に基づいて、前記撮影手段を切り替えて表示部に表示させる、作業支援装置。
【請求項2】
前記表示部は、複数の小画面に分割され、前記作業支援制御部は、前記小画面のうち少なくとも一つに対して、前記視線情報に基づいて切り替えた前記撮影手段の映像を表示する、請求項１に記載の作業支援装置。
【請求項3】
請求項１又は２に記載の作業支援装置で用いられるデータベースを作成するデータベース作成装置であって、前記産業車両を操作するオペレータごとの操作情報に基づき、前記産業車両の作業状態を取得する第２の作業状態取得部と、
前記操作情報が行われているときの前記オペレータごとの視線情報を取得する、視線情報取得部と、
前記第２の作業状態取得部で取得された前記作業状態と、前記視線情報とを紐付けた状態で記憶することでデータベースを作成するデータベース作成部と、を備える、データベース作成装置。
【請求項4】
前記第２の作業状態取得部は、前記産業車両の有人操作における操作部での操作に基づいて前記操作情報を取得し、前記視線情報取得部は、前記産業車両に設けられた視線計測部による計測情報、及び前記産業車両に設けられた撮影手段で撮影された映像に基づいて、前記オペレータの視線を分析して、前記視線情報を取得する、請求項３に記載のデータベース作成装置。
【請求項5】
前記視線情報取得部は、前記オペレータごとの固定視線に対してクラスタリング処理を行い、各クラスタの重心を算出することによって、前記視線情報を取得する、請求項４に記載のデータベース作成装置。
【請求項6】
前記視線情報取得部は、前記クラスタリング処理の後、類似するクラスタをまとめる階層的クラスタリング処理を行う、請求項５に記載のデータベース作成装置。
【請求項7】
産業車両のための作業支援装置、及び前記作業支援装置で用いられるデータベースを作成するデータベース作成装置を備える作業支援システムであって、前記データベース作成装置は、
前記産業車両を操作するオペレータごとの操作情報に基づき、前記産業車両の作業状態を取得する第２の作業状態取得部と、
前記操作情報が行われているときの前記オペレータごとの視線情報を取得する、視線情報取得部と、
前記第２の作業状態取得部で取得された前記作業状態と、前記視線情報とを紐付けた状態で記憶することでデータベースを作成するデータベース作成部と、を備え、
前記作業支援装置は、
前記産業車両に設けられ、作業支援に用いられる支援情報を取得する支援情報取得部と、
前記産業車両の操作情報に基づき、前記産業車両の作業状態を取得する第１の作業状態取得部と、
前記第１の作業状態取得部で取得された前記作業状態に基づいて作業支援の内容を制御する作業支援制御部と、を備え、
前記作業支援制御部は、
前記産業車両の作業状態と、前記データベースを取得し、
取得された前記作業状態及び前記データベースに基づいて、前記支援情報取得部を用いた支援態様を制御し、
前記支援情報取得部は、複数の撮影手段であり、
前記作業支援制御部は、前記視線情報に基づいて、前記撮影手段を切り替えて表示部に表示させる、作業支援システム。
【請求項8】
産業車両のための作業支援工程、及び前記作業支援工程で用いられるデータベースを作成するデータベース作成工程を備える作業支援方法であって、前記データベース作成工程は、
前記産業車両を操作するオペレータごとの操作情報に基づき、前記産業車両の作業状態を取得する第２の作業状態取得工程と、
前記操作情報が行われているときの前記オペレータごとの視線情報を取得する、視線情報取得工程と、
前記第２の作業状態取得工程で取得された前記作業状態と、前記視線情報とを紐付けた状態で記憶することでデータベースを作成するデータベース作成工程と、を備え、
前記作業支援工程は、
前記産業車両に設けられ、作業支援に用いられる支援情報を取得する支援情報取得工程と、
前記産業車両の操作情報に基づき、前記産業車両の作業状態を取得する第１の作業状態取得工程と、
前記第１の作業状態取得工程で取得された前記作業状態に基づいて作業支援の内容を制御する作業支援制御工程と、を備え、
前記作業支援制御工程では、
前記産業車両の作業状態と、前記データベースを取得し、
取得された前記作業状態及び前記データベースに基づいて、前記支援情報取得工程で取得された前記支援情報を用いた支援態様を制御し、
前記支援情報取得工程は、複数の撮影手段で実行され、
前記作業支援制御工程では、前記視線情報に基づいて、前記撮影手段を切り替えて表示部に表示させる、作業支援方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、作業支援装置、データベース作成装置、作業支援システム、及び作業支援方法に関するものである。
【背景技術】
【0002】
作業支援装置として、例えば特許文献１に記載されているものが知られている。特許文献１に記載の作業支援装置は、オペレータが、フォークリフトなどの産業車両の遠隔操作を行う場合に、オペレータの作業支援を行うものである。作業支援装置は、産業車両に設けられた撮影部の映像をオペレータに出力することで、オペレータがフォークリフトの周辺の様子を把握しながら操作できるようにしている。
【先行技術文献】
【特許文献】
【0003】
【文献】欧州特許出願公開第２１８４２５４号明細書
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、産業車両は、車両を走行させることや、荷の取り出し作業、荷降ろし作業といった作業状態に応じて、様々な動作を行う。それに伴い、産業車両の周辺において、オペレータが注目するべき箇所が、作業状態に応じて変化する。オペレータに対して出力される情報が多すぎたり少なすぎたりする場合、オペレータは、どこに注目して操作を行うべきかの判断が困難になる場合がある。従って、適切な支援態様にて作業支援を行うことが求められる。
【0005】
本発明の目的は、適切な支援態様にて作業支援を行うことができる作業支援装置、データベース作成装置、作業支援システム、及び作業支援方法を提供することである。
【課題を解決するための手段】
【0006】
本発明の一側面に係る作業支援装置は、産業車両のための作業支援装置であって、産業車両に設けられ、作業支援に用いられる支援情報を取得する支援情報取得部と、産業車両の操作情報に基づき、産業車両の作業状態を取得する第１の作業状態取得部と、第１の作業状態取得部で取得された作業状態に基づいて作業支援の内容を制御する作業支援制御部と、を備え、作業支援制御部は、産業車両の作業状態と、産業車両のオペレータの視線情報とを紐付けた状態で予め記憶された記憶情報を取得し、 取得された作業状態及び記憶情報に基づいて、支援情報取得部を用いた支援態様を制御する。
【0007】
作業支援装置は、産業車両の操作情報に基づき、産業車両の作業状態を取得する第１の作業状態取得部を備える。従って、作業支援装置は、オペレータの操作によって、産業車両がどのような作業を行っているかを把握できる。これに対し、作業支援制御部は、産業車両の作業状態と、産業車両のオペレータの視線情報とを紐付けた状態で予め記憶された記憶情報を取得する。このように、作業支援制御部は、予め記憶された記憶情報を用いることで、作業状態に応じてオペレータがどのように視線を向けることが適切であるかなどを容易に取得することができる。そして、作業支援制御部は、取得された作業状態及び記憶情報に基づいて、支援情報取得部を用いた支援態様を制御する。そのため、作業支援制御部は、産業車両の作業状態に応じて、産業車両の周辺において、オペレータが注目すべき箇所を把握した上で、支援情報取得部を用いた支援態様を適切に制御することができる。以上より、適切な支援態様にて作業支援を行うことができる。
【0008】
支援情報取得部は、複数の撮影手段であり、作業支援制御部は、視線情報に基づいて、撮影手段を切り替えて表示部に表示させてよい。すなわち、作業支援制御部は、作業状態に応じて、オペレータが注目すべき箇所を把握し、当該箇所の様子が見えやすくなるように、撮影手段の映像を選択することができる。
【0009】
表示部は、複数の小画面に分割され、作業支援制御部は、小画面のうち少なくとも一つに対して、視線情報に基づいて切り替えた撮影手段の映像を表示してよい。この場合、オペレータは、他の各種情報を表示部で確認しつつも、特に注目すべき箇所の画像を小画面で確認することができる。
【0010】
本発明の一側面に係るデータベース作成装置は、産業車両のための作業支援装置で用いられるデータベースを作成するデータベース作成装置であって、産業車両を操作するオペレータごとの操作情報に基づき、産業車両の作業状態を取得する第２の作業状態取得部と、操作情報が行われているときのオペレータごとの視線情報を取得する、視線情報取得部と、第２の作業状態取得部で取得された作業状態と、視線情報とを紐付けた状態で記憶することでデータベースを作成するデータベース作成部と、を備える。
【0011】
データベース作成装置によれば、上述の作業支援装置において適切な作業支援を行うことができるように、予め作業状態に応じてオペレータがどのように視線を向けることが適切であるかなどを把握可能なデータベースを作成することができる。
【0012】
第２の作業状態取得部は、産業車両の有人操作における操作部での操作に基づいて操作情報を取得し、視線情報取得部は、産業車両に設けられた視線計測部による計測情報、及び産業車両に設けられた撮影手段で撮影された映像に基づいて、オペレータの視線を分析して、視線情報を取得してよい。この場合、視線情報取得部は、作業状態に応じてオペレータがどのように視線を向けることが適切であるかなどを、実際の計測結果に基づいて分析することができる。これより、作業支援装置が、より適切な作業支援を行えるようなデータベースを作成することができる。
【0013】
視線情報取得部は、オペレータごとの固定視線に対してクラスタリング処理を行い、各クラスタの重心を算出することによって、視線情報を取得してよい。この場合、多数の固定視線の情報が存在する場合であっても、視線情報取得部は、クラスタリング処理によってオペレータの視線の傾向を踏まえた上で、過剰に演算負荷を増加させることなく視線情報を取得することが可能となる。
【0014】
視線情報取得部は、クラスタリング処理の後、類似するクラスタをまとめる階層的クラスタリング処理を行ってよい。この場合、例えば、オペレータの熟練度などのカテゴリーが複数存在することで、クラスタリング処理の後のクラスタが多くなった場合でも、類似するクラスタをまとめることで、各オペレータの視線に共通する傾向を踏まえた上で、過剰に演算負荷を増加させることなく視線情報を取得することが可能となる。
【0015】
本発明に係る作業支援システムは、産業車両のための作業支援装置、及び作業支援装置で用いられるデータベースを作成するデータベース作成装置を備える作業支援システムであって、データベース作成装置は、産業車両を操作するオペレータごとの操作情報に基づき、産業車両の作業状態を取得する第２の作業状態取得部と、操作情報が行われているときのオペレータごとの視線情報を取得する、視線情報取得部と、第２の作業状態取得部で取得された作業状態と、視線情報とを紐付けた状態で記憶することでデータベースを作成するデータベース作成部と、を備え、作業支援装置は、産業車両に設けられ、作業支援に用いられる支援情報を取得する支援情報取得部と、産業車両の操作情報に基づき、産業車両の作業状態を取得する第１の作業状態取得部と、第１の作業状態取得部で取得された作業状態に基づいて作業支援の内容を制御する作業支援制御部と、を備え、作業支援制御部は、産業車両の作業状態と、データベースを取得し、取得された作業状態及びデータベースに基づいて、支援情報取得部を用いた支援態様を制御する。
【0016】
本発明に係る作業支援方法は、産業車両のための作業支援工程、及び作業支援工程で用いられるデータベースを作成するデータベース作成工程を備える作業支援方法であって、データベース作成工程は、産業車両を操作するオペレータごとの操作情報に基づき、産業車両の作業状態を取得する第２の作業状態取得工程と、操作情報が行われているときのオペレータごとの視線情報を取得する、視線情報取得工程と、第２の作業状態取得工程で取得された作業状態と、視線情報とを紐付けた状態で記憶することでデータベースを作成するデータベース作成工程と、を備え、作業支援工程は、産業車両に設けられ、作業支援に用いられる支援情報を取得する支援情報取得工程と、産業車両の操作情報に基づき、産業車両の作業状態を取得する第１の作業状態取得工程と、第１の作業状態取得工程で取得された作業状態に基づいて作業支援の内容を制御する作業支援制御工程と、を備え、作業支援制御工程では、産業車両の作業状態と、データベースを取得し、取得された作業状態及びデータベースに基づいて、支援情報取得工程で取得された支援情報を用いた支援態様を制御する。
【0017】
作業支援システム、及び作業支援方法によれば、上述の作業支援装置、及びデータベース作成装置と同趣旨の作用・効果を得ることができる。
【発明の効果】
【0018】
本発明によれば、適切な支援態様にて作業支援を行うことができる作業支援装置、データベース作成装置、作業支援システム、及び作業支援方法を提供することができる。
【図面の簡単な説明】
【0019】
【図1】本発明の実施形態に係る作業支援システムを示すブロック図である。
【図2】本発明の実施形態に係る作業支援装置を備える遠隔操作システムを示すブロック図である。
【図3】本発明の実施形態に係るデータベース作成装置を備えるデータベース作成システムを示すブロック図である。
【図4】（ａ）はフォークリフトに対する撮影部の取り付け態様を示す斜視図であり、（ｂ）は撮影部の角度を説明するための模式図である。
【図5】データベース作成装置によって実行される処理内容を示すフローチャートである。
【図6】作業支援装置によって実行される処理内容を示すフローチャートである。
【図7】オペレータのカテゴリーと、視線データとの関係を示す概念図である。
【図8】フォークリフトの作業状態を説明するための図である。
【図9】視覚情報取得工程を説明するための図である。
【図10】視覚情報取得工程を説明するための図である。
【図11】視線情報取得工程を説明するための図である。
【図12】映像選択部の処理を説明するための図である。
【図13】表示部の表示内容の一例を示す図である。
【発明を実施するための形態】
【0020】
以下、本発明に係る荷役車両の制御装置の好適な実施形態について、図面を参照して詳細に説明する。なお、図面において、同一または同等の要素には同じ符号を付し、重複する説明を省略する。
【0021】
【0022】
遠隔操作システム１０１は、フォークリフト１（産業車両）をオペレータが遠隔操作するためのシステムである。遠隔操作システム１０１は、フォークリフト１と、遠隔操作装置２と、を備える。フォークリフト１は、遠隔操作装置２から操作信号を受信し、周辺環境の映像を遠隔操作装置２に返信する。ここで、遠隔操作装置２は、本発明の実施形態に係る作業支援装置１１０を備えている。作業支援装置１１０は、オペレータによるフォークリフト１の操作を支援する装置である。作業支援装置１１０は、フォークリフト１から送信された映像を用いて、オペレータが操作をやりやすいように表示することで、作業支援を行う。
【0023】
データベース作成システム１０２は、遠隔操作システム１０１において作業支援を行うために用いられるデータベースを構築する。データベース作成システム１０２は、データ取得用のフォークリフト３と、データベース作成装置１２０と、データベースを記憶する情報記憶部４と、モデル記憶部６と、を備える。データベース作成システム１０２は、フォークリフト３の有人操作によって得られる視線情報のデータベースを作成する。フォークリフト３は、従来のフォークリフト運転と同様に有人操作で運転される。データベース作成装置１２０は、フォークリフト３の有人運転で得られた操作情報、及びオペレータの視線の計測結果を取得する。視線の計測結果は、周囲環境に対してオペレータがどのように視線を向けるかを計測することで得られた情報である。データベース作成装置１２０は、操作情報及び視線の計測結果を処理して、フォークリフト３の異なる作業状態に対して紐付けられた視線情報によって構成されるデータベースを作成する。このように、遠隔操作システム１０１は、データベースを使用して、フォークリフト１の作業状態に応じて表示する映像を変化させることができる。データベース作成システム１０２は、実環境モデル、及びフォークリフト運動学モデル、すなわち「実環境モデル」および「フォークリフトモデル」を含むモデル記憶部６によって支援される。
【0024】
次に、図２を参照して、遠隔操作システム１０１について詳細に説明する。図２は、本発明の実施形態に係る作業支援装置１１０を備える遠隔操作システム１０１を示すブロック図である。フォークリフト１は、運転制御部１１と、複数の撮影部１２（撮影手段、支援情報取得部）と、を備える。運転制御部１１は、遠隔操作装置２からの指令信号を受信し、当該指令信号に基づいて運転制御、及び操舵制御を行う。複数の撮影部１２は、フォークリフト１の各部位に設けられ、フォークリフト１の周辺環境を撮影する。撮影部１２は、作業支援に用いられる支援情報として、撮影した映像を取得して、後述の表示制御部２０へ送信する。複数の撮影部１２の取り付け位置の例を、図４（ａ）に示す。撮影部１２は、フォークリフト１の車体の前端、幅方向の端部、天井などに設けられる。なお、図４（ｂ）に示すようにＸＹＺ座標を設定した場合、各箇所における撮影部１２は、Ｘ軸、Ｙ軸、Ｚ軸の各軸まわりに傾いた状態で設置されてよい。図４（ｂ）では、八箇所に撮影部１２が設けられ、それぞれ異なる箇所の映像を取得する。
【0025】
遠隔操作装置２は操作部１６と、表示部１７と、演算部１８と、を備える。操作部１６は、オペレータがフォークリフト１を遠隔操作するため操作を入力するためのユーザーインターフェースである。表示部１７は、映像を出力するためのユーザーインターフェースである。表示部１７は、互いに異なる映像を出力することができる第１領域Ｄ１、第２領域Ｄ２、及び第３領域Ｄ３を有している。
【0026】
演算部１８は、遠隔操作装置２全体を制御する制御部である。演算部１８は、遠隔操作装置２を統括的に管理するＥＣＵ[ElectronicControl Unit]を備えている。ＥＣＵは、ＣＰＵ[Central Processing Unit]、ＲＯＭ[Read Only Memory]、ＲＡＭ[Random Access Memory]、ＣＡＮ［Controller Area Network］、通信回路等を有する電子制御ユニットである。ＥＣＵでは、例えば、ＲＯＭに記憶されているプログラムをＲＡＭにロードし、ＲＡＭにロードされたプログラムをＣＰＵで実行することにより各種の機能を実現する。演算部１８は、運転指令部１９と、表示制御部２０と、を備える。
【0027】
運転指令部１９は、操作部１６で入力された操作に基づく指令信号を生成して、運転制御部１１へ送信するユニットである。また、運転指令部１９は、入力された操作内容を示す操作情報を表示制御部２０へ送信する。
【0028】
表示制御部２０は、表示部１７の表示内容を制御するユニットである。表示制御部２０は、オペレータの遠隔操作の作業を支援するための情報を表示部１７に表示させる。表示制御部２０は、データベースの情報を用いて表示部１７の第１領域Ｄ１、第２領域Ｄ２、及び第３領域Ｄ３の表示内容を制御する。表示制御部２０は、操作内容分析部２１（第１の作業状態取得部）と、映像選択部２２（作業支援制御部）と、表示内容調整部２３（作業支援制御部）と、を備える。
【0029】
操作内容分析部２１は、フォークリフト１の操作情報に基づき、フォークリフト１の作業状態を取得する。操作内容分析部２１は、運転指令部１９からの操作情報に基づいてフォークリフト１の運転の作業状況を推定する。
【0030】
映像選択部２２は、操作内容分析部２１で推定した作業状態に応じて、複数の撮影部１２の中から、最適な撮影部１２の映像を選択する。ここで、情報記憶部４のデータベースでは、フォークリフトの作業状態と、オペレータの視線に基づく視線情報とが紐付けられた状態で記憶されている。従って、映像選択部２２は、フォークリフト１の作業状態とデータベースとを照合することで、作業状態に対応する視線情報を取得する。そして、映像選択部２２は、取得された視線情報に基づいて、表示部１７に表示させる映像を選択する。
【0031】
表示内容調整部２３は、表示部１７の第１領域Ｄ１、第２領域Ｄ２、及び第３領域Ｄ３のレイアウト（位置・サイズ）を定義する。表示内容調整部２３が調整するレイアウトでは、第１領域Ｄ１及び第２領域Ｄ２に映像選択部２２で選択された撮影部１２の映像が表示される。表示内容調整部２３は、第３領域Ｄ３では、フォークリフト１上の全ての撮影部１２からの映像を、運転安全のための環境情報として表示する。
【0032】
以上のように、映像選択部２２及び表示内容調整部２３は、操作内容分析部２１で取得された作業状態に基づいて作業支援の内容を制御する作業支援制御部２５として機能する。このような作業支援制御部２５は、フォークリフト１の作業状態と、フォークリフトのオペレータの視線情報とを紐付けた状態で予め記憶された記憶情報をデータベースから取得する。作業支援制御部２５は、データベースの記憶情報から取得した視線情報に基づいて、撮影部１２を切り替えて表示部１７の第１領域Ｄ１及び第２領域Ｄ２に表示させる、また、作業支援制御部２５は、取得された作業状態及び記憶情報に基づいて、複数の撮影部１２を用いた支援態様を制御する。遠隔操作装置２のうち、表示部１７、及び表示制御部２０によって、本実施形態に係る作業支援装置１１０が構成される。なお、作業支援装置１１０の動作の詳細については後述する。
【0033】
【0034】
フォークリフト３は、データベースを作成するためのデータサンプリングに用いられる。フォークリフト３の運転によって得られたデータは、データベース作成装置１２０に送信される。フォークリフト３は、オペレータが搭乗することによる、有人操作によって運転がなされる。フォークリフト３は、操作部３０と、複数の撮影部３１と、視線計測部３２と、を備える。操作部３０は、オペレータが操作情報を入力する、操作レバーなどのインタフェースである。複数の撮影部３１は、フォークリフト３の各部位に設けられ、フォークリフト３の周辺環境を撮影する。なお、複数の撮影部３１は、フォークリフト１と同じ数だけ同じ位置に設けられてもよいし、異なる数だけ異なる位置に設けられてもよい。視線計測部３２は、フォークリフト３のオペレータの運転中の視線を計測する装置である。視線計測部３２は、例えば、視線計測機能が設けられたＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）によって構成されていてもよく、設置型視線計測装置によって構成されてもよい。操作部３０、撮影部３１、及び視線計測部３２は、取得した情報をデータベース作成装置１２０の情報分析部４０へ送信する。なお、これらの情報は、情報記憶部４に記憶されてもよい。本実施形態では、熟練度別に複数のオペレータを被験者として準備し、各オペレータがフォークリフト３を運転して作業を行った際の視線を計測した。当該実験で得られた実験データの詳細については、後述する。
【0035】
データベース作成装置１２０は、情報分析部４０と、前述の情報記憶部４と、前述のモデル記憶部６と、を備える。情報分析部４０は、フォークリフト３で得られた情報を分析することで、フォークリフト３の各作業状態と、オペレータの視線との関係性を分析する部分である。情報分析部４０は、作業状態において、オペレータがフォークリフト３周辺のどへ視線を向ける傾向があるのかを分析する。そして、情報分析部４０は、遠隔操作装置２の表示部１７において、第１領域Ｄ１及び第２領域Ｄ２にどの映像を表示すべきかを決定するのに必要な情報について、データベースを作成する。作成されたデータベースは、情報記憶部４に格納される。
【0036】
情報分析部４０は、演算部１８は、ＥＣＵを備えている。ＥＣＵの説明については演算部１８と同様である。情報分析部４０は、作業状態推定部４１（第２の作業状態取得部）と、視線データ処理部４２（視線情報取得部）と、視線抽出部４３（視線情報取得部）と、データベース作成部４４と、を備える。情報分析部４０は、前述の実験データを分析することで、データベースを作成する。
【0037】
作業状態推定部４１は、フォークリフト３を操作するオペレータごとの操作情報に基づき、フォークリフト３の作業状態を取得するユニットである。フォークリフト３は、所定の位置で荷物上げを行い、他の場所へ移動して荷降ろしを行う。このような一連の作業を行う場合、作業状態によって、オペレータが視線を向けて注視する位置が異なる。作業状態の詳細な内容については、後述する。作業状態推定部４１は、オペレータがどのような操作を行ったかを示す操作情報を把握すると共に、当該操作情報に基づいて、フォークリフト３がどのような作業状態にあったかを演算する。
【0038】
視線データ処理部４２は、各作業状態における各オペレータの視線データの処理を行うユニットである。視線データ処理部４２は、実験データのうち、視線計測部３２による計測結果から、各作業状態における各オペレータの固定視線を演算している。視線抽出部４３は、各作業状態において、異なる熟練度のオペレータが、熟練度に寄らず視線を向けて注視する固定視線を抽出するユニットである。なお、視線データ処理部４２及び視線抽出部４３の具体的な処理内容については、後述する。データベース作成部４４は、視線データ処理部４２及び視線抽出部４３の演算結果に基づいて視線情報のデータベースを作成するユニットである。
【0039】
視線データ処理部４２及び視線抽出部４３は、操作情報が行われているときのオペレータごとの視線情報を取得する、視線情報取得部４５として機能する。
【0040】
次に、図５～図１３を参照して、本実施形態に係る作業支援システム１００の具体的な処理内容の一例について説明する。図５は、データベース作成装置１２０によって実行される処理内容を示すフローチャートである。図６は、作業支援装置１１０によって実行される処理内容を示すフローチャートである。
【0041】
まず、図５を参照して、データベース作成装置１２０の処理内容について説明する。データベース作成装置１２０が行われる前段階では、フォークリフト３の有人操作を行って、視線データを取得するための実験が行われる。ここでは、図７の左側の表に示すように、複数のオペレータを「習練者」、「講師」、「初心者」、「中級者」という四つのカテゴリーに分けた。
【0042】
各オペレータは、フォークリフト３を用いて、図８に示すような作業を行った。各オペレータは、図８（ｂ）に示すような所定の実験場にて、棚ＳＦから荷物の取り出し及び荷降ろしの作業を行った。なお、図８において丸付きの数字は、各作業状態を示すものとする。例えば、丸付きの「１」は、「作業状態１」を示すものとする。フォークリフト３は、棚ＳＦから荷物を取り出してから棚ＳＦを一回離れ、再び棚ＳＦに近づいて荷物を置き、棚ＳＦから離れるという作業を行った。このとき、図８（ａ）に示すように、「停止（Ｓｔｏｐ）」、「前進（Ｍｏｖｅ ｆｗｄ）」、「棚への接近（Ａｐｐｒｏａｃｈ）」、「調整（Ａｄｊｕｓｔ ｈｅａｄｉｎｇ）」、「荷役（Ｌｏａｄ／Ｕｎｌｏａｄ）」、「退避（Ｒｅｔｒｅａｔ）」、「後進（Ｍｏｖｅ ｒｅｖｅｒｓｅ）」というフォークリフト３の走行や、荷物の取り出し／荷降ろし作業に関する七つの状態について、荷物ありの状態（Ｌｏａｄ）と、荷物無しの状態（ＮｏＬｏａｄ）とで分けることで、合計１４個の作業状態を定義した。
【0043】
実験では、オペレータが上記作業を行っているときに、所定の周期にて、視線計測部３２の計測結果を取得した。これにより、図７の左側の表に示すように、各カテゴリー別に、Ｄ１～Ｄ４という視線データが得られる。Ｄ１～Ｄ４は、Ｎ×３行列で示され、三次元注視点（有人操作中にオペレータが見ていたワールド座標系（ＷＣＳ）における位置）で構成される。各行は、１×３行ベクトル、すなわちワールド座標系における（ｘ、ｙ、ｚ）の値を示している。なお、ｘ、ｙ、ｚの単位は「メートル」である。Ｎは、実験中にサンプリングされた三次元注視点の総数を示す。なお、Ｄ１～Ｄ４の三次元注視点には、各三次元注視点が得られたタイミングで、オペレータが操作部３０にどのような入力をおこなったかの操作情報が紐付けられている。
【0044】
データベース作成装置１２０が図５の処理を実行するときには、情報分析部４０は、上述の実験データを取得する。まず、作業状態推定部４１は、Ｄ１～Ｄ４内の各三次元注視点が、作業状態１～作業状態１４のうちの、どの作業状態に属するかを推定する（ステップＳ１０：第２の作業状態取得工程）。これにより、図７の右側の表に示すように、作業状態推定部４１は、例えば、作業状態推定部４１は、四つのカテゴリーのそれぞれについて、Ｄ１～Ｄ４を１４個の作業状態に分類する。
【0045】
次に、視線データ処理部４２は、各カテゴリーの各作業状態に係る三次元注視点のデータに対して、視線データ処理を行う（ステップＳ２０：視線情報取得工程）。まず、視線データ処理部４２は、図７の左側の表の中から、あるカテゴリーのオペレータのある作業状態におけるデータを選択する。ここでは、図７の中の「Ａ」で示すデータを選択したものとして説明する。視線データ処理部４２は、オペレータが、フォークリフト３周辺に存在している物体に対して、どのように視線を送っているかを把握する。例えば、図１０（ａ）に示すように、オペレータが所定の方向に視線ＧＬを向けた場合、フォークリフト３の周辺に存在する物体ＯＪと視線ＧＬがぶつかる。視線データ処理部４２は、図７の「Ａ」のデータに基づいて、物体ＯＪと視線ＧＬがぶつかる衝突点ＣＰの三次元座標における位置情報を取得する。物体ＯＪの情報は、モデル記憶部６の実環境モデルから取得可能である。図９（ａ）は、このように取得された衝突点ＣＰをプロットしたグラフである。例えば、「物体１」と視線ＧＬとの衝突点ＣＰが白抜きの丸で示される。なお、図９（ａ）は簡略化したプロット図であり、実際には更に多数の物体と、衝突点ＣＰがプロットされる。また、図９（ａ）は、衝突点ＣＰのプロットを上方から見た平面図として示されている。後述の図９（ｂ）（ｃ）は、衝突点ＣＰのプロットが斜視図の状態で示されている。なお、異なるタイミングで取得された一連の衝突点ＣＰが、図７の左側の表のＤｉとして記録される。Ｄｉの各行は一つの衝突点ＣＰの（ｘ、ｙ、ｚ）を示す。なお、二つの連続した衝突点ＣＰが、後述の注視パラメータ（ｄ、ｖ、ａ、ｗ）の計算に用いられる。視線データ処理部４２は、このようにして得られた衝突点ＣＰを三次元注視点として再設定する。
【0046】
次に、視線データ処理部４２は、三次元注視点のデータを用いて、注視パラメータ（ｄ、ｖ、ａ、ｗ）を算出する。ここで、ｄとは二つの注視点間の距離であり、ｖとは二つの注視点間の視線の速度であり、ａとは二つの注視点間の視線の加速度であり、ｗとは二つの注視ベクトル間の角度である。視線データ処理部４２は、注視パラメータ（ｄ、ｖ、ａ、ｗ）を用いて、各注視点を固定視線（Ｇａｚｅ Ｆｉｘａｔｉｏｎ）とサッケードとに分割する。サッケードは、ある固定視線と、他の固定視線との間の視線の動きを示している。図９（ｂ）は、三次元座標中に固定視線、及びサッケードをプロットした三次元グラフである。図９（ｂ）中の黒丸が固定視線を示し、二つの固定視線を結ぶ直線がサッケードを示す。なお、図９（ｂ）（ｃ）は、簡略化されたグラフであり、実際は更に多数の固定視線の点、及び複雑なサッケードが存在する。
【0047】
ここで、図９（ｂ）に示すように、幾つかの固定視線を示す点は、互いに近い位置に存在している。このように、複数の固定視線の点が互いに近接している場合、オペレータは同じ位置・物体を見ている可能性が高いという仮定が成り立つ。従って、視線データ処理部４２は、複数の固定視線の点（図９（ｂ）のグラフからサッケードの直線を除いた点群）をクラスタリング処理することにより、同じ注視を行っている可能性が高い固定視線を識別する。具体的には、視線データ処理部４２は、ｋ－ｍｅａｎｓ法を用いてクラスタリング処理を行う（例えば、図１０（ｃ）参照）。これにより、図９（ｃ）に示すように、複数の固定視線の点をいくつかのクラスタに分類することができる。図９（ｃ）では、破線で示す領域内に存在する固定視線の点は、同一のクラスタに属することを示す。
【0048】
図１０（ｂ）は、エルボー法によって、ｋ－ｍｅａｎｓ法でクラスタリングを行うための最適なクラスタ数（ｋ）を算出する様子を示すグラフである。横軸はクラスタ数を示し、縦軸は因子寄与の割合を示す。図１０（ｂ）に示すグラフは、破線Ｌ１あたりで値の増加が収束しているため、当該破線Ｌ１におけるクラスタ数を最適なクラスタ数として採用する。
【0049】
視線データ処理部４２は、全てのカテゴリーのオペレータについて上述のような処理を行う。視線データ処理部４２は、各カテゴリーのオペレータの固定視線を分類したクラスタをプロットすることで、図１１（ａ）に示すようなグラフを得る。図１１（ａ）は、作業状態１のデータ処理結果を示すグラフである。図１１（ａ）の円は、一つ当たりのクラスタの中心及びクラスタの大きさを示している。円の中心は、当該クラスタに属す固定視線の点の平均によって設定される。円の直径は、当該クラスタに属す固定視線の点の個数/回数によって設定され、またはクラスタサイズによって設定される。視線データ処理部４２は、他の作業状態２～作業状態１４についても、同様の手順で図１１（ａ）と同趣旨のクラスタ分布を示すグラフを得る。なお、クラスタリング処理の手法は、ｋ－ｍｅａｎｓ法に限定されず、例えば、階層的クラスタリング、スペクトラルクラスタリング、ＤＢＳＣＡＮ等の手法が採用されてもよい。
【0050】
ここで、図１１（ａ）に示すように、フォークリフト３の原点（ｏｒｉｇｉｎ ｏｆ ｆｏｒｋ）の周辺には、オペレータの熟練度に寄らずにクラスタが密集している場所もあれば、特定の熟練度のオペレータのクラスタしか存在しない場所もある。従って、視線抽出部４３は、オペレータの熟練度に左右されずに注目する固定視線を抽出する（ステップＳ３０：視線情報取得工程）。視線抽出部４３は、ある作業状態における全カテゴリーのオペレータのデータを考慮して、固定視線を抽出する（例えば、図７の「Ｂ」参照）。
【0051】
視線抽出部４３は、異なるカテゴリのオペレータの全てのクラスタに対して、階層的クラスタリング処理を行う。例えば、視線抽出部４３は、図１１（ａ）の各クラスタの重心を固定視線重心として取得する。視線抽出部４３は、これらの固定視線重心を用いて、図１１（ｂ）に示すようなクラスタリングツリーを作成する。例えば、二つの固定視線重心のユークリッド距離が、全てのユークリッド距離の平均より小さい場合、類似したクラスタとして一つのクラスタとしてまとめる。これにより、２１個存在していたクラスタの数は、クラスタリングツリーの縦軸の正側へ進むに従って、まとめられることで減少する。視線抽出部４３は、クラスタが任意の数となる箇所（破線Ｌ２で示す箇所）にて、クラスタリングツリーの足を切る。これにより、視線抽出部４３は、固定視線を１１個のクラスタに分類する。なお、階層的クラスタリング処理の詳細な方法は適宜変更可能である。
【0052】
視線抽出部４３は、階層的クラスタリングによって分類した１１個のクラスタについて、各クラスタの中に、何個の固定視線が存在しているかをカウントする。これにより、作業状態１に対する固定視線の優先度を示す結果として、図１１（ｃ）に示すグラフが得られる。視線抽出部４３は、上位二つの「８」「９」のクラスタを抽出する。また、視線抽出部４３は、「クラスタ８」「クラスタ９」の固定視線重心を、作業状態１における二つの抽出固定視線として抽出する。視線抽出部４３は、他の作業状態２～作業状態１４についても、同様の手順で抽出固定視線を抽出する。
【0053】
データベース作成部４４は、ステップＳ１０で推定した作業状態と、ステップＳ３０で取得された視線情報とを、紐付けることによってデータベースを作成する（ステップＳ４０：データベース作成工程）。すなわち、データベースでは、作業状態１に対して上述の二つの抽出固定視線が紐付けられており、他の作業状態２～作業状態１４に対してそれぞれ二つの抽出固定視線が紐付けられている。以上により、図５に示すデータベース作成処理が終了する。
【0054】
次に、図６を参照して、作業支援装置１１０の処理内容について説明する。まず、操作内容分析部２１は、オペレータによるフォークリフト１の遠隔操作の操作情報に基づき、フォークリフト１の作業状態を取得する（ステップＳ１１０：第１の作業状態取得工程）。操作内容分析部２１は、現在のフォークリフト１の作業状態が、作業状態１～作業状態１４（図８参照）の何れに該当するかを分析・推定する。
【0055】
映像選択部２２は、撮影部１２で撮影された映像を取得すると共に、ステップＳ１１０で取得された作業状態に基づいて、表示部１７の領域Ｄ１，Ｄ２に表示すべき映像を選択する（ステップＳ１２０：支援情報取得工程、作業支援制御工程）。映像選択部２２は、ステップＳ１１０で取得した作業状態と、データベースに格納されている視線情報とを照らし合わせる。例えば、ステップＳ１１０で作業状態１と推定された場合、映像選択部２２は、データベースの中から、作業状態１と紐付けられた二つの抽出固定視線を取得する。そして、図１２に示すように、映像選択部２２は、「ａ１」～「ａ８」で示される（図４参照）八台の撮影部１２の映像範囲ＶＥと、抽出固定視線との位置関係を分析する。映像選択部２２は、抽出固定視線ＧＦが映像範囲ＶＥの中央に最も近くなる撮影部１２を採用する。具体的に、「ａ２」の撮影部１２では、抽出固定視線ＧＦが映像範囲ＶＥからはみ出てしまっているため、映像選択部２２は、「ａ２」の撮影部１２の映像を選択しない。また、「ａ３」「ａ４」の撮影部１２では、抽出固定視線ＧＦが映像範囲ＶＥの端に位置するため、映像選択部２２は、「ａ３」「ａ４」の撮影部１２の映像を選択しない。一方、「ａ１」の撮影部１２では、抽出固定視線が映像範囲ＶＥの中央位置の近くに位置する。従って、映像選択部２２は、「ａ１」の撮影部１２の映像を選択する。
【0056】
表示内容調整部２３は、ステップＳ１２０の選択結果に基づき、表示部１７で表示させる内容を調整する（ステップＳ１３０：作業支援制御工程）。例えば、図１３に示すように、画面中に領域Ｄ１，Ｄ２，Ｄ３で異なる映像を映す場合、表示内容調整部２３は、各領域Ｄ１，Ｄ２，Ｄ３のアンカーＡＰ１の位置を設定すると共に、サイズを設定する。表示内容調整部２３は、領域Ｄ１，Ｄ２には、ステップＳ１２０で選択した撮影部１２の映像が表示されるように設定する。なお、一つの作業状態に対して抽出固定視線は二つ存在するため、映像選択部２２は、最も優先度が高い抽出固定視線を映す撮影部１２の映像を第１領域Ｄ１に表示させ、二番目に優先度が高い抽出固定視線を映す撮影部１２の映像を第２領域Ｄ２に表示させるように、調整を行ってよい。
【0057】
第３領域Ｄ３に複数の映像を表示させる場合、表示内容調整部２３は、各小領域のアンカーＡＰ２の位置を設定すると共に、サイズを設定する。表示内容調整部２３は、「ａ１」～「ａ８」の全ての撮影部１２の映像が各小領域に表示されるように設定する。また、「ａ９」「ａ１０」の小領域には、その他の作業支援となる映像が表示される。
【0058】
表示部１７は、ステップＳ１３０で調整された内容の映像を出力する。これにより、表示部１７には、図１３に示されるような映像が出力される。オペレータは、表示部１７に表示された映像で作業支援をされながら、遠隔操作を行う。以上により、図６に示す処理が終了する。
【0059】
次に、本実施形態に係る作業支援装置１１０、データベース作成装置１２０、作業支援システム１００、及び作業支援方法の作用・効果について説明する。
【0060】
作業支援装置１１０は、産業車両の操作情報に基づき、産業車両の作業状態を取得する操作内容分析部２１（第１の作業状態取得部）を備える。従って、作業支援装置１１０は、オペレータの操作によって、産業車両がどのような作業を行っているかを把握できる。これに対し、作業支援制御部２５は、産業車両の作業状態と、産業車両のオペレータの視線情報とを紐付けた状態で予め記憶された記憶情報を取得する。このように、作業支援制御部２５は、予め記憶された記憶情報を用いることで、作業状態に応じてオペレータがどのように視線を向けることが適切であるかなどを容易に取得することができる。そして、作業支援制御部２５は、取得された作業状態及び記憶情報に基づいて、撮影部１２（支援情報取得部）を用いた支援態様を制御する。そのため、作業支援制御部２５は、産業車両の作業状態に応じて、産業車両の周辺において、オペレータが注目すべき箇所を把握した上で、撮影部１２を用いた支援態様を適切に制御することができる。以上より、適切な支援態様にて作業支援を行うことができる。
【0061】
支援情報取得部は、複数の撮影部１２であり、作業支援制御部２５は、視線情報に基づいて、撮影部１２を切り替えて表示部１７に表示させてよい。すなわち、作業支援制御部２５は、作業状態に応じて、オペレータが注目すべき箇所を把握し、当該箇所の様子が見えやすくなるように、撮影部１２の映像を選択することができる。
【0062】
表示部１７は、複数の小画面に分割され、作業支援制御部２５は、小画面のうち少なくとも一つ（本実施形態では第１領域Ｄ１及び第２領域Ｄ２の小画面）対して、視線情報に基づいて切り替えた撮影部１２の映像を表示してよい。この場合、オペレータは、他の各種情報を表示部１７で確認しつつも、特に注目すべき箇所の画像を小画面で確認することができる。
【0063】
本実施形態の一側面に係るデータベース作成装置１２０は、産業車両のための作業支援装置１１０で用いられるデータベースを作成するデータベース作成装置１２０であって、産業車両を操作するオペレータごとの操作情報に基づき、産業車両の作業状態を取得する作業状態推定部４１（第２の作業状態取得部）と、操作情報が行われているときのオペレータごとの視線情報を取得する、視線情報取得部４５と、作業状態推定部４１で取得された作業状態と、視線情報とを紐付けた状態で記憶することでデータベースを作成するデータベース作成部４４と、を備える。
【0064】
データベース作成装置１２０によれば、上述の作業支援装置１１０において適切な作業支援を行うことができるように、予め作業状態に応じてオペレータがどのように視線を向けることが適切であるかなどを把握可能なデータベースを作成することができる。
【0065】
作業状態推定部４１は、産業車両の有人操作における操作部３０での操作に基づいて操作情報を取得し、視線情報取得部４５は、産業車両に設けられた視線計測部３２による計測情報、及び撮影部３１で撮影された映像に基づいて、オペレータの視線を分析して、視線情報を取得してよい。なお、撮影部３１は、オペレータが有人操作の間に見るオペレータの視覚情報を撮影するものであり、例えば、オペレータの頭部に取り付けられたカメラなどによって構成されてよい。この場合、視線情報取得部４５は、作業状態に応じてオペレータがどのように視線を向けることが適切であるかなどを、実際の計測結果に基づいて分析することができる。これより、作業支援装置１１０が、より適切な作業支援を行えるようなデータベースを作成することができる。
【0066】
視線情報取得部４５は、オペレータごとの固定視線に対してクラスタリング処理を行い、各クラスタの重心を算出することによって、視線情報を取得してよい。この場合、多数の固定視線の情報が存在する場合であっても、視線情報取得部４５は、クラスタリング処理によってオペレータの視線の傾向を踏まえた上で、過剰に演算負荷を増加させることなく視線情報を取得することが可能となる。
【0067】
視線情報取得部４５は、クラスタリング処理の後、類似するクラスタをまとめる階層的クラスタリング処理を行ってよい。この場合、例えば、オペレータの熟練度などのカテゴリーが複数存在することで、クラスタリング処理の後のクラスタが多くなった場合でも、類似するクラスタをまとめることで、各オペレータの視線に共通する傾向を踏まえた上で、過剰に演算負荷を増加させることなく視線情報を取得することが可能となる。
【0068】
本実施形態に係る作業支援システムは、産業車両のための作業支援装置１１０、及び作業支援装置１１０で用いられるデータベースを作成するデータベース作成装置１２０を備える作業支援システム１００であって、データベース作成装置１２０は、産業車両を操作するオペレータごとの操作情報に基づき、産業車両の作業状態を取得する作業状態推定部４１と、操作情報が行われているときのオペレータごとの視線情報を取得する、視線情報取得部４５と、作業状態推定部４１で取得された作業状態と、視線情報とを紐付けた状態で記憶することでデータベースを作成するデータベース作成部４４と、を備え、作業支援装置１１０は、産業車両に設けられ、作業支援に用いられる支援情報を取得する撮影部１２と、産業車両の操作情報に基づき、産業車両の作業状態を取得する操作内容分析部２１と、操作内容分析部２１で取得された作業状態に基づいて作業支援の内容を制御する作業支援制御部２５と、を備え、作業支援制御部２５は、産業車両の作業状態と、データベースを取得し、取得された作業状態及びデータベースに基づいて、撮影部１２を用いた支援態様を制御する。
【0069】
本実施形態に係る作業支援方法は、産業車両のための作業支援工程、及び作業支援工程で用いられるデータベースを作成するデータベース作成工程を備える作業支援方法であって、データベース作成工程は、産業車両を操作するオペレータごとの操作情報に基づき、産業車両の作業状態を取得する第２の作業状態取得工程と、操作情報が行われているときのオペレータごとの視線情報を取得する、視線情報取得工程と、第２の作業状態取得工程で取得された作業状態と、視線情報とを紐付けた状態で記憶することでデータベースを作成するデータベース作成工程と、を備え、作業支援工程は、産業車両に設けられ、作業支援に用いられる支援情報を取得する支援情報取得工程と、産業車両の操作情報に基づき、産業車両の作業状態を取得する第１の作業状態取得工程と、第１の作業状態取得工程で取得された作業状態に基づいて作業支援の内容を制御する作業支援制御工程と、を備え、作業支援制御工程では、産業車両の作業状態と、データベースを取得し、取得された作業状態及びデータベースに基づいて、支援情報取得工程で取得された支援情報を用いた支援態様を制御する。
【0070】
作業支援システム１００、及び作業支援方法によれば、上述の作業支援装置１１０、及びデータベース作成装置１２０と同趣旨の作用・効果を得ることができる。
【0071】
以上、本発明に係る荷役車両の制御装置の好適な実施形態について幾つか説明してきたが、本発明は、上記実施形態に限定されるものではない。
【0072】
例えば、上述の実施形態では、データベースには、各作業状態に対して、抽出固定視線の情報が視線情報として紐付けられていた。これに代えて、データベースには、各作業状態に対して、採用すべき撮影部１２の情報が視線情報として格納されてよい。例えば、実験で用いるフォークリフトの撮影部１２の個数及び取り付け位置を、遠隔操作で用いるフォークリフトの撮影部１２の個数及び取り付け位置と同一にすればよい。この場合、映像選択部２２は直ちに採用すべき撮影部１２を選択できるので、遠隔操作中の処理が軽くなる。なお、前述の実施形態であれば、実験時のフォークリフトの撮影部１２の取り付け位置と、遠隔操作時のフォークリフトの撮影部１２の取り付け位置が異なってもよい。
【0073】
上述の実施形態では、データベース作成装置１２０は、オペレータの熟練度に依存しない抽出固定視線を抽出した。これに代えて、データベース作成装置１２０は、オペレータの熟練度を判定し、判定した熟練度に対して最適な視線情報のデータベースを作成してもよい。例えば、作業支援装置１１０は、熟練者に対しては、熟練者にとって適切な映像情報を領域Ｄ１、Ｄ２に表示し、初心者に対しては、初心者にとって適切な映像情報を領域Ｄ１、Ｄ２に表示する。
【0074】
上述の実施形態では、支援情報取得部として、撮影部が採用されたが、支援情報取得部は特に限定されない。例えば、支援情報取得部として、産業車両の周辺の障害物を検出する障害物検出センサが採用されてもよい。この場合、作業支援装置１１０は、作業状態に応じて、オペレータが視線を向けるべき箇所の障害物を検出できるように、複数の障害物検出センサの結果の中から、好ましいものを選択することができる。
【0075】
上述の実施形態では、作業支援装置１１０は、遠隔操作時のオペレータの作業を支援していたが、産業車両を有人操作するときに支援を行ってもよい。
【0076】
上述の実施形態では、各方向における映像を取得できるように、多数の撮影部が産業車両に設けられ、作業支援装置１１０は、表示すべき撮影部を選択していた。これに代えて、広範囲を撮影できるカメラを採用し、作業支援装置１１０は、広範囲の映像の中から、表示すべき部分を抜き出して、領域Ｄ１，Ｄ２に表示してもよい。
【0077】
産業車両は、フォークリフトに限定されず、トーイングトラクター、スキッドステアローダーなどが採用されてもよい。
【0078】
上述の実施形態では、実験データに基づいて得られた視線情報をデータベースに格納していた。これに代えて、またはこれに加えて、作業支援システム１００は、機械学習による演算部を備えてもよい。例えば、データベース作成装置１２０は、実験データに係る視線情報を作業状態と紐付けて格納しておき、当該情報を教師データとして、演算部に機械学習させてよい。この場合、作業支援装置１１０は、オペレータの操作から作業状態を取得したら、当該作業状態を演算部へ入力し、演算部から機械学習に基づく視覚情報を取得してよい。
【符号の説明】
【0079】
１，３…フォークリフト、１２…撮影部（支援情報取得部、撮影手段）、１７…表示部、２１…操作内容分析部（第１の作業状態取得部）、２５…作業支援制御部、３２…視線計測部、４１…作業状態推定部（第２の作業状態取得部）、４４…データベース作成部、４５…視線情報取得部、１００…作業支援システム、１１０…作業支援装置、１２０…データベース作成装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
