特開 2024-142584 学習支援装置、学習支援システム、学習支援方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024142584

(43)【公開日】2024-10-11

(54)【発明の名称】学習支援装置、学習支援システム、学習支援方法、およびプログラム

(51)【国際特許分類】

   G09B 9/00 20060101AFI20241003BHJP

   G06Q 50/20 20120101ALI20241003BHJP

【ＦＩ】

G09B9/00 Z

G06Q50/20

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2023054785

(22)【出願日】2023-03-30

(71)【出願人】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100109313

【弁理士】

【氏名又は名称】机 昌彦

(74)【代理人】

【識別番号】100149618

【弁理士】

【氏名又は名称】北嶋 啓至

(72)【発明者】

【氏名】西塚 純一

(72)【発明者】

【氏名】高橋 誠

(72)【発明者】

【氏名】林田 知之

(72)【発明者】

【氏名】眞崎 泰成

(72)【発明者】

【氏名】細井 麻帆

(72)【発明者】

【氏名】長谷川 元美

【テーマコード（参考）】

5L049

5L050

【Ｆターム（参考）】

5L049CC34

5L050CC34

(57)【要約】

【課題】 学習者が触感を使って、作業を効果的に習得可能にするための技術を提供する。
【解決手段】
観測部（１１）は、作業者の触感を観測し、取得部（１２）は、作業者の視界を撮影して得られた画像を取得し、生成部（１３）は、作業者の視界、および作業者の触感を、模擬的に再現するための情報を生成する。
【選択図】 図３

【特許請求の範囲】

【請求項1】

作業者の触感を観測する観測手段と、
前記作業者の視界を撮影して得られた画像を取得する取得手段と、
前記作業者の視界、および前記作業者の触感を、模擬的に再現するための情報を生成する生成手段と
を備えた学習支援装置。

【請求項2】

前記取得手段は、前記作業者が操縦する機械から、前記作業者の触感を示す情報を取得する
ことを特徴とする請求項１に記載の学習支援装置。

【請求項3】

前記取得手段は、前記作業者に装着された触覚センサから、前記作業者の触感を示す情報を取得する
ことを特徴とする請求項１に記載の学習支援装置。

【請求項4】

前記生成手段は、推定された前記作業者の操作と、予め登録された模範的な作業者の操作とを比較して、両者の操作が相違する場合、警報を出力する
ことを特徴とする請求項１に記載の学習支援装置。

【請求項5】

前記生成手段は、
前記作業者の熟練度を示す情報を取得し、
前記両者の操作のパターンの類似度が、前記作業者の熟練度に応じた閾値を下回る場合、前記警報を出力する
ことを特徴とする請求項４に記載の学習支援装置。

【請求項6】

前記取得手段は、前記作業者の動きを撮影して得られた映像をさらに取得し、
前記作業者の動きを撮影して得られた映像を分析することにより、前記作業者の操作を推定する推定手段をさらに備え、
前記生成手段は、推定された前記作業者の操作を模擬的に再現するための情報をさらに生成する
ことを特徴とする請求項１から５のいずれか１項に記載の学習支援装置。

【請求項7】

前記作業者が操縦する機械の動作を検出する検出手段をさらに備え、
前記生成手段は、前記作業者の視界および前記作業者の感覚に加えて、前記機械の動作を模擬的に再現するための情報をさらに生成する
ことを特徴とする請求項１から５のいずれか１項に記載の学習支援装置。

【請求項8】

作業者の触感を観測するためのセンサと、
前記作業者の視界を撮影する視界撮影装置と、
学習支援装置と、を備え、
前記学習支援装置は、
前記センサを用いて、前記作業者の触感を観測し、
前記視界撮影装置から、前記作業者の視界を撮影して得られた画像を取得し、
前記作業者の視界、および前記作業者の触感を、模擬的に再現するための情報を生成する
学習支援システム。

【請求項9】

コンピュータが、
作業者の触感を観測し、
前記作業者の視界を撮影して得られた画像を取得し、
前記作業者の視界、および前記作業者の触感を、模擬的に再現するための情報を生成する
学習支援方法。

【請求項10】

作業者の触感を観測することと、
前記作業者の視界を撮影して得られた画像を取得することと、
前記作業者の視界、および前記作業者の触感を、模擬的に再現するための情報を生成することと
をコンピュータに実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、学習者が、熟練の作業者による作業のやり方を学習することを支援するための技術に関する。

【背景技術】

【0002】

現在、建設業や農業では、経験豊富な熟練の作業者によって、建設作業や農作業が行われている。後の世代に技術を継承するために、熟練の作業者による作業に関わるデータを取得し、取得したデータを保存する取り組みが行われている。

【0003】

例えば、特許文献１および特許文献２には、熟練の作業者の動きおよび視界をカメラで撮影することにより得られた画像データを用いて、作業者の姿勢および状態を推定することが記載されている。

【0004】

特許文献３には、ウェアラブル端末を用いて、作業者の視界を画像として再現することが記載されている。特許文献４には、ヘッドマウントディスプレイの画面上に、術者の視界を３Ｄ画像として表示することにより、術者の視界を他者と共有できるようにすることが記載されている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２００４－２４０２６４号公報

【特許文献2】特開２０２２－１５３７１７号公報

【特許文献3】特開２０１７－１９１４９０号公報

【特許文献4】特開２０２０－０１４１６０号公報

【特許文献5】特開２０１９－０２０６７０号公報

【特許文献6】特開２０２０－１７３３２６号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

作業の中には、作業者が感じ取る振動、摩擦、反発力などの触感が、特に重要であるものがある。具体的には、木工、陶芸、研磨、金属加工、および、農機や建機の運転などの作業などである。特許文献３または特許文献４に記載の関連する技術では、学習者は、作業者の触感を体感することはできないため、技術を効果的に習得することが難しい場合がある。

【0007】

本発明は、上記の課題に鑑みてなされたものであり、その目的は、学習者が触感を使って、作業を効果的に習得可能にするための技術を提供することにある。

【課題を解決するための手段】

【0008】

本発明の一態様に係る学習支援装置は、作業者の触感を観測する観測手段と、前記作業者の視界を撮影して得られた画像を取得する取得手段と、前記作業者の視界、および前記作業者の触感を、模擬的に再現するための情報を生成する生成手段とを備えている。

【0009】

本発明の一態様に係る学習支援システムは、作業者の触感を観測するためのセンサと、前記作業者の視界を撮影する視界撮影装置と、学習支援装置と、を備え、前記学習支援装置は、前記センサを用いて、前記作業者の触感を観測し、前記視界撮影装置から、前記作業者の視界を撮影して得られた画像を取得し、前記作業者の視界、および前記作業者の触感を、模擬的に再現するための情報を生成する。

【0010】

本発明の一態様に係る学習支援方法では、コンピュータが、作業者の触感を観測し、前記作業者の視界を撮影して得られた画像を取得し、前記作業者の視界、および前記作業者の触感を、模擬的に再現するための情報を生成する。

【0011】

本発明の一態様に係るプログラムは、作業者の触感を観測することと、前記作業者の視界を撮影して得られた画像を取得することと、前記作業者の視界、および前記作業者の触感を、模擬的に再現するための情報を生成することとをコンピュータに実行させる。

【発明の効果】

【0012】

本発明の一態様によれば、学習者が作業を効果的に習得することができる。

【図面の簡単な説明】

【0013】

【図1】実施形態１に係る学習支援システムの構成を概略的に示す図である。

【図2】実施形態１に係る学習支援システムの一変形例の構成を示す図である。

【図3】実施形態２に係る学習支援装置の構成を示すブロック図である。

【図4】実施形態２に係る学習支援装置の動作を示すフローチャートである。

【図5】実施形態３に係る学習支援システムの構成を概略的に示す図である。

【図6】実施形態３に係る学習支援システムの一変形例の構成を示す図である。

【図7】実施形態３に係る学習支援装置の構成を示すブロック図である。

【図8】実施形態３に係る学習支援装置の動作を示すフローチャートである。

【図9】実施形態４に係る学習支援システムの構成を概略的に示す図である。

【図10】実施形態４に係る学習支援装置の構成を示すブロック図である。

【図11】実施形態４に係る学習支援装置の動作を示すフローチャートである。

【図12】実施形態１～４のいずれかに係る学習支援装置のハードウェア構成の一例を示す図である。

【発明を実施するための形態】

【0014】

〔実施形態１〕
図１～図２を参照して、実施形態１について説明する。

【0015】

（学習支援システム１）
図１を参照して、本実施形態１に係る学習支援システム１の構成を説明する。図１は、学習支援システム１の構成を概略的に示す図である。

【0016】

図１に示すように、学習支援システム１は、作業者の触感を観測するためのセンサ１００と、作業者の視界を撮影する視界撮影装置２００と、学習支援装置１０（２０，３０）と、を備えている。ここで、「学習支援装置１０（２０，３０）」は、実施形態２～４に係る学習支援装置１０，２０，３０のいずれかを表す。

【0017】

センサ１００は、例えば、作業者の手に装着されるハプティクスセンサである。他の一例では、センサ１００は、作業者の身体に取り付けられるモーションセンサである。さらに他の一例では、センサ１００は、操縦者（作業者の一例である）が運転および操作する機械（建機や農機など）のハンドル、レバー、あるいはボタン等に、設置されてもよい。

【0018】

センサ１００は、作業者の触感を示すセンサデータを、学習支援装置１０（２０，３０）へ送信する。

【0019】

視界撮影装置２００は、例えば、作業者の顔（特に、目の付近）に装着される。あるいは、視界撮影装置２００は、操縦者（作業者の一例である）が運転および操作する機械の運転席付近に、設置されてもよい。この場合、視界撮影装置２００の画角が操縦者の視界を含むように、視界撮影装置２００の角度および向きが調整される。そして、視界撮影装置２００は、操縦者が運転および操作する機械に固定される。

【0020】

視界撮影装置２００は、作業者の視界を撮影することによって得られた画像データを、学習支援装置１０（２０，３０）へ送信する。

【0021】

学習支援装置１０（２０，３０）は、センサ１００から、作業者の触感を示すセンサデータを受信する。学習支援装置１０（２０，３０）は、センサ１００を用いて、作業者の触感を観測する。

【0022】

また、学習支援装置１０（２０，３０）は、視界撮影装置２００から、作業者の視界を撮影して得られた画像データを取得する。

【0023】

学習支援装置１０（２０，３０）は、作業者の触感を示すセンサデータ、および、作業者の視界を撮影して得られた画像データを用いて、作業者の視界、および作業者の触感を、模擬的に再現するための情報を生成する。

【0024】

例えば、学習支援装置１０（２０，３０）は、作業者の視界を撮影して得られた画像データから、作業者の視界と対応する３Ｄ画像データを生成する。また、学習支援装置１０（２０，３０）は、作業者の触感を示すセンサデータを用いて、作業者が触覚により知覚した振動、抵抗、および反発力などの力を機械的または電気的に再現するための情報を生成する。

【0025】

学習支援装置１０（２０，３０）は、作業者の視界、および作業者の触感を、模擬的に再現するための情報を、図示しない記憶装置に保存する。あるいは、後述する実施形態３または実施形態４で説明するように、学習支援装置１０（２０，３０）は、作業者の視界を表す画像データを、シミュレータ４００（図５）へ送信してもよい。

【0026】

（変形例）
図２を参照して、本実施形態１に係る学習支援システム１の一変形例を説明する。図２は、学習支援システム１の一変形例である学習支援システム１Ａの構成を概略的に示す図である。

【0027】

図２に示すように、学習支援システム１Ａは、作業者の触感を観測するためのセンサ１００と、作業者の視界を撮影する視界撮影装置２００と、学習支援装置１０（２０，３０）と、を備えている。学習支援システム１Ａは、作業者の動きを撮影する動き撮影装置３００をさらに備えている。

【0028】

動き撮影装置３００は、作業者の身体または骨格の動きを撮影可能であれば、どこに設置されてもよい。例えば、動き撮影装置３００は、作業者の頭上に設置される。例えば、動き撮影装置３００は、３６０度カメラまたは監視カメラである。

【0029】

動き撮影装置３００は、作業者の動きを撮影することによって得られた画像データを、学習支援装置１０（２０，３０）へ送信する。

【0030】

学習支援装置１０（２０，３０）は、動き撮影装置３００から、作業者の動きを撮影して得られた画像データを取得する。

【0031】

学習支援装置１０（２０，３０）は、動き撮影装置３００が撮影した画像を分析することにより、作業者の操作を推定する。そして、学習支援装置１０（２０，３０）は、推定された作業者の操作を示す情報を出力する。

【0032】

（本実施形態の効果）
本実施形態の構成によれば、センサ１００は、作業者の触感を観測する。視界撮影装置２００は、作業者の視界を撮影する。学習支援装置１０（２０，３０）は、センサ１００を用いて、作業者の触感を観測し、視界撮影装置２００から、作業者の視界を撮影して得られた画像を取得し、作業者の視界、および作業者の触感を、模擬的に再現するための情報を生成する。

【0033】

このようにして、センサ１００および視界撮影装置２００によって、作業者から収集されたデータを用いて、作業者の視界と触感とを模擬的に再現することができる。学習者は、模擬的に再現された作業者の視界と触感とから、作業者の触感を体感することができる。これにより、学習者が作業を効果的に習得することができる。

【0034】

〔実施形態２〕
図３～図４を参照して、実施形態２について説明する。

【0035】

（学習支援装置１０の構成）
図３を参照して、本実施形態２に係る学習支援装置１０の構成を説明する。図３は、学習支援装置１０の構成を示すブロック図である。

【0036】

図３に示すように、学習支援装置１０は、観測部１１、取得部１２、および生成部１３を備えている。

【0037】

観測部１１は、作業者の触感を観測する。観測部１１は、観測手段の一例である。

【0038】

例えば、観測部１１は、前記実施形態１に係る学習支援システム１のセンサ１００（図１または図２）から、作業者の触感を観測することによって得られたセンサデータを取得する。観測部１１は、受信したセンサデータを、生成部１３へ出力する。

【0039】

取得部１２は、作業者の視界を撮影して得られた画像を取得する。取得部１２は、取得手段の一例である。

【0040】

例えば、取得部１２は、前記実施形態１に係る学習支援システム１の視界撮影装置２００（図１または図２）から、作業者の視界を撮影することによって得られた画像データを取得する。

【0041】

取得部１２は、作業者が操縦（運転および操作）する機械から、作業者の触感を示す情報を取得してもよい。あるいは、取得部１２は、作業者に装着された触覚センサから、作業者の触感を示す情報を取得してもよい。

【0042】

取得部１２は、受信した画像データを、生成部１３へ出力する。

【0043】

生成部１３は、作業者の視界、および作業者の触感を、模擬的に再現するための情報を生成する。生成部１３は、生成手段の一例である。

【0044】

例えば、生成部１３は、観測部１１から、作業者の触感を観測することによって得られたセンサデータを受信する。また、生成部１３は、取得部１２から、作業者の視界を撮影することによって得られた画像データを受信する。

【0045】

生成部１３は、作業者の触感を観測することによって得られたセンサデータを用いて、作業者の触感を模擬的に再現するための情報を生成する。作業者の触感を模擬的に再現するための情報とは、作業者が触覚により知覚した振動、抵抗、および反発力などの力を、機械的または電気的に再現するための情報である。

【0046】

例えば、作業者の触感を模擬的に再現するための情報は、作業者の手あるいは身体に対して加えられた振動を表す時系列データである。

【0047】

また、生成部１３は、作業者の視界を撮影することによって得られた画像データを用いて、作業者の視界を模擬的に再現するための情報を生成する。例えば、作業者の視界を模擬的に再現するための情報は、作業者の視界と対応する３Ｄ画像データである。

【0048】

生成部１３は、推定された作業者の操作と、予め登録された模範的な作業者の操作とを比較して、両者の操作が相違する場合、警報を出力してもよい。あるいは、生成部１３は、作業者の熟練度を示す情報を取得する。そして、推定された作業者の操作のパターンと、予め登録された模範的な作業者の操作のパターンとの類似度が、作業者の熟練度に応じた閾値を下回る場合、警報を出力してもよい。

【0049】

生成部１３は、作業者の触感を模擬的に再現するための情報、および、作業者の視界を模擬的に再現するための情報を、図示しない記憶装置に保存する。あるいは、後述する実施形態３または実施形態４で説明するように、生成部１３は、作業者の触感を模擬的に再現するための情報、および、作業者の視界を模擬的に再現するための情報を、シミュレータ４００（図５または図８）へ送信してもよい。

【0050】

（学習支援装置１０の動作）
図４を参照して、本実施形態２に係る学習支援装置１０の動作について説明する。図４は、学習支援装置１０の動作を示すフローチャートである。

【0051】

図４に示すように、観測部１１は、作業者の触感を観測する（Ｓ１０１）。例えば、観測部１１は、センサ１００（図１または図２）から、作業者の触感を観測することによって得られたセンサデータを受信する。観測部１１は、受信したセンサデータを、生成部１３へ出力する。

【0052】

取得部１２は、作業者の視界を撮影して得られた画像を取得する（Ｓ１０２）。取得部１２は、取得した画像データを、生成部１３へ出力する。

【0053】

生成部１３は、観測部１１から、作業者の触感を観測することによって得られたセンサデータを受信する。また、生成部１３は、取得部１２から、作業者の視界を撮影することによって得られた画像データを受信する。

【0054】

そして、生成部１３は、作業者の視界、および作業者の触感を、模擬的に再現するための情報を生成する（Ｓ１０３）。

【0055】

以上で、本実施形態２に係る学習支援装置１０の動作は終了する。

【0056】

（本実施形態の効果）
本実施形態の構成によれば、観測部１１は、作業者の触感を観測する。取得部１２は、作業者の視界を撮影して得られた画像を取得する。生成部１３は、作業者の視界、および作業者の触感を、模擬的に再現するための情報を生成する。

【0057】

このようにして、作業者から収集されたデータを用いて、作業者の視界と触感とを模擬的に再現することができる。学習者は、模擬的に再現された作業者の視界と触感とから、作業者の触感を体感することができる。これにより、学習者が作業を効果的に習得することができる。

【0058】

〔実施形態３〕
図５～図８を参照して、実施形態３について説明する。本実施形態３では、前記実施形態１～２において説明した学習支援装置１０（２０，３０）を、学習者が機械の操作を習得するために利用する構成を説明する。

【0059】

本実施形態３では、前記実施形態１～２と共通する構成要素に対して、前記実施形態１～２と同じ符号を付して、それらの構成要素に関して、前記実施形態１～２における説明を引用して、その説明を省略する。

【0060】

（学習支援システム２）
図５を参照して、本実施形態３に係る学習支援システム２の構成を説明する。図５は、学習支援システム２の構成を概略的に示す図である。

【0061】

図６に示すように、学習支援システム２は、機械の操縦者（作業者の一例）の触感を観測するためのセンサ１００と、操縦者の視界を撮影する視界撮影装置２００と、学習支援装置１０（２０，３０）と、を備えている。ここで、「学習支援装置１０（２０，３０）」は、実施形態２～４に係る学習支援装置１０，２０，３０のいずれかを表す。

【0062】

学習支援システム２は、シミュレータ４００をさらに備えている。シミュレータ４００は、学習支援装置１０（２０，３０）によって予め登録された熟練の操縦者による機械の操作を、模擬的に再現する。シミュレータ４００は、操縦者による機械の操作を、学習者が習得するために使用される。

【0063】

図５に示すように、シミュレータ４００は、視界再現装置４１０および触感再現装置４２０を備えている。

【0064】

視界再現装置４１０は、学習支援装置１０（２０，３０）から、操縦者の視界を模擬的に再現するための情報を受信する。例えば、操縦者の視界を模擬的に再現するための情報は、機械の操縦者の視界と対応する３Ｄ画像データである。

【0065】

視界再現装置４１０は、機械の操縦者の視界と対応する３Ｄ画像データを用いて、操縦者の視界を模擬的に再現する。例えば、視界再現装置４１０は、学習者が装着するヘッドマウントディスプレイの画面上に、機械の操縦者の視界と対応する３Ｄ画像データを表示する。

【0066】

触感再現装置４２０は、学習支援装置１０（２０，３０）から、操縦者の視界を模擬的に再現するための情報を受信する。操縦者の視界を模擬的に再現するための情報とは、作業者が触覚により知覚した振動、抵抗、および反発力などの力を、機械的または電気的に再現するための情報である。

【0067】

触感再現装置４２０は、操縦者の視界を模擬的に再現するための情報を用いて、操縦者の触感を模擬的に再現する。例えば、触感再現装置４２０は、学習者が接触しているバイブレータに、操縦者の触感に対応する振動を発生させる。

【0068】

（変形例）
図６を参照して、本実施形態３に係る学習支援システム２の一変形例を説明する。図６は、学習支援システム２の一変形例である学習支援システム２Ａの構成を概略的に示す図である。

【0069】

図６に示すように、学習支援システム２Ａは、操縦者の触感を観測するためのセンサ１００と、操縦者の視界を撮影する視界撮影装置２００と、学習支援装置２０とを備えている。学習支援システム２Ａは、操縦者の動きを撮影する動き撮影装置３００をさらに備えている。

【0070】

動き撮影装置３００は、操縦者の身体または骨格の動きを撮影可能であれば、どこに設置されてもよい。例えば、動き撮影装置３００は、操縦者の頭上に設置される。例えば、動き撮影装置３００は、３６０度カメラまたは監視カメラである。

【0071】

動き撮影装置３００は、操縦者の動きを撮影することによって得られた画像データを、学習支援装置２０へ送信する。

【0072】

学習支援装置２０は、動き撮影装置３００から、操縦者の動きを撮影して得られた画像データを取得する。

【0073】

学習支援装置２０は、動き撮影装置３００が撮影した画像データを分析することにより、操縦者の操作を推定する。そして、学習支援装置２０は、推定された操縦者の操作を模擬的に再現するための情報を、シミュレータ４００へ送信する。

【0074】

図５に示すように、シミュレータ４００は、視界再現装置４１０および触感再現装置４２０を備えている。シミュレータ４００は、操作再現装置４３０をさらに備えている。

【0075】

操作再現装置４３０は、学習支援装置２０が生成した、操縦者の操作を模擬的に再現するための情報を用いて、操縦者の操作を模擬的に再現する。例えば、操作再現装置４３０は、操縦者が機械に対して行った、レバー操作、ハンドル操作、ペダル操作、ボタンの押下などの操作に基づく動作を、別の機械（バーチャルマシンを含む）に実行させる。あるいは、操作再現装置４３０は、操縦者が機械に対して行った操作の内容を、学習者が装着するスマートグラスやヘッドマウントディスプレイの画面上に表示してもよい。

【0076】

学習支援装置２０の構成および動作について、以下で詳細に説明する。

【0077】

（学習支援装置２０の構成）
図７を参照して、本実施形態３に係る学習支援装置２０の構成を説明する。図７は、学習支援装置２０の構成を示すブロック図である。

【0078】

図７に示すように、学習支援装置２０は、観測部１１、取得部１２、および生成部１３を備えている。学習支援装置２０は、推定部２４をさらに備えている。

【0079】

取得部１２は、機械の操縦者の視界を撮影して得られた画像を取得する。また、取得部１２は、操縦者の動きを撮影して得られた映像（動画）をさらに取得する。取得部１２は、操縦者の動きを撮影して得られた映像を、推定部２４へ出力する。

【0080】

推定部２４は、取得部１２から、操縦者の動きを撮影して得られた映像を受信する。推定部２４は、操縦者の動きを撮影して得られた映像を分析することにより、操縦者の操作を推定する。推定部２４は、推定手段の一例である。

【0081】

例えば、推定部２４は、操縦者の動きに基づいて、操縦者がレバー操作、ハンドル操作、ペダル操作、ボタンの押下、あるいはその他の操作を行ったことを推定する。推定部２４は、推定された操縦者の操作を示す情報を、生成部１３へ出力する。

【0082】

生成部１３は、推定部２４から、推定された操縦者の操作を示す情報を受信する。生成部１３は、推定された操縦者の操作を示す情報に基づいて、操縦者の操作を模擬的に再現するための情報をさらに生成する。操縦者の操作を模擬的に再現するための情報は、例えば、学習者が装着したパワードスーツのアクチュエータを駆動するための電気信号である。

【0083】

生成部１３は、操作者の操作を模擬的に再現するための情報を、図示しない記憶装置に保存する。また、生成部１３は、作業者の操作を模擬的に再現するための情報を、学習支援システム２Ａのシミュレータ４００（図６）へ送信する。シミュレータ４００は、視界再現装置４１０および触感再現装置４２０と、学習者が装着したパワードスーツとを連動させる。これにより、操縦者の視界および触感と同時に、操縦者の操作が模擬的に再現される。

【0084】

（学習支援装置２０の動作）
図８を参照して、本実施形態３に係る学習支援装置２０の動作について説明する。図８は、学習支援装置２０の動作を示すフローチャートである。

【0085】

図８に示すように、観測部１１は、作業者の触感を観測する（Ｓ２０１）。例えば、観測部１１は、センサ１００（図６）から、作業者の触感を観測することによって得られたセンサデータを受信する。観測部１１は、受信したセンサデータを、生成部１３へ出力する。

【0086】

取得部１２は、作業者の視界を撮影して得られた画像を取得する（Ｓ２０２）。取得部１２は、取得した画像データを、生成部１３へ出力する。

【0087】

また、取得部１２は、操縦者の動きを撮影して得られた映像（動画）をさらに取得する（Ｓ２０３）。取得部１２は、操縦者の動きを撮影して得られた映像を、推定部２４へ出力する。

【0088】

推定部２４は、取得部１２から、操縦者の動きを撮影して得られた映像を受信する。推定部２４は、操縦者の動きを撮影して得られた映像を分析することにより、操縦者の操作を推定する（Ｓ２０４）。

【0089】

推定部２４は、推定された操縦者の操作を示す情報を、生成部１３へ出力する。

【0090】

生成部１３は、観測部１１から作業者の触感を観測することによって得られたセンサデータを受信する。また、生成部１３は、取得部１２から、作業者の視界を撮影することによって得られた画像データを受信する。

【0091】

そして、生成部１３は、作業者の視界、および作業者の触感を、模擬的に再現するための情報を生成する（Ｓ２０５）。

【0092】

また、生成部１３は、推定部２４から、推定された操縦者の操作を示す情報を受信する。生成部１３は、推定された操縦者の操作を示す情報に基づいて、操縦者の操作を模擬的に再現するための情報をさらに生成する（Ｓ２０６）。

【0093】

以上で、本実施形態３に係る学習支援装置２０の動作は終了する。

【0094】

（本実施形態の効果）
本実施形態の構成によれば、観測部１１は、機械の操縦者の触感を観測する。取得部１２は、操縦者の視界を撮影して得られた画像を取得する。生成部１３は、操縦者の視界、および操縦者の触感を、模擬的に再現するための情報を生成する。

【0095】

このようにして、操縦者から収集されたデータを用いて、操縦者の視界と触感とが、模擬的に再現される。学習者は、模擬的に再現された操縦者の視界と触感とから、操縦者の触感を体感することができる。これにより、学習者が機械の操作を効果的に習得することができる。

【0096】

さらに、本実施形態の構成によれば、取得部１２は、操縦者の動きを撮影して得られた映像をさらに取得する。推定部２４は、操縦者の動きを撮影して得られた映像を分析することにより、操縦者の操作を推定する。生成部１３は、操縦者の操作を模擬的に再現するための情報をさらに生成する。

【0097】

学習者は、模擬的に再現された操縦者の視界と触感と同時に、模擬的に再現された操縦者の操作を体感することにより、機械の操作をより効果的に習得することができる。

【0098】

〔実施形態４〕
図９～図１１を参照して、実施形態４について説明する。本実施形態４では、前記実施形態１～２において説明した学習支援装置１０（２０，３０）を、機械の操作を学習するために利用する構成を説明する。

【0099】

本実施形態４では、前記実施形態１～３と共通する構成要素に対して、前記実施形態１～３と同じ符号を付して、それらの構成要素に関して、前記実施形態１～３における説明を引用して、その説明を省略する。

【0100】

（学習支援システム２）
図９を参照して、本実施形態４に係る学習支援システム３の構成を説明する。図９は、学習支援システム３の構成を概略的に示す図である。

【0101】

図９に示すように、学習支援システム３は、機械の操縦者（作業者の一例）の触感を観測するためのセンサ１００と、操縦者の視界を撮影する視界撮影装置２００と、シミュレータ４００と、ＥＣＵ５００と、学習支援装置３０と、を備えている。

【0102】

ＥＣＵ５００は、機械のエンジンの運転制御などを総合的に制御するマイクロコントローラである。ＥＣＵ５００は、機械の動作（例えば、エンジンの回転数、機械の速度、スロットル開度）を示すＥＣＵデータを、学習支援装置３０へ送信する。

【0103】

学習支援装置３０は、ＥＣＵ５００から、ＥＣＵデータを受信する。学習支援装置３０は、受信したＥＣＵデータを用いて、機械の動作を模擬的に再現するための情報をさらに生成する。機械の動作を模擬的に再現するための情報は、例えば、機械のエンジンの回転数、機械の速度、ハンドルの角度、およびスロットル開度など、機械の動作に関する指標のデータの集合である。

【0104】

学習支援装置３０は、機械の動作を模擬的に再現するための情報を、シミュレータ４００へ送信する。

【0105】

シミュレータ４００は、学習支援装置３０によって予め登録された熟練の操縦者による機械の操作を、模擬的に再現する。シミュレータ４００は、操縦者による機械の操作を、学習者が習得するために使用される。

【0106】

図９に示すように、シミュレータ４００は、視界再現装置４１０および触感再現装置４２０を備えている。シミュレータ４００は、動作再現装置４４０をさらに備えている。

【0107】

動作再現装置４４０は、学習支援装置３０が生成した、機械の動作を模擬的に再現するための情報を用いて、機械の動作を模擬的に再現する。例えば、動作再現装置４４０は、機械の動作と同じ動作を、別の機械（バーチャルマシンを含む）に実行させる。

【0108】

学習支援装置３０の構成および動作について、以下で詳細に説明する。

【0109】

（学習支援装置３０の構成）
図１０を参照して、本実施形態４に係る学習支援装置３０の構成を説明する。図１０は、学習支援装置３０の構成を示すブロック図である。

【0110】

図１０に示すように、学習支援装置３０は、観測部１１、取得部１２、および生成部１３を備えている。学習支援装置３０は、検出部３４をさらに備えている。

【0111】

検出部３４は、ＥＣＵ５００（図１０）から、ＥＣＵデータを受信する。検出部３４は、ＥＣＵデータを解析することにより、操縦者が操作する機械の動作（例えば、機械のエンジンの回転数、機械の速度、ハンドルの角度、およびスロットル開度）を検出する。検出部３４は、検出した機械の動作を示す情報を、生成部１３へ出力する。

【0112】

生成部１３は、検出部３４から、機械の動作を示す情報を受信する。生成部１３は、操縦者の視界および操縦者の感覚に加えて、機械の動作を模擬的に再現するための情報をさらに生成する。

【0113】

生成部１３は、機械の動作を模擬的に再現するための情報を、シミュレータ４００へ送信する。

【0114】

（学習支援装置３０の動作）
図１１を参照して、本実施形態４に係る学習支援装置３０の動作について説明する。図１０は、学習支援装置３０の動作を示すフローチャートである。

【0115】

図１１に示すように、観測部１１は、作業者の触感を観測する（Ｓ３０１）。例えば、観測部１１は、センサ１００（図１０）から、作業者の触感を観測することによって得られたセンサデータを受信する。観測部１１は、受信したセンサデータを、生成部１３へ出力する。

【0116】

取得部１２は、作業者の視界を撮影して得られた画像を取得する（Ｓ３０２）。例えば、取得部１２は、視界撮影装置２００（図１０）から、作業者の視界を撮影することによって得られた画像データを取得する。取得部１２は、受信した画像データを、生成部１３へ出力する。

【0117】

検出部３４は、操縦者が操作する機械の動作を検出する（Ｓ３０３）。検出部３４は、検出した機械の動作を示す情報を、生成部１３へ出力する。

【0118】

生成部１３は、観測部１１から作業者の触感を観測することによって得られたセンサデータを受信する。また、生成部１３は、取得部１２から、作業者の視界を撮影することによって得られた画像データを受信する。加えて、生成部１３は、検出部３４から、機械の動作を示す情報を受信する。

【0119】

そして、生成部１３は、作業者の視界、および作業者の触感に加えて、機械の動作をさらに模擬的に再現するための情報を生成する（Ｓ３０４）。

【0120】

以上で、本実施形態４に係る学習支援装置３０の動作は終了する。

【0121】

（本実施形態の効果）
本実施形態の構成によれば、観測部１１は、機械の操縦者の触感を観測する。取得部１２は、操縦者の視界を撮影して得られた画像を取得する。生成部１３は、操縦者の視界、および操縦者の触感を、模擬的に再現するための情報を生成する。

【0122】

このようにして、操縦者から収集されたデータを用いて、操縦者の視界と触感とが、模擬的に再現される。学習者は、模擬的に再現された操縦者の視界と触感とから、操縦者の触感を体感することができる。これにより、学習者が機械の操作を効果的に習得することができる。

【0123】

さらに、本実施形態の構成によれば、検出部３４は、操縦者が運転および操作する機械の動作を検出する。生成部１３は、操縦者の視界および操縦者の感覚に加えて、機械の動作を模擬的に再現するための情報をさらに生成する。

【0124】

学習者は、模擬的に再現された操縦者の視界と触感とから、操縦者の触感を体感することができる。さらに、学習者は、操縦者の視界、および操縦者の触感に加えて、機械の動作を体験することができる。これにより、学習者が機械の操作をより効果的に習得することができる。

【0125】

（ハードウェア構成）
前記実施形態１～４で説明した学習支援装置１０，２０，３０の各構成要素は、機能単位のブロックを示している。これらの構成要素の一部又は全部は、例えば図１２に示すような情報処理装置により実現される。図１２は、情報処理装置のハードウェア構成の一例を示すブロック図である。

【0126】

図１２に示すように、コンピュータ１１０は、ＣＰＵ（Central Processing Unit）１１１と、メインメモリ１１２と、記憶装置１１３と、入力インターフェイス１１４と、表示コントローラ１１５と、データリーダ／ライタ１１６と、通信インターフェイス１１７とを備える。これらの各部は、バス１２１を介して、互いにデータ通信可能に接続される。なお、コンピュータ１１０は、ＣＰＵ１１１に加えて、又はＣＰＵ１１１に代えて、ＧＰＵ（Graphics Processing Unit）、又はＦＰＧＡ（Field-Programmable Gate Array）を備えていてもよい。

【0127】

ＣＰＵ１１１は、記憶装置１１３に格納された、本実施形態におけるプログラム（コード）をメインメモリ１１２に展開し、これらを所定順序で実行することにより、各種の演算を実施する。メインメモリ１１２は、典型的には、ＤＲＡＭ（Dynamic Random Access Memory）などの揮発性の記憶装置である。また、本実施形態におけるプログラムは、コンピュータ読み取り可能な記録媒体１２０に格納された状態で提供される。なお、本実施形態におけるプログラムは、通信インターフェイス１１７を介して接続されたインターネット上で流通するものであってもよい。

【0128】

また、記憶装置１１３の具体例としては、ハードディスクドライブの他、フラッシュメモリなどの半導体記憶装置があげられる。入力インターフェイス１１４は、ＣＰＵ１１１と、キーボード及びマウスといった入力機器１１８との間のデータ伝送を仲介する。表示コントローラ１１５は、ディスプレイ装置１１９と接続され、ディスプレイ装置１１９での表示を制御する。

【0129】

データリーダ／ライタ１１６は、ＣＰＵ１１１と記録媒体１２０との間のデータ伝送を仲介し、記録媒体１２０からのプログラムの読み出し、及びコンピュータ１１０における処理結果の記録媒体１２０への書き込みを実行する。通信インターフェイス１１７は、ＣＰＵ１１１と、他のコンピュータとの間のデータ伝送を仲介する。

【0130】

また、記録媒体１２０の具体例としては、ＣＦ（Compact Flash（登録商標））及びＳＤ（Secure Digital）などの汎用的な半導体記憶デバイス、フレキシブルディスク（Flexible Disk）などの磁気記録媒体、又はＣＤ－ＲＯＭ（Compact Disk Read Only Memory）などの光学記録媒体があげられる。

【0131】

〔付記〕
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。

【0132】

（付記１）
作業者の触感を観測する観測手段と、
前記作業者の視界を撮影して得られた画像を取得する取得手段と、
前記作業者の視界、および前記作業者の触感を、模擬的に再現するための情報を生成する生成手段と
を備えた学習支援装置。

【0133】

（付記２）
前記取得手段は、前記作業者が操縦する機械から、前記作業者の触感を示す情報を取得する
ことを特徴とする付記１に記載の学習支援装置。

【0134】

（付記３）
前記取得手段は、前記作業者に装着された触覚センサから、前記作業者の触感を示す情報を取得する
ことを特徴とする付記１に記載の学習支援装置。

【0135】

（付記４）
前記生成手段は、推定された前記作業者の操作と、予め登録された模範的な作業者の操作とを比較して、両者の操作が相違する場合、警報を出力する
ことを特徴とする付記１に記載の学習支援装置。

【0136】

（付記５）
前記生成手段は、
前記作業者の熟練度を示す情報を取得し、
前記両者の操作のパターンの類似度が、前記作業者の熟練度に応じた閾値を下回る場合、前記警報を出力する
ことを特徴とする付記４に記載の学習支援装置。

【0137】

（付記６）
前記取得手段は、前記作業者の動きを撮影して得られた映像をさらに取得し、
前記作業者の動きを撮影して得られた映像を分析することにより、前記作業者の操作を推定する推定手段をさらに備え、
前記生成手段は、推定された前記作業者の操作を模擬的に再現するための情報をさらに生成する
ことを特徴とする付記１から５のいずれか１項に記載の学習支援装置。

【0138】

（付記７）
前記作業者が操縦する機械の動作を検出する検出手段をさらに備え、
前記生成手段は、前記作業者の視界および前記作業者の感覚に加えて、前記機械の動作を模擬的に再現するための情報をさらに生成する
ことを特徴とする付記１から５のいずれか１項に記載の学習支援装置。

【0139】

（付記８）
作業者の触感を観測するためのセンサと、
前記作業者の視界を撮影する視界撮影装置と、
学習支援装置と、を備え、
前記学習支援装置は、
前記センサを用いて、前記作業者の触感を観測し、
前記視界撮影装置から、前記作業者の視界を撮影して得られた画像を取得し、
前記作業者の視界、および前記作業者の触感を、模擬的に再現するための情報を生成する
学習支援システム。

【0140】

（付記９）
コンピュータが、
作業者の触感を観測し、
前記作業者の視界を撮影して得られた画像を取得し、
前記作業者の視界、および前記作業者の触感を、模擬的に再現するための情報を生成する
学習支援方法。

【0141】

（付記１０）
作業者の触感を観測することと、
前記作業者の視界を撮影して得られた画像を取得することと、
前記作業者の視界、および前記作業者の触感を、模擬的に再現するための情報を生成することと
をコンピュータに実行させるためのプログラム。

【0142】

（付記１１）
前記作業者の動きを撮影する動き撮影装置をさらに備え、
前記学習支援装置は、
前記動き撮影装置が撮影した画像を分析することにより、前記作業者の操作を推定し、
推定された前記作業者の操作を示す情報を出力する
ことを特徴とする付記８に記載の学習支援システム。

【0143】

（付記１２）
前記学習支援装置が生成した、前記作業者の視界を模擬的に再現するための情報を用いて、前記作業者の視界を模擬的に再現する視界再現装置と、
前記学習支援装置が生成した、前記作業者の触感を模擬的に再現するための情報を用いて、前記作業者の触感を模擬的に再現する触感再現装置とをさらに備えた
ことを特徴とする付記８に記載の学習支援システム。

【0144】

（付記１３）
前記学習支援装置は、前記作業者の視界および前記作業者の感覚に加えて、前記作業者の操作を模擬的に再現するための情報をさらに生成し、
前記学習支援装置が生成した、前記作業者の操作を模擬的に再現するための情報を用いて、前記作業者の操作を模擬的に再現する操作再現装置をさらに備えた
ことを特徴とする付記１２に記載の学習支援システム。

【0145】

（付記１４）
前記学習支援装置は、前記作業者の視界および前記作業者の感覚に加えて、前記機械の動作を模擬的に再現するための情報をさらに生成し、
前記学習支援装置が生成した、前記機械の動作を模擬的に再現するための情報を用いて、前記機械の動作を模擬的に再現する動作再現装置をさらに備えた
ことを特徴とする付記１２に記載の学習支援システム。

【0146】

以上、実施形態（及び実施例）を参照して本願発明を説明したが、本願発明は上記実施形態（及び実施例）に限定されるものではない。上記実施形態（及び実施例）の構成や詳細には、本願発明のスコープ内で、当業者が理解し得る様々な変更をすることができる。

【産業上の利用可能性】

【0147】

本発明は、例えば、学習者が作業者の作業法を学習するために利用することができる。

【符号の説明】

【0148】

１ 学習支援システム
１Ａ 学習支援システム
２ 学習支援システム
２Ａ 学習支援システム
３ 学習支援システム
１０ 学習支援装置
１１ 観測部
１２ 取得部
１３ 生成部
２０ 学習支援装置
２４ 推定部
３０ 学習支援装置
３４ 検出部
１００ センサ
２００ 視界撮影装置
３００ 動き撮影装置
４００ シミュレータ
４１０ 視界再現装置
４２０ 触感再現装置
４３０ 操作再現装置
４４０ 動作再現装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】