特許 6646511 技能伝承システム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6646511

(24)【登録日】2020年1月15日

(45)【発行日】2020年2月14日

(54)【発明の名称】技能伝承システム及び方法

(51)【国際特許分類】

   G06Q 10/06 20120101AFI20200203BHJP

   G06Q 50/08 20120101ALI20200203BHJP

   G09B 5/02 20060101ALI20200203BHJP

【ＦＩ】

   G06Q10/06

   G06Q50/08

   G09B5/02

【請求項の数】9

【全頁数】22

(21)【出願番号】特願2016-81072(P2016-81072)

(22)【出願日】2016年4月14日

(65)【公開番号】特開2017-191490(P2017-191490A)

(43)【公開日】2017年10月19日

【審査請求日】2019年1月17日

(73)【特許権者】

【識別番号】302060926

【氏名又は名称】株式会社フジタ

(74)【代理人】

【識別番号】110002066

【氏名又は名称】特許業務法人筒井国際特許事務所

(72)【発明者】

【氏名】山本 新吾

【審査官】 阿部 潤

(56)【参考文献】

【文献】 特開２０１３−２００４４０（ＪＰ，Ａ）

【文献】 特開２０１５−０６１３３９（ＪＰ，Ａ）

【文献】 特開２０１４−１９２８６１（ＪＰ，Ａ）

【文献】 特開２０１２−００７９８５（ＪＰ，Ａ）

【文献】 特開２０１６−００１４６７（ＪＰ，Ａ）

【文献】 特開２００５−１０６６５１（ＪＰ，Ａ）

【文献】 特開２０００−２５０６７７（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｑ １０／００ − ９９／００

Ｇ０９Ｂ ５／０２

(57)【特許請求の範囲】

【請求項1】

ユーザ間での技能の伝承を支援する技能伝承システムであって、
第１ユーザが装着する第１ウェアラブル端末と、
第２ユーザが装着する第２ウェアラブル端末と、
前記第１ウェアラブル端末及び前記第２ウェアラブル端末に接続されるサーバ装置と、
を備え、
前記第１ウェアラブル端末は、
前記第１ユーザの視界の第１画像を撮影して第１画像データとして前記サーバ装置へ送信し、
前記第１画像内の視線を追跡して第１視線データとして前記サーバ装置へ送信し、
前記サーバ装置は、
機械学習の教師データを入力し、
前記第１画像データ及び前記第１視線データをＤＢに蓄積し、前記ＤＢのデータ、及び前記教師データに基づいて、前記機械学習を行って、前記第１画像から特徴情報を抽出して特徴データとして前記ＤＢに登録し、
前記教師データとして、前記第１画像内での前記第１ユーザの注目箇所の情報を入力して注目箇所データとして前記ＤＢの前記特徴データに関連付けるように登録し、
前記第２ウェアラブル端末から前記第２ユーザの視界の第２画像を撮影した第２画像データを受信し、前記第２画像と前記特徴データとをマッチングして該当する前記特徴データに関連付けられている前記注目箇所データを読み出し、
前記注目箇所データを用いた支援表示データを作成して前記第２ウェアラブル端末へ送信し、
前記第２ウェアラブル端末は、
前記第２ユーザの視界の前記第２画像を撮影して前記第２画像データとして前記サーバ装置へ送信し、
前記サーバ装置から前記支援表示データを受信して、前記注目箇所の情報を前記第２ユーザの視界に重ね合わせるように表示を行う、
技能伝承システム。

【請求項2】

請求項１記載の技能伝承システムにおいて、
前記支援表示データは、画像フレーム内において前記注目箇所の位置を表す情報と、前記注目箇所のタイプを表す情報と、を含む、
技能伝承システム。

【請求項3】

請求項１記載の技能伝承システムにおいて、
管理端末を有し、
前記管理端末は、前記第１画像を表示し、前記第１ユーザまたは管理者の操作に基づいて、前記注目箇所の情報を入力して、前記サーバ装置へ送信し、
前記サーバ装置は、前記管理端末からの前記注目箇所の情報に基づいて、前記注目箇所データを登録する、
技能伝承システム。

【請求項4】

請求項１記載の技能伝承システムにおいて、
前記第１ウェアラブル端末は、前記第１ユーザの操作に基づいて、前記注目箇所の情報を入力して、前記サーバ装置へ送信し、
前記サーバ装置は、前記第１ウェアラブル端末からの前記注目箇所の情報に基づいて、前記注目箇所データを登録する、
技能伝承システム。

【請求項5】

請求項１記載の技能伝承システムにおいて、
前記第１ウェアラブル端末または前記サーバ装置は、前記第１視線データを用いて前記第１画像内での視点の位置を判断して前記注目箇所を判定し、前記注目箇所の情報とする、
技能伝承システム。

【請求項6】

請求項１記載の技能伝承システムにおいて、
前記第２ウェアラブル端末は、前記第２画像内の視線を追跡して第２視線データとして取得し、
前記第２ウェアラブル端末または前記サーバ装置は、前記第２視線データを用いて前記第２画像内での視点の位置を判断し、
前記サーバ装置は、前記第２画像内での視点の位置を利用して、前記マッチングを行う、
技能伝承システム。

【請求項7】

請求項１記載の技能伝承システムにおいて、
前記サーバ装置は、前記第２ウェアラブル端末で前記第２ユーザが前記注目箇所を確認したかどうかを表す実績情報を記録し、前記実績情報を出力する、
技能伝承システム。

【請求項8】

請求項１記載の技能伝承システムにおいて、
前記第２ウェアラブル端末は、前記第２画像内の視線を追跡して第２視線データとして取得し、
前記第２ウェアラブル端末または前記サーバ装置は、前記第２視線データを用いて前記第２画像内での注目箇所を判定し、
前記サーバ装置は、前記第１ユーザの前記注目箇所と前記第２ユーザの前記注目箇所とにおける両者の差異の情報を前記ＤＢに登録し、前記差異の情報を出力する、
技能伝承システム。

【請求項9】

ユーザ間での技能の伝承を支援するための技能伝承方法であって、
第１ユーザが装着する第１ウェアラブル端末と、第２ユーザが装着する第２ウェアラブル端末と、前記第１ウェアラブル端末及び前記第２ウェアラブル端末に接続されるサーバ装置と、を備えるシステムにおいて実行されるステップとして、
前記サーバ装置が、機械学習の教師データを入力するステップと、
前記第１ウェアラブル端末が、前記第１ユーザの視界の第１画像を撮影して第１画像データとして前記サーバ装置へ送信し、前記第１画像内の視線を追跡して第１視線データとして前記サーバ装置へ送信するステップと、
前記サーバ装置が、前記第１画像データ及び前記第１視線データをＤＢに蓄積し、前記ＤＢのデータ、及び前記教師データに基づいて、前記機械学習を行って、前記第１画像から特徴情報を抽出して特徴データとして前記ＤＢに登録するステップと、
前記サーバ装置が、前記教師データとして、前記第１画像内での前記第１ユーザの注目箇所の情報を入力して注目箇所データとして前記ＤＢの前記特徴データに関連付けるように登録するステップと、
前記第２ウェアラブル端末が、前記第２ユーザの視界の前記第２画像を撮影して前記第２画像データとして前記サーバ装置へ送信するステップと、
前記サーバ装置が、前記第２ウェアラブル端末から前記第２画像データを受信し、前記第２画像と前記特徴データとをマッチングして該当する前記特徴データに関連付けられている前記注目箇所データを読み出し、前記注目箇所データを用いた支援表示データを作成して前記第２ウェアラブル端末へ送信するステップと、
前記第２ウェアラブル端末が、前記サーバ装置から前記支援表示データを受信して、前記注目箇所の情報を前記第２ユーザの視界に重ね合わせるように表示を行うステップと、
を有する、技能伝承方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理技術に関し、ウェアラブル端末を用いた表示制御等の技術に関する。

【背景技術】

【0002】

近年、眼鏡型やヘッドマウントディスプレイ（ＨＭＤ）型等のウェアラブル端末を用いてユーザの視界に画像や情報を重ね合わせて表示するシステムの開発及び実用化が進んでいる。このような技術は、拡張現実（Augmented Reality）とも呼ばれる。このようなウェアラブル端末を用いたシステムを、例えば工事や建設等の現場に適用して、作業者の作業等の支援に利用する技術が検討されている。

【0003】

このような技術に関する先行技術例としては、特開２０１５−６１３３９号公報（特許文献１）が挙げられる。特許文献１には、結線作業支援システムとして、以下の旨が記載されている。そのシステムは、作業者の視線を追跡する視線追跡装置、作業者の視線方向の配線等を撮影する撮影装置、画像処理部、作業管理装置、等を有し、作業者が目視した映像に、作業者の目視範囲を示すマーク、等を重畳して表示する。このマークは、画像中で視線がある箇所を示す枠である。画像処理部は、マーク内の対象物に対する画像処理を行って文字等を判読し、データ保存管理部の対象物の情報と照合して、照合結果を作業者に案内する。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１５−６１３３９号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１のような技術は、ウェアラブル端末を用いて、あるユーザの視界の視線や画像を取得して、画像処理を行い、作業を支援するための情報を読み出して、そのユーザの視界の中に表示させる。例えば特許文献１の場合、作業支援情報として、作業者が結線作業で対象の配線を誤認識しないように、対象配線情報や前回作業情報が表示される。

【0006】

しかし、従来のウェアラブル端末を用いるシステムでは、ユーザ間で視界の情報を連携させること等については、検討が進んでいない。例えば、第１ユーザの視界の視線情報を利用して、第２ユーザの視界に支援情報を表示すること等が考えられる。

【0007】

例えば、工事や建設等の現場では、ベテラン社員や非ベテラン社員等の作業者がおり、各々の人の技能や個性や経験値等は様々である。現場内において、ベテラン社員が品質や危険等の観点で注目して視ている箇所と、非ベテラン社員が視ている箇所とには、違いがあると思われる。ベテラン社員の注目箇所、視線や知見は、その個人の経験や勘等に依る部分もあり、必ずしも言語化やデータ化はされていない。ベテラン社員の注目箇所、視線や知見等をデータや情報にして、非ベテラン社員に伝えることができれば、ベテラン社員の技能等を非ベテラン社員に効率的に教示、伝承することができる。これにより、非ベテラン社員の技能や作業効率等の向上が期待でき、現場の業務の品質向上や危険回避等につながり、ベテラン社員の技能等をより活用できる。

【0008】

なお、特許文献１のような技術では、ベテラン社員から非ベテラン社員へ注目箇所等の情報を連携させることは考慮されていない。また、特許文献１のような技術では、予め作業対象物を含む現場の画像に対し、作業支援情報を設定しておく。これにより、後で作業者の撮影画像に対し作業支援情報を読み出して視界に表示させることができる。しかし、現場毎に作業支援情報を設定しておくことは、手間が大きい。また、多数の現場及び現場状況変化等にも対応がしにくい。

【0009】

本発明の目的は、ウェアラブル端末等を用いる技術に関して、ユーザ間で視線等を連携してユーザ間で技能等を伝承させることができる技術を提供することである。

【課題を解決するための手段】

【0010】

本発明のうち代表的な実施の形態は、技能伝承システム等であって、以下に示す構成を有することを特徴とする。

【0011】

一実施の形態の技能伝承システムは、ユーザ間での技能の伝承を支援する技能伝承システムであって、第１ユーザが装着する第１ウェアラブル端末と、第２ユーザが装着する第２ウェアラブル端末と、前記ウェアラブル端末及び前記第２ウェアラブル端末に接続される第１サーバ装置と、を備え、前記第１ウェアラブル端末は、前記第１ユーザの視界の第１画像を撮影して第１画像データとして前記サーバ装置へ送信し、前記第１画像内の視線を追跡して第１視線データとして前記サーバ装置へ送信し、前記サーバ装置は、機械学習の教師データを入力し、前記第１画像データ及び前記第１視線データをＤＢに蓄積し、前記ＤＢのデータ、及び前記教師データに基づいて、前記機械学習を行って、前記第１画像から特徴情報を抽出して特徴データとして前記ＤＢに登録し、前記教師データとして、前記第１画像内での前記第１ユーザの注目箇所の情報を入力して注目箇所データとして前記ＤＢの前記特徴データに関連付けるように登録し、前記第２ウェアラブル端末から前記第２ユーザの視界の第２画像を撮影した第２画像データを受信し、前記第２画像と前記特徴データとをマッチングして該当する前記特徴データに関連付けられている前記注目箇所データを読み出し、前記注目箇所データを用いた支援表示データを作成して前記第２ウェアラブル端末へ送信し、前記第２ウェアラブル端末は、前記第２ユーザの視界の前記第２画像を撮影して前記第２画像データとして前記サーバ装置へ送信し、前記サーバ装置から前記支援表示データを受信して、前記注目箇所の情報を前記第２ユーザの視界に重ね合わせるように表示を行う。

【発明の効果】

【0012】

本発明のうち代表的な実施の形態によれば、ウェアラブル端末等を用いる技術に関して、ユーザ間で視線等を連携してユーザ間で技能等を伝承させることができる。

【図面の簡単な説明】

【0013】

【図1】本発明の実施の形態の技能伝承システムの構成を示す図である。

【図2】実施の形態の技能伝承システムで、眼鏡端末の構成を示す図である。

【図3】実施の形態の技能伝承システムで、装置基本構成を示す図である。

【図4】実施の形態の技能伝承システムで、主に第１ユーザに係わる部分の機能ブロック構成を示す図である。

【図5】実施の形態の技能伝承システムで、主に第２ユーザに係わる部分の機能ブロック構成を示す図である。

【図6】実施の形態の技能伝承システムで、支援表示データの画像フレームの例を示す図である。

【図7】実施の形態の技能伝承システムで、第１ユーザ及び第２ユーザの現場の画像及び画面の例を示す図である。

【発明を実施するための形態】

【0014】

以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、実施の形態を説明するための全図において同一部には原則として同一符号を付し、その繰り返しの説明は省略する。

【0015】

図１〜図７を用いて、本発明の実施の形態の技能伝承システムについて説明する。実施の形態の技能伝承システムは、ウェアラブル端末を用いて、ユーザ間で視線情報等を連携して、ユーザ間での技能等の伝承を支援するシステムである。実施の形態の技能伝承システムは、第１ユーザの第１ウェアラブル端末から視線や画像のデータをサーバ等で収集して機械学習を行い、その結果に基づいて、第２ユーザの第２ウェアラブル端末に支援表示情報を提供する。

【0016】

［技能伝承システム］
図１は、実施の形態の技能伝承システムの構成を示す。実施の形態の技能伝承システムは、眼鏡端末１、操作機器２、サーバ３、管理端末４を含み、それらの要素が通信網６を介して通信可能に接続されている。眼鏡端末１と操作機器２は例えば有線通信インタフェースで通信ケーブル５を通じて接続されている。操作機器２とサーバ３は、例えば無線通信インタフェースの無線通信網を含む通信網６を介して接続されている。サーバ３と管理端末４は通信網６を介して接続されている。

【0017】

眼鏡端末１は、複数のユーザが使用する複数の眼鏡端末として、眼鏡端末１Ａ、眼鏡端末１Ｂを有する。操作機器２は、複数のユーザが使用する複数の操作機器として、操作機器２Ａ、操作機器２Ｂを有する。

【0018】

複数のユーザとして、第１ユーザＵＡ、第２ユーザＵＢがいる。第１ユーザＵＡは、ベテラン社員であり、眼鏡端末１Ａ及び操作機器２Ａを装着して使用する。第２ユーザＵＢは、非ベテラン社員であり、眼鏡端末１Ｂ及び操作機器２Ｂを装着して使用する。第１ユーザＵＡ及び第２ユーザＵＢは、大まかなユーザの種別も示しており、それぞれ、複数人でもよい。

【0019】

第１ユーザＵＡや第２ユーザＵＢは、例えば、工事や建設等の現場９で業務を行う会社の社員であるが、これに限らなくてもよい。現場９は、複数の現場として、第１現場９Ａ、第２現場９Ｂがある。例えば、第１ユーザＵＡは、第１現場９Ａで作業等を行い、第２ユーザＵＢは、第２現場９Ｂで作業等を行う。

【0020】

第１ユーザＵＡは、自身の頭及び眼７に、眼鏡端末１Ａを装着する。第２ユーザＵＢは、自身の頭及び眼７に、眼鏡端末１Ｂを装着する。第１ユーザＵＡは、眼鏡端末１Ａに接続されている操作機器２Ａを、自身の身体、衣服等に装着する。第２ユーザＵＢは、眼鏡端末１Ｂに接続されている操作機器２Ｂを、自身の身体、衣服等に装着する。

【0021】

眼鏡端末１は、眼鏡型のウェアラブル端末である。眼鏡端末１は、例えば投射表示方式で表示画面部である眼鏡レンズ面に映像、画像を投射表示する機能等を持ち、これによりユーザの視界に投射表示による画像を重ね合わせて表示することができる。

【0022】

操作機器２は、眼鏡端末１の構成要素であり、眼鏡端末１を制御する本体部であり、ユーザによる眼鏡端末１への入力操作を可能とする機器である。操作機器２は、眼鏡端末１に対する表示制御、入力、及び電源等の機能を持つ。ユーザは、操作機器２の入力ボタン等により眼鏡端末１への入力操作が可能である。また、操作機器２は、サーバ３に対する通信機能を持つ。なお、眼鏡端末１と操作機器２との接続は、有線通信インタフェースの接続に限らず、無線通信インタフェースの接続としてもよい。

【0023】

サーバ３は、データベース（ＤＢ）を含むサーバ装置である。サーバ３は、第１ユーザＵＡの眼鏡端末１Ａから視線等の情報を収集してＤＢに蓄積し、その蓄積情報を用いて機械学習を行い、第１ユーザＵＡの注目箇所を含む情報をＤＢに格納する。サーバ３は、第２ユーザＵＢの眼鏡端末１Ｂから情報が入力されると、ＤＢから注目箇所を含む情報を抽出し、支援表示データとして眼鏡端末１Ｂへ送信する。これにより、第２ユーザＵＢの眼鏡端末１Ｂの画面に支援表示情報が表示される。

【0024】

なお、サーバ３とは別にＤＢサーバ等が設けられてもよい。サーバ３の機能は、複数のサーバ等の装置により実現されてもよい。サーバ３の機能は、クラウドコンピューティングにより実現されてもよい。

【0025】

管理端末４は、任意の情報処理装置が適用可能であり、例えばＰＣである。管理端末４は、技能伝承システムの管理者もしくは第１ユーザＵＡにより使用される。管理端末４は、管理者等の操作に基づいて、サーバ３と通信し、機械学習のためのモデルに対する教師データ入力や保守入力を行う。

【0026】

なお、変形例として以下としてもよい。眼鏡端末１としては、ユーザの頭及び眼７に対して装着される型であればよく、ゴーグル型やヘッドマウントディスプレイ（ＨＭＤ）型でもよいし、例えばヘルメット等に一体化した型でもよい。また、眼鏡端末１と他のウェアラブル端末との組合せ、例えば腕時計型端末等との組合せの形態としてもよい。また、眼鏡端末１には、ユーザの視界に重ね合わせるようにして少なくとも所定の支援情報を表示するが、それに限らず、公知技術に基づいて他の画像や情報を表示してもよい。例えば、汎用的な眼鏡端末を用いる場合に、その眼鏡端末に持つ表示機能を用いて、所定の画像や情報を表示してもよい。

【0027】

操作機器２は、眼鏡端末１とは別のスマートフォン等の装置により実現され、それらが連携する形態としてもよい。また、眼鏡端末１の眼鏡フレームに操作機器２が一体化されるように実装されている形態でもよい。

【0028】

［眼鏡端末］
図２は、眼鏡端末１の構成を示す。眼鏡端末１は、表示方式としては、透過、投射表示方式を用いている。即ち、眼鏡端末１を装着したユーザの視界には、外界がそのまま透過されて視えると共に、眼鏡レンズ面に投射表示画像が重ね合わせて表示される。図２では、ユーザの眼７に対して、眼鏡端末１を内側から見た構成を示す。視線方向２０は、ユーザの眼７から外界を視る視線方向を示す。なお、説明上の方向として、眼鏡端末１の表示画面を構成する交差する２つの方向をＸ方向及びＹ方向とし、その表示画面に対して交差する、視線方向２０に対応する方向をＺ方向とする。画面内水平方向をＸ方向とし、画面内垂直方向をＹ方向とする。

【0029】

眼鏡端末１は、眼鏡フレームに、投射表示部１１、表示画面部１２、カメラ部１３、視線追跡部１４等の要素が実装されている。これらの要素は、眼鏡フレームの図示しない接続線を通じて接続されている。投射表示部１１には通信ケーブル５が接続されている。

【0030】

投射表示部１１は、表示データに基づいて、表示画面部１２に、映像、画像を投射表示する。表示画面部１２は、眼鏡レンズ面であり、ハーフミラー等で構成できる。表示画面部１２には、投射表示部１１からの投射表示光により画面２５が表示される。表示画面部１２では、外界からの光である透過光２１は、Ｚ方向で、眼鏡レンズ面を透過して、眼７に入射する。また、投射表示部１１からの投射表示光は、眼鏡レンズ面で反射して、Ｚ方向で、反射光２２として、眼７に入射される。即ち、眼７には、透過光２１と反射光２２とが重畳された重畳光２３が入射される。これにより、眼７には、重畳光２３による画面２６が結像される。即ち、ユーザの眼７には、眼鏡端末１を装着した状態、かつサーバ３から支援情報が提供されている状態では、画面２６として、外界の現場９の様子と支援情報とが重ね合わせされた画面が視える。

【0031】

図２の投射表示部１１は、操作機器２との通信インタフェース部を含んでおり、カメラ部１３や視線追跡部１４とも連携する。

【0032】

カメラ部１３は、眼鏡端末１の前方、視線方向２０に対応したＺ方向を向く位置に設けられている。カメラ部１３は、カメラを含み、眼鏡端末１の前方の映像、画像を撮影し、撮影データを出力する。カメラ部１３は、撮影データを、投射表示部１１を通じて、操作機器２へ送信する。

【0033】

視線追跡部１４は、ユーザの眼７の視線を計測及び検出する視線追跡（アイトラッキング）を行う部分である。視線追跡部１４は、視線追跡の結果である視線データを出力する。視線追跡部１４は、視線データを、投射表示部１１を通じて、操作機器２へ送信する。視線追跡部１４は、所定の視線追跡方式で視線追跡を行うが、視線追跡方式については限定しない。視線追跡部１４は、例えば、視線追跡光に対する眼７からの反射光２４を受光し、その受光情報から、眼７の動き、視線方向２０等を判断する。

【0034】

実施の形態における視線とは、ユーザの眼７が、画面２５及びカメラ部１３の撮影画像内において、どの位置の点を視ているかということに対応している。その点を「視点」とする。この視線は、撮影映像における視点の時系列上の軌跡を含む。眼７から視点までの線が視線であり、その線の方向が視線方向２０に対応している。

【0035】

視線データは、撮影画像内における視点の軌跡を含むデータである。視線データは、例えば、撮影画像フレーム毎に時点を持つとして、その撮影画像フレーム及び時点毎に、視点の位置座標（ｘ，ｙ）を持つデータである。

【0036】

実施の形態における眼鏡端末１は、眼鏡フレームに、投射表示部１１、カメラ部１３、視線追跡部１４等がすべて実装されている装置の場合を示しているが、これに限らず可能である。即ち、投射表示部１１、カメラ部１３、視線追跡部１４等が、別の装置に分離されており、それらの装置を連携させる形態でもよい。例えば、カメラ部１３または視線追跡部１４等を取り付けたヘルメットをユーザが装着してもよい。

【0037】

眼鏡端末１または操作機器２には、マイク等の音声入力装置、スピーカ等の音声出力装置、他のセンサ、等を備えていてもよい。他のセンサとしては、ＧＰＳ受信機、加速度センサ、慣性センサ、電子コンパス、等でもよい。眼鏡端末１及び操作機器２は、それらのセンサを用いて、ユーザの頭及び眼鏡端末１の位置や向きや動き等を検出して利用してもよい。

【0038】

［装置基本構成］
図３は、技能伝承システムの各装置の基本的な構成を示す。眼鏡端末１は、制御部１０１、記憶部１０２、通信部１０３、入力部１０４、及び前述の表示画面部１２等を備える。操作機器２は、制御部２０１、記憶部２０２、通信部２０３、入力部２０４、電源部２０５等を備える。サーバ３は、制御部３０１、記憶部３０２、通信部３０３、ＤＢ３０４等を備える。

【0039】

制御部１０１は、ＣＰＵ等により実現され、眼鏡端末１の全体を制御する。制御部１０１は、図２の投射表示部１１を含む。記憶部１０２は、制御部１０１が扱うデータやプログラム等が格納される。通信部１０３は、操作機器２の通信部２０３との間で有線通信インタフェースでの通信処理を行う。入力部１０４は、省略可能であるが、ユーザ入力操作を可能とする入力ボタン等を含む部分である。

【0040】

制御部２０１は、ＣＰＵ等により実現され、操作機器２の全体を制御する。制御部２０１は、図２の投射表示部１１と連携する後述の表示制御部を含む。記憶部２０２は、制御部２０１が扱うデータやプログラム等が格納される。通信部２０３は、眼鏡端末１の通信部１０３との間で有線通信インタフェースでの通信処理を行う。また、通信部２０３は、通信網６及びサーバ３の通信部３０３との間で無線通信インタフェースを含む通信インタフェースでの通信処理を行う。入力部２０４は、ユーザ入力操作を可能とする入力ボタン等を含む部分である。ユーザ入力操作は、電源や機能のオン／オフ等の操作が可能である。電源部２０５は、バッテリ等を含み、操作機器２及び眼鏡端末１に電力を供給する。

【0041】

制御部３０１は、ＣＰＵ等により実現され、サーバ３の全体を制御する。制御部３０１は、ソフトウェアプログラム処理により、後述の機械学習に関する処理部を実現する。記憶部３０２は、制御部３０１が扱うデータやプログラム等が格納される。通信部３０３は、通信網６に対する通信インタフェースでの通信処理を行う。ＤＢ３０４は、記憶装置を用いて実現され、後述の蓄積ＤＢや学習ＤＢを含む。ＤＢ３０４は、サーバ３とは別のＤＢサーバ等で実現されてもよい。

【0042】

［機能ブロック構成（１）］
図４は、技能伝承システムの機能ブロックの構成として、主に第１ユーザＵＡに係わる眼鏡端末１Ａ、操作機器２Ａ、及びサーバ３を含む部分の構成を示す。

【0043】

操作機器２Ａは、制御部２０１により実現される処理部として、表示制御部２１１、撮影画像データ送信部２１３、視線データ送信部２１４を含む。表示制御部２１１は、投射表示のための表示データＤ１１を、眼鏡端末１Ａの投射表示部１１へ送信する。投射表示部１１は、その表示データＤ１１に基づいて、表示画面部１２に投射表示を行う。投射表示部１１は、詳しくは例えば以下のような構成を有する。

【0044】

投射表示部１１は、駆動部、表示素子、投射光学系を有する。駆動部は、表示データＤ１１に基づいて、表示素子を駆動して、表示素子に画像を形成する。表示素子に形成された画像は、投射光学系を通じて、表示画面部１２である眼鏡レンズ面に投射される。これにより、表示画面部１２に画面２５が構成される。

【0045】

撮影画像データ送信部２１３は、眼鏡端末１Ａのカメラ部１３から、第１ユーザＵＡの撮影映像データである第１画像データＤ１３を受信、取得する。撮影画像データ送信部２１３は、その第１画像データＤ１３を、サーバ３へ送信する。

【0046】

視線データ送信部２１４は、眼鏡端末１Ａの視線追跡部１４から、第１ユーザＵＡの視線データである第１視線データＤ１４を受信、取得する。視線データ送信部２１４は、その第１視線データＤ１４を、サーバ３へ送信する。

【0047】

サーバ３は、データ収集入力部３１、蓄積ＤＢ３２、機械学習部３３を有する。機械学習部３３は、モデル作成部３４、学習ＤＢ３５を含む。

【0048】

データ収集入力部３１は、眼鏡端末１Ａの操作機器２Ａから、第１画像データＤ１３及び第１視線データＤ１４を受信、取得する。第１画像データＤ１３及び第１視線データＤ１４は、関連しているデータであり、例えば同期したタイミングで送信される。データ収集入力部３１は、それらのデータを、関連付けられたデータとして取得する。複数の第１ユーザＵＡが存在する場合、データ収集入力部３１は、複数の各々の操作機器２Ａから、同様にそれらのデータを収集する。データ収集入力部３１は、取得した第１画像データＤ１３及び第１視線データＤ１４に対応する、第１画像データＤ３１及び第１視線データＤ３２を、関連付けた状態で蓄積ＤＢ３２に格納する。蓄積ＤＢ３２には、第１画像データＤ３１及び第１視線データＤ３２が、例えば、日時、眼鏡端末１Ａまたは第１ユーザＵＡのＩＤ、等の情報と共に格納される。

【0049】

機械学習部３３は、蓄積ＤＢ３２のデータ、及び教師データを用いて、機械学習の処理を行う。機械学習部３３は、機械学習のモデル及び結果を、学習ＤＢ３３に格納し、管理する。機械学習部３３のモデル作成部３４は、管理者等の操作に基づいて、機械学習のモデルを作成する。モデル作成部３４は、蓄積ＤＢ３２のデータと、別に入力された教師データとに基づいて、そのモデルを作成する。モデル作成部３４は、特徴抽出部３４Ａ、及び関連付け部３４Ｂを含む。

【0050】

学習ＤＢ３５は、モデルに対応する特徴データＤ３３及び注目箇所データＤ３４が、関連付けられた状態で格納される。

【0051】

特徴抽出部３４Ａは、蓄積ＤＢ３２の第１画像データＤ３１を参照して、その画像内から特徴情報を抽出し、特徴データＤ３３として学習ＤＢ３５内に登録する。機械学習の方式については、限定しない。初期のモデルでは、特徴抽出部３４Ａは、特徴抽出に関する教師データである特徴データＤ３３に基づいて、画像から特徴情報を抽出する。

【0052】

関連付け部３４Ｂは、特徴データＤ３３と注目箇所データＤ３４との関連付けを行う。関連付け部３４Ｂは、管理端末４の教師データ入力部４１から送信及び入力される教師データＤ４１に基づいて、それらの関連付け、言い換えるとラベル付けを行う。

【0053】

管理端末４は、教師データ入力部４１、モデル保守入力部４２を有する。これらは、ＰＣの入力部や表示部を用いて、一般的な情報処理で実現できる。

【0054】

教師データ入力部４１は、表示画面で、管理者または第１ユーザＵＡの入力操作に基づいて、機械学習のモデルに対する教師データを入力する処理を行う。教師データは、特徴抽出に関する教師データを含む。実施の形態では、教師データは、現場の撮影画像内における第１ユーザＵＡの注目箇所を指定する情報を含む。この処理は、例えば、管理端末４の画面に、第１画像データＤ３１及び第１視線データＤ３２に基づいて画像及び視線を表示し、その画像内からベテラン社員の注目箇所を指定する処理である。教師データ入力部４１は、指定された注目箇所の情報を含む教師データＤ４１を、サーバ３の機械学習部３３へ送信する。モデル作成部３４は、その教師データＤ４１を入力する。関連付け部３４Ｂは、その教師データＤ４１における注目箇所の情報に基づいて、特徴データＤ３３と注目箇所データＤ３４とを関連付けるように学習ＤＢ３５に登録する。同様に、教師データ入力部４１を用いて、教師データの修正等が可能である。

【0055】

モデル保守入力部４２は、機械学習のモデルを保守するための入力及び表示を行う部分である。モデル保守入力部４２は、サーバ３の機械学習部３３から、現在のモデルの情報を取得して画面に表示する。管理者は、そのモデルの内容を確認でき、必要に応じて、モデルのパラメータの修正等を行う。モデル保守入力部４２は、修正情報等の保守データＤ４２を、サーバ３の機械学習部３３へ送信する。モデル作成部３４は、その保守データＤ４２に基づいて、学習ＤＢ３５内のモデルの情報を修正する。

【0056】

実施の形態における機械学習のモデルは、画像の特徴データＤ３３に対して、どのように注目箇所データＤ３４を関連付けて出力するか、に関するモデルである。

【0057】

後述するが、教師データ入力手段としては、管理端末４の教師データ入力部４１を用いる以外にも、眼鏡端末１及び操作機器２を用いて実現できる。即ち、第１ユーザＵＡが眼鏡端末１Ａを用いて現場を視ている時に、視線の箇所を注目箇所として指定したい場合には、その時に操作機器２Ａの所定の入力ボタンを操作する。これにより、操作機器２Ａは、その時の第１視線データＤ１４に伴う視点の付近を注目箇所とし、その注目箇所の情報を、教師データとして、サーバ３へ送信する。

【0058】

なお、第１ユーザＵＡから第１画像データＤ１３及び第１視線データＤ１４を収集するが、第１ユーザＵＡの視界に支援情報を表示することは必須ではない。そのため、眼鏡端末１Ａ及び操作機器２Ａに投射表示機能を備えることは必須ではない。しかしながら、第１ユーザＵＡの視界に、支援情報を表示してもよい。例えば、現場の情報や、視線方向２０の視点を表す情報等を重畳表示してもよい。これにより、第１ユーザＵＡの注目箇所の指定に関する教師データ入力についても、より効率化できる。

【0059】

［機能ブロック構成（２）］
図５は、図４と関連する技能伝承システムの機能ブロック構成として、主に第２ユーザＵＢに係わる眼鏡端末１Ｂ、操作機器２Ｂ、及びサーバ３を含む部分の構成を示す。図５の眼鏡端末１Ｂ及び操作機器２Ｂの構成は、図４の眼鏡端末１Ａ及び操作機器２Ａの構成と同様である。

【0060】

操作機器２Ｂは、制御部２０１により実現される処理部として、表示制御部２１１、撮影画像データ送信部２１３、視線データ送信部２１４を含む。

【0061】

操作機器２Ｂの表示制御部２１１は、表示データＤ２１を、眼鏡端末１Ｂの投射表示部１１へ送信する。

【0062】

撮影画像データ送信部２１３は、眼鏡端末１Ｂのカメラ部１３から、第２ユーザＵＢの撮影映像データである第２画像データＤ２３を受信、取得する。撮影画像データ送信部２１３は、その第２画像データＤ２３を、サーバ３へ送信する。

【0063】

視線データ送信部２１４は、眼鏡端末１Ｂの視線追跡部１４から、第２ユーザＵＢの視線データである第２視線データＤ２４を受信、取得する。視線データ送信部２１４は、その第２視線データＤ２４を、サーバ３へ送信する。

【0064】

サーバ３は、機械学習部３３内に、モデル適用部３６を含む。モデル適用部３６は、注目箇所読出部３６Ａを含む。また、サーバ３は、支援表示データ作成出力部３７、現場情報ＤＢ３７Ａ、実績記録部３８、実績ＤＢ３８Ａを含む。

【0065】

モデル適用部３６は、学習ＤＢ３５のモデルを、第２ユーザＵＢの眼願端末１Ｂに対して適用する処理を行う。モデル適用部３６は、眼願端末１Ｂの操作機器２Ｂからの第２画像データＤ２３等の入力に基づいて、学習ＤＢ３５から、適用する注目箇所データＤ３４を抽出し、支援表示データとして出力する。

【0066】

モデル適用部３６は、操作機器２Ｂから、第２画像データＤ２３及び第２視線データＤ２４を、同期したタイミングで受信、取得する。注目箇所読出部３６Ａは、その第２画像データＤ２３及び第２視線データＤ２４を入力する。注目箇所読出部３６Ａは、その第２画像データＤ２３の画像内の各画像部分を参照する。注目箇所読出部３６Ａは、その画像部分を、学習ＤＢ３５内の特徴データＤ３３と比較するマッチングを行う。これにより、注目箇所読出部３６Ａは、その画像部分に合致または類似する特徴を持つ特徴データＤ３３を検索する。注目箇所読出部３６Ａは、その画像部分に該当する特徴データＤ３３がある場合、その特徴データＤ３３に関連付けられている注目箇所データＤ３４がある場合には、その注目箇所データＤ３４を読み出す。注目箇所読出部３６Ａは、その注目箇所データＤ３４を、支援表示データ作成出力部３７へ出力する。

【0067】

支援表示データ作成出力部３７は、注目箇所データＤ３４を用いて、第２ユーザＵＢの眼鏡端末１Ｂに提供するための支援表示データを作成する。支援表示データ作成出力部３７は、支援表示データを、操作機器２Ｂへ送信する。操作機器２Ｂは、その支援表示データを、表示データＤ２１として、眼鏡端末１Ｂへ送信する。眼鏡端末１Ｂの投射表示部１１は、その表示データＤ２１に基づいて、表示画面部１２に、支援表示データによる注目箇所の情報を含む画面を表示する。

【0068】

これにより、第２ユーザＵＢは、眼鏡端末１Ｂを通じて、視界の現場の様子に、第１ユーザＵＡの注目箇所の情報が重ね合わせされた画面が表示される。第２ユーザＵＢは、視界において、その注目箇所を認識でき、例えばその注目箇所に注意しながら作業を行うことができる。

【0069】

更に、上記処理の際に、サーバ３は、第２視線データＤ２４を補助的に用いてもよい。注目箇所読出部３６Ａは、第２画像データＤ２３の画像内における、第２視線データＤ２４の視線で示す視点の付近の画像部分を参照する。注目箇所読出部３６Ａは、その画像部分を、学習ＤＢ３５内の特徴データＤ３３と比較してマッチングし、該当する特徴データＤ３３に関連付けられた注目箇所データＤ３４を抽出する。なお、第２視線データＤ２４をサーバ３の処理で用いることは、必須ではなく、省略してもよい。

【0070】

また、支援表示データ作成出力部３７は、現場情報ＤＢ３７Ａを用いて、注目箇所情報以外の現場情報を、支援表示データの一部として含めるようにすることができる。この処理は、必須ではなく、省略してもよい。現場情報ＤＢ３７Ａには、予め、現場情報が設定されている。現場情報は、例えば現場内にある物体である建物や機器の名称等の情報や、作業管理情報等が挙げられる。作業管理情報は、作業者が行うべき作業に関する指示や支援の情報である。支援表示データ作成出力部３７は、例えば、眼鏡端末１からの撮影画像またはＧＰＳ位置情報等に応じて、その現場やユーザの視界の画像内の物体等に関連付けることができる現場情報を、現場情報ＤＢ３７Ａから読み出す。支援表示データ作成出力部３７は、読み出した現場情報を一部として含む支援表示データを作成する。

【0071】

実績記録部３８は、眼鏡端末１Ｂに表示される注目箇所情報を第２ユーザＵＢが確認したかどうかや有効活用できたかどうか等の、実績に関する記録の処理を行う。実績記録部３８は、第２ユーザＵＢが注目箇所を確認したかどうか等を表す実績情報を構成し、実績ＤＢ３８Ａに格納する。実績ＤＢ３８Ａには、例えば、日時、第２ユーザＵＢまたは眼鏡端末１ＢのＩＤと共に、実績情報が履歴として格納される。実績ＤＢ３８Ａの実績情報は、後で管理端末４からも参照可能である。管理者等は、実績情報を確認でき、第２ユーザＵＢが第１ユーザＵＡの注目箇所情報を活用できたか等を把握できる。これにより、業務効率改善等に役立てることができる。

【0072】

実績記録部３８は、例えば、操作機器２Ｂから第２ユーザＵＢの入力操作に基づいて入力される確認入力情報を用いて、実績情報を実績ＤＢ３８Ａに記録する。眼鏡端末１Ｂでは、第２ユーザＵＢの視線の視点を画面に表示する。第２ユーザＵＢは、眼鏡端末１Ｂの画面に表示される注目箇所を視て認識する。第２ユーザＵＢは、その注目箇所を確認した場合、そのことを伝えるために、操作機器２Ｂの所定の入力ボタン等を操作する。操作機器２Ｂは、その入力操作に対応した確認入力情報を、サーバ３へ送信する。実績記録部３８は、その確認入力情報に基づいて、実績情報を記録する。

【0073】

なお、第１ユーザＵＡの眼鏡端末１Ａ及び操作機器２Ａと、第２ユーザＵＢの眼鏡端末１Ｂ及び操作機器２Ｂとで基本的に同様の構成とし、同じ眼鏡端末１及び操作機器２を共用することが可能である。また、共用の形態ではなく、第１ユーザＵＡの専用の眼鏡端末１Ａ及び操作機器２Ａと、それとは異なる構成である、第２ユーザＵＢの専用の眼鏡端末１Ｂ及び操作機器２Ｂとを用いる形態も可能である。例えば、専用の眼鏡端末１Ａでは投射表示機能を備えず、専用の眼鏡端末１Ｂでは視線追跡機能を備えない。

【0074】

［技能伝承方法］
実施の形態の技能伝承方法は、実施の形態の技能伝承システムにおいて実行されるステップを含む方法であり、主に以下の第１ステップＳ１、第２ステップＳ２により構成される。

【0075】

第１ステップＳ１は、主に第１ユーザＵＡであるベテラン社員に係わるステップである。第１ステップＳ１は、図４のような構成に基づいて、ベテラン社員の視線データ等を収集し、ベテラン社員の注目箇所等を教師データとしてモデルに入力し、機械学習を行うステップである。第１ステップＳ１により、第２ステップＳ２での支援情報のためのモデルを鍛錬する。

【0076】

第２ステップＳ２は、主に第２ユーザＵＢである非ベテラン社員に係わるステップである。第２ステップＳ２は、非ベテラン社員による現場での作業等の際に、第１ステップＳ１のモデルの適用により、第２ユーザＵＢの視界に支援情報を表示して支援するステップである。

【0077】

［第１ステップＳ１］
第１ステップＳ１の構成は以下である。第１ステップＳ１は、詳しくは以下のステップＳ１−１〜Ｓ１−５を含む。

【0078】

（Ｓ１−１） ステップＳ１−１は、ベテラン社員により、機械学習のモデルに対する教師データを入力するステップである。なお、この教師データの入力は、ベテラン社員の代わりに、管理者が、ベテラン社員から情報を受けて行ってもよい。

【0079】

第１ユーザＵＡとして、１人以上のベテラン社員の各々が、眼鏡端末１Ａ及び操作機器２Ａを用いて、１つ以上の現場９Ａを視る。各ベテラン社員の眼鏡端末１Ａ及び操作機器２Ａから、現場９Ａの撮影映像の第１画像データＤ１３及び第１視線データＤ１４を、サーバ３へ収集する。サーバ３は、それらのデータを蓄積ＤＢ３２に蓄積する。

【0080】

教師データは、現場９の撮影画像内でベテラン社員が視線で注目している箇所である注目箇所の情報を含む。教師データとする注目箇所データは、少なくとも、位置、タイプの情報を含む。位置は、例えば現場９の画像である第１画像データＤ１３内の点または領域の位置座標で指定される。タイプは、その注目箇所が、ベテラン社員にとって、どういう観点で注目なのかを表す情報である。タイプの値の例として、「品質」、「危険」、等がある。タイプが「品質」である場合、その注目箇所は、品質の観点で注目すべき箇所であることを示す。タイプが「危険」である場合、その注目箇所は、危険の観点で注目すべき箇所であることを示す。タイプのその他の値を有してもよい。タイプの値はユーザ設定可能である。注目箇所データとしては、任意のコメントの文字列等の情報を含めてもよい。

【0081】

また、注目箇所の情報として、第１ユーザＵＡの注目度を設けてもよい。サーバ３は、例えば、１人あるいは不特定の複数の第１ユーザＵＡによる、画像内の注目箇所における注目の度合いを、統計処理等により計算してもよい。サーバ３は、第１視線データＤ１４の視線の視点が同じ箇所に集まる度合いを判断して注目度を計算してもよい。また、第１ユーザＵＡが教師データとして注目の度合いを例えばいくつかのレベルから選択して入力し、サーバ３がその入力情報を用いて注目度を計算してもよい。

【0082】

教師データ入力の際の方式としては、以下の第１方式や第２方式が可能である。第１方式としては、図４の管理端末４の教師データ入力部４１を用いる。ベテラン社員または管理者は、ベテラン社員からの収集データである第１画像データＤ１３及び第１視線データＤ１４について、管理端末４の画面で確認する。その際、教師データ入力部４１は、サーバ３の蓄積ＤＢ３２から、第１画像データＤ１３及び第１視線データＤ１４を参照し、画面に表示する。第１視線データＤ１４については、視点の位置を表すマーク等を画像内に表示してもよい。ベテラン社員または管理者は、画面で、ベテラン社員による現場９の画像内での注目箇所を指定する。管理端末４の教師データ入力部４１は、指定された注目箇所を含む情報を、教師データＤ４１として、サーバ３へ送信する。

【0083】

注目箇所の指定の操作は、例えば、タッチパネル等の画面において、注目箇所とする位置の点や領域のタッチ入力操作でもよい。位置の指定の操作は、タップや一定時間以上のタッチでもよいし、タッチしながら領域を囲む操作等でもよい。また、タイプの指定の操作としては、予め選択肢として表示されるタイプのボタンを選択操作した後に、位置を指定する操作としてもよい。また、位置の指定の操作としてタッチ等の操作の後に、ポップアップ等を表示して、その中に表示されるタイプの選択肢から選択してもよい。また、ポップアップや入力欄の中にコメント等の文字列を入力する形態でもよい。

【0084】

第２方式としては、ベテラン社員が図４の眼鏡端末１Ａ及び操作機器２Ａを用いて直接的に入力を行う。ベテラン社員は、眼鏡端末１Ａを装着して、現場９Ａの観察や作業をしながら、眼鏡端末１Ａの画面２５で、現在自分が視ている視線の視点の箇所を、注目箇所として指定入力することができる。その際、ベテラン社員は、画面の自分の視点の付近を、注目箇所として指定する場合には、その時に、操作機器２Ａの入力部２０４の入力ボタン等の操作を行う。これにより、操作機器２Ａは、その時の第１画像データＤ１３及び第１視線データＤ１４に伴う視点の付近を注目箇所とし、その注目箇所の情報を、教師データとして、サーバ３へ送信する。

【0085】

（Ｓ１−２） ステップＳ１−２は、ステップＳ１−１で入力された教師データＤ４１である注目箇所等を用いて、サーバ３が機械学習のモデルを作成及び設定するステップである。モデル作成部３４は、教師データに基づいて、学習ＤＢ３５に、初期のモデルとして、特徴データＤ３３と注目箇所データＤ３４とを関連付けて設定する。

【0086】

まず、サーバ３のモデル作成部３４は、特徴抽出部３４Ａにより、蓄積ＤＢ３２のベテラン社員の第１画像データＤ１３の第１画像から、画像特徴である第１特徴を抽出し、特徴データＤ３３として学習ＤＢ３５に登録する。特徴データＤ３３は、画像内から分類して抽出された特徴情報であり、例えば形状、輝度分布等のパターンのデータである。画像特徴を抽出する方式については、公知の各種の方式が適用可能であり、限定しない。

【0087】

モデル作成部３４は、関連付け部３４Ｂにより、入力の教師データＤ４１の注目箇所情報に基づいて、学習ＤＢ３５の特徴データＤ３３の第１特徴に、注目箇所データＤ３４を関連付けるようにして登録する。第１ユーザＵＡの視点に対応する画像特徴に対して、注目箇所の位置やタイプの情報が関連付けられる。注目箇所データＤ３４は、点や領域の位置、サイズ、タイプ等を含むデータである。

【0088】

注目箇所の指定に関して、変形例として、第１ユーザＵＡの第１視線データＤ１４を利用して、注目箇所の判定を行ってもよい。眼鏡端末１Ａの操作機器２Ａ、またはサーバ３は、第１視線データＤ１４を用いて、第１ユーザＵＡの視界の第１画像内での視点の位置を判断して注目箇所を判定する。操作機器２Ａまたはサーバ３は、例えば、第１画像内で視点が同じ箇所に留まっている状態の時間を凝視時間として判断し、凝視時間が所定の閾値時間を越える場合、その箇所を注目箇所として判定する。サーバ３は、その注目箇所の情報を得て、自動的にモデルに入力して機械学習を行う。

【0089】

（Ｓ１−３） ステップＳ１−３は、ステップＳ１−２で作成及び設定された初期のモデルを、フィードバック学習のために、特に第１ユーザＵＡに対して適用するステップである。サーバ３の機械学習部３３は、第１ユーザＵＡの眼鏡端末１Ａ及び操作機器２Ａから、第１画像データＤ１３及び第１視線データＤ１４を入力する。機械学習部３３は、その入力データに応じて、学習ＤＢ３５の該当する注目箇所データＤ３４を読み出し、操作機器２Ａへ送信して眼鏡端末１Ａの画面２５に表示させる。

【0090】

（Ｓ１−４） ステップＳ１−４は、ステップＳ１−３で適用された注目箇所データＤ３４を第１ユーザＵＡにより確認して、モデルを評価するステップである。第１ユーザＵＡは、眼鏡端末１Ａの画面２５に表示された注目箇所が、適切であるか等を確認する。例えば、画像内の注目箇所が適切でない場合や情報が誤っている場合には、その注目箇所を修正するための教師データを入力する。この教師データの再入力、修正は、ステップＳ１−１と同様に実現できる。第１ユーザＵＡは、管理端末４または眼鏡端末１Ａの画面を見て、教師データの再入力、修正のための入力を行う。また、管理者は、管理端末４の画面で、モデル保守入力部４２を用いて、モデルの評価入力や保守入力を行う。

【0091】

（Ｓ１−５） ステップＳ１−５は、ステップＳ１−４の入力に従ってモデルを更新するステップである。サーバ３のモデル作成部３４は、再入力等された教師データ、評価入力や保守入力の情報に基づいて、学習ＤＢ３５の特徴データＤ３３と注目箇所データＤ３４との関連付けを更新する。

【0092】

上記のように、第１ステップＳ１では、いくつかのステップを繰り返して、フィードバック学習により、モデルを鍛錬する。特に、複数人の第１ユーザＵＡ、及び、複数の現場９Ａを対象に上記第１ステップＳ１を行うことにより、モデルをより鍛錬することができる。即ち、支援情報の質を高めることができる。

【0093】

［第２ステップＳ２］
第２ステップＳ２の構成は以下である。第２ステップＳ２は、詳しくは以下のステップＳ２−１〜Ｓ２−６を含む。

【0094】

（Ｓ２−１） ステップＳ２−１は、１人以上の第２ユーザＵＢである非ベテラン社員が、各々の現場９Ｂで、眼鏡端末１Ｂ及び操作機器２Ｂを装着した状態で作業等を行うステップである。眼鏡端末１Ｂは、少なくとも、カメラ部１３の第２画像データＤ２３を、操作機器２Ｂを通じて、サーバ３へ送信する。

【0095】

また、ステップＳ２−１の際、第２ユーザＵＢにより、任意に支援出力要求を入力するようにしてもよいし、支援出力機能のオンまたはオフの切り替え入力操作をするようにしてもよい。支援出力要求は、眼鏡端末１Ｂの画面に支援表示情報を出力して欲しい場合のサーバ３への要求である。支援出力機能のオン状態では画面に支援表示情報を出力し、オフ状態では出力しない。第２ユーザＵＢは、支援出力要求や支援出力機能のオン／オフの際には、例えば、操作機器２Ｂの入力部２０４の所定の入力ボタンの操作、音声入力、等を行う。操作機器２Ｂは、その入力に応じて、支援出力要求等をサーバ３へ送信する。

【0096】

また、以下のように支援出力要求を行う形態でもよい。ステップＳ２−１の際に、眼鏡端末１Ｂからの第２視線データＤ２４を利用する。操作機器２Ｂあるいはサーバ３は、非ベテラン社員の第２画像データＤ２３及び第２視線データＤ２４について、画像内の視点の箇所の凝視時間を判断する。操作機器２Ｂあるいはサーバ３は、その凝視時間が、閾値時間を越える場合、その視点の箇所の付近に関する支援出力要求として判断する。

【0097】

また、変形例として、以下のように第２ユーザＵＢの視線を利用する形態でもよい。この変形例では、第２視線データＤ２４を利用して、第２ユーザＵＢの視点の位置を判定し、サーバ３でのマッチングに利用する。眼鏡端末１Ｂは、第２ユーザＵＢの視界の第２画像内の視線を追跡して第２視線データＤ２４として取得する。操作機器２Ｂは、第２視線データＤ２４を用いて、第２画像内での視点の位置を判断し、その情報をサーバ３へ送信する。サーバ３は、その第２画像内での視点の位置の情報を利用して、下記のマッチングを行う。もしくは、操作機器２Ｂは、第２視線データＤ２４をサーバ３へ送信し、サーバ３は、第２視線データＤ２４を用いて第２画像内での視点の位置を判断し、その位置の情報を利用して、下記のマッチングを行う。

【0098】

（Ｓ２−２） ステップＳ２−２は、ステップＳ２−１で入力された第２ユーザＵＢの眼鏡端末１Ｂ及び操作機器２Ｂからの第２画像データＤ２３及び第２視線データＤ２４の入力に基づいて、モデルを適用するステップである。サーバ３のモデル適用部３６は、注目箇所読出部３６Ａにより、入力の第２画像データＤ２３の画像を参照して、その画像を、学習ＤＢ３５のモデルの特徴データＤ３３とマッチングする。これにより、注目箇所読出部３６Ａは、その画像の中から、特徴データＤ３３の第１特徴に合致または類似する画像部分を探索する。注目箇所読出部３６Ａは、探索の結果、その画像部分に合致または類似する第１特徴がある場合、その第１特徴に関連付けられている注目箇所データＤ３４を読み出す。

【0099】

ステップＳ２−２で第２ユーザＵＢの視点の位置の情報を利用する場合、モデル適用部３６は、第２画像内の視点の位置を中心として、その付近の画像部分について、マッチングを行い、該当する特徴データＤ３３を読み出す。

【0100】

（Ｓ２−３） ステップＳ２−３は、ステップＳ２−２で抽出された注目箇所データＤ３４を用いて、第２ユーザＵＢへの支援表示データを作成して出力するステップである。支援表示データ作成出力部３７は、注目箇所読出部３６Ａから出力された注目箇所データＤ３４を用いて、注目箇所の位置やタイプ等の情報を含む支援表示データを作成する。支援表示データは、例えば、第２画像データＤ２３の画像に対応した画像フレーム内において、注目箇所の点や領域を示す図形等と、その注目箇所のタイプを示す文字や図形やマーク等とを含む。また、支援表示データ作成出力部３７は、現場情報ＤＢ３７Ａを用いて、他の支援情報を含んだ支援表示データを作成する。

【0101】

支援表示データ作成出力部３７は、作成した支援表示データＤ３７を、操作機器２Ｂへ送信する。なお、眼鏡端末１Ｂ及び操作機器２Ｂとサーバ３との間での処理の時間を考慮して、操作機器２Ｂは、サーバ３から一定間隔のタイミング毎に支援表示データＤ３７を受信して保持してもよい。

【0102】

（Ｓ２−４） ステップＳ２−４は、ステップＳ２−３で出力された支援表示データＤ３７を用いて、第２ユーザＵＢの眼鏡端末１Ｂの画面に支援表示情報を重畳表示するステップである。操作機器２Ｂは、サーバ３からの支援表示データＤ３７を眼鏡端末１Ｂへ送信する。眼鏡端末１Ｂの投射表示部１１は、支援表示データＤ３７に基づいて、表示画面部１２の画面に、支援表示情報の画像フレームを投射表示する。これにより、第２ユーザＵＢの眼７には、現場９Ｂの画像に支援表示情報が重ね合わせされた画面が結像される。第２ユーザＵＢは、自分の視界内における第１ユーザＵＡの注目箇所を、認識、注意することができる。

【0103】

（Ｓ２−５） ステップＳ２−５は、省略可能であるが、ステップＳ２−４で表示された画面に基づいて、第２ユーザＵＢが、注目箇所を認識したかどうか等を情報として入力するためのステップである。例えば、第２ユーザＵＢは、眼鏡端末１Ｂの画面内で注目箇所の位置やタイプを認識し、確認した場合に、操作機器２Ｂの所定の入力ボタン等を操作する。操作機器２Ｂは、第２ユーザＵＢが注目箇所を確認したことを表す確認入力情報を、サーバ３へ送信する。

【0104】

あるいは、その際、第２ユーザＵＢの第２視線データＤ２４を利用して、以下のような処理例も可能である。操作機器２Ｂは、第２画像データＤ２３及び第２視線データＤ２４をサーバ３へ送信する。サーバ３は、第２画像データＤ２３の画像内における第２視線データＤ２４の視線を判断し、第２ユーザＵＢが第１ユーザＵＡの注目箇所を確認、注目したかどうかを判定する。例えば、サーバ３は、第２ユーザＵＢの視点が注目箇所の付近に重なっている状態の時間である凝視時間を判断し、凝視時間が閾値時間を越える場合、第２ユーザＵＢがその注目箇所を確認したと判定する。サーバ３ではなく操作機器２Ｂでその判定を行ってもよい。

【0105】

（Ｓ２−６） ステップＳ２−６は、ステップＳ２−５で入力された情報を用いて、サーバ３が実績記録を行うステップである。サーバ３の実績記録部３８は、第２ユーザＵＢの操作機器２Ｂから、確認入力情報を受信する。実績記録部３８は、確認入力情報に基づいて、支援表示データＤ３７として出力した注目箇所が、第２ユーザＵＢにより確認されたかどうか等の実績を把握する。そして、実績記録部３８は、その実績情報を、注目箇所データＤ３４に対応させて、実績ＤＢ３８Ａに記録する。実績記録部３８は、複数人の第２ユーザＵＢの実績情報を統計処理し、結果を記録する。

【0106】

（Ｓ２−７） ステップＳ２−７は、ステップＳ２−６で記録された実績情報を、後で、管理者または第１ユーザＵＡまたは第２ユーザＵＢにより、管理端末４等の画面で確認するステップである。これにより、管理者等のユーザは、支援表示の効果を確認することができ、業務改善等に活用することができる。

【0107】

［支援表示データ］
図６は、支援表示データＤ３７の画像フレームの例を示す。画像フレーム６０１は、第２ユーザＵＢの第２画像データＤ２３の画像フレームに対応した、矩形の背景の画像フレームである。背景は透過領域である。画像フレーム６０１内に、注目箇所である領域６０２を有する。点Ｐ及び領域６０２の少なくとも一方が表示される。画像フレーム６０１内における点Ｐの位置座標が（Ｘｐ，Ｙｐ）である。領域６０２は、この例では、点Ｐを中心とした矩形の領域であり、領域６０２のサイズとして、横幅ＨＸ、縦幅ＨＹである。領域６０２の表示図形として、矩形、楕円、等から選択して設定可能であり、本例では矩形である。

【0108】

また、注目箇所のタイプの情報としては、注目箇所の位置の情報に関連付けられて、タイプＩＤとして、Ｔ１＝品質、Ｔ２＝危険、等があり、本例ではＴ１である。タイプ表示図形としては、丸、三角、バツ等のマーク、文字、吹き出し、等があり、選択して設定可能である。また、タイプ毎に色等を選択して設定可能である。本例では、タイプ表示図形として、吹き出しであり、吹き出しの中に、タイプを表す文字、あるいは任意のコメントの文字列が表示される。本例では、吹き出しの中に「品質注意」等と表示されている。

【0109】

また、領域６０３は、他の支援情報を表示する領域を示し、画像フレームの端に設けられている。この領域６０３に、例えば、日時、現場の名称や場所、作業内容、等が表示される。この領域６０３内に、注目箇所のタイプ等の情報が表示されるようにしてもよい。

【0110】

上記のような支援表示データＤ３７が眼鏡端末１Ｂの画面に投射表示される。これにより、第２ユーザＵＢの視界の画像に、支援情報として注目箇所情報が重ね合わせて表示される。

【0111】

［現場画像例］
図７は、実施の形態の技能伝承システムにおける、第１ユーザＵＡ及び第２ユーザＵＢが装置を通して視る現場９の画像及び対応する画面の例を示す。現場９として屋外で建物や道路等を斜めから視る例である。図７の左側は、第１ユーザＵＡが眼鏡端末１Ａの画面を通じて視る現場９Ａの画像及び画面の例を示す。図７の右側は、第２ユーザＵＢが眼鏡端末１Ａの画面を通じて視る現場９Ｂの画像及び画面の例を示す。

【0112】

画像７０１は、第１ユーザＵＡ側の第１画像として、第１特徴を含む画像を示す。これは、前述の第１画像データＤ１３，Ｄ３１等に対応している。視点７０１Ａは、第１視線データＤ１４，Ｄ３２における視線の視点をマーク等で表示する例を示す。なお、視線及び視点は動くので、画像フレーム群に対応して視点の軌跡が構成される。

【0113】

画像７０２は、画像７０１に基づいて、サーバ３での機械学習の教師データとして、ベテラン社員の注目箇所を指定した画像を示す。これは、前述の特徴データＤ３３と注目箇所データＤ３４との関連付けに対応している。注目箇所７０２Ａは、楕円で示す一部の領域（具体的には地面の穴の例）を、タイプとして「危険」である注目箇所として指定した例を示す。注目箇所７０２Ｂは、楕円で示す一部の領域を、タイプとして「品質」である注目箇所として指定した例を示す。左側に示す第１特徴７０２Ｃは、注目箇所７０２Ａに対応した、機械学習で抽出された第１特徴の例である形状の例を示す。

【0114】

画像７０３は、第２ユーザＵＢ側の第２画像として、第２特徴を含む画像を示す。これは、前述の第２画像データＤ２３等の入力に対応している。画像部分７０３Ａは、モデル適用の際に、マッチングにより、第１画像の第１特徴７０２Ｃと合致または類似した画像部分の例を示す。画像部分７０３Ａは、細かい形状等が第１特徴７０２Ｃの形状等とは異なるが、おおまかには第１特徴７０２Ｃに該当するものとして抽出されている。

【0115】

画像７０４は、画像７０３と支援表示データＤ３７の画像フレームとの重ね合わせによる重畳画面に対応する画像を示す。注目箇所表示７０４Ａは、画像部分７０３Ａに対応させた、注目箇所情報の表示例を示す。注目箇所表示７０４Ａは、本例では、画像部分７０３Ａを囲むように、注目箇所の領域を楕円で表示している。また、注目箇所のタイプの情報が、吹き出し及び文字で表示されている。また、端にある領域７０４Ｂには、他の支援情報が表示されている。

【0116】

［効果等］
上記のように、実施の形態の技能伝承システム及び方法によれば、眼鏡端末１及び機械学習等を用いて、ベテラン社員と非ベテラン社員との間で、視線等を連携できる。ベテラン社員の注目箇所を含む支援情報を非ベテラン社員の視界に表示できる。ベテラン社員の注目箇所、視線や知見等をデータや情報にして、非ベテラン社員に伝えることができる。ベテラン社員の技能等を非ベテラン社員に効率的に教示、伝承することができる。これにより、非ベテラン社員の技能や作業効率等の向上が期待でき、現場の業務の品質向上や危険回避等につながり、ベテラン社員の技能等をより活用できる。また、実施の形態によれば、ベテラン社員の教師データの入力や修正、フィードバック学習等についても、少ない手間で実現できる。また、多数のユーザ、多数の現場に適用することができ、学習により効率を高めることができる。

【0117】

［変形例］
実施の形態の技能伝承システムの変形例として以下も可能である。この変形例では、第２ユーザＵＢの第２視線データＤ２４を利用して、第２ユーザＵＢの注目箇所を判定する。操作機器２Ｂもしくはサーバ３は、第２視線データＤ２４を用いて、第２画像内の視点を判断し、例えば凝視時間を判断し、第２ユーザＵＢの注目箇所を判定する。サーバ３は、その第２ユーザＵＢの注目箇所の情報をＤＢに登録する。また、第２ユーザＵＢの入力操作に基づいて、第２ユーザＵＢの注目箇所の情報をＤＢに登録してもよい。

【0118】

サーバ３は、第１ユーザＵＡの注目箇所の情報と、第２ユーザＵＢの注目箇所の情報と、両者の差異の情報とを、ＤＢに記録する。各ユーザは、管理端末４でその差異の情報を表示して確認することができ、知見として活用することができる。サーバ３は、例えば両者の差異が大きい箇所の情報や、両者の差異が小さい箇所の情報を出力することができる。即ち、各ユーザは、第１ユーザＵＡは注目しているが第２ユーザＵＢは注目していない箇所や、第１ユーザＵＡは注目していないが第２ユーザＵＢは注目している箇所、等を確認できる。

【0119】

以上、本発明を実施の形態に基づき具体的に説明したが、本発明は前記実施の形態に限定されず、その要旨を逸脱しない範囲で種々変更可能である。

【符号の説明】

【0120】

１，１Ａ，１Ｂ…眼鏡端末、２，２Ａ，２Ｂ…操作機器、３…サーバ、４…管理端末、５…通信ケーブル、６…通信網、７…眼、９，９Ａ，９Ｂ…現場、ＵＡ…第１ユーザ、ＵＢ…第２ユーザ。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】