特開 2025-27566 視線追跡システム、視線追跡方法、および視線追跡プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2025027566

(43)【公開日】2025-02-28

(54)【発明の名称】視線追跡システム、視線追跡方法、および視線追跡プログラム

(51)【国際特許分類】

   G06T 19/00 20110101AFI20250220BHJP

【ＦＩ】

G06T19/00 600

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2023132422

(22)【出願日】2023-08-16

(71)【出願人】

【識別番号】000004123

【氏名又は名称】ＪＦＥエンジニアリング株式会社

(71)【出願人】

【識別番号】519250327

【氏名又は名称】株式会社ＸＭＡＴ

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】服部 公紀

(72)【発明者】

【氏名】白井 利昌

(72)【発明者】

【氏名】杉原 理美

(72)【発明者】

【氏名】青木 丈彦

(72)【発明者】

【氏名】面 政也

【テーマコード（参考）】

5B050

【Ｆターム（参考）】

5B050BA09

5B050CA07

5B050DA04

5B050EA07

5B050EA12

5B050EA19

5B050FA05

5B050FA10

(57)【要約】      （修正有）

【課題】種々の作業者が注目する部分の注目度を、高い実感度で確認する視線追跡システム、視線追跡方法及び視線追跡プログラムを提供する。
【解決手段】視線追跡システムによる視線追跡方法は、熟練者などのユーザが視聴操作端末を装着して、機械設備などの実体物である観測対象に対して検査作業を行い視線情報を取得し、観測対象を検査して必要であると考える個所に対して、検査し注視を行うユーザの視線を追跡する視線追跡処理を開始し、視線データの作成準備である視点確認処理を開始し、教育者である熟練者が、視聴操作端末を装着して、観測対象または観測対象の３次元オブジェクトを観察して点検や検査を行い視線データを作成し、視線データを記憶部の視線情報データベースに格納する。
【選択図】図３

【特許請求の範囲】

【請求項1】

ユーザの視線を追跡する視線追跡システムであって、
前記ユーザの視線情報を取得し、取得した当該視線情報を用いて前記ユーザが注目している少なくとも１つの領域と前記領域に対する注目度を導出し、導出結果を前記ユーザが視認している観測対象または所定の撮像手段によって撮像された前記観測対象の画像に重畳させる
視線追跡システム。

【請求項2】

前記視線情報は、所定の原点に対して設定された３次元空間において前記対象物の表面に規定された３次元メッシュと、前記ユーザの視線または前記撮像手段による撮像方向との交点座標に基づいて生成される情報である
請求項１に記載の視線追跡システム。

【請求項3】

前記観測対象は、実空間における実オブジェクト、または仮想的に生成された観測対象オブジェクトであり、
前記交点座標は、前記実体物の表面または前記観測対象オブジェクトにおける外面部分の位置座標を基準として設定される
請求項２に記載の視線追跡システム。

【請求項4】

前記視線情報は、前記ユーザの視線もしくは前記撮像手段による撮像が滞留した時間、または前記ユーザの視線が向いた、もしくは前記撮像手段による撮像が行われた回数の情報を含む
請求項１に記載の視線追跡システム。

【請求項5】

前記導出結果における、前記対象物または前記対象物の画像への重畳を、導出結果オブジェクトを用いて行う
請求項１に記載の視線追跡システム。

【請求項6】

前記導出結果オブジェクトは、色、形状、または大きさによって前記導出結果を表現する
請求項５に記載の視線追跡システム。

【請求項7】

前記視線情報または前記導出結果オブジェクトが、異なる複数の端末によってアクセス可能な記憶部に格納されて、前記複数の端末において即時または適時に共有可能に構成される
請求項５または６に記載の視線追跡システム。

【請求項8】

前記視線情報とあらかじめ生成された教育情報とに基づいて前記視線情報を評価し、
前記評価によって導出された評価結果を前記ユーザに通知する
請求項１に記載の視線追跡システム。

【請求項9】

ハードウェアを有するプロセッサが実行する視線追跡方法であって、
ユーザの視線を追跡する前記ユーザの視線情報を取得し、
取得した当該視線情報を用いて前記ユーザが注目している少なくとも１つの領域と前記領域に対する注目度を導出し、
導出結果を前記ユーザが視認している対象物または所定の撮像手段によって撮像された前記対象物の画像に重畳させる
視線追跡方法。

【請求項10】

ハードウェアを有するプロセッサに、
ユーザの視線を追跡することによって前記ユーザの視線情報を取得し、
取得した当該視線情報を用いて前記ユーザが注目している少なくとも１つの領域と前記領域に対する注目度を導出し、
導出結果を前記ユーザが視認している対象物または所定の撮像手段によって撮像された前記対象物の画像に重畳させる
ことを実行させる視線追跡プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、視線追跡システム、視線追跡方法、および視線追跡プログラムに関する。

【背景技術】

【0002】

特許文献１には、左右方向の撮影位置を変えて対象物を撮影することで得られた複数の参照画像を記憶した参照画像データベースと、アイトラッキング装置から入力されたシーン画像の特徴点を抽出した後、参照画像データベースに記憶している参照画像ごとに、シーン画像と参照画像の特徴点を利用して、シーン画像の特徴点と参照画像の特徴点とを対応付けすることで、シーン画像と参照画像間における対応点を探索する処理を行い、対応点の探索結果に基づいて参照画像を選択する対応点探索手段と、対応点探索手段が選択した参照画像にかかる対応点を用いて、注視点を対象物の基準画像上の座標に変換する処理を行う注視点変換手段を備える注視点変換装置が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１４－１８６７２０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上述した従来の構成においては、視線解析結果を情報処理装置の表示部に表示させて確認する必要があった。例えば、対象物を手に取って検査する熟練者の視線を追跡した結果の情報を情報処理装置の表示部に表示させて未熟練者が視聴しても、注視すべき視点ポイントが表示された映像を眺めるに過ぎないという制約があった。この場合、未熟練者などの教育対象者は、所定の技術における熟練者の技能に関する知識を映像や画像から得ることはできる一方、追体験の実感度を向上させることが困難であった。そのため、従来の視線追跡を用いた技術では、未熟練者などの教育対象者において臨場感が低く、技能に関する教育効果が限定されるという問題があった。そこで、例えば熟練者である教育者などのユーザや、未熟練者である教育対象者などの種々のユーザが注目する部分の注目度を、高い実感度で確認できる技術が求められていた。

【0005】

本発明は、上記に鑑みてなされたものであって、その目的は、種々のユーザが注目する部分の注目度を、高い実感度で確認することができる視線追跡システム、視線追跡方法、および視線追跡プログラムを提供することにある。

【課題を解決するための手段】

【0006】

上述した課題を解決し、上記目的を達成するために、本発明に係る視線追跡システムは、ユーザの視線を追跡する視線追跡システムであって、前記ユーザの視線情報を取得し、取得した当該視線情報を用いて前記ユーザが注目している少なくとも１つの領域と前記領域に対する注目度を導出し、導出結果を前記ユーザが視認している観測対象または所定の撮像手段によって撮像された前記観測対象の画像に重畳させる。

【0007】

本発明の一態様に係る視線追跡システムは、上記の発明において、前記視線情報は、所定の原点に対して設定された３次元空間において前記対象物の表面に規定された３次元メッシュと、前記ユーザの視線または前記撮像手段による撮像方向との交点座標に基づいて生成される情報である。

【0008】

本発明の一態様に係る視線追跡システムは、上記の発明において、前記観測対象は、実空間における実オブジェクト、または仮想的に生成された観測対象オブジェクトであり、前記交点座標は、前記実体物の表面または前記観測対象オブジェクトにおける外面部分の位置座標を基準として設定される。

【0009】

本発明の一態様に係る視線追跡システムは、上記の発明において、前記視線情報は、前記ユーザの視線もしくは前記撮像手段による撮像が滞留した時間、または前記ユーザの視線が向いた、もしくは前記撮像手段による撮像が行われた回数の情報を含む。

【0010】

本発明の一態様に係る視線追跡システムは、上記の発明において、前記導出結果における、前記対象物または前記対象物の画像への重畳を、導出結果オブジェクトを用いて行う。

【0011】

本発明の一態様に係る視線追跡システムは、上記の発明において、前記導出結果オブジェクトは、色、形状、または大きさによって前記導出結果を表現する。

【0012】

本発明の一態様に係る視線追跡システムは、上記の発明において、前記視線情報または前記導出結果オブジェクトが、異なる複数の端末によってアクセス可能な記憶部に格納されて、前記複数の端末において即時または適時に共有可能に構成される。

【0013】

本発明の一態様に係る視線追跡システムは、上記の発明において、前記視線情報とあらかじめ生成された教育情報とに基づいて前記視線情報を評価し、前記評価によって導出された評価結果を前記ユーザに通知する。

【0014】

本発明に係る視線追跡方法は、ハードウェアを有するプロセッサが実行する視線追跡方法であって、ユーザの視線を追跡する前記ユーザの視線情報を取得し、取得した当該視線情報を用いて前記ユーザが注目している少なくとも１つの領域と前記領域に対する注目度を導出し、導出結果を前記ユーザが視認している対象物または所定の撮像手段によって撮像された前記対象物の画像に重畳させる。

【0015】

本発明に係る視線追跡プログラムは、ハードウェアを有するプロセッサに、ユーザの視線を追跡することによって前記ユーザの視線情報を取得し、取得した当該視線情報を用いて前記ユーザが注目している少なくとも１つの領域と前記領域に対する注目度を導出し、導出結果を前記ユーザが視認している対象物または所定の撮像手段によって撮像された前記対象物の画像に重畳させることを実行させる。

【発明の効果】

【0016】

本発明に係る視線追跡システム、視線追跡方法、および視線追跡プログラムによれば、種々の作業者が注目する部分の注目度を、高い実感度で確認することが可能となる。

【図面の簡単な説明】

【0017】

【図1】図１は、本発明の一実施形態による視線追跡システムの概略構成を示す模式図である。

【図2】図２は、本発明の一実施形態による視聴操作端末の機能構成を示すブロック図である。

【図3】図３は、本発明の一実施形態による視線追跡システムによる視線追跡方法を説明するためのフローチャートである。

【図4】図４は、本発明の一実施形態による視線追跡システムによる視線追跡方法を説明するためのフローチャートである。

【図5】図５は、本発明の一実施形態による視聴操作端末を装着したユーザ（教育者）が対象物を見た場合の視点タイルが重畳された状態を示す図である。

【図6】図６は、本発明の一実施形態による視聴操作端末を装着したユーザ（教育対象者）が対象物を見た場合の視点タイルが重畳された状態を示す図である。

【図7】図７は、本発明の一実施形態による視聴操作端末の投影部の表示画面に表示された試験結果やコメントの表示例を示す図である。

【発明を実施するための形態】

【0018】

以下、本発明の一実施形態について図面を参照しつつ説明する。なお、以下の一実施形態の全図においては、同一または対応する部分には同一の符号を付す。また、本発明は以下に説明する一実施形態によって限定されるものではない。

【0019】

まず、本発明の実施形態を説明するにあたり、本発明の理解を容易にするために、本発明者が上記課題を解決するために行った鋭意検討について説明する。まず、本発明者の知見によれば、従来の視線追跡においては、視線解析結果をパソコンなどのディスプレイ上で確認する必要があり、臨場感が少なく、教育効果が限定されるという問題があった。例えば、対象物を手に取って検査する熟練者の視線追跡結果をパソコンなどのディスプレイ上で未熟練者が視聴しても、注視すべき視点ポイントが表示された教育ビデオを眺めるに過ぎず、知識は得られるものの、教育効果が高いとは言えない。教育対象者の追体験の実感度が低いという問題がある。また、被験者の移動が含まれるような視線追跡の場合、被験者ごとに移動状況や頭の向け方が大きく異なるため、視線追跡結果の比較が難しくなる問題がある。具体的には、さらに、被験者の移動が含まれるような視線追跡の場合、被験者が全て同じ場所で立ち止まることは保証されず、移動速度が異なるなど比較対象に共通な場面を得ることが困難であった。

【0020】

そこで、本発明者は、所定の技能における熟練者などの教育者や未熟練者などの教育対象者が注視した視点を、３次元位置情報として記録可能な技術を案出することによって、臨場感が高く、技能を教育する際の教育効果を向上する方法を想到した。さらに、本発明者は、教育者が実際の現場を訪れたり対象物を手に持ったり対象物を３次元オブジェクトとした状態で、熟練者の注目ポイントを高い臨場感で実現させて、高い教育効果を得ることを想到した。これにより、教育者が注目している領域を教育対象者が注目すべき領域として定めることができる。ここで、領域とは対象物に対して教育者や教育対象者が向ける視線の注視点または移動線に沿った所定形状の平面で規定する設定可能な所定面積を有する範囲などにすることができる。熟練者が領域を注視して通過した通過回数などを用いて、未熟練者に対する教育効果を採点したりすることができる。以下に説明する一実施形態は本発明者による以上の鋭意検討により案出されたものである。

【0021】

まず、本発明の一実施形態による視線追跡システムについて説明する。図１は、この一実施形態による視線追跡システムの概略構成を示す模式図である。

【0022】

（視線追跡システムの構成）
図１に示すように、視線追跡システム１は、ユーザが装着したり使用したりする視聴操作端末２０（２０Ａ，２０Ｂ）を備える。視線追跡システム１は、ネットワーク２を介して接続された処理サーバ１０をさらに備えても良い。この場合、視聴操作端末２０は、ネットワーク２を介して処理サーバ１０と通信可能である。なお、本明細書において、視聴操作端末とは、例えばスマートフォンやヘッドセットなどのユーザが装着可能または使用可能で仮想画像を視認可能なデバイスを意味する。また、複数の視聴操作端末２０Ａ，２０Ｂを用いることによって、複数のユーザによって臨場感を得ながら視点の確認を行うことができる。

【0023】

ネットワーク２は、有線通信や無線通信が適宜組み合わされて構成され、インターネット回線網や携帯電話回線網などの通信網から構成される。ネットワーク２は、例えば、専用線、インターネットなどの公衆通信網、例えばＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）、携帯電話などの電話通信網や公衆回線、ＶＰＮ（Virtual Private Network）などの一または複数の組み合わせからなる。処理サーバ１０と視聴操作端末２０とは、ネットワーク２を介して接続されている。

【0024】

処理サーバ１０は、視聴操作端末２０からの各種情報を収集して、対象物における形状の画像データや動画データを取得したり、画像データや動画データを生成して視聴操作端末２０に送信したりする。なお、動画データは複数の画像データとして扱うことができるので、画像データは動画データの概念を含む。

【0025】

処理サーバ１０は、制御部１１、通信部１２、および記憶部１３を備える。なお、処理サーバは入出力部を備えていても良い。この場合、入出力部は、例えば、タッチパネルディスプレイ、スピーカマイクロホン、ボタン、スイッチ、ジョグダイヤルなどから構成しても良い。出力部としての入出力部は、制御部１１による制御に従って、液晶ディスプレイ、有機ＥＬディスプレイ、またはプラズマディスプレイなどのディスプレイの画面上に、文字や図形などを表示したり、スピーカから音声を出力したりして、所定の情報を外部に通知するように構成可能である。入出力部は、印刷用紙などに所定の情報を印刷することによって出力するプリンタを含む。記憶部１３に格納された各種情報は、例えば所定の事務所などに設置された入出力部のディスプレイなどで確認することができる。入力部としての入出力部は、例えば、キーボードや入出力部の内部に組み込まれて表示パネルのタッチ操作を検出するタッチパネル式キーボード、外部との間の通話を可能とする音声入力デバイス、スイッチ、またはジョグダイヤルなどから選択されて構成される。処理サーバ１０の入出力部から所定の情報を入力することにより、視聴操作端末２０に対して遠隔による制御も可能である。

【0026】

制御部１１は、具体的に、ＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＦＰＧＡ（Field-Programmable Gate Array）などのプロセッサ、およびＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）などの主記憶部を備える。

【0027】

通信部１２は、例えば、ＬＡＮ（Local Area Network）インターフェースボードや、無線通信のための無線通信回路などであり、有線通信または無線通信可能な通信モジュールを用いて構成される。ＬＡＮインターフェースボードや無線通信回路は、公衆通信網であるインターネットなどのネットワーク２に接続できる。また、通信部１２は、所定の通信規格、例えば、４Ｇ、５Ｇ、Ｗｉ－Ｆｉ（Wireless Fidelity）（登録商標）およびＢｌｕｅｔｏｏｔｈ（登録商標）などに従って、外部と通信可能としても良い。通信部１２は、ネットワーク２に接続して、視聴操作端末２０などと通信を行うことが可能である。

【0028】

記憶部１３は、ＲＡＭなどの揮発性メモリ、ＲＯＭなどの不揮発性メモリ、ＥＰＲＯＭ（Erasable Programmable ROM）、ハードディスクドライブ（ＨＤＤ、Hard Disk Drive）、およびリムーバブルメディアなどから選ばれた記憶媒体から構成される。なお、リムーバブルメディアは、例えば、ＵＳＢ（Universal Serial Bus）メモリ、または、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、もしくはＢＤ（Blu-ray（登録商標） Disc）のようなディスク記録媒体である。また、外部から装着可能なメモリカードなどのコンピュータ読み取り可能な記録媒体を用いて記憶部１３を構成しても良い。これにより、記憶部１３のデータを処理サーバ１０に対して送受信可能で、かつ着脱可能に構成することができる。また、処理サーバ１０の記憶部１３に格納された情報を、例えばＳＤカードやＵＳＢメモリなどによって他の装置、例えば後述する視聴操作端末２０との間でデータをやり取り可能に構成できる。さらに、ローカルＷｉ－Ｆｉを用いた通信によって記憶部１３と他の装置、例えば後述する視聴操作端末２０の記憶部とにおいて情報の送受信を行うことも可能である。

【0029】

記憶部１３には、処理サーバ１０の動作を実行するための、オペレーティングシステム（Operating System：ＯＳ）、各種プログラム、各種テーブル、各種データベースなどが記憶可能である。ここで、各種プログラムには、本実施形態による視線処理プログラムや対象物画像生成プログラムも含まれる。これらの各種プログラムは、ハードディスク、フラッシュメモリ、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、フレキシブルディスクなどのコンピュータ読み取り可能な記録媒体に記録して広く流通させることも可能である。

【0030】

制御部１１は、記憶部１３に格納されたプログラムを主記憶部の作業領域にロードして実行し、プログラムの実行を通じて各構成部などを制御する。これにより、制御部１１は、所定の目的に合致した機能、具体的には視線処理部１１１および対象物画像生成部１１２の機能を実現できる。記憶部１３には、視線情報データベース１３１が格納されている。なお、視線情報データベース１３１を用いた教育システムなどを構築する場合には、教育情報データベースなどを格納することも可能である。視線処理部１１１および対象物画像生成部１１２による処理、ならびに視線情報データベース１３１の詳細については、後述する。

【0031】

視線追跡システム１において、ネットワーク２を介して、複数の視聴操作端末２０Ａ，２０Ｂの各々を相互に通信可能にしても良い。また、ネットワーク２を介して、視聴操作端末２０Ａ，２０Ｂと通信可能な他のサーバを備えていても良い。

【0032】

（視聴操作端末）
次に、視聴操作端末２０の構成について説明する。図２は、視聴操作端末２０の機能構成を示すブロック図である。

【0033】

図２に示すように、視線追跡システム１を構成する視聴操作端末２０Ａ，２０Ｂは、例えばHoloLens（登録商標）（マイクロソフト社製）などの、いわゆる複合現実（ＭＲ：Mixed Reality）のためのＨＭＤ（Head Mounted Display）であったり、拡張現実（ＡＲ：Augmented Reality）を行うためのＡＲグラスなどであったりする。すなわち、視線追跡システム１としては、現実空間と仮想空間とを重ね合わせた拡張現実空間（ＡＲ）や複合現実空間（ＭＲ）を主として採用し、ユーザの行動に合わせて、所定の情報をユーザに視認可能に出力したり、ユーザのジェスチャなどによって仮想的なデジタルコンテンツを操作可能に出力したりするシステムである。ユーザは、ゴーグルなどを装着して現実の空間が透過状態、すなわちシースルーで表示されたものに、画像が重畳表示された情報を視認できる。換言すると、現実に存在する対象物の形や位置などの現実世界の形状などを視聴操作端末２０Ａ，２０Ｂが把握して、視聴操作端末２０Ａ，２０Ｂが把握した現実世界の形状に生成されたデジタル画像が重畳される。これによって、ユーザはＭＲ空間を体験可能であり、仮想情報が現実空間に重畳されてユーザに視認可能となる。なお、視線追跡システム１として、仮想空間内に現実を投影した仮想現実（ＶＲ：Virtual Reality）空間（ＶＲ）を採用することも可能である。

【0034】

視聴操作端末２０は、ユーザに対して仮想世界（デジタル空間）に現実世界を重ね合わせた立体視できる画像、映像、および文字情報などを表示する。視聴操作端末２０は、視線追跡機能を有し、かつ拡張現実を投影可能な視聴操作端末からなる。視聴操作端末２０は、ユーザの視野領域内に画像、映像、および文字情報などを仮想的に表示可能である。なお、本明細書において、仮想的な画像、映像、および文字情報などを、仮想画像と総称することもある。

【0035】

図２に示すように、視線追跡装置としての視聴操作端末２０は、制御部２１、通信部２２、記憶部２３、投影部２４、位置取得センサ２５、装着センサ２６、視線センサ２７、および撮像装置２８を備える。なお、視聴操作端末２０は、音声入力装置や操作部を備えていても良い。音声入力装置としては、マイクロフォン、マイクロフォンに入力された音声を音声データに変換するＡ／Ｄ変換回路、および音声データを増幅するアンプ回路を用いて構成され、ユーザの音声の入力を受け付け、受け付けた音声に応じた音声データを制御部２１に出力可能に構成できる。また、操作部は、ユーザの操作の入力を受け付け、受け付けた操作に応じた信号を制御部２１に出力する。操作部は、ボタン、スイッチ、ジョグダイヤル、またはタッチパネルなどを用いて構成できる。

【0036】

図２に示すように、制御部２１は、物理的には、上述した制御部１１などと同様の構成を有し、メモリと、ＣＰＵ、ＧＰＵ、ＦＰＧＡ、ＤＳＰ、およびＡＳＩＣなどのいずれかのハードウェアを有するプロセッサを用いて構成される。制御部２１は、視聴操作端末２０を構成する各部の動作を制御する。制御部２１は、取得部２１１、判定部２１２、生成部２１３、および出力制御部２１４を備える。一実施形態においては、制御部２１を視線追跡システム１のプロセッサとして機能させることが可能である。

【0037】

取得部２１１は、通信部２２およびネットワーク２を介して、処理サーバ１０から例えば視線情報などの各種情報を取得する。また、取得部２１１は、記憶部２３、投影部２４、位置取得センサ２５、装着センサ２６、視線センサ２７、および撮像装置２８から各種情報を取得することができる。例えば、取得部２１１は、ユーザの身体情報、ユーザ情報、および位置情報などから、必要な情報を取得できる。ユーザの身体情報は、挙動を示す挙動情報、ユーザ情報、および視線情報などを含む。なお、取得部２１１は、通信部２２およびネットワーク２を介して、外部のサーバから各種情報を取得することも可能である。

【0038】

判定部２１２は、取得部２１１が取得した各種情報に基づいて、判定を行う。具体的に、判定部２１２は、例えば、ユーザの身体情報、主に視線情報に基づいた動作データの入力の有無などを判定できる。また、判定部２１２は、視聴操作端末２０の取得部２１１から所定の情報、例えば原点画像が入力されたか否かを判定しても良い。また、判定部２１２は、所定の入出力データセットを用いた機械学習によって生成された、判定を行う入力パラメータと判定結果を示す出力パラメータとを含む学習済みモデルや学習モデルを有していても良い。この場合、判定部２１２は、入力された入力パラメータを学習済みモデルに入力して得られた出力パラメータに基づいて、所定の判定を行うことができる。

【0039】

生成部２１３は、ユーザの視点から視認可能な例えば操作パネルやアイコンなどの仮想オブジェクトを生成する。制御部２１の出力制御部２１４は、視線センサ２７が検出したユーザの視線情報や、記憶部２３に格納されたプログラムに基づいて、ユーザ所定の仮想画像を投影部２４に出力させる。投影部２４は、自然光を透過可能な媒体からなる。すなわち、出力制御部２１４は、実空間を視認可能な状態で、ユーザが視認している実空間に重畳させるように仮想画像を投影部２４に出力する。換言すると、出力制御部２１４は、生成部２１３によって生成された仮想画像の投影部２４への出力を制御する。なお、生成部２１３が生成する仮想画像の詳細については後述する。

【0040】

通信部２２は、無線通信可能な通信モジュールを用いて構成される。通信部２２は、制御部２１の制御のもと、上述した所定の通信規格に従って、各種情報を処理サーバ１０との間で送受信する。

【0041】

記憶部２３は、物理的には上述した記憶部１３と同様の構成を有する。記憶部２３には、視線情報データベース２３１が格納されている。視線情報データベース２３１は、処理サーバ１０の記憶部１３における視線情報データベース１３１と同様のデータベースであり、相互に同期可能である。

【0042】

表示部としての投影部２４は、自然光を透過可能に構成されたシースルーの媒体から構成される。投影部２４は、制御部２１の制御のもと、仮想画像を視聴操作端末２０Ｂのレンズに投影することによって表示させるものでも良い。この場合、投影部２４は、所定の視差を有する左右一対の表示パネルなどを用いて構成される。表示パネルとしては、液晶または有機ＥＬ（Electro Luminescence）などや、スマートフォンなどの表示画面を用いて構成される。

【0043】

位置取得センサ２５は、３軸ジャイロセンサ、３軸加速度センサ、および３軸地磁気センサ（電子コンパス）などを備えて構成可能である。位置取得センサ２５は、例えば２次元コードなどのあらかじめ設定された情報を含む画像（以下、原点画像）を読み込んで制御部２１に出力する。制御部２１は、２次元コードなどの原点画像を判定部２１２によって判定して認識する。制御部２１は、取得した原点画像を、以後で取得する視線位置座標の原点として設定可能である。原点画像を起点として３次元の方向を設定することにより、位置取得センサ２５は、視聴操作端末２０の視線の位置を３次元空間における座標として算出できるので、制御部２１は、視聴操作端末２０の装着者の視線の先の位置情報を生成可能である。すなわち位置取得センサ２５は、原点Ｏが設定された位置からの相対的な視聴操作端末２０の位置情報を算出し、算出した位置情報を制御部２１に出力する。装着センサ２６は、ユーザの装着状態を検出し、検出結果を制御部２１に出力する。なお、位置取得センサ２５は、視聴操作端末２０を装着したユーザの挙動に関する挙動情報を検出する事も可能である。位置取得センサ２５が検出した検出結果は制御部２１に出力される。具体的に、位置取得センサ２５がユーザの挙動を検出する場合には、視聴操作端末２０に生じる角速度および加速度を挙動情報として検出し、検出結果を制御部２１に出力する。さらに、位置取得センサ２５は、地磁気を検出することによって絶対方向を挙動情報として検出し、検出結果を制御部２１に出力することも可能である。

【0044】

視線センサ２７は、視聴操作端末２０を装着したユーザの視線の向きを検出し、検出結果を制御部２１に出力する。視線センサ２７は、光学系、ＣＣＤやＣＭＯＳなどのイメージセンサ、メモリ、およびＣＰＵなどのハードウェアを有するプロセッサを用いて構成される。視線センサ２７は、例えば周知のテンプレートマッチングを用いて、ユーザの例えば目頭などの目の動かない部分を基準点として検出し、かつ、例えば虹彩などの目の動く部分を動点として検出する。視線センサ２７は、これらの基準点と動点との位置関係に基づいてユーザの視線の向きを検出する。視線センサ２７は、装着者であるユーザの視線を追跡し、上述した２次元コードからなる原点画像を原点として、上述した３次元メッシュと視線との交点座標（視点座標ともいう）を記録する。その際、視線の累積滞留時間や同じ場所に視線を向けた回数などの視線情報も記憶部２３の視線情報データベース２３１に格納できる。なお、３次元メッシュ以外の方法によって交点座標を導出することも可能であり、原点画像からの相対的な位置に基づいて交点座標を導出することも可能である。

【0045】

撮像手段としての撮像装置２８は、視聴操作端末２０に少なくとも１つ設けられる。撮像装置２８は、制御部２１の制御のもと、ユーザの視線の先を撮像した撮像データを生成し、この撮像データを制御部２１に出力する。撮像装置２８は、１つまたは複数のレンズから構成される光学系と、ＣＣＤやＣＭＯＳなどのイメージセンサなどを用いて構成されるが限定されない。なお、撮像装置２８を設けない構成にする事も可能である。視聴操作端末２０は、装着者であるユーザの周辺、例えばユーザの視野領域を撮像およびセンシングして、３次元メッシュ空間を常時または逐次生成して記憶部２３に格納する。具体的に例えば、撮像装置２８は、ユーザの近傍における対象物をメッシュ化可能に構成される。

【0046】

ユーザの動作は、撮像装置２８によって撮像された撮像画像が制御部２１の判定部２１２によって判定されたり、位置取得センサ２５によって検出されたりすることによって制御部２１によって把握可能である。また、制御部２１の取得部２１１は、ユーザが向いている向きや相対的な位置情報を取得可能であり、これらの情報を視線情報として取得できる。

【0047】

（視線追跡方法）
次に、本実施形態による視線追跡システム１における視線追跡方法について説明する。
図３は、視線追跡システム１が実行する処理の概要を示すフローチャートである。以下の説明において、各種の情報の送受信は、処理サーバ１０の通信部１２と視聴操作端末２０の通信部２２との間で、直接的またはネットワーク２を介して行われるが、この点についての都度の説明は省略する。また、視聴操作端末２０の制御部２１による各種処理は、処理サーバ１０の制御部１１が代替して実行しても良い。この場合、視線に関する処理は視線処理部１１１が実行し、各種画像の生成は、対象物画像生成部１１２が実行する。

【0048】

図３に示すフローチャートは、例えば検査技術の熟練者などのユーザが視聴操作端末２０を装着して実行する。図３に示すように、まず、ステップＳＴ１において、例えば熟練者などのユーザによる視線情報を取得する。すなわち、ユーザが視聴操作端末２０を装着して、例えば機械設備などの実体物である観測対象１００（図５参照）に対して検査作業を行う。ここで、実オブジェクトである観測対象１００の近傍に、空間座標系の原点Ｏとなる原点画像として２次元コードをあらかじめ設置しておく。視聴操作端末２０を装着したユーザが２次元コードに視線を向けると、視聴操作端末２０の撮像装置２８が２次元コードを撮像する。ここで、ユーザの視線を向けた先の位置は、視線センサ２７により測定される。制御部２１の取得部２１１は、取得した２次元コードの画像データを判定部２１２に出力する。判定部２１２は２次元コードを解析して認識に問題がないかを確認して、確認結果を生成部２１３に出力する。生成部２１３は２次元コードの位置を原点Ｏとして設定するとともに、３次元空間のＸ座標軸、Ｙ座標軸、およびＺ座標軸を設定して、３次元空間に固定させる。これにより、視聴操作端末２０の撮像装置２８が撮像可能な範囲における３次元空間の位置座標（ｘ，ｙ，ｚ）を定義されて関連付けされる。

【0049】

その後、ステップＳＴ２において視線追跡システム１は、ユーザの視線を追跡する視線追跡処理を開始する。例えば熟練者であるユーザは、観測対象１００を検査して必要であると考える個所に対して、検査し注視を行う。視線処理部１１１は、ユーザの視線に関する視線情報と３次元情報に基づいた３次元空間との交点を交点座標とする。このとき、判定部２１２は、ユーザの視線が所定時間以上滞留した個所における位置座標（ｘ，ｙ，ｚ）を交点座標と判定する。所定時間については、視線追跡システム１の使用者が任意に設定可能である。

【0050】

また、注目度として設定可能なユーザの視線が滞留した滞留時間を累積させた累積滞留時間は、撮像装置２８によって取得した撮像データにおけるフレーム数に基づいて導出可能である。すなわち、制御部２１や視線処理部１１１は、撮像装置２８が撮像した実空間の撮像可能領域に対して３次元メッシュを設定し、それぞれの３次元メッシュに視線が滞留した撮像データにおけるフレーム数に基づいて累積滞留時間を計測できる。

【0051】

また、実空間の撮像可能領域に設定された３次元メッシュに対して視線が通過した回数（通過回数）を導出する。すなわち、制御部２１や視線処理部１１１は、撮像装置２８が撮像した実空間の撮像可能領域に設定された３次元メッシュのそれぞれに対して、ユーザの視線が通過した回数を撮像データにおけるフレーム数に基づいて計測できる。視線の通過回数も注目度として設定可能である。

【0052】

判定部２１２は、交点座標、累積滞留時間、および通過回数を関連付けて視線情報として生成して、記憶部２３の視線情報データベース２３１に格納する。なお、視線情報を、交点座標および累積滞留時間から構成しても良く、交点座標および通過回数から構成しても良い。制御部２１は、交点座標の取得、累積滞留時間および通過回数の少なくとも一方の計測を繰り返し実行して、生成した視線情報を記憶部２３に格納する処理を、視線追跡処理が終了するまで繰り返し実行する。この際、必要に応じて、観測対象１００の外観に関する情報も取得する。観測対象１００に対するユーザによる一連の検査が終了した段階で、視線追跡処理を終了する。なお、視線追跡処理の実行中に、後述する視点タイル１２０の生成および拡張現実空間への投影を行っても良い。

【0053】

次に、ステップＳＴ３に移行して制御部２１は、視線データの作成準備、すなわち視点確認処理を開始する。制御部２１は、ステップＳＴ１，ＳＴ２において視線情報を格納した記憶部２３の視線情報データベース２３１から視線情報を読み出す。

【0054】

視点確認処理において、制御部２１の生成部２１３は、ユーザが視線を向けた位置に対応する観測対象１００の部分に重畳表示できるように、例えば四角形状（矩形状）で薄いタイルのオブジェクト（以下、視点タイル）を生成する。図５は、本実施形態による視聴操作端末２０を装着したユーザ（教育者）が対象物を見た場合の視点タイルが重畳された状態を示す図である。生成部２１３は、視線情報に基づいて、図５に示す２次元コードを原点Ｏとして視点タイル１２０を生成する。なお、処理サーバ１０において視点タイル１２０を生成する場合には、対象物画像生成部１１２により生成される。

【0055】

生成部２１３は、生成した視点タイル１２０を出力制御部２１４の制御によって投影部２４に投影する。換言すると、視点追跡として上述した交点座標に視線が当たったことを、オブジェクトによって複合現実空間として投影部２４に投影して表示する。これにより、図５に示すように、ステップＳＴ２においてユーザが観測対象１００に対して視線を向けた位置に重畳させて視点タイル１２０が表示される。なお、導出結果オブジェクトとしての視点タイル１２０は必ずしも矩形状に限定されず、円形状、楕円形状、三角形形状、多角形形状など種々の形状に設定変更可能であり、視点タイル１２０の大きさについても種々の大きさに設定変更可能である。すなわち、例えば視点タイル１２０の大きさを大きくしたり、小さくしたり、これらの中間の大きさにしたりして、いわゆる大中小の大きさに変更して表示することや、形状を変化させることが可能である。このように、大きさを変更させたり形状を変化させたりして表示することによって、ユーザは導出結果オブジェクトの大きさや形状の変化に基づいて、結果の重要度などを視覚的に認識することができる。さらに、視点タイル１２０に限定されず、投影部２４に数値を直接表示したり記号を表示したりすることによって、導出結果をユーザが直感的に認識させることも可能である。

【0056】

図５に示す例において視点タイル１２０は、ユーザが視線を向けた位置における観測対象１００の表面に平行な面を拡大した平面として生成可能である。これにより、視聴操作端末２０の装着者であるユーザは、自ら視線を向けた位置を明確に認識でき、視点タイル１２０によって注目すべき個所を認識できる。すなわち、視聴操作端末２０の装着者は、視線が当たった交点座標に生成された視点タイル１２０を認識することにより、どの個所に自分の視線が当たったのかを認識できる、いわゆる視点確認機能を利用できる。ここで、ユーザが不用意に視線を向けた位置における視点タイル１２０は、自動または手動であらかじめ除去することができる。なお、視線の交点座標の集計や視点タイル１２０の表示は、即時的（リアルタイム）に行っても良い。

【0057】

また、視点タイル１２０は複合現実空間として観測対象１００に対して重畳されて投影されていることから、ユーザが移動したり視線を移動させたりしても、観測対象１００と視点タイル１２０との相対関係は変化しない。すなわち、ユーザが視聴操作端末２０の投影部２４によって視認している視点タイル１２０は、観測対象１００に対して固定されて投影される。換言すると、視聴操作端末２０を装着して撮像装置２８によって２次元コードを認識して原点を設定し、現実空間に対して固定された３次元座標が設定されていることにより、ユーザが移動しても、視点タイル１２０の位置が変化しないため、様々な位置から視点タイル１２０を観測して解析できる。これらの視点タイル１２０の表示位置や視点タイル１２０の形状などの情報は、ユーザの視線データとして記憶部２３の視線情報データベース２３１に格納される。なお、処理サーバ１０に格納される場合には、ユーザの視線データは、記憶部１３の視線情報データベース１３１に格納される。

【0058】

さらに、取得部２１１は、ユーザが繰り返し視線を向けた位置に、視線がどの程度滞留したかの滞留時間を累積した累積滞留時間を取得する。ここで、累積滞留時間は具体的に、任意に指定した例えば１／６０秒程度の微小時間Δｔごとに３次元座標（ｘ，ｙ，ｚ）を記録し、指定した空間範囲のカウント数の合計に基づいて色分けを行うように導出することが可能である。判定部２１２は、交点座標での視線の累積滞留時間に応じて、交点座標の情報を記憶部２３に格納するか否かを判定する。判定部２１２が、所定の交点座標における視線の累積滞留時間が所定時間未満、例えば３秒未満である場合、交点座標の情報を記憶部２３に格納しない判定を行う。反対に、判定部２１２が、所定の交点座標における視線の累積滞留時間が所定時間以上、例えば３秒以上である場合、交点座標の情報を記憶部２３に格納する判定を行い、交点座標の情報を記憶部２３の視線情報データベース２３１に格納する。

【0059】

生成部２１３は、交点座標における視線の累積滞留時間に応じて、視点タイル１２０の表示色を変化させても良い。ここで、視線の累積滞留時間に応じた視点タイル１２０の色としては例えば、３秒以下の短時間の場合は薄青色、３秒を超えて５秒以下の場合は緑色、５秒を超えて２０秒以下の場合は黄色、２０秒を超えた場合は赤色（図５中、例えば視点タイル１２０ａなど）とすることができる。このような所定条件に基づいて視点タイル１２０を色分けする処理を、本明細書においてはヒートマップ化といい、得られた視点タイル１２０の集合をヒートマップと称する。これによって、観測対象１００のどの位置にどの程度の累積滞留時間で視線が滞留したかをユーザ自身が認識することが可能となる。また、視点の表示は、タイル状に限定されず平面的なヒートマップとするなどの従来公知の表示も可能である。

【0060】

また、取得部２１１は、ユーザが繰り返し視線を向けた位置に、視線がどの程度通過したかの通過回数を取得する。判定部２１２は、交点座標における３次元メッシュに基づいた視線の通過回数に応じて、交点座標の情報を記憶部２３に格納するか否かを判定しても良い。判定部２１２は、所定の交点座標における視線の通過回数が所定回数以上、例えば３回以上である場合、交点座標の情報を記憶部２３に格納する判定を行い、交点座標の情報を記憶部２３の視線情報データベース２３１に格納する。また、生成部２１３は、交点座標における視線の通過回数に応じて、視点タイル１２０の表示色を変化させても良い。これによって、観測対象１００のどの位置にどの程度の通過回数で視線が通過したかをユーザ自身が認識可能となる。

【0061】

また、図５に示す観測対象１００などの観測対象である対象物は、仮想画像である３次元オブジェクト（３Ｄオブジェクトともいう）からなる観測対象オブジェクトとすることもできる。この場合、観測対象オブジェクトは、対象物画像生成部１１２によって生成することができる。すなわち、取得部２１１が観測対象である観測対象１００の外観の情報を取得して処理サーバ１０に送信する。処理サーバ１０の対象物画像生成部１１２は、視聴操作端末２０から送信された観測対象１００の外観の情報に基づいて、観測対象オブジェクトを生成して、記憶部１３に読み出し可能に格納する。

【0062】

生成された観測対象オブジェクトは、視聴操作端末２０の投影部２４に投影される。上述した視点タイル１２０の観測対象は、現実の物体に限定されず、ＣＡＤデータやスキャニングデータなどの画像データから生成された３次元仮想オブジェクトとすることができる。すなわち、視線追跡対象としては、現実の物体や空間に限らず、ＣＡＤデータなどに基づく電子的な画像データによる３次元オブジェクト、点群、画像、アバターなどの仮想オブジェクトでも良く、仮想オブジェクトについては、静止、移動、または変形するようにしても良い。具体的に例えば、机上や広場などの任意の位置に、観測対象１００に代わって仮想的に観測対象オブジェクトを配置するように投影部２４に投影させ、観測対象オブジェクトの表面として規定された表面座標を空間座標に基づいて設定し、ユーザの視線と観測対象オブジェクトの外面部分の位置座標との交点を、どの部分を注視したかの交点座標とすることができる。観測対象オブジェクトとの交点座標の情報は、記憶部１３に記録したり、制御部１１の視線処理部１１１によって解析したり評価したりすることも可能である。

【0063】

次に、ステップＳＴ３に移行して、視聴操作端末２０を装着した例えば熟練者などのユーザによって視線データの作成が行われる。教育者である熟練者は、視聴操作端末２０を装着して、観測対象１００または観測対象１００の３次元オブジェクトを観察して点検や検査を行う。視聴操作端末２０を装着したユーザは、ステップＳＴ１，ＳＴ２において制御部１１，２１が生成して、観測対象１００に重畳して表示された複数の視点タイル１２０を視認する。熟練者は、投影部２４に投影される、ヒートマップ化されて表示された導出結果オブジェクトである視点タイル１２０に基づいて、注視すべき領域をポイントエリアなどに設定する。ポイントエリアとしては、空間領域に限定されず、点、直線や曲線などの線、平面や曲面などの面、球体や直方体や任意形状の３次元形状のいずれを採用しても良い。なお、ポイントエリアは、後述する試験モードにおける採点の基準となる注目領域となる。

【0064】

具体的に、視聴操作端末２０の投影部２４には、従来公知の仮想的な操作パネルを投影させて表示できる。視聴操作端末２０の装着者であるユーザは、投影部２４に表示された操作パネルを操作することにより、投影部２４に表示された観測対象１００や３次元オブジェクトに対して、所定の操作を行うことができる。所定の操作とは、ポイントエリアの指定や、ポイントエリアに紐付けられた設定理由などを説明するテキストデータ、重要度、重み付け度、点数などの教育情報を入力することなどである。すなわち、視聴操作端末２０を装着したユーザは、操作パネルによってポイントエリアの設定、および設定理由や点数などの種々の教育情報の入力および関連付けを行うことが可能である。なお、必要に応じて、視聴操作端末２０に対して、状態に応じたハプティックフィードバック（触感フィードバック）機能を設けても良い。以上により、ポイントエリアの設定およびポイントエリアへの教育情報の関連付けが行われて、視線データが作成される。

【0065】

次に、ステップＳＴ４に移行する。ステップＳＴ４においては、ステップＳＴ１～ＳＴ３によって行われた視線データを記憶部２３の視線情報データベース２３１に格納する。なお、処理サーバ１０の視線情報データベース１３１は、視聴操作端末２０の視線情報データベース２３１と、適宜同期させることができる。また、処理サーバ１０の視線情報データベース１３１から取得した視線情報を、視聴操作端末２０の視線情報データベース２３１に上書きしたり追記したりすることができる。以上により、視線データの収集処理が終了する。なお、視線データを教育用データとして視線情報データベース２３１に格納することも可能である。これにより、端末としての複数の視聴操作端末２０（２０Ａ，２０Ｂ）が、視線情報データベース２３１にアクセスして視線データを取得することによって、視線データを複数の視聴操作端末２０において、即時、随時、または適時共有することが可能となる。

【0066】

次に、本実施形態による視線追跡方法によって機械設備の検査を行う場合の、熟練者（教育者）の視線情報に基づいた未熟練者（教育対象者）への教育方法について説明する。図４は、本実施形態による視線追跡方法を利用した教育方法の一例を示すフローチャートである。また、図６は、本実施形態による視聴操作端末２０を装着したユーザとして未熟練者（教育対象者）が観測対象１００を見た場合に、観測対象１００に視点タイルが重畳された状態を示す図である。なお、本明細書において熟練者とは、所定の技術に対して所定の判断を行うことが可能な、技術に精通しているユーザを意味するが、どの程度の熟練度のユーザを熟練者と称するかについては、視線追跡システムの使用者などによって任意に設定することが可能である。

【0067】

図４に示すフローチャートは、例えば未熟練者などの教育対象者が視聴操作端末２０を装着するユーザとなる場合の例である。図４に示すように、ステップＳＴ１１においてまず、教育対象者である未熟練者が視聴操作端末２０を装着する。ステップＳＴ１１においてユーザは、投影部２４に投影される操作パネルを操作して、教育メニューを投影部２４に表示させる。ユーザは、仮想的な操作パネルが重畳表示されている空間に対して自らの指や音声などを用いて必要な部分、すなわち教育メニューを指示する。

【0068】

続いて、ステップＳＴ１２に移行して制御部２１の取得部２１１は、ユーザが教育モードを選択し、観測対象物を選択したことを判定すると、制御部２１は記憶部２３の視線情報データベース２３１から、選択された観測対象１００に関連付けされた教育者（熟練者）の視線データを読み出す。その後、ステップＳＴ１３に移行してユーザは、操作パネルを用いてユーザ情報を入力する。ユーザは、仮想的な操作パネルが重畳表示されている空間に対して自らの指や音声などを用いて必要なユーザ情報を入力する。

【0069】

次に、ステップＳＴ１４に移行する。ステップＳＴ１４においては、ユーザが装着した視聴操作端末２０において、読み出した視線データを用いた試験モードにおける未熟練者の視線情報の取得および格納が行われる。すなわち、未熟練者であるユーザが視聴操作端末２０を装着して、例えば観測対象１００の検査作業の試験を行う。

【0070】

図６に示すように、検査対象となる観測対象１００の近傍には、空間座標系の原点Ｏとなる原点画像として２次元コードがあらかじめ設置されている。視聴操作端末２０を装着した未熟練者のユーザが２次元コードを注視すると、視聴操作端末２０の撮像装置２８が２次元コードを撮像する。視聴操作端末２０の制御部２１は、２次元コードの位置を原点Ｏとして設定し、読み出した視線データに合わせて、２次元コードの位置を原点Ｏとした３次元空間のＸ座標軸、Ｙ座標軸、およびＺ座標軸を設定する。これにより、視聴操作端末２０の撮像装置２８による視認可能な範囲において３次元空間の位置座標（ｘ，ｙ，ｚ）を定義されて関連付けされる。

【0071】

その後、視線追跡システム１においては、ユーザの視線を追跡する視線追跡処理を開始する。未熟練者であるユーザは、観測対象１００に対して検査して必要であると考える個所に対して注視を行う。判定部２１２は、ユーザの視線が所定時間以上滞留した個所における位置座標（ｘ，ｙ，ｚ）を交点座標と判定する。判定部２１２は、交点情報を視線情報として記憶部２３の視線情報データベース２３１に格納する処理を、視線追跡処理が終了するまで繰り返し実行する。観測対象１００に対するユーザによる一連の検査が終了した段階で、試験モードによる視線追跡処理を終了する。なお、判定部２１２によって、試験モードにおける開始から終了までの制限時間を設定することも可能である。ステップＳＴ１４における視線追跡処理においては、視聴操作端末２０によって、あらかじめ定められた注目領域であるポイントエリアへ視線を向けた頻度を計測できる。

【0072】

次に、試験モードが終了すると、ステップＳＴ１５に移行して採点モードが開始される。試験モードにおいて制御部２１の判定部２１２は、試験を受けた未熟練者などの教育対象者が、注目すべき個所にどの程度の回数および累積滞留時間で視線を向けたかを、熟練者の視線情報と比較することによって評価結果である点数を算出、すなわち採点を行う。この場合、熟練者の視線情報との一致度合いやポイントエリアに設定された配点などを集計することにより、点数として出力できる。例えば、熟練者のユーザが観測対象１００を検査した場合の例である図５と、未熟練者が観測対象１００を検査した場合の例である図６との比較によって、未熟練者がチェックしている領域は、熟練者がチェックしている領域とどの程度異なるかを抽出可能となる。また、未熟練者の視線情報と、熟練者の視認によって生成された教師用の視線情報とを対比することによって、ヒートマップの一致度を点数として算出しても良い。算出された点数の情報は、ユーザ情報に関連付けされて教育情報として記憶部２３に格納することができる。これにより、熟練者から未熟練者へのより臨場感の高い教育ツールを提供でき、視線追跡システム１を用いた教育効果をより向上させることができる。

【0073】

また、教育対象者である未熟練者が視聴操作端末２０を装着して視点確認機能を利用すると、観測対象１００の実際の外観に重畳して、注目すべき視点が視点タイル１２０によって示されていることから、高い臨場感で必要検査個所を確認できる。さらに、上述した視線の累積滞留時間や視線を向けた回数などの情報を用いて、視点をフィルタリングすることにより、重要な視点（交点座標）を抽出して投影部２４に投影させることも可能である。

【0074】

図７は、本実施形態による視聴操作端末２０の投影部２４の表示画面に表示された採点結果の表示例を示す図である。図７に示すように、制御部２１の出力制御部２１４は、ポイントエリア１３０ａとして、熟練者が着目した視点に基づいて注目すべきポイントに対して設定された点数の表記を出力する。また、出力制御部２１４は、熟練者の視点に基づいて、熟練者が考える注目してほしい部分のポイントを表示する。ポイントエリア１３０ｂに関連付けされて表示されたテキストデータは、熟練者の視線情報に基づいて視線データを生成した際に、熟練者が入力した注意事項などのテキストデータなどである。ポイントエリア１３０ｃは、熟練者と未熟練者との視線データの際に基づいた未熟練者（教育対象者）の点数が、表示されている。これにより、教育対象者である未熟練者は、熟練者から重要なチェックポイントを間接的に教授され、さらに熟練者が注視した理由を改めて確認することができる。図７に示すような、採点結果の表示データは、投影部２４に投影された後、取得部２１１によってキャプチャされて、画像として視線情報データベース２３１に自動で格納しても良い。

【0075】

以上説明した一実施形態によれば、教育者が注視した視点を３次元位置情報として記録することができるので、熟練者の注目ポイントを観察でき、高い教育効果を得ることができる。また、従来は、観測対象１００を検査者が視認できる場所でのみ視線追跡が可能であり、熟練者の視線情報のデータの作成や、未熟練者の試験や採点においても実際の観測対象１００が必要であったため、時間および場所に制約が存在していた。これに対し、上述した一実施形態においては、観測対象１００自体を仮想画像である３次元オブジェクトとして生成可能としていることにより、観測対象１００が存在していない場所においても、熟練者の視線情報のデータの取得や未熟練者の試験や採点が可能になる。そのため、任意の場所で視線追跡システム１による観測対象１００の目視検査の訓練や、未熟練者への目視検査に関する教育が可能になり、熟練者の視線情報のデータの作成や、未熟練者の試験や採点においても観測対象１００の実物が不要になるので、時間と場所の制約がなくなり、教育機会をより最適化することが可能になる。

【0076】

また、一実施形態によれば、熟練者が、視聴操作端末の視線センサ２７によるアイトラッキング機能を用いて、視界の中のいずれの個所を注視しているのかを取得できるので、例えば工場出荷時や現場受入時の立会検査時に、どのような点に着目しているのか、をノウハウ化することができる。さらに、視点タイル１２０などの３次元オブジェクトによってヒートマップ化されて表示された一連の視認作業を、動画を含む画像データとして保存することができ、視認作業において熟練者が注視した理由や経緯を、他のユーザが認識可能な状態のデータとして、画像データに追加することも可能であるため、視線追跡システム１を教育ツールとして活用することが可能になる。

【0077】

（記録媒体）
上述の一実施形態において、処理サーバ１０や視聴操作端末２０に実行させるプログラムを、コンピュータその他の機械や視聴操作端末などの装置（以下、コンピュータなど、という）が読み取り可能な記録媒体に記録することができる。コンピュータなどに、この記録媒体のプログラムを読み込ませて実行させることにより、当該コンピュータなどが視線追跡システムとして機能する。ここで、コンピュータなどが読み取り可能な記録媒体とは、データやプログラムなどの情報を電気的、磁気的、光学的、機械的、または化学的作用によって蓄積し、コンピュータなどから読み取ることができる非一時的な記録媒体をいう。このような記録媒体のうちのコンピュータ等から取り外し可能なものとしては、例えばフレキシブルディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＣＤ－Ｒ／Ｗ、ＤＶＤ、ＢＤ、ＤＡＴ、磁気テープ、フラッシュメモリなどのメモリカードなどがある。また、コンピュータなどに固定された記録媒体としてハードディスク、ＲＯＭなどがある。さらに、ＳＳＤは、コンピュータなどから取り外し可能な記録媒体としても、コンピュータなどに固定された記録媒体としても利用可能である。

【0078】

また、一実施形態による処理サーバ、視聴操作端末、および処理サーバや視聴操作端末に実行させるプログラムは、インターネットなどのネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。

【0079】

以上、本発明の一実施形態について具体的に説明したが、本発明は、上述の一実施形態に限定されるものではなく、本発明の技術的思想に基づく各種の変形が可能である。例えば、上述の一実施形態において挙げた仮想画像や動作はあくまでも例に過ぎず、これと異なる仮想画像や動作であっても良い。

【0080】

（その他の実施形態）
上述した一実施形態においては、ユーザが装着可能な眼鏡型の視聴操作端末を用いた例を説明していたが、これらに限定されることなく、上述した一実施形態は、種々の視聴操作端末に適用できる。例えば撮像機能を有するコンタクトレンズ型の視聴操作端末や、脳内チップ型の視聴操作端末のようにユーザの脳へ直接的に伝達する装置や、バイザーを備えたヘルメット形状に構成してバイザーに画像を投影して表示しても良い。また、上述した一実施形態では、視聴操作端末がユーザの網膜に投影することによって画像を視認させていたが、例えば眼鏡などのレンズに画像を投影して表示するものであっても良い。

【0081】

また、視聴操作端末２０と同様の端末として、撮像装置を備えたスマートフォンを用いることも可能である。この場合、スマートフォンの撮像装置が観測対象１００などを向いた撮像方向を上述したユーザの視線とすることによって、上述した視聴操作端末２０をスマートフォンに置き換えることが可能である。

【0082】

また、一実施形態においては、上述してきた「部」を、「回路」などに読み替えることができる。例えば、制御部は、制御回路に読み替えることができる。

【0083】

なお、本明細書におけるフローチャートの説明では、「まず」、「その後」、「続いて」などの表現を用いてステップ間の処理の前後関係を明示していたが、本実施形態を実施するために必要な処理の順序は、それらの表現によって一意的に定められるわけではない。すなわち、本明細書で記載したフローチャートにおける処理の順序は、矛盾のない範囲で変更することができる。

【0084】

さらなる効果や変形例は、当業者によって容易に導き出すことができる。本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付のクレームおよびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。

【0085】

例えば、処理サーバ１０と視聴操作端末２０とを同一の視聴操作端末により構成することも可能である。この場合、制御部１１，２１を共通とし、記憶部１３，２３を共通として、視聴操作端末により視線追跡システム１が構成される。

【0086】

また、例えば、上述した一実施形態において、ヘッドセットなどの視聴操作端末２０においては、現実空間を透過状態、すなわちシースルー状態で表示される構成を採用したが、本発明はこれに限定されるものではなく、例えばビデオシースルー方式の構成を採用することも可能である。ここで、ビデオシースルー方式とは、例えば視聴操作端末２０に設けられた撮像装置２８によって撮像された撮像データを、即時的（リアルタイム）に視聴操作端末２０に投影することにより、現実空間を撮像装置２８によって間接的に認識可能としつつ、仮想オブジェクトを重鎮して投影させる方式である。なお、この場合、投影部２４として非透過のディスプレイを採用することが好ましい。

【0087】

また、上述した一実施形態において、拡張現実空間の投影画像や視点タイル１２０は、処理サーバ１０などに補完でき、視聴操作端末２０に限らず任意の表示装置によって確認可能に構成しても良い。すなわち、拡張現実画像や仮想現実画像や複合現実画像は、情報処理装置の表示部であるモニタにも表示させることが可能である。これにより、複数人でモニタを視認することによって、視聴操作端末２０による視線の移動状況を確認することができる。

【0088】

また、上述した一実施形態において、ポイントエリアとして注目すべき領域を設定し、ポイントエリアを注視した回数などを用いて、被験者の教育効果を採点することも可能である。また、熟練者によるポイントエリアの設定を解析するなどして、あらかじめ注視すべき領域を指定および設定し、未熟練者などのユーザの視点が注視すべき領域にどの程度の頻度で向けられたのかを採点する機能を設けても良い。

【符号の説明】

【0089】

１ 視線追跡システム
２ ネットワーク
１０ 処理サーバ
１１，２１ 制御部
１２，２２ 通信部
１３，２３ 記憶部
２０，２０Ａ，２０Ｂ 視聴操作端末
２４ 投影部
２５ 位置取得センサ
２６ 装着センサ
２７ 視線センサ
２８ 撮像装置
１００ 観測対象
１１１ 視線処理部
１１２ 対象物画像生成部
１２０，１２０ａ 視点タイル
１３０ａ，１３０ｂ，１３０ｃ ポイントエリア
１３１ 視線情報データベース
２１１ 取得部
２１２ 判定部
２１３ 生成部
２１４ 出力制御部
２３１ 視線情報データベース

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】