特許 7266422 注視行動調査システム、及び制御プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-04-20

(45)【発行日】2023-04-28

(54)【発明の名称】注視行動調査システム、及び制御プログラム

(51)【国際特許分類】

   G06T 17/05 20110101AFI20230421BHJP

   G06Q 50/10 20120101ALI20230421BHJP

【ＦＩ】

G06T17/05

G06Q50/10

【請求項の数】 8

(21)【出願番号】P 2019031792

(22)【出願日】2019-02-25

(65)【公開番号】P2020135737

(43)【公開日】2020-08-31

【審査請求日】2021-12-21

(73)【特許権者】

【識別番号】000135771

【氏名又は名称】株式会社パスコ

(73)【特許権者】

【識別番号】000000284

【氏名又は名称】大阪瓦斯株式会社

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100114018

【弁理士】

【氏名又は名称】南山 知広

(74)【代理人】

【氏名又は名称】伊坪 公一

(74)【代理人】

【識別番号】100196829

【弁理士】

【氏名又は名称】中澤 言一

(72)【発明者】

【氏名】西村 修

(72)【発明者】

【氏名】本間 昭信

(72)【発明者】

【氏名】青山 聖人

(72)【発明者】

【氏名】森島 章仁

(72)【発明者】

【氏名】蓮池 祐一郎

【審査官】岡本 俊威

(56)【参考文献】

【文献】国際公開第２０１６／００２６５６（ＷＯ，Ａ１）

【文献】特開２０１６－１４３３２１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １７／００－１９／２０

Ｇ０６Ｑ ５０／００－５０／３４

(57)【特許請求の範囲】

【請求項1】

ユーザの頭部に装着されるウェアラブル装置、及び、前記ウェアラブル装置と通信可能なサーバを含む注視行動調査システムであって、
前記ウェアラブル装置は、
撮影部と、
前記撮影部によって複数の異なる撮影位置から撮影された撮影情報を取得するとともに、前記撮影情報を取得したタイミングにおける前記ユーザの視線方向を示す視線情報を当該撮影情報に対応付けて取得する取得部と、を有し、
前記サーバは、
表示部と、
前記撮影情報ごとに仮想３次元空間における撮影位置を算出する第１算出部と、
前記視線情報に基づいて、前記仮想３次元空間において前記ユーザが注視している注視点位置及び注視時間を算出する第２算出部と、
前記仮想３次元空間においてユーザの周辺環境の立体形状を示す仮想３次元空間モデルを記憶する記憶部と、
前記注視時間に応じて識別可能な前記注視点位置及び／又は前記注視点位置の算出のもととなった前記視線情報における撮影位置と、前記仮想３次元空間モデルとを前記表示部に表示させるサーバ表示処理部と、を有し、
前記サーバ表示処理部は、前記算出された撮影位置のうちの特定の撮影位置を、当該特定の撮影位置とは高さが異なる他の撮影位置とは異なる表示態様で表示させる、
ことを特徴とする注視行動調査システム。

【請求項2】

前記第２算出部は、前記注視点位置の算出のもととなった撮影位置ごとに前記注視時間を算出する、請求項１に記載の注視行動調査システム。

【請求項3】

前記第１算出部は、前記撮影位置を前記仮想３次元空間における所定領域内を同一の撮影位置として算出する、請求項１又は請求項２に記載の注視行動調査システム。

【請求項4】

前記第２算出部は、前記注視点位置を前記仮想３次元空間における所定領域内を同一の注視点位置として算出する、請求項１～３のいずれか１項に記載の注視行動調査システム。

【請求項5】

前記仮想３次元空間モデルを前記撮影情報から生成する仮想３次元空間モデル生成部を更に有する、請求項１～４のいずれか１項に記載の注視行動調査システム。

【請求項6】

前記第２算出部は、
前記撮影位置ごとに、各撮影位置から、対応する視線方向に延長した線分を算出し、
前記撮影位置ごとに、算出された前記線分と前記仮想３次元空間モデルの外形の表面との交点を、注視点として算出する、請求項１～５のいずれか１項に記載の注視行動調査システム。

【請求項7】

ユーザの頭部に装着されるウェアラブル装置と通信可能なサーバの制御プログラムであって、
前記ウェアラブル装置が備える撮影部によって複数の異なる撮影位置から撮影された撮影情報と、前記撮影情報を取得したタイミングにおける前記ユーザの視線方向を示す視線情報とを、前記ウェアラブル装置から受信し、
前記撮影情報ごとに仮想３次元空間における撮影位置を算出し、
前記視線情報に基づいて、前記仮想３次元空間において前記ユーザが注視している注視点位置及び注視時間を算出し、
前記注視時間に応じて識別可能な前記注視点位置及び／又は前記注視点位置の算出のもととなった前記視線情報における撮影位置と、前記仮想３次元空間においてユーザの周辺環境の立体形状を示す仮想３次元空間モデルとを表示させ、
前記撮影位置を表示させることにおいて、前記算出された撮影位置のうちの特定の撮影位置を、当該特定の撮影位置とは高さが異なる他の撮影位置とは異なる表示態様で表示させる、
ことを前記サーバに実行させることを特徴とする制御プログラム。

【請求項8】

コンピュータによって実行される、設備を点検する際の重点点検箇所および点検経路上の重点点検地点を抽出する抽出方法であって、
複数の異なる撮影位置から撮影された前記設備の撮影情報を取得し、
前記撮影情報を取得したタイミングにおけるユーザの視線方向を示す視線情報を当該撮影情報に対応付けて取得し、
前記撮影情報ごとに仮想３次元空間における撮影位置を算出し、
前記視線情報に基づいて、前記仮想３次元空間において前記ユーザが注視している注視点位置を算出し、
前記仮想３次元空間においてユーザの周辺環境の立体形状を示す仮想３次元空間モデルを記憶し、
前記設備の表面のうち注視点が集中している位置を重点点検箇所として抽出し、
前記点検経路上の撮影位置が集中している場所を重点点検地点として抽出し、
前記重点点検地点、前記重点点検箇所および前記仮想３次元空間モデルを表示させるとともに、前記撮影位置のうちの特定の撮影位置を、当該特定の撮影位置とは高さが異なる他の撮影位置とは異なる表示態様で表示させる、
ことを特徴とする抽出方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、注視行動調査システム、及び制御プログラムに関する。

【背景技術】

【0002】

従来から、ユーザが所有する携帯端末と当該携帯端末と通信可能なサーバとを備え、ユーザの位置を追跡するシステムが知られている。このようなシステムでは、サーバは、携帯端末の位置情報及び各種情報を携帯端末から取得し、取得した情報を蓄積及び分析を行うことができる。

【0003】

例えば、特許文献１には、ＲＦＩＤ（Radio Frequency IDentifier）等の電波を発信するセンサ機器が施設内の設備に設置され、点検作業員が所有する携帯端末が、センサ機器からの電波の強度に基づいて携帯端末の位置を特定する技術について記載されている。このシステムでは、携帯端末が、携帯端末の位置とともに点検結果を送信することで、サーバが、送信された位置に基づいて、送信された点検結果がどの設備に対するものであるかを特定する。このように、特許文献１に開示されたシステムでは、サーバによって、特定された点検結果が蓄積されるので、点検作業員が作業結果を登録する手間が省略されて、作業効率が向上する。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１４－１４６２１７号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、工場及びプラント等の施設及び商業施設内のレイアウトは必要に応じて変更がなされることがあり、特許文献１で開示されたシステムが用いられた場合、レイアウトの変更のたびに、システム管理者がセンサ機器を設置し直す必要があった。また、施設が広大である場合又は施設外の広い範囲でシステムが用いられる場合、設置すべきセンサ機器の量が膨大となるため、設置コスト及び維持管理コストが増大するという問題も生じていた。

【0006】

さらに、ＧＰＳ（Global Positioning System）信号が受信できない場所がある施設内においてこのシステムが用いられる場合、ユーザがＧＰＳ信号受信機付きの端末を用いたとしても、撮影した位置を安定して取得することができなかった。

【0007】

本発明は、このような課題を解決すべくなされたものであり、ユーザに備えられた端末の位置を安定して取得するとともにユーザが注視している対象を容易に把握可能な注視行動調査システム、及び制御プログラムを提供することを目的とする。

【課題を解決するための手段】

【0008】

本発明に係る注視行動調査システムは、ユーザの頭部に装着されるウェアラブル装置、及び、ウェアラブル装置と通信可能なサーバを含む注視行動調査システムであって、ウェアラブル装置は、撮影部と、撮影部によって複数の異なる撮影位置から撮影された撮影情報を取得するとともに、撮影情報を取得したタイミングにおけるユーザの視線方向を示す視線情報を当該撮影情報に対応付けて取得する取得部と、を有し、サーバは、表示部と、撮影情報ごとに仮想３次元空間における撮影位置を算出する第１算出部と、視線情報に基づいて、仮想３次元空間においてユーザが注視している注視点位置及び注視時間を算出する第２算出部と、仮想３次元空間においてユーザの周辺環境の立体形状を示す仮想３次元空間モデルを記憶する記憶部と、注視時間に応じて識別可能な注視点位置及び／又は注視点位置の算出のもととなった視線情報における撮影位置と、仮想３次元空間モデルとを表示部に表示させるサーバ表示処理部と、を有する。

【0009】

また、本発明に係る注視行動調査システムにおいて、第２算出部は、注視点位置の算出のもととなった撮影位置ごとに注視時間を算出することが好ましい。

【0010】

また、本発明に係る注視行動調査システムにおいて、第１算出部は、撮影位置を仮想３次元空間における所定領域内を同一の撮影位置として算出することが好ましい。

【0011】

また、本発明に係る注視行動調査システムにおいて、第２算出部は、注視点位置を仮想３次元空間における所定領域内を同一の注視点位置として算出することが好ましい。

【0012】

また、本発明に係る注視行動調査システムにおいて、仮想３次元空間モデルを撮影情報から生成する仮想３次元空間モデル生成部を更に有することが好ましい。

【0013】

また、本発明に係る注視行動調査システムにおいて、第２算出部は、撮影位置ごとに、各撮影位置から、対応する視線方向に延長した線分を算出し、撮影位置ごとに、算出された線分と仮想３次元空間モデルの外形の表面との交点を、注視点として算出することが好ましい。

【0014】

本発明に係る制御プログラムは、ユーザの頭部に装着されるウェアラブル装置と通信可能なサーバの制御プログラムであって、ウェアラブル装置が備える撮影部によって複数の異なる撮影位置から撮影された撮影情報と、撮影情報を取得したタイミングにおけるユーザの視線方向を示す視線情報とを、ウェアラブル装置から受信し、撮影情報ごとに仮想３次元空間における撮影位置を算出し、視線情報に基づいて、仮想３次元空間においてユーザが注視している注視点位置及び注視時間を算出し、注視時間に応じて識別可能な注視点位置及び／又は注視点位置の算出のもととなった視線情報における撮影位置と、仮想３次元空間においてユーザの周辺環境の立体形状を示す仮想３次元空間モデルとを表示させる、ことをサーバに実行させる。

【発明の効果】

【0015】

本発明に係る注視行動調査システム、及び制御プログラムによって、ユーザに備えられた端末の位置が安定して取得されるとともにユーザが注視している対象が容易に把握可能となる。

【図面の簡単な説明】

【0016】

【図1】注視行動調査システム１が有する機能の概要を説明するための機能説明図である。

【図2】注視行動調査システム１の概略構成の一例を示す図である。

【図3】（ａ）は、ウェアラブル装置２の外観の一例を示す斜視図であり、（ｂ）は、ウェアラブル装置２の概略構成の一例を示す図である。

【図4】サーバ３の概略構成の一例を示す図である。

【図5】（ａ）は、ウェアラブル装置２の使用例を示す模式図であり、（ｂ）及び（ｃ）は、ウェアラブル装置２によって撮影された撮影情報の一例を示す図である。

【図6】（ａ）は、３次元モデル画像と撮影位置と視線情報を示す模式図であり、（ｂ）は、３次元モデル画像及び注視点の表示の一例を示す図である。

【図7】（ａ）は、設備配置テーブルのデータ構造の一例を示す図であり、（ｂ）は、点検結果テーブルのデータ構造の一例を示す図である。

【図8】注視行動調査システム１の動作シーケンスの一例を示す図である。

【図9】３次元情報算出処理の動作フローの一例を示す図である。

【図10】注視点算出処理の動作フローの一例を示す図である。

【図11】点検記録算出処理の動作フローの一例を示す図である。

【図12】注視行動調査システム１０の概略構成の一例を示す図である。

【発明を実施するための形態】

【0017】

以下、図面を参照しつつ、本発明の様々な実施形態について説明する。ただし、本発明の技術的範囲はそれらの実施形態に限定されず、特許請求の範囲に記載された発明とその均等物に及ぶ点に留意されたい。

【0018】

（注視行動調査システム１の概要）
図１は、本実施形態の注視行動調査システム１が有する機能の概要を説明するための機能説明図である。本実施形態の注視行動調査システム１は、ユーザの位置及び注視行動を特定するために用いられる。注視行動調査システム１は、ウェアラブル装置２及びサーバ３を含む。

【0019】

ウェアラブル装置２は、ユーザの頭部に装着される端末である。ウェアラブル装置２は、例えば、ゴーグル型ウェアラブル端末又は眼鏡型ウェアラブル端末である。ウェアラブル装置２は、周辺環境を撮影し且つ撮影した撮影情報を取得する撮像機能、ユーザの視線方向を検出するアイトラッキング機能、撮影機能において取得された撮影情報等を記憶する記憶機能、各種情報を記憶媒体に記憶する媒体記憶機能を少なくとも有する機器であればどのような形態でもよい。ウェアラブル装置２は、記憶媒体から各種情報を読み出す機能を有してもよい。記憶媒体は、ＳＤメモリカード、ＳｍａｒｔＭｅｄｉａ（登録商標）、ＵＳＢ（Universal Serial Bus）メモリ等である。ウェアラブル装置２は、サーバ３との通信機能、及び各種情報の表示機能を有してもよい。サーバ３との通信機能を有するウェアラブル装置２は、各種情報を記憶媒体に記憶する記憶機能を有していなくてもよい。

【0020】

サーバ３は、ウェアラブル装置２からの情報を取得可能なコンピュータであり、記憶媒体に記憶された各種情報を取得する機能、及び表示機能等を有する。サーバ３は、記憶媒体に各種情報を記憶する機能を有してもよい。サーバ３はウェアラブル装置２との通信機能を有してもよく、この場合、記憶媒体に記憶された各種情報を取得する機能、及び、記憶媒体に各種情報を記憶する機能を有していなくてもよい。以降、ウェアラブル装置２と通信可能なコンピュータとしてサーバ３について説明するが、ウェアラブル装置２と通信可能なコンピュータは、多機能携帯電話（所謂「スマートフォン」）等の端末装置、タブレット端末又はタブレットＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）等でもよい。なお、ウェアラブル装置２とウェアラブル装置２からの情報を取得可能なコンピュータとは、ともにBluetooth（登録商標）等の近距離無線通信機能を有してもよい。

【0021】

以下、図１を参照して、注視行動調査システム１が有する機能の概要について説明する。

【0022】

ユーザに装着されたウェアラブル装置２が有するカメラ等の撮影部は、所定時間（例えば、１／３０秒、１／１５秒、又は１秒）ごとに特定方向の空間を撮影する。撮影部は、ユーザによって指定された任意のタイミングで撮影してもよい。特定方向は、撮影部に備えられた撮像素子の垂直方向且つ被写体方向である。

【0023】

図１の（１）には、ユーザに装着されたウェアラブル装置２が、撮影地点Ｓ１において撮影を行って撮影情報ＩＭ１を取得し、且つ、撮影地点Ｓ２において撮影を行って撮影情報ＩＭ２を取得したことが示されている。撮影情報ＩＭ１及びＩＭ２は静止画像を示す情報である。撮影情報ＩＭ１及びＩＭ２は、動画像を示す情報であってもよい。

【0024】

ウェアラブル装置２が有する視線検出部は、所定時間（例えば、１／３０秒、１／１５秒、又は１秒）ごとにユーザの視線方向又は注視点位置を示す視線情報を検出する。撮影部による撮影タイミングと視線検出部による検出タイミングは同時であってもよい。

【0025】

ウェアラブル装置２は、記憶媒体を着脱可能に保持するスロットを備える。ウェアラブル装置２は取得した撮影情報と当該撮影情報に対応する視線情報とを、スロットに保持された記憶媒体に記憶する。撮影情報に対応する視線情報は、撮影情報が取得されたタイミング（取得時刻）に最も近いタイミングで取得された視線情報である。ウェアラブル装置２は、撮影情報と視線情報とに関連付けて、当該撮影情報に対応する取得時刻を記憶媒体に記憶してもよい。

【0026】

ウェアラブル装置２は、撮影部によって撮影情報が取得されるたびに、取得された撮影情報と当該撮影情報に対応する視線情報とを、サーバ３に送信してもよい。この場合、ウェアラブル装置２は、撮影情報と視線情報とに関連付けて、当該撮影情報に対応する取得時刻をサーバ３に送信してもよい。ウェアラブル装置２は、所定の送信タイミングにおいて、未送信の撮影情報及び視線情報を、複数同時にサーバ３に送信してもよい。

【0027】

サーバ３は、ウェアラブル装置２によって記憶された撮影情報を、記憶媒体を介して取得する。サーバ３は、取得した撮影情報から仮想３次元空間における周辺環境の３次元座標である位置情報と、位置情報によりその立体形状を示す仮想３次元空間モデルと、上記仮想３次元空間における撮影位置の３次元座標を示す撮影位置情報及び撮影方向とを算出する３次元情報算出処理を実行する。仮想３次元空間モデルは、例えば、仮想３次元空間の所定の座標系（モデル座標系又はワールド座標系）の３次元座標により周辺環境の立体形状を示すサーフェスモデルである。サーバ３は、ウェアラブル装置２から取得した撮影情報を受信することによって、当該撮影情報を取得してもよい。３次元情報算出処理は、例えば、連続する複数の撮影情報を用いる公知のＳｆＭ（Structure from Motion）処理に基づくものである。

【0028】

図１の（２）には、３次元情報算出処理による算出結果の一例が示されている。例えば、サーバ３が当該算出結果を記憶するとともに表示部に表示する。ウェアラブル装置２が各種情報の表示機能を有する場合、記憶媒体を介してウェアラブル装置２がサーバ３から取得した算出結果（又はサーバ３から送信された算出結果）は、ウェアラブル装置２の表示部によって表示されてもよい。

【0029】

図１の（２）に示されるように、撮影情報ＩＭ１及び撮影情報ＩＭ２の両者に含まれる周辺環境の外形上の特徴点が抽出され、同一と想定される特徴点が満たすべきエピポーラ幾何の拘束条件に基づいて、撮影情報ＩＭ１及び撮影情報ＩＭ２のそれぞれの撮影位置及び撮影方向と、各特徴点について仮想３次元空間における３次元座標とが復元される。

【0030】

次に、復元された撮影情報ＩＭ１及び撮影情報ＩＭ２のそれぞれの撮影位置及び撮影方向に基づいて、両者の撮影情報に含まれる各画素の仮想３次元空間における３次元座標である位置情報が算出される。この位置情報は、周辺環境の立体形状を示すための仮想３次元空間における３次元座標を持つ３次元点群データである。全ての撮影情報に対して撮影位置及び撮影方向が復元されることで、全ての撮影情報に含まれる各画素の仮想３次元空間における３次元座標の特定が可能となり、全ての撮影情報の範囲内にある各種物体の位置情報が算出される。さらに、算出された位置情報である仮想３次元空間における各種物体の立体形状を示す３次元点群データに基づいて、周辺環境のサーフェスモデルである仮想３次元空間モデルが生成される。なお、復元対象の撮影位置及び撮影方向は、一部の撮影情報に対応するものであってもよい。

【0031】

図１の（２）に示される仮想３次元空間における撮影位置の３次元座標を示す撮影位置情報は、例えば、先に撮影を行った撮影位置Ｓ１と次に撮影を行った撮影位置Ｓ２との間の並進ベクトル及び回転行列に基づいて算出される。

【0032】

サーバ３は、複数の撮影情報に基づいて仮想３次元空間モデル及び撮影位置情報を算出すると、視線情報と算出した仮想３次元空間モデル及び撮影位置情報とに基づいて、各撮影位置においてユーザが注視している周辺環境の注視点位置の仮想３次元空間における３次元座標を示す注視点位置情報を算出する注視点算出処理を実行する。

【0033】

注視点算出処理では、まず、サーバ３は、撮影位置情報及び視線情報に基づいて、撮影位置から視線情報に基づく視線方向に延長した線分を算出する。そして、サーバ３は、生成された仮想３次元空間モデルに基づいて、周辺環境の外形の表面と線分との最初の交点を注視点とし、注視点の位置の仮想３次元空間における位置座標を注視点位置情報として算出する。

【0034】

図１の（３）には、仮想３次元空間モデルに基づき、任意の視点位置から対象の周辺環境を鳥瞰した３次元モデル画像と、注視点の位置とを含む表示画面の一例が示されている。当該表示画面は、例えば、サーバ３によって表示される。当該表示画面は、サーバ３からウェアラブル装置２に送信され、ウェアラブル装置２の表示部によって表示されてもよい。ウェアラブル装置２が３次元モデル画像を表示する場合は、ウェアラブル装置２の現在の位置に対応する仮想３次元空間内の視点位置からの透視投影によって、仮想３次元空間内の仮想３次元空間モデルを仮想スクリーンに投影した３次元モデル画像が表示される。

【0035】

このように、注視行動調査システム１は、複数の撮影情報及び複数の視線情報により、施設内におけるどのような位置においてもウェアラブル装置２の撮影位置及びユーザの注視点を安定して取得することが可能となり、同時にユーザの周辺環境の仮想３次元空間モデルを生成することが可能となる。また、ＧＰＳが使用できない室内の施設内においても、位置特定装置を新たに設ける必要がないため、注視行動調査システム１は、ウェアラブル装置２の撮影位置及びユーザの注視点の位置の算出処理を安価に実行することが可能となる。さらに、注視行動調査システム１は、複数の撮影情報及び複数の視線情報に基づいて、周辺環境の立体形状を示す３次元モデル画像を表示するとともに、ユーザの注視点を３次元モデル画像上に表示することができる。

【0036】

なお、上述した図１の説明は、本発明の内容への理解を深めるための説明にすぎない。本発明は、具体的には、次に説明する各実施形態において実施され、且つ、本発明の原則を実質的に超えずに、さまざまな変形例によって実施されてもよい。このような変形例はすべて、本発明および本明細書の開示範囲に含まれる。

【0037】

（注視行動調査システム１）
図２は、注視行動調査システム１の概略構成の一例を示す図である。注視行動調査システム１は、ウェアラブル装置２と、サーバ３とを有する。以下、注視行動調査システム１は、点検作業者等のユーザが所定の施設内の複数の点検対象を点検する際に使用される場合を例に説明する。図２に示すように、ウェアラブル装置２とサーバ３との情報の受け渡しは、記憶媒体Ｍを介して行われる。

【0038】

所定の施設は、石油、石油精製、石油化学、ガス、一般化学、電気、製鉄、原子力、石炭、造水、農業、飼料、生化学、食品、医薬品、医療、情報、通信、運輸、流通、備蓄、都市開発、上下水道、産業公害防止、災害防止、環境保全、宇宙開発、建設、土木、測量等に関する施設、紙・パルプ、窯業・セメント、金属精錬、建築資材等の製造、生産に関する施設等である。設備の点検の対象は、施設内の設備（配管、機器、機械等）からの漏れ、減肉若しくは損傷等の健全性監視、又は、振動、計器類、気温、湿度若しくは特定のガス濃度等、作業員の健康管理のためのバイタル生命センサ等を計測する地点等である。以下、所定の施設を、単に「施設」と称する場合がある。

【0039】

（ウェアラブル装置２）
図３（ａ）は、ウェアラブル装置２の外観の一例を示す斜視図である。

【0040】

図３（ａ）に示すウェアラブル装置２は、所定の施設内に配置される複数の設備を点検するユーザの頭部に装着される眼鏡型ウェアラブル端末である。ウェアラブル装置２は、各種情報を保存する記憶部２１、施設内を撮影し且つ撮影した撮影情報を取得する撮影部２２、ユーザの視線方向及び注視点位置を検出する視線検出部２３、記憶媒体を着脱可能に保持する装着部２４、各種情報を処理する処理部２５を備える。また、ウェアラブル装置２は、各種情報を表示するためのヘッドマウントディスプレイ（Head Mounted Display，HMD）方式の表示部を備えてもよい。また、ウェアラブル装置２は、サーバ３との通信のための通信部を備えてもよい。また、ウェアラブル装置２の記憶部２１、撮影部２２、視線検出部２３、装着部２４及び処理部２５は、同一の筐体内に格納される。なお、記憶部２１、撮影部２２、視線検出部２３、装着部２４及び処理部２５は、それぞれ異なる筐体内に格納されてもよく、また、少なくとも２つの筐体に格納されてもよい。

【0041】

図３（ｂ）は、ウェアラブル装置２の概略構成の一例を示す図である。

【0042】

記憶部２１は、例えば、半導体メモリを有する。記憶部２１は、処理部２５での処理に用いられるドライバプログラム、オペレーティングシステムプログラム、アプリケーションプログラム、データ等を記憶する。例えば、記憶部２１は、ドライバプログラムとして、撮影部２２を制御する撮影デバイスドライバプログラム、視線検出部２３を制御する検出デバイスドライバプログラム、装着部２４を制御する情報記録／読出デバイスドライバプログラム等を記憶する。また、記憶部２１は、アプリケーションプログラムとして、記憶媒体Ｍに情報を記憶する記憶処理プログラム等を記憶する。また、記憶部２１は、データとして、撮影部２２が撮像した画像を記憶する。

【0043】

撮影部２２は、結像光学系、及び撮像素子等を有する。結像光学系は、例えば光学レンズであり、被写体からの光束を撮像素子の撮像面上に結像させる。撮像素子は、ＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）等であり、撮像面上に結像した被写体像の画像を出力する。撮影部２２は、連続して撮像素子によって生成された画像から、所定期間毎に所定のファイル形式の動画像データを作成して出力する。又は、撮影部２２は、撮像素子によって生成された画像から所定のファイル形式の静止画像データを作成して出力する。撮影部２２は、画像を出力する際に、画像の取得時刻を対応付けてもよい。

【0044】

視線検出部２３は、例えば、ユーザの眼球に赤外線を照射するとともに角膜表面における反射像を撮影し、瞳孔中心と反射像との距離によって視線を求める角膜反射法を用いて、ユーザの視線の方向を検出する。視線検出部２３は、眼電位センサを用いた眼球電位法を用いてユーザの視線の方向を検出してもよい。視線検出部２３は、上述の２つの手法に限らず、ユーザの視線の方向を検出できる手法であればどのようなものを用いてもよく、また、視線検出部２３はその手法を実現するための各種装置を備えてもよい。

【0045】

図３（ａ）に示すように、視線検出部２３は、ユーザの左右の眼球毎に視線の方向を検出し、両者の視線が交差した地点を注視点として算出するとともに、ウェアラブル装置２の中心位置（例えば、左右の眼球の中間位置等）から注視点に向けて結んだ直線の方向を、ユーザの視線方向として検出する。なお、撮影部２２による撮影タイミングと視線検出部２３による検出タイミングは同時であってもよい。

【0046】

視線検出部２３によって検出された視線方向は、例えば、図３（ａ）に示されるｘ軸、ｙ軸、ｚ軸に示される装置座標系に基づく単位ベクトルで示される。なお、装置座標系のｚ軸方向は撮影方向である。視線検出部２３は、検出された視線方向を示す視線情報を所定時間ごとに出力する。視線検出部２３は、視線情報を出力する際に、同一のタイミングにて取得された撮影情報、及び、視線情報の取得時刻、のうちの少なくとも一方を、当該視線情報に対応付けてもよい。

【0047】

装着部２４は、記憶媒体Ｍを着脱可能に保持するカードスロットを備える。例えば、記憶媒体ＭがＳＤメモリカードである場合は、装着部２４はＳＤカードスロットを備える。装着部２４は、装着された記憶媒体Ｍに記憶された各種情報を読み出す機能及び装着された記憶媒体Ｍに各種情報を記録する機能を有する。

【0048】

処理部２５は、一又は複数個のプロセッサ及びその周辺回路を有する。処理部２５は、ウェアラブル装置２の全体的な動作を統括的に制御するものであり、例えば、各種プログラムによって、各種処理の実行及び機器の制御等を行う回路（circuitry）であるＣＰＵ（Central Processing Unit）である。処理部２５は、ウェアラブル装置２の各種処理が記憶部２１に記憶されているプログラムからの出力等に応じて適切な手順で実行されるように、撮影部２２、視線検出部２３、装着部２４等の動作を制御する。処理部２５は、記憶部２１に記憶されているプログラム（ドライバプログラム、オペレーティングシステムプログラム、アプリケーションプログラム等）に基づいて処理を実行する。また、処理部２５は、複数のプログラム（アプリケーションプログラム等）を並列に実行することができる。

【0049】

処理部２５は、取得部２５１と、記憶処理部２５２とを有する。処理部２５が有するこれらの各部は、処理部２５が有するプロセッサ上で実行されるプログラムによって実装される機能モジュールである。あるいは、処理部２５が有するこれらの各部は、独立した集積回路、マイクロプロセッサ、又はファームウェアとしてウェアラブル装置２に実装されてもよい。

【0050】

（サーバ３）
図４は、サーバ３の概略構成の一例を示す図である。

【0051】

サーバ３は、特に、ウェアラブル装置２からのデータを取得し、３次元情報算出処理、注視点算出処理、及び点検記録算出処理を実行し、各種算出処理の結果等のデータを記憶及び／又は表示する機能を有する。これらの機能を実現するために、サーバ３は、サーバ記憶部３１、サーバ表示部３２、サーバ装着部３３、サーバ処理部３４を備える。

【0052】

サーバ記憶部３１は、例えば、半導体メモリ、磁気ディスク装置及び光ディスク装置のうちの少なくとも一つを有する。サーバ記憶部３１は、サーバ処理部３４による処理に用いられるドライバプログラム、オペレーティングシステムプログラム、アプリケーションプログラム、データ等を記憶する。例えば、サーバ記憶部３１は、ドライバプログラムとして、サーバ表示部３２を制御する表示デバイスドライバプログラム、サーバ装着部３３を制御する情報記録／読出デバイスドライバプログラム等を記憶する。各種プログラムは、例えばＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ等のコンピュータ読み取り可能な可搬型記録媒体から、公知のセットアッププログラム等を用いてサーバ記憶部３１にインストールされてもよい。なお、サーバ記憶部３１は、データとして、後述する各種テーブル等を記憶する。

【0053】

サーバ表示部３２は、動画像、静止画像等の出力が可能であればどのようなデバイスでもよく、例えば、タッチパネル式の表示装置、液晶ディスプレイ、有機ＥＬディスプレイ等である。サーバ表示部３２は、サーバ処理部３４から供給される動画像データに応じた動画像、静止画像データに応じた静止画像等を表示する。

【0054】

サーバ装着部３３は、記憶媒体Ｍを着脱可能に保持するカードスロットを備える。例えば、記憶媒体ＭがＳＤメモリカードである場合は、サーバ装着部３３はＳＤカードスロットを備える。サーバ装着部３３は、装着された記憶媒体Ｍに記憶された各種情報を読み出す機能及び装着された記憶媒体Ｍに各種情報を記録する機能を有する。

【0055】

サーバ処理部３４は、一又は複数個のプロセッサ及びその周辺回路を備える。サーバ処理部３４は、サーバ３の全体的な動作を統括的に制御するものであり、例えば、各種プログラムによって、各種処理の実行及び機器の制御等を行う回路（circuitry）であるＣＰＵである。サーバ処理部３４は、サーバ３の各種処理がサーバ記憶部３１に記憶されているプログラム等に基づいて適切な手順で実行されるように、サーバ表示部３２及びサーバ装着部３３等の動作を制御する。サーバ処理部３４は、サーバ記憶部３１に記憶されているプログラム（オペレーティングシステムプログラム、ドライバプログラム、アプリケーションプログラム等）に基づいて処理を実行する。また、サーバ処理部３４は、複数のプログラム（アプリケーションプログラム等）を並列に実行することができる。

【0056】

サーバ処理部３４は、サーバ取得部３４１と、算出部３４２と、サーバ表示処理部３４３と、サーバ記憶処理部３４４とを有する。サーバ処理部３４が有するこれらの各部は、サーバ処理部３４が有するプロセッサ上で実行されるプログラムによって実装される機能モジュールである。あるいは、サーバ処理部３４が有するこれらの各部は、独立した集積回路、マイクロプロセッサ、又はファームウェアとしてサーバ３に実装されてもよい。

【0057】

図５（ａ）は、ウェアラブル装置２の使用例を示す模式図である。

【0058】

図５（ａ）に示されるように、ユーザは、所定の施設内の複数の点検対象を点検する場合にウェアラブル装置２を装着する。ユーザの頭部に装着されたウェアラブル装置２の撮影部２２は、所定時間ごとに撮影を行う。

【0059】

図５（ｂ）及び（ｃ）は、ウェアラブル装置２の撮影部２２によって撮影された、連続する２つの撮影情報の一例である。図５（ｂ）に示される撮影情報が、ウェアラブル装置２の撮影部２２によって先に撮影されたものであり、図５（ｃ）に示される撮影情報が、ウェアラブル装置２の撮影部２２によって後に撮影されたものである。

【0060】

サーバ３が、図５（ｂ）及び（ｃ）に示される連続する２つの撮影情報を、ウェアラブル装置２から取得すると、サーバ３は、取得した連続する２つの撮影情報に基づいて、公知のＳｆＭ処理等の３次元情報算出処理を実行する。

【0061】

３次元情報算出処理において、まず、サーバ３は、２つの撮影情報のそれぞれに対して、公知の局所特徴量抽出法等を用いて、複数の特徴点を抽出して、各特徴点の局所特徴量を算出する。局所特徴量抽出法は、ＳＵＲＦ（Speeded Up Robust Features）法又はＳＩＦＴ（Scale-Invariant Feature Transform）法等である。図５（ｂ）及び（ｃ）には、特徴点の抽出結果が示されている。特徴点の抽出方法は、上述の方法に限らず、ヘシアン行列等の既知の方法であってもよい。

【0062】

次に、サーバ３は、エピポーラ幾何の拘束条件により、２つの撮影情報のそれぞれで抽出した複数の特徴点に基づいて、図６（ａ）に示すようなＸ軸、Ｙ軸、Ｚ軸からなる仮想３次元空間における、撮影位置の並進ベクトルｔ及び回転行列Ｒを算出する。エピポーラ幾何の拘束条件は、次の式（１）のとおりである。

【0063】

【数1】

【0064】

先の撮影情報に含まれる特徴点の画像平面座標は、次の式（２）のとおりである。

【0065】

【数2】

【0066】

後の撮影情報に含まれる特徴点の画像平面座標は、次の式（３）のとおりである。

【0067】

【数3】

【0068】

次に、サーバ３は、先の撮影情報に対応する撮影部２２の内部パラメータ行列Ｋ１、後の撮影情報に対応する撮影部２２の内部パラメータ行列Ｋ２と、式（１）で導出される基礎行列Ｆとを用いて、次の式（４）に従って基本行列Ｅを算出する。

【0069】

【数4】

【0070】

次に、サーバ３は、公知の分解方法を用いて、基本行列Ｅを、並進ベクトルｔ及び回転行列Ｒに分解する。並進ベクトルｔ及び回転行列Ｒによって、複数の特徴点の位置、先の撮影情報に対応する撮影位置、後の撮影情報に対応する撮影位置のそれぞれについての３次元での相対位置が示される。

【0071】

次に、サーバ３は、ウェアラブル装置２から取得した複数の撮影情報において、全ての連続する２の撮影情報の組合せについて、上述のように、並進ベクトルｔ及び回転行列Ｒを算出する。

【0072】

例えば、サーバ３は、ウェアラブル装置２から取得した複数の撮影情報のうちの最初の撮影情報の位置を、仮想３次元空間の原点座標（Ｘ，Ｙ，Ｚ）＝（０，０，０）とする。次に、サーバ３は、撮影情報の順番に従って、連続する２の撮影情報の組合せについて算出した並進ベクトルｔを順次累積することで、連続する２の撮影情報の組合せうちの後の撮影情報の撮影位置の仮想３次元空間における座標値を算出する。次に、サーバ３は、回転行列Ｒを累積することで、撮影部２２の姿勢（仮想３次元空間の座標系と装置座標系との回転量）を算出する。すなわち、撮影部２２の装置座標系のｚ軸が撮影方向であるので、サーバ３は、連続する２の撮影情報の組合せについて算出した回転行列Ｒを用いて、各撮影情報を撮影した際の装置座標系のｚ軸方向（例えばｚ軸方向の単位ベクトル等）を仮想３次元空間の座標系に変換する。次に、サーバ３は、撮影位置の仮想３次元空間における座標値を起点とした変換後のｚ軸の方向を撮影方向として算出する。次に、サーバ３は、複数の撮影情報のそれぞれについて算出した仮想三次元空間における撮影位置を示す情報及び撮影方向を示す情報を、それぞれ撮影位置情報及び撮影方向情報としてサーバ記憶部３１に記憶する。なお、サーバ３は、撮影情報から当該撮影情報に含まれる設備の高さ方向を算出し、仮想３次元空間の座標系のＺ軸方向を算出した高さ方向となるように、撮影位置及び撮影方向を回転させてもよい。

【0073】

そして、サーバ３は、公知の技術である多視点画像計測の手法を用い、複数の撮影情報に対応する撮影位置と撮影方向から、対象の施設の３次元点群計測を行う。サーバ３は、撮影位置及び撮影方向に代えて、複数の撮影情報に対応する並進ベクトルｔ及び回転行列Ｒを用いて対象の施設の３次元点群計測を行ってもよい。サーバ３は、複数枚の撮影情報（画像）の各画素を、各撮影情報の撮影位置、撮影方向から自動マッチングし、各画素に対応する仮想３次元空間における３次元座標を算出する。なお、複数の撮影情報の画素に対して算出した３次元座標が、施設の外形の表面を規定する仮想３次元空間における３次元座標である。施設の外形の表面を規定する複数の３次元座標が、施設の外形の表面を示す３次元点群データであり、サーバ３は、当該３次元点群データを設備位置情報としてサーバ記憶部３１に記憶する。さらに、サーバ３は、施設の外形の表面を規定する仮想３次元空間における３次元座標である設備位置情報より、立体形状の表面認識を行うことで、施設内の設備の立体形状を示したサーフェスモデルである仮想３次元空間モデルを生成し、生成した仮想３次元空間モデルをサーバ記憶部３１に記憶する。以上により、３次元情報算出処理が終了する。

【0074】

図６（ａ）に示される例では、サーバ３は、設備位置情報に基づいて、仮想３次元空間における施設内の設備の立体形状を示す仮想３次元空間モデルを作成する。次に、サーバ３は、仮想３次元空間モデルに基づいて、任意の視点位置から対象の設備を俯瞰または仰瞰した３次元モデル画像を生成し、サーバ表示部３２に表示する。サーバ３は、３次元モデル画像を表示する際に、仮想３次元空間モデルである設備のサーフェスモデルの表面に、その位置に該当する撮影情報の画像を貼り付けて表示してもよい。

【0075】

３次元情報算出処理が終了すると、注視点算出処理が実行される。以下、注視点算出処理について説明する。

【0076】

まず、サーバ３は、サーバ記憶部３１に記憶されている各撮影情報の撮影位置から、当該撮影情報に対応する視線情報によって示される視線方向に延長した線分を算出する。なお、撮影情報に対応する視線情報は、撮影情報によって示される撮影位置において撮影が行われたタイミング（撮影情報の取得タイミング）に最も近いタイミングで取得された視線情報である。このように、視線方向に延長した線分を算出することによって、例えば、視線情報が、単位ベクトルで表現された情報である場合、仮想３次元空間モデルによって示される各設備の外形の表面と視線情報によって示されるベクトルとが交差しないことを未然に防ぐことが可能となる。

【0077】

そして、サーバ３は、仮想３次元空間モデルに基づいて、各設備の外形の表面と線分との最初の交点を、注視点として算出する。サーバ３は、算出した注視点の仮想３次元座標を示す情報を注視点位置情報として記憶する。

【0078】

サーバ３は撮影情報によって示される撮影位置から、各撮影情報に対応する視線情報によって示される注視点までのベクトル画像を生成して、サーバ表示部３２に表示する。図６（ｂ）に示すように、仮想３次元空間モデルに基づく３次元モデル画像とともに、撮影位置及び注視点が表示されることによって、ユーザが各設備のどの位置を、どの場所から注視していたかを把握することができる。

【0079】

さらに、サーバ３は、注視点位置情報に基づいて、対象の設備の表面のうち注視点が集中している位置を抽出し、当該位置を強調表示した３次元モデル画像をサーバ表示部３２に表示してもよい。例えば、サーバ３は、注視点間の距離を算出し、注視点ごとに、算出された距離が所定距離以内である他の注視点の数を算出し、算出された他の注視点の数に応じた表示態様に基づいて、各注視点をサーバ表示部３２に表示してもよい。あるいは、サーバ３は、仮想３次元空間モデルの外形の表面を所定の間隔による格子状の領域に分割、分割された各領域内に含まれる注視点の数を集計し、注視点の数に応じて当該領域を階調表現で表示してもよい。

【0080】

例えば、図６（ｂ）では、注視点が集中している箇所は、注視点の集中程度に応じて☆のマークを大きく、それ以外の場所は小さく表示されている。これは、設備上の任意の箇所に対して、所定の時間間隔毎に発生する注視点の数が集計されることで、当該箇所の注視時間が算出される。すなわち、注視点の数に所定の時間間隔を乗算することで、当該注視点に対応する箇所の注視時間が算出される。従って、注視点が集中している箇所は、長時間又は高頻度で当該箇所を注視していたこととなり、重要な点検箇所であることが把握できる。このように、より注視している位置の表示態様を、他の注視点よりも明瞭に表示することで、重要な箇所を容易に提示することが可能となる。

【0081】

サーバ３は、撮影位置情報に基づいて、その平面座標を使用してユーザが対象の設備を点検する際の点検経路情報を生成してもよい。点検経路情報は、撮影位置情報の平面座標を連続させた線情報として生成される。なお、点検経路情報が生成される際に用いられる撮影位置情報は、３次元情報算出処理で算出された撮影位置情報の全て又は一部であり、平面座標は、撮影位置情報に含まれる高さ情報（Ｚ軸方向の座標値）の座標以外の２次元座標（Ｘ軸方向及びＹ軸方向の座標値）である。例えば、算出部Ｘ３４２は、３次元情報算出処理で算出された撮影位置情報の全て又は一部を抽出し、抽出された各撮影位置情報に含まれる平面座標を特定する。そして、算出部３４２は、各撮影位置情報の時刻に従って連続する２つの平面座標を線分で結ぶことによって生成した折れ線を示す点検経路情報を生成する。生成された点検経路情報は、サーバ表示部３２の３次元モデル画像上に表示することで、サーバ３は、点検者の経路情報を明示することができる。又はウェアラブル装置２は、点検者の経路情報を表示部（図示しない）上に表示することで、ユーザは、本実施形態のウェアラブル装置２を、設備の点検時における経路情報の案内として利用することが可能となる。

【0082】

さらに、サーバ３は、点検経路上の任意の地点に対して、所定の時間毎に発生する撮影位置の数を集計することで、当該地点の滞留時間を算出する。撮影位置が一部地点に集中している場所は、ユーザが点検に時間を要している場所であることから、サーバ３は、当該地点を重点点検地点として抽出し、当該地点を強調表示した３次元モデル画像をサーバ表示部３２に表示してもよい。例えば、サーバ３は、複数の撮影位置相互間の距離を算出し、撮影位置ごとに、距離が所定距離以内である他の撮影位置の数を算出し、算出された他の撮影位置の数に応じた表示態様に基づいて、各撮影位置をサーバ表示部３２に表示してもよい。また、ウェアラブル装置２は、サーバ３から取得した各撮影位置における他の撮影位置の数に応じた表示態様に基づいて、各撮影位置を表示部（図示しない）に表示してもよい。

【0083】

また、点検作業が同一フロアで行われる場合では、撮影位置情報の高さ情報（Ｚ軸方向の座標値）が、他の撮影位置情報の高さ情報と異なる場所は、ユーザが点検する際に体をかがませる等の体勢を変えたり、はしごや踏み台等を使ったりして点検をしている場所であることがわかる。従って、サーバ３は、撮影位置情報から該当する場所（他の撮影位置情報の高さ情報と異なる場所）を抽出し、その場所を他の撮影位置と異なる表示態様で、各撮影位置をサーバ表示部３２に表示してもよい。また、ウェアラブル装置２は、サーバ３から取得した他の撮影位置情報の高さ情報と異なる場所においては、他の撮影位置と異なる表示態様で各撮影位置を表示部（図示しない）に表示してもよい。

【0084】

さらに、サーバ３は、抽出した重点点検地点毎に、対応する視線情報より注視点が集中している対象の設備上の位置を重点点検箇所として抽出し、ユーザの操作により、重点点検地点と重点点検箇所とを関連付けた表示態様で、サーバ表示部３２に表示してもよい。また、ウェアラブル装置２は、サーバ３から取得した重点点検地点及び重点点検箇所に基づいて、重点点検地点と重点点検箇所とを関連付けた表示態様で、表示部（図示しない）に表示してもよい。

【0085】

従来から、大規模な工場及びプラント等の施設内では、定期的に作業員による設備の巡回点検が行われているが、作業員が点検すべき対象は広範囲にわたり且つ巡回点検作業が複雑であるにもかかわらず、詳細な点検マニュアルが整備されている事例は必ずしも多くない。このため、熟練した作業員が巡回点検を行う場合における巡回経路、点検地点、点検箇所を含む設備の点検手法を可視化し、点検マニュアルを整備することが望まれている。これに対し、上述のように、大規模な工場及びプラント等の施設内において注視行動調査システム１が用いられることによって、ユーザの点検経路、重点点検地点、重点点検箇所の明示が可能となり、当該注視行動調査システム１は、大規模な工場及び／又はプラント等の設備の点検手法の可視化に資するものとなる。

【0086】

図７（ａ）には、設備配置テーブルが示されている。設備配置テーブルには、各設備について、当該設備の設備ＩＤ、３次元設計モデル情報、設備名称、設備図面、座標系等が互いに関連付けて記憶される。３次元設計モデル情報は、所定の施設内に配置された複数の設備の配置位置及び外形の形状等を示す設計モデル情報である。設備配置テーブルには、設備の他に、計器類及び気温、湿度若しくは特定のガス濃度等を計測する地点等に係る情報が記憶されてもよい。この場合、３次元設計モデル情報として、計器類又は計測地点の位置情報が記憶される。設備配置テーブルの作成対象を、重点点検箇所を対象としてもよい。

【0087】

図７（ｂ）には、点検結果テーブルが示されている。点検結果テーブルには、時刻ごとに、撮影位置情報、視線情報及び注視点位置情報等が互いに関連付けて記憶される。

【0088】

（注視行動調査システム１の動作シーケンス）
図８は、注視行動調査システム１の動作シーケンスの一例を示す図である。この動作シーケンスは、予めサーバ記憶部３１及び記憶部２１に記憶されているプログラムに基づいて、主にサーバ処理部３４及び処理部２５により、サーバ３及びウェアラブル装置２の各要素と協働して実行される。

【0089】

最初に、ユーザの頭部に装着されるウェアラブル装置２の撮影部２２は、所定時間ごとに、特定方向の施設内を撮影する。また、ウェアラブル装置２の視線検出部２３は、所定時間ごとに、ユーザの視線方向を検出する。取得部２５１は、撮影部２２から撮影情報を取得するとともに、視線検出部２３から視線情報を取得し、記憶処理部２５２は、取得した撮影情報と視線情報とを、装着部２４に装着された記憶媒体Ｍに記憶する（ステップＳ１０１）。

【0090】

次に、サーバ３のサーバ取得部３４１は、ウェアラブル装置２から記憶媒体Ｍを介して撮影情報及び視線情報を取得すると、取得時刻に対応する撮影情報及び視線情報を算出部３４２に渡すとともに、３次元情報算出処理の実行を算出部３４２に指示する。算出部３４２は、サーバ取得部３４１から算出処理の実行を指示されると、３次元情報算出処理を実行する（ステップＳ１０２）。３次元情報算出処理の詳細は後述する。

【0091】

次に、算出部３４２は、３次元情報算出処理が終了すると、注視点算出処理を実行する（ステップＳ１０３）。注視点算出処理の詳細は後述する。

【0092】

次に、算出部３４２は、注視点算出処理が終了すると、点検記録算出処理を実行する（ステップＳ１０４）。点検記録算出処理の詳細は後述する。

【0093】

なお、サーバ３のサーバ表示処理部３４３は、システム管理者等の指示に応じて、３次元モデル画像及び注視点を、サーバ表示部３２に表示してもよい。サーバ表示処理部３４３は、点検記録算出処理にて算出された、点検経路情報、重点点検地点、及び重点点検箇所のうちの少なくとも一方を、３次元モデル画像に代えて又は３次元モデル画像とともに表示してもよい。次に、サーバ記憶処理部３４４は、取得した撮影情報と視線情報とともに、算出した点検経路情報や重点点検地点、重点点検箇所とを、あるいは、点検結果テーブル及び／または設備配置テーブルに含まれる各種情報とを、サーバ装着部３３に装着された記憶媒体Ｍに記憶する（ステップＳ１０５）。

【0094】

次に、ウェアラブル装置２の取得部２５１は、記憶媒体Ｍを介してサーバ３から各種情報を取得すると、記憶処理部２５２は、取得した各種情報を記憶部２１に記憶する（ステップＳ１０６）。

【0095】

以下、ウェアラブル装置２が眼鏡型ウェアラブル端末のＶＲディスプレイを備える場合を例に説明する。ウェアラブル装置２の処理部２５は、公知の画像照合技術を用いて、撮影情報に含まれる設備の形状と設備位置情報に含まれる設備の形状とをマッチングする。次に、処理部２５は、マッチング結果に基づいて、ユーザの眼球の位置から見た場合における、各施設のＶＲディスプレイ上の位置を算出する。そして、処理部２５は、ユーザが注視点の位置を見た場合におけるユーザの視線とディスプレイの交点に注視点を示す画像を表示する。あるいは、算出した点検経路情報、重点点検地点、重点点検箇所のうちの少なくとも一方を示す画像を表示してもよい。

【0096】

また、処理部２５は、３次元モデル画像を眼鏡型ウェアラブル端末のＶＲディスプレイに表示するとともに、３次元モデル画像の設備の形状上に、注視点位置情報によって示される注視点及び／または算出した点検経路情報、重点点検地点、重点点検箇所のうちの少なくとも一方とを示す画像を表示してもよい。

【0097】

（３次元情報算出処理）
図９は、３次元情報算出処理の動作フローの一例を示す図である。図９に示す３次元情報算出処理は、図８のステップＳ１０２において実行される。

【0098】

最初に、算出部３４２は、サーバ取得部３４１から受け取った撮影情報のうち、連続する２つの撮影画像を取得する（ステップＳ２０１）。

【0099】

次に、算出部３４２は、既知の抽出方法に基づいて２つの撮影情報の中に共通して含まれる設備の特徴点を抽出する（ステップＳ２０２）。

【0100】

次に、算出部３４２は、ＳｆＭ処理等を用いて、撮影位置の並進ベクトルｔ及び回転行列Ｒを算出する（ステップＳ２０３）。

【0101】

そして、算出部３４２は、並進ベクトルｔ及び回転行列Ｒに基づいて、先の撮影情報に対応する撮影位置と撮影方向を、後の撮影情報に対応する撮影位置と撮影方向とを仮想３次元空間における３次元座標に変換し、変換した３次元座標を示す撮影位置情報と撮影方向とを算出する。同様の処理を全ての撮影情報に対して行い、全ての撮影情報に対応する撮影位置と撮影方向とを算出する（ステップＳ２０４）。

【0102】

全ての撮影情報に対応する撮影位置と撮影方向を使って、複数枚の撮影情報（画像）の各画素を、各撮影情報の撮影位置、撮影方向から自動マッチングし、各画素に対応する仮想３次元空間における３次元座標を示す設備位置情報を算出することで、施設内の設備の立体形状を示す仮想３次元空間モデルを生成し（ステップＳ２０５）、一連のステップを終了する。なお、算出部３４２は、算出した各種情報を、取得時刻に対応付けて点検結果テーブル等に記憶する。また、算出部３４２は、設備位置情報及び／又は仮想３次元空間モデルをサーバ記憶部３１に記憶する。算出部３４２は記憶処理部の一例である。

【0103】

（注視点算出処理）
図１０は、注視点算出処理の動作フローの一例を示す図である。図１０に示す注視点算出処理は、図８のステップＳ１０３において実行される。

【0104】

最初に、算出部３４２は、各撮影情報に対応する撮影位置の仮想３次元空間における３次元座標から、同じタイミングで取得された視線情報によって示される視線方向に延長した線分を算出する（ステップＳ３０１）。

【0105】

次に、算出部３４２は、設備の仮想３次元空間モデルに基づいて、各設備の外形の表面と線分との最初の交点を、注視点として算出し（ステップＳ３０２）、一連のステップを終了する。

【0106】

（点検記録算出処理）
図１１は、点検経路情報、重点点検地点、重点点検箇所等を含む点検記録を算出する点検記録算出処理の動作フローの一例を示す図である。図１１に示す点検記録算出処理は、図８のステップＳ１０４において実行される。

【0107】

全ての撮影情報の撮影位置、注視点位置が算出されたら、算出部３４２は、対象の設備の表面のうち注視点が集中している位置を抽出する。設備を示す仮想３次元空間モデルの外形の表面に対して、単位領域（例えば、仮想３次元空間モデルの外形の表面を、所定の間隔で分割した複数の格子状の領域等）あたりの注視点の数を集計する。算出部３４２は、集計した注視点の数が、所定の数を超える単位領域を重点点検箇所とする（ステップＳ４０１）。

【0108】

次に、算出部３４２は、撮影位置情報に基づいて、その平面座標を使用して点検経路情報を生成する（ステップＳ４０２）。点検経路情報は、撮影位置情報の平面座標を連続させた線情報として生成される。

【0109】

次に、算出部３４２は、点検経路上のうち撮影位置が集中している場所を重点点検地点として抽出する。例えば、算出部３４２は、複数の撮影位置相互間の距離を算出し、撮影位置ごとに、距離が所定距離以内である他の撮影位置の数を算出し、所定の数を超えるものを重点点検地点とする。また、算出部３４２は、併せて撮影位置情報の高さ情報（Ｚ軸方向の座標値）が、他の撮影位置情報の高さ情報と異なる場所を抽出する（ステップＳ４０３）。

【0110】

次に、算出部３４２は、設備配置テーブルを作成する。設備配置テーブルは、各設備について、当該設備の設備ＩＤ、３次元設計モデル情報、設備名称、設備図面、座標系等が互いに関連付けて記憶されることで作成するが、算出された重点点検地点から、その撮影場所に対応する重点点検箇所を対応させて作成してもよい（ステップＳ４０４）。

【0111】

サーバ３のサーバ表示処理部３４３は、ステップＳ４０１～Ｓ４０４のように作成された点検経路情報、重点点検地点、及び重点点検箇所のうちの少なくとも一方を、システム管理者等の指示に応じて、３次元モデル画像及び注視点上に重ね合わせてサーバ表示部３２で表示し（ステップＳ４０５）、一連のステップが終了する。サーバ３は、ウェアラブル装置２の表示部（図示しない）で表示できるように、点検経路情報、重点点検地点、及び重点点検箇所のうちの少なくとも一方と、３次元モデル画像及び注視点とをウェアラブル装置２に送信してもよい。

【0112】

以上説明してきたように、注視行動調査システム１は、複数の撮影情報及び複数の視線情報により、どのような位置においてもウェアラブル装置２の撮影位置及びユーザの注視点を安定して取得することが可能となり、同時にユーザ周辺の仮想３次元空間モデルを生成することが可能となる。また、注視行動調査システム１では、カメラ等の光学センサ以外のセンサを用いる必要がないため、ウェアラブル装置２の撮影位置及びユーザの注視点の位置の算出処理を安価に実行することが可能となる。また、注視行動調査システム１は、複数の撮影情報及び複数の視線情報に基づいて、ユーザの周辺環境の立体形状を示す３次元モデル画像を表示するとともに、ユーザの注視点や、点検経路情報、重点点検地点、重点点検箇所を３次元モデル画像上に表示することができる。

【0113】

（変形例１）
上述では、注視行動調査システム１が点検作業者等のユーザが所定の施設内の複数の点検対象を点検する際に使用される場合を例に説明したが、注視行動調査システム１の適用場所は、点検作業者が点検する施設に限らない。

【0114】

例えば、注視行動調査システム１のウェアラブル装置２は、一般のユーザによって日常的に用いられてもよい。この場合、サーバ３は、ユーザが移動した際の周辺環境における注視点に対する物体（例えば、商業施設内においてユーザによって注視された商品、街路においてユーザによって注視された広告）を特定することが可能となる。

【0115】

（変形例２）
また、設備の仮想３次元空間モデルとして、あらかじめＣＡＤ（Computer Aided Design）等により作成されている３次元設計モデルが使用されてもよい。この場合、サーバ３は、３次元設計モデルにおける設備の位置座標を、仮想３次元空間における位置座標に適用させた上でサーバ記憶部３１に記憶させる。また、注視点は、３次元設計モデル情報と、撮影位置から視線情報に基づく視線方向に延長した線分との交点でもよい。

【0116】

例えば、算出部３４２は、公知の立体モデルの照合処理を用いて、設備位置情報によって規定される各設備の外形の形状と、３次元設計モデル情報によって示される複数の設備の外形の形状とが略一致するように、設備位置情報における仮想３次元空間モデルの座標軸、又は、３次元設計モデル情報の座標軸を、所定距離だけ移動させるとともに所定の回転角度で回転させる。

【0117】

次に、算出部３４２は、仮想３次元空間モデルにおける座標軸の移動及び回転の場合は、それに伴い、撮影位置情報によって示される撮影位置及び視線情報によって示される視線方向も、所定距離だけ移動させるとともに所定の回転角度で回転させる。そして、算出部３４２は、３次元設計モデル情報によって示される複数の設備の外形の表面と、移動及び回転後の撮影位置から、移動及び回転後の視線方向に延長した線分との交点を、注視点として算出し、算出した注視点を示す位置情報を注視点位置情報として、サーバ記憶部３１に記憶する。３次元設計モデル情報の座標軸を移動及び回転した場合は、本処理は行わない。

【0118】

（変形例３）
また、注視行動調査システム１０は、通信ネットワークを介して相互に接続される、ウェアラブル装置２０とサーバ３０とを有してもよい。例えば、図１２に示されるように、注視行動調査システム１０が有するウェアラブル装置２０とサーバ３０とは、アクセスポイント４、ルータ５、及びインターネット６を介して相互に接続される。アクセスポイント４は、所定の施設内で構築される無線ＬＡＮ（Local Area Network）のアクセスポイントである。サーバ３０は、施設内に設置されても、施設外に設置されてもよい。なお、注視行動調査システム１は、サーバ３０を制御するための外部コンピュータ（図示せず）を有してもよい。

【0119】

この場合、サーバ３０で実行されるプログラム（例えば、制御プログラム）と、ウェアラブル装置２０で実行されるプログラム（例えば、通信プログラム）とは、ハイパーテキスト転送プロトコル（Hypertext Transfer Protocol，HTTP）等の通信プロトコルを用いて通信を行う。

【0120】

ウェアラブル装置２０は、図３に示すウェアラブル装置２と同様の構成を備え、更に通信部を備える。サーバ３０は、図４に示すサーバ３と同様の構成を備え、更に、サーバ通信部を備える。

【0121】

ウェアラブル装置２０の通信部は、主に２．４ＧＨｚ帯、５ＧＨｚ帯等を感受帯域とするアンテナを含む、通信インターフェース回路を有する。通信部は、無線ＬＡＮのアクセスポイント４との間でＩＥＥＥ（The Institute of Electrical and Electronics Engineers, Inc.）８０２．１１規格の無線通信方式に基づいて無線通信を行う。なお、通信部の周波数帯域は、上記した周波数帯域に限定されない。そして、通信部は、アクセスポイント４から受信したデータを処理部２５に供給し、処理部２５から供給されたデータをアクセスポイント４に送信する。

【0122】

なお、通信部は、主に２．１ＧＨｚ帯を感受帯域とするアンテナを含む、通信インターフェース回路を有し、ウェアラブル装置２０を通信ネットワーク（図示せず）に接続してもよい。この場合、通信部は、基地局（図示せず）により割り当てられるチャネルを介して、基地局との間でＣＤＭＡ（Code Division Multiple Access）方式等による無線信号回線を確立し、基地局との間で通信を行う。なお、基地局との間の通信方式は、ＣＤＭＡ方式に限定されず、Ｗ－ＣＤＭＡ（Wideband Code Division Multiple Access）方式、ＬＴＥ（Long Term Evolution）方式等の他の通信方式でもよく、今後使用される通信方式でもよい。また、通信部の周波数帯域は、上記した周波数帯域に限定されない。通信部は、基地局から受信したデータを処理部２５に供給し、処理部２５から供給されたデータを基地局に送信する。

【0123】

サーバ３０のサーバ通信部は、サーバ３０をインターネット６に接続するための通信インターフェース回路を有する。サーバ通信部は、ウェアラブル装置２０等から受信したデータをサーバ処理部３４に供給する。また、サーバ通信部は、サーバ処理部３４から供給されたデータをウェアラブル装置２等に送信する。

【0124】

（変形例４）
また、ウェアラブル装置２又はウェアラブル装置２０は表示部を備えてもよい。表示部は、動画像、静止画像等の出力が可能なＨＭＤ方式のディスプレイ装置である。表示部は、動画像、静止画像等の出力が可能であればどのようなデバイスでもよく、例えば、タッチパネル式の表示装置、液晶ディスプレイ、有機ＥＬ（Electro-Luminescence）ディスプレイ等でもよい。表示部は、処理部２５から供給される動画像データに応じた動画像、静止画像データに応じた静止画像等を表示する。

【0125】

当業者は、本発明の精神及び範囲から外れることなく、様々な変更、置換、及び修正をこれに加えることが可能であることを理解されたい。

【符号の説明】

【0126】

１，１０ 注視行動調査システム
２，２０ ウェアラブル装置
２１ 記憶部
２２ 撮影部
２３ 視線検出部
２４ 装着部
２５ 処理部
２５１ 取得部
２５２ 記憶処理部
３，３０ サーバ
３１ サーバ記憶部
３２ サーバ表示部
３３ サーバ装着部
３４ サーバ処理部
３４１ サーバ取得部
３４２ 算出部
３４３ サーバ表示処理部
３４４ サーバ記憶処理部
４ アクセスポイント
５ ルータ
６ インターネット

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】