知財求人 - 知財ポータルサイト「IP Force」
特開2024-85857遠隔支援システム、遠隔支援装置、遠隔支援方法およびプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024085857
(43)【公開日】2024-06-27
(54)【発明の名称】遠隔支援システム、遠隔支援装置、遠隔支援方法およびプログラム
(51)【国際特許分類】
G06F 3/01 20060101AFI20240620BHJP
H04N 21/431 20110101ALI20240620BHJP
H04N 21/442 20110101ALI20240620BHJP
【ＦＩ】
G06F3/01 510
H04N21/431
H04N21/442
【審査請求】未請求
【請求項の数】8
【出願形態】ＯＬ
(21)【出願番号】P 2022200633
(22)【出願日】2022-12-15
(71)【出願人】
【識別番号】000006747
【氏名又は名称】株式会社リコー
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】原島 正豪
(72)【発明者】
【氏名】平野 成伸
【テーマコード（参考）】
5C164
5E555
【Ｆターム（参考）】
5C164FA07
5C164UA31S
5C164UA42S
5C164UB41P
5C164UB88P
5C164YA11
5C164YA21
5E555AA25
5E555AA61
5E555BA02
5E555BA04
5E555BA38
5E555BB02
5E555BB04
5E555BB38
5E555BC04
5E555BC13
5E555BD05
5E555BD07
5E555BE17
5E555CA12
5E555CA42
5E555CA44
5E555CA47
5E555CB05
5E555DA08
5E555DA09
5E555DA23
5E555DB06
5E555DB20
5E555DB57
5E555DC09
5E555DC13
5E555FA00
(57)【要約】 （修正有）
【課題】簡便にキャリブレーションを行う遠隔支援システム、遠隔支援装置、遠隔支援方法及びプログラムを提供する。
【解決手段】遠隔支援システム１において、作業者用端末２０は、頭部装着型表示装置の第１表示領域における第１位置に第１指標を表示する第１画像を生成して、第１画像を頭部装着型表示装置に送信するＡＲ情報生成部２５と、撮像装置により撮像された映像データを、支援者が利用する端末の表示装置の第２表示領域に表示させるために送信する画像送信部２３と、被支援者により第１指標を所定のターゲットに合わせたときに、支援者が端末に対する操作により、映像データが表示された第２表示領域におけるターゲットに対応する部分を第２指標で指定したことにより、第２指標の第２表示領域における第２位置を取得する位置情報取得部２６と、第２位置から第１位置に座標変換するための変換情報を算出する座標変換算出部２７と、を有する。
【選択図】図７
【解決手段】遠隔支援システム１において、作業者用端末２０は、頭部装着型表示装置の第１表示領域における第１位置に第１指標を表示する第１画像を生成して、第１画像を頭部装着型表示装置に送信するＡＲ情報生成部２５と、撮像装置により撮像された映像データを、支援者が利用する端末の表示装置の第２表示領域に表示させるために送信する画像送信部２３と、被支援者により第１指標を所定のターゲットに合わせたときに、支援者が端末に対する操作により、映像データが表示された第２表示領域におけるターゲットに対応する部分を第２指標で指定したことにより、第２指標の第２表示領域における第２位置を取得する位置情報取得部２６と、第２位置から第１位置に座標変換するための変換情報を算出する座標変換算出部２７と、を有する。
【選択図】図７
【特許請求の範囲】
【請求項1】
頭部装着型表示装置の第１表示領域における第１位置に第１指標を表示する第１画像を生成して、該第１画像を前記頭部装着型表示装置に送信する生成部と、
前記頭部装着型表示装置に搭載された撮像装置により撮像された映像データを、支援者が利用する端末の表示装置の第２表示領域に表示させるために送信する送信部と、
被支援者により前記第１指標を所定のターゲットに合わせたときに、前記支援者が前記端末に対する操作により、前記映像データが表示された前記第２表示領域における前記ターゲットに対応する部分を第２指標で指定したことにより、前記第２指標の該第２表示領域における第２位置を取得する取得部と、
前記第２位置から前記第１位置に座標変換するための変換情報を算出する算出部と、
を有する遠隔支援システム。
前記頭部装着型表示装置に搭載された撮像装置により撮像された映像データを、支援者が利用する端末の表示装置の第２表示領域に表示させるために送信する送信部と、
被支援者により前記第１指標を所定のターゲットに合わせたときに、前記支援者が前記端末に対する操作により、前記映像データが表示された前記第２表示領域における前記ターゲットに対応する部分を第２指標で指定したことにより、前記第２指標の該第２表示領域における第２位置を取得する取得部と、
前記第２位置から前記第１位置に座標変換するための変換情報を算出する算出部と、
を有する遠隔支援システム。
【請求項2】
前記算出部は、前記第２位置から前記第１位置に座標変換するための座標変換行列を、前記変換情報として算出する請求項１に記載の遠隔支援システム。
【請求項3】
前記取得部は、前記支援者が前記端末に対する操作により、前記映像データが表示された前記第２表示領域において、作業指示部分を指定したとき、前記第２表示領域における該作業指示部分の第３位置を取得し、
前記取得部により取得された前記第３位置から、前記算出部により算出された前記変換情報を用いて、前記頭部装着型表示装置の前記第１表示領域上の座標を示す第４位置に座標変換する変換部を、さらに備え、
前記生成部は、前記第１表示領域に表示させるための、該第１表示領域における前記第４位置に指示情報を表示する第２画像を生成して、該第２画像を前記頭部装着型表示装置に送信する請求項１に記載の遠隔支援システム。
前記取得部により取得された前記第３位置から、前記算出部により算出された前記変換情報を用いて、前記頭部装着型表示装置の前記第１表示領域上の座標を示す第４位置に座標変換する変換部を、さらに備え、
前記生成部は、前記第１表示領域に表示させるための、該第１表示領域における前記第４位置に指示情報を表示する第２画像を生成して、該第２画像を前記頭部装着型表示装置に送信する請求項１に記載の遠隔支援システム。
【請求項4】
前記頭部装着型表示装置は、
前記被支援者の第１音声データを取得する第１音声取得部と、
前記第１音声取得部により取得された前記第１音声データを送信する第１音声送信部と、
を備え、
前記端末は、
前記第１音声送信部により送信された前記第１音声データを音声出力する第１音声出力部と、
前記支援者の第２音声データを取得する第２音声取得部と、
前記第２音声取得部により取得された前記第２音声データを送信する第２音声送信部と、
を備え、
前記頭部装着型表示装置は、前記第２音声送信部により送信された前記第２音声データを音声出力する第２音声出力部を、さらに備えた請求項１に記載の遠隔支援システム。
前記被支援者の第１音声データを取得する第１音声取得部と、
前記第１音声取得部により取得された前記第１音声データを送信する第１音声送信部と、
を備え、
前記端末は、
前記第１音声送信部により送信された前記第１音声データを音声出力する第１音声出力部と、
前記支援者の第２音声データを取得する第２音声取得部と、
前記第２音声取得部により取得された前記第２音声データを送信する第２音声送信部と、
を備え、
前記頭部装着型表示装置は、前記第２音声送信部により送信された前記第２音声データを音声出力する第２音声出力部を、さらに備えた請求項１に記載の遠隔支援システム。
【請求項5】
前記撮像装置は、奥行の情報を含む前記映像データを撮像する請求項１～４のいずれか一項に記載の遠隔支援システム。
【請求項6】
頭部装着型表示装置の第１表示領域における第１位置に第１指標を表示する第１画像を生成して、該第１画像を前記頭部装着型表示装置に送信する生成部と、
前記頭部装着型表示装置に搭載された撮像装置により撮像された映像データを、支援者が利用する端末の表示装置の第２表示領域に表示させるために送信する送信部と、
被支援者により前記第１指標を所定のターゲットに合わせたときに、前記支援者が前記端末に対する操作により、前記映像データが表示された前記第２表示領域における前記ターゲットに対応する部分を第２指標で指定したことにより、前記第２指標の該第２表示領域における第２位置を取得する取得部と、
前記第２位置から前記第１位置に座標変換するための変換情報を算出する算出部と、
を備えた遠隔支援装置。
前記頭部装着型表示装置に搭載された撮像装置により撮像された映像データを、支援者が利用する端末の表示装置の第２表示領域に表示させるために送信する送信部と、
被支援者により前記第１指標を所定のターゲットに合わせたときに、前記支援者が前記端末に対する操作により、前記映像データが表示された前記第２表示領域における前記ターゲットに対応する部分を第２指標で指定したことにより、前記第２指標の該第２表示領域における第２位置を取得する取得部と、
前記第２位置から前記第１位置に座標変換するための変換情報を算出する算出部と、
を備えた遠隔支援装置。
【請求項7】
頭部装着型表示装置の第１表示領域における第１位置に第１指標を表示する第１画像を生成して、該第１画像を前記頭部装着型表示装置に送信する生成ステップと、
前記頭部装着型表示装置に搭載された撮像装置により撮像された映像データを、支援者が利用する端末の表示装置の第２表示領域に表示させるために送信する送信ステップと、
被支援者により前記第１指標を所定のターゲットに合わせたときに、前記支援者が前記端末に対する操作により、前記映像データが表示された前記第２表示領域における前記ターゲットに対応する部分を第２指標で指定したことにより、前記第２指標の該第２表示領域における第２位置を取得する取得ステップと、
前記第２位置から前記第１位置に座標変換するための変換情報を算出する算出ステップと、
を有する遠隔支援方法。
前記頭部装着型表示装置に搭載された撮像装置により撮像された映像データを、支援者が利用する端末の表示装置の第２表示領域に表示させるために送信する送信ステップと、
被支援者により前記第１指標を所定のターゲットに合わせたときに、前記支援者が前記端末に対する操作により、前記映像データが表示された前記第２表示領域における前記ターゲットに対応する部分を第２指標で指定したことにより、前記第２指標の該第２表示領域における第２位置を取得する取得ステップと、
前記第２位置から前記第１位置に座標変換するための変換情報を算出する算出ステップと、
を有する遠隔支援方法。
【請求項8】
コンピュータに、
頭部装着型表示装置の第１表示領域における第１位置に第１指標を表示する第１画像を生成して、該第１画像を前記頭部装着型表示装置に送信する生成ステップと、
前記頭部装着型表示装置に搭載された撮像装置により撮像された映像データを、支援者が利用する端末の表示装置の第２表示領域に表示させるために送信する送信ステップと、
被支援者により前記第１指標を所定のターゲットに合わせたときに、前記支援者が前記端末に対する操作により、前記映像データが表示された前記第２表示領域における前記ターゲットに対応する部分を第２指標で指定したことにより、前記第２指標の該第２表示領域における第２位置を取得する取得ステップと、
前記第２位置から前記第１位置に座標変換するための変換情報を算出する算出ステップと、
を実行させるためのプログラム。
頭部装着型表示装置の第１表示領域における第１位置に第１指標を表示する第１画像を生成して、該第１画像を前記頭部装着型表示装置に送信する生成ステップと、
前記頭部装着型表示装置に搭載された撮像装置により撮像された映像データを、支援者が利用する端末の表示装置の第２表示領域に表示させるために送信する送信ステップと、
被支援者により前記第１指標を所定のターゲットに合わせたときに、前記支援者が前記端末に対する操作により、前記映像データが表示された前記第２表示領域における前記ターゲットに対応する部分を第２指標で指定したことにより、前記第２指標の該第２表示領域における第２位置を取得する取得ステップと、
前記第２位置から前記第１位置に座標変換するための変換情報を算出する算出ステップと、
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、遠隔支援システム、遠隔支援装置、遠隔支援方法およびプログラムに関する。
【背景技術】
【0002】
近年、ヘッドマウントディスプレイ（ＨＭＤ）およびスマートグラス等のメガネ型の表示デバイス等のウェアラブル装置が提案され、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ：拡張現実）の応用分野において使われてきている。光学シースルータイプのＡＲグラスデバイスでは、透過型のグラス部分に形成されるディスプレイ上に表示されたオブジェクトを現実のシーンに重畳させることができ、作業指示の情報の表示等と現実とのインタラクションを実現することができる。ただし、このようなインタラクションを実現するためのアプリケーションによっては、ディプレイ上に表示される表示要素の当該ディスプレイでの座標と、当該表示要素を重畳すべき現実のシーンでの座標とがずれていると、当該表示要素が示そうとする場所をユーザが特定することが困難になるという問題がある。このような問題を解決するために、グラスデバイスに搭載されたカメラによる画像、現実シーンに設置されたマーカ、または眼球位置情報等を利用したキャリブレーションの手法が既に知られている。
【0003】
このような、キャリブレーションの手法に関する技術として、キャリブレーション用画像を表示したグラスデバイスにおけるディスプレイを、別体の撮像装置で撮影して得られた撮影画像に基づいて、当該ディスプレイの当該撮像装置に対する対応関係を取得するという技術が開示されている（例えば特許文献１）。
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献１に記載された技術では、簡便にキャリブレーションを行うことができないという問題がある。
【0005】
本発明は、上記に鑑みてなされたものであって、簡便にキャリブレーションを行うことができる遠隔支援システム、遠隔支援装置、遠隔支援方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
上述した課題を解決し、目的を達成するために、本発明は、頭部装着型表示装置の第１表示領域における第１位置に第１指標を表示する第１画像を生成して、該第１画像を前記頭部装着型表示装置に送信する生成部と、前記頭部装着型表示装置に搭載された撮像装置により撮像された映像データを、支援者が利用する端末の表示装置の第２表示領域に表示させるために送信する送信部と、被支援者により前記第１指標を所定のターゲットに合わせたときに、前記支援者が前記端末に対する操作により、前記映像データが表示された前記第２表示領域における前記ターゲットに対応する部分を第２指標で指定したことにより、前記第２指標の該第２表示領域における第２位置を取得する取得部と、前記第２位置から前記第１位置に座標変換するための変換情報を算出する算出部と、を有することを特徴とする。
【発明の効果】
【0007】
本発明によれば、簡便にキャリブレーションを行うことができる。
【図面の簡単な説明】
【0008】
【発明を実施するための形態】
【0009】
以下に、図面を参照しながら、本発明に係る遠隔支援システム、遠隔支援装置、遠隔支援方法およびプログラムの実施形態を詳細に説明する。また、以下の実施形態によって本発明が限定されるものではなく、以下の実施形態における構成要素には、当業者が容易に想到できるもの、実質的に同一のもの、およびいわゆる均等の範囲のものが含まれる。さらに、以下の実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換、変更および組み合わせを行うことができる。
【0010】
また、コンピュータソフトウェアとは、コンピュータの動作に関するプログラム、その他コンピュータによる処理の用に供する情報であってプログラムに準ずるものをいう（以下、コンピュータソフトウェアは、ソフトウェアという）。アプリケーションソフトとは、ソフトウェアの分類のうち、特定の作業を行うために使用されるソフトウェアの総称である。一方、オペレーティングシステム（ＯＳ）とは、コンピュータを制御し、アプリケーションソフト等がコンピュータ資源を利用可能にするためのソフトウェアのことである。オペレーティングシステムは、入出力の制御、メモリやハードディスク等のハードウェアの管理、プロセスの管理といった、コンピュータの基本的な管理・制御を行っている。アプリケーションソフトウェアは、オペレーティングシステムが提供する機能を利用して動作する。プログラムとは、コンピュータに対する指令であって、一の結果を得ることができるように組み合わせたものをいう。また、プログラムに準ずるものとは、コンピュータに対する直接の指令ではないためプログラムとは呼べないが、コンピュータの処理を規定するという点でプログラムに類似する性質を有するものをいう。例えば、データ構造（データ要素間の相互関係で表される、データの有する論理的構造）がプログラムに準ずるものに該当する。
【0011】
【0012】
図１に示す遠隔支援システム１は、現場作業者（被支援者）がいる現場とは異なる遠隔地から支援する遠隔支援者（支援者）からの支援者用端末４０を介した作業指示等を、現場作業者が装着したグラスデバイス１０に形成されたディスプレイに表示させることによって、当該現場作業員の作業を支援するためのシステムである。遠隔支援システム１は、図１に示すように、グラスデバイス１０と、作業者用端末２０と、クラウドサーバ３０と、支援者用端末４０（端末）と、を含む。このうち、作業者用端末２０、クラウドサーバ３０および支援者用端末４０は、ネットワークＮを介して互いにデータ通信を行うことができる。ネットワークＮは、有線ネットワーク、無線ネットワークのいずれも含んでいてもよい。
【0013】
グラスデバイス１０は、現場作業者が装着するスマートグラスまたはグラスデバイス等のＡＲ用の頭部装着型表示装置である。ここで、グラスデバイス１０が備える後述の画像表示素子３０１から出射される画像光が、グラスデバイス１０の導光部材における反射により、現場作業者が視認することがきる画像表示領域を、図１に示すディスプレイＤＰと称して説明する。グラスデバイス１０のレンズ部分（後述する図２の導光部材１００）に形成されるディスプレイＤＰは、遠隔支援者が支援者用端末４０を介して指示した指示情報を表示する画像を表示する。
【0014】
作業者用端末２０は、グラスデバイス１０と支援者用端末４０との間で、音声の送受信および遠隔支援者による指示情報の中継を行うための、現場作業者が携帯するスマートフォンまたはタブレット端末等の情報処理装置である。また、作業者用端末２０は、グラスデバイス１０のディプレイ上に表示される表示要素の当該ディスプレイでの座標と、当該表示要素を重畳すべき現実のシーンでの座標との位置合わせ処理であるキャリブレーションを行う。
【0015】
クラウドサーバ３０は、グラスデバイス１０と支援者用端末４０との間で、音声の送受信および遠隔支援者による指示情報の中継を行うと共に、例えば支援者用端末４０に対して、Ｗｅｂアプリケーションを実行することによる機能および画面の提供を行うアプリケーションサーバである。
【0016】
支援者用端末４０は、現場作業者がいる現場とは異なる遠隔地から支援する遠隔支援者の作業指示等を、現場作業者が装着したグラスデバイス１０に送信するためのＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）等の情報処理装置である。
【0017】
（グラスデバイスの概略構成）
図２は、実施形態に係るグラスデバイスの概略構成の一例を示す図である。図２を参照しながら、本実施形態に係るグラスデバイス１０の概略構成について説明する。なお、図２に示すグラスデバイス１０は、一般のメガネと類似の形態を有するが、この形態に限定されるものではない。
図２は、実施形態に係るグラスデバイスの概略構成の一例を示す図である。図２を参照しながら、本実施形態に係るグラスデバイス１０の概略構成について説明する。なお、図２に示すグラスデバイス１０は、一般のメガネと類似の形態を有するが、この形態に限定されるものではない。
【0018】
グラスデバイス１０は、図２に示すように、頭部に装着する頭部装着型表示装置であって、画像表示素子から投射された画像光を、導光部材まで中継する中継光学系および当該導光部材を介して、装着者である現場作業者の眼に入射させる頭部装着型表示装置である。装着者は、眼に導光部材から射出された画像光が入射することによって画像として見ることができる。
【0019】
ここで、中継光学系とは、画像表示素子から投射（出射）した画像光を、当該画像表示素子から離間した導光部材まで中継し、当該画像表示素子と導光部材との間の光路で１以上の中間像を形成するための光学系素子群を示すものとする。したがって、中継光学系は、例えば、画像光を単に平行光として導光部材に入射させるためのコリメータとは異なる。また、中間像とは、画像表示素子から投射（出射）した光が導光部材までの光路の途中で結像することにより形成される像であり、当該画像表示素子が投射する画像と同じ画像のことを示す。ただし、中間像として形成される画像は、当該画像表示素子が投射する画像と大きさが異なってもよい。
【0020】
図２に示すように、グラスデバイス１０は、導光部材１００ａ、１００ｂと、筐体フレーム２００ａ、２００ｂと、表示部３００ａ、３００ｂと、カメラ３０７と、ブリッジ１０５と、テンプル４００ａ、４００ｂと、を備えている。
【0021】
導光部材１００ａ、１００ｂは、後述する表示部３００ａ、３００ｂの画像表示素子３０１ａ、３０１ｂから出射され、筐体フレーム２００ａ、２００ｂ内の中継光学系２０１ａ、２０１ｂによりリレーされた（中継された）画像光を導光して、装着者の眼５００ａ、５００ｂに射出させるライトガイドである。また、導光部材１００ａ、１００ｂは透過型のライトガイドであるため、装着者の前方から向かってくる光は、導光部材１００ａ、１００ｂを透過して、それぞれ装着者の眼５００ａ、５００ｂに到達する。したがって、装着者は、グラスデバイス１０を装着した状態でも前方を視認しながら、上述の画像光による画像を視認することができる。導光部材１００ａは、装着者の左眼である眼５００ａ用のライトガイドであり、反射部１０１ａと、導光部１０２ａと、取り出し部１０３ａと、射出部１０４ａと、を有する。導光部材１００ｂは、装着者の右眼である眼５００ｂ用のライトガイドであり、反射部１０１ｂと、導光部１０２ｂと、取り出し部１０３ｂと、射出部１０４ｂと、を有する。
【0022】
なお、以下、導光部材１００ａ、１００ｂ、反射部１０１ａ、１０１ｂ、導光部１０２ａ、１０２ｂ、取り出し部１０３ａ、１０３ｂ、および射出部１０４ａ、１０４ｂのそれぞれについて、いずれか任意のものを示す場合、または総称する場合、それぞれ単に「導光部材１００」、「反射部１０１」、「導光部１０２」、「取り出し部１０３」および「射出部１０４」と称する。
【0023】
また、筐体フレーム２００ａ、２００ｂ、中継光学系２０１ａ、２０１ｂ、表示部３００ａ、３００ｂ、画像表示素子３０１ａ、３０１ｂ、および眼５００ａ、５００ｂのそれぞれについて、いずれか任意のものを示す場合、または総称する場合、それぞれ単に「筐体フレーム２００」、「中継光学系２０１」、「表示部３００」、「画像表示素子３０１」および「眼５００」と称する。
【0024】
また、導光部材１００は、ハーフミラーを用いるタイプ、ホログラム素子を用いるタイプ、または多段反射等の幾何構造を有するタイプ等のいずれであってもよい。
【0025】
反射部１０１は、筐体フレーム２００の中継光学系２０１から出射した画像光の光線を導光部１０２へ反射する部位である。導光部１０２は、反射部１０１により反射された画像光を全反射させながら導光する部位である。取り出し部１０３は、導光部１０２により導光された画像光を、導光部材１００の外側に取り出すために反射させる部位である。射出部１０４は、取り出し部１０３により導光部材１００の外側に取り出すために反射された画像光を、導光部材１００の外部に射出させて、眼５００に入射させる部位である。なお、反射部１０１は、導光部材１００内で構成されるものに限定されるものではなく、導光部材１００とは別のミラー部材によって構成されるものとしてもよい。
【0026】
筐体フレーム２００は、通常のメガネのテンプルに相当する部分であり、表示部３００の画像表示素子３０１から出射した画像光をリレーするための中継光学系２０１を格納する部材である。従来の頭部装着型表示装置（ヘッドマウントディスプレイ）は、画像表示素子が装着者の眼の前にある、または、導光部材と一体型になっているのに対し、本実施形態に係るグラスデバイス１０は、画像表示素子３０１を内蔵する表示部３００と、導光部材１００とが、筐体フレーム２００内の中継光学系２０１で介されていることにより、表示部３００と、導光部材１００とが離間して設置されている。
【0027】
中継光学系２０１は、例えば、４枚１組の凸レンズの組み合わせを有するリレーレンズ群である。中継光学系２０１は、表示部３００の画像表示素子３０１から出射した画像光が入射され、当該画像光を光路の途中で少なくとも１回、中間像を形成してから、当該画像光をほとんど画像劣化させずに、当該画像光を導光部材１００に対して出射する。中継光学系２０１から出射する画像光は、略平行光または略テレセントリック光となっている。例えば、中継光学系２０１に含まれる４枚１組の凸レンズのうち、前段の２枚の凸レンズと後段の２枚の凸レンズとの間で中間像が形成される。この場合、中継光学系２０１を構成する凸レンズは、例えば、直径２ｍｍ程度のレンズであっても画像光をリレーすることが可能であり、筐体フレーム２００は、一般のメガネと同等の細さまたは軽さを有するフレームとすることが可能である。
【0028】
また、中継光学系２０１を複数のレンズ群で構成することの利点の１つとして、コストメリットが挙げられる。複数のレンズの組み合わせであるが、各々のレンズは特殊なものではなく、金型を製作して量産すれば単価を抑えることができる。また、中継光学系２０１を複数のレンズ群で構成することのもう１つの利点として、レンズの直径を比較的自由に設計できることが挙げられる。レンズの直径が大きい方が画像表示素子３０１の画像光を多く取り込むことができて、光利用効率を向上させることができる。一方で、レンズの直径が大き過ぎると、筐体フレーム２００が太くなり、装着者の実視野を塞いでしまうことになる。したがって、例えば、光利用効率の確保の観点からレンズは直径２ｍｍ以上であることが望ましく、また、装着者の実視野を確保するためには直径８ｍｍ以下であることが望ましい。中継光学系２０１としてこのようなレンズ群を用いることにより、直径２ｍｍから８ｍｍまでの間で容易に設計することができる。
【0029】
表示部３００ａ、３００ｂは、筐体フレーム２００ａ、２００ｂの中継光学系２０１ａ、２０１ｂへ向けて画像光を出射させる装置である。表示部３００ａは、表示部筐体である筐体３１０ａ内に、画像表示素子３０１ａと、制御基板３０２ａと、マイク３０８と、スピーカ３０９ａと、を内蔵する。表示部３００ｂは、表示部筐体である筐体３１０ｂ内に、画像表示素子３０１ｂと、制御基板３０２ｂと、スピーカ３０９ｂと、を内蔵する。なお、筐体３１０ａ、３１０ｂは、薄い金属板（アルミニウム、チタン、マグネシウム合金など）で形成されている。
【0030】
なお、制御基板３０２ａ、３０２ｂ、スピーカ３０９ａ、３０９ｂ、および筐体３１０ａ、３１０ｂのそれぞれについて、いずれか任意のものを示す場合、または総称する場合、単に「制御基板３０２」、「スピーカ３０９」および「筐体３１０」と称する。
【0031】
画像表示素子３０１は、導光部材１００を通じて表示する画像（虚像）の基となる画像光を出射するマイクロディスプレイである。画像表示素子３０１は、グラスデバイス１０を構成する他の部品と比較して、重量を占める部品である。例えば、画素数１２８０×７２０を有し、画面サイズが０．５インチ以下のマイクロディスプレイの場合、周辺回路を含めると１５ｍｍ角程度の大きさとなる。さらに、制御基板３０２を合わせて表示部３００の筐体３１０としてパッケージングすると１辺が２０ｍｍ以上の筐体となり、重量も２０ｇ以上のものとなる。
【0032】
なお、マイクロディスプレイである画像表示素子３０１は、例えば、透過型液晶、ＬＣＯＳ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｏｎ Ｓｉｌｉｃｏｎ：反射型液晶）、有機ＥＬ（Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）の一種であるＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）またはＤＭＤ（Ｄｉｇｉｔａｌ Ｍｉｃｒｏｍｉｒｒｏｒ Ｄｅｖｉｃｅ）であるＭＥＭＳ（Ｍｉｃｒｏ Ｅｌｅｃｔｒｏ Ｍｅｃｈａｎｉｃａｌ Ｓｙｓｔｅｍｓ）型デバイス等のいずれであってもよい。
【0033】
制御基板３０２は、画像表示素子３０１の表示動作を制御する回路基板である。
【0034】
マイク３０８は、筐体３１０ａに内蔵され、グラスデバイス１０の装着者が発する音声を集音する集音装置である。なお、マイク３０８は、表示部３００ａだけでなく、表示部３００ｂにも内蔵されているものとしてもよい。
【0035】
スピーカ３０９は、筐体３１０に内蔵され、支援者用端末４０で集音された遠隔支援者の音声であって、クラウドサーバ３０および作業者用端末２０により中継された音声を出力する音響装置である。なお、スピーカ３０９ａ、３０９ｂは、いずれか一方のみ備えられているものとしてもよい。
【0036】
カメラ３０７は、グラスデバイス１０を装着した装着者の前方側を撮像し、映像データを得る撮像装置である。カメラ３０７は、例えば、筐体フレーム２００ａまたは筐体３１０ａのうち少なくともいずれかに接合して設置されている。なお、カメラ３０７は、表示部３００ａ側に設置されることに限定されるものではなく、表示部３００ｂ側に設置されるものとしてもよい。また、カメラ３０７は、二次元の画像データに加え、奥行き（デプス）の情報を得ることができるステレオ方式、ＴｏＦ（Ｔｉｍｅ оｆ Ｆｌｉｇｈｔ）方式、構造化照明方式等を用いたカメラ等であってもよい。この場合、カメラ３０７により撮像された映像データには、当該二次元の画像データおよび奥行き（デプス）の情報が含まれる。
【0037】
ブリッジ１０５は、左右の導光部材１００ａ、１００ｂをつなぎ、装着者の鼻にかかる部材である。また、図２に図示はしていないが、ブリッジ１０５には、装着者の鼻を両脇から挟んでグラスデバイス１０を支えるためのパッド（鼻あて）が取り付けられている。
【0038】
テンプル４００ａ、４００ｂは、装着者の耳にかかる部材である。テンプル４００ａ、４００ｂは、グラスデバイス１０を支えて、装着者の耳からグラスデバイス１０が落下することを防止する。なお、テンプル４００ａ、４００ｂについて、いずれか任意のものを示す場合、または総称する場合、単に「テンプル４００」と称する。
【0039】
なお、図２に示したグラスデバイス１０は、両眼メガネ型であるが、これに限定されるものではなく、片眼用の装置であってもよい。この場合、例えば、ヘルメットまたは帽子等に取り付けたり、または、ゴーグル等にいれたりして使用してもよい。
【0040】
（グラスデバイスの表示部のハードウェア構成）
図３は、実施形態に係るグラスデバイスの表示部のハードウェア構成の一例を示す図である。図３を参照しながら、本実施形態に係るグラスデバイス１０の表示部３００のハードウェア構成について説明する。
図３は、実施形態に係るグラスデバイスの表示部のハードウェア構成の一例を示す図である。図３を参照しながら、本実施形態に係るグラスデバイス１０の表示部３００のハードウェア構成について説明する。
【0041】
図３に示すように、本実施形態に係るグラスデバイス１０の表示部３００は、画像表示素子３０１と、駆動ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：集積回路）３０３と、メモリ３０４と、電源回路３０５と、バッテリ３０６と、マイク３０８と、スピーカ３０９と、入出力Ｉ／Ｆ３１１と、通信Ｉ／Ｆ３１２と、を備える。上述の構成要素のうち、メモリ３０４、入出力Ｉ／Ｆ３１１、通信Ｉ／Ｆ３１２およびカメラ３０７は、例えば、図３に示すようにバスを介して互いにデータ通信可能となっている。この場合、当該バスの通信制御を行う制御装置が備えられていてもよい。
【0042】
なお、画像表示素子３０１、マイク３０８、スピーカ３０９およびカメラ３０７については、図２で上述した通りである。また、図３に示す表示部３００の構成の例は、具体的には、表示部３００ａの構成を示しているが、表示部３００ｂの構成は、図３に示す表示部３００ａの構成のうちマイク３０８を備えない構成となる。ただし、上述のように、表示部３００ｂも、マイク３０８を備えるものとしてもよい。
【0043】
駆動ＩＣ３０３は、メモリ３０４に蓄積された画像信号を読み出し、当該画像信号に従って、画像表示素子３０１に画像光を表示駆動させるＩＣである。
【0044】
メモリ３０４は、作業者用端末２０から通信Ｉ／Ｆ３１２により受信された画像情報を蓄積する記憶装置である。
【0045】
電源回路３０５は、バッテリ３０６から入力される電圧を、各装置の駆動に対応する電圧に変換して供給する回路である。電源回路３０５は、図３に示すように、画像表示素子３０１、駆動ＩＣ３０３およびメモリ３０４それぞれに電源（電圧）を供給する。また、電源回路３０５は、マイク３０８、スピーカ３０９、入出力Ｉ／Ｆ３１１および通信Ｉ／Ｆ３１２それぞれに対しても電源（電圧）を供給する。
【0046】
バッテリ３０６は、電源回路３０５に電圧を供給する蓄電池である。
【0047】
入出力Ｉ／Ｆ３１１は、音声データを中継するためのインターフェース回路である。具体的には、入出力Ｉ／Ｆ３１１は、マイク３０８で集音された音声データを中継し、通信Ｉ／Ｆ３１２に対して当該音声データを作業者用端末２０へ送信させる。また、入出力Ｉ／Ｆ３１１は、作業者用端末２０から通信Ｉ／Ｆ３１２により受信された音声データを中継し、スピーカ３０９から当該音声データを出力させる。
【0048】
通信Ｉ／Ｆ３１２は、作業者用端末２０等の外部装置とデータ通信するためのインターフェース回路である。例えば、通信Ｉ／Ｆ３１２は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）等の規格に準拠した有線式のインターフェース回路であってもよく、Ｗｉ－Ｆｉ（登録商標）もしくはＢｌｕｅｔｏｏｔｈ（登録商標）等の無線通信規格、または４ＧもしくはＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）等の移動通信網規格のインターフェース回路であってもよい。具体的には、通信Ｉ／Ｆ３１２は、マイク３０８で集音された音声データを入出力Ｉ／Ｆ３１１を介して受信し、作業者用端末２０へ送信する。また、通信Ｉ／Ｆ３１２は、作業者用端末２０から受信した音声データを、スピーカ３０９からの出力のために入出力Ｉ／Ｆ３１１へ送信する。また、通信Ｉ／Ｆ３１２は、カメラ３０７により撮像された映像データを受信し、作業者用端末２０へ送信する。
【0049】
上述の図２に示した制御基板３０２は、例えば、図３に示す駆動ＩＣ３０３、メモリ３０４、電源回路３０５、入出力Ｉ／Ｆ３１１および通信Ｉ／Ｆ３１２を搭載するものとすればよいが、これに限定されるものではない。
【0050】
【0051】
【0052】
図４に示すように、作業者用端末２０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）６０１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）６０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）６０３と、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）６０４と、撮像部６０５と、撮像Ｉ／Ｆ６０６と、加速度・方位センサ６０７と、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信部６０８と、を備えている。
【0053】
ＣＰＵ６０１は、作業者用端末２０全体の動作を制御する演算装置である。ＲＯＭ６０２は、ＩＰＬ（Ｉｎｉｔｉａｌ Ｐｒｏｇｒａｍ Ｌｏａｄｅｒ）等のＣＰＵ６０１の駆動に用いられるプログラムを記憶する不揮発性記憶装置である。ＲＡＭ６０３は、ＣＰＵ６０１のワークエリアとして使用される揮発性記憶装置である。ＥＥＰＲＯＭ６０４は、プログラム等および各種データを記憶する不揮発性記憶装置である。
【0054】
撮像部６０５は、ＣＰＵ６０１による制御に従って、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等のイメージセンサにより被写体を撮像して画像データを得る内蔵型の撮像装置である。なお、ＣＭＯＳのイメージセンサではなく、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）等のイメージセンサであってもよい。撮像Ｉ／Ｆ６０６は、撮像部６０５の駆動を制御するためのインターフェースである。
【0055】
加速度・方位センサ６０７は、地磁気を検知する電子磁気コンパス、ジャイロコンパス、加速度センサ等の各種センサである。
【0056】
ＧＰＳ受信部６０８は、ＧＰＳ衛星からＧＰＳ信号を受信する受信装置である。なお、ＧＰＳ受信部６０８の代わりに、ＧＮＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）に基づく測位衛星から測位信号を受信する受信装置を用いてもよい。
【0057】
また、図４に示すように、作業者用端末２０は、さらに、遠距離通信回路６１０と、アンテナ６１０ａと、近距離通信回路６１１と、アンテナ６１１ａと、マイク６１２と、スピーカ６１３と、音入出力Ｉ／Ｆ６１４と、ディスプレイ６１５と、外部機器接続Ｉ／Ｆ６１６と、バイブレータ６１７と、タッチパネル６１８と、を備えている。
【0058】
遠距離通信回路６１０は、ネットワークＮを介して、Ｗｉ－Ｆｉ（登録商標）、等の規格により、アンテナ６１０ａを介して他の機器（クラウドサーバ３０等）と無線通信をする通信回路である。
【0059】
近距離通信回路６１１は、ＮＦＣ（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）またはＢｌｕｅｔｏｏｔｈ等の規格により、アンテナ６１１ａを介して他の機器（グラスデバイス１０等）と近距離の無線通信をする通信回路である。
【0060】
マイク６１２は、音を電気信号に変える内蔵型の集音装置である。スピーカ６１３は、電気信号を物理振動に変えて音楽または音声等の音を出力する内蔵型の音響装置である。音入出力Ｉ／Ｆ６１４は、ＣＰＵ６０１による制御に従って、マイク６１２およびスピーカ６１３との間で音信号の入出力を処理するインターフェースである。なお、マイク６１２およびスピーカ６１３は、無線接続されたヘッドセットであってもよい。
【0061】
ディスプレイ６１５は、被写体の画像、各種アイコン等を表示する液晶ディスプレイまたは有機ＥＬディスプレイ等の表示装置である。外部機器接続Ｉ／Ｆ６１６は、各種の外部機器を接続するためのＵＳＢ等の規格のインターフェースである。
【0062】
バイブレータ６１７は、ＣＰＵ６０１による制御に従って、物理的な振動を発生させる装置である。
【0063】
タッチパネル６１８は、利用者がディスプレイ６１５をタッチ操作することにより、作業者用端末２０の各種機能を発揮させるための入力装置である。
【0064】
上述のＣＰＵ６０１、ＲＯＭ６０２、ＲＡＭ６０３、ＥＥＰＲＯＭ６０４、撮像Ｉ／Ｆ６０６、加速度・方位センサ６０７、ＧＰＳ受信部６０８、遠距離通信回路６１０、近距離通信回路６１１、音入出力Ｉ／Ｆ６１４、ディスプレイ６１５、外部機器接続Ｉ／Ｆ６１６、バイブレータ６１７およびタッチパネル６１８は、アドレスバスおよびデータバス等のバスライン６０９によって互いに通信可能に接続されている。
【0065】
なお、図４に示した作業者用端末２０のハードウェア構成は一例であり、すべての構成機器を備えている必要はなく、また、他の構成機器を備えているものとしてもよい。
【0066】
（作業者用端末のハードウェア構成）
図５は、実施形態に係るクラウドサーバのハードウェア構成の一例を示す図である。図５を参照しながら、本実施形態に係るクラウドサーバ３０のハードウェア構成について説明する。
図５は、実施形態に係るクラウドサーバのハードウェア構成の一例を示す図である。図５を参照しながら、本実施形態に係るクラウドサーバ３０のハードウェア構成について説明する。
【0067】
図５に示すように、クラウドサーバ３０は、ＣＰＵ７０１と、ＲＯＭ７０２と、ＲＡＭ７０３と、ＨＤ（Ｈａｒｄ Ｄｉｓｋ）７０４、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）コントローラ７０５と、ディスプレイ７０６と、外部機器接続Ｉ／Ｆ７０８と、ネットワークＩ／Ｆ７０９と、キーボード７１１と、ポインティングデバイス７１２と、ＤＶＤ－ＲＷ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ Ｒｅｗｒｉｔａｂｌｅ）ドライブ７１４と、メディアＩ／Ｆ７１６と、を備えている。これらの各装置は、データ通信が可能となるようにアドレスバスおよびデータバス等のバスライン７１０で接続されている。
【0068】
ＣＰＵ７０１は、クラウドサーバ３０全体の動作を制御する演算装置である。ＲＯＭ７０２は、ＩＰＬ等のＣＰＵ７０１の駆動に用いられるプログラムを記憶する不揮発性記憶装置である。ＲＡＭ７０３は、ＣＰＵ７０１のワークエリアとして使用される揮発性記憶装置である。
【0069】
ＨＤ７０４は、プログラム等の各種データを記憶する不揮発性の補助記憶装置である。ＨＤＤコントローラ７０５は、ＣＰＵ７０１の制御に従って、ＨＤ７０４に対する各種データの読み出しまたは書き込みを制御するコントローラである。なお、ＨＤ７０４およびＨＤＤコントローラ７０５は、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）であってもよい。
【0070】
ディスプレイ７０６は、カーソル、メニュー、ウィンドウ、文字または画像等の各種情報を表示する表示装置である。外部機器接続Ｉ／Ｆ７０８は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器としては、例えば、ＵＳＢメモリまたはプリンタ等が挙げられる。
【0071】
ネットワークＩ／Ｆ７０９は、ネットワークＮを介してデータ通信をするためのインターフェースであり、例えば、イーサネット（登録商標）、およびＴＣＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ）／ＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）等に準拠した通信が可能なインターフェースである。
【0072】
キーボード７１１は、文字、数値、各種指示等の入力のための複数のキーを備えた入力装置である。ポインティングデバイス７１２は、各種指示の選択、実行、処理対象の選択、カーソルの移動等を行うマウス等の入力装置である。
【0073】
ＤＶＤ－ＲＷドライブ７１４は、着脱可能な記録媒体の一例としてのＤＶＤ－Ｒ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ Ｒｅｃｏｒｄａｂｌｅ）またはＤＶＤ－ＲＷ等のＤＶＤ７１３に対する各種データの読み出しまたは書き込みを制御する装置である。メディアＩ／Ｆ７１６は、フラッシュメモリ等のメディア７１５に対するデータの読み出しまたは書き込み（記憶）を制御するインターフェースである。
【0074】
【0075】
（支援者用端末のハードウェア構成）
図６は、実施形態に係る支援者用端末のハードウェア構成の一例を示す図である。図６を参照しながら、本実施形態に係る支援者用端末４０のハードウェア構成の詳細について説明する。
図６は、実施形態に係る支援者用端末のハードウェア構成の一例を示す図である。図６を参照しながら、本実施形態に係る支援者用端末４０のハードウェア構成の詳細について説明する。
【0076】
図６に示すように、本実施形態に係る支援者用端末４０は、ＣＰＵ８０１と、ＲＯＭ８０２と、ＲＡＭ８０３と、補助記憶装置８０５と、入力装置８０８と、を備えている。
【0077】
ＣＰＵ８０１は、支援者用端末４０全体の動作を制御する演算装置である。ＲＯＭ８０２は、支援者用端末４０用のプログラムを記憶している不揮発性記憶装置である。ＲＡＭ８０３は、ＣＰＵ８０１のワークエリアとして使用される揮発性記憶装置である。
【0078】
補助記憶装置８０５は、プログラムおよび各種データを記憶するＨＤＤまたはＳＳＤ等の不揮発性記憶装置である。
【0079】
入力装置８０８は、マウスまたはキーボード等の各種情報を入力するための装置である。なお、入力装置８０８は、タッチパネルまたはペンデバイスであってもよい。
【0080】
また、支援者用端末４０は、図６に示すように、ネットワークＩ／Ｆ８１１と、音声入出力Ｉ／Ｆ８１６と、ディスプレイＩ／Ｆ８１９と、マイク８１４と、スピーカ８１５と、ディスプレイ８２０と、を備えている。
【0081】
ネットワークＩ／Ｆ８１１は、ネットワークＮを利用してデータを通信するためのインターフェースである。ネットワークＩ／Ｆ８１１は、例えば、ＴＣＰ／ＩＰに準拠したＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）等である。
【0082】
音声入出力Ｉ／Ｆ８１６は、ＣＰＵ８０１の制御に従って、音声を入力するマイク８１４および音声を出力するスピーカ８１５との間で音声データの入出力を処理するインターフェースである。マイク８１４およびスピーカ１１５は、それぞれ音声入出力Ｉ／Ｆ１１６に接続される。
【0083】
ディスプレイＩ／Ｆ８１９は、ＣＰＵ８０１の制御に従って、ディスプレイ８２０に画像データを伝送するためのインターフェースである。ディスプレイ８２０は、被写体の画像および操作用アイコン等を表示する液晶または有機ＥＬ等によって構成された表示装置である。ディスプレイ８２０は、ケーブルによってディスプレイＩ／Ｆ１１９に接続される。当該ケーブルは、アナログＲＧＢ（ＶＧＡ）信号用のケーブルであってもよく、コンポーネントビデオ用のケーブルであってもよく、ＨＤＭＩ（登録商標）(Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ)またはＤＶＩ（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｉｎｔｅｒａｃｔｉｖｅ）信号用のケーブルであってもよい。
【0084】
上述のＣＰＵ８０１、ＲＯＭ８０２、ＲＡＭ８０３、補助記憶装置８０５、入力装置８０８、ネットワークＩ／Ｆ８１１、音声入出力Ｉ／Ｆ８１６およびディスプレイＩ／Ｆ８１９は、アドレスバスおよびデータバス等のバスライン８１０によって互いに通信可能に接続されている。
【0085】
なお、図６に示した支援者用端末４０のハードウェア構成は一例を示すものであり、図６に示した構成要素以外の構成要素を含むものとしてもよい。また、マイク８１４およびスピーカ８１５は、少なくともいずれかは支援者用端末４０とは別体の外部機器として用いられるものであってもよい。
【0086】
（遠隔支援システムの機能ブロックの構成および動作）
図７は、実施形態に係る遠隔支援システムの機能ブロックの構成の一例を示す図である。図７を参照しながら、本実施形態に係る遠隔支援システム１の機能ブロックの構成および動作について説明する。
図７は、実施形態に係る遠隔支援システムの機能ブロックの構成の一例を示す図である。図７を参照しながら、本実施形態に係る遠隔支援システム１の機能ブロックの構成および動作について説明する。
【0087】
＜グラスデバイスの機能ブロックの構成および動作＞
図７に示すように、グラスデバイス１０は、通信部１１（第１音声送信部）と、画像表示部１２と、撮像部１３と、音声取得部１４（第１音声取得部）と、音声出力部１５（第１音声出力部）と、を有する。
図７に示すように、グラスデバイス１０は、通信部１１（第１音声送信部）と、画像表示部１２と、撮像部１３と、音声取得部１４（第１音声取得部）と、音声出力部１５（第１音声出力部）と、を有する。
【0088】
通信部１１は、作業者用端末２０との間でデータ通信を行う機能部である。通信部１１は、図３に示した通信Ｉ／Ｆ３１２によって実現される。
【0089】
画像表示部１２は、作業者用端末２０から通信部１１により受信されたキャリブレーション時におけるポインタを表示する画像、および、支援者用端末４０から送信された作業指示を示す指示情報を表示する画像（後述する指示画像）を、ディスプレイＤＰ（第１表示領域）に表示する機能部である。画像表示部１２は、図１および図２に示した画像表示素子３０１によって実現される。
【0090】
撮像部１３は、グラスデバイス１０を装着した装着者の前方側を撮像し、映像データとして取得する機能部である。撮像部１３は、図２および図３に示したカメラ３０７によって実現される。なお、撮像部１３は、映像データとして、二次元の画像データに加え、奥行き（デプス）の情報を得ることができるものとしてもよい。
【0091】
【0092】
音声出力部１５は、音声を出力する機能部である。例えば、音声出力部１５は、支援者用端末４０で集音された遠隔支援者の音声データであって、クラウドサーバ３０および作業者用端末２０により中継され、通信部１１により受信された音声データを音声出力する。音声出力部１５は、図２および図３に示したスピーカ３０９によって実現される。
【0093】
＜作業者用端末の機能ブロックの構成および動作＞
図７に示すように、作業者用端末２０は、第１通信部２１と、第２通信部２２と、画像送信部２３（送信部の一例）と、音声中継部２４と、ＡＲ情報生成部２５（生成部の一例）と、位置情報取得部２６（取得部の一例）と、座標変換算出部２７（算出部の一例）と、座標変換部２８（変換部の一例）と、記憶部２９と、を有する。
図７に示すように、作業者用端末２０は、第１通信部２１と、第２通信部２２と、画像送信部２３（送信部の一例）と、音声中継部２４と、ＡＲ情報生成部２５（生成部の一例）と、位置情報取得部２６（取得部の一例）と、座標変換算出部２７（算出部の一例）と、座標変換部２８（変換部の一例）と、記憶部２９と、を有する。
【0094】
第１通信部２１は、グラスデバイス１０との間でデータ通信を行う機能部である。第１通信部２１は、図４に示した近距離通信回路６１１およびアンテナ６１１ａによって実現される。
【0095】
第２通信部２２は、ネットワークＮを介してクラウドサーバ３０との間でデータ通信を行う機能部である。第２通信部２２は、図４に示した遠距離通信回路６１０およびアンテナ６１０ａによって実現される。
【0096】
画像送信部２３は、第１通信部２１により受信されたグラスデバイス１０の撮像部１３により撮像された映像データを、第２通信部２２を介してクラウドサーバ３０へ送信する機能部である。画像送信部２３は、例えば図４に示したＣＰＵ６０１によりネイティブアプリケーション等のプログラムが実行されることによって実現される。
【0097】
音声中継部２４は、グラスデバイス１０とクラウドサーバ３０との間で音声データの中継を行う機能部である。例えば、音声中継部２４は、グラスデバイス１０の音声取得部１４で取得された現場作業者の音声データを第１通信部２１を介して取得し、当該音声データを第２通信部２２を介してクラウドサーバ３０へ送信する。また、音声中継部２４は、支援者用端末４０の後述する音声取得部４２で取得された遠隔支援者の音声データを、クラウドサーバ３０および第２通信部２２を介して取得し、当該音声データを第１通信部２１を介してグラスデバイス１０へ送信する。音声中継部２４は、例えば図４に示したＣＰＵ６０１によりネイティブアプリケーション等のプログラムが実行されることによって実現される。
【0098】
ＡＲ情報生成部２５は、支援者用端末４０から送信されたキャリブレーション開始信号が、クラウドサーバ３０を介して第２通信部２２により受信された場合、グラスデバイス１０のディスプレイＤＰの既知である所定の位置Ｐｄ（第１位置）に、後述するポインタＤ（第１指標）を表示する画像（第１画像）を生成し、当該画像を第１通信部２１を介してグラスデバイス１０へ送信する機能部である。位置Ｐｄとは、例えば、ディスプレイＤＰの中央位置である。また、ＡＲ情報生成部２５は、後述するように、座標変換部２８により座標変換された位置Ｐｄ１に指示情報を表示する画像（指示画像）を生成し、当該指示画像を第１通信部２１を介してグラスデバイス１０へ送信する。ＡＲ情報生成部２５は、例えば図４に示したＣＰＵ６０１によりネイティブアプリケーション等のプログラムが実行されることによって実現される。
【0099】
位置情報取得部２６は、クラウドサーバ３０から、第２通信部２２を介して、支援者用端末４０で遠隔支援者により指定された位置（後述する位置Ｐｃ、位置Ｐｃ１）の情報を取得する機能部である。位置情報取得部２６は、例えば図４に示したＣＰＵ６０１によりネイティブアプリケーション等のプログラムが実行されることによって実現される。
【0100】
座標変換算出部２７は、キャリブレーション時に、位置情報取得部２６により取得された、支援者用端末４０で遠隔支援者により指定された位置Ｐｃ（第２位置）から、既知であるディスプレイＤＰ上の位置Ｐｄに座標変換する座標変換行列Ｔ（変換情報の一例）を算出する機能部である。例えば、座標変換算出部２７は、周知のアフィン変換またはホモグラフィ変換等による座標変換を行うための座標変換行列Ｔを算出する。座標変換算出部２７は、算出した座標変換行列Ｔを、記憶部２９に記憶させる。
【0101】
なお、座標変換算出部２７により座標変換行列Ｔの算出にあたり、位置Ｐｃと位置Ｐｄとの１の組み合わせから座標変換行列Ｔを算出するものとしていたが、これに限定されるものではなく、位置Ｐｃと位置Ｐｄとの複数の組み合わせから座標変換行列Ｔを算出してもよい。ここで、例えば、４つの組み合わせを想定した場合の座標変換行列Ｔの具体的な算出方法の一例を説明する。この場合、座標変換算出部２７は、グラスデバイス１０のディスプレイＤＰに表示された既知である４箇所の位置Ｐｄに表示された４つのポインタＤに基づいて、それぞれ支援者用端末４０で遠隔支援者により指定された４箇所の位置Ｐｃが得られた場合、これらの４つの位置Ｐｃから４つの位置Ｐｄに変換するためのホモグラフィ変換による座標変換行列Ｔを算出する。ここで、４つの位置Ｐｃの座標を（ｘ１１，ｙ１１）、（ｘ１２，ｙ１２）、（ｘ１３，ｙ１３）、（ｘ１４，ｙ１４）とし、４つの位置Ｐｄの座標を（ｘ２１，ｙ２１）、（ｘ２２，ｙ２２）、（ｘ２３，ｙ２３）、（ｘ２４，ｙ２４）とする。ここで、これらの位置Ｐｃのうち任意の位置Ｐｃの座標を（ｘ１，ｙ１）とし、当該（ｘ１，ｙ１）に対応する位置Ｐｄの座標を（ｘ２，ｙ２）とすると、座標ｘ２および座標ｙ２はそれぞれ下記の式（１）および式（２）で表される。
【0102】
【数1】
【0103】
【数2】
【0104】
座標変換算出部２７は、上述の４つの位置Ｐｃから４つの位置Ｐｄに変換するための上記の式（１）および式（２）のおける係数ｈｉｊを、下記の式（３）によって算出する。
【0105】
【数3】
【0106】
そして、座標変換算出部２７は、上記の式（３）で算出した係数ｈｉｊにより下記の式（４）に示す座標変換行列Ｔを算出する。
【0107】
【数4】
【0108】
座標変換算出部２７は、例えば図４に示したＣＰＵ６０１によりネイティブアプリケーション等のプログラムが実行されることによって実現される。
【0109】
座標変換部２８は、キャリブレーション後に、位置情報取得部２６により取得された、支援者用端末４０で遠隔支援者により現場作業を指示するために指定された位置Ｐｃ１から、座標変換算出部２７により算出された座標変換行列Ｔを用いて、グラスデバイス１０のディスプレイＤＰ上の位置Ｐｄ１に座標変換する機能部である。この場合、座標変換部２８は、座標変換算出部２７により算出された座標変換行列Ｔについては記憶部２９から読み出して使用する。座標変換部２８は、例えば図４に示したＣＰＵ６０１によりネイティブアプリケーション等のプログラムが実行されることによって実現される。
【0110】
記憶部２９は、座標変換算出部２７により算出された座標変換行列Ｔを記憶する機能部である。記憶部２９は、図４に示したＲＡＭ６０３またはＥＥＰＲＯＭ６０４によって実現される。
【0111】
なお、上述の画像送信部２３、音声中継部２４、ＡＲ情報生成部２５、位置情報取得部２６、座標変換算出部２７および座標変換部２８は、ネイティブアプリケーションが実行されることによって実現されることに限定されるものではなく、例えば、クラウドサーバ３０上で実行されるＷｅｂアプリケーションの機能によって実現されるものとしてもよい。
【0112】
また、画像送信部２３、音声中継部２４、ＡＲ情報生成部２５、位置情報取得部２６、座標変換算出部２７および座標変換部２８の機能部の一部または全部は、ソフトウェアであるプログラムではなく、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）またはＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等のハードウェア回路（集積回路）によって実現されてもよい。
【0113】
また、図７に示す作業者用端末２０の各機能部は、機能を概念的に示したものであって、このような構成に限定されるものではない。例えば、図７に示す作業者用端末２０で独立した機能部として図示した複数の機能部を、１つの機能部として構成してもよい。一方、図７に示す作業者用端末２０で１つの機能部が有する機能を複数に分割し、複数の機能部として構成するものとしてもよい。
【0114】
＜クラウドサーバの機能ブロックの構成および動作＞
図７に示すように、クラウドサーバ３０は、通信部３１と、中継部３２と、画像提供部３３と、を有する。
図７に示すように、クラウドサーバ３０は、通信部３１と、中継部３２と、画像提供部３３と、を有する。
【0115】
通信部３１は、ネットワークＮを介して作業者用端末２０および支援者用端末４０との間でデータ通信を行う機能部である。通信部３１は、図５に示したネットワークＩ／Ｆ７０９によって実現される。
【0116】
中継部３２は、作業者用端末２０と支援者用端末４０との間でデータの中継を行う機能部である。例えば、中継部３２は、グラスデバイス１０の音声取得部１４で取得された現場作業者の音声データを、作業者用端末２０および通信部３１を介して取得し、当該音声データを通信部３１を介して支援者用端末４０へ送信する。また、中継部３２は、グラスデバイス１０の撮像部１３で撮像された映像データを、作業者用端末２０および通信部３１を介して取得し、当該映像データを通信部３１を介して支援者用端末４０へ送信する。また、中継部３２は、支援者用端末４０の音声取得部４２で取得された遠隔支援者の音声データを、通信部３１を介して取得し、当該音声データを通信部３１を介して作業者用端末２０へ送信する。また、中継部３２は、支援者用端末４０から送信されたキャリブレーション開始信号を、通信部３１を介して取得し、当該キャリブレーション開始信号を通信部３１を介して作業者用端末２０へ送信する。また、中継部３２は、支援者用端末４０で遠隔支援者により指定された位置Ｐｃおよび位置Ｐｃ１の情報を、通信部３１を介して受信し、当該情報を通信部３１を介して作業者用端末２０へ送信する。中継部３２は、例えば図５に示したＣＰＵ７０１によりプログラムが実行されることによって実現される。
【0117】
画像提供部３３は、支援者用端末４０に対して、Ｗｅｂアプリケーションの実行に伴い、当該Ｗｅｂアプリケーションの機能を提供するための画像を、通信部３１を介して支援者用端末４０へ提供する機能部である。画像提供部３３は、例えば図５に示したＣＰＵ７０１によりプログラムが実行されることによって実現される。
【0118】
なお、中継部３２および画像提供部３３の機能部の一部または全部は、ソフトウェアであるプログラムではなく、ＦＰＧＡまたはＡＳＩＣ等のハードウェア回路（集積回路）によって実現されてもよい。
【0119】
また、図７に示すクラウドサーバ３０の各機能部は、機能を概念的に示したものであって、このような構成に限定されるものではない。例えば、図７に示すクラウドサーバ３０で独立した機能部として図示した複数の機能部を、１つの機能部として構成してもよい。一方、図７に示すクラウドサーバ３０で１つの機能部が有する機能を複数に分割し、複数の機能部として構成するものとしてもよい。
【0120】
＜支援者用端末の機能ブロックの構成および動作＞
図７に示すように、支援者用端末４０は、通信部４１（第２音声送信部）と、音声取得部４２（第２音声取得部）と、音声出力部４３（第２音声出力部）と、入力部４４と、表示制御部４５と、位置取得部４６と、を有する。
図７に示すように、支援者用端末４０は、通信部４１（第２音声送信部）と、音声取得部４２（第２音声取得部）と、音声出力部４３（第２音声出力部）と、入力部４４と、表示制御部４５と、位置取得部４６と、を有する。
【0121】
通信部４１は、ネットワークＮを介してクラウドサーバ３０との間でデータ通信を行う機能部である。通信部４１は、図６に示したネットワークＩ／Ｆ８１１によって実現される。
【0122】
音声取得部４２は、遠隔支援者が発する音声を集音して音声データ（第２音声データ）として取得する機能部である。音声取得部４２は、図６に示したマイク８１４によって実現される。
【0123】
音声出力部４３は、音声を出力する機能部である。例えば、音声出力部４３は、グラスデバイス１０で集音された現場作業者の音声データであって、作業者用端末２０およびクラウドサーバ３０により中継され、通信部４１により受信された音声データを音声出力する。音声出力部４３は、図６に示したスピーカ８１５によって実現される。
【0124】
入力部４４は、遠隔支援者の操作入力を受け付ける機能部である。入力部４４は、図６に示した入力装置８０８によって実現される。
【0125】
表示制御部４５は、ディスプレイ８２０（表示装置）における各種画像・画面の表示動作を制御する機能部である。例えば、表示制御部４５は、ディスプレイ８２０に表示されるブラウザ画面に、グラスデバイス１０の撮像部１３により撮像された映像データを表示する。表示制御部４５は、例えば図６に示したＣＰＵ８０１によってブラウザ等のプログラムが実行されることによって実現される。
【0126】
位置取得部４６は、キャリブレーション時に、ディスプレイ８２０に表示されるキャリブレーション用の画面に表示された、グラスデバイス１０の撮像部１３により撮像された映像データにおいて、遠隔支援者により入力部４４を介して指定された位置（後述するポインタＣの位置）を位置Ｐｃとして取得する機能部である。また、位置取得部４６は、キャリブレーション後に、ディスプレイ８２０に表示される画面に表示された、グラスデバイス１０の撮像部１３により撮像された映像データにおいて、遠隔支援者により現場作業を指示するために入力部４４を介して指定された位置（後述するポインタＣの位置）を位置Ｐｃ１として取得する。また、位置取得部４６は、取得した位置Ｐｃおよび位置Ｐｃ１の位置情報を、通信部４１を介してクラウドサーバ３０へ送信する。位置取得部４６は、例えば図６に示したＣＰＵ８０１によってブラウザで展開されるＷｅｂアプリケーションの機能によって実現される。
【0127】
なお、上述の位置取得部４６は、クラウドサーバ３０上で実行されるＷｅｂアプリケーションの機能によって実現されることに限定されるものではなく、例えば、ネイティブアプリケーションが実行されることによって実現されるものとしてもよい。
【0128】
また、表示制御部４５および位置取得部４６の機能部の一部または全部は、ソフトウェアであるプログラムではなく、ＦＰＧＡまたはＡＳＩＣ等のハードウェア回路（集積回路）によって実現されてもよい。
【0129】
また、図７に示す支援者用端末４０の各機能部は、機能を概念的に示したものであって、このような構成に限定されるものではない。例えば、図７に示す支援者用端末４０で独立した機能部として図示した複数の機能部を、１つの機能部として構成してもよい。一方、図７に示す支援者用端末４０で１つの機能部が有する機能を複数に分割し、複数の機能部として構成するものとしてもよい。
【0130】
また、上述の図７に示す各機能部は、当該各機能部が属する装置で機能を発揮することに限定されるものではなく、異なる装置で機能を発揮するものとしてもよい。例えば、遠隔支援システム１におけるキャリブレーション処理および座標変換処理の主要な機能部（例えばＡＲ情報生成部２５、位置情報取得部２６、座標変換算出部２７、座標変換部２８および記憶部２９等）が、作業者用端末２０ではなく例えばクラウドサーバ３０に含まれるものとしてもよい。また、例えば、座標変換行列Ｔを算出する座標変換算出部２７、および座標変換行列Ｔを使用して座標変換を行う座標変換部２８は、それぞれ別の装置に備えられるものとしてもよい。したがって、作業者用端末２０、クラウドサーバ３０および支援者用端末４０は、それぞれ「遠隔支援装置」の一例である。
【0131】
（遠隔支援システムのキャリブレーション処理）
図８は、実施形態に係る遠隔支援システムのキャリブレーション処理の流れの一例を示すフローチャートである。図９は、実施形態に係る遠隔支援システムのキャリブレーション処理において支援者用端末に表示されるキャリブレーション用画面の一例を示す図である。図１０は、実施形態に係る遠隔支援システムのキャリブレーション処理において現場作業者がディスプレイに表示されたポインタをターゲットに合わせる動作を説明する図である。図８～図１０を参照しながら、本実施形態に係る遠隔支援システム１のキャリブレーション処理の流れについて説明する。
図８は、実施形態に係る遠隔支援システムのキャリブレーション処理の流れの一例を示すフローチャートである。図９は、実施形態に係る遠隔支援システムのキャリブレーション処理において支援者用端末に表示されるキャリブレーション用画面の一例を示す図である。図１０は、実施形態に係る遠隔支援システムのキャリブレーション処理において現場作業者がディスプレイに表示されたポインタをターゲットに合わせる動作を説明する図である。図８～図１０を参照しながら、本実施形態に係る遠隔支援システム１のキャリブレーション処理の流れについて説明する。
【0132】
＜ステップＳ１１＞
支援者用端末４０を使用する遠隔支援者は、入力部４４に対する操作により、表示制御部４５に対して、図９に示すブラウザ画面１０００にキャリブレーション用の画面を表示させる。
支援者用端末４０を使用する遠隔支援者は、入力部４４に対する操作により、表示制御部４５に対して、図９に示すブラウザ画面１０００にキャリブレーション用の画面を表示させる。
【0133】
図９に示すブラウザ画面１０００に表示されるキャリブレーション用の画面は、映像表示領域１１００（第２表示領域の一例）と、開始ボタン１１０１と、を含む。映像表示領域１１００は、グラスデバイス１０の撮像部１３により撮像された映像データを表示する表示領域である。図９に示す例では、映像表示領域１１００には、撮像部１３により撮像された物体が、物体ＯＢＪ１として表示されている。開始ボタン１１０１は、キャリブレーション処理を開始するためのボタンである。
【0134】
遠隔支援者により入力部４４を介して開始ボタン１１０１が押下されると、表示制御部４５は、キャリブレーション開始信号を、通信部４１を介してクラウドサーバ３０へ送信する。また、クラウドサーバ３０の中継部３２は、支援者用端末４０から送信されたキャリブレーション開始信号を、通信部３１を介して取得し、当該キャリブレーション開始信号を通信部３１を介して作業者用端末２０へ送信する。また、作業者用端末２０のＡＲ情報生成部２５は、クラウドサーバ３０から送信されたキャリブレーション開始信号が第２通信部２２により受信された場合、図１０（ａ）に示すように、グラスデバイス１０のディスプレイＤＰにおいて、既知である所定の位置Ｐｄ（例えばディスプレイＤＰの中心位置）にポインタＤを表示する画像を生成し、当該画像を第１通信部２１を介してグラスデバイス１０へ送信する。そして、グラスデバイス１０の画像表示部１２は、作業者用端末２０から通信部１１により受信されたポインタＤを表示する画像を、図１０（ａ）に示すように、ディスプレイＤＰに表示する。図１０（ａ）に示す例では、映像表示領域１１００には、上述の図９に示した映像表示領域１１００が写している物体ＯＢＪ１が示す物体と同じ物体を示す物体ＯＢＪ２が表示されている。そして、ステップＳ１２へ移行する。
【0135】
＜ステップＳ１２＞
遠隔支援者および現場作業者は、支援者用端末４０の音声取得部４２および音声出力部４３、ならびにグラスデバイス１０の音声取得部１４および音声出力部１５を介して、互いに音声データの送受信により会話を行うことが可能である。当該音声データの流れについては、図７で説明した通りである。そして、グラスデバイス１０を装着している現場作業者は、遠隔支持者の指示に従って、首振り動作をすることにより、ディスプレイＤＰに表示されているポインタＤを、図１０（ｂ）に示すように、遠隔支持者に支持されたターゲット（例えば物体ＯＢＪ２の角部分）に合わせ、その旨を遠隔支援者に連絡する。そして、ステップＳ１３へ移行する。
遠隔支援者および現場作業者は、支援者用端末４０の音声取得部４２および音声出力部４３、ならびにグラスデバイス１０の音声取得部１４および音声出力部１５を介して、互いに音声データの送受信により会話を行うことが可能である。当該音声データの流れについては、図７で説明した通りである。そして、グラスデバイス１０を装着している現場作業者は、遠隔支持者の指示に従って、首振り動作をすることにより、ディスプレイＤＰに表示されているポインタＤを、図１０（ｂ）に示すように、遠隔支持者に支持されたターゲット（例えば物体ＯＢＪ２の角部分）に合わせ、その旨を遠隔支援者に連絡する。そして、ステップＳ１３へ移行する。
【0136】
＜ステップＳ１３＞
遠隔支援者は、現場作業者からポインタＤをターゲットに合わせた旨の連絡を受けると、入力部４４を介して、図９に示すキャリブレーション用の画面の映像表示領域１１００に表示された、グラスデバイス１０の撮像部１３により撮像された映像データに重畳して表示されたポインタＣ（第２指標）を当該ターゲットである物体ＯＢＪ１の角部分に合わせてクリック操作を行う。そして、ステップＳ１４へ移行する。
遠隔支援者は、現場作業者からポインタＤをターゲットに合わせた旨の連絡を受けると、入力部４４を介して、図９に示すキャリブレーション用の画面の映像表示領域１１００に表示された、グラスデバイス１０の撮像部１３により撮像された映像データに重畳して表示されたポインタＣ（第２指標）を当該ターゲットである物体ＯＢＪ１の角部分に合わせてクリック操作を行う。そして、ステップＳ１４へ移行する。
【0137】
＜ステップＳ１４＞
そして、支援者用端末４０の位置取得部４６は、映像表示領域１１００におけるポインタＣの位置を位置Ｐｃとして取得する。表示制御部４５は、位置Ｐｃの情報を、通信部４１およびクラウドサーバ３０を介して、作業者用端末２０へ送信する。そして、ステップＳ１５へ移行する。
そして、支援者用端末４０の位置取得部４６は、映像表示領域１１００におけるポインタＣの位置を位置Ｐｃとして取得する。表示制御部４５は、位置Ｐｃの情報を、通信部４１およびクラウドサーバ３０を介して、作業者用端末２０へ送信する。そして、ステップＳ１５へ移行する。
【0138】
＜ステップＳ１５＞
作業者用端末２０の位置情報取得部２６は、クラウドサーバ３０から、第２通信部２２を介して、支援者用端末４０で遠隔支援者により指定された位置Ｐｃの情報を取得する。作業者用端末２０の座標変換算出部２７は、位置情報取得部２６により取得された位置Ｐｃから、既知であるディスプレイＤＰ上の位置Ｐｄに座標変換する座標変換行列Ｔを算出する。座標変換算出部２７は、算出した座標変換行列Ｔを、記憶部２９に記憶させる。
作業者用端末２０の位置情報取得部２６は、クラウドサーバ３０から、第２通信部２２を介して、支援者用端末４０で遠隔支援者により指定された位置Ｐｃの情報を取得する。作業者用端末２０の座標変換算出部２７は、位置情報取得部２６により取得された位置Ｐｃから、既知であるディスプレイＤＰ上の位置Ｐｄに座標変換する座標変換行列Ｔを算出する。座標変換算出部２７は、算出した座標変換行列Ｔを、記憶部２９に記憶させる。
【0139】
以上のステップＳ１１～Ｓ１５の流れにより、遠隔支援システム１によるキャリブレーション処理が行われる。このように、本実施形態に係る遠隔支援システム１では、従来技術のようにキャリブレーションを行うために撮像するグレイコード画像等のような画像を用意する必要がなく、かつ、当該画像を撮像するための撮像装置を別途に準備する必要がない。
【0140】
（遠隔支援システムの遠隔指示処理）
図１１は、実施形態に係る遠隔支援システムの遠隔指示処理の流れの一例を示すフローチャートである。図１１を参照しながら、本実施形態に係る遠隔支援システム１の遠隔指示処理の流れについて説明する。なお、遠隔指示処理が実行される前に、既に上述のキャリブレーション処理が完了しているものとする。
図１１は、実施形態に係る遠隔支援システムの遠隔指示処理の流れの一例を示すフローチャートである。図１１を参照しながら、本実施形態に係る遠隔支援システム１の遠隔指示処理の流れについて説明する。なお、遠隔指示処理が実行される前に、既に上述のキャリブレーション処理が完了しているものとする。
【0141】
＜ステップＳ２１＞
支援者用端末４０を使用する遠隔支援者は、入力部４４に対する操作により、表示制御部４５に対して、現場作業者に対して指示を行うための画面を表示させる。なお、現場作業者を支援するための画面は、上述の図９に示したブラウザ画面１０００のように、グラスデバイス１０の映像データを表示する映像表示領域１１００を含む画面に準じるものであればよい。そして、遠隔支援者は、入力部４４を介して、当該画面に表示されているグラスデバイス１０の撮像部１３により撮像された映像データにおいて、ポインタを、作業指示のターゲットとなる部分（作業指示部分）に合わせてクリック操作を行う。そして、支援者用端末４０の位置取得部４６は、当該ポインタの位置を位置Ｐｃ１（第３位置）として取得する。表示制御部４５は、位置Ｐｃ１の情報を、通信部４１およびクラウドサーバ３０を介して、作業者用端末２０へ送信する。そして、ステップＳ２２へ移行する。
支援者用端末４０を使用する遠隔支援者は、入力部４４に対する操作により、表示制御部４５に対して、現場作業者に対して指示を行うための画面を表示させる。なお、現場作業者を支援するための画面は、上述の図９に示したブラウザ画面１０００のように、グラスデバイス１０の映像データを表示する映像表示領域１１００を含む画面に準じるものであればよい。そして、遠隔支援者は、入力部４４を介して、当該画面に表示されているグラスデバイス１０の撮像部１３により撮像された映像データにおいて、ポインタを、作業指示のターゲットとなる部分（作業指示部分）に合わせてクリック操作を行う。そして、支援者用端末４０の位置取得部４６は、当該ポインタの位置を位置Ｐｃ１（第３位置）として取得する。表示制御部４５は、位置Ｐｃ１の情報を、通信部４１およびクラウドサーバ３０を介して、作業者用端末２０へ送信する。そして、ステップＳ２２へ移行する。
【0142】
＜ステップＳ２２＞
作業者用端末２０の位置情報取得部２６は、クラウドサーバ３０から、第２通信部２２を介して、支援者用端末４０で遠隔支援者により指定された位置Ｐｃ１の情報を取得する。そして、作業者用端末２０の座標変換部２８は、座標変換算出部２７により算出された座標変換行列Ｔを記憶部２９から読み出す。そして、ステップＳ２３へ移行する。
作業者用端末２０の位置情報取得部２６は、クラウドサーバ３０から、第２通信部２２を介して、支援者用端末４０で遠隔支援者により指定された位置Ｐｃ１の情報を取得する。そして、作業者用端末２０の座標変換部２８は、座標変換算出部２７により算出された座標変換行列Ｔを記憶部２９から読み出す。そして、ステップＳ２３へ移行する。
【0143】
＜ステップＳ２３＞
そして、座標変換部２８は、位置情報取得部２６により取得された位置Ｐｃ１から、座標変換算出部２７により算出された座標変換行列Ｔを用いて、グラスデバイス１０のディスプレイＤＰ上の座標を示す位置Ｐｄ１（第４位置）に座標変換する。そして、ステップＳ２４へ移行する。
そして、座標変換部２８は、位置情報取得部２６により取得された位置Ｐｃ１から、座標変換算出部２７により算出された座標変換行列Ｔを用いて、グラスデバイス１０のディスプレイＤＰ上の座標を示す位置Ｐｄ１（第４位置）に座標変換する。そして、ステップＳ２４へ移行する。
【0144】
＜ステップＳ２４＞
作業者用端末２０のＡＲ情報生成部２５は、座標変換部２８により座標変換された位置Ｐｄ１に指示情報（例えばポインタ等の図形）を表示する指示画像を生成し、当該指示画像を第１通信部２１を介してグラスデバイス１０へ送信する。そして、ステップＳ２５へ移行する。
作業者用端末２０のＡＲ情報生成部２５は、座標変換部２８により座標変換された位置Ｐｄ１に指示情報（例えばポインタ等の図形）を表示する指示画像を生成し、当該指示画像を第１通信部２１を介してグラスデバイス１０へ送信する。そして、ステップＳ２５へ移行する。
【0145】
＜ステップＳ２５＞
グラスデバイス１０の画像表示部１２は、作業者用端末２０から通信部１１により受信された指示画像を、ディスプレイＤＰに表示させる。これによって、グラスデバイス１０を装着した現場作業者は、遠隔支援者が意図するターゲットを認識することができる。そして、遠隔支援者は、現場作業者に対して、指示情報によって示す物体等のターゲットに対する作業指示を行う。
グラスデバイス１０の画像表示部１２は、作業者用端末２０から通信部１１により受信された指示画像を、ディスプレイＤＰに表示させる。これによって、グラスデバイス１０を装着した現場作業者は、遠隔支援者が意図するターゲットを認識することができる。そして、遠隔支援者は、現場作業者に対して、指示情報によって示す物体等のターゲットに対する作業指示を行う。
【0146】
以上のステップＳ２１～Ｓ２５の流れにより、遠隔支援システム１による遠隔指示処理が行われる。
【0147】
以上のように、本実施形態に係る遠隔支援システム１では、ＡＲ情報生成部２５は、作業者用端末２０を利用する現場作業者が装着するグラスデバイス１０のディスプレイＤＰにおける位置ＰｄにポインタＤを表示する画像を生成して、当該画像をグラスデバイス１０に送信し、画像送信部２３は、グラスデバイス１０に搭載されたカメラ３０７により撮像された映像データを、遠隔支援者が利用する支援者用端末４０のディスプレイ８２０のブラウザ画面１０００の映像表示領域１１００に表示させるために送信し、位置情報取得部２６は、現場作業者によりポインタＤを所定のターゲットに合わせたときに、遠隔支援者が支援者用端末４０に対する操作により、映像データが表示された映像表示領域１１００におけるターゲットに対応する部分をポインタＣで指定したことにより、ポインタＣの当該映像表示領域１１００における位置Ｐｃを取得し、座標変換算出部２７は、位置Ｐｃから位置Ｐｄに座標変換するための座標変換行列Ｔを算出するものとしている。これによって、簡便にキャリブレーションを行うことができる。
【0148】
また、本実施形態に係る遠隔支援システム１では、グラスデバイス１０は、現場作業者の音声データを取得する音声取得部１４と、音声取得部１４により取得された音声データを送信する通信部１１と、を備え、支援者用端末４０は、通信部１１により送信された音声データを音声出力する音声出力部４３と、遠隔支援者の音声データを取得する音声取得部４２と、音声取得部４２により取得された音声データを送信する通信部４１と、を備え、グラスデバイス１０は、通信部４１により送信された音声データを音声出力する音声出力部１５を、さらに備えるものとしている。これによって、遠隔支援者と現場作業者とは音声によるコミュニケーションをとることができ、キャリブレーションによるポインタＤの位置合わせのタイミング、およびキャリブレーション後の作業指示のやりとり等を行うことが可能となる。
【0149】
また、本実施形態に係る遠隔支援システム１では、カメラ３０７は、奥行の情報を含む映像データを撮像する構成とすることも可能である。これによって、位置Ｐｄの位置として三次元情報を取得することが可能となり、奥行きが異なる位置合わせにも対応可能となる。
【0150】
なお、上述の実施形態において、作業者用端末２０、クラウドサーバ３０および支援者用端末４０の機能の少なくともいずれかがプログラムの実行によって実現される場合、そのプログラムは、ＲＯＭ等に予め組み込まれて提供される。また、上述の実施形態において、作業者用端末２０、クラウドサーバ３０および支援者用端末４０で実行されるプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ（Ｃｏｍｐａｃｔ Ｄｉｓｋ－Ｒｅｃｏｒｄａｂｌｅ）、またはＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。また、上述の実施形態において、作業者用端末２０、クラウドサーバ３０および支援者用端末４０で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、上述の実施形態において、作業者用端末２０、クラウドサーバ３０および支援者用端末４０で実行されるプログラムを、インターネット等のネットワーク経由で提供または配布するように構成してもよい。また、上述の実施形態において、作業者用端末２０、クラウドサーバ３０および支援者用端末４０で実行されるプログラムは、上述した各機能部のうち少なくともいずれかを含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵが上述の記憶装置からプログラムを読み出して実行することにより、上述の各機能部が主記憶装置上にロードされて生成されるようになっている。
【0151】
本発明の態様は、以下の通りである。
＜１＞頭部装着型表示装置の第１表示領域における第１位置に第１指標を表示する第１画像を生成して、該第１画像を前記頭部装着型表示装置に送信する生成部と、
前記頭部装着型表示装置に搭載された撮像装置により撮像された映像データを、支援者が利用する端末の表示装置の第２表示領域に表示させるために送信する送信部と、
被支援者により前記第１指標を所定のターゲットに合わせたときに、前記支援者が前記端末に対する操作により、前記映像データが表示された前記第２表示領域における前記ターゲットに対応する部分を第２指標で指定したことにより、前記第２指標の該第２表示領域における第２位置を取得する取得部と、
前記第２位置から前記第１位置に座標変換するための変換情報を算出する算出部と、
を有する遠隔支援システムである。
＜２＞前記算出部は、前記第２位置から前記第１位置に座標変換するための座標変換行列を、前記変換情報として算出する前記＜１＞に記載の遠隔支援システムである。
＜３＞前記取得部は、前記支援者が前記端末に対する操作により、前記映像データが表示された前記第２表示領域において、作業指示部分を指定したとき、前記第２表示領域における該作業指示部分の第３位置を取得し、
前記取得部により取得された前記第３位置から、前記算出部により算出された前記変換情報を用いて、前記頭部装着型表示装置の前記第１表示領域上の座標を示す第４位置に座標変換する変換部を、さらに備え、
前記生成部は、前記第１表示領域に表示させるための、該第１表示領域における前記第４位置に指示情報を表示する第２画像を生成して、該第２画像を前記頭部装着型表示装置に送信する前記＜１＞または＜２＞に記載の遠隔支援システムである。
＜４＞前記頭部装着型表示装置は、
前記被支援者の第１音声データを取得する第１音声取得部と、
前記第１音声取得部により取得された前記第１音声データを送信する第１音声送信部と、
を備え、
前記端末は、
前記第１音声送信部により送信された前記第１音声データを音声出力する第１音声出力部と、
前記支援者の第２音声データを取得する第２音声取得部と、
前記第２音声取得部により取得された前記第２音声データを送信する第２音声送信部と、
を備え、
前記頭部装着型表示装置は、前記第２音声送信部により送信された前記第２音声データを音声出力する第２音声出力部を、さらに備えた前記＜１＞～＜３＞のいずれか一項に記載の遠隔支援システムである。
＜５＞前記撮像装置は、奥行の情報を含む前記映像データを撮像する前記＜１＞～＜４＞のいずれか一項に記載の遠隔支援システムである。
＜６＞頭部装着型表示装置の第１表示領域における第１位置に第１指標を表示する第１画像を生成して、該第１画像を前記頭部装着型表示装置に送信する生成部と、
前記頭部装着型表示装置に搭載された撮像装置により撮像された映像データを、支援者が利用する端末の表示装置の第２表示領域に表示させるために送信する送信部と、
被支援者により前記第１指標を所定のターゲットに合わせたときに、前記支援者が前記端末に対する操作により、前記映像データが表示された前記第２表示領域における前記ターゲットに対応する部分を第２指標で指定したことにより、前記第２指標の該第２表示領域における第２位置を取得する取得部と、
前記第２位置から前記第１位置に座標変換するための変換情報を算出する算出部と、
を備えた遠隔支援装置である。
＜７＞頭部装着型表示装置の第１表示領域における第１位置に第１指標を表示する第１画像を生成して、該第１画像を前記頭部装着型表示装置に送信する生成ステップと、
前記頭部装着型表示装置に搭載された撮像装置により撮像された映像データを、支援者が利用する端末の表示装置の第２表示領域に表示させるために送信する送信ステップと、
被支援者により前記第１指標を所定のターゲットに合わせたときに、前記支援者が前記端末に対する操作により、前記映像データが表示された前記第２表示領域における前記ターゲットに対応する部分を第２指標で指定したことにより、前記第２指標の該第２表示領域における第２位置を取得する取得ステップと、
前記第２位置から前記第１位置に座標変換するための変換情報を算出する算出ステップと、
を有する遠隔支援方法である。
＜８＞コンピュータに、
頭部装着型表示装置の第１表示領域における第１位置に第１指標を表示する第１画像を生成して、該第１画像を前記頭部装着型表示装置に送信する生成ステップと、
前記頭部装着型表示装置に搭載された撮像装置により撮像された映像データを、支援者が利用する端末の表示装置の第２表示領域に表示させるために送信する送信ステップと、
被支援者により前記第１指標を所定のターゲットに合わせたときに、前記支援者が前記端末に対する操作により、前記映像データが表示された前記第２表示領域における前記ターゲットに対応する部分を第２指標で指定したことにより、前記第２指標の該第２表示領域における第２位置を取得する取得ステップと、
前記第２位置から前記第１位置に座標変換するための変換情報を算出する算出ステップと、
を実行させるためのプログラムである。
＜１＞頭部装着型表示装置の第１表示領域における第１位置に第１指標を表示する第１画像を生成して、該第１画像を前記頭部装着型表示装置に送信する生成部と、
前記頭部装着型表示装置に搭載された撮像装置により撮像された映像データを、支援者が利用する端末の表示装置の第２表示領域に表示させるために送信する送信部と、
被支援者により前記第１指標を所定のターゲットに合わせたときに、前記支援者が前記端末に対する操作により、前記映像データが表示された前記第２表示領域における前記ターゲットに対応する部分を第２指標で指定したことにより、前記第２指標の該第２表示領域における第２位置を取得する取得部と、
前記第２位置から前記第１位置に座標変換するための変換情報を算出する算出部と、
を有する遠隔支援システムである。
＜２＞前記算出部は、前記第２位置から前記第１位置に座標変換するための座標変換行列を、前記変換情報として算出する前記＜１＞に記載の遠隔支援システムである。
＜３＞前記取得部は、前記支援者が前記端末に対する操作により、前記映像データが表示された前記第２表示領域において、作業指示部分を指定したとき、前記第２表示領域における該作業指示部分の第３位置を取得し、
前記取得部により取得された前記第３位置から、前記算出部により算出された前記変換情報を用いて、前記頭部装着型表示装置の前記第１表示領域上の座標を示す第４位置に座標変換する変換部を、さらに備え、
前記生成部は、前記第１表示領域に表示させるための、該第１表示領域における前記第４位置に指示情報を表示する第２画像を生成して、該第２画像を前記頭部装着型表示装置に送信する前記＜１＞または＜２＞に記載の遠隔支援システムである。
＜４＞前記頭部装着型表示装置は、
前記被支援者の第１音声データを取得する第１音声取得部と、
前記第１音声取得部により取得された前記第１音声データを送信する第１音声送信部と、
を備え、
前記端末は、
前記第１音声送信部により送信された前記第１音声データを音声出力する第１音声出力部と、
前記支援者の第２音声データを取得する第２音声取得部と、
前記第２音声取得部により取得された前記第２音声データを送信する第２音声送信部と、
を備え、
前記頭部装着型表示装置は、前記第２音声送信部により送信された前記第２音声データを音声出力する第２音声出力部を、さらに備えた前記＜１＞～＜３＞のいずれか一項に記載の遠隔支援システムである。
＜５＞前記撮像装置は、奥行の情報を含む前記映像データを撮像する前記＜１＞～＜４＞のいずれか一項に記載の遠隔支援システムである。
＜６＞頭部装着型表示装置の第１表示領域における第１位置に第１指標を表示する第１画像を生成して、該第１画像を前記頭部装着型表示装置に送信する生成部と、
前記頭部装着型表示装置に搭載された撮像装置により撮像された映像データを、支援者が利用する端末の表示装置の第２表示領域に表示させるために送信する送信部と、
被支援者により前記第１指標を所定のターゲットに合わせたときに、前記支援者が前記端末に対する操作により、前記映像データが表示された前記第２表示領域における前記ターゲットに対応する部分を第２指標で指定したことにより、前記第２指標の該第２表示領域における第２位置を取得する取得部と、
前記第２位置から前記第１位置に座標変換するための変換情報を算出する算出部と、
を備えた遠隔支援装置である。
＜７＞頭部装着型表示装置の第１表示領域における第１位置に第１指標を表示する第１画像を生成して、該第１画像を前記頭部装着型表示装置に送信する生成ステップと、
前記頭部装着型表示装置に搭載された撮像装置により撮像された映像データを、支援者が利用する端末の表示装置の第２表示領域に表示させるために送信する送信ステップと、
被支援者により前記第１指標を所定のターゲットに合わせたときに、前記支援者が前記端末に対する操作により、前記映像データが表示された前記第２表示領域における前記ターゲットに対応する部分を第２指標で指定したことにより、前記第２指標の該第２表示領域における第２位置を取得する取得ステップと、
前記第２位置から前記第１位置に座標変換するための変換情報を算出する算出ステップと、
を有する遠隔支援方法である。
＜８＞コンピュータに、
頭部装着型表示装置の第１表示領域における第１位置に第１指標を表示する第１画像を生成して、該第１画像を前記頭部装着型表示装置に送信する生成ステップと、
前記頭部装着型表示装置に搭載された撮像装置により撮像された映像データを、支援者が利用する端末の表示装置の第２表示領域に表示させるために送信する送信ステップと、
被支援者により前記第１指標を所定のターゲットに合わせたときに、前記支援者が前記端末に対する操作により、前記映像データが表示された前記第２表示領域における前記ターゲットに対応する部分を第２指標で指定したことにより、前記第２指標の該第２表示領域における第２位置を取得する取得ステップと、
前記第２位置から前記第１位置に座標変換するための変換情報を算出する算出ステップと、
を実行させるためのプログラムである。
【符号の説明】
【0152】
１ 遠隔支援システム
１０ グラスデバイス
１１ 通信部
１２ 画像表示部
１３ 撮像部
１４ 音声取得部
１５ 音声出力部
２０ 作業者用端末
２１ 第１通信部
２２ 第２通信部
２３ 画像送信部
２４ 音声中継部
２５ ＡＲ情報生成部
２６ 位置情報取得部
２７ 座標変換算出部
２８ 座標変換部
２９ 記憶部
３０ クラウドサーバ
３１ 通信部
３２ 中継部
３３ 画像提供部
４０ 支援者用端末
４１ 通信部
４２ 音声取得部
４３ 音声出力部
４４ 入力部
４５ 表示制御部
４６ 位置取得部
１００、１００ａ、１００ｂ 導光部材
１０１、１０１ａ、１０１ｂ 反射部
１０２、１０２ａ、１０２ｂ 導光部
１０３、１０３ａ、１０３ｂ 取り出し部
１０４、１０４ａ、１０４ｂ 射出部
１０５ ブリッジ
２００、２００ａ、２００ｂ 筐体フレーム
２０１、２０１ａ、２０１ｂ 中継光学系
３００、３００ａ、３００ｂ 表示部
３０１、３０１ａ、３０１ｂ 画像表示素子
３０２、３０２ａ、３０２ｂ 制御基板
３０３ 駆動ＩＣ
３０４ メモリ
３０５ 電源回路
３０６ バッテリ
３０７ カメラ
３０８ マイク
３０９、３０９ａ、３０９ｂ スピーカ
３１０、３１０ａ、３１０ｂ 筐体
３１１ 入出力Ｉ／Ｆ
３１２ 通信Ｉ／Ｆ
４００、４００ａ、４００ｂ テンプル
５００、５００ａ、５００ｂ 眼
６０１ ＣＰＵ
６０２ ＲＯＭ
６０３ ＲＡＭ
６０４ ＥＥＰＲＯＭ
６０５ 撮像部
６０６ 撮像Ｉ／Ｆ
６０７ 加速度・方位センサ
６０８ ＧＰＳ受信部
６０９ バスライン
６１０ 遠距離通信回路
６１０ａ アンテナ
６１１ 近距離通信回路
６１１ａ アンテナ
６１２ マイク
６１３ スピーカ
６１４ 音入出力Ｉ／Ｆ
６１５ ディスプレイ
６１６ 外部機器接続Ｉ／Ｆ
６１７ バイブレータ
６１８ タッチパネル
７０１ ＣＰＵ
７０２ ＲＯＭ
７０３ ＲＡＭ
７０４ ＨＤ
７０５ ＨＤＤコントローラ
７０６ ディスプレイ
７０８ 外部機器接続Ｉ／Ｆ
７０９ ネットワークＩ／Ｆ
７１０ バスライン
７１１ キーボード
７１２ ポインティングデバイス
７１３ ＤＶＤ
７１４ ＤＶＤ－ＲＷドライブ
７１５ メディア
７１６ メディアＩ／Ｆ
８０１ ＣＰＵ
８０２ ＲＯＭ
８０３ ＲＡＭ
８０５ 補助記憶装置
８０８ 入力装置
８１０ バスライン
８１１ ネットワークＩ／Ｆ
８１４ マイク
８１５ スピーカ
８１６ 音声入出力Ｉ／Ｆ
８１９ ディスプレイＩ／Ｆ
８２０ ディスプレイ
１０００ ブラウザ画面
１１００ 映像表示領域
１１０１ 開始ボタン
Ｃ、Ｄ ポインタ
ＤＰ ディスプレイ
Ｎ ネットワーク
ＯＢＪ１、ＯＢＪ２ 物体
Ｐｃ、Ｐｃ１、Ｐｄ、Ｐｄ１ 位置
Ｔ 座標変換行列
１０ グラスデバイス
１１ 通信部
１２ 画像表示部
１３ 撮像部
１４ 音声取得部
１５ 音声出力部
２０ 作業者用端末
２１ 第１通信部
２２ 第２通信部
２３ 画像送信部
２４ 音声中継部
２５ ＡＲ情報生成部
２６ 位置情報取得部
２７ 座標変換算出部
２８ 座標変換部
２９ 記憶部
３０ クラウドサーバ
３１ 通信部
３２ 中継部
３３ 画像提供部
４０ 支援者用端末
４１ 通信部
４２ 音声取得部
４３ 音声出力部
４４ 入力部
４５ 表示制御部
４６ 位置取得部
１００、１００ａ、１００ｂ 導光部材
１０１、１０１ａ、１０１ｂ 反射部
１０２、１０２ａ、１０２ｂ 導光部
１０３、１０３ａ、１０３ｂ 取り出し部
１０４、１０４ａ、１０４ｂ 射出部
１０５ ブリッジ
２００、２００ａ、２００ｂ 筐体フレーム
２０１、２０１ａ、２０１ｂ 中継光学系
３００、３００ａ、３００ｂ 表示部
３０１、３０１ａ、３０１ｂ 画像表示素子
３０２、３０２ａ、３０２ｂ 制御基板
３０３ 駆動ＩＣ
３０４ メモリ
３０５ 電源回路
３０６ バッテリ
３０７ カメラ
３０８ マイク
３０９、３０９ａ、３０９ｂ スピーカ
３１０、３１０ａ、３１０ｂ 筐体
３１１ 入出力Ｉ／Ｆ
３１２ 通信Ｉ／Ｆ
４００、４００ａ、４００ｂ テンプル
５００、５００ａ、５００ｂ 眼
６０１ ＣＰＵ
６０２ ＲＯＭ
６０３ ＲＡＭ
６０４ ＥＥＰＲＯＭ
６０５ 撮像部
６０６ 撮像Ｉ／Ｆ
６０７ 加速度・方位センサ
６０８ ＧＰＳ受信部
６０９ バスライン
６１０ 遠距離通信回路
６１０ａ アンテナ
６１１ 近距離通信回路
６１１ａ アンテナ
６１２ マイク
６１３ スピーカ
６１４ 音入出力Ｉ／Ｆ
６１５ ディスプレイ
６１６ 外部機器接続Ｉ／Ｆ
６１７ バイブレータ
６１８ タッチパネル
７０１ ＣＰＵ
７０２ ＲＯＭ
７０３ ＲＡＭ
７０４ ＨＤ
７０５ ＨＤＤコントローラ
７０６ ディスプレイ
７０８ 外部機器接続Ｉ／Ｆ
７０９ ネットワークＩ／Ｆ
７１０ バスライン
７１１ キーボード
７１２ ポインティングデバイス
７１３ ＤＶＤ
７１４ ＤＶＤ－ＲＷドライブ
７１５ メディア
７１６ メディアＩ／Ｆ
８０１ ＣＰＵ
８０２ ＲＯＭ
８０３ ＲＡＭ
８０５ 補助記憶装置
８０８ 入力装置
８１０ バスライン
８１１ ネットワークＩ／Ｆ
８１４ マイク
８１５ スピーカ
８１６ 音声入出力Ｉ／Ｆ
８１９ ディスプレイＩ／Ｆ
８２０ ディスプレイ
１０００ ブラウザ画面
１１００ 映像表示領域
１１０１ 開始ボタン
Ｃ、Ｄ ポインタ
ＤＰ ディスプレイ
Ｎ ネットワーク
ＯＢＪ１、ＯＢＪ２ 物体
Ｐｃ、Ｐｃ１、Ｐｄ、Ｐｄ１ 位置
Ｔ 座標変換行列
【先行技術文献】
【特許文献】
【0153】
【特許文献1】特開２０２０－１０６９８１号公報
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】