特許 6784056 頭部装着型表示装置、表示システム、頭部装着型表示装置の制御方法、およびコンピュータープログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6784056

(24)【登録日】2020年10月27日

(45)【発行日】2020年11月11日

(54)【発明の名称】頭部装着型表示装置、表示システム、頭部装着型表示装置の制御方法、およびコンピュータープログラム

(51)【国際特許分類】

   H04N 5/64 20060101AFI20201102BHJP

   G06F 3/01 20060101ALI20201102BHJP

   G06F 3/0481 20130101ALI20201102BHJP

【ＦＩ】

   H04N5/64 511A

   G06F3/01 510

   G06F3/0481 150

【請求項の数】9

【全頁数】30

(21)【出願番号】特願2016-87032(P2016-87032)

(22)【出願日】2016年4月25日

(65)【公開番号】特開2017-199954(P2017-199954A)

(43)【公開日】2017年11月2日

【審査請求日】2019年3月15日

(73)【特許権者】

【識別番号】000002369

【氏名又は名称】セイコーエプソン株式会社

(74)【代理人】

【識別番号】110000028

【氏名又は名称】特許業務法人明成国際特許事務所

(72)【発明者】

【氏名】津田 敦也

(72)【発明者】

【氏名】高野 正秀

【審査官】 大室 秀明

(56)【参考文献】

【文献】 特開２００２−２９７９６６（ＪＰ，Ａ）

【文献】 特開２０１２−００８２９０（ＪＰ，Ａ）

【文献】 特開２０１０−０７６８８７（ＪＰ，Ａ）

【文献】 特開２００５−１０９９２０（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０４８−３／０４８９

Ｈ０４Ｎ ５／６４−５／６５５

(57)【特許請求の範囲】

【請求項1】

買い物を支援する頭部装着型表示装置であって、
使用者の視線方向を検出する視線方向検出部と、
前記使用者が視認する方向を撮像するカメラと、
前記使用者に情報を伝達する音声インターフェースと、
無線通信部と、
前記無線通信部を介して、外部の情報処理装置との間で情報の送受信を行い、前記音声インターフェースを介して前記使用者に情報を伝達する処理部と、
を備え、
前記処理部は、
前記無線通信部を介して、前記情報処理装置から移動先の指示を受信し、
前記音声インターフェースを介して前記使用者に前記移動先の情報を伝達し、
前記カメラによって撮像された画像の少なくとも一部を送信用撮像画像として、前記無線通信部を介して前記情報処理装置に対して送信し、
前記視線方向検出部によって検出された視線方向を含む所定の範囲を特定し、
前記無線通信部を介して、前記特定された所定の範囲に存在する近距離無線通信端末との間で通信を行い、前記近距離無線通信端末からデータを受信し、
前記受信したデータに基づく提示情報を、前記情報処理装置に送信し、
前記移動先の指示の受信と、前記移動先の情報の伝達と、前記送信用撮像画像の前記情報処理装置に対する送信と、前記所定の範囲の特定と、前記近距離無線通信端末からのデータの受信と、前記提示情報の前記情報処理装置への送信と、を繰り返し実行する、
頭部装着型表示装置。

【請求項2】

請求項１に記載の頭部装着型表示装置であって、
前記処理部は、
前記送信用撮像画像において前記所定の範囲と重複する部分を特定し、該重複する部分について画像加工を行う、
頭部装着型表示装置。

【請求項3】

請求項１から請求項２までのいずれか一項に記載の頭部装着型表示装置であって、
前記所定の範囲に存在する近距離無線通信端末から受信する前記データは、ショッピング施設内に陳列された商品の種類毎のデータである、
頭部装着型表示装置。

【請求項4】

請求項１から請求項３までのいずれか一項に記載の頭部装着型表示装置であって、
前記外部の情報処理装置は、当該頭部装着型表示装置とは相違する別の頭部装着型表示装置である、
頭部装着型表示装置。

【請求項5】

請求項１から請求項４までのいずれか一項に記載の頭部装着型表示装置であって、
前記処理部は、
前記所定の範囲に存在する近距離無線通信端末の前記撮像された画像上の位置を求め、
前記提示情報に前記位置の情報を対応付けて、前記情報処理装置に送信する、頭部装着型表示装置。

【請求項6】

頭部装着型表示装置と、情報処理装置と、を備え、買い物を支援する表示システムであって、
前記頭部装着型表示装置は、
使用者の視線方向を検出する視線方向検出部と、
前記使用者が視認する方向を撮像するカメラと、
前記使用者に情報を伝達する音声インターフェースと、
無線通信部と、
前記無線通信部を介して、前記情報処理装置との間で情報の送受信を行い、前記音声インターフェースを介して前記使用者に情報を伝達する処理部と、
を備え、
前記処理部は、
前記無線通信部を介して、前記情報処理装置から移動先の指示を受信し、
前記音声インターフェースを介して前記使用者に前記移動先の情報を伝達し、
前記カメラによって撮像された画像の少なくとも一部を送信用撮像画像として、前記無線通信部を介して前記情報処理装置に対して送信し、
前記視線方向検出部によって検出された視線方向を含む所定の範囲を特定し、
前記無線通信部を介して、前記特定された所定の範囲に存在する近距離無線通信端末との間で通信を行い、前記近距離無線通信端末からデータを受信し、
前記受信したデータに基づく提示情報を、前記情報処理装置に送信し、
前記移動先の指示の受信と、前記移動先の情報の伝達と、前記送信用撮像画像の前記情報処理装置に対する送信と、前記所定の範囲の特定と、前記近距離無線通信端末からのデータの受信と、前記提示情報の前記情報処理装置への送信と、を繰り返し実行し、
前記情報処理装置は、
前記移動先の指示を前記頭部装着型表示装置に送信し、
前記頭部装着型表示装置から前記送信用撮像画像を受信し、
前記頭部装着型表示装置から送られてくる前記提示情報を受信し、
受信した前記送信用撮像画像および前記提示情報に基づいて表示を行う、
表示システム。

【請求項7】

請求項６に記載の表示システムであって、
前記処理部は、
前記所定の範囲に存在する近距離無線通信端末の位置を求め、
前記提示情報に前記位置の情報を対応付けて、前記情報処理装置に送信し、
前記情報処理装置は、
前記位置の情報に基づいて、前記送信用撮像画像に基づく表示における前記近距離無線通信端末の位置に前記提示情報を表示する、表示システム。

【請求項8】

使用者の視線方向を検出する視線方向検出部と、前記使用者が視認する方向を撮像するカメラと、前記使用者に情報を伝達する音声インターフェースと、無線通信部と、を備え、買い物を支援する頭部装着型表示装置の制御方法であって、
前記無線通信部を介して、外部の情報処理装置から移動先の指示を受信する工程と、
前記音声インターフェースを介して前記使用者に前記移動先の情報を伝達する工程と、
前記カメラによって撮像された画像の少なくとも一部を送信用撮像画像として、前記無線通信部を介して前記情報処理装置に対して送信する工程と、
前記無線通信部を介して、前記情報処理装置に対して情報の提示を行う工程と、
前記各工程を繰り返し実行する工程と、を備え、
前記情報処理装置に対して情報の提示を行う工程は、
前記視線方向検出部によって検出された視線方向を含む所定の範囲を特定し、
前記無線通信部を介して、前記特定された所定の範囲に存在する近距離無線通信端末との間で通信を行い、前記近距離無線通信端末からデータを受信し、
前記受信したデータに基づく提示情報を、前記情報処理装置に送信する、
頭部装着型表示装置の制御方法。

【請求項9】

使用者の視線方向を検出する視線方向検出部と、前記使用者が視認する方向を撮像するカメラと、前記使用者に情報を伝達する音声インターフェースと、無線通信部と、を備え、買い物を支援する頭部装着型表示装置を制御するためのコンピュータープログラムであって、
前記無線通信部を介して、外部の情報処理装置から移動先の指示を受信する機能と、
前記音声インターフェースを介して前記使用者に前記移動先の情報を伝達する機能と、
前記カメラによって撮像された画像の少なくとも一部を送信用撮像画像として、前記無線通信部を介して前記情報処理装置に対して送信する機能と、
前記無線通信部を介して、前記情報処理装置に対して情報の提示を行う機能と、
前記各機能を繰り返し実行する機能と、をコンピューターに実現させ、
前記情報処理装置に対して情報の提示を行う機能は、
前記視線方向検出部によって検出された視線方向を含む所定の範囲を特定し、
前記無線通信部を介して、前記特定された所定の範囲に存在する近距離無線通信端末との間で通信を行い、前記近距離無線通信端末からデータを受信し、
前記受信したデータに基づく提示情報を、前記情報処理装置に送信する、
コンピュータープログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、頭部装着型表示装置と、表示システムと、頭部装着型表示装置の制御方法と、コンピュータープログラムと、に関する。

【背景技術】

【0002】

特許文献１には、ショッピング施設にて個人用購買装置を買物客個人に提供することで買物客の個人的な購買活動を支援し、消費者インターフェースを利用して買物客に情報を提供するシステムが記載されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特表２００８−５３９４９３号公報

【特許文献2】特開２０１１−２１７０９８号公報

【特許文献3】特開２０１４−２１５７４８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、特許文献１に記載された技術では、ショッピング施設内で支援を受けることができるが、ショッピング施設から離れた場所で支援を受けることができなかった。また、ショッピング施設から離れた場合、ショッピング施設内で実際に買い物を行う感覚で商品の購買を行うことができなかった。このように、ショッピング施設から離れた場所で購買の支援を受けることについては十分な工夫がなされていないのが実情であった。なお、このような問題は、ショッピングの支援に限らず、施設内の様子を踏まえて施設外からなんらかのリクエストを行いたい場合に共通する問題であった。

【課題を解決するための手段】

【0005】

本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態として実現することが可能である。

【0006】

（１）本発明の第１の形態によれば、買い物を支援する頭部装着型表示装置が提供される。この頭部装着型表示装置は、使用者の視線方向を検出する視線方向検出部と、前記使用者が視認する方向を撮像するカメラと、前記使用者に情報を伝達する音声インターフェースと、無線通信部と、前記無線通信部を介して、外部の情報処理装置との間で情報の送受信を行い、前記音声インターフェースを介して前記使用者に情報を伝達する処理部と、を備える。前記処理部は、前記無線通信部を介して、前記情報処理装置から移動先の指示を受信し、前記音声インターフェースを介して前記使用者に前記移動先の情報を伝達し、前記カメラによって撮像された画像の少なくとも一部を送信用撮像画像として、前記無線通信部を介して前記情報処理装置に対して送信し、前記視線方向検出部によって検出された視線方向を含む所定の範囲を特定し、前記無線通信部を介して、前記特定された所定の範囲に存在する近距離無線通信端末との間で通信を行い、前記近距離無線通信端末からデータを受信し、前記受信したデータに基づく提示情報を、前記情報処理装置に送信し、前記移動先の指示の受信と、前記移動先の情報の伝達と、前記送信用撮像画像の前記情報処理装置に対する送信と、前記所定の範囲の特定と、前記近距離無線通信端末からのデータの受信と、前記提示情報の前記情報処理装置への送信と、を繰り返し実行する。この形態の頭部装着型表示装置によれば、使用者の視線方向を含む所定の範囲に存在する近距離無線通信端末から受信したデータに基づく提示情報を、情報処理装置に送ることができる。このため、情報処理装置の操作者は、頭部装着型表示装置を装着した使用者と離れた位置に居ながら、その使用者の視線方向の周辺の情報を受けることができる。したがって、この形態の頭部装着型表示装置によれば、離れた位置にいる情報処理装置の操作者に対して、視線方向の情報を適切かつ効率的に提示することができる。

【0007】

（２）前記形態の頭部装着型表示装置において、前記使用者が視認する方向を撮像するカメラを備え、前記処理部は、前記カメラによって撮像された画像の少なくとも一部を、前記無線通信部を介して前記情報処理装置に対して送信する構成としてもよい。この形態の頭部装着型表示装置によれば、カメラによって撮像された画像によって、使用者が視認している外景を提示することができる。したがって、この形態の頭部装着型表示装置によれば、情報処理装置の操作者に対する提示を、より適切、且つ効率的なものとすることができる。

【0008】

（３）前記形態の頭部装着型表示装置において、前記所定の範囲に存在する近距離無線通信端末から受信する前記データは、ショッピング施設内に陳列された商品の種類毎のデータであってもよい。この形態の頭部装着型表示装置によれば、ショッピング施設内において商品の種類毎に配置された近距離無線通信端末から、商品の種類毎のデータを受信することができることから、外部の情報処理装置に対して商品の種類毎の情報を提示することが可能となる。したがって、この形態の頭部装着型表示装置によれば、情報処理装置の操作者による商品の購買を支援することができる。

【0009】

（４）前記形態の頭部装着型表示装置において、前記処理部は、前記送信用撮像画像において前記所定の範囲と重複する部分を特定し、該重複する部分について画像加工を行ってもよい。この形態の頭部装着型表示装置によれば、離れた位置にいる情報処理装置の操作者に対して、所定の範囲を明示することができる。

【0010】

（５）前記形態の頭部装着型表示装置において、前記外部の情報処理装置は、当該頭部装着型表示装置とは相違する別の頭部装着型表示装置であってもよい。この形態の頭部装着型表示装置によれば、使用者の使用環境と同様の使用環境を、別の頭部装着型表示装置を装着した使用者に提供できる。

【0011】

（６）本発明の第２の形態によれば、頭部装着型表示装置と、情報処理装置と、を備え、買い物を支援する表示システムが提供される。この表示システムの前記頭部装着型表示装置は、使用者の視線方向を検出する視線方向検出部と、前記使用者が視認する方向を撮像するカメラと、前記使用者に情報を伝達する音声インターフェースと、無線通信部と、前記無線通信部を介して、前記情報処理装置に対して情報の提示を行う処理部と、を備える。前記処理部は、前記無線通信部を介して、前記情報処理装置から移動先の指示を受信し、前記音声インターフェースを介して前記使用者に前記移動先の情報を伝達し、前記カメラによって撮像された画像の少なくとも一部を送信用撮像画像として、前記無線通信部を介して前記情報処理装置に対して送信し、前記視線方向検出部によって検出された視線方向を含む所定の範囲を特定し、前記無線通信部を介して、前記特定された所定の範囲に存在する近距離無線通信端末との間で通信を行い、前記近距離無線通信端末からデータを受信し、前記受信したデータに基づく提示情報を、前記情報処理装置に送信し、前記移動先の指示の受信と、前記前記移動先の情報の伝達と、前記送信用撮像画像の前記情報処理装置に対する送信と、前記所定の範囲の特定と、前記近距離無線通信端末からのデータの受信と、前記提示情報の前記情報処理装置への送信と、を繰り返し実行する。この表示システムの前記情報処理装置は、前記移動先の指示を前記頭部装着型表示装置に送信し、前記頭部装着型表示装置から前記送信用撮像画像を受信し、前記頭部装着型表示装置から送られてくる前記提示情報を受信し、受信した前記送信用撮像画像および前記提示情報に基づいて表示を行う。この形態の表示システムによれば、頭部装着型表示装置を装着した使用者の視線方向を含む所定の範囲に存在する近距離無線通信端末から受信したデータに基づく提示情報を、情報処理装置に送ることができる。このため、情報処理装置の操作者は、頭部装着型表示装置を装着した使用者と離れた位置に居ながら、その使用者の視線方向の周辺の情報を受けることができる。したがって、この形態の表示システムは、離れた位置にいる情報処理装置の操作者に対して、頭部装着型表示装置を装着した使用者の視線方向の情報を適切かつ効率的に提示することができる。

【0012】

本発明は、頭部装着型表示装置以外の種々の形態で実現することも可能である。例えば、頭部装着型表示装置の制御方法、頭部装着型表示装置の備える各構成要素の機能を実現するためのコンピュータープログラム、そのコンピュータープログラムを記録した記録媒体等で実現できる。

【図面の簡単な説明】

【0013】

【図1】本発明の第１実施形態における表示システムの概略構成を示す説明図である。

【図2】画像表示部が備える光学系の構成を示す要部平面図である。

【図3】使用者から見た画像表示部の要部構成を示す図である。

【図4】カメラの画角を説明するための図である。

【図5】ＨＭＤの構成を機能的に示すブロック図である。

【図6】制御装置の構成を機能的に示すブロック図である。

【図7】ＨＭＤによる拡張現実感表示の一例を示す説明図である。

【図8】受援者ＨＭＤの制御装置の構成を機能的に示すブロック図である。

【図9】受援者ＨＭＤによる拡張現実感表示の一例を示す説明図である。

【図10】買い物を行うに際し受援者ＨＭＤ側および支援者ＨＭＤ側で実行する工程を示す説明図である。

【図11】買い物支援処理を示すフローチャートである。

【図12】店舗内の果物売り場の一例を示す説明図である。

【図13】所定範囲を例示する説明図である。

【図14】所定範囲内に存在する各ＢＬＥ端末から受信する各商品属性データを示す説明図である。

【図15】買い物支援処理実行時の受援者の視界の一例を示す説明図である。

【図16】買い物支援処理実行時の受援者の視界の他の例を示す説明図である。

【図17】変形例の画像表示部が備える光学系の構成を示す要部平面図である。

【発明を実施するための形態】

【0014】

Ａ．表示システムの全体構成：
図１は、本発明の一実施形態における表示システムの概略構成を示す説明図である。表示システム１は、２台の頭部装着型表示装置１００、４００を備える。一方の頭部装着型表示装置１００は、例えばスーパーマーケット等の店舗（ショッピング施設）内で、買い物支援者によって使用される。他方の頭部装着型表示装置４００は、例えば店舗から離れた自宅内で、買い物受援者によって使用される。

【0015】

２台の頭部装着型表示装置１００、４００のそれぞれは、通信キャリアＢＳを介して無線通信でインターネットＩＮＴに接続されている。通信キャリアＢＳは、送受信アンテナや、無線基地局、交換局を含む。インターネットＩＮＴによって、２台の頭部装着型表示装置１００、４００は通信が可能となっている。一方の頭部装着型表示装置１００、すなわち、店舗内で買い物支援者によって使用されるＨＭＤ１００の構成について、まず説明する。

【0016】

Ｂ．頭部装着型表示装置の構成：
頭部装着型表示装置１００は、買い物支援者（以下、「使用者」とも呼ぶ）の頭部に装着する表示装置であり、ヘッドマウントディスプレイ（Head Mounted Display、ＨＭＤ）とも呼ばれる。ＨＭＤ１００は、グラスを通過して視認される外界の中に画像が浮かび上がるシースルー型（透過型）の頭部装着型表示装置である。

【0017】

ＨＭＤ１００は、使用者に画像を視認させる画像表示部２０と、画像表示部２０を制御する制御装置（コントローラー）１０とを備えている。

【0018】

画像表示部２０は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有する。画像表示部２０は、右保持部２１と、左保持部２３と、前部フレーム２７とを有する本体に、右表示ユニット２２と、左表示ユニット２４と、右導光板２６と、左導光板２８とを備える。

【0019】

右保持部２１および左保持部２３は、それぞれ、前部フレーム２７の両端部から後方に延び、眼鏡のテンプル（つる）のように、使用者の頭部に画像表示部２０を保持する。ここで、前部フレーム２７の両端部のうち、画像表示部２０の装着状態において使用者の右側に位置する端部を端部ＥＲとし、使用者の左側に位置する端部を端部ＥＬとする。右保持部２１は、前部フレーム２７の端部ＥＲから、画像表示部２０の装着状態における使用者の右側頭部に対応する位置まで延伸して設けられている。左保持部２３は、前部フレーム２７の端部ＥＬから、画像表示部２０の装着状態における使用者の左側頭部に対応する位置まで延伸して設けられている。

【0020】

右導光板２６および左導光板２８は、前部フレーム２７に設けられている。右導光板２６は、画像表示部２０の装着状態における使用者の右眼の眼前に位置し、右眼に画像を視認させる。左導光板２８は、画像表示部２０の装着状態における使用者の左眼の眼前に位置し、左眼に画像を視認させる。

【0021】

前部フレーム２７は、右導光板２６の一端と左導光板２８の一端とを互いに連結した形状を有する。この連結位置は、画像表示部２０の装着状態における使用者の眉間の位置に対応する。前部フレーム２７には、右導光板２６と左導光板２８との連結位置において、画像表示部２０の装着状態において使用者の鼻に当接する鼻当て部が設けられていてもよい。この場合、鼻当て部と右保持部２１と左保持部２３とによって、画像表示部２０を使用者の頭部に保持できる。また、右保持部２１および左保持部２３に対して、画像表示部２０の装着状態において使用者の後頭部に接するベルトを連結してもよい。この場合、ベルトによって画像表示部２０を使用者の頭部に強固に保持できる。

【0022】

右表示ユニット２２は、右導光板２６による画像の表示を行う。右表示ユニット２２は、右保持部２１に設けられ、画像表示部２０の装着状態における使用者の右側頭部の近傍に位置する。左表示ユニット２４は、左導光板２８による画像の表示を行う。左表示ユニット２４は、左保持部２３に設けられ、画像表示部２０の装着状態における使用者の左側頭部の近傍に位置する。なお、右表示ユニット２２および左表示ユニット２４を総称して「表示駆動部」とも呼ぶ。

【0023】

本実施形態の右導光板２６および左導光板２８は、光透過性の樹脂等によって形成される光学部（例えばプリズム）であり、右表示ユニット２２および左表示ユニット２４が出力する画像光を使用者の眼に導く。なお、右導光板２６および左導光板２８の表面には、調光板が設けられてもよい。調光板は、光の波長域により透過率が異なる薄板状の光学素子であり、いわゆる波長フィルターとして機能する。調光板は、例えば、前部フレーム２７の表面（使用者の眼と対向する面とは反対側の面）を覆うように配置される。調光板の光学特性を適宜選択することにより、可視光、赤外光、および紫外光等の任意の波長域の光の透過率を調整することができ、外部から右導光板２６および左導光板２８に入射し、右導光板２６および左導光板２８を透過する外光の光量を調整できる。

【0024】

画像表示部２０は、右表示ユニット２２および左表示ユニット２４がそれぞれ生成する画像光を、右導光板２６および左導光板２８に導き、この画像光によって画像（拡張現実感（ＡＲ）画像）を使用者に視認させる（これを「画像を表示する」とも呼ぶ）。使用者の前方から右導光板２６および左導光板２８を透過して外光が使用者の眼に入射する場合、使用者の眼には、画像を構成する画像光と、外光とが入射する。このため、使用者における画像の視認性は、外光の強さに影響を受ける。

【0025】

このため、例えば前部フレーム２７に調光板を装着し、調光板の光学特性を適宜選択あるいは調整することによって、画像の視認のしやすさを調整することができる。典型的な例では、ＨＭＤ１００を装着した使用者が少なくとも外の景色を視認できる程度の光透過性を有する調光板を選択することができる。調光板を用いると、右導光板２６および左導光板２８を保護し、右導光板２６および左導光板２８の損傷や汚れの付着等を抑制する効果が期待できる。調光板は、前部フレーム２７、あるいは、右導光板２６および左導光板２８のそれぞれに対して着脱可能としてもよい。また、複数種類の調光板を交換して着脱可能としてもよく、調光板を省略してもよい。

【0026】

カメラ６１は、画像表示部２０の前部フレーム２７に配置されている。カメラ６１は、前部フレーム２７の前面において、右導光板２６および左導光板２８を透過する外光を遮らない位置に設けられる。図１の例では、カメラ６１は、右導光板２６と左導光板２８との連結部に配置されている。カメラ６１は、前部フレーム２７の端部ＥＲ側に配置されていてもよく、前部フレーム２７の端部ＥＬ側に配置されていてもよい。

【0027】

カメラ６１は、ＣＣＤやＣＭＯＳ等の撮像素子、および、撮像レンズ等を備えるデジタルカメラである。本実施形態のカメラ６１は単眼カメラであるが、ステレオカメラを採用してもよい。カメラ６１は、ＨＭＤ１００の表側方向、換言すれば、画像表示部２０の装着状態において使用者が視認する視界方向の、少なくとも一部の外景（実空間）を撮像する。換言すれば、カメラ６１は、使用者の視界と重なる範囲または方向を撮像し、使用者が視認する方向を撮像する。カメラ６１の画角の広さは適宜設定できる。本実施形態では、カメラ６１の画角の広さは、使用者が右導光板２６および左導光板２８を透過して視認可能な使用者の視界の全体を撮像するように設定される。カメラ６１は、制御機能部１５０（図５）の制御に従って撮像を実行し、得られた撮像データを制御機能部１５０へ出力する。

【0028】

測距センサー６２は、前部フレーム２７の右導光板２６と左導光板２８との連結部分におけるカメラ６１の上部に配置されている。測距センサー６２は、予め設定された測定方向に位置する測定対象物までの距離を検出する。測定方向は、ＭＤ１００の表側方向（カメラ６１の撮像方向と重複する方向）とすることができる。測距センサーは、例えば、ＬＥＤやレーザーダイオード等の発光部と、光源が発する光が測定対象物に反射する反射光を受光する受光部と、により構成できる。この場合、三角測距処理や、時間差に基づく測距処理により距離を求める。測距センサーは、例えば、超音波を発する発信部と、測定対象物で反射する超音波を受信する受信部と、により構成してもよい。この場合、時間差に基づく測距処理により距離を求める。測距センサーはカメラ６１と同様に、制御機能部１５０により制御され、検出結果を制御機能部１５０へ出力する。

【0029】

図２は、画像表示部２０が備える光学系の構成を示す要部平面図である。説明の便宜上、図２には使用者の右眼ＲＥおよび左眼ＬＥを図示する。図２に示すように、右表示ユニット２２と左表示ユニット２４とは、左右対称に構成されている。

【0030】

右眼ＲＥに画像（ＡＲ画像）を視認させる構成として、右表示ユニット２２は、ＯＬＥＤ（Organic Light Emitting Diode）ユニット２２１と、右光学系２５１とを備える。ＯＬＥＤユニット２２１は、画像光を発する。右光学系２５１は、レンズ群等を備え、ＯＬＥＤユニット２２１が発する画像光Ｌを右導光板２６へと導く。

【0031】

ＯＬＥＤユニット２２１は、ＯＬＥＤパネル２２３と、ＯＬＥＤパネル２２３を駆動するＯＬＥＤ駆動回路２２５とを有する。ＯＬＥＤパネル２２３は、有機エレクトロルミネッセンスにより発光し、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の色光をそれぞれ発する発光素子により構成される自発光型の表示パネルである。ＯＬＥＤパネル２２３は、Ｒ、Ｇ、Ｂの素子を１個ずつ含む単位を１画素とした複数の画素が、マトリクス状に配置されている。

【0032】

ＯＬＥＤ駆動回路２２５は、制御機能部１５０（図５）の制御に従って、ＯＬＥＤパネル２２３が備える発光素子の選択および通電を実行し、発光素子を発光させる。ＯＬＥＤ駆動回路２２５は、ＯＬＥＤパネル２２３の裏面、すなわち発光面の裏側に、ボンディング等により固定されている。ＯＬＥＤ駆動回路２２５は、例えばＯＬＥＤパネル２２３を駆動する半導体デバイスで構成され、ＯＬＥＤパネル２２３の裏面に固定される基板に実装されてもよい。この基板には、後述する温度センサー２１７（図５）が実装される。なお、ＯＬＥＤパネル２２３は、白色に発光する発光素子をマトリクス状に配置し、Ｒ、Ｇ、Ｂの各色に対応するカラーフィルターを重ねて配置する構成を採用してもよい。また、Ｒ、Ｇ、Ｂの色光をそれぞれ放射する発光素子に加えて、Ｗ（白）の光を放射する発光素子を備えるＷＲＧＢ構成のＯＬＥＤパネル２２３が採用されてもよい。

【0033】

右光学系２５１は、ＯＬＥＤパネル２２３から射出された画像光Ｌを並行状態の光束にするコリメートレンズを有する。コリメートレンズにより並行状態の光束にされた画像光Ｌは、右導光板２６に入射する。右導光板２６の内部において光を導く光路には、画像光Ｌを反射する複数の反射面が形成される。画像光Ｌは、右導光板２６の内部で複数回の反射を経て右眼ＲＥ側に導かれる。右導光板２６には、右眼ＲＥの眼前に位置するハーフミラー２６１（反射面）が形成される。画像光Ｌは、ハーフミラー２６１で反射後、右導光板２６から右眼ＲＥへと射出され、この画像光Ｌが右眼ＲＥの網膜で像を結ぶことで、使用者に画像を視認させる。

【0034】

左眼ＬＥに画像（ＡＲ画像）を視認させる構成として、左表示ユニット２４は、ＯＬＥＤユニット２４１と、左光学系２５２とを備える。ＯＬＥＤユニット２４１は画像光を発する。左光学系２５２は、レンズ群等を備え、ＯＬＥＤユニット２４１が発する画像光Ｌを左導光板２８へと導く。ＯＬＥＤユニット２４１は、ＯＬＥＤパネル２４３と、ＯＬＥＤパネル２４３を駆動するＯＬＥＤ駆動回路２４５を有する。各部の詳細は、ＯＬＥＤユニット２２１、ＯＬＥＤパネル２２３、ＯＬＥＤ駆動回路２２５と同じである。ＯＬＥＤパネル２４３の裏面に固定される基板には、温度センサー２３９が実装される。また、左光学系２５２の詳細は右光学系２５１と同じである。

【0035】

以上説明した構成によれば、ＨＭＤ１００は、シースルー型の表示装置として機能することができる。すなわち使用者の右眼ＲＥには、ハーフミラー２６１で反射した画像光Ｌと、右導光板２６を透過した外光ＯＬとが入射する。使用者の左眼ＬＥには、ハーフミラー２８１で反射した画像光Ｌと、左導光板２８を透過した外光ＯＬとが入射する。このように、ＨＭＤ１００は、内部で処理した画像の画像光Ｌと外光ＯＬとを重ねて使用者の眼に入射させる。この結果、使用者にとっては、右導光板２６および左導光板２８を透かして外景（実世界）が見えると共に、この外景に重なるようにして画像光Ｌによる画像（ＡＲ画像）が視認される。

【0036】

なお、ハーフミラー２６１およびハーフミラー２８１は、右表示ユニット２２および左表示ユニット２４がそれぞれ出力する画像光を反射して画像を取り出す「画像取り出し部」として機能する。また、右光学系２５１および右導光板２６を総称して「右導光部」とも呼び、左光学系２５２および左導光板２８を総称して「左導光部」とも呼ぶ。右導光部および左導光部の構成は、上述した例に限定されず、画像光を用いて使用者の眼前に画像を形成する限りにおいて任意の方式を用いることができる。例えば、右導光部および左導光部には、回折格子を用いてもよいし、半透過反射膜を用いてもよい。

【0037】

図１において、制御装置１０と画像表示部２０とは、接続ケーブル４０によって接続される。接続ケーブル４０は、制御装置１０の下部に設けられるコネクターに着脱可能に接続され、左保持部２３の先端から、画像表示部２０内部の各種回路に接続する。接続ケーブル４０には、デジタルデータを伝送するメタルケーブルまたは光ファイバーケーブルを有する。接続ケーブル４０にはさらに、アナログデータを伝送するメタルケーブルを含んでもよい。接続ケーブル４０の途中には、コネクター４６が設けられている。

【0038】

コネクター４６は、ステレオミニプラグを接続するジャックであり、コネクター４６と制御装置１０とは、例えばアナログ音声信号を伝送するラインで接続される。図１に示す本実施形態の例では、コネクター４６には、ステレオヘッドホンを構成する右イヤホン３２および左イヤホン３４と、マイク６３を有するヘッドセット３０とが接続されている。

【0039】

マイク６３は、例えば図１に示すように、マイク６３の集音部が使用者の視線方向を向くように配置されている。マイク６３は、音声を集音し、音声信号を音声インターフェース１８２（図５）に出力する。マイク６３は、モノラルマイクであってもステレオマイクであってもよく、指向性を有するマイクであっても無指向性のマイクであってもよい。

【0040】

制御装置１０は、ＨＭＤ１００を制御するための装置である。制御装置１０は、点灯部１２と、タッチパッド１４と、方向キー１６と、決定キー１７と、電源スイッチ１８とを含んでいる。点灯部１２は、ＨＭＤ１００の動作状態（例えば、電源のＯＮ／ＯＦＦ等）を、その発光態様によって通知する。点灯部１２としては、例えば、ＬＥＤ（Light Emitting Diode）を用いることができる。

【0041】

タッチパッド１４は、タッチパッド１４の操作面上での接触操作を検出して、検出内容に応じた信号を出力する。タッチパッド１４としては、静電式や圧力検出式、光学式といった種々のタッチパッドを採用することができる。方向キー１６は、上下左右方向に対応するキーへの押下操作を検出して、検出内容に応じた信号を出力する。決定キー１７は、押下操作を検出して、制御装置１０において操作された内容を決定するための信号を出力する。電源スイッチ１８は、スイッチのスライド操作を検出することで、ＨＭＤ１００の電源の状態を切り替える。

【0042】

図３は、使用者から見た画像表示部２０の要部構成を示す図である。図３では、接続ケーブル４０、右イヤホン３２、左イヤホン３４の図示を省略している。図３の状態では、右導光板２６および左導光板２８の裏側が視認できると共に、右眼ＲＥに画像光を照射するためのハーフミラー２６１、および、左眼ＬＥに画像光を照射するためのハーフミラー２８１が略四角形の領域として視認できる。使用者は、これらハーフミラー２６１、２８１を含む左右の導光板２６、２８の全体を透過して外景を視認すると共に、ハーフミラー２６１、２８１の位置に矩形の表示画像を視認する。

【0043】

図４は、カメラ６１の画角を説明するための図である。図４では、カメラ６１と、使用者の右眼ＲＥおよび左眼ＬＥとを平面視で模式的に示すと共に、カメラ６１の画角（撮像範囲）をθで示す。なお、カメラ６１の画角θは図示のように水平方向に拡がっているほか、一般的なデジタルカメラと同様に鉛直方向にも拡がっている。

【0044】

上述のようにカメラ６１は、画像表示部２０の前部フレーム２７において導光板２６と左導光板２８との連結部に配置され、使用者の視線の方向（すなわち使用者の前方）を撮像する。このためカメラ６１の光軸は、右眼ＲＥおよび左眼ＬＥの視線方向を含む方向とされる。使用者がＨＭＤ１００を装着した状態で視認できる外景は、無限遠とは限らない。例えば、使用者が両眼で対象物ＯＢを注視すると、使用者の視線は、図中の符号ＲＤ、ＬＤに示すように、対象物ＯＢに向けられる。この場合、使用者から対象物ＯＢまでの距離は、３０ｃｍ〜１０ｍ程度であることが多く、１ｍ〜４ｍであることがより多い。そこで、ＨＭＤ１００について、通常使用時における使用者から対象物ＯＢまでの距離の上限および下限の目安を定めてもよい。この目安は、予め求められＨＭＤ１００にプリセットされていてもよいし、使用者が設定してもよい。カメラ６１の光軸および画角は、このような通常使用時における対象物ＯＢまでの距離が、設定された上限および下限の目安に相当する場合において対象物ＯＢが画角に含まれるように設定されることが好ましい。

【0045】

なお、一般的に、人間の視野角は水平方向におよそ２００度、垂直方向におよそ１２５度とされる。そのうち情報受容能力に優れる有効視野は水平方向に３０度、垂直方向に２０度程度である。人間が注視する注視点が迅速に安定して見える安定注視野は、水平方向に６０〜９０度、垂直方向に４５〜７０度程度とされている。この場合、注視点が対象物ＯＢ（図４）であるとき、視線ＲＤ、ＬＤを中心として水平方向に３０度、垂直方向に２０度程度が有効視野である。また、水平方向に６０〜９０度、垂直方向に４５〜７０度程度が安定注視野である。使用者が画像表示部２０を透過して右導光板２６および左導光板２８を透過して視認する実際の視野を、実視野（ＦＯＶ：Field Of View）と呼ぶ。実視野は、視野角および安定注視野より狭いが、有効視野より広い。

【0046】

本実施形態のカメラ６１の画角θは、使用者の視野より広い範囲を撮像可能に設定される。カメラ６１の画角θは、少なくとも使用者の有効視野より広い範囲を撮像可能に設定されることが好ましく、実視野よりも広い範囲を撮像可能に設定されることがより好ましい。カメラ６１の画角θは、使用者の安定注視野より広い範囲を撮像可能に設定されることがさらに好ましく、使用者の両眼の視野角よりも広い範囲を撮像可能に設定されることが最も好ましい。このため、カメラ６１には、撮像レンズとしていわゆる広角レンズを備え、広い画角を撮像できる構成としてもよい。広角レンズには、超広角レンズ、準広角レンズと呼ばれるレンズを含んでもよい。また、カメラ６１には、単焦点レンズを含んでもよく、ズームレンズを含んでもよく、複数のレンズからなるレンズ群を含んでもよい。

【0047】

図５は、ＨＭＤ１００の構成を機能的に示すブロック図である。制御装置１０は、プログラムを実行してＨＭＤ１００を制御するメインプロセッサー１４０と、記憶部と、入出力部と、センサー類と、インターフェースと、電源部１３０とを備える。メインプロセッサー１４０には、これらの記憶部、入出力部、センサー類、インターフェース、電源部１３０がそれぞれ接続されている。メインプロセッサー１４０は、制御装置１０が内蔵しているコントローラー基板１２０に実装されている。

【0048】

記憶部には、メモリー１１８と、不揮発性記憶部１２１とが含まれている。メモリー１１８は、メインプロセッサー１４０によって実行されるコンピュータープログラム、および、処理されるデータを一時的に記憶するワークエリアを構成する。不揮発性記憶部１２１は、フラッシュメモリーやｅＭＭＣ（embedded Multi Media Card）で構成される。不揮発性記憶部１２１は、メインプロセッサー１４０が実行するコンピュータープログラムや、メインプロセッサー１４０によって処理される各種のデータを記憶する。本実施形態において、これらの記憶部はコントローラー基板１２０に実装されている。

【0049】

入出力部には、タッチパッド１４と、操作部１１０とが含まれている。操作部１１０には、制御装置１０に備えられた方向キー１６と、決定キー１７と、電源スイッチ１８とが含まれる。メインプロセッサー１４０は、これら各入出力部を制御すると共に、各入出力部から出力される信号を取得する。

【0050】

センサー類には、６軸センサー１１１と、磁気センサー１１３と、ＧＰＳ（Global Positioning System）レシーバー１１５とが含まれている。６軸センサー１１１は、３軸加速度センサーと３軸ジャイロ（角速度）センサーとを備えるモーションセンサー（慣性センサー）である。６軸センサー１１１は、これらセンサーがモジュール化されたＩＭＵ（Inertial Measurement Unit）を採用してもよい。磁気センサー１１３は、例えば、３軸の地磁気センサーである。ＧＰＳレシーバー１１５は、図示しないＧＰＳアンテナを備え、ＧＰＳ衛星から送信される無線信号を受信して、制御装置１０の現在位置の座標を検出する。これらセンサー類（６軸センサー１１１、磁気センサー１１３、ＧＰＳレシーバー１１５）は、検出値を予め指定されたサンプリング周波数に従って、メインプロセッサー１４０へと出力する。各センサーが検出値を出力するタイミングは、メインプロセッサー１４０からの指示に応じてもよい。

【0051】

インターフェースには、無線通信部１１７と、音声コーデック１８０と、外部コネクター１８４と、外部メモリーインターフェース１８６と、ＵＳＢ（Universal Serial Bus）コネクター１８８と、センサーハブ１９２と、ＦＰＧＡ１９４と、インターフェース１９６とが含まれている。これらは、外部とのインターフェースとして機能する。無線通信部１１７は、ＨＭＤ１００と外部機器との間における無線通信を実行する。無線通信部１１７は、図示しないアンテナ、ＲＦ回路、ベースバンド回路、通信制御回路等を備えて構成され、あるいはこれらが統合されたデバイスとして構成されている。無線通信部１１７は、例えば、Ｗｉ−Ｆｉ（登録商標）を含む無線ＬＡＮや、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ｉＢｅａｃｏｎ（登録商標）等の規格に準拠した無線通信を行う。

【0052】

音声コーデック１８０は、音声インターフェース１８２に接続され、音声インターフェース１８２を介して入出力される音声信号のエンコード／デコードを行う。音声インターフェース１８２は、音声信号を入出力するインターフェースである。音声コーデック１８０は、アナログ音声信号からデジタル音声データへの変換を行うＡ／Ｄコンバーター、および、その逆の変換を行うＤ／Ａコンバーターを備えてもよい。本実施形態のＨＭＤ１００は、音声を右イヤホン３２および左イヤホン３４から出力し、マイク６３により集音する。音声コーデック１８０は、メインプロセッサー１４０が出力するデジタル音声データをアナログ音声信号に変換し、音声インターフェース１８２を介して出力する。また、音声コーデック１８０は、音声インターフェース１８２に入力されるアナログ音声信号をデジタル音声データに変換してメインプロセッサー１４０に出力する。

【0053】

外部コネクター１８４は、メインプロセッサー１４０に対して、メインプロセッサー１４０と通信する外部装置（例えば、パーソナルコンピューター、スマートフォン、ゲーム機器等）を接続するためのコネクターである。外部コネクター１８４に接続された外部装置は、コンテンツの供給元となり得るほか、メインプロセッサー１４０が実行するコンピュータープログラムのデバッグや、ＨＭＤ１００の動作ログの収集に使用できる。外部コネクター１８４は種々の態様を採用できる。外部コネクター１８４としては、例えば、ＵＳＢインターフェース、マイクロＵＳＢインターフェース、メモリーカード用インターフェース等の有線接続に対応したインターフェースや、無線ＬＡＮインターフェース、Ｂｌｕｅｔｏｏｔｈインターフェース等の無線接続に対応したインターフェースを採用できる。

【0054】

外部メモリーインターフェース１８６は、可搬型のメモリーデバイスを接続可能なインターフェースである。外部メモリーインターフェース１８６は、例えば、カード型記録媒体を装着してデータの読み書きを行うメモリーカードスロットと、インターフェース回路とを含む。カード型記録媒体のサイズ、形状、規格等は適宜選択できる。ＵＳＢコネクター１８８は、ＵＳＢ規格に準拠したメモリーデバイス、スマートフォン、携帯電話端末、パーソナルコンピューター等を接続可能なインターフェースである。ＵＳＢコネクター１８８は、例えば、ＵＳＢ規格に準拠したコネクターと、インターフェース回路とを含む。ＵＳＢコネクター１８８のサイズ、形状、ＵＳＢ規格のバージョン等は適宜選択できる。

【0055】

また、ＨＭＤ１００は、バイブレーター１９を備える。バイブレーター１９は、図示しないモーターと、偏芯した回転子等を備え、メインプロセッサー１４０の制御に従って振動を発声する。ＨＭＤ１００は、例えば、操作部１１０に対する操作を検出した場合や、ＨＭＤ１００の電源がオンオフされた場合等に所定の振動パターンでバイブレーター１９により振動を発生させる。

【0056】

センサーハブ１９２およびＦＰＧＡ１９４は、インターフェース（Ｉ／Ｆ）１９６を介して画像表示部２０に接続されている。センサーハブ１９２は、画像表示部２０が備える各種センサーの検出値を取得して、メインプロセッサー１４０に出力する。ＦＰＧＡ１９４は、メインプロセッサー１４０と画像表示部２０の各部との間で送受信されるデータの処理およびインターフェース１９６を介した伝送を実行する。インターフェース１９６は、画像表示部２０の右表示ユニット２２と、左表示ユニット２４とに対してそれぞれ接続されている。本実施形態の例では、左保持部２３に接続ケーブル４０が接続され、この接続ケーブル４０に繋がる配線が画像表示部２０内部に敷設され、右表示ユニット２２と左表示ユニット２４とのそれぞれが、制御装置１０のインターフェース１９６に接続される。

【0057】

電源部１３０には、バッテリー１３２と、電源制御回路１３４とが含まれている。電源部１３０は、制御装置１０が動作するための電力を供給する。バッテリー１３２は、充電可能な電池である。電源制御回路１３４は、バッテリー１３２の残容量の検出と、ＯＳ１４３への充電の制御を行う。電源制御回路１３４は、メインプロセッサー１４０に接続され、バッテリー１３２の残容量の検出値や、バッテリー１３２の電圧の検出値をメインプロセッサー１４０へと出力する。なお、電源部１３０が供給する電力に基づいて、制御装置１０から画像表示部２０へと電力を供給してもよい。電源部１３０から制御装置１０の各部および画像表示部２０への電力の供給状態を、メインプロセッサー１４０により制御可能な構成としてもよい。

【0058】

右表示ユニット２２は、表示ユニット基板２１０と、ＯＬＥＤユニット２２１と、カメラ６１と、照度センサー６５と、ＬＥＤインジケーター６７と、温度センサー２１７とを備える。表示ユニット基板２１０には、インターフェース１９６に接続されるインターフェース（Ｉ／Ｆ）２１１と、受信部（Ｒｘ）２１３と、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）２１５とが実装されている。受信部２１３は、インターフェース２１１を介して制御装置１０から入力されるデータを受信する。受信部２１３は、ＯＬＥＤユニット２２１で表示する画像の画像データを受信した場合に、受信した画像データをＯＬＥＤ駆動回路２２５（図２）へと出力する。

【0059】

ＥＥＰＲＯＭ２１５は、各種のデータをメインプロセッサー１４０が読み取り可能な態様で記憶する。ＥＥＰＲＯＭ２１５は、例えば、画像表示部２０のＯＬＥＤユニット２２１、２４１の発光特性や表示特性に関するデータ、右表示ユニット２２または左表示ユニット２４のセンサー特性に関するデータ等を記憶する。具体的には、例えば、ＯＬＥＤユニット２２１、２４１のガンマ補正に係るパラメーター、後述する温度センサー２１７、２３９の検出値を補償するデータ等を記憶する。これらのデータは、ＨＭＤ１００の工場出荷時の検査によって生成され、ＥＥＰＲＯＭ２１５に書き込まれる。出荷後は、メインプロセッサー１４０がＥＥＰＲＯＭ２１５のデータを読み込んで各種の処理に利用する。

【0060】

カメラ６１は、インターフェース２１１を介して入力される信号に従って撮像を実行し、撮像画像データあるいは撮像結果を表す信号を制御装置１０へと出力する。照度センサー６５は、図１に示すように、前部フレーム２７の端部ＥＲに設けられ、画像表示部２０を装着する使用者の前方からの外光を受光するように配置される。照度センサー６５は、受光量（受光強度）に対応した検出値を出力する。ＬＥＤインジケーター６７は、図１に示すように、前部フレーム２７の端部ＥＲにおいてカメラ６１の近傍に配置される。ＬＥＤインジケーター６７は、カメラ６１による撮像を実行中に点灯して、撮像中であることを報知する。

【0061】

温度センサー２１７は、温度を検出し、検出した温度に対応する電圧値あるいは抵抗値を出力する。温度センサー２１７は、ＯＬＥＤパネル２２３（図３）の裏面側に実装される。温度センサー２１７は、例えばＯＬＥＤ駆動回路２２５と同一の基板に実装されてもよい。この構成により、温度センサー２１７は主としてＯＬＥＤパネル２２３の温度を検出する。なお、温度センサー２１７は、ＯＬＥＤパネル２２３あるいはＯＬＥＤ駆動回路２２５に内蔵されてもよい。例えば、ＯＬＥＤパネル２２３がＳｉ−ＯＬＥＤとしてＯＬＥＤ駆動回路２２５と共に統合半導体チップ上の集積回路として実装される場合、この半導体チップに温度センサー２１７を実装してもよい。

【0062】

左表示ユニット２４は、表示ユニット基板２３０と、ＯＬＥＤユニット２４１と、温度センサー２３９とを備える。表示ユニット基板２３０には、インターフェース１９６に接続されるインターフェース（Ｉ／Ｆ）２３１と、受信部（Ｒｘ）２３３と、６軸センサー２３５と、磁気センサー２３７とが実装されている。受信部２３３は、インターフェース２３１を介して制御装置１０から入力されるデータを受信する。受信部２３３は、ＯＬＥＤユニット２４１で表示する画像の画像データを受信した場合に、受信した画像データをＯＬＥＤ駆動回路２４５（図２）へと出力する。

【0063】

６軸センサー２３５は、３軸加速度センサーおよび３軸ジャイロ（角速度）センサーを備えるモーションセンサー（慣性センサー）である。６軸センサー２３５は、上記のセンサーがモジュール化されたＩＭＵを採用してもよい。６軸センサー２３５は、画像表示部２０に設けられているため、画像表示部２０が使用者の頭部に装着されているときには、使用者の頭部の動きを検出する。検出された使用者ＵＳの頭部の動きから画像表示部２０の向きがわかる。磁気センサー２３７は、例えば、３軸の地磁気センサーである。温度センサー２３９は、温度を検出し、検出した温度に対応する電圧値あるいは抵抗値を出力する。温度センサー２３９は、ＯＬＥＤパネル２４３（図３）の裏面側に実装される。温度センサー２３９は、例えばＯＬＥＤ駆動回路２４５と同一の基板に実装されてもよい。この構成により、温度センサー２３９は主としてＯＬＥＤパネル２４３の温度を検出する。温度センサー２３９は、ＯＬＥＤパネル２４３あるいはＯＬＥＤ駆動回路２４５に内蔵されてもよい。詳細は温度センサー２１７と同様である。

【0064】

右表示ユニット２２のカメラ６１、照度センサー６５、温度センサー２１７と、左表示ユニット２４の６軸センサー２３５、磁気センサー２３７、温度センサー２３９は、制御装置１０のセンサーハブ１９２に接続される。センサーハブ１９２は、メインプロセッサー１４０の制御に従って各センサーのサンプリング周期の設定および初期化を行う。センサーハブ１９２は、各センサーのサンプリング周期に合わせて、各センサーへの通電、制御データの送信、検出値の取得等を実行する。センサーハブ１９２は、予め設定されたタイミングで、右表示ユニット２２および左表示ユニット２４が備える各センサーの検出値をメインプロセッサー１４０へ出力する。センサーハブ１９２は、各センサーの検出値を一時的に保持するキャッシュ機能を備えてもよい。センサーハブ１９２は、各センサーの検出値の信号形式やデータ形式の変換機能（例えば、統一形式への変換機能）を備えてもよい。センサーハブ１９２は、メインプロセッサー１４０の制御に従ってＬＥＤインジケーター６７への通電を開始および停止させることで、ＬＥＤインジケーター６７を点灯または消灯させる。

【0065】

図６は、制御装置１０の構成を機能的に示すブロック図である。制御装置１０は、機能的には、記憶機能部１２２と、制御機能部１５０とを備える。記憶機能部１２２は、不揮発性記憶部１２１（図５）により構成される論理的な記憶部である。記憶機能部１２２は、記憶機能部１２２のみを使用する構成に替えて、不揮発性記憶部１２１に組み合わせてＥＥＰＲＯＭ２１５やメモリー１１８を使用する構成としてもよい。制御機能部１５０は、メインプロセッサー１４０がコンピュータープログラムを実行することにより、すなわち、ハードウェアとソフトウェアとが協働することにより構成される。

【0066】

記憶機能部１２２には、制御機能部１５０における処理に供する種々のデータが記憶されている。具体的には、本実施形態の記憶機能部１２２には、設定データ１２３と、コンテンツデータ１２４とが記憶されている。設定データ１２３は、ＨＭＤ１００の動作に係る各種の設定値を含む。例えば、設定データ１２３には、制御機能部１５０がＨＭＤ１００を制御する際のパラメーター、行列式、演算式、ＬＵＴ（Look Up Table）等が含まれている。

【0067】

コンテンツデータ１２４には、制御機能部１５０の制御によって画像表示部２０が表示する画像や映像を含むコンテンツのデータ（画像データ、映像データ、音声データ等）が含まれている。なお、コンテンツデータ１２４には、双方向型のコンテンツのデータが含まれてもよい。双方向型のコンテンツとは、操作部１１０によって使用者の操作を取得して、取得した操作内容に応じた処理を制御機能部１５０が実行し、処理内容に応じたコンテンツを画像表示部２０に表示するタイプのコンテンツを意味する。この場合、コンテンツのデータには、使用者の操作を取得するためのメニュー画面の画像データ、メニュー画面に含まれる項目に対応する処理を定めるデータ等を含みうる。

【0068】

制御機能部１５０は、記憶機能部１２２が記憶しているデータを利用して各種処理を実行することにより、ＯＳ１４３、画像処理部１４５、表示制御部１４７、撮像制御部１４９、入出力制御部１５１、通信制御部１５３、買い物支援処理部１５５としての機能を実行する。本実施形態では、ＯＳ１４３以外の各機能部は、ＯＳ１４３上で実行されるコンピュータープログラムとして構成されている。

【0069】

画像処理部１４５は、画像表示部２０により表示する画像／映像の画像データに基づいて、右表示ユニット２２および左表示ユニット２４に送信する信号を生成する。画像処理部１４５が生成する信号は、垂直同期信号、水平同期信号、クロック信号、アナログ画像信号等であってもよい。画像処理部１４５は、メインプロセッサー１４０がコンピュータープログラムを実行して実現される構成のほか、メインプロセッサー１４０とは別のハードウェア（例えば、ＤＳＰ（Digital Signal Processor））で構成してもよい。

【0070】

なお、画像処理部１４５は、必要に応じて、解像度変換処理、画像調整処理、２Ｄ／３Ｄ変換処理等を実行してもよい。解像度変換処理は、画像データの解像度を右表示ユニット２２および左表示ユニット２４に適した解像度へと変換する処理である。画像調整処理は、画像データの輝度や彩度を調整する処理である。２Ｄ／３Ｄ変換処理は、三次元画像データから二次元画像データを生成し、あるいは、二次元画像データから三次元画像データを生成する処理である。画像処理部１４５は、これらの処理を実行した場合、処理後の画像データに基づき画像を表示するための信号を生成し、接続ケーブル４０を介して画像表示部２０へと送信する。

【0071】

表示制御部１４７は、右表示ユニット２２および左表示ユニット２４を制御する制御信号を生成し、この制御信号により、右表示ユニット２２および左表示ユニット２４のそれぞれによる画像光の生成と射出とを制御する。具体的には、表示制御部１４７は、ＯＬＥＤ駆動回路２２５、２４５を制御して、ＯＬＥＤパネル２２３、２４３による画像の表示を実行させる。表示制御部１４７は、画像処理部１４５が出力する信号に基づいて、ＯＬＥＤ駆動回路２２５、２４５がＯＬＥＤパネル２２３、２４３に描画するタイミングの制御、ＯＬＥＤパネル２２３、２４３の輝度の制御等を行う。

【0072】

撮像制御部１４９は、カメラ６１を制御して撮像を実行させ、撮像画像データを生成し、記憶機能部１２２に一時的に記憶させる。また、カメラ６１が撮像画像データを生成する回路を含むカメラユニットとして構成される場合、撮像制御部１４９は、撮像画像データをカメラ６１から取得して、記憶機能部１２２に一時的に記憶させる。

【0073】

入出力制御部１５１は、タッチパッド１４（図１）と、方向キー１６と、決定キー１７とを適宜、制御して、これらから入力指令を取得する。取得した指令は、ＯＳ１４３、またはＯＳ１４３と共にＯＳ１４３上で動作するコンピュータープログラムに出力される。通信制御部１５３は、無線通信部１１７を制御して、例えば外部のＨＭＤ４００との間で無線通信を行う。

【0074】

買い物支援処理部１５５は、ＯＳ１４３上で動作するアプリケーションプログラムに従って実現される機能である。買い物支援処理部１５５は、検出された使用者の視線方向を含む所定の範囲を特定し、特定された所定の範囲に存在するＢＬＥ（Bluetooth Low Energy）端末と無線通信部１１７（図５）を介して通信を行い、ＢＬＥ端末からデータを受信し、受信したデータに基づく提示情報を、買い物受援者が装着するＨＭＤ４００に無線通信部１１７を介して送信する。買い物支援処理部１５５の詳細は、後述する。なお、買い物支援処理部１５５が［発明の概要］の欄に記載した本発明の第１の形態における「処理部」に相当する。

【0075】

図７は、ＨＭＤ１００による拡張現実感表示の一例を示す説明図である。図７では、使用者の視界ＶＲを例示している。上述のようにして、ＨＭＤ１００の使用者の両眼に導かれた画像光が使用者の網膜に結像することにより、使用者は拡張現実感（ＡＲ）としての画像ＡＩを視認する。図７の例では、画像ＡＩは、ＨＭＤ１００のＯＳのメニュー画面である。メニュー画面には、例えば、「メッセージ」、「電話」、「カメラ」、「ブラウザー」、「買い物支援」の各アプリケーションプログラムを起動するためのアイコンＩＣが含まれる。また、右左の導光板２６，２８が外景ＳＣからの光を透過することで、使用者は外景ＳＣを視認する。このように、ＨＭＤ１００の使用者は、視界ＶＲのうち画像ＶＩが表示された部分については、外景ＳＣに重なるようにして画像ＡＩを見ることができる。また、視界ＶＲのうち画像ＡＩが表示されていない部分については、外景ＳＣだけを見ることができる。なお、図示の外景ＳＣは街中であるが、ＨＭＤ１００は先に説明したように店舗内で使用されることから、外景ＳＣは店舗内の眺めとなる。

【0076】

先に説明したように、上述したＨＭＤ１００は店舗内で買い物支援者によって使用され、他方のＨＭＤ４００は店舗から離れた自宅内で買い物受援者によって使用される。以下、買い物支援者によって使用されるＨＭＤ１００を「支援者ＨＭＤ１００」と呼び、買い物受援者によって使用されるＨＭＤ４００を「受援者ＨＭＤ４００」と呼ぶ。受援者ＨＭＤ４００は、支援者ＨＭＤ１００と同一機種であり、インストールされている一部のアプリケーションプログラムだけが相違する。一部のアプリケーションプログラムが相違することで、受援者ＨＭＤ４００は、制御装置１０の制御機能部が相違したものとなる。なお、受援者ＨＭＤ４００における支援者ＨＭＤ１００と同一の構成要素については、支援者ＨＭＤ１００と同一の符号を用いて以下の説明を行う。

【0077】

図８は、受援者ＨＭＤ４００の制御装置１０の構成を機能的に示すブロック図である。制御装置１０は、機能的には、記憶機能部１２２と、制御機能部４５０とを備える。記憶機能部１２２は、支援者ＨＭＤ１００の記憶機能部１２２と同一である。制御機能部４５０は、支援者ＨＭＤ１００の制御機能部１５０と比較して、買い物支援処理部１５５に換えて買い物処理部４５５が設けられている点が相違し、残余の構成要素（図中の１４３〜１５３）については同一である。

【0078】

買い物処理部４５５は、ＯＳ１４３上で動作するアプリケーションプログラムに従って実現される機能である。買い物処理部４５５は、買い物支援を要請するとともに、支援者ＨＭＤ１００とから送られてくる提示情報を表示する。買い物処理部４５５の詳細は、後述する。

【0079】

図９は、受援者ＨＭＤ４００による拡張現実感表示の一例を示す説明図である。図９では、買い物受援者（以下、「使用者」とも呼ぶ）の視界ＶＲ２を例示している。上述のようにして、受援者ＨＭＤ４００の使用者の両眼に導かれた画像光が使用者の網膜に結像することにより、使用者は拡張現実感（ＡＲ）としての画像ＡＩ２を視認する。図７の例では、画像ＡＩ２は、受援者ＨＭＤ４００のＯＳのメニュー画面である。メニュー画面には、例えば、「メッセージ」、「電話」、「カメラ」、「ブラウザー」、「遠隔買い物」の各アプリケーションプログラムを起動するためのアイコンＩＣ２が含まれる。また、右左の導光板２６，２８が外景ＳＣ２からの光を透過することで、使用者は外景ＳＣ２を視認する。このように、受援者ＨＭＤ４００の使用者は、視界ＶＲ２のうち画像ＶＩ２が表示された部分については、外景ＳＣ２に重なるようにして画像ＡＩ２を見ることができる。また、視界ＶＲ２のうち画像ＡＩ２が表示されていない部分については、外景ＳＣ２だけを見ることができる。なお、図示の外景ＳＣ２は街中であるが、受援者ＨＭＤ４００は先に説明したように自宅内で使用されることから、外景ＳＣ２は自宅内の眺めとなる。

【0080】

Ｃ．買い物に関わる工程について：
図１０は、買い物を行うに際し受援者ＨＭＤ４００側および支援者ＨＭＤ１００側で実行する工程を示す説明図である。買い物を行うに際し、まず、受援者ＨＭＤ４００を装着した買い物受援者（以下、単に「受援者」とも呼ぶ）は、買い物の支援をして欲しい旨を店舗に要請する（工程Ｐ１）。具体的には、受援者は、メニュー画面に用意された「遠隔買い物」のアイコンＩＣ２を方向キー１６（図１）と決定キー１７（図１）によって指示することによって、ＵＳＢコネクター１８８（図５）を介して携帯電話端末と通信を行って、予め登録された店舗に電話をする。この電話で、買い物の支援をして欲しい旨を店舗に要請する。支援の要請は、電話に替えて、メール等の別の通信手段によるものとすることもできる。

【0081】

買い物支援の要請を受けた店舗では、店舗内に予め待機している、支援者ＨＭＤ１００を装着した買い物支援者（以下、単に「支援者」とも呼ぶ）に、買い物支援を行うよう指示する。指示を受けた支援者は、支援者ＨＭＤ１００と受援者ＨＭＤ４００との間の通信を確立した上で、買い物受援者が装着している受援者ＨＭＤ４００に対して買い物支援を受託した旨を送信する（工程Ｐ２）。支援者ＨＭＤ１００と受援者ＨＭＤ４００との間の通信は、データ転送は勿論のこと、音声通話も含む。

【0082】

さらに、支援者ＨＭＤ１００は、カメラ６１によって撮像した撮像画像を受援者ＨＭＤ４００に対して送信する（工程Ｐ３）。

【0083】

受援者ＨＭＤ４００は、支援者ＨＭＤ１００から送られてくる撮像画像を受信し、受信した撮像画像を表示する（工程Ｐ４）。具体的には、撮像画像に基づいて画像処理部１４５（図６）を制御して、表示制御部１４７（図６）に撮像画像の表示を実行させる。その結果、支援者ＨＭＤ１００で撮像した撮像画像が受援者ＨＭＤ４００に表示される。これにより、受援者ＨＭＤ４００を装着した受援者は、自宅に居ながら店舗内の画像を見ることができる。なお、これ以後、買い物支援が終了するまで、撮像画像は支援者ＨＭＤ１００から受援者ＨＭＤ４００に送り続けられ、受援者ＨＭＤ４００では店舗内の状況を逐次に見ることができる。

【0084】

支援者は、商品を眺めながら店舗内を順に見ていく。そのとき、受援者は、受援者ＨＭＤ４００を用いて、支援者ＨＭＤ１００に対して指示を送信する（工程Ｐ５）。具体的には、受援者は、支援者ＨＭＤ１００に、音声通話によって望む売り場に移動する旨を送信する。例えば、「果物が欲しいわ」といった指示を送る。

【0085】

指示を受けた支援者は、指示に基づいて移動する（工程Ｐ６）。例えば、果物売り場に移動する。続いて、支援者ＨＭＤ１００は、支援者の視線方向周りの商品の種類毎の提示情報を取得し（工程Ｐ７）、取得した提示情報を受援者ＨＭＤ４００に送信する（工程Ｐ８）。どのように提示情報を取得するかは、後述する。

【0086】

受援者ＨＭＤ４００は、支援者ＨＭＤ１００から送られてくる提示情報を受信し、提示情報を表示する（工程Ｐ９）。具体的には、提示情報に基づいて受援者ＨＭＤ４００の画像処理部１４５（図６）を制御して、受援者ＨＭＤ４００の表示制御部１４７（図６）に提示情報の表示を実行させる。この表示は、工程Ｐ４で表示している撮像画像に重ね合わせて表示する。受援者ＨＭＤ４００によって実行される工程Ｐ１，Ｐ４，Ｐ９が、買い物処理部４５５（図８）に対応している。

【0087】

受援者ＨＭＤ４００を装着した受援者は、表示された提示情報を見て、好みの商品を発注する。商品の発注は、例えば音声通話にて、支援者ＨＭＤ１００に送る。

【0088】

Ｄ．買い物支援処理について：
図１１は、買い物支援処理を示すフローチャートである。この買い物支援処理は、買い物支援処理部１５５（図６）に対応しており、図１０で言えば、工程Ｐ２，Ｐ３，Ｐ７，Ｐ８を実現している。買い物支援処理は、不揮発性記憶部１２１（図５）に格納されている所定のコンピュータープログラム（アプリケーションプログラム）に従う処理ルーチンで、支援者ＨＭＤ１００のメインプロセッサー１４０によって実行される。図７に例示したメニュー画面の「買い物支援」のアイコンＩＣが方向キー１６（図１）と決定キー１７（図１）によって指示されたことを受けて、買い物支援処理は実行開始される。

【0089】

処理が開始されると、支援者ＨＭＤ１００のメインプロセッサー１４０は、まず、支援者ＨＭＤ１００と受援者ＨＭＤ４００との間の通信を確立した上で、買い物受援者が装着している受援者ＨＭＤ４００に対して、買い物支援を受託した旨のメッセージを送信する（ステップＳ１１０）。この処理は、図１０の工程Ｐ２に相当する。

【0090】

次いで、メインプロセッサー１４０は、カメラ６１を起動し（ステップＳ１２０）、カメラ６１で撮像した画像を受援者ＨＭＤ４００に対して送信する（ステップＳ１３０）。カメラ６１で撮像した画像は、先に説明したように、支援者の視野より広い範囲を撮像していることから、ここでは、支援者の視野に一致すべく撮像画像の周辺を削除した上で、受援者ＨＭＤ４００に送信する。すなわち、支援者の視野と一致する画像が受援者ＨＭＤ４００に送信される。ステップＳ１３０の処理は、図１０の工程Ｐ３に相当する。なお、これ以後、撮像画像は、買い物支援が終了するまで送り続けられる。

【0091】

続いて、メインプロセッサー１４０は、受援者ＨＭＤ４００から指示が送られてきた場合に、その指示を受信する（ステップＳ１４０）。例えば、「果物が欲しいわ」といった指示を受ける。この処理は、図１０の工程Ｐ５に対応する支援者ＨＭＤ１００側の処理である。

【0092】

図１２は、店舗内の果物売り場の一例を示す説明図である。図１０に示した工程Ｐ６によって、支援者は、例えば果物売り場に移動する。果物売り場には、陳列棚ＤＣが設けられている。陳列棚ＤＣには、果物Ｆ１，Ｆ２，Ｆ３，Ｆ４が種類毎に区分けして陳列されている。例えば、第１の果物Ｆ１はミカンであり、第２の果物Ｆ２はバナナであり、第３の果物Ｆ３はリンゴであり、第４の果物Ｆ４はレモンである。例えば、陳列棚ＤＣの左から右に向かって、ミカンの群Ｃ１と、バナナの群Ｃ２と、リンゴの群Ｃ３と、レモンの群Ｃ４と、が配列される。各群Ｃ１，Ｃ２，Ｃ３，Ｃ４の上端には、ＢＬＥ端末５０１，５０２，５０３，５０４がそれぞれ設けられている。ＢＬＥ（Bluetooth Low Energy）とは、近距離無線通信技術Ｂｌｕｅｔｏｏｔｈ（登録商標）の拡張仕様の一つで、極低電力で通信が可能なものである。支援者ＨＭＤ１００の無線通信部１１７（図５）は、ＢＬＥ端末と通信を行うことが可能となっている。支援者ＨＭＤ１００を装着した支援者は、受援者からの移動指示に従って、陳列棚ＤＣの前に移動する。

【0093】

図１１に戻り、その後、メインプロセッサー１４０は、画像表示部２０を装着した使用者（支援者）の視線方向を求める（ステップＳ１５０）。ここで言う「視線方向」は、使用者が両眼で見る方向である。ステップＳ１５０では、画像表示部２０の向きが使用者の視線方向と一致するとして、画像表示部２０に備え付けられた６軸センサー２３５の検出信号から画像表示部２０の向きを特定することによって、視線方向を求める。「視線方向」は、左眼と右眼の間の中心と、使用者が両眼で見ている対象（一点）とを結ぶ方向であるとも言える。６軸センサー２３５が、［発明の概要］の欄に記載した本発明の一形態における「視線方向検出部」に相当する。

【0094】

続いて、メインプロセッサー１４０は、ステップＳ１５０によって求められた視線方向を含む所定範囲を特定する（ステップＳ１６０）。本実施形態では、視線方向の一点を特定し、この一点を中心とする所定範囲を特定する。「視線方向の一点」とは、視線方向に物体が存在する場合には、視線方向と交わる物体の表面上の一点であり、視線方向に物体が存在しない場合には、視線方向上の使用者から所定距離（例えば、５ｍ）だけ離れた一点である。

【0095】

図１３は、所定範囲ＶＡを例示する説明図である。所定範囲ＶＡは直方体の領域であり、直方体の中心に視線方向の一点ＶＰが位置する。ステップＳ１６０では、具体的には、メインプロセッサー１４０は、ステップＳ１５０によって求めた視線方向と、測距センサー６２によって検出された距離とに基づいて、使用者が見ている一点ＶＰを求め、その一点から左側に１／２Ａｘ、右側に１／２Ａｘ、上側に１／２Ａｙ、下側に１／２Ａｙ、奧側に１／２Ａｚ、手前側に１／２Ａｚだけそれぞれ拡張した領域を所定範囲ＶＡと定める。Ａｘ，Ａｙ，Ａｚは、予め定めた値である。これらの値は、店舗内の位置によって変化する値としてもよい。例えば、大型の商品が陳列されたブースの位置では、Ａｘ，Ａｙ，Ａｚは大きな値とし、小型の商品が陳列されたブースの位置では、Ａｘ，Ａｙ，Ａｚは小さな値としてもよい。Ａｘ，Ａｙ，Ａｚは、本実施形態では、不揮発性記憶部１２１（図５）に格納されている。図１３の例示では、リンゴの群Ｃ３の下段あたりに一点ＶＰが位置し、所定範囲ＶＡはバナナの群Ｃ２とリンゴの群Ｃ３とレモンの群Ｃ４とを含む範囲となる。

【0096】

なお、所定範囲ＶＡは、予め定められた範囲に限る必要はない。例えば、予め定められた範囲を画像表示部２０に表示しておき、制御装置１０からの使用者の操作指令に基づいてその範囲を拡大したり縮小したり、移動したりできるようにしてもよい。

【0097】

図１１に戻り、続いて、メインプロセッサー１４０は、支援者ＨＭＤ１００の周辺に存在する複数のＢＬＥ端末（図１２の例示では５０１〜５０４）に対して接続を要求し、接続確立後、接続された各ＢＬＥ端末５０１〜５０４とデータ送受信（通信）を行うことによって、支援者ＨＭＤ１００に対する各ＢＬＥ端末５０１〜５０４の相対位置を求める（ステップＳ１７０）。続いて、メインプロセッサー１４０は、求めた各ＢＬＥ端末５０１〜５０４の相対位置に基づいて、複数のＢＬＥ端末５０１〜５０４の中から、ステップＳ１６０によって求めた所定範囲内に位置するＢＬＥ端末を選別し、選別された各ＢＬＥ端末とデータ送受信を行って商品属性データを受信する（ステップＳ１８０）。図１３の例示では、所定範囲ＶＡの中には、バナナの群Ｃ２のＢＬＥ端末５０２と、リンゴの群Ｃ３のＢＬＥ端末５０３と、レモンの群Ｃ４のＢＬＥ端末５０４とが含まれることから、これらＢＬＥ端末５０２〜５０４から商品属性データを受信する。

【0098】

図１４は、所定範囲内に存在する各ＢＬＥ端末５０２〜５０４から受信する各商品属性データＭＪを示す説明図である。商品属性データＭＪは、商品の種類毎に個別に用意される数値データであり、「商品名コード」、「産地コード」、「価格」、「食べ頃」、「特徴コード」の各項目ｄ１〜ｄ５を含む。「商品名コード」の項目ｄ１は商品の名称を示すコードであり、「産地コード」の項目ｄ２は産地を示すコードであり、「価格」の項目ｄ３は商品の価格を示すものであり、「食べ頃」の項目ｄ４は商品の食べ頃な期間を示すものであり、「特徴コード」の項目ｄ５は商品の特徴を示すものである。これら項目ｄ１〜ｄ５の種類は任意に定めてよい。図１１のステップＳ１８０では、所定範囲内に位置するＢＬＥ端末５０２〜５０４のそれぞれから、個別の商品属性データＭＪを受信する。

【0099】

不揮発性記憶部１２１（図５）には、商品名コードと商品名（文字列）との対応関係を示す表や、産地コードと産地名（文字列）との対応関係を示す表、特徴コードと特徴（文字列）との対応関係を示す表等が予め記憶されている。続く、ステップＳ１９０では、受信した各商品属性データにおけるコードの項目ｄ１，ｄ２，ｄ５を上記の表に照らし合わせることによって文字列に変換し、そうして得られたコード部分が文字列化された商品属性データを提示情報とし、各ＢＬＥ端末５０２〜５０４の撮像画像上の位置を示すデータと各提示情報とをセットにした上で、受援者ＨＭＤ４００に送信する。具体的には、ステップＳ１７０で選別された各ＢＬＥ端末の相対位置から所定範囲ＶＡに存在する各ＢＬＥ端末５０２〜５０４の撮像画像上の位置を求め、各ＢＬＥ端末５０２〜５０４から受信した商品属性データに基づいて生成した各提示情報に対して各ＢＬＥ端末５０２〜５０４の撮像画像上の位置を紐づけし、紐付けられた各セットのデータを受援者ＨＭＤ４００に送信する。

【0100】

続いて、メインプロセッサー１４０は、マイク６３（図１）を起動して、マイク６３によって支援者の音声を取得し、取得した音声のデータを受援者ＨＭＤ４００に送信する（ステップＳ２００）。支援者は、商品について、触覚、味覚、もしくは嗅覚で感じたことがあれば、感じたことを音声にて発するようにしている。例えば、匂いを嗅いでみて特徴があれば、その匂いについての感想を音声にて発する。触れてみて触感に特徴があれば、触感についての感想を音声にて発する。例えば、試食できれば試食して味についての感想を音声にて発する。ステップＳ２００では、支援者が発した音声をマイクによって取得して、取得した音声のデータを受援者ＨＭＤ４００に送信する。なお、マイク６３によって音を取得し、取得した音のデータを受援者ＨＭＤ４００に送信する処理は、必ずしもこのタイミングで実行する必要はなく、例えば、ステップＳ１３０で撮像画像を送信し始めたときに、音についても送信し始めるようにして、それ以後、買い物支援処理が終了するまで、音を取得し送信し続けるようにしてもよい。

【0101】

ステップＳ２００の実行後、メインプロセッサー１４０は、ステップＳ１３０に処理を戻して、ステップＳ１３０以降の処理を繰り返し実行する。この繰り返しを、メインプロセッサー１４０は、買い物が終了するまで実行する。

【0102】

図１５は、買い物支援処理実行時の受援者の視界の一例を示す説明図である。支援者ＨＭＤ１００において買い物支援処理が実行されたときに、支援者ＨＭＤ１００と協調して動作する受援者ＨＭＤ４００を装着した受援者の視界（視野）ＶＲ２ａには、例えば、図示する画像が表示される。この画像は、ステップＳ１３０（図１１）によって支援者ＨＭＤ１００から送信された撮像画像であり、視界（視野）ＶＲ２ａには、支援者が支援者ＨＭＤ１００の右左の導光板２６，２８を通して見ている画像（図１２参照）と同じ画像が現れる。

【0103】

さらに、視界ＶＲ２ａには、先に説明した所定範囲ＶＡ（図１３参照）に含まれるフルーツ群Ｃ２〜Ｃ４についての提示情報が表示される。この提示情報は、ステップＳ１９０（図１１）によって支援者ＨＭＤ１００から送信されたセットのデータに基づいて作成されたものである。具体的には、セットのデータに含まれる各ＢＬＥ端末５０２〜５０４の撮像画像上の位置に、セットのデータに含まれる提示情報を表示する。すなわち、バナナの群Ｃ２のＢＬＥ端末５０２から得られた提示情報Ｍ２を、そのＢＬＥ端末５０２の位置に表示する。リンゴの群Ｃ３のＢＬＥ端末５０３から得られた提示情報Ｍ３を、そのＢＬＥ端末５０３の位置に表示する。レモンの群Ｃ４のＢＬＥ端末５０４から得られた提示情報Ｍ４を、そのＢＬＥ端末５０４の位置に表示する。各提示情報Ｍ２〜Ｍ４は、商品名、産地、値段、食べ頃、および特徴を示すものである。

【0104】

図１６は、買い物支援処理実行時の受援者の視界の他の例を示す説明図である。支援者ＨＭＤ１００を装着した支援者が、ゴルフクラブ売り場に移動したときには、支援者ＨＭＤ１００と協調して動作する受援者ＨＭＤ４００を装着した受援者の視界（視野）ＶＲ２ｂには、例えば、図示する画像が表示される。この画像は、ゴルフクラブ売り場を示す画像である。視界ＶＲ２ｂには、支援者が支援者ＨＭＤ１００の右左の導光板２６，２８を通して見ている画像（図１２参照）と同じ画像が現れる。

【0105】

さらに、視界ＶＲ２ａには、視線方向を含む所定範囲（図示せず）に含まれるゴルフクラブ群、図示の例では、「アイアン」の群Ｃ１２と、「ドライバー」の群Ｃ１３についての提示情報が表示される。この提示情報は、支援者ＨＭＤ１００から送信されたセットのデータに基づいて作成されたものである。具体的には、セットのデータに含まれる各ＢＬＥ端末６０２，６０３の撮像画像上の位置に対応付けた位置に、セットのデータに含まれる提示情報を表示する。詳しくは、アイアンの群Ｃ１２のＢＬＥ端末６０２の撮像画像上の位置に基づいて、画像のパターン認識によって、ＢＬＥ端末６０２に対応したゴルフクラブ群の位置を特定し、その特定した位置の上部を、「対応付けた位置」として提示情報Ｍ１２を表示する。ドライバーの群Ｃ１３のＢＬＥ端末６０３から得られた提示情報Ｍ１３についても、同様に、そのＢＬＥ端末６０３の位置に基づく位置に表示する。

【0106】

Ｅ．実施形態の効果について：
以上のように構成された本実施形態の支援者ＨＭＤ１００によれば、使用者の視線方向の一点ＶＰを含む所定範囲ＶＡに存在するＢＬＥ端末５０２〜５０４から受信した商品属性データに基づく提示情報を、受援者ＨＭＤ４００に送ることができる。このため、受援者ＨＭＤ４００を装着した受援者は、支援者ＨＭＤ１００を装着した使用者と離れた位置に居ながら、その使用者の視線方向の周辺の情報を受けることができる。したがって、本実施形態の支援者ＨＭＤ１００は、離れた位置にいる受援者に対して、視線方向の情報を適切かつ効率的に提示することができる。

【0107】

また、本実施形態では、受援者が使用する情報処理装置がＨＭＤであることから、支援者ＨＭＤ１００を使用する支援者が視認する画像と一致する画像を受援者は視認することができる。このため、受援者は、店舗内で実際に買い物を行う感覚で商品の購買を行うことができる。特に本実施形態では、ＨＭＤは両眼タイプであるため、奥行き感等、立体的な３Ｄ感覚を、受援者は支援者と共有できる。

【0108】

Ｆ．変形例：
なお、この発明は前記実施形態およびその変形例に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば、次のような変形も可能である。

【0109】

・変形例１：
実施形態および変形例では、視線方向検出部が画像表示部２０に備え付けられた６軸センサー２３５によって構成されていたが、視線方向検出部はこれに限られず、種々変形可能である。例えば、視線方向検出部は、眼球撮影用カメラとしてもよい。眼球撮影用カメラを用いて頭部装着型表示装置を装着した状態における使用者の左右の眼球を撮像し、得られた眼球の画像を解析することによって使用者の視線の方向を検出する。例えば、眼球画像の中から瞳孔の中心位置を求めることによって視線方向を検出する。眼球の画像の解析に際しては、人間が注視点を凝視しているつもりでも、不随意的に常に起こっている細かな眼の揺れ、固視微動を考慮するようにしてもよい。

【0110】

・変形例２：
実施形態および変形例では、視線方向の一点ＶＰ（図１３参照）を中心とする直方体の領域を所定範囲ＶＡと特定したが、所定範囲の特定方法はこれに限られず、種々変形可能である。例えば、視線方向の一点を直方体の一つの頂点とする領域を所定範囲と特定してもよい。要は、視線方向の一点が所定の範囲に含まれれば、どのような構成とすることもできる。また、所定範囲は、必ずしも直方体である必要はなく、立方体、球形、楕円体、円柱、多角柱（三角柱、五角柱、六角柱等）等の他の立体（三次元の形状）としてもよい。さらには、奥行きがない二次元の形状、円形、多角形（三角形、五角形、六角形等）としてもよい。また、視線方向の一点を基準として所定範囲を特定する必要もなく、視線方向の一部または全部を基準として所定範囲を特定するようにしてもよい。

【0111】

・変形例３：
実施形態および変形例では、表示システムが、果物、ゴルフクラブ等のショッピングを支援する用途に適していたが、用途はこれに限られず、種々変形可能である。例えば、物品を借用する用途、物品を破棄する用途としてもよく、要は、施設内の様子を踏まえて施設外から、物品に対してなんらかのリクエストを行いたい場合に適用することができる。

【0112】

・変形例４：
実施形態および変形例では、提示情報として、商品名、産地、値段、食べ頃、特徴等を表示していたが、提示情報はこれらに限られず、種々変形可能である。例えば、食品の場合は、カロリー、成分、内容量、１ミリリットル当たりの単価、トレーサビリティー情報等を提示情報としてもよい。トレーサビリティーとは、食品の安全を確保するために，栽培や飼育から加工・製造・流通などの過程を明確にすることである。衣服や靴の場合は、サイズ、カラー、在庫、対象年齢層（例えば、ミセス向け、ヤング向け）等を提示情報としてもよい。スポーツ用品の場合は、対象技量（例えば、上級者向け、初級者向け、レディース等）を提示情報として付加するようにしてもよい。また、位置情報、店情報、決済情報（ポイントカード、クレジットカード、）等を提示情報に付加するようにしてもよい。

【0113】

・変形例５：
実施形態および変形例では、カメラ６１で撮像した画像は、支援者の視野に一致すべく撮像画像の周辺を削除した上で、受援者ＨＭＤ４００に送信する構成としていた。これに対して、撮像画像の周辺を削除した撮像画像（送信用撮像画像）において、ステップＳ１６０で特定される所定範囲ＶＡと重複する部分を特定し、特定された重複する部分について、明るさを高める加工を行い、その加工後の画像を受援者ＨＭＤ４００に送信するようにしてもよい。なお、画像の加工は、明るさを高める構成に限らず、周辺に枠体を設ける加工等としてもよい。この構成によれば、送信用撮像画像における所定範囲ＶＡを、他の部分と比較して強調して、受援者ＨＭＤ４００に表示させることができる。

【0114】

・変形例６：
実施形態および変形例では、支援者、受援者ともにＨＭＤ１００、４００を装着した構成としたが、受援者側のＨＭＤ４００は、タブレット型コンピューター、スマートフォン、パーソナルコンピューター、プロジェクター、テレビ等の他の型の情報処理装置とすることもできる。

【0115】

・変形例７：
実施形態および変形例では、近距離無線通信端末がＢＬＥ端末であった。これに対して、変形例として、無線ＬＡＮ、赤外線通信端末等の他の近距離無線通信端末としてもよい。

【0116】

・変形例８：
各実施形態および変形例において、ハードウェアによって実現されるとした構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されるとした構成の一部をハードウェアに置き換えるようにしてもよい。

【0117】

・変形例９：
上記実施形態では、ＨＭＤの構成について例示した。しかし、ＨＭＤの構成は、本発明の要旨を逸脱しない範囲において任意に定めることが可能であり、例えば、構成要素の追加・削除・変換等を行うことができる。

【0118】

上記実施形態では、右導光板２６および左導光板２８が外光を透過する、いわゆる透過型のＨＭＤ１００について説明した。しかし、本発明は、例えば、外景を透過できない状態で画像を表示する、いわゆる非透過型のＨＭＤ１００に適用することもできる。また、これらのＨＭＤ１００では、上記実施形態で説明した実空間に重畳して画像を表示するＡＲ（Augmented Reality）表示のほか、撮像した実空間の画像と仮想画像とを組み合わせて表示するＭＲ（Mixed Reality）表示、あるいは、仮想空間を表示するＶＲ（Virtual Reality）表示を行うこともできる。

【0119】

上記実施形態では、制御装置１０および画像表示部２０の機能部について説明したが、これらは任意に変更することができる。例えば、次のような態様を採用してもよい。制御装置１０に記憶機能部１２２および制御機能部１５０を搭載し、画像表示部２０には表示機能のみを搭載する態様。制御装置１０と画像表示部２０との両方に、記憶機能部１２２および制御機能部１５０を搭載する態様。制御装置１０と画像表示部２０とを一体化した態様。この場合、例えば、画像表示部２０に制御装置１０の構成要素が全て含まれ、眼鏡型のウェアラブルコンピューターとして構成される。制御装置１０の代わりにスマートフォンや携帯型ゲーム機器を使用する態様。制御装置１０と画像表示部２０とを無線通信により接続し、接続ケーブル４０を配した態様。この場合、例えば、制御装置１０や画像表示部２０に対する給電についても無線で実施してよい。

【0120】

・変形例１０：
上記実施形態では、制御装置の構成について例示した。しかし、制御装置の構成は、本発明の要旨を逸脱しない範囲において任意に定めることが可能であり、例えば、構成要素の追加・削除・変換等を行うことができる。

【0121】

上記実施形態では、制御装置１０が備える入力手段の一例について説明した。しかし、制御装置１０は、例示した一部の入力手段を省略して構成されてもよく、上述しない他の入力手段を備えていてもよい。例えば、制御装置１０は、操作スティック、キーボード、マウス等を備えていてもよい。例えば、制御装置１０は、使用者の身体の動き等に対応付けられたコマンドを解釈する入力手段を備えていてもよい。使用者の身体の動き等とは、例えば、視線を検出する視線検出、手の動きを検出するジェスチャー検出、足の動きを検出するフットスイッチ等により取得できる。なお、視線検出は、例えば、画像表示部２０の内側を撮像するカメラにより実現できる。ジェスチャー検出は、例えば、カメラ６１により経時的に撮影された画像を画像解析することにより実現できる。

【0122】

上記実施形態では、制御機能部１５０は、メインプロセッサー１４０が記憶機能部１２２内のコンピュータープログラムを実行することにより動作するとした。しかし、制御機能部１５０は種々の構成を採用することができる。例えば、コンピュータープログラムは、記憶機能部１２２に代えて、または記憶機能部１２２と共に、不揮発性記憶部１２１、ＥＥＰＲＯＭ２１５、メモリー１１８、他の外部記憶装置（各種インターフェースに挿入されているＵＳＢメモリー等の記憶装置、ネットワークを介して接続されているサーバー等の外部装置を含む）に格納されていてもよい。また、制御機能部１５０の各機能は、当該機能を実現するために設計されたＡＳＩＣ（Application Specific Integrated Circuit）を用いて実現されてもよい。

【0123】

・変形例１１：
上記実施形態では、画像表示部の構成について例示した。しかし、画像表示部の構成は、本発明の要旨を逸脱しない範囲において任意に定めることが可能であり、例えば、構成要素の追加・削除・変換等を行うことができる。

【0124】

図１７は、変形例の画像表示部が備える光学系の構成を示す要部平面図である。変形例の画像表示部では、使用者の右眼ＲＥに対応したＯＬＥＤユニット２２１ａと、左眼ＬＥに対応したＯＬＥＤユニット２４１ａと、が設けられている。右眼ＲＥに対応したＯＬＥＤユニット２２１ａは、白色で発色するＯＬＥＤパネル２２３ａと、ＯＬＥＤパネル２２３ａを駆動して発光させるＯＬＥＤ駆動回路２２５とを備えている。ＯＬＥＤパネル２２３ａと右光学系２５１との間には、変調素子２２７（変調装置）が配置されている。変調素子２２７は、例えば、透過型液晶パネルで構成され、ＯＬＥＤパネル２２３ａが発する光を変調して画像光Ｌを生成する。変調素子２２７を透過して変調された画像光Ｌは、右導光板２６によって右眼ＲＥに導かれる。

【0125】

左眼ＬＥに対応したＯＬＥＤユニット２４１ａは、白色で発光するＯＬＥＤパネル２４３ａと、ＯＬＥＤパネル２４３ａを駆動して発光させるＯＬＥＤ駆動回路２４５とを備えている。ＯＬＥＤパネル２４３ａと左光学系２５２との間には、変調素子２４７（変調装置）が配置されている。変調素子２４７は、例えば、透過型液晶パネルで構成され、ＯＬＥＤパネル２４３ａが発する光を変調して画像光Ｌを生成する。変調素子２４７を透過して変調された画像光Ｌは、左導光板２８によって左眼ＬＥに導かれる。変調素子２２７、２４７は、図示しない液晶ドライバー回路に接続される。この液晶ドライバー回路（変調装置駆動部）は、例えば変調素子２２７、２４７の近傍に配置される基板に実装される。

【0126】

変形例の画像表示部によれば、右表示ユニット２２および左表示ユニット２４は、それぞれ、光源部としてのＯＬＥＤパネル２２３ａ、２４３ａと、光源部が発する光を変調して複数の色光を含む画像光を出力する変調素子２２７、２４７と、を備える映像素子として構成される。なお、ＯＬＥＤパネル２２３ａ、２４３ａが発する光を変調する変調装置は、透過型液晶パネルが採用される構成に限定されない。例えば、透過型液晶パネルに代えて反射型液晶パネルを用いてもよいし、デジタル・マイクロミラー・デバイスを用いてもよいし、レーザー網膜投影型のＨＭＤ１００としてもよい。

【0127】

上記実施形態では、眼鏡型の画像表示部２０について説明したが、画像表示部２０の態様は任意に変更することができる。例えば、画像表示部２０を帽子のように装着する態様としてもよく、ヘルメット等の身体防護具に内蔵された態様としてもよい。また、画像表示部２０を、自動車や飛行機等の車両、またはその他の交通手段に搭載されるＨＵＤ（Head Up Display）として構成してもよい。

【0128】

上記実施形態では、画像光を使用者の眼に導く光学系として、右導光板２６および左導光板２８の一部に、ハーフミラー２６１、２８１により虚像が形成される構成を例示した。しかし、この構成は任意に変更することができる。たとえば、右導光板２６および左導光板２８の全面（または大部分）を占める領域に虚像が形成されてもよい。この場合、画像の表示位置を変化させる動作によって画像を縮小してもよい。また、本発明の光学素子は、ハーフミラー２６１、２８１を有する右導光板２６および左導光板２８に限定されず、画像光を使用者の眼に入射させる光学部品（例えば、回折格子、プリズム、ホログラフィー等）を用いる限り任意の態様を採用できる。

【0129】

・変形例１２：
本発明は、上述の実施形態や実施例、変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、実施例、変形例中の技術的特徴は、上述の課題の一部または全部を解決するために、あるいは、上述の効果の一部または全部を達成するために、適宜、差し替えや組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。

【符号の説明】

【0130】

１…表示システム、１０…制御装置、１２…点灯部、１４…タッチパッド、１６…方向キー、１７…決定キー、１８…電源スイッチ、１９…バイブレーター、２０…画像表示部、２１…右保持部、２２…右表示ユニット、２３…左保持部、２４…左表示ユニット、２６…右導光板、２７…前部フレーム、２８…左導光板、３０…ヘッドセット、３２…右イヤホン、３４…左イヤホン、４０…接続ケーブル、４６…コネクター、６１…カメラ、６２…測距センサー、６３…マイク、６５…照度センサー、６７…ＬＥＤインジケーター、１００…頭部装着型表示装置（ＨＭＤ）、１１０…操作部、１１１…６軸センサー、１１３…磁気センサー、１１５…ＧＰＳレシーバー、１１７…無線通信部、１１８…メモリー、１２０…コントローラー基板、１２１…不揮発性記憶部、１２２…記憶機能部、１２３…設定データ、１２４…コンテンツデータ、１３０…電源部、１３２…バッテリー、１３４…電源制御回路、１４０…メインプロセッサー、１４５…画像処理部、１４７…表示制御部、１４９…撮像制御部、１５０…制御機能部、１５１…入出力制御部、１５３…通信制御部、１５５…買い物支援処理部、１８０…音声コーデック、１８２…音声インターフェース、１８４…外部コネクター、１８６…外部メモリーインターフェース、１８８…ＵＳＢコネクター、１９２…センサーハブ、１９６…インターフェース、２１０…表示ユニット基板、２１１…インターフェース、２１３…受信部、２１５…ＥＥＰＲＯＭ、２１７…温度センサー、２２１、２２１ａ…ＯＬＥＤユニット、２２３、２２３ａ…ＯＬＥＤパネル、２２５…ＯＬＥＤ駆動回路、２２７…変調素子、２３０…表示ユニット基板、２３１…インターフェース、２３３…受信部、２３５…６軸センサー、２３７…磁気センサー、２３９…温度センサー、２４１、２４１ａ…ＯＬＥＤユニット、２４３、２４３ａ…ＯＬＥＤパネル、２４５…ＯＬＥＤ駆動回路、２４７…変調素子、２５１…右光学系、２５２…左光学系、２６１…ハーフミラー、２８１…ハーフミラー、４００…頭部装着型表示装置（ＨＭＤ）、４５０…制御機能部、４５５…買い物処理部、５０１〜５０４…ＢＬＥ端末、６０１〜６０３…ＢＬＥ端末、ＭＪ…商品属性データ、ＶＡ…所定範囲、ＶＰ…視線方向の一点

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】