特開 2024-18719 制御装置、眼鏡型情報表示装置、制御方法、及び制御プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024018719

(43)【公開日】2024-02-08

(54)【発明の名称】制御装置、眼鏡型情報表示装置、制御方法、及び制御プログラム

(51)【国際特許分類】

   G09G 5/00 20060101AFI20240201BHJP

   G09G 5/10 20060101ALI20240201BHJP

   G06F 3/01 20060101ALI20240201BHJP

   G02B 27/02 20060101ALN20240201BHJP

【ＦＩ】

G09G5/00 550C

G09G5/10 B

G06F3/01 510

G02B27/02 Z

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2022122238

(22)【出願日】2022-07-29

(71)【出願人】

【識別番号】306037311

【氏名又は名称】富士フイルム株式会社

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】藤原 慎也

【テーマコード（参考）】

2H199

5C182

5E555

【Ｆターム（参考）】

2H199CA03

2H199CA04

2H199CA13

2H199CA30

2H199CA42

2H199CA48

2H199CA75

2H199CA86

2H199CA92

2H199CA94

2H199CA96

5C182AA02

5C182AA05

5C182AA31

5C182AB35

5C182AC03

5C182BA25

5C182BA45

5C182BA56

5C182CA01

5C182CA02

5E555AA21

5E555BA01

5E555BA38

5E555BB01

5E555BB38

5E555BC01

5E555BE17

5E555CA42

5E555CB65

5E555DA08

5E555DA09

5E555DB53

5E555FA00

(57)【要約】

【課題】ユーザの関心領域の影響を受けない画像を記録することができる制御装置、制御方法、及び制御プログラムを提供する。
【解決手段】少なくとも一つのプロセッサを備え、前記プロセッサは、ユーザの関心領域を取得し、透過部を通じて前記ユーザによって視認される現実像、及び前記透過部に投影されて前記ユーザによって視認される投影像の少なくとも一方の像について、前記ユーザによる視認性を変化させる視認性変化部により、前記現実像及び前記投影像の少なくとも一方と、前記関心領域との関係性に基づいて前記視認性を変化させる制御を行い、前記視認性変化部により前記視認性が変化されていない前記投影像を記録させる制御装置。
【選択図】図８

【特許請求の範囲】

【請求項1】

少なくとも一つのプロセッサを備え、
前記プロセッサは、
ユーザの関心領域を取得し、
透過部を通じて前記ユーザによって視認される現実像、及び前記透過部に投影されて前記ユーザによって視認される投影像の少なくとも一方の像について、前記ユーザによる視認性を変化させる視認性変化部により、前記現実像及び前記投影像の少なくとも一方と、前記関心領域との関係性に基づいて前記視認性を変化させる制御を行い、
前記視認性変化部により前記視認性が変化されていない前記投影像を記録させる、
制御装置。

【請求項2】

前記プロセッサは、
前記現実像及び前記投影像のうち前記関心領域である方の像の視認性を、前記関心領域ではない方の像の視認性よりも相対的に高くさせる制御を行う、
請求項１に記載の制御装置。

【請求項3】

前記プロセッサは、
前記現実像を表す撮影画像を取得し、
前記視認性変化部により前記視認性が変化されていない状態の前記現実像を模擬した前記撮影画像を記録する
請求項１に記載の制御装置。

【請求項4】

前記プロセッサは、
前記撮影画像及び前記投影像を表す投影画像に、前記関心領域に関する関心領域情報を付与する
請求項３に記載の制御装置。

【請求項5】

前記プロセッサは、
前記ユーザの視線に基づいて検出された前記関心領域を取得する
請求項１に記載の制御装置。

【請求項6】

前記関心領域は、前記ユーザの中心視野に対応する領域である
請求項５に記載の制御装置。

【請求項7】

前記関心領域は、前記ユーザの注視対象が存在する領域である
請求項１に記載の制御装置。

【請求項8】

透過部と、視認性変化部と、
請求項１から請求項７のいずれか１項に記載の制御装置と、
を備えた眼鏡型情報表示装置。

【請求項9】

ユーザの関心領域を取得し、
透過部を通じて前記ユーザによって視認される現実像、及び前記透過部に投影されて前記ユーザによって視認される投影像の少なくとも一方の像について、前記ユーザによる視認性を変化させる視認性変化部により、前記現実像及び前記投影像の少なくとも一方と、前記関心領域との関係性に基づいて前記視認性を変化させる制御を行い、
前記視認性変化部により前記視認性が変化されていない前記投影像を記録させる、
制御方法。

【請求項10】

ユーザの関心領域を取得し、
透過部を通じて前記ユーザによって視認される現実像、及び前記透過部に投影されて前記ユーザによって視認される投影像の少なくとも一方の像について、前記ユーザによる視認性を変化させる視認性変化部により、前記現実像及び前記投影像の少なくとも一方と、前記関心領域との関係性に基づいて前記視認性を変化させる制御を行い、
前記視認性変化部により前記視認性が変化されていない前記投影像を記録させる、
処理をプロセッサに実行させるための制御プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、制御装置、眼鏡型情報表示装置、制御方法、及び制御プログラムに関する。

【背景技術】

【0002】

従来、立体的な映像を表示する表示装置として、現実の世界に、画像を重ね合わせた状態で表示する、拡張現実（ＡＲ：Augmented Reality）機器等の眼鏡型情報表示装置が知られている。

【0003】

眼鏡型情報表示装置を用いるユーザの脳内で、現実の世界を視認した現実像と、投影画像を視認した投影像とが合成されることで、ユーザは現実像に投影像が重なった状態を視認する。

【0004】

眼鏡型情報表示装置において、現実像及び投影像の視認性を変化させる技術が知られている。例えば、特許文献１には、実空間に仮想オブジェクトを重畳して表示する光学透過型のＨＭＤの表示において、ユーザの視線を検出した検出結果に基づいて、仮想オブジェクトの透明度を変更する技術が記載されている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】再公表２０１９－１２３７７０号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

ところで、ユーザが視認したように、視認性を変化させた画像を記録した場合、ユーザが関心領域を現実像及び投影画像のいずれとしたかにより、記録される画像の画質等が変化する。しかしながら、記録された画像を観察する観察者にとっては、その画質が適切ではない場合がある。

【0007】

本開示は、以上の事情を鑑みて成されたものであり、ユーザの関心領域の影響を受けない画像を記録することができる制御装置、制御方法、及び制御プログラムを提供することを目的とする。

【課題を解決するための手段】

【0008】

上記目的を達成するために、本開示の第１の態様の制御装置は、少なくとも一つのプロセッサを備え、プロセッサは、ユーザの関心領域を取得し、透過部を通じてユーザによって視認される現実像、及び透過部に投影されてユーザによって視認される投影像の少なくとも一方の像について、ユーザによる視認性を変化させる視認性変化部により、現実像及び投影像の少なくとも一方と、関心領域との関係性に基づいて視認性を変化させる制御を行い、視認性変化部により視認性が変化されていない投影像を記録させる。

【0009】

本開示の第２の態様の制御装置は、第１の態様の制御装置において、プロセッサは、現実像及び前記投影像のうち関心領域である方の像の視認性を、関心領域ではない方の像の視認性よりも相対的に高くさせる制御を行う。

【0010】

本開示の第３の態様の制御装置は、第１の態様の制御装置において、プロセッサは、現実像を表す撮影画像を取得し、視認性変化部により視認性が変化されていない状態の現実像を模擬した撮影画像を記録する。

【0011】

本開示の第４の態様の制御装置は、第３の態様の制御装置において、プロセッサは、撮影画像及び投影像を表す投影画像に、関心領域に関する関心領域情報を付与する。

【0012】

本開示の第５の態様の制御装置は、第１の態様の制御装置において、プロセッサは、ユーザの視線に基づいて検出された関心領域を取得する。

【0013】

本開示の第６の態様の制御装置は、第５の態様の制御装置において、関心領域は、ユーザの中心視野に対応する領域である。

【0014】

本開示の第７の態様の制御装置は、第１の態様の制御装置において、関心領域は、ユーザの注視対象が存在する領域である。

【0015】

上記目的を達成するために本開示の第８の眼鏡型情報表示装置は、透過部と、視認性変化部と、本開示の制御装置と、を備える。

【0016】

上記目的を達成するために、本開示の第９の態様の制御方法は、ユーザの関心領域を取得し、透過部を通じてユーザによって視認される現実像、及び透過部に投影されてユーザによって視認される投影像の少なくとも一方の像について、ユーザによる視認性を変化させる視認性変化部により、現実像及び投影像の少なくとも一方と、関心領域との関係性に基づいて視認性を変化させる制御を行い、視認性変化部により視認性が変化されていない投影像を記録させる。

【0017】

上記目的を達成するために、本開示の第１０の態様の制御プログラムは、ユーザの関心領域を取得し、透過部を通じてユーザによって視認される現実像、及び透過部に投影されてユーザによって視認される投影像の少なくとも一方の像について、ユーザによる視認性を変化させる視認性変化部により、現実像及び投影像の少なくとも一方と、関心領域との関係性に基づいて視認性を変化させる制御を行い、視認性変化部により視認性が変化されていない投影像を記録させる、処理をプロセッサに実行させるためのものである。

【発明の効果】

【0018】

本開示によれば、ユーザの関心領域の影響を受けない画像を記録することができる。

【図面の簡単な説明】

【0019】

【図1】実施形態の眼鏡型情報表示装置の構成の一例を示す構成図である。

【図2】実施形態のＡＲグラスの一例を示す斜視図である。

【図3】実施形態のスマートフォンの構成の一例を示すブロック図である。

【図4】ユーザが視認する画像について説明するための図である。

【図5A】現実像の視認性の変化について説明するための図である。

【図5B】投影像の視認性の変化について説明するための図である。

【図6】実施形態のスマートフォンのハードウェア構成の一例を示すブロック図である。

【図7】視認性が変化された現実像及び投影像と、画像記録部に記録される撮影画像及び投影画像とについて説明するための図である。

【図8】実施形態のスマートフォンで実行される制御処理の一例を示すフローチャートである。

【図9】実施形態のスマートフォンの構成の他の例を示すブロック図である。

【発明を実施するための形態】

【0020】

以下、図面を参照して、本開示の技術を実施するための形態例を詳細に説明する。

【0021】

図１を参照して、本実施形態の眼鏡型情報表示装置１の構成を説明する。図１に示すように、本実施形態の眼鏡型情報表示装置１は、ＡＲ（Augmented Reality）グラス１０及びスマートフォン１２を備える。

【0022】

ＡＲグラス１０は、ＯＬＥＤ（Organic Light Emitting Diode）２６から投影された投影画像を現実像に重畳させた状態でユーザによる視認を可能にする装置である。図２には、本実施形態のＡＲグラス１０の一例の斜視図が示されている。図１及び図２に示すように、ＡＲグラス１０は、一対の左眼用透過部２０Ｌ及び右眼用透過部２０Ｒと、照度計２５と、ＯＬＥＤ２６と、カメラ２７と、現実像視認性変化部２８と、視線検出センサ２９と、を備える。本実施形態の右眼用透過部２０Ｒが、本開示の透過部の一例である。

【0023】

ＯＬＥＤ２６は、右眼用透過部２０Ｒを通じてユーザによって視認される現実像の視野内に重畳的に情報を挿入するために、右眼用透過部２０Ｒに情報を表す画像（投影画像）を投影する。

【0024】

右眼用透過部２０Ｒは、右眼用レンズ２２Ｒ及び導光板２４を含む。導光板２４の一端には、ＯＬＥＤ２６から投影された投影画像に応じた光が入射される。導光板２４の中を伝播した光は、出射部（図示省略）において向きを変えて、ユーザの眼の方向に出射される。導光板２４から出射された投影画像に応じた光は、右眼用レンズ２２Ｒを透過し、ユーザの右眼に導かれ、投影像として右眼で視認する。また、ユーザは、右眼用レンズ２２Ｒを通した現実の世界を現実像として右目で視認する。

【0025】

そのため、ＯＬＥＤ２６から投影画像が投影されている間は、ユーザの右眼によって視認される視認像は、右眼用レンズ２２Ｒを通した現実の世界を表す現実像と、導光板２４に投影された投影画像に応じた投影像とが重畳された状態となる。また、ＯＬＥＤ２６から投影画像が投影されていない間は、ユーザによって視認される視認像は、右眼用レンズ２２Ｒ及び導光板２４を通した現実の世界を表す現実像となる。

【0026】

一方、左眼用透過部２０Ｌは、左眼用レンズ２２Ｌを含む。ユーザは、左眼用レンズ２２Ｌを通した現実の世界を左眼で視認する。

【0027】

現実像視認性変化部２８は、ＯＬＥＤ２６が導光板２４に投影画像を投影する場合に、右眼用レンズ２２Ｒを通じてユーザによって視認される現実像の視認性を変化させる。一例として、本実施形態の現実像視認性変化部２８は、右眼用透過部２０Ｒの光学特性を変更することにより右眼用レンズ２２Ｒ全体の視認性を変化させる。また、本実施形態の現実像視認性変化部２８は、右眼用透過部２０Ｒの光学特性を変更する例として、右眼用透過部２０Ｒ、より具体的には右眼用レンズ２２Ｒの遮光率を、段階的に調整することにより、ユーザの右眼によって視認される現実像の視認性を段階的に低減させる。このような現実像視認性変化部２８としては、例えば、液晶シャッター、エレクトロクロミズム、及び可変式ＮＤ（Neutral Density）フィルタ等が挙げられる。本実施形態の現実像視認性変化部２８が、本開示の視認性変化部の一例である。

【0028】

カメラ２７は、ユーザが観察する現実の世界を撮影するカメラである。カメラ２７としては、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）カメラ等のデジタル式カメラが挙げられる。本実施形態では、ユーザが視認する現実像と同等の撮影画像を撮影するため、カメラ２７はカラー画像の撮影が可能である。また、本実施形態のカメラ２７は、ユーザの視界の範囲と同等の領域を撮影範囲とすることができる、いわゆる魚眼レンズや広角レンズを用いたカメラである。このように本実施形態では、カメラ２７の撮影範囲として、ユーザの視界の範囲と同等の領域としているが本形態に限定されず、ユーザの視界の範囲よりも広い領域であってもよいし、狭い領域であってもよい。なお、ユーザに現実の世界の視認を少なくとも提供するために、カメラ２７の撮影範囲は、ユーザの視界の範囲と同等以上であることが好ましい。カメラ２７により撮影された撮影画像の画像データは、スマートフォン１２に出力される。なお、本実施形態において、「撮影画像」とは、カメラ２７により撮影された画像のことをいう。

【0029】

視線検出センサ２９は、ユーザの視線を検出するセンサである。視線検出センサ２９としては、公知のセンサを適用することができ、例えば、虹彩や瞳孔の位置に基づいてユーザの視線方向を検出するセンサ等が挙げられる。一例として、本実施形態のＡＲグラス１０は、ユーザの右眼の視線を検出する。視線検出センサ２９の検出結果は、スマートフォン１２に出力される。

【0030】

照度計２５は、環境光の明るさとして、ユーザが視認する現実の世界の明るさとして照度を検出するセンサである。照度計２５が検出した照度は、スマートフォン１２に出力される。

【0031】

一方、スマートフォン１２は、プロセッサ４０及び画像記録部４７を備える。本実施形態のプロセッサ４０は、ＯＬＥＤ２６から導光板２４に投影画像を投影させる制御を、ＯＬＥＤ２６に対して行う。また、プロセッサ４０は、現実像の視認性の制御及び投影像の視認性の制御を行う。本実施形態のスマートフォン１２が、本開示の画像処理装置の一例である。

【0032】

画像記録部４７は、カメラ２７により撮影された撮影画像及び投影画像等を記録する。

【0033】

図３には、スマートフォン１２における、現実像の視認性の制御及び投影画像の視認性の制御に係わる機能に関する構成の一例を表したブロック図が示されている。図３に示すように、スマートフォン１２は、プロセッサ４０、メモリ４２、Ｉ／Ｆ（InterFace）部４３、記憶部４４、ディスプレイ４６、画像記録部４７、及び入力装置４８を備える。プロセッサ４０、メモリ４２、Ｉ／Ｆ部４３、記憶部４４、ディスプレイ４６、画像記録部４７、及び入力装置４８は、システムバスやコントロールバス等のバス４９を介して相互に各種情報の授受が可能に接続されている。

【0034】

プロセッサ４０は、記憶部４４に記憶された制御プログラム４５を含む各種のプログラムをメモリ４２へ読み出し、読み出したプログラムにしたがった処理を実行する。これにより、プロセッサ４０は、ＯＬＥＤ２６による投影画像の投影の制御、及び現実像視認性変化部２８による視認性を低減させる制御を行う。メモリ４２は、プロセッサ４０が処理を実行するためのワークメモリである。

【0035】

記憶部４４には、制御プログラム４５、及びＯＬＥＤ２６から投影する投影画像の画像データ（図示省略）や、その他の各種情報等が記憶される。記憶部４４の具体例としては、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等が挙げられる。

【0036】

Ｉ／Ｆ部４３は、無線通信または有線通信により、ＯＬＥＤ２６及び現実像視認性変化部２８各々との間で各種情報の通信を行う。ディスプレイ４６及び入力装置４８はユーザインタフェースとして機能する。ディスプレイ４６は、ユーザに対して、投影画像の投影に関する各種の情報を提供する。ディスプレイ４６は特に限定されるものではなく、液晶モニタ及びＬＥＤ（Light Emitting Diode）モニタ等が挙げられる。また、入力装置４８は、投影画像の投影に関する各種の指示を入力するためにユーザによって操作される。入力装置４８は特に限定されるものではなく、例えば、キーボード、タッチペン、及びマウス等が挙げられる。なお、スマートフォン１２では、ディスプレイ４６と入力装置４８とを一体化したタッチパネルディスプレイを採用している。

【0037】

また、本実施形態のスマートフォン１２の機能について説明する。本実施形態のスマートフォン１２のプロセッサ４０は、右眼用透過部２０Ｒの右眼用レンズ２２Ｒを通じてユーザによって視認される現実像、及び右眼用透過部２０Ｒの導いた２４に投影されてユーザによって視認される投影像の少なくとも一方の像について、関心領域との関係性に基づいて視認性を変化させる制御を行う機能を有する。また、スマートフォン１２は、視認性の変化に係わらない投影像を画像記録部４７に記録させる制御を行う機能を有する。

【0038】

ここで、現実像及び投影画像の視認性を変化させる制御について、説明する。
図４を用いて、眼鏡型情報表示装置１を使用するユーザが現実の世界７０を視認している状態について説明する。図４に示すように、ＯＬＥＤ２６から投影画像の投影を行わない状態では、現実の世界７０をユーザが視認する場合、ユーザは現実像７２を視認する。

【0039】

この状態でＯＬＥＤ２６から投影画像７４を導光板２４に投影した場合、図４に示すように、ユーザは、投影画像７４に応じた投影像７５を視認する。従って、ユーザが視認する視認像７８は、現実像７２と投影像７５とが重畳された画像となる。

【0040】

現実像７２は、図５Ａに示すように現実の世界７０が明るすぎる、いわゆる眩しい場合、現実像７２が明るすぎてしまい現実像７２の視認性が低下する。そのため、現実の世界７０が明るすぎる場合、現実像７２を暗くすることにより現実像７２の視認性を向上させることができる。本実施形態では、現実の世界７０の明るさを照度計２５により検出した検出結果である照度（以下、単に現実の世界７０の照度という）が閾値以上の場合、現実の世界７０の明るさが明るすぎる場合として、現実像視認性変化部２８により右眼用レンズ２２Ｒの遮光率を増加させることにより、現実像７２の視認性を向上させる。

【0041】

一方、現実の世界７０が暗すぎる場合、現実像７２が暗すぎてしまい現実像７２の視認性が低下する。そのため、現実の世界７０が暗すぎる場合、現実像７２を投影像７５よりも相対的に明るくすることにより現実像７２の視認性を向上させることができる。本実施形態では、現実の世界７０の照度が閾値未満の場合、現実の世界７０の明るさが暗すぎる場合として、投影画像７４の輝度値を所定値よりも小さくすることにより、投影像７５の明るさを低減させて投影像７５を暗くする。これにより、現実像７２を投影像７５よりも相対的に明るくすることにより現実像７２の視認性を向上させる。

【0042】

一方、投影画像７４は、図５Ｂに示すように、現実像７２よりも相対的に明るくすることにより視認性を向上させることができる。本実施形態では、投影画像７４の輝度値を所定値よりも大きくすることにより、投影像７５の明るさを増加させて投影像７５を明るくする。これにより、投影像７５を現実像７２よりも相対的に明るくすることにより投影像７５の視認性を向上させる。

【0043】

本実施形態では、プロセッサ４０が、視線検出センサ２９の検出結果に基づいて、ユーザが現実像７２及び投影画像７４のいずれを視認しているかに基づいて、現実像７２及び投影像７５のうち、視認している方の像を関心領域として取得する。そして、現実像７２及び投影像７５のうち、関心領域である像の方の視認性を、関心領域ではない像の視認性よりも相対的に高くする制御を行う。

【0044】

図６には、本実施形態のスマートフォン１２の機能に係る構成の一例を表す機能ブロック図が示されている。図６に示すようにスマートフォン１２は、投影画像取得部５０、撮影画像取得部５１、関心領域取得部５２、照度取得部５３、視認性制御部５４、投影画像基本処理部５７、撮影画像基本処理部５９、表示制御部６０、及び記録制御部６２を備える。一例として本実施形態のスマートフォン１２は、プロセッサ４０が記憶部４４に記憶されている制御プログラム４５を実行することにより、プロセッサ４０が投影画像取得部５０、撮影画像取得部５１、関心領域取得部５２、照度取得部５３、視認性制御部５４、投影画像基本処理部５７、撮影画像基本処理部５９、表示制御部６０、及び記録制御部６２として機能する。

【0045】

投影画像取得部５０は、ＯＬＥＤ２６が投影する投影画像の画像データを取得する機能を有する。一例として、本実施形態では、投影画像の画像データが記憶部４４に記憶されているため、投影画像取得部５０は、記憶部４４から投影画像の画像データを取得する。なお、本形態によらず、投影画像の画像データをＩ／Ｆ部４３を介して、スマートフォン１２の外部の装置から取得する形態としてもよい。投影画像取得部５０は、投影画像の画像データを投影画像基本処理部５７に出力する。なお、以下では、投影画像の画像データについて、単に投影画像といい、例えば、投影画像を取得するという。

【0046】

撮影画像取得部５１は、カメラ２７により現実の世界７０を撮影した撮影画像の画像データを取得する機能を有する。撮影画像取得部５１が取得した撮影画像の画像データは、撮影画像基本処理部５９に出力される。なお、以下では、撮影画像の画像データについて、単に撮影画像といい、例えば、撮影画像を取得する等という。

【0047】

関心領域取得部５２は、視線検出センサ２９の検出結果に基づいて関心領域を取得する。具体的には関心領域取得部５２は、視線検出センサ２９の検出結果が、視線が現実像７２に向いているとした検出結果の場合、現実像７２を関心領域として取得する。一方、関心領域取得部５２は、視線検出センサ２９の検出結果が、視線が投影像７５に向いているとした検出結果の場合、投影像７５を関心領域として取得する。関心領域取得部５２は、関心領域が現実像７２及び投影像７５のいずれであるかを表す情報を視認性制御部５４及び記録制御部６２に出力する。

【0048】

照度取得部５３は、照度計２５が検出した照度を取得する機能を有する。すなわち、本実施形態の照度取得部５３は、上述したように、現実の世界７０の明るさを表す照度を取得する機能を有する。照度取得部５３は、取得した照度を表す情報を、視認性制御部５４に出力する。

【0049】

投影画像基本処理部５７は、投影画像７４に対して、視認性制御部５４による視認性の変化にかかわらずに投影画像用として予め定められた基本的な画像処理を行う機能を有する。投影画像用の基本的な画像処理としては、ノイズ除去処理等が挙げられる。投影画像基本処理部５７は、投影画像用の基本的な画像処理を施した投影画像７４を、投影画像視認性制御部５８及び記録制御部６２に出力する。なお、投影画像基本処理部５７により投影画像用の基本的な画像処理を施した投影画像７４を、画像処理前の投影画像７４等、他の投影画像７４と区別する場合は、基本画像処理後の投影画像７４という。

【0050】

視認性制御部５４は、現実像視認性制御部５６及び投影画像視認性制御部５８を含む。視認性制御部５４は、現実像７２及び投影像７５の少なくとも一方と、関心領域との関係性に基づいて視認性を変化させる制御を行う機能を有する。

【0051】

視認性制御部５４は、関心領域が現実像７２である場合、現実像７２の視認性を投影像７５の視認性よりも相対的に高くする制御を行う。現実像７２の視認性を向上させる場合、かつ、照度取得部５３が取得した照度が閾値以上の場合、現実像視認性制御部５６は、現実像視認性変化部２８により現実像７２の視認性を向上させるための制御を行う。本実施形態の現実像視認性制御部５６は、右眼用レンズ２２Ｒの遮光率が、視認性制御部５４が決定した遮光率となるよう、現実像視認性変化部２８に指示する。現実像視認性変化部２８は、スマートフォン１２から出力された指示に応じて、指示された遮光率とすることで、ユーザによって視認される現実像７２の視認性を向上させる。

【0052】

また、現実像７２の視認性を向上させる場合、かつ、照度取得部５３が取得した照度が閾値未満の場合、投影画像視認性制御部５８は、基本画像処理後の投影画像７４の輝度値を減少させて暗くすることにより投影像７５の視認性を低下させるための制御を行う。本実施形態の投影画像視認性制御部５８は、投影像７５の視認性を低下させることにより、相対的に現実像７２の視認性を向上させる。投影画像視認性制御部５８は、輝度値を減少させた基本画像処理後の投影画像７４を表示制御部６０に出力する。

【0053】

一方、視認性制御部５４は、関心領域が投影像７５である場合、投影像７５の視認性を現実像７２の視認性よりも相対的に高くする制御を行う。投影像７５の視認性を向上させる場合、投影画像視認性制御部５８は、基本画像処理後の投影画像７４の輝度値を増加させて明るくすることにより投影像７５の視認性を向上させるための制御を行う。投影画像視認性制御部５８は、輝度値を増加させた基本画像処理後の投影画像７４を表示制御部６０に出力する。

【0054】

すなわち、投影画像視認性制御部５８は、投影像７５の視認性を変化させていない場合、基本画像処理後の投影画像７４を表示制御部６０に出力する。一方、投影画像視認性制御部５８は、投影像７５の視認性を変化させた場合、投影画像視認性制御部５８により輝度値が増加または減少した基本画像処理後の投影画像７４を表示制御部６０に出力する。

【0055】

また、撮影画像基本処理部５９は、撮影画像に対して、撮影画像用の基本的な画像処理を行うことで、現実像７２を模擬した画像を生成する機能を有する。撮影画像用の基本的な画像処理としては、一般的にデジタルカメラによる撮影において施される画像処理やノイズ除去処理等が挙げられる。撮影画像処理部６４は、撮影画像用の基本的な画像処理を施した撮影画像を、記録制御部６２に出力する。なお、撮影画像基本処理部５９により撮影画像用の基本的な画像処理を施した撮影画像を、画像処理前の撮影画像と区別する場合は、基本画像処理後の撮影画像という。

【0056】

記録制御部６２は、基本画像処理後の投影画像７４及び基本画像処理後の撮影画像を、関心領域を表す関心領域情報に対応付けて画像記録部４７に記録させる制御を行う機能を有する。図７には、本実施形態の眼鏡型情報表示装置１において、ユーザがＡＲグラス１０により視認する視認像７８と、画像記録部４７に記録される投影画像７４及び撮影画像との関係が示されている。図７は、関心領域７９が投影像７５である場合を示している。この場合、ユーザは、投影像７５の視認性を現実像７２の視認性よりも相対的に高くした視認像７８をＡＲグラス１０により視認する。一方、画像記録部４７には、基本画像処理後の投影画像７４と、基本画像処理後の撮影画像７３とに、関心領域７９が投影像７５であることを表す関心領域情報が付与された状態で画像記録部４７に記憶される。

【0057】

次に、本実施形態のスマートフォン１２の作用を説明する。図８には、本実施形態のスマートフォン１２のプロセッサ４０による制御処理の流れの一例を表したフローチャートが示されている。一例として本実施形態のスマートフォン１２では、ユーザが入力装置４８を用いて入力した投影開始の指示を受けた場合、プロセッサ４０が、記憶部４４に記憶されている制御プログラム４５を実行することにより、図８に一例を示した制御処理を実行する。なお、図８に示した制御処理を開始した時点では、ユーザは、左右の眼共に、左眼用透過部２０Ｌ及び右眼用透過部２０Ｒを通じて、現実の世界７０、すなわち現実像７２を視認している。

【0058】

図８のステップＳ１００で投影画像取得部５０は、投影画像７４を取得する。本実施形態では、上述したように、投影画像７４の画像データを記憶部４４から取得する。

【0059】

次のステップＳ１０２で投影画像基本処理部５７は、投影画像７４に対して、上述したように基本的な画像処理を行い、現実像７２の視認性の変化及び投影像７５の視認性の変化のいずれにも係わらない基本画像処理後の投影画像７４を生成する。

【0060】

次のステップＳ１０４で表示制御部６０は、基本画像処理後の投影画像７４を導光板２４に投影させるようＯＬＥＤ２６に投影画像７４の画像データ及び投影開始の開始指示を出力する。ＯＬＥＤ２６は、スマートフォン１２から投影画像７４の画像データ及び投影開始の開始指示が入力されると、投影画像基本処理部５７から出力された基本画像処理後の投影画像７４を導光板２４に投影する。

【0061】

これにより、ユーザは基本画像処理後の投影画像７４に応じた投影像７５を視認する。従って、ユーザは、投影像７５が重畳された現実像７２を視認し、現実像７２及び投影像７５のいずれかに視線を合わせる。

【0062】

次のステップＳ１０６で関心領域取得部５２は、視線検出センサ２９の検出結果に基づいて関心領域を表す関心領域情報の取得を開始する。

【0063】

次のステップＳ１０８で撮影画像取得部５１は、上述したように、カメラ２７から撮影画像を取得する。

【0064】

次のステップＳ１１０で撮影画像基本処理部５９は、撮影画像に対して、上述したように基本的な画像処理を行い、現実像７２の視認性の変化及び投影像７５の視認性の変化のいずれにも係わらない基本画像処理後の撮影画像を生成する。

【0065】

次のステップＳ１１２で記録制御部６２は、上述したように、上記ステップＳ１０２で生成された基本画像処理後の投影画像７４と、上記ステップＳ１１０で生成された基本画像処理後の撮影画像とに、上記ステップＳ１０６で取得した関心領域を表す関心領域情報を付与して画像記録部４７に記録させる。

【0066】

これにより、画像記録部４７には、現実像７２及び投影像７５の視認性の変化に依らない撮影画像及び投影画像７４が記録される。換言すると、ＡＲグラス１０のユーザが関心を示したのが現実像７２及び投影像７５のいずれであるかに係わらない状態の撮影画像及び投影画像７４が画像記録部４７に記録された状態となる。

【0067】

次のステップＳ１１４で視認性制御部５４は、関心領域が現実像７２であるか否かを判定する。関心領域が現実像７２である場合、ステップＳ１１４の処理が肯定判定となり、ステップＳ１１６へ移行する。

【0068】

ステップＳ１１６で現実像視認性制御部５６は、上述したように、照度取得部５３が取得した照度が閾値以上であるか否かを判定する。取得した照度が閾値以上の場合、すなわち現実の世界７０が明るい場合、ステップＳ１１６の判定が肯定判定となり、ステップＳ１１８へ移行する。

【0069】

ステップＳ１１８で現実像視認性制御部５６は、上述したように、現実像７２の明るさを暗くすることで現実像７２の視認性を向上させる。具体的には、予め定められた低減量により、現実像７２の視認性を低減させるよう、現実像視認性変化部２８に指示を出力する。現実像視認性変化部２８は、スマートフォン１２から指示が入力されると、指示された低減量で右眼用透過部２０Ｒの透過率を下げて遮光する。これにより、ユーザは現実像７２が見易くなるため、現実像７２の視認性が向上する。

【0070】

一方、上記ステップＳ１１６で照度が閾値未満の場合、すなわち現実の世界７０が暗い場合、ステップＳ１１６の判定が否定判定となり、ステップＳ１２０へ移行する。ステップＳ１２０で投影画像視認性制御部５８は、上述したように、投影画像７４の明るさを暗くすることで現実像７２の視認性を向上させる。具体的には、所定量、投影画像７４の輝度値を減少させることにより、投影画像７４を暗くすることで投影像７５を暗くし、相対的に現実像７２を明るくする。これにより、ユーザは現実像７２が見易くなるため、現実像７２の視認性が向上する。

【0071】

一方、関心領域が現実像７２ではない場合、換言すると関心領域が投影像７５の場合、ステップＳ１１４の処理が否定判定となり、ステップＳ１２２へ移行する。ステップＳ１２２で投影画像視認性制御部５８は、上述したように、投影像７５の視認性を向上させる。具体的には、所定量、投影画像７４の輝度値を増加させることにより、投影画像７４を明るくすることで投影像７５を現実像７２よりも相対的に明るくする。これにより、ユーザは投影像７５が見易くなるため、投影像７５の視認性が向上する。

【0072】

ステップＳ１１８、Ｓ１２０、またはＳ１２２の処理が終了するとステップＳ１２４へ移行する。

【0073】

ステップＳ１２４で関心領域取得部５２は、関心領域が変更されたか否か判定する。関心領域が変更された場合、ステップＳ１２４の判定が肯定判定となり、ステップＳ１２６に移行する。ステップＳ１２６で視認性制御部５４は、現在行っている現実像７２または投影像７５の視認性の変化をリセットする。すなわち、現実像７２及び投影像７５について視認性が変化されていない状態とする。ステップＳ１２６の後、ステップＳ１１４に戻り、ステップＳ１１４～Ｓ１２４の処理を繰り返す。一方、関心領域が変更されていない場合、ステップＳ１２４の判定が否定判定となり、ステップＳ１２８へ移行する。

【0074】

ステップＳ１２８で表示制御部６０は、投影画像７４の投影を終了するか否かを判定する。一例として本実施形態では、ユーザが入力装置４８を用いて入力した投影終了の指示を受けた場合、投影画像７４の投影を終了する。そこで、投影画像７４の投影終了の指示を受け付けていない場合、ステップＳ１２８の判定が否定判定となり、ステップＳ１２４に戻る。一方、投影画像７４の投影終了の指示を受け付けた場合、ステップＳ１２８の判定が肯定判定となり、ステップＳ１３０へ移行する。

【0075】

ステップＳ１３０で視認性制御部５４は、現実像視認性変化部２８が現実像７２の視認性を変化させている最中であるか否かを判定する。現実像７２の視認性が変化中ではない場合、ステップＳ１３０の判定が否定判定となり、ステップＳ１３４へ移行する。一方、現実像７２の視認性が変化中である場合、ステップＳ１３０の判定が肯定判定となり、ステップＳ１３２へ移行する。

【0076】

ステップＳ１３２で視認性制御部５４の現実像視認性制御部５６は、現実像７２の視認性の変化を終了するよう、現実像視認性変化部２８に終了指示を出力する。現実像視認性変化部２８は、スマートフォン１２から終了指示が入力されると、右眼用透過部２０Ｒの遮光を終了する。これにより、現実像７２の視認性が変化される前の状態に戻る。

【0077】

次のステップＳ１３４で表示制御部６０は、ＯＬＥＤ２６に投影画像７４の投影を終了するよう終了指示を出力する。ＯＬＥＤ２６は、スマートフォン１２から終了指示が入力されると、投影画像の投影を終了する。ステップＳ１３４の処理が終了すると、図８に示した画像処理が終了する。

【0078】

このように、スマートフォン１２によれば、現実像７２及び投影像７５の視認性が変化された場合であっても、その視認性の変化に係わらない現実像７２を模擬した撮影画像及び投影画像７４を画像記録部４７に記録させる。従って、本実施形態のスマートフォン１２によれば、ユーザの関心領域の影響を受けない画像を記録することができる。これにより、画像記録部４７に記録されている撮影画像及び投影画像７４を観察する観察者は、眼鏡型情報表示装置１のユーザの関心領域がいずれであったかの影響を受けない画像を観察することができる。また、記録されている撮影画像及び投影画像７４には、関心領域を表す情報が対応付けられているため、視認性制御部５４によれば、ＡＲグラス１０のユーザが視認した視認像７８を模擬した画像を生成することができる。なお、このように、視認像７８を模擬した画像を生成する場合、照度計２５から取得した照度も対応付けて記録させておくことが好ましい。

【0079】

なお、上記形態では、画像記録部４７に投影画像７４（基本画像処理後の投影画像７４）及び撮影画像（基本画像処理後の撮影画像）に、関心領域情報を付与して記録する形態について説明したが、これらの記録先は、画像記録部４７に限定されない。例えば、眼鏡型情報表示装置１の外部の装置に画像記録部４７に投影画像７４（基本画像処理後の投影画像７４）及び撮影画像（基本画像処理後の撮影画像）に、関心領域情報を付与して記録する形態としてもよい。

【0080】

また、上記形態では、現実像７２及び投影像７５のいずれか一方の視認性を変化させる形態としたが、現実像７２及び投影像７５の両方の視認性を変化させる形態としてもよい。例えば、現実像７２の視認性を向上させる場合、現実像７２の視認性を向上させると共に、投影像７５の視認性を低下させる形態としてもよい。

【0081】

なお、関心領域の検出方法は、上記形態に限定されない。例えば、視線検出センサ２９に代えて、図９に示すように、視野検出センサ９０を備える形態としてもよい。対象物を視認する場合、ユーザの視野の中心（中心視野）に存在するものほど、ユーザが注視している注視対象であり、関心を示しているものであると言える。そのため、視野検出センサにより、ユーザの視野を検出し、現実像７２及び投影画像７４のうち、中心視野に存在する方の像を、関心領域に対応する像であると検出してもよい。この場合の視野検出センサ９０としては、例えば、ユーザの眼を撮影するカメラ等が挙げられ、カメラにより撮影された撮影画像から、ユーザの瞳孔の位置を検出することで中心視野を検出してもよい。

【0082】

また例えば、ユーザが指定した注視対象をスマートフォン１２が受け付ける形態であってもよい。この場合、ユーザが指定した注視対象が存在する領域が関心領域となる。また例えば、スマートフォン１２によるインターネットの閲覧履歴等からユーザの関心物を推定し、推定した関心物に基づいて、スマートフォン１２が関心領域を推定する形態であってもよい。

【0083】

また、上記形態では、本開示の眼鏡型情報表示装置の一例として、ＡＲグラス１０を適用した形態について説明したが、眼鏡型情報表示装置は、ＡＲグラス１０に限定されず、ヘッドマウントディスプレイのように種々の形態に適用できる。

【0084】

また、「眼鏡型情報表示装置」における「眼鏡」という単語は、機能的に、画像を取得する第１センサ（人間の目）と、第１センサの視野を含み、かつ第１センサとほぼ同一の視線方向で撮影画像を取得する第２センサ（ＡＲグラス１０のカメラ２７）を実現することを意味している。なお、眼鏡型情報表示装置の形状は、一般的な眼鏡の形状や用途や装着部位に限定されない。また、眼鏡型情報表示装置は、単眼型でも複眼型でもよく、上記形態では、一方の眼により投影像を視認する形態について説明したが、両眼で、投影像を視認する形態であってもよい。ゴーグルのように左右がつながった形状でもよい。また、いわゆるヘッドマウントディスプレイのように、人間の頭部に装着するものに限定されない（例えば、人の機能を模しつつ、外形は犬であるロボットで、人間の目の機能が、ロボットの膝に有るカメラで実現されるならば、本開示の画像処理装置は膝に装着される）。このような画像処理装置も、本開示の技術に含まれる。

【0085】

また、上記形態では、ＡＲグラス１０が１つのカメラ２７を備え、１つのカメラ２７がユーザの視野全体を撮影する形態について説明したが、ＡＲグラス１０が備えるカメラは、本形態に限定されない。例えば、ユーザの右眼の視野に対応する現実の世界７０を撮影するカメラと、ユーザの左眼の視野に対応する現実の世界７０を撮影するカメラと、２つのカメラを備える形態としてもよい。

【0086】

また、上記形態では、投影画像７４が静止画像である場合について説明したが、投影画像７４は動画像であってもよい。

【0087】

また、上記形態のスマートフォン１２の機能の一部、または全部を、眼鏡型情報表示装置１外の装置が備えていてもよい。例えば、スマートフォン１２が、投影画像７４を導光板２４に投影する機能を有し、別の装置が、本開示の制御装置の機能を有していてもよい。

【0088】

また、上記形態では、ＡＲグラス１０の機種を表す機種情報として、右眼用レンズ２２Ｒ及び導光板２４の種類に応じた情報を例示したが、ＡＲグラス１０の機種を表す機種情報はこれらに限定されない。例えば、右眼用レンズ２２Ｒ及び導光板２４のいずれか一方に応じた情報であってもよいし、また、左眼用レンズ２２Ｌに応じた情報をさらに用いてもよい。

【0089】

また、上記形態において、例えば、投影画像取得部５０、撮影画像取得部５１、関心領域取得部５２、照度取得部５３、視認性制御部５４、投影画像基本処理部５７、撮影画像基本処理部５９、表示制御部６０、及び記録制御部６２といった各種の処理を実行する処理部（processing unit）のハードウェア的な構造としては、次に示す各種のプロセッサ（processor）を用いることができる。上記各種のプロセッサには、前述したように、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵに加えて、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：PLD）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。

【0090】

１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせや、ＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。

【0091】

複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアント及びサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip：SoC）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。

【0092】

更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）を用いることができる。

【0093】

また、上記各形態では、制御プログラム４５が記憶部４４に予め記憶（インストール）されている態様を説明したが、これに限定されない。制御プログラム４５は、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ－ＲＯＭ（Digital Versatile Disc Read Only Memory）、及びＵＳＢ（Universal Serial Bus）メモリ等の記録媒体に記録された形態で提供されてもよい。また、制御プログラム４５は、ネットワークを介して外部装置からダウンロードされる形態としてもよい。

【0094】

以上の上記実施形態に関し、更に以下の付記を開示する。

【0095】

（付記１）
少なくとも一つのプロセッサを備え、
前記プロセッサは、
ユーザの関心領域を取得し、
透過部を通じて前記ユーザによって視認される現実像、及び前記透過部に投影されて前記ユーザによって視認される投影像の少なくとも一方の像について、前記ユーザによる視認性を変化させる視認性変化部により、前記現実像及び前記投影像の少なくとも一方と、前記関心領域との関係性に基づいて前記視認性を変化させる制御を行い、
前記視認性変化部により前記視認性が変化されていない前記投影像を記録させる、
制御装置。

【0096】

（付記２）
前記プロセッサは、
前記現実像及び前記投影像のうち前記関心領域である方の像の視認性を、前記関心領域ではない方の像の視認性よりも相対的に高くさせる制御を行う、
付記１に記載の制御装置。

【0097】

（付記３）
前記プロセッサは、
前記現実像を表す撮影画像を取得し、
前記視認性変化部により前記視認性が変化されていない状態の前記現実像を模擬した前記撮影画像を記録する
付記１または付記２に記載の制御装置、

【0098】

（付記４）
前記プロセッサは、
前記撮影画像及び前記投影画像を表す画像に、前記関心領域に関する関心領域情報を付与する
付記１から付記３のいずれか１つに記載の制御装置。

【0099】

（付記５）
前記プロセッサは、
前記ユーザの視線に基づいて検出された前記関心領域を取得する
付記１から付記４のいずれか１つに記載の制御装置。

【0100】

（付記６）
前記関心領域は、前記ユーザの中心視野に対応する領域である
付記１から付記４のいずれか１つに記載の制御装置。

【0101】

（付記７）
前記関心領域は、前記ユーザの注視対象が存在する領域である
付記１から付記４のいずれか１つに記載の制御装置。

【0102】

（付記８）
透過部と、視認性変化部と、
付記１から付記７のいずれか１項に記載の制御装置と、
を備えた眼鏡型情報表示装置。

【0103】

（付記９）
ユーザの関心領域を取得し、
透過部を通じて前記ユーザによって視認される現実像、及び前記透過部に投影されて前記ユーザによって視認される投影像の少なくとも一方の像について、前記ユーザによる視認性を変化させる視認性変化部により、前記現実像及び前記投影像の少なくとも一方と、前記関心領域との関係性に基づいて前記視認性を変化させる制御を行い、
前記視認性変化部により前記視認性が変化されていない前記投影像を記録させる、
制御方法。

【0104】

（付記１０）
ユーザの関心領域を取得し、
透過部を通じて前記ユーザによって視認される現実像、及び前記透過部に投影されて前記ユーザによって視認される投影像の少なくとも一方の像について、前記ユーザによる視認性を変化させる視認性変化部により、前記現実像及び前記投影像の少なくとも一方と、前記関心領域との関係性に基づいて前記視認性を変化させる制御を行い、
前記視認性変化部により前記視認性が変化されていない前記投影像を記録させる、
処理をプロセッサに実行させるための制御プログラム。

【符号の説明】

【0105】

１ 眼鏡型情報表示装置
１０ ＡＲグラス
１２ スマートフォン
２０Ｌ 左眼用透過部、２０Ｒ 右眼用透過部
２２Ｌ 左眼用レンズ、２２Ｒ 右眼用レンズ
２４ 導光板
２５ 照度計
２６ ＯＬＥＤ
２７ カメラ
２８ 現実像視認性変化部
２９ 視線検出センサ
４０ プロセッサ
４２ メモリ
４３ Ｉ／Ｆ部
４４ 記憶部
４５ 制御プログラム
４６ ディスプレイ
４７ 画像記録部
４８ 入力装置
４９ バス
５０ 投影画像取得部
５１ 撮影画像取得部
５２ 関心領域取得部
５３ 照度取得部
５４ 視認性制御部
５６ 現実像視認性制御部
５７ 投影画像基本処理部
５８ 投影画像視認性制御部
５９ 撮影画像基本処理部
６０ 表示制御部
６２ 撮影画像取得部
６４ 撮影画像処理部
７０ 現実の世界
７２ 現実像
７３ 撮影画像
７４ 投影画像
７５ 投影像
７８ 視認像
７９ 関心領域
９０ 視野検出センサ

【図1】

【図2】

【図3】

【図4】

【図5A】

【図5B】

【図6】

【図7】

【図8】

【図9】