特開 2024-122802 プロセッサ、表示制御方法、及び表示制御プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024122802

(43)【公開日】2024-09-09

(54)【発明の名称】プロセッサ、表示制御方法、及び表示制御プログラム

(51)【国際特許分類】

   G09G 5/00 20060101AFI20240902BHJP

   G09G 5/37 20060101ALI20240902BHJP

   G09G 5/373 20060101ALI20240902BHJP

   G09G 5/36 20060101ALI20240902BHJP

   G09G 5/38 20060101ALI20240902BHJP

   G02B 27/02 20060101ALI20240902BHJP

   H04N 5/64 20060101ALI20240902BHJP

【ＦＩ】

G09G5/00 550C

G09G5/00 510A

G09G5/37 320

G09G5/373 300

G09G5/36 400

G09G5/38 100

G02B27/02 Z

H04N5/64 511A

【審査請求】未請求

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2023030564

(22)【出願日】2023-02-28

(71)【出願人】

【識別番号】306037311

【氏名又は名称】富士フイルム株式会社

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】藤木 伸一郎

【テーマコード（参考）】

2H199

5C182

【Ｆターム（参考）】

2H199CA02

2H199CA25

2H199CA53

2H199CA66

2H199CA92

5C182AA02

5C182AA03

5C182AA04

5C182AA26

5C182AA31

5C182AB08

5C182AB35

5C182AC03

5C182AC43

5C182AC46

5C182BA03

5C182BA04

5C182BA06

5C182BA14

5C182BA29

5C182CB13

5C182CB14

5C182CB26

5C182CB42

5C182CB45

5C182CB54

5C182CC24

5C182DA41

5C182DA52

5C182DA63

(57)【要約】

【課題】ユーザが現実空間と共に、カメラにより撮影された撮影画像を視認する場合に、ユーザが視認する現実像と、撮影画像とのずれを抑制することができるプロセッサ、表示制御方法、及び表示制御プログラムを提供する。
【解決手段】少なくともユーザの一つの眼に現実空間を視認させ、カメラにより前記現実空間を撮影した撮影画像を表示させる眼鏡型表示装置が備えるプロセッサであって、前記ユーザの眼と前記カメラとの視差に基づいて、前記カメラの撮影画像の一部の領域である部分画像を前記ユーザに視認可能に表示する表示処理を実行するプロセッサ。
【選択図】図８

【特許請求の範囲】

【請求項1】

少なくともユーザの一つの眼に現実空間を視認させ、カメラにより前記現実空間を撮影した撮影画像を表示させる眼鏡型表示装置が備えるプロセッサであって、
前記ユーザの眼と前記カメラとの視差に基づいて、前記カメラの撮影画像の一部の領域である部分画像を前記ユーザに視認可能に表示する表示処理を実行する、
プロセッサ。

【請求項2】

前記撮影画像に含まれる主要被写体までの被写体距離及び前記視差に基づいて前記部分画像を切り出す範囲を決定する
請求項１に記載のプロセッサ。

【請求項3】

前記被写体距離に基づいて、前記部分画像の表示サイズを決定する
請求項２に記載のプロセッサ。

【請求項4】

前記視差は、前記現実空間を視認する前記ユーザの眼と前記カメラとの視差である
請求項１に記載のプロセッサ。

【請求項5】

前記ユーザの一つの眼と前記カメラとの視差に応じて、前記ユーザの一つの眼で視認される現実空間に対応する領域を前記部分画像を切り出す範囲として決定し、
前記表示処理において、切り出された前記部分画像を、前記ユーザの一つの眼以外の眼で視認可能に表示する
請求項１に記載のプロセッサ。

【請求項6】

前記表示処理において、前記ユーザの一つの眼以外の眼の視野内の全域に前記部分画像を表示する
請求項５に記載のプロセッサ。

【請求項7】

前記ユーザの一つの眼と前記カメラとの視差に応じて、前記ユーザの一つの眼で視認される現実空間に対応する領域を前記部分画像を切り出す範囲として決定し、
前記表示処理において、切り出された前記部分画像を、前記ユーザの一つの眼で視認可能に表示する
請求項１に記載のプロセッサ。

【請求項8】

前記表示処理において、前記ユーザの一つの眼における視野内の一部に前記部分画像を表示する
請求項７に記載のプロセッサ。

【請求項9】

前記ユーザの複数眼の各々に対応して、前記部分画像の切り出しと前記表示処理とを実行する
請求項７に記載のプロセッサ。

【請求項10】

前記部分画像は、ライブビュー画像である、
請求項１に記載のプロセッサ。

【請求項11】

少なくともユーザの一つの眼に現実空間を視認させ、カメラにより前記現実空間を撮影した撮影画像を表示させる眼鏡型表示装置が備えるプロセッサが、
前記ユーザの眼と前記カメラとの視差に基づいて、前記カメラの撮影画像の一部の領域である部分画像を前記ユーザに視認可能に表示する表示処理、
を含む処理を実行する表示制御方法。

【請求項12】

少なくともユーザの一つの眼に現実空間を視認させ、カメラにより前記現実空間を撮影した撮影画像を表示させる眼鏡型表示装置が備えるプロセッサが実行する表示制御プログラムであって、
前記ユーザの眼と前記カメラとの視差に基づいて、前記カメラの撮影画像の一部の領域である部分画像を前記ユーザに視認可能に表示する表示処理、
を含む表示制御プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、プロセッサ、表示制御方法、及び表示制御プログラムに関する。

【背景技術】

【0002】

従来、表示画像を現実空間と共にユーザに視認させることが可能な、拡張現実（ＡＲ：Augmented Reality）機器等の眼鏡型表示装置が知られている。

【0003】

ユーザが視認する現実空間をカメラにより撮影し、得られた撮影画像を投影画像として、表示させることで、ＡＲグラスにより撮影画像を視認する技術が知られている。例えば、特許文献１には、ヘッドマウントディスプレイの装着者の視線方向を撮影した撮影画像を網膜ディスプレイに投影する技術が記載されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０２０－２０４８５６号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、従来の技術では、現実空間を視認するユーザの眼の位置と、カメラとの位置がずれていると、視差が生じるため、ユーザが目視する現実像と、カメラによる撮影画像との見え方が異なってしまう場合がある。このような場合、例えば、ユーザに違和感を生じさせてしまう。

【0006】

本開示は、以上の事情を鑑みて成されたものであり、ユーザが現実空間と共に、カメラにより撮影された撮影画像を視認する場合に、ユーザが視認する現実像と、撮影画像とのずれを抑制することができるプロセッサ、表示制御方法、及び表示制御処理プログラムを提供することを目的とする。

【課題を解決するための手段】

【0007】

上記目的を達成するために、本開示の第１の態様のプロセッサは、少なくともユーザの一つの眼に現実空間を視認させ、カメラにより現実空間を撮影した撮影画像を表示させる眼鏡型表示装置が備えるプロセッサであって、ユーザの眼とカメラとの視差に基づいて、カメラの撮影画像の一部の領域である部分画像をユーザに視認可能に表示する表示処理を実行する。

【0008】

本開示の第２の態様のプロセッサは、第１の態様のプロセッサにおいて、撮影画像に含まれる主要被写体までの被写体距離及び視差に基づいて部分画像を切り出す範囲を決定する。

【0009】

本開示の第３の態様のプロセッサは、第２の態様のプロセッサにおいて、被写体距離に基づいて、部分画像の表示サイズを決定する。

【0010】

本開示の第４の態様のプロセッサは、第１の態様において、視差は、現実空間を視認するユーザの眼とカメラとの視差である。

【0011】

本開示の第５の態様のプロセッサは、第１の態様のプロセッサにおいて、ユーザの一つの眼とカメラとの視差に応じて、ユーザの一つの眼で視認される現実空間に対応する領域を、部分画像を切り出す範囲として決定し、表示処理において、切り出された部分画像を、ユーザの一つの眼以外の眼で視認可能に表示する。

【0012】

本開示の第６の態様のプロセッサは、第５の態様のプロセッサにおいて、表示処理において、ユーザの一つの眼以外の眼の視野内の全域に部分画像を表示する。

【0013】

本開示の第７の態様のプロセッサは、第１の態様のプロセッサにおいて、ユーザの一つの眼とカメラとの視差に応じて、ユーザの一つの眼で視認される現実空間に対応する領域を部分画像を切り出す範囲として決定し、表示処理において、切り出された部分画像を、ユーザの一つの眼で視認可能に表示する。

【0014】

本開示の第８の態様のプロセッサは、第７の態様のプロセッサにおいて、表示処理において、ユーザの一つの眼における視野内の一部に部分画像を表示する。

【0015】

本開示の第９の態様のプロセッサは、第８の態様のプロセッサにおいて、ユーザの複数眼の各々に対応して、部分画像の切り出しと表示処理とを実行する。

【0016】

本開示の第１０の態様のプロセッサは、第９の態様において、部分画像は、ライブビュー画像である。

【0017】

上記目的を達成するために、本開示の第１１の態様の表示制御方法は、少なくともユーザの一つの眼に現実空間を視認させ、カメラにより現実空間を撮影した撮影画像を表示させる眼鏡型表示装置が備えるプロセッサが、ユーザの眼とカメラとの視差に基づいて、カメラの撮影画像の一部の領域である部分画像をユーザに視認可能に表示する表示処理と、を含む処理を実行する方法である。

【0018】

上記目的を達成するために、本開示の第１２の態様の表示制御プログラムは、少なくともユーザの一つの眼に現実空間を視認させ、カメラにより現実空間を撮影した撮影画像を表示させる眼鏡型表示装置が備えるプロセッサが実行する表示制御プログラムであって、ユーザの眼とカメラとの視差に基づいて、カメラの撮影画像の一部の領域である部分画像をユーザに視認可能に表示する表示処理と、を含む処理を実行させるためのものである。

【発明の効果】

【0019】

本開示によれば、ユーザが現実空間と共に、カメラにより撮影された撮影画像を視認する場合に、ユーザが視認する現実像と、撮影画像とのずれを抑制することができる。

【図面の簡単な説明】

【0020】

【図1】実施形態の眼鏡型情報表示装置の構成の一例を示す構成図である。

【図2】実施形態のＡＲグラスの一例を示す斜視図である。

【図3】実施形態のスマートフォンのハードウェア構成の一例を示すブロック図である。

【図4】実施形態のプロセッサの構成の一例を示すブロック図である。

【図5】カメラとユーザの眼との視差の一例について説明するための図である。

【図6】ユーザが現実空間を視認することにより得られる現実像と、撮影画像とのずれの一例を説明するための図である。

【図7】撮影画像から部分画像を切り出す方法の一例について説明するための図である。

【図8】実施形態のプロセッサで実行される表示制御処理の一例を示すフローチャートである。

【図9】実施形態におけるユーザによって視認される部分画像と現実像との関係の一例について説明するための図である。

【図10】変形例１におけるユーザによって視認される部分画像と現実像との関係の一例について説明するための図である。

【図11】変形例２におけるユーザによって視認される部分画像と現実像との関係の一例について説明するための図である。

【図12】変形例３におけるユーザによって視認される部分画像と現実像との関係の一例について説明するための図である。

【図13】変形例４におけるユーザによって視認される部分画像と現実像との関係の一例について説明するための図である。

【図14】変形例５のプロセッサで実行される表示制御処理の一例を示すフローチャートである。

【発明を実施するための形態】

【0021】

以下、図面を参照して、本開示の技術を実施するための形態例を詳細に説明する。

【0022】

図１を参照して、本実施形態の眼鏡型情報表示装置１の構成を説明する。図１に示すように、本実施形態の眼鏡型情報表示装置１は、ＡＲ（Augmented Reality）グラス１０及びスマートフォン１２を備える。本実施形態の眼鏡型情報表示装置１は、ＡＲグラス１０のカメラ２５により現実空間を撮影した撮影画像を、ＡＲグラス１０により表示する機能を有する。

【0023】

ＡＲグラス１０は、ＯＬＥＤ（Organic Light Emitting Diode）２６から投影された投影画像を現実像に重畳させた状態でユーザによる視認を可能にする装置である。図２には、本実施形態のＡＲグラス１０の一例の斜視図が示されている。図１及び図２に示すように、ＡＲグラス１０は、一対の左眼用透過部２０Ｌ及び右眼用透過部２０Ｒと、カメラ２５と、ＯＬＥＤ２６と、を備える。

【0024】

カメラ２５は、ＡＲグラス１０のユーザが観察する現実空間を撮影するカメラである。本実施形態のカメラ２５は、ユーザの右眼と左眼との間に設けられている。カメラ２５としては、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）カメラ等のデジタル式カメラが挙げられる。一例として本実施形態のカメラ２５は動画像の撮影が可能とされている。なお、本実施形態において、「撮影画像」とは、カメラ２５により撮影された画像のことをいい、静止画像の場合もあるし、動画像の場合もある。

【0025】

ＯＬＥＤ２６は、右眼用透過部２０Ｒを通じてユーザによって視認される現実像の視野内に重畳的に情報を挿入するために、右眼用透過部２０Ｒに情報を表す投影画像を投影する。右眼用透過部２０Ｒは、右眼用レンズ２２Ｒ及び導光板２４を含む。導光板２４の一端には、ＯＬＥＤ２６から投影された投影画像に応じた光が入射される。導光板２４の中を伝播した光は、出射部（図示省略）において向きを変えて、ユーザの眼の方向に出射される。導光板２４から出射された投影画像に応じた光は、右眼用レンズ２２Ｒを透過し、ユーザの右眼に導かれ、投影像として右眼で視認する。また、ユーザは、右眼用レンズ２２Ｒを通した現実空間を現実像として右目で視認する。

【0026】

そのため、ＯＬＥＤ２６から投影画像が投影されている間は、ユーザの右眼によって視認される視認像は、右眼用レンズ２２Ｒを通した現実空間を表す現実像と、導光板２４に投影された投影画像に応じた投影像とが重畳された状態となる。また、ＯＬＥＤ２６から投影画像が投影されていない間は、ユーザによって視認される視認像は、右眼用レンズ２２Ｒ及び導光板２４を通した現実空間を表す現実像となる。

【0027】

本実施形態では、カメラ２５により撮影された撮影画像を投影画像として投影することにより、ＡＲグラス１０、より具体的には、導光板２４をカメラ２５のファインダとして使用することができ、ユーザは右眼で、現実空間と、撮影画像とを視認する。ユーザの右眼によって視認される視認像は、現実空間を表す現実像と、撮影画像に応じた投影像とが重畳された状態となる。なお、本実施形態では、ＡＲグラス１０をカメラ２５のファインダとして用いる場合、ライブビュー画像として撮影画像６０を表示させる。

【0028】

一方、左眼用透過部２０Ｌは、左眼用レンズ２２Ｌを含む。ユーザは、左眼用レンズ２２Ｌを通した現実空間を左眼で視認する。

【0029】

一方、スマートフォン１２は、プロセッサ４１を備える。本実施形態のＣＰＵ４０は、ＯＬＥＤ２６から導光板２４に投影画像を投影させる制御を、ＯＬＥＤ２６に対して行う。

【0030】

図３には、スマートフォン１２のハードウェア構成の一例を表したブロック図が示されている。図３に示すように、スマートフォン１２は、ＣＰＵ４０、メモリ４２、Ｉ／Ｆ（InterFace）部４３、記憶部４４、ディスプレイ４６、及び入力装置４８を備える。ＣＰＵ４０、メモリ４２、Ｉ／Ｆ部４３、記憶部４４、ディスプレイ４６、及び入力装置４８は、システムバスやコントロールバス等のバス４９を介して相互に各種情報の授受が可能に接続されている。

【0031】

ＣＰＵ４０は、記憶部４４に記憶された表示制御プログラム４５を含む各種のプログラムをメモリ４２へ読み出し、読み出したプログラムにしたがった処理を実行する。これにより、ＣＰＵ４０は、ＯＬＥＤ２６による投影像の表示の制御を行う。一例として本実施形態のプロセッサ４１は、ＣＰＵ４０と表示制御プログラム４５との組合せで構成される。メモリ４２は、ＣＰＵ４０が処理を実行するためのワークメモリである。

【0032】

ＣＰＵ４０において実行される表示制御プログラム４５は、記憶部４４に記憶される。また、記憶部４４には、カメラ２５により撮影された撮影画像や、ＯＬＥＤ２６から投影する他の投影画像の画像データ（図示省略）や、その他の各種情報等も記憶される。記憶部４４の具体例としては、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等が挙げられる。

【0033】

Ｉ／Ｆ部４３は、無線通信または有線通信により、カメラ２５及びＯＬＥＤ２６各々との間で各種情報の通信を行う。ディスプレイ４６及び入力装置４８はユーザインタフェースとして機能する。ディスプレイ４６は、ユーザに対して、投影画像の投影に関する各種の情報を提供する。ディスプレイ４６は特に限定されるものではなく、液晶モニタ及びＬＥＤ（Light Emitting Diode）モニタ等が挙げられる。入力装置４８は特に限定されるものではなく、例えば、キーボード、タッチペン、及びマウス等が挙げられる。なお、スマートフォン１２では、ディスプレイ４６と入力装置４８とを一体化したタッチパネルディスプレイを採用している。

【0034】

また、本実施形態のスマートフォン１２のプロセッサ４１の機能について説明する。図４には、本実施形態のプロセッサ４１の機能に係る構成の一例を表す機能ブロック図が示されている。図４に示すようにプロセッサ４１は、撮影画像取得部５０、画像処理部５２、及び表示制御部５４を備える。一例として本実施形態のプロセッサ４１は、ＣＰＵ４０が記憶部４４に記憶されている表示制御プログラム４５を実行することにより、ＣＰＵ４０が撮影画像取得部５０、画像処理部５２、及び表示制御部５４として機能する。

【0035】

撮影画像取得部５０は、撮影画像６０を取得する機能を有する。一例として本実施形態のスマートフォン１２は、カメラ２５により撮影された撮影画像６０の画像データを取得し、記憶部４４に記憶させる。そのため、撮影画像取得部５０は、記憶部４４から撮影画像６０を取得する。本実施形態では、カメラ２５に電源が投入されてから電源が遮断されるまで、カメラ２５による撮像が行われ、撮像された撮影画像を表す画像データが、Ｉ／Ｆ部４３を介して随時入力され、一旦、記憶部４４に記憶される。そのため、撮影画像取得部５０は、記憶部４４から撮影画像６０を取得する。撮影画像取得部５０は、取得した撮影画像６０を、画像処理部５２に出力する。

【0036】

画像処理部５２は、ユーザの眼とカメラ２５との視差に基づいて、撮影画像６０の一部の領域である部分画像を切り出す画像処理を行う機能を有する。図５～７を参照して画像処理部５２の機能を説明する。本実施形態では、上述した図２に示したように、カメラ２５がユーザの右眼と左眼との間に設けられている。そのため、図５に示すように、ユーザの右眼ＵＲとカメラ２５（イメージセンサ）との間に視差αが生じている。具体的には、視差αは、ユーザの右眼ＵＲの中心線ＬＣ１と、カメラ２５のイメージセンサの撮影面８０の中心線ＬＣ２との間隔に相当する。

【0037】

このように視差αが生じているため、図６に示すように、ユーザの右眼ＵＲが現実空間７０を視認することにより得られる現実像７６Ｒと、撮影画像６０との間には、視差αに応じたずれが生じる。図６に示した例では、現実像７６Ｒ中における被写体像７３の位置と、撮影画像６０中における被写体画像６２の位置とに、図５に示した位置ずれ量βに相当する位置ずれが生じる。

【0038】

具体的には、位置ずれ量βは、視差αと、カメラ２５と被写体７２との間の被写体距離Ｄと、カメラ２５の焦点距離Ｆとを用いた下記（１）式により導出することができる。
β＝α×（Ｆ÷Ｄ） ・・・（１）

【0039】

なお、焦点距離Ｆは、カメラ２５の仕様により予め定められており、視差αは、ＡＲグラス１０の設計値として定められている。一例として焦点距離Ｆ及び視差αは、記憶部４４に記憶されている。そのため、画像処理部５２は、記憶部４４から、焦点距離Ｆ及び視差αを取得する。一方、被写体距離Ｄは、カメラ２５のオートフォーカス機能により得ることができる。一例として本実施形態では、撮影画像取得部５０が取得する撮影画像６０に、被写体距離Ｄが対応付けられており、撮影画像取得部５０によって、撮影画像６０と共に被写体距離Ｄが取得される。

【0040】

このようにユーザの右眼ＵＲとカメラ２５との間には視差αが生じているため、画像処理部５２は、図７に示すように、位置ずれ量βを打ち消すように、視差αに基づいて、撮影画像６０から一部の領域を部分画像６４として切り出す。

【0041】

一例として本実施形態では、部分画像６４の大きさが予め定められている。図７に示すように、画像処理部５２は、部分画像６４の中心線ＬＣ４を、撮影画像６０の中心線ＬＣ３から位置ずれ量βだけずらした位置に設定し、部分画像６４として予め定められた大きさの領域を、切り出し範囲６３として決定する。そして、画像処理部５２は、いわゆるトリミング処理を行うことで、決定した切り出し範囲６３に基づいて撮影画像６０から部分画像６４を切り出す。画像処理部５２は、切り出した部分画像６４を表示制御部５４に出力する。

【0042】

表示制御部５４は、画像処理部５２が切り出した撮影画像６０を投影画像として表示させる制御を行う機能を有する。具体的には、表示制御部５４は、部分画像６４の画像データをＯＬＥＤ２６に出力し、ＯＬＥＤ２６から部分画像６４を投影させることにより、撮影画像６０の一部の領域である部分画像６４を表示させる制御を行う。図７に示したように、表示される部分画像６４は、ユーザの右眼ＵＲが現実空間７０を視認することにより得られる現実像７６Ｒと、被写体画像６２（被写体像７３）の位置にずれが生じていない、すなわち見た目が同様の画像となる。

【0043】

次に、本実施形態のプロセッサ４１の作用を説明する。図８には、本実施形態のプロセッサ４１による表示制御処理の流れの一例を表したフローチャートが示されている。一例として本実施形態のスマートフォン１２では、ユーザが入力装置４８を用いてカメラ２５による撮影開始の指示を受けた場合、プロセッサ４１のＣＰＵ４０が、記憶部４４に記憶されている表示制御プログラム４５を実行することにより、図８に一例を示した表示制御処理を実行する。

【0044】

図８のステップＳ１００で撮影画像取得部５０は、上述したように、カメラ２５により撮影された撮影画像６０を取得する。なお、本実施形態では、撮影画像６０をライブビュー画像として表示するため、取得する撮影画像６０は動画像となる。

【0045】

次のステップＳ１０２で画像処理部５２は、上述したように、位置ずれ量βを導出する。具体的には、画像処理部５２は、視差α、被写体距離Ｄ、及び焦点距離Ｆを取得する。そして画像処理部５２は、上述した（１）式を用いて、位置ずれ量βを導出する。

【0046】

次のステップＳ１０４で画像処理部５２は、上述したように、撮影画像６０から部分画像６４を切り出す切り出し範囲６３を決定する。具体的には、画像処理部５２は、撮影画像６０の中心線ＬＣ３から位置ずれ量βほどずれた位置に部分画像６４の中心線ＬＣ４が配置されるように、切り出し範囲６３の切り出し範囲を決定する。

【0047】

次のステップＳ１０６で画像処理部５２は、上述したように、撮影画像６０から、上記ステップＳ１０４で決定した切り出し範囲６３に応じた領域を部分画像６４として切り出す。

【0048】

次のステップＳ１０８で表示制御部５４は、上述したように部分画像６４の画像データをＯＬＥＤ２６に出力し、投影を開始するようＯＬＥＤ２６に指示することにより、部分画像６４をライブビュー画像として表示させる。これにより、ユーザの右眼ＵＲは、現実空間と共に、ライブビュー画像（部分画像）を視認することができる。

【0049】

図９には、撮影画像６０から切り出される部分画像６４と、ユーザによって視認される現実像７６Ｌ、７６Ｒとの関係の一例が示されている。図９に示すように、ユーザの左眼は、左眼用レンズ２２Ｌを通して現実空間７０を視認することにより、現実空間７０を現実像７６Ｌとして視認する。また、ユーザの右眼ＵＲは、右眼用レンズ２２Ｒを通して現実空間７０を視認することにより、現実空間７０を現実像７６Ｒとして視認し、また、部分画像６４を視認することにより、部分画像６４を部分像６８として視認する。図９に示すように、現実像７６Ｒに対する被写体像７３の位置と、部分像６８に対する被写体像６９の位置とを同様とすることができる。すなわち、現実像７６Ｒと、部分像６８との見え方を同様にすることができる。

【0050】

従って、本実施形態の眼鏡型情報表示装置１によれば、ユーザが現実空間７０と共に、カメラ２５により撮影された撮影画像６０を視認する場合に、ユーザが視認する現実像７６Ｒと、撮影画像６０とのずれを抑制することができる。

【0051】

なお、本開示の技術は上記実施形態に限らず、様々な変形が可能である。例えば、上記実施形態では、ユーザが右眼ＵＲで、ＡＲグラス１０の右眼用レンズ２２Ｒを通して現実空間７０と、撮影画像６０から切り出した部分画像６４とを視認する形態について説明したが、現実空間７０及び部分画像６４を視認する形態について上記実施形態に限定されない。例えば、現実空間７０及び部分画像６４を視認する形態は、下記の変形例１～４のようにしてもよい。

【0052】

（変形例１）
本変形例では、ユーザが左眼で左眼用レンズ２２Ｌを通して現実空間７０と、撮影画像６０から切り出した部分画像６４とを視認する場合について説明する。

【0053】

本変形例のＡＲグラス１０では、導光板２４が左眼用透過部２０Ｌに設けられている点で上記実施形態のＡＲグラス１０（図１参照）と異なっている。

【0054】

なお、本変形例の表示制御処理は、上記実施形態の表示制御処理（図８参照）と、画像処理部５２が、ユーザの左眼とカメラ２５との視差αに基づいて、撮影画像６０から部分画像６４を切り出す以外は、同様の処理を行えばよい。

【0055】

図１０には、本変形例において、撮影画像６０から切り出される部分画像６４と、ユーザによって視認される現実像７６Ｌ、７６Ｒとの関係の一例が示されている。図１０に示すように、ユーザの左眼は、左眼用レンズ２２Ｌを通して現実空間７０を視認することにより、現実空間７０を現実像７６Ｌとして視認し、また、部分画像６４を視認することにより、部分画像６４を部分像６８として視認する。また、ユーザの右眼ＵＲは、右眼用レンズ２２Ｒを通して現実空間７０を視認することにより、現実空間７０を現実像７６Ｒとして視認する。

【0056】

本変形例によれば、図１０に示すように、現実像７６Ｌに対する被写体像７３の位置と、部分像６８に対する被写体像６９の位置とを同様とすることができる。すなわち、現実像７６Ｌと、部分像６８との見え方を同様にすることができる。

【0057】

（変形例２）
本変形例では、ユーザが右眼で右眼用レンズ２２Ｒを通して現実空間７０と、撮影画像６０から切り出した部分画像６４とを視認する場合の変形例について説明する。

【0058】

本変形例のＡＲグラス１０では、右眼用透過部２０Ｒに設けられた導光板２４により、右眼用レンズ２２Ｒの全体に部分画像６４を投影できる点で上記実施形態のＡＲグラス１０（図１参照）と異なっている。

【0059】

本変形例では、ユーザは左眼で現実空間７０を視認し、右眼ＵＲで部分画像６４を視認する。そのため、本変形例の表示制御処理では、画像処理部５２は、ユーザの左眼とカメラ２５との視差αに基づいて、撮影画像６０から部分画像６４を切り出す処理を行う。なお、その他の処理は、上記実施形態の表示制御処理（図８参照）と、同様の処理を行えばよい。

【0060】

図１１には、撮影画像６０から切り出される部分画像６４と、ユーザによって視認される現実像７６Ｌ、７６Ｒとの関係の一例が示されている。図１１に示すように、ユーザの左眼は、左眼用レンズ２２Ｌを通して現実空間７０を視認することにより、現実空間７０を現実像７６Ｌとして視認する。また、ユーザの右眼ＵＲは、部分画像６４を視認することにより、部分画像６４を部分像６８として視認する。すなわち、本変形例では、部分像６８が右眼用レンズ２２Ｒの全体に表示されるため、ユーザの右眼ＵＲは、右眼用レンズ２２Ｒを通して現実空間７０を視認しない。

【0061】

本変形例によれば、図１１に示すように、ユーザが左眼で視認する現実像７６Ｌに対する被写体像７３の位置と、ユーザが右眼ＵＲで視認する部分像６８に対する被写体像６９の位置とを同様とすることができる。すなわち、現実像７６Ｌと、部分像６８との見え方を同様にすることができる。

【0062】

（変形例３）
本変形例では、ユーザが左眼で左眼用レンズ２２Ｌを通して現実空間７０と、撮影画像６０から切り出した部分画像６４とを視認する場合の変形例について説明する。

【0063】

本変形例のＡＲグラス１０では、導光板２４が左眼用透過部２０Ｌに設けられており、導光板２４により、左眼用レンズ２２Ｌの全体に部分画像６４を投影できる点で上記実施形態のＡＲグラス１０（図１参照）と異なっている。

【0064】

本変形例では、ユーザは右眼ＵＲで現実空間７０を視認し、左眼で部分画像６４を視認する。そのため、本変形例の表示制御処理では、画像処理部５２は、ユーザの右眼ＵＲとカメラ２５との視差αに基づいて、撮影画像６０から部分画像６４を切り出す処理を行う。すなわち、本変形例の表示制御処理では、上記実施形態の表示制御処理（図８参照）と、同様の処理を行えばよい。

【0065】

図１２には、撮影画像６０から切り出される部分画像６４と、ユーザによって視認される現実像７６Ｌ、７６Ｒとの関係の一例が示されている。図１２に示すように、ユーザの左眼は、部分画像６４を視認することにより、部分画像６４を部分像６８として視認する。すなわち、本変形例では、部分像６８が左眼用レンズ２２Ｌの全体に表示されるため、ユーザの左眼は、左眼用レンズ２２Ｌを通して現実空間７０を視認しない。また、ユーザの右眼ＵＲは、右眼用レンズ２２Ｒを通して現実空間７０を視認することにより、現実空間７０を現実像７６Ｒとして視認する。 本変形例によれが、図１２に示すように、ユーザが右眼ＵＲで視認する現実像７６Ｒに対する被写体像７３の位置と、ユーザが左眼で視認する部分像６８に対する被写体像６９の位置とを同様とすることができる。すなわち、現実像７６Ｒと、部分像６８との見え方を同様にすることができる。

【0066】

（変形例４）
本変形例では、ユーザが右眼ＵＲで右眼用レンズ２２Ｒを通して現実空間７０と、撮影画像６０から切り出した部分画像６４とを視認し、かつ左眼で左眼用レンズ２２Ｌを通して現実空間７０と、撮影画像６０から切り出した部分画像６４とを視認する場合について説明する。

【0067】

本変形例のＡＲグラス１０では、導光板２４が右眼用透過部２０Ｒ及び左眼用透過部２０Ｌの両方に設けられている点で上記実施形態のＡＲグラス１０（図１参照）と異なっている。

【0068】

なお、本変形例の表示制御処理では、ユーザの右眼ＵＲとカメラ２５との視差αに基づいて撮影画像６０から部分画像６４Ｒを切り出し、切り出した部分画像６４Ｒを右眼用透過部２０Ｒに設けられた導光板２４から投影する。また、本変形例の表示制御処理では、ユーザの左眼とカメラ２５との視差αに基づいて撮影画像６０から部分画像６４Ｌを切り出し、切り出した部分画像６４Ｌを左眼用透過部２０Ｌに設けられた導光板２４から投影する。

【0069】

図１３には、本変形例において、撮影画像６０から切り出される部分画像６４Ｌ、６４Ｒと、ユーザによって視認される現実像７６Ｌ、７６Ｒとの関係の一例が示されている。図１３に示すように、ユーザの左眼は、左眼用レンズ２２Ｌを通して現実空間７０を視認することにより、現実空間７０を現実像７６Ｌとして視認し、また、部分画像６４Ｌを視認することにより、部分画像６４Ｌを部分像６８Ｌとして視認する。また、ユーザの右眼ＵＲは、右眼用レンズ２２Ｒを通して現実空間７０を視認することにより、現実空間７０を現実像７６Ｒとして視認し、また、部分画像６４Ｒを視認することにより、部分画像６４Ｒを部分像６８Ｒとして視認する。

【0070】

本変形例によれば、図１３に示すように、現実像７６Ｌに対する被写体像７３の位置と、部分像６８Ｌに対する被写体像６９の位置とを同様とすることができる。すなわち、現実像７６Ｌと、部分像６８Ｌとの見え方を同様にすることができる。また、現実像７６Ｒに対する被写体像７３の位置と、部分像６８Ｒに対する被写体像６９の位置とを同様とすることができる。すなわち、現実像７６Ｒと、部分像６８Ｒとの見え方を同様にすることができる。

【0071】

さらに、本開示の技術は、例えば下記の変形例５のようにしてもよい。
（変形例５）
上記実施形態及び変形例１～４では、切り出し範囲６３の大きさが予め定められている形態について説明したが、切り出し範囲６３の大きさを、可変としてもよい。例えば、被写体距離Ｄに基づいて、切り出し範囲６３の大きさ、すなわち部分画像６４の大きさを決定してもよい。

【0072】

図１４には、本変形例における表示制御処理の流れの一例を表したフローチャートが示されている。図１４に示した本変形例の表示制御処理は、ステップＳ１０２とステップＳ１０４との間にステップＳ１０３の処理を含み、ステップＳ１０６とステップＳ１０８との間にステップＳ１０７の処理を含む点で、上記実施形態の表示制御処理（図８参照）と異なっている。

【0073】

図１４のステップＳ１０３で画像処理部５２は、上述したように、切り出し範囲６３（部分画像６４）の大きさを決定する。一例として本実施形態では、右眼用レンズ２２Ｒまたは、左眼用レンズ２２Ｌを通してユーザが視認する現実空間７０の領域に基づいて切り出し範囲６３の大きさ、すなわち部分画像６４の大きさの基準値が予め定められている。そのため、画像処理部５２は、被写体距離Ｄに基づいて、切り出し範囲６３（部分画像６４）の大きさの基準値を補正し、補正した大きさを切り出し範囲６３（部分画像６４）の大きさとして決定する。

【0074】

また、ステップＳ１０７で画像処理部５２は、ステップＳ１０６で撮影画像６０から切り出した部分画像６４のサイズを調整する。上述したように、本変形例では、部分画像６４の大きさが、被写体距離Ｄによって異なる。しかしながら、部分画像６４を投影するＡＲグラス１０の領域の大きさは一定である。そこで、本変形例では、上述した切り出し範囲６３（部分画像６４）の基準値に基づいて、切り出した部分画像６４のサイズを拡縮して調整する。

【0075】

図１４に示した表示制御処理を実行することにより、本変形例においても、上記実施形態及び変形例１～４と同様に、ユーザが現実空間７０と共に、カメラ２５により撮影された撮影画像６０を視認する場合に、ユーザが視認する現実像７６Ｌ、７６Ｒと、撮影画像６０とのずれを抑制することができる。

【0076】

以上説明したように、上記実施形態及び変形例１～５の眼鏡型情報表示装置１は、少なくともユーザの一つの眼に現実空間７０を視認させ、カメラ２５により現実空間７０を撮影した撮影画像６０を表示させる。画像処理部５２は、ユーザの眼とカメラ２５との視差αに基づいて、カメラ２５の撮影画像６０から一部の領域である部分画像６４を切り出し、表示制御部５４は、部分画像６４をユーザに視認可能に表示する。

【0077】

これにより、上記実施形態及び変形例１～５の眼鏡型情報表示装置１では、ユーザが視認する現実像７６Ｌ、７６Ｒと、撮影画像６０とのずれを抑制することができる。すなわち、上記実施形態及び変形例１～５の眼鏡型情報表示装置１によれば、ユーザが現実空間７０と共に、カメラ２５により撮影された撮影画像６０を視認する場合に、ユーザが視認する現実像７６Ｌ、７６Ｒと、撮影画像６０とのずれを抑制することができる。

【0078】

なお、上記実施形態及び変形例１～５では、図２に示したようにＡＲグラス１０がカメラ２５を備えており、ユーザの右眼と左眼との間にカメラ２５が設けられている形態について説明したが、カメラ２５が設けられる位置は、図２に示した形態に限定されない。例えば、カメラ２５は、ＡＲグラス１０のテンプル（つる）の部分に設けられていてもよい。また例えば、カメラ２５は、ＡＲグラス１０に備えられていなくてもよい。さらには、カメラ２５は、眼鏡型情報表示装置１に備えられていなくてもよい。この場合のカメラ２５としては、例えば、ユーザの頭部等に装着可能なウエアラブルのカメラが挙げられる。いずれの場合であっても、カメラ２５が設けられる位置が予め定められている、もしくはカメラ２５が設けられている位置が検出可能であればよく、視差αを特定できる構成であればよい。

【0079】

また、上記各形態の眼鏡型情報表示装置１では、表示部として導光板２４を用いるＡＲグラス１０に説明したが、表示部として網膜ディスプレイを用いるＡＲグラス１０であってもよい。

【0080】

なお、眼鏡型情報表示装置の形状は、一般的な眼鏡の形状や用途や装着部位に限定されない。また、眼鏡型情報表示装置は、単眼型でも複眼型でもよい。ゴーグルのように左右がつながった形状でもよい。また、いわゆるヘッドマウントディスプレイのように、人間の頭部に装着するものに限定されない（例えば、人の機能を模しつつ、外形は犬であるロボットで、人間の目の機能が、ロボットの膝に有るカメラで実現されるならば、本開示のプロセッサは膝に装着された画像処理装置に備えられる）。このような画像処理装置も、本開示の技術に含まれる。なお、このようにユーザがヒトではなく、ロボット等である場合、ユーザが複数の眼を備える形態であってもよい。

【0081】

また、上記形態のプロセッサ４１の機能の一部、または全部を、ＡＲグラス１０が備えていてもよいし、また、眼鏡型情報表示装置１外の装置が備えていてもよい。

【0082】

また、上記形態において、例えば、撮影画像取得部５０、画像処理部５２、及び表示制御部５４といった各種の処理を実行する処理部（processing unit）のハードウェア的な構造としては、次に示す各種のプロセッサ（processor）を用いることができる。上記各種のプロセッサには、前述したように、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵに加えて、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：PLD）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。

【0083】

１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせや、ＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。

【0084】

複数の処理部を１つのプロセッサで構成する例としては、第１に、上記実施形態のようにクライアント及びサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip：SoC）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。

【0085】

更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）を用いることができる。

【0086】

また、上記各形態では、表示制御プログラム４５が記憶部４４に予め記憶（インストール）されている態様を説明したが、これに限定されない。表示制御プログラム４５は、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ－ＲＯＭ（Digital Versatile Disc Read Only Memory）、及びＵＳＢ（Universal Serial Bus）メモリ等の記録媒体に記録された形態で提供されてもよい。また、表示制御プログラム４５は、ネットワークを介して外部装置からダウンロードされる形態としてもよい。

【0087】

以上の上記実施形態に関し、更に以下の付記を開示する。

【0088】

（付記１）
少なくともユーザの一つの眼に現実空間を視認させ、カメラにより前記現実空間を撮影した撮影画像を表示させる眼鏡型表示装置が備えるプロセッサであって、
前記ユーザの眼と前記カメラとの視差に基づいて、前記カメラの撮影画像の一部の領域である部分画像を前記ユーザに視認可能に表示する表示処理を実行する、
プロセッサ。

【0089】

（付記２）
前記撮影画像に含まれる主要被写体までの被写体距離及び前記視差に基づいて前記部分画像を切り出す範囲を決定する
付記１に記載のプロセッサ。

【0090】

（付記３）
前記被写体距離に基づいて、前記部分画像の表示サイズを決定する
付記２に記載のプロセッサ。

【0091】

（付記４）
前記視差は、前記現実空間を視認する前記ユーザの眼と前記カメラとの視差である
付記１から付記３のいずれか１つに記載のプロセッサ。

【0092】

（付記５）
前記ユーザの一つの眼と前記カメラとの視差に応じて、前記ユーザの一つの眼で視認される現実空間に対応する領域を前記部分画像を切り出す範囲として決定し、
前記表示処理において、切り出された前記部分画像を、前記ユーザの一つの眼以外の眼で視認可能に表示する
付記１から付記４のいずれか１つに記載のプロセッサ。

【0093】

（付記６）
前記表示処理において、前記ユーザの一つの眼以外の眼の視野内の全域に前記部分画像を表示する
付記５に記載のプロセッサ。

【0094】

（付記７）
前記ユーザの一つの眼と前記カメラとの視差に応じて、前記ユーザの一つの眼で視認される現実空間に対応する領域を前記部分画像を切り出す範囲として決定し、
前記表示処理において、切り出された前記部分画像を、前記ユーザの一つの眼で視認可能に表示する
付記１から付記４のいずれか１つに記載のプロセッサ。

【0095】

（付記８）
前記表示処理において、前記ユーザの一つの眼における視野内の一部に前記部分画像を表示する
付記７に記載のプロセッサ。

【0096】

（付記９）
前記ユーザの複数眼の各々に対応して、前記部分画像の切り出しと前記表示処理とを実行する
付記７に記載のプロセッサ。

【0097】

（付記１０）
前記部分画像は、ライブビュー画像である、
付記１から付記９のいずれか１つに記載のプロセッサ。

【0098】

（付記１１）
少なくともユーザの一つの眼に現実空間を視認させ、カメラにより前記現実空間を撮影した撮影画像を表示させる眼鏡型表示装置に対して表示制御を行う表示制御装置であって、
少なくとも１つのプロセッサを備え、
前記プロセッサは、
前記ユーザの眼と前記カメラとの視差に基づいて、前記カメラの撮影画像の一部の領域である部分画像を前記ユーザに視認可能に表示する表示処理を実行する、
表示制御装置。

【0099】

（付記１２）
少なくともユーザの一つの眼に現実空間を視認させ、カメラにより前記現実空間を撮影した撮影画像を表示させる眼鏡型表示装置が備えるプロセッサが、
前記ユーザの眼と前記カメラとの視差に基づいて、前記カメラの撮影画像の一部の領域である部分画像を前記ユーザに視認可能に表示する表示処理、
を含む処理を実行する表示制御方法。

【0100】

（付記１３）
少なくともユーザの一つの眼に現実空間を視認させ、カメラにより前記現実空間を撮影した撮影画像を表示させる眼鏡型表示装置が備えるプロセッサが実行する表示制御プログラムであって、
前記ユーザの眼と前記カメラとの視差に基づいて、前記カメラの撮影画像の一部の領域である部分画像を前記ユーザに視認可能に表示する表示処理、
を含む表示制御プログラム。

【符号の説明】

【0101】

１ 眼鏡型情報表示装置
１０ ＡＲグラス
１２ スマートフォン
２０Ｌ 左眼用透過部、２０Ｒ 右眼用透過部
２２Ｌ 左眼用レンズ、２２Ｒ 右眼用レンズ
２４ 導光板
２５ カメラ
２６ ＯＬＥＤ
４０ ＣＰＵ
４１ プロセッサ
４２ メモリ
４３ Ｉ／Ｆ部
４４ 記憶部
４５ 表示制御プログラム
４６ ディスプレイ
４８ 入力装置
４９ バス
５０ 撮影画像取得部
５２ 画像処理部
５４ 表示制御部
６０ 撮影画像
６２ 被写体画像
６３ 切り出し範囲
６４、６４Ｌ、６４Ｒ 部分画像
６８、６８Ｌ、６８Ｒ 部分像
６９、７３ 被写体像
７０ 現実空間
７２ 被写体
７６Ｌ、７６Ｒ 現実像
８０ 撮影面
Ｄ 被写体距離
Ｆ 焦点距離
ＬＣ１～ＬＣ４ 中心線
ＵＲ 右眼
α 視差
β 位置ずらし量

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】