特許 7532072 撮像表示装置、およびウェアラブルデバイス

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-02

(45)【発行日】2024-08-13

(54)【発明の名称】撮像表示装置、およびウェアラブルデバイス

(51)【国際特許分類】

   H04N 5/64 20060101AFI20240805BHJP

   H04N 5/262 20060101ALI20240805BHJP

【ＦＩ】

H04N5/64 511A

H04N5/262 040

【請求項の数】 18

(21)【出願番号】P 2020074083

(22)【出願日】2020-04-17

(65)【公開番号】P2021010158

(43)【公開日】2021-01-28

【審査請求日】2023-04-12

(31)【優先権主張番号】P 2019121949

(32)【優先日】2019-06-28

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100126240

【弁理士】

【氏名又は名称】阿部 琢磨

(74)【代理人】

【識別番号】100223941

【弁理士】

【氏名又は名称】高橋 佳子

(74)【代理人】

【識別番号】100159695

【弁理士】

【氏名又は名称】中辻 七朗

(74)【代理人】

【識別番号】100172476

【弁理士】

【氏名又は名称】冨田 一史

(74)【代理人】

【識別番号】100126974

【弁理士】

【氏名又は名称】大朋 靖尚

(72)【発明者】

【氏名】西出 洋祐

(72)【発明者】

【氏名】市川 武史

(72)【発明者】

【氏名】前橋 雄

(72)【発明者】

【氏名】沖田 彰

【審査官】鈴木 明

(56)【参考文献】

【文献】特開２０１５－１３２７８６（ＪＰ，Ａ）

【文献】特開２０１７－１７４１２５（ＪＰ，Ａ）

【文献】特開２０１０－０９２４３６（ＪＰ，Ａ）

【文献】特開平１１－１２２５４４（ＪＰ，Ａ）

【文献】特開平０８－１０２９２４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／２６２

Ｈ０４Ｎ ５／６４

(57)【特許請求の範囲】

【請求項1】

複数の光電変換素子を有し、第１画像情報を取得する撮像部と、
前記撮像部とは別の第２撮像部と第３撮像部と、
前記撮像部からの前記第１画像情報を処理し、第２画像情報を生成する処理部と、
前記処理部からの前記第２画像情報に基づく画像を表示する表示部と、
瞳との距離を含む第１ベクトル情報を取得する瞳検知部と、を備え、
前記処理部は、前記第１ベクトル情報を基に前記第１画像情報を処理することで、前記第２画像情報を生成し、
前記瞳検知部は視線を検出する機能を有し、
前記処理部は、前記視線を基に、前記撮像部と前記第２撮像部と前記第３撮像部のいずれかの第１画像情報を用いることを特徴とする撮像表示装置。

【請求項2】

複数の光電変換素子を有し、第１画像情報を取得する撮像部と、
前記撮像部からの前記第１画像情報を処理し、第２画像情報を生成する処理部と、
前記処理部からの前記第２画像情報に基づく画像を表示する表示部と、
瞳との距離を含む第１ベクトル情報を取得する瞳検知部と、を備え、
前記処理部は、前記第１ベクトル情報を基に前記第１画像情報を処理することで、前記第２画像情報を生成し、
前記処理部は、前記撮像部と前記瞳検知部との間の距離を含む第２ベクトル情報を生成することを特徴とする撮像表示装置。

【請求項3】

前記瞳検知部は、視線を検出する機能を有し、
前記処理部は、前記第１画像情報を処理する時に、前記検出した視線に合わせて前記第１画像情報に関心領域を設定し、前記関心領域の解像度を向上させる処理を行うことを特徴とする請求項１または２に記載の撮像表示装置。

【請求項4】

前記撮像表示装置は、前記撮像部とは別の第２撮像部と第３撮像部を有し、
前記瞳検知部は視線を検出する機能を有し、
前記処理部は、前記視線を基に、前記撮像部と前記第２撮像部と前記第３撮像部のいずれかの第１画像情報を用いることを特徴とする請求項２に記載の撮像表示装置。

【請求項5】

前記撮像部は、裏面照射型のＣＭＯＳイメージセンサを含むことを特徴とする請求項１乃至４のいずれか１項に記載の撮像表示装置。

【請求項6】

前記撮像部は、フォトンカウンティングセンサを含むことを特徴とする請求項１乃至４のいずれか１項に記載の撮像表示装置。

【請求項7】

前記処理部は、ＡＩ部を有することを特徴とする請求項１乃至６のいずれか１項に記載の撮像表示装置。

【請求項8】

前記ＡＩ部はディープラーニング機能を備えることを特徴とする請求項７に記載の撮像表示装置。

【請求項9】

前記撮像部は、第１時刻に前記第１画像情報を取得し、
前記処理部は、前記第２画像情報として、前記第１画像情報を基に、前記第１時刻よりも後の第２時刻の第１予測画像情報を生成し、
前記表示部は、前記第２時刻に、前記第１予測画像情報に基づく画像を表示することを特徴とする請求項１乃至８のいずれか１項に記載の撮像表示装置。

【請求項10】

前記第２時刻に、前記撮像部は第３画像情報を取得し、
前記第２時刻よりも後の第３時刻に、前記撮像部は第４画像情報を取得し、前記表示部は前記第３画像情報から生成された第２予測画像情報に基づく画像を表示することを特徴とする請求項９に記載の撮像表示装置。

【請求項11】

前記第１時刻と前記第２時刻の間の第４時刻に、前記撮像部は第５画像情報を得る撮像動作を行い、
前記第１予測画像情報は、少なくとも前記第１画像情報と前記第５画像情報とから生成されていることを特徴とする請求項９または１０に記載の撮像表示装置。

【請求項12】

前記複数の光電変換素子は、可視光領域と近赤外光領域の光が検出可能であり、
前記処理部は、前記第１画像情報が含む前記近赤外光領域の情報を前記可視光領域の情報に変換する処理を行うことを特徴とする請求項１乃至１１のいずれか１項に記載の撮像表示装置。

【請求項13】

前記表示部は、有機ＬＥＤまたは無機ＬＥＤを発光素子として有することを特徴とする請求項１乃至１２のいずれか１項に記載の撮像表示装置。

【請求項14】

前記撮像部は、前記複数の光電変換素子が配された基板と、前記複数の光電変換素子からの信号を処理する回路が配された基板とが積層されていることを特徴とする請求項１乃至１３のいずれか１項に記載の撮像表示装置。

【請求項15】

前記撮像部が設けられた第１チップと、前記表示部が設けられた第２チップと、前記瞳検知部が設けられた第３チップとの少なくとも３つのチップが積層されていることを特徴とする請求項１乃至１４のいずれか１項に記載の撮像表示装置。

【請求項16】

複数の光電変換素子を有し、第１画像情報を取得するための第１撮像部と、
複数の光電変換素子を有し、第２画像情報を取得するための第２撮像部と、
前記第１画像情報と前記第２画像情報を処理し、第３画像情報を生成するための処理部と、
前記処理部からの前記第３画像情報に基づく第１画像を表示するための第１表示部と、
前記処理部からの前記第３画像情報に基づく第２画像を表示するための第２表示部と、
瞳との距離である第１距離を含む第１ベクトル情報を取得するための第１瞳検知部と、
瞳との距離である第２距離を含む第２ベクトル情報を取得するための第２瞳検知部と、を備え、
前記処理部は、前記第１ベクトル情報と前記第２ベクトル情報に基づき前記第１画像情報と前記第２画像情報を処理することで前記第３画像情報を生成し、
前記処理部は、前記第１撮像部と前記第１瞳検知部との間の第３距離と、前記第２撮像部と前記第２瞳検知部との間の第４距離を含む第３ベクトル情報を生成し、
前記処理部は、前記第１ベクトル情報と前記第２ベクトル情報と前記第３ベクトル情報に基づき前記第１画像情報と前記第２画像情報を処理することによって、前記第３画像情報を生成することを特徴とする撮像表示装置。

【請求項17】

請求項１乃至１６のいずれか１項に記載の撮像表示装置と、
前記撮像表示装置に電力を供給する電源部と、を備えることを特徴とするウェアラブルデバイス。

【請求項18】

更に、外部との接続を無線で行うインターフェース部を備えることを特徴とする請求項１７に記載のウェアラブルデバイス。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像表示装置、およびウェアラブルデバイスに関する。

【背景技術】

【0002】

ヘッドマウントディスプレイやスマートグラスと呼ばれる、撮像表示装置を備えたウェアラブルデバイスが知られている。このようなウェアラブルデバイスの１つの方式では、利用者の目の前の景色が撮像装置を用いて画像として撮り込まれ、その画像が表示装置に表示される。この方式によって、利用者は、表示装置を通しながらも、外界の景色をあたかも直接見ているような感覚を得ることができる。しかし、表示装置に表示される画像と外界の画像との差異が大きいと、利用者は不快感を覚えたり、酔いに繋がったりするため、この差異を抑制するための研究開発が広く行われている。

【0003】

特許文献１には、メガネフレーム上に配置された複数個の撮像素子を使用して撮像された画像情報から、メガネレンズの中心位置で撮像された画像情報を生成する技術が記載されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２００４－２２２２５４号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１では、メガネレンズの中心位置で撮像された画像情報を生成するが、メガネレンズと利用者の瞳との位置関係を考慮していない。瞳の中心軸とメガネレンズの中心位置とが大きく異なる場合には、撮像された画像と実像で差異が生じうる。特に、表示部を有する撮像表示装置においては、表示画像と現実の事象との差異が生じ、利用者に不快感を与えうる。

【0006】

本発明は、撮像表示装置において、撮像表示装置に表示される画像と現実の事象との差異を低減するための技術を提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明の撮像表示装置の１つの側面は、複数の光電変換素子を有し、第１画像情報を取得する撮像部と、前記撮像部とは別の第２撮像部と第３撮像部と、前記撮像部からの前記第１画像情報を処理し、第２画像情報を生成する処理部と、前記処理部からの前記第２画像情報に基づく画像を表示する表示部と、瞳との距離を含む第１ベクトル情報を取得する瞳検知部と、を備え、前記処理部は、前記第１ベクトル情報を基に前記第１画像情報を処理することで、前記第２画像情報を生成し、前記瞳検知部は視線を検出する機能を有し、前記処理部は、前記視線を基に、前記撮像部と前記第２撮像部と前記第３撮像部のいずれかの第１画像情報を用いることを特徴とする。本発明の撮像表示装置の別の１つの側面は、複数の光電変換素子を有し、第１画像情報を取得する撮像部と、前記撮像部からの前記第１画像情報を処理し、第２画像情報を生成する処理部と、前記処理部からの前記第２画像情報に基づく画像を表示する表示部と、瞳との距離を含む第１ベクトル情報を取得する瞳検知部と、を備え、前記処理部は、前記第１ベクトル情報を基に前記第１画像情報を処理することで、前記第２画像情報を生成し、前記処理部は、前記撮像部と前記瞳検知部との間の距離を含む第２ベクトル情報を生成することを特徴とする。

【発明の効果】

【0008】

本発明によって、表示される画像と現実の事象との差異が低減した撮像表示装置を得ることができる。

【図面の簡単な説明】

【0009】

【図1】実施例１の撮像表示装置を説明するための模式図である。

【図2】実施例１の撮像表示装置を説明するための模式図である。

【図3】実施例１の撮像表示装置の動作を説明するための表である。

【図4】実施例２の撮像表示装置を説明するための模式図である。

【図5】実施例３の撮像表示装置を説明するための模式図である。

【図6】実施例４の撮像表示装置を説明するための模式図である。

【図7】実施例５の撮像表示装置を説明するための模式図である。

【図8】実施例５の撮像表示装置を説明するための模式図である。

【図9】実施例７の撮像表示装置を説明するための模式図である。

【図10】ウェアラブルデバイスを示す模式図である。

【図11】実施例９の撮像表示装置を説明するための模式図である。

【図12】実施例９の撮像表示装置を説明するための模式図である。

【図13】実施例１０の撮像表示装置を説明するための模式図である。

【発明を実施するための形態】

【0010】

以下、図面を参照しながら各実施例を説明する。各実施例の説明において、他の実施例と同一の構成については説明を省略する場合がある。また、各実施形態は適宜変更、組み合わせが可能である。

【0011】

（実施例１）
本実施例について、図１および図２を用いて説明する。図１（ａ）は、本実施例を説明するための撮像表示装置１００の模式図である。撮像表示装置１００は、撮像部１０１と、処理部１０２と、表示部１０３と、瞳検知部１０４と、を有する。

【0012】

撮像部１０１は複数の受光素子を有する。受光素子は例えば光電変換素子であり、外部から入射した光（外部情報）を電気信号に変換し、画像情報を取得する撮像動作を行う。瞳検知部１０４は、複数の受光素子を有する。受光素子は例えば光電変換素子であり、光を電気信号に変換し、瞳情報を検出する。瞳情報とは、少なくとも瞳検知部１０４と瞳とのベクトル情報を含み、瞳の大きさ、視線の情報などを含んでもよい。ベクトル情報は、例えば、瞳と瞳検知部１０４との距離と、瞳検知部１０４から瞳への方向を含む。処理部１０２は、撮像部１０１からの画像情報に対して、瞳検知部１０４から得られた瞳情報を用いて補正した画像情報（以下、瞳補正画像情報とする）を生成する。表示部１０３は、複数の発光素子を有する。複数の発光素子は、電気信号を光に変換する。表示部１０３は、処理部１０２にて生成された瞳補正画像情報に応じた画像を表示（出力）する。撮像部１０１と表示部１０３は、複数の画素がアレイ状に配置されているとも言える。撮像部１０１の各画素は少なくとも１つの受光素子を有し、表示部１０３の各画素は少なくとも１つの発光素子を有している。処理部１０２は、撮像部１０１からの画像情報を受け、表示部１０３へ瞳補正画像情報を出力する。また、処理部１０２は、撮像部１０１へ撮像動作の制御信号を出力し、表示部１０３の表示動作の制御信号を出力することもできる。

【0013】

図１（ｂ）は、図１（ａ）に示す本実施例の撮像表示装置１００の変形例を説明するための模式図である。撮像表示装置１２０の処理部１０２は、処理装置１０５と通信を行うことができる。処理部１０２と処理装置１０５とは、ネットワークを介して接続する。また、処理装置１０５は、撮像表示装置１２０の外部に設けられており、例えば、クラウドに設けられていてもよい。処理部１０２と処理装置１０５は、互いに情報をやり取りし、画像情報と瞳の情報から瞳補正画像情報を生成する。図１（ｂ）において、撮像部１０１で撮像された画像情報は、処理装置１０５からの情報を得た処理部１０２によって瞳補正画像情報へと変換される。撮像表示装置１２０では、このように外部の装置に蓄積された情報を利用して、瞳補正画像情報を生成することができる。

【0014】

図１（ｃ）は、図１（ａ）に示す本実施例の撮像表示装置１００の変形例を説明するための模式図である。撮像表示装置１３０の処理部１０２は処理装置１０６と通信し、処理装置１０６は更に別の処理装置１０５と通信する。処理装置１０６はクラウド上に設けられており、例えばデータの蓄積などを行う。処理部１０２と処理装置１０５の間、および処理装置１０６と処理装置１０５との間は、ネットワークを介して接続している。図１（ｃ）において、処理部１０２は、処理装置１０６に蓄積された設定情報を受信し、設定情報を基に瞳補正画像情報の生成を行う。設定情報は、ユーザーの身体情報や、環境や対象物の基本的な情報等、瞳補正画像情報を生成するための各種値を含む。また、処理部１０２は撮像部１０１からの画像情報を含む複数の情報を処理装置１０６へ送信する。複数の情報は、処理装置１０６を介して、処理装置１０５へ送信される。処理装置１０５は、受けとった複数の情報を基に瞳補正画像情報を生成するための各種値を生成し、処理装置１０６へ送信する。処理装置１０６は、蓄積している基本的な情報や各種値を更新し、新たな情報として保持する。撮像表示装置１３０では、このように外部装置に蓄積された情報を利用して、瞳補正画像情報を生成することができる。

【0015】

ここで、本実施例の撮像表示装置の瞳検知部１０４について、図２を用いて説明する。図２は、本実施例の撮像表示装置を説明するための模式図である。図２では、図１（ａ）に示した撮像表示装置１００が眼鏡型の筐体を備えている場合を示している。図２では、撮像表示装置１００が２つの表示部１０３を有する場合について示しているが、１つの表示部１０３と１つの撮像部１０１を有する構成であってもよい。図２に示すように、瞳検知部１０４は、瞳検知部１０４１を少なくとも有する。瞳検知部１０４１は、瞳と瞳検知部１０４１の間のベクトル情報を取得する。瞳検知部１０４１で得られたベクトル情報を基に、処理部１０２は、瞳と撮像部１０１との間のベクトル情報を生成する。そして、処理部１０２は、瞳と撮像部１０１との間のベクトル情報を用いて、画像情報と実像との間で生じうる対象物の空間的な位置の差がなくなるように補正する。処理部１０２は、撮像部１０１で取得された画像情報を補正し、瞳補正画像情報を生成する。瞳補正画像情報によって、あたかも実像であるような表示画像を表示部１０３に表示することができる。図２のいずれにおいても、ある瞳の中心軸Ｃ１とある瞳に対応して設けられる１つの表示部１０３の中心が一致している場合を示している。Ｒは撮像部１０１が撮像する範囲を示している。

【0016】

図２（ａ）では、撮像部１０１と瞳検知部１０４１が瞳の中心軸Ｃ１上に配置されている。瞳検知部１０４１は、瞳から瞳検知部１０４との間のベクトル情報Ｐ１を取得する。撮像部１０１で取得した画像情報は、ベクトル情報Ｐ１に基づき補正を行う。中心軸Ｃ１上に瞳検知部１０４１と撮像部１０１が設けられていることで、ベクトル情報Ｐ１でも瞳と撮像部１０１との距離のみを考慮して補正を行えばよい。よって、画像情報の処理負荷が小さくなり、処理時間が削減できる。また、消費電力が抑制できる。

【0017】

図２（ｂ）では、撮像部１０１と瞳検知部１０４１が共に、瞳の中心軸Ｃ１上に位置していない。つまり、撮像部１０１と瞳検知部１０４１は、中心軸Ｃ１からＸ方向に所定の距離だけ外側に配置されている。瞳検知部１０４１は、撮像部１０１の中心軸Ｃ２上に位置している。瞳検知部１０４１は瞳と瞳検知部１０４との間のベクトル情報Ｐ１を取得する。処理部１０２は、瞳検知部１０４１と撮像部１０１との間のベクトル情報を予め保持している。撮像部１０１が取得した画像情報は、ベクトル情報Ｐ１に基づき補正される。ベクトル情報Ｐ１は、中心軸Ｃ１から中心軸Ｃ２までの距離と、瞳から瞳検知部１０４までの距離を含む。ここで、撮像部１０１と瞳検知部１０４１は同じ中心軸Ｃ２に位置しているため、瞳検知部１０４１で得た情報から瞳と撮像部１０１との間のベクトル情報を生成することが容易である。また、図２（ａ）の場合に比べて、表示部１０３等の他の部分との配置の自由度が向上し、撮像表示装置の小型化などに寄与しうる。

【0018】

図２（ｃ）では、瞳検知部１０４１は瞳の中心軸Ｃ１上に配置されているが、撮像部１０１は瞳の中心軸Ｃ１上に配置されていない。撮像部１０１の中心軸Ｃ２は中心軸Ｃ１からＸ方向に所定の距離だけ外側に配置されている。処理部１０２は、あらかじめ瞳検知部１０４１と撮像部１０１とのベクトル情報Ｐ２を保持している。瞳検知部１０４１は、瞳とのベクトル情報Ｐ１を取得する。処理部１０２は、ベクトル情報Ｐ２とベクトル情報Ｐ１を基に、撮像部１０１で取得した画像情報を補正し、瞳補正画像情報を取得する。

【0019】

図２（ｄ）では、撮像部１０１は瞳の中心軸Ｃ１上に配置されているが、瞳検知部１０４１は瞳の中心軸Ｃ１上に配置されていない。瞳検知部１０４１の中心軸Ｃ３は中心軸Ｃ１から所定の距離だけ外側に配されている。本構成においては、処理部１０２は予め撮像部１０１と瞳検知部１０４１との距離を含むベクトル情報Ｐ２を保持している。瞳検知部１０４１は、瞳との距離を含むベクトル情報Ｐ１を取得する。処理部１０２は、ベクトル情報Ｐ２とベクトル情報Ｐ１を基に、撮像部１０１で取得した画像情報を補正し、瞳補正画像情報を取得する。

【0020】

図２で示したように、瞳検知部１０４１を用いることで、撮像部１０１で得られた画像情報を実際に目視している像のように表示部１０３に表示することができる。また、瞳検知部１０４１は複数個であってもよく、複数の瞳情報から精度の高い１つの瞳情報を生成しても良い。図２のベクトル情報は、Ｘ方向とＹ方向の情報として示したが、実際には、紙面奥行き方向、すなわちＺ方向の情報を含みうる。

【0021】

次に、図３を用いて他の例と比較しながら、本実施例の撮像表示装置について説明する。図３は、本実施例の撮像表示装置の動作を説明するための表である。図３では、説明を簡易にするため、図２で示した構成の一部を用いて説明する。具体的には、眼鏡型の撮像表示装置において、眼鏡の片目に対応した部分のみを抽出している。

【0022】

図３は、例１～例３の構成と、実像あるいは表示部１０３にて表示される表示画像と、撮像部１０１にて取得される画像情報とを示している。例１は実際の目で見た場合を、例２と例３は本実施例の場合を示している。

【0023】

まず、例１は実際に目で見る場合について示すものである。その時の瞳と対象物の位置関係は、対象物が瞳の中心軸Ｃ１上に位置する。例１の実像に示すように、対象物が瞳の中心軸上にあり、対象物が所定の直線距離だけ離れた位置にあり、対象物の大きさが所定の大きさであると認識される。

【0024】

例２は、本実施例の場合を示すものである。例２では、対象物は瞳の中心軸Ｃ１上に位置するが、撮像部１０１は中心軸Ｃ１からＸ方向に沿って所定の距離だけ外側に配されている。つまり、例２では、撮像部１０１は瞳の中心軸Ｃ１上に配置されていない。従って、撮像部１０１で取得される画像情報において、対象物はＸ方向に沿って正の方向に寄っている。更に、瞳と撮像部１０１との距離だけ対象物に近づいて撮像しているため、実像に対して撮像部１０１が取得する画像情報では被写体が大きくなっている。しかし、例２では、対象物を瞳の中心軸Ｃ１上で得られたものとなるように補正するため、表示画像では対象物は中心に表示され、実像に近い画像が得られる。

【0025】

例３は、本実施例の撮像表示装置の場合を示すものである。例３では例２に更に、撮像部１０１と瞳との距離を基に撮像画像を補正している。例３では、例２と同様に、対象物は瞳の中心軸Ｃ１上に位置するが、撮像部１０１は中心軸Ｃ１から所定の距離だけ外側に配されている。つまり、例３では、撮像部１０１は瞳の中心軸Ｃ１上に配置されていない。従って、撮像部１０１で取得される画像情報において、対象物は紙面に対して右に寄っている。更に、瞳と撮像部１０１との距離だけ対象物に近づいて撮像しているため、実像に対して撮像部１０１が取得する画像情報では被写体が大きくなっている。しかし、例３では、撮像部１０１で得られた画像情報は、瞳と撮像部１０１との位置と距離を基に補正される。つまり、例３の表示画像に示されるように、対象物の位置が瞳の中心軸Ｃ１上に位置し、対象物が所定の直線距離だけ離れた位置にあり、対象物の大きさが所定の大きさであるように表示される。従って、撮像部１０１にて取得された画像情報に比べて、表示画像では、対象物が中心に位置し、対象物が離れて位置し、対象物が小さく表示される。例３の表示画像は、例３の撮像部１０１が取得する画像情報に比べて、例１に示す実像に近づいていることがわかる。

【0026】

以上のように、本実施例の撮像表示装置によって、利用者は不快感を覚えることなく好適に利用することができる。例えば、利用者によって瞳の位置が異なるため、撮像部と例えば眼鏡型の撮像表示装置において、１つの目に対応した撮像表示装置の中心と撮像部との間のベクトル情報を基に表示画像を生成すると、実像と表示画像にずれが生じうる。しかし、本実施例の撮像表示装置によれば、瞳検知部によって精度の高い表示画像を生成することが可能となり、より実像に近づいた表示画像を生成することができる。

【0027】

次に、撮像表示装置１００の構造について説明する。まず、撮像部１０１が有する光電変換素子は、例えば、フォトダイオード、光電変換膜などを含みうる。フォトダイオードなどの材料は、例えば、シリコン、ゲルマニウム、インジウム、ガリウム、ヒ素等が挙げられる。フォトダイオードの形態としては、例えば、ＰＮ接合型フォトダイオード、ＰＩＮ型フォトダイオード、アバランシェ型フォトダイオード等が挙げられる。

【0028】

撮像部１０１は、例えばＣＭＯＳイメージセンサを用いることができ、それは表面照射型でも裏面照射型でも良い。また、ＣＭＯＳイメージセンサは、フォトダイオードが配置された半導体基板と、走査回路や制御回路が配置された半導体基板とが積層した構造を有していてもよい。

【0029】

また、光電変換膜の材料は有機材料と無機材料とがある。有機の光電変換膜としては、例えば、一対の電極間に光電変換する有機層を少なくとも一層含んだ構造を有する。有機の光電変換膜は、一対の電極間に複数の有機層が積層された構造を有してもよい。有機層は単一材料でも複数の材料が混合されていてもよい。また、有機層は、例えば、真空蒸着プロセスや塗布プロセス等を用いて形成することができる。無機の光電変換膜は、例えば、有機層の代わりに、微細な半導体結晶を含有する量子ドット薄膜層を用いた量子ドット型や、ペロブスカイト構造の遷移金属酸化物等からなる光電変換層を有するペロブスカイト型などが挙げられる。

【0030】

表示部１０３は、複数の発光素子を有する。発光素子は、例えば、液晶（ＬＣＤ）、無機発光ダイオード（ＬＥＤ）、有機ＬＥＤ（ＯＬＥＤ）、量子ドットＬＥＤ（ＱＬＥＤ）等である。無機ＬＥＤに使用される材料は、例えば、アルミニウム、ガリウム、ヒ素、リン、インジウム、窒素、セレン、亜鉛、ダイヤモンド、酸化亜鉛、ペロブスカイト半導体等である。これらを用いてｐｎ接合構造にすることで、それぞれ材料のバンドギャップ差に相当するエネルギー（波長）を有する光が放出される。有機ＬＥＤは、例えば、一対の電極間に少なくとも１種の有機発光材料を含有した発光層を有し、複数の発光層を有していてもよく、複数の有機層が積層された構造を有しても、発光層は単一材料でも複数の材料が混合されていてもよい。発光層からの光は、蛍光でも燐光でもよく、単色発光（青色、緑色、赤色等）でも白色発光でもよい。また、有機層は、例えば、真空蒸着プロセスや塗布プロセス等を用いて形成することができる。

【0031】

瞳検知部１０４は、複数の受光素子を有する。受光素子は、例えば、画像情報を得るための上記撮像部で挙げた光電変換素子や、瞳との間の距離情報を取得するための測距センサ等が挙げられる。測距センサは、ＴＯＦ（Ｔｉｍｅ－Ｏｆ－Ｆｌｉｇｈｔ）方式等が挙げられるが、その他の距離情報を含むベクトル情報が取得できる素子でも良い。

【0032】

更に、撮像表示装置は、撮像部１０１と処理部１０２と表示部１０３と瞳検知部１０４の少なくとも４つのチップが積層され、半導体プロセスによって互いに電気的に接続した構造を有していてもよい。撮像部１０１、処理部１０２、表示部１０３、瞳検知部１０４の構成については、適宜、変更が可能である。

【0033】

（実施例２）
本実施例について、図４を用いて説明する。図４（ａ）～（ｅ）は、本実施例の撮像表示装置を説明する模式図である。他の構成については、実施例１と同様である。本実施例では、瞳検知部１０４は、更に、視線の動きや瞳の状態を検出する機能を有する。瞳検知部１０４は、瞳検知部１０４１に加えて、瞳情報を画像情報として得るための瞳検知部１０４２を有している。本実施例では瞳の画像情報から視線や瞳の状態を検出する瞳情報を取得する。処理部１０２では、瞳検知部１０４１と瞳検知部１０４２の情報を基に瞳基準での補正処理が行われ、生成された瞳補正画像情報が表示部１０３に表示される。これにより、視線の動きや瞳の状態を検知、補正することができるため、視線に応じた画像が表示部１０３に表示される。具体的には、例えば、関心領域（ＲＯＩ領域とも称する）以外の領域の解像度を低下させて表示させることや、関心領域を拡大、縮小させた画像を表示させることができる。関心領域は、視線追跡結果を基に処理部１０２によって推定される。また、瞳孔の大きさなど瞳の状態に応じて、輝度を調整させ、実像に近づけた瞳補正画像情報を生成することもできる。したがって、眼で直接見た場合の画像と、撮像表示装置に表示される画像が一致することに加えて、視線に応じた画像が表示されるため、利用者にとってより不快感のない画像、つまり直接眼で見ている画像に近づいた表示画像を得ることができる。

【0034】

また、瞳検知部１０４２は、瞳の画像を取得する方法以外にも、目の虹彩の外縁を検出する方法や赤外線を照射して角膜反射を利用して瞳の位置を特定する方法などがある。瞳検知部１０４２は、アイトラッキングにおける任意の手法を適用することができる。

【0035】

ここで、本実施例の撮像表示装置の瞳検知部１０４について、図４を用いて説明する。図４は図２と対応した図である。撮像部１０１と瞳検知部１０４１に関しては実施例１と同様である。瞳検知部１０４２は、瞳の情報及び状態が撮像できる位置であれば、瞳の中心軸Ｃ１の上に位置していてもよく、中心軸Ｃ１上に位置していなくてもよい。

【0036】

図４（ａ）では、図２（ａ）のように瞳の中心軸Ｃ１上に撮像部１０１と瞳検知部１０４１が位置している。そして、瞳検知部１０４２は中心軸Ｃ１上に位置している。つまり、瞳検知部１０４１と瞳検知部１０４２は同じ位置にあるものとみなせる。このような場合には、図２（ａ）と同様にベクトル情報Ｐ１を用いて瞳補正画像情報を生成することができる。また、瞳検知部１０４２と瞳検知部１０４１とのベクトル情報は、撮像表示装置を製造する際など事前に処理部１０２が保持可能である。

【0037】

図４（ｂ）では、図２（ｂ）のように瞳の中心軸Ｃ１上に撮像部１０１と瞳検知部１０４１がない。撮像部１０１の中心軸Ｃ２上に瞳検知部１０４１が位置しており、中心軸Ｃ１と中心軸Ｃ２はオフセットしている。そして、瞳検知部１０４２は、中心軸Ｃ２に位置している。つまり、瞳検知部１０４１と瞳検知部１０４２は同じ位置にあるものとみなせる。このような場合においても、図２（ｂ）と同様に瞳補正画像情報を生成することができる。

【0038】

図４（ｃ）では、図２（ｃ）のように瞳検知部１０４１は瞳の中心軸Ｃ１上に配置されているが、撮像部１０１は瞳の中心軸Ｃ１上に配置されていない。撮像部１０１は中心軸Ｃ１からオフセットした中心軸Ｃ２を有する。瞳検知部１０４２は中心軸Ｃ１上には位置されている。つまり、瞳検知部１０４１と瞳検知部１０４２は同じ位置にあるものとみなせる。このような場合には、図２（ｃ）と同様に瞳補正画像情報を生成することができる。

【0039】

図４（ｄ）では、図２（ｂ）のように瞳の中心軸Ｃ１上に撮像部１０１と瞳検知部１０４１がない。撮像部１０１の中心軸Ｃ２上に瞳検知部１０４１が位置しており、中心軸Ｃ１と中心軸Ｃ２はオフセットしている。そして、瞳検知部１０４２は、中心軸Ｃ１上に位置する。このような場合においては、図２（ｂ）と同様に瞳補正画像情報を生成することができる。ここで、瞳検知部１０４２からの瞳情報は、瞳検知部１０４１と瞳検知部１０４２との間のベクトル情報Ｐ３を用いて、補正されうる。

【0040】

図４（ｅ）では、図２（ｃ）のように瞳検知部１０４１は瞳の中心軸Ｃ１上に配置されているが、撮像部１０１は瞳の中心軸Ｃ１上に配置されていない。撮像部１０１は中心軸Ｃ１からオフセットした中心軸Ｃ２を有する。瞳検知部１０４２は中心軸Ｃ１上にも中心軸Ｃ２上にも配置されていない。瞳検知部１０４２は、中心軸Ｃ１からオフセットし、中心軸Ｃ２からオフセットした中心軸Ｃ３を有する。処理部１０２は、あらかじめ瞳検知部１０４１と撮像部１０１とのベクトル情報Ｐ２と、瞳検知部１０４２と瞳検知部１０４１とのベクトル情報Ｐ３とを有している。瞳検知部１０４１は、瞳とのベクトル情報Ｐ１を取得する。処理部１０２は、ベクトル情報Ｐ１～Ｐ３を基に、撮像部１０１で取得した画像情報を補正し、瞳補正画像情報を取得する。

【0041】

また、瞳検知部１０４２を複数個用いて、瞳情報を取得しても良い。

【0042】

（実施例３）
本実施例の撮像表示装置を、図５（ａ）～図５（ｃ）を用いて説明する。図５（ａ）～図５（ｃ）は、実施例１の図１（ａ）～図１（ｃ）の変形例である。

【0043】

図５（ａ）は、本実施例の撮像表示装置２００を説明する模式図である。撮像表示装置２００は、実施例１の図１（ａ）において説明した処理部１０２が、更に人工知能（以下、ＡＩ；Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）部を搭載したＡＩ部１０７を有している点が異なる。ＡＩ部１０７はディープラーニング（深層学習）機能を有していてもよい。これにより、処理部１０２では、瞳検知部１０４の取得情報を基に瞳を基準とした補正処理が行われる際に、ＡＩ部１０７のディープラーニング機能により、瞳補正処理の精度を高めること及び速度を速めることができる。

【0044】

例えば、温度湿度情報、加速度情報、圧力情報等の環境情報と合わせて学習させ、より精度の高い瞳補正画像情報を生成することができる。また、利用者の過去の瞳情報から行動パターンを学習させ、より速く瞳補正画像情報を生成することができる。瞳補正処理の精度を高めることで、眼で直接見る情報と撮像表示装置に表示される情報との差異が小さくなり、利用者はより快適に使用できる。また、瞳補正処理の速度を速めることで、画像情報を取得してから表示するまでの時間を短縮でき、よりレイテンシーを小さくすることができる。もちろん、これらに限ったことではなく、ＡＩ部１０７において、撮像表示装置の性能を高める機能ならば特に指定はない。

【0045】

図５（ｂ）は、図１（ｂ）に示す撮像表示装置１２０の変形例を示す。撮像表示装置２２０の処理部１０２は、処理装置１０５と通信を行っている。処理部１０２と処理装置１０５とは、ネットワークを介して接続する。また、処理装置１０５は、撮像表示装置２２０の外部に設けられており、例えば、クラウドに設けられていてもよい。撮像表示装置２２０では、処理部１０２ではなく処理装置１０５がＡＩ部１０７を有する。処理部１０２と処理装置１０５は、互いに情報をやり取りし、画像情報及び瞳情報から瞳補正画像情報を生成する。図５（ｂ）において、撮像部１０１及び瞳検知部１０４で取得した画像情報及び瞳情報は、処理装置１０５からの情報を得た処理部１０２によって瞳補正画像情報へと変換される。撮像表示装置２２０では、このように外部の装置に蓄積された情報を利用して、瞳補正画像情報を生成することができる。

【0046】

図５（ｃ）は、図１（ａ）に示す撮像表示装置１３０の変形例を説明するための模式図である。撮像表示装置２３０の処理部１０２はＡＩ部１０７を有する。処理部１０２は処理装置１０６と通信し、処理装置１０６は更に別の処理装置１０５と通信する。処理装置１０６はクラウド上に設けられており、例えばデータの蓄積などを行う。処理装置１０５は撮像表示装置２３０や処理装置１０６とは別に設けられており、ＡＩ部１０７を有する。処理部１０２と処理装置１０５の間、および処理装置１０６と処理装置１０５との間は、ネットワークを介して接続している。図５（ｃ）において、処理部１０２は、処理装置１０６に蓄積された設定情報を受信し、設定情報を基に瞳補正画像情報の生成を行う。設定情報は、環境や対象物の基本的な情報や、瞳補正画像情報を生成するための各種値を含む。また、処理部１０２は撮像部１０１及び瞳検知部１０４からの画像情報及び瞳情報を含む複数の情報を処理装置１０６へ送信する。複数の情報は、処理装置１０６を介して、処理装置１０５へ送信される。処理装置１０５は、受けとった複数の情報を基に瞳補正画像情報を生成するための各種値を生成し、処理装置１０６へ送信する。処理装置１０６は、蓄積している基本的な情報や各種値を更新し、新たな情報として保持する。撮像表示装置２３０では、このように外部装置に蓄積された情報を利用して、瞳補正画像情報を生成することができる。

【0047】

図５（ａ）において、処理部１０２は、撮像部１０１及び瞳検知部１０４で得られた画像情報及び瞳情報を基に瞳補正画像情報として表示部１０３に伝達する。更に、処理部１０２では、画像情報及び瞳情報だけではなく温度湿度情報、加速度情報、圧力情報等のその他情報も合わせて処理することができる。図５（ｂ）の処理部１０２と、図５（ｃ）の処理部１０２、処理装置１０５、および処理装置１０６も図５（ａ）の場合と同様である。

【0048】

本実施例の撮像表示装置をウェアラブルデバイスとして使用する場合、処理部での処理データ量は少ないほど好ましい。なぜなら、ウェアラブル端末は可能な限り軽量化、薄型化の必要があり、データ処理の負荷が小さいほど処理部のチップを小さくできるためである。データ処理量の負荷を減らす方法として、例えば、図５（ｂ）や図５（ｃ）のようにＡＩ処理を別装置（クラウド等）で行うことが挙げられる。また、処理量を減らす方法として、関心領域以外の部分の解像度を低下させる、関心領域以外の部分を静止画にする、関心領域以外の部分をカラーでなくモノクロで処理を行う等が挙げられる。

【0049】

（実施例４）
本実施例では、撮像部１０１で撮像された画像情報に、瞳情報だけでなく予測を含む補正が行われる。予測を含む補正とは、処理部１０２は、瞳補正と同時に、撮像部１０１で取得された画像情報から未来を予測した予測画像情報を生成する。予測画像情報は表示部１０３に表示される。処理部１０２では、撮像部１０１で撮像された画像情報及び瞳検知部１０４で取得した情報を基に瞳基準での補正処理を行うだけではなく、未来を予測した予測画像情報も生成する機能を有することが特徴である。これにより、瞳の位置を基準とした瞳補正画像情報が表示されるだけでなく、画像情報を取得してから表示するまでの時間的な差、つまり、レイテンシーを低減することができる。このため、例えば、ユーザーが、動いている物体を掴む等の動作を行う際に、好適に用いることができる。この際、処理部１０２は、図５（ａ）～図５（ｃ）に示したように、ＡＩ部１０７を有していてもよい。更に、ＡＩ部１０７において、撮像表示装置の性能を高める補正を行ってもよい。

【0050】

未来を予測した予測画像情報を生成する動作について図６を用いて説明する。図６（ａ）と図６（ｂ）は、本実施例の撮像表示装置の動作を説明する図であり、ある時間における１フレームの画像情報と予測画像情報の関係を説明するための図である。図６（ａ）と図６（ｂ）において、時刻Ｔｎにおける画像情報をＡｎ、処理部で処理後の未来の画像情報（予測画像情報）をＢｎとする。

【0051】

図６（ａ）を用いて本実施例の撮像表示装置の動作について説明する。本動作において、撮像部１０１は、時刻Ｔ_－２に画像情報Ａ_－２を、時刻Ｔ_－１に画像情報Ａ_－１を、時刻Ｔ_０に画像情報Ａ_０を、時刻Ｔ_＋１に画像情報Ａ_＋１を得る撮像動作を行う。次に、処理部１０２は、入力された画像情報Ａ_－１、Ａ_０、Ａ_＋１を基に、予測画像情報Ｂ_０、Ｂ_＋１、Ｂ_＋２を生成する。そして、処理部１０２は、予測画像情報Ｂ_０、Ｂ_＋１、Ｂ_＋２を表示部１０３へ出力する。表示部１０３は、時刻Ｔ_０に予測画像情報Ｂ_０に基づく画像を、時刻Ｔ_＋１に予測画像情報Ｂ_＋１に基づく画像を、時刻Ｔ_＋２に予測画像情報Ｂ_＋２に基づく画像を表示する表示動作を行う。

【0052】

つまり、ある時刻Ｔ_－１に、撮像部１０１は画像情報Ａ_－１を得る撮像動作を行い、ある時刻Ｔ_－１よりも後の時刻Ｔ_０に、撮像部１０１は画像情報Ａ_－１とは別の画像情報Ａ_０を得る撮像動作を行う。時刻Ｔ_０に、表示部１０３は画像情報Ａ_－１から生成された予測画像情報Ｂ_０に応じた画像を表示する表示動作を行う。更に、時刻Ｔ_０よりも後の時刻Ｔ_＋１に、撮像部１０１は、画像情報Ａ_０とは別の画像情報Ａ_＋１を得る撮像動作を行う。そして、表示部１０３は、画像情報Ａ_０から生成された予測画像情報Ｂ_＋１に応じた画像を表示する表示動作を行う。

【0053】

更に、本実施例の予測画像情報を表示するタイミングについて説明する。本実施例の処理部１０２では、ある時刻において、撮像部１０１で撮像された画像情報と、表示部１０３が表示する画像との間に遅延が少なくなるように予測画像情報を生成する。その予測画像情報を表示するタイミングを次のように設定すると好ましい。

【0054】

まず、撮像部１０１にて任意の時間Ｔｎに画像が撮像されるとする。表示部１０３にて時刻Ｔｎの予測画像情報が生成され、表示部１０３にて時刻Ｔｎの予測画像情報にもとづく画像が表示される時刻をＴｍとする。ここで、撮像されるタイミングと表示されるタイミングの差分ΔＴを式（１）で示すことができる。
ΔＴ＝Ｔｎ－Ｔｍ・・・（１）
ここで、表示部１０３が１秒あたりに表示する画像の枚数である表示フレームレートＤＦＲ（ｆｐｓ；ｆｒａｍｅ ｐｅｒ ｓｅｃｏｎｄ）とする。この差分ΔＴが式（２）を満たすように撮像表示装置が制御される。より好ましくは、差分ΔＴが式（３）を満たすように撮像表示装置が制御される。
－２／ＤＦＲ≦ΔＴ≦２／ＤＦＲ・・・（２）
－１／ＤＦＲ≦ΔＴ≦１／ＤＦＲ・・・（３）
例えば、表示フレームレートが２４０（ｆｐｓ）の場合、撮像されてから表示されるまでの１画像（１フレーム）の時間は約４×１０^－３（秒）である。したがって、差分ΔＴは次のようになる。
－４×１０^－３≦ΔＴ≦４×１０^－３・・・（４）
このようなタイミングで予測画像情報にもとづく画像を表示することで、実画像と表示される画像の間の遅延が少ない動画表示が可能となる。この動画表示は、いわゆるリアルタイム表示とも言える。従って、本実施例ではリアルタイム表示、厳密には擬似的リアルタイム表示が可能となる。本実施例は、静止画でも適用可能であるが、動画において行うことが効果的である。

【0055】

なお、このようなタイミングで表示する他に、予測画像情報を生成する際にも、この時刻の幅は利用できる。任意の時間に撮像部１０１にて撮像される画像情報をＡｎとする。同時刻に表示部１０３が表示する画像情報をＤｎとする。ここで、画像情報の差分、すなわち時間的なずれ量をΔＡ＝Ｄｎ－Ａｎとすることができる。ここで、図６（ａ）の実施例においては、Ｄｎ＝Ｂｎとなっている。つまり、ある時刻における撮像部１０１で撮像された画像情報、つまりその時刻の現実の事象（実画像）と、表示部１０３で表示された画像情報の時間的な差分が±４×１０^－３（秒）であればよい。画像情報の時間的な差分が±４×１０^－３（秒）とは、表示部１０３にて表示された画像が、ある時刻における実画像に対して４×１０^－３（秒）遅延した画像、あるいは４×１０^－３（秒）未来の画像となることである。予測画像情報はこのような条件で生成されると好ましい。なお、画像情報Ａｎと画像情報Ｄｎの比較は、例えば、画像情報Ａｎと画像情報ＤｎのＲＡＷデータを用いて行うことができる。そして、差分の二乗平均平方根をとったときに±４×１０^－３（秒）以内に画像情報Ｄｎが存在するようにすればよい。この差分の情報を用いて、処理部１０２は、次の予測画像情報を生成する際の各種パラメーターを設定する。

【0056】

なお、特に、付加的な画像処理を行う場合には、遅延は１００×１０^－３（秒）となる。しかし、本実施例の予測画像情報を生成することによって、実画像との時間的な差異のない表示を行うことができる。

【0057】

また、付加的な画像処理とは、例えば、暗い画像の輝度をあげる暗視野画像処理、小さな被写体を拡大して表示する拡大画像処理、温度を画像表示する温度表示処理などである。本実施例の動作によれば、このような画像処理を行う時間を加えてもリアルタイム表示が可能となる。

【0058】

次に、図６（ｂ）における動作を説明する。本動作において、撮像部１０１は、時刻Ｔ_－２に画像情報Ａ_－２を、時刻Ｔ_－１に画像情報Ａ_－１を、時刻Ｔ_０に画像情報Ａ_０を、時刻Ｔ_＋１に画像情報Ａ_＋１を得る撮像動作を行う。次に、処理部１０２は、入力された画像情報Ａ_－１、Ａ_０、Ａ_＋１を基に、予測画像情報Ｂ_＋１、Ｂ_＋２、Ｂ_＋３を生成する。そして、処理部１０２は、予測画像情報Ｂ_＋１、Ｂ_＋２、Ｂ_＋３を表示部１０３へ出力する。表示部１０３は、時刻Ｔ_０に予測画像情報Ｂ_＋１に基づく画像を、時刻Ｔ_＋１に予測画像情報Ｂ_＋２に基づく画像を、時刻Ｔ_＋２に予測画像情報Ｂ_＋３に基づく画像を表示する表示動作を行う。つまり、時刻Ｔ_１に撮像されるであろう画像情報を予測し、時刻Ｔ_０に表示させている。このように、撮像時刻よりも未来の時刻の情報を撮像時刻に表示させることが可能となる。この動作を連続的に繰り返すことで、実画像よりも未来の画像を連続的に表示する、すなわち映像として表示することができる。

【0059】

予測画像情報の元となる画像情報について説明する。例えば、図６（ａ）の説明において、予測画像情報Ｂ_０は画像情報Ａ_－１を基に生成される。図６（ｂ）の説明において、予測画像情報Ｂ_＋１は画像情報Ａ_－１を基に生成される。つまり、１つの予測画像情報は１つの画像情報を基に生成される。しかし、１つの予測画像情報を２つ以上の画像情報に基づき生成してもよい。例えば、図６（ａ）において予測画像情報Ｂ_０は画像情報Ａ_－２、Ａ_－１を基に生成されてもよく、図６（ｂ）においては、予測画像情報Ｂ_＋１は画像情報Ａ_－２、Ａ_－１を基に生成されてもよい。従って、予測画像情報を、少なくとも１つの画像情報を利用して生成することが可能である。

【0060】

本実施例のフレームレートについて説明する。まず、撮像部１０１の１秒あたりに取得する画像情報の枚数を撮像のフレームレートＳＦＲ（ｆｐｓ）とする。そして、上述のように表示部１０３の１秒あたりに表示する画像情報の枚数を表示のフレームレートＤＦＲ（ｆｐｓ）とする。このとき、本実施例の図６（ａ）および図６（ｂ）におけるフレームレートの関係は、ＳＦＲ＝ＤＦＲである。しかし、撮像と表示のフレームレートは異なっていてもよく、特に、ＳＦＲ≧ＤＦＲであることが望ましい。複数の撮像された画像情報から予測画像情報を生成することができるためである。

【0061】

本実施例の撮像表示装置によって、ユーザーの不快感を低減した撮像表示装置を提供することができる。

【0062】

（実施例５）
本実施例の撮像表示装置について、図７および図８を用いて説明する。図７（ａ）は図１（ｂ）に対応した撮像表示装置７２０を示している。図７（ｂ）は撮像部１０１を示すブロック図であり、本実施例において撮像部１０１は、ｎ個（ｎは自然数）の撮像部１０１（１）～１０１（ｎ）を有する。また、瞳検知部１０４は、視線情報を含む瞳を画像情報として取得することができる。処理部１０２は、瞳検知部１０４が検知した視線情報を取得し、複数の撮像部１０１の動作を切り替えることができる。複数の撮像部１０１は、例えば、実施例１に示すようなフォトダイオードを有する撮像装置が挙げられる。また、ＳＰＡＤ（シングル フォトン アバランシェ ダイオード）等のフォトンカウンティングセンサであってもよい。ＳＰＡＤは、アバランシェ型ダイオードを有する撮像装置である。その場合には、低輝度の環境下でも鮮明な画像情報として表示させることができる。

【0063】

図８（ａ）は、本実施例の撮像表示装置７２０の断面模式図である。撮像表示装置７２０は、複数の撮像部１０１を有する。図８（ａ）では、３つの撮像部１０１（１）～撮像部１０１（３）を有するものとする。瞳検知部１０４は、視線を検出する。視線が撮像部１０１（２）近傍にある場合には、処理部１０２は次のような動作を行うことができる。複数の撮像部のうち撮像部１０１（２）が取得した画像情報のみを使用して瞳補正画像情報を生成する。処理部１０２は、その他の撮像部１０１（１）と撮像部１０１（３）が得た画像情報は使用しない。あるいは、処理部１０２は、撮像部１０１（２）が取得した画像情報は全て用い、その他の撮像部１０１（１）と撮像部１０１（３）が取得した画像情報は情報量を削減して用いて瞳補正画像情報を生成することができる。ここで、画像情報の削減方法としては、輝度情報のみを用いる方法、画素数を間引いた解像度の低い画像とする方法、複数画素ごとの平均値または中央値を使用する方法がある。更に削減方法としては、画素信号値の撮像部からの出力ｂｉｔ数を削減して用いる方法、測距や合焦に必要な情報のみを用いる方法などもありうる。これら画像情報の情報量の削減は、撮像部１０１内で行ってもよく、処理部１０２で行っても良い。また、処理部１０２が視線近傍の撮像部にて取得した画像情報のみを使用する場合、その他の撮像部１０１（１）や撮像部１０１（３）はスリープモードにする、電源供給を止めるなど、消費電力を抑える状態に遷移させても良い。処理部１０２によってこれら制御を行うことができる。

【0064】

図８（ｂ）は、図８（ａ）の変形例を示している。図８（ｂ）では、撮像部１０１は、瞳検知部１０４が検知した視線情報にもとづいて、所望の位置に移動できる。図８（ｂ）において、撮像部１０１には複数の撮像素子が配置され、そのうち撮像部１０１（２）が視線上に配置されている。視線が動くと、瞳検知部がそれを検知し、撮像部１０１（２）が視線上に配置されるよう撮像部１０１が移動する。移動には、撮像表示装置の筐体に動力部を設けることによって行うことが可能である。これにより、図８（ａ）の場合に比べて、撮像部１０１の移動が必要になるが、複数の撮像素子の役割を切り替える動作が不要となる、さらに視線と各撮像部の位置関係が１つに決まるため、後段の画像処理の負荷を減らすことができる。

【0065】

本実施例の撮像表示装置において、複数の撮像部１０１が配置される面が湾曲している場合には、瞳と撮像部１０１との間のベクトル情報が一定となるため、後段の画像処理の負荷をさらに削減できるため、より好適である。

【0066】

（実施例６）
本実施例の撮像表示装置は、可視光以外（近赤外、赤外、紫外など）の光を利用した画像を表示することができる。例えば、撮像部１０１は可視光領域を検出可能な光電変換素子と、可視光領域以外の波長帯の光を検出可能な光電変換素子を有する。例えば、撮像部１０１は少なくとも２つの撮像装置を有する。１つは可視光用の光電変換素子が配された撮像装置であり、もう１つは可視光外用の光電変換素子が配された撮像装置である。または、撮像部１０１は１つの撮像装置を有する。１つの撮像装置が可視光用の光電変換素子と、可視光外用の光電変換素子を少なくとも１つずつ有していてもよい。

【0067】

このような撮像部１０１によって、可視光領域の画像情報に加えて、近赤外光領域を含む可視光外の領域の画像信号も取得することができる。処理部１０２では、これらの画像情報を利用して、１つの可視光領域の瞳補正画像情報を生成する。つまり、瞳情報と近赤外光領域の情報とを用いて、画像情報を補正し、瞳補正画像情報を生成する。これにより、可視光領域の感度が低い状況においても、感度が向上した画像が表示される。つまり、本実施例の撮像表示装置によれば、人の眼には見えない像も表示させることができる。このような本実施例の撮像表示装置は、例えば、暗視装置、監視装置、双眼鏡、望遠鏡、医療用検出器等にも適用可能である。

【0068】

（実施例７）
本実施例の撮像表示装置について、図９を用いて説明する。図９は、図２と対応した撮像表示装置１００の模式図である。図２では、瞳の中心軸Ｃ１と表示部１０３の中心が一致していたが、本実施例では、瞳の中心軸Ｃ１と表示部１０３の中心軸Ｃ４が一致していない場合について説明する。図９のその他の構成は、図２と同様であるため、詳細な説明は省略する。

【0069】

図９（ａ）では、表示部１０３の中心軸Ｃ４は、瞳の中心軸Ｃ１からＸ方向に所定の距離だけ離れて配置されている。撮像部１０１と瞳検知部１０４１は表示部１０３の中心軸Ｃ４上に配置されている。瞳検知部１０４１は、瞳から瞳検知部１０４との間のベクトル情報Ｐ１を取得する。撮像部１０１で取得した画像情報は、表示部１０３と瞳との位置を含めて、ベクトル情報Ｐ１に基づき補正される。このような瞳補正画像情報を用いることで、表示部１０３では画像の中心位置が瞳の位置に合わせて変更させた画像を表示することができる。このような処理によって、より実像との差を低減することが可能となる。

【0070】

図９（ｂ）は図９（ａ）と同様に、表示部１０３の中心軸Ｃ４は、瞳の中心軸Ｃ１からＸ方向に所定の距離だけ離れて配置されている。撮像部１０１は表示部１０３の中心軸Ｃ４上に配置されている。瞳検知部１０４１は瞳の中心軸Ｃ１上に配置されている。瞳検知部１０４１は、瞳から瞳検知部１０４との間のベクトル情報Ｐ１を取得する。また、処理部１０２は瞳検知部１０４１と撮像部１０１との間のベクトル情報Ｐ２を保持している。ベクトル情報Ｐ１およびベクトル情報Ｐ２を用いて、撮像部１０１で取得した画像情報は、補正される。このような瞳補正画像情報を用いることで、表示部１０３では画像の中心位置が瞳の位置に合わせて変更させた画像を表示することができる。このような処理によって、より実像との差を低減することが可能となる。

【0071】

（実施例８）
図１０を参照して、各実施例の撮像表示装置のウェアラブルデバイスへの適用例について説明する。撮像表示装置は、例えばスマートグラス、ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）、スマートコンタクトレンズのようなウェアラブルデバイスに適用できる。

【0072】

図１０は、スマートグラス１０００を説明するための模式図である。スマートグラス１０００は、眼鏡型撮像表示装置や眼鏡とも称する。スマートグラス１０００は、眼鏡型の筐体を有する。筐体は、フレームとも称する。フレームには各実施例の撮像表示装置が設けられている。具体的には、スマートグラス１０００は、少なくとも撮像部１００１と、処理部１００２と、表示部１００３、瞳検知部１００４とを有する。２つの撮像部１００１は眼鏡のフレーム側面に設けられている。しかし、撮像部１００１は、レンズに設けられていてもよい。処理部１００２は眼鏡のテンプル（つる）に格納されている。表示部１００３は、表示形式によって任意の位置に設けられるが、レンズ１０１１に含まれていても良い。いずれの場合にも、表示部１００３はレンズ１０１１に画像を表示させる。瞳検知部１００４は、２つの眼鏡レンズの中央の瞳側に格納されているが、レンズやフレーム側面に設けられていても良い。なお、処理部１００２は、ＡＩ部を含んでいてもよい。スマートグラス１０００は、外部インターフェースを有し、処理部１００２が外部のＡＩ部とやり取りを行ってもよい。また、フレームは電源部を有していてもよく、外部との接続を無線で行うためのインターフェース部を有していてもよい。

【0073】

図１０のスマートグラス１０００は、左目用と右目用の２個の撮像表示装置を有していてもよい。この場合、左目用と右目用の撮像表示装置において、撮像および表示のタイミングを任意に設定することもできる。具体的には、同時刻に撮像し、別時刻に表示する動作や、別時刻に撮像して同時刻に表示する動作である。

【0074】

また、図１０のように、撮像部１００１と表示部１００３とが別の位置に設けられていてもよいが、撮像部１００１と表示部１００３と瞳検知部１００４が視線状において積層するように設けられていてもよい。

【0075】

（実施例９）
本実施例の撮像表示装置について、図１１を用いて説明する。図１１（ａ）は本実施例の撮像表示装置８１０を説明するための模式図である。図１１（ａ）は図７（ａ）と対応した模式図であり、同一の構成には同一の符号を付し、説明を省略する。また、他の実施例と同様な構成や動作については説明を省略する。本実施例では、撮像部と瞳との位置関係を考慮することによって、撮像表示装置に表示される画像と現実の事象との差異を低減することを可能にする技術を説明する。

【0076】

図１１（ａ）において、瞳検知部１０４は、視線情報を含む瞳を画像情報として取得することができる。処理部１０２は、瞳検知部１０４が検知した視線情報を取得し、複数の撮像部１０１の重み付けを設定し一つの画像情報を生成することができる。具体的には、瞳検知部１０４が検知した視線情報を基に複数の撮像部１０１の中から主となる撮像部１０１を設定し、その画像情報に対して、主となる撮像部以外の撮像部１０１で得られた画像情報で補間するように一つの画像情報を生成することができる。これにより、撮像部と瞳の位置関係を含めた画像を生成することができるため、表示される画像と現実の事象との差異を低減することができる。また、本実施例の技術により、広範囲の外部情報を表示部に表示することができる。ここで、広範囲とは画角や距離などを含む。

【0077】

図１１（ｂ）及び図１１（ｃ）を用いて、本実施例の動作について説明する。図１１（ｃ）は、撮像表示装置８１０の断面模式図である。撮像表示装置８１０は、複数の撮像部１０１を有するものとする。各撮像部１０１は、例えば、フォトダイオードを含むイメージセンサでありうる。撮像表示装置８１０は、少なくとも２つの撮像部を有する。具体的には、撮像表示装置８１０は、撮像部１０１（４）と撮像部１０１（５）とを有する。瞳検知部１０４は、視線を検出する。

【0078】

図１１（ｂ）は撮像表示装置８１０の動作フローチャートである。まず、撮像部１０１（４）と撮像部１０１（５）のそれぞれは画像情報を取得する。瞳検出部１０４は、瞳の位置、瞳情報を検出する。瞳情報として、視線情報を含む。例えば、瞳中心軸に対して視線がどちらへ傾いているのか等を検出する。視線が瞳中心軸よりも撮像部１０１（４）側にある場合には、処理部１０２は次のような動作を行う。

【0079】

まず、処理部１０２は、複数の撮像部１０１が取得した画像情報から、瞳補正画像情報を生成する。視線情報を基に、複数の撮像部のうち撮像部１０１（４）が取得した画像情報を、主となる画像情報に設定する。その画像情報に対して、主となる撮像部以外の撮像部１０１で得られた画像情報で補間するように一つの画像情報を生成する。このような処理により、撮像部と瞳の位置関係、例えば撮像部と視線との位置関係が考慮された自然が表示画像を生成することができる。よって、撮像表示装置に表示される画像と現実の事象との差異を低減することが可能となる。また、処理部１０２にＡＩ部を有し、ディープラーニングを用いることにより、複数の画像情報から一つの画像情報を生成する際の精度と処理速度を高めることもできる。

【0080】

本実施例では、撮像部１０１（４）と撮像部（５）から画像を取得した後の処理を説明したが、視線を検出したのちに、主となる撮像部１０１（４）を選択し、副となる撮像部１０１（５）を選択してもよい。そして、主となる撮像部１０１（４）と副となる撮像部１０１０（５）は画像情報を取得し、処理部１０２で上述の処理を行ってもよい。

【0081】

また、図１２に示すような別の動作を行ってもよい。図１２は、図１１（ｂ）に対応した本実施例の別の動作フローチャートである。瞳検知部１０４は、視線を検出する。視線を検出したのちに、視線の位置に応じて、主となる撮像部１０１（４）と副となる撮像部１０１（５）を選択する。次に、各撮像部の撮影条件を設定する。例えば、撮像部１０１（４）は主となる撮像部として高解像度撮影に設定され、撮像部１０１（５）は副となる撮像部として低解像度撮影に設定される。その後、２つの画像情報から１つの画像情報を生成することで、撮像部と視線との位置関係が考慮された表示画像を生成することができる。

【0082】

（実施例１０）
本実施例の撮像表示装置について、図１３を用いて説明する。図１３（ａ）は、本実施例の撮像表示装置９１０を説明するための模式図である。図１３（ａ）は図７（ａ）と対応した模式図であり、同一の構成には同一の符号を付し、説明を省略する。また、他の実施例と同様な構成や動作については説明を省略する。本実施例では、撮像部と瞳との位置関係を考慮することによって、撮像表示装置に表示される画像と現実の事象との差異を低減することを可能にする技術を説明する。

【0083】

図１３（ａ）において、瞳検知部１０４は、視線情報を含む瞳を画像情報として取得することができる。処理部１０２は、瞳検知部１０４が検知した視線情報を取得し、複数の撮像部１０１の重み付けを設定し一つの画像情報を生成することができる。具体的には、処理部１０２は、瞳検知部１０４が検知した視線情報から視線領域を設定する。処理部１０２は、視線領域を基に複数の撮像部１０１の中から視線領域の画像情報を作成するための撮像部１０１と、最も広い範囲の外部情報を取得することができる別の撮像部１０１を選択する。そして、処理部１０２は、少なくともこれらの画像情報を一つの画像情報として生成する。撮像表示装置９１０を用いることで、少なくとも１つの表示が可能となる。１つは、広範囲の外部情報を表示部に表示することができる。別の１つは、視線領域を高解像度で表示し、それ以外の領域を低解像度で表示させることができる。撮像表示装置９１０によって、より自然な表示画像を表示させることができ、画像処理の負荷も減らすことができる。

【0084】

図１３（ｂ）及び図１３（ｃ）を用いて、本実施例の動作について説明する。図１３（ｃ）は、本実施例の撮像表示装置９１０の断面模式図である。撮像表示装置９１０は、複数の撮像部１０１を有するものとする。各撮像部１０１は、例えば、フォトダイオードを含むイメージセンサでありうる。撮像表示装置９１０は、少なくとも２つの撮像部を有する。具体的には、撮像表示装置９１０は、撮像部１０１（６）と撮像部１０１（７）とを有する。瞳検知部１０４は、視線領域を検出する。

【0085】

図１３（ｂ）は本実施例の撮像表示装置９１０の動作フローチャートである。まず、撮像部１０１（６）と撮像部１０１（７）のそれぞれは画像情報を取得する。瞳検出部１０４は、視線領域を検出する。視線領域は、視線が向けられている領域を意味する。ここで視線は撮像部１０１（６）側に位置しているものとする。得られた視線領域を基に、処理部１０２は次のような動作を行う。

【0086】

処理部１０２は、複数の撮像部１０１が取得した画像情報から、瞳補正画像情報を生成する。また、撮像部１０１（６）が取得した画像情報と、瞳検知部１０４で得られた視線情報とから、視線領域に関する画像情報を抽出する。一方で、撮像部１０１（７）が取得した画像情報に対して、視線領域に関してのみ抽出した撮像部１０１（６）由来の画像情報を合成することで、一つの画像情報を生成する。このような処理により、視線が考慮された表示画像を生成することができる。よって、撮像表示装置に表示される画像と現実の事象との差異を低減することが可能となる。また、処理部１０２にＡＩ部を有し、ディープラーニングを用いることにより、複数の画像情報から一つの画像情報を生成する際の精度と処理速度を高めることもできる。また、本実施例についても、図１２に示すような撮像部の選択を行った後に画像情報の取得をしてもよい。

【符号の説明】

【0087】

１００ 撮像表示装置
１０１ 撮像部
１０２ 処理部
１０３ 表示部
１０４ 瞳検知部
１０４１ 瞳検知部
１０４２ 瞳検知部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】