特許 7562282 撮像表示装置、およびウェアラブルデバイス

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-27

(45)【発行日】2024-10-07

(54)【発明の名称】撮像表示装置、およびウェアラブルデバイス

(51)【国際特許分類】

   H04N 23/741 20230101AFI20240930BHJP

   H04N 25/57 20230101ALI20240930BHJP

   H04N 25/59 20230101ALI20240930BHJP

   H04N 25/77 20230101ALI20240930BHJP

   H04N 23/45 20230101ALI20240930BHJP

   H04N 23/54 20230101ALI20240930BHJP

   H04N 23/60 20230101ALI20240930BHJP

   H04N 13/344 20180101ALI20240930BHJP

   H04N 13/239 20180101ALI20240930BHJP

【ＦＩ】

H04N23/741

H04N25/57

H04N25/59

H04N25/77

H04N23/45

H04N23/54

H04N23/60

H04N13/344

H04N13/239

【請求項の数】 13

(21)【出願番号】P 2020074082

(22)【出願日】2020-04-17

(65)【公開番号】P2021010157

(43)【公開日】2021-01-28

【審査請求日】2023-04-04

(31)【優先権主張番号】P 2019121951

(32)【優先日】2019-06-28

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100126240

【弁理士】

【氏名又は名称】阿部 琢磨

(74)【代理人】

【識別番号】100223941

【弁理士】

【氏名又は名称】高橋 佳子

(74)【代理人】

【識別番号】100159695

【弁理士】

【氏名又は名称】中辻 七朗

(74)【代理人】

【識別番号】100172476

【弁理士】

【氏名又は名称】冨田 一史

(74)【代理人】

【識別番号】100126974

【弁理士】

【氏名又は名称】大朋 靖尚

(72)【発明者】

【氏名】小林 昌弘

(72)【発明者】

【氏名】市川 武史

(72)【発明者】

【氏名】沖田 彰

【審査官】東松 修太郎

(56)【参考文献】

【文献】特開２０１９－０３６９７４（ＪＰ，Ａ）

【文献】特開２０１１－２５４１７０（ＪＰ，Ａ）

【文献】国際公開第２０１９／０７８３３９（ＷＯ，Ａ１）

【文献】国際公開第２０１８／１８５５８７（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／２２２－ ５／２５７

Ｈ０４Ｎ ２３／００

Ｈ０４Ｎ ２２／４０－２３／７６

Ｈ０４Ｎ ２３／９０－２３／９５９

Ｈ０４Ｎ １３／３４４

Ｈ０４Ｎ １３／２３９

(57)【特許請求の範囲】

【請求項1】

複数の撮像部と、複数の表示部と、信号処理部とを有する撮像表示装置において、
前記複数の撮像部は、第１光量範囲に対応した第１撮像部と、前記第１光量範囲よりも高い光量を含む第２光量範囲に対応した第２撮像部と、を有し、
前記信号処理部は、前記第１撮像部からの第１画像信号と、前記第２撮像部からの第２画像信号とから１つの第３画像信号を生成し、
前記複数の表示部は、前記第３画像信号に基づく画像を表示し、
前記第１撮像部は、複数の第１単位セルを有し、
前記複数の第１単位セルのそれぞれは、第１光電変換素子と、前記第１光電変換素子の電荷を転送する第１転送トランジスタと、前記第１転送トランジスタによって前記電荷が転送される第１入力ノードを有する第１増幅トランジスタと、を有し、
前記第２撮像部は、複数の第２単位セルを有し、
前記複数の第２単位セルのそれぞれは、第２光電変換素子と、前記第２光電変換素子の電荷を転送する第２転送トランジスタと、前記第２転送トランジスタによって前記電荷が転送される第２入力ノードを有する第２増幅トランジスタと、を有し、
前記第２入力ノードの容量は、前記第１入力ノードの容量よりも大きいことを特徴とする撮像表示装置。

【請求項2】

複数の撮像部と、複数の表示部と、信号処理部とを有する撮像表示装置において、
前記複数の撮像部は、第１光量範囲に対応した第１撮像部と、前記第１光量範囲よりも高い光量を含む第２光量範囲に対応した第２撮像部と、を有し、
前記信号処理部は、前記第１撮像部からの第１画像信号と、前記第２撮像部からの第２画像信号とから１つの第３画像信号を生成し、
前記複数の表示部は、前記第３画像信号に基づく画像を表示し、
前記第１撮像部は、複数の第１単位セルと、前記複数の第１単位セルからの信号を増幅する第１増幅器とを有し、
前記第２撮像部は、複数の第２単位セルと、前記複数の第２単位セルからの信号を増幅する第２増幅器とを有し、
前記第１増幅器のゲインは前記第２増幅器のゲインよりも高いことを特徴とする撮像表示装置。

【請求項3】

複数の撮像部と、複数の表示部と、信号処理部とを有する撮像表示装置において、
前記複数の撮像部は、第１光量範囲に対応した第１撮像部と、前記第１光量範囲よりも高い光量を含む第２光量範囲に対応した第２撮像部と、を有し、
前記信号処理部は、前記第１撮像部からの第１画像信号と、前記第２撮像部からの第２画像信号とから１つの第３画像信号を生成し、
前記複数の表示部は、前記第３画像信号に基づく画像を表示し、
前記第１撮像部は、複数の第１単位セルを有し、
前記複数の第１単位セルのそれぞれは、アバランシェフォトダイオードと、前記アバランシェフォトダイオードからの信号に基づいてカウントを行うカウンタを有し、
前記第２撮像部は、複数の第２単位セルを有し、
前記複数の第２単位セルのそれぞれは、第２光電変換素子と、前記第２光電変換素子の電荷を転送する第２転送トランジスタと、前記第２転送トランジスタによって前記電荷が転送される第２入力ノードを有する第２増幅トランジスタと、を有することを特徴とする撮像表示装置。

【請求項4】

複数の撮像部と、複数の表示部と、信号処理部とを有する撮像表示装置において、
前記複数の撮像部は、第１光量範囲に対応した第１撮像部と、前記第１光量範囲よりも高い光量を含む第２光量範囲に対応した第２撮像部と、を有し、
前記信号処理部は、前記第１撮像部からの第１画像信号と、前記第２撮像部からの第２画像信号とから１つの第３画像信号を生成し、
前記複数の表示部は、前記第３画像信号に基づく画像を表示し、
前記複数の表示部は、第１表示部と、第２表示部とを有し、
前記第１撮像部と前記第１表示部との距離は、前記第２撮像部と前記第２表示部との距離と等しく、
前記第１撮像部と前記第１表示部との距離を用いて前記第３画像信号が生成されることを特徴とする撮像表示装置。

【請求項5】

前記第３画像信号のダイナミックレンジは、前記第１画像信号のダイナミックレンジよりも広く、前記第２画像信号のダイナミックレンジよりも広いことを特徴とする請求項１乃至４のいずれか１項に記載の撮像表示装置。

【請求項6】

前記第１画像信号のダイナミックレンジと、前記第２画像信号のダイナミックレンジは、重なる領域があることを特徴とする請求項１乃至５のいずれか１項に記載の撮像表示装置。

【請求項7】

前記第１画像信号あるいは前記第２画像信号のいずれかの前記重なる領域の画像信号を基に、前記第３画像信号のホワイトバランスを調整することを特徴とする請求項６に記載の撮像表示装置。

【請求項8】

複数の撮像部と、複数の表示部と、信号処理部とを有する撮像表示装置において、
前記複数の撮像部は、第１光量範囲に対応した第１撮像部と、前記第１光量範囲よりも高い光量を含む第２光量範囲に対応した第２撮像部と、を有し、
前記信号処理部は、前記第１撮像部からの第１画像信号と、前記第２撮像部からの第２画像信号とから１つの第３画像信号を生成し、
前記複数の表示部は、前記第３画像信号に基づく画像を表示し、
前記第１画像信号のダイナミックレンジと、前記第２画像信号のダイナミックレンジは、重なる領域があり、
前記第１画像信号あるいは前記第２画像信号のいずれかの前記重なる領域の画像信号を基に、前記第３画像信号のホワイトバランスを調整することを特徴とする撮像表示装置。

【請求項9】

前記第１画像信号のダイナミックレンジと、前記第２画像信号のダイナミックレンジが重ならない領域において、前記第３画像信号の前記重ならない領域では前記第１画像信号あるいは前記第２画像信号のいずれかの画像信号のみで生成されることを特徴とする請求項６乃至８のいずれか１項に記載の撮像表示装置。

【請求項10】

前記信号処理部は、前記第１撮像部あるいは前記第２撮像部の少なくとも一方からの画像信号を基に動体検出を行うことによって、前記第３画像信号の生成と、前記複数の表示部の輝度調整の少なくとも１つを行うことを特徴とする請求項１乃至９のいずれか１項に記載の撮像表示装置。

【請求項11】

前記信号処理部へ操作信号を出力する入力部を有し、
前記入力部は、音声検出部および視線検出部の少なくとも１つを有することを特徴とする請求項１乃至１０のいずれか１項に記載の撮像表示装置。

【請求項12】

前記複数の表示部は、第１表示部と第２表示部とを有し、
前記信号処理部は、前記第１撮像部と前記第２撮像部からの距離信号に応じて、前記第１表示部のための前記第３画像信号と、前記第２表示部のための前記第３画像信号とを生成することを特徴とする請求項１乃至１１のいずれか１項に記載の撮像表示装置。

【請求項13】

請求項１乃至１２のいずれか１項に記載の撮像表示装置と、
前記撮像表示装置を配置する筐体と、を有するウェアラブルデバイス。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像表示装置、およびウェアラブルデバイスに関する。

【背景技術】

【0002】

近年、ヘッドマウントディスプレイ（以下ＨＭＤ）やスマートグラスと呼ばれるウェアラブルデバイスが知られている。特許文献１には、撮像表示装置の外部から入射した光を電荷信号に変換する複数の光電変換素子と、複数の光電変換素子から得られた電荷信号に応じた強度の光を発光する複数の発光素子とを備える撮像表示装置が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１８－０６０９８０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

外界の明るさは、高輝度から低輝度まで多岐にわたる。特許文献１では、外界の広い輝度範囲に対して、違和感のない画像を表示することについての詳細な検討がなされていない。そこで、本発明では、外界の広い輝度範囲に対応した好適な画像が表示可能な撮像表示装置を提供することを目的とする。

【課題を解決するための手段】

【0005】

本発明の１つの側面は撮像表示装置に係り、複数の撮像部と、複数の表示部と、信号処
理部とを有する撮像表示装置において、前記複数の撮像部は、第１光量範囲に対応した第
１撮像部と、前記第１光量範囲よりも高い光量を含む第２光量範囲に対応した第２撮像部
と、を有し、前記信号処理部は、前記第１撮像部からの第１画像信号と、前記第２撮像部
からの第２画像信号とから１つの第３画像信号を生成し、前記複数の表示装置は、前記第
３画像信号に基づく画像を表示し、前記第１撮像部は、複数の第１単位セルを有し、前記複数の第１単位セルのそれぞれは、第１光電変換素子と、前記第１光電変換素子の電荷を転送する第１転送トランジスタと、前記第１転送トランジスタによって前記電荷が転送される第１入力ノードを有する第１増幅トランジスタと、を有し、前記第２撮像部は、複数の第２単位セルを有し、前記複数の第２単位セルのそれぞれは、第２光電変換素子と、前記第２光電変換素子の電荷を転送する第２転送トランジスタと、前記第２転送トランジスタによって前記電荷が転送される第２入力ノードを有する第２増幅トランジスタと、を有し、前記第２入力ノードの容量は、前記第１入力ノードの容量よりも大きいことを特徴とする。

【発明の効果】

【0006】

本発明によって、外界の広い輝度範囲に対応した好適な画像が表示可能な撮像表示装置を提供することができる。

【図面の簡単な説明】

【0007】

【図1】（ａ）第１実施形態に係る撮像表示装置を説明する外観図。（ｂ）第１実施形態に係る撮像表示装置を説明する外観図。

【図2】第１実施形態に係る撮像表示装置を説明するブロック図。

【図3】（ａ）第１実施形態に係る撮像表示装置を説明するブロック図。（ｂ）第１実施形態に係る撮像表示装置の単位セルを説明する回路図。

【図4】第１実施形態に係る撮像表示装置の画像信号を説明する概念図。

【図5】第２実施形態に係る撮像表示装置の撮像部の単位セルを説明する回路図。

【図6】（ａ）第２実施形態に係る撮像表示装置の動作を説明する概念図。（ｂ）第２実施形態に係る撮像表示装置の動作を説明する概念図。

【図7】（ａ）第２実施形態に係る撮像表示装置の動作を説明する概念図。（ｂ）第２実施形態に係る撮像表示装置の動作を説明する概念図。

【図8】第２実施形態に係る撮像表示装置の画像信号を説明する概念図。

【図9】第４実施形態に係る動作フローチャート。

【図10】（ａ）第５実施形態に係る撮像表示装置を説明する外観図。（ｂ）第６実施形態に係る撮像表示装置を説明する外観図。（ｃ）第７実施形態に係る撮像表示装置を説明する外観図。（ｄ）第８実施形態に係る撮像表示装置を説明する外観図。

【図11】第７実施形態に係る動作フローチャート。

【図12】第８実施形態に係る動作フローチャート。

【発明を実施するための形態】

【0008】

添付の図面を参照しつつ本発明の撮像表示装置の例を以下に説明する。様々な実施形態を通じて同様の要素には同一の参照符号を付し、重複する説明を省略する。また、各実施形態は適宜変更、組み合わせが可能である。なお、本発明の撮像表示装置は、例えばスマートグラス、ＨＭＤ、スマートコンタクトレンズのようなウェアラブルデバイスに適用できる。

【0009】

（第１実施形態）
以下、図１から図４を参照しながら第１実施形態に係る撮像表示装置について説明する。図１（ａ）と図１（ｂ）と図１（ｃ）は、第１実施形態に係る撮像表示装置１００を備えるウェアラブルデバイスの外観図である。ウェアラブルデバイスは、筐体１を有する。筐体１は、レンズ２と、レンズ３と、撮像表示装置１００が備えられている。撮像表示装置１００は、複数の撮像部と複数の表示部を有する。複数の撮像部は、少なくとも撮像部１０と撮像部２０を含む。複数の表示部は、少なくとも表示部５０と表示部６０を含む。筐体１は、眼鏡のリムやテンプル（つる）を含み、信号処理部や制御部や通信部が格納されている。撮像部１０と表示部５０はレンズ２に設けられ、撮像部２０と表示部６０はレンズ３に設けられている。撮像部１０はレンズ２の表側の面２ｆに設けられ、表示部５０はレンズ２の裏側の面２ｂに設けられ、撮像部２０はレンズ３の表側の面３ｆに設けられ、表示部６０はレンズ３の裏側の面３ｂに設けられている。

【0010】

ここで、撮像部１０とレンズ２との配置関係について説明する。撮像部１０は、レンズ２の表側の面２ｆの上に設けられており、レンズ２の面２ｆと撮像部１０の表面とが凹凸面を構成してもよい。また、撮像部１０がレンズ２に埋め込まれていてもよく、レンズ２の面２ｆと撮像部１０の表面が１つの曲面あるいは平面を構成してもよい。撮像部２０とレンズ３との配置関係も撮像部１０とレンズ２との配置関係と同様である。また、表示部５０とレンズ２の配置関係も撮像部１０とレンズ２との配置関係と同様であり、表示部６０とレンズ３の配置関係も撮像部１０とレンズ２との配置関係と同様である。

【0011】

図２は、本実施形態に係る撮像表示装置１００を説明するブロック図である。撮像表示装置１００は、撮像部１０、撮像信号処理部１５、撮像部２０、撮像信号処理部２５、信号処理部３０、表示部５０、表示部６０、入力部７０を備えている。

【0012】

レンズ部１１は、例えば被写体からの光を撮像部１０に集光するためのレンズや、レンズの焦点調節や結像倍率の変更、あるいは光量を変更するための絞りなどの光学機構を含み、信号処理部３０からの制御信号に基づいて駆動される。撮像部１０は、ＣＭＯＳ型のイメージセンサであり、信号処理部３０からの制御信号に基づいて、画像信号を出力する。レンズ部１１と、撮像部１０とで撮像系１２を構成する。撮像信号処理部１５は、撮像部１０からの画像信号に対して、信号処理部３０の制御のもとで色補正処理やホワイトバランス補正、光学シェーディング補正などの画像処理を施した後、信号処理部３０に画像信号と制御信号とを出力する。

【0013】

レンズ部２１は、例えば被写体からの光を撮像部２０に集光するためのレンズや、レンズの焦点調節や結像倍率の変更、あるいは光量を変更するための絞りなどの光学機構を含み、信号処理部３０からの制御信号に基づいて駆動される。撮像部２０は、ＣＭＯＳ型のイメージセンサであり、信号処理部３０からの制御信号に基づいて、画像信号を出力する。レンズ部２１と、撮像部２０とで撮像系２２を構成する。撮像信号処理部２５は、撮像部２０からの画像信号に対して、信号処理部３０の制御のもとで色補正処理やホワイトバランス補正、光学シェーディング補正などの画像処理を施した後、信号処理部３０に画像信号と制御信号とを出力する。

【0014】

信号処理部３０は、撮像表示装置１００の各部を包括的に制御し、また画像処理を行う。信号処理部３０は、信号処理回路３５と信号保持回路３６とを有するマイクロコントローラである。信号保持回路３６は、不揮発性メモリや揮発性メモリなどである。信号保持回路３６は、撮像信号処理部１５と撮像信号処理部２５から出力された画像信号や制御信号を保持する。信号処理部３０は、撮像部１０と撮像部２０から得た画像信号を基に画像処理を行い、表示用の画像信号を生成する。また、信号処理部３０は、この画像処理の結果を基に各部分の制御信号を決定することもできる。ここで、画像信号は画像情報、画像データとも称する。

【0015】

表示部５０は、信号処理部３０から供給された画像信号を表示する。表示部５０は、液晶型、投影型、有機発光型など任意のディスプレイを用いることができる。表示部５０と、インターフェース回路（不図示）などから表示系５２が構成される。表示部６０は、信号処理部３０から供給された画像信号を表示する。表示部６０は、液晶型、投影型、有機発光型など任意のディスプレイを用いることができる。表示部６０と、インターフェース回路（不図示）などから表示系６２が構成される。

【0016】

入力部７０は、例えば電源ボタン、表示の明るさ調整やズーム調整などの各種操作キーやボタン、ダイヤルなどを有する。入力部７０は、ユーザーによる入力操作に応じた制御信号を信号処理部３０に出力する。なお、入力部７０は操作キーなどの物理的な構成要素のみならず、例えば、撮像部や各種検出部を設けてジェスチャー入力、操作者の視線検知入力、音声入力などによる操作を行ってもよい。

【0017】

次に図３を参照して、撮像部１０と、撮像部２０について説明する。ここで、撮像部１０と撮像部２０は、ＣＭＯＳ型のイメージセンサ３００であるものとする。図３（ａ）は、イメージセンサ３００を説明するブロック図である。イメージセンサ３００は、単位セル領域３１０と、その他の領域３２０とを有する。単位セル領域３１０は、複数の単位セル３０１が行列状に配置された領域である。その他の領域３２０は、単位セル領域３１０以外であって、読み出し回路３３０と、垂直走査回路３４０と、水平走査回路３６０と、タイミング制御回路３７０が配されている。

【0018】

複数の単位セル３０１の各々には、例えば、赤（Ｒ）、緑（Ｇ）及び青（Ｂ）のいずれかのカラーフィルターがベイヤー配列になるように設けられている。なお、１つのカラーフィルターと対応する単位セル３０１の数は１つとは限らず、カラーフィルターの配列はベイヤー配列に限定されない。単位セル領域３１０には、列信号線３０２と行信号線３０３とが配されている。少なくとも１つの列信号線３０２は、配列した複数の単位セル３０１の各列に対応して設けられている。列信号線３０２は、各単位セル３０１で得られた信号を読み出すために設けられている。列信号線３０２は、他の領域に配された読み出し回路３３０と電気的に接続している。行信号線３０３は、垂直走査回路３４０と電気的に接続している。垂直走査回路３４０から出力される制御信号によって、各単位セル３０１の素子が動作し、各単位セル３０１で得られた信号を読み出すことができる。図３（ａ）において、行信号線３０３は１本で示されているが、行信号線３０３の詳細な構成については、図３（ｂ）を用いて説明する。

【0019】

読み出し回路３３０は、増幅回路や、相関二重サンプリング回路（以下、ＣＤＳ回路）、アナログデジタル変換回路（以下、ＡＤＣ回路）から構成されている。読み出し回路３３０は、各列信号線３０２に対して１つの読み出し回路部分を有していてもよい。１つの読み出し回路部分は、上述の増幅回路などから構成されうる。ここでは、読み出し回路３３０は複数のＡＤＣ回路を有するものとする。読み出し回路３３０によって生成されたデジタル信号は、水平走査回路３６０によってイメージセンサ３００の外部に出力される。なお、タイミング制御回路３７０は、図２の信号処理部３０からの制御信号に従ってタイミング制御信号を生成する。タイミング制御回路３７０からの制御信号によって、垂直走査回路３４０、水平走査回路３６０、読み出し回路３３０などの動作が制御される。

【0020】

図３（ｂ）は、図３（ａ）に示したイメージセンサ３００の単位セル３０１を説明する回路図である。単位セル３０１は、光電変換素子であるフォトダイオードＰＤ、転送トランジスタＴＸ、増幅トランジスタＳＦ、選択トランジスタＳＬ、リセットトランジスタＲＳ、および付加容量トランジスタＡＰを含む。ここでは、各トランジスタはｎチャネルＭＯＳＦＥＴによって構成されるスイッチ素子であるものとするが、導電型やトランジスタの構造については特に限定されるものではない。

【0021】

転送トランジスタＴＸのゲートには、行信号線３０３（ＴＸ）が接続されている。選択トランジスタＳＬのゲートには、行信号線３０３（ＳＬ）が接続されている。リセットトランジスタＲＳのゲートには、行信号線３０３（ＲＳ）が接続されている。付加容量トランジスタＡＰのゲートには、行信号線３０３（ＡＰ）が電気的に接続されている。これら行信号線３０３は水平方向に延在して、同一行に含まれる単位セル３０１を同時に駆動可能である。このような構成によって、ライン順次動作型のローリングシャッタ動作や、全行同時動作型のグローバルシャッタ動作を行うことができる。

【0022】

フォトダイオードＰＤは、光電変換を行い、生成された信号電荷を蓄積する。転送トランジスタＴＸがオン状態となると、フォトダイオードＰＤに蓄積された信号電荷は、浮遊拡散領域ＦＤに転送され、浮遊拡散領域ＦＤに蓄積される。増幅トランジスタＳＦのドレインは電源電圧ＶＤＤに電気的に接続され、増幅トランジスタＳＦのゲートは浮遊拡散領域ＦＤに電気的に接続される。増幅トランジスタＳＦはソースフォロワ回路を構成し、増幅トランジスタＳＦのゲートのノードはソースフォロワ回路の入力ノードともいえる。増幅トランジスタＳＦは、浮遊拡散領域ＦＤの保持された信号電荷に基づく信号を出力する。選択トランジスタＳＬのドレインは、増幅トランジスタＳＦのソースに電気的に接続される。選択トランジスタＳＬのソースは列信号線３０２に電気的に接続される。選択トランジスタＳＬは、信号を読み出す単位セルを選択することができる。選択トランジスタＳＬがオン状態となると、増幅トランジスタＳＦと不図示の定電流源とがソースフォロワを構成し、浮遊拡散領域ＦＤに保持された信号電荷に対応する信号が列信号線３０２に出力される。

【0023】

リセットトランジスタＲＳのドレインは、電源電圧ＶＤＤに電気的に接続され、リセットトランジスタＲＳのソースは付加容量トランジスタＡＰのドレインに電気的に接続される。付加容量トランジスタＡＰのドレインは、リセットトランジスタＲＳのソースに電気的に接続され、付加容量トランジスタＡＰのソースは浮遊拡散領域ＦＤに電気的に接続される。転送トランジスタＴＸと、付加容量トランジスタＡＰと、リセットトランジスタＲＳとが同時にオン状態となることで、浮遊拡散領域ＦＤと、フォトダイオードＰＤが電源電圧ＶＤＤに基づく所定に電圧に設定される。所定の電圧に設定される動作をリセット動作ともいう。

【0024】

撮像部１０と撮像部２０について説明する。撮像部２０は、撮像部１０よりも高い光量を含む光量範囲に対応している。撮像部１０は第１光量範囲に対応し、撮像部２０は第２光量範囲に対応する。第２光量範囲は第１光量範囲よりも高い光量値を含む。ここで、対応する光量範囲とは、入力光量に対して出力される信号の線形性が保たれている光量範囲である。また、対応する光量範囲とは、各撮像部の最大出力信号に対応した光量と最小出力信号に対応した光量で規定される光量範囲であってもよい。

【0025】

対応する光量範囲を変更する方法として、変換ゲインを変える方法がある。その場合には、撮像部１０の変換ゲインは撮像部２０の変換ゲインよりも高い。ここで、変換ゲインとは、所定の光量に対して得られる信号値の大きさの関係を示すものである。つまり、高い変換ゲインを有する撮像部１０は、入射光量が大きい時には飽和してしまい信号が出力できないが、入射光量が少ない時に精度が高い、多諧調の信号を出力することができる。一方、低い変換ゲインを有する撮像部２０は、入射光量が大きい時にも信号を出力することができる。変換ゲインの大小を変える方法は、例えば、浮遊拡散容量の容量値を切り替える方法や、信号経路の増幅器のゲインを切り替える方法があり、組み合わせて用いることもできる。本実施形態においては、浮遊拡散容量の容量値を切り替える方法について詳述する。

【0026】

浮遊拡散領域ＦＤの容量をＣｆｄとし、付加容量トランジスタＡＰによって付加可能な容量をＡｆｄとする。リセットトランジスタＲＳがオフ状態のときに浮遊拡散領域ＦＤの容量値（ＦＤ容量値）は次のようになる。付加容量トランジスタＡＰがオン状態であれば、ＦＤ容量値は容量Ｃｆｄと容量Ａｆｄの値の和となり、付加容量トランジスタＡＰがオフ状態であれば、ＦＤ容量値は容量Ｃｆｄの値のみとなる。図３（ｂ）において、容量Ｃｆｄと容量Ａｆｄは、設計時に考慮すべき寄生容量等も含み、簡易に示したものとする。この浮遊拡散領域ＦＤの容量値が切り替え可能であることで、光電変換ゲイン、すなわち感度を切り替えることが可能である。それは、上述のように、転送トランジスタＴＸによって浮遊拡散領域ＦＤに転送された信号電荷は、増幅トランジスタＳＦから出力される際には、電圧信号に変換されているためである。

【0027】

本実施例において、図２の撮像部１０は浮遊拡散領域ＦＤの容量を容量Ｃｆｄのみで構成され、図２の撮像部２０は浮遊拡散領域ＦＤの容量を容量Ｃｆｄと容量Ａｆｄの和として構成される。図３（ｂ）では付加容量トランジスタＡＰがオン状態とオフ状態とが可能である。しかし、イメージセンサ３００を撮像部２０として使用する場合には、付加容量トランジスタＡＰが常にオン状態となる構成、すなわち付加容量トランジスタＡＰのゲートに電源電圧ＶＤＤが電気的に接続されている構成にしてもよい。また、イメージセンサ３００を撮像部２０として使用する場合には、付加容量トランジスタＡＰを設けずに、容量Ｃｆｄに容量Ａｆｄを加えた大きな容量ＣＡｆｄとしてもよい。

【0028】

図１や図２に示す撮像表示装置１００では、撮像部１０と撮像部２０とで取得された画像信号を基に信号処理部３０にて画像処理がなされ、処理後の画像信号を基に表示部５０と表示部６０にて画像が表示される。したがって、利用者にとって違和感のない画像を表示するためには、撮像部１０と撮像部２０とで良好な画像信号を取得することが望ましい。良好な画像信号とは、例えば、ダイナミックレンジの広い画像信号を取得することが重要となる。ダイナミックレンジの狭い画像信号を基に表示画像を生成する場合には、利用者が明るさで過度な刺激を感じる、明部は白飛びし且つ暗部は黒つぶれして認識できないなど、利用者が自分の目で見るのとは異なる状況に違和感を覚える可能性がある。そこで、本実施形態の撮像表示装置１００では、感度を異ならせた撮像部１０と撮像部２０を用いて取得した画像信号を基に表示画像を生成する。

【0029】

図４は、撮像表示装置の画像信号を説明する概念図である。図４の概念図の横軸はイメージセンサに入射される光量であり、図４の概念図の縦軸はイメージセンサが出力する信号の大きさを示している。上述のように、撮像部１０の変換ゲインＧ１は、撮像部２０の変換ゲインＧ２よりも高い。ここで、変換ゲインＧ２を小さくするためには、図３（ｂ）における付加容量トランジスタＡＰをオン状態とし、撮像部２０中の単位セル３０１のＦＤ容量値をＡｆｄ＋Ｃｆｄと大きくすればよい。電荷量Ｑ、容量値Ｃ、電圧値Ｖとした場合の関係式はＱ＝ＣＶである。つまり、同じ光量（すなわち同じ電荷量）に対して撮像部１０の単位セル３０１の浮動拡散層ＦＤでは撮像部２０の単位セル３０１の浮動拡散層ＦＤよりも大きな電位変化が生じうる。従って、読み出し回路３３０以降の読み出し経路のノイズレベルが同等であるとすると、撮像部１０の全体のノイズレベルである信号量Ｓ１は、撮像部２０の全体のノイズレベルである信号量Ｓ２よりも小さくなる。つまり、小さい光量の光量範囲Ａにおいては、撮像部１０は撮像部２０よりも画質が良好といえる。一方、撮像部の飽和レベルである信号量Ｓ３に達する光量（飽和光量）は、撮像部２０では光量Ｌ４に対し、撮像部１０の光量Ｌ３と小さくなる。よって、大きい光量である光量範囲Ｃでの画質は、撮像部２０の方が良好となる。中程度の光量である光量範囲Ｂでは撮像部１０および撮像部２０のどちらでも良好な画質を得られる。

【0030】

図２の信号処理部３０において行われる画像処理は、例えば、ダイナミックレンジ拡大処理（以下、ＨＤＲ処理）である。ＨＤＲ処理では、光量範囲の異なる複数の撮像条件で取得した複数の画像信号を用いて、ダイナミックレンジの広い画像信号を生成する。撮像部１０が画像信号を取得可能である光量範囲は範囲Ｒ１であり、撮像部２０が画像信号を取得可能である光量範囲は範囲Ｒ２である。これらの光量範囲の異なる複数の画像信号を合成することにより、光量Ｌ１から光量Ｌ４までの範囲Ｒ３に対応する画像信号を生成することができる。

【0031】

ＨＤＲ処理において、画像信号が切り替わると信号ノイズ比の段差が生じうる。よって、複数の撮像部の両方で画像信号が取得可能な光量範囲Ｂにおいて、複数の画像信号を合成するとよい。その際には、２つの撮像部からの画像信号を例えばα：（１－α）の比率で合成するような信号処理がなされうる。なお、αは０以上１以下を取る。ここで、αは必ずしも一定の値とは限らず、光量範囲Ｂの中で変化させてもよい。例えば光量範囲Ａに近い側ではαを０．５よりも大きくし、光量範囲Ｃに近い側ではαを０．５よりも小さくするなど、よりＨＤＲ処理後の画像に違和感を生じさせないよう変化させてもよい。

【0032】

複数の撮像部を用いて画像信号を取得する場合、ばらつきによる輝度ばらつきや色味のばらつき、ホワイトバランスなどのわずかな違いが利用者に違和感を生じさせうる。複数の撮像部で画像信号が取得可能な光量範囲Ｂの信号を用いて、信号処理部３０で補正処理を行ってもよい。

【0033】

また、光量範囲Ａや光量範囲Ｃのように、複数の撮像部のうちいずれかの撮像部の画像信号のみを用いて良好な画像を得られる場合には、もう一方の撮像部の同領域は一時的に信号読み出しを休止させるなどして、省電力化を図ることもできる。

【0034】

変換ゲインを異ならせた複数の撮像部で取得された画像信号を信号処理部３０で適切に処理することで、ダイナミックレンジの広い画像を取得することができる。すなわち、本実施形態の撮像表示装置によって、黒潰れや白飛びのない違和感の少ない良好な画像を複数の表示部に表示することができる。

【0035】

上述したように、変換ゲインを切り替える方法は、浮遊拡散容量の容量値を切り替える方法に限らない。撮像部１０および撮像部２０が単位セルからの信号を増幅する増幅器を有する構成であってもよい。その場合には、撮像部１０の単位セルからの信号を増幅する増幅器は、撮像部２０の単位セルからの信号を増幅する増幅器よりも高いゲインを有する。このような構成によって、変換ゲインを切り替えることができる。

【0036】

（第２実施形態）
本実施形態に係る撮像表示装置は、第１実施形態の撮像部１が、ＣＭＯＳ型ではなくＳＰＡＤ（Ｓｉｎｇｌｅ Ｐｈｏｔｏｎ Ａｖａｌａｎｃｈｅ Ｄｉｏｄｅ）型のイメージセンサであることが異なる。以下の説明において、第１実施形態で説明した内容については説明を省略する。

【0037】

図５は、撮像部１０が有する単位セル３０１Ｓを示す回路図である。単位セル３０１Ｓは、アバランシェフォトダイオードＡＰＤ、クエンチ抵抗ＱＲ、バッファＢｕｆ、制御部ＤＲＶ、カウンタＣＴを有する。アバランシェフォトダイオードＡＰＤには、クエンチ抵抗ＱＲを介して電位ＨＶＤＤによる逆バイアス電圧が印加される。この時の電位ＨＶＤＤとしては、アバランシェフォトダイオードＡＰＤをガイガーモードで駆動するために、降伏電圧以上の電圧が印加されるよう設定される。バッファＢｕｆの出力は制御部ＤＲＶ内のカウンタＣＴに入力される。カウンタＣＴにおいてカウントされた画像信号は列信号線３０２によって読み出される。列信号線３０２以降の読み出し回路等については、図３（ａ）を適宜、変更することで動作可能である。

【0038】

ここで、図６を用いてフォトン入射時の単位セル３０１Ｓの動作について簡単に説明する。まず、図６（ａ）は、アバランシェフォトダイオードＡＰＤの電流電圧特性（Ｉ－Ｖ特性）を示している。上述のように、アバランシェフォトダイオードＡＰＤはガイガーモードで動作される。ここで、アバランシェフォトダイオードＡＰＤにフォトンが入射すると、アバランシェ増幅による大電流（光電流）が流れる（動作Ａ）。この電流が流れると同時にクエンチ抵抗ＱＲによって逆バイアス電圧が降下し、アバランシェフォトダイオードＡＰＤに印加される逆バイアス電圧が降伏電圧未満となり、アバランシェ増幅が止まる（動作Ｂ）。アバランシェ増幅が止まると、アバランシェフォトダイオードＡＰＤのカソードは再び電位ＨＶＤＤによりチャージされ、ガイガーモードに戻る（動作Ｃ）。動作Ａ～動作Ｃによるバッファ入力端の電圧変化はバッファＢｕｆによってパルス整形され、カウンタＣＴによって計測される。これを繰り返すことでアバランシェフォトダイオードＡＰＤに入射したフォトンの数を計測することが可能である。

【0039】

図６（ｂ）は、横軸を時間としてフォトン入射時にアバランシェフォトダイオードＡＰＤから出力されるアバランシェ増幅による出力電圧のパルス波形と、フォトンの入射を判定する判定閾値Ｖｔｈとの関係を示す模式図である。アバランシェフォトダイオードＡＰＤには電位ＨＶＤＤが供給されているものとする。このとき、アバランシェフォトダイオードＡＰＤに入射したフォトンＡ（時刻ｔ１）、フォトンＢ（時刻ｔ２）、フォトンＣ（時刻ｔ３）によって、カウンタの判定閾値Ｖｔｈを超えて変化するパルス波形が出力される程度のアバランシェ増幅が発生する。パルス波形をカウントすることで、入射するフォトンの個数が計測できる。

【0040】

撮像部１０は図５に示す単位セル３０１Ｓを有し、撮像部２０は図３（ｂ）に示す単位セル３０１を有する。ここで、撮像部２０は、ＣＭＯＳ型のイメージセンサであればよく、図３（ｂ）に示す単位セル３０１のＦＤ容量値がＣｆｄのみであってもよく、付加容量トランジスタＡＰがない構成であってもよく、適宜変更可能である。ここで、単位セル３０１Ｓは単位セル３０１と比較して、リセットトランジスタＲＳや増幅トランジスタＳＦを用いない構成となっている。そのため、撮像部１０では、各トランジスタに起因するｋＴＣノイズやＲＴＳノイズなどが発生せず、撮像部２０と比較して信号ノイズ比（Ｓ／Ｎ比）が優れているため、ランダムノイズの画質への影響が高い静止画での撮影に優れている。

【0041】

ＳＰＡＤ型のイメージセンサからなる撮像部１０では、入射フォトン数の少ない低照度時にも高い変換ゲインで高画質な画像信号を取得することができるが、入射フォトン数の多い高照度時には、カウントエラーと呼ばれる問題が生じうる。図７は、ＳＰＡＤ型のイメージセンサにおいてカウントエラーが起きる場合について説明する図である。図７（ａ）は、横軸を時間としてフォトン入射時のアバランシェ増幅による出力電圧のパルス波形と判定閾値Ｖｔｈとの関係を示す模式図である。図６（ｂ）で説明した動きと異なり、フォトンＤ（時刻ｔ４）により判定閾値Ｖｔｈを超えて変動する電圧が入力された後、図６（ａ）での説明における動作Ｂでのアバランシェ増幅動作が停止する前にフォトンＥ（時刻ｔ５）が入射する。このとき、時刻ｔ４で起きたアバランシェ増幅による波形変動が判定閾値Ｖｔｈを上回らない内に時刻ｔ５でフォトンＥが入射するため、フォトンＥに対するカウント動作ができない状態となる。また、フォトンＦ（時刻ｔ６）の入射時も時刻ｔ４～時刻ｔ５のときと同様な状態となるため、フォトンＦも同様にカウントされない。このように、被写体の輝度が高い場合、判定閾値Ｖｔｈを上回らない内に連続してフォトンが入射するため、実際に入射するフォトンの数よりもカウント値が小さくなり、カウントエラー（カウント飽和）となってしまう。なお、時刻ｔ６から時刻ｔ７の間は、フォトンが入射されず、電圧が一旦判定閾値Ｖｔｈを上回るため、その後に入射されるフォトンＧ（時刻ｔ７）に対する電圧のパルス波形はカウントされる。

【0042】

図７（ｂ）は、ＳＰＡＤ型のイメージセンサにおける照度とカウント値との関係を示す図である。照度が大きくなるとフォトン数が増えていくため、ＳＰＡＤ型のイメージセンサでカウントされるカウント値も比例して増えていくが、照度Ｍ以上になると図７（ａ）における時刻ｔ４～時刻ｔ６の状態が起こり、カウントエラー（カウント飽和）が発生する。さらに照度が増していくと、同時に入射されるフォトン数が更に増え、カウントエラー状態が続くために、理想的なカウント値（破線）に対して、実際のカウント値（実線）は照度Ｎを境に反比例の関係となる。

【0043】

本実施形態の撮像表示装置１００では、変換ゲインや動作モードの異なる撮像部１０と撮像部２０で取得された画像信号を信号処理部３０で処理することで、良好な画像を複数の表示部で示すことができる。図８は、本実施形態の撮像表示装置１００の画像信号を説明する概念図である。図８の概念図の横軸はイメージセンサに入射される光量であり、図８の概念図の縦軸はイメージセンサが出力する信号の大きさを示している。撮像部２０は、撮像部１０よりも高い光量を含む光量範囲に対応している。撮像部１０は光量範囲Ｒ１に対応し、撮像部２０は光量範囲Ｒ２に対応している。撮像部１０は光量範囲Ｒ１の光に対応した信号を出力することができる。撮像部２０は光量範囲Ｒ２の光に対応した信号を出力することができる。光量範囲Ｒ２は光量範囲Ｒ１よりも高い光量値を含む。本実施形態では、対応する光量範囲を変更する方法として、撮像部１０と撮像部２０で異なる形式のイメージセンサを用いている。

【0044】

撮像部１０では、光量Ｌ１から光量Ｌ３までの低輝度な像に対応している。撮像部２０では、光量Ｌ２よりも小さな光量の信号はノイズ信号である信号Ｓ２に埋もれてしまい読み出すことができない。一方、光量Ｌ３よりも大きな光量の信号は、撮像部２０によって読み出すことができる。このような撮像部１０と撮像部２０を用いることによって、広い光量範囲に対応した画像信号を取得することが可能となる。

【0045】

信号処理部３０において行われる画像処理は、例えば、ダイナミックレンジ拡大処理（以下、ＨＤＲ処理）である。ＨＤＲ処理では、光量範囲の異なる複数の撮像条件で取得した複数の画像信号を用いて、ダイナミックレンジの広い画像信号を生成する。撮像部１０が画像信号を取得可能である光量範囲は範囲Ｒ１であり、撮像部２０が画像信号を取得可能である光量範囲は範囲Ｒ２である。これらの光量範囲の異なる複数の画像信号を合成することにより、光量Ｌ１から光量Ｌ４までの光量範囲Ｒ３に対応する画像信号を生成することができる。

【0046】

撮像部１０は、低照度時にも高い画質の画像信号が得られる一方、アバランシェ増幅による大電流で消費電力が大きくなりうるため、図８に示した光量範囲Ｃにおいては高照度の領域では一時的に信号読み出しを休止させるなどして、省電力化を図っても良い。更に、撮像部１０を休止させる光量範囲を光量範囲Ｃに加えて光量範囲Ｂの一部や全部に拡大しても良い。

【0047】

本実施形態では、撮像部１０をＳＰＡＤ型のイメージセンサであるものとしたが、他の形式のイメージセンサを用いることができる。

【0048】

（第３実施形態）
本実施形態では、撮像表示装置の操作方法について説明する。第１、第２実施形態に係る撮像表示装置１００では、信号処理部３０で複数の表示部に表示する画像信号のダイナミックレンジを拡張しうる。ここで、利用者によって違和感が生じる明るさには個人差がありうる。撮像表示装置１００は、図２に示すように入力部７０を有する。利用者が入力部７０を操作することで、輝度調整を行うことができる。入力部７０からの操作信号が信号処理部３０に入力することによって、信号処理部３０で行われるダイナミックレンジの幅を撮像表示装置１００が正しく動作可能な範囲で調整することができる。また、入力部７０からの操作信号によって、表示部の輝度調整を行うことができる。

【0049】

入力部７０の操作は、ボタン、スイッチ、タッチパネルなどに限らず、少なくとも１つの撮像部１０および撮像部２０の画像信号を基に指示体の動きを検出（動体検出）し、検出した指示体の動きに基づく操作を受け付けるジェスチャー入力でありうる。また、入力部７０が音声検出部を有し、入力部７０の操作は音声を検出することで行われる音声入力でありうる。また、入力部７０が利用者の視線や瞳を検知する視線検出部を有し、入力部７０の操作は、視線の動きを検出することでの視線入力や、瞬きの回数を検出することでの瞬き入力などでありうる。また、瞳の大きさの変化を検出することにより、上述の表示画像の明るさを調整するなどの動作を行っても良い。誤動作を防止するために、上記の入力方法を複数組み合わせて用いても良い。例えば、ボタンを押しながらジェスチャーを行うことでジェスチャー入力が有効になる、といった動作を行うことができる。以上の動作が可能とすることで、さらに利用者個人に合わせた違和感の少ない撮像表示装置を提供することができる。

【0050】

（第４実施形態）
本実施形態では、撮像表示装置１００の表示に関して説明する。上述の撮像表示装置１００は、利用者の左右の眼に合わせて表示部をそれぞれ配置することができる。人間がある対象物を見る際には、物理的に離れている左右の眼で見るため視差が生じる。この視差によって対象物の立体感や他の物や背景と奥行きを感じることができる。従って、ＨＭＤやスマートグラスにおいて、複数の表示部に同一の画像信号を表示すると、立体感や奥行きを感じ難く利用者に違和感が生じうる。しかし、上述してきた撮像表示装置によれば、複数の撮像部を物理的に離れた個所に配置することで、両眼における視差に相当する画像を複数の撮像部で取得し、複数の表示部にそれぞれ異なる視差に相当する画像信号を表示することができる。具体的には、撮像部１０と表示部５０との距離と、撮像部２０と表示部６０との距離とが等しい場合には、撮像部１０と表示部５０との距離を用いて画像信号を生成する。撮像部１０と表示部５０との距離とは、いわゆる視差情報となりうる。例えば、撮像部１０と表示部５０との距離は、撮像部１０の光学中心と表示部５０の光学中心との距離とする。

【0051】

図９は、撮像表示装置１００の動作を説明するための動作フローチャートである。まず、撮像部１０と撮像部２０は、それぞれで画像信号を取得する。そして、画像信号は、図２に示す撮像信号処理部１５、２５および信号処理部３０で処理される。処理では、共通の光量範囲の出力信号で輝度や色味のばらつきなどの補正処理が行われる。そして、画像信号の合成を実施し、ダイナミックレンジが拡張させた画像信号を生成する。さらに、ダイナミックレンジが拡張された画像信号を、上述の視差情報に基づいて再分配し、各表示部５０、６０に合わせた表示用画像を生成する。

【0052】

また、図４に示す光量範囲Ａや光量範囲Ｃのように、複数の撮像部のうち、一方の画像信号のみを複数の表示部に表示する画像信号として用いる場合、複数の表示部に同一の画像信号を表示させると前述のとおり違和感を生じうる。そこで、信号処理部３０を用いて疑似的に視差を付加し、複数の表示部には視差に相当する異なる画像信号を表示することで、利用者に違和感を生じづらくすることができる。この視差を付加する場合には、不使用の画像信号を基に視差情報を得ることができる。視差情報は、光量範囲Ｂのように複数の撮像部で取得可能な画像信号を用いてもよいし、信号処理部３０などで対象物をＤｅｅｐ Ｌｅａｒｎｉｎｇなどを基に認識し、疑似的に視差を付加してもよい。

【0053】

また、複数の撮像部の他に距離を計測するためのＴｏＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）センサやＬｉＤＡＲなどを用いてもよい。被写体までの距離を計測することで、複数の表示系に表示する画像信号に付加する視差情報を精度よく算出することができ、より利用者に違和感が生じづらくなる。また、視線検知センサなどを用いることで、利用者が注目している点以外の解像度を落とすことで、より立体感などを実現することができ、利用者に違和感が生じ難くなるとともに、撮像部、表示部の省電力化も図ることができる。

【0054】

（第５実施形態）
本実施形態の撮像表示装置ついて、図１０（ａ）および図９を参照しながら説明する。本実施形態の撮像表示装置では、図１０（ａ）に示すように左右のレンズに相当する部分に、撮像部１０Ａと撮像部１０Ｂが配されている。そして、別の撮像部２０が、撮像部１０Ａと撮像部１０Ｂとの間に配されている。本実施形態は第１実施形態と比較して、第１実施形態の撮像部１０が２つに分かれて配されており、第１実施形態の撮像部２０がそれらの間に位置するように設けられている点が異なる。以下の説明において、先の実施形態で説明した内容については説明を省略する。

【0055】

装着者にとって違和感のない画像を表示するために、複数の表示部５０、６０のそれぞれの表示画像に適切な視差情報を付加することが望ましい。しかし、先の実施形態は、左右の視差情報をそれぞれ異なる形態の撮像部１０と撮像部２０とを用いて推定する方法であった。その場合、異なる形態の撮像部を用いるため、同じ被写体を撮像しているにもかかわらず、撮像結果の輝度差や色バランスのばらつきが大きくなりうる。それによって、表示画像に違和感が残る可能性がある。そこで、視差情報を推定するための撮像部として、図１０（ａ）に示すように左右に略対称に同一形態の撮像部１０Ａ、１０Ｂを配置している。このような構成によって、ばらつきを抑制し、視差情報の不足を生じさせづらくすることができる。

【0056】

画像信号の処理フローは、図９において説明した処理フローと同様である。すなわち、各撮像部１０Ａ、１０Ｂ、２０で取得したそれぞれの画像信号と視差情報を撮像信号処理部１５、２５および信号処理部３０で処理することで、各表示部５０、６０に合わせて表示画像を生成する。先の実施形態よりも基となる画像信号を多く取得できることから、ばらつきの補正処理や視差情報の生成の精度がより向上し、利用者が覚える違和感をより低減することができる。

【0057】

（第６実施形態）
本実施形態の撮像表示装置について、図１０（ｂ）および図９を参照しながら説明する。本実施形態の撮像表示装置では、図１０（ｂ）に示すように一方のレンズに撮像部１０Ａと撮像部２０Ａの組が配され、他方のレンズに撮像部１０Ｂと撮像部２０Ｂの組が配されている。本実施形態は第１実施形態と比較して、第１実施形態の撮像部１０が２つに分かれて配されており、第１実施形態の撮像部２０が２つに分かれて配されている点が異なる。以下の説明において、先の実施形態で説明した内容については説明を省略する。

【0058】

装着者にとって違和感のない画像を表示するためには、複数の表示部５０、６０のそれぞれの表示画像に適切な視差情報を付加することが望ましい。そこで、第５実施形態と同様に、本実施形態では、図１０（ｂ）に示すように左右に略対称に同一形態の撮像部１０Ａ、１０Ｂを配置している。また、図１０（ｂ）に示すように左右に略対称に同一形態の撮像部２０Ａ、２０Ｂを配置している。そして、本実施形態では、視差情報を推定するための撮像部として、撮像部１０Ａと撮像部１０Ｂの組と、撮像部２０Ａと撮像部２０Ｂの組と、の少なくとも一方を用いる。このような構成によって、ばらつきが抑制され、視差情報の不足を生じさせづらくすることができる。

【0059】

画像信号の処理フローは、図９において説明した処理フローと同様である。すなわち、各撮像部１０Ａ、１０Ｂ、２０Ａ、２０Ｂで取得したそれぞれの画像信号を撮像信号処理部１５、２５および信号処理部３０で処理することで、各表示部５０、６０に合わせて表示画像を生成する。先の実施形態よりも基となる画像信号を多く取得できることから、ばらつきの補正処理や視差情報の生成の精度がより向上し、利用者が覚える違和感をより低減することができる。

【0060】

なお、図１０（ｂ）において、撮像部１０Ａと撮像部２０Ａが平面的に異なる位置に配されている。また、撮像部１０Ｂと撮像部２０Ｂが平面的に異なる位置に配されている。しかし、撮像部１０Ａと撮像部２０Ａの組、あるいは撮像部１０Ｂと撮像部２０Ｂの組のそれぞれの撮像部は、例えば共通の光学系に対して同一チップ内に形成することもできる。つまり、撮像部１０Ａと撮像部２０Ａは、同一チップ内に積層させて配置させてもよく、市松模様状などに組み合わせて配置してもよい。撮像部１０Ｂと撮像部２０Ｂは、同一チップ内に積層させて配置させてもよく、市松模様状などに組み合わせて配置してもよい。

【0061】

（第７実施形態）
本実施形態の撮像表示装置について、図１０（ｃ）および図１１を参照しながら説明する。本実施形態の撮像表示装置では、図１０（ｃ）に示すように一方のレンズに撮像部１０が配され、他方のレンズに撮像部２０が配され、それらの間に測距光学系４０が配されている。本実施形態は第１実施形態と比較して、第１実施形態の撮像部１０と撮像部２０との間に、測距光学系４０を設けた点が異なる。以下の説明において、先の実施形態で説明した内容については説明を省略する。

【0062】

図１０（ｃ）および図Ｂ１を参照しながら、第Ｅ実施形態に係る撮像表示装置について説明する。本実施形態に係る撮像表示装置は第１実施形態に対し、測距光学系４０が追加されている点が異なる。以下の説明において、先の実施形態で説明した内容については説明を省略する。

【0063】

先に述べたように、装着者にとって違和感のない画像を表示するためには、複数の表示部５０、６０のそれぞれの表示画像に適切な視差情報を付加することが望ましい。しかし、先の実施形態においては、左右の視差情報は画像信号と被写体までの距離の推測からＤｅｅｐ Ｌｅａｒｎｉｎｇなどにより推定するため、実際の距離情報とは異なる結果となる場合や精度が低くなる懸念がある。そこで、図１０（ｃ）に示すように測距光学系４０を設けることで、距離情報を正確に測定する。このような構成によって、表示部５０、６０への画像信号の再分配のための視差情報の精度を高めることができる。

【0064】

測距光学系４０は、例えばオートフォーカス用のセンサモジュールを用いることができる。または、測距光学系４０に半導体レーザーを照射するためのレーザー光源を配置し、撮像部１０、２０の少なくともいずれか一方でＴｉｍｅ ｏｆ Ｆｌｉｇｈｔ法（以下、ＴｏＦ法）などを用いる距離計測を行うこともできる。さらには、撮像面位相差オートフォーカスと呼ばれる技術を撮像部１０、２０の画素に導入しておき、撮像部１０、２０で取得した位相差情報と組み合わせて用いることも可能である。

【0065】

画像信号の処理フローは、図１１に示す処理フローとなる。撮像部１０と撮像部２０は、それぞれが画像信号を取得する。そして、画像信号は、撮像信号処理部１５、２５および信号処理部３０で他の実施形態にて行われた処理がなされる。そして、画像情報が生成される。並行して、測距光学系４０から得られた信号を信号処理部３０で処理し距離情報を生成する。測距光学系４０は、測距信号、すなわち距離信号を取得可能である。この距離情報を用いて、更に表示用視差情報が生成される。信号処理部３０では、画像情報と表示用視差情報とから、各表示部５０、６０に合わせた再分配を行い、表示用画像を生成する。先の実施形態よりも精度の高い距離情報を取得できることから、ばらつきの補正処理や視差情報の生成の精度がより向上し、利用者に違和感をより生じづらくさせることができる。

【0066】

本実施形態においては、視差情報をより精度高く取得することにより、より利用者の違和感を低減した表示画像を提供することが可能となる。

【0067】

（第８実施形態）
本実施形態の撮像表示装置について、図１０（ｄ）および図１２を参照しながら説明する。本実施形態の撮像表示装置では、図１０（ｄ）に示すように一方のレンズに撮像部１０Ａと撮像部２０Ａの組が配され、他方のレンズに撮像部１０Ｂと撮像部２０Ｂの組が配されている。本実施形態の撮像表示装置では、２つのレンズの間に測距光学系４０が設けられている。本実施形態は第１実施形態と比較して、第１実施形態の撮像部１０が２つに分かれて配されており、第１実施形態の撮像部２０が２つに分かれて配されており、測距光学系４０を有する点が異なる。以下の説明において、先の実施形態で説明した内容については説明を省略する。

【0068】

例えば、本実施形態の測距光学系４０は、半導体レーザーを照射するためのレーザー光源である。そして、撮像部１０と撮像部２０の少なくともいずれか一方でＴｏＦ法などを用いる距離計測を行う。撮像面位相差法と呼ばれる技術を撮像部１０もしくは撮像部２０の画素に導入することもできる。撮像面位相差法は、撮像面位相差オートフォーカスとも称する。本実施形態では、ＴｏＦ法取得した位相差情報と撮像面位相差法にて取得した位相差情報とを組み合わせて用いる。例えば、撮像部１０としてＳＰＡＤセンサを用い、撮像部１０ではＴｏＦ法によって距離情報を取得する。そして、撮像部２０としてＣＭＯＳセンサを用い、撮像部２０では撮像面位相差法によって距離情報を取得する。本実施形態においては、先の実施例と比べて、左右それぞれの撮像部で距離情報が取得できることから、より正確な視差情報を取得することが可能となる。よって、本実施形態の構成によって、精度の高い視差情報を付加した表示画像を生成することが可能となる。

【0069】

画像信号の信号フローは、図１２に示す処理フローとなる。撮像部１０と撮像部２０は、それぞれが画像信号を取得する。そして、撮像部１０と撮像部２０は、それぞれが距離信号を取得する。画像信号は、撮像信号処理部１５、２５および信号処理部３０で他の実施形態にて行われた処理がなされる。そして、画像情報が生成される。並行して、距離信号は、撮像信号処理部１５、２５および信号処理部３０で処理され、距離情報が生成される。距離情報を用いて、更に表示用視差情報が生成される。信号処理部３０では、画像情報と表示用視差情報とから、各表示部５０、６０に合わせた再分配を行い、表示画像を生成する。先の実施形態よりも精度の高い距離情報を取得できることから、ばらつきの補正処理や視差情報の生成の精度がより向上する。よって、より利用者の違和感を低減した表示画像を提供することが可能となる。

【0070】

なお、距離情報は撮像部や表示部に配置ずれがある場合や、利用者が傾けて装着していることも考えられるため、適宜補正されることが望ましい。また、視差情報は利用者により違和感が生じる度合いが異なるため、適宜調整可能なようにしておくことが望ましい。

【0071】

各実施形態において、撮像表示装置が２つの撮像部と２つの表示部を有する場合について説明したが、３つ以上の撮像部と、３つ以上の表示部とを有する場合などを含む。３つ以上の撮像部を有する場合には、例えば、立体感を有する表示画像を生成することもできる。また、可視光の場合を説明したが、任意の波長においても適用可能である。また、各実施形態において、撮像部が左右それぞれ２つまでの例を挙げたが、それ以上の撮像部を用いても良い。信号処理にかかる負荷とのバランスから撮像部の個数を決定しても良い。

【符号の説明】

【0072】

１０ 撮像部
２０ 撮像部
３０ 信号処理部
５０ 表示部
６０ 表示部
１００ 撮像表示装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】