特許 7360819 撮像装置、及び撮像制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-10-04

(45)【発行日】2023-10-13

(54)【発明の名称】撮像装置、及び撮像制御方法

(51)【国際特許分類】

   H04N 25/40 20230101AFI20231005BHJP

【ＦＩ】

H04N25/40

【請求項の数】 7

(21)【出願番号】P 2019099338

(22)【出願日】2019-05-28

(65)【公開番号】P2020195051

(43)【公開日】2020-12-03

【審査請求日】2022-04-28

(73)【特許権者】

【識別番号】000209751

【氏名又は名称】池上通信機株式会社

(74)【代理人】

【識別番号】110001243

【氏名又は名称】弁理士法人谷・阿部特許事務所

(72)【発明者】

【氏名】山本 浩也

【審査官】鈴木 肇

(56)【参考文献】

【文献】特開２０１５－０６１１２５（ＪＰ，Ａ）

【文献】国際公開第２０１０／１０１４３４（ＷＯ，Ａ２）

【文献】特表２００４－５０６２８５（ＪＰ，Ａ）

【文献】特開平０４－３２６２６７（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１７／０３３９３２４（ＵＳ，Ａ１）

【文献】特開平０６－１４１２４６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／２２２－ ５／２５７

Ｈ０４Ｎ ５／３０ － ５／３３

Ｈ０４Ｎ ２３／００ －２３／７６

Ｈ０４Ｎ ２３／９０ －２３／９５９

Ｈ０４Ｎ ２５／００ －２５／７９

(57)【特許請求の範囲】

【請求項1】

光が入射する第１の面と、光が出射する第２及び第３の面とを有し、前記第１の面に入射する光の光路を２つに分割して前記第２及び第３の面に導く光学部材と、
前記第２の面の側において、前記第１の面内の第１の領域を通った光が出射する位置に配置される第１の撮像素子と、
前記第３の面の側において、前記第１の面内の第２の領域を通った光が出射する位置に配置される第２の撮像素子と、
前記第１の撮像素子からの出力に基づく第１の映像と、前記第２の撮像素子からの出力に基づく第２の映像とを合成して第３の映像を生成する映像処理部と、
を備え、
前記第１の領域は、前記第２の領域と一部が重複するように配置され、
前記第１の撮像素子及び前記第２の撮像素子のそれぞれは、前記第１の領域と前記第２の領域とが重複しない非重複領域の少なくとも一部を通った光の入射位置にある受光面端部の画素ラインから順に各画素ラインで生成される電気信号を順次読み出し、
前記映像処理部は、前記第１の領域と前記第２の領域とが重なる重複領域に対応する前記第３の映像の映像要素を生成するとき、前記映像要素の画素値Ｐを式（１）に基づいて計算し、
Ｐ＝Ｋ・Ｐ１＋（１－Ｋ）・Ｐ２ …式（１）、
ここで、Ｐ１は、前記第１の映像の画素値であり、Ｐ２は、前記第２の映像の画素値であり、Ｋは、前記画素値Ｐに対応する画素と、前記第１の領域における非重複領域と前記重複領域との境界Ｌ１との間の距離ｄの関数で表現されるパラメータであり、前記関数は、０から、前記境界Ｌ１と、前記第２の領域における非重複領域と前記重複領域との境界Ｌ２との間の距離Ｄまで前記距離ｄが増加するにつれて滑らかに減少し、前記距離ｄが０のときに１となり、かつ前記距離ｄが前記距離Ｄに等しいときに０となる関数であり、
前記第３の映像は、Ｎ×Ｎ画素のスクエア映像であり、
前記映像処理部は、前記スクエア映像の中心部に位置する（Ｎ／２）×Ｍ画素（Ｍ＜Ｎ）の領域を切り出して第４の映像を生成し、前記スクエア映像をＭ×Ｍ画素にダウンコンバートした後、ダウンコンバート後の映像の左端及び右端から、｛（Ｍ－Ｎ／２）／２｝×Ｍ画素の領域を取り除いて（Ｎ／２）×Ｍ画素の第５の映像を生成し、前記第４の映像と前記第５の映像とを左右に並べて合成したワイド映像を生成する、
撮像装置。

【請求項2】

光が入射する第１の面と、光が出射する第２及び第３の面とを有し、前記第１の面に入射する光の光路を２つに分割して前記第２及び第３の面に導く光学部材と、
前記第２の面の側において、前記第１の面内の第１の領域を通った光が出射する位置に配置される第１の撮像素子と、
前記第３の面の側において、前記第１の面内の第２の領域を通った光が出射する位置に配置される第２の撮像素子と、
前記第１の撮像素子からの出力に基づく第１の映像と、前記第２の撮像素子からの出力に基づく第２の映像とを合成して第３の映像を生成する映像処理部と、
を備え、
前記第１の領域は、前記第２の領域と一部が重複するように配置され、
前記第１の撮像素子及び前記第２の撮像素子のそれぞれは、前記第１の領域と前記第２の領域とが重複する重複領域の少なくとも一部を通った光の入射位置にある受光面端部の画素ラインから順に各画素ラインで生成される電気信号を順次読み出し、
前記映像処理部は、前記第１の領域と前記第２の領域とが重なる重複領域に対応する前記第３の映像の映像要素を生成するとき、前記映像要素の画素値Ｐを式（１）に基づいて計算し、
Ｐ＝Ｋ・Ｐ１＋（１－Ｋ）・Ｐ２ …式（１）、
ここで、Ｐ１は、前記第１の映像の画素値であり、Ｐ２は、前記第２の映像の画素値であり、Ｋは、前記画素値Ｐに対応する画素と、前記第１の領域における非重複領域と前記重複領域との境界Ｌ１との間の距離ｄの関数で表現されるパラメータであり、前記関数は、０から、前記境界Ｌ１と、前記第２の領域における非重複領域と前記重複領域との境界Ｌ２との間の距離Ｄまで前記距離ｄが増加するにつれて滑らかに減少し、前記距離ｄが０のときに１となり、かつ前記距離ｄが前記距離Ｄに等しいときに０となる関数であり、
前記第３の映像は、Ｎ×Ｎ画素のスクエア映像であり、
前記映像処理部は、前記スクエア映像の中心部に位置する（Ｎ／２）×Ｍ画素（Ｍ＜Ｎ）の領域を切り出して第４の映像を生成し、前記スクエア映像をＭ×Ｍ画素にダウンコンバートした後、ダウンコンバート後の映像の左端及び右端から、｛（Ｍ－Ｎ／２）／２｝×Ｍ画素の領域を取り除いて（Ｎ／２）×Ｍ画素の第５の映像を生成し、前記第４の映像と前記第５の映像とを左右に並べて合成したワイド映像を生成する、
撮像装置。

【請求項3】

前記第１の撮像素子及び前記第２の撮像素子は同じ仕様の固体撮像素子であり、
前記第１の撮像素子における読み出し開始のタイミングを、前記第２の撮像素子における読み出し開始のタイミングと一致させる制御部をさらに備える
請求項１又は２に記載の撮像装置。

【請求項4】

前記制御部は、前記第１の撮像素子の読み出し速度が、前記第２の撮像素子の読み出し速度より遅い場合に、前記第２の撮像素子の読み出し速度を、前記第１の撮像素子の読み出し速度と一致させる
請求項３に記載の撮像装置。

【請求項5】

前記Ｋは、式（２）で与えられる、
Ｋ＝｛１＋ｃｏｓ［π（ｄ／Ｄ）］｝／２ …式（２）、
請求項１又は２に記載の撮像装置。

【請求項6】

光が入射する第１の面と、光が出射する第２及び第３の面とを有し、前記第１の面に入射する光の光路を２つに分割して前記第２及び第３の面に導く光学部材と、前記第２の面の側において、前記第１の面内の第１の領域を通った光が出射する位置に配置される第１の撮像素子と、前記第３の面の側において、前記第１の面内の第２の領域を通った光が出射する位置に配置される第２の撮像素子と、前記第１の撮像素子からの出力に基づく第１の映像と、前記第２の撮像素子からの出力に基づく第２の映像とを合成して第３の映像を生成する映像処理部と、を備えた撮像装置における撮像制御方法であって、
前記第１の領域は、前記第２の領域と一部が重複するように配置され、
前記撮像装置の制御部により、前記第１の撮像素子及び前記第２の撮像素子のそれぞれが、前記第１の領域と前記第２の領域とが重複しない非重複領域の少なくとも一部を通った光の入射位置にある受光面端部の画素ラインから順に各画素ラインで生成される電気信号を順次読み出すように制御することと、
前記第１の領域と前記第２の領域とが重なる重複領域に対応する前記第３の映像の映像要素を生成することと、
を含み、
前記第３の映像の映像要素を生成するとき、前記映像要素の画素値Ｐを式（１）に基づいて計算し、
Ｐ＝Ｋ・Ｐ１＋（１－Ｋ）・Ｐ２ …式（１）、
ここで、Ｐ１は、前記第１の映像の画素値であり、Ｐ２は、前記第２の映像の画素値であり、Ｋは、前記画素値Ｐに対応する画素と、前記第１の領域における非重複領域と前記重複領域との境界Ｌ１との間の距離ｄの関数で表現されるパラメータであり、前記関数は、０から、前記境界Ｌ１と、前記第２の領域における非重複領域と前記重複領域との境界Ｌ２との間の距離Ｄまで前記距離ｄが増加するにつれて滑らかに減少し、前記距離ｄが０のときに１となり、かつ前記距離ｄが前記距離Ｄに等しいときに０となる関数であり、
前記第３の映像は、Ｎ×Ｎ画素のスクエア映像であり、
前記方法は、前記スクエア映像の中心部に位置する（Ｎ／２）×Ｍ画素（Ｍ＜Ｎ）の領域を切り出して第４の映像を生成することと、前記スクエア映像をＭ×Ｍ画素にダウンコンバートした後、ダウンコンバート後の映像の左端及び右端から、｛（Ｍ－Ｎ／２）／２｝×Ｍ画素の領域を取り除いて（Ｎ／２）×Ｍ画素の第５の映像を生成することと、前記第４の映像と前記第５の映像とを左右に並べて合成したワイド映像を生成することと、をさらに含む、
撮像制御方法。

【請求項7】

光が入射する第１の面と、光が出射する第２及び第３の面とを有し、前記第１の面に入射する光の光路を２つに分割して前記第２及び第３の面に導く光学部材と、前記第２の面の側において、前記第１の面内の第１の領域を通った光が出射する位置に配置される第１の撮像素子と、前記第３の面の側において、前記第１の面内の第２の領域を通った光が出射する位置に配置される第２の撮像素子と、前記第１の撮像素子からの出力に基づく第１の映像と、前記第２の撮像素子からの出力に基づく第２の映像とを合成して第３の映像を生成する映像処理部と、を備えた撮像装置における撮像制御方法であって、
前記第１の領域は、前記第２の領域と一部が重複するように配置され、
前記撮像装置の制御部により、前記第１の撮像素子及び前記第２の撮像素子のそれぞれが、前記第１の領域と前記第２の領域とが重複する重複領域の少なくとも一部を通った光の入射位置にある受光面端部の画素ラインから順に各画素ラインで生成される電気信号を順次読み出すように制御することと、
前記第１の領域と前記第２の領域とが重なる重複領域に対応する前記第３の映像の映像要素を生成することと、
を含み、
前記第３の映像の映像要素を生成するとき、前記映像要素の画素値Ｐを式（１）に基づいて計算し、
Ｐ＝Ｋ・Ｐ１＋（１－Ｋ）・Ｐ２ …式（１）、
ここで、Ｐ１は、前記第１の映像の画素値であり、Ｐ２は、前記第２の映像の画素値であり、Ｋは、前記画素値Ｐに対応する画素と、前記第１の領域における非重複領域と前記重複領域との境界Ｌ１との間の距離ｄの関数で表現されるパラメータであり、前記関数は、０から、前記境界Ｌ１と、前記第２の領域における非重複領域と前記重複領域との境界Ｌ２との間の距離Ｄまで前記距離ｄが増加するにつれて滑らかに減少し、前記距離ｄが０のときに１となり、かつ前記距離ｄが前記距離Ｄに等しいときに０となる関数であり、
前記第３の映像は、Ｎ×Ｎ画素のスクエア映像であり、
前記方法は、前記スクエア映像の中心部に位置する（Ｎ／２）×Ｍ画素（Ｍ＜Ｎ）の領域を切り出して第４の映像を生成することと、前記スクエア映像をＭ×Ｍ画素にダウンコンバートした後、ダウンコンバート後の映像の左端及び右端から、｛（Ｍ－Ｎ／２）／２｝×Ｍ画素の領域を取り除いて（Ｎ／２）×Ｍ画素の第５の映像を生成することと、前記第４の映像と前記第５の映像とを左右に並べて合成したワイド映像を生成することと、をさらに含む、
撮像制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、撮像装置、及び撮像制御方法に関する。

【背景技術】

【0002】

放送分野では、ハイビジョン（１９２０×１０８０画素）、４Ｋ（３８４０×２１６０画素）と呼ばれる高解像度の映像を提供する映像技術が既に確立されて実用化に至っている。最近では、８Ｋ（７６８０×４３２０画素）と呼ばれる超高解像度の映像（以下、８Ｋ映像）を提供する映像技術が実用レベルに達している。こうした映像の高解像度化へのニーズは、放送分野だけでなく医療分野などでも高まっている。

【0003】

近年、医療現場では、検査、治療及び診断のために様々な形で映像及び画像が利用されている。例えば、内視鏡に設置したカメラを利用して対象部位を撮影し、対象部位の病変を確認すること、及び病変部位に対して内視鏡手術を施すことなどは広く行われている。さらに、映像が高精細化したことで、脳外科顕微鏡手術や心臓血管外科手術などへの応用も期待されている。また、遠隔地の高度医療施設に対象部位の映像を送り、より専門的な診断や遠隔治療を可能にする遠隔医療への応用も期待されている。

【0004】

高解像度化を含めた映像品質の向上は、放送分野において視聴者にリアルな映像を届けることを可能にするだけでなく、医療分野において正確な診断、安全且つ高度な治療を実現するために欠かせない。一方で、高解像度の映像を得るには、所望する解像度に対応する画素数の撮像素子（例えば、ＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）やＣＣＤ（Charge Coupled Device））を用意する必要がある。

【0005】

ダイサイズを大きくし、画素密度を高めることで撮像素子の画素数は多くなる。しかし、画素数が多くなるほど撮像素子１枚当たりのコストは高くなる。例えば、８Ｋに対応する撮像素子１枚のコストは、４Ｋに対応する撮像素子１枚のコストを大きく上回る。また、撮像素子のサイズが大きくなると、その撮像素子を搭載するカメラのサイズも大きくなる。そのため、小型で軽量な高解像度カメラを実現することは容易でない。このことに関し、下記の特許文献１では、４Ｋに対応する撮像素子を２枚組み合わせて小型で軽量な高解像度カメラを実現する技術（以下、提案技術）が提案されている。

【先行技術文献】

【特許文献】

【0006】

【文献】特開2017-50825号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

上記の提案技術は、入射光を分光し、入射光のＧ（緑色）成分を一方の撮像素子に入射させ、Ｒ（赤色）成分及びＢ（青色）成分を他方の撮像素子に入射させ、これら一対の撮像素子からの出力に基づく２つの映像を合成する方法が提案されている。特に、上記の提案技術では、これら２つの映像が縦・横それぞれ半画素ずれるように一対の撮像素子を配置する方法が採られている。この方法を適用することで、４Ｋの約２倍に相当する解像度を有する小型で軽量な高解像度カメラが実現されうる。

【0008】

上記の提案技術に係る高解像度カメラは、アスペクト比がほぼ１６：９になる横長映像を出力する。そのため、放送分野では上記の提案技術による高解像度カメラが有用である。一方、医療分野では円形視野の映像が利用される。そのため、画像処理により、横長映像から円形の映像領域が切り出される。横長映像から切り出された映像領域の画素数（以下、有効画素数）は、横長映像の画素数の半分以下になる。有効画素数の割合を増やすには、切り出し元の映像のアスペクト比を１：１に近づければよい。

【0009】

２つの横長映像を上下に貼り付ければアスペクト比を１：１に近づけることができる。また、２つの横長映像を貼り付けることで画素数が２倍近くに増え、高解像度の映像出力が得られる。また、比較的安価な撮像素子を２つ利用すれば、低コストで高解像度カメラを実現することができる。しかしながら、撮像素子間で僅かに出力特性が異なること、及び画素ライン間での電荷の読み出しタイミングがずれることなどに起因して、２つの横長映像の境界部分又は重なり部分に映像品質の劣化が生じうる。

【0010】

上記の課題に鑑み、本開示の１つの観点によれば、本開示の目的は、より高品質の高解像度映像を得ることが可能な撮像装置、及び撮像制御方法を提供することにある。

【0011】

なお、上記の説明では、説明をわかりやすくするために医療分野における具体的な映像利用の事例を紹介して課題を説明したが、本開示に係る技術の適用範囲は医療分野に限定されない。例えば、自然科学分野では、望遠鏡や顕微鏡に高解像度カメラを接続して撮影する手法が広く利用されており、こうした分野においても本開示の技術を適用することができる。また、視野の形状は必ずしも円形でなくてもよく、少なくとも２つの横長映像を貼り付けることが有効画素数の割合を増やす上で有効な視野の形状に対して、本開示に係る技術を好適に用いることができる。

【課題を解決するための手段】

【0012】

本開示の第１の態様によれば、光が入射する第１の面と、光が出射する第２及び第３の面とを有し、第１の面に入射する光の光路を２つに分割して第２及び第３の面に導く光学部材と、第２の面の側において、第１の面内の第１の領域を通った光が出射する位置に配置される第１の撮像素子と、第３の面の側において、第１の面内の第２の領域を通った光が出射する位置に配置される第２の撮像素子と、を備え、第１の領域は、第２の領域と一部が重複するように配置され、第１の撮像素子及び第２の撮像素子のそれぞれは、第１の領域と第２の領域とが重複しない非重複領域の少なくとも一部を通った光の入射位置にある受光面端部の画素ラインから順に各画素ラインで生成される電気信号を順次読み出す撮像装置が提供される。

【0013】

また、本開示の第２の態様によれば、光が入射する第１の面と、光が出射する第２及び第３の面とを有し、第１の面に入射する光の光路を２つに分割して第２及び第３の面に導く光学部材と、第２の面の側において、第１の面内の第１の領域を通った光が出射する位置に配置される第１の撮像素子と、第３の面の側において、第１の面内の第２の領域を通った光が出射する位置に配置される第２の撮像素子と、を備え、第１の領域は、第２の領域と一部が重複するように配置され、第１の撮像素子及び第２の撮像素子のそれぞれは、第１の領域と第２の領域とが重複する重複領域の少なくとも一部を通った光の入射位置にある受光面端部の画素ラインから順に各画素ラインで生成される電気信号を順次読み出す撮像装置が提供される。

【0014】

また、本開示の第３の態様によれば、光が入射する第１の面と、光が出射する第２及び第３の面とを有し、第１の面に入射する光の光路を２つに分割して第２及び第３の面に導く光学部材と、第２の面の側において、第１の面内の第１の領域を通った光が出射する位置に配置される第１の撮像素子と、第３の面の側において、第１の面内の第２の領域を通った光が出射する位置に配置される第２の撮像素子と、を備えた撮像装置における撮像制御方法が提供される。第１の領域は、第２の領域と一部が重複するように配置される。

【0015】

第３の態様の一側面によれば、上記の撮像制御方法は、撮像装置の制御部により、第１の撮像素子及び第２の撮像素子のそれぞれが、第１の領域と第２の領域とが重複しない非重複領域の少なくとも一部を通った光の入射位置にある受光面端部の画素ラインから順に各画素ラインで生成される電気信号を順次読み出すように制御すること、を含む。第３の態様の他の側面によれば、上記の撮像制御方法は、撮像装置の制御部により、第１の撮像素子及び第２の撮像素子のそれぞれが、第１の領域と第２の領域とが重複する重複領域の少なくとも一部を通った光の入射位置にある受光面端部の画素ラインから順に各画素ラインで生成される電気信号を順次読み出すように制御すること、を含む。

【発明の効果】

【0016】

本開示によれば、より高品質の高解像度映像を得ることができる。

【図面の簡単な説明】

【0017】

【図1】本実施形態に係る撮像装置の構造について説明するための模式図である。

【図2】本実施形態に係る撮像素子の配置及び映像の合成方法について説明するための説明図である。

【図3】ＣＭＯＳイメージセンサの構造及び読み出し制御について説明するための模式図である。

【図4】比較例に係る読み出し制御について説明するための説明図である。

【図5】本実施形態に係る読み出し制御の一態様（実施例１）について説明するための説明図である。

【図6】本実施形態に係る読み出し制御の一態様（実施例２）について説明するための説明図である。

【図7】本実施形態に係る重なり部分の処理方法について説明するための説明図である。

【図8】本実施形態に係る撮像処理の流れについて説明するためのフロー図である。

【図9】本実施形態に係る制御部及び映像処理部の機能を実現可能なハードウェアについて説明するためのブロック図である。

【発明を実施するための形態】

【0018】

以下に添付図面を参照しながら、本開示の実施形態について説明する。なお、本明細書及び図面において実質的に同一の機能を有する要素については、同一の符号を付することにより重複説明を省略する場合がある。

【0019】

［１．撮像装置］
図１を参照しながら、本実施形態に係る撮像装置の構造について説明する。図１は、本実施形態に係る撮像装置の構造について説明するための模式図である。図１に例示した撮像装置１０は、本実施形態に係る撮像装置の一例である。

【0020】

図１に示すように、撮像装置１０は、光学系１１、光学部材１２、撮像素子１３、１４、制御部１５、及び映像処理部１６を有する。

【0021】

光学系１１は、少なくとも１枚のレンズを含む。図１の例では、光学系１１の物体側に絞りＳＴが配置されているが、光学系１１の像側に絞りＳＴが配置されてもよいし、光学系１１に含まれるレンズ間に絞りＳＴが配置されてもよい。以下では、絞りＳＴが光学系１１の物体側に配置された構造を例に説明を進める。図１には、光学系１１へと入射する光のうち、光学系１１の光軸に対して平行に入射する光の光路Ａ、Ｂ、Ｃ、Ｄ、Ｅが鎖線で示されている。以下の説明では、説明の都合上、光学系１１の光軸に平行な座標軸をＸ、光学系１１の光軸に垂直な座標軸をＹと表記する場合がある。

【0022】

光学部材１２は、光の光路を分割する手段である。図１には、光学部材１２の一例として、光学系１１を通った光の光路を分割面１２ａで分割し、一方の光路を直角に折り曲げ、他方の光路を直進させるプリズムが示されている。分割面１２ａでは、約５０％の光が透過し、約５０％の光が反射する。なお、本実施形態に係る光学部材１２は、光路を直角に折り曲げるプリズムに限定されず、例えば、フィリップスタイプのガラスプリズムであってもよいし、ペリクルミラーなどのハーフミラーであってもよい。以下では、光路を直角に折り曲げるプリズムを例に説明を進める。

【0023】

光学部材１２は、光学系１１を通った光が入射する第１の面、撮像素子１３に対向する第２の面、及び撮像素子１４に対向する第３の面を有する。第１の面及び第２の面はＹ軸に平行な面であり、第３の面はＸ軸に平行な面である。例えば、光路Ｃを通る光は、光学系１１を通過して第１の面から光学部材１２へと入り、分割面１２ａを透過した光は第２の面へと導かれ、第２の面から出た光は撮像素子１３により受光される。一方、分割面１２ａで反射された光は第３の面へと導かれ、第３の面から出た光は撮像素子１４により受光される。

【0024】

図１には、説明を簡単にするため、撮像素子１３、１４の受光部のみが模式的に示されている。撮像素子１３の受光部は、Ｙ方向に並んだ複数の画素ラインを有する。また、１つの画素ラインは、Ｚ方向（Ｘ軸及びＹ軸に直交するＺ軸の方向）に並んだ複数の画素を含む。また、各画素は、受光量に応じた量の電荷を生成する光電変換素子を有する。撮像素子１３は、一端に位置する画素ラインから順に受光部の画素ラインを順次選択し、選択した画素ラインの各画素で生成される電荷を一度に読み出して電気信号を出力する。撮像素子１３から出力される電気信号は、制御部１５に入力される。

【0025】

光路Ａは、撮像素子１３の受光部を形成する複数の画素ラインのうち、受光面の一端（図１では最上端）に位置する画素ラインに入射する光の光路を示している。光路Ｄは、撮像素子１３の受光部を形成する複数の画素ラインのうち、他端（図１では最下端）に位置する画素ラインに入射する光の光路を示している。光路Ｃは、第１の面から分割面１２ａまでの区間、及び分割面１２ａから第２の面までの区間において光学系１１の光軸に一致する。そして、光路Ａ、Ｃ間の距離Ｄ_ACは、光路Ａ、Ｄ間の距離Ｄ_ADを用いて、以下の関係式（１）で与えられる。

【0026】

Ｄ_AD＞Ｄ_AC …（１）

【0027】

また、撮像素子１４の受光部は、Ｘ方向に並んだ複数の画素ラインを有する。また、１つの画素ラインは、Ｚ方向に並んだ複数の画素を含む。撮像素子１４は、一端に位置する画素ラインから順に受光部の画素ラインを順次選択し、選択した画素ラインの各画素で生成される電荷を一度に読み出して電気信号を出力する。撮像素子１４から出力される電気信号は、制御部１５に入力される。

【0028】

光路Ｂは、撮像素子１４の受光部を形成する複数の画素ラインのうち、一端（図１では最左端）に位置する画素ラインに入射する光の光路を示している。光路Ｅは、撮像素子１４の受光部を形成する複数の画素ラインのうち、他端（図１では最右端）に位置する画素ラインに入射する光の光路を示している。光路Ｃは、分割面１２ａから第３の面までの区間において光学系１１の光軸に直交する。そして、光路Ｂ、Ｅ間の距離Ｄ_BEは、光路Ａ、Ｅ間の距離Ｄ_AE、及び距離Ｄ_ACを用いて、以下の関係式（２）で与えられる。

【0029】

Ｄ_BE＞Ｄ_AE－Ｄ_AC …（２）

【0030】

上記の関係式（１）、（２）から明らかなように、光路Ａ、Ｄ間に光路Ｃが位置し、光路Ｂ、Ｅ間に光路Ｃが位置することから、光路Ｂ、Ｄに挟まれる領域（以下、重複領域）を通った光は、撮像素子１３、１４の両方に入射する。つまり、撮像素子１３からの出力に基づく第１の映像１３ａと、撮像素子１４からの出力に基づく第２の映像１４ａとは、その重複領域に対応する映像の一部（以下、重なり部分；図２のハッチング部分）が原理的には同じ画になりうる。図２は、本実施形態に係る撮像素子の配置及び映像の合成方法について説明するための説明図である。

【0031】

制御部１５は、撮像素子１３からの出力に基づく第１の映像１３ａと、撮像素子１４からの出力に基づく第２の映像１４ａとを映像処理部１６に入力する。映像処理部１６は、図２に示すように、第１の映像１３ａの重なり部分と、第２の映像１４ａの重なり部分とが合うように第１の映像１３ａ及び第２の映像１４ａの向き及び位置を調整し、第１の映像１３ａと第２の映像１４ａとを合成して高解像度映像を生成する。高解像度映像は、表示装置２０へと出力される。

【0032】

第１の映像１３ａ及び第２の映像１４ａの幅ＷがＮ１画素、高さＨがＮ２画素、重なり部分の幅がＮ３（Ｎ３≧１）画素の場合、高解像度映像は、幅がＮ１画素、高さが（２×Ｎ２－Ｎ３）画素の映像となる。例えば、撮像素子１３、１４として、４Ｋ対応の固体撮像素子を利用する場合、Ｎ１が３８４０画素、Ｎ２が２１６０画素であり、Ｎ３を４８０画素とすると、アスペクト比が１：１の高解像度映像が得られる。この例に限らず、Ｎ１、Ｎ２、Ｎ３の設定は任意に設定されてよいし、撮像素子１３、１４として、８Ｋ対応の固体撮像素子が利用されてもよい。

【0033】

上記のように、本実施形態に係る技術を適用すれば、比較的低コストで調達可能な固体撮像素子（例えば、４Ｋ対応の固体撮像素子）を利用して高解像度映像を得ることができる。また、２つの横長映像を合成してアスペクト比が１：１の形状又はそれに近い形状の高解像度映像を生成することができ、円形視野の映像を切り出すときに、１つの横長映像から切り出す場合に比べて多くの有効画素数を持つ切り出し映像が得られる。また、光学部材１２により光路を折り曲げること、及び比較的ダイサイズが小さい固体撮像素子を利用することによって、映像処理部１６の前段に位置する要素（ヘッド部分）の小型化及び軽量化を実現することができる。

【0034】

（読み出し制御について）
ここで、図３を参照しながら、本実施形態に係る撮像素子として利用可能なＣＭＯＳイメージセンサの構造及び読み出し制御について説明する。図３は、ＣＭＯＳイメージセンサの構造及び読み出し制御について説明するための模式図である。

【0035】

図３に示すように、ＣＭＯＳイメージセンサの各画素は、１つのフォトダイオード（ＰＤ）、及び１つの増幅器（ＡＭＰ）により形成される。ＰＤは、受光量に応じた量の電荷を生成して蓄積する。ＡＭＰは、ＰＤに蓄積された電荷を電圧に変換して増幅させる。例えば、ＰＤ１１及びＡＭＰ１１を含む画素に注目すると、ＰＤ１１で生成された電荷は、ＡＭＰ１１により電圧信号に変換されて増幅され、画素選択スイッチＳＷ１１がＯＮのタイミングで垂直信号線を介して列回路ＣＤＳ１に入力される。以下では、表記を簡単にするために、ＰＤｉ及びＡＭＰｉを含む画素を画素＃ｉと表記する。

【0036】

図３の例では、１つの列を成す画素＃１１、＃２１、＃３１…のＡＭＰ１１、２１、３１…がＳＷ１１、ＳＷ２１、ＳＷ３１…及び垂直信号線を介してＣＤＳ１に接続されている。また、１つの列を成す画素＃１２、＃２２、＃３２…のＡＭＰ１２、２２、３２…がＳＷ１２、ＳＷ２２、ＳＷ３２…及び垂直信号線を介してＣＤＳ２に接続されている。また、１つの列を成す画素＃１３、＃２３、＃３３…のＡＭＰ１３、２３、３３…がＳＷ１３、ＳＷ２３、ＳＷ３３及び垂直信号線を介してＣＤＳ３に接続されている。

【0037】

図３の例では、画素＃１１、＃１２、＃１３…が１つの画素ライン（行）を成し、画素＃２１、＃２２、＃２３…が１つの画素ライン（行）を成し、画素＃３１、＃３２、＃３３…が１つの画素ライン（行）を成す。以下では、表記を簡単にするために、画素＃ｊ１、＃ｊ２、＃ｊ３…を含む画素ラインを画素ライン＃ｊと表記する。

【0038】

電圧信号の読み出しは、画素ライン単位で実行される。例えば、画素ライン＃１が選択されたとき、ＳＷ１１、ＳＷ１２、ＳＷ１３…が同時にＯＮに切り替わり、ＡＭＰ１１、ＡＭＰ１２、ＡＭＰ１３…に蓄積されている電圧信号の読み出しが開始され、ＣＤＳ１、ＣＤＳ２、ＣＤＳ３…で電圧信号が一時的に保管される。次いで、列選択スイッチＳＷ０１、ＳＷ０２、ＳＷ０３…が同時にＯＮに切り替わり、ＣＤＳ１、ＣＤＳ２、ＣＤＳ３…に保管された電圧信号が水平信号線に伝送される。

【0039】

次いで、画素ライン＃２が選択され、ＳＷ１１、ＳＷ１２、ＳＷ１３…及びＳＷ０１、ＳＷ０２、ＳＷ０３…がＯＦＦに切り替わると共に、ＳＷ２１、ＳＷ２２、ＳＷ２３…が同時にＯＮに切り替わる。そして、ＡＭＰ２１、ＡＭＰ２２、ＡＭＰ２３…に蓄積されている電圧信号の読み出しが開始され、ＣＤＳ１、ＣＤＳ２、ＣＤＳ３…で電圧信号が一時的に保管される。次いで、列選択スイッチＳＷ０１、ＳＷ０２、ＳＷ０３…が同時にＯＮに切り替わり、ＣＤＳ１、ＣＤＳ２、ＣＤＳ３…に保管された電圧信号が水平信号線に伝送される。

【0040】

上記のように、ＣＭＯＳイメージセンサでは、１行単位で順次読み出し処理が実行されるため、１行分の回路だけを動かせばよく、低電圧で駆動することができる。その結果、ＣＭＯＳイメージセンサは、ＣＣＤイメージセンサなどに比べて消費電力を低く抑えることができる。一方で、ある画素ライン＃ｉの露光タイミングと、他の画素ライン＃ｊの露光タイミングとの間には僅かな時間ズレが生じる。この時間ズレは、受光面の一端にある画素ライン＃１と、受光面の他端にある画素ライン＃Ｊとの間で最も顕著になる。

【0041】

例えば、画素ライン＃１から読み出しを開始するＣＭＯＳイメージセンサの場合、画素ライン＃２で捉えた光は、画素ライン＃１で捉えた光より遅い時刻に光学系１１へ届いた光である。被写体が動いている場合、画素ライン＃１で捉えた光を発した被写体の位置と、画素ライン＃２で捉えた光を発した被写体の位置とは異なる。そのため、映像では、動いている被写体が歪んだ形になる。この現象は動体歪みと呼ばれる。被写体が動いていない場合でも、照明の明るさが時間的に変化する環境では、映像に明るさの不均一などが生じて映像品質が低下する要因となりうる。但し、このような動体歪みや映像品質の低下は、読み出し速度を高めることで無視できる程度にまで改善することができる。

【0042】

しかしながら、同時に撮像された２つの映像を貼り合わせる場合、上述した露光タイミングの時間ズレに起因して、その貼り合わせ部分（上述した重なり部分に対応する部分）で境界を目立たせる不自然な線や模様が現れることがある。この現象について、図４に示した比較例を参照しながら、具体的に説明する。図４は、比較例に係る読み出し制御について説明するための説明図である。

【0043】

比較例の説明では、説明を簡単にするため、各撮像素子の受光部を形成する画素ラインの数Ｎ２を５とし、一方の撮像素子（以下、撮像素子Ｅ１）からの出力に基づく映像（以下、映像Ｖ１）と、他方の撮像素子（以下、撮像素子Ｅ２）からの出力に基づく映像（以下、映像Ｖ２）との重なり部分の幅Ｎ３を１とする。

【0044】

撮像素子Ｅ１の画素ラインをＬＩＮＥ１Ｙ、ＬＩＮＥ２Ｙ、ＬＩＮＥ３Ｙ、ＬＩＮＥ４Ｙ、ＬＩＮＥ５Ｙと表記する。映像Ｖ１のうち、映像Ｖ２と重なる重なり部分はＬＩＮＥ５Ｙに対応する。また、撮像素子Ｅ２の画素ラインをＬＩＮＥ１Ｘ、ＬＩＮＥ２Ｘ、ＬＩＮＥ３Ｘ、ＬＩＮＥ４Ｘ、ＬＩＮＥ５Ｘと表記する。映像Ｖ２のうち、映像Ｖ１と重なる重なり部分はＬＩＮＥ１Ｘに対応する。また、撮像素子Ｅ１の画素ライン＃ｉから出力される電圧信号をＳＩＧｉｋＹ（ｋ＝１，２…）、撮像素子Ｅ２の画素ライン＃ｉから出力される電圧信号をＳＩＧｉｋＸと表記する。

【0045】

図４に示すように、撮像素子Ｅ１は、ＬＩＮＥ１Ｙ、ＬＩＮＥ２Ｙ、ＬＩＮＥ３Ｙ、ＬＩＮＥ４Ｙ、ＬＩＮＥ５Ｙの順に読み出し処理を実行する。また、撮像素子Ｅ２は、ＬＩＮＥ１Ｘ、ＬＩＮＥ２Ｘ、ＬＩＮＥ３Ｘ、ＬＩＮＥ４Ｘ、ＬＩＮＥ５Ｘの順に読み出し処理を実行する。そのため、撮像素子Ｅ１ではＬＩＮＥ１ＹとＬＩＮＥ５Ｙとの間の露光タイミングの時間ズレが最も大きく、撮像素子Ｅ２ではＬＩＮＥ１ＸとＬＩＮＥ５Ｘとの間の露光タイミングの時間ズレが最も大きい。

【0046】

比較例では、撮像素子Ｅ１、Ｅ２が最初の画素ラインからの読み出しを開始するタイミングは同期される。そのため、ＬＩＮＥ１Ｙの露光タイミングと、ＬＩＮＥ１Ｘの露光タイミングとが一致する。つまり、映像Ｖ１、Ｖ２が重なる部分に対応するＬＩＮＥ５Ｙ、ＬＩＮＥ１Ｘにおいて露光タイミングの時間ズレ（ｄｔ）が最大となる。照明が時間的に変化する場合、時間ズレｄｔによりＬＩＮＥ５Ｙ、ＬＩＮＥ１Ｘ間で明るさに違いが生じ、映像Ｖ１、Ｖ２の境目に筋状の模様が現れることがある。また、被写体の動きなどにより、映像Ｖ１、Ｖ２の境目で映像の連続性が乱れることがあり、見る人に違和感を生じさせることがある。

【0047】

本実施形態では、以下に示す実施例のような読み出し制御を実施することで、上述した映像の乱れを抑制する。

【0048】

（実施例１）
図５を参照しながら、本実施形態に係る読み出し制御の一態様（実施例１）について説明する。図５は、本実施形態に係る読み出し制御の一態様（実施例１）について説明するための説明図である。なお、実施例１の説明では、説明を簡単にするため、上述した比較例と同様の表記（ＬＩＮＥ１Ｙ…、ＬＩＮＥ１Ｘ…、ＳＩＧ１１Ｙ…など）を用い、Ｎ２＝５、Ｎ３＝１の場合を想定して説明を進める。もちろん、本実施形態に係る技術の適用範囲はこの設定例に限定されない。

【0049】

図５に示すように、実施例１に係る撮像素子１３は、Ｙ軸に沿って－Ｙ方向に並んだ５つの画素ラインＬＩＮＥ１Ｙ、…、ＬＩＮＥ５Ｙのうち、ＬＩＮＥ１Ｙから順に読み出し処理を実行する。つまり、撮像素子１３は、光路Ａを通った光が入射するＬＩＮＥ１Ｙから、光路Ｄに対応するＬＩＮＥ５Ｙまで、５つの画素ラインに対する読み出し処理を順次実行する。この場合、ＬＩＮＥ１ＹとＬＩＮＥ５Ｙとの間で僅かに露光タイミングの時間ズレが生じうる。

【0050】

また、実施例１に係る撮像素子１４は、Ｘ軸に沿って＋Ｘ方向に並んだ５つの画素ラインＬＩＮＥ１Ｘ、…、ＬＩＮＥ５Ｘのうち、ＬＩＮＥ５Ｘから順に読み出し処理を実行する。つまり、撮像素子１４は、光路Ｅを通った光が入射するＬＩＮＥ５Ｘから、光路Ｂに対応するＬＩＮＥ１Ｘまで、上記の比較例に係る撮像素子Ｅ２とは逆順で、５つの画素ラインに対する読み出し処理を順次実行する。この場合も、ＬＩＮＥ１ＸとＬＩＮＥ５Ｘとの間で僅かに露光タイミングの時間ズレが生じうる。

【0051】

上記のように、実施例１の場合も、撮像素子１３、１４のそれぞれにおいて露光タイミングの時間ズレは生じている。しかし、撮像素子１３はＬＩＮＥ１Ｙから読み出し処理を開始し、撮像素子１４はＬＩＮＥ５Ｘから読み出し処理を開始する。また、撮像素子１３、１４における読み出し処理の開始タイミングは同期される。また、撮像素子１３、１４の画素ライン数Ｎ２が同じ、かつ読み出し速度が同じである場合、ＬＩＮＥ５Ｙ及びＬＩＮＥ１Ｘの読み出しタイミングは同じになる。その結果、ＬＩＮＥ５Ｙ、ＬＩＮＥ１Ｘの間で露光タイミングの時間ズレは生じず、第１の映像１３ａと第２の映像１４ａとの重なり部分で、時間ズレに起因する映像の乱れが抑制される。

【0052】

図５から明らかなように、Ｎ３が０又は１の場合、原理的には、露光タイミングの時間ズレに起因する映像境界の乱れは生じない。しかし、Ｎ３が２以上の場合、一部の画素ラインに露光タイミングの時間ズレが生じる。例えば、Ｎ３が２の場合、ＬＩＮＥ４ＹがＬＩＮＥ１Ｘと重なり、ＬＩＮＥ５ＹがＬＩＮＥ２Ｘと重なる。ＬＩＮＥ４ＹとＬＩＮＥ１Ｘとの間では１画素ライン分の時間ズレが生じる。ＬＩＮＥ５ＹとＬＩＮＥ２Ｘとの間では１画素ライン分の時間ズレが生じる。しかしながら、５画素ライン分の時間ズレが生じていた上記の比較例に比べると時間ズレが大幅に低減されている。

【0053】

後述するように、第１の映像１３ａと第２の映像１４ａとの重なり部分には、映像の不自然さを抑制するための画像処理が施される。その際、画素ライン間のズレが大きいと十分に不自然さを抑制することが難しくなる。しかし、実施例１の方法を適用することで、画素ライン間のズレを抑制することができ、後段で実施される画像処理により、映像品質を効果的に改善することが可能になる。その結果、より高品質な高解像度映像を得ることができるようになる。

【0054】

（実施例２）
次に、図６を参照しながら、本実施形態に係る読み出し制御の一態様（実施例２）について説明する。図６は、本実施形態に係る読み出し制御の一態様（実施例２）について説明するための説明図である。なお、実施例２の説明では、説明を簡単にするため、上述した比較例と同様の表記（ＬＩＮＥ１Ｙ…、ＬＩＮＥ１Ｘ…、ＳＩＧ１１Ｙ…など）を用い、Ｎ２＝５、Ｎ３＝１の場合を想定して説明を進める。もちろん、本実施形態に係る技術の適用範囲はこの設定例に限定されない。

【0055】

図６に示すように、実施例２に係る撮像素子１３は、Ｙ軸に沿って－Ｙ方向に並んだ５つの画素ラインＬＩＮＥ１Ｙ、…、ＬＩＮＥ５Ｙのうち、ＬＩＮＥ５Ｙから順に読み出し処理を実行する。つまり、撮像素子１３は、光路Ｄに対応するＬＩＮＥ５Ｙから、光路Ａを通った光が入射するＬＩＮＥ１Ｙまで、上記の比較例に係る撮像素子Ｅ１とは逆順で、５つの画素ラインに対する読み出し処理を順次実行する。この場合も、ＬＩＮＥ１ＹとＬＩＮＥ５Ｙとの間で僅かに露光タイミングの時間ズレが生じうる。

【0056】

また、実施例２に係る撮像素子１４は、Ｘ軸に沿って＋Ｘ方向に並んだ５つの画素ラインＬＩＮＥ１Ｘ、…、ＬＩＮＥ５Ｘのうち、ＬＩＮＥ１Ｘから順に読み出し処理を実行する。つまり、撮像素子１４は、光路Ｂに対応するＬＩＮＥ１Ｘから、光路Ｅを通った光が入射するＬＩＮＥ５Ｘまで、５つの画素ラインに対する読み出し処理を順次実行する。この場合、ＬＩＮＥ１ＸとＬＩＮＥ５Ｘとの間で僅かに露光タイミングの時間ズレが生じうる。

【0057】

上記のように、実施例２の場合も、撮像素子１３、１４のそれぞれにおいて露光タイミングの時間ズレは生じている。しかし、撮像素子１３はＬＩＮＥ５Ｙから読み出し処理を開始し、撮像素子１４はＬＩＮＥ１Ｘから読み出し処理を開始する。また、撮像素子１３、１４における読み出し処理の開始タイミングは同期される。また、撮像素子１３、１４の画素ライン数Ｎ２が同じ、かつ読み出し速度が同じである場合、ＬＩＮＥ５Ｙ及びＬＩＮＥ１Ｘの読み出しタイミングは同じになる。その結果、ＬＩＮＥ５Ｙ、ＬＩＮＥ１Ｘの間で露光タイミングの時間ズレは生じず、第１の映像１３ａと第２の映像１４ａとの重なり部分で、時間ズレに起因する映像の乱れが抑制される。

【0058】

図６から明らかなように、Ｎ３が０又は１の場合、原理的には、露光タイミングの時間ズレに起因する映像境界の乱れは生じない。しかし、Ｎ３が２以上の場合、一部の画素ラインに露光タイミングの時間ズレが生じる。例えば、Ｎ３が２の場合、ＬＩＮＥ４ＹがＬＩＮＥ１Ｘと重なり、ＬＩＮＥ５ＹがＬＩＮＥ２Ｘと重なる。ＬＩＮＥ４ＹとＬＩＮＥ１Ｘとの間では１画素ライン分の時間ズレが生じる。ＬＩＮＥ５ＹとＬＩＮＥ２Ｘとの間では１画素ライン分の時間ズレが生じる。しかしながら、５画素ライン分の時間ズレが生じていた上記の比較例に比べると時間ズレが大幅に低減されている。

【0059】

上記の実施例１と同様に、実施例２の方法を適用することで、画素ライン間のズレを抑制することができ、後段で実施される画像処理により、映像品質を効果的に改善することが可能になる。その結果、より高品質な高解像度映像を得ることができるようになる。

【0060】

上記の実施例１、２では説明を簡単にするためにＮ２＝５、Ｎ３＝１の場合について説明したが、本実施形態に係る技術の適用範囲及びその技術適用により得られる作用効果は、Ｎ２及びＮ３を変更しても同じように得られうる。また、撮像素子１３、１４における読み出し処理の開始タイミング及び読み出し速度の少なくとも一方についての同期制御は、実装時に撮像素子１３、１４に予め組み込まれた制御機構により実行されてもよいし、制御部１５からの制御信号により実行されてもよい。

【0061】

（重複領域の処理）
次に、図７を参照しながら、本実施形態に係る重なり部分の処理方法について説明する。図７は、本実施形態に係る重なり部分の処理方法について説明するための説明図である。

【0062】

第１の映像１３ａと第２の映像１４ａとの重なり部分においては、高解像度映像の同じ画素について、第１の映像１３ａの画素値（以下、画素値Ｐ１）と、第２の映像１４ａの画素値（以下、画素値Ｐ２）とが得られる。そのため、高解像度映像を生成する際、映像処理部１６は、第１の映像１３ａの画素値及び第２の映像１４ａの画素値の一方を高解像度映像の画素値（以下、画素値Ｐ）として利用してもよい。しかし、上述した露光タイミングの時間ズレにより、隣接する画素ライン間で画素値に僅かなギャップが生じていることがあるため、映像処理部１６は、画素値Ｐ１、Ｐ２の両方を利用して高解像度映像の画素値Ｐを計算する。

【0063】

例えば、映像処理部１６は、下記の式（１）に基づいて画素値Ｐを計算する。つまり、映像処理部１６は、画素値Ｐ１、Ｐ２の重み付き平均値を画素値Ｐとする。

【0064】

Ｐ＝Ｋ・Ｐ１＋（１－Ｋ）・Ｐ２ …式（１）

【0065】

ここで、Ｋは、下記の式（２）（コサイン重み関数ＣＲＦ）で与えられるパラメータである。πは円周率であり、ｄは、光路Ｂに対応する画素ラインから画素値Ｐに対応する画素までの距離であり、Ｄは、重なり部分の幅Ｎ３である。なお、重なり部分の幅Ｎ３は、光路Ｂに対応する画素ラインから光路Ｄに対応する画素ラインまでの距離に対応する。

【0066】

Ｋ＝｛１＋ｃｏｓ［π（ｄ／Ｄ）］｝／２ …式（２）

【0067】

図７に示すように、ＣＲＦは、光路Ｂに対応する画素ラインから、光路Ｄに対応する画素ラインに近づくにつれて滑らかに減少する。つまり、重なり部分のうち、第１の映像１３ａの非重複領域に近い部分では画素値Ｐ１の影響が大きく、光路Ｄに対応する画素ラインに近づくにつれて徐々に画素値Ｐ１の影響が小さくなり、第２の映像１４ａの非重複領域に近い部分では画素値Ｐ２の影響が大きくなる。このように、滑らかにパラメータＫを変化させることで、第１の映像１３ａと第２の映像１４ａとが滑らかに接続され、１枚の撮像素子で撮影された映像と遜色ない高品質な高解像度映像が得られる。

【0068】

なお、ここでは説明の都合上、パラメータＫの計算方法として余弦関数を利用する例を示したが、対数関数、指数関数、高次多項式、特殊関数など、他の様々な非線形関数を利用してパラメータＫを計算する方法に変形してもよい。このような変形例についても本実施形態の技術的範囲に属する。

【0069】

［２．撮像処理の流れ］
次に、図８を参照しながら、本実施形態に係る撮像処理の流れについて説明する。図８は、本実施形態に係る撮像処理の流れについて説明するためのフロー図である。

【0070】

（Ｓ１０１）制御部１５は、撮像素子１３、１４を制御して撮像処理を開始する。このとき、制御部１５は、撮像素子１３、１４による読み出し処理の開始タイミング及び読み出し速度を制御してもよい。撮像処理が開始されると、撮像素子１３、１４は、上述した実施例１のように重なり部分から最も遠い画素ラインから順に読み出し処理を実行するか、或いは、上述した実施例２のように重なり部分から最も近い画素ラインから順に読み出し処理を実行する。

【0071】

撮像素子１３、１４からの出力は、制御部１５を介して映像処理部１６に入力される。映像処理部１６は、撮像素子１３からの出力に基づいて第１の映像１３ａを生成する。また、映像処理部１６は、撮像素子１４からの出力に基づいて第２の映像１４ａを生成する。変形例として、撮像素子１３、１４からの出力に基づいて制御部１５が第１の映像１３ａ及び第２の映像１４ａを生成し、制御部１５から映像処理部１６へと第１の映像１３ａ及び第２の映像１４ａが伝送されてもよい。

【0072】

（Ｓ１０２）映像処理部１６は、第１の映像１３ａと第２の映像１４ａとを合成してスクエア形状の高解像度映像（以下、スクエア映像）を生成する。例えば、映像処理部１６は、下記の式（３）に基づいて重なり部分の幅Ｎ３を設定し、上記の式（１）及び式（２）に基づいて重なり部分の映像成分を計算する。そして、映像処理部１６は、第１の映像１３ａ及び第２の映像１４ａにおける非重複領域の映像成分と、計算された重なり部分の映像成分とを用いて、図２に示すように第１の映像１３ａと第２の映像１４ａとを合成する。なお、下記の式（３）に基づいて幅Ｎ３を設定することで、アスペクト比が１：１のスクエア映像が得られる。

【0073】

Ｎ３＝２×Ｎ２－Ｎ１ …式（３）

【0074】

（Ｓ１０３）映像処理部１６は、動作モードがワイド出力モードに設定されているか、スクエア出力モードに設定されているかを判定する。ワイド出力モードは、スクエア映像と、スクエア映像の一部を拡大した拡大映像とを並べて表示する動作モードである。スクエア出力モードは、スクエア映像をそのまま表示する動作モードである。動作モードは事前に設定される。変形例として、動作モードの切り替え機能を省略し、常にワイド出力モードに設定されていてもよいし、常にスクエア出力モードに設定されていてもよい。ワイド出力モードに設定されている場合、処理はＳ１０５へと進む。一方、スクエア出力モードに設定されている場合、処理はＳ１０４へと進む。

【0075】

（Ｓ１０４）映像処理部１６は、スクエア映像を表示装置２０へと出力する。そして、表示装置２０は、スクエア映像を表示する。Ｓ１０４の処理が完了すると、処理はＳ１０７へと進む。

【0076】

（Ｓ１０５）映像処理部１６は、スクエア映像から拡大映像を生成し、スクエア映像と拡大映像とを合成してワイド映像を生成する。

【0077】

例えば、３８４０×３８４０画素のスクエア映像が生成されている場合、映像処理部１６は、スクエア映像の中心部に位置する１９２０×２１６０画素の映像を切り出して拡大映像を生成し、スクエア映像を２１６０×２１６０画素の映像にダウンコンバートした上で左右１２０画素ずつの領域を切り取る加工を実施し、加工後のスクエア映像と拡大映像とを左右に並べた３８４０×２１６０画素のワイド映像を生成してよい。

【0078】

（Ｓ１０６）映像処理部１６は、ワイド映像を表示装置２０へと出力する。そして、表示装置２０は、ワイド映像を表示する。なお、スクエア映像の映像信号と拡大映像の映像信号とが別々に表示装置２０に伝送され、表示装置２０が２つの映像を画面上に並べて表示する構成にしてもよいし、ワイド映像の映像信号１本が表示装置２０に伝送され、表示装置２０がワイド映像を１つの映像として表示する構成にしてもよい。

【0079】

（Ｓ１０７）撮像装置１０は、撮像処理を終了するか否かを判定する。ユーザが撮影終了の操作を行った場合、撮像装置１０は撮像処理の終了と判定し、図８に示した一連の処理は終了する。撮像処理が継続される場合、処理はＳ１０２へと進む。

【0080】

［３．ハードウェア］
次に、図９を参照しながら、制御部１５及び映像処理部１６の機能を実現可能なコンピュータ１００のハードウェアについて説明する。図９は、本実施形態に係る制御部及び映像処理部の機能を実現可能なハードウェアについて説明するためのブロック図である。

【0081】

図９に示すように、コンピュータ１００は、プロセッサ１０１、メモリ１０２、表示Ｉ／Ｆ（Interface）１０３、通信Ｉ／Ｆ１０４、及び接続Ｉ／Ｆ１０５を有する。

【0082】

プロセッサ１０１は、１つ以上のＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）などであってよい。メモリ１０２は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、フラッシュメモリなどであってよい。

【0083】

表示Ｉ／Ｆ１０３は、ＬＣＤ（Liquid Crystal Display）、ＥＬＤ（Electro-Luminescence Display）などのディスプレイデバイス（例えば、表示装置２０）に映像を出力するためのインターフェースであってよい。表示Ｉ／Ｆ１０３は、ディスプレイデバイスに映像を表示するためのＧＰＵ（Graphic Processing Unit）を有してもよい。

【0084】

通信Ｉ／Ｆ１０４は、有線及び／又は無線のネットワークに接続するためのインターフェースであってよい。通信Ｉ／Ｆ１０４は、例えば、有線ＬＡＮ（Local Area Network）、無線ＬＡＮ、光通信ネットワークなどに接続されてもよいし、他の映像機器との間で映像信号を直接的又は間接的にやりとりするための信号チャネルに接続されてもよい。信号チャネルは、同軸ケーブルで構成されてもよいし、光通信ケーブルで構成されてもよい。

【0085】

接続Ｉ／Ｆ１０５は、外部デバイスを接続するためのインターフェースである。接続Ｉ／Ｆ１０５は、例えば、ＵＳＢ（Universal Serial Bus）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Small Computer System Interface）などであってよい。接続Ｉ／Ｆ１０５には、キーボード、マウス、タッチパネル、タッチパッドなどの入力インターフェースが接続されてもよい。また、接続Ｉ／Ｆ１０５には、可搬性の記録媒体１０６が接続されうる。記録媒体１０６は、磁気記録媒体、光ディスク、光磁気ディスク、半導体メモリなどのコンピュータにより読み取り可能な非一時的な記録媒体（Non-transitory computer-readable storage medium）であってよい。

【0086】

上述したプロセッサ１０１は、記録媒体１０６に格納されたプログラムを読み出してメモリ１０２に格納し、メモリ１０２から読み出したプログラムに従ってコンピュータ１００の動作を制御してもよい。なお、コンピュータ１００の動作を制御するプログラムは、メモリ１０２に予め格納されていてもよいし、通信Ｉ／Ｆ１０４を介してネットワークからダウンロードされてもよい。また、制御部１５及び映像処理部１６の機能は、それぞれ異なるコンピュータで実現されてもよいし、同じコンピュータで実現されてもよい。また、図９に示したハードウェア要素のうち一部のハードウェア要素は省略されてもよいし、図９に例示されていない他のハードウェア要素が追加されてもよい。

【0087】

以上、添付図面を参照しながら本開示の好適な実施形態について説明したが、本開示は係る例に限定されない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属する。

【符号の説明】

【0088】

１０ 撮像装置
１１ 光学系
１２ 光学部材
１２ａ 分割面
１３、１４ 撮像素子
１３ａ 第１の映像
１４ａ 第２の映像
１５ 制御部
１６ 映像処理部
２０ 表示装置
ＳＴ 絞り
ＡＭＰ１１、ＡＭＰ１２、ＡＭＰ１３、ＡＭＰ２１、ＡＭＰ２２、ＡＭＰ２３、ＡＭＰ３１、ＡＭＰ３２、ＡＭＰ３３ 増幅器
ＣＤＳ１、ＣＤＳ２、ＣＤＳ３ 列回路
ＰＤ１１、ＰＤ１２、ＰＤ１３、ＰＤ２１、ＰＤ２２、ＰＤ２３、ＰＤ３１、ＰＤ３２、ＰＤ３３ フォトダイオード
ＳＷ０１、ＳＷ０２、ＳＷ０３ 列選択スイッチ
ＳＷ１１、ＳＷ１２、ＳＷ１３、ＳＷ２１、ＳＷ２２、ＳＷ２３、ＳＷ３１、ＳＷ３２、ＳＷ３３ 画素選択スイッチ
ＣＲＦ コサイン重み関数
Ｋ 重みパラメータ
Ｐ１、Ｐ２、Ｐ３ 画素値

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】