知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024155175
(43)【公開日】2024-10-31
(54)【発明の名称】撮像装置及び情報処理方法
(51)【国際特許分類】
G01C 3/06 20060101AFI20241024BHJP
H04N 23/55 20230101ALI20241024BHJP
H04N 23/60 20230101ALI20241024BHJP
G03B 15/00 20210101ALI20241024BHJP
G03B 19/06 20210101ALI20241024BHJP
【ＦＩ】
G01C3/06 110V
H04N23/55
H04N23/60 500
G03B15/00 W
G03B19/06
G01C3/06 140
【審査請求】未請求
【請求項の数】4
【出願形態】ＯＬ
(21)【出願番号】P 2023069639
(22)【出願日】2023-04-20
(71)【出願人】
【識別番号】000006633
【氏名又は名称】京セラ株式会社
(74)【代理人】
【識別番号】100147485
【弁理士】
【氏名又は名称】杉村 憲司
(74)【代理人】
【識別番号】230118913
【弁護士】
【氏名又は名称】杉村 光嗣
(74)【代理人】
【識別番号】100132045
【弁理士】
【氏名又は名称】坪内 伸
(74)【代理人】
【識別番号】100180655
【弁理士】
【氏名又は名称】鈴木 俊樹
(72)【発明者】
【氏名】菅原 俊
【テーマコード（参考）】
2F112
2H054
5C122
【Ｆターム（参考）】
2F112AC03
2F112AC06
2F112BA03
2F112BA06
2F112CA12
2F112DA04
2F112DA28
2F112FA03
2F112FA21
2F112FA35
2F112FA45
2F112GA01
2H054BB05
2H054BB07
5C122DA30
5C122EA37
5C122FA02
5C122FB02
5C122FB03
5C122FB11
5C122FH04
5C122FH11
5C122FH18
5C122HA88
5C122HB05
(57)【要約】
【課題】広角でありながら長焦点光学系の解像度を有する画像を得ることが可能な撮像装置及び情報処理方法が提供される。
【解決手段】撮像装置（１）は、被写体（４０）から到来する光を第１受光領域に結像させる第１光学素子（１１）と、被写体から到来する光を第２受光領域に結像させる第２光学素子（２１）と、第１光学素子から第１受光領域の外に向かって進行する光の少なくとも一部を反射して第１受光領域の中に向かって進行させる第３光学素子（１２）と、第２光学素子から第２受光領域の外に向かって進行する光の少なくとも一部を反射して第２受光領域の中に向かって進行させる第４光学素子（２２）と、第１受光領域の重畳画像と第２受光領域の重畳画像に少なくとも反転及び結合を含む変換処理を実行し、変換処理が実行された重畳画像の比較によって被写体の視差を算出するコントローラ（１４）と、を備える。
【選択図】図１
【解決手段】撮像装置（１）は、被写体（４０）から到来する光を第１受光領域に結像させる第１光学素子（１１）と、被写体から到来する光を第２受光領域に結像させる第２光学素子（２１）と、第１光学素子から第１受光領域の外に向かって進行する光の少なくとも一部を反射して第１受光領域の中に向かって進行させる第３光学素子（１２）と、第２光学素子から第２受光領域の外に向かって進行する光の少なくとも一部を反射して第２受光領域の中に向かって進行させる第４光学素子（２２）と、第１受光領域の重畳画像と第２受光領域の重畳画像に少なくとも反転及び結合を含む変換処理を実行し、変換処理が実行された重畳画像の比較によって被写体の視差を算出するコントローラ（１４）と、を備える。
【選択図】図１
【特許請求の範囲】
【請求項1】
被写体から到来する光を第１像として撮像素子の第１受光領域に結像させる第１光学素子と、
前記被写体から到来する光を第２像として前記撮像素子の前記第１受光領域に隣接する第２受光領域に結像させる第２光学素子と、
前記第１光学素子から前記第１受光領域の外に向かって進行する光の少なくとも一部を反射して前記第１受光領域の中に向かって進行させる第３光学素子と、
前記第２光学素子から前記第２受光領域の外に向かって進行する光の少なくとも一部を反射して前記第２受光領域の中に向かって進行させる第４光学素子と、
前記第１受光領域の重畳画像と前記第２受光領域の重畳画像に少なくとも反転及び結合を含む変換処理を実行し、前記変換処理が実行された重畳画像の比較によって被写体の視差を算出するコントローラと、を備える、撮像装置。
前記被写体から到来する光を第２像として前記撮像素子の前記第１受光領域に隣接する第２受光領域に結像させる第２光学素子と、
前記第１光学素子から前記第１受光領域の外に向かって進行する光の少なくとも一部を反射して前記第１受光領域の中に向かって進行させる第３光学素子と、
前記第２光学素子から前記第２受光領域の外に向かって進行する光の少なくとも一部を反射して前記第２受光領域の中に向かって進行させる第４光学素子と、
前記第１受光領域の重畳画像と前記第２受光領域の重畳画像に少なくとも反転及び結合を含む変換処理を実行し、前記変換処理が実行された重畳画像の比較によって被写体の視差を算出するコントローラと、を備える、撮像装置。
【請求項2】
第５光学素子及び第６光学素子の少なくとも１つを備え、
前記第５光学素子は、前記第３光学素子に対向するように配置され、前記第１光学素子から前記第１受光領域の外に向かって進行する光の少なくとも一部を遮光し、又は、反射して前記第１受光領域の中に向かって進行させ、
前記第６光学素子は、前記第４光学素子に対向するように配置され、前記第２光学素子から前記第２受光領域の外に向かって進行する光の少なくとも一部を遮光し、又は、反射して前記第２受光領域の中に向かって進行させる、請求項１に記載の撮像装置。
前記第５光学素子は、前記第３光学素子に対向するように配置され、前記第１光学素子から前記第１受光領域の外に向かって進行する光の少なくとも一部を遮光し、又は、反射して前記第１受光領域の中に向かって進行させ、
前記第６光学素子は、前記第４光学素子に対向するように配置され、前記第２光学素子から前記第２受光領域の外に向かって進行する光の少なくとも一部を遮光し、又は、反射して前記第２受光領域の中に向かって進行させる、請求項１に記載の撮像装置。
【請求項3】
前記コントローラは、算出した視差の方向に基づいて、前記第１光学素子又は前記第２光学素子のみを介して撮像された被写体像と、前記第１光学素子と前記第２光学素子を除く光学素子を介して撮像された被写体像と、を分離する、請求項１又は２に記載の撮像装置。
【請求項4】
被写体から到来する光を第１像として撮像素子の第１受光領域に結像させる第１光学素子と、前記被写体から到来する光を第２像として前記撮像素子の前記第１受光領域に隣接する第２受光領域に結像させる第２光学素子と、前記第１光学素子から前記第１受光領域の外に向かって進行する光の少なくとも一部を反射して前記第１受光領域の中に向かって進行させる第３光学素子と、前記第２光学素子から前記第２受光領域の外に向かって進行する光の少なくとも一部を反射して前記第２受光領域の中に向かって進行させる第４光学素子と、コントローラと、を備える撮像装置が実行する情報処理方法であって、
前記コントローラが、
前記第１受光領域の重畳画像と前記第２受光領域の重畳画像に少なくとも反転及び結合を含む変換処理を実行し、
前記変換処理が実行された重畳画像の比較によって被写体の視差を算出する、情報処理方法。
前記コントローラが、
前記第１受光領域の重畳画像と前記第２受光領域の重畳画像に少なくとも反転及び結合を含む変換処理を実行し、
前記変換処理が実行された重畳画像の比較によって被写体の視差を算出する、情報処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、撮像装置及び情報処理方法に関する。
【背景技術】
【0002】
従来、１台の撮像装置で距離算出用の画像及び表示用の画像の両方を撮像可能にするシステムが知られている（例えば特許文献１参照）。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２００４－２８９３０５号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
１つの撮像素子の中に距離算出用の２枚の画像をそれぞれ撮像する領域が設けられる場合、各領域で撮像される画像の画素数が少なくなる。また、各領域で撮像される画像の広角化が難しくなる。その結果、撮像画像に基づく距離の算出精度が低くなる。そのため、特許文献１の技術は、遠方の撮影画像と広角画像とを高い解像度で同時に得ることができない。
【0005】
かかる事情に鑑みてなされた本開示の目的は、広角でありながら長焦点光学系の解像度を有する画像を得ることが可能な撮像装置及び情報処理方法を提供することにある。
【課題を解決するための手段】
【0006】
（１）本開示の一実施形態に係る撮像装置は、
被写体から到来する光を第１像として撮像素子の第１受光領域に結像させる第１光学素子と、
前記被写体から到来する光を第２像として前記撮像素子の前記第１受光領域に隣接する第２受光領域に結像させる第２光学素子と、
前記第１光学素子から前記第１受光領域の外に向かって進行する光の少なくとも一部を反射して前記第１受光領域の中に向かって進行させる第３光学素子と、
前記第２光学素子から前記第２受光領域の外に向かって進行する光の少なくとも一部を反射して前記第２受光領域の中に向かって進行させる第４光学素子と、
前記第１受光領域の重畳画像と前記第２受光領域の重畳画像に少なくとも反転及び結合を含む変換処理を実行し、前記変換処理が実行された重畳画像の比較によって被写体の視差を算出するコントローラと、を備える。
被写体から到来する光を第１像として撮像素子の第１受光領域に結像させる第１光学素子と、
前記被写体から到来する光を第２像として前記撮像素子の前記第１受光領域に隣接する第２受光領域に結像させる第２光学素子と、
前記第１光学素子から前記第１受光領域の外に向かって進行する光の少なくとも一部を反射して前記第１受光領域の中に向かって進行させる第３光学素子と、
前記第２光学素子から前記第２受光領域の外に向かって進行する光の少なくとも一部を反射して前記第２受光領域の中に向かって進行させる第４光学素子と、
前記第１受光領域の重畳画像と前記第２受光領域の重畳画像に少なくとも反転及び結合を含む変換処理を実行し、前記変換処理が実行された重畳画像の比較によって被写体の視差を算出するコントローラと、を備える。
【0007】
（２）本開示の一実施形態として、（１）において、
第５光学素子及び第６光学素子の少なくとも１つを備え、
前記第５光学素子は、前記第３光学素子に対向するように配置され、前記第１光学素子から前記第１受光領域の外に向かって進行する光の少なくとも一部を遮光し、又は、反射して前記第１受光領域の中に向かって進行させ、
前記第６光学素子は、前記第４光学素子に対向するように配置され、前記第２光学素子から前記第２受光領域の外に向かって進行する光の少なくとも一部を遮光し、又は、反射して前記第２受光領域の中に向かって進行させる。
第５光学素子及び第６光学素子の少なくとも１つを備え、
前記第５光学素子は、前記第３光学素子に対向するように配置され、前記第１光学素子から前記第１受光領域の外に向かって進行する光の少なくとも一部を遮光し、又は、反射して前記第１受光領域の中に向かって進行させ、
前記第６光学素子は、前記第４光学素子に対向するように配置され、前記第２光学素子から前記第２受光領域の外に向かって進行する光の少なくとも一部を遮光し、又は、反射して前記第２受光領域の中に向かって進行させる。
【0008】
（３）本開示の一実施形態として、（１）又は（２）において、
前記コントローラは、算出した視差の方向に基づいて、前記第１光学素子又は前記第２光学素子のみを介して撮像された被写体像と、前記第１光学素子と前記第２光学素子を除く光学素子を介して撮像された被写体像と、を分離する。
前記コントローラは、算出した視差の方向に基づいて、前記第１光学素子又は前記第２光学素子のみを介して撮像された被写体像と、前記第１光学素子と前記第２光学素子を除く光学素子を介して撮像された被写体像と、を分離する。
【0009】
（４）本開示の一実施形態に係る情報処理方法は、
被写体から到来する光を第１像として撮像素子の第１受光領域に結像させる第１光学素子と、前記被写体から到来する光を第２像として前記撮像素子の前記第１受光領域に隣接する第２受光領域に結像させる第２光学素子と、前記第１光学素子から前記第１受光領域の外に向かって進行する光の少なくとも一部を反射して前記第１受光領域の中に向かって進行させる第３光学素子と、前記第２光学素子から前記第２受光領域の外に向かって進行する光の少なくとも一部を反射して前記第２受光領域の中に向かって進行させる第４光学素子と、コントローラと、を備える撮像装置が実行する情報処理方法であって、
前記コントローラが、
前記第１受光領域の重畳画像と前記第２受光領域の重畳画像に少なくとも反転及び結合を含む変換処理を実行し、
前記変換処理が実行された重畳画像の比較によって被写体の視差を算出する。
被写体から到来する光を第１像として撮像素子の第１受光領域に結像させる第１光学素子と、前記被写体から到来する光を第２像として前記撮像素子の前記第１受光領域に隣接する第２受光領域に結像させる第２光学素子と、前記第１光学素子から前記第１受光領域の外に向かって進行する光の少なくとも一部を反射して前記第１受光領域の中に向かって進行させる第３光学素子と、前記第２光学素子から前記第２受光領域の外に向かって進行する光の少なくとも一部を反射して前記第２受光領域の中に向かって進行させる第４光学素子と、コントローラと、を備える撮像装置が実行する情報処理方法であって、
前記コントローラが、
前記第１受光領域の重畳画像と前記第２受光領域の重畳画像に少なくとも反転及び結合を含む変換処理を実行し、
前記変換処理が実行された重畳画像の比較によって被写体の視差を算出する。
【発明の効果】
【0010】
本開示によれば、広角でありながら長焦点光学系の解像度を有する画像を得ることが可能な撮像装置及び情報処理方法を提供することができる。
【図面の簡単な説明】
【0011】
【発明を実施するための形態】
【0012】
以下、図面を参照して本開示の一実施形態に係る撮像装置１（図１参照）及び情報処理方法が説明される。以下の図面において、同じ構成要素には同じ符号が付されている。実施形態について説明する図は模式的なものである。図面上の寸法比率などは、現実のものと必ずしも一致していない。
【0013】
本実施形態に係る撮像装置１は、被写体４０（図１参照）の視差画像を撮影する。例えば被写体４０の視差画像に基づいて、測距対象である被写体４０の各点までの距離を算出することができる。視差画像に基づく測距において、基線長が大きいほど距離データの分解能及び精度が高められる。基線長は、視差画像を構成する２枚の画像を撮影する装置の間隔に対応する。
【0014】
測距データを生成するための視差画像を撮影する方法として、例えばステレオカメラを用いる方法が考えられる。ステレオカメラは、平行に配置した２つのカメラで三角測量を行う方式である。ステレオカメラにおいて、２つのカメラの間隔が基線長に対応する。したがって、ステレオカメラの基線長を長くすることによって距離データの分解能及び精度を高めることができる。しかし、ステレオカメラにおいて基線長を長くする場合、２つのカメラを離して配置することが必要になり、装置が大きくなる。近年、さらなる小型化が求められており、装置を大きくすることは難しい。ここで、距離データの分解能及び精度を高めるために、焦点距離を長くする方法が考えられる。しかし、焦点距離を長くすることによって撮像画像の広角化が難しくなる。つまり、従来構成のステレオカメラでは、撮像画像の広角化又は距離データの分解能及び精度の向上のいずれかが難しくなる。
【0015】
本実施形態に係る撮像装置１は、装置を大型化させることなく、撮像画像の広角化並びに距離データの分解能及び精度の向上を実現し得る。つまり、本実施形態に係る撮像装置１は、以下に説明する構成によって、広角でありながら長焦点光学系の解像度を有する画像を得ることが可能である。以下、撮像装置１の具体的な構成例が説明される。
【0016】
（第１構成例）
図１に示されるように、本実施形態に係る撮像装置１は、第１光学系１０と、第２光学系２０と、コントローラ１４と、を備える。撮像装置１は撮像素子３０をさらに備えてよい。光学系は光学装置とも称される。撮像装置１は、第１光学系１０及び第２光学系２０それぞれで被写体４０を結像させて撮像素子３０で撮像することによって、第１光学系１０で結像した像を撮像した画像と第２光学系２０で結像した像を撮像した画像とを、視差画像として撮像できる。第１光学系１０で結像した像は、第１像４１とも称される。第２光学系２０で結像した像は、第２像４２とも称される。図２は、図１の撮像装置１の第１像４１及び第２像４２を説明するための図である。図２において、第１像４１及び第２像４２の説明のために、仮想的に第１光学系１０と第２光学系２０とを離して示し、仮想的に光が直進して撮像素子３０の位置で被写体像が生成される様子を示している。第１像４１を撮像した画像は、第１画像とも称される。第２像４２を撮像した画像は、第２画像とも称される。視差画像は、第１画像及び第２画像によって構成される。
図１に示されるように、本実施形態に係る撮像装置１は、第１光学系１０と、第２光学系２０と、コントローラ１４と、を備える。撮像装置１は撮像素子３０をさらに備えてよい。光学系は光学装置とも称される。撮像装置１は、第１光学系１０及び第２光学系２０それぞれで被写体４０を結像させて撮像素子３０で撮像することによって、第１光学系１０で結像した像を撮像した画像と第２光学系２０で結像した像を撮像した画像とを、視差画像として撮像できる。第１光学系１０で結像した像は、第１像４１とも称される。第２光学系２０で結像した像は、第２像４２とも称される。図２は、図１の撮像装置１の第１像４１及び第２像４２を説明するための図である。図２において、第１像４１及び第２像４２の説明のために、仮想的に第１光学系１０と第２光学系２０とを離して示し、仮想的に光が直進して撮像素子３０の位置で被写体像が生成される様子を示している。第１像４１を撮像した画像は、第１画像とも称される。第２像４２を撮像した画像は、第２画像とも称される。視差画像は、第１画像及び第２画像によって構成される。
【0017】
撮像素子３０は、受光領域３０Ａを備える。撮像素子３０は、受光領域３０Ａに入射した光を撮像する。受光領域３０Ａは撮像領域とも称される。撮像素子３０は、可視光又は赤外線若しくは紫外線等の不可視光によって形成される像を撮像可能であってよい。撮像素子３０は、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサ又はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ－Ｏｘｉｄｅ－Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ等を含んで構成されてよい。撮像素子３０は、カラーイメージセンサであってよい。撮像素子３０の受光領域３０Ａは、複数の画素を有してよい。撮像素子３０は、各画素に入射する光量に応じて各画素から出力される電気信号に基づいて画像信号を生成する。撮像素子３０は、３０ｆｐｓ（ｆｒａｍｅ ｐｅｒ ｓｅｃｏｎｄ）等の所定のフレームレートで画像信号を生成してよい。
【0018】
受光領域３０Ａは、第１受光領域３１と第２受光領域３２とを含む。第１受光領域３１と第２受光領域３２とは、受光領域３０Ａの上で互いに重複しないとする。また、第１受光領域３１の面積と第２受光領域３２の面積とが互いに同じであってよい。第１受光領域３１と第２受光領域３２とは隣接してよい。第１受光領域３１と第２受光領域３２とは、説明の便宜上、区別される。実際の受光領域３０Ａにおいて、第１受光領域３１と第２受光領域３２とは区別可能に構成されなくてよい。
【0019】
第１光学系１０は、第１光学素子１１を備える。第１光学素子１１は、光軸１１Ａを有する。第１光学素子１１は、被写体４０から到来する光又は光束を撮像素子３０の受光領域３０Ａのうち第１受光領域３１に結像させる。
【0020】
第１光学素子１１は、少なくとも１つのレンズを含んで構成されてよい。第１光学素子１１は、凸レンズ又は凹レンズ等の種々のレンズを含んで構成されてよい。第１光学素子１１は、凸面鏡、凹面鏡又は平面鏡等の種々のミラーを含んで構成されてよい。第１光学素子１１は、絞りを含んで構成されてよい。第１光学素子１１は、これらに限られず他の種々の素子を含んで構成されてよい。
【0021】
第１光学素子１１は、被写体４０の像を受光領域３０Ａで第１像４１として結像させる。第１光学系１０は、像側テレセントリックでなくてよい。言い換えると、第１光学系１０を通過する任意の光束の主光線の方向の、第１光学素子１１の光軸１１Ａに対する角度は、０度より大きくてよい。又は、第１光学系１０は、像側テレセントリックであってよい。
【0022】
第２光学系２０は、第２光学素子２１を備える。第２光学素子２１は、光軸２１Ａを有する。第２光学素子２１は、被写体４０から到来する光又は光束を撮像素子３０の受光領域３０Ａのうち第２受光領域３２に結像させる。
【0023】
第２光学素子２１は、少なくとも１つのレンズを含んで構成されてよい。第２光学素子２１は、凸レンズ又は凹レンズ等の種々のレンズを含んで構成されてよい。第２光学素子２１は、凸面鏡、凹面鏡又は平面鏡等の種々のミラーを含んで構成されてよい。第２光学素子２１は、絞りを含んで構成されてよい。第２光学素子２１は、これらに限られず他の種々の素子を含んで構成されてよい。
【0024】
第２光学素子２１は、被写体４０の像を受光領域３０Ａで第２像４２として結像させる。第２光学系２０は、像側テレセントリックでなくてよい。言い換えると、第２光学系２０を通過する任意の光束の主光線の方向の、第２光学素子２１の光軸２１Ａに対する角度は、０度より大きくてよい。又は、第２光学系２０は、像側テレセントリックであってよい。
【0025】
第１像４１として結像する光線の一部は、第１光学素子１１から受光領域３０Ａの外側に向かって進行する。第１光学系１０は第３光学素子１２をさらに含む。第３光学素子１２は、第１受光領域３１に近い面を反射面とするミラーとして構成される。また、図１の構成例において第３光学素子１２は平面鏡である。第３光学素子１２は、第１光学素子１１から第１受光領域３１の外に向かって進行する光の少なくとも一部を反射して第１受光領域３１の中（内側）に向かって進行させる。第３光学素子１２で反射された光線は、第１受光領域３１の内側で結像される。第３光学素子１２で反射された光線が結像される像は、第１受光領域３１の外側に結像される像（図２のＬ１）が第１受光領域３１の内側に折り返された像に対応する。第１受光領域３１の内側に折り返された像は、折り返し（反転）を括弧で示し、［Ｌ１］と表される。
【0026】
第２像４２として結像する光線の一部は、第２光学素子２１から受光領域３０Ａの外側に向かって進行する。第２光学系２０は第４光学素子２２をさらに含む。第４光学素子２２は、第２受光領域３２に近い面を反射面とするミラーとして構成される。また、図１の構成例において第４光学素子２２は平面鏡である。第４光学素子２２は、第２光学素子２１から第２受光領域３２の外に向かって進行する光の少なくとも一部を反射して第２受光領域３２の中（内側）に向かって進行させる。第４光学素子２２で反射された光線は、第２受光領域３２の内側で結像される。第４光学素子２２で反射された光線が結像された像は、第２受光領域３２の外側に結像される像（図２のＲ４）が第２受光領域３２の内側に折り返された像に対応する。第２受光領域３２の内側に折り返された像は、折り返し（反転）を括弧で示し、［Ｒ４］と表される。
【0027】
撮像装置１は第５光学素子１３及び第６光学素子２３の少なくとも１つを備えてよい。図１の構成例において、撮像装置１は第５光学素子１３及び第６光学素子２３を備える。第５光学素子１３及び第６光学素子２３は、反射面を有するミラーとして構成されてよい。第５光学素子１３及び第６光学素子２３は、例えば１枚の両面ミラーとして一体に構成されてよい。
【0028】
第５光学素子１３は、第１受光領域３１に近い面を反射面とするミラーとして構成される。また、図１の構成例において第５光学素子１３は平面鏡である。第５光学素子１３は、第３光学素子１２に対向するように配置され、第１光学素子１１から第１受光領域３１の外に向かって進行する光の少なくとも一部を反射して第１受光領域３１の中（内側）に向かって進行させる。第５光学素子１３で反射された光線は、第１受光領域３１の内側で結像される。第５光学素子１３で反射された光線が結像される像は、第１受光領域３１の外側に結像される像（図２のＬ４）が第１受光領域３１の内側に折り返された像に対応する。第１受光領域３１の内側に折り返された像は、折り返し（反転）を括弧で示し、［Ｌ４］と表される。
【0029】
第６光学素子２３は、第２受光領域３２に近い面を反射面とするミラーとして構成される。また、図１の構成例において第６光学素子２３は平面鏡である。第６光学素子２３は、第４光学素子２２に対向するように配置され、第２光学素子２１から第２受光領域３２の外に向かって進行する光の少なくとも一部を反射して第２受光領域３２の中（内側）に向かって進行させる。第６光学素子２３で反射された光線は、第２受光領域３２の内側で結像される。第６光学素子２３で反射された光線が結像された像は、第２受光領域３２の外側に結像される像（図２のＲ１）が第２受光領域３２の内側に折り返された像に対応する。第２受光領域３２の内側に折り返された像は、折り返し（反転）を括弧で示し、［Ｒ１］と表される。
【0030】
撮像素子３０は、受光領域３０Ａの上に結像された像を撮像し、撮像画像を生成する。図３は、図１の撮像装置１が生成する重畳画像５０を説明するための図である。撮像画像は、被写体４０から到来する光が第１光学素子１１から他の光学素子を介さずに第１受光領域３１で結像した像に、他の光学素子を介して第１受光領域３１で結像した像が重畳された重畳画像５０Ｌを含む。また、撮像画像は、被写体４０から到来する光が第２光学素子２１から他の光学素子を介さずに第２受光領域３２で結像した像に、他の光学素子を介して第２受光領域３２で結像した像が重畳された重畳画像５０Ｒを含む。ここで、重畳画像５０Ｌと重畳画像５０Ｒとを区別しない場合に、これらをまとめて重畳画像５０と称することがある。
【0031】
図３に示すように、第１像４１はＬ１、Ｌ２、Ｌ３及びＬ４の像を含む。Ｌ１は第３光学素子１２で折り返されて、反転した像である［Ｌ１］として第１受光領域３１で結像する。［Ｌ１］は、第１光学素子１１から他の光学素子を介さずに第１受光領域３１で結像した像であるＬ２に重畳する。また、Ｌ４は第５光学素子１３で折り返されて、反転した像である［Ｌ４］として第１受光領域３１で結像する。［Ｌ４］は、第１光学素子１１から他の光学素子を介さずに第１受光領域３１で結像した像であるＬ３に重畳する。撮像素子３０は、［Ｌ１］、Ｌ２、Ｌ３及び［Ｌ４］の像が含まれる重畳画像５０Ｌを生成する。
【0032】
また、図３に示すように、第２像４２はＲ１、Ｒ２、Ｒ３及びＲ４の像を含む。Ｒ４は第４光学素子２２で折り返されて、反転した像である［Ｒ４］として第２受光領域３２で結像する。［Ｒ４］は、第２光学素子２１から他の光学素子を介さずに第２受光領域３２で結像した像であるＲ３に重畳する。また、Ｒ１は第６光学素子２３で折り返されて、反転した像である［Ｒ１］として第２受光領域３２で結像する。［Ｒ１］は、第２光学素子２１から他の光学素子を介さずに第２受光領域３２で結像した像であるＲ２に重畳する。撮像素子３０は、［Ｒ１］、Ｒ２、Ｒ３及び［Ｒ４］の像が含まれる重畳画像５０Ｒを生成する。
【0033】
図３に例示される重畳画像５０において、第３光学素子１２、第４光学素子２２、第５光学素子１３及び第６光学素子２３は、紙面に向かって左右方向に像を折り返すように配置されているが、紙面に向かって上下方向に像を折り返すように配置されてよい。
【0034】
撮像素子３０の受光領域３０Ａは、第１光学系１０及び第２光学系２０が被写体４０から到来する光又は光束を受光領域３０Ａに結像させた像を撮像する。逆に言えば、受光領域３０Ａで撮像されるように第１光学系１０及び第２光学系２０によって光又は光束が結像され得る範囲が撮像装置１の画角に対応する。第１光学素子１１と第２光学素子２１を除く光学素子を介することなく、第１光学素子１１及び第２光学素子２１から受光領域３０Ａに直接結像される範囲は、直接画角とも称される。
【0035】
本実施形態に係る撮像装置１は、直接画角の外から第１光学系１０及び第２光学系２０に入射する光又は光束を、第１光学素子１１と第２光学素子２１以外の光学素子によって受光領域３０Ａに向けて進行させて結像させることによって撮像できる。その結果、焦点距離を変更することなく画角が広げられる。つまり、広角でありながら長焦点光学系の解像度を有する画像を得ることが可能になる。焦点距離を変更する必要がないことによって、撮像装置１で撮影する視差画像に基づく測距の分解能及び精度に対して広角化が影響を及ぼしにくい。
【0036】
撮像装置１は、撮像装置１を制御するコントローラ１４を備える。コントローラ１４は、少なくとも１つのプロセッサ、少なくとも１つの専用回路又はこれらの組み合わせを含んで構成される。プロセッサは、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などの汎用プロセッサ又は特定の処理に特化した専用プロセッサである。専用回路は、例えば、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）などであってよい。本実施形態において、コントローラ１４は、撮像素子３０から取得する撮像画像に対して情報処理（画像処理）を実行する。
【0037】
コントローラ１４は、第１受光領域３１の重畳画像５０Ｌと第２受光領域３２の重畳画像５０Ｒに少なくとも反転及び結合を含む変換処理を実行し、変換処理が実行された重畳画像５０の比較によって被写体４０の視差を算出する。図４は、図１の撮像装置１が実行する変換処理を説明するための図である。コントローラ１４は、重畳画像５０Ｌのうちの［Ｌ１］が含まれる部分について、外側方向に反転して（折り返して）結合する。また、コントローラ１４は、重畳画像５０Ｌのうちの［Ｌ４］が含まれる部分について、外側方向に反転して結合する。変換後重畳画像５１Ｌは、変換処理が実行された重畳画像５０Ｌである。変換後重畳画像５１Ｌは、第１像４１と同じ配置でＬ１、Ｌ２、Ｌ３及びＬ４の像を含む。つまり、変換後重畳画像５１Ｌは、反転した像が重畳されているが、被写体４０の正しい位置情報を含む画像である。
【0038】
また、コントローラ１４は、重畳画像５０Ｒのうちの［Ｒ１］が含まれる部分について、外側方向に反転して（折り返して）結合する。また、コントローラ１４は、重畳画像５０Ｒのうちの［Ｒ４］が含まれる部分について、外側方向に反転して結合する。変換後重畳画像５１Ｒは、変換処理が実行された重畳画像５０Ｒである。変換後重畳画像５１Ｒは、第２像４２と同じ配置でＲ１、Ｒ２、Ｒ３及びＲ４の像を含む。つまり、変換後重畳画像５１Ｒは、反転した像が重畳されているが、被写体４０の正しい位置情報を含む画像である。ここで、変換後重畳画像５１Ｌと変換後重畳画像５１Ｒとを区別しない場合に、これらをまとめて変換後重畳画像５１と称することがある。
【0039】
図５は、変換後重畳画像５１の一例を示す図である。コントローラ１４は、例えば公知のステレオマッチング処理を行うことにより視差を算出する。コントローラ１４は、ステレオマッチング処理において、変換後重畳画像５１Ｌ及び変換後重畳画像５１Ｒの一方を基準画像とし、他方を比較画像としてよい。コントローラ１４は、基準画像と比較画像とで対応する部分の画像上の位置の差（視差）を算出することができる。また、コントローラ１４は、算出した視差を用いて三角測量の原理により対象までの距離情報を算出することができる。ここで、変換後重畳画像５１Ｌ及び変換後重畳画像５１Ｒについて、どちらがステレオカメラとして構成されている撮像装置１の右眼側であるか又は左眼側であるかは既知である。したがって、コントローラ１４は、基準画像と比較画像との比較において、視差によって被写体４０がどの方向に移動するかを予め把握することができる。図４に示すように、変換後重畳画像５１には反転した像が含まれているが、被写体４０の反転した像が視差によって移動する方向は、予め算出した視差の方向（被写体４０の像の移動する正しい方向）と反対になる。したがって、コントローラ１４は、予め算出した視差の方向との照合を行うことによって、誤って被写体４０の反転像について視差を算出することを回避できる。
【0040】
コントローラ１４は、第１光学素子１１又は第２光学素子２１のみを介して撮像された被写体像と、第１光学素子１１と第２光学素子２１以外の光学素子も介して撮像された被写体像と、を分離してよい。コントローラ１４は、変換後重畳画像５１Ｌ又は変換後重畳画像５１Ｒに対して、例えば独立成分分析、ウェーブレット法又は画像分離モデル等の画像処理方法を適用することによって被写体像を分離する、すなわち反転した被写体像を除く処理を行ってよい。画像分離モデルは、例えば、事前に複数の画像を重ねた画像を作成し、事前に作成した画像から分離される複数の正解画像を学習させることにより構築されるモデルである。画像分離モデルは、画像を生成するｇｅｎｅｒａｔｏｒと、生成された画像が偽画像かどうか判定するｄｉｓｃｒｉｍｉｎａｔｏｒとを競わせて、その関係を反映したペア画像を生成するＰｉｘ－ｔｏ－Ｐｉｘを適用したモデルであってよい。
【0041】
ここで、コントローラ１４は、被写体像を分離する処理においても、上記の算出した視差の方向（被写体４０の像の移動する正しい方向）を用いてよい。上記のように、変換後重畳画像５１Ｌと変換後重畳画像５１Ｒの比較によって、被写体４０の像が算出した視差の方向に移動し、反転した被写体４０の像が反対方向に移動する。そのため、コントローラ１４は、算出した視差の方向に基づいて、反転した被写体４０の像を特定して変換後重畳画像５１から除くことができる。
【0042】
コントローラ１４は、変換後重畳画像５１から、重畳を分離して、重畳のない第１像４１及び重畳のない第２像４２の少なくとも１つを出力してよい。コントローラ１４は、上記のように、三角測量の原理により対象までの距離情報を算出してよい。
【0043】
図６は、撮像装置１が実行する情報処理方法の処理例を示すフローチャートである。コントローラ１４は、反転した被写体４０の像が除かれた復元画像を得るために、図６のフローチャートで示される処理を実行してよい。
【0044】
コントローラ１４は、第１受光領域３１の重畳画像５０Ｌと第２受光領域３２の重畳画像５０Ｒを取得する（ステップＳ１）。コントローラ１４は、上記のように少なくとも反転及び結合を含む変換処理を実行する（ステップＳ２）。変換処理によって、変換後重畳画像５１Ｌ及び変換後重畳画像５１Ｒが得られる。コントローラ１４は、変換後重畳画像５１Ｌ及び変換後重畳画像５１Ｒの比較によって被写体４０の視差を算出する（ステップＳ３）。視差の算出において、ステレオマッチング処理などが実行されてよい。コントローラ１４は、算出した視差の方向に基づいて被写体像（被写体４０の像）を分離して、復元画像を得る。被写体像の分離において、例えば独立成分分析、ウェーブレット法又は画像分離モデル等の画像処理方法が適用されてよい。
【0045】
（第２構成例）
第２構成例の撮像装置１は、図７～図１０を参照して説明される。図７～図１０は、それぞれ図１～図４と同様の説明図であって、同じ要素について同じ符号が付されている。重複説明回避のため、第１構成例と同じ要素については説明を省略又は簡略化し、主に第１構成例と異なる部分について説明する。
第２構成例の撮像装置１は、図７～図１０を参照して説明される。図７～図１０は、それぞれ図１～図４と同様の説明図であって、同じ要素について同じ符号が付されている。重複説明回避のため、第１構成例と同じ要素については説明を省略又は簡略化し、主に第１構成例と異なる部分について説明する。
【0046】
図７及び図８に示すように、撮像装置１は第５光学素子１３及び第６光学素子２３を備えなくてよい。第１像４１の一部は、第１受光領域３１で結像する。第１像４１の一部は、第２受光領域３２の一部で結像する。つまり、第１光学素子１１は、被写体４０から到来する光又は光束を第１像４１として第１受光領域３１よりも広い範囲に結像させるように構成される。また、第２像４２の一部は、第２受光領域３２で結像する。第２像４２の一部は、第１受光領域３１の一部で結像する。つまり、第２光学素子２１は、被写体４０から到来する光又は光束を第２像４２として第２受光領域３２よりも広い範囲に結像させるように構成される。
【0047】
図９に示すように、第１像４１はＬ１、Ｌ２、Ｌ３及びＬ４の像を含む。Ｌ１は第３光学素子１２で折り返されて、反転した像である［Ｌ１］として第１受光領域３１で結像する。［Ｌ１］は、第１光学素子１１から他の光学素子を介さずに第１受光領域３１で結像した像であるＬ２に重畳する。また、第２像４２の一部であるＲ１が第１受光領域３１で結像する。Ｒ１は、第１光学素子１１から他の光学素子を介さずに第１受光領域３１で結像した像であるＬ３に重畳する。撮像素子３０は、［Ｌ１］、Ｌ２、Ｌ３及びＲ１の像が含まれる重畳画像５０Ｌを生成する。
【0048】
また、図９に示すように、第２像４２はＲ１、Ｒ２、Ｒ３及びＲ４の像を含む。Ｒ４は第４光学素子２２で折り返されて、反転した像である［Ｒ４］として第２受光領域３２で結像する。［Ｒ４］は、第２光学素子２１から他の光学素子を介さずに第２受光領域３２で結像した像であるＲ３に重畳する。また、第１像４１の一部であるＬ４が第２受光領域３２で結像する。Ｌ４は、第２光学素子２１から他の光学素子を介さずに第２受光領域３２で結像した像であるＲ２に重畳する。撮像素子３０は、Ｌ４、Ｒ２、Ｒ３及び［Ｒ４］の像が含まれる重畳画像５０Ｒを生成する。
【0049】
図１０は、図７の撮像装置１が実行する変換処理を説明するための図である。コントローラ１４は、重畳画像５０Ｌのうちの［Ｌ１］が含まれる部分について、外側方向に反転して結合する。また、コントローラ１４は、重畳画像５０ＲからＬ４が含まれる部分を抽出して、重畳画像５０ＬのうちのＬ３が含まれる部分の外側方向に結合する。変換後重畳画像５１Ｌは、第１像４１と同じ配置でＬ１、Ｌ２、Ｌ３及びＬ４の像を含む。つまり、変換後重畳画像５１Ｌは、反転した像が重畳されているが、被写体４０の正しい位置情報を含む画像である。
【0050】
また、コントローラ１４は、重畳画像５０Ｒのうちの［Ｒ４］が含まれる部分について、外側方向に反転して結合する。また、コントローラ１４は、重畳画像５０ＬからＲ１が含まれる部分を抽出して、重畳画像５０ＲのうちのＲ２が含まれる部分の外側方向に結合する。変換後重畳画像５１Ｒは、第２像４２と同じ配置でＲ１、Ｒ２、Ｒ３及びＲ４の像を含む。つまり、変換後重畳画像５１Ｒは、反転した像が重畳されているが、被写体４０の正しい位置情報を含む画像である。
【0051】
コントローラ１４は、第１構成例の場合と同様に、変換後重畳画像５１の比較によって被写体４０の視差を算出する。また、コントローラ１４は、第１構成例の場合と同様に、第１光学素子１１又は第２光学素子２１のみを介して撮像された被写体像と、第１光学素子１１と第２光学素子２１を除く光学素子を介して撮像された被写体像と、を分離してよい。
【0052】
（第３構成例）
第３構成例の撮像装置１は、図１１～図１４を参照して説明される。図１１～図１４は、それぞれ図１～図４と同様の説明図であって、同じ要素について同じ符号が付されている。重複説明回避のため、第１構成例と同じ要素については説明を省略又は簡略化し、主に第１構成例と異なる部分について説明する。
第３構成例の撮像装置１は、図１１～図１４を参照して説明される。図１１～図１４は、それぞれ図１～図４と同様の説明図であって、同じ要素について同じ符号が付されている。重複説明回避のため、第１構成例と同じ要素については説明を省略又は簡略化し、主に第１構成例と異なる部分について説明する。
【0053】
図１１及び図１２に示すように、撮像装置１は遮光部材である第５光学素子１３及び第６光学素子２３を備えてよい。第５光学素子１３は、第３光学素子１２に対向するように配置され、第１光学素子１１から第１受光領域３１の外に向かって進行する光の少なくとも一部を遮光する。また、第６光学素子２３は、第４光学素子２２に対向するように配置され、第２光学素子２１から第２受光領域３２の外に向かって進行する光の少なくとも一部を遮光する。
【0054】
図１３に示すように、第１像４１はＬ１及びＬ２の像を含む。Ｌ１は第３光学素子１２で折り返されて、反転した像である［Ｌ１］として第１受光領域３１で結像する。［Ｌ１］は、第１光学素子１１から他の光学素子を介さずに第１受光領域３１で結像した像であるＬ２に重畳する。撮像素子３０は、［Ｌ１］及びＬ２の像が含まれる重畳画像５０Ｌを生成する。
【0055】
また、図１３に示すように、第２像４２はＲ２及びＲ３の像を含む。Ｒ３は第４光学素子２２で折り返されて、反転した像である［Ｒ３］として第２受光領域３２で結像する。［Ｒ３］は、第２光学素子２１から他の光学素子を介さずに第２受光領域３２で結像した像であるＲ２に重畳する。撮像素子３０は、Ｒ２及び［Ｒ３］の像が含まれる重畳画像５０Ｒを生成する。
【0056】
図１４は、図１１の撮像装置１が実行する変換処理を説明するための図である。コントローラ１４は、重畳画像５０Ｌのうちの［Ｌ１］が含まれる部分（図１４の例では重畳画像５０Ｌの全体）について、外側方向に反転して結合する。変換後重畳画像５１Ｌは、第１像４１と同じ配置でＬ１及びＬ２の像を含む。つまり、変換後重畳画像５１Ｌは、反転した像が重畳されているが、被写体４０の正しい位置情報を含む画像である。
【0057】
また、コントローラ１４は、重畳画像５０Ｒのうちの［Ｒ３］が含まれる部分（図１４の例では重畳画像５０Ｒの全体）について、外側方向に反転して結合する。変換後重畳画像５１Ｒは、第２像４２と同じ配置でＲ２及びＲ３の像を含む。つまり、変換後重畳画像５１Ｒは、反転した像が重畳されているが、被写体４０の正しい位置情報を含む画像である。
【0058】
コントローラ１４は、被写体４０の視差を算出する前に、第１光学素子１１又は第２光学素子２１のみを介して撮像された被写体像と、第１光学素子１１と第２光学素子２１を除く光学素子を介して撮像された被写体像と、を分離してよい。近距離側の視差算出（測距）範囲を広げることができる。
【0059】
（第４構成例）
第４構成例の撮像装置１は、図１５～図１８を参照して説明される。図１５～図１８は、それぞれ図１～図４と同様の説明図であって、同じ要素について同じ符号が付されている。重複説明回避のため、第１構成例と同じ要素については説明を省略又は簡略化し、主に第１構成例と異なる部分について説明する。
第４構成例の撮像装置１は、図１５～図１８を参照して説明される。図１５～図１８は、それぞれ図１～図４と同様の説明図であって、同じ要素について同じ符号が付されている。重複説明回避のため、第１構成例と同じ要素については説明を省略又は簡略化し、主に第１構成例と異なる部分について説明する。
【0060】
図１５及び図１６に示すように、撮像装置１は、第２構成例と同様に、第５光学素子１３及び第６光学素子２３を備えなくてよい。第１像４１の一部は、第１受光領域３１で結像する。第１像４１の一部は、第２受光領域３２の一部で結像する。つまり、第１光学素子１１は、被写体４０から到来する光又は光束を第１像４１として第１受光領域３１よりも広い範囲に結像させるように構成される。また、第２像４２の一部は、第２受光領域３２で結像する。第２像４２の一部は、第１受光領域３１の一部で結像する。つまり、第２光学素子２１は、被写体４０から到来する光又は光束を第２像４２として第２受光領域３２よりも広い範囲に結像させるように構成される。
【0061】
図１７に示すように、第１像４１はＬ１、Ｌ２及びＬ４の像を含む。Ｌ１は第３光学素子１２で折り返されて、反転した像である［Ｌ１］として第１受光領域３１で結像する。［Ｌ１］は、第１光学素子１１から他の光学素子を介さずに第１受光領域３１で結像した像であるＬ２に重畳する。また、第２像４２の一部であるＲ１が第１受光領域３１で結像する。Ｒ１は、第１光学素子１１から他の光学素子を介さずに第１受光領域３１で結像した像であるＬ２に重畳する。撮像素子３０は、［Ｌ１］、Ｌ２及びＲ１の像が含まれる重畳画像５０Ｌを生成する。
【0062】
また、図１７に示すように、第２像４２はＲ１、Ｒ２及びＲ４の像を含む。Ｒ４は第４光学素子２２で折り返されて、反転した像である［Ｒ４］として第２受光領域３２で結像する。［Ｒ４］は、第２光学素子２１から他の光学素子を介さずに第２受光領域３２で結像した像であるＲ２に重畳する。また、第１像４１の一部であるＬ４が第２受光領域３２で結像する。Ｌ４は、第２光学素子２１から他の光学素子を介さずに第２受光領域３２で結像した像であるＲ２に重畳する。撮像素子３０はＬ４、Ｒ２及び［Ｒ４］の像が含まれる重畳画像５０Ｒを生成する。
【0063】
図１８は、図１５の撮像装置１が実行する変換処理を説明するための図である。コントローラ１４は、重畳画像５０Ｌのうちの［Ｌ１］が含まれる部分（図１８の例では重畳画像５０Ｌの全体）について、外側方向に反転して結合する。また、コントローラ１４は、重畳画像５０ＲからＬ４が含まれる部分（図１８の例では重畳画像５０Ｒの全体）を抽出して、逆側の外側方向に結合する。変換後重畳画像５１Ｌは、第１像４１と同じ配置でＬ１、Ｌ２及びＬ４の像を含む。つまり、変換後重畳画像５１Ｌは、反転した像が重畳されているが、被写体４０の正しい位置情報を含む画像である。
【0064】
また、コントローラ１４は、重畳画像５０Ｒのうちの［Ｒ４］が含まれる部分（図１８の例では重畳画像５０Ｒの全体）について、外側方向に反転して結合する。また、コントローラ１４は、重畳画像５０ＬからＲ１が含まれる部分（図１８の例では重畳画像５０Ｌの全体）を抽出して、逆側の外側方向に結合する。変換後重畳画像５１Ｒは、第２像４２と同じ配置でＲ１、Ｒ２及びＲ４の像を含む。つまり、変換後重畳画像５１Ｒは、反転した像が重畳されているが、被写体４０の正しい位置情報を含む画像である。
【0065】
コントローラ１４は、第１構成例の場合と同様に、変換後重畳画像５１の比較によって被写体４０の視差を算出する。また、コントローラ１４は、第１構成例の場合と同様に、第１光学素子１１又は第２光学素子２１のみを介して撮像された被写体像と、第１光学素子１１と第２光学素子２１を除く光学素子を介して撮像された被写体像と、を分離してよい。
【0066】
（第５構成例）
第５構成例の撮像装置１は、図１９～図２２を参照して説明される。図１９～図２２は、それぞれ図１～図４と同様の説明図であって、同じ要素について同じ符号が付されている。重複説明回避のため、第１構成例と同じ要素については説明を省略又は簡略化し、主に第１構成例と異なる部分について説明する。
第５構成例の撮像装置１は、図１９～図２２を参照して説明される。図１９～図２２は、それぞれ図１～図４と同様の説明図であって、同じ要素について同じ符号が付されている。重複説明回避のため、第１構成例と同じ要素については説明を省略又は簡略化し、主に第１構成例と異なる部分について説明する。
【0067】
図１９及び図２０に示すように、撮像装置１は、第３光学素子１２を第１構成例における第５光学素子１３の位置に移動し、第５光学素子１３を備えない構成であってよい。第３光学素子１２は、第１受光領域３１に近い面を反射面とするミラーとして構成される。また、撮像装置１は遮光部材である第６光学素子２３を備えてよい。
【0068】
図２１に示すように、第１像４１はＬ２及びＬ４の像を含む。Ｌ４は第３光学素子１２で折り返されて、反転した像である［Ｌ４］として第１受光領域３１で結像する。［Ｌ４］は、第１光学素子１１から他の光学素子を介さずに第１受光領域３１で結像した像であるＬ２に重畳する。撮像素子３０は、Ｌ２及び［Ｌ４］の像が含まれる重畳画像５０Ｌを生成する。
【0069】
また、図２１に示すように、第２像４２はＲ２及びＲ４の像を含む。Ｒ４は第４光学素子２２で折り返されて、反転した像である［Ｒ４］として第２受光領域３２で結像する。［Ｒ４］は、第２光学素子２１から他の光学素子を介さずに第２受光領域３２で結像した像であるＲ２に重畳する。撮像素子３０は、Ｒ２及び［Ｒ４］の像が含まれる重畳画像５０Ｒを生成する。
【0070】
図２２は、図１９の撮像装置１が実行する変換処理を説明するための図である。コントローラ１４は、重畳画像５０Ｌのうちの［Ｌ４］が含まれる部分（図２２の例では重畳画像５０Ｌの全体）について、外側方向に反転して結合する。変換後重畳画像５１Ｌは、第１像４１と同じ配置でＬ２及びＬ４の像を含む。つまり、変換後重畳画像５１Ｌは、反転した像が重畳されているが、被写体４０の正しい位置情報を含む画像である。
【0071】
また、コントローラ１４は、重畳画像５０Ｒのうちの［Ｒ４］が含まれる部分（図２２の例では重畳画像５０Ｒの全体）について、外側方向に反転して結合する。変換後重畳画像５１Ｒは、第２像４２と同じ配置でＲ２及びＲ４の像を含む。つまり、変換後重畳画像５１Ｒは、反転した像が重畳されているが、被写体４０の正しい位置情報を含む画像である。
【0072】
コントローラ１４は、第１構成例の場合と同様に、変換後重畳画像５１の比較によって被写体４０の視差を算出する。また、コントローラ１４は、第１構成例の場合と同様に、第１光学素子１１又は第２光学素子２１のみを介して撮像された被写体像と、第１光学素子１１と第２光学素子２１を除く光学素子を介して撮像された被写体像と、を分離してよい。
【0073】
（第６構成例）
第６構成例の撮像装置１は、図２３～図２６を参照して説明される。図２３～図２６は、それぞれ図１～図４と同様の説明図であって、同じ要素について同じ符号が付されている。重複説明回避のため、第１構成例と同じ要素については説明を省略又は簡略化し、主に第１構成例と異なる部分について説明する。
第６構成例の撮像装置１は、図２３～図２６を参照して説明される。図２３～図２６は、それぞれ図１～図４と同様の説明図であって、同じ要素について同じ符号が付されている。重複説明回避のため、第１構成例と同じ要素については説明を省略又は簡略化し、主に第１構成例と異なる部分について説明する。
【0074】
図２３及び図２４に示すように、撮像装置１は、第３光学素子１２を第１構成例における第５光学素子１３の位置に移動し、第５光学素子１３を備えない構成であってよい。第３光学素子１２は、第１受光領域３１に近い面を反射面とするミラーとして構成される。また、撮像装置１は、第４光学素子２２を第１構成例における第６光学素子２３の位置に移動し、第６光学素子２３を備えない構成であってよい。第４光学素子２２は、第２受光領域３２に近い面を反射面とするミラーとして構成される。
【0075】
図２５に示すように、第１像４１はＬ２及びＬ４の像を含む。Ｌ４は第３光学素子１２で折り返されて、反転した像である［Ｌ４］として第１受光領域３１で結像する。［Ｌ４］は、第１光学素子１１から他の光学素子を介さずに第１受光領域３１で結像した像であるＬ２に重畳する。撮像素子３０は、Ｌ２及び［Ｌ４］の像が含まれる重畳画像５０Ｌを生成する。
【0076】
また、図２５に示すように、第２像４２はＲ１及びＲ２の像を含む。Ｒ１は第４光学素子２２で折り返されて、反転した像である［Ｒ１］として第２受光領域３２で結像する。［Ｒ１］は、第２光学素子２１から他の光学素子を介さずに第２受光領域３２で結像した像であるＲ２に重畳する。撮像素子３０は、［Ｒ１］及びＲ２の像が含まれる重畳画像５０Ｒを生成する。
【0077】
図２６は、図２３の撮像装置１が実行する変換処理を説明するための図である。コントローラ１４は、重畳画像５０Ｌのうちの［Ｌ４］が含まれる部分（図２６の例では重畳画像５０Ｌの全体）について、外側方向に反転して結合する。変換後重畳画像５１Ｌは、第１像４１と同じ配置でＬ２及びＬ４の像を含む。つまり、変換後重畳画像５１Ｌは、反転した像が重畳されているが、被写体４０の正しい位置情報を含む画像である。
【0078】
また、コントローラ１４は、重畳画像５０Ｒのうちの［Ｒ１］が含まれる部分（図２６の例では重畳画像５０Ｒの全体）について、外側方向に反転して結合する。変換後重畳画像５１Ｒは、第２像４２と同じ配置でＲ１及びＲ２の像を含む。つまり、変換後重畳画像５１Ｒは、反転した像が重畳されているが、被写体４０の正しい位置情報を含む画像である。
【0079】
コントローラ１４は、被写体４０の視差を算出する前に、第１光学素子１１又は第２光学素子２１のみを介して撮像された被写体像と、第１光学素子１１と第２光学素子２１を除く光学素子を介して撮像された被写体像と、を分離してよい。
【0080】
（反射面の形態）
図２７に示されるように、ミラーである第３光学素子１２の反射面は、第１光学素子１１の結像面側を向く内側傾斜の姿勢となるように、光軸１１Ａに対して傾斜してよい。この場合に、ミラーである第４光学素子２２、第５光学素子１３及び第６光学素子２３の反射面が内側傾斜の姿勢であってよい。内側傾斜の姿勢によって、ミラーの反射面が光軸１１Ａ又は２１Ａと平行になる構成と比べて、光学装置全体が小型化され得る。ミラーは、例えば、平面ミラー、曲面ミラー、ＤＭＤ（Ｄｉｇｉｔａｌ Ｍｉｒｒｏｒ Ｄｅｖｉｃｅ）又はフレネルミラーであってよい。また、別の例として、ミラーである第３光学素子１２の反射面は、第１光学素子１１側を向く外側傾斜の姿勢となるように、光軸１１Ａに対して傾斜してよい。この場合に、ミラーである第４光学素子２２、第５光学素子１３及び第６光学素子２３の反射面が外側傾斜の姿勢であってよい。外側傾斜の姿勢によって、ミラーの反射面が光軸１１Ａ又は２１Ａと平行になる構成と比べて、光学装置全体の画角が広角化され得る。
図２７に示されるように、ミラーである第３光学素子１２の反射面は、第１光学素子１１の結像面側を向く内側傾斜の姿勢となるように、光軸１１Ａに対して傾斜してよい。この場合に、ミラーである第４光学素子２２、第５光学素子１３及び第６光学素子２３の反射面が内側傾斜の姿勢であってよい。内側傾斜の姿勢によって、ミラーの反射面が光軸１１Ａ又は２１Ａと平行になる構成と比べて、光学装置全体が小型化され得る。ミラーは、例えば、平面ミラー、曲面ミラー、ＤＭＤ（Ｄｉｇｉｔａｌ Ｍｉｒｒｏｒ Ｄｅｖｉｃｅ）又はフレネルミラーであってよい。また、別の例として、ミラーである第３光学素子１２の反射面は、第１光学素子１１側を向く外側傾斜の姿勢となるように、光軸１１Ａに対して傾斜してよい。この場合に、ミラーである第４光学素子２２、第５光学素子１３及び第６光学素子２３の反射面が外側傾斜の姿勢であってよい。外側傾斜の姿勢によって、ミラーの反射面が光軸１１Ａ又は２１Ａと平行になる構成と比べて、光学装置全体の画角が広角化され得る。
【0081】
ここで、図２７に示されるように、第３光学素子１２が内側傾斜している場合に、第３光学素子１２で反射されて第１受光領域３１で結像する［Ｌ４］の像は、第３光学素子１２を介さずに結像した像であるＬ２に比べて縮小される。コントローラ１４は、ミラーで反転される像が縮小又は拡大される場合に、変換処理に拡大処理又は縮小処理を含めて、変換後重畳画像５１を生成する。すなわち、変換後重畳画像５１は、光学素子の傾斜による像の縮小又は拡大が打ち消されるように生成される。また、ミラーの反射面が曲面などであって、ミラーで反転される像の位置が移動するような場合に、コントローラ１４は変換処理に座標変換の処理を含めて、変換後重畳画像５１を生成する。すなわち、変換後重畳画像５１は、像の位置の移動が打ち消されるように生成される。また、このような拡大処理、縮小処理又は座標変換の処理によって、図２７の［Ｌ４］は変換後重畳画像５１において正しい像となる一方で、共に処理されるＬ２の一部は変形されて正しくない像となる。算出した視差の方向に基づくだけでなく、拡大処理、縮小処理又は座標変換の処理によって生じる像の変形も利用することによって、コントローラ１４はさらに効率的に、視差の算出の処理及び被写体像の分離を行うことが可能である。
【0082】
以上のように、本実施形態に係る撮像装置１及び情報処理方法は、広角でありながら長焦点光学系の解像度を有する画像を得ることが可能である。
【0083】
また、本実施形態に係る撮像装置１及び情報処理方法では、変換後重畳画像５１を用いて、被写体像を分離する前に被写体４０の視差を算出することができる。例えば、従来の手法において、重畳画像５０Ｌ及び重畳画像５０Ｒの２つの画像のそれぞれについて被写体像を分離する処理を実行してから、２つの分離後の画像を用いて被写体４０の視差を算出することが行われていた。このような従来の手法に比べて、計算量を削減することが可能である。
【0084】
本開示に係る実施形態について、諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形又は改変を行うことが可能であることに注意されたい。従って、これらの変形又は改変は本開示の範囲に含まれることに留意されたい。例えば、各構成部などに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の構成部などを１つに組み合わせたり又は分割したりすることが可能である。本開示の範囲にはこれらも包含されるものと理解されたい。
【0085】
本開示に記載された構成要件の全て及び／又は開示された全ての方法又は処理の全てのステップについては、これらの特徴が相互に排他的である組合せを除き、任意の組合せで組み合わせることができる。また、本開示に記載された特徴の各々は、明示的に否定されない限り、同一の目的、同等の目的又は類似する目的のために働く代替の特徴に置換することができる。したがって、明示的に否定されない限り、開示された特徴の各々は、包括的な一連の同一又は均等となる特徴の一例にすぎない。
【0086】
さらに、本開示に係る実施形態は、上述した実施形態のいずれの具体的構成にも制限されるものではない。本開示に係る実施形態は、本開示に記載された全ての新規な特徴又はそれらの組合せ又は記載された全ての新規な方法又は処理のステップ又はそれらの組合せに拡張することができる。
【0087】
本開示において「第１」及び「第２」等の記載は、当該構成を区別するための識別子である。本開示における「第１」及び「第２」等の記載で区別された構成は、当該構成における番号を交換することができる。例えば、第１光学系１０は、第２光学系２０と識別子である「第１」と「第２」とを交換することができる。識別子の交換は同時に行われる。識別子の交換後も当該構成は区別される。識別子は削除してよい。識別子を削除した構成は、符号で区別される。本開示における「第１」及び「第２」等の識別子の記載のみに基づいて、当該構成の順序の解釈、小さい番号の識別子が存在することの根拠に利用してはならない。
【0088】
また、撮像装置１を用いた情報処理を説明したが、本開示の実施形態としては、プログラムの他、プログラムが記録された記憶媒体としての実施態様をとることも可能である。記憶媒体は、例えば光ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＣＤ－ＲＷ、磁気テープ、ハードディスク又はメモリカードなどである。
【0089】
また、プログラムの実装形態としては、コンパイラによってコンパイルされるオブジェクトコード、インタプリタにより実行されるプログラムコード等のアプリケーションプログラムであってよいが、これらに限定されない。例えばプログラムの実装形態としては、オペレーティングシステムに組み込まれるプログラムモジュール等の形態を含んでよい。さらに、プログラムは、制御基板上のＣＰＵにおいてのみ全ての処理が実施されるように構成されてもされなくてよい。プログラムは、必要に応じて基板に付加された拡張ボード又は拡張ユニットに実装された別の処理ユニットによってその一部又は全部が実施されるように構成されてよい。
【符号の説明】
【0090】
１ 撮像装置
１０ 第１光学系
１１ 第１光学素子
１１Ａ 光軸
１２ 第３光学素子
１３ 第５光学素子
２０ 第２光学系
２１ 第２光学素子
２１Ａ 光軸
２２ 第４光学素子
２３ 第６光学素子
３０ 撮像素子
３０Ａ 受光領域
３１ 第１受光領域
３２ 第２受光領域
４０ 被写体
４１ 第１像
４２ 第２像
５０、５０Ｌ、５０Ｒ 重畳画像
５１、５１Ｌ、５１Ｒ 変換後重畳画像
１０ 第１光学系
１１ 第１光学素子
１１Ａ 光軸
１２ 第３光学素子
１３ 第５光学素子
２０ 第２光学系
２１ 第２光学素子
２１Ａ 光軸
２２ 第４光学素子
２３ 第６光学素子
３０ 撮像素子
３０Ａ 受光領域
３１ 第１受光領域
３２ 第２受光領域
４０ 被写体
４１ 第１像
４２ 第２像
５０、５０Ｌ、５０Ｒ 重畳画像
５１、５１Ｌ、５１Ｒ 変換後重畳画像
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】