知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024070596
(43)【公開日】2024-05-23
(54)【発明の名称】光学装置及び撮像装置
(51)【国際特許分類】
H04N 23/55 20230101AFI20240516BHJP
H04N 23/698 20230101ALI20240516BHJP
G03B 15/00 20210101ALI20240516BHJP
G03B 17/17 20210101ALI20240516BHJP
G03B 19/02 20210101ALI20240516BHJP
G03B 37/00 20210101ALI20240516BHJP
【ＦＩ】
H04N5/225 400
H04N5/232 380
G03B15/00 W
G03B17/17
G03B19/02
G03B37/00 A
H04N23/55
H04N23/698
【審査請求】未請求
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2022181189
(22)【出願日】2022-11-11
(71)【出願人】
【識別番号】000006633
【氏名又は名称】京セラ株式会社
(74)【代理人】
【識別番号】100147485
【弁理士】
【氏名又は名称】杉村 憲司
(74)【代理人】
【識別番号】230118913
【弁護士】
【氏名又は名称】杉村 光嗣
(74)【代理人】
【識別番号】100132045
【弁理士】
【氏名又は名称】坪内 伸
(74)【代理人】
【識別番号】100195534
【弁理士】
【氏名又は名称】内海 一成
(72)【発明者】
【氏名】菅原 俊
(72)【発明者】
【氏名】林 佑介
(72)【発明者】
【氏名】佐東 将行
【テーマコード（参考）】
2H054
2H059
2H101
5C122
【Ｆターム（参考）】
2H054BB02
2H059BA03
2H101FF08
5C122EA37
5C122FA02
5C122FB02
5C122FB03
5C122FB11
5C122FB15
5C122FC01
5C122FC02
5C122FH00
(57)【要約】
【課題】広範囲かつ拡大された光学情報を生成できる光学装置及び撮像装置を提供する。
【解決手段】光学装置２１は、入射する第１の光を所定の領域ｐａに結像させる光学系１１と、光学系１１の光軸と光学系１１に入射する主光線とのなす角度が第１の光と異なる第２の光を所定の領域ｐａに導く光学素子１３と、光学系１１と光学素子１３と所定の領域ｐａとで囲まれる空間に位置するプリズム３０とを備える。
【選択図】図１
【解決手段】光学装置２１は、入射する第１の光を所定の領域ｐａに結像させる光学系１１と、光学系１１の光軸と光学系１１に入射する主光線とのなす角度が第１の光と異なる第２の光を所定の領域ｐａに導く光学素子１３と、光学系１１と光学素子１３と所定の領域ｐａとで囲まれる空間に位置するプリズム３０とを備える。
【選択図】図１
【特許請求の範囲】
【請求項1】
入射する第１の光を所定の領域に結像させる光学系と、
前記光学系の光軸と前記光学系に入射する主光線とのなす角度が前記第１の光と異なる第２の光を前記所定の領域に導く光学素子と、
前記光学系と前記光学素子と前記所定の領域とで囲まれる空間に位置するプリズムと
を備える、光学装置。
前記光学系の光軸と前記光学系に入射する主光線とのなす角度が前記第１の光と異なる第２の光を前記所定の領域に導く光学素子と、
前記光学系と前記光学素子と前記所定の領域とで囲まれる空間に位置するプリズムと
を備える、光学装置。
【請求項2】
前記光学素子は、前記プリズムの少なくとも１つの面として構成される反射面を含む、請求項１に記載の光学装置。
【請求項3】
前記第２の光の主光線と前記光軸とのなす角度は、前記第１の光の主光線と前記光軸とのなす角度より大きい、請求項１又は２に記載の光学装置
【請求項4】
前記光学素子は、前記第２の光を反射して前記所定の領域に導くミラーを含む、請求項１又は２に記載の光学装置。
【請求項5】
入射する第１の光を所定の領域に結像させる光学系と、
前記光学系の光軸と前記光学系に入射する主光線とのなす角度が前記第１の光と異なる第２の光を前記所定の領域に導く光学素子と、
前記光学系から出力される前記第１の光および前記第２の光の光路の少なくとも一部に位置するプリズムと
を備える、光学装置。
前記光学系の光軸と前記光学系に入射する主光線とのなす角度が前記第１の光と異なる第２の光を前記所定の領域に導く光学素子と、
前記光学系から出力される前記第１の光および前記第２の光の光路の少なくとも一部に位置するプリズムと
を備える、光学装置。
【請求項6】
請求項１、２又は５に記載の光学装置と、
前記所定の領域と撮像領域とが重なるように配置されている撮像素子と
を備える撮像装置。
前記所定の領域と撮像領域とが重なるように配置されている撮像素子と
を備える撮像装置。
【請求項7】
前記光学系は、異なる光軸を有し、それぞれの被写体の一部が共通する第１光学系と第２光学系とを含み、
前記第１光学系によって結像した像の一部と、前記第２光学系によって結像した像の一部とが、前記撮像素子の受光領域で重畳する、請求項６に記載の撮像装置。
前記第１光学系によって結像した像の一部と、前記第２光学系によって結像した像の一部とが、前記撮像素子の受光領域で重畳する、請求項６に記載の撮像装置。
【請求項8】
前記光学系は、異なる光軸を有し、それぞれの被写体の一部が共通する第１光学系と第２光学系とを含み、
前記プリズムは、前記第１光学系に対応する第１プリズムと、前記第２光学系に対応する第２プリズムとを含む、請求項６に記載の撮像装置。
前記プリズムは、前記第１光学系に対応する第１プリズムと、前記第２光学系に対応する第２プリズムとを含む、請求項６に記載の撮像装置。
【請求項9】
前記プリズムは、前記プリズムの反射面が前記光学系の光軸と平行になるように構成される、請求項６に記載の撮像装置。
【請求項10】
前記撮像素子が撮像した画像を、前記第１の光に対応する第１の画像成分と、前記第２の光に対応する第２の画像成分とに分離するプロセッサを更に備える、請求項６に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、光学装置及び撮像装置に関する。
【背景技術】
【0002】
観察対象を結像させる撮像光学系は、焦点距離、画角等の多様な物性を有する。焦点距離が長くなると、観察対象が拡大化された像が形成されるので、遠方の観察対象の詳細な光学情報、言換えると拡大された光学情報が得られる。画角は広角化するほど、広範囲に位置する観察対象の光学情報が得られる。しかし、焦点距離と画角とはトレードオフの関係があり、焦点距離が長くなると画角は狭角化し、焦点距離が短くなると画角は広角化する。
【0003】
それゆえ、状況に応じて望まれる光学情報を得られるように焦点距離の調整が行われている。例えば、撮像光学系に含まれるズームレンズを変位させることにより、焦点距離の調整が行われる。又、複数の単焦点レンズを切替えることにより、焦点距離の調整が行われる（特許文献１、２参照）。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開平１１－３１１８３２号公報
【特許文献2】特開２００４－２７９５５６号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献１、２においては、焦点距離の切替えにより、拡大された光学情報及び広範囲の光学情報が別々に提供され得る。しかし、広範囲且つ拡大された光学情報を同時に得ることはできなかった。
【0006】
かかる点に鑑みてなされた本開示の目的は、広範囲且つ拡大された光学情報を生成する光学装置及び撮像装置を提供することである。
【課題を解決するための手段】
【0007】
本開示の一実施形態に係る光学装置は、光学系と、光学素子と、プリズムとを備える。前記光学系は、入射する第１の光を所定の領域に結像させる。前記光学素子は、前記光学系の光軸と前記光学系に入射する主光線とのなす角度が前記第１の光と異なる第２の光を前記所定の領域に導く。前記プリズムは、前記光学系と前記光学素子と前記所定の領域とで囲まれる空間に位置する。
【0008】
本開示の一実施形態に係る撮像装置は、前記光学装置と、前記所定の領域と撮像領域とが重なるように配置されている撮像素子とを備える。
【発明の効果】
【0009】
本開示によれば、広範囲且つ拡大された光学情報が生成され得る。
【図面の簡単な説明】
【0010】
【図1】第１の実施形態に係る撮像装置の概略構成を示す構成図である。
【図20】第２の実施形態に係る撮像装置の概略構成例を示す図である。
【図21】２つの撮像光学系それぞれで結像した像の重畳画像の例を示す図である。
【図23】第３の実施形態に係る撮像装置の概略構成例を示す図である。
【図24】第４の実施形態に係る撮像装置の概略構成を示す構成図である。
【図28】第５の実施形態に係る撮像装置の概略構成を示す構成図である。
【発明を実施するための形態】
【0011】
以下、本開示の実施形態について、図面を参照して説明する。以下の図面に示す構成要素において、同じ構成要素には同じ符号を付す。
【0012】
図１に示すように、本開示の第１の実施形態に係る撮像装置１０は、光学装置２１と、撮像素子１２と、プリズム３０とを含んで構成される。撮像装置１０は、更にコントローラ１４を含んで構成されてよい。光学装置２１は、撮像光学系１１及び光学素子１３を含んで構成される。撮像光学系１１は、単に光学系とも称される。
【0013】
撮像光学系１１は、被写体から入射する光又は光束を結像させる。被写体から入射する光又は光束は、被写体光又は被写体光束とも称される。撮像光学系１１は、所定の領域ｐａに、入射する第１の光を結像させる。第１の光は、撮像光学系１１単体の画角内に位置する物点が放射する光であってよい。所定の領域ｐａは、例えば、中心が撮像光学系１１の光軸ｏｘと交差する三次元空間上の仮想の平面又は曲面であってよい。以後、撮像光学系１１単体の画角、言い換えると光学素子１３を含まない構成における撮像光学系１１の画角を、直接画角とも呼ぶ。撮像光学系１１は、位置の異なる物点から放射する光又は光束を、単体で、言換えると光学素子１３無しで、異なる像点に結像させる光学素子によって構成される。撮像光学系１１を構成する光学素子は、例えば、レンズ、ミラー、絞り等である。
【0014】
撮像光学系１１は、像側テレセントリックでなくてよい。言換えると、撮像光学系１１を通過する任意の光束の主光線の光軸に対する角度は０°より大きくてよい。又は、撮像光学系１１は、像側テレセントリックであってもよい。
【0015】
光学素子１３は、撮像光学系１１に入射する第２の光を、所定の領域ｐａに導く。第２の光は、撮像光学系１１の光軸ｏｘと撮像光学系１１に入射する主光線とのなす角度が第１の光と異なる。第２の光は、撮像光学系１１の画角外、言換えると直接画角の外に位置する物点が放射する光であってよい。したがって、第２の光の主光線と光軸ｏｘとのなす角度は、第１の光の主光線と光軸ｏｘとのなす角度より大きくてよい。主光線は、撮像光学系１５の開口絞りの中心を通る光線、撮像光学系１５の入射瞳の中心を通る光線、及び任意の一つの物点から放射され撮像光学系１５に入射する光束の中心の光線のいずれかであってよい。更に、光学素子１３は、撮像光学系１１を通過した第２の光を所定の領域ｐａに結像させてよい。
【0016】
光学素子１３は、第２の光を反射して所定の領域ｐａに導くミラーであってよい。ミラーの反射面は、撮像光学系１１の光軸ｏｘに平行であってよい。又は、ミラーの反射面は、光軸ｏｘに平行でなくてよい。
【0017】
プリズム３０は、撮像光学系１１と撮像素子１２との間、かつ、２つの光学素子１３の間に位置する。言い換えれば、プリズム３０は、撮像光学系１１と光学素子１３と所定の領域ｐａとで囲まれる空間に位置する。プリズム３０は、例えばガラス又は樹脂等の透明材料で構成される。プリズム３０は、撮像光学系１１に対向する第１面３１を有する。プリズム３０は、光学素子１３に対向する第２面３２を有する。プリズム３０は、撮像素子１２に対向する第３面３３を有する。
【0018】
撮像光学系１１を通過した被写体からの光又は光束は、プリズム３０の第１面３１に入射し、プリズム３０を通過して撮像素子１２に入射する。撮像素子１２は、受光領域ｒａを有する。撮像素子１２は、受光領域ｒａに入射した光を撮像する。受光領域ｒａは撮像領域とも称される。撮像光学系１１は、プリズム３０の第１面３１における光の屈折を考慮して被写体光又は被写体光束を撮像素子１２の受光領域ｒａに結像させるように構成される。撮像光学系１１のうち撮像素子１２の最も近くに位置する光学素子は、プリズム３０の第１面３１と一体に構成されてよい。プリズム３０は、撮像光学系１１に含まれ、撮像光学系１１のうち撮像素子１２の最も近くに位置する光学素子として機能してもよい。
【0019】
プリズム３０は、第２面３２において、光学素子１３を構成するミラーの反射面に接触する。プリズム３０の第２面３２は、光学素子１３と一体に構成されてよい。つまり、プリズム３０の第２面３２は、光学素子１３を構成するミラーの反射面として機能してよい。プリズム３０の第２面３２は、ミラーの反射面として機能する場合、透明部材の表面に金属又は樹脂等の高い反射率を有する材料で被膜されてよい。
【0020】
プリズム３０は、第３面３３において、撮像素子１２のカバーの表面に接触する面を有してよい。プリズム３０は、撮像素子１２のカバーと一体に構成されてもよい。
【0021】
ミラーの反射面は、図２に示すように、撮像光学系１１側を向く外側傾斜の姿勢となるように、光軸ｏｘに対して傾斜してよい。外側傾斜の姿勢では、ミラーの反射面が光軸ｏｘと平行な構成に比べて、光学装置２１全体の画角を広角化し得る。この場合でも、プリズム３０は、光学素子１３のミラーの反射面の間に位置してよい。
【0022】
外側傾斜の構成において、光学装置２１には、撮像光学系１１及びミラーである光学素子１３の間に、光路長調整用の第１のレンズ２２が配置されてよい。第１のレンズ２２が配置されることにより、ミラーの反射面が光軸ｏｘに平行な構成に比べて光路長が長くなることによる合焦位置の所定の領域ｐａからのずれが低減され得る。第１のレンズ２２は、ミラーが平面ミラーのように光軸ｏｘに垂直な方向に平行な面を有するミラーである構成においては、シリンドリカルレンズであってよい。第１のレンズ２２は、撮像光学系１１の射出瞳の外縁を通る第１の光の主光線と所定の領域ｐａを結ぶ線よりも光軸ｏｘから外側に位置してよい。
【0023】
又、外側傾斜の構成において、光学装置２１には、図３に示すように、プリズム２３が設けられてよい。第２の光は、ミラーである光学素子１３に反射され、更にプリズム２３で反射されることにより、所定の領域ｐａに導かれてよい。プリズム２３が設けられることにより、外側傾斜の構成におけるミラーと光軸ｏｘとの傾斜角度を広角化し得る。この場合でも、プリズム３０が撮像素子１２の上に設置されてよい。プリズム２３は、プリズム３０の少なくとも一部に接触するように配置されてよい。プリズム２３は、プリズム３０と一体に構成されてもよい。
【0024】
外側傾斜の構成において、ミラーである光学素子１３は、例えば、平面ミラー、曲面ミラー、ＤＭＤ（Digital Mirror Device）、及びフレネルミラーであってよい。
【0025】
ミラーの反射面は、図４に示すように、撮像光学系１１の結像面側を向く内側傾斜の姿勢となるように、光軸ｏｘに対して傾斜してよい。内側傾斜の姿勢では、ミラーの反射面が光軸ｏｘと平行な構成に比べて、光学装置２１全体を小型化し得る。この場合でも、プリズム３０は、光学素子１３のミラーの反射面の間に位置してよい。
【0026】
内側傾斜の構成において、ミラーである光学素子１３は、例えば、平面ミラー、図５に示すように曲面ミラー、図６に示すようにＤＭＤ又はフレネルミラーであってよい。プリズム３０は、図５の光学素子１３のミラーの反射面の間に位置してよい。プリズム３０は、図６のＤＭＤ又はフレネルミラーの間に位置してもよい。プリズム３０は、図６のミラーがＤＭＤである場合、ＤＭＤの動作を阻害しないように配置され得る。
【0027】
ミラーの反射面は、後述する撮像素子１２の矩形の受光領域ｒａのいずれかの辺に平行であってよい。又は、ミラーの反射面は、図７に示すように、受光領域ｒａのいずれかの辺に対して交差してよい。この場合でも、プリズム３０は、ミラーの反射面に沿って、又は、ミラーの反射面に接するように配置されてよい。ミラーの反射面が受光領域ｒａのいずれかの辺に対して交差する構成においては、後述する画像分離モデルによる分離精度を向上させ得る。なお、ミラーの反射面が受光領域ｒａのいずれかの辺に対して交差する構成においては、受光領域ｒａの法線方向から見てミラーである光学素子１３の両端から垂直に延ばした２直線の間に挟まれる領域と受光領域ｒａとの重畳領域が最大となるように、光学素子１３を配置することが好ましい。
【0028】
ミラーは、撮像光学系１１の光軸ｏｘ方向から見て、当該撮像光学系１１の射出瞳の外側に位置してよい。更に詳細には、反射面が射出瞳の外側に位置するように、ミラーは撮像光学系１１に対して配置されてよい。又は、ミラーは、光軸ｏｘ方向から見て、射出瞳の内側に位置してよい。特に、受光領域ｒａが瞳径より小さい構成においては、ミラーが射出瞳の内側に位置してよい。
【0029】
ミラーは、複数の平面ミラーを含んでよい。複数の平面ミラーの中の少なくとも１組に属する２つの平面ミラーは、反射面が互いに対向し平行になるように位置してよい。又は、複数の平面ミラーは２つの平面ミラーであって、図８に示すように、反射面が互いに直交するように位置してよい。更に、反射面が互いに直交する２つの平面ミラーは、矩形である受光領域ｒａの互いに垂直な２辺にそれぞれ平行であってよい。平面ミラーと撮像素子１２の受光領域ｒａの外縁とは、当該平面ミラーの法線方向において密接していてよい。又は、平面ミラーと受光領域ｒａの外縁とは平面ミラーの法線方向において密接せずに隙間を有していてよい。この場合でも、プリズム３０は、ミラーの反射面に沿って、又は、ミラーの反射面に接するように配置されてよい。
【0030】
図９に示すように、反射面が互いに平行な２つの平面ミラーそれぞれと、光軸ｏｘとの間隔Ｈが等しくてよい。互い平行な２つの平面ミラー、撮像光学系１１、及び撮像素子１２は、ＣＲＡ≦ｔａｎ－１（Ｈ／Ｂ）を満たすように設計され、配置されてよい。ＣＲＡは、直接画角の２倍の角度における物点ｐｐから放射される光束の撮像光学系１１による主光線の光軸ｏｘに対する角度である。Ｂは、撮像光学系１１のバックフォーカスである。この場合でも、プリズム３０は、光学素子１３のミラーの反射面の間に位置してよい。
【0031】
後述するように撮像装置１０内における撮像素子１２の配置と上述のような構成の組合せにより、図１０に示すように、撮像素子１２の受光領域ｒａには、第１の光に対応する第１の画像成分ｉｍ１が光学素子１３を介することなく到達する。第１の光に対応する第１の画像成分ｉｍ１とは、より具体的には、直接画角内に位置する被写体像に相当する。また、受光領域ｒａには、第２の光に対応する第２の画像成分ｉｍ２が光学素子１３を介して反転して到達する。第２の光に対応する第２の画像成分ｉｍ２とは、より具体的には、直接画角外に位置する被写体像に相当する。
【0032】
上述の説明では、光学素子１３が、光軸ｏｘに対して垂直な方向に平行な面を有するミラーであるが、光軸ｏｘから見て曲線状の面を有するミラーであってよい。例えば、光学素子１３は、図１１に示すように、受光領域ｒａの法線方向から見て、矩形の受光領域ｒａの一組の対辺に設けられる一組の曲面ミラーであってよい。当該曲面ミラーは、受光領域ｒａの法線方向に平行であってよい。又は、光学素子１３は、図１２に示すように、受光領域ｒａの法線方向から見て、矩形の受光領域ｒａを内包する円形の曲面状の面を有するミラーであってよい。又は、光学素子１３は、図１３に示すように、受光領域ｒａの法線方向から見て、矩形の受光領域ｒａを内包する楕円形の曲面状の面を有するミラーであってよい。楕円形の曲面状の面を有するミラーは、受光領域ｒａが正方形を除く矩形である構成において好ましい。又は、光学素子１３は、図１４に示すように、受光領域ｒａの法線方向から見て、矩形の受光領域ｒａに内包される円形の曲面状の面を有するミラーであってよい。又は、光学素子１３は、図１５に示すように、受光領域ｒａの法線方向から見て、矩形の受光領域ｒａに内包される楕円形の曲面状の面を有するミラーであってよい。光学素子１３が矩形の受光領域ｒａに内包される曲面状の面を有するミラーである構成においては、受光領域ｒａの法線方向から見て、受光領域ｒａとミラーとの間の隙間が排除され得る。このような構成においては、隙間が排除されることにより、隙間を有する構成に比較して、後述する重畳画像における光学情報の連続性を向上させ得る。ミラーが曲線状の面を有する場合であっても、プリズム３０は、ミラーの反射面に沿って、又は、ミラーの反射面に接するように配置されてよい。プリズム３０の外形は、ミラーの反射面の形状に合わせた形状であってよい。
【0033】
撮像素子１２は、受光領域ｒａ内に結像する像を撮像する。撮像素子１２は、撮像装置１０において、光学装置２１の所定の領域ｐａと受光領域ｒａとが重なるように配置されていてよい。したがって、撮像素子１２の受光領域ｒａは直接画角に対応してよい。直接画角は、光学素子１３を介することなく受光領域ｒａ内に結像する物点の範囲に相当する画角であってよい。受光領域ｒａには、撮像光学系１１の直接画角内から撮像光学系１１に入射する第１の光である光束の少なくとも一部が結像してよい。又、受光領域ｒａには、撮像光学系１１の直接画角の外から撮像光学系１１に入射し光学素子１３を介する第２の光である光束の少なくとも一部が結像してよい。
【0034】
撮像素子１２は、可視光、赤外線及び紫外線等の不可視光による像を撮像可能であってよい。撮像素子１２は、例えば、ＣＣＤ（Charge Coupled Device）イメージセンサ、ＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）イメージセンサ等である。撮像素子１２は、カラーイメージセンサであってよい。言換えると、撮像素子１２の受光領域ｒａに配置される複数の画素は、例えばＲＧＢ（Red, Green and Blue）のカラーフィルタによって受光領域ｒａ内で均等に分布するように覆われてよい。また、撮像素子１２の受光領域ｒａは、カバーで覆われてよい。カバーは、ガラス又は樹脂等の透明部材として構成されてよい。撮像素子１２は、撮像により受光する画像に相当する画像信号を生成する。撮像素子１２は、３０ｆｐｓ（frames per second）等の所定のフレームレートで画像信号を生成してよい。
【0035】
撮像素子１２では、光学素子１３が設けられる側の受光領域ｒａの外縁は、撮像光学系１１の射出瞳の外縁よりも外側に位置してよい。射出瞳の外縁より外側とは、撮像光学系１１の光軸ｏｘを基準として外側であることを意味する。前述のように、受光領域ｒａは、矩形であってよい。
【0036】
撮像装置１０には、複数の撮像素子１２が設けられてよい。複数の撮像素子１２が設けられる構成において、図１６に示すように、互いに隣接する２つの撮像素子１２の間に光学素子１３が設けられてよい。互いに隣接する２つの撮像素子１２の間に光学素子１３が設けられることにより、光学素子１３が設けられない構成において隣接する２つの撮像素子１２の受光領域ｒａの間に生じる隙間に結像する被写体光又は被写体光束が少なくとも一方の撮像素子１２において撮像され得る。プリズム３０は、光学素子１３が設けられている撮像素子１２の上に、ミラーの反射面に沿って、又は、ミラーの反射面に接するように配置されてよい。プリズム３０は、光学素子１３が設けられていない撮像素子１２の上にも配置されてよい。プリズム３０は、光学素子１３が設けられている撮像素子１２と、光学素子１３が設けられていない撮像素子１２とにまたがって配置されてもよい。
【0037】
又、上述のような構成により、図１７に示すように、第１の画像成分ｉｍ１と、光学素子１３がミラーである構成において反転した第２の画像成分ｉｍ２とが受光領域ｒａにおいて重畳する。したがって、撮像素子１２は、第１の画像成分ｉｍ１と、光学素子１３がミラーである構成において反転した第２の画像成分ｉｍ２との重畳画像ｏｌｉｍを撮像する。
【0038】
コントローラ１４は、少なくとも１つのプロセッサ、少なくとも１つの専用回路又はこれらの組み合わせを含んで構成される。プロセッサは、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）等の汎用プロセッサ又は特定の処理に特化した専用プロセッサである。専用回路は、例えば、ＦＰＧＡ（Field-Programmable Gate Array）、ＡＳＩＣ（Application Specific Integrated Circuit）等であってもよい。コントローラ１４は、撮像素子１２から取得する画像信号に画像処理を施してよい。
【0039】
図１８に示すように、コントローラ１４は、画像処理により、画像信号に相当する重畳画像ｏｌｉｍを、第１の画像成分ｉｍ１と、第２の画像成分ｉｍ２とに分離する画像処理を施してよい。コントローラ１４は、例えば、独立成分分析、ウェーブレット法、画像分離モデル等の画像処理方法の適用により、重畳画像ｏｌｉｍを分離する。画像分離モデルは、例えば、事前に、複数の画像を重ねた重畳画像を作成し、当該重畳画像に対して、複数の画像を正解として学習させることにより構築されるモデルである。画像分離モデルは、Ｅｎｃｏｄｅｒ－Ｄｅｃｏｄｅｒモデルのように画像を生成するｇｅｎｅｒａｔｏｒと、生成された画像が偽画像かどうか判定するｄｉｓｃｒｉｍｉｎａｔｏｒとを競わせて、その関係を反映したペア画像を生成するＰｉｘ－ｔｏ－Ｐｉｘを適用したモデルであってよい。コントローラ１４は、分離した第１の画像成分ｉｍ１及び第２の画像成分ｉｍ２を結合させることにより、復元画像ｒｃｉｍを生成してよい。
【0040】
コントローラ１４は、復元画像ｒｃｉｍを用いて、撮像装置１０周辺において撮像された被写体の測距を行ってよい。コントローラ１４は、例えば、ＤＦＤ（Depth From Defocus）に基づいて、復元画像ｒｃｉｍを用いて測距を行う。コントローラ１４は、運動視差法（ＳＬＡＭ：Simultaneous Localization and Mapping, Motion Stereo）、Ｄｅｅｐ Ｌｅａｒｎｉｎｇに基づく分離モデル、足元測距法等に基づいて、復元画像ｒｃｉｍを用いた測距を行ってよい。足元測距法は、被写体像の下端が地面に位置することを前提として画像座標に基づいて３次元座標を算出する方法である。
【0041】
コントローラ１４は、復元画像ｒｃｉｍの各アドレスに対応する距離に基づいて、距離画像を生成してよい。距離画像は、各画素の画素値が距離に対応した画像である。コントローラ１４は、距離画像を外部機器に付与してよい。
【0042】
次に、本実施形態においてコントローラ１４が実行する、測距処理について、図１９のフローチャートを用いて説明する。測距処理は、撮像素子１２から画像信号を取得するたびに開始する。
【0043】
ステップＳ１００において、コントローラ１４は、取得した画像信号に相当する重畳画像ｏｌｉｍから第２の画像成分ｉｍ２を分離する。分離後、プロセスはステップＳ１０１に進む。
【0044】
ステップＳ１０１では、コントローラ１４は、重畳画像ｏｌｉｍからステップＳ１００において分離した第２の画像成分ｉｍ２を減算することにより、第１の画像成分ｉｍ１を生成する。第１の画像成分ｉｍ１の生成後、プロセスはステップＳ１０２に進む。
【0045】
ステップＳ１０２では、コントローラ１４は、ステップＳ１００において分離した第２の画像成分ｉｍ２と、ステップＳ１０１において生成した第１の画像成分ｉｍ１とを結合させることにより復元画像ｒｃｉｍを生成する。復元画像ｒｃｉｍの生成後、プロセスはステップＳ１０３に進む。
【0046】
ステップＳ１０３では、コントローラ１４は、ステップＳ１０２において生成した復元画像ｒｃｉｍを用いて、復元画像ｒｃｉｍに写る各被写体に対して測距を行う。測距後、プロセスはステップＳ１０４に進む。
【0047】
ステップＳ１０４では、コントローラ１４は、ステップＳ１０３において算出した距離と当該距離に対応する復元画像ｒｃｉｍの位置とに基づいて、距離画像を生成する。又、コントローラ１４は、距離画像を外部機器に付与する。距離画像の生成後、測距処理は終了する。
【0048】
以上のような構成の第１の実施形態の光学装置２１は、入射する第１の光を所定の領域ｐａに結像させる撮像光学系１１と、撮像光学系１１の光軸ｏｘと撮像光学系１１に入射する主光線とのなす角度が第１の光と異なる第２の光を所定の領域ｐａに導く光学素子１３を備える。このような構成により、光学装置２１は、焦点距離が比較的長い撮像光学系１１を採用しながら、当該焦点距離に対応する画角より広角の範囲の光学情報を含む画像を所定の領域ｒａに導き得る。したがって、光学装置２１は、広範囲かつ拡大された光学情報を生成し得る。
【0049】
また、第１の実施形態の撮像装置１０では、光学素子１３は第２の光を反射して所定の領域ｐａに導くミラーであり、ミラーの反射面が光軸ｏｘ、及び撮像素子１２の矩形の受光領域ｒａのいずれかの辺に平行である。このような構成により、撮像装置１０では、ミラーを介して受光領域ｒａに到達する像の歪む方向は１方向以下になる。したがって、撮像装置１０は、撮像した画像に含まれるミラーによる反射光成分の歪を除去する画像処理の負荷を低減し得るので、反射光成分の再現性を向上させ得る。
【0050】
また、第１の実施形態の撮像装置１０は、プリズム３０を備える。プリズム３０の第２面３２は、光学素子１３の反射面に接触する、又は、光学素子１３の反射面と一体に構成される。このような構成により、光学素子１３の反射面が撮像光学系１１に対して動きにくい。つまり、光学素子１３の位置が安定する。その結果、振動又は衝撃等による光学素子１３のズレの影響が低減される。
【0051】
また、第１の実施形態の撮像装置１０では、ミラーは複数の平面ミラーを含み、複数の平面ミラーの少なくとも１組の２つの平面ミラーは反射面が互いに平行になるように位置する。このような構成により、撮像装置１０は、光軸ｏｘを中心として、直接画角から両側に拡大させた光学情報を取得し得る。
【0052】
また、第１の実施形態の撮像装置１０では、光軸ｏｘと互いに平行な２つの平面ミラーの反射面それぞれとの間隔Ｈが等しく、且つ直接画角の２倍の角度における物点ｐｐからの光束の主光線の角度ＣＲＡがＣＲＡ≦ｔａｎ－１（Ｈ／Ｂ）を満たす。このような構成により、撮像装置１０では、一方の平面ミラーからの反射光成分と、他方の平面ミラーからの反射光成分との重畳による３層の画像成分の重畳が防がれ、後の画像処理による画像成分の分離精度を向上させ得る。
【0053】
また、第１の実施形態の撮像装置１０では、平面ミラーと撮像素子１２の受光領域ｒａの外縁とは、当該平面ミラーの法線方向において密接している。当該法線方向において、平面ミラーと撮像素子１２の受光領域ｒａとの間に隙間が生じていると、当該隙間において結像する被写体の光学情報は失われる。このような事象に対して、上述の構成を有する撮像装置１０は、光学情報の喪失を防止する。
【0054】
また、第１の実施形態の撮像装置１０では、ミラーは光軸ｏｘ方向から見て、撮像光学系１１の射出瞳の外側に位置する。このような構成により、撮像装置１０は、射出瞳の端部近傍を通過する光又は光束をミラーに入射させ得る。したがって、撮像装置１０は、射出瞳近傍を通過する光又は光束の一部のケラレによる光量の低下を低減させ得る。
【0055】
また、第１の実施形態の撮像装置１０では、撮像光学系１１における任意の光束の主光線の光軸ｏｘに対する角度が０°より大きい。このような構成により、撮像装置１０では、撮像光学系１１は像側テレセントリックでないので、直接画角より広い角度の物点からの光又は光束を光学素子１３に入射させ得る。したがって、撮像装置１０は、直接画角から広角化させた範囲の光学情報を確実に生成させ得る。
【0056】
また、第１の実施形態の撮像装置１０では、画像信号に相当する画像を、第１の光に対応する第１の画像成分ｉｍ１と、第２の光に対応する第２の画像成分ｉｍ２とに分離するコントローラ１４を備える。このような構成により、撮像装置１０は、複数の画像成分が重畳した重畳画像ｏｌｉｍの重畳を解消させた画像を生成し得る。
【0057】
次に、本開示の第２の実施形態に係る撮像装置について説明する。第２の実施形態では、１つの撮像素子１２に対して、２つの撮像光学系１１が配置される点で、第１の実施形態と異なっている。以下に、第１の実施形態と異なる点を中心に第２の実施形態について説明する。なお、第１の実施形態と同じ構成を有する部位には同じ符号を付す。
【0058】
第２の実施形態に係る撮像装置は、２つの撮像光学系１１のそれぞれによって対象物の視差像を結像させ、撮像素子１２によって視差像を撮像することによって、対象物の視差画像を生成する。対象物の視差画像は、対象物の各物点までの距離を算出するために用いられる。
【0059】
図２０に示すように、第２の実施形態に係る撮像装置１０２は、撮像光学系１１として、第１撮像光学系１１Ａと第２撮像光学系１１Ｂとを備える。第１撮像光学系１１Ａは、第１光学系とも称される。第２撮像光学系１１Ｂは、第２光学系とも称される。第１光学系と第２光学系とは並列して位置してよい。撮像装置１０２は、プリズム３０と光学素子１３とを更に備える。プリズム３０は、第１の実施形態に係る撮像装置１０におけるプリズム３０と同一又は類似に構成されてよい。光学素子１３は、第１の実施形態に係る撮像装置１０における光学素子１３と同一又は類似に構成されてよい。
【0060】
第１撮像光学系１１Ａ及び第２撮像光学系１１Ｂは、物点から入射する光又は光束を撮像素子１２の受光領域ｒａに結像させる。ここで、撮像装置１０２が物点ｐｐ１及びｐｐ２を両端に有する対象物を撮像すると仮定する。この場合、第１撮像光学系１１Ａは、物点ｐｐ１を受光領域ｒａの上の結像点ｉｐ１に結像し、対象物の他の部分を結像点ｉｐ１よりも左側の領域に結像する。第２撮像光学系１１Ｂは、物点ｐｐ２を受光領域ｒａの上の結像点ｉｐ２に結像し、対象物の他の部分を結像点ｉｐ２よりも右側の領域に結像する。その結果、第１撮像光学系１１Ａが対象物を結像した像と、第２撮像光学系１１Ｂが対象物を結像した像とは、互いに受光領域ｒａの中央の領域で重畳する。
【0061】
図２１に示すように、第１撮像光学系１１Ａが対象物を結像した像は、第１像ｉｍＡとして表される。第２撮像光学系１１Ｂが対象物を結像した像は、第２像ｉｍＢとして表される。第１像ｉｍＡは、受光領域ｒａの上で第２像ｉｍＢと重畳しない第１非重畳像ｉｍ＿Ａ１と、受光領域ｒａの上で第２像ｉｍＢと重畳する第１重畳像ｉｍ＿Ａ２とを含む。第２像ｉｍＢは、受光領域ｒａの上で第１像ｉｍＡと重畳しない第２非重畳像ｉｍ＿Ｂ１と、受光領域ｒａの上で第１像ｉｍＡと重畳する第２重畳像ｉｍ＿Ｂ２とを含む。
【0062】
撮像素子１２は、第１非重畳像ｉｍ＿Ａ１と、第２非重畳像ｉｍ＿Ｂ１と、第１重畳像ｉｍ＿Ａ２と第２重畳像ｉｍ＿Ｂ２とが重畳した像とを撮像し、重畳画像ｏｌｉｍを生成する。
【0063】
撮像装置１０２は、コントローラ１４を更に備えてよい。コントローラ１４は、重畳画像ｏｌｉｍのうち第１重畳像ｉｍ＿Ａ２と第２重畳像ｉｍ＿Ｂ２とが重畳した像を分離し、重畳画像ｏｌｉｍから第１像ｉｍＡと第２像ｉｍＢとを生成してよい。
【0064】
図２２に示すように、第１撮像光学系１１Ａによって物点ｐｐ２を結像したときの結像点ｉｐ２は、受光領域ｒａの外に位置することがある。つまり、物点ｐｐ２が第１撮像光学系１１Ａの直接画角外に位置することがある。この場合でも、結像点ｉｐ２に結像される光又は光束は、光学素子１３によって受光領域ｒａの内側に反射されて、受光領域ｒａの上に重畳して結像される。その結果、重畳画像ｏｌｉｍは、第１像ｉｍＡにおいて直接画角内の物点の像と直接画角外の物点の像を重畳した像を含む。また、第２撮像光学系１１Ｂによって物点ｐｐ１を結像したときの結像点ｉｐ１は、受光領域ｒａの外に位置することがある。つまり、物点ｐｐ１が第２撮像光学系１１Ｂの直接画角外に位置することがある。この場合でも、結像点ｉｐ１に結像される光又は光束は、光学素子１３によって受光領域ｒａの内側に反射されて、受光領域ｒａの上に重畳して結像される。その結果、重畳画像ｏｌｉｍは、第２像ｉｍＢにおいて直接画角内の物点の像と直接画角外の物点の像を重畳した像を含む。
【0065】
コントローラ１４は、重畳画像ｏｌｉｍのうち第１像ｉｍＡ及び第２像ｉｍＢそれぞれについて、直接画角内の物点の像と直接画角外の物点の像とを分離して直接画角外の物点まで拡張した画像を生成してよい。
【0066】
以上述べてきたように、第２の実施形態に係る撮像装置１０２は、撮像素子１２の受光領域ｒａの上で第１像ｉｍＡと第２像ｉｍＢとが重畳した像を撮像し、重畳画像ｏｌｉｍから第１像ｉｍＡと第２像ｉｍＢとを分離できる。このようにすることで、撮像装置１０２は、１つの撮像素子１２で、２枚の画像で構成される視差画像を撮像できる。
【0067】
また、撮像装置１０２は、視差画像を構成する２枚の画像が互いに重複するように撮像することによって、単に、受光領域ｒａを２つの領域に分けてそれぞれの領域で視差画像を撮像する場合と比較して、広い画角で視差画像を撮像できる。また、撮像装置１０２は、撮像素子１２の受光領域ｒａに対応する撮像光学系１１の直接画角の外から当該撮像光学系１１に入射する光又は光束の少なくとも一部を当該受光領域ｒａ内に結像させる光学素子１３を備える。このような構成により、撮像装置１０は、焦点距離が比較的長い撮像光学系１１を採用しながら、当該焦点距離に対応する画角より広角の範囲の光学情報を含む画像を結像し得る。したがって、撮像装置１０は、広範囲かつ拡大された光学情報を生成し得る。
【0068】
視差画像に基づく測距において、基線長が大きいほど距離データの分解能及び精度が高められる。基線長は、視差画像を構成する２枚の画像を撮影する装置の間隔に対応する。測距データを生成するための視差画像を撮影する方法として、以下の比較例に係る方法が考えられる。
【0069】
第１の比較例としてステレオカメラを用いる方法が考えられる。ステレオカメラは、平行に配置した２つのカメラで三角測量を行う方式である。ステレオカメラにおいて、２つのカメラの間隔が基線長に対応する。したがって、ステレオカメラの基線長を長くすることによって距離データの分解能及び精度が高められ得る。また、２つのカメラそれぞれの焦点距離を設定できることによって、撮影画像が広角化され得る。しかし、ステレオカメラにおいて基線長を長くする場合、２つのカメラを離して配置することによって装置が大きくなる。また、２つのカメラの校正が必要になる。
【0070】
第２の比較例として瞳分割法が考えられる。瞳分割法は、カメラの瞳を分割することによって、レンズ内でステレオカメラを構成する方式である。瞳分割法に係る装置は、瞳が１つで構成できることによって、ステレオカメラと比較して小型化され得る。しかし、基線長が瞳径で制限される。その結果、基線長を長くすることが難しい。したがって、距離データの分解能及び精度を高めることが難しい。ここで、瞳分割法において、距離データの分解能及び精度を高めるために、焦点距離を長くする方法が考えられる。しかし、焦点距離を長くすることによって撮像画像の広角化が難しくなる。つまり、基線長が制限されることによって、撮像画像の広角化又は距離データの分解能及び精度の向上のいずれかが難しくなる。
【0071】
第３の比較例として２つの瞳の入力を重畳して１つの撮像素子で撮像する方法が考えられる。この方法に係る装置は、ステレオカメラのように基線長を長くしたり撮像画像を広角化したりできるとともに、ステレオカメラより少ない撮像素子で構成され得る。しかし、２つの瞳の入力を重畳するために、光学系が特殊な光学設計を必要とする。また、光学系の部品点数が増大する。その結果、小型化するためにコストがかかる。
【0072】
一方で、第２の実施形態に係る撮像装置１０２は、１つの撮像素子１２によって２枚の画像を撮像できることによって、撮像画像の広角化を実現しつつ、第１の比較例に係るステレオカメラよりも小型化され得る。また、第２の実施形態に係る撮像装置１０２は、１つの撮像素子１２に対して第１撮像光学系１１Ａと第２撮像光学系１１Ｂとを備えることによって、第２の比較例に係る瞳分割法よりも基線長を長くでき、距離データの分解能及び精度を向上できる。また、第２の実施形態に係る撮像装置１０２は、撮像素子１２の受光領域ｒａの上で重畳して結像させた像を撮像した重畳画像から、重畳されたそれぞれの像に対応する画像を分離できることによって、第３の比較例に係る方法よりも簡便かつ小型に構成され得る。
【0073】
以上述べてきたように、第２の実施形態に係る撮像装置１０２は、上述した比較例に対して、簡便かつ小型の構成として実現されつつ、撮像画像の広角化並びに距離データの分解能及び精度の向上を実現し得る。
【0074】
図２３に示すように、第３の実施形態に係る撮像装置１０３は、第１撮像光学系１１Ａに対応する第１プリズム３０Ａと、第２撮像光学系１１Ｂに対応する第２プリズム３０Ｂとを備える。撮像装置１０３は、第１プリズム３０Ａの側面に位置する第１光学素子１３Ａと、第２プリズム３０Ｂの側面に位置する第２光学素子１３Ｂとを備える。撮像装置１０３において、撮像素子１２の受光領域ｒａは、第１プリズム３０Ａが位置する第１受光領域ｒａＡと、第２プリズム３０Ｂが位置する第２受光領域ｒａＢとに分けられる。
【0075】
第１撮像光学系１１Ａは、物点ｐｐ３から入射する光又は光束を第１受光領域ｒａＡの上の第１結像点ｉｐＡで結像させる。第１撮像光学系１１Ａは、他の物点から入射する光又は光束を第１受光領域ｒａＡの外で結像させることがある。第１受光領域ｒａＡの外で結像される光又は光束は、第１光学素子１３Ａによって反射され、第１受光領域ｒａＡの上の点で結像される。つまり、第１撮像光学系１１Ａと第１プリズム３０Ａと第１光学素子１３Ａとを組み合わせた構成は、第１撮像光学系１１Ａの直接画角外の物点の像も含めて、対象物を第１受光領域ｒａＡの上に結像させ得る。
【0076】
第２撮像光学系１１Ｂは、物点ｐｐ３から入射する光又は光束を第２受光領域ｒａＢの上の第２結像点ｉｐＢで結像させる。第２撮像光学系１１Ｂは、他の物点から入射する光又は光束を第２受光領域ｒａＢの外で結像させることがある。第２受光領域ｒａＢの外で結像される光又は光束は、第２光学素子１３Ｂによって反射され、第２受光領域ｒａＢの上の点で結像される。つまり、第２撮像光学系１１Ｂと第２プリズム３０Ｂと第２光学素子１３Ｂとを組み合わせた構成は、第２撮像光学系１１Ｂの直接画角外の物点の像も含めて、対象物を第２受光領域ｒａＢの上に結像させ得る。
【0077】
第３の実施形態に係る撮像装置１０３は、１つの撮像光学系１１と１つのプリズム３０とプリズム３０の側面に位置する光学素子１３とを組み合わせた構成を２組有する。このように２組の同一の構成を組み合わせた撮像装置１０３によれば、１組の構成が汎用的に適用され得ることによって、製造工数又はコストが低減され得る。
【0078】
第３の実施形態に係る撮像装置１０３において、撮像素子１２は、第１撮像光学系１１Ａで結像される像と、第２撮像光学系１１Ｂで結像される像とを分離して撮像する。この場合、重畳画像ｏｌｉｍは、第１像ｉｍＡ及び第２像ｉｍＢそれぞれの中だけで直接画角内の物点の像と直接画角外の物点の像とが重畳した像を含む。その結果、第１の実施形態に係る撮像装置１０で重畳画像ｏｌｉｍから重畳した像を分離するために用いられた、画像分離モデル等の手法がそのまま適用され得る。
【0079】
第３の実施形態に係る撮像装置１０３において、第１光学素子１３Ａが第１プリズム３０Ａの側面に反射膜として形成され、かつ、第２光学素子１３Ｂが第２プリズム３０Ｂの側面に反射膜として形成され得る。この場合、撮像素子１２の受光領域ｒａにおいて、第１光学素子１３Ａ及び第２光学素子１３Ｂが占める面積が小さくなる。つまり、第１受光領域ｒａＡ及び第２受光領域ｒａＢのいずれにも属さない受光できない領域の面積が小さくなる。逆に言えば、受光領域ｒａで撮像できる像の面積が広げられ得る。その結果、撮像装置１０３の画角が広げられ得る。
【0080】
次に、本開示の第４の実施形態に係る撮像装置について説明する。第４の実施形態では、光学素子の構成及びコントローラによる分離処理が第１の実施形態と異なっている。以下に、第１の実施形態と異なる点を中心に第４の実施形態について説明する。なお、第１の実施形態と同じ構成を有する部位には同じ符号を付す。
【0081】
図２４に示すように、第４の実施形態に係る撮像装置１００は、第１の実施形態と類似して、撮像光学系１１、撮像素子１２、プリズム３０、及び光学素子１３０を含んで構成される。撮像装置１００は、更にコントローラ１４を含んで構成されてよい。第４の実施形態における撮像光学系１１及び撮像素子１２の構造及び機能は、第１の実施形態と同じである。第４の実施形態におけるコントローラ１４の構造は、第１の実施形態と同じである。
【0082】
第４の実施形態において、光学素子１３０は、第１の実施形態と類似して、撮像光学系１１の直接画角の外から撮像光学系１１に入射する光又は光束の少なくとも一部を撮像素子１２の受光領域ｒａ内に結像させる。第４の実施形態において、光学素子１３０は、第１の実施形態と異なり、入射する光又は光束に、光学的処理を施して出射する。
【0083】
光学的処理は、例えば、入射する光又は光束の帯域の変化である。具体的には、光学素子１３０は、入射する光又は光束の中で、撮像素子１２を覆う複数のカラーフィルタの中の一部のカラーフィルタに対応する帯域の光を減衰させる。したがって、光学素子１３０は、当該帯域の光を除く帯域の光を受光領域ｒａ内に結像させる。
【0084】
光学素子１３０は、減衰させる色の帯域とは他の帯域の光を反射するミラーであってよい。光学素子１３０は、例えば、Ｒ光を減衰させ、ＧＢ光を反射する。
【0085】
上述のような構成により、図２５に示すように、第４の実施形態においては、受光領域ｒａには、直接画角内の物点に対応し且つ全カラーフィルタの色に対応した第１のＲ画像成分ｉｍ１ｒ、第１のＧ画像成分ｉｍ１ｇ、及び第１のＢ画像成分ｉｍ１ｂが光学素子１３０を介することなく到達する。また、受光領域ｒａには、直接画角外の物点に対応し且つ減衰させた色成分以外の色に対応した第２のＧ画像成分ｉｍ２ｇ及び第２のＢ画像成分ｉｍ２ｂが光学素子１３０を介して到達する。
【0086】
または、光学的処理は、例えば、入射する光又は光束への入射位置に応じた明暗差パターンの付加である。具体的には、図２６に示すように、光学素子１３０は、第１の領域１９０及び第２の領域２００が、例えば、市松状に分布する表面を有する。第１の領域１９０は、入射する光の輝度を第１の減衰率で減衰して出射させる。第１の減衰率は、０％超且つ１００％未満である。第２の領域２００は、入射する光の輝度を第２の減衰率で減衰して出射させる。第２の減衰率は、０％以上且つ第１の減衰率未満である。したがって、光学素子１３０は、入射する光又は光束に、第１の領域１９０及び第２の領域２００のパターンに応じた明暗差を付与して、受光領域ｒａ内に結像させる。
【0087】
または、光学的処理は、例えば、入射する光又は光束が受光領域ｒａ内に結像させる像への歪みの付与である。具体的には、図２７に示すように、光学素子１３０は、光軸と平行な線を軸とした円筒状の曲面を有するミラーであり、入射する光又は光束を反射して歪が付与された像を受光領域ｒａ内に結像させる。より具体的には、光学素子１３０は、光軸に垂直な平面によるミラーである光学素子の断面の円弧の両端を結ぶ方向に拡大するように歪んだ画像である。
【0088】
第４の実施形態において、コントローラ１４は、第１の実施形態に類似して、画像処理により、画像信号に相当する重畳画像ｏｌｉｍを、第１の画像成分ｉｍ１と、第２の画像成分ｉｍ２とに分離する画像処理を施してよい。第４の実施形態においては、コントローラ１４は、画像分離モデルを用いた画像処理方法により重畳画像ｏｌｉｍを分離する。
【0089】
第４の実施形態における画像分離モデルについて、以下に説明する。画像分離モデルは、事前に、光学的処理を施さない第１画像と、当該第１画像とは別の第２画像に対して光学素子１３０が行う光学的処理に相当する画像処理を施して第１画像に重畳させた重畳画像とを生成し、重畳画像に対して当該第１画像及び第２画像を正解として学習することにより構築されるモデルである。
【0090】
光学的処理が帯域の変化である構成において、第１画像は任意の画像のＲＧＢ画像成分である。又、当該構成において、第２画像は当該任意の画像とは別の画像のＧＢ画像成分である。光学的処理が帯域の変化である構成においては、任意の画像のＲ画像成分も重畳画像に加えて、学習に用いられ得る。
【0091】
光学的処理が明暗差パターンの付加である構成において、第１画像は任意の画像である。また、当該構成において、第２画像は当該任意の画像とは別の画像の輝度を、光学素子１３０の明暗差パターンで変化させた画像である。
【0092】
光学的処理が歪の付与である構成において、第１画像は任意の画像である。また、当該構成において、第２画像は当該任意の画像とは別の画像を、光学素子１３０と同じ曲面のミラーで反射させた像である。
【0093】
第４の実施形態において、コントローラ１４は、第１の実施形態と同じく、分離した第１の画像成分ｉｍ１及び第２の画像成分ｉｍ２を結合させることにより、復元画像ｒｃｉｍを生成してよい。第４の実施形態において、コントローラ１４は、第１の実施形態と同じく、復元画像ｒｃｉｍを用いて、撮像装置１００周辺において撮像された被写体の測距を行ってよい。第４の実施形態において、コントローラ１４は、第１の実施形態と同じく、復元画像ｒｃｉｍの各アドレスに対応する距離に基づいて、距離画像を生成し、外部機器に付与してよい。
【0094】
以上のような構成の第４の実施形態の光学装置２１０も、入射する第１の光を所定の領域ｐａに結像させる撮像光学系１１と、撮像光学系１１の光軸ｏｘと撮像光学系１１に入射する主光線とのなす角度が第１の光と異なる第２の光を所定の領域ｐａに導く光学素子１３０を備える。したがって、撮像装置１００も、広範囲かつ拡大された光学情報を生成し得る。
【0095】
また、第４の実施形態の撮像装置１００でも、光学素子１３０は第２の光を反射して所定の領域ｐａ内に結像させるミラーであり、ミラーの反射面が光軸ｏｘ、及び撮像素子１２の矩形の受光領域ｒａのいずれかの辺に平行である。したがって、撮像装置１００も、撮像した画像に含まれるミラーによる反射光成分の歪を除去する画像処理の負荷を低減し得るので、反射光成分の再現性を向上させ得る。
【0096】
また、第４の実施形態の撮像装置１００でも、ミラーは複数の平面ミラーを含み、複数の平面ミラーの少なくとも１組の２つの平面ミラーは反射面が互いに平行になるように位置する。したがって、撮像装置１００も、光軸ｏｘを中心として、直接画角から両側に拡大させた光学情報を取得し得る。
【0097】
また、第４の実施形態の撮像装置１００でも、光軸ｏｘと互いに平行な２つの平面ミラーの反射面それぞれとの間隔Ｈが等しく、且つ直接画角の２倍の角度における物点ｐｐからの光束の主光線の角度ＣＲＡがＣＲＡ≦ｔａｎ－１（Ｈ／Ｂ）を満たす。したがって、撮像装置１００でも、一方の平面ミラーからの反射光成分と、他方の平面ミラーからの反射光成分との重畳による３層の画像成分の重畳が防がれ、後の画像処理による画像成分の分離精度を向上させ得る。
【0098】
また、第４の実施形態の撮像装置１００でも、平面ミラーと撮像素子１２の受光領域ｒａの外縁とは、当該平面ミラーの法線方向において密接している。したがって、撮像装置１００も、光学情報の喪失を防止する。
【0099】
また、第４の実施形態の撮像装置１００でも、ミラーは光軸ｏｘ方向から見て、撮像光学系１１の射出瞳の外側に位置する。したがって、撮像装置１００も、射出瞳近傍を通過する光又は光束の一部のケラレによる光量の低下を低減させ得る。
【0100】
また、第４の実施形態の撮像装置１００でも、撮像光学系１１における任意の光束の主光線の光軸ｏｘに対する角度が０°より大きい。したがって、撮像装置１００も、直接画角から広角化させた範囲の光学情報を確実に生成させ得る。
【0101】
また、第４の実施形態の撮像装置１００でも、画像信号に相当する画像を、第１の光に対応する第１の画像成分ｉｍ１と、第２の光に対応する第２の画像成分ｉｍ２とに分離するコントローラ１４を備える。したがって、撮像装置１００も、複数の画像成分が重畳した重畳画像ｏｌｉｍの重畳を解消させた画像を生成し得る。
【0102】
また、第４の実施形態の撮像装置１００では、光学素子１３０は、当該光学素子１３０に入射する光又は光束に光学的処理を施して出射する。このような構成により、撮像装置１００では、分離される画像成分に当該光学的処理に対応する光学的特徴が付与される。したがって、撮像装置１００では、分離精度を向上させるように学習された画像分離モデルが構築され得る。それゆえ、撮像装置１００では、復元画像の復元精度を向上し得る。
【0103】
次に、本開示の第５の実施形態に係る撮像装置について説明する。第５の実施形態では、撮像素子の構成及びコントローラによる分離処理が第１の実施形態と異なっている。以下に、第１の実施形態と異なる点を中心に第５の実施形態について説明する。なお、第１の実施形態と同じ構成を有する部位には同じ符号を付す。
【0104】
図２８に示すように、第５の実施形態に係る撮像装置１０１は、第１の実施形態と類似して、撮像光学系１１、撮像素子１２１、プリズム３０、及び光学素子１３を含んで構成される。撮像装置１０１は、更にコントローラ１４を含んで構成されてよい。第５の実施形態における撮像光学系１１及び光学素子１３の構造及び機能は、第１の実施形態と同じである。第５の実施形態におけるコントローラ１４の構造は、第１の実施形態と同じである。
【0105】
第５の実施形態において、撮像素子１２１は、第１の実施形態に類似して、撮像光学系１１を介して受光領域ｒａ内に結像する像を撮像する。撮像素子１２１は、第１の実施形態に類似して、可視光、赤外線及び紫外線等の不可視光による像を撮像可能であってよい。撮像素子１２１は、カラーイメージセンサであってよい。撮像素子１２１は、第１の実施形態に類似して、撮像により受光する画像に相当する画像信号を生成する。撮像素子１２１は、第１の実施形態に類似して、３０ｆｐｓ等の所定のフレームレートで画像信号を生成してよい。撮像素子１２１では、第１の実施形態と同じく、光学素子１３が設けられる側の受光領域ｒａの外縁は、撮像光学系１１の射出瞳の外縁よりも外側に位置してよい。受光領域ｒａは、第１の実施形態と同じく、矩形であってよい。
【0106】
第５の実施形態において、撮像素子１２１は、第１の実施形態と異なり、デュアルピクセルタイプのイメージセンサであってよい。図２９に示すように、デュアルピクセルタイプのイメージセンサである撮像素子１２１は、各マイクロレンズ１５１が覆う画素１６１に第１のＰＤ（Photo Diode）１７１及び第２のＰＤ１８１が設けられており、光又は光束の入射方向によりいずれかのＰＤにのみ入射可能な構造を有するイメージセンサである。例えば、各画素１６１において、第１のＰＤ１７１には光軸ｏｘ側に傾斜した方向からの光又は光束のみが入射可能であり、第２のＰＤ１８１には光学素子１３側に傾斜した方向からの光又は光束のみが入射可能である。
【0107】
上述のような構成により、受光領域ｒａにおける第１のＰＤ１７１には、第１の光に対応する第１の画像成分ｉｍ１が光学素子１３を介することなく到達する。また、受光領域ｒａにおける第２のＰＤ１８１には、第２の光に対応する第２の画像成分ｉｍ２が光学素子１３を介して反転して到達する。
【0108】
第５の実施形態において、コントローラ１４は、第１の実施形態に類似して、画像処理により、画像信号に相当する重畳画像ｏｌｉｍを、第１の画像成分ｉｍ１と、第２の画像成分ｉｍ２とに分離する画像処理を施してよい。第５の実施形態においては、コントローラ１４は、第１のＰＤ１７１が生成する信号のみに基づいて第１の画像成分ｉｍ１を生成してよい。第１のＰＤ１７１が生成する信号のみに基づいてとは、第２のＰＤ１８１が生成する信号を用いないことを規定しており、例えば同期信号等のように第２のＰＤ１８１の出力する信号とは無関係の信号を用いることを含んでよい。また、第５の実施形態においては、コントローラ１４は、第２のＰＤ１８１が生成する信号のみに基づいて反転した第２の画像成分ｉｍ２を生成してよい。第２のＰＤ１８１が生成する信号のみに基づくという意味は、第１のＰＤ１７１が生成する信号のみに基づくと類似した意味である。
【0109】
第５の実施形態において、コントローラ１４は、第１の実施形態と同じく、分離した第１の画像成分ｉｍ１及び第２の画像成分ｉｍ２を結合させることにより、復元画像ｒｃｉｍを生成してよい。第５の実施形態において、コントローラ１４は、第１の実施形態と同じく、復元画像ｒｃｉｍを用いて、撮像装置１０１周辺において撮像された被写体の測距を行ってよい。第５の実施形態において、コントローラ１４は、第１の実施形態と同じく、復元画像ｒｃｉｍの各アドレスに対応する距離に基づいて、距離画像を生成し、外部機器に付与してよい。
【0110】
以上のような構成の第５の実施形態の撮像装置１０１でも、光学素子１３は第２の光を反射して所定の領域ｐａ内に導くミラーであり、ミラーの反射面が光軸ｏｘ、及び撮像素子１２１の矩形の受光領域ｒａのいずれかの辺に平行である。したがって、撮像装置１０１も、撮像した画像に含まれるミラーによる反射光成分の歪を除去する画像処理の負荷を低減し得るので、反射光成分の再現性を向上させ得る。
【0111】
また、第５の実施形態の撮像装置１０１でも、ミラーは複数の平面ミラーを含み、複数の平面ミラーの少なくとも１組の２つの平面ミラーは反射面が互いに平行になるように位置する。したがって、撮像装置１０１も、光軸ｏｘを中心として、直接画角から両側に拡大させた光学情報を取得し得る。
【0112】
また、第５の実施形態の撮像装置１０１でも、光軸ｏｘと互いに平行な２つの平面ミラーの反射面それぞれとの間隔Ｈが等しく、且つ直接画角の２倍の角度における物点ｐｐからの光束の主光線の角度ＣＲＡがＣＲＡ≦ｔａｎ－１（Ｈ／Ｂ）を満たす。したがって、撮像装置１０１でも、一方の平面ミラーからの反射光成分と、他方の平面ミラーからの反射光成分との重畳による３層の画像成分の重畳が防がれ、後の画像処理による画像成分の分離精度を向上させ得る。
【0113】
また、第５の実施形態の撮像装置１０１でも、平面ミラーと撮像素子１２１の受光領域ｒａの外縁とは、当該平面ミラーの法線方向において密接している。したがって、撮像装置１０１も、光学情報の喪失を防止する。
【0114】
また、第５の実施形態の撮像装置１０１でも、ミラーは光軸ｏｘ方向から見て、撮像光学系１１の射出瞳の外側に位置する。したがって、撮像装置１０１も、射出瞳近傍を通過する光又は光束の一部のケラレによる光量の低下を低減させ得る。
【0115】
また、第５の実施形態の撮像装置１０１でも、撮像光学系１１における任意の光束の主光線の光軸ｏｘに対する角度が０°より大きい。したがって、撮像装置１０１も、直接画角から広角化させた範囲の光学情報を確実に生成させ得る。
【0116】
また、第５の実施形態の撮像装置１０１でも、画像信号に相当する画像を、第１の光に対応する第１の画像成分ｉｍ１と、第２の光に対応する第２の画像成分ｉｍ２とに分離するコントローラ１４を備える。したがって、撮像装置１０１も、複数の画像成分が重畳した重畳画像ｏｌｉｍの重畳を解消させた画像を生成し得る。
【0117】
本開示に係る実施形態について説明する図は模式的なものである。図面上の寸法比率等は、現実のものとは必ずしも一致していない。
【0118】
本開示に係る実施形態について、諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形又は改変を行うことが可能であることに注意されたい。従って、これらの変形又は改変は本開示の範囲に含まれることに留意されたい。例えば、各構成部等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の構成部等を１つに組み合わせたり、或いは分割したりすることが可能である。
【0119】
本開示に記載された構成要件の全て、及び／又は、開示された全ての方法、又は、処理の全てのステップについては、これらの特徴が相互に排他的である組合せを除き、任意の組合せで組み合わせることができる。また、本開示に記載された特徴の各々は、明示的に否定されない限り、同一の目的、同等の目的、または類似する目的のために働く代替の特徴に置換することができる。したがって、明示的に否定されない限り、開示された特徴の各々は、包括的な一連の同一、又は、均等となる特徴の一例にすぎない。
【0120】
さらに、本開示に係る実施形態は、上述した実施形態のいずれの具体的構成にも制限されるものではない。本開示に係る実施形態は、本開示に記載された全ての新規な特徴、又は、それらの組合せ、あるいは記載された全ての新規な方法、又は、処理のステップ、又は、それらの組合せに拡張することができる。
【0121】
本開示において「第１」及び「第２」等の記載は、当該構成を区別するための識別子である。本開示における「第１」及び「第２」等の記載で区別された構成は、当該構成における番号を交換することができる。例えば、第１の画像成分は、第２の画像成分と識別子である「第１」と「第２」とを交換することができる。識別子の交換は同時に行われる。識別子の交換後も当該構成は区別される。識別子は削除してよい。識別子を削除した構成は、符号で区別される。本開示における「第１」及び「第２」等の識別子の記載のみに基づいて、当該構成の順序の解釈、小さい番号の識別子が存在することの根拠に利用してはならない。
【0122】
一実施形態において、（１）光学装置は、入射する第１の光を所定の領域に結像させる光学系と、前記光学系の光軸と前記光学系に入射する主光線とのなす角度が前記第１の光と異なる第２の光を前記所定の領域に導く光学素子と、前記光学系と前記光学素子と前記所定の領域とで囲まれる空間に位置するプリズムとを備える。
【0123】
（２）上記（１）の光学装置において、前記光学素子は、前記プリズムの少なくとも１つの面として構成される反射面を含んでよい。
【0124】
（３）上記（１）又は（２）の光学装置において、前記第２の光の主光線と前記光軸とのなす角度は、前記第１の光の主光線と前記光軸とのなす角度より大きくてよい。
【0125】
（４）上記（１）から（３）までのいずれか１つの光学装置において、前記光学素子は、前記第２の光を反射して前記所定の領域に導くミラーを含んでよい。
【0126】
一実施形態において、（５）光学装置は、入射する第１の光を所定の領域に結像させる光学系と、前記光学系の光軸と前記光学系に入射する主光線とのなす角度が前記第１の光と異なる第２の光を前記所定の領域に導く光学素子と、前記光学系から出力される前記第１の光および前記第２の光の光路の少なくとも一部に位置するプリズムとを備える。
【0127】
一実施形態において、（６）撮像装置は、上記（１）から（５）までのいずれか１つに記載の光学装置と、前記所定の領域と撮像領域とが重なるように配置されている撮像素子とを備える。
【0128】
（７）上記（６）の撮像装置において、前記光学系は、異なる光軸を有し、それぞれの被写体の一部が共通する第１光学系と第２光学系とを含んでよい。前記第１光学系によって結像した像の一部と、前記第２光学系によって結像した像の一部とが、前記撮像素子の受光領域で重畳してよい。
【0129】
（８）上記（６）の撮像装置において、前記光学系は、異なる光軸を有し、それぞれの被写体の一部が共通する第１光学系と第２光学系とを含んでよい。前記プリズムは、前記第１光学系に対応する第１プリズムと、前記第２光学系に対応する第２プリズムとを含んでよい。
【0130】
（９）上記（６）から（８）までのいずれか１つの撮像装置において、前記プリズムは、前記プリズムの反射面が前記光学系の光軸と平行になるように構成されてよい。
【0131】
（１０）上記（６）から（９）までのいずれか１つの撮像装置は、前記撮像素子が撮像した画像を、前記第１の光に対応する第１の画像成分と、前記第２の光に対応する第２の画像成分とに分離するプロセッサを更に備えてよい。
【0132】
以上、撮像装置１０、１００、１０１、１０２、１０３を用いた撮像方法の実施形態を説明してきたが、本開示の実施形態としては、装置を実施するための方法又はプログラムの他、プログラムが記録された記憶媒体（一例として、光ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＣＤ－ＲＷ、磁気テープ、ハードディスク、又はメモリカード等）としての実施態様をとることも可能である。
【0133】
また、プログラムの実装形態としては、コンパイラによってコンパイルされるオブジェクトコード、インタプリタにより実行されるプログラムコード等のアプリケーションプログラムに限定されることはなく、オペレーティングシステムに組み込まれるプログラムモジュール等の形態であってもよい。さらに、プログラムは、制御基板上のＣＰＵにおいてのみ全ての処理が実施されるように構成されてもされなくてもよい。プログラムは、必要に応じて基板に付加された拡張ボード又は拡張ユニットに実装された別の処理ユニットによってその一部又は全部が実施されるように構成されてもよい。
【符号の説明】
【0134】
１０、１００、１０１、１０２、１０３ 撮像装置
１１ 撮像光学系（１１Ａ：第１撮像光学系、１１Ｂ：第２撮像光学系）
１２、１２１ 撮像素子
１３、１３０ 光学素子（１３Ａ：第１光学素子、１３Ｂ：第２光学素子）
１４ コントローラ
１５１ マイクロレンズ
１６１ 画素
１７１ 第１のＰＤ（Photo-Diode）
１８１ 第２のＰＤ
１９０ 第１の領域
２００ 第２の領域
２１、２１０、２１１ 光学装置
２２ 第１のレンズ
２３ プリズム
３０ プリズム（３０Ａ：第１プリズム、３０Ｂ：第２プリズム、３１：第１面、３２：第２面、３３：第３面）
ＣＲＡ 直接画角の２倍の角度における物点から放射される光束の撮像光学系による主光線の光軸に対する角度
ｉｍ１ 第１の画像成分
ｉｍ１ｂ 第１のＢ画像成分
ｉｍ１ｇ 第１のＧ画像成分
ｉｍ１ｒ 第１のＲ画像成分
ｉｍ２ 第２の画像成分
ｉｍ２ｂ 第２のＢ画像成分
ｉｍ２ｇ 第２のＧ画像成分
ｉｍＡ 第１像（ｉｍ＿Ａ１：第１非重畳像、ｉｍ＿Ａ２：第１重畳像）
ｉｍＢ 第２像（ｉｍ＿Ｂ１：第２非重畳像、ｉｍ＿Ｂ２：第２重畳像）
ｉｐ１、ｉｐ２ 結像点
ｉｐＡ、ｉｐＢ 第１結像点、第２結像点
ｏｌｉｍ 重畳画像
ｏｘ 光軸
ｐａ 所定の領域
ｒｃｉｍ 復元画像
ｐｐ 直接画角の２倍の角度における物点
ｐｐ１、ｐｐ２、ｐｐ３ 物点
ｒａ 受光領域（ｒａＡ：第１受光領域、ｒａＢ：第２受光領域）
１１ 撮像光学系（１１Ａ：第１撮像光学系、１１Ｂ：第２撮像光学系）
１２、１２１ 撮像素子
１３、１３０ 光学素子（１３Ａ：第１光学素子、１３Ｂ：第２光学素子）
１４ コントローラ
１５１ マイクロレンズ
１６１ 画素
１７１ 第１のＰＤ（Photo-Diode）
１８１ 第２のＰＤ
１９０ 第１の領域
２００ 第２の領域
２１、２１０、２１１ 光学装置
２２ 第１のレンズ
２３ プリズム
３０ プリズム（３０Ａ：第１プリズム、３０Ｂ：第２プリズム、３１：第１面、３２：第２面、３３：第３面）
ＣＲＡ 直接画角の２倍の角度における物点から放射される光束の撮像光学系による主光線の光軸に対する角度
ｉｍ１ 第１の画像成分
ｉｍ１ｂ 第１のＢ画像成分
ｉｍ１ｇ 第１のＧ画像成分
ｉｍ１ｒ 第１のＲ画像成分
ｉｍ２ 第２の画像成分
ｉｍ２ｂ 第２のＢ画像成分
ｉｍ２ｇ 第２のＧ画像成分
ｉｍＡ 第１像（ｉｍ＿Ａ１：第１非重畳像、ｉｍ＿Ａ２：第１重畳像）
ｉｍＢ 第２像（ｉｍ＿Ｂ１：第２非重畳像、ｉｍ＿Ｂ２：第２重畳像）
ｉｐ１、ｉｐ２ 結像点
ｉｐＡ、ｉｐＢ 第１結像点、第２結像点
ｏｌｉｍ 重畳画像
ｏｘ 光軸
ｐａ 所定の領域
ｒｃｉｍ 復元画像
ｐｐ 直接画角の２倍の角度における物点
ｐｐ１、ｐｐ２、ｐｐ３ 物点
ｒａ 受光領域（ｒａＡ：第１受光領域、ｒａＢ：第２受光領域）
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】