(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-11-06
(45)【発行日】2024-11-14
(54)【発明の名称】画像処理装置、撮像装置及び画像処理方法
(51)【国際特許分類】
G03B 37/00 20210101AFI20241107BHJP
G02B 17/08 20060101ALI20241107BHJP
G03B 11/00 20210101ALI20241107BHJP
G03B 15/00 20210101ALI20241107BHJP
G03B 17/17 20210101ALI20241107BHJP
H04N 23/55 20230101ALI20241107BHJP
H04N 23/60 20230101ALI20241107BHJP
【ＦＩ】
G03B37/00 A
G02B17/08
G03B11/00
G03B15/00 W
G03B17/17
H04N23/55
H04N23/60 500
【請求項の数】
12
(21)【出願番号】P 2023130261
(22)【出願日】2023-08-09
(62)【分割の表示】P 2022132755の分割
【原出願日】2022-08-23
(65)【公開番号】P2023164764
(43)【公開日】2023-11-13
【審査請求日】2023-08-09
(31)【優先権主張番号】P 2021175961
(32)【優先日】2021-10-27
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000006633
【氏名又は名称】京セラ株式会社
(74)【代理人】
【識別番号】100147485
【弁理士】
【氏名又は名称】杉村 憲司
(74)【代理人】
【識別番号】230118913
【弁護士】
【氏名又は名称】杉村 光嗣
(74)【代理人】
【識別番号】100132045
【弁理士】
【氏名又は名称】坪内 伸
(72)【発明者】
【氏名】菅原 俊
(72)【発明者】
【氏名】林 佑介
【審査官】登丸 久寿
(56)【参考文献】
【文献】特開２０１７－０６０１０７（ＪＰ，Ａ）
【文献】特開２００５－０６５０６４（ＪＰ，Ａ）
【文献】特開２０１６－１５１５１９（ＪＰ，Ａ）
【文献】特開平０８－１１１７９８（ＪＰ，Ａ）
【文献】国際公開第２０１９／１５０９８３（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０３Ｂ ３７／００
Ｇ０２Ｂ １７／０８
Ｇ０３Ｂ １１／００
Ｇ０３Ｂ １５／００
Ｇ０３Ｂ １７／１７
Ｈ０４Ｎ ２３／５５
Ｈ０４Ｎ ２３／６０
(57)【特許請求の範囲】
【請求項1】
入射する第１の光を撮像素子の所定の受光領域に結像させる光学系と、前記光学系に入射する第２の光であって、前記第１の光と帯域が同じであり、前記光学系の光軸と前記光学系に入射する主光線とのなす角度が前記第１の光と異なる第２の光を反射して前記所定の受光領域に導き、前記第１の光による像に重畳して前記撮像素子に撮像させる反射光学素子と、を用い、
前記撮像素子が出力する、前記第１の光による像と前記第２の光による像が重畳した画像を、前記撮像素子の受光領域に対応する前記光学系の直接画角内の物点に対応する第１の画像成分と、前記直接画角外の物点に対応する第２の画像成分とに分離するコントローラを、備え、
前記コントローラは前記第２の画像成分の左右反転させた画像と前記第１の画像成分による画像とを結合させる
画像処理装置。
【請求項2】
前記反射光学素子は、該反射光学素子に入射する光束に光学的処理を施して出射し、前記コントローラは前記光学的処理が施された前記第２の画像成分の特徴に基づいて前記分離を行う請求項１に記載の画像処理装置。
【請求項3】
前記光学的処理は入射する光束への、入射位置に応じた明暗差のパターンの付加である請求項２に記載の画像処理装置。
【請求項4】
前記光学的処理は入射する光束が前記受光領域内に結像させる像への歪の付与である請求項２に記載の画像処理装置。
【請求項5】
撮像素子と、入射する第１の光を前記撮像素子の所定の受光領域に結像させる光学系と、
前記光学系に入射する第２の光であって、前記第１の光と帯域が同じであり、前記光学系の光軸と前記光学系に入射する主光線とのなす角度が前記第１の光と異なる第２の光を反射して前記所定の受光領域に導き、前記第１の光による像に重畳して前記撮像素子に撮像させる反射光学素子と、
前記撮像素子が出力する、前記第１の光による像と前記第２の光による像が重畳した画像を、前記撮像素子の受光領域に対応する前記光学系の直接画角内の物点に対応する第１の画像成分と、前記直接画角外の物点に対応する第２の画像成分とに分離するコントローラを、備え、
前記コントローラは前記第２の画像成分の左右反転させた画像と前記第１の画像成分による画像とを結合させる
撮像装置。
【請求項6】
前記反射光学素子は、該反射光学素子に入射する光束に光学的処理を施して出射し、前記コントローラは前記光学的処理が施された前記第２の画像成分の特徴に基づいて前記分離を行う請求項５に記載の撮像装置。
【請求項7】
前記光学的処理は入射する光束への、入射位置に応じた明暗差のパターンの付加である請求項６に記載の撮像装置。
【請求項8】
前記光学的処理は入射する光束が前記受光領域内に結像させる像への歪の付与である請求項６に記載の撮像装置。
【請求項9】
入射する第１の光を撮像素子の所定の受光領域に結像させる光学系と、前記光学系に入射する第２の光であって、前記第１の光と帯域が同じであり、前記光学系の光軸と前記光学系に入射する主光線とのなす角度が前記第１の光と異なる第２の光を反射して前記所定の受光領域に導き、前記第１の光による像に重畳して前記撮像素子に撮像させる反射光学素子と、を用い、
前記撮像素子が出力する、前記第１の光による像と前記第２の光による像が重畳した画像を取得し、
前記撮像素子の受光領域に対応する前記光学系の直接画角内の物点に対応する第１の画像成分と、前記直接画角外の物点に対応する第２の画像成分とに分離し、
前記第２の画像成分の左右反転させた画像と前記第１の画像成分による画像とを結合させる
画像処理方法。
【請求項10】
前記反射光学素子は、該反射光学素子に入射する光束に光学的処理を施して出射し、前記光学的処理が施された前記第２の画像成分の特徴に基づいて前記分離を行う請求項９に記載の画像処理方法。
【請求項11】
前記光学的処理は入射する光束への、入射位置に応じた明暗差のパターンの付加である請求項１０に記載の画像処理方法。
【請求項12】
前記光学的処理は入射する光束が前記受光領域内に結像させる像への歪の付与である請求項１０に記載の画像処理方法。【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像装置に関するものである。
【背景技術】
【0002】
観察対象を結像させる撮像光学系は、焦点距離、画角等の多様な物性を有する。焦点距離が長くなると、観察対象が拡大化された像が形成されるので、遠方の観察対象の詳細な光学情報、言換えると拡大された光学情報が得られる。画角は広角化するほど、広範囲に位置する観察対象の光学情報が得られる。しかし、焦点距離と画角とはトレードオフの関係があり、焦点距離が長くなると画角は狭角化し、焦点距離が短くなると画角は広角化する。
【0003】
それゆえ、状況に応じて望まれる光学情報を得られるように焦点距離の調整が行われている。例えば、撮像光学系に含まれるズームレンズを変位させることにより、焦点距離の調整が行われる。又、複数の単焦点レンズを切替えることにより、焦点距離の調整が行われる（特許文献１、２参照）。
【先行技術文献】
【特許文献】
【0004】
【文献】特開平１１―３１１８３２号公報
【文献】特開２００４―２７９５５６号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献１、２においては、焦点距離の切替えにより、拡大された光学情報及び広範囲の光学情報が別々に提供され得る。しかし、広範囲且つ拡大された光学情報を同時に得ることはできなかった。
【0006】
かかる点に鑑みてなされた本開示の目的は、広範囲且つ拡大された光学情報を生成する撮像装置を提供することである。
【課題を解決するための手段】
【0007】
第１の観点による画像処理装置は、
入射する第１の光を撮像素子の所定の受光領域に結像させる光学系と、
前記光学系に入射する第２の光であって、前記光学系の光軸と前記光学系に入射する主光線とのなす角度が前記第１の光と異なる第２の光を反射して前記所定の受光領域に導き、前記第１の光による像に重畳して前記撮像素子に撮像させる反射光学素子と、を用い、
前記撮像素子が出力する、前記第１の光による像と前記第２の光による像が重畳した画像を、前記撮像素子の受光領域に対応する前記光学系の直接画角内の物点に対応する第１の画像成分と、前記直接画角外の物点に対応する第２の画像成分とに分離するコントローラを、備え、
前記コントローラは前記第２の画像成分の左右反転させた画像と前記第１の画像成分による画像とを結合させる。
入射する第１の光を撮像素子の所定の受光領域に結像させる光学系と、
前記光学系に入射する第２の光であって、前記光学系の光軸と前記光学系に入射する主光線とのなす角度が前記第１の光と異なる第２の光を反射して前記所定の受光領域に導き、前記第１の光による像に重畳して前記撮像素子に撮像させる反射光学素子と、を用い、
前記撮像素子が出力する、前記第１の光による像と前記第２の光による像が重畳した画像を、前記撮像素子の受光領域に対応する前記光学系の直接画角内の物点に対応する第１の画像成分と、前記直接画角外の物点に対応する第２の画像成分とに分離するコントローラを、備え、
前記コントローラは前記第２の画像成分の左右反転させた画像と前記第１の画像成分による画像とを結合させる。
【0008】
第２の観点による撮像装置は、
撮像素子と、
入射する第１の光を前記撮像素子の所定の受光領域に結像させる光学系と、
前記光学系に入射する第２の光であって、前記光学系の光軸と前記光学系に入射する主光線とのなす角度が前記第１の光と異なる第２の光を反射して前記所定の受光領域に導き、前記第１の光による像に重畳して前記撮像素子に撮像させる反射光学素子と、
前記撮像素子が出力する、前記第１の光による像と前記第２の光による像が重畳した画像を、前記撮像素子の受光領域に対応する前記光学系の直接画角内の物点に対応する第１の画像成分と、前記直接画角外の物点に対応する第２の画像成分とに分離するコントローラを、備え、
前記コントローラは前記第２の画像成分の左右反転させた画像と前記第１の画像成分による画像とを結合させる。
撮像素子と、
入射する第１の光を前記撮像素子の所定の受光領域に結像させる光学系と、
前記光学系に入射する第２の光であって、前記光学系の光軸と前記光学系に入射する主光線とのなす角度が前記第１の光と異なる第２の光を反射して前記所定の受光領域に導き、前記第１の光による像に重畳して前記撮像素子に撮像させる反射光学素子と、
前記撮像素子が出力する、前記第１の光による像と前記第２の光による像が重畳した画像を、前記撮像素子の受光領域に対応する前記光学系の直接画角内の物点に対応する第１の画像成分と、前記直接画角外の物点に対応する第２の画像成分とに分離するコントローラを、備え、
前記コントローラは前記第２の画像成分の左右反転させた画像と前記第１の画像成分による画像とを結合させる。
【0009】
第３の観点による画像処理方法は、
入射する第１の光を撮像素子の所定の受光領域に結像させる光学系と、
前記光学系に入射する第２の光であって、前記光学系の光軸と前記光学系に入射する主光線とのなす角度が前記第１の光と異なる第２の光を反射して前記所定の受光領域に導き、前記第１の光による像に重畳して前記撮像素子に撮像させる反射光学素子と、を用い、
前記撮像素子が出力する、前記第１の光による像と前記第２の光による像が重畳した画像を取得し、
前記撮像素子の受光領域に対応する前記光学系の直接画角内の物点に対応する第１の画像成分と、前記直接画角外の物点に対応する第２の画像成分とに分離し、
前記第２の画像成分の左右反転させた画像と前記第１の画像成分による画像とを結合させる。
入射する第１の光を撮像素子の所定の受光領域に結像させる光学系と、
前記光学系に入射する第２の光であって、前記光学系の光軸と前記光学系に入射する主光線とのなす角度が前記第１の光と異なる第２の光を反射して前記所定の受光領域に導き、前記第１の光による像に重畳して前記撮像素子に撮像させる反射光学素子と、を用い、
前記撮像素子が出力する、前記第１の光による像と前記第２の光による像が重畳した画像を取得し、
前記撮像素子の受光領域に対応する前記光学系の直接画角内の物点に対応する第１の画像成分と、前記直接画角外の物点に対応する第２の画像成分とに分離し、
前記第２の画像成分の左右反転させた画像と前記第１の画像成分による画像とを結合させる。
【発明の効果】
【0010】
本開示によれば、広範囲且つ拡大された光学情報が生成され得る。
【図面の簡単な説明】
【0011】
【図1】第１の実施形態に係る撮像装置の概略構成を示す構成図である。
【図20】第２の実施形態に係る撮像装置の概略構成を示す構成図である。
【図24】第３の実施形態に係る撮像装置の概略構成を示す構成図である。
【発明を実施するための形態】
【0012】
以下、本開示の実施形態について、図面を参照して説明する。以下の図面に示す構成要素において、同じ構成要素には同じ符号を付す。
【0013】
図１に示すように、本開示の第１の実施形態に係る光学装置２１を含む撮像装置１０は、光学装置２１及び撮像素子１２を含んで構成される。撮像装置１０は、更にコントローラ１４を含んで構成されてよい。光学装置２１は、撮像光学系（光学系）１１及び光学素子１３を含んで構成される。
【0014】
撮像光学系１１は、入射する被写体光束を結像させる。撮像光学系１１は、所定の領域ｐａに、入射する第１の光を結像させる。第１の光は、撮像光学系１１単体の画角内に位置する物点が放射する光であってよい。所定の領域ｐａは、例えば、中心が撮像光学系１１の光軸ｏｘと交差する三次元空間上の仮想の平面又は曲面であってよい。以後、撮像光学系１１単体の画角、言換えると光学素子１３を含まない構成における撮像光学系１１の画角を、直接画角とも呼ぶ。撮像光学系１１は、位置の異なる物点から放射する光束を、単体で、言換えると光学素子１３無しで、異なる像点に結像させる光学素子によって構成される。撮像光学系１１を構成する光学素子は、例えば、レンズ、ミラー、絞り等である。
【0015】
撮像光学系１１は、像側テレセントリックでなくてよい。言換えると、撮像光学系１１を通過する任意の光束の主光線の光軸に対する角度は０°より大きくてよい。又は、撮像光学系１１は、像側テレセントリックであってよい。
【0016】
光学素子１３は、撮像光学系１１に入射する第２の光を、所定の領域ｐａに導く。第２の光は、撮像光学系１１の光軸ｏｘと撮像光学系１１に入射する主光線とのなす角度が第１の光と異なる。第２の光は、撮像光学系１１の画角外、言換えると直接画角の外に位置する物点が放射する光であってよい。したがって、第２の光の主光線と光軸ｏｘとのなす角度は、第１の光の主光線と光軸ｏｘとのなす角度より大きくてよい。主光線は、撮像光学系１５の開口絞りの中心を通る光線、撮像光学系１５の入射瞳の中心を通る光線、及び任意の一つの物点から放射され撮像光学系１５に入射する光束の中心の光線のいずれかであってよい。更に、光学素子１３は、撮像光学系１１を通過した第２の光を所定の領域ｐａに結像させてよい。
【0017】
光学素子１３は、第２の光を反射して所定の領域ｐａに導くミラーであってよい。ミラーの反射面は、撮像光学系１１の光軸ｏｘに平行であってよい。又は、ミラーの反射面は、光軸ｏｘに平行でなくてよい。
【0018】
ミラーの反射面は、図２に示すように、撮像光学系１１側を向く外側傾斜の姿勢となるように、光軸ｏｘに対して傾斜してよい。外側傾斜の姿勢では、ミラーの反射面が光軸ｏｘと平行な構成に比べて、光学装置２１全体の画角を広角化し得る。
【0019】
外側傾斜の構成において、光学装置２１には、撮像光学系１１及びミラーである光学素子１３の間に、光路長調整用の第１のレンズ２２が配置されてよい。第１のレンズ２２が配置されることにより、ミラーの反射面が光軸ｏｘに平行な構成に比べて光路長が長くなることによる合焦位置の所定の領域ｐａからのずれが低減され得る。第１のレンズ２２は、ミラーが平面ミラーのように光軸ｏｘに垂直な方向に平行な面を有するミラーである構成においては、シリンドリカルレンズであってよい。第１のレンズ２２は、撮像光学系１１の射出瞳の外縁を通る第１の光の主光線と所定の領域ｐａを結ぶ線よりも光軸ｏｘから外側に位置してよい。
【0020】
又、外側傾斜の構成において、光学装置２１には、図３に示すように、プリズム２３が設けられてよい。第２の光は、ミラーである光学素子１３に反射され、更にプリズム２３で反射されることにより、所定の領域ｐａに導かれてよい。プリズム２３が設けられることにより、外側傾斜の構成におけるミラーと光軸ｏｘとの傾斜角度を広角化し得る。
【0021】
外側傾斜の構成において、ミラーである光学素子１３は、例えば、平面ミラー、曲面ミラー、ＤＭＤ、及びフレネルミラーであってよい。
【0022】
ミラーの反射面は、図４に示すように、撮像光学系１１の結像面側を向く内側傾斜の姿勢となるように、光軸ｏｘに対して傾斜してよい。内側傾斜の姿勢では、ミラーの反射面が光軸ｏｘと平行な構成に比べて、光学装置２１全体を小型化し得る。
【0023】
【0024】
ミラーの反射面は、後述する撮像素子１２の矩形の受光領域ｒａのいずれかの辺に平行であってよい。又は、ミラーの反射面は、図７に示すように、受光領域ｒａのいずれかの辺に対して交差してよい。ミラーの反射面が受光領域ｒａのいずれかの辺に対して交差する構成においては、後述する画像分離モデルによる分離精度を向上させ得る。なお、ミラーの反射面が受光領域ｒａのいずれかの辺に対して交差する構成においては、受光領域ｒａの法線方向から見てミラーである光学素子１３の両端から垂直に延ばした２直線の間に挟まれる領域と受光領域ｒａとの重畳領域が最大となるように、光学素子１３を配置することが好ましい。
【0025】
ミラーは、撮像光学系１１の光軸ｏｘ方向から見て、当該撮像光学系１１の射出瞳の外側に位置してよい。更に詳細には、反射面が射出瞳の外側に位置するように、ミラーは撮像光学系１１に対して配置されてよい。又は、ミラーは、光軸ｏｘ方向から見て、射出瞳の内側に位置してよい。特に、受光領域ｒａが瞳径より小さい構成においては、ミラーが射出瞳の内側に位置してよい。
【0026】
ミラーは、複数の平面ミラーを含んでよい。複数の平面ミラーの中の少なくとも１組に属する２つの平面ミラーは、反射面が互いに対向し平行になるように位置してよい。又は、複数の平面ミラーは２つの平面ミラーであって、図８に示すように、反射面が互いに直行するように位置してよい。更に、反射面が互いに直行する２つの平面ミラーは、矩形である受光領域ｒａの互いに垂直な２辺にそれぞれ平行であってよい。平面ミラーと撮像素子１２の受光領域ｒａの外縁とは、当該平面ミラーの法線方向において密接していてよい。又は、平面ミラーと受光領域ｒａの外縁とは平面ミラーの法線方向において密接せずに隙間を有していてよい。
【0027】
図９に示すように、反射面が互いに平行な２つの平面ミラーそれぞれと、光軸ｏｘとの間隔Ｈが等しくてよい。互い平行な２つの平面ミラー、撮像光学系１１、及び撮像素子１２は、ＣＲＡ≦ｔａｎ－１（Ｈ／Ｂ）を満たすように設計され、配置されてよい。ＣＲＡは、直接画角の２倍の角度における物点ｐｐから放射される光束の撮像光学系１１による主光線の光軸ｏｘに対する角度である。Ｂは、撮像光学系１１のバックフォーカスである。
【0028】
後述するように撮像装置１０内における撮像素子１２の配置と上述のような構成の組合せにより、図１０に示すように、撮像素子１２の受光領域ｒａには、直接画角内の物点、言換えると第１の光を放射する物点に対応する第１の画像成分ｉｍ１が光学素子１３を介することなく到達する。直接画角内の物点に対応する第１の画像成分ｉｍ１とは、より具体的には、直接画角内に位置する被写体像に相当する。また、受光領域ｒａには、直接画角外の物点、言換えると第２の光を放射する物点に対応する第２の画像成分ｉｍ２が光学素子１３を介して反転して到達する。直接画角外の物点に対応する第２の画像成分ｉｍ２とは、より具体的には、直接画角外に位置する被写体像に相当する。
【0029】
上述の説明では、光学素子１３が、光軸ｏｘに対して垂直な方向に平行な面を有するミラーであるが、光軸ｏｘから見て曲線状の面を有するミラーであってよい。例えば、光学素子１３は、図１１に示すように、受光領域ｒａの法線方向から見て、矩形の受光領域ｒａの一組の対辺に設けられる一組の曲面ミラーであってよい。当該曲面ミラーは、受光領域ｒａの法線方向に平行であってよい。又は、光学素子１３は、図１２に示すように、受光領域ｒａの法線方向から見て、矩形の受光領域ｒａを内包する円形の曲面状の面を有するミラーであってよい。又は、光学素子１３は、図１３に示すように、受光領域ｒａの法線方向から見て、矩形の受光領域ｒａを内包する楕円形の曲面状の面を有するミラーであってよい。楕円形の曲面状の面を有するミラーは、受光領域ｒａが正方形を除く矩形である構成において好ましい。又は、光学素子１３は、図１４に示すように、受光領域ｒａの法線方向から見て、矩形の受光領域ｒａに内包される円形の曲面状の面を有するミラーであってよい。又は、光学素子１３は、図１５に示すように、受光領域ｒａの法線方向から見て、矩形の受光領域ｒａに内包される楕円形の曲面状の面を有するミラーであってよい。光学素子１３が矩形の受光領域ｒａに内包される曲面状の面を有するミラーである構成においては、受光領域ｒａの法線方向から見て、受光領域ｒａとミラーとの間の隙間が排除され得る。このような構成においては、隙間が排除されることにより、隙間を有する構成に比較して、後述する重畳画像における光学情報の連続性を向上させ得る。
【0030】
撮像素子１２は、受光領域ｒａ内に結像する像を撮像する。撮像素子１２は、撮像装置１０において、光学装置２１の所定の領域ｐａと受光領域ｒａとが重なるように配置されていてよい。したがって、撮像素子１２の受光領域ｒａは直接画角に対応してよい。直接画角は、光学素子１３を介することなく受光領域ｒａ内に結像する物点の範囲に相当する画角であってよい。受光領域ｒａには、撮像光学系１１の直接画角内から撮像光学系１１に入射する第１の光である光束の少なくとも一部が結像してよい。又、受光領域ｒａには、撮像光学系１１の直接画角の外から撮像光学系１１に入射し光学素子１３を通過する第２の光である光束の少なくとも一部が結像してよい。
【0031】
撮像素子１２は、可視光、赤外線及び紫外線等の不可視光による像を撮像可能であってよい。撮像素子１２は、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサ、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ－Ｏｘｉｄｅ－Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ等である。撮像素子１２は、カラーイメージセンサであってよい。言換えると、撮像素子１２の受光領域ｒａに配置される複数の画素は、例えばＲＧＢのカラーフィルタによって受光領域ｒａ内で均等に分布するように覆われてよい。撮像素子１２は、撮像により受光する画像に相当する画像信号を生成する。撮像素子１２は、３０ｆｐｓ等の所定のフレームレートで画像信号を生成してよい。
【0032】
撮像素子１２では、光学素子１３が設けられる側の受光領域ｒａの外縁は、撮像光学系１１の射出瞳の外縁よりも外側に位置してよい。射出瞳の外縁より外側とは、撮像光学系１１の光軸ｏｘを基準として外側であることを意味する。前述のように、受光領域ｒａは、矩形であってよい。
【0033】
撮像装置１０には、複数の撮像素子１２が設けられてよい。複数の撮像素子１２が設けられる構成において、図１６に示すように、互いに隣接する２つの撮像素子１２の間に光学素子１３が設けられてよい。互いに隣接する２つの撮像素子１２の間に光学素子１３が設けられることにより、光学素子１３が設けられない構成において隣接する２つの撮像素子１２の受光領域ｒａの間に生じる隙間に結像する被写体光束が少なくとも一方の撮像素子１２において撮像され得る。
【0034】
又、上述のような構成により、図１７に示すように、第１の画像成分ｉｍ１と、光学素子１３がミラーである構成において反転した第２の画像成分ｉｍ２とが受光領域ｒａにおいて重畳する。したがって、撮像素子１２は、第１の画像成分ｉｍ１と、光学素子１３がミラーである構成において反転した第２の画像成分ｉｍ２との重畳画像ｏｌｉｍを撮像する。
【0035】
コントローラ１４は、少なくとも１つのプロセッサ、少なくとも１つの専用回路又はこれらの組み合わせを含んで構成される。プロセッサは、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等の汎用プロセッサ又は特定の処理に特化した専用プロセッサである。専用回路は、例えば、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等であってもよい。コントローラ１４は、撮像素子１２から取得する画像信号に画像処理を施してよい。
【0036】
図１８に示すように、コントローラ１４は、画像処理により、画像信号に相当する重畳画像ｏｌｉｍを、第１の画像成分ｉｍ１と、第２の画像成分ｉｍ２とに分離する画像処理を施してよい。コントローラ１４は、例えば、独立成分分析、ウェーブレット法、画像分離モデル等の画像処理方法の適用により、重畳画像ｏｌｉｍを分離する。画像分離モデルは、例えば、事前に、複数の画像を重ねた重畳画像を作成し、当該重畳画像に対して、複数の画像を正解として学習させることにより構築されるモデルである。画像分離モデルは、Ｅｎｃｏｄｅｒ－Ｄｅｃｏｄｅｒモデルのように画像を生成するｇｅｎｅｒａｔｏｒと、生成された画像が偽画像かどうか判定するｄｉｓｃｒｉｍｉｎａｔｏｒとを競わせて、その関係を反映したペア画像を生成するＰｉｘ－ｔｏ－Ｐｉｘを適用したモデルであってよい。コントローラ１４は、分離した第１の画像成分ｉｍ１及び第２の画像成分ｉｍ２を結合させることにより、復元画像ｒｃｉｍを生成してよい。
【0037】
コントローラ１４は、復元画像ｒｃｉｍを用いて、撮像装置１０周辺において撮像された被写体の測距を行ってよい。コントローラ１４は、例えば、ＤＦＤ（Ｄｅｐｔｈ Ｆｒｏｍ Ｄｅｆｏｃｕｓ）に基づいて、復元画像ｒｃｉｍを用いて測距を行う。コントローラ１４は、運動視差法（ＳＬＡＭ：Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ、Ｍｏｔｉｏｎ Ｓｔｅｒｅｏ）、Ｄｅｅｐ Ｌｅａｒｎｉｎｇに基づく分離モデル、足元測距法等に基づいて、復元画像ｒｃｉｍを用いた測距を行ってよい。足元測距法は、被写体像の下端が地面に位置することを前提として画像座標に基づいて３次元座標を算出する方法である。
【0038】
コントローラ１４は、復元画像ｒｃｉｍの各アドレスに対応する距離に基づいて、距離画像を生成してよい。距離画像は、各画素の画素値が距離に対応した画像である。コントローラ１４は、距離画像を外部機器に付与してよい。
【0039】
次に、本実施形態においてコントローラ１４が実行する、測距処理について、図１９のフローチャートを用いて説明する。測距処理は、撮像素子１２から画像信号を取得するたびに開始する。
【0040】
ステップＳ１００において、コントローラ１４は、取得した画像信号に相当する重畳画像ｏｌｉｍから第２の画像成分ｉｍ２を分離する。分離後、プロセスはステップＳ１０１に進む。
【0041】
ステップＳ１０１では、コントローラ１４は、重畳画像ｏｌｉｍからステップＳ１００において分離した第２の画像成分ｉｍ２を減算することにより、第１の画像成分ｉｍ１を生成する。第１の画像成分ｉｍ１の生成後、プロセスはステップＳ１０２に進む。
【0042】
ステップＳ１０２では、コントローラ１４は、ステップＳ１０１において分離した第２の画像成分ｉｍ２と、ステップＳ１０１において生成した第１の画像成分ｉｍ１とを結合させることにより復元画像ｒｃｉｍを生成する。復元画像ｒｃｉｍの生成後、プロセスはステップＳ１０３に進む。
【0043】
ステップＳ１０３では、コントローラ１４は、ステップＳ１０２において生成した復元画像ｒｃｉｍを用いて、復元画像ｒｃｉｍに写る各被写体に対して測距を行う。測距後、プロセスはステップＳ１０４に進む。
【0044】
ステップＳ１０４では、コントローラ１４は、ステップＳ１０３において算出した距離と当該距離に対応する復元画像ｒｃｉｍの位置とに基づいて、距離画像を生成する。又、コントローラ１４は、距離画像を外部機器に付与する。距離画像の生成後、測距処理は終了する。
【0045】
以上のような構成の第１の実施形態の光学装置２１は、入射する第１の光を所定の領域ｐａに結像させる撮像光学系１１と、撮像光学系１１の光軸ｏｘと撮像光学系１１に入射する主光線とのなす角度が第１の光と異なる第２の光を所定の領域ｐａに導く光学素子１３を備える。このような構成により、光学装置２１は、焦点距離が比較的長い撮像光学系１１を採用しながら、当該焦点距離に対応する画角より広角の範囲の光学情報を含む画像を所定の領域ｒａに導き得る。したがって、光学装置２１は、広範囲かつ拡大された光学情報を生成し得る。
【0046】
また、第１の実施形態の撮像装置１０では、光学素子１３は第２の光を反射して所定の領域ｐａに導くミラーであり、ミラーの反射面が光軸ｏｘ、及び撮像素子１２の矩形の受光領域ｒａのいずれかの辺に平行である。このような構成により、撮像装置１０では、ミラーを介して受光領域ｒａに到達する像の歪む方向は１方向以下になる。したがって、撮像装置１０は、撮像した画像に含まれるミラーによる反射光成分の歪を除去する画像処理の負荷を低減し得るので、反射光成分の再現性を向上させ得る。
【0047】
また、第１の実施形態の撮像装置１０では、ミラーは複数の平面ミラーを含み、複数の平面ミラーの少なくとも１組の２つの平面ミラーは反射面が互いに平行になるように位置する。このような構成により、撮像装置１０は、光軸ｏｘを中心として、直接画角から両側に拡大させた光学情報を取得し得る。
【0048】
また、第１の実施形態の撮像装置１０では、光軸ｏｘと互いに平行な２つの平面ミラーの反射面それぞれとの間隔Ｈが等しく、且つ直接画角の２倍の角度における物点ｐｐからの光束の主光線の角度ＣＲＡがＣＲＡ≦ｔａｎ－１（Ｈ／Ｂ）を満たす。このような構成により、撮像装置１０では、一方の平面ミラーからの反射光成分と、他方の平面ミラーからの反射光成分との重畳による３層の画像成分の重畳が防がれ、後の画像処理による画像成分の分離精度を向上させ得る。
【0049】
また、第１の実施形態の撮像装置１０では、平面ミラーと撮像素子１２の受光領域ｒａの外縁とは、当該平面ミラーの法線方向において密接している。当該法線方向において、平面ミラーと撮像素子１２の受光領域ｒａとの間に隙間が生じていると、当該隙間において結像する被写体の光学情報は失われる。このような事象に対して、上述の構成を有する撮像装置１０は、光学情報の喪失を防止する。
【0050】
また、第１の実施形態の撮像装置１０では、ミラーは光軸ｏｘ方向から見て、撮像光学系１１の射出瞳の外側に位置する。このような構成により、撮像装置１０は、射出瞳の端部近傍を通過する光束をミラーに入射させ得る。したがって、撮像装置１０は、射出瞳近傍を通過する光束の一部のケラレによる光量の低下を低減させ得る。
【0051】
また、第１の実施形態の撮像装置１０では、撮像光学系１１における任意の光束の主光線の光軸ｏｘに対する角度が０°より大きい。このような構成により、撮像装置１０では、撮像光学系１１は像側テレセントリックでないので、直接画角より広い角度の物点からの光束を光学素子１３に入射させ得る。したがって、撮像装置１０は、直接画角から広角化させた範囲の光学情報を確実に生成させ得る。
【0052】
また、第１の実施形態の撮像装置１０では、画像信号に相当する画像を、直接画像内の物点に対応する第１の画像成分ｉｍ１と、直接画角外の物点に対応する第２の画像成分ｉｍ２とに分離するコントローラ１４を備える。このような構成により、撮像装置１０は、複数の画像成分が重畳した重畳画像ｏｌｉｍの重畳を解消させた画像を生成し得る。
【0053】
次に、本開示の第２の実施形態に係る撮像装置について説明する。第２の実施形態では、光学素子の構成及びコントローラによる分離処理が第１の実施形態と異なっている。以下に、第１の実施形態と異なる点を中心に第２の実施形態について説明する。なお、第１の実施形態と同じ構成を有する部位には同じ符号を付す。
【0054】
図２０に示すように、第２の実施形態に係る撮像装置１００は、第１の実施形態と類似して、撮像光学系１１、撮像素子１２、及び光学素子１３０を含んで構成される。撮像装置１００は、更にコントローラ１４を含んで構成されてよい。第２の実施形態における撮像光学系１１及び撮像素子１２の構造及び機能は、第１の実施形態と同じである。第２の実施形態におけるコントローラ１４の構造は、第１の実施形態と同じである。
【0055】
第２の実施形態において、光学素子１３０は、第１の実施形態と類似して、撮像光学系１１の直接画角の外から撮像光学系１１に入射する光束の少なくとも一部を撮像素子１２の受光領域ｒａ内に結像させる。第２の実施形態において、光学素子１３０は、第１の実施形態と異なり、入射する光束に、光学的処理を施して出射する。
【0056】
光学的処理は、例えば、入射する光束の帯域の変化である。具体的には、光学素子１３０は、入射する光束の中で、撮像素子１２を覆う複数のカラーフィルタの中の一部のカラーフィルタに対応する帯域の光を減衰させる。したがって、光学素子１３０は、当該帯域の光を除く帯域の光を受光領域ｒａ内に結像させる。
【0057】
光学素子１３０は、減衰させる色の帯域とは他の帯域の光を反射するミラーであってよい。光学素子１３０は、例えば、Ｒ光を減衰させ、ＧＢ光を反射する。
【0058】
上述のような構成により、図２１に示すように、第２の実施形態においては、受光領域ｒａには、直接画角内の物点に対応し且つ全カラーフィルタの色に対応した第１のＲ画像成分ｉｍ１ｒ、第１のＧ画像成分ｉｍ１ｇ、及び第１のＢ画像成分ｉｍ１ｂが光学素子１３０を介することなく到達する。また、受光領域ｒａには、直接画角外の物点に対応し且つ減衰させた色成分以外の色に対応した第２のＧ画像成分ｉｍ２ｇ及び第２のＢ画像成分ｉｍ２ｂが光学素子１３０を介して到達する。
【0059】
または、光学的処理は、例えば、入射する光束への入射位置に応じた明暗差パターンの付加である。具体的には、図２２に示すように、光学素子１３０は、第１の領域１９０及び第２の領域２００が、例えば、市松状に分布する表面を有する。第１の領域１９０は、入射する光の輝度を第１の減衰率で減衰して出射させる。第１の減衰率は、０％超且つ１００％未満である。第２の領域２００は、入射する光の輝度を第２の減衰率で減衰して出射させる。第２の減衰率は、０％以上且つ第１の減衰率未満である。したがって、光学素子１３０は、入射する光束に、第１の領域１９０及び第２の領域２００のパターンに応じた明暗差を付与して、受光領域ｒａ内に結像させる。
【0060】
または、光学的処理は、例えば、入射する光束が受光領域ｒａ内に結像させる像への歪みの付与である。具体的には、図２３に示すように、光学素子１３０は、光軸と平行な線を軸とした円筒状の曲面を有するミラーであり、入射する光束を反射して歪が付与された像を受光領域ｒａ内に結像させる。より具体的には、光学素子１３０は、光軸に垂直な平面によるミラーである光学素子の断面の円弧の両端を結ぶ方向に拡大するように歪んだ画像である。
【0061】
第２の実施形態において、コントローラ１４は、第１の実施形態に類似して、画像処理により、画像信号に相当する重畳画像ｏｌｉｍを、第１の画像成分ｉｍ１と、第２の画像成分ｉｍ２とに分離する画像処理を施してよい。第２の実施形態においては、コントローラ１４は、画像分離モデルを用いた画像処理方法により重畳画像ｏｌｉｍを分離する。
【0062】
第２の実施形態における画像分離モデルについて、以下に説明する。画像分離モデルは、事前に、光学的処理を施さない第１画像と、当該第１画像とは別の第２画像に対して光学素子１３０が行う光学的処理に相当する画像処理を施して第１画像に重畳させた重畳画像とを生成し、重畳画像に対して当該第１画像及び第２画像を正解として学習することにより構築されるモデルである。
【0063】
光学的処理が帯域の変化である構成において、第１画像は任意の画像のＲＧＢ画像成分である。又、当該構成において、第２画像は当該任意の画像とは別の画像のＧＢ画像成分である。光学的処理が帯域の変化である構成においては、任意の画像のＲ画像成分も重畳画像に加えて、学習に用いられ得る。
【0064】
光学的処理が明暗差パターンの付加である構成において、第１画像は任意の画像である。また、当該構成において、第２画像は当該任意の画像とは別の画像の輝度を、光学素子１３０の明暗差パターンで変化させた画像である。
【0065】
光学的処理が歪の付与である構成において、第１画像は任意の画像である。また、当該構成において、第２画像は当該任意の画像とは別の画像を、光学素子１３０と同じ曲面のミラーで反射させた像である。
【0066】
第２の実施形態において、コントローラ１４は、第１の実施形態と同じく、分離した第１の画像成分ｉｍ１及び第２の画像成分ｉｍ２を結合させることにより、復元画像ｒｃｉｍを生成してよい。第２の実施形態において、コントローラ１４は、第１の実施形態と同じく、復元画像ｒｃｉｍを用いて、撮像装置１００周辺において撮像された被写体の測距を行ってよい。第２の実施形態において、コントローラ１４は、第１の実施形態と同じく、復元画像ｒｃｉｍの各アドレスに対応する距離に基づいて、距離画像を生成し、外部機器に付与してよい。
【0067】
以上のような構成の第２の実施形態の光学装置２１０も、入射する第１の光を所定の領域ｐａに結像させる撮像光学系１１と、撮像光学系１１の光軸ｏｘと撮像光学系１１に入射する主光線とのなす角度が第１の光と異なる第２の光を所定の領域ｐａに導く光学素子１３０を備える。したがって、撮像装置１００も、広範囲かつ拡大された光学情報を生成し得る。
【0068】
また、第２の実施形態の撮像装置１００でも、光学素子１３０は第２の光を反射して所定の領域ｐａ内に結像させるミラーであり、ミラーの反射面が光軸ｏｘ、及び撮像素子１２の矩形の受光領域ｒａのいずれかの辺に平行である。したがって、撮像装置１００も、撮像した画像に含まれるミラーによる反射光成分の歪を除去する画像処理の負荷を低減し得るので、反射光成分の再現性を向上させ得る。
【0069】
また、第２の実施形態の撮像装置１００でも、ミラーは複数の平面ミラーを含み、複数の平面ミラーの少なくとも１組の２つの平面ミラーは反射面が互いに平行になるように位置する。したがって、撮像装置１００も、光軸ｏｘを中心として、直接画角から両側に拡大させた光学情報を取得し得る。
【0070】
また、第２の実施形態の撮像装置１００でも、光軸ｏｘと互いに平行な２つの平面ミラーの反射面それぞれとの間隔Ｈが等しく、且つ直接画角の２倍の角度における物点ｐｐからの光束の主光線の角度ＣＲＡがＣＲＡ≦ｔａｎ－１（Ｈ／Ｂ）を満たす。したがって、撮像装置１００でも、一方の平面ミラーからの反射光成分と、他方の平面ミラーからの反射光成分との重畳による３層の画像成分の重畳が防がれ、後の画像処理による画像成分の分離精度を向上させ得る。
【0071】
また、第２の実施形態の撮像装置１００でも、平面ミラーと撮像素子１２の受光領域ｒａの外縁とは、当該平面ミラーの法線方向において密接している。したがって、撮像装置１００も、光学情報の喪失を防止する。
【0072】
また、第２の実施形態の撮像装置１００でも、ミラーは光軸ｏｘ方向から見て、撮像光学系１１の射出瞳の外側に位置する。したがって、撮像装置１００も、射出瞳近傍を通過する光束の一部のケラレによる光量の低下を低減させ得る。
【0073】
また、第２の実施形態の撮像装置１００でも、撮像光学系１１における任意の光束の主光線の光軸ｏｘに対する角度が０°より大きい。したがって、撮像装置１００も、直接画角から広角化させた範囲の光学情報を確実に生成させ得る。
【0074】
また、第２の実施形態の撮像装置１００でも、画像信号に相当する画像を、直接画像内の物点に対応する第１の画像成分ｉｍ１と、直接画角外の物点に対応する第２の画像成分ｉｍ２とに分離するコントローラ１４を備える。したがって、撮像装置１００も、複数の画像成分が重畳した重畳画像ｏｌｉｍの重畳を解消させた画像を生成し得る。
【0075】
また、第２の実施形態の撮像装置１００では、光学素子１３０は、当該光学素子１３０に入射する光束に光学的処理を施して出射する。このような構成により、撮像装置１００では、分離される画像成分に当該光学的処理に対応する光学的特徴が付与される。したがって、撮像装置１００では、分離精度を向上させるように学習された画像分離モデルが構築され得る。それゆえ、撮像装置１００では、復元画像の復元精度を向上し得る。
【0076】
次に、本開示の第３の実施形態に係る撮像装置について説明する。第３の実施形態では、撮像素子の構成及びコントローラによる分離処理が第１の実施形態と異なっている。以下に、第１の実施形態と異なる点を中心に第３の実施形態について説明する。なお、第１の実施形態と同じ構成を有する部位には同じ符号を付す。
【0077】
図２４に示すように、第３の実施形態に係る撮像装置１０１は、第１の実施形態と類似して、撮像光学系１１、撮像素子１２１、及び光学素子１３を含んで構成される。撮像装置１０１は、更にコントローラ１４を含んで構成されてよい。第３の実施形態における撮像光学系１１及び光学素子１３の構造及び機能は、第１の実施形態と同じである。第３の実施形態におけるコントローラ１４の構造は、第１の実施形態と同じである。
【0078】
第３の実施形態において、撮像素子１２１は、第１の実施形態に類似して、撮像光学系１１を介して受光領域ｒａ内に結像する像を撮像する。撮像素子１２１は、第１の実施形態に類似して、可視光、赤外線及び紫外線等の不可視光による像を撮像可能であってよい。撮像素子１２１は、カラーイメージセンサであってよい。撮像素子１２１は、第１の実施形態に類似して、撮像により受光する画像に相当する画像信号を生成する。撮像素子１２１は、第１の実施形態に類似して、３０ｆｐｓ等の所定のフレームレートで画像信号を生成してよい。撮像素子１２１では、第１の実施形態と同じく、光学素子１３が設けられる側の受光領域ｒａの外縁は、撮像光学系１１の射出瞳の外縁よりも外側に位置してよい。受光領域ｒａは、第１の実施形態と同じく、矩形であってよい。
【0079】
第３の実施形態において、撮像素子１２１は、第１の実施形態と異なり、デュアルピクセルタイプのイメージセンサであってよい。図２５に示すように、デュアルピクセルタイプのイメージセンサである撮像素子１２１は、各マイクロレンズ１５１が覆う画素１６１に第１のＰＤ（ＰｈｏｔｏＤｉｏｄｅ）１７１及び第２のＰＤ１８１が設けられており、光束の入射方向によりいずれかのＰＤにのみ入射可能な構造を有するイメージセンサである。例えば、各画素１６１において、第１のＰＤ１７１には光軸ｏｘ側に傾斜した方向からの光束のみが入射可能であり、第２のＰＤ１８１には光学素子１３側に傾斜した方向からの光束のみが入射可能である。
【0080】
上述のような構成により、受光領域ｒａにおける第１のＰＤ１７１には、直接画像内の物点に対応する第１の画像成分ｉｍ１が光学素子１３を介することなく到達する。また、受光領域ｒａにおける第２のＰＤ１８１には、直接画角外の物点に対応する第２の画像成分ｉｍ２が光学素子１３を介して反転して到達する。
【0081】
第３の実施形態において、コントローラ１４は、第１の実施形態に類似して、画像処理により、画像信号に相当する重畳画像ｏｌｉｍを、第１の画像成分ｉｍ１と、第２の画像成分ｉｍ２とに分離する画像処理を施してよい。第３の実施形態においては、コントローラ１４は、第１のＰＤ１７１が生成する信号のみに基づいて第１の画像成分ｉｍ１を生成してよい。第１のＰＤ１７１が生成する信号のみに基づいてとは、第２のＰＤ１８１が生成する信号を用いないことを規定しており、例えば同期信号等のように第２のＰＤ１８１の出力する信号とは無関係の信号を用いることを含んでよい。また、第３の実施形態においては、コントローラ１４は、第２のＰＤ１８１が生成する信号のみに基づいて反転した第２の画像成分ｉｍ２を生成してよい。第２のＰＤ１８１が生成する信号のみに基づくという意味は、第１のＰＤ１７１が生成する信号のみに基づくと類似した意味である。
【0082】
第３の実施形態において、コントローラ１４は、第１の実施形態と同じく、分離した第１の画像成分ｉｍ１及び第２の画像成分ｉｍ２を結合させることにより、復元画像ｒｃｉｍを生成してよい。第３の実施形態において、コントローラ１４は、第１の実施形態と同じく、復元画像ｒｃｉｍを用いて、撮像装置１０１周辺において撮像された被写体の測距を行ってよい。第３の実施形態において、コントローラ１４は、第１の実施形態と同じく、復元画像ｒｃｉｍの各アドレスに対応する距離に基づいて、距離画像を生成し、外部機器に付与してよい。
【0083】
以上のような構成の第３の実施形態の撮像装置１０１でも、光学素子１３は第２の光を反射して所定の領域ｐａ内に導くミラーであり、ミラーの反射面が光軸ｏｘ、及び撮像素子１２１の矩形の受光領域ｒａのいずれかの辺に平行である。したがって、撮像装置１０１も、撮像した画像に含まれるミラーによる反射光成分の歪を除去する画像処理の負荷を低減し得るので、反射光成分の再現性を向上させ得る。
【0084】
また、第３の実施形態の撮像装置１０１でも、ミラーは複数の平面ミラーを含み、複数の平面ミラーの少なくとも１組の２つの平面ミラーは反射面が互いに平行になるように位置する。したがって、撮像装置１０１も、光軸ｏｘを中心として、直接画角から両側に拡大させた光学情報を取得し得る。
【0085】
また、第３の実施形態の撮像装置１０１でも、光軸ｏｘと互いに平行な２つの平面ミラーの反射面それぞれとの間隔Ｈが等しく、且つ直接画角の２倍の角度における物点ｐｐからの光束の主光線の角度ＣＲＡがＣＲＡ≦ｔａｎ－１（Ｈ／Ｂ）を満たす。したがって、撮像装置１０１でも、一方の平面ミラーからの反射光成分と、他方の平面ミラーからの反射光成分との重畳による３層の画像成分の重畳が防がれ、後の画像処理による画像成分の分離精度を向上させ得る。
【0086】
また、第３の実施形態の撮像装置１０１でも、平面ミラーと撮像素子１２１の受光領域ｒａの外縁とは、当該平面ミラーの法線方向において密接している。したがって、撮像装置１０１も、光学情報の喪失を防止する。
【0087】
また、第３の実施形態の撮像装置１０１でも、ミラーは光軸ｏｘ方向から見て、撮像光学系１１の射出瞳の外側に位置する。したがって、撮像装置１０１も、射出瞳近傍を通過する光束の一部のケラレによる光量の低下を低減させ得る。
【0088】
また、第３の実施形態の撮像装置１０１でも、撮像光学系１１における任意の光束の主光線の光軸ｏｘに対する角度が０°より大きい。したがって、撮像装置１０１も、直接画角から広角化させた範囲の光学情報を確実に生成させ得る。
【0089】
また、第３の実施形態の撮像装置１０１でも、画像信号に相当する画像を、直接画像内の物点に対応する第１の画像成分ｉｍ１と、直接画角外の物点に対応する第２の画像成分ｉｍ２とに分離するコントローラ１４を備える。したがって、撮像装置１０１も、複数の画像成分が重畳した重畳画像ｏｌｉｍの重畳を解消させた画像を生成し得る。
【実施例】
【0090】
学習用の画像のデータセットとして走行空間画像を用意した。これらのデータセットの各画像を用いて、全体画像の一部を切断し、一方の部分画像を他方の部分画像に重畳した重畳画像の組を作成した。重畳画像を分離する画像分離モデルを、作成した１５０００組を教師データとして用い学習させて、実施例１の画像分離モデルを構築した。残りの組を確認用のデータとして用いて実施例１の画像分離モデルにより重畳画像を分離させた。分離させた画像と重畳画像に用いた部分画像とを比較してＰＳＮＲ及びＳＳＩＭを算出した。実施例１の画像分離モデルでは、ＰＳＮＲ及びＳＳＩＭがそれぞれ２０．５４及び０．５５であった。
【0091】
実施例１と同じデータセットの各画像を用いて、全体画像の一部を切断し、一方の部分画像のＧＢ画像成分を他方の部分画像のＲＧＢ画像成分に重畳した重畳画像の組を作成した。重畳画像を分離する画像分離モデルを、作成したＸ１組を教師データとして用いて学習させて、実施例２の画像分離モデルを構築した。残りの組を確認用のデータとして用いて実施例２の画像分離モデルにより重畳画像を分離させた。分離させた画像と重畳画像に用いた部分画像とを比較してＰＳＮＲ及びＳＳＩＭを算出した。実施例２の画像分離モデルでは、ＰＳＮＲ及びＳＳＩＭがそれぞれ２７．４０及び０．９２であった。
【0092】
実施例１と同じデータセットの各画像を用いて、全体画像の一部を切断し、一方の部分画像に２５°の画角に相当する正方形による市松模様の明暗差パターンにより輝度を減衰させ、他方の部分画像に重畳した重畳画像の組を作成した。なお、明暗差パターンの一方の領域の減衰率は７０％、他方の領域の減衰率は３０％であった。重畳画像を分離する画像分離モデルを、作成したＸ１組を教師データとして用いて学習させて、実施例３の画像分離モデルを構築した。残りの組を確認用のデータとして用いて実施例３の画像分離モデルにより重畳画像を分離させた。分離させた画像と重畳画像に用いた部分画像とを比較してＰＳＮＲ及びＳＳＩＭを算出した。実施例３の画像分離モデルでは、ＰＳＮＲ及びＳＳＩＭがそれぞれ２４．４８及び０．８８であった。
【0093】
実施例１と同じデータセットの各画像を用いて、全体画像の一部を切断し、一方の部分画像を、歪曲収差を再現するように歪ませ、他方の部分画像に重畳した重畳画像の組を作成した。重畳画像を分離する画像分離モデルを、作成したＸ１組を教師データとして用いて学習させて、実施例４の画像分離モデルを構築した。残りの組を確認用のデータとして用いて実施例４の画像分離モデルにより重畳画像を分離させた。分離させた画像と重畳画像に用いた部分画像とを比較してＰＳＮＲ及びＳＳＩＭを算出した。実施例４の画像分離モデルでは、ＰＳＮＲ及びＳＳＩＭがそれぞれ２５．２６及び０．９０であった。
【0094】
一実施形態において、（１）画像処理装置は、
入射する第１の光を撮像素子の所定の受光領域に結像させる光学系と、
前記光学系に入射する第２の光であって、前記光学系の光軸と前記光学系に入射する主光線とのなす角度が前記第１の光と異なる第２の光を反射して前記所定の受光領域に導き、前記第１の光による像に重畳して前記撮像素子に撮像させる反射光学素子と、を用い、
前記撮像素子が出力する、前記第１の光による像と前記第２の光による像が重畳した画像を、前記撮像素子の受光領域に対応する前記光学系の直接画角内の物点に対応する第１の画像成分と、前記直接画角外の物点に対応する第２の画像成分とに分離するコントローラを、備え、
前記コントローラは前記第２の画像成分の左右反転させた画像と前記第１の画像成分による画像とを結合させる。
入射する第１の光を撮像素子の所定の受光領域に結像させる光学系と、
前記光学系に入射する第２の光であって、前記光学系の光軸と前記光学系に入射する主光線とのなす角度が前記第１の光と異なる第２の光を反射して前記所定の受光領域に導き、前記第１の光による像に重畳して前記撮像素子に撮像させる反射光学素子と、を用い、
前記撮像素子が出力する、前記第１の光による像と前記第２の光による像が重畳した画像を、前記撮像素子の受光領域に対応する前記光学系の直接画角内の物点に対応する第１の画像成分と、前記直接画角外の物点に対応する第２の画像成分とに分離するコントローラを、備え、
前記コントローラは前記第２の画像成分の左右反転させた画像と前記第１の画像成分による画像とを結合させる。
【0095】
（２）上記（１）の画像処理装置では、
前記反射光学素子は、該反射光学素子に入射する光束に光学的処理を施して出射し、前記コントローラは前記光学的処理が施された前記第２の画像成分の特徴に基づいて前記分離を行う。
前記反射光学素子は、該反射光学素子に入射する光束に光学的処理を施して出射し、前記コントローラは前記光学的処理が施された前記第２の画像成分の特徴に基づいて前記分離を行う。
【0096】
（３）上記（２）の画像処理装置では、
前記光学的処理は入射する光束の帯域の変化である。
前記光学的処理は入射する光束の帯域の変化である。
【0097】
（４）上記（２）の画像処理装置では、
前記光学的処理は入射する光束への、入射位置に応じた明暗差のパターンの付加である。
前記光学的処理は入射する光束への、入射位置に応じた明暗差のパターンの付加である。
【0098】
（５）上記（２）の画像処理装置は、
前記光学的処理は入射する光束が前記受光領域内に結像させる像への歪の付与である。
前記光学的処理は入射する光束が前記受光領域内に結像させる像への歪の付与である。
【0099】
（６）撮像装置は、
撮像素子と、
入射する第１の光を前記撮像素子の所定の受光領域に結像させる光学系と、
前記光学系に入射する第２の光であって、前記光学系の光軸と前記光学系に入射する主光線とのなす角度が前記第１の光と異なる第２の光を反射して前記所定の受光領域に導き、前記第１の光による像に重畳して前記撮像素子に撮像させる反射光学素子と、
前記撮像素子が出力する、前記第１の光による像と前記第２の光による像が重畳した画像を、前記撮像素子の受光領域に対応する前記光学系の直接画角内の物点に対応する第１の画像成分と、前記直接画角外の物点に対応する第２の画像成分とに分離するコントローラを、備え、
前記コントローラは前記第２の画像成分の左右反転させた画像と前記第１の画像成分による画像とを結合させる。
撮像素子と、
入射する第１の光を前記撮像素子の所定の受光領域に結像させる光学系と、
前記光学系に入射する第２の光であって、前記光学系の光軸と前記光学系に入射する主光線とのなす角度が前記第１の光と異なる第２の光を反射して前記所定の受光領域に導き、前記第１の光による像に重畳して前記撮像素子に撮像させる反射光学素子と、
前記撮像素子が出力する、前記第１の光による像と前記第２の光による像が重畳した画像を、前記撮像素子の受光領域に対応する前記光学系の直接画角内の物点に対応する第１の画像成分と、前記直接画角外の物点に対応する第２の画像成分とに分離するコントローラを、備え、
前記コントローラは前記第２の画像成分の左右反転させた画像と前記第１の画像成分による画像とを結合させる。
【0100】
（７）上記（６）の撮像装置では、
前記反射光学素子は、該反射光学素子に入射する光束に光学的処理を施して出射し、前記コントローラは前記光学的処理が施された前記第２の画像成分の特徴に基づいて前記分離を行う。
前記反射光学素子は、該反射光学素子に入射する光束に光学的処理を施して出射し、前記コントローラは前記光学的処理が施された前記第２の画像成分の特徴に基づいて前記分離を行う。
【0101】
（８）上記（７）の撮像装置では、
前記光学的処理は入射する光束の帯域の変化である。
前記光学的処理は入射する光束の帯域の変化である。
【0102】
（９）上記（７）の撮像装置では、
前記光学的処理は入射する光束への、入射位置に応じた明暗差のパターンの付加である。
前記光学的処理は入射する光束への、入射位置に応じた明暗差のパターンの付加である。
【0103】
（１０）上記（７）の撮像装置では、
前記光学的処理は入射する光束が前記受光領域内に結像させる像への歪の付与である。
前記光学的処理は入射する光束が前記受光領域内に結像させる像への歪の付与である。
【0104】
（１１）画像処理方法は、
入射する第１の光を撮像素子の所定の受光領域に結像させる光学系と、
前記光学系に入射する第２の光であって、前記光学系の光軸と前記光学系に入射する主光線とのなす角度が前記第１の光と異なる第２の光を反射して前記所定の受光領域に導き、前記第１の光による像に重畳して前記撮像素子に撮像させる反射光学素子と、を用い、
前記撮像素子が出力する、前記第１の光による像と前記第２の光による像が重畳した画像を取得し、
前記撮像素子の受光領域に対応する前記光学系の直接画角内の物点に対応する第１の画像成分と、前記直接画角外の物点に対応する第２の画像成分とに分離し、
前記第２の画像成分の左右反転させた画像と前記第１の画像成分による画像とを結合させる。
入射する第１の光を撮像素子の所定の受光領域に結像させる光学系と、
前記光学系に入射する第２の光であって、前記光学系の光軸と前記光学系に入射する主光線とのなす角度が前記第１の光と異なる第２の光を反射して前記所定の受光領域に導き、前記第１の光による像に重畳して前記撮像素子に撮像させる反射光学素子と、を用い、
前記撮像素子が出力する、前記第１の光による像と前記第２の光による像が重畳した画像を取得し、
前記撮像素子の受光領域に対応する前記光学系の直接画角内の物点に対応する第１の画像成分と、前記直接画角外の物点に対応する第２の画像成分とに分離し、
前記第２の画像成分の左右反転させた画像と前記第１の画像成分による画像とを結合させる。
【0105】
（１２）上記（１１）の画像処理方法では、
前記反射光学素子は、該反射光学素子に入射する光束に光学的処理を施して出射し、前記コントローラは前記光学的処理が施された前記第２の画像成分の特徴に基づいて前記分離を行う。
前記反射光学素子は、該反射光学素子に入射する光束に光学的処理を施して出射し、前記コントローラは前記光学的処理が施された前記第２の画像成分の特徴に基づいて前記分離を行う。
【0106】
（１３）上記（１２）の画像処理方法では、
前記光学的処理は入射する光束の帯域の変化である。
前記光学的処理は入射する光束の帯域の変化である。
【0107】
（１４）上記（１２）の画像処理方法では、
前記光学的処理は入射する光束への、入射位置に応じた明暗差のパターンの付加である。
前記光学的処理は入射する光束への、入射位置に応じた明暗差のパターンの付加である。
【0108】
（１５）上記（１２）の画像処理方法では、
前記光学的処理は入射する光束が前記受光領域内に結像させる像への歪の付与である。
前記光学的処理は入射する光束が前記受光領域内に結像させる像への歪の付与である。
【0109】
以上、撮像装置１０、１００、１０１を用いた撮像方法の実施形態を説明してきたが、本開示の実施形態としては、装置を実施するための方法又はプログラムの他、プログラムが記録された記憶媒体（一例として、光ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＣＤ－ＲＷ、磁気テープ、ハードディスク、又はメモリカード等）としての実施態様をとることも可能である。
【0110】
また、プログラムの実装形態としては、コンパイラによってコンパイルされるオブジェクトコード、インタプリタにより実行されるプログラムコード等のアプリケーションプログラムに限定されることはなく、オペレーティングシステムに組み込まれるプログラムモジュール等の形態であってもよい。さらに、プログラムは、制御基板上のＣＰＵにおいてのみ全ての処理が実施されるように構成されてもされなくてもよい。プログラムは、必要に応じて基板に付加された拡張ボード又は拡張ユニットに実装された別の処理ユニットによってその一部又は全部が実施されるように構成されてもよい。
【0111】
本開示に係る実施形態について説明する図は模式的なものである。図面上の寸法比率等は、現実のものとは必ずしも一致していない。
【0112】
本開示に係る実施形態について、諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形又は改変を行うことが可能であることに注意されたい。従って、これらの変形又は改変は本開示の範囲に含まれることに留意されたい。例えば、各構成部等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の構成部等を１つに組み合わせたり、或いは分割したりすることが可能である。
【0113】
本開示に記載された構成要件の全て、及び／又は、開示された全ての方法、又は、処理の全てのステップについては、これらの特徴が相互に排他的である組合せを除き、任意の組合せで組み合わせることができる。また、本開示に記載された特徴の各々は、明示的に否定されない限り、同一の目的、同等の目的、または類似する目的のために働く代替の特徴に置換することができる。したがって、明示的に否定されない限り、開示された特徴の各々は、包括的な一連の同一、又は、均等となる特徴の一例にすぎない。
【0114】
さらに、本開示に係る実施形態は、上述した実施形態のいずれの具体的構成にも制限されるものではない。本開示に係る実施形態は、本開示に記載された全ての新規な特徴、又は、それらの組合せ、あるいは記載された全ての新規な方法、又は、処理のステップ、又は、それらの組合せに拡張することができる。
【0115】
本開示において「第１」及び「第２」等の記載は、当該構成を区別するための識別子である。本開示における「第１」及び「第２」等の記載で区別された構成は、当該構成における番号を交換することができる。例えば、第１の画像成分は、第２の画像成分と識別子である「第１」と「第２」とを交換することができる。識別子の交換は同時に行われる。識別子の交換後も当該構成は区別される。識別子は削除してよい。識別子を削除した構成は、符号で区別される。本開示における「第１」及び「第２」等の識別子の記載のみに基づいて、当該構成の順序の解釈、小さい番号の識別子が存在することの根拠に利用してはならない。
【符号の説明】
【0116】
１０、１００、１０１ 撮像装置
１１ 撮像光学系
１２、１２１ 撮像素子
１３、１３０ 光学素子
１４ コントローラ
１５１ マイクロレンズ
１６１ 画素
１７１ 第１のＰＤ（ＰｈｏｔｏＤｉｏｄｅ）
１８１ 第２のＰＤ
１９０ 第１の領域
２００ 第２の領域
２１、２１０、２１１ 光学装置
２２ 第１のレンズ
２３ プリズム
ＣＲＡ 直接画角の２倍の角度における物点から放射される光束の撮像光学系による主光線の光軸に対する角度
ｉｍ１ 第１の画像成分
ｉｍ１ｂ 第１のＢ画像成分
ｉｍ１ｇ 第１のＧ画像成分
ｉｍ１ｒ 第１のＲ画像成分
ｉｍ２ 第２の画像成分
ｉｍ２ｂ 第２のＢ画像成分
ｉｍ２ｇ 第２のＧ画像成分
ｏｌｉｍ 重畳画像
ｏｘ 光軸
ｐａ 所定の領域
ｒｃｉｍ 復元画像
ｐｐ 直接画角の２倍の角度における物点
ｒａ 受光領域
１１ 撮像光学系
１２、１２１ 撮像素子
１３、１３０ 光学素子
１４ コントローラ
１５１ マイクロレンズ
１６１ 画素
１７１ 第１のＰＤ（ＰｈｏｔｏＤｉｏｄｅ）
１８１ 第２のＰＤ
１９０ 第１の領域
２００ 第２の領域
２１、２１０、２１１ 光学装置
２２ 第１のレンズ
２３ プリズム
ＣＲＡ 直接画角の２倍の角度における物点から放射される光束の撮像光学系による主光線の光軸に対する角度
ｉｍ１ 第１の画像成分
ｉｍ１ｂ 第１のＢ画像成分
ｉｍ１ｇ 第１のＧ画像成分
ｉｍ１ｒ 第１のＲ画像成分
ｉｍ２ 第２の画像成分
ｉｍ２ｂ 第２のＢ画像成分
ｉｍ２ｇ 第２のＧ画像成分
ｏｌｉｍ 重畳画像
ｏｘ 光軸
ｐａ 所定の領域
ｒｃｉｍ 復元画像
ｐｐ 直接画角の２倍の角度における物点
ｒａ 受光領域
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】