特開 2024-155173 撮像装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024155173

(43)【公開日】2024-10-31

(54)【発明の名称】撮像装置

(51)【国際特許分類】

   H04N 23/698 20230101AFI20241024BHJP

   G06T 7/20 20170101ALI20241024BHJP

   H04N 23/55 20230101ALI20241024BHJP

   H04N 23/60 20230101ALI20241024BHJP

   G03B 15/00 20210101ALI20241024BHJP

   G03B 35/10 20210101ALI20241024BHJP

   G03B 7/00 20210101ALI20241024BHJP

   G03B 19/02 20210101ALI20241024BHJP

【ＦＩ】

H04N23/698

G06T7/20

H04N23/55

H04N23/60 500

G03B15/00 W

G03B35/10

G03B7/00

G03B19/02

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2023069636

(22)【出願日】2023-04-20

(71)【出願人】

【識別番号】000006633

【氏名又は名称】京セラ株式会社

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】230118913

【弁護士】

【氏名又は名称】杉村 光嗣

(74)【代理人】

【識別番号】100132045

【弁理士】

【氏名又は名称】坪内 伸

(74)【代理人】

【識別番号】100180655

【弁理士】

【氏名又は名称】鈴木 俊樹

(72)【発明者】

【氏名】菅原 俊

【テーマコード（参考）】

2H002

2H054

2H059

5C122

5L096

【Ｆターム（参考）】

2H002GA51

2H054BB02

2H059AA07

5C122FA02

5C122FB02

5C122FB11

5C122FH00

5C122FH12

5C122FH20

5C122HB01

5L096AA02

5L096AA06

5L096AA09

5L096CA05

5L096DA01

5L096FA66

5L096GA59

5L096HA04

5L096KA04

5L096KA15

(57)【要約】

【課題】広角でありながら長焦点光学系の解像度を有する画像を得ることが可能な撮像装置が提供される。
【解決手段】撮像装置（１０）は、入射する第１の光を撮像素子（１２）の所定の受光領域に結像させる光学系（１１）と、光学系の光軸と光学系に入射する主光線とのなす角度が第１の光と異なる第２の光を所定の受光領域に導き、第１の光による像に重畳して撮像素子に撮像させる光学素子（１３）と、撮像素子が出力する第１の光による像と第２の光による像が重畳した重畳画像の画像信号から、第１の光による像と第２の光による像とを分離するコントローラと（１４）、を備え、コントローラは、重畳画像における任意の被写体像の移動方向が第１の光による像と第２の光による像とで異なることに基づいて、第１の光による像と第２の光による像とを分離する。
【選択図】図１

【特許請求の範囲】

【請求項1】

入射する第１の光を撮像素子の所定の受光領域に結像させる光学系と、
前記光学系の光軸と前記光学系に入射する主光線とのなす角度が前記第１の光と異なる第２の光を前記所定の受光領域に導き、前記第１の光による像に重畳して前記撮像素子に撮像させる光学素子と、
前記撮像素子が出力する前記第１の光による像と前記第２の光による像が重畳した重畳画像の画像信号から、前記第１の光による像と前記第２の光による像とを分離するコントローラと、を備え、
前記コントローラは、前記重畳画像における任意の被写体像の移動方向が前記第１の光による像と前記第２の光による像とで異なることに基づいて、前記第１の光による像と前記第２の光による像とを分離する、撮像装置。

【請求項2】

前記コントローラは、前記任意の被写体像の移動方向の検出に、オプティカルフローを用いる、請求項１に記載の撮像装置。

【請求項3】

ステレオカメラを構成するように、複数の前記光学系と、複数の前記光学素子と、を備え、
前記コントローラは、前記任意の被写体像の移動方向の検出に、同じ時刻に異なる位置から撮像された複数の前記重畳画像を用いる、請求項１又は２に記載の撮像装置。

【請求項4】

前記コントローラは、前記任意の被写体像の移動方向の検出に、異なる時刻に撮像された複数の前記重畳画像を用いる、請求項１又は２に記載の撮像装置。

【請求項5】

前記コントローラは、機械学習によって生成された画像分離モデルを用いて、前記第１の光による像と前記第２の光による像とを分離し、
前記画像分離モデルは、事前に複数の画像を重ねた学習用重畳画像を作成し、前記学習用重畳画像に対して、前記複数の画像を正解として機械学習させることにより構築されるモデルである、請求項１又は２に記載の撮像装置。

【請求項6】

入射する第１の光を撮像素子の所定の受光領域に結像させる光学系と、
前記光学系の光軸と前記光学系に入射する主光線とのなす角度が前記第１の光と異なる第２の光による像とが重畳して撮像された重畳画像の画像信号から、前記第１の光による像と前記第２の光による像とを分離するコントローラと、を備え、
前記重畳画像における任意の被写体像の移動方向が前記第１の光による像と前記第２の光による像とで異なる、撮像装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、撮像装置に関する。

【背景技術】

【0002】

観察対象を結像させる撮像光学系は、焦点距離、画角などの多様な物性を有する。焦点距離が長くなると、観察対象が拡大化された像が形成されるので、遠方の観察対象の詳細な光学情報、換言すると拡大された光学情報が得られる。画角は広角化するほど、広範囲に位置する観察対象の光学情報が得られる。しかし、焦点距離と画角とはトレードオフの関係がある。焦点距離が長くなると画角が狭角化し、焦点距離が短くなると画角が広角化する。

【0003】

それゆえ、状況に応じて望まれる光学情報を得られるように焦点距離の調整が行われている。例えば、撮像光学系に含まれるズームレンズを変位させることにより、焦点距離の調整が行われる。また、複数の単焦点レンズを切替えることにより、焦点距離の調整が行われる（特許文献１、２参照）。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開平１１―３１１８３２号公報

【特許文献2】特開２００４―２７９５５６号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１、２の技術は、焦点距離の切替えにより、長焦点光学系の解像度を有する画像（遠方の撮影画像）又は広い画角での撮影画像である広角画像を得ることができる。しかし、特許文献１、２の技術は、遠方の撮影画像と広角画像とを高い解像度で同時に得ることができない。

【0006】

かかる事情に鑑みてなされた本開示の目的は、広角でありながら長焦点光学系の解像度を有する画像を得ることが可能な撮像装置を提供することにある。

【課題を解決するための手段】

【0007】

（１）本開示の一実施形態に係る撮像装置は、
入射する第１の光を撮像素子の所定の受光領域に結像させる光学系と、
前記光学系の光軸と前記光学系に入射する主光線とのなす角度が前記第１の光と異なる第２の光を前記所定の受光領域に導き、前記第１の光による像に重畳して前記撮像素子に撮像させる光学素子と、
前記撮像素子が出力する前記第１の光による像と前記第２の光による像が重畳した重畳画像の画像信号から、前記第１の光による像と前記第２の光による像とを分離するコントローラと、を備え、
前記コントローラは、前記重畳画像における任意の被写体像の移動方向が前記第１の光による像と前記第２の光による像とで異なることに基づいて、前記第１の光による像と前記第２の光による像とを分離する。

【0008】

（２）本開示の一実施形態として、（１）において、
前記コントローラは、前記任意の被写体像の移動方向の検出に、オプティカルフローを用いる。

【0009】

（３）本開示の一実施形態として、（１）又は（２）において、
ステレオカメラを構成するように、複数の前記光学系と、複数の前記光学素子と、を備え、
前記コントローラは、前記任意の被写体像の移動方向の検出に、同じ時刻に異なる位置から撮像された複数の前記重畳画像を用いる。

【0010】

（４）本開示の一実施形態として、（１）又は（２）において、
前記コントローラは、前記任意の被写体像の移動方向の検出に、異なる時刻に撮像された複数の前記重畳画像を用いる。

【0011】

（５）本開示の一実施形態として、（１）から（４）のいずれかにおいて、
前記コントローラは、機械学習によって生成された画像分離モデルを用いて、前記第１の光による像と前記第２の光による像とを分離し、
前記画像分離モデルは、事前に複数の画像を重ねた学習用重畳画像を作成し、前記学習用重畳画像に対して、前記複数の画像を正解として機械学習させることにより構築されるモデルである。

【0012】

（６）本開示の一実施形態に係る撮像装置は、
入射する第１の光を撮像素子の所定の受光領域に結像させる光学系と、
前記光学系の光軸と前記光学系に入射する主光線とのなす角度が前記第１の光と異なる第２の光による像とが重畳して撮像された重畳画像の画像信号から、前記第１の光による像と前記第２の光による像とを分離するコントローラと、を備え、
前記重畳画像における任意の被写体像の移動方向が前記第１の光による像と前記第２の光による像とで異なる。

【発明の効果】

【0013】

本開示によれば、広角でありながら長焦点光学系の解像度を有する画像を得ることが可能な撮像装置を提供することができる。

【図面の簡単な説明】

【0014】

【図1】図１は、本開示の一実施形態に係る撮像装置の主要な構成を示す概略図である。

【図2】図２は、ステレオカメラとして構成された撮像装置を示す図である。

【図3】図３は、図１の撮像素子及び光学系の位置を説明するための図である。

【図4】図４は、図１の受光領域に到達する像を説明する概念図である。

【図5】図５は、図１の受光領域に到達する重畳画像が形成される状況を説明する概念図である。

【図6】図６は、重畳画像から復元画像を生成する過程を説明するための概念図である。

【図7】図７は、第１の光による像と第２の光による像の移動方向の違いを説明するための図である。

【図8】図８は、コントローラが実行する測距処理を説明するためのフローチャートである。

【発明を実施するための形態】

【0015】

以下、図面を参照して本開示の一実施形態に係る撮像装置１０（図１参照）が説明される。以下の図面に示す構成要素において、同じ構成要素には同じ符号が付されている。実施形態について説明する図は模式的なものである。図面上の寸法比率などは、現実のものと必ずしも一致していない。

【0016】

図１は、本実施形態に係る撮像装置１０の主要な構成を示す概略図である。図２は、ステレオカメラとして構成された撮像装置１０を示す図である。本開実施形態に係る撮像装置１０はステレオカメラとして構成されるとして説明する。ただし、ステレオカメラとして構成される場合に同じ部品が複数配置されるため、重複を避けて説明をわかりやすくするために、図１のような撮像装置１０の主要部分構成を示す図を用いて説明することがある。

【0017】

図１に示すように撮像装置１０は、光学装置２１と、コントローラ１４と、を備える。撮像装置１０は、撮像素子１２をさらに備えてよい。また、光学装置２１は、撮像光学系（光学系１１）と、光学素子１３と、を備える。

【0018】

光学系１１は、入射する被写体光束を結像させる。光学系１１は、入射する第１の光を撮像素子１２の所定の受光領域ｐａに結像させる。所定の受光領域ｐａは撮像素子１２の受光領域ｒａの一部又は全部である。第１の光は、光学系１１単体の画角内に位置する物点が放射する光であってよい。所定の受光領域ｐａは、例えば、中心が光学系１１の光軸ｏｘと交差する三次元空間上の仮想の平面又は曲面であってよい。以後、光学系１１単体の画角、換言すると光学素子１３を含まない構成における光学系１１の画角を、直接画角と呼んで説明することがある。光学系１１は、位置の異なる物点から放射する光束を、単体で、換言すると光学素子１３無しで、異なる像点に結像させる光学部材によって構成される。光学系１１を構成する光学部材は、例えば、レンズ、ミラー、絞りなどである。

【0019】

光学系１１は、像側テレセントリックでなくてよい。換言すると、光学系１１を通過する任意の光束の主光線の光軸ｏｘに対する角度は０°より大きくてよい。又は、光学系１１は像側テレセントリックであってよい。

【0020】

光学素子１３は、光学系１１に入射する第２の光を、所定の受光領域ｐａに導く。第２の光は、光学系１１の光軸ｏｘと光学系１１に入射する主光線とのなす角度が第１の光と異なる。第２の光は、光学系１１の画角外、換言すると直接画角の外に位置する物点が放射する光であってよい。したがって、第２の光の主光線と光軸ｏｘとのなす角度は、第１の光の主光線と光軸ｏｘとのなす角度より大きくてよい。主光線は、光学系１１の開口絞りの中心を通る光線、光学系１１の入射瞳の中心を通る光線及び任意の一つの物点から放射され光学系１１に入射する光束の中心の光線のうちのいずれかであってよい。さらに、光学素子１３は、光学系１１を通過した第２の光を所定の受光領域ｐａに結像させてよい。

【0021】

光学素子１３は、第２の光を反射して所定の受光領域ｐａに導くミラーであってよい。本実施形態において、光学素子１３は、第２の光を所定の受光領域ｐａに第１の光による像と反転した像として導く。光学素子１３は、第２の光による反転した像を、第１の光による像に重畳して撮像素子１２に撮像させる。光学素子１３は、例えば平面ミラー、曲面ミラー、ＤＭＤ又はフレネルミラーであってよい。

【0022】

ミラーの反射面は、光学系１１の光軸ｏｘに平行であってよい。又は、ミラーの反射面は、光軸ｏｘに平行でなくてよい。例えばミラーの反射面は、光学系１１側を向く外側傾斜の姿勢となるように、光軸ｏｘに対して傾斜してよい。外側傾斜の姿勢では、ミラーの反射面が光軸ｏｘと平行な構成に比べて、光学装置２１全体の画角を広角化し得る。例えばミラーの反射面は、光学系１１の結像面側を向く内側傾斜の姿勢となるように、光軸ｏｘに対して傾斜してよい。内側傾斜の姿勢では、ミラーの反射面が光軸ｏｘと平行な構成に比べて、光学装置２１全体を小型化し得る。

【0023】

ここで、光学装置２１は、光学系１１及びミラーである光学素子１３の間に、光路長調整用のレンズを配置してよい。光路長調整用のレンズの配置により、ミラーの反射面が光軸ｏｘに平行な構成に比べて光路長が長くなることによる合焦位置のずれが低減され得る。光路長調整用のレンズは、例えばシリンドリカルレンズであってよい。また、光学装置２１はプリズムを含んで構成されてよい。第２の光は、ミラーである光学素子１３によって反射され、さらにプリズムで反射されることにより、所定の受光領域ｐａに導かれてよい。

【0024】

ミラーは、光学系１１の光軸ｏｘから見て、反射面が光学系１１の射出瞳の外側に位置するように配置されてよい。又は、ミラーは、光学系１１の光軸ｏｘから見て、射出瞳の内側に位置してよい。特に、受光領域ｒａが瞳径より小さい構成においては、ミラーが射出瞳の内側に位置してよい。ミラーは、複数の平面ミラーで構成されてよい。図３に示すように、反射面が互いに平行な２つの平面ミラーのそれぞれと、光軸ｏｘとの間隔Ｈが等しくてよい。互い平行な２つの平面ミラー、光学系１１及び撮像素子１２は、ＣＲＡ≦ｔａｎ^－１（Ｈ／Ｂ）を満たすように設計され、配置されてよい。ＣＲＡは、直接画角の２倍の角度における物点（ｐｐ）から放射される光束の光学系１１による主光線の光軸ｏｘに対する角度である。Ｂは、光学系１１のバックフォーカスである。

【0025】

図４に示すように、撮像素子１２の受光領域ｒａには、直接画角内の物点、換言すると第１の光を放射する物点に対応する第１の画像成分ｉｍ１が光学素子１３を介することなく到達する。直接画角内の物点に対応する第１の画像成分ｉｍ１とは、より具体的には、直接画角内に位置する被写体像に相当する。また、受光領域ｒａには、直接画角外の物点、換言すると第２の光を放射する物点に対応する第２の画像成分ｉｍ２が光学素子１３を介して反転して到達する。直接画角外の物点に対応する第２の画像成分ｉｍ２とは、より具体的には、直接画角外に位置する被写体像に相当する。

【0026】

撮像素子１２は、受光領域ｒａ内に結像する像を撮像する。ここで、直接画角は、光学素子１３を介することなく受光領域ｒａ内に結像する物点の範囲に相当する画角であってよい。受光領域ｒａには、光学系１１の直接画角内から光学系１１に入射する第１の光である光束の少なくとも一部が結像してよい。また、受光領域ｒａには、光学系１１の直接画角の外から光学系１１に入射し光学素子１３を通過する第２の光である光束の少なくとも一部が結像してよい。

【0027】

撮像素子１２は、可視光、赤外線又は紫外線などの不可視光による像を撮像可能であってよい。撮像素子１２は、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサ、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ－Ｏｘｉｄｅ－Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサなどである。撮像素子１２は、カラーイメージセンサであってよい。撮像素子１２は、撮像により受光する画像に相当する画像信号を生成する。

【0028】

撮像素子１２において、光学素子１３が設けられる側の受光領域ｒａの外縁は、光学系１１の光軸ｏｘから見て、光学系１１の射出瞳の外縁よりも外側に位置してよい。射出瞳の外縁より外側とは、光学系１１の光軸ｏｘを基準として外側であることを意味する。光学系１１の光軸ｏｘに沿う方向で見て、受光領域ｒａは矩形であってよい。

【0029】

撮像装置１０は、複数の光学系１１と、複数の光学素子１３と、を備えてよい。上記のように、本開実施形態に係る撮像装置１０は、互いに視差を有する複数のカメラを備えるステレオカメラとして構成される。図２に示すように、１組の光学系１１と光学素子１３とで図１の構成を有する光学装置２１Ｒが構成されて、別の１組の光学系１１と光学素子１３とで図１の構成を有する光学装置２１Ｌが構成される。また、撮像装置１０は複数の撮像素子１２を備える。光学装置２１Ｒ及び光学装置２１Ｌのそれぞれは、それぞれの撮像素子１２の所定の受光領域ｐａに、第２の光による反転した像が第１の光による像に重畳するように結像させる。

【0030】

撮像装置１０の１つのカメラについて、図５に示すように、第１の画像成分ｉｍ１と、ミラーである光学素子１３によって反転した第２の画像成分ｉｍ２とが受光領域ｒａにおいて重畳する。したがって、１つのカメラの撮像素子１２は、第１の画像成分ｉｍ１と、ミラーである光学素子１３によって反転した第２の画像成分ｉｍ２との重畳画像ｏｌｉｍを撮像する。ここで、本開実施形態に係る撮像装置１０は、ステレオカメラとして構成されるため、同じ時刻に異なる位置から撮像された複数の重畳画像ｏｌｉｍを取得することができる。得られる複数の重畳画像ｏｌｉｍは、互いに視差を有する複数のカメラで撮影されるため、ほぼ同じ撮像対象を異なる視点から撮影した画像となる。ここで、別の例として、複数の重畳画像ｏｌｉｍは異なる時刻に撮像されてよい。この場合に、撮像装置１０は複数のカメラを備え、複数のカメラのうち撮影するカメラが時間に応じて切り替えられる構成であってよい。また、撮像装置１０は視点を変更可能な１つのカメラを備え、時間に応じて視点を変更しながら撮影する構成であってよい。また、撮像装置１０は視点を変更せずに異なる時刻の撮影を行う構成であってよい。

【0031】

コントローラ１４は、少なくとも１つのプロセッサ、少なくとも１つの専用回路又はこれらの組み合わせを含んで構成される。プロセッサは、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などの汎用プロセッサ又は特定の処理に特化した専用プロセッサである。専用回路は、例えば、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）などであってよい。コントローラ１４は、撮像素子１２から取得する画像信号に画像処理を施してよい。

【0032】

コントローラ１４は、撮像素子１２が出力する第１の光による像と第２の光による像が重畳した重畳画像ｏｌｉｍの画像信号から、第１の光による像（第１の画像成分ｉｍ１）と第２の光による像（第２の画像成分ｉｍ２）とを分離する。図６に示すように、コントローラ１４は、画像信号に相当する重畳画像ｏｌｉｍを、第１の画像成分ｉｍ１と、第２の画像成分ｉｍ２とに分離する画像処理を施す。コントローラ１４は、例えば独立成分分析、ウェーブレット法、画像分離モデルなどの画像処理方法の適用により、重畳画像ｏｌｉｍを分離してよい。画像分離モデルは、例えば、事前に複数の画像を重ねた学習用重畳画像を作成し、学習用重畳画像に対して、複数の画像を正解として機械学習させることにより構築されるモデルである。本実施形態において、コントローラ１４は、機械学習によって生成された画像分離モデル（学習済モデル）を用いて、第１の光による像と第２の光による像とを分離する。ここで、画像分離モデルは、コントローラ１４が重畳画像ｏｌｉｍを分離する処理を実行する前に生成されて、コントローラ１４がアクセス可能な記憶装置（例えばメモリ）に記憶されていればよい。画像分離モデルは、例えばコントローラ１４によって生成されてよいし、コントローラ１４と異なる情報処理装置（コンピュータ）によって生成されてよい。また、機械学習の手法は例えばディープラーニングであるが、特定の手法に限定されない。

【0033】

本実施形態において、コントローラ１４は、重畳画像ｏｌｉｍにおける任意の被写体像の移動方向が第１の光による像と第２の光による像とで異なることに基づいて、第１の光による像と第２の光による像とを分離する。コントローラ１４は、任意の被写体像の移動方向の検出に、複数の重畳画像ｏｌｉｍを用いる。本実施形態において、コントローラ１４は、同じ時刻に撮像された右眼（右側のカメラ）の重畳画像ｏｌｉｍ＿Ｒ及び左眼（左側のカメラ）の重畳画像ｏｌｉｍ＿Ｌを用いる。ただし、上記のように、コントローラ１４は、異なる時刻に撮像された複数の重畳画像を用いることも可能である。例えば撮像装置１０が車両に搭載されて前方車両及び歩行者などの対象物までの測距に用いられる場合に、対象物の位置の違いが、対象物自身の移動によるものか、カメラの視点変更によるものかの区別が難しいことがある。そのため、撮像装置１０が車両に搭載されるような場合に、検出精度を高めるため、撮像装置１０がステレオカメラとして構成されて、コントローラ１４は同じ時刻に撮像された複数の重畳画像ｏｌｉｍを用いることが好ましい。ただし、撮像装置１０を用いる測距の対象物が建物などの自ら移動しない物である場合に、コントローラ１４は、同じ時刻に撮像された複数の重畳画像ｏｌｉｍに代えて異なる時刻に撮像された複数の重畳画像ｏｌｉｍを用いてよい。

【0034】

図７は、第１の光による像と第２の光による像の移動方向の違いを説明するための図である。右眼の重畳画像ｏｌｉｍ＿Ｒに含まれる３つの被写体ｏｂ１～ｏｂ３は、左眼の重畳画像ｏｌｉｍ＿Ｌにも含まれている。右眼の重畳画像ｏｌｉｍ＿Ｒにおける３つの被写体ｏｂ１～ｏｂ３は実線で示されている。また、左眼の重畳画像ｏｌｉｍ＿Ｌにおける３つの被写体ｏｂ１～ｏｂ３は破線で示されている。被写体ｏｂ１及びｏｂ２は、第１の光による像であって、左眼の重畳画像ｏｌｉｍ＿Ｌにおける位置が右眼の重畳画像ｏｌｉｍ＿Ｒより右側にある。すなわち、右眼の重畳画像ｏｌｉｍ＿Ｒにおける位置から左眼の重畳画像ｏｌｉｍ＿Ｌにおける位置への変化を移動方向とすると、移動方向は右方向である。これに対して、被写体ｏｂ３は、第２の光による像であって、第１の光による像に対して反転した像となっている。したがって、被写体ｏｂ３は、左眼の重畳画像ｏｌｉｍ＿Ｌにおける位置が右眼の重畳画像ｏｌｉｍ＿Ｒより左側にあり、移動方向が左方向である。このように、第２の光による像が第１の光による像に対して反転した像となっていることから、重畳画像ｏｌｉｍにおける任意の被写体像の移動方向は反対になる。したがって、コントローラ１４は、重畳画像ｏｌｉｍにおける任意の被写体像を、複数の重畳画像ｏｌｉｍにおける位置の比較によって特定される移動方向の向きに応じて、第１の光による像か第２の光による像かを判定することができる。ここで、移動方向の向きを検出する被写体像は、例えば物体の特徴点などであってよいし、重畳画像ｏｌｉｍを区画した所定サイズのブロック単位又は画素単位であってよい。

【0035】

例えばコントローラ１４は、任意の被写体像の移動方向の検出に、オプティカルフローを用いてよい。オプティカルフローでは一般に連続するフレームの画像が用いられるが、コントローラ１４は、右眼の重畳画像ｏｌｉｍ＿Ｒと左眼の重畳画像ｏｌｉｍ＿Ｌとを連続するフレームの画像と扱って処理を実行してよい。コントローラ１４は、例えばＬｕｃａｓ－Ｋａｎａｄｅ法などの任意の方法により、重畳画像ｏｌｉｍの各画素におけるオプティカルフローを算出する。コントローラ１４は、算出した各画素のオプティカルフローに基づいて、各画素についての動きベクトルが第１の方向であれば第１の光による像と判定し、第２の方向であれば第２の光による像と判定できる。ここで、第２の方向は、第１の方向と反対の方向である。また、コントローラ１４は、重畳画像ｏｌｉｍの各画素におけるオプティカルフローに基づいて、動きベクトルが同じであって互いに近接する画素を同一の被写体に属する画素と判定してよい。また、例えば画像分離モデルの生成においてオプティカルフローの情報も含めて機械学習させることによって、被写体像の移動方向に応じて第１の光による像と第２の光による像とを高精度に分離する画像分離モデルを構築することが可能である。

【0036】

コントローラ１４は、分離した第１の画像成分ｉｍ１及び第２の画像成分ｉｍ２を結合させることにより、復元画像ｒｃｉｍを生成してよい（図６参照）。コントローラ１４は、復元画像ｒｃｉｍを用いて、撮像装置１０の周辺において撮像された被写体の測距を行ってよい。コントローラ１４は、例えば、ＤＦＤ（Ｄｅｐｔｈ Ｆｒｏｍ Ｄｅｆｏｃｕｓ）に基づいて、復元画像ｒｃｉｍを用いて測距を行う。コントローラ１４は、運動視差法（ＳＬＡＭ：Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ、Ｍｏｔｉｏｎ Ｓｔｅｒｅｏ）、足元測距法などに基づいて、復元画像ｒｃｉｍを用いた測距を行ってよい。足元測距法は、被写体像の下端が地面に位置することを前提として画像座標に基づいて３次元座標を算出する方法である。

【0037】

コントローラ１４は、算出した距離に基づいて距離画像を生成してよい。距離画像は、各画素の画素値が距離に対応した画像である。コントローラ１４は、距離画像を外部機器に出力してよい。

【0038】

図８は、本実施形態においてコントローラ１４が実行する測距処理のフローチャートである。測距処理は、撮像素子１２から画像信号を取得するたびに開始される。

【0039】

ステップＳ１００において、コントローラ１４は、取得した画像信号に相当する重畳画像ｏｌｉｍから第２の画像成分ｉｍ２を分離する。分離後、プロセスはステップＳ１０１に進む。

【0040】

ステップＳ１０１では、コントローラ１４は、重畳画像ｏｌｉｍからステップＳ１００において分離した第２の画像成分ｉｍ２を減算することにより、第１の画像成分ｉｍ１を生成する。第１の画像成分ｉｍ１の生成後、プロセスはステップＳ１０２に進む。

【0041】

ステップＳ１０２では、コントローラ１４は、ステップＳ１０１において分離した第２の画像成分ｉｍ２と、ステップＳ１０１において生成した第１の画像成分ｉｍ１とを結合させることにより復元画像ｒｃｉｍを生成する。復元画像ｒｃｉｍの生成後、プロセスはステップＳ１０３に進む。

【0042】

ステップＳ１０３では、コントローラ１４は、ステップＳ１０２において生成した復元画像ｒｃｉｍを用いて、復元画像ｒｃｉｍに写る各被写体に対して測距を行う。測距後、プロセスはステップＳ１０４に進む。

【0043】

ステップＳ１０４では、コントローラ１４は、ステップＳ１０３において算出した距離と当該距離に対応する復元画像ｒｃｉｍの位置とに基づいて、距離画像を生成する。また、コントローラ１４は距離画像を外部機器に出力する。距離画像の生成後、測距処理は終了する。

【0044】

以上のように、本実施形態に係る撮像装置１０は、上記の構成によって、広角でありながら長焦点光学系の解像度を有する画像を得ることができる。

【0045】

また、撮像装置１０を用いた測距処理を説明したが、本開示の実施形態としては、装置を実施するための方法又はプログラムの他、プログラムが記録された記憶媒体としての実施態様をとることも可能である。記憶媒体は、例えば光ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＣＤ－ＲＷ、磁気テープ、ハードディスク又はメモリカードなどである。

【0046】

また、プログラムの実装形態としては、コンパイラによってコンパイルされるオブジェクトコード、インタプリタにより実行されるプログラムコードなどのアプリケーションプログラムに限定されない。プログラムは、オペレーティングシステムに組み込まれるプログラムモジュールなどの形態であってよい。さらに、プログラムは、制御基板上のＣＰＵにおいてのみ全ての処理が実施されるように構成されてもされなくてよい。プログラムは、必要に応じて基板に付加された拡張ボード又は拡張ユニットに実装された別の処理ユニットによってその一部又は全部が実施されるように構成されてよい。

【0047】

本開示に係る実施形態について、諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形又は改変を行うことが可能であることに注意されたい。従って、これらの変形又は改変は本開示の範囲に含まれることに留意されたい。例えば、各構成部などに含まれる機能は論理的に矛盾しないように再配置可能であり、複数の構成部などを１つに組み合わせたり、或いは分割したりすることが可能である。

【0048】

本開示に記載された構成要件の全て、及び／又は、開示された全ての方法、又は、処理の全てのステップについては、これらの特徴が相互に排他的である組合せを除き、任意の組合せで組み合わせることができる。また、本開示に記載された特徴の各々は、明示的に否定されない限り、同一の目的、同等の目的又は類似する目的のために働く代替の特徴に置換することができる。したがって、明示的に否定されない限り、開示された特徴の各々は、包括的な一連の同一、又は、均等となる特徴の一例にすぎない。

【0049】

さらに、本開示に係る実施形態は、上述した実施形態のいずれの具体的構成にも制限されるものではない。本開示に係る実施形態は、本開示に記載された全ての新規な特徴、又は、それらの組合せ、あるいは記載された全ての新規な方法、又は、処理のステップ、又は、それらの組合せに拡張することができる。

【0050】

本開示において「第１」及び「第２」などの記載は、当該構成を区別するための識別子である。本開示における「第１」及び「第２」などの記載で区別された構成は、当該構成における番号を交換することができる。識別子の交換は同時に行われる。識別子の交換後も当該構成は区別される。識別子は削除してよい。識別子を削除した構成は、符号で区別される。本開示における「第１」及び「第２」などの識別子の記載のみに基づいて、当該構成の順序の解釈、小さい番号の識別子が存在することの根拠に利用してはならない。

【符号の説明】

【0051】

１０ 撮像装置
１１ 光学系
１２ 撮像素子
１３ 光学素子
１４ コントローラ
２１、２１Ｌ、２１Ｒ 光学装置
ｉｍ１ 第１の画像成分
ｉｍ２ 第２の画像成分
ｏｌｉｍ、ｏｌｉｍ＿Ｌ、ｏｌｉｍ＿Ｒ 重畳画像
ｏｘ 光軸
ｐａ 所定の受光領域
ｒａ 受光領域
ｒｃｉｍ 復元画像

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】