特許 7458355 光学装置、及び、推定方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-03-21

(45)【発行日】2024-03-29

(54)【発明の名称】光学装置、及び、推定方法

(51)【国際特許分類】

   G01C 3/06 20060101AFI20240322BHJP

【ＦＩ】

G01C3/06 120P

【請求項の数】 5

(21)【出願番号】P 2021151125

(22)【出願日】2021-09-16

(65)【公開番号】P2023043468

(43)【公開日】2023-03-29

【審査請求日】2023-03-15

(73)【特許権者】

【識別番号】000003078

【氏名又は名称】株式会社東芝

(74)【代理人】

【識別番号】110003708

【氏名又は名称】弁理士法人鈴榮特許綜合事務所

(72)【発明者】

【氏名】大野 博司

【審査官】仲野 一秀

(56)【参考文献】

【文献】特開２００３－９８４２６（ＪＰ，Ａ）

【文献】国際公開第２００６／０１８８７９（ＷＯ，Ａ１）

【文献】国際公開第２０１３／０４２３２３（ＷＯ，Ａ１）

【文献】特開２０２０－１４８４８３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｃ ３／００－３／３２

Ｇ０１Ｂ １１／００－１１／３０

(57)【特許請求の範囲】

【請求項1】

波長選択部と、
結像光学素子と
を備え、
前記波長選択部は、複数の波長選択領域を備え、
前記波長選択部は、前記複数の波長選択領域ごとに異なる波長を射出し、
前記結像光学素子は、異なる複数の領域を備え、
前記結像光学素子の前記複数の領域は、それぞれ異なる焦点距離を持ち、
前記結像光学素子の各領域と、前記波長選択部の各波長選択領域とは、それぞれ光学的に対向する、
光学素子アセンブリと、
前記光学素子アセンブリから射出される光を撮像するイメージセンサーと
を備え、
前記イメージセンサーは少なくとも２つの異なる画素を有し、
前記各画素は、少なくとも２つの色チャンネルを有する、
画像取得部と、
前記画像取得部に接続される画像処理部と
を備え、
前記画像処理部は、
前記イメージセンサーで各色チャンネルの画像を取得し、
各色チャンネルの画像において被写体の共通領域におけるコントラストを算出し、
前記各色チャンネルの前記共通領域における前記コントラストに基づいて、前記結像光学素子又は前記イメージセンサーに対する被写体の遠近及び／又は距離を推定する、
プロセッサを含み、
前記プロセッサは、少なくとも２つの異なる色チャンネルに対する画像に対し、点拡がり関数に基づいて独立にそれぞれ、前記結像光学素子又は前記イメージセンサーに対する被写体の距離を推定する、
光学装置。

【請求項2】

被写体上の２つの物点から前記結像光学素子および前記波長選択部を通過してそれぞれの像点に移される光を、第１の光線および第２の光線とし、
前記第１の光線は、前記結像光学素子の第１の領域を通過し、さらに前記波長選択部の第１の波長選択領域を通過し、
前記第２の光線は、前記結像光学素子の第２の領域を通過し、さらに前記波長選択部の第２の波長選択領域を通過する、
請求項１に記載の光学装置。

【請求項3】

前記結像光学素子は、少なくとも一つのレンズを備え、
前記レンズは、前記レンズの一つの表面に、前記異なる複数の領域を持ち、
前記異なる複数の領域を、第１の領域及び第２の領域とするとき、前記第１の領域と前記第２の領域との境界の法線は不連続に変化する、
請求項１又は請求項２に記載の光学装置。

【請求項4】

前記結像光学素子は回転対称であるとし、
前記波長選択部も前記回転対称と同様の対称性を有する、
請求項１乃至請求項３のいずれか１項に記載の光学装置。

【請求項5】

請求項１乃至請求項４のいずれか１項に記載の光学装置を用いる被写体の遠近及び／又は距離の推定方法であって、
前記イメージセンサーで前記各色チャンネルの画像を取得すること、
前記各色チャンネルの画像において被写体の前記共通領域における前記コントラストを算出すること、
前記各色チャンネルの前記共通領域における前記コントラストに基づいて、前記結像光学素子又は前記イメージセンサーに対する被写体の遠近及び／又は距離を推定すること
を含み、
前記被写体の距離を推定することは、少なくとも２つの異なる色チャンネルに対する画像に対し、点拡がり関数に基づいて独立にそれぞれ、前記結像光学素子又は前記イメージセンサーに対する被写体の距離を推定することを含む、
推定方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、光学装置、及び、推定方法に関する。

【背景技術】

【0002】

被写体までの距離（デプス）を取得するために、複数のカメラで撮像された画像を用いる方式が一般的に行われている。また、近年、１つの撮像装置（単眼のカメラ）で撮像された画像を用いて被写体までの距離を取得する技術が注目されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０２０－１４８４８３号公報

【非特許文献】

【0004】

【文献】P. Trouve, "Passive depth estimation using chromatic aberration and a depth from defocus approach," APPLIED OPTICS / Vol. 52, No. 29, 2013.

【文献】H. Ohno, “One-shot three-dimensional measurement method with the color mapping of light direction,” OSA Continuum, Vol. 4, No. 3, 2021.

【発明の概要】

【発明が解決しようとする課題】

【0005】

本発明が解決しようとする課題は、被写体の距離及び／又は遠近を取得するための光学装置、及び、推定方法を提供することである。

【課題を解決するための手段】

【0006】

実施形態によれば、光学装置は、画像取得部と、画像取得部に接続される画像処理部とを備える。画像取得部は、光学素子アセンブリと、イメージセンサーとを備える。光学素子アセンブリは、波長選択部と、結像光学素子とを備える。波長選択部は、複数の波長選択領域を備える。波長選択部は、複数の波長選択領域ごとに異なる波長を射出する。結像光学素子は、異なる複数の領域を備える。結像光学素子の複数の領域は、それぞれ異なる焦点距離を持つ。結像光学素子の各領域と、波長選択部の各波長選択領域とは、それぞれ光学的に対向する。イメージセンサーは、光学素子アセンブリから射出される光を撮像する。イメージセンサーは少なくとも２つの異なる画素を有する。各画素は、少なくとも２つの色チャンネルを有する。画像処理部は、イメージセンサーで各色チャンネルの画像を取得し、各色チャンネルの画像において被写体の共通領域におけるコントラストを算出し、各色チャンネルの共通領域におけるコントラストに基づいて、結像光学素子又はイメージセンサーに対する被写体の遠近及び／又は距離を推定する、プロセッサを含む。プロセッサは、少なくとも２つの異なる色チャンネルに対する画像に対し、点拡がり関数に基づいて独立にそれぞれ、結像光学素子又はイメージセンサーに対する被写体の距離を推定する。

【図面の簡単な説明】

【0007】

【図1】第１実施形態に係る光学装置を示す概略図。

【図2】図１に示す画像処理部を用いて被写体の遠近及び／又は距離を推定するためのフローチャート。

【図3】第１実施形態の変形例に係る光学装置を示す概略図。

【図4】第２実施形態に係る光学装置の画像取得部を示す概略的な斜視図。

【図5】図４に示す光学装置の画像取得部を示す概略図。

【図6】図４及び図５に示す光学装置の画像取得部と物体との関係を示す概略図。

【発明を実施するための形態】

【0008】

以下、本発明の各実施の形態について図面を参照しつつ説明する。図面は模式的または概念的なものであり，各部分の厚みと幅との関係、部分間の大きさの比率などは、必ずしも現実のものと同一とは限らない。また，同じ部分を表す場合であっても、図面により互いの寸法や比率が異なって表される場合もある。本願明細書と各図において、既出の図に関して前述したものと同様の要素には同一の符号を付して詳細な説明は適宜省略する。

【0009】

（第１実施形態）
第１実施形態に係る光学装置１０について、図１及び図２を参照して説明する。

【0010】

図１に示すように、本実施形態に係る光学装置１０は、画像取得部１２と、画像処理部１４とを備える。画像取得部１２は、少なくとも２つ以上の異なる色に対する画像を取得する。つまり、画像取得部１２は、少なくとも２つの色チャンネルに対する画像を取得する。ここで、異なる色は、異なる波長範囲の光であることを意味する。画像取得部１２は、光学素子アセンブリ２２と、イメージセンサー２４とを備える。光学素子アセンブリ２２は、結像光学素子３２と、波長選択部３４とを備える。

【0011】

画像処理部１４は、光学装置１０の画像取得部１２から被写体（物体）までの遠近／距離に関する情報を算出する。

【0012】

マクスウェル方程式により、光は電磁波として取り扱うことができることが知られている。本実施形態では、光は可視光、Ｘ線、紫外線、赤外線、遠赤外線、ミリ波、マイクロ波でよい。つまり、さまざまな波長の電磁波をここでは光と呼ぶ。特に、波長約360nmから830nmの波長範囲の光を可視光とし、以下では光を可視光とする。

【0013】

結像光学素子３２は、レンズ、組レンズ、屈折率分布型レンズ、回折型レンズ、反射型ミラーなどでよく、光を結像するものならば何でもよい。結像された光は、イメージセンサー２４で受光される。イメージセンサー２４において、受光された光を電気信号に変換（光電変換）することによって、少なくとも２つ以上の色チャンネルに対応する画像が取得できる。結像光学素子３２は、被写体上の物点からの光を光軸に沿って像点に移す。つまり、物点からの光を像点に集光し、結像する。

【0014】

イメージセンサー２４は、例えばＣＣＤ（Charge Coupled Device）イメージセンサー、あるいはＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサーなどである。また、イメージセンサー２４の形状はエリア型の長方形でも正方形でもよく、ライン型の直線状でもよい。イメージセンサー２４は、少なくとも２つ以上の画素を備える。各画素において、例えば第１の波長範囲の青光（Ｂ）、第２の波長範囲の緑光（Ｇ）、第３の波長範囲の赤光（Ｒ）をそれぞれ受光する。結像光学素子３２によってイメージセンサー２４上に被写体を結像することによって、被写体は画像として撮像される。画像はカラー画像（ＢＧＲ画像）であり、当該画像にはＢ画像、Ｇ画像、及びＲ画像が含まれる。

【0015】

波長選択部３４は、少なくとも２つ以上の異なる波長選択領域を備える。本実施形態の波長選択部３４は、３つの波長選択領域４２，４４，４６を備える。例えば、第１の波長選択領域４２は波長範囲４００ｎｍから５００ｎｍまでの青光（Ｂ）を通過させ、第２の波長選択領域４４は波長範囲５００ｎｍから６００ｎｍまでの緑光（Ｇ）を通過させ、第３の波長選択領域４６は波長範囲６００ｎｍから８００ｎｍまでの赤光（Ｒ）を通過させる。ここで、異なる２つの波長選択領域は、互いに重なる波長範囲を有していてもよい。

【0016】

本実施形態の結像光学素子３２は、例えば単レンズとする。結像光学素子３２は、光軸Ｃを有し、光軸Ｃに沿って互いに対面する２つの表面５２，５４を備える。これら２つの表面５２，５４をそれぞれ、第１の面５２、第２の面５４とする。第１の面５２は、被写体側（物体側）を向く。第２の面５４は、波長選択部３４及びイメージセンサー２４の側（像側）を向く。すなわち、第１の面５２の法線と第２の面５４の法線とは例えば略反対側を向く。

【0017】

第１の面５２は、少なくとも２つ以上の領域を備える。本実施形態において、第１の面５２は３つの異なる領域６２，６４，６６を備える。すなわち、第１の面５２は、第１の領域６２、第２の領域６４、第３の領域６６を備える。各領域６２，６４，６６の表面における法線Ｎは、領域６２，６４間の境界面、及び、領域６４，６６間の境界面において不連続である。領域６２，６４，６６は、例えば一方向に並べて配置されていてもよく、例えば同心状に配置されていてもよい。

【0018】

第１の面５２の第１の領域６２と第１の面５２以外の第２の表面５４で構成される結像光学素子３２は、第１の焦点距離ｆ１を有する。第１の面５２の第２の領域６４と第１の面５２以外の第２の表面５４で構成される結像光学素子３２は、第２の焦点距離ｆ２を有する。第１の面５２の第３の領域６６と第１の面５２以外の第２の表面５４で構成される結像光学素子３２は、第３の焦点距離ｆ３を有する。これら第１の焦点距離ｆ１、第２の焦点距離ｆ２、及び、第３の焦点距離ｆ３のうち、少なくとも２つ以上が異なる。ここでは、結像光学素子３２の異なる領域６２，６４，６６は、それぞれ異なる焦点距離を有する。つまり、第１の焦点距離ｆ１、第２の焦点距離ｆ２、第３の焦点距離ｆ３は全て異なるとする。

【0019】

波長選択部３４は、結像光学素子（レンズ）３２の光軸Ｃ上に配置される。波長選択部３４は、結像光学素子（レンズ）３２とイメージセンサー２４の間に配置されてもよいし、結像光学素子３２と被写体の間に配置されてもよい。本実施形態では、例えば結像光学素子３２とイメージセンサー２４の間に波長選択部を配置する。

【0020】

画像処理部１４は、例えば、コンピュータ等から構成され、プロセッサ（処理回路）及び記憶媒体を備える。プロセッサは、ＣＰＵ（Central Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）、マイコン、ＦＰＧＡ（Field Programmable Gate Array）及びＤＳＰ（Digital Signal Processor）等のいずれかを含む。記憶媒体には、メモリ等の主記憶装置に加え、補助記憶装置が含まれ得る。記憶媒体としては、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、磁気ディスク、光ディスク（ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＤＶＤ等）、光磁気ディスク（ＭＯ等）、及び、半導体メモリ等の書き込み及び読み出しが随時に可能な不揮発性メモリが挙げられる。

【0021】

画像処理部１４では、プロセッサ及び記憶媒体のそれぞれは、１つのみ設けられてもよく、複数設けられてもよい。画像処理部１４では、プロセッサは、記憶媒体等に記憶されるプログラム等を実行することにより、処理を行う。また、画像処理部１４のプロセッサによって実行されるプログラムは、インターネット等のネットワークを介して画像処理部１４に接続されたコンピュータ（サーバ）、又は、クラウド環境のサーバ等に格納されてもよい。この場合、プロセッサは、ネットワーク経由でプログラムをダウンロードする。画像処理部１４では、イメージセンサー２４からの画像取得、イメージセンサー２４から取得した画像に基づく各種算出処理は、プロセッサ等によって実行され、記憶媒体が、データ記憶部として機能する。

【0022】

また、画像処理部１４による処理の少なくとも一部が、クラウド環境に構成されるクラウドサーバによって実行されてもよい。クラウド環境のインフラは、仮想ＣＰＵ等の仮想プロセッサ及びクラウドメモリによって、構成される。ある一例では、イメージセンサー２４からの画像取得、イメージセンサー２４から取得した画像に基づく各種算出処理が、仮想プロセッサによって実行され、クラウドメモリが、データ記憶部として機能する。

【0023】

本実施形態に係る光学装置１０を用いる被写体の遠近及び／又は距離の推定方法について、図２に示すフローチャートを用いて説明する。

【0024】

被写体からの光のうち第１の光線Ｌ１は結像光学素子（レンズ）３２に入射し、結像光学素子３２の第１の面５２の第１の領域６２を通過し、さらに波長選択部３４の第１の波長選択領域４２を通過してイメージセンサー２４に結像される。第１の光線Ｌ１は、第１の波長選択領域４２を通過後に青光（Ｂ）となる。結像光学素子３２の第１の面５２の第１の領域６２は第１の焦点距離ｆ１を有しており、第１の光線Ｌ１は幾何光学のレンズの公式に従って第１の物点（図示せず）を第１の像点（明示せず）に結像する。ここで、第１の領域６２が第１の焦点距離ｆ１を有するとは、第１の領域６２を通過する光線が結像光学素子３２で結像されるとき、その光線が通過した結像光学素子３２の光線通過領域、つまり、結像光学素子３２の第１の領域６２を含む領域が第１の焦点距離ｆ１を有することを意味する。

【0025】

被写体からの光のうち第２の光線Ｌ２は結像光学素子（レンズ）３２に入射し、結像光学素子３２の第１の面５２の第２の領域６４を通過し、さらに波長選択部３４の第２の波長選択領域４４を通過してイメージセンサー２４に結像される。第２の光線Ｌ２は、第２の波長選択領域４４を通過後に緑光（Ｇ）となる。結像光学素子３２の第１の面５２の第２の領域６４は第２の焦点距離ｆ２を有しており、第２の光線Ｌ２は幾何光学のレンズの公式に従って第２の物点（図示せず）を第２の像点（明示せず）に結像する。

【0026】

被写体からの光のうち第３の光線Ｌ３は結像光学素子（レンズ）３２に入射し、結像光学素子３２の第１の面５２の第３の領域６６を通過し、さらに波長選択部３４の第３の波長選択領域４６を通過してイメージセンサー２４に結像される。第３の光線Ｌ３は、第３の波長選択領域４６を通過後に赤光（Ｒ）となる。結像光学素子３２の第１の面５２の第３の領域６６は第３の焦点距離ｆ３を有しており、第３の光線Ｌ３は幾何光学のレンズの公式に従って第３の物点（図示せず）を第３の像点（明示せず）に結像する。

【0027】

第１の焦点距離ｆ１、第２の焦点距離ｆ２、及び、第３の焦点距離ｆ３は異なる。このため、第１の物点、第２の物点、第３の物点がイメージセンサー２４上でそれぞれの像点に結像されている場合、第１の物点、第２の物点、第３の物点は結像光学素子３２又はイメージセンサー２４からの距離がそれぞれ異なる。

【0028】

結像光学素子３２又はイメージセンサー２４から物点までの距離を奥行距離（デプス）と呼ぶ。つまり、第１の物点、第２の物点、第３の物点はそれぞれ奥行距離が異なる。本実施形態では、イメージセンサー２４は、それぞれの物点を異なる色で撮像する。第１の物点は青、第２の物点は緑、第３の物点は赤となる。これより、画像処理部１４は、イメージセンサー２４で、青画像、緑画像、赤画像によってそれぞれ異なる奥行距離の画像を同時に取得することができる。つまり、画像処理部１４は、少なくとも２つ以上、本実施形態では３つの異なる奥行距離の画像を同時に取得できる（ステップＳＴ１）。

【0029】

画像処理部１４は、イメージセンサー２４で取得した青画像、緑画像、赤画像のそれぞれについて、部分的な画像領域（被写体の共通領域）のコントラスト（ぼやけ具合）を算出する（ステップＳＴ２）。コントラストの算出方法はいろいろある（例えば非特許文献１参照）が、空間的な高周波成分よりも低周波成分のほうが大きくなるとコントラストが小さくなると言える。

【0030】

通常、物点と像点が幾何光学のレンズの公式に従うとコントラストが大きくなり、レンズの公式から外れるとコントラストが小さくなる。あるいは、物点と像点が幾何光学のレンズの公式に従うと、像のピントが合う。一方、レンズの公式から外れると像のピントがぼける。通常、像は、ピント位置に対して、近づく場合の方が、遠ざかる場合に比べて、ぼけやすい。そこで、画像処理部１４は、青画像、緑画像、赤画像を用いて、被写体の共通領域のコントラストを各画像から算出する。共通領域の各色画像のうち、コントラストが最も高くなる色画像が被写体の当該共通領域を最も良く結像していると言える。被写体の当該共通領域の奥行距離に対し、焦点距離がレンズの公式に近いほど理想的な結像が起こる。これにより、画像処理部１４がコントラストの高い色の画像を探し、その色の画像を特定することにより、その色の画像に対応する焦点距離（第１の焦点距離ｆ１、第２の焦点距離ｆ２、第３の焦点距離ｆ３のどれに近いか）が定まり、奥行距離を推定できる。つまり、画像処理部１４は、色画像のコントラストが最も高くなる色を算出し、その色の焦点距離と照合することにより、被写体の奥行距離を推定する（ステップＳＴ３）。

【0031】

なお、奥行距離を推定する手法として、ＤｆＤ（Depth-from-defocus）が知られている。ＤｆＤは、ピントが異なる２つの画像から距離を算出する技術である。本実施形態の場合、画像処理部１４は、被写体の共通領域において、それぞれピントが異なる３つの色画像を得る。本実施形態に係る画像処理部１４は、例えばＤｆＤを用い、各色画像のコントラストと、結像光学素子３２の光学情報（第１の領域６２の焦点距離ｆ１、第２の領域６４の焦点距離ｆ２、第３の領域６６の焦点距離ｆ３）とに基づいて、結像光学素子３２又はイメージセンサー２４からそれぞれの被写体の奥行距離を算出することができる。

【0032】

あるいは、奥行距離を推定する手法として、まず、画像処理部１４により色画像のコントラストが最も高くなる色を算出し、その色に対応する焦点距離（第１の領域６２の焦点距離ｆ１、第２の領域６４の焦点距離ｆ２、第３の領域６６の焦点距離ｆ３のどれか）を定める。この焦点距離よりレンズの公式を用いて１番目の奥行距離が求まる。ただし、レンズの公式から算出される奥行距離は結像時（ピントが合う時）のものであり、奥行に対するコントラストが最大となる場合である。そのため、１番目の奥行距離は、おおよその推定値となる。同様に、色画像のコントラストが２番目と３番目に高くなる色をそれぞれ算出し、それぞれの色に対応する焦点距離を定める。これにより、レンズの公式を用いてそれぞれの焦点距離に対応する、２番目および３番目のおおよその奥行距離が定まる。これにより、奥行距離は、１番目の奥行距離を基準とし、２番目の奥行距離により近く、３番目の奥行距離よりも遠いことがわかる。つまり、少なくとも、１枚の色画像で奥行距離を算出するよりも、２枚以上用いたほうが奥行距離の推定精度が高まる。

【0033】

この手法について、具体的に説明する。例えば、被写体を結像光学素子３２に対向して配置するとする。また、物体側の第１の焦点距離ｆ１、第２の焦点距離ｆ２、第３の焦点距離ｆ３の関係を、一例として、第１の焦点距離ｆ１＞第２の焦点距離ｆ２＞第３の焦点距離ｆ３とする。このとき、結像光学素子３２から像面（つまりイメージセンサー２４）までの距離が定まると、レンズの公式により、それぞれの焦点距離に対応する奥行き距離が定まる。つまり、第１の焦点距離ｆ１、第の焦点距離ｆ２、第３の焦点距離ｆ３のそれぞれに対応する、第１の奥行距離、第２の奥行距離、第３の奥行距離が定まる。ここで、奥行距離は、結像光学素子３２から遠い順に、第１、第２、第３の奥行距離の順になる。画像処理部１４は、第１、第２、第３の焦点距離の順に対応する、青画像、緑画像、赤画像を取得するとともに、これら画像のコントラストを算出し、それらコントラストを比較する。

【0034】

このとき、緑画像のコントラストが最も高くなったとする。緑画像のコントラストが最も高いため、画像処理部１４は、第１の奥行距離よりも第２の奥行距離に近い位置に被写体の物点があり、かつ、第３の奥行距離よりも第２の奥行距離に近い位置に被写体の物点がある、と出力する。このため、画像処理部１４は、像点に対応する被写体の物点が、第１の奥行距離と第２の奥行距離との間、又は、第３と第２の奥行距離の間の位置にある、と推定できる。

【0035】

さらに、青画像のコントラストが２番目に高くなった場合、つまり緑画像に次いでコントラストが高くなった場合、奥行距離は第３の奥行距離よりも第１の奥行距離により近いことがわかる。つまり、奥行距離は、第１の奥行距離と第２の奥行距離の間ということが推定できる。

【0036】

青画像のコントラストが最も高くなった場合、赤画像のコントラストが最も高くなった場合も同様に、画像処理部１４は、被写体の物点の奥行距離を推定できる。

【0037】

さらに、１番目、２番目、３番目の奥行距離に対し、それぞれの色画像のコントラストによる重みづけを行うことで、精度のよい奥行距離が推定できる。このような重みづけは、ＤｆＤで用いられているものでよい。

【0038】

本実施形態では、画像処理部１４が赤画像、緑画像、青画像の少なくとも２つの画像のコントラストに基づいて、被写体と結像光学素子３２又はイメージセンサー２４との間の距離を推定する例について説明した。画像処理部１４は、例えば、各画素における青画素値、緑画素値の混合比、緑画素値、赤画素値の混合比、青画素値、赤画素値の混合比を、コントラストとともに、又は、コントラストに代えて用いて、被写体の奥行距離を算出してもよい。

【0039】

また、画像処理部１４は、例えば、各色の画像のぼけ具合等に対し、人工知能（機械学習、深層学習等を含む）を用いた画像処理を行うことにより、被写体の物点と結像光学素子３２との間の距離を推定してもよい。

【0040】

したがって、画像処理部１４は、焦点距離がそれぞれ異なる複数の色画像に基づいて、適宜の距離算出技術を用いて、被写体の奥行距離を算出することができる。

【0041】

なお、本実施形態では、結像光学素子３２又はイメージセンサー２４に対する被写体の距離を測定する例について説明した。例えば光学素子アセンブリ２２に対向する複数の被写体があるとする。この場合、画像処理部１４が赤画像、緑画像、青画像のコントラスト、結像光学素子３２の光学情報（第１の面５２の３つの異なる領域６２，６４，６６の焦点距離ｆ１，ｆ２，ｆ３）に基づいて、結像光学素子３２又はイメージセンサー２４に対する被写体の距離だけでなく、結像光学素子３２又はイメージセンサー２４に対する被写体の遠近を推定できる。すなわち、本実施形態に係る光学装置１０を用いることにより、対象とする被写体が複数ある場合、光学素子アセンブリ２２に対する被写体の距離及び被写体の遠近を推定できる。なお、本実施形態に係る光学装置１０を用いて、必ずしも被写体の距離を推定するのではなく、遠近を推定するだけでもよい。

【0042】

本実施形態に係る、光学素子アセンブリ２２は、結像光学素子３２と波長選択部３４とを備える。波長選択部３４は、複数の波長選択領域４２，４４，４６を備える。波長選択部３４は、複数の波長選択領域４２，４４，４６ごとに異なる波長を射出する。結像光学素子３２は、異なる複数の領域６２，６４，６６を備える。結像光学素子３２の複数の領域６２，６４，６６は、互いに異なる焦点距離ｆ１，ｆ２，ｆ３を持つ。結像光学素子３２の各領域６２，６４，６６と、波長選択部３４の各波長選択領域４２，４４，４６とは、それぞれ光学的に対向する。
このため、光学素子アセンブリ２２は、イメージセンサー２４に光線を射出し、各色チャンネルで画像を取得するときに、結像光学素子３２の各領域６２，６４，６６に応じた焦点距離ｆ１，ｆ２，ｆ３の像を射出することができる。このため、例えば、イメージセンサー２４で撮像する画像は、各色チャンネルごとに、異なるコントラストとすることができる。したがって、本実施形態によれば、イメージセンサー２４で取得する画像から、被写体の距離及び／又は遠近を取得するための光学素子アセンブリ２２を提供することができる。

【0043】

したがって、本実施形態によれば、イメージセンサー２４で取得する画像から、被写体の距離及び／又は遠近を取得するための光学素子アセンブリ２２、及び、光学装置１０を提供することができる。

【0044】

（変形例）
第１実施形態の光学装置１０の変形例を図３に示す。

【0045】

図３に示すように、結像光学素子３２は、第１のレンズ３２ａと第２のレンズ３２ｂとを有する組レンズである。結像光学素子３２は、組レンズとして物点からの光を光軸Ｃに沿って像点に結像する。波長選択部３４は、第１のレンズ３２ａと第２のレンズ３２ｂとの間に配置される。

【0046】

このような構成により、第１実施形態で説明したように、３つの異なる奥行距離の画像を、それぞれ異なる色画像として同時に取得できる。

【0047】

結像光学素子３２の前後の屈折率媒体に応じ、物体側焦点距離と、像側焦点距離とが同じ場合と異なる場合とがある。いずれの場合も、画像処理部１４において、例えばコントラストが最も高くなる色を算出することにより、結像光学素子３２又はイメージセンサー２４と被写体との奥行距離を推定できる。また、対象とする被写体が複数ある場合、画像処理部１４は、結像光学素子３２又はイメージセンサー２４に対する被写体の遠近を推定できる。

【0048】

本変形例によれば、イメージセンサー２４で取得する画像から、被写体の距離及び／又は遠近を取得するための光学素子アセンブリ２２、及び、光学装置１０を提供することができる。

【0049】

（第２実施形態）
第２実施形態に係る光学装置１０について、図４から図６を参照して説明する。本実施形態は変形例を含む第１実施形態の更なる変形例であって、第１実施形態で説明した部材と同一の部材又は同一の機能を有する部材には極力同一の符号を付し、詳しい説明を省略する。

【0050】

図４および図５に示すように、本実施形態に係る光学装置１０は、基本的に第１実施形態と同様の構成である。結像光学素子３２は単レンズで構成されるとした。ただし、この限りではなく、第１実施形態の変形例で説明した組レンズなどを用いてもよい。以下で、単レンズを結像光学素子３２と呼ぶ。

【0051】

本実施形態に係る結像光学素子３２は回転対称であるとする。回転対称とは、対称軸のまわりに回転させたとき、回転角３６０°未満でもとの形状に一致することを意味する。ここで、対称軸は結像光学素子３２の光軸Ｃと一致する。本実施形態は、例えば、光軸Ｃを対称軸とする円柱対称であるとする。

【0052】

波長選択部３４は、結像光学素子３２の対称性に合わせる。つまり、波長選択部３４も回転対称である。本実施形態では、波長選択部３４は円柱対称である。波長選択部３４の厚みは十分に薄くてもよく、この場合は同心円対称と考えることができる。

【0053】

結像光学素子３２は、光軸Ｃに沿って互いに対面する第１の面５２と第２の面５４とを備える。例えば第１の面５２は、第１の領域６２、第２の領域６４、第３の領域６６を備える。また、各領域６２，６４，６６の表面における法線は領域６２，６４間の境界面、及び、領域６４，６６間の境界面において不連続である。つまり、結像光学素子３２は、少なくとも１つの第１の表面５２に、少なくとも２つの領域６２，６４，６６を備え、各領域６２，６４，６６同士の境界の法線Ｎは不連続である。

【0054】

本実施形態において、第１の領域６２は、光軸Ｃを含む領域である。第２の領域６４は、第１の領域６２の外側の円環状の領域である。第３の領域６６は、第２の領域６４の外側の円環状の領域である。第１の領域６２の曲率、第２の領域６４の曲率、第３の領域６６の曲率は、順番に小さくなるとする。これより、本実施形態では、幾何光学により、第１の領域６２の焦点距離ｆ１、第２の領域６４の焦点距離ｆ２、第３の領域６６の焦点距離ｆ３は、順番に大きくなる（ｆ１＜ｆ２＜ｆ３）。

【0055】

図４及び図５に示す結像光学素子３２において、光軸Ｃに沿って無限遠方に物点があるとする。つまり、第１の光線Ｌ１、第２の光線Ｌ２、第３の光線Ｌ３は無限遠方からの光であり、光軸Ｃと平行な光線とした。このとき、各光線Ｌ１，Ｌ２，Ｌ３は、結像光学素子３２の各焦点位置Ｆ１，Ｆ２，Ｆ３に集光する。ここで、結像光学素子３２の第３の領域６６は、第３の光線Ｌ３がイメージセンサー２４上に集光するように、結像光学素子３２とイメージセンサー２４とが配置されている。

【0056】

被写体からの光のうち第１の光線Ｌ１は結像光学素子３２に入射し、結像光学素子３２の第１の面５２の第１の領域６２を通過し、さらに波長選択部３４の第１の波長選択領域４２を通過してイメージセンサー２４に結像される。第１の光線Ｌ１は、第１の波長選択領域４２を通過後に青光（Ｂ）となる。第１の領域６２で構成される結像光学素子３２は第１の焦点距離ｆ１を有しており、第１の光線Ｌ１は無限遠方から光軸Ｃに平行な光であるため、幾何光学のレンズの公式に従って光軸Ｃ上の焦点位置Ｆ１に集光する。

【0057】

被写体からの光のうち第２の光線Ｌ２は結像光学素子３２に入射し、結像光学素子３２の第１の面５２の第２の領域６４を通過し、さらに波長選択部３４の第２の波長選択領域４４を通過してイメージセンサー２４に結像される。第２の光線Ｌ２は、第２の波長選択領域４４を通過後に赤光（Ｒ）となる。第２の領域６４で構成される結像光学素子３２は第２の焦点距離ｆ２を有しており、第２の光線Ｌ２は無限遠方から光軸Ｃに平行な光であるため、幾何光学のレンズの公式に従って光軸Ｃ上の焦点位置Ｆ２に集光する。

【0058】

被写体からの光のうち第３の光線Ｌ３は結像光学素子３２に入射し、結像光学素子３２の第１の面５２の第３の領域６６を通過し、さらに波長選択部３４の第２の波長選択領域４４を通過してイメージセンサー２４に結像される。第３の光線Ｌ３は、第３の波長選択領域４６を通過後に緑光（Ｇ）となる。第３の領域６６で構成される結像光学素子３２は第３の焦点距離ｆ３を有しており、第３の光線Ｌ３は無限遠方から光軸Ｃに平行な光であるため、幾何光学のレンズの公式に従って光軸Ｃ上の焦点位置Ｆ３に集光する。上述したように、結像光学素子３２の第３の領域６６は、第３の光線Ｌ３がイメージセンサー２４上に集光するように形成される。このため、結像光学素子３２の第３の領域６６による第３の光線Ｌ３の集光位置（集光点）Ｆ３は、イメージセンサー２４上に位置する。

【0059】

以上より、第３の光線Ｌ３はイメージセンサー２４上に集光する。一方、第１の光線Ｌ１、第２の光線Ｌ２は、それぞれが通過した結像光学素子３２の表面領域（第１の領域６２、第２の領域６４）に対応する焦点距離（第１の焦点距離ｆ１、第２の焦点距離ｆ２）が、第３の光線Ｌ３に対するもの（第３の焦点距離ｆ３）よりも小さいため、イメージセンサー２４よりも手前側の集光位置Ｆ１，Ｆ２でそれぞれ集光する。

【0060】

本実施形態に係る光学装置１０を用いる被写体の遠近及び／又は距離の推定方法について、図６を用いて説明する。

【0061】

図６に示すように、第１の物体Ｓ１、第２の物体Ｓ２、第３の物体Ｓ３は、順に光学素子アセンブリ２２及びイメージセンサー２４から遠い位置にあるとする。すなわち、第１の物体Ｓ１、第２の物体Ｓ２、第３の物体Ｓ３のうち、第３の物体Ｓ３が光学素子アセンブリ２２及びイメージセンサー２４から最も遠い。第３の物体Ｓ３は光軸Ｃに沿って、実質的に無限遠方に位置するとする。

【0062】

第１の物体Ｓ１の第１の物点Ｏ１はイメージセンサー２４上の第１の像点Ｉ１に結像し、第２の物体Ｓ２の第２の物点Ｏ２はイメージセンサー２４上の第２の像点Ｉ２に結像し、第３の物体Ｓ３の第３の物点Ｏ３はイメージセンサー２４上の第３の像点Ｉ３に結像する。第１の物体Ｓ１の第１の物点Ｏ１はコントラストが高い像が青画像として撮像され、第２の物体Ｓ２の第２の物点Ｏ２はコントラストが高い像が赤画像として撮像され、第３の物体Ｓ３の第３の物点Ｏ３は、コントラストが高い像が緑画像として撮像される。そのため、本実施形態に係る光学装置１０は、同時に３つの異なる奥行距離にある物体の画像を、異なる色画像として取得できる。

【0063】

このため、画像処理部１４は、第１実施形態で説明した図２に示すフローチャートにしたがって、光学素子アセンブリ２２に対する被写体（第１の物体Ｓ１、第２の物体Ｓ２、第３の物体Ｓ３）の距離及び／又は遠近を出力することができる。このように、本実施形態に係る光学装置１０を用いることにより、３つの異なる奥行距離にある物体の画像を色画像ごとに異なるコントラストで同時に取得できる。そして、第１実施形態で説明したように、画像処理部１４は、それぞれの物体の奥行距離、及び、奥行距離の大小関係（結像光学素子３２又は及びイメージセンサー２４に対する遠近）を推定することができる。

【0064】

本実施形態に係る光学素子アセンブリ２２、すなわち、結像光学素子３２および波長選択部３４を回転対称とし、さらに回転対称の一形態である円柱対称とした。これにより、本実施形態に係る光学装置１０を用いることにより、それらの回転角、つまり姿勢に左右されない再現性の高いロバストな画像を取得することができる。

【0065】

ところで、結像光学素子３２によってある物点からイメージセンサー２４上の像点に結像するとき、像点は理想的には点になる。しかし、実際には収差や回折限界、さらには物点の結像位置（物点が結像される位置）からのずれによって少し拡がってしまう。この拡がりを定量的に示すものとして、点拡がり関数（英：Point spread function：ＰＳＦ）がある。物点が結像位置から外れると、その物点は大きくなる性質がある。このＰＳＦは、これを利用して、１つ又は複数の画像からであっても、結像光学素子３２又はイメージセンサー２４から被写体までの距離を推定する手法である（特許文献１、非特許文献１参照）。ただし、ＰＳＦを利用した距離推定は、レンズの焦点距離によって定められる結像位置を基準とし、その結像位置の前後の限られた範囲でのみ有効である。

【0066】

本実施形態では、画像処理部１４は、イメージセンサー２４で取得する各色チャンネルの画像に基づいて、ＰＳＦを利用した距離測定を行う。本実施形態では、結像光学素子３２は、３つの異なる焦点距離ｆ１，ｆ２，ｆ３を同時に有する。そのため、３つの焦点距離ｆ１，ｆ２，ｆ３に対応する、３つの異なる結像位置に対する距離が推定される。このため、画像処理部（プロセッサ）１４は、３つの異なる色チャンネルの画像に対し、ＰＳＦに基づいて独立にそれぞれ距離を推定することができる。

【0067】

本実施形態の場合、画像処理部１４は、少なくとも２つ以上の結像位置（スクリーン位置）において、異なる色画像を同時に取得できる。このため、画像処理部１４は、これら色画像を用いることにより、結像光学素子３２の第１の面５２の領域６２，６４，６６及び第２の面５４に基づく焦点位置によって定められる結像位置の基準を変化させることができ、ＰＳＦの有効範囲を拡大することができる。

【0068】

本実施形態によれば、被写体の遠近及び／又は距離を取得するための光学素子アセンブリ２２、光学装置１０、及び、光学装置１０を用いる被写体の遠近及び／又は距離の推定方法（光学的遠近／距離推定方法）を提供することができる。

【0069】

上述した第１実施形態及び第２実施形態では、イメージセンサー２４は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３つの色の画像を取得する例について説明した。イメージセンサー２４として、例えばハイパースペクトルカメラのように、赤（Ｒ）、緑（Ｇ）、青（Ｂ）だけでなく、他の波長範囲の光線を取得することができるものを用いてもよい。この場合、例えば、第１実施形態で説明した結像光学素子３２の第１の面５２の領域を例えば４つ以上に変化させ、互いに異なる焦点距離を持つ領域を４つ以上形成することにより、より詳細に被写体の距離／遠近を推定することができる。また、例えば第２実施形態で説明した結像光学素子３２の第１の面５２の曲率を例えば４つ以上に変化させ、すなわち、互いに異なる焦点距離を持つ領域を４つ以上形成することにより、より詳細に被写体の距離／遠近を推定することができる。これらの場合も、結像光学素子３２の第１の面５２の各領域と、波長選択部３４の各波長選択領域とは、それぞれ光学的に対向する。

【0070】

また、屈折率はわずかながら波長に依存する。これにより、同じレンズを用いても波長によって焦点距離が変動する。例えば、一般的なガラスは、青光の屈折率が高く、赤光の屈折率が低い。これを利用し、焦点距離の短いレンズに対応する画像を取得するために青光を用い、焦点距離の長いレンズに対応する画像を取得するために赤光を用いてもよい。あるいは、各色に対する焦点距離の相互の位置関係のバランスを取るために、例えば、本実施形態において、緑光と赤光の関係を交換するなどして適宜調整を行ってもよい。

【0071】

焦点距離の短いレンズに対応する画像を取得するために青光を用いると、赤光を用いるのと比べるとレンズの曲率を小さくできる。つまり、レンズの体積が小さくできるのでコストダウンにつながり、レンズの加工も容易になる。一方、焦点距離のより長いレンズを実現するには、青光よりも赤光を用いるとよい。ただし、本実施形態はその限りではない。例えば、遠くに青色を主に反射する被写体があり、近くに赤色を主に反射する被写体がある場合、それに合わせて青色の焦点距離を長くし、赤色の焦点距離を短くしてもよい。このようにすることで、被写体をより明るく撮像できる。また、レンズ面上の各色に対応する領域の不連続な境界は、なるべく滑らかなほうがレンズの加工が容易である。そこで、不連続な境界がなるべく滑らかになるように各色と焦点距離の関係を調整してもよい。

【0072】

以上述べた少なくともひとつの実施形態によれば、被写体の遠近及び／又は距離を取得するための光学素子アセンブリ、光学装置、及び、推定方法（光学的遠近／距離推定方法）を提供することができる。

【0073】

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
以下、この出願の出願時の特許請求の範囲を付記する。
［付記１］
波長選択部と、
結像光学素子と
を備え、
前記波長選択部は、複数の波長選択領域を備え、
前記波長選択部は、前記複数の波長選択領域ごとに異なる波長を射出し、
前記結像光学素子は、異なる複数の領域を備え、
前記結像光学素子の前記複数の領域は、それぞれ異なる焦点距離を持ち、
前記結像光学素子の各領域と、前記波長選択部の各波長選択領域とは、それぞれ光学的に対向する、
光学素子アセンブリ。
［付記２］
被写体上の２つの物点から前記結像光学素子および前記波長選択部を通過してそれぞれの像点に移される光を、第１の光線および第２の光線とし、
前記第１の光線は、前記結像光学素子の第１の領域を通過し、さらに前記波長選択部の第１の波長選択領域を通過し、
前記第２の光線は、前記結像光学素子の第２の領域を通過し、さらに前記波長選択部の第２の波長選択領域を通過する、
付記１に記載の光学素子アセンブリ。
［付記３］
前記結像光学素子は、少なくとも一つのレンズを備え、
前記レンズは、前記レンズの一つの表面に、前記異なる複数の異なる領域を持ち、
前記異なる複数の領域を、第１の領域及び第２の領域とするとき、前記第１の領域と前記第２の領域との境界の法線は不連続に変化する、
付記１又は付記２に記載の光学素子アセンブリ。
［付記４］
前記結像光学素子は回転対称であるとし、
前記波長選択部も前記回転対称と同様の対称性を有する、
付記１乃至付記３のいずれか１に記載の光学素子アセンブリ。
［付記５］
付記１乃至付記４のいずれか１に記載の光学素子アセンブリと、
前記光学素子アセンブリをから射出される光を撮像するイメージセンサーと
を備え、
前記イメージセンサーは少なくとも２つの異なる画素を有し、
前記各画素は、少なくとも２つの色チャンネルを有する、
光学装置。
［付記６］
付記５に記載の光学装置と、
前記光学装置に接続される画像処理部と
を備え、
前記画像処理部は、
前記イメージセンサーで各色チャンネルの画像を取得し、
各色チャンネルの画像において被写体の共通領域におけるコントラストを算出し、
前記各色チャンネルの前記共通領域における前記コントラストに基づいて、前記結像光学素子又は前記イメージセンサーに対する被写体の遠近及び／又は距離を推定する、
プロセッサを含む、
光学装置。
［付記７］
前記プロセッサは、少なくとも２つの異なる色チャンネルに対する画像に対し、点拡がり関数に基づいて独立にそれぞれ、前記結像光学素子又は前記イメージセンサーに対する被写体の距離を推定する、
付記６に記載の光学装置。
［付記８］
付記５乃至付記７のいずれか１に記載の光学装置を用いる被写体の遠近及び／又は距離の推定方法であって、
前記イメージセンサーで各色チャンネルの画像を取得すること、
各色チャンネルの画像において被写体の共通領域におけるコントラストを算出すること、
前記各色チャンネルの前記共通領域における前記コントラストに基づいて、前記結像光学素子又は前記イメージセンサーに対する被写体の遠近及び／又は距離を推定すること
を含む、推定方法。

【符号の説明】

【0074】

１０…光学装置、１２…画像取得部、１４…画像処理部、２２…光学素子アセンブリ、２４…イメージセンサー、３２…結像光学素子、３４…波長選択部、４２…第１の波長選択領域、４４…第２の波長選択領域、４６…第３の波長選択領域、５２…第１の表面（第１の面）、５４…第２の表面（第２の面）、６２…第１の領域、６４…第２の領域、６６…第３の領域

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】