2024-162469 撮像ユニット、撮像方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024162469

(43)【公開日】2024-11-21

(54)【発明の名称】撮像ユニット、撮像方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20241114BHJP

   H04N 5/30 20060101ALI20241114BHJP

【ＦＩ】

G06T7/00 C

H04N5/30

【審査請求】未請求

【請求項の数】2

【出願形態】ＯＬ

(21)【出願番号】P 2023078002

(22)【出願日】2023-05-10

(71)【出願人】

【識別番号】502356528

【氏名又は名称】株式会社ジャパンディスプレイ

(74)【代理人】

【識別番号】110000154

【氏名又は名称】弁理士法人はるか国際特許事務所

(72)【発明者】

【氏名】仲戸川 博人

(72)【発明者】

【氏名】青木 良朗

(72)【発明者】

【氏名】田中 仁

【テーマコード（参考）】

5C024

5L096

【Ｆターム（参考）】

5C024AX06

5C024AX09

5C024CY17

5C024DX06

5L096AA09

5L096CA02

5L096DA01

5L096FA66

(57)【要約】

【課題】測距精度を向上する。
【解決手段】撮像ユニット１００は、光学系への入射光を部分的に遮光する符号化開口パターン１２ａが形成される絞り部１２と、光学系を通過した入射光に基づいて画像データを取得する撮像素子１３と、有する撮像装置１０と、発射光が任意の撮像対象の表面で反射して返ってくるまでの時間を計測するＴＯＦセンサ２０と、撮像素子１３の複数の画素のそれぞれにおける第１奥行き情報を取得する測距結果取得部３０ａと、ＴＯＦセンサ２０の計測結果に基づいて撮像対象の第２奥行き情報を取得する実距離取得部と、第１奥行き情報と第２奥行き情報との関係を環境温度に関連付けて記憶する記憶部と、第１奥行き情報と第２奥行き情報とに基づいて、環境温度を取得する温度取得部３０ｃと、環境温度に基づいて、複数の画素のそれぞれにおいて第１奥行き情報を補正する補正部３０ｄと、を有する。
【選択図】図１

【特許請求の範囲】

【請求項1】

光学系と、該光学系への入射光を部分的に遮光する符号化開口パターンが形成される絞り部と、前記光学系を通過した入射光に基づいて画像データを取得する撮像素子と、を有する撮像装置と、
発射光が任意の撮像対象の表面で反射して返ってくるまでの時間を計測する補正用センサと、
前記撮像素子の複数の画素のそれぞれにおける第１奥行き情報を取得する第１奥行き情報取得部と、
前記補正用センサの計測結果に基づいて前記撮像対象の第２奥行き情報を取得する第２奥行き情報取得部と、
第１奥行き情報と第２奥行き情報との関係を環境温度に関連付けて記憶する記憶部と、
前記第１奥行き情報取得部により取得された前記撮像対象の第１奥行き情報と、前記第２奥行き情報により取得された前記撮像対象の第２奥行き情報とに基づいて、環境温度を取得する温度取得部と、
前記温度取得部が取得した環境温度に基づいて、前記複数の画素のそれぞれにおいて第１奥行き情報を補正する補正部と、
を有する撮像ユニット。

【請求項2】

符号化開口パターンが形成される絞り部を通過した入射光に基づいて画像データを取得すると共に、撮像素子の複数の画素のそれぞれにおける第１奥行き情報を取得する手順と、
発射光が任意の撮像対象の表面で反射して返ってくるまでの時間を計測する補正用センサの計測結果に基づいて前記撮像対象の第２奥行き情報を取得する手順と、
第１奥行き情報と第２奥行き情報との関係を環境温度に関連付けて記憶する記憶部を用いて、前記第１奥行き情報と、前記第２奥行き情報とに基づいて、環境温度を取得する手順と、
前記取得した環境温度に基づいて、前記複数の画素のそれぞれにおいて第１奥行き情報を補正する手順と、
を有する撮像方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像ユニット及び撮像方法に関する。

【背景技術】

【0002】

特許文献１には、符号化撮像法についての解説が記載されている。符号化撮像法は、複雑なパターンのマスクを絞り（符号化絞り）として用い、一般ぼけ関数（ＰＳＦ）やその周波数特性をコントロールすることで、シーンの奥行きを画像のぼけより推定するＤｅｐｔｈ Ｆｒｏｍ Ｄｅｆｏｃｕｓ（ＤＦＤ）と呼ばれる手法が利用できることが記載されている。

【先行技術文献】

【非特許文献】

【0003】

【非特許文献1】長原 一：符号化撮像，情報処理学会研究報告，Vol.2010-CVIM-171，No.14，pp.1-9，2010

【発明の概要】

【発明が解決しようとする課題】

【0004】

ここで、符号化撮像法を用いる撮像装置による測距の精度は、レンズを含む光学系と撮像素子（イメージセンサ）の距離、すなわち焦点距離の精度に依存する。そのため、光学系又は撮像素子が変位してしまうと正確な測距をできない場合がある。光学系又は撮像素子に変位が生じる要因の一つとして、環境温度の変化が挙げられる。

【0005】

本発明は、かかる事情に鑑みてなされたものであり、その目的は、測距精度を向上することである。

【課題を解決するための手段】

【0006】

上記課題を解決すべく、本出願に係る撮像ユニットは、光学系と、該光学系への入射光の一部を遮光する符号化開口パターンが形成される絞り部と、該光学系を通過した入射光に基づいて画像データを取得する撮像素子と、有する撮像装置と、発射光が任意の撮像対象の表面で反射して返ってくるまでの時間を計測する補正用センサと、前記符号化開口パターンに係るぼけ関数に基づいて、前記撮像素子の複数の画素のそれぞれにおける第１奥行き情報を取得する第１奥行き情報取得部と、前記補正用センサの計測結果に基づいて前記撮像対象の第２奥行き情報を取得する第２奥行き情報取得部と、第１奥行き情報と第２奥行き情報との関係を環境温度に関連付けて記憶する記憶部と、前記第１奥行き情報取得部により取得された前記撮像対象の第１奥行き情報と、前記第２奥行き情報により取得された前記撮像対象の第２奥行き情報とに基づいて、環境温度を取得する温度取得部と、前記温度取得部が取得した環境温度に基づいて、前記複数の画素のそれぞれにおいて第１奥行き情報を補正する補正部と、を有する。

【0007】

また、上記課題を解決すべく、本出願に係る撮像方法は、光学系への入射光を部分的に遮光する符号化開口パターンが形成される絞り部を通過した入射光に基づいて画像データを取得すると共に、撮像素子の複数の画素のそれぞれにおける第１奥行き情報を取得する手順と、発射光が任意の撮像対象の表面で反射して返ってくるまでの時間を計測する補正用センサの計測結果に基づいて前記撮像対象の第２奥行き情報を取得する手順と、第１奥行き情報と第２奥行き情報との関係を環境温度に関連付けて記憶する記憶部を用いて、前記第１奥行き情報と、前記第２奥行き情報とに基づいて、環境温度を取得する手順と、前記取得した環境温度に基づいて、前記複数の画素のそれぞれにおいて第１奥行き情報を補正する手順と、を有する。

【図面の簡単な説明】

【0008】

【図1】本実施形態に係る撮像ユニットを模式的に示す模式図である。

【図2】本実施形態における制御部で実現される機能の一例を示す機能ブロック図である。

【図3】撮像装置による測距結果と環境温度の関係の一例を示すグラフである。

【図4】記憶部が格納するテーブルの一例を示す図である。

【図5】画素毎の奥行き情報の補正について説明する図である。

【図6】本実施形態における補正処理のフローチャートを示す図である。

【発明を実施するための形態】

【0009】

本出願において、図面は、説明をより明確にするため、実際の態様に比べ、各部の幅、厚さ、形状等について模式的に表される場合があるが、あくまで一例であって、本発明の解釈を限定するものではない。本明細書と各図において、既出の図に関して説明したものと同様の機能を備えた要素には、同一の符号を付して、重複する説明を省略することがある。

【0010】

［撮像ユニット１００の全体構成の概要］
まず、図１を参照して、本実施形態に係る撮像ユニット１００の全体構成の概要について説明する。図１は、本実施形態に係る撮像ユニットを模式的に示す模式図である。本実施形態に係る撮像ユニット１００は、撮像装置１０及びＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）センサ２０と、それらを収容する筐体Ｈとを含む。また、撮像ユニット１００は、制御部３０と記憶部４０を含む。

【0011】

図１においては、撮像ユニット１００が、撮像ユニット１００からの距離がＤＡである撮像対象Ａと、撮像ユニット１００からの距離がＤＢである撮像対象Ｂと、が表示される画像を取得する際の様子を模式的に示している。なお、距離ＤＡは撮像対象Ａの表面からレンズ１１の中心までの距離であり、距離ＤＢは撮像対象Ｂの表面からレンズ１１の中心までの距離であるとよい。

【0012】

撮像装置１０は、ぼけを観測する符号化撮像法を用いて撮像対象の奥行方向における距離を取得可能なカメラである。撮像装置１０は、デジタルカメラであってもよいし、スマートフォン等に内蔵されるカメラであってもよい。

【0013】

撮像装置１０は、少なくとも１のレンズ１１を含む光学系と、光学系を通過する外光を開口パターンで絞る符号化開口１２ａが形成される絞り部１２と、撮像素子１３とを含む。なお、撮像装置１０は、図１に示す構成に限らず、撮像機能を実現するために一般的なカメラに搭載される種々の構成を有しているとよい。例えば、撮像装置１０は、撮像素子１３への外光の露光量を調整するシャッター等を有しているとよい。

【0014】

レンズ１１は一般的なカメラに用いられるものでよく、焦点距離を調整可能に構成されていてもよい。なお、図１においては、１のレンズ１１を模式的に示すが、光学系は複数のレンズ群を含むとよい。

【0015】

絞り部１２は、レンズ１１に入射される外光を部分的に遮蔽するものである。絞り部１２には符号化開口１２ａが形成されている。撮像ユニット１００においては、符号化開口１２ａが形成される絞り部１２を絞り（符号化絞り）として用い、点拡がり関数（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ、以下単にＰＳＦとも呼ぶ）やその周波数特性をコントロールすることで、シーンの奥行きを画像のぼけより推定するＤｅｐｔｈ ｆｒｏｍ ｄｅｆｏｃｕｓ（ＤＦＤ）と呼ばれる手法を利用している。ＰＳＦはぼけ関数とも呼ばれることがある。絞り部１２は、液晶シャッターであって、符号化開口１２ａの開口パターンを変更可能に構成されていてもよい。

【0016】

撮像素子１３は、一般的なカメラに用いられるＣＭＯＳ（相補型金属酸化膜半導体）センサやＣＣＤ（電荷結合素子）であるとよい。撮像素子１３により検出される画像は、カラー画像であってもよいし、モノクロ画像であってもよい。

【0017】

制御部３０は、少なくとも１つのプロセッサを含む情報処理装置であるとよい。制御部３０は、撮像素子１３により得られた画像データを処理することにより撮像された画像の奥行き情報を取得する。制御部３０は、絞り部１２の符号化開口１２ａの開口パターンに係るぼけ関数に基づく復元処理により、撮像素子１３の複数の画素のそれぞれの奥行き情報を取得可能であるとよい。

【0018】

記憶部４０には、奥行き情報を補正するための情報が格納されている。記憶部４０が記憶する情報については図４を参照して後述する。

【0019】

ＴＯＦセンサ２０は、発射光が撮像対象の表面で反射して返ってくるまでの時間を計測することにより撮像対象の奥行き情報を検出するセンサである。ＴＯＦセンサ２０は、発射光を出射する発光部と、任意の撮像対象の表面で反射して戻ってくる光を受光する受光部を有しているとよい。なお、本実施形態においては、補正用センサとしてＴＯＦセンサ２０を例に挙げて説明するが、これに限られず、他の測距センサであってもよい。例えば、補正用センサとして、超音波測距センサ、赤外線測距センサ、ミリ波レーダなどを用いてもよい。

【0020】

［制御部３０で実現される機能］
図２は、本実施形態における制御部で実現される機能の一例を示す機能ブロック図である。図２で示される各機能はプログラムをコンピュータが実行することで実現される。プログラムはコンピュータに読み取り可能な情報記録媒体に格納されていてもよい。

【0021】

制御部３０においては、第１奥行き情報取得部である測距結果取得部３０ａ、第２奥行き情報取得部である実距離取得部３０ｂ、温度取得部３０ｃ、補正部３０ｄが実現される。

【0022】

測距結果取得部３０ａは、撮像装置１０により測定された測距結果（第１奥行き情報）を取得する。実距離取得部３０ｂは、ＴＯＦセンサ２０により測定された測距結果（第２奥行き情報）を取得する。温度取得部３０ｃは、測距結果取得部３０ａが取得した測距結果と、実距離取得部３０ｂが取得した測距結果とに基づいて環境温度Ｔを取得する。補正部３０ｄは、温度取得部３０ｃが取得した環境温度Ｔに基づいて、撮像素子１３の複数の画素のそれぞれにおける測距結果を補正する。なお、本実施形態において、環境温度Ｔとは、レンズ１１及び撮像素子１３の周辺の気温、又は、その気温や機器の駆動に応じて生じる熱を保持するレンズ１１及び撮像素子１３の温度である。

【0023】

［奥行き情報の補正］
次に、図１～図５を参照して、本実施形態における奥行き情報の補正について説明する。図３は、撮像装置による測距結果と環境温度の関係の一例を示すグラフである。図４は、記憶部が格納するテーブルの一例を示す図である。図５は、画素毎の奥行き情報の補正について説明する図である。

【0024】

ここで、上述の非特許文献１において、下記式（１）が示されている。式（１）は、ぼけの大きさｂを表す式である。

【0025】

【数1】

【0026】

式（１）において、ａは絞りの大きさである。ｐは撮像素子１３とレンズ１１との間の距離である。ｖはレンズ１１と入射光が集光する点との間の距離である。すなわち、ｖは、レンズ１１から像までの距離である。式（１）より、ぼけの程度は、絞りの大きさａ、レンズ１１から像までの距離ｖ、レンズ１１と撮像素子１３との間の距離ｐに基づいて決定される。これら各パラメータが変化してしまうと、ぼけの程度を正確に取得できなくなる。すなわち、撮像装置１０において取得される奥行き情報の精度が低下してしまう。なお、式（１）より、ｖとｐが一致すれば、ぼけの大きさｂは０となる。すなわち、焦点の合った画像が得られることとなる。

【0027】

ここで、本出願の発明者の実験結果により、符号化開口１２ａを用いてぼけを観測することで奥行き情報を取得する撮像装置１０においては、環境温度Ｔによっては正確な奥行き情報を取得できない場合があることが分かった。図３は、実距離Ｄにある撮像対象を、温度を変化させつつ撮像装置１０により測距した結果を示している。

【0028】

図３に示すように、環境温度Ｔ１の環境下において、測距結果はＤであり、実距離Ｄと一致している。環境温度Ｔ２（＞Ｔ１）の環境下において、測距結果はＤ’（＞Ｄ）であり、実距離Ｄよりも長くなっている。環境温度Ｔ３（＞Ｔ１）の環境下において、測距結果Ｄ’’（＞Ｄ’）であり、環境温度Ｔ２の環境下よりもさらに長くなっている。以上のように、環境温度Ｔが高くなるに従い、撮像装置１０による測距結果が実距離よりも長くなっている。これは、環境温度Ｔが高くなるに従い、レンズ１１と撮像素子１３との間の距離が変化したためと考えられる。すなわち、環境温度Ｔによって、レンズ１１や撮像素子１３が膨張又は伸縮することにより、それらの間の距離が変わったためと考えられる。なお、上述の式（１）で示したように、ぼけの大きさはレンズ１１と撮像素子１３との間の距離ｐに依存するものである。

【0029】

そこで、本実施形態においては、予め環境温度Ｔ毎に、撮像装置１０により取得した奥行き情報（測距結果）と、実距離との関係をテーブルとして記憶しておき、当該テーブルに基づいて環境温度Ｔを推定すると共に奥行き情報を補正する構成を採用した。なお、図４に示すテーブルは記憶部４０に記憶されているとよい。

【0030】

実距離とは、撮像装置１０から撮像対象までの実際の距離である。ここで、ＴＯＦセンサ２０は、撮像装置１０と同様に奥行き方向の距離を測定するためのものであるが、撮像装置１０のようにレンズ１１及び撮像素子１３を有すると共に符号化開口１２ａによるぼけを利用した測距手法と異なる手法を用いて測距を行うものである。そのため、ＴＯＦセンサ２０においては環境温度Ｔに依らず、高い精度で奥行き方向の距離を測定することができる。そこで、本実施形態においては、ＴＯＦセンサ２０により取得された奥行き情報を実距離とみなすこととした。

【0031】

本実施形態においては、撮像装置１０により予め測距を行い、環境温度Ｔ毎の測距結果と実距離の関係を取得することにより、図３に示すテーブルを作成する。当該測距は、室温を適宜変更可能な実験室などで行われるとよい。

【0032】

図４に示すように、環境温度Ｔ１の環境下において、測距結果ｄ１であった場合における撮像対象の実距離はＤ１１であった。また、環境温度Ｔ１の環境下において、測距結果ｄ２であった場合における撮像対象の実距離はＤ１２であった。また、環境温度Ｔ１の環境下において、測距結果ｄ３であった場合における撮像対象の実距離はＤ１３であった。図４に示すように、環境温度Ｔ２、Ｔ３においても同様に測距結果と実距離の関係を取得するとよい。

【0033】

以下、図５を参照して、予め記憶部４０に記憶されるテーブルを用いた奥行き情報の補正の一例について説明する。図５においては、奥行き情報の補正前の画素群と、奥行き情報の補正後の画素群を示している。また、図５においては、画素７、８、１２、１３に撮像対象Ａが表示されており、その他の画素に撮像対象Ｂが表示されている例を示している。すなわち、画素７、８、１２、１３は、撮像対象Ａの奥行き情報を含み、その他の画素は、撮像対象Ｂの奥行き情報を含む。

【0034】

ここで、制御部３０は、撮像対象Ａを撮像した際、撮像装置１０による測距結果がｄ１であって、ＴＯＦセンサ２０により取得した実距離がＤ１１であった場合、図４に示すテーブルを参照して、環境温度がＴ１であると判定する。そして、制御部３０は、撮像対象Ａが表示される画素における奥行き情報をＤ１１に補正する。

【0035】

図５に示すように、撮像対象Ａの背景である撮像対象Ｂにおいては、撮像装置１０による測距結果がｄ２であった。このため、制御部３０は、図４に示すテーブルを参照して、撮像対象Ｂの奥行き情報を補正する。具体的には、制御部３０は、環境温度Ｔ１において、測距結果ｄ２であることより、撮像対象Ｂの実距離がＤ１２であると判定する。なお、同様に、制御部３０は、測距結果がｄ３である画素を含む場合、その画素における実距離がＤ１３であると判定するとよい。

【0036】

［フローチャート］
次に、図６を参照して、本実施形態における奥行き情報の補正処理について説明する。図６は、本実施形態における補正処理のフローチャートを示す図である。

【0037】

まず、測距結果取得部３０ａにより、撮像装置１０により取得された画像に含まれる各画素において測距結果である奥行き情報を取得する（Ｓ１）。また、実距離取得部３０ｂにより、ＴＯＦセンサ２０により取得された撮像対象Ａの実距離を取得する（Ｓ２）。なお、Ｓ１とＳ２の順番は逆でもよいし、同じタイミングに行われてもよい。

【0038】

また、温度取得部３０ｃにより、記憶部４０に記憶されるテーブルを参照すると共に、撮像装置１０により取得された複数の画素における撮像対象Ａの奥行き情報と、ＴＯＦセンサ２０により取得された撮像対象Ａの実距離とに基づいて、環境温度を取得する（Ｓ３）。次に、補正部３０ｄにより、取得された環境温度に基づいて、撮像装置１０により取得された画像に含まれる各画素における測距結果である奥行き情報を補正する（Ｓ４）。

【0039】

［まとめ］
以上説明した本実施形態においては、環境温度によらず、高い精度で奥行き情報を取得することができる。また、本実施形態においては、ＴＯＦセンサ２０により取得される撮像対象の実距離に基づいて、撮像装置１０により取得された画像に含まれる全ての画素における奥行き情報を補正することができ、補正の処理負担が小さい。すなわち、ＴＯＦセンサ２０により、撮像装置１０に取得された画像に含まれる複数の画素それぞれにおける実距離を取得する構成と比較して、処理負担が小さい。また、ＴＯＦセンサ２０においては、環境温度によらず実距離に近い測距結果を得られるという特徴がある一方で、外光の影響を受けやすく、また測距可能距離が短いというデメリットがある。本実施形態においては、符号化撮像法による測距とＴＯＦセンサ２０による測距のそれぞれのデメリットを補完することができ、高い精度で奥行き情報を取得することが可能である。

【0040】

なお、本実施形態においては、記憶部４０に図４に示すテーブルが記憶される例を説明したがこれに限られない。例えば、記憶部４０には、測距結果と実距離との関係を表す関数が記憶されていてもよい。その場合、温度取得部３０ｃは、記憶部４０に記憶される関数に基づいて、環境温度を取得するとよい。

【符号の説明】

【0041】

１０ 撮像装置、１１ レンズ、１２ 絞り部、１２ａ 符号化開口、１３ 撮像素子、２０ ＴＯＦセンサ、３０ 制御部、３０ａ 測距結果取得部、３０ｂ 実距離取得部、３０ｃ 温度取得部、３０ｄ 補正部、４０ 記憶部、１００ 撮像ユニット。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】