特開 2024-154174 撮像システムおよび被写体奥行き補正方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024154174

(43)【公開日】2024-10-30

(54)【発明の名称】撮像システムおよび被写体奥行き補正方法

(51)【国際特許分類】

   H04N 23/60 20230101AFI20241023BHJP

   H04N 13/271 20180101ALI20241023BHJP

   G01C 3/00 20060101ALI20241023BHJP

   G01C 3/06 20060101ALI20241023BHJP

   G03B 15/00 20210101ALI20241023BHJP

【ＦＩ】

H04N23/60 500

H04N13/271

G01C3/00 120

G01C3/06 120P

G01C3/06 140

G03B15/00 V

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2023067863

(22)【出願日】2023-04-18

(71)【出願人】

【識別番号】502356528

【氏名又は名称】株式会社ジャパンディスプレイ

(74)【代理人】

【識別番号】110002066

【氏名又は名称】弁理士法人筒井国際特許事務所

(72)【発明者】

【氏名】仲戸川 博人

(72)【発明者】

【氏名】青木 良朗

(72)【発明者】

【氏名】田中 仁

【テーマコード（参考）】

2F112

5C122

【Ｆターム（参考）】

2F112AB10

2F112BA12

2F112BA20

2F112DA13

2F112DA28

2F112FA03

2F112FA07

2F112FA21

2F112FA23

2F112FA25

2F112FA35

2F112FA45

2F112GA01

5C122DA14

5C122EA42

5C122EA59

5C122FH08

5C122GA34

5C122HA08

5C122HA88

5C122HB01

(57)【要約】

【課題】符号化撮像による被写体奥行き推定において、実用性を向上させる。
【解決手段】光学系を有し、光学系から第１の距離だけ離れている基準物体を含む被写体を符号化撮像する撮像装置と、撮像装置による撮像画像を復号化して、被写体の各位置での光学系からの奥行きを推定する奥行き推定部と、推定された基準物体の奥行きと第１の距離とに基づいて、撮像装置の環境温度を求める温度特定部と、求められた環境温度に基づいて、被写体の奥行きを補正する補正部と、を備える撮像システムを提供する。
【選択図】図２

【特許請求の範囲】

【請求項1】

光学系を有し、前記光学系から第１の距離だけ離れている基準物体を含む被写体を符号化撮像する撮像装置と、
前記撮像装置による撮像画像を復号化して、前記被写体の各位置での前記光学系からの奥行きを推定する奥行き推定部と、
推定された前記基準物体の奥行きと前記第１の距離とに基づいて、前記撮像装置の環境温度を求める温度特定部と、
求められた前記環境温度に基づいて、前記被写体の奥行きを補正する補正部と、
を備える撮像システム。

【請求項2】

請求項１に記載の撮像システムにおいて、
複数の環境温度について補正前の奥行きと補正後の奥行きとの関係を表す情報を記憶する記憶部を備え、
前記補正部は、前記情報に基づいて前記被写体の奥行きを補正する、
撮像システム。

【請求項3】

請求項１に記載の撮像システムにおいて、
前記撮像装置および前記基準物体は、車両に設置されている、
撮像システム。

【請求項4】

請求項３に記載の撮像システムにおいて、
前記車両は、自動車である、
撮像システム。

【請求項5】

請求項４に記載の撮像システムにおいて、
前記基準物体は、ポールまたはエンブレムである、
撮像システム。

【請求項6】

撮像装置の光学系から第１の距離だけ離れている基準物体を含む被写体を、前記撮像装置で符号化撮像することにより得られる撮像画像を復号化して、前記被写体の各位置での前記光学系からの奥行きを推定し、
推定された前記基準物体の奥行きと前記第１の距離とに基づいて、前記撮像装置の環境温度を求め、
求められた前記環境温度に基づいて、前記被写体の奥行きを補正する、
被写体奥行き補正方法。

【請求項7】

請求項６に記載の被写体奥行き補正方法において、
複数の環境温度について補正前の奥行きと補正後の奥行きとの関係を表す情報に基づいて、前記被写体の奥行きを補正する、
被写体奥行き補正方法。

【請求項8】

請求項６に記載の被写体奥行き補正方法において、
前記撮像装置および前記基準物体は、車両に設置されている、
被写体奥行き補正方法。

【請求項9】

請求項８に記載の被写体奥行き補正方法において、
前記車両は、自動車である、
被写体奥行き補正方法。

【請求項10】

請求項９に記載の被写体奥行き補正方法において、
前記基準物体は、ポールまたはエンブレムである、
被写体奥行き補正方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像システムおよび被写体奥行き補正方法に関する。

【背景技術】

【0002】

符号化撮像の分野において、ＤＦＤ（Depth From Defocus）と呼ばれる技術が知られている。ＤＦＤ技術は、撮像により得られた画像に写り込んでいるエッジのボケ具合を基に、撮像装置の光学系から被写体までの距離、すなわち被写体の深度あるいは奥行きを推定する技術である。

【0003】

ＤＦＤ技術は、例えば、非特許文献１に記載されている。ＤＦＤ技術では、符号化開口と呼ばれるマスクを光学系の光入射領域に配置して被写体を撮像する符号化撮像が行われる。次いで、符号化撮像により得られた撮像画像に、マスクに固有の点拡がり関数に基づく復号化処理が施され、被写体の奥行きが推定される。なお、点拡がり関数は、一般的に、ＰＳＦ（Point Spread Function）と呼ばれており、ボケ関数、ボケ広がり関数、点像分布関数などとも言われる。

【先行技術文献】

【非特許文献】

【0004】

【非特許文献1】"Coded Aperture Pairs for Depth from Defocus and Defocus Deblurring" C. Zhou, S. Lin and S.K. Nayar, International Journal of Computer Vision, Vol. 93, No. 1, pp. 53, May. 2011.

【発明の概要】

【発明が解決しようとする課題】

【0005】

ＤＦＤ技術は、未だ発展途上にあり、ＤＦＤ技術には、実用性において向上の余地が多く残されている。上記事情により、より実用性の高いＤＦＤ技術が望まれている。

【課題を解決するための手段】

【0006】

本願において開示される発明のうち、代表的なものの概要を説明すれば、次の通りである。

【0007】

本願発明の代表的な一実施形態は、光学系を有し、前記光学系から第１の距離だけ離れている基準物体を含む被写体を符号化撮像する撮像装置と、前記撮像装置による撮像画像を復号化して、前記被写体の各位置での前記光学系からの奥行きを推定する奥行き推定部と、推定された前記基準物体の奥行きと前記第１の距離とに基づいて、前記撮像装置の環境温度を求める温度特定部と、求められた前記環境温度に基づいて、前記被写体の奥行きを補正する補正部と、を備える撮像システムである。

【0008】

また、本願発明の代表的な他の一実施形態は、撮像装置の光学系から第１の距離だけ離れている基準物体を含む被写体を、前記撮像装置で符号化撮像することにより得られる撮像画像を復号化して、前記被写体の各位置での前記光学系からの奥行きを推定し、推定された前記基準物体の奥行きと前記第１の距離とに基づいて、前記撮像装置の環境温度を求め、求められた前記環境温度に基づいて、前記被写体の奥行きを補正する、被写体奥行き補正方法である。

【図面の簡単な説明】

【0009】

【図1】実施形態１に係る撮像システムの設置例を概略的に示す図である。

【図2】撮像システムの構成の一例を示す図である。

【図3】演算制御処理装置の構成の一例を示す図である。

【図4】演算制御処理装置が有する機能ブロックの一例を示す図である。

【図5】基準物体の実際の距離と基準物体の奥行き推定値と環境温度との関係の一例を示す図である。

【図6】被写体の実際の距離と被写体の奥行き推定値と環境温度との関係の一例を示す図である。

【図7】奥行き補正用情報としてのテーブルの一例を示す図である。

【図8】撮像システムにおける動作の流れの一例を示すフロー図である。

【発明を実施するための形態】

【0010】

本願発明の各実施形態を説明する前に、ＤＦＤ技術の基礎的な内容と本発明者らが発見した課題について説明する。

【0011】

撮像画像における被写体のボケの態様は、一般的に、撮像装置の光学系、光学系の光入射領域の形状などによって定まる点拡がり関数に依存する。光学系の光入射領域に、光を部分的に遮蔽するマスクが設置された場合、点拡がり関数は、マスク別に定まる。マスクが設置された撮像装置で被写体を撮像することは、符号化撮像と呼ばれる。被写体を符号化撮像すると、使用したマスクに固有の点拡がり関数に基づいてボケた画像が、撮像画像として取得される。

【0012】

この撮像画像であるボケた画像に対して、使用したマスクに固有の点拡がり関数に基づく逆畳み込みを行う復号化処理が施されると、ボケが改善された復号化画像と、復号化画像に含まれる被写体の各位置に対応する物体の奥行き情報とが得られる。

【0013】

一方、本発明者らは、上記の如く、撮像装置により被写体を符号化撮像して得られた撮像画像に復号化処理を施して、被写体の各位置での奥行きを推定する場合において、次に説明する課題があることを見出した。

【0014】

本発明者らは、ＤＦＤ技術の研究開発により、被写体の奥行きの推定値が撮像装置の環境温度によって変化することを突き止めた。この現象は、撮像装置が有するマスク、光学系、撮像素子などの特性が温度によって変化し、その特性の変化が撮像画像に反映されるためであると考えられる。

【0015】

上記事情により、ＤＦＤ技術において、撮像装置の環境温度に寄らず被写体の奥行きの推定精度を高い精度で安定させることができる技術が望まれている。

【0016】

本発明者らは、上記事情に鑑み、鋭意検討の結果、本願発明を考案した。以下に、本願発明の実施形態について説明する。なお、以下で説明する実施形態は、本願発明を実施するための一例であり、本願発明の技術的範囲を限定するものではない。また、以下の実施形態において、同一の機能を有する構成要素には同一の符号を付し、その繰り返しの説明は、特に必要な場合を除き省略する。

【0017】

（実施形態１）
本願の実施形態１に係る撮像システムについて説明する。本願の実施形態１に係る撮像システムは、光学系を有し、光学系から第１の距離だけ離れている基準物体を含む被写体を符号化撮像する撮像装置と、撮像装置による撮像画像を復号化して、被写体の各位置での光学系からの奥行きを推定する奥行き推定部と、推定された基準物体の奥行きと第１の距離とに基づいて、撮像装置の環境温度を求める温度特定部と、求められた環境温度に基づいて、被写体の奥行きを補正する補正部と、を備える撮像システムである。本撮像システムの詳細は、下記の通りである。

【0018】

図１は、実施形態１に係る撮像システム１の設置例を概略的に示す図である。なお、図中のｚ方向は、自動車１００の前進側の進行方向である。

【0019】

図１に示すように、撮像システム１は、車両である自動車１００に設置されている。撮像システム１は、自動車１００の走行方向すなわち前方にある被写体９０を符号化撮像するように構成されている。自動車１００の前方側には、撮像システム１が撮像可能な画角内に入るように基準物体１０１が設置されている。したがって、撮像システム１は、基準物体１０１を含む被写体９０を符号化撮像する。基準物体１０１は、被写体９０の奥行き推定値を補正する際に必要な環境温度を特定するために用いられる。

【0020】

図２は、撮像システム１の構成の一例を示す図である。図２に示すように、撮像システム１は、撮像装置２、および演算制御処理装置３を有している。

【0021】

撮像装置２は、撮像システム１の一部として、車両である自動車１００に設置されている。撮像装置２は、マスク２１、光学系２２、および撮像素子２３を有している。

【0022】

マスク２１は、特定の幾何学的な開口パターンを有しており、被写体９０から光学系２２に入射して撮像素子２３に到達する光のフィルタとして機能する。マスク２１は、光学系２２と撮像素子２３との間に設置されてもよい。なお、マスク２１は、符号化開口とも呼ばれる。

【0023】

光学系２２は、被写体９０から入射してきた光を撮像素子２３の受光面２３ａに集光して結像させる。光学系２２は、例えば、レンズである。レンズは、単レンズまたは複合レンズであってもよいし、単焦点レンズまたはズームレンズであってもよい。

【0024】

撮像素子２３は、受光面２３ａを有しており、その受光面２３ａは２次元的に配置された複数の光電変換素子により構成される。撮像素子２３は、受光面２３ａで受光した光Ｌをその強度に応じた電気信号に変換し、その電気信号に基づく画像データを演算制御処理装置３に出力する。なお、撮像素子２３は、光電変換された電気信号を演算制御処理装置３に出力し、演算制御処理装置３が、その電気信号に基づいて画像データを得るようにしてもよい。なお、撮像素子２３は、イメージセンサとも呼ばれる。

【0025】

撮像装置２は、その撮像装置２に固有の点拡がり関数を有している。点拡がり関数は、被写体上の点像が撮像画像においてどのようにボケて現れるかを定める関数であり、マスク２１、光学系２２、撮像素子２３の組合せによって定まる。

【0026】

基準物体１０１は、光学系２２から自動車１００の前方側に第１の距離Ｄ１だけ離れた位置に設置されている。光学系２２と基準物体１０１との位置関係は、符号化撮像時において常に固定され維持されている。すなわち、光学系２２と基準物体１０１との間の距離である第１の距離Ｄ１（以下、実際の距離Ｄ１ともいう）は予め分かっており、自動車１００の振動等に伴う微小な変動を除いて基本的に不変である。

【0027】

基準物体１０１は、例えば、自動車１００のフロントコーナーに設けられるポール、またはボンネットの先端に設けられるエンブレムなどである。なお、ポール、エンブレムなどは、自動車に既設のものである場合がある。したがって、基準物体１０１として既設のポールまたはエンブレムを用いる場合、本撮像システム１のために基準物体を追加で設ける必要がないため、作業的あるいは金銭的なコストを低減することが可能である。

【0028】

演算制御処理装置３は、符号化撮像により得られた撮像画像Ｐ１に復号化処理を施す。演算制御処理装置３は、この復号化処理の実施により、被写体９０のボケが改善された復号化画像と、被写体９０の各位置での光学系からの奥行き推定値とを得る。演算制御処理装置３は、得られた被写体９０の奥行き推定値に含まれる基準物体１０１の奥行き推定値と、光学系２２から基準物体１０１までの実際の距離Ｄ１とに基づいて、撮像装置２の環境温度を特定する。そして、演算制御処理装置３は、特定された環境温度に基づいて被写体９０の奥行き推定値を補正する。演算制御処理装置３は、復号化画像に補正済みの奥行き推定値を対応付けてデプスマップＤＭを生成し、そのデプスマップＤＭを外部装置４等に出力する。

【0029】

図３は、演算制御処理装置３の構成の一例を示す図である。本実施形態において、演算制御処理装置３は、コンピュータであり、プロセッサ３０１、メモリ３０２、インタフェース３０３、および通信バス３０４を有している。プロセッサ３０１、メモリ３０２、およびインタフェース３０３は、通信バス３０４を介して互いに通信可能に接続されている。なお、演算制御処理装置３の少なくとも一部は、ＦＰＧＡ（Field Programmable Gate Array）、ＡＳＩＣ（Application Specific Integrated Circuit）などの半導体デバイスにより構成されてもよい。

【0030】

プロセッサ３０１は、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＭＣＵ（Micro Controller Unit）、ＧＰＵ（Graphics Processing Unit）などである。プロセッサ３０１は、各種の演算、各種の処理を実行する。

【0031】

メモリ３０２は、例えば、半導体記憶デバイス、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）などである。メモリ３０２は、プログラムＰを格納している。プロセッサ３０１がメモリ３０２に格納されているプログラムＰを読み出して実行することにより、コンピュータは各種の機能ブロックとして機能する。

【0032】

インタフェース３０３は、撮像素子２３から撮像画像を表す電気信号もしくは画像データを受信したり、被写体９０の奥行き情報、例えばデプスマップＤＭを外部に出力したりする。

【0033】

図４は、演算制御処理装置３が有する機能ブロックの一例を示す図である。当該機能ブロックは、前述の通り、プロセッサ３０１がプログラムＰを実行することにより実現される。図４に示すように、演算制御処理装置３は、機能ブロックとして、制御部３１、奥行き推定部３２、温度特定部３３、補正部３４、デプスマップ生成部３５、および補正用データ記憶部３６を有している。

【0034】

制御部３１は、符号化撮像による撮像画像Ｐ１の受信、撮像画像Ｐ１の復号化による復号化画像Ｍ１と被写体奥行き推定値ｄｊの取得、環境温度Ｔの特定、奥行き推定値ｄｊの補正、デプスマップＤＭの生成などが行われるように、各部を制御する。

【0035】

奥行き推定部３２は、制御部３１からの制御に応じて、撮像素子２３から符号化撮像により得られる撮像画像Ｐ１を受信する。また、奥行き推定部３２は、受信された撮像画像Ｐ１に復号化処理を施す。撮像画像Ｐ１の復号化処理は、マスク２１の開口パターン、光学系２２、撮像素子２３などで定まる点拡がり関数に基づく逆畳み込みによる処理である。撮像画像Ｐ１の復号化処理が行われると、ボケが改善された被写体９０の画像である復号化画像Ｍ１と、被写体９０の光学系２２からの奥行き推定値ｄｊとが得られる。なお、本明細書において、この奥行き推定値ｄｊは、被写体９０の各位置での奥行き推定値の集合を表すものとする。

【0036】

温度特定部３３は、制御部３１からの制御に応じて、被写体９０の奥行き推定値ｄｊに含まれる基準物体１０１の奥行き推定値ｄｋと、光学系２２から基準物体１０１までの実際の距離Ｄ１とに基づき、撮像装置２の環境温度Ｔを特定する。本実施例では、補正用データ記憶部３６が、基準物体１０１の奥行き推定値ｄｋと環境温度Ｔとの対応関係を表す情報である温度特定用情報Ａを記憶している。温度特定部３３は、補正用データ記憶部３６に記憶されている当該温度特定用情報Ａを参照して、得られた基準物体１０１の奥行き推定値ｄｋに対応した環境温度Ｔを特定する。

【0037】

ここで、環境温度の特定方法について説明する。
図５は、基準物体の実際の距離Ｄ１と基準物体の奥行き推定値ｄｋと環境温度Ｔとの関係の一例を示す図である。

【0038】

基準物体１０１の奥行き推定値ｄｋは、図５に示すように、基準物体１０１の実際の距離Ｄ１，環境温度Ｔをパラメータとする関数ｇで表すことができ、下記の式（１）によって定義することができる。
ｄｋ＝ｇ（Ｄ１，Ｔ） ・・・（１）

【0039】

また、式（１）に基づいて、環境温度Ｔは、基準物体１０１の実際の距離Ｄ１，基準物体１０１の奥行き推定値ｄｋをパラメータとする関数ｈで表すことができ、下記の式（２）を導出することができる。
Ｔ＝ｈ（Ｄ１，ｄｋ） ・・・（２）

【0040】

つまり、基準物体１０１の実際の距離Ｄ１と基準物体１０１の奥行き推定値ｄｋとが分かれば、図５に示すような実際の距離Ｄ１と基準物体の奥行き推定値ｄｋと環境温度Ｔとの関係から、環境温度Ｔを求めることができる。基準物体１０１の実際の距離Ｄ１は予め分かっているので、基準物体１０１の奥行き推定値ｄｋが分かれば、環境温度Ｔを一意的に定めることができる。

【0041】

図５に示すような、実際の距離Ｄ１と基準物体１０１の奥行き推定値ｄｋと環境温度Ｔとの関係は、実験的に予め求めておくことができる。補正用データ記憶部３６は、当該関係を表す情報である温度特定用情報Ａをテーブルまたは関数として記憶している。

【0042】

温度特定部３３は、基準物体１０１の実際の距離Ｄ１と奥行き推定値ｄｋとに基づき、補正用データ記憶部３６に記憶されている温度特定用情報Ａを参照して、撮像装置２の環境温度Ｔを特定する。

【0043】

補正部３４は、制御部３１からの制御に応じて、被写体９０の各位置について、特定された環境温度Ｔと奥行き推定値ｄｊとに基づいて奥行き推定値ｄｊを補正して、補正後の奥行き推定値ｄｒを得る。

【0044】

ここで、奥行き推定値の補正方法について説明する。
図６は、被写体の実際の距離Ｄｒと被写体の奥行き推定値ｄｊと環境温度Ｔとの関係の一例を示す図である。

【0045】

被写体９０の奥行き推定値ｄｊは、図６に示すように、被写体９０の実際の距離Ｄｒ，環境温度Ｔをパラメータとする関数ｇで表すことができ、下記の式（３）によって定義することができる。
ｄｊ＝ｇ（Ｄｒ，Ｔ） ・・・（３）

【0046】

また、式（３）に基づいて、被写体９０の各位置での実際の距離Ｄｒは、奥行き推定値ｄｊ，環境温度Ｔをパラメータとする関数ｆで表すことができ、下記の式（４）を導出することができる。
Ｄｒ＝ｆ（ｄｊ，Ｔ） ・・・（４）

【0047】

つまり、被写体９０の奥行き推定値ｄｊと環境温度Ｔとが分かれば、図６に示すような実際の距離Ｄｒと奥行き推定値ｄｊと環境温度Ｔとの関係から、実際の距離Ｄｒを求めることができる。

【0048】

図６に示すような、実際の距離Ｄｒと奥行き推定値ｄｊと環境温度Ｔとの関係は、実験的に予め求めておくことができる。補正用データ記憶部３６は、当該関係を表す情報である奥行き補正用情報Ｂをテーブルまたは関数として記憶している。

【0049】

補正部３４は、被写体９０の各位置について、環境温度Ｔと被写体９０の奥行き推定値ｄｊとに基づき、補正用データ記憶部３６に記憶されている奥行き補正用情報Ｂを参照して、被写体９０の実際の距離Ｄｒを特定する。
そして、補正部３４は、特定された実際の距離Ｄｒを、補正後の奥行き推定値ｄｒとする。

【0050】

図７は、奥行き補正用情報ＢとしてのテーブルＴＢの一例を示す図である。図７に示すように、テーブルＴＢでは、例えば、被写体９０の奥行き推定値ｄｊとして取り得る値、ｄｊ０，ｄｊ１，・・・，ｄｊｎ，・・・ｄｊＭと、環境温度Ｔとして取り得る値、Ｔ０，Ｔ１，Ｔ２，・・・，Ｔｎ，・・・，ＴＭとが用意される。そして、用意された被写体９０の奥行き推定値ｄｊｎと環境温度Ｔｎとの任意の組合せごとに、実際の距離Ｄｒ（ｄｊｎ，Ｔｎ）が対応付けられる。テーブルＴＢは、複数の環境温度Ｔｎについて、補正前の奥行き推定値ｄｊｎと補正後の奥行き推定値ｄｒｎとなる実際の距離Ｄｒｎとの関係を表す情報である。このようなテーブルＴＢを奥行き補正用情報Ｂとして補正用データ記憶部３６に記憶させてもよい。

【0051】

デプスマップ生成部３５は、制御部３１からの制御に応じて、復号化画像Ｍ１に含まれる被写体９０の各位置に、補正後の奥行き推定値ｄｒを対応付けてマップ化したデプスマップＤＭを生成する。また、デプスマップ生成部３５は、生成されたデプスマップＤＭを外部装置４等に出力する。

【0052】

補正用データ記憶部３６は、補正用データを記憶する。補正用データとしては、基準物体１０１の奥行き推定値に基づいて環境温度Ｔを特定するのに用いる温度特定用情報Ａと、被写体の奥行き推定値と環境温度Ｔとに基づいて奥行き推定値ｄｊを補正するのに用いる奥行き補正用情報Ｂとが含まれる。上述したように、温度特定用情報Ａは、基準物体１０１の奥行き推定値ｄｋと環境温度Ｔとの関係を表す情報である。また、奥行き補正用情報Ｂは、実際の距離Ｄｒと奥行き推定値ｄｊと環境温度Ｔとの関係を表す情報である。

【0053】

なお、実際の距離Ｄｒと奥行き推定値ｄｊと環境温度Ｔとの関係は、奥行き推定値ｄｊと環境温度Ｔの取り得る組合せのほぼすべてについて、補正用データ記憶部３６に記憶させてもよい。しかしながら、この場合には、記憶させる情報が膨大になるため、大容量のメモリが必要になり、コストが増大する。そこで、補正用データ記憶部３６は、奥行き推定値ｄｊと環境温度Ｔとの組合せに対応した情報を部分的に記憶し、記憶されていない組合せについては、記憶している情報を補間して補うようにしてもよい。

【0054】

以下、撮像システム１における動作の流れについて説明する。
図８は、撮像システム１における動作の流れの一例を示すフロー図である。

【0055】

図８に示すように、ステップＳ１では、符号化撮像する処理が行われる。具体的には、奥行き推定部３２が、制御部３１からの制御に応じて、撮像素子２３から画像データを読み出すことにより被写体９０の符号化撮像を実施し、撮像画像を得る。

【0056】

ステップＳ２では、撮像画像を復号化する処理が行われる。具体的には、奥行き推定部３２が、制御部３１からの制御に応じて、撮像画像Ｐ１に復号化処理を施し、被写体９０の復号化画像Ｍ１と、被写体９０の各位置での奥行き推定値ｄｊとを求める。求められた被写体９０の各位置での奥行き推定値ｄｊの中には、基準物体１０１の奥行き推定値ｄｋが含まれている。

【0057】

ステップＳ３では、環境温度を特定する処理が行われる。具体的には、温度特定部３３が、基準物体１０１の実際の距離Ｄ１と基準物体１０１の奥行き推定値ｄｋとに基づき、基準物体１０１の実際の距離Ｄ１と基準物体１０１の奥行き推定値ｄｋと環境温度Ｔとの関係、すなわち温度特定用情報Ａを参照して、撮像装置２の環境温度Ｔを特定する。

【0058】

ステップＳ４では、被写体の奥行き推定値を補正する処理が行われる。具体的には、補正部３４が、制御部３１からの制御に応じて、実際の距離Ｄｒと奥行き推定値ｄｊと環境温度Ｔとの関係、すなわち奥行き補正用情報Ｂを参照して、被写体９０の光学系２２からの実際の距離Ｄｒを求め、この実際の距離Ｄｒを補正後の奥行き推定値ｄｒとする。当該補正は、被写体９０の各位置での奥行き推定値について行われる。

【0059】

ステップＳ５では、補正後の奥行き推定値でデプスマップを生成する処理が行われる。具体的には、デプスマップ生成部３５が、制御部３１からの制御に応じて、復号化によって得られた復号化画像Ｍ１の各位置に、被写体９０の各位置での補正後の奥行き推定値ｄｒを対応付けて、デプスマップＤＭを生成する。

【0060】

ステップＳ６では、デプスマップを出力する処理が行われる。具体的には、デプスマップ生成部３５が、制御部３１からの制御に応じて、生成されたデプスマップＤＭを外部装置４等に出力する。外部装置４は、例えば、自動車１００の運転支援装置などである。外部装置４が運転支援装置である場合には、自動車１００の前方にある障害物、前走車までの距離などを検知して、その検知情報を自動車１００の自動ブレーキ、クルーズコントロールなどに利用することができる。

【0061】

ステップＳ７では、処理を停止させる事由があるか否かを判定する処理が行われる。具体的には、制御部３１が、処理を停止させる事由（以下、処理停止事由ともいう）が有るか否かを判定する。例えば、ユーザまたは外部装置４から処理を停止する指令が入力されていたり、何らかのエラーが発生していたりする場合には、処理停止事由があると判定される。当該指令あるいはエラーがない場合には、処理停止事由はないと判定される。制御部３１は、処理停止事由があると判定された場合（Ｓ７：Ｙｅｓ）には、処理を終了し、処理停止事由がないと判定された場合（Ｓ７：Ｎｏ）には、処理ステップをＳ１に戻して処理を継続させる。

【0062】

このような本実施形態によれば、撮像システム１は、まず、撮像装置２の光学系２２からの距離が予め分かっている基準物体１０１を含む被写体９０を符号化撮像し、撮像画像Ｐ１の復号化により被写体９０の奥行き推定値ｄｊを求める。基準物体１０１の奥行き推定値ｄｋと撮像装置２の環境温度Ｔとの関係は、光学系２２から基準物体１０１までの第１の距離Ｄ１に基づいて実験的に求められる。撮像システム１では、基準物体１０１の奥行き推定値ｄｋに基づき、撮像装置２の環境温度Ｔを特定し、被写体９０の奥行き推定値ｄｊを、特定された環境温度Ｔに基づき補正する。

【0063】

撮像システム１のこのような処理により、撮像装置２の環境温度Ｔが変化しても、補正された適正な被写体９０の奥行き推定値ｄｒを高い精度で安定的に求めることができ、より実用性の高いＤＦＤ技術を実現させることができる。

【0064】

なお、撮像システム１における処理フローに従った被写体奥行き推定値補正方法もまた、本発明の一実施形態である。すなわち、撮像装置の光学系から第１の距離だけ離れている基準物体を含む被写体を、撮像装置で符号化撮像することにより得られる撮像画像を復号化して、被写体の各位置での光学系からの奥行きを推定し、推定された基準物体の奥行きと第１の距離とに基づいて、撮像装置の環境温度を求め、求められた環境温度に基づいて、被写体の奥行きを補正する、被写体奥行き補正方法は、本発明の一実施形態である。

【0065】

また、コンピュータを、奥行き推定部３２、温度特定部３３、および補正部３４として機能させるためのプログラム、当該プログラムを非一時的に記憶する有体のコンピュータ読み取り可能な記憶媒体もまた、本発明の一実施形態である。

【0066】

以上、本発明の各種実施形態について説明したが、本発明は上記した実施形態に限定されるものではなく、様々な変形例が含まれる。また、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。これらは全て本発明の範疇に属するものである。さらに文中や図中に含まれる数値等もあくまで一例であり、異なるものを用いても本発明の効果を損なうものではない。

【0067】

例えば、上記実施形態では、撮像システム１を自動車に設置した例であるが、撮像システム１は、自動車以外の車両、例えば、鉄道やモノレールの列車、自動二輪車、自転車等に設置してもよい。撮像システム１は、このような設置例においても、上記実施形態と同様の効果を奏し、例えば、運転支援技術に利用することができる。

【符号の説明】

【0068】

１…撮像システム、２…撮像装置、３…演算制御処理装置、４…外部装置、２１…マスク、２２…光学系、２３…撮像素子、２３ａ…受光面、３１…制御部、３２…奥行き推定部、３３…温度特定部、３４…補正部、３５…デプスマップ生成部、３６…補正用データ記憶部、９０…被写体、１００…自動車、１０１…基準物体、３０１…プロセッサ、３０２…メモリ、３０３…インタフェース、３０４…通信バス、Ｐ…プログラム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】