ホーム > 特許ランキング > 株式会社ジャパンディスプレイ
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024166789
(43)【公開日】2024-11-29
(54)【発明の名称】デプスマップの生成装置、生成方法、及びプログラム
(51)【国際特許分類】
G06T 7/55 20170101AFI20241122BHJP
G06V 10/30 20220101ALI20241122BHJP
H04N 23/55 20230101ALI20241122BHJP
H04N 23/60 20230101ALI20241122BHJP
【ＦＩ】
G06T7/55
G06V10/30
H04N23/55
H04N23/60 500
【審査請求】未請求
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2023083130
(22)【出願日】2023-05-19
(71)【出願人】
【識別番号】502356528
【氏名又は名称】株式会社ジャパンディスプレイ
(74)【代理人】
【識別番号】110000154
【氏名又は名称】弁理士法人はるか国際特許事務所
(72)【発明者】
【氏名】田中 仁
(72)【発明者】
【氏名】青木 良朗
(72)【発明者】
【氏名】仲戸川 博人
【テーマコード（参考）】
5C122
5L096
【Ｆターム（参考）】
5C122DA13
5C122DA30
5C122EA06
5C122EA22
5C122FA06
5C122FH10
5C122FH11
5C122FH15
5C122FH23
5C122HA13
5C122HA35
5C122HA88
5C122HB01
5C122HB05
5C122HB06
5C122HB10
5L096AA09
5L096CA18
5L096EA05
5L096FA66
5L096GA19
5L096GA51
5L096JA03
(57)【要約】 （修正有）
【課題】本来表示されるべき推定デプスがデプスマップから除かれるという問題を抑えることができるデプスマップ生成装置を提供する。
【解決手段】デプスマップ生成装置において、制御部１１のデプス算出部１１ｃは、デプスマップを構成する複数の単位領域（例えば、画素）のそれぞれについて、デプスを算出する。分割部１１ｄは、キャプチャ画像に対応する画像領域を複数の部分領域に分割する。ノイズ除去部１１ｅは、第１部分領域に含まれる複数の単位領域について算出された推定デプスｄ０から、第１パラメータを利用してノイズを除去する。また、ノイズ除去部１１ｅは、第２部分領域Ａ２に含まれる複数の単位領域について算出された推定デプスｄ０から、第２パラメータを利用してノイズを除去する。
【選択図】図３
【解決手段】デプスマップ生成装置において、制御部１１のデプス算出部１１ｃは、デプスマップを構成する複数の単位領域（例えば、画素）のそれぞれについて、デプスを算出する。分割部１１ｄは、キャプチャ画像に対応する画像領域を複数の部分領域に分割する。ノイズ除去部１１ｅは、第１部分領域に含まれる複数の単位領域について算出された推定デプスｄ０から、第１パラメータを利用してノイズを除去する。また、ノイズ除去部１１ｅは、第２部分領域Ａ２に含まれる複数の単位領域について算出された推定デプスｄ０から、第２パラメータを利用してノイズを除去する。
【選択図】図３
【特許請求の範囲】
【請求項1】
符号化開口を通してキャプチャされたキャプチャ画像からデプスマップを生成するデプスマップの生成装置であって、
前記デプスマップを構成する複数の単位領域のそれぞれについて、デプスを算出するデプス算出部と、
前記キャプチャ画像に対応する画像領域を、少なくとも第１部分領域と第２部分領域とを含む複数の部分領域に分割する分割部と、
前記第１部分領域に含まれる複数の単位領域について算出されたデプスから、第１パラメータを利用してノイズを除去し、前記第２部分領域に含まれる複数の単位領域について算出されたデプスから、第２パラメータを利用してノイズを除去するノイズ除去部と
を含むデプスマップの生成装置。
前記デプスマップを構成する複数の単位領域のそれぞれについて、デプスを算出するデプス算出部と、
前記キャプチャ画像に対応する画像領域を、少なくとも第１部分領域と第２部分領域とを含む複数の部分領域に分割する分割部と、
前記第１部分領域に含まれる複数の単位領域について算出されたデプスから、第１パラメータを利用してノイズを除去し、前記第２部分領域に含まれる複数の単位領域について算出されたデプスから、第２パラメータを利用してノイズを除去するノイズ除去部と
を含むデプスマップの生成装置。
【請求項2】
前記ノイズ除去部は、
各単位領域について算出されたデプスの精度を示す精度評価値を算出し、
前記第１部分領域中の各単位領域について算出された前記精度評価値と前記第１パラメータとに基づいて、前記第１部分領域の各単位領域について算出されたデプスがノイズであるか否かを判定し、
前記第２部分領域中の各単位領域について算出された前記精度評価値と前記第２パラメータとに基づいて、前記第２部分領域の各単位領域について算出されたデプスがノイズであるか否かを判定する
請求項１に記載されるデプスマップの生成装置。
各単位領域について算出されたデプスの精度を示す精度評価値を算出し、
前記第１部分領域中の各単位領域について算出された前記精度評価値と前記第１パラメータとに基づいて、前記第１部分領域の各単位領域について算出されたデプスがノイズであるか否かを判定し、
前記第２部分領域中の各単位領域について算出された前記精度評価値と前記第２パラメータとに基づいて、前記第２部分領域の各単位領域について算出されたデプスがノイズであるか否かを判定する
請求項１に記載されるデプスマップの生成装置。
【請求項3】
前記第１パラメータと前記第２パラメータはノイズ判定のための閾値であり、
前記ノイズ除去部は、
前記第１部分領域中の各単位領域について算出された前記精度評価値と前記第１パラメータとの比較結果に基づいて、前記第１部分領域の各単位領域について算出されたデプスがノイズであるか否かを判定し、
前記第２部分領域中の各単位領域について算出された前記精度評価値と前記第２パラメータとの比較結果に基づいて、前記第２部分領域の各単位領域について算出されたデプスがノイズであるか否かを判定する
請求項２に記載されるデプスマップの生成装置。
前記ノイズ除去部は、
前記第１部分領域中の各単位領域について算出された前記精度評価値と前記第１パラメータとの比較結果に基づいて、前記第１部分領域の各単位領域について算出されたデプスがノイズであるか否かを判定し、
前記第２部分領域中の各単位領域について算出された前記精度評価値と前記第２パラメータとの比較結果に基づいて、前記第２部分領域の各単位領域について算出されたデプスがノイズであるか否かを判定する
請求項２に記載されるデプスマップの生成装置。
【請求項4】
前記ノイズ除去部は、
前記第１部分領域中の複数の単位領域について算出された複数の前記精度評価値に基づいて前記第１パラメータを設定し、
前記第２部分領域中の複数の単位領域について算出された複数の前記精度評価値に基づいて前記第２パラメータを設定する
請求項２に記載されるデプスマップの生成装置。
前記第１部分領域中の複数の単位領域について算出された複数の前記精度評価値に基づいて前記第１パラメータを設定し、
前記第２部分領域中の複数の単位領域について算出された複数の前記精度評価値に基づいて前記第２パラメータを設定する
請求項２に記載されるデプスマップの生成装置。
【請求項5】
前記デプス算出部は、
離散的に設定された複数の参照デプスにそれぞれ対応し且つ前記符号化開口の開口パターンに対応している複数のＰＳＦを取得し、
前記複数のＰＳＦをそれぞれ利用して前記キャプチャ画像から再生された複数の参照デプス復元画像と、前記キャプチャ画像とに基づいて、前記参照デプスと実際のデプスとの乖離度合いを表す乖離値を、各単位領域について算出し、
前記乖離値に基づいて、各単位領域についてデプスを算出する
請求項１に記載されるデプスマップの生成装置。
離散的に設定された複数の参照デプスにそれぞれ対応し且つ前記符号化開口の開口パターンに対応している複数のＰＳＦを取得し、
前記複数のＰＳＦをそれぞれ利用して前記キャプチャ画像から再生された複数の参照デプス復元画像と、前記キャプチャ画像とに基づいて、前記参照デプスと実際のデプスとの乖離度合いを表す乖離値を、各単位領域について算出し、
前記乖離値に基づいて、各単位領域についてデプスを算出する
請求項１に記載されるデプスマップの生成装置。
【請求項6】
前記ノイズ除去部は、各単位領域について算出されたデプスの精度を示す精度評価値を、各単位領域について算出された前記乖離値に基づいて算出する
請求項５に記載されるデプスマップの生成装置。
請求項５に記載されるデプスマップの生成装置。
【請求項7】
前記ノイズ除去部は、各単位領域について算出された複数の前記乖離値の、前記参照デプスによる変化の幅に基づいて、前記精度評価値を算出する
請求項６に記載されるデプスマップの生成装置。
請求項６に記載されるデプスマップの生成装置。
【請求項8】
前記ノイズ除去部は、
前記第１部分領域中の複数の単位領域について算出された複数の精度評価値に基づいて前記第１パラメータを設定し、
前記第２部分領域中の複数の単位領域について算出された複数の精度評価値に基づいて前記第２パラメータを設定する
請求項７に記載されるデプスマップの生成装置。
前記第１部分領域中の複数の単位領域について算出された複数の精度評価値に基づいて前記第１パラメータを設定し、
前記第２部分領域中の複数の単位領域について算出された複数の精度評価値に基づいて前記第２パラメータを設定する
請求項７に記載されるデプスマップの生成装置。
【請求項9】
符号化開口を通してキャプチャされたキャプチャ画像からデプスマップを生成する方法であって、
前記デプスマップを構成する複数の単位領域のそれぞれについて、デプスを算出するデプス算出工程と、
前記キャプチャ画像に対応する画像領域を、少なくとも第１部分領域と第２部分領域とを含む複数の部分領域に分割する分割工程と、
前記第１部分領域に含まれる複数の単位領域について算出されたデプスから、第１パラメータを利用してノイズを除去し、前記第２部分領域に含まれる複数の単位領域について算出されたデプスから、第２パラメータを利用してノイズを除去するノイズ除去工程と
を含むデプスマップの生成方法。
前記デプスマップを構成する複数の単位領域のそれぞれについて、デプスを算出するデプス算出工程と、
前記キャプチャ画像に対応する画像領域を、少なくとも第１部分領域と第２部分領域とを含む複数の部分領域に分割する分割工程と、
前記第１部分領域に含まれる複数の単位領域について算出されたデプスから、第１パラメータを利用してノイズを除去し、前記第２部分領域に含まれる複数の単位領域について算出されたデプスから、第２パラメータを利用してノイズを除去するノイズ除去工程と
を含むデプスマップの生成方法。
【請求項10】
符号化開口を通してキャプチャされたキャプチャ画像からデプスマップを生成する装置としてコンピュータを機能させるプログラムであって、
前記デプスマップを構成する複数の単位領域のそれぞれについて、デプスを算出するデプス算出手段と、
前記キャプチャ画像に対応する画像領域を、少なくとも第１部分領域と第２部分領域とを含む複数の部分領域に分割する分割手段と、
前記第１部分領域に含まれる複数の単位領域について算出されたデプスから、第１パラメータを利用してノイズを除去し、前記第２部分領域に含まれる複数の単位領域について算出されたデプスから、第２パラメータを利用してノイズを除去するノイズ除去手段
としてコンピュータを機能させるプログラム。
前記デプスマップを構成する複数の単位領域のそれぞれについて、デプスを算出するデプス算出手段と、
前記キャプチャ画像に対応する画像領域を、少なくとも第１部分領域と第２部分領域とを含む複数の部分領域に分割する分割手段と、
前記第１部分領域に含まれる複数の単位領域について算出されたデプスから、第１パラメータを利用してノイズを除去し、前記第２部分領域に含まれる複数の単位領域について算出されたデプスから、第２パラメータを利用してノイズを除去するノイズ除去手段
としてコンピュータを機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明はデプスマップの生成装置、生成方法、及びプログラムに関する。
【背景技術】
【0002】
非特許文献１では、符号化開口を通してキャプチャした画像からデプスマップを生成する技術が提案されている。この文献では、開口パターン（透光領域と遮光領域の形状）が異なる２つの符号化開口が利用されている。２つの符号化開口を組み合わせて利用することで、デプスマップの生成過程で使用するフィルタ（復元画像を生成するためのフィルタ）に、パワースペクトルが０になる周波数帯が生じることを抑えている。
【先行技術文献】
【非特許文献】
【0003】
【非特許文献1】Ｃ．Ｚｈｏｕ， Ｓ．Ｌｉｎ， ａｎｄ Ｓ．Ｎａｙａｒ： Ｃｏｄｅｄ Ａｐｅｒｔｕｒｅ Ｐａｉｒｓ ｆｏｒ Ｄｅｐｔｈ ｆｒｏｍ Ｄｅｆｏｃｕｓ， ＩＥＥＥ ｉｎｔｅｒｎａｔｉｏｎａｌ ｃｏｎｆｅｒｅｎｃｅ ｏｎ ｃｏｍｐｕｔｅｒ ｖｉｓｉｏｎ， ２００９
【発明の概要】
【発明が解決しようとする課題】
【0004】
マップの生成過程においては、デプスマップ中のドット（画素）が、被写体までの距離を表すドットであるか否かを判定するノイズ判定が必要となる。そして、ノイズと判定されたドットは、デプスマップから除去される必要がある。ところが、コントラストが少ない領域や、コントラストが高い領域など、性状が異なる複数の領域が混在する画像の全域に同じノイズ除去処理を適用すると、ノイズ除去が正しく実行されないことがある。
【課題を解決するための手段】
【0005】
本開示で提案するデプスマップの生成装置は、符号化開口を通してキャプチャされたキャプチャ画像からデプスマップを生成するデプスマップの生成装置である。前記生成装置は、前記デプスマップを構成する複数の単位領域のそれぞれについて、デプスを算出するデプス算出部と、前記キャプチャ画像に対応する画像領域を、少なくとも第１部分領域と第２部分領域とを含む複数の部分領域に分割する分割部と、前記第１部分領域に含まれる複数の単位領域について算出されたデプスから、第１パラメータを利用してノイズを除去し、前記第２部分領域に含まれる複数の単位領域について算出されたデプスから、第２パラメータを利用してノイズを除去するノイズ除去部とを含む。
【0006】
本開示で提案するデプスマップの生成方法は、符号化開口を通してキャプチャされたキャプチャ画像からデプスマップを生成する方法である。前記生成方法は、前記デプスマップを構成する複数の単位領域のそれぞれについて、デプスを算出するデプス算出工程と、前記キャプチャ画像に対応する画像領域を、少なくとも第１部分領域と第２部分領域とを含む複数の部分領域に分割する分割工程と、前記第１部分領域に含まれる複数の単位領域について算出されたデプスから、第１パラメータを利用してノイズを除去し、前記第２部分領域に含まれる複数の単位領域について算出されたデプスから、第２パラメータを利用してノイズを除去するノイズ除去工程とを含む。
【0007】
本開示で提案するプログラムは、符号化開口を通してキャプチャされたキャプチャ画像からデプスマップを生成する装置としてコンピュータを機能させるプログラムである。前記プログラムは、前記デプスマップを構成する複数の単位領域のそれぞれについて、デプスを算出するデプス算出手段と、前記キャプチャ画像に対応する画像領域を、少なくとも第１部分領域と第２部分領域とを含む複数の部分領域に分割する分割手段と、前記第１部分領域に含まれる複数の単位領域について算出されたデプスから、第１パラメータを利用してノイズを除去し、前記第２部分領域に含まれる複数の単位領域について算出されたデプスから、第２パラメータを利用してノイズを除去するノイズ除去手段、としてコンピュータを機能させる。
【0008】
本開示で提案する生成装置、生成方法、及びプログラムによると、本来表示されるべき推定デプスがデプスマップから除かれるという問題を抑えることができる。
【図面の簡単な説明】
【0009】
【図1】デプスマップ生成装置の撮像系の例を示す断面図である。
【図2】デプスマップ生成装置のハードウェアを示すブロック図である。
【図3】デプスマップ生成装置が有している制御部の機能を示すブロック図である。
【図4A】符号化開口部の第１開口パターンの例を示す図である。
【図4B】符号化開口部の第２開口パターンの例を示す図である。
【図5】制御部が実行する処理の例を示すフロー図である。
【図6】乖離値マップを説明するための図である。
【図7】推定デプスの算出処理を説明するための図である。
【図8】ノイズの除去処理を説明するための図である。
【図9A】キャプチャ画像に対応する画像領域を分割する処理の例を説明するための図である。
【図9B】デプスマップの例を示す図である。
【図10】ノイズ除去処理の変形例を説明するための図である。
【図11】制御部が実行する処理の別の例を示すフロー図である。
【発明を実施するための形態】
【0010】
以下、本開示で提案するデプスマップの生成装置、生成方法、及びプログラムについて説明する。
【0011】
図１は、本開示で提案するデプスマップの生成装置の一例である生成装置１０の撮像系Ｎを示す断面図である。同図に示すように、生成装置１０は、液晶パネル１４と、撮像素子１３とを有している。
【0012】
撮像素子１３は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサや、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）などのイメージセンサである。
【0013】
液晶パネル１４は複数の画素を含んでいる。液晶パネル１４は、その一部に符号化開口１４ａを有している。後述する制御部１１は、予め規定した開口パターンを構成するように、符号化開口１４ａの液晶を駆動する。開口パターンについては、後において詳説する。
【0014】
図１に示すように、生成装置１０は、符号化開口１４ａと撮像素子１３との間に配置されるレンズ１５とを有している。符号化開口１４ａとレンズ１５とを通過した光が撮像素子１３に入射する。
【0015】
図２は、デプスマップ生成装置１０のハードウェアを示すブロック図である。生成装置１０は、図１で示した液晶パネル１４、撮像素子１３、及びレンズ１５の他に、制御部１１と、記憶部１２と、入力部１６とを有している。
【0016】
制御部１１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）や、ＧＰＵ（Ｇｒａｐｈｉｃａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）など少なくとも１つのプロセッサを含んでいる。撮像素子１３で取得した画像データは、制御部１１に提供される。制御部１１は、この画像データを利用して、被写体までの距離を示すデプスマップを生成する。
【0017】
記憶部１２は、主記憶部及び補助記憶部を含む。例えば、主記憶部はＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などの揮発性メモリであり、補助記憶部は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、又はハードディスクなどの不揮発性メモリである。制御部１１は、記憶部１２に格納されているプログラムを実行して、液晶パネル１４を制御したり、デプス（被写体までの距離）を算出したりする。制御部１１が実行する処理については後において説明する。生成装置１０は、例えば、スマートフォンや、タブレットＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）などの携帯装置であったり、カメラに接続しているパーソナルコンピュータであってよい。
【0018】
入力部１６は、撮像した画像を表示する画像表示装置に取り付けられているタッチセンサであってよい。また、入力部１６は、キーボードや、マウスなどのポインティングデバイスであってよい。入力部１６は、ユーザの操作に応じた信号を制御部１１に入力する。
【0019】
［機能ブロック］
図３は、制御部１１が有している機能を示すブロック図である。制御部１１は、その機能として、画像取得部１１ａ及びデプス算出部１１ｃを有している。また、画像取得部１１ａは開口制御部１１ｂを含んでいる。デプス算出部１１ｃは、分割部１１ｄ、及びノイズ除去部１１ｅを含んでいる。これらの機能は、制御部１１が記憶部１２に格納されているプログラムに従って動作することで実現される。
図３は、制御部１１が有している機能を示すブロック図である。制御部１１は、その機能として、画像取得部１１ａ及びデプス算出部１１ｃを有している。また、画像取得部１１ａは開口制御部１１ｂを含んでいる。デプス算出部１１ｃは、分割部１１ｄ、及びノイズ除去部１１ｅを含んでいる。これらの機能は、制御部１１が記憶部１２に格納されているプログラムに従って動作することで実現される。
【0020】
［開口制御部］
開口制御部１１ｂは、予め規定された開口パターンを形成するように液晶パネル１４の符号化開口１４ａの液晶を制御する。図４Ａと図４Ｂは符号化開口１４ａが形成する開口パターンの例を示す図である。これらの図において、白領域が光透過領域Ｒ１であり、黒領域が遮光領域Ｒ２・Ｒ３である。
開口制御部１１ｂは、予め規定された開口パターンを形成するように液晶パネル１４の符号化開口１４ａの液晶を制御する。図４Ａと図４Ｂは符号化開口１４ａが形成する開口パターンの例を示す図である。これらの図において、白領域が光透過領域Ｒ１であり、黒領域が遮光領域Ｒ２・Ｒ３である。
【0021】
図４Ａ及び図４Ｂで示す開口パターンＢ１・Ｂ２では、矩形の遮光領域Ｒ３の内側に円形の光透過領域Ｒ１が形成されている。また、この光透過領域Ｒ１の内側に円形の遮光領域Ｒ２が形成されている。また、第１開口パターンＢ１の遮光領域Ｒ２と第２開口パターンＢ２の遮光領域Ｒ２は、異なる位置に形成されている。図で示す例では、これら２つの遮光領域Ｒ２は線対称の位置に形成されている。この２つの開口パターンＢ１・Ｂ２によると、非特許文献１で説明されるように、開口パターンに対応する点広がり関数の空間周波数特性において、パワースペクトルが０となる周波数帯の発生を抑えることができる。このような開口パターンＢ１・Ｂ２は、例えば遺伝的アルゴリズムによって、探索され得る。開口制御部１１ｂが形成する開口パターンは、図４Ａ及び図４Ｂで示す例に限られない。
【0022】
［画像取得部］
画像取得部１１ａは、撮像素子１３及び符号化開口１４ａを制御し、２つの開口パターンＢ１・Ｂ２を使用して、２つの画像ｆ１・ｆ２を連続撮影する。（以下では、この画像ｆ１・ｆ２をキャプチャ画像と称する。）このとき、第１開口パターンＢ１による撮像と、第２開口パターンＢ２による撮像との間隔は、数百ミリ秒、或いは数十ミリ秒であってよい。
画像取得部１１ａは、撮像素子１３及び符号化開口１４ａを制御し、２つの開口パターンＢ１・Ｂ２を使用して、２つの画像ｆ１・ｆ２を連続撮影する。（以下では、この画像ｆ１・ｆ２をキャプチャ画像と称する。）このとき、第１開口パターンＢ１による撮像と、第２開口パターンＢ２による撮像との間隔は、数百ミリ秒、或いは数十ミリ秒であってよい。
【0023】
なお、開口制御部１１ｂが形成する開口パターンの数は、２つよりも多くてもよい。この場合、画像取得部１１ａは、２つより多い開口パターンの数だけ画像を連続撮影してよい。開口制御部１１ｂは、撮像素子１３による受光と同期しながら複数の開口パターンを順番に切り換える。
【0024】
［デプス算出部］
デプス算出部１１ｃは、画像取得部１１ａよって得られたキャプチャ画像ｆ１・ｆ２から、デプスマップを生成する。デプス算出部１１ｃは、デプスマップを構成する複数の単位領域のそれぞれについて、キャプチャ画像ｆ１・ｆ２のデプス（撮像系Ｎから被写体までの距離）を算出する。デプスマップの単位領域は、例えば、キャプチャ画像ｆ１・ｆ２の画素であってよい。これとは異なり、デプスマップの単位領域は、キャプチャ画像の画素より大きくてよい。例えば、隣接する複数の画素（例えば、２×２）が、単位領域であってよい。
デプス算出部１１ｃは、画像取得部１１ａよって得られたキャプチャ画像ｆ１・ｆ２から、デプスマップを生成する。デプス算出部１１ｃは、デプスマップを構成する複数の単位領域のそれぞれについて、キャプチャ画像ｆ１・ｆ２のデプス（撮像系Ｎから被写体までの距離）を算出する。デプスマップの単位領域は、例えば、キャプチャ画像ｆ１・ｆ２の画素であってよい。これとは異なり、デプスマップの単位領域は、キャプチャ画像の画素より大きくてよい。例えば、隣接する複数の画素（例えば、２×２）が、単位領域であってよい。
【0025】
【0026】
まず、デプス算出部１１ｃは、キャプチャ画像ｆ１・ｆ２を二次元フーリエ変換する（Ｓ１０１）。以下では、二次元フーリエ変換により得られた、キャプチャ画像ｆ１・ｆ２の周波数特性をＦ１・Ｆ２として表す。なお、高周波成分が画像に含まれると、参照デプス復元画像を算出する際にノイズの影響が過大となることがある。そこで、周波数特性Ｆ１・Ｆ２から高周波成分を除去してもよい。例えば、サンプリング周波数の半分（ナイキスト周波数）以下の周波数のみを透過するローパスフィルタが利用されてもよい。そして、高周波成分が除去された周波数特性Ｆ１・Ｆ２を後述の処理において利用してもよい。
【0027】
［参照デプス復元画像の生成］
生成装置１０では、離散的に設定された複数の参照デプスにそれぞれ対応する複数の点広がり関数（ＰＳＦ）が用意されている。参照デプスは、１００ｍｍや、３００ｍｍ、７００ｍｍなど、被写体までの距離の候補値である。各ＰＳＦは、符号化開口１４ａの開口パターンＢ１・Ｂ２に対応した形状を有している。また、各ＰＳＦは、対応する参照デプスに応じたサイズを有している。具体的には、ＰＳＦのサイズは、参照デプスが大きくなるに従って、小さくなる。複数のＰＳＦは、これらを二次元フーリエ変換して得られる周波数特性として記憶部１２に格納されている。デプス算出部１１ｃは、記憶部１２から、周波数特性としてこのＰＳＦを取得する。この周波数特性は、光学伝達関数（ＯＴＦ）とも称される。
生成装置１０では、離散的に設定された複数の参照デプスにそれぞれ対応する複数の点広がり関数（ＰＳＦ）が用意されている。参照デプスは、１００ｍｍや、３００ｍｍ、７００ｍｍなど、被写体までの距離の候補値である。各ＰＳＦは、符号化開口１４ａの開口パターンＢ１・Ｂ２に対応した形状を有している。また、各ＰＳＦは、対応する参照デプスに応じたサイズを有している。具体的には、ＰＳＦのサイズは、参照デプスが大きくなるに従って、小さくなる。複数のＰＳＦは、これらを二次元フーリエ変換して得られる周波数特性として記憶部１２に格納されている。デプス算出部１１ｃは、記憶部１２から、周波数特性としてこのＰＳＦを取得する。この周波数特性は、光学伝達関数（ＯＴＦ）とも称される。
【0028】
デプス算出部１１ｃは、キャプチャ画像ｆ１・ｆ２とＰＳＦとを利用して、複数の参照デプスのそれぞれについて、参照デプスに応じた復元画像を生成する（Ｓ１０２）。以下では、この復元画像を「参照デプス復元画像」と称する。デプス算出部１１ｃは、具体的には、以下の数１を利用して、キャプチャ画像ｆ１・ｆ２の周波数特性Ｆ１・Ｆ２と、ＰＳＦの周波数特性とに応じた、参照デプス復元画像の周波数特性を算出する。
【数1】
【0029】
数１はウィーナ・フィルタを、２つの開口パターンＢ１・Ｂ２に適用できるように一般化したものである。数１において、各文字は次の要素を意味する。
・Ｆ０＿ｄ：周波数領域で表す参照デプス復元画像
・Ｆ１：第１開口パターンＢ１により得られたキャプチャ画像ｆ１の周波数特性
・Ｆ２：第２開口パターンＢ２により得られたキャプチャ画像ｆ２の周波数特性
・Ｋ１＿ｄ：第１開口パターンＢ１に対応する形状を有し、参照デプス（ｄ）のサイズに対応したＰＳＦの周波数特性（光学伝達関数）
・Ｋ２＿ｄ：第２開口パターンＢ２に対応する形状を有し、参照デプス（ｄ）のサイズに対応したＰＳＦの周波数特性（光学伝達関数）
・Ｃ：ＳＮ比のマトリックスであり、ゆらぎによるノイズを考慮した正則化項である。例えば、画像ノイズの分散σ、自然画像の周波数分布Ｓによって求めることができる。
・横線が付されたＫ１＿ｄ・Ｋ２＿ｄ：ＰＳＦの周波数特性Ｋ１＿ｄ・Ｋ２＿ｄの共役複素数
・Ｆ０＿ｄ：周波数領域で表す参照デプス復元画像
・Ｆ１：第１開口パターンＢ１により得られたキャプチャ画像ｆ１の周波数特性
・Ｆ２：第２開口パターンＢ２により得られたキャプチャ画像ｆ２の周波数特性
・Ｋ１＿ｄ：第１開口パターンＢ１に対応する形状を有し、参照デプス（ｄ）のサイズに対応したＰＳＦの周波数特性（光学伝達関数）
・Ｋ２＿ｄ：第２開口パターンＢ２に対応する形状を有し、参照デプス（ｄ）のサイズに対応したＰＳＦの周波数特性（光学伝達関数）
・Ｃ：ＳＮ比のマトリックスであり、ゆらぎによるノイズを考慮した正則化項である。例えば、画像ノイズの分散σ、自然画像の周波数分布Ｓによって求めることができる。
・横線が付されたＫ１＿ｄ・Ｋ２＿ｄ：ＰＳＦの周波数特性Ｋ１＿ｄ・Ｋ２＿ｄの共役複素数
【0030】
ＰＳＦのサイズは撮像系Ｎから被写体までの距離（デプス）が大きくなるに従って小さくなる。そのため、ＰＳＦの周波数特性Ｋ１＿ｄ・Ｋ２＿ｄも、撮像系Ｎから被写体までの距離に応じて定まる。数１において、Ｋ１・Ｋ２に付されている添え字「ｄ」は、１００ｍｍや、３００ｍｍなどの参照デプスに対応している。例えば、関数Ｋ１＿１００・Ｋ２＿１００は、撮像系Ｎからの距離が１００ｍｍの被写体についての点広がり関数の周波数特性である。参照デプスの数は、２つより多くてよく、例えば１０や、２０、３０などでもよい。
【0031】
Ｓ１０２において、デプス算出部１１ｃは、数１を利用して、キャプチャ画像ｆ１・ｆ２の周波数特性Ｆ１・Ｆ２と、ＰＳＦの周波数特性Ｋ１＿ｄ・Ｋ２＿ｄとに応じた、参照デプス復元画像の周波数特性Ｆ０＿ｄを算出する。デプス算出部１１ｃは、複数の参照デプス（ｄ）のそれぞれについて、参照デプス復元画像中の周波数特性Ｆ０＿ｄを算出する。例えば、デプス算出部１１ｃは、周波数特性Ｋ１＿１００・Ｋ２＿１００と、キャプチャ画像ｆ１・ｆ２の周波数特性Ｆ１・Ｆ２とに基づいて、参照デプス復元画像の周波数特性Ｆ０＿１００を算出する。
【0032】
数１によると、撮像系Ｎからの距離が参照デプスに等しい被写体は、参照デプス復元画像においてボケが無い状態で表れる。例えば、撮像系Ｎから１００ｍｍにある被写体は、周波数特性Ｋ１＿１００・Ｋ２＿１００によって得られた参照デプス復元画像では、ボケが無い状態で表れる。一方で、３００ｍｍや、７００ｍｍなど、他の参照デプスに対応したＰＳＦの周波数特性Ｋ１＿ｄ・Ｋ２＿ｄによって得られた参照デプス復元画像では、この被写体についてボケ（画素値のずれ）が表れる。ボケは、被写体の実際のデプスと、参照デプスとの差が大きくなるに従って、強く表れる。そこで、デプス算出部１１ｃは、以降の処理において、このボケの程度を利用して、被写体までの距離（デプス）を算出する。
【0033】
［乖離値マップの算出］
デプス算出部１１ｃは、参照デプス復元画像の周波数特性Ｆ０＿ｄと、キャプチャ画像ｆ１・ｆ２の周波数特性Ｆ１・Ｆ２とに基づいて、乖離値マップＭｄを算出する（Ｓ１０３）。乖離値マップＭｄは、複数の参照デプス（ｄ）のそれぞれについて算出される。各乖離値マップＭｄでは、参照デプス（ｄ）と、実際のデプスとの乖離度合い（乖離値）が、各画素（デプスマップの単位領域）について示される。
デプス算出部１１ｃは、参照デプス復元画像の周波数特性Ｆ０＿ｄと、キャプチャ画像ｆ１・ｆ２の周波数特性Ｆ１・Ｆ２とに基づいて、乖離値マップＭｄを算出する（Ｓ１０３）。乖離値マップＭｄは、複数の参照デプス（ｄ）のそれぞれについて算出される。各乖離値マップＭｄでは、参照デプス（ｄ）と、実際のデプスとの乖離度合い（乖離値）が、各画素（デプスマップの単位領域）について示される。
【0034】
デプス算出部１１ｃは、例えば、以下の数２を参照して、乖離値マップＭｄを算出する。
【数2】
【0035】
数２において、各文字は次の要素を意味する。
・Ｍｄ：参照デプス（ｄ）についての乖離値マップ
・ＩＦＦＴ：２次元逆フーリエ変換
・Ｆ０＿ｄ：参照デプス（ｄ）についての、参照デプス復元画像の周波数特性
・Ｋ１＿ｄ：第１開口パターンＢ１に対応する形状を有し、参照デプス（ｄ）のサイズに対応したＰＳＦの周波数特性（光学伝達関数）
・Ｋ２＿ｄ：第２開口パターンＢ２に対応する形状を有し、参照デプス（ｄ）のサイズに対応したＰＳＦの周波数特性（光学伝達関数）
・Ｆ１：第１開口パターンＢ１により得られたキャプチャ画像ｆ１の周波数特性
・Ｆ２：第２開口パターンＢ２により得られたキャプチャ画像ｆ２の周波数特性
・Ｍｄ：参照デプス（ｄ）についての乖離値マップ
・ＩＦＦＴ：２次元逆フーリエ変換
・Ｆ０＿ｄ：参照デプス（ｄ）についての、参照デプス復元画像の周波数特性
・Ｋ１＿ｄ：第１開口パターンＢ１に対応する形状を有し、参照デプス（ｄ）のサイズに対応したＰＳＦの周波数特性（光学伝達関数）
・Ｋ２＿ｄ：第２開口パターンＢ２に対応する形状を有し、参照デプス（ｄ）のサイズに対応したＰＳＦの周波数特性（光学伝達関数）
・Ｆ１：第１開口パターンＢ１により得られたキャプチャ画像ｆ１の周波数特性
・Ｆ２：第２開口パターンＢ２により得られたキャプチャ画像ｆ２の周波数特性
【0036】
図６は、乖離値マップＭｄの例を示す図である。同図で示すように、乖離値マップＭｄは、実際のデプス（撮像系Ｎから被写体までの実際の距離）と、参照デプスとの乖離値ｗを、各画素について示す。例えば、乖離値マップＭ１００は、実際のデプスと参照デプス（１００ｍｍ）の乖離値ｗを示す。実際のデプスが１００ｍｍであれば、乖離値マップＭ１００で示される乖離値ｗ１００は実質的に０となり、実際のデプスが２００ｍｍであれば、参照デプス（１００ｍｍ）に対応する乖離値マップＭ１００において、乖離値ｗ１００は０よりも大きな値となる。
【0037】
このように、デプス算出部１１ｃは、Ｓ１０２の処理において、周波数特性Ｋ１＿ｄ・Ｋ２＿ｄで表された複数のＰＳＦをそれぞれ利用して、キャプチャ画像ｆ１・ｆ２（より具体的には、それらの周波数特性Ｆ１・Ｆ２）から、複数の参照デプス復元画像（より具体的には、それらの周波数特性Ｆ０＿ｄ）を生成する。そして、Ｓ１０３において、周波数特性Ｆ０＿ｄで表された複数の参照デプス復元画像と、周波数特性Ｆ１・Ｆ２で表されたキャプチャ画像ｆ１・ｆ２とを利用して、参照デプスと実際のデプスとの乖離値ｗｄを算出する。
【0038】
［各単位領域のデプスの算出］
デプス算出部１１ｃは、複数の乖離値マップＭｄを参照し、各画素（デプスマップの単位領域）についてデプス（撮像系Ｎから被写体までの距離）を算出する（Ｓ１０４）。図７は、デプス算出部１１ｃによるこの処理を説明するための図である。図７において、横軸は参照デプスであり、縦軸は、ある画素での乖離値ｗｄを示している。以下では、デプス算出部１１ｃが算出するデプスを推定デプスｄ０と称する。
デプス算出部１１ｃは、複数の乖離値マップＭｄを参照し、各画素（デプスマップの単位領域）についてデプス（撮像系Ｎから被写体までの距離）を算出する（Ｓ１０４）。図７は、デプス算出部１１ｃによるこの処理を説明するための図である。図７において、横軸は参照デプスであり、縦軸は、ある画素での乖離値ｗｄを示している。以下では、デプス算出部１１ｃが算出するデプスを推定デプスｄ０と称する。
【0039】
乖離値ｗｄは、実際のデプスと同じ、又は実際のデプスに近しい参照デプス（ｄ）において、最小となる。図７の例では、参照デプス：２０００ｍｍの位置で乖離値ｗｄは最小となっている。従って、この画素に表れる被写体は撮像系Ｎから２０００ｍｍの位置にあると推定される。そこで、デプス算出部１１ｃは、Ｓ１０４において、乖離値ｗｄが最小となる参照デプスを探索し、得られた参照デプスを推定デプスｄ０とする。デプス算出部１１ｃは、この探索を全画素（デプスマップの全単位領域）について実行し、これにより後述するノイズ除去がなされる前のデプスマップが得られる。
【0040】
なお、デプスマップの算出処理は、ここで説明する例に限られない。上述した処理において、デプス算出部１１ｃは、乖離値ｗｄを最小にする乖離値マップＭｄの参照デプス（ｄ）を、その画素の推定デプスｄ０としている。これとは異なり、デプス算出部１１ｃは、デプスと乖離値ｗｄとの関係を示す関数を求め、その関数の極小値を算出してもよい。そして、その極小値を得るデプスを、その画素の推定デプスｄ０として算出してもよい。
【0041】
デプス算出部１１ｃによるこの処理は、例えば、次のように行うことができる。デプス算出部１１ｃは、図７で示す参照デプス（ｄ）と乖離値ｗｄとの関係に、例えば３次関数をフィッティングさせる。すなわち、デプス算出部１１ｃは、乖離値ｗｄの最小を得る点と、その近傍の複数の点とに、次の数３をフィッティングさせ、係数ａ１・ａ２、ａ３、ａ４を求める。数３において、関数Ｗ（ｄ）は、ａ１・ａ２、ａ３、ａ４を係数とする３次関数である。
【数3】
【0042】
そして、デプス算出部１１ｃは数３の極小を求める。すなわち、デプス算出部１１ｃは、δＷ／δｄ＝０を解くことで、関数Ｗ（ｄ）を極小にするデプスを算出する。そして、デプス算出部１１ｃは、このように算出したデプスを推定デプスｄ０とする。このような処理によれば、参照デプスの数（ＰＳＦの数）を増すことなく、デプスについての解像度を増すことができる。
【0043】
［精度評価値］
上述した数２によると、ＰＳＦで畳み込み積分を行ってボケが発生する位置で、推定デプスｄ０を算出することができる。例えば、被写体の外縁と背景との境界（画素値の変化が表れる位置）で、推定デプスｄ０を算出することができる。その一方で、ＰＳＦで畳み込み積分を行ってもボケが発生しない領域、正確なデプスを算出することは難しい。ボケが発生しない領域では、画素値の変化が小さいので（コントラストが低いので）、乖離値ｗｄの変化の幅が小さくなる。言い換えれば、乖離値ｗｄの変化の幅が小さい画素について得られた推定デプスｄ０は、ノイズである可能性がある。そこで、デプス算出部１１ｃは、そのような推定デプスｄ０をノイズと判断して、Ｓ１０４で得られたデプスマップから除去する。デプス算出部１１ｃの処理は、例えば次のように行われる。
上述した数２によると、ＰＳＦで畳み込み積分を行ってボケが発生する位置で、推定デプスｄ０を算出することができる。例えば、被写体の外縁と背景との境界（画素値の変化が表れる位置）で、推定デプスｄ０を算出することができる。その一方で、ＰＳＦで畳み込み積分を行ってもボケが発生しない領域、正確なデプスを算出することは難しい。ボケが発生しない領域では、画素値の変化が小さいので（コントラストが低いので）、乖離値ｗｄの変化の幅が小さくなる。言い換えれば、乖離値ｗｄの変化の幅が小さい画素について得られた推定デプスｄ０は、ノイズである可能性がある。そこで、デプス算出部１１ｃは、そのような推定デプスｄ０をノイズと判断して、Ｓ１０４で得られたデプスマップから除去する。デプス算出部１１ｃの処理は、例えば次のように行われる。
【0044】
デプス算出部１１ｃは、各画素（デプスマップの単位領域）について得られた推定デプスｄ０の精度を示す精度評価値を、その画素について算出された乖離値ｗｄに基づいて算出する。例えば、デプス算出部１１ｃは、各画素について算出された複数の乖離値ｗｄの変化の幅に基づいて、精度評価値を算出する。デプス算出部１１ｃは、このような精度評価値を全画素について算出する。精度評価値は、例えば、以下の数４で表される。
β：精度評価値
Δｗ：乖離値ｗｄの変化量
ｄ０：Ｓ１０４の処理により得られた各画素のデプス
【数4】
Δｗ：乖離値ｗｄの変化量
ｄ０：Ｓ１０４の処理により得られた各画素のデプス
【0045】
変化量Δｗは、乖離値ｗｄの変化の幅であり、例えば、図７で示すように、各画素での乖離値ｗｄの最大と最小との差である。数４で示すように、デプス算出部１１ｃは、複数の乖離値ｗｄの最大と最小との差に基づいて評価値を算出する。
【0046】
一般に、ノイズ等の影響により、近距離にある被写体については誤った測距結果が出ることが多い。そこで、数４では、そのような被写体については変化量ΔＷを小さく評価するために（ノイズとして除去されやすくするために）、推定デプスｄ０で重み付けされてよい。
【0047】
デプス算出部１１ｃは、精度評価値βがノイズ判定閾値よりも低い画素について得られた推定デプスｄ０を、ノイズと判断し、デプスマップから除去する。言い換えれば、デプス算出部１１ｃは、精度評価値βがノイズ判定閾値よりも高い画素について得られた推定デプスｄ０だけを、デプスマップに表示する。
【0048】
図８は、ノイズ除去部１１ｅのこの処理を説明するための図である。同図において、横軸は、デプスマップのＸ方向座標を示し、縦軸は精度評価値βを示している。この図において、領域Ｒ１の画素群では乖離値ｗｄの変化量Δｗが相対的に大きいので、この画素群の精度評価値βはノイズ判定閾値Ｎｔｈよりも高い。その一方で、領域Ｒ２の画素群では乖離値ｗｄの変化量Δｗが相対的に小さいので、その精度評価値βはノイズ判定閾値Ｎｔｈよりも低い。この場合、デプス算出部１１ｃは、領域Ｒ１の画素群について算出されたデプスｄ０をデプスマップに表示する一方で、領域Ｒ2の画素群について算出されたデプスｄ０をデプスマップには表示しない。
【0049】
図８で示す処理を行う場合、ノイズ判定閾値Ｎｔｈをどのように設定するかが課題となる。全画素について算出した精度評価値βのうちの最大値に、所定の割合（例えば、５０％）を乗じた値が、ノイズ判定閾値Ｎｔｈの例として考えられる。ところが、このようなノイズ判定閾値Ｎｔｈを利用すると、本来、デプスマップに表示されるべき推定デプスｄ０も、ノイズと判断されるという問題が生じる。例えば、キャプチャ画像が部分的に暗い領域を有する場合、その暗い領域での乖離値ｗｄの変化量Δｗは小さくなる。そのため、その領域について算出される精度評価値βはノイズ判定閾値Ｎｔｈよりも小さくなり、その結果、その領域の推定デプスｄ０はデプスマップから除かれる。
【0050】
そこで、デプス算出部１１ｃは、キャプチャ画像に対応する画像領域を複数の部分領域に分割する。そして、相互に異なる複数のパラメータをそれぞれ利用して、複数の部分領域についてノイズ除去処理を実行する。以下において、このノイズ処理をより具体的に説明する。
【0051】
分割部１１ｄは、キャプチャ画像ｆ１・ｆ２に対応する画像領域を複数の部分領域に分割する。例えば、分割部１１ｄは、Ｓ１０４で算出したノイズ除去前のデプスマップを複数の部分領域に分割する（Ｓ１０５）。図９Ａは、分割部１１ｄの処理の例を説明するための図である。同図ではデプスマップの元となったキャプチャ画像が示されている。図９Ａに示すように、分割部１１ｄは、ノイズ除去前のデプスマップを、例えば予め規定した複数の部分領域に分割する。より具体的には、分割部１１ｄは、ノイズ除去前のデプスマップを、予め規定したサイズを有する複数の矩形の部分領域に分割する。
【0052】
［ノイズ除去］
ノイズ除去部１１ｅは、第１部分領域Ａ１（図９Ａ参照）に含まれる画素について算出された推定デプスｄ０から、第１部分領域Ａ１について設定された第１パラメータを利用してノイズを除去する。同様に、ノイズ除去部１１ｅは、第２部分領域Ａ２（図９Ａ参照）に含まれる画素について算出された推定デプスｄ０から、第２部分領域Ａ２について設定された第２パラメータを利用してノイズを除去する。このような処理を、複数の部分領域Ａ１～Ａ１５（図９Ａ参照）のそれぞれについて実行する。このような処理によれば、各部分領域に適したパラメータを利用して、ノイズ除去が実行される。その結果、本来表示されるべき推定デプスｄ０がデプスマップから除かれるという問題を抑えることができる。
ノイズ除去部１１ｅは、第１部分領域Ａ１（図９Ａ参照）に含まれる画素について算出された推定デプスｄ０から、第１部分領域Ａ１について設定された第１パラメータを利用してノイズを除去する。同様に、ノイズ除去部１１ｅは、第２部分領域Ａ２（図９Ａ参照）に含まれる画素について算出された推定デプスｄ０から、第２部分領域Ａ２について設定された第２パラメータを利用してノイズを除去する。このような処理を、複数の部分領域Ａ１～Ａ１５（図９Ａ参照）のそれぞれについて実行する。このような処理によれば、各部分領域に適したパラメータを利用して、ノイズ除去が実行される。その結果、本来表示されるべき推定デプスｄ０がデプスマップから除かれるという問題を抑えることができる。
【0053】
ノイズ除去部１１ｅの処理は、例えば次のようになされる。分割部１１ｄがその分割処理を実行した後、ノイズ除去部１１ｅは、まず、各部分領域中の画素について算出された複数の精度評価値βに基づいて、ノイズ判定のためのパラメータを設定する（Ｓ１０６）。例えば、ノイズ除去部１１ｅは、各部分領域中の複数の画素について算出された精度評価値βの最大値を算出する。そして、精度評価値βの最大値に対して所定の割合（Ａ％）を乗じ、その乗算結果（β×Ａ％）を、その部分領域のノイズ判定で用いるパラメータ（ノイズ判定閾値）とする。ノイズ除去部１１ｅは、複数の部分領域Ａ１～Ａ１５（図９Ａ参照）のそれぞれについて、ノイズ判定閾値を算出する。ノイズ判定閾値の算出方法は、適宜変更されてよい。
【0054】
次に、ノイズ除去部１１ｅは、各部分領域に設定したパラメータ（ノイズ判定閾値）と、各部分領域に含まれる各画素の精度評価値βとを比較し、その比較結果に基づいてノイズと判断された推定デプスｄ０を、デプスマップから除去する（Ｓ１０７）。例えば、ノイズ除去部１１ｅは、精度評価値βがノイズ判定閾値よりも低い画素について算出された推定デプスｄ０を、ノイズと判断し、デプスマップから除去する。ノイズ除去部１１ｅは、複数の部分領域Ａ１～Ａ１５（図９Ａ参照）のそれぞれについて、Ｓ１０７のノイズ除去処理を実行する。これにより、図９Ｂで例示するようなデプスマップが得られる。
【0055】
このように、ノイズ除去部１１ｅは、複数の部分領域中の各画素について算出された精度評価値βと、各部分領域Ａ１～Ａ１５について設定されたパラメータ（ノイズ判定閾値）とに基づいて、各部分領域の画素の推定デプスｄ０がノイズであるか否かを判定する。
【0056】
なお、ノイズ除去部１１ｅの処理は、ここで説明する例に限られない。例えば、各部分領域Ａ１～Ａ１５について設定されたパラメータは、ノイズ判定閾値でなくてもよい。図１０は、ノイズ除去部１１ｅの変形例を説明するための図である。図１０に示すように、ノイズ除去部１１ｅは、例えば、第１部分領域Ａ１（図９Ａ参照）の各画素について算出された乖離値ｗの変化量Δｗに、第１部分領域Ａ１について設定された第１パラメータα1を乗じてもよい。そして、さらに各画素について算出された推定デプスｄ０を乗じ、この乗算結果（Δｗ×ｄ０×α１）を精度評価値βとしてもよい。そして、この精度評価値βと、複数の部分領域について共通のノイズ判定閾値Ｎｔｈとを比較してもよい。精度評価値βがノイズ判定閾値よりも低い場合、その画素の推定デプスｄ０を、デプスマップから除去してもよい。ノイズ除去部１１ｅは、このような処理を、複数の部分領域Ａ１～Ａ１５のそれぞれについて実行してよい。
【0057】
この場合、各部分領域Ａ１～Ａ１５に適用されるパラメータα１～α１５は、部分領域のコントラストに基づいて設定されてよい。例えば、コントラストが小さい部分領域（例えば、部分領域の全体が暗い領域）では、相対的に大きなパラメータが利用されてよい。より具体的には、コントラストが小さい部分領域（例えば、部分領域の全体が暗い領域）のパラメータは、この部分領域中の複数の画素の乖離値Δｗの最大が、コントラストが相対的に大きい部分領域中の画素の乖離値Δｗの最大に一致するように、設定されてよい。このような処理によっても、本来表示されるべき推定デプスｄ０がデプスマップから除かれるという問題を抑えることができる。
【0058】
［まとめ］
（１）生成装置１０では、デプス算出部１１ｃは、デプスマップを構成する複数の単位領域（例えば、画素）のそれぞれについて、デプスを算出する。分割部１１ｄは、キャプチャ画像に対応する画像領域を複数の部分領域Ａ１～Ａ１５に分割する。ノイズ除去部１１ｅは、第１部分領域Ａ１に含まれる複数の単位領域について算出された推定デプスｄ０から、第１パラメータを利用してノイズを除去する。また、ノイズ除去部１１ｅは、第２部分領域Ａ２に含まれる複数の単位領域について算出された推定デプスｄ０から、第２パラメータを利用してノイズを除去する。この生成装置１０によれば、本来表示されるべき推定デプスｄ０がデプスマップから除かれるという問題を抑えることができる。
（１）生成装置１０では、デプス算出部１１ｃは、デプスマップを構成する複数の単位領域（例えば、画素）のそれぞれについて、デプスを算出する。分割部１１ｄは、キャプチャ画像に対応する画像領域を複数の部分領域Ａ１～Ａ１５に分割する。ノイズ除去部１１ｅは、第１部分領域Ａ１に含まれる複数の単位領域について算出された推定デプスｄ０から、第１パラメータを利用してノイズを除去する。また、ノイズ除去部１１ｅは、第２部分領域Ａ２に含まれる複数の単位領域について算出された推定デプスｄ０から、第２パラメータを利用してノイズを除去する。この生成装置１０によれば、本来表示されるべき推定デプスｄ０がデプスマップから除かれるという問題を抑えることができる。
【0059】
（２）（１）において、ノイズ除去部１１ｅは、各単位領域について算出された推定デプスｄ０の精度を示す精度評価値βを算出する。そして、ノイズ除去部１１ｅは、第１部分領域Ａ１中の各単位領域について算出された精度評価値βと第１パラメータとに基づいて、第１部分領域Ａ１の各単位領域について算出された推定デプスｄ０がノイズであるか否かを判定する。また、ノイズ除去部１１ｅは、第２部分領域Ａ２中の各単位領域について算出された精度評価値βと第２パラメータとに基づいて、第２部分領域Ａ２の各単位領域について算出された推定デプスｄ０がノイズであるか否かを判定する。これによれば、精度が低い推定デプスｄ０をデプスマップから除去できる。
【0060】
（３）（２）において、第１パラメータと第２パラメータはノイズ判定閾値である。ノイズ除去部１１ｅは、第１部分領域Ａ１中の各単位領域について算出された精度評価値と第１パラメータとの比較結果に基づいて、第１部分領域Ａ１の各単位領域について算出された推定デプスｄ０がノイズであるか否かを判定する。また、ノイズ除去部１１ｅは、第２部分領域Ａ２中の各単位領域について算出された精度評価値と第２パラメータとの比較結果に基づいて、第２部分領域Ａ２の各単位領域について算出された推定デプスｄ０がノイズであるか否かを判定する。これによれば、精度評価値が低い推定デプスｄ０をデプスマップから除去できる。
【0061】
（４）（２）又は（３）において、ノイズ除去部１１ｅは、第１部分領域Ａ１中の複数の単位領域について算出された複数の精度評価値βに基づいて第１パラメータを設定する。同様に、ノイズ除去部１１ｅは、第２部分領域Ａ２中の複数の単位領域について算出された複数の精度評価値βに基づいて第２パラメータを設定する。これによれば、精度評価値が低い画素が集まる部分領域と、精度評価値が高い画素が集まる部分領域とでは、パラメータを変えることができる。
【0062】
（５）（１）乃至（４）において、デプス算出部１１ｃは、離散的に設定された複数の参照デプスにそれぞれ対応し且つ符号化開口の開口パターンに対応している複数のＰＳＦを取得する。そして、デプス算出部１１ｃは、複数のＰＳＦをそれぞれ利用してキャプチャ画像から再生された複数の参照デプス復元画像と、キャプチャ画像とに基づいて、参照デプスと実際のデプスとの乖離度合いを表す乖離値ｗｄを、各単位領域について算出する（Ｓ１０３）。デプス算出部１１ｃは、乖離値ｗｄに基づいて、各単位領域について推定デプスｄ０を算出する（Ｓ１０４）。
【0063】
（６）（５）において、ノイズ除去部１１ｅは、各単位領域について算出された推定デプスｄ０の精度を示す精度評価値βを、各単位領域について算出された乖離値ｗｄに基づいて算出する。
【0064】
（７）（５）又は（６）において、ノイズ除去部１１ｅは、各単位領域について算出された複数の乖離値ｗｄの、参照デプスによる変化の幅に基づいて、精度評価値βを算出している。
【0065】
（８）（５）乃至（７）において、ノイズ除去部１１ｅは、第１部分領域Ａ１中の複数の単位領域について算出された複数の精度評価値βに基づいて第１パラメータを設定し、第２部分領域Ａ２中の複数の単位領域について算出された複数の精度評価値βに基づいて第２パラメータを設定する。
【0066】
［その他の例］
なお、本開示で提案するデプスマップの生成装置、生成方法、プログラムは、上述した例に限られない。
なお、本開示で提案するデプスマップの生成装置、生成方法、プログラムは、上述した例に限られない。
【0067】
上述した例では、図４で示したように、各画素について推定デプスｄ０を算出した後に、キャプチャ画像ｆ１・ｆ２に対応する画像領域を複数の部分領域Ａ１～Ａ１５に分割していた。しかしながら、これとは異なり、制御部１１は、推定デプスｄ０を算出する前に、キャプチャ画像ｆ１・ｆ２に対応する画像領域を複数の部分領域Ａ１～Ａ１５に分割してもよい。そして、分割した部分領域Ａ１～Ａ１５のそれぞれについて、図４で示したＳ１０１～Ｓ１０４の処理を実行してよい。
【0068】
図１１は、このような処理の例を示すフロー図である。
【0069】
まず、キャプチャ画像ｆ１・ｆ２が取得された後、分割部１１ｄは、キャプチャ画像ｆ１・ｆ２のそれぞれを、複数の部分領域Ａ１～Ａ１５に分割する（Ｓ２０１）。この部分領域Ａ１～Ａ１５は、例えば、図９Ａを参照しながら説明したように、予め規定されたサイズの矩形領域であってよい。次に、デプス算出部１１ｃは、複数の部分領域Ａ１～Ａ１５のそれぞれを２次元フーリエ変換し、各部分領域Ａ１～Ａ１５の周波数特性を算出する（Ｓ２０２）。次に、デプス算出部１１ｃは、数１を利用して、周波数特性で表された各部分領域の画像と、周波数特性Ｋ１＿ｄ・Ｋ２＿ｄで表されたＰＳＦとに応じた参照デプス復元画像を、複数の参照デプス（ｄ）のそれぞれについて、生成する（Ｓ２０３）。そして、デプス算出部１１ｃは、数２を利用して、各部分領域について得られた参照デプス復元画像の周波数特性Ｆ０＿ｄと、キャプチャ画像ｆ１・ｆ２の部分領域について得られた周波数特性Ｆ１・Ｆ２とに基づいて、各部分領域Ａ１～Ａ１５のそれぞれについて乖離値マップＭｄを算出する（Ｓ２０４）。デプス算出部１１ｃは、各部分領域Ａ１～Ａ１５について得られた複数の乖離値マップＭｄを参照し、各画素について推定デプスｄ０を算出する（Ｓ２０５）。例えば、デプス算出部１１ｃは、乖離値ｗｄが最も小さくなる乖離値マップＭｄの参照デプスを、その画素の推定デプスｄ０とする。これにより、ノイズ除去前のデプスマップが生成される。
【0070】
ノイズ除去部１１ｅは、各部分領域Ａ１～Ａ１５中の画素について算出された精度評価値βに基づいて、ノイズ判定のためのパラメータ（ノイズ判定閾値）を設定する（Ｓ２０６）。例えば、ノイズ除去部１１ｅは、各部分領域Ａ１～Ａ１５中の画素について算出された精度評価値βの最大値に対して所定の割合（例えば５０％）を乗じ、その乗算結果をノイズ判定のためのパラメータ（ノイズ判定閾値）として設定する。そして、ノイズ除去部１１ｅは、各部分領域Ａ１～Ａ１５に設定したパラメータ（ノイズ判定閾値）と、各部分領域Ａ１～Ａ１５に含まれる画素の精度評価値βとを比較する。そして、その比較結果に基づいてノイズと判定された推定デプスｄ０を、デプスマップから除去する（Ｓ２０７）。例えば、精度評価値βが、例えばノイズ判定閾値よりも低い画素について算出された推定デプスｄ０をノイズと判断し、デプスマップから除去する。
【0071】
デプスマップ生成装置１０において、制御部１１は、相互に異なる２つの符号化開口によって２つのキャプチャ画像ｆ１・ｆ２を取得していた。これとは異なり、制御部１１は、相互に異なる３つの符号化開口によって３つのキャプチャ画像を取得してもよい。さらに他の例として、制御部１１は、１種類の符号化開口によってキャプチャ画像を取得してもよい。
【0072】
制御部１１は、推定デプスｄ０の精度評価値βを、各画素について算出された乖離値ｗｄの最大と最小との差に基づいて算出していた。精度評価値βの算出は、これに限られない。例えば、制御部１１は、測距の精度が下がる可能性はあるものの、推定デプスｄ０の精度評価値βを、各画素について算出された乖離値ｗｄの最小に基づいて算出してもよい。
【0073】
また、デプス算出部１１ｃは、キャプチャ画像ｆ１・ｆ２について種々の画像処理を行ってもよい。例えば、分割部１１ｄによる分割処理を行った後に、デプス算出部１１ｃは、各部分領域のコントラストを算出してもよい。そして、コントラストが所定値より低く、且つ、輝度の最大が所定値よりも低い部分領域がある場合には、その部分領域に対して、或いはキャプチャ画像ｆ１・ｆ２の全体に対して、ヒストグラムを拡張する画像処理を実行してよい。これによれば、暗い部分領域についても推定デプスｄ０を算出できるようになる。
【符号の説明】
【0074】
１０：デプスマップ生成装置、１１：制御部、１１ａ：画像取得部、１１ｂ：開口制御部、１１ｃ：デプス算出部、１１ｄ：分割部、１１ｅ：ノイズ除去部、１２：記憶部、１３：撮像素子、１４：液晶パネル、１４ａ：符号化開口、１５：レンズ、１６：入力部、Ａ１～Ａ１５：部分領域、Ｂ１：第１開口パターン、Ｂ２：第２開口パターン、Ｆ０＿ｄ：参照デプス復元画像の周波数特性、Ｆ１・Ｆ２：キャプチャ画像の周波数特性、Ｋ１＿ｄ・Ｋ２＿ｄ：ＰＳＦの周波数特性、Ｍｄ：乖離値マップ、Ｒ１：光透過領域、Ｒ２・Ｒ３：遮光領域、ｄ０：推定デプス、ｆ１・ｆ２：キャプチャ画像、ｗｄ：乖離値、Δｗ：変化量。
【図1】
【図2】
【図3】
【図4A】
【図4B】
【図5】
【図6】
【図7】
【図8】
【図9A】
【図9B】
【図10】
【図11】