ホーム > 特許ランキング > 株式会社ジャパンディスプレイ
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024166790
(43)【公開日】2024-11-29
(54)【発明の名称】デプスマップの生成装置、生成方法、及びプログラム
(51)【国際特許分類】
G06T 7/55 20170101AFI20241122BHJP
G06V 10/40 20220101ALI20241122BHJP
【ＦＩ】
G06T7/55
G06V10/40
【審査請求】未請求
【請求項の数】9
【出願形態】ＯＬ
(21)【出願番号】P 2023083131
(22)【出願日】2023-05-19
(71)【出願人】
【識別番号】502356528
【氏名又は名称】株式会社ジャパンディスプレイ
(74)【代理人】
【識別番号】110000154
【氏名又は名称】弁理士法人はるか国際特許事務所
(72)【発明者】
【氏名】田中 仁
(72)【発明者】
【氏名】仲戸川 博人
(72)【発明者】
【氏名】青木 良朗
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096AA09
5L096CA18
5L096FA66
5L096JA03
(57)【要約】 （修正有）
【課題】デプスマップに表示されるデプスの精度を向上することができるデプスマップ生成装置を提供する。
【解決手段】液晶パネル、撮像素子及びレンズの他に、制御部と、記憶部と、入力部とを有するデスマップ生成装置において、制御部の画素選択部１１ｄは、開口パターンに対応する点広がり関数（ＰＳＦ）を利用して、キャプチャ画像と、キャプチャ画像から再生された参照デプス復元画像と、に基づいて、参照デプスと実際のデプスとの乖離度合いを表す乖離値を、各画素について算出する。画素選択部１１ｄは、画素走査方向に沿って並ぶ画素の乖離値の変化に基づいて、デプス表示画素を選択する。
【選択図】図３
【解決手段】液晶パネル、撮像素子及びレンズの他に、制御部と、記憶部と、入力部とを有するデスマップ生成装置において、制御部の画素選択部１１ｄは、開口パターンに対応する点広がり関数（ＰＳＦ）を利用して、キャプチャ画像と、キャプチャ画像から再生された参照デプス復元画像と、に基づいて、参照デプスと実際のデプスとの乖離度合いを表す乖離値を、各画素について算出する。画素選択部１１ｄは、画素走査方向に沿って並ぶ画素の乖離値の変化に基づいて、デプス表示画素を選択する。
【選択図】図３
【特許請求の範囲】
【請求項1】
符号化開口を通してキャプチャされたキャプチャ画像から、それぞれがデプスを表す複数の画素を含むデプスマップを生成するデプスマップの生成装置であって、
前記複数の画素についてデプスを算出するデプス算出部と、
前記デプスマップにおいてデプスを示す画素であるデプス表示画素を選択する画素選択部と、
予め規定された参照デプスに対応し且つ前記符号化開口の開口パターンに対応しているＰＳＦを記憶している記憶部と
を含み、
前記画素選択部は、前記ＰＳＦを利用して前記キャプチャ画像から再生された参照デプス復元画像と前記キャプチャ画像とに基づいて、前記参照デプスと実際のデプスとの乖離度合いを表す乖離値を、各画素について算出し、所定の方向に沿って並ぶ画素の前記乖離値の変化に基づいて、前記デプス表示画素を選択する
デプスマップの生成装置。
前記複数の画素についてデプスを算出するデプス算出部と、
前記デプスマップにおいてデプスを示す画素であるデプス表示画素を選択する画素選択部と、
予め規定された参照デプスに対応し且つ前記符号化開口の開口パターンに対応しているＰＳＦを記憶している記憶部と
を含み、
前記画素選択部は、前記ＰＳＦを利用して前記キャプチャ画像から再生された参照デプス復元画像と前記キャプチャ画像とに基づいて、前記参照デプスと実際のデプスとの乖離度合いを表す乖離値を、各画素について算出し、所定の方向に沿って並ぶ画素の前記乖離値の変化に基づいて、前記デプス表示画素を選択する
デプスマップの生成装置。
【請求項2】
前記記憶部は、離散的に設定された複数の参照デプスにそれぞれ対応し且つ前記符号化開口の開口パターンに対応している複数のＰＳＦを記憶し、
前記複数の参照デプスは、少なくとも、第１参照デプスと第２参照デプスとを含み、
前記複数のＰＳＦは、第１参照デプスに対応している第１ＰＳＦと、第２参照デプスに対応している第２ＰＳＦとを含み、
前記画素選択部は、
前記第１ＰＳＦを利用して前記キャプチャ画像から再生された第１参照デプス復元画像と、前記キャプチャ画像とに基づいて、前記第１参照デプスと実際のデプスとの乖離度合いを表す第１乖離値を、各画素について算出し、
所定の方向に沿って並ぶ画素の前記第１乖離値の変化に基づいて、１又は複数の画素を第１候補画素として選択し、
前記第２ＰＳＦを利用して前記キャプチャ画像から再生された第２参照デプス復元画像と、前記キャプチャ画像とに基づいて、前記第２参照デプスと実際のデプスとの乖離度合いを表す第２乖離値を、各画素について算出し、
前記所定の方向に沿って並ぶ前記画素の前記第２乖離値の変化に基づいて、１又は複数の画素を第２候補画素として選択し、
前記第１候補画素と前記第２候補画素とが所定の条件を満たす場合に、前記第１候補画素と前記第２候補画素とを前記デプス表示画素として選択する
請求項１に記載されるデプスマップの生成装置。
前記複数の参照デプスは、少なくとも、第１参照デプスと第２参照デプスとを含み、
前記複数のＰＳＦは、第１参照デプスに対応している第１ＰＳＦと、第２参照デプスに対応している第２ＰＳＦとを含み、
前記画素選択部は、
前記第１ＰＳＦを利用して前記キャプチャ画像から再生された第１参照デプス復元画像と、前記キャプチャ画像とに基づいて、前記第１参照デプスと実際のデプスとの乖離度合いを表す第１乖離値を、各画素について算出し、
所定の方向に沿って並ぶ画素の前記第１乖離値の変化に基づいて、１又は複数の画素を第１候補画素として選択し、
前記第２ＰＳＦを利用して前記キャプチャ画像から再生された第２参照デプス復元画像と、前記キャプチャ画像とに基づいて、前記第２参照デプスと実際のデプスとの乖離度合いを表す第２乖離値を、各画素について算出し、
前記所定の方向に沿って並ぶ前記画素の前記第２乖離値の変化に基づいて、１又は複数の画素を第２候補画素として選択し、
前記第１候補画素と前記第２候補画素とが所定の条件を満たす場合に、前記第１候補画素と前記第２候補画素とを前記デプス表示画素として選択する
請求項１に記載されるデプスマップの生成装置。
【請求項3】
前記候補画素は、前記所定の方向に沿って並ぶ前記画素の前記乖離値の極大を与える画素である
請求項１に記載されるデプスマップの生成装置。
請求項１に記載されるデプスマップの生成装置。
【請求項4】
前記画素選択部は、複数の参照デプス復元画像から、前記第１候補画素と前記第２候補画素とを含む複数の候補画素をそれぞれ選択し、
前記画素選択部は、前記複数の候補画素に含まれる所定数の候補画素の位置が一致しているときに、その一致している候補画素を前記デプス表示画素として選択する
請求項２に記載されるデプスマップの生成装置。
前記画素選択部は、前記複数の候補画素に含まれる所定数の候補画素の位置が一致しているときに、その一致している候補画素を前記デプス表示画素として選択する
請求項２に記載されるデプスマップの生成装置。
【請求項5】
前記符号化開口は第１開口パターンと第２開口パターンとを含み、
前記デプスマップ生成装置は、前記第１開口パターンを通してキャプチャされた第１キャプチャ画像と、前記第２開口パターンを通してキャプチャされた第２キャプチャ画像とから、前記デプスマップを生成する
請求項１に記載されるデプスマップ生成装置。
前記デプスマップ生成装置は、前記第１開口パターンを通してキャプチャされた第１キャプチャ画像と、前記第２開口パターンを通してキャプチャされた第２キャプチャ画像とから、前記デプスマップを生成する
請求項１に記載されるデプスマップ生成装置。
【請求項6】
前記所定の方向は前記第１開口パターンと前記第２開口パターンとに応じて決まる方向である
請求項１に記載されるデプスマップ生成装置。
請求項１に記載されるデプスマップ生成装置。
【請求項7】
前記第１開口パターンと前記第２開口パターンは、直線に対して互いに対称であり、
前記所定の方向は前記直線に対して交差する方向である
請求項６に記載されるデプスマップ生成装置。
前記所定の方向は前記直線に対して交差する方向である
請求項６に記載されるデプスマップ生成装置。
【請求項8】
符号化開口を通してキャプチャされたキャプチャ画像から、それぞれがデプスを表す複数の画素を含むデプスマップを生成するデプスマップの生成方法であって、
前記複数の画素についてデプスを算出するデプス算出工程と、
前記デプスマップにおいてデプスを示す画素であるデプス表示画素を選択する画素選択工程と、
予め規定された参照デプスに対応し且つ前記符号化開口の開口パターンに対応しているＰＳＦを記憶部から取得する工程と
を含み、
前記画素選工程では、前記ＰＳＦを利用して前記キャプチャ画像から再生された参照デプス復元画像と前記キャプチャ画像とに基づいて、前記参照デプスと実際のデプスとの乖離度合いを表す乖離値を各画素について算出し、所定の方向に沿って並ぶ画素の前記乖離値の変化に基づいて、前記デプス表示画素を選択する
デプスマップの生成方法。
前記複数の画素についてデプスを算出するデプス算出工程と、
前記デプスマップにおいてデプスを示す画素であるデプス表示画素を選択する画素選択工程と、
予め規定された参照デプスに対応し且つ前記符号化開口の開口パターンに対応しているＰＳＦを記憶部から取得する工程と
を含み、
前記画素選工程では、前記ＰＳＦを利用して前記キャプチャ画像から再生された参照デプス復元画像と前記キャプチャ画像とに基づいて、前記参照デプスと実際のデプスとの乖離度合いを表す乖離値を各画素について算出し、所定の方向に沿って並ぶ画素の前記乖離値の変化に基づいて、前記デプス表示画素を選択する
デプスマップの生成方法。
【請求項9】
符号化開口を通してキャプチャされたキャプチャ画像から、それぞれがデプスを表す複数の画素を含むデプスマップを生成するデプスマップの生成装置として、コンピュータを機能させるプログラムであって、
前記複数の画素についてデプスを算出するデプス算出手段、
前記デプスマップにおいてデプスを示す画素であるデプス表示画素を選択する画素選択手段、及び
予め規定された参照デプスに対応し且つ前記符号化開口の開口パターンに対応しているＰＳＦを記憶部から取得する手段
としてコンピュータを機能させ、
前記画素選択手段が、前記ＰＳＦを利用して前記キャプチャ画像から再生された参照デプス復元画像と前記キャプチャ画像とに基づいて、前記参照デプスと実際のデプスとの乖離度合いを表す乖離値を、各画素について算出し、所定の方向に沿って並ぶ画素の前記乖離値の変化に基づいて、前記デプス表示画素を選択する
プログラム。
前記複数の画素についてデプスを算出するデプス算出手段、
前記デプスマップにおいてデプスを示す画素であるデプス表示画素を選択する画素選択手段、及び
予め規定された参照デプスに対応し且つ前記符号化開口の開口パターンに対応しているＰＳＦを記憶部から取得する手段
としてコンピュータを機能させ、
前記画素選択手段が、前記ＰＳＦを利用して前記キャプチャ画像から再生された参照デプス復元画像と前記キャプチャ画像とに基づいて、前記参照デプスと実際のデプスとの乖離度合いを表す乖離値を、各画素について算出し、所定の方向に沿って並ぶ画素の前記乖離値の変化に基づいて、前記デプス表示画素を選択する
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明はデプスマップの生成装置、生成方法、及びプログラムに関する。
【背景技術】
【0002】
非特許文献１では、符号化開口を通してキャプチャした画像からデプスマップを生成する技術が提案されている。この文献では、開口パターン（透光領域と遮光領域の形状）が異なる２つの符号化開口が利用されている。２つの符号化開口を組み合わせて利用することで、デプスマップの生成過程で使用するフィルタ（復元画像を生成するためのフィルタ）に、パワースペクトルが０になる周波数帯が生じることを抑えている。
【0003】
非特許文献１においては、次のようにして、デプスが算出される。（１）１００ｍｍや３００ｍｍなど予め規定された参照デプスに応じたサイズを有し且つ符号化開口の開口パターンに応じたＰＳＦが、用意される。（２）２つの符号化開口を通してそれぞれ取得した２つのキャプチャ画像とＰＳＦとを利用して、複数の参照デプスのそれぞれについて、復元画像を生成する。（３）キャプチャ画像の各画素の階調値と、復元画像の各画素の階調値との乖離を算出し、小さな乖離を得ることのできるＰＳＦに対応する参照デプスが、被写体が表示されている各画素のデプスとして算出される。
【先行技術文献】
【非特許文献】
【0004】
【非特許文献1】Ｃ．Ｚｈｏｕ， Ｓ．Ｌｉｎ， ａｎｄ Ｓ．Ｎａｙａｒ： Ｃｏｄｅｄ Ａｐｅｒｔｕｒｅ Ｐａｉｒｓ ｆｏｒ Ｄｅｐｔｈ ｆｒｏｍ Ｄｅｆｏｃｕｓ， ＩＥＥＥ ｉｎｔｅｒｎａｔｉｏｎａｌ ｃｏｎｆｅｒｅｎｃｅ ｏｎ ｃｏｍｐｕｔｅｒ ｖｉｓｉｏｎ， ２００９
【発明の概要】
【発明が解決しようとする課題】
【0005】
非特許文献１に開示されている方法で算出されるデプスには、精度の低いデプス（実際のデプスとの差が大きいデプス）が含まれる場合があった。
【課題を解決するための手段】
【0006】
本開示で提案するデプスマップの生成装置は、符号化開口を通してキャプチャされたキャプチャ画像から、それぞれがデプスを表す複数の画素を含むデプスマップを生成するデプスマップの生成装置である。前記生成装置は、前記複数の画素についてデプスを算出するデプス算出部と、前記デプスマップにおいてデプスを示す画素であるデプス表示画素を選択する画素選択部と、予め規定された参照デプスに対応し且つ前記符号化開口の開口パターンに対応しているＰＳＦを記憶している記憶部とを含む。前記画素選択部は、前記ＰＳＦを利用して前記キャプチャ画像から再生された参照デプス復元画像と前記キャプチャ画像とに基づいて、前記参照デプスと実際のデプスとの乖離度合いを表す乖離値を、各画素について算出し、所定の方向に沿って並ぶ画素の前記乖離値の変化に基づいて、前記デプス表示画素を選択する。
【0007】
本開示で提案するデプスマップの生成方法は、符号化開口を通してキャプチャされたキャプチャ画像から、それぞれがデプスを表す複数の画素を含むデプスマップを生成するデプスマップの生成方法である。前記生成方法は、前記複数の画素についてデプスを算出するデプス算出工程と、前記デプスマップにおいてデプスを示す画素であるデプス表示画素を選択する画素選択工程と、予め規定された参照デプスに対応し且つ前記符号化開口の開口パターンに対応しているＰＳＦを記憶部から取得する工程とを含む。前記画素選工程では、前記ＰＳＦを利用して前記キャプチャ画像から再生された参照デプス復元画像と前記キャプチャ画像とに基づいて、前記参照デプスと実際のデプスとの乖離度合いを表す乖離値を各画素について算出し、所定の方向に沿って並ぶ画素の前記乖離値の変化に基づいて、前記デプス表示画素を選択する。
【0008】
本開示で提案するプログラムは、符号化開口を通してキャプチャされたキャプチャ画像から、それぞれがデプスを表す複数の画素を含むデプスマップを生成するデプスマップの生成装置として、コンピュータを機能させるプログラムである。このプログラムは、前記複数の画素についてデプスを算出するデプス算出手段、前記デプスマップにおいてデプスを示す画素であるデプス表示画素を選択する画素選択手段、及び、予め規定された参照デプスに対応し且つ前記符号化開口の開口パターンに対応しているＰＳＦを記憶部から取得する手段、としてコンピュータを機能させる。前記画素選択手段が、前記ＰＳＦを利用して前記キャプチャ画像から再生された参照デプス復元画像と前記キャプチャ画像とに基づいて、前記参照デプスと実際のデプスとの乖離度合いを表す乖離値を、各画素について算出し、所定の方向に沿って並ぶ画素の前記乖離値の変化に基づいて、前記デプス表示画素とを選択する。
【0009】
本開示で提案するデプスマップの生成装置、生成方法、及びプログラムによると、デプスマップに表示されるデプスの精度を向上できる。
【図面の簡単な説明】
【0010】
【図1】デプスマップ生成装置の撮像系の例を示す模式図である。
【図2】デプスマップ生成装置のハードウェアを示すブロック図である。
【図3】デプスマップ生成装置が有している制御部の機能を示すブロック図である。
【図4】符号化開口部の２つの開口パターンの例を示す図である。
【図6】デプス算出部が生成する乖離値マップを説明するための図である。
【図7】キャプチャ画像の例を示す図である。
【図9】画素選択部の処理を実行することなく、全画素のデプスを表示したデプスマップを説明するための図である。
【図10】画素選択部による画素の走査を説明するための図である。
【図11】画素選択部によってなされる、デプス表示画素を選択する処理を説明するための図である。
【図12】デプス算出部によってなされる、デプス表示画素のデプスを算出する処理を説明するための図である。
【図14】符号化開口部の２つの開口パターンの変形例を示す図である。
【発明を実施するための形態】
【0011】
以下、本開示で提案するデプスマップの生成装置、生成方法、及びプログラムについて説明する。
【0012】
［デプスマップ生成装置のハードウェア］
図１は、本開示で提案するデプスマップの生成装置の一例である生成装置１０の撮像系Ｎを示す断面図である。同図に示すように、生成装置１０は、液晶パネル１４と、撮像素子１３とを有している。
図１は、本開示で提案するデプスマップの生成装置の一例である生成装置１０の撮像系Ｎを示す断面図である。同図に示すように、生成装置１０は、液晶パネル１４と、撮像素子１３とを有している。
【0013】
撮像素子１３は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサや、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）などのイメージセンサである。
【0014】
液晶パネル１４は複数の画素を含んでいる。液晶パネル１４は、その一部に符号化開口１４ａを有している。後述する制御部１１は、予め規定した開口パターンを構成するように、符号化開口１４ａの液晶を駆動する。開口パターンについては、後において詳説する。
【0015】
図１に示すように、生成装置１０は、符号化開口１４ａと撮像素子１３との間に配置されるレンズ１５を有している。符号化開口１４ａとレンズ１５とを通過した光が撮像素子１３に入射する。
【0016】
図２は、デプスマップ生成装置１０のハードウェアを示すブロック図である。生成装置１０は、図１で示した液晶パネル１４、撮像素子１３、及びレンズ１５の他に、制御部１１と、記憶部１２と、入力部１６とを有している。
【0017】
制御部１１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）や、ＧＰＵ（Ｇｒａｐｈｉｃａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）など少なくとも１つのプロセッサを含んでいる。撮像素子１３で取得した画像データは、制御部１１に提供される。制御部１１は、この画像データを利用して、被写体までの距離を示すデプスマップを生成する。
【0018】
記憶部１２は、主記憶部及び補助記憶部を含む。例えば、主記憶部はＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などの揮発性メモリであり、補助記憶部は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、又はハードディスクなどの不揮発性メモリである。制御部１１は、記憶部１２に格納されているプログラムを実行して、液晶パネル１４を制御したり、デプス（被写体までの距離）を算出したりする。制御部１１が実行する処理については後において説明する。生成装置１０は、例えば、スマートフォンや、タブレットＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）などの携帯装置であったり、カメラに接続しているパーソナルコンピュータであってよい。
【0019】
入力部１６は、液晶パネル１４に取り付けられているタッチセンサであってよい。また、入力部１６は、キーボードや、マウスなどのポインティングデバイスであってよい。入力部１６は、ユーザの操作に応じた信号を制御部１１に入力する。
【0020】
［制御部が行う処理］
図３は、制御部１１が有している機能を示すブロック図である。制御部１１は、その機能として、画像取得部１１ａ、デプス算出部１１ｃ、画素選択部１１ｄ、及びマップ生成部１１ｇとを有している。画像取得部１１ａは開口制御部１１ｂを含んでいる。これらの機能は、制御部１１が記憶部１２に格納されているプログラムに従って動作することで実現される。
図３は、制御部１１が有している機能を示すブロック図である。制御部１１は、その機能として、画像取得部１１ａ、デプス算出部１１ｃ、画素選択部１１ｄ、及びマップ生成部１１ｇとを有している。画像取得部１１ａは開口制御部１１ｂを含んでいる。これらの機能は、制御部１１が記憶部１２に格納されているプログラムに従って動作することで実現される。
【0021】
［開口制御部］
開口制御部１１ｂは、予め規定された開口パターンを形成するように液晶パネル１４の符号化開口１４ａの液晶を制御する。図４は符号化開口１４ａが形成する開口パターンの例を示す図である。これらの図において、白領域が光透過領域Ｒ１であり、黒領域が遮光領域Ｒ２・Ｒ３である。
開口制御部１１ｂは、予め規定された開口パターンを形成するように液晶パネル１４の符号化開口１４ａの液晶を制御する。図４は符号化開口１４ａが形成する開口パターンの例を示す図である。これらの図において、白領域が光透過領域Ｒ１であり、黒領域が遮光領域Ｒ２・Ｒ３である。
【0022】
図４で示す開口パターンＢ１・Ｂ２では、矩形の遮光領域Ｒ３の内側に円形の光透過領域Ｒ１が形成されている。また、この光透過領域Ｒ１の内側に円形の遮光領域Ｒ２が形成されている。また、第１開口パターンＢ１の遮光領域Ｒ２と、第２開口パターンＢ２の遮光領域Ｒ２は、異なる位置に形成されている。図で示す例では、これら２つの遮光領域Ｒ２は線対称の位置に形成されている。この２つの開口パターンＢ１・Ｂ２によると、非特許文献１で説明されるように、開口パターンに対応する点広がり関数（ＰＳＦ）の空間周波数特性において、パワースペクトルが０となる周波数帯の発生を抑えることができる。このような開口パターンＢ１・Ｂ２は、例えば遺伝的アルゴリズムによって、探索され得る。
【0023】
画像取得部１１ａは、撮像素子１３及び符号化開口１４ａを制御し、２つの開口パターンＢ１・Ｂ２を使用して、２つの画像ｆ１・ｆ２を連続撮影する。（以下では、この画像ｆ１・ｆ２をキャプチャ画像と称する。）このとき、第１開口パターンＢ１による撮像と、第２開口パターンＢ２による撮像との間隔は、数百ミリ秒、或いは数十ミリ秒であってよい。
【0024】
なお、開口制御部１１ｂが形成する開口パターンの数は、２つよりも多くてもよい。この場合、画像取得部１１ａは、２つより多い開口パターンの数だけ画像を連続撮影してよい。開口制御部１１ｂは、撮像素子１３による受光と同期しながら複数の開口パターンを順番に切り換える。
【0025】
［デプス算出部］
デプス算出部１１ｃは、デプスマップを構成する各画素について、デプス（撮像系Ｎから被写体までの距離）を算出する。デプスマップの各画素は、例えば、キャプチャ画像ｆ１・ｆ２の１つの画素に対応していてよい。これとは異なり、デプスマップの各画素は、キャプチャ画像において隣接する複数の画素（例えば、２×２）に対応していてもよい。
デプス算出部１１ｃは、デプスマップを構成する各画素について、デプス（撮像系Ｎから被写体までの距離）を算出する。デプスマップの各画素は、例えば、キャプチャ画像ｆ１・ｆ２の１つの画素に対応していてよい。これとは異なり、デプスマップの各画素は、キャプチャ画像において隣接する複数の画素（例えば、２×２）に対応していてもよい。
【0026】
後述するように、生成装置１０において、デプス算出部１１ｃは、画素選択部１１ｄが選択した画素（デプス表示画素）についてだけデプスを算出する。そして、マップ生成部１１ｇは、デプスマップのデプス表示画素に、算出されたデプスを表示する。これとは異なり、デプス算出部１１ｃは全画素についてデプスを算出してもよい。そして、マップ生成部１１ｇは、画素選択部１１ｄが選択した画素（デプス表示画素）についてのみ、算出されたデプスを表示してもよい。
【0027】
図５は、デプス算出部１１ｃ、画素選択部１１ｄ、及びマップ生成部１１ｇの処理の例を示すフロー図である。この図で示す処理は、画像取得部１１ａによるキャプチャ画像ｆ１・ｆ２が取得された後に開始される。
【0028】
まず、デプス算出部１１ｃは、キャプチャ画像ｆ１・ｆ２を二次元フーリエ変換する（Ｓ１０１）。以下では、二次元フーリエ変換により得られた、キャプチャ画像ｆ１・ｆ２の周波数特性をＦ１・Ｆ２として表す。なお、高周波成分が画像に含まれると、参照デプス復元画像を算出する際にノイズの影響が過大となることがある。そこで、周波数特性Ｆ１・Ｆ２から高周波成分を除去してもよい。例えば、サンプリング周波数の半分（ナイキスト周波数）以下の周波数のみを透過するローパスフィルタが利用されてもよい。そして、高周波成分が除去された周波数特性Ｆ１・Ｆ２を後述の処理において利用してもよい。
【0029】
生成装置１０では、離散的に設定された複数の参照デプスにそれぞれ対応する複数の点広がり関数（ＰＳＦ）が用意されている。参照デプスは、１００ｍｍや、３００ｍｍ、７００ｍｍなど、被写体までの距離の候補値である。各ＰＳＦは、符号化開口１４ａの開口パターンＢ１・Ｂ２に対応した形状を有している。また、各ＰＳＦは、参照デプスに応じたサイズを有している。具体的には、ＰＳＦのサイズは、参照デプスが大きくなるに従って、小さくなる。複数のＰＳＦは、これらを二次元フーリエ変換して得られる周波数特性として記憶部１２に格納されている。デプス算出部１１ｃは、記憶部１２から、ＰＳＦの周波数特性を取得する。この周波数特性は、光学伝達関数（ＯＴＦ）とも称される。
【0030】
デプス算出部１１ｃは、キャプチャ画像ｆ１・ｆ２とＰＳＦとを利用して、複数の参照デプスのそれぞれについて、参照デプスに応じた復元画像を生成する（Ｓ１０２）。以下では、この復元画像を「参照デプス復元画像」と称する。デプス算出部１１ｃは、具体的には、以下の数１を利用して、キャプチャ画像ｆ１・ｆ２の周波数特性Ｆ１・Ｆ２と、ＰＳＦの周波数特性とに応じた、参照デプス復元画像の周波数特性を算出する。
【0031】
【数1】
【0032】
数１はウィーナ・フィルタを、２つの開口パターンＢ１・Ｂ２に適用できるように一般化したものである。数１において、各文字は次の要素を意味する。
・Ｆ０＿ｄ：周波数領域で表す参照デプス復元画像
・Ｆ１：第１開口パターンＢ１により得られたキャプチャ画像ｆ１の周波数特性
・Ｆ２：第２開口パターンＢ２により得られたキャプチャ画像ｆ２の周波数特性
・Ｋ１＿ｄ：第１開口パターンＢ１に対応する形状を有し、「参照デプス：ｄ」のサイズに対応したＰＳＦの周波数特性（光学伝達関数）
・Ｋ２＿ｄ：第２開口パターンＢ２に対応する形状を有し、「参照デプス：ｄ」のサイズに対応したＰＳＦの周波数特性（光学伝達関数）
・Ｃ：ＳＮ比のマトリックスであり、ゆらぎによるノイズを考慮した正則化項である。例えば、画像ノイズの分散σ、自然画像の周波数分布Ｓによって求めることができる。
・横線が付されたＫ１＿ｄ・Ｋ２＿ｄ：ＰＳＦの周波数特性Ｋ１＿ｄ・Ｋ２＿ｄの共役複素数
・Ｆ０＿ｄ：周波数領域で表す参照デプス復元画像
・Ｆ１：第１開口パターンＢ１により得られたキャプチャ画像ｆ１の周波数特性
・Ｆ２：第２開口パターンＢ２により得られたキャプチャ画像ｆ２の周波数特性
・Ｋ１＿ｄ：第１開口パターンＢ１に対応する形状を有し、「参照デプス：ｄ」のサイズに対応したＰＳＦの周波数特性（光学伝達関数）
・Ｋ２＿ｄ：第２開口パターンＢ２に対応する形状を有し、「参照デプス：ｄ」のサイズに対応したＰＳＦの周波数特性（光学伝達関数）
・Ｃ：ＳＮ比のマトリックスであり、ゆらぎによるノイズを考慮した正則化項である。例えば、画像ノイズの分散σ、自然画像の周波数分布Ｓによって求めることができる。
・横線が付されたＫ１＿ｄ・Ｋ２＿ｄ：ＰＳＦの周波数特性Ｋ１＿ｄ・Ｋ２＿ｄの共役複素数
【0033】
ＰＳＦのサイズは撮像系Ｎから被写体までの距離（デプス）が大きくなるに従って小さくなる。そのため、ＰＳＦの周波数特性Ｋ１＿ｄ・Ｋ２＿ｄも、撮像系Ｎから被写体までの距離に応じて定まる。数１において、Ｋ１・Ｋ２に付されている添え字「ｄ」は、１００ｍｍや、３００ｍｍなどの参照デプスに対応している。例えば、関数Ｋ１＿１００・Ｋ２＿１００は、撮像系Ｎからの距離が１００ｍｍの被写体についてのＰＳＦの周波数特性である。参照デプスの数は、２つより多くてよく、例えば１０や、２０、３０などでもよい。
【0034】
Ｓ１０２において、デプス算出部１１ｃは、数１を利用して、キャプチャ画像ｆ１・ｆ２の周波数特性Ｆ１・Ｆ２と、ＰＳＦの周波数特性Ｋ１＿ｄ・Ｋ２＿ｄとに応じた、参照デプス復元画像の周波数特性Ｆ０＿ｄを算出する。デプス算出部１１ｃは、複数の参照デプスのそれぞれについて、参照デプス復元画像の周波数特性Ｆ０＿ｄを算出する。例えば、デプス算出部１１ｃは、周波数特性Ｋ１＿１００・Ｋ２＿１００と、キャプチャ画像ｆ１・ｆ２の周波数特性Ｆ１・Ｆ２とに基づいて、参照デプス復元画像の周波数特性Ｆ０＿１００を算出する。また、デプス算出部１１ｃは、周波数特性Ｋ１＿３００・Ｋ２＿３００と、キャプチャ画像ｆ１・ｆ２の周波数特性Ｆ１・Ｆ２とに基づいて、参照デプス復元画像の周波数特性Ｆ０＿３００を算出する。
【0035】
数１によると、撮像系Ｎからの距離が参照デプスに等しい被写体は、参照デプス復元画像においてボケが無い状態で表れる。例えば、撮像系Ｎから１００ｍｍにある被写体は、ＰＳＦの周波数特性Ｋ１＿１００・Ｋ２＿１００によって得られた参照デプス復元画像では、ボケが無い状態で表れる。一方で、３００ｍｍや、７００ｍｍなど、他の参照デプスに対応したＰＳＦの周波数特性Ｋ１＿ｄ・Ｋ２＿ｄによって得られた参照デプス復元画像では、この被写体についてボケ（階調値のずれ）が表れる。ボケは、被写体の実際のデプスと、参照デプスとの差が大きくなるに従って、強く表れる。そこで、デプス算出部１１ｃは、以降の処理において、このボケの程度を利用して、被写体までの距離（デプス）を算出する。
【0036】
［乖離値マップ］
デプス算出部１１ｃは、参照デプス復元画像の周波数特性Ｆ０＿ｄと、キャプチャ画像ｆ１・ｆ２の周波数特性Ｆ１・Ｆ２とに基づいて、乖離値マップＭｄを算出する（Ｓ１０３）。乖離値マップＭｄは、複数の参照デプス（１００ｍｍ、３００ｍｍなど）のそれぞれについて算出される。各乖離値マップＭｄでは、参照デプスと、実際のデプスとの乖離度合い（乖離値）が、デプスマップの各画素について示される。
デプス算出部１１ｃは、参照デプス復元画像の周波数特性Ｆ０＿ｄと、キャプチャ画像ｆ１・ｆ２の周波数特性Ｆ１・Ｆ２とに基づいて、乖離値マップＭｄを算出する（Ｓ１０３）。乖離値マップＭｄは、複数の参照デプス（１００ｍｍ、３００ｍｍなど）のそれぞれについて算出される。各乖離値マップＭｄでは、参照デプスと、実際のデプスとの乖離度合い（乖離値）が、デプスマップの各画素について示される。
【0037】
デプス算出部１１ｃは、例えば、以下の数２を参照して、乖離値マップＭｄを算出する。
【0038】
【数2】
【0039】
数２において、各文字は次の要素を意味する。
・Ｍｄ：「参照デプス：ｄ」についての乖離値マップ
・ＩＦＦＴ：２次元逆フーリエ変換
・Ｆ０＿ｄ：「参照デプス：ｄ」についての、参照デプス復元画像の周波数特性
・Ｋ１＿ｄ：第１開口パターンＢ１に対応する形状を有し、「参照デプス：ｄ」のサイズに対応したＰＳＦの周波数特性（光学伝達関数）
・Ｋ２＿ｄ：第２開口パターンＢ２に対応する形状を有し、「参照デプス：ｄ」のサイズに対応したＰＳＦの周波数特性（光学伝達関数）
・Ｆ１：第１開口パターンＢ１により得られたキャプチャ画像ｆ１の周波数特性
・Ｆ２：第２開口パターンＢ２により得られたキャプチャ画像ｆ２の周波数特性
・Ｍｄ：「参照デプス：ｄ」についての乖離値マップ
・ＩＦＦＴ：２次元逆フーリエ変換
・Ｆ０＿ｄ：「参照デプス：ｄ」についての、参照デプス復元画像の周波数特性
・Ｋ１＿ｄ：第１開口パターンＢ１に対応する形状を有し、「参照デプス：ｄ」のサイズに対応したＰＳＦの周波数特性（光学伝達関数）
・Ｋ２＿ｄ：第２開口パターンＢ２に対応する形状を有し、「参照デプス：ｄ」のサイズに対応したＰＳＦの周波数特性（光学伝達関数）
・Ｆ１：第１開口パターンＢ１により得られたキャプチャ画像ｆ１の周波数特性
・Ｆ２：第２開口パターンＢ２により得られたキャプチャ画像ｆ２の周波数特性
【0040】
図６は、乖離値マップＭｄの例を示す図である。同図で示すように、乖離値マップＭｄは、実際のデプス（撮像系Ｎから被写体までの実際の距離）と、参照デプスとの乖離値ｗを、各画素について示す。例えば、乖離値マップＭ１００は、実際のデプスと「参照デプス：１００ｍｍ」の乖離値ｗを示す。実際のデプスが１００ｍｍであれば、乖離値マップＭ１００で示される乖離値ｗ１００は最小となり、実際のデプスが２００ｍｍであれば、「参照デプス：１００ｍｍ」に対応する乖離値マップＭ１００において、乖離値ｗ１００は最小よりも大きな値となる。
【0041】
このように、デプス算出部１１ｃは、Ｓ１０２の処理において、周波数特性Ｋ１＿ｄ・Ｋ２＿ｄで表された複数のＰＳＦをそれぞれ利用して、キャプチャ画像ｆ１・ｆ２（より具体的には、それらの周波数特性Ｆ１・Ｆ２）から、複数の参照デプス復元画像（より具体的には、それらの周波数特性Ｆ０＿ｄ）を生成する。そして、Ｓ１０３において、周波数特性Ｆ０＿ｄで表された複数の参照デプス復元画像と、周波数特性Ｆ１・Ｆ２で表されたキャプチャ画像ｆ１・ｆ２とを利用して、参照デプスと実際のデプスとの乖離値ｗを算出する。
【0042】
［画素選択部］
画素選択部１１ｄは、Ｓ１０４～Ｓ１０６において、複数の乖離値マップＭｄを参照し、デプス表示画素を選択する。デプス表示画素は、デプスマップにおいてデプス（撮像系Ｎから被写体までの距離）を示す画素である。そして、デプス算出部１１ｃは、Ｓ１０７において、デプス表示画素についてデプスを算出する。
画素選択部１１ｄは、Ｓ１０４～Ｓ１０６において、複数の乖離値マップＭｄを参照し、デプス表示画素を選択する。デプス表示画素は、デプスマップにおいてデプス（撮像系Ｎから被写体までの距離）を示す画素である。そして、デプス算出部１１ｃは、Ｓ１０７において、デプス表示画素についてデプスを算出する。
【0043】
なお、ここで説明する例とは異なり、デプス算出部１１ｃは、全ての画素についてデプスを算出してもよい。そして、画素選択部１１ｄが選択したデプス表示画素だけに、算出されたデプスを表示してもよい。
【0044】
以下では、図７で例示するチェッカーパターンが画像取得部１１ａの処理において撮影された場合を例にして、画素選択部１１ｄ及びデプス算出部１１ｃの処理を説明する。図８は、画素選択部１１ｄ及びデプス算出部１１ｃの処理を説明するための図であり、同図の横軸は１００ｍｍや、３００ｍｍなど参照デプスであり、縦軸は各画素での乖離値ｗを示している。以下では、デプス算出部１１ｃが算出するデプスを推定デプスｄ０と称する。
【0045】
乖離値ｗは、実際のデプスと同じ参照デプス、又は実際のデプスに近しい参照デプスにおいて、最小となる。例えば、図８の線Ａは、図７で示す領域Ｐａ中の画素について算出される乖離値ｗを示している。線Ａで示すように、乖離値ｗは参照デプスに応じて変化している。領域Ｐａ中の画素はチェッカーパターンの白と黒の境界に位置する画素である。線Ａで示す乖離値ｗは、「参照デプス：１５００ｍｍ」の位置で最小となっている。従って、この画素に表れる被写体（図７で示すチェッカーパターン）は撮像系Ｎから１５００ｍｍの位置にあると推定される。すなわち、この画素については１５００ｍｍが推定デプスｄ０として算出される。
【0046】
ところが、白と黒との境界から離れた領域では複数の画素の階調値が実質的に同じになるので、キャプチャ画像ｆ１・ｆ２においてボケが発生しにくい。そのため、そのような領域にある画素では、参照デプスに応じた乖離値ｗの変化が小さくなる。従って、そのような領域では、乖離値ｗが最小となる参照デプスが、実際のデプス（被写体までの距離）に一致しにくい。言い換えれば、そのような領域では、乖離値ｗが最小となる参照デプスと実際のデプスとの誤差が大きくなる。
【0047】
例えば、図８の線Ｂは、図７で示す領域Ｐｂ中の画画について算出される乖離値ｗの参照デプスに応じた変化を示している。領域Ｐｂはチェッカーパターンの白領域の中心に位置している。線Ｂで示す乖離値ｗの変化量Δｗｂは、線Ａで示す乖離値ｗの変化量Δｗａよりも小さい。また、図７で示すチェッカーパターンの全体が撮像系Ｎから等距離にあるので、線Ｂで示す乖離値ｗは、本来は線Ａと同様に「参照デプス：１５００ｍｍ」の位置で最小となるべきところ、「参照デプス：２０００ｍｍ」の位置で最小となっている。
【0048】
このように、白領域や黒領域など、階調値の変化が小さい領域では、正しい推定デプスｄ０が算出されにくい。そのため、図９の上図で示すように、白領域及び黒領域の画素については、１０００ｍｍや、２０００ｍｍなど、実際のデプスである１５００ｍｍ」とは異なるデプスが、推定デプスｄ０として算出されることが多くなる。
【0049】
また、図９の下図で示すように、白領域と黒領域との境界の近くであっても、実際のデプス（１５００ｍｍ）とは異なるデプスが推定デプスとして算出されることがある。
【0050】
［候補画素、共通候補画素、及びデプス表示画素の選択］
そこで、画素選択部１１ｄは、正しい推定デプスｄ０が算出される蓋然性の高い画素をデプス表示画素として選択する。デプス算出部１１ｃは、そのデプス表示画素について、デプスを算出する。
そこで、画素選択部１１ｄは、正しい推定デプスｄ０が算出される蓋然性の高い画素をデプス表示画素として選択する。デプス算出部１１ｃは、そのデプス表示画素について、デプスを算出する。
【0051】
具体的には、画素選択部１１ｄは、各乖離値マップＭｄを参照し、所定の方向に沿って並ぶ画素の乖離値ｗの変化に基づいて、正しい推定デプスｄ０が算出される蓋然性の高い画素を探索する。（以下では、この所定の方向を画素走査方向と称する。）更に具体的には、画素選択部１１ｄは、画素走査方向に沿って並ぶ画素から、乖離値ｗが極大となる画素を探索する。そして、探索によって得られた画素を候補画素とする（Ｓ１０４）。
【0052】
例えば、乖離値マップＭ１００において画素走査方向に沿って並ぶ画素から、乖離値ｗが極大となる１又は複数の画素を候補画素として選択する。また、乖離値マップＭ３００において画素走査方向に沿って並ぶ画素から、乖離値ｗが極大となる１又は複数の画素を候補画素として選択する。画素選択部１１ｄは、他の乖離値マップＭｄについて同様の処理を行う。
【0053】
そして、画素選択部１１ｄは、複数の乖離値マップＭｄからそれぞれ選択された複数の候補画素が所定の条件を満たす場合に、その条件を満たす画素をデプス表示画素として選択する。例えば、画素選択部１１ｄは、位置が同じ候補画素の数が所定数以上である場合に、その候補画素をデプス表示画素の１つとして選択する。言い換えれば、所定数以上の乖離値マップＭｄから候補画素として選択された画素（共通候補画素）を、デプス表示画素の１つとして選択する（Ｓ１０５）。
【0054】
図１０及び図１１を参照して、画素選択部１１ｄの処理について詳説する。図１０の左図は、乖離値マップＭ１００中の一部の領域の乖離値ｗの例を示している。図１０の中央図は、乖離値マップＭ３００中の同じ領域の乖離値ｗを例示している。同様に、図１０の右図は、乖離値マップＭ７００中の同じ領域の乖離値ｗを例示している。また、図１０中の各図の左側に記載されるｍ－２、ｍ－１、ｍ等は画素の行番号である。図１０の上側に記載されるｎ－２、ｎ－１、ｎ等は画素の列番号である。図１１は、各乖離値マップにおける乖離値ｗを示している。同図において、縦軸は乖離値であり、横軸は画素の行番号（ｍや、ｍ＋１など）である。
【0055】
画素選択部１１ｄは、画素走査方向に沿って画素の乖離値ｗを走査する。画素走査方向は、２種類の開口パターンＢ１・Ｂ２に応じた方向であり、具体的には縦方向である。画素選択部１１ｄは、Ｓ１０４において、例えば、縦方向で並ぶ複数の画素（例えば、３つ以上、７つ以下の画素）の乖離値ｗを相互に比較し、乖離値ｗが極大となる画素（候補画素）を探索する。画素選択部１１ｄは、この探索を、画素領域の縦方向における一方の端部（上端の画素）から反対側の端部（下端の画素）に向けて順番に行う。画素選択部１１ｄは、見つかった候補画素を記憶部１２に記録する。
【0056】
画素選択部１１ｄは、第ｎ列において縦方向に並ぶ所定数の画素、又は第ｎ列の全画素の乖離値ｗに関数をフィッティングさせてもよい。そして、画素選択部１１ｄは、その関数の微分（１回微分の値と２回微分の値）を利用して、乖離値ｗが極大となる候補画素を特定してもよい。
【0057】
図１０の左図、及び図１１で例示する乖離値マップＭ１００では、画素（ｎ、ｍ－１）において乖離値ｗは極大となっている。そのため、画素選択部１１ｄは、この画素（ｎ、ｍ－１）を候補画素の１つとして記憶部１２に記録する。
【0058】
図１０の中央図、及び図１１で示す乖離値マップＭ３００では、画素（ｎ、ｍ）において乖離値ｗは極大となっている。そのため、画素選択部１１ｄは、この画素（ｎ、ｍ）を候補画素の１つとして記憶部１２に記録する。更に、図１０の右図、及び図１１で示す乖離値マップＭ７００では、画素（ｎ、ｍ）において乖離値ｗは極大となっており、画素選択部１１ｄは、この画素（ｎ、ｍ）を候補画素の１つとして記憶部１２に記録する。画素選択部１１ｄは、この他の乖離値マップについても、同様の処理を行う。
【0059】
画素選択部１１ｄは第ｎ列において並ぶ全画素を参照する。その結果、キャプチャ画像によっては、図１１で示すように、各乖離値マップＭｄの第ｎ列において並ぶ複数の画素から、複数の候補画素が選択される場合がある。
【0060】
画素選択部１１ｄは、Ｓ１０５において、記憶部１２に記録された複数の候補画素の位置（座標）を参照する。そして、所定数以上（例えば、３つ以上）の乖離値マップＭｄにおいて候補画素となっている画素を、共通候補画素として選択する。図１１で示す例では、画素（ｎ、ｍ）が乖離値マップＭ３００・Ｍ７００・Ｍ１０００において候補画素となっているので、画素選択部１１ｄは、画素（ｎ、ｍ）を共通候補画素として選択する。つまり、所定数以上の乖離値マップＭｄにおいて候補画素として選択された画素は、精度の高い推定デプスｄ０が算出される蓋然性が高い。そこで、そのような画素を共通候補画素として選択している。
【0061】
画素選択部１１ｄは、図１１で示すように、この共通候補画素をデプス表示画素として選択する（Ｓ１０６）。また、画素選択部１１ｄは、画素走査方向（図１０の例において縦方向）において共通候補画素を挟む所定数の画素をも、デプス表示画素として選択する（Ｓ１０６）。例えば、画素選択部１１ｄは、画素走査方向において共通候補画素を挟む２つ或いは３つの画素をも、デプス表示画素として選択する。
【0062】
なお、共通候補画素の選択方法は、上述した例に限られない。例えば、上述した例とは反対に、所定数より少ない乖離値マップＭｄにおいてのみ候補画素として選択された画素は、候補画素から除外され、残った候補画素が共通候補画素として選択してもよい。例えば、１つ或いは２つの乖離値マップＭｄだけで候補画素として選択された画素は、候補画素から除外され、残りの候補画素が全て共通候補画素として選択されてもよい。
【0063】
［画素走査方向］
上述したように、画素選択部１１ｄは、デプス表示画素の選択処理において、画素を縦方向（画素走査方向）に走査した。これは次の理由による。
上述したように、画素選択部１１ｄは、デプス表示画素の選択処理において、画素を縦方向（画素走査方向）に走査した。これは次の理由による。
【0064】
図４で例示した第１開口パターンＢ１と第２開口パターンＢ２は、画像の横方向に沿った線Ｌｃに対して対称である。この場合、キャプチャ画像ｆ１に表れる横方向に沿った境界線のボケと、キャプチャ画像ｆ２に表れる横方向に沿った境界線のボケには、比較的大きな違いが生じる。このため、横方向に沿った境界線の近くの画素については、正しい推定デプスｄ０が算出される。これに対して、キャプチャ画像ｆ１に表れる縦方向に沿った境界線のボケと、キャプチャ画像ｆ２に表れる縦方向に沿った境界線のボケとの間の相違は小さくなる。このため、上述した数２を利用して乖離値マップＭｄを算出すると、縦方向の境界線に対応する画素については、参照デプスに応じた乖離値ｗの変化が小さくなる。その結果、それらの画素については、実際のデプスと推定デプスｄ０との差が大きくなる。
【0065】
そこで、画素選択部１１ｄは、デプス表示画素の選択処理において、縦方向に画素を走査し、乖離値ｗが極大となる画素を探索している。言い換えれば、開口パターンＢ１・Ｂ２によると縦方向での境界線について正しい推定デプスｄ０を算出するのが難しいというデメリットを逆に有効利用し、画素を縦方向に走査している。
【0066】
なお、画素走査方向は縦方向に限られない。例えば、符号化開口１４ａの開口パターンが図４で例示するパターンＢ１・Ｂ２である場合であっても、画素選択部１１ｄは、縦方向に画素を走査して候補画素を選択した後、さらに別の方向に画素を走査して候補画素を選択してもよい。つまり、画素選択部１１ｄは、複数の方向に画素を走査してもよい。
【0067】
また、第１開口パターンＢ１と第２開口パターンＢ２とによっては、縦方向とは異なる方向（例えば横方向や斜め方向）に走査してもよい。そして、乖離値ｗが極大となる画素（候補画素）を探索してもよい。
【0068】
例えば、第１開口パターンＢ１と第２開口パターンＢ２とが縦方向の線に対して対称である場合、画素選択部１１ｄは、この線に対して直交する方向（横方向）において並ぶ画素を走査し、候補画素を探索してもよい。
【0069】
また、例えば、第１開口パターンＢ１と第２開口パターンＢ２とが横方向と縦方向とに対して傾斜した線に対して対称である場合、画素選択部１１ｄは、この線に対して直交する方向に画素を走査し、候補画素を探索してもよい。
【0070】
［デプス表示画素でのデプス算出］
デプス算出部１１ｃは、複数の乖離値マップＭｄを参照し、選択したデプス表示画素についてデプス（撮像系Ｎから被写体までの距離）を算出する（Ｓ１０７）。具体的には、図１２で示すように、複数の乖離値マップＭｄを参照し、デプス表示画素について算出された乖離値ｗが最小になる参照デプスを探索する。そして、デプス算出部１１ｃは、探索により見つかった参照デプスを推定デプスｄ０とする。デプス算出部１１ｃは、この探索を全デプス表示画素について実行する。なお、図１２において、横軸は参照デプスであり、縦軸は、デプス表示画素での乖離値である。
デプス算出部１１ｃは、複数の乖離値マップＭｄを参照し、選択したデプス表示画素についてデプス（撮像系Ｎから被写体までの距離）を算出する（Ｓ１０７）。具体的には、図１２で示すように、複数の乖離値マップＭｄを参照し、デプス表示画素について算出された乖離値ｗが最小になる参照デプスを探索する。そして、デプス算出部１１ｃは、探索により見つかった参照デプスを推定デプスｄ０とする。デプス算出部１１ｃは、この探索を全デプス表示画素について実行する。なお、図１２において、横軸は参照デプスであり、縦軸は、デプス表示画素での乖離値である。
【0071】
なお、デプスの算出処理は、ここで説明する例に限られない。上述した処理において、デプス算出部１１ｃは、乖離値ｗｄを最小にする乖離値マップＭｄに対応する参照デプスを、そのデプス表示画素の推定デプスｄ０としている。これとは異なり、デプス算出部１１ｃは、参照デプスと乖離値ｗｄとの関係を示す関数を求め、その関数の極小値を算出してもよい。そして、その極小値を得るデプスを、その画素の推定デプスｄ０として算出してもよい。
【0072】
デプス算出部１１ｃによるこの処理は、例えば、次のように行うことができる。デプス算出部１１ｃは、図１２で示す参照デプスと乖離値ｗｄとの関係に、例えば３次関数をフィッティングさせる。すなわち、デプス算出部１１ｃは、乖離値ｗｄの最小を得る点と、その近傍の複数の点とに、次の数３をフィッティングさせ、係数ａ１・ａ２、ａ３、ａ４を求める。数３において、関数Ｗ（ｄ）は、ａ１・ａ２、ａ３、ａ４を係数とする３次関数である。
【0073】
【数3】
【0074】
そして、デプス算出部１１ｃは数３の極小を求める。すなわち、デプス算出部１１ｃは、δＷ／δｄ＝０を解くことで、関数Ｗ（ｄ）を極小にするデプスを算出する。そして、デプス算出部１１ｃは、このように算出したデプスを推定デプスｄ０とする。このような処理によれば、参照デプスの数（ＰＳＦの数）を増すことなく、デプスについての解像度を増すことができる。
【0075】
デプス算出部１１ｃは、キャプチャ画像ｆ１・ｆ２の全ての列について、Ｓ１０４～Ｓ１０７の処理を行ったか否かを判断する（Ｓ１０８）。そして、未だ、処理を行っていない列が存在する場合（Ｓ１０８において「Ｎｏ」）、デプス算出部１１ｃはＳ１０４に戻り、Ｓ１０４～Ｓ１０７の処理を実行する。
【0076】
［デプスマップの表示］
全部の列についてＳ１０４～Ｓ１０７の処理が終了すると（Ｓ１０８において「Ｙｅｓ」）、マップ生成部１１ｇは、算出された推定デプスｄ０をデプスマップに表示する。
全部の列についてＳ１０４～Ｓ１０７の処理が終了すると（Ｓ１０８において「Ｙｅｓ」）、マップ生成部１１ｇは、算出された推定デプスｄ０をデプスマップに表示する。
【0077】
図１３は、このような処理の結果、表示されるデプスマップの例を示す図である。この図は、図７で例示するチェッカーパターンについての処理の結果を示している。図１３の下図で示すように、白領域と黒領域との境界に対応する３つの画素（デプス表示画素）について算出された推定デプスがデプスマップに表示されている。また、表示されている推定デプスｄ０は１５００ｍｍ（被写体であるチェッカーパターンまでの距離）で実質的に統一されている。これに対して、デプス表示画素としては選択されなかった画素については、デプスは表示されていない。このため、精度の高いデプスだけがデプスマップに表示されることとなる。
【0078】
［変形例］
本開示で提案するデプスマップ生成装置は、上述した生成装置１０の例に限られない。
本開示で提案するデプスマップ生成装置は、上述した生成装置１０の例に限られない。
【0079】
生成装置１０では、デプス表示画素の選択処理において、乖離値マップにおいて画素を縦方向に走査し、候補画素を探索していた。画素走査方向は、縦方向に限られず、第１開口パターンと第２開口パターンとに応じて定められてよい。
【0080】
図１４は、開口パターンの変形例を示す図である。この図で示す第１開口パターンＢ３及び第２開口パターンＢ４は、図４で示した例と同様に、矩形の遮光領域Ｒ３と、円形の光透過領域Ｒ１と、円形の遮光領域Ｒ２とを有している。図４の例とは異なり、第１開口パターンＢ３の遮光領域Ｒ２と、第２開口パターンＢ４の遮光領域Ｒ２は、画像の縦方向と横方向の双方に対して傾斜した線Ｌｅに対して対称となっている。
【0081】
このような開口パターンＢ３・Ｂ４を通して図１５で例示するようなチェッカーパターンを撮影した場合、キャプチャ画像ｆ１において線Ｌｅ（図１４参照）に沿った方向に伸びている境界線のボケと、キャプチャ画像ｆ２において線Ｌｅ（図１４参照）に沿った方向に伸びている境界線のボケとの間には、大きな相違が生じる。そのため、この境界線の位置については、精度の高いデプスが算出され得る。これに対して、線Ｌｅに対して直交する方向に伸びている境界線Ｌｂ（図１５参照）のボケの相違は、小さくなる。この場合、画素選択部１１ｄは、各乖離値マップにおいて、線Ｌｅに対して直交する方向Ｓ１（図１５参照）に画素を走査し、乖離値が極大になる画素（すなわち、候補画素）を探索してよい（Ｓ１０４）。
【0082】
以降の処理は、上述した生成装置１０の例と同様である。すなわち、画素選択部１１ｄは、所定数以上の乖離値マップＭｄにおいて候補画素となる画素を共通候補画素として選択する（Ｓ１０５）。そして、共通候補画素と、共通候補画素を画素走査方向Ｓ１で挟む所定数の画素とを、デプス表示画素として選択する（Ｓ１０６）。デプス算出部１１ｃは、選択されたデプス表示画素について、推定デプスを算出する（Ｓ１０７）。Ｓ１０８において、画素走査方向Ｓ１に沿った画素列の全てについてＳ１０４～Ｓ１０７の処理を行ったと判断された場合、マップ生成部１１ｇは、算出した推定デプスをデプスマップとして表示する（Ｓ１０９）。
【0083】
［まとめ］
（１）デプスマップ生成装置１０は、複数の画素についてデプスを算出するデプス算出部１１ｃと、デプスマップにおいてデプスを示す画素であるデプス表示画素を選択する画素選択部１１ｄと、予め規定された参照デプスに対応し且つ符号化開口の開口パターンに対応しているＰＳＦを記憶している記憶部１２とを含んでいる。画素選択部１１ｄは、ＰＳＦを利用してキャプチャ画像ｆ１・ｆ２から再生された参照デプス復元画像とキャプチャ画像ｆ１・ｆ２とに基づいて、参照デプスと実際のデプスとの乖離度合いを表す乖離値ｗを、各画素について算出し、画素走査方向に沿って並ぶ画素の乖離値の変化に基づいて、デプス表示画素を選択する。
（１）のデプスマップ生成装置１０によると、画素走査方向に沿って並ぶ画素の乖離値ｗの変化に基づいてデプス表示画素が選択されるので、デプスマップに表示されるデプスの精度を向上できる。例えば乖離値ｗの最大と最小との差（例えば、図８のΔｗａ・Δｗｂ）が大きい画素をデプス表示画素として選択する形態に比して、デプスマップに表示されるデプスの精度を向上できる。
（１）デプスマップ生成装置１０は、複数の画素についてデプスを算出するデプス算出部１１ｃと、デプスマップにおいてデプスを示す画素であるデプス表示画素を選択する画素選択部１１ｄと、予め規定された参照デプスに対応し且つ符号化開口の開口パターンに対応しているＰＳＦを記憶している記憶部１２とを含んでいる。画素選択部１１ｄは、ＰＳＦを利用してキャプチャ画像ｆ１・ｆ２から再生された参照デプス復元画像とキャプチャ画像ｆ１・ｆ２とに基づいて、参照デプスと実際のデプスとの乖離度合いを表す乖離値ｗを、各画素について算出し、画素走査方向に沿って並ぶ画素の乖離値の変化に基づいて、デプス表示画素を選択する。
（１）のデプスマップ生成装置１０によると、画素走査方向に沿って並ぶ画素の乖離値ｗの変化に基づいてデプス表示画素が選択されるので、デプスマップに表示されるデプスの精度を向上できる。例えば乖離値ｗの最大と最小との差（例えば、図８のΔｗａ・Δｗｂ）が大きい画素をデプス表示画素として選択する形態に比して、デプスマップに表示されるデプスの精度を向上できる。
【0084】
（２）（１）の生成装置１０において、画素選択部１１ｄは、第１ＰＳＦを利用してキャプチャ画像ｆ１・ｆ２から再生された第１参照デプス復元画像と、キャプチャ画像ｆ１・ｆ２とに基づいて、第１参照デプスと実際のデプスとの乖離度合いを表す第１乖離値を、各画素について算出する。そして、画素選択部１１ｄは、画素走査方向に沿って並ぶ画素の第１乖離値の変化に基づいて、１又は複数の画素を第１候補画素として選択する。また、画素選択部１１ｄは、第２ＰＳＦを利用してキャプチャ画像ｆ１・ｆ２から再生された第２参照デプス復元画像と、キャプチャ画像ｆ１・ｆ２とに基づいて、第２参照デプスと実際のデプスとの乖離度合いを表す第２乖離値を、各画素について算出する。そして、画素選択部１１ｄは、画素走査方向に沿って並ぶ画素の第２乖離値の変化に基づいて、１又は複数の画素を第２候補画素として選択する。画素選択部１１ｄは、第１候補画素と第２候補画素とが所定の条件を満たす場合に、第１候補画素と第２候補画素とをデプス表示画素として選択する。
【0085】
（２）の生成装置１０によると、２つの参照デプス復元画像から算出される２つの候補画素を利用してデプス表示画素が選択される。そのため、例えば、１つの参照デプス復元画像から算出された候補画素だけを利用してデプス表示画素を選択する場合に比して、デプスマップに表示されるデプスの精度を向上できる。
【0086】
（３）（１）又は（２）の生成装置１０において、候補画素は、画素走査方向に沿って並ぶ画素の乖離値の極大を与える画素である。精度が高いデプスが算出される画素では、乖離値が大きくなる。（３）の生成装置１０によると、このことを利用して、候補画素を選択できる。
【0087】
（４）（２）の生成装置１０において、画素選択部１１ｄは、複数の参照デプス復元画像から、第１候補画素と第２候補画素とを含む複数の候補画素をそれぞれ選択する。画素選択部１１ｄは、複数の候補画素に含まれる所定数の候補画素の位置（座標）が一致しているときに、位置の一致している候補画素をデプス表示画素として選択する。これによると、デプスマップに表示されるデプスの精度を、更に向上できる。
【0088】
（５）（１）乃至（４）の生成装置１０において、符号化開口１４ａは第１開口パターンＢ１・Ｂ３と第２開口パターンＢ２・Ｂ４とを含む。デプスマップ生成装置１０は、第１開口パターンＢ１・Ｂ３を通してキャプチャされた第１キャプチャ画像ｆ１と、第２開口パターンＢ２・Ｂ４を通してキャプチャされた第２キャプチャ画像ｆ２とから、デプスマップを生成する。これによると、開口パターンの数が１つの場合に比してデプスマップに表示されるデプスの精度を向上できる。
【0089】
（６）（１）乃至（５）の生成装置１０において、画素走査方向は第１開口パターンＢ１・Ｂ３と第２開口パターンＢ２・Ｂ４とに応じて決まる方向である。これによると、開口パターンと画素走査方向との関係によっては正しいデプスが算出するのが難しいというデメリットを逆に有効利用して、デプスを算出できる。
【0090】
（７）（６）の生成装置１０において、第１開口パターンＢ１・Ｂ３と第２開口パターンＢ２・Ｂ４は、直線Ｌｃ・Ｌｅに対して互いに対称である。画素走査方向は直線Ｌｃ・Ｌｅに対して交差する方向である。
【符号の説明】
【0091】
１０：デプスマップ生成装置、１１：制御部、１１ａ：画像取得部、１１ｂ：開口制御部、１１ｃ：デプス算出部、１１ｄ：画素選択部、１１ｇ：マップ生成部、１２：記憶部、１３：撮像素子、１４：液晶パネル、１４ａ：符号化開口、１５：レンズ、１６：入力部、Ｂ１・Ｂ２・Ｂ３・Ｂ４：開口パターン、Ｒ１：光透過領域、Ｒ２：遮光領域、Ｒ３：遮光領域。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
