知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6462671
(24)【登録日】2019年1月11日
(45)【発行日】2019年1月30日
(54)【発明の名称】Ｘスリットカメラ
(51)【国際特許分類】
H04N 5/225 20060101AFI20190121BHJP
G06T 1/00 20060101ALI20190121BHJP
H04N 5/232 20060101ALI20190121BHJP
【ＦＩ】
H04N5/225 400
G06T1/00 315
H04N5/232 290
【請求項の数】17
【全頁数】41
(21)【出願番号】特願2016-519816(P2016-519816)
(86)(22)【出願日】2014年10月3日
(65)【公表番号】特表2016-539530(P2016-539530A)
(43)【公表日】2016年12月15日
(86)【国際出願番号】US2014059110
(87)【国際公開番号】WO2015051282
(87)【国際公開日】20150409
【審査請求日】2017年9月27日
(31)【優先権主張番号】61/886,161
(32)【優先日】2013年10月3日
(33)【優先権主張国】US
(73)【特許権者】
【識別番号】512226882
【氏名又は名称】ユニバーシティー オブ デラウェア
(74)【代理人】
【識別番号】100099759
【弁理士】
【氏名又は名称】青木 篤
(74)【代理人】
【識別番号】100092624
【弁理士】
【氏名又は名称】鶴田 準一
(74)【代理人】
【識別番号】100114018
【弁理士】
【氏名又は名称】南山 知広
(74)【代理人】
【識別番号】100141254
【弁理士】
【氏名又は名称】榎原 正巳
(72)【発明者】
【氏名】ジーンイー ユイ
(72)【発明者】
【氏名】イエ ジンウエイ
(72)【発明者】
【氏名】ジー ユイ
【審査官】
▲徳▼田 賢二
(56)【参考文献】
【文献】
特開２００６−３４９５５４（ＪＰ，Ａ）
【文献】
米国特許出願公開第２０１１／００４３６０４（ＵＳ，Ａ１）
【文献】
JINWEI YE ,YU JI ,JINGYI YU,，MANHATTAN SCENE UNDERSTANDING VIA XSLIT IMAGING，COMPUTER VISION AND PATTERN RECOGNITION (CVPR), 2013 IEEE CONFERENCE ON，２０１３年，ＵＲＬ，https://www.eecis.udel.edu/~jye/lab_research/2013/manhattanxslit.pdf
(58)【調査した分野】（Int.Cl.，ＤＢ名）
Ｈ０４Ｎ ５／２２５
Ｇ０６Ｔ １／００
Ｈ０４Ｎ ５／２３２
(57)【特許請求の範囲】
【請求項1】
シーンを再構築する方法であって、
撮像センサに結合されたレンズモジュールを通じて該シーンを表す光を導くステップであって、該レンズモジュールは、該撮像センサの光軸に沿って位置決めされた第一及び第二円筒形レンズと、該個々の第一及び第二円筒形レンズ上に配設された第一及び第二スリット形状アパーチャと、を含み、該第二円筒形レンズの円筒軸は、該第一円筒形レンズの円筒軸との関係において平行から離れた角度において構成されている、ステップと、
該撮像センサにより、該レンズモジュールを通じて導かれた該光をキャプチャして少なくとも一つの多視点画像を形成するステップと、
プロセッサにより、該少なくとも一つの多視点画像を処理して該シーンの再構築特性を判定する処理ステップと、
を具備し、
該少なくとも一つの多視点画像は、第一多視点画像と、第二多視点画像と、を含み、
該光をキャプチャして該少なくとも一つの多視点画像を形成する該ステップは、
該第一及び第二円筒形レンズが該撮像センサとの関係において第一方向において構成されている際に、該第一多視点画像をキャプチャするステップと、
該第一及び第二円筒形レンズが該撮像センサとの関係において該第一方向とは反対の第二方向において構成されるように、該撮像センサとの関係において該第一及び第二円筒形レンズを回転させるステップと、
該第一及び第二円筒形レンズが該第二方向において構成されている際に、該第二多視点画像をキャプチャするステップであって、該第一及び第二多視点画像は、ステレオ画像ペアを形成する、ステップと、
を具備する、方法。
撮像センサに結合されたレンズモジュールを通じて該シーンを表す光を導くステップであって、該レンズモジュールは、該撮像センサの光軸に沿って位置決めされた第一及び第二円筒形レンズと、該個々の第一及び第二円筒形レンズ上に配設された第一及び第二スリット形状アパーチャと、を含み、該第二円筒形レンズの円筒軸は、該第一円筒形レンズの円筒軸との関係において平行から離れた角度において構成されている、ステップと、
該撮像センサにより、該レンズモジュールを通じて導かれた該光をキャプチャして少なくとも一つの多視点画像を形成するステップと、
プロセッサにより、該少なくとも一つの多視点画像を処理して該シーンの再構築特性を判定する処理ステップと、
を具備し、
該少なくとも一つの多視点画像は、第一多視点画像と、第二多視点画像と、を含み、
該光をキャプチャして該少なくとも一つの多視点画像を形成する該ステップは、
該第一及び第二円筒形レンズが該撮像センサとの関係において第一方向において構成されている際に、該第一多視点画像をキャプチャするステップと、
該第一及び第二円筒形レンズが該撮像センサとの関係において該第一方向とは反対の第二方向において構成されるように、該撮像センサとの関係において該第一及び第二円筒形レンズを回転させるステップと、
該第一及び第二円筒形レンズが該第二方向において構成されている際に、該第二多視点画像をキャプチャするステップであって、該第一及び第二多視点画像は、ステレオ画像ペアを形成する、ステップと、
を具備する、方法。
【請求項2】
該少なくとも一つの多視点画像の該処理ステップは、
該少なくとも一つの多視点画像内の共平面共通点及び消失点の識別に基づいて、該少なくとも一つの多視点画像から、該シーン内の少なくとも一つのプレーンを識別するステップ、
を含む、請求項１に記載の方法。
該少なくとも一つの多視点画像内の共平面共通点及び消失点の識別に基づいて、該少なくとも一つの多視点画像から、該シーン内の少なくとも一つのプレーンを識別するステップ、
を含む、請求項１に記載の方法。
【請求項3】
該方法は、
該少なくとも一つの多視点画像内の一つ又は複数のライン画像に対して円錐曲線をフィッティングするステップと、
該円錐曲線のペアの観点における交差を判定して該共平面共通点及び該消失点を識別するステップと、
該共平面共通点及び該消失点に基づいて該少なくとも一つのプレーンを再構築するステップと、
を更に具備する、請求項２に記載の方法。
該少なくとも一つの多視点画像内の一つ又は複数のライン画像に対して円錐曲線をフィッティングするステップと、
該円錐曲線のペアの観点における交差を判定して該共平面共通点及び該消失点を識別するステップと、
該共平面共通点及び該消失点に基づいて該少なくとも一つのプレーンを再構築するステップと、
を更に具備する、請求項２に記載の方法。
【請求項4】
該少なくとも一つの多視点画像の該処理ステップは、
該ステレオ画像ペアのそれぞれの画像内の少なくとも一つのエピポーラ曲線に基づいて該ステレオ画像ペアから深さマップを再構築するステップ、
を含む、請求項１に記載の方法。
該ステレオ画像ペアのそれぞれの画像内の少なくとも一つのエピポーラ曲線に基づいて該ステレオ画像ペアから深さマップを再構築するステップ、
を含む、請求項１に記載の方法。
【請求項5】
該方法は、
該第一及び第二多視点画像のそれぞれの画像内において該少なくとも一つのエピポーラ曲線を配置するステップと、
該第一及び第二多視点画像のそれぞれを複数のパッチにセグメント化するステップと、
該個々の少なくとも一つのエピポーラ曲線に沿って該第一及び第二多視点画像の間のパッチ類似性を計測するステップと、
該パッチ類似性に基づいて該深さマップを再構築するステップと、
を更に含む、請求項４に記載の方法。
該第一及び第二多視点画像のそれぞれの画像内において該少なくとも一つのエピポーラ曲線を配置するステップと、
該第一及び第二多視点画像のそれぞれを複数のパッチにセグメント化するステップと、
該個々の少なくとも一つのエピポーラ曲線に沿って該第一及び第二多視点画像の間のパッチ類似性を計測するステップと、
該パッチ類似性に基づいて該深さマップを再構築するステップと、
を更に含む、請求項４に記載の方法。
【請求項6】
該方法は、
それぞれのパッチをせん断解消するか又はそれぞれのパッチをサイズ変更するステップのうちの少なくとも一つにより、該第一及び第二多視点画像のそれぞれのパッチ内の歪を補正するステップ、
を更に含む、請求項５に記載の方法。
それぞれのパッチをせん断解消するか又はそれぞれのパッチをサイズ変更するステップのうちの少なくとも一つにより、該第一及び第二多視点画像のそれぞれのパッチ内の歪を補正するステップ、
を更に含む、請求項５に記載の方法。
【請求項7】
シーンを再構築する方法であって、
撮像センサに結合されたレンズモジュールを通じて該シーンを表す光を導くステップであって、該レンズモジュールは、該撮像センサの光軸に沿って位置決めされた第一及び第二円筒形レンズと、該個々の第一及び第二円筒形レンズ上に配設された第一及び第二スリット形状アパーチャと、を含み、該第二円筒形レンズの円筒軸は、該第一円筒形レンズの円筒軸との関係において平行から離れた角度において構成されている、ステップと、
該撮像センサにより、該レンズモジュールを通じて導かれた該光をキャプチャして少なくとも一つの多視点画像を形成するステップと、
プロセッサにより、該少なくとも一つの多視点画像を処理して該シーンの再構築特性を判定する処理ステップと、
を具備し、
該第一スリット形状アパーチャは、深さ視差コードを含み、該第二スリット形状アパーチャは、広帯域コードを含み、該少なくとも一つの多視点画像は、コード化された画像を形成し、且つ、該少なくとも一つのキャプチャされた多視点画像の該処理ステップは、
該レンズモジュールの点広がり関数（ＰＳＦ）に基づいて該コード化された画像から該シーンの深さを再構築するステップ、
を含む、方法。
撮像センサに結合されたレンズモジュールを通じて該シーンを表す光を導くステップであって、該レンズモジュールは、該撮像センサの光軸に沿って位置決めされた第一及び第二円筒形レンズと、該個々の第一及び第二円筒形レンズ上に配設された第一及び第二スリット形状アパーチャと、を含み、該第二円筒形レンズの円筒軸は、該第一円筒形レンズの円筒軸との関係において平行から離れた角度において構成されている、ステップと、
該撮像センサにより、該レンズモジュールを通じて導かれた該光をキャプチャして少なくとも一つの多視点画像を形成するステップと、
プロセッサにより、該少なくとも一つの多視点画像を処理して該シーンの再構築特性を判定する処理ステップと、
を具備し、
該第一スリット形状アパーチャは、深さ視差コードを含み、該第二スリット形状アパーチャは、広帯域コードを含み、該少なくとも一つの多視点画像は、コード化された画像を形成し、且つ、該少なくとも一つのキャプチャされた多視点画像の該処理ステップは、
該レンズモジュールの点広がり関数（ＰＳＦ）に基づいて該コード化された画像から該シーンの深さを再構築するステップ、
を含む、方法。
【請求項8】
該方法は、
異なる深さ層を表す複数の既定のＰＳＦのそれぞれによって該コード化された画像を逆畳込みするステップと、
最適な逆畳込みされた画像に対応した該複数のＰＳＦのうちの一つを選択するステップと、
該選択されたＰＳＦに基づいて該シーンの該深さを再構築するステップと、
を更に含む、請求項７に記載の方法。
異なる深さ層を表す複数の既定のＰＳＦのそれぞれによって該コード化された画像を逆畳込みするステップと、
最適な逆畳込みされた画像に対応した該複数のＰＳＦのうちの一つを選択するステップと、
該選択されたＰＳＦに基づいて該シーンの該深さを再構築するステップと、
を更に含む、請求項７に記載の方法。
【請求項9】
システムであって、
シーンの少なくとも一つの多視点画像をキャプチャするように構成されたカメラであって、
撮像センサに結合されたレンズモジュールであって、該撮像センサの光軸に沿って位置決めされた第一及び第二円筒形レンズと、該個々の第一及び第二円筒形レンズ上において配設された第一及び第二スリット形状アパーチャと、を含み、該第二円筒形レンズの円筒軸は、該第一円筒形レンズの円筒軸との関係において平行から離れた角度において構成されている、レンズモジュール、
を含むカメラと、
該シーンの該キャプチャされた少なくとも一つの多視点画像を受け取ると共に該シーンの再構築特性を判定するように構成された画像処理モジュールと、
該第一及び第二円筒形レンズが、該撮像センサとの関係において第一方向において、或いは、該撮像センサとの関係において該第一方向とは反対の第二方向において、構成されるように、該撮像センサとの関係において該第一及び第二円筒形レンズの回転を促進するべく構成された該カメラに結合された回転モジュールと、
を具備するシステム。
シーンの少なくとも一つの多視点画像をキャプチャするように構成されたカメラであって、
撮像センサに結合されたレンズモジュールであって、該撮像センサの光軸に沿って位置決めされた第一及び第二円筒形レンズと、該個々の第一及び第二円筒形レンズ上において配設された第一及び第二スリット形状アパーチャと、を含み、該第二円筒形レンズの円筒軸は、該第一円筒形レンズの円筒軸との関係において平行から離れた角度において構成されている、レンズモジュール、
を含むカメラと、
該シーンの該キャプチャされた少なくとも一つの多視点画像を受け取ると共に該シーンの再構築特性を判定するように構成された画像処理モジュールと、
該第一及び第二円筒形レンズが、該撮像センサとの関係において第一方向において、或いは、該撮像センサとの関係において該第一方向とは反対の第二方向において、構成されるように、該撮像センサとの関係において該第一及び第二円筒形レンズの回転を促進するべく構成された該カメラに結合された回転モジュールと、
を具備するシステム。
【請求項10】
該角度は、９０度以上であり、且つ、１８０度未満である、請求項９に記載のシステム。
【請求項11】
該画像処理モジュールは、該少なくとも一つの多視点画像内の共平面共通点及び消失点の識別に基づいて該少なくとも一つの多視点画像から該シーン内の少なくとも一つのプレーンを識別するように構成されている、請求項９に記載のシステム。
【請求項12】
該少なくとも一つの多視点画像は、ステレオ画像ペアを形成するべく、該第一方向及び該第二方向において個々にキャプチャされた第一及び第二多視点画像を含み、且つ、該画像処理モジュールは、該ステレオ画像ペアのそれぞれの画像内の少なくとも一つのエピポーラ曲線に基づいて、該ステレオ画像ペアから深さマップを再構築するように構成されている、請求項９に記載のシステム。
【請求項13】
システムであって、
シーンの少なくとも一つの多視点画像をキャプチャするように構成されたカメラであって、
撮像センサに結合されたレンズモジュールであって、該撮像センサの光軸に沿って位置決めされた第一及び第二円筒形レンズと、該個々の第一及び第二円筒形レンズ上において配設された第一及び第二スリット形状アパーチャと、を含み、該第二円筒形レンズの円筒軸は、該第一円筒形レンズの円筒軸との関係において平行から離れた角度において構成されている、レンズモジュール、
を含むカメラと、
該シーンの該キャプチャされた少なくとも一つの多視点画像を受け取ると共に該シーンの再構築特性を判定するように構成された画像処理モジュールと、
を具備し、
該第一スリット形状アパーチャは、深さ視差コードを含み、該第二スリット形状アパーチャは、広帯域コードを含み、該キャプチャされた少なくとも一つの多視点画像は、コード化された画像を含み、且つ、該画像処理モジュールは、該レンズモジュールの点広がり関数（ＰＳＦ）に基づいて該コード化された画像から該シーンの深さを再構築するように構成されている、システム。
シーンの少なくとも一つの多視点画像をキャプチャするように構成されたカメラであって、
撮像センサに結合されたレンズモジュールであって、該撮像センサの光軸に沿って位置決めされた第一及び第二円筒形レンズと、該個々の第一及び第二円筒形レンズ上において配設された第一及び第二スリット形状アパーチャと、を含み、該第二円筒形レンズの円筒軸は、該第一円筒形レンズの円筒軸との関係において平行から離れた角度において構成されている、レンズモジュール、
を含むカメラと、
該シーンの該キャプチャされた少なくとも一つの多視点画像を受け取ると共に該シーンの再構築特性を判定するように構成された画像処理モジュールと、
を具備し、
該第一スリット形状アパーチャは、深さ視差コードを含み、該第二スリット形状アパーチャは、広帯域コードを含み、該キャプチャされた少なくとも一つの多視点画像は、コード化された画像を含み、且つ、該画像処理モジュールは、該レンズモジュールの点広がり関数（ＰＳＦ）に基づいて該コード化された画像から該シーンの深さを再構築するように構成されている、システム。
【請求項14】
該第二円筒形レンズは、該第一円筒形レンズと該撮像センサとの間に配設されている、請求項１３に記載のシステム。
【請求項15】
多視点カメラであって、
撮像センサと、
該撮像センサに結合されたレンズモジュールであって、
該撮像センサの光軸に沿ってそれぞれが位置決めされた第一円筒形レンズ及び第二円筒形レンズであって、該第二円筒形レンズの円筒軸は、該第一円筒形レンズの円筒軸との関係において平行から離れた角度において構成されている、第一円筒形レンズ及び第二円筒形レンズと、
該個々の第一円筒形レンズ及び該第二円筒形レンズ上において配設された第一スリット形状アパーチャ及び第二スリット形状アパーチャと、
を有するレンズモジュールと、
を具備し、
該撮像センサは、シーンの多視点画像をキャプチャするように構成されており、
該撮像センサ、該第一円筒形レンズ、又は該第二円筒形レンズのうちの少なくとも一つは、該第一円筒形レンズ及び該第二円筒形レンズが、該撮像センサとの関係における第一方向において構成された第一構成と、該撮像センサとの関係における該第一方向とは反対の第二方向において構成された第二構成と、を有するように、該光軸との関係において回転するように構成されている、多視点カメラ。
撮像センサと、
該撮像センサに結合されたレンズモジュールであって、
該撮像センサの光軸に沿ってそれぞれが位置決めされた第一円筒形レンズ及び第二円筒形レンズであって、該第二円筒形レンズの円筒軸は、該第一円筒形レンズの円筒軸との関係において平行から離れた角度において構成されている、第一円筒形レンズ及び第二円筒形レンズと、
該個々の第一円筒形レンズ及び該第二円筒形レンズ上において配設された第一スリット形状アパーチャ及び第二スリット形状アパーチャと、
を有するレンズモジュールと、
を具備し、
該撮像センサは、シーンの多視点画像をキャプチャするように構成されており、
該撮像センサ、該第一円筒形レンズ、又は該第二円筒形レンズのうちの少なくとも一つは、該第一円筒形レンズ及び該第二円筒形レンズが、該撮像センサとの関係における第一方向において構成された第一構成と、該撮像センサとの関係における該第一方向とは反対の第二方向において構成された第二構成と、を有するように、該光軸との関係において回転するように構成されている、多視点カメラ。
【請求項16】
該角度は、９０度以上であり、且つ、１８０度未満である、請求項１５に記載の多視点カメラ。
【請求項17】
多視点カメラであって、
撮像センサと、
該撮像センサに結合されたレンズモジュールであって、
該撮像センサの光軸に沿ってそれぞれが位置決めされた第一円筒形レンズ及び第二円筒形レンズであって、該第二円筒形レンズの円筒軸は、該第一円筒形レンズの円筒軸との関係において平行から離れた角度において構成されている、第一円筒形レンズ及び第二円筒形レンズと、
該個々の第一円筒形レンズ及び該第二円筒形レンズ上において配設された第一スリット形状アパーチャ及び第二スリット形状アパーチャと、
を有するレンズモジュールと、
を具備し、
該撮像センサは、シーンの多視点画像をキャプチャするように構成されており、
該第一スリット形状アパーチャは、深さ視差コードを含み、且つ、該第二スリット形状アパーチャは、広帯域コードを含む、多視点カメラ。
撮像センサと、
該撮像センサに結合されたレンズモジュールであって、
該撮像センサの光軸に沿ってそれぞれが位置決めされた第一円筒形レンズ及び第二円筒形レンズであって、該第二円筒形レンズの円筒軸は、該第一円筒形レンズの円筒軸との関係において平行から離れた角度において構成されている、第一円筒形レンズ及び第二円筒形レンズと、
該個々の第一円筒形レンズ及び該第二円筒形レンズ上において配設された第一スリット形状アパーチャ及び第二スリット形状アパーチャと、
を有するレンズモジュールと、
を具備し、
該撮像センサは、シーンの多視点画像をキャプチャするように構成されており、
該第一スリット形状アパーチャは、深さ視差コードを含み、且つ、該第二スリット形状アパーチャは、広帯域コードを含む、多視点カメラ。
【発明の詳細な説明】
【技術分野】
【0001】
連邦政府資金による研究開発の記載本発明は、認可番号第 IIS-CAREER-0845268 号及び第 IIS-RI-1016395 号の下に米国国立科学財団から部分的な支援を受けたものである。米国政府は、本発明に対する権利を有し得る。
【0002】
関連出願の相互参照本出願は、「XSLIT CAMERA」という名称の２０１３年１０月３日付けで出願された米国仮特許出願第 61/886,161 号に対する優先権を主張するものであり、この特許文献の内容は、引用により、そのすべてが本明細書に包含される。
【0003】
本発明は、多視点カメラ（multi-perspective camera）の分野に関し、且つ、更に詳しくは、マンハッタンワールド（Manhattan World：ＭＷ）再構築、ステレオマッチング、及びコード化アパーチャ撮像を含むコンピュータビジョン用途のための方法及びＸスリットカメラに関する。
【背景技術】
【0004】
ピンホールカメラが周知である。ピンホールカメラは、通常、単一の小さなアパーチャ（即ち、ピンホール）を含み、且つ、レンズを含んではいない。ピンホールカメラは、通常、共通的な「投影中心」（Center-of-Projection：ＣｏＰ）を通過したシーンから光線を収集する。ピンホールカメラモデルは、３次元（3-Dimension：３Ｄ）の点の座標と理想的なピンホールカメラの画像プレーン上へのその投影との間における数学的な関係を表している。ピンホールカメラモデルは、一般に、様々なコンピュータビジョンのタスク（例えば、物体認識、運動分析、シーン再構築、画像回復など）用の撮像モデルとして使用されている。ピンホールモデルは、少なくとも二つの理由から、人気を博している。第一に、ジオメトリが単純である点にあり、ピンホールカメラは、三つのパラメータ（３次元におけるＣｏＰの位置）によって一意に定義されると共に、その撮像プロセスを従来の３×４ピンホールカメラ行列によって一律に表現することができる。第二に、人間の眼は、仮想的なピンホールカメラとして機能している。例えば、人間の眼は、ラインをラインとして、且つ、平行なラインを消失点において収束するものとして、観察し得る。従って、ピンホールカメラは、遠近投影カメラ（perspective camera）とも、一般に呼称されている。
【0005】
多視点カメラも、コンピュータビジョンにおいて使用されている。一般に、多視点カメラは、空間内の異なる地点に由来する光線をキャプチャする。多視点撮像モデルは、自然界に広く存在している。例えば、複合的な虫の眼は、わずかに異なる方向に向けられた数千個の個々の光受容体単位を含み得る。多視点カメラによる収集される光線は、一般に、共通的なＣｏＰを通過しておらず、且つ、従って、ピンホールジオメトリに準拠していない。多視点撮像モデルは、ピンホール撮像モデルとの比較において、シーンのジオメトリを知覚及び／又は解釈するための利点を提供し得る。
【0006】
交差スリットカメラ（crossed-slit camera）は、Ducos du Hauron に帰せられる交差スリット歪像器（anamorphoser）にまで遡り得る。歪像器は、カメラ軸に沿って離隔した一対の狭い垂直に交差したスリットによってピンホールを置換することにより、ピンホールカメラを変更している。画像の歪は、アナモルフィックな方式又はアナモルフォティックな方式で出現し、且つ、アナモルフィック圧縮の程度は、交差スリットモデルを使用した推定歪と緊密に整合している。この交差スリットの強引な実装形態は、低い光効率と不良な撮像品質という問題点を有する。
【発明の概要】
【0007】
本発明の一態様は、シーンを再構築する方法において実施されてもよい。方法は、シーンを表す光を撮像センサに結合されたレンズモジュールを通じて導くステップを含む。レンズモジュールは、撮像センサの光軸に沿って位置決めされた第一及び第二円筒形レンズと、個々の第一及び第二円筒形レンズ上において配設された第一及び第二スリット形状アパーチャと、を含む。第二円筒形レンズの円筒軸は、第一円筒形レンズの円筒軸との関係において平行から離れた角度において構成されている。又、方法は、レンズモジュールを通じて導かれた光を撮像センサによってキャプチャして少なくとも一つの多視点画像を形成するステップと、プロセッサにより、少なくとも一つの多視点画像を処理してシーンの再構築特性を判定するステップと、をも含む。
【0008】
本発明の別の態様は、システムにおいて実施されてもよい。システムは、シーンの少なくとも一つの多視点画像をキャプチャするように構成されたカメラと、画像処理モジュールと、を含む。カメラは、撮像センサに結合されたレンズモジュールを含む。レンズモジュールは、撮像センサの光軸に沿って位置決めされた第一及び第二円筒形レンズと、個々の第一及び第二円筒形レンズ上において配設された第一及び第二スリット形状アパーチャと、を含む。第二円筒形レンズの円筒軸は、第一円筒形レンズの円筒軸との関係において平行から離れた角度において構成されている。画像処理モジュールは、シーンのキャプチャされた少なくとも一つの多視点画像を受け取ると共にシーンの再構築特性を判定するように、構成されている。
【0009】
本発明の更に別の態様は、多視点カメラにおいて実施されてもよい。カメラは、撮像センサと、撮像センサに結合されたレンズモジュールと、を含む。レンズモジュールは、撮像センサの光軸に沿ってそれぞれが位置決めされた第一円筒形レンズ及び第二円筒形レンズを含む。第二円筒形レンズの円筒軸は、第一円筒形レンズの円筒軸との関係において平行から離れた角度において構成されている。又、レンズモジュールは、個々の第一円筒形レンズ及び第二円筒形レンズ上において配設された第一スリット形状アパーチャ及び第二スリット形状アパーチャをも含む。撮像センサは、シーンの多視点画像をキャプチャするように構成されている。
【図面の簡単な説明】
【0010】
本発明については、添付の図面との関連において参照された際に、以下の詳細な説明から理解することができる。慣習に従い、図面の様々な特徴は、正確な縮尺で描画されていない場合があることを強調しておく。逆に、様々な特徴の寸法は、わかりやすくするべく、任意に拡大又は縮小されている場合がある。更には、図面においては、共通数字参照符号を使用して同一の特徴を表している。特許又は特許出願ファイルは、カラーで実施された少なくとも一つの図面を含む。このカラー図面を有する特許又は特許出願公開文献の複写は、要求及び必要な料金の支払いの際に、特許庁によって提供される。図面には、以下の図が含まれている。
【0011】
【図1】本発明の一態様による例示用のＸスリット撮像システムの機能ブロックダイアグラムである。
【図3B】本発明の一態様による、共平面ラインの画像が湾曲すると共に画像プレーン上の二つの異なる地点において交差していることを示す、図２に示されているＸスリットカメラのスリットアパーチャ、画像プレーン、及び共平面平行ラインを有するプレーンの斜視図である。
【図3C】本発明の一態様によるライン画像の交差からのＸスリット消失点（ＸＶＰ）及び共平面共通点（ＣＣＰ）の識別を示す例示用のライン画像の組である。
【図4】本発明の一態様によるＭＷシーンの再構築のための例示用の方法を示すフローチャート図である。
【図5A】本発明の一態様による例示用のＭＷシーンを示す画像である。
【図5C】図５Ｃ及び図５Ｄは、本発明の一態様による、それぞれ、図２Ａに示されているＸスリットカメラによってキャプチャされると共にＭＷ再構築処理に従って再構築された図５Ａに示されているＭＷシーンを示す例示用の画像である。
【図5D】図５Ｃ及び図５Ｄは、本発明の一態様による、それぞれ、図２Ａに示されているＸスリットカメラによってキャプチャされると共にＭＷ再構築処理に従って再構築された図５Ａに示されているＭＷシーンを示す例示用の画像である。
【図7A】本発明の一態様による回転Ｘスリットステレオ画像ペアにおけるエピポーラ曲線及びジオメトリの斜視図である。
【図7B】本発明の一態様による、両方のエピポーラ曲線上の対応した特徴点を示す、例示用の回転Ｘスリットステレオ画像ペア及び対応するエピポーラ曲線を示す画像である。
【図8】本発明の一態様による回転ステレオマッチング用の例示用の方法を示すフローチャート図である。
【図9C】図９Ｃ、図９Ｄ、及び図９Ｅは、本発明の一態様による、ピクセルに基づいた方式、歪補正を伴うパッチに基づいた方式、及び歪補正を伴わないパッチに基づいた方式における、図９Ａ及び図９Ｂのステレオ画像ペアから取得された個々の視差マップを示す例示用の画像である。
【図9D】図９Ｃ、図９Ｄ、及び図９Ｅは、本発明の一態様による、ピクセルに基づいた方式、歪補正を伴うパッチに基づいた方式、及び歪補正を伴わないパッチに基づいた方式における、図９Ａ及び図９Ｂのステレオ画像ペアから取得された個々の視差マップを示す例示用の画像である。
【図9E】図９Ｃ、図９Ｄ、及び図９Ｅは、本発明の一態様による、ピクセルに基づいた方式、歪補正を伴うパッチに基づいた方式、及び歪補正を伴わないパッチに基づいた方式における、図９Ａ及び図９Ｂのステレオ画像ペアから取得された個々の視差マップを示す例示用の画像である。
【図11】本発明の一態様によるＸスリットカメラによってキャプチャされた点広がり関数（ＰＳＦ）の例示用の画像である。
【図12】本発明の一態様によるコード化アパーチャ撮像用の例示用の方法を示すフローチャート図である。
【図13A】本発明の一態様による、Ｘスリットレンズの位置決めと、Ｘスリットカメラを通じた光線の変換と、を示すコード化アパーチャ撮像のために使用される例示用のＸスリットカメラの斜視図である。
【図13B】本発明の一態様による深さ視差及び広帯域コード化アパーチャの周波数の関数としての例示用のパワースペクトルのグラフである。
【図14A】図１４Ａ、図１４Ｂ、図１４Ｃ、及び図１４Ｄは、本発明の一態様による、グラウンドトルス画像、Ｘスリットコード化アパーチャ画像、及びスループット等価球面レンズ（ＴＥＳＬ）コード化アパーチャ画像を含む合成シーンの例示用の画像である。
【図14B】図１４Ａ、図１４Ｂ、図１４Ｃ、及び図１４Ｄは、本発明の一態様による、グラウンドトルス画像、Ｘスリットコード化アパーチャ画像、及びスループット等価球面レンズ（ＴＥＳＬ）コード化アパーチャ画像を含む合成シーンの例示用の画像である。
【図14C】図１４Ａ、図１４Ｂ、図１４Ｃ、及び図１４Ｄは、本発明の一態様による、グラウンドトルス画像、Ｘスリットコード化アパーチャ画像、及びスループット等価球面レンズ（ＴＥＳＬ）コード化アパーチャ画像を含む合成シーンの例示用の画像である。
【発明を実施するための形態】
【0012】
本発明の態様は、シーンの少なくとも一つの多視点画像をキャプチャするように構成されたカメラと、キャプチャされたシーンの少なくとも一つの多視点画像を処理する画像処理モジュールと、に関する。カメラは、撮像センサに結合されたレンズモジュールを含む。レンズモジュールは、撮像センサの光軸に沿って位置決めされた第一及び第二円筒形レンズと、個々の第一及び第二円筒形レンズ上において配設された第一及び第二スリット形状アパーチャと、を含む。第二円筒形レンズの円筒軸は、第一円筒形レンズの円筒軸との関係において平行から離れた角度において構成されている。画像処理モジュールは、キャプチャされたシーンの少なくとも一つの多視点画像を受け取ると共にシーンの再構築特性を判定するように構成されている。
【0013】
第一及び第二円筒形レンズの角度は、９０度以上であってもよく、且つ、１８０度未満であってもよい。従って、レンズモジュールは、本明細書においては、Ｘスリットレンズモジュールとも記述され、且つ、カメラは、Ｘスリットカメラと記述され、且つ、多視点画像は、Ｘスリット画像と呼称される。いくつかの例においては、Ｘスリットカメラは、（撮像センサとの関係における）異なる円筒形レンズの位置において二つの画像をキャプチャするように構成されてもよい。二つの画像は、回転ステレオ画像ペアとも呼称される。いくつかの例においては、Ｘスリットカメラは、コード化アパーチャ撮像を実行するべく、深さ視差コード及び広帯域コードを含むコード化アパーチャを含んでもよい。
【0014】
シーンの再構築特性は、画像内の一つ又は複数のプレーンの識別（マンハッタンワールド（ＭＷ）再構築用などのもの）、深さマップの判定（回転ステレオ撮像を介するなどのもの）、及び／又はシーンの深さ再構築（コード化アパーチャ撮像を介するなどのもの）を含んでもよい。いくつかの例においては、画像処理モジュールは、キャプチャされたＸスリット画像からＭＷ再構築を実行するように構成されてもよい。いくつかの例においては、画像処理モジュールは、回転Ｘスリットステレオ画像ペアから回転ステレオマッチングを実行するように構成されてもよい。いくつかの例においては、画像処理モジュールは、キャプチャされたＸスリットコード化画像からコード化アパーチャ撮像を実行するように構成されてもよい。
【0015】
図１を参照すれば、多視点画像（本明細書においては、Ｘスリット画像とも呼称される）をキャプチャ及び処理するためのＸスリット撮像システム１００が示されている。システム１００は、Ｘスリットカメラ１０２と、コントローラ１０４と、画像処理モジュール１０６と、ストレージ１０８と、ディスプレイ１１０と、ユーザインタフェース１１２と、を含む。いくつかの例においては、システム１００は、回転ステレオマッチングモジュール１２２（図８との関係において更に後述する）によって回転ステレオマッチングを実行するなどのために、回転モジュール１１４を含んでもよい。図示されてはいないが、システム１００は、例えば、グローバルネットワーク（即ち、インターネット）を介してリモート場所に対して結合されてもよい。
【0016】
Ｘスリットカメラ１０２は、Ｘスリットレンズモジュール１１６と、カメラ１１８と、を含む。図２Ａ及び図２Ｂとの関係において更に後述するように、レンズモジュール１１６は、Ｘスリットカメラ１０２の光軸２１０に沿って配設された第一及び第二スリットレンズ２０２−１、２０２−２を含み、第一スリットレンズ２０２−１は、第二スリットレンズ２０２−２との関係において、所定の角度において構成されている。いくつかの例においては、スリットレンズ２０２は、（図２Ａに示されているように）互いに直交した状態で位置決めされている。その他の例においては、スリットレンズ２０２は、図３Ａにおいて示されているように、斜めの角度において（即ち、平行でもなく共平面でもない方式で）構成されている。カメラ１１８は、主レンズと、撮像センサ（図２Ａに示されている撮像センサ２０８など）と、を有する任意の適切な汎用カメラを含んでもよい。一例においては、カメラ１１８は、Sony Corporation によって製造されるＮＥＸ−５Ｎという型名のデジタルカメラを含む。カメラ１１８をＸスリットカメラ１０２に変換するべく、Ｘスリットレンズモジュール１１６は、カメラ１１８の主レンズに装着されてよい（図２Ｂに示されている）。Ｘスリットカメラ１０２は、シーンのＸスリット画像（即ち、多視点画像）をキャプチャするように構成されてもよい。
【0017】
コントローラ１０４は、Ｘスリット画像のキャプチャ、保存、表示、及び／又は処理を制御するべく、Ｘスリットカメラ１０２、画像処理モジュール１０６、ストレージ１０８、ディスプレイ１１０、ユーザインタフェース１１２、及び任意選択の回転モジュール１１４のうちの一つ又は複数に対して結合されてもよい。コントローラ１０４は、例えば、論理回路、デジタル信号プロセッサ、又はマイクロプロセッサを含んでもよい。画像処理モジュール１０６の一つ又は複数の機能は、コントローラ１０４によって実行され得ることを理解されたい。
【0018】
画像処理モジュール１０６は、マンハッタンワールド（ＭＷ）再構築処理モジュール１２０、回転ステレオマッチングモジュール１２２、及びコード化アパーチャ撮像モジュール（図４、図８、図１２との関係において更に詳細に後述する）のうちの一つ又は複数を含んでもよい。ＭＷ再構築モジュール１２０は、Ｘスリットカメラ１０２によってキャプチャされたＭＷシーンのプレーンを再構築するように構成されてもよい。回転ステレオマッチングモジュール１２２は、回転モジュール１１４との組合せにおいて、Ｘスリット画像のペアを（Ｘスリットカメラ１０２の回転を介して）キャプチャしてもよく、且つ、ステレオマッチングを実行してキャプチャされたシーンの深さマップを再構築してもよい。コード化アパーチャ撮像モジュール１２４は、Ｘスリットカメラ１０２と共にコード化アパーチャを使用することにより、Ｘスリットカメラ１０２によってキャプチャされたシーンの深さを再構築してもよい。画像処理モジュール１０６は、例えば、論理回路、デジタル信号プロセッサ、又はマイクロプロセッサを含んでもよい。
【0019】
ストレージ１０８は、Ｘスリットカメラ１０２からキャプチャされたＸスリット画像、処理済みの画像、及び／又は（画像処理モジュール１０６からの）画像処理結果のうちの少なくとも一つを保存するように構成されてもよい。ストレージ１０８は、例えば、磁気ディスク、光ディスク、又はハードドライブなどの任意の適切な有体の一時的ではないコンピュータ可読媒体を含んでもよい。
【0020】
キャプチャされたＸスリット画像（Ｘスリットカメラ１０２からのもの）及び／又は処理済みの画像／結果（画像処理モジュール１０６からのもの）は、ディスプレイ１１０上において表示されてもよい。ディスプレイ１１０は、画像／画像処理結果を表示するように構成された任意の適切なディスプレイ装置を含んでもよい。ユーザインタフェース１１２は、例えば、（例えば、複数のモジュールが画像処理モジュール１０６内に含まれている際の）画像処理モジュール１０６のモジュール１２０〜１２４の選択、画像処理モジュール１０４と関連付けられたパラメータ、キャプチャされた画像／処理済みの画像／処理済みの結果のストレージ１０８内における保存選択、画像／結果の表示選択、及び／又は任意選択の回転モジュール１１４と関連付けられたパラメータと関連するユーザ入力を受け取る能力を有する任意の適切なユーザインタフェースを含んでもよい。ユーザインタフェース１１２は、例えば、ポインティング装置、キーボード、及び／又はディスプレイ装置を含んでもよい。ユーザインタフェース１１２及びディスプレイ１１０は、別個の装置として示されているが、ユーザインタフェース１１２及びディスプレイ１１０の機能は、一つの装置に組み合わせられてもよいことを理解されたい。
【0021】
任意選択の回転モジュール１１４は、スリットレンズ２０２及び／又はカメラ１１８を回転させるように構成されてもよい。回転モジュール１１４を回転ステレオマッチングモジュール１２２との組合せにおいて使用してＸスリット画像のペアをＸスリットカメラ１０２からキャプチャしてもよい。図６Ａ〜図６Ｄに示されているように、回転モジュールは、（光軸２１０との関係における）異なるスリットレンズ２０２の構成によって同一のシーンを二回にわたってキャプチャするべく、９０度だけ、カメラ１１８との関係においてスリットレンズ２０２−１、２０２−２を回転させる。いくつかの例においては、第一及び第二スリットレンズ２０２−１、２０２−２は、図６Ａ及び図６Ｂに示されているように、物理的に回転させられてもよい。その他の例においては、カメラ１１８は、それぞれのスリットレンズ２０２−１、２０２−２を回転させるのに伴って同一の効果を生成するように、図６Ｃ及び図６Ｄに示されているように、物理的に回転させられてもよい。
【0022】
当業者は、本明細書における記述から、適切なＸスリットカメラ１０２、コントローラ１０４、画像処理モジュール１０６、ディスプレイ１１０、ユーザインタフェース１１２、及び任意選択の回転モジュール１１４について理解することができよう。
【0023】
次に、図２Ａ及び図２Ｂを参照すれば、例示用のＸスリットカメラ１０２が示されている。具体的には、図２Ａは、Ｘスリットカメラ１０２の分解斜視図であり、且つ、図２Ｂは、Ｘスリットカメラ１０２の斜視図である。図２Ａは、光軸２１０との関係において、カメラ１１８のＸスリットレンズモジュール１１６及び撮像センサ２０８の構成を示している。図２Ｂは、カメラ１１８のレンズチューブ２１２内におけるスリットレンズ２０２−１、２０２−２の例示用の構成を示している。図２Ｂに示されている構成は、Ｘスリットカメラ１０２の例示用の実施形態を表しており、且つ、その他のカメラ１１８及びレンズチューブ１１２の構成が使用されてもよいことを理解されたい。図２Ｂには、三つのレンズチューブ２１２が示されているが、カメラ１１８は、更に少ない数のレンズチューブ２１２を含んでもよく、或いは、更なるレンズチューブ２１２を含んでもよい。いくつかの例においては、スリットレンズ２０２−１、２０２−２は、なんらのレンズチューブ２１２をも伴うことなしに、カメラ１１８に直接的に結合されてもよい。レンズチューブ２１２を使用することにより、既定の角度に従って（即ち、直交するように、或いは、斜めの角度において）スリットレンズ２０２−１、２０２−２をアライメントさせてもよい。
【0024】
図２Ａに示されているように、Ｘスリットモジュール１１６は、光軸２１０に沿って配設された第一スリットレンズ２０２−１及び第二スリットレンズ２０２−２を含む。それぞれのスリットレンズ２０２は、円筒形レンズ２０４（レンズを通じて延在する円筒軸を有する）と、スリットアパーチャ２０６と、を含む。スリットアパーチャ２０６は、円筒形レンズ２０４上において配設され、且つ、スリットの長さが円筒形レンズ２０４の円筒軸方向に沿って延在するように、構成されている。第一スリットレンズ２０２−１は、第二スリットレンズ２０２−１との関係において、所定の角度において位置決めされており、この角度は、第一円筒形レンズ２０４−１及び第二円筒形レンズ２０４−２の円筒形レンズ軸との関係におけるものである。第一及び第二スリットレンズ２０２−１、２０２−２の間の角度は、１８０度未満であってもよく、且つ、９０度以上であってもよい。第一スリットレンズ２０２−１は、第二スリットレンズ２０２−２に対して所定の角度において構成されていることから、第一及び第二スリットレンズ２０２−１、２０２−２の組合せは、光軸２１０との関係において交差（即ち、×）を形成している。
【0025】
Ｘスリットカメラ１０２は、３Ｄ空間において（傾いているか又は直交している）二つのスリット２０６−１、２０６−２を同時に通過した光線を収集し得る。円筒形レンズ２０４は、自身を通過する光線をレンズ２０４の表面の交差及びこれに接するプレーンに対して平行な（撮像センサなどの）ライン上に合焦する円筒体のセクションである。円筒形レンズ２０４は、このラインに対して垂直の方向において、画像を圧縮し、且つ、このラインに対して平行な方向においては（接したプレーンにおいては）、変化のない状態に残している。円筒形レンズ（２０４−１、２０４−２）の二つの層を連結することにより、Ｘスリットレンズモジュール１１６を合成してもよい。Ｘスリットカメラ１０２の被写界深度を更に増大させるべく、それぞれの円筒形レンズ２０４は、スリット形状のアパーチャ２０６と結合されている。一般に、スリットの幅が狭いほど、Ｘスリットカメラ１０２によってキャプチャされ得る被写界深度も深くなる。
【0026】
いくつかの例においては、スリットアパーチャ２０６−１、２０６−２は、１次元（１Ｄ）でコード化されたアパーチャ２０６−１’、２０６−２’によって置換されてもよい。コード化アパーチャ２０６’をコード化アパーチャ撮像モジュール１２４と共に使用することにより、コード化アパーチャ撮像を介してシーンの深さを再構築してもよい。第一コード化アパーチャ２０６−１’は、大きな深さ視差コードを含んでもよく、第二コード化アパーチャ２０６−２’は、広帯域コードを含んでもよい。コード化アパーチャ撮像モジュールについては、図１２との関係において更に後述する。
【0027】
図２Ｃを参照すれば、回転モジュール１１４を有するように構成されたＸスリットカメラ１０２の斜視図が示されている。図２Ｃに示されている例は、（図６Ａ〜図６Ｄ及び図８との関係において更に後述する）回転ステレオマッチングを実行するべく、使用されてもよい。図２Ｃに示されている構成は、Ｘスリットカメラ１０２及び回転モジュール１１４の例示用の実施形態を表しており、且つ、回転ステレオマッチングを実行するべく、その他のカメラ１１８、その他の一つ又は複数のレンズチューブ１１２の構成（又は、その欠如）及び回転モジュール１１４のタイプが使用されてもよいことを理解されたい。図２Ｃにおいては、回転モジュール１１４は、回転刻みが付与された回転リングとして表されている。回転刻みが付与された回転リングは、シーンの（回転）ステレオ画像のペアをキャプチャするべく、（図６Ｃ及び図６Ｄにおいて示されているように）カメラ１１８を９０度だけ回転させつつ、第一及び第二スリットレンズ２０２−１、２０２−２を同一の構成において維持するように使用されてもよい。
【0028】
図１を再度参照すれば、Ｘスリットカメラ１２０は、いくつかのコンピュータビジョン用途において使用されてもよい。コンピュータビジョン用途のいくつかの例は、ＭＷ再構築モジュール１２０、回転ステレオマッチングモジュール１２２、及びコード化アパーチャ撮像モジュール１２４を含む画像処理モジュール１０６によって表されている。以下、これら三つのコンピュータビジョン用途について説明する。図１に示されているコンピュータビジョン用途は、Ｘスリットカメラ１０２の例示用のコンピュータビジョン用途を表しており、且つ、Ｘスリットカメラ１０２は、その他のコンピュータビジョン用途のために使用されてもよいことを理解されたい。
【0029】
マンハッタンワールド（ＭＷ）再構築マンハッタンワールドシーンは、通常は、デカルト座標に基づいた現実世界のシーンを表現している。ＭＷシーンは、三つの相互に直交する主軸とアライメントされた平坦な表面及び平行なラインから構成されている。ＭＷモデルは、（例えば、都会のシーンなどの）フラットな壁、軸とアライメントされた窓、及び鋭いコーナーなどの強力なジオメトリの規則性を有する多数の人工の（内部／外部）環境に対して良好にフィットする。これまでの研究活動は、画像からのＭＷシーンの再構築及びカメラの較正のためのＭＷ仮定の使用に合焦されている。ＭＷ再構築における課題は、ＭＷシーンは、一般に、反復されたラインパターンを示すが、これらのラインを弁別するためのテクスチャを欠いており、その結果、ステレオマッチングの直接的な適用が困難であるという点にある。
【0030】
単一画像からのＭＷ再構築は困難である。現時点の方式は、シーンのジオメトリを近似するべく、消失点などの単眼キュー及び基準プレーン（例えば、グラウンド）を活用している。いくつかの方式は、画像属性（色やエッジの向きなど）を使用して画像領域に対して異なるジオメトリクラスによってラベル付与し、且つ、この情報を使用して視覚的に満足できる３Ｄ再構築を生成している。いくつかの方式は、消失点及びカメラパラメータを取得するべく、画像内においてライン構造を検出している。その他の方式は、機械学習技法を適用して画像の特徴から深さを推定し、且つ、マルコフランダムフィールド（Markov Random Field：ＭＲＦ）を使用して平坦な領域の場所及び向きを判定している。
【0031】
撮像システムのＭＷ再構築モジュール１２０は、（Ｘスリットカメラ１０２からの）Ｘスリット画像を使用することにより、単一画像マンハッタンワールド（ＭＷ）再構築を実行する。ピンホールに基づいたＭＷ再構築の問題点は、共平面曖昧性である。平行な３Ｄラインのグループの消失点は、ピンホール撮像によって検出され得るが、いずれのラインが同一のプレーンに属しているのかに関するある程度の曖昧性が存在している。共平面曖昧性は、Ｘスリットカメラ１０２を使用してシーンを取得することにより、解決され得る。概念的には、３Ｄ平行ラインは、Ｘスリットカメラ１０２内において２次元（２Ｄ）曲線に対してマッピングされる。これらの２Ｄ曲線は、単一の消失点の代わりに、複数の地点において交差することになる（図３Ｂに示されている）。ピンホールカメラの場合と同様に、Ｘスリット画像内の平行ラインの画像は、湾曲しているが、（Ｘスリット消失点（XSlit Vanishing Point：ＸＶＰ）と呼称される）消失点において依然として収束することになる。但し、ピンホールカメラとは対照的に、共平面３ＤラインのＸスリット画像は、一般に、第二共通点（共平面共通点（Coplanar Common Point：ＣＣＰ）と本明細書において呼称される）において交差することになる。ＣＣＰは、ピンホールカメラには存在していないＸスリットカメラ１０２の特徴である。ＭＷ再構築モジュール１０２によるＭＷ再構築は、ＭＷシーンを再構築するべく、識別されたＸＶＰ及びＣＣＰから３Ｄラインのジオメトリを直接的に取得している。
【0032】
図３Ａを参照すれば、Ｘスリットカメラ１０２の光線のジオメトリが示されている。図３Ａにおいては、スリット１及び２は、個々のスリットアパーチャ２０６−１、２０６−２に関係しており、且つ、画像プレーンは、図２Ａの撮像センサ１０８に関係し得る。従来の方式は、３Ｄ点から２Ｄピクセルへの投影を使用してカメラ内の撮像プロセスをモデル化している。後述するように、投影プロセスは、３Ｄ点からＸスリットカメラ１０２内において収集される光線へのマッピングと、光線からピクセルへのマッピングと、という二つの成分に分解される。光線をパラメータ化するための２プレーンパラメータ化（2-Plane Parameterization：２ＰＰ）が使用されている。２ＰＰにおいては、それぞれの光線（ｒ）は、［ｕ，ｖ，ｓ，ｔ］としてパラメータ化され、ここで、［ｕ，ｖ］及び［ｓ，ｔ］は、それぞれ、ｚ＝０及びｚ＝１において位置した二つの平行画像プレーンΠuv及びΠstとの間における交差である。光線［ｕ，ｖ，ｓ，ｔ］は、ラインの２点表現と見なすことができる。分析を更に簡単にするべく、［ｕ，ｖ，σ、τ］パラメータ化が使用され、ここで、σ＝ｓ−ｕであり、且つ、τ＝ｔ−ｖである。画像プレーンΠuvは、［σ，τ，１］が光線の方向として見なされ得るように、既定の画像（センサ）プレーンとして選択される。
【0033】
Ｘスリットカメラは、３Ｄ空間において（斜めに（即ち、平行でもなく共平面でもない方式で）、或いは、直交するように）二つのスリットを同時に通過した光線を収集する。二つのスリットｌ1及びｌ2が付与された場合に、２ＰＰは、以下のように構築されてもよい。即ち、図３Ａに示されているように、両方のスリットに対して平行であるが、これらを含まないように、Πuv及びΠstが選択される。次に、両方のスリットが、Πuv上において直交するように投影され、且つ、これらの交差点が座標系の原点として使用される。ｌ1及びｌ2は、方向［ｄ1x，ｄ1y，０］及び［ｄ2x，ｄ2y，０］を伴って、ｚ＝Ｚ1及びｚ＝Ｚ2において位置しており、ここで、Ｚ1≠Ｚ2であり、且つ、ｄ1xｄ2y−ｄ1yｄ2x≠０であるものと仮定されている。
【0034】
本発明者らは、Ｘスリットカメラ１０２内における光線の（ＸＳＲＣとも呼称される）光線ジオメトリの制約は、次式のとおりであるものと判定した。【数1】
【0035】
本発明者らは、撮像センサプレーン（Πuv）に対して平行であると共に撮像センサプレーン（Πuv）に対しては平行でない３Ｄラインについて、光線が３Ｄライン（ｌ）（即ち、３Ｄシーンに関係付けられた３Ｄライン）を通過するという制約を判定した。平行線形制約は、次式のとおりである。【数2】
【数3】
【0036】
ＸＳＲＣ（式１）及び３Ｄライン制約（式２及び式３）を使用して３Ｄライン（ｌ）のＸスリット画像を調査してもよい。具体的には、本発明者らは、３Ｄラインが２Ｄ円錐曲線に対してマッピングされ（図３Ｂに示されている）、且つ、円錐曲線は、次式の形態の双曲線であると判定した。【数4】
ここで、〜Ａ、〜Ｂ、〜Ｃ、〜Ｄ、〜Ｅ、及び〜Ｆは、双曲線の係数を表しており、係数Ａ〜Ｆは、式（１）において示されており、且つ、〜Ａ、〜Ｂ、及び〜Ｃは、Ｘスリット固有特性である（即ち、これらは、すべての３Ｄラインについて同一である）。３Ｄラインは、その双曲線画像から直接的に再構築することはできない。その理由は、３Ｄラインが四つの未知数（ｕ，ｖ，σ，τ）を有しているからであり、上述の分析を使用することにより、ｕ及びｖ係数と、式（３）の定数項と、を判定してもよい。同様の曖昧性が、ピンホールカメラにおいても存在している。
【0037】
図３Ｂを参照すれば、Ｘスリットカメラ１０２の場合には、（プレーンΠ上の）共平面ラインＬの画像は、画像プレーンΠuv上において、Ｘスリット消失点（ＸＶＰ）及び共平面消失点（ＣＣＰ）という二つの共通点において交差することになる。従って、平行ラインＬが画像プレーンΠuvと平行ではない場合には、画像プレーン上におけるこれらの画像は、消失点ＸＶＰを有する。両方のスリット（スリット１及びスリット２）に対して平行ではないプレーンΠ上に位置したラインＬの組の場合には、Ｘスリットカメラ１０２内におけるこれらの画像は、第二共通点ＣＣＰにおいて交差する。ＣＣＰは、ピンホールカメラにおいては存在しないＸスリットカメラ１０２における固有の画像特徴である。本発明者らは、共平面平行ラインＬの組が付与された場合に、これらのラインがＣＣＰを有する場合には、ＣＣＰは、ラインＬのＸＶＰと一致しないものと判定した。
【0038】
プレーンΠを取得するべく、Πの法線が判定される。ＸＶＰ［Ｕv，Ｖv］及びＸスリット固有パラメータ（Ａ，Ｂ，Ｃ，Ｄ，及びＥ）が付与された場合に、Ｌの方向（→ｌv＝［σv，τv，１］）は、次式のように判定される（なお、→ｌvは、ｌvの上部に→を付けたものの代替表現を表す。他も同様である。）。【数5】
【0039】
又、ＣＣＰ［ｕc，ｖc］は、プレーンΠ上において位置した光線に対応している。ＣＣＰの方向（→ｌc＝［σc，τc，１］）は、次式のように、式（１）から判定することができる。【数6】
【0040】
ＸＶＰ及びＣＣＰが一致しないことから、Ｌ及びＣＣＰの方向（即ち、→ｌv、→ｌc）は、共平面状態にはない。従って、Πの法線は、→ｎ＝→ｌv×→ｌcである。最終的に、ＣＣＰは、Π上に位置していることから、Πのオフセットｄは、次式のように判定される。【数7】
【0041】
図３Ｃを参照すれば、ＭＷシーンの場合には、シーン内の物体は、三つの互いに直行する主軸とアライメントされたプレーン及びラインから構成されるものと仮定される。Ｘスリットカメラ１０２によってキャプチャされるＭＷシーン内において、すべてのＣＣＰ３０２及びＸＶＰ３０４は、三角形の上部に位置しており、ここで、ＸＶＰ３０４は、三角形の頂点に対応し、且つ、ＣＣＰ３０２−１、３０２−２、３０２−３は、三角形のエッジ（又は、エッジの延長）上に位置している。図３Ｃは、３Ｄラインを表す円錐曲線３００をも示している。
【0042】
次に、図４を参照すれば、ＭＷ再構築用の例示用の方法が示されている。図４に示されているステップは、Ｘスリットカメラ１０２によってキャプチャされたＸスリット画像から、ＭＷ再構築モジュール１２０（図１）によって実行されてもよい。図４に示されているステップは、本発明の例示用の実施形態を表している。特定のステップは、示されているものとは異なる順序で実行され得ることを理解されたい。
【0043】
ステップ４００において、ＭＷシーンのＸスリット画像がキャプチャされている。ＭＷシーンを再構築するべく、Ｘスリットカメラ１０２は、スリットアパーチャ２０６−１、２０６−２（図２Ａ）が、（異なるプレーン（例えば、異なる建物の面）のＸＶＰ及びＣＣＰを取得するべく）シーン内のプレーン（例えば、建物）の主軸に対して平行にならないように、傾斜させられている。スリットアパーチャ２０６が、主軸に対して平行である場合には、ＣＣＰが存在することにならず、且つ、ライン画像が湾曲することにならない。いくつかの例においては、キャプチャされた画像は、ストレージ１０８（図１）内において保存されてもよい。
【0044】
ステップ４０２において、円錐曲線が、取得されたＸスリット画像内のライン画像（例えば、図３Ｃのライン画像３００）に対してフィッティングされている。ステップ４０４において、円錐曲線のペアの観点における交差が判定されている。上述のように、ラインの画像は、式４において示されているように、双曲線であり、この場合に、係数Ａ〜Ｆは、（既定されてもよく、且つ、すべての双曲線について同一である）Ｘスリットカメラの固有特性によって一意に判定される。曲線フィッティング方式は、曲線上のサンプリングされた点を使用して円錐曲線係数の優決定線形系を形成することにより、適用される。円錐曲線パラメータ〜Ａ−〜Ｆについて解明するべく、特異値分解（Singular Value Decomposition：ＳＶＤ）が適用される。例示用の曲線フィッティング方式については、Ding 他（”Recovering Specular Surfaces Using Curved Line Images” CVPR 2009）において記述されている。この方法を要約すれば、円錐曲線パラメータを二次円錐曲線関数に適用することにより、二つの円錐曲線関数によって形成された二次式から識別される交差点を識別し得る。
【0045】
ステップ４０６において、ＸＶＰ及びＣＣＰが、ペアの観点における交差点から識別されている。又、ＸＶＰ及びＣＣＰに加えて、二つのアンパラレルな（即ち、平行ではない）３Ｄラインに対応したすべての二つの円錐曲線が交差し得る。これらの交差点は、その他の円錐曲線によって共有されないことから、一回しか出現しない交差は、異常値を除去するべく、除去されてもよい。
【0046】
すべてのＣＣＰは、三つのＸＶＰによって判定された三角形のエッジ上において配置される。従って、三つのラインは、交差の残りのものを使用してフィッティングされ、且つ、結果的に得られる三角形の頂点（例えば、図３Ｃの点３０４からのもの）及びエッジ（点３０２）を使用し、ＣＣＰ（点３０２）からＸＶＰ（点３０４）を分離する。図３Ｃは、六つのプレーン上の１８本のライン３００から構成された単純なシーンについて、このプロセスを示している。それぞれのプレーンは、その上部に位置した３本の平行なラインを有し、且つ、すべてのラインの方向は、三つの主軸とアライメントされている。
【0047】
ステップ４０８において、一つ又は複数のプレーンが、式５〜式７に基づいて、ステップ４０６において判定されたＸＶＰ及びＣＣＰから、再構築されている。単一のＸスリット画像からＭＷシーンを再構築するべく、それぞれのＣＣＰが、（すべてのＣＣＰが、シーン内の固有の３Ｄプレーンに対応している）プレーンに対してマッピングして戻される。具体的には、それぞれの検出されたＣＣＰごとに、式５及び式６のプレーン式を演算するべく、ＣＣＰが、ＸＶＰ３０４（三角形の頂点）のうちの一つと組み合わせられる。
【0048】
ステップ４１０において、Ｘスリット画像内の曲線セグメントが、３Ｄラインセグメントに対してマッピングされ、且つ、ステップ４０８において取得された一つ又は複数のプレーンを切り捨てるべく、使用される。それぞれの曲線セグメントは、円錐曲線に由来したＸスリット光線を再構築されたプレーンと交差させることにより、３Ｄラインセグメントに対してマッピングして戻される。取得されたプレーンを切り捨てるべく、ラインセグメントの終点が使用されてもよい。プレーン式は、無限プレーンを定義している。３Ｄラインは、再構築されたプレーン上に位置していることから、ラインの長さが、プレーンの広がりを決定する。プレーンは、３Ｄラインの広がり（或いは、ラインセグメントの終点）を使用することにより、その実際のサイズに切り捨てられてもよい。
【0049】
ステップ１４２において、シーンの画像を生成するべく、取得されたモデルがレンダリングされてもよい。取得されたモデルは、多視点画像及び／又は遠近投影画像としてレンダリングされてもよい。
【0050】
一時的ではないコンピュータ可読媒体が、ステップ４０２〜４１２の機械実行のためのコンピュータ可読命令を保存し得るものと想定される。
【0051】
次に、図５Ａ〜図５Ｄを参照すれば、Ｘスリットカメラ１０２及びＭＷ再構築モジュール１２０（図１）を使用することにより、例示用の実際のＭＷシーンが再構築されている。図５Ａ〜図５Ｄに示されている例においては、レンズカメラ（Sony NEX-5N）が使用されており、この場合には、そのレンズが、図２に示されているように、二つのスリットアパーチャをそれぞれが使用する円筒形レンズのペアによって置換されている。この例においては、一眼レフ（Single Lens Reflex：ＳＬＲ）カメラではなく、相互交換可能なレンズカメラが変更されており、その理由は、レンズカメラは、相対的に短いフランジ焦点距離（Flange Focal Distance：ＦＦＤ）を、即ち、センサとレンズマウントとの間の距離を、有するからである。３Ｄラインが十分に湾曲した状態で出現するためには、ラインは、画像プレーンとの関係において大きな深さ範囲にわたって延在することを要する。従って、物体に対して相対的に近接した状態でカメラを配置するのみならず、大きな視野と相対的に小さな焦点距離とを有するレンズを使用することが望ましいであろう。例示用のＸスリットカメラは、２５ｍｍの焦点距離を有する（センサに相対的に近接した）ものと、７５ｍｍの焦点長を有するもう一つのレンズという二つの円筒形レンズを使用している。Ｘスリットカメラを較正するべく、５本のラインのパターン及び補助遠近投影カメラを使用してラインの位置及び向きを判定する。次いで、Ｘスリットの固有性を取得するべく、曲線フィッティングが実施される。
【0052】
図５Ａは、例示用のＭＷシーンを示している。シーンは、二つの異なるプレーン上において位置した平行なラインから構成されており、小さなフィギュアが二つのプレーンの間に配置されている。Ｘスリットカメラは、その二つのスリットがシーン内のラインに対して平行にならないように、傾斜させられている。
【0053】
図５Ｂは、遠近投影カメラによってキャプチャされた図５Ａに示されているＭＷシーンの画像である。遠近投影カメラによって観察された際に、ラインは、ほぼ同一の状態において出現する。ラインは、共通消失点において交差しているが、それらが異なるプレーンに属しているかどうかを弁別するのは困難である。
【0054】
図５Ｃは、例示用のＸスリットカメラによってキャプチャされた図５Ａに示されているＭＷシーンの画像である。図５Ｂとは対照的に、二つのプレーンのラインは、Ｘスリットカメラ画像内において、異なっている。図５Ｃに示されているように、ラインは、異なる曲がりを有しており、従って、観察者は、ラインが同一のプレーンに属していないことを直接的に識別することができる。
【0055】
図５Ｄは、Ｘスリット画像（図５Ｃに示されているもの）を使用したＭＷ再構築を示す画像である。円錐曲線フィッティング及びＣＣＰ／ＣＶＰ検出方法が、Ｘスリット画像上のライン画像に対して適用されている（図４との関係において上述したもの）。この例においては、一つのＸＶＰと二つのＣＣＰとが、識別され、且つ、取得されたＸスリット画像上に二つの取得されたプレーンをマッピングして戻すべく、使用されている。
【0056】
要すれば、ＭＷ再構築処理（ＭＷ再構築モジュール１２０によるものなど）は、Ｘスリット撮像（即ち、非ピンホール撮像）を介したＭＷシーンの再構築を提供する。Ｘスリット画像内のＸスリット消失点（ＸＶＰ）及び共平面共通点（ＣＣＰ）を使用して共平面平行ラインをグループ化してもよい。共平面平行ラインのそれぞれのグループは、そのＸスリット画像内のＸＶＰ及びＣＣＰにおいて交差しており、且つ、そのジオメトリをＸＶＰ及びＣＣＰから直接的にリカバーすることができる。
【0057】
回転ステレオマッチングステレオマッチングは、コンピュータビジョンにおいて精力的に研究されている問題である。その目的は、生物学的な立体視プロセスと同様に、二つの視点からの相対的な位置の調査による３Ｄ情報の抽出にある。現時点の方式は、平行運動する複数の遠近投影カメラを使用している。視差を生成するべく、十分なカメラベースラインを有するように、第二カメラを第一カメラから離れるように平行運動させている。純粋に水平方向の視差を有するように、共通画像プレーン上に投影されることにより、入力画像を更に調整することができる。
【0058】
図１Ａ、図２Ｃ、図６Ａ、及び図６Ｂを参照すれば、Ｘスリットカメラ１０２は、回転モジュール１１４に結合されてもよく、且つ、回転Ｘスリットステレオ画像ペアをキャプチャするべく、使用されてもよい。キャプチャされた画像ペアを回転ステレオマッチングモジュール１２２によって使用し、シーンの深さマップを再構築してもよい。従って、Ｘスリットカメラ１０２は、それぞれのスリットレンズ２０２−１、２０２−２の方向をスイッチングしつつ、（光軸２１０との関係おいて）撮像センサ２０８、第一スリットレンズ２０２−１、及び第二スリットレンズ２０２−２のうちのそれぞれものの位置を固定することにより、ステレオ画像ペアを形成してもよい（図６Ａ及び図６Ｂを参照されたい）。スリットレンズ２０２−１、２０２−２の方向は、（図６Ａ及び図６Ｂに示されているように）レンズ２０２−１、２０２−２のそれぞれを回転させることにより、或いは、カメラ１１８（事実上、回転撮像センサ２０８）を９０度だけ回転させることにより、スイッチングさせてもよい。例えば、回転モジュール１１４を使用することにより、Ｘスリットモジュールを固定すると共に、カメラ１１８をレンズモジュール１１６との関係において回転させてもよい（図６Ｃ及び図６Ｄに示されている）。以下の説明においては、Ｘスリット１は、スリットレンズ２０２−１、２０２−２の第一方向（即ち、回転の前）を意味し、且つ、Ｘスリット２は、レンズ２０２−１、２０２−２の回転（レンズ２０２の回転を介して直接、又はカメラ１１８の回転を介して）の後のスリットレンズ２０２−１、２０２−２の第二（反対）方向を意味している。
【0059】
従って、Ｘスリットカメラ１０２は、カメラの平行運動による代わりに、（スリットの方向をスイッチングしつつ）センサ／スリットの場所を固定することにより、ステレオ画像ペアをキャプチャしてもよい。いくつかの例においては、Ｒ−Ｘスリットペアをキャプチャするべく、Ｘスリットレンズモジュール１１６をコモディティカメラ上において取り付けてもよく、且つ、スリットの方向を回転モジュール１１４を介して変更してもよい。
【0060】
回転Ｘスリットカメラ１０２は有利であり、その理由は、スリットのみを回転させることにより、「固定場所」ステレオを実現し得るからであり、且つ、これにより、（遠近投影ステレオ撮像において使用されているように）異なる空間場所において二つのカメラを配置するニーズが除去されるからである。回転Ｘスリットステレオ画像は、例えば、外科手術シナリオにおいて有用であろう。例えば、３Ｄにおいて、器官を視覚化するための、即ち、通常は、（適切に機能するために）従来の平行運動ステレオカメラを収容するには十分に大きくはない空間を視覚化するための、侵入型の装置として、単一の回転Ｘスリットカメラを使用してもよい。
【0061】
図７Ａを参照し、回転Ｘスリット画像ペアのエピポーラジオメトリについて説明する。回転ステレオモデルの場合には、両方のスリットに対して平行であるが、いずれのスリットも含んでいない二つの画像プレーンΠuv及びΠstが選択される。両方のスリットは、直交するように、Πuv上において投影され、且つ、交差点が座標系の原点として使用される。［ｕ，ｖ，σ，τ］パラメータ化が使用され、ここで、σ＝ｓ−ｕであり、且つ、τ＝ｔ−ｖである。（ｕ，ｖ）がピクセル座標として直接的に使用されることが可能であり、且つ、（σ，τ，１）が光線の方向として観察され得るように、画像プレーンΠuvが既定の画像（センサ）プレーンとして選択される。二つスリットｌ1及びｌ2が、ｚ＝Ｚ1及びｚ＝Ｚ2において位置し、且つ、ｘ軸との関係において角度θ1及びθ2を有しており、ここで、Ｚ2＞Ｚ1＞０であり、且つ、θ1≠θ2であるものと仮定される。従って、それぞれのＸスリットカメラ１０２は、（即ち、回転の前及び後において）、Ｃ（Ｚ1，Ｚ2，θ1，θ2）として表すことができる。Ｃ内のそれぞれのピクセル（ｕ，ｖ）は、次式のように、方向（σ，τ，１）を有する光線に対してマッピングされる（付属書Ａを参照されたい）。【数8】
【0062】
エピポーラジオメトリは、ステレオビジョンのジオメトリを意味している。一般に、二つのカメラが３Ｄシーンを二つの別個の位置から観察した際に、３Ｄの点と２Ｄ画像上へのその投影の間には、画像点間の制約をもたらすいくつかの幾何学的関係が存在している。一般に、プレーン、双曲面、及び双曲線パラボロイドというエピポーラジオメトリの三つの種類が存在している。エピポーラジオメトリが存在している場合には、曲線に由来するすべての光線が→ｒ0と交差する曲線が、Ｃ’（Ｚ1，Ｚ2，θ2，０）内において存在するはずである。
【0063】
本発明者は、回転Ｘスリットカメラペアは、次式の形態のエピポーラ曲線が両方のＸスリットカメラ内において（即ち、Ｘスリットカメラ１０２の回転の前及び後において）存在するように、有効なエピポーラジオメトリを形成すると判定した。【数9】
【0064】
式９は、遠近投影ステレオとは異なり、回転Ｘスリットカメラペア内のエピポーララインが、双曲線形態を有することを示している。但し、ステレオ画像ペア内のそれぞれの画像の間における対応性のサーチ空間は、依然として、事実上、１次元（１Ｄ）に低減される。
【0065】
図７Ｂは、台所シーンの一部分のステレオ画像ペアを示している。画像７００−１は、第一位置におけるスリットレンズ２０２−１、２０２−２を伴うシーンの第一画像である。画像７００−２は、（スリットレンズ２０２−１、２０２−２を回転させることにより、或いは、カメラ１１８を回転させることにより）反対位置（即ち、第二位置）にスイッチングされたスリットレンズ２０２−１、２０２−２を伴うシーンの第二画像である。エピポーラ曲線７０２が、それぞれの画像７００上において配置されると共にプロットされている。又、個々のエピポーラ曲線７０２−１、７０２−２に沿った特徴点の間における対応性も示される。
【0066】
ステレオビジョンにおいては、物体の深さを判定するべく、視差が使用される。通常、画像が比較される、二つの画像を相互の関係において一緒にシフトさせることにより、マッチングした部分を見出す。シフトされた量が視差と呼称される。一般に、視差は、物体の深さによって左右され、物体の深さにおける単調な関数であり、且つ、第二視野において対応するピクセルを配置するべく使用されてもよい。
【0067】
現時点の遠近投影ステレオマッチング方式においては、視差は、水平方向の視差として定義されている。但し、回転Ｘスリット画像ペアにおいては、エピポーラ曲線が双曲線であることから、対応するピクセルは、垂直方向視差と水平方向視差との両方を有する。回転Ｘスリット画像ペア視差（ｄxs）は、次式のように定義される。【数10】
【0068】
遠近投影カメラにおいては、シーン点が二つの投影中心（Center of Projection：ＣｏＰ）を接続するライン上に位置している際に、即ち、二つのカメラからの光線が同一になる際に、視差の特異点が発生する。式（１０）から、回転Ｘスリット画像ペアは、ｖ＝０において特異点を有しており、この場合に、視差は、もはや、演算することができない。実際には、ｖ＝０は、エピポーラジオメトリが依然として存在しており、且つ、それがｙ＝０プレーンに対応することを意味している。このケースにおいては、視差は、ｄxs＝ｕ／ｕ’として再定義され、これは、ｙ＝０である際に、ｖ’／ｖと一貫性を有する。実際の特異点は、ｘ＝ｙ＝０である際、即ち、光線がｚ軸とアライメントした際であり、これは、両方のＸスリットカメラによって共有される唯一の光線である。
【0069】
回転Ｘスリット画像ペアから深さを取得するべく、ステレオマッチングをＸスリット視差ラベル付与としてモデル化することにより、グラフカットアルゴリズムを使用してもよい。具体的には、視差ｄxs（式（１０））をＭ個のラベルに離散化してもよい（ここで、Ｍは、整数である）。Ｃ内のピクセルｐに対するラベルｄixs（ｉ∈［１，Ｍ］）が付与された場合に、その対応するＣ’内のピクセルｐ’＝ｄixs（ｐ）は、上述のように判定されてもよい。ラベルｄixsをＣ内のピクセルｐに割り当てるエネルギー関数Ｅは、遠近投影ステレオマッチングにおいて使用されるものと同一であり、且つ、次式のように表されてもよい。【数11】
【0070】
視差マップが取得されたら、次式のように、式（１０）を反転させることにより、物体の深さｚが判定されてもよい。【数12】
【0071】
データ項のピクセルの観点における比較は、カメラのアライメント及び画像ノイズの大きな影響を受ける可能性がある。（ピクセルの観点における比較とは対照的に）安定性を改善するべくパッチの類似性を比較することが望ましいであろう。遠近投影ステレオとは異なり、Ｘスリット画像内の画像パッチは歪んでおり（例えば、せん断されると共に／又は延伸されており）、ここで、歪は、スリットの位置／方向及び物体の深さによって決定される。ステレオマッチングを実行するべく、まず、Ｘスリットペア内の歪が補正され、且つ、次いで、パッチの類似性が計測される。
【0072】
次に、図８を参照すれば、回転ステレオマッチング用の例示用の方法が示されている。図８に示されているステップは、回転モジュール１１４との組合せにおいて、Ｘスリットカメラ１０２によってキャプチャされたＸスリット画像のペアから、回転ステレオマッチングモジュール１２２（図１）によって実行されてもよい。図８に示されているステップは、本発明の例示用の一実施形態を表している。特定のステップは、示されているものとは異なる順序で実行されてもよいことを理解されたい。
【0073】
ステップ８００において、シーンの第一Ｘスリット画像が、（図６Ａ及び図６Ｃに示されているように）スリットレンズ２０２−１、２０２−２が第一方向において位置決めされた状態において、Ｘスリットカメラ１０２によってキャプチャされている。第一Ｘスリット画像は、ストレージ１０８内において保存されてもよい。ステップ８０２において、スリットレンズ２０２−１、２０２−２が第一方向とは反対の第二方向において位置決めされるように、カメラ１１８（図１）及び／又はスリットレンズ２０２−１、２０２−２が、（図６Ｂ及び図６Ｄに示されているように）回転モジュール１１４を介して９０度だけ回転させられている。ステップ８０４において、（ステップ８０２に応答して）レンズ２０２が第二方向にある状態において、シーンの第二Ｘスリット画像がＸスリットカメラ１０２によってキャプチャされている。第二Ｘスリット画像も、ストレージ１０８内において保存されてもよい。第一及び第二Ｘスリット画像は、回転Ｘスリット画像ペアを表している。
【0074】
ステップ８０６において、エピポーラ曲線が、例えば、式（９）に基づいて、第一及び第二Ｘスリット画像のそれぞれの画像内において配置されてもよい。エピポーラ曲線を配置するべく、式（９）が使用されてもよい。ｋの値（例えば、ｋ＝２）を選択することにより、対応する第一及び第二Ｘスリット画像内においてエピポーラ曲線の組を取得してもよい。
【0075】
ステップ８０８において、第一及び第二画像のそれぞれがｍ×ｎピクセルのパッチに分割されている。一例においては、それぞれのパッチサイズは、５×５ピクセルである。パッチサイズは、深さ値がそれぞれのパッチ内において実質的に一定になるように、十分小さくなるように選択されている。
【0076】
ステップ８１０において、第一及び第二画像のそれぞれの画像のそれぞれのパッチ内において、歪が補正されている。Ｘスリット画像内の歪は、せん断及び延伸を含み得ることから、歪補正は、パッチをせん断解消するステップと、次いで、パッチが同一のアスペクト比を有するようにパッチをサイズ変更するステップと、を含む。
【0077】
視差ラベルｄixsをカメラＣ内のピクセルに対して割り当てる際には、まず、パッチが、それぞれのＸスリット視野内においてせん断行列、【数13】
【0078】
次に、アスペクト比歪が補正される。深さｚiにおけるシーン点の場合に、そのＣ内におけるアスペクト比は、（Ｚ2（ｚi−Ｚ1））／（Ｚ1（ｚi−Ｚ2））として、且つ、Ｃ’内においては、（Ｚ1（ｚi−Ｚ2））／（Ｚ2（ｚi−Ｚ1））として、判定されてもよい。式（１０）により、アスペクト比は、ｚiに対応した視差ｄixsと同一である。従って、ｄixsは、スケーリングファクタとして直接的に使用されてもよい。オリジナルの画像分解能が、Ｃにおいては、ｍ×ｎであり、且つ、Ｃ’においては、ｎ×ｍであるものと仮定し、（画像ペアのうちの）第一画像は、ｄixsｍ×ｎにサイズ変更され、且つ、（画像ペアのうちの）第二画像は、ｎ×ｄixsｍにサイズ変更される。
【0079】
ステップ８１２において、（ステップ８１０における歪補正の後の）パッチの類似性が、エピポーラ曲線（ステップ８０６）に沿って計測されている。従って、パッチ類似性を判定するべく、同一のサイズのパッチが、サイズ変更された結果（ステップ８１０）から問い合わせられてもよい。このプロセスを加速化するべく、入力画像ペアが、異なる視差ラベルにより、事前スケーリングされてもよい（並びに、ストレージ１０８（図１）内において保存されてもよい）。次いで、特定の視差ラベルを有する事前スケーリング済みのパッチが、ストレージ１０８から取得されてもよく、且つ、パッチの類似性を判定するべく、使用されてもよい。パッチの類似性は、平均化された強度により、計測されてもよい。類似性値は、深さラベルをそれぞれのパッチに割り当てる際に、ペナルティ項を提供する。例えば、二つのパッチが付与された場合に、それらの類似性は、すべての対応するピクセルにわたる平均強度／色差の観点において判定されてもよい。差は、Ｌ1ノルム又はＬ2ノルムにおいて計測されてもよい。
【0080】
ステップ８１４において、類似性尺度を、限定を伴うことなしに、グラフカット、エッジに基づいたもの、粗から微細、適応型ウィンドウ、動的プログラミング、Markovランダムフィールド、及びマルチベースライン技法などの任意の適切なステレオマッチングアルゴリズムに内蔵することにより、深さマップが再構築されている。
【0081】
一時的ではないコンピュータ可読媒体が、ステップ８０６〜８１４の機械実行のためのコンピュータ可読命令を保存し得るものと想定される。
【0082】
図９Ａ〜図９Ｅを参照し、シーンの例示用の回転ステレオマッチング結果について説明する。Ｒ−Ｘスリットペアは、Ｐ（１０．０，１．５，１０５°）であり、ここで、１．０は、撮像センサ２０８までのスリット２０２−２の距離を表しており、１．５は、撮像センサ２０８までのスリットレンズ２０２−１の距離を表しており、且つ、１０５°は、スリットレンズ２０２−１、２０２−１の間の角度を表している。具体的には、図９Ａ及び図９Ｂは、グラウンドトルスマップ（図９Ａに示されている）を含む入力Ｘスリット画像のペアであり、図９Ｃは、グラフカットを使用したピクセルに基づいたマッチング用の取得された視差マップであり、図９Ｄは、歪補正を伴うパッチに基づいたマッチング用の取得された視差マップであり、且つ、図９Ｅは、歪補正を伴わないパッチに基づいたマッチング用の取得された視差マップである。
【0083】
画像は、一般的なＸスリットカメラモデルにより、POV-Ray光線トレーサ（www.povray.org）を使用して合成される。シーンは、「６，３５」という深さ範囲を有する。σ＝０．０５のガウスノイズが、レンダリングされたＸスリット画像に対して追加される。ピクセルに基づいた結果（図９Ｃ）は、滑らかさを欠いており、且つ、画像ノイズを含む。対照的に、歪補正を伴わないパッチに基づいた結果（図９Ｅ）は、大きな誤差を生成する。
【0084】
一例においては、スリットレンズ２０２−１、２０２−２（図６Ａ）は、直交すると共に軸アライメントされるように、位置決めされてもよい。これは、平行直交Ｘスリット（Parallel Orthogonal Xslit：ＰＯＸスリット）カメラとも呼称される。スリットレンズ２０２−１、２０２−２が、ＰＯＸスリットカメラを形成するように構成されている際には、エピポーラ曲線は、ｕｖ＝ｋとなる。ＰＯＸスリットカメラの画像は、相対的に少ない歪を伴って、遠近投影カメラに類似した方式で出現し得る。
【0085】
次に、図１０Ａ〜図１０Ｇを参照すれば、回転ステレオマッチング方式（図８）が、回転ＰＯＸスリットカメラ１０２によって取得されたシーンに対して使用されている。具体的には、図１０Ａは、約五つの深さ層から構成された屋内シーン用の実験セットアップを示している。シーンは、回転ＰＯＸスリット画像ペアを生成するべく、（カメラ１０２を回転リング１１４上において９０度だけ回転させることにより、最初は、Ｘスリット１として、且つ、次いで、Ｘスリット２として）２度にわたってキャプチャされる。二つのＸスリット画像は、２４４８×１３７６という分解能においてキャプチャされ、且つ、そのオリジナルの分解能の半分にダウンサンプリングされる。撮像センサ２０８との関係における二つのスリットレンズの位置は、Ｚ1＝３８ｍｍであり、且つ、Ｚ2＝６６ｍｍである。スリットアパーチャ２０６−１、２０６−２は、それぞれ、２ｍｍの幅を有する。図１０Ｂ及び図１０Ｃは、キャプチャされた第一及び第二回転ＸＰＯスリット画像を示している。
【0086】
リングの回転は、光軸２１０（即ち、中心光線）が完全にアライメントされることを保証しない。但し、歪補正済みのパッチに基づいたグラフカットアルゴリズムを適用してＰＯＸスリット画像ペアから視差マップを取得してもよい。これは、わずかにミスアライメントされた視点画像ペアに対するステレオマッチングの実施に類似している。ミスアライメントは、不正確な深さマップをもたらし得るが、取得された視差マップは、依然として、有意なシーン構造を通知することができる。
【0087】
図１０Ｄ及び図１０Ｆは、小さなベースライン（１．７）と大きなベースライン（２）とについてＰＯＸスリット画像ペア（図１０Ｂ及び図１０Ｃ）が付与された場合のステレオマッチング結果を示す画像であり、この場合に、ベースラインは、Ｚ2／Ｚ1として定義される。図１０Ｅ及び図１０Ｇは、図１０Ｄ及び図１０Ｆに対応した取得された視差マップである。
【0088】
この例においては、視差ラベルは、パッチに基づいたステレオマッチングが適用された後に、［１．８，２．３］という範囲において２０個のレベルに離散化されている。図１０Ｄ及び図１０Ｅにおいては、相対的に小さなＸスリットベースライン（１．７）が使用されている。この結果、最大分解可能深さは、相対的に小さく、且つ、深さ誤差は、相対的に大きい。このプロセスは、深さ層１００２、１００４、及び１００６を弁別することができる。但し、このプロセスは、コンピュータグラフィクスの書籍とパターン化されたバックグラウンドを弁別することができない。
【0089】
図１０Ｆ及び図１０Ｇを参照すれば、同一のＺ1が固定されている状態において、Ｚ2を７６ｍｍに調節することにより、Ｘスリットベースラインが２に増大させられている。ベースラインを増大させることにより、最大分解可能深さが増大し、且つ、深さ誤差が低減され得る。図１０Ｇは、バックグラウンドと書籍が、いまや、二つの層（個々の層１００８及び１０１０）として別個に検出されることを示している。但し、新しいＲ−ＰＯＸスリット画像は、相対的に狭い視野を有する。更には、画像は、相対的に強力な歪を有しており、例えば、図１０Ｆは、図１０Ｄよりも水平方向において相対的に大きく延伸されている。
【0090】
コード化アパーチャ撮像演算撮像及び写真撮影における最近の進歩により、従来は困難であったコンピュータビジョンの問題に取り組むための多くの新しい解決策が可能になっている。解決策の顕著な種類の一つが、コード化演算写真撮影である。時間、空間、波長などに伴って光を戦略的に遮断することにより、コード化演算写真撮影は、シーンの再構築を促進すると共に画像品質を保持し得る。例えば、当初は天文学及びＸ線撮像において開発されたコード化アパーチャ技法が、コモディティカメラにも拡張されている。現時点のカメラにおいては、信頼性の高い逆畳込み及び深さ推定を可能にするべく、コード化パターンにより、非合焦ぼけの周波数特性をシーンの深さと相関させている。
【0091】
現時点のコード化アパーチャシステムは、薄い球面レンズ及び円形アパーチャを装備したコモディティカメラ上において形成されている。球面レンズは、アパーチャが小さい際には、事実上、ピンホール投影をエミュレートし得る。又、このモデルは、アパーチャサイズ及び物体距離の観点における被写界深度の容易な分析をも促進する。コード化アパーチャを実装するべく、望ましいコード化パターンによる円形アパーチャの置換が一般に行われている。
【0092】
図１を参照すれば、撮像システム１００は、Ｘスリットカメラ１０２からのＸスリット画像を使用することにより、コード化アパーチャ撮像モジュール１２４を介してコード化アパーチャ撮像を実行してもよい。上述のように、幾何学的に、Ｘスリットレンズカメラ１０２は、（３Ｄ空間内の二つの傾斜した又は直交するスリットを含む）Ｘスリットレンズモジュール１１６を同時に通過した光線を収集する。Ｘスリットレンズモジュール１１６は、球面レンズよりも、異なると共に潜在的に有利な被写界深度（ＤｏＦ）を生成する。具体的には、二つのタイプのレンズが類似したスループットを有している際に、Ｘスリットレンズモジュール１１６は、相対的に良好なＤｏＦを有する。
【0093】
図１３Ａを参照すれば、Ｘスリットカメラ１０２の各部分の斜視図が示されている。図１３Ａは、撮像センサ２０８との関係における第一及び第二レンズ２０４−１、２０４−２の位置を示している。又、図１３Ａは、レンズ２０４−１、２０４−２を通じた光線（ｒi）の変換の一例をも示している。図１３Ａは、第一円筒形レンズ２０４−１を第二円筒形レンズ２０４−２に対して直交するものとして示しているが、レンズ２０４−１、２０４−２は、傾斜した角度において構成されてもよい。従って、円筒形レンズ２０４の直交構成との関係において後述するコード化アパーチャ撮像プロセスは、傾斜した角度において構成された円筒形レンズ２０４によって実行されてもよい。
【0094】
図１３Ａにおいて、第一円筒形レンズ２０４−１は、撮像センサ２０８からの距離ｚ＝ｌ1において位置決めされている。第二円筒形レンズ２０４−２は、撮像センサ２０８からの距離ｚ＝ｌ2において位置決めされており、ここで、ｌ1＞ｌ2である。第一円筒形レンズ２０４−１及び第二円筒形レンズ２０４−２は、ｆ1及びｆ2という個別の焦点距離を有する。又、第一円筒形レンズ２０４−１及び第二円筒形レンズ２０４−２は、（例えば、図２Ａに示されているように）ｗ1及びｗ2という個別の幅を有する個々の矩形形状のアパーチャをも有する。
【0095】
レンズのアパーチャは、非合焦ぼけを導入すると共にＤｏＦを低減し得る。非合焦ぼけは、ぼけカーネルとも呼称される点広がり関数（Point Spread Function：ＰＳＦ）から判定されてもよい。本発明者らは、（ＸスリットＰＳＦとも呼称される）Ｘスリットカメラ１０２のＰＳＦ（ぼけカーネル）は、次式のように表され得るものと判定した。【数14】
【0096】
図１１及び図１１Ａ〜図１１Ｄには、例示用のＰＳＦが示されている。図１１は、異なる深さにおいてキャプチャされたＸスリットＰＳＦを表している。図１１Ａ〜図１１Ｄは、図１１の左側から右側に向かって取得された図１１に示されている強調表示された各部分を表している。焦点距離５０ｍｍ及び５０ｍｍを有するＸスリットカメラ１０２を使用することにより、（カメラとの関係において１５ｃｍ〜３６ｃｍの範囲の）傾斜した画面上において投影された３２×２４ドットアレイをキャプチャした。図１１Ａ〜図１１Ｄに示されているように、ＸスリットＰＳＦは、深さとの関係において、形状とスケールとの両方において変化している。従って、ＸスリットＰＳＦは、異方性を有しており、且つ、その形状は、深さによって左右される。
【0097】
Ｘスリットカメラ１０２のＤｏＦ分析に基づいて、コード化パターン撮像用のコード化アパーチャパターンを判定してもよい。コード化パターンの開発は困難であり、理想的なパターンは、二つの矛盾する特性を、即ち、信頼性の高い逆畳込みと大きな深さ視差を、有することを要し得る。アパーチャコードパターンは、安定した逆畳込みを保証するべく、広帯域であることが望ましい。又、異なる深さ層を弁別するべく、アパーチャコードパターンが多数のゼロ交差を周波数ドメインにおいて含むことが望ましい。Ｘスリットレンズモジュール１１６は、広帯域コードを有するスリットアパーチャ２０６−２’を使用することにより、相対的に小さな寸法を有するスリットレンズ２０２（図２Ａ）のうちの一つ（即ち、スリットレンズ２０２−２）をエンコードし、且つ、大きな深さ視差コードを有するスリットアパーチャ２０６−１’を使用することにより、もう一つのスリットレンズ（即ち、スリットレンズ２０２−１）をエンコードする。
【0098】
次に、図１２を参照すれば、コード化アパーチャ撮像用の例示用の方法が示されている。図１２に示されているステップは、コード化アパーチャ２０６−１’、２０６−２’（図２Ａ）を使用することにより、Ｘスリットカメラ１０２によってキャプチャされたＸスリット画像から、コード化アパーチャ撮像モジュール１２４（図１）によって実行されてもよい。図１２に示されているステップは、本発明の例示用の一実施形態を表している。特定のステップは、示されているものとは異なる順序で実行されてもよいことを理解されたい。
【0099】
ステップ１２００において、大きな深さ視差コードを有する１Ｄコード化アパーチャ２０６−１’が、第一円筒形レンズ２０４＝１（図２Ａ）に対して適用されている。ステップ１２０２において、広帯域コードを有する１Ｄコード化アパーチャ２０６−２’が、第二円筒形レンズ２０４−２に対して適用されている。
【0100】
コード化アパーチャを使用した深さの取得について、球面レンズにおいて調査した。基本的な概念は、コード化パターン及び非合焦画像を分析し、シーン深さを取得すると共に全フォーカス画像（all-focus image）を生成するというものである。但し、コードの設計が困難である。深さを弁別するために、アパーチャパターンは、望ましくは、深さの観点においてぼけ画像間において変動を意図的に導入するべく周波数ドメインにおいてゼロ交差を含む。但し、安定した逆畳込みを保証するために、アパーチャパターンは、望ましくは、広帯域であり、即ち、その周波数プロファイルは、ほとんどゼロ交差を有していないことを要する。
【0101】
Ｘスリットカメラ１０２のＤｏＦ分析から、Ｘスリットレンズモジュール１１６は、スループット等価球面レンズ（Throughput Equivalent Spherical Lens：ＴＥＳＬ）として、同一の光スループットの下において、相対的に少ない水平方向のぼけと、ほぼ同一の垂直方向のぼけと、を有する。従って、第一円筒形レンズ２０４−１（即ち、水平方向レンズ）は、大きな視差のカーネルを使用することにより、エンコードされ、且つ、垂直方向の円筒形レンズ２０４−２は、広帯域カーネルによってエンコードされる。選択されたコード化アパーチャに基づいて、Ｘスリットレンズモジュール１１６は、そのＴＥＳＬと同一の深さ視差を提供し（その理由は、これらが同一の垂直方向ぼけスケールを有するからであり）、もう一つの次元は、相対的に少ないぼけを有し、且つ、相対的に安定した逆畳込みを提供する。コード化方式がスイッチングされた際には（即ち、広帯域パターンを第一円筒形レンズ２０４−１に適用することにより、且つ、大きな深さ視差のパターンを第二円筒形レンズ２０４−２に適用することにより）、全フォーカス画像は、相対的に容易に回復され得るが、深さ弁別能力が低減される。
【0102】
次に、それぞれの円筒形レンズ２０４−１、２０４−２ごとに適切なコード化パターンを選択する一例について説明する。垂直方向パターンは、Ｋv（ｘ）であり、且つ、水平方向パターンは、Ｋh（ｙ）であるものと仮定される。従って、全体ぼけカーネルは、Ｋ（ｘ，ｙ）＝Ｋv（ｘ）・Ｋv（ｙ）であり、ここで、ｘ及びｙは、閉形型ＰＳＦ（式１２）によって更に制約されている。それぞれの１Ｄパターンごとに、一連のランダムにサンプリングされた１３ビットコードから一つのコードが選択される。垂直方向コードＫvは、広帯域コードであることから、周波数ドメイン内のその最小振幅値が最大であるコードが選択される。
【0103】
次いで、Ｋvが固定され、且つ、最適なＫhが判定される。深さｉにおけるぼけカーネルは、Ｋi＝Ｋvi・ｋhiであるものと仮定される。深さ視差を改善するべく、異なる深さにおいて、即ち、Ｋi及びＫj（ｉ≠ｊ）において、カーネルによって生成されるぼけ画像分布の間の距離を極大化することが望ましい。一般的に使用されている Kullback-Leibler（ＫＬ）発散を使用することにより、次式のように、二つのぼけ画像分布の間の距離を計測する。【数15】
【0104】
一例においては、「1010010011111」が、垂直方向コードとして選択され、且つ、「110011110011」が、水平方向コードとして選択されている。図１３Ｂには、これらの二つの選択されたコードのパワースペクトルが示されている。図１３Ｂにおいては、曲線１３０２は、大きな深さ視差コードのパワースペクトルであり、且つ、曲線１３０４は、広帯域コードのパワースペクトルである。
【0105】
ステップ１２０４において、ステップ１２００及び１２０２において適用されたコード化アパーチャ２０６−１’、２０６−２’を使用することにより、シーンのＸスリット画像がＸスリットカメラ１０２によってキャプチャされている。いくつかの例においては、キャプチャされた画像は、ストレージ１０８（図１）内において保存されてもよい。
【0106】
ステップ１２０６において、個々の複数の深さ層に対応した複数のＰＳＦが生成されている。深さを推定するべく、コード化パターン及び閉形型ＰＳＦ（式１２）を使用することにより、それぞれの深さ層ごとに、対応するＰＳＦが予め算出されてもよい。
【0107】
ステップ１２０８において、最適形状画像（最小限のリンギングを有するもの）を結果的にもたらす予め算出されたＰＳＦの一つが、複数のＰＳＦのうちから選択される。具体的には、キャプチャされたＸスリット画像と異なる深さ層の予め算出されたＰＳＦの間において、逆畳込みが実行される。ＰＳＦスケールが実際のスケールを上回っている際に、結果は、強力なリンギングアーチファクトを有することになる。スケールが実際のスケールを下回っている際には、画像は、相対的に乏しい鋭さを伴って出現し得るが、リンギングを有してはない。
【0108】
Gabor フィルタを使用することにより、逆畳込みされた画像内においてリンギングを検出してもよく、この場合に、応答の増大は、相対的に深刻なリンギングに対応している。Gabor フィルタは、正弦波平面波によって変調されたガウスカーネル関数であり、且つ、次式のように記述することができる。【数16】
【0109】
一例においては、θ＝０°及び９０°を有する Gabor フィルタがリンギング検出のために使用されている。Gabor フィルタＧθの応答Ｒθは、次式のとおりに定義される。【数17】
【0110】
それぞれの逆畳込みされた画像に関する水平方向及び／垂直方向の Gabor 応答が合計され、且つ、最小の値を有する応答が、最適な深さに対応している。シーンは、Ｎ個の深さ層に離散化されてもよく、且つ、割り当てられた深さラベルについて、グラフカットアルゴリズムが再使用されてもよい。Gabor 応答は、グラフを構築するためのペナルティ項として使用される。従って、ピクセルｐに深さラベルｄiを割り当てるエネルギー関数Ｅは、次式のように記述される。【数18】
【0111】
ステップ１２１０において、シーンの深さが、選択されたＰＳＦ（ステップ１２０８）に基づいて再構築され得る。一例においては、全フォーカス画像をリカバーするべく、ぼけカーネルは、１Ｄシーン情報しか含んでいないことから、自然画像プライア（natural image prior）と共に、改良型 Wiener 逆畳込みが再使用されている。この技法は、多数のゼロ交差を有するカーネルを処理し得る反復再重み付け最小二乗（Iteratively Reweighted Least Square：ＩＲＬＳ）逆畳込みよりも高速であり得る。ぼけカーネル（ＰＳＦ）が判明している（且つ、深さの関数である）ことから、カーネルサイズが判定されたら、深さが、ぼけカーネルサイズから判定され得る。
【0112】
一時的ではないコンピュータ可読媒体が、ステップ１２０６〜１２１０の機械実行のためのコンピュータ可読命令を保存し得るものと想定される。
【0113】
次に、図１４Ａ〜図１４Ｏを参照し、Ｘスリットカメラ１０２を伴うシーン再構築のためのコード化アパーチャ撮像の一例について説明する。具体的には、図１４Ｄは、合成シーンのグラウンドトルス画像であり、図１４Ａ〜図１４Ｃは、ＴＥＳＬ及びＸスリットコード化アパーチャ画像であり、図１４Ｅ〜図１４Ｈは、個々の図１４Ａ〜図１４Ｄに示されているコード化アパーチャ及びグラウンドトルス画像の例示用の深さマップ画像であり、図１４Ｉ〜図１４Ｋは、図１４Ａ〜図１４Ｃに示されている個々のＴＥＳＬ及びＸスリットコード化アパーチャ画像に基づいた例示用の結果的に得られたぼけ除去された画像であり、且つ、図１４Ｌ〜図１４Ｏは、個々の図１４Ｄ、図１４Ｉ、図１４Ｊ、及び図１４Ｋに示されている画像の一部分を示している。
【0114】
図１４Ｄは、２０ｃｍ、４０ｃｍ、及び８０ｃｍにおいて三つの深さ層を有する単純なシーンを表している。Ｘスリットレンズモジュール１１６は、１６ｃｍ及び２４ｃｍにおいて合焦するように構成されている。ＴＥＳＬの焦点面は、Ｘスリットの前部焦点面と一致している。ＴＥＳＬの場合には、大きな深さ視差を有すると予想されるコード化パターンが使用される。Ｘスリットレンズモジュール１１６の場合には、大きな深さ視差及び広帯帯域のコードが使用される。
【0115】
図１４Ａ〜図１４Ｏは、二つのレンズを使用して取得された深さマップ及び全焦点画像を示している。画像の逆畳込みのために、ＩＲＬＳ（第一列）及び Wiener フィルタ（その他の二つの列）が適用されている。選択されたコードを使用したＴＥＳＬに関するコード化アパーチャの結果は、高品質の深さマップを生成するが、取得された全焦点画像は、周波数ドメイン内のゼロ交差に起因し、閉塞境界の近傍においてリングアーチファクトを有する。コード化アパーチャを有するＸスリットレンズモジュール１１６は、相対的に小さな水平方向のＰＳＦに起因し、リンギングアーチファクトを低減することができる。Ｘスリットコード化方式及びその取得された深さマップは、ＴＥＳＬのものに匹敵している。
【0116】
以上、画像をキャプチャ及び処理する方法及びシステムの観点において、本発明について説明したが、一つ又は複数のステップ及び／又はコンポーネントは、マイクロプロセッサ／汎用コンピュータ（図示されてはいない）と共に使用されるソフトウェアにおいて実装され得るものと想定される。この実施形態においては、上述の様々なコンポーネント及び／又はステップの機能のうちの一つ又は複数は、コンピュータを制御するソフトウェアにおいて実装されてもよい。ソフトウェアは、コンピュータによる実行のために、（非限定的な例として、磁気ディスク、光ディスク、ハードドライブなどのような）一時的ではない有体のコンピュータ可読媒体において実施されてもよい。本明細書において記述されているように、図１に示されている装置１０４、１０６、１１０、及び１１２は、専用の回路を使用することにより、且つ／又は、コントローラ１０４に結合されたコンピュータ可読媒体１０８内に収容されたソフトウェアを使用することにより、特定の動作を実行してもよい。ソフトウェア命令は、コントローラ１０４及び／又は画像処理モジュール１０６に、本明細書において記述されている一つ又は複数のプロセスを実行させてもよい。或いは、この代わりに、配線によって接続された回路が、本明細書において記述されているプロセスを実装するべく、ソフトウェア命令の代わりに、或いは、これとの組合せにおいて、使用されてもよい。従って、本明細書において記述されている実装形態は、ハードウェア回路とソフトウェアのいずれかの特定の組合せに限定されるものではない。
【0117】
本発明は、本明細書においては、特定の実施形態を参照して図示及び記述されているが、本発明は、図示の詳細に限定されることを意図したものではない。むしろ、請求項の均等物の範囲及び領域内において、且つ、本発明を逸脱することなしに、様々な変更が細部において実施されてもよい。
【図1】
【図2A】
【図2B】
【図2C】
【図3A】
【図3B】
【図3C】
【図4】
【図5A】
【図5B】
【図5C】
【図5D】
【図6A】
【図6B】
【図6C】
【図6D】
【図7A】
【図7B】
【図8】
【図9A】
【図9B】
【図9C】
【図9D】
【図9E】
【図10A】
【図10B】
【図10C】
【図10D】
【図10E】
【図10F】
【図10G】
【図11】
【図11A】
【図11B】
【図11C】
【図11D】
【図12】
【図13A】
【図13B】
【図14A】
【図14B】
【図14C】
【図14D】
【図14E】
【図14F】
【図14G】
【図14H】
【図14I】
【図14J】
【図14K】
【図14L】
【図14M】
【図14N】
【図14O】