特許 6571779 立体画像化

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6571779

(24)【登録日】2019年8月16日

(45)【発行日】2019年9月4日

(54)【発明の名称】立体画像化

(51)【国際特許分類】

   H04N 13/271 20180101AFI20190826BHJP

   H04N 13/239 20180101ALI20190826BHJP

   H04N 5/225 20060101ALI20190826BHJP

   H04N 5/232 20060101ALI20190826BHJP

   H04N 5/341 20110101ALI20190826BHJP

   G03B 35/08 20060101ALI20190826BHJP

【ＦＩ】

   H04N13/271

   H04N13/239

   H04N5/225 300

   H04N5/225 800

   H04N5/232 290

   H04N5/341

   G03B35/08

【請求項の数】20

【全頁数】24

(21)【出願番号】特願2017-534812(P2017-534812)

(86)(22)【出願日】2015年12月8日

(65)【公表番号】特表2018-517310(P2018-517310A)

(43)【公表日】2018年6月28日

(86)【国際出願番号】FI2015050860

(87)【国際公開番号】WO2016107964

(87)【国際公開日】20160707

【審査請求日】2017年8月25日

(31)【優先権主張番号】6836/CHE/2014

(32)【優先日】2014年12月31日

(33)【優先権主張国】IN

(73)【特許権者】

【識別番号】515076873

【氏名又は名称】ノキア テクノロジーズ オサケユイチア

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100092624

【弁理士】

【氏名又は名称】鶴田 準一

(74)【代理人】

【識別番号】100141162

【弁理士】

【氏名又は名称】森 啓

(74)【代理人】

【識別番号】100141254

【弁理士】

【氏名又は名称】榎原 正巳

(72)【発明者】

【氏名】サウミク ウキル

(72)【発明者】

【氏名】クリシュナ アンナサガー ゴビンダラオ

(72)【発明者】

【氏名】グルラジ ゴパル プトラヤ

【審査官】 秦野 孝一郎

(56)【参考文献】

【文献】 特開２００８−４０１１５（ＪＰ，Ａ）

【文献】 特開平８−２０５２００（ＪＰ，Ａ）

【文献】 特表２００８−５０３１２１（ＪＰ，Ａ）

【文献】 特開２００５−９９２６５（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １３／００ −１３／３９８

Ｈ０４Ｎ ５／２２２− ５／２５７

Ｇ０３Ｂ ３５／００ −３７／０６

(57)【特許請求の範囲】

【請求項1】

画像データを捕捉するための立体画像捕捉手段を容易にするステップであって、前記立体画像捕捉手段が、第１レンズを介して光を受光するように構成された第１画像センサーを備えた第１画像化サブシステムと、第２レンズを介して光を受光するように構成された第２画像センサーを備えた第２画像化サブシステムとを備え、前記第１および第２画像化サブシステムは、前記第１および第２レンズの光学軸が
互いに平行であるように構成されている、ステップと、
前記第１および第２画像センサーのそれぞれの感光性領域から画素値を読み取るステップであって、前記第１画像センサーの上の第１読み出し領域から第１画像についての画素値を読み取ることと、前記第２画像センサーの上で第２読み出し領域から第２画像についての画素値を読み取ることと、前記第１および第２画像センサーのうちの少なくとも１つの上のそれぞれの読み出し領域に隣接する前記感光性領域の少なくとも一部分から、サポート・データについての画素値を読み取ることと、を含む、ステップと、
前記第１画像、前記第２画像および前記サポート・データについて読み取られた前記画素値に基づいて前記第１および第２画像に関係する視差情報を導出するステップと、
を含む方法であって、
サポ−ト・データについての画素値を読み取るステップは、前記第１読み出し領域と、前記第２レンズの光学軸から最も遠い前記第１画像センサーの側の第１画像センサーの前記感光性領域の境界との間にある未使用領域から画素値を読み取るステップを含む、
方法。

【請求項2】

前記第１および第２読み出し領域は、同一のサイズおよび縦横比を有する矩形の読み出し領域である、請求項１に記載の方法。

【請求項3】

前記第１および第２読み出し領域の各々は、異なる縦横比を有する少なくとも２つの所定の矩形読み出し領域のうちの予め選択された１つである、請求項２に記載の方法。

【請求項4】

異なる縦横比を有する前記少なくとも２つの所定の矩形読み出し領域は、４：３の前記縦横比を有する第１所定の読み出し領域と、１６：９の前記縦横比を有する第２所定の読み出し領域とを含む、請求項３に記載の方法。

【請求項5】

前記第１および第２画像化サブシステムは、レンズおよび画像センサーの同一の構成を備える、請求項１ないし４のいずれか１項に記載の方法。

【請求項6】

前記第２画像化サブシステムによって可能にされる視野（ＦＯＶ）は、少なくとも１つの次元で、前記第１画像化サブシステムにより可能にされるＦＯＶを完全に包含する、請求項１ないし４のいずれか１項に記載の方法。

【請求項7】

前記第２画像センサーの前記感光性領域は、前記第２画像センサーの前記感光性領域の上に投影される画像コンテンツが、前記少なくとも１つの次元において、前記第１画像センサーの前記感光性領域の上に投影される画像コンテンツを完全に包み込むように、前記少なくとも１つの次元で前記第１画像センサーの前記感光性領域よりも大きい、請求項６に記載の方法。

【請求項8】

前記少なくとも１つの次元における前記第１画像センサーの前記感光性領域のサイズとの関係において、前記少なくとも１つの次元における前記第２画像センサーの前記感光性領域のサイズは、少なくとも、

【数1】

を用いて導出される最小サイズであり、
ここで、
ｄ₁は前記第１画像センサーの前記感光性領域のサイズを表し、
Ｂは前記第１および第２レンズの前記光学軸の間の距離を表し、
ｆ₁は前記第１レンズの焦点距離を表し、
ｆ₂は前記第２レンズの焦点距離を表し、
ｖは、前記第１レンズと前記第１および第２画像内で描かれるべき現実世界の物体との間の想定された距離を表し、
ｄ₂は前記最小サイズを表す、
請求項６に記載の方法。

【請求項9】

サポ−ト・データについての画素値を読み取るステップは、前記第２読み出し領域と、前記第１レンズの光学軸から最も遠い前記第２画像センサーの側の第２画像センサーの前記感光性領域の境界との間にある未使用領域から画素値を読み取るステップを含む、請求項１に記載の方法。

【請求項10】

画像データを捕捉するための立体画像捕捉手段を容易にするコードであって、前記立体画像捕捉手段が、第１レンズを介して光を受光するように構成された第１画像センサーを備えた第１画像化サブシステムと、第２レンズを介して光を受光するように構成された第２画像センサーを備えた第２画像化サブシステムとを備え、前記第１および第２画像化サブシステムは、前記第１および第２レンズの光学軸が
互いに平行であるように構成されている、コードと、
前記第１および第２画像センサーのそれぞれの感光性領域から画素値を読み取るコードであって、前記第１画像センサーの上の第１読み出し領域から第１画像についての画素値を読み取るコードと、
前記第２画像センサーの上で第２読み出し領域から第２画像についての画素値を読み取るコードと、
前記第１および第２画像センサーのうちの少なくとも１つの上のそれぞれの読み出し領域に隣接する前記感光性領域の少なくとも一部分から、サポート・データについての画素値を読み取るコードと、を含む、コードと、
前記第１画像、前記第２画像および前記サポート・データについて読み取られた前記画素値に基づいて前記第１および第２画像に関係する視差情報を導出するコードと、
を備えるコンピュータ・プログラムであって、
サポ−ト・データについての画素値を読み取るステップは、前記第１読み出し領域と、前記第２レンズの光学軸から最も遠い前記第１画像センサーの側の第１画像センサーの前記感光性領域の境界との間にある未使用領域から画素値を読み取るステップを含む、
コンピュータ・プログラム。

【請求項11】

少なくとも１つのプロセッサと、命令プログラムを記憶するメモリと、を含む装置であって、
前記命令プログラムを記憶する前記メモリは、前記少なくとも１つのプロセッサを用いて、該装置に、少なくとも、
画像データを捕捉するための立体画像捕捉手段を容易にさせ、ここで、前記立体画像捕捉手段は、第１レンズを介して光を受光するように構成された第１画像センサーを備えた第１画像化サブシステムと、第２レンズを介して光を受光するように構成された第２画像センサーを備えた第２画像化サブシステムとを備え、
前記第１および第２画像化サブシステムは、前記第１および第２レンズの光学軸が
互いに平行であるように構成されており、
前記第１および第２画像センサーのそれぞれの感光性領域から画素値を読み取らせ、ここで、該読み取らせることは、前記第１画像センサーの上の第１読み出し領域から第１画像についての画素値を読み取り、前記第２画像センサーの上で第２読み出し領域から第２画像についての画素値を読み取らせることと、前記第１および第２画像センサーのうちの少なくとも１つの上のそれぞれの読み出し領域に隣接する前記感光性領域の少なくとも一部分から、サポート・データについての画素値を読み取らせることとを含み、
前記第１画像、前記第２画像および前記サポート・データについて読み取られた前記画素値に基づいて前記第１および第２画像に関係する視差情報を導出させるように構成される、装置であって、
サポ−ト・データについての画素値を読み取るステップは、前記第１読み出し領域と、前記第２レンズの光学軸から最も遠い前記第１画像センサーの側の第１画像センサーの前記感光性領域の境界との間にある未使用領域から画素値を読み取るステップを含む、
装置。

【請求項12】

前記第１および第２読み出し領域は、同一のサイズおよび縦横比を有する矩形の読み出し領域である、請求項１１に記載の装置。

【請求項13】

前記第１および第２読み出し領域の各々は、異なる縦横比を有する少なくとも２つの所定の矩形読み出し領域のうちの予め選択されたものである、請求項１２に記載の装置。

【請求項14】

異なる縦横比を有する前記少なくとも２つの所定の矩形読み出し領域は、４：３の前記縦横比を有する第１所定の読み出し領域と１６：９の前記縦横比を有する第２所定の読み出し領域とを含む、請求項１３に記載の装置。

【請求項15】

前記第１および第２画像化サブシステムは、レンズおよび画像センサーの同一の構成を備える、請求項１１ないし１４のいずれか１項に記載の装置。

【請求項16】

前記第２画像化サブシステムによって可能にされる視野（ＦＯＶ）は、少なくとも１つの次元において、前記第１画像化サブシステムにより可能にされるＦＯＶを完全に包含する、請求項１１ないし１４のいずれか１項に記載の装置。

【請求項17】

前記第２画像センサーの前記感光性領域は、前記第２画像センサーの前記感光性領域の上に投影される画像コンテンツが前記少なくとも１つの次元において、前記第１画像センサーの前記感光性領域の上に投影される画像コンテンツを完全に包含するように、前記少なくとも１つの次元において前記第１画像センサーの前記感光性領域よりも大きい、請求項１６に記載の装置。

【請求項18】

前記少なくとも１つの次元において、前記第１画像センサーの前記感光性領域のサイズとの関係における前記少なくとも１つの次元において、前記第２画像センサーの前記感光性領域のサイズは、少なくとも、

【数2】

を用いて導出される最小サイズであり、
ここで、
ｄ₁は前記第１画像センサーの前記感光性領域のサイズを表し、
Ｂは前記第１レンズおよび前記第２レンズの前記光学軸の間の距離を表し、
ｆ₁は前記第１レンズの焦点距離を表し、
ｆ₂は前記第２レンズの焦点距離を表し、
ｖは前記第１レンズと前記第１および第２画像内で描かれるべき現実世界の物体との間の想定された距離を表し、
ｄ₂は前記最小サイズを表す、
請求項１６に記載の装置。

【請求項19】

前記装置は、前記第２レンズの光学軸から最も遠い前記第１画像センサーの側の第１画像センサーの前記第１読み出し領域と前記感光性領域の境界との間にある未使用領域からサポ−ト・データについての画素値を読み取るように構成されている、請求項１１ないし１８のいずれか１項に記載の装置。

【請求項20】

前記装置は、前記第１レンズの光学軸から最も遠い前記第２画像センサーの側の前記第２画像センサーの前記第２読み出し領域と前記感光性領域の境界との間にある未使用領域からサポ−ト・データについての画素値を読み取るように構成される、請求項１９に記載の装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施例および非限定的実施形態は、立体画像のためのデジタル画像データの捕捉に関する。

【背景技術】

【0002】

立体カメラを用いたデジタル画像化は、同じシーンを描く２つ以上の画像に基づいて導出可能な深度情報に部分的に基づいて３次元（３Ｄ）画像を捕捉および／または生成することを可能にする。実生活のデジタル立体カメラにおいては、人間の視覚をモデリングするように構成された２つ以上の画像センサーが、１つのシーンのそれぞれのデジタル画像を捕捉するために使用される。しかしながら、実用的制約のため、立体カメラの２つの画像センサーにより捕捉される画像の視野（ＦＯＶ）は正確に同じではない。その結果、第１の画像センサーを用いて捕捉された第１の画像の画像コンテンツの一部は、第２の画像センサーを用いて捕捉された第２の画像の画像コンテンツの中に含まれない。この点に関する典型的な例において、第１および第２の画像センサー（それぞれのレンズ・アセンブリを伴う）は、人間の目の間の距離に対応する距離だけ離されて、互いに隣接して配置されている。画像化すべきシーンとの関係における２つの画像センサーの異なる位置に起因して、第１の画像の最左部分内の画像コンテンツの一部は、第２の画像内に含まれず、一方、第２の画像の最右部分内の画像コンテンツの一部は、第１の画像内に含まれない。

【0003】

シーンを表現するデジタル３Ｄ画像を生成するのに必要とされる深度情報は、そのシーンを描く２つ以上の画像に基づいて抽出可能な視差情報に基づいて導出することができる。しかしながら、上述の第１および第２の画像センサーの例においては、第１および第２の画像の一方のみにおいて描かれるシーン部分についての視差情報を導出する可能性は全く存在せず、したがって、これらの画像部分についての結果として得られる深度情報は、不正確であるかまたは完全に欠如しており、そのため場合によっては、画質が劣化した３Ｄ画像がもたらされることになる。

【発明の概要】

【0004】

一例示的実施形態によると、画像データを捕捉するための立体画像捕捉手段であって、第１のレンズを介して光を受光するように構成された第１の画像センサーを備えた第１の画像化サブシステムと、第２のレンズを介して光を受光するように構成された第２の画像センサーを備えた第２の画像化サブシステムとを備え、前記第１および第２の画像化サブシステムは、前記第１および第２のレンズの光学軸が互いに平行になるように構成されている、立体画像捕捉手段と、前記第１および第２の画像センサーのそれぞれの感光性領域から画素値を読み取るための画像獲得手段であって、第１の画像センサー上の第１の読み出し領域から第１の画像についての画素値を読み取り、第２の画像センサー上で第２の読み出し領域から第２の画像についての画素値を読み取り、第１および第２の画像センサーのうちの少なくとも１つの上のそれぞれの読み出し領域に隣接する感光性領域の少なくとも一部分から、サポート・データについての画素値を読み取るように構成されている画像獲得手段と、第１の画像、第２の画像および前記サポート・データについて読み取られた前記画素値に基づいて前記第１および第２の画像に関係する視差情報を導出するための画像処理手段と；を備えた、装置が提供されている。

【0005】

別の例示的実施形態によると、画像データを捕捉するための立体画像捕捉手段を容易にするステップであって、前記立体画像捕捉手段が、第１のレンズを介して光を受光するように構成された第１の画像センサーを備えた第１の画像化サブシステムと、第２のレンズを介して光を受光するように構成された第２の画像センサーを備えた第２の画像化サブシステムとを備え、前記第１および第２の画像化サブシステムは、前記第１および第２のレンズの光学軸が互いに平行になるように構成されている、ステップと、前記第１および第２の画像センサーのそれぞれの感光性領域から画素値を読み取るステップであって、第１の画像センサー上の第１の読み出し領域から第１の画像についての画素値を読み取ることと、第２の画像センサー上で第２の読み出し領域から第２の画像についての画素値を読み取ることと、第１および第２の画像センサーのうちの少なくとも１つの上のそれぞれの読み出し領域に隣接する感光性領域の少なくとも一部分から、サポート・データについての画素値を読み取ること、を含むステップと、第１の画像、第２の画像および前記サポート・データについて読み取られた前記画素値に基づいて前記第１および第２の画像に関係する視差情報を導出するステップと、を含む方法が提供されている。

【0006】

別の例示的実施形態によると、画像データを捕捉するためのデジタル画像化システムであって、第１のレンズを介して光を受光するように構成された第１の画像センサーを備えた第１の画像化サブシステムと、第２のレンズを介して光を受光するように構成された第２の画像センサーを備えた第２の画像化サブシステムとを備え、前記第１および第２の画像化サブシステムは、前記第１および第２のレンズの光学軸が互いに平行になるように構成されている、デジタル画像化システムと、前記画像処理手段の動作を制御するためのコントローラと、を含む装置が提供されている。該コントローラは、第１の画像センサー上の第１の読み出し領域から第１の画像についての画素値を読み取り、第２の画像センサー上で第２の読み出し領域から第２の画像についての画素値を読み取ることと、第１および第２の画像センサーのうちの少なくとも１つの上のそれぞれの読み出し領域に隣接する感光性領域の少なくとも一部分から、サポート・データについての画素値を読み取ることと、を含む前記第１および第２の画像センサーのそれぞれの感光性領域から画素値を読み取るように、および第１の画像、第２の画像および前記サポート・データについて読み取られた前記画素値に基づいて前記第１および第２の画像に関係する視差情報を導出するように、構成されている。

【0007】

別の例示的実施形態によると、少なくとも１つのプロセッサと、命令プログラムを記憶するメモリと、を含む装置において、命令プログラムを記憶するメモリは、少なくとも、１つのプロセッサを用いて、少なくとも、画像データを捕捉するための立体画像捕捉手段を容易にするステップであって、前記立体画像捕捉手段が、第１のレンズを介して光を受光するように構成された第１の画像センサーを備えた第１の画像化サブシステムと、第２のレンズを介して光を受光するように構成された第２の画像センサーを備えた第２の画像化サブシステムとを備え、前記第１および第２の画像化サブシステムは、前記第１および第２のレンズの光学軸が互いに平行になるように構成されている、ステップと、前記第１および第２の画像センサーのそれぞれの感光性領域から画素値を読み取るステップであって、第１の画像センサー上の第１の読み出し領域から第１の画像についての画素値を読み取り、第２の画像センサー上で第２の読み出し領域から第２の画像についての画素値を読み取ることと、第１および第２の画像センサーのうちの少なくとも１つの上のそれぞれの読み出し領域に隣接する感光性領域の少なくとも一部分から、サポート・データについての画素値を読み取ること、を含むステップと、第１の画像、第２の画像および前記サポート・データについて読み取られた前記画素値に基づいて前記第１および第２の画像に関係する視差情報を導出するステップと、を行うために装置を構成するように構成されている、装置が提供されている。

【0008】

別の例示的実施形態によると、コンピュータ可読プログラム・コードを含むコンピュータ・プログラムにおいて、前記プログラム・コードが計算装置上で実行された場合に、画像データを捕捉するための立体画像捕捉手段を容易にするステップであって、前記立体画像捕捉手段が、第１のレンズを介して光を受光するように構成された第１の画像センサーを備えた第１の画像化サブシステムと、第２のレンズを介して光を受光するように構成された第２の画像センサーを備えた第２の画像化サブシステムとを備え、前記第１および第２の画像化サブシステムは、前記第１および第２のレンズの光学軸が互いに平行になるように構成されている、ステップと、前記第１および第２の画像センサーのそれぞれの感光性領域から画素値を読み取るステップであって、第１の画像センサー上の第１の読み出し領域から第１の画像についての画素値を読み取ることと、第２の画像センサー上で第２の読み出し領域から第２の画像についての画素値を読み取ることと、第１および第２の画像センサーのうちの少なくとも１つの上のそれぞれの読み出し領域に隣接する感光性領域の少なくとも一部分から、サポート・データについての画素値を読み取ること、を含むステップと、第１の画像、第２の画像および前記サポート・データについて読み取られた前記画素値に基づいて前記第１および第２の画像に関係する視差情報を導出するステップと、を行わせるように構成された、コンピュータ・プログラム含む方法が提供されている。

【0009】

以上で言及されたコンピュータ・プログラムは、例えば、上にプログラム・コードが記憶された少なくとも１つのコンピュータ可読非一時的媒体を含むコンピュータ・プログラム・プロダクトとして、揮発性または不揮発性コンピュータ可読記録媒体上に具体化されることができ、このプログラムは、装置により実行された場合、該装置に少なくとも、本発明の例示的実施形態に係るコンピュータ・プログラムについて以上に記載の動作を行わせる。

【0010】

本特許出願において提示されている本発明の実施形態は、添付されたクレームの適用可能性に対する限定を加えるものとして解釈されるべきものではない。「ｔｏ ｃｏｍｐｒｉｓｅ（を備える、含む）」なる動詞およびその派生語は、本特許出願において、列挙されていない特徴の存在も除外しない開放的限定として使用されている。以下で説明する特徴は、明示的に別段の定めをした場合を除き、相互に自由に組合せ可能である。

【0011】

本発明のいくつかの特徴が、添付クレーム中で提示されている。しかしながら、本発明の実施形態は、その構成およびその動作方法の両方に関して、その追加の目的および利点と共に、添付図面と関連付けて読んだ場合にいくつかの例示的実施形態の以下の説明から最も良く理解されるものである。

【0012】

本発明の実施形態は、添付図面の図中に、限定としてではなく一例として示されている。

【図面の簡単な説明】

【0013】

【図1】一例示的実施形態に係る画像化システムのいくつかの構成要素を概略的に例示する。

【図2】一例示的実施形態に係る画像センサーの露光領域の使用を概略的に例示する。

【図3】一例示的実施形態に係る画像センサーの露光領域の使用を概略的に例示する。

【図4】一例示的実施形態に係る電子デバイスを概略的に例示する。

【図5】一例示的実施形態に係る画像センサーの露光領域の使用を概略的に例示する。

【図6】一例示的実施形態に係る画像化システムのいくつかの構成要素を概略的に例示する。

【図7】一例示的実施形態に係る方法を例示する。

【発明を実施するための形態】

【0014】

図１は、デジタル立体画像化用の画像データを捕捉するための例証用デジタル画像化システム１００のいくつかの構成要素を概略的に例示する。画像化システム１００は同様に、立体画像化手段または立体画像捕捉手段としても言及されている。図１は、第１のレンズ１０１、第２のレンズ１０２、第１の画像センサー１０３および第２の画像センサー１０４を伴う画像化システム１００を示す。第１のレンズ１０１および第２のレンズ１０３は、その光学軸が互いから距離Ｂを置いて平行となるように、互いとの関係において構成されている。距離Ｂは、それが人間の目の間の距離（眼球内距離として知られる）を近似するように選択されることができ、あるいは、距離Ｂは、立体システムの深度分解能要件に基づいて選択されることができる。画像化システム１００は、固定値（例えば平均眼球内距離または所要深度分解能に対応するもの）に設定された距離Ｂを伴う固定された構造を応用でき、または画像化システム１００は、所望される眼球内距離と整合するようにまたは所要深度分解能を提供するように距離Ｂが調整可能である構造を利用することができる。

【0015】

いくつかの実施形態において、画像捕捉手段の例は、画像／シーンの深度情報を得るために画像／シーンも捕捉する目的で互いに並置された２つのカメラを有するデバイスを含むことができる。例えば、デュアル・カメラ、アレイ・カメラなどである。

【0016】

第１の画像センサー１０３は、第１の画像センサー１０３の露光を制御するために使用されるシャッターが開放されたときに光が感光性領域上に落ちることができるように、画像データの捕捉のための感光性領域が備わった第１の画像センサー１０３の表面が第１のレンズ１０１の光学軸に対して垂直になるような形で、第１のレンズ１０１から距離ｕ₁のところに配置される。類似のラインに沿って、第２の画像センサー１０４は、第２の画像センサー１０３の露光を制御するために使用されるシャッターが開放されたときに光が感光性領域上に落ちることができるように、感光性領域が備わった第２の画像センサー１０４の表面が第２のレンズ１０２の光学軸に対して垂直になるような形で、第２のレンズ１０２から距離ｕ₂のところに配置される。類似のラインに沿って、第２の画像センサー１０４は、距離ｕ₂は、典型的に距離ｕ₁と同じかまたは実質的に同じであるが、必ずしもそうであるわけではない。

【0017】

図１の図は、第１のレンズ１０１と第２のレンズ１０２の光学軸の一平面を表現しているとみなすことができる。第１のレンズ１０１および第２のレンズ１０２は各々、（説明の簡潔さおよび編集上の明確さを期して）単レンズとして言及されているが、第１のレンズ１０１および第２のレンズ１０２は各々、光学軸が空間的に一致するように構成された１つ以上のレンズを含むそれぞれのレンズ・アセンブリを備えることができる。

【0018】

第１のレンズ１０１および第１の画像センサー１０３の構成は、第１の画像化サブシステムの一部を構成するものとみなすことができ、一方、第２のレンズ１０２および第２の画像センサー１０４の構成は、第２の画像化サブシステムの一部を構成するものとみなすことができる。換言すると、第１の画像化サブシステムは第１のレンズ１０１および第１の画像センサー１０３を備え、第２の画像化サブシステムは、第２のレンズ１０２および第２の画像センサー１０４を備えている。第１および第２の画像化サブシステムは各々、図１の概略的図中に描かれていない構成要素の追加部分を備えることができる。

【0019】

一例として、第１および第２の画像化サブシステムの各々は、それぞれの専用デジタル画像化モジュール（カメラ・モジュール）として提供されることができる。別の例として、第１および第２の画像化サブシステムを、単一のデジタル立体画像化モジュール（カメラ・モジュール）の形で一緒に提供することができる。デジタル画像化モジュールまたは単一のデジタル立体画像化モジュールは各々、コントローラ（例えばマイクロプロセッサ、マイクロコントローラなど）の制御下で動作させられる。

【0020】

第１および第２の画像化サブシステムは、例えば、２つの画像化システムのレンズ、画像センサーおよび他の構成要素が同一のまたは実質的に同一の特性を有し、それらがそれぞれの画像化サブシステム内で同一のまたは実質的に同一の要領で（空間的に）構成されるように、同一の画像化サブシステムとして提供されることができる。この点に関する一例として、図１の実施例は、第１のレンズ１０１が第２のレンズ１０２と同一であり、第１の画像センサー１０３が第２の画像センサー１０４と同一であり、距離Ｕ₁が距離Ｕ₂と同一である同一の第１および第２の画像化サブシステムを描いている。

【0021】

代替的には、画像化システム１００において、同一でない画像化サブシステムを適用することができる。このようなシナリオにおいて、画像化サブシステムは、例えば、レンズ１０１、１０２の光学特性に関して、画像センサー１０３、１０４のサイズに関して、および／または距離ｕ₁およびｕ₂に関して（および／またはレンズ１０１、１０２およびそれぞれの画像センサー１０３、１０４の他の態様の相対的（空間的）構成に関して）、異なる特徴を示すことができる。同一でない第１および第２の画像化サブシステムの利用が関与する一例示的実施形態について、本明細書の以下の部分で説明する。

【0022】

画像センサー１０３、１０４のレンズに面した表面上の感光性領域は、感光性要素のアレイとして提供されることができる。感光性要素のアレイは、当該技術分野で知られている任意の好適な技術を用いて提供可能である。この点に関して例として、電荷結合素子（ＣＣＤ）または活性画素センサー（ＡＰＳ）を応用することができる。感光性要素アレイは、それぞれのレンズ１０１、１０２を介して画像センサー１０３、１０４の感光性領域上に投影された画像を表す画素アレイを標示する信号を出力するように構成されている。感光性要素のアレイは、以下では露光領域として言及される。画像センサー１０３、１０４の露光領域の中心点は、典型的に、レンズ１０１、１０２の光学軸がそれぞれの画像センサー１０３、１０４と交差する点にその中心を有する。露光領域は典型的に、ただし必然的にではなく、矩形の領域である。第１の画像センサー１０３上の露光領域は、幅２^*ｗ₁および高さ２^*ｈ₁を有するものとみなすことができ、第２の画像センサー１０４上の露光領域は、幅２^*ｗ₂および高さ２^*ｈ₂を有するものとみなすことができる。露光領域内の感光性要素アレイは、必然的にではないものの典型的に、感光性要素の行および列の形で構成されている。画像センサー１０３、１０４は、画像センサー１０３、１０４上に投影される画像を表す信号を読み取ることのできる処理要素に対して電気的に結合される。画像センサー１０３、１０４から読み取られた信号は、それぞれの画像センサー１０３、１０４の露光領域の感光性要素の各々についてそれぞれの画素値を提供することができ、露光領域から得られた（例えば読み取られた）画素値のアレイが出力画像を構成する。

【0023】

図２は、画像円と露光領域の関係の例を概略的に示す。画像円は、それぞれの画像センサー１０３、１０４のレンズに面する表面上に投影された通りのレンズ１０１、１０２を透過した光錐の横断面を表す。図２の図（ａ）は、画像円１１１により取り囲まれた露光領域１１２を描いている。画像円１１１と同心の露光領域１１２は、この実施例においては４：３の縦横比を表す幅２^*ｗ_iおよび高さ２^*ｈ_iを有する。図２の図（ｂ）は、画像円１１１により取り囲まれこの画像円と同心である露光領域１１３を描いている。矩形の露光領域１１３は、１６：９の縦横比を表す幅２^*ｗ_jおよび高さ２^*ｈ_jを有する。露光領域１１２および１１３の次元および／または縦横比は、第１および／または第２の画像センサー１０３、１０４の露光領域のために適用することのできる例として役立つ。図２の実施例において、露光領域１１２、１１３は各々、全体として、それぞれの読み出し領域として、すなわちそれぞれの出力画像についての画素値が読み取られる露光領域の一部分として応用可能である。読み出し領域を、クロップ領域（ｃｒｏｐ ａｒｅａ、ａｒｅａ ｏｆ ｃｒｏｐ）と呼ぶこともできる。

【0024】

図３は、露光領域１１４が画像円１１１により完全に取り囲まれていないアプローチの一実施例を概略的に例示する。このアプローチでは、各々が画像円１１１により完全に取り囲まれ画像円１１１と同心である多数の所定の読み出し領域のうちの選択された１つの読み出し領域を、出力画像についての画素値の獲得のために適用することができる。図３の実施例では、読み出し領域の２つの例、すなわち４：３の縦横比を有する出力画像についての画素値を読み取るために利用することのできる第１の読み出し領域１２２および１６：９の縦横比を有する出力画像についての画素値を読み取るために利用することのできる第２の読み出し領域１２３が、画像円１１１の内側に描かれている。描かれている実施例の読み出し領域１２２および１２３を使用する代りに、イメージング・サークル１１１の内側の追加のおよび／または異なる読み出し領域を適用することができる。

【0025】

図３を見ればわかるように、読み出し領域のための描かれた選択肢は各々、露光領域１１４の一部分を未使用状態に残す。すなわち読み出し領域１２２を使用する場合、読み出し領域１２２の左側および右側にある露光領域１１４のそれぞれの部分は、出力画像についての画素値を読み取るために使用されず、一方、読み取り領域１２３を使用する場合には、読み出し領域１２３の上下の露光領域１１４のそれぞれの部分は出力画像についての画素値を読み取るために使用されない。それでも、露光領域のこれらの未使用部分は、画像円１１１の内側にあり、したがって、それぞれのシャッターが開放しているとき、それぞれのレンズ１０１、１０２を介して光を受光する。一部の例示的実施形態においては、本明細書中でさらに詳細に後述されるように、出力画像の後続する処理のためのサポート・データとして、露光領域の１つ以上の未使用部分を応用することができる。

【0026】

第１のレンズ１０１および第２のレンズ１０２は好ましくは、第１の画像センサー１０３および第２の画像センサー１０４のうちのそれぞれ一方の露光領域上に空間的に歪みのない画像を投影できるようにするそれぞれのレクチリニアー・レンズを含む。着目次元を横断する画像化サブシステムの視野（ＦＯＶ）とも呼ばれるＡＯＶは、以下の等式を用いて計算可能である。

【数1】

【数2】

ここで、等式（１ａ）中、α₁は第１の画像化サブシステムについてのＡＯＶを意味し、ｄ₁は、着目する方向における第１の画像センサー１０３の露光領域の外縁部と第１のレンズ１０１の中心線との間の距離（例えば露光領域の半幅ｗ₁または半高さｈ₁のうちの一方）を意味し、一方、等式（１ｂ）中、α₂は第２の画像化サブシステムについてのＡＯＶを意味し、ｄ₂は、問題の方向における第２の画像センサー１０４の露光領域の外縁部と第２のレンズ１０２の中心線との間の距離（例えば露光領域の半幅ｗ₂または半高さｈ₂）を意味する。したがって、第１の画像センサーの露光領域の全体的次元は、２^*ｄ₁（例えば幅２^*ｗ₁または高さ２^*ｈ₁）であり、一方第２の画像センサー１０４の露光領域の全体的次元は、２^*ｄ₂（例えば幅２^*ｗ₂または高さ２^*ｈ₂）である。

【0027】

我々はさらに、第１のレンズ１０１の焦点距離をｆ₁で表し、第２のレンズ１０２の焦点距離をｆ₂で表すことができる。第１の画像化構成を用いて遠位の物体の鮮明な画像の獲得を保証するために、第１のレンズ１０１と第１の画像センサー１０３の表面との間の距離ｕ₁は、レンズと物体の間の距離をｖ₁として、そうでなければ１／ｆ₁＝１／ｕ₁＋１／ｖ₁というレンズの公式によって支配される無限遠における１つの物体についての第１のレンズ１０１の焦点距離ｆ₁に等しいものである必要がある。同様にして、第２の画像化構成を用いて遠位の物体の鮮明な画像を獲得するためには、第２のレンズ１０２と第２の画像センサー１０４の表面との間の距離ｕ₂は、そうでなければレンズの公式によって支配される無限遠における１つの物体についての第２のレンズ１０２の焦点距離ｆ₂に等しいものである必要がある。レンズ１０１、１０２から広い距離範囲内に存在し得る物体の鮮明な画像の獲得を可能にする目的で、距離ｕ₁およびｕ₂は、例えば画像鮮明度の微調整を可能にするように調整可能であることができる。典型的には、このような構成において、距離ｕ₁およびｕ₂は、１回の調整作業で距離ｕ₁および距離ｕ₂の両方がそれぞれのレンズ１０１、１０２の光学軸の方向で等しい量または実質的に等しい量だけ調整させられるように、一緒に調整可能である。

【0028】

図１に示されている実施例を再び参照すると、記号ｅ₁は、図１に描かれている平面に沿って第１のレンズ１０１の光学軸から点１０５までの距離を意味する。この距離は、第１のレンズ１０１の光学軸の方向で第１のレンズ１０１から距離ｖのところにある物体のための第１の画像化サブシステムのＡＯＶの外側限界を画定する。換言すると、第１のレンズ１０１の光学軸の方向でレンズ１０１から距離ｖのところで、物体は、図１に描かれている平面に沿って第１のレンズ１０１の光学軸からｅ₁より遠くない場合、ＡＯＶの内側にあり、したがって第１の画像センサー１０３の露光領域内に投影される。しかしながら、点１０５にある物体は、第２の画像センサー１０４の露光領域内で投影されず、したがって、第２の画像化サブシステムのＡＯＶの外側にある。

【0029】

一般性を失うことなく、画像化システム１００について水平の基線を仮定する場合（すなわち、画像化システム１００のデフォルトの使用の向きにおいて第１および第２の画像化サブシステムが並置されている構成について）、我々は、ｅ₁を、第１のレンズ１０１から距離ｖにおけるＡＯＶの半幅（例えば水平ＡＯＶの半分）に対応するものとみなすことができ、水平ＡＯＶは、次のようなものとして計算することができる：

【数3】

【0030】

同様に、垂直の基線については（すなわち、画像化システム１００のデフォルトの使用の向きにおいて第１および第２の画像化サブシステムが互いに上下に構成されている構成については）、我々は、ｅ₁を、第１のレンズ１０１から距離ｖにおけるＡＯＶの半高さ（例えば垂直ＡＯＶの半分）に対応するものと仮定することができ、垂直ＡＯＶは、等式（２）を用いて計算することができる。

【0031】

画像化システム１００は、デジタル・カメラ、カムコーダ、携帯電話、メディア・プレーヤー・デバイス、タブレット・コンピュータ、ラップトップ型コンピュータ、携帯情報端末（ＰＤＡ）、ポータブル・ナビゲーション・デバイス、ゲーミング・デバイスなどの電子デバイスの一部として利用されることができる。図４は、画像化システム１００をホストするために利用できる例示的電子デバイス２００のいくつかのコンポーネントを概略的に例示する。画像化システム１００に加えて、デバイス２００はさらに、プロセッサ２１６および、データおよびコンピュータ・プログラム・コードを記憶するためのメモリ２１５を含む。デバイス２００はさらに、ユーザーからの入力を受信しおよび／またはユーザーに対して出力を提供するためのデバイス２００のユーザー・インターフェースを提供するように、場合によってプロセッサ２１６およびコンピュータ・プログラム・コードの一部分と併せて構成されることができるユーザーＩ／Ｏ（入出力）コンポーネント２１８を備えている。プロセッサ２１６は、メモリ２１５内に記憶されたコンピュータ・プログラム・コードにしたがって、そして場合によってはさらにユーザー（Ｉ／Ｏ）コンポーネント２１８を介して受信されるユーザー入力にしたがって、デバイス２００の動作を制御するように構成されることができる。図４では、画像化システム１００とは別個のコンポーネントとして描かれているが、プロセッサ２１６およびＩ／Ｏコンポーネントは、部分的または全体として、画像化システム１００の一部として提供されることができる。

【0032】

メモリ２１５およびその中に記憶されたコンピュータ・プログラム・コードの一部分は、さらに、プロセッサ２１６と共に、画像化システム１００の動作の少なくともいくつかの態様を制御するための制御機能の１つ以上の態様を提供するように構成されることができる。この点に関する少数の例として、制御機能は、図４中にプロセッサ２１６内の論理エンティティとして描かれている、シャッター制御手段２２０、画像パラメータ制御手段２３０および画像処理手段２５０を提供することができる。

【0033】

いくつかの実施形態において、シャッター制御手段２２０は、画像センサーの露光を制御するためのデバイスおよび／またはソフトウェアであり得る。例えばレンズの前の機械的シャッター、またはセンサー画素に対する露光の持続時間を制御するためのソフトウェア・コードである。画像パラメータ手段２３０は、露光されたセンサー領域、読出しセンサー領域、焦点距離、開口サイズなどの、画像化システム全体のパラメータであり得る。いくつかの実施形態において、画像獲得手段２４０の例としては、画像画素としてセンサー内でシーン／画像強度を捕捉し、転送し、画像処理ユニットについての画素値を記憶するのを補助するために必要とされる追加の回路および／またはソフトウェアが含まれる。画像処理手段２５０の一例には、プロセッサが含まれるが、これに制限されない。

【0034】

いくつかの実施形態において、画像獲得手段２４０の例としては、相補型金属酸化膜半導体（ＣＭＯＳ）センサー、電荷結合素子（ＣＣＤ）センサー、量子薄膜センサー、または有機センサーが含まれる可能性がある。

【0035】

シャッター制御手段２２０は、シャッター速度制御手段を含むことができる。シャッター制御手段２２０のいくつかの例は、画像化構成１００の第１および第２の画像化サブシステムのための（シャッター速度とも呼ばれる）露光時間を選択するために、ソフトウェア内または機械的シャッター・デバイス内で露光持続時間を設定するために用いられるソフトウェア・モジュールを含む。露光時間の選択は、（周囲光の現在のレベルの測定などに基づいて）自動的に行うことができ、あるいは、デバイス２００のユーザー・インターフェースを介して受信されたユーザーの選択にしたがって行うこともできる。さらなる変形形態として、固定された既定の露光時間を適用することができる。

【0036】

それぞれの出力画像を捕捉した時点で両方の画像センサー１０３、１０４に対する同一のまたは実質的に同一の光透過を保証するため、両方の画像化サブシステムについて同じ露光値（ＥＶ）が選択されるように第１および第２の画像化サブシステムのための露光時間を合同で選択するように、シャッター速度制御手段を構成することができる。レンズ１０１および１０２が同じ焦点比を有する場合、露光時間の合同選択は、第１および第２の画像化サブシステムについて同じ露光時間を選択するステップを含むことができ、一方、異なる焦点比を有するレンズ１０１、１０２の場合には、合同選択は、それぞれの焦点比を考慮に入れて両方の画像化サブシステムのためのＥＶが同じであるかまたは実質的に同じになるように第１および第２の画像化サブシステムのために異なる露光時間を選択するステップを含むことができる。

【0037】

別の実施例として、第１および第２の画像化サブシステムのための露光時間を別個に独立して選択するように、シャッター速度制御手段を構成することができる。露光時間の選択は自動で行うことができ、またはデバイス２００のユーザー・インターフェースを介して受信したユーザー選択にしたがって行うこともできる。露光時間の別個の独立した選択は、第１および第２の画像化サブシステムのためのＥＶの個別調整の柔軟性を可能にするものの、このアプローチには同様に、それぞれの出力画像を捕捉した時点で第１の画像センサー１０３に対する光透過と第２の画像センサー１０４に対する光透過との間に好適なバランスが得られるような露光時間の選択を保証するためより多くの注意が必要とされる。

【0038】

シャッター制御手段２２０は、第１および第２の画像化サブシステムのシャッターを開放するためのシャッター駆動手段を含むことができる。それぞれの画像化サブシステムについて現在選択されている露光時間によって定義される期間中第１および第２の画像化サブシステムのシャッターを合同で開放させるようにシャッター駆動手段を構成することができる。シャッター駆動手段の一例としては、シャッターの始動および終了プロセスを起動するのに使用されるハードウェアを含む。シャッターの開放を、例えばデバイス２００のユーザー・インターフェースを介して受信されたユーザー指令によってトリガーすることができる。駆動制御手段は、第１および第２の画像センサー１０３、１０４が共にそれぞれのＡＯＶを用いて同じシーンのそれぞれの出力画像を捕捉するようにこれらのセンサーを露光させるように構成されている。この点に関して、第１および第２の画像化サブシステムのために同じまたは実質的に同じ露光時間が適用される場合、２つの画像化サブシステムのシャッターの開放および閉鎖の両方を同時にまたは実質的に同時に行うように、シャッター駆動手段を構成することができる。異なる露光時間が第１および第２の画像化サブシステムについて適用される場合、より短い露光時間での画像化サブシステムについてのシャッターの開放状態が完全に（一時的に）もう一方の画像化サブシステムのためのシャッターの開放状態と重複するように、シャッターの開閉を制御するように、シャッター駆動手段を構成することができる。この点における実施例として、第１および第２の画像化サブシステムのシャッターを同時にまたは実質的に同時に開放させるように、または、第１および第２の画像化サブシステムのシャッターを同時にまたは実質的に同時に閉鎖させるように、シャッター駆動手段を構成することができる。

【0039】

以下で説明される例示的実施形態によると、画像化システム１００の画像化サブシステムは、同一または実質的に同一である。このような構成においては、少なくとも２つの所定の利用可能な読み出し領域の中から、第１の画像センサー１０３のための第１の読み出し領域および第２の画像センサー１０４のための第２の読み出し領域を選択するように、画像パラメータ制御手段２３０を構成することができる。例えばデバイス２００のユーザー・インターフェースを介して受信されたユーザーの選択にしたがって選択を行うことができ、または、利用可能な読み出し領域のうちの既定の（例えば予め選択された）読み出し領域を利用することができる。選択のために利用可能である所定の読み出し領域は典型的に、ただし必然的にではなく、異なる縦横比の矩形の読み出し領域を含む。一例として、図３に関連して説明された読み出し領域１２２および１２３を、場合によっては１つ以上のさらなる読み出し領域と共に、選択のために利用することができる。画像獲得手段２３０は好ましくは、第１および第２の画像センサー１０３、１０４の両方のために、同一の読み出し領域を選択する。

【0040】

その結果、第１および第２の読み出し領域は、それぞれの画像センサー１０３、１０４の露光領域を完全にカバーしておらず、各々の画像センサー１０３、１０４上に、読み出し領域に隣接して、すなわちそれぞれの読み出し領域の輪郭と露光領域の輪郭の間に、１つ以上の未使用読み出し領域の部分が存在する。このことは、一例として図３に関連して説明されている露光領域１１４および読み出し領域１２２および１２３を使用することによって、図５の中で概略的に描かれている。

【0041】

図５では、図（ａ）は、読み出し領域１２２を利用した場合の露光領域１１４の未使用領域を標示している。すなわち、読み出し領域１２２の左縁と露光領域１１４の左縁の間に未使用領域１２２ａが存在し、読み出し領域１２２の右縁と露光領域１１４の右縁の間に別の未使用領域１２２ｂが存在する（換言すると、読み出し領域１２２については、読み出し領域１２２の両側に未使用領域が存在する）。図（ｂ）は、読み出し領域１２３を利用した場合の露光領域１１４の未使用領域を標示している。すなわち、読み出し領域１２３の上縁と露光領域１１４の上縁の間に未使用領域１２３ｃが存在し、読み出し領域１２３の下縁と露光領域１１４の下縁の間に別の未使用領域１２３ｄが存在する（換言すると、読み出し領域１２３については、読み出し領域１２３の上下に未使用領域が存在する）。

【0042】

画像獲得手段２４０は、第１の画像センサー１０３から第１の画像データを、第２の画像センサー１０４から第２の画像データを、それぞれの画像化サブシステムの露光時間の完了後直ちにまたは実質的に直ちに読み取るように構成される。この点に関して、第１の画像センサー１０３のための選択された第１の読み出し領域から第１の画像についての画素値を読み取り、第２の画像センサー１０４のために選択された第２の読み出し領域から第２の画像についての画素値を読み取るように、画像獲得手段２４０を構成することができる。第１および第２の画像についての読み取られた画素値を、１つ以上の出力画像の導出および提供のため、および／または例えば第１および第２の画像に関係する視差情報の導出のための得られた画像データのさらなる処理のために、メモリ２１５内に記憶することができる。

【0043】

画像獲得手段２４０はさらに、露光領域の少なくとも１つの未使用領域からサポ−ト・データを読み取るように構成され、この少なくとも１つの未使用領域は（第１の画像センサー１０３の露光領域上で）第１の読み出し領域に隣接し、および／または（第２の画像センサー１０４の露光領域上で）第２の読み出し領域に隣接している。この点に関して、第１の画像センサー１０３および／または第２の画像センサー１０４の露光領域の少なくとも１つのこのような未使用領域からサポ−ト・データについての画素値を読み取るように、画像獲得手段２５０を構成することができる。サポ−ト・データについての読み取られた画素値を、画像処理手段２５０によるさらなる使用のためにメモリ２１５内に記憶することができる。

【0044】

一実施例として、第２のレンズ１０２の光学軸から最も遠い第１の画像センサー１０３の側（例えば第２の画像センサー１０４から最も遠くにある第２の画像センサー１０４の側）で第１の画像センサー１０３の露光領域の境界と第１の読み出し領域との間にある未使用領域からサポ−ト・データについての画素値の第１のセットを読み取るように、画像獲得手段２４０を構成することができる。サポ−ト・データについての画素値の第１のセットは、改善された形で画像処理手段２５０内の視差情報の導出を容易にする目的で第１の画像の画素値を拡張させるために使用可能である。

【0045】

付加的にまたは代替的に、第１のレンズ１０１の光学軸から最も遠い第２の画像センサー１０４の側（例えば第１の画像センサー１０３から最も遠くにある第２の画像センサー１０４の側）で第２の画像センサー１０４の露光領域の境界と第２の読み出し領域との間にある未使用領域からサポ−ト・データについての画素値の第２のセットを読み取るように、画像獲得手段２４０を構成することができる。サポ−ト・データについての画素値の第２のセットは、さらに改善された形で画像処理手段２５０内の視差情報の導出を容易にする目的で第２の画像の画素値を拡張させるために使用可能である。

【0046】

図５（ａ）に戻って参照すると、第１および第２の画像センサー１０３、１０４のために読み出し領域１２２を使用する場合、第１の画素値セットは、未使用領域１２２ａからの画素値を含むことができ、第２の画素値セットは、未使用領域１２２ｂからの画素値を含むことができる（逆もまた同様）。未使用領域から読み取られた画素セットは、例えば、それぞれの未使用領域１２２ａ、１２２ｂ内に含まれる全ての画素または、それぞれの読み出し領域に最も近いそれぞれの未使用領域１２２ａ、１２２ｂ内の所定の数の画素列を含むことができる。このようなアプローチは、水平基線を利用するように構成された画像化システム１００を使用する場合に、特に有利であり得る。

【0047】

別の実施例として、図５（ｂ）を参照すると、第１および第２の画像センサー１０３、１０４のために読み出し領域１２３を使用する場合、第１の画素値セットは、未使用領域１２３ｃからの画素値を含むことができ、第２の画素値セットは、未使用領域１２３ｄからの画素値を含むことができる（逆もまた同様）。未使用領域から読み取られた画素セットは、例えば、それぞれの未使用領域１２３ｃ、１２３ｄ内に含まれた全ての画素または、それぞれの読み出し領域に最も近いそれぞれの未使用領域１２３ｃ、１２３ｄ内の所定の数の画素行を含むことができる。このようなアプローチは、垂直基線を利用するように構成された画像化システム１００を使用する場合に、特に有用であり得る。

【0048】

未使用領域１２２ａ、１２２ｂ、１２３ｃ、１２３ｄの一部分は、画像円１１１の外側に延びていることから、これらの部分は典型的に充分な量の光を受光する保証がなく、したがってこれらの部分から読み取られた画素値は無効である可能性があり、（例えば信号処理手段２５０による）後続する処理において無視される可能性がある。

【0049】

画像処理手段２５０は、第１の画像と第２の画像の間の視差情報を導出するように構成されることができる。この点に関して、第１の画像について読み取られた画素値、第２の画像について読み取られた画素値およびサポ−ト・データについて読み取られた画素値に基づいて第１および第２の画像に関係する視差情報を導出するように、画像処理手段２５０を構成することができる。

【0050】

デバイス２００の環境との関係における第１の画像化サブシステムおよび第２の画像化サブシステムの異なる位置に起因して、第１および第２の出力画像は、第１および第２の画像内で描写される撮影シーンのわずかに異なるビューを表す。詳細には、第１の出力画像内で描写されている撮影シーンに対するビューは、第２の出力画像内で描写されている撮影シーンの空間変位したバージョンであり（逆もまた同様）、ここで像平面内の空間変位の程度は、第１および第２の画像化サブシステムの特性、第１および第２のレンズ１０１、１０２の光学軸間の距離Ｂ、および描写された物体とレンズ１０１、１０２の平面との間の距離ｖに依存する。詳細には、レンズ１０１、１０２の平面から異なる距離にある物体は、像平面内の異なる空間変位を受け、これにより、捕捉されたシーンについての視差（ひいては深度）の計算が可能になる。画像および対応する深度のマップを考慮すると、あてはまる可能性のある一定数の後処理効果が存在し、例としては、ぼけ味（深度に応じたぼけによる人工的な浅い被写界深度）、前景分割／マット仕上げなどが含まれる。

【0051】

したがって空間変位に起因して、画像特徴は、第２の画像の場合に比べて第１の画像において、異なる位置（例えば画像の中心との関係において）に現われる。像平面内の空間変位の程度を説明するために、視差情報の導出には、第１および第２の画像の画素についての視差マップを導出するステップが関与することができる。一例として、視差マップの導出には、第１の画像の各画素について第２の画像の対応する画素、すなわち考慮中の第１の画像の画素と同じ実世界特徴を描く第２の画像の画素を発見することおよび、考慮中の第１の画像の画素についての視差標示としてこれらの画素の位置の差異を使用することが関与することができる。当該技術分野においては、視差情報を導出するためのさまざまな技術が知られている。一例として、第１の画像の下位領域内の画素についての視差標示の発見には、例えば、正規化相関を最大化するかまたは第１の画像内の下位領域内の画素値と第２の画像内の類似の下位領域内の画素値との間の（二乗または絶対）差の和を最小化する変位（画素数として）を発見することが関与することができる。

【0052】

しかしながら、空間変位に起因して、同一の形状およびサイズの読み出し領域の場合、第１の画像の第１の側（すなわち第２の画像センサー１０４に最も近い第１の画像センサー１０３の側に対応する側）の上の領域および、第１および第２の画像のうちのもう一方の画像内では全く描かれていない第２の画像の反対の側（すなわち第１の画像センサー１０３に最も近い第２の画像センサー１０４の側に対応する側の上）の別の領域が存在する。その結果として、第１の画像の画素値および第２の画像の画素値に基づいて導出される従来の視差マップは、第１および第２の画像のこれらの領域についての視差標示の計算を可能にしない。

【0053】

この欠点を相殺するため、画像処理手段２５０は、拡張された第１の画像を作成するためにサポ−ト・データについての第１の画素値セットで第１の画像の画素値を拡張させ、および／または拡張された第２の画像を作成するためにサポートについての第２の画素値セットで第２の画像の画素値を拡張させるように構成される。拡張された第１の画像が利用可能である場合、画像処理手段２５０は、視差情報の導出において第１の画像の代りに、拡張された第１の画像を使用するように構成される。同様に、拡張された第２に画像が利用可能である場合、画像処理手段２５０は、視差情報の導出において第２の画像の代りに、拡張された第２の画像を使用するように構成される。換言すると、画像処理手段２５０は、拡張された第１の画像および／または拡張された第２の画像に基づいて、例えば視差マップなどの視差情報の導出を実施し、こうして、第１および第２の画像のうちのもう一方の画像内には含まれていない画像コンテンツを描く第１および／または第２の画像の領域の少なくとも一部についての視差標示の計算を可能にするように構成される。

【0054】

第１の画像の拡張は、第２の画像内には描かれているものの第１の画像内には描かれていない画像コンテンツの少なくとも一部を取り囲むように、ＡＯＶを第１の画像のＡＯＶから拡大する。同様にして、第２の画像の拡張は、第１の画像内には描かれているものの第２の画像には描かれていない画像コンテンツの少なくとも一部を取り囲むように、ＡＯＶを第２の画像のＡＯＶから拡大する。拡張された第１の画像および／または拡張された第２の画像を視差情報の導出において使用することにより、第１および第２の画像の拡大された領域について正確な視差情報を導出することが可能になり、こうして、出力画像に比べて改善されたＦＯＶを有する深度マップが可能にされる（こうして、深度マップを使用する画像のあらゆる編集を、改善されたＦＯＶに適用することができる）。

【0055】

結果として、第１の画像、第２の画像および、拡張された第１の画像および／または拡張された第２の画像に基づいて導出された視差マップに基づいて３Ｄ画像（立体画像）を作成するように、画像処理手段２５０を構成することができる。拡張された第１の画像および／または拡張された第２の画像に基づいて導出された視差マップを使用することで、深度マップが出力画像ＦＯＶの一部についてしか利用可能でないと考えられている場合とは異なり、出力画像に比べて改善されたＦＯＶを有する深度マップの作成が可能となる。

【0056】

以上では、同一の画像化サブシステムを使用する例示的実施形態のさまざまな態様および変形形態が説明された。しかしながら、この説明は、画像化サブシステムが厳密に同一でないものの、第１および第２の画像センサー１０３、１０４上の露光領域がそれぞれの読み出し領域を超えて延びているが形状およびサイズが同一または実質的に同一でない可能性のあるシナリオへと一般化される。

【0057】

以下で説明される別の例示的実施形態では、第１および第２の画像化サブシステムは、第２の画像化サブシステムが少なくとも１つの次元において第１の画像化サブシステムのＡＯＶにより可能にされた画像コンテンツを完全に取り囲むことができる程度まで、前記少なくとも１つの次元で第１の画像化サブシステムのＡＯＶよりも第２の画像化サブシステムのＡＯＶが大きくなるように、同一でない可能性がある。水平基線については、この少なくとも１つの次元は、少なくとも水平次元を含み、一方垂直基線については、少なくとも１つの次元は少なくとも垂直次元を含む。

【0058】

この点における例として、図６は、図１の画像化システム１００の変形形態である例示的画像化システム１００’を概略的に例示する。画像化システム１００’は、第１および第２の画像化サブシステムが同一でないという点で画像化システム１００と異なる：第２の画像センサー１０４は、第１の画像センサー１０３よりも大きく（ｄ₂＞ｄ₁）、距離ｕ₂は距離ｕ₁よりも小さい。ｄ₁、ｄ₂、ｕ₁およびｕ₂を適切に選択することで、このようなアプローチは、第２の画像化サブシステムの画角（ＡＯＶ）が第１の画像化サブシステムのＡＯＶを完全にカバーすることができるようにする。図６に示されているように、画像化システム１００’においては、（第１の画像化サブシステムのＡＯＶの外側限界にある）点１０５にある物体が同様に第２の画像センサー１０４の露光領域上に投影され、したがって点１０５は第２の画像化サブシステムのＡＯＶ内にある。同じ最終目標には、例えば距離ｕ₁およびｕ₂を同一または実質的に同一に保ちながら第２の画像センサー１０４を第１の画像センサーより大きくすること（ｄ₂＞ｄ₁となるように）によってか、または画像センサー１０３、１０４（のサイズ）を同一または実質的に同一に保ちながら（例えばｄ₂＝ｄ₁となるように）、距離ｕ₂を距離ｕ₂より小さくすることによっても同様に達成することができる。

【0059】

このような画像化システム１００’については、例えば図２に関連して説明された実施例によると、第１の画像センサー１０３の露光領域を完全にカバーする、第１の画像化サブシステムのための固定された既定の第１の読み出し領域を使用するように、画像獲得手段２４０を構成することができる。一方で、第２の画像化サブシステムについては、第１の読み出し領域と形状およびサイズが同一である（既定の）第２の読み出し領域を利用するように、画像獲得手段２４０を構成することができる。

【0060】

その上、（第２の画像センサー１０４の露光領域の上の）第２の読み出し領域に隣接する露光領域の少なくとも１つの未使用領域からサポ−ト・データを読み取るように、画像獲得手段２４０をさらに構成することができる。この点において、第２の画像センサー１０４の露光領域の少なくとも１つのこのような未使用領域からサポ−ト・データについての画素値を読み取るように、画像獲得手段２５０を構成することができる。サポ−ト・データについての読み取られた画素値を、画像処理手段２５０によるさらなる使用のために、メモリ２１５内に記憶することができる。この点における特定の実施例として、画像獲得手段２４０を、第１のレンズ１０１の光学軸から最も遠い第２の画像センサー１０４の側（例えば、第１の画像センサー１０３から最も遠い第２の画像センサー１０４の側）で第２の画像センサー１０４の露光領域の境界と第２の読み出し領域との間にある未使用領域からサポ−ト・データについての画素値セットを読み取るように、構成されることができる。

【0061】

サポ−ト・データについてのこの画素値セットは、さらに改善された形で画像処理手段２５０内の視差情報の導出を容易にする目的で第２の画像の画素値を拡張するために使用可能である。このシナリオにおいては、拡張された第２の画像を作成するためにサポートについての画素値セットで第２の画像の画素値を拡張させ、以上で説明されたものと同様に拡張された第２の画像と第１の画像に基づいて、例えば視差マップなどの視差情報を導出するように、画像処理手段２５０を構成することができる。

【0062】

第２の画像センサー１０４の露光領域を（第１の画像センサー１０３の露光領域に比べて）所望の次元で充分大きくするために、以下の考察を行うことができる。

【0063】

図１および６に基づいて、次のように記すことができる。

【数4】

および

【数5】

【0064】

等式（３）を等式（４）に代入することにより、次のように記すことができる。

【数6】

【0065】

以下の関係式、

【数7】

【数8】

を使用することによって、等式（５）を次のように書き換えることができる。

【数9】

【0066】

さらに同一の焦点距離ｆ₁およびｆ₂を仮定すると、等式（６）は、以下のようになる：

【数10】

【0067】

したがって、第２の画像化サブシステムが第１の画像化サブシステムにより捕捉された画像コンテンツを完全に取り囲むことができることを保証するために、少なくとも１つの次元（例えばその幅および／またはその高さ）での第１の画像センサー１０３の露光領域のサイズとの関係における第２の画像センサー１０４上の露光領域の最小サイズを導出するために、等式（７）を使用することができる。

【0068】

図６は、例示的実施形態に係る方法３００を例示している。この方法３００は、ブロック３１０に標示されているように、立体画像捕捉手段１００、１００’を動作させるステップを含む。方法３００はさらに、第１および第２の画像センサー１０３、１０４のそれぞれの感光性領域からの画素値を読み取るステップを含む。この読み取りステップは、ブロック３２０に標示されているような、第１の画像センサー１０３上の第１の読み出し領域から第１の画像についての画素値を読み取るステップと、ブロック３２０に標示されているような、第２の画像センサー１０４上の第２の読み出し領域から第２の画像についての画素値を読み取るステップと、ブロック３４０に標示されているような、第１および第２の画像センサー１０３、１０４のうちの少なくとも１つの上のそれぞれの読み出し領域に隣接する感光性領域の少なくとも一部分からサポ−ト・データについての画素値を読み取るステップと、を含む。該方法３００はさらに、ブロック３５０に標示されているように、第１の画像、第２の画像および前記サポ−ト・データについて読み取られた前記画素値に基づいて、前記第１および第２の画像に関係する視差情報を導出するステップを含む。該方法３００はさらに、第１および／または第２の画像について読み取られた画素と共に視差情報に基づいて３Ｄ画像（立体画像）を作成するステップと、作成された３Ｄ画像を出力するステップとを含むことができる。

【0069】

ブロック３１０から３５０までに関連して説明されている方法ステップ（および考えられる任意の追加ステップ）は、例えば、画像化システム１００、１００’の動作のより詳細な説明において以上で説明されているように、多くの方法で具体化および／または変形されることができる。

【0070】

図４に戻って参照すると、プロセッサ２１６は、メモリ２１５から読み取りメモリ２１５に書き込むように構成され、プロセッサ２３６は、メモリ２３５から読み取りメモリ２３５に書き込むように構成される。プロセッサ２１６は、単一の構成要素として描かれているが、プロセッサ２１６を１つ以上の別個の構成要素として実装することができる。同様にして、メモリ２１５は単一の構成要素として例示されているものの、１つ以上の別個の構成要素としてメモリ２１５を実装することができ、そのうちのいくつかまたは全ては集積型／着脱式であることができ、および／または永久／半永久／動的／キャッシュ記憶装置を提供することができる。

【0071】

メモリ２１５は、プロセッサ２１６内にロードされた場合にデバイス２００の動作を制御するコンピュータ実行可能命令を含むコンピュータ・プログラムを記憶することができる。一例として、コンピュータ・プログラムは１つ以上の命令の１つ以上のシーケンスを含むことができる。コンピュータ・プログラムを、コンピュータ・プログラム・コードとして提供することができる。プロセッサ２１６は、メモリ２１５から内部に含まれた１つ以上の命令の１つ以上のシーケンスを読み取ることによりコンピュータ・プログラムをロードし実行することができる。１つ以上の命令の１つ以上のシーケンスは、プロセッサ２１６により実行された場合に、画像化システム１００、１００’に関連して以上で記述された動作、プロシージャおよび／または機能をデバイス２００に実施させるように構成されることができる。したがって、デバイス２００は、少なくとも１つのプロセッサ２１６と、１つ以上のプログラムのためのコンピュータ・プログラム・コードを含む少なくとも１つのメモリとを含むことができ、少なくとも１つのメモリ２１５およびコンピュータ・プログラム・コードは、少なくとも１つのプロセッサ２１６を用いて、デバイス２００に、画像化システム１００に関連して以上で説明した動作、プロシージャおよび／または機能を行わせるように構成されている。

【0072】

コンピュータ・プログラムは、コンピュータ・プログラム・プロダクト中に備えることができる。一例示的実施形態によると、コンピュータ・プログラム・プロダクトは、非一時的コンピュータ可読媒体を含むことができる。したがって、コンピュータ・プログラムは、例えば、上にプログラム・コードが記憶された少なくとも１つのコンピュータ可読非一時的媒体を備えたコンピュータ・プログラム・プロダクトとして提供されることができ、該プログラム・コードは、デバイス２００により実行された場合、装置に少なくとも第１のデバイス１１０に関連して以上で説明された動作、プロシージャおよび／または機能を行わせる。コンピュータ可読非一時的媒体は、メモリ・デバイスまたは記録媒体、例えばＣＤ−ＲＯＭ、ＤＶＤ、ブルーレイ・ディスクまたはコンピュータ・プログラムを有形で具体化する別の製造品を含むことができる。別の例として、コンピュータ・プログラムを高い信頼性で転送するように構成された信号として、コンピュータ・プログラムを提供することができる。

【0073】

プロセッサに対する言及は、プログラマブル・プロセッサのみならず、専用回路、例えばフィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、特定用途向け回路（ＡＳＩＣ）、信号プロセッサなどを包含するものとして理解されるべきである。

【0074】

以上の説明において記載された特徴は、明示的に記された組合せ以外の組合せで使用することができる。機能は、一定の特徴を基準にして説明されてきたが、これらの機能は、記載の如何に関わらず、他の特徴により行なわれることもできる。特徴は、一定の実施形態を基準にして説明されてきたが、これらの特徴は、同様に、記載の如何に関わらず他の実施形態にも存在することができる。

【図1】

【図2(a)】

【図2(b)】

【図3】

【図4】

【図5(a)】

【図5(b)】

【図6】

【図7】