特許 7133478 立体画像キャプチャ

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-08-31

(45)【発行日】2022-09-08

(54)【発明の名称】立体画像キャプチャ

(51)【国際特許分類】

   H04N 13/122 20180101AFI20220901BHJP

   G06T 19/00 20110101ALI20220901BHJP

   H04N 13/128 20180101ALI20220901BHJP

   H04N 13/239 20180101ALI20220901BHJP

   H04N 5/232 20060101ALI20220901BHJP

   G03B 15/00 20210101ALI20220901BHJP

   G03B 35/08 20210101ALI20220901BHJP

   G03B 37/00 20210101ALI20220901BHJP

   H04N 5/225 20060101ALI20220901BHJP

   G06T 3/60 20060101ALN20220901BHJP

【ＦＩ】

H04N13/122

G06T19/00 F

H04N13/128

H04N13/239

H04N5/232 380

H04N5/232 290

G03B15/00 W

G03B35/08

G03B37/00 A

H04N5/225 800

G06T3/60 710

【請求項の数】 12

(21)【出願番号】P 2018567280

(86)(22)【出願日】2017-06-30

(65)【公表番号】

(43)【公表日】2019-09-26

(86)【国際出願番号】 US2017040266

(87)【国際公開番号】W WO2018005953

(87)【国際公開日】2018-01-04

【審査請求日】2020-04-09

(31)【優先権主張番号】62/357,918

(32)【優先日】2016-07-01

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】508178054

【氏名又は名称】メタ プラットフォームズ， インク．

(74)【代理人】

【識別番号】110002974

【氏名又は名称】弁理士法人Ｗｏｒｌｄ ＩＰ

(74)【代理人】

【識別番号】100105957

【弁理士】

【氏名又は名称】恩田 誠

(74)【代理人】

【識別番号】100068755

【弁理士】

【氏名又は名称】恩田 博宣

(72)【発明者】

【氏名】コーエン、マイケル エフ．

(72)【発明者】

【氏名】スゼリスキー、リチャード

(72)【発明者】

【氏名】エバンス、ブライス アラン

(72)【発明者】

【氏名】コプフ、ヨハネス ピーター

【審査官】佐野 潤一

(56)【参考文献】

【文献】米国特許出願公開第２０１２／０１５４５４８（ＵＳ，Ａ１）

【文献】米国特許第０９３６９６８９（ＵＳ，Ｂ１）

【文献】国際公開第２０１６／０８６３７９（ＷＯ，Ａ１）

【文献】特表２０１６－５１１９６８（ＪＰ，Ａ）

【文献】国際公開第２００４／００４３６３（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０１５／０３２１１０３（ＵＳ，Ａ１）

【文献】特開２０１０－２５６２９６（ＪＰ，Ａ）

【文献】特開２０１４－０９５８０９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ １３／００

Ｈ０４Ｎ ５／２２２

Ｇ０３Ｂ １５／００

Ｇ０３Ｂ ３５／００

Ｇ０３Ｂ ３７／００

Ｇ０６Ｔ １９／００

Ｇ０６Ｔ ３／００

(57)【特許請求の範囲】

【請求項1】

接続要素に結合され、第１の画像キャプチャデバイスの周囲の３６０°視野の画像を取り込むように構成された第１の画像キャプチャデバイスと、
前記第１の画像キャプチャデバイスと第２の画像キャプチャデバイスとが前記接続要素と平行な共通面内に存在するように前記接続要素に結合され、前記第２の画像キャプチャデバイスの周囲の３６０°視野の画像を取り込むように構成された第２の画像キャプチャデバイスと、
前記第１の画像キャプチャデバイスおよび前記第２の画像キャプチャデバイスに結合されたコントローラと、
を備えたシステムであって、前記コントローラは、
前記第１の画像キャプチャデバイスにより取り込まれた画像を受信し、
前記第２の画像キャプチャデバイスにより取り込まれた別画像を受信し、
前記第１の画像キャプチャデバイスにより取り込まれた画像を前記第２の画像キャプチャデバイスにより取り込まれた別画像と位置合わせし、ここで前記第１の画像キャプチャデバイスにより取り込まれた画像を前記第２の画像キャプチャデバイスにより取り込まれた別画像と位置合わせすることは、前記第２の画像キャプチャデバイスにより取り込まれた別画像と前記第１の画像キャプチャデバイスにより取り込まれた画像とが平行座標系内に存在するように前記第２の画像キャプチャデバイスにより取り込まれた別画像に適用される回転を決定することと、前記回転を前記別画像に適用することによって、前記別画像を回転したものと前記画像とが前記平行座標系内に存在するように前記別画像を回転させることと、を含むものであり、前記第２の画像キャプチャデバイスにより取り込まれた前記別画像に適用される前記回転を決定することが、
前記画像をキューブマップにマッピングすることと、
前記別画像を別のキューブマップにマッピングすることと、
前記キューブマップ内の特徴を識別するとともに、識別された特徴の各々に対応する前記キューブマップ内の位置を識別することと、
前記キューブマップ内の前記識別された特徴の各々に対応する前記別のキューブマップ中の位置を決定することと、
前記キューブマップ内の最大量の特徴の位置および前記別のキューブマップ中の対応する位置を記述する変換を決定することと、
を含み、
前記第１の画像キャプチャデバイスにより取り込まれた位置合わせ画像と前記第２の画像キャプチャデバイスにより取り込まれた前記別画像との間の水平視差を均等化し、
均等化した位置合わせ画像と均等化した位置合わせ別画像とを組み合わせることによって、立体視のための１対以上の正距円筒画像を生成する、
ように構成されている、システム。

【請求項2】

前記変換が、前記回転および平行移動を含み、前記第２の画像キャプチャデバイスにより取り込まれた前記別画像に適用される前記回転を決定することが、
前記変換から前記回転を抽出し、前記変換の前記平行移動を破棄することをさらに含む、請求項１に記載のシステム。

【請求項3】

前記第１の画像キャプチャデバイスにより取り込まれた前記画像を前記第２の画像キャプチャデバイスにより取り込まれた前記別画像と位置合わせすることが、
前記画像および前記別画像を回転したものを低域通過フィルタで不鮮明化することをさらに含む、請求項１に記載のシステム。

【請求項4】

前記第１の画像キャプチャデバイスにより取り込まれた前記画像と前記第２の画像キャプチャデバイスにより取り込まれた前記別画像との間の水平視差を均等化することが、
前記第１の画像キャプチャデバイスおよび前記第２の画像キャプチャデバイスを含む基準面の背後の位置の前記第１の画像キャプチャデバイスにより取り込まれた画像を識別することと、
前記基準面の背後の前記位置の前記第２の画像キャプチャデバイスにより取り込まれた別画像を識別することと、
前記第１の画像キャプチャデバイスにより取り込まれた画像および前記第２の画像キャプチャデバイスにより取り込まれた別画像を交換することと、
を含む、請求項１～３のいずれか一項に記載のシステム。

【請求項5】

前記第１の画像キャプチャデバイスにより取り込まれた前記画像と前記第２の画像キャプチャデバイスにより取り込まれた前記別画像との間の水平視差を均等化することが、
前記第１の画像キャプチャデバイスにより取り込まれた１以上の画像から前記第２の画像キャプチャデバイスにより取り込まれた１以上の別画像への高密度なオプティカルフローと、前記第２の画像キャプチャデバイスにより取り込まれた前記１以上の別画像から前記第１の画像キャプチャデバイスにより取り込まれた前記１以上の画像への高密度なオプティカルフローと、を算出することと、
算出された高密度なオプティカルフローに基づいて、前記１以上の画像および前記１以上の別画像のオプティカルフローを修正することと、
を含み、
任意選択として、前記算出された高密度なオプティカルフローに基づいて、前記１以上の画像および前記１以上の別画像のオプティカルフローを修正することが、
前記算出された高密度なオプティカルフローに基づいて、前記第１の画像キャプチャデバイスにより取り込まれた画像のオプティカルフローを処理し、前記第１の画像キャプチャデバイスに対する特定の深さの異なる位置について、前記第１の画像キャプチャデバイスと前記第２の画像キャプチャデバイスとの間の線の法線から離れる水平方位角の余弦の絶対値に対する定数の比である倍数だけ、前記画像と別画像との間の水平視差を増大させることと、
前記第１の画像キャプチャデバイスおよび前記第２の画像キャプチャデバイスを含む基準面の背後の位置に対応する前記画像の部分を、前記基準面の背後の位置に対応する前記別画像の部分と交換することと、
を含む、請求項１～４のいずれか一項に記載のシステム。

【請求項6】

前記均等化した位置合わせ画像と前記均等化した位置合わせ別画像とを組み合わせることによって、立体視のための１対以上の正距円筒画像を生成することが、
前記第１の画像キャプチャデバイスにより取り込まれた画像から前記第２の画像キャプチャデバイスを除去することを含み、
任意選択として、前記第１の画像キャプチャデバイスにより取り込まれた画像から前記第２の画像キャプチャデバイスを除去することが、
前記第１の画像キャプチャデバイスと前記第２の画像キャプチャデバイスとの間で、前記第１の画像キャプチャデバイスおよび前記第２の画像キャプチャデバイスに対して垂直な線の法線から離れる水平方位角の特定範囲内の前記画像の位置に対応する前記第１の画像キャプチャデバイスにより取り込まれた別画像内の開始位置を識別することと、
前記別画像内の前記開始位置に対応する前記第１の画像キャプチャデバイスにより取り込まれた前記画像中の位置を決定することと、
前記特定範囲内において、前記第１の画像キャプチャデバイスと前記第２の画像キャプチャデバイスとの間で、前記第１の画像キャプチャデバイスおよび前記第２の画像キャプチャデバイスに対して垂直な前記線の前記法線から離れる水平方位角を有する前記第１の画像キャプチャデバイスにより取り込まれた前記画像中の終了位置を決定することと、
前記画像中の前記位置と前記画像中の前記終了位置との間の画素を再サンプリングするとともに、前記再サンプリングに基づいて、前記位置と前記終了位置との間の前記画像中の線に沿った画素を埋めることによって、前記画像を修正することと、
を含み、ならびに／または
任意選択として、前記第１の画像キャプチャデバイスにより取り込まれた前記画像から前記第２の画像キャプチャデバイスを除去することが、
特定範囲内において、前記第１の画像キャプチャデバイスと前記第２の画像キャプチャデバイスとの間で、前記第１の画像キャプチャデバイスおよび前記第２の画像キャプチャデバイスに対して垂直な線の法線から離れる水平方位角を有する前記第１の画像キャプチャデバイスにより取り込まれた前記画像の部分を、前記特定範囲内において、前記第１の画像キャプチャデバイスと前記第２の画像キャプチャデバイスとの間で、前記第１の画像キャプチャデバイスおよび前記第２の画像キャプチャデバイスに対して垂直な線の法線から離れる水平方位角を有する別画像の部分で置き換えることを含む、請求項１～５のいずれか一項に記載のシステム。

【請求項7】

接続要素に結合された第１の画像キャプチャデバイスから、前記第１の画像キャプチャデバイスの周囲の３６０°視野を表す画像を受信する工程と、
前記第１の画像キャプチャデバイスと第２の画像キャプチャデバイスとが前記接続要素と平行な共通面内に存在するように前記接続要素に結合された前記第２の画像キャプチャデバイスから、前記第２の画像キャプチャデバイスの周囲の３６０°視野を表す別画像を受信する工程と、
前記第１の画像キャプチャデバイスから受信した画像を前記第２の画像キャプチャデバイスから受信した別画像と位置合わせする工程であって、ここで前記第１の画像キャプチャデバイスから受信した画像を前記第２の画像キャプチャデバイスから受信した別画像と位置合わせする工程は、前記第２の画像キャプチャデバイスから受信した別画像と前記第１の画像キャプチャデバイスから受信した画像とが平行座標系内に存在するように前記第２の画像キャプチャデバイスから受信した前記別画像に適用される回転を決定する工程と、前記回転を前記別画像に適用することによって、前記別画像を回転したものと前記画像とが前記平行座標系内に存在するように前記別画像を回転させる工程と、を含むものであり、前記第２の画像キャプチャデバイスから受信した前記別画像に適用される前記回転を決定する工程が、
前記画像をキューブマップにマッピングする工程と、
前記別画像を別のキューブマップにマッピングする工程と、
前記キューブマップ内の特徴を識別するとともに、識別した特徴の各々に対応する前記キューブマップ内の位置を識別する工程と、
前記キューブマップ内の前記識別した特徴の各々に対応する前記別のキューブマップ中の位置を決定する工程と、
前記キューブマップ内の最大量の特徴の位置および前記別のキューブマップ中の対応する位置を記述する変換を決定する工程と、
を含み、
前記第１の画像キャプチャデバイスから受信した位置合わせ画像と前記第２の画像キャプチャデバイスから受信した前記別画像との間の水平視差を均等化する工程と、
均等化した位置合わせ画像と均等化した位置合わせ別画像とを組み合わせることによって、立体視のための１対以上正距円筒画像を生成する工程と、
を含む、方法。

【請求項8】

前記変換が、前記回転および平行移動を含み、前記第２の画像キャプチャデバイスから受信した前記別画像に適用される前記回転を決定する工程が、
前記変換から前記回転を抽出し、前記変換の前記平行移動を破棄する工程をさらに含む、請求項７に記載の方法。

【請求項9】

前記第１の画像キャプチャデバイスから受信した前記画像を前記第２の画像キャプチャデバイスから受信した前記別画像と位置合わせする工程が、
前記画像および前記別画像を回転したものを低域通過フィルタで不鮮明化する工程をさらに含む、請求項７に記載の方法。

【請求項10】

前記第１の画像キャプチャデバイスから受信した前記画像と前記第２の画像キャプチャデバイスから受信した前記別画像との間の水平視差を均等化する工程が、
前記第１の画像キャプチャデバイスおよび前記第２の画像キャプチャデバイスを含む基準面の背後の位置の前記第１の画像キャプチャデバイスから受信した画像を識別する工程と、
前記基準面の背後の前記位置の前記第２の画像キャプチャデバイスから受信した別画像を識別する工程と、
前記第１の画像キャプチャデバイスから受信した画像および前記第２の画像キャプチャデバイスから受信した別画像を交換する工程と、
を含む、請求項７～９のいずれか一項に記載の方法。

【請求項11】

前記第１の画像キャプチャデバイスから受信した前記画像と前記第２の画像キャプチャデバイスから受信した前記別画像との間の水平視差を均等化する工程が、
前記第１の画像キャプチャデバイスから受信した１以上の画像から前記第２の画像キャプチャデバイスから受信した１以上の別画像への高密度なオプティカルフローと、前記第２の画像キャプチャデバイスから受信した前記１以上の別画像から前記第１の画像キャプチャデバイスから受信した前記１以上の画像への高密度なオプティカルフローと、を算出する工程と、
算出した高密度なオプティカルフローに基づいて、前記１以上の画像および前記１以上の別画像のオプティカルフローを修正する工程と、
を含み、
任意選択として、前記算出した高密度なオプティカルフローに基づいて、前記１以上の画像および前記１以上の別画像のオプティカルフローを修正する工程が、
前記算出した高密度なオプティカルフローに基づいて、前記第１の画像キャプチャデバイスから受信した画像のオプティカルフローを処理し、前記第１の画像キャプチャデバイスに対する特定の深さの異なる位置について、前記第１の画像キャプチャデバイスと前記第２の画像キャプチャデバイスとの間の線の法線から離れる水平方位角の余弦の絶対値に対する定数の比である倍数だけ、前記画像と別画像との間の水平視差を増大させる工程と、
前記第１の画像キャプチャデバイスおよび前記第２の画像キャプチャデバイスを含む基準面の背後の位置に対応する前記画像の部分を、前記基準面の背後の位置に対応する前記別画像の部分と交換する工程と、
を含む、請求項７～１０のいずれか一項に記載の方法。

【請求項12】

前記均等化した位置合わせ画像と前記均等化した位置合わせ別画像とを組み合わせることによって、立体視のための１対以上の正距円筒画像を生成する工程が、
前記第１の画像キャプチャデバイスにより取り込まれた画像から前記第２の画像キャプチャデバイスを除去する工程を含み、
任意選択として、前記第１の画像キャプチャデバイスにより取り込まれた前記画像から前記第２の画像キャプチャデバイスを除去する工程が、
特定範囲内において、前記第１の画像キャプチャデバイスと前記第２の画像キャプチャデバイスとの間で、前記第１の画像キャプチャデバイスおよび前記第２の画像キャプチャデバイスに対して垂直な線の法線から離れる水平方位角を有する前記第１の画像キャプチャデバイスにより取り込まれた前記画像の部分を、前記特定範囲内において、前記第１の画像キャプチャデバイスと前記第２の画像キャプチャデバイスとの間で、前記第１の画像キャプチャデバイスおよび前記第２の画像キャプチャデバイスに対して垂直な線の法線から離れる水平方位角を有する別画像の部分で置き換える工程を含む、請求項７～１１のいずれか一項に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は一般的に、仮想現実システムに関し、より詳細には、仮想現実システムにより表示する完全立体３６０°画像のキャプチャに関する。

【背景技術】

【0002】

ますます多くのデバイスにおいて、仮想現実コンテンツ等の全球３６０／１８０°コンテンツを閲覧できるようになっている。

【発明の概要】

【発明が解決しようとする課題】

【0003】

ただし、後で表示する完全ステレオ（「立体」）３６０／１８０°映像を取り込むことは、依然として難しい。完全立体３６０°映像を取り込む既存の公表されているデバイスおよび技術では、ハードウェアコストおよび処理時間が膨大になるため、多くの用途に対して完全立体映像のキャプチャは非現実的である。

【課題を解決するための手段】

【0004】

アセンブリは、画像キャプチャデバイスの周囲のシーンの３６０°立体キューブマップ表示として表される全球画像を取り込むようにそれぞれ構成された一対の画像キャプチャデバイスを具備する。画像キャプチャデバイスは、それぞれが取り込んだ画像を受信するコントローラに結合されている。コントローラは、アセンブリ中の画像キャプチャデバイスの相対的な配置による誤差を補正することによって、シーンの表示を生成する。コントローラは、一対の一方の画像キャプチャデバイスからの画像を回転させることにより、画像中の物体を他方の画像キャプチャデバイスからの画像中の物体と位置合わせする。また、コントローラは、一対の一方の画像キャプチャデバイスからのシーンの画像のうち、他方の画像キャプチャデバイスにより遮蔽された部分を識別し、この識別した部分を他方の画像キャプチャデバイスにより取り込まれたシーンの画像の一部で置き換える。種々の実施形態において、コントローラは、オプティカルフローを用いることによって、各画像キャプチャデバイスにより取り込まれた画像間の水平視差および垂直視差を相殺する。あるいは、各画像キャプチャデバイスにより取り込まれた画像が横正距円筒フォーマットまたはキューブマップ表示に変換されることで、異なる画像キャプチャデバイスにより取り込まれた画像間の水平および垂直視差が相殺される。

【0005】

本発明による実施形態は、システムおよび方法を対象とする添付の請求項で特に開示され、ある請求項のカテゴリ、例えばシステム、で述べられた任意の特徴は、別の請求項のカテゴリ、例えば方法、コンピュータプログラム製品、記憶媒体でも同様に請求されることができる。添付の請求項の従属性または後方参照は、形式上の理由でのみ選択されている。しかし、任意の先行請求項への意図的な後方参照から生じる任意の主題（特に多項従属）は同様に請求されることができるので、添付の請求項で選ばれた従属性に関係なく、請求項およびその特徴の任意の組合せが開示され、請求されることができる。請求することのできる主題は、添付の請求項に記載される特徴の組合せだけでなく、請求項の特徴の任意の他の組合せも含み、請求項で述べられる各特徴は請求項の任意の他の特徴または他の特徴の組合せと組み合わせることができる。さらに、本明細書で記述または示される実施形態および特徴のいずれも、個別の請求項で、および／または、本明細書で記述もしくは示される任意の実施形態もしくは特徴または添付の請求項の特徴のいずれかとの任意の組合せで請求することができる。

【0006】

本発明に係る一実施形態において、システムは、
接続要素に結合された第１の画像キャプチャデバイスであって、その第１の画像キャプチャデバイスの周囲の３６０°視野の画像を取り込むように構成された第１の画像キャプチャデバイスと、
第１の画像キャプチャデバイスと第２の画像キャプチャデバイスとが接続要素と平行な共通面内に存在するように接続要素に結合された第２の画像キャプチャデバイスであって、その第２の画像キャプチャデバイスの周囲の３６０°視野の画像を取り込むように構成された第２の画像キャプチャデバイスと、
画像キャプチャデバイスおよび第２の画像キャプチャデバイスに結合されたコントローラであって、
第１の画像キャプチャデバイスにより取り込まれた画像を受信し、
第２の画像キャプチャデバイスにより取り込まれた別画像を受信し、
第１の画像キャプチャデバイスにより取り込まれた画像を第２の画像キャプチャデバイスにより取り込まれた別画像と位置合わせし、
第１の画像キャプチャデバイスにより取り込まれた位置合わせ画像と第２の画像キャプチャデバイスにより取り込まれた別画像との間の水平視差を均等化し、
均等化された位置合わせ画像と均等化された位置合わせ別画像とを組み合わせることによって、１以上の正距円筒画像を生成する、
ように構成されたコントローラと、
を備える。

【0007】

第１の画像キャプチャデバイスにより取り込まれた画像を第２の画像キャプチャデバイスにより取り込まれた別画像と位置合わせすることが、
第１の画像キャプチャデバイスにより取り込まれた画像と第２の画像キャプチャデバイスにより取り込まれた別画像とが平行座標系内に存在するように第１の画像キャプチャデバイスにより取り込まれた画像に適用される回転を決定することと、
回転を別画像に適用することによって、別画像を回転したものと画像とが平行座標系内に存在するように別画像を回転させることと、
を含んでいてもよい。

【0008】

第１の画像キャプチャデバイスにより取り込まれた画像に適用される回転を決定することが、
画像をキューブマップにマッピングすることと、
別画像を別のキューブマップにマッピングすることと、
キューブマップ内の特徴を識別するとともに、識別された特徴の各々に対応するキューブマップ内の位置を識別することと、
キューブマップ内の識別された特徴の各々に対応する別のキューブマップ中の位置を決定することと、
キューブマップ内の最大量の特徴の位置および別のキューブマップ中の対応する位置を記述する変換を決定することと、
を含んでいてもよい。

【0009】

変換は、回転および平行移動を含んでいてもよく、第１の画像キャプチャデバイスにより取り込まれた画像に適用される回転を決定することが、
変換から回転を抽出し、変換の平行移動を破棄することを含んでいてもよい。

【0010】

第１の画像キャプチャデバイスにより取り込まれた画像を第２の画像キャプチャデバイスにより取り込まれた別画像と位置合わせすることが、
画像および別画像を回転したものを低域通過フィルタで不鮮明化することを含んでいてもよい。

【0011】

第１の画像キャプチャデバイスにより取り込まれた画像と第２の画像キャプチャデバイスにより取り込まれた別画像との間の水平視差を均等化することが、
第１の画像キャプチャデバイスおよび第２の画像キャプチャデバイスを含む基準面の背後の位置の第１の画像キャプチャデバイスにより取り込まれた画像を識別することと、
基準面の背後の位置の第２の画像キャプチャデバイスにより取り込まれた別画像を識別することと、
画像および別画像を交換することと、
を含んでいてもよい。

【0012】

第１の画像キャプチャデバイスにより取り込まれた画像と第２の画像キャプチャデバイスにより取り込まれた別画像との間の水平視差を均等化することが、
第１の画像キャプチャデバイスにより取り込まれた１以上の画像から第２の画像キャプチャデバイスにより取り込まれた１以上の別画像への高密度なオプティカルフローと、第２の画像キャプチャデバイスにより取り込まれた１以上の別画像から第１の画像キャプチャデバイスにより取り込まれた１以上の画像への高密度なオプティカルフローと、を算出することと、
算出された高密度なオプティカルフローに基づいて、１以上の画像および１以上の別画像を修正することと、
を含んでいてもよい。

【0013】

算出された高密度なオプティカルフローに基づいて、１以上の画像および１以上の別画像を修正することが、
算出された高密度なオプティカルフローに基づいて、第１の画像キャプチャデバイスにより取り込まれた画像をフロー処理し、第１の画像キャプチャデバイスに対する特定の深さの異なる位置について、第１の画像キャプチャデバイスと第２の画像キャプチャデバイスとの間の線の法線から離れる水平方位角の余弦の絶対値に対する定数の比である倍数だけ、画像と別画像との間の水平視差を増大させることと、
第１の画像キャプチャデバイスおよび第２の画像キャプチャデバイスを含む基準面の背後の位置に対応する画像の部分を、基準面の背後の位置に対応する別画像の部分と交換することと、
を含んでいてもよい。

【0014】

均等化された位置合わせ画像と均等化された位置合わせ別画像とを組み合わせることによって、１以上の正距円筒画像を生成することが、
第１の画像キャプチャデバイスにより取り込まれた画像から第２の画像キャプチャデバイスを除去することを含んでいてもよい。

【0015】

第１の画像キャプチャデバイスにより取り込まれた画像から第２の画像キャプチャデバイスを除去することが、
第１の画像キャプチャデバイスと第２の画像キャプチャデバイスとの間で、第１の画像キャプチャデバイスおよび第２の画像キャプチャデバイスに対して垂直な線の法線から離れる水平方位角の特定範囲内の画像の位置に対応する第１の画像キャプチャデバイスにより取り込まれた別画像内の開始位置を識別することと、
別画像内の開始位置に対応する第１の画像キャプチャデバイスにより取り込まれた画像中の位置を決定することと、
特定範囲内において、第１の画像キャプチャデバイスと第２の画像キャプチャデバイスとの間で、第１の画像キャプチャデバイスおよび第２の画像キャプチャデバイスに対して垂直な線の法線から離れる水平方位角を有する第１の画像キャプチャデバイスにより取り込まれた画像中の終了位置を決定することと、
画像中の位置と画像中の終了位置との間の画素を再サンプリングするとともに、再サンプリングに基づいて、上記位置と終了位置との間の画像中の線に沿った画素を埋めることによって、画像を修正することと、
を含んでいてもよい。

【0016】

第１の画像キャプチャデバイスにより取り込まれた画像から第２の画像キャプチャデバイスを除去することが、
特定範囲内において、第１の画像キャプチャデバイスと第２の画像キャプチャデバイスとの間で、第１の画像キャプチャデバイスおよび第２の画像キャプチャデバイスに対して垂直な線の法線から離れる水平方位角を有する第１の画像キャプチャデバイスにより取り込まれた画像の部分を、特定範囲内において、第１の画像キャプチャデバイスと第２の画像キャプチャデバイスとの間で、第１の画像キャプチャデバイスおよび第２の画像キャプチャデバイスに対して垂直な線の法線から離れる水平方位角を有する別画像の部分で置き換えることを含んでいてもよい。

【0017】

本発明に係る一実施形態において、方法は、
接続要素に結合された第１の画像キャプチャデバイスから、第１の画像キャプチャデバイスの周囲の３６０°視野を表す画像を受信する工程と、
第１の画像キャプチャデバイスと第２の画像キャプチャデバイスとが接続要素と平行な共通面内に存在するように接続要素に結合された第２の画像キャプチャデバイスから、第２の画像キャプチャデバイスの周囲の３６０°視野を表す別画像を受信する工程と、
第１の画像キャプチャデバイスから受信した画像を第２の画像キャプチャデバイスから受信した別画像と位置合わせする工程と、
第１の画像キャプチャデバイスから受信した位置合わせ画像と第２の画像キャプチャデバイスから受信した別画像との水平視差を均等化する工程と、
均等化された位置合わせ画像と均等化された位置合わせ別画像とを組み合わせることによって、１以上の正距円筒画像を生成する工程と、
を含む。

【0018】

第１の画像キャプチャデバイスから受信した画像を第２の画像キャプチャデバイスから受信した別画像と位置合わせする工程が、
第１の画像キャプチャデバイスから受信した画像と第２の画像キャプチャデバイスから受信した別画像とが平行座標系内に存在するように第１の画像キャプチャデバイスから受信した画像に適用される回転を決定する工程と、
回転を別画像に適用することによって、別画像を回転したものと画像とが平行座標系内に存在するように別画像を回転させる工程と、
を含んでいてもよい。

【0019】

第１の画像キャプチャデバイスから受信した画像に適用される回転を決定することは、
画像をキューブマップにマッピングする工程が、
別画像を別のキューブマップにマッピングする工程と、
キューブマップ内の特徴を識別するとともに、識別された特徴の各々に対応するキューブマップ内の位置を識別する工程と、
キューブマップ内の識別された特徴の各々に対応する別のキューブマップ中の位置を決定する工程と、
キューブマップ内の最大量の特徴の位置および別のキューブマップ中の対応する位置を記述する変換を決定する工程と、
を含んでいてもよい。

【0020】

変換が、回転および平行移動を含んでいてもよく、第１の画像キャプチャデバイスから受信した画像に適用される回転を決定する工程は、
変換から回転を抽出し、変換の平行移動を破棄する工程を含んでいてもよい。

【0021】

第１の画像キャプチャデバイスから受信した画像を第２の画像キャプチャデバイスから受信した別画像と位置合わせする工程が、
画像および別画像を回転したものを低域通過フィルタで不鮮明化する工程をさらに含んでいてもよい。

【0022】

第１の画像キャプチャデバイスから受信した画像と第２の画像キャプチャデバイスから受信した別画像との間の水平視差を均等化する工程が、
第１の画像キャプチャデバイスおよび第２の画像キャプチャデバイスを含む基準面の背後の位置の第１の画像キャプチャデバイスから受信した画像を識別する工程と、
基準面の背後の位置の第２の画像キャプチャデバイスから受信した別画像を識別する工程と、
画像および別画像を交換する工程と、
を含んでいてもよい。

【0023】

第１の画像キャプチャデバイスから受信した画像と第２の画像キャプチャデバイスから受信した別画像との間の水平視差を均等化する工程が、
第１の画像キャプチャデバイスから受信した１以上の画像から第２の画像キャプチャデバイスから受信した１以上の別画像への高密度なオプティカルフローと、第２の画像キャプチャデバイスから受信した１以上の別画像から第１の画像キャプチャデバイスから受信した１以上の画像への高密度なオプティカルフローと、を算出する工程と、
算出された高密度なオプティカルフローに基づいて、１以上の画像および１以上の別画像を修正する工程と、
を含んでいてもよい。

【0024】

算出された高密度なオプティカルフローに基づいて、１以上の画像および１以上の別画像を修正する工程が、
算出された高密度なオプティカルフローに基づいて、第１の画像キャプチャデバイスから受信した画像を処理し、画像キャプチャデバイスに対する特定の深さの異なる位置について、第１の画像キャプチャデバイスと第２の画像キャプチャデバイスとの間の線の法線から離れる水平方位角の余弦の絶対値に対する定数の比である倍数だけ、画像と別画像との間の水平視差を増大させる工程と、
第１の画像キャプチャデバイスおよび第２の画像キャプチャデバイスを含む基準面の背後の位置に対応する画像の部分を、基準面の背後の位置に対応する別画像の部分と交換する工程と、
を含んでいてもよい。

【0025】

均等化された位置合わせ画像と均等化された位置合わせ別画像とを組み合わせることによって、１以上の正距円筒画像を生成する工程が、
第１の画像キャプチャデバイスにより取り込まれた画像から第２の画像キャプチャデバイスを除去する工程を含んでいてもよい。

【0026】

第１の画像キャプチャデバイスにより取り込まれた画像から第２の画像キャプチャデバイスを除去する工程が、
特定範囲内において、画像キャプチャデバイスと第２の画像キャプチャデバイスとの間で、第１の画像キャプチャデバイスおよび第２の画像キャプチャデバイスに対して垂直な線の法線から離れる水平方位角を有する第１の画像キャプチャデバイスにより取り込まれた画像の部分を、特定範囲内において、第１の画像キャプチャデバイスと第２の画像キャプチャデバイスとの間で、第１の画像キャプチャデバイスおよび第２の画像キャプチャデバイスに対して垂直な線の法線から離れる水平方位角を有する別画像の部分で置き換える工程を含んでいてもよい。

【0027】

本発明に係る一実施形態において、１以上のコンピュータ可読持続性記憶媒体は、実行された場合に、本発明または前述の実施形態のいずれかに係る方法を行うように動作可能なソフトウェアを具現化していてもよい。

【0028】

本発明に係る一実施形態において、システムは、１以上のプロセッサと、プロセッサに結合され、プロセッサにより実行可能な命令を含む少なくとも１つのメモリとを備えていてもよく、プロセッサは、命令を実行した場合に、本発明または前述の実施形態のいずれかに係る方法を行うように動作可能である。

【0029】

本発明に係る一実施形態において、好ましくはコンピュータ可読持続性記憶媒体を含むコンピュータプログラム製品は、データ処理システム上で実行された場合に、本発明または前述の実施形態のいずれかに係る方法を行うように動作可能であってもよい。

【図面の簡単な説明】

【0030】

【図1】一実施形態に係る、立体画像を取り込む例示的なシステムを示した図。

【図2】一実施形態に係る、画像キャプチャデバイスと別の画像キャプチャデバイスとの位置ずれの一例を示した図。

【図3】一実施形態に係る、地面上の円に沿った点の例示的な撮像配置を示した図。

【図4】一実施形態に係る、画像キャプチャデバイスおよび別の画像キャプチャデバイスを含む水平面からの特定の下方角における平面に沿った水平視差および垂直視差の変化を示した図。

【図5】一実施形態に係る、画像キャプチャデバイスにより取り込まれた画像が別の画像キャプチャデバイスを含む場合の水平方位角の範囲を示した図。

【図6】一実施形態に係る、画像キャプチャデバイスにより取り込まれた画像から水平視差を補正して、修正画像を生成する概念図。

【発明を実施するための形態】

【0031】

図面は、説明のみを目的として、本発明の種々の実施形態を示している。当業者であれば、以下の詳解から、本明細書に記載の本発明の原理から逸脱することなく、本明細書に示す構造および方法の別の実施形態を採用し得ることが容易に認識されよう。

【0032】

システム構成
図１は、画像キャプチャデバイス１１０および別の画像キャプチャデバイス１２０を備えた例示的なシステム１００を示している。種々の実施形態において、画像キャプチャデバイス１１０および別の画像キャプチャデバイス１２０は、カメラ、ビデオカメラ、または画像データを取り込むように構成された他のデバイスである。図１は、２つの画像キャプチャデバイスを具備するシステム１００を示すが、他の実施形態において、システム１００は、より多くの画像キャプチャデバイス（たとえば、４つの画像キャプチャデバイス、８つの画像キャプチャデバイス等）を具備していてもよい。

【0033】

図１に示す実施形態において、画像キャプチャデバイス１１０および別の画像キャプチャデバイス１２０はそれぞれ、画像キャプチャデバイス１１０および別の画像キャプチャデバイス１２０が接続要素１３０と平行な共通面内に存在するように、接続要素１３０に結合されている。ただし、他の実施形態において、画像キャプチャデバイス１１０および別の画像キャプチャデバイス１２０は、任意適当な配向または構成によって、共通面内に存在するように構成されている。画像キャプチャデバイス１１０および別の画像キャプチャデバイス１２０はともに、画像キャプチャデバイス１１０および別の画像キャプチャデバイス１２０の全３６０°視野を一体的に網羅する複数の広角または魚眼レンズを具備する。

【0034】

画像キャプチャデバイス１１０および別の画像キャプチャデバイス１２０により取り込まれた画像は、画像キャプチャデバイス１１０からの画像と別の画像キャプチャデバイス１２０からの別画像とを組み合わせて正距円筒画像を得るコントローラ１４０に伝達される。また、以下に詳しく説明する通り、コントローラ１４０は、画像キャプチャデバイス１１０からの画像を別の画像キャプチャデバイス１２０からの画像と組み合わせる場合に、画像キャプチャデバイス１１０および別の画像キャプチャ１２０からの画像を処理するように構成されている。画像キャプチャデバイス１１０からの画像および別の画像キャプチャデバイス１２０からの別画像のコントローラ１４０による処理には、画像および別画像の幾何学的および光度的位置合わせ、画像と別画像との垂直視差の除去、ならびに画像と別画像との間の水平視差の均等化のうちの１以上を含んでいてもよい。あるいは、コントローラ１４０による処理では、たとえば後方視の場合のユーザの眼の反転の考慮または別画像および画像それぞれからの画像キャプチャデバイス１１０および別の画像キャプチャデバイス１２０の除去のため、画像および別画像の領域を交換するようにしてもよい。

【0035】

幾何学的位置合わせ
画像キャプチャデバイス１１０もしくは別の画像キャプチャデバイス１２０が異なる平面内にある場合の位置ずれ（たとえば、画像キャプチャデバイス１１０および別の画像キャプチャデバイス１２０の接続要素１３０との結合における位置ずれ）または画像キャプチャデバイス１１０もしくは別の画像キャプチャデバイス１２０における位置ずれ自体によって、画像キャプチャデバイス１１０および別の画像キャプチャ１２０により取り込まれた画像の立体視が困難となる。画像キャプチャデバイス１１０または別の画像キャプチャデバイス１２０における相対的に小さな位置ずれによって、画像キャプチャデバイス１１０からの画像と別の画像キャプチャデバイス１２０からの別画像との組み合わせの立体視が困難となる。図２は、画像キャプチャデバイス１１０と別の画像キャプチャデバイス１２０との位置ずれの一例を示している。図２の例においては、画像キャプチャデバイス１１０と別の画像キャプチャデバイス１２０との位置ずれによって、画像キャプチャデバイス１１０により取り込まれた画像中の物体２２０の位置２１０Ａが別の画像キャプチャデバイス１２０により取り込まれた別画像中の物体２２０の位置２１０Ｂと異なっている。この位置ずれを補償するため、コントローラ１４０は、画像キャプチャデバイス１１０により取り込まれた画像を回転したものが別の画像キャプチャデバイス１２０により取り込まれた別画像との平行座標系内となるように画像キャプチャデバイス１１０により取り込まれた画像に適用する回転を決定する。たとえば、画像キャプチャデバイス１１０が接続要素１３０の左側に位置決めされたカメラであり、別の画像キャプチャデバイス１２０が接続要素１３０の右側に位置決めされた別のカメラである場合、コントローラ１４０は、接続要素１３０の左側に位置決めされたカメラ（すなわち、画像キャプチャデバイス１１０）により取り込まれた画像と接続要素１３０の右側に位置決めされたカメラ（すなわち、別の画像キャプチャデバイス１２０）により取り込まれた画像とが平行座標系内に存在するように、接続要素１３０の左側に位置決めされたカメラにより取り込まれた画像に適用される回転を決定する。他の実施形態において、コントローラ１４０は、別の画像キャプチャデバイス１２０により取り込まれた別画像に適用される回転を決定し、別画像を回転したものと画像キャプチャデバイス１１０により取り込まれた画像とが平行座標系内に存在するように別画像を回転させる。

【0036】

画像（または、別画像）に適用される回転を決定するために、コントローラ１４０は、画像をキューブマップにマッピングするとともに、別画像を別のキューブマップにマッピングする。たとえば、画像および別画像が正距円筒画像であり、コントローラ１４０は、正距円筒画像をキューブマップにマッピングするとともに、正距円筒別画像を別のキューブマップにマッピングする。画像および別画像をそれぞれキューブマップおよび別のキューブマップにマッピングすることによって、局所的な歪みが抑えられる。

【0037】

その後、コントローラ１４０は、画像キャプチャデバイス１１０からの画像に対応するキューブマップから、ハリス（Ｈａｒｒｉｓ）コーナ等の特徴を識別し、別の画像キャプチャデバイス１２０からの別画像に対応する別のキューブマップにおいて、キューブマップからの識別特徴に対応する位置を決定する。たとえば、コントローラ１４０は、粗密ルーカスカナデ（Ｌｕｃａｓ－Ｋａｎａｄｅ）探索の実行またはその他任意適当な探索の実行によって、キューブマップから識別された特徴のキューブマップ中の位置の閾値距離内における別のキューブマップ中の位置を識別する。キューブマップにおいて識別された特徴の位置および別のキューブマップ中の対応する位置（任意適当な探索を用いて決定）に基づいて、コントローラ１４０は、識別キューブマップ中の最大量（たとえば、最大数、最大割合）の特徴の位置および別のキューブマップ中の対応する位置を記述する回転および平行移動のうちの１つまたは複数を含む変換を決定する。たとえば、コントローラ１４０は、ランダムサンプルコンセンサス（ＲＡＮＳＡＣ：Ｒａｎｄｏｍ Ｓａｍｐｌｅ Ｃｏｎｓｅｎｓｕｓ）を使用して、識別キューブマップ中の最大量の特徴の位置および別のキューブマップ中の対応する位置を記述する変換を識別する。識別された変換が平行移動を含む場合、コントローラ１４０は、識別された変換から平行移動を破棄するとともに、識別された変換の回転を画像キャプチャデバイス１１０からの画像に適用して、画像キャプチャデバイス１１０からの回転画像を別の画像キャプチャデバイス１２０からの別画像と位置合わせする。他の実施形態において、コントローラ１４０は、画像ではなく別画像に適用される平行移動および／または回転を同様に決定する。

【0038】

光度的位置合わせ
画像キャプチャデバイス１１０および別の画像キャプチャデバイス１２０による露光差または不等応答によって、画像キャプチャデバイス１１０および別の画像キャプチャデバイス１２０は、露光および利得が異なるシーンの画像およびシーンの別画像をそれぞれ取り込む。上に詳述した通り、画像および別画像を幾何学的に位置合わせした後、コントローラ１４０は、視差および残存する幾何学的位置ずれによる微小な影響を軽減する２５５画素幅低域通過フィルタ等の低域通過フィルタで画像および別画像を不鮮明化する。そして、コントローラ１４０は、フィルタリングした別画像中の色チャンネルに対するフィルタリングした画像中の同じ色チャンネルの比を各画素の当該色チャンネルに乗じることによって、画像キャプチャデバイス１１０により取り込まれた画像の各色チャンネルを修正する。コントローラ１４０が画像ではなく別画像を回転させる実施形態において、コントローラ１４０は、色チャンネル中のフィルタリング画像に対する色チャンネル中のフィルタリング別画像の比を当該色チャンネル中の各画素に乗じることによって、別の画像キャプチャデバイス１２０により取り込まれた別画像の各色チャンネルを修正する。

【0039】

水平および垂直視差の補正
画像キャプチャデバイス１１０からの画像および別の画像キャプチャデバイス１２０からの別画像を幾何学的に位置合わせした後も、画像キャプチャデバイス１１０と別の画像キャプチャデバイス１２０とのオフセットにより、画像と別画像との間には水平および垂直視差が残る。画像と別画像との水平または垂直視差は、画像キャプチャデバイス１１０または別の画像キャプチャデバイス１２０から、画像キャプチャデバイス１１０または別の画像キャプチャデバイス１２０により撮像されたシーン中の点までの距離および画像キャプチャデバイス１１０と別の画像キャプチャデバイス１２０との間の見掛けの瞳孔間隔に反比例する。見掛けの瞳孔間隔は、画像キャプチャデバイス１１０と別の画像キャプチャデバイス１２０との間の線の法線から離れる水平方位角の余弦とともに変化する。また、見掛けの瞳孔間隔は、水平線の上下の垂直高度角とともに変動する。

【0040】

図３は、地面上の円３００に沿った点の例示的な撮像配置を示している。図３に示すように、画像キャプチャデバイス１１０および別の画像キャプチャデバイス１２０の真正面の点３０５の画像には、垂直視差がない。点３０５に関して、画像キャプチャデバイス１１０の焦点距離が、別の画像キャプチャデバイス１２０の焦点距離と等しいためである。ただし、図３の例は、画像キャプチャデバイス１１０および別の画像キャプチャデバイス１２０を接続する線を通る垂直面上にある水平方位角３１５が９０°の円３００上の点３１０を示しており、画像キャプチャデバイス１１０および別の画像キャプチャデバイス１２０の焦点距離は異なる。さらに、図３は、垂直高度角４５°において、円３００を含む地面の上方で円３００の半径３２５が画像キャプチャデバイス１１０の高さおよび別の画像キャプチャデバイス１２０の高さと等しい場合、画像キャプチャデバイス１１０の垂直高度角３２０Ａおよび垂直高度角３２０Ｂが１°よりわずかに大きく異なるため、ユーザの眼では位置合わせできない画像と別画像との垂直視差が生じる例を示している。

【0041】

図４は、画像キャプチャデバイス１１０を含む水平面からの特定の下方角における平面に沿った画像キャプチャデバイス１１０の水平視差４１０の変化と、画像キャプチャデバイス１１０および別の画像キャプチャデバイス１２０を含む水平面からの特定の下方角における平面に沿った画像キャプチャデバイス１１０および別の画像キャプチャデバイス１２０の水平視差４２０の変化と、画像キャプチャデバイス１１０および別の画像キャプチャデバイス１２０を含む水平面からの特定の下方角における平面に沿った画像キャプチャデバイス１１０および別の画像キャプチャデバイス１２０の垂直視差４３０の変化と、を示している。固定奥行きに対して水平視差を一定の値に維持することにより、ユーザは、水平視差からデプスキューをより容易に求めることができる。図４に示すように、特定の高度角の場合、水平視差は、画像キャプチャデバイス１１０および別の画像キャプチャデバイス１２０の真正面の点で所望値４１５を有し、画像キャプチャデバイス１１０および別の画像キャプチャデバイス１２０の左右９０°でゼロまで低下し、画像キャプチャデバイス１１０および別の画像キャプチャデバイス１２０の基準面の真後ろの点で所望値４１５の逆数４１７を有する。

【0042】

画像キャプチャデバイス１１０および別の画像キャプチャデバイス１２０の背後の位置について水平視差の所望値４１５を有するように、コントローラ１４０は、画像キャプチャデバイス１１０により取り込まれた画像の一部を、別の画像キャプチャデバイス１２０により取り込まれた別画像の一部と交換する。図４に示すように、画像キャプチャデバイス１１０の背後の位置については、水平視差が画像キャプチャデバイス１１０の所望値４１５の逆数４１７である。別の画像キャプチャデバイス１２０の基準面の前の位置の画像の水平視差についても、画像キャプチャデバイス１２０の所望値の逆数である。したがって、別の画像キャプチャデバイス１２０の基準面の背後の位置の画像の水平視差は、画像キャプチャデバイス１１０の水平視差の所望値４１５を有するため、画像キャプチャデバイス１１０の基準面の背後の位置の画像を別の画像キャプチャデバイス１２０の基準面の背後の位置の別画像と交換することにより、画像キャプチャデバイス１１０の基準面の背後の位置の画像は、画像キャプチャデバイス１１０の水平視差の所望値４１５を有するか、または、画像キャプチャデバイス１１０の水平視差の所望値にごく近くなる。また、上記交換によって、別の画像キャプチャデバイス１２０の基準面の背後の位置の画像は、別の画像キャプチャデバイス１２０の水平視差の所望値を有するか、または、別の画像キャプチャデバイス１２０の水平視差の所望値にごく近くなる。

【0043】

コントローラ１４０は、画像から別画像への高密度オプティカルフローおよび別画像から画像への高密度オプティカルフローを算出することによって、画像キャプチャデバイス１１０からの画像と別の画像キャプチャデバイス１２０からの別画像との水平および垂直視差をさらに補正するようにしてもよい。ギャップなしで画像および別画像を処理するため、コントローラ１４０は、画像および別画像中の各画素へのフローベクトルを反復的に探索する（すなわち、終点から始点へのフローマッピングを行う）。種々の実施形態においては、画像および別画像に対してオプティカルフローが決まるため、各画素をどこまでフロー処理するかを決定した後、コントローラ１４０は、長さ半分のフローを用いて、画像および別画像を修正する。

【0044】

特定の奥行きについて、画像キャプチャデバイス１１０からの画像と別の画像キャプチャデバイス１２０からの別画像との間の水平視差をさらに補正するため、コントローラ１４０はまず、画像をフロー処理することにより、当該特定の奥行きの異なる位置について、画像キャプチャデバイス１１０と別の画像キャプチャデバイス１２０との間の線の法線から離れる水平方位角の余弦の絶対値に対する定数の比である倍数だけ、水平視差を増大せる。たとえば、θが画像キャプチャデバイス１１０と別の画像キャプチャデバイス１２０との間の線の法線から離れる水平方位角を表す場合、コントローラ１４０は、画像をフロー処理して、１／｜ｃｏｓ（θ）｜の倍数だけ、画像と別画像との間の水平視差を増大させる。水平視差を増大させた後、コントローラ１４０は、画像キャプチャデバイス１１０の基準面の背後の位置に対応する画像の部分を、別の画像キャプチャデバイス１２０の基準面の背後の位置に対応する別画像の部分と交換する。コントローラ１４０は、別画像に同様の算出を実行して、画像と別画像との間の水平視差を補正するようにしてもよい。

【0045】

画像と別画像との垂直歪みをオフセットさせるため、コントローラ１４０は、画像および別画像のオプティカルフローマップの垂直成分を二等分する。コントローラ１４０は、画像中の画素へのフローベクトルを探索する場合、画像のオプティカルフローマップの半分を使用する。同様に、コントローラ１４０は、別画像中の画素へのフローベクトルを探索する場合、別画像のオプティカルフローマップのもう半分を使用する。このような垂直歪みの補償によって、コンテンツの地面に目を向ける場合に、画像および別画像からのステレオコンテンツをユーザが後で閲覧する際の眼精疲労が抑えられるとともに、垂直視差が少ない水平線に近いステレオコンテンツのエリアの視認が容易となる。

【0046】

画像キャプチャデバイス１１０と別の画像キャプチャデバイス１２０との間の線の法線から離れる水平方位角が約９０°または－９０°の領域においては、画像キャプチャデバイス１１０により取り込まれた画像が別の画像キャプチャデバイス１２０を含むか、または、別の画像キャプチャデバイス１２０により取り込まれた画像が画像キャプチャデバイス１１０を含む。さらに、画像キャプチャデバイス１１０と別の画像キャプチャデバイス１２０との間の線の法線から離れる水平方位角が約９０°または－９０°の領域においては、水平視差がゼロまで低下する（ただし、画像キャプチャデバイス１１０と別の画像キャプチャデバイス１２０との間の線の法線から離れる水平方位角の余弦に対する定数の比に基づく倍数は、無限大に近づいて、水平視差の低下を補償しようとする）。図５は、画像キャプチャデバイス１１０により取り込まれた画像が別の画像キャプチャデバイス１２０を含む場合の画像キャプチャデバイス１１０と別の画像キャプチャデバイス１２０との間の線の法線から離れる水平方位角の範囲５１０を示している。また同様に、図５は、別の画像キャプチャデバイス１２０により取り込まれた画像が画像キャプチャデバイス１１０を含む場合の画像キャプチャデバイス１１０と別の画像キャプチャデバイス１２０との間の線の法線から離れる水平方位角の別の範囲５２０を示している。

【0047】

上記両者を補償するため、コントローラ１４０は、画像キャプチャデバイス１１０と別の画像キャプチャデバイス１２０との間の線の法線から離れる水平方位角がある範囲内となる領域について、別の画像キャプチャデバイス１２０により取り込まれた画像データを画像キャプチャデバイス１１０により取り込まれた画像データで置き換える。たとえば、コントローラ１４０は、画像キャプチャデバイス１１０と別の画像キャプチャデバイス１２０との間の線の法線から離れる水平方位角が－１００°より大きく－８０°より小さい場合、別の画像キャプチャデバイス１２０により取り込まれた画像データを画像キャプチャデバイス１１０により取り込まれた画像データで置き換える。同様に、画像キャプチャデバイス１１０と別の画像キャプチャデバイス１２０との間の線の法線から離れる水平方位角が別の範囲内となる領域について、コントローラ１４０は、画像キャプチャデバイス１１０により取り込まれた画像データを別の画像キャプチャデバイス１２０により取り込まれた画像データで置き換える。たとえば、コントローラ１４０は、画像キャプチャデバイス１１０と別の画像キャプチャデバイス１２０との間の線の法線から離れる水平方位角が８０°より大きく１００°より小さい場合、画像キャプチャデバイス１１０により取り込まれた画像データを別の画像キャプチャデバイス１２０により取り込まれた画像データで置き換える。また、コントローラ１４０は、画像キャプチャデバイス１１０と別の画像キャプチャデバイス１２０との間の線の法線から離れる水平方位角が上記範囲（たとえば、－１００°より大きく－８０°より小さい）の閾値量だけ外側（たとえば、閾値量だけ－１００°より小さく、閾値量だけ－８０°より大きい）の位置における水平視差の値をサンプリングすることにより、当該水平方位角が当該範囲内となる領域にわたって、水平視差を線形補間するようにしてもよい。同様に、コントローラ１４０は、画像キャプチャデバイス１１０と別の画像キャプチャデバイス１２０との間の線の法線から離れる水平方位角が上記別の範囲（たとえば、８０°より大きく１００°より小さい）の閾値量だけ外側（たとえば、閾値量だけ８０°より小さく、閾値量だけ１００°より大きい）の位置における水平視差の値をサンプリングすることにより、当該水平方位角が当該範囲内となる領域にわたって、水平視差を線形補間する。

【0048】

図６は、画像キャプチャデバイス１１０により取り込まれた画像６１０から水平視差を補正するとともに、別の画像キャプチャデバイス１２０を除去することによって、修正画像６３０を生成する概念図である。図６の例において、修正画像６３０中の領域６１５は、－８０°～－１００°の画像キャプチャデバイス１１０と別の画像キャプチャデバイス１２０との間の線の法線から離れる水平方位角の範囲に対応するため、コントローラ１４０は、－８０°～－１００°の水平方位角について、別の画像キャプチャデバイス１２０により取り込まれた画像データを画像キャプチャデバイス１１０により取り込まれた画像データで置き換えることにより修正画像６３０を生成する。

【0049】

修正画像を生成するため、コントローラ１４０は、前述の視差マッピングを反転してその位置で対応するフローを調べることにより、水平方位角が－１００°より特定量だけ小さな修正画像６３０中の位置に対応する別の画像キャプチャデバイス１２０により取り込まれた別画像６２０中の開始位置を識別する。そして、コントローラ１４０は、上に詳しく説明した通り、別画像６２０から画像６１０へのオプティカルフローマップを用いて、別画像６２０中の識別位置に対応する画像６１０中の位置を決定する。また、コントローラ１４０は、前述の視差マッピングを反転することにより、水平方位角が－８０°より特定量だけ大きな修正画像６３０中の別の位置に対応する画像６１０中の終了位置を識別する。その後、コントローラ１４０は、別画像６２０中の識別位置に対応する画像６１０中の位置と画像６１０中の終了位置との間の画素を再サンプリングするとともに、修正画像６３０中の位置と修正画像６３０中の別の位置との間の線に沿った修正画像６３０中の画素を埋める。

【0050】

他の実施形態において、コントローラ１４０は、画像キャプチャデバイス１１０からの画像および別の画像キャプチャデバイス１２０からの別画像を、奥行きに基づく画像と別画像との間の画素の移動量を示すエピポーラ曲線のマッピングによって水平線を形成する「横正距円筒」フォーマットへと変換することによって、水平および垂直視差を補償する。横正距円筒フォーマットにおいて、コントローラ１４０は、１つまたは複数の立体マッチング法を画像および別画像に適用する。また、いくつかの実施形態において、コントローラ１４０は、重みが立体マッチング信頼に等しくて奥行きの逆数となる加重プッシュプルアルゴリズムを適用する。あるいは、コントローラ１４０は、正距円筒フォーマットの画像および別画像を受信して、当該画像および別画像をキューブマップ表示に変換する。

【0051】

概要
上記実施形態に関する記述は、説明を目的として提示しており、何ら網羅的なものでもなければ、特許権を開示の厳密な形態に制限するものでもない。当業者には当然のことながら、上記開示に照らして、多くの改良および変形が可能である。

【0052】

本明細書の一部では、情報に関する算出のアルゴリズムおよび記号的表現の観点で実施形態を説明している。これらのアルゴリズム的説明および表現は一般的に、データ処理技術の当業者が他の当業者に対して自身の仕事の内容を効果的に伝えるために使用する。これらの動作は、機能的、計算的、または論理的に説明しているが、コンピュータプログラムまたは同等の電気回路、マイクロコード等によって実装されることが了解される。さらに、一般性を失わずに、これら動作の構成をモジュールとして参照することが場合によっては都合が良いことも判明した。上記説明した動作および関連するモジュールは、ソフトウェア、ファームウェア、ハードウェア、またはこれらの任意の組み合わせにて具現化されるようになっていてもよい。

【0053】

本明細書に記載のステップ、動作、またはプロセスのいずれかは、１つもしくは複数のハードウェアまたはソフトウェアモジュールにより、単独または他のデバイスとの組み合わせにて実行または実装されるようになっていてもよい。一実施形態において、ソフトウェアモジュールには、コンピュータプロセッサによる実行で上記ステップ、動作、またはプロセスのいずれかまたはすべてを実行可能なコンピュータプログラムコードを含むコンピュータ可読媒体を含むコンピュータプログラム製品が実装されている。

【0054】

また、実施形態は、本明細書の動作を実行する装置に関していてもよい。この装置は、所要目的で特別に構成されるようになっていてもよいし、および／または内部に格納されたコンピュータプログラムによって選択的に起動もしくは再設定される汎用コンピュータ機器を含んでいてもよい。このようなコンピュータプログラムは、コンピュータのシステムバスに結合可能な有形の持続性コンピュータ可読記憶媒体または電子的命令の格納に適した任意の種類の媒体に格納されていてもよい。さらに、本明細書において言及する如何なるコンピュータシステムも、シングルプロセッサを具備していてもよいし、コンピュータ機能を増強するためにマルチプロセッサ設計を採用したアーキテクチャであってもよい。

【0055】

また、本発明の実施形態は、本明細書に記載のコンピュータプロセスにより生産された製品に関していてもよい。このような製品は、コンピュータプロセスによって生じた情報を含んでいてもよく、この情報は、有形の持続性コンピュータ可読記憶媒体に格納されるとともに、コンピュータプログラム製品または本明細書に記載の他のデータ組み合わせの任意の実施形態を含んでいてもよい。

【0056】

最後に、本明細書で使用される言語は、主として読みやすさおよび説明を目的として選択されており、本発明の主題を画定または制限するように選択されていない可能性がある。したがって、本特許権の範囲は、この詳細な説明によってではなく、むしろ、本明細書に基づく出願に由来する任意の請求項によって限定されるものである。したがって、実施形態の開示内容は、上記開示に基づく出願に由来する請求項によって特定される特許権の範囲の説明を意図したものであって、何ら限定的なものではない。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】