知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-01-17
(45)【発行日】2022-02-10
(54)【発明の名称】投影画像構築方法及び装置
(51)【国際特許分類】
G06T 3/00 20060101AFI20220203BHJP
【ＦＩ】
G06T3/00 730
【請求項の数】
8
(21)【出願番号】P 2019533268
(86)(22)【出願日】2017-08-30
(65)【公表番号】
(43)【公表日】2019-09-19
(86)【国際出願番号】 CN2017099686
(87)【国際公開番号】W WO2018113339
(87)【国際公開日】2018-06-28
【審査請求日】2019-03-05
(31)【優先権主張番号】201611187138.2
(32)【優先日】2016-12-20
(33)【優先権主張国・地域又は機関】CN
【前置審査】
(73)【特許権者】
【識別番号】517212835
【氏名又は名称】北京奇▲芸▼世▲紀▼科技有限公司
【氏名又は名称原語表記】Ｂｅｉｊｉｎｇ Ｑｉｙｉ Ｃｅｎｔｕｒｙ Ｓｃｉｅｎｃｅ ＆ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ．
【住所又は居所原語表記】１０／Ｆ ＆ １１／Ｆ， Ｎｏ． ２ Ｈａｉｄｉａｎ Ｎｏｒｔｈ １ｓｔ Ｓｔｒｅｅｔ， Ｈａｉｄｉａｎ Ｄｉｓｔｒｉｃｔ， Ｂｅｉｊｉｎｇ， Ｃｈｉｎａ
(74)【代理人】
【識別番号】100103894
【弁理士】
【氏名又は名称】家入 健
(72)【発明者】
【氏名】諸加丹
(72)【発明者】
【氏名】王涛
(72)【発明者】
【氏名】劉鴻彬
【審査官】▲広▼島 明芳
(56)【参考文献】
【文献】特開２０１４－１３４８５６（ＪＰ，Ａ）
【文献】特開２００６－３０９８０２（ＪＰ，Ａ）
【文献】若狭 一樹，全天球カメラとスマートフォンを用いた都市の全方位緑視率測定手法の提案，東京大学大学院新領域創成科学研究科社会文化環境学専攻 ２０１５年度修士論文，2016年03月24日
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ １／００ － ７／９０
(57)【特許請求の範囲】
【請求項1】
投影画像を構築する方法であって、円筒面正積投影モデル（cylindrical surface equal-area projection model）を用いて正距円筒パノラマ画像（equirectangular panoramic image）を投影して円筒面正積投影画像（cylindrical surface equal-area projection image）を取得し、
前記円筒面正積投影画像における各画素の２次元座標を取得し、
前記円筒面正積投影画像の各画素の取得された２次元座標を座標変換して、前記円筒面正積投影画像の各画素に対応する前記正距円筒パノラマ画像の２次元座標を取得し、
前記正距円筒パノラマ画像における各画素の色情報と、前記円筒面正積投影画像における各画素に対応する前記正距円筒パノラマ画像において取得された２次元座標とに基づいて、前記円筒面正積投影画像に対して画素補間を行い、円筒面正積投影変換されたパノラマ画像を生成することを備え、
前記円筒面正積投影画像の各画素の前記２次元座標を座標変換して、前記円筒面正積投影画像の各画素に対応する前記正距円筒パノラマ画像内の２次元座標を取得することは、
前記円筒面正積投影画像の各画素の取得された２次元座標に対して式
【数38】
ここで、ｘは前記正距円筒パノラマ画像における画素の２次元座標の横座標を表し、ｙは前記正距円筒パノラマ画像における画素の２次元座標の縦座標を表し、ｕは前記円筒面正積投影画像の画素の横座標を表し、ｖは前記円筒面正積投影画像の画素の縦座標を表し、ｍ、ｎはそれぞれ前記正距円筒パノラマ画像の高さ、幅を表し、πはＰＩを表す、
方法。
【請求項2】
請求項１に記載の方法であって、前記正距円筒パノラマ画像における各画素の色情報と、前記円筒面正積投影画像における各画素に対応する前記正距円筒パノラマ画像において取得された２次元座標とに基づいて、前記円筒面正積投影画像に対して画素補間を行い、前記円筒面正積投影変換されたパノラマ画像を生成することは、前記正距円筒パノラマ画像における各画素の色情報と、前記円筒面正積投影画像における各画素に対応する前記正距円筒パノラマ画像において取得された２次元座標とに基づいて、バイリニア補間アルゴリズムを用いて、前記円筒面正積投影画像に対して画素補間を行い、前記円筒面正積投影変換されたパノラマ画像を生成することを含む。
【請求項3】
請求項１に記載の方法であって、前記正距円筒パノラマ画像における各画素の色情報と、前記円筒面正積投影画像における各画素に対応する前記正距円筒パノラマ画像において取得された２次元座標とに基づいて、前記円筒面正積投影画像に対して画素補間を行い、前記円筒面正積投影変換されたパノラマ画像を生成することは、前記正距円筒パノラマ画像における各画素の色情報と、前記円筒面正積投影画像における各画素に対応する前記正距円筒パノラマ画像において取得された２次元座標とに基づいて、スプライン補間アルゴリズムを用いて、前記円筒面正積投影画像に対して画素補間を行い、前記円筒面正積投影変換されたパノラマ画像を生成することを含む。
【請求項4】
投影画像を構築する装置であって、円筒面正積投影モデルを用いて正距円筒パノラマ画像を投影して円筒面正積投影画像を取得するのに用いられる、投影モジュールと、
前記円筒面正積投影画像における各画素の２次元座標を取得するのに用いられる、第１取得モジュールと、
前記円筒面正積投影画像の各画素の取得された２次元座標を座標変換して、前記円筒面正積投影画像の各画素に対応する前記正距円筒パノラマ画像の２次元座標を取得するのに用いられる、変換モジュールと、
前記正距円筒パノラマ画像における各画素の色情報と、前記円筒面正積投影画像における各画素に対応する前記正距円筒パノラマ画像において取得された２次元座標とに基づいて、前記円筒面正積投影画像に対して画素補間を行い、円筒面正積投影変換されたパノラマ画像を生成するのに用いられる、第１生成モジュールと、
を備え、
前記変換モジュールは、
前記円筒面正積投影画像の各画素の取得された２次元座標に対して式
【数39】
ここで、ｘは前記正距円筒パノラマ画像における画素の２次元座標の横座標を表し、ｙは前記正距円筒パノラマ画像における画素の２次元座標の縦座標を表し、ｕは前記円筒面正積投影画像の画素の横座標を表し、ｖは前記円筒面正積投影画像の画素の縦座標を表し、ｍ、ｎはそれぞれ前記正距円筒パノラマ画像の高さ、幅を表し、πはＰＩを表す、
装置。
【請求項5】
請求項４に記載の装置であって、前記第１生成モジュールは、
前記正距円筒パノラマ画像における各画素の色情報と、前記円筒面正積投影画像における各画素に対応する前記正距円筒パノラマ画像において取得された２次元座標とに基づいて、バイリニア補間アルゴリズムを用いて、前記円筒面正積投影画像に対して画素補間を行い、前記円筒面正積投影変換されたパノラマ画像を生成するのに用いられる、第１生成ユニットを含む。
【請求項6】
請求項４に記載の装置であって、前記第１生成モジュールは、
前記正距円筒パノラマ画像における各画素の色情報と、前記円筒面正積投影画像における各画素に対応する前記正距円筒パノラマ画像において取得された２次元座標とに基づいて、スプライン補間アルゴリズムを用いて、前記円筒面正積投影画像に対して画素補間を行い、前記円筒面正積投影変換されたパノラマ画像を生成するのに用いられる、第２生成ユニットを含む。
【請求項7】
プロセッサと、通信インターフェースと、メモリと、通信バスとを備え、前記プロセッサ、前記通信インターフェース、前記メモリは、前記通信バスを介して互いに通信する電子機器であって、前記メモリは、コンピュータプログラムを格納するのに用いられ、
前記プロセッサは、前記メモリに格納されたコンピュータプログラムを実行するときに、請求項１～３のいずれか一項に記載の方法のステップを実行するのに用いられる、
電子機器。
【請求項8】
コンピュータ可読記憶媒体であって、前記コンピュータ可読記憶媒体は、プロセッサによって実行されると、前記プロセッサに請求項１～３のいずれか一項に記載の方法のステップを実行させるコンピュータプログラムを格納する、コンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本願は、画像処理の分野に関し、より詳細には投影画像を構築するための方法及び装置に関する。
【背景技術】
【0002】
近年、パノラマカメラ（Ｇｏｏｇｌｅジャンプ、ＯＺＯ、Ｅｙｅｓｉｒ、Ｔｅｃｈｅ、Ｕｐａｎｏなど）や高度なバーチャルリアリティ（ＶＲ）ディスプレイデバイス（Ｏｃｕｌｕｓ ＶＲ、Ｓａｍｓｕｎｇ Ｇｅａｒ ＶＲ、ＨＴＣ ｖｉｖｅなど）の出現により、パノラマビデオは、技術の研究開発及び製品コンテンツの革新に多くの注目を集めており、ＶＲ映画館、パノラマゲーム、パノラマ教育、パノラマ医療、パノラマツーリズムなどの様々な分野で広く用いられている。
【発明の概要】
【発明が解決しようとする課題】
【0003】
ユーザが視聴するローカルビューコンテンツをプレーヤに明確に表示するには、通常、４Ｋ以上の超高解像度でパノラマビデオを撮影する必要がある。４Ｋ以上（３８４０ｐｘ ＊１９２０ｐｘ以上）の超高解像度ビデオは、大量の画素を有しているため、パノラマビデオの保存、圧縮、転送、デコード、レンダリングに大きなデータチャレンジをもたらす。大きなデータチャレンジでは、パノラマビデオの解像度とビットレートをどのように下げるかが、パノラマビデオで解決しなければならない重要な問題の１つとなっている。
【課題を解決するための手段】
【0004】
上述の技術的問題を解決するために、本願の実施形態は、パノラマ画像又はビデオの解像度及びビットレートを低減するために投影画像を構築するための方法及び装置を提供する。技術的解決策を以下に説明する。
【0005】
投影画像を構築する方法は、
円筒面正積投影モデル（cylindrical surface equal-area projection model）を用いて正距円筒パノラマ画像（equirectangular panoramic image）を投影して円筒面正積投影画像（cylindrical surface equal-area projection image）を取得し、
前記円筒面正積投影画像における各画素の２次元座標を取得し、
前記円筒面正積投影画像の各画素の取得された２次元座標を座標変換して、前記円筒面正積投影画像の各画素に対応する前記正距円筒パノラマ画像の２次元座標を取得し、
前記正距円筒パノラマ画像における各画素の色情報と、前記円筒面正積投影画像における各画素に対応する前記正距円筒パノラマ画像において取得された２次元座標とに基づいて、前記円筒面正積投影画像に対して画素補間を行い、円筒面正積投影変換されたパノラマ画像を生成することを備える。
円筒面正積投影モデル（cylindrical surface equal-area projection model）を用いて正距円筒パノラマ画像（equirectangular panoramic image）を投影して円筒面正積投影画像（cylindrical surface equal-area projection image）を取得し、
前記円筒面正積投影画像における各画素の２次元座標を取得し、
前記円筒面正積投影画像の各画素の取得された２次元座標を座標変換して、前記円筒面正積投影画像の各画素に対応する前記正距円筒パノラマ画像の２次元座標を取得し、
前記正距円筒パノラマ画像における各画素の色情報と、前記円筒面正積投影画像における各画素に対応する前記正距円筒パノラマ画像において取得された２次元座標とに基づいて、前記円筒面正積投影画像に対して画素補間を行い、円筒面正積投影変換されたパノラマ画像を生成することを備える。
【0006】
選択的に、前記円筒面正積投影画像の各画素の前記２次元座標を座標変換して、前記円筒面正積投影画像の各画素に対応する前記正距円筒パノラマ画像内の２次元座標を取得することは、
前記円筒面正積投影画像の各画素の取得された２次元座標に対して式
を用いて座標変換を行い、前記円筒面正積投影画像の各画素に対応する前記正距円筒パノラマ画像の前記２次元座標を取得することを含む。
ここで、ｘは前記正距円筒パノラマ画像における画素の２次元座標の横座標を表し、ｙは前記正距円筒パノラマ画像における画素の２次元座標の縦座標を表し、ｕは前記円筒面正積投影画像の画素の横座標を表し、ｖは前記円筒面正積投影画像の画素の縦座標を表し、ｍ、ｎはそれぞれ前記正距円筒パノラマ画像の高さ、幅を表し、πはＰＩを表す。
前記円筒面正積投影画像の各画素の取得された２次元座標に対して式
【数1】
ここで、ｘは前記正距円筒パノラマ画像における画素の２次元座標の横座標を表し、ｙは前記正距円筒パノラマ画像における画素の２次元座標の縦座標を表し、ｕは前記円筒面正積投影画像の画素の横座標を表し、ｖは前記円筒面正積投影画像の画素の縦座標を表し、ｍ、ｎはそれぞれ前記正距円筒パノラマ画像の高さ、幅を表し、πはＰＩを表す。
【0007】
選択的に、前記正距円筒パノラマ画像における各画素の色情報と、前記円筒面正積投影画像における各画素に対応する前記正距円筒パノラマ画像において取得された２次元座標とに基づいて、前記円筒面正積投影画像に対して画素補間を行い、前記円筒面正積投影変換されたパノラマ画像を生成することは、
前記正距円筒パノラマ画像における各画素の色情報と、前記円筒面正積投影画像における各画素に対応する前記正距円筒パノラマ画像において取得された２次元座標とに基づいて、バイリニア補間アルゴリズムを用いて、前記円筒面正積投影画像に対して画素補間を行い、前記円筒面正積投影変換されたパノラマ画像を生成することを含む。
前記正距円筒パノラマ画像における各画素の色情報と、前記円筒面正積投影画像における各画素に対応する前記正距円筒パノラマ画像において取得された２次元座標とに基づいて、バイリニア補間アルゴリズムを用いて、前記円筒面正積投影画像に対して画素補間を行い、前記円筒面正積投影変換されたパノラマ画像を生成することを含む。
【0008】
選択的に、前記正距円筒パノラマ画像における各画素の色情報と、前記円筒面正積投影画像における各画素に対応する前記正距円筒パノラマ画像において取得された２次元座標とに基づいて、前記円筒面正積投影画像に対して画素補間を行い、前記円筒面正積投影変換されたパノラマ画像を生成することは、
前記正距円筒パノラマ画像における各画素の色情報と、前記円筒面正積投影画像における各画素に対応する前記正距円筒パノラマ画像において取得された２次元座標とに基づいて、スプライン補間アルゴリズムを用いて、前記円筒面正積投影画像に対して画素補間を行い、前記円筒面正積投影変換されたパノラマ画像を生成することを含む。
前記正距円筒パノラマ画像における各画素の色情報と、前記円筒面正積投影画像における各画素に対応する前記正距円筒パノラマ画像において取得された２次元座標とに基づいて、スプライン補間アルゴリズムを用いて、前記円筒面正積投影画像に対して画素補間を行い、前記円筒面正積投影変換されたパノラマ画像を生成することを含む。
【0009】
投影画像を構築する装置は、
円筒面正積投影モデルを用いて正距円筒パノラマ画像を投影して円筒面正積投影画像を取得するのに用いられる、投影モジュールと、
前記円筒面正積投影画像における各画素の２次元座標を取得するのに用いられる、第１取得モジュールと、
前記円筒面正積投影画像の各画素の取得された２次元座標を座標変換して、前記円筒面正積投影画像の各画素に対応する前記正距円筒パノラマ画像の２次元座標を取得するのに用いられる、変換モジュールと、
前記正距円筒パノラマ画像における各画素の色情報と、前記円筒面正積投影画像における各画素に対応する前記正距円筒パノラマ画像において取得された２次元座標とに基づいて、前記円筒面正積投影画像に対して画素補間を行い、円筒面正積投影変換されたパノラマ画像を生成するのに用いられる、第１生成モジュールと、
を備える。
円筒面正積投影モデルを用いて正距円筒パノラマ画像を投影して円筒面正積投影画像を取得するのに用いられる、投影モジュールと、
前記円筒面正積投影画像における各画素の２次元座標を取得するのに用いられる、第１取得モジュールと、
前記円筒面正積投影画像の各画素の取得された２次元座標を座標変換して、前記円筒面正積投影画像の各画素に対応する前記正距円筒パノラマ画像の２次元座標を取得するのに用いられる、変換モジュールと、
前記正距円筒パノラマ画像における各画素の色情報と、前記円筒面正積投影画像における各画素に対応する前記正距円筒パノラマ画像において取得された２次元座標とに基づいて、前記円筒面正積投影画像に対して画素補間を行い、円筒面正積投影変換されたパノラマ画像を生成するのに用いられる、第１生成モジュールと、
を備える。
【0010】
選択的に、前記変換モジュールは、
前記円筒面正積投影画像の各画素の取得された２次元座標に対して式
を用いて座標変換を行い、前記円筒面正積投影画像の各画素に対応する前記正距円筒パノラマ画像の前記２次元座標を取得するのに用いられる、変換ユニットを含む。
ここで、ｘは前記正距円筒パノラマ画像における画素の２次元座標の横座標を表し、ｙは前記正距円筒パノラマ画像における画素の２次元座標の縦座標を表し、ｕは前記円筒面正積投影画像の画素の横座標を表し、ｖは前記円筒面正積投影画像の画素の縦座標を表し、ｍ、ｎはそれぞれ前記正距円筒パノラマ画像の高さ、幅を表し、πはＰＩを表す。
前記円筒面正積投影画像の各画素の取得された２次元座標に対して式
【数2】
ここで、ｘは前記正距円筒パノラマ画像における画素の２次元座標の横座標を表し、ｙは前記正距円筒パノラマ画像における画素の２次元座標の縦座標を表し、ｕは前記円筒面正積投影画像の画素の横座標を表し、ｖは前記円筒面正積投影画像の画素の縦座標を表し、ｍ、ｎはそれぞれ前記正距円筒パノラマ画像の高さ、幅を表し、πはＰＩを表す。
【0011】
選択的に、前記第１生成モジュールは、
前記正距円筒パノラマ画像における各画素の色情報と、前記円筒面正積投影画像における各画素に対応する前記正距円筒パノラマ画像において取得された２次元座標とに基づいて、バイリニア補間アルゴリズムを用いて、前記円筒面正積投影画像に対して画素補間を行い、前記円筒面正積投影変換されたパノラマ画像を生成するのに用いられる、第１生成ユニットを含む。
前記正距円筒パノラマ画像における各画素の色情報と、前記円筒面正積投影画像における各画素に対応する前記正距円筒パノラマ画像において取得された２次元座標とに基づいて、バイリニア補間アルゴリズムを用いて、前記円筒面正積投影画像に対して画素補間を行い、前記円筒面正積投影変換されたパノラマ画像を生成するのに用いられる、第１生成ユニットを含む。
【0012】
選択的に、前記第１生成モジュールは、
前記正距円筒パノラマ画像における各画素の色情報と、前記円筒面正積投影画像における各画素に対応する前記正距円筒パノラマ画像において取得された２次元座標とに基づいて、スプライン補間アルゴリズムを用いて、前記円筒面正積投影画像に対して画素補間を行い、前記円筒面正積投影変換されたパノラマ画像を生成するのに用いられる、第２生成ユニットを含む。
前記正距円筒パノラマ画像における各画素の色情報と、前記円筒面正積投影画像における各画素に対応する前記正距円筒パノラマ画像において取得された２次元座標とに基づいて、スプライン補間アルゴリズムを用いて、前記円筒面正積投影画像に対して画素補間を行い、前記円筒面正積投影変換されたパノラマ画像を生成するのに用いられる、第２生成ユニットを含む。
【0013】
プロセッサと、通信インターフェースと、メモリと、通信バスとを備え、前記プロセッサ、前記通信インターフェース、前記メモリは、前記通信バスを介して互いに通信する電子機器であって、
前記メモリは、コンピュータプログラムを格納するのに用いられ、
前記プロセッサは、前記メモリに格納されたコンピュータプログラムを実行するときに、本願の実施の形態に係る投影画像を構築する方法のステップを実行するのに用いられる。投影画像を構築する方法は、
円筒面正積投影モデルを用いて正距円筒パノラマ画像を投影して円筒面正積投影画像を取得し、
前記円筒面正積投影画像における各画素の２次元座標を取得し、
前記円筒面正積投影画像の各画素の取得された２次元座標を座標変換して、前記円筒面正積投影画像の各画素に対応する前記正距円筒パノラマ画像の２次元座標を取得し、
前記正距円筒パノラマ画像における各画素の色情報と、前記円筒面正積投影画像における各画素に対応する前記正距円筒パノラマ画像において取得された２次元座標とに基づいて、前記円筒面正積投影画像に対して画素補間を行い、円筒面正積投影変換されたパノラマ画像を生成することを備える。
前記メモリは、コンピュータプログラムを格納するのに用いられ、
前記プロセッサは、前記メモリに格納されたコンピュータプログラムを実行するときに、本願の実施の形態に係る投影画像を構築する方法のステップを実行するのに用いられる。投影画像を構築する方法は、
円筒面正積投影モデルを用いて正距円筒パノラマ画像を投影して円筒面正積投影画像を取得し、
前記円筒面正積投影画像における各画素の２次元座標を取得し、
前記円筒面正積投影画像の各画素の取得された２次元座標を座標変換して、前記円筒面正積投影画像の各画素に対応する前記正距円筒パノラマ画像の２次元座標を取得し、
前記正距円筒パノラマ画像における各画素の色情報と、前記円筒面正積投影画像における各画素に対応する前記正距円筒パノラマ画像において取得された２次元座標とに基づいて、前記円筒面正積投影画像に対して画素補間を行い、円筒面正積投影変換されたパノラマ画像を生成することを備える。
【0014】
コンピュータ可読記憶媒体であって、前記コンピュータ可読記憶媒体は、プロセッサによって実行されると、本願の実施の形態に係る投影画像を構築する方法のステップを実行させるコンピュータプログラムを格納する。投影画像を構築する方法は、
円筒面正積投影モデルを用いて正距円筒パノラマ画像を投影して円筒面正積投影画像を取得し、
前記円筒面正積投影画像における各画素の２次元座標を取得し、
前記円筒面正積投影画像の各画素の取得された２次元座標を座標変換して、前記円筒面正積投影画像の各画素に対応する前記正距円筒パノラマ画像の２次元座標を取得し、
前記正距円筒パノラマ画像における各画素の色情報と、前記円筒面正積投影画像における各画素に対応する前記正距円筒パノラマ画像において取得された２次元座標とに基づいて、前記円筒面正積投影画像に対して画素補間を行い、円筒面正積投影変換されたパノラマ画像を生成することを備える。
円筒面正積投影モデルを用いて正距円筒パノラマ画像を投影して円筒面正積投影画像を取得し、
前記円筒面正積投影画像における各画素の２次元座標を取得し、
前記円筒面正積投影画像の各画素の取得された２次元座標を座標変換して、前記円筒面正積投影画像の各画素に対応する前記正距円筒パノラマ画像の２次元座標を取得し、
前記正距円筒パノラマ画像における各画素の色情報と、前記円筒面正積投影画像における各画素に対応する前記正距円筒パノラマ画像において取得された２次元座標とに基づいて、前記円筒面正積投影画像に対して画素補間を行い、円筒面正積投影変換されたパノラマ画像を生成することを備える。
【0015】
従来技術と比較して、本願には以下の利点がある。
【0016】
パノラマ画像又はパノラマビデオのストレージフォーマットとしての正距円筒パノラマ画像は、現在、パノラマ画像又はパノラマビデオのより高い解像度及びより大きなビットレートの原因となる。これは、正距円筒パノラマ画像の同じテクスチャに対して、極付近でそれが占める面積は、赤道付近でそれが占める面積よりも大きいためである。本願では、パノラマ画像又はパノラマ動画の解像度及びビットレートを低減するために、パノラマ画像のストレージフォーマットとして、正距円筒パノラマ画像の代わりに円筒面正積投影変換されたパノラマ画像を用いる。
【0017】
パノラマ画像又はパノラマビデオのストレージフォーマットとして、円筒面正積投影変換されたパノラマ画像を用いることにより、パノラマ画像又はビデオの解像度及びビットレートを低減することができる。これは、正距円筒パノラマ画像を円筒面正積投影モデルで投影することで、赤道付近のテクスチャに変形や小さな変形がないことが保証されるため、パノラマ画像又はパノラマビデオの精細度が保証され、正距円筒パノラマ画像と比較して、投影によって得られた円筒面正積投影画像の２つの極のテクスチャは、ｙ軸方向にさらに圧縮され、それによって、２つの極のテクスチャ面積及び赤道付近のテクスチャ面積とが等しくなることが保証されるからである。従って、画素補間後に得られる円筒面正積投影変換されたパノラマ画像によって、パノラマ画像又はパノラマビデオの解像度及びビットレートを低減させることができる。
【0018】
本願の実施形態の技術的解決策を説明するために、実施形態の説明に必要とされる図面の簡単な紹介が与えられる。明らかに、以下の説明における図面は本願のいくつかの実施形態を示すに過ぎず、当業者は創造的な努力なしにこれらの図面から他の図面を導き出すことができる。
【図面の簡単な説明】
【0019】
【発明を実施するための形態】
【0020】
本願の実施形態の図面を参照して、本願の実施形態の技術的解決策を以下に明確かつ完全に説明する。明らかに、記載された実施形態は、本願の全ての実施形態の代わりのいくつかの実施形態にすぎない。いかなる創造的な努力なしに本願の実施形態に基づいて当業者によって得られる他のすべての実施形態は、本願の範囲内である。
【0021】
実施の形態１
図１は、本願に係る投影画像を構築するための方法のフロー図を示しており、この方法は以下のステップＳ１１～Ｓ１４を含み得る。
図１は、本願に係る投影画像を構築するための方法のフロー図を示しており、この方法は以下のステップＳ１１～Ｓ１４を含み得る。
【0022】
ステップＳ１１では、円筒面正積投影モデルを用いて正距円筒パノラマ画像を投影して、円筒面正積投影画像を取得する。
【0023】
正距円筒パノラマ画像は、球面パノラマ画像、すなわちパノラマ画像又はパノラマビデオ用のストレージフォーマットである。正距円筒パノラマ画像と球面パノラマ画像との間の対応は、以下の通りである。
（λ、φ）は球面パノラマ画像の球面座標を表し、（ｘ、ｙ）は正距円筒パノラマ画像の画像座標を表す。
【数3】
【0024】
図２は、球面パノラマ画像を正距円筒パノラマ画像のフォーマットで格納したときに得られる正距円筒パノラマ画像を示す。図２に示すように、正距円筒パノラマ画像の変形則は、２つの極の円が水平方向に楕円に引き伸ばされるということである。つまり、正距円筒のサンプリングによって極付近のテクスチャが水平方向に引き伸ばされる。すなわち、同じテクスチャに対して、極付近でそれが占める面積は、赤道付近でそれが占める面積よりも大きい。図２に示すように、正距円筒パノラマ画像の変形則は、球面パノラマ画像（すなわち、パノラマ画像又はパノラマビデオ）の高解像度及びより大きいビットレートをもたらす。
【0025】
極での変形を減らして補正し、それによって球面パノラマ画像（すなわち、パノラマ画像又はパノラマビデオ）の解像度及びビットレートを低減するために、実施形態における円筒面正積投影モデルを用いて、正距投影パノラマ画像への投影が実行される。
【0026】
円筒面正積投影モデルを用いて正距円筒パノラマ画像を投影することにより、球面パノラマ画像（すなわち、パノラマ画像又はパノラマビデオ）の解像度及びビットレートを低減させることができる原理は、以下の通りである。
【0027】
図３は、円筒面正積投影モデルを用いて正距円筒パノラマ画像を投影して得られた円筒面正積投影画像を示している。図３に示すように、円筒面正積投影画像の変形則は、正距円筒パノラマ画像における２つの極の円がさらにｙ軸方向に圧縮されていることである。円筒面正積投影画像の変形則は、球面パノラマ画像における２次元サンプリング（球面ラジアンサンプリング）の均一性を保証し、その結果、極の円の面積は赤道の中心の円の面積と等しくなる。従って、球面パノラマ画像（すなわち、パノラマ画像又はパノラマビデオ）の解像度及びビットレートが低減する。
【0028】
具体的には、円筒面正積投影モデルを用いて正距円筒パノラマ画像を投影することは、
円筒面正積投影式
を使用して正距円筒パノラマ画像を投影する。
円筒面正積投影式
【数4】
【0029】
式
において、
ｘは円筒面正積投影画像の横座標、ｙは円筒面正積投影画像の縦座標、λは球面パノラマ画像における球面座標の横座標、φは球面パノラマ画像における球面座標の縦座標、φ０は、円筒面正積投影画像のアスペクト比を指定するための入力パラメータである。
【数5】
ｘは円筒面正積投影画像の横座標、ｙは円筒面正積投影画像の縦座標、λは球面パノラマ画像における球面座標の横座標、φは球面パノラマ画像における球面座標の縦座標、φ０は、円筒面正積投影画像のアスペクト比を指定するための入力パラメータである。
【0030】
φ０の値を設定することで、円筒面正積投影画像のアスペクト比を変えることができるため、円筒面正積投影画像の大きさをカスタマイズすることができる。
【0031】
このステップでは、投影により得られた円筒面正積投影画像には、各画素の２次元座標が存在するが、各画素に対する画素値は存在しない。
【0032】
ステップＳ１２では、円筒面正積投影画像の各画素の２次元座標が取得される。
【0033】
円筒面正積投影画像が取得された後、円筒面正積投影変換された完全なパノラマ画像を得るためには、円筒面正積投影画像を画素で埋める必要がある。円筒面正積投影画像を画素で埋めるためには、まず、円筒面正積投影画像の座標系を正距円筒パノラマ画像の座標系に変換する必要があり、それにより、円筒面正積投影画像の各座標に対応する画素値を、正距円筒パノラマ画像に対応する元の球面パノラマ画像中に見つけることができる。具体的な処理は、ステップＳ１２～Ｓ１４を含む。
【0034】
ステップＳ１３では、円筒面正積投影画像における各画素の取得された２次元座標を座標変換して、円筒面正積投影画像の各画素に対応する正距円筒パノラマ画像における２次元座標を取得する。
【0035】
ステップＳ１４では、正距円筒パノラマ画像における各画素の色情報と、円筒面正積投影画像における各画素に対応する正距円筒パノラマ画像において得られた２次元座標とに基づいて、円筒面正積投影画像に対して画素補間を行い、円筒面正積投影変換されたパノラマ画像を生成する。
【0036】
パノラマ画像又はパノラマビデオのストレージフォーマットとしての正距円筒パノラマ画像は、現在、パノラマ画像又はパノラマビデオのより高い解像度及びより大きなビットレートの原因となる。これは、正距円筒パノラマ画像の同じテクスチャに対して、極付近でそれが占める面積は、赤道付近でそれが占める面積よりも大きいためである。本願では、パノラマ画像又はパノラマ動画の解像度及びビットレートを低減するために、パノラマ画像のストレージフォーマットとして、正距円筒パノラマ画像の代わりに円筒面正積投影変換されたパノラマ画像を用いる。
【0037】
パノラマ画像又はパノラマビデオのストレージフォーマットとして、円筒面正積投影変換されたパノラマ画像を用いることにより、パノラマ画像又はビデオの解像度及びビットレートを低減することができる。これは、正距円筒パノラマ画像を円筒面正積投影モデルで投影することで、赤道付近のテクスチャに変形や小さな変形がないことが保証されるため、パノラマ画像又はパノラマビデオの精細度が保証され、正距円筒パノラマ画像と比較して、投影によって得られた円筒面正積投影画像の２つの極のテクスチャは、ｙ軸方向にさらに圧縮され、それによって、２つの極のテクスチャ面積及び赤道付近のテクスチャ面積とが等しくなることが保証されるからである。従って、画素補間後に得られる円筒面正積投影変換されたパノラマ画像によって、パノラマ画像又はパノラマビデオの解像度及びビットレートを低減させることができる。
【0038】
円筒面正積投影モデルを用いて正距円筒パノラマ画像を投影することで、２つの極のテクスチャをさらにｙ軸方向に圧縮する。これは、極付近の画像の精細度の低下につながるが、ほとんどの場合、注意は、パノラマ画像又はパノラマビデオの赤道付近の領域に集中している。従って、多くの用途において、極付近の画像の精細度の低減は表示効果に与える影響が少ない。
【0039】
本願では、円筒面正積投影画像における各画素の取得された２次元座標を座標変換して、円筒面正積投影画像の各画素に対応する正距円筒パノラマ画像における２次元座標を取得する処理は、具体的には、
円筒面等面積投影画像における各画素の取得された２次元座標に対して、式
を用いて座標変換を行い、円筒面正積投影画像の各画素に対応する正距円筒パノラマ画像における２次元座標を取得する。
円筒面等面積投影画像における各画素の取得された２次元座標に対して、式
【数6】
【0040】
式
において、ｘは正距円筒パノラマ画像における画素の２次元座標の横座標を表し、ｙは正距円筒パノラマ画像における画素の２次元座標の縦座標を表し、ｕは円筒面正積投影画像の画素の横座標を表し、ｖは円筒面正積投影画像の画素の縦座標を表し、ｍ、ｎはそれぞれ正距円筒パノラマ画像の高さ、幅を表し、πはＰＩを表す。
【数7】
【0041】
式
を生成するプロセスは、具体的には以下を含む。
球形パノラマ画像を円筒面等面積投影画像に投影するための式
を取得し、
ここで、式
において、ｘは円筒面正積投影画像の横座標、ｙは円筒面正積投影画像の縦座標、λは球面パノラマ画像における球面座標の横座標、φは球面パノラマ画像における球面座標の縦座標、φ０は、円筒面正積投影画像のアスペクト比を指定するための入力パラメータであり、
正距円筒パノラマ画像から球状パノラマ画像への座標変換関係
を取得し、
ここで、
において、ｍ、ｎはそれぞれ正距円筒パノラマ画像の高さ、幅を表し、ｘは正距円筒パノラマ画像内の画素の横座標を表し、ｙは正距円筒パノラマ画像の画素の縦座標を表す。
【数8】
球形パノラマ画像を円筒面等面積投影画像に投影するための式
【数9】
ここで、式
【数10】
正距円筒パノラマ画像から球状パノラマ画像への座標変換関係
【数11】
ここで、
【数12】
【0042】
正距円筒パノラマ画像から球面パノラマ画像への座標変換関係は、図４（ａ）及び図４（ｂ）に見ることができる。図４（ａ）は、正距円筒パノラマ画像の座標系を示し、図４（ｂ）は、緯度経度で表した球面パノラマ画像の球面座標系を示している。
【0043】
式
は、
球面パノラマ画像を円筒面正積投影画像に投影するための式
と正距円筒パノラマ画像から球面パノラマ画像への座標変換関係
とを数学的に組み合わせることによって得られる。
【数13】
球面パノラマ画像を円筒面正積投影画像に投影するための式
【数14】
【数15】
【0044】
正距円筒パノラマ画像における各画素の色情報と、円筒面正積投影画像における各画素に対応する正距円筒パノラマ画像において取得された２次元座標とに基づいて、円筒面正積投影画像に対して画素補間を行い、円筒面正積投影変換されたパノラマ画像を生成する処理は、
正距円筒パノラマ画像における各画素の色情報と、円筒面正積投影画像における各画素に対応する正距円筒パノラマ画像において取得された２次元座標とに基づいて、保管アルゴリズム（バイリニア補間アルゴリズム又はスプライン補間アルゴリズムなどの任意の既存の補間鳴子リズムであり得る）を用いて、円筒面正積投影画像に対して画素補間を行い、円筒面正積投影変換されたパノラマ画像を生成することを含む。
正距円筒パノラマ画像における各画素の色情報と、円筒面正積投影画像における各画素に対応する正距円筒パノラマ画像において取得された２次元座標とに基づいて、保管アルゴリズム（バイリニア補間アルゴリズム又はスプライン補間アルゴリズムなどの任意の既存の補間鳴子リズムであり得る）を用いて、円筒面正積投影画像に対して画素補間を行い、円筒面正積投影変換されたパノラマ画像を生成することを含む。
【0045】
具体的には、バイリニア補間アルゴリズムを用いて円筒面正積投影画像に対して画素補間を行い、円筒面正積投影変換されたパノラマ画像を生成することは、
正距円筒パノラマ画像の各画素の色情報と、円筒面正積投影画像の各画素に対応する正距円筒パノラマ画像において取得された２次元座標とをバイリニア補間モデルに入力し、
バイリニア補間モデルにより出力される円筒面正積投影変換されたパノラマパノラマ画像の各画素の画素値を取得する。
正距円筒パノラマ画像の各画素の色情報と、円筒面正積投影画像の各画素に対応する正距円筒パノラマ画像において取得された２次元座標とをバイリニア補間モデルに入力し、
バイリニア補間モデルにより出力される円筒面正積投影変換されたパノラマパノラマ画像の各画素の画素値を取得する。
【0046】
バイリニア補間モデルは、バイリニア補間アルゴリズムによって作成されたモデルである。
【0047】
スプライン補間アルゴリズムを用いて円筒面正積投影画像に対して画素補間を行い、円筒面正積投影変換されたパノラマ画像を生成することは、
正距円筒パノラマ画像の各画素の色情報と、円筒面正積投影画像の各画素に対応する正距円筒パノラマ画像において取得された２次元座標とをバイリニア補間モデルに入力し、
バイリニア補間モデルにより出力される円筒面正積投影変換されたパノラマパノラマ画像の各画素の画素値を取得する。
正距円筒パノラマ画像の各画素の色情報と、円筒面正積投影画像の各画素に対応する正距円筒パノラマ画像において取得された２次元座標とをバイリニア補間モデルに入力し、
バイリニア補間モデルにより出力される円筒面正積投影変換されたパノラマパノラマ画像の各画素の画素値を取得する。
【0048】
スプライン補間モデルは、スプライン補間アルゴリズムによって作成されたモデルである。
【0049】
以上説明した実施形態について、具体例を参照しつつ説明する。
【0050】
ステップ１：円筒面正積投影モデルを用いて正距円筒パノラマ画像を投影して円筒面正積投影画像を取得する。
【0051】
例えば、円筒面正積投影画像の幅ｗ及び高さｈを予め設定することができる。
【0052】
このステップでは、投影により得られた円筒面正積投影画像には、各画素の２次元座標ｕ、ｖが存在するが、各画素について画素値は存在しない。
【0053】
ステップ２：円筒面正積投影画像における各画素の２次元座標（ｕ、ｖ）を取得する。
【0054】
ステップ３：円筒面正積投影画像における各画素の取得された２次元座標を座標変換して、円筒面正積投影画像の各画素に対応する正距円筒パノラマ画像における２次元座標を取得することは、具体的には、
円筒面正積投影画像における各画素の取得された２次元座標を式
を用いて、
座標変換して、円筒面正積投影画像の各画素に対応する正距円筒パノラマ画像における２次元座標を取得するプロセスを含む。
ここで、ｘは前記正距円筒パノラマ画像における画素の２次元座標の横座標を表し、ｙは前記正距円筒パノラマ画像における画素の２次元座標の縦座標を表し、ｕは前記円筒面正積投影画像の画素の横座標を表し、ｖは前記円筒面正積投影画像の画素の縦座標を表し、ｍ、ｎはそれぞれ前記正距円筒パノラマ画像の高さ、幅を表し、πはＰＩを表す。ｕの値は０からｗ－１の範囲、すなわち［０、ｗ－１］であり、ｖの値は０からｈ－１の範囲、すなわち［０、ｈ－１］である。ｗは円筒面正積投影画像の幅、ｈは円筒面正積投影画像の高さを表す。
円筒面正積投影画像における各画素の取得された２次元座標を式
【数16】
座標変換して、円筒面正積投影画像の各画素に対応する正距円筒パノラマ画像における２次元座標を取得するプロセスを含む。
ここで、ｘは前記正距円筒パノラマ画像における画素の２次元座標の横座標を表し、ｙは前記正距円筒パノラマ画像における画素の２次元座標の縦座標を表し、ｕは前記円筒面正積投影画像の画素の横座標を表し、ｖは前記円筒面正積投影画像の画素の縦座標を表し、ｍ、ｎはそれぞれ前記正距円筒パノラマ画像の高さ、幅を表し、πはＰＩを表す。ｕの値は０からｗ－１の範囲、すなわち［０、ｗ－１］であり、ｖの値は０からｈ－１の範囲、すなわち［０、ｈ－１］である。ｗは円筒面正積投影画像の幅、ｈは円筒面正積投影画像の高さを表す。
【0055】
式
を生成するプロセスは、具体的には、以下を含む。
球面パノラマ画像を円筒面正積投影画像に投影するための式
を取得し、
ここで、式
において、ｕは円筒面正積投影画像の横座標、ｖは円筒面正積投影画像の縦座標、λは球面パノラマ画像における球面座標の横座標、φは球面パノラマ画像における球面座標の縦座標を表し、φ０は、円筒面正積投影画像のアスペクト比を指定するための入力パラメータであり、
正距円筒パノラマ画像から球状パノラマ画像への座標変換関係
を取得し、
ここで、
において、ｍ、ｎはそれぞれ正距円筒パノラマ画像の高さ、幅を表し、ｘは正距円筒パノラマ画像内の画素の横座標を表し、ｙは正距円筒パノラマ画像の画素の縦座標を表す。
【数17】
球面パノラマ画像を円筒面正積投影画像に投影するための式
【数18】
ここで、式
【数19】
正距円筒パノラマ画像から球状パノラマ画像への座標変換関係
【数20】
ここで、
【数21】
【0056】
正距円筒パノラマ画像から球面パノラマ画像への座標変換関係は、図４（ａ）及び図４（ｂ）に見ることができる。図４（ａ）は、正距円筒パノラマ画像の座標系を示し、図４（ｂ）は、緯度経度で表した球面パノラマ画像の球面座標系を示している。
【0057】
正距円筒パノラマ画像と円筒面正積投影画像との間の変換式
は、球面パノラマ画像を円筒面正積投影画像に投影するための式
と正距円筒パノラマ画像から球面パノラマ画像への座標変換関係
とを数学的に組み合わせることによって得られる。
【数22】
【数23】
【数24】
【0058】
ステップ４：正距円筒パノラマ画像における各画素の色情報と、円筒面正積投影画像における各画素に対応する正距円筒パノラマ画像において得られた２次元座標とに基づいて、円筒面正積投影画像に対して画素補間を行い、円筒面正積投影変換されたパノラマ画像を生成する。
【0059】
実施の形態２
上述した方法の実施形態によれば、この実施形態は、図５に示すように、投影画像を構築するための装置を提供する。投影画像を構築するための装置は、投影モジュール５１、第１取得モジュール５２、変換モジュール５３、第１生成モジュール５４を含む。
上述した方法の実施形態によれば、この実施形態は、図５に示すように、投影画像を構築するための装置を提供する。投影画像を構築するための装置は、投影モジュール５１、第１取得モジュール５２、変換モジュール５３、第１生成モジュール５４を含む。
【0060】
投影モジュール５１は、円筒面正積投影モデルを用いて正距円筒パノラマ画像を投影して円筒面正積投影画像を取得するのに用いられる。
【0061】
第１取得モジュール５２は、円筒面正積投影画像における各画素の２次元座標を取得するのに用いられる。
【0062】
変換モジュール５３は、円筒面正積投影画像の各画素の取得された２次元座標を座標変換して、円筒面正積投影画像の各画素に対応する正距円筒パノラマ画像の２次元座標を取得するのに用いられる。
【0063】
第１生成モジュール５４は、正距円筒パノラマ画像における各画素の色情報と、円筒面正積投影画像における各画素に対応する正距円筒パノラマ画像において取得された２次元座標とに基づいて、円筒面正積投影画像に対して画素補間を行い、円筒面正積投影変換されたパノラマ画像を生成するのに用いられる。
【0064】
本実施形態では、変換モジュール５３は、具体的には、
円筒面正積投影画像の各画素の取得された２次元座標に対して式
を用いて座標変換を行い、前記円筒面正積投影画像の各画素に対応する前記正距円筒パノラマ画像の前記２次元座標を取得するのに用いられる、変換ユニットを含む。
ここで、ｘは前記正距円筒パノラマ画像における画素の２次元座標の横座標を表し、ｙは前記正距円筒パノラマ画像における画素の２次元座標の縦座標を表し、ｕは前記円筒面正積投影画像の画素の横座標を表し、ｖは前記円筒面正積投影画像の画素の縦座標を表し、ｍ、ｎはそれぞれ前記正距円筒パノラマ画像の高さ、幅を表し、πはＰＩを表す。
円筒面正積投影画像の各画素の取得された２次元座標に対して式
【数25】
ここで、ｘは前記正距円筒パノラマ画像における画素の２次元座標の横座標を表し、ｙは前記正距円筒パノラマ画像における画素の２次元座標の縦座標を表し、ｕは前記円筒面正積投影画像の画素の横座標を表し、ｖは前記円筒面正積投影画像の画素の縦座標を表し、ｍ、ｎはそれぞれ前記正距円筒パノラマ画像の高さ、幅を表し、πはＰＩを表す。
【0065】
この実施形態では、投影画像を構築するための装置は、第２取得モジュール、第３取得モジュール、第２生成モジュールをさらに備える。
【0066】
第２取得モジュール、第３取得モジュール、第２生成モジュールは、式
を生成するのに用いられる。
【数26】
【0067】
第２取得モジュールは、球面パノラマ画像を円筒面正積投影画像に投影するための式
を取得するために用いられる。ここで、ｘは円筒面正積投影画像の横座標、ｙは円筒面正積投影画像の縦座標、λは球面パノラマ画像における球面座標の横座標、φは球面パノラマ画像における球面座標の縦座標、φ０は、円筒面正積投影画像のアスペクト比を指定するための入力パラメータである。
【数27】
【0068】
第３取得モジュールは、正距円筒パノラマ画像から球面パノラマ画像への座標変換関係
を取得するために用いられ、
ここで、ｍ、ｎはそれぞれ正距円筒パノラマ画像の高さ、幅を表し、ｘは正距円筒パノラマ画像内の画素の横座標を表し、ｙは正距円筒パノラマ画像の画素の縦座標を表す。
【数28】
ここで、ｍ、ｎはそれぞれ正距円筒パノラマ画像の高さ、幅を表し、ｘは正距円筒パノラマ画像内の画素の横座標を表し、ｙは正距円筒パノラマ画像の画素の縦座標を表す。
【0069】
第２生成モジュールは、球面パノラマ画像を円筒面正積投影画像に投影するための式
と、正距円筒パノラマ画像から球面パノラマ画像への座標変換関係
とを数学的に組み合わせることによって、
式
を得るために用いられる。
【数29】
【数30】
式
【数31】
【0070】
実施形態において、第１生成モジュール５４は、具体的には、第１生成ユニット又は第２生成ユニットを含み得る。
【0071】
第１生成ユニットは、正距円筒パノラマ画像における各画素の色情報と、円筒面正積投影画像における各画素に対応する前記正距円筒パノラマ画像において取得された２次元座標とに基づいて、バイリニア補間アルゴリズムを用いて、円筒面正積投影画像に対して画素補間を行い、円筒面正積投影変換されたパノラマ画像を生成するように構成されている。
【0072】
第２生成ユニットは、正距円筒パノラマ画像における各画素の色情報と、円筒面正積投影画像における各画素に対応する前記正距円筒パノラマ画像において取得された２次元座標とに基づいて、スプライン補間アルゴリズムを用いて、円筒面正積投影画像に対して画素補間を行い、円筒面正積投影変換されたパノラマ画像を生成するのに用いられる。
【0073】
上記実施形態の他の実施形態では、投影画像を構築するための装置は、第２取得モジュールと、第３取得モジュールと、第２生成モジュールとをさらに備える。
【0074】
第２取得モジュール、第３取得モジュール、第２生成モジュールは、式
を生成するのに用いられる。
【数32】
【0075】
第２取得モジュールは、球面パノラマ画像を円筒面正積投影画像に投影するための式
を取得するために用いられる。ここで、ｘは円筒面正積投影画像の横座標、ｙは円筒面正積投影画像の縦座標、λは球面パノラマ画像における球面座標の横座標、φは球面パノラマ画像における球面座標の縦座標、φ０は、円筒面正積投影画像のアスペクト比を指定するための入力パラメータである。
ｕの値は０からｗ－１の範囲、すなわち［０、ｗ－１］であり、ｖの値は０からｈ－１の範囲、すなわち［０、ｈ－１］である。ｗは円筒面正積投影画像の幅、ｈは円筒面正積投影画像の高さを表す。
【数33】
ｕの値は０からｗ－１の範囲、すなわち［０、ｗ－１］であり、ｖの値は０からｈ－１の範囲、すなわち［０、ｈ－１］である。ｗは円筒面正積投影画像の幅、ｈは円筒面正積投影画像の高さを表す。
【0076】
第３取得モジュールは、正距円筒パノラマ画像から球面パノラマ画像への座標変換関係
を取得するために用いられる。
ここで、ｍ、ｎはそれぞれ正距円筒パノラマ画像の高さ、幅を表し、ｘは正距円筒パノラマ画像内の画素の横座標を表し、ｙは正距円筒パノラマ画像の画素の縦座標を表す。
【数34】
ここで、ｍ、ｎはそれぞれ正距円筒パノラマ画像の高さ、幅を表し、ｘは正距円筒パノラマ画像内の画素の横座標を表し、ｙは正距円筒パノラマ画像の画素の縦座標を表す。
【0077】
第２生成モジュールは、球面パノラマ画像を円筒面正積投影画像に投影するための式
と、正距円筒パノラマ画像から球面パノラマ画像への座標変換関係
とを数学的に組み合わせることによって、
式
を得るために用いられる。
【数35】
【数36】
式
【数37】
【0078】
実施の形態３
上述の方法の実施形態によれば、実施形態は、プロセッサと、通信インターフェースと、メモリと、通信バスとを備える電子機器を提供し、プロセッサ、通信インターフェース、メモリは、通信バスを介して互いに通信する。
上述の方法の実施形態によれば、実施形態は、プロセッサと、通信インターフェースと、メモリと、通信バスとを備える電子機器を提供し、プロセッサ、通信インターフェース、メモリは、通信バスを介して互いに通信する。
【0079】
メモリはコンピュータプログラムを格納するのに用いられる。
【0080】
プロセッサは、メモリに格納されたプログラムを実行するときに、本願の実施形態に係る投影画像を構築するための方法を実行するのに用いられる。投影画像を構築するための方法は、
円筒面正積投影モデルを用いて正距円筒パノラマ画像を投影して円筒面正積投影画像を取得し、
円筒面正積投影画像における各画素の２次元座標を取得し、
円筒面正積投影画像の各画素の取得された２次元座標を座標変換して、円筒面正積投影画像の各画素に対応する正距円筒パノラマ画像の２次元座標を取得し、
正距円筒パノラマ画像における各画素の色情報と、円筒面正積投影画像における各画素に対応する正距円筒パノラマ画像において取得された２次元座標とに基づいて、円筒面正積投影画像に対して画素補間を行い、円筒面正積投影変換されたパノラマ画像を生成することを備える。
円筒面正積投影モデルを用いて正距円筒パノラマ画像を投影して円筒面正積投影画像を取得し、
円筒面正積投影画像における各画素の２次元座標を取得し、
円筒面正積投影画像の各画素の取得された２次元座標を座標変換して、円筒面正積投影画像の各画素に対応する正距円筒パノラマ画像の２次元座標を取得し、
正距円筒パノラマ画像における各画素の色情報と、円筒面正積投影画像における各画素に対応する正距円筒パノラマ画像において取得された２次元座標とに基づいて、円筒面正積投影画像に対して画素補間を行い、円筒面正積投影変換されたパノラマ画像を生成することを備える。
【0081】
パノラマ画像又はパノラマビデオのストレージフォーマットとしての正距円筒パノラマ画像は、現在、パノラマ画像又はパノラマビデオのより高い解像度及びより大きなビットレートの原因となる。これは、正距円筒パノラマ画像の同じテクスチャに対して、極付近でそれが占める面積は、赤道付近でそれが占める面積よりも大きいためである。本願では、パノラマ画像又はパノラマ動画の解像度及びビットレートを低減するために、パノラマ画像のストレージフォーマットとして、正距円筒パノラマ画像の代わりに円筒面正積投影変換されたパノラマ画像を用いる。
【0082】
パノラマ画像又はパノラマビデオのストレージフォーマットとして、円筒面正積投影変換されたパノラマ画像を用いることにより、パノラマ画像又はビデオの解像度及びビットレートを低減することができる。これは、正距円筒パノラマ画像を円筒面正積投影モデルで投影することで、赤道付近のテクスチャに変形や小さな変形がないことが保証されるため、パノラマ画像又はパノラマビデオの精細度が保証され、正距円筒パノラマ画像と比較して、投影によって得られた円筒面正積投影画像の２つの極のテクスチャは、ｙ軸方向にさらに圧縮され、それによって、２つの極のテクスチャ面積及び赤道付近のテクスチャ面積とが等しくなることが保証されるからである。従って、画素補間後に得られる円筒面正積投影変換されたパノラマ画像によって、パノラマ画像又はパノラマビデオの解像度及びビットレートを低減させることができる。
【0083】
実施の形態２
上述の方法の実施形態によれば、この実施形態は、プロセッサによって実行されると、プロセッサに、本発明の実施形態に係る投影画像を構築する方法を実行させるコンピュータプログラムを格納するコンピュータ可読記憶媒体を提供する。投影画像を構築するための方法は、
円筒面正積投影モデルを用いて正距円筒パノラマ画像を投影して円筒面正積投影画像を取得し、
円筒面正積投影画像における各画素の２次元座標を取得し、
円筒面正積投影画像の各画素の取得された２次元座標を座標変換して、円筒面正積投影画像の各画素に対応する正距円筒パノラマ画像の２次元座標を取得し、
正距円筒パノラマ画像における各画素の色情報と、円筒面正積投影画像における各画素に対応する正距円筒パノラマ画像において取得された２次元座標とに基づいて、円筒面正積投影画像に対して画素補間を行い、円筒面正積投影変換されたパノラマ画像を生成することを備える。
上述の方法の実施形態によれば、この実施形態は、プロセッサによって実行されると、プロセッサに、本発明の実施形態に係る投影画像を構築する方法を実行させるコンピュータプログラムを格納するコンピュータ可読記憶媒体を提供する。投影画像を構築するための方法は、
円筒面正積投影モデルを用いて正距円筒パノラマ画像を投影して円筒面正積投影画像を取得し、
円筒面正積投影画像における各画素の２次元座標を取得し、
円筒面正積投影画像の各画素の取得された２次元座標を座標変換して、円筒面正積投影画像の各画素に対応する正距円筒パノラマ画像の２次元座標を取得し、
正距円筒パノラマ画像における各画素の色情報と、円筒面正積投影画像における各画素に対応する正距円筒パノラマ画像において取得された２次元座標とに基づいて、円筒面正積投影画像に対して画素補間を行い、円筒面正積投影変換されたパノラマ画像を生成することを備える。
【0084】
パノラマ画像又はパノラマビデオのストレージフォーマットとしての正距円筒パノラマ画像は、現在、パノラマ画像又はパノラマビデオのより高い解像度及びより大きなビットレートの原因となる。これは、正距円筒パノラマ画像の同じテクスチャに対して、極付近でそれが占める面積は、赤道付近でそれが占める面積よりも大きいためである。本願では、パノラマ画像又はパノラマ動画の解像度及びビットレートを低減するために、パノラマ画像のストレージフォーマットとして、正距円筒パノラマ画像の代わりに円筒面正積投影変換されたパノラマ画像を用いる。
【0085】
パノラマ画像又はパノラマビデオのストレージフォーマットとして、円筒面正積投影変換されたパノラマ画像を用いることにより、パノラマ画像又はビデオの解像度及びビットレートを低減することができる。これは、正距円筒パノラマ画像を円筒面正積投影モデルで投影することで、赤道付近のテクスチャに変形や小さな変形がないことが保証されるため、パノラマ画像又はパノラマビデオの精細度が保証され、正距円筒パノラマ画像と比較して、投影によって得られた円筒面正積投影画像の２つの極のテクスチャは、ｙ軸方向にさらに圧縮され、それによって、２つの極のテクスチャ面積及び赤道付近のテクスチャ面積とが等しくなることが保証されるからである。従って、画素補間後に得られる円筒面正積投影変換されたパノラマ画像によって、パノラマ画像又はパノラマビデオの解像度及びビットレートを低減させることができる。
【0086】
本明細書における様々な実施形態は、説明のために対応する方法を採用することに留意されたい。様々な実施形態における同一又は類似の部分は互いに参照することができ、各実施形態は他の実施形態との相違点に焦点を合わせている。装置の実施形態については、それらは方法の実施形態に類似しているため、その説明は比較的簡略である。関連部分は、方法の実施形態の説明の部分を参照することができる。
【0087】
本明細書における「第１」、「第２」などの関係用語は、ある物又は動作を別の物又は動作と区別するために使用されているのみであり、必ずしもこれらの間の実際の関係又は順序があることを要求又は示唆するものではない。さらに、用語「include」、「comprise」又はそれらの他の変形は、非排他的な包含をカバーすることを意図しており、一連の要素を含むプロセス、方法、物品又は装置は、列挙された要素だけでなく、特に列挙されていないもの、又は、プロセス、方法、物品又は装置に固有の要素も含む。さらに限定することなく、文「comprise(s) a...」又は「include(s) a...」によって定義される要素は、これらの要素から構成されるプロセス、方法、物品又は装置に他の同一の要素があることを排除するものではない。
【0088】
本願によって提供される投影画像を構築するための方法及び装置は、本明細書において詳細に説明されている。本願の原理及び実施形態は、特定の例を参照して説明された。上記の実施形態の説明は、単に本願の方法及びその中核的概念を理解するのを助けるためのものである。本願の教示に従って、実施形態及び適用範囲に変更があってもよいことが当業者には明らかであろう。従って、本明細書の明細書は本願を限定するものとして解釈されるべきではない。
【0089】
本願は、２０１６年１２月２０日に中国国家知的財産権局に提出された「投影画像を構築するための方法及び装置」という名称の中国特許出願第２０１６１１１８７１３８．２号の優先権を主張し、その全体が参照により本明細書に組み込まれる。
【図1】
【図2】
【図3】
【図4(a)】
【図4(b)】
【図5】