(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-12-05
(54)【発明の名称】大型ディスプレイに基づいてパノラマ画像を作成する方法、装置、スマート端末及び媒体
(51)【国際特許分類】
G06T 1/00 20060101AFI20231128BHJP
G06T 3/40 20060101ALI20231128BHJP
H04N 1/387 20060101ALI20231128BHJP
G06F 3/147 20060101ALI20231128BHJP
【FI】
G06T1/00 500B
G06T3/40
H04N1/387 101
G06F3/147
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2023530651
(86)(22)【出願日】2021-11-01
(85)【翻訳文提出日】2023-05-18
(86)【国際出願番号】 CN2021127958
(87)【国際公開番号】W WO2022105584
(87)【国際公開日】2022-05-27
(31)【優先権主張番号】202011291487.5
(32)【優先日】2020-11-18
(33)【優先権主張国・地域又は機関】CN
(81)【指定国・地域】
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
(71)【出願人】
【識別番号】523185464
【氏名又は名称】シェンツェン・ティシーエル・ニュー・テクノロジー・カンパニー・リミテッド
(74)【代理人】
【識別番号】100108453
【氏名又は名称】村山 靖彦
(74)【代理人】
【識別番号】100110364
【氏名又は名称】実広 信哉
(74)【代理人】
【識別番号】100133400
【氏名又は名称】阿部 達彦
(72)【発明者】
【氏名】▲趙▼ 天▲ユ▼
(72)【発明者】
【氏名】王 云▲華▼
【テーマコード(参考)】
5B057
5B069
【Fターム(参考)】
5B057CA01
5B057CA08
5B057CA12
5B057CA16
5B057CB01
5B057CB08
5B057CB12
5B057CB16
5B057CD02
5B057CD05
5B057CE08
5B057CE09
5B057DA16
5B057DB02
5B057DB06
5B057DB09
5B057DC03
5B057DC25
5B069CA06
(57)【要約】
本願は、大型ディスプレイに基づいてパノラマ画像を作成する方法、装置、スマート端末及び媒体を開示し、前記方法は、画像解像度と画面解像度との解像度の差分を計算すること(S10)と、解像度の差分に基づいて画面解像度とマッチングした大型ディスプレイの画像を得ること(S20)と、大型ディスプレイの画像に位置するフローティングウィンドウレイヤーを作成すること(S30)と、を含む。上記の方法は、フローティングウィンドウレイヤーの異なるレイヤー透明度、平行移動拡張領域アルゴリズムと感興直視アルゴリズムおよびシームレススプライシング技術によって、スマート大型ディスプレイも360°パノラマ画像の提供を可能にすることを目指している。
【特許請求の範囲】
【請求項1】
大型ディスプレイに基づいてパノラマ画像を作成する方法であって、
目標画像の画像解像度と大型ディスプレイの画面解像度を取得することと、
前記画像解像度と前記画面解像度との解像度の差分を計算し、前記解像度の差分に基づいて前記目標画像を調整し、前記画面解像度とマッチングした大型ディスプレイの画像を得ることと、
前記大型ディスプレイの画像に位置するフローティングウィンドウレイヤーを作成し、且つ所定のアルゴリズムによって、前記画面解像度が属するカテゴリに対応する平行移動拡張領域および感興直視感興直視領域を前記フローティングウィンドウレイヤーに配置して充填し、そのうち、前記平行移動拡張領域は、前記目標画像を平行移動処理および拡張処理によって前記大型ディスプレイの画像に変換するために用いられ、前記感興直視領域は、前記大型ディスプレイの画像を視差によってパノラマ画像に変換するために用いられることと、
前記平行移動拡張領域および前記感興直視領域に対応する前記フローティングウィンドウレイヤーのレイヤー透明度をそれぞれ設定することと、
異なるレイヤー透明度を有する前記フローティングウィンドウレイヤーを前記大型ディスプレイと合成させ、前記目標画像のパノラマ画像を得ることと、を含む、
方法。
【請求項2】
目標画像の画像解像度と大型ディスプレイの画面解像度を取得することは、
スマート端末の目標画像を送信するコマンドを検出すると、前記目標画像を受信して前記目標画像の画像解像度を取得し、前記画像解像度は、前記目標画像の水平ピクセル数*垂直ピクセル数として表されることと、
前記大型ディスプレイの画面解像度を取得し、前記画面解像度は、前記大型ディスプレイの水平ピクセル数*垂直ピクセル数として表されることと、を含む、
請求項1に記載の方法。
【請求項3】
前記画像解像度と前記画面解像度との解像度の差分を計算することは、
画像解像度における水平ピクセル数と画面解像度における水平ピクセル数との解像度の差分を計算することと、画像解像度における垂直ピクセル数と画面解像度における垂直ピクセル数との解像度の差分を計算することと、を含む、
請求項2に記載の方法。
【請求項4】
前記画像解像度と前記画面解像度との解像度の差分を計算し、前記解像度の差分に基づいて前記目標画像を調整し、前記画面解像度とマッチングした大型ディスプレイの画像を得ることは、
前記画像解像度における水平ピクセル数と前記画面解像度における水平ピクセル数との差分を計算し、水平解像度の差分を得ることと、
前記水平解像度の差分の絶対値が0に等しい場合、前記目標画像を前記画面解像度とマッチングした大型ディスプレイの画像とすることと、を含む、
請求項3に記載の方法。
【請求項5】
前記画像解像度と前記画面解像度との解像度の差分を計算し、前記解像度の差分に基づいて前記目標画像を調整し、前記画面解像度とマッチングした大型ディスプレイの画像を得ることは、
水平解像度の差分の絶対値が0に等しくない場合、水平解像度の差分の絶対値を目標画像の水平方向の充填される予定のピクセル数とすることを含む、
請求項4に記載の方法。
【請求項6】
前記水平解像度の差分の絶対値が0に等しくない場合、前記水平解像度の差分の絶対値を前記目標画像の水平方向の充填される予定のピクセル数とすることは、
充填される予定の色を決定し、且つ前記充填される予定の色に対応する色彩値を取得し、前記目標画像を前記色彩値で充填することによって、前記画面解像度とマッチングした大型ディスプレイの画像を得ることを含む、
請求項5に記載の方法。
【請求項7】
充填される予定の色を決定し、且つ前記充填される予定の色に対応する色彩値を取得することは、
前記目標画像に充填する各色の色彩値および充填する各色に対応するピクセル数を取得し、充填する各色の色彩値はいずれもR値、G値およびB値を含むことと、
充填する各色の第1色彩値および充填する各色に対応するピクセル数に基づいてR値、G値およびB値の平均値をそれぞれ計算して、Rの平均値、Gの平均値およびBの平均値を得ることと、
前記Rの平均値、前記Gの平均値および前記Bの平均値に対応する色を決定し、前記色は充填される予定の色とされ、前記充填される予定の色の色彩値は前記Rの平均値、前記Gの平均値および前記Bの平均値であることと、を含む、
請求項6に記載の方法。
【請求項8】
前記画面解像度が属するカテゴリは高解像度である場合、前記大型ディスプレイの画像に位置するフローティングウィンドウレイヤーを作成し、且つ所定のアルゴリズムによって、前記画面解像度が属するカテゴリに対応する平行移動拡張領域および感興直視領域を前記フローティングウィンドウレイヤーに配置して充填することは、
前記画面解像度に基づいてフローティングウィンドウレイヤーを作成することにより、前記フローティングウィンドウレイヤーのサイズを前記大型ディスプレイとマッチングさせることと、
前記フローティングウィンドウレイヤーを前記大型ディスプレイの画像の上方に置くことと、
所定の平行移動拡張領域アルゴリズムによって前記目標画像に基づいて前記フローティングウィンドウレイヤーに第1平行移動拡張領域を配置することと、
水平方向に前記目標画像の第1水平比率の第1水平ピクセルを切り取ることと、
前記第1水平ピクセルを前記第1平行移動拡張領域に充填することと、
前記第1平行移動拡張領域に充填した後、所定の感興直視アルゴリズムを追加して、第1感興直視領域を取得し、そのうち、前記第1平行移動拡張領域は第1感興直視領域を含むことと、
前記目標画像において垂直方向に第1垂直比率の第1垂直ピクセルを切り取ることと、
前記第1垂直ピクセルを前記第1感興直視領域に充填することと、を含む、
請求項1に記載の方法。
【請求項9】
前記平行移動拡張領域および前記感興直視領域に対応する前記フローティングウィンドウレイヤーのレイヤー透明度をそれぞれ設定することは、
前記第1平行移動拡張領域に対応するフローティングウィンドウレイヤーのレイヤー透明度は半透明であるように配置することと、
前記第1感興直視領域に対応するフローティングウィンドウレイヤーのレイヤー透明度は全透明であるように配置することと、を含む、
請求項8に記載の方法。
【請求項10】
異なるレイヤー透明度を有する前記フローティングウィンドウレイヤーを前記大型ディスプレイと合成させ、前記目標画像のパノラマ画像を得ることは、
シームレススプライシング技術を用いて異なるレイヤー透明度を有する前記フローティングウィンドウレイヤーを前記大型ディスプレイと合成させ、前記目標画像の高解像度のパノラマ画像を得ることを含む、
請求項9に記載の方法。
【請求項11】
前記画面解像度が属するカテゴリは超高解像度である場合、前記大型ディスプレイの画像に位置するフローティングウィンドウレイヤーを作成し、且つ所定のアルゴリズムによって、前記画面解像度が属するカテゴリに対応する平行移動拡張領域および感興直視領域を前記フローティングウィンドウレイヤーに配置して充填することは、
前記画面解像度に基づいてフローティングウィンドウレイヤーを作成することにより、前記フローティングウィンドウレイヤーのサイズを前記大型ディスプレイとマッチングさせることと、
前記フローティングウィンドウレイヤーを前記大型ディスプレイの画像の上方に置くことと、
前記目標画像の高解像度に対応する高解像度画像を計算し、そのうち、前記高解像度画像の画像解像度は前記目標画像の画像解像度より高いことと、
所定の平行移動拡張領域アルゴリズムによって前記フローティングウィンドウレイヤーに第2平行移動拡張領域を配置することと、
水平方向に前記高解像度画像の第2水平比率の第2水平ピクセルを切り取ることと、
前記第2水平ピクセルを前記第2平行移動拡張領域に充填することと、
前記第2平行移動拡張領域に充填した後、所定の感興直視アルゴリズムを追加して、第2感興直視領域を取得し、そのうち、前記第2平行移動拡張領域は前記第2感興直視領域を含むことと、
前記高解像度画像において垂直方向に第2垂直比率の第2垂直ピクセルを取得することと、
前記第2垂直ピクセルを前記第2感興直視領域に充填することと、を含む、
請求項1に記載の方法。
【請求項12】
前記平行移動拡張領域および前記感興直視領域に対応する前記フローティングウィンドウレイヤーのレイヤー透明度をそれぞれ設定することは、
前記第2平行移動拡張領域に対応するフローティングウィンドウレイヤーのレイヤー透明度は半透明であるように配置することと、
前記第2感興直視領域に対応するフローティングウィンドウレイヤーのレイヤー透明度は全透明であるように配置することと、を含む、
請求項11に記載の方法。
【請求項13】
異なるレイヤー透明度を有する前記フローティングウィンドウレイヤーを前記大型ディスプレイと合成させ、前記目標画像のパノラマ画像を得ることは、
シームレススプライシング技術を用いて異なるレイヤー透明度を有する前記フローティングウィンドウレイヤーを前記大型ディスプレイと合成させ、前記目標画像の超高解像度のパノラマ画像を得ることを含む、
請求項12に記載の方法。
【請求項14】
目標画像の画像解像度と大型ディスプレイの画面解像度を取得するために用いられる取得モジュールと、
前記画像解像度と前記画面解像度との解像度の差分を計算し、前記解像度の差分に基づいて前記目標画像を調整し、前記画面解像度とマッチングした大型ディスプレイの画像を得るために用いられる解像度調整モジュールと、
前記大型ディスプレイの画像に位置するフローティングウィンドウレイヤーを作成し、且つ所定のアルゴリズムによって、画面解像度が属するカテゴリに対応する平行移動拡張領域を前記フローティングウィンドウレイヤーに配置して充填し、且つ前記平行移動拡張領域に対応するフローティングウィンドウレイヤーのレイヤー透明度を設定し、そのうち、前記平行移動拡張領域は、前記目標画像を平行移動処理および拡張処理によって前記大型ディスプレイの画像に変換するために用いられる平行移動拡張領域モジュールと、
前記平行移動拡張領域モジュールに基づいて感興直視アルゴリズムによって感興直視領域を配置して充填し、且つ前記感興直視領域に対応するフローティングウィンドウレイヤーのレイヤー透明度を設定し、そのうち、前記感興直視領域は、前記大型ディスプレイの画像を視差によってパノラマ画像に変換するために用いられる感興直視モジュールと、
異なるレイヤー透明度を有する前記フローティングウィンドウレイヤーを前記大型ディスプレイと合成させ、前記目標画像のパノラマ画像を得るために用いられるパノラマ合成モジュールと、を含む、
大型ディスプレイに基づいてパノラマ画像を作成する装置。
【請求項15】
目標画像の画像解像度と大型ディスプレイの画面解像度を取得することは、
スマート端末の目標画像を送信するコマンドを検出すると、前記目標画像を受信して前記目標画像の画像解像度を取得し、前記画像解像度は、前記目標画像の水平ピクセル数*垂直ピクセル数として表されることと、
前記大型ディスプレイの画面解像度を取得し、前記画面解像度は、前記大型ディスプレイの水平ピクセル数*垂直ピクセル数として表されることと、を含む、
請求項14に記載の大型ディスプレイに基づいてパノラマ画像を作成する装置。
【請求項16】
前記画像解像度と前記画面解像度との解像度の差分を計算し、前記解像度の差分に基づいて前記目標画像を調整し、前記画面解像度とマッチングした大型ディスプレイの画像を得ることは、
前記画像解像度における水平ピクセル数と前記画面解像度における水平ピクセル数との差分を計算し、水平解像度の差分を得ることと、
前記水平解像度の差分の絶対値が0に等しい場合、前記目標画像を前記画面解像度とマッチングした大型ディスプレイの画像とすることと、
前記水平解像度の差分の絶対値が0に等しくない場合、前記水平解像度の差分の絶対値を目標画像の水平方向の充填される予定のピクセル数とし、充填される予定の色を決定し、且つ前記充填される予定の色に対応する色彩値を取得し、前記目標画像を前記色彩値で充填することによって、前記画面解像度とマッチングした大型ディスプレイの画像を得ることと、を含む、
請求項15に記載の大型ディスプレイに基づいてパノラマ画像を作成する装置。
【請求項17】
前記画面解像度が属するカテゴリは高解像度である場合、前記大型ディスプレイの画像に位置するフローティングウィンドウレイヤーを作成し、且つ所定のアルゴリズムによって、前記画面解像度が属するカテゴリに対応する平行移動拡張領域および感興直視領域を前記フローティングウィンドウレイヤーに配置して充填することは、
前記画面解像度に基づいてフローティングウィンドウレイヤーを作成することにより、前記フローティングウィンドウレイヤーのサイズを前記大型ディスプレイとマッチングさせることと、
前記フローティングウィンドウレイヤーを前記大型ディスプレイの画像の上方に置くことと、
所定の平行移動拡張領域アルゴリズムによって前記目標画像に基づいて前記フローティングウィンドウレイヤーに第1平行移動拡張領域を配置することと、
水平方向に前記目標画像の第1水平比率の第1水平ピクセルを切り取ることと、
前記第1水平ピクセルを前記第1平行移動拡張領域に充填することと、
前記第1平行移動拡張領域に充填した後、所定の感興直視アルゴリズムを追加して、第1感興直視領域を取得し、そのうち、前記第1平行移動拡張領域は第1感興直視領域を含むことと、
前記目標画像において垂直方向に第1垂直比率の第1垂直ピクセルを切り取ることと、
前記第1垂直ピクセルを前記第1感興直視領域に充填することと、を含む、
請求項14に記載の大型ディスプレイに基づいてパノラマ画像を作成する装置。
【請求項18】
前記画面解像度が属するカテゴリは超高解像度である場合、前記大型ディスプレイの画像に位置するフローティングウィンドウレイヤーを作成し、且つ所定のアルゴリズムによって、前記画面解像度が属するカテゴリに対応する平行移動拡張領域および感興直視領域を前記フローティングウィンドウレイヤーに配置して充填することは、
前記画面解像度に基づいてフローティングウィンドウレイヤーを作成することにより、前記フローティングウィンドウレイヤーのサイズを前記大型ディスプレイとマッチングさせることと、
前記フローティングウィンドウレイヤーを前記大型ディスプレイの画像の上方に置くことと、
前記目標画像の高解像度に対応する高解像度画像を計算し、そのうち、前記高解像度画像の画像解像度は前記目標画像の画像解像度より高いことと、
所定の平行移動拡張領域アルゴリズムによって前記高解像度画像に基づいて前記フローティングウィンドウレイヤーに第2平行移動拡張領域を配置することと、
水平方向に前記高解像度画像の第2水平比率の第2水平ピクセルを切り取ることと、
前記第2水平ピクセルを前記第2平行移動拡張領域に充填することと、
前記第2平行移動拡張領域に充填した後、所定の感興直視アルゴリズムを追加して、第2感興直視領域を取得し、そのうち、前記第2平行移動拡張領域は前記第2感興直視領域を含むことと、
前記高解像度画像において垂直方向に第2垂直比率の第2垂直ピクセルを切り取ることと、
前記第2垂直ピクセルを前記第2感興直視領域に充填することと、を含む、
請求項14に記載の大型ディスプレイに基づいてパノラマ画像を作成する装置。
【請求項19】
スマート端末であって、前記スマート端末は、大型ディスプレイの表示パネル、記憶装置、処理装置および記憶装置に記憶され処理装置で実行可能な大型ディスプレイに基づいてパノラマ画像を作成するプログラムを含み、前記処理装置は大型ディスプレイに基づいてパノラマ画像を作成するプログラムを実行する時に、請求項1~13のいずれかに記載の大型ディスプレイに基づいてパノラマ画像を作成する方法が実施される、
スマート端末。
【請求項20】
コンピュータが読み取り可能な記憶媒体であって、前記コンピュータが読み取り可能な記憶媒体にコンピュータプログラムが記憶されており、前記コンピュータプログラムが処理装置によって実行される時に、請求項1~13のいずれかに記載の大型ディスプレイに基づいてパノラマ画像を作成する方法が実施される、
コンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本願は、2020年11月18日に中国特許庁に出願された出願番号第202011291487.5号、発明の名称が「大型ディスプレイに基づいてパノラマ画像を作成する方法、装置、スマート端末及び媒体」である中国特許出願の優先権を主張し、その内容全体は本願に援用する。
【0002】
本発明はスマート大型ディスプレイ技術の技術分野に属し、具体的には大型ディスプレイに基づいてパノラマ画像を作成する方法、装置、スマート端末及び媒体に関する。
【背景技術】
【0003】
VR技術に代表される新興の映像技術は、ユーザに未曾有の映像体験をもたらした。スマート大型ディスプレイは家庭のスマート機器の表示センターとして、ユーザの表示効果に対する要求の高まりにどのように対応するかが、解決すべき課題となっている。従来、ほとんどのスマート大型ディスプレイには360°パノラマ画像を作成する機能がなく、VR技術と組み合わせて3Dパノラマ画像またはサラウンパノラマドビュー画像とも呼ばれる360°パノラマ画像を作成することができない。360°パノラマ技術とは、デジタルカメラで既存のシーンを多角的に撮影した後、コンピュータを使ってステッチし、且つ再生プログラムの読み込みによって完成する3D仮想表示技術である。
【0004】
従って、従来の技術の改良と発展が必要とする。
【発明の概要】
【発明が解決しようとする課題】
【0005】
従来のスマート大型ディスプレイが360°パノラマ画像を提供できないという技術的課題に対し、大型ディスプレイとVR技術を組み合わせてユーザに360°パノラマ画像を表示するために、大型ディスプレイに基づいてパノラマ画像を作成する方法、装置、スマート端末及び媒体を提供する必要がある。
【課題を解決するための手段】
【0006】
第1方面では、本願は大型ディスプレイに基づいてパノラマ画像を作成する方法を提供し、前記方法は、
目標画像の画像解像度と大型ディスプレイの画面解像度を取得することと、
画像解像度と画面解像度との解像度の差分を計算し、解像度の差分に基づいて目標画像を調整し、画面解像度とマッチングした大型ディスプレイの画像を得ることと、
大型ディスプレイの画像に位置するフローティングウィンドウレイヤーを作成し、且つ所定のアルゴリズムによって、画面解像度が属するカテゴリに対応する平行移動拡張領域および感興直視領域をフローティングウィンドウレイヤーに配置して充填し、そのうち、平行移動拡張領域は、目標画像を平行移動処理および拡張処理によって大型ディスプレイの画像に変換するために用いられ、感興直視領域は、大型ディスプレイの画像を視差によってパノラマ画像に変換するために用いられることと、
平行移動拡張領域および感興直視領域に対応するフローティングウィンドウレイヤーのレイヤー透明度をそれぞれ設定することと、
異なるレイヤー透明度を有するフローティングウィンドウレイヤーを大型ディスプレイと合成させ、目標画像のパノラマ画像を得ることと、を含む。
【0007】
第2方面では、本願は大型ディスプレイに基づいてパノラマ画像を作成する装置を提供し、前記装置は、
目標画像の画像解像度と大型ディスプレイの画面解像度を取得するために用いられる取得モジュールと、
画像解像度と画面解像度との解像度の差分を計算し、解像度の差分に基づいて目標画像を調整し、画面解像度とマッチングした大型ディスプレイの画像を得るために用いられる解像度調整モジュールと、
大型ディスプレイの画像に位置するフローティングウィンドウレイヤーを作成し、且つ所定のアルゴリズムによって、画面解像度が属するカテゴリに対応する平行移動拡張領域をフローティングウィンドウレイヤーに配置して充填し、且つ平行移動拡張領域に対応するフローティングウィンドウレイヤーのレイヤー透明度を設定し、そのうち、平行移動拡張領域は、目標画像を平行移動処理および拡張処理によって大型ディスプレイの画像に変換するために用いられる平行移動拡張領域モジュールと、
平行移動拡張領域モジュールに基づいて感興直視アルゴリズムによって感興直視領域を配置して充填し、且つ感興直視領域に対応するフローティングウィンドウレイヤーのレイヤー透明度を設定し、そのうち、感興直視領域は、大型ディスプレイの画像を視差によってパノラマ画像に変換するために用いられる感興直視モジュールと、
異なるレイヤー透明度を有するフローティングウィンドウレイヤーを大型ディスプレイと合成させ、目標画像のパノラマ画像を得るために用いられるパノラマ合成モジュールと、を含む。
【0008】
第3方面では、本願はスマート端末をさらに提供し、前記スマート端末は、大型ディスプレイの表示パネル、記憶装置、処理装置および記憶装置に記憶され処理装置で実行可能な大型ディスプレイに基づいてパノラマ画像を作成するプログラムを含み、処理装置は大型ディスプレイに基づいてパノラマ画像を作成するプログラムを実行する時に、大型ディスプレイに基づいてパノラマ画像を作成する方法を実施する。
【0009】
第4方面では、本願はコンピュータの記憶媒体をさらに提供し、コンピュータが読み取り可能な記憶媒体にコンピュータプログラムが記憶されており、コンピュータプログラムが処理装置によって実行される時に、大型ディスプレイに基づいてパノラマ画像を作成する方法が実施される。
【発明の効果】
【0010】
先行技術と比較すると、本願は、大型ディスプレイに基づいてパノラマ画像を作成する方法、装置、スマート端末及び媒体を提供し、解像度の差分を用いて目標画像を画面解像度とマッチングした大型ディスプレイの画像(即ち平面パノラマ画像)に作成し、そしてフローティングウィンドウレイヤーの異なるレイヤー透明度、平行移動拡張領域アルゴリズムと感興直視アルゴリズムおよびシームレススプライシング技術によって、該大型ディスプレイの画像を3Dパノラマ画像に変換させることで、スマート大型ディスプレイとVRを組み合わせられ、スマート大型ディスプレイでも360°パノラマ画像を提供する可能になり、ユーザの視覚体験を改善し、宣伝が拡大され、ユーザに便利をもたらすことができる。
【図面の簡単な説明】
【0011】
【
図1】本願に係る大型ディスプレイに基づいてパノラマ画像を作成する方法を示すフロー図である。
【
図2】本願に係る大型ディスプレイに基づいてパノラマ画像を作成する装置を示す構造ブロック図である。
【
図3】本願に係るスマート端末を示す構造ブロック図である。
【発明を実施するための形態】
【0012】
大型ディスプレイに基づいてパノラマ画像を作成する方法であって、前記方法は、
目標画像の画像解像度と大型ディスプレイの画面解像度を取得することと、
前記画像解像度と前記画面解像度との解像度の差分を計算し、前記解像度の差分に基づいて前記目標画像を調整し、前記画面解像度とマッチングした大型ディスプレイの画像を得ることと、
前記大型ディスプレイの画像に位置するフローティングウィンドウレイヤーを作成し、且つ所定のアルゴリズムによって、前記画面解像度が属するカテゴリに対応する平行移動拡張領域および感興直視領域を前記フローティングウィンドウレイヤーに配置して充填し、そのうち、前記平行移動拡張領域は、前記目標画像を平行移動処理および拡張処理によって前記大型ディスプレイの画像に変換するために用いられ、前記感興直視領域は、前記大型ディスプレイの画像を視差によってパノラマ画像に変換するために用いられることと、
前記平行移動拡張領域および前記感興直視領域に対応する前記フローティングウィンドウレイヤーのレイヤー透明度をそれぞれ設定することと、
異なるレイヤー透明度を有する前記フローティングウィンドウレイヤーを前記大型ディスプレイと合成させ、前記目標画像のパノラマ画像を得ることと、を含む。
【0013】
そのうち、目標画像の画像解像度と大型ディスプレイの画面解像度を取得することは、
スマート端末の目標画像を送信するコマンドを検出すると、前記目標画像を受信して前記目標画像の画像解像度を取得し、前記画像解像度は、前記目標画像の水平ピクセル数*垂直ピクセル数として表されることと、
前記大型ディスプレイの画面解像度を取得し、前記画面解像度は、前記大型ディスプレイの水平ピクセル数*垂直ピクセル数として表されることと、を含む。
【0014】
そのうち、前記画像解像度と前記画面解像度との解像度の差分を計算することは、
画像解像度における水平ピクセル数と画面解像度における水平ピクセル数との解像度の差分を計算することと、画像解像度における垂直ピクセル数と画面解像度における垂直ピクセル数との解像度の差分を計算することと、を含む。
【0015】
そのうち、前記画像解像度と前記画面解像度との解像度の差分を計算し、前記解像度の差分に基づいて前記目標画像を調整し、前記画面解像度とマッチングした大型ディスプレイの画像を得ることは、
前記画像解像度における水平ピクセル数と前記画面解像度における水平ピクセル数との差分を計算し、水平解像度の差分を得ることと、
前記水平解像度の差分の絶対値が0に等しい場合、前記目標画像を前記画面解像度とマッチングした大型ディスプレイの画像とすることと、を含む。
【0016】
そのうち、前記画像解像度と前記画面解像度との解像度の差分を計算し、前記解像度の差分に基づいて前記目標画像を調整し、前記画面解像度とマッチングした大型ディスプレイの画像を得ることは、
前記水平解像度の差分の絶対値が0に等しくない場合、前記水平解像度の差分の絶対値を目標画像の水平方向の充填される予定のピクセル数とすることを含む。
【0017】
そのうち、前記水平解像度の差分の絶対値が0に等しくない場合、前記水平解像度の差分の絶対値を前記目標画像の水平方向の充填される予定のピクセル数とすることは、
充填される予定の色を決定し、且つ前記充填される予定の色に対応する色彩値を取得し、前記目標画像を前記色彩値で充填することによって、前記画面解像とマッチングした大型ディスプレイの画像を得ることを含む。
【0018】
そのうち、充填される予定の色を決定し、且つ前記充填される予定の色に対応する色彩値を取得することは、
前記目標画像に充填する各色の色彩値および充填する各色に対応するピクセル数を取得し、充填する各色の色彩値はいずれもR値、G値およびB値を含むことと、
充填する各色の第1色彩値および充填する各色に対応するピクセル数に基づいてR値、G値およびB値の平均値をそれぞれ計算して、Rの平均値、Gの平均値およびBの平均値を得ることと、
前記Rの平均値、前記Gの平均値および前記Bの平均値に対応する色を決定し、前記色は充填される予定の色とされ、前記充填される予定の色の色彩値は前記Rの平均値、前記Gの平均値および前記Bの平均値であることと、を含む。
【0019】
そのうち、前記画面解像度が属するカテゴリは高解像度である場合、前記大型ディスプレイの画像に位置するフローティングウィンドウレイヤーを作成し、且つ所定のアルゴリズムによって、前記画面解像度が属するカテゴリに対応する平行移動拡張領域および感興直視領域を前記フローティングウィンドウレイヤーに配置して充填することは、
前記画面解像度に基づいてフローティングウィンドウレイヤーを作成することにより、前記フローティングウィンドウレイヤーのサイズを前記大型ディスプレイとマッチングさせることと、
前記フローティングウィンドウレイヤーを前記大型ディスプレイの画像の上方に置くことと、
所定の平行移動拡張領域アルゴリズムによって前記目標画像に基づいて前記フローティングウィンドウレイヤーに第1平行移動拡張領域を配置することと、
水平方向に前記目標画像の第1水平比率の第1水平ピクセルを切り取ることと、
前記第1水平ピクセルを前記第1平行移動拡張領域に充填することと、
前記第1平行移動拡張領域に充填した後、所定の感興直視アルゴリズムを追加して、第1感興直視領域を取得し、そのうち、前記第1平行移動拡張領域は第1感興直視領域を含むことと、
前記目標画像において垂直方向に第1垂直比率の第1垂直ピクセルを切り取ることと、
前記第1垂直ピクセルを前記第1感興直視領域に充填することと、を含む。
【0020】
そのうち、前記平行移動拡張領域および前記感興直視領域に対応する前記フローティングウィンドウレイヤーのレイヤー透明度をそれぞれ設定することは、
前記第1平行移動拡張領域に対応するフローティングウィンドウレイヤーのレイヤー透明度は半透明であるように配置することと、
前記第1感興直視領域に対応するフローティングウィンドウレイヤーのレイヤー透明度は全透明であるように配置することと、を含む。
【0021】
そのうち、異なるレイヤー透明度を有する前記フローティングウィンドウレイヤーを前記大型ディスプレイと合成させ、前記目標画像のパノラマ画像を得ることは、
シームレススプライシング技術を用いて異なるレイヤー透明度を有する前記フローティングウィンドウレイヤーを前記大型ディスプレイと合成させ、前記目標画像の高解像度のパノラマ画像を得ることを含む。
【0022】
そのうち、前記画面解像度が属するカテゴリは超高解像度である場合、前記大型ディスプレイの画像に位置するフローティングウィンドウレイヤーを作成し、且つ所定のアルゴリズムによって、前記画面解像度が属するカテゴリに対応する平行移動拡張領域および感興直視領域を前記フローティングウィンドウレイヤーに配置して充填することは、
前記画面解像度に基づいてフローティングウィンドウレイヤーを作成することにより、前記フローティングウィンドウレイヤーのサイズを前記大型ディスプレイとマッチングさせることと、
前記フローティングウィンドウレイヤーを前記大型ディスプレイの画像の上方に置くことと、
前記目標画像の高解像度に対応する高解像度画像を計算し、そのうち、前記高解像度画像の画像解像度は前記目標画像の画像解像度より高いことと、
所定の平行移動拡張領域アルゴリズムによって前記フローティングウィンドウレイヤーに第2平行移動拡張領域を配置することと、
水平方向に前記高解像度画像の第2水平比率の第2水平ピクセルを切り取ることと、
前記第2水平ピクセルを前記第2平行移動拡張領域に充填することと、
前記第2平行移動拡張領域に充填した後、所定の感興直視アルゴリズムを追加して、第2感興直視領域を取得し、そのうち、前記第2平行移動拡張領域は前記第2感興直視領域を含むことと、
前記高解像度画像において垂直方向に第2垂直比率の第2垂直ピクセルを取得することと、
前記第2垂直ピクセルを前記第2感興直視領域に充填することと、を含む。
【0023】
そのうち、前記平行移動拡張領域および前記感興直視領域に対応する前記フローティングウィンドウレイヤーのレイヤー透明度をそれぞれ設定することは、
前記第2平行移動拡張領域に対応するフローティングウィンドウレイヤーのレイヤー透明度は半透明であるように配置することと、
前記第2感興直視領域に対応するフローティングウィンドウレイヤーのレイヤー透明度は全透明であるように配置することと、を含む。
【0024】
そのうち、異なるレイヤー透明度を有する前記フローティングウィンドウレイヤーを前記大型ディスプレイと合成させ、前記目標画像のパノラマ画像を得ることは、
シームレススプライシング技術を用いて異なるレイヤー透明度を有する前記フローティングウィンドウレイヤーを前記大型ディスプレイと合成させ、前記目標画像の超高解像度のパノラマ画像を得ることを含む。
【0025】
大型ディスプレイに基づいてパノラマ画像を作成する装置であって、前記装置は、
目標画像の画像解像度と大型ディスプレイの画面解像度を取得するために用いられる取得モジュールと、
前記画像解像度と前記画面解像度との解像度の差分を計算し、前記解像度の差分に基づいて前記目標画像を調整し、前記画面解像度とマッチングした大型ディスプレイの画像を得るために用いられる解像度調整モジュールと、
前記大型ディスプレイの画像に位置するフローティングウィンドウレイヤーを作成し、且つ所定のアルゴリズムによって、画面解像度が属するカテゴリに対応する平行移動拡張領域を前記フローティングウィンドウレイヤーに配置して充填し、且つ前記平行移動拡張領域に対応するフローティングウィンドウレイヤーのレイヤー透明度を設定し、そのうち、前記平行移動拡張領域は、前記目標画像を平行移動処理および拡張処理によって前記大型ディスプレイの画像に変換するために用いられる平行移動拡張領域モジュールと、
前記平行移動拡張領域モジュールに基づいて感興直視アルゴリズムによって感興直視領域を配置して充填し、且つ前記感興直視領域に対応するフローティングウィンドウレイヤーのレイヤー透明度を設定し、そのうち、前記感興直視領域は、前記大型ディスプレイの画像を視差によってパノラマ画像に変換するために用いられる感興直視モジュールと、
異なるレイヤー透明度を有する前記フローティングウィンドウレイヤーを前記大型ディスプレイと合成させ、前記目標画像のパノラマ画像を得るために用いられるパノラマ合成モジュールと、を含む。
【0026】
そのうち、前記目標画像の画像解像度と大型ディスプレイの画面解像度を取得することは、
スマート端末の目標画像を送信するコマンドを検出すると、前記目標画像を受信して前記目標画像の画像解像度を取得し、前記画像解像度は、前記目標画像の水平ピクセル数*垂直ピクセル数として表されることと、
前記大型ディスプレイの画面解像度を取得し、前記画面解像度は、前記大型ディスプレイの水平ピクセル数*垂直ピクセル数として表されることと、を含む。
【0027】
そのうち、前記画像解像度と前記画面解像度との解像度の差分を計算し、前記解像度の差分に基づいて前記目標画像を調整し、前記画面解像度とマッチングした大型ディスプレイの画像を得ることは、
前記画像解像度における水平ピクセル数と前記画面解像度における水平ピクセル数との差分を計算し、水平解像度の差分を得ることと、
前記水平解像度の差分の絶対値が0に等しい場合、前記目標画像を前記画面解像度とマッチングした大型ディスプレイの画像とすることと、
前記水平解像度の差分の絶対値が0に等しくない場合、前記水平解像度の差分の絶対値を目標画像の水平方向の充填される予定のピクセル数とし、充填される予定の色を決定し、且つ前記充填される予定の色に対応する色彩値を取得し、前記目標画像を前記色彩値で充填することによって、前記画面解像とマッチングした大型ディスプレイの画像を得ることと、を含む。
【0028】
そのうち、前記画面解像度が属するカテゴリは高解像度である場合、前記大型ディスプレイの画像に位置するフローティングウィンドウレイヤーを作成し、且つ所定のアルゴリズムによって、前記画面解像度が属するカテゴリに対応する平行移動拡張領域および感興直視領域を前記フローティングウィンドウレイヤーに配置して充填することは、
前記画面解像度に基づいてフローティングウィンドウレイヤーを作成することにより、前記フローティングウィンドウレイヤーのサイズを前記大型ディスプレイとマッチングさせることと、
前記フローティングウィンドウレイヤーを前記大型ディスプレイの画像の上方に置くことと、
所定の平行移動拡張領域アルゴリズムによって前記目標画像に基づいて前記フローティングウィンドウレイヤーに第1平行移動拡張領域を配置することと、
水平方向に前記目標画像の第1水平比率の第1水平ピクセルを切り取ることと、
前記第1水平ピクセルを前記第1平行移動拡張領域に充填することと、
前記第1平行移動拡張領域に充填した後、所定の感興直視アルゴリズムを追加して、第1感興直視領域を取得し、そのうち、前記第1平行移動拡張領域は第1感興直視領域を含むことと、
前記目標画像において垂直方向に第1垂直比率の第1垂直ピクセルを切り取ることと、
前記第1垂直ピクセルを前記第1感興直視領域に充填することと、を含む。
【0029】
そのうち、前記画面解像度が属するカテゴリは超高解像度である場合、前記大型ディスプレイの画像に位置するフローティングウィンドウレイヤーを作成し、且つ所定のアルゴリズムによって、前記画面解像度が属するカテゴリに対応する平行移動拡張領域および感興直視領域を前記フローティングウィンドウレイヤーに配置して充填することは、
前記画面解像度に基づいてフローティングウィンドウレイヤーを作成することにより、前記フローティングウィンドウレイヤーのサイズを前記大型ディスプレイとマッチングさせることと、
前記フローティングウィンドウレイヤーを前記大型ディスプレイの画像の上方に置くことと、
前記目標画像の高解像度に対応する高解像度画像を計算し、そのうち、前記高解像度画像の画像解像度は前記目標画像の画像解像度より高いことと、
所定の平行移動拡張領域アルゴリズムによって前記目標画像に基づいて前記フローティングウィンドウレイヤーに第2平行移動拡張領域を配置することと、
水平方向に前記高解像度画像の第2水平比率の第2水平ピクセルを切り取ることと、
前記第2水平ピクセルを前記第2平行移動拡張領域に充填することと、
前記第2平行移動拡張領域に充填した後、所定の感興直視アルゴリズムを追加して、第2感興直視領域を取得し、そのうち、前記第2平行移動拡張領域は前記第2感興直視領域を含むことと、
前記高解像度画像において垂直方向に第2垂直比率の第2垂直ピクセルを切り取ることと、
前記第2垂直ピクセルを前記第2感興直視領域に充填することと、を含む。
【0030】
スマート端末であって、前記スマート端末は、大型ディスプレイの表示パネル、記憶装置、処理装置および記憶装置に記憶され処理装置で実行可能な大型ディスプレイに基づいてパノラマ画像を作成するプログラムを含み、前記処理装置は大型ディスプレイに基づいてパノラマ画像を作成するプログラムを実行する時に、上記の大型ディスプレイに基づいてパノラマ画像を作成する方法のいずれかが実施される。
【0031】
コンピュータが読み取り可能な記憶媒体であって、前記コンピュータが読み取り可能な記憶媒体にコンピュータプログラムが記憶されており、前記コンピュータプログラムが処理装置によって実行される時に、上記の大型ディスプレイに基づいてパノラマ画像を作成する方法のいずれかが実施される。
【0032】
本願は大型ディスプレイに基づいてパノラマ画像を作成する方法、装置、スマート端末及び媒体を提供し、本願の目的、技術方案及び効果をより明瞭、明確にするために、以下に図面を参照して実施例を挙げて本願についてさらに詳細に説明する。本明細書に記載された具体的な実施例は、本願を説明することのみに使用され、本願を限定するものではないと理解するべきである。
【0033】
当業者であれば、特に説明しない限り、本願明細書で使用される単数形「1」、「1つ」、および「該」は、複数形も含むことができることを理解することができる。さらに理解されるべきことは、本願明細書で使用される「含む」という用語は、特徴、整数、過程、処理、要素および/または部品の存在を意味するが、1つ以上の他の特徴、整数、過程、処理、要素、部品、および/またはそれらの組み合わせの存在または追加を排除するものではない。要素が別の要素に「接続」または「結合」されていると説明される場合、それは他の要素に直接に接続または結合することができ、あるいは中間要素が存在することも可能であると理解するべきである。さらに、本願明細書で使用される「接続」または「結合」は、無線接続または無線結合を含むことができる。ここで使用される「および/または」という用語は、1つまたは複数の関連する例のすべてまたは任意の部分とすべての組み合わせを含む。
【0034】
当業者であれば、特に定義しない限り、本願明細書で使用されるすべての用語(技術用語および科学用語を含む)は、本願が属する分野における一般的な技術者の理解と同じ意味を持つと理解するべきである。また、汎用辞書などに定義されているような用語は、従来技術の文脈における意味と一致する意味を持つと理解され、ここで決定に定義されない限り、理想化されている、または正式すぎる意味で解釈されないことも理解されるべいである。
【0035】
以下、本願の技術方案について図面および具体的な実施例を用いて説明する。
【0036】
図1を参照し、
図1は大型ディスプレイに基づいてパノラマ画像を作成する方法を示すフロー図である。なお、本発明の実施形態に係る大型ディスプレイに基づいてパノラマ画像を作成する方法は、
図1に示されるフロー図におけるステップおよび手順に限定されるものではなく、必要に応じてフロー図におけるステップを追加、削除または手順を変更してもよい。
図1に示されるように、大型ディスプレイに基づいてパノラマ画像を作成する方法は下記のことを含む。
【0037】
S10:システムは目標画像の画像解像度と大型ディスプレイの画面解像度を取得すること。
【0038】
具体的には、目標画像とは、パノラマ画像と合成する必要のある対象である。本実施例において該目標画像は標準画質画像であり、即ち目標画像の画像解像度は標準画質解像度であり、通常は、該標準画質解像度は480p(720×480ピクセル解像度など)または576pであり、標準解像度SD(Standard Definition)で標準画質解像度を表す。
【0039】
なお、例えば480pの480とは、垂直解像度であり、垂直方向に480本の水平線の走査線がある。
【0040】
目標画像は、インターネットや撮影から取得することができる。従って、合成パノラマ画像の品質を向上させるために、目標画像を事前処理してもよい。該事前処理とは、目標画像を輝度強調する処理または目標画像を切り抜きする処理などの、ユーザの要求に応じて設定される処理規則である。該処理規則は限定されるものではなく、異なるシーンに応じて自由に設定されてもよい。
【0041】
大型ディスプレイとは、画面の対角線のサイズが40フィートを超える表示パネルを指す。例えば:直接視覚式カラーテレビまたは背面映写式テレビにおける大型ディスプレイである。従って、大型ディスプレイの画面解像度は高解像度HD(High Definition),720p(1280×720ピクセル解像度)や、完全高解像度FHD(Full High Definition),1080p(1080×720ピクセル解像度)や、超高解像度UHD(Ultra High Definition),4k (4096×2160ピクセル解像度)や、完全超高解像度FUHD(Full Ultra High Definition),8k(7680×4320ピクセル解像度,16:9)であってもよい。
【0042】
具体的には、システムは目標画像の画像解像度と大型ディスプレイの画面解像度を取得することは、
S11:スマート端末の目標画像を送信するコマンドを検出すると、システムは目標画像を受信して目標画像の画像解像度を取得し、画像解像度は目標画像の水平ピクセル数*垂直ピクセル数として表されることと、
S12:システムは大型ディスプレイの画面解像度を取得し、画面解像度は大型ディスプレイの水平ピクセル数*垂直ピクセル数として表されることと、を含む。
【0043】
本実施例において、大型ディスプレイの画面解像度は1080p(1920*1080)である場合、1920は水平ピクセル数、1080は垂直ピクセル数、目標画像の画像解像度は720*640であり、そのうち、720は水平ピクセル数、640は垂直ピクセル数として表される。
【0044】
S20:システムは画像解像度と画面解像度との解像度の差分を計算し、解像度の差分に基づいて目標画像を調整し、画面解像度とマッチングした大型ディスプレイの画像を得ること。
【0045】
具体的には、画像解像度および画面解像度はいずれも水平ピクセル数および垂直ピクセル数を含むため、従って、画像解像度と画面解像度との解像度の差分を計算することは、画像解像度における水平ピクセル数と画面解像度における水平ピクセル数との解像度の差分を計算すること、および画像解像度における垂直ピクセル数と画面解像度における垂直ピクセル数との解像度の差分を計算することとを含む。本実施例において、画像解像度における水平ピクセル数と画面解像度における水平ピクセル数との解像度の差分を計算することで解像度比率を調整する。
【0046】
さらに、画像解像度における水平ピクセル数と画面解像度における水平ピクセル数との差分を計算して水平解像度の差分を得る。画面解像度は画像解像度以上であるため、水平解像度の差分の絶対値を取得できる。
【0047】
水平解像度の差分の絶対値が0に等しい場合、目標画像を画面解像度とマッチングした大型ディスプレイの画像とする。つまり、目標画像の画像解像度と大型ディスプレイの画面解像度は同じであり、目標画像を充填する処理をする必要はない。
【0048】
水平解像度の差分の絶対値が0に等しくない場合、水平解像度の差分の絶対値を目標画像の水平方向に充填される予定のピクセル数とする。
【0049】
例えば:
目標画像Pic_X(x1)=640//水平方向640水平ピクセル、
大型ディスプレイ_XDisplay(x1)=1080//大型ディスプレイ物理の表示解像度、
水平解像度の差分Dis_ChaRu(x1)=|大型ディスプレイ_XDisplay(x1)-Pic_X(x1)|=1080-640=440、即ち440は水平解像度の差分であり、440を目標画像の水平方向に充填される予定のピクセル数とする。
【0050】
充填の過程において、充填される予定の色を事前に決定する必要があり、充填される予定の色の色彩値を取得した後、該色彩値を用いて目標画像を充填することにより、目標画像を充填した後に得た大型ディスプレイの画像の画像解像度は大型ディスプレイの画面解像度と同じになり、マッチする。
【0051】
具体的には、システムが充填される予定の色を決定し、且つ充填される予定の色に対応する色彩値を取得する流れは、
S211:目標画像に充填する各色の色彩値および充填する各色に対応するピクセル数を取得し、充填する各色の色彩値はいずれもR値、G値およびB値を含むことと、
S212:充填する各色の第1色彩値および充填する各色に対応するピクセル数に基づいてR値、G値およびB値の平均値をそれぞれ計算して、Rの平均値、Gの平均値およびBの平均値を得ることと、
S213:Rの平均値、Gの平均値およびBの平均値に対応する色を決定し、該色は充填される予定の色とされ、充填される予定の色の色彩値はRの平均値、Gの平均値およびBの平均値であることと、を含む。
【0052】
詳しくは、目標画像に充填する色の色彩値はいずれもRGB値を含み、従って、平均値ピクセルを用いて目標画像から赤、緑、青のうち最も多くの色を選択し、該色を充填される予定の色とし、その色彩値は各RGB平均値である。
【0053】
例えば:
Ave_PixeRGB(r1,g1,b1)={“0”, “128”, “255”}//平均値は青で充填されるピクセルである。
【0054】
充填する色を決定した後、充填数は充填される予定のピクセル数が例えば440になるまで目標画像を充填し、充填終了時に対応する大型ディスプレイの画像を取得する。よって、充填して得た大型ディスプレイの画像解像度は、画面解像度と同じになる。
【0055】
S30:システムは大型ディスプレイの画像に位置するフローティングウィンドウレイヤーを作成し、且つ所定のアルゴリズムによって、画面解像度が属するカテゴリに対応する平行移動拡張領域および感興直視領域をフローティングウィンドウレイヤーに配置して充填し、そのうち、平行移動拡張領域は、目標画像を平行移動処理および拡張処理によって大型ディスプレイの画像に変換するために用いられ、感興直視領域は、大型ディスプレイの画像を視差によってパノラマ画像に変換するために用いられる。
【0056】
S40:システムは平行移動拡張領域および感興直視領域に対応するフローティングウィンドウレイヤーのレイヤー透明度をそれぞれ設定する。
【0057】
本実施例において、画面解像度は高解像度と超高解像度の2種類に分類される。従って、この2種類のそれぞれに対して、対応する平行移動拡張領域および感興直視領域を作成する。そのうち、該平行移動拡張領域は、目標画像を大型ディスプレイに投影するシームレス接続と見られる。該感興直視領域は、目標画像を投影した後に形成された視差と見られる。
【0058】
(一):画面解像度が属するカテゴリは高解像度である場合、大型ディスプレイの画像に位置するフローティングウィンドウレイヤーを作成し、且つ所定のアルゴリズムによって、画面解像度が属するカテゴリに対応する平行移動拡張領域および感興直視領域をフローティングウィンドウレイヤーに配置して充填することは、
S311:画面解像度に基づいてフローティングウィンドウレイヤーを作成することにより、フローティングウィンドウレイヤーのサイズを大型ディスプレイとマッチングさせることと、
S312:フローティングウィンドウレイヤーを大型ディスプレイの画像の上方に置くことと、
S313:所定の平行移動拡張領域アルゴリズムによって目標画像に基づいてフローティングウィンドウレイヤーに第1平行移動拡張領域を配置することと、
S314:水平方向に目標画像の第1水平比率(例えば3/4)の第1水平ピクセルを切り取ることと、
S315:第1水平ピクセルを第1平行移動拡張領域に充填することと、
S316:第1平行移動拡張領域に充填した後、所定の感興直視アルゴリズムを追加して、第1感興直視領域を取得し、そのうち、第1平行移動拡張領域は第1感興直視領域を含むことと、
S317:目標画像において垂直方向に第1垂直比率(例えば1/2)の第1垂直ピクセルを切り取ることと、
S318:第1垂直ピクセルを第1感興直視領域に充填することと、を含む。
【0059】
システムは平行移動拡張領域および感興直視領域に対応するフローティングウィンドウレイヤーのレイヤー透明度をそれぞれ設定することは、
S411:第1平行移動拡張領域に対応するフローティングウィンドウレイヤーのレイヤー透明度は半透明であるように配置することと、
S412:第1感興直視領域に対応するフローティングウィンドウレイヤーのレイヤー透明度は全透明であるように配置することと、を含む。
【0060】
具体的には、以下の表1に示されるように、画面解像度は1080pである場合、目標画像の画像解像度は例えば720*640となり、例えば3/4の第1水平比率を選択して目標画像の水平方向ピクセルを切り取り、3*720/4=540が得られ、その時、各水平線上の540個のピクセルを切り取り、各水平線上に切り取られたピクセルの長さを取得して第1平行移動拡張領域FOV resolutionを配置して、具体的には、第1平行移動拡張領域の長さが540となる。平行移動拡張アルゴリズムによって目標画像上の各水平線上の540ピクセルを切り取り、第1平行移動拡張領域に充填し、且つ該第1平行移動拡張領域に対応するフローティングウィンドウレイヤーの左から右までのレイヤー透明度は半透明であり、即ち50%であるように配置される。
【0061】
なお、第1感興直視領域はフローティングウィンドウレイヤーの第1平行移動拡張領域に基づいて配置される。従って、第1平行移動拡張領域の充填及び配置が完了した後、最終の第1平行移動拡張領域に対して左から右まで感興直視アルゴリズムを追加して、第1感興直視領域を得る。例えば1/2の第1垂直比率を選択して目標画像の垂直方向ピクセルを切り取り、1*640/2=320が得られ、その時、目標画像上の各垂直線上の320ピクセルを切り取り第1感興直視領域ROI resolutionに充填し、且つ第1感興直視領域に対応するフローティングウィンドウレイヤーのレイヤー透明度は全透明であり、即ち100%であるように配置される。
【0062】
(二):画面解像度が属するカテゴリは超高解像度である場合、大型ディスプレイの画像に位置するフローティングウィンドウレイヤーを作成し、且つ所定のアルゴリズムによって、画面解像度が属するカテゴリに対応する平行移動拡張領域および感興直視領域をフローティングウィンドウレイヤーに配置して充填することは、
S321:画面解像度に基づいてフローティングウィンドウレイヤーを作成することにより、フローティングウィンドウレイヤーのサイズを大型ディスプレイとマッチングさせることと、
S322:フローティングウィンドウレイヤーを大型ディスプレイの画像の上方に置くことと、
S323:目標画像の高解像度に対応する高解像度画像を計算し、そのうち、高解像度画像の画像解像度は目標画像の画像解像度より高いことと、
S324:所定の平行移動拡張領域アルゴリズムによって目標画像に基づいてフローティングウィンドウレイヤーに第2平行移動拡張領域を配置することと、
S325:水平方向に高解像度画像の第2水平比率の第2水平ピクセルを切り取ることと、
S326:第2水平ピクセルを第2平行移動拡張領域に充填することと、
S327:第2平行移動拡張領域に充填した後、所定の感興直視アルゴリズムを追加して、第2感興直視領域を取得し、そのうち、第2平行移動拡張領域は第2感興直視領域を含むことと、
S328:高解像度画像において垂直方向に第2垂直比率の第2垂直ピクセルを切り取ることと、
S329:第2垂直ピクセルを第2感興直視領域に充填することと、を含む。
【0063】
平行移動拡張領域および感興直視領域に対応するフローティングウィンドウレイヤーのレイヤー透明度をそれぞれ設定することは、
S421:第2平行移動拡張領域に対応するフローティングウィンドウレイヤーのレイヤー透明度は半透明であるように配置することと、
S422:第2感興直視領域に対応するフローティングウィンドウレイヤーのレイヤー透明度は全透明であるように配置することと、を含む。
【0064】
具体的には、以下の表1に示されるように、画面解像度は3840pである場合、目標画像の画像解像度は例えば720*640であり、目標画像を高解像度画像に変換し、そして高解像度画像を超高解像度画像(即ち、大型ディスプレイの画像)に変換する必要がある。具体的には、目標画像の高清解像度に対応する高解像度画像を計算し、高解像度画像の画像解像度は目標画像の画像解像度よりも高い。即ち、該高解像度画像は上記の(一)にける大型ディスプレイの画像であってもよい。
【0065】
例えば4/3の第2水平比率を選択して高解像度画像の水平方向ピクセルを切り取り、4*1080/3=1440が得られ、その時、各水平線上の1440個のピクセルを切り取り、各水平線上に切り取られたピクセルの長さを取得して第2平行移動拡張領域FOV resolutionを配置し、具体的には、第2平行移動拡張領域の長さが1440となる。平行移動拡張アルゴリズムによって高解像度画像上の各水平線上の1440ピクセルを切り取り、第2平行移動拡張領域に充填し、且つ該第2平行移動拡張領域に対応するフローティングウィンドウレイヤーの左から右までのレイヤー透明度は半透明であり、即ち50%であるように配置される。
【0066】
なお、第2感興直視領域はフローティングウィンドウレイヤーの第2平行移動拡張領域に基づいて配置される。従って、第2平行移動拡張領域の充填及び配置が完了した後、最終の第2平行移動拡張領域に対して左から右まで感興直視アルゴリズムを追加して、第2感興直視領域を得る。例えば3/4の第2垂直比率を選択して高解像度画像の垂直方向ピクセルを切り取り、3*720/4=540が得られ、その時、高解像度画像上の各垂直線上の540ピクセルを切り取り、第2感興直視領域ROI resolutionに充填し、且つ第2感興直視領域に対応するフローティングウィンドウレイヤーのレイヤー透明度は全透明であり、即ち100%であるように配置される。
【0067】
【0068】
S50:システムは異なるレイヤー透明度を有するフローティングウィンドウレイヤーを大型ディスプレイと合成して目標画像のパノラマ画像を得る。
【0069】
具体的には、ステップS30、S40にける異なる画面解像度に対し、異なるレイヤー透明度を有するフローティングウィンドウレイヤーを大型ディスプレイと合成させることにより、目標画像の異なる解像度のパノラマ画像を得る。具体的には、画面解像度が属するカテゴリは高解像度である場合、シームレススプライシング技術を用いて、異なるレイヤー透明度を有するフローティングウィンドウレイヤーを大型ディスプレイと合成させ、目標画像の高解像度のパノラマ画像を取得する。画面解像度が属するカテゴリは超高解像度である場合、シームレススプライシング技術を用いて、異なるレイヤー透明度を有するフローティングウィンドウレイヤーを大型ディスプレイ合成と合成させ、目標画像の超高解像度のパノラマを取得する。
【0070】
よって、ステップS10~S50に基づいて、本願は解像度の差分を用いて目標画像の画面解像度とマッチングングする大型ディスプレイの画像(即ち平面パノラマ画像)を作成し、そして、フローティングウィンドウレイヤーの異なるレイヤー透明度、平行移動拡張領域アルゴリズムと感興直視アルゴリズムおよびシームレススプライシング技術によって、該大型ディスプレイの画像を3Dパノラマ画像に変換させてスマート大型ディスプレイとVRを組み合わせることで、スマート大型ディスプレイでも360°パノラマ画像の提供が可能になり、ユーザの視覚体験を改善し、宣伝が拡大され、ユーザに便利をもたらすことができる。
【0071】
上記の大型ディスプレイに基づいてパノラマ画像を作成する方法に基づいて、本願は大型ディスプレイに基づいてパノラマ画像を作成する装置をさらに提供する。
図2を参照し、
図2に本願の大型ディスプレイに基づいてパノラマ画像を作成する装置の構造ブロック図を示す。該装置は取得モジュール100、解像度調整モジュール200、平行移動拡張領域モジュール300、感興直視モジュール400およびパノラマ合成モジュール500を含んでもよく、
図2に装置の一部の部品のみを示しており、しかしながら、示された全ての構成要素を実施する必要はなく、より多くの構成要素またはより少ない構成要素を代わりに実施することができることを理解されたい。該装置は、携帯電話、ipad、デスクトップコンピュータなどのいずれかがインターネットに接続可能な機器であってもよい。
【0072】
取得モジュール100は、目標画像の画像解像度と大型ディスプレイの画面解像度を取得するために用いられる。
解像度調整モジュール200は、画像解像度と画面解像度との解像度の差分を計算し、解像度の差分に基づいて目標画像を調整し、画面解像度とマッチングした大型ディスプレイの画像を得るために用いられる。
平行移動拡張領域モジュール300は、大型ディスプレイの画像に位置するフローティングウィンドウレイヤーを作成し、且つ所定のアルゴリズムによって、画面解像度が属するカテゴリに対応する平行移動拡張領域をフローティングウィンドウレイヤーに配置して充填し、且つ平行移動拡張領域に対応するフローティングウィンドウレイヤーのレイヤー透明度を設定し、そのうち、平行移動拡張領域は、目標画像を平行移動処理および拡張処理によって大型ディスプレイの画像に変換するために用いられる。
感興直視モジュール400は、平行移動拡張領域モジュールに基づいて感興直視アルゴリズムによって感興直視領域を配置して充填し、且つ感興直視領域に対応するフローティングウィンドウレイヤーのレイヤー透明度を設定し、そのうち、感興直視領域は、大型ディスプレイの画像を視差によってパノラマ画像に変換するために用いられる。
パノラマ合成モジュール500は、異なるレイヤー透明度を有するフローティングウィンドウレイヤーを大型ディスプレイと合成させ、目標画像のパノラマ画像を得るために用いられる。
【0073】
本願はスマート端末をさらに提供し、
図3に示されるように、該スマート端末1は携帯電話、ipad、デスクトップコンピュータなどのいずれかがインターネットに接続可能な機器であってもよい。スマート端末1は、処理装置20および処理装置20に接続される記憶装置22を含み、
図3に装置の一部の部品のみを示しており、しかしながら、示された全ての構成要素を実施する必要はなく、より多くの構成要素またはより少ない構成要素を代わりに実施することができると理解するべきである。
【0074】
記憶装置22は、一部の実施例においてスマート端末1の内部記憶部であってもよく、例えばスマート端末1のメモリである。記憶装置22は他の一部の実施例においてスマート端末1の外部記憶機器であってもよく、例えばスマート端末1に配置されたプラグイン式USB、スマートメディアカード(Smart Media Card,SMC)、セキュアデジタル(Secure Digital,SD)カード、フラッシュカード(Flash Card)である。さらに、記憶装置22はスマート端末1の内部記憶部および外部記憶機器を両方とも含んでもよい。記憶装置22は、スマート端末1にインストールされたアプリケーションソフトウェアや各種データ、例えば、Webページの表示プログラムコードを記憶するために用いられる。記憶装置22は、さらに、出力されたデータや出力される予定のデータを一時的に記憶するために用いられてもよい。
【0075】
一部の実施例において、記憶装置22にWebページの表示プログラムが記憶されており、該Webページの表示プログラムが処理装置20によって上記のように実行され、該処理装置20は、
目標画像の画像解像度と大型ディスプレイの画面解像度を取得するために用いられる取得モジュールと、
画像解像度と画面解像度との解像度の差分を計算し、解像度の差分に基づいて目標画像を調整し、画面解像度とマッチングした大型ディスプレイの画像を得るために用いられる解像度調整モジュールと、
大型ディスプレイの画像に位置するフローティングウィンドウレイヤーを作成し、且つ所定のアルゴリズムによって、画面解像度が属するカテゴリに対応する平行移動拡張領域をフローティングウィンドウレイヤーに配置して充填し、且つ平行移動拡張領域に対応するフローティングウィンドウレイヤーのレイヤー透明度を設定し、そのうち、平行移動拡張領域は、目標画像を平行移動処理および拡張処理によって大型ディスプレイの画像に変換するために用いられる平行移動拡張領域モジュールと、
平行移動拡張領域モジュールに基づいて感興直視アルゴリズムによって感興直視領域を配置して充填し、且つ感興直視領域に対応するフローティングウィンドウレイヤーのレイヤー透明度を設定し、そのうち、感興直視領域は、大型ディスプレイの画像を視差によってパノラマ画像に変換するために用いられる感興直視モジュールと、
異なるレイヤー透明度を有するフローティングウィンドウレイヤーを大型ディスプレイと合成させ、目標画像のパノラマ画像を得るために用いられるパノラマ合成モジュールと、を含む。
【0076】
処理装置20は一部の実施例において中央処理装置(Central Processing Unit,CPU)、マイクロプロセッサ、携帯電話のベースバンド処理装置または他のデータ処理チップであってもよく、記憶装置22に記憶されたプログラムコードを実行するために用いられ、またはデータを処理するために用いられ、例えば、大型ディスプレイに基づいてパノラマ画像を作成する方法を実行する。
【0077】
本願はコンピュータが読み取り可能な記憶媒体をさらに提供し、コンピュータが読み取り可能な記憶媒体にコンピュータプログラムが記憶されており、コンピュータプログラムが処理装置20によって実行されると、具体的には上記の方法のように、大型ディスプレイに基づいてパノラマ画像を作成する方法のいずれかが実施される。
【0078】
もちろん、上記の実施例の方法における流れの全部または一部を、関連するハードウェア(例えば処理装置、コントローラ)を指示するコンピュータプログラムによって実現でき、プログラムは、コンピュータ読み取り可能な記憶媒体に記憶されてもよく、該プログラムが実行される時、上記の方法に関する実施例の流れを含んでもよいことは、当業者にとって理解し得るものである。そのうち、記憶媒体は記憶装置、ディスク、CD-ROMなどであってもよい。
【0079】
本願の応用は、上記の実施例に限定されるものではなく、当業者にとって上記の説明に従って改良または変形することができ、そのような改良および変形はすべて本願に添付された請求項の保護範囲に入るものと理解するべきである。
【符号の説明】
【0080】
1 スマート端末
20 処理装置
22 記憶装置
100 取得モジュール
200 解像度調整モジュール
300 平行移動拡張領域モジュール
400 感興直視モジュール
500 パノラマ合成モジュール
640 水平方向
【国際調査報告】