特表 2023-515411 ビデオレンダリング方法、装置、電子機器及び記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-04-13

(54)【発明の名称】ビデオレンダリング方法、装置、電子機器及び記憶媒体

(51)【国際特許分類】

   H04N 5/262 20060101AFI20230406BHJP

【ＦＩ】

H04N5/262

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2022549142

(86)(22)【出願日】2020-12-17

(85)【翻訳文提出日】2022-08-15

(86)【国際出願番号】 CN2020137398

(87)【国際公開番号】W WO2021189995

(87)【国際公開日】2021-09-30

(31)【優先権主張番号】202010212800.5

(32)【優先日】2020-03-24

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ブルートゥース

(71)【出願人】

【識別番号】520230293

【氏名又は名称】北京達佳互▲れん▼信息技術有限公司

(74)【代理人】

【識別番号】100072604

【弁理士】

【氏名又は名称】有我 軍一郎

(74)【代理人】

【識別番号】100140501

【弁理士】

【氏名又は名称】有我 栄一郎

(72)【発明者】

【氏名】シャオ， イー

(72)【発明者】

【氏名】ホウ， ペイホン

【テーマコード（参考）】

5C023

【Ｆターム（参考）】

5C023AA01

5C023CA01

(57)【要約】

本開示は、ビデオレンダリング方法、装置、電子機器及び記憶媒体に関し、前記方法は、レンダリング対象ビデオ及び前記レンダリング対象ビデオをレンダリングするための素材ビデオを取得するステップであって、前記素材ビデオが少なくとも２つのビデオ特殊効果のスティッチング・組み合わせによって得られ、前記ビデオ特殊効果には複数の素材画像が含まれているステップと、前記素材ビデオから複数の素材ブロックを分解するステップであって、前記素材ブロックは同じビデオ特殊効果に属する複数の素材画像を順番に配列して組み合わせることによって得られるステップと、前記素材ブロックの前記ビデオのビデオフレームにおける目標位置を決定するステップと、前記素材ブロックを前記ビデオフレームの目標位置に重ね合わせて、ビデオレンダリングを完了するステップと、を含む。
【選択図】図５

【特許請求の範囲】

【請求項1】

ビデオレンダリング方法であって、
レンダリング対象ビデオ及び前記レンダリング対象ビデオをレンダリングするための素材ビデオを取得するステップであって、前記素材ビデオが少なくとも２つのビデオ特殊効果のスティッチング・組み合わせによって得られ、前記ビデオ特殊効果には複数の素材画像が含まれているステップと、
前記素材ビデオから複数の素材ブロックを分解するステップであって、前記素材ブロックは同じビデオ特殊効果に属する複数の素材画像を順番に配列して組み合わせることによって得られるステップと、
前記素材ブロックの前記レンダリングビデオのビデオフレームにおける目標位置を決定するステップと、
前記素材ブロックを前記ビデオフレームの目標位置に重ね合わせて、ビデオレンダリングを完了するステップと、を含む、
ことを特徴とするビデオレンダリング方法。

【請求項2】

前記素材ブロックを前記ビデオフレームの目標位置に重ね合わせるステップは、
前記素材ブロックが文字情報を含む文字画像からなる文字素材ブロックであることに基づいて、前記文字素材ブロック及び前記文字素材ブロックに対応するａｌｐｈａ素材ブロックを前記ビデオフレームの目標位置に重ね合わせるステップであって、前記ａｌｐｈａ素材ブロックは前記文字素材ブロックの文字画像に１対１に対応するａｌｐｈａ画像を含むステップを含む、
ことを特徴とする請求項１に記載のビデオレンダリング方法。

【請求項3】

前記素材ビデオから複数の素材ブロックを分解するステップは、
前記素材ブロックの前記素材ビデオにおける第１の位置座標を取得するステップと、
前記第１の位置座標に基づいて前記素材ビデオから素材ブロックを分解するステップと、を含む、
ことを特徴とする請求項１に記載のビデオレンダリング方法。

【請求項4】

前記素材ブロックの前記レンダリングビデオのビデオフレームにおける目標位置を決定するステップは、
座標マッピング関係を取得するステップであって、前記座標マッピング関係は前記素材ブロックの前記素材ビデオにおける第１の位置座標と前記素材ブロックの前記レンダリング対象ビデオのビデオフレームにおける第２の位置座標との間のマッピング関係であるステップと、
前記座標マッピング関係に基づいて、前記第１の位置座標に対応する第２の位置座標を決定するステップと、
前記第２の位置座標が存在する位置を目標位置とするステップと、を含む、
ことを特徴とする請求項３に記載のビデオレンダリング方法。

【請求項5】

レンダリング対象ビデオ及び前記レンダリング対象ビデオをレンダリングするための素材ビデオを取得するステップは、
少なくとも２つのビデオ特殊効果を取得するステップと、
少なくとも１つの前記ビデオ特殊効果が文字情報を含む文字画像からなる文字特殊効果である場合、同じ文字特殊効果に属し、かつ同じ文字に属する文字画像を配列して組み合わせ、文字素材ブロックとするステップと、
前記文字素材ブロックに対するａｌｐｈａ素材ブロックを生成するステップであって、前記ａｌｐｈａ素材ブロックは、前記文字素材ブロックの文字画像に１対１に対応するａｌｐｈａ画像を含むステップと、
前記文字素材ブロック及び前記ａｌｐｈａ素材ブロックに基づいて、スティッチング・組み合わせによって素材ビデオが得られるステップと、を含む、
ことを特徴とする請求項１に記載のビデオレンダリング方法。

【請求項6】

ビデオレンダリング装置であって、
レンダリング対象ビデオ及び前記レンダリング対象ビデオをレンダリングするための素材ビデオを取得するように構成される取得ユニットであって、前記素材ビデオが少なくとも２つのビデオ特殊効果のスティッチング・組み合わせによって得られ、前記ビデオ特殊効果には複数の素材画像が含まれている取得ユニットと、
前記素材ビデオから複数の素材ブロックを分解するように構成される分解ユニットであって、前記素材ブロックは同じビデオ特殊効果に属する複数の素材画像を順番に配列して組み合わせることによって得られる分解ユニットと、
前記素材ブロックの前記レンダリングビデオのビデオフレームにおける目標位置を決定するように構成される決定ユニットと、
前記素材ブロックを前記ビデオフレームの目標位置に重ね合わせて、ビデオレンダリングを完了するように構成されるレンダリングユニットと、を含む、
ことを特徴とするビデオレンダリング装置。

【請求項7】

前記レンダリングユニットは、前記素材ブロックが文字情報を含む文字画像からなる文字素材ブロックである場合、前記文字素材ブロック及び前記文字素材ブロックに対応するａｌｐｈａ素材ブロックを前記ビデオフレームの目標位置に重ね合わせるように構成され、前記ａｌｐｈａ素材ブロックは前記文字素材ブロックの文字画像に１対１に対応するａｌｐｈａ画像を含む、
ことを特徴とする請求項６に記載のビデオレンダリング装置。

【請求項8】

前記分解ユニットは、前記素材ブロックの前記素材ビデオにおける第１の位置座標を取得し、前記第１の位置座標に基づいて前記素材ビデオから素材ブロックを分解するように構成される、
ことを特徴とする請求項６に記載のビデオレンダリング装置。

【請求項9】

前記決定ユニットは、座標マッピング関係を取得し、前記座標マッピング関係は前記素材ブロックの前記素材ビデオにおける第１の位置座標と前記素材ブロックの前記レンダリング対象ビデオのビデオフレームにおける第２の位置座標との間のマッピング関係であり、前記座標マッピング関係に基づいて、前記第１の位置座標に対応する第２の位置座標を決定し、前記第２の位置座標が存在する位置を目標位置とするように構成される、
ことを特徴とする請求項６に記載のビデオレンダリング装置。

【請求項10】

前記装置は、少なくとも２つのビデオ特殊効果を取得し、少なくとも１つの前記ビデオ特殊効果が文字情報を含む文字画像からなる文字特殊効果である場合、同じ文字特殊効果に属し、かつ同じ文字に属する文字画像を配列して組み合わせ、文字素材ブロックとし、前記文字素材ブロックに対するａｌｐｈａ素材ブロックを生成し、前記ａｌｐｈａ素材ブロックは、前記文字素材ブロックの文字画像に１対１に対応するａｌｐｈａ画像を含み、前記文字素材ブロック及び前記ａｌｐｈａ素材ブロックに基づいて、スティッチング・組み合わせによって素材ビデオが得られるように構成される特殊効果取得ユニットをさらに含む、
ことを特徴とする請求項６に記載のビデオレンダリング装置。

【請求項11】

電子機器であって、
プロセッサと、
前記プロセッサによって実行可能な指令を記憶するためのメモリと、含み、
前記プロセッサは、以下の操作を実現するために、前記指令を実行するように構成され、
レンダリング対象ビデオ及び前記レンダリング対象ビデオをレンダリングするための素材ビデオを取得し、前記素材ビデオが少なくとも２つのビデオ特殊効果のスティッチング・組み合わせによって得られ、前記ビデオ特殊効果には複数の素材画像が含まれており、
前記素材ビデオから複数の素材ブロックを分解し、前記素材ブロックは同じビデオ特殊効果に属する複数の素材画像を順番に配列して組み合わせることによって得られ、
前記素材ブロックの前記レンダリングビデオのビデオフレームにおける目標位置を決定し、
前記素材ブロックを前記ビデオフレームの目標位置に重ね合わせて、ビデオレンダリングを完了する、
ことを特徴とする電子機器。

【請求項12】

前記プロセッサは、以下の操作を実現するために、前記指令を実行するように構成され、
前記素材ブロックが文字情報を含む文字画像からなる文字素材ブロックであることに基づいて、前記文字素材ブロック及び前記文字素材ブロックに対応するａｌｐｈａ素材ブロックを前記ビデオフレームの目標位置に重ね合わせ、前記ａｌｐｈａ素材ブロックは前記文字素材ブロックの文字画像に１対１に対応するａｌｐｈａ画像を含む、
ことを特徴とする請求項１１に記載の電子機器。

【請求項13】

前記プロセッサは、以下の操作を実現するために、前記指令を実行するように構成され、
前記素材ブロックの前記素材ビデオにおける第１の位置座標を取得し、
前記第１の位置座標に基づいて前記素材ビデオから素材ブロックを分解する、
ことを特徴とする請求項１１に記載の電子機器。

【請求項14】

前記プロセッサは、以下の操作を実現するために、前記指令を実行するように構成され、
座標マッピング関係を取得し、前記座標マッピング関係は前記素材ブロックの前記素材ビデオにおける第１の位置座標と前記素材ブロックの前記レンダリング対象ビデオのビデオフレームにおける第２の位置座標との間のマッピング関係であり、
前記座標マッピング関係に基づいて、前記第１の位置座標に対応する第２の位置座標を決定し、
前記第２の位置座標が存在する位置を目標位置とする、
ことを特徴とする請求項１３に記載の電子機器。

【請求項15】

前記プロセッサは、以下の操作を実現するために、前記指令を実行するように構成され、
少なくとも２つのビデオ特殊効果を取得し、
少なくとも１つの前記ビデオ特殊効果が文字情報を含む文字画像からなる文字特殊効果である場合、同じ文字特殊効果に属し、かつ同じ文字に属する文字画像を配列して組み合わせ、文字素材ブロックとし、
前記文字素材ブロックに対するａｌｐｈａ素材ブロックを生成し、前記ａｌｐｈａ素材ブロックは、前記文字素材ブロックの文字画像に１対１に対応するａｌｐｈａ画像を含み、
前記文字素材ブロック及び前記ａｌｐｈａ素材ブロックに基づいて、スティッチング・組み合わせによって素材ビデオが得られる、
ことを特徴とする請求項１１に記載の電子機器。

【請求項16】

記憶媒体であって、
前記記憶媒体における指令が電子機器のプロセッサによって実行される場合、前記電子機器が以下の操作を実行できるようにし、
レンダリング対象ビデオ及び前記レンダリング対象ビデオをレンダリングするための素材ビデオを取得し、前記素材ビデオが少なくとも２つのビデオ特殊効果のスティッチング・組み合わせによって得られ、前記ビデオ特殊効果には複数の素材画像が含まれており、
前記素材ビデオから複数の素材ブロックを分解し、前記素材ブロックは同じビデオ特殊効果に属する複数の素材画像を順番に配列して組み合わせることによって得られ、
前記素材ブロックの前記レンダリングビデオのビデオフレームにおける目標位置を決定し、
前記素材ブロックを前記ビデオフレームの目標位置に重ね合わせて、ビデオレンダリングを完了する、
ことを特徴とする記憶媒体。

【請求項17】

前記記憶媒体における指令が電子機器のプロセッサによって実行される場合、前記電子機器が以下の操作を実行できるようにし、
前記素材ブロックが文字情報を含む文字画像からなる文字素材ブロックであることに基づいて、前記文字素材ブロック及び前記文字素材ブロックに対応するａｌｐｈａ素材ブロックを前記ビデオフレームの目標位置に重ね合わせ、前記ａｌｐｈａ素材ブロックは前記文字素材ブロックの文字画像に１対１に対応するａｌｐｈａ画像を含む、
ことを特徴とする請求項１６に記載の記憶媒体。

【請求項18】

前記記憶媒体における指令が電子機器のプロセッサによって実行される場合、前記電子機器が以下の操作を実行できるようにし、
前記素材ブロックの前記素材ビデオにおける第１の位置座標を取得し、
前記第１の位置座標に基づいて前記素材ビデオから素材ブロックを分解する、
ことを特徴とする請求項１６に記載の記憶媒体。

【請求項19】

前記記憶媒体における指令が電子機器のプロセッサによって実行される場合、前記電子機器が以下の操作を実行できるようにし、
座標マッピング関係を取得し、前記座標マッピング関係は前記素材ブロックの前記素材ビデオにおける第１の位置座標と前記素材ブロックの前記レンダリング対象ビデオのビデオフレームにおける第２の位置座標との間のマッピング関係であり、
前記座標マッピング関係に基づいて、前記第１の位置座標に対応する第２の位置座標を決定し、
前記第２の位置座標が存在する位置を目標位置とする、
ことを特徴とする請求項１８に記載の記憶媒体。

【請求項20】

前記記憶媒体における指令が電子機器のプロセッサによって実行される場合、前記電子機器が以下の操作を実行できるようにし、
少なくとも２つのビデオ特殊効果を取得し、
少なくとも１つの前記ビデオ特殊効果が文字情報を含む文字画像からなる文字特殊効果である場合、同じ文字特殊効果に属し、かつ同じ文字に属する文字画像を配列して組み合わせ、文字素材ブロックとし、
前記文字素材ブロックに対するａｌｐｈａ素材ブロックを生成し、前記ａｌｐｈａ素材ブロックは、前記文字素材ブロックの文字画像に１対１に対応するａｌｐｈａ画像を含み、
前記文字素材ブロック及び前記ａｌｐｈａ素材ブロックに基づいて、スティッチング・組み合わせによって素材ビデオが得られる、
ことを特徴とする請求項１６に記載の記憶媒体。

【発明の詳細な説明】

【関連出願の相互参照】

【0001】

本開示は、２０２０年０３月２４日に中国特許庁に提出され、出願番号が２０２０１０２１２８００．５であり、発明の名称が「ビデオレンダリング方法、装置、電子機器及び記憶媒体」である中国特許出願の優先権を主張し、そのすべての内容は引用によって本開示に組み込まれている。

【技術分野】

【0002】

本開示は、ビデオ処理技術分野に関し、特にビデオレンダリング方法、装置、電子機器及び記憶媒体に関する。

【背景技術】

【0003】

スマートフォンなどの機器のソフトウェア・ハードウェアウェア技術の発展につれて、ショットビデオの機器のレンダリングが人気を集めている。ビデオ特殊効果によってビデオをレンダリングする時に、ビデオ処理を如何にしてより良く実現するかは、早急に解决しなければならない問題になっている。

【発明の概要】

【0004】

本開示は、少なくとも関連技術におけるビデオに対して２つ以上のビデオ特殊効果をレンダリングする必要がある場合に、２つの素材ビデオを同時にデコードすることができないため、フレームシーケンスの方式でレンダリングする必要があり、メモリスペースの占有量が多すぎることによる機器の応答が遅延するという問題を解決するために、ビデオレンダリング方法、装置、電子機器及び記憶媒体を提供する。

【課題を解決するための手段】

【0005】

本開示の実施例の第１の態様によれば、ビデオレンダリング方法を提供し、前記ビデオレンダリング方法は、レンダリング対象ビデオ及び前記レンダリング対象ビデオをレンダリングするための素材ビデオを取得するステップであって、前記素材ビデオが少なくとも２つのビデオ特殊効果のスティッチング・組み合わせによって得られ、前記ビデオ特殊効果には複数の素材画像が含まれているステップと、前記素材ビデオから複数の素材ブロックを分解するステップであって、前記素材ブロックは同じビデオ特殊効果に属する複数の素材画像を順番に配列して組み合わせることによって得られるステップと、前記素材ブロックの前記レンダリングビデオのビデオフレームにおける目標位置を決定するステップと、前記素材ブロックを前記ビデオフレームの目標位置に重ね合わせて、ビデオレンダリングを完了するステップと、を含む。

【0006】

本開示の実施例の第２の態様によれば、ビデオレンダリング装置を提供し、前記ビデオレンダリング装置は、レンダリング対象ビデオ及び前記レンダリング対象ビデオをレンダリングするための素材ビデオを取得するように構成される取得ユニットであって、前記素材ビデオが少なくとも２つのビデオ特殊効果のスティッチング・組み合わせによって得られ、前記ビデオ特殊効果には複数の素材画像が含まれている取得ユニットと、前記素材ビデオから複数の素材ブロックを分解するように構成される分解ユニットであって、前記素材ブロックは同じビデオ特殊効果に属する複数の素材画像を順番に配列して組み合わせることによって得られる分解ユニットと、前記素材ブロックの前記レンダリングビデオのビデオフレームにおける目標位置を決定するように構成される決定ユニットと、を含む。

【0007】

本開示の第３の態様によれば、電子機器を提供し、前記電子機器は、プロセッサと、前記プロセッサによって実行可能な指令を記憶するためのメモリと、含み、前記プロセッサは、上記の第１の態様に記載のビデオレンダリング方法を実現するために、前記指令を実行するように構成される。

【0008】

本開示の実施例の第４の態様によれば、記憶媒体を提供し、前記記憶媒体における指令が電子機器のプロセッサによって実行される場合、前記電子機器が上記の第１の態様に記載のビデオレンダリング方法を実行できる。

【0009】

本開示の実施例の第５の態様によれば、コンピュータプログラムを含むコンピュータプログラム製品を提供し、前記コンピュータプログラムが読み取り可能な記憶媒体に記憶されており、機器の少なくとも１つのプロセッサは、前記読み取り可能な記憶媒体から前記コンピュータプログラムを読み取って実行し、機器に第１の態様のいずれかの実施例に記載のビデオレンダリング方法を実行させる。

【0010】

本開示の実施例に係る技術案は、ビデオレンダリングのためのビデオ特殊効果が占有するメモリスペースを節約し、機器の応答が遅延するのを回避し、ビデオレンダリングの流暢さを向上させることができる。

【0011】

なお、以上の一般的な説明及び以下の詳細な説明は、例示的かつ解釈的なものに過ぎず、本開示を限定するものではない。

【0012】

【図面の簡単な説明】

【0013】

ここでの図面は明細書に組み込まれて本明細書の一部を構成し、本開示に適合する実施例が示され、明細書とともに本開示の原理を説明し、本開示に対する不当な限定を構成するものではない。

【図1】ビデオ特殊効果のアニメーション効果の概略図である。

【図2】ビデオ特殊効果の素材画像の概略図である。

【図3】他のビデオ特殊効果の素材画像の概略図である。

【図4】例示的な一実施例に係る電子機器の内部構成図である。

【図5】例示的な一実施例に係るビデオレンダリング方法のフローチャートである。

【図6】例示的な一実施例に係る素材ビデオのあるフレームの素材画像の配置の概略図である。

【図7】現在の素材ビデオのメモリの計算の概略図である。

【図8】例示的な一実施例に係る素材ビデオのメモリの計算の概略図である。

【図9】例示的な一実施例に係る第１の位置座標の計算の概略図である。

【図10】例示的な一実施例に係る素材画像と目標イメージとのマッピングの概略図である。

【図11】例示的な一実施例に係る文字画像の重ね合わせの概略図である。

【図12】例示的な一実施例に係る花火素材の重ね合わせの概略図である。

【図13】例示的な一実施例に係る素材画像の処理フローチャートである。

【図14】例示的な一実施例に係るビデオレンダリング効果の概略図である。

【図15】例示的な一実施例に係るビデオレンダリング装置のブロック図である。

【発明を実施するための形態】

【0014】

当業者が本願の技術案をよりよく理解するために、以下に図面を組み合わせて本願の実施例における技術案を明確かつ完全に説明する。

【0015】

なお、本願の明細書及び特許請求の範囲、並びに上記の図面における「第１」、「第２」などの用語は、類似の対象を区別するためのものであり、特定の順序又は優先順位を説明するために使用されるものではない。なお、このように使用されるデータは、本明細書に記載の本願の実施例が本明細書で図示又は説明されている順序以外の順序で実施されることを可能にするために、適宜交換されてもよい。以下の例示的な実施例において説明される実施形態は、本願に一致するすべての実施形態を表すものではない。むしろ、それらは、添付の特許請求の範囲に詳述された、本願のいくつかの態様に一致する装置及び方法の例に過ぎない。

【0016】

本願の実施例によって提供される画像処理方法は、図４に示すような機器１００に適用することができる。機器１００は、携帯電話、コンピュータ、デジタル放送端末、メッセージングデバイス、ゲームコンソール、タブレット、医療デバイス、フィットネスデバイス、携帯情報端末などのモバイル端末とすることができる。
図４を参照すると、機器１００は、処理コンポーネント１０１、メモリ１０２、電源コンポーネント１０３、マルチメディアコンポーネント１０４、オーディオコンポーネント１０５、入力／出力（Ｉ／Ｏ）のインタフェース１０６、センサコンポーネント１０７及び通信コンポーネント１０８のうちの１つ又は複数のコンポーネントを含むことができる。これらのコンポーネントに対する詳細な説明は以下の通りである。

【0017】

処理コンポーネント１０１は、通常、表示、電話呼び出し、データ通信、カメラ操作及び記録操作に関連する操作など、機器１００の全体的な操作を制御する。処理コンポーネント１０１は、指令を実行して上記方法の全部又は一部のステップを完成するための１つ又は複数のプロセッサ１０９を含むことができる。また、処理コンポーネント１０１は、処理コンポーネント１０１と他のコンポーネントとの間のインタラクションを容易にするための１つ又は複数のモジュールを含むことができる。例えば、処理コンポーネント１０１は、マルチメディアコンポーネント１０４と処理コンポーネント１０１との間のインタラクションを容易にするためのメディアモジュールを含むことができる。

【0018】

メモリ１０２は、機器１００での操作を支援するように、様々なデータを記憶するように構成される。これらのデータの例は、連絡先データ、電話帳データ、メッセージ、画像、アニメーションなどの機器１００で操作するためのいずれかのアプリケーション又は方法の指令を含む。メモリ１０２は、スタティックランダムアクセスメモリ（ＳＲＡＭ）、電気消去可能プログラマブル読み出し専用メモリ（ＥＥＰＲＯＭ）、消去可能プログラマブル読み出し専用メモリ（ＥＰＲＯＭ）、プログラマブル読み出し専用メモリ（ＰＲＯＭ）、読み出し専用メモリ（ＲＯＭ）、磁気メモリ、フラッシュメモリ、ディスク、光ディスクなどの任意のタイプの一時的又は非一時的な記憶媒体、又はそれらの組み合わせによって実現することができる。

【0019】

電源コンポーネント１０３は、機器１００の様々なコンポーネントに電力を提供する。電源コンポーネント１０３は、電源管理システム、１つ又は複数の電源、及び機器１００の電力の生成、管理及び分配に関連する他のコンポーネントを含むことができる。

【0020】

マルチメディアコンポーネント１０４は、前記機器１００とユーザとの間に１つの出力インタフェースを提供するスクリーンを含む。いくつかの実施例において、スクリーンは、液晶ディスプレイ（ＬＣＤ）及びタッチパネル（ＴＰ）を含むことができる。スクリーンは、タッチパネルを含む場合、ユーザからの入力信号を受信するためのタッチスクリーンとして実現することができる。タッチパネルは、タッチ、スライド及びタッチパネル上のジェスチャーを検知するための１つ又は複数のタッチセンサを含む。タッチセンサは、タッチ又はスライド動作の境界線を検知するだけではなく、タッチ又はスライド操作に関連する持続時間及び圧力も検出する。いくつかの実施例において、マルチメディアコンポーネント１０４は、１つのフロントカメラ及び／又はリアカメラを含む。フロントカメラ及び／又はリアカメラは、機器１００が、撮影モード又はビデオモードなどの操作モードにある場合、外部のメディアデータを受信することができる。各フロントカメラ及びリアカメラは、１つの固定する光学レンズ系であってもよいし、焦点距離及び光学ズーム能力を有してもよい。

【0021】

オーディオコンポーネント１０５は、オーディオ信号を出力及び／又は入力するように構成される。例えば、オーディオコンポーネント１０５は、１つのマイクロフォン（ＭＩＣ）を含み、マイクロフォンは、機器１００が呼び出しモード、記録モード及び音声認識モードなどの操作モードにある場合、外部オーディオ信号を受信するように構成される。受信されたオーディオ信号は、メモリ１０２にさらに記憶されるか、又は通信コンポーネント１０８を介して送信されてもよい。いくつかの実施例において、オーディオコンポーネント１０５は、オーディオ信号を出力するためのスピーカーをさらに含む。

【0022】

Ｉ／Ｏインタフェース１０６は、処理コンポーネント１０１と周辺インタフェースモジュールとの間にインタフェースを提供し、上記周辺インタフェースモジュールは、キーパッド、クリックホイール、ボタンなどであってもよい。これらのボタンは、ホームボタン、音量ボタン、起動ボタン及びロックボタンを含むが、これらに限定されない。

【0023】

センサコンポーネント１０７は、機器１００のために様々な方面の状態評価を提供するための１つ又は複数のセンサを含む。例えば、センサコンポーネント１０７は、機器１００のオン／オフ状態、コンポーネントの相対的な位置付けを検出することができ、例えば、コンポーネントが機器１００のディスプレイ及び小キーパッドであり、センサコンポーネント１０７は、機器１００又は機器１００の１つのコンポーネントの位置変化、ユーザと機器１００との接触の有無、機器１００の方位又は加速／減速及び機器１００の温度変化を検出することもできる。センサコンポーネント１０７は、いずれかの物理接触もない場合、近傍の物体の存在を検出するための接近センサを含むことができる。センサコンポーネント１０７は、撮像アプリケーションで使用するためのＣＭＯＳ又はＣＣＤ画像センサなどの光センサをさらに含むことができる。いくつかの実施例において、当該センサコンポーネント１０７は、加速度センサ、ジャイロセンサ、磁気センサ、圧力センサ又は温度センサをさらに含むことができる。

【0024】

通信コンポーネント１０８は、機器１００と他のデバイスとの有線又は無線方式の通信を容易にするように構成される。機器１００は、ＷｉＦｉ、キャリアネットワーク（２Ｇ、３Ｇ、４Ｇ又は５Ｇ）、又はそれらの組み合わせなどの通信標準に基づく無線ネットワークにアクセスすることができる。例示的な一実施例において、通信コンポーネント１０８は、放送チャンネルを介して外部放送管理システムからの放送信号又は放送に関連する情報を受信する。例示的な一実施例において、通信コンポーネント１０８は、近距離通信を容易にするために、近距離通信（ＮＦＣ）モジュールをさらに含む。例えば、ＮＦＣモジュールは、無線周波数認識（ＲＦＩＤ）技術、赤外線データ協会（ＩｒＤＡ）技術、超広帯域（ＵＷＢ）技術、ブルートゥース（ＢＴ）技術、及び他の技術に基づいて実現することができる。

【0025】

いくつかの実施例において、機器１００は、上記方法を実現するために、１つ又は複数のアプリケーション特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、デジタル信号処理デバイス（ＤＳＰＤ）、プログラマブルロジックデバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、コントローラ、マイクロコントローラ、マイクロプロセッサ、又は他の電子部品によって実現することができる。

【0026】

図５は、例示的な一実施例に係るビデオレンダリング方法のフローチャートであり、図５に示すように、ビデオレンダリング方法は、図４の機器１００に適用されている。

【0027】

ステップＳ５１において、レンダリング対象ビデオ及び前記レンダリング対象ビデオをレンダリングするための素材ビデオを取得し、前記素材ビデオが少なくとも２つのビデオ特殊効果のスティッチング・組み合わせによって得られ、前記ビデオ特殊効果には複数の素材画像が含まれている。

【0028】

ビデオをレンダリングする際にビデオ特殊効果のビデオを付加する必要があり、本実施例においてレンダリング対象ビデオに２つ以上のビデオ特殊効果を付加する必要がある。ここで、各ビデオ特殊効果は、複数の素材画像を組み合わせたものである。

【0029】

いくつかの実施例において、本実施例は、ビデオをレンダリングする前に、ビデオ特殊効果を利用してスティッチング・組み合わせを行う必要があり、１つの素材ビデオが得られる。いくつかの実施例において、前記方法は、以下のステップをさらに含むことができる。

【0030】

少なくとも２つのビデオ特殊効果を取得し、
少なくとも１つの前記ビデオ特殊効果が文字情報を含む文字画像からなる文字特殊効果である場合、同じ文字特殊効果に属し、かつ同じ文字に属する文字画像を配列して組み合わせ、文字素材ブロックとし、
前記文字素材ブロックに対するａｌｐｈａ素材ブロックを生成し、前記ａｌｐｈａ素材ブロックは、前記文字素材ブロックの文字画像に１対１に対応するａｌｐｈａ画像を含み、
前記文字素材ブロック及び前記ａｌｐｈａ素材ブロックに基づいて、スティッチング・組み合わせによって素材ビデオが得られる。

【0031】

レンダリング対象ビデオをレンダリングする前に、前段階でレンダリング対象ビデオに対して素材ビデオのスティッチング・組み合わせを行うことができ、ここで、素材ビデオは、２つ以上のビデオ特殊効果をスティッチングして得られたものである。

【0032】

素材ビデオの前段階のスティッチング・組み合わせでは、特殊効果のニーズに応じて、ビデオ特殊効果の素材画像を、特殊効果のニーズに合わせて素材ビデオの中に整然と配置することができ、例えば、同じビデオ特殊効果に属する素材画像に対しては、素材画像を特殊効果のニーズに応じて配列した後、その配列順に素材画像を素材ビデオの各フレームに１つずつ組み合わせ、ビデオフレームの同じ時刻に出現するが、異なるビデオ特殊効果に属する素材画像については、素材ビデオの同じフレームにスティッチングことができる。

【0033】

いくつかの実施例において、ビデオ特殊効果には、文字特殊効果及びアニメーション特殊効果が含まれており、ここで、文字特殊効果は、「鼠年」の２文字の文字特殊効果のように文字情報を含む文字画像からなり、アニメーション特殊効果は、非文字画像の素材画像からなり、例えば、花火特殊効果は花火を含む花火画像からなり、花特殊効果は花を含む花画像からなることができる。

【0034】

仮に「恭喜發財」、「鼠年快楽」、「招財進宝」、「大吉大利」という４セットの文字特殊効果の文字画像と花火特殊効果の花火画像があるとする。素材ビデオをスティッチングする際には、Ａｆｔｅｒ Ｅｆｆｅｃｔ（略してＡＥと称する）のような人気のビデオ作成ソフトを利用してスティッチング・組み合わせることができる。ＡＥでは、図６を参照して、文字特殊効果の各文字に対応する文字画像を整然と配置することができ（図６の左に示す）、花火特殊効果の花火画像を整然と配置する必要もある（図６の中央に示す）。

【0035】

図６は、素材ビデオのあるフレームの素材画像の配置の概略図であり、素材ビデオの各フレームには、同じ時刻に出現する文字画像と花火画像がスティッチングされており、例えば、文字特殊効果の文字画像に対しては、同じ文字に属する文字画像を１つのマス目の領域内に配置し、マス目空間を再利用してできるだけ余白を残さないようにすることで、空間利用率を最大化することができる。もちろん、花火特殊効果の花火画像に対しても、空間利用率を最大化するために、１つのマス目の領域内に配置することもできる。ここで、同じマス目の領域内にある素材画像は、１つの素材ブロックにソートされて組み合わせられる。例えば、「鼠」という文字があるマス目の領域内では、すべての「鼠」の文字画像が１つの「鼠」文字の素材ブロックに組み合わせられ、花火があるマス目の領域内では、すべての花火画像が１つの「花火」の素材ブロックに組み合わせられる。

【0036】

いくつかの実施例において、ビデオに対して２つ以上のビデオ特殊効果をレンダリングする際に、レンダリング対象ビデオと、レンダリング対象ビデオに対する事前にスティッチング・組み合わせた素材ビデオを取得する必要がある。

【0037】

ステップＳ５２において、前記素材ビデオから複数の素材ブロックを分解し、前記素材ブロックは同じビデオ特殊効果に属する複数の素材画像を順番に配列して組み合わせることによって得られる。

【0038】

いくつかの実施例において、素材ビデオを利用してレンダリング対象ビデオをレンダリングする際に、先ず素材ビデオ内の各素材画像を分解する必要があり、分解は、Ｏｐｅｎｇｌの頂点シェーダのようなツールで行うことができる。

【0039】

素材画像をスティッチングすることによって素材ビデオを取得する場合、同じビデオ特殊効果に属する素材画像を１つのマス目の領域内に整然と配置するため、素材ビデオから素材画像を取得する際に、同じマス目（素材ビデオの第１位置座標が同じ）内に属する素材ブロックを取得することにより、素材ブロックの素材画像を取得することができる。

【0040】

ステップＳ５３において、前記素材ブロックの前記ビデオのビデオフレームにおける目標位置を決定する。

【0041】

いくつかの実施例において、所望の理想的なイメージが得られるように、素材ブロックをビデオのビデオフレームの目標位置に配置するように設定することができる。例えば、素材ブロックの素材画像をレンダリング対象ビデオのビデオフレームの中央に配置するように設定することができ、レンダリング対象ビデオのビデオフレームの左下隅に配置するように設定することができ、レンダリング対象ビデオのビデオフレームの全体と重ね合わせるように設定することもできる。

【0042】

ステップＳ５４において、前記素材ブロックを前記ビデオフレームの目標位置に重ね合わせて、ビデオレンダリングを完了する。

【0043】

素材ビデオ内の各素材ブロックのビデオフレームにおける目標位置が決定された後、素材ブロックを当該レンダリング対象ビデオのビデオフレームの目標位置に重ね合わせてビデオレンダリングを実現することができる。

【0044】

ここで、本実施例は同じ素材ビデオに少なくとも２つのビデオ特殊効果をスティッチングした後、素材ビデオを用いてレンダリング対象ビデオをレンダリングするので、ビデオレンダリングのためのビデオ特殊効果が占有するメモリスペースを節約することができる。

【0045】

図７を参照すると、仮に「恭喜發財」、「鼠年快楽」、「招財進宝」、「大吉大利」という４セットの文字特殊効果の文字画像と花火特殊効果の花火画像があるとする。花火特殊効果の花火画像を素材ビデオに変換すると、花火特殊効果の素材ビデオが占有するメモリスペースの大きさは１２８ＫＢとなり、４つの文字特殊効果の文字画像がフレームシーケンスである場合、４つの文字特殊効果の文字画像が占有するメモリスペースの大きさは３８６４ＫＢとなり、占有する合計メモリスペースの大きさは３９９２ＫＢとなる。

【0046】

図８を参照すると、本実施例を適用して４セットの文字特殊効果の文字画像と花火特殊効果の花火画像とを同じ素材ビデオ（合成ビデオ素材）にスティッチングすると、占有する合計メモリスペースの大きさは２１５０．４ＫＢとなり、１つのビデオ特殊効果のみをビデオに変換する方式に比べて、４６．１３％のメモリスペースの占有を削減することができる。

【0047】

上記のビデオレンダリング方法では、先ずレンダリング対象ビデオ及びレンダリング対象ビデオをレンダリングするための素材ビデオを取得し、ここで、素材ビデオは、複数のビデオ特殊効果をスティッチング・組み合わせることによって得られ、当該ビデオ特殊効果は、複数の素材画像を含み、素材ビデオから複数の素材ブロックを分解し、素材ブロックのビデオのビデオフレームにおける目標位置を決定してから、素材ブロックをビデオフレームの目標位置に重ね合わせて、ビデオレンダリングを完了する。これにより、ビデオレンダリングのためのビデオ特殊効果が占有するメモリスペースを節約し、機器の応答が遅延するのを回避し、ビデオレンダリングの流暢さを向上させることができる。

【0048】

いくつかの実施例において、レンダリング対象ビデオ及び前記ビデオをレンダリングするための素材ビデオを取得するステップの前に、前記方法は、以下のステップをさらに含むことができる。

【0049】

少なくとも２つのビデオ特殊効果を取得し、
少なくとも１つの前記ビデオ特殊効果が文字情報を含む文字画像からなる文字特殊効果である場合、同じ文字特殊効果に属し、かつ同じ文字に属する文字画像を配列して組み合わせ、文字素材ブロックとし、
前記文字素材ブロックに対するａｌｐｈａ素材ブロックを生成し、前記ａｌｐｈａ素材ブロックは、前記文字素材ブロックの文字画像に１対１に対応するａｌｐｈａ画像を含み、
前記文字素材ブロック及び前記ａｌｐｈａ素材ブロックに基づいて、スティッチング・組み合わせによって素材ビデオが得られる。ビデオの前段階のスティッチングでは、ビデオ作成ソフトを利用して、文字特殊効果と他の特殊効果の両方を素材ビデオ中に整然と配置することができ、例えば、図６を参照すると、文字特殊効果における各文字の文字画像を整然と配置したり、花火特殊効果の花火画像を整然と配置したりすることができる。

【0050】

なお、素材ビデオにはａｌｐｈａチャンネルがなく、文字特殊効果のブレンドにはａｌｐｈａチャンネルが必要であるため、文字画像のａｌｐｈａチャンネルを個別に入れる必要がある（図６右に示す）。具体的には、文字素材ブロックに対して対応するａｌｐｈａ素材ブロックを生成することができ、ここで、ａｌｐｈａ素材ブロックにおけるａｌｐｈａ画像は文字素材における文字画像に１対１に対応する。

【0051】

いくつかの実施例において、前記ステップＳ５２は、具体的には、前記素材ブロックの前記素材ビデオにおける第１の位置座標を取得するステップと、前記第１の位置座標に基づいて前記素材ビデオから素材ブロックを分解するステップと、を含むことができる。

【0052】

レンダリング対象ビデオをレンダリングする際には、素材ビデオにおける各素材画像を分解する必要があり、Ｏｐｅｎｇｌの頂点シェーダで行うことができる。素材画像を１つ１つの小さなブロック（素材ブロック）に分割することができ、素材画像を取得する際には、素材ブロックごとに取得することができ、同じビデオ特殊効果に属する複数の素材画像を一度に得ることができるようにする。

【0053】

図９を参照すると、素材ビデオのアスペクト（画素値９６０＊１９８０）は既知であり、各マス目のアスペクト（画素値）も既知であるが、仮に「鼠」素材ブロックの素材画像を取り出すとすると、座標の数値範囲を０～１とし、横方向をｘ軸、縦方向をｙ軸、「鼠」素材ブロックのあるマス目の４点をＡＢＣＤとすると、例えば、Ａ点の場合、「鼠」の左下隅では、そのｘ座標が０、ｙ座標が４８０／９６０＝０.５となり、またＤ点の場合、「鼠」の右上隅では、ｘ座標が１８０／１９８０＝０.０９、ｙ座標が２４０＊３／９６０＝０.７５となり、同様にして、「鼠」素材ブロックの素材ビデオにおける４点ＡＢＣＤの位置座標をそれぞれ計算して、４点の位置座標Ａ（０，０．５）、Ｂ（０．０９，０．５）、Ｃ（０，０．７５）、Ｄ（０．０９，０．７５）を得た後、「鼠」素材ブロックを個別に取り出すことができ、同様に素材ビデオにおける他の素材ブロックを取り出すこともできる。

【0054】

いくつかの実施例において、ステップＳ５３は、具体的には、座標マッピング関係を取得するステップであって、前記座標マッピング関係は前記素材ブロックの前記素材ビデオにおける第１の位置座標と前記素材ブロックの前記レンダリング対象ビデオのビデオフレームにおける第２の位置座標との間のマッピング関係であるステップと、前記座標マッピング関係に基づいて、前記第１の位置座標に対応する第２の位置座標を決定するステップと、前記第２の位置座標が存在する位置を目標位置とするステップと、を含む。

【0055】

スティッチング・組み合わせによって素材ビデオが得られる場合、元の素材画像の配列位置を乱してしまい、取り出した素材画像を再配置する必要があり、本実施例では、素材ビデオと理想的なイメージとの間に、１対１に対応する座標マッピング関係を予め確立しておき、また、素材ビデオにおける素材画像の第１の位置座標に基づいて、すなわち座標マッピング関係に基づいてレンダリング対象ビデオのビデオフレームにおける当該素材画像の第２の位置座標を、レンダリング対象ビデオのビデオフレームにおける素材ブロックの配置の目標位置として決定することができる。

【0056】

図１０に示すように、必要な目標イメージに基づいて座標マッピング関係を確立することにより、「鼠年快楽」の４文字を素材ビデオにおける４点（第１の位置座標）からレンダリング対象ビデオにおける４点（第２の位置座標）にそれぞれ移動させる。

【0057】

素材ビデオにおける素材画像については、確立した座標マッピング関係に基づいて、素材画像のビデオフレームにおける第２の位置座標を決定した後、素材画像をビデオフレームの第２の座標位置に重ね合わせることができる。レンダリング対象ビデオのビデオフレームに移動すると、素材画像の背景が黒になっていることが分かるが、ここでは、素材画像とレンダリング対象ビデオのビデオフレームとの重ね合わせ及びブレンドに係るが、文字画像と非文字画像（例えば花火画像）とビデオフレームとの重ね合わせ方式が異なることに注意する必要がある。

【0058】

例示的な一実施例において、ステップＳ５４、すなわち、前記素材ブロックを前記ビデオフレームの目標位置に重ね合わせるステップは、
前記素材ブロックが文字情報を含む文字画像からなる文字素材ブロックである場合、前記文字素材ブロック及び前記文字素材ブロックに対応するａｌｐｈａ素材ブロックを前記ビデオフレームの目標位置に重ね合わせるステップであって、前記ａｌｐｈａ素材ブロックは前記文字素材ブロックの文字画像に１対１に対応するａｌｐｈａ画像を含むステップを含む。

【0059】

前記素材ブロックの素材画像及び前記ａｌｐｈａ素材ブロックのａｌｐｈａ画像を前記ビデオのビデオフレームの第２の位置座標に重ね合わせる。

【0060】

本実施例において、文字画像の重ね合わせは、「通常」の重ね合わせ方式を採用しており、この重ね合わせ方式は、文字画像のａｌｐｈａチャンネルを用いる必要があり、すなわちａｌｐｈａ画像の重ね合わせに係り、図１１を参照すると、「通常」の重ね合わせ式は、以下のようになる。
［式１］
color=overlay+base*(1.0-alpha)

【0061】

ここで、ｃｏｌｏｒは文字画像を重ね合わせたビデオレンダリングイメージであり、ｏｖｅｒｌａｙは文字画像（文字素材）のＲＧＢ値であり、ここでは図６の素材ビデオの左側部分として表現され、ｂａｓｅはビデオフレームのＲＧＢ値であり、ａｌｐｈａは文字画像に対応するａｌｐｈａ画像であり、ここでは図６の素材ビデオの右側部分として表現される。

【0062】

ここで、ａｌｐｈａ値の範囲は０～１であり、０は完全に透明であることを示し、素材画像が完全に透明である（ｏｖｅｒｌａｙは透明である）と仮定すると、ｂａｓｅ＊（１．０－０.０）＝ｂａｓｅであり、すなわち最終的な色は底部の色、すなわちビデオのビデオフレームの色であり、左図における文字のない部分に現れ、同様に、１は完全に不透明であることを示す場合、ｏｖｅｒｌａｙには何かがあるが、ｂａｓｅ＊（１．０－１．０）＝０．０であり、すなわち最終的な色は素材画像の色であり、つまり素材画像が完全に不透明である場合、最終的に素材画像の色のみであり、素材画像を通してレンダリング対象ビデオのビデオフレームの色は見えない。

【0063】

例示的な一実施例において、非文字画像とレンダリング対象ビデオのビデオフレームとの重ね合わせ、例えば花火画像とビデオフレームとの重ね合わせは、花火素材のａｌｐｈａチャンネルを必要としない「加算」重ね合わせ方式が採用されており、「加算」重ね合わせ式は、図１２を参照して次のようになる。
［式２］
color=overlay+base

【0064】

ここで、ｃｏｌｏｒは文字画像及び花火画像を重ね合わせたビデオレンダリングイメージであり、ｏｖｅｒｌａｙは非文字画像（花火素材）のＲＧＢ値であり、ここでは図６の素材ビデオの中央部分として表現され、ｂａｓｅは文字画像を重ね合わせたビデオフレームのＲＧＢ値である。

【0065】

本実施例は、文字特殊効果の文字画像と花火特殊効果の花火画像などの異なるブレンド方式の素材画像を１つの素材ビデオにスティッチングすることにより、低いメモリスペースの占有で複数のビデオ特殊効果のブレンドを実現するという目的に達する。

【0066】

本実施例を適用すると、１つの素材ビデオに少なくとも２つのビデオ特殊効果をスティッチング・組み合わせて、ビデオをレンダリングすることができる。例えば、素材ビデオに「恭喜發財」、「鼠年快楽」、「招財進宝」、「大吉大利」という４セットの文字特殊効果の文字画像と、１セットの花火特殊効果の花火画像とがあるとすると、図１３のように、スティッチング組み合わせ、分解、位置合わせ、重ね合わせのステップを繰り返し実行することができ、それぞれ図１４に示すような４種類のビデオレンダリングイメージを得ることができる。

【0067】

本実施例によって提出される素材ビデオの空間多重化技術は、ビデオ特殊効果の素材画像を、特に文字画像を１つの小さなマス目に入れて、素材ビデオにおける素材画像の有効利用面積を最適化し、スタイルを利用しないビデオ特殊効果の素材画像を空間的に配列して組み合わせ、機器でビデオをデコードした後、本実施例のレンダリング方法を用いて素材画像を分解、位置合わせ、重ね合わせを行うことができ、１つの素材ビデオを用いて多様なビデオ特殊効果をビデオにレンダリングすることができる。本実施例では、一部のモデルのように、デバイスメモリとパフォーマンスの両方を厳密に制限する必要がある場合に、デバイスメモリを大幅に最適化し、ビデオレンダリングの流暢さを向上させている。

【0068】

なお、図５のフローチャートにおける各ステップは、矢印の指示に従って順番に示されているが、必ずしも矢印の指示に従って順番に実行されるわけではない。本明細書に明記されていない限り、これらのステップの実行には厳密な順序制限はなく、これらのステップは別の順序で実行されてもよい。さらに、図５のステップの少なくとも一部は、複数のステップ又は複数の段階を含むことができ、これらのステップ又は段階は、必ずしも同じ時刻に実行されて完了するのではなく、異なる時点で実行されてもよく、これらのステップ又は段階の実行順序は、必ずしも順番に実行されるわけではなく、他のステップ又は他のステップのステップ又は段階の少なくとも一部と交替又は交互に実行されてもよい。

【0069】

図１５は、例示的な実施例に係るビデオレンダリング装置のブロック図である。図１５を参照すると、当該装置は、取得ユニット１５１と、分解ユニット１５２と、決定ユニット１５３と、レンダリングユニット１５４と、を備える。

【0070】

取得ユニット１５１は、レンダリング対象ビデオ及び前記ビデオをレンダリングするための素材ビデオを取得するように構成され、前記素材ビデオが少なくとも２つのビデオ特殊効果のスティッチング・組み合わせによって得られ、前記ビデオ特殊効果には複数の素材画像が含まれており
分解ユニット１５２は、前記素材ビデオから複数の素材ブロックを分解するように構成され、前記素材ブロックは同じビデオ特殊効果に属する複数の素材画像を順番に配列して組み合わせることによって得られ、
決定ユニット１５３は、前記素材ブロックの前記レンダリングビデオのビデオフレームにおける目標位置を決定するように構成され、
レンダリングユニット１５４は、前記素材ブロックを前記ビデオフレームの目標位置に重ね合わせて、ビデオレンダリングを完了するように構成される。

【0071】

例示的な一実施例において、レンダリングユニット１５４は、前記素材ブロックが文字情報を含む文字画像からなる文字素材ブロックである場合、前記文字素材ブロック及び前記文字素材ブロックに対応するａｌｐｈａ素材ブロックを前記ビデオフレームの目標位置に重ね合わせるように構成され、前記ａｌｐｈａ素材ブロックは前記文字素材ブロックの文字画像に１対１に対応するａｌｐｈａ画像を含む。

【0072】

例示的な実施例において、前記分解ユニット１５２は、前記素材ブロックの前記素材ビデオにおける第１の位置座標を取得し、前記第１の位置座標に基づいて前記素材ビデオから素材ブロックを分解するように構成される。

【0073】

例示的な実施例において、前記決定ユニット１５３は、座標マッピング関係を取得し、前記座標マッピング関係は前記素材ブロックの前記素材ビデオにおける第１の位置座標と前記素材ブロックの前記レンダリング対象ビデオのビデオフレームにおける第２の位置座標との間のマッピング関係であり、前記座標マッピング関係に基づいて、前記第１の位置座標に対応する第２の位置座標を決定し、前記第２の位置座標が存在する位置を目標位置とするように構成される。

【0074】

例示的な一実施例において、前記装置は、少なくとも２つのビデオ特殊効果を取得するように構成される特殊効果取得ユニットと、少なくとも１つの前記ビデオ特殊効果が文字情報を含む文字画像からなる文字特殊効果である場合、同じ文字特殊効果に属し、かつ同じ文字に属する文字画像を配列して組み合わせ、文字素材ブロックとし、前記文字素材ブロックに対するａｌｐｈａ素材ブロックを生成し、前記ａｌｐｈａ素材ブロックは、前記文字素材ブロックの文字画像に１対１に対応するａｌｐｈａ画像を含み、前記文字素材ブロック及び前記ａｌｐｈａ素材ブロックに基づいて、スティッチング・組み合わせによって素材ビデオが得られるように構成されるスティッチング・組み合わせユニットと、をさらに含む。

【0075】

上述した実施例における装置について、各モジュールが動作を実行する具体的な態様については、当該方法の実施例において詳細に説明したが、ここでは詳細に説明しない。

【0076】

例示的な一実施例において、電子機器をさらに提供し、その概略構成図は図１に示すように、当該電子機器は、プロセッサ、プロセッサによって実行可能指令を記憶するためのメモリと、を含み、前記プロセッサは、前述した実施例に記載のビデオレンダリング方法を実現するために、指令を実行するように構成されている。

【0077】

例示的な一実施例において、指令を含む非一時的なコンピュータ読み取り可能な記憶媒体、例えば、指令を含むメモリ１０２をさらに提供し、上記指令は、上記方法を完了するために、機器１００のプロセッサ１２０によって実行されてもよい。例えば、非一時的なコンピュータ読み取り可能な記憶媒体は、ＲＯＭ、ランダムアクセスメモリ（ＲＡＭ）、ＣＤ－ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、および光データ記憶装置などとすることができる。

【0078】

例示的な一実施例において、コンピュータプログラムを含むコンピュータプログラム製品を提供し、前記コンピュータプログラムは、読み取り可能な記憶媒体に記憶されており、機器の少なくとも１つのプロセッサは、機器が上記実施例に記載のビデオレンダリング方法を実行するように、前記読み取り可能な記憶媒体から前記コンピュータプログラムを読み取って実行する。

【0079】

当業者は、明細書を考慮して本明細書に開示された発明を実施した後に、本願の他の実施態様を容易に想到し得る。本願は、本願の一般原理に従った、本願に開示されていない技術分野における公知の常識又は慣用技術的手段を含む、本願のあらゆる変形、用途又は適応的変化をカバーすることを意図している。明細書及び実施形態は例示的なものとしてのみ扱われ、本願の真の範囲及び精神は以下の請求項によって示される。

【0080】

なお、本願は、上記で説明され図面に示された正確な構造に限定されず、その範囲を逸脱することなく様々な修正及び変更を実施することができる。本願の範囲は、添付の特許請求の範囲のみによって限定される。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【手続補正書】

【提出日】2022-08-15

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

ビデオレンダリング方法であって、
レンダリング対象ビデオ及び前記レンダリング対象ビデオをレンダリングするための素材ビデオを取得するステップであって、前記素材ビデオが少なくとも２つのビデオ特殊効果のスティッチング・組み合わせによって得られ、前記ビデオ特殊効果には複数の素材画像が含まれているステップと、
前記素材ビデオから複数の素材ブロックを分解するステップであって、前記素材ブロックは同じビデオ特殊効果に属する複数の素材画像を順番に配列して組み合わせることによって得られるステップと、
前記素材ブロックの前記レンダリングビデオのビデオフレームにおける目標位置を決定するステップと、
前記素材ブロックを前記ビデオフレームの目標位置に重ね合わせて、ビデオレンダリングを完了するステップと、を含む、
ことを特徴とするビデオレンダリング方法。

【請求項2】

前記素材ブロックを前記ビデオフレームの目標位置に重ね合わせるステップは、
前記素材ブロックが文字情報を含む文字画像からなる文字素材ブロックであることに基づいて、前記文字素材ブロック及び前記文字素材ブロックに対応するａｌｐｈａ素材ブロックを前記ビデオフレームの目標位置に重ね合わせるステップであって、前記ａｌｐｈａ素材ブロックは前記文字素材ブロックの文字画像に１対１に対応するａｌｐｈａ画像を含むステップを含む、
ことを特徴とする請求項１に記載のビデオレンダリング方法。

【請求項3】

前記素材ビデオから複数の素材ブロックを分解するステップは、
前記素材ブロックの前記素材ビデオにおける第１の位置座標を取得するステップと、
前記第１の位置座標に基づいて前記素材ビデオから素材ブロックを分解するステップと、を含む、
ことを特徴とする請求項１に記載のビデオレンダリング方法。

【請求項4】

前記素材ブロックの前記レンダリングビデオのビデオフレームにおける目標位置を決定するステップは、
座標マッピング関係を取得するステップであって、前記座標マッピング関係は前記素材ブロックの前記素材ビデオにおける第１の位置座標と前記素材ブロックの前記レンダリング対象ビデオのビデオフレームにおける第２の位置座標との間のマッピング関係であるステップと、
前記座標マッピング関係に基づいて、前記第１の位置座標に対応する第２の位置座標を決定するステップと、
前記第２の位置座標が存在する位置を目標位置とするステップと、を含む、
ことを特徴とする請求項３に記載のビデオレンダリング方法。

【請求項5】

レンダリング対象ビデオ及び前記レンダリング対象ビデオをレンダリングするための素材ビデオを取得するステップは、
少なくとも２つのビデオ特殊効果を取得するステップと、
少なくとも１つの前記ビデオ特殊効果が文字情報を含む文字画像からなる文字特殊効果である場合、同じ文字特殊効果に属し、かつ同じ文字に属する文字画像を配列して組み合わせ、文字素材ブロックとするステップと、
前記文字素材ブロックに対するａｌｐｈａ素材ブロックを生成するステップであって、前記ａｌｐｈａ素材ブロックは、前記文字素材ブロックの文字画像に１対１に対応するａｌｐｈａ画像を含むステップと、
前記文字素材ブロック及び前記ａｌｐｈａ素材ブロックに基づいて、スティッチング・組み合わせによって素材ビデオが得られるステップと、を含む、
ことを特徴とする請求項１に記載のビデオレンダリング方法。

【請求項6】

ビデオレンダリング装置であって、
レンダリング対象ビデオ及び前記レンダリング対象ビデオをレンダリングするための素材ビデオを取得するように構成される取得ユニットであって、前記素材ビデオが少なくとも２つのビデオ特殊効果のスティッチング・組み合わせによって得られ、前記ビデオ特殊効果には複数の素材画像が含まれている取得ユニットと、
前記素材ビデオから複数の素材ブロックを分解するように構成される分解ユニットであって、前記素材ブロックは同じビデオ特殊効果に属する複数の素材画像を順番に配列して組み合わせることによって得られる分解ユニットと、
前記素材ブロックの前記レンダリングビデオのビデオフレームにおける目標位置を決定するように構成される決定ユニットと、
前記素材ブロックを前記ビデオフレームの目標位置に重ね合わせて、ビデオレンダリングを完了するように構成されるレンダリングユニットと、を含む、
ことを特徴とするビデオレンダリング装置。

【請求項7】

電子機器であって、
プロセッサと、
前記プロセッサによって実行可能な指令を記憶するためのメモリと、含み、
前記プロセッサは、請求項１～５のいずれか一項に記載のビデオレンダリング方法を実行するように構成される、
ことを特徴とする電子機器。

【請求項8】

記憶媒体であって、
前記記憶媒体における指令が電子機器のプロセッサによって実行される場合、前記電子機器が請求項１～５のいずれか一項に記載のビデオレンダリング方法を実行できる、
ことを特徴とする記憶媒体。

【手続補正2】

【補正対象書類名】明細書

【補正対象項目名】００３３

【補正方法】変更

【補正の内容】

【0033】

いくつかの実施例において、ビデオ特殊効果には、文字特殊効果及びアニメーション特殊効果が含まれており、ここで、文字特殊効果は、図２に示すように、「鼠年」の２文字の文字特殊効果のように文字情報を含む文字画像からなり、アニメーション特殊効果は、非文字画像の素材画像からなり、例えば、図３に示すように、花火特殊効果は花火を含む花火画像からなり、花特殊効果は花を含む花画像からなることができる。例えば、図１に示すように、ビデオ特殊効果は、図２に示すような「鼠年」の２文字を含む文字画像および図３に示すような花火を含む花火画像を含む。

【手続補正3】

【補正対象書類名】明細書

【補正対象項目名】００６７

【補正方法】変更

【補正の内容】

【0067】

本実施例によって提出される素材ビデオの空間多重化技術は、ビデオ特殊効果の素材画像を、特に文字画像を１つの小さなマス目に入れて、素材ビデオにおける素材画像の有効利用面積を最適化し、空間において、各タイプのビデオ特殊効果の素材画像を配列して組み合わせ、機器でビデオをデコードした後、本実施例のレンダリング方法を用いて素材画像を分解、位置合わせ、重ね合わせを行うことができ、１つの素材ビデオを用いて多様なビデオ特殊効果をビデオにレンダリングすることができる。本実施例では、一部のモデルのように、デバイスメモリとパフォーマンスの両方を厳密に制限する必要がある場合に、デバイスメモリを大幅に最適化し、ビデオレンダリングの流暢さを向上させている。

【手続補正4】

【補正対象書類名】明細書

【補正対象項目名】００７６

【補正方法】変更

【補正の内容】

【0076】

例示的な一実施例において、電子機器をさらに提供し、当該電子機器は、プロセッサ、プロセッサによって実行可能指令を記憶するためのメモリと、を含み、前記プロセッサは、前述した実施例に記載のビデオレンダリング方法を実現するために、指令を実行するように構成されている。

【手続補正5】

【補正対象書類名】図面

【補正対象項目名】全図

【補正方法】変更

【補正の内容】

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【国際調査報告】