特表 2024-506174 特殊効果処理方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-02-09

(54)【発明の名称】特殊効果処理方法及び装置

(51)【国際特許分類】

   H04N 21/431 20110101AFI20240202BHJP

   G10L 25/18 20130101ALI20240202BHJP

   H04N 21/442 20110101ALI20240202BHJP

   H04N 21/439 20110101ALI20240202BHJP

   G06F 3/04845 20220101ALI20240202BHJP

   G06F 3/16 20060101ALI20240202BHJP

【ＦＩ】

H04N21/431

G10L25/18

H04N21/442

H04N21/439

G06F3/04845

G06F3/16 520

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023547717

(86)(22)【出願日】2022-01-31

(85)【翻訳文提出日】2023-08-07

(86)【国際出願番号】 SG2022050049

(87)【国際公開番号】W WO2022169418

(87)【国際公開日】2022-08-11

(31)【優先権主張番号】202110179875.2

(32)【優先日】2021-02-07

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

(71)【出願人】

【識別番号】521388058

【氏名又は名称】レモン インコーポレイテッド

【氏名又は名称原語表記】Ｌｅｍｏｎ Ｉｎｃ．

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】スン，チェンユイ

(72)【発明者】

【氏名】チェン，ジトン

(72)【発明者】

【氏名】シェーガー，ナサニエル

(72)【発明者】

【氏名】クライトン，マリヤン

(72)【発明者】

【氏名】セラーノ，ジョサイア ジョン

(72)【発明者】

【氏名】リ，ボチェン

(72)【発明者】

【氏名】フー，シュエファン

(72)【発明者】

【氏名】スミス，フレイザー

(72)【発明者】

【氏名】キム，ファンギュ ショーン

(72)【発明者】

【氏名】トレヴェリアン，デイヴィッド

(72)【発明者】

【氏名】フォン，ソイユイ

(72)【発明者】

【氏名】ウ，ブランドン

(72)【発明者】

【氏名】ション，タオ

【テーマコード（参考）】

5C164

5E555

【Ｆターム（参考）】

5C164FA06

5C164PA41

5C164SD12S

5C164UA43S

5C164UB08P

5C164UB41P

5C164UB87P

5C164UB92S

5C164YA11

5C164YA21

5E555AA76

5E555BA87

5E555BA88

5E555BB02

5E555BB05

5E555BB06

5E555BC18

5E555CA12

5E555CB64

5E555DB57

5E555DC36

5E555DC85

5E555EA07

5E555FA00

(57)【要約】

本願は、特殊効果処理方法及び装置を提供する。当該方法は、動画再生中に、ユーザのタッチ操作に応答し、オーディオ信号を生成するステップと、前記オーディオ信号を複数のオーディオフレームに分割するステップと、前記オーディオフレームの属性に応じて、動画で現在再生されている画像画面に対して特殊効果処理を行うステップと、を含む。当該方法により、ユーザは動画再生中に音楽創作を行うことができ、そして、動画の画像画面は、ユーザが創作する音楽に合わせて変化し、音楽創作に興味を持つ潜在的なユーザが参加するように刺激し、ユーザの体験感を向上させる。
【選択図】図２

【特許請求の範囲】

【請求項1】

特殊効果処理方法であって、
動画再生中に、ユーザのタッチ操作に応答し、オーディオ信号を生成するステップと、
前記オーディオ信号を複数のオーディオフレームに分割するステップと、
前記オーディオフレームの属性に応じて、動画で現在再生されている画像画面に対して特殊効果処理を行うステップと、を含む、ことを特徴とする特殊効果処理方法。

【請求項2】

前記属性はスペクトルを含み、前記オーディオフレームの属性に応じて、動画で現在再生されている画像画面に対して特殊効果処理を行うステップは、
前記スペクトル上の第１のプリセット区間に対応する第１のエネルギー値に基づき、前記タッチ操作に対応する操作コントロールにアニメーションを追加するかどうかを制御するステップを含む、ことを特徴とする請求項１に記載の方法。

【請求項3】

前記スペクトル上の第１のプリセット区間に対応する第１のエネルギー値に基づき、前記タッチ操作に対応する操作コントロールにアニメーションを追加するかどうかを制御するステップは、
前記第１のエネルギー値がプリセットエネルギー値以上である場合、前記タッチ操作に対応する操作コントロールにアニメーションを追加するステップを含む、ことを特徴とする請求項２に記載の方法。

【請求項4】

前記属性はスペクトルを含み、前記オーディオフレームの属性に応じて、動画で現在再生されている画像画面に対して特殊効果処理を行うステップは、
前記スペクトル上の第２のプリセット区間に対応する第２のエネルギー値に基づき、フィルタを使用してブルーム効果を制御するステップを含む、ことを特徴とする請求項１に記載の方法。

【請求項5】

前記スペクトル上の第２のプリセット区間に対応する第２のエネルギー値に基づき、フィルタを使用してブルーム効果を制御するステップは、
前記第２のエネルギー値とプリセットマッピング関係とに基づき、前記第２のエネルギー値に対応する輝度を決定するステップであって、前記プリセットマッピング関係はプリセットエネルギー値と輝度との対応関係であるステップと、
前記フィルタの輝度強度パラメータを前記第２のエネルギー値に対応する輝度に調整するステップと、を含む、ことを特徴とする請求項４に記載の方法。

【請求項6】

前記第１のプリセット区間は、前記スペクトル上の最低周波数から最高周波数までの最初の所定数の周波数を含み、前記第１のエネルギー値は、前記最初の所定数の周波数に対応するエネルギー値の和とする、ことを特徴とする請求項２又は３に記載の方法。

【請求項7】

前記第２のプリセット区間は、前記スペクトル上の最低周波数から最高周波数までの最後の所定数の周波数を含み、前記第２のエネルギー値は、前記最後の所定数の周波数に対応するエネルギー値の和とする、ことを特徴とする請求項４又は５に記載の方法。

【請求項8】

前記タッチ操作に対応する操作コントロールは、第１の音楽コントロールと第２の音楽コントロールとを含み、前記第１の音楽コントロールは低周波数音色に対応し、前記第２の音楽コントロールは高周波数音色に対応し、
オーディオ信号を生成するステップは、
前記第１の音楽コントロールに対応する音色に従って、前記第１の音楽コントロールに対応する音符に対して循環レンダリングを行い、前記第１の音楽コントロールに対応するオーディオ信号を得るステップと、
前記第２の音楽コントロールに対応する音色に従って、前記第２の音楽コントロールに対応する音符に対して循環レンダリングを行い、前記第２の音楽コントロールに対応するオーディオ信号を得るステップと、
前記第１の音楽コントロールに対応するオーディオ信号と前記第２の音楽コントロールに対応するオーディオ信号とを重畳し、前記オーディオ信号を得るステップと、を含む、ことを特徴とする請求項１～７のいずれか１項に記載の方法。

【請求項9】

前記タッチ操作に対応する操作コントロールは、第１の音楽コントロール、第２の音楽コントロール及び第３の音楽コントロールを含み、前記第１の音楽コントロールは低周波数音色に対応し、前記第２の音楽コントロールは高周波数音色に対応し、前記第３の音楽コントロールは第１のオーディオ信号に対応し、
オーディオ信号を生成するステップは、
前記第１の音楽コントロールに対応する音色に従って、前記第１の音楽コントロールに対応する音符に対して循環レンダリングを行い、前記第１の音楽コントロールに対応するオーディオ信号を得るステップと、
前記第２の音楽コントロールに対応する音色に従って、前記第２の音楽コントロールに対応する音符に対して循環レンダリングを行い、前記第２の音楽コントロールに対応するオーディオ信号を得るステップと、
前記第１の音楽コントロールに対応するオーディオ信号と前記第２の音楽コントロールに対応するオーディオ信号と第１のオーディオ信号とを重畳し、前記オーディオ信号を得るステップであって、前記第１のオーディオ信号は、プリレンダリングされたオーディオ信号であるステップと、を含む、ことを特徴とする請求項１～７のいずれか１項に記載の方法。

【請求項10】

前記タッチ操作に対応する操作コントロールは、第１の音楽コントロール、第２の音楽コントロール及びテンポスライダを含み、前記第１の音楽コントロールは低周波数音色に対応し、前記第２の音楽コントロールは高周波数音色に対応し、
オーディオ信号を生成するステップは、
前記第１の音楽コントロールに対応する音色と前記テンポスライダに対応する１分あたりの拍数とに従って、前記第１の音楽コントロールに対応する音符に対して循環レンダリングを行い、前記第１の音楽コントロールに対応するオーディオ信号を得るステップと、
前記第２の音楽コントロールに対応する音色と前記テンポスライダに対応する１分あたりの拍数とに従って、前記第２の音楽コントロールに対応する音符に対して循環レンダリングを行い、前記第２の音楽コントロールに対応するオーディオ信号を得るステップと、
前記第１の音楽コントロールに対応するオーディオ信号と前記第２の音楽コントロールに対応するオーディオ信号とを重畳し、前記オーディオ信号を得るステップと、を含む、ことを特徴とする請求項１～７のいずれか１項に記載の方法。

【請求項11】

端末機器であって、
動画再生中に、ユーザのタッチ操作に応答し、オーディオ信号を生成するために用いられるオーディオ信号生成モジュールと、
前記オーディオ信号を複数のオーディオフレームに分割すること、及び、前記オーディオフレームの属性に応じて、動画で現在再生されている画像画面に対して特殊効果処理を行うこと、に用いられる処理モジュールと、を含む、ことを特徴とする端末機器。

【請求項12】

コンピュータプログラムが記憶されているコンピュータ可読記憶媒体であって、前記コンピュータプログラムがプロセッサにより実行されるとき、請求項１～１０のいずれか１項に記載の方法が実現される、ことを特徴とするコンピュータ可読記憶媒体。

【請求項13】

端末機器であって、
プロセッサと、
前記プロセッサの実行可能な命令を記憶するためのメモリと、を含み、
前記プロセッサが、前記実行可能な命令を実行することにより請求項１～１０のいずれか１項に記載の方法を実現するように構成される、ことを特徴とする端末機器。

【請求項14】

コンピュータプログラム命令を含むプログラム製品であって、前記コンピュータプログラム命令がプロセッサにより実行されるとき、請求項１～１０のいずれか１項に記載の方法が実現される、ことを特徴とするプログラム製品。

【請求項15】

コンピュータプログラムであって、前記コンピュータプログラムがプロセッサにより実行されるとき、請求項１～１０のいずれか１項に記載の方法が実現される、ことを特徴とするコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本願は、端末技術の分野に関し、特に、特殊効果処理方法及び装置に関する。

【背景技術】

【0002】

端末技術の発展につれ、端末機器が提供する機能はますます豊富になっている。近年では、ショート動画アプリケーションプログラムはユーザに大人気で、ショート動画アプリケーションプログラムでは、ネットブロガーが投稿したショート動画を視聴できるだけでなく、自分でショート動画を作成して投稿することもでき、ユーザの参加体験を高めている。

【0003】

ショート動画作成中に、ユーザは多くの小道具を使用して所望の特殊効果を実現することができるが、しかしながら、現在、多くの小道具は画像表示と関係があり、特殊効果機能が単一であり、ユーザ体験が十分ではない。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本願は、音楽創作に関連する特殊効果を提供でき、特殊効果機能が豊富で、ユーザ体験が向上する、特殊効果処理方法及び装置を提供する。

【課題を解決するための手段】

【0005】

第１の態様では、本願は、特殊効果処理方法を提供し、前記方法は、動画再生中に、ユーザのタッチ操作に応答し、オーディオ信号を生成するステップと、当該オーディオ信号を複数のオーディオフレームに分割するステップと、当該オーディオフレームの属性に応じて、動画で現在再生されている画像画面に対して特殊効果処理を行うステップと、を含む。

【0006】

選択的に、当該属性はスペクトルを含み、当該オーディオフレームの属性に応じて、動画で現在再生されている画像画面に対して特殊効果処理を行うステップは、当該スペクトル上の第１のプリセット区間に対応する第１のエネルギー値に基づき、当該タッチ操作に対応する操作コントロールにアニメーションを追加するかどうかを制御するステップを含む。

【0007】

選択的に、当該スペクトル上の第１のプリセット区間に対応する第１のエネルギー値に基づき、当該タッチ操作に対応する操作コントロールにアニメーションを追加するかどうかを制御するステップは、当該第１のエネルギー値がプリセットエネルギー値以上である場合、当該タッチ操作に対応する操作コントロールにアニメーションを追加するステップを含む。

【0008】

選択的に、当該属性はスペクトルを含み、当該オーディオフレームの属性に応じて、動画で現在再生されている画像画面に対して特殊効果処理を行うステップは、当該スペクトル上の第２のプリセット区間に対応する第２のエネルギー値に基づき、フィルタを使用してブルーム（Ｂｌｏｏｍ）効果を制御するステップを含む。

【0009】

選択的に、当該スペクトル上の第２のプリセット区間に対応する第２のエネルギー値に基づき、フィルタを使用してブルーム効果を制御するステップは、当該第２のエネルギー値とプリセットマッピング関係とに基づき、当該第２のエネルギー値に対応する輝度を決定するステップであって、当該プリセットマッピング関係はプリセットエネルギー値と輝度との対応関係であるステップと、当該フィルタの輝度強度パラメータを当該第２のエネルギー値に対応する輝度に調整するステップと、を含む。

【0010】

選択的に、当該第１のプリセット区間は、当該スペクトル上の最低周波数から最高周波数までの最初の所定数の周波数を含み、当該第１のエネルギー値は、当該最初の所定数の周波数に対応するエネルギー値の和とする。

【0011】

選択的に、当該第２のプリセット区間は、当該スペクトル上の最低周波数から最高周波数までの最後の所定数の周波数を含み、当該第２のエネルギー値は、当該最後の所定数の周波数に対応するエネルギー値の和とする。

【0012】

選択的に、当該タッチ操作に対応する操作コントロールは、低周波数音色に対応する第１の音楽コントロールと高周波数音色に対応する第２の音楽コントロールとを含み、オーディオ信号を生成するステップは、当該第１の音楽コントロールに対応する音色に従って、当該第１の音楽コントロールに対応する音符に対して循環レンダリングを行い、当該第１の音楽コントロールに対応するオーディオ信号を得るステップと、当該第２の音楽コントロールに対応する音色に従って、当該第２の音楽コントロールに対応する音符に対して循環レンダリングを行い、当該第２の音楽コントロールに対応するオーディオ信号を得るステップと、当該第１の音楽コントロールに対応するオーディオ信号と当該第２の音楽コントロールに対応するオーディオ信号とを重畳し、当該オーディオ信号を得るステップと、を含む。

【0013】

選択的に、当該タッチ操作に対応する操作コントロールは、第１の音楽コントロール、第２の音楽コントロール、及び第３の音楽コントロールを含み、当該第１の音楽コントロールは低周波数音色に対応し、当該第２の音楽コントロールは高周波数音色に対応し、当該第３の音楽コントロールは第１のオーディオ信号に対応し、オーディオ信号を生成するステップは、当該第１の音楽コントロールに対応する音色に従って、当該第１の音楽コントロールに対応する音符に対して循環レンダリングを行い、当該第１の音楽コントロールに対応するオーディオ信号を得るステップと、当該第２の音楽コントロールに対応する音色に従って、当該第２の音楽コントロールに対応する音符に対して循環レンダリングを行い、当該第２の音楽コントロールに対応するオーディオ信号を得るステップと、当該第１の音楽コントロールに対応するオーディオ信号と当該第２の音楽コントロールに対応するオーディオ信号と第１のオーディオ信号とを重畳し、当該オーディオ信号を得るステップであって、当該第１のオーディオ信号は、プリレンダリングされたオーディオ信号であるステップと、を含む。

【0014】

選択的に、当該タッチ操作に対応する操作コントロールは、第１の音楽コントロール、第２の音楽コントロール、及びテンポスライダを含み、当該第１の音楽コントロールは低周波数音色に対応し、当該第２の音楽コントロールは高周波数音色に対応し、オーディオ信号を生成するステップは、当該第１の音楽コントロールに対応する音色と当該テンポスライダに対応する１分あたりの拍数とに従って、当該第１の音楽コントロールに対応する音符に対して循環レンダリングを行い、当該第１の音楽コントロールに対応するオーディオ信号を得るステップと、当該第２の音楽コントロールに対応する音色と当該テンポスライダに対応する１分あたりの拍数とに従って、当該第２の音楽コントロールに対応する音符に対して循環レンダリングを行い、当該第２の音楽コントロールに対応するオーディオ信号を得るステップと、当該第１の音楽コントロールに対応するオーディオ信号と当該第２の音楽コントロールに対応するオーディオ信号とを重畳し、当該オーディオ信号を得るステップと、を含む。

【0015】

第２の態様では、本願は、端末機器を提供し、前記端末機器は、動画再生中に、ユーザのタッチ操作に応答し、オーディオ信号を生成するために用いられるオーディオ信号生成モジュールと、前記オーディオ信号を複数のオーディオフレームに分割すること、及び、前記オーディオフレームの属性に応じて、動画で現在再生されている画像画面に対して特殊効果処理を行うこと、に用いられる処理モジュールと、を含む。

【0016】

第３の態様では、本願は、コンピュータプログラムが記憶されているコンピュータ可読記憶媒体を提供し、前記コンピュータプログラムがプロセッサにより実行されるとき、第１の態様で提供される方法が実現される。

【0017】

第４の態様では、本願は、端末機器を提供し、前記端末機器は、プロセッサと、前記プロセッサの実行可能な命令を記憶するためのメモリと、を含み、前記プロセッサが、前記実行可能な命令を実行することにより第１の態様で提供される方法を実現するように構成される。

【0018】

第５の態様では、本願は、コンピュータプログラムを含むプログラム製品を提供し、前記コンピュータプログラムが可読記憶媒体に記憶されており、前記コンピュータプログラムがプロセッサにより実行されるとき、第１の態様で提供される方法が実現される。

【0019】

第６の態様では、本願は、コンピュータ可読記憶媒体に記憶されているコンピュータプログラムを提供し、前記コンピュータプログラムがプロセッサにより実行されるとき、第１の態様で提供される方法が実現される。

【発明の効果】

【0020】

本願により提供される特殊効果処理方法及び装置によれば、動画再生中に、ユーザはユーザインタフェースにおいてタッチ操作をすることができ、ユーザのタッチ操作に応答し、端末機器は、対応するオーディオ信号を生成するとともに、当該オーディオ信号を複数のオーディオフレームに分割し、オーディオフレームの属性に基づき、動画の画像画面に対して特殊効果処理を行うことができ、本願により提供される当該方法により、ユーザは動画再生中に音楽創作を行うことができ、そして、動画の画像画面は、ユーザが創作する音楽に合わせて変化し、音楽創作に興味を持つ潜在的なユーザが参加するように刺激し、ユーザの体験感を向上させる。

【図面の簡単な説明】

【0021】

【図1】本願により提供される応用シーンの図である。

【図2】本願により提供される特殊効果処理方法の実施例１のフローチャートである。

【図3】本願により提供される実施例１に対応するユーザインタフェースの図である。

【図4】本願により提供されるタッチ操作の概略図である。

【図5】本願により提供されるオーディオフレーム分割の概略図である。

【図6】本願により提供されるスペクトル取得の原理図である。

【図7】本願により提供される特殊効果処理方法の実施例２のフローチャートである。

【図8】本願により提供される実施例２に対応するユーザインタフェースの図である。

【図9】本願により提供される特殊効果処理方法の実施例３のフローチャートである。

【図10】本願により提供される実施例３に対応するユーザインタフェースの図である。

【図11】本願により提供される端末機器の構造概略図である。

【図12】本願により提供される端末機器のハードウェア構造概略図である。

【発明を実施するための形態】

【0022】

本願の目的、技術的解決手段及び利点をより明瞭にするために、以下、本願に係る図面を参照しながら、その技術的解決手段について明瞭、且つ完全に説明し、当然のことながら、記載される実施例は本願の実施例の一部にすぎず、そのすべての実施例ではない。当業者は、本願における実施例に基づいて創造的な労働をすることなく、獲得されたその他のすべての実施例は、いずれも本願の保護範囲に属する。

【0023】

本願では、用語「第１」、「第２」は、説明のためにのみ使用され、相対的な重要性を示す、または示唆するものとして理解されないことが理解されるべきである。また、「少なくとも１つ」とは、１つ又は複数をいい、「複数」とは、２以上をいう。「及び／又は」は関連対象の関連関係を説明し、３つの関係が存在してもよいことを示し、例えば、Ａ及び／又はＢは、Ａが単独で存在する状況、ＡとＢが同時に存在する状況、Ｂが単独で存在する状況という３つの状況を示してもよく、Ａ、Ｂは単数又は複数であってもよい。「／」という文字は、常に前後の関連対象が「又は」という関係であることを示す。「の少なくとも１項（個）」又はその類似表現は、これらの項の任意の組み合わせを指し、単項(個)又は複数項(個)の任意の組み合わせを含む。例えば、ａ、ｂ又はｃの少なくとも１項（個）は、ａの単独な存在、ｂの単独な存在、ｃの単独な存在、ａとｂとの組み合わせ、ａとｃとの組み合わせ、ｂとｃとの組み合わせ、またはａとｂとｃとの組み合わせを表すことができ、ａ、ｂ、ｃは、単一であってもよいし、複数であってもよい。

【0024】

例示的に、図１は、本願の１つの応用シーンの図を示している。現在のショート動画プラットフォームでは、動画再生中に、ユーザは特殊効果を加えたい場合、小道具ボタンをクリックし、ショート動画プラットフォームにより提供されるさまざまな小道具の中から好きな小道具を選択すると、動画の画像画面においてそれに応じた特殊効果が表示される。しかし、ショート動画プラットフォームにより提供される小道具はいずれも画像表示に関するものであり、ユーザは動画のために音楽を創作することができず、動画の画像画面もユーザが創作する音楽に合わせて変化することがなく、音楽創作に興味を持つ潜在的なユーザにとっては、現在のショート動画プラットフォームは機能が単一で、体験感がよくない。

【0025】

そのため、本願は、特殊効果処理方法を提案し、動画再生中に、ユーザはユーザインタフェースにおいて音楽コントロールをクリックすることができ、ユーザは、音楽コントロールをクリックすると、対応するオーディオ信号を生成するとともに、当該オーディオ信号に基づいて対応するアニメーションを動画画面に追加することができ、これによって、動画の画像画面はオーディオ信号に合わせて変化し、音楽創作に興味を持つ潜在的なユーザは参加するように刺激され、ユーザの体験感は向上する。

【0026】

本願により提供される特殊効果処理方法は、端末機器により実行されることができ、端末機器の形態は、スマートフォン、タブレットコンピュータ、ノートパソコン又はテレビジョンなどを含むが、それらに限定されず、本願は端末機器の形態を限定しない。

【0027】

以下、本願の技術的解決手段及び本願の技術的解決手段を利用して上記の技術的問題を如何に解決するかについて具体的な実施例を用いて詳細に説明する。以下のいくつかの具体的な実施例を組み合わせることができ、同様な又は類似の概念やプロセスはいくつかの実施例で繰り返して説明しない場合がある。以下、図面を参照しながら本願の実施例を説明する。

【0028】

図２は、本願により提供される特殊効果処理方法の実施例１のフローチャートである。図３は、実施例１に対応するユーザインタフェースの図であり、図３に示すように、ユーザインタフェースでの操作コントロールは、第１の音楽コントロール３０１と第２の音楽コントロール３０２とを含むことができ、第１の音楽コントロール３０１と第２の音楽コントロール３０２との相違点は、第１の音楽コントロール３０１が低周波数音色に対応し、第２の音楽コントロール３０２が高周波数音色に対応することである。例示的に、第１の音楽コントロール３０１は、ドラムやベースなどの低周波数楽器の音色に対応することができ、第２の音楽コントロール３０２は、シンセサイザー音、ストリングスバッキング及び／又は高周波数楽器の音色に対応することができる。

【0029】

選択的に、ドラムやベースにはさまざまな種類があるため、ドラムやベースの種類によって音色が異なる。そこで、ユーザは、異なる音色のドラムやベースを使用して音楽創作を行うためには、図３に示すように、ユーザインタフェースにおいては、４つの第１の音楽コントロール３０１を設置することができ、この４つの第１の音楽コントロール３０１は、音色がそれぞれ異なる。同様に、ユーザインタフェースにおいては、４つの第２の音楽コントロール３０２を設置することもでき、この４つの第２の音楽コントロール３０２は、音色もそれぞれ異なる。図３の各第１の音楽コントロール３０１及び各第２の音楽コントロール３０２はそれぞれ、対応する音符のセグメントを有している。

【0030】

図２に示すように、本実施例により提供される特殊効果処理方法は、以下のステップを含む。

【0031】

Ｓ２０１では、動画再生中に、第１の音楽コントロール３０１と第２の音楽コントロール３０２とに対するユーザのタッチ操作に応答し、オーディオ信号を生成する。

【0032】

なお、本実施例では、動画再生過程は、ショート動画作成時にユーザが録画をクリックする前のプレビュー過程であってもよいし、ユーザが録画をクリックした後の録画過程であってもよく、本実施例はそれを限定しない。また、第１の音楽コントロール３０１と第２の音楽コントロール３０２とに対するユーザのタッチ操作は、シングルクリック操作又はダブルクリック操作などにすることができ、本実施例はタッチ操作の形態を限定しない。

【0033】

図４に示すように、ユーザは第１の音楽コントロール３０１と第２の音楽コントロール３０２とを同時にトリガーすることができ、ユーザは第１の音楽コントロール３０１と第２の音楽コントロール３０２とを同時にトリガーすると、一方、端末機器は、第１の音楽コントロール３０１に対応する音色に従って、当該第１の音楽コントロール３０１に対応する音符に対して循環レンダリングを行い、当該第１の音楽コントロール３０１に対応するオーディオ信号を得ることができ、他方、端末機器は、第２の音楽コントロール３０２に対応する音色に従って、当該第２の音楽コントロール３０２に対応する音符に対して循環レンダリングを行い、当該第２の音楽コントロール３０２に対応するオーディオ信号を得、その後、第１の音楽コントロール３０１に対応するオーディオ信号と第２の音楽コントロール３０２に対応するオーディオ信号とを重畳し、重畳されたオーディオ信号を得ることができる。具体的なレンダリングプロセスは従来の技術を参照することができ、本実施例はここで繰り返して説明しない。

【0034】

Ｓ２０２では、オーディオ信号を複数のオーディオフレームに分割する。

【0035】

選択的に、図５に示すように、２０ｍｓ単位でオーディオ信号を分割し、すなわち、オーディオフレームごとに２０ｍｓで、隣接する２つのオーディオフレームは５０％が重なっている。例えば、１ｍｓ～２０ｍｓは１番目のオーディオフレームで、１５ｍｓ～３５ｍｓは２番目のオーディオフレームであるようにすることができる。

【0036】

Ｓ２０３では、オーディオフレームの属性に応じて、動画で現在再生されている画像画面に対して特殊効果処理を行う。

【0037】

選択的に、オーディオフレームの属性はスペクトル、エネルギー又はボリュームにすることができ、以下、オーディオフレームスペクトルの取得プロセスを説明する。オーディオ信号を複数のオーディオフレームに分割した後、各オーディオフレームに対してフーリエ変換を行い、当該オーディオフレームのスペクトルを得る。

【0038】

以下、例を挙げて説明する。

【0039】

ユーザが設定した周波数点の個数は４０であると仮定すると、図５のいずれかのオーディオフレームを例にして、オーディオフレームに対してフーリエ変換を行った後、図６に示すように、４０次元のスペクトルを得ることができ、第０次元は直流成分で、第１～３９次元は低い順の周波数成分である。

【0040】

オーディオフレームのスペクトルを得た後、スペクトル上の第１のプリセット区間に対応する第１のエネルギー値に基づき、タッチ操作に対応する操作コントロールにアニメーションを追加するかどうかを制御することができる。一方、スペクトル上の第２のプリセット区間に対応する第２のエネルギー値に基づき、フィルタを使用してブルーム効果を制御することができ、当該フィルタは画像画面をフィルタ処理するために用いられる。

【0041】

以下、スペクトル上の第１のプリセット区間に対応する第１のエネルギー値に基づき、タッチ操作に対応する操作コントロールにアニメーションを追加するかどうかを制御するステップの実現可能な形態を説明する。

【0042】

第１のプリセット区間は、スペクトル上の最低周波数から最高周波数までの最初の所定数の周波数を含むことができ、この場合、第１のエネルギー値は最初の所定数の周波数に対応するエネルギー値の和とする。例えば、所定数は１０である場合、第１のプリセット区間は最低周波数から最高周波数までの最初の１０個の周波数であるＦ(１)～Ｆ(１０)を含み、第１のエネルギー値はＦ(１)～Ｆ(１０)に対応するエネルギー値の和とする。第１のエネルギー値に基づき、ユーザのタッチ操作に対応する操作コントロールにアニメーションを追加するかどうかを制御することができる。具体的に、第１のエネルギー値がプリセットエネルギー値以上であるかどうかを判断することができ、そうである場合、ユーザのタッチ操作に対応する操作コントロールにアニメーションを追加する。

【0043】

以下、例を挙げて説明する。

【0044】

ユーザのタッチ操作は図４に示すようなものであり、現在のオーディオフレームのスペクトルは図６に示すようなものであり、Ｆ(１)～Ｆ(１０)に対応するエネルギー値の和はＢであると仮定すると、Ｂがプリセットエネルギー値以上であるかどうかを判断し、そうである場合、図４に示されるユーザがクリックしている２つのコントロールにアニメーションを追加する。

【0045】

以下、スペクトル上の第２のプリセット区間に対応する第２のエネルギー値に基づき、フィルタを使用してブルーム効果を制御するステップの実現可能な形態を説明する。

【0046】

第２のプリセット区間はスペクトル上の最低周波数から最高周波数までの最後の所定数の周波数を含むことができ、この場合、第２のエネルギー値は最後の所定数の周波数に対応するエネルギー値の和となる。例えば、所定数は１０である場合、第２のプリセット区間は最低周波数から最高周波数までの最後の１０個の周波数であるＦ(３０)～Ｆ(３９)を含み、第２のエネルギー値はＦ(３０)～Ｆ(３９)に対応するエネルギー値の和とする。第２のエネルギー値に基づき、フィルタの輝度強度パラメータを制御することができる。具体的に、第２のエネルギー値とプリセットマッピング関係とに基づき、第２のエネルギー値に対応する輝度を決定するとともに、フィルタの輝度強度パラメータを第２のエネルギー値に対応する輝度に調整する。上記のプリセットマッピング関係はプリセットエネルギー値と輝度との対応関係である。

【0047】

以下、例を挙げて説明する。

【0048】

ユーザのタッチ操作は図４に示すようなものであり、現在のオーディオフレームのスペクトルは図６に示すようなものであり、Ｆ(３０)～Ｆ(３９)に対応するエネルギー値の和はＣであると仮定すると、プリセットマッピング関係からＣに対応する輝度を探し、Ｃに対応する輝度はＸであると仮定する場合、フィルタの輝度強度パラメータをＸに調整する。

【0049】

以上は、１つのオーディオフレームを例にして本実施例により提供される特殊効果処理プロセスを説明したが、オーディオ信号は連続的なものであるため、オーディオフレームごとにＳ２０３を実行することができることに留意されたい。

【0050】

なお、上記の第１のプリセット区間はスペクトル上の最低周波数から最高周波数までの最初の所定数の周波数を含み、第２のプリセット区間はスペクトル上の最低周波数から最高周波数までの最後の所定数の周波数を含み、これは単なる１つの例にすぎず、第１のプリセット区間と第２のプリセット区間とを制限するためのものではない。第１のプリセット区間と第２のプリセット区間とは、実際の状況に応じて柔軟に選定することができるように、スペクトル上の任意の区間にすることができる。

【0051】

本願により提供される特殊効果処理方法によれば、動画再生中に、ユーザはユーザインタフェースでタッチ操作を行うことができ、ユーザのタッチ操作に応答し、対応するオーディオ信号を生成するとともに、当該オーディオ信号を複数のオーディオフレームに分割し、オーディオフレームの属性に基づき、動画の画像画面に対して特殊効果処理を行うことができ、本願により提供される当該方法により、ユーザは動画再生中に音楽創作を行うことができ、そして、動画の画像画面は、ユーザが創作する音楽に合わせて変化し、音楽創作に興味を持つ潜在的なユーザが参加するように刺激し、ユーザの体験感を向上させる。

【0052】

図７は、本願により提供される特殊効果処理方法の実施例２のフローチャートである。本実施例では、ユーザがより多様な音色を有する音楽を創作することを可能にするために、図８に示される操作コントロールをユーザインタフェースに提供することができる。図８に示される操作コントロールは、第１の音楽コントロール３０１、第２の音楽コントロール３０２及び第３の音楽コントロール１００１を含み、上記の実施例と同様に、第１の音楽コントロール３０１と第２の音楽コントロール３０２との相違点は、第１の音楽コントロール３０１が低周波数音色に対応し、第２の音楽コントロール３０２が高周波数音色に対応することである。第１の音楽コントロール３０１と第２の音楽コントロール３０２との詳細な設定は上記の実施例を参照し、本実施例ではそれについて繰り返して説明しない。第３の音楽コントロール１００１とプリレンダリングされた第１のオーディオ信号とは対応する。図８に示すように、ユーザインタフェースにおいて５つの第３の音楽コントロール１００１を設置することができ、当該５つの第３の音楽コントロール１００１はそれぞれ、５つの異なるプリレンダリングされたオーディオ信号に対応し、例えば、１つの第３の音楽コントロール１００１はプリレンダリングされた「水滴る」というオーディオ信号に対応することができる。

【0053】

図７に示すように、本実施例により提供される特殊効果処理方法は、以下のステップを含む。

【0054】

Ｓ７０１では、動画再生中に、第１の音楽コントロール３０１、第２の音楽コントロール３０２及び第３の音楽コントロール１００１に対するユーザのタッチ操作に応答し、オーディオ信号を生成する。

【0055】

本実施例では、第１の音楽コントロール３０１、第２の音楽コントロール３０２及び第３の音楽コントロール１００１に対するユーザのタッチ操作は、シングルクリック操作又はダブルクリック操作などにすることができ、本実施例はタッチ操作の形態を限定しない。

【0056】

ユーザは、第１の音楽コントロール３０１、第２の音楽コントロール３０２及び第３の音楽コントロール１００１に対してタッチ操作を実行した後、端末機器は、第１の音楽コントロール３０１に対応する音色に従って、第１の音楽コントロールに対応する音符に対して循環レンダリングを行い、第１の音楽コントロール３０１に対応するオーディオ信号を得ることができる。一方、第２の音楽コントロール３０２に対応する音色に従って、第２の音楽コントロールに対応する音符に対して循環レンダリングを行い、第２の音楽コントロール３０２に対応するオーディオ信号を得ることができる。第１の音楽コントロール３０１に対応するオーディオ信号と第２の音楽コントロール３０２に対応するオーディオ信号と第１のオーディオ信号とを重畳し、重畳されたオーディオ信号を得る。

【0057】

なお、第１の音楽コントロール３０１に対応する音符と第２の音楽コントロール３０２に対応する音符とに対してそれぞれ循環レンダリングを行ったため、Ｓ７０２で重畳されたオーディオ信号には、第１の音楽コントロール３０１に対応する音符と第２の音楽コントロール３０２に対応する音符とは循環して再生されるが、第３の音楽コントロールに対応する第１のオーディオ信号はプリレンダリングされたもので、音符のセグメントに対して循環レンダリングを行った結果として得られるものではないため、Ｓ７０２の重畳されたオーディオ信号には、第１のオーディオ信号が１回だけ再生され、例えば、図８の左から１番目の第３の音楽コントロールは、プリレンダリングされた「水滴る」というオーディオ信号に対応する場合、ユーザは１番目の第３の音楽コントロールをトリガーした後、「水滴る」の音は１回だけ再生される。

【0058】

Ｓ７０２では、オーディオ信号を複数のオーディオフレームに分割する。

【0059】

Ｓ７０３では、オーディオフレームの属性に応じて、動画で現在再生されている画像画面に対して特殊効果処理を行う。

【0060】

Ｓ７０２～Ｓ７０３の実現プロセスは上記の実施例のＳ２０２～Ｓ２０３を参照し、本実施例はここで繰り返して説明しない。

【0061】

本願により提供される特殊効果処理方法は、第３の音楽コントロールを追加することにより、ユーザが創作する音楽はより多様な音色を有する音楽となるようにすることができ、ユーザの体験感をさらに向上させる。

【0062】

図９は、本願により提供される特殊効果処理方法の実施例３のフローチャートである。本実施例では、ユーザが音楽のテンポを変更できるようにするために、図１０に示される操作コントロールをユーザインタフェースに提供することができる。図１０に示される操作コントロールは、第１の音楽コントロール３０１、第２の音楽コントロール３０２及びテンポスライダ１２０１を含み、上記の実施例と同様に、第１の音楽コントロール３０１と第２の音楽コントロール３０２との相違点は、第１の音楽コントロール３０１が低周波数音色に対応し、第２の音楽コントロール３０２が高周波数音色に対応することである。第１の音楽コントロール３０１と第２の音楽コントロール３０２との詳細な設定は上記の実施例を参照し、本実施例はそれについて繰り返して説明しない。ユーザはテンポスライダ１２０１を調整することによりオーディオ信号のテンポを調整することができる。

【0063】

図９に示すように、本実施例により提供される特殊効果処理方法は、以下のステップを含む。

【0064】

Ｓ９０１では、動画再生中に、第１の音楽コントロール３０１、第２の音楽コントロール３０２及びテンポスライダ１２０１に対するユーザのタッチ操作に応答し、オーディオ信号を生成する。

【0065】

本実施例では、第１の音楽コントロール３０１と第２の音楽コントロール３０２とに対するユーザのタッチ操作は、シングルクリック操作又はダブルクリック操作にすることができ、テンポスライダ１２０１に対するユーザのタッチ操作はスライド操作にすることができる。

【0066】

ユーザは、第１の音楽コントロール３０１と第２の音楽コントロール３０２とに対してタッチ操作を実行するとともに、テンポスライダ１２０１を特定の位置にスライドするとき、端末機器は、第１の音楽コントロール３０１に対応する音色とテンポスライダに対応する１分あたりの拍数とに従って、第１の音楽コントロール３０１に対応する音符に対して循環レンダリングを行い、第１の音楽コントロール３０１に対応するオーディオ信号を得る。一方、第２の音楽コントロール３０２に対応する音色とテンポスライダに対応する１分あたりの拍数とに従って、第２の音楽コントロール３０２に対応する音符に対して循環レンダリングを行い、第２の音楽コントロール３０２に対応するオーディオ信号を得る。第１の音楽コントロール３０１に対応するオーディオ信号と第２の音楽コントロール３０２に対応するオーディオ信号とを重畳し、重畳されたオーディオ信号を得る。

【0067】

オーディオ信号のテンポはレンダリング速度に関連しており、レンダリング速度は１分あたりの拍数に関連しており、上記の２つの実施例では、端末機器は、デフォルトの１分あたりの拍数を使用して、第１の音楽コントロール３０１と第２の音楽コントロール３０２とに対応する音符に対してそれぞれ循環レンダリングを行うことができ、本実施例では、テンポスライダと１分あたりの拍数とを関連させることができ、これによって、ユーザはテンポスライダを調整することにより１分あたりの拍数を変更し、そしてレンダリング速度を変更し、オーディオ信号のテンポを変更することができる。

【0068】

Ｓ９０２では、オーディオ信号を複数のオーディオフレームに分割する。

【0069】

Ｓ９０３では、オーディオフレームの属性に応じて、動画で現在再生されている画像画面に対して特殊効果処理を行う。

【0070】

Ｓ９０２～Ｓ９０３の実現プロセスは上記の実施例のＳ２０２～Ｓ２０３を参照し、本実施例はここで繰り返して説明しない。

【0071】

本願により提供される特殊効果処理方法は、テンポスライダを追加することにより、ユーザはオーディオ信号のテンポを変更することができ、ユーザの体験感をさらに向上させる。

【0072】

図１１は、本願により提供される端末機器の構造概略図である。図１１に示すように、本願により提供される端末機器は、
動画再生中に、ユーザのタッチ操作に応答し、オーディオ信号を生成するために用いられるオーディオ信号生成モジュール１１０１と、
前記オーディオ信号を複数のオーディオフレームに分割すること、及び、前記オーディオフレームの属性に応じて、動画で現在再生されている画像画面に対して特殊効果処理を行うこと、に用いられる処理モジュール１１０２と、を含む。

【0073】

選択的に、前記属性はスペクトルを含み、処理モジュール１１０２は、具体的に、
前記スペクトル上の第１のプリセット区間に対応する第１のエネルギー値に基づき、前記タッチ操作に対応する操作コントロールにアニメーションを追加するかどうかを制御するために用いられる。

【0074】

選択的に、処理モジュール１１０２は、具体的に、
前記第１のエネルギー値がプリセットエネルギー値以上である場合、前記タッチ操作に対応する操作コントロールにアニメーションを追加するために用いられる。

【0075】

選択的に、処理モジュール１１０２は、具体的に、
前記スペクトル上の第２のプリセット区間に対応する第２のエネルギー値に基づき、フィルタを使用してブルーム効果を制御するために用いられ、前記フィルタは画像画面をフィルタ処理するために用いられる。

【0076】

選択的に、処理モジュール１１０２は、具体的に、
前記第２のエネルギー値とプリセットマッピング関係とに基づき、前記第２のエネルギー値に対応する輝度を決定し、前記プリセットマッピング関係はプリセットエネルギー値と輝度との対応関係であること、及び
前記フィルタの輝度強度パラメータを前記第２のエネルギー値に対応する輝度に調整すること、に用いられる。

【0077】

選択的に、前記第１のプリセット区間は、前記スペクトル上の最低周波数から最高周波数までの最初の所定数の周波数を含み、前記第１のエネルギー値は、前記最初の所定数の周波数に対応するエネルギー値の和とする。

【0078】

選択的に、前記第２のプリセット区間は、前記スペクトル上の最低周波数から最高周波数までの最後の所定数の周波数を含み、前記第２のエネルギー値は、前記最後の所定数の周波数に対応するエネルギー値の和とする。

【0079】

選択的に、前記タッチ操作に対応する操作コントロールは、低周波数音色に対応する第１の音楽コントロールと高周波数音色に対応する第２の音楽コントロールとを含み、オーディオ信号生成モジュール１１０１は、具体的に、
前記第１の音楽コントロールに対応する音色に従って、前記第１の音楽コントロールに対応する音符に対して循環レンダリングを行い、前記第１の音楽コントロールに対応するオーディオ信号を得ること、
前記第２の音楽コントロールに対応する音色に従って、前記第２の音楽コントロールに対応する音符に対して循環レンダリングを行い、前記第２の音楽コントロールに対応するオーディオ信号を得ること、及び
前記第１の音楽コントロールに対応するオーディオ信号と前記第２の音楽コントロールに対応するオーディオ信号とを重畳し、前記オーディオ信号を得ること、に用いられる。

【0080】

選択的に、前記タッチ操作に対応する操作コントロールは、第１の音楽コントロール、第２の音楽コントロール及び第３の音楽コントロールを含み、前記第１の音楽コントロールは低周波数音色に対応し、前記第２の音楽コントロールは高周波数音色に対応し、前記第３の音楽コントロールは第１のオーディオ信号に対応し、オーディオ信号生成モジュール１１０１は、具体的に、
前記第１の音楽コントロールに対応する音色に従って、前記第１の音楽コントロールに対応する音符に対して循環レンダリングを行い、前記第１の音楽コントロールに対応するオーディオ信号を得ること、
前記第２の音楽コントロールに対応する音色に従って、前記第２の音楽コントロールに対応する音符に対して循環レンダリングを行い、前記第２の音楽コントロールに対応するオーディオ信号を得ること、及び
前記第１の音楽コントロールに対応するオーディオ信号と前記第２の音楽コントロールに対応するオーディオ信号と第１のオーディオ信号とを重畳し、前記オーディオ信号を得、前記第１のオーディオ信号はプリレンダリングされたオーディオ信号であること、に用いられる。

【0081】

選択的に、前記タッチ操作に対応する操作コントロールは、第１の音楽コントロール、第２の音楽コントロール及びテンポスライダを含み、前記第１の音楽コントロールは低周波数音色に対応し、前記第２の音楽コントロールは高周波数音色に対応し、オーディオ信号生成モジュール１１０１は、具体的に、
前記第１の音楽コントロールに対応する音色と前記テンポスライダに対応する１分あたりの拍数とに従って、前記第１の音楽コントロールに対応する音符に対して循環レンダリングを行い、前記第１の音楽コントロールに対応するオーディオ信号を得ること、
前記第２の音楽コントロールに対応する音色と前記テンポスライダに対応する１分あたりの拍数とに従って、前記第２の音楽コントロールに対応する音符に対して循環レンダリングを行い、前記第２の音楽コントロールに対応するオーディオ信号を得ること、及び
前記第１の音楽コントロールに対応するオーディオ信号と前記第２の音楽コントロールに対応するオーディオ信号とを重畳し、前記オーディオ信号を得ること、に用いられる。

【0082】

本実施例により提供される端末機器は、上記のいずれかの方法の実施例におけるステップを実行するために使用されることができ、その実現原理及び技術的効果が類似するため、ここで繰り返して説明しない。

【0083】

図１２は、本願により提供される端末機器のハードウェア構造概略図である。図１２に示すように、本実施例の端末機器は、
プログラム命令を記憶するためのメモリ１２０１と、
前記プログラム命令が実行されるとき、上記のいずれかの実施例に記載されている特殊効果処理方法が実現されるために用いられるプロセッサ１２０２と、を含み、当該プロセッサの具体的な実現原理は上記の実施例を参照することができ、本実施例はここで繰り返して説明しない。

【0084】

本願は、コンピュータプログラムが記憶されているコンピュータ可読記憶媒体を提供し、前記コンピュータプログラムがプロセッサにより実行されるとき、上記のいずれかの実施例に記載されている特殊効果処理方法が実現される。

【0085】

本願は、さらに、コンピュータプログラムを含むプログラム製品を提供し、前記コンピュータプログラムが可読記憶媒体に記憶されており、前記コンピュータプログラムがプロセッサにより実行されるとき、上記のいずれかの実施例に記載されている特殊効果処理方法が実現される。

【0086】

本願は、さらに、コンピュータ可読記憶媒体に記憶されているコンピュータプログラムを提供し、前記コンピュータプログラムがプロセッサにより実行されるとき、上記のいずれかの実施例に記載されている特殊効果処理方法が実現される。

【0087】

本願により提供されるいくつかの実施例では、開示された装置及び方法は、他の形態で実現され得ることが理解されるべきである。例えば、上記した装置の実施例は、単に例示的なものであり、例えば、前記ユニットの分割は、単なる論理的な機能分割であり、実際に実現するとき、別の形態で分割されてもよく、例えば、複数のユニット又は構成要素が他のシステムに結合されるかまたは集積されてもよいし、もしくは、いくつかの特徴が省略されるかまたは実行されていなくてもよい。また、図示又は説明される相互間の結合又は直接結合又は通信接続は、いくつかのインタフェース、装置又はユニットを介した間接結合又は通信接続であってもよく、電気的、機械的、又は他の形態であってもよい。

【0088】

分離された構成要素として説明されたユニットは、物理的に分離されていてもいなくてもよく、ユニットとして示された構成要素は、物理的なユニットであってもよいし、物理的なユニットでなくてもよく、すなわち、１つの場所に配置されていてもよいし、または、複数のネットワークユニットに分散されていてもよい。本実施例の目的は、実際の必要に応じて、ユニットの一部又はすべてを選択することによって達成され得る。

【0089】

また、本願の各実施例における各機能ユニットは、１つの処理ユニットに集積されていてもよいし、各ユニットが個別に物理的に存在していてもよいし、２つ以上のユニットが１つのユニットに集積されていてもよい。上記の集成されたユニットはハードウェアの形式で実現されてもよいし、ハードウェアとソフトウェア機能ユニットの形式で実現されてもよい。

【0090】

上記したソフトウェア機能ユニットの形式で実現される集積されたユニットは、１つのコンピュータ可読記憶媒体に記憶されることができる。上記したソフトウェア機能ユニットは、記憶媒体に記憶されており、本願の各実施例に記載されている方法のステップの一部をコンピュータデバイス(パーソナルコンピュータ、サーバ、又はネットワーク機器などであってもよい)又はプロセッサ(英文：ｐｒｏｃｅｓｓｏｒ)に実行させるための命令をいくつか含む。前述した記憶媒体は、ＵＳＢディスク、リムーバブルハードディスク、読み取り専用メモリ(英文：Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、ＲＯＭとして略称)、ランダムアクセスメモリ(英文：Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＲＡＭとして略称)、磁気ディスク、又は光ディスクなど、プログラムコードを記憶可能なさまざまな媒体を含む。

【0091】

本願に記載されているプロセッサは、中央処理装置(英文：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、ＣＰＵとして略称)であってもよいし、他の汎用プロセッサ、デジタル信号プロセッサ(英文：Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ、ＤＳＰとして略称)、特定用途向け集積回路(英文：Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ、ＡＳＩＣとして略称)などであってもよいことを理解されたい。汎用プロセッサは、マイクロプロセッサであってもよいし、あるいは、当該プロセッサは、任意の従来のプロセッサなどであってもよい。本願に関連して開示される方法のステップは、ハードウェアプロセッサ実行完了として直接に具現化されてもよいし、またはプロセッサ内のハードウェアとソフトウェアモジュールとの組み合わせ実行完了として具現化されてもよい。

【0092】

最後に説明すべきものとして、以上の各実施例は、本願の技術的解決手段を説明するためのものであって、これを制限するものではなく、前述の各実施例を参照しながら本願を詳細に説明したが、当業者であれば、依然として前述の各実施例に記載の技術的解決手段を修正するか、又はそのうちの一部又はすべての技術的特徴に対して等価置換を行うことができ、これらの修正又は置換は、対応する技術的解決手段の本質を本願の各実施例の技術的解決手段の範囲から逸脱しないと理解すべきである。

【0093】

本願は２０２１年２月７日に提出された、出願番号が２０２１１０１７９８７５．２で、出願の名称が「特殊効果処理方法及び装置」という中国特許出願の優先権を主張し、その全ての内容は援用によって本願に組み合わせられる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【手続補正書】

【提出日】2023-08-07

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

特殊効果処理方法であって、
動画再生中に、ユーザのタッチ操作に応答し、オーディオ信号を生成するステップと、
前記オーディオ信号を複数のオーディオフレームに分割するステップと、
前記オーディオフレームの属性に応じて、動画で現在再生されている画像画面に対して特殊効果処理を行うステップと、を含む、ことを特徴とする、
特殊効果処理方法。

【請求項2】

前記属性は、スペクトルを含み、
前記オーディオフレームの属性に応じて、動画で現在再生されている画像画面に対して特殊効果処理を行うステップは、
前記スペクトル上の第１のプリセット区間に対応する第１のエネルギー値に基づき、前記タッチ操作に対応する操作コントロールにアニメーションを追加するかどうかを制御するステップを含む、ことを特徴とする、
請求項１に記載の方法。

【請求項3】

前記スペクトル上の第１のプリセット区間に対応する第１のエネルギー値に基づき、前記タッチ操作に対応する操作コントロールにアニメーションを追加するかどうかを制御するステップは、
前記第１のエネルギー値がプリセットエネルギー値以上である場合、前記タッチ操作に対応する操作コントロールにアニメーションを追加するステップを含む、ことを特徴とする、
請求項２に記載の方法。

【請求項4】

前記属性は、スペクトルを含み、
前記オーディオフレームの属性に応じて、動画で現在再生されている画像画面に対して特殊効果処理を行うステップは、
前記スペクトル上の第２のプリセット区間に対応する第２のエネルギー値に基づき、フィルタを使用してブルーム効果を制御するステップを含む、ことを特徴とする、
請求項１に記載の方法。

【請求項5】

前記スペクトル上の第２のプリセット区間に対応する第２のエネルギー値に基づき、フィルタを使用してブルーム効果を制御するステップは、
前記第２のエネルギー値とプリセットマッピング関係とに基づき、前記第２のエネルギー値に対応する輝度を決定するステップであって、前記プリセットマッピング関係はプリセットエネルギー値と輝度との対応関係であるステップと、
前記フィルタの輝度強度パラメータを前記第２のエネルギー値に対応する輝度に調整するステップと、を含む、ことを特徴とする、
請求項４に記載の方法。

【請求項6】

前記第１のプリセット区間は、前記スペクトル上の最低周波数から最高周波数までの最初の所定数の周波数を含み、前記第１のエネルギー値は、前記最初の所定数の周波数に対応するエネルギー値の和とする、ことを特徴とする、請求項２又は３に記載の方法。

【請求項7】

前記第２のプリセット区間は、前記スペクトル上の最低周波数から最高周波数までの最後の所定数の周波数を含み、前記第２のエネルギー値は、前記最後の所定数の周波数に対応するエネルギー値の和とする、ことを特徴とする、請求項４又は５に記載の方法。

【請求項8】

前記タッチ操作に対応する操作コントロールは、第１の音楽コントロールと、第２の音楽コントロールとを含み、前記第１の音楽コントロールは、低周波数音色に対応し、前記第２の音楽コントロールは、高周波数音色に対応し、
オーディオ信号を生成するステップは、
前記第１の音楽コントロールに対応する音色に従って、前記第１の音楽コントロールに対応する音符に対して循環レンダリングを行い、前記第１の音楽コントロールに対応するオーディオ信号を得るステップと、
前記第２の音楽コントロールに対応する音色に従って、前記第２の音楽コントロールに対応する音符に対して循環レンダリングを行い、前記第２の音楽コントロールに対応するオーディオ信号を得るステップと、
前記第１の音楽コントロールに対応するオーディオ信号と前記第２の音楽コントロールに対応するオーディオ信号とを重畳し、前記オーディオ信号を得るステップと、を含む、ことを特徴とする、
請求項１～７のいずれか１項に記載の方法。

【請求項9】

前記タッチ操作に対応する操作コントロールは、第１の音楽コントロール、第２の音楽コントロール及び第３の音楽コントロールを含み、前記第１の音楽コントロールは、低周波数音色に対応し、前記第２の音楽コントロールは、高周波数音色に対応し、前記第３の音楽コントロールは、第１のオーディオ信号に対応し、
オーディオ信号を生成するステップは、
前記第１の音楽コントロールに対応する音色に従って、前記第１の音楽コントロールに対応する音符に対して循環レンダリングを行い、前記第１の音楽コントロールに対応するオーディオ信号を得るステップと、
前記第２の音楽コントロールに対応する音色に従って、前記第２の音楽コントロールに対応する音符に対して循環レンダリングを行い、前記第２の音楽コントロールに対応するオーディオ信号を得るステップと、
前記第１の音楽コントロールに対応するオーディオ信号と前記第２の音楽コントロールに対応するオーディオ信号と第１のオーディオ信号とを重畳し、前記オーディオ信号を得るステップであって、前記第１のオーディオ信号は、プリレンダリングされたオーディオ信号であるステップと、を含む、ことを特徴とする、
請求項１～７のいずれか１項に記載の方法。

【請求項10】

前記タッチ操作に対応する操作コントロールは、第１の音楽コントロール、第２の音楽コントロール及びテンポスライダを含み、前記第１の音楽コントロールは、低周波数音色に対応し、前記第２の音楽コントロールは、高周波数音色に対応し、
オーディオ信号を生成するステップは、
前記第１の音楽コントロールに対応する音色と前記テンポスライダに対応する１分あたりの拍数とに従って、前記第１の音楽コントロールに対応する音符に対して循環レンダリングを行い、前記第１の音楽コントロールに対応するオーディオ信号を得るステップと、
前記第２の音楽コントロールに対応する音色と前記テンポスライダに対応する１分あたりの拍数とに従って、前記第２の音楽コントロールに対応する音符に対して循環レンダリングを行い、前記第２の音楽コントロールに対応するオーディオ信号を得るステップと、
前記第１の音楽コントロールに対応するオーディオ信号と前記第２の音楽コントロールに対応するオーディオ信号とを重畳し、前記オーディオ信号を得るステップと、を含む、ことを特徴とする、
請求項１～７のいずれか１項に記載の方法。

【請求項11】

端末機器であって、
動画再生中に、ユーザのタッチ操作に応答し、オーディオ信号を生成するために用いられるオーディオ信号生成モジュールと、
前記オーディオ信号を複数のオーディオフレームに分割すること、及び、前記オーディオフレームの属性に応じて、動画で現在再生されている画像画面に対して特殊効果処理を行うこと、に用いられる処理モジュールと、を含む、ことを特徴とする、
端末機器。

【請求項12】

コンピュータプログラムが記憶されているコンピュータ可読記憶媒体であって、前記コンピュータプログラムがプロセッサにより実行されるとき、請求項１～１０のいずれか１項に記載の方法が実現される、ことを特徴とする、コンピュータ可読記憶媒体。

【請求項13】

端末機器であって、
プロセッサと、
前記プロセッサの実行可能な命令を記憶するためのメモリと、を含み、
前記プロセッサが、前記実行可能な命令を実行することにより請求項１～１０のいずれか１項に記載の方法を実現するように構成される、ことを特徴とする、
端末機器。

【請求項14】

コンピュータプログラムであって、前記コンピュータプログラムがプロセッサにより実行されるとき、請求項１～１０のいずれか１項に記載の方法が実現される、ことを特徴とする、コンピュータプログラム。

【手続補正2】

【補正対象書類名】明細書

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【発明の詳細な説明】

【技術分野】

【0001】

本願は、端末技術の分野に関し、特に、特殊効果処理方法及び装置に関する。

【背景技術】

【0002】

端末技術の発展につれ、端末機器が提供する機能はますます豊富になっている。近年では、ショート動画アプリケーションプログラムはユーザに大人気で、ショート動画アプリケーションプログラムは、ネットブロガーが投稿したショート動画を視聴できることに用いられるだけでなく、ユーザが自分でショート動画を作成して投稿することに用いられることもでき、ユーザの参加体験を高めている。

【0003】

ショート動画作成中に、ユーザは多くの小道具を使用して所望の特殊効果を実現することができるが、しかしながら、現在、多くの小道具は画像表示と関係があり、特殊効果機能が単一であり、ユーザ体験が十分ではない。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本願は、音楽創作に関連する特殊効果を提供でき、特殊効果機能が豊富で、ユーザ体験が向上する、特殊効果処理方法及び装置を提供する。

【課題を解決するための手段】

【0005】

第１の態様では、本願は、特殊効果処理方法を提供し、前記方法は、動画再生中に、ユーザのタッチ操作に応答し、オーディオ信号を生成するステップと、当該オーディオ信号を複数のオーディオフレームに分割するステップと、当該オーディオフレームの属性に応じて、動画で現在再生されている画像画面に対して特殊効果処理を行うステップと、を含む。

【0006】

選択的に、当該属性はスペクトルを含み、当該オーディオフレームの属性に応じて、動画で現在再生されている画像画面に対して特殊効果処理を行うステップは、当該スペクトル上の第１のプリセット区間に対応する第１のエネルギー値に基づき、当該タッチ操作に対応する操作コントロールにアニメーションを追加するかどうかを制御するステップを含む。

【0007】

選択的に、当該スペクトル上の第１のプリセット区間に対応する第１のエネルギー値に基づき、当該タッチ操作に対応する操作コントロールにアニメーションを追加するかどうかを制御するステップは、当該第１のエネルギー値がプリセットエネルギー値以上である場合、当該タッチ操作に対応する操作コントロールにアニメーションを追加するステップを含む。

【0008】

選択的に、当該属性はスペクトルを含み、当該オーディオフレームの属性に応じて、動画で現在再生されている画像画面に対して特殊効果処理を行うステップは、当該スペクトル上の第２のプリセット区間に対応する第２のエネルギー値に基づき、フィルタを使用してブルーム（Ｂｌｏｏｍ）効果を制御するステップを含む。

【0009】

選択的に、当該スペクトル上の第２のプリセット区間に対応する第２のエネルギー値に基づき、フィルタを使用してブルーム効果を制御するステップは、当該第２のエネルギー値とプリセットマッピング関係とに基づき、当該第２のエネルギー値に対応する輝度を決定するステップであって、当該プリセットマッピング関係はプリセットエネルギー値と輝度との対応関係であるステップと、当該フィルタの輝度強度パラメータを当該第２のエネルギー値に対応する輝度に調整するステップと、を含む。

【0010】

選択的に、当該第１のプリセット区間は、当該スペクトル上の最低周波数から最高周波数までの最初の所定数の周波数を含み、当該第１のエネルギー値は、当該最初の所定数の周波数に対応するエネルギー値の和とする。

【0011】

選択的に、当該第２のプリセット区間は、当該スペクトル上の最低周波数から最高周波数までの最後の所定数の周波数を含み、当該第２のエネルギー値は、当該最後の所定数の周波数に対応するエネルギー値の和とする。

【0012】

選択的に、当該タッチ操作に対応する操作コントロールは、低周波数音色に対応する第１の音楽コントロールと高周波数音色に対応する第２の音楽コントロールとを含み、オーディオ信号を生成するステップは、当該第１の音楽コントロールに対応する音色に従って、当該第１の音楽コントロールに対応する音符に対して循環レンダリングを行い、当該第１の音楽コントロールに対応するオーディオ信号を得るステップと、当該第２の音楽コントロールに対応する音色に従って、当該第２の音楽コントロールに対応する音符に対して循環レンダリングを行い、当該第２の音楽コントロールに対応するオーディオ信号を得るステップと、当該第１の音楽コントロールに対応するオーディオ信号と当該第２の音楽コントロールに対応するオーディオ信号とを重畳し、当該オーディオ信号を得るステップと、を含む。

【0013】

選択的に、当該タッチ操作に対応する操作コントロールは、第１の音楽コントロール、第２の音楽コントロール、及び第３の音楽コントロールを含み、当該第１の音楽コントロールは低周波数音色に対応し、当該第２の音楽コントロールは高周波数音色に対応し、当該第３の音楽コントロールは第１のオーディオ信号に対応し、オーディオ信号を生成するステップは、当該第１の音楽コントロールに対応する音色に従って、当該第１の音楽コントロールに対応する音符に対して循環レンダリングを行い、当該第１の音楽コントロールに対応するオーディオ信号を得るステップと、当該第２の音楽コントロールに対応する音色に従って、当該第２の音楽コントロールに対応する音符に対して循環レンダリングを行い、当該第２の音楽コントロールに対応するオーディオ信号を得るステップと、当該第１の音楽コントロールに対応するオーディオ信号と当該第２の音楽コントロールに対応するオーディオ信号と第１のオーディオ信号とを重畳し、当該オーディオ信号を得るステップであって、当該第１のオーディオ信号は、プリレンダリングされたオーディオ信号であるステップと、を含む。

【0014】

選択的に、当該タッチ操作に対応する操作コントロールは、第１の音楽コントロール、第２の音楽コントロール、及びテンポスライダを含み、当該第１の音楽コントロールは低周波数音色に対応し、当該第２の音楽コントロールは高周波数音色に対応し、オーディオ信号を生成するステップは、当該第１の音楽コントロールに対応する音色と当該テンポスライダに対応する１分あたりの拍数とに従って、当該第１の音楽コントロールに対応する音符に対して循環レンダリングを行い、当該第１の音楽コントロールに対応するオーディオ信号を得るステップと、当該第２の音楽コントロールに対応する音色と当該テンポスライダに対応する１分あたりの拍数とに従って、当該第２の音楽コントロールに対応する音符に対して循環レンダリングを行い、当該第２の音楽コントロールに対応するオーディオ信号を得るステップと、当該第１の音楽コントロールに対応するオーディオ信号と当該第２の音楽コントロールに対応するオーディオ信号とを重畳し、当該オーディオ信号を得るステップと、を含む。

【0015】

第２の態様では、本願は、端末機器を提供し、前記端末機器は、動画再生中に、ユーザのタッチ操作に応答し、オーディオ信号を生成するために用いられるオーディオ信号生成モジュールと、前記オーディオ信号を複数のオーディオフレームに分割すること、及び、前記オーディオフレームの属性に応じて、動画で現在再生されている画像画面に対して特殊効果処理を行うこと、に用いられる処理モジュールと、を含む。

【0016】

第３の態様では、本願は、コンピュータプログラムが記憶されているコンピュータ可読記憶媒体を提供し、前記コンピュータプログラムがプロセッサにより実行されるとき、第１の態様で提供される方法が実現される。

【0017】

第４の態様では、本願は、端末機器を提供し、前記端末機器は、プロセッサと、前記プロセッサの実行可能な命令を記憶するためのメモリと、を含み、前記プロセッサが、前記実行可能な命令を実行することにより第１の態様で提供される方法を実現するように構成される。

【0018】

第５の態様では、本願は、コンピュータプログラムを含むプログラム製品を提供し、前記コンピュータプログラムが可読記憶媒体に記憶されており、前記コンピュータプログラムがプロセッサにより実行されるとき、第１の態様で提供される方法が実現される。

【0019】

第６の態様では、本願は、コンピュータ可読記憶媒体に記憶されているコンピュータプログラムを提供し、前記コンピュータプログラムがプロセッサにより実行されるとき、第１の態様で提供される方法が実現される。

【発明の効果】

【0020】

本願により提供される特殊効果処理方法及び装置によれば、動画再生中に、ユーザはユーザインタフェースにおいてタッチ操作をすることができ、ユーザのタッチ操作に応答し、端末機器は、対応するオーディオ信号を生成するとともに、当該オーディオ信号を複数のオーディオフレームに分割し、オーディオフレームの属性に基づき、動画の画像画面に対して特殊効果処理を行うことができ、本願により提供される当該方法により、ユーザは動画再生中に音楽創作を行うことができ、そして、動画の画像画面は、ユーザが創作する音楽に合わせて変化し、音楽創作に興味を持つ潜在的なユーザが参加するように刺激し、ユーザの体験感を向上させる。

【図面の簡単な説明】

【0021】

【図1】本願により提供される応用シーンの図である。

【図2】本願により提供される特殊効果処理方法の実施例１のフローチャートである。

【図3】本願により提供される実施例１に対応するユーザインタフェースの図である。

【図4】本願により提供されるタッチ操作の概略図である。

【図5】本願により提供されるオーディオフレーム分割の概略図である。

【図6】本願により提供されるスペクトル取得の原理図である。

【図7】本願により提供される特殊効果処理方法の実施例２のフローチャートである。

【図8】本願により提供される実施例２に対応するユーザインタフェースの図である。

【図9】本願により提供される特殊効果処理方法の実施例３のフローチャートである。

【図10】本願により提供される実施例３に対応するユーザインタフェースの図である。

【図11】本願により提供される端末機器の構造概略図である。

【図12】本願により提供される端末機器のハードウェア構造概略図である。

【発明を実施するための形態】

【0022】

本願の目的、技術的解決手段及び利点をより明瞭にするために、以下、本願に係る図面を参照しながら、その技術的解決手段について明瞭、且つ完全に説明し、当然のことながら、記載される実施例は本願の実施例の一部にすぎず、そのすべての実施例ではない。当業者は、本願における実施例に基づいて創造的な労働をすることなく、獲得されたその他のすべての実施例は、いずれも本願の保護範囲に属する。

【0023】

本願では、用語「第１」、「第２」は、説明のためにのみ使用され、相対的な重要性を示す、または示唆するものとして理解されないことが理解されるべきである。また、「少なくとも１つ」とは、１つ又は複数をいい、「複数」とは、２以上をいう。「及び／又は」は関連対象の関連関係を説明し、３つの関係が存在してもよいことを示し、例えば、Ａ及び／又はＢは、Ａが単独で存在する状況、ＡとＢが同時に存在する状況、Ｂが単独で存在する状況という３つの状況を示してもよく、Ａ、Ｂは単数又は複数であってもよい。「／」という文字は、常に前後の関連対象が「又は」という関係であることを示す。「の少なくとも１項（個）」又はその類似表現は、これらの項の任意の組み合わせを指し、単項(個)又は複数項(個)の任意の組み合わせを含む。例えば、ａ、ｂ又はｃの少なくとも１項（個）は、ａの単独な存在、ｂの単独な存在、ｃの単独な存在、ａとｂとの組み合わせ、ａとｃとの組み合わせ、ｂとｃとの組み合わせ、またはａとｂとｃとの組み合わせを表すことができ、ａ、ｂ、ｃは、単一であってもよいし、複数であってもよい。

【0024】

例示的に、図１は、本願の１つの応用シーンの図を示している。現在のショート動画プラットフォームでは、動画再生中に、ユーザは特殊効果を加えたい場合、小道具ボタンをクリックし、ショート動画プラットフォームにより提供されるさまざまな小道具の中から好きな小道具を選択すると、動画の画像画面においてそれに応じた特殊効果が表示される。しかし、ショート動画プラットフォームにより提供される小道具はいずれも画像表示に関するものであり、ユーザは動画のために音楽を創作することができず、動画の画像画面もユーザが創作する音楽に合わせて変化することがなく、音楽創作に興味を持つ潜在的なユーザにとっては、現在のショート動画プラットフォームは機能が単一で、体験感がよくない。

【0025】

そのため、本願は、特殊効果処理方法を提案し、動画再生中に、ユーザはユーザインタフェースにおいて音楽コントロールをクリックすることができ、ユーザは、音楽コントロールをクリックすると、対応するオーディオ信号を生成するとともに、当該オーディオ信号に基づいて対応するアニメーションを動画画面に追加することができ、これによって、動画の画像画面はオーディオ信号に合わせて変化し、音楽創作に興味を持つ潜在的なユーザは参加するように刺激され、ユーザの体験感は向上する。

【0026】

本願により提供される特殊効果処理方法は、端末機器により実行されることができ、端末機器の形態は、スマートフォン、タブレットコンピュータ、ノートパソコン又はテレビジョンなどを含むが、それらに限定されず、本願は端末機器の形態を限定しない。

【0027】

以下、本願の技術的解決手段及び本願の技術的解決手段を利用して上記の技術的問題を如何に解決するかについて具体的な実施例を用いて詳細に説明する。以下のいくつかの具体的な実施例を組み合わせることができ、同様な又は類似の概念やプロセスはいくつかの実施例で繰り返して説明しない場合がある。以下、図面を参照しながら本願の実施例を説明する。

【0028】

図２は、本願により提供される特殊効果処理方法の実施例１のフローチャートである。図３は、実施例１に対応するユーザインタフェースの図であり、図３に示すように、ユーザインタフェースでの操作コントロールは、第１の音楽コントロール３０１と第２の音楽コントロール３０２とを含むことができ、第１の音楽コントロール３０１と第２の音楽コントロール３０２との相違点は、第１の音楽コントロール３０１が低周波数音色に対応し、第２の音楽コントロール３０２が高周波数音色に対応することである。例示的に、第１の音楽コントロール３０１は、ドラムやベースなどの低周波数楽器の音色に対応することができ、第２の音楽コントロール３０２は、シンセサイザー音、ストリングスバッキング及び／又は高周波数楽器の音色に対応することができる。

【0029】

選択的に、ドラムやベースにはさまざまな種類があるため、ドラムやベースの種類によって音色が異なる。そこで、ユーザは、異なる音色のドラムやベースを使用して音楽創作を行うためには、図３に示すように、ユーザインタフェースにおいては、４つの第１の音楽コントロール３０１を設置することができ、この４つの第１の音楽コントロール３０１は、音色がそれぞれ異なる。同様に、ユーザインタフェースにおいては、４つの第２の音楽コントロール３０２を設置することもでき、この４つの第２の音楽コントロール３０２は、音色もそれぞれ異なる。図３の各第１の音楽コントロール３０１及び各第２の音楽コントロール３０２はそれぞれ、対応する音符のセグメントを有している。

【0030】

図２に示すように、本実施例により提供される特殊効果処理方法は、以下のステップを含む。

【0031】

Ｓ２０１では、動画再生中に、第１の音楽コントロール３０１と第２の音楽コントロール３０２とに対するユーザのタッチ操作に応答し、オーディオ信号を生成する。

【0032】

なお、本実施例では、動画再生過程は、ショート動画作成時にユーザが録画をクリックする前のプレビュー過程であってもよいし、ユーザが録画をクリックした後の録画過程であってもよく、本実施例はそれを限定しない。また、第１の音楽コントロール３０１と第２の音楽コントロール３０２とに対するユーザのタッチ操作は、シングルクリック操作又はダブルクリック操作などにすることができ、本実施例はタッチ操作の形態を限定しない。

【0033】

図４に示すように、ユーザは第１の音楽コントロール３０１と第２の音楽コントロール３０２とを同時にトリガーすることができ、ユーザは第１の音楽コントロール３０１と第２の音楽コントロール３０２とを同時にトリガーすると、一方、端末機器は、第１の音楽コントロール３０１に対応する音色に従って、当該第１の音楽コントロール３０１に対応する音符に対して循環レンダリングを行い、当該第１の音楽コントロール３０１に対応するオーディオ信号を得ることができ、他方、端末機器は、第２の音楽コントロール３０２に対応する音色に従って、当該第２の音楽コントロール３０２に対応する音符に対して循環レンダリングを行い、当該第２の音楽コントロール３０２に対応するオーディオ信号を得、その後、第１の音楽コントロール３０１に対応するオーディオ信号と第２の音楽コントロール３０２に対応するオーディオ信号とを重畳し、重畳されたオーディオ信号を得ることができる。具体的なレンダリングプロセスは従来の技術を参照することができ、本実施例はここで繰り返して説明しない。

【0034】

Ｓ２０２では、オーディオ信号を複数のオーディオフレームに分割する。

【0035】

選択的に、図５に示すように、２０ｍｓ単位でオーディオ信号を分割し、すなわち、オーディオフレームごとに２０ｍｓで、隣接する２つのオーディオフレームは５０％が重なっている。例えば、１ｍｓ～２０ｍｓは１番目のオーディオフレームで、１０ｍｓ～３０ｍｓは２番目のオーディオフレームであるようにすることができる。

【0036】

Ｓ２０３では、オーディオフレームの属性に応じて、動画で現在再生されている画像画面に対して特殊効果処理を行う。

【0037】

選択的に、オーディオフレームの属性はスペクトル、エネルギー又はボリュームにすることができ、以下、オーディオフレームスペクトルの取得プロセスを説明する。オーディオ信号を複数のオーディオフレームに分割した後、各オーディオフレームに対してフーリエ変換を行い、当該オーディオフレームのスペクトルを得る。

【0038】

以下、例を挙げて説明する。

【0039】

ユーザが設定した周波数点の個数は４０であると仮定すると、図５のいずれかのオーディオフレームを例にして、オーディオフレームに対してフーリエ変換を行った後、図６に示すように、４０次元のスペクトルを得ることができ、第０次元は直流成分で、第１～３９次元は低い順の周波数成分である。

【0040】

オーディオフレームのスペクトルを得た後、スペクトル上の第１のプリセット区間に対応する第１のエネルギー値に基づき、タッチ操作に対応する操作コントロールにアニメーションを追加するかどうかを制御することができる。一方、スペクトル上の第２のプリセット区間に対応する第２のエネルギー値に基づき、フィルタを使用してブルーム効果を制御することができ、当該フィルタは画像画面をフィルタ処理するために用いられる。

【0041】

以下、スペクトル上の第１のプリセット区間に対応する第１のエネルギー値に基づき、タッチ操作に対応する操作コントロールにアニメーションを追加するかどうかを制御するステップの実現可能な形態を説明する。

【0042】

第１のプリセット区間は、スペクトル上の最低周波数から最高周波数までの最初の所定数の周波数を含むことができ、この場合、第１のエネルギー値は最初の所定数の周波数に対応するエネルギー値の和とする。例えば、所定数は１０である場合、第１のプリセット区間は最低周波数から最高周波数までの最初の１０個の周波数であるＦ(１)～Ｆ(１０)を含み、第１のエネルギー値はＦ(１)～Ｆ(１０)に対応するエネルギー値の和とする。第１のエネルギー値に基づき、ユーザのタッチ操作に対応する操作コントロールにアニメーションを追加するかどうかを制御することができる。具体的に、第１のエネルギー値がプリセットエネルギー値以上であるかどうかを判断することができ、そうである場合、ユーザのタッチ操作に対応する操作コントロールにアニメーションを追加する。

【0043】

以下、例を挙げて説明する。

【0044】

ユーザのタッチ操作は図４に示すようなものであり、現在のオーディオフレームのスペクトルは図６に示すようなものであり、Ｆ(１)～Ｆ(１０)に対応するエネルギー値の和はＢであると仮定すると、Ｂがプリセットエネルギー値以上であるかどうかを判断し、そうである場合、図４に示されるユーザがクリックしている２つのコントロールにアニメーションを追加する。

【0045】

以下、スペクトル上の第２のプリセット区間に対応する第２のエネルギー値に基づき、フィルタを使用してブルーム効果を制御するステップの実現可能な形態を説明する。

【0046】

第２のプリセット区間はスペクトル上の最低周波数から最高周波数までの最後の所定数の周波数を含むことができ、この場合、第２のエネルギー値は最後の所定数の周波数に対応するエネルギー値の和となる。例えば、所定数は１０である場合、第２のプリセット区間は最低周波数から最高周波数までの最後の１０個の周波数であるＦ(３０)～Ｆ(３９)を含み、第２のエネルギー値はＦ(３０)～Ｆ(３９)に対応するエネルギー値の和とする。第２のエネルギー値に基づき、フィルタの輝度強度パラメータを制御することができる。具体的に、第２のエネルギー値とプリセットマッピング関係とに基づき、第２のエネルギー値に対応する輝度を決定するとともに、フィルタの輝度強度パラメータを第２のエネルギー値に対応する輝度に調整する。上記のプリセットマッピング関係はプリセットエネルギー値と輝度との対応関係である。

【0047】

以下、例を挙げて説明する。

【0048】

ユーザのタッチ操作は図４に示すようなものであり、現在のオーディオフレームのスペクトルは図６に示すようなものであり、Ｆ(３０)～Ｆ(３９)に対応するエネルギー値の和はＣであると仮定すると、プリセットマッピング関係からＣに対応する輝度を探し、Ｃに対応する輝度はＸであると仮定する場合、フィルタの輝度強度パラメータをＸに調整する。

【0049】

以上は、１つのオーディオフレームを例にして本実施例により提供される特殊効果処理プロセスを説明したが、オーディオ信号は連続的なものであるため、オーディオフレームごとにＳ２０３を実行することができることに留意されたい。

【0050】

なお、上記の第１のプリセット区間はスペクトル上の最低周波数から最高周波数までの最初の所定数の周波数を含み、第２のプリセット区間はスペクトル上の最低周波数から最高周波数までの最後の所定数の周波数を含み、これは単なる１つの例にすぎず、第１のプリセット区間と第２のプリセット区間とを制限するためのものではない。第１のプリセット区間と第２のプリセット区間とは、実際の状況に応じて柔軟に選定することができるように、スペクトル上の任意の区間にすることができる。

【0051】

本願により提供される特殊効果処理方法によれば、動画再生中に、ユーザはユーザインタフェースでタッチ操作を行うことができ、ユーザのタッチ操作に応答し、対応するオーディオ信号を生成するとともに、当該オーディオ信号を複数のオーディオフレームに分割し、オーディオフレームの属性に基づき、動画の画像画面に対して特殊効果処理を行うことができ、本願により提供される当該方法により、ユーザは動画再生中に音楽創作を行うことができ、そして、動画の画像画面は、ユーザが創作する音楽に合わせて変化し、音楽創作に興味を持つ潜在的なユーザが参加するように刺激し、ユーザの体験感を向上させる。

【0052】

図７は、本願により提供される特殊効果処理方法の実施例２のフローチャートである。本実施例では、ユーザがより多様な音色を有する音楽を創作することを可能にするために、図８に示される操作コントロールをユーザインタフェースに提供することができる。図８に示される操作コントロールは、第１の音楽コントロール３０１、第２の音楽コントロール３０２及び第３の音楽コントロール１００１を含み、上記の実施例と同様に、第１の音楽コントロール３０１と第２の音楽コントロール３０２との相違点は、第１の音楽コントロール３０１が低周波数音色に対応し、第２の音楽コントロール３０２が高周波数音色に対応することである。第１の音楽コントロール３０１と第２の音楽コントロール３０２との詳細な設定は上記の実施例を参照し、本実施例ではそれについて繰り返して説明しない。第３の音楽コントロール１００１とプリレンダリングされた第１のオーディオ信号とは対応する。図８に示すように、ユーザインタフェースにおいて５つの第３の音楽コントロール１００１を設置することができ、当該５つの第３の音楽コントロール１００１はそれぞれ、５つの異なるプリレンダリングされたオーディオ信号に対応し、例えば、１つの第３の音楽コントロール１００１はプリレンダリングされた「水滴る」というオーディオ信号に対応することができる。

【0053】

図７に示すように、本実施例により提供される特殊効果処理方法は、以下のステップを含む。

【0054】

Ｓ７０１では、動画再生中に、第１の音楽コントロール３０１、第２の音楽コントロール３０２及び第３の音楽コントロール１００１に対するユーザのタッチ操作に応答し、オーディオ信号を生成する。

【0055】

本実施例では、第１の音楽コントロール３０１、第２の音楽コントロール３０２及び第３の音楽コントロール１００１に対するユーザのタッチ操作は、シングルクリック操作又はダブルクリック操作などにすることができ、本実施例はタッチ操作の形態を限定しない。

【0056】

ユーザは、第１の音楽コントロール３０１、第２の音楽コントロール３０２及び第３の音楽コントロール１００１に対してタッチ操作を実行した後、端末機器は、第１の音楽コントロール３０１に対応する音色に従って、第１の音楽コントロールに対応する音符に対して循環レンダリングを行い、第１の音楽コントロール３０１に対応するオーディオ信号を得ることができる。一方、第２の音楽コントロール３０２に対応する音色に従って、第２の音楽コントロールに対応する音符に対して循環レンダリングを行い、第２の音楽コントロール３０２に対応するオーディオ信号を得ることができる。第１の音楽コントロール３０１に対応するオーディオ信号と第２の音楽コントロール３０２に対応するオーディオ信号と第１のオーディオ信号とを重畳し、重畳されたオーディオ信号を得る。

【0057】

なお、第１の音楽コントロール３０１に対応する音符と第２の音楽コントロール３０２に対応する音符とに対してそれぞれ循環レンダリングを行ったため、Ｓ７０２で重畳されたオーディオ信号には、第１の音楽コントロール３０１に対応する音符と第２の音楽コントロール３０２に対応する音符とは循環して再生されるが、第３の音楽コントロールに対応する第１のオーディオ信号はプリレンダリングされたもので、音符のセグメントに対して循環レンダリングを行った結果として得られるものではないため、Ｓ７０２の重畳されたオーディオ信号には、第１のオーディオ信号が１回だけ再生され、例えば、図８の左から１番目の第３の音楽コントロールは、プリレンダリングされた「水滴る」というオーディオ信号に対応する場合、ユーザは１番目の第３の音楽コントロールをトリガーした後、「水滴る」の音は１回だけ再生される。

【0058】

Ｓ７０２では、オーディオ信号を複数のオーディオフレームに分割する。

【0059】

Ｓ７０３では、オーディオフレームの属性に応じて、動画で現在再生されている画像画面に対して特殊効果処理を行う。

【0060】

Ｓ７０２～Ｓ７０３の実現プロセスは上記の実施例のＳ２０２～Ｓ２０３を参照し、本実施例はここで繰り返して説明しない。

【0061】

本願により提供される特殊効果処理方法は、第３の音楽コントロールを追加することにより、ユーザが創作する音楽はより多様な音色を有する音楽となるようにすることができ、ユーザの体験感をさらに向上させる。

【0062】

図９は、本願により提供される特殊効果処理方法の実施例３のフローチャートである。本実施例では、ユーザが音楽のテンポを変更できるようにするために、図１０に示される操作コントロールをユーザインタフェースに提供することができる。図１０に示される操作コントロールは、第１の音楽コントロール３０１、第２の音楽コントロール３０２及びテンポスライダ１００２を含み、上記の実施例と同様に、第１の音楽コントロール３０１と第２の音楽コントロール３０２との相違点は、第１の音楽コントロール３０１が低周波数音色に対応し、第２の音楽コントロール３０２が高周波数音色に対応することである。第１の音楽コントロール３０１と第２の音楽コントロール３０２との詳細な設定は上記の実施例を参照し、本実施例はそれについて繰り返して説明しない。ユーザはテンポスライダ１００２を調整することによりオーディオ信号のテンポを調整することができる。

【0063】

図９に示すように、本実施例により提供される特殊効果処理方法は、以下のステップを含む。

【0064】

Ｓ９０１では、動画再生中に、第１の音楽コントロール３０１、第２の音楽コントロール３０２及びテンポスライダ１００２に対するユーザのタッチ操作に応答し、オーディオ信号を生成する。

【0065】

本実施例では、第１の音楽コントロール３０１と第２の音楽コントロール３０２とに対するユーザのタッチ操作は、シングルクリック操作又はダブルクリック操作にすることができ、テンポスライダ１００２に対するユーザのタッチ操作はスライド操作にすることができる。

【0066】

ユーザは、第１の音楽コントロール３０１と第２の音楽コントロール３０２とに対してタッチ操作を実行するとともに、テンポスライダ１００２を特定の位置にスライドするとき、端末機器は、第１の音楽コントロール３０１に対応する音色とテンポスライダに対応する１分あたりの拍数とに従って、第１の音楽コントロール３０１に対応する音符に対して循環レンダリングを行い、第１の音楽コントロール３０１に対応するオーディオ信号を得る。一方、第２の音楽コントロール３０２に対応する音色とテンポスライダに対応する１分あたりの拍数とに従って、第２の音楽コントロール３０２に対応する音符に対して循環レンダリングを行い、第２の音楽コントロール３０２に対応するオーディオ信号を得る。第１の音楽コントロール３０１に対応するオーディオ信号と第２の音楽コントロール３０２に対応するオーディオ信号とを重畳し、重畳されたオーディオ信号を得る。

【0067】

オーディオ信号のテンポはレンダリング速度に関連しており、レンダリング速度は１分あたりの拍数に関連しており、上記の２つの実施例では、端末機器は、デフォルトの１分あたりの拍数を使用して、第１の音楽コントロール３０１と第２の音楽コントロール３０２とに対応する音符に対してそれぞれ循環レンダリングを行うことができ、本実施例では、テンポスライダと１分あたりの拍数とを関連させることができ、これによって、ユーザはテンポスライダを調整することにより１分あたりの拍数を変更し、そしてレンダリング速度を変更し、オーディオ信号のテンポを変更することができる。

【0068】

Ｓ９０２では、オーディオ信号を複数のオーディオフレームに分割する。

【0069】

Ｓ９０３では、オーディオフレームの属性に応じて、動画で現在再生されている画像画面に対して特殊効果処理を行う。

【0070】

Ｓ９０２～Ｓ９０３の実現プロセスは上記の実施例のＳ２０２～Ｓ２０３を参照し、本実施例はここで繰り返して説明しない。

【0071】

本願により提供される特殊効果処理方法は、テンポスライダを追加することにより、ユーザはオーディオ信号のテンポを変更することができ、ユーザの体験感をさらに向上させる。

【0072】

図１１は、本願により提供される端末機器の構造概略図である。図１１に示すように、本願により提供される端末機器は、
動画再生中に、ユーザのタッチ操作に応答し、オーディオ信号を生成するために用いられるオーディオ信号生成モジュール１１０１と、
前記オーディオ信号を複数のオーディオフレームに分割すること、及び、前記オーディオフレームの属性に応じて、動画で現在再生されている画像画面に対して特殊効果処理を行うこと、に用いられる処理モジュール１１０２と、を含む。

【0073】

選択的に、前記属性はスペクトルを含み、処理モジュール１１０２は、具体的に、
前記スペクトル上の第１のプリセット区間に対応する第１のエネルギー値に基づき、前記タッチ操作に対応する操作コントロールにアニメーションを追加するかどうかを制御するために用いられる。

【0074】

選択的に、処理モジュール１１０２は、具体的に、
前記第１のエネルギー値がプリセットエネルギー値以上である場合、前記タッチ操作に対応する操作コントロールにアニメーションを追加するために用いられる。

【0075】

選択的に、処理モジュール１１０２は、具体的に、
前記スペクトル上の第２のプリセット区間に対応する第２のエネルギー値に基づき、フィルタを使用してブルーム効果を制御するために用いられ、前記フィルタは画像画面をフィルタ処理するために用いられる。

【0076】

選択的に、処理モジュール１１０２は、具体的に、
前記第２のエネルギー値とプリセットマッピング関係とに基づき、前記第２のエネルギー値に対応する輝度を決定し、前記プリセットマッピング関係はプリセットエネルギー値と輝度との対応関係であること、及び
前記フィルタの輝度強度パラメータを前記第２のエネルギー値に対応する輝度に調整すること、に用いられる。

【0077】

選択的に、前記第１のプリセット区間は、前記スペクトル上の最低周波数から最高周波数までの最初の所定数の周波数を含み、前記第１のエネルギー値は、前記最初の所定数の周波数に対応するエネルギー値の和とする。

【0078】

選択的に、前記第２のプリセット区間は、前記スペクトル上の最低周波数から最高周波数までの最後の所定数の周波数を含み、前記第２のエネルギー値は、前記最後の所定数の周波数に対応するエネルギー値の和とする。

【0079】

選択的に、前記タッチ操作に対応する操作コントロールは、低周波数音色に対応する第１の音楽コントロールと高周波数音色に対応する第２の音楽コントロールとを含み、オーディオ信号生成モジュール１１０１は、具体的に、
前記第１の音楽コントロールに対応する音色に従って、前記第１の音楽コントロールに対応する音符に対して循環レンダリングを行い、前記第１の音楽コントロールに対応するオーディオ信号を得ること、
前記第２の音楽コントロールに対応する音色に従って、前記第２の音楽コントロールに対応する音符に対して循環レンダリングを行い、前記第２の音楽コントロールに対応するオーディオ信号を得ること、及び
前記第１の音楽コントロールに対応するオーディオ信号と前記第２の音楽コントロールに対応するオーディオ信号とを重畳し、前記オーディオ信号を得ること、に用いられる。

【0080】

選択的に、前記タッチ操作に対応する操作コントロールは、第１の音楽コントロール、第２の音楽コントロール及び第３の音楽コントロールを含み、前記第１の音楽コントロールは低周波数音色に対応し、前記第２の音楽コントロールは高周波数音色に対応し、前記第３の音楽コントロールは第１のオーディオ信号に対応し、オーディオ信号生成モジュール１１０１は、具体的に、
前記第１の音楽コントロールに対応する音色に従って、前記第１の音楽コントロールに対応する音符に対して循環レンダリングを行い、前記第１の音楽コントロールに対応するオーディオ信号を得ること、
前記第２の音楽コントロールに対応する音色に従って、前記第２の音楽コントロールに対応する音符に対して循環レンダリングを行い、前記第２の音楽コントロールに対応するオーディオ信号を得ること、及び
前記第１の音楽コントロールに対応するオーディオ信号と前記第２の音楽コントロールに対応するオーディオ信号と第１のオーディオ信号とを重畳し、前記オーディオ信号を得、前記第１のオーディオ信号はプリレンダリングされたオーディオ信号であること、に用いられる。

【0081】

選択的に、前記タッチ操作に対応する操作コントロールは、第１の音楽コントロール、第２の音楽コントロール及びテンポスライダを含み、前記第１の音楽コントロールは低周波数音色に対応し、前記第２の音楽コントロールは高周波数音色に対応し、オーディオ信号生成モジュール１１０１は、具体的に、
前記第１の音楽コントロールに対応する音色と前記テンポスライダに対応する１分あたりの拍数とに従って、前記第１の音楽コントロールに対応する音符に対して循環レンダリングを行い、前記第１の音楽コントロールに対応するオーディオ信号を得ること、
前記第２の音楽コントロールに対応する音色と前記テンポスライダに対応する１分あたりの拍数とに従って、前記第２の音楽コントロールに対応する音符に対して循環レンダリングを行い、前記第２の音楽コントロールに対応するオーディオ信号を得ること、及び
前記第１の音楽コントロールに対応するオーディオ信号と前記第２の音楽コントロールに対応するオーディオ信号とを重畳し、前記オーディオ信号を得ること、に用いられる。

【0082】

本実施例により提供される端末機器は、上記のいずれかの方法の実施例におけるステップを実行するために使用されることができ、その実現原理及び技術的効果が類似するため、ここで繰り返して説明しない。

【0083】

図１２は、本願により提供される端末機器のハードウェア構造概略図である。図１２に示すように、本実施例の端末機器は、
プログラム命令を記憶するためのメモリ１２０１と、
前記プログラム命令が実行されるとき、上記のいずれかの実施例に記載されている特殊効果処理方法が実現されるために用いられるプロセッサ１２０２と、を含み、当該プロセッサの具体的な実現原理は上記の実施例を参照することができ、本実施例はここで繰り返して説明しない。

【0084】

本願は、コンピュータプログラムが記憶されているコンピュータ可読記憶媒体を提供し、前記コンピュータプログラムがプロセッサにより実行されるとき、上記のいずれかの実施例に記載されている特殊効果処理方法が実現される。

【0085】

本願は、さらに、コンピュータプログラムを含むプログラム製品を提供し、前記コンピュータプログラムが可読記憶媒体に記憶されており、前記コンピュータプログラムがプロセッサにより実行されるとき、上記のいずれかの実施例に記載されている特殊効果処理方法が実現される。

【0086】

本願は、さらに、コンピュータ可読記憶媒体に記憶されているコンピュータプログラムを提供し、前記コンピュータプログラムがプロセッサにより実行されるとき、上記のいずれかの実施例に記載されている特殊効果処理方法が実現される。

【0087】

本願により提供されるいくつかの実施例では、開示された装置及び方法は、他の形態で実現され得ることが理解されるべきである。例えば、上記した装置の実施例は、単に例示的なものであり、例えば、前記ユニットの分割は、単なる論理的な機能分割であり、実際に実現するとき、別の形態で分割されてもよく、例えば、複数のユニット又は構成要素が他のシステムに結合されるかまたは集積されてもよいし、もしくは、いくつかの特徴が省略されるかまたは実行されていなくてもよい。また、図示又は説明される相互間の結合又は直接結合又は通信接続は、いくつかのインタフェース、装置又はユニットを介した間接結合又は通信接続であってもよく、電気的、機械的、又は他の形態であってもよい。

【0088】

分離された構成要素として説明されたユニットは、物理的に分離されていてもいなくてもよく、ユニットとして示された構成要素は、物理的なユニットであってもよいし、物理的なユニットでなくてもよく、すなわち、１つの場所に配置されていてもよいし、または、複数のネットワークユニットに分散されていてもよい。本実施例の目的は、実際の必要に応じて、ユニットの一部又はすべてを選択することによって達成され得る。

【0089】

また、本願の各実施例における各機能ユニットは、１つの処理ユニットに集積されていてもよいし、各ユニットが個別に物理的に存在していてもよいし、２つ以上のユニットが１つのユニットに集積されていてもよい。上記の集成されたユニットはハードウェアの形式で実現されてもよいし、ハードウェアとソフトウェア機能ユニットの形式で実現されてもよい。

【0090】

上記したソフトウェア機能ユニットの形式で実現される集積されたユニットは、１つのコンピュータ可読記憶媒体に記憶されることができる。上記したソフトウェア機能ユニットは、記憶媒体に記憶されており、本願の各実施例に記載されている方法のステップの一部をコンピュータデバイス(パーソナルコンピュータ、サーバ、又はネットワーク機器などであってもよい)又はプロセッサ(英文：ｐｒｏｃｅｓｓｏｒ)に実行させるための命令をいくつか含む。前述した記憶媒体は、ＵＳＢディスク、リムーバブルハードディスク、読み取り専用メモリ(英文：Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、ＲＯＭとして略称)、ランダムアクセスメモリ(英文：Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＲＡＭとして略称)、磁気ディスク、又は光ディスクなど、プログラムコードを記憶可能なさまざまな媒体を含む。

【0091】

本願に記載されているプロセッサは、中央処理装置(英文：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、ＣＰＵとして略称)であってもよいし、他の汎用プロセッサ、デジタル信号プロセッサ(英文：Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ、ＤＳＰとして略称)、特定用途向け集積回路(英文：Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ、ＡＳＩＣとして略称)などであってもよいことを理解されたい。汎用プロセッサは、マイクロプロセッサであってもよいし、あるいは、当該プロセッサは、任意の従来のプロセッサなどであってもよい。本願に関連して開示される方法のステップは、ハードウェアプロセッサ実行完了として直接に具現化されてもよいし、またはプロセッサ内のハードウェアとソフトウェアモジュールとの組み合わせ実行完了として具現化されてもよい。

【0092】

最後に説明すべきものとして、以上の各実施例は、本願の技術的解決手段を説明するためのものであって、これを制限するものではなく、前述の各実施例を参照しながら本願を詳細に説明したが、当業者であれば、依然として前述の各実施例に記載の技術的解決手段を修正するか、又はそのうちの一部又はすべての技術的特徴に対して等価置換を行うことができ、これらの修正又は置換は、対応する技術的解決手段の本質を本願の各実施例の技術的解決手段の範囲から逸脱しないと理解すべきである。

【0093】

本願は２０２１年２月７日に提出された、出願番号が２０２１１０１７９８７５．２で、出願の名称が「特殊効果処理方法及び装置」という中国特許出願の優先権を主張し、その全ての内容は援用によって本願に組み合わせられる。

【手続補正3】

【補正対象書類名】図面

【補正対象項目名】図１０

【補正方法】変更

【補正の内容】

【図10】

【国際調査報告】