特表 2022-554338 音楽点を表示するための方法及び装置、並びに電子デバイス及び媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-12-28

(54)【発明の名称】音楽点を表示するための方法及び装置、並びに電子デバイス及び媒体

(51)【国際特許分類】

   G06F 3/0484 20220101AFI20221221BHJP

   G06F 16/78 20190101ALI20221221BHJP

【ＦＩ】

G06F3/0484

G06F16/78

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2022525690

(86)(22)【出願日】2020-11-03

(85)【翻訳文提出日】2022-06-27

(86)【国際出願番号】 CN2020126261

(87)【国際公開番号】W WO2021088830

(87)【国際公開日】2021-05-14

(31)【優先権主張番号】201911067475.1

(32)【優先日】2019-11-04

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＪＡＶＡ

２．ＳＭＡＬＬＴＡＬＫ

(71)【出願人】

【識別番号】520476341

【氏名又は名称】北京字節跳動網絡技術有限公司

【氏名又は名称原語表記】Ｂｅｉｊｉｎｇ Ｂｙｔｅｄａｎｃｅ Ｎｅｔｗｏｒｋ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ．

【住所又は居所原語表記】Ｒｏｏｍ Ｂ－００３５， ２／Ｆ， Ｎｏ．３ Ｂｕｉｌｄｉｎｇ， Ｎｏ．３０， Ｓｈｉｘｉｎｇ Ｒｏａｄ， Ｓｈｉｊｉｎｇｓｈａｎ Ｄｉｓｔｒｉｃｔ Ｂｅｉｊｉｎｇ １０００４１ Ｃｈｉｎａ

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】ワン，ヤン

(72)【発明者】

【氏名】リュウ，シュ

【テーマコード（参考）】

5B175

5E555

【Ｆターム（参考）】

5B175DA04

5B175FB02

5B175FB03

5B175JA02

5B175JC03

5E555AA26

5E555AA28

5E555BA01

5E555BA04

5E555BA73

5E555BA87

5E555BB01

5E555BB04

5E555BC18

5E555CA12

5E555CB12

5E555CC01

5E555DA01

5E555DB56

5E555DC09

5E555DD07

5E555EA23

5E555FA00

(57)【要約】

音楽点を表示するための方法及び装置、並びに電子デバイス及び媒体が開示されている。方法の特定の実施形態は、オーディオ素材を取得するステップと、オーディオ素材中の初期音楽点を分析するステップであって、初期音楽点は、オーディオ素材中のビート点及び／又はスタート点を備える、ステップと、ビデオクリッピングの操作インタフェース上で、クリップタイムライン上のオーディオ素材の位置及びオーディオ素材中のターゲット音楽点の位置にしたがって、クリップタイムライン上のターゲット音楽点の識別子を表示するステップであって、ターゲット音楽点は前記初期音楽点のうちの一部又は全部である、ステップと、を含む。本実施形態によれば、ユーザが音声素材を処理し、音楽点を作る時間が短縮され、ツールの柔軟性も、保証される。

【特許請求の範囲】

【請求項1】

音楽点を表示する方法であって、
オーディオ素材を取得するステップと、
前記オーディオ素材中の初期音楽点を分析するステップであって、前記初期音楽点は、前記オーディオ素材中のビート点及び／又はスタート点を備える、ステップと、
ビデオクリッピングの操作インタフェース上で、クリップタイムライン上の前記オーディオ素材の位置及び前記オーディオ素材中のターゲット音楽点の位置にしたがって、前記クリップタイムライン上の前記ターゲット音楽点の識別子を表示するステップであって、前記ターゲット音楽点は前記初期音楽点のうちの一部又は全部である、ステップと、
を含む、方法。

【請求項2】

前記方法はさらに、
前記ビデオクリッピングのためのビデオ素材を取得するステップであって、前記ビデオ素材は、画像素材及びビデオ素材のうちの少なくとも１つのアイテムを含む、ステップと、
前記ターゲット音楽点から整列された音楽点を決定するステップであって、前記整列された音楽点は、前記オーディオ素材を複数のオーディオクリップに分割するために使用される、ステップと、
前記操作インタフェース上の第１ユーザ操作を検出することに応答して、前記ビデオ素材を使用することにより前記オーディオ素材中の各オーディオクリップに対して１つのビデオクリップをそれぞれ生成して、複数のビデオクリップを取得する、ステップであって、前記オーディオクリップに対応するオーディオクリップ及びビデオクリップは、同じ継続時間を有する、ステップと、
前記クリップタイムライン上の前記オーディオ素材の前記位置及び前記オーディオ素材中の前記ビデオクリップに対応する前記オーディオクリップの位置にしたがって、前記クリップタイムライン上の前記ビデオクリップを表示するステップと、
を含む、請求項１記載の方法。

【請求項3】

前記ターゲット音楽点から前記整列された音楽点を決定するステップは、
前記ビデオ素材のうちのビデオ素材数にしたがって前記整列された音楽点の第１ターゲット数を決定するステップと、
ハイからローまでの音楽点の優先度の順序及び／又は前記オーディオ素材中に出現する前記音楽点の瞬間の順序にしたがって、前記整列された音楽点として前記ターゲット音楽点から音楽点の第１ターゲット数を選択するステップであって、一次ストレスビート点の優先度は二次ストレスビート点の優先度よりも高く、前記二次ストレスビート点の優先度はアクセント点の優先度より高い、ステップと、を含む、
請求項２記載の方法。

【請求項4】

前記ビデオ素材のうちのビデオ素材数にしたがって前記整列された音楽点の第１ターゲット数を決定するステップは、
前記ビデオ素材のうちの前記ビデオ素材数が前記複数のオーディオクリップの数より少ないことに応答して、前記ビデオ素材数にしたがって、前記複数のオーディのクリップから、前記ビデオ素材数に等しいオーディオクリップ数を有するオーディオクリップを決定するステップと、
前記オーディオクリップ数にしたがって、前記整列された音楽点の第１ターゲット数を決定するステップと、を含む、
請求項３記載の方法。

【請求項5】

前記ターゲット音楽点から前記整列された音楽点を決定するステップは、
前記ビデオ素材のビデオ素材数が前記複数のオーディオクリップの数より大きいことに応答して、前記整列された音楽点として前記ターゲット音楽点及び音楽点の第２ターゲット数を決定するステップであって、前記第２ターゲット数は、前記複数のオーディオクリップの数と前記ビデオ素材数との間の差異にしたがって決定される、ステップを含む、
請求項２記載の方法。

【請求項6】

前記ビデオ素材を使用することにより前記オーディオ素材中の各オーディオクリップに対して１つのビデオクリップをそれぞれ生成して、複数のビデオクリップを取得する、ステップは、
前記ビデオ素材の継続時間にしたがって前記ビデオ素材に対応する前記オーディオクリップを決定するステップであって、音楽クリップに対応する前記ビデオ素材の長さは、前記音楽クリップの長さ以上ある、ステップと、
ビデオ素材を使用することによって前記オーディオクリップに対して１つのビデオクリップを生成するステップと、を含む、
請求項２記載の方法。

【請求項7】

前記ビデオ素材を使用することにより前記オーディオ素材中の各オーディオクリップに対して１つのビデオクリップをそれぞれ生成して、複数のビデオクリップを取得する、ステップは、
前記ビデオ素材に対応する音楽クリップの継続時間より短いビデオ素材の継続時間に応答して、前記ビデオ素材の再生スピードを調整し、前記音楽クリップの継続時間に等しい継続時間を有するビデオクリップを取得する、ステップ、を含む
請求項２記載の方法。

【請求項8】

前記方法はさらに、
前記操作インタフェース中の第１ビデオクリップ上の第２ユーザ操作を検出することに応答して、前記第１ビデオクリップに対応する前記ビデオ素材に対する調整インタフェースを表示するステップと、
前記ビデオ素材の前記調整インタフェース上の前記ビデオ素材への手動クリッピング操作に応答して、前記ビデオ素材中の前記手動クリッピング操作によって選択されたクリッピング間隔を決定するステップと、
前記クリッピング間隔にしたがって、第２ビデオクリップとして前記ビデオ素材から素材をクリッピングするステップと、
を含む、請求項２記載の方法。

【請求項9】

前記オーディオ素材中の初期音楽点を分析するステップは、
音楽表示インタフェース上の第１制御部への第３ユーザ操作を検出することに応答して、前記初期音楽点として前記オーディオ素材中の一次ストレスビート点を決定するステップであって、前記操作インタフェース上の前記オーディオ素材への選択操作を検出することに応答して、前記音楽表示インタフェースが表示される、ステップと、
前記音楽表示インタフェース上の第２制御部への第４ユーザ操作を検出することに応答して、前記初期音楽点として前記オーディオ素材中のビート点を決定するステップと、
音楽表示インタフェース上の第３制御部への第５ユーザ操作を検出することに応答して、前記初期音楽点として前記オーディオ素材中のアクセント点を決定するステップと、を含む、
請求項１乃至８いずれか１項記載の方法。

【請求項10】

前記方法はさらに、
前記操作インタフェース上の第３ユーザ操作を検出することに応答して、前記初期音楽点から前記オーディオ素材のターゲット音楽点を決定するステップであって、前記第３ユーザ操作は、音楽点の追加操作及び音楽点の削除操作のうちの少なくとも１つを含む、ステップ
を含む、請求項１乃至８いずれか１項記載の方法。

【請求項11】

ビデオクリッピングの操作インタフェース上で、クリップタイムライン上の前記オーディオ素材の位置及び前記オーディオ素材中のターゲット音楽点の位置にしたがって、前記クリップタイムライン上の前記ターゲット音楽点の識別子を表示するステップは、
前記クリップタイムライン上で前記オーディオ素材のオーディオ波形を表示するステップと、
前記オーディオ波形の対応する位置内の前記ターゲット音楽点の識別子を表示するステップと、を含む、
請求項１乃至８いずれか１項記載の方法。

【請求項12】

音楽点を表示する装置であって、
オーディオ素材を取得するように構成された取得ユニットと、
前記オーディオ素材中の初期音楽点を分析するように構成された分析ユニットであって、前記初期音楽点は、前記オーディオ素材中のビート点及び／又はスタート点を備える、分析ユニットと、
ビデオクリッピングの操作インタフェース上で、クリップタイムライン上の前記オーディオ素材の位置及び前記オーディオ素材中のターゲット音楽点の位置にしたがって、前記クリップタイムライン上の前記ターゲット音楽点の識別子を表示するように構成された表示ユニットであって、前記ターゲット音楽点は前記初期音楽点のうちの一部又は全部である、表示ユニットと、
を備える装置。

【請求項13】

電子デバイスであって、
１つ以上のプロセッサと、
１つ以上のプログラムが保存された保存装置であって、前記１つ以上のプロセッサによって実行されるときに、前記１つ以上のプログラムは前記１つ以上のプロセッサに請求項１乃至１１いずれか１項による方法を実行させる、保存装置と、
を備える電子デバイス。

【請求項14】

コンピュータプログラムが保存されたコンピュータ可読媒体であって、
前記プログラムは、プロセッサによって実行されるときに、請求項１乃至１１いずれか１項による方法を実行する、
コンピュータ可読媒体。

【請求項15】

プログラムコードを有するコンピュータプログラムであって、
コンピュータが前記コンピュータプログラムを実行するときに、前記プログラムコードは請求項１乃至１１いずれか１項による方法を実行する、
コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本出願は、２０１９年１１月４日に中国国家知識産権局に出願された「Ｍｅｔｈｏｄ ａｎｄ Ａｐｐａｒａｔｕｓ ｆｏｒ Ｄｉｓｐｌａｙｉｎｇ Ｍｕｓｉｃ ｐｏｉｎｔｓ， Ｅｌｅｃｔｒｏｎｉｃ Ｄｅｖｉｃｅ， ａｎｄ Ｍｅｄｉｕｍ（音楽点を表示するための方法及び装置、並びに電子デバイス及び媒体）」と題する中国特許出願第２０１９１１０６７４７５．１号に基づく優先権を主張し、その開示は、その全体が参照により本明細書に組み込まれる。

【0002】

技術分野
本開示は、コンピュータ技術の分野に関し、より詳細には、音楽点を表示するための方法及び装置、並びに電子デバイス及び媒体に関する。

【背景技術】

【0003】

マルチメディア技術の発達に伴い、音楽処理アプリケーションが次々と登場し、ユーザの音楽処理アプリケーションに対する要求も日々増加している。現在、ほとんどの音楽処理アプリケーションは、ユーザに音楽の中の音楽点をマーキングすることを要求しているが、ほとんどのユーザは、たとえユーザが音楽点を聞くことができたとしても、多くの時間を要し、音楽点を聞くことができない。

【発明の概要】

【0004】

本開示の目的は、音楽点、電子デバイス、及び媒体を表示する方法及び装置を提供して、前述の背景セクションで述べたような技術的問題を解決することである。

【0005】

第１の態様では、本開示は、音楽点（ｍｕｓｉｃ ｐｏｉｎｔｓ）を表示するための方法を開示しており、この方法は、オーディオ素材を取得するステップと、オーディオ素材中の初期音楽点を分析するステップと、ビデオクリッピングの操作インタフェース上で、クリップタイムライン上のオーディオ素材の位置及びオーディオ素材中のターゲット音楽点の位置にしたがって、クリップタイムライン上のターゲット音楽点の識別子を表示するステップと、を含む。初期音楽点は、オーディオ素材中のビート点及び／又はスタート点を備え、ターゲット音楽点は初期音楽点のうちの一部又は全部である。

【0006】

いくつかの実施形態では、方法はさらに、ビデオクリッピングのためのビデオ素材を取得するステップと、上記のターゲット音楽点から整列された音楽点を決定するステップと、上記の操作インタフェース上の第１ユーザ操作を検出することに応答して、上記のビデオ素材を使用することにより上記のオーディオ素材中の各オーディオクリップに対して１つのビデオクリップをそれぞれ生成して、複数のビデオクリップを取得する、ステップと、クリップタイムライン上の上記のオーディオ素材の位置及び上記のオーディオ素材中の上記のビデオクリップに対応するオーディオクリップの位置にしたがって、上記のクリップタイムライン上の上記のビデオクリップを表示するステップと、を含む。ビデオ素材は、以下のアイテムのうちの少なくとも１つを含む：画像素材及びビデオ素材。整列された音楽点は、オーディオ素材を複数のオーディオクリップに分割するために使用される。相互に対応するオーディオクリップ及びビデオクリップは、同じ継続時間又は期間（ｄｕｒａｔｉｏｎ）を有する。

【0007】

いくつかの実施形態では、ターゲット音楽点から整列された音楽点を決定するステップは、ビデオ素材のうちのビデオ素材数が複数のオーディオクリップの数より少ないことに応答して、上記のビデオ素材数にしたがって、複数のオーディオクリップから、ビデオ素材数に等しいオーディオクリップ数を有するオーディオクリップを決定するステップと、オーディオクリップ数にしたがって、整列された音楽点の第１ターゲット数を決定するステップと、を含む。

【0008】

いくつかの実施形態では、オーディオクリップ数にしたがって、整列された音楽点の第１ターゲット数を決定するステップは、ビデオ素材数にしたがってビデオ素材数に対応するオーディオクリップ数を決定するステップと、オーディオクリップ数にしたがって、整列された音楽点の第１ターゲット数を決定するステップと、ハイからローまでの音楽点の優先度の順序及び／又はオーディオ素材中に出現する音楽点の瞬間の順序（ｔｈｅ ｏｒｄｅｒ ｏｆ ｍｏｍｅｎｔｓ ｏｆ ｔｈｅ ｍｕｓｉｃ ｐｏｉｎｔｓ ａｐｐｅａｒｉｎｇ ｉｎ ｔｈｅ ａｕｄｉｏ ｍａｔｅｒｉａｌ）にしたがって、整列された音楽点としてターゲット音楽点から音楽点の第１ターゲット数を選択するステップと、を含む。一次ストレスビート点の優先度は二次ストレスビート点の優先度より高く、二次ストレスビート点の優先度はアクセント点の優先度より高い。

【0009】

いくつかの実施形態では、ターゲット音楽点から整列された音楽点を決定するステップは、ビデオ素材のうちのビデオ素材数が複数のオーディオクリップの数より大きいことに応答して、整列された音楽点としてターゲット音楽点及び音楽点の第２ターゲット数を決定するステップを含む。第２ターゲット数は、複数のオーディオクリップの数とビデオ素材数との間の差異にしたがって決定される。

【0010】

いくつかの実施形態では、ビデオ素材を使用することにより上記のオーディオ素材中の各オーディオクリップに対して１つのビデオクリップをそれぞれ生成して、複数のビデオクリップを取得する、ステップは、ビデオ素材の継続時間にしたがってビデオ素材に対応するオーディオクリップを決定するステップと、ビデオ素材を使用することによって前記オーディオクリップに対して１つのビデオクリップを生成するステップと、を含む。音楽クリップ又はオーディオクリップに対応するビデオ素材の長さは、音楽クリップ又はオーディオクリップの長さ以上ある。

【0011】

いくつかの実施形態では、上記のビデオ素材を使用することにより上記のオーディオ素材中の各オーディオクリップに対して１つのビデオクリップをそれぞれ生成して、複数のビデオクリップを取得する、ステップは、上記のビデオ素材に対応する音楽クリップ又はオーディオクリップの継続時間より短いビデオ素材の継続時間に応答して、上記のビデオ素材の再生スピードを調整して、音楽クリップ又はオーディオクリップの継続時間に等しい継続時間を有するビデオクリップを取得する、ステップ、を含む。

【0012】

いくつかの実施形態では、上記の方法はさらに、操作インタフェース中の第１ビデオクリップ上の第２ユーザ操作を検出することに応答して、第１ビデオクリップに対応するビデオ素材に対する調整インタフェースを表示するステップと、決定すること、ビデオ素材の前記調整インタフェース上の前記ビデオ素材への手動クリッピング操作に応答して、ビデオ素材中の手動クリッピング操作によって選択されたクリッピング間隔を決定するステップと、クリッピング間隔にしたがって、第２ビデオクリップとしてビデオ素材から素材をクリッピングするステップと、を含む。

【0013】

いくつかの実施形態では、オーディオ素材中の初期音楽点を分析するステップは、音楽表示インタフェースの操作インタフェース上の第１制御部への第３ユーザ操作を検出することに応答して、初期音楽点としてオーディオ素材中の一次ストレスビート点を決定するステップと、音楽表示インタフェース上の第２制御部への第４ユーザ操作を検出することに応答して、初期音楽点としてオーディオ素材中のビート点を決定するステップと、音楽表示インタフェース上の第３制御部への第５ユーザ操作を検出することに応答して、初期音楽点としてオーディオ素材中のアクセント点を決定するステップと、を含む。音楽表示インタフェースは操作インタフェース上の前記オーディオ素材への選択操作を検出することに応答して表示される。

【0014】

いくつかの実施形態では、上記の方法はさらに、操作インタフェース上の第３ユーザ操作を検出することに応答して、初期音楽点からオーディオ素材のターゲット音楽点を決定するステップを含む。第３ユーザ操作は、以下のアイテムのうちの少なくとも１つを含む：音楽点の追加操作（ａｄｄ ｏｐｅｒａｔｉｏｎ）及び音楽点の削除操作（ｄｅｌｅｔｅ ｏｐｅｒａｔｉｏｎ）。

【0015】

いくつかの実施形態では、ビデオクリッピングの操作インタフェース上で、クリップタイムライン上のオーディオ素材の位置及びオーディオ素材中のターゲット音楽点の位置にしたがって、クリップタイムライン上のターゲット音楽点の識別子を表示するステップは、クリップタイムライン上でオーディオ素材のオーディオ波形を表示するステップと、オーディオ波形の対応する位置内の前記ターゲット音楽点の識別子を表示するステップと、を含む。

【0016】

第２の態様において、本開示のいくつかの実施形態は、音楽点を表示する装置を提供し、装置は、取得ユニットと、分析ユニットと、表示ユニットと、を備える。取得ユニットは、オーディオ素材を取得するように構成されている。分析ユニットは、オーディオ素材中の初期音楽点を分析するように構成されている。初期音楽点は、オーディオ素材中のビート点及び／又はスタート点を含む。表示ユニットは、ビデオクリッピングの操作インタフェース上で、クリップタイムライン上のオーディオ素材の位置及びオーディオ素材中のターゲット音楽点の位置にしたがって、クリップタイムライン上のターゲット音楽点の識別子を表示するように構成されている。ターゲット音楽点は前記初期音楽点のうちの一部又は全部である。

【0017】

いくつかの実施形態では、上記の装置はさらに、第１取得ユニットと、決定ユニットと、生成ユニットと、第１表示ユニットと、を備える。第１取得ユニットは、ビデオクリッピングのためのビデオ素材を取得するように構成されている。ビデオ素材は以下のアイテムのうちの少なくとも１つを含む：画像素材及びビデオ素材。決定ユニットは、上記のターゲット音楽点から整列された音楽点を決定するように構成されている。整列された音楽点は、オーディオ素材を複数のオーディオクリップに分割するために使用される。生成ユニットは、操作インタフェース上の第１ユーザ操作を検出することに応答して、ビデオ素材を使用することによりオーディオ素材中の各オーディオクリップに対して１つのビデオクリップをそれぞれ生成して、複数のビデオクリップを取得する、ように構成されている。オーディオクリップ及びオーディオクリップに対応するビデオクリップは、同じ継続時間を有する、ステップと、第１表示ユニットは、クリップタイムライン上のオーディオ素材の位置及びオーディオ素材中のビデオクリップに対応するオーディオクリップの位置にしたがって、クリップタイムライン上のビデオクリップを表示するように構成されている。

【0018】

いくつかの実施形態では、装置の決定ユニットはさらに第１決定サブユニットと、第２の決定ユニットと、を備える。第１決定サブユニットは、ビデオ素材のうちのビデオ素材数が複数のオーディオクリップの数より少ないことに応答して、ビデオ素材数にしたがって、複数のオーディオクリップから、ビデオ素材数に等しいオーディオクリップ数を有するオーディオクリップを決定するように構成されている。第２決定ユニットは、オーディオクリップ数にしたがって、整列された音楽点の第１ターゲット数を決定するように構成されている。

【0019】

いくつかの実施形態では、上記の装置の決定ユニットの第２の決定ユニットはさらに、ビデオ素材数にしたがって上記のビデオ素材数に対応するオーディオクリップ数を決定し、オーディオクリップ数にしたがって、整列された音楽点の第１ターゲット数を決定し、ハイからローまでの音楽点の優先度の順序及び／又はオーディオ素材中に出現する音楽点の瞬間の順序にしたがって、整列された音楽点としてターゲット音楽点から音楽点の第１ターゲット数を選択する、ように構成されている。一次ストレスビート点の優先度は二次ストレスビート点の優先度よりも高く、二次ストレスビート点の優先度はアクセント点の優先度より高い。

【0020】

いくつかの実施形態では、上記の装置の決定ユニットはさらに、ビデオ素材のうちのビデオ素材数が複数のオーディオクリップの数より大きいことに応答して、整列された音楽点としてターゲット音楽点及び音楽点の第１数を決定するように構成されている。第１数は、複数のオーディオクリップの数とビデオ素材数との間の差異にしたがって決定される。

【0021】

いくつかの実施形態では、装置の生成ユニットはさらに、ビデオ素材の継続時間にしたがってビデオ素材に対応するオーディオクリップを決定し、ビデオ素材を使用することによってオーディオクリップに対して１つのビデオクリップを生成する、ように構成されている。音楽クリップ又はオーディオクリップに対応するビデオ素材の長さは、音楽クリップ又はオーディオクリップの長さ以上ある。

【0022】

いくつかの実施形態では、装置の生成ユニットはさらに、ビデオ素材に対応する音楽クリップ又はオーディオクリップの継続時間より短いビデオ素材の継続時間に応答して、ビデオ素材の再生スピードを調整して、音楽クリップ又はオーディオクリップの継続時間に等しい継続時間を有するビデオクリップを取得する、ように構成されている。

【0023】

いくつかの実施形態では、装置はさらに、操作インタフェース中の第１ビデオクリップ上の第２ユーザ操作を検出することに応答して、第１ビデオクリップに対応するビデオ素材に対する調整インタフェースを表示し、ビデオ素材の調整インタフェース上のビデオ素材への手動クリッピング操作に応答して、ビデオ素材中の手動クリッピング操作によって選択されたクリッピング間隔を決定し、クリッピング間隔にしたがって、第２ビデオクリップとしてビデオ素材から素材をクリッピングする、ように構成されている。

【0024】

いくつかの実施形態では、装置の分析ユニットはさらに、操作インタフェース上の第１制御部への第３ユーザ操作を検出することに応答して、初期音楽点としてオーディオ素材中の一次ストレスビート点を決定し、操作インタフェース上の第２制御部への第４ユーザ操作を検出することに応答して、初期音楽点としてオーディオ素材中のビート点を決定し、操作インタフェース上の第３制御部への第５ユーザ操作を検出することに応答して、初期音楽点としてオーディオ素材中のアクセント点を決定する、ように構成されている。

【0025】

いくつかの実施形態では、上記の装置はさらに、操作インタフェース上の第３ユーザ操作を検出することに応答して、初期音楽点からオーディオ素材のターゲット音楽点を決定するように構成されている。第３ユーザ操作は、以下のアイテムのうちの少なくとも１つを含む：音楽点の追加操作及び音楽点の削除操作。

【0026】

いくつかの実施形態では、装置の表示ユニットはさらに、クリップタイムライン上でオーディオ素材のオーディオ波形を表示し、オーディオ波形の対応する位置内のターゲット音楽点の識別子を表示する、ように構成されている。

【0027】

第３態様では、本開示のいくつかの実施形態は、電子デバイスを提供し、電子デバイスは、１つ以上のプロセッサと、１つ以上のプログラムが保存された保存装置と、を備える。１つ以上のプログラムは、１つ以上のプロセッサによって実行されるときに、１つ以上のプロセッサに第１態様による方法のいずれかを実行させる。

【0028】

第４態様では、本開示のいくつかの実施形態は、コンピュータプログラムが保存されたコンピュータ可読媒体を提供する。プログラムは、プロセッサによって実行されると、第１態様による方法のいずれかを実行する。

【0029】

第５態様では、本開示のいくつかの実施形態は、プログラムコードを含むコンピュータプログラムを提供する。コンピュータがコンピュータプログラムを実行するときに、プログラムコードは第１態様による方法のいずれかを実行する。

【0030】

本開示の上述の各実施形態の一実施形態は、オーディオ素材のビート及びメロディを分析することによって、音楽点を決定し、クリップタイムライン上に同じ音楽点を表示して、ユーザがオーディオ素材上の音楽点に自身でマーキングしなくてもよくなる。そうすると、ユーザは、マーキングされた音楽点にしたがってビデオクリッピング操作を実行することができ、例えば、表示された音楽点にしたがってビデオクリップのスイッチング点を選択することができる。従って、ユーザ操作はより便利であり、ツールの柔軟性も保証される。

【図面の簡単な説明】

【0031】

【図1】図１は、本開示のいくつかの実施形態による音楽点を表示する方法のアプリケーションシナリオの概略図である。

【図2A】図２Ａは、本開示による音楽点を表示する方法のいくつかの実施形態のフローチャートである。

【図2B】図２Ｂは、本開示のいくつかの実施形態による制御部を表示するためのいくつかのアプリケーションシナリオの概略図である。

【図2C】図２Ｃは、本開示のいくつかの実施形態による音楽点を表示するためのいくつかのアプリケーションシナリオの概略図である。

【図3A】図３Ａ及び図３Ｂは、本開示のいくつかの実施形態による音楽点を表示する方法の他のアプリケーションシナリオの概略図である。

【図3B】図３Ａ及び図３Ｂは、本開示のいくつかの実施形態による音楽点を表示する方法の他のアプリケーションシナリオの概略図である。

【図4A】図４Ａは、本開示による音楽点を表示する方法のいくつかの他の実施形態のフローチャートである。

【図4B】図４Ｂ及び図４Ｃは、本開示のいくつかの実施形態によるビデオクリップを調整するためのいくつかのアプリケーションシナリオの概略図である。

【図4C】図４Ｂ及び図４Ｃは、本開示のいくつかの実施形態によるビデオクリップを調整するためのいくつかのアプリケーションシナリオの概略図である。

【図5】図５は、本開示による音楽点を表示するための装置のいくつかの実施形態の概略構造図である。

【図6】図６は、本開示のいくつかの実施形態を実施するのに適した電子デバイスの構造的な概略図である。

【発明を実施するための形態】

【0032】

本開示の実施形態は、添付の図面を参照して、以下により詳細に説明される。本開示の特定の実施形態が図面に示されているが、本開示は、様々な形態で実施することができ、本明細書に記載された実施形態に限定されるものと解釈されるべきではないことは理解されるべきである。むしろ、これらの実施形態は、本開示の全体的かつ完全な理解のために提供される。本開示の図面及び実施形態は、例示的な目的のためのものに過ぎず、本開示の保護範囲を制限することを意図するものではないことを理解されたい。

【0033】

なお、図面には、説明の便宜上、当該発明に係る部分のみを示していることに留意する。本開示の実施形態及び実施形態の特徴は、矛盾することなく互いに組み合わされ得る。

【0034】

なお、本開示で言及した「第１の」及び「第２の」のような概念は、異なる装置、モジュール又はユニットを区別するためにのみ使用され、これらの装置、モジュール又はユニットによって実行される機能の順序又はそれらの相互依存性を制限するために使用されるものではない。

【0035】

本開示において言及されているような「１つの（ａ）」及び「複数（ａ ｐｌｕｒａｌｉｔｙ）」の修飾は、限定的ではなく例示的なものであり、文脈において別段の明確な指示がない限り、それらは「１つ以上」として理解されるべきであることを、当業者が理解すべきであることに留意されたい。

【0036】

本開示の実施形態に従った複数の装置間で交換されるメッセージ又は情報の名称は、例示的な目的のためのものに過ぎず、これらのメッセージ又は情報の保護範囲を制限するものではない。

【0037】

本開示は、添付の図面を参照し、実施形態に関連して、以下に詳細に説明される。

【0038】

図１は、本開示のいくつかの実施形態による音楽点を表示する方法のアプリケーションシナリオの概略図である。図１のアプリケーションシナリオに示すように、まず、端末デバイス１０１（図１では携帯電話として図示されている）は、オーディオ素材１０１１を取得する。オーディオ素材１０１１は、アプリケーションデフォルトのオーディオであってもよく、ユーザが選択するオーディオであってもよい。端末デバイス１０１は、オーディオ素材１０１１を分析し、オーディオ素材１０１１内の初期音楽点１０１２～１０１４を得る。端末デバイス１０１は、音楽点１０１２に対する対応する音楽点識別子１０１２１を生成する。端末デバイス１０１は、音楽点１０１３に対する対応する音楽点識別子１０１３１を生成する。端末デバイス１０１は、音楽点１０１４に対する対応する音楽点識別子１０１４１を生成する。端末デバイス１０１は、ビデオクリッピングのために、操作インタフェース１０３上のオーディオ素材１０１１のクリップタイムライン１０２に、音楽点識別子１０１２１、音楽点識別子１０１３１、及び音楽点識別子１０１４１を表示する。

【0039】

音楽点を表示する方法は、端末デバイス１０１によって実行されてもよく、又は他のデバイスによって実行されてもよく、又は種々のソフトウェアプログラムによって実行されてもよいことが理解されよう。端末デバイス１０１は、例えば、スマートフォン、タブレットパーソナルコンピュータ、電子書籍リーダ、ラップトップ、デスクトップ等を含むが、これらに限定されない、表示画面を有する種々の電子デバイスであってもよい。さらに、実行体は、サーバ、ソフトウェアなどとして具体化することもできる。なお、実行体がソフトウェアの場合、上記の電子デバイスに搭載してもよい。これは、例えば、分散サービスを供給するための複数のソフトウェア又はソフトウェアモジュールとして実装されてもよく、又は、本明細書では特に限定されない単一個のソフトウェア又はソフトウェアモジュールとして実装されてもよい。

【0040】

図１におけるスマートフォンの数は、単に例示的なものであることを理解されたい。実装のニーズに応じて、任意の数のスマートフォンが存在する可能性がある。

【0041】

ビデオクリッピングのプロセスにおいて、ユーザはビデオクリップ間の切り替え点を決定する必要があり、音楽をビデオと協調させるために、通常、ビート点及びメロディ点等の音楽点をビデオクリップの切り替え点として使用することができる。これは、ユーザが音楽点を見つけるために、ユーザ自身が音楽を聴くことを必要とする。しかしながら、多くのユーザが音楽点を自ら聴くことは困難であり、音楽点を聴くことができたとしても、音楽点を探すために音楽を繰り返し聴くことは非常に時間と労力がかかる。ビデオクリッピングの速度を改善し、ユーザの時間を節約するために、図２Ａを参照されたい。図２Ａは、本開示による音楽点を表示する方法のいくつかの実施形態のフロー２００を示す。音楽点の表示方法には、以下のステップが含まれる：

【0042】

ステップ２０１：オーディオ素材を取得する。

【0043】

いくつかの実施形態では、、音楽点を表示する方法の実行体（例えば、図１に示す端末デバイス１０１）は、有線接続又は無線接続を介してオーディオ素材を取得することができる。上述のオーディオ素材は、ユーザによってローカルに記憶された音楽又はネットワーク上の音楽であることができる。

【0044】

ステップ２０２：オーディオ素材中の初期音楽点を分析する。

【0045】

いくつかの実施形態では、実行体は、オーディオ素材の初期音楽点を決定することができる。ここで、初期音楽点は、オーディオ素材中のビート点及び／又はスタート点を含む。

【0046】

例えば、初期音楽点が、設定された音楽性が変更されるオーディオ素材内の位置にある場合である。音楽性を変更する位置には、ビートを変更する位置、メロディを変更する位置などが含まれる。これに基づいて、初期音楽点は、以下のモードで決定することができる：実行体は、オーディオ素材を分析し、その中のビート点及び音符開始点（ｎｏｔｅ ｓｔａｒｔｉｎｇ ｐｏｉｎｔ）を決定することができる。ビート点はビートが変更される位置であり、音符開始点はメロディが変更される位置である。具体的には、一方では、ディープラーニングに基づくビート解析アルゴリズムを用いて、オーディオ素材を解析して、オーディオ素材内のビート点と、ビート点が位置するタイムスタンプとを得ることができ、他方では、オーディオ素材上で短時間スペクトル解析を実行し、オーディオ素材内の音符開始点と、音符開始点が位置するタイムスタンプとを得ることができる。ここで、注目すべき出発点は、オンセット検出器によって得ることができる。その後、２つのモードで得られたビート点と音符開始点とを統一し、ビート点と音符開始点とを組み合わせて重複させて、それによって初期音楽点を得る。

【0047】

別の例として、図２Ｂに示すように、音楽表示インタフェース２１１上の第１制御部２１２上の第３ユーザ操作を検出することに応答して、初期音楽点としてオーディオ素材中の一次ストレスビート点を決定する。第１制御部２１２は、通常、オーディオ素材中の一次ストレスビートを決定するトリガに使用される。音楽表示インタフェースは操作インタフェース上の前記オーディオ素材への選択操作を検出することに応答して表示される。一次ストレスビートは通常、強いビートを指す。音楽では、ビートは、強いビートと弱いビートとに分類され、強いビートは通常、強い音楽的な強さを有するビートである。例えば４つの第４ビートにおいて、ビートの強さは、第１ビートは強いビート、第２ビートは弱いビート、第３ビートは２番目に強いビート、第４ビートは弱いビート、として表す。４つの第４ビートは、４分の１の音符をビートとして取り、各小節は４ビートの時間があります。第３ユーザ操作は、第１制御部２１２上のクリック操作を指す。音楽表示インタフェース２１１上の第２制御部２１３上の第４ユーザ操作を検出することに応答して、オーディオ素材中のビート点が初期音楽点として決定され、第２制御部２１３が通常、オーディオ素材中のビートの決定をトリガするために使用される。第４ユーザ操作は、第２制御部２１３上のユーザのクリック操作を参照することができる。音楽表示インタフェース２１１上の第３制御部２１４への第５ユーザ操作を検出することに応答して、初期音楽点としてオーディオ素材中のアクセント点を決定する。第３制御部２１４は、通常、オーディオ素材のアクセントを決定するトリガために使用される。アクセントは、音楽のより強い音を指し得る。アクセント点は、音符開始点でメロディが強くなる位置であり得、楽譜では、アクセントマークが付いたビートがあり、アクセントマークには、以下の項目の少なくとも１つが含まれる：「＞」及び「＾」。「＞」及び「＾」が同時に現れる場合は、「＾」は、より強いアクセントを示す。第５ユーザ操作は、第３制御部２１４上のユーザのクリック操作を指すことができる。

【0048】

ステップ２０３：ビデオクリッピングの操作インタフェース上で、クリップタイムライン上のオーディオ素材の位置及びオーディオ素材中のターゲット音楽点の位置にしたがって、クリップタイムライン上のターゲット音楽点の識別子を表示するステップ。

【0049】

いくつかの実施形態では、実行体は、ビデオクリッピングの操作インタフェース上で、クリップタイムライン上のオーディオ素材の位置及びオーディオ素材中のターゲット音楽点の位置にしたがって、クリップタイムライン上のターゲット音楽点の識別子を表示する。ターゲット音楽点は初期音楽点のうちの一部又は全部である。

【0050】

例えば、分析された初期音楽点は、全てターゲット音楽点として表示され得る。例えば、３つの初期音楽点、即ち、音楽点ａ、音楽点ｂ、及び音楽点ｃがあり；ターゲット音楽点は、上記のように、音楽点ａ、音楽点ｂ、及び音楽点ｃであり得る。

【0051】

他の実施例として、操作インタフェース上の第３ユーザ操作を検出することに応答して、表示のための初期音楽点からのターゲット音楽点が選択され得る。第３ユーザ操作は、以下のアイテムのうちの少なくとも１つを含む：音楽点の追加操作、及び音楽点の削除操作。例えば、音楽点ａ、音楽点ｂ、音楽点ｃの３つの初期音楽点があると仮定すると、ユーザが音楽点ｄを追加したときに、ターゲット音楽点は、上記のように、音楽点ａ、音楽点ｂ、音楽点ｃ、及び音楽点ｄとなり得る。別の実施例では、ユーザが音楽点ｂを削除する場合、ターゲット音楽点は音楽点ａと音楽点ｃであり得る。上述の識別子は、プリセットアイコン、例えば、三角形、円、星などであり得る。

【0052】

いくつかの実施形態のいくつかの任意の実装では、図２Ｃに示すように、オーディオ素材のオーディオ波形をクリップタイムライン２２５に表示し、ターゲット音楽点の識別子２２２～２２４をオーディオ波形の対応する位置に表示することができる。上述のオーディオ波形は、通常、波形図の形式で表示されるオーディオの画像を指す。上記画像上の対応する音楽点の位置によって、ターゲット音楽点の識別子が画像上に表示される。

【0053】

上述の例から分かるように、ユーザがオーディオ素材内の音楽点を手動で決定すると、多くの時間がかかり得る。オーディオ素材中の初期音楽点を分析することにより、音楽点の決定効率を向上させることができる。音楽点の識別子がクリップのタイムラインに表示され、ユーザが音楽点を選択しやすくなる。

【0054】

図３Ａ及び図３Ｂを参照すると、これらは、本開示のいくつかの実施形態による、音楽点を表示する方法の別の適用シナリオの概略図である。第１に、図３Ａの適用シナリオに示すように、ユーザは、端末デバイス３０１のアップロードページ３０１７上で複数のビデオ素材を選択し得る。例えば、画像３０１１、ビデオ３０１２、画像３０１３、画像３０１４は、アップロードページ３０１７に示されている。ユーザは、参照サイン３０１５及び参照サイン３０１８によって示される位置をクリックして、ピクチャ３０１１及びビデオ３０１２を選択する。ユーザは、「次へ」ボタン３０１６をクリックし、端末デバイス３０１は、選択された画像３０１１に基づいてビデオ素材３０４を生成し、ビデオ素材３０５としてビデオ３０１２を使用する。得られたビデオ素材３０２の数（図中に２として示されている）によって、整列された音楽点３０７は、ターゲット音楽点１０１２１、ターゲット音楽点１０１３１、及びターゲット音楽点１０１４１から決定される。一方、整列した音楽点３０７は、実際に音楽クリップＡと音楽クリップＢとにオーディオ素材を分割し得る。音楽クリップＡの継続時間と音楽クリップＢの継続時間とによって、ビデオ素材３０４とビデオ素材３０５とをそれぞれ処理して、音楽クリップＡと音楽クリップＢとにそれぞれ対応するビデオクリップ３０４１とビデオクリップ３０５１とを得る。その後、オーディオ素材内の音楽クリップＡ及び音楽クリップＢの位置によって、ビデオクリップ３０４１及びビデオクリップ３０５１を、ビデオクリッピングのために操作インタフェース３１３のクリップタイムライン３１２に表示し得る。

【0055】

音楽点を表示する方法は、端末デバイス３０１によって実行されてもよいし、他のデバイスによって実行されてもよいし、種々のソフトウェアプログラムによって実行されてもよいことが理解されよう。端末デバイス３０１は、例えば、スマートフォン、タブレットパーソナルコンピュータ、電子書籍リーダ、ラップトップ、デスクトップ等を含むが、これらに限定されない、表示画面を有する種々の電子デバイスであり得る。さらに、実行体は、サーバ、ソフトウェアなどとして具体化され得る。なお、実行体がソフトウェアの場合、上記の電子デバイスに搭載し得る。これは、例えば、分散サービスを供給するための複数個のソフトウェア又はソフトウェアモジュールとして実装されてもよく、又は、本明細書では特に限定されない単一ピースのソフトウェア又はソフトウェアモジュールとして実装され得る。

【0056】

図３Ａから図３Ｂまでのスマートフォンの数は、単に例示的なものであることが理解されるべきである。実装ニーズによって、任意の数のスマートフォンが存在し得る。

【0057】

図４Ａを引き続き参照すると、本開示による音楽点を表示する方法のいくつかの実施形態のフロー４００が図示される。音楽点の表示方法には、以下のステップが含まれる：

【0058】

ステップ４０１：オーディオ素材を取得するステップ。

【0059】

ステップ４０２：オーディオ素材中の初期音楽点を分析するステップ。

【0060】

ステップ４０３：ビデオクリッピングの操作インタフェース上で、クリップタイムライン上のオーディオ素材の位置及びオーディオ素材中のターゲット音楽点の位置にしたがって、クリップタイムライン上のターゲット音楽点の識別子を表示するステップ。

【0061】

いくつかの実施形態では、図２に対応するこれらの実施形態におけるステップ２０１～２０３は、ステップ４０１～４０３の特定の実施及びもたらされる技術的効果について参照されてもよく、ここでは詳細は繰り返されない。

【0062】

ステップ４０４：ビデオクリッピングのためのビデオ素材を取得するステップ。

【0063】

いくつかの実施形態では、上述の実行体は、まず、ビデオクリッピング用のビデオ素材を取得し、その後、オーディオ素材を取得し得る。
一方、上述の実行体は、まず、オーディオ素材を取得し、その後、ビデオクリッピング用のビデオ素材を取得することもできる。

【0064】

いくつかの実施形態では、上述の実行体は、有線接続又は無線接続を介してビデオクリッピングのためのビデオ素材を取得し得る。上述のビデオ素材は、以下のアイテムのうちの少なくとも１つを含む：ビデオ素材は画像素材及びビデオ素材。実施例において、上述の画像素材は、ユーザによってローカルに記憶された画像であってもよく、又はユーザによってインターネットからダウンロードされた画像であってもよい。上述のビデオ素材は、ユーザによってアップロードされたビデオ、ユーザによってローカルに記憶されたビデオ、又はユーザによってインターネットからダウンロードされたビデオであってもよい。

【0065】

ステップ４０５：ターゲット音楽点から整列された音楽点を決定するステップ。

【0066】

いくつかの実施形態では、実行体は、まず、ステップ２０３で決定されたオーディオ素材内のターゲット音楽点を取得し得る。その後、上述した実行体は、取得したそれぞれのターゲット音楽点から、アライメントされた音楽点のターゲット数を選択し得る。上述の整列した音楽点は、ターゲット音楽点の全てであってもよく、又はターゲット音楽点の一部であってもよい。ターゲット番号は、得られたビデオ素材の数によって決定され得る、又はオーディオ素材における強いビートの数によって決定されてもよく、又はユーザによって設定した数でもよい。上述の実行体は、決定された整列した音楽点に基づいて、複数のオーディオクリップを得るためにオーディオ素材を分割する。一実施例として、４つの整列した音楽点が決定される場合、上述したオーディオ素材は、５つの音楽クリップに分割される。

【0067】

実施例において、ビデオ素材のビデオ素材の数が複数のオーディオクリップの数より少ない場合、ビデオ素材の数と同じ数のオーディオクリップは、ビデオ素材の数によって、複数のオーディオクリップから決定され得；その後、オーディオクリップの数にしたがって、整列された音楽点の数が決定される。一実施例として、５つのビデオ素材が取得された場合、５つのオーディオクリップが必要であると判定され、したがって、整列した４つの音楽点が必要であると判定され得る。ここで、まず、上述の実行体は、ビデオ素材の数に応じて、ビデオ素材の数に対応するオーディオクリップの数を決定することができる。たとえば、ビデオ素材の数が５の場合、対応するオーディオクリップの数も５である。その後、オーディオクリップの数に応じて、整列した音楽点の第１ターゲット数が決定される。たとえば、オーディオクリップの数が５の場合、整列した音楽点の第１ターゲット数は４になるはずである。結局、ハイからローまでの音楽点の優先度の順序及び／又はオーディオ素材中に出現する音楽点の瞬間の順序にしたがって、音楽点の第１ターゲット数は、整列された音楽点としてターゲット音楽点から選択される。音楽位置の優先権は、プレセットされ得る。例えば、一次ストレスビート点の優先度は二次ストレスビート点の優先度よりも高くてもよく、二次ストレスビート点の優先度はアクセント点の優先度より高くてもよい。

【0068】

他の実施例として、ビデオ素材のビデオ素材数が複数のオーディオクリップの数より大きい場合、ターゲット音楽点及び音楽点の第２ターゲット数を整列された音楽点として決定し、実行体は、先ず、複数のオーディオクリップの数とビデオ素材数との間の差異を計算し得、その後、差異にしたがって第２ターゲット数の値を決定する。例えば、５つのビデオ素材が得られたが、３つのオーディオクリップしかない場合、５つのビデオ素材は、４つの整列した音楽点を必要とし、３つのオーディオクリップのみにしたがって、目下、整列した音楽点が２つのみであると判断され得、この場合、第２のターゲット数の値は２であると判断され得る。つまり、２つ以上の整列した音楽点を決定する必要がある。ここで整列された２つの音楽点は、ユーザによって手動で追加されてもよく、又はオーディオ素材から実行体によって選択された既存の２つの整列された音楽点以外の音楽ビート、例えば、既存のビート点間に挿入された中間ビートであってもよい。

【0069】

別の実施例として、前記ビデオ素材のビデオ素材数が前記複数のオーディオクリップの数より多い場合に、複数のオーディオクリップの数と同じ数のビデオ素材を選択してもよく、複数のオーディオクリップの数と同じ数のビデオ素材をビデオ素材から決定してもよい。例えば、選択は、ビデオ素材が取得される順序にしたがって実行されてもよい。次に、複数のオーディオクリップの数にしたがって、整列した音楽点の数が決定される。一実施例として、５つのビデオ素材と４つのオーディオクリップを取得する場合、４つのビデオ素材を選択することができ、４つのオーディオクリップにしたがって３つの整列した音楽点が必要であると判断することができる。

【0070】

ステップ４０６：操作インタフェース上の第１ユーザ操作を検出することに応答して、ビデオ素材を使用することによりオーディオ素材中の各オーディオクリップに対して１つのビデオクリップをそれぞれ生成して、複数のビデオクリップを取得する、ステップ。

【0071】

いくつかの実施形態では、操作インタフェース上の第１ユーザ操作を検出する場合、実行体は、ビデオ素材を使用することによりオーディオ素材中の各オーディオクリップに対して１つのビデオクリップをそれぞれ生成して、複数のビデオクリップを取得する。第１ユーザ操作は、通常、複数のオーディオクリップ及び複数のビデオクリップの整列をトリガするために使用される。

【0072】

一実施例として、オーディオクリップは、ビデオ素材の選択順序にしたがって整列されてもよい。例えば、ビデオ素材１、ビデオ素材２、及びビデオ素材３の３つのビデオ素材が存在する場合、ビデオ素材１は、最初にオーディオ素材に現れるオーディオクリップと整列されてもよい。また、オーディオクリップは、ビデオ素材の継続時間にしたがって整列されてもよい。例えば、最も長いビデオ素材は、最も長いオーディオクリップと整列される。

【0073】

オーディオ素材中の各オーディオクリップに対して、実行体は、ビデオ素材に基づいて、オーディオクリップのオーディオクリップと同じ継続時間を有する１つのビデオクリップを生成することができる。一実施例として、オーディオ素材が３つのオーディオクリップに分割され、３つのオーディオクリップの持続時間がそれぞれ１秒、２秒、及び３秒であると仮定すると、音楽クリップに対応するビデオクリップの持続時間は、それぞれ１秒、２秒、及び３秒であってもよい。

【0074】

一実施例として、上述の実行体は、１つのビデオ素材にしたがって複数のビデオクリップを生成することができる。例えば、実行体が１０秒のビデオ素材と８秒のオーディオ素材を取得したと仮定すると、実行体は、整列した音楽点にしたがってオーディオ素材を、それぞれ２秒、３秒、３秒の持続時間を有する３つのオーディオクリップに分割し、その後、実行体は、ビデオ素材から、それぞれ２秒、３秒、３秒の持続時間を有する３つの異なるビデオクリップをクリッピングすることができる。

【0075】

別の実施例として、上述の実行体は、ビデオ素材の継続時間にしたがって、ビデオ素材に対応するオーディオクリップを決定することもできる。音楽クリップ又はオーディオクリップに対応するビデオ素材の長さは、音楽クリップ又はオーディオクリップの長さ以上ある。ビデオ素材を使用することによってオーディオクリップに対して１つのビデオクリップを生成する。例えば、１つのオーディオクリップに対して１つのビデオクリップを生成するために１つのビデオ素材が使用され、ビデオ素材の継続時間がオーディオクリップの継続時間より長い場合、オーディオクリップの継続時間に等しい継続時間を有するビデオクリップは、元のビデオ素材から切り取られることができ、又は、元のビデオ素材の再生スピードは継続時間を短くするためにスピードアップされ、その後、変更されたスピードを有するビデオ素材はビデオクリップとして切り取られ（ｔａｋｅｎ）、その結果、ビデオクリップの継続時間は、オーディオクリップ継続時間に等しい。

【0076】

別の実施例として、ビデオ素材の継続時間がオーディオクリップの継続時間より短い場合、元のビデオ素材の再生スピードは継続時間を長くするためにスピードダウンされ、その後、変更されたスピードを有するビデオ素材はビデオクリップとして切り取られ、その結果、ビデオクリップの長さは、オーディオクリップの長さに等しい。ビデオ素材中の画像素材について、固定された継続時間、例えば３秒を有する１つのビデオ素材が、画像素材から生成され、その後、ビデオ素材が、音楽クリップのためのビデオクリップを生成するために使用され得ることが理解され得る。

【0077】

別の実施例として、図４Ｂに示すように、操作インタフェース４１１内の第１ビデオクリップ４１３上の第２ユーザ操作４１４を検出することに応答して、第１ビデオクリップ４１３に対応するビデオ素材４１９の調整インタフェース４１５が表示される。第１ビデオクリップ４１３は、通常、ユーザ操作が検出されるビデオクリップである。第２ユーザ操作４１４は、第１ビデオクリップ４１３に対応するビデオ素材４１９の調整インタフェース４１５に入るための、第１ビデオクリップ４１３へのユーザのクリック操作であり得る。ビデオ素材４１９の調整インタフェース４１５上のビデオ素材４１９への手動クリッピング操作に応答して、ビデオ素材４１９内の手動クリッピング操作４１８によって選択された参照サイン４１６と参照サイン４１７との間のクリッピング間隔が決定され、クリッピング間隔は、第１ビデオクリップ４１３に対応するオーディオクリップの継続時間にしたがって決定される。手動クリッピング操作４１８は、クリッピング間隔内のビデオクリップ４２０をユーザが必要とするものにするために、第１ビデオクリップ４１３に対応するビデオ素材４１９をスライドさせるユーザであってもよい。上述の実行体は、ビデオクリップ４２０を第１のビデオクリップ４１３の位置に整列することができる。クリッピング間隔にしたがって、第２ビデオクリップ４２０としてビデオ素材から素材をクリッピングする。クリッピング間隔内のビデオクリップは、第２ビデオクリップ４２０として切り取られる。

【0078】

ステップ４０７：クリップタイムライン上のオーディオ素材の位置及びオーディオ素材中のビデオクリップに対応するオーディオクリップの位置にしたがって、クリップタイムライン上のビデオクリップを表示するステップ。

【0079】

いくつかの実施形態では、上述の実行体は、クリップタイムライン上のオーディオ素材の位置及びオーディオ素材中のビデオクリップに対応するオーディオクリップの位置にしたがって、クリップタイムライン上のビデオクリップを表示する。一実施例として、オーディオ素材は、音楽点に応じて連続的に３つのクリップに分割することができ、例えば、クリップＡは、０秒から２秒までであり得、クリップＢは、２秒から５秒であり得、クリップＣは、５秒から１０秒であり得る。対応するビデオクリップは、それぞれクリップａ、クリップｂ、及びクリップｃである。次に、ビデオクリップの操作インタフェース上に、ビデオクリップａ、ｂ、及びｃが順番に表示される。

【0080】

一実施例として、ユーザがビデオクリップのビデオ境界をクリップのタイムライン上でドラッグする場合、及び、ビデオ境界がドラッグされる位置と特定の音楽点との間の距離が予め設定された閾値未満である場合、ビデオクリップのビデオ境界は、音楽点の位置として決定され得る。例えば、図４Ｃに示すように、ユーザがビデオクリップ４２１０のビデオ境界４２１２をインタフェース４２２に示す位置にドラッグすると、ビデオクリップ４２１０のビデオ境界４２１２は、音楽点４２１４の位置に自動的にスナップされ、ビデオクリップ４２１０は、対応するビデオクリップ４２１７を得ることができ、一方、ビデオクリップ４２１７は、対応するビデオ境界４２１６も有することができる。

【0081】

本開示のいくつかの実施形態で開示されている音楽点を表示する方法では、複数のビデオクリップ及び複数の音楽クリップが、取得されたビデオ素材及び決定されたターゲット音楽点にしたがって取得され、複数のビデオクリップが、操作インタフェース上に表示され、これにより、ユーザは、ビデオクリップの再生シーケンス及び再生時間を直感的に見ることができ、それにより、ユーザがビデオをクリッピングするスピードを向上させることができる。

【0082】

さらに、図５を参照すると、上述の各図におけるそれぞれの方法の実施形態として、本開示は、音楽点を表示するための装置のいくつかの実施形態を提供し、これらの装置の実施形態は、図２において上述した方法の実施形態に対応し、装置は、種々の電子デバイスに具体的に適用され得る。

【0083】

図５に示すように、いくつかの実施形態による音楽点を表示する装置５００は、取得ユニット５０１、分析ユニット５０２、及び表示ユニット５０３を含む。取得ユニット５０１は、オーディオ素材を取得するように構成され；分析ユニット５０２は、オーディオ素材内の初期音楽点を分析するように構成され、初期音楽点は、オーディオ素材内のビート点及び／又はノート開始点を含み；表示ユニット５０３は、ビデオクリッピングの操作インタフェース上で、クリップタイムライン上のオーディオ素材の位置及びオーディオ素材中のターゲット音楽点の位置にしたがって、クリップタイムライン上のターゲット音楽点の識別子を表示するように構成されており、ターゲット音楽点は初期音楽点のうちの一部又は全部である。

【0084】

いくつかの実施形態では、音楽点を表示するための装置５００はさらに、第１取得ユニットと、決定ユニットと、生成ユニットと、第１表示ユニットと、を備える。第１取得ユニットは、ビデオクリッピングのためのビデオ素材を取得するように構成されており、ビデオ素材は、以下のアイテムのうちの少なくとも１つを含む：画像素材及びビデオ素材。決定ユニットは、ターゲット音楽点から整列された音楽点を決定するように構成されている。整列された音楽点は、オーディオ素材を複数のオーディオクリップに分割するために使用される。生成ユニットは、操作インタフェース上の第１ユーザ操作を検出することに応答して、ビデオ素材を使用することによりオーディオ素材中の各オーディオクリップに対して１つのビデオクリップをそれぞれ生成して、複数のビデオクリップを取得する、ように構成されている。オーディオクリップ及びオーディオクリップに対応するビデオクリップは、同じ継続時間を有する。第１表示ユニットは、クリップタイムライン上のオーディオ素材の位置及びオーディオ素材中のクリップに対応するオーディオクリップの位置にしたがって、クリップタイムライン上のビデオクリップを表示するように構成されている。

【0085】

いくつかの実施形態では、音楽点を表示するための装置５００は：第１決定サブユニット及び第２決定サブユニットを備える。第１決定サブユニットは、ビデオ素材のうちのビデオ素材数が複数のオーディオクリップの数より少ないことに応答して、ビデオ素材数にしたがって、複数のオーディオクリップから、ビデオ素材数に等しいオーディオクリップ数を有するオーディオクリップを決定するように構成されている。第２決定ユニットは、オーディオクリップ数にしたがって、整列された音楽点の第１ターゲット数を決定するように構成されている。

【0086】

いくつかの実施形態では、音楽点を表示するための装置５００内の決定ユニット内の第２の決定ユニットはさらに、ビデオ素材数にしたがってビデオ素材数に対応するオーディオクリップ数を決定し、オーディオクリップ数にしたがって、整列された音楽点の第１ターゲット数を決定し、ハイからローまでの音楽点の優先度の順序及び／又はオーディオ素材中に出現する音楽点の瞬間の順序にしたがって、整列された音楽点としてターゲット音楽点から音楽点の第１ターゲット数を選択する、ように構成されている。一次ストレスビート点の優先度は二次ストレスビート点の優先度よりも高く、二次ストレスビート点の優先度はアクセント点の優先度より高い。

【0087】

いくつかの実施形態では、音楽点を表示するための装置５００内の決定ユニットはさらに、ビデオ素材のうちのビデオ素材数が複数のオーディオクリップの数より大きいことに応答して、整列された音楽点としてターゲット音楽点及び音楽点の第１数を決定するように構成されている。第１数は、複数のオーディオクリップの数とビデオ素材数との間の差異にしたがって決定される。

【0088】

いくつかの実施形態では、音楽点を表示するための装置５００内の生成ユニットはさらに、ビデオ素材の継続時間にしたがってビデオ素材に対応するオーディオクリップを決定し、ビデオ素材を使用することによって上述のオーディオクリップに対して１つのビデオクリップを生成する、ように構成されている。音楽クリップ又はオーディオクリップに対応するビデオ素材の長さは、音楽クリップ又はオーディオクリップの長さ以上である。

【0089】

いくつかの実施形態では、音楽点を表示するための装置５００内の生成ユニットはさらに、ビデオ素材に対応する音楽クリップ又はオーディオクリップの継続時間より短いビデオ素材の継続時間に応答して、音楽クリップの継続時間に等しい継続時間を有するビデオクリップを取得するためのビデオ素材の再生スピードを調整するように構成されている。

【0090】

いくつかの実施形態では、音楽点を表示するための装置５００はさらに、操作インタフェース中の第１ビデオクリップ上の第２ユーザ操作を検出することに応答して、第１ビデオクリップに対応するビデオ素材に対する調整インタフェースを表示し、ビデオ素材の前記調整インタフェース上の前記ビデオ素材への手動クリッピング操作に応答して、ビデオ素材中の手動クリッピング操作によって選択されたクリッピング間隔を決定し、クリッピング間隔にしたがって、第２ビデオクリップとしてビデオ素材から素材をクリッピングする、ように構成されている。

【0091】

いくつかの実施形態では、音楽点を表示するための装置５００内の分析ユニット５０２はさらに、操作インタフェース上の第１制御部への第３ユーザ操作を検出することに応答して、初期音楽点としてオーディオ素材中の一次ストレスビート点を決定し、操作インタフェース上の第２制御部への第４ユーザ操作を検出することに応答して、初期音楽点としてオーディオ素材中のビート点を決定し、作インタフェース上の第３制御部への第５ユーザ操作を検出することに応答して、初期音楽点としてオーディオ素材中のアクセント点を決定する、ように構成されている。

【0092】

いくつかの実施形態では、音楽点を表示するための装置５００はさらに、操作インタフェース上の第３ユーザ操作を検出することに応答して、初期音楽点からオーディオ素材のターゲット音楽点を決定するように構成されている。上述の第３ユーザ操作は、以下の項目のうちの少なくとも１つを含む：音楽点の追加操作、及び音楽点の削除操作。

【0093】

いくつかの実施形態では、音楽点を表示するための装置５００内の表示ユニット５０３はさらに、クリップタイムライン上でオーディオ素材のオーディオ波形を表示し、オーディオ波形の対応する位置内のターゲット音楽点の識別子を表示する、ように構成されている。

【0094】

上記の実施例から分かるように、ユーザがオーディオ素材内の音楽点を手動で決定すると、多くの時間がかかり得る。オーディオ素材中の初期音楽点を分析することにより、音楽点の決定効率を向上させることができる。音楽点の識別子がクリップのタイムライン上に表示され、ユーザが音楽点を選択しやすくなる。

【0095】

次に図６を参照すると、図６は、本開示のいくつかの実施形態を実施するのに適した電子デバイス（例えば、図１のサーバ）６００の構造概略図を示す。本開示のいくつかの実施形態による端末デバイスは、携帯電話、ラップトップ、デジタル放送受信機、パーソナル・デジタル・アシスタント（ＰＤＡ）、ポータブル・アンドロイド（登録商標）・デバイス（ＰＡＤ）、ポータブル・マルチメディア・プレーヤー（ＰＭＰ）、車載端末（例えば、車載ナビゲーション端末）などの携帯端末、及び、デジタルテレビ、デスクトップコンピュータなどの固定端末を含むことができるが、これらに限定されない。図６に示される端末装置は単なる一実施例であり、本開示の実施形態の機能及び使用範囲にいかなる制限も課すべきではない。

【0096】

図６に示すように、電子デバイス６００は、処理装置（例えば、中央処理装置、グラフィックス・プロセッサなど）６０１を含むことができ、これは、読み出し専用メモリ６０２に記憶されたプログラム、又は記憶装置６０８からランダム・アクセス・メモリ（ＲＡＭ）６０３にロードされたプログラムにしたがって、種々の適切な操作及び処理を実行することができる。ＲＡＭ６０３はさらに、電子デバイス６００の操作に必要な様々なプログラム及びデータを記憶する。処理装置６０１、ＲＯＭ６０２、及びＲＡＭ６０３は、バス６０４を介して互いに接続される。入出力（Ｉ／Ｏ）インタフェース６０５もバス６０４に結合される。

【0097】

通常、例えば、タッチスクリーン、タッチパッド、キーボード、マウス、カメラ、マイクロホン、加速度計、ジャイロスコープなどを含む入力装置６０６；例えば、液晶ディスプレイ（ＬＣＤ）、スピーカ、バイブレータなどを含む出力装置６０７；例えば、磁気テープ、ハードディスクなどを含む記憶装置６０８；通信装置６０９は、Ｉ／Ｏインタフェース６０５に結合されてもよい。通信装置６０９は、電子デバイス６００が、データを交換するために、他のデバイスと無線又は有線通信を行うことを可能にする。図６は、様々な装置を有する電子デバイス６００を示しているが、全ての装置を実装したり、図示する必要はなく、電子デバイス６００は、代わりに、より多くの又はより少ない装置を実施するか、または有することができる。図６に示す各ブロックは、１つの装置を表すことができ、又は必要に応じて複数の装置を表すこともできる。

【0098】

特に、本開示のいくつかの実施形態によれば、フローチャートを参照して上述のようなフローは、コンピュータソフトウェアプログラムとして実装することができる。例えば、本開示のいくつかの実施形態は、コンピュータ読み取り可能媒体に搭載されたコンピュータプログラムを含むコンピュータプログラム製品を含み、コンピュータプログラムは、フローチャートに示された方法を実行するためのプログラムコードを含む。このような実施形態では、コンピュータプログラムは、通信装置６０９を介してネットワークからダウンロードされインストールされるか、又は記憶装置６０８からインストールされるか、又はＲＯＭ６０２からインストールされる。処理装置６０１によって実行されると、コンピュータプログラムは、本開示のいくつかの実施形態に係る方法に限定された上述の機能を実行する。

【0099】

本開示のいくつかの実施形態では、上述のコンピュータ読取可能媒体は、コンピュータ読取可能な信号媒体又はコンピュータ読取可能な記憶媒体、又は上記２つの任意の組み合わせであってもよいことに留意されたい。コンピュータ読取可能記憶媒体は、例えば、電子、磁気、光学、電磁、赤外線、若しくは半導体システム、装置、若しくは装置、又は上記の任意の適切な組み合わせであってもよいが、これらに限定されない。コンピュータ読取り可能記憶媒体のより具体的な例としては、携帯型コンピュータ・ディスケット、ハードディスク、ランダム・アクセス・メモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、１つ以上の導体を有する電気接続；消去可能プログラマブル読み出し専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）；光ファイバ、ポータブル・コンパクト・ディスク読み出し専用メモリ（ＣＤ－ＲＯＭ）；光記憶装置；磁気記憶装置；又は上記の任意の適切な組合せ。本開示のいくつかの実施形態において、コンピュータ読取可能な記憶媒体は、命令実行システム、装置、又はデバイスによって、またはそれらと組み合わせて使用され得るプログラムを含むか又は記憶する任意の有形媒体であり得る。むしろ、本開示のいくつかの実施形態では、コンピュータ読取可能な信号媒体は、ベースバンド内で伝搬されるデータ信号又はコンピュータ読取可能なプログラムコードを搬送する搬送波の一部として伝搬されるデータ信号を含み得る。コンピュータ読取可能な信号媒体は、コンピュータ読取可能な記憶媒体以外のコンピュータ読取可能な媒体であってもよく、コンピュータ読取可能な信号媒体は、命令実行システム、装置、又は装置によって、又はそれらと組み合わせて使用するために、プログラムを送信、伝搬、又は転送することができる。コンピュータ読取り可能媒体上に実装されたプログラムコードは、電気ワイヤ、光ケーブル、無線周波数（ＲＦ）など、又は上記の任意の適切な組み合わせを含むが、これらに限定されない任意の適切な媒体を使用して送信することができる。

【0100】

いくつかの実装モードでは、クライアント及びサーバは、ハイパーテキスト転送プロトコル（ＨＴＴＰ）などの、既知の又は将来研究開発されるべき任意のネットワークプロトコルと通信することができ、また、任意の形態又は媒体でデジタルデータと（通信ネットワークを介して）通信し、相互接続することができる。通信ネットワークの例には、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、インターネット、及びエンドツーエンドネットワーク（例えばアドホック・エンドツーエンドネットワーク）、ならびに現在知られているか又は将来研究開発されるネットワークが含まれる。

【0101】

上述のコンピュータ読取可能媒体は、上述の電子デバイスに含まれてもよいし、電子デバイスに組み込まれることなく単独で存在してもよい。上述のコンピュータ読取可能媒体は、１つ以上のプログラムを搭載し、上述の１つ以上のプログラムが電子デバイスによって実行される場合、電子デバイスは、オーディオ素材；上述のクリップタイムライン上の上述のターゲット音楽点の識別子、を取得する。上述の初期音楽点は、上述のオーディオ素材内のビート点及び／又はノート出発点を含み、ターゲット音楽点は、上述の初期音楽点の一部又は全部である。

【0102】

本開示のいくつかの実施形態による操作を実行するためのコンピュータプログラムコードは、１つ以上のプログラミング言語又はそれらの組み合わせで書かれることができ、上述のプログラミング言語は、Ｊａｖａ、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語を含み、「Ｃ」言語又は類似のプログラミング言語などの従来の手続き型プログラミング言語も含む。プログラムコードは、全体的にユーザのコンピュータ上で、部分的にユーザのコンピュータ上で、スタンドアロン・ソフトウェアパッケージとして、部分的にユーザのコンピュータ上で、かつ部分的にリモートコンピュータ上で、又は全体的にリモートコンピュータ若しくはサーバ上で、実行され得る。後者のシナリオでは、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）又はワイドエリアネットワーク（ＷＡＮ）を含む任意の種類のネットワークを介してユーザのコンピュータに接続されてもよく、又は、（例えば、インターネットサービスプロバイダを使用するインターネットを介して）外部コンピュータに接続されてもよい。

【0103】

添付の図面のフローチャート及びブロック図は、本発明の種々の実施形態による、システム、方法、及びコンピュータプログラム製品の可能な実施形態のアーキテクチャ、機能性、及び操作を示す。この点に関し、フローチャート又はブロック図の各ブロックは、指定された（１つ以上の）論理機能を実装するための１つ以上の実行可能な命令を含む、モジュール、セグメント、又は命令の一部を表すことができる。また、いくつかの代替的な実装において、ブロックに示された機能は、添付の図面に示された順序から外れてもよいことにも留意されたい。例えば、連続して示される２つのブロックは、実際には、実質的に同時に実行されてもよく、又は、関連する機能に応じて、ブロックは逆の順序で実行されてもよい。また、ブロック図及び／又はフローチャートの各ブロック、及びブロック図及び／又はフローチャートのブロックの組み合わせは、指定された機能を実行する特殊目的のハードウェアベースのシステムによって実装されてもよく、又は特殊目的のハードウェア及びコンピュータ命令の組み合わせによって実装されてもよいことに留意されたい。

【0104】

本開示のいくつかの実施形態に記載されるユニットは、ソフトウェアによって実施されてもよく、又はハードウェアによって実施されてもよい。記載されたユニットはまた、プロセッサ内に設けられてもよく、プロセッサは、例えば、取得ユニット、分析ユニット及び表示ユニットを含むプロセッサとして記載されてもよい。これらのユニットの名称は、ユニットそのものに限定されるものではなく、例えば、取得ユニットを「オーディオ素材を取得するためのユニット」と呼ぶ場合もある。

【0105】

上述の機能は、少なくとも部分的に、１つ以上のハードウェア論理コンポーネントによって実行することができる。例えば、限定されるものではないが、利用可能なハードウェア論理コンポーネントの例示的なタイプは：フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、特定用途向け標準製品（ＡＳＳＰ）、システムオンチップ（ＳＯＣ）、複合プログラマブル・ロジカル・デバイス（ＣＰＬＤ）などを含む。

【0106】

本開示の一つ以上の実施例によれば、音楽点を示す方法が提供される。方法は、オーディオ素材を取得するステップと、オーディオ素材中の初期音楽点を分析するステップと、ビデオクリッピングの操作インタフェース上で、クリップタイムライン上のオーディオ素材の位置及びオーディオ素材中のターゲット音楽点の位置にしたがって、クリップタイムライン上のターゲット音楽点の識別子を表示するステップと、を含む。初期音楽点は、オーディオ素材中のビート点及び／又はスタート点を備え、ターゲット音楽点は初期音楽点のうちの一部又は全部である。

【0107】

本開示の１つ以上の実施形態によれば、方法はさらに、ビデオクリッピングのためのビデオ素材を取得するステップと、ターゲット音楽点から整列された音楽点を決定するステップと、操作インタフェース上の第１ユーザ操作を検出することに応答して、ビデオ素材を使用することによりオーディオ素材中の各オーディオクリップに対して１つのビデオクリップをそれぞれ生成して、複数のビデオクリップを取得する、ステップと、クリップタイムライン上のオーディオ素材の位置及びオーディオ素材中のビデオクリップに対応するオーディオクリップの位置にしたがって、クリップタイムライン上のビデオクリップを表示するステップと、を含む。ビデオ素材は以下のアイテムのうちの少なくとも１つを含む：画像素材及びビデオ素材。整列された音楽点は、オーディオ素材を複数のオーディオクリップに分割するために使用される。オーディオクリップ及びオーディオクリップに対応するビデオクリップは、同じ継続時間を有する。

【0108】

本開示の１つ以上の実施形態によれば、ターゲット音楽点から整列された音楽点を決定するステップは、ビデオ素材のビデオ素材数が複数のオーディオクリップの数より少ないことに応答して、ビデオ素材の数にしたがって、上記の複数のオーディのクリップから、ビデオ素材数に等しいオーディオクリップ数を有するオーディオクリップを決定するステップと、オーディオクリップ数にしたがって、整列された音楽点の第１ターゲット数を決定するステップと、を含む。

【0109】

本開示の１つ以上の実施形態によれば、ビデオ素材数にしたがって、整列された音楽点の数を決定するステップは、ハイからローまでの音楽点の優先度の順序にしたがって、整列された音楽点としてターゲット音楽点から音楽点の第１ターゲット数を選択する、ステップを含む。一次ストレスビート点の優先度は二次ストレスビート点の優先度よりも高く、二次ストレスビート点の優先度はアクセント点の優先度より高い。

【0110】

１つ以上の実施形態によれば、システムが提供される。ターゲット音楽点から整列された音楽点を決定するステップは、ビデオ素材のうちのビデオ素材数が複数のオーディオクリップの数より大きいことに応答して、整列された音楽点としてターゲット音楽点及び音楽点の第１数を決定するステップを含む。第１数は、複数のオーディオクリップの数とビデオ素材数との間の差異にしたがって決定される。

【0111】

本開示の１つ以上の実施形態によれば、ビデオ素材を使用することによりオーディオ素材中の各オーディオクリップに対して１つのビデオクリップをそれぞれ生成して、複数のビデオクリップを取得する、ステップは、ビデオ素材の継続時間にしたがってビデオ素材に対応するオーディオクリップを決定するステップと、ビデオ素材を使用することによって前記オーディオクリップに対して１つのビデオクリップを生成するステップと、を含む。音楽クリップ又はオーディオクリップに対応するビデオ素材の長さは、音楽クリップ又はオーディオクリップの長さ以上ある。

【0112】

本開示の１つ以上の実施形態によれば、上記のビデオ素材を使用することにより上記のオーディオ素材中の各オーディオクリップに対して１つのビデオクリップをそれぞれ生成して、複数のビデオクリップを取得する、ステップは、デオ素材に対応する音楽クリップ又はオーディオクリップの継続時間より短いビデオ素材の継続時間に応答して、ビデオ素材の再生スピードを調整して、音楽クリップ又はオーディオクリップの継続時間に等しい継続時間を有するビデオクリップを取得する、ステップを含む。

【0113】

本開示の１つ以上の実施形態によれば、方法はさらに、操作インタフェース中の第１ビデオクリップ上の第２ユーザ操作を検出することに応答して、第１ビデオクリップに対応するビデオ素材に対する調整インタフェースを表示するステップと、ビデオ素材の調整インタフェース上のビデオ素材への手動クリッピング操作に応答して、ビデオ素材中の手動クリッピング操作によって選択されたクリッピング間隔を決定するステップと、クリッピング間隔にしたがって、第２ビデオクリップとしてビデオ素材から素材をクリッピングするステップと、を含む。

【0114】

本開示の１つ以上の実施形態によれば、オーディオ素材中の初期音楽点を分析するステップは、操作インタフェース上の第１制御部への第３ユーザ操作を検出することに応答して、初期音楽点としてオーディオ素材中の一次ストレスビート点を決定するステップと、操作インタフェース上の第２制御部への第４ユーザ操作を検出することに応答して、初期音楽点としてオーディオ素材中のビート点を決定するステップと、操作インタフェース上の第３制御部への第５ユーザ操作を検出することに応答して、初期音楽点としてオーディオ素材中のアクセント点を決定するステップと、
を含む。

【0115】

本開示の１つ以上の実施形態によれば、方法はさらに、操作インタフェース上の第３ユーザ操作を検出することに応答して、上記の初期音楽点からオーディオ素材のターゲット音楽点を決定するステップと、第３ユーザ操作は、以下のアイテムのうちの少なくとも１つを含む：音楽点の追加操作及び音楽点の削除操作。

【0116】

本開示の１つ以上の実施形態によれば、ビデオクリッピングの操作インタフェース上で、クリップタイムライン上の上記のオーディオ素材の位置及び上記のオーディオ素材中のターゲット音楽点の位置にしたがって、クリップタイムライン上の上記のターゲット音楽点の識別子を表示するステップは、クリップタイムライン上でオーディオ素材のオーディオ波形を表示するステップと、オーディオ波形の対応する位置内のターゲット音楽点の識別子を表示するステップと、を含む。

【0117】

本開示の１つ以上の実施形態によれば、装置は、取得ユニットと、分析ユニットと、表示ユニットと、を備える。取得ユニットは、オーディオ素材を取得するように構成されている。分析ユニットは、オーディオ素材中の初期音楽点を分析し、初期音楽点は、オーディオ素材中のビート点及び／又はスタート点を含む。表示ユニットは、ビデオクリッピングの操作インタフェース上で、クリップタイムライン上のオーディオ素材の位置及びオーディオ素材中のターゲット音楽点の位置にしたがって、前記クリップタイムライン上の前記ターゲット音楽点の識別子を表示し、ターゲット音楽点は上記の初期音楽点のうちの一部又は全部である、ように構成されている。

【0118】

本開示の１つ以上の実施形態によれば、１つ以上のプロセッサと、１つ以上のプログラムが保存された保存装置と、を含む電子デバイスが提供される。１つ以上のプロセッサによって実行されるときに、１つ以上のプログラムは１つ以上のプロセッサに上記の実施形態のいずれかによる方法を実行させる。

【0119】

本開示の１つ以上の実施形態によれば、コンピュータプログラムが保存されたコンピュータ可読媒体を提供される。プログラムは、プロセッサによって実行されるときに、上記の実施形態による方法を実行する。

【0120】

本開示の１つ以上の実施形態によれば、プログラムコードを有するコンピュータプログラムが提供される。コンピュータがコンピュータプログラムを実行するときに、プログラムコードは上記の実施形態による方法を実行する。

【0121】

上記の説明は、本開示のいくつかの好ましい実施形態及びそれに適用される技術的原理の説明にすぎない。当業者は、本開示の実施形態に含まれる発明の範囲は、上述の技術的特徴の特定の組み合わせによって形成される技術的解決策に限定されるものではなく、また、上述の発明の概念から逸脱することなく、上述の技術的特徴又はそれらの同等の特徴の任意の組み合わせによって形成される他の技術的解決策をカバーすべきであることを理解するはずである。例えば、技術的解決策は、上述の特徴を、本開示の実施形態において開示されている（ただし、これに限定されるものではない）技術的特徴と、類似の機能とを相互に置き換えることによって形成される。

【図1】

【図2A】

【図2B】

【図2C】

【図3A】

【図3B】

【図4A】

【図4B】

【図4C】

【図5】

【図6】

【手続補正書】

【提出日】2022-06-27

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

音楽点を表示する方法であって、
オーディオ素材を取得するステップと、
前記オーディオ素材中の初期音楽点を分析するステップであって、前記初期音楽点は、前記オーディオ素材中のビート点及び／又はスタート点を備える、ステップと、
ビデオクリッピングの操作インタフェース上で、クリップタイムライン上の前記オーディオ素材の位置及び前記オーディオ素材中のターゲット音楽点の位置にしたがって、前記クリップタイムライン上の前記ターゲット音楽点の識別子を表示するステップであって、前記ターゲット音楽点は前記初期音楽点のうちの一部又は全部である、ステップと、
を含む、方法。

【請求項2】

前記方法はさらに、
前記ビデオクリッピングのためのビデオ素材を取得するステップであって、前記ビデオ素材は、画像素材及びビデオ素材のうちの少なくとも１つのアイテムを含む、ステップと、
前記ターゲット音楽点から整列された音楽点を決定するステップであって、前記整列された音楽点は、前記オーディオ素材を複数のオーディオクリップに分割するために使用される、ステップと、
前記操作インタフェース上の第１ユーザ操作を検出することに応答して、前記ビデオ素材を使用することにより前記オーディオ素材中の各オーディオクリップに対して１つのビデオクリップをそれぞれ生成して、複数のビデオクリップを取得する、ステップであって、前記オーディオクリップに対応するオーディオクリップ及びビデオクリップは、同じ継続時間を有する、ステップと、
前記クリップタイムライン上の前記オーディオ素材の前記位置及び前記オーディオ素材中の前記ビデオクリップに対応する前記オーディオクリップの位置にしたがって、前記クリップタイムライン上の前記ビデオクリップを表示するステップと、
を含む、請求項１記載の方法。

【請求項3】

前記ターゲット音楽点から前記整列された音楽点を決定するステップは、
前記ビデオ素材のうちのビデオ素材数にしたがって前記整列された音楽点の第１ターゲット数を決定するステップと、
ハイからローまでの音楽点の優先度の順序及び／又は前記オーディオ素材中に出現する前記音楽点の瞬間の順序にしたがって、前記整列された音楽点として前記ターゲット音楽点から音楽点の第１ターゲット数を選択するステップであって、一次ストレスビート点の優先度は二次ストレスビート点の優先度よりも高く、前記二次ストレスビート点の優先度はアクセント点の優先度より高い、ステップと、を含む、
請求項２記載の方法。

【請求項4】

前記ビデオ素材のうちのビデオ素材数にしたがって前記整列された音楽点の第１ターゲット数を決定するステップは、
前記ビデオ素材のうちの前記ビデオ素材数が前記複数のオーディオクリップの数より少ないことに応答して、前記ビデオ素材数にしたがって、前記複数のオーディのクリップから、前記ビデオ素材数に等しいオーディオクリップ数を有するオーディオクリップを決定するステップと、
前記オーディオクリップ数にしたがって、前記整列された音楽点の第１ターゲット数を決定するステップと、を含む、
請求項３記載の方法。

【請求項5】

前記ターゲット音楽点から前記整列された音楽点を決定するステップは、
前記ビデオ素材のビデオ素材数が前記複数のオーディオクリップの数より大きいことに応答して、前記整列された音楽点として前記ターゲット音楽点及び音楽点の第２ターゲット数を決定するステップであって、前記第２ターゲット数は、前記複数のオーディオクリップの数と前記ビデオ素材数との間の差異にしたがって決定される、ステップを含む、
請求項２乃至４いずれか１項記載の方法。

【請求項6】

前記ビデオ素材を使用することにより前記オーディオ素材中の各オーディオクリップに対して１つのビデオクリップをそれぞれ生成して、複数のビデオクリップを取得する、ステップは、
前記ビデオ素材の継続時間にしたがって前記ビデオ素材に対応する前記オーディオクリップを決定するステップであって、音楽クリップに対応する前記ビデオ素材の長さは、前記音楽クリップの長さ以上ある、ステップと、
ビデオ素材を使用することによって前記オーディオクリップに対して１つのビデオクリップを生成するステップと、を含む、
請求項２乃至５いずれか１項記載の方法。

【請求項7】

前記ビデオ素材を使用することにより前記オーディオ素材中の各オーディオクリップに対して１つのビデオクリップをそれぞれ生成して、複数のビデオクリップを取得する、ステップは、
前記ビデオ素材に対応する音楽クリップの継続時間より短いビデオ素材の継続時間に応答して、前記ビデオ素材の再生スピードを調整し、前記音楽クリップの継続時間に等しい継続時間を有するビデオクリップを取得する、ステップ、を含む
請求項２乃至６いずれか１記載の方法。

【請求項8】

前記方法はさらに、
前記操作インタフェース中の第１ビデオクリップ上の第２ユーザ操作を検出することに応答して、前記第１ビデオクリップに対応する前記ビデオ素材に対する調整インタフェースを表示するステップと、
前記ビデオ素材の前記調整インタフェース上の前記ビデオ素材への手動クリッピング操作に応答して、前記ビデオ素材中の前記手動クリッピング操作によって選択されたクリッピング間隔を決定するステップと、
前記クリッピング間隔にしたがって、第２ビデオクリップとして前記ビデオ素材から素材をクリッピングするステップと、
を含む、請求項２乃至７いずれか１記載の方法。

【請求項9】

前記オーディオ素材中の初期音楽点を分析するステップは、
音楽表示インタフェース上の第１制御部への第３ユーザ操作を検出することに応答して、前記初期音楽点として前記オーディオ素材中の一次ストレスビート点を決定するステップであって、前記操作インタフェース上の前記オーディオ素材への選択操作を検出することに応答して、前記音楽表示インタフェースが表示される、ステップと、
前記音楽表示インタフェース上の第２制御部への第４ユーザ操作を検出することに応答して、前記初期音楽点として前記オーディオ素材中のビート点を決定するステップと、
音楽表示インタフェース上の第３制御部への第５ユーザ操作を検出することに応答して、前記初期音楽点として前記オーディオ素材中のアクセント点を決定するステップと、を含む、
請求項１乃至８いずれか１項記載の方法。

【請求項10】

前記方法はさらに、
前記操作インタフェース上の第３ユーザ操作を検出することに応答して、前記初期音楽点から前記オーディオ素材のターゲット音楽点を決定するステップであって、前記第３ユーザ操作は、音楽点の追加操作及び音楽点の削除操作のうちの少なくとも１つを含む、ステップ
を含む、請求項１乃至９いずれか１項記載の方法。

【請求項11】

ビデオクリッピングの操作インタフェース上で、クリップタイムライン上の前記オーディオ素材の位置及び前記オーディオ素材中のターゲット音楽点の位置にしたがって、前記クリップタイムライン上の前記ターゲット音楽点の識別子を表示するステップは、
前記クリップタイムライン上で前記オーディオ素材のオーディオ波形を表示するステップと、
前記オーディオ波形の対応する位置内の前記ターゲット音楽点の識別子を表示するステップと、を含む、
請求項１乃至１０いずれか１項記載の方法。

【請求項12】

音楽点を表示する装置であって、
オーディオ素材を取得するように構成された取得ユニットと、
前記オーディオ素材中の初期音楽点を分析するように構成された分析ユニットであって、前記初期音楽点は、前記オーディオ素材中のビート点及び／又はスタート点を備える、分析ユニットと、
ビデオクリッピングの操作インタフェース上で、クリップタイムライン上の前記オーディオ素材の位置及び前記オーディオ素材中のターゲット音楽点の位置にしたがって、前記クリップタイムライン上の前記ターゲット音楽点の識別子を表示するように構成された表示ユニットであって、前記ターゲット音楽点は前記初期音楽点のうちの一部又は全部である、表示ユニットと、
を備える装置。

【請求項13】

電子デバイスであって、
１つ以上のプロセッサと、
１つ以上のプログラムが保存された保存装置であって、前記１つ以上のプロセッサによって実行されるときに、前記１つ以上のプログラムは前記１つ以上のプロセッサに請求項１乃至１１いずれか１項による方法を実行させる、保存装置と、
を備える電子デバイス。

【請求項14】

コンピュータプログラムが保存されたコンピュータ可読媒体であって、
前記プログラムは、プロセッサによって実行されるときに、請求項１乃至１１いずれか１項による方法を実行する、
コンピュータ可読媒体。

【請求項15】

プログラムコードを有するコンピュータプログラムであって、
コンピュータが前記コンピュータプログラムを実行するときに、前記プログラムコードは請求項１乃至１１いずれか１項による方法を実行する、
コンピュータプログラム。

【手続補正2】

【補正対象書類名】明細書

【補正対象項目名】０００１

【補正方法】変更

【補正の内容】

【0001】

本出願は、２０１９年１１月４日に出願された中国特許出願第２０１９１１０６７４７５．１号に基づく優先権を主張する２０２０年１１月３日に提出された国際特許出願番号ＰＣＴ／ＣＮ２０２０／１２６２６１に基づくものである。前述の出願の全ては、その全体が参照により本明細書に組み込まれる。

【国際調査報告】