特許 7551923 ビデオ処理方法、装置、機器及び記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-06

(45)【発行日】2024-09-17

(54)【発明の名称】ビデオ処理方法、装置、機器及び記憶媒体

(51)【国際特許分類】

   H04N 5/91 20060101AFI20240909BHJP

   G11B 27/02 20060101ALI20240909BHJP

【ＦＩ】

H04N5/91

G11B27/02 A

【請求項の数】 10

(21)【出願番号】P 2023531526

(86)(22)【出願日】2021-11-19

(65)【公表番号】

(43)【公表日】2023-11-30

(86)【国際出願番号】 CN2021131772

(87)【国際公開番号】W WO2022111392

(87)【国際公開日】2022-06-02

【審査請求日】2023-07-11

(31)【優先権主張番号】202011329694.5

(32)【優先日】2020-11-24

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】521431088

【氏名又は名称】北京字跳▲網▼絡技▲術▼有限公司

【氏名又は名称原語表記】Ｂｅｉｊｉｎｇ Ｚｉｔｉａｏ Ｎｅｔｗｏｒｋ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ．

【住所又は居所原語表記】０２０７， ２／Ｆ， Ｂｕｉｌｄｉｎｇ ４， Ｚｉｊｉｎ Ｄｉｇｉｔａｌ Ｐａｒｋ， Ｈａｉｄｉａｎ Ｄｉｓｔｒｉｃｔ， Ｂｅｉｊｉｎｇ，Ｐ． Ｒ． Ｃｈｉｎａ

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】ホー，ヤン

(72)【発明者】

【氏名】タン，ヂーユェン

(72)【発明者】

【氏名】マイ，ハンシン

(72)【発明者】

【氏名】ユー，シャオズー

(72)【発明者】

【氏名】ツァオ，クン

【審査官】松元 伸次

(56)【参考文献】

【文献】特開２００１－２９０５７４（ＪＰ，Ａ）

【文献】特開２００９－１３９７１５（ＪＰ，Ａ）

【文献】中国特許出願公開第１１０６０２５６２（ＣＮ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ３／０１

３／０４８－３／０４８９５

Ｇ０９Ｇ５／００－５／３６

５／３７７－５／４２

Ｇ１１Ｂ２７／００－２７／０６

Ｈ０４Ｎ５／７６－５／７７５

５／８０－５／９５６

(57)【特許請求の範囲】

【請求項1】

端末機器が実行するビデオ処理方法であって、
処理対象となるビデオの編集参照トラックがビデオ編集ウィンドウから取り外されたことを検出した場合、前記ビデオ編集ウィンドウの底部領域にマスクを表示するステップであって、前記編集参照トラックはビデオトラック及び／又はオーディオトラックを含むステップと、
前記ビデオ編集ウィンドウにおける時間軸に基づいて、前記マスクに前記処理対象となるビデオの編集参照トラックを表示するステップであって、前記マスクに表示される前記編集参照トラックは、ユーザーが前記ビデオ編集ウィンドウにおいて前記処理対象となるビデオを編集することを補助するために用いられるステップと、
を含むことを特徴とする方法。

【請求項2】

前記ビデオ編集ウィンドウから取り外された前記編集参照トラックが、前記ビデオ編集ウィンドウに再度移し入れられたことを検出した場合、前記マスク及び前記マスクに表示された前記編集参照トラックを隠すステップ、
をさらに含むことを特徴とする請求項１に記載の方法。

【請求項3】

前記ビデオ編集ウィンドウにおける時間軸に基づいて、前記マスクに前記処理対象となるビデオの編集参照トラックを表示するステップは、
前記ビデオ編集ウィンドウにおける時間軸に基づいて、前記マスクに前記処理対象となるビデオのオーディオトラックを所定の形態で表示するステップ、
を含むことを特徴とする請求項１に記載の方法。

【請求項4】

前記ビデオ編集ウィンドウにおける時間軸に基づいて、前記マスクに前記処理対象となるビデオのオーディオトラックを所定の形態で表示する前に、
前記処理対象となるビデオのオーディオトラックにおけるターゲットオーディオデータが存在する時点を決定するステップであって、前記ターゲットオーディオデータは音楽タイプのオーディオデータ又は音響効果タイプのオーディオデータを含むステップと、
前記ターゲットオーディオデータが存在する時点に基づいて、前記処理対象となるビデオのオーディオトラックに対してターゲットオーディオ可視線を生成するステップであって、前記ターゲットオーディオ可視線が、前記処理対象となるビデオにおける前記ターゲットオーディオデータの再生位置を可視化するために用いられるステップと、
をさらに含み、
前記ビデオ編集ウィンドウにおける時間軸に基づいて、前記マスクに前記処理対象となるビデオのオーディオトラックを所定の形態で表示するステップは、
前記ビデオ編集ウィンドウにおける時間軸に基づいて、前記マスクに前記ターゲットオーディオ可視線を表示するステップ、
を含むことを特徴とする請求項３に記載の方法。

【請求項5】

前記処理対象となるビデオのオーディオトラックは、第１のオーディオトラック及び第２のオーディオトラックを含み、前記処理対象となるビデオのオーディオトラックにおけるターゲットオーディオデータが存在する時点を決定するステップは、
前記第１のオーディオトラックにおけるターゲットオーディオデータが存在する時点、及び前記第２のオーディオトラックにおけるターゲットオーディオデータが存在する時点をそれぞれ決定するステップと、
前記第１のオーディオトラックにおけるターゲットオーディオデータが存在する時点と、前記第２のオーディオトラックにおけるターゲットオーディオデータが存在する時点とをマージして、マージ後時点を取得するステップと、
を含み、
前記ターゲットオーディオデータが存在する時点に基づいて、前記処理対象となるビデオのオーディオトラックに対してターゲットオーディオ可視線を生成するステップは、
前記マージ後時点に基づいて、前記処理対象となるビデオに対してターゲットオーディオ可視線を生成するステップ、
を含むことを特徴とする請求項４に記載の方法。

【請求項6】

前記ターゲットオーディオデータは、音楽タイプのオーディオデータを含み、前記ビデオ編集ウィンドウにおける時間軸に基づいて、前記マスクにターゲットオーディオ可視線を表示する前に、
前記ターゲットオーディオ可視線において音楽リズムポイントをマークするステップ、
をさらに含むことを特徴とする請求項４又は５に記載の方法。

【請求項7】

前記ターゲットオーディオデータは、音響効果タイプのオーディオデータを含むことを特徴とする請求項４又は５に記載の方法。

【請求項8】

ビデオ処理装置であって、
処理対象となるビデオのビデオトラックがビデオ編集ウィンドウから取り外されたことを検出した場合、前記ビデオ編集ウィンドウの底部領域にマスクを表示する第１の表示モジュールと、
前記ビデオ編集ウィンドウにおける時間軸に基づいて、前記マスクに前記処理対象となるビデオの編集参照トラックを表示する第２の表示モジュールであって、前記編集参照トラックは、ビデオトラック及び／又はオーディオトラックを含み、前記編集参照トラックは、ユーザーが前記ビデオ編集ウィンドウにおいて前記処理対象となるビデオを編集することを補助するために用いられる第２の表示モジュールと、
を含むことを特徴とする装置。

【請求項9】

端末機器で実行されると、前記端末機器に請求項１から７の何れか１項に記載の方法を実行させる指令が記憶されたことを特徴とするコンピュータ可読記憶媒体。

【請求項10】

機器であって、
メモリ、プロセッサー、及び前記メモリに記憶されて、前記プロセッサーで実行可能なコンピュータプログラムを含み、
前記プロセッサーが前記コンピュータプログラムを実行すると、請求項１から７の何れか１項に記載の方法を実現する、ことを特徴とする機器。

【発明の詳細な説明】

【技術分野】

【0001】

［関連出願への相互参照］
本出願は、２０２０年１１月２４日付けで中国国家知識産権局に出願され、出願番号が２０２０１１３２９６９４．５であり、出願の名称が「ビデオ処理方法、装置、機器及び記憶媒体」である中国特許出願の優先権を主張し、その全ての内容を援用により本出願に組み込む。

【0002】

［技術分野］
本開示は、データ処理の分野に関し、特に、ビデオ処理方法、装置、機器及び記憶媒体に関連している。

【背景技術】

【0003】

ビデオ処理技術の発展に伴い、ビデオ処理に対する機能もますます多様化している。例えば、ビデオの編集は、音楽や特殊効果などの音を追加する機能をユーザーに提供するだけでなく、ビデオ画面にステッカー、テキストなどを追加する機能をさらに提供し、ユーザーによるビデオ処理のエクスペリエンスを豊かにする。

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところが、ビデオ処理機能の多様化に伴い、ビデオ処理インターフェース上のインタラクション機能はますます煩雑になるため、ビデオ処理中のユーザーの操作が不便であり、さらに、ユーザーによるビデオ処理のエクスペリエンスに影響を与える。

【0005】

本開示は、上記の技術問題、又は少なくともその一部を解决するために、ビデオ処理方法、装置、機器及び記憶媒体を提供し、編集参照トラックがビデオ編集ウィンドウから取り外された場合、マスクの形態で編集参照トラックを再表示することができ、ユーザーによるビデオ処理への影響を低減して、ユーザーエクスペリエンスを向上させる。

【課題を解決するための手段】

【0006】

第１の態様によれば、本開示は、ビデオ処理方法を提供し、前記方法は、
処理対象となるビデオの編集参照トラックがビデオ編集ウィンドウから取り外されたことを検出した場合、前記ビデオ編集ウィンドウの底部領域にマスクを表示するステップであって、前記編集参照トラックはビデオトラック及び／又はオーディオトラックを含むステップと、
前記ビデオ編集ウィンドウにおける時間軸に基づいて、前記マスクに前記処理対象となるビデオの編集参照トラックを表示するステップであって、前記マスクに表示される前記編集参照トラックは、ユーザーが前記ビデオ編集ウィンドウにおいて前記処理対象となるビデオを編集することを補助するために用いられるステップと、を含む。

【0007】

可能な実施形態において、前記方法は、
前記ビデオ編集ウィンドウから取り外された前記編集参照トラックが、前記ビデオ編集ウィンドウに再度移し入れられたことを検出した場合、前記マスク及び前記マスクに表示された前記編集参照トラックを隠すステップ、をさらに含む。

【0008】

可能な実施形態において、前記ビデオ編集ウィンドウにおける時間軸に基づいて、前記マスクに前記処理対象となるビデオの編集参照トラックを表示するステップは、
前記ビデオ編集ウィンドウにおける時間軸に基づいて、前記マスクに前記処理対象となるビデオのオーディオトラックを所定の形態で表示するステップを含む。

【0009】

可能な実施形態において、前記ビデオ編集ウィンドウにおける時間軸に基づいて、前記マスクに前記処理対象となるビデオのオーディオトラックを所定の形態で表示する前に、
前記処理対象となるビデオのオーディオトラックにおけるターゲットオーディオデータが存在する時点を決定するステップであって、前記ターゲットオーディオデータは音楽タイプのオーディオデータ又は音響効果タイプのオーディオデータを含むステップと、
前記ターゲットオーディオデータが存在する時点に基づいて、前記処理対象となるビデオのオーディオトラックに対してターゲットオーディオ可視線を生成するステップであって、前記ターゲットオーディオ可視線が、前記処理対象となるビデオにおける前記ターゲットオーディオデータの再生位置を可視化するために用いられるステップと、
をさらに含み、
前記ビデオ編集ウィンドウにおける時間軸に基づいて、前記マスクに前記処理対象となるビデオのオーディオトラックを所定の形態で表示するステップは、
前記ビデオ編集ウィンドウにおける時間軸に基づいて、前記マスクに前記ターゲットオーディオ可視線を表示するステップ、を含む。

【0010】

可能な実施形態において、前記処理対象となるビデオのオーディオトラックは、第１のオーディオトラック及び第２のオーディオトラックを含み、前記処理対象となるビデオのオーディオトラックにおけるターゲットオーディオデータが存在する時点を決定するステップは、
前記第１のオーディオトラックにおけるターゲットオーディオデータが存在する時点、及び前記第２のオーディオトラックにおけるターゲットオーディオデータが存在する時点をそれぞれ決定するステップと、
前記第１のオーディオトラックにおけるターゲットオーディオデータが存在する時点と、前記第２のオーディオトラックにおけるターゲットオーディオデータが存在する時点とをマージして、マージ後時点を取得するステップと、
を含み、
前記ターゲットオーディオデータが存在する時点に基づいて、前記処理対象となるビデオのオーディオトラックに対してターゲットオーディオ可視線を生成するステップは、
前記マージ後時点に基づいて、前記処理対象となるビデオに対してターゲットオーディオ可視線を生成するステップ、
を含む。

【0011】

可能な実施形態において、前記ターゲットオーディオデータは、音楽タイプのオーディオデータを含み、前記ビデオ編集ウィンドウにおける時間軸に基づいて、前記マスクにターゲットオーディオ可視線を表示する前に、
前記ターゲットオーディオ可視線において音楽リズムポイントをマークするステップ、
をさらに含む。

【0012】

可能な実施形態において、前記ターゲットオーディオデータは、音響効果タイプのオーディオデータを含む。

【0013】

第２の態様によれば、本開示は、ビデオ処理装置を提供し、前記装置は、
処理対象となるビデオのビデオトラックがビデオ編集ウィンドウから取り外されたことを検出した場合、前記ビデオ編集ウィンドウの底部領域にマスクを表示する第１の表示モジュールと、
前記ビデオ編集ウィンドウにおける時間軸に基づいて、前記マスクに前記処理対象となるビデオの編集参照トラックを表示する第２の表示モジュールであって、前記編集参照トラックは、ビデオトラック及び／又はオーディオトラックを含み、前記編集参照トラックは、ユーザーが前記ビデオ編集ウィンドウにおいて前記処理対象となるビデオを編集することを補助するために用いられる第２の表示モジュールと、を含む。

【0014】

第３の態様によれば、本開示はコンピュータ可読記憶媒体を提供し、前記コンピュータ可読記憶媒体には指令が記憶され、前記指令が端末機器で実行されると、前記端末機器に上記の方法を実現させる。

【0015】

第４の態様によれば、本開示は機器を提供し、メモリ、プロセッサー、及び前記メモリに記憶されて、前記プロセッサーで実行可能なコンピュータプログラムを含み、前記プロセッサーが前記コンピュータプログラムを実行すると、上記の方法を実現する。

【発明の効果】

【0016】

本開示の実施例によって提供される技術案は、従来技術と比べて、以下の利点を有する。
本開示の実施例は、ビデオ処理方法を提供し、処理対象となるビデオの編集参照トラックがビデオ編集ウィンドウから取り外されたことを検出した場合、当該ビデオ編集ウィンドウの底部領域にマスクを表示し、編集参照トラックはビデオトラック及び／又はオーディオトラックを含む。そして、ビデオ編集ウィンドウにおける時間軸に基づいて、マスクに処理対象となるビデオの編集参照トラックを表示し、当該マスクに表示される編集参照トラックは、ユーザーがビデオ編集ウィンドウにおいて処理対象となるビデオを編集することを補助するために用いられる。このように、本開示の実施例によって提供されるビデオ処理方法によれば、編集参照トラックがビデオ編集ウィンドウから取り外された場合、マスクの形態で編集参照トラックを再表示し、ユーザーによるビデオ処理への影響を低減して、ユーザーエクスペリエンスを向上させる。

【図面の簡単な説明】

【0017】

ここで、図面は明細書に組み込まれて、本明細書の一部を構成し、本開示に適合する実施例を示して、明細書とともに、本開示の原理を解釈するために使用される。
本開示の実施例又は従来技術における技術案をより明らかに説明するために、以下、実施例又は従来技術の説明において使用する必要がある図面を簡単に紹介し、明らかに、当業者にとって、進歩性に値する労働をしないことを前提として、これらの図面に基づいて、他の図面を取得することができる。

【図1】本開示の実施例によるビデオ処理方法のフローチャートである。

【図2】本開示の実施例によるビデオ編集ウィンドウの効果概略図である。

【図3】本開示の実施例による複数のオーディオトラック上のターゲットオーディオデータが重畳されてマージされる概略図である。

【図4】本開示の実施例による別のビデオ編集ウィンドウの効果概略図である。

【図5】本開示の実施例によるビデオ処理装置の構成概略図である。

【図6】本開示の実施例によるビデオ処理機器の構成概略図である。

【発明を実施するための形態】

【0018】

本開示の上記の目的、特徴及び利点をより明らかに理解するために、以下、本開示の技術案をさらに記載する。なお、矛盾しないならば、本開示の実施例及び実施例における特徴を互いに組み合わせてもよい。

【0019】

本開示を十分に理解するために、以下の記載において、多くの具体的な詳細を説明するが、本開示は、本明細書に記載されていない他の異なる形態を採用して実施してもよく、明らかに、明細書における実施例は全ての実施例ではなく、本開示の一部の実施例のみである。

【0020】

ビデオ処理機能の多様化に伴い、ビデオ編集ウィンドウ上の編集機能はますます煩雑になっているため、ビデオ処理中に、ユーザーの操作が不便であるなどの状況が存在する恐れがあり、ユーザーエクスペリエンスに影響を与える。

【0021】

実際の適用シナリオにおいて、ビデオ編集ウィンドウは、スクロールバーの形態でますます多くのビデオ編集機能を表示し、しかしながら、スクロールバーによるスクロールは、ビデオトラックやオーディオトラックなどの、ユーザーによるビデオ編集を補助するためのトラックがビデオ編集ウィンドウに表示されなくなることを招致する恐れがあり、ユーザーによるビデオ編集のエクスペリエンスに影響を与える。

【0022】

そこで、本開示はビデオ処理方法を提供し、具体的に、処理対象となるビデオの編集参照トラックがビデオ編集ウィンドウから取り外されたことを検出した場合、当該ビデオ編集ウィンドウの底部領域にマスクを表示し、編集参照トラックはビデオトラック及び／又はオーディオトラックを含む。そして、ビデオ編集ウィンドウにおける時間軸に基づいて、マスクに処理対象となるビデオの編集参照トラックを表示し、当該マスクに表示される編集参照トラックは、ユーザーが前記ビデオ編集ウィンドウにおいて前記処理対象となるビデオを編集することを補助するために用いられる。

【0023】

このように、本開示の実施例によって提供されるビデオ処理方法によれば、編集参照トラックがビデオ編集ウィンドウから取り外された場合、マスクの形態で編集参照トラックを再表示し、ユーザーによるビデオ処理への影響を低減して、ユーザーエクスペリエンスを向上させる。

【0024】

これに基づいて、本開示の実施例はビデオ処理方法を提供し、図１を参照し、本開示の実施例によるビデオ処理方法のフローチャートであり、当該方法は以下のステップを含む。
Ｓ１０１：処理対象となるビデオの編集参照トラックがビデオ編集ウィンドウから取り外されたことを検出した場合、当該ビデオ編集ウィンドウの底部領域にマスクを表示する。編集参照トラックはビデオトラック及び／又はオーディオトラックを含む。

【0025】

本開示の実施例によって提供されるビデオ処理方法は、ビデオ編集などの機能に適用される。

【0026】

実際の適用において、ユーザーによるビデオ処理の過程で、ビデオトラック及びオーディオトラックは一定の補助的な役割を果たすので、ユーザーが処理対象となるビデオを処理する過程で、ビデオ編集ウィンドウに、処理対象となるビデオのビデオトラック及びオーディオトラックをできるだけ表示することで、ユーザーによるビデオ処理のエクスペリエンスを向上させるべきである。

【0027】

そのため、本開示の実施例において、処理対象となるビデオの編集参照トラックがビデオ編集ウィンドウから取り外されたことを検出した場合、ユーザーによるビデオ処理への影響を低減するために、ビデオ編集ウィンドウから取り外された編集参照トラックをマスクの形態で表示する。

【0028】

可能な実施形態において、ユーザーがビデオを処理する過程で、ビデオ編集ウィンドウを上下にスクロールさせる必要があるかもしれないが、上下にスクロールする過程では、ビデオ編集ウィンドウにおける編集参照トラックがビデオ編集ウィンドウから取り外され、即ち、ビデオ編集ウィンドウに表示されなくなる恐れがある。ユーザーによるビデオ処理への影響を低減するために、本開示の実施例において、ビデオ編集ウィンドウの底部領域にマスクを表示し、マスクに編集参照トラックを再表示する。

【0029】

ビデオ編集ウィンドウの底部領域は、ビデオ編集ウィンドウの底部境界に基づいて決定された表示領域であってもよい。底部領域に表示されるマスクは一定の透明度を有し、マスクに編集参照トラックを表示すると同時に、マスクによってカバーされる下層領域の内容表示及び操作制御に影響を与えない。例えば、マスクによってカバーされる下層領域は、ビデオ編集ウィンドウの上下スクロールに伴って表示内容を更新する。

【0030】

可能な実施形態において、処理対象となるビデオのビデオトラックがビデオ編集ウィンドウから取り外されたことを検出した場合、当該ビデオ編集ウィンドウの底部領域にマスクを表示する。又は、処理対象となるビデオのオーディオトラックがビデオ編集ウィンドウから取り外されたことを検出した場合、当該ビデオ編集ウィンドウの底部領域にマスクを表示する。或いは、処理対象となるビデオのビデオトラック及びオーディオトラックが何れもビデオ編集ウィンドウから取り外されたことを検出した場合、当該ビデオ編集ウィンドウの底部領域にマスクを表示する。ビデオトラックは、メインビデオトラックを含み、又はメインビデオトラック及びピクチャインピクチャトラックを含む。

【0031】

Ｓ１０２：ビデオ編集ウィンドウにおける時間軸に基づいて、マスクに処理対象となるビデオの編集参照トラックを表示する。マスクに表示される編集参照トラックは、ユーザーがビデオ編集ウィンドウにおいて処理対象となるビデオを編集することを補助するために用いられる。

【0032】

本開示の実施例において、ビデオ編集ウィンドウには時間軸が表示され、マスクに表示される編集参照トラックをビデオ編集ウィンドウに表示される時間軸に一致させるように、当該時間軸に基づいてマスクに処理対象となるビデオの編集参照トラックを表示することで、ユーザーによる処理対象となるビデオの編集を容易にする。

【0033】

可能な実施形態において、編集参照トラックがビデオ編集ウィンドウから取り外された後、ビデオ編集ウィンドウの底部領域にあるマスクには、編集参照トラックが常に表示されることで、ユーザーによるビデオの編集を容易にする。ビデオ編集ウィンドウから取り外された編集参照トラックがビデオ編集ウィンドウに再度移し入れられたことを検出した場合、マスク及びマスクに表示される編集参照トラックを隠して、編集参照トラックの冗長表示を回避することができる。この時、ユーザーは、ビデオ編集ウィンドウに再度移し入れられた編集参照トラックに基づいて、処理対象となるビデオを編集する。

【0034】

本開示の実施例によって提供されるビデオ処理方法において、処理対象となるビデオの編集参照トラックがビデオ編集ウィンドウから取り外されたことを検出した場合、当該ビデオ編集ウィンドウの底部領域にマスクを表示し、編集参照トラックはビデオトラック及び／又はオーディオトラックを含む。そして、ビデオ編集ウィンドウにおける時間軸に基づいて、マスクに処理対象となるビデオの編集参照トラックを表示し、当該マスクに表示される編集参照トラックは、ユーザーがビデオ編集ウィンドウにおいて処理対象となるビデオを編集することを補助するために用いられる。このように、本開示の実施例によって提供されるビデオ処理方法によれば、編集参照トラックがビデオ編集ウィンドウから取り外された場合、マスクの形態で編集参照トラックを再表示することができ、ユーザーによるビデオ処理への影響を低減して、ユーザーエクスペリエンスを向上させる。

【0035】

実際の適用において、編集参照トラックがオーディオトラックを含む場合、マスクに処理対象となるビデオのオーディオトラックを所定の形態で表示する。

【0036】

可能な実施形態において、処理対象となるビデオのオーディオトラックを可視線の形態で表示する。具体的に、まず、処理対象となるビデオのオーディオトラックにおける、ターゲットオーディオデータが存在する時点を決定し、その後、当該ターゲットオーディオデータが存在する時点に基づいて、当該処理対象となるビデオのオーディオトラックに対してターゲットオーディオ可視線を生成する。当該ターゲットオーディオ可視線は、当該処理対象となるビデオにおける、当該ターゲットオーディオデータの再生位置を可視化するために用いられる。つまり、ターゲットオーディオ可視線によって、処理対象となるビデオにおける、ターゲットオーディオデータが存在する位置、例えば、処理対象となるビデオにおける、背景音楽の再生位置を決定することができる。

【0037】

図２に示すように、本開示の実施例によって提供されるビデオ編集ウィンドウの効果概略図であり、ビデオ編集ウィンドウの底部領域にはマスクが表示され、マスクには、ビデオトラック及びターゲットオーディオ可視線が同時に表示される。ターゲットオーディオ可視線は、少なくとも１本の線分を含み、ビデオトラックは、メインビデオトラック及びピクチャインピクチャトラックを含む。

【0038】

無論、いくつかの実施形態において、ビデオ編集ウィンドウの底部領域のマスクにはビデオトラックのみが表示されてもよいし、ターゲットオーディオ可視線のみが表示されてもよく、本開示の実施例はおいて、これを限定していない。

【0039】

また、本開示の実施例におけるターゲットオーディオデータは、音楽タイプのオーディオデータ、及び／又は音響効果タイプのオーディオデータを含む。

【0040】

具体的に、音楽タイプのオーディオデータは一般的に、例えば歌曲、軽音楽などの電子音楽であり、本開示の実施例において、処理対象となるビデオのオーディオトラックにおける、ターゲットオーディオデータが存在する時点を決定するステップは、処理対象となるビデオのオーディオトラックにおける、音楽タイプのオーディオデータが存在する時点を決定するステップを含む。オーディオトラックは、少なくとも１つの音楽タイプのオーディオトラックを含むことができる。

【0041】

音響効果タイプのオーディオデータは一般的に、特殊効果オーディオ、吹き替え、テキスト朗読など、例えば、猫の鳴き声のような特殊効果オーディオ「ニャー～」である。本開示の実施例において、処理対象となるビデオのオーディオトラックにおける、ターゲットオーディオデータが存在する時点を決定するステップは、処理対象となるビデオのオーディオトラックにおける、音響効果タイプのオーディオデータが存在する時点を決定するステップを含む。オーディオトラックは少なくとも１本の音響効果タイプのオーディオトラックを含む。

【0042】

可能な実施形態において、処理対象となるビデオにおける、ターゲットオーディオデータが存在するオーディオトラックが１本しかない場合、当該オーディオトラックにおける、ターゲットオーディオデータが存在する時点を、処理対象となるビデオのオーディオトラックにおける、ターゲットオーディオデータが存在する時点として決定すればよい。

【0043】

別の可能な実施形態において、処理対象となるビデオにおける、ターゲットオーディオデータが存在するオーディオトラックは、少なくとも２本のオーディオトラックを含み、以下、第１のオーディオトラック及び第２のオーディオトラックを例とすると、当該処理対象となるビデオのオーディオトラックにおける、ターゲットオーディオデータが存在する時点を決定するステップは、具体的に以下のステップを含む。

【0044】

まず、第１のオーディオトラックにおける、ターゲットオーディオデータが存在する時点、及び第２のオーディオトラックにおける、ターゲットオーディオデータが存在する時点をそれぞれ決定して、当該第１のオーディオトラックにおける、ターゲットオーディオデータが存在する時点と、当該第２のオーディオトラックにおける、ターゲットオーディオデータが存在する時点とをマージして、マージ後時点を取得し、最後、マージ後時点に基づいて、当該処理対象となるビデオに対してターゲットオーディオ可視線を生成する。

【0045】

図３に示すように、本開示の実施例によって提供される複数のオーディオトラックにおける、ターゲットオーディオデータが存在する時点をマージする概略図であり、第１のオーディオトラックは、オーディオデータＡ及びオーディオデータＢを含み、第２のオーディオトラックは、オーディオデータＣを含み、時間軸に基づいてオーディオデータＡ、オーディオデータＢ及びオーディオデータＣにそれぞれ対応する時点をマージした後、マージ後時点、即ち、オーディオデータＡ、オーディオデータＢ又はオーディオデータＣが存在する時点を取得する。オーディオデータＡ、オーディオデータＢ及びオーディオデータＣにそれぞれ対応する時点をマージするステップは、具体的に、処理対象となるビデオにおける、オーディオデータＡ、オーディオデータＢ及びオーディオデータＣのうちの少なくとも１つが存在する時点を保留して、ターゲットオーディオ可視線を構成する。

【0046】

可能な実施形態において、ターゲットオーディオデータは、音楽タイプのオーディオデータ及び音響効果タイプのオーディオデータを含むため、本開示の実施例において、音楽タイプのオーディオデータ及び音響効果タイプのオーディオデータに対してそれぞれ、対応する可視線を生成する。具体的に、処理対象となるビデオのオーディオトラックにおける、音楽タイプのオーディオデータが存在する時点に基づいて、音楽オーディオ可視線を生成するとともに、処理対象となるビデオのオーディオトラックにおける、音響効果タイプのオーディオデータが存在する時点に基づいて、音響効果オーディオ可視線を生成する。

【0047】

図４に示すように、本開示の実施例によって提供される別のビデオ編集ウィンドウの効果概略図である。ビデオ編集ウィンドウのマスクには、同一時間軸に基づいて、メインビデオトラック、ピクチャインピクチャトラック、音楽タイプのオーディオ可視線Ｌ１及び音響効果タイプのオーディオ可視線Ｌ２が表示される。

【0048】

本開示の実施例によって提供されるビデオ処理方法によれば、オーディオトラックにおける、ターゲットオーディオデータが存在する時点を可視線の形態でユーザーに呈示することができ、ビデオ処理に影響を与えないことを前提として、ビデオ編集ウィンドウの表示効果を最適化し、ユーザーの操作を容易にし、ユーザーエクスペリエンスを向上させる。

【0049】

実際の適用において、ビデオを処理する過程で、音楽リズムポイントは、１つの重要な参照要素であるため、本開示の実施例において、ビデオ編集ウィンドウにおける時間軸に基づいて、マスクにターゲットオーディオ可視線を表示する前に、処理対象となるビデオの音楽リズムポイントを決定してから、音楽リズムポイントを呈示する必要があり、ユーザーによるビデオ処理を容易にし、ユーザーエクスペリエンスを向上させる。

【0050】

具体的に、ターゲットオーディオデータが音楽タイプのオーディオデータである場合、処理対象となるビデオのオーディオトラックにおける、ターゲットオーディオデータが存在する時点から音楽リズムポイントを決定してから、音楽タイプのオーディオ可視線において音楽リズムポイントをマークする。

【0051】

音楽リズムポイントは、音楽におけるリズムやメロディーなどをマークするために用いられる。音楽リズムポイントは予め自動的に生成されてもよいし、ユーザーによって手動で決定されてもよく、これを限定していない。

【0052】

可能な実施形態において、処理対象となるビデオにおける、音楽タイプのオーディオデータが存在するオーディオトラックが１本しかない場合、当該オーディオトラック上の音楽リズムポイントを、処理対象となるビデオの音楽リズムポイントとして決定する。

【0053】

別の可能な実施形態において、処理対象となるビデオにおける、音楽タイプのオーディオデータが存在するオーディオトラックは、少なくとも２本のオーディオトラックを含み、以下、第３のオーディオトラック及び第４のオーディオトラックを例とすると、時間軸に基づいて第３のオーディオトラック及び第４のオーディオトラック上の音楽リズムポイントを重ね合わせて、処理対象となるビデオにおける音楽リズムポイントを決定する。図４に示すように、音楽タイプのオーディオトラックには音楽リズムポイントが既にマークされている。

【0054】

本開示の実施例によって提供されるビデオ処理方法において、マスクにおいて、ユーザーにターゲットオーディオ可視線を呈示するだけでなく、音楽リズムポイントを呈示し、ビデオ処理に影響を与えないことを前提として、ビデオ編集ウィンドウの表示効果を最適化し、ユーザーの操作を容易にし、ユーザーエクスペリエンスを向上させることができる。

【0055】

上記の方法実施例と同じ発明構想に基づいて、本開示は、ビデオ処理装置をさらに提供し、図５を参照し、本開示の実施例によるビデオ処理装置の構成概略図であり、当該装置は、
処理対象となるビデオのビデオトラックがビデオ編集ウィンドウから取り外されたことを検出した場合、当該ビデオ編集ウィンドウの底部領域にマスクを表示する第１の表示モジュール５０１と、
当該ビデオ編集ウィンドウにおける時間軸に基づいて、当該マスクに当該処理対象となるビデオの編集参照トラックを表示する第２の表示モジュール５０２であって、当該編集参照トラックは、ビデオトラック及び／又はオーディオトラックを含み、当該編集参照トラックは、ユーザーが当該ビデオ編集ウィンドウにおいて当該処理対象となるビデオを編集することを補助するために用いられる第２の表示モジュール５０２と、を含む。

【0056】

可能な実施形態において、上記の装置は、
前記ビデオ編集ウィンドウから取り外された前記編集参照トラックが、前記ビデオ編集ウィンドウに再度移し入れられたことを検出した場合、前記マスク及び前記マスクに表示された前記編集参照トラックを隠す隠しモジュールをさらに含む。

【0057】

可能な実施形態において、上記の第２の表示モジュール５０２は具体的に、
ビデオ編集ウィンドウにおける時間軸に基づいて、マスクに処理対象となるビデオのオーディオトラックを所定の形態で表示する。

【0058】

可能な実施形態において、上記の装置は、
前記処理対象となるビデオのオーディオトラックにおけるターゲットオーディオデータが存在する時点を決定する第１の決定モジュールであって、当該ターゲットオーディオデータは音楽タイプのオーディオデータ又は音響効果タイプのオーディオデータを含む第１の決定モジュールと、
ターゲットオーディオデータが存在する時点に基づいて、処理対象となるビデオのオーディオトラックに対してターゲットオーディオ可視線を生成する生成モジュールであって、当該ターゲットオーディオ可視線は、当該処理対象となるビデオにおける当該ターゲットオーディオデータの再生位置を可視化するために用いられる生成モジュールと、
をさらに含み、
相応的に、上記の第２の表示モジュール５０２は具体的に、
ビデオ編集ウィンドウにおける時間軸に基づいて、マスクに上記のターゲットオーディオ可視線を表示する。

【0059】

可能な実施形態において、上記の処理対象となるビデオのオーディオトラックは、第１のオーディオトラック及び第２のオーディオトラックを含み、上記の第１の決定モジュールは、
当該第１のオーディオトラック及び当該第２のオーディオトラックにおける、ターゲットオーディオデータが存在する時点をそれぞれ決定する第１の決定サブモジュールと、
当該第１のオーディオトラック及び当該第２のオーディオトラックにおける、ターゲットオーディオデータが存在する時点をマージして、マージ後時点を取得するマージサブモジュールと、を含み、
相応的に、上記の生成モジュールは具体的に、
上記のマージ後時点に基づいて、処理対象となるビデオに対してターゲットオーディオ可視線を生成する。

【0060】

可能な実施形態において、上記のターゲットオーディオデータは、音楽タイプのオーディオデータを含み、上記の装置は、
上記のターゲットオーディオ可視線において音楽リズムポイントをマークするマークモジュールをさらに含む。

【0061】

可能な実施形態において、上記のターゲットオーディオデータは、音響効果タイプのオーディオデータを含む。

【0062】

本開示の実施例によって提供されるビデオ処理装置において、処理対象となるビデオの編集参照トラックがビデオ編集ウィンドウから取り外されたことを検出した場合、当該ビデオ編集ウィンドウの底部領域にマスクを表示し、編集参照トラックはビデオトラック及び／又はオーディオトラックを含む。そして、当該ビデオ編集ウィンドウにおける時間軸に基づいて、当該マスクに当該処理対象となるビデオの編集参照トラックを表示し、当該マスクに表示される編集参照トラックは、ユーザーがビデオ編集ウィンドウにおいて処理対象となるビデオを編集することを補助するために用いられる。このように、本開示の実施例によって提供されるビデオ処理装置において、編集参照トラックがビデオ編集ウィンドウから取り外された場合、マスクの形態で編集参照トラックを再表示することができ、ユーザーによるビデオ処理への影響を低減して、ユーザーエクスペリエンスを向上させる。

【0063】

上記の方法及び装置に加えて、本開示の実施例はコンピュータ可読記憶媒体をさらに提供し、コンピュータ可読記憶媒体には指令が記憶され、当該指令が端末機器で実行されると、当該端末機器に本開示の実施例によって提供されるビデオ処理方法の何れかの実施形態を実現させる。

【0064】

また、本開示の実施例は、ビデオ処理機器をさらに提供し、図６に示すように、
プロセッサー６０１、メモリ６０２、入力装置６０３及び出力装置６０４を含む。ビデオ処理機器におけるプロセッサー６０１の数は１つ又は複数であってもよく、図６において１つのプロセッサーを例とする。本開示のいくつかの実施例において、プロセッサー６０１、メモリ６０２、入力装置６０３及び出力装置６０４は、バス又は他の方式で接続されてもよく、図６において、バスによる接続を例とする。

【0065】

メモリ６０２は、ソフトウェアプログラム及びモジュールを記憶し、プロセッサー６０１は、メモリ６０２に記憶されたソフトウェアプログラム及びモジュールを実行することで、ビデオ処理機器の様々な機能アプリケーション及びデータ処理を実行する。メモリ６０２は主にプログラム記憶領域及びデータ記憶領域を含み、プログラム記憶領域にはオペレーティングシステム、少なくとも１つの機能に必要なアプリケーションプログラムなどが記憶される。さらに、メモリ６０２は、高速ランダムアクセスメモリを含むことができ、また、不揮発性メモリ、例えば少なくとも１つの磁気ディスクメモリ、フラッシュメモリデバイス、又は他の揮発性固体メモリを含むこともできる。入力装置６０３は、入力された数字又は文字情報を受信し、ビデオ処理機器のユーザー設置及び機能制御に関する信号入力を生成することができる。

【0066】

具体的に、本実施例において、プロセッサー６０１は、以下の指令に従って、１つ以上のアプリケーションプログラムのプロセスに対応する実行可能なファイルをメモリ６０２にロードして、プロセッサー６０１によってメモリ６０２に記憶されたアプリケーションプログラムを実行し、それにより、上記のビデオ処理機器の様々な機能を実現する。

【0067】

なお、本明細書において、「第１」、「第２」などのような関係用語は、１つのエンティティ又は操作を他のエンティティ又は操作と区別するためのものであり、これらのエンティティ又は操作同士の間にはこのような実際の関係又は順序があるように要求又は暗示するとは限らない。また、用語である「含む」、「包含」又はそれらの任意の他の変形は非排他的な包含を含むことを意図しており、それにより、一連の要素を含む過程、方法、品物又は機器はそれらの要素を含むだけでなく、更に明確に列挙されていない他の要素を含み、或いは、更にこのような過程、方法、品物又は設備に固有の要素を含む。これ以上限定しない限り、「○○を含む」という文で限定された要素は、該要素を含む過程、方法、品物又は機器には更に別の同じ要素があることを排除しない。

【0068】

以上は、本開示の具体的な実施形態のみであり、当業者が本開示を理解又は実現できるようにする。これらの実施例に対する様々な修正は、当業者にとって自明であり、本明細書で定義された一般的な原理は、本開示の精神又は範囲を逸脱することなく、他の実施例において実現されてもよい。従って、本開示は、本明細書に記載のこれらの実施例に限定されず、本明細書が開示した原理及び新規特点と一致する、最も幅広い範囲に合う。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】