特許 7566937 ビデオ処理方法、装置、機器及びコンピュータ可読記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-04

(45)【発行日】2024-10-15

(54)【発明の名称】ビデオ処理方法、装置、機器及びコンピュータ可読記憶媒体

(51)【国際特許分類】

   H04N 23/60 20230101AFI20241007BHJP

   H04N 5/765 20060101ALI20241007BHJP

   H04N 5/91 20060101ALI20241007BHJP

【ＦＩ】

H04N23/60 500

H04N5/765

H04N5/91

【請求項の数】 8

(21)【出願番号】P 2022579697

(86)(22)【出願日】2021-06-23

(65)【公表番号】

(43)【公表日】2023-07-25

(86)【国際出願番号】 CN2021101896

(87)【国際公開番号】W WO2021259333

(87)【国際公開日】2021-12-30

【審査請求日】2023-01-12

(31)【優先権主張番号】202010582609.X

(32)【優先日】2020-06-23

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】520476341

【氏名又は名称】北京字節跳動網絡技術有限公司

【氏名又は名称原語表記】Ｂｅｉｊｉｎｇ Ｂｙｔｅｄａｎｃｅ Ｎｅｔｗｏｒｋ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ．

【住所又は居所原語表記】Ｒｏｏｍ Ｂ－００３５， ２／Ｆ， Ｎｏ．３ Ｂｕｉｌｄｉｎｇ， Ｎｏ．３０， Ｓｈｉｘｉｎｇ Ｒｏａｄ， Ｓｈｉｊｉｎｇｓｈａｎ Ｄｉｓｔｒｉｃｔ Ｂｅｉｊｉｎｇ １０００４１ Ｃｈｉｎａ

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】ワン，ヤン

【審査官】越河 勉

(56)【参考文献】

【文献】特開２０１１－１７０６９０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／６０

Ｈ０４Ｎ ５／７６５

Ｈ０４Ｎ ５／９１

(57)【特許請求の範囲】

【請求項1】

処理対象映像を取得するステップと、
前記処理対象映像に応じて、目標映像と、前記目標映像に対応するオーディオに作用する特殊効果、隣接する映像間のクリッピング点に作用する特殊効果、単一映像内に作用する特殊効果、クリッピング映像全体に作用する特殊効果のうちの１つ又は複数を含む目標クリッピング方式とを決定するステップと、
前記目標クリッピング方式に応じて、前記目標映像をクリッピングして、目標ビデオを取得するステップと、を含み、
前記処理対象映像に応じて、目標映像及び目標クリッピング方式を決定するステップは、
前記処理対象映像及びプリセットの複数のクリッピング方式に対応する内容カテゴリタグをそれぞれ決定するステップと、
前記処理対象映像及びプリセットの複数のクリッピング方式に対応する内容カテゴリタグに応じて、前記目標映像及び目標クリッピング方式を決定するステップと、を含み、
前記処理対象映像及びプリセットの複数のクリッピング方式に対応する内容カテゴリタグに応じて、前記目標映像及び目標クリッピング方式を決定するステップは、
プリセットのタグマッチングアルゴリズムを用いて、前記プリセットの複数のクリッピング方式に対応する内容カテゴリタグに応じて、前記処理対象映像に対応する内容カテゴリタグとのマッチング度がプリセットの閾値を超えるクリッピング方式グループを決定して、前記処理対象映像及び前記クリッピング方式グループを含む第１マッチンググループを取得するステップと、
前記処理対象映像に対応する内容カテゴリタグに応じて、前記プリセットの複数のクリッピング方式に対応する内容カテゴリタグとのマッチング度がプリセットの閾値を超える処理対象映像グループを決定して、前記処理対象映像グループ及び前記プリセットの複数のクリッピング方式を含む第２マッチンググループを取得するステップと、
前記第１マッチンググループ及び前記第２マッチンググループに応じて、前記目標映像及び前記目標クリッピング方式を決定するステップと、を含む、
ことを特徴とするビデオ処理方法。

【請求項2】

前記第１マッチンググループ及び前記第２マッチンググループに応じて、前記目標映像及び前記目標クリッピング方式を決定するステップは、
前記第１マッチンググループと前記第２マッチンググループとの共通集合グループを計算し、前記共通集合グループにおける処理対象映像及びクリッピング方式を前記目標映像及び前記目標クリッピング方式とするステップを含む、
ことを特徴とする請求項１に記載のビデオ処理方法。

【請求項3】

前記第１マッチンググループと前記第２マッチンググループとの共通集合グループを計算するステップの後、さらに、
前記共通集合グループにおける処理対象映像の数がプリセットの処理対象映像数の閾値より小さい場合、プリセットの複数のクリッピング方式から、前記処理対象映像に対応する内容カテゴリタグとのマッチング度がプリセットの閾値を超えるクリッピング方式グループを決定した後、前記クリッピング方式グループに応じて、前記処理対象映像に対して選別操作を行って、前記クリッピング方式グループに対応する前記目標映像を取得し、前記クリッピング方式グループを前記目標クリッピング方式とするステップを含む、
ことを特徴とする請求項２に記載のビデオ処理方法。

【請求項4】

目標映像及び目標クリッピング方式を決定するステップは、
ユーザによってトリガされたテンプレート選択操作に応じて決定される目標クリッピング方式を取得するステップと、
プリセットのタグマッチングアルゴリズムを用いて、前記処理対象映像内で、前記目標クリッピング方式に対応する前記目標映像をマッチングするステップと、を含む、
ことを特徴とする請求項１～請求項３のいずれか１項に記載のビデオ処理方法。

【請求項5】

処理対象映像を取得するための取得モジュールと、
前記処理対象映像に応じて、目標映像と、前記目標映像に対応するオーディオに作用する特殊効果、隣接する映像間のクリッピング点に作用する特殊効果、単一映像内に作用する特殊効果、クリッピング映像全体に作用する特殊効果のうちの１つ又は複数を含む目標クリッピング方式とを決定するための決定モジュールと、
前記目標クリッピング方式に応じて、前記目標映像をクリッピングして、目標ビデオを取得するためのクリッピングモジュールと、を含み、
前記決定モジュールは、タグ決定ユニット及びマッチングユニットをさらに含み、前記タグ決定ユニットは、前記処理対象映像及びプリセットの複数のクリッピング方式に対応する内容カテゴリタグをそれぞれ決定することに用いられ、前記マッチングユニットは、前記処理対象映像及びプリセットの複数のクリッピング方式に対応する内容カテゴリタグに応じて、前記目標映像及び目標クリッピング方式を決定することに用いられ、
前記マッチングユニットは、プリセットのタグマッチングアルゴリズムを用いて、前記プリセットの複数のクリッピング方式に対応する内容カテゴリタグに応じて、前記処理対象映像に対応する内容カテゴリタグとのマッチング度がプリセットの閾値を超えるクリッピング方式グループを決定して、前記処理対象映像及び前記クリッピング方式グループを含む第１マッチンググループを取得し、前記処理対象映像に対応する内容カテゴリタグに応じて、前記プリセットの複数のクリッピング方式に対応する内容カテゴリタグとのマッチング度がプリセットの閾値を超える処理対象映像グループを決定して、前記処理対象映像グループ及び前記プリセットの複数のクリッピング方式を含む第２マッチンググループを取得し、前記第１マッチンググループ及び前記第２マッチンググループに応じて、前記目標映像及び前記目標クリッピング方式を決定することに用いられる、
ことを特徴とするビデオ処理装置。

【請求項6】

メモリ及びプロセッサを含むサーバであって、
前記メモリは、前記プロセッサで実行可能な命令を記憶するように構成され、
前記プロセッサで実行可能な前記命令は、前記プロセッサによって実行されるとき、前記サーバに、請求項１～請求項４のいずれか１項に記載のビデオ処理方法を実行させる、
ことを特徴とするサーバ。

【請求項7】

プロセッサによって実行されると、請求項１～請求項４のいずれか１項に記載のビデオ処理方法を実現するためのコンピュータ実行命令が記憶されている、
ことを特徴とするコンピュータ可読記憶媒体。

【請求項8】

プロセッサによって実行されると、請求項１～請求項４のいずれか１項に記載のビデオ処理方法が実現される、
ことを特徴とするコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、人工機能の分野に関し、特に、ビデオ処理方法、装置、機器、コンピュータ可読記憶媒体、コンピュータプログラム製品及びコンピュータプログラムに関する。

【背景技術】

【0002】

科学技術の発展に伴い、ますます多くのアプリケーションソフトウェアがユーザの生活に使用されるようになって、ユーザのレジャー生活が徐々に豊かになり、例えば、ショートビデオＡＰＰ（Ａｐｐｌｉｃａｔｉｏｎ）などがある。ユーザは、ビデオなどの方式を用いて生活を記録し、ショートビデオＡＰＰにアップロードすることができる。

【0003】

従来のショートビデオ作成方法は、一般に、ユーザが自分でアルバムから適切なビデオ又は写真を探し出し、大量のクリッピング方式から適切なクリッピング方式を選択する必要がある。当該クリッピング方式にしたがって、ビデオ又は写真を手動でクリッピングする。

【0004】

しかし、上記のショートビデオ作成方法は、ユーザの専門レベルに対する要求が高い場合が多く、一般のユーザは、専門レベルのショートビデオを作成するのが難しい。また、上記のショートビデオ作成方法は、操作が煩雑であるため、ユーザのエクスペリエンスが悪い。

【発明の概要】

【発明が解決しようとする課題】

【0005】

本開示は、従来のビデオ処理方法の処理難易度が高く、操作が煩雑であるという技術的問題を解決するために、ビデオ処理方法、装置、機器、コンピュータ可読記憶媒体、コンピュータプログラム製品及びコンピュータプログラムを提供する。

【課題を解決するための手段】

【0006】

本開示の第１態様では、ビデオ処理方法を提供し、当該方法は、
処理対象映像を取得するステップと、
前記処理対象映像に応じて、目標映像と、前記目標映像に対応するオーディオに作用する特殊効果、隣接する映像間のクリッピング点に作用する特殊効果、単一映像内に作用する特殊効果、クリッピング映像全体に作用する特殊効果のうちの１つ又は複数を含む目標クリッピング方式とを決定するステップと、
前記目標クリッピング方式に応じて、前記目標映像をクリッピングして、目標ビデオを取得するステップと、を含む。

【0007】

本開示の第２態様では、ビデオ処理装置を提供し、当該装置は、
処理対象映像を取得するための取得モジュールと、
前記処理対象映像に応じて、目標映像と、前記目標映像に対応するオーディオに作用する特殊効果、隣接する映像間のクリッピング点に作用する特殊効果、単一映像内に作用する特殊効果、クリッピング映像全体に作用する特殊効果のうちの１つ又は複数を含む目標クリッピング方式とを決定するための決定モジュールと、
前記目標クリッピング方式に応じて、前記目標映像をクリッピングして、目標ビデオを取得するためのクリッピングモジュールと、を含む。

【0008】

本開示の第３態様では、サーバを提供し、メモリ及びプロセッサを含み、
ここで、前記メモリは、前記プロセッサで実行可能な命令を記憶するように構成され、かつ、
前記プロセッサは、前記命令を実行する際に、第１態様に記載のビデオ処理方法を実現するために用いられるように構成される。

【0009】

本開示の第４態様では、コンピュータ実行命令が記憶されているコンピュータ可読記憶媒体を提供し、前記コンピュータ実行命令は、プロセッサによって実行される際に、第１態様に記載のビデオ処理方法を実現するために用いられる。

【0010】

本開示の第５態様では、コンピュータプログラムを含むコンピュータプログラム製品を提供し、前記コンピュータプログラムは、プロセッサによって実行されると、第１態様に記載のビデオ処理方法を実現するために用いられる。

【0011】

本開示の第６態様では、コンピュータプログラムを提供し、前記コンピュータプログラムは、プロセッサに実行されると、第１態様に記載のビデオ処理方法を実現するために用いられる。

【0012】

本開示にて提供されるビデオ処理方法、装置、機器、コンピュータ可読記憶媒体、コンピュータプログラム製品及びコンピュータプログラムは、処理対象映像を取得し、前記処理対象映像に応じて、目標映像及び目標クリッピング方式を決定する。それにより、自動で前記目標クリッピング方式に応じて前記目標映像をクリッピングして、目標ビデオを取得することができる。ここで、前記目標クリッピング方式には、前記目標映像に対応するオーディオに作用する特殊効果、隣接する映像間のクリッピング点に作用する特殊効果、単一映像内に作用する特殊効果、クリッピング映像全体に作用する特殊効果のうちの１つ又は複数が含まれる。ユーザが手動でクリッピングする必要がなく、ビデオ処理の操作ステップを簡略化し、ユーザのエクスペリエンスを向上させる。また、前記目標クリッピング方式で目標映像をクリッピングして生成した目標ビデオは、ビデオの品質が高く、ユーザの専門性に対する要求を低くすることができる。

【図面の簡単な説明】

【0013】

本開示の実施例又は既存技術における技術案をより明確に説明するために、以下では、実施例の説明に必要な図面を簡単に紹介するが、明らかに、以下の説明における図面は、本開示の一部の実施例であり、当業者であれば、これらの図面から他の図面を取得することもできる。

【図1】本開示の実施例１にて提供されるビデオ処理方法の概略フローチャートである。

【図2】ビデオ処理装置がサーバに結合された場合に本開示が基とするシステムアーキテクチャ図である。

【図3】本開示の一実施例にて提供される表示画面の概略図である。

【図4】本開示の別の実施例にて提供される表示画面の概略図である。

【図5】本開示の実施例２にて提供されるビデオ処理方法の概略フローチャートである。

【図6】本開示の実施例にて提供される目標クリッピング方式マッチングの概略図である。

【図7】本開示の実施例３にて提供されるビデオ処理方法の概略フローチャートである。

【図8】本開示の実施例４にて提供されるビデオ処理装置の概略構造図である。

【図9】本開示の実施例５にて提供されるビデオ処理装置の概略構造図である。

【図10】本開示の実施例６にて提供されるビデオ処理装置の概略構造図である。

【図11】本開示の実施例７にて提供されるサーバの概略構造図である。

【発明を実施するための形態】

【0014】

本開示の目的、技術案及び利点を明確にするために、以下では、本開示の実施例における図面を参照しながら、本開示の実施例における技術案を明確かつ完全に説明するが、説明された実施例は、本開示の実施例の一部にすぎず、実施例全部ではないことは明らかである。本開示の実施例に基づいて得られる他の全ての実施例は、本開示の保護範囲に属する。

【0015】

本開示は、上記言及された従来のビデオ処理方法の、処理難易度が高く、操作が煩雑であるという技術的問題に対して、ビデオ処理方法、装置、機器、コンピュータ可読記憶媒体、コンピュータプログラム製品及びコンピュータプログラムを提供する。

【0016】

なお、本願にて提供されるビデオ処理方法、装置、機器、コンピュータ可読記憶媒体、コンピュータプログラム製品及びコンピュータプログラムは、任意のビデオクリッピングのシーンに適用することができる。

【0017】

従来のショートビデオアプリケーションでは、ユーザがビデオを配信したい場合、まず、アルバムから適切なビデオや写真を選択し、手動でクリッピングして、画面切り替え、特殊効果、フィルタなどの内容を添加する必要があり、操作が煩雑であることが多い。そして、ユーザのビデオクリッピングの専門性に対する上記の方法の要求は高く、ビデオをクリッピングすることができない人は、効果的なビデオを作成できない。

【0018】

上記の技術的問題を解決する過程において、発明者らは研究により、ビデオをクリッピングする効率及び効果を向上させ、ユーザの手動操作を減らすために、自動で処理対象映像を取得し、自動で処理対象映像に応じて目標映像及び目標クリッピング方式を決定して、ビデオの自動クリッピングを実現できることを見出した。

【0019】

発明者らは更なる研究により、処理対象映像を取得し、当該処理対象映像に応じて、目標映像及び目標クリッピング方式を決定することを見出した。それにより、自動で当該目標クリッピング方式に応じて目標映像をクリッピングして、目標ビデオを取得することができる。ここで、目標クリッピング方式には、目標映像に対応するオーディオに作用する特殊効果、隣接する映像間のクリッピング点に作用する特殊効果、単一映像内に作用する特殊効果、クリッピング映像全体に作用する特殊効果のうちの１つ又は複数が含まれる。ユーザが手動でクリッピングする必要がなく、それにより、ビデオ処理の操作ステップを簡略化し、ユーザのエクスペリエンスを向上させる。また、当該目標クリッピング方式で目標映像をクリッピングして生成した目標ビデオは、ビデオの品質が高く、ユーザの専門性に対する要求を低くすることができる。

【0020】

図１は、本開示の実施例１にて提供されるビデオ処理方法の概略フローチャートであり、図１に示すように、前記方法は、ステップ１０１～ステップ１０３を含む。

【0021】

ステップ１０１において、処理対象映像を取得する。

【0022】

本実施例の実行主体は、ビデオ処理装置であってもよく、当該ビデオ処理装置は、サーバ又は端末機器に結合されてもよい。

【0023】

図２は、ビデオ処理装置がサーバに結合された場合に本開示が基とするシステムアーキテクチャ図であり、図２に示すように、本開示が基とするシステムアーキテクチャは、少なくとも端末機器１と、ビデオ処理装置が設置されているサーバ２とを含む。ここで、ビデオ処理装置内の対応するソフトウェア、プログラム又は命令などは、Ｃ／Ｃ＋＋、Ｊａｖａ（登録商標）、Ｓｈｅｌｌ又はＰｙｔｈｏｎなどの言語を用いて記述され、端末機器１は、例えばデスクトップ型コンピュータ、タブレット型コンピュータなどの機器であってもよい。端末機器１はサーバ２に通信可能に接続されることにより、サーバ２と情報のやり取りを行うことができる。

【0024】

本実施形態において、ビデオ処理の効率及び品質を高め、ユーザの手動操作を減らすために、ビデオ処理装置は、具体的にビデオ及びピクチャを含み得る処理対象映像を取得することができる。ビデオ処理装置がサーバに結合された場合、当該処理対象映像は、ビデオ処理装置が端末機器から取得するものであってもよい。ビデオ処理装置が端末機器に結合された場合、当該処理対象映像は、ビデオ処理装置がプリセットの記憶経路から取得するものであってもよい。

【0025】

ここで、当該処理対象映像は、端末機器のアルバムに記憶されている映像データを自動でスキャンした後、映像データの内容カテゴリ情報に応じて、当該映像データに対して集約操作を行って取得するものである。具体的には、ユーザ端末機器における映像情報を取得できるようにするために、プリセットの時間間隔にしたがって、アルバムに記憶されている映像データを自動でスキャンして、処理対象映像を取得する。当該プリセットの時間間隔は、システムに設定されたデフォルト時間間隔であってもよいし、ユーザが実際のニーズに応じて設定したものであってもよく、例えば、３日、１週間などであり得る。

【0026】

ステップ１０２において、前記処理対象映像に応じて、目標映像と、目標映像に対応するオーディオに作用する特殊効果、隣接する映像間のクリッピング点に作用する特殊効果、単一映像内に作用する特殊効果、クリッピング映像全体に作用する特殊効果のうちの１つ又は複数を含む目標クリッピング方式とを決定する。

【0027】

本実施形態において、ビデオ処理装置は、処理対象映像を取得した後、当該処理対象映像に応じて目標映像及び目標クリッピング方式を決定することができ、当該目標クリッピング方式は、具体的には、目標映像をクリッピングするために用いられる。ここで、当該クリッピング方式には、クリッピングテンプレートが含まれ得る。

【0028】

ここで、当該目標クリッピング方式には、目標映像に対応するオーディオに作用する特殊効果、隣接する映像間のクリッピング点に作用する特殊効果、単一映像内に作用する特殊効果、クリッピング映像全体に作用する特殊効果のうちの１つ又は複数が含まれる。

【0029】

当該目標クリッピング方式に上記の１つ又は複数の特殊効果が含まれるため、当該目標クリッピング方式に応じてクリッピングして取得する目標ビデオは効果的である。

【0030】

ステップ１０３において、前記目標クリッピング方式に応じて、前記目標映像をクリッピングして、目標ビデオを取得する。

【0031】

本実施形態において、目標映像及び目標クリッピング方式を取得した後、ビデオ処理装置は、自動で当該目標クリッピング方式に応じて目標映像をクリッピングして、目標ビデオを取得することができる。ユーザの手動操作を必要とせず、効果的な目標ビデオを自動で生成することができ、ユーザのエクスペリエンスを向上させる。

【0032】

選択可能に、ビデオ処理装置がサーバに結合された場合、ビデオ処理装置は、当該目標映像と目標クリッピング方式とを共に端末機器に送信することができる。それにより、端末機器は、当該目標クリッピング方式及び目標映像を取得した後、自動で当該目標クリッピング方式に応じて目標映像をクリッピングして、目標ビデオを生成することができる。

【0033】

選択可能に、ビデオ処理装置がサーバに結合された場合、ビデオ処理装置は自動で当該目標クリッピング方式に応じて目標映像をクリッピングして、目標ビデオを取得し、当該目標ビデオを端末機器に送信して表示させる。

【0034】

実際の適用において、目標ビデオは異なるビデオカテゴリに対応し、例えば、風景カテゴリ、人物カテゴリなどであり得る。そのため、端末機器に当該目標ビデオを表示するとき、ユーザの目標ビデオに対する閲覧効率を高めるために、各目標ビデオに対応するビデオカテゴリをそれぞれ決定することができる。また、ビデオカテゴリにしたがって、目標ビデオを分類して、表示する。

【0035】

本願のビデオ処理方法は、さらに、以下のステップを含むように実施されてもよい。端末機器によって送信される処理対象映像を取得するステップと、各処理対象映像に対して分類操作を行い、カテゴリ情報に応じて、各処理対象映像に内容カテゴリタグを設定するステップと、各処理対象映像に対応する内容カテゴリタグに対して集約操作を行って、集約後の処理対象映像を取得するステップと、処理対象映像及びプリセットの複数のクリッピング方式に対応する内容カテゴリタグに対してマッチング操作を行って、処理対象映像に対応する目標クリッピング方式を取得するステップと、目標クリッピング方式及び目標映像を端末機器に送信するステップと、を含む。

【0036】

図３は、本開示の一実施例にて提供される表示画面の概略図であり、図３に示すように、当該ビデオカテゴリには、ビート合わせタイプ、旅行タイプ、映画効果タイプなどが含まれ得る。また、プリセットの時間閾値内の品質の高い目標ビデオを選別して、お勧めカテゴリとしてトップページに優先的に表示することができる。

【0037】

表示画面に各目標ビデオが表示された後、ユーザは、適切な目標ビデオを選択して編集又は配信することができる。具体的には、ユーザの目標ビデオに対するトリガ操作に応答し、当該トリガ操作に応じて、当該目標ビデオに対応する編集画面を表示画面に表示することができる。

【0038】

具体的には、ユーザは、当該編集画面でプリセットのアイコンをトリガすることにより、編集命令の入力を実現することができる。さらに、端末機器は、当該編集命令に応じて、目標ビデオを編集して、編集後の目標ビデオを取得することができる。当該編集後の目標ビデオは、ユーザの個性化ニーズにより適合することができる。

【0039】

対応して、目標ビデオを編集して、編集後の目標ビデオを取得した後、当該編集後の目標ビデオをプラットフォームに配信することができる。また、ビデオの配信中に、ユーザは実際のニーズに応じて、当該編集後の目標ビデオに異なる閲覧権限を設定することができ、例えば、当該閲覧権限には、誰でも閲覧可能、指定ユーザ閲覧可能、自分のみ閲覧可能、指定ユーザ閲覧不可などが含まれる。

【0040】

実施可能な形態として、編集後の目標ビデオを取得した後、当該編集後の目標ビデオを配信せず、当該編集後の目標ビデオをプリセットの記憶経路に格納してもよいし、当該編集後の目標ビデオを他のユーザが閲覧できるように共有してもよく、本開示では制限しない。

【0041】

図４は、本開示の別の実施例にて提供される表示画面の概略図であり、図４に示すように、編集画面には、音楽選択用アイコン、調整用アイコンが設置されており、ユーザは、当該アイコンをトリガすることにより、編集命令の生成を実現することができる。当該編集命令を取得した後、編集画面から編集詳細ページにジャンプし、ユーザは、当該編集詳細ページで、表示画面上の指示に応じて該当する編集操作を行うことができる。

【0042】

なお、対応する目標クリッピング方式が異なるため、異なる目標ビデオについて、異なる編集タイプを有する。ここで、編集タイプには、編集可能、部分的に編集可能、編集不可のうちのいずれか１つが含まれる。例を挙げると、目標ビデオが、ユーザの誕生日当日に作成されたビート合わせビデオであってもよく、ここで、背景音楽は「お誕生日おめでとう」、「ｈａｐｐｙ ｂｉｒｔｈｄａｙ」などの音声であってよく、対応して、そのクリッピング方式において、文字情報は誕生日に関連する文字であってもよい。この場合、背景音楽と文字情報とが高度にマッチングするため、当該目標ビデオでは、背景音楽及び文字情報の両方を自主的に編集することができないが、ユーザは、自ら目標ビデオ内のビデオ区間又はピクチャの順序を調整することができる。

【0043】

本実施例にて提供されるビデオ処理方法は、処理対象映像を取得し、当該処理対象映像に応じて、目標映像及び目標クリッピング方式を決定する。それにより、自動で当該目標クリッピング方式に応じて目標映像をクリッピングして、目標ビデオを取得することができる。ここで、目標クリッピング方式には、目標映像に対応するオーディオに作用する特殊効果、隣接する映像間のクリッピング点に作用する特殊効果、単一映像内に作用する特殊効果、クリッピング映像全体に作用する特殊効果のうちの１つ又は複数が含まれる。ユーザが手動でクリッピングする必要がなく、ビデオ処理の操作ステップを簡略化し、ユーザのエクスペリエンスを向上させる。また、当該目標クリッピング方式で目標映像をクリッピングして生成した目標ビデオは、ビデオの品質が高く、ユーザの専門性に対する要求を低くすることができる。

【0044】

図５は、本開示の実施例２にて提供されるビデオ処理方法の概略フローチャートであり、実施例１を基に、図５に示すように、ステップ１０２は、具体的に、
前記処理対象映像及びプリセットの複数のクリッピング方式に対応する内容カテゴリタグをそれぞれ決定するステップ２０１と、
前記処理対象映像及びプリセットの複数のクリッピング方式に対応する内容カテゴリタグに応じて、前記目標映像及び目標クリッピング方式を決定するステップ２０２と、を含む。

【0045】

本実施例において、処理対象映像及びプリセットの複数のクリッピング方式のそれぞれには内容カテゴリタグが対応しており、当該内容カテゴリタグは、風景、人物、グルメ、旅行、ペットなどを含むが、これらに限定されない。内容カテゴリの異なる処理対象映像について、内容カテゴリに関連するクリッピング方式をそれぞれ用いてビデオをクリッピングし、得られた目標ビデオの効果は、より優れている。

【0046】

したがって、処理対象映像を取得した後、処理対象映像及びプリセットの複数のクリッピング方式に対応する内容カテゴリタグをそれぞれ決定することができる。当該内容カテゴリタグに応じて、前記目標映像及び目標クリッピング方式を決定する。

【0047】

当該目標クリッピング方式は、処理対象映像に対応する内容カテゴリタグに応じてマッチング操作を行った後に得られるものであり、そのため、当該目標クリッピング方式と処理対象映像とのマッチング度が高い。当該目標クリッピング方式でクリッピングした後に生成されるビデオは効果的である。また、当該目標クリッピング方式には、目標映像に対応するオーディオに作用する特殊効果、隣接する映像間のクリッピング点に作用する特殊効果、単一映像内に作用する特殊効果、クリッピング映像全体に作用する特殊効果のうちの１つ又は複数が含まれるため、ユーザが上記の情報を手動で順番に選択する必要がなく、それにより、ビデオの生成効率を高め、ユーザのエクスペリエンスを向上させ、且つ、ユーザの専門性に対する要求が低い。

【0048】

具体的には、実施例１を基に、ステップ２０２は、具体的には、
プリセットのタグマッチングアルゴリズムを用いて、プリセットの複数のクリッピング方式に対応する内容カテゴリタグから前記処理対象映像に対応する内容カテゴリタグとのマッチング度がプリセットの閾値を超える目標クリッピング方式を決定するステップと、
前記目標クリッピング方式に応じて前記処理対象映像に対して選別操作を行って、前記目標クリッピング方式に対応する目標映像を取得するステップと、を含む。

【0049】

本実施例において、作成された目標ビデオの品質を高めるために、処理対象映像マッチングに応じて目標クリッピング方式を取得した後、さらに、続いて、当該目標クリッピング方式に応じて処理対象映像に対して選別・最適化操作を行って、処理対象映像と目標クリッピング方式とのマッチング度をより一層高めることもできる。

【0050】

具体的には、プリセットのタグマッチングアルゴリズムを用いて、プリセットの複数のクリッピング方式に対応する内容カテゴリタグから、処理対象映像に対応する内容カテゴリタグとのマッチング度がプリセットの閾値を超える目標クリッピング方式を決定することができる。例えば、各クリッピング方式に対応する内容カテゴリタグと処理対象映像に対応する内容カテゴリタグとの類似度をプリセットのタグマッチングアルゴリズムでそれぞれ計算し、類似度がプリセットの閾値を超えるクリッピング方式を当該目標クリッピング方式とすることができる。

【0051】

処理対象映像の数が多いため、目標クリッピング方式を取得した後、さらに、当該目標クリッピング方式に応じて処理対象映像に対して選別操作を行って、目標クリッピング方式に対応する目標映像を取得することができる。

【0052】

図６は、本開示の実施例にて提供される目標クリッピング方式マッチングの概略図であり、図６に示すように、処理対象映像の数は、４つであってもよく、プリセットのタグマッチングアルゴリズムを用いて、処理対象映像に、対応する目標クリッピング方式をマッチングする。次に、目標クリッピング方式に応じて、処理対象映像を逆方向に選別して、最終的に目標クリッピング方式に対応する２つの目標映像を得る。目標映像と目標クリッピング方式とのマッチング度をより一層高め、作成される目標ビデオの品質を高める。

【0053】

本実施例にて提供されるビデオ処理方法は、処理対象映像マッチングに応じて目標クリッピング方式を取得した後、さらに、続いて当該目標クリッピング方式に応じて処理対象映像に対する選別・最適化操作を行うことができる。それにより、目標映像と目標クリッピング方式とのマッチング度をより一層高め、作成された目標ビデオの品質を高めることができる。

【0054】

目標クリッピング方式及び目標映像に対する決定操作を実現するために、上記の実施例に記載の直列的なマッチング方法を用いてもよい一方、並列的なマッチング方法を用いてもよい。

【0055】

具体的には、実施例１を基に、ステップ２０２は、具体的には、
プリセットのタグマッチングアルゴリズムを用いて、前記プリセットの複数のクリッピング方式に対応する内容カテゴリタグに応じて、前記処理対象映像に対応する内容カテゴリタグとのマッチング度がプリセットの閾値を超えるクリッピング方式グループを決定して、前記処理対象映像及びクリッピング方式グループを含む第１マッチンググループを取得するステップと、
前記処理対象映像に対応する内容カテゴリタグに応じて、前記プリセットの複数のクリッピング方式に対応する内容カテゴリタグとのマッチング度がプリセットの閾値を超える処理対象映像グループを決定して、前記処理対象映像グループ及び前記プリセットの複数のクリッピング方式を含む第２マッチンググループを取得するステップと、
前記第１マッチンググループ及び前記第２マッチンググループに応じて、目標映像及び目標クリッピング方式を決定するステップと、を含む。

【0056】

本実施例において、プリセットのタグマッチングアルゴリズムを用いて、プリセットの複数のクリッピング方式に対応する内容カテゴリタグから、処理対象映像に対応する内容カテゴリタグとのマッチング度がプリセットの閾値を超えるクリッピング方式グループを決定して、処理対象映像及びクリッピング方式グループを含む第１マッチンググループを取得することができる。例えば、各クリッピング方式に対応する内容カテゴリタグと処理対象映像に対応する内容カテゴリタグとの類似度をプリセットのタグマッチングアルゴリズムでそれぞれ計算することができ、類似度がプリセットの閾値を超えるクリッピング方式を当該クリッピング方式グループとすることができる。

【0057】

これと同時に、プリセットのタグマッチングアルゴリズムを用いて、複数の処理対象映像からプリセットの複数のクリッピング方式とのマッチング度がプリセットの閾値を超える処理対象映像グループを決定することができ、それにより、処理対象映像グループ及びプリセットの複数のクリッピング方式を含む第２マッチンググループを取得する。なお、プリセットの複数のクリッピング方式におけるクリッピング方式の数は、クリッピング方式グループにおけるクリッピング方式の数より大きい。

【0058】

第１マッチンググループ及び第２マッチンググループを取得した後、第１マッチンググループ及び第２マッチンググループに応じて目標クリッピング方式及び目標映像を決定することができる。

【0059】

さらに、上記のいずれかの実施例を基に、前記第１マッチンググループ及び前記第２マッチンググループに応じて、目標映像及び目標クリッピング方式を決定するステップは、
前記第１マッチンググループと前記第２マッチンググループとの共通集合グループを計算し、前記共通集合グループにおける処理対象映像及びクリッピング方式を前記目標映像及び目標クリッピング方式とするステップを含む。

【0060】

本実施例において、第１マッチンググループと第２マッチンググループとの共通集合を取ってもよい。当該共通集合における処理対象映像グループとクリッピング方式グループとのマッチング度が高いため、共通集合グループにおける処理対象映像及びクリッピング方式を目標映像及び目標クリッピング方式とすることができる。

【0061】

さらに、上記のいずれかの実施例を基に、前記第１マッチンググループと前記第２マッチンググループとの共通集合グループを計算するステップの後、前記方法は、さらに、
前記共通集合グループにおける処理対象映像の数がプリセットの処理対象映像数の閾値より小さい場合、プリセットの複数のクリッピング方式から、前記処理対象映像に対応する内容カテゴリタグとのマッチング度がプリセットの閾値を超えるクリッピング方式グループを決定した後、前記クリッピング方式グループに応じて、前記処理対象映像に対して選別操作を行って、前記クリッピング方式グループに対応する目標映像を取得し、前記クリッピング方式グループを前記目標クリッピング方式とするステップを含む。

【0062】

本実施例において、第１マッチンググループと前記第２マッチンググループとの共通集合グループ内の処理対象映像の数が少ない場合、当該共通集合グループに応じて作成したビデオ品質も相応に悪い。したがって、このとき、直列的なマッチングの方式を用いてクリッピング方式及び処理対象映像を決定することができる。具体的には、プリセットの複数のクリッピング方式に対応する内容カテゴリタグから、プリセットの処理対象映像に対応する内容カテゴリタグとのマッチング度がプリセットの閾値を超えるクリッピング方式グループを決定した後、クリッピング方式グループに応じて、処理対象映像に対して選別操作を行って、クリッピング方式グループに対応する目標映像を取得する。

【0063】

対応して、ビデオ処理装置は、端末機器が当該目標クリッピング方式に応じて目標映像に対してクリッピング操作を行うように、当該目標クリッピング方式及び目標映像を共に端末機器に送信することができる。

【0064】

本実施例にて提供されるビデオ処理方法は、並列的なマッチング方式を用いてクリッピング方式グループ及びそれに対応する目標映像を決定する。それにより、処理対象映像とクリッピング方式グループとのマッチング度をより一層高めることができ、作成された目標ビデオの品質を高める。

【0065】

図７は、本開示の実施例３にて提供されるビデオ処理方法の概略フローチャートであり、上記のいずれかの実施例を基に、図７に示すように、ステップ１０２は、具体的には、
ユーザによってトリガされたテンプレート選択操作に応じて決定される目標クリッピング方式を取得するステップ３０１と、
プリセットのタグマッチングアルゴリズムを用いて、前記処理対象映像内で、前記目標クリッピング方式に対応する目標映像をマッチングするステップ３０２と、を含む。

【0066】

本実施例において、ビデオ処理装置は、さらに、ユーザの個性化ニーズに応じて、目標クリッピング方式を決定することができる。具体的には、目標クリッピング方式を取得することができ、ここで、当該目標クリッピング方式は、ユーザが実際のニーズに応じて自らテンプレート選択操作をトリガして決定するものである。

【0067】

当該目標クリッピング方式を取得した後、プリセットのタグマッチングアルゴリズムを用いて、端末機器に対応する処理対象映像内で、目標クリッピング方式に対応する目標映像をマッチングすることができる。

【0068】

目標映像及び目標クリッピング方式を取得した後、ビデオ処理装置は自動で当該目標クリッピング方式に応じて目標映像をクリッピングして、目標ビデオを取得することができる。ユーザの手動操作を必要とせず、効果的な目標ビデオを自動で生成することができ、ユーザのエクスペリエンスを向上させる。

【0069】

本実施例にて提供されるビデオ処理方法は、ユーザが選択した目標クリッピング方式に応じて、それに対応する目標映像を自動でマッチングし、それにより、端末機器は、自動で当該目標映像に応じて対応する目標ビデオを生成することができ、ユーザの過剰な手動操作を必要とせず、目標ビデオの生成効率及び生成された目標ビデオの品質を高め、ユーザのエクスペリエンスを向上させる。

【0070】

図８は、本開示の実施例４にて提供されるビデオ処理装置の概略構造図であり、図８に示すように、前記ビデオ処理装置は、処理対象映像を取得するための取得モジュール４１と、前記処理対象映像に応じて、目標映像と、目標映像に対応するオーディオに作用する特殊効果、隣接する映像間のクリッピング点に作用する特殊効果、単一映像内に作用する特殊効果、クリッピング映像全体に作用する特殊効果のうちの１つ又は複数を含む目標クリッピング方式とを決定するための決定モジュール４２と、前記目標クリッピング方式に応じて、前記目標映像をクリッピングして、目標ビデオを取得するためのクリッピングモジュール４３と、を含む。

【0071】

本実施例にて提供されるビデオ処理装置は、処理対象映像を取得し、当該処理対象映像に応じて、目標映像及び目標クリッピング方式を決定する。それにより、自動的に当該目標クリッピング方式に応じて目標映像をクリッピングして、目標ビデオを取得することができる。ここで、目標クリッピング方式には、目標映像に対応するオーディオに作用する特殊効果、隣接する映像間のクリッピング点に作用する特殊効果、単一映像内に作用する特殊効果、クリッピング映像全体に作用する特殊効果のうちの１つ又は複数が含まれる。ユーザが手動でクリッピングする必要がなく、ビデオ処理の操作ステップを簡略化し、ユーザのエクスペリエンスを向上させる。また、当該目標クリッピング方式で目標映像をクリッピングして生成した目標ビデオは、ビデオの品質が高く、ユーザの専門性に対する要求を低くする。

【0072】

図９は、本開示の実施例５にて提供されるビデオ処理装置の概略構造図であり、実施例４を基に、決定モジュール４２は、具体的には、タグ決定ユニット５１及びマッチングユニット５２を含む。ここで、タグ決定ユニット５１は、前記処理対象映像及びプリセットの複数のクリッピング方式に対応する内容カテゴリタグをそれぞれ決定するために用いられる。マッチングユニット５２は、前記処理対象映像及びプリセットの複数のクリッピング方式に対応する内容カテゴリタグに応じて、前記目標映像及び目標クリッピング方式を決定するために用いられる。

【0073】

さらに、上記のいずれかの実施例を基に、前記マッチングユニット５２は、
プリセットのタグマッチングアルゴリズムを用いて、プリセットの複数のクリッピング方式に対応する内容カテゴリタグから前記処理対象映像に対応する内容カテゴリタグとのマッチング度がプリセットの閾値を超える目標クリッピング方式を決定し、
前記目標クリッピング方式に応じて前記処理対象映像に対して選別操作を行って、前記目標クリッピング方式に対応する目標映像を取得するために用いられる。

【0074】

さらに、上記のいずれかの実施例を基に、前記マッチングユニット５２は、
プリセットのタグマッチングアルゴリズムを用いて、前記プリセットの複数のクリッピング方式に対応する内容カテゴリタグに応じて、前記処理対象映像に対応する内容カテゴリタグとのマッチング度がプリセットの閾値を超えるクリッピング方式グループを決定して、前記処理対象映像及びクリッピング方式グループを含む第１マッチンググループを取得し、
前記処理対象映像に対応する内容カテゴリタグに応じて、前記プリセットの複数のクリッピング方式に対応する内容カテゴリタグとのマッチング度がプリセットの閾値を超える処理対象映像グループを決定して、前記処理対象映像グループ及び前記プリセットの複数のクリッピング方式を含む第２マッチンググループを取得し、
前記第１マッチンググループ及び前記第２マッチンググループに応じて、目標映像及び目標クリッピング方式を決定するために用いられる。

【0075】

さらに、上記のいずれかの実施例を基に、前記マッチングユニット５２は、
前記第１マッチンググループと前記第２マッチンググループとの共通集合グループを計算し、前記共通集合グループにおける処理対象映像及びクリッピング方式を前記目標映像及び目標クリッピング方式とするために用いられる。

【0076】

さらに、上記のいずれかの実施例を基に、前記マッチングユニット５２は、
前記共通集合グループにおける処理対象映像の数がプリセットの処理対象映像数の閾値より小さい場合、プリセットの複数のクリッピング方式から、前記処理対象映像に対応する内容カテゴリタグとのマッチング度がプリセットの閾値を超えるクリッピング方式グループを決定した後、前記クリッピング方式グループに応じて、前記処理対象映像に対して選別操作を行って、前記クリッピング方式グループに対応する目標映像を取得し、前記クリッピング方式グループを前記目標クリッピング方式とするために用いられる。

【0077】

図１０は、本開示の実施例６にて提供されるビデオ処理装置の概略構造図であり、上記のいずれかの実施例を基に、図１０に示すように、決定モジュール４２は、クリッピング方式取得ユニット６１及び決定ユニット６２を含む。ここで、クリッピング方式取得ユニット６１は、ユーザによってトリガされたテンプレート選択操作に応じて決定される目標クリッピング方式を取得するために用いられる。決定ユニット６２は、プリセットのタグマッチングアルゴリズムを用いて、前記処理対象映像内で、前記目標クリッピング方式に対応する目標映像をマッチングするために用いられる。

【0078】

図１１は、本開示の実施例７にて提供されるサーバの概略構造図であり、図１１に示すように、前記サーバは、メモリ７１及びプロセッサ７２を含み、
ここで、前記メモリ７１は、前記プロセッサ７２が実行可能な命令を記憶するように構成され、
前記プロセッサ７２は、前記命令を実行するとき、上記のいずれかの実施例に記載のビデオ処理方法を実現するために用いられる。

【0079】

メモリ７１は、プログラムを格納するために用いられる。具体的には、プログラムは、コンピュータ操作命令を含むプログラムコードを含み得る。メモリ７１は、高速ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）を含んでよく、少なくとも１つの磁気ディスクメモリなどの不揮発性メモリ（ｎｏｎ－ｖｏｌａｔｉｌｅ ｍｅｍｏｒｙ）をさらに含んでもよい。

【0080】

ここで、プロセッサ７２は、中央処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、ＣＰＵと略称）であってもよいし、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ、ＡＳＩＣと略称）であってもよいし、本開示の実施例の１つ又は複数の集積回路を実施するように構成されてもよい。

【0081】

選択可能に、具体的な実現において、メモリ７１及びプロセッサ７２を別々に実現する場合、メモリ７１とプロセッサ７２とは、バスで互いに接続されて、互いに通信することができる。前記バスは、業界標準アーキテクチャ（Ｉｎｄｕｓｔｒｙ Ｓｔａｎｄａｒｄ Ａｒｃｈｉｔｅｃｔｕｒｅ、ＩＳＡと略称）バス、外部機器相互接続（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ、ＰＣＩと略称）バス、又は拡張業界標準アーキテクチャ（Ｅｘｔｅｎｄｅｄ Ｉｎｄｕｓｔｒｙ Ｓｔａｎｄａｒｄ Ａｒｃｈｉｔｅｃｔｕｒｅ、ＥＩＳＡと略称）バスなどであり得る。前記バスは、アドレスバス、データバス、制御バスなどに分けられ得る。図示の便宜上、図１１では、１本の太線のみで示したが、１本のバス又は１つのタイプのバスしかないことを示すわけではない。

【0082】

選択可能に、具体的な実現において、メモリ７１及びプロセッサ７２は、１つのチップに集積されて実現される場合、メモリ７１とプロセッサ７２とは、内部インターフェースを介して互いに通信することができる。

【0083】

本開示の別の実施例は、さらに、コンピュータ可読記憶媒体を提供し、前記コンピュータ可読記憶媒体にはコンピュータ実行命令が記憶されており、前記コンピュータ実行命令は、プロセッサによって実行されるとき、上記のいずれかの実施例に記載のビデオ処理方法を実現するために用いられる。

【0084】

本開示の別の実施例は、さらに、コンピュータプログラムを含むコンピュータプログラム製品を提供し、当該コンピュータプログラムは、プロセッサによって実行されるとき、上記のいずれかの実施例のようなビデオ処理方法を実現するために用いられる。

【0085】

本開示の別の実施例は、さらに、コンピュータプログラムを提供し、当該コンピュータプログラムは、プロセッサによって実行されるとき、上記のいずれかの実施例のようなビデオ処理方法を実現するために用いられる。

【0086】

当業者であれば、説明の便宜及び簡潔のために、上に説明した装置の具体的な動作過程は、上記の方法の実施例における対応する過程を参照してもよく、ここは詳細な説明を省略することを明確に理解することができる。

【0087】

当業者であれば、上記の各方法の実施例を実現するステップの全部又は一部が、プログラム命令に関連するハードウェアによって実現されてもよいことを理解できる。上記のプログラムは、コンピュータ可読記憶媒体に記憶されてもよい。当該プログラムは、実行されるとき、上記の各方法の実施例に含まれたステップを実行し、上記の記憶媒体は、ＲＯＭ、ＲＡＭ、磁気ディスク又は光ディスクなどの、プログラムコードを記憶できる様々な媒体を含む。

【0088】

最後に、上記の各実施例は、本開示の技術案を説明するためのものにすぎず、それを限定するものではないことに留意されたい。上記の各実施例を参照しながら本開示について詳細に説明したが、当業者にとって理解できるように、依然として、上記の各実施例に記載の技術案を変更するか、又は、その中の一部又は全部の技術特徴を等価置換することができ、これらの変更又は置換によって、該当する技術案の本質が本開示の各実施例の技術案の範囲から逸脱することはない。

【0089】

本願は、２０２０年０６月２３日に中国特許庁に提出された、出願番号が２０２０１０５８２６０９．Ｘで、出願の名称が「ビデオ処理方法、装置、機器及びコンピュータ可読記憶媒体」である中国特許出願の優先権を主張し、その全ての内容は、参照により本願に組み込まれる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】