(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-01-22
(54)【発明の名称】ビデオ生成方法、装置、電子機器および記憶媒体
(51)【国際特許分類】
H04N 21/854 20110101AFI20240115BHJP
H04N 21/233 20110101ALI20240115BHJP
【FI】
H04N21/854
H04N21/233
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2023542890
(86)(22)【出願日】2022-01-10
(85)【翻訳文提出日】2023-08-15
(86)【国際出願番号】 CN2022070919
(87)【国際公開番号】W WO2022152064
(87)【国際公開日】2022-07-21
(31)【優先権主張番号】202110057581.2
(32)【優先日】2021-01-15
(33)【優先権主張国・地域又は機関】CN
(81)【指定国・地域】
(71)【出願人】
【識別番号】521431088
【氏名又は名称】北京字跳▲網▼絡技▲術▼有限公司
【氏名又は名称原語表記】Beijing Zitiao Network Technology Co., Ltd.
【住所又は居所原語表記】0207, 2/F, Building 4, Zijin Digital Park, Haidian District, Beijing,P. R. China
(74)【代理人】
【識別番号】100107766
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】莫唯書
【テーマコード(参考)】
5C164
【Fターム(参考)】
5C164MA02S
5C164MA07S
5C164MC01P
5C164PA43
5C164SB04P
5C164SB41S
5C164YA21
(57)【要約】
本開示は、ビデオ生成方法、装置、電子機器および記憶媒体を開示する。ビデオ生成方法は、目標音楽を用いてビデオを生成する第1トリガ操作を受信することと(S101)、第1トリガ操作に応答して、目標音楽の第1音楽特徴情報に基づき、自ユーザの候補素材セットから目標音楽に合致する候補素材を選択して目標候補素材とし、目標候補素材に従い、目標音楽をバックグラウンドミュージックとする目標ビデオを生成することと(S102)を含む。
【選択図】
図1
【特許請求の範囲】
【請求項1】
目標音楽を用いてビデオを生成する第1トリガ操作を受信することと、
前記第1トリガ操作に応答して、前記目標音楽の第1音楽特徴情報に基づき、自ユーザの候補素材セットから前記目標音楽に合致する候補素材を選択して目標候補素材とし、前記目標候補素材に従い、前記目標音楽をバックグラウンドミュージックとする目標ビデオを生成することと、を含む、
ビデオ生成方法。
【請求項2】
前記目標音楽の第1音楽特徴情報に基づき、自ユーザの候補素材セットから前記目標音楽に合致する候補素材を選択して目標候補素材とすることは、
各ビデオテンプレートのバックグラウンドミュージックの第2音楽特徴情報を取得し、第2音楽特徴情報が前記目標音楽の第1音楽特徴情報に合致するビデオテンプレートを選択して目標ビデオテンプレートとすることと、
前記ユーザの候補素材セット内の各候補素材の素材主題と前記目標ビデオテンプレートのテンプレート主題との間の関連性に基づいて目標候補素材を確定することと、を含む、
請求項1に記載の方法。
【請求項3】
前記目標ビデオテンプレートは、素材を充填するための複数の素材スロットを含み、前記ユーザの候補素材セット内の各候補素材の素材主題と前記目標ビデオテンプレートのテンプレート主題との間の関連性に基づいて目標候補素材を確定した後、
前記目標ビデオテンプレートの各素材スロットの充填条件を満たす目標候補素材を順次取得して前記素材スロットの充填待ち素材とし、前記充填待ち素材を前記素材スロットに充填することを更に含み、
前記目標候補素材に従って目標ビデオを生成することは、
前記充填待ち素材を充填した後の目標ビデオテンプレートに従って前記目標ビデオを生成することを含む、
請求項2に記載の方法。
【請求項4】
前記充填待ち素材を前記素材スロットに充填した後、
プレビューページを表示し、前記プレビューページに、前記目標ビデオテンプレートにおける前記充填待ち素材を含む合成待ち素材を展示することを更に含む、
請求項3に記載の方法。
【請求項5】
前記プレビューページを表示した後、
前記プレビューページにおけるテンプレートコントロールに作用する第2トリガ操作を受信することと、
前記第2トリガ操作に応答して、複数のビデオテンプレートのテンプレート情報が表示されたテンプレートウィンドウを表示することと、
前記テンプレートウィンドウ内に表示されたテンプレート情報に作用する第3トリガ操作を受信することと、
前記第3トリガ操作に応答して、前記目標ビデオテンプレートを前記第3トリガ操作に対応するテンプレート情報の属するビデオテンプレートに切り替え、前記目標ビデオテンプレートにおける合成待ち素材を更新することと、を更に含む、
請求項4に記載の方法。
【請求項6】
前記充填待ち素材を充填した後の目標ビデオテンプレートに従って前記目標ビデオを生成することは、
前記プレビューページにおけるビデオ合成コントロールに作用する第4トリガ操作を受信した場合、前記目標音楽を用いてバックグラウンドミュージックとし、前記目標ビデオテンプレートにおける全ての合成待ち素材の順に従い、前記全ての合成待ち素材を前記目標ビデオに合成することを含む、
請求項4または5に記載の方法。
【請求項7】
前記自ユーザの候補素材セットから前記目標音楽に合致する候補素材を選択して目標候補素材とする前に、
ローカルアルバムおよび関連するクラウドアルバムのうちの少なくとも1つを含むユーザのアルバム内の素材を取得することと、
素材の美的スコアに従い、前記アルバムから複数の素材を選別し、前記ユーザの候補素材セットを形成することと、を更に含む、
請求項1から5のいずれか1項に記載の方法。
【請求項8】
目標音楽を用いてビデオを生成する第1トリガ操作を受信するように構成される第1受信モジュールと、
前記第1トリガ操作に応答して、前記目標音楽の第1音楽特徴情報に基づき、自ユーザの候補素材セットから前記目標音楽に合致する候補素材を選択して目標候補素材とし、前記目標候補素材に従い、前記目標音楽をバックグラウンドミュージックとする目標ビデオを生成するように構成されるビデオ生成モジュールと、を備える、
ビデオ生成装置。
【請求項9】
少なくとも1つのプロセッサと、
少なくとも1つのプログラムを記憶するように構成されるメモリとを備える電子機器であって、
前記少なくとも1つのプログラムが前記少なくとも1つのプロセッサにより実行されると、前記少なくとも1つのプロセッサは、請求項1から7のいずれか1項に記載のビデオ生成方法を実現する、
電子機器。
【請求項10】
コンピュータプログラムが記憶されたコンピュータ可読記憶媒体であって、
前記プログラムがプロセッサにより実行されると、請求項1から7のいずれか1項に記載のビデオ生成方法を実現する、
コンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本願は、2021年01月15日に中国専利局に提出された出願番号が202110057581.2である中国特許出願に対して優先権を主張するものであり、該出願の全ての内容を引用により本願に援用する。
【0002】
本開示は、コンピュータ技術分野に関し、例えば、ビデオ生成方法、装置、電子機器および記憶媒体に関する。
【背景技術】
【0003】
ショートビデオアプリケーションは、一般的に、ユーザにショートビデオの作成・投稿機能を提供する。
【0004】
ユーザは、ビデオを作成する時に通常、ビデオ素材を手動で撮影したり選択してから、複数のビデオ素材の配列順を設定し、選択したビデオ素材に適当なバックグラウンドミュージックを設定し、その後、ショートビデオアプリケーションにより、選択した素材とバックグラウンドミュージックをビデオに合成する必要がある。
【0005】
しかし、関連技術において、ショートビデオ作成のハードルが高く、作成が完了するまで長い時間がかかり、ユーザの作成体験は良くない。
【発明の概要】
【発明が解決しようとする課題】
【0006】
本開示は、ショートビデオ作成のハードルを低減し、ショートビデオの作成にかかる時間を短縮するためのビデオ生成方法、装置、電子機器および記憶媒体を提供する。
【課題を解決するための手段】
【0007】
本開示は、
目標音楽を用いてビデオを生成する第1トリガ操作を受信することと、
前記第1トリガ操作に応答して、前記目標音楽の第1音楽特徴情報に基づき、自ユーザの候補素材セットから前記目標音楽に合致する候補素材を選択して目標候補素材とし、前記目標候補素材に従い、前記目標音楽をバックグラウンドミュージックとする目標ビデオを生成することと、を含む、
ビデオ生成方法を提供する。
【0008】
本開示は、
目標音楽を用いてビデオを生成する第1トリガ操作を受信するように構成される第1受信モジュールと、
前記第1トリガ操作に応答して、前記目標音楽の第1音楽特徴情報に基づき、自ユーザの候補素材セットから前記目標音楽に合致する候補素材を選択して目標候補素材とし、前記目標候補素材に従い、前記目標音楽をバックグラウンドミュージックとする目標ビデオを生成するように構成されるビデオ生成モジュールと、を備える、
ビデオ生成装置を更に提供する。
【0009】
本開示は、
1つまたは複数のプロセッサと、
1つまたは複数のプログラムを記憶するように構成されるメモリとを備える電子機器であって、
前記1つまたは複数のプログラムが前記1つまたは複数のプロセッサにより実行されると、前記1つまたは複数のプロセッサは、上記ビデオ生成方法を実現する、
電子機器を更に提供する。
【0010】
本開示は、
コンピュータプログラムが記憶されたコンピュータ可読記憶媒体であって、
該プログラムがプロセッサにより実行されると、上記ビデオ生成方法を実現する、
コンピュータ可読記憶媒体を更に提供する。
【図面の簡単な説明】
【0011】
【
図1】本開示の実施例に係るビデオ生成方法のフローチャートである。
【
図2】本開示の実施例に係る音楽詳細ページの模式図である。
【
図3】本開示の実施例に係る素材通知ウィンドウの模式図である。
【
図4】本開示の実施例に係る権限開放ウィンドウの模式図である。
【
図5】本開示の実施例に係る別のビデオ生成方法のフローチャートである。
【
図6】本開示の実施例に係るロードページの模式図である。
【
図7】本開示の実施例に係るプレビューページの模式図である。
【
図8】本開示の実施例に係るテンプレートウィンドウの模式図である。
【
図9】本開示の実施例に係る素材ウィンドウの模式図である。
【
図10】本開示の実施例に係る素材編集ウィンドウの模式図である。
【
図11】本開示の実施例に係るビデオ編集ページの模式図である。
【
図12】本開示の実施例に係るビデオ生成装置の構成ブロック図である。
【
図13】本開示の実施例に係る電子機器の構造模式図である。
【発明を実施するための形態】
【0012】
以下、図面を参照しながら本開示の実施例についてより詳細に説明する。図面に本開示のいくつかの実施例が示されるが、本開示は、様々な形式で実現でき、ここで記述される実施例に限定されるものと解釈されるべきではなく、本開示をより明瞭かつ完全に理解するために、これらの実施例を提供する。本開示の図面および実施例は、例示的なものに過ぎない。
【0013】
本開示の方法の実施形態に記載される各ステップは、異なる順序で実行されてもよいし、および/または並行に実行されてもよい。また、方法の実施形態は、追加のステップおよび/または実行が省略されて示されたステップを含んでもよい。本開示の範囲は、この点で限られない。
【0014】
本発明で使用される「含む」という用語およびその変形は、開放的な包含であり、即ち、「含むが、これらに限定されない」。「基づく」という用語は、「少なくとも部分的に基づく」という意味である。「1つの実施例」という用語は、「少なくとも1つの実施例」を表す。「別の実施例」という用語は、「少なくとも1つの別の実施例」を表す。「いくつかの実施例」という用語は、「少なくともいくつかの実施例」を表す。他の用語の関連定義は、以下の記述で与えられる。
【0015】
なお、本開示に言及される「第1」、「第2」等の概念は、装置、モジュールまたはユニットを区分するためのものに過ぎず、これらの装置、モジュールまたはユニットが実行する機能の順序または相互依存関係を限定するためのものでもない。
【0016】
なお、本開示に言及される「1つ」、「複数」という修飾は、模式的なものであるが、限定的なものではなく、当業者は、文脈が明確に例外を示さない限り、「1つまたは複数」として理解されるべきであることを理解すべできる。
【0017】
本開示の実施形態における複数の装置間でインタラクションされるメッセージまたは情報の名称は、説明するためのものに過ぎず、これらのメッセージまたは情報の範囲を限定するためのものではない。
【0018】
図1は、本開示の実施例に係るビデオ生成方法のフローチャートである。該方法は、ビデオ生成装置により実行でき、ここで、該装置は、ソフトウェアおよび/またはハードウェアにより実現でき、携帯電話機またはタブレットコンピュータのような電子機器に構成され得る。本開示の実施例に係るビデオ生成方法は、ビデオを自動的に生成するシーンに適用され、特に、音楽ビデオを自動的に生成するシーンに適用される。
図1に示すように、本実施例に係るビデオ生成方法は、以下のステップを含んでもよい。
【0019】
S101において、目標音楽を用いてビデオを生成する第1トリガ操作を受信する。
【0020】
第1トリガ操作は、1つの音楽を用いてビデオを自動的に生成するように電子機器に指示するためのトリガ操作と理解でき、例えば、ビデオ生成コントロールをクリックするトリガ操作等であり、該ビデオ生成コントロールは、音楽リストページ、音楽詳細ページ、音楽再生ページおよび/またはビデオ再生ページ等のページに表示することができる。それに対応し、目標音楽は、ユーザがそれをバックグラウンドミュージックとしてビデオを作成したい音楽であり、例えば、ユーザが第1トリガ操作を実行する時に音楽リストページにおける選択状態にある音楽であり、音楽詳細ページに対応する音楽、音楽再生ページにおける現在再生している音楽、またはビデオ再生ページにおける現在再生しているビデオに使用されたバックグラウンドミュージック等である。以下、第1トリガ操作を、音楽詳細ページにおけるビデオ生成コントロールに作用するトリガ操作とすることを例として説明する。
【0021】
本実施例において、
図2に示すように、1つの音楽の音楽詳細ページには、該音楽の音楽情報(例えば、該音楽の音楽サムネイル20、音楽名、投稿者のユーザ名、再生回数等)およびビデオ生成コントロール21が表示されてもよく、これにより、ユーザは、該ビデオ生成コントロール21をトリガすることで、該音楽をバックグラウンドミュージックとするビデオを自動的に生成し、例えば、該音楽をバックグラウンドミュージックとする音楽ビデオを生成するように電子機器に指示する。再生/一時停止コントロール22、お気に入りコントロール23および/または同タイプ撮影コントロール24が設定されてもよく、これにより、ユーザは、再生/一時停止コントロール22をクリックすることにより、該音楽の再生を再生/一時停止するように電子機器に指示し、お気に入りコントロール23をクリックすることにより、該音楽をお気に入りに登録し、および/または、同タイプ撮影コントロール24をクリックすることにより、現在の表示ページを該音楽の音楽詳細ページからビデオ撮影ページに切り替えてカメラをオンにするように電子機器に指示し、ユーザは、該音楽をバックグラウンドミュージックとするビデオを撮影することができる。また、ユーザが音楽詳細ページに初めて入った場合、ユーザがビデオ生成コントロール21の作用を明確にすることができるように、音楽詳細ページには、提示用の動画、写真および/またはテキスト等のようなビデオ生成コントロール21についての提示情報25が表示されてもよい。
【0022】
例示的には、電子機器は1つの音楽の音楽詳細ページを展示し、ユーザは、該音楽を用いてビデオを自動的に生成するように電子機器に指示したい場合、該音楽詳細ページに表示されたビデオ生成コントロールをクリックすることができ、それに対応し、電子機器は、ユーザが音楽詳細ページにおけるビデオ生成コントロールをクリックしたことを監視した場合、該音楽詳細ページに対応する音楽を目標音楽と確定し、目標音楽を用いてビデオを生成する第1トリガ操作を受信したと確定できる。
【0023】
ユーザがビデオ生成コントロールを初めてクリックした場合、および/またはユーザがユーザの素材にアクセスする権限を開放していない場合、電子機器は、ユーザの素材を読み取ることをユーザに知らせ、および/またはその素材にアクセスする権限を開放することをユーザに提示するために、対応するウィンドウを表示することができる。この場合、それに対応し、第1トリガ操作は、展示されたウィンドウ内の対応するコントロールをトリガする操作であってもよい。
【0024】
図2に示すように、電子機器は、1つの音楽の音楽詳細ページを表示し、ユーザが該音楽詳細ページにおけるビデオ生成コントロール21をクリックしたことを監視した場合、該ユーザがビデオ生成コントロール21を初めてクリックしたか否かを判断することができ、ユーザが初めてクリックした場合、
図3に示すように、素材通知ウィンドウ30を表示し、該素材通知ウィンドウ30により、ビデオを自動的に生成する時にユーザの素材を読み取ることをユーザに知らせ、ユーザが素材通知ウィンドウ30内のクローズコントロール31をクリックしたことを監視した場合、該素材通知ウィンドウ30の表示を停止し、ユーザが素材通知ウィンドウ30内の体験開始コントロール32をクリックしたことを監視した場合、ユーザがその素材にアクセスする権限を開放したか否かを判断する。それに対応し、ユーザが初めてクリックしたことでない場合、ユーザがその素材にアクセスする権限を開放したか否かを直接判断することができる。これにより、ユーザがその素材にアクセスする権限を開放したと判断した場合、第1トリガ操作を受信したと確定でき、ユーザがその素材にアクセスする権限を開放していないと判断した場合、
図4に示すように、権限開放ウィンドウ40を表示し、その素材にアクセスする権限を開放することをユーザに提示することができ、且つ、ユーザが該権限開放ウィンドウ40内の許可コントロール41をクリックしたことを監視した場合、ユーザの素材にアクセスする権限を開放し、第1トリガ操作を受信したと確定し、ユーザが該権限開放ウィンドウ40内の不許可コントロール42をクリックしたことを監視した場合、権限提示ウィンドウ40の表示を停止する。
【0025】
S102において、前記第1トリガ操作に応答して、前記目標音楽の第1音楽特徴情報に基づき、自ユーザの候補素材セットから前記目標音楽に合致する候補素材を選択して目標候補素材とし、前記目標候補素材に従い、前記目標音楽をバックグラウンドミュージックとする目標ビデオを生成する。
【0026】
第1音楽特徴情報は、目標音楽の音楽特徴情報であってもよく、例えば、目標音楽の歌詞情報、リズム情報および/または音楽スタイル情報等である。目標ビデオは、電子機器が目標音楽を用いて生成したビデオと理解できる。候補素材は、電子機器が目標ビデオを生成するために使用可能な素材と理解でき、ユーザのローカルアルバムおよび/またはクラウドアルバム内の全ての素材であってもよいし、ユーザのローカルアルバムおよび/またはクラウドアルバム内の一部の素材であってもよく、例えば、ユーザのローカルアルバムおよび/またはクラウドアルバム内の撮影品質が高い素材であってもよく、該素材は、写真および/またはビデオ等を含んでもよく、一実施形態において、該素材は、ユーザが撮影、ダウンロード、導入、スクリーンショットまたは録画により予め取得できる写真およびビデオを含む。
【0027】
電子機器は、第1トリガ操作を受信した場合、ユーザの候補素材セットを取得し、目標音楽の第1音楽特徴情報に基づき、予め設定された選択規則に従い、該候補素材セットから目標音楽に合致する候補素材を選択して目標候補素材とし、選択した全ての目標候補素材を目標ビデオに合成し、これにより、ユーザは、目標音楽を選択すれば目標ビデオを自動的に生成することができ、例えば、ユーザが1つのビデオを見る時、該ビデオ内のバックグラウンドミュージックを好む場合、現在の表示ページを該バックグラウンドミュージックのビデオ詳細ページに切り替えて該ビデオ詳細ページにおけるビデオ生成コントロールをクリックすれば、該バックグラウンドミュージックをバックグラウンドミュージックとするビデオを生成することができ、ユーザは、ビデオテンプレートおよびビデオ素材を選択する必要がなく、更にビデオ作成の難易度を低減し、ユーザがビデオを作成するためにかかる時間を短縮することができる。ここで、目標候補素材の選択規則は、開発者が必要に応じて設定でき、例えば、目標音楽の第1音楽特徴情報に従い、画面スタイルが該第1音楽特徴情報に類似した候補素材を選択して目標候補素材としてもよいし、バックグラウンドミュージックの第2音楽特徴情報が目標音楽の第1音楽特徴情報に合致するビデオテンプレートを目標ビデオテンプレートとし、素材主題が該目標ビデオテンプレートのテンプレート本体に類似した候補素材を選択して目標候補素材としてもよく、本実施例は、これについて限定しない。
【0028】
一実施形態において、生成した目標ビデオの品質を向上させるために、候補素材セット内の候補素材は、ユーザのローカルアルバムおよび/またはクラウドアルバム内の撮影品質が良い素材であってもよく、例えば、前記自ユーザの候補素材セットから前記目標音楽に合致する候補素材を選択して目標候補素材とする前に、ローカルアルバムおよび/または関連するクラウドアルバムを含むユーザのアルバム内の素材を取得することと、素材の美的スコアに従い、前記アルバムから複数の素材を選別し、ユーザの候補素材セットを形成することとを更に含む。
【0029】
関連するクラウドアルバムは、ユーザがログインしたアカウントに関連するクラウドアルバムと理解できる。ユーザが素材を取得するアルバムは、ユーザのローカルアルバムおよび/またはユーザに関連するクラウドアルバムを含んでもよく、ユーザに関連するクラウドアルバムがないまたはユーザがクラウドアルバムにアクセスする権限を開放していない場合、該アルバムは、ローカルアルバムのみを含んでもよく、即ち、電子機器は、ユーザのローカルアルバム内の素材のみを取得してもよい。ユーザに関連するクラウドアルバムがあり、且つユーザがクラウドアルバムにアクセスする権限を開放した場合、該アルバムは、ローカルアルバムおよび関連するクラウドアルバムを含んでもよく、即ち、電子機器は、ユーザのローカルアルバム内の素材およびユーザに関連するクラウドアルバム内の素材を取得してもよい。
【0030】
例示的には、電子機器は、まず、ユーザアルバム内の全ての素材を取得し、予め設定された美的評価規則に従い、または事前にトレーニングされた美的評価モデルを用いて全ての素材を美的評価し、全ての素材の美的スコアを取得し、その後、美的スコアが予め設定されたスコア閾値よりも大きい素材を選択して候補素材とし、または、美的スコアの大きい順に、予め設定された数(例えば、30個または50個等)の素材を選択して候補素材とし、ユーザの候補素材セットを構成することができる。
【0031】
上記実施形態において、電子機器がユーザアルバム内の素材を取得し、全ての素材の美的スコアに従って候補素材セットを構築するタイミングは、必要に応じて柔軟に設定することができ、例えば、電子機器は、第1トリガ操作を受信した場合に上記操作を実行してもよいし、目標音楽の属するアプリケーションの起動が完了し、目標音楽の属するアプリケーションの起動が完了してからの予め設定された時間(例えば、10s)に、またはユーザが目標音楽の属するアプリケーションにより電子機器のカメラをオンにしたことを監視した場合に、上記操作を実行してもよい。
【0032】
本実施例に係るビデオ生成方法は、目標音楽を用いてビデオを生成する第1トリガ操作を受信し、該第1トリガ操作に応答して、目標音楽の第1音楽特徴情報に基づき、自ユーザの候補素材セットから目標音楽に合致する候補素材を選択して目標候補素材とし、該目標候補素材に従い、目標音楽をバックグラウンドミュージックとする目標ビデオを生成する。本実施例は、上記技術案を採用することにより、ユーザが選択した音楽に基づき、該音楽に合致する素材を用いてビデオを自動的に生成することができ、ビデオ作成のハードルを低減し、ユーザがビデオを作成するためにかかる時間を短縮することができ、且つ、生成したビデオとユーザが選択した音楽との合致度を高め、生成したビデオの品質を向上させることができる。
【0033】
図5は、本開示の実施例に係る別のビデオ生成方法のフローチャートである。本実施例における形態は、上記実施例における1つまたは複数の好ましい形態と組み合わせることができる。好ましくは、前記目標音楽の第1音楽特徴情報に基づき、自ユーザの候補素材セットから前記目標音楽に合致する候補素材を選択して目標候補素材とすることは、各ビデオテンプレートのバックグラウンドミュージックの第2音楽特徴情報を取得し、第2音楽特徴情報が前記目標音楽の第1音楽特徴情報に合致するビデオテンプレートを選択して目標ビデオテンプレートとすることと、ユーザの候補素材セット内の各候補素材の素材主題と前記目標ビデオテンプレートのテンプレート主題との間の関連性に基づいて目標候補素材を確定することとを含む。
【0034】
好ましくは、前記目標ビデオテンプレートは、素材を充填するための複数の素材スロットを含み、前記ユーザの候補素材セット内の各候補素材の素材主題と前記目標ビデオテンプレートのテンプレート主題との間の関連性に基づいて目標候補素材を確定した後、前記目標ビデオテンプレートの各素材スロットの充填条件を満たす目標候補素材を順次取得して前記素材スロットの充填待ち素材とし、前記充填待ち素材を前記素材スロットに充填することを更に含み、前記目標候補素材に従って目標ビデオを生成することは、前記充填待ち素材を充填した後の目標ビデオテンプレートに従って目標ビデオを生成することを含む。
【0035】
好ましくは、前記充填待ち素材を前記素材スロットに充填した後、プレビューページを表示し、前記プレビューページに、前記目標ビデオテンプレートにおける前記充填待ち素材を含む合成待ち素材を展示することを更に含む。好ましくは、前記プレビューページを表示した後、前記プレビューページにおけるテンプレートコントロールに作用する第2トリガ操作を受信することと、前記第2トリガ操作に応答して、複数のビデオテンプレートのテンプレート情報が表示されたテンプレートウィンドウを表示することと、前記テンプレートウィンドウ内に表示されたテンプレート情報に作用する第3トリガ操作を受信することと、前記第3トリガ操作に応答して、前記目標ビデオテンプレートを前記第3トリガ操作に対応するテンプレート情報の属するビデオテンプレートに切り替え、前記目標ビデオテンプレートにおける合成待ち素材を更新することとを更に含む。
【0036】
それに対応し、
図5に示すように、本実施例に係るビデオ生成方法は、以下のステップを含む。
【0037】
S201において、目標音楽を用いてビデオを生成する第1トリガ操作を受信する。
【0038】
S202において、前記第1トリガ操作に応答して、各ビデオテンプレートのバックグラウンドミュージックの第2音楽特徴情報を取得し、第2音楽特徴情報が前記目標音楽の第1音楽特徴情報に合致するビデオテンプレートを選択して目標ビデオテンプレートとする。
【0039】
ビデオテンプレートは、ビデオを作成するためのテンプレートと理解できる。第2音楽特徴情報は、ビデオテンプレートに付加する必要があるバックグラウンドミュージックの音楽特徴情報であってもよく、例えば、バックグラウンドミュージックのリズム情報および/または音楽スタイル情報等である。
【0040】
例示的には、電子機器は、第1トリガ操作を受信した場合、現在の表示ページを音楽詳細ページからロードページに切り替えることができ、
図6に示すように、各ビデオテンプレートのバックグラウンドミュージックの音楽特徴情報を取得し、バックグラウンドミュージックの音楽特徴情報が目標音楽の音楽特徴情報に合致するビデオテンプレートを選択して目標ビデオテンプレートとする。
【0041】
本実施例において、
図6に示すように、ロードページには、現在のロード進行状況およびキャンセルコントロール60が表示されてもよく、これにより、ユーザは、該キャンセルコントロール60をトリガすることにより、後続の操作の実行を停止するように電子機器に指示し、現在の表示ページをロードページから目標音楽の音楽詳細ページに切り替えることができる。目標ビデオテンプレートの確定方式は、必要に応じて設定することができ、例えば、電子機器は、目標ビデオテンプレートを確定する時、予め設定された合致度計算規則を直接用い、または事前にトレーニングされた合致度計算モデルを用い、テンプレートライブラリ内の各ビデオテンプレートのバックグラウンドミュージックの第2音楽特徴情報と目標音楽の第1音楽特徴情報との間の合致度を計算し、合致度が最も高いビデオテンプレートを選択して目標ビデオテンプレートとしてもよいし、まず、第1トリガ操作を実行するユーザおよび/または他のユーザが投稿したビデオに、目標音楽をバックグラウンドミュージックとしてビデオを生成する時にビデオテンプレートを使用したビデオがあるか否かを判断し、目標音楽をバックグラウンドミュージックとしてビデオを生成する時にビデオテンプレートを使用したビデオがある場合、該ビデオに使用されたビデオテンプレートを取得して目標ビデオテンプレートとし、目標音楽をバックグラウンドミュージックとしてビデオを生成する時にビデオテンプレートを使用したビデオがない場合、テンプレートライブラリ内の各ビデオテンプレートのバックグラウンドミュージックの第2音楽特徴情報と目標音楽の第1音楽特徴情報との間の合致度を計算し、合致度が最も高いビデオテンプレートを選択して目標ビデオテンプレートとしてもよい。
【0042】
また、目標バックグラウンドミュージックをバックグラウンドミュージックとするビデオに使用されたテンプレートが複数ある場合、または、合致度が最も高いビデオテンプレートが複数ある場合、1つのビデオテンプレートをランダムに選択して目標ビデオテンプレートとしてもよいし、ユーザが投稿および/または再生したビデオのビデオスタイル等のようなユーザのパーソナライズ情報に従い、ユーザのパーソナライズ情報に最も合わせるビデオテンプレートを選択して目標ビデオテンプレートとしてもよい。または、目標ビデオテンプレートを確定する時、目標音楽を用いてバックグラウンドミュージックとするビデオまたは各テンプレートのバックグラウンドミュージックの音楽特徴情報と目標音楽の音楽特徴情報との間の合致度に従って予め設定された数(例えば、5個または10個等)のビデオテンプレートを選択し、該予め設定された数のビデオテンプレートからユーザのパーソナライズ情報に最も合わせるビデオテンプレートを選択して目標ビデオテンプレートとしてもよい。これにより、生成した目標ビデオをユーザのパーソナライズニーズに更に合わせ、ユーザの体験を向上させる。
【0043】
S203において、ユーザの候補素材セット内の各候補素材の素材主題と前記目標ビデオテンプレートのテンプレート主題との間の関連性に基づいて目標候補素材を確定する。
【0044】
素材主題は、素材の主題と理解でき、例えば、候補素材セット内の候補素材の主題であり、素材の画面内容に応じて確定できる。テンプレート主題は、ビデオテンプレートの主題と理解でき、例えば、目標ビデオテンプレートの主題であり、1つの素材/ビデオテンプレートの主題は、例えば、植物、建物、風景、人物、旅行またはグルメ等であってもよい。
【0045】
本実施例において、目標ビデオテンプレートのテンプレート主題に基づき、候補素材セット内の素材主題が目標ビデオテンプレートのテンプレート主題に類似(例えば、合致度が予め設定された合致度閾値よりも大きい))した素材を選択して目標候補素材としてもよいし、予め各候補素材の素材主題に従い、候補素材セットを素材主題が異なる複数のサブ候補素材セットに分けてもよく、これにより、目標ビデオテンプレートを確定した後、素材主題が目標ビデオテンプレートのテンプレート主題に類似したサブ候補素材セット内の候補素材を選択して目標候補素材とすることができる。ここで、目標候補素材を選択する時、素材主題が目標ビデオテンプレートのテンプレート主題に類似した全ての候補素材をいずれも目標候補素材と確定してもよいし、素材主題が目標ビデオテンプレートのテンプレート主題に類似した予め設定された数(例えば、20個または50個等)の候補素材を選択して目標候補素材としてもよく、本実施例は、これについて限定しない。
【0046】
S204において、前記目標ビデオテンプレートの各素材スロットの充填条件を満たす目標候補素材を順次取得して前記素材スロットの充填待ち素材とし、前記充填待ち素材を前記素材スロットに充填し、ここで、前記目標ビデオテンプレートは、素材を充填するための複数の素材スロットを含む。
【0047】
該充填条件は、充填する必要がある素材のアスペクト比(例えば、16:9等)、素材タイプ(例えば、ビデオまたは写真等)および/または素材の最大時間長等を含んでもよい。
【0048】
充填条件が素材のアスペクトであることを例とし、電子機器は、目標候補素材を確定した後、目標ビデオテンプレートの1つの素材スロットを選択して現在の素材スロットとしてもよく、例えば、目標ビデオテンプレートの最初の素材スロットを選択して現在の素材スロットとし、充填待ち素材と確定されていない目標候補素材から、現在の素材スロットのアスペクト比要求を満たす1つの目標候補素材を選択して現在の素材スロットの充填待ち素材とし、該充填待ち素材を現在の素材スロットに充填し、目標候補素材の次の素材スロットを現在の素材スロットと確定し、次の素材スロットがないまで、充填待ち素材と確定されていない目標候補素材から選択する操作に戻って実行する。
【0049】
本ステップにおいて、現在の素材スロットの充填条件を満たす目標候補素材が1つのみある場合、該目標候補素材を該素材スロットの充填待ち素材と確定することができ、現在の素材スロットの充填条件を満たす目標候補素材が複数存在する場合、生成した目標ビデオの品質を向上させるために、該複数の目標候補素材から1つのビデオタイプの目標候補素材をランダムに選択して現在の素材スロットの充填待ち素材とすることができ、該複数の目標候補素材にビデオタイプの目標候補素材がない場合、1つの目標候補素材をランダムに選択して現在の素材スロットの充填待ち素材とすることができる。また、充填待ち素材が、時間長が現在の素材スロットに充填できる素材の最大時間長よりも大きいビデオタイプの目標候補素材であれば、該充填待ち素材を現在の素材スロットに充填する時、該充填待ち素材から時間長が該最大時間長に合わせるキーとなるビデオを切り出し、切り出した該キーとなるビデオを現在の素材スロットに充填することができる。
【0050】
ロードに失敗した場合、例えば、ネットワークに起因して目標ビデオテンプレートが正常にロードできない場合、または、素材主題が目標ビデオテンプレートのテンプレート主題に類似した素材の数が少なすぎる(例えば、目標ビデオテンプレートに含まれる素材スロットの数よりも少ない)場合、または1つまたは複数の素材スロットの充填条件を満たす目標候補素材がない場合、電子機器は、ロードを停止することができ、現在の表示ページをロードページから目標音楽の音楽詳細ページに切り替え、ロードに失敗したことをユーザに提示することができ、例えば、ユーザがビデオ生成の失敗原因を明確にするように、「ビデオ生成に失敗しました。後で再試行してください」または「素材が足りないため、補充した後で再試行してください」等をユーザに提示する。
【0051】
S205において、プレビューページを表示し、前記プレビューページに、前記目標ビデオテンプレートにおける前記充填待ち素材を含む合成待ち素材を展示する。
【0052】
合成待ち素材は、目標ビデオテンプレートにおけるユーザが目標ビデオに合成する素材(例えば、ビデオまたは写真)と理解でき、目標ビデオテンプレートにおける各素材スロットに充填された充填待ち素材を含んでもよいし、シーンチェンジ素材を更に含んでもよく、該シーンチェンジ素材は、目標ビデオテンプレートに担持されてもよいし、電子機器が充填待ち素材を目標ビデオテンプレートに充填してから隣接する充填待ち素材に基づいて生成されて隣接する充填待ち素材間に充填されてもよい。
【0053】
例示的には、目標ビデオテンプレートおよび目標ビデオテンプレートの各素材スロットに対応する素材のロードがいずれも完了した後、
図7に示すように、現在の表示ページをロードページからプレビューページに切り替えることができ、該プレビューページに、目標ビデオテンプレートにおける合成待ち素材を展示し、例えば、ユーザが目標ビデオを生成するための素材および全ての素材の配列順を明確にするように、目標ビデオテンプレートにおける全ての合成待ち素材の順に従い、全ての合成待ち素材を順次展示し、または、ユーザの切り替え操作に従い、プレビューページに現在展示されている合成待ち素材を切り替える。
【0054】
S206において、前記プレビューページにおけるテンプレートコントロールに作用する第2トリガ操作を受信する。
【0055】
S207において、前記第2トリガ操作に応答して、複数のビデオテンプレートのテンプレート情報が表示されたテンプレートウィンドウを表示する。
【0056】
第2トリガ操作は、プレビューページに表示されたテンプレートコントロールをトリガするための操作であってもよく、例えば、該テンプレートコントロールに作用するクリック操作等である。ビデオテンプレートのテンプレート情報は、該ビデオテンプレートの関連情報であってもよく、例えば、ビデオテンプレートのテンプレートサムネイルおよび/またはテンプレート名等である。テンプレートウィンドウは、テンプレートリストを表示することに使用でき、該テンプレートリストにテンプレートライブラリ内の全てのビデオテンプレートが含まれてもよい。バックグラウンドミュージックの第2音楽特徴情報と目標音楽の第1音楽特徴情報との間の合致度が設定された合致度閾値よりも大きいテンプレートのみを含んでもよく、本実施例は、これについて限定しない。
【0057】
本実施例において、
図7に示すように、プレビューページには、テンプレートウィンドウを表示するようにユーザが電子機器に指示するためのテンプレートコントロール70が設定されてもよく、これにより、ユーザは、目標ビデオを生成する時に使用する目標ビデオテンプレートを変更したい場合、該テンプレートコントロール70をクリックすることができる。それに対応し、電子機器は、ユーザが該テンプレートコントロール70をクリックしたことを監視した場合、第2トリガ操作を受信したと確定でき、該第2トリガ操作に応答して、テンプレートウィンドウ80を表示し、該テンプレートウィンドウ80に各ビデオテンプレートのテンプレート情報を表示し、例えば、
図8に示すように、テンプレートウィンドウ内に各ビデオテンプレートのテンプレートサムネイルおよび/またはテンプレート名を表示する。ここで、各ビデオテンプレートは、ランダムにまたはバックグラウンドミュージックの第2音楽特徴情報と目標音楽の第1音楽特徴情報との間の合致度の大きい順にテンプレートウィンドウ80に展示できる。
【0058】
S208において、前記テンプレートウィンドウ内に表示されたテンプレート情報に作用する第3トリガ操作を受信する。
【0059】
S209において、前記第3トリガ操作に応答して、前記目標ビデオテンプレートを前記第3トリガ操作に対応するテンプレート情報の属するビデオテンプレートに切り替え、前記目標ビデオテンプレートにおける合成待ち素材を更新する。
【0060】
第3トリガ操作は、テンプレートウィンドウ内の1つのビデオテンプレートのテンプレート情報の表示領域内に作用する操作と理解でき、例えば、テンプレートウィンドウ内に表示された1つのビデオテンプレートのテンプレートサムネイルをクリックする操作等である。
【0061】
図8に示すように、ユーザは、目標ビデオテンプレートを他のビデオテンプレートに切り替えたい場合、テンプレートウィンドウ80内に表示された該ビデオテンプレートのサムネイルをクリックすることができ、それに対応し、電子機器は、ユーザがビデオテンプレート内に表示された1つのビデオテンプレートのテンプレートサムネイルをクリックしたことを監視した場合、第3トリガ操作を受信したと確定でき、目標ビデオテンプレートを該ビデオテンプレートに切り替え、ユーザの候補素材セット内の各候補素材の素材主題と該ビデオテンプレートのテンプレート主題との間の関連性に基づいて該ビデオテンプレートの目標候補テンプレートを確定し、該ビデオテンプレートの各素材スロットの充填条件を満たす目標候補素材を順次取得して該素材スロットの充填待ち素材とし、各素材スロットの充填待ち素材を対応する素材スロットに充填し、且つ、ユーザが更新後の合成待ち素材を閲覧するように、プレビューページに展示された合成待ち素材を該ビデオテンプレートにおける合成待ち素材に更新する。且つ、電子機器は、第3トリガ操作を受信した場合、該トリガ操作に応答して、ダウンロード提示ウィンドウ81を表示して現在ダウンロード中のテンプレートをユーザに提示してもよい。この場合、それに対応し、プレビューページに更新後の合成待ち素材を展示する時、ユーザが更新後の合成待ち素材を閲覧することを妨げないようにするために、該提示ウィンドウ81の表示を停止してもよい。
【0062】
また、
図8を参照し続け、目標ビデオテンプレートを切り替えた後、プレビューページに第1セーブコントロール82および第1キャンセルコントロール83を表示してもよく、これにより、ユーザが該第1セーブコントロール82をクリックしたことを監視した場合、切り替えた後の目標ビデオテンプレートおよび合成待ち素材をセーブすることができ、且つ、テンプレートウィンドウ80を閉じることができ、
図7に示すとおりである。ユーザが該第1キャンセルコントロール83をクリックしたことを監視した場合、切り替えた後の目標ビデオテンプレートおよび合成待ち素材を前の目標ビデオテンプレートおよび合成待ち素材に切り替えることができ、且つ、テンプレートウィンドウ80を閉じることができ、
図7に示すとおりである。
【0063】
一実施形態において、
図7を参照し続け、プレビューページに素材コントロール71が表示されてもよく、ユーザがプレビューページに初めて入った時、素材コントロール71の機能についての紹介情報72を表示することができる。ユーザは、目標ビデオテンプレートに充填された充填待ち素材を交換したい場合、該素材コントロール71をクリックすることができる。それに対応し、電子機器は、ユーザが素材コントロール71をクリックしたことを監視した場合、
図9に示すように、素材ウィンドウ90を表示し、該素材ウィンドウ90に、ユーザの素材、候補素材または目標候補素材の素材情報、例えば、素材サムネイルを表示してもよい。プレビューページに第2セーブコントロール91および第2キャンセルコントロール92を表示してもよい。
【0064】
これにより、ユーザは、プレビューページに現在表示されている素材を他の素材に置き換えたい場合、素材ウィンドウ90に表示された該他の素材のサムネイルをクリックすることができ、電子機器は、ユーザが素材ウィンドウ90に表示された1つの素材の素材サムネイルをクリックしたことを監視した場合、該素材が写真であれば、現在時刻にプレビューページに表示されている素材を該写真に置き換えることができ、該素材がビデオであれば、
図10に示すように、ユーザが該ビデオ内の一部を選択して素材とするように、ビデオ素材編集ウィンドウ100を表示することができ、且つ、ユーザがビデオ素材編集ウィンドウ100内の確定コントロール102をクリックしたことを監視した場合、現在時刻にプレビューページに表示されている素材をユーザが選択した部分に置き換え、ユーザがビデオ素材編集ウィンドウ100内のキャンセルコントロール101をクリックしたことを監視した場合、ユーザが選択した部分をキャンセルし、且つ、ユーザがビデオ素材編集ウィンドウ100内の素材交換コントロール103をクリックしたことを監視した場合、ユーザが素材を交換するように、ビデオ素材編集ウィンドウ100を閉じて素材ウィンドウ90を表示する。
【0065】
ユーザは、素材に対する修正をセーブしたい場合、第2セーブコントロール91をクリックすることができ、それに対応し、電子機器は、ユーザが第2セーブコントロール91をクリックしたことを監視した場合、修正後の充填待ち素材をセーブすることができ、且つ、素材ウィンドウ90を閉じることができる。ユーザは、素材に対する修正をキャンセルしたい場合、第2キャンセルコントロール92をクリックすることができ、それに対応し、電子機器は、ユーザが第2キャンセルコントロール92をクリックしたことを監視した場合、修正後の合成待ち素材を前の合成待ち素材に切り替えることができ、且つ、素材ウィンドウ90を閉じすることができ、
図7に示すとおりである。
【0066】
また、素材ウィンドウ90には、ユーザが目標テンプレートに担持されたテキストを編集するためのテキスト編集コントロール93が表示されてもよい。電子機器は、充填待ち素材を目標ビデオテンプレートに充填する時、目標ビデオテンプレートに担持された、ビデオに表示する必要があるテキストを対応する写真またはビデオプレートに同期充填することができ、ユーザが素材ウィンドウ90内のテキスト編集コントロール93をクリックしたことを監視した場合、ユーザが写真またはビデオプレートに付加された、目標ビデオテンプレートに担持されたテキストを編集するように、テキスト編集ウィンドウを表示する。
【0067】
S210において、前記充填待ち素材を充填した後の目標ビデオテンプレートに従って目標ビデオを生成する。
【0068】
例示的には、電子機器は、目標ビデオテンプレートの各素材スロットの充填待ち素材の充填が完了した後、充填後の目標ビデオテンプレートに基づいて目標ビデオを自動的に生成することができ、例えば、目標ビデオテンプレートにおける全ての充填待ち素材/合成待ち素材の順に従い、全ての充填待ち素材/合成待ち素材を目標ビデオに合成することができる。目標ビデオテンプレートの全ての素材スロットの充填待ち素材の充填が完了した後、ユーザが目標ビデオテンプレートおよび目標ビデオテンプレートにおける充填待ち素材/合成待ち素材を閲覧して修正するように、プレビューページを表示し、且つ、ユーザがプレビューページにおけるビデオ合成コントロールをトリガしたことを監視した場合、目標ビデオテンプレートにおける全ての充填待ち素材/合成待ち素材を目標ビデオに合成し、例えば、前記充填待ち素材を充填した後の目標ビデオテンプレートに従って目標ビデオを生成することは、前記プレビューページにおけるビデオ合成コントロールに作用する第4トリガ操作を受信した場合、前記目標音楽を用いてバックグラウンドミュージックとし、前記目標ビデオテンプレートにおける全ての合成待ち素材の順に従い、前記全ての合成待ち素材を目標ビデオに合成することを含む。
【0069】
例示的には、
図7を参照し続け、電子機器は、プレビューページにビデオ合成コントロール73を表示し、ユーザは、目標ビデオテンプレートにおける合成待ち素材を目標ビデオに合成したい場合、該ビデオ合成コントロール73をクリックすることができる。それに対応し、電子機器は、ユーザがビデオ合成コントロール73をクリックしたことを監視した場合、第4トリガ操作を受信したと確定でき、該第4トリガ操作に応答して、目標音楽をバックグラウンドミュージックとし、目標ビデオテンプレートにおける全ての合成待ち素材の順に従い、全ての合成待ち素材を目標ビデオに合成し、且つ、
図11に示すように、ユーザが、目標ビデオのバックグラウンドミュージックを交換したり、目標ビデオにテキスト、ステッカー、エフェクトおよび/またはフィルターを付加したり、目標ビデオを画質補正したりする等、合成した目標ビデオを編集するように、現在の表示ページをプレビューページからビデオ編集ページに切り替えることができる。且つ、ユーザがビデオ編集ページにおけるストーリーズコントロール110をクリックしたことを監視した場合、目標ビデオを投稿し、目標ビデオを予め設定された日数(例えば、1日または1週間)内にのみ見られるように設定することができる。ユーザがビデオ編集ページにおける次へコントロール111をクリックしたことを監視した場合、ユーザが目標ビデオのタイトル、投稿位置および公開範囲を編集するように、現在の表示ページをビデオ編集ページから投稿ページに切り替え、目標ビデオを投稿するか、または目標ビデオセーブを下書き内に記憶する。ここで、合成待ち素材がビデオタイプの素材であれば、合成時に、得た目標ビデオに目標音楽以外の音が突然現れたり消えたりすることを回避するために、該合成待ち素材のオーディオデータを削除したり該合成待ち素材をミュートしたりしてもよい。
【0070】
また、
図7に示すように、プレビューページに第1戻りコントロール74が表示されてもよく、これにより、ユーザは、目標音楽の音楽詳細ページに戻りたい場合、該第1戻りコントロール74をクリックすることができ、それに対応し、電子機器は、ユーザが第1戻りコントロール74をクリックしたことを監視した場合、第1セーブ提示ウィンドウ(
図7で示されていない)を表示して戻ると現在の効果がなくなることをユーザに提示することができ、ユーザが第1セーブ提示ウィンドウ内の第1確認コントロールをクリックしたことを監視した場合、現在の表示ページをプレビューページから目標音楽の音楽詳細ページに切り替える。
図11に示すように、ビデオ編集ページに第2戻りコントロール112が表示されてもよい。これにより、ユーザは、プレビューページに戻りたい場合、該第2戻りコントロール112をクリックすることができ、それに対応し、電子機器は、ユーザが第2戻りコントロール112をクリックしたことを監視した場合、第2セーブ提示ウィンドウ(
図11で示されていない)を表示してビデオ編集ページ内で編集した内容がセーブされないことをユーザに提示することができ、ユーザが第2セーブ提示ウィンドウ内の第2確認コントロールをクリックしたことを監視した場合、現在の表示ページをビデオ編集ページからプレビューページに切り替える。
【0071】
本実施例に係るビデオ生成方法は、目標ビデオの音楽特徴に従って目標ビデオテンプレートを選択し、目標ビデオテンプレートの主題に従って目標候補素材を確定し、且つ、ユーザが目標ビデオテンプレートを変更した後、目標ビデオテンプレート内に充填された素材を同期更新し、ユーザが選択した音楽に従ってビデオを自動的に生成することができるだけでなく、生成した目標ビデオの品質を向上させ、生成した目標ビデオをユーザの意図に更に合わせ、ユーザの使用体験を向上させることもできる。
【0072】
図12は、本開示の実施例に係るビデオ生成装置の構成ブロック図である。該装置は、ソフトウェアおよび/またはハードウェアにより実現でき、携帯電話機またはタブレットコンピュータのような電子機器に構成され得て、ビデオ生成方法を実行することによりビデオを生成することができる。
図12に示すように、本実施例に係るビデオ生成装置は、第1受信モジュール1201およびビデオ生成モジュール1202を備えてもよい。
【0073】
第1受信モジュール1201は、目標音楽を用いてビデオを生成する第1トリガ操作を受信するように構成され、ビデオ生成モジュール1202は、前記第1トリガ操作に応答して、前記目標音楽の第1音楽特徴情報に基づき、自ユーザの候補素材セットから前記目標音楽に合致する候補素材を選択して目標候補素材とし、前記目標候補素材に従い、前記目標音楽をバックグラウンドミュージックとする目標ビデオを生成するように構成される。
【0074】
本実施例に係るビデオ生成装置は、第1受信モジュール1201により、目標音楽を用いてビデオを生成する第1トリガ操作を受信し、ビデオ生成モジュール1202により、該第1トリガ操作に応答して、目標音楽の第1音楽特徴情報に基づき、自ユーザの候補素材セットから目標音楽に合致する候補素材を選択して目標候補素材とし、該目標候補素材に従い、目標音楽をバックグラウンドミュージックとする目標ビデオを生成する。本実施例は、上記技術案を採用することにより、ユーザが選択した音楽に基づき、該音楽に合致する素材を用いてビデオを自動的に生成することができ、ビデオ作成のハードルを低減し、ユーザがビデオを作成するためにかかる時間を短縮することができ、且つ、生成したビデオとユーザが選択した音楽との合致度を高め、生成したビデオの品質を向上させることができる。
【0075】
上記形態において、前記ビデオ生成モジュール1202は、各ビデオテンプレートのバックグラウンドミュージックの第2音楽特徴情報を取得し、前記第2音楽特徴情報が前記目標音楽の第1音楽特徴情報に合致するビデオテンプレートを選択して目標ビデオテンプレートとするように構成されるテンプレート取得ユニットと、ユーザの候補素材セット内の各候補素材の素材主題と前記目標ビデオテンプレートのテンプレート主題との間の関連性に基づいて目標候補素材を確定するように構成される素材確定ユニットとを備えてもよい。
【0076】
上記形態において、前記目標ビデオテンプレートは、素材を充填するための複数の素材スロットを含んでもよく、前記ビデオ生成モジュール1202は、前記ユーザの候補素材セット内の各候補素材の素材主題と前記目標ビデオテンプレートのテンプレート主題との間の関連性に基づいて目標候補素材を確定した後、前記目標ビデオテンプレートの各素材スロットの充填条件を満たす目標候補素材を順次取得して前記素材スロットの充填待ち素材とし、前記充填待ち素材を前記素材スロットに充填するように構成される素材充填ユニットと、前記充填待ち素材を充填した後の目標ビデオテンプレートに従って目標ビデオを生成するように構成されるビデオ生成ユニットとを更に備えてもよい。
【0077】
上記形態において、前記ビデオ生成モジュール1202は、前記充填待ち素材を前記素材スロットに充填した後、プレビューページを表示し、前記プレビューページに、前記目標ビデオテンプレートにおける前記複数の充填待ち素材を含む合成待ち素材を展示するように構成される素材展示ユニットを更に備えてもよい。
【0078】
上記形態において、前記ビデオ生成モジュール1202は、前記プレビューページを表示した後、前記プレビューページにおけるテンプレートコントロールに作用する第2トリガ操作を受信するように構成される第1受信ユニットと、前記第2トリガ操作に応答して、複数のビデオテンプレートのテンプレート情報が表示されたテンプレートウィンドウを表示するように構成されるテンプレート表示ユニットと、前記テンプレートウィンドウ内に表示されたテンプレート情報に作用する第3トリガ操作を受信するように構成される第2受信ユニットと、前記第3トリガ操作に応答して、前記目標ビデオテンプレートを前記第3トリガ操作に対応するテンプレート情報の属するビデオテンプレートに切り替え、前記目標ビデオテンプレートにおける合成待ち素材を更新するように構成される素材更新ユニットとを更に備えてもよい。
【0079】
上記形態において、前記ビデオ生成ユニットは、前記プレビューページにおけるビデオ合成コントロールに作用する第4トリガ操作を受信した場合、前記目標音楽を用いてバックグラウンドミュージックとし、前記目標ビデオテンプレートにおける全ての合成待ち素材の順に従い、前記全ての合成待ち素材を目標ビデオに合成するように構成されてもよい。
【0080】
本実施例に係るビデオ生成装置は、前記自ユーザの候補素材セットから前記目標音楽に合致する候補素材を選択して目標候補素材とする前に、ローカルアルバムおよび/または関連するクラウドアルバムを含むユーザのアルバム内の素材を取得するように構成される素材取得モジュールと、素材の美的スコアに従い、前記アルバムから複数の素材を選別し、ユーザの候補素材セットを形成するように構成される素材選別モジュールとを更に備えてもよい。
【0081】
本開示の実施例に係るビデオ生成装置は、本開示のいずれかの実施例に係るビデオ生成方法を実行することができ、ビデオ生成方法の実行に対応する機能モジュールおよび効果を備える。本実施例で詳しく説明されていない技術詳細は、本開示のいずれかの実施例に係るビデオ生成方法を参照することができる。
【0082】
以下、
図13を参照し、本開示の実施例を実現するために適した電子機器(例えば、端末機器)1300の構造模式図を示す。本開示の実施例における端末機器は、携帯電話機、ノートパソコン、デジタル放送受信機、パーソナルデジタルアシスタント(Personal Digital Assistant、PDA)、タブレットコンピュータ(PAD)、ポータブルマルチメディアプレイヤー(Portable Media Player、PMP)、車載端末(例えば、車載ナビゲーション端末)等のようなモバイル端末、およびデジタル(Television、TV)、デスクトップ型コンピュータ等のような固定端末を含んでもよいが、これらに限定されない。
図13に示す電子機器は一例に過ぎず、本開示の実施例の機能および使用範囲に何かの制限を与えるものではない。
【0083】
図13に示すように、電子機器1300は、処理装置(例えば、中央プロセッサ、グラフィックプロセッサ等)1301を備えてもよく、読み出し専用メモリ(Read-Only Memory、ROM)1302に記憶されたプログラム、または記憶装置1308からランダムアクセスメモリ(Random Access Memory、RAM)1303にロードされたプログラムに基づき、様々な適当な動作および処理を実行することができる。RAM 1303には、電子機器1300の操作に必要な様々なプログラムおよびデータが更に記憶されている。処理装置1301、ROM 1302およびRAM 1303は、バス1304を介して互いに接続されている。入力/出力(Input/Output、I/O)インターフェース1305もバス1304に接続されている。
【0084】
通常、例えば、タッチパネル、タッチパッド、キーボード、マウス、カメラ、マイク、加速度計、ジャイロスコープ等を含む入力装置1306、例えば、液晶ディスプレイ(Liquid Crystal Display、LCD)、スピーカ、バイブレータ等を含む出力装置1307、例えば、磁気テープ、ハードディスク等を含む記憶装置1306、および通信装置1309は、I/Oインターフェース1305に接続することができる。通信装置1309は、電子機器1300が他の機器と無線または有線通信してデータを交換することを可能にする。
図13は、様々な装置を備える電子機器1300を示したが、全ての示された装置を実施または具備することが必要ではないことが理解されるべきである。代わりに、より多いまたはより少ない装置を実施または具備してもよい。
【0085】
本開示の実施例によれば、上記フローチャートを参照して記述した過程は、コンピュータソフトウェアプログラムとして実現され得る。例えば、本開示の実施例は、非一時的コンピュータ可読媒体に担持されたコンピュータプログラムを含むコンピュータプログラム製品を含み、該コンピュータプログラムは、フローチャートに示す方法を実行するためのプログラムコードを含む。このような実施例において、該コンピュータプログラムは、通信装置1309によりネットワークからダウンロードされてインストールされてもよいし、記憶装置1306からインストールされてもよいし、ROM 1302からインストールされてもよい。該コンピュータプログラムが処理装置1301により実行されると、本開示の実施例の方法で限定される上記機能を実行する。
【0086】
なお、本開示に記載されたコンピュータ可読媒体は、コンピュータ可読信号媒体であってもよいし、コンピュータ可読記憶媒体であってもよいし、上記両者の任意の組み合わせであってもよい。コンピュータ可読記憶媒体は、例えば、電気の、磁気の、光の、電磁気の、赤外線の、または半導体のシステム、装置またはデバイス、あるいは以上の任意の組み合わせであってもよいが、これらに限定されない。コンピュータ可読記憶媒体の更なる具体的な例は、1つまたは複数のリード線を有する電気的接続、ポータブルコンピュータディスク、ハードディスク、RAM、ROM、消去可能なプログラマブル読み出し専用メモリ(Erasable Programmable Read-Only Memory、EPROMまたはフラッシュメモリ)、光ファイバ、ポータブルコンパクトディスク読み出し専用メモリ(Compact Disc Read-Only Memory、CD-ROM)、光記憶デバイス、磁気記憶デバイス、または上記内容の任意の適当な組み合わせを含んでもよいが、これらに限定されない。本開示において、コンピュータ可読記憶媒体は、命令実行システム、装置またはデバイスに使用され得る、または命令実行システム、装置またはデバイスと合わせて使用され得るプログラムを含有または記憶する任意の有形的な媒体であってもよい。本開示において、コンピュータ可読信号媒体は、ベースバンドでまたは搬送波の一部として伝搬されるデータ信号を含んでもよく、その中にコンピュータ可読プログラムコードが担持されている。このような伝搬されるデータ信号は、様々な形式を採用することができ、電磁信号、光信号または上記内容の任意の適当な組み合わせを含んでもよいが、これらに限定されない。コンピュータ可読信号媒体は、コンピュータ可読記憶媒体以外の任意のコンピュータ可読媒体であってもよく、該コンピュータ可読信号媒体は、命令実行システム、装置またはデバイスに使用される、または命令実行システム、装置またはデバイスと合わせて使用されるプログラムを送信、伝搬または伝送することができる。コンピュータ可読媒体に含まれるプログラムコードは、任意の適当な媒体で伝送でき、電線、光ケーブル、無線周波数(Radio Frequency、RF)等、または上記内容の任意の適当な組み合わせを含んでもよいが、これらに限定されない。
【0087】
いくつかの実施形態において、クライアント、サーバは、ハイパーテキストトランスファープロトコル(HyperText Transfer Protocol、HTTP)のような、任意の現在知られているまたは将来研究開発されるネットワークプロトコルを利用して通信することができ、且つ、任意の形式または媒体のデジタルデータ通信(例えば、通信ネットワーク)と相互接続できる。通信ネットワークの例は、ローカルエリアネットワーク(Local Area Network、LAN)、ワイドエリアネットワーク(Wide Area Network、WAN)、ネットワークオフネットワーク(例えば、インターネット)およびピアツーピアネットワーク(例えば、ad hocピアツーピアネットワーク)、および任意の現在知られているまたは将来研究開発されるネットワークを含む。
【0088】
上記コンピュータ可読媒体は、上記電子機器に含まれるものであってもよいし、単独で存在して該電子機器に取り付けられていないものであってもよい。
【0089】
上記コンピュータ可読媒体に1つまたは複数のプログラムが担持され、上記1つまたは複数のプログラムが該電子機器により実行されると、該電子機器は、目標音楽を用いてビデオを生成する第1トリガ操作を受信し、前記第1トリガ操作に応答して、前記目標音楽の第1音楽特徴情報に基づき、自ユーザの候補素材セットから前記目標音楽に合致する候補素材を選択して目標候補素材とし、前記目標候補素材に従い、前記目標音楽をバックグラウンドミュージックとする目標ビデオを生成する。
【0090】
1種または複数種のプログラミング言語またはその組み合わせで本開示の操作を実行するためのコンピュータプログラムコードを記述することができ、上記プログラミング言語は、Java(登録商標)、Smalltalk(登録商標)、C++のようなオブジェクト指向プログラミング言語を含み、「C」言語のような通常の手続型プログラミング言語または類似するプログラミング言語を更に含む。プログラムコードは、完全にユーザのコンピュータで実行されてもよいし、部分的にユーザのコンピュータで実行されてもよいし、1つの独立したソフトウェアパッケージとして実行されてもよいし、部分的にユーザのコンピュータで部分的にリモートコンピュータで実行されてもよいし、完全にリモートコンピュータまたは業務サーバで実行されてもよい。リモートコンピュータに関する場合、リモートコンピュータは、LANまたはWANを含む任意の種類のネットワークを介してユーザのコンピュータに接続することができ、または、外部コンピュータ(例えば、インターネットサービスプロバイダを利用してインターネットを介して接続する)に接続することができる。
【0091】
図面におけるフローチャートおよびブロック図は、本開示の様々な実施例による方法およびコンピュータプログラム製品の実現可能なアーキテクチャ、機能および操作を示す。この点で、フローチャートまたはブロック図における各ブロックは、1つのモジュール、プログラム、またはコードの一部を表すことができ、該モジュール、プログラム、またはコードの一部は、所定のロジック機能を実現するための1つまたは複数の実行可能命令を含む。なお、代替としてのいくつかの実現において、ブロックに記載された機能は、図面に記載された順序と異なる順序で発生してもよい。例えば、接続されているように示された2つのブロックは、関する機能によって、実際にほぼ並行して実行してもよいし、逆の順序で実行してもよい。なお、ブロック図および/またはフローチャートにおける各ブロック、およびブロック図および/またはフローチャートにおけるブロックの組み合わせは、所定の機能または操作を実行する専用のハードウェアに基づくシステムで実現してもよいし、専用のハードウェアとコンピュータ命令との組み合わせで実現してもよい。
【0092】
本開示の実施例に係るユニットは、ソフトウェアの方式で実現されてもよいし、ハードウェアの方式で実現されてもよい。ここで、モジュールの名称は、ある場合、ユニット自体を限定するものではない。
【0093】
本開示に係る機能は、少なくとも部分的に1つまたは複数のハードウェアロジックコンポーネントにより実行されてもよい。例えば、非限定的に、使用可能な例示的なタイプのハードウェアロジックコンポーネントは、フィールドプログラマブルゲートアレイ(Field Programmable Gate Array、FPGA)、特定用途向け集積回路(Application Specific Integrated Circuit、ASIC)、特定用途向け標準パーツ(Application Specific Standard Parts、ASSP)、システムオンチップのシステム(System on Chip、SOC)、複合プログラマブルロジックデバイス(Complex Programmable Logic Device、CPLD)等を含む。
【0094】
本発明の明細書において、機器可読媒体は、命令実行システム、装置またはデバイスに使用される、または命令実行システム、装置またはデバイスと合わせて使用されるプログラムを含有または記憶できる有形的な媒体であってもよい。機器可読媒体は、機器可読信号媒体または機器可読記憶媒体であってもよい。機器可読媒体は、電子の、磁気の、光の、電磁気の、赤外線の、または半導体のシステム、装置またはデバイス、または上記内容の任意の適当な組み合わせを含んでもよいが、これらに限定されない。機器可読記憶媒体の更なる具体的な例は、1つまたは複数の線による電気的接続、ポータブルコンピュータディスク、ハードディスク、RAM、ROM、EPROMまたはフラッシュメモリ、CD-ROM、光記憶デバイス、磁気記憶デバイス、または上記内容の任意の適当な組み合わせを含む。
【0095】
本開示の1つまたは複数の実施例によれば、例1は、
目標音楽を用いてビデオを生成する第1トリガ操作を受信することと、
前記第1トリガ操作に応答して、前記目標音楽の第1音楽特徴情報に基づき、自ユーザの候補素材セットから前記目標音楽に合致する候補素材を選択して目標候補素材とし、前記目標候補素材に従い、前記目標音楽をバックグラウンドミュージックとする目標ビデオを生成することと、を含む、
ビデオ生成方法を提供する。
【0096】
本開示の1つまたは複数の実施例によれば、例2は、例1に記載の方法に基づき、前記目標音楽の第1音楽特徴情報に基づき、自ユーザの候補素材セットから前記目標音楽に合致する候補素材を選択して目標候補素材とすることは、
各ビデオテンプレートのバックグラウンドミュージックの第2音楽特徴情報を取得し、第2音楽特徴情報が前記目標音楽の第1音楽特徴情報に合致するビデオテンプレートを選択して目標ビデオテンプレートとすることと、
前記ユーザの候補素材セット内の各候補素材の素材主題と前記目標ビデオテンプレートのテンプレート主題との間の関連性に基づいて目標候補素材を確定することと、を含む。
【0097】
本開示の1つまたは複数の実施例によれば、例3は、例2に記載の方法に基づき、前記目標ビデオテンプレートは、素材を充填するための複数の素材スロットを含み、前記ユーザの候補素材セット内の各候補素材の素材主題と前記目標ビデオテンプレートのテンプレート主題との間の関連性に基づいて目標候補素材を確定した後、
前記目標ビデオテンプレートの各素材スロットの充填条件を満たす目標候補素材を順次取得して前記素材スロットの充填待ち素材とし、前記充填待ち素材を前記素材スロットに充填することを更に含み、
前記目標候補素材に従って目標ビデオを生成することは、
前記充填待ち素材を充填した後の目標ビデオテンプレートに従って前記目標ビデオを生成することを含む。
【0098】
本開示の1つまたは複数の実施例によれば、例4は、例3に記載の方法に基づき、前記充填待ち素材を前記素材スロットに充填した後、
プレビューページを表示し、前記プレビューページに、前記目標ビデオテンプレートにおける前記充填待ち素材を含む合成待ち素材を展示することを更に含む。
【0099】
本開示の1つまたは複数の実施例によれば、例5は、例4に記載の方法に基づき、前記プレビューページを表示した後、
前記プレビューページにおけるテンプレートコントロールに作用する第2トリガ操作を受信することと、
前記第2トリガ操作に応答して、複数のビデオテンプレートのテンプレート情報が表示されたテンプレートウィンドウを表示することと、
前記テンプレートウィンドウ内に表示されたテンプレート情報に作用する第3トリガ操作を受信することと、
前記第3トリガ操作に応答して、前記目標ビデオテンプレートを前記第3トリガ操作に対応するテンプレート情報の属するビデオテンプレートに切り替え、前記目標ビデオテンプレートにおける合成待ち素材を更新することと、を更に含む。
【0100】
本開示の1つまたは複数の実施例によれば、例6は、例4または5に記載の方法に基づき、前記充填待ち素材を充填した後の目標ビデオテンプレートに従って前記目標ビデオを生成することは、
前記プレビューページにおけるビデオ合成コントロールに作用する第4トリガ操作を受信した場合、前記目標音楽を用いてバックグラウンドミュージックとし、前記目標ビデオテンプレートにおける全ての合成待ち素材の順に従い、前記全ての合成待ち素材を前記目標ビデオに合成することを含む。
【0101】
本開示の1つまたは複数の実施例によれば、例7は、例1から5のいずれか1項に記載の方法に基づき、前記自ユーザの候補素材セットから前記目標音楽に合致する候補素材を選択して目標候補素材とする前に、
ローカルアルバムおよび/または関連するクラウドアルバムを含むユーザのアルバム内の素材を取得することと、
素材の美的スコアに従い、前記アルバムから複数の素材を選別し、前記ユーザの候補素材セットを形成することと、を更に含む。
【0102】
本開示の1つまたは複数の実施例によれば、例8は、
目標音楽を用いてビデオを生成する第1トリガ操作を受信するように構成される第1受信モジュールと、
前記第1トリガ操作に応答して、前記目標音楽の第1音楽特徴情報に基づき、自ユーザの候補素材セットから前記目標音楽に合致する候補素材を選択して目標候補素材とし、前記目標候補素材に従い、前記目標音楽をバックグラウンドミュージックとする目標ビデオを生成するように構成されるビデオ生成モジュールと、を備える、
ビデオ生成装置を提供する。
【0103】
本開示の1つまたは複数の実施例によれば、例9は、
1つまたは複数のプロセッサと、
1つまたは複数のプログラムを記憶するように構成されるメモリと
を備える電子機器であって
前記1つまたは複数のプログラムが前記1つまたは複数のプロセッサにより実行されると、前記1つまたは複数のプロセッサは、例1から例7のいずれか1項に記載のビデオ生成方法を実現する、
電子機器を提供する。
【0104】
本開示の1つまたは複数の実施例によれば、例10は、コンピュータプログラムが記憶されたコンピュータ可読記憶媒体であって、該プログラムがプロセッサにより実行されると、例1から例7のいずれか1項に記載のビデオ生成方法を実現する、コンピュータ可読記憶媒体を提供する。
【0105】
特定の順番で複数の操作を記述したが、これらの操作を示された特定の順番または正方向順番で実行する必要があると理解されるべきではない。一定の環境において、マルチタスクおよび並行処理が有利である可能性がある。同様に、以上の検討に複数の具体的な実現詳細が含まれているが、これらは本開示の範囲を限定するものと理解されるべきではない。単独な実施例の説明に記述された一部の特徴は、組み合わせて単一の実施例で実現されてもよい。逆に、単一の実施例の説明に記述された様々な特徴は、単独で、または任意の適当なサブ組み合わせの方式で複数の実施例で実現されてもよい。
【手続補正書】
【提出日】2023-08-15
【手続補正1】
【補正対象書類名】図面
【補正方法】変更
【補正の内容】
【国際調査報告】