IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ベイジン バイトダンス ネットワーク テクノロジー カンパニー リミテッドの特許一覧 ▶ バイトダンス インコーポレイテッドの特許一覧

特許7460806トランジションタイプ決定方法及び装置、電子機器並びに記憶媒体
<>
  • 特許-トランジションタイプ決定方法及び装置、電子機器並びに記憶媒体 図1
  • 特許-トランジションタイプ決定方法及び装置、電子機器並びに記憶媒体 図2
  • 特許-トランジションタイプ決定方法及び装置、電子機器並びに記憶媒体 図3
  • 特許-トランジションタイプ決定方法及び装置、電子機器並びに記憶媒体 図4
  • 特許-トランジションタイプ決定方法及び装置、電子機器並びに記憶媒体 図5
  • 特許-トランジションタイプ決定方法及び装置、電子機器並びに記憶媒体 図6
  • 特許-トランジションタイプ決定方法及び装置、電子機器並びに記憶媒体 図7
  • 特許-トランジションタイプ決定方法及び装置、電子機器並びに記憶媒体 図8
  • 特許-トランジションタイプ決定方法及び装置、電子機器並びに記憶媒体 図9
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-03-25
(45)【発行日】2024-04-02
(54)【発明の名称】トランジションタイプ決定方法及び装置、電子機器並びに記憶媒体
(51)【国際特許分類】
   H04N 5/262 20060101AFI20240326BHJP
   H04N 21/854 20110101ALI20240326BHJP
【FI】
H04N5/262
H04N21/854
【請求項の数】 15
(21)【出願番号】P 2022580408
(86)(22)【出願日】2021-06-25
(65)【公表番号】
(43)【公表日】2023-07-25
(86)【国際出願番号】 CN2021102531
(87)【国際公開番号】W WO2022001895
(87)【国際公開日】2022-01-06
【審査請求日】2022-12-26
(31)【優先権主張番号】202010611568.2
(32)【優先日】2020-06-29
(33)【優先権主張国・地域又は機関】CN
(73)【特許権者】
【識別番号】520476341
【氏名又は名称】北京字節跳動網絡技術有限公司
【氏名又は名称原語表記】Beijing Bytedance Network Technology Co., Ltd.
【住所又は居所原語表記】Room B-0035, 2/F, No.3 Building, No.30, Shixing Road, Shijingshan District Beijing 100041 China
(73)【特許権者】
【識別番号】520477474
【氏名又は名称】バイトダンス インコーポレイテッド
【氏名又は名称原語表記】BYTEDANCE INC.
【住所又は居所原語表記】12655 West Jefferson Boulevard, Sixth Floor, Suite No. 137 Los Angeles, California 90066 United States of America
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【弁理士】
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】ジン,シャオジエ
(72)【発明者】
【氏名】ソン,シュイチェン
(72)【発明者】
【氏名】リ,ゲン
(72)【発明者】
【氏名】ワン,ヤン
(72)【発明者】
【氏名】シェン,シャオホイ
【審査官】鈴木 明
(56)【参考文献】
【文献】特開2014-170980(JP,A)
【文献】米国特許第07512886(US,B1)
【文献】特開2013-009299(JP,A)
【文献】中国特許出願公開第105516618(CN,A)
【文献】特開2008-022519(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 5/262-5/278
H04N 21/854
(57)【特許請求の範囲】
【請求項1】
トランジションタイプ決定方法であって、
候補トランジションタイプと2つの隣接するビデオセグメントとの間のトランジション位置の画面整合度、及び前記候補トランジションタイプの音楽整合度を取得するステップであって、
前記画面整合度は前記2つの隣接するビデオセグメント及び前記候補トランジションタイプに基づいて決定され、前記音楽整合度は前記2つの隣接するビデオセグメントが属するビデオのバックグラウンド音楽及び前記候補トランジションタイプに基づいて決定されるステップと、
取得した前記画面整合度及び前記音楽整合度に基づいて、前記候補トランジションタイプの前記トランジション位置における整合度を決定するステップと、
前記整合度に基づいて、前記候補トランジションタイプを前記トランジション位置の目標トランジションタイプとして決定するか否かを決定するステップであって、前記目標トランジションタイプは前記2つの隣接するビデオセグメント間のトランジションエフェクトに用いられるステップと、を含む、
ことを特徴とするトランジションタイプ決定方法。
【請求項2】
前記トランジション位置が前記ビデオにおける指定トランジション位置であれば、前記トランジション位置における前記目標トランジションタイプは前記指定トランジション位置に対応する指定トランジションタイプである、
ことを特徴とする請求項1に記載のトランジションタイプ決定方法。
【請求項3】
前記整合度に基づいて、前記候補トランジションタイプを前記トランジション位置の目標トランジションタイプとして決定するか否かを決定するステップは、
前記トランジション位置が前記ビデオにおける指定トランジション位置である場合、前記候補トランジションタイプが前記指定トランジションタイプ以外の他のトランジションタイプであれば、前記候補トランジションタイプの前記整合度に第1の調整係数を重畳するステップであって、
前記第1の調整係数は前記候補トランジションタイプが前記目標トランジションタイプではないようにするために用いられるステップを含む、
ことを特徴とする請求項2に記載のトランジションタイプ決定方法。
【請求項4】
前記目標トランジションタイプが前記トランジション位置に出現すれば、前記目標トランジションタイプの出現回数は第1の指定回数未満であり、及び/又は、前記目標トランジションタイプの連続出現回数は第2の指定回数未満である、
ことを特徴とする請求項1に記載のトランジションタイプ決定方法。
【請求項5】
前記整合度に基づいて、前記候補トランジションタイプを前記トランジション位置の目標トランジションタイプとして決定するか否かを決定するステップは、さらに、
前記候補トランジションタイプが前記トランジション位置に出現する場合、前記候補トランジションタイプの出現回数が前記第1の指定回数以上であれば、及び/又は、前記候補トランジションタイプの連続出現回数が前記第2の指定回数以上であれば、前記候補トランジションタイプの前記整合度に第2の調整係数を重畳するステップであって、
前記第2の調整係数は前記候補トランジションタイプが前記目標トランジションタイプではないようにするために用いられるステップを含む、
ことを特徴とする請求項4に記載のトランジションタイプ決定方法。
【請求項6】
前記整合度に基づいて、前記候補トランジションタイプを前記トランジション位置の目標トランジションタイプとして決定するか否かを決定するステップは、さらに、
前記トランジション位置が前記ビデオの最初のトランジション位置である場合、前記候補トランジションタイプの前記最初のトランジション位置における前記整合度を前記候補トランジションタイプの前記トランジション位置における最大整合度として決定するステップと、
前記トランジション位置が前記ビデオの非最初のトランジション位置である場合、前記候補トランジションタイプの前記トランジション位置における前記整合度と、前記ビデオにおける前記トランジション位置の前トランジション位置における前記候補トランジションタイプ及び他の候補トランジションタイプのそれぞれに対応する最大整合度とに基づいて、前記候補トランジションタイプの前記トランジション位置における最大整合度、及び前記トランジション位置が最大整合度を有するときに前記前トランジション位置が選択すべき候補トランジションタイプを決定するステップと、
前記候補トランジションタイプ及び前記他の候補トランジションタイプの非最初のトランジション位置における各トランジション位置におけるそれぞれ対応する最大整合度と、前記非最初のトランジション位置における各トランジション位置が前記最大整合度を得るときにその前トランジション位置が選択すべき候補トランジションタイプとに基づいて、前記ビデオの各トランジション位置に対応する目標トランジションタイプを選択するステップと、を含む、
ことを特徴とする請求項3又は5に記載のトランジションタイプ決定方法。
【請求項7】
トランジションタイプ決定装置であって、
候補トランジションタイプと2つの隣接するビデオセグメントとの間のトランジション位置の画面整合度、及び前記候補トランジションタイプの音楽整合度を取得する初期整合度取得ユニットであって、
前記画面整合度は前記2つの隣接するビデオセグメント及び前記候補トランジションタイプに基づいて決定され、前記音楽整合度は前記2つの隣接するビデオセグメントが属するビデオのバックグラウンド音楽及び前記候補トランジションタイプに基づいて決定される初期整合度取得ユニットと、
取得した前記画面整合度及び前記音楽整合度に基づいて、前記候補トランジションタイプの前記トランジション位置における整合度を決定するトランジション位置整合度決定ユニットと、
前記整合度に基づいて、前記候補トランジションタイプを前記トランジション位置の目標トランジションタイプとして決定するか否かを決定する目標トランジションタイプ選択ユニットであって、前記目標トランジションタイプは前記2つの隣接するビデオセグメント間のトランジションエフェクトに用いられる目標トランジションタイプ選択ユニットと、を含む、
ことを特徴とするトランジションタイプ決定装置。
【請求項8】
前記目標トランジションタイプ選択ユニットはさらに、前記トランジション位置が前記ビデオにおける指定トランジション位置であれば、前記トランジション位置における前記目標トランジションタイプが前記指定トランジション位置に対応する指定トランジションタイプであると決定することに用いられる、
ことを特徴とする請求項7に記載のトランジションタイプ決定装置。
【請求項9】
前記目標トランジションタイプ選択ユニットはさらに、前記トランジション位置が前記ビデオにおける指定トランジション位置である場合、前記候補トランジションタイプが前記指定トランジションタイプ以外の他のトランジションタイプであれば、前記候補トランジションタイプの前記整合度に第1の調整係数を重畳することであって、前記第1の調整係数は前記候補トランジションタイプが前記目標トランジションタイプではないようにするために用いられること、に用いられる、
ことを特徴とする請求項8に記載のトランジションタイプ決定装置。
【請求項10】
前記目標トランジションタイプが前記トランジション位置に出現すれば、前記目標トランジションタイプの出現回数は第1の指定回数未満であり、及び/又は、前記目標トランジションタイプの連続出現回数は第2の指定回数未満である、
ことを特徴とする請求項7に記載のトランジションタイプ決定装置。
【請求項11】
前記目標トランジションタイプ選択ユニットはさらに、前記候補トランジションタイプが前記トランジション位置に出現する場合、前記候補トランジションタイプの出現回数が前記第1の指定回数以上であれば、及び/又は、前記候補トランジションタイプの連続出現回数が前記第2の指定回数以上であれば、前記候補トランジションタイプの前記整合度に第2の調整係数を重畳することであって、前記第2の調整係数は前記候補トランジションタイプが前記目標トランジションタイプではないようにするために用いられること、に用いられる、
ことを特徴とする請求項10に記載のトランジションタイプ決定装置。
【請求項12】
前記目標トランジションタイプ選択ユニットはさらに、
前記トランジション位置が前記ビデオの最初のトランジション位置である場合、前記候補トランジションタイプの前記最初のトランジション位置における前記整合度を前記候補トランジションタイプの前記トランジション位置における最大整合度として決定することと、
前記トランジション位置が前記ビデオの非最初のトランジション位置である場合、前記候補トランジションタイプの前記トランジション位置における前記整合度と、前記ビデオにおける前記トランジション位置の前トランジション位置における前記候補トランジションタイプ及び他の候補トランジションタイプのそれぞれに対応する最大整合度とに基づいて、前記候補トランジションタイプの前記トランジション位置における最大整合度、及び前記トランジション位置が最大整合度を有するときに前記前トランジション位置が選択すべき候補トランジションタイプを決定することと、
前記候補トランジションタイプ及び前記他の候補トランジションタイプの非最初のトランジション位置における各トランジション位置におけるそれぞれ対応する最大整合度と、前記非最初のトランジション位置における各トランジション位置が前記最大整合度を得るときにその前トランジション位置が選択すべき候補トランジションタイプとに基づいて、前記ビデオの各トランジション位置に対応する目標トランジションタイプを選択することと、に用いられる、
ことを特徴とする請求項9又は11に記載のトランジションタイプ決定装置。
【請求項13】
電子機器であって、少なくとも1つのプロセッサと、前記少なくとも1つのプロセッサと通信接続されたメモリとを含み、
ここで、前記メモリは、前記少なくとも1つのプロセッサによって実行可能な命令を記憶し、前記命令は、上記請求項1から6のいずれか1項に記載の方法を実行するために用いられるように設定される、
ことを特徴とする電子機器。
【請求項14】
上記請求項1から6のいずれか1項に記載の方法を実行するためのコンピュータ実行可能命令が記憶されている、
ことを特徴とする記憶媒体。
【請求項15】
コンピュータプログラムであって、電子機器上で動作すると、上記請求項1から6のいずれか1項に記載の方法を前記電子機器に実行させる、
コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本願は、コンピュータ技術の分野に関し、特にトランジションタイプ決定方法及び装置、電子機器並びに記憶媒体に関する。
【背景技術】
【0002】
ビデオクリップ作業では、ビデオクリエイターは、隣接するビデオセグメントの各ペアの間にトランジションエフェクトを手動で追加する必要がある。その間、クリエイターは、隣接するビデオセグメントに適合するトランジションエフェクトを選択するためにビデオを繰り返し見る必要があり、人件費と時間コストが非常にかかる。また、トランジションエフェクトの適合度は、クリエイター自身の専門的な経験に依存しており、専門的な経験が不足しているクリエイターは適切なトランジションエフェクトを作ることが困難であることが多く、それによってビデオの品質に影響を与える。
【0003】
したがって、ビデオに適切なトランジションエフェクトをどのように迅速に提供するかは、現在早急に解決すべき技術的問題となっている。
【発明の概要】
【発明が解決しようとする課題】
【0004】
本願の実施例は、関連技術において適切なトランジションエフェクトを迅速にビデオに追加することが困難であるという技術的問題を解決するためのトランジションタイプ決定方法及び装置、電子機器並びに記憶媒体を提供する。
【課題を解決するための手段】
【0005】
第1の態様において、本願の実施例は、候補トランジションタイプと2つの隣接するビデオセグメントとの間のトランジション位置の画面整合度、及び前記候補トランジションタイプの音楽整合度を取得するステップであって、前記画面整合度は前記2つの隣接するビデオセグメント及び前記候補トランジションタイプに基づいて決定され、前記音楽整合度は前記2つの隣接するビデオセグメントが属するビデオのバックグラウンド音楽及び前記候補トランジションタイプに基づいて決定されるステップと、取得した前記画面整合度及び前記音楽整合度に基づいて、前記候補トランジションタイプの前記トランジション位置における整合度を決定するステップと、前記整合度に基づいて、前記候補トランジションタイプを前記トランジション位置の目標トランジションタイプとして決定するか否かを決定するステップであって、前記目標トランジションタイプは前記2つの隣接するビデオセグメント間のトランジションエフェクトに用いられるステップと、を含む、トランジションタイプ決定方法を提供する。
【0006】
本願の上記実施例では、選択的には、前記トランジション位置が前記ビデオにおける指定トランジション位置であれば、前記トランジション位置における前記目標トランジションタイプは前記指定トランジション位置に対応する指定トランジションタイプである。
【0007】
本願の上記実施例では、選択的には、前記整合度に基づいて、前記候補トランジションタイプを前記トランジション位置の目標トランジションタイプとして決定するか否かを決定するステップは、前記トランジション位置が前記ビデオにおける指定トランジション位置である場合、前記候補トランジションタイプが前記指定トランジションタイプ以外の他のトランジションタイプであれば、前記候補トランジションタイプの前記整合度に第1の調整係数を重畳するステップであって、前記第1の調整係数は前記候補トランジションタイプが前記目標トランジションタイプではないようにするために用いられるステップを含む。
【0008】
本願の上記実施例では、選択的には、前記目標トランジションタイプが前記トランジション位置に出現すれば、前記目標トランジションタイプの出現回数は第1の指定回数未満であり、及び/又は、前記目標トランジションタイプの連続出現回数は第2の指定回数未満である。
【0009】
本願の上記実施例では、選択的には、前記整合度に基づいて、前記候補トランジションタイプを前記トランジション位置の目標トランジションタイプとして決定するか否かを決定するステップは、前記候補トランジションタイプが前記トランジション位置に出現する場合、前記候補トランジションタイプの出現回数が前記第1の指定回数以上であれば、及び/又は、前記候補トランジションタイプの連続出現回数が前記第2の指定回数以上であれば、前記候補トランジションタイプの前記整合度に第2の調整係数を重畳するステップであって、前記第2の調整係数は前記候補トランジションタイプが前記目標トランジションタイプではないようにするために用いられるステップを含む。
【0010】
本願の上記実施例では、選択的には、前記整合度に基づいて、前記候補トランジションタイプを前記トランジション位置の目標トランジションタイプとして決定するか否かを決定するステップは、さらに、前記トランジション位置が前記ビデオの最初のトランジション位置である場合、前記候補トランジションタイプの前記最初のトランジション位置における前記整合度を前記候補トランジションタイプの前記トランジション位置における最大整合度として決定するステップと、前記トランジション位置が前記ビデオの非最初のトランジション位置である場合、前記候補トランジションタイプの前記トランジション位置における前記整合度と、前記ビデオにおける前記トランジション位置の前トランジション位置における前記候補トランジションタイプ及び他の候補トランジションタイプのそれぞれに対応する最大整合度とに基づいて、前記候補トランジションタイプの前記トランジション位置における最大整合度、及び前記トランジション位置が最大整合度を有するときに前記前トランジション位置が選択すべき候補トランジションタイプを決定するステップと、前記候補トランジションタイプ及び前記他の候補トランジションタイプの非最初のトランジション位置における各トランジション位置におけるそれぞれ対応する最大整合度と、前記非最初のトランジション位置における各トランジション位置が前記最大整合度を得るときにその前トランジション位置が選択すべき候補トランジションタイプとに基づいて、前記ビデオの各トランジション位置に対応する目標トランジションタイプを選択するステップと、を含む。
【0011】
第2の態様において、本願の実施例は、候補トランジションタイプと2つの隣接するビデオセグメントとの間のトランジション位置の画面整合度、及び前記候補トランジションタイプの音楽整合度を取得する初期整合度取得ユニットであって、前記画面整合度は前記2つの隣接するビデオセグメント及び前記候補トランジションタイプに基づいて決定され、前記音楽整合度は前記2つの隣接するビデオセグメントが属するビデオのバックグラウンド音楽及び前記候補トランジションタイプに基づいて決定される初期整合度取得ユニットと、取得した前記画面整合度及び前記音楽整合度に基づいて、前記候補トランジションタイプの前記トランジション位置における整合度を決定するトランジション位置整合度決定ユニットと、前記整合度に基づいて、前記候補トランジションタイプを前記トランジション位置の目標トランジションタイプとして決定するか否かを決定する目標トランジションタイプ選択ユニットであって、前記目標トランジションタイプは前記2つの隣接するビデオセグメント間のトランジションエフェクトに用いられる目標トランジションタイプ選択ユニットと、を含む、トランジションタイプ決定装置を提供する。
【0012】
本願の上記実施例では、選択的には、前記目標トランジションタイプ選択ユニットは、前記トランジション位置が前記ビデオにおける指定トランジション位置であれば、前記トランジション位置における前記目標トランジションタイプが前記指定トランジション位置に対応する指定トランジションタイプであると決定すること、に用いられる。
【0013】
本願の上記実施例では、選択的には、前記目標トランジションタイプ選択ユニットは、前記トランジション位置が前記ビデオにおける指定トランジション位置である場合、前記候補トランジションタイプが前記指定トランジションタイプ以外の他のトランジションタイプであれば、前記候補トランジションタイプの前記整合度に第1の調整係数を重畳することであって、前記第1の調整係数は前記候補トランジションタイプが前記目標トランジションタイプではないようにするために用いられること、に用いられる。
【0014】
本願の上記実施例では、選択的には、前記目標トランジションタイプが前記トランジション位置に出現すれば、前記目標トランジションタイプの出現回数は第1の指定回数未満であり、及び/又は、前記目標トランジションタイプの連続出現回数は第2の指定回数未満である。
【0015】
本願の上記実施例では、選択的には、前記目標トランジションタイプ選択ユニットは、前記候補トランジションタイプが前記トランジション位置に出現する場合、前記候補トランジションタイプの出現回数が前記第1の指定回数以上であれば、及び/又は、前記候補トランジションタイプの連続出現回数が前記第2の指定回数以上であれば、前記候補トランジションタイプの前記整合度に第2の調整係数を重畳することであって、前記第2の調整係数は前記候補トランジションタイプが前記目標トランジションタイプではないようにするために用いられること、に用いられる。
【0016】
本願の上記実施例では、選択的には、前記目標トランジションタイプ選択ユニットはさらに、前記トランジション位置が前記ビデオの最初のトランジション位置である場合、前記候補トランジションタイプの前記最初のトランジション位置における前記整合度を前記候補トランジションタイプの前記トランジション位置における最大整合度として決定することと、前記トランジション位置が前記ビデオの非最初のトランジション位置である場合、前記候補トランジションタイプの前記トランジション位置における前記整合度と、前記ビデオにおける前記トランジション位置の前トランジション位置における前記候補トランジションタイプ及び他の候補トランジションタイプのそれぞれに対応する最大整合度とに基づいて、前記候補トランジションタイプの前記トランジション位置における最大整合度、及び前記トランジション位置が最大整合度を有するときに前記前トランジション位置が選択すべき候補トランジションタイプを決定することと、前記候補トランジションタイプ及び前記他の候補トランジションタイプの非最初のトランジション位置における各トランジション位置におけるそれぞれ対応する最大整合度と、前記非最初のトランジション位置における各トランジション位置が前記最大整合度を得るときにその前トランジション位置が選択すべき候補トランジションタイプとに基づいて、前記ビデオの各トランジション位置に対応する目標トランジションタイプを選択することと、に用いられる。
【0017】
第3の態様において、本願の実施例は、電子機器であって、少なくとも1つのプロセッサと、前記少なくとも1つのプロセッサと通信接続されたメモリとを含み、ここで、前記メモリは、前記少なくとも1つのプロセッサによって実行可能な命令を記憶し、前記命令は、上記第1の態様のいずれかに記載の方法を実行するために用いられるように設定される、電子機器を提供する。
【0018】
第4の態様において、本願の実施例は、上記第1の態様のいずれかに記載の方法フローを実行するためのコンピュータ実行可能命令が記憶されている、記憶媒体を提供する。
【0019】
第5の態様において、本願の実施例は、コンピュータ可読媒体に担持されたコンピュータプログラムを含むコンピュータプログラム製品であって、該コンピュータプログラムがプロセッサによって実行されると、上記第1の態様のいずれかに記載の方法をプロセッサに実行させる、コンピュータプログラム製品を提供する。
【0020】
第6の態様において、本願の実施例は、コンピュータプログラムであって、電子機器上で動作すると、上記第1の態様のいずれかに記載の方法を電子機器に実行させる、コンピュータプログラムを提供する。
【0021】
以上の技術案は、全く新しいトランジションタイプの自動選択の技術案により、関連技術においてクリエイターがトランジションエフェクトを手動で設定する技術案を代替する。
【0022】
具体的には、処理対象のビデオは複数のセグメントを有し、前記複数のセグメントのうち、各2つの隣接するビデオセグメント間にトランジション位置が1箇所あり、同時に、複数の候補トランジションタイプが予め設定されており、各トランジション位置は、自身のトランジション作業のために、前記複数の候補トランジションタイプから1つの目標トランジションタイプを選択する必要がある。以下では、1つのトランジション位置について1つの候補トランジションタイプがその目標トランジションタイプであるか否かをどのように決定するかについて詳述する。
【0023】
まず、候補トランジションタイプのビデオの該トランジション位置における画面整合度及び音楽整合度を取得する。
【0024】
ここで、画面整合度は前記2つの隣接するビデオセグメント及び前記候補トランジションタイプに基づいて決定され、候補トランジションタイプのトランジション位置における画面整合度はそれと該トランジション位置に対応する2つのビデオセグメント画面との適合度を示す。
【0025】
処理対象のビデオにバックグラウンド音楽が設定されている場合、ビデオにおける各ビデオセグメント、各トランジション位置にも該バックグラウンド音楽が用いられる。音楽整合度は該トランジション位置に対応する2つの隣接するビデオセグメントが属するビデオのバックグラウンド音楽及び前記候補トランジションタイプに基づいて決定され、該トランジション位置に該候補トランジションタイプが用いられるときにビデオのバックグラウンド音楽との適合度を示す。
【0026】
次に、取得した前記画面整合度及び前記音楽整合度に基づいて、候補トランジションタイプのトランジション位置における整合度を決定する。1つのトランジション位置における1つの候補トランジションタイプについて、それと該トランジション位置に対応する2つのビデオセグメント画面との適合度により、それとビデオのバックグラウンド音楽との適合度と合わせて、該トランジション位置におけるその全体適合度、つまり整合度を決定することができる。言い換えれば、候補トランジションタイプの該トランジション位置における整合度は、該候補トランジションタイプと該トランジション位置に対応する2つのビデオセグメント画面及びビデオバックグラウンド音楽との全体適合度を正確かつ確実に示す。候補トランジションタイプとトランジション位置との正確かつ確実な整合度を利用して、最終的にトランジション位置に選択した目標トランジションタイプの適合性も向上する。
【0027】
最終的に、候補トランジションタイプのトランジション位置における整合度に基づいて、候補トランジションタイプが前記トランジション位置の目標トランジションタイプであるか否かを決定する。いずれかのトランジション位置について、選択した目標トランジションタイプは複数の候補トランジションタイプのうち該トランジション位置との適合性が高く、得られたトランジションエフェクトが最適である候補トランジションタイプである。言い換えれば、候補トランジションタイプのトランジション位置における整合度が上記条件を満たす場合、それが該トランジション位置の目標トランジションタイプであると決定し、候補トランジションタイプのトランジション位置における整合度が上記条件を満たさない場合、それが該トランジション位置の目標トランジションタイプではないと決定する。
【0028】
以上の技術案により、トランジション位置に自身との適応性が高く、得られたトランジションエフェクトが最適であるトランジションタイプを自動的に選択することができ、ビデオトランジションの実現難易度を下げると同時に、良質なビデオトランジションエフェクトを実現し、ユーザ体験を向上させる。
【図面の簡単な説明】
【0029】
本願の実施例の技術案をより明確に説明するために、以下では、実施例で必要とされる図面について簡単に紹介するが、明らかに、以下の説明における図面は本願のいくつかの実施例に過ぎず、当業者にとっては、創造的な労力を払わずに、これらの図面に基づいて他の図面を得ることができる。
図1】本願の一実施例によるトランジションタイプ決定方法のフローチャートを示す。
図2】本願の別の実施例によるトランジションタイプ決定方法のフローチャートを示す。
図3】本願のさらに別の実施例によるトランジションタイプ決定方法のフローチャートを示す。
図4】本願のさらに別の実施例によるトランジションタイプ決定方法のフローチャートを示す。
図5】本願のさらに別の実施例によるトランジションタイプ決定方法のフローチャートを示す。
図6】本願のさらに別の実施例によるトランジションタイプ決定方法のフローチャートを示す。
図7】本願のさらに別の実施例によるトランジションタイプ決定方法のフローチャートを示す。
図8】本願の一実施例によるトランジションタイプ決定装置のブロック図を示す。
図9】本願の一実施例による電子機器のブロック図を示す。
【発明を実施するための形態】
【0030】
本願の技術案をよりよく理解するために、以下では、図面を参照しながら本願の実施例について詳細に説明する。
【0031】
説明された実施例は、本願の一部の実施例に過ぎず、全ての実施例ではないことを明確にすべきである。本願における実施例に基づいて、当業者が創造的な労力を払わずに得られた他の全ての実施例は、本願の保護の範囲に属する。
【0032】
本願の実施例で用いられる用語は、特定の実施例を説明する目的のためだけであり、本願を限定することを意図していない。本願の実施例及び添付の特許請求の範囲で用いられる単数形「一」、「前記」及び「該」は、文脈が他の意味を明確に示さない限り、複数形も含むことを意図している。
【実施例1】
【0033】
処理対象のビデオは複数のセグメントを有し、前記複数のセグメントのうち、各2つの隣接するビデオセグメント間にトランジション位置が1箇所あり、同時に、複数の候補トランジションタイプが予め設定されており、各トランジション位置は、自身のトランジション作業のために、前記複数の候補トランジションタイプから1つの目標トランジションタイプを選択する必要がある。以下では、図1を参照しながら、1つのトランジション位置について1つの候補トランジションタイプがその目標トランジションタイプであるか否かをどのように決定するかについて詳述する。
【0034】
図1に示すように、本願の一実施例によるトランジションタイプ決定方法のフローは以下を含む。
【0035】
ステップ102において、候補トランジションタイプと2つの隣接するビデオセグメントとの間のトランジション位置の画面整合度、及び前記候補トランジションタイプの音楽整合度を取得する。
【0036】
まず、候補トランジションタイプのビデオの該トランジション位置における画面整合度及び音楽整合度を取得する。
【0037】
ここで、画面整合度は前記2つの隣接するビデオセグメント及び前記候補トランジションタイプに基づいて決定され、候補トランジションタイプのトランジション位置における画面整合度はそれと該トランジション位置に対応する2つのビデオセグメント画面との適合度を示す。
【0038】
処理対象のビデオにバックグラウンド音楽が設定されている場合、ビデオにおける各ビデオセグメント、各トランジション位置にも該バックグラウンド音楽が用いられる。音楽整合度は該トランジション位置に対応する2つの隣接するビデオセグメントが属するビデオのバックグラウンド音楽及び前記候補トランジションタイプに基づいて決定され、該トランジション位置に該候補トランジションタイプが用いられるときにビデオのバックグラウンド音楽との適合度を示す。
【0039】
ステップ104において、取得した前記画面整合度及び前記音楽整合度に基づいて、前記候補トランジションタイプの前記トランジション位置における整合度を決定する。
【0040】
次に、取得した前記画面整合度及び前記音楽整合度に基づいて、候補トランジションタイプのトランジション位置における整合度を決定する。1つのトランジション位置における1つの候補トランジションタイプについて、それと該トランジション位置に対応する2つのビデオセグメント画面との適合度により、それとビデオのバックグラウンド音楽との適合度と合わせて、該トランジション位置におけるその全体適合度、つまり整合度を決定することができる。
【0041】
言い換えれば、候補トランジションタイプの該トランジション位置における整合度は、該候補トランジションタイプと該トランジション位置に対応する2つのビデオセグメント画面及びビデオバックグラウンド音楽との全体適合度を正確かつ確実に示す。候補トランジションタイプとトランジション位置との正確かつ確実な整合度を利用して、最終的にトランジション位置に選択した目標トランジションタイプの適合性も向上する。
【0042】
ステップ106において、前記整合度に基づいて、前記候補トランジションタイプを前記トランジション位置の目標トランジションタイプとして決定するか否かを決定し、前記目標トランジションタイプは前記2つの隣接するビデオセグメント間のトランジションエフェクトに用いられる。
【0043】
最終的に、候補トランジションタイプのトランジション位置における整合度に基づいて、候補トランジションタイプが前記トランジション位置の目標トランジションタイプであるか否かを決定する。いずれかのトランジション位置について、選択した目標トランジションタイプは複数の候補トランジションタイプのうち該トランジション位置との適合性が高く、得られたトランジションエフェクトが最適である候補トランジションタイプである。言い換えれば、候補トランジションタイプのトランジション位置における整合度が上記条件を満たす場合、それが該トランジション位置の目標トランジションタイプであると決定し、候補トランジションタイプのトランジション位置における整合度が上記条件を満たさない場合、それが該トランジション位置の目標トランジションタイプではないと決定する。
【0044】
以上の技術案により、トランジション位置に自身との適応性が高く、得られたトランジションエフェクトが最適であるトランジションタイプを自動的に選択することができ、ビデオトランジションの実現難易度を下げると同時に、良質なビデオトランジションエフェクトを実現し、ユーザ体験を向上させる。
【実施例2】
【0045】
処理対象のビデオは複数のセグメントを有し、前記複数のセグメントのうち、各2つの隣接するビデオセグメント間にトランジション位置が1箇所あり、同時に、複数の候補トランジションタイプが予め設定されており、各トランジション位置は、自身のトランジション作業のために、前記複数の候補トランジションタイプから1つの目標トランジションタイプを選択する必要がある。以下では、図2を参照しながら、全体的な角度から複数のトランジション位置に目標トランジションタイプをそれぞれ決定する。
【0046】
図2に示すように、本願の別の実施例によるトランジションタイプ決定方法は、以下を含む。
【0047】
ステップ202において、複数の候補トランジションタイプのそれぞれのビデオの各トランジション位置における画面整合度、及び前記複数の候補トランジションタイプのそれぞれの音楽整合度を取得する。
【0048】
処理対象のビデオは複数のセグメントを有し、前記複数のセグメントのうち、各2つの隣接するビデオセグメント間にトランジション位置が1箇所あり、同時に、複数の候補トランジションタイプが予め設定されており、各トランジション位置は、自身のトランジション作業のために、前記複数の候補トランジションタイプから1つの目標トランジションタイプを選択する必要がある。
【0049】
ここで、画面整合度は前記各トランジション位置のそれぞれに対応するビデオセグメントに基づいて決定され、各トランジション位置はそれぞれ2つのビデオセグメントに対応し、いずれかの候補トランジションタイプについて、いずれかのトランジション位置におけるその画面整合度はそれと該トランジション位置に対応する2つのビデオセグメント画面との適合度を示す。
【0050】
処理対象のビデオにバックグラウンド音楽が設定されている場合、ビデオにおける各ビデオセグメント、各トランジション位置にも該バックグラウンド音楽が用いられる。いずれかの候補トランジションタイプについて、その音楽整合度はそれとビデオのバックグラウンド音楽との適合度を示し、したがって、音楽整合度は前記ビデオのバックグラウンド音楽に基づいて決定される。
【0051】
ステップ204において、取得した前記画面整合度及び前記音楽整合度に基づいて、前記複数の候補トランジションタイプのそれぞれの前記各トランジション位置における整合度を決定する。
【0052】
いずれかのトランジション位置におけるいずれかの候補トランジションタイプについて、それと該トランジション位置に対応する2つのビデオセグメント画面との適合度により、それとビデオのバックグラウンド音楽との適合度と合わせて、該トランジション位置におけるその全体適合度、つまり整合度を決定することができる。言い換えれば、いずれかのトランジション位置におけるいずれかの候補トランジションタイプについて、該トランジション位置におけるその整合度は、それと該トランジション位置に対応する2つのビデオセグメント画面及びビデオバックグラウンド音楽との全体適合度を正確かつ確実に示す。各候補トランジションタイプとトランジション位置との正確かつ確実な整合度を利用して、最終的にトランジション位置に選択した目標トランジションタイプの適合性も向上する。
【0053】
ステップ206において、前記複数の候補トランジションタイプのそれぞれの前記各トランジション位置における整合度に基づいて、前記複数の候補トランジションタイプから前記各トランジション位置に目標トランジションタイプをそれぞれ選択する。
【0054】
いずれかのトランジション位置について、選択した目標トランジションタイプは複数の候補トランジションタイプのうち該トランジション位置との適合性が高く、得られたトランジションエフェクトが最適である候補トランジションタイプである。
【0055】
実施例1及び実施例2は、全く新しいトランジションタイプの自動選択の技術案により、関連技術においてクリエイターがトランジションエフェクトを手動で設定する技術案を代替する。これにより、トランジション位置に自身との適応性が高く、得られたトランジションエフェクトが最適であるトランジションタイプを自動的に選択することができ、ビデオトランジションの実現難易度を下げると同時に、良質なビデオトランジションエフェクトを実現し、ユーザ体験を向上させる。
【実施例3】
【0056】
実施例1及び実施例2に加えて、前記候補トランジションタイプをトランジション位置の目標トランジションタイプとして決定するか否かを判断するとき、さらなる限定条件を追加する。
【0057】
可能な設計では、前記トランジション位置が前記ビデオにおける指定トランジション位置であれば、前記トランジション位置における前記目標トランジションタイプが前記指定トランジション位置に対応する指定トランジションタイプであると決定する。言い換えれば、ビデオにおける指定トランジション位置は非指定トランジションタイプの出現を許可しない。例えば、ビデオにおける3つのトランジション位置に対して、トランジション位置1を指定トランジション位置として設定し、5つの候補トランジションタイプに対して、候補トランジションタイプ1、3、4、5を指定トランジションタイプとして設定する場合、トランジション位置1に目標トランジションタイプを選択するとき、候補トランジションタイプ2を選択範囲から除外する。
【0058】
さらに、前記トランジション位置が前記ビデオにおける指定トランジション位置である場合、前記候補トランジションタイプが前記指定トランジションタイプ以外の他のトランジションタイプであれば、前記候補トランジションタイプの前記整合度に第1の調整係数を重畳し、ここで、前記第1の調整係数は前記候補トランジションタイプが前記目標トランジションタイプではないようにするために用いられ、そのメトリックは候補トランジションタイプの整合度のメトリックよりもはるかに大きい。このように、該候補トランジションタイプの第1の調整係数重畳後の整合度は他の候補トランジションタイプの整合度と過剰なメトリックの差があり、目標トランジションタイプの有すべき整合度の選択可能な範囲内ではない。
【0059】
例えば、ビデオにおける3つのトランジション位置に対して、トランジション位置1を指定トランジション位置として設定し、5つの候補トランジションタイプのトランジション位置1における整合度はそれぞれ0.11、0.23、0.13、0.09、0.15であり、候補トランジションタイプ1、3、4、5を指定トランジションタイプとして設定し、対応するメトリックと上記整合度のメトリックとの差が極めて大きくて、第1の調整係数-100である。これに基づいて、候補トランジションタイプ2が位置1の指定トランジションタイプではないので、候補トランジションタイプ2の位置1における整合度に第1の調整係数を重畳し、最終的に、5つの候補タイプのトランジション位置1における整合度はそれぞれ0.11、-99.77、0.13、0.09、0.15であり、このことから分かるように、調整後の候補トランジションタイプ2の整合度が他の候補トランジションタイプの整合度よりもはるかに低く、目標トランジションタイプの有すべき整合度の選択可能な範囲内から外れる。
【0060】
別の可能な設計では、前記目標トランジションタイプが前記トランジション位置に出現すれば、前記目標トランジションタイプの出現回数は第1の指定回数未満であるとすべき、及び/又は、前記目標トランジションタイプの連続出現回数は第2の指定回数未満であるとすべきである
【0061】
さらに、前記候補トランジションタイプが前記トランジション位置に出現する場合、前記候補トランジションタイプの出現回数が前記第1の指定回数以上であれば、及び/又は、前記候補トランジションタイプの連続出現回数が前記第2の指定回数以上であれば、前記候補トランジションタイプの前記整合度に第2の調整係数を重畳し、ここで、前記第2の調整係数は前記候補トランジションタイプが前記目標トランジションタイプではないようにするために用いられる。言い換えれば、候補トランジションタイプのトランジション位置における出現回数が第1の指定回数に達すれば、及び/又は、候補トランジションタイプのトランジション位置における連続出現回数が第2の指定回数に達すれば、候補トランジションタイプが目標トランジションタイプではないと決定する。
【0062】
第1の調整係数を重畳する上記手段と同様に、第2の調整係数のメトリックも候補トランジションタイプの整合度のメトリックよりもはるかに大きい。このように、該候補トランジションタイプの第2の調整係数重畳後の整合度は他の候補トランジションタイプの整合度と過剰なメトリックの差があり、目標トランジションタイプの有すべき整合度の選択可能な範囲内にない。
【0063】
以上より、指定トランジション位置、指定トランジションタイプ、第1の指定回数、第2の指定回数などはいずれもビデオクリップのニーズに基づいて設定することができ、これにより、実際のクリップのニーズにさらに適応し、トランジション位置に適切なトランジションエフェクトを提供することができる。
【0064】
最終的に、調整後の及び調整不要な各整合度を、トランジション位置に目標トランジションタイプを選択するための基礎とする。
【実施例4】
【0065】
実施例3に加えて、可能な設計では、各トランジション位置に対して、整合度が最大の候補トランジションタイプをその目標トランジションタイプとして直接選択することができる。
【0066】
別の可能な設計では、前記トランジション位置が前記ビデオの最初のトランジション位置である場合、前記候補トランジションタイプの最初のトランジション位置における前記整合度を前記候補トランジションタイプの前記トランジション位置における最大整合度として決定し、前記トランジション位置が前記ビデオの非最初のトランジション位置である場合、前記候補トランジションタイプの前記トランジション位置における前記整合度と、前記ビデオにおける前記トランジション位置の前トランジション位置における前記候補トランジションタイプ及び他の候補トランジションタイプのそれぞれに対応する最大整合度とに基づいて、前記候補トランジションタイプの前記トランジション位置における最大整合度、及び前記トランジション位置が最大整合度を有するときに前記前トランジション位置が選択すべき候補トランジションタイプを決定し、前記候補トランジションタイプ及び前記他の候補トランジションタイプの非最初のトランジション位置における各トランジション位置におけるそれぞれ対応する最大整合度と、前記非最初のトランジション位置における各トランジション位置が前記最大整合度を得るときにその前トランジション位置が選択すべき候補トランジションタイプとに基づいて、前記ビデオの各トランジション位置に対応する目標トランジションタイプを選択することができる。
【0067】
該ステップは動的計画アルゴリズムに基づいて実現することができ、動的計画アルゴリズムは往々にして1つの検索構造を構築する必要があり、該検索構造では、各トランジション位置における各候補トランジションタイプはいずれも1つの要素に対応し、いずれかのトランジション位置におけるいずれかの候補トランジションタイプに対して、該要素は該候補トランジションタイプの前記トランジション位置における最大整合度を含み、この最大整合度は実施例1から3で得られた該候補トランジションタイプの前記トランジション位置における整合度と、前記ビデオにおける前記トランジション位置の前トランジション位置における前記候補トランジションタイプ及び他の候補トランジションタイプのそれぞれに対応する最大整合度とによって決定される。当然のことながら、ビデオの最初のトランジション位置に対して、それは前トランジション位置を有さず、候補トランジションタイプの最初のトランジション位置における最大整合度を実施例1から3で得られた該候補トランジションタイプの最初のトランジション位置における整合度として直接設定することができる。
【0068】
さらに、1つの非最初のトランジション位置における1つの候補トランジションタイプについて、前トランジション位置におけるその全ての候補タイプはそれぞれ自身の最大整合度に対応する。前トランジション位置が1つの候補トランジションタイプを選択する場合、該前トランジション位置の候補トランジションタイプに対応する最大整合度とこの非最初のトランジション位置における候補トランジションタイプに対応する整合度との和が最大であれば、前トランジション位置が該候補トランジションタイプを選択するという情報も、該非最初のトランジション位置における該候補トランジションタイプにおける要素の一部とする。最終的に、動的計画アルゴリズムによってこの検索構造で最適解を検索する。本願は、実施例10において検索構造の構築及び動的計画アルゴリズムの使用について詳述するので、ここでは説明を省略する。
【実施例5】
【0069】
図3は、本願のさらに別の実施例によるトランジションタイプ決定方法のフローチャートを示す。
【0070】
図3に示すように、本願のさらに別の実施例によるトランジションタイプ決定方法のフローは以下を含む。
【0071】
ステップ302において、複数の候補トランジションタイプのそれぞれのビデオの各トランジション位置における画面整合度、及び前記複数の候補トランジションタイプのそれぞれの音楽整合度を取得する。
【0072】
ステップ304において、各候補トランジションタイプに対して、その音楽整合度のそれぞれと前記各トランジション位置におけるその画面整合度との重み付け処理を行い、前記各トランジション位置におけるその前記整合度を得る。
【0073】
具体的には、音楽整合度及び画面整合度にそれぞれ重みを設定し、該重みに基づいて各トランジション位置における複数の候補トランジションタイプの音楽整合度及び画面整合度に重み付け処理を行い、各トランジション位置における各候補トランジションタイプの適合度を得る。
【0074】
当然のことながら、本願において、音楽整合度及び画面整合度に基づいて整合度を得る方式は上記重み付け処理方式を含むが、これに限定されず、分散処理方式、標準偏差処理方式、数学モデリング方式など、実際のニーズに合った任意の計算方式であってもよい。
【0075】
ステップ306において、前記複数の候補トランジションタイプのそれぞれの前記各トランジション位置における整合度に基づいて、前記複数の候補トランジションタイプから前記各トランジション位置に目標トランジションタイプをそれぞれ選択する。
【0076】
いずれかのトランジション位置におけるいずれかの候補トランジションタイプについて、重み付け処理に基づいて得られたその適合度は、それと該トランジション位置に対応する2つのビデオセグメント画面及びビデオバックグラウンド音楽との全体適合度を正確かつ確実に示すことができる。
【0077】
このような正確かつ確実な適合度により、最終的にトランジション位置に選択した目標トランジションタイプの適合性も向上する。これにより、トランジション位置に自身との適合性が高く、得られたトランジションエフェクトが最適であるトランジションタイプを自動的に選択することを実現し、ビデオトランジションの実現難易度を下げると同時に、良質なビデオトランジションエフェクトを得る。
【実施例6】
【0078】
図4は、本願のさらに別の実施例によるトランジションタイプ決定方法のフローチャートを示す。
【0079】
図4に示すように、本願のさらに別の実施例によるトランジションタイプ決定方法のフローは以下を含む。
【0080】
ステップ402において、複数の候補トランジションタイプのそれぞれのビデオの各トランジション位置における画面整合度、及び前記複数の候補トランジションタイプのそれぞれの音楽整合度を取得する。
【0081】
ステップ404において、取得した前記画面整合度及び前記音楽整合度に基づいて、前記複数の候補トランジションタイプのそれぞれの前記各トランジション位置における整合度を決定する。
【0082】
いずれかのトランジション位置におけるいずれかの候補トランジションタイプについて、それと該トランジション位置に対応する2つのビデオセグメント画面との適合度により、それとビデオのバックグラウンド音楽との適合度と合わせて、該トランジション位置におけるその全体適合度、つまり整合度を決定することができる。言い換えれば、いずれかのトランジション位置におけるいずれかの候補トランジションタイプについて、該トランジション位置におけるその整合度は、それと該トランジション位置に対応する2つのビデオセグメント画面及びビデオバックグラウンド音楽との全体適合度を正確かつ確実に示す。各候補トランジションタイプとトランジション位置との正確かつ確実な整合度を利用して、最終的にトランジション位置に選択した目標トランジションタイプの適合性も向上する。
【0083】
具体的には、音楽整合度及び画面整合度に基づいて整合度を得る方式は重み付け処理方式を含むが、これに限定されず、分散処理方式、標準偏差処理方式、数学モデリング方式など、実際のニーズに合った任意の計算方式であってもよい。
【0084】
ステップ406において、所定のトランジションタイプ選択ポリシー及び前記複数の候補トランジションタイプのそれぞれの前記各トランジション位置における整合度に基づいて、前記複数の候補トランジションタイプから前記各トランジション位置に前記目標トランジションタイプをそれぞれ選択する。
【0085】
複数の候補トランジションタイプのそれぞれの前記各トランジション位置における整合度を考慮すると同時に、所定のトランジションタイプ選択ポリシーを設定することができる。所定のトランジションタイプ選択ポリシーはトランジションタイプが実際のトランジションエフェクトのニーズを満たす場合に満たすべき具体的な条件を限定し、所定のトランジションタイプ選択ポリシーを用いることは、最終的なトランジションタイプ選択結果に良好なトランジションエフェクトを持たせ、トランジション位置乃至ビデオ全体とより高い適合性を有することに役立つ。
【0086】
可能な設計では、所定のトランジションタイプ選択ポリシーは、指定トランジション位置におけるトランジションタイプの出現を許可するか禁止するかを限定するポリシー、及びトランジションタイプの出現回数を限定するポリシーの1つ又は複数の組み合わせを含むが、これらに限定されない。ここで、トランジションタイプの出現回数を限定するポリシーは、第1のトランジションタイプの出現回数が第1の指定回数未満であること、及び/又は第2のトランジションタイプの連続出現回数が第2の指定回数未満であることを含む。
【0087】
5つの候補トランジションタイプ、ビデオの4つのビデオセグメント、3つのトランジション位置を例に、5つの候補トランジションタイプはそれぞれトランジションタイプ0、トランジションタイプ1、トランジションタイプ2、トランジションタイプ3及びトランジションタイプ4であり、トランジション位置はそれぞれトランジション位置0、トランジション位置1及びトランジション位置2である。所定のトランジションタイプ選択ポリシーは、トランジション位置0及びトランジション位置2においてトランジションタイプ2が出現することを禁止すること、トランジションタイプ1が2回出現することを禁止すること、トランジションタイプ2が2回連続して出現することを禁止することを含むことができる。
【実施例7】
【0088】
上記いずれかの実施例に加えて、図5は、本願のさらに別の実施例によるトランジションタイプ決定方法のフローチャートを示す。
【0089】
図5に示すように、本願のさらに別の実施例によるトランジションタイプ決定方法のフローは以下を含む。
【0090】
ステップ502において、複数の候補トランジションタイプのそれぞれのビデオの各トランジション位置における画面整合度、及び前記複数の候補トランジションタイプのそれぞれの音楽整合度を取得する。
【0091】
ステップ504において、取得した前記画面整合度及び前記音楽整合度に基づいて、前記複数の候補トランジションタイプのそれぞれの前記各トランジション位置における整合度を決定する。
【0092】
ステップ506において、前記複数の候補トランジションタイプのそれぞれの前記各トランジション位置における整合度に基づいて、前記複数の候補トランジションタイプから前記各トランジション位置に前記所定のトランジションタイプ選択ポリシーを満たす目標トランジションタイプをそれぞれ選択する。
【0093】
上記技術案では、いずれかのトランジション位置に対して、まずそれに属する複数の候補トランジションタイプに対応する整合度を決定し、これに基づいて、さらに各候補トランジションタイプに対応する整合度と合わせて、各候補トランジションタイプが前記所定のトランジションタイプ選択ポリシーを満たすか否かを判断することができる。
【0094】
可能な設計では、いずれかのトランジション位置に対して、1つの候補トランジションタイプのみが所定のトランジションタイプ選択ポリシーを満たすならば、該候補トランジションタイプを該トランジション位置の目標トランジションタイプとして設定する。
【0095】
別の可能な設計では、いずれかのトランジション位置に対して、2つ又は2つ以上の候補トランジションタイプが所定のトランジションタイプ選択ポリシーを満たすならば、所定のトランジションタイプ選択ポリシーを満たす候補トランジションタイプのうち整合度が最大の候補トランジションタイプを、該トランジション位置の目標トランジションタイプとして選択する。
【0096】
さらに別の可能な設計では、いずれかのトランジション位置に対して、それに属する複数の候補トランジションタイプに対応する整合度を大きい順にソートする。まず、最大の整合度に対応する候補トランジションタイプが所定のトランジションタイプ選択ポリシーを満たすか否かを判断し、満たす場合、それを目標トランジションタイプとして決定する。満たさない場合、それを破棄し、次に、2番目に大きい整合度に対応する候補トランジションタイプが所定のトランジションタイプ選択ポリシーを満たすか否かを判断する。このように循環し、対応する候補トランジションタイプが所定のトランジションタイプ選択ポリシーの整合度を満たすように選択されるまで、該所定のトランジションタイプ選択ポリシーを満たす整合度に対応する候補トランジションタイプを該トランジション位置の目標トランジションタイプとして決定する。
【0097】
5つの候補トランジションタイプ、ビデオの4つのビデオセグメント、3つのトランジション位置を例に、5つの候補トランジションタイプはそれぞれトランジションタイプ0、トランジションタイプ1、トランジションタイプ2、トランジションタイプ3及びトランジションタイプ4であり、トランジション位置はそれぞれトランジション位置0、トランジション位置1及びトランジション位置2である。各トランジション位置における各候補トランジションタイプの画面整合度は次の表1に示される。
【0098】
【表1】
【0099】
各候補トランジションタイプ及びビデオバックグラウンド音楽の音楽整合度は次の表2に示される。
【0100】
【表2】
【0101】
画面整合度の重みが0.4であり、音楽整合度の重みが0.6であると予め設定する。各候補トランジションタイプに対して、その自身の音楽整合度のそれぞれと前記各トランジション位置におけるその画面整合度との重み付け処理を行い、前記各トランジション位置におけるその整合度S(i,j)を得る。
【0102】
ここで、iはトランジション位置を表し、iのとり得る値の範囲は(0,1,2)であり、jは候補トランジションタイプを表し、jのとり得る値の範囲は(0,1,2,3,4)である。
S(0,0)=0.4×0.4+0.6×0.2/3=0.2
S(0,1)=0.4×0.1+0.6×0.15/3=0.07
S(0,2)=0.4×0.2+0.6×0.3/3=0.14
S(0,3)=0.4×0.17+0.6×0.25/3=0.118
S(0,4)=0.4×0.13+0.6×0.15/3=0.082
S(1,0)=0.4×0.1+0.6×0.2/3=0.08
S(1,1)=0.4×0.35+0.6×0.15/3=0.17
S(1,2)=0.4×0.15+0.6×0.3/3=0.12
S(1,3)=0.4×0.2+0.6×0.25/3=0.13
S(1,4)=0.4×0.2+0.6×0.15/3=0.11
S(2,0)=0.4×0.3+0.6×0.2/3=0.16
S(2,1)=0.4×0.4+0.6×0.15/3=0.19
S(2,2)=0.4×0.12+0.6×0.3/3=0.108
S(2,3)=0.4×0.08+0.6×0.25/3=0.082
S(2,4)=0.4×0.1+0.6×0.15/3=0.07
【0103】
以下では、上記で得られたS(i,j)を表3に示す。
【0104】
【表3】
【0105】
所定のトランジションタイプ選択ポリシーは、トランジション位置0及びトランジション位置2におけるトランジションタイプ2の出現を禁止し、トランジションタイプ1の2回の出現を禁止するように設定することができる。
【0106】
可能な設計では、トランジション位置0からトランジション位置2の順に、3つのトランジション位置にそれぞれ目標トランジションタイプを選択する。
【0107】
ここで、トランジション位置0に対して、それに属する最大整合度S(0,0)はトランジションタイプ0に対応し、このとき、トランジション位置0にトランジションタイプ2が出現せず、最初のトランジション位置であるため、トランジションタイプ1が2回出現することもない。したがって、トランジション位置0の目標トランジションタイプがトランジションタイプ0であると決定する。
【0108】
トランジション位置1に対して、それに属する最大整合度S(1,1)はトランジションタイプ1に対応する。このとき、トランジション位置1にトランジションタイプ2が出現せず、前トランジション位置0におけるその目標トランジションタイプはトランジションタイプ0であり、トランジションタイプ1は現在のトランジション位置1に初めて出現し、トランジションタイプ1が2回出現することはない。したがって、トランジション位置1の目標トランジションタイプがトランジションタイプ1であると決定する。
【0109】
トランジション位置2に対して、それに属する最大整合度S(2,1)はトランジションタイプ1に対応する。このとき、トランジション位置2にトランジションタイプ2が出現せず、前トランジション位置1におけるその目標トランジションタイプはトランジションタイプ1であれば、トランジションタイプ1は現在のトランジション位置2に2回出現し、所定のトランジションタイプ選択ポリシーにおけるトランジションタイプ1の2回出現禁止の要求を満たさない。このとき、最大整合度S(2,1)を破棄し、トランジション位置2の2番目に大きい整合度S(2,0)の判断を継続する。S(2,0)はトランジションタイプ0に対応し、トランジションタイプ2が出現せず、かつ所定のトランジションタイプ選択ポリシーにおけるトランジションタイプ1の2回出現禁止の要求を満たす。したがって、トランジション位置2の目標トランジションタイプがトランジションタイプ0であると決定する。
【0110】
別の可能な設計では、トランジション位置2からトランジション位置0の逆順に、3つのトランジション位置にそれぞれ目標トランジションタイプを選択する。
【0111】
ここで、トランジション位置2に対して、それに属する最大整合度S(2,1)はトランジションタイプ1に対応する。このとき、トランジション位置2にトランジションタイプ2が出現せず、トランジションタイプ1が初めて出現し、トランジションタイプ1が2回出現することはない。したがって、トランジション位置2の目標トランジションタイプがトランジションタイプ1であると決定する。
【0112】
トランジション位置1に対して、それに属する最大整合度S(1,1)はトランジションタイプ1に対応する。このとき、トランジション位置1にトランジションタイプ2が出現せず、前トランジション位置2におけるその目標トランジションタイプはトランジションタイプ1であれば、トランジションタイプ1は現在のトランジション位置1に2回出現し、所定のトランジションタイプ選択ポリシーにおけるトランジションタイプ1の2回出現禁止の要求を満たさない。このとき、最大整合度S(1,1)を破棄し、トランジション位置1の2番目に大きい整合度S(1,3)の判断を続ける。S(1,3)はトランジションタイプ3に対応し、トランジションタイプ2が出現せず、かつ所定のトランジションタイプ選択ポリシーにおけるトランジションタイプ1の2回出現禁止の要求を満たす。したがって、トランジション位置1の目標トランジションタイプがトランジションタイプ3であると決定する。
【0113】
トランジション位置0に対して、それに属する最大整合度S(0,0)はトランジションタイプ0に対応し、このとき、トランジション位置0にトランジションタイプ2が出現せず、トランジションタイプ1が2回出現することもない。したがって、トランジション位置0の目標トランジションタイプがトランジションタイプ0であると決定する。
【実施例8】
【0114】
実施例7に加えて、図6は、本願のさらに別の実施例によるトランジションタイプ決定方法のフローチャートを示す。
【0115】
図6に示すように、本願のさらに別の実施例によるトランジションタイプ決定方法のフローは以下を含む。
【0116】
ステップ602において、複数の候補トランジションタイプのそれぞれのビデオの各トランジション位置における画面整合度、及び前記複数の候補トランジションタイプのそれぞれの音楽整合度を取得する。
【0117】
ステップ604において、取得した前記画面整合度及び前記音楽整合度に基づいて、前記複数の候補トランジションタイプのそれぞれの前記各トランジション位置における整合度を決定する。
【0118】
ステップ606において、前記所定のトランジションタイプ選択ポリシーに基づいて、一部又は全ての候補トランジションタイプの少なくとも1つのトランジション位置における整合度を調整する。
【0119】
所定のトランジションタイプ選択ポリシーはトランジションタイプが実際のトランジションエフェクトのニーズを満たす場合に満たすべき具体的な条件を限定し、所定のトランジションタイプ選択ポリシーを用いることは、最終的なトランジションタイプ選択結果に良好なトランジションエフェクトを持たせ、トランジション位置乃至ビデオ全体とより高い適合性を有することに役立つ。ここで、所定のトランジションタイプ選択ポリシーは、指定トランジション位置におけるトランジションタイプの出現を許可するか禁止するかを限定するポリシー、及びトランジションタイプの出現回数を限定するポリシーの1つ又は複数の組み合わせを含むが、これらに限定されない。ここで、トランジションタイプの出現回数を限定するポリシーは、第1のトランジションタイプの出現回数が第1の指定回数未満であること、及び/又は第2のトランジションタイプの連続出現回数が第2の指定回数未満であることを含むが、これらに限定されない。
【0120】
後続の計算を容易にし、トランジションタイプの自動選択の難易度を下げるために、所定の整合度調整ポリシーを整合度調整係数の方式で計算過程に加えることができる。
【0121】
例えば、所定の整合度調整ポリシーでは、第1のトランジションタイプの出現回数が第1の指定回数に達してはならないことを限定する。ここで、いずれかのトランジション位置において第1のトランジションタイプの出現回数が第1の指定回数未満であれば、該第1のトランジションタイプの該トランジション位置における整合度から第1の係数を減算するように設定し、いずれかのトランジション位置において第1のトランジションタイプの出現回数が第1の指定回数以上であれば、該第1のトランジションタイプの該トランジション位置における整合度から第2の係数を減算するように設定することができる。ここで、第1の係数は第2の係数よりもはるかに小さい。
【0122】
さらに、第1の係数を0、第2の係数を100として設定することができる。このように、いずれかのトランジション位置に対して、第1のトランジションタイプを選択すれば、第1のトランジションタイプの出現回数は第1の指定回数に達し、第1のトランジションタイプの該トランジション位置における対応する整合度から100を減算することになり、第1のトランジションタイプ以外の他のトランジションタイプを選択すれば、他のトランジションタイプの該トランジション位置における対応する整合度から0を減算することになる。最終的に、第1のトランジションタイプに対応する調整後整合度は他のトランジションタイプに対応する調整後整合度よりもはるかに小さくなるので、調整後整合度の大きさで該トランジション位置に目標トランジションタイプを選択する際に、調整後整合度が極めて小さい第1のトランジションタイプを必ず選択しない。
【0123】
ステップ608において、前記複数の候補トランジションタイプのそれぞれの前記各トランジション位置における調整後の整合度に基づいて、前記複数の候補トランジションタイプから前記各トランジション位置に前記目標トランジションタイプをそれぞれ選択する。
【0124】
所定の整合度調整ポリシーに基づいて調整された整合度はトランジション位置及び/又は該トランジション位置におけるトランジションタイプが実際のトランジションエフェクトのニーズを満たす場合にトランジションタイプと該トランジション位置との適合度を反映し、1つのトランジションタイプの該トランジション位置における調整後整合度が高いほど、該トランジション位置で該トランジションタイプを用いて得られたトランジションエフェクトはより良い。以上の技術案により、トランジション位置に自身との適合性が高く、得られたトランジションエフェクトが良質なトランジションタイプを自動的に選択することができ、ビデオトランジションの実現難易度を下げると同時に、良質なビデオトランジションエフェクトを実現し、ユーザ体験を向上させる。
【実施例9】
【0125】
図7は、本願のさらに別の実施例によるトランジションタイプ決定方法のフローチャートを示す。
【0126】
図7に示すように、本願のさらに別の実施例によるトランジションタイプ決定方法のフローは以下を含む。
【0127】
ステップ702において、複数の候補トランジションタイプのそれぞれのビデオの各トランジション位置における画面整合度、及び前記複数の候補トランジションタイプのそれぞれの音楽整合度を取得する。
【0128】
ステップ704において、取得した前記画面整合度及び前記音楽整合度に基づいて、前記複数の候補トランジションタイプのそれぞれの前記各トランジション位置における整合度を決定する。
【0129】
ステップ706において、前記複数の候補トランジションタイプのそれぞれの前記各トランジション位置における整合度に基づいて、トランジションタイプ検索構造を構築する。
【0130】
ステップ708において、前記トランジションタイプ検索構造を用いて前記各トランジション位置に前記目標トランジションタイプをそれぞれ選択する。
【0131】
可能な設計では、直接複数の候補トランジションタイプのそれぞれの前記各トランジション位置における整合度を要素として、トランジションタイプ検索構造を構築することができる。
【0132】
直接複数の候補トランジションタイプのそれぞれの前記各トランジション位置における整合度を要素として、トランジションタイプ検索構造を構築する場合、トランジションタイプ検索構造において各トランジション位置の整合度が最も高い候補トランジションタイプを対応する目標トランジションタイプとして検索することができる。
【0133】
別の可能な設計では、所定のトランジションタイプ選択ポリシーに基づいて、複数の候補トランジションタイプのそれぞれの前記各トランジション位置における整合度を調整し、複数の候補トランジションタイプのそれぞれの前記各トランジション位置における調整後整合度を要素として、トランジションタイプ検索構造を構築することができる。
【0134】
この場合、調整後の整合度はトランジションタイプが実際のトランジションエフェクトのニーズを満たす場合にトランジションタイプと該トランジション位置との適合度を反映し、1つのトランジションタイプの該トランジション位置における調整後整合度が高いほど、該トランジション位置で該トランジションタイプを用いて得られたトランジションエフェクトはより良い。
【0135】
さらに別の可能な設計では、いずれかのトランジション位置におけるいずれかの候補トランジションタイプに対して、該候補トランジションタイプを該トランジション位置の目標トランジションタイプとして選択する場合、該トランジション位置の前トランジション位置に、該前トランジション位置における整合度と該候補トランジションタイプの該トランジション位置における整合度との加算和が最大の候補トランジションタイプを選択する。
【0136】
ここまでは、いずれかのトランジション位置におけるいずれかの候補トランジションタイプに対して、その整合度と前トランジション位置におけるその整合度との加算和が最大の整合度が属する候補トランジションタイプを構造要素として、トランジションタイプ検索構造を構築した。このトランジションタイプ検索構造では、初めて処理された開始トランジション位置に対して、それに属する複数の候補トランジションタイプのうちのどれを目標トランジションタイプとして選択しても、目標トランジションタイプを選択することを前提として、他の各トランジション位置に良質な全体トランジションエフェクトを実現できる候補トランジションタイプを選択することができる。
【0137】
さらに別の可能な設計では、所定のトランジションタイプ選択ポリシーに基づいて、複数の候補トランジションタイプのそれぞれの前記各トランジション位置における整合度を調整することができる。次に、いずれかのトランジション位置におけるいずれかの候補トランジションタイプに対して、該候補トランジションタイプを該トランジション位置の目標トランジションタイプとして選択する場合、該トランジション位置の前トランジション位置に、該前トランジション位置における整合度と該候補トランジションタイプの該トランジション位置における整合度との加算和が最大の候補トランジションタイプを選択する。
【0138】
ここまでは、いずれかのトランジション位置におけるいずれかの候補トランジションタイプに対して、その調整後整合度と前トランジション位置におけるその調整後整合度との加算和が最大の調整後整合度が属する候補トランジションタイプを構造要素とし、トランジションタイプ検索構造を構築した。このトランジションタイプ検索構造では、初めて処理された開始トランジション位置に対して、それに属する複数の候補トランジションタイプのうちのどれを目標トランジションタイプとして選択しても、目標トランジションタイプを選択することを前提として、他の各トランジション位置に最適な全体トランジションエフェクトを実現できる候補トランジションタイプを選択することができる。
【実施例10】
【0139】
本願の技術案では、所定のアルゴリズムを採用して前記トランジションタイプ検索構造において検索し、前記各トランジション位置にそれぞれ前記目標トランジションタイプを選択することができる。ここで、所定のアルゴリズムは動的計画アルゴリズム、深さ優先、山登りアルゴリズム、蟻群アルゴリズム、粒子群アルゴリズムなど、最適解を選択できる任意のアルゴリズムを含むが、これらに限定されない。
【0140】
ランジションタイプ検索構造に用いられる動的計画アルゴリズムの構築方法は、前記各トランジション位置の履歴選択可能な整合度及びその前記複数の候補トランジションタイプにおける前記調整後整合度に基づいて、前記各トランジション位置における前記複数の候補トランジションタイプのそれぞれに対応する選択可能な整合度を決定することを含む。
【0141】
ここで、前記複数のトランジション位置のうち最初のトランジション位置の履歴選択可能な整合度はゼロである。前記複数のトランジション位置のうち前記最初のトランジション位置以外の各残りの位置に対して、その履歴選択可能な整合度は自身の前トランジション位置における指定選択可能な整合度であり、前記各残りの位置の各候補トランジションタイプにおける前記調整後整合度と自身の前トランジション位置の前記複数の候補トランジションタイプにおける選択可能な整合度とがそれぞれ加算されるとき、加算和が最大の選択可能な整合度は前記指定選択可能な整合度である。
【0142】
最後に、前記各トランジション位置における前記複数の候補トランジションタイプのそれぞれに対応する選択可能な整合度と、該選択可能な整合度を決定するときに用いられる前記履歴選択可能な整合度に対応する履歴トランジション位置及び履歴候補トランジションタイプとを、構造要素として、前記トランジションタイプ検索構造を構築する。
【0143】
以下では、実例を交えてトランジションタイプ検索構造の構築及び動的計画アルゴリズムによる前記トランジションタイプ検索構造における検索の過程について詳細に説明する。
【0144】
5つの候補トランジションタイプ、ビデオの4つのビデオセグメント、3つのトランジション位置を例に、5つの候補トランジションタイプはそれぞれトランジションタイプ0、トランジションタイプ1、トランジションタイプ2、トランジションタイプ3及びトランジションタイプ4であり、トランジション位置はそれぞれトランジション位置0、トランジション位置1及びトランジション位置2であり、その画面整合度及び音楽整合度の分布は前述の表1及び表2に示すとおりである。
【0145】
画面整合度の重みが0.4であり、音楽整合度の重みが0.6であると予め設定する。各候補トランジションタイプに対して、その自身の音楽整合度のそれぞれと前記各トランジション位置におけるその画面整合度との重み付け処理を行い、前記各トランジション位置におけるその整合度S(i,j)を得て、前述の表3に示すとおりである。ここで、iはトランジション位置を表し、iのとり得る値の範囲は(0,1,2)であり、jは候補トランジションタイプを表し、jのとり得る値の範囲は(0,1,2,3,4)である。
【0146】
所定の整合度調整ポリシーは、トランジション位置0及びトランジション位置2におけるトランジションタイプ1の出現を禁止するように、かつ、同一のトランジションタイプの2回の出現を禁止するように、設定することができる。
【0147】
いずれかのトランジション位置におけるいずれかの候補トランジションタイプに対して、それが所定の整合度調整ポリシーを満たす場合、該候補トランジションタイプの整合度から調整係数0を減算し、所定の整合度調整ポリシーを満たさない場合、該候補トランジションタイプの整合度から調整係数100を減算する。
【0148】
これに基づいて、表3内の整合度を調整した後、調整後の整合度Q(i,j)を得る。ここで、iはトランジション位置を表し、iのとり得る値の範囲は(0,1,2)であり、jは候補トランジションタイプを表し、jのとり得る値の範囲は(0,1,2,3,4)である。つまり、Q(i,j)はトランジション位置iのトランジションタイプjにおける画面整合度と音楽整合度との重み付け値と対応する調整係数との重畳値である。
【0149】
まず、トランジション位置0の各トランジションタイプにおける調整後の整合度を計算する。
Q(0,0)=0.4×0.4+0.6×0.2/3-0=0.2
Q(0,1)=0.4×0.1+0.6×0.15/3-100=-99.93
Q(0,2)=0.4×0.2+0.6×0.3/3-0=0.14
Q(0,3)=0.4×0.17+0.6×0.25/3-0=0.118
Q(0,4)=0.4×0.13+0.6×0.15/3-0=0.082
【0150】
トランジション位置1について、トランジション位置0及びトランジション位置1の整合度和が最高となるように、トランジション位置1がトランジションタイプjを選択した場合、トランジション位置0がどのトランジションタイプを選択すべきかを順次仮定する。
【0151】
ここで、トランジション位置1がトランジションタイプ0を選択した場合、トランジション位置0及びトランジション位置1の最大整合度和は、
(1,0)=max{Q(0,j)+0.4×0.1+0.6×0.2/3-costp(1,0)Q(0,j)}であり、
costp(1,0)Q(0,j)は、トランジション位置1がトランジションタイプ0を選択した場合にトランジション位置0がトランジションタイプjを選択したときにトランジション位置1が用いるべき調整係数である。
【0152】
トランジション位置1がトランジションタイプ0を選択した場合、トランジション位置0にもトランジションタイプ0を選択すれば、トランジションタイプ0は2回出現し、所定の整合度調整ポリシーを満たせず、このとき、Q(1,0)に対応するcostp(1,0)Q(0,0)は100である。逆に、以下のとおりであり、
トランジション位置0においてトランジションタイプ1であれば、Q(1,0)に対応するcostp(1,0)Q(0,1)は0であり、
トランジション位置0においてトランジションタイプ2であれば、Q(1,0)に対応するcostp(1,0)Q(0,2)は0であり、
トランジション位置0においてトランジションタイプ3であれば、Q(1,0)に対応するcostp(1,0)Q(0,3)は0であり、
トランジション位置0においてトランジションタイプ4であれば、Q(1,0)に対応するcostp(1,0)Q(0,4)は0である。
【0153】
これに応じて、
Q(0,0)+0.4×0.1+0.6×0.2/3-100=-99.72
Q(0,1)+0.4×0.1+0.6×0.2/3-0=-99.85
Q(0,2)+0.4×0.1+0.6×0.2/3-0=0.22
Q(0,3)+0.4×0.1+0.6×0.2/3-0=0.198
Q(0,4)+0.4×0.1+0.6×0.2/3-0=0.162
これにより、j=2の場合、つまり、トランジション位置1がトランジションタイプ0を選択し、かつトランジション位置0がトランジションタイプ2を選択した場合、トランジション位置0及びトランジション位置1の整合度和は最大であり、ここで、
(1,0)=max{Q(0,j)+0.4×0.1+0.6×0.2/3-costp(1,0)Q(0,j)}=0.22であり、
トランジション位置1でのトランジションタイプ0に対応する構造要素を{(0,2),0.22}と設定することができ、現在のトランジション位置1がトランジションタイプ0を選択した場合、前トランジション位置0がトランジションタイプ2を選択すると、トランジション位置0及びトランジション位置1が全体として最適なトランジションエフェクトを得ることができることを反映する。
【0154】
同様に、トランジション位置1がトランジションタイプ1を選択した場合、トランジション位置0及びトランジション位置1の最大整合度和は、
(1,1)=max{Q(0,j)+0.4×0.35+0.6×0.15/3-costp(1,1)Q(0,j)}であり、
j=0の場合、P(1,1)は最大値0.37をとるので、トランジション位置1におけるトランジションタイプ1に対応する構造要素を{(0,0),0.37}として設定する。
【0155】
同様に、トランジション位置1がトランジションタイプ2を選択した場合、トランジション位置0及びトランジション位置1の最大整合度和は、
(1,2)=max{Q(0,j)+0.4×0.15+0.6×0.3/3-costp(1,2)Q(0,j)}であり、
j=0の場合、P(1,2)は最大値0.32をとるので、トランジション位置1におけるトランジションタイプ2に対応する構造要素を{(0,0),0.32}として設定する。
【0156】
同様に、トランジション位置1がトランジションタイプ3を選択した場合、トランジション位置0及びトランジション位置1の最大整合度和は、
(1,3)=max{Q(0,j)+0.4×0.2+0.6×0.25/3-costp(1,3)Q(0,j)}であり、
j=0の場合、P(1,3)は最大値0.33をとるので、トランジション位置1におけるトランジションタイプに対応する構造要素を{(0,0),0.33}として設定する。
【0157】
同様に、トランジション位置1がトランジションタイプ4を選択した場合、トランジション位置0及びトランジション位置1の最大整合度和は、
(1,4)=max{Q(0,j)+0.4×0.2+0.6×0.15/3-costp(1,4)Q(0,j)}であり、
j=0の場合、P(1,4)は最大値0.31をとるので、トランジション位置1におけるトランジションタイプに対応する構造要素を{(0,0),0.31}として設定する。
【0158】
以下では、上記構築した一部のトランジションタイプ検索構造を表4に示す。
【0159】
【表4】
【0160】
このとき、Q(1,0)、Q(1,1)、Q(1,2)、Q(1,3)、Q(1,4)がそれぞれ0.22、0.37、0.32、0.33、0.31であるように設定する。
【0161】
トランジション位置2について、トランジションタイプ0を選択した場合、
このときトランジション位置1がトランジションタイプ0を選択すると、トランジションタイプ0は2回まで出現し、所定の整合度調整ポリシーに適合せず、Q(2,0)に対応するcostp(2,0)Q(1,は100である。
【0162】
表4を参照して分かるように、このときトランジション位置1がトランジションタイプ1、2、3、4を選択すると、必然的にトランジション位置0においてトランジションタイプ0を選択することになる。この場合、トランジションタイプ0は依然として2回出現するので、Q(2,0)に対応するcostp(2,0)Q(1,1)、costp(2,0)Q(1,2)、costp(2,0)Q(1,3)、costp(2,0)Q(1,4)はいずれも100である。
【0163】
したがって、トランジション位置2について、トランジションタイプ0を選択した場合、トランジション位置1及びトランジション位置2の最大整合度和は、
(2,0)=max{Q(1,j)+0.4×0.3+0.6×0.2/3-100}であり、
j=1の場合、P(2,0)は最大値-99.47をとるので、トランジション位置2においてトランジションタイプ0に対応する構造要素を{(1,1),-99.47}として設定する。
【0164】
なお、2つの所定の整合度調整ポリシーは、トランジション位置0及びトランジション位置2におけるトランジションタイプ1の出現禁止及びトランジションタイプ1の2回の出現禁止であり、それらは、それぞれの調整係数costにそれぞれ対応し、いずれかのトランジション位置におけるいずれかのトランジションタイプに対して、2つの所定の整合度調整ポリシーが満たされないならば、トランジションタイプの整合度から2つの所定の整合度調整ポリシーのそれぞれに対応する調整係数costを減算する。
【0165】
トランジション位置2について、トランジションタイプ1を選択した場合、
表4を参照して分かるように、このときトランジション位置1がトランジションタイプ0を選択すると、トランジション位置0はトランジションタイプ2を選択する。このとき、トランジションタイプ1は2回出現していないが、トランジション位置2に出現禁止のトランジションタイプ1が出現しており、costp(2,1)Q(1,0)は100である。
【0166】
表4を参照して分かるように、このときトランジション位置1がトランジションタイプ1を選択すると、必然的にトランジション位置0においてトランジションタイプ0を選択することになる。この場合、トランジションタイプ1は2回出現し、かつトランジション位置2に出現禁止のトランジションタイプ1が出現している。このとき、2つの所定の整合度調整ポリシーがいずれも満たされていなければ、costp(2,1)Q(1,1)は200である。
【0167】
表4を参照して分かるように、このときトランジション位置1がトランジションタイプ2、3、4を選択すると、必然的にトランジション位置0においてトランジションタイプ0を選択することになる。この場合、トランジションタイプ1は2回出現していないが、トランジション位置2に出現禁止のトランジションタイプ1が出現しているため、costp(2,1)Q(1,2)、costp(2,1)Q(1,3)、costp(2,1)Q(1,4)はいずれも100である。
【0168】
(2,1)=max{Q(1,j)+0.4×0.4+0.6×0.15/3-costp(2,1)Q(1,j)}であり、
j=3の場合、P(2,1)は最大値-99.51をとるので、トランジション位置2におけるトランジションタイプ1に対応する構造要素を{(1,3),-99.51}として設定する。
【0169】
トランジション位置2について、トランジションタイプ2を選択した場合、
このときトランジション位置1がトランジションタイプ0を選択すれば、表4を参照すると、トランジション位置0は必然的にトランジションタイプ2を選択する。このとき、トランジションタイプ2は2回出現し、costp(2,2)Q(1,0)は100である。
【0170】
このときトランジション位置1がトランジションタイプ2を選択すれば、表4を参照すると、トランジション位置0は必然的にトランジションタイプ0を選択する。このとき、トランジションタイプ2は2回出現し、costp(2,2)Q(1,は100である。
【0171】
このときトランジション位置1がトランジションタイプ1、3、4を選択すれば、表4を参照して分かるように、必然的にトランジション位置0においてトランジションタイプ0を選択することになる。この場合、所定の整合度調整ポリシーを満たし、costp(2,2)Q(1,1)、costp(2,2)Q(1,3)、costp(2,2)Q(1,4)はいずれも0である。
【0172】
(2,2)=max{Q(1,j)+0.4×0.12+0.6×0.3/3-costp(2,2)Q(1,j)}であり、
j=1の場合、P(2,2)は最大値0.478をとるので、トランジション位置2におけるトランジションタイプ1に対応する構造要素を{(1,1),0.478}として設定する。
【0173】
トランジション位置2について、トランジションタイプ3を選択した場合、
このときトランジション位置1がトランジションタイプ0を選択すれば、表4を参照すると、トランジション位置0は必然的にトランジションタイプ2を選択する。このとき、所定の整合度調整ポリシーを満たし、costp(2,3)Q(1,0)は0である。
【0174】
このときトランジション位置1がトランジションタイプ1、2、4を選択すれば、表4を参照すると、トランジション位置0は必然的にトランジションタイプ0を選択する。このとき、所定の整合度調整ポリシーを満たし、costp(2,3)Q(1,1)、costp(2,3)Q(1,2)、costp(2,3)Q(1,4)はいずれも0である。
【0175】
このときトランジション位置1がトランジションタイプ3を選択すれば、表4を参照すると、トランジション位置0は必然的にトランジションタイプ0を選択する。このとき、トランジションタイプ3は2回出現し、所定の整合度調整ポリシーを1つだけ満たさず、costp(2,2)Q(1,3)は100である。
【0176】
(2,3)=max{Q(1,j)+0.4×0.08+0.6×0.25/3-costp(2,3)Q(1,j)}であり、
j=1の場合、P(2,3)は最大値0.452をとるので、トランジション位置2におけるトランジションタイプ3に対応する構造要素を{(1,1),0.452}として設定する。
【0177】
トランジション位置2について、トランジションタイプ4を選択した場合、
このときトランジション位置1がトランジションタイプ0を選択すれば、表4を参照すると、トランジション位置0は必然的にトランジションタイプ2を選択する。このとき、所定の整合度調整ポリシーを満たし、costp(2,4)Q(1,0)は0である。
【0178】
このときトランジション位置1がトランジションタイプ1、2、3を選択すれば、表4を参照すると、トランジション位置0は必然的にトランジションタイプ0を選択する。このとき、所定の整合度調整ポリシーを満たし、costp(2,4)Q(1,1)、costp(2,4)Q(1,2)、costp(2,4)Q(1,3)はいずれも0である。
【0179】
このときトランジション位置1がトランジションタイプ4を選択すれば、表4を参照すると、トランジション位置0は必然的にトランジションタイプ0を選択する。このとき、トランジションタイプ4は2回出現し、所定の整合度調整ポリシーを1つだけ満たさず、costp(2,4)Q(1,4)は100である。
【0180】
(2,4)=max{Q(1,j)+0.4×0.1+0.6×0.15/3-costp(2,4)Q(1,j)}であり、
j=1の場合、P(2,は最大値0.44をとるので、トランジション位置2におけるトランジションタイプ4に対応する構造要素を{(1,1),0.44}として設定する。
【0181】
最終的に、表5に示すように、完全なトランジションタイプ検索構造を得る。
【0182】
【表5】
【0183】
表5に基づいて分かるように、トランジション位置2において、トランジションタイプ2はこのとき対応する整合度が最高である。
【0184】
同時に、トランジションタイプ検索構造では、トランジション位置2でのトランジションタイプ2における構造要素{(1,1),0.478}に基づいて分かるように、トランジション位置2がトランジションタイプ2を選択することを前提として、トランジション位置1がトランジションタイプ1を選択した場合、最高整合度和を得ることができる。
【0185】
次に、トランジションタイプ検索構造では、トランジション位置1でのトランジションタイプ1における構造要素{(0,0),0.37}に基づいて分かるように、トランジション位置1がトランジションタイプ1を選択することを前提として、トランジション位置0がトランジションタイプ0を選択した場合、最高整合度和を得ることができる。
【0186】
上記原理に基づいて、動的計画アルゴリズムによってトランジションタイプ検索構造を検索し、トランジション位置0においてトランジションタイプ0を用い、トランジション位置1においてトランジションタイプ1を用い、トランジション位置2においてトランジションタイプ2を用いるという最終的なトランジションタイプ整合結果を得る。
【0187】
また、複数の候補トランジションタイプのそれぞれの各トランジション位置における整合度を用いて任意のタイプのトランジションタイプ検索構造を構築することができ、トランジションタイプ検索構造のタイプは上記1つを含むが、これらに限定されない。任意のタイプのトランジションタイプ検索構造に対して、動的計画アルゴリズムを含むがこれに限定されない任意の検索アルゴリズムを用いてトランジションタイプ整合結果を得ることができる。
【0188】
なお、上記実施例1から実施例10の技術案はクライアントのSDK(Software Development Kit、ソフトウェア開発キット)で実行されてもよい。クライアントはVE(ビデオ通信ソフトウェア)SDK、アルゴリズムSDK及びeffect SDKを有する。
【0189】
具体的には、アルゴリズムSDKは複数の候補トランジションタイプのそれぞれのビデオの各トランジション位置における画面整合度、及び前記複数の候補トランジションタイプのそれぞれの音楽整合度を取得し、かつ画面整合度及び音楽整合度に基づいて処理して複数の候補トランジションタイプのそれぞれの前記各トランジション位置における整合度を得て、最終的に各トランジション位置の目標トランジションタイプを決定することができる。
【0190】
あるいは、アルゴリズムSDKは複数の候補トランジションタイプのそれぞれのビデオの各トランジション位置における画面整合度、及び前記複数の候補トランジションタイプのそれぞれの音楽整合度を取得し、かつ取得したコンテンツをVE SDKに送信し、VE SDKにより画面整合度及び音楽整合度に基づいて処理して複数の候補トランジションタイプのそれぞれの前記各トランジション位置における整合度を得て、最終的に各トランジション位置の目標トランジションタイプを決定することができる。最終的に、VE SDKは目標トランジションタイプをeffect SDKに送信し、effect SDKによりレンダリング操作を実行することができる。
【0191】
当然のことながら、上記実施例1から実施例10の技術案は、実際の必要に応じて、ビデオ処理を実現できる任意のモジュール又は電子機器で実行されてもよい。
【0192】
図8は、本願の一実施例によるトランジションタイプ決定装置のブロック図を示す。
【0193】
図8に示すように、本願の実施例は、候補トランジションタイプと2つの隣接するビデオセグメントとの間のトランジション位置の画面整合度、及び前記候補トランジションタイプの音楽整合度を取得する初期整合度取得ユニット802であって、前記画面整合度は前記2つの隣接するビデオセグメント及び前記候補トランジションタイプに基づいて決定され、前記音楽整合度は前記2つの隣接するビデオセグメントが属するビデオのバックグラウンド音楽及び前記候補トランジションタイプに基づいて決定される初期整合度取得ユニット802と、取得した前記画面整合度及び前記音楽整合度に基づいて、前記候補トランジションタイプの前記トランジション位置における整合度を決定するトランジション位置整合度決定ユニット804と、前記整合度に基づいて、前記候補トランジションタイプを前記トランジション位置の目標トランジションタイプとして決定するか否かを決定する目標トランジションタイプ選択ユニット806であって、前記目標トランジションタイプは前記2つの隣接するビデオセグメント間のトランジションエフェクトに用いられる目標トランジションタイプ選択ユニット806と、を含む、トランジションタイプ決定装置800を提供する。
【0194】
本願の上記実施例では、選択的には、前記目標トランジションタイプ選択ユニット806は、さらに、前記トランジション位置が前記ビデオにおける指定トランジション位置であれば、前記トランジション位置における前記目標トランジションタイプが前記指定トランジション位置に対応する指定トランジションタイプであると決定すること、に用いられる。
【0195】
本願の上記実施例では、選択的には、前記目標トランジションタイプ選択ユニット806は、さらに、前記トランジション位置が前記ビデオにおける指定トランジション位置である場合、前記候補トランジションタイプが前記指定トランジションタイプ以外の他のトランジションタイプであれば、前記候補トランジションタイプの前記整合度に第1の調整係数を重畳することであって、前記第1の調整係数は前記候補トランジションタイプが前記目標トランジションタイプではないようにするために用いられること、に用いられる。
【0196】
本願の上記実施例では、選択的には、前記目標トランジションタイプが前記トランジション位置に出現すれば、前記目標トランジションタイプの出現回数は第1の指定回数未満であるとすべき、及び/又は、前記目標トランジションタイプの連続出現回数は第2の指定回数未満であるとすべきである。
【0197】
本願の上記実施例では、選択的には、前記目標トランジションタイプ選択ユニット806は、さらに、前記候補トランジションタイプが前記トランジション位置に出現する場合、前記候補トランジションタイプの出現回数が前記第1の指定回数以上であれば、及び/又は、前記候補トランジションタイプの連続出現回数が前記第2の指定回数以上であれば、前記候補トランジションタイプの前記整合度に第2の調整係数を重畳することであって、前記第2の調整係数は前記候補トランジションタイプが前記目標トランジションタイプではないようにするために用いられること、に用いられる。
【0198】
本願の上記実施例では、選択的には、前記目標トランジションタイプ選択ユニット806はさらに、前記トランジション位置が前記ビデオの最初のトランジション位置である場合、前記候補トランジションタイプの最初のトランジション位置における前記整合度を前記候補トランジションタイプの前記トランジション位置における最大整合度として決定することと、前記トランジション位置が前記ビデオの非最初のトランジション位置である場合、前記候補トランジションタイプの前記トランジション位置における前記整合度と、前記ビデオにおける前記トランジション位置の前トランジション位置における前記候補トランジションタイプ及び他の候補トランジションタイプのそれぞれに対応する最大整合度とに基づいて、前記候補トランジションタイプの前記トランジション位置における最大整合度、及び前記トランジション位置が最大整合度を有するときに前記前トランジション位置が選択すべき候補トランジションタイプを決定することと、前記候補トランジションタイプ及び前記他の候補トランジションタイプの非最初のトランジション位置における各トランジション位置におけるそれぞれ対応する最大整合度と、前記非最初のトランジション位置における各トランジション位置が前記最大整合度を得るときにその前トランジション位置が選択すべき候補トランジションタイプとに基づいて、前記ビデオの各トランジション位置に対応する目標トランジションタイプを選択することと、に用いられる。
【0199】
該トランジションタイプ決定装置800は実施例1から10のいずれかに記載の手段を用いるため、上記全ての技術的効果を有するので、ここでは説明を省略する。
【0200】
図9は、本願の一実施例の電子機器のブロック図を示す。
【0201】
図9に示すように、本願の一実施例の電子機器900は、少なくとも1つのメモリ902と、前記少なくとも1つのメモリ902と通信接続された少なくとも1つのプロセッサ904とを含み、ここで、前記メモリは、前記少なくとも1つのプロセッサ904によって実行可能な命令を記憶し、前記命令は、上記実施例1から10のいずれかに記載の手段を実行するために用いられるように設定される。したがって、該電子機器900は実施例1から10のいずれかと同じ技術的効果を有するので、ここでは説明を省略する。
【0202】
本願の実施例の電子機器は、様々な形態で存在し、以下を含むがそれらに限定されない。
(1)移動体通信機器:このような機器の特徴は移動体通信機能を備え、かつ音声やデータ通信の提供を主な目的とすることである。このような端末は、スマートフォン(例えばiPhone(登録商標))、マルチメディア携帯電話、機能性携帯電話、及びローエンド携帯電話などを含む。
(2)スーパーモバイルパーソナルコンピュータ機器:このような機器はパーソナルコンピュータの範疇に属し、計算及び処理機能があり、一般的にはモバイルインターネット特性も備えている。このような端末は、PDA、MID及びUMPC機器などを含み、例えばiPad(登録商標)が挙げられる。
(3)ポータブルエンターテインメント機器:このような機器はマルチメディアコンテンツを表示及び再生できる。このような機器は、オーディオ、ビデオプレーヤー(例えばiPod(登録商標))、ハンドヘルドゲーム機、電子書籍、及びスマート玩具及び携帯型カーナビゲーション機器を含む。
(4)データインタラクション機能を有する他の電子装置。
【0203】
また、本願の実施例は、上記実施例1から10のいずれかに記載の方法フローを実行するためのコンピュータ実行可能命令が記憶されている、コンピュータ可読記憶媒体を提供する。
【0204】
本願の実施例はさらに、コンピュータ可読媒体に担持されたコンピュータプログラムを含むコンピュータプログラム製品であって、該コンピュータプログラムは、プロセッサによって実行されると、上記実施例1から10のいずれかに記載の方法フローを実行するために用いられる、コンピュータプログラム製品を提供する。
【0205】
本願の実施例はさらに、コンピュータプログラムであって、電子機器上で動作すると、上記実施例1から10のいずれかに記載の方法フローを実行する、コンピュータプログラムを提供する。
【0206】
以上は図面を参照して本願の技術案を詳細に説明し、本願の技術案により、トランジション位置に自身との適合性が高く、得られたトランジションエフェクトが最適であるトランジションタイプを自動的に選択することができ、ビデオトランジションの実現難易度を下げると同時に、良質なビデオトランジションエフェクトを実現し、ユーザ体験を向上させる。
【0207】
本明細書で用いられる用語「及び/又は」は、関連対象の関連関係を記述するためのものに過ぎず、3つの関係が存在可能であることを表し、例えば、A及び/又はBは、Aのみが存在し、AとBが同時に存在し、Bのみが存在するという3つの場合を表すことができることを理解されたい。また、本明細書の文字「/」は、前後の関連オブジェクトが「又は」の関係であることを一般的に表す。
【0208】
文脈によっては、ここで用いられる「もし」という言葉は、「…とき」又は「…場合」又は「決定したことに応答する」又は「検出したことに応答する」と解釈することができる。同様に、文脈に応じて、「決定した場合」又は「検出した場合(記述された条件又はイベント)」という語句は、「と決定した場合」又は「決定したことに応答する」又は「と検出した場合(記述された条件又はイベント)」又は「検出したことに応答する(記述された条件又はイベント)」と解釈することができる。
【0209】
本願によって提供されるいくつかの実施例では、開示されたシステム、装置及び方法は、他の方式で実現されてもよいことが理解されるべきである。例えば、上述した装置の実施例は単なる例示的なものであり、例えば、前記ユニットの分割は、単なる論理機能の分割であり、実際に実現される場合には、複数のユニット又はコンポーネントが結合してもよく、又は別のシステムに集積されてもよく、又はいくつかの特徴が無視されてもよく、実行されなくてもよいなど、別の分割方法があり得る。別の点では、表示又は議論されている相互間の結合又は直接結合又は通信接続は、いくつかのインタフェース、装置又はユニットを介した間接結合又は通信接続であってもよく、電気的、機械的、又は他の形態であってもよい。
【0210】
また、本願の各実施例における各機能ユニットは、1つの処理ユニットに集積されてもよいし、それぞれが個別の物理的存在であってもよいし、2つ又は2つ以上のユニットが1つのユニットに集積されてもよい。上記集積ユニットは、ハードウェアの形態で実現されてもよいし、ハードウェア及びソフトウェア機能ユニットの形態で実現されてもよい。
【0211】
上記ソフトウェア機能ユニットの形態で実現された集積ユニットは、1つのコンピュータ可読記憶媒体に記憶することができる。上記ソフトウェア機能ユニットは、1台のコンピュータ装置(パーソナルコンピュータ、サーバ、又はネットワーク装置などであってもよい)又はプロセッサ(Processor)が本願の各実施例に記載の方法の一部のステップを実行するためのいくつかの命令を含む記憶媒体に記憶される。一方、前述の記憶媒体は、Uディスク、リムーバブルハードディスク、リードオンリーメモリ(Read-Only Memory、ROM)、ランダムアクセスメモリ(Random Access Memory、RAM)、磁気ディスク又は光ディスクなど、プログラムコードを記憶できる様々な媒体を含む。
【0212】
上記は本願の好適な実施例に過ぎず、本願を制限するものではなく、本願の精神と原則の範囲内で行われるいかなる修正、等価置換、改良などは、本願の保護の範囲内に含まれるべきである。
【0213】
本願は、2020年6月29日に提出された、出願番号が202010611568.2で、名称が「トランジションタイプ決定方法及び装置、電子機器並びに記憶媒体」の中国特許出願の優先権を主張し、その全ての内容は、援用により本願に組み込まれる。
図1
図2
図3
図4
図5
図6
図7
図8
図9