特表 2024-521502 映像処理方法、映像処理装置、機器、記憶媒体及びコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-05-31

(54)【発明の名称】映像処理方法、映像処理装置、機器、記憶媒体及びコンピュータプログラム

(51)【国際特許分類】

   H04N 5/262 20060101AFI20240524BHJP

【ＦＩ】

H04N5/262 040

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023577720

(86)(22)【出願日】2022-09-08

(85)【翻訳文提出日】2023-12-15

(86)【国際出願番号】 CN2022117803

(87)【国際公開番号】W WO2023040743

(87)【国際公開日】2023-03-23

(31)【優先権主張番号】202111081785.6

(32)【優先日】2021-09-15

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

(71)【出願人】

【識別番号】521431088

【氏名又は名称】北京字跳▲網▼絡技▲術▼有限公司

【氏名又は名称原語表記】Ｂｅｉｊｉｎｇ Ｚｉｔｉａｏ Ｎｅｔｗｏｒｋ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ．

【住所又は居所原語表記】０２０７， ２／Ｆ， Ｂｕｉｌｄｉｎｇ ４， Ｚｉｊｉｎ Ｄｉｇｉｔａｌ Ｐａｒｋ， Ｈａｉｄｉａｎ Ｄｉｓｔｒｉｃｔ， Ｂｅｉｊｉｎｇ，Ｐ． Ｒ． Ｃｈｉｎａ

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】ワン，イーティエン

(72)【発明者】

【氏名】ホー，ウォヂョウ

(72)【発明者】

【氏名】チェン，ミンジェ

(72)【発明者】

【氏名】ユー，ペイファ

【テーマコード（参考）】

5C023

【Ｆターム（参考）】

5C023AA14

5C023AA18

5C023AA38

(57)【要約】

本開示は、映像処理方法、装置、機器及び記憶媒体を提供する。該方法、第１のスクリプト構造に従って、映像クリップの素材編集領域を表示することであって、素材編集領域は複数のサブ領域に分割され、１つのサブ領域は、第１のスクリプト構造内の１つのスクリプトノードに対応し、第１のスクリプト構造は、対象映像のコンテンツ段落構造を示し、１つの前記スクリプトノードは、対象映像の１つのコンテンツ段落を示すことと、複数のサブ領域の対象サブ領域において、タイムライントラックに従って、対象マルチメディア素材を表示することと、素材編集領域に表示されたマルチメディア素材に従って、対象映像を生成することととを含み、対象映像の対象コンテンツ段落に対象マルチメディア素材が充填される。このことから分かるように、本開示の実施例は、スクリプトノードに対応する複数のサブ領域を含む素材編集領域に基づいて、映像に対しるクリップを実現することができる。これにより、映像処理の方法を豊かにし、人々の映像クリップに対する多様なニーズを更に満たしている。
【選択図】図１

【特許請求の範囲】

【請求項1】

第１のスクリプト構造に従って、映像クリップの素材編集領域を表示することであって、前記素材編集領域は複数のサブ領域に分割され、１つの前記サブ領域は、前記第１のスクリプト構造内の１つのスクリプトノードに対応し、前記第１のスクリプト構造は、対象映像のコンテンツ段落構造を示すためのものであり、１つの前記スクリプトノードは、前記対象映像の１つのコンテンツ段落を示すためのものであることと、
前記複数のサブ領域内の対象サブ領域において、タイムライントラックに従って、対象マルチメディア素材を表示することであって、前記対象マルチメディア素材は、対象スクリプトノードに対して選択されたマルチメディア素材であり、前記対象スクリプトノードは、前記第１のスクリプト構造内の、前記対象サブ領域に対応するスクリプトノードであることと、
前記素材編集領域に表示されたマルチメディア素材に従って、前記対象映像を生成することであって、前記対象映像の対象コンテンツ段落に前記対象マルチメディア素材が充填され、前記対象コンテンツ段落と前記対象スクリプトノードとが対応することとを含む、ことを特徴とする、映像処理方法。

【請求項2】

前記素材編集領域内の前記複数のサブ領域は、インターフェースレイアウトが縦方向に整列して配置される、ことを特徴とする、請求項１に記載の方法。

【請求項3】

前記素材編集領域に表示されたマルチメディア素材に従って、前記対象映像を生成することの前に、
前記第１のスクリプト構造内の第１のスクリプトノードの対象テキストコンテンツに対する調整操作に応じて、前記素材編集領域において前記第１のスクリプトノードに対応するマルチメディア素材を決定し、前記マルチメディア素材内の、前記対象テキストコンテンツに対応するマルチメディアセグメントを決定することと、
前記調整操作に従って、前記マルチメディア素材内の前記マルチメディアセグメントに対してクリップを行うことと、をさらに含む、ことを特徴とする、請求項１に記載の方法。

【請求項4】

前記素材編集領域に表示されたマルチメディア素材に従って、前記対象映像を生成することの前に、
前記第１のスクリプト構造内の第２のスクリプトノードの対象テキスト位置にテキストコンテンツを付加する操作に応じて、前記素材編集領域において前記第２のスクリプトノードに対応するマルチメディア素材を決定し、前記マルチメディア素材内の、前記対象テキスト位置に対応するタイムライン位置を決定することと、
前記テキストコンテンツを付加する操作に従って、前記テキストコンテンツに対応するマルチメディアセグメントを前記マルチメディア素材内の前記タイムライン位置に付加することと、をさらに含む、ことを特徴とする、請求項１に記載の方法。

【請求項5】

前記素材編集領域に表示されたマルチメディア素材に従って、前記対象映像を生成することの前に、
前記素材編集領域内の前記マルチメディア素材の対象マルチメディアセグメントに対するクリップ操作に応じて、前記マルチメディア素材に対応するスクリプトノードを決定し、前記スクリプトノード内の、前記対象マルチメディアセグメントに対応するテキストコンテンツを決定することと、
前記クリップ操作に従って、前記スクリプトノード内の前記テキストコンテンツに対して調整を行うことと、をさらに含む、ことを特徴とする、請求項１に記載の方法。

【請求項6】

前記素材編集領域に表示されたマルチメディア素材に従って、前記対象映像を生成することの前に、
前記第１のスクリプト構造内の第２のスクリプトノードと、第３のスクリプトノードとの順位に対する調整操作に応じて、前記素材編集領域内において、前記第２のスクリプトノードと前記第３のスクリプトノードとのそれぞれに対応するサブ領域を決定することと、
前記順位に対する調整操作に従って、前記素材編集領域における、前記第２のスクリプトノードと前記第３のスクリプトノードとのそれぞれに対応するサブ領域内のマルチメディア素材に対して順位調整を行うことと、をさらに含む、ことを特徴とする、請求項１に記載の方法。

【請求項7】

前記対象マルチメディア素材は、候補マルチメディア素材を有し、
前記素材編集領域に表示されたマルチメディア素材に従って、前記対象映像を生成することの前に、
前記対象サブ領域内の前記対象マルチメディア素材及び前記候補マルチメディア素材に対する置き換え操作に応じて、前記対象サブ領域に表示された対象マルチメディア素材を前記候補マルチメディア素材に置き換えることをさらに含む、ことを特徴とする、請求項１に記載の方法。

【請求項8】

第１の表示モジュールと、第２の表示モジュールと、生成モジュールとを備え、
前記第１の表示モジュールは、第１のスクリプト構造に従って、映像クリップの素材編集領域を表示するためのものであり、前記素材編集領域は複数のサブ領域に分割され、１つの前記サブ領域は、前記第１のスクリプト構造内の１つのスクリプトノードに対応し、前記第１のスクリプト構造は、対象映像のコンテンツ段落構造を示すためのものであり、１つの前記スクリプトノードは、前記対象映像の１つのコンテンツ段落を示すためのであり、
前記第２の表示モジュールは、前記複数のサブ領域内の対象サブ領域において、タイムライントラックに従って、対象マルチメディア素材を表示するためのものであり、前記対象マルチメディア素材は、対象スクリプトノードに対して選択されたマルチメディア素材であり、前記対象スクリプトノードは、前記第１のスクリプト構造内の、前記対象サブ領域に対応するスクリプトノードであり、
前記生成モジュールは、前記素材編集領域に表示されたマルチメディア素材に従って、前記対象映像を生成するためのものであり、前記対象映像の対象コンテンツ段落に前記対象マルチメディア素材が充填され、前記対象コンテンツ段落と前記対象スクリプトノードとが対応する、映像処理装置。

【請求項9】

端末装置において実行される場合、前記端末装置に請求項１～７のいずれか１項に記載の方法を実現させる命令が記憶されているコンピュータ可読記憶媒体。

【請求項10】

メモリと、プロセッサと、前記メモリに記憶され、前記プロセッサで実行可能なコンピュータプログラムと、を備え、
前記プロセッサは、前記コンピュータプログラムを実行することにより、請求項１～７のいずれか１項に記載の方法を実現させる、機器。

【請求項11】

プロセッサによって実行される場合、請求項１～７のいずれか１項に記載の方法を実現させるコンピュータプログラム／命令を含む、コンピュータプログラム製品。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、コンピュータ技術の分野に関し、特に、映像処理方法、装置、機器及び記憶媒体に関する。

【背景技術】

【0002】

コンピュータ技術の発展に伴い、映像は仕事や生活において幅広く応用され、映像クリップに対するニーズも多様化している。

【0003】

従って、映像クリップに対する様々な需要をいかに満たすかは、早急に解決すべき技術的課題である。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本開示の実施例は、上記の技術的課題を解決するために、或いは上記の技術的課題の少なくとも一部を解決するために、映像処理方法、装置、機器及び記憶媒体を提供する。

【課題を解決するための手段】

【0005】

第１の態様において、本開示は映像処理方法を提供する。前記方法は、
第１のスクリプト構造に従って、映像クリップの素材編集領域を表示することであって、前記素材編集領域は複数のサブ領域に分割され、１つの前記サブ領域は、前記第１のスクリプト構造内の１つのスクリプトノードに対応し、前記第１のスクリプト構造は、対象映像のコンテンツ段落構造を示すためのものであり、１つの前記スクリプトノードは、前記対象映像の１つのコンテンツ段落を示すためのものであることと、
前記複数のサブ領域の対象サブ領域において、タイムライントラックに従って、対象マルチメディア素材を表示することであって、前記対象マルチメディア素材は、対象スクリプトノードに対して選択されたマルチメディア素材であり、前記対象スクリプトノードは、前記第１のスクリプト構造内の、前記対象サブ領域に対応するスクリプトノードであることと、
前記素材編集領域に表示された前記マルチメディア素材に従って、前記対象映像を生成することであって、前記対象映像の対象コンテンツ段落に前記対象マルチメディア素材が充填され、前記対象コンテンツ段落と前記対象スクリプトノードとが対応することとを含む。

【0006】

代替の実施形態において、前記素材編集領域内の前記複数のサブ領域は、インターフェースレイアウトが縦方向に整列して配置される。

【0007】

代替の実施形態において、前記素材編集領域に表示された前記マルチメディア素材に従って、前記対象映像を生成することの前に、
前記第１のスクリプト構造内の第１のスクリプトノードの対象テキストコンテンツに対する調整操作に応じて、前記素材編集領域において前記第１のスクリプトノードに対応するマルチメディア素材を決定し、前記マルチメディア素材内の、前記対象テキストコンテンツに対応するマルチメディアセグメントを決定することと、
前記調整操作に従って、前記マルチメディア素材内の前記マルチメディアセグメントに対してクリップを行うこととをさらに含む。

【0008】

代替の実施形態において、前記素材編集領域に表示された前記マルチメディア素材に従って、前記対象映像を生成することの前に、
前記第１のスクリプト構造内の第２のスクリプトノードの対象テキスト位置にテキストコンテンツを付加する操作に応じて、前記素材編集領域において前記第２のスクリプトノードに対応するマルチメディア素材を決定し、前記マルチメディア素材内の、前記対象テキストコンテンツに対応するタイムライン位置を決定することと、
前記テキストコンテンツを付加する操作に従って、前記マルチメディア素材内の前記タイムライン位置に前記テキストコンテンツに対応するマルチメディアセグメントを付加することとをさらに含む。

【0009】

代替の実施形態において、前記素材編集領域に表示された前記マルチメディア素材に従って、前記対象映像を生成することの前に、
前記素材編集領域内の前記マルチメディア素材の対象マルチメディアセグメントに対するクリップ操作に応じて、前記マルチメディア素材に対応するスクリプトノードを決定し、前記スクリプトノード内の、前記対象マルチメディアセグメントに対応するテキストコンテンツを決定することと、
前記クリップ操作に従って、前記スクリプトノード内の前記テキストコンテンツに対して調整を行うことと、をさらに含む。

【0010】

代替の実施形態において、前記素材編集領域に表示された前記マルチメディア素材に従って、前記対象映像を生成することの前に、
前記第１のスクリプト構造における第２のスクリプトノードと、第３のスクリプトノードとの順位に対する調整操作に応じて、前記素材編集領域内において、前記第２のスクリプトノードと前記第３のスクリプトノードのそれぞれに対応するサブ領域を決定することと、
前記順位に対する調整操作に従って、前記素材編集領域における、前記第２のスクリプトノードと前記第３のスクリプトノードのそれぞれに対応するサブ領域内のマルチメディア素材に対して順位調整を行うこととをさらに含む。

【0011】

代替の実施形態において、前記対象マルチメディア素材は、候補マルチメディア素材を有し、前記素材編集領域に表示された前記マルチメディア素材に従って、前記対象映像を生成することの前に、
前記対象サブ領域内の前記対象マルチメディア素材及び前記候補マルチメディア素材に対する置き換え操作に応じて、前記対象サブ領域に表示された対象マルチメディア素材を前記候補マルチメディア素材に置き換えることをさらに含む。

【0012】

第２の態様において、本開示は、映像処理装置を更に提供し、前記装置は、第１の表示モジュールと、第２の表示モジュールと、生成モジュールと、を備える。

【0013】

第１の表示モジュールは、第１のスクリプト構造に従って、映像クリップの素材編集領域を表示するためのであり、前記素材編集領域は複数のサブ領域に分割され、１つの前記サブ領域は、前記第１のスクリプト構造内の１つのスクリプトノードに対応し、前記第１のスクリプト構造は、対象映像のコンテンツ段落構造を示すためのものであり、１つの前記スクリプトノードは、前記対象映像の１つのコンテンツ段落を示すためのものである。
第２の表示モジュールは、前記複数のサブ領域内の対象サブ領域において、タイムライントラック毎に対象マルチメディア素材を表示するためのであり、前記対象マルチメディア素材は、対象スクリプトノードに対して選択されたマルチメディア素材であり、前記対象スクリプトノードは、前記第１のスクリプト構造における前記対象サブ領域に対応するスクリプトノードである。
生成モジュールは、前記素材編集領域に表示されたマルチメディア素材に従って、前記対象映像を生成するためのである、前記対象映像の対象コンテンツ段落に前記対象マルチメディア素材を充填し、前記対象コンテンツ段落は前記対象スクリプトノードに対応する。

【0014】

第３の態様において、本開示は、コンピュータ可読記憶媒体を提供する。前記コンピュータ可読記憶媒体に命令が記憶され、前記命令が端末装置上で実行されると、前記端末装置に上記の方法を実現させる。

【0015】

第４の態様において、本開示が提供する機器は、メモリと、プロセッサと、前記メモリ上に記憶され、前記プロセッサ上で実行可能なコンピュータプログラムと、を備え、前記プロセッサは、前記コンピュータプログラムを実行するにより、上記の方法を実現させる。

【0016】

第５の態様において、本開示は、コンピュータプログラム製品を提供する。前記コンピュータプログラム製品は、コンピュータプログラム／命令を含み、前記コンピュータプログラム／命令は、プロセッサによって実行されるによって上述の方法を実現させる。

【0017】

本開示の実施例に係る技術案は、従来技術に対して少なくとも以下の利点を有する。

【0018】

本開示の実施例に係る映像処理方法は、第１のスクリプト構造に従って映像クリップの素材編集領域を表示することで、素材編集領域内のサブ領域を第１のスクリプト構造におけるスクリプトノードに対応させる。また、素材編集領域の対象サブ領域において、タイムライントラックに従って、該対象サブ領域に対応する対象スクリプトノードに対して選択されたマルチメディア素材を表示して、更に、素材編集領域に表示されたマルチメディア素材に従って、対象映像を生成する。本開示の実施例は、スクリプトノードに対応する複数のサブ領域を含む素材編集領域に基づいて映像に対するクリップを実現することができる。これにより、映像処理の方法を豊かにし、人々の映像クリップに対する多様なニーズを更に満たしている。

【図面の簡単な説明】

【0019】

ここの図は、本明細書の一部として、本明細書に組み込まれ、本開示と一致する実施例を示しており、本明細書と併せて本開示の原理を説明するためのものである。

【0020】

以下、本開示の実施例又は先行技術における技術案をより明確に説明するために、実施例又は先行技術の説明に必要な図について簡単に説明する。当業者であれば、創造的労働を費やすことなく、これらの図に基づいて他の図を得ることができることは明らかであろう。

【0021】

【図1】本開示の実施例に係る映像処理方法を示すフローチャートである。

【図2】本開示の実施例に係るスクリプトノード、コンテンツ段落、及びサブ領域の関係を示す概略図である。

【図3a】本開示の実施例に係る素材編集領域の整列方法を示す概略図である。

【図3b】本開示の実施例に係る素材編集領域の別の整列方法を示す概略図である。

【図4a】本開示の実施例に係る素材編集領域及び第１のスクリプト構造を示す概略図である。

【図4b】本開示の実施例に係る別の素材編集領域及び第１のスクリプト構造を示す概略図である。

【図4c】本開示の実施例に係る更に別の素材編集領域及び第１のスクリプト構造を示す概略図である。

【図5】本開示の実施例に係る対象スクリプトノード、対象サブ領域、対象コンテンツ段落、及び対象マルチメディア素材の関係を示す概略図である。

【図6a】本開示の実施例に係る対象マルチメディア素材の表示を示す概略図である。

【図6b】本開示の実施例に係る別の対象マルチメディア素材の表示を示す概略図である。

【図7】本開示の実施例に係る対象映像の生成を示す概略図である。

【図8】本開示の実施例に係る対象マルチメディア素材と候補マルチメディア素材との置き換えを示す概略図である。

【図9】本開示の実施例に係る映像処理装置の構造を示す概略図である。

【図10】本開示の実施例に係る映像処理機器の構造を示す概略図である。

【発明を実施するための形態】

【0022】

以下、本開示の上記の目的、特徴及び利点をより明確に理解するために、本開示の技術案について更に説明する。なお、矛盾しない場合、本開示の実施例及び実施例における特徴は、互いに組み合わせることができる。

【0023】

以下の説明では、本開示を完全に理解するために、多くの詳細が記載されているが、本開示は、ここに記載された方法と異なる方法を用いて実施されてもよい。明細書における実施例は、一部に過ぎず、全ての実施例ではないことが明らかである。

【0024】

ユーザの映像クリップに対する多様なニーズを満たし、映像処理の方法を充実させるために、本開示の実施例に係る映像処理方法は、まず、第１のスクリプト構造に従って、映像クリップの素材編集領域を表示する。ここで、素材編集領域は複数のサブ領域に分割され、１つのサブ領域は、第１のスクリプト構造における１つのスクリプトノードに対応し、第１のスクリプト構造は、対象映像のコンテンツ段落構造を示すためのものであり、１つのスクリプトノードは、対象映像の１つのコンテンツ段落を示すためのものである。次に、複数のサブ領域の対象サブ領域において、タイムライントラックに従って、対象マルチメディア素材を表示する。ここで、前記対象マルチメディア素材は、対象スクリプトノードに対して選択されたマルチメディア素材であり、前記対象スクリプトノードは、前記第１のスクリプト構造内の、前記対象サブ領域に対応するスクリプトノードである。更に、素材編集領域に表示された前記マルチメディア素材に従って、前記対象映像を生成する。ここで、対象映像の対象コンテンツ段落に対象マルチメディア素材が充填され、前記対象コンテンツ段落と前記対象スクリプトノードとが対応する。

【0025】

上記のことから分かるように、本開示の実施例は、第１のスクリプト構造に従って、映像クリップの素材編集領域を表示することで、素材編集領域内のサブ領域を第１のスクリプト構造におけるスクリプトノードに対応させる。また、素材編集領域の対象サブ領域において、タイムライントラックに従って、該対象サブ領域に対応する対象スクリプトノードに対して選択されたマルチメディア素材を表示して、更に、素材編集領域に表示されたマルチメディア素材に従って、対象映像を生成する。本開示の実施例は、スクリプトノードに対応する複数のサブ領域を含む素材編集領域に基づいて、映像に対するクリップを実現することができる。これにより、映像処理の方法を豊かにし、人々の映像クリップに対する多様なニーズを更に満たしている。

【0026】

これに基づき、本開示の実施例は、映像処理方法を提供する。図１は、本開示の実施例に係る映像処理方法を示すフローチャートである。図１を参照し、該方法は、映像処理装置により実行され得る。ここで、該装置は、ソフトウェア及び／又はハードウェアで実現することができ、一般的に電子機器に組み込むことができる。

【0027】

図１に示すように、該方法は次のステップが含まれる。

【0028】

ステップ１０１、第１のスクリプト構造に従って、映像クリップの素材編集領域を表示する。ここで、素材編集領域は複数のサブ領域に分割され、１つのサブ領域は、第１のスクリプト構造における１つのスクリプトノードに対応し、第１のスクリプト構造は、対象映像のコンテンツ段落構造を示すためのものであり、１つのスクリプトノードは、対象映像の１つのコンテンツ段落を示すためのものである。

【0029】

スクリプトとは、映画やテレビの制作プロセスにおける原稿であり、撮影者に対応する映画やテレビの作品の撮影及び制作を指導するために、通常、スクリプトに複数のセグメントの説明が含まれている。例えば、スクリプトには、第１のショットの撮影を指示するためのａ画面に関する説明コンテンツ、及び第２のショットの撮影を指示するためのｂ画面に関する説明コンテンツ等が含まれる。映画やテレビを制作する際、撮影者は、ａ画面の説明コンテンツに従って撮影してＡ映像セグメントが含まれる第１のショットを獲得し、ｂ画面の説明コンテンツに従って撮影してＢ映像セグメントが含まれる第２のショットを獲得して、第１のショットの後に第２のショットをつなぎ合わせて、スクリプトに対応する映画やテレビ作品を得ることができる。

【0030】

本実施例において、第１のスクリプト構造は、説明したコンテンツ段落構造など、上記のようなスクリプトの構造であってもよい。なお、上記の例では、スクリプトに含まれた第１のショット及び第２のショットのそれぞれに対応する説明コンテンツは、第１のスクリプト構造内のスクリプトノードに対応している。例えば、第１のショットの説明コンテンツが第１のスクリプト構造内の第１のスクリプトノードに対応し、第２のショットの説明コンテンツが第１のスクリプト構造内の第２のスクリプトノードに対応する。

【0031】

本実施例において、第１のスクリプト構造を決定すると、第１のスクリプト構造に従って、映像クリップの素材編集領域を表示する。また、該素材編集領域に、クリップするマルチメディア素材を表示してもよい。具体的に、第１のスクリプト構造におけるスクリプトノードに従って、該素材編集領域を、それぞれ各スクリプトノードに対応するサブ領域に分割する。ここで、各サブ領域は、第１のスクリプト構造内の１つのスクリプトノードに対応する。

【0032】

本開示の実施例に係るサブ領域とスクリプトノードとの関係等をより直観的に理解するために、図２に示すコンテンツを参照して説明する。図２における第１のスクリプト構造はＱ個のスクリプトノードを含み、ここで、Ｑは正の整数である。Ｑ個のスクリプトノードを含む第１のスクリプト構造に基づいて、素材編集領域はＱ個のサブ領域に分割することができ、各スクリプトノードは素材編集領域内の１つのサブ領域に対応する。

【0033】

なお、該素材編集領域における複数のサブ領域のインターフェースレイアウトは、必要に応じて選択可能であり、本実施例はこれに限定されない。例えば、図３ａに示すように、縦方向に整列し、即ち、各行が縦方向に揃うように並べられる。図３ａでは、各サブ領域は左揃えである。或いは、各サブ領域は右揃えであってもよい。また、図３ｂに示すように、水平に整列し、即ち、各列が水平に揃うように並べられる。図３ｂでは、各サブ領域は上揃えである。或いは、各サブ領域は下揃えであってもよい。

【0034】

なお、代替の実施形態において、第１のスクリプト構造内のスクリプトノードは、スクリプト内のスクリプト注釈及び／又はスクリプト段落を含んでもよい。即ち、スクリプトノードは、スクリプト内のスクリプト注釈及び／又はスクリプト段落と対応付けられている。ここで、スクリプト注釈は、スクリプトノードに対応するマルチメディア素材コンテンツを概略的に示すものであり、スクリプト段落には、スクリプトノードに対応する詳細なテキストコンテンツが含まれる。代替の実施形態において、スクリプト段落に含まれる詳細なテキストコンテンツは、映像に対して音声認識を行って得られる文字情報であってもよい。

【0035】

具体的に、第１のスクリプト構造に従って映像クリップの素材編集領域の例として、以下の通りに示す。

【0036】

例１：第１のスクリプト構造内のスクリプトノードにスクリプト注釈が含まれる。図４ａに示すように、第１のスクリプト構造は第１のスクリプト注釈と第２のスクリプト注釈を含むとする。ここで、第１のスクリプト注釈が「／／前置き」であり、第１のスクリプト注釈が「／／環境紹介」である。該第１のスクリプト構造に従って表示される素材編集領域では、素材編集領域の第１のサブ領域が「／／前置き」と水平方向に対応し、素材編集領域の第２のサブ領域が「／／環境紹介」と水平方向に対応する。

【0037】

例２：第１のスクリプト構造内のスクリプトノードにスクリプト段落が含まれる。図４ｂに示すように、第１のスクリプト構造に、第１のスクリプト段落と第２のスクリプト段落とが含まれるとする。ここで、第１のスクリプト段落は音声認識によって得られた前置きの文字であり、第２のスクリプト段落は音声認識によって得られた環境紹介の文字である。該第１のスクリプト構造に従って表示される素材編集領域では、素材編集領域の第１のサブ領域が前置きの文字スクリプト段落と水平方向に対応し、素材編集領域の第２のサブ領域が環境紹介の文字スクリプト段落と水平方向に対応する。

【0038】

例３：第１のスクリプト構造内のスクリプトノードに、スクリプト注釈とスクリプト段落とが含まれる。図４ｃに示すように、第１のスクリプト構造に、第１のスクリプトノードと第２のスクリプトノードが含まれるとする。ここで、第１のスクリプトノードに、第１のスクリプト注釈と第１のスクリプト段落とが含まれ、第１のスクリプト注釈が「／／前置き」であり、第１のスクリプト段落が音声認識によって得られた前置きの文字である。第２のスクリプトノードに、第２のスクリプト注釈と第２のスクリプト段落とが含まれ、第２のスクリプト注釈が「／／環境紹介」であり、第２のスクリプト段落が音声認識によって得られた環境紹介の文字である。該第１のスクリプト構造に従って表示される素材編集領域内の第１のサブ領域は、第１のスクリプト構造内の前置き文字スクリプト段落及び第１のスクリプト注釈の両方と水平方向に対応し、素材編集領域内の第２のサブ領域は、第１のスクリプト構造内の環境紹介の文字スクリプト段落及び第２のスクリプト注釈の両方と水平方向に対応する。

【0039】

第１のスクリプト構造に従って素材編集領域を表示した後、次のステップ１０２に進む。

【0040】

ステップ１０２、複数のサブ領域内の対象サブ領域において、タイムライントラック毎に対象マルチメディア素材を表示する。

【0041】

ここで、対象マルチメディア素材は、対象スクリプトノードに対して選択されたマルチメディア素材であり、対象スクリプトノードは、第１のスクリプト構造内の対象サブ領域に対応するスクリプトノードである。

【0042】

本実施例において、対象サブ領域は、素材編集領域内の複数のサブ領域の内のいずれか１つであってもよい。第１のスクリプト構造内に、該対象サブ領域に対応する対象スクリプトノードがあり、該対象サブ領域は、該対象スクリプトノードに基づいて、対応するマルチメディア素材を選択することができる。

【0043】

代替の実施形態において、ユーザによってインポートされた対象マルチメディア素材を取得した後、該対象マルチメディア素材に対して音声認識を行い、音声認識結果を第１のスクリプト構造内の各スクリプトノードとテキストの照合を行って、該対象マルチメディア素材に対応する対象スクリプトノードを決定する。そして、該対象スクリプトノードに対応する対象サブ領域に、タイムライントラックに従って、該対象マルチメディア素材を表示する。本開示の実施例に係る対象マルチメディア素材は、撮影によって得られた映像全体であってもよく、撮影によって得られた映像全体の内の１セグメントであってもよい。本実施例はこれに限定されない。

【0044】

より理解しやすくするため、図５を参照して、対象スクリプトノードに基づいて対象マルチメディア素材を選択し、該対象ノードは更に対象サブ領域に対応するため、該対象サブ領域に表示される対象マルチメディア素材を決定することができる。

【0045】

代替の実施形態において、図６ａに示すように、素材編集領域の第１のサブ領域が対象サブ領域であるとする場合、まず、第１のスクリプト構造内の第１のサブ領域に対応する対象スクリプトノードを「／／前置き」と決定する。そして、対象スクリプトノードに基づいてマルチメディア素材を対象マルチメディア素材として選択し、対象マルチメディア素材を第１のサブ領域に表示する。

【0046】

ここで、対象スクリプトノードに基づいてマルチメディア素材を選択する方法として、選択されるマルチメディア素材に対して画像認識及び／又は音声認識を行って、「／／前置き」のスクリプトノードと一致度が最も高いマルチメディア素材を、対象マルチメディア素材として決定し、第１のサブ領域に対象マルチメディア素材を表示してもよい。

【0047】

別の代替の実施形態において、図６ｂに示すように、素材編集領域内の第１のサブ領域が対象サブ領域であり、マルチメディア素材に前置き映像素材が含まれるとする場合、前置き素材に対して音声認識を行って、対応する前置き文字を取得する。該前置き文字を第１のスクリプト構造内の対象スクリプトノードとし、該前置き文字に基づいてマルチメディア素材の中で一致度が最も高い対象マルチメディア素材を選択する。例えば、前置き映像素材を対象マルチメディア素材として選択して、第１のサブ領域において、タイムライントラックに従って前置き映像素材を表示する。

【0048】

ステップ１０３、素材編集領域に表示されたマルチメディア素材に従って、対象映像を生成する。

【0049】

ここで、対象映像の対象コンテンツ段落に対象マルチメディア素材が充填され、対象コンテンツ段落は対象スクリプトノードに対応する、

【0050】

本実施例では、各サブ領域にマルチメディア素材が表示された後、素材編集領域に表示されたマルチメディア素材に従って対象映像を生成することができる。

【0051】

より理解しやすくするために、図５を参照して、対象映像は、Ｑ節のコンテンツ段落を含み、ここで、Ｑは正の整数である。各コンテンツ段落は、第１のスクリプト構造内の１つのスクリプトノードと対応付けられており、各コンテンツ段落には、該コンテンツ段落に対応するスクリプトノードに対して選択されたマルチメディア素材が充填される。該マルチメディア素材は、映像、音声のいずれか１つ又は複数を含むが、これらに限定されない。

【0052】

本実施例において、第１のスクリプト構造は、該対象映像のコンテンツ段落構造を示すために用いられる。具体的に、第１のスクリプト構造内の１つのスクリプトノードは、対象映像の１つのコンテンツ段落を示すために用いられる。即ち、スクリプトノードに対応するコンテンツ段落は、スクリプトノードの要件を満たしているため、第１のスクリプト構造内のスクリプトノードに基づいてコンテンツ段落に対して調整を行って、第１のスクリプト構造に準拠した対象映像を生成することができる。

【0053】

引き続き図５を参照して、第１のスクリプト構造に、Ｑ個のスクリプトノードが含まれ、ここで、Ｑは正の整数である。また、各スクリプトノードに対し、対応するコンテンツ段落が存在する。対象スクリプトノードから、対象サブ領域、対象コンテンツ段落、及び対象マルチメディア素材の三者間の対応関係を決定することができる。これにより、各コンテンツ段落に対して、対応する対象マルチメディア素材を充填し、各コンテンツ段落を第１のスクリプト構造に従ってつなぎ合わせると、対応する対象映像を得ることができる。

【0054】

代替の実施形態において、図７に示すように、素材編集領域の第１のサブ領域に、ｎフレームを含む前置き映像素材が表示され、素材編集領域の第２のサブ領域に、ｍフレームを含む環境紹介の映像素材が表示されている。ここで、ｎとｍは正の整数である。第１のスクリプト構造に基づいて、第１のサブ領域が対象映像の第１のコンテンツ段落に対応し、第２のサブ領域が対象映像の第２のコンテンツ段落に対応していることを決定すると、ｎフレームの前置きの映像素材を第１のコンテンツ段落に充填し、ｍフレームの環境紹介の映像素材を第２のコンテンツ段落に充填して、対象映像を生成する。

【0055】

上述したように、本開示の実施例に係る映像処理方法は、第１のスクリプト構造に従って映像クリップの素材編集領域を表示することにより、素材編集領域内のサブ領域を第１のスクリプト構造内のスクリプトノードに対応させる。また、素材編集領域の対象サブ領域において、タイムライントラックに従って、該対象サブ領域に対応する対象スクリプトノードに対して選択されたマルチメディア素材を表示して、素材編集領域に表示されたマルチメディア素材に従って、対象映像を生成する。本開示の実施例は、スクリプトノードに対応する複数のサブ領域を含む素材編集領域に基づいて、映像のクリップを実現している。これにより、映像処理の方法が豊富になり、人々の多様なニーズに合った映像クリップを提供することができる。

【0056】

通常、１つの映像作品は複数の子映像をクリップして生成される。クリップにおいて、子映像に対応するタイムラインに従って子映像をクリップし、全体の映像に対応するタイムラインに従って子映像をつなぎ合わせる必要がある。しかし、このようなタイムラインに基づくクリップ方法は、言語コンテンツに関するクリップ処理を行う際、子映像のタイムライン上の各画面フレームのコンテンツを繰り返して比較する必要がある。そのため、該技術案は、映像に対する手早く、簡単なクリップ操作を実現することができない。そこで、上記の実施例に基づいて、映像に対する手早く、簡単なクリップ操作を実現できる。具体的に、前記素材編集領域に表示された前記マルチメディア素材に従って、対象映像を生成する前に、必要に応じて以下の操作ステップを付加してもよい。以下、その例について説明する。

【0057】

代替の実施形態において、マルチメディア素材内に言い間違い等の状況により、マルチメディア素材内の対応するセグメントをクリップする場合、上記の実施例のステップ１０３の前に以下のステップを付加する必要がある。

【0058】

まず、第１のスクリプト構造内の第１のスクリプトノードの対象テキストコンテンツに対する調整操作に応じて、素材編集領域において第１のスクリプトノードに対応するマルチメディア素材を決定し、マルチメディア素材内の、対象テキストコンテンツに対応するマルチメディアセグメントを決定する。

【0059】

この例では、第１のスクリプト構造内の第１のスクリプトノードに対し、対応するマルチメディア素材が存在し、該第１のスクリプトノードは、マルチメディア素材に対応するテキストコンテンツである。該テキストコンテンツの取得方法として、文字情報、手動で設定された字幕等を音声認識技術によって認識して取得することが挙げられる。ユーザは、必要に応じて、第１のスクリプトノード内の対象テキストコンテンツに対して調整を行うことができる。該調整に応じて、素材編集領域において、該第１のスクリプトノードに対応するマルチメディア素材を決定する。また、調整が必要なコンテンツを決定するためには、該マルチメディア素材内の、対象テキストコンテンツに対応するマルチメディアセグメントを更に決定する必要がある。

【0060】

更に、該調整操作に従って、マルチメディア素材内のマルチメディアセグメントに対しクリップを行う。ここで、該クリップは、削除、シフトなどを含むが、これらに限定されない。

【0061】

例えば、対象テキストコンテンツが「早上中午好」（おはこんにちは）であり、マルチメディア素材が挨拶映像であるとする場合、対象テキストコンテンツとマルチメディア素材との対応関係として、「早」が挨拶映像の第１フレームに対応し、「上」が挨拶映像の第２フレームに対応し、「中」が挨拶映像の第３フレームに対応し、「午」が挨拶映像の第４フレームに対応し、「好」が挨拶映像の第５フレームに対応する。この例では、「早上」は言い間違いであり、対象映像に対応するセグメントを削除する必要がある。そこで、対象テキストコンテンツに対して、「早上中午好」における「早上」を削除する操作を行うと、対応する挨拶映像における第１フレーム及び第２フレームも削除される。

【0062】

別の例では、対象テキストコンテンツは、タイムスタンプによってマルチメディア素材と対応付けられてもよい。タイムスタンプは、テキストコンテンツをマルチメディア素材のタイムラインと関連付けることができる。具体的に、テキストコンテンツが「早上中午好」であり、対象テキストコンテンツが「早上」であり、マルチメディア素材が挨拶映像であるとする場合、テキストコンテンツとマルチメディア素材との対応関係として、「早」がマルチメディア素材の０秒～１．５秒目に対応し、「中午」がマルチメディア素材の１．５秒～３秒目に対応し、「好」がマルチメディア素材の３秒～４秒目に対応する。対象テキストコンテンツに対して、「早上中午好」における「早上」を削除する操作を行うと、対応する挨拶映像における０秒～１．５秒目も削除される。

【0063】

本実施形態において、第１のスクリプト構造に対して操作を行うことにより、処理される対象のテキストをマルチメディア素材のタイムラインにおいて手作業で配置するという面倒な操作を回避し、映像処理の効率と精度を向上させている。

【0064】

別の代替の実施形態において、対象映像にマルチメディアセグメントを付加する必要がある場合、上記の実施例のステップ１０３の前に以下のステップを付加する必要がある。

【0065】

まず、第１のスクリプト構造内の第２のスクリプトノードの対象テキスト位置にテキストコンテンツを付加する操作に応じて、素材編集領域において第２のスクリプトノードに対応するマルチメディア素材を決定し、マルチメディア素材内の、対象テキストコンテンツに対応するタイムライン位置を決定する。

【0066】

この例では、第１のスクリプト構造の第２のスクリプトノードに対し、対応するマルチメディア素材が存在し、該第２のスクリプトノードは、マルチメディア素材に対応するテキストコンテンツである。該テキストコンテンツの取得方法として、文字情報、手動で設定された字幕等を音声認識技術によって認識して取得することが挙げられる。ユーザは、必要に応じて、第２のスクリプトノードの対象テキスト位置にテキストコンテンツを付加することができる。該調整に応じて、素材編集領域において、該第２のスクリプトノードに対応するマルチメディア素材を決定する。また、付加されるマルチメディアセグメントの位置を決定するためには、該マルチメディア素材内の、対象テキストコンテンツに対応するタイムライン位置を更に決定する必要がある。

【0067】

更に、テキストコンテンツを付加する操作に従って、マルチメディア素材内のタイムライン位置に、テキストコンテンツに対応するマルチメディアセグメントを付加する。

【0068】

代替の実施形態において、タイムライン位置前のマルチメディア素材を前部マルチメディア素材として決定し、タイムライン位置後のマルチメディア素材を後部マルチメディア素材として決定してもよい。これにより、該付加操作は、前部マルチメディア素材の後にマルチメディアセグメントを繋ぎ、マルチメディアセグメントの後に後部マルチメディア素材を繋ぐことができる。第１のスクリプト構造に対して操作を行うことにより、付加されるテキストをマルチメディア素材のタイムラインにおいて手作業で配置するという面倒な操作を回避し、映像処理の効率と精度を向上させている。

【0069】

例えば、第２のスクリプトノードが「大家好」であり、マルチメディア素材が挨拶映像であるとする場合、対象テキストコンテンツとマルチメディア素材との対応関係として、「大」が挨拶映像の第１フレームに対応し、「家」が挨拶映像の第２フレームに対応し、「好」が挨拶映像の第３フレームに対応する。この例では、「家」と「好」の間に「中午」を付加する必要がある。そこで、第２のスクリプトノードに「中午」を付加する操作に応じて、「中午」に対応する映像セグメントを、「中午」映像の第１フレーム及び「中午」映像の第２フレームを含むように取得する。そこで、挨拶映像の第２フレームの後に、「中午」映像の第１フレーム及び第２フレームを繋ぎ、「中午」映像の第２フレームの後に挨拶映像の第３フレームを繋ぐ。

【0070】

別の代替の実施形態において、マルチメディア素材に対してクリップ操作を行うと、該マルチメディア素材に対応するスクリプトノードも変化する。このような応用セグメントの場合、上記の実施例のステップ１０３の前に以下のステップを付加する必要がある。

【0071】

まず、素材編集領域内のマルチメディア素材の対象マルチメディアセグメントに対するクリップ操作に応じて、マルチメディア素材に対応するスクリプトノードを決定し、スクリプトノード内の、対象マルチメディアセグメントに対応するテキストコンテンツを決定する。更に、クリップ操作に従って、スクリプトノード内のテキストコンテンツに対して調整を行う。

【0072】

この例では、ユーザが、素材編集領域において、マルチメディア素材内の対象マルチメディアセグメントに対してクリップ操作を行う場合、該操作に応じて、第１のスクリプト構造に対して対応する操作を行う必要があるため、該マルチメディア素材に対応するスクリプトノードを決定し、スクリプトノード内の、対象マルチメディア素材に対応するテキストコンテンツを決定する必要がある。そして、マルチメディア素材のクリップ操作に基づいて、スクリプトノード内のテキストコンテンツに対して適宜に調整を行う。

【0073】

例えば、マルチメディア素材が挨拶映像であるとする場合、スクリプトノードのテキストコンテンツと挨拶映像との対応関係として、「早」は挨拶映像の第１フレームに対応し、「上」は挨拶映像の第２フレームに対応し、「中」は挨拶映像の第３フレームに対応し、「午」は挨拶映像の第４フレームに対応し、「好」は挨拶映像の第５フレームに対応する。この例では、挨拶映像の第３フレームと第４フレームを削除する。挨拶映像の第３フレームと第４フレームを削除する操作に従って、スクリプトノードのるテキストコンテンツにおける「中」と「午」とが削除され、処理後のスクリプトノードは「早上好」となる。これにより、マルチメディア素材と、対応するスクリプトノードとの変化が統一され、マルチメディア素材とスクリプトノードとの一致性が保たれる。

【0074】

別の代替の実施形態において、第１のスクリプト構造に基づいてマルチメディア素材の順位を調整することができる。そこで、上記の実施例のステップ１０３の前に以下のステップを付加する必要がある。

【0075】

まず、第１のスクリプト構造内の第２のスクリプトノードと、第３のスクリプトノードとの順位に対する調整操作に応じて、素材編集領域内において、第２のスクリプトノードと第３のスクリプトノードのそれぞれに対応するサブ領域を決定する。更に、前記順位に対する調整操作に従って、前記素材編集領域における、前記第２のスクリプトノードと前記第３のスクリプトノードのそれぞれに対応するサブ領域内のマルチメディア素材に対して順位調整を行う。

【0076】

ユーザがマルチメディア素材に対して順位調整を行う必要がある場合、第１のスクリプト構造内の第２のスクリプトノード及び第３のスクリプトノードに対して調整を行うことができ、第２のスクリプトノードに対応する第２のサブ領域及び第３のスクリプトノードに対応する第３のサブ領域が存在する。該調整に応じて、素材編集領域において第２のサブ領域及び第３のサブ領域を決定し、ユーザのスクリプト構造に対する調整に応じて、第２のサブ領域及び第３のサブ領域に対して調整を行う。この例では、第１のスクリプト構造を調整することにより、マルチメディア素材の順位が調整され、映像処理の効率を向上させることができると共に、マルチメディア素材のコンテンツを決定するためにマルチメディア素材を見る手間を省くことができ、映像処理をより直観的に行うことができる。

【0077】

例えば、この例では、第１のスクリプト構造内の第２のスクリプトノードが「／／前置き」であり、第３のスクリプトノードが「／／環境紹介映像」であり、且つ「／／前置き」が「／／環境紹介映像」の後に位置し、対応する素材編集領域において、前置き素材が環境紹介素材の後に位置する。ユーザが前置き映像を環境紹介映像の前に移動する必要がある場合、第１のスクリプト構造における「／／前置き」を「／／環境紹介映像」の前に移動できる。ユーザの該操作に応じて、素材編集領域における前置き素材が環境紹介素材の前に移動される。

【0078】

別の代替の実施形態において、撮影時に、より優れた品質の対象映像を得るために、対象マルチメディア素材の候補として、同様な映像を複数撮影して、候補マルチメディア素材から最も良いものを選択する場合がある。そこで、上記の実施例のステップ１０３の前に以下のステップを付加する必要がある。

【0079】

前記対象サブ領域内の前記対象マルチメディア素材及び前記候補マルチメディア素材に対する置き換え操作に応じて、対象サブ領域に表示された対象マルチメディア素材を候補マルチメディア素材に置き換える。

【0080】

この例では、候補マルチメディア素材は、ユーザにより設定されるものであってもよく、画像認識や音声認識技術によって対象マルチメディア素材との類似度を比較して取得されてもよい。ユーザは、対象マルチメディア素材を候補マルチメディア素材に置き換える場合、該置き換え操作に応じて、素材編集領域に表示された対象マルチメディア素材が候補マルチメディア素材に置き換えられる。なお、第１のスクリプト構造内の、対象サブ領域に対応する対象スクリプトノードは、候補マルチメディア素材に基づいて、該候補マルチメディア素材に対応する文字情報に調整されてもよい。候補操作により、複数のマルチメディア素材から、ユーザの需要に最も適したものを簡単かつ迅速に選択できるため、映像処理の効率を向上させている。

【0081】

例えば、この例では、図８に示すように、対象サブ領域が第１のサブ領域であり、第１のサブ領域における対象マルチメディア素材が対象前置き素材であり、候補マルチメディア素材が第１の候補前置き素材及び第２の候補前置き素材であり、素材候補領域に候補表示コントロールを更に含むとする。該候補表示コントロールは、ユーザのタッチ操作に応じて第１のサブ領域に、候補マルチメディア素材を表示させる。この例では、ユーザが候補表示コントロールにタッチし、第２の候補前置き素材と対象マルチメディア素材を選択して置き換えると、第１のサブ領域に第２の候補前置き素材が表示される。

【0082】

上述したように、本開示の実施例に係る映像処理方法は、第１のスクリプト構造によって確立されたサブ領域、コンテンツ段落、及びマルチメディア素材の対応関係に基づいて、直観的かつ簡単に対象映像及び／又は第１のスクリプト構造に対して調整を行うことができる。これにより、言語コンテンツ又はストーリーを中心とした映像に対するクリップ処理の複雑さを軽減し、映像処理の効率を向上させることができる。

【0083】

上記の方法の実施例に基づき、本開示は、映像処理装置を更に提供する。図９は、本開示の実施例に係る映像処理装置の構造を示す概略図である。図９を参照して、前記装置は、第１の表示モジュール９０１と、第２の表示モジュール９０２と、生成モジュール９０３とを備える。
第１の表示モジュール９０１は、第１のスクリプト構造に従って、映像クリップの素材編集領域を表示するためのである。ここで、前記素材編集領域は複数のサブ領域に分割され、１つの前記サブ領域は、前記第１のスクリプト構造内の１つのスクリプトノードに対応し、前記第１のスクリプト構造は、対象映像のコンテンツ段落構造を示すためのものであり、１つの前記スクリプトノードは、前記対象映像の１つのコンテンツ段落を示すためのものである。
第２の表示モジュール９０２は、前記複数のサブ領域内の対象サブ領域に、タイムライントラックに従って対象マルチメディア素材を表示するためのである。ここで、前記対象マルチメディア素材は、対象スクリプトノードに対して選択されたマルチメディア素材であり、前記対象スクリプトノードは、前記第１のスクリプト構造内の、前記対象サブ領域に対応するスクリプトノードである。
生成モジュール９０３は、前記素材編集領域に表示されたマルチメディア素材に従って、前記対象映像を生成するためのである。ここで、前記対象映像の対象コンテンツ段落に前記対象マルチメディア素材が充填され、前記対象コンテンツ段落と前記対象スクリプトノードとが対応する。

【0084】

代替の実施形態において、前記素材編集領域内の前記複数のサブ領域は、インターフェースレイアウトが縦方向に整列して配置される。

【0085】

代替の実施形態において、前記装置は、第１の決定モジュールと、編集モジュールとを更に備える。
第１の決定モジュールは、前記第１のスクリプト構造内の第１のスクリプトノードの対象テキストコンテンツに対する調整操作に応じて、前記素材編集領域において前記第１のスクリプトノードに対応するマルチメディア素材を決定し、前記マルチメディア素材内の、前記対象テキストコンテンツに対応するマルチメディアセグメントを決定するために用いられる。
クリップモジュールは、前記調整操作に従って、前記マルチメディア素材内の前記マルチメディアセグメントに対してクリップを行うために用いられる。

【0086】

代替の実施形態において、前記装置は、第２の決定モジュールと、付加モジュールとを更に備える。
第２の決定モジュールは、前記第１のスクリプト構造内の第２のスクリプトノードの対象テキスト位置にテキストコンテンツを付加する操作に応じて、前記素材編集領域において前記第２のスクリプトノードに対応するマルチメディア素材を決定し、前記マルチメディア素材内の、前記対象テキストコンテンツに対応するタイムライン位置を決定するために用いられる。
付加モジュールは、前記のテキストコンテンツを付加する操作に従って、前記マルチメディア素材内の前記タイムライン位置に前記テキストコンテンツに対応するマルチメディアセグメントを付加するために用いられる。

【0087】

代替の実施形態において、前記装置は、第３の決定モジュールと、第１の調整モジュールとを更に備える。
第３の決定モジュールは、前記素材編集領域内の前記マルチメディア素材の対象マルチメディアセグメントに対するクリップ操作に応じて、前記マルチメディア素材に対応するスクリプトノードを決定し、前記スクリプトノード内の、前記対象マルチメディアセグメントに対応するテキストコンテンツを決定するために用いられる。
第１の調整モジュールは、前記クリップ操作に従って、前記スクリプトノード内の前記テキストコンテンツに対して調整を行うために用いられる。

【0088】

代替の実施形態において、前記装置は、第４の決定モジュールと、第２の調整モジュールとを更に備える。
第４の決定モジュールは、前記第１のスクリプト構造内の第２のスクリプトノードと、第３のスクリプトノードとの順位に対する調整操作に応じて、前記素材編集領域内において、前記第２のスクリプトノードと前記第３のスクリプトノードのそれぞれに対応するサブ領域を決定するために用いられる。
第２の調整モジュールは、前記順位に対する調整操作に従って、前記素材編集領域における、前記第２のスクリプトノードと前記第３のスクリプトノードのそれぞれに対応するサブ領域内のマルチメディア素材に対して順位調整を行うために用いられる。

【0089】

代替の実施形態において、前記対象マルチメディア素材に、候補マルチメディア素材が含まれ、前記装置は、置き換えモジュールを更に備える。
置き換えモジュールは、前記対象サブ領域内の前記対象マルチメディア素材及び前記候補マルチメディア素材に対する置き換え操作に応じて、前記対象サブ領域に表示された対象マルチメディア素材を前記候補マルチメディア素材に置き換えるために用いられる。

【0090】

本開示の実施例に係る映像処理装置は、第１のスクリプト構造に従って映像クリップの素材編集領域を表示することにより、素材編集領域内のサブ領域を第１のスクリプト構造内のスクリプトノードに対応させる。また、素材編集領域の対象サブ領域において、タイムライントラックに従って、該対象サブ領域に対応する対象スクリプトノードに対して選択されたマルチメディア素材を表示して、更に、素材編集領域に表示されたマルチメディア素材に従って、対象映像を生成する。本開示の実施例は、スクリプトノードに対応する複数のサブ領域を含む素材編集領域に基づいて、映像に対するクリップを実現することができる。これにより、映像処理の方法が豊富になり、人々の多様なニーズに合った映像クリップを提供することができる。

【0091】

上記の方法及び装置の外に、本開示の実施例は、コンピュータ可読記憶媒体を更に提供する。コンピュータ可読記憶媒体に命令が記憶され、前記命令が端末装置上で実行されると、前記端末装置に本開示の実施例に記載の映像処理方法を実現させる。

【0092】

本開示の実施例は、コンピュータプログラム製品を更に提供する。前記コンピュータプログラム製品は、コンピュータプログラム／命令を含み、前記コンピュータプログラム／命令は、プロセッサによって実行されることによって本開示の実施例に記載の映像処理方法を実現させる。

【0093】

また、本開示の実施例は、映像処理機器を更に提供する。図１０に示すように、該機器は、プロセッサ１００１と、メモリ１００２と、入力装置１００３と、出力装置１００４とを備えてもよい。映像処理機器におけるプロセッサ１００１の数は、１つ又は複数であってもよい。図１０は、プロセッサが１つである例を示している。本開示のいくつかの実施例において、プロセッサ１００１、メモリ１００２、入力装置１００３、及び出力装置１００４は、バス又はその他の方法によって接続されてもよい。図１０は、バスによって接続される例を示している。

【0094】

メモリ１００２は、ソフトウェアプログラム及びモジュールを記憶するために用いられてもよい。プロセッサ１００１は、メモリ１００２に記憶されたソフトウェアプログラム及びモジュールを実行することによって、映像処理機器の各機能アプリケーション及びデータ処理を実行する。メモリ１００２は主にプログラム保存領域とデータ保存領域とを含んでもよい。ここで、プログラム保存領域に操作システム、少なくとも１の機能に必要なアプリケーションプログラムなどを記憶してもよい。また、メモリ１００２は、高速ランダムアクセスメモリを含んでもよく、更に、少なくとも１つのディスクメモリ、フラッシュメモリ、又は他の揮発性ソリッドステートメモリなどの不揮発性メモリを含んでもよい。入力装置１００３は、入力されるデジタル情報又は文字情報を受信し、映像処理機器のユーザ設定及び機能制御に関する信号入力を生成するために用いられてもよい。

【0095】

具体的に、本実施例において、プロセッサ１００１は、以下の命令に従って、１つ又は１つ以上のアプリケーションプログラムの処理に対応する実行可能なファイルをメモリ１００２にアップロードする。また、プロセッサ１００１は、メモリ１００２に記憶されたアプリケーションプログラムを実行することによって、上記の映像処理装置の各機能を実現する。

【0096】

なお、本明細書に記載された「第１の」や「第２の」等の関係用語は、ある実体又は操作を別の実体又は操作と区別するために使用するのであって、これらの実体又は操作が実際このような関係又は順位になる必要がなく、或いはそのことを示唆するものではない。また、「～を含む」、「～を備える」又はその他の変形は、非排他的な包含を意味する。従って、一連の要素をプロセス、方法、物品又は装置が、それらの要素だけでなく、明確的に列挙されていないその他の要素も含んでいる。或いは、これらのプロセス、方法、物品又は装置の固有の要素も含んでいる。さらなる限定がない場合、「１つの～を含む」という語句により限定された要素は、該要素を含むプロセス、方法、物品又は装置に別の同一の要素の存在を排除するものではない。

【0097】

上記は、当業者が本開示を理解又は実施できるようにするための、本開示の具体的な実施形態に過ぎない。これらの実施例に対する様々な変更は、当業者にとって自明である。本明細書で定義される一般原理は、本開示の精神又は範囲から逸脱することなく、他の実施例で実施され得る。従って、本開示の範囲は、本明細書に記載されたこれらの実施例に限定されず、本明細書に開示された原理及び新たな特徴と一致する最も広い範囲に該当する。

【0098】

［参照による援用］
本願は、２０２１年９月１５日に出願された、出願番号が２０２１１１８１７８５．６で、発明の名称が「映像処理方法、装置、機器及び記憶媒体」である中国特許出願に基づくものであって、その優先権を主張するものである。該出願の全ての内容が、参照により本明細書に組み込まれる。

【図1】

【図2】

【図3a】

【図3b】

【図4a】

【図4b】

【図4c】

【図5】

【図6a】

【図6b】

【図7】

【図8】

【図9】

【図10】

【手続補正書】

【提出日】2023-12-15

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

第１のスクリプト構造に従って、映像クリップの素材編集領域を表示することであって、前記素材編集領域は複数のサブ領域に分割され、１つの前記サブ領域は、前記第１のスクリプト構造内の１つのスクリプトノードに対応し、前記第１のスクリプト構造は、対象映像のコンテンツ段落構造を示すためのものであり、１つの前記スクリプトノードは、前記対象映像の１つのコンテンツ段落を示すためのものであることと、
前記複数のサブ領域内の対象サブ領域において、タイムライントラックに従って、対象マルチメディア素材を表示することであって、前記対象マルチメディア素材は、対象スクリプトノードに対して選択されたマルチメディア素材であり、前記対象スクリプトノードは、前記第１のスクリプト構造内の、前記対象サブ領域に対応するスクリプトノードであることと、
前記素材編集領域に表示されたマルチメディア素材に従って、前記対象映像を生成することであって、前記対象映像の対象コンテンツ段落に前記対象マルチメディア素材が充填され、前記対象コンテンツ段落と前記対象スクリプトノードとが対応することとを含む、ことを特徴とする、映像処理方法。

【請求項2】

前記素材編集領域内の前記複数のサブ領域は、インターフェースレイアウトが縦方向に整列して配置される、ことを特徴とする、請求項１に記載の方法。

【請求項3】

前記素材編集領域に表示されたマルチメディア素材に従って、前記対象映像を生成することの前に、
前記第１のスクリプト構造内の第１のスクリプトノードの対象テキストコンテンツに対する調整操作に応じて、前記素材編集領域において前記第１のスクリプトノードに対応するマルチメディア素材を決定し、前記マルチメディア素材内の、前記対象テキストコンテンツに対応するマルチメディアセグメントを決定することと、
前記調整操作に従って、前記マルチメディア素材内の前記マルチメディアセグメントに対してクリップを行うことと、をさらに含む、ことを特徴とする、請求項１に記載の方法。

【請求項4】

前記素材編集領域に表示されたマルチメディア素材に従って、前記対象映像を生成することの前に、
前記第１のスクリプト構造内の第２のスクリプトノードの対象テキスト位置にテキストコンテンツを付加する操作に応じて、前記素材編集領域において前記第２のスクリプトノードに対応するマルチメディア素材を決定し、前記マルチメディア素材内の、前記対象テキスト位置に対応するタイムライン位置を決定することと、
前記テキストコンテンツを付加する操作に従って、前記テキストコンテンツに対応するマルチメディアセグメントを前記マルチメディア素材内の前記タイムライン位置に付加することと、をさらに含む、ことを特徴とする、請求項１に記載の方法。

【請求項5】

前記素材編集領域に表示されたマルチメディア素材に従って、前記対象映像を生成することの前に、
前記素材編集領域内の前記マルチメディア素材の対象マルチメディアセグメントに対するクリップ操作に応じて、前記マルチメディア素材に対応するスクリプトノードを決定し、前記スクリプトノード内の、前記対象マルチメディアセグメントに対応するテキストコンテンツを決定することと、
前記クリップ操作に従って、前記スクリプトノード内の前記テキストコンテンツに対して調整を行うことと、をさらに含む、ことを特徴とする、請求項１に記載の方法。

【請求項6】

前記素材編集領域に表示されたマルチメディア素材に従って、前記対象映像を生成することの前に、
前記第１のスクリプト構造内の第２のスクリプトノードと、第３のスクリプトノードとの順位に対する調整操作に応じて、前記素材編集領域内において、前記第２のスクリプトノードと前記第３のスクリプトノードとのそれぞれに対応するサブ領域を決定することと、
前記順位に対する調整操作に従って、前記素材編集領域における、前記第２のスクリプトノードと前記第３のスクリプトノードとのそれぞれに対応するサブ領域内のマルチメディア素材に対して順位調整を行うことと、をさらに含む、ことを特徴とする、請求項１に記載の方法。

【請求項7】

前記対象マルチメディア素材は、候補マルチメディア素材を有し、
前記素材編集領域に表示されたマルチメディア素材に従って、前記対象映像を生成することの前に、
前記対象サブ領域内の前記対象マルチメディア素材及び前記候補マルチメディア素材に対する置き換え操作に応じて、前記対象サブ領域に表示された対象マルチメディア素材を前記候補マルチメディア素材に置き換えることをさらに含む、ことを特徴とする、請求項１に記載の方法。

【請求項8】

第１の表示モジュールと、第２の表示モジュールと、生成モジュールとを備え、
前記第１の表示モジュールは、第１のスクリプト構造に従って、映像クリップの素材編集領域を表示するためのものであり、前記素材編集領域は複数のサブ領域に分割され、１つの前記サブ領域は、前記第１のスクリプト構造内の１つのスクリプトノードに対応し、前記第１のスクリプト構造は、対象映像のコンテンツ段落構造を示すためのものであり、１つの前記スクリプトノードは、前記対象映像の１つのコンテンツ段落を示すためのであり、
前記第２の表示モジュールは、前記複数のサブ領域内の対象サブ領域において、タイムライントラックに従って、対象マルチメディア素材を表示するためのものであり、前記対象マルチメディア素材は、対象スクリプトノードに対して選択されたマルチメディア素材であり、前記対象スクリプトノードは、前記第１のスクリプト構造内の、前記対象サブ領域に対応するスクリプトノードであり、
前記生成モジュールは、前記素材編集領域に表示されたマルチメディア素材に従って、前記対象映像を生成するためのものであり、前記対象映像の対象コンテンツ段落に前記対象マルチメディア素材が充填され、前記対象コンテンツ段落と前記対象スクリプトノードとが対応する、映像処理装置。

【請求項9】

端末装置において実行される場合、前記端末装置に請求項１～７のいずれか１項に記載の方法を実現させる命令が記憶されているコンピュータ可読記憶媒体。

【請求項10】

メモリと、プロセッサと、前記メモリに記憶され、前記プロセッサで実行可能なコンピュータプログラムと、を備え、
前記プロセッサは、前記コンピュータプログラムを実行することにより、請求項１～７のいずれか１項に記載の方法を実現させる、機器。

【請求項11】

プロセッサによって実行される場合、請求項１～７のいずれか１項に記載の方法を実現させるコンピュータプログラム。

【国際調査報告】