特表 2024-522504 ビートによるセグメンテーション輪郭同期

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-06-21

(54)【発明の名称】ビートによるセグメンテーション輪郭同期

(51)【国際特許分類】

   G06T 11/80 20060101AFI20240614BHJP

   H04N 5/262 20060101ALI20240614BHJP

   H04N 21/233 20110101ALI20240614BHJP

   H04N 21/854 20110101ALI20240614BHJP

【ＦＩ】

G06T11/80 A

H04N5/262 020

H04N21/233

H04N21/854

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023573050

(86)(22)【出願日】2022-05-10

(85)【翻訳文提出日】2023-11-27

(86)【国際出願番号】 SG2022050299

(87)【国際公開番号】W WO2022271087

(87)【国際公開日】2022-12-29

(31)【優先権主張番号】17/353,441

(32)【優先日】2021-06-21

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】521388058

【氏名又は名称】レモン インコーポレイテッド

【氏名又は名称原語表記】Ｌｅｍｏｎ Ｉｎｃ．

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】リ，ユンジュ

(72)【発明者】

【氏名】チェン，ズハオ

(72)【発明者】

【氏名】スン，チェン

【テーマコード（参考）】

5B050

5C023

5C164

【Ｆターム（参考）】

5B050BA06

5B050BA12

5B050BA13

5B050CA07

5B050DA04

5B050EA06

5B050EA07

5B050EA18

5B050FA02

5B050FA17

5B050GA08

5C023AA07

5C023BA13

5C023CA02

5C023CA04

5C164FA29

5C164MA02S

5C164MA07S

5C164MB44S

5C164MC04P

5C164PA41

5C164SB04P

5C164SB10S

5C164TA08S

(57)【要約】

セグメンテーション輪郭エフェクトをレンダリングするためのシステム及び方法が説明される。より具体的には、１つ又は複数のビデオフレームと音声データとを含むビデオデータを取得する。前記ビデオデータに基づいて、前記１つ又は複数のビデオフレームのそれぞれにおける１つ又は複数のセグメントを決定する。各ビートのビート特性を決定するように、音声データを分析する。前記ビート特性に基づいて、前記ビデオデータ内の前記１つ又は複数のセグメントに適用されるセグメンテーション輪郭エフェクトを決定する。前記セグメンテーション輪郭エフェクトを音声データと同期させることにより、レンダリングされたビデオを生成する。
【選択図】図１

【特許請求の範囲】

【請求項1】

セグメンテーション輪郭エフェクトをレンダリングするための方法であって、
コンピューティング装置により、１つ又は複数のビデオフレームを含むビデオデータを取得することと、
前記コンピューティング装置により、前記１つ又は複数のビデオフレームのそれぞれにおける１つ又は複数のセグメントを決定することと、
前記コンピューティング装置により、音声データを取得することと、
前記コンピューティング装置により、各ビートのビート特性を決定するように前記音声データを分析することと、
前記コンピューティング装置により、前記ビート特性に基づいて、前記ビデオデータ内の前記１つ又は複数のセグメントに適用されるセグメンテーション輪郭エフェクトを決定することと、
前記コンピューティング装置により、前記セグメンテーション輪郭エフェクトを音声データと同期させることにより、レンダリングされたビデオを生成することと、
を含む、方法。

【請求項2】

前記セグメンテーション輪郭エフェクトは、前記１つ又は複数のセグメントに追加される前記セグメンテーション輪郭エフェクトの１つ又は複数の挙動を定義する輪郭エフェクトパラメータを含む、
請求項１に記載の方法。

【請求項3】

前記輪郭エフェクトパラメータは、前記セグメンテーション輪郭エフェクトが適用される１つ又は複数のセグメントを定義し、又は、前記ビデオクリップに亘るセグメンテーション輪郭エフェクトの適用のために前記１つ又は複数のセグメントをどのように選択するかを定義する、
請求項２に記載の方法。

【請求項4】

前記輪郭エフェクトパラメータは、セグメントごとに、セグメンテーション輪郭の色、幅、高さ、厚さ及び明るさを定義する、
請求項２に記載の方法。

【請求項5】

前記輪郭エフェクトパラメータは、前記ビート特性に基づいて、前記ビデオクリップに追加される特定のセグメントについての複数のセグメンテーション輪郭を定義する、
請求項２に記載の方法。

【請求項6】

前記セグメンテーション輪郭エフェクトを音声データと同期させることにより、前記レンダリングされたビデオを生成することは、
前記コンピューティング装置により、前記輪郭エフェクトパラメータに基づいて、ディスプレイに前記セグメンテーション輪郭エフェクトをレンダリングすることを含む、
請求項２に記載の方法。

【請求項7】

前記ビート特性は、ビート構造と、強ビートと弱ビートの繰り返しシーケンスと、アクセントのあるビートとアクセントのないビートの数と、アクセントのあるビートとアクセントのないビートの相対的位置とを含むグループから選択された少なくとも１つを含む、
請求項１に記載の方法。

【請求項8】

セグメンテーション輪郭エフェクトをレンダリングするためのコンピューティング装置であって、
プロセッサと、
前記プロセッサにより実行されるとき、前記コンピューティング装置に、
１つ又は複数のビデオフレームを含むビデオデータを取得することと、
前記１つ又は複数のビデオフレームのそれぞれにおける１つ又は複数のセグメントを決定することと、
音声データを取得することと、
各ビートのビート特性を決定するように前記音声データを分析することと、
前記ビート特性に基づいて、前記ビデオデータ内の前記１つ又は複数のセグメントに適用されるセグメンテーション輪郭エフェクトを決定することと、
前記セグメンテーション輪郭エフェクトを音声データと同期させることにより、レンダリングされたビデオを生成することと、
を実行させる複数の命令が記憶されているメモリと、
を備える、コンピューティング装置。

【請求項9】

前記セグメンテーション輪郭エフェクトは、前記１つ又は複数のセグメントに追加される前記セグメンテーション輪郭エフェクトの１つ又は複数の挙動を定義する輪郭エフェクトパラメータを含む、
請求項８に記載のコンピューティング装置。

【請求項10】

前記輪郭エフェクトパラメータは、前記セグメンテーション輪郭エフェクトが適用される１つ又は複数のセグメントを定義し、又は、前記ビデオクリップに亘るセグメンテーション輪郭エフェクトの適用のために前記１つ又は複数のセグメントをどのように選択するかを定義する、
請求項９に記載のコンピューティング装置。

【請求項11】

前記輪郭エフェクトパラメータは、セグメントごとに、セグメンテーション輪郭の色、幅、高さ、厚さ及び明るさを定義する、
請求項９に記載のコンピューティング装置。

【請求項12】

前記輪郭エフェクトパラメータは、前記ビート特性に基づいて、前記ビデオクリップに追加される特定のセグメントについての複数のセグメンテーション輪郭を定義する、
請求項９に記載のコンピューティング装置。

【請求項13】

前記セグメンテーション輪郭エフェクトを音声データと同期させることにより、前記レンダリングされたビデオを生成することは、
前記輪郭エフェクトパラメータに基づいて、ディスプレイに前記セグメンテーション輪郭エフェクトをレンダリングすることを含む、
請求項９に記載のコンピューティング装置。

【請求項14】

前記ビート特性は、ビート構造と、強ビートと弱ビートの繰り返しシーケンスと、アクセントのあるビートとアクセントのないビートの数と、アクセントのあるビートとアクセントのないビートの相対的位置とを含むグループから選択された少なくとも１つを含む、
請求項８に記載のコンピューティング装置。

【請求項15】

セグメンテーション輪郭エフェクトをレンダリングするための命令が記憶されている非一時的なコンピュータ可読媒体であって、前記命令は、コンピューティング装置の１つ又は複数のプロセッサにより実行されるとき、前記コンピューティング装置に、
１つ又は複数のビデオフレームを含むビデオデータを取得することと、
前記１つ又は複数のビデオフレームのそれぞれにおける１つ又は複数のセグメントを決定することと、
音声データを取得することと、
各ビートのビート特性を決定するように前記音声データを分析することと、
前記ビート特性に基づいて前記ビデオデータ内の前記１つ又は複数のセグメントに適用されるセグメンテーション輪郭エフェクトを決定することと、
前記セグメンテーション輪郭エフェクトを音声データと同期させることにより、レンダリングされたビデオを生成することと、
を実行させる、非一時的なコンピュータ可読媒体。

【請求項16】

前記セグメンテーション輪郭エフェクトは、前記１つ又は複数のセグメントに追加される前記セグメンテーション輪郭エフェクトの１つ又は複数の挙動を定義する輪郭エフェクトパラメータを含み、
前記セグメンテーション輪郭エフェクトを音声データと同期させることにより、前記レンダリングされたビデオを生成することは、
前記輪郭エフェクトパラメータに基づいて、ディスプレイに前記セグメンテーション輪郭エフェクトをレンダリングすることを含む、
請求項１５に記載の非一時的なコンピュータ可読媒体。

【請求項17】

前記輪郭エフェクトパラメータは、前記セグメンテーション輪郭エフェクトが適用される１つ又は複数のセグメントを定義し、又は前記ビデオクリップに亘るセグメンテーション輪郭エフェクトの適用のために前記１つ又は複数のセグメントをどのように選択するかを定義する、
請求項１６に記載の非一時的なコンピュータ可読媒体。

【請求項18】

前記輪郭エフェクトパラメータは、セグメントごとに、セグメンテーション輪郭の色、幅、高さ、厚さ及び明るさを定義する、
請求項１６に記載の非一時的なコンピュータ可読媒体。

【請求項19】

前記輪郭エフェクトパラメータは、前記ビート特性に基づいて、前記ビデオクリップに追加される複数のセグメンテーション輪郭を定義する、
請求項１６に記載の非一時的なコンピュータ可読媒体。

【請求項20】

前記ビート特性は、ビート構造と、強ビートと弱ビートの繰り返しシーケンスと、アクセントのあるビートとアクセントのないビートの数と、アクセントのあるビートとアクセントのないビートの相対的位置とを含むグループから選択された少なくとも１つを含む、
請求項１５に記載の非一時的なコンピュータ可読媒体。

【発明の詳細な説明】

【背景技術】

【0001】

ビデオ編集技術は、ビデオを編集するさまざまな方法をユーザに提供するために広く使用されている。例えば、ユーザはビデオを編集して、ビデオに視覚エフェクト及び／又は音楽を追加してもよい。しかしながら、多くのこのようなビデオ編集技術は、音声データに基づいて視覚エフェクトを制御することを考慮していない。したがって、ユーザ体験を向上させるためには、音声－ビデオ同期（ａｕｄｉｏーｖｉｄｅｏ ｓｙｎｃｈｒｏｎｉｚａｔｉｏｎ）をレンダリングするビデオ編集技術を開発する必要がある。

【0002】

これら及び他の一般的な考慮に関連して本明細書で開示される態様を説明する。また、比較的具体的な問題を議論していくが、これらの例は、背景技術又は本開示の他の部分において特定された具体的な問題の解決に限定されるべきではないことを、理解すべきである。

【発明の概要】

【課題を解決するための手段】

【0003】

本開示の少なくとも１つの例によれば、セグメンテーション輪郭エフェクトをレンダリングするための方法が提供される。前記方法は、コンピューティング装置により、１つ又は複数のビデオフレームを含むビデオデータを取得することと、前記コンピューティング装置により、前記１つ又は複数のビデオフレームのそれぞれにおける１つ又は複数のセグメントを決定することと、前記コンピューティング装置により、音声データ取得することと、前記コンピューティング装置により、各ビートのビート特性を決定するように、前記音声データを分析することと、前記コンピューティング装置により、前記ビート特性に基づいて前記ビデオデータ内の前記１つ又は複数のセグメントに適用されるセグメンテーション輪郭エフェクトを決定することと、前記コンピューティング装置により、前記セグメンテーション輪郭エフェクトを音声データと同期させることにより、レンダリングされたビデオを生成することと、を含む。

【0004】

本開示の少なくとも１つの例によれば、セグメンテーション輪郭エフェクトをレンダリングするためのコンピューティング装置が提供される。前記コンピューティング装置は、プロセッサと、前記プロセッサにより実行されるとき、前記コンピューティング装置に、１つ又は複数のビデオフレームを含むビデオデータを取得することと、前記１つ又は複数のビデオフレームのそれぞれにおける１つ又は複数のセグメントを決定することと、音声データを取得することと、各ビートのビート特性を決定するように、前記音声データを分析することと、前記ビート特性に基づいて前記ビデオデータ内の前記１つ又は複数のセグメントに適用されるセグメンテーション輪郭エフェクトを決定することと、前記セグメンテーション輪郭エフェクトを音声データと同期させることにより、レンダリングされたビデオを生成することと、を実行させる複数の命令が記憶されているメモリと、を備える。

【0005】

本開示の少なくとも１つの例によれば、セグメンテーション輪郭エフェクトをレンダリングするための命令が記憶された非一時的なコンピュータ可読媒体が提供される。前記命令は、コンピューティング装置の１つ又は複数のプロセッサにより実行されるとき、前記コンピューティング装置に、１つ又は複数のビデオフレームを含むビデオデータを取得することと、前記１つ又は複数のビデオフレームのそれぞれにおける１つ又は複数のセグメントを決定することと、音声データを取得することと、各ビートのビート特性を決定するように、前記音声データを分析することと、前記ビート特性に基づいて前記ビデオデータ内の前記１つ又は複数のセグメントに適用されるセグメンテーション輪郭エフェクトを決定することと、前記セグメンテーション輪郭エフェクトを音声データと同期させることにより、レンダリングされたビデオを生成することと、を実行させる。

【0006】

前記１つ又は複数の態様のうちのいずれかは、前記１つ又は複数の態様のうちのいずれかの他の態様と組み合わせることができる。本明細書で説明される１つ又は複数の態様のいずれかである。

【0007】

本概要は、以下の「発明を実施するための形態」でさらに説明される構想の抜粋を簡略化された形で紹介するために提供されるものである。本概要は、特許請求される主題事項の主要特徴又は基本特徴を識別することを目的とするものではなく、特許請求される主題事項の範囲を限定することを目的とするものでもない。例示の追加の態様、特徴、及び／又は利点は、以下の説明において部分的に説明され、説明から部分的に明らかになるか、又は本開示の実施により理解される。

【図面の簡単な説明】

【0008】

以下の図面を参照して、非限定的及び非網羅的な例を説明する。

【0009】

【図1】本開示の例にかかる、例示的な音声－ビデオ同期システムを示す。

【0010】

【図2】本開示の例にかかる、図１の音声－ビデオ同期システムのコンピューティング装置の詳細を示す。

【0011】

【図3】セグメンテーション輪郭エフェクトを使用してレンダリングされたビデオの例示的なフレームを示す。

【0012】

【図4】本開示の例にかかる、セグメンテーション輪郭エフェクトをレンダリングするため方法の詳細を示す。

【0013】

【図5】本開示の態様を実施するために利用可能なコンピューティング装置の物理的コンポーネント（例えば、ハードウェア）を示すブロック図である。

【0014】

【図6A】本開示の態様を実施するために利用可能なコンピューティング装置の第１の例を示す。

【0015】

【図6B】本開示の態様を実施するために利用可能なコンピューティング装置の第２の例を示す。

【0016】

【図7】本開示の例にかかる、データを処理するためのシステムのアーキテクチャの少なくとも１つの態様を示す。

【発明を実施するための形態】

【0017】

以下の詳細な説明では、本明細書の一部を構成し、かつ特定の態様又は例を図示により示す添付図面を参照する。本開示から逸脱することなく、これらの態様を組み合わせしてもよいし、他の態様を利用してもよいし、構造変更を行ってもよい。これらの態様は、方法、システム、又は装置として実施されてもよい。したがって、これらの態様は、ハードウェア実現、完全なソフトウェア実現、又はソフトウェア及びハードウェアの態様を組み合わせた実現の形態をとってもよい。したがって、以下の詳細な説明は限定的であると理解されるべきではなく、本開示の範囲は、添付の特許請求の範囲及びその均等物により限定されるものである。

【0018】

本開示の例によれば、音声－ビデオ同期システムは、ユーザが音声に反応するセグメンテーション輪郭エフェクトをビデオクリップ内のターゲットボディの１つ又は複数のボディセグメントに適用することを可能にする。より具体的には、セグメンテーション輪郭エフェクトは、オーディオ音楽のビート特性に基づいて、ビデオクリップ内で識別された１つ又は複数のボディセグメントの境界上に１つ又は複数のセグメンテーション輪郭を追加する。このために、ボディセグメンテーションを実行して、前記ビデオクリップの１つ又は複数のターゲットボディからボディセグメントを分離又は隔離してもよい。さらに、ビデオクリップに追加するためにユーザにより選択された音楽のビート情報を取得するために、音楽ビート特性化を実行してもよい。いくつかの態様において、音楽ビート特性化結果をメタデータとして音楽に埋め込んでもよい。音楽ビート特性化結果は、音楽のアクセントのあるビート及びアクセントのないビートの数及び相対的位置を含んでもよい。

【0019】

セグメンテーション輪郭エフェクトは、ビデオデータ内の１つ又は複数のボディセグメントに追加されるセグメンテーション輪郭エフェクトの挙動を定義する輪郭エフェクトパラメータを含む。いくつかの態様において、輪郭エフェクトパラメータは、セグメンテーション輪郭エフェクトが適用される１つ又は複数のボディセグメント、及びビデオクリップに亘るセグメンテーション輪郭エフェクト適用のために前記１つ又は複数のボディセグメントをどのように選択するかを定義してもよいが、これらに限定されない。輪郭エフェクトパラメータはさらに、各ボディセグメントごとに、セグメンテーション輪郭エフェクトのセグメンテーション輪郭の色、幅、高さ、厚さ、明るさを定義してもよい。さらに、輪郭エフェクトパラメータは、ビデオクリップに追加される特定のボディセグメントについての複数のセグメンテーション輪郭を定義してもよい。これにより、セグメンテーション輪郭エフェクトのパラメータは、オーディオ音楽とビデオクリップと基づいて周期的に（例えば、ビートごとに）更新されてもよい。音声－ビデオ同期により、セグメンテーション輪郭エフェクトが、ビデオクリップに追加された音楽の音楽ビートに反応することが可能になる。

【0020】

図１は、本開示の例にかかる、１つ又は複数のセグメンテーション輪郭エフェクトをレンダリングするための音声－ビデオ同期システム１００を示す。例えば、ユーザ１０２は、ビデオクリップ１０８を生成するか、受信するか、取得するか、又はその他の方法で得てもよい。その後、ユーザは、ビデオクリップ１０８に追加されるようにオーディオ音楽１１０を選択してもよい。音声－ビデオ同期システム１００は、ユーザ１０２が、音楽１１０に基づいて、ビデオクリップ１０８内のターゲットボディの１つ又は複数のターゲットボディセグメントに従う、音声に反応するセグメンテーション輪郭エフェクトを作成することを可能にする。このために、音声－ビデオ同期システム１００は、ユーザ１０２に関連付けられたコンピューティング装置１０４と、ネットワーク１１４を介してコンピューティング装置１０４に通信可能に結合されたサーバ１０６とを含む。ネットワーク１１４は、有線又は無線のローカルエリアネットワーク（ＬＡＮ）、有線又は無線のワイドエリアネットワーク（ＷＡＮ）、及び／又はインターネットを含むがこれらに限定されない任意のタイプのコンピューティングネットワークを含んでもよい。

【0021】

一例において、ユーザ１０２は、コンピューティング装置１０４を利用してビデオクリップ１０８と音楽１１０とを取得してもよい。ユーザ１０２は、コンピューティング装置１０４に通信可能に結合されたカメラを利用してビデオクリップ１０８を生成してもよい。このような例において、ユーザがコンピューティング装置１０４上でビデオを撮影しているときに、ユーザ１０２がディスプレイ（例えば、ディスプレイ ６０５）上で前記１つ又は複数のボディセグメントの周囲のセグメンテーション輪郭エフェクトを見ることを可能にするために、セグメンテーション輪郭エフェクトをリアルタイム又はほぼリアルタイムに音楽１１０と同期させてもよい。代替として又は追加として、ユーザ１０２は、コンピューティング装置１０４上でビデオクリップ１０８を受信するか、取得するか、又は他の方法で得てもよい。いくつかの例において、ユーザ１０２は、音楽１１０に基づいてビデオクリップ１０８を編集してセグメンテーション輪郭エフェクトを追加してもよい。いくつかの態様において、ユーザ１０２は、コンピューティング装置１０４を使用して、ネットワーク１１４を介してビデオクリップ１０８と音楽１１０とをサーバ１０６に送信してもよい。コンピューティング装置１０４は、ポータブルコンピューティング装置又は非ポータブルコンピューティング装置のいずれか一つであってもよい。例えば、コンピューティング装置１０４は、スマートフォン、ノートパソコン、デスクトップコンピュータ、ウェアラブル電子装置、スマート家電及びサーバであってもよい。ビデオクリップ１０８は、任意のフォーマットで取得されてもよく、圧縮及び／又は解凍された形式としてもよい。

【0022】

コンピューティング装置１０４は、ビデオクリップ１０８の各フレームを分析して、当該フレーム内の１つ又は複数のターゲットボディのボディセグメントを識別するように構成されている。例えば、ボディセグメンテーションアルゴリズムは、ビデオクリップ１０８から識別され抽出されるボディセグメントのリストを定義してもよい。ボディセグメントは、頭部（例えば、髪の毛、帽子）、顔面（例えば、顔、眼鏡、マスク）、胴体皮膚、トップス（例えば、ジャケット、ワンピース、コート、スカーフ）、ボトムス（例えば、ズボン、半ズボン、スカート）、手（例えば、腕皮膚、手袋）及び脚（例えば、脚皮膚、靴、靴下）を含んでもよいが、これらに限定されない。

【0023】

コンピューティング装置１０４は、ビデオクリップ１０８に追加するためにユーザ１０２により選択されるか、又は、音声－ビデオ同期システム１００により予めセットされるオーディオ音楽１１０を受信するように構成されている。代替として、いくつかの態様において、オーディオ音楽１１０は、セグメンテーション輪郭エフェクトに関連付けられてもよい。いくつかの態様において、セグメンテーション輪郭エフェクトは、ビデオクリップ１０８に追加されるか、又は音声－ビデオ同期システム１００により予めセットされるデフォルト音楽を含んでもよい。コンピューティング装置１０４は、音声データを分析して、オーディオ音楽１１０のビート情報を決定するように構成されている。例えば、コンピューティング装置１０４は、自動ビート追跡アルゴリズムにより、各ビートのビート特性を決定してもよい。いくつかの態様において、音楽ビート特性化結果をメタデータとして音楽に埋め込んでもよいことを、理解すべきである。音楽ビート特性化結果は、オーディオ音楽１１０のアクセントのあるビート及びアクセントのないビートの数及び相対的位置を含んでもよい。例えば、オーディオ音楽１１０が４／４ビート構造を有する場合、各セクションは、強ビート、弱ビート、中強ビート、弱ビートである、異なるビート強さを有する４つのビートを有する。

【0024】

セグメンテーション輪郭エフェクトは、ビデオデータ内の１つ又は複数のボディセグメントに追加されるセグメンテーション輪郭エフェクトの挙動を定義する輪郭エフェクトパラメータを含む。いくつかの態様において、輪郭エフェクトパラメータは、セグメンテーション輪郭エフェクトが適用される１つ又は複数のボディセグメント、及びビデオクリップに亘っるセグメンテーション輪郭エフェクト適用のために前記１つ又は複数のボディセグメントをどのように選択するかを定義してもよいが、これらに限定されない。輪郭エフェクトパラメータはさらに、各ボディセグメントごとに、セグメンテーション輪郭の色、幅、高さ、厚さ及び明るさを定義してもよい。さらに、輪郭エフェクトパラメータは、ビデオクリップに追加される特定のボディセグメントについての複数のセグメンテーション輪郭を定義してもよい。これにより、セグメンテーション輪郭エフェクトのパラメータは、オーディオ音楽とビデオクリップとに基づいて周期的に（例えば、各ビートごとに）更新されてもよい。言い換えれば、音声－ビデオ同期により、セグメンテーション輪郭エフェクトが音楽ビートに反応することが可能になる。

【0025】

さらに、コンピューティング装置１０４はさらに、音声データに基づいて、ビデオデータに適用されるセグメンテーション輪郭エフェクトを決定するように構成されている。例示的な態様において、セグメンテーション輪郭エフェクトは各ビートごとに変化する。言い換えれば、選択されたオーディオ音楽のビートは、１つ又は複数のボディセグメント上のセグメンテーション輪郭エフェクトの視覚変化を制御する。

【0026】

いくつかの態様において、ユーザは、輪郭エフェクトパラメータにより定義される１つ又は複数のボディセグメントの境界を囲む特定のエフェクトを有するセグメンテーション輪郭を生成するために、ビデオクリップ１０８に適用されるセグメンテーション輪郭エフェクトを選択してもよい。セグメンテーション輪郭エフェクトは、１つ又は複数の輪郭エフェクトパラメータを含む。輪郭エフェクトパラメータは、セグメンテーション輪郭エフェクトが適用される１つ又は複数のボディセグメントと、ビデオクリップに亘っるセグメンテーション輪郭エフェクト適用のために前記１つ又は複数のボディセグメントをどのように選択するかと、を定義する。例えば、セグメンテーション輪郭エフェクトは、ビデオクリップ全体で特定のボディセグメントセットにランダムに適用されてもよい。代替として、セグメンテーション輪郭エフェクトは、特定のシーケンス（例えば、頭から足指まで）でビデオクリップに適用されてもよい。代替として、セグメンテーション輪郭エフェクトは、音楽のビート強さに基づいて、特定のボディセグメントに適用されてもよい。例えば、頭部を強ビートに、トップスを弱ビートに、ズボンを中強ビートに割り当ててもよい。

【0027】

さらに、輪郭エフェクトパラメータはさらに、各ボディセグメントごとに、セグメンテーション輪郭の色、幅、高さ、厚さ及び明るさを定義してもよい。例えば、オレンジを頭部に、緑を顔面に、赤を胴体皮膚に、青緑をトップスに、青をズボンに、紫を手に、ピンクを足に割り当ててもよい。いくつかの態様において、セグメンテーション輪郭の厚さ及び明るさは、音楽のビート強さに基づいている。例えば、セグメンテーション輪郭は、強ビートでは厚く明るくなり、弱ビートでは細く暗くなる。

【0028】

さらに、輪郭エフェクトパラメータは、ビデオクリップに追加される特定のボディセグメントについての複数のセグメンテーション輪郭を定義してもよい。セグメンテーション輪郭の数は、ボディセグメント及び／又はビート強さと関連付けられてもよい。例えば、特定のボディセグメントの周囲には、強ビートについては５つのセグメンテーション輪郭が生成され、中強ビートについては３つのセグメンテーション輪郭が生成され、弱ビートについては１つのセグメンテーション輪郭が生成される。

【0029】

コンピューティング装置１０４は、セグメンテーション輪郭エフェクトをオーディオ音楽の音楽ビートと同期させて、コンピューティング装置１０４に通信可能に結合されたディスプレイ（例えば、ディスプレイ ６０５）上でユーザに提示できる、該セグメンテーション輪郭エフェクトを有するレンダリングされたビデオを生成するように配置されている。ユーザがビデオを撮影しているときに、ユーザ１０２がディスプレイ上で１つ又は複数のボディセグメントの周囲のセグメンテーション輪郭エフェクトを見ることを可能にするために、セグメンテーション輪郭エフェクトをリアルタイム又はほぼリアルタイムに音楽ビートと同期させてもよいことを、理解すべきである。

【0030】

代替として又は追加として、セグメンテーション輪郭エフェクトは、サーバ１０６により音楽ビートと同期されてもよい。このような態様において、ビデオクリップ１０８がサーバ１０６にアップロードされると、セグメンテーション輪郭エフェクトをビデオクリップ１０８に適用してセグメンテーション輪郭エフェクトをレンダリングしてもよい。

【0031】

ここで図２を参照し、本開示の一例にかかるコンピューティング装置２０２を提供する。コンピューティング装置２０２は、先に図１で説明されたコンピューティング装置１０４と同じ又は類似してもよい。コンピューティング装置２０２は、通信インターフェース２０４と、プロセッサ２０６と、コンピュータ可読ストレージ２０８とを備えてもよい。一例において、通信インターフェース２０４は、ネットワークに結合され、ビデオクリップ１０８及びオーディオ音楽１１０（図１）を受信してもよい。ビデオクリップ１０８（図１）は、ビデオフレーム２４６として記憶されてもよく、音楽１１０は、音声データ２４８として記憶されてもよい。

【0032】

いくつかの例において、１つ又は複数の輪郭エフェクトは、通信インターフェース２０４において受信され、輪郭エフェクトデータ２５２として記憶されてもよい。輪郭エフェクトデータ２５２は、１つ又は複数の輪郭エフェクトパラメータを含んでもよい。輪郭エフェクトパラメータは、セグメンテーション輪郭エフェクトが適用される１つ又は複数のボディセグメントと、ビデオクリップに亘っるセグメンテーション輪郭エフェクト適用のために前記１つ又は複数のボディセグメントをどのように選択するかと、を定義してもよいが、これらに限定されない。輪郭エフェクトパラメータはさらに、各ボディセグメントごとに、セグメンテーション輪郭の色、幅、高さ、厚さ及び明るさを定義してもよい。さらに、輪郭エフェクトパラメータは、ビデオクリップに追加される特定のボディセグメントについての複数のセグメンテーション輪郭を定義してもよい。

【0033】

一例において、１つ又は複数のアプリケーション２１０は、コンピューティング装置１０４により提供されてもよい。該１つ又は複数のアプリケーション２１０は、ビデオ処理モジュール２１２と、音声処理モジュール２１４と、セグメンテーション輪郭エフェクトモジュール２１６とを含んでもよい。ビデオ処理モジュール２１２は、ビデオ取得マネージャ２２４とボディセグメント識別部２２６とを含んでもよい。ビデオ取得マネージャ２２４は、１つ又は複数のビデオフレームを含むビデオデータを受信するか、取得するか、又は他の方法で得るように構成されている。さらに、ボディセグメント識別部２２６は、フレーム内の１つ又は複数のターゲットボディの１つ又は複数のボディセグメントを識別するように構成されている。例示的な態様において、ターゲットボディは人間である。例えば、ボディセグメンテーションアルゴリズムは、ビデオクリップ１０８から識別され抽出されるボディセグメントのリストを定義してもよい。ボディセグメントは、頭部（例えば、髪の毛、帽子）、顔面（例えば、顔、眼鏡、マスク）、胴体皮膚、トップス（例えば、ジャケット、ワンピース、コート、スカーフ）、ボトムス（例えば、ズボン、半ズボン、スカート）、手（例えば、腕皮膚、手袋）及び脚（例えば、脚皮膚、靴、靴下）を含んでもよいが、これらに限定されない。いくつかの例において、ボディセグメントリストは、通信インターフェース２０４において受信され、ボディセグメント２５０として記憶されてもよい。いくつかの態様において、ボディセグメントリストはサーバ（例えば１０６）から受信されてもよい。

【0034】

さらに、音声処理モジュール２１４は、音声収集マネージャ２３２とビート情報決定部２３４とを含んでもよい。音声取得マネージャ２３２は、音声データを受信するか、取得するか、又は他の方法で得るように構成される。ビート情報決定部２３４は、音声データのビート情報を決定するように構成される。例えば、自動ビート追跡アルゴリズムを使用してビート情報を決定してもよい。いくつかの態様において、ビート情報は、メタデータとして音声データに埋め込まれていてもよい。他の態様において、ビート情報は、通信インターフェース２０４において受信され、音声データ２４８として記憶されてもよい。ビート情報は、各ビートのビート特性を提供する。ビート特性は、ビート構造と、強ビートと弱ビートの繰り返しシーケンスと、アクセントのあるビートとアクセントのないビートの数と、アクセントのあるビートとアクセントのないビートの相対的位置とを含むが、これらに限定されない。例えば、オーディオ音楽が４／４ビート構造を有する場合、各セクションは、強ビート、弱ビート、中強ビート、弱ビートである、異なるビート強さを有する４つのビートを有する。

【0035】

さらに、セグメンテーション輪郭エフェクトモジュール２１６は、セグメンテーション輪郭エフェクト決定部２３８と、セグメンテーション輪郭エフェクト同期部２４０と、シェーダ２５６とをさらに含んでもよい。セグメンテーション輪郭エフェクト決定部２３８は、音声データに基づいて、ビデオデータに適用されるセグメンテーション輪郭エフェクトを決定する。例示的な態様において、セグメンテーション輪郭エフェクトの視覚化が各ビートごとに変化する。言い換えれば、選択されたオーディオ音楽のビートは、１つ又は複数のボディセグメント上のセグメンテーション輪郭エフェクトの視覚変化を制御する。

【0036】

例えば、セグメンテーション輪郭エフェクトは、１つ又は複数の輪郭エフェクトパラメータを含む。輪郭エフェクトパラメータは、セグメンテーション輪郭エフェクトが適用される１つ又は複数のボディセグメントと、ビデオクリップに亘っるセグメンテーション輪郭エフェクト適用のために前記１つ又は複数のボディセグメントをどのように選択するかと、を定義する。例えば、セグメンテーション輪郭エフェクトは、ビデオクリップ全体で特定のボディセグメントセットにランダムに適用されてもよい。代替として、セグメンテーション輪郭エフェクトは、特定のシーケンス（例えば、トップスからボトムスまで）でビデオクリップに適用されてもよい。代替として、セグメンテーション輪郭エフェクトは、音楽のビート強さに基づいて、特定のボディセグメントに適用されてもよい。例えば、頭部を強ビートに、トップスを弱ビートに、ズボンを中強ビートに割り当ててもよい。

【0037】

さらに、輪郭エフェクトパラメータはさらに、特定のボディセグメントに適用されるセグメンテーション輪郭の色、幅、高さ、厚さ及び明るさを定義してもよい。例えば、オレンジを頭部に、緑を顔面に、赤を胴体皮膚に、青緑をトップスに、青をズボンに、紫を手に、ピンクを足に割り当ててもよい。いくつかの態様において、セグメンテーション輪郭の厚さ及び明るさは、音楽のビート強さに基づくものである。例えば、セグメンテーション輪郭は、強ビートでは厚く明るくなり、弱ビートでは細く暗くなる。

【0038】

さらに、輪郭エフェクトパラメータは、ビデオクリップに追加される特定のボディセグメントについての複数のセグメンテーション輪郭を定義してもよい。セグメンテーション輪郭の数は、ボディセグメント及び／又はビート強さと関連付けられてもよい。例えば、特定のボディセグメントの周囲には、強ビートについては５つのセグメンテーション輪郭が生成され、中強ビートについては３つのセグメンテーション輪郭が生成され、弱ビートについては１つのセグメンテーション輪郭が生成されてもよい。

【0039】

セグメンテーション輪郭エフェクト同期部２４０は、セグメンテーション輪郭エフェクトを、選択されたオーディオ音楽の音楽ビートと同期させて、セグメンテーション輪郭エフェクトを有するレンダリングされたビデオを生成するように構成されている。セグメンテーション輪郭エフェクト同期部２４０は、シェーダ２５６を含むか、又はシェーダ２１８と通信する。シェーダ２５６は、輪郭エフェクトパラメータを受信するように構成されている。輪郭エフェクトパラメータに基づいて、シェーダ２５６は、エフェクトを生成するか、又はエフェクトをレンダリングさせるように構成される。例えば、シェーダ２５６は、セグメンテーション輪郭エフェクトのセグメンテーション輪郭に関連付けられる視覚エフェクトを変化させてもよい。セグメンテーション輪郭エフェクトは、ブラー（ｂｌｕｒ）、ライトブルーム（例えば、発光）、照明（ｌｉｇｈｔ ｂｌｏｏｍ、例えば、シャドウ（ｓｈａｄｏｗ）、ハイライト（ｈｉｇｈｌｉｇｈｔ）、及び半透明（ｔｒａｎｓｌｕｃｅｎｃｙ））、バンプマッピング（ｂｕｍｐ ｍａｐｐｉｎｇ）、及びディストーション（ｄｉｓｔｏｒｔｉｏｎ）の生成を含むが、これらに限定されない。

【0040】

図３Ａ～図３Ｃは、本開示の例にかかる、セグメンテーション輪郭エフェクトを有するビデオクリップのビデオフレーム３１０、３２０、３３０の例を示す。例示的な例において、ビデオフレーム３１０、３２０、３３０は、３つの連続するビートについてのセグメンテーション輪郭エフェクトを示す。具体的には、例示的なセグメンテーション輪郭エフェクトは、３つのボディセグメントが、ビートの変化に伴って、頭部、トップス及びズボンから順に抽出され、適用されることを示す１つ又は複数の輪郭エフェクトパラメータを含む。ビート１において、セグメンテーション輪郭３０２は、図３Ａに示すように頭部の境界輪郭を描く。ビート２において、セグメンテーション輪郭３０２は、図３Ｂに示すようにトップスの境界輪郭を描くように移動する。ビート３において、セグメンテーション輪郭３０２は、図３Ｃに示すようにズボンの境界輪郭を描くようにさらに移動する。

【0041】

ここで図４を参照し、本開示の例にかかる、音声データに基づいて１つ又は複数のセグメンテーション輪郭エフェクトをビデオデータにレンダリングするための簡略化された方法を説明する。方法４００のステップの一般的な順序が図４に示される。一般的に、方法４００は４０２で始まり、４３２で終わる。方法４００は、より多くのステップ又はより少ないステップを含むことができ、又は、ステップの順序を図４に示されたステップとは異なるように構成することができる。方法４００は、コンピュータシステムによって実行されるコンピュータ実行可能な命令のセットとして実行され、コンピュータ可読媒体上に符号化又は記憶されることができる。例示的な態様において、方法４００は、ユーザ（例えば、１０２）に関連付けられたコンピューティング装置によって実行される。しかしながら、方法４００の態様は、１つ又は複数のプロセッシング装置、例えば、コンピュータ又はサーバ（例えば、１０４、１０６）により実行されてもよいことを、理解すべきである。さらに、方法４００は、プロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、システムオンチップ（ＳＯＣ）、ニューラルプロセッシングユニット、又は他のハードウェア装置に関連付けられるゲート又は回路によって実行することができる。以下では、方法４００は、図１～図３に関連して説明されたシステム、コンポーネント、モジュール、ソフトウェア、データ構造、ユーザインターフェース等を参照して説明すべきである。

【0042】

方法４００は４０２において始まり、フローはプロセス４０４に進んでもよい。４０４において、コンピューティング装置は、１つ又は複数のビデオフレームを含むビデオデータ（例えば、ビデオクリップ１０８）を受信する。例えば、ユーザ１０２は、コンピューティング装置を介して、ビデオクリップ１０８を生成するか、受信するか、取得するか、又はその他の方法で得てもよい。４０８において、コンピューティング装置は、ビデオデータの各フレームを処理して、フレーム内の１つ又は複数のターゲットボディのボディセグメントを識別する。例えば、ボディセグメンテーションアルゴリズムは、ビデオクリップ１０８から識別され抽出されるボディセグメントのリストを定義してもよい。ボディセグメントは、頭部（例えば、髪の毛、帽子）、顔面（例えば、顔、眼鏡、マスク）、胴体皮膚、トップス（例えば、ジャケット、ワンピース、コート、スカーフ）、ボトムス（例えば、ズボン、半ズボン、スカート）、手（例えば、腕皮膚、手袋）及び脚（例えば、脚皮膚、靴、靴下）を含んでもよいが、これらに限定されない。例示的な態様において、ボディセグメントのリストは、ボディセグメンテーションアルゴリズムにより定義されてもよい。

【0043】

開始４０２を再び参照し、方法４００は４１２に進んでもよい。コンピューティング装置が操作４０４及び４１２を同時に実行してもよいことを、理解すべきである。代替として、操作４１２は、操作４０４の後に実行されてもよい。いくつかの態様において、操作４０４は、操作４１２の後に実行されてもよい。

【0044】

４１２において、コンピューティング装置は、ユーザ１０２により選択された、ビデオデータに追加される音声データ（例えば、オーディオ音楽１１０）を受信する。次いで、４１６において、コンピューティング装置は、音声データを分析して、オーディオ音楽１１０のビート情報を決定する。例えば、コンピューティング装置は、自動ビート追跡アルゴリズムにより、各ビートのビート特性を決定する。ビート特性は、ビート構造と、強ビートと弱ビートの繰り返しシーケンスと、アクセントのあるビートとアクセントのないビートの数と、アクセントのあるビートとアクセントのないビートの相対的位置とを含むが、これらに限定されない。例えば、オーディオ音楽１１０が４／４ビート構造を有する場合、各セクションは、強ビート、弱ビート、中強ビート、弱ビートである、異なるビート強さを有する４つのビートを有する。

【0045】

操作４０４～４１６においてビデオデータと音声データとが受信され、分析されると、方法４００は４２０に進む。４２０において、コンピューティング装置は、音声データに基づいて、ビデオデータに適用されるセグメンテーション輪郭エフェクトを決定する。例示的な態様において、セグメンテーション輪郭エフェクトは各ビートごとに変化する。言い換えれば、オーディオ音楽のビートは、１つ又は複数のボディセグメント上のセグメンテーション輪郭エフェクトの変化を制御する。

【0046】

以上に説明したように、ユーザは、輪郭パラメータにより定義される１つ又は複数のボディセグメントの境界を囲む特定のエフェクトを有するセグメンテーション輪郭を生成するために、ビデオクリップに適用されるセグメンテーション輪郭エフェクトを選択してもよい。セグメンテーション輪郭エフェクトは、１つ又は複数の輪郭エフェクトパラメータを含む。輪郭エフェクトパラメータは、セグメンテーション輪郭エフェクトが適用される１つ又は複数のボディセグメントと、ビデオクリップに亘ったセグメンテーション輪郭エフェクト適用のために前記１つ又は複数のボディセグメントをどのように選択するかと、を定義する。例えば、セグメンテーション輪郭エフェクトは、ビデオクリップ全体で特定のボディセグメントセットにランダムに適用されてもよい。代替として、セグメンテーション輪郭エフェクトは、特定のシーケンス（例えば、頭から足指まで）でビデオクリップに適用されてもよい。代替として、セグメンテーション輪郭エフェクトは、音楽のビート強さに基づいて、特定のボディセグメントに適用されてもよい。例えば、頭部を強ビートに、トップスを弱ビートに、ズボンを中強ビートに割り当ててもよい。

【0047】

さらに、輪郭エフェクトパラメータはさらに、各ボディセグメントごとに、セグメンテーション輪郭の色、幅、高さ、厚さ及び明るさを定義してもよい。例えば、オレンジを頭部に、緑を顔面に、赤を胴体皮膚に、青緑をトップスに、青をズボンに、紫を手に、ピンクを足に割り当ててもよい。いくつかの態様において、セグメンテーション輪郭の厚さ及び明るさは、音楽のビート強さに基づくものである。例えば、セグメンテーション輪郭は、強ビートでは厚く明るくなり、弱ビートでは細く暗くなる。

【0048】

さらに、輪郭エフェクトパラメータは、ビデオクリップに追加される特定のボディセグメントについての複数のセグメンテーション輪郭を定義してもよい。セグメンテーション輪郭の数は、ボディセグメント及び／又はビート強さと関連付けられてもよい。例えば、特定のボディセグメントの周囲には、強ビートについては５つのセグメンテーション輪郭が生成され、中強ビートについては３つのセグメンテーション輪郭が生成され、弱ビートについては１つのセグメンテーション輪郭が生成されてもよい。

【0049】

その後、４２４において、セグメンテーション輪郭エフェクトを、選択されたオーディオ音楽の音楽ビートと同期させて、セグメンテーション輪郭エフェクトを有するレンダリングされたビデオを生成する。４２８において、コンピューティング装置は、ディスプレイ（例えば、ディスプレイ ６０５）上で、セグメンテーション輪郭エフェクトを有するレンダリングされたビデオをユーザに提示する。ユーザがビデオを撮影しているときに、ユーザ１０２がディスプレイ（例えば、ディスプレイ６０５）上で１つ又は複数のボディセグメントの周囲のセグメンテーション輪郭エフェクトを見ることを可能にするために、セグメンテーション輪郭エフェクトをリアルタイム又はほぼリアルタイムに音楽ビートと同期させてもよいことを、理解すべきである。方法は、４３２において終了してもよい。

【0050】

方法４００は、ユーザに関連付けられるコンピューティング装置により実行されると説明したが、方法４００の１つ又は複数の操作は、任意のコンピューティング装置又はサーバ（例えば、サーバ１０６）により実行されてもよいことを、理解すべきである。例えば、セグメンテーション輪郭エフェクトと音楽ビートとの同期は、ユーザに関連付けられるコンピューティング装置から音楽とビデオクリップとを受信するサーバにより実行されてもよい。

【0051】

図５は、本開示の態様を実施するために利用可能なコンピューティング装置５００の物理的コンポーネント（例えば、ハードウェア）を示すブロック図である。以下に説明するコンピューティング装置コンポーネントは、上述したコンピューティング装置に適することができる。例えば、コンピューティング装置５００は、図１のコンピューティング装置１０４に相当する。基本的な構成として、コンピューティング装置５００は、少なくとも１つのプロセッシングユニット５０２とシステムメモリ５０４とを含んでもよい。コンピューティング装置の構成及び種類によっては、システムメモリ５０４は、揮発性ストレージ（例えば、ランダムアクセスメモリ）、不揮発性ストレージ（例えば、リードオンリーメモリ）、フラッシュメモリ、又はこのようなメモリの任意の組み合わせを含んでもよいが、これらに限定されない。

【0052】

システムメモリ５０４は、オペレーティングシステム５０５と、本明細書に開示される様々な態様を実行するのに適する１つ又は複数のプログラムモジュール５０６とを含んでもよい。例えば、オペレーティングシステム５０５は、コンピューティング装置５００の操作を制御するように適してもよい。さらに、本開示の態様は、グラフィックライブラリ、他のオペレーティングシステム、又は任意の他のアプリケーションプログラムに関連して実行されてもよいが、任意の特定のアプリケーション又はシステムに限定されない。この基本的な構成は、破線５０８内のそれらの構成要素によって図５に示される。コンピューティング装置５００は、追加の特徴又は機能を有してもよい。例えば、コンピューティング装置５００は、磁気ディスク、光ディスク、又はテープなどの追加のデータストレージ装置（取外し可能な装置及び／又は取外し不可能な装置）をさらに備えてもよい。このような追加のストレージは、図５において、取り外し可能なストレージ装置５０９と取り外し不可能なストレージ装置５１０とにより示される。

【0053】

上述したように、複数のプログラムモジュール及びデータファイルがシステムメモリ５０４に記憶されてもよい。プログラムモジュール５０６は、少なくとも１つのプロセッシングユニット５０２上で実行される場合、本明細書で説明されるような１つ又は複数の態様を含むがこれらに限定されないプロセスを実行してもよい。アプリケーション５２０は、図１を参照してより詳細に説明するように、ビデオ処理モジュール５２３と、音声処理モジュール５２４と、セグメンテーション輪郭エフェクトモジュール５２５と、シェーダモジュール５２７とを含む。本開示の態様に従って使用できる他のプログラムモジュールは、電子メール及び連絡先アプリケーション、ワープロアプリケーション、スプレッドシートアプリケーション、データベースアプリケーション、スライドプレゼンテーションアプリケーション、製図プログラム、又はコンピュータ支援アプリケーションプログラムなど、及び／又は本明細書で説明されたシステムによりサポートされる１つ又は複数のコンポーネントを含んでもよい。

【0054】

さらに、本開示の態様は、個別電子部品を含む電気回路、論理ゲートを含むパッケージチップ又は集積電子チップ、マイクロプロセッサを利用する回路、又は電子部品又はマイクロプロセッサを含む単一のチップ内で実施されてもよい。例えば、本開示の態様は、図５に示される各コンポーネント又は複数のコンポーネントが単一の集積回路上に集積化することが可能であるシステムオンチップ（ＳＯＣ）を介して実施されてもよい。このようなＳＯＣ装置は、一つ又は複数のプロセッシングユニット、グラフィックスユニット、通信ユニット、システム仮想化ユニット、及び様々なアプリケーション機能を含んでもよく、これらの全てが単一の集積回路としてチップ基板上に集積化される（又は「焼かれる」）。ＳＯＣを介して操作する場合、本明細書に記載された、クライアントがプロトコルを切り替える能力に関する機能は、単一の集積回路（チップ）上のコンピューティング装置５００の他のコンポーネントと集積化された特定用途向けロジックを介して動作してもよい。本開示の態様はまた、ＡＮＤ、ＯＲ、及びＮＯＴなどの論理演算を実行できる、機械、光学、流体、及び量子技術を含むがそれらに限定されない他の技術を使用して実施されてもよい。さらに、本開示の態様は、汎用コンピュータ内で、又は任意の他の回路又はシステム内で実施されてもよい。

【0055】

コンピューティング装置５００はまた、キーボード、マウス、ペン、音響又は音声入力装置、タッチ又はスワイプ入力装置など、１つ又は複数の入力装置５１２を有してもよい。ディスプレイ、スピーカ、プリンタなどの出力装置５１４Ａも含まれてもよい。仮想ディスプレイに対応する出力５１４Ｂが含まれてもよい。上記の装置は例であり、他の装置を使用してもよい。コンピューティング装置５００は、他のコンピューティング装置４５０との通信を可能にする１つ又は複数の通信接続５１６を含んでもよい。好適な通信接続５１６の例は、無線周波数（ＲＦ）送信機、受信機、及び／又はトランシーバ回路、ユニバーサルシリアルバス（ＵＳＢ）、パラレルポート、及び／又はシリアルポートを含むが、これらに限定されない。

【0056】

本明細書で使用されるコンピュータ可読媒体という用語は、コンピュータ記憶媒体を含むことができる。コンピュータ記憶媒体は、コンピュータ可読命令、データ構造、又はプログラムモジュールのような、情報を記憶するための任意の方法又は技術で実現される揮発性及び不揮発性の取り外し可能な媒体及び取り外し不可能な媒体を含んでもよい。システムメモリ５０４、取り外し可能なストレージ装置５０９、及び取り外し不可能なストレージ装置５１０は、いずれもコンピュータ記憶媒体の一例（例えば、メモリストレージ）である。コンピュータ記憶媒体は、ＲＡＭ、ＲＯＭ、電気的に消去可能なリードオンリーメモリ（ＥＥＰＲＯＭ）、フラッシュメモリ又は他のメモリ技術、ＣＤ－ＲＯＭ、デジタル多用途ディスク（ＤＶＤ）又は他の光学的ストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ又は他の磁気ストレージ装置、又は情報を記憶するために使用され、コンピューティング装置５００によりアクセス可能な任意の他の製品を含んでもよい。任意のそのようなコンピュータ記憶媒体は、コンピューティング装置５００の一部であってもよい。コンピュータ記憶媒体は、搬送波又は他の伝搬又は変調されたデータ信号を含まない。

【0057】

通信媒体は、コンピュータ可読命令、データ構造、プログラムモジュール、又は変調されたデータ信号内の他のデータ、例えば搬送波又は他の移送機構によって具現化することができるとともに、任意の情報伝達媒体を含んでもよい。「変調されたデータ信号」という用語は、信号内に情報を符号化するように設定又は変更された１つ又は複数の特徴を有する信号を表してもよい。限定ではなく、一例として、通信媒体は、有線ネットワーク又は直接有線接続のような有線媒体、及び音響、無線周波数（ＲＦ）、赤外、及び他の無線媒体のような無線媒体を含んでもよい。

【0058】

図６Ａ及び６Ｂは、本開示の態様を実施するために利用可能な携帯電話、スマートフォン、（スマートウォッチのような）ウェアラブルコンピュータ、タブレットコンピュータ、ラップトップコンピュータ、スマートホーム電器などのような、本明細書に開示された様々な態様を実行するのに適するコンピューティング装置又はモバイルコンピューティング装置６００を示す。図６Ａを参照すると、これらの態様を実現するためのモバイルコンピューティング装置６００の一態様が示される。基本的な構成として、モバイルコンピューティング装置６００は、入力要素と出力要素との両方を有する手持ちコンピュータである。モバイルコンピューティング装置６００は、典型的には、ディスプレイ６０５と、ユーザがモバイルコンピューティング装置６００に情報を入力することを可能にする１つ又は複数の入力ボタン６０９／６１０とを備える。モバイルコンピューティング装置６００のディスプレイ ６０５は、入力装置（例えば、タッチスクリーンディスプレイ）としても機能してもよい。オプションの副入力要素６１５（含まれる場合）によって、別のユーザ入力がさらに可能になる。副入力要素６１５は、ロータリースイッチ、ボタン、又は任意の他のタイプの手動入力要素であってもよい。代替としての態様において、モバイルコンピューティング装置６００は、より多くの入力要素又はより少ない入力要素を組み込んでもよい。例えば、いくつかの態様において、ディスプレイ６０５はタッチスクリーンでなくてもよい。さらに別の代替の態様において、モバイルコンピューティング装置６００は、セルラー電話などの携帯電話システムである。モバイルコンピューティング装置６００はさらに、オプションのキーパッド６３５を含むことができる。オプションのキーパッド６３５は、物理キーパッド又はタッチスクリーンディスプレイ上で生成される「ソフト」キーパッドであってもよい。様々な態様において、出力要素は、グラフィカルユーザインターフェース（ＧＵＩ）を表示するためのディスプレイ６０５と、視覚的インジケータ６３１（例えば、発光ダイオード）と、及び／又は音声トランスデューサ６２５（例えば、スピーカ）とを含む。いくつかの態様において、モバイルコンピューティング装置６００は、ユーザに触覚フィードバックを提供するための振動トランスデューサを組み込んでいる。さらに別の態様において、モバイルコンピューティング装置６００は、音声入力（例えば、マイクロホンジャック）、音声出力（例えば、ヘッドフォンジャック）、及びビデオ出力（例えば、ＨＤＭＩ（登録商標）ポート）のような入力及び／又は出力ポート６３０を組み込むことで、外部ソースとの間で信号の送受信を行う。

【0059】

図６Ｂは、コンピューティング装置、サーバ、又はモバイルコンピューティング装置の一態様のアーキテクチャを示すブロック図である。すなわち、モバイルコンピューティング装置６００は、システム（例えば、アーキテクチャ）６０２を組み込むことで、いくつかの態様を実現することができる。システム６０２は、１つ又は複数のアプリケーション（例えば、ブラウザ、電子メール、カレンダー、連絡先マネージャ、メッセージ通信クライアント、ゲーム、及びメディアクライアント／プレーヤ）を実行することができる「スマートフォン」として実現されてもよい。いくつかの態様において、システム６０２は、統合されたパーソナルデジタルアシスタント（ＰＤＡ）、無線電話などのコンピューティング装置として統合される。

【0060】

１つ又は複数のアプリケーションプログラム６６６は、メモリ６６２にロードされ、オペレーティングシステム６６４上で、又はオペレーティングシステム１１６４に関連して実行してもよい。アプリケーションプログラムの例としては、電話ダイヤルプログラム、電子メールプログラム、個人情報管理（ＰＩＭ）プログラム、ワープロプログラム、スプレッドシートプログラム、インターネットブラウザプログラム、メッセージ通信プログラム、及び／又は本明細書で説明されたシステムによりサポートされる１つ又は複数のコンポーネントなどが含まれる。システム６０２はまた、メモリ６６２内の不揮発性記憶領域６６８を含む。不揮発性記憶領域６６８は、システム６０２の電源が切られたときに失わない永続的な情報を記憶するために使用されてもよい。アプリケーション６６６は、電子メール又は電子メールアプリケーションによって使用される他のメッセージなど、不揮発性記憶領域６６８内の情報を使用し、不揮発性記憶領域１１６８に記憶してもよい。同期アプリケーション（図示せず）もシステム６０２上に常駐し、ホストコンピュータ上に常駐する対応の同期アプリケーションとやり取りして、不揮発性記憶領域６６８に格納される情報とホストコンピュータ上に記憶される対応の情報との同期を維持するようにプログラムされる。他のアプリケーションは、メモリ６６２にロードされ、本明細書で説明されたモバイルコンピューティング装置６００上で動作してもよいことを理解すべきである（例えば、ビデオ処理モジュール５２３、音声処理モジュール５２４、セグメンテーション輪郭エフェクトモジュール５２５など）。

【0061】

システム６０２は、電源６７０を有する。電源６７０は、１つ又は複数のバッテリとして実現されてもよい。電源６７０はさらに、ＡＣアダプタ又はバッテリを補充又は再充電する電源付き格納台などの外部電源を含んでもよい。

【0062】

システム６０２はさらに、無線周波数通信を送受信する機能を実行する無線インターフェース層６７２を含むことができる。無線インターフェース層６７２は、通信キャリア又はサービスプロバイダを介してシステム６０２と「外部世界」との間の無線接続を容易にする。無線インターフェース層６７２との間の送信は、オペレーティングシステム６６４の制御の下で行われる。言い換えれば、無線インターフェース層６７２によって受信される通信は、オペレーティングシステム６６４を介してアプリケーションプログラム６６６に配布することができ、その逆も同様である。

【0063】

視覚的インジケータ６２０は、視覚的通知を提供するために使用することが可能で、及び／又は音声インターフェース６７４は、音声トランスデューサ６２５を介して可聴通知を生成するために使用されてもよい。示された構成として、視覚的インジケータ６２０は発光ダイオード（ＬＥＤ）であり、音声トランスデューサ６２５はスピーカである。これらの装置は、電源６７０に直接結合されることで、起動されたときに、バッテリ電力を節約するためにプロセッサ６６０／６６１及び他の構成要素がオフにされても、通知機構によって指定された継続時間の間、オンにされた状態を維持することができる。ＬＥＤは、ユーザが装置の電源オン状態を示す行動を行うまで、無期限に点灯し続けるようにプログラムされてもよい。音声インターフェース６７４は、ユーザに可聴信号を提供し、ユーザから可聴信号を受信するために使用される。例えば、音声インターフェース６７４は、音声トランスデューサ６２５に結合されることに加えて、マイクロフォンに結合されることで、例えば電話会談を容易にするために、可聴入力を受信してもよい。本開示の態様によれば、マイクロフォンは、以下で説明するように、通知の制御を容易にするために音声センサとして機能してもよい。システム６０２は、オンボードカメラの操作により静止画像、ビデオストリーム等を記録することを可能にするビデオインターフェース６７６をさらに含んでもよい。

【0064】

システム６０２を実現するモバイルコンピューティング装置６００は、追加の特徴又は機能を有してもよい。例えば、モバイルコンピューティング装置６００は、磁気ディスク、光ディスク、又はテープなどの追加のデータストレージ装置（取外し可能な装置及び／又は取外し不可能な装置）をさらに備えてもよい。このような追加のストレージは、図６Ｂにおいて不揮発性記憶領域６６８によって示される。

【0065】

以上で説明されたように、モバイルコンピューティング装置６００によって生成又はキャプチャされ、システム６０２を介して記憶されたデータ／情報は、モバイルコンピューティング装置６００上にローカルに記憶されてもよく、あるいは、データは、無線インターフェース層６７２を介して、又はモバイルコンピューティング装置６００とモバイルコンピューティング装置６００に関連付けられる別のコンピューティング装置（例えば、インターネットなどの、分散型コンピューティングネットワーク内のサーバコンピュータ）との間の有線接続を介して装置からアクセス可能な任意の数の記憶媒体に記憶されてもよい。このようなデータ／情報は、モバイルコンピューティング装置６００を介して、無線インターフェース層６７２を介して、又は分散型コンピューティングネットワークを介してアクセスされてもよいことを、理解すべきである。同様に、このようなデータ／情報は、電子メール及び共同データ／情報共有システムを含む公知のデータ／情報送信及び記憶手段に従って、記憶及び使用のためにコンピューティング装置間で容易に送信されてもよい。

【0066】

図７は、上記で説明されたような、パーソナルコンピュータ７０４、タブレットコンピューティング装置７０６、又はモバイルコンピューティング装置７０８のような遠隔ソースから、本明細書に開示された様々な態様を実行するのに適するコンピューティングシステムにおいて受信されたデータを処理するための、システムのアーキテクチャの一態様を示す。サーバ装置７０２において表示されるコンテンツは、異なる通信チャネル又は他のストレージ類に記憶されてもよい。例えば、コンピューティング装置７０４、７０６、７０８は、図１のコンピューティング装置１０４を表してもよい。サーバ装置７０２は、図１のサーバ１０６を表してもよい。

【0067】

いくつかの態様において、ビデオ処理モジュール７２３、音声処理モジュール７２４及びセグメンテーション輪郭エフェクトモジュール７２５のうちの１つ又は複数は、サーバ装置７０２により実現されてもよい。サーバ装置７０２は、ネットワーク７１２を介して、パーソナルコンピュータ７０４、タブレットコンピューティング装置７０６、及び／又はモバイルコンピューティング装置７０８（例えば、スマートフォン）などのクライアントコンピューティング装置にデータを提供し、クライアントコンピューティング装置からデータが提供されてもよい。一例として、上述したコンピュータシステムは、パーソナルコンピュータ７０４、タブレットコンピューティング装置７０６、及び／又はモバイルコンピューティング装置７０８（例えば、スマートフォン）内で実現されてもよい。図形から始まるシステムにおける前処理又は受信コンピューティングシステムにおける後処理に使用できる図形データを受信することに加えて、コンピューティング装置のこれらの態様のいずれも、ストレージ７１６からコンテンツを取得してもよい。コンテンツストレージは、ビデオデータ７１８と、音声データ７２０と、レンダリングされたビデオデータ７２２とを含んでもよい。

【0068】

図７は、本明細書で開示された１つ又は複数の態様を実行するモバイルコンピューティング装置７０８の一例を示す。さらに、本明細書に記載された態様及び機能は、分散型システム（例えば、クラウドベースのコンピューティングシステム）上で動作してもよいが、ここでは、アプリケーション機能、メモリ、データ記憶及びデータ検索、並びに様々な処理機能は、分散型コンピューティングネットワーク（例えば、インターネット又はイントラネット）上で互いに遠隔的に動作してもよい。様々な種類のユーザインターフェース及び情報は、オンボードコンピューティング装置ディスプレイを介して、又は１つ又は複数のコンピューティング装置に関連付けられる遠隔ディスプレイユニットを介して表示されてもよい。例えば、様々な種類のユーザインターフェースと情報を投影した壁面にこれらの様々な種類のユーザインターフェースと情報を表示してインタラクションすることができる。本発明の態様を実施するために利用できる複数のコンピューティングシステムとのインタラクションは、キーストローク入力、タッチスクリーン入力、音声又は他の音声入力、ジェスチャ入力などを含む。ジェスチャ入力の場合、関連付けられるコンピューティング装置は、コンピューティング装置の機能を制御するためにユーザのジェスチャをキャプチャ及び解釈するための検出（例えば、カメラ）機能を備える。

【0069】

語句「少なくとも１つ」、「１つ又は複数」、「又は」、及び「及び／又は」は、操作において結合的かつ選言的なオープンエンドの表現である。例えば、表現「Ａ、Ｂ及びＣのうちの少なくとも１つ」、「Ａ、Ｂ又はＣのうちの少なくとも１つ」、「Ａ、Ｂ、及びＣのうちの１つ又は複数」、「Ａ、Ｂ、又はＣのうちの１つ又は複数」、「Ａ、Ｂ、及び／又はＣ」、及び「Ａ、Ｂ、又はＣ」の各々は、Ａのみ、Ｂのみ、Ｃのみ、ＡとＢ、ＡとＣ、ＢとＣ、又はＡ、Ｂ及びＣを意味する。

【0070】

「１つの」エンティティという用語は、１つ又は複数の該エンティティを意味する。したがって、用語「１つ」、「１つ又は複数」、及び「少なくとも１つ」は、本明細書では互換的に使用されてもよい。また、用語「備える」、「含む」、及び「有する」が互換的に使用されてもよいことにも注意すべきである。

【0071】

本明細書で使用される用語「自動」及びその変形は、プロセス又は操作が実行されるときに重要な手動入力なしになされる、通常は連続的又は半連続的な任意のプロセス又は操作を指す。しかしながら、重要又は重要ではない手動入力を用いたとしても、入力がプロセス又は操作の実行前に受け付けられたのであれば、該プロセス又は操作の実行は、自動的に行うことができる。手動入力がプロセス又は操作の実行方式に影響を与える場合、そのような手動入力は重要な入力とみなされる。プロセス又は操作の実行を同意するための手動入力は、「実質的」とはみなされない。

【0072】

本明細書で論議されるステップ、機能、及び操作のいずれも、連続的かつ自動的に実行されてもよい。

【0073】

本開示の例示的なシステム及び方法は、コンピューティング装置に関連して説明されてきた。しかしながら、本開示を不必要に不明瞭にすることを避けるために、前述の説明ではいくつかの既知の構造及び装置を省略した。この省略は限定として解釈すべきではない。本開示への理解を提供するために、特定の詳細は説明される。しかしながら、本開示は、本明細書に記載された特定の詳細に加えて、様々な方法で実施されてもよいことを理解すべきである。

【0074】

さらに、本明細書で示された例示的態様において、システムの様々なコンポーネントがともに配置されることが示されるが、システムのいくつかのコンポーネントは、ＬＡＮ及び／又はインターネットのような分散型ネットワークの遠位部分に遠隔的に配置されてもよく、又は専用システム内に配置されてもよい。したがって、システムのコンポーネントは、１つ又は複数の装置、例えばサーバ、通信装置に結合されてもよく、あるいは、アナログ及び／又はデジタル電気通信ネットワーク、パケット交換ネットワーク、又は回線交換ネットワークのような分散型ネットワークの特定のノード上にともに配置されてもよいことを、理解すべきである。前述の説明から理解されるように、コンピューティング効率の理由から、システムのコンポーネントは、システムの操作に影響を与えることなく、コンポーネントの分散型ネットワーク内の任意の場所に配置されてもよい。

【0075】

さらに、要素を接続する様々なリンクは、有線リンク又は無線リンク、又はそれらの任意の組み合わせ、若しくは接続される要素にデータを提供し、及び／又は接続される要素からデータを通信することができる他の既知の又は将来開発される任意の要素であってもよいことを、理解すべきである。これらの有線又は無線リンクも、安全なリンクであり、暗号化された情報を通信可能である。例えば、リンクとして使用される伝送媒体は、同軸ケーブル、銅線、及び光ファイバを含む電気信号の任意の適切なキャリアであってもよい。例えば、無線電波及び赤外データ通信中に生成されるような音波又は光波の形態をとることができる。

【0076】

特定のイベントシーケンスに関連してフローチャートを議論し、例示してきたが、開示される構成及び態様の操作に実質的に影響を与えることなく、シーケンスに対する変更、追加、及び省略があってもよいことを、理解すべきである。

【0077】

本開示のいくつかの変更及び修正を使用することができる。本開示のいくつかの特徴を提供し、他の特徴を提供しないことも可能である。

【0078】

さらに別の構成において、本開示のシステム及び方法は、専用コンピュータ、プログラムされたマイクロプロセッサ又はマイクロコントローラ及び周辺集積回路素子、ＡＳＩＣ又は他の集積回路、デジタル信号プロセッサ、ハードワイヤード電子回路又は論理回路（例えば、ディスクリート素子回路）、プログラマブル論理装置又はゲートアレイ（例えば、ＰＬＤ、ＰＬＡ、ＦＰＧＡ、ＰＡＬ）、専用コンピュータ、任意の類似の装置などと組み合わせて実施することができる。全体として、本開示の様々な態様を実施するために、本明細書に示される方法を実施することができる任意の装置又は手段を使用することができる。本開示に使用されることができる例示的なハードウェアは、コンピュータ、手持ち装置、電話（例えば、セルラー電話、インターネット対応電話、デジタル電話、アナログ電話、ハイブリッド電話など）、及び当分野で知られている他のハードウェアを含む。これらの装置のいくつかは、プロセッサ（例えば、単一又は複数のマイクロプロセッサ）、メモリ、不揮発性ストレージ、入力装置、及び出力装置を備える。本明細書に記載された方法を実現するために、さらに、分散型処理又はコンポーネント／オブジェクト分散型処理、並列処理、又は仮想マシン処理を含むがこれらに限定されない代替のソフトウェア実現を構築してもよい。

【0079】

さらに別の構成において、開示された方法は、様々なコンピュータ又はワークステーションプラットフォーム上で使用可能な移植可能なソースコードを提供するオブジェクト又はオブジェクト指向ソフトウェア開発環境を使用するソフトウェアと組み合わせて容易に実施することができる。代替として、開示されたシステムは、標準論理回路又はＶＬＳＩ設計を使用して部分的に又は完全にハードウェアで実装されてもよい。本開示にかかるシステムを実現するためにソフトウェア又はハードウェアを使用するか否かは、システムの速度及び／又は効率要件、特定の機能、及び使用されている特定のソフトウェア又はハードウェアシステム又はマイクロプロセッサ又はマイクロコンピュータシステムに依存する。

【0080】

さらに別の構成において、開示された方法は、記憶媒体上に記憶され、コントローラとメモリとが協働するようにプログラムされる汎用コンピュータ、専用コンピュータ、マイクロプロセッサなどの上で実行されることができるソフトウェアで部分的に実現されてもよい。これらのインスタンスにおいて、本開示のシステム及び方法は、サーバ又はコンピュータワークステーション上に常駐するリソースとして、また専用の測定システム、システムコンポーネントなどに組み込まれるルーチンとして、パーソナルコンピュータ上に組み込まれるプログラム、例えば、アプレット、ＪＡＶＡ（登録商標）、又はＣＧＩスクリプトとして実装することができる。システム及び／又は方法を、ソフトウェア及び／又はハードウェアシステムに物理的に組み込むことにより、システムを実現することもできる。

【0081】

本開示は、説明された規格及びプロトコルに限定されない。本明細書に記載されていない他の類似の規格及びプロトコルは既に存在し、本開示に含まれる。さらに、本明細書に記載された規格及びプロトコル、及び本明細書に記載されていない他の類似の規格及びプロトコルは、実質的に同じ機能を有するより高速又はより効率的な均等物に周期的に置き換えられる。同じ機能を有するこのような代替の規格及びプロトコルは、本開示に含まれる均等物であると考えられる。

【0082】

様々な設定及び態様において、本開示は、それらの様々な組合せ、サブ組合せ、及びサブセットを含む、本明細書で図示及び説明されるようなコンポーネント、方法、プロセス、システム、及び／又は装置を含む。当業者は、本開示を理解できれば、本開示のシステム及び方法をどのように製造及び使用するかを理解するであろう。本開示は、様々な構成及び態様において、以前の装置又はプロセスで例えばパフォーマンスを向上させ、使いやすさを実現し、及び／又は実現コストを低減するために使用されていた可能性のある項目がない状態を含み、本明細書で又はその様々な構成又は態様において図示及び／又は記載されていない項目がない状態で、装置及びプロセスを提供することを含む。

【0083】

（Ａ１） 一態様において、いくつかの例は、セグメンテーション輪郭エフェクトをレンダリングするための方法を含む。前記方法は、コンピューティング装置により、１つ又は複数のビデオフレームを含むビデオデータを取得することと、前記コンピューティング装置により、前記１つ又は複数のビデオフレームのそれぞれにおける１つ又は複数のセグメントを決定することと、前記コンピューティング装置により、音声データ取得することと、前記コンピューティング装置により、各ビートのビート特性を決定するように、前記音声データを分析することと、前記コンピューティング装置により、前記ビート特性に基づいて前記ビデオデータ内の前記１つ又は複数のセグメントに適用されるセグメンテーション輪郭エフェクトを決定することと、前記コンピューティング装置により、前記セグメンテーション輪郭エフェクトを音声データと同期させることにより、レンダリングされたビデオを生成することと、を含む。

【0084】

（Ａ２） Ａ１のいくつかの例において、前記セグメンテーション輪郭エフェクトは、前記１つ又は複数のセグメントに適用される前記セグメンテーション輪郭エフェクトの１つ又は複数の挙動を定義する輪郭エフェクトパラメータを含む。

【0085】

（Ａ３） Ａ１～Ａ２のいくつかの例において、輪郭エフェクトパラメータは、セグメンテーション輪郭エフェクトが適用される１つ又は複数のセグメント、又はビデオクリップに亘っるセグメンテーション輪郭エフェクト適用のために前記１つ又は複数のセグメントをどのように選択するかを定義する。

【0086】

（Ａ４） Ａ１～Ａ３のいくつかの例において、前記輪郭エフェクトパラメータは、各セグメントごとに、セグメンテーション輪郭の色、幅、高さ、厚さ及び明るさを定義する。

【0087】

（Ａ５） Ａ１～Ａ４のいくつかの例において、前記輪郭エフェクトパラメータは、前記ビート特性に基づいて前記ビデオクリップに追加される特定のセグメントについての複数のセグメンテーション輪郭を定義する。

【0088】

（Ａ６） Ａ１～Ａ５のいくつかの例において、前記セグメンテーション輪郭エフェクトを音声データと同期させることにより前記レンダリングされたビデオを生成することは、前記コンピューティング装置により、前記輪郭エフェクトパラメータに基づいて、ディスプレイに前記セグメンテーション輪郭エフェクトをレンダリングすることを含む。

【0089】

（Ａ７） Ａ１～Ａ６のいくつかの例において、前記ビート特性は、ビート構造と、強ビートと弱ビートの繰り返しシーケンスと、アクセントのあるビートとアクセントのないビートの数と、アクセントのあるビートとアクセントのないビートの相対的位置とからなるグループから選択された少なく１つを含む。

【0090】

さらに別の態様において、いくつかの例はコンピューティングシステムを含む。該コンピューティングシステムは、１つ又は複数のプロセッサと、該１つ又は複数のプロセッサに結合されたメモリとを備える。該メモリは、該１つ又は複数のプロセッサにより実行されるとき、該１つ又は複数のプロセッサに、本明細書に説明された方法のうちのいずれかの方法（例えば、上記Ａ１～Ａ７）を実行させる１つ又は複数の命令が記憶されている。

【0091】

さらに別の態様において、いくつかの例は、ストレージ装置の１つ又は複数のプロセッサによって実行されるための１つ又は複数のプログラムを記憶する非一時的なコンピュータ可読記憶媒体を含む。該１つ又は複数のプログラムは、本明細書で説明された方法（例えば、上記Ａ１～Ａ７）のうちのいずれかの方法を実行するための命令を含む。

【0092】

（Ｂ１） 別の態様において、いくつかの例は、セグメンテーション輪郭エフェクトをレンダリングするためのコンピューティング装置を含む。前記コンピューティング装置は、プロセッサと、前記プロセッサにより実行されるとき、前記コンピューティング装置に、１つ又は複数のビデオフレームを含むビデオデータを取得することと、前記１つ又は複数のビデオフレームのそれぞれにおける１つ又は複数のセグメントを決定することと、音声データを取得することと、各ビートのビート特性を決定するように、前記音声データを分析することと、前記ビート特性に基づいて前記ビデオデータ内の前記１つ又は複数のセグメントに適用されるセグメンテーション輪郭エフェクトを決定することと、前記セグメンテーション輪郭エフェクトを音声データと同期させることにより、レンダリングされたビデオを生成することと、を実行させる複数の命令が記憶されているメモリと、を備える。

【0093】

（Ｂ２） Ｂ１のいくつかの例において、前記セグメンテーション輪郭エフェクトは、前記１つ又は複数のセグメントに適用される前記セグメンテーション輪郭エフェクトの１つ又は複数の挙動を定義する輪郭エフェクトパラメータを含む。

【0094】

（Ｂ３） Ｂ１とＢ２のいくつかの例において、輪郭エフェクトパラメータは、セグメンテーション輪郭エフェクトが適用される１つ又は複数のセグメント、又はビデオクリップに亘っるセグメンテーション輪郭エフェクト適用のために前記１つ又は複数のセグメントをどのように選択するかを定義する。

【0095】

（Ｂ４） Ｂ１～Ｂ３のいくつかの例において、前記輪郭エフェクトパラメータは、各セグメントごとに、セグメンテーション輪郭の色、幅、高さ、厚さ及び明るさを定義する。

【0096】

（Ｂ５） Ｂ１～Ｂ４のいくつかの例において、前記輪郭エフェクトパラメータは、前記ビート特性に基づいて前記ビデオクリップに追加される特定のセグメントについての複数のセグメンテーション輪郭を定義する。

【0097】

（Ｂ６） Ｂ１～Ｂ５のいくつかの例において、前記セグメンテーション輪郭エフェクトを音声データと同期させることにより前記レンダリングされたビデオを生成することは、前記輪郭エフェクトパラメータに基づいて、ディスプレイに前記セグメンテーション輪郭エフェクトをレンダリングすることを含む。

【0098】

（Ｂ７） Ｂ１～Ｂ６のいくつかの例において、前記ビート特性は、ビート構造と、強ビートと弱ビートの繰り返しシーケンスと、アクセントのあるビートとアクセントのないビートの数と、アクセントのあるビートとアクセントのないビートの相対的位置とからなるグループから選択された少なく１つを含む。

【0099】

（Ｃ１） 一態様において、いくつかの例は、セグメンテーション輪郭エフェクトをレンダリングするための命令が記憶された非一時的なコンピュータ可読媒体を含む。前記命令は、コンピューティング装置の１つ又は複数のプロセッサにより実行されるとき、前記コンピューティング装置に、１つ又は複数のビデオフレームを含むビデオデータを取得することと、前記１つ又は複数のビデオフレームのそれぞれにおける１つ又は複数のセグメントを決定することと、音声データを取得することと、各ビートのビート特性を決定するように、前記音声データを分析することと、前記ビート特性に基づいて前記ビデオデータ内の前記１つ又は複数のセグメントに適用されるセグメンテーション輪郭エフェクトを決定することと、前記セグメンテーション輪郭エフェクトを音声データと同期させることにより、レンダリングされたビデオを生成することと、を実行させる。

【0100】

（Ｃ２） Ｃ１のいくつかの例において、前記セグメンテーション輪郭エフェクトは、前記１つ又は複数のセグメントに適用される前記セグメンテーション輪郭エフェクトの１つ又は複数の挙動を定義する輪郭エフェクトパラメータを含む。前記セグメンテーション輪郭エフェクトを音声データと同期させることにより前記レンダリングされたビデオを生成することは、前記輪郭エフェクトパラメータに基づいて、ディスプレイに前記セグメンテーション輪郭エフェクトをレンダリングすることを含む。

【0101】

（Ｃ３） Ｃ１－Ｃ２のいくつかの例において、輪郭エフェクトパラメータは、セグメンテーション輪郭エフェクトが適用される１つ又は複数のセグメント、又はビデオクリップに亘っるセグメンテーション輪郭エフェクト適用のために前記１つ又は複数のセグメントをどのように選択するかを定義する。

【0102】

（Ｃ４） Ｃ１～Ｃ３のいくつかの例において、前記輪郭エフェクトパラメータは、各セグメントごとに、セグメンテーション輪郭の色、幅、高さ、厚さ及び明るさを定義する。

【0103】

（Ｃ５） Ｃ１～Ｃ４のいくつかの例において、前記輪郭エフェクトパラメータは、前記ビート特性に基づいて前記ビデオクリップに追加される複数のセグメンテーション輪郭を定義する。

【0104】

（Ｃ６） Ｃ１～Ｃ６のいくつかの例において、前記ビート特性は、ビート構造と、強ビートと弱ビートの繰り返しシーケンスと、アクセントのあるビートとアクセントのないビートの数と、アクセントのあるビートとアクセントのないビートの相対的位置とからなるグループから選択された少なく１つを含む。

【0105】

例えば、本開示の態様は、本開示の態様にかかる方法、システム、及びコンピュータプログラム製品のブロック図及び／又は操作説明を参照して以上に説明した。ブロック内に記された機能／動作は、任意のフローチャートに示された順序とは異なる順序で発生することができる。例えば、関連する機能／動作によっては、連続して示される２つのブロックは実際には実質的に同時に実行されてもよいし、又はこれらのブロックは時には逆の順序で実行されてもよい。

【0106】

本願で提供された１つ又は複数の態様の説明及び例示は、特許請求される本開示の範囲をいかなる態様で制限又は限定することも意図していない。本明細書で説明された態様、例及び詳細は、所有権を伝えるのに十分であり、かつ、他の者が特許請求される本開示の最善の形態を形成及び使用することを可能にするのに十分であるとみなされる。特許請求される本開示は、本明細書で説明された態様、例、又は詳細に限定されるものと解釈すべきではない。様々な特徴（構造的特徴及び方法的特徴）は、組み合わせて図示又は説明されるか又は個別に図示又は説明されるかにかかわらず、特定の特徴セットを有する実施形態を形成するためには、選択的に含む又は省略することが意図されている。本願の説明及び例示を提供することにより、当業者は、特許請求される開示のより広い範囲から逸脱ことなく、本願で実現された一般的な発明構想のより広い態様の要旨に含まれる変更、修正及び代替態様を想定することができる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6A】

【図6B】

【図7】

【手続補正書】

【提出日】2023-11-27

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

セグメンテーション輪郭エフェクトをレンダリングするための方法であって、
コンピューティング装置により、１つ又は複数のビデオフレームを含むビデオデータを取得することと、
前記コンピューティング装置により、前記１つ又は複数のビデオフレームのそれぞれにおける１つ又は複数のセグメントを決定することと、
前記コンピューティング装置により、音声データを取得することと、
前記コンピューティング装置により、各ビートのビート特性を決定するように前記音声データを分析することと、
前記コンピューティング装置により、前記ビート特性に基づいて、前記ビデオデータ内の前記１つ又は複数のセグメントに適用されるセグメンテーション輪郭エフェクトを決定することと、
前記コンピューティング装置により、前記セグメンテーション輪郭エフェクトを音声データと同期させることにより、レンダリングされたビデオを生成することと、
を含む、方法。

【請求項2】

前記セグメンテーション輪郭エフェクトは、前記１つ又は複数のセグメントに追加される前記セグメンテーション輪郭エフェクトの１つ又は複数の挙動を定義する輪郭エフェクトパラメータを含む、
請求項１に記載の方法。

【請求項3】

前記輪郭エフェクトパラメータは、前記セグメンテーション輪郭エフェクトが適用される１つ又は複数のセグメントを定義し、又は、ビデオクリップに亘るセグメンテーション輪郭エフェクトの適用のために前記１つ又は複数のセグメントをどのように選択するかを定義する、
請求項２に記載の方法。

【請求項4】

前記輪郭エフェクトパラメータは、セグメントごとに、セグメンテーション輪郭の色、幅、高さ、厚さ及び明るさを定義する、
請求項２に記載の方法。

【請求項5】

前記輪郭エフェクトパラメータは、前記ビート特性に基づいて、ビデオクリップに追加される特定のセグメントについての複数のセグメンテーション輪郭を定義する、
請求項２に記載の方法。

【請求項6】

前記セグメンテーション輪郭エフェクトを音声データと同期させることにより、前記レンダリングされたビデオを生成することは、
前記コンピューティング装置により、前記輪郭エフェクトパラメータに基づいて、ディスプレイに前記セグメンテーション輪郭エフェクトをレンダリングすることを含む、
請求項２に記載の方法。

【請求項7】

前記ビート特性は、ビート構造と、強ビートと弱ビートの繰り返しシーケンスと、アクセントのあるビートとアクセントのないビートの数と、アクセントのあるビートとアクセントのないビートの相対的位置とを含むグループから選択された少なくとも１つを含む、
請求項１に記載の方法。

【請求項8】

セグメンテーション輪郭エフェクトをレンダリングするためのコンピューティング装置であって、
プロセッサと、
前記プロセッサにより実行されるとき、前記コンピューティング装置に、
１つ又は複数のビデオフレームを含むビデオデータを取得することと、
前記１つ又は複数のビデオフレームのそれぞれにおける１つ又は複数のセグメントを決定することと、
音声データを取得することと、
各ビートのビート特性を決定するように前記音声データを分析することと、
前記ビート特性に基づいて、前記ビデオデータ内の前記１つ又は複数のセグメントに適用されるセグメンテーション輪郭エフェクトを決定することと、
前記セグメンテーション輪郭エフェクトを音声データと同期させることにより、レンダリングされたビデオを生成することと、
を実行させる複数の命令が記憶されているメモリと、
を備える、コンピューティング装置。

【請求項9】

前記セグメンテーション輪郭エフェクトは、前記１つ又は複数のセグメントに追加される前記セグメンテーション輪郭エフェクトの１つ又は複数の挙動を定義する輪郭エフェクトパラメータを含む、
請求項８に記載のコンピューティング装置。

【請求項10】

前記輪郭エフェクトパラメータは、前記セグメンテーション輪郭エフェクトが適用される１つ又は複数のセグメントを定義し、又は、ビデオクリップに亘るセグメンテーション輪郭エフェクトの適用のために前記１つ又は複数のセグメントをどのように選択するかを定義する、
請求項９に記載のコンピューティング装置。

【請求項11】

前記輪郭エフェクトパラメータは、セグメントごとに、セグメンテーション輪郭の色、幅、高さ、厚さ及び明るさを定義する、
請求項９に記載のコンピューティング装置。

【請求項12】

前記輪郭エフェクトパラメータは、前記ビート特性に基づいて、ビデオクリップに追加される特定のセグメントについての複数のセグメンテーション輪郭を定義する、
請求項９に記載のコンピューティング装置。

【請求項13】

前記セグメンテーション輪郭エフェクトを音声データと同期させることにより、前記レンダリングされたビデオを生成することは、
前記輪郭エフェクトパラメータに基づいて、ディスプレイに前記セグメンテーション輪郭エフェクトをレンダリングすることを含む、
請求項９に記載のコンピューティング装置。

【請求項14】

前記ビート特性は、ビート構造と、強ビートと弱ビートの繰り返しシーケンスと、アクセントのあるビートとアクセントのないビートの数と、アクセントのあるビートとアクセントのないビートの相対的位置とを含むグループから選択された少なくとも１つを含む、
請求項８に記載のコンピューティング装置。

【請求項15】

コンピュータプログラムであって、
１つ又は複数のビデオフレームを含むビデオデータを取得することと、
前記１つ又は複数のビデオフレームのそれぞれにおける１つ又は複数のセグメントを決定することと、
音声データを取得することと、
各ビートのビート特性を決定するように前記音声データを分析することと、
前記ビート特性に基づいて前記ビデオデータ内の前記１つ又は複数のセグメントに適用されるセグメンテーション輪郭エフェクトを決定することと、
前記セグメンテーション輪郭エフェクトを音声データと同期させることにより、レンダリングされたビデオを生成することと、
をコンピューティング装置に実行させる、コンピュータプログラム。

【請求項16】

前記セグメンテーション輪郭エフェクトは、前記１つ又は複数のセグメントに追加される前記セグメンテーション輪郭エフェクトの１つ又は複数の挙動を定義する輪郭エフェクトパラメータを含み、
前記セグメンテーション輪郭エフェクトを音声データと同期させることにより、前記レンダリングされたビデオを生成することは、
前記輪郭エフェクトパラメータに基づいて、ディスプレイに前記セグメンテーション輪郭エフェクトをレンダリングすることを含む、
請求項１５に記載のコンピュータプログラム。

【請求項17】

前記輪郭エフェクトパラメータは、前記セグメンテーション輪郭エフェクトが適用される１つ又は複数のセグメントを定義し、又はビデオクリップに亘るセグメンテーション輪郭エフェクトの適用のために前記１つ又は複数のセグメントをどのように選択するかを定義する、
請求項１６に記載のコンピュータプログラム。

【請求項18】

前記輪郭エフェクトパラメータは、セグメントごとに、セグメンテーション輪郭の色、幅、高さ、厚さ及び明るさを定義する、
請求項１６に記載のコンピュータプログラム。

【請求項19】

前記輪郭エフェクトパラメータは、ビート特性に基づいて、ビデオクリップに追加される複数のセグメンテーション輪郭を定義する、
請求項１６に記載のコンピュータプログラム。

【請求項20】

前記ビート特性は、ビート構造と、強ビートと弱ビートの繰り返しシーケンスと、アクセントのあるビートとアクセントのないビートの数と、アクセントのあるビートとアクセントのないビートの相対的位置とを含むグループから選択された少なくとも１つを含む、
請求項１５に記載のコンピュータプログラム。

【国際調査報告】