特開 2022-171661 動画を作成するためのシステム、方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022171661

(43)【公開日】2022-11-11

(54)【発明の名称】動画を作成するためのシステム、方法、及びプログラム

(51)【国際特許分類】

   G06F 3/01 20060101AFI20221104BHJP

   G06T 13/40 20110101ALI20221104BHJP

   G06T 19/00 20110101ALI20221104BHJP

【ＦＩ】

G06F3/01 510

G06T13/40

G06T19/00 A

G06F3/01 570

【審査請求】有

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2022129489

(22)【出願日】2022-08-16

(62)【分割の表示】P 2018069839の分割

【原出願日】2018-03-30

(71)【出願人】

【識別番号】599115217

【氏名又は名称】株式会社 ディー・エヌ・エー

(74)【代理人】

【識別番号】100125195

【弁理士】

【氏名又は名称】尾畑 雄一

(72)【発明者】

【氏名】佐々木 康伸

(57)【要約】

【課題】 ユーザのアバターが含まれる動画の作成を支援する。
【解決手段】 一実施形態に係る動画作成装置１０は、ユーザのアバターが含まれる動画を作成するための機能を有する。当該装置１０は、ユーザのアバターが含まれる動画を作成し、当該アバターは、カメラ１３１を介して入力される画像におけるユーザの身体の所定の部位の配置に基づいてその動作が制御されるから、ユーザは、例えば、カメラ１３１の前において身体を動かすことにより、当該身体の動きに伴って動作するアバターが含まれる動画を容易に作成することができる。
【選択図】 図１

【特許請求の範囲】

【請求項1】

１又は複数のコンピュータプロセッサを備え、動画を作成するためのシステムであって、
前記１又は複数のコンピュータプロセッサは、読取可能な命令の実行に応じて、
カメラを介して入力される画像に含まれるユーザの身体の１又は複数の所定の部位を認識する処理と、
認識した前記所定の部位の前記入力される画像における配置に少なくとも基づいてアバターの動作を制御する処理と、
前記アバターが含まれる動画を作成する処理と、を実行する、
システム。

【請求項2】

前記１又は複数のコンピュータプロセッサは、更に、作成した動画をリアルタイムに配信する処理を実行する、
請求項１のシステム。

【請求項3】

前記所定の部位は、顔、及び、両手を含む、
請求項１又は２のシステム。

【請求項4】

前記１又は複数のコンピュータプロセッサは、更に、認識した前記所定の部位の少なくとも一部の動きに基づいて特定される所定のコマンドを実行する処理を実行する、
請求項１ないし３何れかのシステム。

【請求項5】

前記所定のコマンドは、前記所定の部位の前記入力される画像における配置に基づく前記アバターの動作の制御を停止させるためのコマンドを含む、
請求項４のシステム。

【請求項6】

前記認識する処理は、前記所定の部位に設けられた所定の外観を有するマーカーを検出することによって前記所定の部位を認識することを含む、
請求項１ないし５何れかのシステム。

【請求項7】

前記所定の部位は、手を含み、
前記認識する処理は、ユーザの手の甲側に設けられた第１の外観を有するマーカー及びユーザの手の平側に設けられた第２の外観を有するマーカーをそれぞれ検出することによってユーザの手の向きを認識することを含み、
前記制御する処理は、認識したユーザの手の向きに少なくとも基づいて前記アバターの動作を制御することを含む、
請求項６のシステム。

【請求項8】

前記制御する処理は、前記所定の部位の動きを追随するように前記アバターの動作を制御することを含む、
請求項１ないし７何れかのシステム。

【請求項9】

１又は複数のコンピュータによって実行され、動画を作成するための方法であって、
カメラを介して入力される画像に含まれるユーザの身体の１又は複数の所定の部位を認識するステップと、
認識した前記所定の部位の前記入力される画像における配置に少なくとも基づいてアバターの動作を制御するステップと、
前記アバターが含まれる動画を作成するステップと、を備える、
方法。

【請求項10】

動画を作成するためのプログラムであって、
１又は複数のコンピュータ上での実行に応じて、前記１又は複数のコンピュータに、
カメラを介して入力される画像に含まれるユーザの身体の１又は複数の所定の部位を認識する処理と、
認識した前記所定の部位の前記入力される画像における配置に少なくとも基づいてアバターの動作を制御する処理と、
前記アバターが含まれる動画を作成する処理と、を実行させる、
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ユーザのアバターが含まれる動画を作成するためのシステム、方法、及びプログラムに関する。

【背景技術】

【0002】

従来、ユーザが動画の配信を行うためのシステムが提供されており、こうしたシステムを介して配信される動画には、ユーザ自身が被写体として出演する動画（自撮り動画）が含まれる（例えば、特許文献１を参照）。例えば、ユーザは、スマートフォン及びパソコン等が有するカメラ及びマイクを介してユーザ自身が含まれる動画を撮影し、当該動画を複数の視聴者に対して配信することができる。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１７－１２１０３６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、不特定多数の視聴者に対して素顔を公開することに抵抗を感じるユーザも存在し得る。そして、こうしたユーザは、例えば音声のみを配信することになるが、音声のみのコンテンツは面白味に欠ける場合がある。そこで、例えば、ユーザ自身に代えて、ユーザのアバターが登場する動画を手軽に作成することができると有用であると考えられる。

【0005】

本発明の実施形態は、ユーザのアバターが含まれる動画の作成を支援することを目的の一つとする。本発明の実施形態の他の目的は、本明細書全体を参照することにより明らかとなる。

【課題を解決するための手段】

【0006】

本発明の一実施形態に係るシステムは、１又は複数のコンピュータプロセッサを備え、動画を作成するためのシステムであって、前記１又は複数のコンピュータプロセッサは、読取可能な命令の実行に応じて、カメラを介して入力される画像に含まれるユーザの身体の１又は複数の所定の部位を認識する処理と、認識した前記所定の部位の前記入力される画像における配置に少なくとも基づいてアバターの動作を制御する処理と、前記アバターが含まれる動画を作成する処理と、を実行する。

【0007】

本発明の一実施形態に係る方法は、１又は複数のコンピュータによって実行され、動画を作成するための方法であって、カメラを介して入力される画像に含まれるユーザの身体の１又は複数の所定の部位を認識するステップと、認識した前記所定の部位の前記入力される画像における配置に少なくとも基づいてアバターの動作を制御するステップと、前記アバターが含まれる動画を作成するステップと、を備える。

【0008】

本発明の一実施形態に係るプログラムは、動画を作成するためのプログラムであって、１又は複数のコンピュータ上での実行に応じて、前記１又は複数のコンピュータに、カメラを介して入力される画像に含まれるユーザの身体の１又は複数の所定の部位を認識する処理と、認識した前記所定の部位の前記入力される画像における配置に少なくとも基づいてアバターの動作を制御する処理と、前記アバターが含まれる動画を作成する処理と、を実行させる。

【発明の効果】

【0009】

本発明の様々な実施形態は、ユーザのアバターが含まれる動画の作成を支援する。

【図面の簡単な説明】

【0010】

【図1】本発明の一実施形態に係る動画作成装置１０の構成を概略的に示す構成図。

【図2】動画作成装置１０の機能を概略的に示すブロック図。

【図3】動画作成装置１０が実行する処理を例示するフロー図。

【図4】ユーザの顔及び両手を含む入力画像５０を模式的に例示する図。

【図5】入力画像５０に含まれるユーザの顔及び両手が認識される様子を説明するための図。

【図6】作成される動画６０を例示する図。

【図7】入力画像５０を例示する図。

【図8】動画６０を例示する図。

【図9】アバター６２が拡大表示されている状態の動画６０を例示する図。

【図10】ライブ配信の動画７０を例示する図。

【発明を実施するための形態】

【0011】

以下、図面を参照しながら、本発明の実施形態について説明する。

【0012】

図１は、本発明の一実施形態に係る動画作成装置１０の構成を概略的に示す構成図である。動画作成装置１０は、ユーザのアバターが含まれる動画を作成するための機能を有し、本発明のシステムの一部又は全部を実装する装置の一例である。

【0013】

動画作成装置１０は、一般的なコンピュータとして構成されており、図１に示すように、ＣＰＵ等のコンピュータプロセッサ１１と、メインメモリ１２と、ユーザＩ／Ｆ１３と、通信Ｉ／Ｆ１４と、ストレージ（記憶装置）１５とを備え、これらの各構成要素が図示しないバス等を介して電気的に接続されている。

【0014】

コンピュータプロセッサ１１は、ストレージ１５等に記憶されている様々なプログラムをメインメモリ１２に読み込んで、当該プログラムに含まれる各種の命令を実行する。メインメモリ１２は、例えば、ＤＲＡＭ等によって構成される。

【0015】

ユーザＩ／Ｆ１３は、ユーザとの間で情報をやり取りするための各種の入出力装置を含む。ユーザＩ／Ｆ１３は、例えば、キーボード、ポインティングデバイス（例えば、マウス、タッチパネル等）等の情報入力装置、マイクロフォン等の音声入力装置を含む。また、ユーザＩ／Ｆ１３は、ディスプレイ等の画像出力装置、スピーカ等の音声出力装置を含む。本実施形態において、ユーザＩ／Ｆ１３は、カメラ１３１等の画像入力装置（撮影装置）を含む。カメラ１３１は、例えば、ディスプレイ等の画像出力装置を見るユーザを視野に含むインカメラとして構成される。

【0016】

通信Ｉ／Ｆ１４は、ネットワークアダプタ等のハードウェア、各種の通信用ソフトウェア、及びこれらの組み合わせとして実装され、有線又は無線の通信を実現できるように構成されている。

【0017】

ストレージ１５は、例えば磁気ディスク、フラッシュメモリ等によって構成される。ストレージ１５は、オペレーティングシステムを含む様々なプログラム、及び各種データ等を記憶する。ストレージ１５が記憶するプログラムには、アバターが含まれる動画を作成するための機能を実現するためのアプリケーションプログラム（以下、「動画作成用アプリ」と言うことがある。）が含まれ得る。

【0018】

本実施形態において、動画作成装置１０は、スマートフォン、タブレット端末、パーソナルコンピュータ、及びウェアラブルデバイス等として構成され得る。

【0019】

次に、本実施形態の動画作成装置１０が有する機能について説明する。図２は、動画作成装置１０が有する機能を概略的に示すブロック図である。動画作成装置１０は、図示するように、様々な情報を記憶及び管理する情報記憶管理部４１と、カメラ１３１を介して入力される画像を解析する画像解析部４３と、ユーザのアバターを含む動画を作成する動画作成部４５とを有する。これらの機能は、コンピュータプロセッサ１１及びメインメモリ１２等のハードウェア、並びに、ストレージ１５等に記憶されている各種プログラムやデータ等が協働して動作することによって実現され、例えば、メインメモリ１２に読み込まれたプログラムに含まれる命令をコンピュータプロセッサ１１が実行することによって実現される。

【0020】

情報記憶管理部４１は、ストレージ１５等において様々な情報を記憶及び管理する。画像解析部４３は、画像の解析に関する様々な処理を実行する。本実施形態において、画像解析部４３は、カメラ１３１を介して入力される画像に含まれるユーザの身体の所定の部位を認識するように構成されている。例えば、画像解析部４３は、カメラ１３１を介して入力される画像を、機械学習を介して生成された学習済みモデルに入力し、当該学習済みモデルから出力される情報に基づいて所定の部位を認識するように構成される。

【0021】

動画作成部４５は、ユーザのアバターを含む動画の作成に関する様々な処理を実行する。本実施形態において、動画作成部４５は、画像解析部４３によって認識される上記所定の部位の配置（入力される画像における位置、及び／又は、大きさ等）に少なくとも基づいてアバターの動作を制御するように構成されている。作成された動画は、例えば、ストレージ１５に格納され、又は、インターネット等の通信ネットワークを介して通信可能に接続されたサーバ等に送信される。

【0022】

このように、本実施形態の動画作成装置１０は、アバターが含まれる動画を作成し、当該アバターは、カメラ１３１を介して入力される画像におけるユーザの身体の所定の部位の配置に基づいてその動作が制御されるから、ユーザは、カメラ１３１の前において身体を動かすことにより、当該身体の動き（所定の部位の配置の変化）に伴って動作するアバターが含まれる動画を容易に作成することができる。このように、本実施形態の動画作成装置１０は、ユーザのアバターが含まれる動画の作成を支援する。

【0023】

本実施形態において、動画作成部４５は、作成した動画をリアルタイムに配信するように構成され得る。例えば、動画作成装置１０は、複数の視聴者に対して動画をリアルタイムに配信する（ライブ配信を行う）ための動画配信サーバと通信ネットワークを介して通信可能に接続されており、動画作成部４５は、作成した動画を、当該動画配信サーバに対してリアルタイムに（例えば、ストリーミング形式で）送信するように構成される。こうした構成は、ユーザのアバターが含まれる動画のライブ配信を容易に実現することを可能とする。

【0024】

本実施形態において、画像解析部４３が認識する所定の部位（言い換えると、アバターの動作の制御に用いられる身体の部位）は、ユーザの身体の１又は複数の任意の部位が含まれ得る。例えば、画像解析部４３は、当該所定の部位として、ユーザの顔、及び、両手を認識するように構成され得る。こうした構成は、ユーザの顔、及び、両手の動きに伴ってアバターを動作させることを可能とする。

【0025】

また、動画作成部４５は、認識した所定の部位の少なくとも一部の動きに基づいて特定される所定のコマンドを実行するように構成され得る。所定のコマンドは、例えば、アバターを制御するためのコマンド（例えば、アバターの表情、又は、設定アイテム等を変化させるためのコマンド等）、及び、動画の作成を制御するためのコマンド（例えば、動画の作成の一時停止のためのコマンド等）等を含む。例えば、動画作成部４５は、カメラ１３１を介して入力される画像における所定の部位の動きを監視し、所定のコマンドに対応する動きとして予め定められている所定の部位の動きを検出したときに、対応するコマンドを実行するように構成される。こうした構成は、ユーザの身体の動きによるコマンドの入力を可能とする。

【0026】

また、上記所定のコマンドは、所定の部位の配置に基づくアバターの動作の制御を停止させるためのコマンドを含む。例えば、動画作成部４５は、当該コマンドに対応する所定の部位の動きを検出した場合に、入力される画像における所定の部位の配置にかかわらず、アバターの動作を制御する（アバターを静止させることを含む。）ように構成される。こうした構成は、アバターの動作に反映されない状態でユーザが身体を動かす（ユーザの動きとアバターの動作との連動を中止する）ことを可能とする。

【0027】

本実施形態において、画像解析部４３は、ユーザの身体の所定の部位に設けられた所定の外観（色、模様、及び／又は、形状等）を有するマーカー（目印）を検出することによって当該所定の部位を認識するように構成され得る。こうした構成は、所定の部位の認識精度を向上させ、及び、当該認識に係る処理負担を軽減させ得る。

【0028】

この場合、所定の部位は、手を含み、画像解析部４３は、ユーザの手の甲側に設けられた第１の外観を有するマーカー及びユーザの手の平側に設けられた第２の外観を有するマーカーをそれぞれ検出することによってユーザの手の向きを認識し、動画作成部４５は、画像解析部４３によって認識されたユーザの手の向きに少なくとも基づいてアバターの動作を制御するように構成され得る。こうした構成は、ユーザの手の向きに基づくアバターの動作の制御を可能とする。

【0029】

また、動画作成部４５は、入力される画像における所定の部位の動きを追随するようにアバターの動作を制御するように構成され得る。こうした構成は、ユーザの身体の動きに追随して動作するアバターを含む動画の作成を可能とする。

【0030】

次に、このような機能を有する本実施形態の動画作成装置１０の具体例について説明する。この例の動画作成装置１０は、スマートフォン、タブレット端末、又は、パーソナルコンピュータ等として構成されており、動画作成用アプリがインストールされている。

【0031】

図３は、この例において、アバターを含む動画を作成する際に、動画作成装置１０が実行する処理を例示するフロー図である。例えば、ユーザが、動画作成装置１０において表示される画面を介して動画の作成開始を指示したときに、図３に例示される処理が実行される。

【0032】

動画作成装置１０は、まず、図３に示すように、カメラ１３１を介して入力される入力画像に含まれるユーザの顔及び両手を認識する（ステップＳ１００）。この例では、カメラ１３１は、インカメラとして構成されており、カメラ１３１は、装置１０において表示される画面を見るユーザを視野に含む。ユーザは、装置１０において表示される、作成される動画を見ながら、アバターを動作させるためにカメラ１３１の前で身体を動かす。

【0033】

図４は、カメラ１３１を介して入力される入力画像５０を模式的に例示する。図示するように、この例では、ユーザの右手ＲＨの手の平には、第１の色（例えば、赤色）の円形のマーカーＭＫ１が設けられており、ユーザの左手ＬＨの手の平には、第２の色（例えば、黄色）の円形のマーカーＭＫ２が設けられている。これらのマーカーＭＫ１、２は、例えば、手の平に貼り付けるステッカーとして構成され、当該ステッカーは、例えば、動画作成用アプリの提供事業者等によってユーザに提供される。また、マーカーＭＫ１、２は、例えば、手の平にインク等で直接描かれる。この場合、例えば、動画作成用アプリの提供事業者等が配布するインストラクションに従って、ユーザが、両手の手の平にマーカーＭＫ１、２をそれぞれ描く。

【0034】

図５は、図４に例示した入力画像５０に含まれるユーザの顔及び両手が認識される様子を説明するための図である。図示するように、この例では、ユーザの顔ＦＣは、当該顔ＦＣの輪郭を囲う矩形の検出領域ＤＡ１として検出及び認識される。また、ユーザの両手ＲＨ、ＬＨは、当該両手ＲＨ、ＬＨの各々の手の平に設けられているマーカーＭＫ１、２の輪郭を囲う矩形の検出領域ＤＡ２、ＤＡ３としてそれぞれ検出及び認識される。こうした顔ＦＣ、及び、両手ＲＨ、ＬＨ（マーカーＭＫ１、２）の認識（及び、その後の追跡）は、公知の物体追跡技術を用いて実現され、例えば、機械学習を介して生成された学習済みモデルを用いて実現される。

【0035】

図３のフロー図に戻り、入力画像に含まれるユーザの顔及び両手を認識すると、動画作成装置１０は、次に、コマンド入力の有無を判定する（ステップＳ１１０）。コマンド入力の有無は、入力画像に含まれるユーザの手の動きに基づいて判定される。コマンド入力の有無の判定の詳細については後述する。

【0036】

そして、コマンド入力が無い場合（ステップＳ１１０においてＮＯ）、動画作成装置１０は、ユーザの顔及び両手の配置に基づいてアバターの動作を制御する（ステップＳ１２０）。こうした入力画像におけるユーザの顔及び両手の配置に基づくアバターの動作の制御は、動画の作成が終了するまでの間、繰り返される（ステップＳ１４０においてＮＯ）。言い換えると、動画を作成（記録、録画）する期間において、動画作成装置１０は、カメラ１３１を介して入力される画像において認識及び追跡されるユーザの顔及び両手の配置の変化に従って、動画に含まれるアバターを動作させる。

【0037】

図６は、作成される動画６０（の１シーン）を例示する。動画６０は、三次元の仮想空間を、特定の視野で（特定の位置の仮想カメラを介して）見た画像として構成され、当該仮想空間は、人型のアバター６２、及び、当該アバター６２の手前に位置する机オブジェクト６４を含む。この例では、カメラ１３１を介して入力される入力画像５０におけるユーザの顔ＦＣの位置に対する両手ＲＨ、ＬＨの相対的な位置（現実のユーザの顔と両手との間の位置関係）を再現するように、アバター６２の動作が制御される。例えば、図７に例示するように、現実のユーザが「万歳」の姿勢をとって、入力画像５０におけるユーザの両手ＲＨ、ＬＨ（マーカーＭＫ１、２）がユーザの顔ＦＣの斜め上方に移動した場合、図８に例示するように、動画６０におけるアバター６２もまた、ユーザと同様に「万歳」の姿勢をとる（両手を顔の斜め上方に移動させる）。

【0038】

また、この例では、入力画像５０におけるユーザの顔ＦＣの大きさの変化に応じてアバター６２が拡大又は縮小する。言い換えると、現実のユーザとカメラ１３１との間の距離の変化に従って、仮想空間におけるアバター６２と仮想カメラとの間の距離が変化する。

【0039】

例えば、現実のユーザがカメラ１３１に近づいて入力画像５０における顔ＦＣのサイズが大きくなると、仮想空間における仮想カメラがアバター６２に近づいて、当該アバター６２が拡大表示される。図９は、図６、８の状態と比較して、仮想カメラがアバター６２に近づくことにより当該アバター６２が拡大表示されている状態の動画６０を例示する。仮想カメラがアバター６２に近づいた結果、当該仮想カメラの視野から机オブジェクト６４が外れて表示されなくなっている。また、図示するように、この例では、アバター６２の拡大率が所定値以上となると（アバター６２と仮想カメラとの間の距離が所定値以下となると）、当該アバター６２の表情が変化するようになっている。

【0040】

このように、この例において、ユーザは、カメラ１３１の前で身体を動かすことにより、当該身体の動きに追随して動作するアバター６２が含まれる動画を容易に作成することができる。

【0041】

ここで、ステップＳ１１０におけるコマンド入力の有無の判定について説明する。この例では、所定のコマンドに対応するユーザの手の動きが予め設定されている。例えば、入力画像５０において右手ＲＨのマーカーＭＫ１が認識されない状態が所定時間（例えば、５秒）継続するという右手の動きが、アバター６２の表情を切り替えるための表情切替コマンドに対応する動きとして設定されている。例えば、装置１０は、マーカーＭＫ１が認識されない状態を検出すると、その継続時間をカウントし、当該継続時間が所定時間に到達した場合に、ステップＳ１１０において表情切替コマンドの入力有りと判定し（ステップＳ１１０においてＹＥＳ）、当該コマンドを実行する（ステップＳ１３０）。ユーザは、例えば、右手を握る状態を所定時間継続することによって、アバター６２の表情を切り替えることができる。アバター６２の表情の切り替えは、例えば、複数の表情に対して予め定められている順序に従って行われる。

【0042】

また、例えば、入力画像５０における左手ＬＨのマーカーＭＫ２が左右方向に所定回数（例えば、３回）往復するという左手の動きが、入力画像５０における顔及び両手の配置に基づくアバター６２の動作の制御を停止するための制御停止コマンドに対応する動きとして設定されている。例えば、装置１０は、マーカーＭＫ２が左右方向に所定回数往復する動きを検出した場合に、ステップＳ１１０において当該制御停止コマンドの入力有りと判定し（ステップＳ１１０においてＹＥＳ）、当該コマンドを実行する（ステップＳ１３０）。ユーザは、制御停止コマンドの実行によって実現される、入力画像５０に基づくアバター６２の動作の制御が停止されている期間を利用して、アバター６２の動作に反映させることが好ましくない様々な作業等を行いながら動画の作成を継続することができる。なお、入力画像５０に基づくアバター６２の動作の制御が停止されている期間において、アバター６２は、所定の動作を行うように制御され、また、音声の記録は継続される。なお、入力画像５０に基づくアバター６２の動作の制御が停止されている期間において、動画作成装置１０のタッチパネル等の情報入力装置を介したユーザによる入力操作によって、入力画像５０に基づくアバター６２の動作の制御が再開される。

【0043】

このように、入力画像５０に含まれる顔及び両手の配置に基づくアバター６２の動作の制御、及び、当該入力画像５０に含まれる手の動きに基づくコマンドの入力及び実行が繰り返され（ステップＳ１４０においてＮＯ）、ユーザによって動画の作成終了が指示されると（ステップＳ１４０においてＹＥＳ）、当該動画の作成を終了する。作成された動画は、ストレージ１５等に格納される。

【0044】

上述した例において、右手及び左手の少なくとも一方において、手の甲側に、手の平側のマーカーとは異なる外観を有するマーカーを設け、画像作成装置１０が、ユーザの手の向き（カメラ１３１に対して、ユーザの手の平が向いているか手の甲が向いているか）を認識し、当該ユーザの手の向きが再現されるように、アバター６２の動作（手の向き）を制御するようにしても良い。

【0045】

上述した例において、作成される動画をライブ配信するようにしても良い。この場合、例えば、動画作成装置１０は、作成される動画をストリーミング形式で動画配信サーバに送信し、当該動画配信サーバが、複数の視聴者のユーザ端末（スマートフォン等）に対してストリーミング形式で動画を配信する。図１０は、ライブ配信の動画７０を例示する。当該動画７０は、三次元の仮想空間２００を表示し、当該仮想空間２００において、動画を作成及び配信するユーザ（配信者）のアバター６２がステージ２０４上に配置されており、複数の視聴者の各々のアバター２０８が観客エリア２０６に配置されている。配信者のアバター６２の動作は、上述した入力画像５０における配信者の顔及び両手の配置に基づく制御が行われる。なお、仮想空間２００において、配信者のアバター６２が、当該仮想空間２００に配置されている他のオブジェクト（例えば、視聴者のアバター２０８が投げ入れるアイテム（ギフト）又は入力されるコメント等）を触れるようにしても良い。例えば、視聴者のアバター２０８によって仮想空間２００に配置されたオブジェクトは、配信者のアバター６２が触れることによって消える（アバター６２によってオブジェクトが画面外に追い出される）。または、仮想空間２００に配置されたオブジェクトに配信者のアバター６２が触れることによって、当該オブジェクトに所定のエフェクト（形状の変化、及び、発光等）が発生するようにしても良い。更に、当該オブジェクトに対する配信者による入力操作に応じて配信者のアバター６２の動作が制御されるようにしても良い。例えば、当該オブジェクトに対する長押しタップ操作によって当該オブジェクトをアバター６２が掴み、その後、仮想空間２００内の任意の位置のタップ操作によって当該タップ操作の位置にオブジェクトが配置される（アバター６２の任意の位置のタップ操作によって当該タップ操作の位置にオブジェクトが装着されることを含む。）ように構成され得る。

【0046】

上述した例では、ユーザの両手にマーカーＭＫ１、２を設けたが、ユーザの顔についてもマーカーを設けても良い。また、これとは反対に、ユーザの顔と同様に、両手についても、マーカーを設けることなく認識するようにしても良い。さらに、顔及び両手の少なくとも一部に代えて、又は、これらに加えて、ユーザの身体の他の部位を認識し、アバター６２の動作の制御に用いるようにしても良い。

【0047】

以上説明した本実施形態に係る動画作成装置１０は、ユーザのアバターが含まれる動画を作成し、当該アバターは、カメラ１３１を介して入力される画像におけるユーザの身体の所定の部位（例えば、顔及び両手）の配置に基づいてその動作が制御されるから、ユーザは、カメラ１３１の前において身体を動かすことにより、当該身体の動きに伴って動作するアバターが含まれる動画を容易に作成することができる。このように、本発明の実施形態は、ユーザのアバターが含まれる動画の作成を支援する。

【0048】

本発明の他の実施形態において、動画作成装置１０が有する上述した機能の少なくとも一部は、当該装置１０とインターネット等の通信ネットワークを介して通信可能に接続されるサーバ（例えば、上述した動画配信サーバ）と、動画作成装置１０とが協働することによって実現される。例えば、動画作成装置１０が、カメラ１３１を介して入力される画像をサーバに送信し、当該サーバ側で、受信した画像の解析、及び、動画の作成（及び配信）が行われるようにしても良い。

【0049】

本明細書で説明された処理及び手順は、明示的に説明されたもの以外にも、ソフトウェア、ハードウェアまたはこれらの任意の組み合わせによって実現される。例えば、本明細書で説明される処理及び手順は、集積回路、揮発性メモリ、不揮発性メモリ、磁気ディスク等の媒体に、当該処理及び手順に相当するロジックを実装することによって実現される。また、本明細書で説明された処理及び手順は、当該処理・手順に相当するコンピュータプログラムとして実装し、各種のコンピュータに実行させることが可能である。

【0050】

本明細書中で説明された処理及び手順が単一の装置、ソフトウェア、コンポーネント、モジュールによって実行される旨が説明されたとしても、そのような処理または手順は複数の装置、複数のソフトウェア、複数のコンポーネント、及び／又は複数のモジュールによって実行され得る。また、本明細書において説明されたソフトウェアおよびハードウェアの要素は、それらをより少ない構成要素に統合して、またはより多い構成要素に分解することによって実現することも可能である。

【0051】

本明細書において、発明の構成要素が単数もしくは複数のいずれか一方として説明された場合、又は、単数もしくは複数のいずれとも限定せずに説明された場合であっても、文脈上別に解すべき場合を除き、当該構成要素は単数又は複数のいずれであってもよい。

【符号の説明】

【0052】

１０ 動画作成装置
１１ コンピュータプロセッサ
１３１ カメラ
４１ 情報記憶管理部
４３ 画像解析部
４５ 動画作成部
５０ 入力画像
６０、７０ 動画
６２ アバター

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【手続補正書】

【提出日】2022-09-13

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

１又は複数のコンピュータプロセッサを備え、動画を作成するためのシステムであって、
前記１又は複数のコンピュータプロセッサは、読取可能な命令の実行に応じて、
カメラを介して入力される画像に含まれるユーザの身体の１又は複数の所定の部位を認識する処理と、
認識した前記所定の部位の前記入力される画像における配置に少なくとも基づいてアバターの動作を制御する処理と、
前記アバターが含まれる動画を作成する処理と、を実行し、
前記所定の部位は、顔を含み、
前記作成する処理は、認識した顔の大きさの変化に応じて前記アバターを拡大又は縮小することを含み、
前記制御する処理は、前記アバターの拡大に応じて前記アバターの表情を変化させることを含む、
システム。

【請求項2】

前記１又は複数のコンピュータプロセッサは、更に、作成した動画をリアルタイムに配信する処理を実行する、
請求項１のシステム。

【請求項3】

前記所定の部位は、両手を含む、
請求項１又は２のシステム。

【請求項4】

前記１又は複数のコンピュータプロセッサは、更に、認識した前記所定の部位の少なくとも一部の動きに基づいて特定される所定のコマンドを実行する処理を実行する、
請求項１ないし３何れかのシステム。

【請求項5】

前記所定のコマンドは、前記所定の部位の前記入力される画像における配置に基づく前記アバターの動作の制御を停止させるためのコマンドを含む、
請求項４のシステム。

【請求項6】

前記認識する処理は、前記所定の部位に設けられた所定の外観を有するマーカーを検出することによって前記所定の部位を認識することを含む、
請求項１ないし５何れかのシステム。

【請求項7】

前記所定の部位は、手を含み、
前記認識する処理は、ユーザの手の甲側に設けられた第１の外観を有するマーカー及びユーザの手の平側に設けられた第２の外観を有するマーカーをそれぞれ検出することによってユーザの手の向きを認識することを含み、
前記制御する処理は、認識したユーザの手の向きに少なくとも基づいて前記アバターの動作を制御することを含む、
請求項６のシステム。

【請求項8】

前記制御する処理は、前記所定の部位の動きを追随するように前記アバターの動作を制御することを含む、
請求項１ないし７何れかのシステム。

【請求項9】

１又は複数のコンピュータによって実行され、動画を作成するための方法であって、
カメラを介して入力される画像に含まれるユーザの身体の１又は複数の所定の部位を認識するステップと、
認識した前記所定の部位の前記入力される画像における配置に少なくとも基づいてアバターの動作を制御するステップと、
前記アバターが含まれる動画を作成するステップと、を備え、
前記所定の部位は、顔を含み、
前記作成するステップは、認識した顔の大きさの変化に応じて前記アバターを拡大又は縮小することを含み、
前記制御するステップは、前記アバターの拡大に応じて前記アバターの表情を変化させることを含む、
方法。

【請求項10】

動画を作成するためのプログラムであって、
１又は複数のコンピュータ上での実行に応じて、前記１又は複数のコンピュータに、
カメラを介して入力される画像に含まれるユーザの身体の１又は複数の所定の部位を認識する処理と、
認識した前記所定の部位の前記入力される画像における配置に少なくとも基づいてアバターの動作を制御する処理と、
前記アバターが含まれる動画を作成する処理と、を実行させ、
前記所定の部位は、顔を含み、
前記作成する処理は、認識した顔の大きさの変化に応じて前記アバターを拡大又は縮小することを含み、
前記制御する処理は、前記アバターの拡大に応じて前記アバターの表情を変化させることを含む、
プログラム。