知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023166039
(43)【公開日】2023-11-20
(54)【発明の名称】情報処理方法、情報処理システム及びプログラム
(51)【国際特許分類】
G06T 13/40 20110101AFI20231113BHJP
H04N 21/2343 20110101ALI20231113BHJP
【ＦＩ】
G06T13/40
H04N21/2343
【審査請求】未請求
【請求項の数】9
【出願形態】ＯＬ
(21)【出願番号】P 2022076801
(22)【出願日】2022-05-08
(71)【出願人】
【識別番号】522180972
【氏名又は名称】株式会社ＴＥＤＩ
(74)【代理人】
【識別番号】110004093
【氏名又は名称】弁理士法人アクセル特許事務所
(72)【発明者】
【氏名】花本 忠夫
【テーマコード（参考）】
5B050
5C164
【Ｆターム（参考）】
5B050AA08
5B050BA07
5B050BA08
5B050BA09
5B050BA12
5B050CA08
5B050DA04
5B050EA05
5B050EA13
5B050EA18
5B050EA24
5B050EA26
5C164FA06
5C164MA03S
5C164PA39
5C164SA25S
5C164SB02P
(57)【要約】
【課題】 アクターの動きをキャラクタオブジェクトに精度よく再現させる。
【解決手段】
一実施形態に係る情報処理方法は、情報処理システムが実行する情報処理方法であって、アクターの特徴点生成モデルを利用して、特徴点情報の時系列データから新たな特徴点情報を生成する特徴点生成処理と、生成された特徴点情報をキャラクタオブジェクトに転写し、転写されたキャラクタオブジェクトを含む配信動画を生成する動画生成処理と、生成された配信動画を配信する配信処理と、を含む。
【選択図】図７
【解決手段】
一実施形態に係る情報処理方法は、情報処理システムが実行する情報処理方法であって、アクターの特徴点生成モデルを利用して、特徴点情報の時系列データから新たな特徴点情報を生成する特徴点生成処理と、生成された特徴点情報をキャラクタオブジェクトに転写し、転写されたキャラクタオブジェクトを含む配信動画を生成する動画生成処理と、生成された配信動画を配信する配信処理と、を含む。
【選択図】図７
【特許請求の範囲】
【請求項1】
情報処理システムが実行する情報処理方法であって、
特徴点生成モデルを利用して、アクターの特徴点情報の時系列データから新たな特徴点情報を生成する特徴点生成処理と、
生成された特徴点情報をキャラクタオブジェクトに転写し、転写されたキャラクタオブジェクトを含む配信動画を生成する動画生成処理と、
生成された配信動画を配信する配信処理と、
を含む情報処理方法。
特徴点生成モデルを利用して、アクターの特徴点情報の時系列データから新たな特徴点情報を生成する特徴点生成処理と、
生成された特徴点情報をキャラクタオブジェクトに転写し、転写されたキャラクタオブジェクトを含む配信動画を生成する動画生成処理と、
生成された配信動画を配信する配信処理と、
を含む情報処理方法。
【請求項2】
前記アクターが被写体として撮影された元動画を取得する取得処理と、
前記元動画から前記アクターの特徴点情報を推定し、前記特徴点情報の時系列データを生成する推定処理と、
を更に含む請求項１に記載の情報処理方法。
前記元動画から前記アクターの特徴点情報を推定し、前記特徴点情報の時系列データを生成する推定処理と、
を更に含む請求項１に記載の情報処理方法。
【請求項3】
前記アクターが装着したセンサからセンサデータを取得する取得処理と、
前記センサデータから前記アクターの特徴点情報を推定し、前記特徴点情報の時系列データを生成する推定処理と、
を更に含む請求項１に記載の情報処理方法。
前記センサデータから前記アクターの特徴点情報を推定し、前記特徴点情報の時系列データを生成する推定処理と、
を更に含む請求項１に記載の情報処理方法。
【請求項4】
特徴点情報の時系列データを入力すると、新たな特徴点情報を出力するように、ニューラルネットワークに機械学習させる学習処理を更に含む
請求項１に記載の情報処理方法。
請求項１に記載の情報処理方法。
【請求項5】
前記学習処理は、誤った特徴点情報を含む一の期間の特徴点情報の時系列データを入力すると、前記誤った特徴点情報を修正した特徴点情報を出力するように、前記ニューラルネットワークに機械学習させる
請求項４に記載の情報処理方法。
請求項４に記載の情報処理方法。
【請求項6】
前記特徴点生成処理は、一の期間の特徴点情報の時系列データから、当該一の期間のいずれかの特徴点情報に対応する新たな特徴点情報を生成する
請求項１に記載の情報処理方法。
請求項１に記載の情報処理方法。
【請求項7】
前記特徴点生成処理は、一の期間の特徴点情報の時系列データから、当該一の期間における最新の特徴点情報に対応する新たな特徴点情報を生成する
請求項１に記載の情報処理方法。
請求項１に記載の情報処理方法。
【請求項8】
特徴点生成モデルを利用して、アクターの特徴点情報の時系列データから新たな特徴点情報を生成する特徴点生成部と、
生成された特徴点情報をキャラクタオブジェクトに転写し、転写されたキャラクタオブジェクトを含む配信動画を生成する動画生成部と、
生成された配信動画を配信する配信部と、
を備える情報処理システム。
生成された特徴点情報をキャラクタオブジェクトに転写し、転写されたキャラクタオブジェクトを含む配信動画を生成する動画生成部と、
生成された配信動画を配信する配信部と、
を備える情報処理システム。
【請求項9】
コンピュータに、
特徴点生成モデルを利用して、アクターの特徴点情報の時系列データから新たな特徴点情報を生成する特徴点生成処理と、
生成された特徴点情報をキャラクタオブジェクトに転写し、転写されたキャラクタオブジェクトを含む配信動画を生成する動画生成処理と、
生成された配信動画を配信する配信処理と、
を含む情報処理方法を実行させるためのプログラム。
特徴点生成モデルを利用して、アクターの特徴点情報の時系列データから新たな特徴点情報を生成する特徴点生成処理と、
生成された特徴点情報をキャラクタオブジェクトに転写し、転写されたキャラクタオブジェクトを含む配信動画を生成する動画生成処理と、
生成された配信動画を配信する配信処理と、
を含む情報処理方法を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理方法、情報処理システム及びプログラムに関する。
【背景技術】
【0002】
従来、エンターテイメントの分野では、モーションキャプチャで取得した人物の動きを転写することにより、人物の動きをキャラクタオブジェクト（アバター）に再現させる技術が利用されている。
【0003】
例えば、引用文献１には、配信ユーザの動きに基づいて生成される第１キャラクタを含む動画を配信する動画配信システムであって、一又は複数のコンピュータプロセッサを備え、前記一又は複数のコンピュータプロセッサは、コンピュータ読み取り可能な命令を実行することにより、複数のユーザから前記動画への参加要求を受け付け、前記複数のユーザの中から複数の参加ユーザを選定し、前記複数の参加ユーザの中から一又は複数のゲストユーザを選定し、前記一又は複数のゲストユーザの選定に関する通知を前記一又は複数のゲストユーザの各々に送信し、前記一又は複数のゲストユーザの少なくとも一部に対応するゲストキャラクタ及び前記第１キャラクタを含む共演動画を生成する、動画配信システムが開示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２０２２－００３７７６号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
ところで、従来技術では、モーションキャプチャに失敗した場合、人物の誤った動きがキャラクタオブジェクトに再現されるという問題があった。
【0006】
本発明は、上記の課題を鑑みてなされたものであり、アクターの動きをキャラクタオブジェクトに精度よく再現させることを目的とする。
【課題を解決するための手段】
【0007】
一実施形態に係る情報処理方法は、情報処理システムが実行する情報処理方法であって、特徴点生成モデルを利用して、特徴点情報の時系列データから新たな特徴点情報を生成する特徴点生成処理と、生成された特徴点情報をキャラクタオブジェクトに転写し、転写されたキャラクタオブジェクトを含む配信動画を生成する動画生成処理と、生成された配信動画を配信する配信処理と、を含む。
【発明の効果】
【0008】
一実施形態によれば、アクターの動きをキャラクタオブジェクトに精度よく再現させることができる。
【図面の簡単な説明】
【0009】
【図1】第１実施形態に係る情報処理システムの構成の一例を示す図である。
【図2】情報処理装置のハードウェア構成の一例を示す図である。
【図3】動画配信装置の機能構成の一例を示す図である。
【図4】学習方法を説明する模式図である。
【図5】情報処理システムが実行する処理の一例を示すフローチャートである。
【図6】情報処理システムが実行する処理を説明する模式図である。
【図7】情報処理システムが実行する処理を説明する模式図である。
【図8】情報処理システムが実行する処理を説明する模式図である。
【図9】効果を説明する模式図である。
【図10】第２実施形態に係る情報処理システムの構成の一例を示す図である。
【図11】動画配信装置の機能構成の一例を示す図である。
【図12】情報処理システムが実行する処理の一例を示すフローチャートである。
【図13】情報処理システムが実行する処理を説明する模式図である。
【図14】情報処理システムが実行する処理を説明する模式図である。
【発明を実施するための形態】
【0010】
以下、本発明の各実施形態について、添付の図面を参照しながら説明する。なお、各実施形態に係る明細書及び図面の記載に関して、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省略する。
【0011】
［第１実施形態］
＜システム構成＞
まず、本実施形態に係る情報処理システムの概要について説明する。本実施形態に係る情報処理システムは、アクターの動画に基づいて、アクターの動きを再現したキャラクタオブジェクトを含む配信動画Ｍをライブ配信するためのシステムである。ここで言うキャラクタオブジェクトは、アクターを模した２次元モデル又は３次元モデルである。アクターは、人であってもよいし、犬や猫などの動物であってもよい。この情報処理システムは、例えば、仮想空間上でのアバターの操作や、ＶＴｕｂｅｒによる動画配信に利用できる。
＜システム構成＞
まず、本実施形態に係る情報処理システムの概要について説明する。本実施形態に係る情報処理システムは、アクターの動画に基づいて、アクターの動きを再現したキャラクタオブジェクトを含む配信動画Ｍをライブ配信するためのシステムである。ここで言うキャラクタオブジェクトは、アクターを模した２次元モデル又は３次元モデルである。アクターは、人であってもよいし、犬や猫などの動物であってもよい。この情報処理システムは、例えば、仮想空間上でのアバターの操作や、ＶＴｕｂｅｒによる動画配信に利用できる。
【0012】
図１は、本実施形態に係る情報処理システムの構成の一例を示す図である。図１に示すように、本実施形態に係る情報処理システムは、ネットワークＮを介して相互に通信可能に接続された、動画配信装置１と、アクター端末２と、視聴者端末３と、を備える。ネットワークＮは、例えば、有線ＬＡＮ（Local Area Network）、無線ＬＡＮ、インターネット、公衆回線網、モバイルデータ通信網、又はこれらの組み合わせである。図１の例では、情報処理システムは、動画配信装置１、アクター端末２及び視聴者端末３をそれぞれ１つずつ備えるが、それぞれ複数備えてもよい。
【0013】
動画配信装置１は、アクターの動きを再現したキャラクタオブジェクトを含む配信動画Ｍを視聴者端末３に配信する情報処理装置である。動画配信装置１は、アクターが被写体として撮影された元動画ｍをアクター端末２からリアルタイムで受信し、受信した元動画ｍに基づいてアクターの動きを再現したキャラクタオブジェクトを含む配信動画Ｍを生成し、生成した配信動画Ｍを視聴者端末３にライブ配信する。動画配信装置１は、配信動画Ｍを生成し、ライブ配信可能な任意の情報処理装置であり得る。動画配信装置１は、例えば、ＰＣ（Personal Computer）、スマートフォン、タブレット端末、サーバ装置又はマイクロコンピュータであるが、これに限られない。
【0014】
アクター端末２は、配信動画Ｍのアクターが利用する情報処理装置である。アクターは、配信動画Ｍにおいてキャラクタオブジェクトに動きを再現される者、言い換えると、キャラクタオブジェクトを操作する者である。アクター端末２は、アクターが被写体となった元動画ｍを撮影し、得られた元動画ｍを動画配信装置１にリアルタイムで送信する。アクター端末２は、元動画ｍを撮影して動画配信装置１にリアルタイムで送信可能な任意の情報処理装置であり得る。また、アクター端末２は、元動画ｍを撮影するカメラを接続され、カメラから元動画ｍを取得し、取得した元動画ｍを動画配信装置１にリアルタイムで送信可能な情報処理装置であってもよい。アクター端末２は、例えば、ＰＣ、スマートフォン又はタブレット端末であるが、これに限られない。
【0015】
視聴者端末３は、配信動画Ｍの視聴者が利用する情報処理装置である。視聴者は、アクターの動きを再現したキャラクタオブジェクトを含む配信動画Ｍを閲覧する人である。視聴者端末３は、動画配信装置１から配信動画Ｍをリアルタイムで受信し、ディスプレイに表示する。視聴者端末３は、配信動画Ｍを受信し、表示可能な任意の情報処理装置であり得る。視聴者端末３は、例えば、ＰＣ、スマートフォン又はタブレット端末であるが、これに限られない。
【0016】
＜ハードウェア構成＞
次に、情報処理装置１００のハードウェア構成について説明する。図２は、情報処理装置１００のハードウェア構成の一例を示す図である。図２に示すように、情報処理装置１００は、バスＢを介して相互に接続された、プロセッサ１０１と、メモリ１０２と、ストレージ１０３と、通信Ｉ／Ｆ１０４と、入出力Ｉ／Ｆ１０５と、ドライブ装置１０６と、を備える。
次に、情報処理装置１００のハードウェア構成について説明する。図２は、情報処理装置１００のハードウェア構成の一例を示す図である。図２に示すように、情報処理装置１００は、バスＢを介して相互に接続された、プロセッサ１０１と、メモリ１０２と、ストレージ１０３と、通信Ｉ／Ｆ１０４と、入出力Ｉ／Ｆ１０５と、ドライブ装置１０６と、を備える。
【0017】
プロセッサ１０１は、ストレージ１０３に記憶されたＯＳ（Operating System）を含む各種のプログラムをメモリ１０２に展開して実行することにより、情報処理装置１００の各構成を制御し、情報処理装置１００の機能を実現する。プロセッサ１０１は、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＤＳＰ（Digital Signal Processor）、又はこれらの組み合わせである。
【0018】
メモリ１０２は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、又はこれらの組み合わせである。ＲＯＭは、例えば、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable Programmable ROM）、ＥＥＰＲＯＭ（Electrically Erasable Programmable ROM）、又はこれらの組み合わせである。ＲＡＭは、例えば、ＤＲＡＭ（Dynamic RAM）、ＳＲＡＭ（Static RAM）、又はこれらの組み合わせである。
【0019】
ストレージ１０３は、ＯＳを含む各種のプログラム及びデータを記憶する。ストレージ１０３は、例えば、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、ＳＣＭ（Storage Class Memories）、又はこれらの組み合わせである。
【0020】
通信Ｉ／Ｆ１０４は、情報処理装置１００を、ネットワークＮを介して外部装置に接続し、通信を制御するためのインタフェースである。通信Ｉ／Ｆ１０４は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ－Ｆｉ（登録商標）、ＺｉｇＢｅｅ（登録商標）、Ｅｔｈｅｒｎｅｔ（登録商標）、又は光通信に準拠したアダプタであるが、これに限られない。
【0021】
入出力Ｉ／Ｆ１０５は、情報処理装置１００に入力装置１０７及び出力装置１０８を接続するためのインタフェースである。入力装置１０７は、例えば、マウス、キーボード、タッチパネル、マイク、スキャナ、カメラ、各種センサ、操作ボタン、又はこれらの組み合わせである。出力装置１０８は、例えば、ディスプレイ、プロジェクタ、プリンタ、スピーカ、バイブレータ、又はこれらの組み合わせである。
【0022】
ドライブ装置１０６は、ディスクメディア１０９のデータを読み書きする。ドライブ装置１０６は、例えば、磁気ディスクドライブ、光学ディスクドライブ、光磁気ディスクドライブ、又はこれらの組み合わせである。ディスクメディア１０９は、例えば、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ＦＤ（Floppy Disk）、ＭＯ（Magneto-Optical disk）、ＢＤ（Blu-ray（登録商標） Disc）、又はこれらの組み合わせである。
【0023】
なお、本実施形態において、プログラムは、情報処理装置１００の製造段階でメモリ１０２又はストレージ１０３に書き込まれてもよいし、ネットワークＮを介して情報処理装置１００に提供されてもよいし、ディスクメディア１０９などの非一時的でコンピュータ読み取り可能な記録媒体を介して情報処理装置１００に提供されてもよい。
【0024】
＜機能構成＞
次に、動画配信装置１の機能構成について説明する。図３は、動画配信装置１の機能構成の一例を示す図である。図３に示すように、動画配信装置１は、通信部１１と、記憶部１２と、制御部１３と、を備える。
次に、動画配信装置１の機能構成について説明する。図３は、動画配信装置１の機能構成の一例を示す図である。図３に示すように、動画配信装置１は、通信部１１と、記憶部１２と、制御部１３と、を備える。
【0025】
通信部１１は、通信Ｉ／Ｆ１０４により実現される。通信部１１は、ネットワークＮを介して、アクター端末２及び視聴者端末３との間で情報の送受信を行う。通信部１１は、アクター端末２から元動画ｍを受信する。また、通信部１１は、視聴者端末３に配信動画Ｍを送信（配信）する。
【0026】
記憶部１２は、メモリ１０２及びストレージ１０３により実現される。記憶部１２は、元動画ｍと、特徴点推定モデル１２１と、特徴点情報１２２と、特徴点生成モデル１２３と、動画情報１２４と、配信動画Ｍと、を記憶する。
【0027】
元動画ｍは、アクターが被写体として撮影された動画である。元動画ｍは、アクターが自分で撮影してもよいし、アクターとは別の撮影者が撮影してもよい。動画配信装置１は、アクター端末２から送信された元動画ｍをリアルタイムで受信し、記憶部１２に順次保存する。
【0028】
特徴点推定モデル１２１は、アクターが被写体として撮影された画像から、被写体となったアクターの特徴点情報を推定する、学習済みの機械学習モデルである。特徴点推定モデル１２１は、アクターが被写体として撮影された画像を入力されると、被写体となったアクターの特徴点情報を出力するように学習された任意の機械学習モデルであり得る。特徴点推定モデル１２１は、例えば、深層学習させたＣＮＮ（Convolutional Neural Network）であるが、これに限られない。特徴点推定モデル１２１は、骨格検出モデルであってもよいし、フェイシャルキーポイント検出モデルであってもよい。
【0029】
特徴点情報１２２は、アクターの複数の特徴点に関する情報であり、各特徴点の座標と、各特徴点の関係と、を示す情報を含む。アクターの特徴点は、アクターの体の特定の部位であり、アクター及び特徴点推定モデル１２１に応じて設定される。アクターの特徴点は、例えば、関節、目、耳、鼻又は口であるが、これに限られない。特徴点は、骨格検出により検出される骨格であってもよいし、フェイシャルキーポイント検出により検出されるフェイシャルキーポイントであってもよい。特徴点の座標は、２次元の座標であってもよいし、３次元の座標であってもよい。特徴点情報１２２は、特徴点推定モデル１２１を利用して元動画ｍから推定されたアクターの特徴点情報１２２Ａと、特徴点生成モデル１２３を利用して特徴点情報１２２Ａから生成された特徴点情報１２２Ｂと、を含む。
【0030】
特徴点生成モデル１２３は、特徴点情報１２２Ａの時系列データから新たな特徴点情報１２２Ｂを生成する、学習済みの機械学習モデルである。特徴点生成モデル１２３は、一の期間の特徴点情報の時系列データが入力されると、当該一の期間におけるいずれかの特徴点情報に対応する新たな特徴点情報を生成するように学習される。また、特徴点生成モデル１２３は、誤った特徴点情報を含む一の期間の特徴点情報の時系列データを入力されると、誤った特徴点情報を修正した特徴点情報を生成するように学習される。特徴点生成モデル１２３は、例えば、深層学習させたＲＮＮ（Recurrent Neural Network）であるが、これに限られない。特徴点生成モデル１２３の学習方法について、詳しくは後述する。
【0031】
動画情報１２４は、配信動画Ｍの生成に利用される任意の情報である。動画情報１２４は、アクターの動きを再現するキャラクタオブジェクトに関する情報、配信動画Ｍの音に関する情報、配信動画Ｍを構成する仮想空間に関する情報及び配信動画Ｍの視点に関する情報を含む。キャラクタオブジェクトに関する情報は、キャラクタオブジェクトの形状、構造、大きさ、及び色を示す情報と、キャラクタオブジェクトに設定された特徴点情報と、仮想空間上におけるキャラクタオブジェクトの位置を示す情報と、を含む。音に関する情報は、ＢＧＭ（Back Ground Music）及び効果音に関する情報と、アクターの音声に関する情報と、を含む。仮想空間に関する情報は、仮想空間を構成する背景のキャラクタオブジェクトを示す情報と、仮想空間の光源の位置、明るさ、方向及び色を示す情報と、を含む。視点に関する情報は、仮想空間における視点の位置、画角、ズーム及び方向を示す情報を含む。なお、動画情報１２４は、上記の例に限られない。動画情報１２４は、上記の情報の一部を含まなくてもよいし、上記以外の情報を含んでもよい。
【0032】
配信動画Ｍは、動画配信装置１により生成された、視聴者に配信される動画である。動画配信装置１は、リアルタイムで生成した配信動画Ｍを、順次記憶部１２に保存する。
【0033】
制御部１３は、プロセッサ１０１がメモリ１０２からプログラムを読み出して実行し、他のハードウェア構成と協働することにより実現される。制御部１３は、動画配信装置１の動作全体を制御する。制御部１３は、取得部１３１と、推定部１３２と、特徴点生成部１３３と、動画生成部１３４と、配信部１３５と、学習部１３６と、を備える。
【0034】
取得部１３１は、動画配信装置１がアクター端末２から受信した元動画ｍを取得し、記憶部１２に保存する。
【0035】
推定部１３２は、特徴点推定モデル１２１を利用して、記憶部１２に保存された元動画ｍの各フレームからアクターの特徴点情報１２２Ａを推定し、記憶部１２に保存する。これにより、記憶部１２には、アクターの特徴点情報１２２Ａの時系列データが保存される。
【0036】
特徴点生成部１３３は、特徴点生成モデル１２３を利用して、記憶部１２に保存されたアクターの特徴点情報１２２Ａの時系列データから、新たな特徴点情報１２２Ｂを生成し、記憶部１２に保存する。特徴点情報１２２Ｂの生成処理について、詳しくは後述する。
【0037】
動画生成部１３４は、動画情報１２４を参照して、特徴点生成部１３３により生成された新たな特徴点情報１２２Ｂをキャラクタオブジェクトに転写し、転写されたキャラクタオブジェクト、背景、音声、ＢＧＭ及び効果音を合成し、転写されたキャラクタオブジェクトを含む配信動画Ｍを生成し、生成した配信動画Ｍを記憶部１２に保存する。新たな特徴点情報１２２Ｂをキャラクタオブジェクトに転写するとは、キャラクタオブジェクトの特徴点情報が新たな特徴点情報１２２Ｂと対応するように、キャラクタオブジェクトの姿勢を変形させることをいう。
【0038】
配信部１３５は、記憶部１２に保存された配信動画Ｍを視聴者端末３に配信（送信）する。
【0039】
学習部１３６は、特徴点生成モデル１２３を学習させる。言い換えると、学習部１３６は、誤った特徴点情報を含む特徴点情報の時系列データを入力すると、誤った特徴点情報を修正した特徴点情報を出力するように、ニューラルネットワークを機械学習させることにより、特徴点生成モデル１２３を生成する。
【0040】
ここで、特徴点生成モデル１２３の学習方法について詳しく説明する。図４は、特徴点生成モデル１２３の学習方法を説明する模式図である。
【0041】
まず、特徴点生成モデル１２３を学習させるために、正しい特徴点情報が付与された動画データＤ１を用意する。動画データＤ１として、有償又は無償で配布されている、正しい特徴点情報が付与されたアクター又はキャラクタオブジェクトの一連の動作のデータが利用できる。一連の動作は、例えば、歩行、体操、所定のアクション、スポーツのフォーム又はダンスであるが、これに限られない。
【0042】
図４の動画データＤ１は、人（アクター）が手を上げ下ろしする動作の動画データである。この動画データＤ１は、一連の動作を撮影したフレームｆ１～ｆ９を含み、各フレームにはそれぞれ正しい特徴点情報が付与されている。
【0043】
次に、動画データＤ１の各フレームからそれぞれ特徴点情報を抽出する。これにより、動画データＤ１の各フレームに含まれた、正しい特徴点情報の時系列データＤ２が抽出される。
【0044】
【0045】
続いて、時系列データＤ２の特徴点情報の一部を変更する。変更された特徴点情報は、正しい特徴点情報とは異なる特徴点情報、すなわち、誤った特徴点情報となる。これにより、誤った特徴点情報を含む特徴点情報の時系列データＤ３が生成される。
【0046】
図４の時系列データＤ３は、図４の時系列データＤ２のフレームｆ８の一部を変更したものである。この時系列データＤ３は、正しい特徴点情報を含むフレームｆ１～ｆ７，ｆ９と、誤った特徴点情報を含むフレームｆ８と、により構成される。
【0047】
学習部１３６は、こうして用意された時系列データＤ２，Ｄ３を教師データとして特徴点生成モデル１２３に学習させる。具体的には、学習部１３６は、一の期間の特徴点情報の時系列データを入力すると、当該一の期間の特徴点情報のいずれかに対応する正しい特徴点情報を出力するように、特徴点生成モデル１２３を学習させる。一の期間の長さは、任意に設定可能である。一の期間は、動画における時間で表されてもよいし、フレーム数で現されてもよい。また、出力される特徴点情報は、一の期間の最新の特徴点情報に対応するものであってもよいし、最新の特徴点情報より以前の特徴点情報に対応するものであってもよい。
【0048】
図４の例では、一の期間は、３フレームである。これは、動画データＤ１が３０ｆｐｓである場合、０.１秒に相当する。また、図４の例では、一の期間における最新の特徴点情報に対応する正しい特徴点情報が出力されるように学習されている。例えば、時系列データＤ２のフレームｆ１～ｆ３の特徴点情報が入力されると、最新のフレームであるフレームｆ３の正しい特徴点情報が出力されるように学習されている。同様に、時系列データＤ２のフレームｆ６～ｆ８の特徴点情報が入力されると、最新のフレームであるフレームｆ８の正しい特徴点情報が出力されるように学習されている。
【0049】
具体的には、学習部１３６は、時系列データＤ２を正解データとして利用し、時系列データＤ３のフレームｆ（ｘ）～ｆ（ｘ＋２）の特徴点情報を入力したときに出力される特徴点情報が、時系列データＤ２のフレームｆ（ｘ＋２）の特徴点情報に近づくように、特徴点生成モデル１２３のパラメータを調整する。
【0050】
一般化すると、学習部１３６は、時系列データＤ２を正解データとして利用し、時系列データＤ３のフレームｆ（ｘ）～ｆ（ｘ＋ｙ）の特徴点情報を入力したときに出力される特徴点情報が、時系列データＤ２のフレームｆ（ｘ＋ｚ）の特徴点情報に近づくように、特徴点生成モデル１２３のパラメータを調整する。ｙは期間（１≦ｙ）、ｚは出力される特徴点情報が対応する特徴点情報の位置（０≦ｚ≦ｙ）を意味する。ｙが２、ｚが２の場合が図４に相当する。
【0051】
特徴点生成モデル１２３をこのように学習させると、特徴点生成モデル１２３は、一の期間の特徴点情報１２２Ａの時系列データを入力されると、当該一の期間のいずれかの特徴点情報に対応する新たな特徴点情報１２２Ｂを生成する機械学習モデルとなる。そして、生成される新たな特徴点情報１２２Ｂは、正しい特徴点情報に近づくように修正された特徴点情報となる。すなわち、特徴点生成モデル１２３は、入力された特徴点情報の時系列データに誤った特徴点情報が含まれた場合、誤った特徴点情報が正しい特徴点情報に近づくように修正した特徴点情報を出力する機械学習モデルとなる。結果として、特徴点生成モデル１２３により生成される特徴点情報１２２Ｂの時系列データは、誤った特徴点情報が正しい特徴点情報に近づくように修正され、全体として平滑化された、特徴点情報の時系列データとなる。
【0052】
なお、動画配信装置１の機能構成は、上記の例に限られない。例えば、動画配信装置１は、上記の機能構成の一部を備え、残りをアクター端末２又は視聴者端末３が備えてもよい。例えば、アクター端末２が推定部１３２を備え、アクター端末２が、元動画ｍの代わりに、特徴点情報１２２Ａを動画配信装置１に送信してもよい。また、動画配信装置１は、上記以外の機能構成を備えてもよい。また、動画配信装置１の各機能構成は、上記の通り、ソフトウェアにより実現されてもよいし、ＩＣチップ、ＳｏＣ（System on Chip）、ＬＳＩ（Large Scale Integration）、マイクロコンピュータ等のハードウェアによって実現されてもよい。
【0053】
＜情報処理システムが実行する処理＞
次に、本実施形態に係る情報処理システムが実行する処理について説明する。図５は、情報処理システムが実行する処理の一例を示すフローチャートである。図６～図８は、情報処理システムが実行する処理を説明する模式図である。
次に、本実施形態に係る情報処理システムが実行する処理について説明する。図５は、情報処理システムが実行する処理の一例を示すフローチャートである。図６～図８は、情報処理システムが実行する処理を説明する模式図である。
【0054】
（ステップＳ１０１）
アクターが配信動画Ｍの配信を開始すると、アクター端末２は、カメラで元動画ｍの撮影を開始する（ステップＳ１０１）。アクター端末２は、配信動画Ｍの配信を開始前から、元動画ｍの撮影を開始していてもよい。
アクターが配信動画Ｍの配信を開始すると、アクター端末２は、カメラで元動画ｍの撮影を開始する（ステップＳ１０１）。アクター端末２は、配信動画Ｍの配信を開始前から、元動画ｍの撮影を開始していてもよい。
【0055】
（ステップＳ１０２）
アクター端末２は、元動画ｍの撮影を開始すると、カメラから取得した元動画ｍを動画配信装置１に順次送信する（ステップＳ１０２）。アクター端末２は、配信動画Ｍの配信を終了するまで元動画ｍの送信を継続する（ステップＳ１０３：ＮＯ）。アクター端末２は、配信動画Ｍの配信を終了すると、元動画ｍの撮影及び送信を終了する（ステップＳ１０３：ＹＥＳ）。
アクター端末２は、元動画ｍの撮影を開始すると、カメラから取得した元動画ｍを動画配信装置１に順次送信する（ステップＳ１０２）。アクター端末２は、配信動画Ｍの配信を終了するまで元動画ｍの送信を継続する（ステップＳ１０３：ＮＯ）。アクター端末２は、配信動画Ｍの配信を終了すると、元動画ｍの撮影及び送信を終了する（ステップＳ１０３：ＹＥＳ）。
【0056】
（ステップＳ１０４）
動画配信装置１の取得部１３１は、アクター端末２が送信する元動画ｍを順次取得し、記憶部１２に保存する（ステップＳ１０４）。
動画配信装置１の取得部１３１は、アクター端末２が送信する元動画ｍを順次取得し、記憶部１２に保存する（ステップＳ１０４）。
【0057】
図６の元動画ｍは、人（アクター）が手を上げ下ろしする動作の動画データである。この元動画ｍは、一連の動作を撮影したフレームｆ１～ｆ９を含む。取得部１３１は、フレームｆ１～ｆ９をこの順番で順次取得し、記憶部１２に保存する。
【0058】
（ステップＳ１０５）
推定部１３２は、特徴点推定モデル１２１を利用して、記憶部１２に保存された元動画ｍの各フレームからアクターの特徴点情報１２２Ａを推定し（ステップＳ１０５）、記憶部１２に保存する。より詳細には、推定部１３２は、記憶部１２に保存された元動画ｍのフレームを特徴点推定モデル１２１に入力し、特徴点推定モデル１２１が出力した特徴点情報を、そのフレームから推定されたアクターの特徴点情報１２２Ａとして、記憶部１２に保存する。これを各フレームに実行することにより、記憶部１２には、アクターの特徴点情報１２２Ａの時系列データｄ１が保存される。
推定部１３２は、特徴点推定モデル１２１を利用して、記憶部１２に保存された元動画ｍの各フレームからアクターの特徴点情報１２２Ａを推定し（ステップＳ１０５）、記憶部１２に保存する。より詳細には、推定部１３２は、記憶部１２に保存された元動画ｍのフレームを特徴点推定モデル１２１に入力し、特徴点推定モデル１２１が出力した特徴点情報を、そのフレームから推定されたアクターの特徴点情報１２２Ａとして、記憶部１２に保存する。これを各フレームに実行することにより、記憶部１２には、アクターの特徴点情報１２２Ａの時系列データｄ１が保存される。
【0059】
図６の時系列データｄ１は、元動画ｍのフレームｆ１～ｆ９からそれぞれ推定したアクターの特徴点情報１２２Ａを含む。ところで、図６の例では、フレームｆ８の特徴点情報１２２Ａが誤っている（モーションキャプチャに失敗している）。特徴点推定モデル１２１の精度が十分高くなかったり、元動画ｍがブレていたり、アクターの体の一部が何かの影になっていたりした場合、このような誤った特徴点情報１２２Ａが生成されることがある。
【0060】
（ステップＳ１０６）
特徴点生成部１３３は、特徴点生成モデル１２３を利用して、記憶部１２に保存された特徴点情報１２２Ａの時系列データｄ１から新たな特徴点情報１２２Ｂを生成し（ステップＳ１０６）、記憶部１２に保存する。より詳細には、特徴点情報生成部１３４は、記憶部１２に保存された一の期間の時系列データｄ１を特徴点生成モデル１２３に入力し、特徴点生成モデル１２３が出力した特徴点情報を、一の期間のいずれかの特徴点情報１２２Ｂに対応する新たな特徴点情報として、記憶部１２に保存する。この処理を、期間をずらしながら実行することにより、記憶部１２には、生成されたアクターの特徴点情報１２２Ｂの時系列データｄ２が保存される。
特徴点生成部１３３は、特徴点生成モデル１２３を利用して、記憶部１２に保存された特徴点情報１２２Ａの時系列データｄ１から新たな特徴点情報１２２Ｂを生成し（ステップＳ１０６）、記憶部１２に保存する。より詳細には、特徴点情報生成部１３４は、記憶部１２に保存された一の期間の時系列データｄ１を特徴点生成モデル１２３に入力し、特徴点生成モデル１２３が出力した特徴点情報を、一の期間のいずれかの特徴点情報１２２Ｂに対応する新たな特徴点情報として、記憶部１２に保存する。この処理を、期間をずらしながら実行することにより、記憶部１２には、生成されたアクターの特徴点情報１２２Ｂの時系列データｄ２が保存される。
【0061】
図７の例では、一の期間は３フレームであり、一の期間における最新の特徴点情報１２２Ａに対応する新たな特徴点情報１２２Ｂが生成されている。この結果、時系列データｄ１のフレームｆ３～ｆ９の特徴点情報１２２Ａにそれぞれ対応する新たな特徴点情報１２２Ｂが生成されている。図７に示すように、時系列データｄ１のフレームｆ８の誤った特徴点情報１２２Ａに対しては、正しい特徴点情報に近づくように修正された新たな特徴点情報１２２Ｂが生成される。なお、時系列データｄ１のフレームｆ１の特徴点情報１２２Ａと共に、それ以前のダミーの特徴点情報としてブランクの特徴点情報を入力することにより、フレームｆ１の特徴点情報１２２Ａに対応する新たな特徴点情報１２２Ｂを生成してもよい。時系列データｄ１のフレームｆ２の特徴点情報１２２Ａについても同様である。
【0062】
（ステップＳ１０７）
動画生成部１３４は、動画情報１２４を参照して、特徴点生成部１３３により生成された新たな特徴点情報１２２Ｂをキャラクタオブジェクトに転写し、転写されたキャラクタオブジェクト、背景、音声、ＢＧＭ及び効果音を合成し、転写されたキャラクタオブジェクトを含む配信動画Ｍを生成し（ステップＳ１０７）、生成した配信動画Ｍを記憶部１２に保存する。
動画生成部１３４は、動画情報１２４を参照して、特徴点生成部１３３により生成された新たな特徴点情報１２２Ｂをキャラクタオブジェクトに転写し、転写されたキャラクタオブジェクト、背景、音声、ＢＧＭ及び効果音を合成し、転写されたキャラクタオブジェクトを含む配信動画Ｍを生成し（ステップＳ１０７）、生成した配信動画Ｍを記憶部１２に保存する。
【0063】
図８の配信動画Ｍは、時系列データｄ２のフレームｆ３～ｆ９の特徴点情報１２２Ｂをそれぞれキャラクタオブジェクトに転写し、背景等を合成したものである。配信動画Ｍのフレームｆ３～ｆ９のキャラクタオブジェクトは、元動画ｍのフレームｆ３～ｆ９におけるアクターの動きを再現している。
【0064】
（ステップＳ１０８）
配信部１３５は、記憶部１２に保存された配信動画Ｍを視聴者端末３にライブ配信する（ステップＳ１０８）。すなわち、配信部１３５は、配信動画Ｍが生成されるたびに生成された配信動画Ｍを順次視聴者端末３に送信する。
配信部１３５は、記憶部１２に保存された配信動画Ｍを視聴者端末３にライブ配信する（ステップＳ１０８）。すなわち、配信部１３５は、配信動画Ｍが生成されるたびに生成された配信動画Ｍを順次視聴者端末３に送信する。
【0065】
（ステップＳ１０９）
視聴者端末３は、動画配信装置１から配信された配信動画Ｍを受信すると、受信した配信動画Ｍをディスプレイ上で再生する（ステップＳ１０９）。これにより、視聴者は、視聴者端末３で配信動画Ｍを視聴することができる。
視聴者端末３は、動画配信装置１から配信された配信動画Ｍを受信すると、受信した配信動画Ｍをディスプレイ上で再生する（ステップＳ１０９）。これにより、視聴者は、視聴者端末３で配信動画Ｍを視聴することができる。
【0066】
＜まとめ＞
以上説明した通り、本実施形態によれば、アクターの元動画ｍに基づいて特徴点情報１２２Ａを推定し、特徴点生成モデル１２３を利用して、特徴点情報１２２Ａの時系列データｄ１から新たな特徴点情報１２２Ｂ（の時系列データｄ２）を生成し、生成された特徴点情報１２２Ｂをキャラクタオブジェクトに転写し、転写されたキャラクタオブジェクトを含む配信動画Ｍを生成し、生成された配信動画Ｍを配信することができる。これにより、アクターの動きを再現したキャラクタオブジェクトを含む配信動画Ｍをライブ配信することができる。
以上説明した通り、本実施形態によれば、アクターの元動画ｍに基づいて特徴点情報１２２Ａを推定し、特徴点生成モデル１２３を利用して、特徴点情報１２２Ａの時系列データｄ１から新たな特徴点情報１２２Ｂ（の時系列データｄ２）を生成し、生成された特徴点情報１２２Ｂをキャラクタオブジェクトに転写し、転写されたキャラクタオブジェクトを含む配信動画Ｍを生成し、生成された配信動画Ｍを配信することができる。これにより、アクターの動きを再現したキャラクタオブジェクトを含む配信動画Ｍをライブ配信することができる。
【0067】
【0068】
従来技術では、元動画ｍから推定した特徴点情報１２２Ａをキャラクタオブジェクトに直接転写していた。このため、モーションキャプチャに失敗し、誤った特徴点情報１２２Ａが生成された場合、従来動画のフレームｆ８のように、キャラクタオブジェクトが前後の脈略がない不自然な動きをすることになる。特に、動画をライブ配信する場合、誤った特徴点情報１２２Ａを手作業で修正することもできないため、モーションキャプチャの失敗に起因するキャラクタオブジェクトの不自然な動きを防ぐのは困難である。キャラクタオブジェクトの不自然な動きが増えるほど、視聴者に与える違和感が大きくなり、動画に対する満足度が低下する原因となる。
【0069】
これに対して、本実施形態では、元動画ｍから推定した特徴点情報１２２Ａを特徴点生成モデル１２３により修正した新たな特徴点情報１２２Ｂをキャラクタオブジェクトに転写する。このため、モーションキャプチャに失敗し、誤った特徴点情報１２２Ａが生成された場合であっても、配信動画Ｍのフレームｆ８のように、キャラクタオブジェクトが正しい特徴点情報に近い（すなわち、アクターの動きに近い）動きをすることになる。すなわち、アクターの動きをキャラクタオブジェクトに精度よく再現させることができる。結果として、配信動画Ｍをライブ配信する場合であっても、キャラクタオブジェクトの不自然な動きが抑制された、キャラクタオブジェクトの動きがスムーズな配信動画Ｍを配信することができる。これにより、配信動画Ｍに対する視聴者の満足度を向上させることができる。
【0070】
なお、本実施形態において、配信動画Ｍはライブ配信でなくてもよい。配信動画Ｍをオンデマンド配信する場合、手作業で特徴点情報１２２Ａを修正することなく、キャラクタオブジェクトの動きがスムーズな配信動画Ｍを配信することができる。
【0071】
［第２実施形態］
＜システム構成＞
本実施形態に係る情報処理システムは、アクターが装着したセンサのセンサデータに基づいて、アクターの動きを再現したキャラクタオブジェクトを含む配信動画Ｍをライブ配信するためのシステムである。以下、第１実施形態との相違点について説明する。
＜システム構成＞
本実施形態に係る情報処理システムは、アクターが装着したセンサのセンサデータに基づいて、アクターの動きを再現したキャラクタオブジェクトを含む配信動画Ｍをライブ配信するためのシステムである。以下、第１実施形態との相違点について説明する。
【0072】
図１０は、本実施形態に係る情報処理システムの構成の一例を示す図である。図１０に示すように、本実施形態に係る情報処理システムは、ネットワークＮを介して相互に通信可能に接続された、動画配信装置１と、アクター端末２と、視聴者端末３と、センサｓと、を備える。ネットワークＮは、例えば、有線ＬＡＮ、無線ＬＡＮ、インターネット、公衆回線網、モバイルデータ通信網、又はこれらの組み合わせである。図１０の例では、情報処理システムは、動画配信装置１、アクター端末２及び視聴者端末３をそれぞれ１つずつ備えるが、それぞれ複数備えてもよい。なお、視聴者端末３は、第１実施形態と同様であるため、説明を省略する。
【0073】
センサｓは、アクターの動きを測定するためのセンサであり、アクターの体の複数の位置に装着される。センサｓが装着される位置は、例えば、足首、膝、腰、肩、頭、肘、手首、及び指であるが、これに限られない。図１０の例では、５つのセンサｓがアクターに装着されているが、アクターに装着されるセンサｓの数は任意である。アクターに装着されたセンサｓは、それぞれリアルタイムでセンサデータｓｄをアクター端末２に無線で送信する。センサｓは、例えば、加速度センサであるが、これに限られない。センサｓは、アクターの動きを測定可能な任意のセンサであり得る。センサｓとして、複数種類のセンサが併用されてもよい。
【0074】
動画配信装置１は、アクターの動きを再現したキャラクタオブジェクトを含む配信動画Ｍを視聴者端末３に配信する情報処理装置である。動画配信装置１は、アクターが装着したセンサｓのセンサデータｓｄをアクター端末２からリアルタイムで受信し、受信したセンサデータｓｄに基づいてアクターの動きを再現したキャラクタオブジェクトを含む配信動画Ｍを生成し、生成した配信動画Ｍを視聴者端末３にライブ配信する。動画配信装置１は、配信動画Ｍを生成し、ライブ配信可能な任意の情報処理装置であり得る。動画配信装置１は、例えば、ＰＣ、スマートフォン、タブレット端末、サーバ装置又はマイクロコンピュータであるが、これに限られない。
【0075】
アクター端末２は、配信動画Ｍのアクターが利用する情報処理装置である。アクターは、配信動画Ｍにおいてキャラクタオブジェクトに動きを再現される者、言い換えると、言い換えると、キャラクタオブジェクトを操作する者である。アクター端末２は、アクターが装着した複数のセンサｓのセンサデータｓｄをリアルタイムに無線で受信し、受信したセンサデータｓｄを動画配信装置１にリアルタイムで送信する。アクター端末２は、センサデータｓｄをリアルタイムで動画配信装置１に転送可能な任意の情報処理装置であり得る。アクター端末２は、例えば、ＰＣ、スマートフォン又はタブレット端末であるが、これに限られない。
【0076】
＜機能構成＞
次に、動画配信装置１の機能構成について説明する。図１１は、動画配信装置１の機能構成の一例を示す図である。図１１に示すように、動画配信装置１は、通信部１１と、記憶部１２と、制御部１３と、を備える。
次に、動画配信装置１の機能構成について説明する。図１１は、動画配信装置１の機能構成の一例を示す図である。図１１に示すように、動画配信装置１は、通信部１１と、記憶部１２と、制御部１３と、を備える。
【0077】
通信部１１は、通信Ｉ／Ｆ１０４により実現される。通信部１１は、ネットワークＮを介して、アクター端末２及び視聴者端末３との間で情報の送受信を行う。通信部１１は、アクター端末２からセンサデータｓｄを受信する。また、通信部１１は、視聴者端末３に配信動画Ｍを送信（配信）する。
【0078】
記憶部１２は、メモリ１０２及びストレージ１０３により実現される。記憶部１２は、センサデータｓｄと、特徴点情報１２２と、特徴点生成モデル１２３と、動画情報１２４と、配信動画Ｍと、を記憶する。センサデータｓｄ以外は、第１実施形態と同様であるため説明を省略する。
【0079】
センサデータｓｄは、アクターの体に装着されたセンサｓが測定したデータである。センサデータｓｄは、例えば、加速度データであるが、これに限られない。センサデータは、アクターの動きを測定可能な任意のデータであり得る。動画配信装置１は、アクター端末２から送信された複数のセンサｓのセンサデータｓｄをそれぞれリアルタイムで受信し、記憶部１２に順次保存する。
【0080】
制御部１３は、プロセッサ１０１がメモリ１０２からプログラムを読み出して実行し、他のハードウェア構成と協働することにより実現される。制御部１３は、動画配信装置１の動作全体を制御する。制御部１３は、取得部１３１と、推定部１３２と、特徴点生成部１３３と、動画生成部１３４と、配信部１３５と、学習部１３６と、を備える。取得部１３１及び推定部１３２以外は、第１実施形態と同様であるため説明を省略する。
【0081】
取得部１３１は、動画配信装置１がアクター端末２から受信した複数のセンサｓのセンサデータｓｄを取得し、記憶部１２に保存する。
【0082】
推定部１３２は、記憶部１２に保存された複数のセンサｓのセンサデータｓｄからアクターの特徴点情報１２２Ａを推定し、記憶部１２に保存する。これにより、記憶部１２には、アクターの特徴点情報１２２Ａの時系列データが保存される。推定部１３２は、例えば、センサデータｓｄが加速度データである場合、各センサｓの加速度の積算値から各センサｓの移動距離を算出し、各センサｓの移動距離の積算値から各センサｓの位置を算出し、各センサｓの位置から特徴点情報１２２Ａを推定する。
【0083】
＜情報処理システムが実行する処理＞
次に、本実施形態に係る情報処理システムが実行する処理について説明する。図１２は、情報処理システムが実行する処理の一例を示すフローチャートである。ステップＳ２０７～Ｓ２０９は、第１実施形態のステップＳ１０７～Ｓ１０９と同様であるため説明を省略する。図１３及び図１４は、情報処理システムが実行する処理を説明する模式図である。
次に、本実施形態に係る情報処理システムが実行する処理について説明する。図１２は、情報処理システムが実行する処理の一例を示すフローチャートである。ステップＳ２０７～Ｓ２０９は、第１実施形態のステップＳ１０７～Ｓ１０９と同様であるため説明を省略する。図１３及び図１４は、情報処理システムが実行する処理を説明する模式図である。
【0084】
（ステップＳ２０１）
アクターが配信動画Ｍの配信を開始すると、アクター端末２は、複数のセンサｓからセンサデータｓｄの取得を開始する（ステップＳ２０１）。アクター端末２は、配信動画Ｍの配信を開始前から、センサデータｓｄの取得を開始していてもよい。
アクターが配信動画Ｍの配信を開始すると、アクター端末２は、複数のセンサｓからセンサデータｓｄの取得を開始する（ステップＳ２０１）。アクター端末２は、配信動画Ｍの配信を開始前から、センサデータｓｄの取得を開始していてもよい。
【0085】
（ステップＳ２０２）
アクター端末２は、センサデータｓｄの取得を開始すると、センサｓから取得したセンサデータｓｄを動画配信装置１に順次送信する（ステップＳ２０２）。アクター端末２は、配信動画Ｍの配信を終了するまでセンサデータｓｄの送信を継続する（ステップＳ２０３：ＮＯ）。アクター端末２は、配信動画Ｍの配信を終了すると、センサデータｓｄの取得及び送信を終了する（ステップＳ２０３：ＹＥＳ）。
アクター端末２は、センサデータｓｄの取得を開始すると、センサｓから取得したセンサデータｓｄを動画配信装置１に順次送信する（ステップＳ２０２）。アクター端末２は、配信動画Ｍの配信を終了するまでセンサデータｓｄの送信を継続する（ステップＳ２０３：ＮＯ）。アクター端末２は、配信動画Ｍの配信を終了すると、センサデータｓｄの取得及び送信を終了する（ステップＳ２０３：ＹＥＳ）。
【0086】
（ステップＳ２０４）
動画配信装置１の取得部１３１は、アクター端末２が送信する複数のセンサｓのセンサデータｓｄを順次取得し、記憶部１２に保存する（ステップＳ２０４）。
動画配信装置１の取得部１３１は、アクター端末２が送信する複数のセンサｓのセンサデータｓｄを順次取得し、記憶部１２に保存する（ステップＳ２０４）。
【0087】
図１３のセンサデータｓｄは、人（アクター）が手を上げ下ろしする動作のセンサデータである。このセンサデータｓｄは、一連の動作で各時刻ｔ１～ｔ９に取得されたセンサデータｓｄを含む。各時刻ｔのセンサデータｓｄには、複数のセンサｓ１，ｓ２，・・・の各センサデータが含まれる。取得部１３１は、時刻ｔ１～ｔ９のセンサデータｓｄをこの順番で順次取得し、記憶部１２に保存する。なお、センサデータｓｄを取得する間隔は、任意に設定可能である。例えば、センサデータｓｄを１秒間に３０回取得する場合、取得したセンサデータｓｄに基づいて１秒間に３０個の特徴点情報１２２Ａを生成できるため、３０ｆｐｓの配信動画Ｍを生成できる。
【0088】
（ステップＳ２０５）
推定部１３２は、記憶部１２に保存された各時刻ｔのセンサデータｓｄからアクターの特徴点情報１２２Ａを推定し（ステップＳ２０５）、記憶部１２に保存する。より詳細には、推定部１３２は、記憶部１２に保存された時刻ｔの複数のセンサｓのセンサデータｓｄから推定した特徴点情報を、その時刻ｔのアクターの特徴点情報１２２Ａとして、記憶部１２に保存する。これを各時刻のセンサデータｓｄに実行することにより、記憶部１２には、アクターの特徴点情報１２２Ａの時系列データｄ１が保存される。
推定部１３２は、記憶部１２に保存された各時刻ｔのセンサデータｓｄからアクターの特徴点情報１２２Ａを推定し（ステップＳ２０５）、記憶部１２に保存する。より詳細には、推定部１３２は、記憶部１２に保存された時刻ｔの複数のセンサｓのセンサデータｓｄから推定した特徴点情報を、その時刻ｔのアクターの特徴点情報１２２Ａとして、記憶部１２に保存する。これを各時刻のセンサデータｓｄに実行することにより、記憶部１２には、アクターの特徴点情報１２２Ａの時系列データｄ１が保存される。
【0089】
図１３の時系列データｄ１は、時刻ｔ１～ｔ９のセンサデータｓｄからそれぞれ推定したアクターの特徴点情報１２２Ａを含む。ところで、図１３の例では、時刻ｔ８の特徴点情報１２２Ａが誤っている（モーションキャプチャに失敗している）。センサｓの測定精度が十分高くなかったり、センサデータｓｄの受信時にエラーが発生した場合、このような誤った特徴点情報１２２Ａが生成されることがある。
【0090】
（ステップＳ２０６）
特徴点生成部１３３は、特徴点生成モデル１２３を利用して、記憶部１２に保存された特徴点情報１２２Ａの時系列データｄ１から新たな特徴点情報１２２Ｂを生成し（ステップＳ２０６）、記憶部１２に保存する。より詳細には、特徴点情報生成部１３４は、記憶部１２に保存された一の期間の時系列データｄ１を特徴点生成モデル１２３に入力し、特徴点生成モデル１２３が出力した特徴点情報を、一の期間のいずれかの特徴点情報１２２Ｂに対応する新たな特徴点情報として、記憶部１２に保存する。この処理を、期間をずらしながら実行することにより、記憶部１２には、生成されたアクターの特徴点情報１２２Ｂの時系列データｄ２が保存される。
特徴点生成部１３３は、特徴点生成モデル１２３を利用して、記憶部１２に保存された特徴点情報１２２Ａの時系列データｄ１から新たな特徴点情報１２２Ｂを生成し（ステップＳ２０６）、記憶部１２に保存する。より詳細には、特徴点情報生成部１３４は、記憶部１２に保存された一の期間の時系列データｄ１を特徴点生成モデル１２３に入力し、特徴点生成モデル１２３が出力した特徴点情報を、一の期間のいずれかの特徴点情報１２２Ｂに対応する新たな特徴点情報として、記憶部１２に保存する。この処理を、期間をずらしながら実行することにより、記憶部１２には、生成されたアクターの特徴点情報１２２Ｂの時系列データｄ２が保存される。
【0091】
図１４の例では、センサデータｓｄの取得間隔が配信動画Ｍのｆｐｓと一致しており、一の期間は３フレームであり、一の期間における最新の特徴点情報１２２Ａに対応する新たな特徴点情報１２２Ｂが生成されている。この結果、時系列データｄ１の時刻ｔ３～ｔ９の特徴点情報１２２Ａにそれぞれ対応する新たな特徴点情報１２２Ｂが生成されている。図１４に示すように、時系列データｄ１の時刻ｔ８の誤った特徴点情報１２２Ａに対しては、正しい特徴点情報に近づくように修正された新たな特徴点情報１２２Ｂが生成される。なお、時系列データｄ１の時刻ｔ１の特徴点情報１２２Ａと共に、それ以前のダミーの特徴点情報としてブランクの特徴点情報を入力することにより、時刻ｔ１の特徴点情報１２２Ａに対応する新たな特徴点情報１２２Ｂを生成してもよい。時系列データｄ１の時刻ｔ２の特徴点情報１２２Ａについても同様である。
【0092】
以降、ステップＳ２０７～Ｓ２０９が実行される。これにより、視聴者は、視聴者端末３で配信動画Ｍを視聴することができる。
【0093】
＜まとめ＞
以上説明した通り、本実施形態によれば、アクターが装着した複数のセンサｓのセンサデータｓｄに基づいて特徴点情報１２２Ａを推定し、特徴点生成モデル１２３を利用して、特徴点情報１２２Ａの時系列データｄ１から新たな特徴点情報１２２Ｂ（の時系列データｄ２）を生成し、生成された特徴点情報１２２Ｂをキャラクタオブジェクトに転写し、転写されたキャラクタオブジェクトを含む配信動画Ｍを生成し、生成された配信動画Ｍを配信することができる。これにより、アクターの動きを再現したキャラクタオブジェクトを含む配信動画Ｍをライブ配信することができる。
以上説明した通り、本実施形態によれば、アクターが装着した複数のセンサｓのセンサデータｓｄに基づいて特徴点情報１２２Ａを推定し、特徴点生成モデル１２３を利用して、特徴点情報１２２Ａの時系列データｄ１から新たな特徴点情報１２２Ｂ（の時系列データｄ２）を生成し、生成された特徴点情報１２２Ｂをキャラクタオブジェクトに転写し、転写されたキャラクタオブジェクトを含む配信動画Ｍを生成し、生成された配信動画Ｍを配信することができる。これにより、アクターの動きを再現したキャラクタオブジェクトを含む配信動画Ｍをライブ配信することができる。
【0094】
また、第１実施形態と同様に、本実施形態では、センサデータｓｄから推定した特徴点情報１２２Ａを特徴点生成モデル１２３により修正した新たな特徴点情報１２２Ｂをキャラクタオブジェクトに転写する。このため、モーションキャプチャに失敗し、誤った特徴点情報１２２Ａが生成された場合であっても、配信動画Ｍのフレームｆ８のように、キャラクタオブジェクトが正しい特徴点情報に近い（すなわち、アクターの動きに近い）動きをすることになる。すなわち、アクターの動きをキャラクタオブジェクトに精度よく再現させることができる。結果として、配信動画Ｍをライブ配信する場合であっても、キャラクタオブジェクトの不自然な動きが抑制された、キャラクタオブジェクトの動きがスムーズな配信動画Ｍを配信することができる。これにより、配信動画Ｍに対する視聴者の満足度を向上させることができる。
【0095】
なお、本実施形態において、配信動画Ｍはライブ配信でなくてもよい。配信動画Ｍをオンデマンド配信する場合、手作業で特徴点情報１２２Ａを修正することなく、キャラクタオブジェクトの動きがスムーズな配信動画Ｍを配信することができる。
【0096】
＜付記＞
本実施形態は、以下の開示を含む。
本実施形態は、以下の開示を含む。
【0097】
（付記１）
情報処理システムが実行する情報処理方法であって、
特徴点生成モデルを利用して、アクターの特徴点情報の時系列データから新たな特徴点情報を生成する特徴点生成処理と、
生成された特徴点情報をキャラクタオブジェクトに転写し、転写されたキャラクタオブジェクトを含む配信動画を生成する動画生成処理と、
生成された配信動画を配信する配信処理と、
を含む情報処理方法。
情報処理システムが実行する情報処理方法であって、
特徴点生成モデルを利用して、アクターの特徴点情報の時系列データから新たな特徴点情報を生成する特徴点生成処理と、
生成された特徴点情報をキャラクタオブジェクトに転写し、転写されたキャラクタオブジェクトを含む配信動画を生成する動画生成処理と、
生成された配信動画を配信する配信処理と、
を含む情報処理方法。
【0098】
（付記２）
前記アクターが被写体として撮影された元動画を取得する取得処理と、
前記元動画から前記アクターの特徴点情報を推定し、前記特徴点情報の時系列データを生成する推定処理と、
を更に含む付記１に記載の情報処理方法。
前記アクターが被写体として撮影された元動画を取得する取得処理と、
前記元動画から前記アクターの特徴点情報を推定し、前記特徴点情報の時系列データを生成する推定処理と、
を更に含む付記１に記載の情報処理方法。
【0099】
（付記３）
前記アクターが装着したセンサからセンサデータを取得する取得処理と、
前記センサデータから前記アクターの特徴点情報を推定し、前記特徴点情報の時系列データを生成する推定処理と、
を更に含む付記１に記載の情報処理方法。
前記アクターが装着したセンサからセンサデータを取得する取得処理と、
前記センサデータから前記アクターの特徴点情報を推定し、前記特徴点情報の時系列データを生成する推定処理と、
を更に含む付記１に記載の情報処理方法。
【0100】
（付記４）
特徴点情報の時系列データを入力すると、新たな特徴点情報を出力するように、ニューラルネットワークに機械学習させる学習処理を更に含む
付記１に記載の情報処理方法。
特徴点情報の時系列データを入力すると、新たな特徴点情報を出力するように、ニューラルネットワークに機械学習させる学習処理を更に含む
付記１に記載の情報処理方法。
【0101】
（付記５）
前記学習処理は、誤った特徴点情報を含む一の期間の特徴点情報の時系列データを入力すると、前記誤った特徴点情報を修正した特徴点情報を出力するように、前記ニューラルネットワークに機械学習させる
付記４に記載の情報処理方法。
前記学習処理は、誤った特徴点情報を含む一の期間の特徴点情報の時系列データを入力すると、前記誤った特徴点情報を修正した特徴点情報を出力するように、前記ニューラルネットワークに機械学習させる
付記４に記載の情報処理方法。
【0102】
（付記６）
前記特徴点生成処理は、一の期間の特徴点情報の時系列データから、当該一の期間のいずれかの特徴点情報に対応する新たな特徴点情報を生成する
付記１に記載の情報処理方法。
前記特徴点生成処理は、一の期間の特徴点情報の時系列データから、当該一の期間のいずれかの特徴点情報に対応する新たな特徴点情報を生成する
付記１に記載の情報処理方法。
【0103】
（付記７）
前記特徴点生成処理は、一の期間の特徴点情報の時系列データから、当該一の期間における最新の特徴点情報に対応する新たな特徴点情報を生成する
付記１に記載の情報処理方法。
前記特徴点生成処理は、一の期間の特徴点情報の時系列データから、当該一の期間における最新の特徴点情報に対応する新たな特徴点情報を生成する
付記１に記載の情報処理方法。
【0104】
（付記８）
特徴点生成モデルを利用して、特徴点情報の時系列データから新たな特徴点情報を生成する特徴点生成部と、
生成された特徴点情報をキャラクタオブジェクトに転写し、転写されたキャラクタオブジェクトを含む配信動画を生成する動画生成部と、
生成された配信動画を配信する配信部と、
を備える情報処理システム。
特徴点生成モデルを利用して、特徴点情報の時系列データから新たな特徴点情報を生成する特徴点生成部と、
生成された特徴点情報をキャラクタオブジェクトに転写し、転写されたキャラクタオブジェクトを含む配信動画を生成する動画生成部と、
生成された配信動画を配信する配信部と、
を備える情報処理システム。
【0105】
（付記９）
コンピュータに、
特徴点生成モデルを利用して、特徴点情報の時系列データから新たな特徴点情報を生成する特徴点生成処理と、
生成された特徴点情報をキャラクタオブジェクトに転写し、転写されたキャラクタオブジェクトを含む配信動画を生成する動画生成処理と、
生成された配信動画を配信する配信処理と、
を含む情報処理方法を実行させるためのプログラム。
コンピュータに、
特徴点生成モデルを利用して、特徴点情報の時系列データから新たな特徴点情報を生成する特徴点生成処理と、
生成された特徴点情報をキャラクタオブジェクトに転写し、転写されたキャラクタオブジェクトを含む配信動画を生成する動画生成処理と、
生成された配信動画を配信する配信処理と、
を含む情報処理方法を実行させるためのプログラム。
【0106】
今回開示された実施形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。また、本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【符号の説明】
【0107】
１：動画配信装置
２：アクター端末
３：視聴者端末
１１：通信部
１２：記憶部
１３：制御部
１００：情報処理装置
１２１：特徴点推定モデル
１２２：特徴点情報
１２３：特徴点生成モデル
１２４：動画情報
１３１：取得部
１３２：推定部
１３３：特徴点生成部
１３４：動画生成部
１３５：配信部
１３６：学習部
ｍ：元動画
Ｍ：配信動画
ｓ：センサ
ｓｄ：センサデータ
２：アクター端末
３：視聴者端末
１１：通信部
１２：記憶部
１３：制御部
１００：情報処理装置
１２１：特徴点推定モデル
１２２：特徴点情報
１２３：特徴点生成モデル
１２４：動画情報
１３１：取得部
１３２：推定部
１３３：特徴点生成部
１３４：動画生成部
１３５：配信部
１３６：学習部
ｍ：元動画
Ｍ：配信動画
ｓ：センサ
ｓｄ：センサデータ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
