特許 6692481 コンピュータプログラム、情報処理方法および情報処理システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】6692481

(24)【登録日】2020年4月16日

(45)【発行日】2020年5月13日

(54)【発明の名称】コンピュータプログラム、情報処理方法および情報処理システム

(51)【国際特許分類】

   G06T 19/20 20110101AFI20200427BHJP

   G06T 11/80 20060101ALI20200427BHJP

   H04N 21/235 20110101ALI20200427BHJP

【ＦＩ】

   G06T19/20

   G06T11/80 D

   H04N21/235

【請求項の数】10

【全頁数】18

(21)【出願番号】特願2019-113999(P2019-113999)

(22)【出願日】2019年6月19日

【審査請求日】2019年6月19日

【新規性喪失の例外の表示】特許法第３０条第２項適用 平成３１年３月１２日〜３月２４日 ＶＴｕｂｅｒ専用ライブ試聴・配信アプリ「ＲＥＡＬＩＴＹ」公式ＤＬサイト（ｈｔｔｐｓ：／／ｌｅ．ｗｒｉｇｈｔｆｌｙｅｒ．ｎｅｔ／ｒｅａｌｉｔｙ／）において、「公式番組デビューイベント」を開催

【早期審査対象出願】

(73)【特許権者】

【識別番号】504437801

【氏名又は名称】グリー株式会社

(74)【代理人】

【識別番号】100185971

【弁理士】

【氏名又は名称】高梨 玲子

(72)【発明者】

【氏名】高桑 宗一郎

【審査官】 岡本 俊威

(56)【参考文献】

【文献】 特許第６４９１３８８（ＪＰ，Ｂ１）

【文献】 特開２０１５−１８４６８９（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １１／００−１９／２０

Ｈ０４Ｎ ２１／００−２１／８５８

(57)【特許請求の範囲】

【請求項1】

配信ユーザの動きに基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画を配信するためのコンピュータプログラムであって、一又は複数のコンピュータプロセッサに、
キャラクタの第一の部位に関する第一の部位情報を含む第一のアバタ情報を取得する取得機能と、
前記取得機能により取得された前記第一の部位情報に基づいて、前記第一のアバタ情報に含まれない前記キャラクタの第二の部位に関する第二の部位情報を特定する特定機能と、
前記取得機能により取得された前記第一の部位情報、および、前記特定機能により特定された前記第二の部位情報に基づいて、第二のアバタ情報を生成する生成機能と
を実現させ、
前記取得機能は、一以上の装着オブジェクト情報が関連付けられた第一の部位情報を含む第一のアバタ情報を取得し、
前記特定機能は、前記一以上の装着オブジェクト情報に基づいて、前記第二の部位に関連付けられる一以上の装着オブジェクト情報を含む前記第二の部位情報を特定する、コンピュータプログラム。

【請求項2】

配信ユーザの動きに基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画を配信するためのコンピュータプログラムであって、一又は複数のコンピュータプロセッサに、
前記キャラクタオブジェクトの生成に要求されるアバタ情報の種類を取得する種類取得機能と、
前記種類取得機能により取得された種類が、キャラクタの第一の部位に関する第一の部位情報、および、前記キャラクタの第二の部位に関する第二の部位情報に基づいて生成されるアバタ情報の種類である場合に、当該アバタ情報が既に生成されているか否かを判断する判断機能と、
前記キャラクタの第一の部位に関する第一の部位情報を含む第一のアバタ情報を取得する取得機能と、
前記判断機能による判断の結果、前記アバタ情報が未だ生成されていない場合に、前記取得機能により取得された前記第一の部位情報に基づいて、前記第一のアバタ情報に含まれない前記第二の部位情報を特定する特定機能と、
前記取得機能により取得された前記第一の部位情報、および、前記特定機能により特定された前記第二の部位情報に基づいて、前記種類取得機能により取得された種類と同種の第二のアバタ情報を生成する生成機能と
を実現させる、コンピュータプログラム。

【請求項3】

前記特定機能は、前記第一の部位情報に対応付けられた一以上の第二の部位情報を抽出し、当該抽出された一以上の第二の部位情報に対するユーザの選択情報に基づいて、一の第二の部位情報を特定することを特徴とする請求項１または２に記載のコンピュータプログラム。

【請求項4】

前記第一のアバタ情報は、所定の情報処理端末が備えるフェイシャルキャプチャ機能により取得される、アクターの顔部のモーション情報に基づいて、少なくとも顔部が動作するアバタを生成するための情報であることを特徴とする請求項１から３のいずれか一項に記載のコンピュータプログラム。

【請求項5】

前記第二のアバタ情報は、所定の情報処理装置が備えるモーションキャプチャ機能により取得される、アクターの全身のモーション情報に基づいて、全身が動作するアバタを生成するための情報であることを特徴とする請求項１から４のいずれか一項に記載のコンピュータプログラム。

【請求項6】

前記特定機能は、前記取得機能により取得された前記第一の部位情報と対になる前記第二の部位情報を特定することを特徴とする請求項１から５のいずれか一項に記載のコンピュータプログラム。

【請求項7】

配信ユーザの動きに基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画を配信するための情報処理方法であって、一又は複数のコンピュータプロセッサに、
キャラクタの第一の部位に関する第一の部位情報を含む第一のアバタ情報を取得する取得ステップと、
前記取得ステップにおいて取得された前記第一の部位情報に基づいて、前記第一のアバタ情報に含まれない前記キャラクタの第二の部位に関する第二の部位情報を特定する特定ステップと、
前記取得ステップにおいて取得された前記第一の部位情報、および、前記特定ステップにおいて特定された前記第二の部位情報に基づいて、第二のアバタ情報を生成する生成ステップと
を実行させ、
前記取得ステップでは、一以上の装着オブジェクト情報が関連付けられた第一の部位情報を含む第一のアバタ情報を取得し、
前記特定ステップでは、前記一以上の装着オブジェクト情報に基づいて、前記第二の部位に関連付けられる一以上の装着オブジェクト情報を含む前記第二の部位情報を特定する、情報処理方法。

【請求項8】

配信ユーザの動きに基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画を配信するための情報処理方法であって、一又は複数のコンピュータプロセッサに、
前記キャラクタオブジェクトの生成に要求されるアバタ情報の種類を取得する種類取得ステップと、
前記種類取得ステップにおいて取得された種類が、キャラクタの第一の部位に関する第一の部位情報、および、前記キャラクタの第二の部位に関する第二の部位情報に基づいて生成されるアバタ情報の種類である場合に、当該アバタ情報が既に生成されているか否かを判断する判断ステップと、
前記第一の部位情報を含む第一のアバタ情報を取得する取得ステップと、
前記判断ステップにおける判断の結果、前記アバタ情報が未だ生成されていない場合に、前記取得ステップにおいて取得された前記第一の部位情報に基づいて、前記第一のアバタ情報に含まれない前記キャラクタの第二の部位に関する前記第二の部位情報を特定する特定ステップと、
前記取得ステップにおいて取得された前記第一の部位情報、および、前記特定ステップにおいて特定された前記第二の部位情報に基づいて、前記種類取得ステップにおいて取得された種類と同種の第二のアバタ情報を生成する生成ステップと
を実行させる、情報処理方法。

【請求項9】

配信ユーザの動きに基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画を配信する情報処理システムであって、一又は複数のコンピュータプロセッサを備え、
前記一又は複数のコンピュータプロセッサは、
キャラクタの第一の部位に関する第一の部位情報を含む第一のアバタ情報を取得する取得部と、
前記取得部が取得した前記第一の部位情報に基づいて、前記第一のアバタ情報に含まれない前記キャラクタの第二の部位に関する第二の部位情報を特定する特定部と、
前記取得部が取得し前記第一の部位情報、および、前記特定部が特定し前記第二の部位情報に基づいて、第二のアバタ情報を生成する生成部と
を備え、
前記取得部は、一以上の装着オブジェクト情報が関連付けられた第一の部位情報を含む第一のアバタ情報を取得し、
前記特定部は、前記一以上の装着オブジェクト情報に基づいて、前記第二の部位に関連付けられる一以上の装着オブジェクト情報を含む前記第二の部位情報を特定する情報処理システム。

【請求項10】

配信ユーザの動きに基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画を配信する情報処理システムであって、一又は複数のコンピュータプロセッサを備え、
前記一又は複数のコンピュータプロセッサは、
前記キャラクタオブジェクトの生成に要求されるアバタ情報の種類を取得する種類取得部と、
前記種類取得部において取得された種類が、キャラクタの第一の部位に関する第一の部位情報、および、前記キャラクタの第二の部位に関する第二の部位情報に基づいて生成されるアバタ情報の種類である場合に、当該アバタ情報が既に生成されているか否かを判断する判断部と、
前記第一の部位情報を含む第一のアバタ情報を取得する取得部と、
前記判断部における判断の結果、前記アバタ情報が未だ生成されていない場合に、前記取得部において取得された前記第一の部位情報に基づいて、前記第一のアバタ情報に含まれない前記キャラクタの第二の部位に関する前記第二の部位情報を特定する特定部と、
前記取得部において取得された前記第一の部位情報、および、前記特定部において特定された前記第二の部位情報に基づいて、前記種類取得部により取得された種類と同種の第二のアバタ情報を生成する生成部と
を備える情報処理システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、コンピュータプログラム、情報処理方法および情報処理システムに関する。

【背景技術】

【0002】

従来から、配信ユーザの動きに基づいてキャラクタオブジェクトのアニメーションを生成し、かかるキャラクタオブジェクトのアニメーションを含む動画をライブ配信する動画配信システムが知られている。このような動画配信システムは、例えば、特許文献１および非特許文献１に開示されている。

【0003】

また、最近では、異なる動画配信プラットフォームにおいても共通の３Ｄデータを用いてキャラクタオブジェクトを使用可能するための、特定のファイルフォーマットが提供され始めている（非特許文献２）。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１５−１８４６８９号公報

【非特許文献】

【0005】

【非特許文献1】長谷川 雄介，ヴァーチャルアイドル新時代の幕開けＰＲＯＪＥＣＴ ＭａｒｉＡ，ＣＧ ＷＯＲＬＤ，日本，株式会社ボーンデジタル，２０１７年１１月１０日，第２３１巻，ｐｐ．７４−７９

【非特許文献2】“ＶＲＭ ３Ｄ Ｈｕｍａｎｏｉｄ Ａｖａｔａｒ ｆｏｒｍａｔ ｆｏｒ ＶＲ”、一般社団法人 ＶＲＭコンソーシアム、［令和１年５月２０日検索］、インターネット＜https://vrm.dev/＞

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、異なる動画配信プラットフォーム間で、上述した特定のファイルフォーマットで作成された共通の３Ｄデータを使用可能ではあったとしても、求められるデータの内容が異なれば、キャラクタオブジェクトを生成するための情報が不足する可能性がある。

【0007】

その場合、３Ｄデータの不足部分を新たに作成するという作業が必要となるため、配信者の他の動画配信プラットフォームでも配信しようという意欲が削がれてしまうという問題がある。

【0008】

そのため、本開示の目的は、上述した従来技術の問題の少なくとも一部を解決又は緩和する技術的な改善を提供することである。本開示のより具体的な目的の一つは、動画配信において異なるデータの内容が要求されるシステム間の連携をスムーズに行うことができる情報処理システム、情報処理方法およびコンピュータプログラムを提供することである。

【課題を解決するための手段】

【0009】

本発明のコンピュータプログラムは、配信ユーザの動きに基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画を配信するためのコンピュータプログラムであって、一又は複数のコンピュータプロセッサに、キャラクタの第一の部位に関する第一の部位情報を含む第一のアバタ情報を取得する取得機能と、取得機能により取得された第一の部位情報に基づいて、第一のアバタ情報に含まれないキャラクタの第二の部位に関する第二の部位情報を特定する特定機能と、取得機能により取得された第一の部位情報、および、特定機能により特定された第二の部位情報に基づいて、第二のアバタ情報を生成する生成機能とを実現させることを特徴とする。

【0010】

特定機能は、第一の部位情報に対応付けられた一以上の第二の部位情報を抽出し、当該抽出された一以上の第二の部位情報に対するユーザの選択情報に基づいて、一の第二の部位情報を特定することができる。

【0011】

取得機能は、一以上の装着オブジェクト情報が関連付けられた第一の部位情報を含む第一のアバタ情報を取得し、
特定機能は、一以上の装着オブジェクト情報に基づいて、第二の部位に関連付けられる一以上の装着オブジェクト情報を含む第二の部位情報を特定することができる。

【0012】

第一のアバタ情報は、所定の情報処理端末が備えるフェイシャルキャプチャ機能により取得される、アクターの顔部のモーション情報に基づいて、少なくとも顔部が動作するアバタを生成するための情報とすることができる。

【0013】

第二のアバタ情報は、所定の情報処理装置が備えるモーションキャプチャ機能により取得される、アクターの全身のモーション情報に基づいて、全身が動作するアバタを生成するための情報とすることができる。

【0014】

本発明のコンピュータプログラムは、一又は複数のコンピュータに、さらに、キャラクタが番組に出演する際に要求されるアバタ情報の種類を取得する種類取得機能を実現させ、種類取得機能により取得された種類が第二のアバタ情報の種類である場合に、生成機能が第二のアバタ情報を生成することができる。

【0015】

本発明のコンピュータプログラムは、一又は複数のコンピュータに、さらに、第二のアバタ情報が既に生成されているか否かを判断する判断機能を実現させ、判断機能による判断の結果、第二のアバタ情報が未だ生成されていない場合であって、種類取得機能により取得された種類が第二のアバタ情報の種類である場合に、生成機能が第二のアバタ情報を生成することができる。

【0016】

特定機能は、取得機能により取得された第一の部位情報と対になる第二の部位情報を特定することができる。

【0017】

本発明の情報処理方法は、配信ユーザの動きに基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画を配信するための情報処理方法であって、一又は複数のコンピュータプロセッサに、キャラクタの第一の部位に関する第一の部位情報を含む第一のアバタ情報を取得する取得ステップと、取得ステップにおいて取得された第一の部位情報に基づいて、第一のアバタ情報に含まれないキャラクタの第二の部位に関する第二の部位情報を特定する特定ステップと、取得ステップにおいて取得された第一の部位情報、および、特定ステップにおいて特定された第二の部位情報に基づいて、第二のアバタ情報を生成する生成ステップとを実行させることを特徴とする。

【0018】

本発明の情報処理システムは、配信ユーザの動きに基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画を配信する情報処理システムであって、一又は複数のコンピュータプロセッサを備え、一又は複数のコンピュータプロセッサは、キャラクタの第一の部位に関する第一の部位情報を含む第一のアバタ情報を取得する取得部と、取得部が取得した第一の部位情報に基づいて、第一のアバタ情報に含まれないキャラクタの第二の部位に関する第二の部位情報を特定する特定部と、取得部が取得し第一の部位情報、および、特定部が特定し第二の部位情報に基づいて、第二のアバタ情報を生成する生成部とを備えることを特徴とする。

【発明の効果】

【0019】

本発明によれば、上述した従来技術の問題の少なくとも一部を解決又は緩和する技術的な改善を提供することができる。本発明によれば、動画配信において異なるデータの内容が要求されるシステム間の連携をスムーズに行うことができる。

【図面の簡単な説明】

【0020】

【図1】本発明の情報処理システムの一例を示すシステム構成図である。

【図2】本発明の情報処理システムが連携可能な情報処理システムの一例を示すシステム構成図である。

【図3】モバイル配信の配信画面のイメージを示した概念図である。

【図4】スタジオ配信の配信画面のイメージを示した概念図である。

【図5】本発明の実施形態にかかる情報処理装置の機能構成を示す構成図である。

【図6】キャラクタの上半身に対応付けられる装着オブジェクトのイメージを示した概念図である。

【図7】キャラクタの下半身に対応付けられる装着オブジェクトのイメージを示した概念図である。

【図8】装着オブジェクトとコーディネートポイントのデータテーブルの一例を示したものである。

【図9】装着オブジェクトの優先度のデータテーブルを示したものである。

【図10】本発明の他の実施形態にかかる情報処理装置の機能構成を示す構成図である。

【図11】本発明の実施形態にかかる情報処理装置のハードウェア構成の一例を示す構成図である。

【図12】本発明の実施形態にかかる情報処理方法のフローの一例を示すフロー図である。

【図13】本発明の実施形態にかかるコンピュータプログラムの機能構成を実現するための回路の一例を示す回路構成図である。

【発明を実施するための形態】

【0021】

初めに、本発明の情報処理システムの概要について図面を参照しながら説明する。

【0022】

本発明の実施形態に係る情報処理システムは、配信ユーザの動きに基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画を配信する情報処理システムであって、一又は複数のコンピュータプロセッサを備える。

【0023】

＜システム構成＞
図１に一例として示されるように、情報処理システム１００は、１以上の視聴ユーザ端末２００、および、これら視聴ユーザ端末２００とネットワーク３００を介して接続される、動画の配信スタジオ等に配置された情報処理装置（サポートコンピュータ）４００を含むことができる。

【0024】

また、当該情報処理装置４００は、インターネットを介してサーバ装置５００（図示せず）と接続され、後述する情報処理装置４００で行われるべき処理の一部を当該サーバ装置５００で行うものとしてもよい。

【0025】

本明細書において、かかる情報処理システム１００による配信を、スタジオ配信と呼ぶものとする。

【0026】

スタジオ配信において、配信ユーザ（アクター）の全身の動きは、配信ユーザに取り付けられたマーカをスタジオに備え付けられたカメラで撮影し、既知のモーションキャプチャ技術を用いてリアルタイムでキャラクタに反映させるものとする。

【0027】

また、本発明の情報処理システム１００は、図２に一例として示される別の情報処理システム１０と連携することができる。図２に示される情報処理システム１０は、配信ユーザ端末２０、１以上の視聴ユーザ端末３０、および、これら配信ユーザ端末２０および視聴ユーザ端末３０とネットワーク４０を介して接続される情報処理装置（サーバ装置）５０を含むことができる。

【0028】

上記の例において、配信ユーザ端末２０はスマートフォン等の情報処理端末とすることができる。本明細書において、かかる情報処理システム１０による配信を、モバイル配信と呼ぶものとする。

【0029】

モバイル配信において、配信ユーザの顔の動きは、配信ユーザの顔を配信ユーザの情報処理端末が備えるカメラで撮影し、既知のフェイストラッキング技術を用いてリアルタイムでキャラクタの顔に反映させるものとする。

【0030】

上記情報処理システム１００および情報処理システム１０により生成される動画は、一例として、一の動画配信プラットフォームから、視聴ユーザへ配信することができる。

【0031】

ここで、一例として、一般の配信ユーザは、上記動画配信プラットフォームにおいて、情報処理システム１０によるモバイル配信を行うことのみが許可されているものとする。図３に示すように、モバイル配信において配信ユーザのキャラクタは上半身のみが表示され、下半身は表示されない。そのため、必要とされるキャラクタの３Ｄデータは上半身のデータだけである。

【0032】

なお、ここでいう上半身とは少なくとも脚部を含まないという意味であり、図３に示されるように、腰部や尻部が含まれていてもよい。

【0033】

一方、公式の配信ユーザは、上記動画配信プラットフォームにおいて、情報処理システム１００によるスタジオ配信を行うことが許可されているものとする。ここでいう公式の配信ユーザとは、動画配信プラットフォームの運営者が定める公式番組に出演するキャラクタのアクターを意味するものとする。

【0034】

図４に示すように、スタジオ配信において配信ユーザのキャラクタは全身が表示される。そのため、必要とされるキャラクタの３Ｄデータは全身のデータである。

【0035】

なお、本実施形態においては、モバイル配信とスタジオ配信とが共通の動画配信プラットフォームにおいて実現し、これら配信間の連携について説明を行うが、本発明は、別々の動画配信プラットフォームにおける配信間の連携についても適用が可能である。かかる場合において、動画の配信形式（例えば、モバイル配信かスタジオ配信か）については何ら限定されない。

【0036】

ここで、上記動画配信プラットフォームにおいて、一般の配信ユーザがスタジオ配信を行う場合がある。

【0037】

一例として、動画配信プラットフォームの運営者は、一般の配信ユーザに対して、「公式番組デビューイベント」を開催することができる。イベントの内容については説明を省略するが、例えば、視聴ユーザからもらったギフトをイベントスコアに換算して順位を競うイベントとすることができる。そして、この「公式番組デビューイベント」で勝ち抜いたランキング上位３名の一般の配信ユーザのキャラクタは、公式番組に出演する権利（すなわち、スタジオ配信を行う権利）を獲得するものとする。なお、この権利を獲得する配信ユーザの数は３名に限られるものではない。

【0038】

本実施形態における情報処理システム１００では、配信ユーザのイベント成績をデータとして保持し、その上位者についてフラグ付けを行うものとする。そして、公式番組出演に際して必要となる、フラグ付けされた上位者のキャラクタの全身の３Ｄデータ（後述する第二のアバタ情報）を生成するものとする。

【0039】

通常、一般の配信ユーザは、スタジオ配信のためのキャラクタの全身の３Ｄデータが用意されていない。一般の配信ユーザは、予め用意されたキャラクタのパーツ（体型、肌色、髪型等）や装着アイテム（洋服、アクセサリ等）を自由に組み合わせて自身のオリジナルキャラクタの上半身の３Ｄデータを生成し、これを使用してモバイル配信を行っており、このような多種多様なオリジナルキャラクタの全身の３Ｄデータを予め用意しておくことは膨大な作業が必要となり現実的ではないためである。

【0040】

そこで、本発明における上記一又は複数のコンピュータプロセッサは、図５に示すように、取得部４１０と、特定部４２０と、生成部４３０とを備える。

【0041】

取得部４１０は、第一のアバタ情報を取得する。

【0042】

第一のアバタ情報は、キャラクタの第一の部位に関する第一の部位情報を含むものであって、一例として、モバイル配信で求められる内容の３Ｄデータとする。

【0043】

キャラクタは、複数の部位で構成されるものとする。キャラクタは、上半身および下半身という２つの部位で構成されてもよいし、頭部、首部、胸部、肩部、腕部、胴部、脚部等のより細かな部位で構成されるものとしてもよい。

【0044】

そして、第一の部位は、上記部位の少なくとも一つの部位とする。また、第一の部位情報は、第一の部位の性別情報、色情報および／またはサイズ情報等を含むものとする。また、第一の部位情報は、第一の部位に関連付けられた装着オブジェクトの情報を含んでもよい。第一の部位に関連付けられた装着オブ得ジェクトとは、洋服、アクセサリおよび／または小物等のアイテムとすることができる。

【0045】

特定部４２０は、取得部４１０により取得された第一の部位情報に基づいて、第二の部位情報を特定する。一例として、第一の部位情報に含まれる性別情報、色情報および／またはサイズ情報に基づいて、同一の性別情報、色情報および／またはサイズ情報を含む第二の部位情報を特定する。第二の部位情報の特定の方法のバリエーションについては後述する。

【0046】

第二の部位情報は、第一のアバタ情報に含まれないキャラクタの第二の部位に関するものである。また、第二の部位情報は、第二の部位の性別情報、色情報および／またはサイズ情報等を含むものとする。なお、詳細は後述するが、第二の部位情報は、第二の部位に関連付けられた装着オブジェクトの情報を含んでもよい。第二の部位に関連付けられた装着オブジェクトとは、洋服、アクセサリおよび／または小物等のアイテムとすることができる。

【0047】

一例として、第一の部位が上半身である場合には、第二の部位は下半身である。

【0048】

そして、生成部４３０は、取得部４１０により取得された第一の部位情報、および、特定部４２０により特定された第二の部位情報に基づいて、第二のアバタ情報を生成する。

【0049】

一例として、第二のアバタ情報は、上半身に関する情報である第一の部位情報、および、下半身に関する第二の部位情報に基づいて生成されるキャラクタの全身の３Ｄデータである。そして、一例として、この全身の３Ｄデータはスタジオ配信で求められる内容の３Ｄデータである。

【0050】

以上の構成によれば、第一のアバタ情報から第二のアバタ情報を自動的に生成することができる。これにより、動画配信において異なるデータの内容が要求されるシステム間の連携をスムーズに行うことができる。

【0051】

例えば、上述したようなイベントにおいて、一般の配信ユーザ用のモバイル配信用のキャラクタの上半身の３Ｄデータから、スタジオ配信用のキャラクタの全身の３Ｄデータを容易に生成することができるため、配信ユーザおよび／または運営者の作業負担を軽減することができる。

【0052】

また、上述したように、第一のアバタ情報は、所定の情報処理端末が備えるフェイシャルキャプチャ機能により取得される、アクターの顔部のモーション情報に基づいて、少なくとも顔部が動作するアバタを生成するための情報とすることができる。

【0053】

同様に、第二のアバタ情報は、所定の情報処理装置が備えるモーションキャプチャ機能により取得される、アクターの全身のモーション情報に基づいて、全身が動作するアバタを生成するための情報とすることができる。

【0054】

また、取得部４１０は、一以上の装着オブジェクト情報が関連付けられた第一の部位情報を含む第一のアバタ情報を取得する。

【0055】

図６に示すように、第一のアバタ情報により表示されるキャラクタは、通常は裸ではなく洋服を着用した状態で表示される。第一のアバタ情報が含むのは第一の部位情報に関連付けられた装着オブジェクト情報であるので、第一の部位が上半身である場合には、少なくともトップスの情報を含む。

【0056】

また、第一のアバタ情報は、装着オブジェクト情報として、トップスであるＴシャツ、ジャケット、頭部に装着されるカチューシャ、帽子、眼鏡、イヤリング、あるいは、腕部に装着されるブレスレット、時計、指に装着される指輪などを含んでもよい。

【0057】

そして、特定部４２０は、一以上の装着オブジェクト情報に基づいて、第二の部位に関連付けられる一以上の装着オブジェクト情報を含む第二の部位情報を特定することができる。

【0058】

図７に示すように、第二のアバタ情報により表示されるキャラクタは、通常は裸ではなく洋服を着用した状態で表示される。それ故に、上半身と下半身の装着オブジェクトのコーディネートが重要となる。

【0059】

一例として、あるトップスと対になるボトムスとを対応付けたコーディネート情報を記憶しておき、この情報を用いて、第一の部位に関連付けられる一以上の装着オブジェクト情報に基づいて、第二の部位に関連付けられる一以上の装着オブジェクト情報を決定することができる。

【0060】

すなわち、コーディネート情報は、装着オブジェクトと、当該装着オブジェクトとコーディネート可能な他の装着オブジェクトと対応付けて管理するものである。なお、この対応付けは一対一の関係であってもでもよいし、一対複数、複数対複数の関係であってもよい。

【0061】

対応付けが一対一である場合には、特定部４２０は、取得部４１０により取得された第一の部位情報と対になる第二の部位情報を特定することができる。

【0062】

これは、トップスとボトムスがセパレートされないワンピース、浴衣、水着、サロペットの洋服、トップスとボトムスが上下セットである制服やスーツなどの場合に有効な特定方法である。

【0063】

また、対応付けが一対複数または複数対複数の場合には、特定部４２０は、取得部４１０により取得された第一の部位情報と対応付けられた第二の部位情報を特定することができる。

【0064】

例えば、トップスＡにはボトムスａ，ボトムスｂ，ボトムスｃ，ボトムスｄが対応付けられる。このとき、これら複数のボトムスにはトップスＡとのコーディネートポイントが定められていてもよい。図８は、本発明の情報処理システム１００が備える記憶部または外部の記憶装置が備える装着オブジェクトとコーディネートポイントのデータテーブルを示したものである。

【0065】

このように、一の装着オブジェクトに複数の装着オブジェクトが対応付けられる場合には、コーディネートポイントにより優先度を定め、最上位の装着オブジェクトが決定され、この装着オブジェクトが関連付けられた第二の部位情報が特定されるものとしてもよい。最上位の装着オブジェクトが複数ある場合には、ランダムで一の装着オブジェクトが決定されるものとしてもよい。

【0066】

また、対応付けが一対複数または複数対複数の場合には、特定部４２０は、第一の部位情報に対応付けられた一以上の第二の部位情報を抽出し、当該抽出された一以上の第二の部位情報に対するユーザの選択情報に基づいて、一の第二の部位情報を特定することができる。

【0067】

例えば、図８の例では、複数のボトムスのそれぞれが関連付けられた第二の部情報の全てが情報処理端末の表示画面に表示され、表示された中からユーザが一の第二の部位情報を選択するものであってもよい。

【0068】

ここでいうユーザは、アクターである配信ユーザまたは運営者とすることができる。

【0069】

これにより、ユーザは複数提示されたボトムスの中から好みのボトムスを装着した下半身を選ぶことができるようになり、キャラクタのコーディネートの自由度を高めることができる。

【0070】

また、第一の部位情報に複数の装着オブジェクトが関連付けられている場合には、装着オブジェクトの予め定められた優先度に基づいて、第二の部位情報を特定することができる。図９は、本発明の情報処理システム１００が備える記憶部または外部の記憶装置が備える、装着オブジェクトの優先度のデータテーブルを示したものである。

【0071】

図９の例では、複数の装着オブジェクトの中で最も優先度の高いトップスに対応付けられたボトムスが関連付けられた第二の部位情報が特定される。この優先度は、装着オブジェクトのキャラクタのコーディネートに与える印象の度合いに基づいて定められることができる。

【0072】

また、本発明の情報処理システム１００は、図１０に示されるように、さらに、種類取得部４４０を備えることができる。

【0073】

種類取得部４４０は、キャラクタが番組に出演する際に要求されるアバタ情報の種類を取得するものである。

【0074】

アバタ情報の種類とは、アバタ情報のデータ形式の種類などとすることができる。データ形式は、ＶＲアプリケーション向けの人型３Ｄアバタ（３Ｄモデル）データを扱うためのファイルフォーマットであるＶＲＭと呼ばれるファイルフォーマットの形式とすることができる。

【0075】

そして、種類取得部４４０により取得された種類が第二のアバタ情報の種類である場合に、生成部４３０が第二のアバタ情報を生成することができる。

【0076】

上記では、第一のアバタ情報の種類のうち、データ形式の種類は同一であるものとして説明を行った。すなわち、第二のアバタ情報は、第一のアバタ情報に不足している情報を生成するだけで生成されるものである。そのため、種類取得部４４０は、要求されるアバタ情報の種類が、本発明により生成可能な第二のアバタ情報の種類（データ形式）であることを確認し、第二のアバタ情報を生成することができる。

【0077】

また、本発明の情報処理システム１００は、さらに、判断部４５０を備えることができる。

【0078】

判断部４５０は、第二のアバタ情報が既に生成されているか否かを判断するものである。

【0079】

そして、判断部４５０による判断の結果、第二のアバタ情報が未だ生成されていない場合であって、種類取得部４４０により取得された種類が第二のアバタ情報の種類である場合に、生成部４３０が第二のアバタ情報を生成することができる。

【0080】

以上、記載した実施形態によれば、一例としてＶＲＭを利用して、モバイル配信で利用しているアバタ（上半身のみ）に基づいて、スタジオ配信用の全身アバタを自動的に生成することで、ユーザの手間をかけずスムーズにスタジオ配信（例えば公式番組）へ対応することができる。

【0081】

例えば、上半身のアバタデータからその他のパーツのアバタ情報を自動的に決定したり、上半身のアバタデータにマッチする他のパーツのアバタ情報の候補をプレイヤーに提示したりしても良い。これにより、スタジオ配信とモバイル配信の両方に対応しているＶｔｕｂｅｒアプリケーションへの活用が期待される。

【0082】

＜ハードウェア構成＞
ここで、図１１を用いて、情報処理システム１００に含まれる情報処理装置４００のハードウェア構成について説明する。情報処理装置４００は、プロセッサ４０１と、メモリ４０２と、ストレージ４０３と、入出力インタフェース（入出力Ｉ／Ｆ）４０４と、通信インタフェース（通信Ｉ／Ｆ）４０５とを含む。各構成要素は、バスＢを介して相互に接続される。

【0083】

情報処理装置４００は、プロセッサ４０１と、メモリ４０２と、ストレージ４０３と、入出力Ｉ／Ｆ４０４と、通信Ｉ／Ｆ４０５との協働により、本実施形態に記載される機能、方法を実現することができる。

【0084】

プロセッサ４０１は、ストレージ４０３に記憶されるプログラムに含まれるコード又は命令によって実現する機能、及び／又は、方法を実行する。プロセッサ４０１は、例えば、中央処理装置（ＣＰＵ）、ＭＰＵ（Micro Processing Unit）、ＧＰＵ（Graphics Processing Unit）、マイクロプロセッサ（microprocessor）、プロセッサコア（processor core）、マルチプロセッサ（multiprocessor）、ＡＳＩＣ（Application-Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）等を含み、集積回路（ＩＣ（Integrated Circuit）チップ、ＬＳＩ（Large Scale Integration））等に形成された論理回路（ハードウェア）や専用回路によって各実施形態に開示される各処理を実現してもよい。また、これらの回路は、１又は複数の集積回路により実現されてよく、各実施形態に示す複数の処理を１つの集積回路により実現されることとしてもよい。また、ＬＳＩは、集積度の違いにより、ＶＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩ等と呼称されることもある。

【0085】

メモリ４０２は、ストレージ４０３からロードしたプログラムを一時的に記憶し、プロセッサ４０１に対して作業領域を提供する。メモリ４０２には、プロセッサ４０１がプログラムを実行している間に生成される各種データも一時的に格納される。メモリ４０２は、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等を含む。

【0086】

ストレージ４０３は、プログラムを記憶する。ストレージ４０３は、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、フラッシュメモリ等を含む。

【0087】

通信Ｉ／Ｆ４０５は、ネットワークアダプタ等のハードウェアや通信用ソフトウェア、及びこれらの組み合わせとして実装され、ネットワーク６００を介して各種データの送受信を行う。当該通信は、有線、無線のいずれで実行されてもよく、互いの通信が実行できるのであれば、どのような通信プロトコルを用いてもよい。通信Ｉ／Ｆ４０５は、ネットワーク６００を介して、他の情報処理装置との通信を実行する。通信Ｉ／Ｆ４０５は、各種データをプロセッサ４０１からの指示に従って、他の情報処理装置に送信する。また、通信Ｉ／Ｆ４０５は、他の情報処理装置から送信された各種データを受信し、プロセッサ４０１に伝達する。

【0088】

入出力Ｉ／Ｆ４０４は、情報処理装置４００に対する各種操作を入力する入力装置、及び、情報処理装置４００で処理された処理結果を出力する出力装置を含む。入出力Ｉ／Ｆ４０４は、入力装置と出力装置が一体化していてもよいし、入力装置と出力装置とに分離していてもよい。

【0089】

入力装置は、ユーザからの入力を受け付けて、当該入力に係る情報をプロセッサ４０１に伝達できる全ての種類の装置のいずれか、又は、その組み合わせにより実現される。入力装置は、例えば、タッチパネル、タッチディスプレイ、キーボード等のハードウェアキーや、マウス等のポインティングデバイス、カメラ（画像を介した操作入力）、マイク（音声による操作入力）を含む。

【0090】

出力装置は、プロセッサ４０１で処理された処理結果を出力する。出力装置は、例えば、タッチパネル、スピーカ等を含む。なお、視聴ユーザ端末２００も特筆すべき場合を除き、図１１と同様のハードウェア構成で構成されることができる。

【0091】

続いて、本発明の実施形態に係る情報処理方法の一例について説明する。

【0092】

本発明の情報処理方法は、図１２に示されるように、配信ユーザの動きに基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画を配信する情報処理システムにおける情報処理方法であって、一又は複数のコンピュータプロセッサに、取得ステップＳ１１０と、特定ステップＳ１２０と、生成ステップＳ１３０とを実行させる。

【0093】

取得ステップＳ１１０は、キャラクタの第一の部位に関する第一の部位情報を含む第一のアバタ情報を取得する。取得ステップＳ１１０は、上述した取得部４１０により実行されることができる。

【0094】

特定ステップＳ１２０は、取得ステップにおいて取得された第一の部位情報に基づいて、第一のアバタ情報に含まれないキャラクタの第二の部位に関する第二の部位情報を特定する。特定ステップＳ１２０は、上述した特定部４２０により実行されることができる。

【0095】

生成ステップＳ１３０は、取得ステップにおいて取得された第一の部位情報、および、特定ステップにおいて特定された第二の部位情報に基づいて、第二のアバタ情報を生成する。生成ステップＳ１３０は、上述した生成部４３０により実行されることができる。

【0096】

以上の構成によれば、第一のアバタ情報から第二のアバタ情報を自動的に生成することができる。これにより、動画配信において異なるデータの内容が要求されるシステム間の連携をスムーズに行うことができる。

【0097】

最後に、本発明のコンピュータプログラムについて説明を行う。

【0098】

本発明のコンピュータプログラムは、配信ユーザの動きに基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画を配信するためのコンピュータプログラムであって、一又は複数のコンピュータプロセッサに、取得機能と、特定機能と、生成機能とを実現させる。

【0099】

取得機能は、キャラクタの第一の部位に関する第一の部位情報を含む第一のアバタ情報を取得する。

【0100】

特定機能は、取得機能により取得された第一の部位情報に基づいて、第一のアバタ情報に含まれないキャラクタの第二の部位に関する第二の部位情報を特定する。

【0101】

生成機能は、取得機能により取得された第一の部位情報、および、特定機能により特定された第二の部位情報に基づいて、第二のアバタ情報 を生成する。

【0102】

上記取得機能、特定機能および生成機能は、図１３に示す取得回路１４１０、特定回路１４２０および生成回路１４３０により実現されることができる。取得回路１４１０、特定回路１４２０および生成回路１４３０は、それぞれ上述した取得部４１０、特定部４２０および生成部４３０により実現されるものとする。各部の詳細については上述したとおりである。

【0103】

以上の構成によれば、第一のアバタ情報から第二のアバタ情報を自動的に生成することができる。これにより、動画配信において異なるデータの内容が要求されるシステム間の連携をスムーズに行うことができる。

【0104】

また、上述した実施形態に係るサーバ装置又は端末装置として機能させるために、コンピュータ又は携帯電話などの情報処理装置を好適に用いることができる。このような情報処理装置は、実施形態に係るサーバ装置又は端末装置の各機能を実現する処理内容を記述したプログラムを、情報処理装置の記憶部に格納し、情報処理装置のＣＰＵによって当該プログラムを読み出して実行させることによって実現可能である。

【0105】

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【0106】

また、実施形態に記載した手法は、計算機（コンピュータ）に実行させることができるプログラムとして、例えば磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ、ＭＯ等）、半導体メモリ（ＲＯＭ、ＲＡＭ、フラッシュメモリ等）等の記録媒体に格納し、また通信媒体により伝送して頒布することもできる。なお、媒体側に格納されるプログラムには、計算機に実行させるソフトウェア手段（実行プログラムのみならずテーブルやデータ構造も含む）を計算機内に構成させる設定プログラムをも含む。本装置を実現する計算機は、記録媒体に記録されたプログラムを読み込み、また場合により設定プログラムによりソフトウェア手段を構築し、このソフトウェア手段によって動作が制御されることにより上述した処理を実行する。なお、本明細書でいう記録媒体は、頒布用に限らず、計算機内部あるいはネットワークを介して接続される機器に設けられた磁気ディスクや半導体メモリ等の記憶媒体を含むものである。記憶部は、例えば主記憶装置、補助記憶装置、又はキャッシュメモリとして機能してもよい。

【符号の説明】

【0107】

１００ 情報処理システム
２００ 視聴ユーザ端末
３００ ネットワーク
４００ 情報処理装置
４１０ 取得部
４２０ 特定部
４３０ 生成部
４４０ 種類取得部
４５０ 判断部

【要約】

【課題】 動画配信において異なるデータの内容が要求されるシステム間の連携をスムーズに行うことができる情報処理システム、情報処理方法およびコンピュータプログラムを提供する。
【解決手段】 配信ユーザの動きに基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画を配信するためのコンピュータプログラムであって、一又は複数のコンピュータプロセッサに、キャラクタの第一の部位に関する第一の部位情報を含む第一のアバタ情報を取得する取得機能と、取得機能により取得された第一の部位情報に基づいて、第一のアバタ情報に含まれないキャラクタの第二の部位に関する第二の部位情報を特定する特定機能と、取得機能により取得された第一の部位情報、および、特定機能により特定された第二の部位情報に基づいて、第二のアバタ情報を生成する生成機能とを実現させることを特徴とする。
【選択図】 図６

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】