特開 2024-154850 情報処理システム、情報処理方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024154850

(43)【公開日】2024-10-31

(54)【発明の名称】情報処理システム、情報処理方法、及びプログラム

(51)【国際特許分類】

   G06T 13/40 20110101AFI20241024BHJP

   G06F 16/583 20190101ALI20241024BHJP

【ＦＩ】

G06T13/40

G06F16/583

【審査請求】未請求

【請求項の数】22

【出願形態】ＯＬ

(21)【出願番号】P 2023069002

(22)【出願日】2023-04-20

(71)【出願人】

【識別番号】504437801

【氏名又は名称】グリー株式会社

(74)【代理人】

【識別番号】110002871

【氏名又は名称】弁理士法人坂本国際特許商標事務所

(72)【発明者】

【氏名】白井 暁彦

【テーマコード（参考）】

5B050

5B175

【Ｆターム（参考）】

5B050BA08

5B050BA12

5B050EA07

5B050EA24

5B050FA02

5B050FA10

5B050GA08

5B175DA04

5B175FA01

5B175HA01

5B175JA02

(57)【要約】

【課題】他のユーザの動きのデータを活用する。
【解決手段】人又はモノの一部又は全体の動きの時系列を表すマスタ動き情報を記憶する記憶部と、ユーザの一部又は全体の動きに関する第１動き情報を取得する動き取得部と、動き取得部により取得された第１動き情報と、記憶部に記憶されているマスタ動き情報との間の類似性に関する所定パラメータの値を算出する算出部と、算出部により算出された所定パラメータの値に基づいて、記憶部に記憶されている複数のマスタ動き情報のうちから、動き取得部により取得された第１動き情報に応じた１つ以上のマスタ動き情報を抽出する抽出処理部と、を備える、情報処理システムが開示される。
【選択図】図９

【特許請求の範囲】

【請求項1】

人又はモノの一部又は全体の動きの時系列を表すマスタ動き情報を記憶する記憶部と、
ユーザの一部又は全体の動きに関する第１動き情報を取得する動き取得部と、
前記動き取得部により取得された前記第１動き情報と、前記記憶部に記憶されている前記マスタ動き情報との間の類似性に関する所定パラメータの値を算出する算出部と、
前記算出部により算出された前記所定パラメータの値に基づいて、前記記憶部に記憶されている複数の前記マスタ動き情報のうちから、前記動き取得部により取得された前記第１動き情報に応じた１つ以上の前記マスタ動き情報を抽出する抽出処理部と、を備える、情報処理システム。

【請求項2】

前記算出部は、前記マスタ動き情報の概略バージョン又は一部に基づいて、前記所定パラメータの値を算出する、請求項１に記載の情報処理システム。

【請求項3】

前記抽出処理部により抽出された１つ以上の前記マスタ動き情報に基づいて、第２動き情報を人に視認可能に出力する出力処理部を更に備える、請求項１に記載の情報処理システム。

【請求項4】

前記第２動き情報は、前記抽出処理部により抽出された１つ以上の前記マスタ動き情報と同じ情報、及び、前記抽出処理部により抽出された１つ以上の前記マスタ動き情報に基づいて生成された別の情報のうちの、少なくともいずれか一方を含む、請求項３に記載の情報処理システム。

【請求項5】

前記抽出処理部により抽出された１つ以上の前記マスタ動き情報を特定のアバターの動きに反映させた前記第２動き情報を生成する第２動き情報生成部を更に備える、請求項３に記載の情報処理システム。

【請求項6】

前記特定のアバターは、前記ユーザに対応付けられているアバターを含む、請求項５に記載の情報処理システム。

【請求項7】

前記第２動き情報に基づいて、前記ユーザに対応付けられているプロフィール画像であって前記ユーザに対応付けられているアバターの動きを伴うプロフィール画像を生成するプロフィール画像生成部を更に備える、請求項６に記載の情報処理システム。

【請求項8】

前記第２動き情報に基づいて、動画コンテンツ又はアニメーションを生成するコンテンツ生成部を更に備える、請求項３に記載の情報処理システム。

【請求項9】

前記コンテンツ生成部は、前記第２動き情報に背景情報、音響情報、エモート情報、又は文字情報を対応付けて前記動画コンテンツ又はアニメーションを生成する、請求項８に記載の情報処理システム。

【請求項10】

特定ユーザから供給される第３動き情報に基づいて、新たな前記マスタ動き情報を前記記憶部に記憶する記憶処理部を更に備える、請求項１に記載の情報処理システム。

【請求項11】

前記動き取得部は、前記ユーザからの要求に対応付けて前記第１動き情報を取得し、
前記出力処理部は、前記要求に係る要求元に向けて、前記第２動き情報を出力する、請求項３に記載の情報処理システム。

【請求項12】

前記出力処理部は、前記要求が所定条件を満たす場合、前記第２動き情報を出力する、請求項１１に記載の情報処理システム。

【請求項13】

前記記憶部に記憶される前記マスタ動き情報のうちの少なくとも一部は、マスタ側の音響情報が前記時系列に対応付けられ、
前記動き取得部は、前記第１動き情報に加えて、前記第１動き情報に対応付けられたユーザ側の音響情報を取得し、
前記算出部は、前記動き取得部により前記ユーザ側の音響情報が取得された場合、前記ユーザ側の音響情報と、前記記憶部に記憶されている前記マスタ側の音響情報との間の類似性に更に関する前記所定パラメータの値を算出する、請求項１に記載の情報処理システム。

【請求項14】

前記動きの時系列は、人の表情に関する動きの時系列、及び、関節を有する人又はモノの部位の動きの時系列のうちの、少なくともいずれか一方を含む、請求項１に記載の情報処理システム。

【請求項15】

前記動きの時系列は、関節を有する人又はモノの部位の動きの時系列を含み、
前記第１動き情報は、前記ユーザの関節を介してつながる少なくとも２つ以上の部位の動きに関し、
前記算出部は、関節角度、関節角度の変化態様、関節位置、関節位置の変化態様、及び関節間の長さのうちの少なくともいずれか１つに基づいて、前記所定パラメータの値を算出する、請求項１に記載の情報処理システム。

【請求項16】

前記抽出処理部は、前記記憶部に記憶されている複数の前記マスタ動き情報のうちから、前記動き取得部により取得された前記第１動き情報に対する類似性の高さを優先して、１つ以上の前記マスタ動き情報を抽出する、請求項１に記載の情報処理システム。

【請求項17】

前記記憶部に記憶される前記マスタ動き情報のうちの少なくとも一部は、前記動きの時系列の生成に用いたハードウェア構成を特定可能な情報に対応付けられる、請求項１に記載の情報処理システム。

【請求項18】

前記記憶部に記憶される前記マスタ動き情報のうちの少なくとも一部は、動きのオリジナリティ又は情報自体のオリジナリティを表す情報に対応付けられる、請求項１に記載の情報処理システム。

【請求項19】

前記記憶部に記憶される前記マスタ動き情報に対する利用制限を設定する情報管理部を更に備える、請求項１に記載の情報処理システム。

【請求項20】

前記第２動き情報生成部により生成される前記第２動き情報に基づいて、自動再生用のアニメーションコンテンツを生成するアニメーション生成部と、
前記ユーザに関連する再生条件が成立した場合に、前記アニメーションコンテンツを再生するアニメーション再生処理部とを更に備える、請求項６又は７に記載の情報処理システム。

【請求項21】

ユーザの一部又は全体の動きに関する第１動き情報を取得し、
人又はモノの一部又は全体の動きの時系列を表すマスタ動き情報を記憶する記憶部に記憶されている前記マスタ動き情報と、取得した前記第１動き情報との間の類似性に関する所定パラメータの値を算出し、
算出された前記所定パラメータの値に基づいて、前記記憶部に記憶されている複数の前記マスタ動き情報のうちから、前記第１動き情報に応じた１つ以上の前記マスタ動き情報を抽出することを含む、コンピュータにより実行される情報処理方法。

【請求項22】

ユーザの一部又は全体の動きに関する第１動き情報を取得し、
人又はモノの一部又は全体の動きの時系列を表すマスタ動き情報を記憶する記憶部に記憶されている前記マスタ動き情報と、取得した前記第１動き情報との間の類似性に関する所定パラメータの値を算出し、
算出された前記所定パラメータの値に基づいて、前記記憶部に記憶されている複数の前記マスタ動き情報のうちから、前記第１動き情報に応じた１つ以上の前記マスタ動き情報を抽出する
処理をコンピュータに実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、情報処理システム、情報処理方法、及びプログラムに関する。

【背景技術】

【0002】

ユーザに装着されたセンサ装置により検出された検出位置のセンサデータに基づいて、ユーザのモーションを解析し、モーション解析結果に基づいて、ユーザの画像の表示を制御する技術が知られている。

【先行技術文献】

【特許文献】

【0003】

【非特許文献1】“Ｓｈｉｆｔａｌｌ、小型かつ無線で全身の動きをトラッキング「ＨａｒｉｔｏｒａＸ ワイヤレス」 － ＡＶ Ｗａｔｃｈ” ｈｔｔｐｓ：／／ａｖ．ｗａｔｃｈ．ｉｍｐｒｅｓｓ．ｃｏ．ｊｐ／ｄｏｃｓ／ｎｅｗｓ／１４６４６４１．ｈｔｍｌに２０２２年１２月１９日に掲載

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上記のような従来技術では、他のユーザの動きのデータを得るようなことは想定されていない。
そこで、１つの側面では、本開示は、他のユーザの動きのデータを活用することを目的とする。

【課題を解決するための手段】

【0005】

１つの側面では、人又はモノの一部又は全体の動きの時系列を表すマスタ動き情報を記憶する記憶部と、
ユーザの一部又は全体の動きに関する第１動き情報を取得する動き取得部と、
前記動き取得部により取得された前記第１動き情報と、前記記憶部に記憶されている前記マスタ動き情報との間の類似性に関する所定パラメータの値を算出する算出部と、
前記算出部により算出された前記所定パラメータの値に基づいて、前記記憶部に記憶されている複数の前記マスタ動き情報のうちから、前記動き取得部により取得された前記第１動き情報に応じた１つ以上の前記マスタ動き情報を抽出する抽出処理部と、を備える、情報処理システムが提供される。

【発明の効果】

【0006】

１つの側面では、本開示によれば、他のユーザの動きのデータを活用することができる。

【図面の簡単な説明】

【0007】

【図1】本実施形態に係る検索支援システムのブロック図である。

【図2】サーバ装置のハードウェア構成の一例を示す概略図である。

【図3】端末装置のハードウェア構成の一例を示す概略図である。

【図4】検索支援システムにより実行される処理の流れの一例を概略的に示すフローチャートである。

【図5】図３に示す処理の説明図であり、加速度センサの取り付け位置の一例の説明図である。

【図6】図３に示す処理の説明図であり、関節の一例の説明図である。

【図7】図３に示す処理の説明図であり、入力と出力の関係を示す図である。

【図8】検索支援システムにより実行される処理の流れの他の一例を概略的に示すフローチャートである。

【図9】本実施形態の検索支援システムの一例を概略的に示すブロック図である。

【図10】アバター情報記憶部内のデータの一例を示す説明図である。

【図11】マスタ動き情報記憶部内のデータの一例を示す説明図である。

【図12】プロフィール画像の説明図である。

【図13A】自動再生用のアニメーションコンテンツの説明図（その１）である。

【図13B】自動再生用のアニメーションコンテンツの説明図（その２）である。

【図14】複数のアバターのモーションに係る説明図である。

【図15】マスタ動き情報の階層構造の説明図である。

【発明を実施するための形態】

【0008】

以下、添付図面を参照しながら各実施形態について詳細に説明する。なお、添付図面では、見易さのために、複数存在する同一属性の部位には、一部しか参照符号が付されていない場合がある。

【0009】

図１を参照して、一実施形態に係る検索支援システム１の概要について説明する。図１は、本実施形態に係る検索支援システム１のブロック図である。

【0010】

検索支援システム１は、サーバ装置１０と、１つ以上の端末装置２０と、を備える。図１では簡便のため、１つの端末装置２０を図示しているが、端末装置２０の数は任意である。

【0011】

サーバ装置１０は、例えば、本実施形態による検索支援機能を提供する１つ以上の運営者が管理するサーバ等の情報処理システムである。端末装置２０は、例えば携帯電話、スマートフォン、タブレット端末、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、ヘッドマウントディスプレイ、又はゲーム装置等の、ユーザによって使用される装置である。端末装置２０は、装着型装置を含んでよい。装着型装置は、ヘッドマウントディスプレイやメガネ型装置であってもよい。メガネ型装置は、いわゆるＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）グラスやＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）グラスであってよい。いずれの場合でも、装着型装置は、端末装置２０の本体とは別であってもよいし、端末装置２０の一部又は全部の機能を実現してもよい。

【0012】

端末装置２０は、本実施形態に係る検索支援アプリケーションを実行可能である。検索支援アプリケーションは、ネットワーク３を介してサーバ装置１０や所定のアプリケーション配信サーバから端末装置２０に受信されてもよく、あるいは端末装置２０に備えられた記憶装置又は端末装置２０が読取可能なメモリカード等の記憶媒体にあらかじめ記憶されていてもよい。サーバ装置１０及び端末装置２０は、ネットワーク３を介して通信可能に接続される。例えば、サーバ装置１０及び端末装置２０が協動して、本実施形態による検索支援機能に関する多様な処理を実行する。

【0013】

各端末装置２０は、サーバ装置１０を介して互いに通信可能に接続されている。なお、以下では、「一の端末装置２０が情報を他の端末装置２０に送信する」とは、「一の端末装置２０が情報をサーバ装置１０を介して他の端末装置２０に送信する」ことを意味する。同様に、「一の端末装置２０が情報を他の端末装置２０から受信する」とは、「一の端末装置２０が情報をサーバ装置１０を介して他の端末装置２０から受信する」ことを意味する。ただし、変形例では、各端末装置２０は、サーバ装置１０を介さずに通信可能に接続されてもよい。

【0014】

なお、ネットワーク３は、無線通信網や、インターネット、ＶＰＮ（Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、有線ネットワーク、又はこれらの任意の組み合わせ等を含んでよい。

【0015】

以下では、検索支援システム１が、情報処理システムの一例を実現するが、特定の一の端末装置２０の各要素が、情報処理システムの一例を実現してもよいし、複数の端末装置２０が、協動して情報処理システムの一例を実現してもよい。また、サーバ装置１０が単独で、情報処理システムの一例を実現してもよいし、サーバ装置１０と１つ以上の端末装置２０が、協動して情報処理システムの一例を実現してもよい。

【0016】

図２は、サーバ装置１０のハードウェア構成の一例を示す概略図である。図２には、サーバ装置１０のハードウェア構成に関連付けて、周辺機器１２９が模式的に図示されている。周辺機器１２９は、任意であるが、ディスプレイ等であってもよい。

【0017】

サーバ装置１０は、バス１１９で接続されたＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１１、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１１２、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１１３、補助記憶装置１１４、ドライブ装置１１５、及び通信インターフェース１１７、並びに、通信インターフェース１１７に接続された有線送受信部１２５及び無線送受信部１２６を含む。

【0018】

補助記憶装置１１４は、例えばＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）や、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）などであり、アプリケーションソフトウェアなどに関連するデータを記憶する記憶装置である。

【0019】

有線送受信部１２５は、有線ネットワークを利用して通信可能な送受信部を含む。有線送受信部１２５には、周辺機器１２９が接続される。ただし、周辺機器１２９の一部又は全部は、バス１１９に接続されてもよいし、無線送受信部１２６に接続されてもよい。

【0020】

無線送受信部１２６は、無線ネットワークを利用して通信可能な送受信部である。無線ネットワークは、上述したネットワーク３を含んでよい。

【0021】

なお、サーバ装置１０は、記録媒体１１６と接続可能であってもよい。記録媒体１１６は、所定のプログラムを格納する。この記録媒体１１６に格納されたプログラムは、ドライブ装置１１５を介してサーバ装置１０の補助記憶装置１１４等にインストールされる。インストールされた所定のプログラムは、サーバ装置１０のＣＰＵ１１１により実行可能となる。例えば、記録媒体１１６は、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）－ＲＯＭ、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的あるいは磁気的に記録する記録媒体、ＲＯＭ、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等であってよい。

【0022】

図３は、端末装置２０のハードウェア構成の一例を示す概略図である。図３には、サーバ装置１０のハードウェア構成に関連付けて、周辺機器２６０が模式的に図示されている。

【0023】

端末装置２０は、バス２１９で接続されたＣＰＵ２１１、ＲＡＭ２１２、ＲＯＭ２１３、補助記憶装置２１４、ドライブ装置２１５、及び通信インターフェース２１７、並びに、通信インターフェース２１７に接続された有線送受信部２２５及び無線送受信部２２６を含む。

【0024】

補助記憶装置２１４は、例えばＨＤＤやＳＳＤなどであり、アプリケーションソフトウェアなどに関連するデータを記憶する記憶装置である。

【0025】

有線送受信部２２５は、有線ネットワークを利用して通信可能な送受信部を含む。有線送受信部２２５には、周辺機器２６０が接続される。ただし、周辺機器２６０の一部又は全部は、バス２１９に接続されてもよいし、無線送受信部２２６に接続されてもよい。

【0026】

無線送受信部２２６は、無線ネットワークを利用して通信可能な送受信部である。無線ネットワークは、上述したネットワーク３を含んでよい。

【0027】

なお、端末装置２０は、記録媒体２１６と接続可能であってもよい。記録媒体２１６は、所定のプログラムを格納する。この記録媒体２１６に格納されたプログラムは、ドライブ装置２１５を介して端末装置２０の補助記憶装置２１４等にインストールされる。インストールされた所定のプログラムは、端末装置２０のＣＰＵ２１１により実行可能となる。例えば、記録媒体２１６は、ＣＤ－ＲＯＭ、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的あるいは磁気的に記録する記録媒体、ＲＯＭ、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等であってよい。

【0028】

周辺機器２６０は、任意であるが、本実施形態では、表示装置２６２３及び入力装置２６２４を含む。

【0029】

表示装置２６２３は、例えば液晶ディスプレイ又は有機ＥＬ（Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等の表示デバイスを含む。表示装置２６２３は、多様な画像を表示可能である。表示装置２６２３は、例えばタッチパネルで構成され、多様なユーザ操作を検出するインターフェースとして機能する。また、表示装置２６２３は、ヘッドマウントディスプレイに内蔵される形態であってよい。

【0030】

入力装置２６２４は、物理キーを含んでもよいし、マウス等のようなポインティングデバイスをはじめとする任意の入力インターフェースを更に含んでもよい。また、入力装置２６２４は、音声入力やジェスチャ入力、視線入力のような、非接触型のユーザ入力を受付可能であってもよい。なお、ジェスチャ入力には、ユーザの各種状態を検出するためのセンサ（画像センサや、加速度センサ、距離センサ等）や、センサ技術やカメラを統合した専用モーションキャプチャー、ジョイパッドのようなコントローラ等が利用されてもよい。また、視線検出用のカメラは、ヘッドマウントディスプレイ内に配置されてもよい。なお、上述したように、ユーザの各種状態は、例えばユーザの向きや位置、動き又はその類であり、この場合、ユーザの向きや位置、動きとは、ユーザの顔や手等の身体の一部や全部の向き、位置、動きのみならず、ユーザの視線の向き、位置、動き又はその類を含む概念である。

【0031】

次に、図４以降を参照して、検索支援システム１を更に説明する。

【0032】

図４は、検索支援システム１により実行される処理の流れの一例を概略的に示すフローチャートである。図５から図７は、図３に示す処理の説明図であり、図５は、加速度センサの取り付け位置の一例の説明図である。図６は、関節の一例の説明図であり、図７は、入力と出力の関係を示す図である。

【0033】

図４では、サーバ装置１０と、端末装置２０とに分けて処理が示されている。なお、データベースの機能は、便宜上、サーバ装置１０とは分けて示されているが、サーバ装置１０により実現されてもよい。以下では、一の端末装置２０について説明するが、他の端末装置２０においても同様の機能を実現できる。また、以下では、ユーザとは、特に言及しない限り、一の端末装置２０のユーザを指す。

【0034】

ユーザは、端末装置２０を介して入力用モーション情報（第１動き情報の一例）を生成し（ステップＳ２１００）、サーバ装置１０に送信する（ステップＳ２１１０）。入力用モーション情報は、人又はモノの動きを表す情報である。入力用モーション情報は、一時点の姿勢に基づく情報であってもよいし、一連の動き（姿勢の変化）に基づく情報（時系列データ）であってもよい。

【0035】

入力用モーション情報は、典型的には、ユーザ自身の動きを表す情報であるが、他の人（例えば友人）の動きを表す情報、犬などの動物の動きを表す情報、ロボットなどのモノの動きを表す情報等であってもよい。

【0036】

また、入力用モーション情報は、動画や静止画のような画像情報であってもよいし、画像情報に基づいて生成された情報（二次情報）であってもよい。例えば、画像情報に基づいて生成された情報は、画像処理や画像解析に基づいて、動きだけを抽出した情報や、動きを抽象化して表す情報であってもよい。

【0037】

また、入力用モーション情報は、実際の動きに基づく情報であってもよいし、描画等により人工的に生成された情報であってもよい。例えば、入力用モーション情報は、漫画などに描画されている既存の絵等に基づいて生成されてもよいし、ユーザによる手書きの絵に基づいて生成されてもよい。

【0038】

また、入力用モーション情報の生成には、ユーザの各種状態を検出するためのセンサ（画像センサや、加速度センサ、距離センサ等）や、センサ技術やカメラを統合した専用モーションキャプチャー、ジョイパッドのようなコントローラ等が利用されてもよい。例えば、図５には、ユーザに装着されてよい加速度センサの装着位置の例が示されている。なお、加速度センサは、ジャイロ（角速度）を検出する機能を更に有してよい。図５の場合、加速度センサは、人の体の頭部、手首、お尻、足首の合計６箇所（図５のＨＤ、ＷＬ、ＷＲ、ＨＰ、ＡＫＬ、ＡＫＲ参照）に装着されるが、他の態様で装着されてもよい。

【0039】

また、入力用モーション情報は、距離画像等に基づく関節の動きとして生成されてもよい。例えば、図６に示す例は、複数の関節と、関節間の骨格（リンク）とで表されるモデルである。図６に示すような関節モデルは、頭部が１つ、胴部（胴体部）、両腕部、及び両脚部がそれぞれ３つの関節を持つ１６関節モデルであり、頭部は両端が関節として規定され、その他は両端及び中点の３つが関節として規定される。具体的には、関節モデルは、１６個の関節Ａ０～Ａ１５と、関節間を繋ぐ１５個の骨格Ｂ１～Ｂ１５（又は「部位Ｂ１～Ｂ１５」とも称する）とからなる。なお、理解できるように、例えば関節Ａ４、Ａ７は、左右の肩の関節であり、関節Ａ２は、頸椎に係る関節である。また、関節Ａ１４、Ａ１５は、左右の股関節であり、関節Ａ０は、腰椎に係る関節である。また、入力用モーション情報は、指の関節のような、より細かい部分の関節の動きを含んでもよい。

【0040】

また、入力用モーション情報は、動く対象（人又はモノ）の全体の動きを表してもよいし、一部であってもよい。例えば、入力用モーション情報は、身体全体の動き、身体の特定部位の動きを表してもよい。また、動きは、関節を介した各部位の動きだけでなく、顔の表情に係る動き（筋肉などの動き）を表してもよい。また、動きは、ユーザの視線の動きを表してもよい。なお、この場合、視線検出用のカメラは、ヘッドマウントディスプレイ内に配置されてもよい。

【0041】

サーバ装置１０は、入力用モーション情報を取得すると（ステップＳ２２００）、所与のマスタ動き情報データベース内に記憶されるモーション情報データに対して、入力用モーション情報に係る類似パラメータの値を算出する（ステップＳ２２１０）。

【0042】

入力用モーション情報に係る類似パラメータは、入力用モーション情報と比較対象の他のモーション情報との間の類似度合いを表すパラメータである。ここで、上述したように、入力用モーション情報は、動きを表す情報である。従って、入力用モーション情報と比較対象の他のモーション情報との間の類似度合いは、それぞれの動きの類似度合いに関する。入力用モーション情報に係る類似パラメータの値の算出方法は、任意であるが、例えば、特徴的な動き（例えば出現頻度が高い動きや、ユニークな動き）に、比較的重い重みが付与される態様で、算出されてもよい。

【0043】

また、入力用モーション情報と比較対象の他のモーション情報との間の類似度合いは、入力用モーション情報及び／又は比較対象の他のモーション情報を加工した上で評価されてもよい。例えば、入力用モーション情報及び比較対象の他のモーション情報は、ダイジェストとして部分的に切り取られた部分や圧縮された部分同士が比較されてもよい。また、入力用モーション情報及び比較対象の他のモーション情報との間の類似度合いは、それぞれの時系列波形に対する周波数分析結果（例えばＦＦＴ：Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）に基づいて評価されてもよい。この場合、あるリズムに合わせて動いている場合、そのリズムに応じた周波数でピークが現れるため、リズムに合わせて動いている場合のモーション情報について類似性を適切に評価できる。また、評価に好適に利用できるその他のパラメータとしては、全体の時間（動きの時間）、テンポ（例えばＢｅａｔｓ Ｐｅｒ Ｍｉｎｕｔｅ）、対応するリズムに対する精度（同調度合い）等が利用されてもよい。

【0044】

また、入力用モーション情報と比較対象の他のモーション情報との間の類似度合いは、動きに関する類似度合いだけであってもよいが、その他の要素（芸術性や、対応付けられている楽曲や背景）の類似性を含んでもよい。この場合、入力用モーション情報は、動き以外の付属情報（例えば音楽や背景）を含んでもよい。また、その他の要素や付属情報としては、アタバーのパーツ、衣装の種類、ＩＤ、仮想空間内のアバターの場所、日付、ユーザの属性（国、言語、年齢、性別等）等を含んでよい。

【0045】

なお、比較対象の他のモーション情報を記憶するマスタ動き情報データベース内には、典型的には、多数の比較対象のモーション情報が蓄積されてもよい。この場合、多数の比較対象のモーション情報のそれぞれに対して、入力用モーション情報に係る類似パラメータの値が算出されてよい。この場合、マスタ動き情報データベース内の比較対象のモーション情報の蓄積量が多いほど、マスタ動き情報データベース内には、入力用モーション情報に係る類似パラメータの値が高くなるような比較対象のモーション情報が存在する可能性が高くなる。なお、マスタ動き情報データベースは、複数存在してもよい。従って、ある一のマスタ動き情報データベースを利用した場合に、入力用モーション情報に係る類似パラメータの値が閾値以上となるような比較対象の他のモーション情報が得られない場合、他のマスタ動き情報データベースが利用されてもよい。

【0046】

サーバ装置１０は、入力用モーション情報に係る類似パラメータの値を算出する（ステップＳ２２１０）と、算出結果に基づいて、当該入力用モーション情報に応じた１つ以上のマスタ動き情報を抽出する（ステップＳ２２２０）。抽出する１つ以上のマスタ動き情報は、例えば、入力用モーション情報に係る類似パラメータの値が閾値以上となるような比較対象の他のモーション情報（マスタ動き情報データベース内のモーション情報）を含んでよい。あるいは、抽出する１つ以上のマスタ動き情報は、例えば、入力用モーション情報に係る類似パラメータの値が閾値以上となるような比較対象の他のモーション情報のうちの、最も類似パラメータの値が高い比較対象の他のモーション情報だけであってもよい。

【0047】

なお、上述したように、サーバ装置１０は、複数のサーバコンピュータにより形成されてよい。従って、サーバ装置１０を形成する一のサーバコンピュータは、サーバ装置１０を形成する他の一のサーバコンピュータと連携して、該入力用モーション情報に応じた１つ以上のマスタ動き情報を抽出してもよい。この場合、サーバコンピュータ同士はＡＰＩ（Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｇｒａｍｍｉｎｇ Ｉｎｔｅｒｆａｃｅ）を介して連携されてもよい。

【0048】

サーバ装置１０は、入力用モーション情報に応じた１つ以上のマスタ動き情報を抽出する（ステップＳ２２２０）と、抽出結果を出力する（ステップＳ２２３０）。抽出結果の出力先は、任意であり、抽出結果は、例えば入力用モーション情報に係るユーザに向けて出力されてもよいし、サーバ装置１０内の他の処理用に出力されてもよい。

【0049】

このようにして、本実施形態では、検索支援システム１は、入力用モーション情報が入力されると、入力用モーション情報に基づいて、当該入力用モーション情報に応じた１つ以上のマスタ動き情報を抽出及び出力する。

【0050】

ここで、マスタ動き情報とは、人又はモノの一部又は全体の動きの時系列を表す情報であり、入力用モーション情報と同様の情報であってよい。例えば、マスタ動き情報は、動きの時系列として、人の表情に関する動きの時系列、及び、関節を有する人又はモノの部位の動きの時系列のうちの、少なくともいずれか一方を含んでよい。ただし、マスタ動き情報は、入力用モーション情報とは異なり、あらかじめ用意（管理及び蓄積）されている情報（マスタ動き情報データベース内のモーション情報）である。マスタ動き情報の供給源は、任意であるが、例えば著名なパーフォーマーや演者の実演データや、アニメーションや動画等であってもよい。ただし、この場合、使用許諾（例えば著作権関連の使用許諾）が得られていることを前提としてもよいし、有償サービスとして展開されてもよい。

【0051】

以下では、一の入力用モーション情報が入力されると抽出されうる１つ以上のマスタ動き情報を、一の入力用モーション情報に対応する１つ以上のマスタ動き情報とも称する。また、この場合の一の入力用モーション情報は、抽出される１つ以上のマスタ動き情報に対応する入力用モーション情報とも称する。

【0052】

一の入力用モーション情報と、当該一の入力用モーション情報に対応する１つ以上のマスタ動き情報とは、上述したように、当該一の入力用モーション情報に係る類似パラメータの値が閾値以上となるような関係を有する。なお、上述したように、一の入力用モーション情報と、当該一の入力用モーション情報に対応する１つ以上のマスタ動き情報とは、必ずしも同じような長さ（時間的な長さ）のモーションを表すとは限らない。例えば、一の入力用モーション情報に対応する１つ以上のマスタ動き情報は、一の入力用モーション情報よりも有意に長い又は短いモーションを表す情報であってもよい。より具体的には、例えば、一の入力用モーション情報が比較的時間の長い動画に基づくのに対して、当該一の入力用モーション情報に対応する１つ以上のマスタ動き情報は、比較的時間の短い動画（例えばＴｉｋＴｏｋ（登録商標）のようなショート動画）であってもよい。

【0053】

なお、本実施形態において、一の入力用モーション情報に対するマスタ動き情報の抽出条件は、ユーザによりカスタマイズ可能とされてもよい。この場合、カスタマイズ可能な抽出条件は、任意であるが、閾値や属性に関してもよいし、演者に関してもよい。例えば、女性演者に係るマスタ動き情報だけが抽出されるような抽出条件が設定されてもよい。

【0054】

検索支援システム１は、このようにして抽出したマスタ動き情報をそのまま出力してもよいし、加工等を加えた上で出力してもよい。出力先は、任意であるが、例えば入力用モーション情報を入力したユーザに設定されてもよい。この場合、ある動きに関するマスタ動き情報を入手したいユーザは、当該動きに類似する動きを表す入力用モーション情報を生成し、生成した入力用モーション情報を検索支援システム１に入力すれば、目的を果たすことができる。すなわち、当該ユーザは、当該動きに係るマスタ動き情報を得ることが可能となりうる。これにより、当該ユーザは、一から自身で同様のモーション情報を制作する必要がなくなり、利便性が向上する。例えば、図７には、左側に入力用モーション情報の一例が示されている。この場合、入力用モーション情報を入力すると、対応するマスタ動き情報が得られるので、ユーザは、入力用モーション情報に応じたマスタ動き情報を利用できる。

【0055】

このような本実施形態の検索支援システム１によれば、動き情報の類似性に基づくデータ検索機能を実現できるので、利便性が向上する。例えば、ユーザは、言葉に表現し難い動き等に基づいて所望のマスタ動き情報の取得が可能であり、利便性が向上する。また、検索対象は、マスタ動き情報としてあらかじめ管理しておくことが可能であり、検索領域を限定して処理負荷の低減を図ることが可能となる。

【0056】

ところで、ユーザが、モーションデータを含む動画等を検索した場合、従来は、その動画等に紐付けられている文字列（タイトルやハッシュハグによる曲名、タレント名など）をもとに抽出するしかなかった。しかしながら、動画等によっては、文字列が付加されていないような場合も考えられる。

【0057】

これに対して本実施形態によれば、ユーザが例えば手足を動かして入力用モーション情報を生成すると、その入力用モーション情報をもちいて類似のモーション自体や類似モーションを含む動画等を検索することができる。
本実施形態においては、マスタ動き情報は、視聴対象として検索されてもよい。すなわち、ユーザは、マスタ動き情報を利用するためでなく、視聴するために検索支援システム１を利用してもよい。この場合、検索支援システム１は、視聴目的の検索と、制作目的の検索とで、検索対象を異ならせてもよい。例えば、視聴目的の検索の場合、マスタ動き情報として検索されうる動きデータは、視聴用に制作された動画（例えばＴｉｋＴｏｋ（登録商標）やＹｏｕＴｕｂｅ（登録商標）又はその類で視聴可能な動画）であってもよい。この場合、ユーザは、新たな視聴用動画の検索方法を利用して効率的に所望の動画を視聴できる。
また、本実施形態においては、所望のマスタ動き情報を検索するために用いる入力用モーション情報は、感情的要素（エモート）を表す情報であってもよく、この場合、エモートを表す情報は、対応する表情の画像や、対応する感情を表す文字情報等を含んでよい。この場合、所望のエモートに対応したマスタ動き情報を検索でき、それに基づいて、後述するようなアニメーション等の生成が可能となる。例えば、ユーザは、複数提示されうるマスタ動き情報のうちから、所望のマスタ動き情報を選択し、選択したマスタ動き情報に基づいて、後述するようなアニメーション等の生成が可能となる。この場合、入力用モーション情報は、ユーザ自身の動きであるので、例えばぎこちない動きを表す情報でありうる。しかしながら、それに基づき検索されるマスタ動き情報は、キレのある動き（動きが上手なユーザが生成したもの等、まるでユーザ自身の動きが修正されたような動き）でありえ、その場合、ユーザは、このようなキレのある動きを、自身のアバターに反映させること（後述のアバターモーション情報の生成を参照）も可能となる。

【0058】

図８は、検索支援システム１により実行される処理の流れの他の一例を概略的に示すフローチャートである。

【0059】

図８に示す例は、図４に示す例に対して、抽出結果を出力する処理（ステップＳ２２３０）の具体例を含む点が異なる。図８に示す例は、図４に示す例のステップＳ２２３０として、ステップＳ２２３０１やステップＳ２２３０２の処理を含む。

【0060】

具体的には、サーバ装置１０は、端末装置２０に向けて抽出結果（第２動き情報の一例）を送信し（ステップＳ２２３０１）、端末装置２０は、表示装置２６２３を介して抽出結果をユーザに出力する（ステップＳ２１２０）。なお、表示装置２６２３を介した抽出結果の出力態様は、任意であり、動画再生のよう形態で、１つ以上のマスタ動き情報に基づく動画が再生されてもよい。あるいは、抽出された１つ以上のマスタ動き情報へのアクセスを可能するＵＲＬなどのリンクが出力されてもよい。この場合、サーバ装置１０から端末装置２０へ送信される抽出結果は、抽出された１つ以上のマスタ動き情報へのアクセスを可能するＵＲＬなどのリンク情報を含んでよい。このような構成によれば、通信負荷を低減できる。

【0061】

ユーザは、抽出された１つ以上のマスタ動き情報に基づいて、マスタ動き情報を自身のアバターに反映させたいと思うと、その旨の反映指示を生成し、サーバ装置１０に送信してもよい（ステップＳ２１３０）。なお、反映指示は、抽出された１つ以上のマスタ動き情報のうちの、どの１つ以上のマスタ動き情報を利用するかの指示を含んでよい。

【0062】

この場合、サーバ装置１０は、マスタ動き情報を特定のアバター（例えばユーザ自身のアバター）に反映させたモーション情報（以下、区別のため、「アバターモーション情報」とも称する）（第２動き情報の一例）を生成する。そして、サーバ装置１０は、生成したアバターモーション情報を端末装置２０に向けて送信する（ステップＳ２２３０２）。この場合、端末装置２０は、受信したアバターモーション情報を、表示装置２６２３を介してユーザに出力してよい（ステップＳ２１４０）。なお、表示装置２６２３を介したアバターモーション情報の出力態様は、任意であり、動画再生のよう形態で、アバターモーション情報に基づく動画が再生されてもよい。あるいは、生成されたアバターモーション情報を再生可能なＷＥＢサイトへのアクセスを可能するＵＲＬなどのリンクが出力されてもよい。この場合、サーバ装置１０から端末装置２０へ送信されるアバターモーション情報は、アバターモーション情報へのアクセスを可能するＵＲＬなどのリンク情報を含んでよい。このような構成によれば、アバターモーション情報を動画ファイル形式で端末装置２０に送信する場合に比べて、通信負荷を低減できる。あるいは、サーバ装置１０から端末装置２０へ送信されるアバターモーション情報は、アバターモーション情報の一部だけでもよい。例えば、アバターモーション情報をユーザのアバターに反映させる際に必要な情報（例えばメタデータなど）だけがサーバ装置１０から端末装置２０へ送信されてもよい。例えば、この場合、端末装置２０は、端末装置２０側で備える情報（例えばユーザのアバターの情報）を利用して、アバターモーション情報に基づく動画を再生してよい。この場合も、アバターモーション情報を動画ファイル形式で端末装置２０に送信する場合に比べて、通信負荷を低減できる。また、ユーザのアバターの情報（パーツのＩＤ、身につけているアイテムのＩＤ）、音声データなどのようなメタデータ部分をタイムスタンプと関連づけて保存することで、端末装置２０でこれらのデータを再現（クライアントレンダリング）することとしてもよい。

【0063】

ここで、マスタ動き情報をユーザのアバターの動きに反映させる方法は、任意であるが、例えばマスタ動き情報が、関節や部位ごとに時系列の動きデータを有する場合、アバターの対応する各関節や部位に、同様の時系列の動きデータを与えることとしてもよい。この際、マスタ動き情報のモデルとなる人又はモノと、ユーザのアバターとが、関節数や部位の長さが異なる場合、かかる相違点は適宜補正されてよい。例えば、マスタ動き情報のモデルとなる人の関節のうちの、時系列の動きデータが対応付けられている関節の数が、ユーザのアバターの関節の数よりも少ない場合、アバターの他の関節の動きは、インバースキネマティック等の技術を利用して適宜補正されてもよい。

【0064】

また、ユーザのアバターの動きに反映させるマスタ動き情報の数は、任意であり、例えば２つ以上のマスタ動き情報を組み合わせてユーザのアバターの動きに反映させることが可能とされてもよい。この場合、２つ以上のマスタ動き情報は、時分割的に組み合わせられてもよいし、関節や部位ごとに異なるマスタ動き情報が反映される態様で、組み合わせられてもよい。

【0065】

次に、図９以降を参照して、本実施形態の検索支援システム１の更なる詳細を説明する。

【0066】

図９は、本実施形態の検索支援システム１の一例を概略的に示すブロック図である。図１０は、アバター情報記憶部１４２内のデータの一例を示す説明図である。図１１は、マスタ動き情報記憶部１４４内のデータの一例を示す説明図である。なお、図１０及び図１１において、「＊＊＊」は、なんらかの情報が格納されている状態を示し、「・・・」は、同様の情報の格納の繰り返し状態を示す。図１２は、プロフィール画像の説明図である。図１３Ａ及び図１３Ｂは、自動再生用のアニメーションコンテンツの説明図である。図１４は、複数のアバターのモーションに係る説明図である。図１５は、マスタ動き情報の階層構造の説明図である。

【0067】

なお、以下の検索支援システム１の機能は、サーバ装置１０又は１つ以上の端末装置２０若しくはこれらの任意の組み合わせにより実現されてもよい。

【0068】

図９に示す例では、検索支援システム１は、ユーザ情報記憶部１４０、アバター情報記憶部１４２、マスタ動き情報記憶部１４４、入力用モーション情報取得部１５０、類似性算出部１５２、抽出処理部１５４、出力処理部１５６、表示用モーション生成部１５８、コンテンツ生成部１６０、情報管理部１６２、記憶処理部１６４、プロフィール画像生成部１６６、アニメーション生成部１６８、及びアニメーション再生処理部１７０を含む。

【0069】

なお、入力用モーション情報取得部１５０等の各処理部は、図２に示したＣＰＵ１１１及び／又は図３に示したＣＰＵ２１１が、記憶装置（例えばＲＯＭ１１３、２１３等）により実現できる。また、評価用情報記憶部１９０やユーザ情報記憶部１９２のような記憶部は、図２に示した補助記憶装置１１４や図３に示した補助記憶装置２１４により実現できる。

【0070】

ユーザ情報記憶部１４０には、ユーザＩＤや、それに対応付けられているアバターＩＤ等が記憶されてよい。なお、ユーザ情報記憶部１４０が端末装置２０により実現される場合、ユーザ情報記憶部１４０は、対応する端末装置２０のユーザに係るアバターＩＤだけを記憶してよい。また、ユーザ情報記憶部１４０がサーバ装置１０により実現される場合、ユーザ情報記憶部１４０は、各ユーザに係るユーザＩＤやアバターＩＤを記憶してよい。

【0071】

アバター情報記憶部１４２には、ユーザのアバターに関するアバター情報が格納される。図１０に示す例では、アバター情報７００は、各アバターＩＤに、顔パーツＩＤ、髪型パーツＩＤ、服装パーツＩＤ等が対応付けられる。顔パーツＩＤ、髪型パーツＩＤ、服装パーツＩＤ等の容姿に係るパーツ情報は、アバターを特徴付けるパラメータであり、対応する各ユーザにより選択されてよい。例えば、アバターに係る顔パーツＩＤ、髪型パーツＩＤ、服装パーツＩＤ等の容姿に係る情報は、複数種類用意される。また、顔パーツＩＤについては、顔の形、目、口、鼻等の各種類にそれぞれパーツＩＤが用意され、顔パーツＩＤに係る情報は、当該顔を構成する各パーツのＩＤの組み合わせで管理されてもよい。この場合、各アバターＩＤに紐付けられた容姿に係る各ＩＤに基づいて、サーバ装置１０のみならず端末装置２０側においても各アバターを描画することが可能となる。

【0072】

また、本実施形態では、アバター情報は、対応するアバターの関節情報や部位情報を含んでよい。

【0073】

アバターの関節情報は、例えば図６に示したような各関節のうちの、どの関節を有するか（機能するか）や、関節の位置関係（例えば正規姿勢での位置関係）の情報、関節の可動範囲（自由度）等を含んでよい。部位情報は、各関節をつなぐ部位の形状等の情報を含んでよい。

【0074】

なお、アバター情報記憶部１４２が端末装置２０により実現される場合、アバター情報記憶部１４２は、対応する端末装置２０のユーザに係るアバター情報だけを記憶してよい。また、アバター情報記憶部１４２がサーバ装置１０により実現される場合、アバター情報記憶部１４２は、各ユーザに係るアバター情報を記憶してよい。

【0075】

マスタ動き情報記憶部１４４は、図４等を参照して上述したマスタ動き情報データベースに対応する。マスタ動き情報記憶部１４４には、上述したように抽出対象となるマスタ動き情報が記憶される。なお、マスタ動き情報の記憶形式は、任意であり、例えば動画ファイルの形式であってもよいし、当該動画ファイルに基づいて抽出されたモーション情報（例えば各関節の動きの時系列データ）の形式であってもよい。また、マスタ動き情報ごとに、記憶形式が異なってもよい。図１１に示す例では、マスタ動き情報記憶部１４４には、マスタ動き情報ＩＤごとに、モーションデータや、音響情報、背景情報、ハードウェア情報、ユニークネス情報、管理情報等の各種情報アイテムが対応付けられている。モーションデータは、上述したように、動きを表すデータであってよい。音響情報や背景情報、ハードウェア情報、ユニークネス情報等は、対応付けられない場合がある任意の情報アイテムであってよい。例えば、マスタ動き情報が音楽に合わせた動きである場合、当該マスタ動き情報には音響情報が紐付けられてもよい。また、マスタ動き情報が特定の背景をバックに撮像されているような動画である場合、当該マスタ動き情報には、その背景情報が紐付けられてもよい。また、ハードウェア情報は、マスタ動き情報の取得に用いられたハードウェア（例えば加速度センサや深度カメラ等）を特定可能な情報である。ハードウェア情報は、フレームレートや、記録時刻、位置情報等を含んでよい。また、ユニークネス情報は、対応するモーションデータのユニークネス（オリジナリティ）を表す情報である。また、ハードウェア情報は、サーバ装置１０又は端末装置２０内で実行されるサブプロセスやエミュレーションによる仮想ハードウェアを表してもよい。ユニークネス情報は、人工知能等に基づいて自動的に評価されてもよい。また、ユニークネス情報は、例えば、既に記憶されている他のマスタ動き情報との間の類似性に関するパラメータ（例えば類似パラメータ）の値に基づいて生成されてもよい。また、ユニークネス情報に係るユニークネスは、モーションデータ単独で評価されてもよいが、音響情報や背景情報、ハードウェア情報等との組み合わせで評価されてもよい。また、管理情報は、タグ付け用の文字情報や、対応するマスタ動き情報の作成者（演者など）、作成日時等の情報を含んでよい。また、管理情報は、対応するマスタ動き情報を利用する場合の利用条件の情報を含んでよい。利用条件は、例えば有償の場合の費用等に基づく条件を含んでもよいし、加工の可否、デフォルメの要否等を含んでよい。また、利用条件は、利用者の手足の長さ（又はアバターの手足の長さ）やハードウェア構成に関する条件を含んでもよい。

【0076】

また、マスタ動き情報記憶部１４４には、探索範囲（後述する類似性算出部１５２による算出対象の範囲）を絞ることを可能とする付加情報が記憶されてもよい。例えば、付加情報は、マスタ動き情報に係る動きの属性（例えば、ダンス、スポーツ、日常の動きなど）を含んでもよい。

【0077】

なお、マスタ動き情報記憶部１４４は、比較的大量のデータを記憶するのが好適であるため、サーバ装置１０により実現されるのが好適であるが、複数の端末装置２０により実現されてもよい。

【0078】

入力用モーション情報取得部１５０は、入力用モーション情報を取得する。入力用モーション情報は、上述したとおりである。

【0079】

なお、入力用モーション情報取得部１５０は、端末装置２０単独で実現されてもよい。この場合、端末装置２０は、対応するユーザからの入力用モーション情報を取得する。他方、入力用モーション情報取得部１５０は、複数の端末装置２０及びサーバ装置１０により実現されてもよく、この場合、サーバ装置１０は、端末装置２０を介して各ユーザからの入力用モーション情報を取得してもよい。

【0080】

本実施形態では、入力用モーション情報取得部１５０は、ユーザからのモーション情報要求に対応付けて入力用モーション情報を取得する。ユーザからのモーション情報要求は、後述する表示用モーション情報の取得に関連した要求であり、後述する絞り込み情報や特定のアバターを指定する情報（後述するアバターモーション情報の生成を要求する場合）等を含んでよい。

【0081】

類似性算出部１５２は、入力用モーション情報取得部１５０により取得された入力用モーション情報と、マスタ動き情報記憶部１４４に記憶されているマスタ動き情報との間の類似性に関する所定パラメータの値を算出する。所定パラメータは、上述した類似パラメータであってよい。

【0082】

類似性算出部１５２は、一の入力用モーション情報に関して、マスタ動き情報記憶部１４４に記憶されているすべてのマスタ動き情報のそれぞれに対する類似パラメータの値を算出してもよいが、好ましくは、処理負荷を低減する観点から、算出対象が絞られてよい。例えば、一の入力用モーション情報の属性が判別可能である場合、同一の属性を有するマスタ動き情報だけに算出対象が絞られてもよい。また、一の入力用モーション情報が動き以外の付属情報を含む場合、当該付属情報に基づいて、算出対象が絞られてよい。例えば、付属情報は、ユーザにより入力可能な絞り込み情報であってもよい。例えば、付属情報は、“＊＊＊ダンス”といった文字情報を含んでもよい。また、付属情報は、入力用モーション情報の取得に用いたハードウェア資源（例えば加速度センサなど）に関する情報を含んでよい。この場合、同じ又は同様の系列のハードウェア資源を用いて取得されたマスタ動き情報だけに、算出対象が絞られてもよい。また、付属情報は、背景情報を含んでよい。また、付属情報は、音響情報を含んでもよい。この場合、同じ系統の音響情報が紐付けられているマスタ動き情報だけに、算出対象が絞られてもよい。また、付属情報は、背景情報を含んでよい。背景情報は、入力用モーション情報が画像情報である場合、動いている人やモノの背景に関する情報である。この場合も、同じ系統の背景情報が紐付けられているマスタ動き情報だけに、算出対象が絞られてもよい。

【0083】

本実施形態では、類似性算出部１５２は、動き類似性評価部１５２１と、その他の類似性評価部１５２２とを含む。

【0084】

動き類似性評価部１５２１は、動き同士の類似性に関するパラメータの値を算出する。この場合、入力用モーション情報に係る動きとマスタ動き情報に係る動き同士が比較される。なお、上述したように、動き同士の比較方法は、上述した類似パラメータの値の算出方法と同様であってよい。

【0085】

なお、関節を介して動く人の動きに関しては、類似性に関するパラメータの値は、関節角度、関節角度の変化態様、関節位置、関節位置の変化態様、及び関節間の長さのうちの少なくともいずれか１つに基づいて算出されてもよい。これらのパラメータの値の時系列波形やその周波数分析結果が類似性の比較に利用されてもよい。なお、関節角度は、内積などの他のパラメータで評価されてもよい。

【0086】

その他の類似性評価部１５２２は、動き同士以外の類似性に関するパラメータの値を算出する。この場合、上述した属性や付属情報が考慮されてよい。

【0087】

類似性算出部１５２は、動き同士の類似性に関するパラメータの算出値と、動き同士以外の類似性に関するパラメータの算出値とに基づいて、所定パラメータの最終的な値を算出してよい。なお、類似性の算出には、人工知能が利用されてもよい。

【0088】

抽出処理部１５４は、類似性算出部１５２による算出結果に基づいて、１つ以上のマスタ動き情報を抽出する。類似性算出部１５２による算出結果に基づくマスタ動き情報の抽出方法は、任意であるが、所定パラメータの値が最も大きいマスタ動き情報を抽出してもよいし、所定パラメータの値が最も大きい順に所定個のマスタ動き情報を抽出してもよい。あるいは、所定パラメータの値が閾値以上のマスタ動き情報をすべて抽出してもよい。

【0089】

出力処理部１５６は、抽出処理部１５４により抽出された１つ以上のマスタ動き情報に基づいて生成される表示用モーション情報を人に視認可能に出力する。出力処理部１５６は、任意の表示装置に出力してもよい。例えば端末装置２０の表示装置２６２３のような特定の人が見る端末に表示してもよいし、デジタルサイネージのような、不特定多数が見る装置に表示してもよい。

【0090】

本実施形態では、出力処理部１５６は、モーション情報要求が所定条件を満たす場合、表示用モーション情報を出力してもよい。所定条件は、任意であるが、著作権や公序良俗等に関する条件を含んでよい。また、所定条件は、表示用モーション情報のユニーク性を担保するための条件を含んでよい。この場合、ユニーク性は、表示用モーション情報と、それに対応する元のマスタ動き情報との関係に基づいて、評価されてもよい。

【0091】

表示用モーション生成部１５８は、抽出処理部１５４により抽出された１つ以上のマスタ動き情報に基づいて、出力処理部１５６により出力される表示用モーション情報を生成する。

【0092】

表示用モーション情報は、抽出処理部１５４により抽出された２つ以上のマスタ動き情報をまとめて表示する情報であってもよいし、マスタ動き情報ごとに生成されてもよい。一のマスタ動き情報に係る表示用モーション情報は、当該一のマスタ動き情報自体であってもよいし、当該一のマスタ動き情報に基づいて生成された新たな別の情報であってもよい。後者の場合、一のマスタ動き情報に係る表示用モーション情報は、当該一のマスタ動き情報を加工して生成されてもよい。この場合、加工方法は、任意であるが、例えばダイジェスト版（概略バージョン）に短縮する加工や、背景や音楽のリズム等を変化させる加工を含んでよい。

【0093】

また、表示用モーション生成部１５８は、上述したアバターモーション情報を生成してもよい。すなわち、表示用モーション生成部１５８は、抽出処理部１５４により抽出された１つ以上のマスタ動き情報を特定のアバターに反映させることで、表示用モーション情報（アバターモーション情報）を生成してもよい。この場合、特定のアバターは、ユーザ（例えばモーション情報要求の要求元のユーザ）により指定可能とされてよく、例えば当該ユーザのアバターであってよい。例えば、表示用モーション生成部１５８は、ユーザからの反映指示に基づいて、エモート情報に関連して検索されたマスタ動き情報を、対応するユーザのアバターの動きに反映させてよい。

【0094】

表示用モーション生成部１５８は、アバターモーション情報に関連して上述したようにサーバ装置１０側に設けられてもよいし、端末装置２０側に設けられてもよいし、サーバ装置１０側と端末装置２０側とで機能を分担する態様で、双方に設けられてもよい。

【0095】

コンテンツ生成部１６０は、表示用モーション生成部１５８により生成された表示用モーション情報に基づいて、動画コンテンツ又はアニメーションを生成する。動画コンテンツ又はアニメーションは、表示用モーション生成部１５８により生成された表示用モーション情報自体であってもよいし、表示用モーション生成部１５８により生成された表示用モーション情報とは異なる動画コンテンツ又はアニメーションであってもよい。後者の場合、例えば、コンテンツ生成部１６０は、動画コンテンツ又はアニメーションの一部に、表示用モーション生成部１５８により生成された表示用モーション情報を組み込むこととしてもよい。なお、この場合、組み込み先の動画コンテンツ又はアニメーションは、任意であるが、別の表示用モーション情報に基づいて制作されてもよい。

【0096】

本実施形態では、コンテンツ生成部１６０は、表示用モーション生成部１５８により生成された表示用モーション情報に、背景情報、音響情報、エモート情報、又は文字情報を対応付けて動画コンテンツ又はアニメーションを生成してもよい。この場合、対応付けられる背景情報、音響情報、エモート情報、又は文字情報は、ユーザ（例えばモーション情報要求の要求元のユーザ）から供給されてもよいし、人工知能等に基づいて自動的に生成されてもよい。あるいは、エモート情報を対応付けて生成された動画コンテンツ又はアニメーションは、対応するユーザが利用可能なエモートリストを示すメニュー等に登録されてもよい。

【0097】

また、コンテンツ生成部１６０は、ユーザからの申請等に応じて、生成した動画コンテンツ又はアニメーションに対してＮＦＴ化処理を実行してもよい。ＮＦＴ化処理は、対象のアイテムをＮＦＴ（Ｎｏｎ－Ｆｕｎｇｉｂｌｅ Ｔｏｋｅｎ）として発行することを含む。この場合、コンテンツ生成部１６０は、ブロックチェーンネットワーク（図示せず）上のスマートコントラクトを介してミントされてよい。なお、ＮＦＴ化処理は、発行されたＮＦＴを更にマーケットプレイス等でリストすることを含んでもよい。

【0098】

情報管理部１６２は、マスタ動き情報記憶部１４４に記憶（蓄積）されるマスタ動き情報に対する利用制限を設定する。例えば、情報管理部１６２は、一のマスタ動き情報に対して、当該一のマスタ動き情報に対応付けられている上述した管理情報に基づいて、利用制限を設定してもよい。この場合、当該一のマスタ動き情報に対応付けられている上述した管理情報が、有償での提供を表す場合、無償による提供（利用）が制限されてよい。この場合、情報管理部１６２は、利用制限に起因して利用できないマスタ動き情報については、探索範囲（又は類似性算出部１５２の算出対象）から除外してよい。

【0099】

記憶処理部１６４は、特定のユーザから供給（提供）されるマスタ動き情報用のモーション情報（第３動き情報の一例）に基づいて、新たなマスタ動き情報をマスタ動き情報記憶部１４４に記憶する。特定のユーザは、任意であるが、上述したような利用態様（抽出されてアバターモーション情報等の生成に利用される態様）について許諾したユーザであってよい。記憶処理部１６４は、新たなマスタ動き情報を記憶する際、上述した管理情報等を取得及び生成してもよい。マスタ動き情報用のモーション情報の提供が促進されるように、マスタ動き情報用のモーション情報の提供ユーザには、特定の特典等のインセンティブが付与されてもよい。

【0100】

プロフィール画像生成部１６６は、表示用モーション生成部１５８により生成された表示用モーション情報に基づいて、ユーザに対応付けられているプロフィール画像を生成する。プロフィール画像は、ユーザに対応付けられているアバターの動きを伴うプロフィール画像であってよい。この場合、プロフィール画像生成部１６６により生成されるプロフィール画像は、ＳＮＳ（Ｓｏｃｉａｌ Ｎｅｔｗｏｒｋｉｎｇ Ｓｅｒｖｉｃｅ）又はその類で利用されてもよい。プロフィール画像は、静止画像であってもよいが、ショート動画のような比較的短い動画であってもよい。

【0101】

プロフィール画像生成部１６６は、ユーザからのモーション情報要求に基づいて機能してもよい。例えば、モーション情報要求に、プロフィール画像の生成の要求が含まれている場合に、機能してもよい。あるいは、図８を参照して上述したステップＳ２１３０の反映指示のような指示に応じて機能してもよい。

【0102】

また、プロフィール画像生成部１６６は、生成したプロフィール画像に、背景情報、音響情報、エモート情報、又は文字情報を対応付けてもよい。この場合、対応付けられる背景情報、音響情報、エモート情報、又は文字情報は、ユーザ（例えばモーション情報要求の要求元のユーザ）から供給されてもよいし、人工知能等に基づいて自動的に生成されてもよい。なお、エモート情報は、ユーザがどんな感情を表現したかを表す情報や顔の表情のアニメーションを含んでよい。

【0103】

なお、プロフィール画像生成部１６６の機能の一部又は全部は、上述したコンテンツ生成部１６０により実現されてもよい。

【0104】

図１２には、プロフィール画像Ｇ１２を含むプロフィール画面の一例が示されている。プロフィール画像Ｇ１２が動画である場合、プロフィール画面が出力された際に自動的に再生されてもよい。なお、図１２に示す例では、プロフィール画像Ｇ１２は、プロフィール画面の一部を形成するが、全体を形成してもよい。

【0105】

アニメーション生成部１６８は、自動再生用のアニメーションコンテンツを生成する。自動再生用のアニメーションコンテンツは、上述したコンテンツ生成部１６０により生成されるアニメーションの一部又は全部であってよい。この場合、アニメーション生成部１６８の機能の一部又は全部は、上述したコンテンツ生成部１６０により実現されてもよい。

【0106】

アニメーション生成部１６８により生成される自動再生用のアニメーションコンテンツは、ユーザ（例えばモーション情報要求の要求元のユーザ）に対応付けて記憶されてよい。また、自動再生用のアニメーションコンテンツは、例えば対応するユーザの端末装置２０の記憶装置に、自動再生用の条件（再生条件）と関連付けて記憶されてもよい。自動再生用の条件（再生条件）は、任意であるが、ユーザにより設定されてもよい。自動再生用の条件は、チャット等の返答に利用されてもよい。すなわち、自動再生用のアニメーションコンテンツは、チャット等における返答として再生されてもよい。例えば、図１３Ａに示す例では、ユーザＢの端末装置２０は、他のユーザからの問いかけＡ（例えば、一緒にどこかに行こうといったお誘い）があった場合に、複数のスタンプＳＴＭ１からＳＴＭ４が候補として表示されている。この場合、スタンプＳＴＭ１からＳＴＭ４は、それぞれ、選択されると、対応する自動再生用のアニメーションコンテンツの再生を伴ってもよい。この場合、ユーザＢが、自身でスタンプＳＴＭ１からＳＴＭ４のいずれかを選択してもよいが、自動モードでは、自動再生用の条件に応じて、スタンプＳＴＭ１からＳＴＭ４のいずれかが自動的に選択されてもよい。

【0107】

アニメーション再生処理部１７０は、一の自動再生用のアニメーションコンテンツに対応して、対応する自動再生用の条件が成立すると、同コンテンツを再生する。自動再生用のアニメーションコンテンツ及び自動再生用の条件は、上述した通りである。

【0108】

また、アニメーション再生処理部１７０は、メタバース空間においても機能してもよい。例えば、メタバース空間において自動再生用の条件が成立すると、アバターを、自動再生用のアニメーションコンテンツに対応する動作で動かすこととしてもよい。例えば、上述したエモートリスト内の各種エモート情報（及びそれに対応付けられた動画コンテンツ等）は、対応するユーザがいずれか１つのエモートを選択（指定）することで自動再生用の条件が成立し、発動されてよい。一のエモートが発動すると、対応するアバターが、仮想空間内において、当該エモートを表現する動きを行う。このエモートを表現する動きは、上述したエモート情報を対応付けて生成された動画コンテンツ又はアニメーションであってよい。このようにしてエモートリストに所望のエモート情報に係る登録を行うことで、多様なエモートのうちの、所望のエモートを自身のアバターに容易に反映させることができる。
例えば、図１３Ｂに示す例では、ユーザＢの端末装置２０は、エモートリストを呼び出し、複数のエモートボタンＥＭ１からＥＭ４が候補として表示されている。複数のエモートボタンＥＭ１からＥＭ４は、事前に登録されたコンテンツ（エモート情報を対応付けて生成された動画コンテンツ又はアニメーション）であってよい。この場合、エモートボタンＥＭ１からＥＭ４は、それぞれ、選択されると、対応する自動再生用のアニメーションコンテンツの再生を伴ってもよい。この場合、ユーザＢが、自身でエモートボタンＥＭ１からＥＭ４のいずれかを選択してもよいが、自動モードでは、例えばユーザＢの感情（心情）等を、生体情報（例えば心拍情報等）から自動的に検知し又は画像認識により検知し、ＥＭ１からＥＭ４のいずれかが自動的に選択されてもよい。なお、図１３Ｂに示す例では、エモートボタンＥＭ１からＥＭ４には、対応するエモートを表す文字が付与されているが、それに代えて又は加えて、対応するコンテンツのダイジェスト版等が再生されてもよい。また、図１３Ｂに示す例では、４つのエモートボタンＥＭ１からＥＭ４が図示されているが、エモートボタンの数は任意であり、登録数に応じた数のエモートボタンが用意されてもよい。また、図１３Ｂに示す例では、スマートフォンの形態の端末装置２０が図示されているが、ヘッドマウントディスプレイのような他の形態の端末装置２０が利用される場合も同様である。例えば、ヘッドマウントディスプレイの形態の端末装置２０の場合、エモートボタンＥＭ１からＥＭ４に対応するボタンは、仮想空間内に呼び出し可能なユーザインタフェースにより実現されてもよい。

【0109】

以上、各実施形態について詳述したが、特定の実施形態に限定されるものではなく、特許請求の範囲に記載された範囲内において、種々の変形及び変更が可能である。また、前述した実施形態の構成要素の全部又は複数を組み合わせることも可能である。

【0110】

例えば、上述した実施形態では、一の入力用モーション情報や一のマスタ動き情報は、対応する人又はモノの動きであって、一人の人又は一つのモノの動きを表すが、これに限られない。例えば、一の入力用モーション情報や一のマスタ動き情報は、二人以上の人の動きを表してもよい。この場合、例えば図１４に示すような、複数のアバターＡ１からＡ４の連携した動きに係るアバターモーション情報を、抽出されたマスタ動き情報に基づいて取得可能となる。この場合、複数のアバターが手を繋いだり、一のアバターを一人以上のアバターが持ち上げたり、といった具合に、複数のアバターの互いの接触や連携を伴う動きに係るマスタ動き情報を得ることができる。

【0111】

また、上述した実施形態において、マスタ動き情報記憶部１４４において、各マスタ動き情報は、図１５に模式的に示すような階層構造で管理されてもよい。この場合、一の入力用モーション情報に対して類似性を上位階層から判断することで、当該一の入力用モーション情報に類似するマスタ動き情報の探索が容易となる。

【符号の説明】

【0112】

１ 検索支援システム
３ ネットワーク
１０ サーバ装置
２０ 端末装置
１４０ ユーザ情報記憶部
１４２ アバター情報記憶部
１４４ マスタ動き情報記憶部
１５０ 入力用モーション情報取得部（動き取得部の一例）
１５２ 類似性算出部
１５２１ 動き類似性評価部
１５２２ その他の類似性評価部
１５４ 抽出処理部
１５６ 出力処理部
１５８ 表示用モーション生成部（第２動き情報生成部の一例）
１６０ コンテンツ生成部
１６２ 情報管理部
１６４ 記憶処理部
１６６ プロフィール画像生成部
１６８ アニメーション生成部
１７０ アニメーション再生処理部
１９０ 評価用情報記憶部
１９２ ユーザ情報記憶部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13A】

【図13B】

【図14】

【図15】