特開 2024-139051 情報処理システム及び情報処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024139051

(43)【公開日】2024-10-09

(54)【発明の名称】情報処理システム及び情報処理方法

(51)【国際特許分類】

   G06Q 50/10 20120101AFI20241002BHJP

   H04N 21/258 20110101ALI20241002BHJP

   H04N 21/442 20110101ALI20241002BHJP

【ＦＩ】

G06Q50/10

H04N21/258

H04N21/442

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2023049835

(22)【出願日】2023-03-27

(71)【出願人】

【識別番号】308036402

【氏名又は名称】株式会社ＪＶＣケンウッド

(74)【代理人】

【識別番号】100103894

【弁理士】

【氏名又は名称】家入 健

(72)【発明者】

【氏名】鶴留 新大

(72)【発明者】

【氏名】玉田 智裕

(72)【発明者】

【氏名】興梠 展明

(72)【発明者】

【氏名】小川 純平

【テーマコード（参考）】

5C164

5L049

5L050

【Ｆターム（参考）】

5C164FA06

5C164SB01S

5C164SC11P

5C164UB41P

5C164YA12

5L049CC18

5L050CC18

(57)【要約】

【課題】仮想空間における演者と観客とのコミュニケーションをより円滑に管理する情報処理システム及び情報処理方法を提供すること。
【解決手段】本開示に係る情報処理システム１は、インターネット２を介してユーザに仮想空間を提示する情報処理システムであって、所定期間中において、ユーザ３０の動作を計測するユーザ端末３００と、模範動作に対し、ユーザの動作の一致率を評価し、一致率の評価に基づいて、ユーザのスコアを算出し、スコアに基づいて、仮想空間におけるユーザの座標であるユーザ座標を変更する制御部１１と、を備えるものである。
【選択図】図１

【特許請求の範囲】

【請求項1】

インターネットを介してユーザに仮想空間を提示する情報処理システムであって、
所定期間中において、前記ユーザの動作を計測するユーザ端末と、
模範動作に対し、前記ユーザの動作の一致率を評価し、前記一致率の評価に基づいて、前記ユーザのスコアを算出し、前記スコアに基づいて、前記仮想空間における前記ユーザの座標であるユーザ座標を変更する制御部と、を備える、
情報処理システム。

【請求項2】

前記模範動作は、特定のリズムを有する期間を有し、
前記ユーザの動作は、前記ユーザが所定音圧レベル以上の音を発する動作を含み、
前記スコアの算出には、前記特定のリズムに対し、前記所定音圧レベル以上の音のタイミングの一致率を含む、
請求項１に記載の情報処理システム。

【請求項3】

所定期間中において、対象の動作を計測する対象端末を備え、
前記模範動作を、前記対象の動作とする、
請求項１又は２に記載の情報処理システム。

【請求項4】

前記スコアが高いほど、前記ユーザの座標を仮想空間における前記対象の座標である対象座標に近付くように変更する、
請求項３に記載の情報処理システム。

【請求項5】

インターネットを介してユーザに仮想空間を提示する情報処理方法であって、
所定期間中において、前記ユーザの動作を計測し、
模範動作に対し、前記ユーザの動作の一致率を評価し、
前記一致率の評価に基づいて、前記ユーザのスコアを算出し、前記スコアに基づいて、前記仮想空間における前記ユーザの座標であるユーザ座標を変更する、
情報処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、情報処理システム及び情報処理方法に関し、特に仮想空間における演者と観客とのコミュニケーションを管理する情報処理システム及び情報処理方法に関する。

【背景技術】

【0002】

特許文献１には、観客の音声を検出して観客状況を推定する情報処理システムが開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００６－２８５２７５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

インターネットを用いたオンラインのコミュニケーションツールは日々発展しており、近年、ユーザが自身のアイコンとなるアバターを操作して他のユーザと交流を行える仮想空間である「メタバース」が注目されている。

【0005】

この発展により、オンラインのイベントにおいて、演者から観客へパフォーマンスを一方的に提供するだけでなく、観客からの反応をリアルタイムで受け取ることも可能になっている。また、観客からの反応は、文字やスタンプなどの簡易的な情報だけでなく、歓声などの音声や、観客のアバターを使用した感情表現など、より現実に近い方法によって、演者に伝えられるようになっている。

【0006】

また、仮想空間においては、三次元的な制約がないため、演者から観客の距離を近くすることができる一方で、観客が多数いる場合には、演者からは個々の観客を視認することが困難である。

【0007】

特許文献１には、観客の音声を検出して観客状況を推定する情報処理システムが開示されている。これにより、場の盛り上がり、歓声、笑い声、拍手など、観客全体の反応を推定することができるが、個々の反応を抽出することは困難である。

【0008】

このように、演者と観客とのコミュニケーション、即ち、一対多のコミュニケーションにおいては、まだ改善の余地があると言える。

【課題を解決するための手段】

【0009】

本開示に係る情報処理システムは、インターネットを介してユーザに仮想空間を提示する情報処理システムであって、所定期間中において、前記ユーザの動作を計測するユーザ端末と、模範動作に対し、前記ユーザの動作の一致率を評価し、前記一致率の評価に基づいて、前記ユーザのスコアを算出し、前記スコアに基づいて、前記仮想空間における前記ユーザの座標であるユーザ座標を変更する制御部と、を備えるものである。

【0010】

本開示に係る情報処理方法は、インターネットを介してユーザに仮想空間を提示する情報処理方法であって、所定期間中において、前記ユーザの動作を計測し、模範動作に対し、前記ユーザの動作の一致率を評価し、前記一致率の評価に基づいて、前記ユーザのスコアを算出し、前記スコアに基づいて、前記仮想空間における前記ユーザの座標であるユーザ座標を変更するものである。

【発明の効果】

【0011】

本開示により、仮想空間における演者と観客とのコミュニケーションをより円滑に管理する情報処理システム及び情報処理方法を提供することができる。

【図面の簡単な説明】

【0012】

【図1】本実施の形態に係る情報処理システムを示す図である。

【図2】本実施の形態に係る情報処理システムのブロック図である。

【図3】本実施の形態に係る情報処理システムが仮想空間において実行する処理を示すシーケンス図である。

【図4】本実施の形態に係る仮想空間におけるユーザと対象の位置関係を示す図である。

【図5】本実施の形態に係る動作の一致率を説明する図である。

【図6】本実施の形態に係るタイミングの一致率を説明する図である。

【発明を実施するための形態】

【0013】

以下、図面を参照して本開示の実施の形態について説明する。本実施の形態では、仮想空間において、演者である対象がダンスや歌のパフォーマンスを披露、即ち、模範動作を行い、観客であるユーザが模範動作に合わせた動作を行うようなイベントを想定し、対象とユーザのコミュニケーションにおける制御を説明する。

【0014】

図１は、本実施の形態に係る情報処理システムを表している。本実施の形態に係る情報処理システム１は、演者である対象２０及び観客であるユーザ３０に対して、インターネット２を介して仮想空間３を提示する情報処理装置１０を備える。

【0015】

情報処理装置１０（より詳しくは、後述の制御部１１）は、仮想空間３において、対象２０をステージに配置し、ユーザ３０を客席に配置するように設定する。この時、客席にそれぞれ配置されたユーザ３０は、アバターとして対象２０の端末に表示される。情報処理装置１０（より詳しくは、後述の制御部１１）は、仮想空間３において、対象２０の座標を対象座標２１と設定し、ユーザ３０の座標をユーザ座標３１と設定する。

【0016】

なお、本実施の形態において、対象２０及びユーザ３０が動作を行う空間を実空間と称し、情報処理装置１０が提示する空間を仮想空間と称して区別をしている。また、対象座標２１及びユーザ座標３１は、仮想空間３における対象２０の座標及びユーザ３０の座標をそれぞれ表しているが、これに限定されない。対象座標２１は、仮想空間３における対象２０以外の座標として、仮想空間３における他の人物（アバター）の座標や、物体の座標でもよい。物体の例として、演者である対象２０が表示されるモニターや、ステージの中心などが挙げられる。

【0017】

図２は、本実施の形態に係る情報処理システム１のブロック図を表している。本実施の形態に係る情報処理システム１において、情報処理装置１０と、演者である対象２０が有する端末２００（以下、「対象端末２００」と称する）と、ユーザ３０が有する端末３００（以下、「ユーザ端末３００」と称する）とが、インターネット２に接続している。なお、以下に説明する情報処理システム１が備える情報処理装置１０、及び端末２００、３００は分散型であるが、これに限定されず、一体型にて処理が行われてもよい。

【0018】

情報処理装置１０は、以下において説明する処理を行う制御部１１、処理に必要なデータやプログラムを格納する記憶部１２、インターネット２に接続する通信部１３を備える。

【0019】

対象端末２００及びユーザ端末３００は、撮像部２０１及び３０１、音声入力部２０２及び３０２、出力部２０３及び３０３、入力部２０４及び３０４、及びインターネット２に接続する通信部２０５及び３０５をそれぞれ備える。なお、本実施の形態においては、対象端末２００及びユーザ端末３００は同様の構成を有するように記載しているが、各端末の構成はこれに限定されない。

【0020】

撮像部２０１及び３０１は、カメラ、モーションキャプチャデバイスなどが挙げられ、対象２０及びユーザ３０の動作の撮像やキャプチャを行う。音声入力部２０２及び３０２は、マイクロホンなどが挙げられ、対象２０及びユーザ３０から発される音声などの情報を入力する。出力部２０３及び３０３は、ディスプレイモニタ、スピーカー、ヘッドマウントディスプレイなどが挙げられ、映像、文字、音声などの情報を対象２０及びユーザ３０に出力する。入力部２０４及び３０４は、キーボード、タッチパネル、マウスポインタなどが挙げられ、対象２０及びユーザ３０による操作を受け付け、映像、文字などの情報を入力する。

【0021】

図３は、情報処理システム１が仮想空間３において実行する処理をシーケンス図にて表している。以下、特に記載がない限り、情報処理装置１０が実行する処理は、制御部１１にて行われている。また、図３のシーケンス図において、左列は情報処理装置１０が実行する処理を表し、中列はユーザ端末３００が実行する処理を表し、右列は対象端末２００が実行する処理を表している。なお、ユーザ端末３００は、ユーザ３０の人数分あるが、ユーザ端末３００における動作は各ユーザにおいて同一であるため、図３においては１つのユーザ端末３００の処理について説明する。

【0022】

演者である対象２０が模範動作を開始すると、仮想空間３においてはステージにて模範動作が表示される。観客であるユーザ３０は、演者のパフォーマンスに対する反応の動作を行い、仮想空間３においては客席にて反応の動作が表示される。

【0023】

対象２０及びユーザ３０は、各端末の撮像部に備えられたモーションキャプチャデバイスを装着し、インターネット２を経由して、情報処理装置１０と通信を行っている。ここで、情報処理装置１０は、対象２０及びユーザ３０が行う動作を計測する指示（計測開始指示）を対象端末２００及びユーザ端末３００に送信する（Ｓ１０１）。なお、図示の都合により、図３における計測開始指示Ｓ１０１は、対象端末２００の方がユーザ端末３００よりも先に送信されるように示されているが、送信のタイミングはこれに限定されず、同時に送信、或いはユーザ端末３００へ先に送信されてもよい。

【0024】

また、計測開始指示について、演者である対象２０が模範動作を開始する際に、対象２０が情報処理装置１０へ計測開始指示を出すように命令してもよい。また、所定の時刻になったら情報処理装置１０が計測開始指示を出すように設定してもよい。また、演者のパフォーマンスにて流れる曲が開始してから所定の時間が経過した後に情報処理装置１０が計測開始指示を出すように設定してもよい。

【0025】

また、対象２０の模範動作の情報は、予め情報処理装置１０の記憶部１２に格納されていてもよい。この場合は、対象端末２００において計測を行う必要はないため、対象端末２００への計測開始指示は実行されない。また、対象２０は、モーションキャプチャデバイスを装着せずにパフォーマンスを行うことができる。

【0026】

ユーザ３０の動作の計測及び対象２０の模範動作の計測は、所定期間中に行われる（Ｓ１０２－１及びＳ１０２－２）。所定期間は、演者である対象２０が任意に設定することが可能であり、例えば、一曲披露する毎に設定してもよく、一曲の中の特定の箇所（イントロやサビなど）において設定してもよい。なお、上述のように、対象２０の模範動作の情報が予め記憶部１２に格納されている場合は、模範動作計測（Ｓ１０２－２）を省略することができる。

【0027】

所定期間が終了したら、情報処理装置１０は、計測を終了する指示（計測終了指示）を対象端末２００及びユーザ端末３００に送信する（Ｓ１０３）。なお、図示の都合により、図３における計測終了指示Ｓ１０３は、対象端末２００の方がユーザ端末３００よりも先に送信されるように示されているが、同時に送信、或いはユーザ端末３００へ先に送信されてもよい。

【0028】

計測終了指示を受けたユーザ端末３００及び対象端末２００は、計測データを情報処理装置１０へ送信する（Ｓ１０４－１及びＳ１０４－２）。なお、対象２０の模範動作の情報が予め記憶部１２に格納されている場合は、模範動作の計測データ送信（Ｓ１０４－２）を省略することができる。なお、図示の都合により、図３における計測データ送信Ｓ１０４－１及びＳ１０４－２は、ユーザ端末３００の方が対象端末２００よりも先に送信するように示されているが、同時に送信、或いは対象端末２００が先に送信してもよい。

【0029】

情報処理装置１０は、計測データを集計し、各ユーザの動作の計測データと、演者である対象２０の模範動作を比較して一致率を評価し、一致率に基づいてスコアを算出する（Ｓ１０５）。なお、対象２０の模範動作の情報が予め記憶部１２に格納されている場合は、格納されている模範動作と比較を行う。

【0030】

情報処理装置１０は、算出されたスコアに基づいて、ユーザ座標３１を変更する指示を各ユーザのユーザ端末３００に送信し、仮想空間３におけるユーザ３０の座席の再配置を行う（Ｓ１０６）。その後、再配置後の仮想空間３のデータを、対象端末２００及びユーザ端末３００に送信する（Ｓ１０７）。なお、図示の都合により、図３におけるユーザ３０の再配置後の仮想空間のデータ送信Ｓ１０７は、対象端末２００の方がユーザ端末３００よりも先に送信されるように示されているが、これに限定されず、同時に送信、或いはユーザ端末３００へ先に送信されてもよい。

【0031】

ここで、ユーザ座標３１と対象座標２１の位置関係について、図４を用いて説明する。図４においては、ユーザ３０は観客の中の一人であり、便宜上、このユーザをユーザＡと称する。図４の上図は、イベント開始時の仮想空間３における観客の配置を示す。ユーザＡのユーザ座標３１に宛てられた座席は、演者である対象２０の対象座標２１から見て後列側に位置しており、また対象座標２１の正面から外れたところに位置している。イベント開始時における観客の配置はランダム、或いは課金や申し込み順などの優先順位に応じて設定される。

【0032】

動作データ集計後、ユーザＡのスコアが高かった場合には、図４の中図に示されるように、ユーザＡのユーザ座標３１は、演者である対象２０の対象座標２１に近い座席、即ち、対象２０とコミュニケーションの取りやすい位置に移動することができる。一方、ユーザＡのスコアが低かった場合は、図４の下図に示されるように、演者である対象２０の対象座標２１からは遠い座席に移動される。

【0033】

ここで、ユーザの座席移動（ユーザ座標３１の移動）について説明する。ユーザの座席移動が、スコアの順位に対応した座席移動の場合は、予め順位と座席が対応するように設定する。情報処理装置１０は、各ユーザのスコアを比較することによって、各ユーザのスコアの順位を算出する。情報処理装置１０は、各ユーザのユーザ座標３１をスコアの順位に対応した座席に移動させるようにするとよい。

【0034】

ユーザの座席移動が、スコアに対応した座席移動の場合は、予めスコアと座席が対応するように設定する。情報処理装置１０は、各ユーザのスコアを算出することによって、各ユーザのユーザ座標３１を算出されたスコアに対応した座席に移動させるようにするとよい。例えば、スコアの閾値を９０点と設定して、９０点以上のスコアのユーザを一列目の座席に移動させる。スコアの閾値は複数設けられてもよく、９０点以上は１列目の座席、７０点以上９０点未満は２列目の座席、５０点以上７０点未満は３列目の座席、・・・などのように設定してユーザ座標３１を移動させてもよい。

【0035】

また、高順位又は高スコアに対応する座席は前列に限らず、後列の方が演者を見やすいような場合は、高順位又は高スコアに対応する座席を後列に設定してもよいし、演者（対象座標２１）と各座席の距離を算出して演者（対象座標２１）との距離が近い座席に移動されるようにしてもよい。

【0036】

また、必ずしもユーザ全員を移動させる必要はなく、所定の順位又はスコアのユーザのユーザ座標３１のみを変更させるようにしてもよい。例えば、順位において、上位１０位以上のユーザのユーザ座標３１のみを前列に移動するなど設定してもよい。

【0037】

また、座席の移動先は既存の座席に限らず、ユーザ座標３１の移動に伴って座席数を増やしたり減らしたりしてもよい。

【0038】

なお、ユーザ座標３１の移動は、ユーザのアバターとユーザの視点の両方の移動が含まれていてもよいし、アバターのみ移動して視点は移動しない、視点のみ移動してアバターは移動しない場合が含まれていてもよい。また、アバターの移動について、演者視点、ユーザ視点のいずれから見てもアバターが移動しているように見えていてもよいし、いずれか一方の視点でのみアバターが移動しているように見えてもよい。

【0039】

アバターや視点の移動の結果、複数のユーザのアバターや視点が同一の座標、座席に位置するようにしてもよい。複数のアバターの座標が一致する場合は、複数のアバターが重なって見えてもよいし、いずれか１つのアバターのみ見えるようにしてもよい。選択されるアバターは、例えば、イベント開始時に最前列にいたユーザ、最も順位又はスコアが高いユーザ、音声入力部より入力される音声が最も大きいユーザのアバターなどがある。

【0040】

このようにして、ユーザＡの座席が再配置された後、演者である対象２０が次のパフォーマンスに移るのに伴い、情報処理装置１０は、再び計測開始指示を対象端末２００及びユーザ端末３００に送信する処理を行う。

【0041】

次に、対象２０の模範動作と、ユーザ３０の動作の一致率の評価方法について、図５を用いて説明する。図５（ａ）は対象２０のダンスモーション（振り付け）を、図５（ｂ）はユーザ３０の動作を、それぞれモーションキャプチャデバイスによって計測したイメージ図を示している。

【0042】

ユーザ３０は、フルトラッキング可能であるモーションキャプチャデバイスを装着することにより、身体動作に連動したボーン情報の入力が行われる。ボーン内において、基準点（黒色の点）から、関節を示す白色の点までの距離（図中の矢印で示される間隔）を、各関節において計測、比較することで、一致率として数値化することが可能である。

【0043】

また、上記では演者である対象２０がダンスや歌のパフォーマンスを披露する例を示したが、他の形式にて模範動作を行うことも可能である。演者である対象２０は、所定期間内において特定のリズムを有する期間を有するパフォーマンスを行う。観客であるユーザ３０は特定のリズムに対して、手拍子などによって音を発する動作を行う。この時、ユーザ３０は、マイクロホン付きヘッドマウントディスプレイを装着し、マイクロホンにて音を発する動作を計測してもよい。

【0044】

ここで、対象２０の模範動作に含まれる特定のリズムと、ユーザ３０の発する音の一致率の評価方法について、図６を用いて説明する。図６は、手拍子を例として、マイクロホンによって計測される音量と時間のグラフである。所定音圧レベルｘを設定し、ｘ以上の音が一定の間隔で複数回続いた箇所を検出し、この音を手拍子として認識する。この認識された手拍子の間隔と、特定のリズム、例えば、曲のＢＰＭ（Ｂｅａｔｓ Ｐｅｒ Ｍｉｎｕｔｅ）とのタイミングを比較することで、一致率として数値化することが可能である。

【0045】

なお、本実施の形態において、実空間における対象２０及びユーザ３０の動作或いは手拍子を計測するように説明したが、これに限定されず、仮想空間３における対象２０及びユーザ３０のアバターの動作或いは手拍子を計測してもよい。

【0046】

このような処理を行う構成とすることにより、仮想空間における演者と観客とのコミュニケーションをより円滑に管理する情報処理システム及び情報処理方法を提供することができる。

【0047】

なお、本開示は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。

【0048】

変更される座標は、演者に近付くだけに限らない。例えば、他の観客を認識し、ステージから観客の盛り上がりを体感できるように、演者からの視点と同じような位置に配置されてもよい。

【0049】

また、演者のパフォーマンスをイベントのスタッフなどの視点から楽しめるように、ステージの舞台袖などの位置に配置されてもよい。また、景色を共有できるように、複数のユーザ間で視点が重なるように配置されてもよい。

【0050】

また、演者や他のユーザと重ねて、別の視点から見られるように配置されてもよい。この時、演者や他のユーザと自分の動きを比べられるため、ダンスや振り付けの練習をすることができる。

【符号の説明】

【0051】

１ 情報処理システム
２ インターネット
３ 仮想空間
１０ 情報処理装置
１１ 制御部
１２ 記憶部
１３ 通信部
２０ 対象
２１ 対象座標
３０ ユーザ
３１ ユーザ座標
２００、３００ 端末
２０１、３０１ 撮像部
２０２、３０２ 音声入力部
２０３、３０３ 出力部
２０４、３０４ 入力部
２０５、３０５ 通信部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】