(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2024-11-25
(45)【発行日】2024-12-03
(54)【発明の名称】アバター分析システムおよびアバター分析システムのアバター分析方法
(51)【国際特許分類】
G06Q 50/10 20120101AFI20241126BHJP
G06N 3/006 20230101ALI20241126BHJP
G06F 3/01 20060101ALI20241126BHJP
【FI】
G06Q50/10
G06N3/006
G06F3/01 510
(21)【出願番号】P 2024129051
(22)【出願日】2024-08-05
【審査請求日】2024-08-08
【早期審査対象出願】
(73)【特許権者】
【識別番号】723015099
【氏名又は名称】株式会社リプロネクスト
(74)【代理人】
【識別番号】100134072
【氏名又は名称】白浜 秀二
(72)【発明者】
【氏名】藤田 献児
【審査官】木村 慎太郎
(56)【参考文献】
【文献】特表2024-525119(JP,A)
【文献】国際公開第2021/161841(WO,A1)
【文献】特開2022-054326(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06Q 10/00-99/00
G06N 3/006
G06F 3/01
(57)【特許請求の範囲】
【請求項1】
所定の通信媒体を介して、メタバース上に所定のイベントを提供するサービスを行うサーバ装置と、前記メタバースに入場するアバターを操作する複数のデータ端末と、が通信可能なアバター分析システムであって、
前記サーバ装置は、
前記メタバースに描画される各アバターの情報を取得する取得手段と、
前記取得手段が取得した各アバターの情報を蓄積する蓄積手段と、
前記蓄積手段に蓄積された各アバターの情報を解析して、各アバターの気持ちの変化を指標化する指標化手段と、
前記指標化手段が指標化した数値情報に基づいて、ログイン中のいずれかのアバターに応答するメッセージを生成する生成手段とを備え、
前記生成手段は、前記指標化手段が積分したポジティブ領域と、ネガティブ領域の差分の変化率を算出した後、各アバターに応答する今回の積極度と前回の積極度の相対的変化量をパーセント表示するメッセージを生成することを特徴とするアバター分析システム。
【請求項2】
前記アバターの情報は、行動、音声のトーンおよび音声の大きさ、チャット、リアクション、を含むことを特徴とする請求項1に記載のアバター分析システム。
【請求項3】
前記指標化手段は前記蓄積手段に蓄積された各アバターの情報のうち、各アバターが所定時間内に発声する音声情報を平均化した値と、前記蓄積手段に蓄積された前回の値とを比較して、各アバターの気持ちの第1の変化量を数値情報として指標化することを特徴とする請求項1に記載のアバター分析システム。
【請求項4】
前記指標化手段は前記蓄積手段に蓄積された各アバターの情報のうち、各アバターがメタバース上を移動する移動速度を所定時間単位で算出した移動速度を平均化した速度値と、前記蓄積手段に蓄積された前回の速度値とを比較して、各アバターの気持ちの第2の変化量を数値情報として指標化することを特徴とする請求項1に記載のアバター分析システム。
【請求項5】
前記指標化手段は、前記蓄積手段に蓄積された各アバターの情報のうち、各アバターがメタバース上で取得する音声情報に基づく変化特性がポジティブかネガティブかを判定して、各アバターの気持ちの第3の変化量を数値情報として指標化することを特徴とする請求項1に記載のアバター分析システム。
【請求項6】
前記指標化手段は、前記蓄積手段に蓄積された各アバターの情報のうち、各アバターがメタバース上で取得する音声情報に基づく変化特性がポジティブかネガティブかを記憶されるキーワードの属性およびその使用頻度から判定して、各アバターの気持ちの第3の変化量を数値情報として指標化することを特徴とする請求項1に記載のアバター分析システム。
【請求項7】
前記指標化手段は、各アバターが前記メタバース上に表示される行動属性を示すアイコンが指示されることに基づいて、各アバターの動きのパターンを変化させてアピールする際
、プラス方向またはマイナス方向への変位レベルを指標化することを特徴とする請求項1に記載のアバター分析システム。
【請求項8】
所定の通信媒体を介して、メタバース上に所定のイベントを提供するサービスを行うサーバ装置と、前記メタバースに入場するアバターを操作する複数のデータ端末と、が通信可能なアバター分析システムのアバター分析方法であって、
前記サーバ装置は、
前記メタバースに描画される各アバターの情報を取得する取得ステップと、
前記取得ステップが取得した各アバターの情報を蓄積部に蓄積する蓄積ステップと、
前記蓄積ステップで前記蓄積部に蓄積された各アバターのリアクションを解析して、各アバターの気持ちの変化を指標化する指標化ステップと、
前記指標化ステップが指標化した数値情報に基づいて、ログイン中のいずれかのアバターに応答するメッセージを生成する生成ステップとを備え、
前記生成ステップは、前記指標化ステップが積分したポジティブ領域と、ネガティブ領域の差分の変化率を算出した後、各アバターに応答する今回の積極度と前回の積極度の相対的変化量をパーセント表示するメッセージを生成することを特徴とするアバター分析システムのアバター分析方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、所定の通信媒体を介して、メタバース上に所定のイベントを提供するサービスを行うサーバ装置と、メタバースに入場するアバターを操作する複数のデータ端末とが通信可能なアバター分析システムおよびアバター分析システムのアバター分析方法に関するものである。
【背景技術】
【0002】
従来より、ユーザがデータ端末を操作してメタバース上に参加する際、自分の分身をアバターとして表示させ、様々な体験イベントに参画することができるため、その運用に伴って、出展者側では、参画したアバターの行動を分析して、新たなビジネス展開を模索する動きが活発化している。
【0003】
下記特許文献1には、「仮想空間を利用する複数の利用者に対して効果的な広告を出力することができる広告管理システムを提供するため、広告管理システム10は、検出部12と、分析部13と、選定部14と、出力部15を備える。検出部12は、広告を出力する対象の仮想空間において、互いに関連するアバターを検出する。分析部13は、検出部12が検出したアバターに共通する行動と、アバター間の会話内容との少なくとも一方を分析する。選定部14は、分析結果に基づいて、アバターそれぞれを操作して仮想空間に参加している、複数の利用者に対する広告を選定する。出力部15は、選定の結果に基づいて、仮想空間に表示する広告を出力する。」ことが記載されている。
【0004】
また、下記特許文献2の段落0076には、「アバター動作制御部30は、不在ユーザの人物分析を反映させたプログラムに応じて、当該ユーザのアバターと現実世界の別のユーザとのコミュニケーションを実現させる。すなわち、不在ユーザとのコミュニケーションを擬似的に実現される。当該コミュニケーションとして、主に会話を想定するが、表情の変化や仕草も含まれる。」ことが記載されている。
【先行技術文献】
【特許文献】
【0005】
【文献】特開2024-087892号公報
【文献】特開2012-168863号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、今後のメタバース利用環境を想定した場合、要求されるアバターの分析手法がフォーカスする利用属性(例えば学校教育、カウンセリング、展示会)により、分析したい指向性を一元的に扱ってしまうと、分析結果の有効性が担保されず、誤った見解や認識が生まれてしまう可能性が高くなる。
【0007】
特に、学校教育×メタバース、引きこもり相談×メタバース、展示会×メタバースといった属性が異なるフェーズでは、メタバースに入る各自ユーザの目的が異なるため、アバター自身の動きだけを扱う分析では、対象とするアバターから適格なメンタルの起伏状態を示す各種の情報を取得できないとの課題が指摘されていた。
【0008】
また、上記学校教育×メタバース、引きこもり相談×メタバース、展示会×メタバースといった属性が異なるフェーズにおいて、アバターを操作する複数のユーザが、メタバースに入場することを想定した場合、各アバターの行動パターンの変化や心理状態の変化を的確と捉えることができず、各アバターの行動を分析した結果を、各アバターに適切な情報を運用者側から適切なタイミングで応答できないとの課題も指摘されていた。
【0009】
本発明は、上記課題を解決するためになされたもので、メタバース上におけるユーザに紐づくアバターの振る舞いを特定する情報を取得して、ユーザの感情の浮き沈みを指標化して応答することで、支援を受けたいユーザのアバターがメタバースを利用することで、学校教育×メタバース、引きこもり相談×メタバース、展示会×メタバースといった属性が異なるフェーズにおいて、何らプライベートな情報を開示することなく、学校教育現場や、学童、学生からの相談を受け付ける現場、展示会を企画する現場を含めて、アバターの行動に基づく心理状態を分かり易い指標として把握できるアバター分析システムおよびアバター分析システムのアバター分析方法を提供することである。
【課題を解決するための手段】
【0010】
上記目的を達成する本発明のアバター分析システムは以下に示す構成を備える。
【0011】
本発明に係るアバター分析システムは、所定の通信媒体を介して、メタバース上に所定のイベントを提供するサービスを行うサーバ装置と、前記メタバースに入場するアバターを操作する複数のデータ端末と、が通信可能なアバター分析システムであって、前記サーバ装置は、前記メタバースに描画される各アバターの情報を取得する取得手段と、前記取得手段が取得した各アバターの情報を蓄積する蓄積手段と、前記蓄積手段に蓄積された各アバターの情報を解析して、各アバターの気持ちの変化を指標化する指標化手段と、前記指標化手段が指標化した数値情報に基づいて、ログイン中のいずれかのアバターに応答するメッセージを生成する生成手段と、を備え、前記生成手段は、前記指標化手段が積分したポジティブ領域と、ネガティブ領域の差分の変化率を算出した後、各アバターに応答する今回の積極度と前回の積極度の相対的変化量をパーセント表示するメッセージを生成することを特徴とする。
【発明の効果】
【0012】
本発明によれば、学校教育×メタバース、引きこもり相談×メタバース、展示会×メタバースといった属性が異なるフェーズにおいて、何らプライベートな情報を開示することなく、学校教育現場や、学童、学生からの相談を受け付ける現場、展示会を企画する現場を含めて、アバターの行動に基づく心理状態を分かり易い指標として把握できる。
【図面の簡単な説明】
【0013】
図面は、本発明の特定の実施の形態を示し、発明の不可欠な構成ばかりでなく、選択的及び好ましい実施の形態を含む。
【
図1】本実施形態を示すアバター分析システムの構成を説明するブロック図。
【
図2】
図1に示したサーバ装置の構成を説明するブロック図。
【
図3】(a)は
図1に示したサーバ装置に接続する第1~第4のデータ端末の構成を説明するブロック図、(b)は(a)に示したRAMに記憶されるプログラムの構成を示す図。
【
図4】
図1に示した第1~第3のデータ端末を操作する第1~第3のユーザが選択可能なリアクションボタンの一例を示す図。
【
図5】
図1に示した第4のデータ端末に表示されるアバターの音声情報を示す特性図。
【
図6】
図1に示した第1~第3のデータ端末を操作する各ユーザの音声情報を再生する画面を示す図。
【
図7】
図1に示したサーバ装置が第1~第3のデータ端末に応答する指標化したメッセージの一例を示す図。
【
図8】本実施形態を示すアバター分析システムのアバター分析方法の一例を示すフローチャート。
【
図9】本実施形態を示すアバター分析システムのアバター分析方法の一例を示すフローチャート。
【発明を実施するための形態】
【0014】
次に本発明を実施するための最良の形態について図面を参照して説明する。
【0015】
<システム構成の説明>
〔第1実施形態〕
図1は、本実施形態を示すアバター分析システムの構成を説明するブロック図である。
【0016】
本例は、所定の通信媒体(ネットワーク21)を介して、メタバース上に所定のイベントを提供するサービスを行うサーバ装置1と、メタバースに入場するアバターを操作する複数のデータ端末(本実施形態では、第1~第4のデータ端末3-1~3-N、4-1~4-N、5-1~5-N、2-1~2-N)と、が通信可能なアバター分析システムを例とする。
【0017】
図1において、第1~第4のデータ端末3-1~3-N、4-1~4-N、5-1~5-N、2-1~2-Nは、ブラウザ等を起動して、サーバ装置1が公開するメタバースプラットフォーム1Aに接続して、ユーザID、パスワードをサーバ装置1に登録することで、サーバ装置1が提供する各種メタバースサービス(コミュニケーションサービスを含む)を受け取ることができる。
【0018】
なお、第1~第4のデータ端末3-1~3-N、4-1~4-N、5-1~5-N、2-1~2-Nは、
図3に示すようなハードウエア資源を備え、ネットワーク21を介して、メタバースプラットフォーム1Aに接続してサーバ装置1からコミュニケーションサービスが提供されるものとする。
【0019】
また、サーバ装置1は、コミュニケーションサービスのためのメタバースを出現させ、第1~第4のデータ端末3-1~3-N、4-1~4-N、5-1~5-N、2-1~2-Nを操作する複数のユーザに対応するアバターを出現させ、アバター同士で会話したり、サーバ装置1が出現させるAIアバターとチャットしたりするサービスを提供する。
なお、本実施形態において、アバターの情報には、行動、音声のトーンおよび音声の大きさ、チャット、リアクション、を含む構成としているが、これら以外の感情を象徴するような情報(例えばバイタル情報(血圧、脈数、呼吸数))を組み合わせてもよい。
【0020】
図2は、
図1に示したサーバ装置1の構成を説明するブロック図であり、
図1と同一のものには同じ符号を付している。
【0021】
図2において、11は通信部で、通信媒体としてのネットワーク21に接続された第1のデータ端末3-1~3-N、第2のデータ端末4-1~4-N、第3のデータ端末5-1~5-Nと、第4のデータ端末2-1~2-Nとの通信処理を制御する。
【0022】
13はCPUで、内部バス12に接続される外部メモリ18に記憶されたオペレーティングシステム(OS)を起動し、APIを通じてインストールされた各種アプリケーションを起動する。また、RAM16上で展開される各種プログラムの処理を実行する。
【0023】
14はデータベースで、仮想空間を出現させるために利用するアバターの原型モデルや、仮想空間に配置する各種のアイテムを記憶するとともに、第1のデータ端末3-1~3-N、第2のデータ端末4-1~4-N、第3のデータ端末5-1~5-Nと、第4のデータ端末2-1~2-Nを操作する第1~第4のユーザがメタバースプラットフォーム1Aに接続するためのアカウント情報を記憶している。
【0024】
なお、データベース14には、アバターの気持ちがプラス指向およびマイナス指向の言葉辞書部が設けられており、第4のデータ端末2-1~2-Nを操作する管理者は、各アバターの行動、音声、チャット、リアクションを分析する際に参照して、各アバターの気持ち(心理状態)を相対評価する。ここで、言葉辞書部には、否定から入る例として、何事に対しても「それは無理」「それはできない」が記憶されている。
【0025】
同様に、ミスや失敗を引きずる例として、過去の失敗を口にする言葉(ダメだ、無駄だ)が記憶されている。
【0026】
同様に、言い訳をする例として、「でも」、「だって」と責任を回避しようとする言葉が記憶されている。
【0027】
なお、自己肯定感を低くする言葉は、上記以外に「もうやめよう」や「失敗するくらいなら」等が記憶されているものとする。
【0028】
また、時代、境遇によって、使用する言葉使いは変化するものであるため、データベース14に記憶される辞書も随時更新されるものとする。
【0029】
一方、自分の行動を高める言葉についても、「できる!」、「やってみよう」、「可能性は無限大」、「一歩ずつ前進しよう」、「失敗は成長の一部」およびこれに類する言葉がデータベース14に更新可能に記憶されているものとする。
なお、本実施形態では、学校教育×メタバース、引きこもり相談×メタバースに好適な例を示すが、展示会×メタバースであれば、商談で利用されるプラス指向またはマイナス指向を示すキーワードおよびそれに付随するような言葉をデータベース14に更新可能に記憶されているものとする。
【0030】
また、上記キーワードにランク付けした数値を紐づけて加算処理する処理を上記システムで採用することも可能である。
【0031】
15はキーボードで、起動しているアプリケーションに対する数値入力、テキスト入力、アイコン指示などを行う。
【0032】
16は容量を拡張可能なRAMで、外部メモリ18にインストールされたメタバースプラットフォーム1Aの基本プログラムを展開して記憶する。17はディスプレイで、プログラムの起動状態を各種の図示しないUI画面を介して表示する。
【0033】
本実施形態における基本プログラムとしては、メタバースに描画される各アバターのリアクションを取得する取得部16-1と、取得部16-1が取得した各アバターのリアクションをデータベース14に蓄積する蓄積部と、データベース14に蓄積された各アバターのリアクションを解析して、各アバターの気持ちの変化を指標化する指標部16-2と、指標部16-2が分析する各アバターのリアクションから抽出されチャット内容を動画として再生する再生成部16-3と、指標部16-2が指標化した数値情報に基づいて、ログイン中のいずれかのアバターに応答するメッセージを生成する生成部16-4と、第1のデータ端末3-1~3-N、第2のデータ端末4-1~4-N、第3のデータ端末5-1~5-Nと、第4のデータ端末2-1~2-Nを操作する第1~第4のユーザの各アバターをメタバース上に描画するアバター描画部16-5がRAM16上に展開してCPU13が実行する。
【0034】
なお、アバター描画部16-5は、後述するフローチャートに示すように、1つのメタバース上に複数のアバターを同時に描画する並列処理を行う。
【0035】
19はAI支援部で、所定の生成AIプログラムを起動して、アバターからの質問、問い合わせに対して適切なメッセージを生成してメタバースプラットフォーム1A上で描画される各ユーザに紐づくいずれかのアバターに応答する処理(テキスト応答、音声応答を含む)を実行する。なお、生成されるAIアバターを介して各アバターに対するメッセージを応答する構成としてもよい。
このように構成されたアバター分析システムにおいて、指標部16-2は前記蓄積手段に蓄積された各アバターの情報のうち、各アバターが所定時間内に発声する音声情報を平均化した値と、データベース14に蓄積された前回の値とを比較して、各アバターの気持ちの第1の変化量を数値情報として指標化することを特徴とする。
【0036】
指標部16-2は、データベース14に蓄積された各アバターの情報のうち、各アバターがメタバース上を移動する移動速度を所定時間単位で算出した移動速度を平均化した速度値と、データベース14に蓄積された前回の速度値とを比較して、各アバターの気持ちの第2の変化量を数値情報として指標化する処理を実行可能に構成されている。
【0037】
また、指標部16-2は、データベース14に蓄積された各アバターの情報のうち、各アバターがメタバース上で取得する音声情報に基づく変化特性がポジティブかネガティブかを判定して、各アバターの気持ちの第3の変化量を数値情報として指標化する処理を実行可能に構成されている。
【0038】
さらに、指標部16-2は、データベース14に蓄積された各アバターの情報のうち、各アバターがメタバース上で取得する音声情報に基づく変化特性がポジティブかネガティブかを判定して、各アバターの気持ちの第3の変化量を数値情報として指標化する処理を実行可能に構成されている。
【0039】
また、指標部16-2は、データベース14に蓄積された各アバターの情報のうち、各アバターがメタバース上で取得する音声情報に基づく変化特性がポジティブかネガティブかを記憶されるキーワードの属性およびその使用頻度から判定して、各アバターの気持ちの第3の変化量を数値情報として指標化する処理を実行可能に構成されている。
【0040】
指標部16-2は、各アバターが前記メタバース上に表示される行動属性を示すアイコンが指示されることに基づいて、各アバターの動きのパターンを変化させてアピールする際、そのレベルをプラス方向またはマイナス方向への変位レベルを指標化する処理を実行可能に構成されている。
【0041】
生成部16-4は、指標部16-2が指標化した数値情報に基づいて、ログイン中のいずれかのアバターに応答するメッセージを生成する処理を実行する。
【0042】
また、生成部16-4は、指標部16-2が積分したポジティブ領域と、ネガティブ領域の差分の変化率を算出した後、各アバターに応答する今回の積極度と前回の積極度の相対的変化量をパーセント表示するメッセージを生成する処理を実行可能に構成されている。
【0043】
図3は、
図1に示したサーバ装置1に接続する第1のデータ端末3-1~3-N、第2のデータ端末4-1~4-N、第3のデータ端末5-1~5-Nと、第4のデータ端末2-1~2-Nの構成を説明するブロック図である。なお、第1のデータ端末3-1~3-N、第2のデータ端末4-1~4-N、第3のデータ端末5-1~5-Nと、第4のデータ端末2-1~2-Nには、パッド装置、PC装置、スマートフォンなどを想定している。なお、本実施形態では、第4のデータ端末2-1~2-Nを操作するユーザを、メタバースを管理する管理者を想定している。
【0044】
図3の(a)において、301はCPUで、ROM302に記憶されたOS、制御プログラムをRAM303にロードして実行することにより、各種アプリケーションを実行する。304は通信部で、ネットワーク21に接続されるサーバ装置1に接続するための通信を制御する。310Aは第1の入力部で、例えばキーボードで、図示しないポインティングデバイスと連携して表示デバイス311に表示された画面にテキストを入力したり、表示された画面上のタブやアイコンを選択したりすることが可能に構成されている。
【0045】
310Bは第2の入力部で、例えばマイクデバイスで、アバターを操作するユーザの肉声を示すアナログ音を集音した後、所定の音声処理部(DSP)、音声信号をサーバ装置1に転送する。この際、音声処理部(DSP)は、アナログ音をデジタル信号に変換する際に、ユーザの音の強さ(音圧(dB)を示す情報を付加してサーバ装置1に転送する。
【0046】
図3の(b)に示すRAM303において、303-1はUI制御部で、
図1に示したサーバ装置1が提供するメタバースプラットフォーム1Aから提示されるUI画面を第1のデータ端末3-1~3-N、第2のデータ端末4-1~4-N、第3のデータ端末5-1~5-Nと、第4のデータ端末2-1~2-Nが備える表示デバイス311に表示する制御を実行する。
【0047】
なお、CPU301は、サーバ装置1がWEB上に公開するメタバースプラットフォーム1Aにユーザ登録したアカウント情報(ユーザID、パスワード)を図示しないSSD等の外部記憶装置を利用して管理する。
【0048】
図4は、
図1に示した第1のデータ端末3-1~3-N、第2のデータ端末4-1~4-N、第3のデータ端末5-1~5-Nを操作する第1~第3のユーザが選択可能なリアクションボタンの一例を示す図である。
【0049】
図4において、(a)は通常時のアバターを指標する感情アイコンに対応し、(b)は(a)よりもテンションが向上しているグッド時のアバターを指標する感情アイコンに対応し、(c)は(a)よりもテンションが下降している落ち込む時のアバターを指標する感情アイコンに対応する。ここで、下部側のアイコンをログインした各ユーザが選択することで、上記(a)~(c)をメタバース上の表情として採用されるものとする。
【0050】
また、アバター上での表情は、顔色を各ユーザが好みの色味を選択して、より生き生きとした表情とすることも可能である。
【0051】
図5は、
図1に示した第4のデータ端末2-1~2-Nに表示されるアバターの音声情報を示す特性図であり、縦軸が感情の起伏を示す(+)指向と、(-)指向を示し、横軸は時間(t)を示す。
【0052】
図5において、F(AB1)nは今回のログイン時の音声特性(実線)を示し、F(AB1)bは前回のログイン時の音声特性(破線)を示す。ここで、nは現在(nowの頭文字[n])を示し、bは(beforeの頭文字[b])を示す。
【0053】
この図に示すように、アバターAB1(
図6参照)は、(-)指向(指向関数F(AB1)b)を顕著に示していたが、今回は、(+)指向(指向関数F(AB1)n)に転じており、サーバ装置1は、指標化処理において、プラス指向評価を第1のデータ端末3-1~3-N、第2のデータ端末4-1~4-N、第3のデータ端末5-1~5-Nに応答することとなる。
【0054】
図6は、
図1に示した第1のデータ端末3-1~3-N、第2のデータ端末4-1~4-N、第3のデータ端末5-1~5-Nを操作する各ユーザの音声情報を再生する画面を示す図である。
【0055】
図1に示した第4のデータ端末2-1~2-Nを操作する管理者は、データベース14に接続履歴として蓄積された各アバターの音声情報をボタンBTを移動させて、
図5に示した(+)指向を示す時間を選択して再生することができる。
【0056】
同時に、
図6に示すチャット部CTは、アバターAB1が他のアバターとがチャットする際に利用される。
【0057】
図7は、
図1に示したサーバ装置1が第1のデータ端末3-1~3-N、第2のデータ端末4-1~4-N、第3のデータ端末5-1~5-Nに応答する指標化したメッセージの一例を示す図である。
【0058】
本例は、指標部16-2はデータベース14に蓄積された各アバターの情報のうち、各アバターが所定時間内に発声する音声情報を平均化した値と、蓄積手段に蓄積された前回の値とを比較して、各アバターの気持ちの第1の変化量を数値情報(67%、5%)として指標化している例である。
【0059】
図8、
図9は、本実施形態を示すアバター分析システムのアバター分析方法の一例を示すフローチャートである。なお、(1)~(18)は各ステップを示し、各ステップは、
図1に示したサーバ装置1のCPU13が記憶されるプログラムを実行することにより実現される。以下、第1のデータ端末3-1~3-Nを操作する第1のユーザを例としてデータ処理を説明するが、
図1に示した第2のデータ端末4-1~4-Nを操作する第2のユーザおよび第3のデータ端末5-1~5-Nを操作する第3のユーザであっても同様である。
【0060】
第1のデータ端末3-1~3-Nを操作する第1のユーザがネットワーク21を介してクラウド上で公開されているURLに接続すると、図示しないアカウント入力画面が表示デバイス311に表示される。
【0061】
ここで、第1のユーザが第1の入力部310Aを操作してユーザIDおよびパスワードを入力してログオンを指示した際、CPU13はデータベース14の登録ユーザライブラリを参照して、すでに登録済の第1のユーザであるかを認証し、認証がOKかどうかを判断する(1)。ここで、CPU13が認証がOKでないと判断した場合、表示デバイス311にユーザ登録を促す画面を表示し、ユーザID、パスワードが入力されると、CPU13は、入力されたユーザID、パスワードからなるユーザアカウントをデータベース14の登録ユーザライブラリに登録して(2)、処理をステップ(1)に戻す。
【0062】
一方、ステップ(1)で、CPU13は、アカウント認証OKと判断した場合、登録ユーザに紐づくアバターを登録ユーザライブラリから読み出して、メタバース上にアバターを描画する(3)。
なお、アバターは、メタバース上で、第1のユーザが操作する図示しないポインティングデバイスに追従してメタバース上を自在に移動指示することが可能に構成されている。
【0063】
次に、CPU13は、第1のユーザがポインティングデバイスを操作して、メタバース上でアバターを移動させる指示を行っているかどうかを判断し(4)、CPU13は、アバターを移動させる指示を行っていると判断した場合、さらに、移動速度・距離が大きいかどうかを判断し(5)、移動速度・距離が大きくないと判断した場合、CPU13は、アバターに紐づくアバターを登録ユーザライブラリに行動パターン(通常状態を示すパターン)を時系列に従うデータ形式でデータベース14に蓄積させ(6)、ステップ(4)へ戻る。
【0064】
一方、ステップ(5)で、移動速度・距離が大きいと判断した場合、CPU13は、所定時間が経過したかどうかを判断し(7)、所定時間が経過していないと判断した場合は、ステップ(6)へ進み、CPU13は、アバターに紐づくアバターを登録ユーザライブラリに行動パターン(+指向性有を示すパターン)を時系列に従うデータ形式でデータベース14に蓄積させ(6)、ステップ(4)へ戻る。
【0065】
一方、ステップ(7)で、CPU13は、所定時間が経過していると判断した場合、第1のユーザに紐づくアバターから発出させるメッセージ(例えば吹き出しアイコン上にテキスト表示される)が(+)指向かどうかを判断し(8)、(+)指向を示していないと判断した場合は、ステップ(6)へ戻り、(+)指向を示していると判断した場合は、さらに、CPU13は、第1のユーザに紐づくアバターから発声(発言)される回数があらかじめ設定されたしきい値を超えているかどうかを判断し(9)、アバターから発声(発言)される回数があらかじめ設定されたしきい値を超えていないと判断した場合、ステップ(6)へ戻る。
【0066】
一方、ステップ(9)で、CPU13は、アバターから発声(発言)される回数があらかじめ設定されたしきい値を超えていると判断した場合、CPU13は、第1のユーザが発言しているキーワードがデータベース14に記憶されている(+)キーワードと一致するかどうかを判断する(10)。
【0067】
ここで、CPU13は、第1のユーザが発言しているキーワードがデータベース14に記憶されている(+)キーワードと一致すると判断した場合、CPU13は、第1のユーザの現状は、(+)指向性と評価し(12)、ステップ(13)へ進む。
【0068】
一方、ステップ(10)で、CPU13は、第1のユーザが発言しているキーワードがデータベース14に記憶されている(-)キーワードと一致すると判断した場合、第1のユーザの現状は、(-)指向性と評価し(11)、ステップ(13)へ進む。
【0069】
そして、CPU13は、ステップ(11)、(12)の処理に基づいて第1のユーザの積極度を演算する(13)。
【0070】
なお、演算処理は、キーワード毎に指数を付加しておき、単純加算処理は相加平均処理を行うことが想定されるが、指数化できれば、演算処理はこれに限定されるものではない。
【0071】
次に、CPU13は、第1のユーザに紐づく前回の積極度(前回値)をデータベース14から読み出し、ステップ(14)で演算した今回の積極度(今回値)を除した体が1より小さいか(<1)どうかを判断し(14)、1よりも大きいと判断した場合、CPU13は、(-)メッセージを生成して(15)、第1のユーザのアバターに対して、メタバース上に描画することで、第1のユーザは、表示デバイス311で(-)メッセージ、例えば凹んでいるように感じます等を表示する。
【0072】
一方、1よりも小さいと判断した場合、CPU13は、(+)メッセージを生成して(16)、第1のユーザのアバターに対して、メタバース上に描画することで、第1のユーザは、表示デバイス311で(+)メッセージ、例えば頑張っていますね!等を表示する。
【0073】
次に、CPU13は、データベース14で管理している第1のユーザのアバターの情報を更新する(17)。
【0074】
次に、CPU13は、第1のユーザが表示デバイス311上に表示されるURL画面上でログアウトしたかどうかを判断し(18)、ログアウトしていないと判断した場合、ステップ(4)へ戻り、ログアウトしていると判断した場合、本処理を終了する。
【0075】
なお、サーバ装置1が主催するメタバース上で、ログインしているアバターとの会話中に、音声でもチャットでもない感情を表示する制御を実行することにより、アバター自身の心理状態の変化状態を
図4の(a)~(c)の感情を示すいずれかの感情アイコンで視覚化する。
これにより、アバターを操作するデータ端末のユーザは、画面上にフラッシュ的に表示される感情を示すアイコンを視て感情の起伏を間接的に認識することができる。
【0076】
〔第1実施形態の効果〕
本実施形態によれば、第1のユーザは、メタバース上に接続して何らかの行動を起こすと、メタバースプラットフォーム1A上でなんらかのメッセージ応答(
図7に示すメッセージを含む指標化された情報)を受け取ることで、現状の心理状態を(+)指向へ導引するような機会を得る。
【0077】
〔第2実施形態〕
上記実施形態では、
図9に示したステップ(13)において、CPU13は、第1のユーザの積極度を演算処理する例について説明したが、指標部16-2は、データベース14に蓄積された各アバターの情報のうち、各アバターが所定時間内に発声する音声情報を平均化した値と、データベース14に蓄積された前回の値とを比較して、各アバターの気持ちの第1の変化量を数値情報として指標化する構成としてもよい。
【0078】
〔第2実施形態の効果〕
本実施形態によれば、アバターが発声した音声情報を平均化した情報にフォーカスした心理分析を含めてアバターの変化量を指標化することができる。
【0079】
〔第3実施形態〕
上記実施形態では、
図9に示したステップ(13)において、CPU13は、第1のユーザの積極度を演算処理する例について説明したが、指標部16-2は、データベース14に蓄積された各アバターの情報のうち、各アバターがメタバース上を移動する移動速度を所定時間単位で算出した移動速度を平均化した速度値と、データベース14に蓄積された前回の速度値とを比較して、各アバターの気持ちの第2の変化量を数値情報として指標化する構成としてもよい。
【0080】
〔第3実施形態の効果〕
本実施形態によれば、アバターの移動する移動速度にフォーカスした心理分析を含めてアバターの変化量を指標化することができる。
【0081】
〔第4実施形態〕
上記実施形態では、
図9に示したステップ(13)において、CPU13は、第1のユーザの積極度を演算処理する例について説明したが、指標部16-2は、データベース14に蓄積された各アバターの情報のうち、各アバターがメタバース上で取得する音声情報に基づく変化特性がポジティブかネガティブかを判定して、各アバターの気持ちの第3の変化量を数値情報として指標化する構成としてもよい。
【0082】
〔第4実施形態の効果〕
本実施形態によれば、アバターが発声した音声情報、特に変化特性がポジティブかネガティブにフォーカスした心理分析を含めてアバターの変化量を指標化することができる。
【0083】
〔第5実施形態〕
上記実施形態では、
図9に示したステップ(13)において、CPU13は、第1のユーザの積極度を演算処理する例について説明したが、指標部16-2は、データベース14に蓄積された各アバターの情報のうち、各アバターがメタバース上で取得する音声情報に基づく変化特性がポジティブかネガティブかを判定して、各アバターの気持ちの第3の変化量を数値情報として指標化する構成としてもよい。
【0084】
〔第5実施形態の効果〕
本実施形態によれば、アバターが発声した音声情報、特に変化特性がポジティブかネガティブにフォーカスした心理分析を含めてアバターの変化量を指標化することができる。
【0085】
〔第6実施形態〕
上記実施形態では、
図9に示したステップ(13)において、CPU13は、第1のユーザの積極度を演算処理する例について説明したが、指標部16-2は、データベース14に蓄積された各アバターの情報のうち、各アバターがメタバース上で取得する音声情報に基づく変化特性がポジティブかネガティブかを記憶されるキーワードの属性およびその使用頻度から判定して、各アバターの気持ちの第3の変化量を数値情報として指標化する構成としてもよい。
【0086】
〔第6実施形態の効果〕
本実施形態によれば、各アバターがメタバース上で取得する音声情報に基づく変化特性がポジティブかネガティブかを記憶されるキーワードの属性およびその使用頻度から判定した心理分析を含めてアバターの変化量を指標化することができる。
【0087】
〔第7実施形態〕
上記実施形態では、
図9に示したステップ(13)において、CPU13は、第1のユーザの積極度を演算処理する例について説明したが、指標部16-2は、各アバターがメタバース上に表示される行動属性を示すアイコンが指示されることに基づいて、各アバターの動きのパターンを変化させてアピールする際、そのレベルをプラス方向またはマイナス方向への変位レベルを指標化する構成としてもよい。
【0088】
〔第7実施形態の効果〕
本実施形態によれば、各アバターの動きのパターンを変化させてアピールする際、そのレベルをプラス方向またはマイナス方向への変位レベルを指標化することができる。
【0089】
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステムまたは装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。
また、1以上の機能を実現する回路(例えばASIC)によっても実現可能である。
【0090】
以上の記載した本発明に関する開示は、少なくとも下記事項に要約することができる。
【0091】
(1)所定の通信媒体を介して、メタバース上に所定のイベントを提供するサービスを行うサーバ装置と、前記メタバースに入場するアバターを操作する複数のデータ端末と、が通信可能なアバター分析システムであって、前記サーバ装置は、前記メタバースに描画される各アバターの情報を取得する取得手段と、前記取得手段が取得した各アバターの情報を蓄積する蓄積手段と、前記蓄積手段に蓄積された各アバターの情報を解析して、各アバターの気持ちの変化を指標化する指標化手段と、前記指標化手段が指標化した数値情報に基づいて、ログイン中のいずれかのアバターに応答するメッセージを生成する生成手段と、を備え、前記生成手段は、前記指標化手段が積分したポジティブ領域と、ネガティブ領域の差分の変化率を算出した後、各アバターに応答する今回の積極度と前回の積極度の相対的変化量をパーセント表示するメッセージを生成することを特徴とする。
【0092】
(2)前記アバターの情報は、行動、音声のトーンおよび音声の大きさ、チャット、リアクション、を含むことを特徴とする。
【0093】
(3)前記指標化手段は前記蓄積手段に蓄積された各アバターの情報のうち、各アバターが所定時間内に発声する音声情報を平均化した値と、前記蓄積手段に蓄積された前回の値とを比較して、各アバターの気持ちの第1の変化量を数値情報として指標化することを特徴とする。
【0094】
(4)前記指標化手段は前記蓄積手段に蓄積された各アバターの情報のうち、各アバターがメタバース上を移動する移動速度を所定時間単位で算出した移動速度を平均化した速度値と、前記蓄積手段に蓄積された前回の速度値とを比較して、各アバターの気持ちの第2の変化量を数値情報として指標化することを特徴とする。
【0095】
(5)前記指標化手段は、前記蓄積手段に蓄積された各アバターの情報のうち、各アバターがメタバース上で取得する音声情報に基づく変化特性がポジティブかネガティブかを判定して、各アバターの気持ちの第3の変化量を数値情報として指標化することを特徴とする。
【0097】
(6)前記指標化手段は、前記蓄積手段に蓄積された各アバターの情報のうち、各アバターがメタバース上で取得する音声情報に基づく変化特性がポジティブかネガティブかを記憶されるキーワードの属性およびその使用頻度から判定して、各アバターの気持ちの第3の変化量を数値情報として指標化することを特徴とする。
【0098】
(7)前記指標化手段は、各アバターが前記メタバース上に表示される行動属性を示すアイコンが指示されることに基づいて、各アバターの動きのパターンを変化させてアピールする際、プラス方向またはマイナス方向への変位レベルを指標化することを特徴とする。
【0101】
(8)所定の通信媒体を介して、メタバース上に所定のイベントを提供するサービスを行うサーバ装置と、前記メタバースに入場するアバターを操作する複数のデータ端末と、が通信可能なアバター分析システムのアバター分析方法であって、前記サーバ装置は、前記メタバースに描画される各アバターの情報を取得する取得ステップと、前記取得ステップが取得した各アバターの情報を蓄積部に蓄積する蓄積ステップと、前記蓄積ステップで前記蓄積部に蓄積された各アバターのリアクションを解析して、各アバターの気持ちの変化を指標化する指標化ステップと、前記指標化ステップが指標化した数値情報に基づいて、ログイン中のいずれかのアバターに応答するメッセージを生成する生成ステップと、を備え、前記生成ステップは、前記指標化ステップが積分したポジティブ領域と、ネガティブ領域の差分の変化率を算出した後、各アバターに応答する今回の積極度と前回の積極度の相対的変化量をパーセント表示するメッセージを生成することを特徴とする。
【産業上の利用可能性】
【0102】
本実施形態では、クラウド上で公開されるメタバースプラットフォーム1Aで提供されるメタバース上に一般ユーザが接続した後、メタバース内の行動を指標化するシステムを例としたが、教育(メタバースを利用する語学サービス、メタバース講義サービス等)、医療、介護、メタバース上で開演されるゲーム、芸術、音楽イベント、展示イベントにおけるオンライン営業においても、本システムを活用して、さらなるメタバースによる可能性を向上させることができる。
【0103】
また、第4のデータ端末2-1~2-Nを操作する第4のユーザがメタバース上の第1のデータ端末3-1~3-N、第2のデータ端末4-1~4-N、第3のデータ端末5-1~5-Nを操作する第1~第3のユーザにメッセージを発出する構成と、AIアバターが第1のデータ端末3-1~3-N、第2のデータ端末4-1~4-N、第3のデータ端末5-1~5-Nを操作する第1~第3のユーザにメッセージを発出する構成とをハイブリット化したシステムとすることも可能である。
【符号の説明】
【0104】
1 サーバ装置
1A メタバースプラットフォーム
2-1~2-N 第4のデータ端末
3-1~3-N 第1のデータ端末
4-1~4-N 第2のデータ端末
5-1~5-N 第3のデータ端末
【要約】
【課題】学校教育×メタバース、引きこもり相談×メタバース、展示会×メタバースといった属性が異なるフェーズにおいて、何らプライベートな情報を開示することなく、学校教育現場や、学童、学生からの相談を受け付ける現場、展示会を企画する現場を含めて、アバターの行動に基づく心理状態を分かり易い指標として把握すること。
【解決手段】アバター分析システムのアバター分析方法において、サーバ装置1は、メタバースに描画される各アバターの情報を取得する取得部16-1と、取得部16-1が取得した各アバターの情報をデータベース14に蓄積する。そして、指標部16-2は、データベース14に蓄積された各アバターのリアクションを解析して、各アバターの気持ちの変化を指標化する。
【選択図】
図9