IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社NTTドコモの特許一覧

<>
  • 特開-支援システム 図1
  • 特開-支援システム 図2
  • 特開-支援システム 図3
  • 特開-支援システム 図4
  • 特開-支援システム 図5
  • 特開-支援システム 図6
  • 特開-支援システム 図7
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024146996
(43)【公開日】2024-10-16
(54)【発明の名称】支援システム
(51)【国際特許分類】
   G06T 13/40 20110101AFI20241008BHJP
   G06F 3/0484 20220101ALI20241008BHJP
   G06Q 10/10 20230101ALI20241008BHJP
   G06Q 50/10 20120101ALI20241008BHJP
【FI】
G06T13/40
G06F3/0484
G06Q10/10
G06Q50/10
【審査請求】未請求
【請求項の数】7
【出願形態】OL
(21)【出願番号】P 2023059743
(22)【出願日】2023-04-03
(71)【出願人】
【識別番号】392026693
【氏名又は名称】株式会社NTTドコモ
(74)【代理人】
【識別番号】110003177
【氏名又は名称】弁理士法人旺知国際特許事務所
(72)【発明者】
【氏名】横野 脩也
(72)【発明者】
【氏名】山添 隆文
(72)【発明者】
【氏名】片岡 敬志郎
【テーマコード(参考)】
5B050
5E555
5L010
5L049
5L050
【Fターム(参考)】
5B050BA12
5B050CA07
5B050DA04
5B050DA05
5B050EA07
5B050EA12
5B050EA13
5B050FA05
5B050FA10
5E555AA25
5E555AA27
5E555AA30
5E555AA61
5E555BA02
5E555BA04
5E555BA38
5E555BB02
5E555BB04
5E555BB38
5E555BC04
5E555BE17
5E555CA42
5E555CA44
5E555CA47
5E555DA08
5E555DA09
5E555DB32
5E555DB53
5E555DC13
5E555DC23
5E555EA05
5E555EA19
5E555FA00
5L010AA11
5L049AA11
5L049CC11
5L050CC11
(57)【要約】
【課題】ユーザが仮想空間においてコミュニケーションを図る状況において、相手にとって好ましくない状態が形成されることを抑制する。
【解決手段】本開示の一態様に係る支援システム5は、第1ユーザU1の操作に応じて動く第1アバターUA1と、第2ユーザU2の操作に応じて動く第2アバターUA2とを含む仮想空間Aの中で第1ユーザU1が第2ユーザU2とコミュニケーションを図る状況に相当する特定状況を検出する特定状況検出部5240と、特定状況における第1ユーザU1の操作によって、第2ユーザU2にとって好ましくない状態が形成される場合に、第1アバターUA1を自動的に調整する制御を実行する自動調整制御部5248と、を備える。
【選択図】図3
【特許請求の範囲】
【請求項1】
第1ユーザの操作に応じて動く第1アバターと、第2ユーザの操作に応じて動く第2アバターとを含む仮想空間の中で前記第1ユーザが前記第2ユーザとコミュニケーションを図る状況に相当する特定状況を検出する特定状況検出部と、
前記特定状況における前記第1ユーザの操作によって、前記第2ユーザにとって好ましくない状態が形成される場合に、前記第1アバターを自動的に調整する制御を実行する自動調整制御部と、
を備える支援システム。
【請求項2】
前記自動調整制御部は、
前記第1アバターの位置、及び動きのいずれかを自動的に調整する
請求項1に記載の支援システム。
【請求項3】
前記自動調整制御部は、
コミュニケーションについての前記第2ユーザの価値観に基づいて、前記第2ユーザにとって好ましくない状態の形成を判定する
請求項1に記載の支援システム。
【請求項4】
前記自動調整制御部は、
前記第2ユーザが視認する前記仮想空間の表示における、前記第1アバターの動き、及び、前記第1アバターに紐付いて出現する仮想的なオブジェクトの少なくとも一方の表示態様に基づいて、前記第2ユーザにとって好ましくない状態の形成を判定する
請求項1に記載の支援システム。
【請求項5】
前記自動調整制御部は、
前記特定状況において前記第2ユーザにとって好ましくない状態を形成する、前記仮想空間の要素を自動的に調整する制御を実行する、
請求項1に記載の支援システム。
【請求項6】
前記特定状況において前記第2ユーザが好むコミュニケーションに係る行動を、前記第1ユーザに提示する制御を実行する提示制御部を備える
請求項1に記載の支援システム。
【請求項7】
前記提示制御部は、
前記特定状況において前記第2ユーザが好むコミュニケーションに係る行動から、前記第1ユーザのパーソナリティに相応しくない行動を除いた残りの行動を提示する
請求項6に記載の支援システム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、支援システムに関する。
【背景技術】
【0002】
ユーザが仮想空間において他のユーザと円滑にコミュニケーションを図ることを支援する技術が知られている(例えば、特許文献1参照)。また、会話によるコミュニケーションにおいて、相手にとって好ましい話題をユーザにアドバイスする技術も知られている(例えば、特許文献2、及び特許文献3参照)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2022-71467号公報
【特許文献2】特許第6616038号公報
【特許文献3】特許第6132378号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
例えばメタバースなどの仮想空間では、ユーザは、自身のアバターを操作して他のユーザとコミュニケーションを図っている。しかしながら、ユーザは、自身のアバターが相手のユーザから視てどのように見えているかを把握し難い。このため、自身のアバターの状態が相手のユーザから視て好ましくない状態であっても、その状態に気付くことが難しく相手の気分を害する虞がある。
この問題は、アバターの状態に限らず、アバターに紐付いて出現する、例えばメッセージ、及びエモートなどの表示の状態にも当てはまる。
【0005】
本開示は、ユーザが仮想空間においてコミュニケーションを図る状況において、相手にとって好ましくない状態が形成されることを抑制できる支援システムを提供することを目的とする。
【課題を解決するための手段】
【0006】
本開示の1つの態様に係る支援システムは、第1ユーザの操作に応じて動く第1アバターと、第2ユーザの操作に応じて動く第2アバターとを含む仮想空間の中で前記第1ユーザが前記第2ユーザとコミュニケーションを図る状況に相当する特定状況を検出する特定状況検出部と、前記特定状況における前記第1ユーザの操作によって、前記第2ユーザにとって好ましくない状態が形成される場合に、前記第1アバターを自動的に調整する制御を実行する自動調整制御部と、を備える。
【発明の効果】
【0007】
本開示の1つの態様によれば、ユーザが仮想空間においてコミュニケーションを図る状況において、相手にとって好ましくない状態が形成されることを抑制できる。
【図面の簡単な説明】
【0008】
図1】本開示の実施形態に係るサービスシステムの構成の一例を示す図である。
図2】ユーザ装置における仮想空間の表示例を模式的に示す図である。
図3】支援装置の電気的構成の一例を示す図である。
図4】学習データの一例を示す図である。
図5】支援装置の動作の一例を示すフローチャートである。
図6】コミュニケーション行動の候補の表示例を模式的に示す図である。
図7】第2ユーザにとって好ましくない状態と、自動調整制御部による自動調整後の第1アバターの状態とについての具体例を示す図である。
【発明を実施するための形態】
【0009】
1.実施形態
図1は、本開示の実施形態に係るサービスシステム1の構成の一例を示す図である。
サービスシステム1は、複数のユーザUのそれぞれが、他のユーザUとの間でコミュニケーションを図ることができる場である仮想空間Aを体験可能にする仮想空間サービスを提供するシステムである。この種の仮想空間Aは「メタバース」とも称される。仮想空間Aについては、後に図2を参照して説明する。
【0010】
ユーザUが仮想空間サービスを利用する場合、ユーザ装置2を使用する。
ユーザ装置2は、通信装置20と、表示装置22と、音声出力装置24と、操作装置26と、音声入力装置28とを備えた情報処理装置である。
通信装置20は、インターネット等のネットワークBにアクセスし、当該ネットワークBを介してサービスシステム1と通信する装置である。表示装置22は仮想空間Aの画像を表示する装置であり、音声出力装置24は仮想空間Aの中の音を出力する装置である。ユーザUは、ユーザ装置2を利用することにより、視覚、及び聴感を通じて仮想空間Aを体験できる。
【0011】
操作装置26は、ユーザUの操作を受け付ける装置である。当該操作には、仮想空間Aにおいて自身のアバターUAを動かす操作が含まれる。また、当該操作には、仮想空間Aにおいて、メッセージ、及びエモートなどを表示させる操作が含まれる。「エモート」は、ユーザUの感情を示す図像である。アバターUA、メッセージ、及びエモートについては、後に図2を参照して説明する。
本実施形態の操作装置26は、ユーザUの動きを検出する検出装置29を含み、検出装置29によって検出されたユーザUの動きを、アバターUAの動きに反映する操作として受け付ける。「ユーザUの動き」は、肢体の動きに限らず、人体の各部の動きを含み、例えば、頭の向き、目の動き、及び、表情変化なども含む。検出装置29がユーザUの動きを検出する手法には、例えば加速度センサ、ジャイロセンサ、光学センサ、及び撮像センサなどを用いた検出手法といった、周知、又は公知の手法が用いられる。
【0012】
音声入力装置28は、ユーザUが発した音声を取得する装置である。仮想空間サービス利用時には、ユーザUの音声が通信装置20からネットワークBを介してサービスシステム1に送られる。サービスシステム1は、ユーザ装置2から送られた音声を、そのユーザUのアバターUAと対応付けて仮想空間A内で出力する。この結果、ユーザUが現実空間において音声を発する行為が、仮想空間Aにおける自身のアバターUAが音声を発する行為として再現される。
【0013】
ユーザ装置2の具体的な形態は、ラップトップ型パーソナルコンピュータ、タブレット型パーソナルコンピュータ、及びスマートフォンなどの携帯型の情報処理装置である。また、他の具体的形態は、デスクトップ型パーソナルコンピュータなどの据置型の装置である。また、他の具体的形態は、ヘッドマウントディスプレイ等のウェアブル型の装置である。
【0014】
図2は、ユーザ装置2における仮想空間Aの表示例を模式的に示す図である。
仮想空間Aは、仮想的なオブジェクトである仮想オブジェクトCを含む空間である。本開示において、仮想オブジェクトCは、ユーザUの仮身を表す上述のアバターUAを含む。複数のユーザUは、それぞれユーザ装置2を操作することにより、仮想空間Aの中で自身のアバターUAを動かすことができ、また、他のユーザUとコミュニケーションを図ることができる。
【0015】
仮想空間Aにおいて、メッセージ、及びエモートなどを表示する仮想オブジェクトCは、ユーザUのアバターUAと視覚的に紐付く形態で出現し、ユーザUは、メッセージ、及びエモートを、他のユーザUとコミュニケーションを図る手段として用いることができる。以下の説明において、メッセージ、及びエモートなどを表示する仮想オブジェクトCを、「情報表示オブジェクトC1」と称する。
【0016】
本実施形態のサービスシステム1は、仮想空間Aの具体的な表示形態として、一人称視点、及び三人称視点を提供する。一人称視点は、ユーザUのアバターUAから視た仮想空間Aの映像がユーザ装置2に表示される形態であり、三人称視点は、アバターUAを含めて仮想空間Aを俯瞰した映像がユーザ装置2に表示される形態である。ユーザUは、一人称視点の表示形態を利用することにより、自身のアバターUAの視点で仮想空間Aを体験できるため、より没入感が高められる。
なお、図2における一人称視点の表示形態には、後述する第1ユーザU1の第1アバターUA1から視た映像が示されている。
【0017】
前掲図1に示すように、本実施形態のサービスシステム1は、上記仮想空間サービスを提供する仮想空間システム3と、仮想空間Aにおける各ユーザUのコミュニケーションを支援する支援システム5と、を含む。
【0018】
仮想空間システム3は、ハードウェア要素として仮想空間サーバ30を備える。仮想空間サーバ30は、サーバコンピュータであり、仮想空間サービスの提供を実現する機能を備える。具体的には、仮想空間サーバ30は、少なくとも次に列挙する機能を備える。1つ目の機能は、ユーザUが自身のアバターUAを作成し、ユーザ装置2の操作によって、そのアバターUAを仮想空間Aの中で動かすことを可能にする機能である。2つ目の機能は、一人称視点、及び三人称視点の表示形態で仮想空間Aをユーザ装置2に表示させる機能である。3つ目の機能は、ユーザUが、自身のアバターUAを通じて他のユーザUとの間でコミュニケーションを図ることを可能にする機能である。4つ目の機能は、支援システム5との間で通信する機能である。5つ目の機能は、支援システム5の指示に応じて仮想空間Aの制御を実行する機能である。仮想空間Aの制御には、アバターUA、及び情報表示オブジェクトC1などの任意の仮想オブジェクトCの表示に係る制御が含まれる。
【0019】
なお、仮想空間サーバ30が備える機能を実現する手法には、周知又は公知の手法が用いられる。仮想空間サーバ30は、2台以上の物理的、又は論理的なコンピュータの組み合せによって実現されてもよい。
【0020】
支援システム5は、ユーザUが仮想空間Aにおいてコミュニケーションを図る状況において、相手のユーザUにとって好ましくない状態が生じることを抑制することにより、円滑なコミュニケーションの実現を支援する支援機能を有するシステムである。本実施形態の支援システム5は、支援装置50を備える。支援装置50は、支援機能を実現するハードウェア要素の一例である。
【0021】
図3は、支援装置50の電気的構成の一例を示す図である。
支援装置50は、第1通信装置520と、第1記憶装置522と、第1制御装置524とを備え、それぞれが相互にデータ送受可能にバス526に接続される。
【0022】
第1通信装置520は、仮想空間サーバ30との間で通信するハードウェアであり、送信回路、及び受信回路を備える。仮想空間システム3との通信に用いられる通信路は、パブリックな通信網である上述のネットワークBでもよいし、LAN(Local Area Network)などの閉域網でもよい。
第1記憶装置522は、第1制御装置524が読み取り可能な記録媒体である。第1記憶装置522は、例えば、不揮発性メモリーと揮発性メモリーとを含む。不揮発性メモリーは、例えば、ROM(Read Only Memory)、EPROM(Erasable Programmable Read Only Memory)、又はEEPROM(Electrically Erasable Programmable Read Only Memory)である。揮発性メモリーは、例えば、RAM(Random Access Memory)である。第1制御装置524は、例えばCPU(Central Processing Unit)などの1つ以上のプロセッサーを含む。第1制御装置524の機能の一部は、DSP(Digital Signal Processor)、ASIC(Application Specific Integrated Circuit)、PLD(Programmable Logic Device)、及びFPGA(Field Programmable Gate Array)等の回路がCPUに代えて、又はCPUと併せて用いられてもよい。
【0023】
本実施形態において、第1記憶装置522は、ユーザ情報D1と、第1プログラムPR1とを記憶する。
ユーザ情報D1は、ユーザUに関する情報を含み、具体的には、ユーザUを一意に識別するユーザID情報D1Aと、そのユーザUのパーソナリティを示す情報であるパーソナリティ情報D1Bと、を含む。パーソナリティ情報D1Bには、例えば、そのユーザUを特徴付ける性質、性格、価値観、及び、そのユーザUの固有の特性などの情報が挙げられる。また、本実施形態のパーソナリティ情報D1Bは、そのユーザUのコミュニケーションについての価値観の情報を少なくとも含む。
【0024】
パーソナリティ情報D1Bを収集する手法は適宜である。例えば、パーソナリティ情報D1Bは、ユーザUに対するアンケートの回答から収集されてもよいし、仮想空間Aにおける各ユーザUのコミュニケーションの状況から収集されてもよい。
また、ユーザ情報D1は、ユーザUの属性を示す属性情報を更に含んでもよい。属性情報の具体例には、年齢層、性別、家族構成、居住地域、職業、趣味、及び嗜好などが挙げられる。
【0025】
第1プログラムPR1は、支援装置50を制御するためのプログラムである。第1制御装置524が、この第1プログラムPR1を実行することにより、特定状況検出部5240、提案AI部5242、フィルタ部5244、提示制御部5246、及び自動調整制御部5248として機能する。以下、これらの機能について詳述する。
【0026】
なお、以下の説明では、2人のユーザUのうち、一方のユーザUが他方のユーザUを相手にコミュニケーションを図るものとし、一方のユーザUを「第1ユーザU1」と称し、他方のユーザUを「第2ユーザU2」と称する。また、第1ユーザU1のアバターUAを「第1アバターUA1」と称し、第2ユーザU2のアバターUAを「第2アバターUA2」と称する。
加えて、第1ユーザU1が仮想空間Aにおいて第2ユーザU2とコミュニケーションを図る状況を「特定状況」と称する。「特定状況」に含まれるタイミングは、第1ユーザU1が第2ユーザU2にコミュニケーションを図っている間のみならず、コミュニケーションが図られる前、及び後のタイミングを含む。コミュニケーションが図られる前のタイミングの一例には、第1ユーザU1の操作に応じて第1アバターUA1が第2アバターUA2にコミュニケーションを図るために近付き始めたタイミングが挙げられる。また、他の一例には、第1ユーザU1が第2アバターUA2に対してエモートを表示させる操作を行ったタイミングが挙げられる。
【0027】
特定状況検出部5240は、第1ユーザU1によるユーザ装置2の操作に基づいて上述の特定状況を検出する機能部である。より具体的には、特定状況検出部5240は、第1ユーザU1が行った操作を仮想空間サーバ30から継続的に取得し、その操作が特定状況を生じさせる操作に該当するか否かを逐次に判断することにより、特定状況を検出する。
【0028】
提案AI部5242は、特定状況検出部5240によって検出された特定状況において、第1ユーザU1が行うコミュニケーションに係る行動として第2ユーザU2が好む行動を出力する機能部である。コミュニケーションに係る行動を、以下、「コミュニケーション行動」と称する。
【0029】
本実施形態の提案AI部5242は、学習済モデル5242Aを備える。学習済モデル5242Aは、第2ユーザU2が好むコミュニケーション行動を特定する手段の一例である。本実施形態の学習済モデル5242Aは、第2ユーザU2のパーソナリティ情報D1Bと、上述の特定状況に関する情報である特定状況情報D2とを入力とし、その特定状況において第2ユーザU2に好まれるコミュニケーション行動の候補D3を出力とするニューラルネットワークであり、学習データD4による機械学習によって予め構築されている。
【0030】
図4は、学習データD4の一例を示す図である。
学習データD4は、仮想空間Aにおいて実際に行われた各ユーザUのコミュニケーションから収集されるデータである。学習データD4の収集は例えば仮想空間サーバ30、又は、支援装置50によって行われる。
【0031】
本実施形態において、学習データD4の1つのデータセットは、第1データD4A、第2データD4B、第3データD4C、及び第4データD4Dを少なくとも含む。
第1データD4Aは、仮想空間Aにおいて実際に行われたコミュニケーションの特定状況を、より具体的に説明するデータである。第1データD4Aの具体例には、会話の話題、及び第1アバターUA1と第2アバターUA2の間の距離が挙げられる。他の具体例には、第2ユーザU2の一人称視点における第1アバターUA1の動き、及び情報表示オブジェクトC1の出現が挙げられる。
【0032】
第2データD4Bは、仮想空間Aにおいて実際に行われたコミュニケーションにおける第2ユーザU2のパーソナリティ情報D1Bを示すデータである。第2データD4Bの具体例には、性質、性格、価値観などが挙げられる。
【0033】
第3データD4Cは、仮想空間Aにおいて実際に行われたコミュニケーションの過程で、第1ユーザU1が行ったコミュニケーション行動のデータである。第3データD4Cの具体例には、第1ユーザU1の発言、メッセージ、及びエモート等の内容、第1アバターUA1と第2アバターUA2の間の距離、並びに、第2ユーザU2のコミュニケーション行動に対する第1ユーザU1のリアクションなどが挙げられる。リアクションには、頷き動作、表情を変化させる動作、ジェスチャー動作、及び、発声などを含む。
【0034】
第4データD4Dは、仮想空間Aにおいて実際に行われたコミュニケーションの過程で、第1ユーザU1のコミュニケーション行動に対し、第2ユーザU2が実際に行ったリアクションをスコアリングすることによって得られた値である。スコアリングは、第2ユーザU2のリアクションと、そのときの状況との一致度に応じて数値化するものであり、スコアリングで得られた値が高いほど、そのときの状況に見合ったリアクションが第2ユーザU2から得られたことを示す。
【0035】
リアクションの一致度は、例えば、次の第1ファクタ、及び第2ファクタなどの各種のファクタを用いて評価される。
第1ファクタは、第1ユーザU1のコミュニケーション行動の後における第2ユーザU2の感情である。例えば、楽しい話題の会話において、第1ユーザU1のコミュニケーション行動後に、第2ユーザU2が喜びの感情を示した場合、感情の度合いに応じた大きさの正の値がスコアリングされる。第2ユーザU2の感情を推定する手法には、公知又は周知の適宜の手法が用いられる。例えば、第2ユーザU2が実際に発する音声、及び、第2ユーザU2の現実の表情などに基づいて感情を推定する手法が用いられてもよい。
第2ファクタは、第1ユーザU1のコミュニケーション行動に対する第2ユーザU2のリアクションの速さである。第2ユーザU2のリアクションが素早いほど、大きな値がスコアリングされる。スコアの正負は、第2ユーザU2のリアクションの内容に応じて決定される。例えば、リアクションの内容が第1ユーザU1のコミュニケーション行動を肯定するものである場合にはスコアの符号は正となり、否定又は拒絶するものである場合には、スコアの符号は負となる。
【0036】
学習データD4のうちの第1データD4A、第2データD4B、及び第3データD4Cを特徴量とし、第4データD4Dの値を最大化する特徴量について機械学習が行われることにより学習済モデル5242Aが構築される。
【0037】
図3に戻り、フィルタ部5244は、提案AI部5242から出力されたコミュニケーション行動の候補D3を、第1ユーザU1のパーソナリティ情報D1Bに基づいてフィルタリングする機能部である。フィルタ部5244のフィルタリングにより、第1ユーザU1のパーソナリティに相応しくないコミュニケーション行動が除かれる。
【0038】
提示制御部5246は、フィルタリングによって残ったコミュニケーション行動の候補D3を、第1ユーザU1に提示する制御を実行する機能部である。具体的には、提示制御部5246は、コミュニケーション行動の候補D3の提示を仮想空間サーバ30に指示し、仮想空間サーバ30が、当該指示に基づいて、コミュニケーション行動の候補D3を第1ユーザU1のユーザ装置2に表示するための制御を実行する。
【0039】
自動調整制御部5248は、特定状況における第1ユーザU1の操作によって第2ユーザU2にとって好ましくない状態が形成される場合に、仮想空間Aに属する要素を自動的に調整することで、その状態の形成を抑制する制御を実行する機能部である。本実施形態の自動調整制御部5248は、仮想空間Aに属する要素として第1アバターUA1を自動的に調整する。なお、「その状態の形成を抑制する」ことには、その状態の形成を未然に回避すること、及び、その状態が形成された後にその状態を解消すること、を含む。
【0040】
第2ユーザU2にとって好ましくない状態が形成される要因の例には、心理的要因と、視覚的要因とが挙げられる。
【0041】
心理的要因は、コミュニケーションに関する第2ユーザU2の価値観に基づく要因である。コミュニケーションについての価値観の例には、パーソナルスペースの大きさ、好きな話題、苦手な話題、談話する際の好みの人数、苦手な人数、談話に用いる好みの場所、苦手な場所、その場所の好みの雰囲気、及び苦手な雰囲気などが挙げられる。係る価値観の情報は、上述の通り、第1記憶装置522のユーザ情報D1に含まれている。
【0042】
視覚的要因は、第2ユーザU2が視認する仮想空間Aの表示における、第1アバターUA1の動き、及び情報表示オブジェクトC1の出現の表示態様に起因する要因である。具体例は、第2ユーザU2が視認する表示において、第1アバターUA1の身体が第1ユーザU1の意図に反して第2アバターUA2と干渉する動きが表示される態様である。他の具体例は、第2ユーザU2が視認する表示において、情報表示オブジェクトC1が他の仮想オブジェクトCに隠れた位置に表示される態様である。
【0043】
本実施形態の自動調整制御部5248は、第1ユーザU1の操作を仮想空間サーバ30から継続的に取得し、その操作が、第2ユーザU2にとって好ましくない状態を形成するか否かを逐次に判断する。この場合において、自動調整制御部5248は、コミュニケーションについての第2ユーザU2の価値観に基づいて、心理的要因の側面からの判断を行い、また、第2ユーザU2が視認する仮想空間Aの表示における第1アバターUA1、又は情報表示オブジェクトC1の表示態様に基づいて、視覚的要因の側面からの判断を行う。
そして、自動調整制御部5248は、第2ユーザU2にとって好ましくない状態が形成される場合に、その状態の形成を抑制するように第1アバターUA1を自動的に調整する。
【0044】
次いで、支援装置50の動作について説明する。
図5は、支援装置50の動作の一例を示すフローチャートである。
支援装置50において、先ず、特定状況検出部5240が、第1ユーザU1の操作を仮想空間サーバ30から継続的に取得し、その操作が特定状況を生じさせる操作であるか否かを逐次に判断することにより、特定状況を検出する(ステップSa1)。
特定状況が検出された場合(ステップSa2:Yes)、提案AI部5242が、第2ユーザU2のパーソナリティ情報D1B、及び特定状況情報D2に基づいて、その特定状況において、第2ユーザU2が好むコミュニケーション行動の候補D3を出力する(ステップSa3)。
【0045】
次に、フィルタ部5244が、コミュニケーション行動の候補D3に対し、第1ユーザU1のパーソナリティ情報D1Bに基づくフィルタリングを行うことにより、第1ユーザU1のパーソナリティに相応しくない行動を、コミュニケーション行動の候補D3から除外する(ステップSa4)。
そして、提示制御部5246が、コミュニケーション行動の候補D3の提示を仮想空間サーバ30に指示する(ステップSa5)。このステップSa5により、第1ユーザU1のユーザ装置2において、第2ユーザU2が好むコミュニケーション行動の候補D3が表示装置22に表示される。
【0046】
図6は、コミュニケーション行動の候補D3の表示例を模式的に示す図である。
第1ユーザU1が使うユーザ装置2において、コミュニケーション行動の候補D3を表示する仮想的なオブジェクトである提案表示オブジェクトC2が表示装置22に表示される。本実施形態の提示制御部5246は、提案表示オブジェクトC2を、第2ユーザU2が使うユーザ装置2には表示せずに、第1ユーザU1が使うユーザ装置2にのみ表示する制御を実行している。したがって、第1ユーザU1は、提案表示オブジェクトC2を確認することで、第2ユーザU2に気付かれることなく、第2ユーザU2が好むコミュニケーション行動を取ることができ、第2ユーザU2にとって好ましくない行動を回避できる。また、提案表示オブジェクトC2に表示されるコミュニケーション行動の候補D3には、第1ユーザU1のパーソナリティに見合わないものが含まれていないため、第1ユーザU1が、どのコミュニケーション行動の候補D3を行った場合でも、第2ユーザU2に違和感を与えることがない。
【0047】
図5に戻り、自動調整制御部5248は、第1ユーザU1の操作を仮想空間サーバ30から継続的に取得し、その操作が、第2ユーザU2にとって好ましくない状態を形成するか否かを判断する(ステップSa6)。図5において、所定状態は、「第2ユーザU2にとって好ましくない状態」を意味する。このステップSa6は、ステップSa2と独立して行われてもよい。すなわち、ステップSa6は、ステップSa2の前、又は、並列的に行われてもよい。
【0048】
第1ユーザU1の操作が第2ユーザU2にとって好ましくない状態を形成する場合(ステップSa6:Yes)、自動調整制御部5248は、その状態を抑制するために第1アバターUA1を自動的に調整する制御を実行する(ステップSa7)。
【0049】
図7は、第2ユーザU2にとって好ましくない状態と、自動調整制御部5248による自動調整後の第1アバターUA1の状態とについての具体例を示す図である。
【0050】
具体例1は、第1アバターUA1と第2アバターUA2とが正対して会話をしている状況を示す。この状況において、第1ユーザU1がコミュニケーション行動の候補D3に視線Eを向ける動作を行った場合、この動作に追従して第1アバターUA1の視線Eの方向も変わり、図示のように、第1アバターUA1の視線Eが第2アバターUA2から逸れた状態となる。この場合、第2ユーザU2の価値観によっては、第2ユーザU2は第1アバターUA1が視線Eを逸らしていることに不快感を覚えることがある。
【0051】
そこで、自動調整制御部5248は、第1アバターUA1の視線Eが第2アバターUA2から逸れる操作が第1ユーザU1によって行われた場合、相手が視線Eを逸らすことを好ましく思わない価値観を第2ユーザU2が有しているときには、当該操作に基づく第1アバターUA1の動きを禁止する指示を仮想空間サーバ30に送る制御を実行する。この結果、第1アバターUA1の視線Eが第2アバターUA2から逸れるという、第2ユーザU2にとって好ましくない状態が形成されることが回避される。
【0052】
具体例2は、第2アバターUA2に話しかけるために、第1アバターUA1が第2アバターUA2に近付く方向に第1ユーザU1の操作によって移動する状況を示す。この状況において、第1アバターUA1が第2ユーザU2のパーソナルスペースに入り込んだ状態になると、第2ユーザU2は、第1アバターUA1の接近に不快感を覚える。
【0053】
そこで、自動調整制御部5248は、第1アバターUA1が第2アバターUA2に近付く操作が第1ユーザU1によって行われた場合、第2ユーザU2のパーソナルスペースに入り込むときには、当該操作に基づく第1アバターUA1の移動を禁止する指示を仮想空間サーバ30に送る制御を実行する。この結果、第1アバターUA1が第2ユーザU2のパーソナルスペースに入り込んだ状態という、第2ユーザU2にとって好ましくない状態が形成されることが回避される。このように、第1アバターUA1と第2アバターUA2との相対的な位置関係によって、第2ユーザU2にとって好ましくない状態が形成されることが回避される。
【0054】
具体例3は、第1ユーザU1の操作によって情報表示オブジェクトC1が表示される状況を示す。第2ユーザU2が視る表示において、情報表示オブジェクトC1が他の仮想オブジェクトCに隠れる位置で出現する場合、第2ユーザU2は情報表示オブジェクトC1を視認できず、第2ユーザU2にとって好ましくない状態となる。特に、第1ユーザU1が一人称視点の表示形態で仮想空間Aを視認している場合、第1ユーザU1は、情報表示オブジェクトC1がどのように第2ユーザU2のユーザ装置2に表示されるかを把握し難いため、情報表示オブジェクトC1が第2ユーザU2から視認し難くなっている事に気がつき難い。
【0055】
そこで、自動調整制御部5248は、第1ユーザU1の操作に加え、第2ユーザU2が利用するユーザ装置2に表示される仮想空間Aの画像も仮想空間サーバ30から順次に取得する。そして、自動調整制御部5248は、情報表示オブジェクトC1が第1ユーザU1の操作に応じて出現する場合、第2ユーザU2が利用するユーザ装置2において、情報表示オブジェクトC1が他の仮想オブジェクトCに隠れて表示されるときには、情報表示オブジェクトC1が隠れない位置に第1アバターUA1を移動する指示を仮想空間サーバ30に送る制御を実行する。
この結果、第2ユーザU2が情報表示オブジェクトC1を視認できないという、第2ユーザU2にとって好ましくない状態が形成されることが回避される。
【0056】
なお、第1ユーザU1の操作によって第1アバターUA1が手を振る等の適宜のジェスチャーを行う場合に、第2ユーザU2が視る表示において、第1アバターUA1の身体が第2アバターUA2に干渉するときには、第2ユーザU2にとって好ましくない状態となる。この場合、自動調整制御部5248は、第2ユーザU2が利用するユーザ装置2において、身体が干渉しない位置に第1アバターUA1を移動する指示を仮想空間サーバ30に送る制御を実行する。
【0057】
以上説明したように、本実施形態の支援システム5は、支援装置50を備える。支援装置50は、第1ユーザU1の操作に応じて動く第1アバターUA1と、第2ユーザU2の操作に応じて動く第2アバターUA2とを含む仮想空間Aの中で第1ユーザU1が第2ユーザU2とコミュニケーションを図る状況に相当する特定状況を検出する特定状況検出部5240と、特定状況における第1ユーザU1の操作によって、第2ユーザU2にとって好ましくない状態が形成される場合に、第1アバターUA1を自動的に調整する制御を実行する自動調整制御部5248と、を備える。
この構成によれば、第2ユーザU2にとって好ましくない状態が形成されることを第1ユーザU1が気付かない場合でも、第1アバターUA1の自動的な調整により、その状態が形成されることを抑制できる。
【0058】
本実施形態の支援装置50において、自動調整制御部5248は、第1アバターUA1の位置、及び動きのいずれかを自動的に調整する。
この構成によれば、例えば第1ユーザU1が一人称視点の表示形態で仮想空間Aを視認することにより、相手の第2アバターUA2との相対的な位置関係を把握し難い場合でも、その位置関係が第2ユーザU2にとって好ましくない状態になることを回避できる。
【0059】
本実施形態の支援装置50において、自動調整制御部5248は、コミュニケーションについての第2ユーザU2の価値観に基づいて、第2ユーザU2にとって好ましくない状態の形成を判断する。
この構成によれば、第2ユーザU2の価値観に反する状態が、第1ユーザU1の操作によって形成されることが回避される。
【0060】
本実施形態の支援装置50において、自動調整制御部5248は、第2ユーザU2が視認する仮想空間Aの表示における、第1アバターUA1の動き、及び、第1アバターUA1に紐付いて出現する仮想的なオブジェクトである情報表示オブジェクトC1の少なくとも一方の表示態様に基づいて、第2ユーザU2にとって好ましくない状態の形成を判断する。
この構成によれば、第2ユーザU2が視認する仮想空間Aの表示において、第1アバターUA1の動き、及び、情報表示オブジェクトC1の少なくとも一方が、第2ユーザU2にとって好ましくない表示態様になることを回避できる。
【0061】
本実施形態の支援装置50は、特定状況において第2ユーザU2が好むコミュニケーションに係る行動を、第1ユーザU1に提示する制御を実行する提示制御部5246を備える。
この構成によれば、第1ユーザU1は、提示制御部5246の提示を確認することで、第2ユーザU2が好むコミュニケーション行動を取ることができ、第2ユーザU2にとって好ましくない行動を回避できる。
【0062】
本実施形態の支援装置50において、提示制御部5246は、特定状況において第2ユーザU2が好むコミュニケーションに係る行動から、第1ユーザU1のパーソナリティに相応しくない行動を除いた残りの行動を提示する。
この構成によれば、第1ユーザU1が、提示制御部5246の提示にしたがった行動を行った場合でも、第2ユーザU2に違和感を与えることがない。
【0063】
2.変形例
以上に例示した実施形態に付加される変形の形態を以下に例示する。
【0064】
(1)上述の実施形態において、自動調整制御部5248は、第1ユーザU1の第1アバターUA1に限らず、特定状況において第2ユーザU2にとって好ましくない状態を形成する、仮想空間Aの各種の要素を自動的に調整する制御を実行してもよい。
仮想空間Aの要素には、例えば、特定状況時の仮想空間Aの場景、背景音楽、他のユーザUのアバターUAの有無などが挙げられる。
【0065】
3:その他
(1)上述した実施形態では、第1記憶装置522としてROM及びRAM等が例示されたが、第1記憶装置522は、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Blu-ray(登録商標)ディスク)、スマートカード、フラッシュメモリデバイス(例えば、カード、スティック、キードライブ)、CD-ROM(Compact Disc-ROM)、レジスタ、リムーバブルディスク、ハードディスク、フロッピー(登録商標)ディスク、磁気ストリップ、データベース、サーバその他の適切な記憶媒体であってもよい。
【0066】
(2)上述した実施形態において、説明した情報、信号等は、様々な異なる技術の何れかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップ等は、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。
【0067】
(3)上述した実施形態において、入出力された情報等は特定の場所(例えば、メモリ)に保存されてもよいし、管理テーブルを用いて管理してもよい。入出力される情報等は、上書き、更新、又は追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。
【0068】
(4)上述した実施形態において、判断は、1ビットで表される値(0か1か)によって行われてもよいし、真偽値(Boolean:true又はfalse)によって行われてもよいし、数値の比較(例えば、所定の値との比較)によって行われてもよい。
【0069】
(5)上述した実施形態において例示した処理手順、シーケンス、フローチャート等は、矛盾の無い限り、順序が入れ替えられてもよい。例えば、本開示において説明した方法については、例示的な順序を用いて様々なステップの要素が提示されており、提示された特定の順序に限定されない。
【0070】
(6)実施形態で参照した1又は複数の図に例示された各機能は、ハードウェア及びソフトウェアの少なくとも一方の任意の組み合わせによって実現される。また、各機能ブロックの実現方法は特に限定されない。すなわち、各機能ブロックは、物理的又は論理的に結合した1つの装置を用いて実現されてもよいし、物理的又は論理的に分離した2つ以上の装置を直接的又は間接的に(例えば、有線、無線等を用いて)接続し、これら複数の装置を用いて実現されてもよい。機能ブロックは、上記1つの装置又は上記複数の装置にソフトウェアを組み合わせて実現されてもよい。
【0071】
(7)上述した実施形態で例示したプログラムは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称で呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能等を意味するよう広く解釈されるべきである。
【0072】
また、ソフトウェア、命令、情報等は、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、有線技術(同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線(DSL:Digital Subscriber Line)等)及び無線技術(赤外線、マイクロ波等)の少なくとも一方を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び無線技術の少なくとも一方は、伝送媒体の定義内に含まれる。
【0073】
(8)前述の各形態において、「システム」及び「ネットワーク」という用語は、互換的に使用される。
【0074】
(9)本開示において説明した情報、パラメータ等は、絶対値を用いて表されてもよいし、所定の値からの相対値を用いて表されてもよいし、対応する別の情報を用いて表されてもよい。
【0075】
(10)上述した実施形態において、「接続された(connected)」、「結合された(coupled)」という用語、又はこれらのあらゆる変形は、2又はそれ以上の要素間の直接的又は間接的なあらゆる接続又は結合を意味し、互いに「接続」又は「結合」された2つの要素間に1又はそれ以上の中間要素が存在することを含むことができる。要素間の結合又は接続は、物理的なものであっても、論理的なものであっても、或いはこれらの組み合わせであってもよい。例えば、「接続」は、「アクセス」で読み替えられてもよい。本開示で使用する場合、2つの要素は、1又はそれ以上の電線、ケーブル及びプリント電気接続の少なくとも一つを用いて、並びにいくつかの非限定的かつ非包括的な例として、無線周波数領域、マイクロ波領域及び光(可視及び不可視の両方)領域の波長を有する電磁エネルギー等を用いて、互いに「接続」又は「結合」されると考えることができる。
【0076】
(11)上述した実施形態において、「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。
【0077】
(12)本開示で使用する「判断(determining)」、「決定(determining)」という用語は、多種多様な動作を包含する場合がある。「判断」、「決定」は、例えば、判断(judging)、計算(calculating)、算出(computing)、処理(processing)、導出(deriving)、調査(investigating)、探索(looking up、search、inquiry)(例えば、テーブル、データベース又は別のデータ構造での探索)、確認(ascertaining)した事を「判断」「決定」したとみなす事等を含み得る。また、「判断」、「決定」は、受信(receiving)(例えば、情報を受信すること)、送信(transmitting)(例えば、情報を送信すること)、入力(input)、出力(output)、アクセス(accessing)(例えば、メモリ中のデータにアクセスすること)した事を「判断」「決定」したとみなす事等を含み得る。また、「判断」、「決定」は、解決(resolving)、選択(selecting)、選定(choosing)、確立(establishing)、比較(comparing)等した事を「判断」「決定」したとみなす事を含み得る。つまり、「判断」「決定」は、何らかの動作を「判断」「決定」したとみなす事を含み得る。また、「判断(決定)」は、「想定する(assuming)」、「期待する(expecting)」、「みなす(considering)」等で読み替えられてもよい。
【0078】
(13)上述した実施形態において、「含む(include)」、「含んでいる(including)」及びそれらの変形が使用されている場合、これらの用語は、用語「備える(comprising)」と同様に、包括的であることが意図される。更に、本開示において使用されている用語「又は(or)」は、排他的論理和ではないことが意図される。
【0079】
(14)本開示において、例えば、英語でのa, an及びtheのように、翻訳により冠詞が追加された場合、本開示は、これらの冠詞の後に続く名詞が複数形であることを含んでもよい。
【0080】
(15)本開示において、「AとBが異なる」という用語は、「AとBが互いに異なる」ことを意味してもよい。なお、当該用語は、「AとBが夫々Cと異なる」ことを意味してもよい。「離れる」、「結合される」等の用語も、「異なる」と同様に解釈されてもよい。
【0081】
(16)本開示において説明した各態様/実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知(例えば、「Xであること」の通知)は、明示的に行うものに限られず、暗黙的(例えば、当該所定の情報の通知を行わない)ことによって行われてもよい。
【符号の説明】
【0082】
1…サービスシステム、2…ユーザ装置、3…仮想空間システム、5…支援システム、30…仮想空間サーバ、50…支援装置、520…第1通信装置、522…第1記憶装置、524…第1制御装置、5240…特定状況検出部、5242…提案AI部、5242A…学習済モデル、5244…フィルタ部、5246…提示制御部、5248…自動調整制御部、A…仮想空間、C…仮想オブジェクト、C1…情報表示オブジェクト、C2…提案表示オブジェクト、D1…ユーザ情報、D1A…ユーザID情報、D1B…パーソナリティ情報、D2…特定状況情報、D3…コミュニケーション行動の候補、E…視線、U…ユーザ、U1…第1ユーザ、U2…第2ユーザ、UA…アバター、UA1…第1アバター、UA2…第2アバター。
図1
図2
図3
図4
図5
図6
図7