特許 7622728 情報処理システム及び情報処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-01-20

(45)【発行日】2025-01-28

(54)【発明の名称】情報処理システム及び情報処理方法

(51)【国際特許分類】

   G06F 3/01 20060101AFI20250121BHJP

   G06T 19/00 20110101ALI20250121BHJP

   G06F 3/0481 20220101ALI20250121BHJP

   G06F 3/0346 20130101ALI20250121BHJP

   G06F 15/00 20060101ALN20250121BHJP

【ＦＩ】

G06F3/01 510

G06T19/00 A

G06F3/0481

G06F3/0346 421

G06F15/00 410Z

【請求項の数】 4

(21)【出願番号】P 2022212670

(22)【出願日】2022-12-28

(65)【公開番号】P2024095397

(43)【公開日】2024-07-10

【審査請求日】2024-03-11

(73)【特許権者】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】230118913

【弁護士】

【氏名又は名称】杉村 光嗣

(74)【代理人】

【識別番号】100139491

【弁理士】

【氏名又は名称】河合 隆慶

(74)【代理人】

【氏名又は名称】石井 裕充

(72)【発明者】

【氏名】加来 航

【審査官】伊藤 昭治

(56)【参考文献】

【文献】特開２０２２－１０９０４８（ＪＰ，Ａ）

【文献】特開２０１４－２２５８０１（ＪＰ，Ａ）

【文献】特開２０１７－０７６２０２（ＪＰ，Ａ）

【文献】特開２０２１－１５２７８５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０３４６

Ｇ０６Ｆ ３／０４８ － ３／０４８９５

Ｇ０６Ｔ １９／００

Ｈ０４Ｎ ７／１５

(57)【特許請求の範囲】

【請求項1】

複数のユーザのそれぞれから所定の距離に位置する複数の端末装置を含む情報処理システムであって、
前記複数の端末装置は、第１ユーザから所定の距離に位置する第１端末装置と、第２ユーザから所定の距離に位置する第２端末装置と、第３ユーザから所定の距離に位置する第３端末装置とを含み、
前記複数の端末装置のそれぞれは、他の各ユーザの画像を表示部に表示し、
前記第１端末装置は、前記第１ユーザと、前記第１端末装置の表示部での第２ユーザと、の間の第１距離情報を検出して前記第３端末装置に送信し、
前記第３端末装置は、前記第３端末装置の表示部での前記第１ユーザと前記第２ユーザとの間の距離情報を、前記第１端末装置から送信される前記第１距離情報に基づいて調整し、
前記第３端末装置は、前記第１端末装置から送信される前記第１距離情報が短いほど、前記第３端末装置の表示部で、前記第１ユーザと前記第２ユーザとの間の距離情報を短く調整する、
情報処理システム。

【請求項2】

請求項１に記載の情報処理システムにおいて、
前記第２端末装置は、前記第２ユーザと、前記第２端末装置の表示部での前記第１ユーザとの間の第２距離情報を検出して前記第３端末装置に送信し、
前記第３端末装置は、前記第１端末装置から送信される前記第１距離情報と、前記第２距離情報との合計距離に基づいて、前記第３端末装置の表示部で前記第１ユーザと前記第２ユーザとの間の距離を調整する、
情報処理システム。

【請求項3】

請求項１に記載の情報処理システムにおいて、
前記第１端末装置は、前記第１ユーザが表示部での前記第２ユーザに注目している間に限り、前記第１距離情報の検出及び送信を行う、情報処理システム。

【請求項4】

複数のユーザのそれぞれから所定の距離に位置する複数の端末装置による情報処理方法であって、
前記複数の端末装置は、第１ユーザから所定の距離に位置する第１端末装置と、第２ユーザから所定の距離に位置する第２端末装置と、第３ユーザから所定の距離に位置する第３端末装置とを含み、
前記複数の端末装置のそれぞれが、他の各ユーザの画像を表示部に表示することと、
前記第１端末装置が、前記第１ユーザと、前記第１端末装置の表示部での第２ユーザと、の間の第１距離情報を検出して前記第３端末装置に送信することと、
前記第３端末装置は、前記第３端末装置の表示部での前記第１ユーザと前記第２ユーザとの間の距離情報を、前記第１端末装置から送信される前記第１距離情報に基づいて調整することと、
前記第３端末装置は、前記第１端末装置から送信される前記第１距離情報が短いほど、前記第３端末装置の表示部で、前記第１ユーザと前記第２ユーザとの間の距離情報を短く調整することと、
を含む情報処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、情報処理システム及び情報処理方法に関する。

【背景技術】

【0002】

従来、第２端末が、第１ユーザに対応する第１アバターと、第２ユーザに対応する第２アバターとを含む仮想空間を表示し、選択された動作パターンに基づいて第１アバターを動作させ、第２ユーザを映した第２映像データに基づいて第２アバターを動作させる技術が知られている（例えば特許文献１）。

【先行技術文献】

【特許文献】

【0003】

【文献】国際公開第2020/203999号

【発明の概要】

【発明が解決しようとする課題】

【0004】

ユーザが直接対話を行う場合には、言語コミュニケーションに加え、非言語コミュニケーションも同時に行われる。しかしながら対話相手が画面に固定的に表示される遠隔での対話において十分なコミュニケーションを行うには改善の余地がある。

【0005】

かかる事情に鑑みてなされた本開示の目的は、発話以外の非言語コミュニケーションを促進し、円滑な対話を可能とすることにある。

【課題を解決するための手段】

【0006】

本開示の一実施形態に係る情報処理システムは、
複数のユーザのそれぞれから所定の距離に位置する複数の端末装置を含む情報処理システムであって、
前記複数の端末装置は、第１ユーザから所定の距離に位置する第１端末装置と、第２ユーザから所定の距離に位置する第２端末装置と、第３ユーザから所定の距離に位置する第３端末装置とを含み、
前記複数の端末装置のそれぞれは、他の各ユーザの画像を表示部に表示し、
前記第１端末装置は、前記第１ユーザと、前記第１端末装置の表示部での第２ユーザと、の間の第１距離情報を検出して前記第３端末装置に送信する。

【0007】

本開示の一実施形態に係る情報処理方法は、
複数のユーザのそれぞれから所定の距離に位置する複数の端末装置による情報処理方法であって、
前記複数の端末装置は、第１ユーザから所定の距離に位置する第１端末装置と、第２ユーザから所定の距離に位置する第２端末装置と、第３ユーザから所定の距離に位置する第３端末装置とを含み、
前記複数の端末装置のそれぞれが、他の各ユーザの画像を表示部に表示することと、
前記第１端末装置が、前記第１ユーザと、前記第１端末装置の表示部での第２ユーザと、の間の第１距離情報を検出して前記第３端末装置に送信することと、
を含む。

【発明の効果】

【0008】

本開示の一実施形態によれば、発話以外の非言語コミュニケーションを促進し、円滑な対話を可能とすることができる。

【図面の簡単な説明】

【0009】

【図1】情報処理システムの概略図である。

【図2】第１端末装置の構成を示すブロック図である。

【図3】遠隔対話の第１の場面を示すブロック図である。

【図4】遠隔対話の第２の場面を示すブロック図である。

【図5】遠隔対話の第３の場面を示すブロック図である。

【図6】情報処理システムにて実行される動作を示すシーケンス図である。

【発明を実施するための形態】

【0010】

図１は、本実施形態の情報処理システムＳの概略図である。情報処理システムＳは、ネットワークＮＷを介して互いに通信可能な第１端末装置１、第２端末装置２、及び第３端末装置３を含む。ネットワークＮＷは、例えば、移動体通信網、固定通信網、又はインターネットを含む。第１端末装置１は第１ユーザＰ１によって使用される。第２端末装置２は第２ユーザＰ２によって使用される。第３端末装置３は第３ユーザＰ３によって使用される。第１端末装置１、第２端末装置２、及び第３端末装置３のそれぞれは、第１ユーザＰ１、第２ユーザＰ２、及び第３ユーザＰ３のそれぞれから所定の距離に位置する。

【0011】

図１では説明の簡便のため、端末装置は３つ図示される。しかし、端末装置の数はこれに限られない。

【0012】

図２を参照して第１端末装置１の内部構成が詳細に説明される。

【0013】

第１端末装置１は、ＰＣなどの汎用機器、又は専用機器であってよい。「ＰＣ」は、personal computerの略語である。代替例として第１端末装置１は、携帯電話機、スマートフォン、ウェアラブル機器、若しくはタブレットなどのモバイル機器であってよい。

【0014】

第１端末装置１は、制御部１１と通信部１２と記憶部１３と表示部１４と入力部１５と撮像部１６とセンサ１７とを含む。第１端末装置１の各構成要素は、例えば専用線を介して互いに通信可能に接続される。

【0015】

制御部１１は例えば、ＣＰＵ（Central Processing Unit）又はＭＰＵ（Micro Processing Unit）を含む１つ以上の汎用プロセッサを含む。制御部１１は、特定の処理に特化した１つ以上の専用プロセッサを含んでよい。制御部１１は、プロセッサを含む代わりに、１つ以上の専用回路を含んでもよい。専用回路は例えば、ＦＰＧＡ（Field-Programmable Gate Array）、又はＡＳＩＣ（Application Specific Integrated Circuit）であってよい。制御部１１は、ＥＣＵ（Electronic Control Unit）を含んでもよい。制御部１１は通信部１２を介して、任意の情報を送信及び受信する。

【0016】

通信部１２は、ネットワークＮＷに接続するための、１つ以上の有線又は無線ＬＡＮ（Local Area Network）規格に対応する通信モジュールを含む。通信部１２は、ＬＴＥ（Long Term Evolution）、４Ｇ（4th Generation）、又は５Ｇ（5th Generation）を含む１つ以上の移動体通信規格に対応するモジュールを含んでよい。通信部１２は、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＡｉｒＤｒｏｐ（登録商標）、ＩｒＤＡ、ＺｉｇＢｅｅ（登録商標）、Ｆｅｌｉｃａ（登録商標）、又はＲＦＩＤを含む１つ以上の近距離通信の規格又は仕様に対応する通信モジュール等を含んでよい。通信部１２は、ネットワークＮＷを介して任意の情報を送信及び受信する。

【0017】

記憶部１３は、例えば半導体メモリ、磁気メモリ、光メモリ、又はこれらのうち少なくとも２種類の組み合わせが含まれるが、これらに限られない。半導体メモリは、例えば、ＲＡＭ又はＲＯＭである。ＲＡＭは、例えば、ＳＲＡＭ又はＤＲＡＭである。ＲＯＭは、例えば、ＥＥＰＲＯＭである。記憶部１３は、例えば主記憶装置、補助記憶装置、又はキャッシュメモリとして機能してもよい。記憶部１３は、制御部１１によって分析又は処理された結果の情報を記憶してよい。記憶部１３は、第１端末装置１の動作又は制御に関する各種情報等を記憶してよい。記憶部１３は、システムプログラム、アプリケーションプログラム、及び組み込みソフトウェア等を記憶してよい。記憶部１３は第１端末装置１の外部に設けられて、第１端末装置１からアクセスされてよい。

【0018】

表示部１４は例えば、ディスプレイである。ディスプレイは、例えば、ＬＣＤ又は有機ＥＬディスプレイである。「ＬＣＤ」は、liquid crystal displayの略語である。「ＥＬ」は、electro luminescenceの略語である。表示部１４は、第１端末装置１に備えられる代わりに、外部の出力機器として第１端末装置１に接続されてもよい。接続方式としては、例えば、ＵＳＢ、ＨＤＭＩ（登録商標）、又はBluetooth（登録商標）等の任意の方式を用いることができる。

【0019】

入力部１５は例えば、物理キー、静電容量キー、ポインティングデバイス、ディスプレイと一体的に設けられたタッチスクリーン、又はマイクである。入力部１５は、第１端末装置１の動作に用いられる情報を入力する操作を受け付ける。入力部１５は、第１端末装置１に備えられる代わりに、外部の入力機器として第１端末装置１に接続されてもよい。接続方式としては、例えば、ＵＳＢ、ＨＤＭＩ（登録商標）、又はBluetooth（登録商標）等の任意の方式を用いることができる。「ＵＳＢ」は、Universal Serial Busの略語である。「ＨＤＭＩ（登録商標）」は、High-Definition Multimedia Interfaceの略語である。

【0020】

撮像部１６はカメラを含む。撮像部１６は周囲を撮像することができる。撮像部１６は画像解析のために、撮像した画像を記憶部１３に記録し又は制御部１１に送信してよい。画像は静止画又は動画を含む。

【0021】

センサ１７は例えば測距センサであってよい。撮像部１６とセンサ１７とは外付けでもよい。この場合、例えば撮像部１６とセンサ１７とは、第１端末装置１との位置関係がわかれば、本実施形態の要件を満たす。

【0022】

第２端末装置２は、制御部２１と通信部２２と記憶部２３と表示部２４と入力部２５と撮像部２６とセンサ２７とを含む。第３端末装置３は、制御部３１と通信部３２と記憶部３３と表示部３４と入力部３５と撮像部３６とセンサ３７とを含む。第２端末装置２及び第３端末装置３のそれぞれのハードウェア構成についての説明は、第１端末装置１のハードウェア構成についての説明と同一であってよい。ここでの説明は省略される。

【0023】

以下、情報処理システムＳにおいて実行される情報処理方法が詳細に説明される。ここでは一例として、それぞれ異なる場所に位置する第１ユーザＰ１と第２ユーザＰ２と第３ユーザＰ３とが、情報処理システムＳを用いて対話を行う。一例として、対話は遠隔対話である。対話を行う人数は複数であれば何人でもよい。各ユーザの端末装置は、撮像部２６により、端末装置を使用するユーザの画像を撮像し、撮像画像を他のユーザの端末装置に逐次送信する。各ユーザの端末装置は、遠隔対話の実行中、他の各ユーザの画像（例えば３Ｄモデル）を表示部に表示する。図３に示されるように、第３ユーザＰ３の第３端末装置３では、表示部３４に、第１ユーザＰ１と第２ユーザＰ２とが表示される。図３では、第２ユーザＰ２と第３ユーザＰ３との視線が合っている。このため図４においても、第２ユーザＰ２の視線Ｐ２ｅと第３ユーザＰ３の視線Ｐ３ｅとが合っている。

【0024】

図４に示されるように、第１ユーザＰ１は視線Ｐ１ｅに沿って第２ユーザＰ２を見ながら、矢印Ａ１の方向に、第２ユーザＰ２に近づく。第１端末装置１の制御部１１は、センサ１７を用いて、第１ユーザＰ１の位置（例えば第１ユーザＰ１の顔の位置）と、表示部１４での第２ユーザＰ２の３Ｄモデルの位置との間の第１距離を示す第１距離情報を逐次検出する。第１端末装置１の制御部１１は、検出された第１距離情報を、第３ユーザＰ３の第３端末装置３に逐次送信する。

【0025】

代替例として、第１端末装置１は、第１ユーザＰ１が表示部１４での第２ユーザＰ２に注目している間（すなわち、第１ユーザＰ１の視線又は顔が表示部１４での第２ユーザＰ２に向けられている間）に限り、第１ユーザＰ１の位置と第２ユーザＰ２の表示部１４での位置との間の第１距離情報の検出及び送信を行ってもよい。すなわち第１端末装置１は、第１ユーザＰ１が第２ユーザＰ２に注目していない間は、第１距離情報の検出及び送信を行わない。

【0026】

第３ユーザＰ３の第３端末装置３の制御部３１は、第１ユーザＰ１の３Ｄモデルと第２ユーザＰ２の３Ｄモデルとの間の表示部３４での距離を示す距離情報を、第１端末装置１から逐次送信される第１距離情報に基づいて調整する。調整とは、距離を短くすること又は距離を長くすることである。このため、図４のように第１ユーザＰ１が矢印Ａ１の方向に第２ユーザＰ２に近づくことに伴い、図５において、第３端末装置３でも、第１ユーザＰ１が矢印Ａ１の方向に第２ユーザＰ２に近づく。例えば制御部３１は、第１ユーザＰ１の位置と第２ユーザＰ２の３Ｄモデルとの間の第１距離情報が増減した割合（例えば１０％減少）に応じて、表示部３４での第１ユーザＰ１の３Ｄモデルと第２ユーザＰ２の３Ｄモデルとの間の距離情報を増減（例えば１０％減少）させてよい。第３端末装置３の制御部３１は、第１端末装置１から送信される第１距離情報が短いほど、表示部３４で、第１ユーザＰ１と第２ユーザＰ２との間の距離情報を短く調整してよい。代替例として、制御部３１は、第１距離情報が増減した値に応じて、表示部３４での第１ユーザＰ１の３Ｄモデルと第２ユーザＰ２の３Ｄモデルとの間の距離情報を増減させてよい。

【0027】

追加例として、第２端末装置２は、第２ユーザＰ２の位置と、第２端末装置２の表示部２４での第１ユーザＰ１の位置との間の第２距離を示す第２距離情報を逐次検出して第３端末装置３に送信してもよい。この場合、第３端末装置３は、第１端末装置１から逐次送信される第１距離情報と、第２端末装置２から逐次送信される第２距離情報との合計距離に基づいて、表示部３４で、第１ユーザＰ１と第２端末装置２の間の距離情報を調整してもよい。例えば制御部３１は、合計距離が増減した割合（例えば１０％減少）に合わせて、表示部３４での第１ユーザＰ１の３Ｄモデルと第２ユーザＰ２の３Ｄモデルとの間の距離情報を増減（例えば１０％減少）させてよい。

【0028】

上記実施形態では、第１ユーザＰ１が第２ユーザＰ２に近づき、第３ユーザＰ３の第３端末装置３にて距離情報が調整される場合が説明される。しかし第１ユーザＰ１と第２ユーザＰ２と第３ユーザＰ３とは、任意に入れ替え可能である。

【0029】

図６を参照して、情報処理システムＳにより任意の時点で実行される情報処理方法が説明される。

【0030】

ステップＳ１にて第１端末装置１は第１ユーザＰ１を撮像する。ステップＳ２にて第１端末装置１は、撮像画像を第３端末装置３に送信する。

【0031】

ステップＳ３にて第２端末装置２は第２ユーザＰ２を撮像する。ステップＳ４にて第２端末装置２は、撮像画像を第３端末装置３に送信する。ステップＳ３及びステップＳ４は、ステップＳ１及びステップＳ２よりも前に実行されてよい。

【0032】

ステップＳ５にて第３端末装置３は、受信された撮像画像に応じて、第１ユーザＰ１の３Ｄモデルと第２ユーザＰ２の３Ｄモデルとを表示部３４に表示する。

【0033】

ステップＳ６にて第１端末装置１は、第１ユーザＰ１と、表示部１４での第２ユーザＰ２との間の第１距離情報を検出する。ステップＳ７にて第１端末装置１は第１距離情報を第３端末装置３に送信する。

【0034】

ステップＳ８にて第３端末装置３は、第３端末装置３の表示部３４での第１ユーザＰ１と第２ユーザＰ２との間の距離を示す距離情報を、第１端末装置１から送信される第１距離情報に基づいて調整する。

【0035】

以上述べたように本実施形態によれば、第３端末装置３は、第３端末装置３の表示部１４での第１ユーザＰ１と第２ユーザＰ２との間の距離情報を、第１端末装置１から送信される第１距離情報に基づいて調整する。この構成により、情報処理システムＳは、第３ユーザＰ３が、第１ユーザＰ１と第２ユーザＰ２との間の距離の変化（ゆらぎ）を視認することを可能とする。もって情報処理システムＳは、発話以外の非言語コミュニケーションを促進し、円滑な対話を可能とする。

【0036】

また本実施形態によれば、第３端末装置３は、第１端末装置１から送信される第１距離情報が短いほど、第３端末装置３の表示部１４で、第１ユーザＰ１と第２ユーザＰ２との間の距離情報を短く調整する。この構成により、例えば第１ユーザＰ１が表示部１４での第２ユーザＰ２に近づいたり離れたりするとき、第３ユーザは、表示部３４に表示されている第１ユーザＰ１と第２ユーザＰ２と間の距離が短くなったり長くなったりすることを視認できる。もって情報処理システムＳは、第３ユーザＰ３に、第１ユーザＰ１の第２ユーザＰ２に対する距離感を理解しやすくさせることができる。

【0037】

また本実施形態によれば、第３端末装置３は、第１端末装置１から送信される第１距離情報と、第２端末装置２から送信される第２距離情報との合計距離に基づいて、第３端末装置３の表示部３４で第１ユーザＰ１と第２ユーザＰ２との間の距離情報を調整する。この構成により情報処理システムＳは、第３ユーザＰ３に、第１ユーザＰ１及び第２ユーザＰ２の互いに対する距離感を理解しやすくさせることができる。

【0038】

また本実施形態によれば、第１端末装置１は、第１ユーザＰ１が表示部１４での第２ユーザＰ２に注目している間に限り、第１距離情報の検出及び送信を行う。この構成により情報処理システムＳは、例えば第１ユーザＰ１が第２ユーザＰ２とは無関係に姿勢を変化させた場合等に、第３端末装置３の表示部３４で第１ユーザＰ１と第２ユーザＰ２との間の距離が変化してしまう可能性を低減することができる。

【0039】

本開示が諸図面及び実施例に基づき説明されるが、当業者であれば本開示に基づき種々の変形及び改変を行ってもよいことに注意されたい。その他、本開示の趣旨を逸脱しない範囲での変更が可能である。例えば、各手段又は各ステップに含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の手段又はステップを１つに組み合わせたり、或いは分割したりすることが可能である。

【0040】

例えば、上記の実施形態において、第１端末装置１、第２端末装置２、又は第３端末装置３の機能又は処理の全部又は一部を実行するプログラムは、コンピュータで読取り可能な記録媒体に記録しておくことができる。コンピュータで読取り可能な記録媒体は、非一時的なコンピュータ読取可能な媒体を含み、例えば、磁気記録装置、光ディスク、光磁気記録媒体、又は半導体メモリである。プログラムの流通は、例えば、プログラムを記録したＤＶＤ（Digital Versatile Disc）又はＣＤ－ＲＯＭ（Compact Disc Read Only Memory）などの可搬型記録媒体を販売、譲渡、又は貸与することによって行う。またプログラムの流通は、プログラムを任意のサーバのストレージに格納しておき、任意のサーバから他のコンピュータにプログラムを送信することにより行ってもよい。またプログラムはプログラムプロダクトとして提供されてもよい。本開示は、プロセッサが実行可能なプログラムとしても実現可能である。

【0041】

コンピュータは、例えば、可搬型記録媒体に記録されたプログラム又はサーバから転送されたプログラムを、一旦、主記憶装置に格納する。そして、コンピュータは、主記憶装置に格納されたプログラムをプロセッサで読み取り、読み取ったプログラムに従った処理をプロセッサで実行する。コンピュータは、可搬型記録媒体から直接プログラムを読み取り、プログラムに従った処理を実行してもよい。コンピュータは、コンピュータにサーバからプログラムが転送される度に、逐次、受け取ったプログラムに従った処理を実行してもよい。サーバからコンピュータへのプログラムの転送は行わず、実行指示及び結果取得のみによって機能を実現する、いわゆるＡＳＰ型のサービスによって処理を実行してもよい。「ＡＳＰ」は、application service providerの略語である。プログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるものが含まれる。例えば、コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータは、「プログラムに準ずるもの」に該当する。

【符号の説明】

【0042】

Ｓ 情報処理システム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】