IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社 資生堂の特許一覧

<>
  • 特開-情報処理装置及びプログラム 図1
  • 特開-情報処理装置及びプログラム 図2
  • 特開-情報処理装置及びプログラム 図3
  • 特開-情報処理装置及びプログラム 図4
  • 特開-情報処理装置及びプログラム 図5
  • 特開-情報処理装置及びプログラム 図6
  • 特開-情報処理装置及びプログラム 図7
  • 特開-情報処理装置及びプログラム 図8
  • 特開-情報処理装置及びプログラム 図9
  • 特開-情報処理装置及びプログラム 図10
  • 特開-情報処理装置及びプログラム 図11
  • 特開-情報処理装置及びプログラム 図12
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022176415
(43)【公開日】2022-11-29
(54)【発明の名称】情報処理装置及びプログラム
(51)【国際特許分類】
   H04N 7/15 20060101AFI20221121BHJP
   G10L 25/63 20130101ALI20221121BHJP
   G06F 3/0481 20220101ALI20221121BHJP
   G06T 13/80 20110101ALI20221121BHJP
   G06T 7/00 20170101ALI20221121BHJP
   G06T 1/00 20060101ALI20221121BHJP
【FI】
H04N7/15 170
G10L25/63
G06F3/0481
G06T13/80 A
G06T7/00 660A
G06T1/00 340A
【審査請求】未請求
【請求項の数】16
【出願形態】OL
(21)【出願番号】P 2019202887
(22)【出願日】2019-11-08
(71)【出願人】
【識別番号】000001959
【氏名又は名称】株式会社 資生堂
(74)【代理人】
【識別番号】230116816
【弁護士】
【氏名又は名称】成川 弘樹
(74)【代理人】
【識別番号】100146123
【弁理士】
【氏名又は名称】木本 大介
(72)【発明者】
【氏名】丸山 貴司
【テーマコード(参考)】
5B050
5B057
5C164
5E555
5L096
【Fターム(参考)】
5B050AA10
5B050BA08
5B050BA12
5B050CA05
5B050CA07
5B050FA10
5B057BA02
5B057BA04
5B057CA08
5B057CA12
5B057CA16
5B057CB08
5B057CB12
5B057CB16
5B057DA20
5B057DB02
5B057DB09
5C164FA09
5C164FA10
5C164SB41S
5C164TA08S
5C164VA13S
5C164VA35P
5C164VA51S
5C164YA12
5E555AA46
5E555AA47
5E555AA48
5E555AA61
5E555AA71
5E555BA02
5E555BA76
5E555BB02
5E555BB05
5E555BB06
5E555BC04
5E555BC09
5E555BD07
5E555CA42
5E555CA47
5E555CB45
5E555CB64
5E555CB74
5E555CB81
5E555DA23
5E555DB41
5E555DB53
5E555DB57
5E555DD07
5E555EA03
5E555EA05
5E555EA20
5E555EA22
5E555EA23
5E555FA00
5L096AA06
5L096BA16
5L096CA02
(57)【要約】      (修正有)
【課題】複数のユーザの会話を促進する。
【解決手段】情報処理システム1において、ホスト装置30は、第1ユーザの第1顔画像及び第1音声を取得し、第2ユーザの第2顔画像及び第2音声を取得し、第1顔画像に基づいて、第1ユーザU1の第1予測顔画像を生成し、第2顔画像に基づいて、第2ユーザU2の第2予測顔画像を生成し、第1予測顔画像を、第2クライアント装置を介して第2ユーザに提示する手段と、第2予測顔画像を、第1クライアント装置を介して第1ユーザに提示する手段と、第1ユーザ及び第2ユーザの少なくとも1人に対して発話を促すメッセージを生成する手段と、第1ユーザ及び第2ユーザの少なくとも1人に対してメッセージを提示する手段と、メッセージに応じた第2音声を、第1クライアント装置を介して第1ユーザに提示する手段と、メッセージに応じた第1音声を、第2クライアント装置を介して第2ユーザに提示する手段と、を備える。
【選択図】図5
【特許請求の範囲】
【請求項1】
複数のユーザの会話を支援する情報処理装置であって、
第1ユーザの第1顔画像を取得する手段を備え、
前記第1ユーザの第1音声を取得する手段を備え、
第2ユーザの第2顔画像を取得する手段を備え、
前記第2ユーザの第2音声を取得する手段を備え、
前記第1顔画像に基づいて、前記第1ユーザの年齢から加齢又は減齢した第1指定年齢における前記第1ユーザの第1予測顔画像を生成する手段を備え、
前記第2顔画像に基づいて、前記第2ユーザの年齢から加齢又は減齢した第2指定年齢における前記第2ユーザの第2予測顔画像を生成する手段を備え、
前記第1予測顔画像を、第2クライアント装置を介して前記第2ユーザに提示する手段を備え、
前記第2予測顔画像を、第1クライアント装置を介して前記第1ユーザに提示する手段を備え、
前記第1ユーザ及び前記第2ユーザの少なくとも1人に対して発話を促すメッセージを生成する手段を備え、
前記第1ユーザ及び前記第2ユーザの少なくとも1人に対して前記メッセージを提示する手段を備え、
前記メッセージに応じた第2音声を、前記第1クライアント装置を介して前記第1ユーザに提示する手段を備え、
前記メッセージに応じた第1音声を、前記第2クライアント装置を介して前記第2ユーザに提示する手段を備える、
情報処理装置。
【請求項2】
前記第1顔画像に基づいて、前記第1ユーザの感情を解析する手段を備え、
前記第2顔画像に基づいて、前記第2ユーザの感情を解析する手段を備え、
前記メッセージを生成する手段は、前記第1ユーザの感情及び前記第2ユーザの感情の少なくとも1つに応じたメッセージを生成する、
請求項1に記載の情報処理装置。
【請求項3】
前記第1音声に基づいて、前記第1ユーザの感情を解析する手段を備え、
前記第2音声に基づいて、前記第2ユーザの感情を解析する手段を備え、
前記メッセージを生成する手段は、前記第1ユーザの感情及び前記第2ユーザの感情の少なくとも1つに応じたメッセージを生成する、
請求項1又は2に記載の情報処理装置。
【請求項4】
前記第1音声に基づいて、前記第1音声の文脈を解析する手段を備え、
前記第2音声に基づいて、前記第2音声の文脈を解析する手段を備え、
前記メッセージを生成する手段は、前記第1音声の文脈及び前記第2音声の文脈の少なくとも1つに応じたメッセージを生成する、
請求項1~3の何れかに記載の情報処理装置。
【請求項5】
前記第1ユーザの環境に関する第1環境情報を取得する手段を備え、
前記第2ユーザの環境に関する第2環境情報を取得する手段を備え、
前記メッセージを生成する手段は、前記第1環境情報及び前記第2環境情報の少なくとも1つに応じたメッセージを生成する、
請求項1~4の何れかに記載の情報処理装置。
【請求項6】
前記第1環境情報及び前記第2環境情報は、温度情報、湿度情報、及び、紫外線情報の少なくとも1つを含む、
請求項5に記載の情報処理装置。
【請求項7】
前記メッセージを生成する手段は、前記第1ユーザの属性及び前記第2ユーザの属性の組合せに応じたメッセージを生成する、
請求項1~6の何れかに記載の情報処理装置。
【請求項8】
前記属性は、ユーザの年齢及び性別の少なくとも1つを含む、
請求項1~7の何れかに記載の情報処理装置。
【請求項9】
前記メッセージを生成する手段は、前記第1ユーザと前記第2ユーザとの関係に応じたメッセージを生成する、
請求項1~8の何れかに記載の情報処理装置。
【請求項10】
前記メッセージを生成する手段は、前記第1指定年齢及び前記第2指定年齢の組合せに応じたメッセージを生成する、
請求項1~9の何れかに記載の情報処理装置。
【請求項11】
前記メッセージを生成する手段は、前記第1指定年齢及び前記第2指定年齢の大小関係及び指定年齢差の少なくとも1つに応じたメッセージを提示する、
請求項10に記載の情報処理装置。
【請求項12】
前記第2ユーザに対する前記第1ユーザの視線と、前記第1ユーザに対する前記第2ユーザの視線と、を遮る位置に配置された遮蔽部を備える、
請求項1~11の何れかに記載の情報処理装置。
【請求項13】
前記第1顔画像、前記第2顔画像、前記第1予測顔画像、前記第2予測顔画像、前記第1音声、及び、前記第2音声の組合せを含むログデータと、会話の経過時間と、を関連付けて記憶する手段を備え、
前記経過時間に関連付けられたログデータを用いてリプレイ動画を生成する手段を備え、
前記第1ユーザ、前記第2ユーザ、並びに、前記第1ユーザ及び前記第2ユーザ以外の第3ユーザの少なくとも1人に提示する手段を備える、
請求項1~12の何れかに記載の情報処理装置。
【請求項14】
前記会話の終了後に、前記第1ユーザの第1記念画像と、前記第2ユーザの第2記念画像と、を取得する手段を備える、
請求項1~13の何れかに記載の情報処理装置。
【請求項15】
前記第1予測顔画像及び第2予測画像を、前記第1クライアント装置及び前記第2クライアント装置を介して前記第1ユーザ及び前記第2ユーザに提示する手段を備える、
請求項1~14の何れかに記載の情報処理装置。
【請求項16】
コンピュータを、請求項1~15の何れかに記載の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置及びプログラムに関する。
【背景技術】
【0002】
近年、ユーザ間の会話を促進する技術に注目が集まっている。
例えば、特許文献1は、事実情報(嗜好情報、類似度、及び、アクション履歴)に基づいて会話を促進させる技術を開示している。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】再表2012-017786号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
実際の会話は、会話の各参加者の会話中の反応(例えば、会話相手の表情及び会話相手が発した言葉の意味)の組合せに応じて、インタラクティブに展開される。
【0005】
しかし、特許文献1の技術では、会話の前の時点で確定している事実情報のみを参照するので、会話中の反応の組合せに応じた会話の展開に影響を与えるものではない。したがって、複数のユーザの会話の促進には寄与しない。
【0006】
本発明の目的は、複数のユーザの会話を促進することである。
【課題を解決するための手段】
【0007】
本発明の一態様は、
複数のユーザの会話を支援する情報処理装置であって、
第1ユーザの第1顔画像を取得する手段を備え、
前記第1ユーザの第1音声を取得する手段を備え、
第2ユーザの第2顔画像を取得する手段を備え、
前記第2ユーザの第2音声を取得する手段を備え、
前記第1顔画像に基づいて、前記第1ユーザの年齢から加齢又は減齢した第1指定年齢における前記第1ユーザの第1予測顔画像を生成する手段を備え、
前記第2顔画像に基づいて、前記第2ユーザの年齢から加齢又は減齢した第2指定年齢における前記第2ユーザの第2予測顔画像を生成する手段を備え、
前記第1予測顔画像を、第2クライアント装置を介して前記第2ユーザに提示する手段を備え、
前記第2予測顔画像を、第1クライアント装置を介して前記第1ユーザに提示する手段を備え、
前記第1ユーザ及び前記第2ユーザの少なくとも1人に対して発話を促すメッセージを生成する手段を備え、
前記第1ユーザ及び前記第2ユーザの少なくとも1人に対して前記メッセージを提示する手段を備え、
前記メッセージに応じた第2音声を、前記第1クライアント装置を介して前記第1ユーザに提示する手段を備え、
前記メッセージに応じた第1音声を、前記第2クライアント装置を介して前記第2ユーザに提示する手段を備える、
情報処理装置である。
【発明の効果】
【0008】
本発明によれば、複数のユーザの会話を促進することができる。
【図面の簡単な説明】
【0009】
図1】本実施形態の情報処理システムの構成を示すブロック図である。
図2図1の第1クライアント装置の機能ブロック図である。
図3図2の第2クライアント装置の機能ブロック図である。
図4図1のホスト装置の機能ブロック図である。
図5図1の情報処理システムの形態の一例を示す図である。
図6】本実施形態の概要の説明図である。
図7】本実施形態の情報処理のシーケンス図である。
図8図7の情報処理において表示される画面例を示す図である。
図9図7の情報処理において表示される画面例を示す図である。
図10図7の情報処理において表示される画面例を示す図である。
図11図7の情報処理において表示される画面例を示す図である。
図12図7の情報処理において表示される画面例を示す図である。
【発明を実施するための形態】
【0010】
以下、本発明の一実施形態について、図面に基づいて詳細に説明する。なお、実施形態を説明するための図面において、同一の構成要素には原則として同一の符号を付し、その繰り返しの説明は省略する。
【0011】
(1)情報処理システムの構成
情報処理システムの構成を説明する。図1は、本実施形態の情報処理システムの構成を示すブロック図である。
【0012】
図1に示すように、情報処理システム1は、第1クライアント装置10と、第2クライアント装置20と、ホスト装置30とを備える。
ホスト装置30は、第1クライアント装置10及び第2クライアント装置20に通信可能に接続される。
【0013】
第1クライアント装置10は、ホスト装置30にリクエストを送信するコンピュータ(「情報処理装置」の一例)である。第1クライアント装置10は、例えば、スマートフォン、タブレット端末、又は、パーソナルコンピュータである。
【0014】
ホスト装置30は、第1クライアント装置10から送信されたリクエストに応じたレスポンスを第1クライアント装置10に提供するコンピュータ(「情報処理装置」の一例)である。ホスト装置30は、例えば、ウェブホスト装置である。
【0015】
(1-1)第1クライアント装置の構成
第1クライアント装置10の構成を説明する。図2は、図1の第1クライアント装置の機能ブロック図である。
【0016】
図2に示すように、第1クライアント装置10は、記憶装置11と、プロセッサ12と、入出力インタフェース13と、通信インタフェース14と、カメラ15と、ディスプレイ16と、マイクロフォン17と、スピーカ18と、を備える。
【0017】
記憶装置11は、プログラム及びデータを記憶するように構成される。記憶装置11は、例えば、ROM(Read Only Memory)、RAM(Random Access Memory)、及び、ストレージ(例えば、フラッシュメモリ又はハードディスク)の組合せである。
【0018】
プログラムは、例えば、以下のプログラムを含む。
・OS(Operating System)のプログラム
・情報処理を実行するアプリケーション(例えば、ウェブブラウザ)のプログラム
【0019】
データは、例えば、以下のデータを含む。
・情報処理において参照されるデータベース
・情報処理を実行することによって得られるデータ(つまり、情報処理の実行結果)
【0020】
プロセッサ12は、記憶装置11に記憶されたプログラムを起動することによって、第1クライアント装置10の機能を実現するように構成される。プロセッサ12は、例えば、CPU(Central Processing Unit)、ASIC(Application Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)、又は、これらの組み合わせである。
【0021】
入出力インタフェース13は、第1クライアント装置10に接続される入力デバイスからユーザの指示を取得し、かつ、第1クライアント装置10に接続される出力デバイスに情報を出力するように構成される。
入力デバイスは、例えば、ハードキー、キーボード、ポインティングデバイス、タッチパネル、又は、それらの組合せである。また、入力デバイスは、カメラ15及びディスプレイ16を含む。
出力デバイスは、ディスプレイ16及びスピーカ18を含む。
【0022】
通信インタフェース14は、第1クライアント装置10とホスト装置30との間の通信を制御するように構成される。
【0023】
カメラ15は、画像を取得するように構成される。
【0024】
ディスプレイ16は、プロセッサ12によって生成された画像を表示するように構成される。
【0025】
マイクロフォン17は、音声を取得するように構成される。
【0026】
スピーカ18は、プロセッサ12によって生成された音声を出力するように構成される。
【0027】
(1-2)第2クライアント装置の構成
第2クライアント装置20の構成を説明する。図3は、図2の第2クライアント装置の機能ブロック図である。
【0028】
図3に示すように、第2クライアント装置20は、記憶装置21と、プロセッサ22と、入出力インタフェース23と、通信インタフェース24と、カメラ25と、ディスプレイ26と、マイクロフォン27と、スピーカ28と、を備える。
【0029】
記憶装置21は、プログラム及びデータを記憶するように構成される。記憶装置21は、例えば、ROM、RAM、及び、ストレージの組合せである。
【0030】
プログラムは、例えば、以下のプログラムを含む。
・OSのプログラム
・情報処理を実行するアプリケーション(例えば、ウェブブラウザ)のプログラム
【0031】
データは、例えば、以下のデータを含む。
・情報処理において参照されるデータベース
・情報処理を実行することによって得られるデータ(つまり、情報処理の実行結果)
【0032】
プロセッサ22は、記憶装置21に記憶されたプログラムを起動することによって、第2クライアント装置20の機能を実現するように構成される。プロセッサ22は、例えば、CPU、ASIC、FPGA、又は、これらの組み合わせである。
【0033】
入出力インタフェース23は、第2クライアント装置20に接続される入力デバイスからユーザの指示を取得し、かつ、第2クライアント装置20に接続される出力デバイスに情報を出力するように構成される。
入力デバイスは、例えば、ハードキー、キーボード、ポインティングデバイス、タッチパネル、又は、それらの組合せである。また、入力デバイスは、カメラ25及びマイクロフォン27を含む。
出力デバイスは、ディスプレイ26及びスピーカ28を含む。
【0034】
通信インタフェース24は、第2クライアント装置20とホスト装置30との間の通信を制御するように構成される。
【0035】
カメラ25は、画像を取得するように構成される。
【0036】
ディスプレイ26は、プロセッサ22によって生成された画像を表示するように構成される。
【0037】
マイクロフォン27は、音声を取得するように構成される。
【0038】
スピーカ28は、プロセッサ22によって生成された音声を出力するように構成される。
【0039】
(1-3)ホスト装置の構成
ホスト装置30の構成を説明する。図4は、図1のホスト装置の機能ブロック図である。
【0040】
図4に示すように、ホスト装置30は、記憶装置31と、プロセッサ32と、入出力インタフェース33と、通信インタフェース34とを備える。
【0041】
記憶装置31は、プログラム及びデータを記憶するように構成される。記憶装置31は、例えば、ROM、RAM、及び、ストレージ(例えば、フラッシュメモリ又はハードディスク)の組合せである。
【0042】
プログラムは、例えば、以下のプログラムを含む。
・OSのプログラム
・情報処理を実行するアプリケーションのプログラム
【0043】
データは、例えば、以下のデータを含む。
・情報処理において参照されるデータベース
・情報処理の実行結果
【0044】
プロセッサ32は、記憶装置31に記憶されたプログラムを起動することによって、ホスト装置30の機能を実現するように構成される。プロセッサ32は、例えば、CPU、ASIC、FPGA、又は、これらの組み合わせである。
【0045】
入出力インタフェース33は、ホスト装置30に接続される入力デバイスからユーザの指示を取得し、かつ、ホスト装置30に接続される出力デバイスに情報を出力するように構成される。
入力デバイスは、例えば、キーボード、ポインティングデバイス、タッチパネル、又は、それらの組合せである。
出力デバイスは、例えば、ディスプレイである。また、出力デバイスは、プリンタを含む。
【0046】
通信インタフェース34は、ホスト装置30と、第1クライアント装置10及び第2クライアント装置20との間の通信を制御するように構成される。
【0047】
(1-4)情報処理システムの形態
本実施形態の情報処理システム1の形態の一例を説明する。図5は、図1の情報処理システムの形態の一例を示す図である。
【0048】
図5に示すように、情報処理システム1は、第1空間SP1~第3空間SP3を含む。第3空間SPは、第1空間SP1と第2空間SP2との間に配置される。
【0049】
第1空間SP1は、第1ユーザU1が入室する空間である。第1ユーザU1は、入口ENT1から第1空間SP1に入室可能である。第1空間SP1には、カメラ15と、ディスプレイ16と、マイクロフォン17と、スピーカ18と、が配置される。第1空間SP1と第3空間SPとの境界には、遮蔽部(例えば、壁)W1が配置される。ディスプレイ16は、X-方向を向くように、遮蔽部W1上に配置される。第1ユーザU1は、X+方向に視線を向けることにより、ディスプレイ16に表示された画像を視認することができる。
【0050】
第2空間SP2は、第2ユーザU2が入室する空間である。第2ユーザU2は、入口ENT2から第2空間SP2に入室可能である。第2空間SP2には、カメラ25と、ディスプレイ26と、マイクロフォン27と、スピーカ28と、が配置される。第2空間SP2と第3空間SPとの境界には、遮蔽部W2が配置される。ディスプレイ26は、X+方向を向くように、遮蔽部W2上に配置される。第2ユーザU2は、X-方向に視線を向けることにより、ディスプレイ26に表示された画像を視認することができる。
【0051】
つまり、遮蔽部W1は、第1空間SP1と第2空間SP2とを視覚的に隔離するように構成される。したがって、第1ユーザU1及び第2ユーザU2は、互いに、相手の声及び表情を直接認知できない。
【0052】
第3空間SPには、ホスト装置30が配置される。
【0053】
(2)実施形態の概要
本実施形態の概要について説明する。図6は、本実施形態の概要の説明図である。
【0054】
図1のホスト装置30は、複数のユーザの会話を支援する情報処理装置である。
【0055】
図6に示すように、ホスト装置30は、以下の手段を備える。
・第1ユーザの第1顔画像(複数の静止画又は動画像)を取得する手段
・第1ユーザの第1音声を取得する手段
・第2ユーザの第2顔画像(複数の静止画又は動画像)を取得する手段
・第2ユーザの第2音声を取得する手段
・第1顔画像に基づいて、第1ユーザの年齢から加齢又は減齢した第1指定年齢における第1ユーザの第1予測顔画像を生成する手段
・第2顔画像に基づいて、第2ユーザの年齢から加齢又は減齢した第2指定年齢における第2ユーザの第2予測顔画像を生成する手段
・第1予測顔画像を、第2クライアント装置20を介して第2ユーザに提示する手段
・第2予測顔画像を、第1クライアント装置10を介して第1ユーザに提示する手段
・第1ユーザ及び第2ユーザの少なくとも1人に対して発話を促すメッセージを生成する手段
・第1ユーザ及び前記第2ユーザの少なくとも1人に対してメッセージを提示する手段
・メッセージに応じた第2音声を、第1クライアント装置10を介して第1ユーザに提示する手段、
・メッセージに応じた第1音声を、第2クライアント装置20を介して第2ユーザに提示する手段
【0056】
(3)情報処理
本実施形態の情報処理を説明する。図7は、本実施形態の情報処理のシーケンス図である。図8は、図7の情報処理において表示される画面例を示す図である。図9は、図7の情報処理において表示される画面例を示す図である。図10は、図7の情報処理において表示される画面例を示す図である。図11は、図7の情報処理において表示される画面例を示す図である。図12は、図7の情報処理において表示される画面例を示す図である。
【0057】
図7に示すように、第1クライアント装置10は、ユーザ情報の受付(S110)を実行する。
具体的には、プロセッサ12は、画面P10(図8)をディスプレイ16に表示する。
【0058】
画面P10は、フィールドオブジェクトF10a~F10eと、操作オブジェクトB10と、を含む。
【0059】
フィールドオブジェクトF10aは、第1ユーザの名前に関するユーザ入力を受け付けるオブジェクトである。
【0060】
フィールドオブジェクトF10bは、第1ユーザと第2ユーザとの間の関係に関するユーザ入力を受け付けるオブジェクトである。関係は、例えば、以下の少なくとも1つを含む。
・家族(一例として、親子、夫婦、兄弟、及び、親族の少なくとも1つ)
・交際関係(つまり、カップル)
・友人
・職場の同僚
【0061】
フィールドオブジェクトF10cは、第1ユーザと第2ユーザとの関係の継続期間(以下「関係期間」という)に関するユーザ入力を受け付けるオブジェクトである。関係期間は、例えば、以下の何れかである。
・5年未満
・5年以上
【0062】
フィールドオブジェクトF10dは、第1ユーザの性別に関するユーザ入力を受け付けるオブジェクトである。
【0063】
フィールドオブジェクトF10eは、第1ユーザの生年月日に関するユーザ入力を受け付けるオブジェクトである。
【0064】
操作オブジェクトB10は、フィールドオブジェクトF10a~F10eに対するユーザ入力を確定させるためのユーザ指示を受け付けるオブジェクトである。
【0065】
第1ユーザがフィールドオブジェクトF10a~F10eにユーザ入力を与え、且つ、操作オブジェクトB10を操作すると、カメラ15は、第1ユーザの顔の画像(以下「第1ユーザ画像」という)を取得する。
プロセッサ12は、フィールドオブジェクトF10a~F10eに入力された情報及び第1ユーザ画像の組合せ(以下「第1ユーザ情報」という)をホスト装置30に送信する。
【0066】
第2クライアント装置20は、ユーザ情報の受付(S120)を実行する。
具体的には、プロセッサ22は、画面P20(図8)をディスプレイ26に表示する。
【0067】
画面P20は、フィールドオブジェクトF20a~F20eと、操作オブジェクトB20と、を含む。
フィールドオブジェクトF20aは、第2ユーザの名前に関するユーザ入力を受け付けるオブジェクトである。
フィールドオブジェクトF20bは、第1ユーザと第2ユーザとの間の関係に関するユーザ入力を受け付けるオブジェクトである。
フィールドオブジェクトF20cは、第1ユーザと第2ユーザとの関係期間に関するユーザ入力を受け付けるオブジェクトである。
フィールドオブジェクトF20dは、第2ユーザの性別に関するユーザ入力を受け付けるオブジェクトである。
フィールドオブジェクトF20eは、第2ユーザの生年月日に関するユーザ入力を受け付けるオブジェクトである。
操作オブジェクトB20は、フィールドオブジェクトF20a~F20eに対するユーザ入力を確定させるためのユーザ指示を受け付けるオブジェクトである。
【0068】
第2ユーザがフィールドオブジェクトF20a~F20eにユーザ入力を与え、且つ、操作オブジェクトB20を操作すると、カメラ25は、第2ユーザの顔の画像(以下「第2ユーザ画像」という)を取得する。
プロセッサ22は、フィールドオブジェクトF20a~F20eに入力された情報及び第2ユーザ画像の組合せ(以下「第2ユーザ情報」という)をホスト装置30に送信する。
【0069】
ステップS110及びS120の後、ホスト装置30は、ユーザ情報の転送(S130)を実行する。
具体的には、プロセッサ32は、第1クライアント装置10から第1ユーザ情報を取得する。
プロセッサ32は、第2クライアント装置20から第2ユーザ情報を取得する。
プロセッサ32は、第1ユーザ情報に含まれる生年月日に基づいて、第1ユーザの現在の年齢(以下「第1現在年齢」という)の値を計算する。
プロセッサ32は、第2ユーザ情報に含まれる生年月日に基づいて、第2ユーザの現在の年齢(以下「第2現在年齢」という)の値を計算する。
プロセッサ32は、第1ユーザ情報を第2クライアント装置20に送信する。
プロセッサ32は、第2ユーザ情報を第1クライアント装置10に送信する。
【0070】
ステップS131の後、第1クライアント装置10は、指定年齢の受付(S111)を実行する。
具体的には、プロセッサ12は、画面P11(図9)をディスプレイ16に表示する。
【0071】
画面P11は、表示オブジェクトA11と、画像オブジェクトIMG11と、フィールドオブジェクトF11a~F11bと、操作オブジェクトB11と、を含む。
表示オブジェクトA11には、第1ユーザに対して会話を促すメッセージ(例えば、「相手の年齢を選んで下さい。」というメッセージ)が表示される。このメッセージは、予め定められたメッセージである。
画像オブジェクトIMG11は、ホスト装置30から送信された第2ユーザ情報に含まれる第2ユーザ画像である。
フィールドオブジェクトF11aは、第1ユーザの架空の年齢(以下「第1指定年齢」という)を指定するためのユーザ入力を受け付けるオブジェクトである。フィールドオブジェクトF11aの初期値は、第1現在年齢の値である。
フィールドオブジェクトF11bは、第2ユーザの架空の年齢(以下「第2指定年齢」という)を指定するためのユーザ入力を受け付けるオブジェクトである。フィールドオブジェクトF11bの初期値は、第2現在の年齢の値である。
操作オブジェクトB11aは、フィールドオブジェクトF11a~F11bのユーザ入力を確定させるためのユーザ指示を受け付けるオブジェクトである。
【0072】
第1ユーザがフィールドオブジェクトF11bに任意の値を入力し、且つ、操作オブジェクトB11aを操作すると、プロセッサ12は、フィールドオブジェクトF11bに与えられた値をホスト装置30に送信する。
【0073】
ステップS131の後、第2クライアント装置20は、指定年齢の受付(S121)を実行する。
具体的には、プロセッサ22は、画面P21(図9)をディスプレイ26に表示する。
【0074】
画面P21は、表示オブジェクトA21と、画像オブジェクトIMG21と、フィールドオブジェクトF21a~F21bと、操作オブジェクトB21a~B21bと、を含む。
表示オブジェクトA21には、第2ユーザに対して会話を促すメッセージ(例えば、「相手の年齢を選んで下さい。」というメッセージ)が表示される。このメッセージは、予め定められたメッセージである。
画像オブジェクトIMG21は、ホスト装置30から送信された第1ユーザ情報に含まれる第1ユーザ画像である。
フィールドオブジェクトF21aは、第1指定年齢を指定するためのユーザ入力を受け付けるオブジェクトである。フィールドオブジェクトF21aの初期値は、第1現在年齢の値である。フィールドオブジェクトF21aの値は、フィールドオブジェクトF11aの値と同期している。
フィールドオブジェクトF21bは、第2指定年齢を指定するためのユーザ入力を受け付けるオブジェクトである。フィールドオブジェクトF21bの初期値は、フィールドオブジェクトF20e(図8)に入力された生年月日から計算される値(つまり、第1ユーザの現在の年齢)である。フィールドオブジェクトF21bの値は、フィールドオブジェクトF11bの値と同期している。
操作オブジェクトB21aは、フィールドオブジェクトF21a~F21bのユーザ入力を確定させるためのユーザ指示を受け付けるオブジェクトである。
操作オブジェクトB21bは、会話を終了するためのユーザ指示を受け付けるオブジェクトである。
【0075】
第2ユーザがフィールドオブジェクトF21bに任意の値(例えば、第1ユーザの架空の年齢の値)を入力し、且つ、操作オブジェクトB21aを操作すると、プロセッサ12は、フィールドオブジェクトF21bに与えられた値(つまり、第1ユーザの架空の年齢(以下「第1指定年齢」という)の値)をホスト装置30に送信する。
【0076】
ステップS111及びS121の後、ホスト装置30は、モーフィング(S131)を実行する。
具体的には、記憶装置31には、変換モデルが記憶されている。変換モデルには、人物の現在の年齢及び人物の架空の年齢の組合せと、人物の顔画像を変換するための変換フィルタとの相関関係が規定されている。
プロセッサ32は、第1クライアント装置10から、フィールドオブジェクトF11bに与えられた第2指定年齢の値を取得する。
プロセッサ32は、第2クライアント装置20から、フィールドオブジェクトF21aに与えられた第1指定年齢の値を取得する。
プロセッサ32は、ステップS130で得られた第1現在年齢の値、及び、ステップS111で得られた第1指定年齢の値を変換モデルに与えることにより、第1現在年齢及び第1指定年齢の組合せに対応する変換フィルタを選択する。
プロセッサ32は、選択された変換フィルタを第1ユーザ画像に適用することにより、第1指定年齢に対応する第1ユーザの顔の画像(以下「第1予測顔画像」という)を生成する。
プロセッサ32は、ステップS130で得られた第2現在年齢の値、及び、ステップS121で得られた第2指定年齢の値を変換モデルに与えることにより、第2現在年齢及び第2指定年齢の組合せに対応する変換フィルタを選択する。
プロセッサ32は、選択された変換フィルタを第2ユーザ画像に適用することにより、第2指定年齢に対応する第2ユーザの顔の画像(以下「第2予測顔画像」という)を生成する。
【0077】
ステップS131の後、ホスト装置30は、メッセージの送信(S132)を実行する。
【0078】
具体的には、プロセッサ32は、第1メッセージデータを第1クライアント装置10に送信する。第1メッセージデータは、以下の情報を含む。
・第2予測顔画像
・所定の初期メッセージ
【0079】
プロセッサ32は、第2メッセージデータを第2クライアント装置20に送信する。第2メッセージデータは、以下の情報を含む。
・第1予測顔画像
・所定の初期メッセージ
【0080】
ステップS132の後、第1クライアント装置10は、会話情報の受付(S112)を実行する。
【0081】
具体的には、プロセッサ12は、画面P12a(図10)をディスプレイ16に表示する。画面P12aは、第1メッセージデータに対応する。
【0082】
画面P12aは、表示オブジェクトA12aと、画像オブジェクトIMG12と、フィールドオブジェクトF11a~F11bと、操作オブジェクトB11と、を含む。
表示オブジェクトA12aには、第1メッセージデータに含まれる初期メッセージが表示される。
画像オブジェクトIMG12は、第1メッセージデータに含まれる第2予測顔画像である。
【0083】
第1ユーザが、表示オブジェクトA12aに表示されたメッセージ及び画像オブジェクトIMG12(つまり、第2指定年齢に対応する第2ユーザの顔の画像)を見ながら、且つ、スピーカ18から出力される第2ユーザの音声を聴きながら、第2ユーザに対して発話すると、マイクロフォン17は、第1ユーザの音声(以下「第1発話音声」という)を取得する。
カメラ15は、会話中の第1ユーザの顔画像(以下「第1顔画像」という)を取得する。
プロセッサ12は、会話情報をホスト装置30に送信する。会話情報は、以下の情報を含む。
・カメラ15によって取得された第1顔画像
・マイクロフォン17によって取得された第1発話音声
【0084】
ステップS132の後、第2クライアント装置20は、会話情報の受付(S122)を実行する。
【0085】
具体的には、プロセッサ22は、画面P22a(図10)をディスプレイ26に表示する。画面P22aは、第2メッセージデータに対応する。
【0086】
画面P22aは、表示オブジェクトA22aと、画像オブジェクトIMG22と、フィールドオブジェクトF21a~F21bと、操作オブジェクトB21a~B21bと、を含む。
表示オブジェクトA22aには、第2メッセージデータに含まれる初期メッセージが表示される。
画像オブジェクトIMG22は、第2メッセージデータに含まれる第1予測顔画像である。
【0087】
第2ユーザが、表示オブジェクトA22aに表示されたメッセージ及び画像オブジェクトIMG22(つまり、第1指定年齢に対応する第1ユーザの顔の画像)を見ながら、且つ、スピーカ28から出力される第1ユーザの音声を聴きながら、第1ユーザに対して発話すると、マイクロフォン27は、第2ユーザの音声(以下「第2発話音声」という)を取得する。
カメラ25は、会話中の第2ユーザの顔画像(以下「第2顔画像」という)を取得する。
プロセッサ22は、会話情報をホスト装置30に送信する。会話情報は、以下の情報を含む。
・カメラ25によって取得された第2顔画像
・マイクロフォン27によって取得された第2発話音声
【0088】
ステップS112及びS122の後、ホスト装置30は、感情解析(S133)を実行する。
【0089】
ステップS133の第1例では、記憶装置31には、人物の表情と人物の感情との相関関係が規定された感情解析モデルが記憶されている。
プロセッサ32は、ステップS112で送信された第1発話音声を感情解析モデルに入力することにより、第1ユーザの感情を特定する。
プロセッサ32は、ステップS122で送信された第2発話音声を感情解析モデルに入力することにより、第2ユーザの感情を特定する。
【0090】
ステップS133の第2例では、記憶装置31には、人物の発話音声と人物の感情との相関関係が規定された感情解析モデルが記憶されている。
プロセッサ32は、ステップS112で送信された第1発話音声を感情解析モデルに入力することにより、第1ユーザの感情を特定する。
プロセッサ32は、ステップS122で送信された第2発話音声を感情解析モデルに入力することにより、第2ユーザの感情を特定する。
【0091】
ステップS133の後、ホスト装置30は、メッセージの生成(S134)を実行する。
具体的には、記憶装置31には、メッセージ生成モデルが記憶されている。メッセージ生成モデルには、人物の感情と、次の会話を促すためのメッセージと、の相関関係が規定されている。
【0092】
ステップS133の第1例では、プロセッサ32は、ステップS133で得られた第1ユーザの感情をメッセージ生成モデルに入力することにより、第1ユーザに提示すべきメッセージを生成し、且つ、当該メッセージを含む第1メッセージデータを第1クライアント装置10に送信する。
プロセッサ32は、ステップS133で得られた第2ユーザの感情をメッセージ生成モデルに入力することにより、第2ユーザに提示すべきメッセージを生成し、且つ、当該メッセージを含む第2メッセージデータを第2クライアント装置20に送信する。
【0093】
ステップS133の第2例では、プロセッサ32は、ステップS133で得られた第1ユーザの感情及び第2ユーザの感情をメッセージ生成モデルに入力することにより、第1ユーザ及び第2ユーザに提示すべきメッセージを生成し、且つ、当該メッセージを含むメッセージデータを第1クライアント装置10及び第2クライアント装置20に送信する。
【0094】
ステップS134の後、第1クライアント装置10は、会話情報の受付(S112)を再び実行する。
具体的には、プロセッサ12は、画面P12b(図11)をディスプレイ16に表示する。画面P12bは、ステップS132でホスト装置30から送信されたメッセージデータに対応する。
【0095】
画面P12bは、表示オブジェクトA12bと、画像オブジェクトIMG12と、フィールドオブジェクトF11a~F11bと、操作オブジェクトB11と、を含む。
表示オブジェクトA12bには、ステップS133でホスト装置30から送信されたメッセージが表示される。
【0096】
第1ユーザが、表示オブジェクトA12bに表示されたメッセージ及び画像オブジェクトIMG12(つまり、第2指定年齢に対応する第2ユーザの顔の画像)を見ながら、且つ、スピーカ18から出力される第2ユーザの音声を聴きながら、第2ユーザに対して発話すると、マイクロフォン17は、第1発話音声を取得する。
プロセッサ12は、会話情報をホスト装置30に送信する。会話情報は、以下の情報を含む。
・カメラ15によって取得された第1顔画像
・マイクロフォン17によって取得された第1発話音声
【0097】
ステップS134の後、第2クライアント装置20は、会話情報の受付(S122)を再び実行する。
具体的には、プロセッサ22は、画面P22b(図11)をディスプレイ26に表示する。画面P22bは、ステップS134でホスト装置30から送信されたメッセージデータに対応する。
【0098】
画面P22bは、表示オブジェクトA22bと、画像オブジェクトIMG22と、フィールドオブジェクトF21a~F21bと、操作オブジェクトB21a~B21bと、を含む。
表示オブジェクトA22bには、第2メッセージデータに含まれるメッセージが表示される。
【0099】
第2ユーザが、表示オブジェクトA22bに表示されたメッセージ及び画像オブジェクトIMG22(つまり、第1指定年齢に対応する第1ユーザの顔の画像)を見ながら、且つ、スピーカ28から出力される第1ユーザの音声を聴きながら、第1ユーザに対して発話すると、マイクロフォン27は、第2発話音声を取得する。
プロセッサ22は、会話情報をホスト装置30に送信する。会話情報は、以下の情報を含む。
・カメラ25によって取得された第2顔画像
・マイクロフォン27によって取得された第2発話音声
【0100】
会話の終了条件を満たすと、第1クライアント装置10は、記念画像の取得(S113)を実行する。
具体的には、会話の終了条件を満たすと、プロセッサ12は、画面P13(図12)をディスプレイに表示する。
会話の終了条件は、例えば、以下の少なくとも1つである。
・会話の開始(例えば、ステップS111及びS121の終了)から所定時間(例えば、10分)が経過したこと
・所定回数のメッセージが提示された(つまり、ステップ134が実行された)こと
・第1ユーザ又は第2ユーザから会話を終了するためのユーザ指示(例えば、音声指示、及び、画面に表示されたオブジェクトに対する操作の少なくとも1つ)が与えられたこと
【0101】
画面P13は、画像オブジェクトIMG13と、操作オブジェクトB13と、を含む
画像オブジェクトIMG13は、ステップS113の実行時点においてカメラ25によって取得されたプレビュー画像である。
操作オブジェクトB13は、画像オブジェクトIMG13に対応するプレビュー画像を第2ユーザの記念画像(以下「第2記念画像」という)として取得するためのユーザ指示を受け付けるオブジェクトである。
【0102】
第1ユーザが操作オブジェクトB13を操作すると、プロセッサ12は、ホスト装置30に対して、第2記念画像を送信し、且つ、第2クライアント装置20に対して、ステップS113の終了通知を送信する。
【0103】
ステップS113の後、第2クライアント装置20は、記念画像の取得(S123)を実行する。
具体的には、第1ユーザが操作オブジェクトB13を操作すると、プロセッサ12は、画面P23(図12)をディスプレイに表示する。
【0104】
画面P23は、画像オブジェクトIMG23と、操作オブジェクトB23と、を含む
画像オブジェクトIMG23は、ステップS123の実行時点においてカメラ15によって取得されたプレビュー画像である。
操作オブジェクトB23は、画像オブジェクトIMG23に対応するプレビュー画像を第1ユーザの記念画像(以下「第1記念画像」という)として取得するためのユーザ指示を受け付けるオブジェクトである。
【0105】
第2ユーザが操作オブジェクトB23を操作すると、プロセッサ22は、ホスト装置30に対して、第1記念画像と、ステップS123の終了通知を送信する。
【0106】
ステップS123の後、ホスト装置30は、ログデータの保存(S135)を実行する。
具体的には、プロセッサ32は、記憶装置31に、以下の情報を関連付けて記憶する。
・ステップS110で第1クライアント装置10から送信された第1ユーザ情報
・ステップS120で第2クライアント装置20から送信された第2ユーザ情報
・ステップS113で第1クライアント装置10から送信された出力リクエストデータに含まれる第1予測顔画像及び第1音声
・ステップS123で第2クライアント装置20から送信された出力リクエストデータに含まれる第2予測顔画像及び第2音声
・ステップS111及びS121の実行からステップS113及びS123の少なくとも1つの実行までの時間(つまり、会話の経過時間)
・ステップS113で第1クライアント装置10から送信された第2記念画像
・ステップS123で第2クライアント装置20から送信された第1記念画像
【0107】
プロセッサ32は、第1記念画像及び第2記念画像を合成することにより、集合記念画像を生成する。
プロセッサ32は、第1クライアント装置10及び第2クライアント装置20に第1記念画像と、第2記念画像と、集合記念画像と、を送信する。
【0108】
ステップS135の後、第1クライアント装置10は、出力リクエスト(S114)を実行する。
具体的には、プロセッサ12は、画面P14(図12)をディスプレイ16に表示する。
【0109】
画面P14は、画像オブジェクトIMG14と、操作オブジェクトB14a~B14bと、を含む。
画像オブジェクトIMG14は、集合記念画像である。
操作オブジェクトB14aは、集合記念画像をネットワークサービス上で共有するためのユーザ指示を受け付けるオブジェクトである。ネットワークサービスは、例えば、ソーシャルネットワークサービス、チャットサービス、及び、画像共有サービスの少なくとも1つである。
操作オブジェクトB14bは、集合記念画像を印刷するためのユーザ指示を受け付けるオブジェクトである。
【0110】
第1ユーザが、操作オブジェクトB14aを操作すると、プロセッサ12は、集合記念画像を共有するためのユーザ指示をホスト装置に送信する。
【0111】
ステップS135の後、第2クライアント装置20は、出力リクエスト(S124)を実行する。
具体的には、第2ユーザが操作オブジェクトB21b(図10図11)を操作すると、プロセッサ22は、画面P24(図12)をディスプレイに表示する。
【0112】
画面P24は、画像オブジェクトIMG24と、操作オブジェクトB24a~B24bと、を含む。
画像オブジェクトIMG24は、集合記念画像である。
操作オブジェクトB24aは、集合記念画像をネットワークサービス上で共有するためのユーザ指示を受け付けるオブジェクトである。ネットワークサービスは、例えば、ソーシャルネットワークサービス、チャットサービス、及び、画像共有サービスの少なくとも1つである。
操作オブジェクトB24bは、集合記念画像を印刷するためのユーザ指示を受け付けるオブジェクトである。
【0113】
第2ユーザが、操作オブジェクトB24bを操作すると、プロセッサ22は、集合記念画像を印刷するためのユーザ指示をホスト装置30に送信する。
【0114】
ステップS135の後、ホスト装置30は、記念画像の出力(S136)を実行する。
具体的には、プロセッサ32は、ステップS113で第1クライアント装置10から送信されたユーザ指示に応じて、集合記念画像を、ネットワークサービスを提供するウェブサーバに送信する。これにより、ネットワークサービスを介して集合記念画像が第1ユーザ以外のユーザ(例えば、第2ユーザ及び第三者の少なくとも1人)に共有される。
プロセッサ32は、ステップS123で第2クライアント装置20から送信されたユーザ指示に応じて、集合記念画像をプリンタに送信する。これにより、プリンタを介して集合記念画像が印刷される。
【0115】
本実施形態によれば、各ユーザに対して、会話中に、会話相手の予測顔画像及び会話を促進するためのメッセージを提示する。これにより、会話中の情報に応じた会話を促進することができる。
【0116】
(4)変形例
本実施形態の変形例を説明する。
【0117】
(4-1)変形例1
変形例1を説明する。変形例1は、第1音声の文脈及び第2音声の文脈の少なくとも1つに応じたメッセージを第1ユーザ及び第2ユーザの少なくとも1人に提示する例である。
【0118】
変形例1のホスト装置30は、ステップS134(図7)において、第1音声及び第2音声の文脈の少なくとも1つに応じたメッセージを生成する。
具体的には、メッセージ生成モデルには、音声の文脈と、次の会話を促すためのメッセージと、の相関関係が規定されている。
【0119】
変形例1の第1例のプロセッサ32は、ステップS133で得られた第1音声をメッセージ生成モデルに入力することにより、第1ユーザに提示すべきメッセージを生成し、且つ、当該メッセージを含む第1メッセージデータを第1クライアント装置10に送信する。
プロセッサ32は、ステップS133で得られた第2音声をメッセージ生成モデルに入力することにより、第2ユーザに提示すべきメッセージを生成し、且つ、当該メッセージを含む第2メッセージデータを第2クライアント装置20に送信する。
【0120】
変形例1の第2例のプロセッサ32は、ステップS133で得られた第1音声及び第2音声の組合せをメッセージ生成モデルに入力することにより、第1ユーザ及び第2ユーザに提示すべきメッセージを生成し、且つ、当該メッセージを含むメッセージデータを第1クライアント装置10及び第2クライアント装置20に送信する。
【0121】
変形例1によれば、第1ユーザ及び第2ユーザの少なくとも1人が発話した音声の文脈に応じて、会話を促すメッセージを提示する。これにより、第1ユーザ及び第2ユーザの会話をより促進させることができる。
【0122】
(4-2)変形例2
変形例2を説明する。変形例2は、第1ユーザの環境及び第2ユーザの環境の少なくとも1つに応じたメッセージを第1ユーザ及び第2ユーザの少なくとも1人に提示する例である。
【0123】
変形例2のホスト装置30は、ステップS134(図7)において、第1ユーザの環境に関する情報(以下「第1環境情報」という)及び第2ユーザの環境に関する情報(以下「第2環境情報」という)の少なくとも1つに応じたメッセージを生成する。
具体的には、メッセージ生成モデルには、環境と、次の会話を促すためのメッセージと、の相関関係が規定されている。
情報処理システム1は、環境情報を取得するセンサを備える。環境情報は、以下の少なくとも1つを含む。
・第1空間SP1の温度に関する温度情報
・第2空間SP2の温度に関する温度情報
・第1空間SP1の湿度に関する湿度情報
・第2空間SP2の温度に関する湿度情報
【0124】
変形例2の第1例のプロセッサ32は、センサによって得られた第1環境情報をメッセージ生成モデルに入力することにより、第1ユーザに提示すべきメッセージを生成し、且つ、当該メッセージを含む第1メッセージデータを第1クライアント装置10に送信する。
プロセッサ32は、センサによって得られた第2環境情報をメッセージ生成モデルに入力することにより、第2ユーザに提示すべきメッセージを生成し、且つ、当該メッセージを含む第2メッセージデータを第2クライアント装置20に送信する。
【0125】
変形例2の第2例のプロセッサ32は、センサによって得られた第1環境情報及び第2環境情報の組合せをメッセージ生成モデルに入力することにより、第1ユーザ及び第2ユーザに提示すべきメッセージを生成し、且つ、当該メッセージを含むメッセージデータを第1クライアント装置10及び第2クライアント装置20に送信する。
【0126】
変形例2の第3例の情報処理システム1では、第1空間SP1及び第2空間SP2の少なくとも1つは屋外である。
環境情報は、以下の少なくとも1つを含む。
・第1空間SP1の温度に関する温度情報
・第2空間SP2の温度に関する温度情報
【0127】
ホスト装置30は、センサに代えて、センサ以外のデバイス(例えば、環境情報を提供するサーバ)から第1環境情報及び第2環境情報の少なくとも1つを取得しても良い。
【0128】
変形例2によれば、第1ユーザ及び第2ユーザの少なくとも1人の環境に応じて、会話を促すメッセージを提示する。これにより、第1ユーザ及び第2ユーザの会話をより促進させることができる。
【0129】
(4-3)変形例3
変形例3を説明する。変形例3は、第1ユーザの属性及び第2ユーザの属性の少なくとも1つに応じたメッセージを第1ユーザ及び第2ユーザの少なくとも1人に提示する例である。
【0130】
変形例3のホスト装置30は、ステップS134(図7)において、第1ユーザの属性に関する情報(以下「第1属性情報」という)及び第2ユーザの属性に関する情報(以下「第2属性情報」という)の少なくとも1つに応じたメッセージを生成する。
具体的には、メッセージ生成モデルには、属性と、次の会話を促すためのメッセージと、の相関関係が規定されている。属性は、以下の少なくとも1つを含む。
・第1ユーザの現在年齢
・第2ユーザの現在年齢
・第1ユーザの性別
・第2ユーザの性別
【0131】
変形例3の第1例のプロセッサ32は、ステップS110で第1クライアント装置10から送信された第1ユーザ情報に含まれる第1ユーザの属性をメッセージ生成モデルに入力することにより、第1ユーザに提示すべきメッセージを生成し、且つ、当該メッセージを含む第1メッセージデータを第1クライアント装置10に送信する。
プロセッサ32は、ステップS120で第2クライアント装置20から送信された第2ユーザ情報に含まれる第2ユーザの属性をメッセージ生成モデルに入力することにより、第2ユーザに提示すべきメッセージを生成し、且つ、当該メッセージを含む第2メッセージデータを第2クライアント装置20に送信する。
【0132】
変形例3の第2例のプロセッサ32は、ステップS110で第1クライアント装置10から送信された第1ユーザ情報に含まれる第1ユーザの属性、及び、ステップS120で第2クライアント装置20から送信された第2ユーザ情報に含まれる第2ユーザの属性の組合せをメッセージ生成モデルに入力することにより、第1ユーザ及び第2ユーザに提示すべきメッセージを生成し、且つ、当該メッセージを含むメッセージデータを第1クライアント装置10及び第2クライアント装置20に送信する。
【0133】
変形例3によれば、第1ユーザ及び第2ユーザの少なくとも1人の属性に応じて、会話を促すメッセージを提示する。これにより、第1ユーザ及び第2ユーザの会話をより促進させることができる。
【0134】
(4-4)変形例4
変形例4を説明する。変形例4は、第1ユーザ及び第2ユーザの関係に応じたメッセージを第1ユーザ及び第2ユーザの少なくとも1人に提示する例である。
【0135】
変形例4のホスト装置30は、ステップS134(図7)において、第1ユーザ及び第2ユーザの関係に応じたメッセージを生成する。
具体的には、メッセージ生成モデルには、複数のユーザの関係と、次の会話を促すためのメッセージと、の相関関係が規定されている。
プロセッサ32は、ステップS110で第1クライアント装置10から送信された第1ユーザ情報及びステップS120で第2クライアント装置20から送信された第2ユーザ情報の少なくとも1つに含まれる関係をメッセージ生成モデルに入力することにより、第1ユーザ及び第2ユーザに提示すべきメッセージを生成し、且つ、当該メッセージを含むメッセージデータを第1クライアント装置10及び第2クライアント装置20に送信する。
【0136】
変形例4によれば、第1ユーザ及び第2ユーザの関係に応じて、会話を促すメッセージを提示する。これにより、第1ユーザ及び第2ユーザの会話をより促進させることができる。
【0137】
(4-5)変形例5
変形例5を説明する。変形例5は、第1指定年齢及び第2指定年齢の少なくとも1つに応じたメッセージを第1ユーザ及び第2ユーザの少なくとも1人に提示する例である。
【0138】
変形例5のホスト装置30は、ステップS134(図7)において、第1指定年齢及び第2指定年齢の少なくとも1つに応じたメッセージを生成する。
具体的には、メッセージ生成モデルには、年齢と、次の会話を促すためのメッセージと、の相関関係が規定されている。
【0139】
変形例5の第1例のプロセッサ32は、ステップS111で第1クライアント装置10から送信された第1指定年齢の値、及び、ステップS121で第2クライアント装置20から送信された第2指定年齢の値の大小関係を判定する。
プロセッサ32は、当該大小関係をメッセージ生成モデルに入力することにより、第1ユーザ及び第2ユーザに提示すべきメッセージを生成し、且つ、当該メッセージを含むメッセージデータを第1クライアント装置10及び第2クライアント装置20に送信する。
【0140】
変形例5の第2例のプロセッサ32は、ステップS111で第1クライアント装置10から送信された第1指定年齢の値、及び、ステップS121で第2クライアント装置20から送信された第2指定年齢の値の差(以下「指定年齢差」という)を計算する。
プロセッサ32は、当該指定年齢差をメッセージ生成モデルに入力することにより、第1ユーザ及び第2ユーザに提示すべきメッセージを生成し、且つ、当該メッセージを含むメッセージデータを第1クライアント装置10及び第2クライアント装置20に送信する。
【0141】
変形例5によれば、第1ユーザ及び第2ユーザの少なくとも1人の指定年齢に応じて、会話を促すメッセージを提示する。これにより、第1ユーザ及び第2ユーザの会話をより促進させることができる。
【0142】
(4-6)変形例6
変形例6を説明する。変形例6は、第1ユーザ及び第2ユーザのリプレイ動画を再生する例である。
【0143】
変形例6のプロセッサ12又は22は、ユーザの指示に応じて、リプレイ動画の再生を要求するためのリプレイリクエストデータをホスト装置30に送信する。
【0144】
プロセッサ32は、第1クライアント装置10又は第2クライアント装置20から送信されたリプレイリクエストデータに応じて、記憶装置31に記憶された以下の情報を合成することにより、リプレイ動画を生成する。
・第1顔画像
・第1予測顔画像
・第1音声
・第2顔画像
・第2予測顔画像
・第2音声
【0145】
プロセッサ32は、リプレイ動画を第1クライアント装置10又は第2クライアント装置20に送信する。
【0146】
プロセッサ12又は22は、第1クライアント装置10又は第2クライアント装置20から送信されたリプレイ動画を再生する。これにより、ディスプレイ16又は26には、リプレイ動画の画像が表示される。スピーカ18又は28からは、リプレイ動画の音声が出力される。
【0147】
変形例6によれば、第1ユーザ及び第2ユーザの会話の記録であるリプレイ動画が提供される。これにより、ユーザに対して、会話のモチベーションを与えることができる。
【0148】
なお、変形例6では、プロセッサ12又は22は、リプレイ動画のファイルをホスト装置30に保存しても良い。
ホスト装置30がウェブサーバである場合、ホスト装置30は、リプレイ動画のファイルにURL(Uniform Resource Locator)を割り当てる。
ホスト装置30は、第1ユーザ、第2ユーザ、並びに、第1ユーザ及び第2ユーザとは異なる第3ユーザ(つまり、第三者)の閲覧リクエストに応じて、閲覧リクエストを行ったユーザが使用するクライアント装置を介して、リプレイ動画を提示する。閲覧リクエストは、例えば、リプレイ動画のファイルが保存されたウェブサーバのアドレス(一例として、URL(Uniform Resource Locator))に対するアクセスである。
これにより、第1ユーザ~第3ユーザの少なくとも1人に対して、会話の終了後にリプレイ動画を提供することができる。
【0149】
(5)本実施形態の小括
本実施形態について小括する。
【0150】
本実施形態の第1態様は、
複数のユーザの会話を支援する情報処理装置(例えば、ホスト装置30)であって、
第1ユーザの第1顔画像を取得する手段(ステップS130の処理を実行するプロセッサ32)を備え、
第1ユーザの第1音声を取得する手段(ステップS133の処理を実行するプロセッサ32)を備え、
第2ユーザの第2顔画像を取得する手段(ステップS130の処理を実行するプロセッサ32)を備え、
第2ユーザの第2音声を取得する手段(ステップS133の処理を実行するプロセッサ32)を備え、
第1顔画像に基づいて、第1ユーザの年齢から加齢又は減齢した第1指定年齢における第1ユーザの第1予測顔画像を生成する手段(ステップS131の処理を実行するプロセッサ32)を備え、
第2顔画像に基づいて、第2ユーザの年齢から加齢又は減齢した第2指定年齢における第2ユーザの第2予測顔画像を生成する手段(ステップS131の処理を実行するプロセッサ32)を備え、
第1予測顔画像を、第2クライアント装置20を介して第2ユーザに提示する手段(ステップS132の処理を実行するプロセッサ32)を備え、
第2予測顔画像を、第1クライアント装置10を介して第1ユーザに提示する手段(ステップS132の処理を実行するプロセッサ32)を備え、
第1ユーザ及び第2ユーザの少なくとも1人に対して発話を促すメッセージを生成する手段(ステップS132の処理を実行するプロセッサ32)を備え、
第1ユーザ及び第2ユーザの少なくとも1人に対してメッセージを提示する手段(ステップS132の処理を実行するプロセッサ32)を備え、
メッセージに応じた第2音声を、第1クライアント装置10を介して第1ユーザに提示する手段(ステップS133の処理を実行するプロセッサ32)を備え、
メッセージに応じた第1音声を、第2クライアント装置20を介して第2ユーザに提示する手段(ステップS133の処理を実行するプロセッサ32)を備える、
情報処理装置である。
【0151】
第1態様によれば、第1ユーザの第1指定年齢に応じた第1予測画像を第2ユーザに提示し、第2ユーザの第2指定年齢に応じた第2予測画像を第1ユーザに提示し、且つ、第1ユーザ及び第2ユーザの少なくとも1人に発話を促すメッセージを提示する。これにより、第1ユーザ及び第2ユーザの会話を促進することができる。
【0152】
本実施形態の第2態様は、
第1顔画像に基づいて、第1ユーザの感情を解析する手段(ステップS133の処理を実行するプロセッサ32)を備え、
第2顔画像に基づいて、第2ユーザの感情を解析する手段(ステップS133の処理を実行するプロセッサ32)を備え、
メッセージを生成する手段は、第1ユーザの感情及び第2ユーザの感情の少なくとも1つに応じたメッセージを生成する、
情報処理装置である。
【0153】
第2態様によれば、第1ユーザの感情及び第2ユーザの感情の少なくとも1つに応じたメッセージを第1ユーザ及び第2ユーザの少なくとも1人に提示する。これにより、第1ユーザ及び第2ユーザの会話をより促進することができる。
【0154】
本実施形態の第3態様は、
第1音声に基づいて、第1ユーザの感情を解析する手段(ステップS133の処理を実行するプロセッサ32)を備え、
第2音声に基づいて、第2ユーザの感情を解析する手段(ステップS133の処理を実行するプロセッサ32)を備え、
メッセージを生成する手段は、第1ユーザの感情及び第2ユーザの感情の少なくとも1つに応じたメッセージを生成する、
情報処理装置である。
【0155】
第3態様によれば、第1ユーザの感情及び第2ユーザの感情の少なくとも1つに応じたメッセージを提示する。これにより、第1ユーザ及び第2ユーザの会話をより促進することができる。
【0156】
本実施形態の第4態様は、
第1音声に基づいて、第1音声の文脈を解析する手段(例えば、変形例1のプロセッサ32)を備え、
第2音声に基づいて、第2音声の文脈を解析する手段(例えば、変形例1のプロセッサ32)を備え、
メッセージを生成する手段は、第1音声の文脈及び第2音声の文脈の少なくとも1つに応じたメッセージを生成する、
情報処理装置である。
【0157】
第4態様によれば、第1ユーザ及び第2ユーザの少なくとも1人が発話した音声の文脈に応じたメッセージを提示する。これにより、第1ユーザ及び第2ユーザの会話をより促進することができる。
【0158】
本実施形態の第5態様は、
第1ユーザの環境に関する第1環境情報を取得する手段を備え、
第2ユーザの環境に関する第2環境情報を取得する手段を備え、
メッセージを生成する手段は、第1環境情報及び第2環境情報の少なくとも1つに応じたメッセージを生成する、
情報処理装置である。
【0159】
第5態様によれば、第1ユーザ及び第2ユーザの少なくとも1人の環境に応じたメッセージを提示する。これにより、第1ユーザ及び第2ユーザの会話をより促進することができる。
【0160】
本実施形態の第6態様は、
第1環境情報及び第2環境情報は、温度情報、湿度情報、及び、紫外線情報の少なくとも1つを含む、
情報処理装置である。
【0161】
第6態様によれば、第1ユーザの環境における温度、湿度、及び、紫外線、並びに、第2ユーザの環境における温度、湿度、及び、紫外線の少なくとも1つに応じたメッセージを提示する。これにより、第1ユーザ及び第2ユーザの会話をより促進することができる。
【0162】
本実施形態の第7態様は、
メッセージを生成する手段は、第1ユーザの属性及び第2ユーザの属性の組合せに応じたメッセージを生成する、
情報処理装置である。
【0163】
第7態様によれば、第1ユーザの属性及び第2ユーザの属性の組合せに応じたメッセージを提示する。これにより、第1ユーザ及び第2ユーザの会話をより促進することができる。
【0164】
本実施形態の第8態様は、
属性は、ユーザの年齢及び性別の少なくとも1つを含む、
情報処理装置である。
【0165】
第7態様によれば、第1ユーザの年齢及び性別の少なくとも1つと、第2ユーザの年齢及び性別の少なくとも1つと、の組合せに応じたメッセージを提示する。これにより、第1ユーザ及び第2ユーザの会話をより促進することができる。
【0166】
本実施形態の第9態様は、
メッセージを生成する手段は、第1ユーザと第2ユーザとの関係に応じたメッセージを生成する、
情報処理装置である。
【0167】
第9態様によれば、第1ユーザ及び第2ユーザの関係に応じたメッセージを提示する。これにより、第1ユーザ及び第2ユーザの会話をより促進することができる。
【0168】
本実施形態の第10態様は、
メッセージを生成する手段は、第1指定年齢及び第2指定年齢の組合せに応じたメッセージを生成する、
情報処理装置である。
【0169】
第10態様によれば、第1ユーザの第1指定年齢及び第2ユーザの第2指定年齢の組合せに応じたメッセージを提示する。これにより、第1ユーザ及び第2ユーザの会話をより促進することができる。
【0170】
本実施形態の第11態様は、
メッセージを生成する手段は、第1指定年齢及び第2指定年齢の大小関係及び指定年齢差の少なくとも1つに応じたメッセージを提示する、
情報処理装置である。
【0171】
第11態様によれば、第1ユーザの第1指定年齢及び第2ユーザの第2指定年齢の大小関係及び指定年齢差の少なくとも1つに応じたメッセージを提示する。これにより、第1ユーザ及び第2ユーザの会話をより促進することができる。
【0172】
本実施形態の第12態様は、
第2ユーザに対する第1ユーザの視線と、第1ユーザに対する第2ユーザの視線と、を遮る位置に配置された遮蔽部W1を備える、
情報処理装置である。
【0173】
第12態様によれば、遮蔽部W1が第1ユーザ及び第2ユーザが互いの表情を直接認知できない環境を構築する。第1ユーザ及び第2ユーザは、それぞれ、第2予測画像及び第1予測画像を見ながら会話するように誘導される。これにより、第1ユーザ及び第2ユーザの会話をより促進することができる。
【0174】
本実施形態の第13態様は、
第1顔画像、第2顔画像、第1予測顔画像、第2予測顔画像、第1音声、及び、第2音声の組合せを含むログデータと、会話の経過時間と、を関連付けて記憶する手段(例えば、ステップS135を実行するプロセッサ32)を備え、
経過時間に関連付けられたログデータを用いてリプレイ動画を生成する手段(例えば、変形例6のプロセッサ32)を備え、
第1ユーザ、第2ユーザ、並びに、第1ユーザ及び第2ユーザ以外の第3ユーザの少なくとも1人に提示する手段(例えば、変形例6のプロセッサ32)を備える、
情報処理装置である。
【0175】
第13態様によれば、リプレイ動画が提供される。これにより、第1ユーザ~第3ユーザの少なくとも1人は、会話の終了後に、会話の様子を閲覧することができる。
【0176】
本実施形態の第14態様は、
会話の終了後に、第1ユーザの第1記念画像と、第2ユーザの第2記念画像と、を取得する手段(例えば、ステップS135を実行するプロセッサ32)を備える、
情報処理装置である。
【0177】
第14態様によれば、第1ユーザの第1記念画像及び第2ユーザの第2記念画像の組合せを取得する。これにより、会話の記念画像を保存することができる。
【0178】
本実施形態の第15態様は、
第1予測顔画像及び第2予測画像を、第1クライアント装置10及び第2クライアント装置20を介して第1ユーザ及び第2ユーザに提示する手段(例えば、ステップS130を実行するプロセッサ32)を備える、
情報処理装置である。
【0179】
第15態様によれば、第1予測画像及び第2予測画像の組合せを、第1ユーザ及び第2ユーザに提示する。これにより、第1ユーザ及び第2ユーザの会話をより促進することができる。
【0180】
本実施形態の第16態様は、
コンピュータ(例えば、プロセッサ12、22、及び、32の少なくとも1つ)を、上記の各手段として機能させるためのプログラムである。
【0181】
(6)その他の変形例
その他の変形例を説明する。
【0182】
記憶装置11は、ネットワークNWを介して、第1クライアント装置10と接続されてもよい。記憶装置31は、ネットワークNWを介して、ホスト装置30と接続されてもよい。
【0183】
上記の情報処理のホスト装置30の各ステップは、第1クライアント装置10及び第2クライアント装置20でも実行可能である。この場合、第1クライアント装置10及び第2クライアント装置20は、ホスト装置30にリクエストを送信することなく、スタンドアロンで動作する情報処理装置として機能する。
【0184】
ホスト装置30は、サーバ(例えば、ウェブサーバ)であっても良い。この場合、第1クライアント装置10及び第2クライアント装置20は、例えば、インターネットを介してサーバに接続される。
【0185】
以上、本発明の実施形態について詳細に説明したが、本発明の範囲は上記の実施形態に限定されない。また、上記の実施形態は、本発明の主旨を逸脱しない範囲において、種々の改良や変更が可能である。また、上記の実施形態及び変形例は、組合せ可能である。
【符号の説明】
【0186】
1 :情報処理システム
10 :第1クライアント装置
11 :記憶装置
12 :プロセッサ
13 :入出力インタフェース
14 :通信インタフェース
15 :カメラ
16 :ディスプレイ
17 :マイクロフォン
18 :スピーカ
20 :第2クライアント装置
21 :記憶装置
22 :プロセッサ
23 :入出力インタフェース
24 :通信インタフェース
25 :カメラ
26 :ディスプレイ
27 :マイクロフォン
28 :スピーカ
30 :ホスト装置
31 :記憶装置
32 :プロセッサ
33 :入出力インタフェース
34 :通信インタフェース
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12