特許 6351692 表示制御装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6351692

(24)【登録日】2018年6月15日

(45)【発行日】2018年7月4日

(54)【発明の名称】表示制御装置

(51)【国際特許分類】

   G06F 3/0481 20130101AFI20180625BHJP

   G06F 3/16 20060101ALI20180625BHJP

【ＦＩ】

   G06F3/0481

   G06F3/16 620

【請求項の数】6

【全頁数】24

(21)【出願番号】特願2016-224422(P2016-224422)

(22)【出願日】2016年11月17日

(65)【公開番号】特開2018-81583(P2018-81583A)

(43)【公開日】2018年5月24日

【審査請求日】2017年3月7日

【新規性喪失の例外の表示】特許法第３０条第２項適用 平成２８年１０月２７日、ｃｏｃｏｒｏ ＳＢ株式会社、ＳＢドライブ株式会社が、愛知県みよし市にて、吉崎栄治、朝長康介及び大浦清が発明した「表示制御装置」について、実証実験を行った。

(73)【特許権者】

【識別番号】516096726

【氏名又は名称】ｃｏｃｏｒｏ ＳＢ株式会社

(74)【代理人】

【識別番号】110000877

【氏名又は名称】龍華国際特許業務法人

(72)【発明者】

【氏名】朝長 康介

(72)【発明者】

【氏名】大浦 清

(72)【発明者】

【氏名】吉崎 栄治

【審査官】 円子 英紀

(56)【参考文献】

【文献】 特開２００３−０７６４６０（ＪＰ，Ａ）

【文献】 特開２０１２−０００４４９（ＪＰ，Ａ）

【文献】 特開２００２−２１０２３３（ＪＰ，Ａ）

【文献】 ソードアート・オンライン −ホロウ・リアリゼーション−，電撃ＰｌａｙＳｔａｔｉｏｎ，株式会社ＫＡＤＯＫＡＷＡ，２０１６年 ８月１０日，第22巻第20号，pp.48-49

【文献】 進藤智則，Ｐｅｐｐｅｒの感情生成エンジンはＲＮＮを利用 ７種の仮想的ホルモンを模擬して喜怒哀楽，日経エレクトロニクス，日本，日経ＢＰ社，２０１５年１１月２０日，第1162号，pp.100-101

【文献】 伊福部 達ほか，進化するヒトと機械の音声コミュニケーション，株式会社エヌ・ティー・エス，２０１５年 ９月１０日，第1版，pp.109-112

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ６３Ｆ １３／５０−１３／５４

Ａ６３Ｆ １３／５５−１３／５８

Ｇ０６Ｆ ３／０４８−３／０４８９

Ｇ０６Ｆ ３／１６

(57)【特許請求の範囲】

【請求項1】

対象オブジェクトの現在の主感情及び副感情を示す情報を取得する取得部と、
前記情報が示す前記副感情の変化に応じて、球形状の第１の表示オブジェクトの形状を変化させ、前記情報が示す前記主感情の変化に応じて、前記主感情として選択され得る複数の第２の感情に対応づけられた色を前記複数の第２の感情の強さに応じた重み付けで合成した色に、前記第１の表示オブジェクトの内側に位置する第２の表示オブジェクトの色を変化させる表示制御部と
を備える表示制御装置。

【請求項2】

前記表示制御部はさらに、前記主感情の変化に応じて、前記第２の表示オブジェクトの形状を変化させる
請求項１に記載の表示制御装置。

【請求項3】

前記表示制御部はさらに、前記副感情の変化に応じて、前記副感情として選択され得る複数の第１の感情に対応づけられた色を前記複数の第１の感情の強さに応じた重み付けで合成した色に、前記第１の表示オブジェクトの色を変化させる
請求項１又は２に記載の表示制御装置。

【請求項4】

前記情報は、前記複数の第２の感情の強さを示す強さ情報を含み、
前記複数の第２の感情は感情マップによって互いに異なる位置にマッピングされ、前記感情マップが前記複数の第２の感情をマッピングする位置に色が対応づけられ、
前記表示制御部は、前記複数の第２の感情が前記感情マップによってマッピングされる位置に対応づけられた色を前記強さ情報が示す前記複数の第２の感情の強さに応じた重み付けで合成した色で、前記第２の表示オブジェクトを表示させる
請求項１から３のいずれか一項に記載の表示制御装置。

【請求項5】

前記情報は、前記副感情の強さを示す強さ情報を含み、
前記表示制御部は、前記副感情の強さに応じて、前記第１の表示オブジェクトの形状を変化させる
請求項１から４のいずれか一項に記載の表示制御装置。

【請求項6】

前記第１の表示オブジェクトは、複数の点と、前記複数の点を結ぶ線で形成され、
前記表示制御部は、前記副感情の強さが強いほど、前記複数の点のうちの少なくとも１つの点の位置を、予め定められた球面上の位置からシフトさせる
請求項５に記載の表示制御装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、表示制御装置に関する。

【背景技術】

【0002】

ユーザと通話相手との会話を学習してユーザの問いかけに対する通話相手の返答を返答テーブルに蓄積する端末が知られている（例えば、特許文献１参照）。また、ユーザ情報、機器情報及び自身の現在の感情状態を入力して次回の感情状態を出力するニューラルネットを備える感情生成装置が知られている（例えば、特許文献２参照）。また、方向性人工シナプス接続性を有するレイヤ・ニューラルネット関係を有する複数の電子ニューロンを含む連想メモリに時空パターンを記憶する技術が知られている（例えば、特許文献３参照）。
［先行技術文献］
［特許文献］
［特許文献１］特開２０１１−２５３３８９号公報
［特許文献２］特開平１０−２５４５９２号公報
［特許文献３］特表２０１３−５３５０６７号公報

【発明の概要】

【発明が解決しようとする課題】

【0003】

感情を適切な態様で表示することが望まれている。

【課題を解決するための手段】

【0004】

本発明の第１の態様においては、表示制御装置は、対象オブジェクトの現在の感情を示す情報を取得する取得部と、情報が示す感情の変化に応じて、球形状の第１の表示オブジェクトの形状又は色を変化させる表示制御部とを備える。

【0005】

表示制御部は、感情の変化に応じて、第１の表示オブジェクトの内側に位置する第２の表示オブジェクトの形状又は色を変化させてよい。

【0006】

情報は、対象オブジェクトの現在の主感情及び副感情を示してよい。表示制御部は、主感情の変化に応じて、第２の表示オブジェクトの形状又は色を変化させ、副感情の変化に応じて、第１の表示オブジェクトの形状又は色を変化させてよい。

【0007】

情報は、複数の感情の強さを示す強さ情報を含んでよい。表示制御部は、複数の感情のうち主感情として選択され得る複数の第２の感情に対応づけられた色を、強さ情報が示す複数の第２の感情の強さに応じた重み付けで合成した色で、第２の表示オブジェクトを表示させてよい。

【0008】

表示制御部は、複数の感情のうち副感情として選択され得る複数の第１の感情に対応づけられた色を、強さ情報が示す複数の第１の感情の強さに応じた重み付けで合成した色で、第１の表示オブジェクトを表示させてよい。

【0009】

情報は、複数の感情の強さを示す強さ情報を含んでよい。複数の感情は感情マップによって互いに異なる位置にマッピングされ、感情マップが複数の感情をマッピングする位置に色が対応づけられてよい。表示制御部は、複数の感情の強さと、複数の感情が感情マップによってマッピングされる位置に対応づけられた色とから定まる色で、第１の表示オブジェクトを表示させてよい。

【0010】

情報は、複数の感情の強さを示す強さ情報を含んでよい。表示制御部は、複数の感情に対応づけられた色を複数の感情の強さに応じた重み付けで合成した色で、第１の表示オブジェクトを表示させてよい。

【0011】

情報は、感情の強さを示す強さ情報を含んでよい。表示制御部は、感情の強さに応じて、第１の表示オブジェクトの形状を変化させてよい。

【0012】

第１の表示オブジェクトは、複数の点と、複数の点を結ぶ線で形成されてよい。表示制御部は、感情の強さが強いほど、複数の点のうちの少なくとも１つの点の位置を、予め定められた球面上の位置からシフトさせてよい。

【0013】

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

【図面の簡単な説明】

【0014】

【図1】本実施形態に係る表示システム１０の全体構成の一例を概略的に示す。

【図2】ユーザ端末４０及びサーバ６０のブロック構成を概略的に示すブロック図である。

【図3】複数の感情がマッピングされる感情マップ３００を概略的に示す。

【図4】表示システム１０が用いるニューラルネットワークの一部を概略的に示す。

【図5】ユーザ５０の怒りの強さと内分泌物質とを対応づける対応情報の一例である。

【図6】ノルアドレナリンの分泌量と結合係数ＢＳとを対応づける結合係数対応情報の一例である。

【図7】表示部１４０が表示する表示オブジェクト２０の一例を模式的に示す。

【図8】形状及び色を変化させた表示オブジェクトの一例を模式的に示す。

【図9】ユーザ端末４０における処理手順を示すフローチャートである。

【図10】サーバ６０における処理手順を示すフローチャートである。

【図11】会話アプリケーションにおける表示部１４０の画面遷移の一例を示す。

【図12】複数の実施形態が全体的または部分的に具現化され得るコンピュータ２０００の例を示す。

【発明を実施するための形態】

【0015】

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

【0016】

図１は、本実施形態に係る表示システム１０の全体構成の一例を概略的に示す。表示システム１０は、サーバ６０と、ユーザ端末４０とを備える。ユーザ端末４０は、表示装置の一例である。ユーザ端末４０は、表示システム１０において感情を特定する対象オブジェクトの一例である。

【0017】

本実施形態において、ユーザ端末４０は携帯端末である。ユーザ端末４０は、例えば、携帯電話である。ユーザ端末４０は通信機能を有する。ユーザ５０は、ユーザ端末４０のユーザである。ユーザ端末４０は、ユーザ５０と会話等のやりとりを行う。

【0018】

なお、ユーザ端末４０は、携帯情報端末、タブレット端末等のコンピュータであってよい。ユーザ端末４０はロボットに組み込まれたコンピュータであってよい。ユーザ端末４０は、家電製品等の機器に組み込まれた組み込みコンピュータであってよい。ユーザ端末４０は、店舗に設けられたコンピュータであってよい。ユーザ端末４０は、自動販売機等の販売機に組み込まれたコンピュータであってよい。ユーザ端末４０は、車両に搭載されたコンピュータであってよい。車両は、自動車や自動二輪車等であってよい。ユーザ端末４０は、ユーザとインタラクトし得る他の任意のコンピュータであってよい。

【0019】

サーバ６０は、ユーザ端末４０とは遠隔に設けられる。サーバ６０は、通信ネットワーク９０を通じてユーザ端末４０を通信することができる。例えば、サーバ６０は、ユーザ端末４０で取得された情報を通信ネットワーク９０を通じて受信して、受信した情報に基づいてユーザ端末４０の感情やユーザ端末４０に行わせる処理等を特定して、特定した感情や処理等を示す情報を通信ネットワーク９０を通じてユーザ端末４０に送信する。なお、本実施形態においては、ユーザ端末４０を１つのみ示すが、表示システム１０はユーザ端末４０と同様の機能を有するユーザ端末を複数備えてよい。表示システム１０が複数のユーザ端末を備える場合、複数のユーザ端末のうちの少なくとも一部のユーザ端末のユーザは、他のユーザ端末のユーザと異なってよい。

【0020】

表示システム１０では、ユーザ端末４０の感情を特定したりユーザ端末４０の処理を決定したりする処理を、サーバ６０が実行する。しかし、サーバ６０における処理の一部又は全てを、ユーザ端末４０が実行してもよい。

【0021】

ユーザ端末４０は、ユーザ５０からの音声入力を検出すると、音声認識により音声からテキスト情報を抽出する。また、ユーザ端末４０は、入力された音声を解析してユーザ５０の感情情報を含む状態情報を特定する。状態情報は、ユーザ５０の状態及びユーザ端末４０の状態等を示す。ユーザ端末４０は、抽出した音声入力のテキスト情報及びユーザ５０の状態情報を、通信ネットワーク９０を介してサーバ６０に送信する。サーバ６０は、ユーザ端末４０から受信したテキスト情報に基づいて、返答内容を決定して、返答内容を示すテキスト情報をユーザ端末４０に送信する。また、サーバ６０は、ユーザ端末４０から受信した状態情報等に基づいて、ユーザ端末４０の感情を特定する。サーバ６０は、特定した感情を示す感情情報を、通信ネットワーク９０を通じてユーザ端末４０に送信する。

【0022】

ユーザ端末４０は、返答内容を示すテキスト情報をサーバ６０から受信すると、受信したテキスト情報に基づいてユーザ端末４０から音声を発生させる。これにより、ユーザ端末４０は、ユーザ５０と会話を行う。また、ユーザ端末４０は、感情情報をサーバ６０から受信すると、受信した感情情報に基づいて、ユーザ端末４０が備える表示部１４０に、感情を表す表示オブジェクト２０を表示する。

【0023】

サーバ６０は、予め定められた時間間隔で最新の感情情報を生成して、ユーザ端末４０に送信する。例えば、サーバ６０は、１秒間隔で最新の感情情報を生成する。ユーザ端末４０は、受信した最新の感情情報に基づく感情の変化に応じて、表示オブジェクト２０の色又は形状を変化させる。これにより、感情の移り変わりをユーザ５０に適切に提示することができる。

【0024】

なお、本実施形態において、感情を特定する対象となる対象オブジェクトは、ユーザ端末４０であるとする。しかし、対象オブジェクトは、ユーザ端末４０に限られない。対象オブジェクトは、仮想のオブジェクトであってよい。例えば、対象オブジェクトは、仮想のキャラクターであってよい。例えば、仮想のキャラクターは、アプリケーションプログラムによって仮想的に提供されてよい。例えば、ユーザ端末４０における会話アプリケーションにおいて、会話相手として認識される仮想的なオブジェクトを対象オブジェクトとみなしてよい。

【0025】

図２は、ユーザ端末４０及びサーバ６０のブロック構成を概略的に示すブロック図である。まず、ユーザ端末４０の機能ブロック構成について説明する。ユーザ端末４０は、センサ部１２０と、処理部１３０と、表示部１４０と、音声出力部１８０と、通信部１０２とを有する。処理部１３０は、表示制御装置として機能する。処理部１３０は、ＭＰＵ等のプロセッサであってよい。表示部１４０は、液晶ディスプレイ等の表示デバイスを有する。通信部１０２は、サーバ６０との通信を担う。通信部１０２は、ネットワークＩＦ等の通信デバイスであってよい。音声出力部１８０は、例えばスピーカを含む。ユーザ端末４０は、ユーザ端末４０として機能させるためのデータを格納する記憶媒体を備えてよい。

【0026】

センサ部１２０は、マイク、ジャイロセンサ、カメラ、電池残量センサ等の各種のセンサを有する。センサ部１２０のマイクは、周囲の音声を取得する。例えば、センサ部１２０のマイクは、ユーザ５０の音声を取得する。センサ部１２０のカメラは、可視光によって撮影して動画や静止画の画像情報を生成する。センサ部１２０のジャイロセンサは、ユーザ端末４０全体及びユーザ端末４０の各部の角速度を検出する。センサ部１２０の電池残量センサは、ユーザ端末４０が備える電池の残存容量を検出する。

【0027】

センサ部１２０は、マイクで取得された音声データ、カメラで撮影された画像、ジャイロセンサで検出された角速度、電池残量センサで検出した残存容量等の各種のセンサデータを、処理部１３０に出力する。処理部１３０は、取得したセンサ信号を通信部１０２に供給して、サーバ６０へ送信させる。また、処理部１３０は、サーバ６０から受信したテキスト情報に基づいて、ユーザ端末４０の音声出力部１８０ら出力させる。また、処理部１３０は、サーバ６０から受信した感情情報に基づいて、表示部１４０に表示オブジェクト２０を表示させる。

【0028】

次に、サーバ６０の機能ブロック構成について説明する。サーバ６０は、処理部２７０と、通信部２０２と、格納部２８０とを有する。処理部２７０は、感情処理部２７２と会話処理部２７４とを有する。感情処理部２７２は、分泌情報生成部２００と、入力情報生成部２１０と、調整部２２０と、判定部２４０と、感情特定部２６０とを備える。

【0029】

通信部２０２は、ユーザ端末４０との通信を担う。通信部２０２は、ネットワークＩＦ等の通信デバイスであってよい。格納部２８０は、ハードディスク装置、フラッシュメモリ等の記憶媒体を有する。また、格納部２８０は、ＲＡＭ等の揮発性記憶装置を有する。格納部２８０は、処理部２７０が実行時に読み出すプログラムコードや各種の一時データの他、処理部２７０の処理の実行に必要なデータ等を格納する。

【0030】

通信部２０２が受信したユーザ端末４０からのテキスト情報は、会話処理部２７４に出力される。会話処理部２７４は、受信したテキスト情報に基づいて、ユーザ５０への返答内容を決定する。会話処理部２７４は、決定した返答内容を示すテキスト情報を通信部２０２に出力する。通信部２０２は、返答内容を示すテキスト情報をユーザ端末４０に送信する。

【0031】

通信部２０２がユーザ端末４０から受信した状態情報は、感情処理部２７２に出力される。感情処理部２７２において、入力情報生成部２１０は、状態情報に基づいて、感情を特定するためのニューラルネットワークへの入力情報を生成する。入力情報は、ユーザ５０の感情情報や、ユーザ端末４０の各種センサで取得されたセンサ情報等を含む。入力情報生成部２１０が生成した入力情報は、ＮＮ演算部２３０に出力される。

【0032】

分泌情報生成部２００は、入力情報生成部２１０から生成した入力情報に基づいて、１以上の内分泌物質の分泌量を示す分泌情報を生成する。内分泌物質としては、ノルアドレナリン、ドーパミン等を例示できる。なお、内分泌物質の分泌量を示す分泌情報は、表示システム１０における内部情報として擬似的に生成されるものであり、内分泌物質を実際に分泌させるわけではない。

【0033】

調整部２２０は、分泌情報生成部２００が生成した分泌情報が示す内分泌物質の分泌量に基づいて、ＮＮ演算部２３０が入力情報から感情を決定するための演算パラメータを調整する。調整部２２０が調整する演算パラメータは、ニューラルネットワークに含まれる人工シナプスの結合係数であってよい。

【0034】

格納部２８０は、入力情報と内分泌物質の分泌量とを対応づける対応情報を格納する。分泌情報生成部２００は、入力情報生成部２１０が生成した入力情報に対応づけられている内分泌物質の分泌量を変化させる。また、格納部２８０は、複数の人工シナプスのそれぞれと内分泌物質とを対応づける対応情報を格納する。調整部２２０は、分泌情報生成部２００が生成した分泌情報が示す内分泌物質の分泌量に応じて、対応情報によって内分泌物質が対応づけられている複数の人工シナプスのそれぞれの結合係数を変化させる。

【0035】

ＮＮ演算部２３０は、入力情報生成部２１０から出力された入力情報を用いて、ニューラルネットワークの演算を行う。判定部２４０がＮＮ演算部２３０によるニューラルネットワークの演算結果に基づいて、人工ニューロンの判定を行う。感情特定部２６０は、判定部２４０による人工ニューロンの判定結果に基づいて、感情を特定する。また、感情特定部２６０は、人工ニューロンの発火状態及び内分泌物質の分泌量に基づいて、感情の強さを特定する。

【0036】

ニューラルネットワークは、感情が定められた人工ニューロンである複数の感情人工ニューロンを含む。判定部２４０は、複数の感情人工ニューロンのそれぞれの現在の発火状態を判定する。感情特定部２６０は、判定部２４０により判定された感情人工ニューロンの発火状態に基づいて、現在の感情を決定する。例えば、感情特定部２６０は、ユーザ端末４０の感情として、発火した１以上の感情人工ニューロンに割り当てられている１以上の感情を特定してよい。なお、感情特定部２６０は、内分泌物質の分泌量が多いほど、強い感情を特定してよい。また、感情特定部２６０は、発火状態にある感情人工ニューロンの出力が大きいほど、強い感情を特定してよい。感情特定部２６０により特定された感情を示す情報及び感情の強さを示す情報を含む感情情報は、通信部２０２に供給され、通信部２０２からユーザ端末４０へ送信される。なお、通信部２０２は、ユーザ端末４０の現在の感情を示す情報を取得する取得部の一例である。

【0037】

次に、ユーザ端末４０において、通信部２０２が受信した感情を示す情報に関する処理について説明する。処理部１３０は、感情情報が示す感情の変化に応じて、球形状の第１の表示オブジェクトの形状又は色を変化させる。具体的には、処理部１３０は、感情の変化に応じて、第１の表示オブジェクトの内側に位置する第２の表示オブジェクトの形状又は色を変化させる。

【0038】

感情情報は、ユーザ端末４０の現在の主感情及び副感情を示す。処理部１３０は、主感情の変化に応じて、第２の表示オブジェクトの形状又は色を変化させ、副感情の変化に応じて、第１の表示オブジェクトの形状又は色を変化させる。このように、処理部１３０は、主感情の変化に応じて、複数の表示オブジェクトのうちの一方の表示オブジェクトの形状又は色を変化させ、副感情の変化に応じて、複数の表示オブジェクトのうちの他方の表示オブジェクトの形状又は色を変化させる。なお、処理部１３０は、主感情の変化に応じて、第２の表示オブジェクトの色を変化させ、副感情の変化に応じて、第１の表示オブジェクトの色を変化させてよい。

【0039】

感情情報は、複数の感情の強さを示す強さ情報を含んでよい。この場合、処理部１３０は、複数の感情のうち主感情として選択され得る複数の第２の感情に対応づけられた色を、強さ情報が示す複数の第２の感情の強さに応じた重み付けで合成した色で、第２の表示オブジェクトを表示させる。また、処理部１３０は、複数の感情のうち副感情として選択され得る複数の第１の感情に対応づけられた色を、強さ情報が示す複数の第１の感情の強さに応じた重み付けで合成した色で、第１の表示オブジェクトを表示させる。

【0040】

複数の感情は、感情マップによって互いに異なる位置にマッピングされ、感情マップが複数の感情をマッピングする位置に色が対応づけられていてよい。この場合、処理部１３０は、複数の感情の強さと、複数の感情が感情マップによってマッピングされる位置に対応づけられた色とから定まる色で、第１の表示オブジェクトを表示させてよい。このように、処理部１３０は、複数の感情に対応づけられた色を複数の感情の強さに応じた重み付けで合成した色で、第１の表示オブジェクトを表示させてよい。

【0041】

処理部１３０は、感情の強さに応じて、第１の表示オブジェクトの形状を変化させる。例えば、処理部１３０は、感情の強さが強いほど、第１の表示オブジェクトの一部を大きく突出させる。処理部１３０は、感情の強さが強いほど、第１の表示オブジェクトの、球形からの変形度を大きくしてよい。

【0042】

一例として、第１の表示オブジェクトは、複数の点と、複数の点を結ぶ線で形成される。この場合、処理部１３０は、感情の強さが強いほど、複数の点のうちの少なくとも１つの点の位置を、予め定められた球面上の位置からシフトさせる。処理部１３０は、シフトされる点と他の点とを結ぶ２つの線がなす角度を小さくしてよい。

【0043】

図３は、複数の感情がマッピングされる感情マップ３００を概略的に示す。感情マップ３００において、感情は、中心から放射状に同心円に配置されている。同心円の中心に近いほど、原始的状態の感情が配置されている。同心円のより外側には、心境から生まれる状態や行動を表す感情が配置されている。感情とは、情動や心的状態も含む概念である。感情マップ３００において、同心円より上側には、概ね、快い心情を表す感情が配置される。また、同心円より下側には、概ね、不快な心情を表す感情が配置される。同心円の左側には、概して脳内で起きる反応から生成される感情が配置されている。同心円の右側には概して、状況判断で誘導される感情が配置されている。

【0044】

第一円周は、「好き」、「安心」等の感情を含む。第一円周には、情感に関する感情が含まれる。第二円周は、「愛」、「喜楽」等の感情を含む。第二円周には、情動的感情に関する感情が含まれる。第三円周は、「愛しい」、「楽しい」等の感情を含む。第三円周には、感情表現に関する感情が含まれる。第四円周は、「素晴らしい」、「誇らしい」等の感情を含む。第四円周には、感情状態表現を表す感情が含まれる。

【0045】

ＮＮ演算部２３０が演算対象とするニューラルネットワークは、感情マップ３００に示す各感情に割り当てられた人工ニューロンを含む。ニューラルネットワークはまた、感情マップ３００において同心円の最も内側に位置する入力にも、それぞれ入力用の人工ニューロンが割り当てられている。入力に割り当てられた入力用の人工ニューロンには、入力情報生成部２１０が生成した入力情報が入力される。そして、概ね内側から外側に向かって人工ニューロンが人工シナプスで接続されて、ニューラルネットワークを形成する。

【0046】

ＮＮ演算部２３０は、入力情報に基づいて繰り返しニューラルネットワークの演算を行い、判定部２４０は、各人工ニューロンの発火状態を判定する。感情特定部２６０は、各人工ニューロンの発火状態からユーザ端末４０の感情を特定する。例えば、感情特定部２６０は、発火した人工ニューロンが割り当てられている感情を、ユーザ端末４０が持つ感情として特定する。なお、発火した人工ニューロンが複数存在する場合、ユーザ端末４０は複数の感情を持つものと判断する。

【0047】

なお、感情マップ３００が感情をマッピングする位置には、色が対応づけられている。一例として、感情マップ３００が含む領域３１０には、黄色又は主用な色成分が黄色である色が対応づけられている。領域３１０内には、「愛しい」、「嬉しい」、「楽しい」、「歓喜」、「愛」、「喜楽」、「好き」の感情が位置している。領域３１０は、概して嬉しさを表す感情が位置する領域である。

【0048】

領域３２０には、赤色又は主用な色成分が赤色である色が対応づけられている。領域３２０内には、「嫌い」、「辛」、「怒」、「悲しい」、「許せない」の感情が位置している。領域３２０は、概して不快を表す感情が位置する領域である。

【0049】

領域３３０には、緑色又は主用な色成分が緑色である色が対応づけられている。領域３３０内には、「安心」、「安穏」、「心強い」の感情が位置している。領域３３０は、概して安定を表す感情が位置する領域である。

【0050】

領域３４０には、青色又は主用な色成分が青色である色が対応づけられている。領域３４０内には、「不安」、「恐怖」、「怖い」、「苦痛」、「苦」の感情が位置している。領域３４０は、概して不安を表す感情が位置する領域である。

【0051】

なお、図３においては一例として、領域３１０、領域３２０、領域３３０及び領域３４０に対応づけられた色のみを例示したが、感情マップ３００がマッピングする全ての感情の位置に、色が対応づけられている。

【0052】

処理部１３０は、複数の感情の強さと、複数の感情が感情マップ３００よってマッピングされる位置に対応づけられた色とから定まる色で、表示オブジェクト２０を表示させる。なお、感情マップ３００の第一円周、第二第円周及び三円周に含まれる感情は、主感情に対応する。感情マップ３００の第四円周に含まれる感情は、副感情に対応する。処理部１３０は、主感情に対応する感情に対応づけられた色と、副感情に対応する感情に対応づけられた色とを用いて、表示オブジェクト２０の色を決定してよい。処理部１３０が決定する表示オブジェクト２０の色については、後述する。

【0053】

図４は、表示システム１０が用いるニューラルネットワークの一部を概略的に示す。図示されるニューラルネットワークの一部は、人工ニューロンＮ^１、Ｎ^２、Ｎ^３、Ｎ^４、Ｎ^５及びＮ^６と、人工シナプスＳ^１２、Ｓ^１４、Ｓ^２３、Ｓ^２５、Ｓ^３６、Ｓ^４２、Ｓ^４３、Ｓ^４５、Ｓ^５３、Ｓ^５６とを含む。人工ニューロンは、生体におけるニューロンに対応する。人工シナプスは、生体におけるシナプスに対応する。

【0054】

Ｅ^１は、入力情報を示す。人工ニューロンＮ^１は、入力用の人工ニューロンである。人工ニューロンＮ^１には、ｎ個の入力情報Ｅ_１^１・・・入力情報Ｅ_ｎ^１が入力される。

【0055】

人工シナプスＳ^１２は、人工ニューロンＮ^１と人工ニューロンＮ^２とを接続する人工シナプスである。特に、人工シナプスＳ^１２は、人工ニューロンＮ^１の出力を、人工ニューロンＮ^２に入力する人工シナプスである。人工シナプスＳ^１４は、人工ニューロンＮ^１と人工ニューロンＮ^４とを接続する人工シナプスである。特に、人工シナプスＳ^１４は、人工ニューロンＮ^１の出力を、人工ニューロンＮ^４に入力する人工シナプスである。なお、ｊ、ｋを整数として、人工ニューロンＮ^ｊの出力を人工ニューロンＮ^ｋに入力する人工シナプスを、人工シナプスＳ^ｊｋと表記する。

【0056】

ここで、ｉを整数として、各人工ニューロンをＮ^ｉで表記するものとする。Ｎ^ｉは、Ｎ^ｉのステータスを表すＳ^ｉと、Ｎ^ｉが表す人工ニューロンの内部状態を表すＶ^ｉｍと、Ｎ^ｉの発火の閾値を表すＴ^ｉとをパラメータとして持つ。また、人工シナプスＳ^ｊｋは、パラメータとして、結合係数ＢＳ^ｊｋを持つ。なお、本実施形態においては、人工ニューロンを、その添え字を省略して人工ニューロンＮと総称する場合がある。また、人工シナプスを、その添え字を省略して人工シナプスＳと総称する場合がある。同様に、人工ニューロンのパラメータについても、それらの添え字を省略して、内部情報Ｖｍ、閾値Ｔ、ステータスＳと総称する場合がある。

【0057】

人工ニューロンＮのステータスＳ、内部状態Ｖｍ、及び閾値Ｔは、時刻の進展とともに更新され得るパラメータである。ステータスＳは、ニューロンの発火状態に関する情報であり、人工ニューロンＮが発火状態にあるか非発火状態にあるかを少なくとも示す。内部状態Ｖｍは、ニューロンの膜電位に関する情報であり、人工ニューロンＮの内部状態又は出力を表すパラメータの一例である。

【0058】

また、人工シナプスＳのパラメータである結合係数ＢＳは、時刻の進展とともに更新され得るパラメータである。結合係数ＢＳは、シナプスの可塑性に関する情報であり、人工シナプスＳが結合する人工ニューロンＮ同士の間の結合強度を示す。

【0059】

ＮＮ演算部２３０は、入力情報から、ニューラルネットワークにおける上述したパラメータを更新して、各人工ニューロンＮの内部状態Ｖｍを算出する。なお、本実施形態において、人工ニューロンＮは、内部状態Ｖｍが閾値Ｔを超えた場合に、ステータスＳが発火状態となる。発火状態になると、人工ニューロンＮからは、予め定められた時間にわたって予め定められた値が出力される。発火状態の人工ニューロンＮが出力は下降してよい。発火状態の人工ニューロンＮが出力する値は、上昇した後に下降してよい。発火状態の人工ニューロンＮが出力する値は一定であってよい。予め定められた時間が経過すると、ＮのステータスＳは末発火に戻る。

【0060】

ここで、ＮＮ演算部２３０による演算内容を、Ｎ^２を取り上げてより具体的に説明する。ＮＮ演算部２３０は、Ｎ^２への入力Ｉ^２を、ＢＳ^１２×Ｖｍ^１×ｆ（Ｓ^１）＋ＢＳ^４２×Ｖｍ^４×ｆ（Ｓ^４）により算出する。ここで、ｆ（Ｓ）は、Ｓが未発火を表す値の場合は０を返し、Ｓが発火を示す値の場合は１を返す関数である。なお、このｆ（Ｓ）は、ニューロンが発火した場合のみシナプスが活動電位を伝達するモデルに対応する。なお、ｆ（Ｓ）＝１であってもよい。これは、ニューロンの発火状態によらず膜電位を伝達するモデルに対応する。ｆ（Ｓ）として、膜電位の他の伝達モデルに対応する関数を適用してよい。

【0061】

一般には、ＮＮ演算部２３０は、Ｎ^ｉへの入力Ｉ^ｉを、Σ_ｊＢＳ^ｊｉ×Ｖｍ^ｊ×ｆ（Ｓ^ｊ）＋Σ_ｊＥ_ｊ^ｉにより算出する。ＮＮ演算部２３０は、現時刻におけるＢＳ^ｊｉ、Ｖｍ^ｊ、Ｓ^ｊ、Ｅ^ｊを用いて、次の時刻におけるＮ^ｉへの入力Ｉ^ｉ及びＳ^ｉ等を算出する。ＮＮ演算部２３０は、これを時間的に繰り返すことにより、各人工ニューロンＮのステータスＳをリアルタイムに決定する。そして、判定部２４０は各人工ニューロンＮのステータスＳを判定し、感情特定部２６０は判定部２４０の判定結果からユーザ端末４０の感情を特定する。例えば、感情特定部２６０は、図３における「嬉しい」という感情が割り当てられた人工ニューロンが発火した場合、ユーザ端末４０の感情として「嬉しい」を特定する。

【0062】

ここで、調整部２２０は、ユーザ端末４０から取得した情報に基づいて、人工シナプスＳの結合係数ＢＳを調整する。例えば、ユーザ端末４０が有する蓄電池の残量である残存容量が５０％以下であることが検出された場合、分泌情報生成部２００は、内部変数としての「ノルアドレナリン」の分泌量を増加させる。そして、調整部２２０は、「ノルアドレナリン」の分泌量に基づいて、「ノルアドレナリン」に対応づけられた人工シナプスＳの結合係数ＢＳを調整する。後述するように、「ノルアドレナリン」の生成は、例えば、「不安」や「怒り」等の感情に対応する人工感情ニューロンが発火する経路上の人工シナプスＳの結合係数ＢＳを強化するように設定されている。これにより、「ノルアドレナリン」は、「不安」や「怒り」等の感情が生成され易くなる方向に作用する。

【0063】

内部分泌物質の分泌量は特定の人工シナプスＳの結合係数ＢＳに対応づけられている。これにより、ユーザ端末４０で取得した情報によって、内部分泌物質の分泌量を介して、ニューラルネットワークにおける各所の人工シナプスＳにおける信号の伝わり易さを変えることができる。そのため、ユーザ端末４０で取得した情報から多様な感情を生み出すことが可能になる。

【0064】

図５は、ユーザ５０の怒りの強さと内分泌物質とを対応づける対応情報の一例である。格納部２８０は、怒りの強さを示す複数の値に対応づけて、ノルアドレナリンを示す情報を格納する。より具体的には、格納部２８０は、怒りの強さのそれぞれに対応づけて、ノルアドレナリンの分泌量の増加量を示す情報を格納する。なお、怒りの強さは、最大強さに対する割合で示す。また、分泌量の増加量は、ＮＮ演算部２３０が使用する内部変数が表す分泌量の上限値１に対する割合で示す。これにより、入力情報に含まれるユーザ５０の怒りの強さが強くなるほど、ノルアドレナリンの分泌量が多くなる。その結果、ユーザ端末４０の感情として、「不安」や「怒り」の感情が生成され易くなる。

【0065】

図６は、ノルアドレナリンの分泌量と結合係数ＢＳとを対応づける結合係数対応情報の一例である。格納部２８０は、ノルアドレナリンの総分泌量に対応づけて、人工シナプスＳ^１４の結合係数ＢＳ^１４の増加係数と、人工シナプスＳ^４５の結合係数ＢＳ^４５の増加係数と、人工シナプスＳ^４３の結合係数ＢＳ^４３の増加係数とを対応づける情報を格納する。なお、ここで取り上げる人工シナプスＳは、強結合で人工ニューロンＮを接続しているとする。

【0066】

図示されるように、ＢＳ^１４の増加係数及びＢＳ^４５の増加係数には、ノルアドレナリン量が多くなるほどより大きい値が対応づけられる。一方、ＢＳ^４３の増加係数には、ノルアドレナリン量が多くなるほどより小さい値が対応づけられる。これにより、例えば、図４に示すニューラルネットワークにおいて、Ｎ^１からＮ^３に向かう方向より、Ｎ^１からＮ^５に向かう方向の方が、入力情報により生じた信号が伝わり易くなる。そのため、Ｎ^１からＮ^５に向かう方向に配置された人工ニューロンが、より発火し易くなる。そのため、例えば図３に示す感情マップにおいて、ノルアドレナリンが増えるほど、同心円の中心部に対して特定の方向に配置された感情、例えば「不安」や「怖い」という感情が発火し易くなる。そのため、人間が空腹な場合に生じる感情に似た感情がユーザ端末４０で生まれ易くなるようにすることができる。

【0067】

なお、ここでは、人工シナプスＳの結合係数ＢＳを、出力先の人工ニューロンＮを発火させ易くする方向に調整する場合について説明した。しかし、人工シナプスＳの結合係数ＢＳを、出力先の人工ニューロンＮを発火させにくくする方向に調整できるように、増加係数が設定されていてもよい。例えば、人工シナプスＳが強結合の場合は、増加係数を小さくすることで、出力先の人工ニューロンＮを発火させにくくすることができる。一方、人工シナプスＳが抑制結合で人工ニューロンＮを接続している場合、増加係数を大きくすることで、出力先の人工ニューロンＮを発火させにくくすることができ、増加係数を小さくすることで、出力先の人工ニューロンＮを発火させ易くすることができる。

【0068】

調整部２２０は、結合係数対応情報を参照して、各内部分泌物質の総分泌量に応じた量だけ、対応する結合係数ＢＳを調整する。これにより、ユーザ端末４０で取得された情報から、結合係数ＢＳの調整量を複雑に調整することができ、ひいては、多様な組み合わせで感情人工ニューロンを発火させることができる。しかも、ユーザ端末４０で取得された情報と内分泌物質との関係、及び、各内分泌物質と結合係数ＢＳとの関係を、人間に置き換えて意味づけして対応づけることで、人間にとって違和感のない自然な感情を生成できる。

【0069】

なお、図５に関連して、ユーザ端末４０から取得する情報としてのユーザ５０の怒りの強さとノルアドレナリンとの対応関係を例示した。また、図６に関連して、ノルアドレナリンと結合係数ＢＳとの対応関係を例示した。しかし、これらの情報の対応関係は、ニューラルネットワークおける内分泌物質の作用を分かり易く説明するために例示したものである。図５及び図６に関連して説明した対応関係以外の対応関係を定めてよいことは言うまでもない。

【0070】

図７は、表示部１４０が表示する表示オブジェクト２０の一例を模式的に示す。表示オブジェクト２０は、表示オブジェクト２１と、表示オブジェクト２２とを含む。表示オブジェクト２１は、球形状を有する。表示オブジェクト２１は、球形状の第１の表示オブジェクトの一例である。表示オブジェクト２２は、表示オブジェクト２１の内側に位置する。表示オブジェクト２２は、第１の表示オブジェクトの内側に位置する第２の表示オブジェクトの一例である。

【0071】

第１の表示オブジェクト２１は、点７１０、点７２０及び点７３０を含む。表示オブジェクト２１は、点７１０と７２０を結ぶ直線７１２を含む。表示オブジェクト２１は、点７１０と７３０を結ぶ直線７１３を含む。表示オブジェクト２１は、複数の点と、複数の点を結ぶ直線で形成される。なお、表示オブジェクト２１において、複数の点を結ぶ線は、直線でなくてよい。

【0072】

なお、球形状の表示オブジェクトとは、人間の眼に略球形に認識される２次元面上の表示オブジェクトであってよい。球形状とは完全な球形を含むが、実質的に球形とみなすことができる形状であれば、球形状に該当する。近似的に球形を持つ表示オブジェクトは、球形状の表示オブジェクトとみなすことができる。完全な球形の表示オブジェクトを２次元面上に投影した場合、表示オブジェクトの外形は円形となる。表示オブジェクトを２次元面上に投影した場合の外形が５角形以上の多角形で表される場合、当該表示オブジェクトを球形状とみなすことができる場合がある。表示オブジェクトを２次元面上に投影した場合の外形が閉曲線で表される場合において、当該閉曲線の接線の回転角方向の変化率が予め定められた値より小さい場合、当該表示オブジェクトを球形状とみなすことができる場合がある。

【0073】

処理部１３０は、ユーザ端末４０の現在の感情に対応した色で、表示オブジェクト２１及び表示オブジェクト２２を表示させる。具体的には、処理部１３０は、ユーザ端末４０の現在の主感情に対応した色で、表示オブジェクト２２を表示させ、ユーザ端末４０の現在の副感情に対応した色で、表示オブジェクト２２を表示させる。主感情及び副感情は、図３に関連して説明したとおりである。

【0074】

例えば、処理部１３０は、複数の感情のうち主感情として選択され得る複数の感情に対応づけられた色を、強さ情報が示す複数の感情の強さに応じた重み付けで合成した色で、表示オブジェクト２２を表示させる。例えば、処理部１３０は、副感情が「愛」及び「不安」の感情を含む場合、感情マップ３００によって対応づけられる黄色と青色とを合成した色で表示オブジェクト２２を表示させる。例えば、処理部１３０は、「好き」の人工ニューロンの内部状態Ｖｍが、「不安」の人工ニューロンの内部状態Ｖｍの２倍である場合、「好き」と「不安」とを２：１の割合で合成した色で、表示オブジェクト２２を表示させる。同様に、処理部１３０は、複数の感情のうち副感情として選択され得る複数の感情に対応づけられた色を、当該強さ情報が示す複数の感情の強さに応じた重み付けで合成した色で、表示オブジェクト２１を表示させる。

【0075】

これにより、「好き」の感情が高いときは、黄色系の色で表示オブジェクト２２が表示され、「不安」の感情が高いときは青系の色で表示オブジェクト２２が表示される。これにより、交換ユーザ端末４０のその時々の感情の種類をユーザ５０に分かり易く提示することができる。

【0076】

なお、図７において、オブジェクト７５０は、処理部１３０がユーザ５０の音声を解析することにより得られたテキスト情報から生成した文字オブジェクトである。当該テキスト情報がサーバ６０に送信された後、ユーザ端末４０はサーバ６０から返答内容のテキスト情報を受信する。オブジェクト７５１は、処理部１３０が当該返答内容のテキスト情報から生成した文字オブジェクトである。その後、処理部１３０はユーザ５０の音声を解析することにより新たに得られたテキスト情報からオブジェクト７５２を生成する。当該テキスト情報がサーバ６０に送信された後、ユーザ端末４０はサーバ６０から新たな返答内容のテキスト情報を受信する。オブジェクト７５３は、処理部１３０が当該返答内容のテキスト情報から生成した文字オブジェクトである。このように、処理部１３０は、表示オブジェクト２０とともに、ユーザ５０の会話内容を示す文字オブジェクトを表示部１４０に表示させる。

【0077】

図８は、形状及び色を変化させた表示オブジェクトの一例を模式的に示す。図８の表示オブジェクト２５は、図７に示す表示オブジェクト２０の形状を変化させた表示オブジェクトの一例である。表示オブジェクト２５は、表示オブジェクト２３と表示オブジェクト２４とを含む。表示オブジェクト２４は、図７に示す表示オブジェクト２２の色を変化させた表示オブジェクトの一例である。ここで、表示オブジェクト２４は、表示オブジェクト２１の色を黄色に変化させた表示オブジェクトである。

【0078】

表示オブジェクト２３は、表示オブジェクト２１の形状を変化させた表示オブジェクトである。表示オブジェクト２３は、点８１０と、点７２０と点８１０とを結ぶ直線８１２と、点７３０と点８１０とを結ぶ直線８１３とを含む。ここでは主として、表示オブジェクト２１の形状の変化について説明する。

【0079】

処理部１３０は、感情の強さが予め定められた値を超える場合、表示オブジェクト２１における点７１０を点８１０の位置にシフトさせる。点８１０は、点７１０を矢印８８０で示される方向にシフトした位置にある。矢印８８０が示す方向は、表示オブジェクト２１が示す球形状の中心から外向きの方向である。

【0080】

このように、処理部１３０は、感情の強さが予め定められた値を超える場合、点７１０の位置を球形状の外側に向けてシフトさせる。また、処理部１３０は、点８１０をシフトさせるとともに、線７１２に代えて、点７２０と点８１０とを結ぶ線８１２を表示させる。また、線７１２に代えて、点７３０と点８１０とを結ぶ線８１２を表示させる。線８１２と線８１３とがなす角度は、線７１２と線７１３とがなす角度より小さくなる。表示オブジェクト２３は、点８１０の位置において外側に突出した形状を持つ。

【0081】

なお、感情の強さは、内分泌物質の分泌量の総和を指標としてよい。感情の強さは、発火した人工ニューロンの内部状態Ｖｍの総和を指標としてよい。感情の強さは、発火した人工ニューロンの数を指標としてよい。感情の強さは、内分泌物質の分泌量の総和、発火した人工ニューロンの内部状態Ｖｍの総和、及び発火した人工ニューロンの数の任意の組み合わせを指標としてよい。

【0082】

図８に関連して説明したように、処理部１３０は、感情の強さが強いほど、複数の点のうちの少なくとも１つの点の位置を、予め定められた球面上の位置からシフトさせる。これにより、感情の強さが予め定められた値を超える場合、表示オブジェクト２１の一部が突出して表示される。なお、処理部１３０は、複数の感情の強さが強いほど、表示オブジェクト２１の一部を大きく突出させてよい。処理部１３０は、複数の感情の強さが強いほど、表示オブジェクト２１の一部を大きく突出させてよい。これにより、感情の強さをより分かり易くユーザ５０に提示することができる。

【0083】

なお、表示オブジェクトの形状又は色は、表示オブジェクトの表示態様の一例である。すなわち、処理部１３０は、感情の変化に応じて表示オブジェクト２０の表示態様を変化させてよい。

【0084】

なお、図８において、オブジェクト７５４は、処理部１３０がユーザ５０の音声を解析することにより得られたテキスト情報から生成した文字オブジェクトである。当該テキスト情報がサーバ６０に送信された後、ユーザ端末４０はサーバ６０から返答内容のテキスト情報を受信する。オブジェクト７５５は、処理部１３０が当該返答内容のテキスト情報から生成した文字オブジェクトである。ユーザ５０が会話している最中においても、ユーザ端末４０はサーバ６０から感情情報を受信して、図７や図８に関連して説明したように、表示オブジェクト２０の形状や色を変形させていく。これにより、図８に示されるように、「ありがとう」の言葉が発せられたことに応じて嬉しさの感情が高まったことを、ユーザ５０に適切に提示することができる。

【0085】

図９は、ユーザ端末４０における処理手順を示すフローチャートである。本フローチャートの主体は主として処理部１３０である。

【0086】

本フローチャートが開始すると、処理部１３０は、イベントの発生を待つ（Ｓ９０２）。ここでは、イベントとして、音声の検出イベント、会話情報の受信イベント、感情情報の受信イベント及び終了イベントを取り上げて説明する。音声の検出イベントは、センサ部１２０におけるマイクから音声信号が入力された場合に生じる。会話情報の受信イベントは、通信部１０２がサーバ６０から返答内容のテキスト情報を受信した場合に生じる。感情情報の受信イベントは、通信部１０２がサーバ６０から感情情報を受信した場合に生じる。終了イベントは、ユーザ端末４０の動作を終了する場合に生じる。終了イベントは、本フローチャートに係るアプリケーションソフトの動作を終了する場合にも生じ得る。

【0087】

音声検出イベントが発生した場合、処理部１３０は音声解析を行い（Ｓ９０４）、音声入力の内容及びユーザ５０の感情を特定する（Ｓ９０６）。そして、処理部１３０は、音声入力内容を示すテキスト情報及びユーザ５０の感情等を示す状態情報を、通信部１０２から送信させ（Ｓ９０８）、Ｓ９０２に進む。

【0088】

会話情報の受信イベントが発生した場合、処理部１３０は受信した返答内容のテキスト情報に基づいて、音声出力部１８０から音声を出力させ（Ｓ９２０）、Ｓ９０２に進む。

【0089】

感情情報の受信イベントが発生した場合、処理部１３０は、感情情報に基づいて、表示オブジェクト２０の形状及び色を決定する（Ｓ９３０）。そして、処理部１３０は、決定した形状及び色で表示オブジェクト２１及び表示オブジェクト２２を変形させ（Ｓ９３２）、Ｓ９０２に進む。

【0090】

終了イベントが発生した場合、処理部１３０はユーザ端末４０の終了動作を行う。

【0091】

図１０は、サーバ６０における処理手順を示すフローチャートである。本フローチャートの主体は主として処理部２７０である。

【0092】

本フローチャートが開始すると、処理部２７０は、イベントの発生を待つ（Ｓ１００２）。ここでは、イベントとして、ユーザ端末４０からのテキスト情報の受信イベント、ユーザ端末４０からの状態情報の受信イベント、感情情報の生成イベント及び終了イベントを取り上げて説明する。

【0093】

テキスト情報の受信イベントは、通信部２０２がユーザ端末４０から音声入力のテキスト情報を受信した場合に生じる。状態情報の受信イベントは、通信部２０２がユーザ端末４０から状態情報を受信した場合に生じる。感情情報の生成イベントは、感情処理部２７２において感情情報が生成された場合に生じる。具体的には、感情情報の生成イベントは、感情特定部２６０において感情が特定された場合に生じる。終了イベントは、サーバ６０の動作を終了する場合に生じる。

【0094】

テキスト情報の受信イベントが発生した場合、処理部２７０において、受信したテキスト情報が会話処理部２７４に入力される（Ｓ１００４）。そして、会話処理部２７４は、入力されたテキスト情報に基づいて、当該テキスト情報に対する返答内容を決定する（Ｓ１００６）。そして、処理部２７０は、会話処理部２７４が決定した返答内容に基づいてテキスト情報を生成して、通信部２０２から送信させ（Ｓ１００８）、Ｓ１００２に進む。

【0095】

状態情報の受信イベントが発生した場合、処理部２７０において、受信した状態情報が感情処理部２７２に入力され（Ｓ１０２０）、Ｓ１００２に進む。感情処理部２７２においては、感情を特定する演算が定期的に行われている。感情処理部２７２において、状態情報が入力された後の次の演算タイミングにおいて、受信した状態情報に基づく入力情報がＮＮ演算部２３０に供給されて、感情を特定するニューラルネットワークの演算が行われる。

【0096】

感情情報の生成イベントが発生した場合、処理部２７０は、生成された感情情報を通信部２０２からユーザ端末４０に送信させる（Ｓ１０３０）。

【0097】

終了イベントが発生した場合、処理部２７０はサーバ６０の終了動作を行う。

【0098】

図１１は、会話アプリケーションにおける表示部１４０の画面遷移の一例を示す。画面１１００は、会話アプリケーションの初期画面である。ユーザ端末４０の感情を示す表示オブジェクト１１０２は、画面１１００の中央に表示される。

【0099】

ユーザ５０が「○○さんの連絡先は」という声を発すると、画面１１１０において、ユーザ端末４０のマイクで取得された音声の解析から得られたオブジェクト１１１４が、画面の中央付近に表示される。感情を示す表示オブジェクト１１１２は、画面の上方の位置に表示される。

【0100】

処理部１３０は、音声解析から得られた「○○」を名前に含む人をアドレス帳データから検索する。「○○」を名前に含む人が一人のみ検索された場合、画面１１２０において、検索された人の詳細情報を示すオブジェクト１１２４が表示される。感情を示す表示オブジェクト１１２２は、画面の上方の位置に縮小して表示される。

【0101】

音声解析から得られた「○○」を名前に含む人が複数検索された場合において、検索件数が所定数以下であれば、画面１１３０において、検索された人物の概要情報を示すオブジェクト１１３４が表示される。感情を示す表示オブジェクト１１３２は、画面の上方の位置に縮小して表示される。

【0102】

音声解析から得られた「○○」を名前に含む人が複数検索された場合において、検索件数が所定数を超えるときは、画面１１４０において、検索された人物を絞り込むための聞き返し内容を示すオブジェクト１１４４が、オブジェクト１１１４の下に表示される。聞き返し内容は、サーバ６０において決定される。感情を示す表示オブジェクト１１４２は、画面の上方の位置に縮小して表示される。

【0103】

続いて、ユーザ５０が「営業本部」という声を発すると、画面１１５０において、ユーザ端末４０のマイクで取得された音声の解析から得られたオブジェクト１１５４が、オブジェクト１１４４の下に表示される。感情を示す表示オブジェクト１１５２は、画面の上方の位置に表示される。

【0104】

処理部１３０は、音声解析から得られた「営業本部」を属性情報に含む人をアドレス帳データから検索する。「営業本部」を属性情報に含む人が一人のみ検索された場合、画面１１２０に遷移する。「営業本部」を属性情報に含む人が複数検索された場合において、検索件数が所定数以下であれば、画面１１３０に遷移する。なお、「営業本部」を属性情報に含む人が複数検索された場合において、検索件数が所定数を超える場合は、画面１１４０に関連して説明した処理と同様に、別の情報で人物を絞り込むための聞き返しが行われてよい。

【0105】

以上に説明したように、表示システム１０によれば、感情を適切な表示態様で提示することができる。

【0106】

様々な実施形態が、処理手順又はブロック図等を参照して説明された。ブロック図において各ブロックは、（１）オペレーションが実行されるプロセスの段階または（２）オペレーションを実行する役割を持つ装置のセクションを表わしてよい。例えば、サーバ６０において、処理部２７０、通信部２０２、格納部２８０のそれぞれは、サーバ６０の１つのセクションを表してよい。処理部２７０において、感情処理部２７２及び会話処理部２７４は、処理部２７０の１つのセクションを表してよい。感情処理部２７２において、入力情報生成部２１０、分泌情報生成部２００、調整部２２０、ＮＮ演算部２３０、判定部２４０及び感情特定部２６０は、感情処理部２７２の１つのセクションを表してよい。また、ユーザ端末４０において、通信部１０２及び処理部１３０は、ユーザ端末４０の１つのセクションを表してよい。

【0107】

特定の段階およびセクションが、専用回路、コンピュータ可読媒体上に格納されるコンピュータ可読命令と共に供給されるプログラマブル回路、および／またはコンピュータ可読媒体上に格納されるコンピュータ可読命令と共に供給されるプロセッサによって実装されてよい。専用回路は、デジタルおよび／またはアナログハードウェア回路を含んでよく、集積回路（ＩＣ）および／またはディスクリート回路を含んでよい。プログラマブル回路は、論理ＡＮＤ、論理ＯＲ、論理ＸＯＲ、論理ＮＡＮＤ、論理ＮＯＲ、および他の論理オペレーション、フリップフロップ、レジスタ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プログラマブルロジックアレイ（ＰＬＡ）等のようなメモリ要素等を含む、再構成可能なハードウェア回路を含んでよい。

【0108】

コンピュータ可読媒体は、適切なデバイスによって実行される命令を格納可能な任意の有形なデバイスを含んでよく、その結果、そこに格納される命令を有するコンピュータ可読媒体は、処理手順またはブロック図で指定されたオペレーションを実行するための手段をもたらすべく実行され得る命令を含む製品の少なくとも一部を構成する。コンピュータ可読媒体の例としては、電子記憶媒体、磁気記憶媒体、光記憶媒体、電磁記憶媒体、半導体記憶媒体等が含まれてよい。コンピュータ可読媒体のより具体的な例としては、フロッピー（登録商標）ディスク、ディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリメモリ（ＥＰＲＯＭまたはフラッシュメモリ）、電気的消去可能プログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、コンパクトディスクリードオンリメモリ（ＣＤ-ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、ブルーレイ（ＲＴＭ）ディスク、メモリスティック、集積回路カード等が含まれてよい。

【0109】

コンピュータ可読命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはＳｍａｌｌｔａｌｋ、ＪＡＶＡ（登録商標）、Ｃ＋＋等のようなオブジェクト指向プログラミング言語、および「Ｃ」プログラミング言語または同様のプログラミング言語のような従来の手続型プログラミング言語を含む、１または複数のプログラミング言語の任意の組み合わせで記述されたソースコードまたはオブジェクトコードのいずれかを含んでよい。

【0110】

コンピュータ可読命令は、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサまたはプログラマブル回路に対し、ローカルにまたはローカルエリアネットワーク（ＬＡＮ）、インターネット等のようなワイドエリアネットワーク（ＷＡＮ）を介して提供され、説明された処理手順またはブロック図で指定されたオペレーションを実行するための手段をもたらすべく、コンピュータ可読命令を実行してよい。プロセッサの例としては、コンピュータプロセッサ、処理ユニット、マイクロプロセッサ、デジタル信号プロセッサ、コントローラ、マイクロコントローラ等を含む。

【0111】

図１２は、複数の実施形態が全体的または部分的に具現化され得るコンピュータ２０００の例を示す。コンピュータ２０００にインストールされたプログラムは、コンピュータ２０００に、実施形態に係るサーバ６０または当該サーバ６０の１または複数のセクションとして機能させる、当該サーバ６０または当該サーバ６０の１または複数のセクションに関連付けられるオペレーションを実行させる、および／または、実施形態に係るプロセスまたは当該プロセスの段階を実行させることができる。そのようなプログラムは、コンピュータ２０００に、本明細書に記載のサーバ６０に係る処理手順およびブロック図のブロックのうちのいくつかまたはすべてに関連付けられた特定のオペレーションを実行させるべく、ＣＰＵ２０１２によって実行されてよい。

【0112】

本実施形態によるコンピュータ２０００は、ＣＰＵ２０１２、ＲＡＭ２０１４、グラフィックコントローラ２０１６、および表示デバイス２０１８を含み、それらはホストコントローラ２０１０によって相互に接続されている。コンピュータ２０００はまた、ＲＯＭ２０３０を含む。ＲＯＭ２０３０は、入力／出力コントローラ２０２０を介してホストコントローラ２０１０に接続されている。コンピュータ２０００はまた、通信インタフェース２０２２、ハードディスクドライブ２０２４、ＤＶＤ−ＲＯＭドライブ２０２６、およびメモリカードドライブ２０２８のような入出力ユニットを含み、それらは入力／出力コントローラ２０２０を介してホストコントローラ２０１０に接続されている。コンピュータ２０００はまた、キーボード２０４２のようなレガシの入出力ユニットを含み、それらは入力／出力チップ２０４０を介して入力／出力コントローラ２０２０に接続されている。

【0113】

ＣＰＵ２０１２は、ＲＯＭ２０３０および／またはＲＡＭ２０１４内に格納されたプログラムに従い動作し、それにより各ユニットを制御する。グラフィックコントローラ２０１６は、ＲＡＭ２０１４内に提供されるフレームバッファ等またはＲＡＭ２０１４内にＣＰＵ２０１２によって生成されたイメージデータを取得し、イメージデータを表示デバイス２０１８上に表示せせる。

【0114】

通信インタフェース２０２２は、ネットワークを介して他の電子デバイスと通信する。ハードディスクドライブ２０２４は、コンピュータ２０００内のＣＰＵ２０１２によって使用されるプログラムおよびデータを格納する。ＤＶＤ−ＲＯＭドライブ２０２６は、プログラムおよび／またはデータをＤＶＤ‐ＲＯＭ２００１から読み取り、ＲＡＭ２０１４を介してハードディスクドライブ２０２４にプログラムおよび／またはデータを提供する。メモリカードドライブ２０２８は、プログラムおよび／またはデータをメモリカード２００３から読み取り、ＲＡＭ２０１４を介してハードディスクドライブ２０２４にプログラムおよび／またはデータを提供する。メモリカードドライブ２０２８は、プログラムおよび／またはデータをメモリカード２００３に書き込んでよい。

【0115】

ＲＯＭ２０３０はその中に、アクティブ化時にコンピュータ２０００によって実行されるブートプログラム等、および／またはコンピュータ２０００のハードウェアに依存するプログラムを格納する。入力／出力チップ２０４０はまた、様々な入力／出力ユニットをパラレルポート、シリアルポート、キーボードポート、マウスポート等を介して、入力／出力コントローラ２０２０に接続してよい。

【0116】

プログラムが、ＤＶＤ−ＲＯＭ２００１またはメモリカード２００３のようなコンピュータ可読媒体によって提供される。プログラムは、コンピュータ可読媒体から読み取られ、コンピュータ可読媒体の例でもあるハードディスクドライブ２０２４、ＲＡＭ２０１４、および／またはＲＯＭ２０３０にインストールされ、ＣＰＵ２０１２によって実行される。これらのプログラム内に記述される情報処理は、コンピュータ２０００に読み取られ、プログラムと、上記様々な種類のハードウェアリソースとの間の連携をもたらす。装置または方法は、コンピュータ２０００の使用に従い情報のオペレーションまたは処理を実現することによって構成されてよい。

【0117】

例えば、通信がコンピュータ２０００および外部デバイス間で実行される場合、ＣＰＵ２０１２は、ＲＡＭ２０１４にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インタフェース２０２２に対し、通信処理を命令してよい。通信インタフェース２０２２は、ＣＰＵ２０１２の制御下、ＲＡＭ２０１４、ハードディスクドライブ２０２４、ＤＶＤ‐ＲＯＭ２００１、またはメモリカード２００３のような記録媒体内に提供される送信バッファ処理領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、またはネットワークから受信した受信データを、記録媒体上に提供される受信バッファ処理領域等に書き込む。

【0118】

また、ＣＰＵ２０１２は、ハードディスクドライブ２０２４、ＤＶＤ‐ＲＯＭ２００１、メモリカード２００３等のような外部記録媒体に格納されたファイルまたはデータベースの全部または必要な部分がＲＡＭ２０１４に読み取られるようにし、ＲＡＭ２０１４上のデータに対し様々な種類の処理を実行してよい。ＣＰＵ２０１２は次に、処理されたデータを外部記録媒体にライトバックする。

【0119】

様々な種類のプログラム、データ、テーブル、およびデータベースのような、様々な種類の情報が記録媒体に格納され、情報処理にかけられてよい。ＣＰＵ２０１２は、ＲＡＭ２０１４から読み取られたデータに対し、本明細書に記載され、プログラムの命令シーケンスによって指定される様々な種類のオペレーション、情報処理、条件判断、条件分岐、無条件分岐、情報の検索／置換等を含む、様々な種類の処理を実行してよく、結果をＲＡＭ２０１４にライトバックする。また、ＣＰＵ２０１２は、記録媒体内のファイル、データベース等における情報を検索してよい。例えば、各々が第２の属性の属性値に関連付けられた第１の属性の属性値を有する複数のエントリが記録媒体内に格納される場合、ＣＰＵ２０１２は、第１の属性の属性値が指定されている、条件に一致するエントリを当該複数のエントリの中から検索し、当該エントリ内に格納された第２の属性の属性値を読み取り、それにより予め定められた条件を満たす第１の属性に関連付けられた第２の属性の属性値を取得してよい。

【0120】

上述したプログラムまたはソフトウェアモジュールは、コンピュータ２０００上またはコンピュータ２０００近傍のコンピュータ可読媒体に格納されてよい。また、専用通信ネットワークまたはインターネットに接続されたサーバーシステム内に提供されるハードディスクまたはＲＡＭのような記録媒体が、コンピュータ可読媒体として使用可能であり、それによりプログラムを、ネットワークを介してコンピュータ２０００に提供してよい。

【0121】

なお、サーバ６０と同様に、コンピュータをユーザ端末４０として機能させることができる。例えば、サーバ６０と同様に、コンピュータにインストールされたプログラムが、コンピュータに、実施形態に係るユーザ端末４０またはユーザ端末４０の１または複数のセクションとして機能させる、ユーザ端末４０またはユーザ端末４０の１または複数のセクションに関連付けられるオペレーションを実行させる、および／または、実施形態に係るユーザ端末４０に関するプロセスまたは当該プロセスの段階を実行させることができる。そのようなプログラムは、コンピュータに、本明細書に記載のユーザ端末４０に係る処理手順およびブロック図のブロックのうちのいくつかまたはすべてに関連付けられた特定のオペレーションを実行させるべく、ＣＰＵによって実行されてよい。ユーザ端末４０がパーソナルコンピュータ等により実現される場合、コンピュータ２０００と同様の構成のコンピュータをユーザ端末４０用のコンピュータとして適用できる。ユーザ端末４０が携帯端末である実現される場合は、コンピュータ２０００が備える構成のうち、ハードディスクドライブ２０２４、ＤＶＤ−ＲＯＭドライブ２０２６を除き、キーボード２０４２に代えてタッチ入力デバイス等の入力デバイスを備えるコンピュータを、ユーザ端末４０用のコンピュータとして適用できる。

【0122】

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

【0123】

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階などの各処理の実行順序は、特段「より前に」、「先立って」などと明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」などを用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

【符号の説明】

【0124】

１０ 表示システム
２０、２１、２２、２３、２４、２５ 表示オブジェクト
４０ ユーザ端末
５０ ユーザ
６０ サーバ
９０ ネットワーク
１０２ 通信部
１２０ センサ部
１３０ 処理部
１４０ 表示部
２００ 分泌情報生成部
２１０ 入力情報生成部
２２０ 調整部
２３０ ＮＮ演算部
２４０ 判定部
２６０ 感情特定部
２７０ 処理部
２７２ 感情処理部
２７４ 会話処理部
２８０ 格納部
３００ 感情マップ
１８０ 音声出力部
２０２ 通信部
３１０、３２０、３３０、３４０ 領域
７１０、７２０、７２０ 点
７１２、７１３ 線
７５０、７５１，７５２、７５３、７５４、７５５ オブジェクト
８１０ 点
８１２、８１３ 線
８８０ 矢印
１１００、１１１０、１１２０、１１３０、１１４０、１１５０ 画面
１１０２、１１１２、１１２２，１１３２，１１４２、１１５２ 表示オブジェクト
１１１４、１１２４、１１３４、１１４４、１１５４ オブジェクト
２０００ コンピュータ
２００１ ＤＶＤ‐ＲＯＭ
２００３ メモリカード
２０１０ ホストコントローラ
２０１２ ＣＰＵ
２０１４ ＲＡＭ
２０１６ グラフィックコントローラ
２０１８ 表示デバイス
２０２０ 入力／出力コントローラ
２０２２ 通信インタフェース
２０２４ ハードディスクドライブ
２０２６ ＤＶＤ−ＲＯＭドライブ
２０２８ メモリカードドライブ
２０３０ ＲＯＭ
２０４０ 入力／出力チップ
２０４２ キーボード

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】