特許 6870997 情報提供システム及び情報提供方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6870997

(24)【登録日】2021年4月19日

(45)【発行日】2021年5月12日

(54)【発明の名称】情報提供システム及び情報提供方法

(51)【国際特許分類】

   G06Q 50/00 20120101AFI20210426BHJP

   G06F 13/00 20060101ALI20210426BHJP

【ＦＩ】

   G06Q50/00 300

   G06F13/00 650B

【請求項の数】5

【全頁数】20

(21)【出願番号】特願2017-14423(P2017-14423)

(22)【出願日】2017年1月30日

(65)【公開番号】特開2018-124645(P2018-124645A)

(43)【公開日】2018年8月9日

【審査請求日】2020年1月22日

(73)【特許権者】

【識別番号】000003078

【氏名又は名称】株式会社東芝

(73)【特許権者】

【識別番号】301063496

【氏名又は名称】東芝デジタルソリューションズ株式会社

(74)【代理人】

【識別番号】110002907

【氏名又は名称】特許業務法人イトーシン国際特許事務所

(72)【発明者】

【氏名】松留 貴文

(72)【発明者】

【氏名】西 一嘉

(72)【発明者】

【氏名】東 啓史

(72)【発明者】

【氏名】佐野 譲

(72)【発明者】

【氏名】小野 未紗希

(72)【発明者】

【氏名】竹田 瞬

(72)【発明者】

【氏名】中島 孝雄

(72)【発明者】

【氏名】原尻 薫

(72)【発明者】

【氏名】梶村 幸子

【審査官】 宮地 匡人

(56)【参考文献】

【文献】 特開２００７−２２２９６８（ＪＰ，Ａ）

【文献】 特開２００５−２９３０５２（ＪＰ，Ａ）

【文献】 栗山 進，Social Context-aware Information System:初対面時の「きまずさ」解消を目的とした実空間ソーシャルネットワーキングシステム，インタラクション２００６予稿集，情報処理学会，２００６年 ３月 ２日，pp.195-196

【文献】 吉野 孝，ＳＮＳ内の情報を用いた話題提供支援の効果，マルチメディア，分散，協調とモバイル（DICOM2008）シンポジウム論文集，情報処理学会，２００８年 ７月，第2008巻，pp.1549-1557

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｑ １０／００−９９／００

Ｇ０６Ｆ １３／００

(57)【特許請求の範囲】

【請求項1】

対話に参加しているユーザを検出するユーザ検出処理部と、
前記ユーザが属するグループを識別するための前記ユーザに対応付けられたグループ識別情報を有するユーザ情報記憶部と、
前記ユーザに共通した前記グループ識別情報によって前記ユーザ間の関係を検出して前記ユーザ間の関係に応じた対話者関係情報を取得して出力する関係検出処理部と、
前記ユーザの対話情報を検出し、対話情報から語句を抽出して収集し、前記対話者関係情報と前記語句を出力する語句収集処理部と、
前記対話者関係情報と対応付けて前記語句を記憶する語句記憶部と、
前記対話者関係情報に対応付けられて前記語句記憶部に記憶された前記語句を読み出し、読み出した前記語句を用いた検索処理によって前記対話者関係情報に応じた提供情報を取得し、前記ユーザに、前記対話者関係情報に応じた前記提供情報を出力する情報出力処理部と、を有し、
前記情報出力処理部は、評価処理部を有し、前記提供情報の評価処理を実行して前記語句の評価値を算出し、ユーザ識別情報、前記対話者関係情報及び前記語句と対応付け前記語句記憶部に記憶する、
情報提供システム。

【請求項2】

優先度記憶部を有し、
前記優先度記憶部は、前記グループ識別情報の優先度情報を有し、
前記関係検出処理部は、前記優先度情報に基づいて、前記ユーザ間の関係を検出する、
請求項１に記載の情報提供システム。

【請求項3】

前記グループ識別情報は、ユーザ間の関係の強さを示す所定のクラスのいずれかに属し、
前記優先度記憶部は、前記クラスの優先度情報を有し、
前記関係検出処理部は、前記クラスの優先度情報に基づいて、前記ユーザ間の関係を検出する、
請求項２に記載の情報提供システム。

【請求項4】

前記情報出力処理部は、前記対話者関係情報と同じグループ識別情報を有し、かつ対話に参加していない前記ユーザに関する前記提供情報を出力できるように、前記評価値を修正する、
請求項１から３のいずれか１つに記載の情報提供システム。

【請求項5】

ユーザ検出処理部、ユーザ情報記憶部、関係検出処理部、語句収集処理部、語句記憶部及び情報出力処理部を有する情報提供システムの情報提供方法であって、
前記ユーザ検出処理部が、対話に参加しているユーザを検出し、
前記ユーザ情報記憶部が、前記ユーザが属するグループを識別するための前記ユーザに対応付けられたグループ識別情報を記憶し、
前記関係検出処理部が、前記ユーザに共通した前記グループ識別情報によって前記ユーザ間の関係を検出して前記ユーザ間の関係に応じた対話者関係情報を取得して出力し、
前記語句収集処理部が、前記ユーザの対話情報を検出し、対話情報から語句を抽出して収集し、前記対話者関係情報と前記語句を前記語句記憶部に出力し、
前記語句記憶部が、前記対話者関係情報と対応付けて前記語句を記憶し、
前記情報出力処理部が、前記対話者関係情報に対応付けられて前記語句記憶部に記憶された前記語句を読み出し、読み出した前記語句を用いた検索処理によって前記対話者関係情報に応じた提供情報を取得し、前記ユーザに、前記対話者関係情報に応じた前記提供情報を出力し、
前記情報出力処理部が、前記提供情報の評価処理を実行して前記語句の評価値を算出し、ユーザ識別情報、前記対話者関係情報及び前記語句と対応付け前記語句記憶部に記憶する、
情報提供方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、情報提供システム及び情報提供方法に関する。

【背景技術】

【0002】

従来、対話型の通信において、ユーザ間の対話を記録し、対話が停滞状態になったとき、記録した対話に基づいて話題を生成し、通信端末を介してユーザに話題を提供する対話型通信システムがある。

【0003】

対話型通信システムでは、記録した対話に基づいて話題を生成するため、新規ユーザの追加、又は、ユーザの入れ替わり等によって対話しているユーザが変わると、対話しているユーザに共通し、かつ関心度の高い話題を提供できないことがある。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１６−６６０７号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

実施形態の情報提供システム及び情報提供方法は、対話しているユーザが変わった場合においても、対話しているユーザに共通し、かつ関心度の高い情報を提供することができる情報提供システム及び情報提供方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

実施形態の情報提供システムは、対話に参加しているユーザを検出するユーザ検出処理部と、前記ユーザが属するグループを識別するための前記ユーザに対応付けられたグループ識別情報を有するユーザ情報記憶部と、前記ユーザに共通した前記グループ識別情報によって前記ユーザ間の関係を検出して前記ユーザ間の関係に応じた対話者関係情報を取得して出力する関係検出処理部と、前記ユーザの対話情報を検出し、対話情報から語句を抽出して収集し、前記対話者関係情報と前記語句を出力する語句収集処理部と、前記対話者関係情報と対応付けて前記語句を記憶する語句記憶部と、前記対話者関係情報に対応付けられて前記語句記憶部に記憶された前記語句を読み出し、読み出した前記語句を用いた検索処理によって前記対話者関係情報に応じた提供情報を取得し、前記ユーザに、前記対話者関係情報に応じた前記提供情報を出力する情報出力処理部と、を有し、前記情報出力処理部は、評価処理部を有し、前記提供情報の評価処理を実行して前記語句の評価値を算出し、ユーザ識別情報、前記対話者関係情報及び前記語句と対応付け前記語句記憶部に記憶する。

【図面の簡単な説明】

【0007】

【図1】実施形態に関わる、情報提供システムの構成例を説明する図である。

【図2】実施形態に関わる、情報提供システムの端末装置の構成例を示すブロック図である。

【図3】実施形態に関わる、情報提供システムのセンター装置の構成例を示すブロック図である。

【図4】実施形態に関わる、情報提供システムのユーザ情報記憶部の例を示す表である。

【図5】実施形態に関わる、情報提供システムの優先度記憶部の例を示す表である。

【図6】実施形態に関わる、情報提供システムの語句記憶部の例を示す表である。

【図7】実施形態に関わる、情報提供システムのアドレス記憶部の例を示す表である。

【図8】実施形態に関わる、情報提供システムの情報提供処理の流れを示すフローチャートである。

【図9】実施形態に関わる、情報提供システムのユーザ検出処理の流れを示すフローチャートである。

【図10】実施形態に関わる、情報提供システムの関係検出処理の流れを示すフローチャートである。

【図11】実施形態に関わる、情報提供システムの情報出力処理の流れを示すフローチャートである。

【図12】実施形態に関わる、情報提供システムの提供情報生成処理の流れを示すフローチャートである。

【図13】実施形態に関わる、情報提供システムのクラウドサービス処理の流れを示すフローチャートである。

【図14】実施形態に関わる、情報提供システムの構成例を説明する図である。

【図15】実施形態に関わる、情報提供システムの評価処理の流れを示すフローチャートである。

【図16】実施形態に関わる、情報提供システムの語句収集処理の流れを示すフローチャートである。

【図17】実施形態に関わる、情報提供システムのＳＮＳ情報収集処理の流れを示すフローチャートである。

【発明を実施するための形態】

【0008】

（実施形態）
（構成）
以下、図面を参照して実施形態を説明する。

【0009】

図１は、実施形態に関わる、情報提供システム１の構成例を説明する図である。

【0010】

情報提供システム１は、端末装置２及びセンター装置３を有する。端末装置２は、インターネット、有線ＬＡＮ、無線ＬＡＮ等のネットワークを介し、センター装置３と接続される。センター装置３は、ネットワークを介し、検索サービス、ＳＮＳ（ソーシャルネットワーキングサービス）又はクラウドサービス処理等を提供する外部サーバ４と接続される。なお、外部サーバ４は、１つのサーバによって構成しても構わないし、複数のサーバ群によって構成しても構わない。

【0011】

情報提供システム１は、端末装置２を介し、図１に例示されるユーザＵ１、Ｕ２、Ｕ３、Ｕ４、Ｕ５、Ｕ６、Ｕ７に話題等の情報を提供する。以下、ユーザＵ１、Ｕ２、Ｕ３、Ｕ４、Ｕ５、Ｕ６、Ｕ７の全て、又は、一部を示すとき、ユーザＵという。なお、実施形態のユーザＵは、例示であり、これに限定されない。

【0012】

図２は、実施形態に関わる、情報提供システム１の端末装置２の構成例を示すブロック図である。

【0013】

端末装置２は、例えば、ユーザＵと対話可能なロボットである。端末装置２は、人感センサ１１と、カメラ１２と、マイクロホン１３と、スピーカ１４と、通信部１５と、制御部１６と、を有する。人感センサ１１、カメラ１２、マイクロホン１３、スピーカ１４及び通信部１５の各々は、制御部１６と接続される。

【0014】

人感センサ１１は、例えば、赤外線、可視光、超音波等によってユーザＵを検知することができるように構成される。ユーザＵを検知すると、人感センサ１１は、ユーザＵの検知情報を制御部１６に出力する。

【0015】

カメラ１２は、ＣＭＯＳ等の光電変換素子を有し、被写体を撮像できるように構成される。被写体を撮像すると、カメラ１２は、被写体の画像情報を制御部１６に出力する。

【0016】

マイクロホン１３は、ユーザＵの音声を集音することができるように構成される。外部から音声が入力されると、マイクロホン１３は、音声情報を制御部１６に出力する。

【0017】

スピーカ１４は、外部に音声を出力できるように構成される。制御部１６から音声情報が入力されると、スピーカ１４は、外部に音声を出力する。

【0018】

通信部１５は、ネットワークを介し、センター装置３と通信を行うことができるように構成される。通信部１５は、ネットワークを介し、制御部１６から入力された情報をセンター装置３に送信し、また、センター装置３から受信した情報を制御部１６に出力する。

【0019】

制御部１６は、ＣＰＵ１６ａと、ＲＡＭ及びＲＯＭを含むメモリ１６ｂとを有し、端末装置２内の各部の制御を行うことができるように構成される。制御部１６の機能は、ＣＰＵ１６ａがメモリ１６ｂ内に記憶された各種プログラムを読み出して実行することによって実現される。

【0020】

例えば、制御部１６は、人感センサ１１、カメラ１２、マイクロホン１３及びスピーカ１４の制御を行い、通信部１５を介し、ユーザＵの検知情報、被写体の画像情報及び音声情報をセンター装置３に出力し、また、センター装置３から入力された音声情報に基づいて、スピーカ１４によって外部に音声を出力する。

【0021】

なお、端末装置２は、人や動物を模し、図示しない頭や胴を有し、図示しない歩行機構によって歩行可能に構成しても構わない。

【0022】

図３は、実施形態に関わる、情報提供システム１のセンター装置３の構成例を示すブロック図である。

【0023】

センター装置３は、後述する情報提供処理を実行することができるように構成される。センター装置３は、例えば、ネットワークに接続されたサーバである。センター装置３は、通信部２１と、制御部３１と、情報提供処理部４１、画像音声処理部５１、記憶部６１とを有する。

【0024】

通信部２１は、端末装置２の通信部１５と通信を行うことができるように構成される。通信部２１は、ネットワークを介し、制御部３１から入力された情報を端末装置２に送信し、また、端末装置２から受信した情報を制御部３１に出力する。

【0025】

制御部３１は、センター装置３内の各部の制御を行う。

【0026】

情報提供処理部４１は、ユーザＵに対して情報提供処理を行う処理部である。情報提供処理部４１は、ユーザ検出処理部４２と、関係検出処理部４３と、情報出力処理部４４と、語句収集処理部４５と、ＳＮＳ情報収集処理部４６とを有する。

【0027】

ユーザ検出処理部４２は、カメラ１２によって取得された画像情報に基づいて、対話に参加しているユーザＵを検出する処理部である。

【0028】

関係検出処理部４３は、対話に参加しているユーザＵ間の関係を検出し、ユーザＵ間の関係に応じた対話者関係情報を出力する処理部である。ユーザＵ間の関係とは、例えば、血縁、親密度などによる、社会集団を構成するための人間関係を示す。

【0029】

情報出力処理部４４は、対話に参加しているユーザＵに、対話者関係情報に応じた提供情報を出力する処理部である。より具体的には、情報出力処理部４４は、提供情報生成処理部４４ａの処理によって生成された、対話者関係情報に応じた提供情報を出力する。また、情報出力処理部４４は、クラウドサービス処理部４４ｂの処理によってインターネット検索、又は、インターネット予約等のクラウドサービス処理を実行し、実行結果に応じて生成された提供情報を出力する。また、情報出力処理部４４は、評価処理部４４ｃの処理によってユーザＵに出力した提供情報の評価処理も実行する。情報出力処理部４４は、提供情報をスピーカ１４から出力する処理を行う。

【0030】

語句収集処理部４５は、マイクロホン１３によって取得された音声情報に基づいて、対話に参加しているユーザＵの対話情報を収集し、対話情報から語句を抽出し、対話者関係情報に対応付けて語句を語句記憶部６６に記憶させる処理部である。

【0031】

ＳＮＳ情報収集処理部４６は、ＳＮＳを利用しているユーザＵのＳＮＳから記事情報を収集し、記事情報から語句を抽出し、ＳＮＳを示すグループ識別情報に対応付けて語句を語句記憶部６６に記憶させる処理部である。

【0032】

画像音声処理部５１は、画像情報及び音声情報に対して各種処理を行う処理部である。画像音声処理部５１は、画像処理部５２と、音声処理部５３とを有する。

【0033】

画像処理部５２は、顔等の画像情報からユーザＵを検出する処理部である。画像処理部５２は、カメラ１２から入力された画像情報と、後述するユーザ画像記憶部６２に記録されているユーザ識別情報に対応付けられたユーザＵの画像情報とのマッチング処理を行い、カメラ１２によって撮像されたユーザＵのユーザ識別情報を特定する。

【0034】

画像処理部５２は、所定の画像認識処理により、画像情報に含まれる対象物又は背景の画像を認識し、対象物又は背景を示す文字列も出力する。

【0035】

画像処理部５２は、所定の画像認識処理により、画像情報に含まれる顔の表情からユーザＵの関心度を示す特徴量も算出する。

【0036】

音声処理部５３は、音声情報を文字列に変換し、また、文字列を音声情報に変換する処理部である。

【0037】

音声処理部５３は、音声情報からユーザＵが誰であるかも特定する。音声処理部５３は、マイクロホン１３から入力された音声情報と、後述するユーザ音声記憶部６３に記憶されているユーザ識別情報に対応付けられたユーザＵの音声情報とのマッチング処理を行い、ユーザ識別情報を特定する。

【0038】

音声処理部５３は、入力された音声情報の音声周波数、発話速度、音量に基づいて、所定の演算処理により、ユーザＵの関心度を示す特徴量も算出する。

【0039】

なお、画像音声処理部５１の機能は、情報提供システム１に接続した外部サーバ４によって実現されても構わない。

【0040】

図４から図７は、データ記憶部６１に含まれる各記憶部の構成を例示する表である。図４がユーザ情報記憶部６４を示し、図５が優先度記憶部６５を示し、図６が語句記憶部６６を示し、図７がアドレス記憶部６７を示す。なお、図４から図７に示す各記憶部の構成は、例示であり、これに限定されない。

【0041】

データ記憶部６１は、情報提供処理部４１及び画像音声処理部５１によって使用されるデータを記憶する。データ記憶部６１は、例えば、データベースによって構成される。データ記憶部６１は、ユーザ画像記憶部６２と、ユーザ音声記憶部６３と、ユーザ情報記憶部６４と、優先度記憶部６５と、語句記憶部６６と、アドレス記憶部６７とを有する。

【0042】

ユーザ画像記憶部６２は、ユーザＵを識別するための画像情報を記憶する。図示は省略するが、具体的には、画像情報は、ユーザＵの識別情報であるユーザ識別情報と、ユーザ識別情報に対応付けられたユーザＵの画像情報である。

【0043】

ユーザ音声記憶部６３は、ユーザＵを識別するための音声情報を記憶する。図示は省略するが。具体的には、音声情報は、ユーザ識別情報と、ユーザ識別情報に対応付けられたユーザＵの音声情報である。

【0044】

ユーザ情報記憶部６４は、ユーザ識別情報とユーザ識別情報に対応付けられたグループ識別情報を有する。ユーザ情報記憶部６４は、ユーザ識別情報とグループ識別情報の他、ユーザ名、趣味等の属性情報を有しても構わない。

【0045】

ユーザ識別情報は、ユーザＵを一意に識別する。

【0046】

グループ識別情報は、ユーザＵが属するグループを識別する情報であり、ユーザＵが複数のグループに属するとき、１つのユーザ識別情報に対して複数のグループ識別情報を設定可能である。

【0047】

グループ識別情報は、例えば、家族クラス、学校クラス、地域クラス及びＳＮＳクラス等、所定のクラスのいずれかに属する。なお、クラスは、家族クラス、学校クラス、地域クラス及びＳＮＳクラスに限定されず、他のクラスを含んでも構わないし、これらの一部のクラスであっても構わない。

【0048】

図１及び図４は、ユーザＵ１、Ｕ２、Ｕ３、Ｕ７とユーザＵ４、Ｕ５の各々が家族クラス内の互いに異なるグループに属し、ユーザＵ１〜Ｕ６が学校クラスのグループに属し、ユーザＵ１〜Ｕ６とＵ７の各々が地域クラス内の互いに異なるグループに属し、ユーザＵ５、Ｕ６がＳＮＳクラスのグループに属する例である。なお、ユーザＵ１、Ｕ２がユーザＵ３の保護者であり、ユーザＵ４がユーザＵ５の保護者であるが、保護者も含めてユーザＵ１〜Ｕ６を学校クラスのグループとしている。

【0049】

より具体的には、家族クラスでは、ユーザＵ１、Ｕ２、Ｕ３、Ｕ７のグループ識別情報がＦ１であり、ユーザＵ４、Ｕ５のグループ識別情報がＦ２である。また、学校クラスでは、ユーザＵ１〜Ｕ６のグループ識別情報がＧ１である。また、地域クラスでは、ユーザＵ１〜Ｕ６のグループ識別情報がＬ１であり、ユーザＵ７のグループ識別情報がＬ２である。また、ＳＮＳクラスでは、ユーザＵ５、Ｕ６のグループ識別情報がＷ１である。

【0050】

なお、図１及び図４の例では、グループ識別情報の左側一字は、クラスを識別する。より具体的には、「Ｆ」が家族クラスを示し、「Ｇ」が学校クラスを示し、「Ｌ」が地域クラスを示し、「Ｗ」がＳＮＳクラスを示す。また、グループ識別情報の右側一字は、各クラス内のグループを識別する。

【0051】

優先度記憶部６５は、クラスの優先度を記憶する。クラスの優先度は、グループ内のユーザＵ間の関係の強さに応じて設定される。上述の通り、ユーザＵ間の関係とは、社会集団を構成するための人間関係を示すものであり、ここでは、ユーザ識別情報に対応付けて記憶するグループ識別情報をユーザＵ間の関係を示す情報として利用している。すなわち、所定のクラスは、ユーザＵ間の関係の強さを示す。図５の例では、ユーザＵ間の関係の強い「家族クラス」の優先度が高く設定され、続いて、「学校クラス」「ＳＮＳクラス」「地域クラス」の順に、優先度が低く設定される。

【0052】

語句記憶部６６は、対話者関係情報と対応付けて語句情報を記憶する。より具体的には、語句記憶部６６は、ユーザ識別情報と対話者関係情報に対応付け、語句、評価値及び最終更新日を記憶する。

【0053】

例えば、語句記憶部６６には、ユーザ識別情報「Ｕ１」、グループ識別情報「Ｆ１」、語句「釣り」、評価値「５０」、最終更新日「ＹＹＹＹＭＭＤＤ」（ＹＹＹＹＭＭＤＤは、日付情報を示す）であるレコードが記憶される。

【0054】

アドレス記憶部６７は、ユーザＵが利用しているＳＮＳのアドレス情報を記憶する。例えば、図７の例では、ユーザＵ４のＳＮＳサービスのアドレス情報がＸＸＸＸＸであり、ユーザＵ５のＳＮＳサービスのアドレス情報がＹＹＹＹＹである。

【0055】

（動作）
続いて、情報提供システム１の動作について説明をする。

【0056】

図８は、実施形態に関わる、情報提供システム１の情報提供処理の流れを示すフローチャートである。

【0057】

端末装置２において、人感センサ１１が、ユーザＵを検知すると、制御部１６は、通信部１５を介し、センター装置３にユーザＵの検知情報を出力する。センター装置３において、通信部２１を介して検知情報が入力されると、制御部３１による制御のもと、情報提供処理部４１によって情報提供処理を開始する。

【0058】

情報提供処理部４１のユーザ検出処理部４２が対話に参加しているユーザＵを検出すると（Ｓ１）、情報提供処理部４１は、関係検出処理部４３によってユーザＵ間の関係を検出し、ユーザＵ間の関係に応じた対話者関係情報を出力し（Ｓ２）、情報出力処理部４４によってユーザＵに対話者関係情報に応じた提供情報を出力する（Ｓ３）。また、Ｓ３の処理と並列し、情報提供処理部４１は、語句収集処理部４５によってユーザＵの対話情報を収集し、対話情報から語句を抽出し、対話者関係情報に対応付けて語句を記憶する（Ｓ４）。また、Ｓ１からＳ４の処理と並列し、情報提供処理部４１は、ＳＮＳ情報収集処理部４６によってＳＮＳを利用しているユーザＵのＳＮＳから記事情報を収集し、記事情報から語句を抽出し、ＳＮＳのグループを示すグループ識別情報に対応付けて語句を記憶する（Ｓ５）。

【0059】

次に、ユーザ検出処理について、具体的に説明をする。

【0060】

図９は、実施形態に関わる、情報提供システム１のユーザ検出処理の流れを示すフローチャートである。

【0061】

端末装置２は、対話に参加しているユーザＵの画像情報を取得する（Ｓ１１）。端末装置２において、カメラ１２が、ユーザＵを撮像すると、制御部１６は、通信部１５を介し、センター装置３にユーザＵの画像情報を出力する。

【0062】

画像処理部５２は、画像情報に基づいてユーザ識別情報を特定する（Ｓ１２）。通信部２１を介して画像情報が入力されると、制御部３１の制御のもと、画像処理部５２は、ユーザ画像記憶部６２を参照してマッチング処理を行う。マッチング処理によってユーザ識別情報が特定された場合には、画像処理部５２は、ユーザ識別情報を制御部３１を介してユーザ検出処理部４２に出力する。一方、新規ユーザである場合等、ユーザ識別情報の特定がされなかった場合には、画像処理部５２は、ユーザ識別情報が特定されなかったことを示す情報を制御部３１を介してユーザ検出処理部４２に出力する。

【0063】

ユーザ検出処理部４２は、ユーザ識別情報が特定されたか否かを判定する（Ｓ１３）。Ｓ１２の処理によって画像処理部５２からユーザ識別情報が入力された場合には、処理はＳ１６に進む。一方、ユーザ識別情報が特定されなかった場合には、処理はＳ１４に進む。

【0064】

ユーザ検出処理部４２は、制御部３１の制御のもと、音声処理部５３によってユーザＵにメッセージを出力してユーザ情報を収集する（Ｓ１４）。音声処理部５３は、ユーザＵにユーザ情報を問い合わせるためのメッセージを出力する。音声処理部５３は、例えば、「こんにちは、お名前は？」「家族のお名前は？」「学校のお友達の名前は？」「住んでいる場所はどこ？」「ＳＮＳのお友達の名前は？」等の所定の文字列を音声情報に変換し、制御部３１と通信部２１を介し、変換された音声情報を端末装置２に出力する。端末装置２は、通信部１５を介して入力された音声情報をスピーカ１４によって外部に出力する。ユーザＵが返答をすると、マイクロホン１３、制御部１６及び通信部１５を介し、ユーザＵの音声情報がセンター装置３に入力される。通信部２１を介して音声情報が入力されると、制御部３１の制御のもと、音声処理部５３は、音声情報を文字列に変換する。

【0065】

ユーザ検出処理部４２は、ユーザ情報記憶部６４にユーザ情報を記憶する（Ｓ１５）。ユーザ検出処理部４２は、新規にユーザ識別情報を採番し、ユーザＵの返答内容に基づいて、ユーザ識別情報及びユーザ名等のユーザ情報をユーザ情報記憶部６４に記憶する。ユーザ検出処理部４２は、ユーザＵの返答内容に応じ、所定のグループ決定処理によってグループ識別情報も決定する。

【0066】

例えば、メッセージ「家族のお名前は？」に対して、ユーザＵが「Ａ」と返答した場合、所定のグループ決定処理は、ユーザ情報記憶部６４から、ユーザ名「Ａ」に対応付けられた家族クラスのグループ識別情報を抽出し、グループ識別情報をＦ１であると決定する。また、メッセージ「学校のお友達の名前は？」に対して、ユーザＵが「Ｃ」と返答した場合、所定のグループ決定処理は、ユーザ情報記憶部６４から、ユーザ名「Ｃ」に対応付けられた学校クラスのグループ識別情報を抽出し、グループ識別情報をＧ１であると決定する。また、メッセージ「住んでいる場所はどこ？」に対して、ユーザＵがＬ１に対応する地域を返答した場合、所定のグループ決定処理は、グループ識別情報をＬ１であると決定する。また、メッセージ「ＳＮＳのお友達の名前は？」に対して、ユーザＵが「Ｅ」と返答した場合、所定のグループ決定処理は、ユーザ情報記憶部６４から、ユーザ名「Ｅ」に対応付けられたＳＮＳクラスのグループ識別情報を抽出し、グループ識別情報をＷ１であると決定する。

【0067】

ユーザ検出処理部４２は、全てのユーザＵに対して処理が終了したか否かを判定する（Ｓ１６）。全てのユーザＵの処理が終了していない場合（Ｓ１６：Ｎｏ）、処理はＳ１２に戻る。一方、全てのユーザＵの処理が終了した場合（Ｓ１６：Ｙｅｓ）、処理はＳ１７に進む。Ｓ１２からＳ１６の処理は、画像情報に含まれる全てのユーザＵのユーザ識別情報を特定するまで繰り返す。

【0068】

ユーザ検出処理部４２は、ユーザ識別情報を関係検出処理部４３に出力する（Ｓ１７）。

【0069】

すなわち、ユーザ検出処理部４２は、検出したユーザＵが、ユーザＵ間の関係を検出できない新規ユーザを含む場合、ユーザＵ間の関係を検出するためのユーザ情報を問い合わせるメッセージを出力し、ユーザ情報を取得する。

【0070】

次に、関係検出処理について具体的に説明する。

【0071】

図１０は、実施形態に関わる、情報提供システム１の関係検出処理の流れを示すフローチャートである。

【0072】

制御部３１の制御のもと関係検出処理部４３は、対話に参加しているユーザＵに共通したグループ識別情報を抽出する（Ｓ２１）。関係検出処理部４３は、Ｓ１７において入力されたユーザ識別情報に基づいて、ユーザ情報記憶部６４から対話に参加している全てのユーザＵのグループ識別情報を取得する。続いて、関係検出処理部４３は、全てのユーザＵに共通したグループ識別情報のみを抽出する。例えば、ユーザＵ１、Ｕ２、Ｕ３が対話に参加している場合は、Ｆ１、Ｇ１、Ｌ１がユーザＵ１、Ｕ２、Ｕ３に共通したグループ識別情報として抽出される。

【0073】

次に関係検出処理部４３は、対話者関係情報を決定する（Ｓ２２）。関係検出処理部４３は、優先度記憶部６５から優先度情報を取得し、最も優先度の高いクラスに属するグループ識別情報によって対話者関係情報を決定する。例えば、ユーザＵ１、Ｕ２、Ｕ３では、最も優先度の高いクラスが家族クラスであり、ユーザＵ１、Ｕ２、Ｕ３が家族関係であることが検出され、対話者関係情報は、Ｆ１に決定される。

【0074】

関係検出処理部４３は、対話者関係情報を情報出力処理部４４と語句収集処理部４５に出力する（Ｓ２３）。

【0075】

すなわち、関係検出処理部４３は、ユーザ情報に基づいて、ユーザＵ間の関係を検出する。より具体的には、関係検出処理部４３は、ユーザＵに共通したグループ識別情報によってユーザＵ間の関係を検出する。また、関係検出処理部４３は、クラスの優先度情報に基づいて、ユーザＵ間の関係を検出する。

【0076】

次にユーザＵへの情報提供の処理について説明する。

【0077】

図１１は、実施形態に関わる、情報提供システム１の情報出力処理の流れを示すフローチャートである。

【0078】

端末装置２は、音声情報を取得する（Ｓ３１）。端末装置２は、マイクロホン１３によってユーザＵの音声情報を取得し、通信部１５を介してセンター装置３に出力する。

【0079】

制御部３１の制御のもと、音声処理部５３は、音声情報を文字列に変換する（Ｓ３２）。

【0080】

情報出力処理部４４は、入力された音声情報に基づき、ユーザＵによってクラウドサービス処理の開始指示がされているか否かを判定する（Ｓ３３）。情報出力処理部４４は、Ｓ３２によって変換された文字列を取得し、例えば、天気予報の検索指示、又は、病院の予約指示等、クラウドサービス処理の開始指示がユーザＵによってされているか否かを判定する。開始指示がされていない場合（Ｓ３４：Ｎｏ）、処理はＳ３４ａに進む。一方、開始指示がされている場合（Ｓ３４：Ｙｅｓ）、処理はＳ３４ｂに進む。

【0081】

Ｓ３４ａでは、後述する提供情報生成処理により、ユーザＵに提供する提供情報の生成が行われる。Ｓ３４ａの処理が終了すると、処理はＳ３５に進む。

【0082】

Ｓ３４ｂでは、後述するクラウドサービス処理が行われる。Ｓ３４ｂの処理が終了すると、処理はＳ３５に進む。

【0083】

情報出力処理部４４は、提供情報を出力可能なタイミングか否かを判定する（Ｓ３５）。端末装置２から入力されたユーザＵの検知情報、画像情報、音声情報に基づいて、ユーザＵ間の対話が停滞状態にある、又は、ユーザＵが情報提供システム１の発話を待っている状態にある等、提供情報を出力可能なタイミングか否かを判定する。提供情報を出力可能なタイミングではないと判定した場合、処理はＳ３１に戻る。一方、提供情報を出力可能なタイミングであると判定した場合、処理はＳ３６に進む。

【0084】

音声処理部５３は、情報出力処理部４４の処理によりユーザＵに対して出力する提供情報を、音声情報に変換する（Ｓ３６）。

【0085】

音声処理部５３は、変換された音声情報を、制御部３１及び通信部２１を介して端末装置２に出力する（Ｓ３７）。

【0086】

最後に、評価処理部４４ｃは、後述する評価処理によって提供した情報の評価を行う（Ｓ３８）。

【0087】

次に前述のＳ３４ａのユーザＵに提供する情報の生成処理について説明する。

【0088】

図１２は、実施形態に関わる、情報提供システム１の提供情報生成処理の流れを示すフローチャートである。

【0089】

提供情報生成処理部４４ａは、語句記憶部６６から対話者関係情報に対応付けられた語句情報を取得する（Ａ１１）。

【0090】

提供情報生成処理部４４ａは、評価値に所定の重み付け係数を乗算し、修正評価値を算出する（Ａ１２）。所定の重み付け係数は、経験的又は実験的に、ユーザＵにとって関心度の高い情報が提供できるように、調整し、設定される。

【0091】

例えば、重み付け係数は、対話者関係情報と同じクループ識別情報を有し、かつ対話に参加していないユーザＵに関する提供情報を出力できるように、対話に参加していないユーザ識別情報の修正評価値が高くなるように設定されても構わない。

【0092】

別の例では、重み付け係数は、ユーザＵの記憶に新しい情報を提供できるように、最終更新日の新しい語句の修正評価値が高くなるように設定されても構わない。

【0093】

提供情報生成処理部４４ａは、修正評価値の高い語句を抽出する（Ａ１３）。

【0094】

続いて、提供情報生成処理部４４ａは、抽出された語句に基づく情報をインターネットで検索する（Ａ１４）。なお、検索する語句は、１つに限定されず、修正評価値が上位にある複数の語句を含んでも構わないし、ユーザ情報記憶部６４に記憶された、地域、趣味等のユーザ情報を含んでも構わない。

【0095】

提供情報生成処理部４４ａは、検索結果に基づく所定の言い換え処理によって提供情報を生成する（Ａ１５）。

【0096】

例えば、ユーザＵ３、Ｕ５、Ｕ６が対話をし、対話者関係情報がＧ１であるとき、制御部３１は、「運動会」「徒競走」に関する語句情報を語句記憶部６６から取得する（Ａ１１）。所定の重み付け係数が１であり、所定の重み付け係数によって重み付けされないときの修正評価値の高い語句は、「運動会」「徒競走」である（Ａ１２）。「運動会」「徒競走」をインターネットの検索サービスによって検索すると、「徒競走で速く走る方法」等の情報が得られる（Ａ１４）。所定の言い換え処理により、例えば、「徒競走で速く走る方法知ってる？」という提供情報が生成される（Ａ１５）。

【0097】

次に前述のＳ３４ｂのクラウドサービス処理について説明する。

【0098】

図１３は、実施形態に関わる、情報提供システム１のクラウドサービス処理の流れを示すフローチャートである。図１４は、実施形態に関わる、情報提供システム１の構成例を説明する図である。

【0099】

クラウドサービス処理部４４ｂは、ユーザＵの指示に基づく所定のクラウドサービス処理を実行する（Ａ２１）。

【0100】

続いて、クラウドサービス処理部４４ｂは、クラウドサービス処理の実行結果により、提供情報を生成する（Ａ２２）。

【0101】

クラウドサービス処理部４４ｂは、生成した提供情報から語句を抽出し、対話者関係情報と語句情報を語句記憶部６６に記憶する（Ａ２３）。

【0102】

例えば、ユーザＵ７による病院の予約指示がある場合は、クラウドサービス処理部４４ｂは、外部サーバ４にアクセスし、病院の予約処理を行う（Ａ２１）。続いて、クラウドサービス処理部４４ｂは、予約処理の結果に基づいて、「Ｗ病院をＸ月Ｙ日Ｚ時に予約したよ」等の提供情報を生成する。続いて、クラウドサービス処理部４４ｂは、対話者関係情報と語句「病院」「予約」に関する語句情報を語句記憶部６６に記憶する（Ａ２３）。

【0103】

語句情報が語句記憶部６６に記憶されることにより、クラウドサービス処理の結果に関する情報もユーザＵに提供される。例えば、図１４に示すように、別居しているユーザＵ７が端末装置２ｂによって病院の予約処理を行うと、端末装置２ａは、ユーザＵ１、Ｕ２、Ｕ３に対し、例えば、「Ｌ２の地域に、評判のよい病院があるみたい」という話題を提供し、それとなく、ユーザＵ７の体調が優れないことを知らせる。

【0104】

次に、前述のＳ３８の評価処理について説明する。

【0105】

図１５は、実施形態に関わる、情報提供システム１の評価処理の流れを示すフローチャートである。

【0106】

評価処理部４４ｃは、通信部２１と制御部３１を介して端末装置２からユーザＵの音声情報を取得する（Ａ３１）。

【0107】

評価処理部４４ｃは、通信部２１と制御部３１を介して端末装置２からユーザＵの画像情報を取得する（Ａ３２）。

【0108】

評価処理部４４ｃは、ユーザＵの音声情報と画像情報に基づいて、評価値を算出する（Ａ３３）。評価処理部４４ｃは、端末装置２から取得したユーザＵの画像情報から、画像処理部５２でユーザＵの関心度を示す特徴量を算出する。また、評価処理部４４ｃは、端末装置２から取得したユーザＵの音声情報から、音声処理部５３でユーザＵの関心度を示す特徴量を算出する。続いて、評価処理部４４ｃは、画像処理部５２と音声処理部５３の各々から入力された特徴量に基づいて、所定の演算により、語句の評価値を算出する。

【0109】

評価処理部４４ｃは、評価値を語句記憶部６６に記憶する（Ａ３４）。評価処理部４４ｃは、ユーザ識別情報、対話者関係情報及び語句に対応付けて語句の評価値を語句記憶部６６に記憶する。

【0110】

次にユーザＵの対話情報からの語句を抽出する処理について説明する。

【0111】

図１６は、実施形態に関わる、情報提供システム１の語句収集処理の流れを示すフローチャートである。

【0112】

Ｓ４１とＳ４２は、前述のＳ３１とＳ３２と同じため、説明を省略する。

【0113】

語句収集処理部４５は、音声処理部５３で処理（Ｓ４１、４２）されたユーザＵからの音声情報の文字列から語句を抽出する（Ｓ４３）。語句収集処理部４５は、所定の抽出処理により、文字列によって構成される文を複数の語句に分割し、語句を抽出する。

【0114】

語句収集処理部４５は、Ｓ４３で抽出された語句情報を語句記憶部６６に記憶する（Ｓ４４）。語句収集処理部４５は、ユーザ識別情報と対話者関係情報に対応付け、語句情報を語句記憶部６６に記憶する。評価値には、所定値がセットされる。

【0115】

次に、ユーザＵに関連する情報を外部のＳＮＳサーバから取得する処理について説明する。

【0116】

図１７は、実施形態に関わる、情報提供システム１のＳＮＳ情報収集処理の流れを示すフローチャートである。

【0117】

ＳＮＳ情報収集処理部４６は、ＳＮＳを利用しているユーザＵのユーザ識別情報をユーザ情報記憶部６４から取得する（Ｓ５１）。

【0118】

続いて、ＳＮＳ情報収集処理部４６は、ユーザ識別情報に対応付けられたアドレス情報をアドレス記憶部６７から取得する（Ｓ５２）。

【0119】

制御部３１の制御のもとＳＮＳ情報収集処理部４６は、ＳＮＳサイト（外部サーバ４）にアクセスをし、記事情報を取得する（Ｓ５３）。ＳＮＳ情報収集処理部４６は、アドレス情報に基づいてＳＮＳサイトにアクセスを行い、文字列又は画像情報によって構成される記事情報を取得する。

【0120】

ＳＮＳ情報収集処理部４６は、Ｓ５３で取得した記事情報から語句を抽出する（Ｓ５４）。ＳＮＳ情報収集処理部４６は、所定の抽出処理により、文字列によって構成される文を複数の語句に分割し、語句を抽出する。また、ＳＮＳ情報収集処理部４６は、所定の画像認識処理により、画像情報から対象物又は背景を示す語句を抽出する。

【0121】

ＳＮＳ情報収集処理部４６は、Ｓ５４で抽出した語句情報を語句記憶部６６に記憶する（Ｓ５５）。ＳＮＳ情報収集処理部４６は、対話者関係情報に、ユーザＵが属するＳＮＳクラスのグループ識別情報をセットし、評価値に所定値をセットし、ユーザ識別情報と対話者関係情報に対応付け、語句情報を語句記憶部６６に記憶する。

【0122】

例えば、図４では、ＳＮＳ情報収集処理部４６は、ユーザ識別情報であるＵ５を取得し（Ｓ５１）、アドレス記憶部６７からアドレス情報であるＸＸＸＸＸを取得し（Ｓ５２）、ＳＮＳサイトにアクセスをし、ＳＮＳに掲載された海の画像情報から所定の画像認識処理によって語句「海」を抽出する（Ｓ５４）。続いて、図６に示すように、ＳＮＳ情報収集処理部４６は、ユーザ識別情報「Ｕ５」、グループ識別情報「Ｗ１」、語句「海」、評価値「２０」（所定値）である語句情報を語句記憶部６６に記憶する。

【0123】

例えば、ユーザＵ５、Ｕ６が対話をし、関係検出処理部４３が対話者関係情報をＷ１に決定すると、情報提供システム１は、語句「海」に基づいて、「きれいな海知ってる？」等の話題をユーザＵ５、Ｕ６に提供する。

【0124】

これにより、例えば、情報提供システム１は、家族の対話にも話題を提供する。ユーザＵ１、Ｕ２、Ｕ３が「釣りに行きたい」「今週末の天気はどうだろう」等の対話をすると、情報提供システム１が、端末装置２ａ（図１４）を介し、「キスが岬で釣れ始めたみたい」等の話題を提供する。また、情報提供システム１は、端末装置２ｂを介し、ユーザＵ７にも「キスの天ぷら去年の今頃作っていたね」等の話題を提供する。端末装置２ｂを介してユーザＵ７の「キスの天ぷら食べたいね」等の対話を検出すると、情報提供システム１は、端末装置２ａを介し、ユーザＵ１、Ｕ２、Ｕ３に「おばあちゃん（ユーザＵ７）がキスの天ぷらを食べたいみたい」等の話題を提供する。さらに、情報提供システム１は、クラウドサービス処理によって天気予報を検索し、端末装置２ａを介し、ユーザＵ１、Ｕ２、Ｕ３に「今週末は天気がよさそうだよ」等の情報を提供する。

【0125】

また、ユーザＵ１、Ｕ２、Ｕ３が家族内の対話をしているとき、ユーザＵ３の学校の友人であるユーザＵ６が対話に加わると、情報提供システム１は、関係検出処理部４３によって対話者関係情報をＧ１に決定し、「運動会楽しかった？」等の学校に関係した話題を提供する。

【0126】

すなわち、対話に参加しているユーザＵが変わると、ユーザ検出処理部４２によってユーザＵが検出され、関係検出処理部４３によってユーザＵ間の関係に応じた対話者関係情報が出力され、対話者関係情報に応じた提供情報がユーザＵに提供される。

【0127】

上述の実施形態によれば、情報提供システム１及び情報提供方法は、対話しているユーザＵが変わった場合においても、対話しているユーザＵに共通し、かつ関心度の高い情報を提供することができる。

【0128】

なお、実施形態では、端末装置２がロボットである例を説明したが、これに限定されない。端末装置２は、携帯電話等の携帯情報端末であっても構わないし、パソコン等の情報処理装置であっても構わない。

【0129】

なお、実施形態では、人感センサ１１によってユーザＵを検知するが、人感センサ１１に代えて、カメラ１２又はマイクロホン１３によってユーザＵを検知しても構わない。

【0130】

なお、実施形態では、関係検出処理部４３がユーザＵのグループ識別情報に基づいて、ユーザＵ間の関係を検出するが、これに限定されない。例えば、関係検出処理部４３は、ユーザ情報記憶部６４に記憶される図示しない属性情報によってユーザＵ間の関係を検出しても構わない。

【0131】

なお、実施形態におけるＳ１１及びＳ１２では、画像処理部５２の処理によってユーザ識別情報を特定するが、ユーザ識別情報の特定は、Ｓ１１とＳ１２の処理に加え、マイクロホン１３によってユーザＵの音声を集音し、音声処理部５３の処理によって行われても構わない。

【0132】

なお、実施形態では、優先度記憶部６５がクラスの優先度情報を有し、関係検出処理部４３がクラスの優先度情報に基づいて、ユーザＵ間の関係を検出するが、優先度記憶部６５がグループ識別情報の優先度を有し、関係検出処理部４３が、グループ識別情報の優先度情報に基づいてユーザＵ間の関係を検出しても構わない。

【0133】

以上、本実施形態の情報提供システム１のセンター装置３の各機能は、プログラムとして構成することができる。例えば、コンピュータの不図示の補助記憶装置に格納され、ＣＰＵ等の制御部３１が補助記憶装置に格納された情報提供システム１のセンター装置３の各機能毎のプログラムを主記憶装置に読み出し、主記憶装置に読み出された該プログラムを制御部３１が実行し、コンピュータに本発明の各部の機能を動作させることができる。すなわち、本実施形態の情報提供システム１のセンター装置３の各機能毎のプログラムがインストールされたコンピュータは、本実施形態の情報提供システム１のセンター装置３の各機能を遂行するコンピュータ装置として動作することが可能である。

【0134】

また、上記プログラムは、コンピュータ読取可能な記録媒体に記録された状態で、コン
ピュータに提供することも可能である。コンピュータ読取可能な記録媒体としては、ＣＤ
−ＲＯＭ等の光ディスク、ＤＶＤ−ＲＯＭ等の相変化型光ディスク、ＭＯ（Ｍａｇｎｅｔ Ｏｐｔｉｃａｌ）やＭＤ（Ｍｉｎｉ Ｄｉｓｋ）などの光磁気ディスク、フロッピー（登録商標）ディスクやリムーバブルハードディスクなどの磁気ディスク、コンパクトフラッシュ（登録商標）、スマートメディア、ＳＤメモリカード、メモリスティック等のメモリカードが挙げられる。また、本発明の目的のために特別に設計されて構成された集積回路（ＩＣチップ等）等のハードウェア装置も記録媒体として含まれる。

【0135】

本発明の実施形態を説明したが、これらの実施形態は、例として示したものであり、本発明の範囲を限定することは意図していない。これら新規の実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0136】

１・・・情報提供システム、２、２ａ、２ｂ・・・端末装置、３・・・センター装置、４・・・外部サーバ、１１・・・人感センサ、１２・・・カメラ、１３・・・マイクロホン、１４・・・スピーカ、１５、２１・・・通信部、１６、３１・・・制御部、１６ａ・・・ＣＰＵ、１６ｂ・・・メモリ、４１・・・情報提供処理部、４２・・・ユーザ検出処理部、４３・・・関係検出処理部、４４・・・情報出力処理部、４４ａ・・・提供情報生成処理部、４４ｂ・・・クラウドサービス処理部、４４ｃ・・・評価処理部、４５・・・語句収集処理部、４６・・・ＳＮＳ情報収集処理部、５１・・・画像音声処理部、５２・・・画像処理部、５３・・・音声処理部、６１・・・データ記憶部、６２・・・ユーザ画像記憶部、６３・・・ユーザ音声記憶部、６４・・・ユーザ情報記憶部、６５・・・優先度記憶部、６６・・・語句記憶部、６７・・・アドレス記憶部、Ｕ、Ｕ１、Ｕ２、Ｕ３、Ｕ４、Ｕ５、Ｕ６、Ｕ７・・・ユーザ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】