(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-12-04
(45)【発行日】2023-12-12
(54)【発明の名称】情報提示装置、情報提示方法
(51)【国際特許分類】
G06F 16/90 20190101AFI20231205BHJP
【FI】
G06F16/90 100
(21)【出願番号】P 2019205450
(22)【出願日】2019-11-13
【審査請求日】2022-10-26
(73)【特許権者】
【識別番号】000003193
【氏名又は名称】TOPPANホールディングス株式会社
(74)【代理人】
【識別番号】100149548
【氏名又は名称】松沼 泰史
(74)【代理人】
【識別番号】100139686
【氏名又は名称】鈴木 史朗
(74)【代理人】
【識別番号】100169764
【氏名又は名称】清水 雄一郎
(74)【代理人】
【識別番号】100147267
【氏名又は名称】大槻 真紀子
(72)【発明者】
【氏名】波多野 亮平
【審査官】齊藤 貴孝
(56)【参考文献】
【文献】特開2010-097431(JP,A)
【文献】特開2008-123115(JP,A)
【文献】特開2009-129036(JP,A)
【文献】再公表特許第2008/023470(JP,A1)
【文献】特開2007-148517(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06F 16/00-16/958
(57)【特許請求の範囲】
【請求項1】
利用者の対話履歴と環境情報とに基づく記憶想起の志向を表す想起志向を基に、対話規則構築および対話制御が可能な情報提示システムであり、
利用者が利用する端末装置に対して対話処理を行う対話管理部と、
対話の履歴である対話履歴を蓄積する対話履歴記憶部と、
前記対話を行った環境と当該対話に含まれる想起志向フレーズと想起志向とを蓄積する環境記憶部と、
前記対話処理を行うことで得られる利用者の要求発話に含まれる想起志向フレーズと、前記要求発話に対する返答内容を得るために前記想起志向フレーズに対応する想起志向が示す概念を変更した場合に当該想起志向を変更して探索した内容を表す実施内容と、前記返答内容が前記利用者の欲しい情報として満足できたか否かを示すフィードバックと、
を記憶する行動記憶部と、
前記行動記憶部に記憶された想起
志向フレーズと、前記実施内容と、前記フィードバックとを基に、前記利用者の想起志向フレーズが示す想起志向が前記利用者の欲しい返答内容を含む情報を得るために信頼できる度合いを示す信頼度を算出する想起志向管理部と、
を備える情報提示システム。
【請求項2】
前記想起志向管理部は、
前記対話履歴記憶部に記憶された対話に含まれる想起志向フレーズに基づいて、前記対話の環境に類する環境情報に対応する想起志向フレーズを取得する
請求項1に記載の情報提示システム。
【請求項3】
文章のテンプレートに前記対話履歴記憶部に記憶された対話内容に含まれる単語と前記環境記憶部に記憶された単語とを当てはめることで、対話規則を生成する対話規則構築部を有する
請求項1または請求項2に記載の情報提示システム。
【請求項4】
前記対話管理部が、
前記想起志向管理部により算出された想起志向に応じた要求発話に対する返答発話の決定を行う
請求項1から請求項3のうちいずれか1項に記載の情報提示システム。
【請求項5】
前記環境記憶部は、メンバ、天候、場所、日時を含む周囲の環境情報、を蓄積する
請求項1から請求項4のうちいずれか1項に記載の情報提示システム。
【請求項6】
前記対話履歴記憶部に記憶された対話内容について、形態素解析、キーワード抽出、ベクトル化うちいずれかの手法を用いることで対話内容に応じた数値データを求める解析部と
を有する請求項1から請求項5のうちいずれか1項に記載の情報提示システム。
【請求項7】
利用者の年齢、性別、居住地を含むデモグラフィックデータと、想起志向とを記憶する属性記憶部を有し、
前記想起志向管理部は、前記属性記憶部に記憶された情報を用いて、利用者が求める回答が得られるように要求発話の想起志向フレーズを変更することで、前記想起志向の最適化処理をする
請求項1から請求項6のうちいずれか1項に記載の情報提示システム。
【請求項8】
前記想起志向管理部は、前記想起志向に対する信頼度を、属性記憶部に対してユーザ毎に書き込み記憶させる
請求項1から請求項7のうちいずれか1項に記載の情報提示システム。
【請求項9】
前記想起志向管理部は、前記行動記憶部に記憶された探索結果とフィードバックとを基に、前記想起志向に対する信頼度を更新する
請求項1から請求項8のうちいずれか1項に記載の情報提示システム。
【請求項10】
利用者の特徴を基に組分けを行うグルーピング推定部と、
前記グルーピング推定部によってグルーピングされた結果を蓄積するグルーピング記憶部と、
前記グルーピング記憶部の情報に記憶されたグルーピングの結果を基に、変更対象の利用者の想起志向が共通するユーザの、想起志向を推定するモデルを用いるモデル構築部と、を有する
請求項1から請求項9のうちいずれか1項に記載の情報提示システム。
【請求項11】
前記グルーピング記憶部から、前記利用者に共通する想起志向により、対話規則構築および対話管理それぞれが変更されたモデルを用いる
請求項10に記載の情報提示システム。
【請求項12】
前記想起志向管理部は、
モデルが用意されていない、あるいは不十分なユーザに対し、当該ユーザと類似した傾向を持つモデルを用いて、対話規則構築と対話管理を最適化するためのモデルを生成する
請求項1から請求項11のいずれか1項に記載の情報提示システム。
【請求項13】
応答内容を含む情報を加工することでコンテンツを生成する合成部を有する
請求項1から請求項12のうちいずれか1項に記載の情報提示システム。
【請求項14】
前記合成部は、
送信先の端末装置に応じて、異なる加工をしたコンテンツを生成する構を有する
請求項13に記載の情報提示システム。
【請求項15】
利用者の対話履歴と環境情報とに基づく記憶想起の志向を表す想起志向を基に、対話規則構築および対話制御が可能な情報提示システムにおける情報提示方法であり、
前記情報提示システムは、
対話の履歴である対話履歴を蓄積する対話履歴記憶部と、
前記対話を行った環境と当該対話に含まれる想起志向フレーズと想起志向とを蓄積する環境記憶部と、
対話処理を行うことで得られる利用者の要求発話に含まれる想起志向フレーズと、前記要求発話に対する返答内容を得るために前記想起志向フレーズに対応する想起志向が示す概念を変更した場合に当該想起志向を変更して探索した内容を表す実施内容と、前記返答内容が前記利用者の欲しい情報として満足できたか否かを示すフィードバックと、
を記憶する行動記憶部と、
を有し、
対話管理部が、利用者が利用する端末装置に対して対話処理を行い、
想起志向管理部が、前記行動記憶部に記憶された想起
志向フレーズと、前記実施内容と、前記フィードバックとを基に、前記利用者の想起志向フレーズが示す想起志向が前記利用者の欲しい返答内容を含む情報を得るために信頼できる度合いを示す信頼度を算出する
情報提示方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、情報提示装置、情報提示方法に関する。
【背景技術】
【0002】
近年、インターネット環境の充実により、ソーシャル・ネットワーク・サービス(以下、SNSと示す)が普及し、テキストや画像を用いて複数のユーザ間において簡易に意思疎通を行うことが可能となっている。例えば、SNSのアプリケーションとしては、LINE(登録商標)、Facebook(登録商標)メッセンジャー、Slack(登録商標)などが代表的である。これらのSNSは、一対一のユーザ間の情報のやり取りだけでなく、所定のグループにおける多人数のユーザ間で送受信する情報(複数のユーザ間における対話)を、グループ内の全てのユーザで共有する機能も有している。
【0003】
また、マン・マシン対話型のSNSとしては、Google Assistant(登録商標)、Amazon Alexa(登録商標)、Line Clova(登録商標)などがある。
また、上述したアプリケーションの各々が、パーソナルコンピュータ及びスマートデバイスや、Google Home(登録商標)、Amazon Echo(登録商標)、Clova Wave(登録商標)などのスマートスピーカに搭載され、それぞれにおいて音声合成されて、音声を用いた情報提示を主体としたものも広く利用されている。
【0004】
マン・マシン対話型SNSについては、様々なサービスが展開されている。活用方法についてもユーザとシステムが一対一の状況だけでなく、不特定多数のユーザ対システムという状況で使用されることも多い(旅行計画時に代理店に行くことなく、対話サービスで予約、時刻表検索、保険プランの照会などが可能など)。
【0005】
マン・マシン対話型のSNSにおいては、ユーザとシステムの対話を実現するために、ユーザからの要求発話に対してどのような返答発話をするかについて、予め対話の流れを想定して規則を構築するルールベース手法を用いられることが多い。
【0006】
対話規則の構築には様々な工夫がされており、手作業による規則構築のコスト低減を目的として、オントロジなど詳細な辞書の代替としてラベル付された対話セットを利用する方法が提案されている(特許文献1)。
【0007】
対話の質を向上させることを目的として対話規則の生成を補助する技術として、ユーザが対話中に発した言葉の属性(ポジティブやネガティブなどの評価情報)やユーザの属性を基に、返答発話の提示内容をカスタマイズするための手法が提案されている(特許文献2)。
【先行技術文献】
【特許文献】
【0008】
【文献】特許第4755478号公報
【文献】特許第6381775号公報
【発明の概要】
【発明が解決しようとする課題】
【0009】
しかしながら、従来の対話型SNSにおいては、ユーザが過去の任意の情報を参照したい場合に、過去の全ての情報を閲覧したり、検索が可能な場合でも、キーワードを思い出せなかったり、グループ対話などで検索の契機となる共通認識が不明瞭で参照できないなど、直感的に内容を再生し辛いという問題がある。
【0010】
また、人同士の対話の場合、過去の対話の内容を参照する場合に、具体的な話の内容だけではなく、「いつ」「どこで」「だれと」「何について」などといった周囲の環境などの環境情報を用いて、会話を行うことも多く、これで対話が成立することも少なくない。
【0011】
一方、一般的な対話サービスの場合は、マン・マシン型では、不特定多数に向けた汎用的サービスを前提としているため、過去に得た情報を再度取り出そうとしても、所望の情報を得るには、所定の手順を踏まなければならず、前述のような環境情報などを用いた参照ができない。
【0012】
マン・マシン対話の枠組みを利用し、新規対話規則を追加していくことで、効率的な情報把握が期待できるが、予め対話シナリオを想定しておくルールベース手法などがあるものの、手作業でのメンテナンスを行う部分が多く、作業量の面からかなり困難である。
【0013】
メッセージアプリにしても、マン・マシン型のようなしくみで情報を取り出せることがインタフェースの面から見ても好ましい。
【0014】
本発明は、このような事情に鑑みてなされたもので、その目的は、直接的なキーワードを利用しなくても、過去の対話履歴を活用し、必要な情報を得ることができる情報提示装置、情報提示方法を提供することにある。
【課題を解決するための手段】
【0015】
上述した課題を解決するために、本発明の一態様は、利用者の対話履歴と環境情報とに基づく記憶想起の志向を表す想起志向を基に、対話規則構築および対話制御が可能な情報提示システムであり、利用者が利用する端末装置に対して対話処理を行う対話管理部と、対話の履歴である対話履歴を蓄積する対話履歴記憶部と、前記対話を行った環境と当該対話に含まれる想起志向フレーズと想起志向とを蓄積する環境記憶部と、前記対話処理を行うことで得られる利用者の要求発話に含まれる想起志向フレーズと、前記要求発話に対する返答内容を得るために前記想起志向フレーズに対応する想起志向が示す概念を変更した場合に当該想起志向を変更して探索した内容を表す実施内容と、前記返答内容が前記利用者の欲しい情報として満足できたか否かを示すフィードバックと、を記憶する行動記憶部と、前記行動記憶部に記憶された想起志向フレーズと、前記実施内容と、前記フィードバックとを基に、前記利用者の想起志向フレーズが示す想起志向が前記利用者の欲しい返答内容を含む情報を得るために信頼できる度合いを示す信頼度を算出する想起志向管理部と、を備える情報提示システムである。
【0016】
また、本発明の一態様は、前記想起志向管理部は、前記対話履歴記憶部に記憶された対話に含まれる想起志向フレーズに基づいて、前記対話の環境に類する環境情報に対応する想起志向フレーズを取得する。
【0017】
また、本発明の一態様は、文章のテンプレートに前記対話履歴記憶部に記憶された対話内容に含まれる単語と前記環境記憶部に記憶された単語とを当てはめることで、対話規則を生成する対話規則構築部を有する。
【0018】
また、本発明の一態様は、前記対話管理部が、前記想起志向管理部により算出された想起志向に応じた要求発話に対する返答発話の決定を行う。
【0019】
また、本発明の一態様は、前記環境記憶部は、メンバ、天候、場所、日時を含む周囲の環境情報、を蓄積する。
【0020】
また、本発明の一態様は、前記対話履歴記憶部に記憶された対話内容について、形態素解析、キーワード抽出、ベクトル化うちいずれかの手法を用いることで対話内容に応じた数値データを求める解析部とを有する。
【0021】
また、本発明の一態様は、利用者の年齢、性別、居住地を含むデモグラフィックデータと、想起志向とを記憶する属性記憶部を有し、前記想起志向管理部は、前記属性記憶部に記憶された情報を用いて、利用者が求める回答が得られるように要求発話の想起志向フレーズを変更することで、前記想起志向の最適化処理をする。
【0022】
また、本発明の一態様は、前記想起志向管理部は、前記想起志向に対する信頼度を、属性記憶部に対してユーザ毎に書き込み記憶させる。
【0023】
また、本発明の一態様は、前記想起志向管理部は、前記行動記憶部に記憶された探索結果とフィードバックとを基に、前記想起志向に対する信頼度を更新する。
【0024】
また、本発明の一態様は、利用者の特徴を基に組分けを行うグルーピング推定部と、前記グルーピング推定部によってグルーピングされた結果を蓄積するグルーピング記憶部と、を有し、前記モデル構築部は、前記グルーピング記憶部の情報に記憶されたグルーピングの結果を基に、変更対象の利用者の想起志向が共通するユーザの、想起志向を推定するモデルを用いる。
【0025】
また、本発明の一態様は、前記グルーピング記憶部から、前記利用者に共通する想起志向により、対話規則構築および対話管理それぞれが変更されたモデルを用いる。
【0026】
また、本発明の一態様は、前記想起志向管理部は、前記変更モデルが用意されていない、あるいは不十分なユーザに対し、当該ユーザと類似した傾向を持つモデルを用いて、対話規則構築と対話管理を最適化するためのモデルを生成する。
【0027】
また、本発明の一態様は、応答内容を含む情報を加工することでコンテンツを生成する合成部を有する。
【0028】
また、本発明の一態様は、前記合成部は、送信先の端末装置に応じて、異なる加工をしたコンテンツを生成する構を有する。
【0029】
また、本発明の一態様は、利用者の対話履歴と環境情報とに基づく記憶想起の志向を表す想起志向を基に、対話規則構築および対話制御が可能な情報提示システムにおける情報提示方法であり、前記情報提示システムは、対話の履歴である対話履歴を蓄積する対話履歴記憶部と、前記対話を行った環境と当該対話に含まれる想起志向フレーズと想起志向とを蓄積する環境記憶部と、対話処理を行うことで得られる利用者の要求発話に含まれる想起志向フレーズと、前記要求発話に対する返答内容を得るために前記想起志向フレーズに対応する想起志向が示す概念を変更した場合に当該想起志向を変更して探索した内容を表す実施内容と、前記返答内容が前記利用者の欲しい情報として満足できたか否かを示すフィードバックと、記憶する行動記憶部と、を有し、対話管理部が、利用者が利用する端末装置に対して対話処理を行い、想起志向管理部が、前記行動記憶部に記憶された想起志向フレーズと、前記実施内容と、前記フィードバックとを基に、前記利用者の想起志向フレーズが示す想起志向が前記利用者の欲しい返答内容を含む情報を得るために信頼できる度合いを示す信頼度を算出する情報提示方法である。
【0030】
本発明では対話規則構築に着目し、記憶想起を促すあるいは曖昧検索に資する情報を対話規則構築に織り込むことで、過去の対話履歴からの情報参照の効率化を目指すものである。具体的には、対話・検索履歴やそれに含まれるグループ内での共通認識に基づくワード、記憶を想起させるための環境情報(天気、部屋など)、を用いて対話規則の構築を行うとともに、ユーザごとあるいはユーザ同士の傾向を比較・分析した結果などを基に、および記憶の想起に関する志向を算出し、前記、対話規則の構築および対話の制御を可能とするものである。
【0031】
本発明の一態様としては、想起志向管理部において後述する各種記憶手段により記憶部に蓄積された情報のいずれかあるいは組み合わせで、ユーザの想起志向を推定するためのパラメータを決定することを特徴とする。
【0032】
本発明の一態様としては、前記想起志向管理部は、新たな情報の追加に伴い自然言語処理や機械学習、ニューラルネットワーク、強化学習などの枠組みを用いて学習を行い、推定アルゴリズムを最適化する機能を備える(機械学習を行い定式化に必要なパラメータの最適化を行える)。
【0033】
本発明の一態様としては、対話規則構築部は想起志向管理部により算出された想起志向および記憶部の情報に応じて対話規則の構築を行うことを特徴とする。
【0034】
本発明の一態様としては、対話管理部は想起志向管理部により算出された想起志向に応じて要求対話に対する返答発話の決定を行うことを特徴とする。
【0035】
(環境記憶部にて取得する情報および特徴量に関する記述)
本発明の一態様としては、前記環境記憶部は、対話を参加したメンバや、日時、場所、天候、気温などの対話以外の情報(対話の内容ごとに変化するもの)を記憶することを特徴とする。
【0036】
本発明の一態様としては、前記環境記憶部の内容は特徴量として数値や記号に変換し、単体、あるいは組み合わせなど異なる情報をかけ合わせた形式へ加工し保持することも可能とする。
【0037】
(対話履歴記憶部にて取得する情報および特徴量に関する記述)
本発明の一態様としては、前記対話履歴記憶部は、ユーザのシステム上での対話内容などを記憶することを特徴とする。
【0038】
本発明の一態様としては、前記対話履歴記憶部の対話内容は共起や類似度などを表す数値や記号に変換し用いることも可能とする(tf-idfやword2vecなどの公知の技術を用いる)。
【0039】
本発明の一態様としては、前記対話履歴記憶部では、当該システムを介して行った対話全てを扱い、想起志向を用いて構築した対話規則を利用した対話履歴については、対話内容に加え、事前に設定した過去の対話を参照する際に用いた(後述する環境情報に関連する)フレーズに合致あるいは類似するものを記録、または検知回数をトータルまたは、要求内容ごとに記憶することを特徴とする。
【0040】
(属性記憶部にて取得する情報および特徴量に関する記述)
本発明の一態様としては、前記属性記憶部は、ユーザの年齢、性別、所在地を始めとしたデモグラフィックデータといった対話以外の利用者属性情報(特に、対話によって変化しないもの)を保持することを特徴とする。
【0041】
本発明の一態様としては、前記属性記憶部は、上記の情報に加え想起志向管理部にて算出したパラメータを属性記憶部にユーザごとに書き込み記憶させることを特徴とする。
【0042】
(行動記憶部での取得する情報および特徴量に関する記述)
本発明の一態様としては、前記行動記憶部は、システムとユーザの双方の振る舞いを記録することを特徴とする。
【0043】
本発明の一態様としては、前記行動記憶部は後述する想起志向の推定結果を基に、構築した対話規則および、具体的な実施内容(要求発話と返答発話の紐付け、勘違いの程度を推定して提示したなど)を記録することを特徴とする。
【0044】
本発明の一態様としては、前記行動記憶部は想起志向の推定結果に応じた対話処理の結果に対するユーザの評価(システム上で「あっていましたか?、はい/いいえ」などを選択させる明確な提示)を記憶することを特徴とする。
【0045】
(グルーピング記憶部にて取得する情報および特徴量に関する記述)
本発明の一態様としては、前記グルーピング記憶部は、記憶手段の情報を基に、類似した傾向を持つユーザに対して、組分けを実現し記録することを特徴とする。
【0046】
本発明の一態様としては、前記グルーピング記憶部から、ユーザに共通する想起志向により、対話規則構築および対話管理それぞれの変更を行う変更モデルをさらに備えることを特徴とする。
【0047】
本発明の一態様としては、前記想起志向管理部は、変更モデルが用意されていない、あるいは不十分なユーザに対し、類似した傾向を持つ変更モデルを抽出し、対話規則構築や対話管理を最適化するための変更モデルを生成することを特徴とする。
【0048】
本発明の一態様としては、前記提示制御部は、前記想起志向管理部で導出した推定内容を基に対話管理部が決定した応答発話に応じた、提示方法を変更することを特徴とする。
【0049】
本発明の一態様としては、前記提示制御部の情報を基にユーザへの提示形態を変更するものであり、提示制御部はシステムに合成部に加え、ユーザに視覚的な情報を提示できる、可視化部が存在する場合は、表示の切り替えを行うことを特徴とする。
【0050】
また、音声合成処理を介さずにユーザへの提示を行うことも可能とする。
【発明の効果】
【0051】
以上説明したように、この発明によれば、直接的なキーワードを利用しなくても、過去の対話履歴を活用し、必要な情報を得ることができる。
【0052】
また、本発明によれば、先の仕組みを用いることで、固有名詞などの直接的な表現を用いずに、代名詞や記憶を想起するワードを基に所望の情報を取り出し、対話を行うことができる。これにより、過去の対話履歴の効率的な参照が可能となる。
【0053】
また、実際の環境情報などを基にした想起による参照の履歴や、システムの提示に対するユーザからの評価を用いて逐次、ユーザが想起に用いる環境情報の傾向に加え、対話で頻出する勘違いや記憶違いの傾向を考慮した想起志向管理部の最適化が行えるとともに、ユーザ同士の想起志向を比較・分析することで、情報が少ないユーザに対しても想起志向を適用した処理を提供できる。
【図面の簡単な説明】
【0054】
【
図1】本発明の実施形態に係る情報提示システム1の構成例を示すブロック図
【
図2】本発明の実施形態に係る端末装置10の構成例を示すブロック図
【
図3】情報提示装置20へ送信されるデジタルデータの構成例を示す図
【
図4A】端末装置10における提示形態のイメージを示す図
【
図4B】端末装置10における提示形態のイメージを示す図
【
図11】グルーピング記憶部のデータ構成例を示す図
【
図12】言語知識記憶部226の構成例を説明する図
【
図13】想起志向管理部240の構成例を示すブロック図
【
図14】モデル構築部242の最適化の例を説明する図
【
図15】対話規則構築部250の構成例を示すブロック図
【発明を実施するための形態】
【0055】
(実施形態)
以下、本発明の実施形態について、図面を参照して説明する。
【0056】
(情報提示システムの概観)
図1は、本発明の実施形態に係る情報提示システム1の構成例を示すブロック図である。
【0057】
情報提示システム1は、人間同士もしくはコンピュータと人間で音声や画像、テキストなどを相互に提示することで意思疎通を図る対話システムを想定している。
情報提示システム1は、端末装置10(端末装置10a、端末装置10b、端末装置10c、端末装置10d)と、情報提示装置20(情報提示装置20a、情報提示装置20b、情報提示装置20c、情報提示装置20d)と、通信ネットワーク30を含んで構成される。
【0058】
端末装置10は、情報の送受信および提示を要求するユーザが使用する端末、例えば、汎用コンピュータ、パーソナルコンピュータ、タブレット型端末、スマートフォン、スマートスピーカ等である。情報提示システム1の端末装置10は、ユーザからのメッセージを入力装置を介して取得し、当該メッセージを通信ネットワーク30を介して情報提示装置20へ送信する。具体的に、端末装置10は、ユーザの発話による音声を、自らの端末装置10が備える(マイクロフォンなどの)入力部によって取得する。端末装置10は、取得した音声を音声データに変換する。端末装置10は、自らの端末装置10が備える送信部により、当該音声データを、通信ネットワーク30を介して情報提示装置20へ送信する。
【0059】
図2は、本発明の実施形態に係る端末装置10の構成例を示す図である。
端末装置10は、入力部110、インタフェース部120、記憶部130、センサ部140、出力部150、通信部160、制御部170を含んで構成される。
入力部110は、ユーザからの要求を取得する。入力部110は、例えば、マイクロフォンを用いることができる。入力部110がマイクロフォンである場合、入力部110は、入力される音声に対応した音声信号を生成する。また、入力部110は、キーボードやマウス等の入力デバイスであってもよい。
インタフェース部120は、端末装置10を操作する。
記憶部130は、インタフェース部120および外部制御端末などを用いて設定したパラメータを記憶する。
センサ部140は、GNSS(Global Navigation Satellite System)位置情報や室温などの情報を取得する。
出力部150は、情報提示装置20から取得した情報を出力する。出力部150としては、例えば、液晶表示装置やスピーカ等であり、各種データやコンテンツなどを出力することができる。これにより、ユーザに対して、各種情報が提示される。
通信部160は、送信部161、受信部162を有し、外部の機器と通信を行う。例えば、通信部160は、入力部110から入力される情報に基づいて、問い合わせを行う要求情報を送信する。この要求情報は、質問や要求に対する応答を要求する情報である。例えば要求情報は、「この前Aさんと話した本の値段は?」のように質問を表すデータや、「この前と同じ冷房の温度にセットして」等、特定の機器に対する操作要求を表すデータである。
送信部161は、情報提示装置20に各種情報を送信する。
受信部162は、情報提示装置20から送信される各種情報を受信する。
制御部170は、端末装置10内の各部を制御する。
制御部170は、入力部110によって生成された音声信号に対応する音声データを生成し、音声データを用いた要求情報を通信部160から送信させる。
【0060】
図3は、端末装置10から情報提示装置20へ送信されるデジタルデータ(収集データ)の構成例を示す図である。情報提示装置20に送信されるデータには、入力部110を介してユーザから入力される、ユーザの要求を表すデータ、センサ部140によって得られたデータ、記憶部130に蓄積されたデータのうち、少なくともいずれか1つが含まれる。
また、情報提示装置20に送信されるデータとしては、端末装置10のGNSS情報を基に、端末装置10が存在する場所における天気予報のデータを、外部の天気情報サーバから天気予報APIなどを用いて取得し、通信部160が情報提示装置20に送信するようにしてもよい。上述の要求情報も、このデジタルデータの一部として用いられる。
【0061】
収集データは、時刻、ユーザID、発話データ、セッションID、位置情報、温度、設置場所、の情報を含む。
時刻は、発話された日時を示す。
ユーザIDは、ユーザを識別する情報であり、特に、端末装置10を利用しているユーザを特定するユーザIDである。このユーザIDは、端末装置10に割り当てられたIDを用いることができ、また、端末装置10がスマートスピーカである場合には、このスマートスピーカを利用する際にユーザ登録された際のIDを用いることができる。
発話データは、ユーザから発話された内容に基づいて得られる発話内容を表す情報であり、メッセージとも称する。発話データは、例えば入力部110として用いられるマイクロフォンによってユーザの発話内容が入力された場合には、発話された内容を音声認識することで、音声データからテキストデータに変換することで、発話データが得られる。また、発話データは、音声データに基づくものだけでなく、入力部110が、キーボードやマウス等である場合には、入力部110から入力されるテキストデータや図(顔文字、絵文字、スタンプなど)を対話データとして用いることができる。
セッションIDは、1つの対話の開始から対話の終了まで1つの対話群とし、この対話群を識別する識別情報である。また、セッションが同じであれば、対話履歴記憶部221に記憶されるセッションIDと同じセッションIDが用いられる。
位置情報は、対話が行われた時点における、発話したユーザの位置を示す。ユーザの位置は、例えば、端末装置10のGNSS機能によって現在位置(例えば緯度及び経度)を特定し、この端末装置10の位置を、ユーザの位置を示す情報として用いるようにしてもよい。例えば、端末装置10がスマートフォンである場合、スマートフォンは一般に、ユーザによって携帯されるため、端末装置10の位置をユーザの位置として設定するようにしてもよい。
温度は、端末装置10の周囲の温度を示す。端末装置10が室内において利用されている場合には室温を示し、屋外において利用されている場合には気温を示す。
設置場所は、端末装置10が設置された場所あるいは主に利用される場所の名称である。例えば、端末装置10がスマートスピーカである場合には、スマートスピーカが設置された場所を示す。
【0062】
図1に戻り、情報提示装置20は、端末装置10から取得した要求情報に対し返答情報を決定し、コンテンツを生成する。情報提示装置20は、生成されたコンテンツを端末装置10へ送信する。情報提示装置20はサーバ装置であり、例えば、汎用コンピュータ、またはパーソナルコンピュータ等のいずれかを用いることができる。
【0063】
情報提示装置20は、受信した要求情報を解析し後述する対話管理部により返答を決定し、提示形態に応じてコンテンツを最適化しユーザへ提示する。情報提示装置20は、端末装置10から送信される要求情報が、音声データである場合には、その音声データを文字データに変換した上で対話管理部212により返答を決定する。
【0064】
なお、本実施形態においては、情報提示装置20が、端末装置10から送信される音声データを文字データへ変換する場合について説明するが、これに限られない。例えば、端末装置10が、音声データから文字データへ変換し、当該文字データを情報提示装置20へ要求情報として送信するようにしてもよい。
または、情報提示装置20が、端末装置10から取得した音声データを、文字データに変換する変換機能を有する外部サーバへ送信し、当該外部のサーバから送信される文字データを受信することで文字データを取得するようにしてもよい。
【0065】
なお、前記実施形態において、端末装置10が備えるマイクロフォンによってユーザからの情報提示要求が入力されるものとしたが、これに限られない。
例えば、人間の意図を伝えることができるデバイスまたは、センサであれば、マイクロフォン以外のデバイスまたはセンサを用いるようにしてもよい。例えば、音声の代わりに、文字情報がキーボードやタッチパネルによって入力されるような構成や、人間のジェスチャによって示される情報がカメラによって入力されるような構成を用いて、要求情報を入力するようにしてもよい。
上記以外にも、図(顔文字、絵文字、スタンプなど)や動画コンテンツをカメラによって入力部110から入力されるような構成であったり、センサを介さずとも事前に保存されている動画像コンテンツを用いるようにし、要求情報を入力してもよい。例えば、動画コンテンツを要求情報として入力する場合には、「この前Aさんと話した本の値段は?」等の発話シーンを含む動画コンテンツを入力することができる。これにより、動画コンテンツに含まれる発話内容を要求情報として抽出するようにしてもよい。また、例えば、絵文字を要求情報として入力する場合には、その絵文字を表示させるための単語を要求情報として用いるようにしてもよい。例えば、ある絵文字が「よろしく」という文字に対応する絵文字である場合には、その絵文字が要求情報として入力された場合には「よろしく」という要求情報が入力されたものとして情報を取得するようにすることができる。また、ある絵文字が「本」を表す絵文字である場合には、その絵文字が要求情報として入力された場合には、「本」という要求情報が入力されたものとして情報を取得することができる。ここでは、少なくとも1つの絵文字等の画像のみが要求情報として入力されてもよいし、画像及び音声またはテキストデータが組み合わされて1つの要求情報として入力されてもよい。
【0066】
また、上述の実施形態において、通信ネットワーク30を介して端末装置10と情報提示装置20の処理をわけているが、これに限られない。
例えば、端末装置10の中に情報提示装置20の一部あるいは全て(ネットワークを介さずにシステムを実現できるように)を含むような構成であってもよい。
【0067】
通信ネットワーク30は、例えばインターネットやLAN (Local Area Network) などである。
【0068】
なお、本実施形態においては、情報提示システム1は人間同士の会話や人間とコンピュータの会話などあらゆる対話型のシステム上で動作するものである。例えば、自動応答システム、質問応答システム、対話システムの一種であるコンピュータが応答内容を規則に基づき抽出または生成するチャットボットを含む会話としてもよい。またネットワークを介して人間同士が対話を実現するLINEやFacebook Messengerのような会話を本実施形態の対象としてもよい。
【0069】
LINEやチャットボットなどを含むネットワークを介した対話システムの詳細については、既存技術を用いることでできるため、詳細な説明は割愛する。
【0070】
(端末装置10による提示例)
次に、想起志向を用いて構築した対話規則を基にした提示の一例について説明する。
図4は、本発明の実施形態に係る端末装置10における提示の一例を示す図である。尚、
図4は音声でのやり取りを説明のために可視化した概念図である。向かって左が端末装置であり、右がユーザであり、そのユーザが、端末装置に対して発話している状況を表している。
【0071】
図4Aは、固有名詞(例えば「書籍A」)をユーザUnが発話することによって指定して情報を取り出す場合を示す。この図において、端末装置1000は、ユーザUnから固有名詞を含む音声入力に基づいて、質問に対する回答を外部に接続されるサーバから得て出力する。
図4Bは、日時(いつ)、場所(どこで)、人(だれと)の3つの項目を環境情報として用いて、対話を実現する場合を示す。この図に示すように、本実施形態における端末装置10aは、ユーザUaから発話された内容に、固有名詞(例えば「書籍A」)が含まれていなかったとしても、返答内容を導き出し、出力することができる。
【0072】
なお、前記実施形態においては音声対話を前提とした実施例を説明したが、これに限らず、端末装置10が音声以外の情報を提示(出力)できる場合、システム応答の把握および理解を促進するためコンテンツを提示するようにしてもよい。実施方法は多岐に渡り、単純な方法としては読み上げ内容と同一の内容のテキストを表示したり、過去の音声や、動画像など関連するものを提示(音声の出力または画像の表示)するといった方法をとってもよい。
【0073】
(情報提示装置20の構成例)
図5は、本発明の実施形態に係る情報提示装置20の構成例を示す図である。情報提示装置20は、情報処理部210、情報記憶部220、グルーピング推定部231、想起志向管理部240、対話規則構築部250を含んで構成される。
【0074】
情報処理部210は、取得部211、対話管理部212、提示制御部213、合成部214を含んで構成され、これらを通じて端末装置10の提示形態を制御する。
【0075】
情報記憶部220は、情報処理部210から得たデータを記憶する、対話履歴記憶部221、主に端末装置10から得たデータを記憶する環境記憶部222、属性記憶部223、その他に行動記憶部224、グルーピング記憶部225、言語知識記憶部226を含んで構成される。
【0076】
想起志向管理部240は、対話履歴からの単語やフレーズの抽出や志向の解析を行う想起解析部241と、情報記憶部220の情報を用いて記憶の想起に関するパラメータの推定やモデルの構築を行うモデル構築部242とを含んで構成される。
【0077】
対話規則構築部250は、情報記憶部220および想起志向管理部240の情報を用いて対話規則を構築する発話構築部251と関係構築部252とを含んで構成される。
【0078】
(取得部211の構成例)
取得部211は、端末装置10から送信される収集データ等の各種情報を取得する外部入力インタフェースである。取得部211は、端末装置10から得られた要求情報等の各種情報を対話管理部212へ出力する。
【0079】
また、取得部211は、マイクロフォンやキーボード、各種センサなどから直接、要求情報等の各種情報を取得する構成であっても構わない。
【0080】
(対話管理部212の構成例)
図6は、本発明の実施形態に係る対話管理部212の構成例を説明する図である。対話管理部212は、ユーザに対するシステムからの応答を決定する機能を有しており、端末に対する対話処理を行う。対話管理部212は、取得部211から各種情報を受け取る解析部2121、状態の管理や応答の指針を決定する行動選択部2122、行動選択部2122を基に応答内容を生成する生成部2123を含んで構成される。例えば、対話管理部212は、ユーザから与えられた質問等に対応する回答を、情報記憶部220に記憶された情報を参照して生成する。
【0081】
解析部2121は、取得部211から得られた情報を、以降の対話管理部212の行程で処理できるようなデータに変換する。なお、入力される情報の種類は、ユーザが利用するインタフェースによって異なる。例えば、入力インタフェースがマイクロフォンの場合、入力情報は音声情報(音声データを含む情報)となり、入力インタフェースがカメラであれば画像情報、入力インタフェースがキーボードであれば文字情報となる。
【0082】
解析部2121は、取得部211から入力された情報を以降の行程で処理できるように、形態素解析やキーワード抽出、あるいはベクトル化をはじめとした数値データへ変換する。この変換処理には、自然言語処理技術や機械学習技術を用いることができる。本発明の実施形態に係る一例としては、tf-idfによるキーワード抽出やword2vec、doc2vecを用いたベクトル化などの手法を用いても良い。解析部2121は、数値データに変換された情報を行動選択部2122へ出力する。
【0083】
また、解析部2121は、取得部211から入力された情報が、想起志向を用いた対話か否かを判定し、判定結果を上記の情報(数値データ)と併せて行動選択部2122へ出力する。例えば、想起志向を用いた対話か否かの判定は、ユーザから端末装置10等を介して得られるデジタルデータ(収集データ)のうち、発話データに含まれる発話内容に基づいて判定することができる。より具体的には、解析部2121は、発話内容を構文解析または形態素解析を行うことで、単語と品詞を抽出し、抽出された単語や品詞が、想起志向に対応しているか否かを判定する。想起志向に対応しているか否かは、例えば、「この前」などの指示代名詞があるか否か、「本」等の一般名称があるか否かに基づいて、これらの要素がある場合に、想起志向であると判定する。この場合、言語知識記憶部226が、想起志向フレーズ(単語)や品詞について、想起志向に対応しているか否かの情報とともに予め記憶しておき、解析部2121が、言語知識記憶部226を参照し、判定対象の単語や品詞が言語知識記憶部226に記憶されている場合に、想起志向であると判定するようにしてもよい。
解析部2121は、取得部211から入力された情報が、想起志向を用いた対話か否かを、判定し、判定結果を上記の情報(数値データ)とともに、対話履歴記憶部221に出力し、例えば、「昨日」、「本」等の想起志向フレーズとして記憶する。
【0084】
行動選択部2122は、情報記憶部220および対話規則構築部250を基にユーザの状態を定義し、応答の指針を決定するものである。状態とは、例えば、現在の話題等に相当するものであり、要求発話が「東京発の新大阪着の新幹線の始発は?」という内容である場合、状態(話題)は『新幹線』であると定義できる。ここでは、何を調べるのか、その対象を状態として定義することができる。調べる対象が何であるかについては、例えば、ユーザからの要求発話を構文解析することで、品詞や係り受け等の関係から、調べる対象を特定(定義)するようにしてもよい。
行動選択部2122は、応答の指針を立てるにあたり、要求発話が「東京発の新大阪着の新幹線の席空いてる?」という内容である場合、構文解析を行った結果に基づいて、状態(話題)が「新幹線」であると定義することができ、新幹線の空席を照会することが応答指針であると決定することができる。また、例えば、行動選択部2122は、要求発話が「○○映画館の映画Bのチケットある?」という内容である場合、構文解析を行った結果に基づいて、状態(話題)が「映画館」であると定義することができ、○○映画館の映画Bが上映される際の空席を照会することを応答指針として決定する。
行動選択部2122は、対話履歴記憶部221に記憶された対話履歴や、解析部2121から得られる数値データに基づいて、前後の関係にある複数のメッセージの関係から、ユーザの状態(話題)を定義する。
【0085】
行動選択部2122は、リクエスト(要求情報)とレスポンス(返答情報)のリストをデータベース化したものや、機械学習や強化学習などによって学習された学習済みモデルを用いて要求情報に対する返答情報を決定する。行動選択部2122が行う処理内容は、公知の技術である対話システムと同等の構成を用いることができるため、詳細な説明は割愛する。行動選択部2122は、生成された情報を生成部2123へ出力する。
【0086】
行動選択部2122は、想起志向を用いた対話であると解析部2121によって判定された場合、要求発話の内容を構文解析して得られる想起志向フレーズ(単語)に合致する内容を環境記憶部222から探索し、合致する内容がない場合は、想起志向管理部240にて構築された想起志向のモデルを用いて最適な応答内容を決定する。
ここでは、環境記憶部222には、過去の対話内容と、その対話内容に含まれる想起志向フレーズとが対応づけて記憶されている。行動選択部2122は、想起志向フレーズに対応する対話内容を特定し、特定された対話内容を基に、過去に回答した内容も加味して返答情報を決定する。例えば、過去の対話内容において、「書籍Aの価格」として「1200円」という対話内容があった場合には、環境記憶部222に記憶される。
【0087】
生成部2123は、行動選択部2122の返答情報を基に応答の内容を決定する。例えば、生成部2123は、行動選択部2122において「この前Aさんと話した本の値段は?」という要求情報に対して「1200円」という返答情報が決定された場合には、この返答情報「1200円」に対して「です」等の情報を付加することで、回答(文章)としての体裁を整える処理を行うことで、応答内容を生成する。また、生成部2123は、言語のみを用いて回答する場合の他に、言語と画像との2種類を用いて応答内容を生成することもできる。言語と画像の2種類を用いる場合、生成部2123は、画像によって応答内容を表現できている部分については、言語において重複した表現が含まれないように、言語のみを用いた応答内容の一部を省略することで、言語と画像の2種類を用いた応答内容を生成することもできる。具体的には、機械学習を用いて応答文を生成する手法などがある(公知の技術を用いる)。また、予め作成された雛形に外部API(Application Programming Interface)を介して必要な情報を当てはめて文章を完成させるという方法もある。本実施形態では、いずれかの手法を用いることとする。
また、生成部2123は、リクエストとレスポンスのデータベースを保持していた場合、生成部2123を介さずに応答内容を決定することもできる。生成部2123の情報を含む、対話管理部212の結果は、提示制御部213へと出力される。
【0088】
(提示制御部213の構成例)
図5に戻り、提示制御部213は、対話管理部212から入力された情報(応答内容)に基づき提示方法を決定する。提示方法は、例えば、応答内容をスピーカから出力する場合には、音声によって応答内容を出力することができるため、提示制御部213は、提示方法として、音声を用いることを決定する。また、応答内容を表示パネルとスピーカとを用いて出力する場合には、音声と画像とを用いて応答内容を出力することができるため、音声及び画像を用いることを決定する。提示制御部213は、生成部2123によって生成された応答内容と、決定された提示方法とを含む提示情報を合成部214へ出力する。
【0089】
(合成部214の構成例)
合成部214は、提示制御部213から入力された提示情報に基づき、加工処理を施したコンテンツを生成する。例えば、合成部214は、生成部2123によって生成された応答内容を、提示方法に対応したデータを生成することで、コンテンツを生成する。合成部214は、「1200円です」という応答内容を、提示方法が音声である場合には、「1200円です」という応答内容(テキストデータ)を対象として音声合成処理を行い、音声ファイルを生成することでコンテンツを得る。合成部214は、生成されたコンテンツを、情報提示装置20に設けられる通信機能によって、端末装置10へ送信する。
【0090】
また、情報提示装置20は、合成部214から出力され端末装置10に送信された返答情報に対する各ユーザの評価を取得するために、明示的な項目(「あっていましたか? はい/いいえ」など)をユーザへ送信することも可能である。端末装置10に入力されたユーザからの評価情報は、情報記憶部220の行動記憶部224へ格納される。
【0091】
情報提示装置20による提示形態については、ユーザによる任意の変更も可能とする。これらユーザによる変更も行動情報として情報記憶部220内の行動記憶部224へ出力される。
【0092】
また、取得部211、対話管理部212、合成部214は、取得した入力、解析結果、最適化提示で用いた情報を対話履歴記憶部221へ出力する。例えば、取得部211は、ユーザからの入力に応じて、時刻、ユーザID、メッセージ、メッセージIDを対話履歴記憶部221へ出力する。対話管理部212は、対話毎に、想起志向フレーズ、セッションIDを対話履歴記憶部221へ出力する。合成部214は、端末装置10に対して出力するコンテンツに基づいて、その時刻、ユーザID、メッセージ、メッセージIDを出力する。
【0093】
(対話履歴記憶部221の構成例)
図7は、本発明の実施形態に係る対話履歴記憶部221に記憶される対話履歴データのデータ構成の一例を示す図である。対話履歴記憶部221は、時刻、ユーザID、発話内容を示すメッセージ、想起志向フレーズ、セッションID、メッセージID(n番目)、メッセージID(n-1番目)の情報を含み、直前の発話などの対話履歴を構成要素の一つとして蓄積(記憶)する。
対話履歴記憶部221は、端末装置10に入力される音声であれば、その対話の相手が情報提示装置20であってもその発話内容がメッセージとして記憶され、また、端末装置10の近傍で複数のユーザが対話している場合には、その対話についてもメッセージとして記憶される。例えば、端末装置10の近傍でユーザAとユーザBが対話している場合には、ユーザの声紋等を基に、発話されたメッセージをユーザ毎に分類することができる。その上で、発話内容毎に、メッセージとして記憶される。そのため、情報提示装置20は、「先週、会社でAさんと話したときにでてきた本っていくら?」という要求発話があった場合であっても、この対話履歴記憶部221に記憶されたメッセージを元に、回答を探索することができる。
【0094】
対話履歴記憶部221に記憶される対話履歴データは、端末装置10に入力される音声について、全て記憶するようにしてもよいし、端末装置10の入力部110のオン・オフを切り替えることで、入力部110がオンとなっている期間における対話内容を記憶するようにしてもよい。例えば、入力部110がマイクロフォンである場合には、マイクロフォンの機能をオンまたはオフに、切り替えられるようにしてもよい。この切り替えは、ユーザの操作によってオン・オフされるスイッチに基づいてもよいし、オンまたはオフにする操作コマンドを音声入力によって行うようにしてもよい。
また、入力部110が、キーボードやマウス等である場合には、入力部110から入力されるテキストデータや図(顔文字、絵文字、スタンプなど)を対話内容とし、対話履歴データとして記憶することもできる。
【0095】
時刻は、入力部110からユーザから発話された時刻を表す。
ユーザIDは、発話を行ったユーザを識別する識別情報である。ここでは、「U_001」が示すユーザは、いずれかの端末装置10を利用するユーザを特定する識別情報であり、「C_001」は、端末装置10から出力される返答情報を生成した情報提示装置20を表す。このユーザIDは、ユーザによって発話された内容を入力した端末装置10に割り当てられた識別情報に対応するユーザIDが用いられ、対話管理部212によって書き込まれる。情報提示装置20からコンテンツを出力することで行われる対話については、自情報提示装置20に割り当てられたユーザIDが合成部214によって書き込まれる。すなわち、あるユーザからの要求情報に対して、情報提示装置20から返答を行った、という一連の流れを把握できるようになっている。
【0096】
メッセージは、ユーザから発話された内容に基づいて得られる発話内容を表す情報であり、取得部211によって書き込まれる。例えばメッセージは、テキストデータである。
想起志向フレーズは、解析部2121の解析結果を基に、発話内容に想起志向フレーズが含まれているか否かを表す情報が記憶される。例えば、解析部2121が、取得部211から入力された情報に、想起志向を用いた対話か否かを判定し、想起志向を用いた対話である場合には、その想起志向に対応する表現要素を想起志向フレーズとして対話履歴記憶部221に記憶する。ここでは、一例として、メッセージ「昨日話した本の値段は?」に対して、「昨日」と「本」が想起志向フレーズとして記憶される。
セッションIDは、1つの対話の開始から対話の終了まで1つの対話群とし、この対話群を識別する識別情報である。セッションIDは、対話管理部212によって書き込まれる。
【0097】
メッセージID(n番目)は、メッセージを識別する情報であり、メッセージ毎に異なる情報が付与される。また、メッセージID(n番目)は、メッセージの時系列における順序を示す情報も含んでおり、例えば、時系列に応じて昇順あるいは降順に並ぶように定められる番号である。
メッセージID(n-1番目)は、メッセージID(n番目)が示すメッセージに対して時系列の順において1つ前のメッセージに付与されたメッセージID(n番目)を示す。
メッセージID(n番目)とメッセージID(n-1番目)とを用いることで、メッセージの時系列の順を特定することができるようになっている。
メッセージIDは、ユーザから発話されたメッセージについては取得部112、情報提示装置20からコンテンツを出力することによるメッセージについては合成部214によって書き込まれる。
【0098】
(環境記憶部222の構成例)
図8は、本発明の実施形態に関わる環境記憶部222のデータ構成の一例を示す図である。環境記憶部222は、ユーザごとに対話を行った際のユーザ側における日時や場所、天気などを構成要素の一つとして記憶する。具体的に、環境記憶部222は、セッションID、ユーザID、日付、時間(開始)、時間(終了)、場所、天気、想起志向フレーズの情報を含む。
セッションIDは、1つの対話の開始から対話の終了まで1つの対話群とし、この対話群を識別する識別情報である。また、セッションが同じであれば、対話履歴記憶部221に記憶されるセッションIDと同じセッションIDが用いられる。
ユーザIDは、ユーザを識別する情報であり、特に、端末装置10を利用しているユーザを特定するユーザIDである。このユーザIDは、端末装置10に割り当てられたIDを用いることができ、また、端末装置10がスマートスピーカである場合には、このスマートスピーカを利用する際にユーザ登録された際のIDを用いることができる。
日付は、対話が行われた日付を表す。
時間(開始)は、対話が開始された時刻を示す。
時間(終了)は、対話が終了した時刻を示す。
場所は、対話が行われた時点における、発話したユーザの位置を示す。例えば、ユーザが自宅において発話した場合には、場所としては「自宅」が記憶され、会議室Aにおいて
発話した場合には「会議室A」が記憶される。場所の特定は、例えば、発話する端末装置10のGNSS機能によって現在位置(例えば緯度及び経度)を特定し、その現在位置に対応する場所の名称を特定するようにしてもよい。
天気は、対話が行われた時点における、発話したユーザの位置を含む地域における天気を示す。この天気の情報は、天気情報APIや、外部の気象サーバなどから取得してもよい。この天気については、対話が行われた場所における環境が把握できればよいため、天気ではなく、温度や湿度等であってもよい。
【0099】
(属性記憶部223の構成例)
図9は、本発明の実施形態に係る属性記憶部223のデータ構成の一例を示す図である。属性記憶部223は、年齢・性別を始め、対話以外のユーザに関する情報(例えば、ユーザの所在地)を構成要素の一つとして記憶する。具体的に、属性記憶部223は、ユーザID、年齢、性別、所在地、想起志向、信頼度等の情報を含む。
ユーザIDは、ユーザを識別する識別情報である。このユーザIDは、特に、要求発話(質問)をするユーザを識別する識別情報である。
年齢は、ユーザの年齢を示す。
性別は、ユーザの性別である。
所在地は、ユーザの所在地である。デモグラフィックデータは、これら年齢、性別、所在地を用いることができるが、職業等の他の情報を用いることもできる。
【0100】
想起志向は、対話履歴記憶部221に記憶されたメッセージから想起解析部241によって抽出された想起志向フレーズを基にした情報である。例えば、想起志向として、想起解析部241によって抽出された想起志向フレーズそのものを用いるようにしてもよいが、ここでは、当該想起志向フレーズを基にした情報を用いる場合について説明する。想起志向フレーズを想起志向として記憶する場合には、具体的な単語を登録することになるため、そうすると、属性記憶部223に記憶するデータ量が増大してしまう。また、「3日前」、「4日前」という日時の具体的なデータや、「Aさん」、「Bさん」という固有名詞の具体的なデータを、それぞれ区別して保存したとしても、データ量を増加させたことに対する効果としては必ずしも大きな効果が得られるとは限らない。そこで、「3日前」、「4日前」という日時の具体的なデータについては、想起志向として「日時」として記憶し、「Aさん」、「Bさん」という固有名詞の具体的なデータについては、想起志向として「固有名詞(人物名)」として記憶するようにしてもよい。これにより、想起志向フレーズを「日時」や「固有名詞(人物名)」等の属性毎に、信頼度を把握することができるようになる。この
図9においては、想起志向として「固有名詞(書籍)」と、「価格」について例示されている。「固有名詞(書籍)」は、書籍の名称が属する属性を示し、「価格」は、物品やサービスの価格を示す属性である。
【0101】
信頼度は、想起志向に対するユーザの認識の正しさを表す度合いである。言い換えると、信頼度は、ユーザが利用する想起志向フレーズが示す想起志向が当該ユーザの欲しい情報を得るために信頼できる度合いを示す。この度合いが高いほど、想起志向が信頼できる、すなわち、要求発話に対する回答として用いる情報処理の過程において、利用できる価値が高いともいえる。
信頼度は、ここでは0から100までのうちいずれかの数を用いて示しており、100に近いほど、信頼度が高く、0に近いほど信頼度が低いことを示す。ここでは、想起志向「固有名詞(書籍)」についての信頼度は、90であり、「価格」についての信頼度は、95であり、この2つの信頼度を比べた場合には、「価格」の信頼度の方が高い。
ユーザIDと想起志向と信頼度とを対応付けて記憶することで、ユーザIDが示すユーザが発話した要求発話について、その要求発話に含まれる想起志向を信頼できる度合いを情報として活用することが可能となる。例えば、日時が曖昧になりやすいユーザについては、質問に含まれる日時そのものではなく、探索範囲を広げられるように日時の期間を広げたり、別の期間に変更したりすることができる。
【0102】
属性記憶部223については、上述の他にもユーザの許諾さえあれば、ユーザの端末装置10から取得できる情報を記憶するようにしてもよい。例えば、端末装置10において利用されたアプリケーションの利用履歴を属性情報として記憶するようにしてもよい。このアプリケーションの利用履歴は、ユーザのグルーピングを行う際に、アプリケーションの利用の傾向が類似するユーザが同じグループになるようにグルーピングすることができる。
【0103】
(行動記憶部224の構成例)
図10は、本発明の実施形態に係る行動記憶部224のデータ構成の一例である。行動記憶部224は、情報処理部210に基づき提示された応答内容や、当該応答内容がユーザの欲しい情報として満足できた否かを示すユーザからのリアクション(フィードバック)を記憶する。例えば、行動記憶部224は、ユーザが使用した想起志向フレーズや、システムの提示した返答に関する評価などを記憶する。より具体的に、行動記憶部224は、時刻、ユーザID、アクションID、想起志向フレーズ、実施内容、メッセージID、探索結果、フィードバックの情報を含んで記憶する。
想起志向フレーズは、探索を行うために用いられた想起志向フレーズを示す。
実施内容は、探索を行う際に用いられた想起志向を示すデータである。実施内容は、探索を行う際に探索範囲を拡げた上で探索を行った場合には、どの想起志向フレーズについてどのように探索範囲を拡げたか(変更したか)を表す情報を含む。
アクションIDは、探索を行った処理ごとに付与される情報であり、探索処理を識別する情報である。
探索結果は、実施内容に基づく探索を行った結果、環境記憶部222から得られたか否かを示す情報であり、「False」は回答が得られなかったことを示し、「True」は回答が得られたことを示す。
フィードバックは、要求発話に対する回答をユーザの端末装置10に送信し、その回答が要求発話に対する回答として満足したか否かについてユーザから得られた結果を示す情報であり、「True」は満足したことを示し、「False」が満足しなかったことを示す。
【0104】
行動記憶部224は、端末装置10から受信した要求発話に想起志向フレーズが含まれており、かつ、当該想起志向フレーズに対する回答として情報提示装置20がコンテンツを出力した場合に、そのコンテンツがユーザにとって有益な情報となっていたか(要求に対して満足する回答となっていたか)について、メッセージ毎に履歴として記憶する。
例えば、ここでは、ユーザIDが「U_001」からの要求発話には想起志向フレーズとして「先週」、「Aさん」が抽出されており、実施内容として想起志向「日時」と、想起志向「人物(メンバ)」を手がかりにして回答を探索したことを示す「人物(メンバ)から参照」とが記憶されており、この探索を行っても回答が見つけられなかったことを示す「False」が記憶される。また、ユーザID「U_002」からの要求発話については、要求発話に含まれていた想起志向フレーズの日時に関する想起志向フレーズについて「2週間前」に範囲を拡張するように変更して再度探索を行ったことを実施内容「日時の範囲を拡げ再試行」が記憶され、その探索を行った結果、回答が見つかったことを示す「True」が記憶され、さらに、その回答に基づくコンテンツをユーザに送信したところ、満足する回答が得られたことを示すフィードバックが得られたことを示す「True」が記憶されている。
【0105】
(グルーピング記憶部225の構成例)
図11は、本発明の実施形態に係るグルーピング記憶部225のデータ構成の一例を示す図である。グルーピング記憶部225は、ユーザごとのグルーピングを行った結果を記憶する。単純なものとしては、対話履歴を数値化したものや年齢・性別などを基に、個別または複合的な視点から共有項を見つけ、フラグをつけるという方法がある。
この図においては、グループID、ユーザID、年齢、性別等が対応付けされたデータである。
グループIDは、グループを識別する情報である。このグループIDが同じユーザについては、同じグループに所属することを表している。
ユーザIDは、ユーザを個別に識別する情報である。
年齢は、ユーザの年齢である。
性別は、ユーザの性別である。
【0106】
(想起志向管理部240の構成例)
【0107】
ここで、グループ化をするにあたり、
図11に示すグループ化とは別に、
図13に示すような記憶を想起する単語の傾向を基にグループ化を行うという方法も用いることができる。
【0108】
グルーピング推定部231は、情報記憶部220の情報を用いて、グルーピング処理を実行する。例えば、グルーピング推定部231は、情報記憶部220の属性記憶部223に記憶された情報(年齢、性別など)を用いて、年齢が「30代」であり、かつ「男性」であるユーザを1つのグループとする、年代が「20代」であり、かつ、「女性」であるユーザを1つのグループとするようにグルーピングを行う。前記の方法に加え機械学習を用いることも可能である。例えば、属性情報や行動情報を基に、教師なし学習の一種であるクラスタリング分類を行うことでグルーピングを行ってもよい。
【0109】
(言語知識記憶部226の構成例)
図12は、本発明の実施形態に係る言語知識記憶部226の構成例を説明する図である。
言語知識記憶部226には、言語知識データが記憶される。
言語知識データは、単語、品詞、上位概念、下位概念のデータ項目を含む。
例えば、単語「六法全書」の品詞は「固有名詞」であり、上位概念は「本」、下位概念は「六法全書○○年版」が記憶されている。
【0110】
図13は、本発明の実施形態に係る想起志向管理部240の構成例を示す図である。想起志向管理部240は、ユーザの想起志向を推定し、対話規則構築および対話管理の指針を決定する。想起志向管理部240は、想起解析部241、モデル構築部242を含んで構成される。
【0111】
想起解析部241は、対話履歴記憶部221から記憶想起に関するフレーズ(単語)の収集や、収集された情報(単語)を基に解析することで、対話履歴から想起に関する発話と判断されたものの中から環境情報に類する単語やフレーズを推定する。また、想起解析部241は、それらを特徴量へと変換しユーザあるいはグループごとに保持してもよい。ここで、記憶想起とは、脳内に保存された記憶の中から特定の記憶を思い出すプロセスである。特定の事象を認識しているにもかかわらず、その名称等を思い出すことができない場合には、記憶はしているが想起できない状態であるといえる。
想起解析部241は、対話履歴記憶部221に記憶された対話履歴を参照し、対話履歴に含まれるメッセージから、想起志向フレーズを抽出する。ここでは、メッセージに含まれる単語を抽出し、想起志向フレーズとして用いるようにしてもよい。
また、想起解析部241は、メッセージに含まれる単語を基に解析することで、対話履歴から想起に関する発話であるか否かの判断を行い、想起に関する発話であると判断されたメッセージから、環境記憶部222に記憶された環境に類似する環境にある単語やフレーズを抽出する。環境に類似する単語やフレーズは、メッセージがどの場所で発話されたか、メッセージが発話されたときの天候は何であったか、等の項目を参照し、対話履歴記憶部221に含まれるメッセージと関連性の高いと判断しうる単語やフレーズを抽出する。
【0112】
また、想起解析部241は、想起志向フレーズを用いて探索を行った結果、ユーザにとって求める回答が得られたか否かに応じて、その探索に用いられた想起志向フレーズに対する想起志向についての信頼度の算出、または更新を行う。例えば、想起解析部241は、探索の結果、ユーザが求める回答が見つかった場合には、信頼度を維持または信頼できる度合いが上がるように信頼度を更新し、ユーザが求める回答が見つからなかった場合には、信頼できる度合いが下がるように信頼度を更新する。ユーザが求める回答が見つかったか否かについては、行動記憶部224に記憶された、想起志向フレーズに対応付けられたフィードバックが示す値を用いるようにしてもよい。
【0113】
また、想起解析部241は、言語知識記憶部226に記憶された単語と品詞との関係を参照し、メッセージに含まれる代名詞に結びついている単語を抽出する。例えば、言語知識記憶部226には、単語と品詞との関係が記憶されている。想起解析部241は、言語知識記憶部226を参照することで、メッセージに含まれる単語の品詞を特定する。そして想起解析部241は、発話内容に含まれる単語が代名詞である場合、この代名詞である単語について、形態素解析や係り受け解析を行うことで、当該代名詞に結びついている単語や想起志向フレーズを抽出する。例えば、対話の中では、代名詞などを省略する場合も多い。そのため、「前に話した本の値段は?」という発話のあと「どこに売ってたっけ?」という発話があった場合、2つ目の発話を想起に関する発話とし、前後の対話から想起志向フレーズとして「前に(前回の対話)」「本(固有名詞)」というフレーズを紐付けることで、「前に話した本はどこに売ってたっけ?」という発話があったものとして利用することができる。このようにして、対話の中で、代名詞などが省略されて発話されていたとしても、連続あるいは連続していると思われる発言について、その前後の対話から想起志向フレーズとして用いるフレーズを紐付けることで、省略された代名詞等を補充することができる。
【0114】
モデル構築部242は、情報記憶部220の情報を基に、ユーザおよびグループごとの想起志向の推定に必要な数式やルールをモデルとして構築し、更新する。また、モデル構築部242は、ユーザの記憶想起に関するパラメータを推定するためのモデル(記憶想起推定モデル)を構築する。
【0115】
また、モデル構築部242は、記憶想起推定モデルを構築するにあたり、機械学習や強化学習などによって学習された学習済みモデルを用いることもできる。その場合、モデル構築部242は、情報記憶部220に格納された情報を基に、パラメータ推定用の基底関数を準備し、情報記憶部220に格納された情報を教師データとして記憶想起推定モデルの最適化を行う。
ここで、最適化とは、想起志向に基づく想起志向フレーズを用いた探索によって、ユーザが求める回答が得られるように、想起志向フレーズが示す概念よりもより広い概念、より狭い概念、類する概念または異なる対象範囲の想起志向フレーズに変更する処理である。想起志向フレーズの変更には、想起志向フレーズが示す概念が広くなるように変更する場合、想起志向フレーズが示す対象範囲を変更する場合、類する想起志向フレーズとなるように想起志向フレーズを選択し直す場合、がある。
【0116】
モデル構築部242は、ユーザごとに特化したモデルである固有モデルと個人を特定せず類似したユーザ群に対して用いることが可能なモデルである汎用モデルといった複数のモデルを持つことが可能である。当該システムの利用を開始したばかりのユーザなどは、蓄積されたデータが少ないため、汎用モデルの中から最も類似した傾向を持つ汎用モデルを選択し処理を行うことも可能である。例えば、属性記憶部223に記憶された情報を参照し、ユーザA、ユーザB、ユーザC、・・・等のユーザ群のなかから、年齢、性別、所在地等の属性の少なくとも一部の属性を用いてグルーピングを行い、類似した傾向を持つユーザの汎用モデルを選択するようにしてもよい。また、想起志向に対する信頼度(想起志向「日時」を間違えることが多い、想起志向「価格」を間違えることがやや多い等、を元に求められる、ユーザが想起志向に対する認識の正しさの度合いである信頼度)に応じてグルーピングを行い、類似した信頼度のユーザのモデルを選択するようにしてもよい。
ここで、属性記憶部223は、想起志向フレーズと、その想起志向フレーズに対する信頼度とを、ユーザIDに対応づけて記憶している。この属性記憶部223に記憶される想起志向フレーズと信頼度は、想起志向管理部240の想起解析部241によって求められる。想起解析部241は、想起志向フレーズを用いて探索を行った結果、回答が見つかった場合には、信頼度を維持または信頼できる度合いが上がるように信頼度を更新し、一方で回答が見つからなかった場合には、その想起志向フレーズを信頼できる度合いが下がるように信頼度を更新する。このように、信頼度を更新することで、想起志向フレーズが信頼できる度合いを実際のユーザの言動や志向に近づけることができるので、想起志向(想起志向フレーズ)を最適化することが可能となる。
【0117】
モデル構築部242のモデルを用いた最適化の例としては、
図14に示すように、ユーザから「先週、Aさんが行ったお店はどこだっけ」といった、「先週」「Aさん」2つの想起志向フレーズを用いた想起発話が提示されたとする(符号(a))。
【0118】
当該想起発話(想起
志向フレーズを用いた発話)に関して環境記憶部222に該当する情報が存在しない場合、例えば、ユーザの過去の対話から、想起志向「日時」と想起志向「人物(メンバ)」のうち、想起志向「日時」の方が曖昧な部分が多い(信頼度が低い)ようであれば、モデル構築部242が、日時の部分をユーザが誤認している可能性を考慮し、想起志向「日時」に対応する想起志向フレーズである「先週」を例えば「2週前」に変更することで、「2週間前」が探索する対象の期間がとなるように期間を変更する。この「日時」に対応する想起志向フレーズが変更された後の発話内容を用いて、対話管理部212が対話処理を行う(符号b)。
また、モデル構築部242は、要求発話に対する回答に該当する想起志向フレーズが対話履歴記憶部221に記憶されていなかった場合に最適化を行う他に、要求発話に対する回答に該当する想起志向フレーズが対話履歴記憶部221に記憶されていたとしても、ユーザの求める回答ではなかった場合に、最適化を行うようにしてもよい。
例えば、
図14(符号a)において、想起志向フレーズ「先週」を用いて探索を行って得られた回答をユーザの端末装置10に送信し、端末装置10からユーザの求める回答が得られなかったことを示す評価結果(フィードバック)が得られる場合がある。このような場合には、
図14(符号b)に示すように、探索する対象範囲が「先週」から「2週間前」のように対象範囲を変更することで、最適化を行うようにしてもよい。
この最適化を行うことで再探索して得られた回答について、ユーザに再度評価してもらい、ユーザが求める回答が得られたことを示す評価結果が得られた場合には、「日時」と「人物(メンバ)」のうち、「日時」に関してユーザから提示された情報に誤りがあったと推定することができる。このような場合、当該ユーザの想起志向「日時」についての信頼度は低下する。そのため、想起解析部241は、要求発話を行ったユーザの想起志向「日時」に対する信頼度を現在よりも低い値に更新する。これにより対話管理部212は、次回探索する場合は、想起志向「日時」と想起志向「人物(メンバ)」のうち、最初の探索を行う際には、「日時」と「人物(メンバ)」のそれぞれの信頼度のうち、「日時」の信頼度が「人物(メンバ)」よりも低い場合には、「日時」を利用せずに「人物(メンバ)」の想起志向を用いて探索したり、あるいは、「日時」に対応する想起志向フレーズが示す期間が広くなるような想起志向フレーズに変更してから探索をする等の処理を行うこともできる。
【0119】
また、想起志向に基づく探索範囲の別の変更方法としては、例えば想起志向「日時」に関する想起志向フレーズは固定して、想起志向「人物(メンバ)」に関する想起志向フレーズを、同日に対話した他のメンバを示す想起志向フレーズに置き換えたり(例えば、「Aさん」ではなく同じグループに属する「Bさん」に置き換える)、あるいは変更対象の想起志向を複数用いることで複合的(日時と人物(メンバ)の両方)に置き換えを実施するということもできる。これにより、探索する対象範囲を広げたり、対象範囲を変更することができる。
また、評価結果を用いて信頼度を更新し、その信頼度を基に、探索する範囲を予め変更してから探索する場合には、ユーザが求める回答を得るために最短の経路で探索することが可能になる。
【0120】
なお、情報記憶部220には、ユーザが対話を行う度に、新たな対話情報が対話履歴記憶部221に蓄積されるとともに、この新たな対話に基づいて、環境記憶部222、属性記憶部223、行動記憶部224、グルーピング記憶部225に、新たな情報が追加されあり、記憶された情報が更新される。このため、モデル構築部242は、新たな情報を基に想起するデータのモデル(記憶想起推定モデル)の更新を行うことができる。更新頻度などは管理者が任意で設定できる。
【0121】
また、モデル構築部242で構築する記憶想起推定モデルは単一のモデルや複数のモデルを組合せたり別途構築できるものとする。また対話規則構築部250においてもモデル構築部242で構築された記憶想起推定モデルを単一もしくは複数を用いた処理が可能とする。
【0122】
(対話規則構築部250の構成例)
図15は、本発明の実施形態に係る対話規則構築部250の構成例を示す図である。対話規則構築部250は、想起志向管理部240の情報を活用し、対話規則の追加および修正を行うことで、対話規則を構築する。具体的には、対話規則構築部250は、発話構築部251と関係構築部252とを含んで構成される。
発話構築部251は、情報記憶部220を用いてユーザからの要求発話を構築する。
発話構築部251は、文章のテンプレート(ひな形)を予め記憶している。テンプレートは、例えば、「AのBはCですか?」という文章の形式を表すデータである。
関係構築部252は、要求発話と返答発話の紐付けを行う。
【0123】
本発明の実施形態に係る発話構築部251の一例としては、最もナイーブな方法として情報記憶部220の情報を基に、ユーザごとに対話履歴記憶部221の情報と紐付けられた環境記憶部222の情報を適用するという方法がある。例えば、セッションIDとユーザIDとの2つをキーとして探索することで紐付けられた情報を得ることができる。
【0124】
前記のモデルを用いる場合、登録されている対話規則に対して環境情報に登録されている単語やフレーズでの置き換えを行う。例えば、「六法全書の値段は?」という対話規則に対して、環境情報として「日時」、「メンバ」の想起志向が関連付けられている場合、「昨日話した本の値段は?」「この前Aさんと話した本の値段は?」といった具合に、置き換えて登録するという方法が考えられる。例えば、発話構築部251は、「[D][E][F]の[G]は?」というテンプレートを用いる。テンプレートは、発話構築部251が予め記憶しておいてもよい。ここで、テンプレートは、[D]は想起志向「日時」、[E]は品詞「動詞」、[F]は品詞「名詞」、[G]は「本の固有名詞」のデータが対応付けられている。そして、このようなテンプレートに基づいて、環境情報の内容を、[D]、[E]、[F]、[G]のそれぞれに当てはめることで、「昨日話した本の値段は?」や、「先週調べた電車の発車時刻は?」という文章を構成し、「六法全書の値段は?」という文章から、この構成された文章に置き換えることができる。なお、発話構築部251は、返答と紐付いている単語については置き換えを行わない。例えば、単語「1,200円」は「価格」に関する返答に該当し、単語「9:30」は、「発車時刻」に関する返答に該当しうるため、このような単語は置き換えを行わない。発話構築部251は、置き換えにより生成した文章を、対話規則記憶部227に追加で記憶する。
【0125】
図16は、対話規則記憶部227に記憶された対話規則データの一例を示す図である。
対話規則データは、対話規則と想起志向とを記憶する。例えば、対話規則データの一例として、対話規則「六法全書の値段は?」に対して、想起志向「日時」と「メンバ」が対応付けている。また、対話規則「1,200円です」に対して、想起志向「価格」が対応付けられ記憶されている。
【0126】
発話構築部251は、前記の方法で対話規則を構築する場合、情報処理部210の構成要素である言語知識記憶部226に登録されている単語の上位概念や下位概念を表すオントロジあるいはシソーラスなどのデータを用いて環境情報とは別に置き換えを行うことも可能とする。例えば、発話構築部251は、対話規則「六法全書の値段は?」に含まれる単語のうち、「六法全書」に対応する上位概念の単語を、言語知識記憶部226を参照することで、上位概念の単語「本」を得ることができる。発話構築部251は、この得られた単語を用い、対話規則「六法全書の値段は?」のうち、「六法全書」を「本」に置き換えることで、対話規則「本の値段は?」を生成することができる。発話構築部251は、生成した対話規則を対話規則記憶部227に追加で記憶する。
【0127】
また、前記のように対話規則を記憶することで、木探索などを用いたテンプレートマッチングを行うことが可能となるが、具体的な文章の形式にせずとも、過去の対話履歴を学習データとして識別器を作成することで、テンプレートマッチングと同等の処理を行うことも可能である。
【0128】
関係構築部252は、対話履歴記憶部221に記憶されたメッセージから、発話構築部251によって構築された要求発話の返答に該当する返答発話の紐付けを行う。
例えば、関係構築部252は、対話履歴記憶部221に記憶されたメッセージ「この前、Aさんと話した本の値段は?」から、発話構築部251によって構築された要求発話の返答に該当する「この前」「Aさん」「本」という内容から環境記憶部222を探索(検索)すると、本がピックアップされる。順番にどの本かを確認し,利用者からのフィードバックを基に本を一意に決定する。すると要求発話は「〇〇(という本)の値段は?」に変換され登録されている要求と返答の対話ルールとして登録されていれば値段を引き出すことが可能となる。
【0129】
(システムの動作)
次に、情報提示システムの動作の一例図面を参照しながら説明する。
【0130】
図17は、本発明の実施形態に係る情報提示システムの情報提示処理の動作の一例を示すフローチャートである。
【0131】
対話開始時に、情報提示装置20は、対話内容を収集する端末装置10に割り当てられた識別情報を元に、ユーザIDを特定し(ステップS101)、そのユーザIDに基づいて対話履歴記憶部221を参照し、ユーザIDに対応付けられたメッセージがあるか否かを元に、過去に当該システムの利用履歴があるか否かの判定を行う(ステップS102)。また、情報提示装置20は、利用履歴があったとしても、信頼度のスコアがまだ算出されていない、まだ想起志向フレーズを用いたことがない、システムからの評価要求に答えず信頼度を算出できない、のいずれかに該当する場合には、不十分であるとして、利用履歴がないと判断してもよい。情報提示装置20は、過去に参加した履歴があれば想起志向に関する固有モデルと汎用モデルを読み込み(ステップS103)、利用履歴がない場合は、固有モデルが形成されていないため、汎用モデルのみを読み込む(ステップS104)。
【0132】
モデルデータ読み込み後、情報提示装置20は、入力待機状態となりユーザからのアクション(発話)がされたか否かを判定する(ステップS105)。発話を取得すると(ステップS105-YES)、対話処理に移り(ステップS106)、発話内容を対話履歴記憶部221に記憶し、一方、発話を取得していない場合には(ステップS105-NO)、一定時間経過後に、ステップS105の判定を再度行う。対話処理が開始されると情報提示装置20は、想起志向を用いた対話か否かを解析部2121によって判定する(ステップS107)。想起志向を用いた対話ではない場合(ステップS107-NO)、解析部2121は、発話内容を対話履歴記憶部221に記憶し(ステップS140)、ステップS109に移行する。
一方、想起志向を用いた対話である場合(ステップS107-YES)、行動選択部2122は、対話内容に含まれる要求情報に対応する返答情報を、環境記憶部222から探索し(ステップS108)、探索の結果、合致する内容があれば(ステップS109-YES)、合致する内容を返答情報として取得する。返答情報が取得されると、生成部2123が、返答情報を元に応答内容を決定する(ステップS110)。応答内容が決定されると、情報提示装置20は、応答内容に応じた返答情報に基づくコンテンツを出力する(ステップS111)。
情報提示装置20は、応答内容(コンテンツ)に対するユーザからの評価(ユーザの求める回答が得られたか否かを示す情報)を端末装置10から取得し(ステップS112)、評価結果を行動情報として行動記憶部224に書き込むことで更新する(ステップS113)。なお、ここでは、ユーザが求める回答が得られたか否かの判定を行い、ユーザがもとめる回答が得られた場合に処理を終了し、ユーザが求める回答が得られなかった場合には、ステップS150に移行するようにしてもよい。
【0133】
一方、探索の結果、合致する内容がない場合(ステップS109-NO)、行動選択部2122は、モデル構築部242によって最適化を行うことで、想起志向管理部240にて構築された想起志向のモデルを用いて最適な応答内容を決定する(ステップS150)。
【0134】
ここで、最適化処理では、必要であれば提示形態の決定および適用を実施し、応答内容を決定する。応答内容が決定されると、応答内容を元にしたコンテンツをユーザの端末装置10へ送信する(ステップS151)。送信した結果を基に対話情報に応答内容を追加することで更新するとともに、想起志向フレーズ及び実施内容を行動記憶部224に書き込むことで更新し(ステップS153)、ステップS105の入力待機へと戻る。
【0135】
なお、ステップS150において、対話処理において、想起による参照と判定されたにもかかわらず、該当する想起単語およびフレーズと合致する対話規則が存在しない場合、固有モデルおよび汎用モデルを用いる。これらは想起の傾向をモデル化したものであり、場所や人物(メンバ)、日時などの記憶違いを考慮して「ひょっとしたらXXXですか」というようにシステム側から提示を行う。例えば、「先週、Aさんが言ってたお店どこだっけ?」という要求発話に対する対話規則がなければ、固有モデルや汎用モデルを用いることで、単語の上位概念化や別の概念に置き換えることで「ひょっとしたら2週前ですか」というような応答情報を元にしたコンテンツを端末装置10に送信する。
【0136】
前記の処理を行った場合、システム側の行動として行動情報を更新する。なお、この行動を行った際は対話の区切りで「あっていましたか?、はい/いいえ」といった提示を行いユーザからのフィードバックを取得する。
【0137】
行動情報および対話情報を更新後、想起志向のモデル更新を逐次処理で行うこともできる。また、マシンスペックによってはバッチ処理で行うことも可能とする。
【0138】
上述した実施形態における端末装置10または情報提示装置20をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、FPGA(Field Programmable Gate Array)等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。
【0139】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【0140】
1…情報提示システム、10,10a,10b,10c,10d…端末装置、20,20a,20b,20c,20d…情報提示装置、30…通信ネットワーク、110…入力部、112…取得部、120…インタフェース部、130…記憶部、140…センサ部、150…出力部、160…通信部、161…送信部、162…受信部、170…制御部、210…情報処理部、211…取得部、212…対話管理部、213…提示制御部、214…合成部、220…情報記憶部、221…対話履歴記憶部、222…環境記憶部、223…属性記憶部、224…行動記憶部、225…グルーピング記憶部、226…言語知識記憶部、227…対話規則記憶部、231…グルーピング推定部、240…想起志向管理部、241…想起解析部、242…モデル構築部、250…対話規則構築部、251…発話構築部、252…関係構築部、1000…端末装置、2121…解析部、2122…行動選択部、2123…生成部