特許 6880556 情報提示装置、情報提示方法、情報提示システム、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6880556

(24)【登録日】2021年5月10日

(45)【発行日】2021年6月2日

(54)【発明の名称】情報提示装置、情報提示方法、情報提示システム、およびプログラム

(51)【国際特許分類】

   G06F 16/90 20190101AFI20210524BHJP

   G06F 16/9038 20190101ALI20210524BHJP

   G06F 16/904 20190101ALI20210524BHJP

   G06F 16/909 20190101ALI20210524BHJP

   G10L 15/22 20060101ALI20210524BHJP

【ＦＩ】

   G06F16/90 100

   G06F16/9038

   G06F16/904

   G06F16/909

   G10L15/22 300U

【請求項の数】16

【全頁数】25

(21)【出願番号】特願2016-46880(P2016-46880)

(22)【出願日】2016年3月10日

(65)【公開番号】特開2017-162253(P2017-162253A)

(43)【公開日】2017年9月14日

【審査請求日】2019年2月21日

(73)【特許権者】

【識別番号】000003193

【氏名又は名称】凸版印刷株式会社

(74)【代理人】

【識別番号】100149548

【弁理士】

【氏名又は名称】松沼 泰史

(74)【代理人】

【識別番号】100139686

【弁理士】

【氏名又は名称】鈴木 史朗

(74)【代理人】

【識別番号】100169764

【弁理士】

【氏名又は名称】清水 雄一郎

(74)【代理人】

【識別番号】100147267

【弁理士】

【氏名又は名称】大槻 真紀子

(74)【代理人】

【識別番号】100064908

【弁理士】

【氏名又は名称】志賀 正武

(74)【代理人】

【識別番号】100108578

【弁理士】

【氏名又は名称】高橋 詔男

(74)【代理人】

【識別番号】100152146

【弁理士】

【氏名又は名称】伏見 俊介

(72)【発明者】

【氏名】波多野 亮平

【審査官】 三橋 竜太郎

(56)【参考文献】

【文献】 特開２０１５−０４９６９４（ＪＰ，Ａ）

【文献】 特開２０１４−１３２３４５（ＪＰ，Ａ）

【文献】 特開２００８−０７０７０５（ＪＰ，Ａ）

【文献】 特開２０１４−０４１６２０（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ １６／００−１６／９５８

Ｇ１０Ｌ １５／００−１７／２６

Ｇ０６Ｑ １０／００−９９／００

(57)【特許請求の範囲】

【請求項1】

少なくとも一人以上のユーザによる入力に対し応答を提示する機能を有する情報提示装置であって、
コンテンツを収集し、前記収集したコンテンツから対話規則を生成し、前記収集したコンテンツと前記対話規則から拡張規則を生成する対話規則構築部と、
前記入力に対応するルールを前記対話規則より取得する制御部であって、ユーザとの双方向の対話を制御する制御部と、
前記取得したルールに対応する拡張提示情報を前記拡張規則より取得する特定部であって、前記拡張提示情報に基づき、前記応答に用いられるコンテンツの要素を指定する識別子、または前記応答に用いられるコンテンツの構成要素の部分集合を指定する指定子のいずれか一方を特定する特定部と、
特定された前記識別子または前記指定子に基づいて前記コンテンツと共に前記コンテンツの中の特定の領域への注目を促す拡張提示を行う提示部と、
を備え、
前記対話規則とは、入力とルールとの対応関係を定義した規則であり、
前記拡張規則とは、ルールと拡張提示情報との対応関係を定義した規則であり、
前記拡張提示情報は、少なくとも前記コンテンツにおいて拡張提示する箇所を示す情報を含む、
ことを特徴とする情報提示装置。

【請求項2】

少なくとも一人以上のユーザによる入力に対し応答を提示する機能を有する情報提示装置であって、
前記入力と前記応答の履歴である対話履歴から対話規則を生成し、前記対話履歴と前記対話規則から拡張規則を生成する対話規則構築部と、
前記入力に対応するルールを前記対話規則より取得する制御部であって、ユーザとの双方向の対話を制御する制御部と、
前記取得したルールに対応する拡張提示情報を前記拡張規則より取得する特定部であって、前記拡張提示情報に基づき、前記応答に用いられるコンテンツの要素を指定する識別子、または前記応答に用いられるコンテンツの構成要素の部分集合を指定する指定子のいずれか一方を特定する特定部と、
特定された前記識別子または前記指定子に基づいて前記コンテンツと共に前記コンテンツの中の特定の領域への注目を促す拡張提示を行う提示部と、
を備える、
前記対話規則とは、入力とルールとの対応関係を定義した規則であり、
前記拡張規則とは、ルールと拡張提示情報との対応関係を定義した規則であり、
前記拡張提示情報は、少なくとも前記コンテンツにおいて拡張提示する箇所を示す情報を含む、
ことを特徴とする情報提示装置。

【請求項3】

前記対話規則を格納する対話規則格納部と、
前記拡張規則を格納する拡張規則格納部と、
を備え、
前記対話規則構築部が生成した前記対話規則により前記対話規則格納部に記憶された前記対話規則を更新し、
前記対話規則構築部が生成した前記拡張規則により前記拡張規則格納部に記憶された前記拡張規則を更新する
ことを特徴とする請求項１または請求項２に記載の情報提示装置。

【請求項4】

前記拡張提示は、コンテンツの選択・移動、注釈や補足情報の重畳描画、非注目領域の隠消、注目領域と非注目領域と間の色相・彩度・明度または透過度の差異化、および前記注目領域の時間的な提示状態変化の少なくとも一つを用いた提示である、
ことを特徴とする請求項１ないし３に記載の情報提示装置。

【請求項5】

前記コンテンツは、構造化文書を構成要素の一部として持つコンテンツであり、
前記特定部は、コンテンツ要素を示す識別子または前記コンテンツの構成要素の部分集合を示す指定子の少なくとも一方を抽出することができる、
ことを特徴とする請求項４に記載の情報提示装置。

【請求項6】

前記構造化文書は、前記コンテンツ要素が並列または再帰的に繰り返す階層によって構造化された文書であり、
前記特定部は、前記文書を構造化する階層の構造を木構造として認識し、前記木構造における特定の要素の位置を指定する手段、または前記木構造において特定の要素以下を構成する部分木を指定する手段により、前記拡張提示に必要な前記識別子または前記指定子を特定する、
ことを特徴とする請求項５に記載の情報提示装置。

【請求項7】

前記コンテンツは、静止画または動画を構成要素の一部として持つコンテンツであり、 前記特定部は、コンテンツ要素を示す識別子または前記コンテンツの構成要素の部分集合を示す指定子の少なくとも一方を抽出することができる、
ことを特徴とする請求項４に記載の情報提示装置。

【請求項8】

前記特定部は、前記識別子、または予め学習した前記指定子の少なくとも一方を特定する、
ことを特徴とする請求項７に記載の情報提示装置。

【請求項9】

前記コンテンツは、音響信号を構成要素の一部として持つコンテンツであり、
前記特定部は、コンテンツ要素を示す識別子または前記コンテンツの構成要素の部分集合を示す指定子の少なくとも一方を抽出することができる、
ことを特徴とする請求項４に記載の情報提示装置。

【請求項10】

前記指定子は、音響信号に付随するメタデータ、歌詞、チャプター、またはタイムコードのうち少なくとも１つ以上を指定する、
ことを特徴とする請求項９に記載の情報提示装置。

【請求項11】

前記コンテンツは、三次元モデルを構成要素の一部として持つコンテンツであり、
前記特定部は、コンテンツ要素を示す識別子または前記コンテンツの構成要素の部分集合を示す指定子の少なくとも一方を抽出することができる、
ことを特徴とする請求項４に記載の情報提示装置。

【請求項12】

前記指定子は、頂点座標集合、辺集合、または面集合を指定する、
ことを特徴とする請求項１１に記載の情報提示装置。

【請求項13】

前記提示部は、前記対話規則と、コンテンツ要素を示す識別子、または前記コンテンツの構成要素であるコンテンツ要素の部分集合を指定する指定子と前記拡張規則との少なくとも一方を用いて前記拡張提示を行う、
ことを特徴とする請求項１ないし３に記載の情報提示装置。

【請求項14】

ユーザによる入力に対し応答を提示する機能を有するコンピュータを用いた情報提示方法であって、
対話規則構築部が、コンテンツを収集し、前記収集したコンテンツから対話規則を生成し、前記収集したコンテンツと前記対話規則から拡張規則を生成する対話規則構築ステップと、
制御部が、前記入力に対応するルールを前記対話規則より取得し、ユーザとの双方向の対話を制御する制御ステップと、
特定部が、前記取得したルールに対応する拡張提示情報を前記拡張規則より取得する特定部であって、前記拡張提示情報に基づき、前記応答に用いられるコンテンツの要素を指定する識別子、または前記応答に用いられるコンテンツの構成要素の部分集合を指定する指定子のいずれか一方を特定する特定ステップと、
提示部が、特定された前記識別子または前記指定子に基づいて前記コンテンツの中の特定の領域への注目を促す拡張提示を行う提示ステップと、
を有し、
前記対話規則とは、入力とルールとの対応関係を定義した規則であり、
前記拡張規則とは、ルールと拡張提示情報との対応関係を定義した規則であり、
前記拡張提示情報は、少なくとも前記コンテンツにおいて拡張提示する箇所を示す情報を含む、
ことを特徴とする情報提示方法。

【請求項15】

ユーザによる入力に対し応答を提示する機能を有する情報提示システムであって、
前記情報提示システムは、端末装置と情報提示装置とを有し、
前記端末装置は、
前記入力を受け付ける入力部と、
前記入力部から入力された要求情報を前記情報提示装置へ送信する送信部と、
を備え、
前記情報提示装置は、
コンテンツを収集し、前記収集したコンテンツから対話規則を生成し、前記収集したコンテンツと前記対話規則から拡張規則を生成する対話規則構築部と、
前記入力に対応するルールを前記対話規則より取得する制御部であって、ユーザとの双方向の対話を制御する制御部と、
前記取得したルールに対応する拡張提示情報を前記拡張規則より取得する特定部であって、前記拡張提示情報に基づき、前記応答に用いられるコンテンツの要素を指定する識別子、または前記応答に用いられるコンテンツの構成要素の部分集合を指定する指定子のいずれか一方を特定する特定部と、
特定された前記識別子または前記指定子に基づいて前記コンテンツと共に前記コンテンツの中の特定の領域への注目を促す拡張提示を行う提示部と、
を備え、
前記対話規則とは、入力とルールとの対応関係を定義した規則であり、
前記拡張規則とは、ルールと拡張提示情報との対応関係を定義した規則であり、
前記拡張提示情報は、少なくとも前記コンテンツにおいて拡張提示する箇所を示す情報を含む、
ことを特徴とする情報提示システム。

【請求項16】

ユーザによる入力に対し応答を提示する機能を有するコンピュータに、
コンテンツを収集し、前記収集したコンテンツから対話規則を生成し、前記収集したコンテンツと前記対話規則から拡張規則を生成する対話規則構築ステップと、
前記入力に対応するルールを前記対話規則より取得し、ユーザとの双方向の対話を制御する制御ステップと、
前記取得したルールに対応する拡張提示情報を前記拡張規則より取得し、前記拡張提示情報に基づき、前記応答に用いられるコンテンツの要素を指定する識別子、または前記応答に用いられるコンテンツの構成要素の部分集合を指定する指定子のいずれか一方を特定する特定ステップと、
特定された前記識別子または前記指定子に基づいて前記コンテンツの中の特定の領域への注目を促す拡張提示を行う提示ステップと、
を実行させるためのプログラムであって、
前記対話規則とは、入力とルールとの対応関係を定義した規則であり、
前記拡張規則とは、ルールと拡張提示情報との対応関係を定義した規則であり、
前記拡張提示情報は、少なくとも前記コンテンツにおいて拡張提示する箇所を示す情報を含む、
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報提示装置、情報提示方法、情報提示システム、およびプログラムに関する。

【背景技術】

【0002】

ユーザからの発話をはじめとする意図を伝える行為を示す情報を取得し、取得された情報に基づいて応答内容を示す情報を生成してユーザへ提示する対話型の情報提示装置がある。例えば、オンラインアシスタントサービス、カーナビゲーションシステム、および特許文献１に記載されたような応答生成装置もそのような情報提示装置にあたる。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１３−２０５５２３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

従来の情報提示装置においては、応答内容を示す情報がテキスト情報を中心として（または、テキスト情報のみによって）生成されるなど、応答内容を提示する表現力が乏しいことがある。例えば、「録画予約をする方法を知りたい」というユーザの問い合わせに対して、「マニュアルの１２ページを参照してください」という応答内容が生成される。このように、応答内容を表現する表現力が乏しいこと、情報提示装置と応答内容のコンテンツ間の連携が不十分なことにより、従来の情報提示装置は、応答内容に対するユーザの理解度を向上させ難いという課題があった。また、テキスト情報を中心とした（または、テキスト情報のみによる）応答内容を生成する従来の情報提示装置においては、様々な問い合わせに対する応答内容を文字によって表現しなければならない。そのため、従来の情報提示装置においては、応答文が冗長化し、応答内容の生成や管理が煩雑になるという課題があった。

【0005】

本発明は上記の点に鑑みてなされたものであり、応答内容の提示における表現力を向上させコンテンツ間の連携を強化するとともに、応答内容の生成や管理を容易にすることができる、情報提示装置、情報提示方法、情報提示システム、およびプログラムを提供する。

【課題を解決するための手段】

【0006】

（１）本発明は上記の課題を解決するためになされたものであり、本発明の一態様としては、少なくとも一人以上のユーザによる入力に対し応答を提示する機能を有する情報提示装置であって、コンテンツを収集し、前記収集したコンテンツから対話規則を生成し、前記収集したコンテンツと前記対話規則から拡張規則を生成する対話規則構築部と、前記入力に対応するルールを前記対話規則より取得する制御部であって、ユーザとの双方向の対話を制御する制御部と、前記取得したルールに対応する拡張提示情報を前記拡張規則より取得する特定部であって、前記拡張提示情報に基づき、前記応答に用いられるコンテンツの要素を指定する識別子、または前記応答に用いられるコンテンツの構成要素の部分集合を指定する指定子のいずれか一方を特定する特定部と、特定された前記識別子または前記指定子に基づいて前記コンテンツと共に前記コンテンツの中の特定の領域への注目を促す拡張提示を行う提示部と、を備え、前記対話規則とは、入力とルールとの対応関係を定義した規則であり、前記拡張規則とは、ルールと拡張提示情報との対応関係を定義した規則であり、前記拡張提示情報は、少なくとも前記コンテンツにおいて拡張提示する箇所を示す情報を含む、ことを特徴とする情報提示装置である。
また、本発明の一態様としては、少なくとも一人以上のユーザによる入力に対し応答を提示する機能を有する情報提示装置であって、前記入力と前記応答の履歴である対話履歴から対話規則を生成し、前記対話履歴と前記対話規則から拡張規則を生成する対話規則構築部と、前記入力に対応するルールを前記対話規則より取得する制御部であって、ユーザとの双方向の対話を制御する制御部と、前記取得したルールに対応する拡張提示情報を前記拡張規則より取得する特定部であって、前記拡張提示情報に基づき、前記応答に用いられるコンテンツの要素を指定する識別子、または前記応答に用いられるコンテンツの構成要素の部分集合を指定する指定子のいずれか一方を特定する特定部と、特定された前記識別子または前記指定子に基づいて前記コンテンツと共に前記コンテンツの中の特定の領域への注目を促す拡張提示を行う提示部と、を備える、前記対話規則とは、入力とルールとの対応関係を定義した規則であり、前記拡張規則とは、ルールと拡張提示情報との対応関係を定義した規則であり、前記拡張提示情報は、少なくとも前記コンテンツにおいて拡張提示する箇所を示す情報を含む、ことを特徴とする情報提示装置である。

【0007】

（２）本発明の一態様としては、前記拡張提示は、コンテンツの選択・移動、注釈や補足情報の重畳描画、非注目領域の隠消、注目領域と非注目領域と間の色相・彩度・明度または透過度の差異化、および前記注目領域の時間的な提示状態変化の少なくとも一つを用いた提示である、ことを特徴とする（１）に記載の情報提示装置である。

【0008】

（３）本発明の一態様としては、前記提示部は、前記コンテンツの選択・移動を用いた前記拡張提示において、ユーザが辿った経路に関する情報、階層構造を持つコンテンツの場合においては現在の階層および前記階層の性質に関する情報、または、複数の移動を伴う場合においてはユーザが辿った経路および残りの経路に関する情報を提示することを特徴とする（２）に記載の情報提示装置である。

【0009】

（４）本発明の一態様としては、前記コンテンツは、構造化文書を構成要素の一部として持つコンテンツであり、前記特定部は、コンテンツ要素を示す識別子または前記コンテンツの構成要素の部分集合を示す指定子の少なくとも一方を抽出することができる、ことを特徴とする（２）に記載の情報提示装置である。

【0010】

（５）本発明の一態様としては、前記構造化文書は、前記コンテンツ要素が並列または再帰的に繰り返す階層によって構造化された文書であり、前記特定部は、前記文書を構造化する階層の構造を木構造として認識し、前記木構造における特定の要素の位置を指定する手段、または前記木構造において特定の要素以下を構成する部分木を指定する手段により、前記拡張提示に必要な前記識別子または前記指定子を特定する、ことを特徴とする（４）に記載の情報提示装置である。

【0011】

（６）本発明の一態様としては、前記コンテンツは、静止画または動画を構成要素の一部として持つコンテンツであり、前記特定部は、コンテンツ要素を示す識別子または前記コンテンツの構成要素の部分集合を示す指定子の少なくとも一方を抽出することができる、ことを特徴とする請求項（２）に記載の情報提示装置である。

【0012】

（７）本発明の一態様としては、前記特定部は、前記識別子、または予め学習した前記指定子の少なくとも一方を特定する、ことを特徴とする（６）に記載の情報提示装置である。

【0013】

（８）本発明の一態様としては、前記コンテンツは、音響信号を構成要素の一部として持つコンテンツであり、前記特定部は、コンテンツ要素を示す識別子または前記コンテンツの構成要素の部分集合を示す指定子の少なくとも一方を抽出することができる、ことを特徴とする（２）に記載の情報提示装置である。

【0014】

（９）本発明の一態様としては、前記指定子は、音響信号に付随するメタデータ、歌詞、チャプター、またはタイムコードのうち少なくとも１つ以上を指定する、ことを特徴とする（８）に記載の情報提示装置である。

【0015】

（１０）本発明の一態様としては、前記コンテンツは、三次元モデルを構成要素の一部として持つコンテンツであり、前記特定部は、コンテンツ要素を示す識別子または前記コンテンツの構成要素の部分集合を示す指定子の少なくとも一方を抽出することができる、ことを特徴とする（２）に記載の情報提示装置である。

【0016】

（１１）本発明の一態様としては、前記指定子は、頂点座標集合、辺集合、または面集合を指定する、ことを特徴とする（１０）に記載の情報提示装置である。

【0017】

（１２）本発明の一態様としては、前記提示部は、前記入力と前記応答との対応関係を定義した対話規則と、コンテンツ要素を示す識別子、または前記コンテンツの構成要素であるコンテンツ要素の部分集合を指定する指定子と前記対話規則との対応関係を定義した拡張規則との少なくとも一方を用いて前記拡張提示を行う、ことを特徴とする（１）に記載の情報提示装置である。

【0018】

（１３）本発明の一態様としては、前記拡張提示は、識別子または指定子と対話規則との関連性を定義する場合において、前記識別子または前記指定子を直接的な表現で記述する方法、または、任意の前記識別子または前記指定子と一意の記号列を対で記録したデータ群から前記記号列を用いて間接的な表現で記述する方法を用いる、ことを特徴とする（１２）に記載の情報提示装置である。

【0019】

（１４）本発明の一態様としては、ユーザによる入力に対し応答を提示する機能を有するコンピュータを用いた情報提示方法であって、対話規則構築部が、コンテンツを収集し、前記収集したコンテンツから対話規則を生成し、前記収集したコンテンツと前記対話規則から拡張規則を生成する対話規則構築ステップと、制御部が、前記入力に対応するルールを前記対話規則より取得し、ユーザとの双方向の対話を制御する制御ステップと、特定部が、前記取得したルールに対応する拡張提示情報を前記拡張規則より取得する特定部であって、前記拡張提示情報に基づき、前記応答に用いられるコンテンツの要素を指定する識別子、または前記応答に用いられるコンテンツの構成要素の部分集合を指定する指定子のいずれか一方を特定する特定ステップと、提示部が、特定された前記識別子または前記指定子に基づいて前記コンテンツの中の特定の領域への注目を促す拡張提示を行う提示ステップと、を有し、前記対話規則とは、入力とルールとの対応関係を定義した規則であり、前記拡張規則とは、ルールと拡張提示情報との対応関係を定義した規則であり、前記拡張提示情報は、少なくとも前記コンテンツにおいて拡張提示する箇所を示す情報を含む、ことを特徴とする情報提示方法である。

【0020】

（１５）本発明の一態様としては、ユーザによる入力に対し応答を提示する機能を有する情報提示システムであって、前記情報提示システムは、端末装置と情報提示装置とを有し、前記端末装置は、前記入力を受け付ける入力部と、前記入力部から入力された要求情報を前記情報提示装置へ送信する送信部と、を備え、前記情報提示装置は、コンテンツを収集し、前記収集したコンテンツから対話規則を生成し、前記収集したコンテンツと前記対話規則から拡張規則を生成する対話規則構築部と、前記入力に対応するルールを前記対話規則より取得する制御部であって、ユーザとの双方向の対話を制御する制御部と、前記取得したルールに対応する拡張提示情報を前記拡張規則より取得する特定部であって、前記拡張提示情報に基づき、前記応答に用いられるコンテンツの要素を指定する識別子、または前記応答に用いられるコンテンツの構成要素の部分集合を指定する指定子のいずれか一方を特定する特定部と、特定された前記識別子または前記指定子に基づいて前記コンテンツと共に前記コンテンツの中の特定の領域への注目を促す拡張提示を行う提示部と、を備え、前記対話規則とは、入力とルールとの対応関係を定義した規則であり、前記拡張規則とは、ルールと拡張提示情報との対応関係を定義した規則であり、前記拡張提示情報は、少なくとも前記コンテンツにおいて拡張提示する箇所を示す情報を含む、ことを特徴とする情報提示システムである。

【0021】

（１６）本発明の一態様としては、ユーザによる入力に対し応答を提示する機能を有するコンピュータに、コンテンツを収集し、前記収集したコンテンツから対話規則を生成し、前記収集したコンテンツと前記対話規則から拡張規則を生成する対話規則構築ステップと、 前記入力に対応するルールを前記対話規則より取得し、ユーザとの双方向の対話を制御する制御ステップと、前記取得したルールに対応する拡張提示情報を前記拡張規則より取得し、前記拡張提示情報に基づき、前記応答に用いられるコンテンツの要素を指定する識別子、または前記応答に用いられるコンテンツの構成要素の部分集合を指定する指定子のいずれか一方を特定する特定ステップと、特定された前記識別子または前記指定子に基づいて前記コンテンツの中の特定の領域への注目を促す拡張提示を行う提示ステップと、を実行させるためのプログラムであって、前記対話規則とは、入力とルールとの対応関係を定義した規則であり、前記拡張規則とは、ルールと拡張提示情報との対応関係を定義した規則であり、前記拡張提示情報は、少なくとも前記コンテンツにおいて拡張提示する箇所を示す情報を含む、プログラムである。

【発明の効果】

【0022】

本発明によれば、応答内容の提示における表現力を向上させるとともに、応答内容の生成や管理を容易にすることができる。

【図面の簡単な説明】

【0023】

【図1】本発明の実施形態に係る情報提示システム１の構成の一例を示す概略図である。

【図2】本発明の実施形態に係る情報提示システム１の端末装置１０におけるコンテンツの拡張提示の一例を示す図である。

【図3】従来の対話システムにおける対話処理の一例を示す図である。

【図4】本発明の実施形態に係る情報提示システム１の情報提示処理の一例を示す図である。

【図5】本発明の実施形態に係る情報提示システム１の情報提示装置２０の機能構成を示すブロック図である。

【図6】本発明の実施形態に係る情報提示システム１の情報提示処理の動作を示すフローチャートである。

【図7】本発明の実施形態に係る情報提示システム１の応答処理の動作を示すフローチャートである。

【図8】本発明の実施形態に係る情報提示システム１の規則構築処理の動作を示すフローチャートである。

【図9】は、本発明の実施形態に係る情報提示システム１によって提示される情報提示画面の一例を示す概略図である。

【発明を実施するための形態】

【0024】

（実施形態）
以下、本発明の実施形態について、図面を参照しながら説明する。
（情報提示システムの構成）
図１は、本発明の実施形態に係る情報提示システム１の構成の一例を示す概略図である。

【0025】

情報提示システム１は、端末装置１０と、情報提示装置２０と、を含んで構成される。情報提示システム１の端末装置１０は、ユーザからの情報提示要求を取得し、当該情報提示要求を示す要求情報を情報提示装置２０へ送信する。情報提示装置２０は、情報提示要求に対する応答において提示するコンテンツ、および当該コンテンツの提示を拡張するために用いられる情報である拡張提示情報と、前記要求情報に該当するルールと、を対応付けて記憶している。情報提示装置２０は、端末装置１０から取得した要求情報を解析し、当該要求情報に該当するルール（対話規則）を抽出する。そして、情報提示装置２０は、抽出したルールに対応するコンテンツを、抽出したルールに対応する拡張提示情報に基づいて拡張して提示する。

【0026】

以下に、本発明の実施形態に係る情報提示システム１の構成について、更に詳細に説明する。
端末装置１０は、情報の提示を要求するユーザによって使用する端末、例えば、スマートフォン、またはタブレット型端末である。端末装置１０は、ユーザの発話（情報提示要求）による音声を、自らの端末装置１０が備える入力部（図示せず、例えばマイクロフォン）によって取得する。端末装置１０は、取得した音声を音声データ（要求情報）に変換する。端末装置１０は、自らの端末装置１０が備える送信部（図示せず、例えばアンテナ）により、当該音声データ（要求情報）を、通信ネットワークを介して情報提示装置２０へ送信する。

【0027】

情報提示装置２０は、端末装置１０から取得した音声データ（要求情報）に基づく情報提示要求に対する応答のためのコンテンツを生成する。情報提示装置２０は、生成したコンテンツを端末装置１０へ提示するサーバ装置、例えば、汎用コンピュータ、またはパーソナルコンピュータである。

【0028】

情報提示装置２０は、音声認識技術により、端末装置１０から取得した音声データを、情報提示要求を示す文字データへ変換する。また、情報提示装置２０は、当該文字データによって示される情報提示要求のパターンを表すルールと、当該ルールに該当する場合に端末装置１０へ提示するコンテンツ、および当該コンテンツの提示を拡張するために用いられる情報である拡張提示情報と、を対応付けて記憶している（または、対応付けるためのアルゴリズムを保持している）。
情報提示装置２０は、変換した文字データを解析して当該文字データに該当するルールを抽出する。情報提示装置２０は、抽出したルールに対応するコンテンツを提示すると共に、抽出したルールに対応する拡張提示情報に基づいてコンテンツを拡張して提示する。

【0029】

なお、コンテンツは、情報提示装置２０に格納されていてもよいし、外部のサーバ装置である少なくとも１つのコンテンツサーバ３０から情報提示装置２０が取得するようにしてもよい。その場合、情報提示装置２０は、情報提示要求のパターンを表すルールと、当該ルールに該当する場合に端末装置１０へ提示するコンテンツの格納場所を示す情報（例えば、ＵＲＬ）、および拡張提示情報と、を対応付けて記憶している。

【0030】

なお、本実施形態においては、情報提示装置２０が、音声データから文字データへ変換するものとしたが、これに限られない。例えば、端末装置１０が、音声データから文字データへ変換して、当該文字データを情報提示装置へ送信するようにしてもよい。
または、情報提示装置２０が、端末装置１０から取得した音声データを、音声データから文字データへ変換可能な外部のサーバ（図示せず）へ送信し、当該外部のサーバから文字データを取得するようにしてもよい。

【0031】

なお、本実施形態においては、端末装置１０が備えるマイクロフォン（図示せず）によってユーザからの情報提示要求が入力されるものとしたが、これに限られない。例えば、人間の意図を伝えることができるデバイス（または、センサ）であれば、何でもよい。例えば、文字情報がキーボードやタッチパネルによって入力されるような構成であってもよい。または、例えば、人間のジェスチャによって示される情報がカメラによって入力されるような構成であってもよい。

【0032】

なお、本実施形態においては、端末装置１０と情報提示装置２０とは別々の装置であるものとしたが、これに限られない。例えば、本実施形態に係る端末装置１０の機能と情報提示装置２０の機能とが、いずれもユーザが所持するスマートフォンに備えられているような構成であってもよい。
なお、本実施形態においては、情報提示装置２０で決定される提示情報は拡張提示情報を含まない場合もある。例えば、「はい／いいえ」で応答するようなクローズド・クエスチョンのような場合である。

【0033】

（コンテンツの拡張提示の実施例）
次に、拡張提示情報に基づくコンテンツの拡張された提示（以下、拡張提示とも称する）の一例について説明する。
図２は、本発明の実施形態に係る情報提示システム１の端末装置１０におけるコンテンツの拡張提示の一例を示す図である。
図２（Ａ）に図示するように、端末装置１０が備える表示部１００（本実施例においては、ディスプレイ）には、コンテンツｃｔ０１が表示されている。本実施例においては、コンテンツｃｔ０１は、各種の情報を提供するウェブサイトである。表示部１００には、ウェブサイトであるコンテンツｃｔ０１の他に、拡張提示ｅｘｔ０１と拡張提示ｅｘｔ０２が表示されている。

【0034】

拡張提示ｅｘｔ０１は、コンテンツｃｔ０１に含まれる文言の一部分（拡張提示の対象となる箇所）を太線で囲み、囲まれた部分を色付けすることによってユーザの注目を促すための拡張提示である。また、拡張提示ｅｘｔ０２は、拡張提示の対象となる箇所を指す吹き出しを表示することによって、拡張提示の対象となる箇所に関する補足情報をユーザへ提示するための拡張提示である。拡張提示ｅｘｔ０１と同様に、拡張提示ｅｘｔ０２も、太線によって吹き出しを表示し、吹き出しの内側を色付けすることによってユーザの注目を促すための拡張提示である。
なお、拡張提示は、拡張提示対象の範囲を色付けすることによる以外にも、例えば、拡張提示対象の範囲と拡張提示対象の範囲外とを、色相、彩度、明度、または透過度を異ならせることによる差異化によって行われてもよい。

【0035】

また、拡張提示ｅｘｔ０１、および拡張提示ｅｘｔ０２は、いずれも半透明で表示され、コンテンツｃｔ０１に重畳しているように表示される（重畳描画される）。これにより、情報提示装置２０は、コンテンツｃｔ０１に含まれる情報が拡張提示ｅｘｔ０１および拡張提示ｅｘｔ０２によって覆い隠されてユーザにより視認できなくなることを防ぐことができる。

【0036】

なお、コンテンツｃｔ０１の特定の箇所の指定は、例えば、マークアップ言語ＸＭＬ（Ｅｘｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ；エクステンシブル マークアップ ランゲージ）に準拠した文書の特定の部分を指定する言語構文であるＸＰａｔｈ（ＸＭＬ Ｐａｔｈ Ｌａｎｇｕａｇｅ；ＸＭＬパス言語）を用いることによって行うことができる。

【0037】

上述したように、情報提示装置２０は、コンテンツ（例えば、コンテンツｃｔ０１、またはコンテンツｃｔ０１の格納場所を示すデータ）、および拡張提示（例えば、拡張提示ｅｘｔ０１、および拡張提示ｅｘｔ０２）と、情報提示要求のパターンを表すルールとを対応付けて記憶している。

【0038】

なお、図２（Ａ）に示す拡張提示の実施例においては拡張提示箇所（注目領域）に色付けをするものとしたが、例えば、図２（Ｂ）のように、拡張提示箇所ではない範囲（非注目領域、すなわち、拡張提示ｅｘｔ０３および拡張提示ｅｘｔ０４以外の領域）を、逆に暗く（隠消）して目立たなくすることによって、コンテンツｃｔ０２における拡張提示箇所にユーザの注目を促すような拡張提示であってもよい。

【0039】

また、上述したような、コンテンツの背景色や拡張提示箇所の背景色を変更する拡張提示ではなく、例えば、コンテンツに含まれる文字の文字色や拡張提示が提示する文字の文字色を変更するような拡張提示であってもよい。

【0040】

また、例えば、コンテンツであるウェブサイトを構成するＨＴＭＬコードの中の一部のタグを削除することによって、コンテンツの一部が表示しないようにするような拡張提示であってもよい。タグの削除は、例えば、ＪａｖａＳｃｒｉｐｔ（登録商標）ライブラリであるＪＱｕｅｒｙ（ジェイクエリー）等を用いることによって行うことができる。

【0041】

また、例えば、拡張提示対象の箇所のみ（または、拡張提示対象の箇所以外の範囲のみ）の提示状態が、時間とともに変化（時間的に提示状態変化）して表示されるような拡張提示であってもよい。

【0042】

例えば、拡張提示箇所に含まれる文字列の文字サイズ（フォントサイズ）や、拡張提示箇所に含まれる画像の画像サイズを、時間とともに繰り返し拡大・縮小するような（拡縮表示するような）拡張提示であってもよい。また、文字列のフォントデザインを変更するような拡張提示であってもよい。

【0043】

また、例えば、コンテンツに重畳したように表示させる拡張提示（例えば、図２における拡張提示ｅｘｔ０１、拡張提示ｅｘｔ０２、拡張提示ｅｘｔ０３、および拡張提示ｅｘｔ０４）を、時間とともに（例えば、ディスプレイの奥行き方向に）回転しているように表示させるような（回転表示するような）拡張提示であってもよい。

【0044】

また、例えば、コンテンツに重畳したように表示させる拡張提示（例えば、図２における拡張提示ｅｘｔ０１、拡張提示ｅｘｔ０２、拡張提示ｅｘｔ０３、および拡張提示ｅｘｔ０４）を、点滅して表示させるような（点滅表示するような）拡張提示であってもよい。

【0045】

なお、本実施例におけるコンテンツｃｔ０１はウェブサイトであるものとしたが、コンテンツの種類は、これに限られない。コンテンツは、当該コンテンツを構成する要素であるコンテンツ要素である部分集合を指定できる（特定可能な）構造を持つコンテンツであれば何でもよい。例えば、コンテンツは、ウェブサイトやＰＤＦ、Ｗｏｒｄファイルで作成されたマニュアルのような構造化文書を基に構築された文書、静止画、動画、音響信号（例えば、音声や音楽）、または三次元形状モデルデータ（立体データ）でもよい。
ここで言う文書（構造化文書）とは、例えば、当該文書の構成要素であるコンテンツ要素が並列または再帰的に繰り返す階層によって構造化された文書であり、情報提示装置２０は、構造化に応じたナビゲーションを行い特定のコンテンツ要素を指定する手段により当該コンテンツ要素を特定する。

【0046】

また、例えば、文書においての部分集合とは、本実施例における拡張提示ｅｘｔ０１で囲まれた範囲に含まれる文言である。また、例えば、静止画における部分集合とは、画像に含まれる一部の画像領域である。また、例えば、動画や音楽における部分集合とは、一部のチャプター、動画や音楽の再生開始から特定の時間が経過した時点（すなわち、特定のタイムコード）から始まる一部の再生範囲である。また、例えば、音楽における部分集合とは、音響情報に付随するメタデータや歌詞等に基づく再生範囲である。また、例えば、三次元形状モデルデータにおける部分集合とは、頂点座標集合、辺集合、または面集合等である。

【0047】

これにより、情報提示装置２０は、例えば、コンテンツが静止画である場合には、画像に含まれる一部の領域を囲む拡張提示をしたり、拡張提示によって囲まれた範囲に吹き出しを付けて補足情報を提示するような更なる拡張提示をしたりすることができる。
また、情報提示装置２０は、例えば、コンテンツが動画や音楽である場合には、動画や音楽の冒頭から再生するのではなく、動画や音楽の中の特定の箇所のみを再生するような拡張提示をしたり、動画や音楽の中の特定の箇所が再生されている時に画面に補足情報を表示するような拡張提示をしたりすることができる。

【0048】

（ルール抽出の実施例）
次に、情報提示装置２０が、ユーザからの情報提示要求を示す要求情報を解析してルールを抽出し、抽出されたルールに対応する拡張提示を決定する処理の実施例について説明する。
まず、従来の対話システムにおいて一般的（もっともナイーブな）なルール抽出および対話処理の一例について図面を参照しながら説明する。
図３は、従来の対話システムにおける対話処理の一例を示す図である。

【0049】

図３における各行は、ユーザから対話システムへの１回の問い掛け（例えば、情報提示要求）、または対話システムからユーザへの１回の応答を表すステップを示している。
図示するように、例えば、ステップｓｔ０１では、話者はユーザであり、ユーザから対話システムへ向けて「こんにちは」という問い掛けが行われたことを表す（ステップｓｔ０１）。

【0050】

対話システムは、ユーザの発話に基づく音声データを取得し、音声認識技術により「こんにちは」という文字データを取得する。対話システムは、ルールと応答内容との対応関係を示すテーブルを予め記憶している。対話システムは、取得した「こんにちは」という文字列に対応するルールを、当該テーブルにおいて検索する。テーブルには、例えば、「こんにちは＊」というルールと、「こんにちは」という応答内容を示すデータとが対応付けて記憶されている。「＊（アスタリスク）」は基本正規表現における表現方法であり、０文字以上の任意の文字列を表す。すなわち、このルールは、ユーザからの問い掛けにおける冒頭の文字列が「こんにちは」であった場合には、「こんにちは」という応答をすることを表す。対話システムは、このルールに基づき、ユーザに対し「こんにちは」という応答をする（ステップｓｔ０２）。なお、応答は、スピーカを介して音声によって行われてもよいし、画面に表示される文字によって行われてもよい。

【0051】

次に、ユーザが対話システムに対し、「あなたの名前は何？」という問い掛けを行ったとする（ステップｓｔ０３）。

【0052】

対話システムは、ユーザの発話に基づく音声データを取得し、「あなたの名前は何？」という文字データを取得する。対話システムは、取得した「あなたの名前は何？」という文字列に対応するルールを、テーブルにおいて検索する。テーブルには、例えば、「＊名前＊何＊」というルールと、「ｘｘです」という応答内容を示すデータが対応付けて記憶されている。すなわち、このルールは、ユーザからの問い掛けに含まれる文字列が「＊名前＊何＊」であった場合には、「ｘｘです」という応答をすることを表す。対話システムは、このルールに基づき、ユーザに対し「ｘｘです」という応答をする（ステップｓｔ０４）。

【0053】

次に、本発明の実施形態に係る情報提示システム１におけるルール抽出および情報提示処理について図面を参照しながら説明する。
図４は、本発明の実施形態に係る情報提示システム１の情報提示処理の一例を示す図である。
図３と同様に、図４における各行は、ユーザから情報提示システム１への１回の問い掛け（情報提示要求）、または情報提示システム１からユーザへの１回の応答を表すステップを示している。

【0054】

図示するように、まずユーザは、情報提示システム１へ向けて「ＸＸの方法を教えて」という問い掛けを行ったとする（ステップｓｔ１１）。

【0055】

情報提示システム１は、ユーザの発話に基づく音声データを取得し、音声認識技術により「ＸＸの方法を教えて」という文字データを取得する。情報提示システム１は、ルールと、コンテンツおよび拡張提示情報と、を対応付けたテーブルを予め記憶している。情報提示システム１は、取得した「ＸＸの方法を教えて」という文字列に対応するルールを、当該テーブルにおいて検索する。テーブルには、例えば、「｛録画｜再生｝＊方法＊教え＊」というルールと、「ｍｏｖｅ：｛ｈｔｔｐ：／／・・・｝ ａｎｎｏｔａｔｅ１：｛＜ｈ１＞｝ ａｎｎｏｔａｔｅ２：｛・・・｝」というデータとが対応付けて記憶されている。

【0056】

「｜（縦線）」は拡張正規表現における表現方法であり、「または」（ＯＲ条件）を表す。また、「ｍｏｖｅ：｛指定子Ｘ｝」は、「｛指定子Ｘ｝」内に対応付けられたＵＲＬよって指定される箇所へ移動することを表す。また、「ａｎｎｏｔａｔｅ１：｛指定子Ｙ｝」は、「｛指定子Ｙ（＜ｈ１＞）｝」内に記述されたタグが拡張提示の対象となるタグであることを表す。なお、「＜ｈ１＞」は、最上位の見出しを表すタグである。また、「ａｎｎｏｔａｔｅ２：｛指定子Ｚ｝」は、「ａｎｎｏｔａｔｅ２：｛指定子Ｚ｝」によって指定されたタグに対して、「｛指定子Ｚ｝」内に記述された文字列を注釈として付与することを表す。

【0057】

すなわち、このルールは、ユーザからの問い掛けに含まれる文字列が「（録画または再生）＊方法＊教え＊」に該当する場合には、例えば、「指定子Ｘ」のＵＲＬによって指定されるウェブサイトにおける最上位の見出しの部分を強調表示する拡張提示を行い、更に強調表示した部分に対して吹き出しを重畳描画することによって注釈を付与したコンテンツを提示することを表す。情報提示システム１は、このルールに基づき、ユーザに対し情報提示をする応答を行う（ステップｓｔ１２）。（なお、ユーザの発話の「ＸＸ」の部分には、「録画」または「再生」の文字列が含まれているものとする。）

【0058】

なお、対話規則および拡張規則を含む拡張提示情報の記述形式としては、例えば、ＸＭＬ、ＪＳＯＮ（ＪａｖａＳｃｒｉｐｔ（登録商標） Ｏｂｊｅｃｔ Ｎｏｔａｔｉｏｎ；ジェイソン）、ＰＨＰ（ピー・エイチ・ピー）シリアライズ、またはＣＳＶ（Ｃｏｍｍａ−Ｓｅｐａｒａｔｅｄ Ｖａｌｕｅｓ；シー・エス・ブイ）等、どのような記述形式が用いられてもよい。

【0059】

なお、対話規則は、図３および図４のようにテキスト情報のみで構成される必要はない。同様に、マッチングはテキストの完全一致だけではなく部分一致やベクトル距離や類似度などを用いた手法で行うことも可能である。ベクトルを用いる場合はテキスト情報ではなく、テキストをベクトル化した値を保持しておき、距離や類似度を求めるアルゴリズムを用いて算出したスコアに基づいた応答を返す。

【0060】

このように、本実施形態に係る情報提示システム１は、ユーザの情報提示要求のパターンを表すルールに対し、コンテンツ（または、コンテンツの格納場所）および拡張提示情報を対応付けて記憶しているため、従来の対話システムと比べて、応答内容の提示における表現力を向上させることができる。さらに、本実施形態に係る情報提示システム１は、応答内容をすべて文字データで表現する必要は無いため、予め記憶しておかれる応答内容の生成が容易になり、また、応答内容の作成コストを削減することができる。

【0061】

（情報提示装置の構成）
次に、情報提示装置２０の機能構成について、図面を参照しながら説明する。
図５は、本発明の実施形態に係る情報提示システム１の情報提示装置２０の機能構成を示すブロック図である。
情報提示システム１は、取得部２０１と、解析部２０２と、言語・概念知識格納部２０３と、対話制御部２０４と、対話規則格納部２０５と、応答生成部２０６と、拡張規則格納部２０７と、提示部２０８と、対話履歴格納部２０９と、対話規則構築部２１０と、を含んで構成される。

【0062】

取得部２０１は、端末装置１０から情報提示要求を示す要求情報を取得する外部入力インターフェースである。取得部２０１は、取得した要求情報を解析部２０２へ出力する。

【0063】

なお、上述したように、情報提示装置２０自体が直接ユーザからの入力を受け付ける装置である構成であっても構わない。その場合には、取得部２０１は、例えば、マイクロフォン、キーボード、またはカメラ等を含んで構成される。

【0064】

解析部２０２は、取得部２０１から入力された要求情報を文字データに変換する。なお、要求情報は、ユーザが入力するユーザインタフェースによってデータの種類が異なる。例えば、入力インターフェースがマイクロフォンであるならば要求情報は音声データであり、入力インターフェースがカメラであるならば要求情報は画像データである。また、入力インターフェースがキーボードであるならば、要求情報は既に文字データであるため、解析部２０２はデータ形式の変換を行う必要はない。

【0065】

解析部２０２は、言語・概念知識格納部２０３に格納された言語・概念知識情報に基づいて、要求情報を文字データへ変換する。言語・概念知識情報とは、同義関係や上位下位関係などの関係をグラフ構造でデータ化したものや、より複雑な関係や、関係の関係も含めてデータ化した情報である（例えば、「食べる」の主語は人や動物で、目的語は食べ物である、という関係など）。また、例えば、音声データや画像データ等と文字データとを対応付けて記憶される情報であるなどを含んでも良い。言語・概念知識情報は、予め外部ＡＰＩ（Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｇｒａｍｍｉｎｇ Ｉｎｔｅｒｆａｃｅ；エー・ピー・アイ）を介して言語・概念知識格納部２０３に格納される。

【0066】

言語・概念知識格納部２０３は、記憶媒体、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ；ハードディスクドライブ）、フラッシュメモリ、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ；イーイープロム）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ；読み出し専用メモリ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ ｒｅａｄ／ｗｒｉｔｅ Ｍｅｍｏｒｙ；読み書き可能なメモリ）、又はそれらの任意の組み合わせを含んで構成される。
解析部２０２は、（ユーザの情報提示要求を示す）変換された文字データを、対話制御部２０４へ出力する。
また、解析部２０２、後述する対話制御部２０４、後述する応答生成部２０６、および後述する対話規則構築部２１０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ；中央演算処理装置）を含んで構成される。

【0067】

対話制御部２０４は、情報提示システム１のユーザからの情報提示要求と、当該情報提示要求に対する情報提示システム１による応答との双方向の対話を制御する。
対話制御部２０４は、対話規則格納部２０５に記憶されたルールのリストを決定し、解析部２０２から入力された文字データに該当するルール（対話規則）を取得する。例えば、図４に示した「ＸＸの方法を教えて」という文字データが解析部２０２から入力され、対話制御部２０４は、当該文字データに該当するルールである「｛録画｜再生｝＊方法＊教え＊」を対話規則格納部２０５から取得する。対話規則格納部２０５は、記憶媒体、例えば、ＨＤＤ、フラッシュメモリ、ＥＥＰＲＯＭ、ＲＯＭ、ＲＡＭ、またはそれらの任意の組み合わせを含んで構成される。
対話制御部２０４は、対話規則格納部２０５から取得したルール、および文字データを応答生成部２０６へ出力する。

【0068】

応答生成部２０６は、拡張規則格納部２０７に記憶された、ルールと拡張提示情報とが対応付けられたデータを決定し、対話制御部２０４から入力されたルールに対応する拡張提示情報を拡張規則格納部２０７から取得する。なお、拡張提示情報には、情報提示要求に対する応答に用いられるコンテンツそのもの（または、コンテンツの格納場所を示す情報）、コンテンツにおいて拡張提示（例えば、強調表示）する箇所を示す情報、および拡張提示対象の箇所に表示する補足情報（例えば、注釈を示す情報）が含まれる。拡張規則格納部２０７は、記憶媒体、例えば、ＨＤＤ、フラッシュメモリ、ＥＥＰＲＯＭ、ＲＯＭ、ＲＡＭ、またはそれらの任意の組み合わせを含んで構成される。
応答生成部２０６（特定部）は、当該拡張提示する箇所を示す情報に基づいて、拡張提示対象の箇所（コンテンツの特定の領域、またはコンテンツ要素のいずれか一方）を特定する。
応答生成部２０６は、拡張規則格納部２０７から入力された拡張提示情報、ルール、および文字データを、提示部２０８へ出力する。

【0069】

提示部２０８は、応答生成部２０６から入力された拡張提示情報に基づいて、拡張提示情報が示すコンテンツに拡張提示情報が示す拡張提示を施したコンテンツを生成する。提示部２０８は、生成したコンテンツを示すデータを、端末装置１０からの要求に応じて端末装置１０へ送信する。または、提示部２０８は、生成したコンテンツを示すデータを、端末装置１０へプッシュ配信する。

【0070】

なお、上述したように、情報提示装置２０自体が、ユーザに対して情報を直接提示する装置である構成であっても構わない。その場合には、提示部２０８は、ディスプレイ、例えば、液晶ディスプレイ、有機ＥＬ（Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ；イー・エル）ディスプレイ、等を含んで構成される。

【0071】

また、提示部２０８は、生成したコンテンツ、拡張提示情報、ルール、および文字データを、対話履歴格納部２０９へ出力する。

【0072】

対話履歴格納部２０９には、上記の情報提示において用いられたデータが履歴データとして記憶される。
対話規則構築部２１０は、定期的に（例えば、１日毎に）対話履歴格納部に格納された履歴データを用いて、例えば、情報提示要求の傾向（対話の傾向）を機械学習により学習し、対話規則格納部２０５に格納されたルール、および拡張規則格納部２０７に格納された拡張提示情報に反映させる。

【0073】

なお、対話規則構築部２１０が、大量の文書（文字データ）から共通するルール（対話規則）を抽出する方法として、例えば、形態素解析、構文解析、述語項構造解析、照応・省略解析をはじめとした自然言語処理技術や共起やパターンマイニングなどを組み合わせた手法を用いてもよい。
また、対話規則構築部２１０が、画像データから、当該画像データに基づく画像を構成する構成要素の部分集合を抽出する方法として、例えば、一般物体認識技術を用いてもよい。例えば、人間と馬とが写っている写真を示す写真データにおいて、どの領域（座標）が人間を示す領域（座標）であり、どの領域（座標）が馬を示す領域（座標）であるかを、対話規則構築部２１０が、一般物体認識技術を用いることよって特定するようにしてもよい。

【0074】

なお、対話規則構築部２１０が拡張規則格納部２０７に格納された拡張提示情報を更新する際に、更新された拡張提示情報が示すコンテンツを、対話規則構築部２１０がコンテンツ群（例えば、コンテンツサーバ３０）から取得するようにしてもよい。

【0075】

（情報提示システムの動作）
次に、情報提示システム１の動作について、図面を参照しながら説明する。まず、情報提示システム１の動作のうち、情報提示処理の動作について説明する。
図６は、本発明の実施形態に係る情報提示システム１の情報提示処理の動作を示すフローチャートである。
図６に示すフローチャートは、例えば、情報提示システム１を利用するユーザの認証が行われた際や、Ｃｏｏｋｉｅなどのセッション情報を利用可能な際に開始する。

【0076】

（ステップｓｔ００１）端末装置１０は、情報提示装置２０へ、ユーザ情報、例えば、ユーザを特定するユーザＩＤ（Ｉｄｅｎｔｉｆｉｅｒ；識別子）等を送信する。情報提示装置２０は、取得部２０１により、端末装置１０から送信されたユーザ情報を受信する。取得部２０１は、受信したユーザ情報を、情報提示装置２０が備える記憶部（図示せず）に記憶させる。
認証部（図示せず）は、受信したユーザ情報に基づいて認証（個人特定）を行う。認証に成功した場合には、ステップｓｔ００２へ進む。そうでない場合は、ステップｓｔ００３へ進む。

【0077】

（ステップｓｔ００２）解析部２０２は、記憶部（図示せず）に記憶されたユーザ情報に基づいて、ユーザパラメータの読み込みを行う。ここで言うユーザパラメータの読み込みとは、例えば、情報提示システム１を利用するユーザに最適化された対話規則や拡張規則に基づいて応答が生成されるように情報提示装置２０を設定させるためのユーザ情報の読み込み処理である。
その後、ステップｓｔ００３へ進む。

【0078】

（ステップｓｔ００３）解析部２０２は、全体最適パラメータの読み込みを行う。ここで言う全体最適パラメータの読み込みとは、例えば、情報提示システム１を利用するユーザが誰かに関わらず、全体最適化された対話規則や拡張規則に基づいて応答が生成されるように情報提示装置２０を設定させるための設定情報の読み込み処理である。
その後、ステップｓｔ００４へ進む。

【0079】

（ステップｓｔ００４）端末装置１０において、ユーザによる入力操作（例えば、発話）に基づいて、ユーザの情報提示要求を示す要求情報が入力される。端末装置１０は、入力された要求情報を情報提示装置２０へ送信する。情報提示装置２０は、取得部２０１により、端末装置１０から送信された要求情報を受信する。取得部２０１は、受信した要求情報を、解析部２０２へ出力する。
その後、ステップｓｔ００５へ進む。

【0080】

（ステップｓｔ００５）解析部２０２は、取得部２０１から入力された要求情報を解析し、文字データへの変換をする変換処理を行う。
変換処理が成功し、文字データを取得できた場合には、解析部２０２は取得した文字データを対話制御部２０４へ出力する。その後、ステップｓｔ００６へ進む。
また、変換処理が成功せず、文字データを取得できなかった場合には、ステップｓｔ００８へ進む。

【0081】

（ステップｓｔ００６）解析部２０２から出力された文字データに基づいて、対話制御部２０４、応答生成部２０６、および提示部２０８によって、ユーザからの情報提示要求に対する応答処理が行われる。この応答処理の動作の詳細については後述する。
その後、ステップｓｔ００７へ進む。

【0082】

（ステップｓｔ００７）
情報提示装置２０の取得部２０１が、ユーザからの情報提示要求が終了したことを示す情報を取得した場合には、本フローチャートの処理が終了する。ユーザからの情報提示要求が終了した（例えば、対話が終了した）ことを示す情報とは、例えば、端末装置１０のユーザにより対話を終了させることを示す入力操作が行われたことを示す情報、ユーザからの入力（例えば、発話）が一定時間、行われなかったことを示す情報、または端末装置１０と情報提示装置２０との通信接続が切断されたされたことを示す情報等である。
取得部２０１が、ユーザからの情報提示要求が終了したことを示す情報を取得していない場合には、ステップｓｔ００８へ進む。

【0083】

（ステップｓｔ００８）解析部２０２は、上記の処理において生成されたコンテンツ、拡張提示情報、ルール、および文字データに基づいて、記憶部（図示せず）に記憶されたユーザステータスデータを更新する。
ユーザステータスデータ（局所最適）の他に、対話制御の全体最適を行うためのステータスデータの保持と更新も行う．
その後、ステップｓｔ００２へ戻る。
以上で、図６に示したフローチャートの処理の説明を終了する。

【0084】

次に、図６に示した情報処理提示処理のステップｓｔ００４で行われる応答処理の動作の詳細について、図面を参照しながら説明する。
図７は、本発明の実施形態に係る情報提示システム１の応答処理の動作を示すフローチャートである。
図７に示すフローチャートは、情報提示装置２０の解析部２０２が、対話制御部２０４へ、上述した文字データを出力した際に開始する。

【0085】

（ステップｓｔ１０１）対話制御部２０４が、解析部２０２から出力された上記の文字データを取得することにより処理要求を取得する。
その後、ステップｓｔ１０２へ進む。

【0086】

（ステップｓｔ１０２）対話制御部２０４は、対話規則格納部２０５に記憶されたルールのリストと、解析部２０２から入力された文字データとのマッチングを行う。
その後、ステップｓｔ１０３へ進む。

【0087】

なお、上記のマッチングを行う方法として、例えば、テンプレートマッチングをはじめとしたルールベースマッチング、または（ルールベースのように完全一致しない場合でも）ベクトル類似度をはじめとした何らかのスコアリングに基づき応答を決定する方法等、任意のマッチング方法が用いられる。
また、本実施形態においては、入力された文字データと対話規則（ルール）とのマッチングを行っているが、更に、入力された文字データとユーザステータスデータの双方を利用したマッチングも行うようにしてもよい。

【0088】

（ステップｓｔ１０３）対話制御部２０４が、対話規則格納部２０５に記憶されたルールのリストを検索し、解析部２０２から入力された文字データと一致するルール（対話規則）を抽出した場合には、抽出したルールおよび応答データを応答生成部２０６へ出力する。その後、ステップｓｔ１０４へ進む。
また、対話制御部２０４が、解析部２０２から入力された文字データと一致するルールを抽出しなかった場合には、ステップｓｔ１０９へ進む。

【0089】

（ステップｓｔ１０４）応答生成部２０６は、拡張規則格納部２０７に記憶された、ルールと拡張提示情報とが対応付けられたデータを検索し、対話制御部２０４から入力されたルールに対応する拡張提示情報を拡張規則格納部２０７から取得する。応答生成部２０６は、取得した拡張提示情報に基づいて応答を生成する。なお、拡張提示情報には、例えば、情報提示要求に対する応答に用いられるコンテンツそのものを示すデータ（または、コンテンツの格納場所を示す情報）、コンテンツにおいて拡張提示（例えば、強調表示）する箇所を示す情報、および拡張提示された箇所に表示する補足情報（例えば、注釈を示す情報）等が含まれる。
その後、ステップｓｔ１０５へ進む。

【0090】

（ステップｓｔ１０５）上記のステップｓｔ１０４において取得された拡張提示情報が、外部連携（例えば、外部のコンテンツサーバ３０等からのコンテンツ取得など）が必要であることを示している場合には、ステップｓｔ１０６へ進む。
また、上記のステップｓｔ１０４において取得された拡張提示情報が、外部連携は必要ではないことを示している場合（例えば、拡張提示情報に、情報提示要求に対する応答に用いられるコンテンツそのものが含まれている場合）には、応答生成部２０６は、拡張規則格納部２０７から入力された拡張提示情報、応答情報、ルール、および文字データを、提示部２０８へ出力する。その後、ステップｓｔ１０７へ進む。

【0091】

（ステップｓｔ１０６）応答生成部２０６は、拡張提示情報が示す外部情報（例えば、コンテンツ）を、情報提示装置２０が備える外部情報取得部（図示せず）または対話規則構築部２１０を介して、外部の装置（例えば、コンテンツサーバ３０）から取得する。
その後、ステップｓｔ１０７へ進む。

【0092】

（ステップｓｔ１０７）提示部２０８は、応答生成部２０６から入力された拡張提示情報および応答情報に基づいて、拡張提示情報が示すコンテンツに拡張提示情報が示す拡張提示を施したコンテンツを生成する。提示部２０８は、生成したコンテンツを示すデータを、端末装置１０からの要求に応じて端末装置１０へ送信する。または、提示部２０８は、生成したコンテンツを示すデータを、端末装置１０へプッシュ型で配信する。
その後、ステップｓｔ１０８へ進む。

【0093】

（ステップｓｔ１０８）解析部２０２は、上記の処理において生成されたコンテンツ、拡張提示情報、ルール、および文字データの少なくともいずれか一つに基づいて、記憶部（図示せず）に記憶されたユーザステータスデータを更新する。
以上で、本フローチャートの処理が終了する。

【0094】

（ステップｓｔ１０９）
対話制御部２０４は、提示部２０８を介して、ユーザに情報提示要求の再入力を促すための提示をさせる。例えば、対話制御部２０４は、「お問い合わせ内容が理解できませんでした。恐れ入りますが、別の言葉でもう一度発話してください」といったような応答を示す文字データを生成する。対話制御部２０４は、生成した文字データに基づく応答内容を、提示部２０８を介しユーザに対して提示させる。
または、コンテキストマッチのスコアが最も高い内容を暫定的な応答として返した上でユーザの反応を得た上で、再入力を促す提示をする「○○○○○ということでしょうか？もし間違っているようでしたら、恐れ入りますが、別の表現でもう一度入力してください」という応答内容を提示する。
以上で、本フローチャートの処理が終了する。
以上で、図７に示したフローチャートの処理の説明を終了する。

【0095】

次に、本実施形態に係る情報提示システム１の規則構築処理の動作について、図面を参照しながら説明する。
図８は、本発明の実施形態に係る情報提示システム１の規則構築処理の動作を示すフローチャートである。
図８に示すフローチャートは、情報提示装置２０の対話規則構築部２１０が、規則構築処理の実行命令を示す情報を取得した際に開始する。規則構築処理の実行命令を示す情報は、例えば、情報提示装置２０が備えるタイマー（図示せず）から定期的に対話規則構築部２１０へ出力される。
または、図８に示すフローチャートは、情報提示装置２０の取得部２０１が、ユーザからの情報提示要求が終了したことを示す情報を取得した際（すなわち、対話が終了した際など）に開始する。

【0096】

（ステップｓｔ２０１）対話規則構築部２１０は、コンテンツ（例えば、ウェブ上の文書や画像等）を収集する。コンテンツの収集は、（例えば、クローラによって）自動的に収集するようにしてもよいし、（例えば、情報提示装置２０の運用者によって）手動で収集するようにしてもよい。
その後、ステップｓｔ２０２へ進む。

【0097】

（ステップｓｔ２０２）対話規則構築部２１０は、収集したコンテンツを解析し、対話規則（ルール）を示すデータを構築する。対話規則構築部２１０は、構築した対話規則（ルール）を示すデータによって、対話規則格納部２０５に格納された対話規則（ルール）のリストを更新する。
その後、ステップｓｔ２０３へ進む。

【0098】

（ステップｓｔ２０３）また、対話規則構築部２１０は、収集したコンテンツとステップｓｔ２０２で構築した対話規則（ルール）とに基づいて、拡張規則（拡張提示情報）を示すデータを構築する。
その後、ステップｓｔ２０４へ進む。

【0099】

（ステップｓｔ２０４）対話規則構築部２１０は、ステップｓｔ２０３において構築した拡張規則（拡張提示情報）に含まれるコンテンツを示すコンテンツデータを、ステップｓｔ２０１で収取したコンテンツデータから抽出する。
その後、ステップｓｔ２０５へ進む。

【0100】

（ステップｓｔ２０５）対話規則構築部２１０は、抽出したコンテンツデータの種類を検出する。コンテンツデータの種類とは、例えば、テキストデータ、静止画データ、動画データ、音声データ、および三次元形状モデルデータ（立体データ）等である。対話規則構築部２１０は、コンテンツデータの種類に応じた方法によって、抽出したコンテンツデータから指定子を抽出する。

【0101】

指定子とは、例えば、コンテンツがマークアップ言語で記述されたテキストデータであるならば、タグ等である。また、指定子とは、例えば、コンテンツが動画データや音声データであるならば、チャプターやタイムコード等である。また、指定子とは、例えば、コンテンツが静止画データや立体データであるならば、座標データ等である。
対話規則構築部２１０は、ステップｓｔ２０３において構築した拡張規則（拡張提示情報）に、上記で抽出した指定子を示す情報を付与して拡張提示情報を更新する。
その後、ステップｓｔ２０６へ進む。

【0102】

（ステップｓｔ２０６）対話規則構築部２１０は、ステップｓｔ２０２において構築した対話規則（ルール）と、ステップｓｔ２０５において更新した拡張提示情報との関連付けを行う。対話規則構築部２１０は、関連付けたデータによって拡張規則格納部２０７に格納された拡張規則を示すデータを更新する。
以上で、本フローチャートの処理が終了する。
以上で、本実施形態に係る情報提示システム１の動作についての説明を終了する。

【0103】

（情報提示の画面例）
以下に、情報提示の画面例について、図面を参照しながら説明する。
図９は、本発明の実施形態に係る情報提示システム１によって提示される情報提示画面の一例を示す概略図である。

【0104】

まず、図９（Ａ）に図示するように、情報提示システム１が、ユーザからの入力に基づく「商品Ｘの購入方法は？」という商品Ｘの購入方法の問い合わせを示すデータを取得する。情報提示システム１は、応答処理を実行し、ＥＣサイトにおける商品Ｘの購入ページを示すコンテンツｃｔ０３を提示する。図９（Ａ）において、提示するコンテンツｃｔ０３おける拡張提示の対象箇所は「カートに入れる」ボタンである。

【0105】

情報提示システム１は、この「カートに入れる」ボタンの位置を指す矢印型の画像である拡張提示ｅｘｔ０５を、コンテンツｃｔ０３に重畳させるように提示する。また、情報提示システム１は、この「カートに入れる」ボタンの位置を指す吹き出しを示す画像である拡張提示ｅｘｔ０６を、コンテンツｃｔ０３に重畳させるように提示する。図示するように、拡張提示ｅｘｔ０６に基づく吹き出しには、「このボタンをクリックしてください」という文言が表示されている。

【0106】

このように、本発明の実施形態に係る情報提示システム１は、ユーザの入力（例えば、発話）に基づく情報提示要求に対し、単にコンテンツを提示して応答するだけでなく、当該コンテンツにおける拡張提示箇所を特定して当該拡張提示箇所に対して拡張提示を施したコンテンツを提示して応答することができる。

【0107】

本実施例の場合、情報提示システム１は、ユーザからの「商品Ｘの購入方法は？」という問い合わせに対し、ＥＣサイトにおける商品Ｘの購入ページを提示するだけでなく、当該購入ページの「カートに入れる」ボタンの位置を指す矢印の画像を付与し、また当該購入ページの「カートに入れる」ボタンの位置に対して「このボタンをクリックしてください」と記載された吹き出しを付与して提示することができる。
これにより、本発明の実施形態に係る情報提示システム１は、コンテンツにおける拡張提示対象の箇所にユーザの注目を集めさせる（注目を促す）情報提示を行うことができる。

【0108】

次に、図９（Ａ）に図示された「カートに入れる」ボタンがユーザによってクリックされたことを示す入力がなされると、情報提示システム１は、図９（Ｂ）に図示するような情報提示画面を表示する。
図示するように、情報提示システム１は、ＥＣサイトにおける商品Ｘの購入ページを示すコンテンツｃｔ０４を提示する。図９（Ｂ）において、提示するコンテンツｃｔ０４における拡張提示の対象箇所は「レジに進む」ボタンである。

【0109】

情報提示システム１は、この「レジに進む」ボタンの位置を指す吹き出しを示す画像である拡張提示ｅｘｔ０７をコンテンツｃｔ０４に重畳描画して提示する。図示するように、拡張提示ｅｘｔ０７に基づく吹き出しには、「このボタンをクリックしてください」という文言が表示されている。

【0110】

上述した図９（Ａ）における説明と同様に、本実施例において、情報提示システム１は、ユーザによる「カートに入れる」ボタンのクリックという入力に対して、ＥＣサイトにおける商品Ｘの購入ページを提示するだけでなく、当該購入ページの「レジに進む」ボタンの位置に「このボタンをクリックしてください」と記載された吹き出しを付与して提示する応答をすることができる。
これにより、本発明の実施形態に係る情報提示システム１は、コンテンツにおける拡張提示対象の箇所にユーザの注目を集めさせる（注目を促す）情報提示を行うことができる。

【0111】

また、コンテンツ移動を伴う提示を行う場合、ユーザが同様の操作を行うことを想定し、図９（Ｂ）の右上に図示するような経路を提示し操作フローを把握しやすくする。

【0112】

以上、説明したように、本発明の実施形態に係る情報提示システム１は、ユーザからの情報提示要求に対し、単にコンテンツを提示して応答するだけでなく、拡張提示情報（例えば、補足情報）を付与したコンテンツを提示して応答することができるため、テキスト情報を中心とした（または、テキスト情報のみで）応答内容を生成する従来技術と比べて、応答内容の表現力を高めることができる。これにより、本発明の実施形態に係る情報提示システム１は、応答内容に対するユーザの理解度を向上させることができる。

【0113】

また、本発明の実施形態に係る情報提示システム１は、テキスト情報だけでなく、ウェブサイト、静止画、動画、音声および三次元モデルデータ（立体データ）等の様々なデータ形式による既存のデータ（または、当該データの格納場所）と、拡張提示情報とを組み合わせた応答内容を生成すればよいため、様々なユーザからの要求に対する応答内容を文字によって表現しなければならない従来技術と比べて、応答内容を示すデータの生成や管理を容易にすることができる。

【0114】

以上により、本発明の実施形態に係る情報提示システム１は、応答内容の提示における表現力を向上させるとともに、応答内容の生成や管理を容易にすることができる。

【0115】

以上、この発明の実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。

【0116】

なお、上述した実施形態における端末装置１０および情報提示装置２０の一部又は全部をコンピュータで実現するようにしてもよい。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。

【0117】

なお、ここでいう「コンピュータシステム」とは、端末装置１０および情報提示装置２０に内蔵されたコンピュータシステムであって、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。

【0118】

さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信回線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。

【0119】

また、上述した実施形態における端末装置１０および情報提示装置２０を、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等の集積回路として実現してもよい。端末装置１０および情報提示装置２０の各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化してもよい。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現してもよい。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。

【符号の説明】

【0120】

１・・・情報提示システム、１０・・・端末装置、２０・・・情報提示装置、３０・・・コンテンツサーバ、１００・・・表示部、２０１・・・取得部、２０２・・・解析部、２０３・・・言語・概念知識格納部、２０４・・・対話制御部、２０５・・・対話規則格納部、２０６・・・応答生成部、２０７・・・拡張規則格納部、２０８・・・提示部、２０９・・・対話履歴格納部、２１０・・・対話規則構築部、ｃｔ０１〜ｃｔ０４・・・コンテンツ、ｅｘｔ０１〜ｅｘｔ０７・・・拡張提示

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】