(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023132838
(43)【公開日】2023-09-22
(54)【発明の名称】情報処理プログラム、情報処理方法及び情報処理装置
(51)【国際特許分類】
G10L 13/08 20130101AFI20230914BHJP
G06F 16/435 20190101ALI20230914BHJP
G06F 3/01 20060101ALI20230914BHJP
G06F 3/16 20060101ALI20230914BHJP
【FI】
G10L13/08 122
G10L13/08 124
G06F16/435
G06F3/01 510
G06F3/16 690
G06F3/16 650
【審査請求】未請求
【請求項の数】7
【出願形態】OL
(21)【出願番号】P 2022038389
(22)【出願日】2022-03-11
【新規性喪失の例外の表示】新規性喪失の例外適用申請有り
【国等の委託研究の成果に係る記載事項】(出願人による申告)令和元年度、国立研究開発法人科学技術振興機構、研究成果展開事業「社会的会話AIを搭載したメディアサービスの事業化」委託研究、産業技術力強化法第17条の適用を受ける特許出願
(71)【出願人】
【識別番号】899000068
【氏名又は名称】学校法人早稲田大学
(74)【代理人】
【識別番号】100180758
【弁理士】
【氏名又は名称】荒木 利之
(72)【発明者】
【氏名】高津 弘明
(72)【発明者】
【氏名】松山 洋一
【テーマコード(参考)】
5B175
5E555
【Fターム(参考)】
5B175DA01
5B175FB01
5B175HA01
5E555AA47
5E555AA48
5E555BA02
5E555BA88
5E555BB02
5E555BC04
5E555CA47
5E555CB64
5E555DA23
5E555DD07
5E555EA05
(57)【要約】
【課題】利用者の所望する情報、方法を推定して情報を提供する情報処理プログラム、情報処理方法及び情報処理装置を提供する。
【解決手段】情報処理装置1は、コンテンツ情報111の記事の内容、当該記事を再生した音声を聴く利用者の利用者情報112、当該記事の対象となる空間の少なくとも1つに基づいて記事を再生可能な制約時間を推定する制約時間推定手段100と、利用者情報112に基づいて記事及び当該記事に含まれる文に対する興味度を推定する興味度推定手段101と、複数の記事から、制約時間と利用者の興味度に基づいて1又は複数の記事を選択するコンテンツ選択手段102と、コンテンツ選択手段102が選択した1又は複数の記事の文を用い、制約時間と利用者の興味度に基づいて、シナリオ情報114を生成するシナリオ情報生成手段104とを有する。
【選択図】
図2
【特許請求の範囲】
【請求項1】
コンピュータを、
記事の内容、当該記事を再生した音声を聴く利用者の情報、当該記事の対象となる空間の少なくとも1つに基づいて前記記事を再生可能な制約時間を推定する制約時間推定手段と、
前記利用者の情報に基づいて前記記事及び当該記事に含まれる文に対する興味度を推定する興味度推定手段と、
複数の前記記事から、前記制約時間と前記利用者の前記興味度に基づいて1又は複数の記事を選択する記事選択手段と、
前記記事選択手段が選択した1又は複数の記事の文を用い、前記制約時間と前記利用者の前記興味度に基づいて、シナリオ情報を生成する生成手段として機能させる情報処理プログラム。
【請求項2】
前記記事選択手段が選択した前記複数の記事の提示順を決定する記事提示順決定手段としてさらに機能させる請求項1に記載の情報処理プログラム。
【請求項3】
前記興味度推定手段は、前記シナリオ情報の再生に対する利用者の反応に基づいて前記興味度の推定結果を変更し、
前記記事選択手段は、当該推定結果に基づいて1又は複数の記事の選択内容を変更する請求項1又は2に記載の情報処理プログラム。
【請求項4】
前記生成手段は、前記シナリオ情報の再生に対する利用者の反応に基づいて、及び/又は前記変更された興味度、前記変更された選択内容に基づいて前記シナリオ情報を再生成する請求項3に記載の情報処理プログラム。
【請求項5】
前記生成手段は、前記記事に含まれている複数の文から利用者に対して再生する1又は複数の文と、前記利用者の反応に対する応答用の1又は複数の文とを選択して前記シナリオ情報を生成する請求項1から4のいずれか1項に記載の情報処理プログラム。
【請求項6】
記事の内容、当該記事を再生した音声を聴く利用者の情報、当該記事の対象となる空間の少なくとも1つに基づいて前記記事を再生可能な制約時間を推定する制約時間推定ステップと、
前記利用者の情報に基づいて前記記事及び当該記事に含まれる文に対する興味度を推定する興味度推定ステップと、
複数の前記記事から、前記制約時間と前記利用者の前記興味度に基づいて1又は複数の記事を選択する記事選択ステップと、
前記記事選択ステップにおいて選択した1又は複数の記事の文を用い、前記制約時間と前記利用者の前記興味度に基づいて、シナリオ情報を生成する生成ステップとを有する情報処理方法。
【請求項7】
記事の内容、当該記事を再生した音声を聴く利用者の情報、当該記事の対象となる空間の少なくとも1つに基づいて前記記事を再生可能な制約時間を推定する制約時間推定手段と、
前記利用者の情報に基づいて前記記事及び当該記事に含まれる文に対する興味度を推定する興味度推定手段と、
複数の前記記事から、前記制約時間と前記利用者の前記興味度に基づいて1又は複数の記事を選択する記事選択手段と、
前記記事選択手段が選択した1又は複数の記事の文を用い、前記制約時間と前記利用者の前記興味度に基づいて、シナリオ情報を生成する生成手段とを有する情報処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理プログラム、情報処理方法及び情報処理装置に関する。
【背景技術】
【0002】
従来の技術として、総音声時間長、話速、必須再生記事数等の条件付で記事群の中から関心度の高い記事を関心度の高い順に選択し、選択した記事を適切な量に要約して合成音声で再生する情報処理プログラムが提案されている(例えば、特許文献1参照)。
【0003】
特許文献1に開示された情報処理プログラムは、所望する合成音声の話速や話者種別、時間長を設定するパラメータ設定手段と、キーワード及び関心の度合いを設定するキーワード設定手段と、設定されたキーワード及び関心の度合いに基づいて関心度を決定する関心度決定手段と、設定された話速と聴取時間と、決定された関心度に基づいてテキストの要約レベルを決定する要約レベル決定手段と、要約レベルに基づいて、テキストを要約するテキスト要約手段と、パラメータ設定手段により設定された話速や話者種別に基づいて音声を合成するテキスト音声合成手段とを有し、設定された情報に基づいて記事を要約して再生する。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
上記情報処理プログラムによると、話速、話者種別、時間長、キーワード等の設定された情報に基づいて記事を要約して再生するものの、利用者に関する情報に合わせて時間長の決定、記事の選択、要約の程度(方針)等は設定する必要があり、特に利用者がどの程度の時間長、要約の程度が適切か理解していない場合には設定が容易ではなく、十分に個人に向けて適正化されているとまでは言えない、という問題があった。
【0006】
本発明の目的は、利用者の所望する情報、方法を推定して情報を提供する情報処理プログラム、情報処理方法及び情報処理装置を提供することにある。
【課題を解決するための手段】
【0007】
本発明の一態様は、上記目的を達成するため、以下の情報処理プログラム、情報処理方法及び情報処理装置を提供する。
【0008】
[1]コンピュータを、
記事の内容、当該記事を再生した音声を聴く利用者の情報、当該記事の対象となる空間の少なくとも1つに基づいて前記記事を再生可能な制約時間を推定する制約時間推定手段と、
前記利用者の情報に基づいて前記記事及び当該記事に含まれる文に対する興味度を推定する興味度推定手段と、
複数の前記記事から、前記制約時間と前記利用者の前記興味度に基づいて1又は複数の記事を選択する記事選択手段と、
前記記事選択手段が選択した1又は複数の記事の文を用い、前記制約時間と前記利用者の前記興味度に基づいて、シナリオ情報を生成する生成手段として機能させる情報処理プログラム。
[2]前記記事選択手段が選択した前記複数の記事の提示順を決定する記事提示順決定手段としてさらに機能させる前記[1]に記載の情報処理プログラム。
[3]前記興味度推定手段は、前記シナリオ情報の再生に対する利用者の反応に基づいて前記興味度の推定結果を変更し、
前記記事選択手段は、当該推定結果に基づいて1又は複数の記事の選択内容を変更する前記[1]又は[2]に記載の情報処理プログラム。
[4]前記生成手段は、前記シナリオ情報の再生に対する利用者の反応に基づいて、及び/又は前記変更された興味度、前記変更された選択内容に基づいて前記シナリオ情報を再生成する前記[3]に記載の情報処理プログラム。
[5]前記生成手段は、前記記事に含まれている複数の文から利用者に対して再生する1又は複数の文と、前記利用者の反応に対する応答用の1又は複数の文とを選択して前記シナリオ情報を生成する前記[1]から[4]のいずれかに記載の情報処理プログラム。
[6]記事の内容、当該記事を再生した音声を聴く利用者の情報、当該記事の対象となる空間の少なくとも1つに基づいて前記記事を再生可能な制約時間を推定する制約時間推定ステップと、
前記利用者の情報に基づいて前記記事及び当該記事に含まれる文に対する興味度を推定する興味度推定ステップと、
複数の前記記事から、前記制約時間と前記利用者の前記興味度に基づいて1又は複数の記事を選択する記事選択ステップと、
前記記事選択ステップにおいて選択した1又は複数の記事の文を用い、前記制約時間と前記利用者の前記興味度に基づいて、シナリオ情報を生成する生成ステップとを有する情報処理方法。
[7]記事の内容、当該記事を再生した音声を聴く利用者の情報、当該記事の対象となる空間の少なくとも1つに基づいて前記記事を再生可能な制約時間を推定する制約時間推定手段と、
前記利用者の情報に基づいて前記記事及び当該記事に含まれる文に対する興味度を推定する興味度推定手段と、
複数の前記記事から、前記制約時間と前記利用者の前記興味度に基づいて1又は複数の記事を選択する記事選択手段と、
前記記事選択手段が選択した1又は複数の記事の文を用い、前記制約時間と前記利用者の前記興味度に基づいて、シナリオ情報を生成する生成手段とを有する情報処理装置。
【0009】
本願発明によれば、利用者の所望する情報、方法を推定して情報を提供することができる。
【図面の簡単な説明】
【0010】
【
図1】
図1は、実施の形態に係る情報処理システムの構成の一例を示す概略図である。
【
図2】
図2は、実施の形態に係る情報処理装置の構成例を示すブロック図である。
【
図3】
図3は、コンテンツ情報の構成例を示す概略図である。
【
図4】
図4は、コンテンツ情報を木構造で表現した例を示す概略図である。
【
図5】
図5は、利用者情報と興味度情報との関係を示す概略図である。
【
図6】
図6は、シナリオ情報の構成例を示す概略図である。
【
図7】
図7(a)及び(b)は、シナリオ再生動作を説明するための概略図である。
【
図8】
図8は、情報処理装置の動作例を示すフローチャートである。
【発明を実施するための形態】
【0011】
[実施の形態]
(情報処理システムの構成)
図1は、実施の形態に係る情報処理システムの構成の一例を示す概略図である。
【0012】
この情報処理システムは、一例として、展示物4a~4dが展示された美術館、博物館等の案内のために設置され、展示物4a~4dを案内するための情報を生成する情報処理装置1と、情報処理装置1において生成された案内するための情報に基づいて利用者3に対して展示物4a~4dを案内する案内ロボット2とを、図示しないネットワークによって互いに通信可能に接続することで構成される。なお、美術館、博物館等の施設は実在する施設を対象に以下説明するが、仮想現実空間上に存在する施設に対して本実施の形態を適用するものであってもよい。また、設置される場所は、美術館、博物館等に限定されるものでなく、案内や説明を要する施設、場所であればその種類は問わない。
【0013】
情報処理装置1は、サーバ型の情報処理装置であり、案内ロボット2を介した利用者3の要求に応じて動作するものであって、本体内に情報を処理するための機能を有するCPU(Central Processing Unit)や情報を記憶するための機能を有するフラッシュメモリ等の電子部品を備える。情報処理装置1は、主に展示物4a~4dの作者、作成年代、エピソード等の展示物4a~4dを説明するためのコンテンツ情報を記憶し、利用者3の年齢、出身地、職業、業種、趣味、記事のジャンルに対する興味度等の属性を示す利用者情報に基づいて案内ロボット2の案内に要する時間(制約時間)を推定し、案内するコンテンツとその順番を決定し、案内の内容を生成し、これらの情報を案内ロボット2に出力するものである。また、案内中に利用者3から案内ロボット2に対して質問等の反応があった場合、情報処理装置1は、制約時間、案内するコンテンツとその順番、案内の内容等を反応に基づいて変更等する。なお、コンテンツ情報は外部から取得するものであってもよい。
【0014】
案内ロボット2は、制御により又は自律して移動可能で少なくとも音声の出力、音声の聞き取り等が可能なロボットであって、本体内に情報を処理するための機能を有するCPUやフラッシュメモリ、スピーカー、マイク、カメラ等の電子部品を備える。また、案内ロボット2に代えて、スマートフォンやタブレット端末、VR(Virtual Reality)ゴーグル又はAR(Augumented Reality)グラス等の持ち運び可能な機器を利用者3が持ち運ぶ形態でもよいし、各展示物4a~4d毎又はエリア毎に単数又は複数のスマートスピーカーやネットワーク通信対応のテレビ等の備え付け型の機器を配置する形態でもよい。
【0015】
案内ロボット2が再生するシナリオ情報としては、音声情報を主とした情報について実施の形態を説明するが、音声情報に限らず映像情報であってもよいし、テキスト情報、画像情報又はこれらを組み合わせた情報であってもよい。
【0016】
また、案内ロボット2は、マイクを介して、シナリオ情報の再生内容に対する反応として主に利用者3の発する音声を取得し、反応情報として情報処理装置1に送信するとともに、シナリオ情報の範囲内で応答することができる場合は、当該反応情報の内容を解析し、解析結果に応じてシナリオ情報114に含まれる情報から応答する。なお、取得する反応として音声情報を主として実施の形態を説明するが、利用者3の反応であれば音声情報に限らず、利用者3の案内ロボット2が操作部を有する場合には操作部に対する操作内容、利用者3の表情や視線、ジェスチャー等を撮影した映像情報であってもよい。
【0017】
ネットワーク4は、高速通信が可能な通信ネットワークであり、例えば、インターネット、イントラネットやLAN(Local Area Network)等の有線又は無線の通信網である。
【0018】
上記構成において、一例として、情報処理装置1は、利用者3の利用者情報に基づいて案内ロボット2により案内する時間(制約時間)を推定し、当該案内する時間に収まるように、かつ利用者情報に適した展示物を選択し、コンテンツ情報から当該展示物を案内するためのシナリオ情報を生成する。なお、シナリオ情報は展示物を説明するための情報だけでなく、利用者3の反応に応答するための情報も含む。案内ロボット2はシナリオ情報に基づいて利用者3を案内しつつ、利用者3の反応に応答する。以降、構成についてさらに詳しく説明する。
【0019】
(情報処理装置の構成)
図2は、実施の形態に係る情報処理装置1の構成例を示すブロック図である。
【0020】
情報処理装置1は、CPU等から構成され、各部を制御するとともに、各種のプログラムを実行する制御部10と、フラッシュメモリ等の記憶媒体から構成され情報を記憶する記憶部11と、ネットワークを介して外部と通信する通信部12とを備える。
【0021】
制御部10は、後述する情報処理プログラム110を実行することで、制約時間推定手段100、興味度推定手段101、コンテンツ選択手段102(記事選択手段)、コンテンツ提示順決定手段103、シナリオ情報生成手段104、出力手段105及び反応取得手段106等として機能する。
【0022】
制約時間推定手段100は、コンテンツ情報111の記事の内容、当該記事を再生した音声を聴く利用者の情報である利用者情報112、当該記事の対象となる空間の情報(ミュージアムの広さや展示物4a~4dの位置、展示物4a~4d間の距離)、利用者3又は情報処理装置1の管理者によって設定された時間等に基づいて案内ロボット2が案内可能な制約時間を推定する。なお、移動が不要な場合は空間の情報を考慮する必要はなく制約時間に案内ロボット2の移動時間を含めなくともよい(制約時間が発話時間となる。)。
【0023】
興味度推定手段101は、利用者情報112に基づいて利用者3のコンテンツ情報111に対する興味を推定し、推定結果を興味度情報113として記憶部11に格納する。具体的には、例えば、利用者情報112としてアンケート等で得られるプロフィール特徴量を用い、当該プロフィール特徴量とコンテンツ情報111の文の特徴量とに基づいて各文に対する利用者3の興味度を推定する。また、アンケート以外に、利用者3を撮像した映像から推定される年齢や性別、コンテンツ情報111について説明する前に得られる案内ロボット2と利用者3との間のインタラクションから暗に推定されたペルソナ等もプロフィール特徴量として利用してもよい。
【0024】
コンテンツ選択手段102は、制約時間と興味度情報113とに基づいてコンテンツ情報111から利用者3に伝達すべきコンテンツを選択する。例えば、制約時間内で興味度の和が最大となるようにコンテンツを選択する。
【0025】
コンテンツ提示順決定手段103は、コンテンツ選択手段102が選択したコンテンツの提示順を決定する。具体的には、コンテンツ提示順決定手段103は、ミュージアムの例においては、基本的に最短時間で作品を巡回する順番を選択する。ただし、選択されたコンテンツのストーリー性やミュージアムの混雑状況などを考慮し、最短時間以外の順番(経路)を選択してもよい。また、利用者3の興味度が高い順、ジャンル毎にまとめた順番、年代順を選択してもよい。
【0026】
シナリオ情報生成手段104は、コンテンツ選択手段102による選択内容及びコンテンツ提示順決定手段103の提示順を確認し、選択されたコンテンツの文(再生の単位)に対して再生の有無、再生順等の付随情報(再生指示情報)を付与して、また必要に応じて言い回しを例えば口語調に変える等して、シナリオ情報114を生成する。例えば、興味度が高い単位を再生有に設定し、それ以外を再生有に設定しない(利用者3の反応に対する応答用に用いる)という付随情報を付与する(再生順によって文章の一貫性を保証しつつ、再生する単位と応答用の単位を設けた構造を以降「談話構造」という。)。例えば、制約時間内で興味度の和が最大となるように再生する単位を選択する。さらに文に対して自動的に付加情報を付与する他、オーサリングツール(図示せず)を用いてオペレータが編集した定義等の付加情報を受けて付与することができる。ここで、シナリオ情報114は、展示物4a~4dの説明だけでなく、当該説明に対する利用者3の反応に応答できるよう構成された情報である。また、上記口語化処理の後、音声合成を行い、音声ファイルを生成することで当該音声ファイルの再生時間から発話時間が得られる。また、変形例として、文書、段落、文、文節などの単位で先に発話時間を規定し、その時間を守るように音声合成するようにしてもよい。詳しくは後述する。
【0027】
また、シナリオ情報生成手段104は、文(単位)の集合を、例えば、単数又は複数の発話節からなる音声情報に変換した音声ファイルを生成し、当該音声ファイルに対するリンク情報をシナリオ情報114の項目として有する例を説明するが、シナリオ情報114は音声ファイルのリンクを項目として有さず、単位の集合をテキスト情報で保持して、再生装置である案内ロボット2においてテキスト情報から音声を再生するものであってもよい。
【0028】
なお、シナリオ情報生成手段104は、1つのコンテンツ情報111から1つのシナリオ情報114を生成する例を以降説明するが、複数のコンテンツ情報111から1つのシナリオ情報114を生成してもよいし、1つのコンテンツ情報111から複数のシナリオ情報114を生成してもよい。また、シナリオ情報114は、コンテンツ情報111に含まれる単位をそのまま用いるだけでなく(抽出型)、単位を用いて又は単位を他の単位に言い換える等して再構築して作成するもの(抽象化型)やこれらの複合型であってもよい。つまり、シナリオ情報114は、コンテンツ情報111から伝達用の情報及び応答用の情報を取捨選択した要約のようなものであってもよいし、コンテンツ情報111を再構築して新たに生成したコンテンツ情報111とは異なる情報であってもよい。抽出型の場合、要約の要件は興味度が高いこと、冗長でないこと、内容が一貫していること等が挙げられる。
【0029】
出力手段105は、シナリオ情報114を案内ロボット2に出力する。なお、出力手段105は、シナリオ情報114に加えて案内ロボット2の移動経路、移動スピード等をさらに出力するが、移動経路、移動スピード等は案内ロボット2によって決定してもよい。
【0030】
反応取得手段106は、案内ロボット2が再生する内容に対する利用者3の反応(相槌、質問等)を、案内ロボット2を介して取得する。
【0031】
記憶部11は、制御部10を上述した各手段100-106として動作させる情報処理プログラム110、コンテンツ情報111、利用者情報112、興味度情報113、シナリオ情報114、反応情報115等を記憶する。
【0032】
図3は、コンテンツ情報111の構成例を示す概略図である。
【0033】
コンテンツ情報111は、作品を識別するための作品IDと、作品名と、作品を説明する文を識別するための文IDと、ツリー構造の親ノードを示す係り先文IDと、他の文とのまとまりを示すチャンク文IDと、どのような内容が文に書かれているかを分類する属性と係り先の文に対してどのような意味的関係にあるかを示す談話関係とを示す属性/談話関係と、文の内容とを有する。作品毎に1又は複数の文が用意されており、複数の文は、次の
図4で説明するように、作品の概要、作者、作品の背景等のようにカテゴライズされているものとするが、必須の構成ではない。また、コンテンツ情報111は、予め複数の文に分割されている例を挙げたが、分割されていない文章を図示しないコンテンツ情報分割手段によって分割するものであってもよい。また、さらに文を句、節、単語等の単位に分割して有してもよいし、文より大きな単位で有していてもよい。なお、コンテンツ情報111は、テキスト情報に限られるものではなく、テキスト以外の映像、音声、画像等のコンテンツであってもよく、テキスト以外の情報の場合は、コンテンツの種類にそれぞれ適した単位(映像であればチャプター、シーン、コマ、フレーム等、音声であればトラック、小節等、画像であれば画像範囲、ピクセル等)で分割されているものとする。なお、属性や談話関係は、興味度推定の際の特徴量として利用される他、利用者3の質問に答える際の判断材料としても利用される。
【0034】
図4は、コンテンツ情報111を木構造で表現した例を示す概略図である。
【0035】
コンテンツ情報111aは、シナリオ情報として用いられる場合にコンテンツ情報111の作品ID「001」が構造化された例であり、文111a1に対し、これを補足する文111a2、111a3と、文111a3を補足する文111a4、さらに文111a4を補足する文111a5と、文111a2、111a3と同階層の文111a6~111a9とを有する。当該構造化は、コンテンツ情報111に対して予めなされているものであってもよいし、利用時にシナリオ情報生成手段104により構造化されるものであってもよい。
【0036】
図5は、利用者情報112と興味度情報113との関係を示す概略図である。
【0037】
利用者情報1121、1122、11262、11263…は、利用者毎に用意された、例えば、性別や年齢などの利用者に関する情報であり、一例として、複数の項目が用意されてパラメータ化されたものを図示しているが、これに限らずベクトル表現等の任意の特徴量表現により表わされるものであってもよい。興味度情報113は、例えば、コンテンツ情報111aの各文及び全体(総合)に対して、利用者情報112に基づいて各利用者の興味度を算出したものである。
【0038】
(情報処理装置の動作)
次に、本実施の形態の作用を、(1)基本動作、(2)シナリオ情報生成動作、(3)シナリオ情報再生動作に分けて説明する。
【0039】
(1)基本動作
まず、利用者3が、情報処理システムが設置された美術館、博物館等の施設を訪れると、案内ロボット2が利用者3に近寄り、利用者3を特定する。特定方法は、利用者3を予め登録しておき、画像や利用者3IDとパスワードの組み合わせ等の登録情報と照合する方法であってもよいし、訪問時に利用者3を新規に登録する方法であってもよい。
【0040】
また、登録時に利用者3に、一例として、アンケートを行うことで、又は過去に案内した履歴があればその履歴に基づいて利用者3のプロフィールを示す利用者情報112を生成する。また、利用者情報112は、外部サービスから取得するものであってもよい。また、アンケート以外に、利用者3を撮像した映像から推定される年齢や性別、コンテンツ情報111について説明する前に得られる案内ロボット2と利用者3との間のインタラクションから暗に推定されたペルソナ等もプロフィール特徴量として利用してもよい。
【0041】
次に、利用者3は、案内ロボット2に案内を要求する。案内ロボット2は、案内要求を受け付けると情報処理装置1と通信し、情報処理装置1にシナリオ情報の生成を要求する。情報処理装置1は、シナリオ情報の生成要求を受け付けて以下の「(2)シナリオ情報生成動作」を開始する。なお、シナリオ情報の生成動作は、利用者3の訪問予約等に基づいて予め行っておくものであってもよい。
【0042】
上記動作において、案内ロボット2は、例えば、以下のように利用者3に音声を再生する。
「こんにちは。ようこそ、〇〇ミュージアムへ。本館にお越しになられるのは初めてですか?」
これに対して、利用者3が「はい、そうです。」と回答すると、
「初めてのご来館ありがとうございます。本館には、様々な日本の国宝と重要文化財を展示しております。〇〇さんにおすすめの作品をいくつかピックアップしてご案内しますね。」
【0043】
(2)シナリオ情報生成動作
図8は、情報処理装置の動作例を示すフローチャートである。
【0044】
まず、情報処理装置1の制約時間推定手段100は、コンテンツ情報111の記事(作品及びその作品を説明する文)の内容、当該記事を再生した音声を聴く利用者の情報である利用者情報112、当該記事の対象となる空間の情報(ミュージアムの広さや展示物4a~4dの位置、展示物4a~4d間の距離)、利用者3又は情報処理装置1の管理者によって設定された時間等に基づいて案内ロボット2が発話可能な時間(移動も含めた時間)を推定する(S10)。なお、制約時間が予め定められている場合は当該ステップを省略してもよい。
【0045】
次に、興味度推定手段101は、
図5に示すように、利用者情報112に基づいて利用者3のコンテンツ情報111の各作品及び各文に対する興味を推定し、興味度情報113として記憶部11に格納する(S11)。具体的にはアンケート等で得られるプロフィール特徴量とコンテンツ情報111の文の特徴量とに基づいて各文に対する利用者3の興味度を推定する。
【0046】
次に、コンテンツ選択手段102は、制約時間と興味度情報113とに基づいてコンテンツ情報111から利用者3に伝達すべきコンテンツを選択する(S12)。なお、展示物間の案内ロボット2の移動時間も考慮して伝達可能な量の情報を選択する。
【0047】
次に、コンテンツ提示順決定手段103は、選択した記事の提示順を決定する(S13)。具体的には、コンテンツ提示順決定手段103は、ミュージアムの例においては、基本的に最短時間で作品を巡回する順番を選択する。ただし、選択されたコンテンツのストーリー性やミュージアムの混雑状況などを考慮し、最短時間以外の順番(経路)を選択してもよい。また、利用者3の興味度が高い順、ジャンル毎にまとめた順番、年代順を選択してもよい。
【0048】
次に、シナリオ情報生成手段104は、制約時間から案内ロボット2の移動時間を差し引いた時間で再生可能な量の情報をシナリオ情報114として生成する。具体的には、コンテンツ選択手段102によって選択されたコンテンツの文に対して興味度情報113に基づいて再生の有無、再生順等の付随情報(再生指示情報)を付与して、また必要に応じて言い回しを例えば口語調に変える等して、例えば、後に示す
図6に示すようにシナリオ情報114を生成する(S14)。
【0049】
具体的には、シナリオ情報生成手段104は、段落、文、句、単語等で分割された単位に対して再生の有無、再生順等の項目の付随情報を付与してシナリオ情報114を生成する。
【0050】
また、付随情報として、再生有に設定された単位を文節提示順序の順に再生することで要約された内容が再生され、再生有に設定されていない単位は、当該再生された内容に対する利用者3の反応に対する応答に用いられる他、シナリオ情報114の変更によって後の再生にも用いられる。
【0051】
図6は、シナリオ情報114の構成例を示す概略図であり、制限時間や談話構造に違反しないように、興味度の高い文を抽出した後の、コンテンツ情報111に関するシナリオ情報114の構成例である。
【0052】
シナリオ情報114a
1は、一例として、
図4のコンテンツ情報111aに基づいて利用者3に対して作成された情報であり、文111a
1~111a
9のうち
図5に示した興味度情報113の「U
1」の数値に基づいて(数値が5以上のものを選択することで)文111a
1~111a
5が選択されて生成されたものである。
【0053】
シナリオ情報114a2もシナリオ情報114a1と同様に、作品ID「002」のコンテンツ情報114bに基づいて利用者3に対して作成された情報であり、興味度情報113の「U1」の数値に基づいて選択された文により生成されたものである。
【0054】
なお、
図6には再生の有無と再生順を指示する付随情報は示していないが以下に説明するように設定されているものとする。例えば、上記したシナリオ情報114a
1であれば、文111a
1~111a
3に対して再生有が設定されており、文111a
4、111a
5に対して再生有が設定されておらず、文111a
4、111a
5は利用者3の反応に対する応答に用いられる他、付随情報の事後的な変更によって後の再生にも用いられる。
【0055】
さらにシナリオ情報生成手段104は、利用者3の反応に応答するため、固有名詞や認知度の低いと思われる用語等を含む単位に対して、必要に応じて図示しない外部の情報データベースやインターネット上の情報提供サイトから情報を取得し、当該固有名詞や用語等の定義やトリビア等の情報を付加してもよい。
【0056】
次に、出力手段105は、シナリオ情報114を案内ロボット2に出力する。なお、出力手段105は、シナリオ情報114に加えて案内ロボット2の移動経路、移動スピード等をさらに出力するが、移動経路、移動スピード等は案内ロボット2によって決定してもよい。
【0057】
(3)シナリオ情報再生動作
次に、案内ロボット2は、情報処理装置1からシナリオ情報114を受信し、シナリオ情報114を再生して利用者3を案内する(S15)。以下に示す例では、利用者31を案内する場合と利用者32を案内する場合を示す。
【0058】
図7(a)及び(b)は、シナリオ再生動作を説明するための概略図である。
【0059】
例えば、利用者3
1の案内をする場合、
図7(a)に示すように、利用者3
1の利用者情報112
1に基づいて制約時間が例えば5分間と決定され、展示物4a、4bがコンテンツとして選択され、提示順が展示物4a、4bの順で決定されたものとする。
【0060】
まず、案内ロボット2は、「本日は「古文尚書第六巻」と絵画の「土蜘蛛草紙絵巻」を紹介しようと思います。それでは1つずつ鑑賞していきましょう。」のように案内のイントロダクションを再生し、案内ロボット2は展示物4aに利用者31を案内する(1)。次に、シナリオ情報114から展示物4aの説明である利用者31用のシナリオ情報114a1を再生し、「『尚書』は、尭舜から秦の穆公までの歴史を記した経典『書経』のことです。孔子の編纂と伝えられています。秦の焚書のときに隠された『尚書』が、漢時代に壁中から探し出されました。」のように展示物4aを説明する(2)。
【0061】
上記のように展示物4aの説明に対して利用者3から相槌や質問等の反応があった場合には案内ロボット2は当該反応に対してシナリオ情報114a1に基づいて応答する。例えば、利用者3から「もっと詳しく教えて。」のように補足説明を求められた場合、応答用に用意された文111a4、111a5を再生し「これは、当時の人にも読めるように、漢時代の通行文字で書き改めたので、「今文尚書」と呼ばれています。一方、漢の景帝のとき、魯の恭王が孔子の旧宅の壁中から得たものは、 古い文字で書かれていたので、「古文尚書」といわれています。」のように補足する。また、利用者3から「へー」のように反応があった場合、イントネーション等から興味の有無を判断してもよい。
【0062】
次に、案内ロボット2は展示物4bに利用者31を案内し(3)、シナリオ情報114から展示物4bの説明であるシナリオ情報114b1を再生する(3)。その後、案内ロボット2はスタート位置に利用者31を案内し(4)、案内を終了する。
【0063】
また、展示物4aから展示物4bへ移動する際に、「興味深い作品ですよね。」のようにつなぎを再生してもよい。もしこのつなぎに利用者3が「うん、面白い。」のように反応した場合、「経典に興味がありそうでしたので、次の作品の前に他の経典を紹介しますか?」のようにつなぎを再生してもよい。もし、利用者3が「紹介して。」のように回答した場合は当初のコンテンツ選択や提示順を変更して他の経典を案内する。なお、ここで次に紹介する作品の候補が変えるのは利用者31の反応から総合的に判定した結果であって、上記の反応があった場合に必ず次に紹介する作品の候補を変更するわけではない。
【0064】
展示物4bの説明の再生中に利用者3が展示物4bの一部を注視していた場合は、シナリオ情報114bのうち再生に指定されていない文であっても当該注視部分の説明を再生してもよい。また、展示物4bの説明の再生中に利用者3が興味なさそうにしていた場合は、当該展示物4bのジャンルに興味がないと判断して以降のコンテンツ選択やシナリオ情報の修正を行ってもよい。
【0065】
また、案内を終了する際に案内ロボット2は「魅力的な作品ですよね。これで、今日紹介する作品は以上です。今日は様々な国宝や重要文化財に触れることができましたね。一緒にまわってみてどうでしたか? 日本には、貴重な作品がたくさんあります。次回は、他の作品についても紹介したいと思います。また見に来てください。お待ちしております。」のようにクロージングを再生してもよい。
【0066】
また、利用者3
2の案内をする場合、
図7(b)に示すように、利用者3
2の利用者情報112
2に基づいて制約時間が例えば15分間と決定され、展示物4b、4d、4cがコンテンツとして選択されたものとする。基本的には、最短距離(最短の移動時間)で案内するため展示物4b、4c、4dの提示順とするが、利用者3
2の興味度情報113
2や選択されたコンテンツのストーリーの流れを考慮して、例えば、初期計画を展示物4b、4d、4cの順で提示するものとする。
【0067】
まず、案内ロボット2は展示物4bに利用者32を案内し(1)、シナリオ情報114から展示物4bの説明である利用者32用のシナリオ情報114b2を再生する(2)。次に、案内ロボット2は展示物4dに利用者32を案内し(3)、シナリオ情報114から展示物4dの説明であるシナリオ情報114d2を再生する(4)。次に、案内ロボット2は展示物4cに利用者32を案内し(5)、シナリオ情報114から展示物4cの説明であるシナリオ情報114c2を再生する(6)。その後、案内ロボット2はスタート位置に利用者32を案内し(7)、案内を終了する。
【0068】
また、上記展示物4b、4dの案内中に利用者32の反応が得られ、興味度情報1132が変更された場合、展示物4b、4d、4cの順の初期計画を変更して展示物4b、4d、4eのように新たな展示物4eを案内するようにしてもよい。
【0069】
また、案内ロボット2による上記の案内中に、上記で説明した例だけでなく他に、利用者31及び32(以降、利用者3という。)は、再生された音声を聴き、再生中の発話節の途中で相槌、質問、疑問、操作命令等があれば割込の反応として発話する。また、利用者3は、発話節と発話節の間(ま)で相槌、質問、疑問、操作命令等があれば反応として発話する。当該反応は案内ロボット2のマイクを介して受け付けられる。以下、反応と応答の内容の具体例を、さらに詳細に説明する。
【0070】
案内ロボット2は、反応の内容を情報処理装置1に送信する。情報処理装置1の反応取得手段106は、反応の内容を受信し、反応情報115として記憶部11に格納する(S16)。
【0071】
情報処理装置1のコンテンツ選択手段102及び/又はシナリオ情報生成手段104は、反応情報115に基づいて興味度情報113の計算、コンテンツの選択、提示順の決定及び/又はシナリオ情報114(付随情報を含む。)の内容の修正を行う(S17)。当該修正は、利用者3の反応を受ける度に行ってもよいし、予め定めた反応の数の集合毎に行ってもよいし、予め定めた時間の間隔で行ってもよいし、コンテンツ毎、文毎に行ってもよく、その他の間隔であってもよい。
【0072】
上記修正は、例えば、以下に示すような場合に行われる。シナリオ情報114は、利用者3の反応を考慮し、適宜(コンテンツ毎)更新する。また、利用者3が反応を示した場合、当該作品に興味がありそうだったか、興味がなさそうだったかを反応から推定し、その結果をもとに、コンテンツに対する興味度を再度推定し、作品を選び直し、経路を決め、シナリオを修正する。
【0073】
また、ステップS10で決めた制約時間が変更可能な利用状況であれば、適宜、利用者3の都合を考慮したうえで、制約時間を延長したり、短縮したりしてもよい。利用者3がまだ話を聞きたそうにしており、時間に余裕がありそうと判断される場合、制約時間を延長し、更新された制約時間と興味度のもと、シナリオを修正する。また、どの作品もまったく興味がなさそうと判断される場合、又は利用者3が自身の都合で早期終了を求めていると判断される場合、制約時間を短縮し、早めに説明を終えられるようにシナリオを修正する。
【0074】
一方、案内ロボット2は、自律的に、また受信したシナリオ情報114の範囲内で応答することができ、この場合は以下のように動作する。
【0075】
案内ロボット2の反応解析手段は、利用者の発話を音声認識し、音声認識結果である発話の内容と、反応のタイミングに基づいて反応の内容を解析し、解析結果として予め定められた反応タイプに分類する。解析結果情報の分類結果が、応答が必要なものである場合、シナリオ情報114から回答に該当する情報を用いて応答する。
【0076】
例えば、利用者3によって「次の文」「前の文」「もう一回言って」などの発話節の送り、巻き戻し操作がなされた場合は、第n番目の文書の再生中であっても「n=n+1」「n=n-1」「n=n」のように再生する発話節を切り替える。さらに、隣り合う発話節だけでなく、特定の発話節にジャンプして再生する発話節を切り替えるようにしてもよい。
【0077】
なお、案内ロボット2は、解析結果情報の分類結果に基づいて、コマンド応答、テンプレート応答、シナリオ応答、補足応答、オープン応答、デフォルト応答のいずれかにて応答することができる。ここで、コマンド応答とは、反応タイプが「ちょっと待って」、「前に戻って」、「次の記事に進んで」等の操作命令であった場合の応答であり、当該反応を受け付けた旨の応答を返すとともに、操作命令に従って操作を行うものである。また、テンプレート応答とは、反応が予め定めたルールに当てはまる場合の応答であり、ルールに則って応答を返すものである。例えば、反応に形容詞が含まれている場合、「面白い」の反応に対して「面白いよね」のように同じ表現を繰り返すことで応答する。反応が確認を伴う形容詞である場合、「~と思うよ」のように応答する。また、反応が自己開示の場合、「そうなんだね」と応答する。また、反応が「~と思う」のような意見の場合、「うん、そうだね」と応答する。また、反応が「~べきだ」のような意見の場合、「うん、そうすべきだと思う」と応答する。また、反応が「~べきでない」のような意見の場合、「うん、まあ、そうだよね」と応答する。
【0078】
また、補足応答とは、類似度に基づく応答、情報付加による応答、名詞反復による応答、エラーハンドリングによる応答等を含む。類似度に基づく応答は、反応に含まれる内容語と、シナリオ情報114中の文との類似度が予め定めた閾値以上である文のうち最も類似度の高い文を応答する。また、情報付加による応答は、反応に再生中の文に興味があるような形容詞が含まれる場合(例えば「面白いな」)や、反応が「それで」又は「あとは」のように再生を促すような言葉である場合、再生中の文と同段落の他の文を付加して再生することで応答する。また、名詞反復による応答は、反応が再生中の文に含まれる名詞である場合、当該名詞を「~」だとすると「そう、~」と応答する。また、エラーハンドリングによる応答は、反応が再生中の文の用語の言い間違いである場合、当該用語の反復や定義説明を応答する。例えば、「グルコラ」や「グルコラなんだって?」という反応に対して「グルコラファサチン」と応答し、「進行(しんこう)?」という反応に対して「神鋼っていうのは…」と応答する。また、オープン応答とは、シナリオ情報114に含まれない情報が回答となるような質問に対する応答であり、外部サービスを利用して回答を検索して応答するものである。また、デフォルト応答とは、反応が質問や確認であるが回答できない場合に、「それはちょっとわからない」と応答するものである。また、反応が質問や確認でなく、上記したいずれの応答もなされなかった場合に、「うん」と相槌により応答するものである。
【0079】
上記においてシナリオ応答する場合、シナリオ情報114を用いて以下のように応答内容を決定する。
【0080】
案内ロボット2は、解析結果に基づいて、利用者3の反応に対してシナリオ情報114を構成する単位から反応の回答となる単位を検索する。当該検索は、再生済みの単位の履歴を辿り、当該再生済みの単位から検索する。
【0081】
例えば「α社って?」という利用者の反応があった場合、第1のパタンとして、反応の際に再生していた単位(文節等)から再生の履歴を遡って、「α社」に関する定義が検索される。
【0082】
第2のパタンとして、反応の際に再生していた単位(文節等)から再生の履歴を遡って、「α社」に関する説明が含まれる単位が検索される。
【0083】
上記において検索結果が見つからない場合、シナリオ情報114全体から検索する。これは、反応に応答すべき情報が未伝達の単位に含まれる場合があるためである。
【0084】
例えば「α社って?」という利用者の反応があった場合、第3のパタンとして、反応の際に再生していた単位(文節等)より再生順が後にあり、未伝達の単位に含まれる「α社」に関する説明が検索される。
【0085】
選択の際、候補となる単位は、再生履歴に基づき、既に再生済みかどうかを判別し、再生済みの単位については、他の候補がない場合に限り、非優先的に選択される。なお、再生済みの単位を選択から除外してもよく、この場合も非優先の選択の一種とする。一方、利用者3の反応が「~ってなんだっけ?」や「~をもう一度教えて」のように再生済みの単位を要求する内容の場合は選択してもよい。
【0086】
上記において検索結果が見つからない場合、シナリオ情報114外の情報源として外部情報データベース等を検索してもよい。
【0087】
案内ロボット2は、選択された単位に基づいて又はシナリオ情報114外の検索結果に基づいてシナリオ情報114の選択文節、提示順序を書き換える。当該選択文節、提示順序の書き換えは、例えば、選択した単位と同内容を重複して伝達しないように行われるとともに、選択した単位とその後に続く内容との伝達順序を適正にするように行われる。また、選択文節、提示順序の書き換えは、伝達時間の上限を超えないように優先度に応じて選択を解除するものであってもよい。
【0088】
上記における応答は、具体的には、例えば、以下のような反応と応答が含まれる。
【0089】
反応が「誰が?」のように述語を含まない場合、再生中の発話節と最も近い文節に含まれる主語を回答として応答する。また、反応が「誰それ」、「何それ」のように名詞を指すものである場合、出現頻度の低さと固有表現クラスを考慮して回答として応答する。
【0090】
また、反応が「いつ」、「誰が」のように固有表現を問うものである場合、固有表現を抽出した結果に基づいて回答として応答する。また、反応が「なぜ?」のようにWhy型質問である場合、「~ので」や「~ため」のような手がかり語に着目してシナリオ情報114中から理由表現を抽出して回答として応答する。また、談話構造解析により、離れた文間の談話関係(「原因」「結果」など)を特定し、その結果に基づきwhy型等の質問に回答してもよい。
【0091】
また、反応が「α社ってどんな会社?」のように定義を問うものである場合、シナリオ情報114を参照して定義やトリビアを回答として応答する。なお、反応がシナリオ情報114に含まれない情報を含む場合、外部の情報データベースを検索して回答してもよい。
【0092】
また、反応が「それは~ということ?」のように真意の判定を要求するものである場合、含意矛盾認識の結果に基づいて回答を生成し、応答する。例えば、述語項構造に基づくマッチングで回答できる場合は、「そうだよ、~だよ」又は「いや違う、~だよ」のような回答を生成し、応答する。また、述語項構造に基づくマッチングで回答できない場合は、対象となる文に対する反応の内容語の被覆率を計算し、予め定めた第1の値以上の場合に「うん」と回答し、第1の値より小さく予め定めた第2の値以上である場合に「うん、たぶん」と回答し、第2の値より小さい場合に「うーん、どうだろう」と回答する。
【0093】
また、反応が「何+(助数詞)」のように程度を問うものである場合、「(数詞)+(数助詞)」にマッチする表現をシナリオ情報114から検索して応答とする。
【0094】
情報処理装置1及び案内ロボット2は、上記に説明したような応答をしつつ、すべての記事を再生し終えると(S18;Yes)、案内を終了する。
【0095】
(実施の形態の効果)
上記した実施の形態によれば、利用者3に展示物4a~4dを案内するために要する時間を制約時間として推定し、制約時間以内で案内可能な展示物4a~4dに関するコンテンツ情報111を利用者3の興味度情報113に基づいて選択して、選択したコンテンツ情報111に基づいて内容を制約時間に収まるようにしたシナリオ情報114を生成するようにしたため、利用者3の所望する情報、方法を推定して提供することができる。また、制約時間に収まるように、かつ利用者3の属性に合わせてシナリオ情報114を生成したため、必要な情報を効率よく伝達することができる。
【0096】
また、案内ロボット2においてシナリオ情報114に基づいて内容を再生するとともに、利用者3の反応に対してシナリオ情報114から回答となる単位を検索して選択し、選択された単位を用いて回答を応答するようにしたため、必要に応じて利用者の所望する情報を提供することができる。
【0097】
また、反応情報115に基づいて制約時間の見直しやコンテンツ選択の見直しをし、さらにシナリオ情報114の内容を変更するようにしたため、状況をフィードバックして適切な制約時間内で利用者の所望する情報を提供することができる。
【0098】
[他の実施の形態]
なお、本発明は、上記実施の形態に限定されず、本発明の趣旨を逸脱しない範囲で種々な変形が可能である。
【0099】
上記実施の形態では制御部10の各手段100~106の機能をプログラムで実現したが、各手段の全て又は一部をASIC等のハードウエアによって実現してもよい。また、上記実施の形態で用いたプログラムをCD-ROM等の記録媒体に記憶して提供することもできる。また、上記実施の形態で説明した上記ステップの入れ替え、削除、追加等は本発明の要旨を変更しない範囲内で可能である。
【0100】
また、情報処理装置1の制御部10の各手段100~106の機能は、必ずしも情報処理装置1上で実現する必要はなく、本発明の要旨を変更しない範囲内で、案内ロボット2上で実現してもよい。また、同様に案内ロボット2の各機能は、必ずしも案内ロボット2上で実現する必要はなく、本発明の要旨を変更しない範囲内で、情報処理装置1上で実現してもよい。
【符号の説明】
【0101】
1 :情報処理装置
2 :案内ロボット
3 :利用者
4 :ネットワーク
4a~4d :展示物
10 :制御部
11 :記憶部
12 :通信部
100 :制約時間推定手段
101 :興味度推定手段
102 :コンテンツ選択手段
103 :コンテンツ提示順決定手段
104 :シナリオ情報生成手段
105 :出力手段
106 :反応取得手段
110 :情報処理プログラム
111 :コンテンツ情報
112 :利用者情報
113 :興味度情報
114 :シナリオ情報
115 :反応情報
202 :シナリオ情報生成手段