(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023184290
(43)【公開日】2023-12-28
(54)【発明の名称】プログラム、情報処理方法、及び情報処理装置
(51)【国際特許分類】
G06F 40/30 20200101AFI20231221BHJP
G10L 15/00 20130101ALI20231221BHJP
G10L 15/22 20060101ALI20231221BHJP
G10L 15/10 20060101ALI20231221BHJP
G06F 40/216 20200101ALI20231221BHJP
【FI】
G06F40/30
G10L15/00 200J
G10L15/22 300U
G10L15/10 500T
G06F40/216
【審査請求】未請求
【請求項の数】9
【出願形態】OL
(21)【出願番号】P 2022098358
(22)【出願日】2022-06-17
(71)【出願人】
【識別番号】302064762
【氏名又は名称】株式会社日本総合研究所
(74)【代理人】
【識別番号】100114557
【弁理士】
【氏名又は名称】河野 英仁
(74)【代理人】
【識別番号】100078868
【弁理士】
【氏名又は名称】河野 登夫
(72)【発明者】
【氏名】程塚 正史
(72)【発明者】
【氏名】今泉 翔一朗
【テーマコード(参考)】
5B091
【Fターム(参考)】
5B091CA12
5B091CA14
5B091CB12
5B091CB32
5B091EA01
5B091EA02
(57)【要約】 (修正有)
【課題】ユーザが会話を望む話題を提示するプログラム、情報処理方法及び情報処理装置を提供する。
【解決手段】情報処理装置における会話システム変更処理は、ユーザによる会話要約の選択を取得する処理と、ユーザによる発言した意図の説明を取得する処理と、意図の説明より単語を抽出する処理と、意図の説明が取得された会話要約および抽出された単語を対応付けて訓練データを作成する処理と、作成された訓練データに基づき会話シナリオを生成する機械学習モデルを再学習する処理と、を含む。
【選択図】
図10
【特許請求の範囲】
【請求項1】
移動体内でのユーザと会話システムとの会話履歴を出力し、
前記会話履歴に含まれる会話内容の意図又は変更に関する情報を受け付け、
受け付けた前記情報に基づき、前記会話システムを変更する
処理をコンピュータに実行させるプログラム。
【請求項2】
前記会話内容の話題及び要約を時系列で出力する
請求項1に記載のプログラム。
【請求項3】
前記会話履歴に基づき、前記会話内容の話題及び前記話題ごとの要約を出力し、
前記要約に含まれる、前記ユーザの特定の発言に対する意図の入力を受け付ける
請求項1または2に記載のプログラム。
【請求項4】
複数種類の前記会話内容の話題を出力し、
前記ユーザが前記会話内容の意図又は変更に関する前記情報の入力を希望する前記話題の選択を受け付ける
請求項1または2に記載のプログラム。
【請求項5】
前記ユーザが変更を希望する前記会話内容の話題と、変更後の話題とを受け付け、
前記変更後の話題の狙いを受け付ける
請求項1または2に記載のプログラム。
【請求項6】
受け付けた前記情報に基づき、前記会話システムの会話シナリオを変更する
請求項1または2に記載のプログラム。
【請求項7】
受け付けた前記情報に基づき、前記会話システムの会話シナリオを生成する機械学習モデルを再学習する
請求項1または2に記載のプログラム。
【請求項8】
移動体内でのユーザと会話システムとの会話履歴を出力し、
前記会話履歴に含まれる会話内容の意図又は変更に関する情報の入力を受け付け、
受け付けた前記情報に基づき、前記会話システムを変更する
情報処理方法。
【請求項9】
移動体内でのユーザと会話システムとの会話履歴を出力し、
前記会話履歴に含まれる会話内容の意図又は変更に関する情報の入力を受け付け、
受け付けた前記情報に基づき、前記会話システムを変更する
制御部
を備える情報処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本技術は、プログラム、情報処理方法、及び情報処理装置に関する。
【背景技術】
【0002】
従来、ユーザと会話を行う装置等が知られている。例えば、特許文献1に記載の対話制御装置は、直前の会話で使用した話題と関連のある話題を選択し、会話を生成する。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献1に記載の対話制御装置は、ユーザが会話したい話題について、うまく会話が行えない場合がある。
【0005】
本開示は斯かる事情に鑑みてなされたものであり、ユーザが会話を望む話題を提示するプログラム等を提供することを目的とする。
【課題を解決するための手段】
【0006】
本開示の一実施形態に係るプログラムは、移動体内でのユーザと会話システムとの会話履歴を出力し、前記会話履歴に含まれる会話内容の意図又は変更に関する情報を受け付け、受け付けた前記情報に基づき、前記会話システムを変更する処理をコンピュータに実行させる。
【0007】
本開示の一実施形態に係るプログラムは、前記会話内容の話題及び要約を時系列で出力する。
【0008】
本開示の一実施形態に係るプログラムは、前記会話履歴に基づき、前記会話内容の話題及び前記話題ごとの要約を出力し、前記要約に含まれる、前記ユーザの特定の発言に対する意図の入力を受け付ける。
【0009】
本開示の一実施形態に係るプログラムは、複数種類の前記会話内容の話題を出力し、前記ユーザが前記会話内容の意図又は変更に関する前記情報の入力を希望する前記話題の選択を受け付ける。
【0010】
本開示の一実施形態に係るプログラムは、前記ユーザが変更を希望する前記会話内容の話題と、変更後の話題とを受け付け、前記変更後の話題の狙いを受け付ける。
【0011】
本開示の一実施形態に係るプログラムは、受け付けた前記情報に基づき、前記会話システムの会話シナリオを変更する。
【0012】
本開示の一実施形態に係るプログラムは、受け付けた前記情報に基づき、前記会話システムの会話シナリオを生成する機械学習モデルを再学習する。
【0013】
本開示の一実施形態に係る情報処理方法は、移動体内でのユーザと会話システムとの会話履歴を出力し、前記会話履歴に含まれる会話内容の意図又は変更に関する情報の入力を受け付け、受け付けた前記情報に基づき、前記会話システムを変更する。
【0014】
本開示の一実施形態に係る情報処理装置は、移動体内でのユーザと会話システムとの会話履歴を出力し、前記会話履歴に含まれる会話内容の意図又は変更に関する情報の入力を受け付け、受け付けた前記情報に基づき、前記会話システムを変更する制御部を備える。
【発明の効果】
【0015】
本開示の一実施形態に係るプログラムにあっては、ユーザが会話を望む話題を提示することが可能である。
【図面の簡単な説明】
【0016】
【
図1】情報処理システムの構成例を示す模式図である。
【
図2】情報処理装置等の構成例を示すブロック図である。
【
図3】要約モデル及び会話シナリオ生成モデル等を示す説明図である。
【
図5】情報処理装置の会話処理を説明するフローチャートである。
【
図7】会話内容意図テーブルの一例を示す説明図である。
【
図9】会話シナリオ生成モデルの再学習に関する説明図である。
【
図10】情報処理装置の会話システム変更処理を説明するフローチャートである。
【
図11】実施形態2に係る情報処理装置等の構成例を示すブロック図である。
【
図12】話題変更説明受付画面を示す説明図である。
【
図13】話題変更テーブルの一例を示す説明図である。
【
図14】実施形態2に係る情報処理装置の会話システム変更処理を説明するフローチャートである。
【
図15】実施形態3に係る情報処理装置等の構成例を示すブロック図である。
【
図17】会話シナリオテーブルの一例を示す説明図である。
【
図18】実施形態3に係る情報処理装置の会話処理を説明するフローチャートである。
【
図19】実施形態3に係る情報処理装置の会話システム変更処理を説明するフローチャートである。
【
図20】会話シナリオテーブルの変更を示す説明図である。
【発明を実施するための形態】
【0017】
(実施形態1)
以下、実施形態1に係る本発明について、図面に基づき説明する。
図1は、情報処理システムの構成例を示す模式図である。
図2は、情報処理装置等の構成例を示すブロック図である。会話システムSは、情報処理装置1と、車内装置2とを含み、情報処理装置1と車内装置2は、互いに外部ネットワークNを介して通信を行う。車内装置2は、移動体(自動車)内に搭載され、情報処理装置1から受信した、ユーザと会話を行うための話題をユーザに提示し、ユーザと会話を行う。なお、車内装置2は、二輪車、飛行機、または鉄道車両等の移動体内に搭載されてもよい。また、車内装置2は、ユーザによる会話内容の意図又は変更の入力を受け付け、情報処理装置1に送信する。情報処理装置1は、車内装置2から受信した情報に基づき、次回に車内装置2に送信する話題を決定する。
【0018】
情報処理装置1は、制御部11、記憶部12、及び通信部13を備えたコンピュータであり、サーバコンピュータ、パーソナルコンピュータ、タブレット型コンピュータ、量子コンピュータ、スマートホン又は外部ネットワークで接続されたクラウドサーバ等である。なお、情報処理装置1は、複数の装置によってその機能が実現されるものであってもよい。また、車内装置2が情報処理装置1の機能の一部または全てを備えるものであってもよい。
【0019】
制御部11は、CPU(Central Processing Unit)又はMPU(Micro Processing Unit)等により構成してあり、記憶部12に予め記憶されたプログラム及びデータを読み出して実行することにより、種々の制御処理、演算処理等を行う。
【0020】
記憶部12は、ROM(Read Only Memory)、EEPROM(Electrically Erasable Programmable ROM)又はフラッシュメモリ等の不揮発性のメモリ素子、及びRAM(Random Access Memory)等の揮発性のメモリ素子により構成されている。記憶部12には、プログラム及び処理時に参照するデータが予め記憶されている。プログラムは、制御部11が読み取り可能に記録媒体12aに格納されているプログラム(プログラム製品)を読み出だして記憶したものであってもよい。また、図示しない通信網に接続されている図示しない外部コンピュータからプログラムをダウンロードし、記憶部12に記憶させたものであってもよい。記憶部12は、要約モデルM1と、会話シナリオ生成モデルM2と、単語抽出モデルM3と、会話テーブル121と、会話内容意図テーブル122とを記憶している。要約モデルM1、会話シナリオ生成モデルM2、単語抽出モデルM3、会話テーブル121、及び会話内容意図テーブル122は、複数のクラウドサーバに分散して記憶されてもよい。要約モデルM1、会話シナリオ生成モデルM2、単語抽出モデルM3、会話テーブル121、及び会話内容意図テーブル122の詳細については後述する。
【0021】
通信部13は、例えば、Wi-Fi(登録商標)、LTE(登録商標)、4G、または5G通信等に対応した無線通信デバイスである。通信部13は、外部ネットワークNを介して車内装置2と通信を行う。
【0022】
車内装置2は、制御部21、記憶部22、通信部23及び入出力I/F24を備えたコンピュータであり、例えば、ナビゲーション機能を備える車内ディスプレイである。なお、車内装置2は、パーソナルコンピュータ、タブレット型端末、またはスマートホン等でもよい。
【0023】
入出力I/F24は、車内装置2の外部装置と通信を行うためのインターフェイス群であり、例えば、USB又はDSUB等の規格化された通信インターフェイスである。入出力I/F24には、ディスプレイ等の表示部241、入力部242、マイク243、及びスピーカ244が接続され、各外部装置と、車内装置2の制御部21との通信を可能にしている。なお本実施形態においては、表示部241と入力部242はタッチパネルによって一体として構成される。また、入力部242は、ジェスチャーコントロールによるものでもよい。
【0024】
図3は、要約モデル及び会話シナリオ生成モデル等を示す説明図である。情報処理装置1の制御部11は、車内装置2の制御部21がマイク243において収音し、送信したユーザの発言を含む音声データを音声認識し、文字データ(テキストデータ)に変換する音声認識処理を行う音声認識部11aを含む。当該音声認識処理は、例えば、音響モデル、発音辞書及び言語モデル等の処理モジュールを用いて行われるものである。音声認識部11aは、変換した音波の周波数に基づき、発話者(音声データのユーザ) を特定するものであってもよい。制御部11は、音声データから変換した文字データ(テキストデータ)を要約モデルM1に出力する。なお、音声認識部11aは、発話者の感情を推定するものであってもよい。
【0025】
要約モデルM1は、文章を示す文字データが入力された場合、該文章の要約を出力する機械学習モデルであり、例えば、GPT2(Generative Pre-Training 2)であり、抽出型文章要約を行う。なお、要約モデルM1は、GPT、GPT3、Transformer、BERT(Bidirectional Encoder Representations from Transformers)、BART(Bidirectional Auto-Regressive Transformer)、またはT5(Text-to-Text Transfer Transformer)等でもよい。また、要約モデルM1は、抽出型文章要約を行うが、抽象型文章要約を行ってもよい。訓練データについては、例えば、日本語話し言葉コーパス(CSJ:Corpus of Spontaneous Japanese)が用いられる。要約モデルM1は文字データに含まれる各単語の重要度を決定し、重要度が一定値以上である単語を含む文章、または文章の一部を抽出して要約する。要約された文章(会話要約)は、複数の文によって構成されていてもよい。
【0026】
会話シナリオ生成モデルM2は、要約モデルM1が要約した文章(会話要約)が入力された場合、次にユーザに提示する話題(関連話題)を決定して会話シナリオを生成する機械学習モデルであり、例えば、GPT2である。なお、会話シナリオ生成モデルM2は、GPT、GPT3、Transformer、BERT、BART、またはT5などでもよい。訓練データについては、例えば、日本語話し言葉コーパスが用いられる。会話シナリオ生成モデルM2は入力された文章に基づき、入力された文章に関連し、次にユーザに提示する話題(関連話題)を決定して会話シナリオを生成する。
【0027】
図4は、会話テーブルの一例を示す説明図である。会話テーブル121には、情報処理装置1がユーザに提示した話題、該話題に対してユーザが発言した会話の要約(会話要約)、及び該会話要約に基づいて会話シナリオ生成モデルM2が決定した話題(関連話題)が格納される。会話テーブル121の管理項目(フィールド)は、例えば、日時フィールドと、提示話題フィールドと、会話要約フィールドと、関連話題フィールドとを含む。日時フィールドには、情報処理装置1の制御部11がユーザに話題を提示した日時が格納される。提示話題フィールドには、情報処理装置1の制御部11がユーザに提示した話題が格納される。会話要約フィールドには、情報処理装置1の制御部11がユーザに話題を提示後、要約モデルM1によって要約されたユーザが発言した会話の要約(会話要約)が格納される。関連話題フィールドには、会話シナリオ生成モデルM2によって決定された、次にユーザに提示する話題(関連話題)が格納される。情報処理装置1の制御部11は、ユーザに話題を提示する毎に、日時、話題、会話要約、及び関連話題が対応付けられたレコードを会話テーブル121に登録する。情報処理装置1の制御部11は、関連話題を決定すると、関連話題をユーザに提示するので、話題フィールドに格納される話題は、一つ前に登録されたレコードの関連話題と同一となる。
【0028】
図5は、情報処理装置の会話処理を説明するフローチャートである。情報処理装置1の制御部11は、例えば、ユーザが車内装置2に対し、会話の開始を求める旨の発言を行うと、以下の処理を開始する。制御部11は、ユーザに提示する話題を決定する(S1)。制御部11は、他のユーザに頻繁に提示している話題を、ユーザに提示する話題に決定する。なお、制御部11は、ランダムに話題を決定してもよく、また、ユーザによる話題の選択を受け付けてもよい。なお、車内装置2は撮影部を備え、情報処理装置1の制御部11は、車内装置2の撮影部が撮影したユーザの表情などの様子に基づき、話題を決定してもよい。
【0029】
情報処理装置1の制御部11は、決定した話題をユーザに提示する(S2)。制御部11は、決定した話題を車内装置2に送信し、車内装置2のスピーカ244に該話題を発音させる。なお、制御部11は、該話題を含んだ会話文を生成し、生成した会話文を車内装置2のスピーカ244に発音させてもよい。また、制御部11は、該話題を車内装置2の表示部241に表示させてもよい。また、情報処理装置1の記憶部12は、話題に関する派生した情報を記憶しており、制御部11は、話題をユーザに提示する際に、該情報を含んだ会話文を生成してユーザに提示してもよい。また、制御部11は、ユーザからの問いかけを受け付け、返答を行ってもよい。
【0030】
情報処理装置1の制御部11は、車内装置2から、音声データを取得する(S3)。制御部11は取得した音声データを音声認識部11aによって文字データ(テキストデータ)に変換する(S4)。制御部11は、該文字データを要約モデルM1に入力し(S5)、会話要約を出力する(S6)。制御部11は出力された会話要約を会話シナリオ生成モデルM2に入力し(S7)、次にユーザに提示する関連話題を決定する(S8)。制御部11は、ユーザに話題を提示した日時、提示した話題、会話要約、及び関連話題を会話テーブル121に登録する(S9)。制御部11は、処理をS2に戻し、S8において決定した関連話題をユーザに提示する。
【0031】
図6は、会話内容説明受付画面を示す説明図である。
図6Aは要約選択画面である。
図6Bは、説明入力画面である。要約選択画面は、例えば、ユーザが、会話内容の意図を説明する旨の発言を行うと、車内装置2の表示部241に表示される。要約選択画面には、情報処理装置1の制御部11がユーザに提示した話題と、該話題に対してユーザが発言した会話の要約(会話要約)とが表示される。ユーザは、発言した意図の説明を入力したい会話要約を選択することが可能である。ユーザは、表示されている会話要約をタップすることによって選択可能であり、会話要約が選択されると、説明入力画面が表示される。説明入力画面においては、選択された会話内容の会話要約についての、ユーザによる意図の説明が入力される。車内装置2は、入力部242においてユーザによる入力を受け付けるが、マイク243において、音声による、意図の説明の入力を受け付けてもよい。なお、会話内容説明受付画面は、ユーザが所有するスマートホンまたはタブレット型端末等に表示されてもよい。
【0032】
図6Aに示す例においては、提示話題「一月の勝者」に対する会話要約「受験は頭脳スポーツ・強いやつが勝つんじゃない。勝ったやつが強いんだ」がタップされ、情報処理装置1の制御部11は、会話要約の選択を受け付ける。
図6Bにおいては、選択された会話要約に対する、「もう少し自分の大学受験の話をしたかった・その後、サッカーではなく、競馬の話にしたかった」という、ユーザの意図の説明が入力される。
【0033】
図7は、会話内容意図テーブルの一例を示す説明図である。会話内容意図テーブル122の管理項目(フィールド)は、例えば、日時フィールドと、提示話題フィールドと、会話要約フィールドと、意図フィールドとを含む。日時フィールドには、ユーザによる意図の説明が入力された日時が格納される、提示話題フィールドには、ユーザによる意図の説明が入力された会話要約に対する提示話題が格納される。会話要約フィールドには、ユーザによる意図の説明が入力された会話要約が格納される。意図フィールドには、ユーザによって入力された、会話要約についての意図が格納される。なお、提示話題フィールド及び会話要約フィールドには、会話テーブル121の提示話題フィールド及び会話要約フィールドから参照された内容が格納される。なお、会話内容意図テーブル122は、移動体(自動車)の目的地を格納する目的地フィールド、移動体の経由地を格納する経由地フィールド、ユーザの移動体による移動目的を格納する移動目的フィールド、車内装置2が話題をユーザに提示した時の天気を格納する天気フィールド、車内装置2が話題をユーザに提示した時の季節を格納する季節フィールド、車内装置2が話題をユーザに提示した時の曜日を格納する曜日フィールド、車内装置2が話題をユーザに提示した時に、車内に出力されていたラジオの放送内容またはカーステレオの内容を格納する車内音声フィールド等を含んでもよい。
【0034】
図8は、単語抽出モデルを示す説明図である。単語抽出モデルM3は、ユーザによる意図の説明が入力された場合、入力された意図の説明に含まれる単語の内、ユーザが会話を希望する話題と考えられる最も重要な単語を抽出する機械学習モデルであり、例えば、GPT2である。なお、単語抽出モデルM3は、GPT、GPT3、Transformer、BERT、BART、またはT5などでもよい。訓練データについては、例えば、日本語話し言葉コーパスが用いられる。
図8においては、ユーザが入力した、「もう少し自分の大学受験のときの話をしたかった・その後、サッカーの話ではなく、競馬の話にしてほしかった」という意図の説明が入力されると、最も重要な単語として、「競馬」が抽出される。なお、単語抽出モデルM3は、複数の単語を抽出してもよい。また、制御部11は、記憶部12に予め記憶された単語が入力された意図の説明に含まれる場合、該単語を最も重要な単語として抽出してもよい。
【0035】
図9は、会話シナリオ生成モデルの再学習に関する説明図である。
図9の例において、[SEP]は文章の区切りを示すセパレートトークン、[EOT]は出力の終了(End Of Text)を示す終了トークンを示す。情報処理装置1の制御部11は、単語抽出モデルM3によって抽出された単語と、ユーザによる意図の説明が入力された会話要約を対応付けて、会話シナリオ生成モデルM2を再学習させるための訓練データを作成する。制御部11は、該訓練データによって会話シナリオ生成モデルM2を再学習させる。なお、単語抽出モデルM3によって複数の単語が抽出されている場合、制御部11は、それぞれの単語と会話要約を対応付けて複数の訓練データを作成してもよい。より具体的には、
図9に示すように、制御部11は、会話要約が複数の文章によって構成されている場合、各文章を、間にセパレートトークンを挿入して結合する。制御部11は、会話要約と、「次の話題は?」という関連話題を決定するための疑問文とを、間にセパレートトークンを挿入して結合する。制御部11は、さらに、セパレートトークンを挿入し、単語抽出モデルM3によって抽出された、最も重要な単語(「競馬」)を結合して、訓練データを作成する。制御部11は、会話シナリオ生成モデルM2に該訓練データが入力された場合、最後の二つのトークンに「競馬」「[EOT]」が出力されるように、再学習させる。なお、制御部11は、ユーザによる意図の説明が入力された会話要約に対応する提示話題、ユーザによる意図の説明が入力された会話要約に対応する提示話題よりも前にユーザに提示された提示話題、または該提示話題に対応する会話要約等を訓練データに含めてもよい。
【0036】
図10は、情報処理装置の会話システム変更処理を説明するフローチャートである。情報処理装置1の制御部11は、例えば、ユーザが車内装置2の入力部242に、会話システムの変更を指示する旨の入力を行うと、以下の処理を開始する。情報処理装置1の制御部11は、車内装置2の表示部241に要約選択画面を表示する(S11)。制御部11は、車内装置2の入力部242が入力を受け付けた、ユーザによる会話要約の選択を取得する(S12)。制御部11は、車内装置2の表示部241に説明入力画面を表示させる(S13)。制御部11は、車内装置2の入力部242が入力を受け付けた、ユーザから発言した意図の説明を取得する(S14)。制御部11は、取得した意図の説明を会話内容意図テーブル122に登録する(S15)。制御部11は、会話内容意図テーブル122に登録された意図の説明を単語抽出モデルM3に入力し(S16)、単語を抽出する(S17)。なお、制御部11は、一定数以上の意図の説明が会話内容意図テーブル122に登録された場合に、意図の説明を単語抽出モデルM3に入力してもよい。制御部11は、意図の説明が入力された会話要約と、S17において抽出された単語を対応付けて訓練データを作成する(S18)。制御部11は、作成された訓練データに基づいて会話シナリオ生成モデルM2を再学習させて(S19)処理を終了する。
【0037】
以上の処理によれば、会話シナリオ生成モデルM2の再学習後、ユーザが再び会話を行う場合、情報処理装置1の制御部11は、ユーザが望む会話の話題を出力することが可能である。
【0038】
(実施形態2)
以下、実施形態2に係る本発明について説明する。実施形態2に係る構成の内、実施形態1と同様な構成については同じ符号を付し、その詳細な説明を省略する。実施形態2に係る情報処理装置1の制御部11は、車内装置2の表示部241においてユーザによる話題の選択を受け付け、選択された話題の変更と、変更後の話題の狙いを受け付ける。
【0039】
図11は、実施形態2に係る情報処理装置等の構成例を示すブロック図である。実施形態2に係る記憶部12は、話題変更テーブル123を記憶している。話題変更テーブル123の詳細については後述する。
【0040】
図12は、話題変更受付画面を示す説明図である。
図12Aは話題選択画面である。
図12Bは、変更話題入力画面である。話題選択画面は、例えば、ユーザが、話題の変更を希望する旨の発言を行うと、車内装置2の表示部241に表示される。話題選択画面には、情報処理装置1の制御部11がユーザに提示した話題と、該話題に対してユーザが発言した会話の要約(会話要約)とが表示される。ユーザは、変更したい話題を選択することが可能である。ユーザは、表示されている話題をタップすることによって選択可能であり、話題が選択されると、変更話題入力画面が表示される。変更話題入力画面においては、選択された話題から、ユーザが変更を希望する話題と、変更後の話題の狙いとの入力が入力される。車内装置2は、入力部242においてユーザによる入力を受け付けるが、マイク243において、音声による、意図の説明の入力を受け付けてもよい。なお、話題変更受付画面は、ユーザが所有するスマートホンまたはタブレット型端末等に表示されてもよい。
【0041】
図12Aに示す例においては、提示話題「サッカーW杯予選」がタップされ、情報処理装置1の制御部11は、変更したい話題の選択を受け付ける。
図12Bにおいては、「競馬」が、変更後話題として入力され、「1998年有馬記念のウィークスペシャルとワンダーグラスの鼻差4cmについて語りたい」という狙いが入力される。
【0042】
図13は、話題変更テーブルの一例を示す説明図である。話題変更テーブル123の管理項目は、例えば、日時フィールドと、変更話題フィールドと、会話要約フィールドと、変更後話題フィールドと、狙いフィールドとを含む。日時フィールドには、ユーザによる話題の変更が入力された日時が格納される、変更話題フィールドには、ユーザによって選択された変更される話題が格納される。会話要約フィールドには、ユーザによって変更された話題が、関連話題として対応する会話要約が格納される。変更後話題フィールドには、ユーザによって入力された、変更後の話題が格納される。狙いフィールドには、ユーザによって入力された、変更後の話題の狙いが格納される。
【0043】
情報処理装置1の制御部11は、話題変更テーブル123に登録された内容に基づき、ユーザによって変更された話題が関連話題として対応する会話要約と変更後の話題とを対応させて、会話シナリオ生成モデルM2を再学習させるための訓練データを作成する。制御部11は、該訓練データによって会話シナリオ生成モデルM2を再学習させる。会話シナリオ生成モデルM2を再学習させる方法は、実施形態1と同様である。なお、制御部11は、入力を受け付けた変更後の話題の狙いを単語抽出モデルM3に入力し、出力された単語と会話要約とを対応させて訓練データを作成してもよい。また、制御部11は、会話要約と変更後の話題とを対応させた訓練データ、及び単語抽出モデルM3によって出力された単語と会話要約とを対応させた訓練データを両方とも作成してもよい。例えば、12Bに示す例においては、変更後の話題の狙いが単語抽出モデルM3に入力され、「有馬記念」及び「鼻差」という単語が出力される。制御部11は、会話要約「受験は頭脳スポーツ・強いやつが勝つんじゃない、勝ったやつが強いんだ」に単語「有馬記念」を対応させた訓練データ、及び会話要約「受験は頭脳スポーツ・強いやつが勝つんじゃない、勝ったやつが強いんだ」に単語「鼻差」を対応させた訓練データを作成する。
【0044】
図14は、実施形態2に係る情報処理装置の会話システム変更処理を説明するフローチャートである。情報処理装置1の制御部11は、例えば、ユーザが車内装置2の入力部242に、会話システムの変更を指示する旨の入力を行うと、以下の処理を開始する。情報処理装置1の制御部11は、車内装置2の表示部241に話題選択画面を表示する(S21)。制御部11は、車内装置2の入力部242が入力を受け付けた、変更する話題の選択を取得する(S22)。制御部11は、車内装置2の表示部241に変更話題入力画面を表示させる(S23)。制御部11は、車内装置2の入力部242が入力を受け付けた、話題の変更及び変更後の話題の狙いを取得する(S24)。制御部11は、取得した内容を話題変更テーブル123に登録する(S25)。制御部11は、制御部11は変更された話題が関連話題として対応する会話要約と、変更後の話題を対応付けて訓練データを作成する(S26)。制御部11は、作成された訓練データに基づいて会話シナリオ生成モデルM2を再学習させて(S27)処理を終了する。
【0045】
以上の処理によれば、会話シナリオ生成モデルM2の再学習後、ユーザが再び会話を行う場合、情報処理装置1の制御部11は、ユーザが望む会話の話題を出力することが可能である。
【0046】
(実施形態3)
以下、実施形態3に係る本発明について説明する。実施形態3に係る構成の内、実施形態1または実施形態2と同様な構成については同じ符号を付し、その詳細な説明を省略する。実施形態3に係る情報処理装置1の記憶部12は、ユーザに提示された話題に対して、次にユーザに提示する関連話題を記憶しており、制御部11は、記憶部12が記憶している情報に基づいて、次にユーザに提示する話題を決定する。
【0047】
図15は、実施形態3に係る情報処理装置等の構成例を示すブロック図である。実施形態2に係る記憶部12は、要約評価モデルM4と、会話シナリオテーブル124とを記憶している。会話シナリオテーブル124の詳細については後述する。
【0048】
図16は、要約評価モデル等を示す説明図である。要約評価モデルM4は、要約モデルM1が抽出した要約が入力された場合、入力された要約に対する評価を出力する学習済みモデルであり、例えばBERTによって構成される。なお、要約評価モデルM4は、RNN(Recurrent Neural Network)、LSTM(Long Short-Term Memory)またはTransformer等でもよい。訓練データについては、例えば、日本語話し言葉コーパスが用いられる。要約評価モデルM4は、例えば、入力された要約が肯定的か否定的かを、最高値が10、最低値が1の十段階の数値(評価値)で評価し、肯定的であるほど高い数値を出力する。情報処理装置1の制御部11は、要約評価モデルM4が出力した値が6以上である場合、提示した話題に対するユーザの会話が肯定的であると判定し、5以下である場合、否定的であると判定する。
【0049】
図16の例においては、提示話題「マンガ」に対するユーザの会話から、要約モデルM1が要約した会話要約「漫画を読むと勉強が疎かになるという俗説があった・最近、受験の漫画が流行っているらしい」が要約評価モデルM4に入力される。要約評価モデルM4は、会話要約が入力されると、評価値を出力する。本例において、評価値は6である。情報処理装置1の制御部11は、要約評価モデルM4の出力した評価値が5以上であるので、提示話題「マンガ」に対するユーザの会話は肯定的であると判定する。なお、要約評価モデルM4は、評価値として、例えば0または1の二値のみを出力してもよい。この場合、制御部11は、評価値が0である場合、提示した話題に対するユーザの会話が否定的であると判定し、評価値が1である場合、肯定的であると判定する。また、制御部11は、肯定的あるいは否定的の2分類に判定するものに限られず、3以上の分類に判別を行ってもよい。この場合、制御部11は、例えば、「喜び」「怒り」または「興味なし」などのユーザの感情の分類を判別してもよい。なお、車内装置2は撮影部または温度センサなどを備え、情報処理装置1の制御部11は、車内装置2の撮影部が撮影したユーザの表情または挙動、または温度センサが測定したユーザの体温の変化等に基づいて、ユーザの評価値を出力してもよい。
【0050】
図17は、会話シナリオテーブルの一例を示す説明図である。会話シナリオテーブル124には、提示話題に対して、ユーザの会話が肯定的である場合、または否定的である場合に次にユーザに提示する関連話題が対応付けられて格納される。即ち、会話シナリオテーブル124には、ユーザに提供する話題の順序を示す会話シナリオが記憶されている。会話シナリオテーブル124の管理項目は、例えば、提示話題フィールドと、肯定的関連話題フィールドと、否定的関連話題フィールドとを含む。提示話題フィールドには、制御部11がユーザに提示した話題が格納される。肯定的関連話題フィールドには、提示話題に対するユーザの会話が肯定的であった場合に、次にユーザに提供する話題が格納される。否定的関連話題フィールドには、提示話題に対するユーザの会話が否定的であった場合に、次にユーザに提供する話題が格納される。
【0051】
図18は、実施形態3に係る情報処理装置の会話処理を説明するフローチャートである。S31~S36に係る処理は、
図5におけるS1~S6に係る処理と同様である。情報処理装置1の制御部11は、要約モデルM1が出力した会話要約を要約評価モデルM4に入力し(S37)、評価値を出力する(S38)。制御部11は、S38において出力された評価値に基づいて、提示話題に対するユーザの会話が肯定的であるか否かを判定する(S39)。制御部11は、判定結果が肯定的である場合(S39:YES)、会話シナリオテーブル124の肯定的関連話題フィールドを参照して次にユーザに提示する関連話題を決定する(S40)。制御部11は、判定結果が否定的である場合(S39:NO)、会話シナリオテーブル124の否定的話題フィールドを参照して次にユーザに提示する関連話題を決定する(S41)。制御部11は、S40またはS41において決定した関連話題を会話テーブル121に登録する(S42)。制御部11は処理をS2に戻し、S40またはS41において決定した関連話題をユーザに提示する。
【0052】
図19は、実施形態3に係る情報処理装置の会話システム変更処理を説明するフローチャートである。
図20は、会話シナリオテーブルの変更を示す説明図である。S51~S55に係る処理は、
図14におけるS21~S25に係る処理と同様である。情報処理装置1の制御部11は、会話シナリオテーブル124の肯定的関連話題フィールドまたは否定的関連話題フィールドに格納されている話題のうち、S22において変更された話題を、S24において取得した変更後の話題に更新する(S56)。
図12に示す例と同様に提示話題「サッカーW杯予選」が「競馬」に変更された場合、
図20に示すように、肯定的関連話題フィールドに格納されている「サッカーW杯予選」(破線で囲われるフィールド)が「競馬」に変更される。なお、情報処理装置1の制御部11は、実施形態1と同様にユーザの会話の意図の説明を取得し、肯定的関連話題フィールドまたは否定的関連話題フィールドに格納されている話題を、該意図の説明から抽出された単語に更新してもよい。
【0053】
以上の処理によれば、会話シナリオテーブル124の変更後、ユーザが再び会話を行う場合、情報処理装置1の制御部11は、ユーザが望む会話の話題を出力することが可能である。
【0054】
今回開示した実施の形態は、全ての点で例示であって、制限的なものではないと考えられるべきである。各実施例にて記載されている技術的特徴は互いに組み合わせることができ、本発明の範囲は、特許請求の範囲内での全ての変更及び特許請求の範囲と均等の範囲が含まれることが意図される。また、特許請求の範囲に記載した独立請求項及び従属請求項は、引用形式に関わらず全てのあらゆる組み合わせにおいて、相互に組み合わせることが可能である。さらに、特許請求の範囲には他の2以上のクレームを引用するクレームを記載する形式(マルチクレーム形式)を用いているが、これに限るものではない。マルチクレームを少なくとも一つ引用するマルチクレーム(マルチマルチクレーム)を記載する形式を用いて記載しても良い。
【符号の説明】
【0055】
1 情報処理装置
11 制御部
11a 音声認識部
12 記憶部
121 会話テーブル
122 会話内容意図テーブル
123 話題変更テーブル
124 会話シナリオテーブル
12a 記録媒体
13 通信部
2 車内装置
21 制御部
22 記憶部
23 通信部
24 入出力I/F
241 表示部
242 入力部
243 マイク
244 スピーカ
M1 要約モデル
M2 会話シナリオ生成モデル
M3 単語抽出モデル
M4 要約評価モデル
N 外部ネットワーク
P プログラム
S 会話システム