特許 6704976 情報処理装置、情報処理方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6704976

(24)【登録日】2020年5月15日

(45)【発行日】2020年6月3日

(54)【発明の名称】情報処理装置、情報処理方法、およびプログラム

(51)【国際特許分類】

   G06F 16/90 20190101AFI20200525BHJP

   G06N 99/00 20190101ALI20200525BHJP

【ＦＩ】

   G06F16/90 100

   G06N99/00

【請求項の数】6

【全頁数】16

(21)【出願番号】特願2018-219727(P2018-219727)

(22)【出願日】2018年11月22日

(62)【分割の表示】特願2017-171926(P2017-171926)の分割

【原出願日】2017年9月7日

(65)【公開番号】特開2019-50037(P2019-50037A)

(43)【公開日】2019年3月28日

【審査請求日】2018年11月22日

(73)【特許権者】

【識別番号】319013263

【氏名又は名称】ヤフー株式会社

(74)【代理人】

【識別番号】100149548

【弁理士】

【氏名又は名称】松沼 泰史

(74)【代理人】

【識別番号】100154852

【弁理士】

【氏名又は名称】酒井 太一

(74)【代理人】

【識別番号】100181124

【弁理士】

【氏名又は名称】沖田 壮男

(74)【代理人】

【識別番号】100194087

【弁理士】

【氏名又は名称】渡辺 伸一

(72)【発明者】

【氏名】橋本 力

(72)【発明者】

【氏名】颯々野 学

【審査官】 吉田 誠

(56)【参考文献】

【文献】 特開２０１４−２２４８５７（ＪＰ，Ａ）

【文献】 特開２０１５−００４７５４（ＪＰ，Ａ）

【文献】 特開２０１１−２５３０５３（ＪＰ，Ａ）

【文献】 金井 貴浩，Ｒａｎｄｏｍ Ｆｏｒｅｓｔを用いた対話破綻検知器の作成，第７８回 言語・音声理解と対話処理研究会資料 （ＳＩＧ−ＳＬＵＤ−Ｂ５０５），日本，一般社団法人人工知能学会，２０１６年１０月 １日，９１−９３ページ

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ １６／００−１６／９５８

Ｇ０６Ｆ １７／２０−１７／２８

Ｇ０６Ｎ ３／００− ３／１２

７／０８−９９／００

Ｇ１０Ｌ １５／００−１７／２６

(57)【特許請求の範囲】

【請求項1】

第１の発話主体により発せられた発話に対する第２の発話主体の所定の反応を示していると推定されるフィードバック発話を取得する取得部と、
前記取得部により取得された前記フィードバック発話の直前に、所定の種別の会話が現れると推定される指標を導出する前段分類器を生成する前段生成部と、
を備える情報処理装置。

【請求項2】

前記前段生成部により生成された前段分類器を更に備える、
請求項１に記載の情報処理装置。

【請求項3】

前記取得部は、前記フィードバック発話と、第１の種別が付与された前記フィードバック発話の直前の会話と、第２の種別が付与された前記フィードバック発話の直前の会話と、を取得し、
前記前段生成部は、前記取得部により取得された情報に基づいて、前段分類器を生成する、
請求項２に記載の情報処理装置。

【請求項4】

前記前段生成部は、前記取得部により取得されたフィードバック発話および前記直前の会話に付与された種別を示すラベルを学習データとして、機械学習を行って前記前段分類器を生成する、
請求項３に記載の情報処理装置。

【請求項5】

コンピュータが、
第１の発話主体により発せられた発話に対する第２の発話主体の所定の反応を示していると推定されるフィードバック発話を取得し、
前記取得された前記フィードバック発話の直前に、所定の種別の会話が現れると推定される指標を導出する前段分類器を生成する、
情報処理方法。

【請求項6】

コンピュータに、
第１の発話主体により発せられた発話に対する第２の発話主体の所定の反応を示していると推定されるフィードバック発話を取得させ、
前記取得された前記フィードバック発話の直前に、所定の種別の会話が現れると推定される指標を導出する前段分類器を生成させる、
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、情報処理方法、およびプログラムに関する。

【背景技術】

【0002】

従来、ユーザの会話内容に相手の言葉を聞き返す、あるいは確認する等の言葉を予め登録しておき、会話内容にこれら登録された言葉が含まれているときは、会話が有効に行われていないと判断する装置が開示されている（特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００７−４３３５６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上記の装置において、予め登録された言葉に会話の有効性の判断が依存しているため、それ以外の言葉に対する判断をすることができない場合があった。

【0005】

本発明は、このような事情を考慮してなされたものであり、未知の会話が所定の種別であるかを判定する手がかりを自動的に取得することができる情報処理装置、情報処理方法、およびプログラムを提供することを目的の一つとする。

【課題を解決するための手段】

【0006】

本発明の一態様は、第１の発話主体により発せられた発話に対する第２の発話主体の所定の反応を示していると推定されるフィードバック発話を取得する取得部と、前記取得部により取得された前記フィードバック発話の直前に、所定の種別の会話が現れると推定される指標を導出する前段分類器を生成する前段生成部とを備える情報処理装置である。

【発明の効果】

【0007】

本発明の一態様によれば、未知の会話が所定の種別であるかを判定する手がかりを自動で取得することができる。

【図面の簡単な説明】

【0008】

【図1】情報処理システム１の構成の一部を示す図である。

【図2】フィードバック発話に付与されるラベルの内容の一例を示す図である。

【図3】フィードバック発話の直前の会話に付与されるラベルの内容の一例を示す図である。

【図4】発話分類器２４に入力されるフィードバック発話と、発話分類器２４によって出力される発話スコアの一例を示す図である。

【図5】情報処理システム１の他の構成を示す図である。

【図6】第１の種別側または第２の種別側に偏しているフィードバック発話の一例を示す図である。

【図7】会話学習データ記憶装置５２に記憶された会話の一例を示す図である。

【図8】学習の処理を概念的に示す図である。

【図9】会話分類器６６に入力される会話と、会話分類器６６により出力される情報の一例を示す図である。

【図10】情報処理システム１により発話分類器２４が生成される処理の流れを示すフローチャートである。

【図11】情報処理システム１により会話分類器６６が生成される処理の流れを示すフローチャートである。

【図12】比較例１および比較例２の機能構成を示す図である。

【図13】情報処理システム１、比較例１、および比較例２の処理結果の一例を示す図である。

【図14】変形例１の情報処理システム１Ａの機能構成の一例を示す図である。

【図15】変形例２の情報処理システム１Ｂの機能構成の一例を示す図である。

【図16】変形例３の情報処理システム１Ｃの機能構成の一例を示す図である。

【図17】情報処理システム１、変形例１、変形例２、および変形例３の処理結果の一例を示す図である。

【発明を実施するための形態】

【0009】

以下、図面を参照し、本発明の情報処理装置、情報処理方法、およびプログラムの実施形態について説明する。以下の説明では、自動応答装置または利用者が発した言葉を「発話」、発話の集合を「会話」、第１の発話主体により発せられた発話に対する第２の発話主体の所定の反応を示していると推定される発話を「フィードバック発話」と称する。第１の発話主体の一例として自動応答装置があり、第２の発話主体の一例として利用者（人）がある。

【0010】

情報処理装置は、一以上のプロセッサにより実現される。情報処理装置は、例えば利用者と自動応答装置との間で行われる会話に対して、会話の種別を示す指標を導出する。会話の種別とは、例えば、会話が不自然であるか（その逆に会話が自然であるか）である。会話が不自然であるとは、例えば適切な自動応答がなされなかった結果、会話が成立していないことである。なお、会話の種別は、会話が不自然であるかに限らず、任意に定められてもよい。

【0011】

また、情報処理装置は、その処理の過程において、発話分類器、および会話分類器を生成する。発話分類器は、フィードバック発話に対して与えられる指標であって、フィードバック発話の直前に、不自然な会話または自然な会話が現れると推定される度合を示す指標（後述する発話スコア）を導出するものである。なお、以下に説明する実施形態では、発話スコアは、フィードバック発話の直前に、不自然な会話が現れると推定される度合を示す指標である例について説明する。また、以下、「直前に現れる会話」（あるいは「直前の会話」）とは、利用者の発話と、それに対する自動応答装置の発話との組み合わせであるものとする。会話分類器は、会話に対して与えられる指標であって、会話が不自然である度合を示す指標（後述する会話スコア）を導出するものである。

【0012】

［構成］
図１は、情報処理システム１の構成の一部を示す図である。情報処理システム１は、例えば、会話ログ記憶装置１０と、フィードバック発話記憶装置１２と、発話学習データ記憶装置１４と、取得部２０と、発話分類器生成部（前段生成部）２２と、発話分類器２４とを備える。なお、上述した機能構成は装置として構成されてもよい。

【0013】

取得部２０、発話分類器生成部２２、および発話分類器２４は、例えば、ＣＰＵ（Central Processing Unit）などのハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。また、これらの構成要素のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）などのハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。

【0014】

情報処理システム１に含まれる各記憶装置は、例えば、例えば、ＲＯＭ（Read Only Memory）、ＨＤＤ（Hard Disk Drive）フラッシュメモリ、ＳＤカード、ＲＡＭ（Random Access Memory）、レジスタ等によって実現される。

【0015】

会話ログ記憶装置１０には、会話のログ情報が記憶されている。この会話のログ情報は、例えば、人工知能（Artificial Intelligence; AI）により動作する自動応答装置と、利用者とによって行われた会話のテキスト情報である。テキスト情報は、音声認識によって音声による発話から変換されたものであってもよい。

【0016】

フィードバック発話記憶装置１２には、フィードバック発話が記憶されている。フィードバック発話記憶装置１２に記憶されるフィードバック発話は、会話ログ記憶装置１０から抽出されたものである。フィードバック発話は、例えば、予め設定されたフィードバック発話である。例えば、作業者が、会話ログ記憶装置１０に記憶された会話のログ情報から抽出したり、所定の装置（またはその他のシステム）が、予め設定されたフィードバック発話の文言に基づいて、会話ログ記憶装置１０に記憶された会話のログ情報から自動で抽出したりしてフィードバック発話が抽出（取得）される。

【0017】

上述したようにフィードバック発話記憶装置１２には、会話ログ記憶装置１０から取得されたフィードバック発話が記憶される。図２は、フィードバック発話の一例を示す図である。例えば、フィードバック発話は、（１）「違う違うどういうこと」、（２）「わかりましたありがとう」などのような発話を含む。フィードバック発話が直前の会話を否定するもの、又は肯定するものであるか否かのみでは、直前の会話が成立しているか否かの判定を正確に行うことができない。そこで本実施形態の情報処理システム１では、フィードバック発話のみで、その直前の会話が成立しているか否か等を示すスコア（確率）を出力する発話分類器２４を生成する。

【0018】

まず、会話ログ記憶装置１０からフィードバック発話を有する会話が取得され、図３に示すようにフィードバック発話の直前の会話に対して自然（第１の種別を表すラベル）又は不自然（第２の種別を表すラベル）のラベルが付与される。そして、フィードバック発話の直前の会話に対して付与されたラベルをフィードバック発話の教師ラベルとした学習データが生成され、発話学習データ記憶装置１４に記憶される。

【0019】

図３の例では、「ありがとう」の直前の会話が自然であるため「ありがとう」というフィードバック発話に対して、自然であるという教師ラベルが付与され、「どういう意味」の直前の会話が不自然であるため、「どういう意味」というフィードバック発話に対して不自然であるという教師ラベルが付与された学習データが生成される。

【0020】

発話分類器生成部２２は、上記学習データを学習し、発話分類器２４を生成する。また、発話分類器生成部２２は、ニューラルネットワークなどを用いたディープラーニング技術や、ＳＶＭ（Support Vector Machine）などの手法を用いた学習を行う。

【0021】

発話分類器２４は、未知または既知のフィードバック発話が与えられると、その直前に現れる会話が不自然である確率を表す発話スコアを導出する。発話分類器２４に与えられるフィードバック発話は、例えば、フィードバック発話記憶装置１２から取得部２０により取得されたフィードバック発話である。発話スコアは、フィードバック発話の直前に自動応答装置により発せられた発話が、その直前に人により発せられた発話に対して不自然であると推定される度合を示す指標である。すなわち、発話スコアが高い程、利用者と自動応答装置との間で行われたフィードバック発話の直前の会話が不自然である確率が高くなる。

【0022】

図４は、発話分類器２４に入力されるフィードバック発話と、発話分類器２４によって出力される発話スコアとの一例を示す図である。例えば、発話「違う違うどういうこと（図中、ＦＢ１）」に対して導出される発話スコアは、発話「なかなか素直でよろしい（図中、ＦＢ２）」に対して導出される発話スコアに比して高くなる。

【0023】

発話分類器２４が導出するスコアにより、自然な会話か不自然な会話かを判断する際に、会話の中身を精査することなく、フィードバック発話のみで判断することが可能になる。また、本実施形態では、付与されるラベルは、直前の会話が自然であることを示す自然ラベル、または直前の会話が不自然であることを示す不自然ラベルの２値ラベルであるが、第１の種別を示すラベル、または第２の種別を示すラベルは、直前の会話が成立しているか（または自然であるか）、不成立であるか（または不自然であるか）に限らず、任意のフィードバック発話に対して付与されてもよい。例えば、賞賛や受諾、了解、感謝、面白さ等を示すフィードバック発話に第１の種別を示すラベルが付与されたり、失望や、伝達不良、不可解、軽蔑、退屈等を示すフィードバック発話に第２の種別を示すラベルが付与されたりしてもよい。

【0024】

発話分類器２４は、フィードバック発話に対して、その発話スコアを対応付けた対応情報を、情報処理システム１の後述するスコア付きフィードバック発話記憶装置５０に記憶させる。

【0025】

図５は、情報処理システム１の他の構成を示す図である。情報処理システム１は、図１で示した構成に加え、更に会話ログ記憶装置４０と、スコア付きフィードバック発話記憶装置５０と、会話学習データ記憶装置５２と、抽出部６２と、学習データ生成部６３と、会話分類器生成部（後段生成部）６４と、会話分類器６６とを備える。なお、これらの機能構成は、装置として構成されてもよい。また、情報処理システム１に含まれる機能構成のうち、任意の機能構成が装置として構成されてもよい。

【0026】

例えば、抽出部６２、学習データ生成部６３、会話分類器生成部６４、および会話分類器６６のうち一部または全部は、例えば、ＣＰＵなどのハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。また、これらの構成要素のうち一部または全部は、ＬＳＩやＡＳＩＣ、ＦＰＧＡ、ＧＰＵなどのハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。

【0027】

図１および図５に示す構成要素は、例えば、ソフトウェア間通信により、或いはハードウェアネットワークを介して通信する。ハードウェアネットワークは、例えば、ＷＡＮ（Wide Area Network）やＬＡＮ（Local Area Network）、インターネット、専用回線、無線基地局、プロバイダなどを含んでよい。

【0028】

会話ログ記憶装置４０には、例えば、会話のログ情報が記憶されている。この会話のログ情報は、会話ログ記憶装置１０に記憶された情報と同一であってもよいし、異なっていてもよい。

【0029】

スコア付きフィードバック発話記憶装置５０には、発話分類器２４によって発話スコアが導出されたフィードバック発話と、そのフィードバック発話に対する発話スコアとが記憶されている。

【0030】

抽出部６２は、スコア付きフィードバック発話記憶装置５０からフィードバック発話及びそれに対応するスコアを取得し、会話ログ記憶装置４０からフィードバック発話を含む会話（フィードバック発話およびその直前の会話）を取得する。会話ログ記憶装置４０から、フィードバック発話を含む会話が取得される際、スコア付きフィードバック発話記憶装置５０から抽出されたフィードバック発話が利用される。

【0031】

抽出部６２は、会話ログ記憶装置４０から抽出したフィードバック発話を含む会話を取得し、スコア付きフィードバック発話記憶装置５０から抽出されたフィードバック発話に付されたスコアに基づいて、フィードバック発話の直前の会話にスコアを付与する。

【0032】

なお、スコア付きフィードバック発話記憶装置５０に記憶されていないフィードバック発話を含む会話についてスコアを付与したい場合には、その会話のフィードバック発話を発話分類器２４に与えてスコアを取得する。

【0033】

学習データ生成部６３は、フィードバック発話の直前の会話に付与されたスコアに基づいて、種別を表すラベルをフィードバック発話の直前の会話に付与し、フィードバック発話の直前の会話とその種別を教師ラベルとした学習データを生成し、会話学習データ記憶装置５２に学習データを記憶させる。

【0034】

例えば、第１閾値（例えば０．３）以下のスコアが付与されたフィードバック発話の直前の会話については、第１の種別のラベルが付与され、第２閾値（例えば０．７）以上のスコアが付与されたフィードバック発話の直前の会話については、第２の種別のラベルが付与される。ラベルの付与については、上述したようなスコアの閾値ではなく、スコアの高いもの順にフィードバック発話が並び替えられ、上位の所定割合（例えば２割）のフィードバック発話の直前の会話に第２の種別のラベルが付与され、それ以外の直前の会話に第１の種別のラベルが付与されるようにしてもよい。

【0035】

図６は、スコアが付与されたフィードバック発話の一例を示す図である。例えば０．３以下のスコアが付与されたものについては第１の種別のラベル、０．７以上のスコアが付与されたものについては第２の種別のラベルを付与した場合、「頭いいですね」、および「なかなか素直でよろしい」が、発話スコアが第１の種別側に偏しているフィードバック発話の一例であり、「違う違うどういうこと」、および「会話になっていませんけど」が、発話スコアが第２の種別側に偏しているフィードバック発話の一例となる。

【0036】

図７は、会話ログ記憶装置４０から抽出された会話の一例を示す図である。フィードバック発話が「違う違うどういうこと」の直前の会話に対しては、フィードバック発話「違う違うどういうこと」のスコアに基づいてラベルが付与される。フィードバック発話が「頭いいですね」の直前の会話に対しては、フィードバック発話「頭いいですね」のスコアに基づいてラベルが付与される。例えば、０.３以下のスコアが付与されたフィードバック発話の直前の会話については、第１の種別のラベルが付与され、０.７以上のスコアが付与されたフィードバック発話の直前の会話については、第２の種別のラベルが付与される場合、「４２６＋１２９は」「答えは５５５です」の会話については第１の種別のラベルが付与され、「閲覧履歴を見せて」「ふふふ」の会話について第２の種別のラベルが付与された学習データが学習データ生成される。

【0037】

会話学習データ記憶装置５２には、学習データ生成部６３により生成された（フィードバック発話を含まない）フィードバック発話の直前の会話に上記の種別（例えば第１の種別または第２の種別）を示すラベルが付与された学習データが記憶される。

【0038】

会話分類器生成部６４は、抽出部６２により抽出されたフィードバック発話の直前の会話に基づいて、未知の会話の種別を示す指標である会話スコアを導出する会話分類器６６を生成する。会話分類器生成部６４は、第１の種別側に偏したフィードバック発話の直前の会話と、第２の種別側に偏したフィードバック発話の直前の会話と、これらの直前の会話に付与されたラベル（第１の種別または第２の種別）の情報とに基づいて学習を行う。学習は、例えば機械学習によって行われる。会話分類器生成部６４は、抽出部６２により抽出された直前の会話、および直前の会話に付与されているラベルの情報を教師ラベルとした機械学習に基づいて会話分類器６６を生成する。会話分類器生成部６４は、ニューラルネットワークなどを用いたディープラーニング技術や、ＳＶＭなどの手法を用いて上記の学習をしてもよい。

【0039】

図８は、学習の処理を概念的に示す図である。例えば、第２の種別側に偏したフィードバック発話が「違う違うどういうこと」である場合、「違う違うどういうこと」の直前に現れた会話ａ〜ｃが抽出される。また、第１の種別側に偏したフィードバック発話が「頭いいですね」である場合、「頭いいですね」の直前に現れた会話ｄ〜ｆが抽出される。このように、ユーザと自動応答装置による会話において、自然または不自然な会話である確率が高い会話から会話分類器６６が学習される。

【0040】

会話分類器６６は、未知または既知の会話が与えられると、その会話の種別を示す会話スコア（後段指標）を導出する。会話スコアは、自動応答装置により発せられた発話が、その直前に人により発せられた発話に対して不自然であると推定される度合を示す指標である。すなわち、会話スコアが高い程、利用者と自動応答装置との間で行われた会話が不自然である確率が高い。

【0041】

図９は、会話分類器６６に入力される（未知の）会話と、会話分類器６６により出力される情報の一例を示す図である。例えば、会話分類器６６に利用者の発話「パチンコ勝てないんだけど」、および利用者の発話に対する応答である自動応答装置の発話「募金なんかいかがでしょうか」が入力されると、会話分類器６６は、例えば、上記の会話が不自然である確率は９５パーセントであることを出力する。このように、会話分類器６６は、フィードバック発話が後続しない、未知の会話に対しても会話の自然さ、または不自然さを判断することができる。

【0042】

また、上記処理において、会話Ａとして「閲覧履歴を見せて」「ふふふ」は、不自然である確率が高いことが、学習されたものとする。例えば、未知の会話「ヒストリーを見せて」「ふふふ」が、会話分類器６６に入力された場合、会話分類器６６は、その未知の会話に対して会話Ａと同様に不自然である確率が高い会話スコアを導出する。「閲覧履歴」と「ヒストリー」は意味的に近い言葉であるためである。

【0043】

［発話分類器が生成される処理］
図１０は、情報処理システム１により発話分類器２４が生成される処理の流れを示すフローチャートである。まず、発話分類器生成部２２が、発話学習データ記憶装置１４から、学習データであるフィードバック発話およびフィード発話に付与された教師ラベルを取得する（Ｓ１００）。

【0044】

次に、発話分類器生成部２２が、Ｓ１００で取得した学習データに基づいて、フィードバック発話の直前に不自然な会話、または自然な会話が出現する確率を学習する（Ｓ１０２）。次に、発話分類器生成部２２が、Ｓ１０２の学習の結果に基づいて、発話分類器２４を生成する（Ｓ１０４）。

【0045】

次に、取得部２０は、発話スコアを付与する対象のフィードバック発話を取得し、取得したフィードバック発話を発話分類器２４に入力する。発話分類器２４は、入力されたフィードバック発話に発話スコアを付与し、フィードバック発話の発話スコアと、そのフィードバック発話とを対応付けた対応情報を、情報処理システム１のスコア付きフィードバック発話記憶装置５０に記憶させる（Ｓ１０６）。これにより、本フローチャートの処理は終了する。

【0046】

上述した処理により、フィードバック発話に対して、直前の会話が不自然である度合を示す発話スコアを導出する発話分類器２４が生成され、生成された発話分類器２４によって所定のフィードバック発話に対してスコアが付与される。

【0047】

［会話分類器が生成される処理］
図１１は、情報処理システム１により会話分類器６６が生成される処理の流れを示すフローチャートである。まず、抽出部６２が、スコア付きフィードバック発話記憶装置５０に記憶された対応情報を取得する（Ｓ２００）。次に、抽出部６２が、Ｓ２００で取得された対応情報から、発話スコアが付与されたフィードバック発話を自動的に抽出する（Ｓ２０２）。

【0048】

次に、抽出部６２は、Ｓ２０２で抽出した各フィードバック発話を含む会話（フィードバック発話及びそのフィードバック発話の直前の会話）を、会話ログ記憶装置４０に記憶されたログ情報から抽出し、スコア付きフィードバック発話記憶装置５０から抽出したフィードバック発話に付与されたスコアに基づいて、抽出したフィードバック発話の直前の会話にスコアを付与する（Ｓ２０４）。次に、学習データ生成部６３が、ステップＳ２０４で付与されたスコアに基づいて、種別を表すラベルをフィードバック発話の直前の会話に付与し、フィードバック発話の直前の会話とその種別を教師ラベルとした情報とを含む学習データを生成し、会話学習データ記憶装置５２に学習データを記憶させる（Ｓ２０６）。

【0049】

次に、会話分類器生成部６４が、Ｓ２０６で生成され会話学習データ記憶装置５２に記憶された学習データに基づいて学習を行う（Ｓ２０８）。次に、会話分類器生成部６４が、Ｓ２０８の学習の結果に基づいて、会話分類器６６を生成する（Ｓ２１０）。これにより、本フローチャートの処理は終了する。

【0050】

上述した処理により、会話の不自然さを示す会話スコアを導出する会話分類器６６がされる。

【0051】

なお、上記例では、発話分類器２４が生成される処理と会話分類器６６が生成される処理とを別々の処理として説明したが、これらの処理は一連の処理とされてもよい。

【0052】

［まとめ］
第１の種別を示すフィードバック発話であっても、直前の会話は不自然であったり、第２の種別を示すフィードバック発話であっても、直前の会話は自然であったりする場合がある。自動応答装置と利用者との会話が自然または不自然であるかは、フィードバック発話の種別が必ずしも示しているわけでなく、別の要因が関係する場合がある。例えば、自動応答装置によって親切な言葉が発話された場合、利用者が第１の種別を示すフィードバック発話を行うことがある。また、例えば、自動応答装置よって利用者を怒らせる発話が行われた場合、利用者は第２の種別を示すフィードバック発話を行うことがある。このため、単純に第１の種別を示すフィードバック発話の直前の会話は自然であり、第２の種別を示すフィードバック発話の直前の会話は不自然であるという判断は適切ではない。

【0053】

また、会話において、第１の種別または第２の種別を示すフィードバック発話は頻繁に現れないため、ラベルが付与された会話に対して機械学習の技術を適用しない場合、フィードバック発話が後続しない会話の自然さ、または不自然さを、幅広い範囲で判断することが困難である場合があった。

【0054】

これに対して、本実施形態の情報処理システム１は、会話のログ情報から抽出された、スコア付きのフィードバック発話の直前の会話に対して機械学習を行って、会話分類器６６を生成するため、第１の種別を示すフィードバック発話の直前の会話を自然な会話として、第２の種別を示すフィードバック発話の直前の会話を不自然な会話として単純に認識する手法に比べて、会話の自然さ、または不自然さを、幅広い範囲で判断することができる。このため、この会話分類器６６は、判断対象となる会話のカバー率を向上させることができ、未知の会話に対しても会話の自然さ、または不自然さを判断することができる。

【0055】

また、本実施形態の情報処理システム１は、発話スコアが第１の種別側または第２の種別側に偏したフィードバック発話の直前の会話に対して機械学習を行って、会話分類器６６を生成する。このため、会話分類器６６は、より精度よく会話が自然または不自然な会話であるかを判断することができる。

【0056】

また、本実施形態の情報処理システム１は、タスクやドメインに適した会話分類器６６を容易に生成することができる。例えば、比較例のシステムにおいて、タスクやドメインに適した会話分類器６６を生成する場合、そのタスクやドメインにおいて出現した会話のログ情報を収集し、収集した会話に対してラベルが付与する。そして、比較例のシステムは、ラベルが付与された会話に対して機械学習を行って、会話分類器６６を生成する。この場合、人手で、タスクやドメインごとにその都度、会話分類器６６を作成しなければならず、コストが高くなる。

【0057】

これに対して、本実施形態の情報処理システム１は、ある会話のログ情報に基づいて、発話分類器２４を生成すると、色々なタスクやドメインに対して、その発話分類器２４を適用することにより、容易に会話分類器６６を生成することができる。例えば、情報処理システム１は、対象のタスクやドメインにおいて出現した会話のログ情報から、発話スコアが付与されたフィードバック発話の直前の会話を抽出し、抽出した会話および発話スコアに対して機械学習を行って会話分類器６６を生成することで、対象のタスクやドメインに適合した会話分類器６６を生成することができる。このように、情報処理システム１は、対象とするタスクやドメインにおいて出現した会話に対してラベルが付与されていなくても、発話分類器２４を適用することで、会話分類器６６を生成することができる。すなわち本実施形態の手法では、スコアつきフィードバック発話のデータベースを一旦作ってしまえば、新しいタスクやドメインに取り組むことになっても、そのタスクやドメインの対話ログと、スコア付きフィードバック発話記憶装置５０から自動で、手間ひまかけず、つまり低コストで会話分類器６６を学習できる。

【0058】

なお、上述した実施形態では、会話分類器６６が、会話の不自然さを示す指標を導出するものとして説明したが、「不自然さ」を別の特性に置換しても構わない。例えば、フィードバック発話の直前の会話が所定の種別である度合を示す指標が導出されてもよい。例えば、フィードバック発話の直前の会話が、利用者にとって有益である度合を示す指標や、利用者の気分を向上させる会話である度合を示す指標等が導出されてもよい。これらの場合、フィードバック発話に対して、第１の種別を示すラベルまたは第２の種別を示すラベルに代えて、指標の種類に応じたラベルが付与され、フィードバック発話の直前の会話に対して、自然ラベルまたは不自然ラベルに代えて、指標の種類に応じたラベルが付与される。

【0059】

また、上述した実施形態では、会話分類器６６は、会話が２種類の種別のうち一方の種別（例えば第２の種別）に該当する確率を導出する例について説明したが、これに代えて会話が３種類以上の種別のうち、いずれの種別であるかを示す確率を導出してもよい。この場合、例えば、３種類以上の会話の種別を示すラベルが用意される。例えば、第１の種別および第２の種別を示すラベルに加え、中立な会話を示す第３の種別を示すラベルが用意される場合について考える。この場合、発話学習データ記憶装置１４に記憶されたフィードバック発話の直前の会話には、第１の種別〜第３の種別を示すラベルが付与される。そして、情報処理システム１は、第１の種別〜第３の種別と、フィードバック発話との関係を学習する。また、例えば、情報処理システム１は、対応情報から、発話スコアが予め設定された自然な会話、不自然な会話、および中立な会話を示す範囲に含まれるスコアを有するフィードバック発話を自動的に抽出する。そして、情報処理システム１が、抽出したフィードバック発話の直前の会話と、会話の種別を示すラベルとの関係を学習することで、会話分類器６６を生成する。

【0060】

［比較例１、２］
図１２は、比較例１および比較例２の機能構成を示す図である。図１２の上図に示す比較例１は、人手で作成したデータを使った教師あり学習に基づく手法である。比較例１では、学習部１００が発話学習データ記憶装置１４に記憶された情報を機械学習し、学習結果によって、会話分類器１０２が生成されたものである。発話学習データ記憶装置１４に記憶された情報とは、自然ラベルまたは不自然ラベルが付与されたフィードバック発話の直前の会話である。

【0061】

図１２の下図に示す比較例２は、会話に対して、第１の種別を示すフィードバック発話と第２の種別を示すフィードバック発話とのうち、どちらが多く後続するかでスコアが付与されるものである。比較例２では、発話分類器２４および会話分類器６６は用いられない。

【0062】

比較例２では、スコア導出部１１０が、フィードバック発話記憶装置１２に記憶された情報（スコアが付与されていないフィードバック発話）と、会話ログ記憶装置４０に記憶されたログ情報とに基づいて、会話に対してスコアを導出する。例えば、スコア（Ｓｃоｒｅ）は、下記の式（１）によって導出される。｜ＮＥＧ｜は、ログ情報の着目した会話に後続する第２の種別を示すフィードバック発話の数である。｜ＰＯＳ｜は、ログ情報の着目した会話に後続する第１の種別を示すフィードバック発話の数である。
Ｓｃоｒｅ＝｜ＮＥＧ｜−｜ＰＯＳ｜…（１）

【0063】

［比較例１，２との比較］
図１３は、情報処理システム１、比較例１、および比較例２の処理結果の一例を示す図である。図中の縦軸は適合率を示し、横軸は再現率を示している。適合率は、情報処理システムが不自然な会話であると判定した結果の中にどの程度正解（不自然な会話）が含まれるかを示す指標である。この場合において、会話スコアが閾値以上である場合に、不自然な会話であると判定した。正解（不自然な会話である）ラベルは、人によって付与されたものである。再現率は、正解のうち情報処理システム１が不自然な会話であると判定した度合を示す指標である。ＡＵＣ（Area Under the Curve）は、グラフの曲線より下の部分の面積である。

【0064】

図示するように、本実施形態の情報処理システム１は、比較例１と同等、または比較例１以上の性能を有する。より具体的には、比較例１の手法は、会話分類器の学習データをタスクごと、ドメインごとに人手で作成しなくてはならないという高コスト手法であるが、本実施形態の手法はタスクやドメインに依存しない低コストな手法であるにも関わらず、比較例１と同等の性能を示している。また、本実施形態の情報処理システム１は、フィードバック発話が曖昧であり、フィードバック発話が低頻度であることを考慮していない比較例２に比して、顕著な性能を有する。

【0065】

以下、情報処理システム１を変形させた、変形例１の情報処理システム１Ａ、変形例２の情報処理システム１Ｂ、および変形例３の情報処理システム１Ｃについて説明する。

【0066】

［変形例１］
変形例１は、発話学習データ記憶装置１４に記憶された、自然ラベルまたは不自然ラベルが付与された自動応答装置と利用者との会話を、更に会話分類器生成部６４に学習させた例である。図１４は、変形例１の情報処理システム１Ａの機能構成の一例を示す図である。

【0067】

［変形例２］
変形例２は、発話分類器２４を省略した例である。この場合、情報処理システム１Ｂにおいて、スコア付きフィードバック発話記憶装置５０に代えて、フィードバック発話記憶装置１２が設けられる。図１５は、変形例２の情報処理システム１Ｂの機能構成の一例を示す図である。情報処理システム１Ｂの会話分類器生成部６４は、上述した式（１）を用いて自然な会話である確率が高い会話候補と、不自然な会話である確率が高い会話候補とを導出する。

【0068】

情報処理システム１Ｂは、例えば、スコアが所定の範囲内である会話を自然な会話である確率が高い会話候補とし、スコアが所定の範囲とは異なる範囲内である会話を不自然な会話である確率が高い会話候補とする。

【0069】

［変形例３］
図１６は、変形例３の情報処理システム１Ｃの機能構成の一例を示す図である。変形例３は、学習データ生成部６３および会話学習データ記憶装置５２が省略され、情報処理システム１の会話分類器６６に代えて、スコア導出部１２０を備えたものである。抽出部６２が、スコア付きフィードバック発話記憶装置５０に記憶されたフィードバック発話のうち、スコアが第１の範囲（例えば最小値から２０や３０パーセント）および第２の範囲（例えば最大値から２０や３０パーセント内）のスコアを有するフィードバック発話を抽出する。スコア導出部１２０は、抽出部６２により抽出されたフィードバック発話を用いてスコアを導出する。具体的には、スコア導出部は、上述した式（１）を用いてスコアを導出する。

【0070】

［変形例との比較］
図１７は、情報処理システム１、変形例１、変形例２、および変形例３の処理結果の一例を示す図である。図１３と同様の説明については省略する。

【0071】

図１７に示すように、情報処理システム１、変形例１、および変形例２は、会話分類器６６を有していない変形例３に比して、性能が高い。情報処理システム１、および変形例１は、発話分類器２４を有していない変形例２に比して、性能が高い。すなわち会話分類器６６が本実施形態の情報処理システム１の性能に大きく寄与していることが実験から明らかになった。なお、変形例１は、情報処理システム１に比して性能がやや高い。

【0072】

以上説明した実施形態によれば、情報処理システム１は、会話の集合から、第１の発話主体により発せられた発話に対する第２の発話主体の所定の反応を示していると推定されるフィードバック発話の直前の会話を、フィードバック発話に付与されている発話スコアに基づいて抽出する抽出部６２と、抽出部６２により抽出された直前の会話に基づいて、未知の会話の種別を示す指標を導出する会話分類器６６を生成する会話分類器生成部６４と、を備えることにより、未知の会話が所定の種別であるかを判定する手がかりを自動的に取得することができる。

【0073】

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

【符号の説明】

【0074】

１‥情報処理システム、２０‥取得部、２２‥発話分類器生成部、２４‥発話分類器、５０‥スコア付きフィードバック発話記憶装置、６２‥抽出部、６４‥会話分類器生成部、６６‥会話分類器

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】