特開 2023-167720 対話装置、対話システム、及び、対話方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023167720

(43)【公開日】2023-11-24

(54)【発明の名称】対話装置、対話システム、及び、対話方法

(51)【国際特許分類】

   G06F 40/56 20200101AFI20231116BHJP

   G06F 40/44 20200101ALI20231116BHJP

   G06F 16/90 20190101ALI20231116BHJP

【ＦＩ】

G06F40/56

G06F40/44

G06F16/90 100

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2022079113

(22)【出願日】2022-05-12

(71)【出願人】

【識別番号】000005108

【氏名又は名称】株式会社日立製作所

(74)【代理人】

【識別番号】110001689

【氏名又は名称】青稜弁理士法人

(72)【発明者】

【氏名】内田 尚和

(72)【発明者】

【氏名】本間 健

(72)【発明者】

【氏名】岩山 真

【テーマコード（参考）】

5B091

5B175

【Ｆターム（参考）】

5B091AA15

5B091CA01

5B091CA21

5B091EA01

5B175EA01

(57)【要約】

【課題】
さまざまなカテゴリーの有害入力に対して、それぞれのカテゴリーに合った適切な応答を返すことができる対話システムを提供する。
【解決手段】
情報処理装置２０５と、情報処理装置にネットワーク２０２を介して接続されるサーバ２０１を有する対話システムであって、サーバは、入力データを受け付ける入力部４０１と、入力データによる攻撃対象ごとに、有害な入力データに対し安全な応答文を出力するよう学習され、入力データに対し、それぞれが応答文を生成する複数の対話モデル４０８と、複数の応答文から、所定の基準に基づいて応答文を、選択して出力する応答選択部４０５と、を備える。
【選択図】図４Ａ

【特許請求の範囲】

【請求項1】

情報処理装置と、情報処理装置にネットワークを介して接続されるサーバを有する対話システムであって、
前記サーバは、
前記情報処理装置から、入力データを受け付ける入力部と、
入力データによる攻撃対象ごとに、有害な入力データに対し安全な応答文を出力するよう学習され、入力データに対し、それぞれが応答文を生成する複数の対話モデルと、
前記複数の対話モデルによって生成された複数の応答文から、所定の基準に基づいて最も適切な応答文を選択して出力する応答選択部と、を備える
対話システム。

【請求項2】

請求項１に記載の対話システムであって、
前記応答選択部は、
応答文が有害か否かを判定する有害性評価モデルを使用して前記複数の対話モデルが出力した複数の応答文のそれぞれの有害性スコアを算出し、
有害性スコアが所定の閾値未満、かつ、最も低い応答文を選択する
対話システム。

【請求項3】

請求項１に記載の対話システムであって、
前記複数の対話モデルのそれぞれは、
入力データによる攻撃対象ごとに、有害な入力データと入力データに対する安全な応答文で学習される
対話システム。

【請求項4】

請求項３に記載の対話システムであって、
前記サーバは、前記複数の対話モデルを作成するモデル管理部を有し、
前記モデル管理部は、
前記入力部から入力した入力データに対し有害性評価モデルを利用してアノテーションを実行し、
前記入力部から入力した入力データから、有害な入力データに対し安全な応答文が含まれる入力データを抽出し、
抽出した入力データを、前記攻撃対象ごと分類し、
分類された各入力データを利用して、汎用有害性対応対話モデルとしてベース対話モデルを追加学習し、
前記汎用有害性対応対話モデルを、当該攻撃対象に分類された入力データを利用して追加学習することで、攻撃対象ごとに攻撃対象対応対話モデルを生成する
対話システム。

【請求項5】

請求項１に記載の対話システムであって、
前記応答選択部は、
入力データによる攻撃対象ごとに有害か否かを判定する複数の有害性評価モデルを使用して前記複数の対話モデルが出力した応答文の有害性スコアを算出し、
算出された有害性スコアが所定の閾値未満、かつ、最も低い応答文を選択する
対話システム。

【請求項6】

請求項５に記載の対話システムであって、
前記サーバは、
前記複数の応答文の攻撃対象ごとの有害性スコアを管理する有害性スコアテーブルと、
攻撃対象ごとの有害性スコアの閾値と重み係数を管理する閾値、重み係数管理テーブルとを、記憶する記憶デバイスを有し、
前記応答選択部は、
攻撃対象ごとに前記有害性スコアテーブルの有害性スコアと前記閾値、重み係数管理テーブルの閾値を比較することで、応答文の有害性を判断し、
有害性の判断で安全な応答文の内、攻撃対象ごとの重み係数に基づいて、最適な応答文を選択する
対話システム。

【請求項7】

請求項４に記載の対話システムであって、
前記複数の対話モデルは、
入力データによる攻撃対象をカテゴリーとして分類し、前記カテゴリーを複数混合した混合カテゴリーで分類された有害な入力データと該入力データに対する安全な応答文で学習されたものである
対話システム。

【請求項8】

請求項７に記載の対話システムであって、
前記入力部は、
前記複数の対話モデルに含まれる対話モデルのうち、使用する攻撃対象対応対話モデルを指定し、
前記モデル管理部は、指定された攻撃対象対応対話モデルを使用して入力データに対する応答文を生成する
対話システム。

【請求項9】

入力データを受け付ける入力デバイスと、応答文を出力する出力デバイスとを有する対話装置であって、
前記入力デバイスにより入力された入力データによる攻撃対象ごとに、有害な入力データに対し安全な応答文を出力するよう学習され、前記入力データに対し、それぞれが応答文を生成する複数の対話モデルと
複数の応答文から所定の基準に基づいて応答文を選択して、前記出力デバイスに出力する応答選択部と、を備える
対話装置。

【請求項10】

入力部と出力部とを備えた対話システムを用いた対話方法であって、
前記対話システムの複数の対話モデルは、
有害な入力データに対し安全な応答文を出力するよう学習されたものであり、
前記複数の対話モデルは、入力された入力データによる攻撃対象ごとに、前記入力データに対し、それぞれが応答文を生成し、
前記複数の対話モデルのそれぞれの応答文から、所定の基準に基づいて応答文を選択して出力する
対話方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、対話装置、対話システム、及び、対話方法に関する。

【背景技術】

【0002】

Ｗｅｂ上からＳＮＳやチャットの対話ログを収集して作成した対話システムでは、誹謗中傷などの不適切な応答を防止するため、例えば、特開２００６－１１５９２（特許文献１）に記載の技術がある。この公報では、禁止用語を含む文を出力することを防止することを目的とする。そのため、分割部８１は、入力された文を単語に分割する。単語リスト記憶部８３は、文中での使用を許可する単語を記憶する。文削除部８２は、分割部８１から供給される文のすべての単語が、単語リスト記憶部８３に記憶される文中での使用を許可する単語である場合、その文を出力する。特許文献１には、例えば、対話を行うロボット装置の対話の応答文の作成に利用される入出力ペア（の出力例）の取捨選択に適用する、技術が記載されている。

【0003】

また、非特許文献１には、事前学習済言語モデルを用いた対話システムにおいて、誹謗中傷を含む発話とそれに対して適切な応答を返している対話ログをＳＮＳから収集し、この対話ログで言語モデルを追加学習することで誹謗中傷の発話に対して適切な応答を出力する技術が記載されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００６－１１５９２号公報

【非特許文献】

【0005】

【非特許文献1】Ashutosh Baheti他2名“Just Say No: Analyzing the Stance of Neural Dialogue Generation in Offensive Contexts”、Georgia Institute of Technology, Atlanta, GA, USA [online]＜URL：https://arxiv.org/abs/2108.11830＞

【発明の概要】

【発明が解決しようとする課題】

【0006】

特許文献１では応答に含まれる単語のみで出力可否、つまり、不適切か否かを判定しており、有害な単語は含まれていなくとも意味としては不適切となる応答を抑制することができない。例えば、誹謗中傷に対して「私もそう思う。」と応答した場合、不適切な応答となるが、応答文に有害な単語は含まれておらず、単語のみでは不適切と判定することができない。

【0007】

非特許文献１はこのような課題を解決するものだが、有害発言には、人種・民族差別やジェンダー差別などさまざまなカテゴリーがあるのに対し、これらを一つの有害性として扱っていることから、有害発言によってカテゴリーに応じた適切な応答を出力できない場合がある。

【0008】

そこで、本発明は、さまざまなカテゴリーの有害入力に対して、それぞれのカテゴリーに合った適切な応答を返すことができる対話システムを提供する。

【課題を解決するための手段】

【0009】

上記目的を達成するために、例えば特許請求の範囲に記載の構成を採用する。

【0010】

本願は上記課題を解決する手段を複数含んでいるが、その一例を挙げるならば、情報処理装置と、情報処理装置にネットワークを介して接続されるサーバを有する対話システムである。サーバは、情報処理装置から、投稿コメントやその投稿コメントに対する返信コメント等の入力文を含む入力データを受け付ける入力部と、入力データによる攻撃対象ごとに、有害な入力データに対し安全な応答文を出力するよう学習され、入力データに対し、それぞれが応答文を生成する複数の対話モデルと、複数の対話モデルから生成される複数の応答文から、所定の基準に基づいて、一つの応答文を選択して出力する応答選択部と、を備える対話システムである。

【発明の効果】

【0011】

本発明によれば、さまざまな種類の有害発言に対して、カテゴリーに応じた適切な応答を返すことができる対話システムを提供することができる。

【0012】

上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

【図面の簡単な説明】

【0013】

【図1】第１の実施形態に係る対話システムの対話処理の説明図である。

【図2】対話システムのシステム構成例の一例を示す説明図である。

【図3】対話システムのハードウェア構成例の一例を示すブロック図である。

【図4A】第１の実施形態に係る対話システムの機能的構成例の一例を示す図である。

【図4B】第１の実施形態に係る対話システムの記憶デバイスに格納されるデータの一利絵を説明する図である。

【図5】掲示板型ＳＮＳの対話ログの整形方法を示す説明図である。

【図6】コメントに対するアノテーション例を示す図である。

【図7】第１の実施形態に係る対話システムの有害性評価モデル作成処理のフローチャートを示す図である。

【図8】第１の実施形態に係る対話システムの有害性評価モデル作成処理におけるデータフローの説明図である。

【図9】第１の実施形態に係る対話システムの有害カテゴリー対応対話モデル作成処理のフローチャートを示す図である。

【図10】第１の実施形態に係る対話システムの有害カテゴリー対応対話モデル作成処理におけるデータフローの説明図である。

【図11】第１の実施形態に係る対話システムの対話処理のフローチャートを示す図である。

【図12】第２の実施形態に係る対話システムの機能的構成例の一例を示すブロック図である。

【図13】第２の実施形態に係る対話システムの対話処理のフローチャートを示す図である。

【図14】第２の実施形態に係る対話システムの有害性スコアの例を示す図である。

【図15】第２の実施形態に係る対話システムのカテゴリー別有害性スコアの閾値と総合有害性スコアを算出するための重み係数の例を示す図である。

【図16】第３の実施形態にかかる対話システムの機能的構成例の一例を示すブロック図である。

【図17】第３の実施形態にかかる対話システムの有害性評価モデル作成処理のフローチャートを示す図である。

【図18】第３の実施形態にかかる共起カテゴリーの登録例を示す図である。

【発明を実施するための形態】

【0014】

以下、図面を参照して本発明の実施形態を説明する。以下の記載および図面は、本発明を説明するための例示であって、説明の明確化のため、適宜、省略および簡略化がなされている。本発明は、他の種々の形態でも実施する事が可能である。特に限定しない限り、各構成要素は単数でも複数でも構わない。

【0015】

図面において示す各構成要素の位置、大きさ、形状、範囲などは、発明の理解を容易にするため、実際の位置、大きさ、形状、範囲などを表していない場合がある。このため、本発明は、必ずしも、図面に開示された位置、大きさ、形状、範囲などに限定されない。

【0016】

また、以下の説明では、プログラムを実行して行う処理を説明する場合があるが、プログラムは、プロセッサ（例えばＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit））によって実行されることで、定められた処理を、適宜に記憶資源（例えばメモリ）および／またはインターフェースデバイス（例えば通信ポート）等を用いながら行うため、処理の主体がプロセッサとされてもよい。同様に、プログラムを実行して行う処理の主体が、プロセッサを有するコントローラ、装置、システム、計算機、ノードであってもよい。プログラムを実行して行う処理の主体は、演算部であれば良く、特定の処理を行う専用回路（例えばＦＰＧＡ（Field-Programmable Gate Array）やＡＳＩＣ（Application Specific Integrated Circuit））を含んでいてもよい。

【0017】

本実施の形態による対話装置、対話システム、対話方法は、例えば、パーソナルコンピューターの操作に対するＱＡ、保険加入に関するＱＡの他、受付ロボット、コールセンタや高齢者向けロボットに適応される。特に、受付ロボット、コールセンタや高齢者向けロボットでは、多岐にわたる入力文を含む入力データに対して安全な応答文を出力することができ、受付時やコールセンタへの問い合わせに対する適切なおもてなし、高齢者の孤独を和らげるといった価値を提供することできる。

【実施例0018】

本発明の第１の実施形態に係る対話処理の説明図を図１に示す。対話システム１００は、ユーザから入力文を含む入力データ１１０を受け取り、応答文１１１を出力する。入力データ１１０は入力文含み、入力文は有害な発言の一例であり、投稿コメント、投稿コメントと投稿コメントに対する返信コメント等を含む。以下、入力データ１１０を入力文１１０として説明を続ける。対話システム１００は、有害カテゴリー１に分類される有害な入力文に適切な応答ができるよう調整した有害カテゴリー１対応対話モデル１０１、有害カテゴリー２に分類される有害な入力文に適切な応答ができるよう調整した有害カテゴリー２対応対話モデル１０２、有害カテゴリーＮに分類される有害な入力文に適切な応答ができるよう調整した有害カテゴリーＮ対応対話モデル１０３を備えており、入力文をそれぞれの対話モデルに入力して応答文を生成する。

【0019】

ここで「有害カテゴリー」とは、投稿コメントを含む入力データ、投稿コメントと投稿コメントに対する返信コメントを含む入力データに含まれる入力文よって攻撃される対象「攻撃対象」であって、例えば、人種・民族差別や犯罪記事等である。そのため、有害カテゴリー１対応対話モデル１０１、有害カテゴリー２対応対話モデル１０２、有害カテゴリーＮ対応対話モデル１０３を、攻撃対象対応対話モデルと称することもできる。

【0020】

そして、対話システム１００は、対話モデルが生成した各応答文に対して、有害か否かを評価して有害性スコアを算出し、有害性スコアがもっとも低い応答文を選択して出力する。図１では、入力文１１０に対して、有害カテゴリー１対応対話モデル１０１が出力した応答文１０４の有害性が最も低いと判定され、応答文１１１として出力されている様子を表している。

【0021】

＜対話システム＞
図２は、実施例１にかかる対話システムのシステム構成例を示す説明図である。対話システム１００は、たとえば、クライアントサーバシステムであり、サーバ２０１と、ＰＣ２０３、スマートフォン２０４などの情報処理装置２０５と、を有する。サーバ２０１と情報処理装置２０５とは、インターネット、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）などのネットワーク２０２を介して通信可能である。

【0022】

クライアントサーバシステムの場合、対話プログラムは、サーバ２０１にインストールされる。したがって、サーバ２０１は、対話システムとして、応答生成、モデル管理、応答選択、対話履歴管理処理を実行する。この場合、情報処理装置２０５は、処理対象のテキストのサーバ２０１への送信、サーバ２０１からの処理結果の受信、処理対象のテキストを入力するインタフェースとなる。

【0023】

一方、スタンドアロン型の場合、対話プログラムは、情報処理装置２０５にインストールされ、サーバ２０１は不要である。したがって、情報処理装置２０５は、対話装置として、テキストの入力、入力したテキストの応答生成、結果の出力を実行する。

【0024】

＜対話システムのハードウェア構成例＞
図３は、対話装置３００のハードウェア構成例を示すブロック図である。

【0025】

対話装置３００は、対話システムの場合にはサーバ２０１に相当し、スタンドアロン型の場合には情報処理装置２０５に相当する。対話装置３００は、プロセッサ３０１と、記憶デバイス３０２と、入力デバイス３０３と、出力デバイス３０４と、通信インタフェース（通信ＩＦ）３０５と、を有する。プロセッサ３０１、記憶デバイス３０２、入力デバイス３０３、出力デバイス３０４、および通信ＩＦ３０５は、バス３０６により接続される。プロセッサ３０１は、対話装置３００を制御する。記憶デバイス３０２は、プロセッサ３０１の作業エリアとなる。また、記憶デバイス３０２は、各種プログラムやデータを記憶する非一時的なまたは一時的な記録媒体である。記憶デバイス３０２としては、たとえば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、フラッシュメモリがある。入力デバイス３０３は、データを入力する。入力デバイス３０３としては、たとえば、キーボード、マウス、タッチパネル、テンキー、スキャナ、マイク、生体センサがある。出力デバイス３０４は、データを出力する。出力デバイス３０４としては、たとえば、ディスプレイ、プリンタ、スピーカがある。通信ＩＦ３０５は、ネットワーク２０２と接続し、データを送受信する。

【0026】

＜対話システム１００の機能的構成例＞
図４Ａは、実施例１にかかる対話システム１００の機能的構成例を示すブロック図である。対話システム１００は、対話処理プログラムがインストールされたコンピュータであり、情報処置装置２０５、あるいはサーバ２０１である。対話システム１００は、対話処理プログラムにより、入力部４０１、応答生成部４０４、モデル管理部４０２、対話モデル群４０８、有害性評価モデル４０３、応答選択部４０５、対話履歴管理部４０７、出力部４０６を実現する。

【0027】

図４Ｂに示すように、入力部４０１、モデル管理部４０２、応答生成部４０４、応答選択部４０５、出力部４０６、対話履歴管理部４０７は、プロセッサ３０１が記憶デバイス３０２に格納された対話処理プログラム４１０を実行することで各種機能を実現する。

【0028】

また、対話モデル群４０８、有害性評価モデル４０３、ベース対話モデル１００２も、記憶デバイス３０２に格納される。

【0029】

また、後述する有害単語リスト８０２、アノテーションデータ６００等の各種データは、記憶デバイス３０２の各種データ４１１内に格納される。

【0030】

入力部４０１は、図３の入力デバイス３０３に対応し、入力文であるテキストデータを読み込むモジュールで、テキストデータの加工と応答生成部４０４への入力を行う。また、有害性評価モデル４０３と対話モデル群４０８作成時のテキストデータの登録は、すべて入力部４０１を介して行われる。

【0031】

モデル管理部４０２は、応答生成部４０４が使用する対話モデル群４０８と、応答選択部４０５が使用する有害性評価モデル４０３を管理する。モデル管理部４０２は、応答生成部４０４の指示に従って所定のモデルにテキスト（入力文）を入力し、モデルの出力結果(応答文)を返す。また、モデル管理部４０２は、応答選択部４０５の指示に従って所定のモデルに応答文を入力し、所定のモデルにより応答文の有害性スコアを算出し、応答文の有害性を把握する。さらに、モデル管理部４０２は、各種モデルの作成と登録も行う。

【0032】

応答生成部４０４は、入力部４０１から受け取ったテキスト（入力文）を、モデル管理部４０２を介して対話モデル群４０８に入力し、それぞれの有害カテゴリー対応対話モデル（以下、単に対話モデルと称する）から応答文を取得する。対話モデルは、テキストを入力するとそのテキストに対する応答文を生成する。対話モデルは、ＳＮＳなどから取得した複数往復の対話文で学習したニューラル言語モデルである。

【0033】

図５は、入力部４０１から入力される掲示板型ＳＮＳから取得した投稿コメントと返信コメントのテキストで、ニューラル言語モデルの学習を行って対話モデルを作成するまでの説明図である。

【0034】

５００は、入力部４０１から入力される掲示板型ＳＮＳのスレッド（投稿と一連の返信のツリー構造）を示す一例である。投稿コメント５０１に対する返信コメントが５０２と５０５である。また、返信コメント５０２に対する返信として返信コメント５０３が、さらにその返信として返信コメント５０４がある。

【0035】

５１０は、入力部４０１において、５００の投稿コメントと返信コメントをニューラル言語モデルの学習用に整形したデータである。５００は５０２～５０４と５０５～５０６の２つの枝を持ち、５１０では、それぞれの枝が５１１と５１２として整形されている。５１１は、５０１～５０４のコメントを連結したテキストで、「｜」はコメントとコメントの境界を示す特殊なトークン（単語）であり、ニューラル言語モデルはこのトークンをもとに複数のコメントで構成されるテキストからそれぞれのコメントの範囲を認識する。

【0036】

入力文として、投稿コメントと返信コメントを含む５１０の形式で大量の対話データを用意してニューラル言語モデルを学習することで、対話モデル５２２が作成され、例えば、対話モデル５２２に入力文５２１「午後から雪が降るそうです。」を与えると、この入力に対して尤もらしい応答として出力５２３「初雪ですね。」が得られる。対話モデル群４０８の対話モデルは、後述の方法で有害発言に対して適切な応答を出力できるよう学習された対話モデルである。

【0037】

ニューラル言語モデルを用いた対話モデルには、例えば、ＧＰＴ-２（Ｇｅｎｅｒａｔｉｖｅ Ｐｒｅ－ｔｒａｉｎｅｄ Ｔｒａｎｓｆｏｒｍｅｒ ２）を用いて作成できる。例えば、ＳＮＳから取得したデータをＧＰＴ－２アーキテクチャで学習した対話モデルに、ＤｉａｌｏＧＰＴがある。なお、複数往復の対話履歴を含むテキストを入力としてその応答のテキストを出力することができればよく、これ以外の技術を用いて実現してもよい。例えば、別のアーキテクチャとして、ＢＡＲＴ（Ｂｉｄｉｒｅｃｔｉｏｎａｌ Ａｕｔｏ－Ｒｅｇｒｅｓｓｉｖｅ Ｔｒａｎｓｆｏｒｍｅｒ）が挙げられる。

【0038】

有害性評価モデル４０３は、入力部４０１から入力されたテキストが有害発言等の有害な内容か否かを判別する文分類モデルで、入力されたテキスト(入力文)に対して有害か否かの二値の分類を行う。また、分類モデルの出力をソフトマックス関数に通して算出した分類結果の確率を、有害性スコアとして出力する。

【0039】

有害性評価モデル４０３も、ＧＰＴ-２（Ｇｅｎｅｒａｔｉｖｅ Ｐｒｅ－ｔｒａｉｎｅｄ Ｔｒａｎｓｆｏｒｍｅｒ ２）によって実現される。有害性評価モデル４０３は、後述の方法で有害な内容か安全な内容かの二値のラベルをコメント単位で付与したデータを用意し、文を入力した際にその文のラベルを予測するよう追加学習を行う。

【0040】

応答選択部４０５は、応答生成部４０４が対話モデルによって出力した各応答文に対してモデル管理部４０２を介して有害性評価モデル４０３による評価を行う。応答選択部４０５は、有害性スコアが所定の閾値未満でかつ、もっとも低い応答文を出力部４０６と対話履歴管理部４０７に出力する。出力部４０６は、応答選択部４０５が選択した応答文を出力デバイス３０４に出力する。

【0041】

対話履歴管理部４０７は、応答選択部４０５が選択した応答文を対話履歴として保持し、入力部４０１が入力を受け取ったときに、保持していた対話履歴を応答生成部４０４に出力する。例えば、対話履歴管理部４０７は、図５の入力される投稿コメント５２１に対し、応答選択部４０５により選択された応答文５２３との対応を管理する。

【0042】

＜有害性評価モデル作成処理＞
有害性評価モデル作成処理は、実施例１にかかる対話システム１００において、モデル管理部４０２が、対話処理に必要な有害性評価モデルの作成、および、有害カテゴリー対応対話モデルの作成処理に使用するカテゴリー別有害性評価モデルの作成を行う処理である。モデル管理部４０２は、掲示板型ＳＮＳから取得した投稿コメントとそれに対する返信コメントに対し、ユーザを介して有害性有無のアノテーションを行い、これを使用して有害性評価モデルの学習を行う。有害性評価モデルを作成する処理のフローチャートを図７に、また、この処理におけるデータフローを図８に示す。アノテーションを行うデータの例を図６に示す。

【0043】

図８に示すように、モデル管理部４０２は、まず、ＳＮＳのダンプデータ８０１から有害発言を含むスレッドを抽出し、有害性評価モデルの学習用にデータの整形を行う（ステップＳ７０１）。ダンプデータ８０１は、一定期間のＳＮＳのログをまとめたデータである。ダンプデータが取得できない場合は、ＳＮＳのクローリングによってデータを、入力部４０１から取得する。

【0044】

有害発言を含むスレッドの抽出は、有害発言関連用語リスト８０２の単語を含むスレッドをスクリーニングする。有害単語リスト８０２は誹謗中傷等の有害発言で頻出する単語のリストであり、記憶デバイス３０２の各種データ４１１として格納されている。単語リストは、Ｗｅｂ上で公開されている禁止用語のリストなどを利用すればよく、また、ユーザが独自に作成してもよい。ステップＳ７０１のデータ整形は、図５で例示した形式５００のデータを形式５１０のデータに整形する入力部４０１の処理である。

【0045】

次にモデル管理部４０２は、ステップＳ７０１で整形されたデータ８０３に対して有害性有無に関するデータを付与するアノテーションを行う。アノテーションは人手で行うため、モデル管理部４０２がアノテーション対象のデータを出力デバイス３０４に出力し、入力デバイス３０３を通してユーザの入力を受け付ける。

【0046】

モデル管理部４０２は、整形済データ８０３から一つのデータを取り出す（ステップＳ７０２）。ここで、データとは、図５の５１１、５１２で例示した投稿コメントとその返信コメントを結合したデータである。このように投稿コメントとその返信コメントのアノテーションを同時に実施することで、コメント単体ではなく前のコメントも踏まえた有害性をアノテーションする。例えば、有害なコメントに同意するコメントも有害とする。

【0047】

有害性は、予め定義されたカテゴリーから選択する。「有害性のカテゴリー」は、投稿コメントを含む入力データ、投稿コメントと投稿コメントに対する返信コメント等の入力文を含む入力データによって攻撃される対象「攻撃対象」であって、たとえば、人種・民族、ジェンダー、宗教、容姿、健康（障がい）、政治・社会経済などである。また、たとえば、特定の人種の特定の性別のように複数のカテゴリーにまたがった有害発言もあるため、有害性のラベルは複数カテゴリーを指定できるようにしておく。このようにして、一つのデータに含まれるすべてのコメントに対してアノテーションを行う（ステップＳ７０３）。

【0048】

アノテーションデータの例を図６に示す。図６は、アノテーションデータ６００を示し、投稿コメント６０１とその返信コメント６０２～６０４に対し、有害性のカテゴリーとしてラベルが付与されている。前述の通り、モデル管理部４０２は一連の返信コメントをまとめて出力デバイス３０４に出力し、ユーザに対してアノテーションを実行させることで、文脈を考慮したラベルを付与できるようにする。６０５～６０８はアノテーションによって付与されたラベルである。アノテーションデータ６００は、コメントに対する攻撃対象を特定するカテゴリーをラベルとして付与されたデータである。

【0049】

コメント６０１「あの国は犯罪者が多いですね。」は、人種・民族差別的なコメントであるため、「人種・民族」のラベルを付与する。コメント６０２「そんなことはない。」は、コメント６０１に反対するコメントであり有害性はないため、「有害性なし」のラベルが付与する。コメント６０３「いや、その通りだと思う。」は、コメント単体では有害性はないが、コメント６０１に同意する人種・民族差別的なコメントと判断できるため「人種・民族」のラベルを付与する。コメント６０４「あの国の男は怠け者の犯罪者だ。」は、人種・民族差別とジェンダー差別の二つの有害性を含むため、６０８の通り、「人種・民族」と「ジェンダー」の二つのラベルを付与する。

【0050】

ユーザが一つのデータのアノテーションを完了し、ユーザから入力デバイス３０３を通して登録指示を受け付けると、モデル管理部４０２は、当該データを登録するとともに、このデータを含めて、これまでアノテーションされたデータについてカテゴリーごとのデータ数を集計する。

【0051】

モデル管理部４０２は、アノテーションされたデータ数が、あらかじめ設定されたデータ数に満たないカテゴリーがある場合、ステップＳ７０２に戻り、次のデータを取り出してアノテーションを続ける。このように、カテゴリーごとに十分な数のデータが登録できるまでアノテーションを行うことで、有害性評価モデルにカテゴリー間の精度差が出ることを防ぐ。

【0052】

すべてのカテゴリーについて所定の数のデータが登録されると（ステップＳ７０４：ＹＥＳ）、モデル管理部４０２は、アノテーション済データ８０４を使用して有害性評価モデル４０３の学習を行う（ステップＳ７０５）。各データは、カテゴリーを含めた有害性がアノテーションされているが、このステップでは、モデル管理部４０２は、カテゴリーを分けずに有害か否かの二値分類を行う有害性評価モデルを作成する。したがって、モデル管理部４０２は、アノテーションされたデータに対して、正解ラベルを有害か否かの二値に変換して有害性評価モデル４０３の学習を行う。

【0053】

次に、モデル管理部４０２は、カテゴリーごとの有害性評価モデル４０３を作成するため、アノテーション済データ８０４をカテゴリーごとに分類する（ステップＳ７０６）。データの分類後、モデル管理部４０２は、そのうちの一つのカテゴリーに着目し（ステップＳ７０７）、当該カテゴリーのデータ８０５を使用して有害性評価モデルの学習を行う（ステップＳ７０８）。そして、モデル管理部４０２は、未処理のカテゴリーがあれば（ステップＳ７０９：ＹＥＳ）、ステップＳ７０７に戻り、当該カテゴリーの有害性評価モデルの学習を行う。このようにしてすべてのカテゴリーの有害性評価モデルの学習が終わると（ステップＳ７０９）、有害性評価モデル作成処理が完了する。

【0054】

＜有害カテゴリー対応対話モデル作成処理＞
有害カテゴリー対応対話モデル（対話モデル）作成処理は、有害発言に対して適切な応答ができる対話モデルを、攻撃対象、即ち有害カテゴリーごとに作成する処理である。モデル管理部４０２が、有害性評価モデルを用いて、入力部４０１から入力されたＳＮＳのダンプデータから有害発言に対して適切な応答を行っているスレッドを抽出し、このようなスレッドを使用してベース対話モデルの追加学習を行う。

【0055】

実施例１にかかる対話システム１００において各種有害発言に対応した対話モデルの作成処理のフローチャートを図９に、また、この処理におけるデータフローを図１０に示す。

【0056】

モデル管理部４０２は、まず、有害カテゴリー対応対話モデルのもとになるベース対話モデル１００２を、ネットワーク２０２を介して外部装置から読み込み、記憶デバイス３０２に格納する（ステップＳ９０１）。ベース対話モデル１００２は、ＳＮＳ等から取得した大量の対話ログを用いて学習されたニューラル言語モデルで、第三者が公開しているニューラル対話モデルを流用する。

【0057】

なお、使用する対話モデルは、モデル管理部４０２が扱うアーキテクチャで、対話システム１００の対話処理で扱う言語と同じ言語の学習データ、または当該言語を一定量含む多言語データで学習されたモデルとする。学習済みの対話モデルがない場合、対話システム１００によって、ＳＮＳのダンプデータの取得からデータ整形、言語モデルの学習を行って作成する。

【0058】

次に、モデル管理部４０２は、有害性評価モデル作成処理の過程で入力部４０１が作成した整形済データ８０３を読み込む（ステップＳ９０２）。そして、モデル管理部４０２は、有害性評価モデル作成処理で作成した有害性評価モデル４０３を使用して、整形したデータに対して有害性の自動アノテーションを行う（ステップＳ９０３）。有害性評価モデル４０３による自動アノテーションは、有害性評価モデル作成処理のアノテーションと同様にコメント単位で行われる。なお、ここでの自動アノテーションは、有害か否かの二値である。

【0059】

次にモデル管理部４０２は、有害なコメントを含み最後の返信コメントが有害ではないデータ１００１を、有害性評価モデル４０３を用いて抽出する（ステップＳ９０４）。このスクリーニングによって、有害発言に対して適切な応答を行っている対話データを収集する。

【0060】

次にモデル管理部４０２は、有害性評価モデル作成処理で作成したカテゴリー別の有害性評価モデルを使用して、ステップＳ９０４で抽出したデータ１００１を有害性のカテゴリー別に分類する（ステップＳ９０５）。そして、次のステップにて、モデル管理部４０２は、有害カテゴリー対応対話モデルの追加学習を行っていく。

【0061】

まず、モデル管理部４０２は、有害カテゴリーの一つに着目する（ステップＳ９０６）。そして、モデル管理部４０２は、ステップＳ９０１で読み込んだベース対話モデル１００２に対して、ステップＳ９０４で抽出したデータを使用した追加学習を行い、汎用有害性対応対話モデル１００３を作成する（ステップＳ９０７）。作成された汎用有害性対応対話モデル１００３は記憶デバイス３０２に格納される。

【0062】

そして、モデル管理部４０２は、ステップＳ９０５で分類したカテゴリー別のデータから着目しているカテゴリーのデータを選択する。モデル管理部４０２は、さらに、ステップＳ９０７で追加学習を行った汎用有害性対応対話モデル１００３に対して選択したデータを使用した追加学習を行い、当該カテゴリーのカテゴリー対応対話モデルを作成する。

【0063】

未処理のカテゴリーがある場合（ステップＳ９０９：ＹＥＳ）、ステップＳ９０６に戻り、未処理のカテゴリーの対話モデルを作成する。このようにしてすべてのカテゴリーの対話モデルを作成し（ステップＳ９０９：ＮＯ）、処理を終了する。このように、カテゴリー別データによる追加学習の前に、全カテゴリーのデータで追加学習を行うことで、有害発話全般に対する汎用性と特定の有害カテゴリーに対する専用性の両方の性質を獲得する効果がある。

【0064】

＜対話処理＞
実施例１にかかる対話システム１００における対話処理のフローチャートを図１１に示す。対話処理では、有害性評価モデル作成処理で作成した有害性評価モデル４０３と、有害カテゴリー対応対話モデル作成処理で作成した、有害カテゴリー別の複数の対話モデルを使用して、有害入力に対して適切な応答を出力する処理である。

【0065】

対話処理は、入力デバイス３０３を通してユーザからテキストが入力されることで開始される。まず、入力部４０１が入力データを読み込み、入力データに含まれる入力文を、応答生成部４０４に出力する（ステップＳ１１０１）。ここで応答生成部４０４は、対話履歴管理部４０７が対話履歴を保持していた場合、対話履歴と入力文を結合する。次に、応答生成部４０４が、モデル管理部４０２を介して、入力文を各対話モデルに入力する（ステップＳ１１０２）。尚、対話履歴管理部４０７に対話履歴を保持していない場合には、入力文のみを各対話モデルに入力する。モデル管理部４０２は、すべての対話モデルから入力文に対する応答文を取得し、応答生成部４０４へ出力する。

【0066】

応答生成部４０４は、モデル管理部４０２から受け取った応答文を応答選択部４０５に入力し、応答選択部４０５がこれらの応答文の有害性を評価する（ステップＳ１１０３）。応答選択部４０５は、モデル管理部４０２を介して、有害性評価モデル４０３に各応答文を入力し、応答文ごとに有害性スコアを得る。有害性スコアは、有害性評価モデル４０３が出力をソフトマックス関数に通して算出した分類結果の確率で０～１の値を取る。有害性スコアが１に近いほど、有害である確率が高いことを示す。

【0067】

次に応答選択部４０５は、算出した有害性スコアをもとに応答選択部４０５が出力した複数の応答文から最も適切な一つの応答文を選択する。応答選択部４０５は、まず、有害性スコアが閾値未満、つまり、安全な応答文があるかを判定する（ステップＳ１１０４）。有害性スコアが閾値未満の応答文があった場合（ステップＳ１１０４：ＹＥＳ）、応答選択部４０５は、その中から有害性スコアがもっとも低い応答文を選択する（ステップＳ１１０５）。なお、閾値未満の応答文が一つであった場合、この処理は省略される。

【0068】

有害性スコアが閾値未満の応答文がなかった場合（ステップＳ１１０４：ＮＯ）、つまり、すべての応答文を有害であると判定された場合、応答選択部４０５は、例外処理として、予め設定しておいた定型の応答文を出力する（ステップＳ１１０６）。定型の応答文とは、たとえば、「その発言には同意できません。」、あるいは「わかりません。」など、その有害入力文に対して同意しないことを示す応答である。このように処理することで、いずれの対話モデルからも適切な応答が得られなかった場合でも、有害な応答を出力することを防ぐ。

【0069】

そして、応答選択部４０５は、選択した応答文を出力部４０６に出力するとともに、入力文と選択した応答文を対話履歴として対話履歴管理部４０７に出力する（ステップＳ１１０７）。対話履歴管理部４０７は、応答選択部４０５が出力した入力文と応答文を対話履歴に追加する。対話履歴管理部４０７は、次の対話処理が開始された際に、対話履歴を応答生成部４０４に出力する。

【0070】

以上説明した実施例１によれば、さまざまな種類の有害発言に対して適切な応答を返すことができる対話システムを提供することができる。

【0071】

実施例１によれば、さまざまなカテゴリーに分類される有害発言に対して、カテゴリーごとに生成された対話モデルが適切な応答を生成し、応答選択部が各対話モデルにより生成した応答から最も適切な応答を選択することができる。換言すると、さまざまなカテゴリーの有害入力文に対して、適切な応答を返すことができる。

【実施例0072】

本実施例では、有害性評価に有害カテゴリー別の有害性評価モデルを使用し、有害カテゴリーごとに有害性スコアの閾値を設定することで、有害カテゴリーごとの重要度を指定できるよう構成した対話システムについて説明する。

【0073】

図１２は、本実施例にかかる対話システムの機能的構成例を示すブロック図である。有害性評価モデルが有害性評価モデル群１２０１として複数モデル構成となっている以外は、実施例１にかかる対話システムと同じ構成である。また、有害性評価モデル群を構成するカテゴリー別の有害性評価モデルは、図７で説明した有害性評価モデル作成処理のフローチャートにおけるステップＳ７０８で作成されたカテゴリー別の有害性評価モデルである。

【0074】

＜対話処理＞
実施例２にかかる対話処理のフローチャートを図１３に示す。ステップＳ１３０１～ステップＳ１３０２までは、図１１のステップＳ１１０１～ステップＳ１１０２までの処理と同様である。ステップＳ１３０３にて、応答生成部４０４は、モデル管理部４０２から受け取った応答文を応答選択部４０５に入力し、応答選択部４０５がこれらの応答文の有害性を評価する。応答選択部４０５は、モデル管理部４０２を介して、有害性評価モデル群１２０１に各応答文を入力し、応答文ごとにカテゴリー別有害性評価モデルから有害性スコアを得る。

【0075】

図１４は、対話システムにおいて、応答選択部４０５が参照する有害性スコアテーブル１４００であり、記憶デバイス３０２の各種データ４１１内に格納されている。有害性スコアテーブル１４００は、複数の応答文の有害性スコアを管理する。図１４では、３つの応答文のカテゴリーごとの有害性スコアの例を示す。応答文１４０１～１４０３について、カテゴリーセット１４０５それぞれのスコアが記載されている。１４０６は、後述の方法で算出された総合有害性スコアである。

【0076】

応答選択部４０５は、次に、有害性スコアが閾値未満の応答文があるかを判定する（ステップＳ１３０４）。応答選択部４０５は、カテゴリー別有害性評価モデルごとに得られたすべての有害性スコアが閾値未満かを判定する。つまり、応答選択部４０５は、攻撃対象ごとに有害性スコアテーブル１４００の有害性スコアと閾値、重み係数管理テーブル１５００の閾値１５０１を比較することで、応答文の有害性を判断する。

【0077】

図１５は、閾値、重み係数管理テーブル１５００であり、記憶デバイス３０２の各種データ４１１内に格納される。閾値、重み係数管理テーブル１５００は、カテゴリーごとの閾値１５０１と後述の総合有害性スコアの算出に用いる重み係数１５０２の例を示す。図１５では、ジェンダーのみ閾値が０．５でありそのほかのカテゴリーの０．６に対して低く設定されているが、これはジェンダーの有害性を重視し、確率が低くても有害と判定する設定としていることを意味する。

【0078】

図１４に示す応答文の例では、応答文１４０１が、人種・民族とジェンダーの有害性スコアがともに０．５５である。図１５において、人種・民族の閾値は０．６であるため閾値未満となるが、ジェンダーの閾値は０．５となっているため閾値以上となる。したがって、応答選択部４０５は応答文１４０１を有害と判定する。一方、応答文１４０２と応答文１４０３はいずれの有害性スコアも閾値未満であり、応答選択部４０５はこの二つの応答文を安全と判定する。

【0079】

有害性スコアが閾値未満の応答文１４０２と１４０３があるため（ステップＳ１３０４：ＹＥＳ）、応答選択部４０５は、それぞれの応答文に対して、重み係数１５０２を用いて総合有害性スコア１４０６を算出する（ステップＳ１３０５）。総合有害性スコアは、カテゴリー別有害性スコアにそれぞれ指定された重み係数を乗算したときの最大値である。応答文１４０２のカテゴリーごとの有害性スコアそれぞれに重み係数を乗算すると、ジェンダーは有害性スコア０．４に重み係数１．２を乗算した０．４８が最大となり、この値が応答文１４０２の総合有害性スコアとなる。同様の方法で計算すると、応答文１４０３の総合有害性スコアは０．４となる。

【0080】

そして、応答選択部４０５は、総合有害性スコアが最も低い応答を選択する（ステップS１３０６）。図１４の例では、応答文１４０３の総合有害性スコア０．４が最低となるため、応答文１４０３が最終的な出力として選択される。そして、応答選択部４０５は、選択した応答文を出力部４０６と対話履歴管理部４０７に出力する（ステップS１３０８）。

【0081】

以上説明した実施例２によれば、すべての有害カテゴリーを同等に扱うか、または、特定のカテゴリーについて有害性の判断における重要度を変えるかを任意に設定できる対話システムを提供することができる。