ホーム > 特許ランキング > 日本電信電話株式会社
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-11-12
(45)【発行日】2024-11-20
(54)【発明の名称】支援装置、支援方法およびプログラム
(51)【国際特許分類】
G06N 20/00 20190101AFI20241113BHJP
【ＦＩ】
G06N20/00 130
【請求項の数】
13
(21)【出願番号】P 2023503531
(86)(22)【出願日】2021-03-01
(86)【国際出願番号】 JP2021007622
(87)【国際公開番号】W WO2022185360
(87)【国際公開日】2022-09-09
【審査請求日】2023-07-03
(73)【特許権者】
【識別番号】000004226
【氏名又は名称】日本電信電話株式会社
(74)【代理人】
【識別番号】100147485
【弁理士】
【氏名又は名称】杉村 憲司
(74)【代理人】
【識別番号】100164471
【弁理士】
【氏名又は名称】岡野 大和
(74)【代理人】
【識別番号】100176728
【弁理士】
【氏名又は名称】北村 慎吾
(72)【発明者】
【氏名】折橋 翔太
(72)【発明者】
【氏名】澤田 雅人
【審査官】千葉 久博
(56)【参考文献】
【文献】特開２０２０－４２７３７（ＪＰ，Ａ）
【文献】特開２０１８－１０６６６２（ＪＰ，Ａ）
【文献】特開２０１７－９１４７９（ＪＰ，Ａ）
【文献】国際公開第２０１９／１６７５５６（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｎ ２０／００
(57)【特許請求の範囲】
【請求項1】
要素と、前記要素に対応する正解ラベルとの組からなる教師データを作成する教師データ作成者の評価を支援する支援装置であって、前記教師データを用いて学習された、前記要素に対応するラベルを推論するモデルを用いて、前記教師データを構成する要素に対応するラベルである推論ラベルを推論するラベル推論部と、
前記モデルにより推論された前記推論ラベルが予め定められた規則により誤りであると判定される要素を除外する推論誤り除外部と、
前記教師データを構成する要素に対応する正解ラベルと、前記要素の推論ラベルとの比較に基づき、前記教師データ作成者の評価結果を生成する評価部と、を備える支援装置。
【請求項2】
請求項１に記載の支援装置において、前記教師データは、系列的な複数の要素からなる要素群を複数含み、
前記評価部は、前記要素群ごとの、当該要素群を構成する要素に対応する前記正解ラベルと前記推論ラベルとの比較に基づく評価結果を、前記教師データ作成者ごとに確認可能なように生成する、支援装置。
【請求項3】
請求項１または２に記載の支援装置において、前記教師データは、系列的な複数の要素からなる要素群を複数含み、
前記評価部は、前記要素群ごとの、当該要素群を構成する要素と、前記要素に対応する正解ラベルと、前記要素の推論ラベルとを含む、前記要素群ごとに切り替え可能な教師データ確認画面を、前記教師データ作成者ごとに生成する、支援装置。
【請求項4】
請求項１から３のいずれか一項に記載の支援装置において、前記評価部は、前記教師データを構成する要素ごとの、前記正解ラベルと前記推論ラベルとの比較に基づく評価結果を、前記教師データ作成者ごとに生成する、支援装置。
【請求項5】
請求項４に記載の支援装置において、前記評価部は、前記要素ごとの、前記要素と、前記要素に対応する正解ラベルと、前記要素の推論ラベルとを含む教師データ確認画面を、前記教師データ作成者ごとに確認可能なように生成する、支援装置。
【請求項6】
請求項４または５に記載の支援装置において、前記評価部は、前記正解ラベルと前記推論ラベルとが異なるパターンであって、混同が生じやすい差異パターンを前記評価結果に含める、支援装置。
【請求項7】
要素と、前記要素に対応する正解ラベルとの組からなる教師データを作成する教師データ作成者の評価を支援する支援装置であって、
前記教師データを構成する要素に対応する正解ラベルと、前記要素の推論ラベルとの比較に基づき、前記教師データ作成者の評価結果を生成する評価部を備え、
前記推論ラベルは、前記教師データを構成する要素に対応するラベルとして、前記教師データを用いて学習された推論モデルを用いて推論されたものであり、
前記評価部は、複数の前記教師データ作成者ごとに、前記教師データ作成者と当該教師データ作成者の前記評価結果とを対応付けて、前記評価結果に基づいた順序で表示する、支援装置。
【請求項8】
要素と、前記要素に対応する正解ラベルとの組からなる教師データを作成する教師データ作成者の評価を支援する支援装置であって、
前記教師データを構成する要素に対応する正解ラベルと、前記要素の推論ラベルとの比較に基づき、前記教師データ作成者の評価結果を生成する評価部を備え、
前記推論ラベルは、前記教師データを構成する要素に対応するラベルとして、前記教師データを用いて学習された推論モデルを用いて推論されたものであり、
前記教師データは、系列的な複数の要素からなる要素群を複数含み、
前記評価部は、前記要素群ごとの前記評価結果を、複数の前記教師データ作成者ごとに切り替え可能に表示する、支援装置。
【請求項9】
請求項８に記載の支援装置において、
前記要素群は、複数の発話からなる通話であり、前記要素は、前記通話を構成する発話である、支援装置。
【請求項10】
要素と、前記要素に対応する正解ラベルとの組からなる教師データを作成する教師データ作成者の評価を支援する支援装置における支援方法であって、前記教師データを用いて学習された、前記要素に対応するラベルを推論するモデルを用いて、前記教師データを構成する要素に対応するラベルである推論ラベルを推論するステップと、
前記モデルにより推論された前記推論ラベルが予め定められた規則により誤りであると判定される要素を除外するステップと、
前記教師データを構成する要素に対応する正解ラベルと、前記要素の推論ラベルとの比較に基づき、前記教師データ作成者の評価結果を生成するステップと、を含む支援方法。
【請求項11】
要素と、前記要素に対応する正解ラベルとの組からなる教師データを作成する教師データ作成者の評価を支援する支援装置における支援方法であって、
前記教師データを構成する要素に対応する正解ラベルと、前記要素の推論ラベルとの比較に基づき、前記教師データ作成者の評価結果を生成するステップを含み、
前記推論ラベルは、前記教師データを構成する要素に対応するラベルとして、前記教師データを用いて学習された推論モデルを用いて推論されたものであり、
複数の前記教師データ作成者ごとに、前記教師データ作成者と当該教師データ作成者の前記評価結果とを対応付けて、前記評価結果に基づいた順序で表示する、支援方法。
【請求項12】
要素と、前記要素に対応する正解ラベルとの組からなる教師データを作成する教師データ作成者の評価を支援する支援装置における支援方法であって、
前記教師データを構成する要素に対応する正解ラベルと、前記要素の推論ラベルとの比較に基づき、前記教師データ作成者の評価結果を生成するステップを含み、
前記推論ラベルは、前記教師データを構成する要素に対応するラベルとして、前記教師データを用いて学習された推論モデルを用いて推論されたものであり、
前記教師データは、系列的な複数の要素からなる要素群を複数含み、
前記要素群ごとの前記評価結果を、複数の前記教師データ作成者ごとに切り替え可能に表示する、支援方法。
【請求項13】
コンピュータを、請求項１から９のいずれか一項に記載の支援装置として機能させるためのプログラム。【発明の詳細な説明】
【技術分野】
【0001】
本開示は、支援装置、支援方法およびプログラムに関する。
【背景技術】
【0002】
近年、コンタクトセンタにおける応対品質の向上を目的として、通話内容をリアルタイムに音声認識し、自然言語処理技術を駆使して応対中のオペレータに適切な情報を自動的に提示するシステムが提案されている。
【0003】
例えば、非特許文献１には、オペレータとカスタマとの対話において、予め想定される質問事項とその質問事項に対する回答（ＦＡＱ）とをオペレータに提示する技術が開示されている。この技術では、オペレータとカスタマとの対話が音声認識され、話者が話し終わったかを判定する「話し終わり判定」により、意味的なまとまりのある発話テキストに変換される。次に、発話テキストに対応する発話が、オペレータによる挨拶、カスタマの用件の確認、用件への対応あるいは対話のクロージングといった、対話におけるどの応対シーンでの発話であるかを推定する「応対シーン推定」が行われる。「応対シーン推定」により対話の構造化が行われる。「応対シーン推定」の結果から、カスタマの用件を含む発話あるいはオペレータがカスタマの用件を確認する発話を抽出する「ＦＡＱ検索発話判定」が行われる。予め用意されたＦＡＱのデータベースに対して、「ＦＡＱ検索発話判定」により抽出された発話に基づく検索クエリを用いた検索が行われ、検索結果がオペレータに提示される。
【0004】
上述した「話し終わり判定」、「応対シーン推定」および「ＦＡＱ検索発話判定」には、発話テキストに対して、発話を区分するラベルが付与された教師データを、深層ニューラルネットワークなどを用いて学習することで構築されたモデルが用いられる。したがって、「話し終わり判定」、「応対シーン推定」および「ＦＡＱ検索発話判定」は、系列的な要素（対話における発話）にラベル付けする系列ラベリング問題として捉えることができる。非特許文献２には、系列的な発話に、その発話が含まれる応対シーンに対応するラベルを付与した大量の教師データを、長短期記憶を含む深層ニューラルネットワークにより学習することで、応対シーンを推定する技術が記載されている。
【先行技術文献】
【非特許文献】
【0005】
【文献】長谷川隆明, 関口裕一郎, 山田節夫, 田本真詞, “オペレータの応対を支援する自動知識支援システム,” NTT技術ジャーナル, vol.31, no.7, pp.16-19, Jul. 2019.
【文献】R. Masumura, S. Yamada, T. Tanaka, A. Ando, H. Kamiyama, and Y. Aono, “Online Call Scene Segmentation of Contact Center Dialogues based on Role Aware Hierarchical LSTM-RNNs,” Asia-Pacific Signal and Information Processing Association Annual Summit and Conference (APSIPA ASC), Nov. 2018.
【発明の概要】
【発明が解決しようとする課題】
【0006】
上述した非特許文献１，２に記載の技術では、推定精度を実用に耐えうる水準にするためには、大量の教師データが必要となる。例えば、非特許文献１によれば、１０００通話程度のコールセンタの対話ログから教師データを作成してモデルを学習することで、高い推定精度を得ることができる。教師データは、作業者（教師データ作成者）が、発話音声の音声認識により得られた発話テキストを参照しながら、各発話テキストにラベルを付与することで作成される。
【0007】
教師データは、その教師データを用いて学習されるモデルの適用先（例えば、コンタクトセンタの業界ごと）に合わせて作成する必要がある。上述したように、高い推定精度を得るためには、大量の教師データが必要となることから、ラベルを付与する教師データの作成作業は、複数の作業者により行われることが多い。ここで、作業者ごとに、経験あるいはラベル付与の細かなポリシーが異なることから、同じ内容の発話であっても、異なるラベルが付与されてしまうという、ラベル付与のブレが生じることがある。教師データにラベルのブレが生じると、その教師データを用いて学習したモデルの推定精度の低下を招いてしまう。ここで、どの教師データ作成者が作成した教師データが原因でラベル付与のブレが生じているかを効率的に確認する手法が確立されておらず、従来は、有識者による暗黙知による分析あるいはトライアンドエラーの繰り返しが必要であった。
【0008】
したがって、教師データ作成者の評価をより効率的に行うことができる技術が求められている。
【0009】
上記のような問題点に鑑みてなされた本開示の目的は、教師データ作成者の評価をより効率的に行うことができる支援装置、支援方法およびプログラムを提供することにある。
【課題を解決するための手段】
【0010】
上記課題を解決するため、本開示に係る支援装置は、要素と、前記要素に対応する正解ラベルとの組からなる教師データを作成する教師データ作成者の評価を支援する支援装置であって、前記教師データを用いて学習された、前記要素に対応するラベルを推論するモデルを用いて、前記教師データを構成する要素に対応するラベルである推論ラベルを推論するラベル推論部と、前記教師データを構成する要素に対応する正解ラベルと、前記要素の推論ラベルとの比較に基づき、前記教師データ作成者の評価結果を生成する評価部と、を備える。
【0011】
また、上記課題を解決するため、本開示に係る支援方法は、要素と、前記要素に対応する正解ラベルとの組からなる教師データを作成する教師データ作成者の評価を支援する支援装置における支援方法であって、前記教師データを用いて学習された、前記要素に対応するラベルを推論するモデルを用いて、前記教師データを構成する要素に対応するラベルである推論ラベルを推論するステップと、前記教師データを構成する要素に対応する正解ラベルと、前記要素の推論ラベルとの比較に基づき、前記教師データ作成者の評価結果を生成するステップと、を含む。
【0012】
また、上記課題を解決するため、本開示に係るプログラムは、コンピュータを上述した支援装置として機能させる。
【発明の効果】
【0013】
本開示に係る支援装置、支援方法およびプログラムによれば、教師データ作成者の評価をより効率的に行うことができる。
【図面の簡単な説明】
【0014】
【図1】本開示の第１の実施形態に係る支援装置として機能するコンピュータの概略構成を示すブロック図である。
【図2】本開示の第１の実施形態に係る支援装置の機能構成例を示す図である。
【図9】本開示の第２の実施形態に係る支援装置の機能構成例を示す図である。
【図11】本開示の第３の実施形態に係る支援装置の機能構成例を示す図である。
【図19】複数の項目からなるラベルの構造の一例を示す図である。
【発明を実施するための形態】
【0015】
以下、本開示の実施の形態について図面を参照して説明する。
【0016】
（第１の実施形態）
図１は、本開示の第１の実施形態に係る支援装置１０がプログラム命令を実行可能なコンピュータである場合のハードウェア構成を示すブロック図である。ここで、コンピュータは、汎用コンピュータ、専用コンピュータ、ワークステーション、ＰＣ（Personal Computer）、電子ノートパッドなどであってもよい。プログラム命令は、必要なタスクを実行するためのプログラムコード、コードセグメントなどであってもよい。
図１は、本開示の第１の実施形態に係る支援装置１０がプログラム命令を実行可能なコンピュータである場合のハードウェア構成を示すブロック図である。ここで、コンピュータは、汎用コンピュータ、専用コンピュータ、ワークステーション、ＰＣ（Personal Computer）、電子ノートパッドなどであってもよい。プログラム命令は、必要なタスクを実行するためのプログラムコード、コードセグメントなどであってもよい。
【0017】
図１に示すように、支援装置１０は、プロセッサ１１０、ＲＯＭ（Read Only Memory）１２０、ＲＡＭ（Random Access Memory）１３０、ストレージ１４０、入力部１５０、表示部１６０および通信インタフェース（Ｉ／Ｆ）１７０を有する。各構成は、バス１９０を介して相互に通信可能に接続されている。プロセッサ１１０は、具体的にはＣＰＵ(Central Processing Unit)、ＭＰＵ（Micro Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＳｏＣ（System on a Chip）などであり、同種または異種の複数のプロセッサにより構成されてもよい。
【0018】
プロセッサ１１０は、各構成の制御、および各種の演算処理を実行する。すなわち、プロセッサ１１０は、ＲＯＭ１２０またはストレージ１４０からプログラムを読み出し、ＲＡＭ１３０を作業領域としてプログラムを実行する。プロセッサ１１０は、ＲＯＭ１２０ストレージ１４０に記憶されているプログラムに従って、上記各構成の制御および各種の演算処理を行う。本実施形態では、ＲＯＭ１２０またはストレージ１４０には、本開示に係るプログラムが格納されている。
【0019】
プログラムは、ＣＤ－ＲＯＭ（Compact Disk Read Only Memory）、ＤＶＤ－ＲＯＭ（Digital Versatile Disk Read Only Memory）、ＵＳＢ（Universal Serial Bus）メモリなどの非一時的（non-transitory）記憶媒体に記憶された形態で提供されてもよい。また、プログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。
【0020】
ＲＯＭ１２０は、各種プログラムおよび各種データを格納する。ＲＡＭ１３０は、作業領域として一時的にプログラム又はデータを記憶する。ストレージ１４０は、ＨＤＤ（Hard Disk Drive）またはＳＳＤ（Solid State Drive）により構成され、オペレーティングシステムを含む各種プログラムおよび各種データを格納する。
【0021】
入力部１５０は、マウスなどのポインティングデバイス、およびキーボードを含み、各種の入力を行うために使用される。
【0022】
表示部１６０は、例えば、液晶ディスプレイであり、各種の情報を表示する。表示部１６０は、タッチパネル方式を採用して、入力部１５０として機能してもよい。
【0023】
通信インタフェース１７０は、外部装置（図示しない）などの他の機器と通信するためのインタフェースであり、例えば、イーサネット（登録商標）、ＦＤＤＩ、Ｗｉ－Ｆｉ（登録商標）などの規格が用いられる。
【0024】
次に、本実施形態に係る支援装置１０の機能構成について説明する。
【0025】
図２は、本実施形態に係る支援装置１０の構成例を示す図である。本実施形態に係る支援装置１０は、要素と、その要素に付与されているラベル（以下、「正解ラベル」と称する。）との組からなる教師データを作成する作業者による、例えば、ラベルの付与基準のブレの有無の確認などの、教師データの確認作業を支援するものである。なお、正解ラベルとは、あくまでも教師データの作成時に付与されたラベルであり、確認作業の対象である。したがって、付与された正解ラベルが必ずしも正解であるとは限らない。教師データの確認を支援することで、修正が必要なラベルの抽出も容易になり、教師データの修正作業の効率化を図ることができる。以下では、図１９に示すような、コンタクトセンタでの複数の話者（オペレータおよびカスタマ）による対話における発話を音声認識して得られた発話テキストにラベルを付与する例を用いて説明する。図１９においては、オペレータの発話に対応する発話テキスト（以下では、発話に対応する発話テキストを単に「発話テキスト」称することがある。）は実線の吹き出しで示し、カスタマの発話テキストは点線の吹き出しで示している。
【0026】
図１９に示す例では、各発話テキストに、発話が話し終わりの発話であるか否かを示す話し終わりラベルを付与することで、「話し終わり判定」のための教師データが作成される。また、発話テキストごとに、発話が含まれる応対シーンを示すシーンラベルを付与することで、「応対シーン推定」のための教師データが作成される。また、カスタマの用件を把握する「用件把握」の応対シーンに含まれる発話のうち、カスタマの用件を示す発話に、カスタマの用件を示す発話であることを示す用件ラベルを付与し、オペレータがカスタマの用件を確認する発話に、カスタマの用件を確認する発話であることを示す用件確認ラベルを付与することで、「ＦＡＱ検索発話判定」のための教師データが作成される。ただし、本開示は、図１９に示す教師データの例に限られるものではなく、任意の複数の要素と、各要素のラベルとの組からなる教師データに適用可能である。また、発話テキストは、通話における発話をテキスト化したものだけでなく、チャットなどのテキストによる対話における発話であってもよい。また、対話における発話者は、人間に限らず、ロボットあるいはバーチャルエージェントなどであってもよい。
【0027】
図２に示すように、本実施形態に係る支援装置１０は、モデル学習部１１と、ラベル推論部１２と、通話別推論結果評価部１３と、通話別確認画面生成部１４と、発話別推論結果評価部１５と、発話別確認画面生成部１６と、を備える。通話別推論結果評価部１３、通話別確認画面生成部１４、発話別推論結果評価部１５および発話別確認画面生成部１６は、評価部１７を構成する。モデル学習部１１、ラベル推論部１２、通話別推論結果評価部１３、通話別確認画面生成部１４、発話別推論結果評価部１５および発話別確認画面生成部１６は、ＡＳＩＣ(Application Specific Integrated Circuit)、ＦＰＧＡ(Field-Programmable Gate Array)など専用のハードウェアによって構成されてもよいし、上述したように１つ以上のプロセッサによって構成されてもよい。
【0028】
モデル学習部１１は、発話テキスト（要素）と、発話テキストに付与された正解ラベルとの組からなる教師データが入力される。モデル学習部１１は、入力された教師データを用いて、発話テキストに対応するラベルを推論するモデルを学習する。モデルの学習方法は、当該モデルが適用されるシステムの目的に応じて、任意の学習方法を適用することができる。モデル学習部１１は、教師データの学習により作成したモデル（以下、「学習済みモデル」と称する。）をラベル推論部１２に出力する。なお、学習済みモデルは、予め用意されていてもよい。従って、支援装置１０は、モデル学習部１１を備えなくてもよい。
【0029】
ラベル推論部１２は、教師データと、モデル学習部１１により作成された学習済みモデルとが入力される。ラベル推論部１２に入力される教師データは、学習済みモデルの学習に用いられた教師データと同じである。ラベル推論部１２は、学習済みモデルを用いて、教師データを構成する発話テキスト（要素）のラベルを推論する（以下、学習済みモデルにより推論されたラベルを「推論ラベル」と称する。）。ラベル推論部１２は、教師データを構成する発話テキストそれぞれの推論ラベルを、推論結果として通話別推論結果評価部１３および発話別推論結果評価部１５に出力する。
【0030】
評価部１７は、教師データを構成する要素に付与されている正解ラベルと、ラベル推論部１２により推論された推論ラベルとを比較して評価し、評価結果を外部出力インタフェース１に出力する。また、評価部１７は、教師データを構成する要素と、その要素に付与されている正解ラベルと、その要素の推論ラベルとを含む、教師データを確認するための教師データ確認画面を生成する。評価部１７は、生成した教師データ確認画面を外部出力インタフェース１に出力する。
【0031】
外部出力インタフェース１は、教師データの作成・修正作業を行う作業者あるいは作業者による作業を管理する管理者により用いられる装置である。外部出力インタフェース１は、評価部１７から出力された、教師データに付与されている正解ラベルと、学習済みモデルにより推論された推論ラベルとの比較結果を表示するなどして提示する。外部出力インタフェース１は、支援装置１０と通信を行う機能、評価部１７の評価結果および教師データ確認画面などを提示（表示）する機能および操作入力を受け付ける機能を備えていれば、任意の構成であってよい。
【0032】
上述したように、評価部１７は、通話別推論結果評価部１３、通話別確認画面生成部１４、発話別推論結果評価部１５および発話別確認画面生成部１６を備える。
【0033】
通話別推論結果評価部１３は、教師データと、ラベル推論部１２の推論結果とが入力される。通常、教師データには、複数の話者による通話における複数の発話テキストからなる発話テキスト群が、複数の通話分だけ含まれる。すなわち、教師データは、系列的な複数の要素からなる要素群を複数含む。通話別推論結果評価部１３は、入力された教師データと、ラベル推論部１２の推論結果とを通話ごとに評価する。通話別推論結果評価部１３は、評価結果（通話別評価結果）を、通話別確認画面生成部１４および外部出力インタフェース１に出力する。通話別評価結果の詳細は後述する。
【0034】
通話別確認画面生成部１４は、通話別推論結果評価部１３から出力された通話別評価結果に基づき、通話ごとの教師データ確認画面（以下、「通話別確認画面」と称する。）を生成し、外部出力インタフェース１に出力する。通話別確認画面の詳細は後述する。
【0035】
発話別推論結果評価部１５は、教師データと、ラベル推論部１２の推論結果とが入力される。発話別推論結果評価部１５は、入力された教師データと、ラベル推論部１２の推論結果とを発話ごとに評価する。発話別推論結果評価部１５は、評価結果（発話別評価結果）を、発話別確認画面生成部１６および外部出力インタフェース１に出力する。発話別評価結果の詳細は後述する。
【0036】
発話別確認画面生成部１６は、発話別推論結果評価部１５から出力された発話別評価結果に基づき、発話ごとの教師データ確認画面（以下、「発話別確認画面」と称する。）を生成し、外部出力インタフェース１に出力する。発話別確認画面の詳細は後述する。
【0037】
本実施形態においては、教師データを構成する発話テキスト（要素）と、その発話テキストに付与されている正解ラベルと、その教師データを用いて学習された学習済みモデルにより推論された推論ラベルとを含む教師データ確認画面を生成する。そのため、本実施形態に係る支援装置１０によれば、作業者は、教師データ確認画面により、要素の正解ラベルと推論ラベルとを対比し、教師データの確認を容易に行うことができるので、教師データの確認作業の効率化を図ることができる。また、教師データの確認作業の効率化が図られることで、修正の必要なラベルの抽出が容易になり、ラベルの修正作業の効率化も図ることができる。
【0038】
次に、本実施形態に係る支援装置１０の動作について説明する。
【0039】
図３は、支援装置１０の動作の一例を示すフローチャートであり、本実施形態に係る支援装置１０による支援方法を説明するための図である。
【0040】
モデル学習部１１は、教師データを用いて、発話テキストを区別するラベルを推論するモデルを学習する（ステップＳ１１）。
【0041】
ラベル推論部１２は、モデル学習部１１により学習された学習済みモデルを用いて、教師データの要素に対応する推論ラベルを推論する（ステップＳ１２）。上述したように、学習済みモデルの学習に用いられる教師データと、ラベル推論部１２による教師データ推論処理に用いられる教師データとは同じである。
【0042】
通話別推論結果評価部１３は、教師データと、ラベル推論部１２の推論結果とを通話ごとに評価し、評価結果（通話別評価結果）を出力する（ステップＳ１３）。具体的には、通話別推論結果評価部１３は、通話ごとに、教師データを構成する発話テキストに付与されている正解ラベルと、ラベル推論部１２により推論された推論ラベルとの差異を比較する。そして、通話別推論結果評価部１３は、通話ごとの評価値を、評価結果の悪い通話（例えば、評価値が閾値以下の発話）から順に並べて、通話別評価結果として出力する。すなわち、通話別推論結果評価部１３は、評価結果の悪い要素群（複数の発話からなる通話）から順に、要素群ごとの評価結果を出力する。通話の評価値は、教師データを構成する各発話テキストの正解ラベルと推論ラベルとの適合率、再現率、Ｆ値あるいは一致率などを用いることができる。
【0043】
図４は、通話別評価結果の一例を示す図である。
【0044】
図４に示すように、通話別推論結果評価部１３は、通話別評価結果として、通話を識別するための識別情報である通話インデックスと、その通話における一致率などの評価値とを対応付けて出力する。ここで、通話別推論結果評価部１３は、評価結果が悪い順に、通話インデックスと評価値とを羅列し、例えば、テキストデータとして出力する。通話別評価結果には、通話の始端時刻および終端時刻が含まれてもよい。
【0045】
図３を再び参照すると、通話別確認画面生成部１４は、通話別評価結果に基づき、通話別確認画面を生成し（ステップＳ１４）、外部出力インタフェース１に出力する。
【0046】
図５は、通話別確認画面の一例を示す図である。
【0047】
図５に示すように、通話別確認画面生成部１４は、１通話ごとに、通話を構成する発話が開始された時間である始端時間と、発話が終了した時間である終端時間と、発話テキストと、各発話テキストの正解ラベルおよび推論ラベルとを含む、通話別確認画面を生成する。このように、通話別確認画面生成部１４は、教師データを構成する要素と、その要素の正解ラベルと、その要素の推論ラベルとを含む教師データ確認画面を生成する。具体的には、通話別確認画面生成部１４は、教師データを構成する要素に対応する正解ラベルと推論ラベルとを対比可能に示す（例えば、図５に示すように、要素に対応する正解ラベルと推論ラベルとを並べて示す）、教師データ確認画面を生成する。ここで、通話別確認画面生成部１４は、評価結果が悪い通話から順に、通話別確認画面を提示する。例えば、通話別確認画面生成部１４は、図５に示すように、評価結果が悪い通話ほど、通話別確認画面が手前に表示されるようにしてよい。すなわち、通話別確認画面生成部１４は、評価結果が悪い通話から順に確認可能となるように、要素ごとの通話別確認画面を生成してよい。上述したように、通話別確認画面には、発話の始端時間および終端時間が含まれる。そのため、作業者は、発話が重複しているかを確認することができる。なお、始端時間および終端時間は、通話別確認画面に必ずしも含まれていなくてもよい。
【0048】
このように、評価部１７を構成する通話別推論結果評価部１３は、要素群ごとに、その要素群を構成する要素に付与されている正解ラベルと、学習済みモデルにより推論された推論ラベルとの差異を評価する。また、評価部１７を構成する通話別確認画面生成部１４は、通話別評価結果に基づき、要素群ごとの教師データ確認画面（通話別確認画面）を生成し、評価結果の悪い要素群から順に、通話別確認画面を提示する。
【0049】
また、評価部１７を構成する通話別確認画面生成部１４は、通話ごとの通話別確認画面を切り替え可能に提示してよい。図５に示す例では、通話別確認画面生成部１４は、例えば、作業者による切替操作に応じて、手前に表示する発話別確認画面を切り替えてよい。このように、通話別確認画面生成部１４は、要素群ごとの評価結果を切り替え可能に提示してよい。
【0050】
通話ごとに通話別確認画面を提示することで、作業者は、通話単位で質の悪い教師データを発見し、修正することができる。また、通話ごとの通話別確認画面を切り替え可能とすることで、作業者は、例えば、連続的に通話ごとの評価結果を確認することができるので、教師データの確認作業の効率化を図ることができる。また、評価結果の悪い通話から順に確認可能となるように、通話別確認画面を生成することで、作業者は、通話単位で質の悪い教師データの傾向を発見し、修正の要点を把握することができる。その結果、教師データの修正作業の効率化を図ることができる。なお、通話別確認画面生成部１４は、図５に示す通話別確認画面を切り替え可能に提示する代わりに、通話別確認画面に相当するテキストデータのファイル群を、通話ごとの評価値に基づきディレクトリなどに分けて外部出力インタフェース１に出力してもよい。
【0051】
【0052】
通話別確認画面生成部１４は、図６に示すように、通話別確認画面において、オペレータおよびカスタマの発話テキストを時系列順に一列に並んで配置してよい。また、通話別確認画面生成部１４は、各発話テキストに対応付けて、発話が始まった始端時間、発話が終了した終端時間および発話に付与されたラベル（シーンラベル、用件ラベル、用件確認ラベルおよび話し終わりラベル）を配置してよい。図６に示すように、通話別確認画面生成部１４は、オペレータの発話テキストと、カスタマの発話テキストとを異なる色で表示してよい。なお、図６においては、色の相違がハッチングの相違により表現されている。
【0053】
通話別確認画面生成部１４は、図６に示すように、通話別確認画面において、複数の要素を一列に配置するとともに、複数の項目のラベルの構造に基づき、複数の項目のラベルを、そのラベルに対応する要素の一方側および他方側に振り分けて配置してよい。
【0054】
一般に、発話テキストに近い領域にラベルを配置したほうが、ラベルの確認・修正作業を行いやすい。したがって、発話テキストを一列に配置するとともに、発話テキストの両側に、複数の項目のラベルを振り分けて配置することで、発話テキストに近い領域を有効に活用し、ラベルの確認・修正の作業効率を高めることができる。
【0055】
図６に示す例では、シーンラベル、用件ラベルならびに用件確認ラベルが発話テキストの左側に配置され、話し終わりラベルが発話テキストの右側に配置されている。発話テキストへのシーンラベル、用件ラベルおよび用件確認ラベルの付与には、その発話テキストだけでなく、その前後の発話テキストの内容も考慮される。すなわち、シーンラベル、用件ラベルおよび用件確認ラベルは、発話テキストに付与するラベルを、その発話テキストを含む複数の発話テキストの内容に基づき決定する、長期文脈を考慮すべきラベルである。一方、発話テキストへの話し終わりラベルの付与は、主にその発話テキストだけを考慮すればよい。したがって、通話別確認画面生成部１４は、長期文脈を考慮すべきラベルを、発話テキストの左側に配置し、長期文脈を考慮しないラベルを、発話テキストの右側に配置してよい。
【0056】
また、図６に示す例では、通話別確認画面生成部１４は、用件ラベルおよび用件確認ラベルをシーンラベルよりも、発話テキストの近くに配置している。通常、「用件把握」のシーンラベルが付与された発話テキストに、用件ラベルあるいは用件確認ラベルが付与される。すなわち、シーンラベルが上位階層のラベルであり、用件ラベル／用件確認ラベルが下位階層のラベルである。したがって、通話別確認画面生成部１４は、階層的な構造を有する複数の項目のラベルのうち、階層の低いラベルほど、発話テキストの近くに配置してよい。こうすることで、下位階層のラベルほど、発話テキストを見たほうがラベルの確認・修正作業を行いやすいので、作業効率を高めることができる。また、話し終わりラベルは主に、発話の末尾に着目して付与される。したがって、発話テキストの右側に話し終わりラベルを配置することで、作業者は、発話テキストの末尾が見やすくなるので、話し終わりラベルの確認・修正の作業効率を高めることができる。
【0057】
また、通話別確認画面生成部１４は、教師データの修正作業において、作業者により修正作業のラベルが選択されると、複数の項目のラベルの階層構造に基づき、修正対象のラベルと関連するラベル（上位階層のラベルおよび下位階層のラベル）の表示態様を変化させてよい。図６に示す例では、「用件把握」のシーンラベルが更新対象のラベルとして選択されたとする。この場合、通話別確認画面生成部１４は、シーンラベルの下位階層のラベルである用件ラベルおよび用件確認発話ラベルの表示色を異ならせるなどして、表示態様を変化させる。こうすることで、修正対象のラベルと関連するラベルを作業者が把握しやすくなり、ラベルの付与の作業効率を高めることができる。
【0058】
また、通話別確認画面生成部１４は、上位階層のラベルまたは下位階層のラベルを更新した際に、関連するラベル間で矛盾が生じる場合には、矛盾が生じたラベルの表示態様を変化させてよい。こうすることで、階層的な構造を有する複数の項目のラベル間で矛盾が生じることをなくし、ラベルの修正の精度を向上することができる。
【0059】
また、通話別確認画面生成部１４は、教師データの対象としない発話テキスト、例えば、フィラーおよび「はい」などの短い発話テキストの表示態様を、他の発話テキストと異ならせてよい。こうすることで、ラベルの付与が不要な発話テキストを作業者が容易に把握できるので、作業効率を高めることができる。
【0060】
図３を再び参照すると、発話別推論結果評価部１５は、教師データと、ラベル推論部１２の推論結果とを発話ごとに評価し、評価結果（発話別評価結果）を出力する（ステップＳ１５）。発話別推論結果評価部１５は、教師データのラベルと、ラベル推論部１２の推論結果のラベルとを発話ごとに比較し、教師データのラベルと推論結果のラベルとが異なるパターンである差異パターンを集計して、発話別評価結果として出力する。
【0061】
図７は、発話別評価結果の一例を示す図である。
【0062】
図７に示すように、発話別推論結果評価部１５は、発話別評価結果として、例えば、差異パターンの出現回数を混同行列で示した結果、および、ラベル別の評価値（適合率（precision）、再現率（recall）、Ｆ値（f1-score）、出現数（support））を、テキストデータで出力する。
【0063】
図３を再び参照すると、発話別確認画面生成部１６は、発話別評価結果に基づき、発話別確認画面を生成し（ステップＳ１６）、外部出力インタフェース１に出力する。
【0064】
図８は、発話別確認画面の一例を示す図である。
【0065】
図８に示すように、発話別確認画面生成部１６は、発話テキストと、その発話が含まれる通話における、当該発話テキストの順番を示す行番号と、その発話テキストの正解ラベルおよび推論ラベルとを対応つけた発話別確認画面を生成する。このように、発話別確認画面生成部１６は、教師データを構成する要素と、その要素に付与された正解ラベルと、その要素の推論ラベルとを含む教師データ確認画面を生成する。具体的には、発話別確認画面生成部１６は、教師データを構成する要素に対応する正解ラベルと推論ラベルとを対比可能に示す（例えば、図８に示すように、要素に対応する正解ラベルと推論ラベルとを並べて示す）、教師データ確認画面を生成する。発話別確認画面生成部１６は、正解ラベルと推論ラベルとが異なる発話ごとに、発話別確認画面を生成する。図８においては、点線矩形で囲まれた行番号４１の発話が表示対象の発話である。図８に示すように、発話別確認画面生成部１６は、表示対象の発話テキスト（正解ラベルと推論ラベルとが異なる発話テキスト）には、所定の印（図８では、「＊＊」）を付してよい。発話別確認画面生成部１６は、表示対象の発話の発話別確認画面に、表示対象の発話の前後の発話を含めてよい。すなわち、発話別確認画面生成部１６は、正解ラベルと、推論ラベルとが異なる要素およびその要素の前後の要素を含む発話別確認画面を生成してよい。図８においては、行番号３８から行番号４４までの発話テキストが、行番号４１の発話テキストを表示対象とする発話別確認画面に含まれる例を示している。
【0066】
発話別確認画面生成部１６は、発話ごとの発話別確認画面を、教師データと推論ラベルとが異なるパターンである差異パターンのうち、出現回数の多い差異パターンを含む発話テキストから順に提示する。すなわち、発話別確認画面生成部１６は、教師データと推論ラベルとが異なるパターンである差異パターンのうち、出現回数の多い差異パターンを含む要素から順に発話別確認画面を提示してよい。
【0067】
このように、評価部１７を構成する発話別推論結果評価部１５は、教師データを構成する要素ごとに、当該要素に付与されている正解ラベルと、学習済みモデルにより推論された推論ラベルとを比較し、評価結果を出力する。また、評価部１７を構成する発話別確認画面生成部１６は、教師データを構成する要素ごとに、正解ラベルと推論ラベルとが異なる差異パターンのうち、出現回数の多い差異パターンを含む要素から順に、教師データ確認画面（発話別確認画面）を生成して提示する。
【0068】
発話別確認画面生成部１６は、図８に示すように、複数の発話別確認画面を一部が重畳するようにして提示し、例えば、作業者による切替操作に応じて、手前に表示する発話別確認画面を切り替えてよい。すなわち、発話別確認画面生成部１６は、出現回数の多い差異パターンを含む要素から順に確認可能となるように、発話別確認画面を生成してよい。こうすることで、確認すべき教師データだけを、影響が大きい順に素早く確認することができる。
【0069】
発話別確認画面を表示することで、作業者は、発話単位でラベルに誤りのある教師データを発見し、修正することができる。また、正解ラベルと、推論ラベルとが異なる要素およびその要素の前後の要素を提示することで、作業者は、前後の発話テキスト（要素）の内容も考慮して、表示対象の発話テキストのラベルを修正することができるので、ラベルの修正作業の効率化を図ることができる。また、同じ差異パターンの複数の発話別確認画面を切り替え可能に提示することで、作業者は、同じ差異パターンの発話別確認画面を連続的に確認し、差異パターンごとに、修正の要点を把握することができる。その結果、教師データの修正作業の効率化を図ることができる。なお、発話別確認画面生成部１６は、図８に示す発話別確認画面を切り替え可能に提示する代わりに、発話別確認画面に相当するテキストデータのファイル群を、ディレクトリなどに分けて外部出力インタフェース１に出力してもよい。
【0070】
このように、本実施形態に係る支援装置１０は、ラベル推論部１２と、評価部１７とを備える。ラベル推論部１２は、教師データを用いて学習された学習済みモデルを用いて、教師データを構成する要素の推論ラベルを推論する。評価部１７は、教師データを構成する要素と、その要素に付与されている正解ラベルと、学習済みモデルにより推論された推論ラベルとを含む、教師データ確認画面を生成する。
【0071】
また、本実施形態に係る教師データ修正方法は、ラベルを推論するステップ（ステップＳ１２）と、教師データ確認画面を生成するステップ（ステップＳ１４，Ｓ１６）とを含む。ラベルを推論するステップでは、教師データを用いて学習された学習済みモデルを用いて、教師データを構成する要素の推論ラベルを推論する。教師データ確認画面を生成するステップでは、教師データを構成する要素と、その要素に付与されている正解ラベルと、その要素の推論ラベルとを含む、教師データ確認画面を生成する。
【0072】
こうすることで、本実施形態に係る支援装置１０および支援方法によれば、要素の正解ラベルと推論ラベルとを含む教師データ確認画面により、作業者による教師データの確認が容易になるので、教師データの確認作業の効率化を図ることができる。
【0073】
【0074】
本実施形態に係る支援装置１０Ａは、第１の実施形態に係る支援装置１０と比較して、推論誤り除外部１８を追加した点が異なる。
【0075】
推論誤り除外部１８は、発話別推論結果評価部１５による発話別評価結果が入力される。推論誤り除外部１８は、学習済みモデルにより推論された推論ラベルが予め定められた規則により誤りであると判定される要素を除外する推論誤り除外処理を行う。具体的には、推論誤り除外部１８は、発話別推論結果評価部１５の発話別評価結果から、推論ラベルが明らかに誤っている発話を除外する。明らかに誤っている発話とは、例えば、１つの発話のみで１つのシーンが構成されている発話、通話の冒頭であるにも関わらず、発話テキストに、通話の終了を示すクロージングあるいはカスタマの用件に対する対応を示すラベルが付与された発話である。明らかに誤っている発話の判定条件は、予め人手により定められる。
【0076】
【0077】
発話別推論結果評価部１５から発話別評価結果が出力されると（ステップＳ１５）、推論誤り除外部１８は、発話別評価結果から、学習済みモデルにより推論された推論ラベルが明らかに誤っている発話を除外する（ステップＳ２１）。
【0078】
なお、本実施形態においては、推論誤り除外部１８は、発話別評価結果から、明らかに誤っている発話を除外する例を用いて説明したが、本開示はこれに限られるものではない。要は、推論誤り除外部１８は、評価結果および教師データ確認画面から、明らかに誤っている発話を除外すればよい。したがって、推論誤り除外部１８は、例えば、ラベル推論部１２と、通話別推論結果評価部１３ならびに発話別推論結果評価部１５との間に設けられてもよい。
【0079】
このように本実施形態においては、支援装置１０Ａは、学習済みモデルにより推論された推論ラベルが予め定められた規則により誤りであると判定される要素を除外する推論誤り除外部１８をさらに備える。
【0080】
そのため、明らかな誤りが除去されるので、作業者が確認すべき教師データの数を減らし、教師データの修正作業の効率化を図ることができる。
【0081】
（第３の実施形態）
図１１は、本開示の第３の実施形態に係る支援装置１０Ｂの機能構成の一例を示す図である。本実施形態に係る支援装置１０Ｂは、教師データを構成する要素にラベルを付与して教師データを作成する教師データ作成者の評価を支援するものである。図１１において、図２と同様の構成には同じ符号を付し、説明を省略する。
図１１は、本開示の第３の実施形態に係る支援装置１０Ｂの機能構成の一例を示す図である。本実施形態に係る支援装置１０Ｂは、教師データを構成する要素にラベルを付与して教師データを作成する教師データ作成者の評価を支援するものである。図１１において、図２と同様の構成には同じ符号を付し、説明を省略する。
【0082】
図１１に示すように、本実施形態に係る支援装置１０Ｂは、モデル学習部１１と、ラベル推論部１２と、通話別推論結果評価部１３Ｂと、通話別確認画面生成部１４Ｂと、発話別推論結果評価部１５Ｂと、発話別確認画面生成部１６Ｂと、教師データ作成者評価部２１とを備える。通話別推論結果評価部１３Ｂ、通話別確認画面生成部１４Ｂ、発話別推論結果評価部１５Ｂ、発話別確認画面生成部１６Ｂおよび教師データ作成者評価部２１は、評価部１７Ｂを構成する。すなわち、本実施形態に係る支援装置１０Ｂは、第１の実施形態に係る支援装置１０と比較して、通話別推論結果評価部１３、通話別確認画面生成部１４、発話別推論結果評価部１５および発話別確認画面生成部１６をそれぞれ、通話別推論結果評価部１３Ｂ、通話別確認画面生成部１４Ｂ、発話別推論結果評価部１５Ｂ、発話別確認画面生成部１６Ｂに変更した点と、教師データ作成者評価部２１を追加した点とが異なる。
【0083】
評価部１７Ｂは、教師データを構成する要素の正解ラベルと、ラベル推論部１２により推論された、要素の推論ラベルとの比較に基づき、教師データ作成者の評価結果を生成する。上述したように、通話別推論結果評価部１３Ｂ、通話別確認画面生成部１４Ｂ、発話別推論結果評価部１５Ｂ、発話別確認画面生成部１６Ｂおよび教師データ作成者評価部２１は、評価部１７Ｂを構成する。
【0084】
通話別推論結果評価部１３Ｂ、通話別確認画面生成部１４Ｂ、発話別推論結果評価部１５Ｂおよび発話別確認画面生成部１６Ｂには、学習済みモデルの作成に用いられた教師データを作成した教師データ作成者を識別する情報である教師データ作成者情報が入力される。上述したように、実用に耐えうる推定精度のモデルを作成するためには、大量の教師データが必要となる。そのため、通常、教師データの作成は、複数の教師データ作業者により行われる。教師データ作成者情報は、教師データの作成を行った複数の教師データ作成者それぞれを識別する情報である。
【0085】
通話別推論結果評価部１３Ｂは、通話別推論結果評価部１３と同様に、教師データと、ラベル推論部１２の推論結果とを通話ごとに評価し、評価結果（通話別評価結果）を、通話別確認画面生成部１４Ｂおよび外部出力インタフェース１に出力する。ここで、通話別推論結果評価部１３Ｂは、教師データ作成者情報に基づき、通話別評価結果を教師データ作成者ごとに生成する。すなわち、評価部１７Ｂを構成する通話別推論結果評価部１３Ｂは、要素群ごとの、その要素群を構成する要素の正解ラベルと推論ラベルとの比較による評価結果を、教師データ作成者ごとに生成する。詳細は後述するが、通話別推論結果評価部１３Ｂは、教師データ作成者ごとに生成した通話別評価結果を切り替え可能に提示してよい。
【0086】
通話別確認画面生成部１４Ｂは、通話別確認画面生成部１４と同様に、通話別推論結果評価部１３Ｂから出力された通話別評価結果に基づき、通話ごとの教師データ確認画面（通話別確認画面）を生成し、外部出力インタフェース１に出力する。ここで、通話別確認画面生成部１４Ｂは、教師データ作成者情報に基づき、通話別確認画面を教師データ作成者ごとに生成する。すなわち、評価部１７Ｂを構成する通話別確認画面生成部１４Ｂは、要素群ごとの、その要素群を構成する要素と、要素の正解ラベルと、要素の推論ラベルとを含む教師データ確認画面を、教師データ作成者ごとに生成する。詳細は後述するが、通話別確認画面生成部１４Ｂは、同一の教師データ作成者について生成した教師データ確認画面を切り替え可能に提示してよい。
【0087】
発話別推論結果評価部１５Ｂは、発話別推論結果評価部１５と同様に、教師データと、ラベル推論部１２の推論結果とを発話ごとに評価し、評価結果（発話別評価結果）を、発話別確認画面生成部１６Ｂおよび外部出力インタフェース１に出力する。すなわち、評価部１７Ｂを構成する発話別推論結果評価部１５Ｂは、教師データを構成する要素ごとの、正解ラベルと推論ラベルとの比較に基づく評価結果を、教師データ作成者ごとに生成する。
【0088】
発話別確認画面生成部１６Ｂは、発話別確認画面生成部１６と同様に、発話別推論結果評価部１５Ｂから出力された発話別評価結果に基づき、発話ごとの教師データ確認画面（発話別確認画面）を生成し、外部出力インタフェース１に出力する。ここで、発話別確認画面生成部１６Ｂは、教師データ作成者情報に基づき、発話別確認画面を教師データ作成者ごとに生成する。すなわち、評価部１７Ｂを構成する発話別確認画面生成部１６Ｂは、教師データを構成する要素と、その要素の正解ラベルと、その要素の推論ラベルとを含む教師データ確認画面を、教師データ作成者ごとに生成する。詳細は後述するが、発話別確認画面生成部１６Ｂは、発話別確認画面（要素群ごとの評価結果を確認可能な画面）を、教師データ作成者ごとに切り替え可能なように生成してよい。
【0089】
教師データ作成者評価部２１は、教師データと、ラベル推論部１２による推論結果と、教師データ作成者情報とが入力される。教師データ作成者評価部２１は、教師データを構成する要素の正解ラベルと、その要素の推論ラベルとの比較に基づき、教師データ作成者の評価結果（以下、「教師データ作成者評価結果」と称する。）を生成し、外部出力インタフェース１に出力する。
【0090】
本実施形態においては、教師データを構成する要素に付与されている正解ラベルと、その要素の推論ラベルとの比較に基づき、教師データ作成者の評価結果を生成することで、教師データ作成者の評価をより効率的に行うことができる。また、教師データ作成者ごとに、教師データの作成時における誤りの傾向を詳細に分析することを可能とし、教師データ作成者に対する教師データの作成方針の教育を、効率的に行うことができる。
【0091】
次に、本実施形態に係る支援装置１０Ｂの動作について説明する。
【0092】
図１２は、支援装置１０Ｂの動作の一例を示すフローチャートであり、本実施形態に係る支援装置１０Ｂによる支援方法を説明するための図である。図１２において、図３と同様の処理には同じ符号を付し、説明を省略する。
【0093】
ラベル推論部１２により教師データを構成する要素の推論ラベルが推論されると（ステップＳ１２）、教師データ作成者評価部２１は、教師データを構成する要素の正解ラベルと、その要素の推論ラベルとの比較に基づき、教師データ作成者評価結果を生成し、外部出力インタフェース１に出力する（ステップＳ３１）。
【0094】
図１３は、教師データ作成者評価結果の一例を示す図である。
【0095】
図１３に示すように、教師データ作成者評価部２１は、教師データ作成者評価結果として、教師データ作成者を識別するための識別情報である教師データ作成者インデックスと、その教師データ作成者により作成された教師データの評価値とを対応付けて出力する。教師データの評価値は、例えば、教師データ作成者が作成した複数の教師データの正解ラベルに対する、推論ラベルの適合率、再現率、Ｆ値あるいは一致率などの値の平均値である。すなわち、教師データ作成者評価部２１は、要素群ごとの、その要素群を構成する要素に対応する正解ラベルと推論ラベルとの比較に基づく評価結果を、教師データ作成者ごとに確認可能なように生成する。作成した教師データの評価値が高い教師データ作成者は、適切なラベルを付与している可能性が高いと考えられる。一方、作成した教師データの評価値が低い教師データ作成者は、適切なラベルを付与することができておらず、ラベルの付与のポリシーの習得などの訓練が必要である可能性が高いと考えられる。教師データ作成者評価部２１は、例えば、評価値の悪い順に、教師データインデックスと、評価値とを出力する。こうすることで、作成する教師データの品質が低く、ラベル付与のポリシーの習得などのトレーニングが必要な可能性が高い教師データ作成者を容易に把握することができる。
【0096】
図１２を再び参照すると、通話別推論結果評価部１３Ｂは、教師データの正解ラベルと、ラベル推論部１２の推論結果とを通話ごとに評価し、通話別評価結果を出力する（ステップＳ３２）。
【0097】
図１４は、通話別推論結果評価部１３Ｂが出力する通話別推論結果の一例を示す図である。
【0098】
図１４に示すように、通話別推論結果評価部１３Ｂは、通話別推論結果評価部１３と同様に、通話別評価結果として、通話インデックスと、その通話における一致率などの評価値とを対応付けて出力する。また、通話別推論結果評価部１３Ｂは、通話別推論結果評価部１３と同様に、評価結果が悪い順に、通話インデックスと評価値とを羅列し、例えば、テキストデータとして出力してよい。通話別評価結果には、通話の始端時刻および終端時刻が含まれてもよい。
【0099】
通話別推論結果評価部１３Ｂは、図１４に示すように、通話別評価結果を、教師データ作成者ごとに生成する。そして、通話別推論結果評価部１３は、教師データ作成者ごとの通話別評価結果を切り替え可能に提示してよい。教師データ作成者ごとの通話別評価結果が生成されることで、教師データ作成者ごとの、ラベル付与の傾向などを容易に把握することができる。
【0100】
図１２を再び参照すると、通話別確認画面生成部１４Ｂは、通話別評価結果に基づき、通話別確認画面を生成し（ステップＳ３３）、外部出力インタフェース１に出力する。
【0101】
図１５は、通話別確認画面の一例を示す図である。
【0102】
図１５に示すように、通話別確認画面生成部１４Ｂは、通話別確認画面生成部１４と同様に、１通話ごとに、通話を構成する発話の始端時間と、発話の終端時間と、発話テキストと、発話テキストの正解ラベルおよび推論ラベルとを含む、通話別確認画面生成する。ここで、通話別確認画面生成部１４Ｂは、教師データ作成者ごとに、通話別確認画面を生成する。通話別確認画面生成部１４Ｂは、どの教師データ作成者について生成した通話別確認画面であるかを示すために、図１５に示すように、教師データ作成者インデックスを通話別確認画面に含める。通話別確認画面生成部１４Ｂは、図１５に示すように、同一の教師データ作成者について生成した通話別確認画面を重畳し、切り替え可能に提示してもよい。すなわち、通話別確認画面生成部１４Ｂは、要素群ごとの、その要素群を構成する要素と、その要素に対応する正解ラベルと、その要素の推論ラベルとを含み、要素群ごとに切り替え可能な教師データ確認画面（通話別確認画面）を、教師データ作成者ごとに生成してよい。この場合、通話別確認画面生成部１４Ｂは、評価結果が悪い通話ほど、通話別確認画面が手前に表示されるようにしてよい。
【0103】
図１２を再び参照すると、発話別推論結果評価部１５Ｂは、教師データと、ラベル推論部１２の推論結果とを発話ごとに評価し、評価結果（発話別評価結果）を出力する（ステップＳ３４）。
【0104】
図１６は、発話別評価結果の一例を示す図である。
【0105】
図１６に示すように、発話別推論結果評価部１５Ｂは、発話別推論結果評価部１５と同様に、発話別評価結果として、例えば、差異パターンの出現回数を混同行列で示した結果、および、ラベル別の評価値（適合率（precision）、再現率（recall）、Ｆ値（f1-score）、出現数（support））を、テキストデータで出力する。ここで、発話別推論結果評価部１５Ｂは、教師データ作成者ごとに、発話別評価結果を出力する。発話別推論結果評価部１５Ｂは、どの教師データ作成者について出力した発話別評価結果であるかを示すために、図１６に示すように、教師データ作成者インデックスを発話別評価結果に含める。教師データ作成者ごとに発話別評価結果を出力することで、その教師データ作成者がラベルの付与を誤りやすい差異パターンを確認することができる。また、教師データ作成者あるいはその管理者がラベルを付与するポリシーの誤りを把握しやすくなる。上述したように、発話別評価結果は、差異パターンの出現頻度およびラベルごとの評価値などの、教師データ作成者が作成した教師データの評価結果を含む。したがって、発話別評価結果が教師データ作成者評価結果として出力されてもよい。
【0106】
なお、発話別推論結果評価部１５Ｂは、図１６に示すラベルごとの評価値の代わりに、図１７に示すような、混同が生じやすい差異パターンをランキング形式で示してもよい。混同が生じやすい差異パターンとは、正解ラベルと推論ラベルとが異なるパターンであって、混同あるいは入れ替わりが生じやすいパターンである。混同が生じやすい差異パターンの件数は、例えば、正解ラベルがＡであり、推論ラベルがＢである発話の件数と、正解ラベルがＢであり、推論ラベルがＡである発話との合計である。また、発話別推論結果評価部１５Ｂは、混同が生じやすい差異パターンを発話別評価結果に含めてもよい。こうすることで、教師データ作成者が、間違いやすい差異パターン（付与が苦手なラベル）を把握することができる。また、教師データ作成者毎のラベルの付与ポリシーの認識誤りに、教師データ作成者の管理者が気付くことができる。
【0107】
図１２を再び参照すると、発話別確認画面生成部１６Ｂは、発話別評価結果に基づき、発話別確認画面を生成し（ステップＳ３５）、外部出力インタフェース１に出力する。
【0108】
図１８は、発話別確認画面の一例を示す図である。
【0109】
図１８に示すように、発話別確認画面生成部１６Ｂは、発話別確認画面生成部１６と同様に、発話テキストと、発話が含まれる通話における、当該発話テキストの順番を示す行番号と、その発話テキストの正解ラベルおよび推論ラベルとを対応つけた発話別確認画面を生成する。ここで、発話別確認画面生成部１６Ｂは、教師データ作成者ごとに、発話別確認画面を生成する。すなわち、発話別確認画面生成部１６Ｂは、要素ごとの、要素と、要素に対応する正解ラベルと、要素の推論ラベルとを含む教師データ確認画面（発話別確認画面）を、教師データ作成者ごとに確認可能なように生成する。
【0110】
なお、発話別確認画面生成部１６Ｂは、発話別確認画面生成部１６と同様に、出現回数の多い差異パターンを含む発話テキストから順に、発話別確認画面を生成して提示してよい。すなわち、発話別確認画面生成部１６Ｂは、教師データに付与されている正解ラベルと学習済みモデルによる推論ラベルとが異なるパターンである差異パターンのうち、出現回数の多い差異パターンを含む要素から順に発話別確認画面を提示してよい。また、発話別確認画面生成部１６Ｂは、同一の教師データ作成者について生成した複数の発話別確認画面を切り替え可能に提示してよい。
【0111】
このように本実施形態に係る支援装置１０Ｂは、ラベル推論部１２と、評価部１７Ｂとを備える。ラベル推論部１２は、教師データを用いて学習された、要素に対応するラベルを推論するモデルを用いて、教師データを構成する要素に対応するラベルである推論ラベルを推論する。評価部１７は、教師データを構成する要素の正解ラベルと、要素の推論ラベルとの比較に基づき、教師データ作成者の評価結果を生成する。
【0112】
また、本実施形態に係る支援方法は、推論するステップと、評価結果を生成するステップと、を含む。推論するステップでは、教師データを用いて学習された、要素に対応するラベルを推論するモデルを用いて、教師データを構成する要素に対応するラベルである推論ラベルを推論する。評価結果を生成するステップでは、教師データを構成する要素の正解ラベルと、要素の推論ラベルとの比較に基づき、教師データ作成者の評価結果を生成する。
【0113】
教師データを構成する要素の正解ラベルと、その要素の推論ラベルとの比較に基づき、教師データ作成者の評価結果を生成することで、教師データ作成者の評価をより効率的に行うことができる。また、教師データ作成者ごとに、教師データ作成時における誤りの傾向を詳細に分析することを可能とし、教師データ作成者に対する作成方針の教育を、効率的に行うことができる。
【0114】
上述した支援装置１０，１０Ａ，１０Ｂの各部として機能させるためにコンピュータを好適に用いることが可能である。そのようなコンピュータは、支援装置１０，１０Ａ，１０Ｂの各部の機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータのＣＰＵ（Central Processing Unit）によってこのプログラムを読み出して実行させることで実現することができる。すなわち、当該プログラムは、コンピュータを、上述した支援装置１０，１０Ａ，１０Ｂとして機能させることができる。
【0115】
以上の実施形態に関し、更に以下の付記を開示する。
【0116】
（付記項１）
メモリと、
前記メモリに接続された少なくとも１つのプロセッサと、
を含み、
前記プロセッサは、
要素と、前記要素に対応する正解ラベルとの組からなる教師データを用いて学習された、前記要素に対応するラベルを推論するモデルを用いて、前記教師データを構成する要素に対応するラベルである推論ラベルを推論し、
前記教師データを構成する要素に対応する正解ラベルと、前記要素の推論ラベルとの比較に基づき、前記教師データ作成者の評価結果を生成する、支援装置。
メモリと、
前記メモリに接続された少なくとも１つのプロセッサと、
を含み、
前記プロセッサは、
要素と、前記要素に対応する正解ラベルとの組からなる教師データを用いて学習された、前記要素に対応するラベルを推論するモデルを用いて、前記教師データを構成する要素に対応するラベルである推論ラベルを推論し、
前記教師データを構成する要素に対応する正解ラベルと、前記要素の推論ラベルとの比較に基づき、前記教師データ作成者の評価結果を生成する、支援装置。
【0117】
（付記項２）
コンピュータによって実行可能なプログラムを記憶した非一時的記憶媒体であって、前記コンピュータを付記項１に記載の支援装置として機能させる、プログラムを記憶した非一時的記憶媒体。
コンピュータによって実行可能なプログラムを記憶した非一時的記憶媒体であって、前記コンピュータを付記項１に記載の支援装置として機能させる、プログラムを記憶した非一時的記憶媒体。
【0118】
本明細書に記載された全ての文献、特許出願および技術規格は、個々の文献、特許出願、および技術規格が参照により取り込まれることが具体的かつ個々に記載された場合と同程度に、本明細書中に参照により取り込まれる。
【符号の説明】
【0119】
１０，１０Ａ，１０Ｂ 支援装置
１１ モデル学習部
１２ ラベル推論部
１３，１３Ｂ 通話別推論結果評価部
１４，１４Ｂ 通話別確認画面生成部
１５，１５Ｂ 発話別推論結果評価部
１６，１６Ｂ 発話別確認画面生成部
１７ 評価部
１８ 推論誤り除外部
２１ 教師データ作成者評価部
１１０ プロセッサ
１２０ ＲＯＭ
１３０ ＲＡＭ
１４０ ストレージ
１５０ 入力部
１６０ 表示部
１７０ 通信インタフェース
１９０ バス
１１ モデル学習部
１２ ラベル推論部
１３，１３Ｂ 通話別推論結果評価部
１４，１４Ｂ 通話別確認画面生成部
１５，１５Ｂ 発話別推論結果評価部
１６，１６Ｂ 発話別確認画面生成部
１７ 評価部
１８ 推論誤り除外部
２１ 教師データ作成者評価部
１１０ プロセッサ
１２０ ＲＯＭ
１３０ ＲＡＭ
１４０ ストレージ
１５０ 入力部
１６０ 表示部
１７０ 通信インタフェース
１９０ バス
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】