特開 2024-161180 ラベル付与支援装置、ラベル付与支援方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024161180

(43)【公開日】2024-11-15

(54)【発明の名称】ラベル付与支援装置、ラベル付与支援方法およびプログラム

(51)【国際特許分類】

   G06F 3/16 20060101AFI20241108BHJP

   G10L 15/10 20060101ALI20241108BHJP

   G10L 15/28 20130101ALI20241108BHJP

【ＦＩ】

G06F3/16 650

G10L15/10 500Z

G10L15/28 230K

G06F3/16 620

【審査請求】有

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2024148402

(22)【出願日】2024-08-30

(62)【分割の表示】P 2023503534の分割

【原出願日】2021-03-01

(71)【出願人】

【識別番号】000004226

【氏名又は名称】日本電信電話株式会社

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】100164471

【弁理士】

【氏名又は名称】岡野 大和

(74)【代理人】

【識別番号】100176728

【弁理士】

【氏名又は名称】北村 慎吾

(72)【発明者】

【氏名】折橋 翔太

(72)【発明者】

【氏名】澤田 雅人

(57)【要約】

【課題】ラベルの付与をより簡易かつ効率的に行う。
【解決手段】
本開示に係るラベル付与支援装置（１０）は、予め用意された既存モデルを用いて、複数の要素それぞれに対する事前ラベルを推定して複数の要素それぞれに付与する事前ラベル推定部（１１）と、発話テキストである複数の要素それぞれと、複数の要素に付与された、発話に対応するラベルの更新操作のためのラベル付与作業画面であって、複数の要素それぞれと、複数の要素それぞれに付与されたラベルとを対応付けて示すラベル付与作業画面を生成し、外部入出力インタフェース（１）に出力するラベル付与作業画面出力部（１３）、を備え、ラベルは話し終わりラベルであり、ラベル付与作業画面において、複数の要素の末尾もしくは末尾近くに配置される。
【選択図】図２

【特許請求の範囲】

【請求項1】

発話テキストである複数の要素それぞれに対する、発話に対応するラベルの付与を支援するラベル付与支援装置であって、
前記複数の要素に付与されたラベルの更新操作のためのラベル付与作業画面であって、前記複数の要素それぞれと、前記複数の要素それぞれに付与されたラベルとを対応付けて示す前記ラベル付与作業画面を生成し、外部入出力インタフェースに出力する出力部を備え、
前記ラベルは話し終わりラベルであり、前記ラベル付与作業画面において、前記複数の要素の末尾もしくは末尾近くに配置されるラベル付与支援装置。

【請求項2】

請求項１に記載のラベル付与支援装置において、
前記複数の要素それぞれに対するラベルのうち、予め定められた規則に基づき誤りであると判定されるラベルを訂正する事前ラベル訂正部をさらに備えるラベル付与支援装置。

【請求項3】

請求項１に記載のラベル付与支援装置において、
前記出力部は、前記ラベル付与作業画面において、前記発話テキストが選択されると、前記選択された発話テキストに対応する発話音声および前記選択された発話テキストに対応する発話音声の波形画像の少なくとも一方を、前記外部入出力インタフェースに出力する、ラベル付与支援装置。

【請求項4】

請求項１に記載のラベル付与支援装置において、
前記ラベルは、第１のラベルと第２のラベルとを含み、
前記第１のラベルは、独立してラベルの付与が可能な項目のラベルであり、
前記第２のラベルは、階層構造を有するラベル、または、一の要素のラベルを前記一の要素を含む複数の要素に基づき決定する項目のラベルであり、
前記出力部は、前記第１のラベルの更新操作のための第１のラベル付与作業画面と、前記第２のラベルの更新操作のための第２のラベル付与作業画面と、を独立して前記外部入出力インタフェースに出力する、ラベル付与支援装置。

【請求項5】

発話テキストである複数の要素それぞれに対する、発話に対応するラベルの付与を支援するラベル付与支援方法であって、
前記複数の要素に付与されたラベルの更新操作のためのラベル付与作業画面であって、前記複数の要素それぞれと、前記複数の要素それぞれに付与されたラベルとを対応付けて示す前記ラベル付与作業画面を生成し、外部入出力インタフェースに出力するステップを含み、
前記ラベルは話し終わりラベルであり、前記ラベル付与作業画面において、前記複数の要素の末尾もしくは末尾近くに配置される、ラベル付与支援方法。

【請求項6】

コンピュータを、請求項１から４のいずれか一項に記載のラベル付与支援装置として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、ラベル付与支援装置、ラベル付与支援方法およびプログラムに関する。

【背景技術】

【0002】

近年、コンタクトセンタにおける応対品質の向上を目的として、通話内容をリアルタイムに音声認識し、自然言語処理技術を駆使して応対中のオペレータに適切な情報を自動的に提示するシステムが提案されている。

【0003】

例えば、非特許文献１には、オペレータとカスタマとの対話において、予め想定される質問事項とその質問事項に対する回答（ＦＡＱ）とをオペレータに提示する技術が開示されている。この技術では、オペレータとカスタマとの対話が音声認識され、話者が話し終わったかを判定する「話し終わり判定」により、意味的なまとまりのある発話テキストに変換される。次に、発話テキストに対応する発話が、オペレータによる挨拶、カスタマの用件の確認、用件への対応あるいは対話のクロージングといった、対話におけるどの応対シーンでの発話であるかを推定する「応対シーン推定」が行われる。「応対シーン推定」により対話の構造化が行われる。「応対シーン推定」の結果から、カスタマの用件を含む発話あるいはオペレータがカスタマの用件を確認する発話を抽出する「ＦＡＱ検索発話判定」が行われる。予め用意されたＦＡＱのデータベースに対して、「ＦＡＱ検索発話判定」により抽出された発話に基づく検索クエリを用いた検索が行われ、検索結果がオペレータに提示される。

【0004】

上述した「話し終わり判定」、「応対シーン推定」および「ＦＡＱ検索発話判定」には、発話テキストに対して、発話を区分するラベルが付与された教師データを、深層ニューラルネットワークなどを用いて学習することで構築されたモデルが用いられる。したがって、「話し終わり判定」、「応対シーン推定」および「ＦＡＱ検索発話判定」は、系列的な要素（対話における発話）にラベル付けする系列ラベリング問題として捉えることができる。非特許文献２には、系列的な発話に、その発話が含まれる応対シーンに対応するラベルを付与した大量の教師データを、長短期記憶を含む深層ニューラルネットワークにより学習することで、応対シーンを推定する技術が記載されている。

【先行技術文献】

【非特許文献】

【0005】

【非特許文献1】長谷川隆明, 関口裕一郎, 山田節夫, 田本真詞, “オペレータの応対を支援する自動知識支援システム,” NTT技術ジャーナル, vol.31, no.7, pp.16-19, Jul. 2019.

【非特許文献2】R. Masumura, S. Yamada, T. Tanaka, A. Ando, H. Kamiyama, and Y. Aono, “Online Call Scene Segmentation of Contact Center Dialogues based on Role Aware Hierarchical LSTM-RNNs,” Asia-Pacific Signal and Information Processing Association Annual Summit and Conference (APSIPA ASC), Nov. 2018.

【発明の概要】

【発明が解決しようとする課題】

【0006】

上述した非特許文献１，２に記載の技術では、推定精度を実用に耐えうる水準にするためには、大量の教師データが必要となる。例えば、非特許文献１によれば、１０００通話程度のコールセンタの対話ログから教師データを作成してモデルを学習することで、高い推定精度を得ることができる。教師データは、作業者が、発話音声の音声認識により得られた発話テキストを参照しながら、各発話テキストにラベルを付与することで作成される。

【0007】

図１３は、発話テキストへのラベルの付与の一例を示す図である。図１３においては、オペレータとカスタマとの対話における発話に対応する発話テキスト（以下では、発話に対応する発話テキストを単に「発話テキスト」と称することがある。）にラベルを付与する例を示している。図１３において、オペレータの発話テキストは実線の吹き出しで示し、カスタマの発話テキストは点線の吹き出しで示している。

【0008】

図１３に示す例では、各発話テキストに、その発話が話し終わりの発話であるか否かを示す話し終わりラベルを付与することで、「話し終わり判定」のための教師データが作成される。また、発話テキストごとに、その発話が含まれる応対シーンを示すシーンラベルを付与することで、「応対シーン推定」のための教師データが作成される。また、カスタマの用件を把握する「用件把握」の応対シーンに含まれる発話のうち、カスタマの用件を示す発話に、カスタマの用件を示す発話であることを示す用件ラベルを付与し、オペレータがカスタマの用件を確認する発話に、カスタマの用件を確認する発話であることを示す用件確認ラベルを付与することで、「ＦＡＱ検索発話判定」のための教師データが作成される。

【0009】

図１３に示すような教師データを大量に作成するには、膨大な作業時間を要するという問題がある。また、図１３に示す例では、複数の項目のラベルが階層的な構造を有している。具体的には、「用件把握」のシーンラベルが付与された発話テキストについて、用件ラベルあるいは用件確認ラベルが付与される。すなわち、シーンラベルが上位のラベルであり、用件ラベル／用件確認ラベルが下位のラベルであるという構造を有する。このような階層的な構造を有する複数の項目を含むラベルを、作業者が何の指針も示されない状態から付与する場合には、作業者の負担が増大するという問題がある。

【0010】

したがって、作業者がラベルの付与をより簡易かつ効率的に行うことができる技術が求められている。

【0011】

上記のような問題点に鑑みてなされた本開示の目的は、作業者がラベルの付与をより簡易かつ効率的に行うことができるラベル付与支援装置、ラベル付与支援方法およびプログラムを提供することにある。

【課題を解決するための手段】

【0012】

上記課題を解決するため、本開示に係るラベル付与支援装置は、発話テキストである複数の要素それぞれに対する、発話に対応するラベルの付与を支援するラベル付与支援装置であって、前記複数の要素に付与されたラベルの更新操作のためのラベル付与作業画面であって、前記複数の要素それぞれと、前記複数の要素それぞれに付与されたラベルとを対応付けて示す前記ラベル付与作業画面を生成し、外部入出力インタフェースに出力する出力部を備え、前記ラベルは話し終わりラベルであり、前記ラベル付与作業画面において、前記複数の要素の末尾もしくは末尾近くに配置される。

【0013】

また、上記課題を解決するため、本開示に係るラベル付与支援方法は、発話テキストである複数の要素それぞれに対する、発話に対応するラベルの付与を支援するラベル付与支援方法であって、前記複数の要素に付与されたラベルの更新操作のためのラベル付与作業画面であって、前記複数の要素それぞれと、前記複数の要素それぞれに付与されたラベルとを対応付けて示す前記ラベル付与作業画面を生成し、外部入出力インタフェースに出力するステップを含み、前記ラベルは話し終わりラベルであり、前記ラベル付与作業画面において、前記複数の要素の末尾もしくは末尾近くに配置される。

【0014】

また、上記課題を解決するため、本開示に係るプログラムは、コンピュータを上述したラベル付与支援装置として機能させる。

【発明の効果】

【0015】

本開示に係るラベル付与支援装置、ラベル付与支援方法およびプログラムによれば、作業者がラベルの付与をより簡易かつ効率的に行うことができる。

【図面の簡単な説明】

【0016】

【図1】本開示の第１の実施形態に係るラベル付与支援装置として機能するコンピュータの概略構成を示すブロック図である。

【図2】本開示の第１の実施形態に係るラベル付与支援装置の機能構成例を示す図である。

【図3】図２に示すラベル付与支援装置の動作の一例を示すフローチャートである。

【図4】図２に示すラベル付与作業画面出力部が生成するラベル付与作業画面の一例を示す図である。

【図5】本開示の第２の実施形態に係るラベル付与支援装置の構成例を示す図である。

【図6】図５に示すラベル付与支援装置の動作の一例を示すフローチャートである。

【図7】本開示の第３の実施形態に係るラベル付与支援装置の構成例を示す図である。

【図8】図７に示すラベル付与作業画面出力部が生成するラベル付与作業画面の一例を示す図である。

【図9】図７に示す波形画像生成部が生成する波形画像の一例を示す図である。

【図10】図７に示すラベル付与支援装置の動作の一例を示すフローチャートである。

【図11A】第１のラベル付与作業画面の一例を示す図である。

【図11B】第２のラベル付与作業画面の一例を示す図である。

【図12】従来の手法と、本開示に係る手法とによる、ラベルの付与の作業効率の比較結果を示す図である。

【図13】複数の項目からなるラベルの構造の一例を示す図である。

【発明を実施するための形態】

【0017】

以下、本開示の実施の形態について図面を参照して説明する。

【0018】

（第１の実施形態）

【0019】

図１は、本開示の第１の実施形態に係るラベル付与支援装置１０がプログラム命令を実行可能なコンピュータである場合のハードウェア構成を示すブロック図である。ここで、コンピュータは、汎用コンピュータ、専用コンピュータ、ワークステーション、ＰＣ（Personal Computer）、電子ノートパッドなどであってもよい。プログラム命令は、必要なタスクを実行するためのプログラムコード、コードセグメントなどであってもよい。

【0020】

図１に示すように、ラベル付与支援装置１０は、プロセッサ１１０、ＲＯＭ（Read Only Memory）１２０、ＲＡＭ（Random Access Memory）１３０、ストレージ１４０、入力部１５０、表示部１６０および通信インタフェース（Ｉ／Ｆ）１７０を有する。各構成は、バス１９０を介して相互に通信可能に接続されている。プロセッサ１１０は、具体的にはＣＰＵ(Central Processing Unit)、ＭＰＵ（Micro Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＳｏＣ（System on a Chip）などであり、同種または異種の複数のプロセッサにより構成されてもよい。

【0021】

プロセッサ１１０は、各構成の制御、および各種の演算処理を実行する。すなわち、プロセッサ１１０は、ＲＯＭ１２０またはストレージ１４０からプログラムを読み出し、ＲＡＭ１３０を作業領域としてプログラムを実行する。プロセッサ１１０は、ＲＯＭ１２０ストレージ１４０に記憶されているプログラムに従って、上記各構成の制御および各種の演算処理を行う。本実施形態では、ＲＯＭ１２０またはストレージ１４０には、本開示に係るプログラムが格納されている。

【0022】

プログラムは、ＣＤ－ＲＯＭ（Compact Disk Read Only Memory）、ＤＶＤ－ＲＯＭ（Digital Versatile Disk Read Only Memory）、ＵＳＢ（Universal Serial Bus）メモリなどの非一時的（non-transitory）記憶媒体に記憶された形態で提供されてもよい。また、プログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。

【0023】

ＲＯＭ１２０は、各種プログラムおよび各種データを格納する。ＲＡＭ１３０は、作業領域として一時的にプログラム又はデータを記憶する。ストレージ１４０は、ＨＤＤ（Hard Disk Drive）またはＳＳＤ（Solid State Drive）により構成され、オペレーティングシステムを含む各種プログラムおよび各種データを格納する。

【0024】

入力部１５０は、マウスなどのポインティングデバイス、およびキーボードを含み、各種の入力を行うために使用される。

【0025】

表示部１６０は、例えば、液晶ディスプレイであり、各種の情報を表示する。表示部１６０は、タッチパネル方式を採用して、入力部１５０として機能してもよい。

【0026】

通信インタフェース１７０は、外部装置（図示しない）などの他の機器と通信するためのインタフェースであり、例えば、イーサネット（登録商標）、ＦＤＤＩ、Ｗｉ－Ｆｉ（登録商標）などの規格が用いられる。

【0027】

次に、本実施形態にラベル付与支援装置１０の機能構成について説明する。

【0028】

図２は、本実施形態に係るラベル付与支援装置１０の機能構成例を示す図である。本実施形態に係るラベル付与支援装置１０は、教師データを作成する作業者による、系列的な複数の要素それぞれへのラベルの付与を支援するものである。以下では、コンタクトセンタでの複数の話者（オペレータおよびカスタマ）による対話における発話を音声認識して得られた発話テキストにラベルを付与する例を用いて説明する。また、以下では、ラベルは、階層的な構造を有する複数の項目のラベルを含むものとする。具体的には、話し終わりラベル、シーンラベルおよび用件ラベル／用件確認ラベルを付与する例を用いて説明する。上述したように、シーンラベルおよび用件ラベル／用件確認ラベルには、シーンラベルが上位のラベルであり、用件ラベル／用件確認ラベルが下位のラベルであるという階層的な構造を有する。ただし、本開示はこの例に限られるものではなく、任意の複数の要素それぞれへのラベルの付与に適用可能である。また、発話テキストは、通話における発話をテキスト化したものだけでなく、チャットなどのテキストによる対話における発話であってもよい。また、対話における発話者は、人間に限らず、ロボットあるいはバーチャルエージェントなどであってもよい。

【0029】

図２に示すように、本実施形態に係るラベル付与支援装置１０は、事前ラベル推定部１１と、切替部１２と、出力部としてのラベル付与作業画面出力部１３と、ラベルメモリ１４と、ラベル更新部１５とを備える。事前ラベル推定部１１と、切替部１２と、ラベル付与作業画面出力部１３と、ラベル更新部１５とは、ＡＳＩＣ(Application Specific Integrated Circuit)、ＦＰＧＡ(Field-Programmable Gate Array)など専用のハードウェアによって構成されてもよいし、上述したように１つ以上のプロセッサによって構成されてもよい。ラベル付与支援装置１０は記憶部を備え、該記憶部は少なくともラベルメモリ１４を有する。

【0030】

事前ラベル推定部１１は、図１３に示すような、対話に含まれる複数の発話テキスト（要素）が順次、入力される。事前ラベル推定部１１は、予め用意された既存モデルを用いて、入力された複数の発話テキストそれぞれに対して、話し終わりラベル、シーンラベル、用件ラベル、用件確認ラベルなどのラベル（事前ラベル）を推定して付与する事前ラベル推定処理を行う。

【0031】

既存モデルとは、例えば、作業者が手作業で全てのラベルを付与する従来の手法で作成された少量の教師データを学習したモデル、ラベル付与支援装置１０を用いて作成される教師データを学習したモデル（所望モデル）を使用するコンタクトセンタとは別のコンタクトセンタ向けに作成されたモデル、あるいは、複数のコンタクトセンタに適用可能な汎用的なモデルなどである。すなわち、既存モデルとは、例えば、所望モデルよりも、少量の教師データの学習により構築されたモデル、あるいは、所望モデルが適用される対象とは異なる対象向けに構築されたモデルである。したがって、通常、所望モデルが適用されるシステムにおいては、既存モデルは所望モデルよりもラベルの推定精度が低くなる。

【0032】

事前ラベル推定部１１は、推定した事前ラベルを切替部１２に出力する。

【0033】

切替部１２は、事前ラベル推定部１１から事前ラベルが出力されると、その事前ラベルをラベル付与作業画面出力部１３およびラベルメモリ１４に出力する。また、切替部１２は、後述するラベル更新部１５から更新済みラベルが出力されると、その更新済みラベルをラベル付与作業画面出力部１３およびラベルメモリ１４に出力する。

【0034】

ラベル付与作業画面出力部１３は、切替部１２から出力されたラベル（事前ラベルまたは更新済みラベル）と、発話テキストと、ラベル構造情報とが入力される。ラベル構造情報とは、目的とするシステムのラベル構造に関する情報、あるいは、各ラベルを付与する際に長期文脈を考慮すべきであるか否かに関する情報などである。長期文脈を考慮すべきラベルとは、発話テキストに付与するラベルを、その発話テキストを含む複数の発話テキストの内容に基づき決定すべきラベルである。上述した例では、長期文脈を考慮すべきラベルとは、例えば、シーンラベルである。なお、本実施形態では、オペレータとカスタマとの対話における発話テキストへのラベルの付与を例としているため、特定のラベルについては、複数の発話テキストの内容を考慮しているが、本開示はこれに限られるものではない。要は、ラベル構造情報には、ある要素に付与するラベルを、その要素を含む複数の要素に基づき決定すべきであるか否かに関する情報が含まれてよい。

【0035】

ラベル付与作業画面出力部１３は、入力された発話テキスト、ラベルおよびラベル構造情報に基づき、ラベルを付与する作業者（ユーザ）が、発話テキストに付与されたラベルを更新（修正）する更新操作のためのラベル付与作業画面を生成する。ラベル付与作業画面出力部１３は、生成したラベル付与作業画面を外部入出力インタフェース１に出力する。このように、ラベル付与作業画面出力部１３は、ラベル付与作業画面を生成し、外部入出力インタフェース１に出力するラベル付与作業画面出力処理を行い、外部入出力インタフェース１にラベル付与作業画面を表示させる。

【0036】

外部入出力インタフェース１は、作業者が発話テキストにラベルを付与する作業に用いられる装置である。外部入出力インタフェース１は、表示されたラベル付与作業画面を介して、発話テキストに付与されたラベルを更新する更新操作が行われると、更新後ラベルとしてラベル付与支援装置１０に出力する。外部入出力インタフェース１は、ラベル付与支援装置１０と通信を行う機能、ラベル付与作業画面を表示する機能および作業者の操作入力を受け付ける機能を備えていれば、任意の構成であってよい。ラベル付与作業画面の詳細は後述する。

【0037】

ラベルメモリ１４は、切替部１２から出力されたラベルを記憶する。ラベルメモリ１４は、ラベル更新部１５により、後述するラベル更新処理が行われる場合、記憶しているラベルを更新前ラベルとしてラベル更新部１５に出力する。

【0038】

ラベル更新部１５は、外部入出力インタフェース１から、作業者により更新された発話テキストのラベル（更新後ラベル）が出力されると、ラベルメモリ１４から出力された、その発話テキストに付与された更新前ラベルを、更新後ラベルに置き換えて、その発話テキストに付与するラベル更新処理を行う。このように、ラベル更新部１５は、ラベル付与作業画面を介した更新操作により、発話テキスト（要素）に付与されたラベルが更新されると、その発話テキストに対して、更新後ラベルを付与する。ラベル更新部１５には、更新前ラベルの代わりに、更新前ラベルを識別する識別情報が入力されてもよい。

【0039】

ラベル更新部１５は、ラベル更新処理により発話テキストに付与したラベル（更新後ラベル）を更新済みラベルとして切替部１２に出力する。上述したように、切替部１２は、ラベル更新部１５から更新済みラベルが出力されると、その更新済みラベルをラベル付与作業画面出力部１３に出力する。切替部１２からの更新済みラベルの出力に応じて、ラベル付与作業画面出力部１３は、ラベル付与作業画面を新たに生成し、外部入出力インタフェース１に出力する。このようにして、作業者の更新操作によるラベルの更新が反映されたラベル付与作業画面が表示される。ラベル付与作業を終了する終了操作が行われるまで、ラベルの更新と、更新内容を反映したラベル付与作業画面の表示とが繰り返される。

【0040】

本実施形態においては、既存モデルを用いて、発話テキストに事前ラベルを付与した上で、発話テキストに付与された事前ラベルを更新する更新操作が行われると、更新後ラベルを発話テキストに付与する。そのため、作業者は、更新が必要なラベルのみを更新すればよいので、ラベルの付与を容易に行うことができる。また、ラベル付与の指針がない状態からラベルを付与する場合と比べて、簡易にラベルを付与することができ、作業時間を短縮することができる。したがって、本実施形態に係るラベル付与支援装置１０によれば、作業者がラベルの付与をより簡易かつ効率的に行うことができる。

【0041】

なお、外部入出力インタフェース１あるいはラベル付与支援装置１０において、更新操作によるラベルの更新の履歴を蓄積してもよい。また、蓄積されているラベル更新の履歴を外部入出力インタフェース１が表示してもよい。また、ラベル付与作業の終了操作が行われると、終了操作が行われた時点で発話テキストに付与されているラベルが、その発話テキストのラベルとして確定されるようにしてよい。

【0042】

次に、本実施形態に係るラベル付与支援装置１０の動作について説明する。

【0043】

図３は、ラベル付与支援装置１０の動作の一例を示すフローチャートであり、本実施形態に係るラベル付与支援装置１０によるラベル付与支援方法を説明するための図である。

【0044】

事前ラベル推定部１１は、複数の発話テキストが入力されると、予め用意された既存モデルを用いて、入力された複数の発話テキストそれぞれに対する事前ラベルを推定する事前ラベル推定処理を行う（ステップＳ１１）。事前ラベル推定部１１により推定された事前ラベルは、切替部１２を介して、ラベル付与作業画面出力部１３に入力される。

【0045】

ラベル付与作業画面出力部１３は、切替部１２を介してラベルが入力されると、発話テキストと、入力されたラベルとを含むラベル付与作業画面を生成し、外部入出力するインタフェースに出力するラベル付与作業画面出力処理を行う（ステップＳ１２）。

【0046】

図４は、ラベル付与作業画面の一例を示す図である。

【0047】

図４に示すように、ラベル付与作業画面出力部１３は、ラベル付与作業画面において、オペレータおよびカスタマの発話テキストを時系列順に一列に並んで配置する。また、ラベル付与作業画面出力部１３は、各発話テキストに対応付けて、発話が始まった始端時間、発話が終了した終端時間および発話に付与されたラベル（シーンラベル、用件ラベル、用件確認ラベルおよび話し終わりラベル）を配置する。図４に示すように、ラベル付与作業画面出力部１３は、オペレータの発話テキストと、カスタマの発話テキストとを異なる色で表示してよい。なお、図４においては、色の相違がハッチングの相違により表現されている。

【0048】

ラベル付与作業画面出力部１３は、図４に示すように、ラベル付与作業画面において、複数の要素を一列に配置するとともに、複数の項目のラベルの構造に基づき、複数の項目のラベルを、そのラベルに対応する要素の一方側および他方側に振り分けて配置してよい。

【0049】

一般に、発話テキストに近い領域にラベルを配置したほうが、ラベルの付与作業を行いやすい。したがって、発話テキストを一列に配置するとともに、発話テキストの両側に、複数の項目のラベルを振り分けて配置することで、発話テキストに近い領域を有効に活用し、ラベルの付与の作業効率を高めることができる。

【0050】

図４に示す例では、シーンラベル、用件ラベルおよび用件確認ラベルが発話テキストの左側に配置され、話し終わりラベルが発話テキストの右側に配置されている。上述したように、発話テキストへのシーンラベル、用件ラベルおよび用件確認ラベルの付与には、その発話テキストだけでなく、その前後の発話テキストの内容も考慮される。すなわち、発話テキストへのシーンラベル、用件ラベルおよび用件確認ラベルは、長期文脈を考慮すべきラベルである。一方、発話テキストへの話し終わりラベルの付与は、主にその発話テキストだけを考慮すればよい。したがって、ラベル付与作業画面出力部１３は、長期文脈を考慮すべきラベル（ある要素に対するラベルを、その要素を含む複数の要素に基づき決定するラベル）を、発話テキストの左側に配置してよい。また、ラベル付与作業画面出力部１３は、長期文脈を考慮しないラベル（ある要素に対するラベルを、主にその要素のみに基づき決定するラベル）を、発話テキストの右側に配置してよい。

【0051】

また、図４に示す例では、ラベル付与作業画面出力部１３は、用件ラベルおよび用件確認ラベルがシーンラベルよりも、発話テキストの近くに配置している。上述したように、「用件把握」のシーンラベルが付与された発話テキストに、用件ラベルあるいは用件確認ラベルが付与される。すなわち、シーンラベルが上位のラベルであり、用件ラベル／用件確認ラベルが下位のラベルである。したがって、ラベル付与作業画面出力部１３は、階層的な構造を有する複数の項目のラベルのうち、階層の低いラベルほど、発話テキストの近くに配置してよい。こうすることで、下位のラベルほど、発話テキストを見たほうが、ラベルの付与作業を行いやすいので、作業効率を高めることができる。また、話し終わりラベルは主に、発話の末尾に着目して付与される。したがって、発話テキストの右側に話し終わりラベルを配置することで、作業者は、発話テキストの末尾が見やすくなるので、話し終わりラベルの付与の作業効率を高めることができる。

【0052】

また、ラベル付与作業画面出力部１３は、ラベル付与作業画面において、作業者により更新対象のラベルが選択されると、あるいは、あるラベルが作業者により更新されると、複数の項目のラベルの階層構造に基づき、更新対象のラベルあるいは更新されたラベルと関連するラベル（上位ラベルおよび下位ラベル）の表示態様を変化させてよい。図４に示す例では、「用件把握」のシーンラベルが更新対象のラベルとして選択された、あるいは、更新されたとする。この場合、ラベル付与作業画面出力部１３は、シーンラベルの下位のラベルである用件ラベルおよび用件確認発話ラベルの表示色を異ならせるなどして、表示態様を変化させる。こうすることで、更新対象のラベルと関連するラベルを作業者が把握しやすくなり、ラベルの付与の作業効率を高めることができる。

【0053】

また、ラベル付与作業画面出力部１３は、上位のラベルまたは下位のラベルを更新した際に、関連するラベル間で矛盾が生じる場合には、矛盾が生じたラベルの表示態様を変化させてよい。こうすることで、階層的な構造を有する複数の項目のラベル間で矛盾が生じることをなくし、ラベル付与のエラーの発生を低減することができるので、ラベル付与の作業効率を高めることができる。

【0054】

また、ラベル付与作業画面出力部１３は、教師データの対象としない発話テキスト、例えば、フィラーおよび「はい」などの短い発話テキストの表示態様を、他の発話テキストと異ならせてよい。こうすることで、ラベルの付与が不要な発話テキストを作業者が容易に把握できるので、作業効率を高めることができる。

【0055】

図２を再び参照すると、ラベル更新部１５は、ラベルの更新操作が行われたか否かを判定する（ステップＳ１３）。具体的には、ラベル更新部１５は、更新後ラベルが外部入出力インタフェース１から出力されたか否かに基づき、ラベルの更新操作が行われたか否かを判定する。

【0056】

更新後ラベルが外部入出力インタフェース１から出力されず、例えば、終了操作が行われると、ラベル更新部１５は、ラベルの更新操作が行われていないと判定する（ステップＳ１３：Ｎｏ）。ラベル更新部１５によりラベルの更新操作が行われていないと判定されると、ラベル付与支援装置１０は、処理を終了する。

【0057】

更新後ラベルが外部入出力インタフェース１から出力され、ラベルの更新操作が行われたと判定すると（ステップＳ１３：Ｙｅｓ）、ラベル更新部１５は、更新操作によりラベルが更新された発話テキストに対して、更新後ラベルを付与するラベル更新処理を行う（ステップＳ１４）。ラベル更新処理の後、ステップＳ１２の処理に戻り、ラベル付与作業画面出力部１３により、更新後ラベルを含むラベル付与作業画面が生成され、外部入出力インタフェース１に出力される。

【0058】

このように、本実施形態に係るラベル付与支援装置１０は、事前ラベル推定部１１と、ラベル付与作業画面出力部１３と、ラベル更新部１５とを備える。事前ラベル推定部１１は、予め用意された既存モデルを用いて、複数の要素それぞれに対する事前ラベルを推定して複数の要素それぞれに付与する。ラベル付与作業画面出力部１３は、複数の要素それぞれと、複数の要素それぞれに付与されたラベルとが対応付けられ、ラベルの更新操作のためのラベル付与作業画面を生成し、外部入出力インタフェース１に出力する。ラベル更新部１５は、ラベル付与作業画面を介した更新操作により要素に付与されたラベルが更新されると、その要素に対して更新後のラベルを付与する。

【0059】

また、本実施形態に係るラベル付与支援方法は、事前ラベルを付与するステップ（ステップＳ１１）と、ラベル付与作業画面を外部入出力インタフェース１に出力するステップ（ステップＳ１２）と、ラベルを更新するステップ（ステップＳ１４）とを含む。事前ラベルを付与するステップでは、予め用意された既存モデルを用いて、複数の要素それぞれに対する事前ラベルを推定して複数の要素それぞれに付与する。ラベル付与作業画面を外部入出力インタフェース１に出力するステップでは、複数の要素それぞれと、複数の要素それぞれに付与されたラベルとが対応付けられ、ラベルの更新操作のためのラベル付与作業画面を生成し、外部入出力インタフェース１に出力する。ラベルを更新するステップでは、ラベル付与作業画面を介した更新操作により要素に付与されたラベルが更新されると、その要素に対して更新後のラベルを付与する。

【0060】

既存モデルを用いて、発話テキストに事前ラベルを付与した上で、更新操作が行われると、更新後ラベルを発話テキストに付与することで、作業者は、更新が必要なラベルのみを更新すればよいので、ラベルの付与を容易に行うことができる。また、ラベル付与の指針がない状態からラベルを付与する場合と比べて、簡易にラベルを付与することができ、作業時間を短縮することができる。したがって、本開示によれば、作業者がラベルの付与をより簡易かつ効率的に行うことができる。また、ラベル付与の目安として事前ラベルが得られるので、ラベル付与の作業に熟練していない作業者に対して、一定のラベル付与の指針を提示し、その指針を目安にラベル付与の作業を行わせることができるので、習熟期間の短縮を図ることができる。

【0061】

なお、事前ラベル推定部１１は、必ずしも全てのラベルに対する事前ラベルを推定しなくてよい。例えば、事前ラベル推定部１１は、シーンラベルおよび用件／用件確認ラベルのみ事前ラベルを推定し、話し終わりラベルに対しては事前ラベルを推定しないようにしてもよい。この場合、図４に示すラベル付与作業画面では、事前ラベルが推定されなかったラベルは空欄となり、作業者が空欄の部分にラベルを付与してよい。事前ラベルを推定するラベルあるいは事前ラベルを推定しないラベルは、作業者などにより予め指定されてよい。

【0062】

上述したような、一部のラベルの事前ラベルを推定しない場合としては、特定の事前ラベルの推定精度が非常に悪く、作業者が事前ラベルを修正するよりも、作業者がラベルを付与する方が作業効率の良い場合がある。

【0063】

（第２の実施形態）
図５は、本開示の第２の実施形態に係るラベル付与支援装置１０Ａの構成例を示す図である。図５において、図２と同様の構成には同じ符号を付し、説明を省略する。

【0064】

本実施形態に係るラベル付与支援装置１０Ａは、第１の実施形態に係るラベル付与支援装置１０と比較して、事前ラベル訂正部２１を追加した点と、切替部１２を切替部１２Ａに変更した点とが異なる。

【0065】

事前ラベル訂正部２１は、事前ラベル推定部１１により推定された事前ラベルが入力される。事前ラベル訂正部２１は、入力された事前ラベルのうち、予め定められた規則に基づき誤りであると判定されるラベルを訂正する事前ラベル訂正処理を行う。事前ラベル訂正部２１は、事前ラベル訂正処理後のラベル（複数の発話テキストそれぞれの事前ラベルのうち、誤りであると判定されるラベルについては訂正されたラベル）を、訂正済み事前ラベルとして切替部１２Ａに出力する。

【0066】

事前ラベル訂正部２１は、事前ラベル訂正処理として、例えば、単一の発話のみで構成される極端に短い応対シーンは、隣接する応対シーンに組み込まれるように、シーンラベルを訂正する。また、事前ラベル訂正部２１は、事前ラベル訂正処理として、例えば、発話長が長い発話テキストを適宜分割して、話し終わりラベルを付与する。また、事前ラベル訂正部２１は、事前ラベル訂正処理として、既存モデルにより推定されたラベルの推定確率が、必ずしも推定が誤りであるとも正解であるとも言えない曖昧な値（例えば、推定確率が０から１の範囲の値である場合、０．５を含む所定の範囲の値）である場合、そのラベルは不定とする。

【0067】

切替部１２Ａは、事前ラベル訂正部２１から訂正済み事前ラベルが出力されると、その訂正済み事前ラベルをラベル付与作業画面出力部１３およびラベルメモリ１４に出力する。また、切替部１２Ａは、ラベル更新部１５から更新済みラベルが出力されると、その更新済みラベルをラベル付与作業画面出力部１３およびラベルメモリ１４に出力する。

【0068】

次に、本実施形態に係るラベル付与支援装置１０Ａの動作について説明する。

【0069】

図６は、本実施形態に係るラベル付与支援装置１０Ａの動作の一例を示すフローチャートである。図６において、図３と同様の処理には同じ符号を付し、説明を省略する。

【0070】

事前ラベル推定処理が行われると（ステップＳ１１）、事前ラベル訂正部２１は、推定された事前ラベルのうち、予め定められた規則に基づき誤りであると判定されるラベルを訂正する事前ラベル訂正処理を行う（ステップＳ２１）。事前ラベル訂正部２１は、訂正済み事前ラベルを切替部１２Ａに出力する。切替部１２Ａは、事前ラベル訂正部２１から出力された訂正済み事前ラベルを、ラベル付与作業画面出力部１３およびラベルメモリ１４に出力する。以下、第１の実施形態と同様に、ラベル付与作業画面出力部１３により、ラベル付与作業画面出力処理が行われる（ステップＳ１２）。

【0071】

このように本実施形態においては、ラベル付与支援装置１０Ａは、事前ラベル訂正部２１を備える。事前ラベル訂正部２１は、推定された事前ラベルのうち、予め定められた規則に基づき誤りであると判定されるラベルを訂正する。

【0072】

そのため予め定められた規則に基づき誤りであると判定されるラベルは訂正された上で、ラベル付与作業画面が出力されるので、作業者がラベルを更新する必要性が減り、作業効率を高めることができる。

【0073】

（第３の実施形態）
図７は、本開示の第３の実施形態に係るラベル付与支援装置１０Ｂの構成例を示す図である。図７において、図５と同様の構成には同じ符号を付し、説明を省略する。

【0074】

本実施形態に係るラベル付与支援装置１０Ｂは、第２の実施形態に係るラベル付与支援装置１０Ａと比較して、強調単語検索部３１、音声抽出部３２および波形画像生成部３３を追加した点と、ラベル付与作業画面出力部１３をラベル付与作業画面出力部１３Ｂに変更した点と、が異なる。

【0075】

強調単語検索部３１は、発話テキストにおいて強調表示する対象の単語である強調対象単語と、発話テキストとが入力される。強調対象単語とは、ラベルの付与作業に有用な特定の単語である。強調対象単語としては、例えば、「本人確認」の応対シーンの冒頭において出現することが想定される「契約」などの単語である。強調対象単語は、作業者が事前に指定してよい。また、強調対象単語は、各応対シーンで偏って出現する単語の、対話全体における各応対シーンでの出現頻度の分布に基づき、ラベルの付与作業中に自動的に決定されてもよい。

【0076】

強調単語検索部３１は、発話テキストの中から強調対象単語を検索する強調単語検索処理を行う。強調単語検索部３１は、強調処理により検索された単語を強調箇所と決定し、発話テキストにおける強調箇所を強調した強調済み発話テキストを生成し、ラベル付与作業画面出力部１３Ｂに出力する。

【0077】

音声抽出部３２は、発話テキストの基となった発話音声と、外部入出力インタフェース１から出力された音声再生時刻とが入力される。音声再生時刻は、作業者により指定された、対話内の発話音声を再生する始点となる時刻である。音声抽出部３２は、入力された発話音声から、音声再生時刻で指定される時刻からの音声発話を抽出する音声抽出処理を行う。音声抽出部３２は、抽出した発話音声をラベル付与作業画面出力部１３Ｂに出力する音声出力処理を行う。

【0078】

波形画像生成部３３は、発話テキストの基となった発話音声と、外部入出力インタフェース１から出力された波形表示時刻とが入力される。波形表示時刻は、作業者により指定された、対話内の発話音声の波形を示す波形画像を表示する始点となる時刻である。波形画像生成部３３は、入力された発話音声から、波形表示時刻で指定される時刻からの発話音声の波形画像を生成する波形画像生成処理を行う。波形画像生成部３３は、生成した波形画像をラベル付与作業画面出力部１３Ｂに出力する波形画像出力処理を行う。

【0079】

ラベル付与作業画面出力部１３Ｂは、切替部１２Ａから出力されたラベル（訂正済み事前ラベルまたは更新済みラベル）と、強調単語検索部３１から出力された強調済み発話テキストと、ラベル構造情報とが入力される。ラベル付与作業画面出力部１３Ｂは、入力された強調済み発話テキスト、ラベルおよびラベル構造情報に基づきラベル付与作業画面を生成して外部入出力インタフェース１に出力するラベル付与作業画面出力処理を行う。

【0080】

図８は、ラベル付与作業画面出力部１３Ｂが出力するラベル付与作業画面の一例を示す図である。図８において、図４と同様の部分は説明を省略する。

【0081】

図８に示すように、ラベル付与作業画面出力部１３Ｂは、発話テキストのうち、強調単語検索部３１により強調された強調箇所については、色を変える、強調箇所に下線を付すなどして強調表示する。図８においては、強調箇所に下線を付した例を示している。また、ラベル付与作業画面出力部１３Ｂは、発話テキストに対応付けて、その発話の発話音声を再生するための音声再生ボタンを配置する。また、ラベル付与作業画面出力部１３は、発話テキストに対応付けて、その発話の発話音声の波形画像を表示するための波形表示ボタンを配置する。

【0082】

例えば、音声再生ボタンを選択する音声再生操作が行われると、選択された音声再生ボタンに対応付けられた発話テキストの始端時間が音声再生時刻として、外部入出力インタフェース１からラベル付与支援装置１０Ｂに出力される。音声再生時刻が入力されると、音声抽出部３２は、音声再生時刻からの発話音声をラベル付与作業画面出力部１３Ｂに出力する。ラベル付与作業画面出力部１３Ｂは、音声抽出部３２から出力された音声発話を外部入出力インタフェース１に出力し、音声再生させる。なお、上述したように、発話テキストは、チャットなどのテキストを介した対話における発話であってもよい。その場合、ラベル付与作業画面出力部１３Ｂは、音声合成などの技術を用いて発話テキストに対応する音声を出力してよい。

【0083】

発話音声を再生する区間は、例えば、発話音声の再生を開始する発話テキストに対応する音声再生ボタンから、発話音声の再生を終了する発話テキストに対応する音声再生ボタンまでをドラッグ操作などすることで、指定することができる。また、発話音声の再生を開始する始点が指定されると発話音声の再生を開始し、例えば、発話音声の終端に達するか、あるいは、停止操作が行われるまで、発話音声の再生が継続されてもよい。

【0084】

発話音声を再生することで、例えば、音声認識結果（発話テキスト）の可読性が低く、発話テキストだけでは、ラベルの付与のための情報が十分得られない場合に、作業者が発話内容を確認することができる。その結果、より正確なラベルの付与が可能となる。

【0085】

また、例えば、波形表示ボタンを選択する波形表示操作が行われると、選択された波形表示ボタンに対応付けられた発話テキストの始端時間が波形表示時刻として、外部入出力インタフェース１からラベル付与支援装置１０Ｂに出力される。波形表示時刻が入力されると、波形画像生成部３３は、波形表示時刻からの発話音声の波形画像を生成し、ラベル付与作業画面出力部１３Ｂに出力する。ラベル付与作業画面出力部１３Ｂは、波形画像生成部３３から出力された波形画像を外部入出力インタフェース１に出力し、表示させる。

【0086】

図９は、波形画像生成部３３が生成する波形画像の一例を示す図である。

【0087】

波形画像生成部３３は、波形画像を生成する区間に、オペレータの発話とカスタマの発話とが含まれる場合、図９に示すように、オペレータの発話音声の波形と、カスタマの発話音声の波形とを分けた波形画像を生成する。

【0088】

波形画像を表示する区間は、例えば、波形画像の表示を開始する発話テキストに対応する波形画像ボタンから、波形画像の表示を終了する発話テキストに対応する波形画像ボタンまでをドラッグ操作などすることで、指定することができる。波形画像生成部３３は、例えば、波形表示ボタンを押下するなどの所定の表示操作が行われると、波形表示ボタンに対応する区間の波形画像を表示する。また、波形画像生成部３３は、波形画像の表示を開始する始点が指定されると波形画像の表示を開始し、停止操作が行われるまで、波形画像の表示を継続してよい。

【0089】

波形画像を表示することで、例えば、オペレータのみが小さな声で話している区間は通話が保留状態であること、あるいは、語気が強まる場合に話題が切り替わることなどを習熟した作業者が、波形画像を参照することで、適切なラベルを付与することができる。また、波形画像を表示することで、オペレータおよびカスタマの一方の発話テキストのみが長期にわたって続く場合に、他方の発話の抜けが無いかを簡易的に確認することができる。その結果、ラベルの付与の作業効率を高めることができる。

【0090】

このように、音声再生操作に応じて発話音声が再生され、波形表示操作に応じて波形画像が表示されるようにすることで、音声認識結果（発話テキスト）の可読性、作業者のスキル・経験などに応じて、作業者が必要とする情報を取捨選択して参照することができる。

【0091】

ラベル付与作業画面出力部１３Ｂは、発話テキストの可読性が低いと判定される場合には、その発話テキストに対応する音声再生ボタンおよび波形表示ボタンを点滅させるなど、強調表示してもよい。発話テキストの可読性は、例えば、ラベル付与支援装置１０Ｂとは別の機構により評価される。

【0092】

次に、本実施形態に係るラベル付与支援装置１０Ｂの動作について説明する。

【0093】

図１０は、本実施形態の係るラベル付与支援装置１０Ｂの動作の一例を示すフローチャートである。図１０において、図６と同様の処理には同じ符号を付し、説明を省略する。

【0094】

事前ラベル推定処理（ステップＳ１１）および事前ラベル訂正処理（ステップＳ２１）が終了すると、強調単語検索部３１は、発話テキストの中から強調対象単語を検索する強調単語検索処理を行う（ステップＳ３１）。なお、事前ラベル推定処理および事前ラベル訂正処理と並行して、強調単語検索処理が行われてもよい。

【0095】

次に、ラベル付与作業画面出力部１３Ｂは、強調単語検索部３１により強調対象単語が強調された強調済み発話テキスト、切替部１２Ａから出力されたラベルおよびラベル構造情報に基づきラベル付与作業画面を生成し、外部入出力インタフェース１に出力するラベル付与作業画面出力処理を行う（ステップＳ３２）。ラベル付与作業画面出力部１３Ｂは、図８に示すように、発話テキストのうち、強調単語検索部３１により強調された箇所については、異なる色で表示する、下線を付すといった強調表示を行う。また、ラベル付与作業画面出力部１３Ｂは、図８に示すように、各発話テキストに対応付けて、その発話の発話音声を再生するための音声再生ボタン、および、その発話の発話音声の波形画像を表示するための波形画像ボタンを配置する。

【0096】

ラベル付与作業画面出力処理が行われると、ラベル更新部１５は、ラベルの更新操作が行われたか否かを判定する（ステップＳ１３）。

【0097】

更新後ラベルが外部入出力インタフェース１から出力されず、例えば、終了操作が行われると、ラベル更新部１５は、ラベルの更新操作が行われていないと判定する（ステップＳ１３：Ｎｏ）。ラベル更新部１５によりラベルの更新操作が行われていないと判定されると、ラベル付与支援装置１０は、処理を終了する。

【0098】

更新後ラベルが外部入出力インタフェース１から出力され、ラベルの更新操作が行われたと判定すると（ステップＳ１３：Ｙｅｓ）、ラベル更新部１５は、更新操作によりラベルが更新された発話テキストに対して、更新後ラベルを付与するラベル更新処理を行う（ステップＳ１４）。

【0099】

ラベル付与作業画面出力処理が行われると、音声抽出部３２は、音声再生操作が行われたか否かを判定する（ステップＳ３３）。具体的には、音声抽出部３２は、外部入出力インタフェース１から音声再生時刻が出力されたか否かを判定する。

【0100】

音声再生操作が行われたと判定すると（ステップＳ３３：Ｙｅｓ）、音声抽出部３２は、対話全体の発話音声から、音声再生時刻からの発話の発話音声を抽出する音声抽出処理および抽出した発話音声を抽出済み発話音声としてラベル付与作業画面出力部１３Ｂに出力する音声出力処理を行う（ステップＳ３４）。

【0101】

音声抽出部３２により音声再生操作が行われていないと判定されると（ステップＳ３３：Ｎｏ）、ラベル付与支援装置１０は、処理を終了する。

【0102】

ラベル付与作業画面出力処理が行われると、波形画像生成部３３は、波形表示操作が行われたか否かを判定する（ステップＳ３５）。具体的には、波形画像生成部３３は、波形表示時刻が外部入出力インタフェース１から出力されたか否かを判定する。

【0103】

波形画像生成部３３により波形表示操作が行われていないと判定されると（ステップＳ３５：Ｎｏ）、ラベル付与支援装置１０Ｂは処理を終了する。

【0104】

波形表示操作が行われたと判定すると（ステップＳ３５：Ｙｅｓ）、波形画像生成部３３は、波形表示時刻からの発話音声の波形画像を生成する波形画像生成処理および生成した波形画像をラベル付与作業画面出力部１３Ｂに出力する波形画像出力処理を行う（ステップＳ３６）。

【0105】

ステップＳ１４、ステップＳ３４あるいはステップＳ３６の処理の後、ラベル付与作業画面出力部１３Ｂは、ラベル付与作業画面出力処理を行う（ステップＳ３２）。ラベル付与作業画面出力部１３Ｂは、音声抽出部３２から抽出済み発話音声が出力された場合には、その抽出済み発話音声を外部入出力インタフェース１に出力して再生させる。また、ラベル付与作業画面出力部１３Ｂは、波形画像生成部３３から波形画像が出力された場合には、その波形画像を外部入出力インタフェース１に出力して表示させる。

【0106】

このように、本実施形態に係るラベル付与支援装置１０Ｂは、強調単語検索部３１と、ラベル付与作業画面出力部１３Ｂとを備える。強調単語検索部３１は、発話テキストから強調対象単語を検索し、検索された単語を強調箇所として決定する。ラベル付与作業画面出力部１３Ｂは、ラベル付与作業画面において、発話テキストのうち、強調単語検索部３１により強調箇所として決定された単語を強調表示する。

【0107】

そのため、ラベルの付与にとって有用な単語を強調表示することができ、ラベル付与の作業効率を高めることができる。

【0108】

また、本実施形態に係るラベル付与支援装置１０Ｂは、音声抽出部３２と、ラベル付与作業画面出力部１３Ｂとを備える。音声抽出部３２は、音声再生操作により選択された発話の発話音声を抽出する。ラベル付与作業画面出力部１３Ｂは、音声抽出部３２により抽出された発話音声を外部入出力インタフェース１に出力して再生させる。

【0109】

そのため、発話テキストの可読性が低く、発話内容が確認できない場合に、発話音声を再生することで、作業者が発話内容を確認することができるので、ラベル付与の作業効率を高めることができる。

【0110】

また、本実施形態に係るラベル付与支援装置１０Ｂは、波形画像生成部３３と、ラベル付与作業画面出力部１３Ｂとを備える。波形画像生成部３３は、波形表示操作により選択された発話音声の波形画像を生成する。ラベル付与作業画面出力部１３Ｂは、波形画像生成部３３により生成された波形画像を外部入出力インタフェース１に出力して表示させる。

【0111】

そのため、波形画像から話題の切り替わりを確認したり、発話の抜けの有無を確認したりすることができるので、ラベル付与の作業効率を高めることができる。

【0112】

なお、本実施形態においては、ラベル付与支援装置１０Ｂは、検索対象単語を検索して、強調表示する機能、発話音声を再生する機能および波形画像を表示する機能を備える例を用いて説明したが、本開示はこれに限られるものではない。ラベル付与支援装置１０Ｂは、上述した３つの機能のうち、少なくとも１つを備えていればよい。また、第１の実施形態に係るラベル付与支援装置１０および第２の実施形態に係るラベル付与支援装置１０Ａが、上述した３つの機能のうち、少なくとも１つを備えてもよい。したがって、ラベル付与作業画面出力部１３Ｂは、ラベル付与作業画面を介して、発話テキストを選択されると、選択された発話テキストに対応する発話の発話音声および選択された発話テキストに対応する発話の発話音声の音声波形の少なくとも一方を、外部入出力インタフェース１に出力してよい。

【0113】

また、上述した第１から第３の実施形態においては、要素（発話テキスト）に付与される複数の項目のラベルが全て、１つのラベル付与作業画面に配置される例を用いて説明したが、本開示はこれに限られるものではない。

【0114】

上述したように、要素には、複数のラベルが付与されることがある。１つの要素に付与される複数のラベルは、主に１つの要素で独立してラベルの付与が可能な項目のラベル（第１のラベル）を含む。１つの要素に付与される複数のラベルは、階層構造を有するラベル、または、一の要素のラベルを当該一のラベルを含む複数の要素に基づき決定する項目のラベル（第２のラベル）を含む。第１のラベルは、例えば、話し終わりラベルである。上述したように、シーンラベルと、用件ラベル／用件確認ラベルとは階層構造を有する。また、例えば、シーンラベルは、複数の発話テキストの内容を考慮して付与される。したがって、第２のラベルは、例えば、シーンラベル、用件ラベルおよび用件確認ラベルである。

【0115】

ラベル付与作業画面出力部１３，１３Ｂは、第１のラベルの更新操作のためのラベル付与作業画面（第１のラベル付与作業画面）と、第２のラベルの更新操作のためのラベル付与作業画面（第２のラベル付与作業画面）とを独立して外部入出力インタフェース１に出力して表示させてもよい。

【0116】

図１１Ａは、第１のラベルの更新操作のための第１のラベル付与作業画面の一例を示す図である。図１１Ａに示すように、ラベル付与作業画面出力部１３，１３Ｂは、第１のラベル付与作業画面において、発話テキストと、話し終わりラベルとを対応付けて配置してよい。

【0117】

図１１Ｂは、第２のラベルの更新操作のための第２のラベル付与作業画面の一例を示す図である。図１１Ｂに示すように、ラベル付与作業画面出力部１３，１３Ｂは、第２のラベル付与作業画面において、オペレータの発話音声の波形と、カスタマの発話音声の波形とを配置してよい。また、ラベル付与作業画面出力部１３，１３Ｂは、第２のラベル付与作業画面において、オペレータの発話テキストと、カスタマの発話テキストとを時系列順に、所定の方向に沿って（例えば、左から右に向かって）配置してよい。また、ラベル付与作業画面出力部１３，１３Ｂは、発話テキストの位置に合わせて、その発話テキストに付与されたシーンラベル、用件ラベルおよび用件確認ラベルを配置してよい。第２のラベルは、階層構造を有し、１つの要素で独立してラベルを付与することができず、他の要素も考慮してラベルを付与すべきラベルである。従って、図１１Ｂに示す第２のラベル付与作業画面のように、要素（発話テキスト）が所定の方向に沿って順次配置されることで、前後の要素を考慮したラベルの付与が容易になる。その結果、ラベルの付与の作業効率を高めることができる。

【0118】

図１２は、作業者が初めからラベルを付与する従来の手法（第１の手法）と、本開示に係る、既存モデルにより推定された事前ラベルを更新する手法（第２の手法）とによる、ラベルの付与の作業効率の比較結果を示す図である。図１２においては、被検者Ａおよび被検者Ｂが、第１の手法および第２の手法により、１４通話に含まれる発話テキストへのラベル（シーンラベル、用件ラベル、用件確認ラベルおよび話し終わりラベル）の付与に要した時間を示している。被検者Ａは、教師データの作成業務に数年間従事し、ラベルの付与に熟練した作業者である。被検者Ｂは、教師データの作成業務に数か月従事した程度の、被検者Ａよりはラベルの付与への熟練度が低い作業者である。第２の手法で用いた既存モデルは、１００通話分の教師データを学習することで作成した。

【0119】

図１２に示すように、シーンラベル、用件ラベルおよび用件確認ラベルの付与においては、被検者Ａおよび被検者Ｂともに、第１の手法よりも第２の手法の方が、ラベルの付与に要する時間が短くなった。また、話し終わりラベルについても同様に、被検者Ａおよび被検者Ｂともに、第１の手法よりも第２の手法の方が、ラベルの付与に要する時間が短くなった。この結果より、本開示によれば、作業者がラベルの付与をより簡易かつ効率的に行うことができることが分かった。

【0120】

以上の実施形態に関し、更に以下の付記を開示する。

【0121】

（付記項１）
メモリと、
前記メモリに接続された少なくとも１つのプロセッサと、
を含み、
前記プロセッサは、
予め用意された既存モデルを用いて、複数の要素それぞれに対するラベルである事前ラベルを推定して前記複数の要素それぞれに付与し、
ユーザによる前記複数の要素に付与されたラベルの更新操作のためのラベル付与作業画面であって、前記複数の要素それぞれと、前記複数の要素それぞれに付与されたラベルとを対応付けて示す前記ラベル付与作業画面を生成し、外部入出力インタフェースに出力し、
前記ラベル付与作業画面を介した前記更新操作により前記要素に付与されたラベルが更新されると、前記要素に対して前記更新後のラベルを付与する、ラベル付与支援装置。

【0122】

（付記項２）
メモリと、
前記メモリに接続された少なくとも１つのプロセッサと、
を含み、
前記プロセッサは、
ユーザによる前記複数の要素に付与されたラベルの更新操作のためのラベル付与作業画面であって、前記複数の要素それぞれと、前記複数の要素それぞれに付与されたラベルとを対応付けて示す前記ラベル付与作業画面を生成し、外部入出力インタフェースに出力し、
前記ラベルは、複数の項目のラベルを含み、
前記ラベル付与作業画面において、前記複数の要素を一列に配置するとともに、前記複数の項目のラベルの構造に基づき、前記複数の項目のラベルを、該ラベルに対応する要素の一方側および他方側に振り分けて配置する、ラベル付与支援装置。

【0123】

（付記項３）
メモリと、
前記メモリに接続された少なくとも１つのプロセッサと、
を含み、
前記プロセッサは、
ユーザによる前記複数の要素に付与されたラベルの更新操作のためのラベル付与作業画面であって、前記複数の要素それぞれと、前記複数の要素それぞれに付与されたラベルとを対応付けて示す前記ラベル付与作業画面を生成し、外部入出力インタフェースに出力し、
前記ラベルは、複数の項目のラベルを含み、
前記出力部は、前記ラベル付与作業画面において更新対象のラベルが選択される、または、ラベルが更新されると、前記複数の項目のラベルの階層構造に基づき、前記更新対象のラベルまたは前記更新されたラベルと関連するラベルの表示態様を変化させる、ラベル付与支援装置。

【0124】

（付記項４）
コンピュータによって実行可能なプログラムを記憶した非一時的記憶媒体であって、前記コンピュータを付記項１から３のいずれか一項に記載のラベル付与支援装置として機能させる、プログラム。

【0125】

本明細書に記載された全ての文献、特許出願および技術規格は、個々の文献、特許出願、および技術規格が参照により取り込まれることが具体的かつ個々に記載された場合と同程度に、本明細書中に参照により取り込まれる。

【符号の説明】

【0126】

１ 外部入出力インタフェース
１０，１０Ａ，１０Ｂ
１１ 事前ラベル推定部
１２，１２Ａ 切替部
１３，１３Ｂ ラベル付与作業画面出力部（出力部）
１４ ラベルメモリ
１５ ラベル更新部
２１ 事前ラベル訂正部
３１ 強調単語検索部
３２ 音声抽出部
３３ 波形画像生成部
１１０ プロセッサ
１２０ ＲＯＭ
１３０ ＲＡＭ
１４０ ストレージ
１５０ 入力部
１６０ 表示部
１７０ 通信インタフェース
１９０ バス

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11A】

【図11B】

【図12】

【図13】