特許 7627648 対話管理装置、対話管理システム及び対話管理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-01-29

(45)【発行日】2025-02-06

(54)【発明の名称】対話管理装置、対話管理システム及び対話管理方法

(51)【国際特許分類】

   H04N 7/15 20060101AFI20250130BHJP

   G10L 15/00 20130101ALI20250130BHJP

   H04N 21/231 20110101ALI20250130BHJP

   H04M 3/56 20060101ALI20250130BHJP

【ＦＩ】

H04N7/15 150

G10L15/00 200U

H04N21/231

H04M3/56 C

【請求項の数】 9

(21)【出願番号】P 2021192783

(22)【出願日】2021-11-29

(65)【公開番号】P2023079353

(43)【公開日】2023-06-08

【審査請求日】2024-03-13

(73)【特許権者】

【識別番号】000233055

【氏名又は名称】株式会社日立ソリューションズ

(74)【代理人】

【識別番号】110000062

【氏名又は名称】弁理士法人第一国際特許事務所

(72)【発明者】

【氏名】曾我 遼

(72)【発明者】

【氏名】山本 英人

(72)【発明者】

【氏名】安井 雅彦

(72)【発明者】

【氏名】柏瀬 秀行

(72)【発明者】

【氏名】河野 実

(72)【発明者】

【氏名】井上 正彦

(72)【発明者】

【氏名】福井 大輔

(72)【発明者】

【氏名】斎藤 英美

【審査官】鈴木 隆夫

(56)【参考文献】

【文献】特開２０００－２５９３８９（ＪＰ，Ａ）

【文献】特開２００４－００７５６１（ＪＰ，Ａ）

【文献】特開２０２１－１１７７５９（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１９／０１３２２６５（ＵＳ，Ａ１）

【文献】特開２０１９－１３９５７２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１４－７／１７３

Ｈ０４Ｎ ２１／００－２１／８５８

Ｇ１０Ｌ １５／００

Ｈ０４Ｍ ３／５６

(57)【特許請求の範囲】

【請求項1】

少なくとも１つ以上の対話装置と通信可能な対話管理装置であって、
対話インタフェース部は、
複数の話者との間でデジタル対話を行うための対話インターフェースを前記対話装置に提供し、
前記デジタル対話の対話記録を取得し、
話題管理部は、
前記デジタル対話の最中に、複数の話題候補を含む話題選択一覧に基づき前記デジタル対話における話題を指定するための話題指定情報の入力を前記対話装置から受け付け、
対話編集部は、
前記話題指定情報に基づいて前記対話記録を編集することで、話題毎に整理した編集済み対話記録を生成し、
前記編集済み対話記録と、評価の対象となる評価項目及び話題の対応関係を示す評価項目・話題対応表とに基づいて、評価項目毎に整理した評価項目毎対話記録を生成する、
ことを特徴とする対話管理装置。

【請求項2】

前記対話記録は、
前記デジタル対話に対応する音声情報又は映像情報又はその両方を含む、
ことを特徴とする、請求項１に記載の対話管理装置。

【請求項3】

前記話題管理部は、
複数の話題候補を含む話題選択一覧を前記対話インターフェースに表示する、
ことを特徴とする、請求項１に記載の対話管理装置。

【請求項4】

前記話題管理部は、
前記話者からの入力に基づいて、前記話題選択一覧から選択された第１の話題タグと、第１の話題の第１の開始時刻と、前記第１の話題の第１の終了時刻とを前記話題指定情報として受け付け、
前記第１の話題の第１の開始時刻と、前記第１の話題の第１終了時刻とに対応する第１の対話記録部分に対して、前記第１の話題タグを対応付ける、
ことを特徴とする、請求項３に記載の対話管理装置。

【請求項5】

前記対話編集部は、
前記対話記録を所定の解析手段によって解析することで、前記第１の話題の第２の開始時刻と、前記第１の話題の第２の終了時刻とを判定し、
前記第１の話題の第２の開始時刻と、前記話題指定情報に含まれる前記第１の話題の第１の開始時刻とを比較することで、前記第１の話題の第２の開始時刻と、前記第１の話題の第１の開始時刻との時刻差分を計算し、
過去の対話における話題間の遷移に関する情報を示す話題遷移データに基づいて、時刻差分閾値を計算し、
前記時刻差分が前記時刻差分閾値を満たす場合、前記第１の対話記録部分から前記第１の話題タグを削除すると共に、前記第１の話題タグを、前記第１の話題の第２の開始時刻と、前記第１の話題の第２の終了時刻とに対応する第２の対話記録部分に対して対応付ける、
ことを特徴とする、請求項４に記載の対話管理装置。

【請求項6】

前記対話編集部は、
前記対話記録から、前記第１の話題タグに対応付けられている対話記録部分を抽出し、まとめることで、話題毎に整理した編集済み対話記録を生成する、
ことを特徴とする、請求項４に記載の対話管理装置。

【請求項7】

前記解析手段は、
前記話者の表情の変化、口の動き、及び単語の変化のいずれか一方を解析するように構成された解析手段である、
ことを特徴とする、請求項５に記載の対話管理装置。

【請求項8】

第１の話者に用いられる第１の対話装置と、第２の話者に用いられる第２の対話装置と、前記第１の話者及び前記第２の話者との間でデジタル対話を行うための対話管理装置とが通信ネットワークを介して接続される対話管理システムにおいて、
前記対話管理装置は、
前記第１の話者及び前記第２の話者との間でデジタル対話を行うための対話インターフェースを前記第１の対話装置及び前記第２の対話装置へ提供し、前記デジタル対話の対話記録を取得する対話インターフェース部と、
前記デジタル対話の最中に、複数の話題候補を含む話題選択一覧に基づき前記デジタル対話における話題を指定するための話題指定情報の入力を受け付ける話題管理部と、
前記話題指定情報に基づいて前記対話記録を編集することで、話題毎に整理した編集済み対話記録を生成し、前記編集済み対話記録と、評価の対象となる評価項目及び話題の対応関係を示す評価項目・話題対応表とに基づいて、評価項目毎に整理した評価項目毎対話記録を生成する対話編集部と
を含むことを特徴とする対話管理システム。

【請求項9】

少なくとも１つ以上の対話装置と通信可能な対話管理装置における対話管理方法であって、
複数の話者との間でデジタル対話を行うための対話インターフェースを前記対話装置に提供する工程と、
複数の話題候補を含む話題選択一覧を前記対話インターフェースにおいて表示する工程と、
前記デジタル対話の記録を開始する工程と、
前記話者からの入力に基づいて、前記話題選択一覧から選択された第１の話題タグと、第１の話題の第１の開始時刻と、前記第１の話題の第１の終了時刻とを話題指定情報として受け付ける工程と、
前記第１の話題の第１の開始時刻と、前記第１の話題の第１終了時刻とに対応する第１の対話記録部分に対して、前記第１の話題タグを対応付ける工程と、
前記デジタル対話の記録を終了し、対話記録を取得する工程と、
前記対話記録から、前記第１の話題タグに対応付けられている対話記録部分を抽出し、まとめることで、話題毎に整理した編集済み対話記録を生成する工程と、
を含むことを特徴とする対話管理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、対話管理装置、対話管理システム及び対話管理方法に関する。

【背景技術】

【0002】

近年、インターネット回線等の通信ネットワークを介したオンライン上での会議や面談が行われている。特に最近では、テレワークの普及等により、人と人とが直接対面することなく、オンライン上で会議や面談を行うことが一般的となりつつある。

【0003】

このようなオンライン会議システム（オンライン面談システム）については、様々な機能が提案されている。例えば、オンライン会議システム上で行われた会議の動画を記録し、保存しておき、会議が終了してからも再び見返す機能が知られている。
このように録画した会議動画を見返す際、関心のある部分を速やかに特定し、視聴を容易にすることが望まれている。

【0004】

オンライン面談システムの関連技術の一つとして、例えば特開２０２１－１７５１５５号公報（特許文献１）が存在する。
特許文献１には、「撮像部と、通信部と、を有する携帯電話装置（スマートフォン１００）を、面談部として機能させる。通信部は、電話網及びインターネットを介して他の装置と通信可能に構成される。面談部は、面談制御部を有する。面談制御部は、面談相手の電話番号が入力された場合、面談に関するライブ配信の接続情報を、通信部及び電話網を介して面談相手に送信する。接続情報を介して面談相手から接続があった場合、通信部及び電話網を介した面談相手との面談に関するライブ配信における音声の送受信は、携帯電話装置の電話部を用いて行われる。面談制御部は、通信部及びインターネットを介して面談相手との面談に関するライブ配信における画像の送受信を制御する。」技術が開示されている。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０２１－１７５１５５号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

特許文献１には、面談に関するライブ配信における通話の録音データに基づき通話の内容をテキスト化し、これにより得られたテキストデータを解析することで、面談の参加者に発言内容等に基づいて、面談の雰囲気を判断する手段が開示されている。この解析の結果に基づいて、参加者は、次の面談の際、表情、話し方、話す内容等を修正し、より良い雰囲気で面談を実施することができる。

【0007】

しかしながら、特許文献１には、電話やオンライン会議システム等で行われた対話の記録を話題毎に整理することが想定されていない。話題毎に進む対話記録を得るために、話題毎に対話を実施しながら記録することが考えられるが、実際には、複数人で行われる対話においては、話題が他の話題に飛んだり、また、他の話題から元の話題に戻るなど、話題が様々に展開されることがある。このため、対話の内容をシステムを用いて整理しようとすると、話題の分析が困難となったり、異なる話題が混じりあってしまうことがある。この結果、対話記録を視聴する際、関心のある部分を速やかに特定することが困難となる課題が存在する。

【0008】

そこで、本開示は、話題が様々に展開される場合であっても、対話記録において、関心のある部分を速やかに特定することが可能な対話管理手段を提供することを目的とする。

【課題を解決するための手段】

【0009】

上記の課題を解決するために、代表的な本発明の対話管理装置は、複数の話者との間でデジタル対話を行うための対話インターフェースを提供し、前記デジタル対話の対話記録を取得する対話インターフェース部と、前記デジタル対話の最中に、前記デジタル対話における話題を指定するための話題指定情報の入力を受け付ける話題管理部と、前記話題指定情報に基づいて前記対話記録を編集することで、話題毎に整理した編集済み対話記録を生成する対話編集部とを含む。

【発明の効果】

【0010】

本開示によれば、話題が様々に展開される場合であっても、対話記録において、関心のある部分を速やかに特定することが可能な対話管理手段を提供することができる。
上記以外の課題、構成及び効果は、以下の発明を実施するための形態における説明により明らかにされる。

【図面の簡単な説明】

【0011】

【図1】図１は、本開示の実施形態を実施するためのコンピュータシステムを示す図である。

【図2】図２は、本開示の実施形態に係る対話管理システムの構成の一例を示す図である。

【図3】図３は、本開示の実施形態に係る話題毎対話記録生成処理の流れの一例を示す図である。

【図4】図４は、本開示の実施形態に係る対話インターフェース及び話題毎の対話記録部分の一例を示す図である。

【図5】図５は、本開示の実施形態に係る対話インターフェース描画処理の流れの一例を示す図である。

【図6】図６は、本開示の実施形態に係る話題整形処理及び関連情報整形処理を説明するための図である。

【図7】図７は、本開示の実施形態に係る対話記録タイミング補正処理の流れの一例を示す図である。

【図8】図８は、本開示の実施形態に係る有用話題遷移データ登録処理の流れの一例を示す図である。

【発明を実施するための形態】

【0012】

以下、図面を参照して、本発明の実施例について説明する。なお、この実施例により本発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付して示している。

【0013】

上述したように、電話やオンライン会議システム等で行われた対話の記録において、関心のある部分を速やかに特定することが望まれている。
そこで、本開示では、対話を実施している最中に、現在の話題を予め用意された候補から選択するためのメニュー（話題選択一覧）をインターフェースにおいて表示し、現在の話題を示す話題タグと、現在の話題の開始時刻及び終了時刻とを指定する入力を対話の参加者から受け付ける。この入力に基づいて、話題毎にラベル付けされた対話記録を得ることができる。そして、この話題毎にラベル付けされた対話記録を編集し、同一の話題に対応する部分（対話記録部分）をまとめることで、話題毎に整理した、編集済み対話記録を生成することができる。
これにより、話題が様々に展開される場合であっても、対話記録において、関心のある部分を速やかに特定することが可能となる。

【0014】

まず、図１を参照して、本開示の実施例を実施するためのコンピュータシステム１００について説明する。本明細書で開示される様々な実施例の機構及び装置は、任意の適切なコンピューティングシステムに適用されてもよい。コンピュータシステム１００の主要コンポーネントは、１つ以上のプロセッサ１０２、メモリ１０４、端末インターフェース１１２、ストレージインタフェース１１３、Ｉ／Ｏ（入出力）デバイスインタフェース１１４、及びネットワークインターフェース１１５を含む。これらのコンポーネントは、メモリバス１０６、Ｉ／Ｏバス１０８、バスインターフェースユニット１０９、及びＩ／Ｏバスインターフェースユニット１１０を介して、相互的に接続されてもよい。

【0015】

コンピュータシステム１００は、プロセッサ１０２と総称される１つ又は複数の汎用プログラマブル中央処理装置（ＣＰＵ）１０２Ａ及び１０２Ｂを含んでもよい。ある実施例では、コンピュータシステム１００は複数のプロセッサを備えてもよく、また別の実施例では、コンピュータシステム１００は単一のＣＰＵシステムであってもよい。各プロセッサ１０２は、メモリ１０４に格納された命令を実行し、オンボードキャッシュを含んでもよい。

【0016】

ある実施例では、メモリ１０４は、データ及びプログラムを記憶するためのランダムアクセス半導体メモリ、記憶装置、又は記憶媒体（揮発性又は不揮発性のいずれか）を含んでもよい。メモリ１０４は、本明細書で説明する機能を実施するプログラム、モジュール、及びデータ構造のすべて又は一部を格納してもよい。例えば、メモリ１０４は、対話管理アプリケーション１５０を格納していてもよい。ある実施例では、対話管理アプリケーション１５０は、後述する機能をプロセッサ１０２上で実行する命令又は記述を含んでもよい。

【0017】

ある実施例では、対話管理アプリケーション１５０は、プロセッサベースのシステムの代わりに、またはプロセッサベースのシステムに加えて、半導体デバイス、チップ、論理ゲート、回路、回路カード、および/または他の物理ハードウェアデバイスを介してハードウェアで実施されてもよい。ある実施例では、対話管理アプリケーション１５０は、命令又は記述以外のデータを含んでもよい。ある実施例では、カメラ、センサ、または他のデータ入力デバイス（図示せず）が、バスインターフェースユニット１０９、プロセッサ１０２、またはコンピュータシステム１００の他のハードウェアと直接通信するように提供されてもよい。

【0018】

コンピュータシステム１００は、プロセッサ１０２、メモリ１０４、表示システム１２４、及びＩ／Ｏバスインターフェースユニット１１０間の通信を行うバスインターフェースユニット１０９を含んでもよい。Ｉ／Ｏバスインターフェースユニット１１０は、様々なＩ／Ｏユニットとの間でデータを転送するためのＩ／Ｏバス１０８と連結していてもよい。Ｉ／Ｏバスインターフェースユニット１１０は、Ｉ／Ｏバス１０８を介して、Ｉ／Ｏプロセッサ（ＩＯＰ）又はＩ／Ｏアダプタ（ＩＯＡ）としても知られる複数のＩ／Ｏインタフェースユニット１１２，１１３，１１４、及び１１５と通信してもよい。

【0019】

表示システム１２４は、表示コントローラ、表示メモリ、又はその両方を含んでもよい。表示コントローラは、ビデオ、オーディオ、又はその両方のデータを表示装置１２６に提供することができる。また、コンピュータシステム１００は、データを収集し、プロセッサ１０２に当該データを提供するように構成された1つまたは複数のセンサ等のデバイスを含んでもよい。

【0020】

例えば、コンピュータシステム１００は、心拍数データやストレスレベルデータ等を収集するバイオメトリックセンサ、湿度データ、温度データ、圧力データ等を収集する環境センサ、及び加速度データ、運動データ等を収集するモーションセンサ等を含んでもよい。これ以外のタイプのセンサも使用可能である。表示システム１２４は、単独のディスプレイ画面、テレビ、タブレット、又は携帯型デバイスなどの表示装置１２６に接続されてもよい。

【0021】

Ｉ／Ｏインタフェースユニットは、様々なストレージ又はＩ／Ｏデバイスと通信する機能を備える。例えば、端末インタフェースユニット１１２は、ビデオ表示装置、スピーカ、テレビ等のユーザ出力デバイスや、キーボード、マウス、キーパッド、タッチパッド、トラックボール、ボタン、ライトペン、又は他のポインティングデバイス等のユーザ入力デバイスのようなユーザＩ／Ｏデバイス１１６の取り付けが可能である。ユーザは、ユーザインターフェースを使用して、ユーザ入力デバイスを操作することで、ユーザＩ／Ｏデバイス１１６及びコンピュータシステム１００に対して入力データや指示を入力し、コンピュータシステム１００からの出力データを受け取ってもよい。ユーザインターフェースは例えば、ユーザＩ／Ｏデバイス１１６を介して、表示装置に表示されたり、スピーカによって再生されたり、プリンタを介して印刷されたりしてもよい。

【0022】

ストレージインタフェース１１３は、１つ又は複数のディスクドライブや直接アクセスストレージ装置１１７（通常は磁気ディスクドライブストレージ装置であるが、単一のディスクドライブとして見えるように構成されたディスクドライブのアレイ又は他のストレージ装置であってもよい）の取り付けが可能である。ある実施例では、ストレージ装置１１７は、任意の二次記憶装置として実装されてもよい。メモリ１０４の内容は、ストレージ装置１１７に記憶され、必要に応じてストレージ装置１１７から読み出されてもよい。Ｉ／Ｏデバイスインタフェース１１４は、プリンタ、ファックスマシン等の他のＩ／Ｏデバイスに対するインターフェースを提供してもよい。ネットワークインターフェース１１５は、コンピュータシステム１００と他のデバイスが相互的に通信できるように、通信経路を提供してもよい。この通信経路は、例えば、ネットワーク１３０であってもよい。

【0023】

ある実施例では、コンピュータシステム１００は、マルチユーザメインフレームコンピュータシステム、シングルユーザシステム、又はサーバコンピュータ等の、直接的ユーザインターフェースを有しない、他のコンピュータシステム（クライアント）からの要求を受信するデバイスであってもよい。他の実施例では、コンピュータシステム１００は、デスクトップコンピュータ、携帯型コンピューター、ノートパソコン、タブレットコンピュータ、ポケットコンピュータ、電話、スマートフォン、又は任意の他の適切な電子機器であってもよい。

【0024】

次に、図２を参照して、本開示の実施形態に係る対話管理システムについて説明する。

【0025】

図２は、本開示の実施形態に係る対話管理システム２００の構成の一例を示す図である。本開示の実施形態に係る対話管理システム２００は、複数人の間で行われるデジタル対話について、話題毎に整理した編集済み対話記録を生成するためのシステムであり、図２に示すように、対話管理装置２１０と、第１の対話装置２２０と、第２の対話装置２３０とから主に構成される。対話管理装置２１０と、第１の対話装置２２０と、第２の対話装置２３０とは、例えばインターネット等の通信ネットワーク２２５を介して互いに通信可能に接続されている。

【0026】

対話管理装置２１０は、第１の対話装置２２０と、第２の対話装置２３０との間でのデジタル対話を行うプラットフォームを提供すると共に、デジタル対話について、話題毎に整理した編集済み対話記録を生成するための装置である。ここでのデジタル対話とは、電話、オンライン会議システム、アプリ等を介して、少なくとも二人の話者間で言葉を用いて行われる情報の共有を意味する。ここでのデジタル対話は、例えば電話等のように音声情報の共有のみで行われてもよく、動画通話等のように音声情報及び映像情報の両方の共有で行われてもよい。
また、ここでの「話者」とは、デジタル対話に参加する人を意味する。以下、説明の便宜上、二人の話者（第１の話者及び第２の話者）で行われるデジタル対話を一例として説明するが、本開示はこれに限定されず、話者の人数は任意であってもよい。

【0027】

図２に示すように、対話管理装置２１０は、対話インターフェース部２１２と、話題管理部２１４と、対話編集部２１６とを含む。

【0028】

対話インターフェース部２１２は、第１の話者と第２の話者との間でデジタル対話を行うための対話インターフェースを提供し、当該デジタル対話の対話記録を取得する機能部である。ここでの対話インターフェースは、例えば後述する第１の対話装置２２０及び第２の対話装置２３０のディスプレイ等に表示され、対話に関する情報及び設定を提供するＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）画面を意味する。一例として、対話インターフェースは、例えばカメラによって取得されている各話者の映像、テキストチャットのウインドウ、カメラ及びマイクロフォンの設定項目等を含んでもよい。また、後述するように、本開示の実施形態に係る対話インターフェースには、現在の話題を予め用意された候補から選択するためのメニューや、現在の話題に関する関連資料を表示してもよい。

【0029】

話題管理部２１４は、デジタル対話の最中に、デジタル対話における話題を指定するための話題指定情報の入力を受け付ける機能部である。より具体的には、話題管理部２１４は、複数の話題候補を含む話題選択一覧を対話管理装置２１０によって生成されている対話インターフェースにおいて表示し、話者（例えば面接官等）からの入力に基づいて、話題選択一覧から選択された第１の話題タグと、第１の話題の第１の開始時刻と、第１の話題の第１の終了時刻とを話題指定情報として受け付けてもよい。

【0030】

その後、話題管理部２１４は、受け付けた第１の話題の第１の開始時刻と、第１の話題の第１終了時刻とに対応する第１の対話記録部分に対して、第１の話題タグを対応付けてもよい。話題管理部２１４は、デジタル対話が終了するまで、話者からの話題指定情報の入力を受け付け、指定されている話題タグを指定されている対話記録部分に対して対応付けることで、話題毎にラベル付けされた対話記録を得ることができる。ここでの対話記録部分とは、対話記録における一部分を意味する。

【0031】

対話編集部２１６は、デジタル対話が終了した後、話題管理部２１４によって取得された話題指定情報に基づいて対話管理装置２１０によって記録された対話記録を編集することで、話題毎に整理した編集済み対話記録を生成する機能部である。より具体的には、対話編集部２１６は、話題毎にラベル付けされた対話記録から、同一の話題タグ（例えば、第１の話題タグ）に対応付けられている対話記録部分を抽出し、まとめることで、話題毎に整理した編集済み対話記録を生成してもよい。
ここで、「対話記録部分を抽出し、まとめる」との表現は、例えば、各話題タグに対応している対話記録部分を、既存の映像又は音声編集手段を用いて対話記録から切り出し、同一の話題タグに対応する対話記録部分を一つのグループとして結合することを意味する。それぞれのグループにおける対話記録部分は時間順に並べられてもよく、予め決まった話題の優先順位に基づいて並べられてもよい。

【0032】

なお、以上では、対話管理装置２１０に含まれる機能部の概要及び主な機能について説明したが、本開示はこれに限定されず、後述するように、他の機能を有してもよい。
また、本実施形態において「部」とは、例えば、広義の回路によって実施されるハードウェア資源と、これらのハードウェア資源によって具体的に実現されうるソフトウェア（例えば、図１に示す対話管理アプリケーション１５０）の情報処理とを合わせたものも含みうる。また、本実施形態においては様々な情報を取り扱うが、これら情報は、例えば電圧・電流を表す信号値の物理的な値、０又は１で構成される２進数のビット集合体としての信号値の高低、又は量子的な重ね合わせ（いわゆる量子ビット）によって表され、広義の回路上で通信・演算が実行されうる。

【0033】

第１の対話装置２２０及び第２の対話装置２３０は、デジタル対話に参加する話者によって用いられる端末であり、通信ネットワーク２２５を介して対話管理装置２１０によって提供されるデジタル対話プラットフォームに接続する。第１の対話装置２２０及び第２の対話装置２３０は、デジタル対話において送受信される音声情報及び／又は映像情報を取得・提供するための機能を有する端末であり、例えばスマートフォン、タブレット、パソコン等であってもよい。より具体的には、第１の対話装置２２０及び第２の対話装置２３０は、対話インターフェース部２１２によって生成される対話インターフェースを画面に表示し、ユーザからの情報入力（例えば話題指定情報の入力）を受け付けるように構成されてもよい。
なお、図２では、説明の便宜上、対話装置を２つ含む対話管理システム２００の構成を一例として示しているが、実際には、対話装置の数はデジタル対話に参加する話者の人数に応じて決まってもよい。

【0034】

以上説明したように構成した対話管理システム２００によれば、話題毎に整理した編集済み対話記録を生成することで、話題が様々に展開される場合であっても、対話記録において、関心のある部分を速やかに特定することが可能となる。
なお、図２では、対話管理装置２１０は、対話インターフェース部２１２と、話題管理部２１４及び対話編集部２１６の機能が通信ネットワーク２２５を介してアクセス可能な対話管理装置２１０において実施される場合を一例として説明したが、本開示はこれに限定されず、例えば対話インターフェース部２１２と、話題管理部２１４及び対話編集部２１６が第１の対話装置２２０及び第２の対話装置２３０上に作動するソフトウェアによって実施される構成も可能である。

【0035】

次に、図３を参照して、本開示の実施形態に係る話題毎の対話記録生成処理（以下、「話題毎対話記録生成処理」ということがある。）について説明する。

【0036】

図３は、本開示の実施形態に係る話題毎対話記録生成処理３００の流れの一例を示す図である。図３に示す話題毎対話記録生成処理３００は、話題毎に整理した編集済み対話記録を生成するための処理であり、上述した対話管理装置２１０における対話インターフェース部２１２、話題管理部２１４及び対話編集部２１６によって実施される。

【0037】

まず、ステップＳ３０４では、対話インターフェース部２１２は、話題選択一覧３０２の情報を取得し、取得した話題選択一覧３０２を含む対話インターフェース３０６を描画する。話題選択一覧３０２は、複数の話題候補を含む情報であり、デジタル対話を行う前に、例えばデジタル対話の主催者等によって予め作成されてもよい。話題選択一覧３０２に含まれる話題候補は、例えば、特定のデジタル対話において議論する予定の議題情報等に基づいて作成されてもよい。一例として、デジタル対話が企業の採用面接の場合、話題選択一覧３０２は、例えば「前職での人付き合い」や「前職で担当した案件」等を含んでもよい。

【0038】

ここで、対話インターフェース部２１２は、各話者の映像、テキストチャットのウインドウ、カメラ及びマイクロフォンの設定項目等に加えて、取得した話題選択一覧３０２を含む対話インターフェース３０６を生成してもよい。上述したように、この対話インターフェース３０６は、デジタル対話に参加している話者の対話装置（第１の対話装置２２０及び第２の対話装置２３０）に表示されてもよい。

【0039】

次に、ステップＳ３１２では、対話インターフェース部２１２は、対話記録３０８を取得し、話題管理部２１４は、話題指定情報３１０を取得する。ここで、対話記録３０８及び話題指定情報３１０を含む情報のセットは、「対話情報３１４」と総称する。
対話記録３０８は、デジタル対話を記録した情報であり、音声情報、映像情報、又はその両方を含んでもよい。例えば、デジタル対話が電話で行われた場合、対話記録３０８は、デジタル対話に参加した話者からの音声情報を録音した記録であってもよく、デジタル対話が動画通話の場合、対話記録３０８は、デジタル対話に参加した話者からの音声情報及び映像情報を録音・録画した記録であってもよい。

【0040】

話題指定情報３１０は、対話インターフェース３０６において表示される話題選択一覧３０２から選択された第１の話題タグと、第１の話題の第１の開始時刻と、第１の話題の第１の終了時刻とを含む情報である。

【0041】

ここで、話題管理部２１４は、話題選択一覧３０２に対する話者（例えば面接官等）からの入力に基づいて、話題選択一覧３０２から選択された第１の話題タグと、第１の話題の第１の開始時刻と、第１の話題の第１の終了時刻とを話題指定情報として受け付けることとしてもよい。その後、話題管理部２１４は、受け付けた第１の話題の第１の開始時刻と、第１の話題の第１終了時刻とに対応する第１の対話記録部分に対して、第１の話題タグを対応付けてもよい。話題管理部２１４は、デジタル対話が終了するまで、話者からの話題指定情報の入力を受け付け、指定されている話題タグを指定されている対話記録部分に対して対応付けることで、話題毎にラベル付けされた対話記録を得ることができる。
なお、本開示では、デジタル対話中、特定の話者から取得した全ての話題指定情報の集合を「話題選択履歴」という。

【0042】

次に、ステップＳ３１６では、対話編集部２１６は、ステップＳ３１２で取得された対話情報に基づいて、話題毎に整理した編集済み対話記録を生成する。デジタル対話が終了した後、対話編集部２１６は、話題指定情報３１０に基づいて対話記録３０８を編集することで、話題毎に整理した編集済み対話記録を生成する。より具体的には、対話編集部２１６は、話題毎にラベル付けされた対話記録から、同一の話題タグ（例えば、第１の話題タグ）に対応付けられている対話記録部分を抽出し、まとめることで、話題毎に整理した編集済み対話記録を生成してもよい。

【0043】

以上説明した話題毎対話記録生成処理３００によれば、話題毎に整理した編集済み対話記録を生成することができるため、話題が様々に展開される場合であっても、対話記録において、関心のある部分を速やかに特定することが可能となる。

【0044】

次に、図４を参照して、本開示の実施形態に係る対話インターフェース及び編集済み対話記録について説明する。

【0045】

図４は、本開示の実施形態に係る対話インターフェース３０６及び編集済み対話記録３１８の一例を示す図である。

【0046】

図４に示すように、対話インターフェース３０６において、デジタル対話の相手の映像４０５や、上述した話題選択一覧３０２が表示される。また、話題選択一覧３０２において、「前職での人付き合い」や「前職で担当した案件」等の話題候補の話題タグが含まれる。対話インターフェース３０６を用いてデジタル対話に参加している話者（例えば、第１の話者）は、デジタル対話がリアルタイムで進んでいる最中に、現在の話題（第１の話題）に対応する話題タグ（第１の話題タグ）を選択してもよい。これにより、選択された第１の話題タグが、対話記録における現在時刻（第１の話題の第１の開始時刻）に対応付けられる。

【0047】

また、デジタル対話が進むにつれて、話題が変わる度に、話者は、話題選択一覧３０２から新たな話題タグ（第２の話題タグ）を選択してもよい。そして、選択された第２の話題タグが、対話記録における現在時刻（第１の話題の第１の終了時刻及び第２の話題の第１の開始時刻）に対応付けられると共に、第１の話題が終了したと仮定される。
デジタル対話が終了するまで、話者からの話題指定情報の入力を受け付け、指定されている話題タグを指定されている対話記録部分に対して対応付けることで、話題毎にラベル付けされた対話記録を得ることができる。

【0048】

また、デジタル対話が終了した後、対話編集部２１６は、話題毎にラベル付けされた対話記録から、同一の話題タグ（例えば、第１の話題タグや第２の話題タグ）に対応付けられている対話記録部分を抽出し、まとめることで、図４に示す話題毎に整理した編集済み対話記録３１８を生成してもよい。

【0049】

例えば、対話記録において、「前職での人付き合い」との第１の話題タグが、００：００－０２：００に対応する第１の対話記録部分と、０３：３０－０４：００に対応する第３の対話記録部分に対応付けられ、「前職で担当した案件」との第２の話題タグが０２：００－０３：３０に対応する第２の対話記録部分に対応付けられている場合があるとする。この場合、対話編集部２１６は、対話記録を編集することで、第１の話題タグに対応付けられている第１の対話記録部分及び第３の対話記録部分を時間順に基づいて連結させ、第２の話題タグに対応付けられている第２の対話記録部分を第３の対話記録部分の後方に連結させ、話題毎に整理した編集済み対話記録３１８を生成してもよい。
なお、対話記録３１８における話題の順番は、例えば話題がデジタル対話において登場した順番としてもよいし、予め決定された優先順位に基づいた順番としてもよい。

【0050】

次に、図５を参照して、本開示の実施形態に係る対話インターフェース描画処理の流れについて説明する。

【0051】

図５は、本開示の実施形態に係る対話インターフェース描画処理５００の流れの一例を示す図である。図５に示す対話インターフェース描画処理５００は、話題選択一覧３０２や対話の相手の映像等を含む対話インターフェースを生成するための処理であり、上述した対話管理装置２１０における対話インターフェース部２１２及び話題管理部２１４によって実施される。

【0052】

上述したように、本開示の一態様では、対話を実施している最中に、現在の話題を予め用意された候補から選択するための話題選択一覧３０２を対話インターフェース３０６において表示し、現在の話題を示す話題タグと、現在の話題の開始時刻及び終了時刻とを指定する話題指定情報の入力を対話の参加者から受け付ける。
しかし、話題指定情報を入力する際、話題選択一覧３０２において多数の話題候補が表示される場合、所望の話題を探して選択することは手間を要することがある。そこで、本開示の実施形態に係る対話インターフェース描画処理５００の一態様は、現在の話題に関連性が高い話題候補を話題選択一覧３０２において強調表示するための話題整形処理に関する。これにより、所望の話題を探して選択する手間が省け、話題指定情報を入力する対話の参加者は、現在の話題に関連性が高い話題候補を容易に選択することができる。

【0053】

また、対話を行う際、対話に参加する話者は、対話における特定の内容を評価又は分析したい場合がある。一例として、対話が企業の採用面接の場合、対話に参加する話者である面接官は、候補者の適性や能力等について、所定の評価項目を評価したい場合が考えられる。したがって、対話インターフェース描画処理５００のもう一態様は、現在の話題に関連性が高い関連資料（例えば、評価項目の評価基準等）を対話インターフェース３０６において表示することに関する。これにより、対話の参加者は、対話を行いながら関連性の高い資料を容易に確認することが可能となる。

【0054】

まず、ステップＳ５１０では、話題管理部２１４は、話題遷移データ５０２と、話題選択一覧３０２とを入力し、入力した話題遷移データ５０２及び話題選択一覧３０２に基づいて、現在の話題に関連性が高い話題候補を話題選択一覧３０２において強調表示するための話題整形処理を行う。また、ここで、話題管理部２１４は、上述した入力情報に加えて、以前に取得した対話情報５２４を入力してもよい。

【0055】

ここでの話題遷移データ５０２は、ある話題（第１の話題）から別の話題（第２の話題）への遷移に関する情報であり、例えば現在の話題を識別するための対話ＩＤと、当該遷移を識別するための遷移ＩＤと、それぞれの話題を識別するための話題ＩＤと、対話の内容を示す対話内容（本開示において、「照合テキスト情報」ともいう）と、補正前の話題開始時刻（第１の話題の第１の開始時刻）、補正前の話題終了時刻（第１の話題の第１の終了時刻）、補正後の話題開始時刻（第１の話題の第２の開始時刻）、補正後の話題終了時刻（第１の話題の第２の終了時刻）を含んでもよい。
話題選択一覧３０２については、上述したため、ここではその説明を省略する。
なお、現在の話題に関連性が高い話題候補を話題選択一覧３０２において強調表示するための話題整形処理の詳細については後述するため、ここではその説明を省略する。

【0056】

ステップＳ５１２では、話題管理部２１４は、関連資料５０６と、評価項目・話題対応表５０８とを入力し、入力した関連資料５０６と、評価項目・話題対応表５０８とに基づいて、現在の話題に関連性が高い関連資料を対話インターフェース３０６に表示するための関連情報整形処理を行う。
また、ここで、話題管理部２１４は、上述した入力情報に加えて、以前に取得した対話情報５２４を入力してもよい。

【0057】

ここでの関連資料５０６は、デジタル対話より前に作成され、デジタル対話に関連する資料であり、例えばデジタル対話の議題に関連するプレゼンテーション資料や、参考資料等であってもよい。一例として、デジタル対話が採用面接の場合、この関連資料５０６は、候補者に対して実施したアンケートへの回答や、候補者の職務経歴書等を含んでもよい。
評価項目・話題対応表５０８は、話題と評価項目との対応関係を示す表形式の情報である。一例として、デジタル対話が採用面接の場合、評価項目・話題対応表５０８は、「前職で担当した案件」との話題が「業務経験」との評価項目に対応することを示してもよい。
なお、現在の話題に関連性が高い関連資料を対話インターフェース３０６に表示するための関連情報整形処理の詳細については後述するため、ここではその説明を省略する。

【0058】

次に、ステップＳ５１４では、対話インターフェース部２１２は、ステップＳ５１０の話題整形処理及びステップＳ５１２の関連情報整形処理から取得した情報に基づいて、対話インターフェース３０６を描画する。
上述したように、ここで、対話インターフェース部２１２は、各話者の映像、テキストチャットのウインドウ、カメラ及びマイクロフォンの設定項目等に加えて、現在の話題に関連性が高い話題候補を強調表示した話題選択一覧３０２と、現在の話題に関連性が高い関連情報とを含む対話インターフェース３０６を生成してもよい。この対話インターフェース３０６は、デジタル対話に参加している話者の対話装置（第１の対話装置２２０及び／又は第２の対話装置２３０）に表示されてもよい。

【0059】

次に、ステップＳ５１６では、対話インターフェース部２１２は、対話記録３０８及び参加者メモ５２２を取得し、話題管理部２１４は、話題指定情報３１０を取得する。ここで、対話記録３０８、参加者メモ５２２及び話題指定情報３１０を含む情報のセットは、「対話情報」５２４と総称する。
上述したように、対話記録３０８は、デジタル対話を記録した情報であり、音声情報、映像情報、又はその両方を含んでもよい。

【0060】

また、上述したように、話題指定情報３１０は、対話インターフェース３０６において表示される話題選択一覧３０２から選択された第１の話題タグと、第１の話題の第１の開始時刻と、第１の話題の第１の終了時刻とを含む情報である。
参加者メモ５２２は、対話インターフェース３０６において、デジタル対話に参加している話者によって入力されたノートである。この参加者メモ５２２の情報は、話題毎に記録されてもよい。
ここで取得される対話情報５２４は、ステップＳ５１０の話題整形処理及びステップＳ５１２の関連情報整形処理へフィードバックされる。このように、以降に実施された話題整形処理及び関連情報整形処理は、対話情報５２４を用いることで、より精度の高い話題整形の結果及び関連情報整形の結果を提供することができる。

【0061】

次に、図６を参照して、本開示の実施形態に係る話題整形処理及び関連情報整形処理について説明する。

【0062】

図６は、本開示の実施形態に係る話題整形処理及び関連情報整形処理を説明するための図である。図６には、話題整形処理を用いて作成された対話インターフェース６１０の一例と、関連情報整形処理を用いて作成された対話インターフェース６２０の一例とが示されている。

【0063】

上述したように、話題整形処理は、現在の話題に関連性が高い話題候補を話題選択一覧３０２において強調表示するための処理であり、話題管理部２１４によって実施される。
ここで、対話インターフェース部２１２は、所定の親近基準（例えば現時点から遡って所定の期間を指定する基準）を満たす第１の発話（例えば、直近１０秒間以内に発せられた発言）を取得し、この第１の発話をテキスト情報に変換することで第１の発話テキスト情報を生成する。この第１の発話は、デジタル対話に参加している話者のいずれかに発せられた発言であってもよい。また、この第１の発話をテキスト情報に変換するために、既存の自動音声認識手段を用いてもよい。

【0064】

次に、話題管理部２１４は、第１の発話テキスト情報と、話題選択一覧３０２に含まれる話題候補との関連度を判定する。ここで、関連度を判定する方法として、以下の２通りの内のいずれかを用いてもよい。

【0065】

１通り目の関連度判定方法では、話題管理部２１４は、事前に収集された話題遷移データの中から、現在の話題遷移に対応する話題遷移データを検索する。その後、話題管理部２１４は、検索した話題遷移データに含まれ、話題選択一覧３０２の話題候補のそれぞれに対応付けられている照合テキスト情報と、第１の発話テキスト情報とを、比較することで、第１の発話の、複数の話題候補のそれぞれに対する関連度を一致する単語数に基づいて計算する。ここでの照合テキスト情報は、特定の話題候補に関連性が高いと判断され、当該話題を話す際に登場する確率が高いと予測され、事前に用意したテキスト情報であり、上述した話題遷移データに含まれる情報である。
また、ここでは、一致する単語数の他にも、自然言語処理によって判定される意味的情報の類似度を用いて第１の発話テキスト情報と、話題選択一覧３０２に含まれる話題候補との関連度を判定してもよい。

【0066】

また、２通り目の関連度判定方法では、話題管理部２１４は、事前に収集された話題遷移データの中から、現在の話題遷移に対応する話題遷移データを検索し、検索した話題遷移データによって指定される次の遷移先に対応する話題候補を関連度の高い話題候補として出力してもよい。
このように、第１の発話テキスト情報と、話題遷移データとに基づいて、現在の対話の内容と、話題候補との関連性を判定することができる。

【0067】

次に、話題管理部２１４は、第１の発話との関連度が所定の関連度基準を満たす話題候補（例えば、関連度が最も高い候補等）を判定し、対話インターフェース部２１２は、判定した話題候補を話題選択一覧３０２において強調表示する。

【0068】

図６に示すように、対話インターフェース部２１２は、話題整形処理を用いて作成された対話インターフェース６１０において、第１の発話との関連度が所定の関連度基準を満たす話題候補について、上位の位置に表示してもよく、色を変えて強調表示してもよく、「推奨」等の文字タグを追加して強調表示してもよく、強調表示の方法は特に限定されない。また、対話インターフェース６１０に示すように、対話インターフェース部２１２は、一定の関連度を有する他の話題候補について「候補」等の文字タグを表示してもよい。

【0069】

また、上述したように、関連情報整形処理は、現在の話題に関連性が高い関連資料を対話インターフェースに表示するための処理であり、話題管理部２１４によって実施される。
ここで、話題管理部２１４は、話題整形処理と同様に、所定の親近基準（例えば現時点から遡って所定の期間を指定する基準）を満たす第２の発話（例えば、直近１０秒間以内に発せられた発言）を取得し、当該第２の発話をテキスト情報に変換することで第２の発話テキスト情報を生成してもよい。この第２の発話は、デジタル対話に参加している話者のいずれかに発せられた発言であってもよい。また、この第２の発話をテキスト情報に変換するために、既存の自動音声認識手段を用いてもよい。

【0070】

次に、話題管理部２１４は、第２の発話テキスト情報を、現在のデジタル対話に関連する関連資料に比較することで、第２の発話の、関連資料に含まれる項目のそれぞれに対する関連度を計算する。ここで、第２の発話の、関連資料に含まれる複数の項目のそれぞれに対する関連度を計算するためには、対話インターフェース部２１２は、関連資料に含まれる項目毎に、第２の発話テキスト情報と一致する単語数に基づいて計算してもよく、自然言語処理によって得られる意味的情報の類似度に基づいて計算してもよい。

【0071】

次に、話題管理部２１４は、第２の発話との関連度が所定の関連度基準を満たす関連資料の項目（例えば、関連度が最も高い項目等）を判定し、対話インターフェース部２１２は、判定した項目を対話インターフェース３０６において表示する。

【0072】

図６に示すように、対話インターフェース部２１２は、関連情報整形処理を用いて作成された対話インターフェース６２０において、第２の発話との関連度が所定の関連度基準を満たす関連資料の項目６２６として、事前に実施されたアンケートへの回答を表示してもよい。また、対話インターフェース部２１２は、対話インターフェース６２０において、デジタル対話に参加している話者によって入力された参加者メモ５２２を入力するウインドウを表示してもよい。

【0073】

更に、本開示の一態様において、表示される関連資料の項目６２６の情報が対話インターフェース６２０に収まらない場合、対話インターフェース部２１２は、デジタル対話の現在の話題の内容に基づいて、関連資料の項目６２６を自動的にスクロールしてもよい。ここで、対話インターフェース部２１２は、上述したように、現時点から遡って所定の時間以内に発せられた発話をテキスト情報に変換し、当該テキスト情報と関連資料の項目６２６とで一致する単語数が最も高い関連資料の項目６２６を容易に視認可能な位置となるようにスクロールを行ってもよい。

【0074】

上述した話題整形処理によれば、話題指定情報を入力する際、話題選択一覧３０２において多数の話題候補が表示される場合であっても、現在の話題に関連性が高い話題候補を話題選択一覧３０２において強調表示することができる。これにより、所望の話題を探して選択する手間が省け、話題指定情報を入力する対話の参加者は、現在の話題に関連性が高い話題候補を容易に選択することができる。
また、上述した関連情報整形処理によれば、現在の話題に関連性が高い関連資料を対話インターフェース３０６において表示することができる。これにより、対話の参加者は、対話を行いながら関連性の高い資料を容易に確認することが可能となる。

【0075】

次に、図７を参照して、本開示の実施形態に係る対話記録タイミング補正処理について説明する。

【0076】

図７は、本開示の実施形態に係る対話記録タイミング補正処理７００の流れの一例を示す図である。図７に示す対話記録タイミング補正処理７００は、デジタル対話の参加者である話者によって指定された話題の開始及び終了時刻（第１の開始及び終了時刻）を、より正確な時刻（第２の開始及び終了時刻）に補正するための処理であり、対話管理装置２１０における対話編集部２１６によって実施される。

【0077】

上述したように、本開示の一態様では、対話を実施している最中に、現在の話題を予め用意された候補から選択するための話題選択一覧３０２を対話インターフェース３０６において表示し、現在の話題を示す話題タグと、現在の話題の開始時刻及び終了時刻とを指定する話題指定情報の入力を対話の参加者から受け付ける。
しかし、話題指定情報を入力する際、話者によって指定された話題の開始時刻及び終了時刻が実際の話題の開始時刻及び終了時刻からずれてしまうことがある。これは、例えば、話者が誤って新たな話題の開始時刻を早く選択した場合や、話者が話題の開始時刻の選択を忘れてしまい、遅れて選択した場合等が考えられる。

【0078】

そこで、本開示の実施形態に係る対話記録タイミング補正処理７００の一態様は、デジタル対話の参加者である話者によって指定された話題の開始及び終了時刻を、より正確な時刻に補正することに関する。話題のより正確な変更時刻は、例えば対話記録に示される話者の表情の変化、口の動き、単語の変化等を解析することで判定することができる。このように、話題の開始及び終了時刻を、より正確な時刻に補正することで、より正確にラベル付けされた編集済み対話記録を生成することができる。

【0079】

まず、ステップＳ７０４では、対話編集部２１６は、後述する話題無効判定に用いられる最小話題時間７０６を、話題遷移データ５０２及び最小話題時間算出係数７０２に基づいて計算する。
対話記録タイミング補正処理７００を行う際、デジタル対話の参加者である話者によって指定された話題の開始及び終了時刻を、より正確な時刻に補正するためには、所定の長さ閾値を満たさない話題（つまり、話が短すぎる話題）を排除することが望ましい。最小話題時間７０６は、タイミング補正を行うに当たって有効な話題及び無効な話題を区別するための長さ閾値を示す情報である。以下では、説明の便宜上、特定の話題の開始時刻から終了時刻までの時間を「話題時間」という。

【0080】

この最小話題時間７０６は、事前に管理者等により設定されてもよく、話題遷移データ５０２及び最小話題時間算出係数７０２から計算されてもよい。この場合、対話編集部２１６は、事前に収集された話題遷移データの中から、最も短い話題時間を、当該話題遷移データに含まれる補正前・補正後の時刻に基づいて判定し、判定した最も短い話題時間に対して、予め設定された最小話題時間算出係数７０２を掛算することで最小話題時間７０６を計算してもよい。

【0081】

ステップＳ７０８では、対話編集部２１６は、話題遷移データ５０２に基づいて、補正前後話題変更タイミング差分７１０を計算する。
対話記録タイミング補正処理７００を行う際、デジタル対話の参加者である話者によって指定された話題の開始及び終了時刻を、話者によって指定された話題の開始及び終了時刻との差分が小さい話題変更タイミング候補に補正することが望ましい。したがって、ここでは、対話編集部２１６は、話題変更タイミング候補の内、話者によって指定された話題の開始及び終了時刻との差分が大きい話題変更タイミング候補を排除するための閾値として、補正前後話題変更タイミング差分７１０を計算する。
ここで、対話編集部２１６は、補正前後話題変更タイミング差分７１０を、過去の話題遷移データ５０２における補正前の話題開始時刻及び話題終了時刻と、補正後の話題開始時刻及び話題終了時刻との差分の平均値を算出し、算出した平均値を補正前後話題変更タイミング差分７１０（時刻差分閾値）としてもよい。

【0082】

ステップＳ７１４では、対話編集部２１６は、対象の対話記録の話題選択履歴７１２（つまり、当該対話記録について指定された全ての話題開始時刻及び話題終了時刻を示す情報）に基づいて、話題毎の話題時間を算出する。一例として、対話編集部２１６は、第１の話題の話題時間が３分４７秒であり、第２の話題の話題時間が２７秒であり、第３の話題の話題時間が８分１６秒であると判定し、これらの情報を話題毎時間７１６として出力してもよい。

【0083】

ステップＳ７１８では、対話編集部２１６は、ステップＳ７０４で計算された最小話題時間７０６と、ステップＳ７１４で計算された話題毎時間７１６とに基づいて、話題無効判定を行う。ここでの話題無効判定とは、タイミング補正を行うに当たって有効な話題及び無効な話題を区別するための判定である。対話編集部２１６は、ステップＳ７１４で計算された話題毎時間７１６を、ステップＳ７０４で計算された最小話題時間７０６に比較することで、対話記録に含まれる話題毎に、当該話題の話題時間が最小話題時間７０６を満たすか否かを判定する。最小話題時間７０６を満たさない話題を無効な話題として排除し、最小話題時間７０６を満たす話題のみを含む有効話題選択履歴７２０を出力する。

【0084】

ステップＳ７２４では、対話編集部２１６は、対話記録３０８を解析することで、話題の新たな開始時刻及び終了時刻（つまり、デジタル対話の参加者である話者によって指定された話題の開始及び終了時刻より正確な開始時刻及び終了時刻）の候補である話題変更タイミング候補７２６を判定する。ここで、対話編集部２１６は、所定の顔認識手段や音声分析手段を用いて対話記録３０８を解析してもよい。例えば、対話編集部２１６は、話者の話し出し、表情の変化、及び／又は単語の変化を話者分離、音声分析、自動音声認識等の解析手段で解析することで話題変更タイミング候補７２６を判定してもよい。

【0085】

ステップＳ７３０では、対話編集部２１６は、ステップＳ７０８で判定された補正前後話題変更タイミング差分７１０と、ステップＳ７１８で生成された有効話題選択履歴７２０と、ステップＳ７２４で計算された話題変更タイミング候補７２６とに基づいて、補正後話題選択履歴７３２を生成する。
より具体的には、対話編集部２１６は、有効話題選択履歴７２０において、話題変更タイミング候補７２６との差分が補正前後話題変更タイミング差分７１０以内の話題開始・終了時刻が存在する場合、当該話題開始・終了時刻を、話題変更タイミング候補７２６に補正する。

【0086】

一例として、有効話題選択履歴７２０において、話者によって指定された第１の話題の開始時刻として「０１：３０」が含まれており、話題変更タイミング候補７２６において、第１の話題の開始時刻の変更タイミング候補として「０１：２８」、「０２：３０」、「０３：３０」が含まれており、補正前後話題変更タイミング差分７１０が「５秒」である場合を検討する。この場合、「０１：２８」との変更タイミング候補は、「０１：３０」との話者によって指定された第１の話題の開始時刻との差分が補正前後話題変更タイミング差分７１０に規定される「５秒」以内であるため、「０１：２８」との変更タイミング候補が採用され、「０１：３０」との第１の話題の開始時刻が「０１：２８」へ補正される。
以上説明した処理を、有効話題選択履歴７２０に含まれる全ての話題開始・終了時刻に対して実施することで、デジタル対話の参加者である話者によって指定された話題の開始及び終了時刻を、より正確な時刻に補正した補正後話題選択履歴７３２を生成することができる。

【0087】

次に、ステップＳ３１６では、対話編集部２１６は、ステップＳ７３０で生成された補正後話題選択履歴７３２に基づいて対話記録３０８を編集することで、デジタル対話の参加者である話者によって指定された話題の開始及び終了時刻がより正確な時刻に補正され、且つ話題毎に整理した編集済み対話記録３１８を生成する。

【0088】

上述した対話記録タイミング補正処理７００によれば、話者によって指定された話題の開始時刻及び終了時刻が実際の話題の開始時刻及び終了時刻からずれてしまった場合において、話者によって指定された話題の開始時刻及び終了時刻を、顔認識や音声分析等の解析手段によって判定された時刻に補正することで、より正確にラベル付けされた編集済み対話記録を生成することができる。

【0089】

次に、図８を参照して、本開示の実施形態に係る有用話題遷移データ登録処理について説明する。

【0090】

図８は、本開示の実施形態に係る有用話題遷移データ登録処理８００の流れの一例を示す図である。図８に示す有用話題遷移データ登録処理８００は、有用話題遷移データを登録するための処理であり、対話管理装置２１０における対話編集部２１６によって実施される。

【0091】

上述した対話インターフェース描画処理５００及び対話記録タイミング補正処理７００において、ある話題（第１の話題）から別の話題（第２の話題）への遷移に関する情報を示す話題遷移データ５０２が用いられる。例えば、対話インターフェース描画処理５００においては、話題遷移データ５０２は、現在の話題に関連性が高い話題候補を話題選択一覧３０２において強調表示するための話題整形処理に用いられる。また、対話記録タイミング補正処理７００においては、話題遷移データ５０２は、適切な補正前後話題変更タイミング差分７１０を計算するために用いられる。
しかし、話題遷移が適切でない（例えば、話題遷移が論理的に不自然な）話題遷移データ５０２を用いると、上述した処理の精度が低下してしまうことがある。そこで、本開示の実施形態に係る有用話題遷移データ登録処理８００は、適切な話題遷移を含み、対話インターフェース描画処理５００及び対話記録タイミング補正処理７００の精度を向上させる有用な話題遷移データを選別し、登録することに関する。

【0092】

まず、ステップＳ８０２では、対話編集部２１６は、編集済み対話記録３１８、関連資料５０６、評価項目・話題対応表５０８及び参加者メモ５２２とに基づいて、評価項目毎に整理した対話記録である評価項目毎対話記録８０４を生成する。この評価項目毎対話記録８０４は、評価項目毎に整理されている点において、話題毎に整理した編集済み対話記録３１８と異なる。
より具体的には、対話編集部２１６は、編集済み対話記録３１８、関連資料５０６、評価項目・話題対応表５０８及び参加者メモ５２２とに基づいて、同一の評価項目に該当する話題を特定し、特定した話題に対応する対話記録部分をまとめることで評価項目毎対話記録８０４を生成してもよい。この評価項目毎対話記録８０４において、複数の異なる話題が同一の評価項目に対応する場合、これらの複数の話題が１つの「話題グループ」として結合されてもよい。

【0093】

次に、ステップＳ８０６では、対話編集部２１６は、評価項目毎対話記録８０４に基づいて、評価項目毎の話題グループの確信度である評価項目毎確信度８０８を計算する。ここでの評価項目毎確信度８０８は、評価項目毎対話記録８０４における各話題グループ毎に、当該話題グループが所定の評価項目を評価するための有用性を示す尺度である。

【0094】

ここで、評価項目毎確信度８０８を計算する方法として、以下の２通りの内のいずれかを用いてもよい。
１通り目では、対話編集部２１６は、過去の評価項目毎対話記録８０４からの特徴量（例えば、表情の特徴、音声の特徴）及び当該評価項目毎対話記録８０４に対応する評価結果を学習データとして、ＸＧｂｏｏｓｔ等を用いて予測モデルを学習しておく。その後、このように学習した予測モデルに対して、処理対象の評価項目毎対話記録８０４を入力し、評価項目毎対話記録８０４の特徴量を算出する（フレームごとに表情や音声を識別し、表情又は音声毎のフレーム数を算出する）際の予測モデルの確信度を評価項目毎確信度８０８としてもよい。

【0095】

２通り目では、対話編集部２１６は、上述したように学習した予測モデルを用いて、評価項目毎対話記録８０４からの新規の特徴量（例えば、表情の特徴、音声の特徴）を算出し、評価結果を予測し、予測モデルの予測確率を評価項目毎確信度８０８としてもよい。

【0096】

次に、ステップＳ８１０では、対話編集部２１６は、評価項目毎確信度８０８に基づいて、話題毎の確信度を示す話題毎確信度８１２を計算する。上述したように、評価項目毎確信度８０８は、各評価項目に該当する複数の話題を結合した話題グループ毎の確信度を示す値であるが、有用性の高い話題遷移データを選別するためには、各話題毎の確信度を算出することが望ましい。
ここで、対話編集部２１６は、評価項目毎確信度８０８に示す話題グループ毎の確信度を話題毎に平均することで話題毎確信度８１２を計算してもよい。

【0097】

一例として、第１の評価項目について、第１の話題及び第３の話題からなる第１の話題グループの確信度が「０．３」であり、第２の評価項目について、第２の話題及び第３の話題からなる第２話題グループの確信度が「０．８」であるとする。
この場合、第１の話題は、第１の評価項目に対応する第１の話題グループのみに登場するため、確信度が「０.３」となる。また、第２の話題は、第２の評価項目に対応する第２の話題グループのみに登場するため、確信度が「０.８」となる。また、第３の話題は、第１の評価項目に対応する第１の話題グループ及び第２の評価項目に対応する第２の話題グループの両方に登場するため、確信度が「０．３」と「０．８」との平均値である「０．５５」となる。

【0098】

次に、ステップＳ８１６では、対話編集部２１６は、ステップＳ８１０で計算した話題毎確信度８１２と、予め設定される話題毎確信度遷移閾値８１４と、上述した対話記録タイミング補正処理７００において生成された補正後話題選択履歴７３２とに基づいて、有用な話題遷移データ５０２を選別する。ここで、対話編集部２１６は、ステップＳ８１０で話題毎確信度８１２を計算した話題を用いて全ての組み合わせを生成し、各組み合わせについて、話題毎確信度８１２の平均値を、当該組み合わせを話題遷移とした場合の有用性を示す話題遷移確信度とする。

【0099】

一例として、確信度が「０．３」である第１の話題と確信度が「０．８」である第２の話題とからなる組み合わせの場合、第１の話題から第２の話題へ遷移した場合の有効性を示す話題遷移確信度は、「０．３」と「０．８」との平均値である「０．５５」となる。また、確信度が「０．８」である第２の話題と確信度が「０．５５」である第３の話題とからなる組み合わせの場合、第２の話題から第３の話題へ遷移した場合の有効性を示す話題遷移確信度は、「０．８」と「０．５５」との平均値である「０．６７５」となる。

【0100】

話題遷移確信度を計算した後、対話編集部２１６は、予め設定した話題毎確信度遷移閾値８１４以上の話題遷移確信度を有する話題の組み合わせを有効な話題遷移データ５０２として登録し、予め設定した話題毎確信度遷移閾値８１４未満の話題遷移確信度を有する話題の組み合わせを対話記録タイミング補正処理７００から除去する。
ここで、対話編集部２１６は、例えば、有効と判定された話題遷移データ５０２を、対話インターフェース描画処理５００及び対話記録タイミング補正処理７００において使用可能なデータベースに保存しておくことで話題遷移データ５０２を登録してもよい。

【0101】

以上説明した有用話題遷移データ登録処理８００によれば、適切な話題遷移を含み、対話インターフェース描画処理５００及び対話記録タイミング補正処理７００の精度を向上させる有用話題遷移データを選別し、登録することができる。

【0102】

本開示の実施形態に係る対話管理手段によれば、例えば話題が様々に展開される対話であっても、話題毎に整理した、編集済み対話記録を生成することができる。
また、本開示の実施形態の一態様によれば、現在の話題に関連性が高い話題候補を話題選択一覧において強調表示することができる。これにより、所望の話題を探して選択する手間が省け、話題指定情報を入力する対話の参加者は、現在の話題に関連性が高い話題候補を容易に選択することができる。
また、本開示の実施形態の一態様によれば、現在の話題に関連性が高い関連資料（例えば、評価項目の評価基準等）を対話インターフェースにおいて表示することができる。これにより、対話の参加者は、対話を行いながら関連性の高い資料を容易に確認することが可能となる。

【0103】

更に、本開示の実施形態の一態様によれば、デジタル対話の参加者である話者によって指定された話題の開始及び終了時刻を、例えば対話記録に示される話者の表情の変化、口の動き、単語の変化等によって判定したより正確な時刻に補正することができる。これにより、より正確にラベル付けされた編集済み対話記録を生成することができる。

【0104】

以上、本発明の実施の形態について説明したが、本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

【符号の説明】

【0105】

２００ 対話管理システム
２１０ 対話管理装置
２１２ 対話インターフェース部
２１４ 話題管理部
２１６ 対話編集部
２２０ 第１の対話装置
２２５ 通信ネットワーク
２３０ 第２の対話装置
３００ 話題毎対話記録生成処理
５００ 対話インターフェース描画処理
７００ 対話記録タイミング補正処理
８００ 有用話題遷移データ登録処理

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】