(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023109786
(43)【公開日】2023-08-08
(54)【発明の名称】議論分析装置及び議論分析方法
(51)【国際特許分類】
G10L 25/48 20130101AFI20230801BHJP
H04M 3/42 20060101ALI20230801BHJP
G06Q 10/00 20230101ALI20230801BHJP
【ＦＩ】
G10L25/48 100
H04M3/42 Z
G06Q10/00
【審査請求】有
【請求項の数】13
【出願形態】ＯＬ
(21)【出願番号】P 2023075775
(22)【出願日】2023-05-01
(62)【分割の表示】P 2019046990の分割
【原出願日】2019-03-14
(71)【出願人】
【識別番号】517063112
【氏名又は名称】ハイラブル株式会社
(74)【代理人】
【識別番号】100166006
【弁理士】
【氏名又は名称】泉 通博
(74)【代理人】
【識別番号】100154070
【弁理士】
【氏名又は名称】久恒 京範
(74)【代理人】
【識別番号】100153280
【弁理士】
【氏名又は名称】寺川 賢祐
(72)【発明者】
【氏名】水本 武志
(57)【要約】
【課題】議論における話者の遷移の検出精度を向上できるようにする。
【解決手段】本発明の一実施形態に係る議論分析装置１は、複数の参加者が参加する議論における、複数の参加者それぞれの発話量を取得する情報取得部１１１と、議論において、第１の時間範囲ごとに複数の参加者のうち発話量が最大である最大発話者を特定する最大発話者特定部１１２と、第１の時間範囲ごとの最大発話者の変化に基づいて、複数の参加者の間で発生した話者の遷移を示す遷移情報を出力する出力部１１６と、を有する。
【選択図】図２
【解決手段】本発明の一実施形態に係る議論分析装置１は、複数の参加者が参加する議論における、複数の参加者それぞれの発話量を取得する情報取得部１１１と、議論において、第１の時間範囲ごとに複数の参加者のうち発話量が最大である最大発話者を特定する最大発話者特定部１１２と、第１の時間範囲ごとの最大発話者の変化に基づいて、複数の参加者の間で発生した話者の遷移を示す遷移情報を出力する出力部１１６と、を有する。
【選択図】図２
【特許請求の範囲】
【請求項1】
複数の参加者が参加する議論における、前記複数の参加者それぞれの発話量を取得する情報取得部と、
前記議論において、第１の時間範囲ごとに前記複数の参加者のうち前記発話量が最大である最大発話者を特定する最大発話者特定部と、
前記第１の時間範囲ごとの前記最大発話者の変化に基づいて、前記複数の参加者の間で発生した話者の遷移を示す遷移情報を生成する遷移検出部と、
前記複数の参加者のうち１人の参加者が参加した複数の前記議論のうち、前記遷移情報の類似度が所定値よりも大きい複数の前記議論における前記１人の参加者の発話量に関する情報を、前記１人の参加者に関連付けて出力する出力部と、
を有する、議論分析装置。
前記議論において、第１の時間範囲ごとに前記複数の参加者のうち前記発話量が最大である最大発話者を特定する最大発話者特定部と、
前記第１の時間範囲ごとの前記最大発話者の変化に基づいて、前記複数の参加者の間で発生した話者の遷移を示す遷移情報を生成する遷移検出部と、
前記複数の参加者のうち１人の参加者が参加した複数の前記議論のうち、前記遷移情報の類似度が所定値よりも大きい複数の前記議論における前記１人の参加者の発話量に関する情報を、前記１人の参加者に関連付けて出力する出力部と、
を有する、議論分析装置。
【請求項2】
複数の参加者が参加する議論における、前記複数の参加者それぞれの発話量を取得する情報取得部と、
前記議論において、第１の時間範囲ごとに前記複数の参加者のうち前記発話量が最大である最大発話者を特定する最大発話者特定部と、
前記第１の時間範囲ごとの前記最大発話者の変化に基づいて、前記複数の参加者の間で発生した話者の遷移を示す遷移情報を生成する遷移検出部と、
前記複数の参加者のうち１人の参加者が参加した複数の前記議論のうち、前記遷移情報の類似度が所定値よりも小さい複数の前記議論における前記１人の参加者の発話量に関する情報を、前記１人の参加者に関連付けて出力する出力部と、
を有する、議論分析装置。
前記議論において、第１の時間範囲ごとに前記複数の参加者のうち前記発話量が最大である最大発話者を特定する最大発話者特定部と、
前記第１の時間範囲ごとの前記最大発話者の変化に基づいて、前記複数の参加者の間で発生した話者の遷移を示す遷移情報を生成する遷移検出部と、
前記複数の参加者のうち１人の参加者が参加した複数の前記議論のうち、前記遷移情報の類似度が所定値よりも小さい複数の前記議論における前記１人の参加者の発話量に関する情報を、前記１人の参加者に関連付けて出力する出力部と、
を有する、議論分析装置。
【請求項3】
前記遷移検出部は、１つの時間範囲における前記最大発話者である第１の参加者と、前記１つの時間範囲に続く時間範囲における前記最大発話者である第２の参加者とが異なる場合に、前記第１の参加者から前記第２の参加者への前記遷移を示す前記遷移情報を生成する、請求項１又は２に記載の議論分析装置。
【請求項4】
前記遷移情報の時系列の類似性に基づいて、前記議論を１つ以上のフェーズに分割するフェーズ分割部をさらに有する、請求項１から３のいずれか一項に記載の議論分析装置。
【請求項5】
前記遷移検出部は、前記第１の時間範囲よりも長い第２の時間範囲ごとに前記遷移の回数を示す前記遷移情報を生成し、
前記フェーズ分割部は、前記遷移情報の時系列の類似性に基づいて前記第２の時間範囲ごとの前記遷移情報をクラスタリングし、生成した複数のクラスタに含まれている前記遷移情報に対応する前記第２の時間範囲の前記議論中の時刻に基づいて、前記議論を構成する前記１つ以上のフェーズを決定する、請求項４に記載の議論分析装置。
前記フェーズ分割部は、前記遷移情報の時系列の類似性に基づいて前記第２の時間範囲ごとの前記遷移情報をクラスタリングし、生成した複数のクラスタに含まれている前記遷移情報に対応する前記第２の時間範囲の前記議論中の時刻に基づいて、前記議論を構成する前記１つ以上のフェーズを決定する、請求項４に記載の議論分析装置。
【請求項6】
前記複数の参加者の各組み合わせにおける前記遷移の有無を示す複数のパターンを生成し、前記複数のパターンのうち、前記遷移情報との類似度が所定の条件を満たすパターンを選択するパターン選択部をさらに有する、請求項１から５のいずれか一項に記載の議論分析装置。
【請求項7】
前記パターン選択部は、選択した前記パターンの一部を変更した複数のサブパターンをさらに生成し、前記複数のサブパターンのうち、前記遷移情報との類似度が所定の条件を満たすサブパターンを選択する、請求項６に記載の議論分析装置。
【請求項8】
前記出力部は、前記パターン選択部が選択した前記パターンに基づいて前記複数の参加者の役割を判定し、前記複数の参加者それぞれと前記複数の参加者それぞれの役割とを関連付けて出力する、請求項６又は７に記載の議論分析装置。
【請求項9】
前記出力部は、前記パターン選択部が選択した前記パターンに基づいて、前記複数の参加者の行動を文章として出力する、請求項６から８のいずれか一項に記載の議論分析装置。
【請求項10】
前記出力部は、所定のグループに属する前記複数の参加者が参加した複数の前記議論における前記複数の参加者の発話量に関する情報を、前記グループに関連付けて出力する、請求項１から９のいずれか一項に記載の議論分析装置。
【請求項11】
前記出力部は、第１の議論における前記グループに属する前記複数の参加者の発話量の順位と、前記第１の議論とは異なる第２の議論における前記グループに属する前記複数の参加者の発話量の順位とを関連付けて出力する、請求項１０に記載の議論分析装置。
【請求項12】
プロセッサが実行する、
複数の参加者が参加する議論における、前記複数の参加者それぞれの発話量を取得するステップと、
前記議論において、第１の時間範囲ごとに前記複数の参加者のうち前記発話量が最大である最大発話者を特定するステップと、
前記第１の時間範囲ごとの前記最大発話者の変化に基づいて、前記複数の参加者の間で発生した話者の遷移を示す遷移情報を生成するステップと、
前記複数の参加者のうち１人の参加者が参加した複数の前記議論のうち、前記遷移情報の類似度が所定値よりも大きい複数の前記議論における前記１人の参加者の発話量に関する情報を、前記１人の参加者に関連付けて出力するステップと、
を有する、議論分析方法。
複数の参加者が参加する議論における、前記複数の参加者それぞれの発話量を取得するステップと、
前記議論において、第１の時間範囲ごとに前記複数の参加者のうち前記発話量が最大である最大発話者を特定するステップと、
前記第１の時間範囲ごとの前記最大発話者の変化に基づいて、前記複数の参加者の間で発生した話者の遷移を示す遷移情報を生成するステップと、
前記複数の参加者のうち１人の参加者が参加した複数の前記議論のうち、前記遷移情報の類似度が所定値よりも大きい複数の前記議論における前記１人の参加者の発話量に関する情報を、前記１人の参加者に関連付けて出力するステップと、
を有する、議論分析方法。
【請求項13】
プロセッサが実行する、
複数の参加者が参加する議論における、前記複数の参加者それぞれの発話量を取得するステップと、
前記議論において、第１の時間範囲ごとに前記複数の参加者のうち前記発話量が最大である最大発話者を特定するステップと、
前記第１の時間範囲ごとの前記最大発話者の変化に基づいて、前記複数の参加者の間で発生した話者の遷移を示す遷移情報を生成するステップと、
前記複数の参加者のうち１人の参加者が参加した複数の前記議論のうち、前記遷移情報の類似度が所定値よりも小さい複数の前記議論における前記１人の参加者の発話量に関する情報を、前記１人の参加者に関連付けて出力するステップと、
を有する、議論分析方法。
複数の参加者が参加する議論における、前記複数の参加者それぞれの発話量を取得するステップと、
前記議論において、第１の時間範囲ごとに前記複数の参加者のうち前記発話量が最大である最大発話者を特定するステップと、
前記第１の時間範囲ごとの前記最大発話者の変化に基づいて、前記複数の参加者の間で発生した話者の遷移を示す遷移情報を生成するステップと、
前記複数の参加者のうち１人の参加者が参加した複数の前記議論のうち、前記遷移情報の類似度が所定値よりも小さい複数の前記議論における前記１人の参加者の発話量に関する情報を、前記１人の参加者に関連付けて出力するステップと、
を有する、議論分析方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、複数の参加者による議論を分析するための議論分析装置及び議論分析方法に関する。
【背景技術】
【0002】
グループ学習や会議における議論を分析する方法として、ハークネス法（ハークネスメソッドともいう）が知られている（例えば、非特許文献１参照）。ハークネス法では、議論において発言を行った参加者（話者）の遷移を線で記録する。これにより、各参加者の議論への貢献や、他者との関係性を分析することができる。ハークネス法は、学生が主体的に学習を行うアクティブ・ラーニングにも効果的に適用できる。
【先行技術文献】
【非特許文献】
【0003】
【非特許文献1】Paul Sevigny、「Extreme Discussion Circles : Preparing ESL Students for "The Harkness Method"」、Polyglossia、立命館アジア太平洋大学言語教育センター、平成24年10月、第23号、p. 181-191
【発明の概要】
【発明が解決しようとする課題】
【0004】
ハークネス法では記録者が常に議論を記録する必要があるため、記録者の負担が大きい。そこで集音装置によって参加者が発した音声を取得し、コンピュータによって音声を分析することによって、自動的に話者の遷移を検出することが考えられる。しかしながら、コンピュータは、参加者が話している際に発生した物体の衝突音や他の参加者の相槌等の不規則な音を参加者の発言として検出してしまい、話者の遷移を正しく検出できない場合がある。
【0005】
本発明はこれらの点に鑑みてなされたものであり、議論における話者の遷移の検出精度を向上させることを目的とする。
【課題を解決するための手段】
【0006】
本発明の第１の態様の議論分析装置は、複数の参加者が参加する議論における、前記複数の参加者それぞれの発話量を取得する情報取得部と、前記議論において、第１の時間範囲ごとに前記複数の参加者のうち前記発話量が最大である最大発話者を特定する最大発話者特定部と、前記第１の時間範囲ごとの前記最大発話者の変化に基づいて、前記複数の参加者の間で発生した話者の遷移を示す遷移情報を出力する出力部と、を有する。
【0007】
前記出力部は、１つの時間範囲における前記最大発話者である第１の参加者と、前記１つの時間範囲に続く時間範囲における前記最大発話者である第２の参加者とが異なる場合に、前記第１の参加者から前記第２の参加者への前記遷移を示す前記遷移情報を出力してもよい。
【0008】
前記議論分析装置は、前記遷移情報の時系列の類似性に基づいて、前記議論を１つ以上のフェーズに分割するフェーズ分割部をさらに有してもよい。
【0009】
前記出力部は、前記第１の時間範囲よりも長い第２の時間範囲ごとに前記遷移の回数を示す前記遷移情報を出力し、前記フェーズ分割部は、前記遷移情報の時系列の類似性に基づいて前記第２の時間範囲ごとの前記遷移情報をクラスタリングし、生成した複数のクラスタに含まれている前記遷移情報に対応する前記第２の時間範囲の前記議論中の時刻に基づいて、前記議論を構成する前記１つ以上のフェーズを決定してもよい。
【0010】
前記議論分析装置は、前記複数の参加者の各組み合わせにおける前記遷移の有無を示す複数のパターンを生成し、前記複数のパターンのうち、前記遷移情報との類似度が所定の条件を満たすパターンを選択するパターン選択部をさらに有してもよい。
【0011】
前記パターン選択部は、選択した前記パターンの一部を変更した複数のサブパターンをさらに生成し、前記複数のサブパターンのうち、前記遷移情報との類似度が所定の条件を満たすサブパターンを選択してもよい。
【0012】
前記出力部は、前記パターン選択部が選択した前記パターンに基づいて前記複数の参加者の役割を判定し、前記複数の参加者それぞれと前記複数の参加者それぞれの役割とを関連付けて出力してもよい。
【0013】
前記出力部は、前記パターン選択部が選択した前記パターンに基づいて、前記複数の参加者の行動を文章として出力してもよい。
【0014】
前記出力部は、前記複数の参加者のうち１人の参加者が参加した複数の前記議論のうち、所定の条件を満たす前記議論における前記１人の参加者の発話量に関する情報を、前記１人の参加者に関連付けて出力してもよい。
【0015】
前記出力部は、所定のグループに属する前記複数の参加者が参加した複数の前記議論における前記複数の参加者の発話量に関する情報を、前記グループに関連付けて出力してもよい。
【0016】
前記出力部は、第１の議論における前記グループに属する前記複数の参加者の発話量の順位と、前記第１の議論とは異なる第２の議論における前記グループに属する前記複数の参加者の発話量の順位とを関連付けて出力してもよい。
【0017】
本発明の第２の態様の議論分析方法は、プロセッサが実行する、複数の参加者が参加する議論における、前記複数の参加者それぞれの発話量を取得するステップと、前記議論において、第１の時間範囲ごとに前記複数の参加者のうち前記発話量が最大である最大発話者を特定するステップと、前記第１の時間範囲ごとの前記最大発話者の変化に基づいて、前記複数の参加者の間で発生した話者の遷移を示す遷移情報を出力するステップと、を有する。
【発明の効果】
【0018】
本発明によれば、議論における話者の遷移の検出精度が向上するという効果を奏する。
【図面の簡単な説明】
【0019】
【図1】実施形態に係る議論分析システムの模式図である。
【図2】実施形態に係る議論分析システムのブロック図である。
【図3】議論分析装置が議論における話者の遷移を検出する方法の模式図である。
【図4】議論分析装置が議論を１つ以上のフェーズに分割する方法の模式図である。
【図5】議論分析装置が遷移情報に類似するパターンを選択する方法の模式図である。
【図6】議論分析装置が遷移情報に類似するパターンを選択する方法の模式図である。
【図7】ディスカッションレポート画面を表示している表示部の前面図である。
【図8】個人レポート画面を表示している表示部の前面図である。
【図9】コースレポート画面を表示している表示部の前面図である。
【図10】議論分析装置が行う議論分析方法のフローチャートを示す図である。
【発明を実施するための形態】
【0020】
［議論分析システムＳＳの概要］
図１は、本実施形態に係る議論分析システムＳＳの模式図である。議論分析システムＳＳは、議論分析装置１と、通信端末２と、集音装置３とを含む。議論分析システムＳＳが含む通信端末２及び集音装置３の数は限定されない。議論分析システムＳＳは、その他のサーバ、端末等の機器を含んでもよい。
図１は、本実施形態に係る議論分析システムＳＳの模式図である。議論分析システムＳＳは、議論分析装置１と、通信端末２と、集音装置３とを含む。議論分析システムＳＳが含む通信端末２及び集音装置３の数は限定されない。議論分析システムＳＳは、その他のサーバ、端末等の機器を含んでもよい。
【0021】
集音装置３は、異なる向きに配置された複数の集音部（マイクロフォン）を含むマイクロフォンアレイを備える。例えばマイクロフォンアレイは、地面に対する水平面において、同一円周上に等間隔で配置された８個のマイクロフォンを含む。このようなマイクロフォンアレイを用いることによって、議論分析装置１は、集音装置３を取り囲んでいる複数の参加者Ｕが発した音声に基づいて、いずれの参加者Ｕが話者（音源）であるかを特定することができる。集音装置３は、マイクロフォンアレイを用いて取得した音声をデータとして議論分析装置１へ送信する。
【0022】
通信端末２は、通信を行うことが可能なコンピュータである。通信端末２は、例えばパーソナルコンピュータ等のコンピュータ端末、又はスマートフォン等の携帯端末である。通信端末２は、議論分析装置１に対して分析条件を設定し、また議論分析装置１から受信した情報を表示する。
【0023】
議論分析装置１は、集音装置３によって取得された音声を用いて議論を分析するコンピュータである。議論分析装置１は、例えば単一のコンピュータ、又はコンピュータ資源の集合であるクラウドによって構成される。
【0024】
議論分析装置１は、ローカルエリアネットワーク、インターネット等のネットワークＮを介して、通信端末２及び集音装置３に有線又は無線で接続される。議論分析装置１は、通信端末２及び集音装置３のうち少なくとも一方に、ネットワークＮを介さず直接接続されてもよい。
【0025】
議論分析装置１が実行する処理の概要を以下に説明する。まず議論分析装置１は、複数の参加者Ｕが参加する議論における音声を、集音装置３から取得する。議論分析装置１は、取得した音声を用いて、議論における複数の参加者Ｕそれぞれの発話量を取得する。議論分析装置１は、所定の時間範囲ごとに、発話量が最大の参加者Ｕ（すなわち最大発話者）を特定する。そして議論分析装置１は、所定の時間範囲ごとの最大発話者の時系列の変化に基づいて、複数の参加者Ｕの間で発生した話者の遷移を示す遷移情報を出力する。
【0026】
本実施形態に係る議論分析システムＳＳによれば、議論分析装置１は、発話量が最大の参加者Ｕの変化に基づいて話者の遷移を検出するため、物体の衝突音や参加者Ｕの相槌等の発言ではない音によって話者の遷移を検出することを抑えることができ、議論における話者の遷移の検出精度を向上できる。
【0027】
［議論分析システムＳＳの構成］
図２は、本実施形態に係る議論分析システムＳＳのブロック図である。図２において、矢印は主なデータの流れを示しており、図２に示していないデータの流れがあってよい。図２において、各ブロックはハードウェア（装置）単位の構成ではなく、機能単位の構成を示している。そのため、図２に示すブロックは単一の装置内に実装されてよく、あるいは複数の装置内に分かれて実装されてよい。ブロック間のデータの授受は、データバス、ネットワーク、可搬記憶媒体等、任意の手段を介して行われてよい。
図２は、本実施形態に係る議論分析システムＳＳのブロック図である。図２において、矢印は主なデータの流れを示しており、図２に示していないデータの流れがあってよい。図２において、各ブロックはハードウェア（装置）単位の構成ではなく、機能単位の構成を示している。そのため、図２に示すブロックは単一の装置内に実装されてよく、あるいは複数の装置内に分かれて実装されてよい。ブロック間のデータの授受は、データバス、ネットワーク、可搬記憶媒体等、任意の手段を介して行われてよい。
【0028】
議論分析装置１は、制御部１１と、記憶部１２とを有する。制御部１１は、情報取得部１１１と、最大発話者特定部１１２と、遷移検出部１１３と、フェーズ分割部１１４と、パターン選択部１１５と、出力部１１６とを有する。記憶部１２は、議論情報記憶部１２１と、参加者情報記憶部１２２とを有する。
【0029】
記憶部１２は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ハードディスクドライブ等を含む記憶媒体である。記憶部１２は、制御部１１が実行するプログラムを予め記憶している。記憶部１２は、議論分析装置１の外部に設けられてもよく、その場合にネットワークを介して制御部１１との間でデータの授受を行ってもよい。
【0030】
議論情報記憶部１２１は、議論に関する情報を示す議論情報を記憶する。参加者情報記憶部１２２は、議論に参加する参加者に関する情報を示す参加者情報を記憶する。議論情報記憶部１２１及び参加者情報記憶部１２２は、それぞれ記憶部１２上の記憶領域であってもよく、あるいは記憶部１２上で構成されたデータベースであってもよい。
【0031】
制御部１１は、例えばＣＰＵ（Central Processing Unit）等のプロセッサであり、記憶部１２に記憶されたプログラムを実行することにより、情報取得部１１１、最大発話者特定部１１２、遷移検出部１１３、フェーズ分割部１１４、パターン選択部１１５及び出力部１１６として機能する。制御部１１の機能の少なくとも一部は、電気回路によって実行されてもよい。また、制御部１１の機能の少なくとも一部は、ネットワーク経由で実行されるプログラムによって実行されてもよい。
【0032】
通信端末２は、制御部２１と、記憶部２２と、表示部２３とを有する。制御部２１は、受信部２１１を有する。表示部２３は、液晶ディスプレイ等、情報を表示可能な表示装置を含む。表示部２３として人間による接触の位置を検出可能なタッチスクリーンを用いてもよい。
【0033】
記憶部２２は、ＲＯＭ、ＲＡＭ、ハードディスクドライブ等を含む記憶媒体である。記憶部２２は、制御部２１が実行するプログラムを予め記憶している。記憶部２２は、通信端末２の外部に設けられてもよく、その場合にネットワークを介して制御部２１との間でデータの授受を行ってもよい。
【0034】
制御部２１は、例えばＣＰＵ等のプロセッサであり、記憶部２２に記憶されたプログラムを実行することにより、受信部２１１として機能する。制御部２１の機能の少なくとも一部は、電気回路によって実行されてもよい。また、制御部２１の機能の少なくとも一部は、ネットワーク経由で実行されるプログラムによって実行されてもよい。
【0035】
本実施形態に係る議論分析装置１及び通信端末２は、図２に示す具体的な構成に限定されない。議論分析装置１及び通信端末２は、それぞれ１つの装置に限られず、２つ以上の物理的に分離した装置が有線又は無線で接続されることにより構成されてもよい。
【0036】
［議論分析方法の説明］
本実施形態に係る議論分析装置１が行う議論分析方法を以下に説明する。複数の参加者は、議論を行う際に、１つの集音装置３を取り囲んで着席する。議論の参加者又は議論を分析する分析者は、通信端末２を操作することによって、分析条件の設定を行う。例えば分析条件は、分析対象とする議論の参加者の人数と、集音装置３を基準とした複数の参加者それぞれが位置する向き（すなわち、相対的な位置）とを示す情報である。議論分析装置１において、情報取得部１１１は、設定された分析条件を通信端末２から受信し、議論を識別するための識別情報（例えば議論ＩＤ）と関連付けて議論情報記憶部１２１に記憶させる。議論ＩＤは、自動的に議論に割り振られてもよく、あるいは参加者又は分析者によって入力されてもよい。
本実施形態に係る議論分析装置１が行う議論分析方法を以下に説明する。複数の参加者は、議論を行う際に、１つの集音装置３を取り囲んで着席する。議論の参加者又は議論を分析する分析者は、通信端末２を操作することによって、分析条件の設定を行う。例えば分析条件は、分析対象とする議論の参加者の人数と、集音装置３を基準とした複数の参加者それぞれが位置する向き（すなわち、相対的な位置）とを示す情報である。議論分析装置１において、情報取得部１１１は、設定された分析条件を通信端末２から受信し、議論を識別するための識別情報（例えば議論ＩＤ）と関連付けて議論情報記憶部１２１に記憶させる。議論ＩＤは、自動的に議論に割り振られてもよく、あるいは参加者又は分析者によって入力されてもよい。
【0037】
次に参加者又は分析者は、議論を開始する際に、通信端末２を操作することによって、議論の開始を指示する。議論分析装置１において、情報取得部１１１は、議論の開始を指示する信号を通信端末２から受信すると、音声の取得を指示する信号を集音装置３へ送信する。集音装置３は、議論分析装置１から音声の取得を指示する信号を受信した場合に、音声の取得を開始する。
【0038】
集音装置３は、複数の集音部においてそれぞれ音声を取得し、各集音部に対応する各チャネルの音声として内部に記録する。そして集音装置３は、取得した複数のチャネルの音声を、議論分析装置１へ送信する。集音装置３は、取得した音声を逐次送信してもよく、あるいは所定量又は所定時間の音声を送信してもよい。また、集音装置３は、取得の開始から終了までの音声をまとめて送信してもよい。議論分析装置１において、情報取得部１１１は、集音装置３から音声を受信し、議論ＩＤと関連付けて議論情報記憶部１２１に記憶させる。
【0039】
参加者又は分析者は、議論を終了する際に、通信端末２を操作することによって、議論の終了を指示する。議論分析装置１において、情報取得部１１１は、議論の終了を指示す信号を通信端末２から受信すると、音声の取得の終了を指示する信号を集音装置３へ送信する。集音装置３は、議論分析装置１から音声の取得の終了を指示する信号を受信した場合に、音声の取得を終了する。
【0040】
以降の処理は、音声の取得が終了したことを契機として、又は分析者が通信端末２に対して所定の指示を行ったことを契機として行われる。また、以降の処理は、音声の取得が開始されたことを契機として逐次処理で行われてもよい。情報取得部１１１は、集音装置３から受信した複数チャネルの音声に基づいて音源定位を行う。音源定位は、情報取得部１１１が取得した音声に含まれる音源の向きを、時間ごと（例えば１０ミリ秒～１００ミリ秒ごと）に推定する処理である。情報取得部１１１は、時間ごとに推定した音源の向きを、議論情報記憶部１２１に記憶された分析条件が示す複数の参加者それぞれの向きと関連付ける。
【0041】
情報取得部１１１は、取得した音声に基づいて音源の向きを特定可能であれば、ＭＵＳＩＣ（Multiple Signal Classification）法、ビームフォーミング法等、既知の音源定位方法を用いることができる。
【0042】
次に情報取得部１１１は、取得した音声及び推定した音源の向きに基づいて、議論において、所定の時間ごと（例えば１０ミリ秒～１００ミリ秒ごと）に、いずれの参加者が発話（発言）したかを判別する。情報取得部１１１は、１人の参加者が発話を開始してから終了するまでの連続した期間を発話期間として特定する。同じ時間に複数の参加者が発話を行った場合には、複数の参加者の発話期間の少なくとも一部同士が重複する。情報取得部１１１は、議論において特定した発話期間を、議論ＩＤと関連付けて議論情報記憶部１２１に記憶させる。
【0043】
情報取得部１１１は、議論の中で、特定の時間範囲を除外して、発話期間を特定してもよい。この場合に、参加者又は分析者は、議論の中で除外対象の時間範囲において、通信端末２又は集音装置３に対して所定の操作を行う。参加者又は分析者は、除外対象の時間範囲中にボタン操作等の操作を継続してもよく、あるいは除外対象の時間範囲の開始時及び終了時にそれぞれボタン操作等の操作を行ってもよい。通信端末２又は集音装置３は、除外対象の時間範囲を示す情報を、議論分析装置１へ送信する。
【0044】
情報取得部１１１は、除外対象の時間範囲を示す情報を受信した場合に、取得した音声から該時間範囲を除外した音声を議論情報記憶部１２１に記憶させ、取得した音声から該時間範囲を除外した音声を用いて発話期間の特定を行う。これにより、参加者又は分析者は、機密事項等を話す時間範囲を、分析対象としないように設定できる。
【0045】
本実施形態において、情報取得部１１１は、集音装置３が取得した音声に基づいて発話期間を特定しているが、その他の方法によって発話期間を特定してもよい。例えば情報取得部１１１は、音声通話又はビデオ通話（ビデオ会議、ビデオチャットともいう）において参加者が発した音声に基づいて、参加者の発話期間を特定してもよい。また、例えば情報取得部１１１は、記憶部１２に予め記憶された発話期間を読み出して取得してもよい。
【0046】
また、例えば情報取得部１１１は、議論における参加者の顔を含む画像に基づいて、参加者の発話期間を特定してもよい。この場合には、議論を行う複数の参加者の近傍に、集音装置３に代えて又は加えて撮像装置を配置する。情報取得部１１１は、議論の最中に撮像装置が撮像した複数の参加者の顔を含む時系列の画像を取得する。また、情報取得部１１１は、ビデオ通話において通信端末間で送受信される複数の参加者の顔を含む時系列の画像を取得してもよい。情報取得部１１１は、取得した画像に対して既知の顔認識処理を適用することによって、人間の顔の状態（例えば口が開いているか否か）に基づいて、複数の参加者それぞれが発話中か否かを判定し、複数の参加者それぞれの発話期間を特定する。
【0047】
次に、議論分析装置１が議論における話者の遷移を検出する方法を説明する。図３は、議論分析装置１が議論における話者の遷移を検出する方法の模式図である。情報取得部１１１は、特定した発話期間に基づいて、議論における複数の参加者それぞれの時系列の発話量（発言量ともいう）を取得する。
【0048】
具体的には、情報取得部１１１は、議論を所定の窓幅ｗ１（例えば３０秒）の第１フレーム（すなわち第１の時間範囲）に分割する。第１フレームは窓幅ｗ１より短い所定のシフト幅ｓ１（例えば１０秒）ずつずらされており、隣接する第１フレーム同士の一部同士が時系列で互いに重複している。
【0049】
そして情報取得部１１１は、第１フレームにおける参加者の発話期間の長さ（合計発話時間）を窓幅ｗ１で割った値を、第１フレームごとの発話量として算出する。情報取得部１１１は、複数の参加者それぞれについて、議論の開始時刻から終了時刻までの第１フレームごとの発話量を算出する。情報取得部１１１は、議論における複数の参加者それぞれの第１フレームごとの発話量を示す情報を、議論ＩＤと関連付けて議論情報記憶部１２１に記憶させる。
【0050】
図３の上段の図は、複数の参加者の時系列の発話量のグラフＧを示している。グラフＧは、複数の参加者の発話量を積み上げグラフとして表している。グラフＧの横軸は時間、縦軸は発話量である。グラフＧの領域には、複数の参加者それぞれに応じて異なる模様が表されている。
【0051】
さらに情報取得部１１１は、取得した発話期間及び発話量に基づいて、複数の参加者それぞれの割り込み量及び盛り上げ量を算出する。具体的には、情報取得部１１１は、２人の参加者の発話期間が時系列で互いに重複している場合に、発話期間が重複している部分の長さを、該２人の参加者のうち発話期間の開始時刻が遅い方の参加者の割り込み量として算出する。情報取得部１１１は、議論の開始から終了までの複数の参加者それぞれの割り込み量を算出する。
【0052】
また、情報取得部１１１は、１人の参加者の１つの発話期間の前及び後それぞれの所定時間（例えば２０秒間）における複数の参加者全員の発話量を合計し、該発話期間の後の合計発話量から該発話期間の前の合計発話量を減算した量（すなわち、該発話期間の前から後の合計発話量の増分）を、盛り上げ量として算出する。情報取得部１１１は、議論の開始から終了まで複数の参加者それぞれの盛り上げ量を算出する。情報取得部１１１は、１人の参加者の全ての発話期間の数のうち、盛り上げ量が０より大きい発話期間の回数を、盛り上げ回数として算出してもよい。情報取得部１１１は、複数の参加者それぞれの割り込み量及び盛り上げ量（又は盛り上げ回数）を、議論ＩＤと関連付けて議論情報記憶部１２１に記憶させる。
【0053】
最大発話者特定部１１２は、情報取得部１１１が取得した発話量に基づいて、第１フレームごとに複数の参加者のうち発話量が最大である最大発話者を特定する。最大発話者特定部１１２は、議論の最初の第１フレームから最後の第１フレームまでの最大発話者の配列を出力する。
【0054】
図３の中段の図は、時系列の最大発話者を帯Ｓとして示している。時系列の最大発話者の帯Ｓは、時系列の発話量のグラフＧに基づいて生成されており、横軸はグラフＧの時間に対応している。最大発話者の帯Ｓには、複数の参加者それぞれに応じて異なる模様が表されており、グラフＧの領域の模様に対応している。
【0055】
遷移検出部１１３は、最大発話者特定部１１２が特定した第１フレームごとの最大発話者の変化に基づいて、複数の参加者の間で発生した話者の遷移を検出する。具体的には、議論を所定の窓幅ｗ２の第２フレーム（すなわち第２の時間範囲）に分割する。第２フレームの窓幅ｗ２は、第１フレームの窓幅ｗ１よりも長い。すなわち、第２フレームは、複数の第１フレームを含む。窓幅ｗ２は、窓幅ｗ１の所定の倍数（例えば窓幅ｗ１の１００倍）として定義されてもよく、あるいは所定の時間（例えば３０００秒）として定義されてもよい。
【0056】
第２フレームは窓幅ｗ２より短い所定のシフト幅ｓ２ずつずらされており、隣接する２つの第２フレームの一部同士が時系列で互いに重複している。シフト幅ｓ２は、窓幅ｗ１の所定の倍数（例えば窓幅ｗ１の５倍）として定義されてもよく、あるいは所定の時間（例えば１５０秒）として定義されてもよい。
【0057】
そして遷移検出部１１３は、１つの第１フレームにおける最大発話者である第１の参加者と、該第１フレームに続く第１フレームにおける最大発話者である第２の参加者とが異なる場合に、該第１の参加者から該第２の参加者への遷移を検出する。遷移検出部１１３は、１つの第２フレームについて、該第２フレームの最初の第１フレームから最後の第１フレームまで、遷移の検出を繰り返し、参加者の組み合わせ（すなわち第１の参加者及び第２の参加者の組み合わせ）ごとに検出した遷移の回数を示す遷移行列を生成する。複数の参加者の数をＤとすると、遷移行列はＤ×Ｄの行列となる。
【0058】
さらに遷移検出部１１３は、議論の最初の第２フレームから最後の第２フレームまで、遷移行列の生成を繰り返す。第２フレームの数をＮとすると、遷移検出部１１３は、Ｎ個の遷移行列を生成する。遷移検出部１１３は、第２フレームごとに生成した遷移行列を示す情報を、遷移情報として議論情報記憶部１２１に記憶させる。
【0059】
図３の下段の図は、例示的な遷移行列Ｍを示している。図３の例では、参加者はＵ１、Ｕ２及びＵ３の３人であり、時系列の最大発話者の帯Ｓに基づいて複数の遷移行列Ｍが生成されている。遷移行列Ｍの行は遷移元の参加者を示しており、列は遷移先の参加者を示している。このように、議論分析装置１は、最大発話者の変化に基づいて話者の遷移を検出するため、物体の衝突音や参加者の相槌等の発言ではない音によって話者の遷移を検出することを抑えることができ、議論における話者の遷移の検出精度を向上できる。
【0060】
次に、議論分析装置１が議論を１つ以上のフェーズに分割する方法を説明する。図４は、議論分析装置１が議論を１つ以上のフェーズに分割する方法の模式図である。フェーズ分割部１１４は、第２フレームごとに生成された遷移情報（遷移行列）の時系列の類似性に基づいて、議論を１つ以上のフェーズに分割する。ここでフェーズ分割部１１４は、１つのフェーズの中で遷移情報が類似するように、すなわち１つのフェーズに含まれる２つの第２フレームの遷移情報間の類似性が、異なる２つのフェーズに含まれる２つの第２フレームの遷移情報間の類似性よりも高くなるように、議論を１つ又は複数のフェーズに分割する。フェーズ分割部１１４は、遷移情報の時系列の類似性に基づいて議論を１つ以上のフェーズに分割することが可能な既知の方法を用いる。
【0061】
例えばフェーズ分割部１１４は、以下に説明するポアソン混合モデルを用いたクラスタリングを行うことによって、議論を１つ以上のフェーズに分割する。まずフェーズ分割部１１４は、遷移検出部１１３が生成した遷移行列を取得する。ここで、計算のために、フェーズ分割部１１４は、第２フレームごとの遷移行列の要素を縦一列に並べることによって、参加者の組み合わせごとの遷移の回数を要素とするＤ２×１の縦ベクトルに変換するする。これにより、フェーズ分割部１１４は、Ｄ２次元の非負ベクトルが時系列でＮ個並んだＤ２×Ｎの行列を得る。
【0062】
各参加者の組み合わせは異なる遷移の傾向を有するため、遷移行列を変換したＤ２×Ｎの行列は、式（１）に示すポアソン分布の混合分布となる。
【数1】
【0063】
ここで、Ｐｏｉはポアソン分布の関数を表し、ｘは参加者の組み合わせごとの遷移が起こった回数（すなわち遷移行列の各要素）を表し、λｄは参加者の組み合わせごとの遷移が起こる平均回数を表し、ｄは縦ベクトルの次元（１～Ｄ２）を表す。
【0064】
議論をＫ個（Ｋは２以上の所定の数）のクラスタに分けることを考えると、上述のλｄの値のセットがＫ個できる。これにより、フェーズ分割部１１４は、式（２）のようなＫ個のポアソン分布の混合分布を生成する。
【数2】
【0065】
ここで、フェーズ分割部１１４は、Ｎ個の遷移行列のうち、第ｎ番目の遷移行列がいずれのクラスタに所属するかを示す行列である隠れ変数ｚｎｋ（ｚｎｋは０又は１）を定義する。隠れ変数ｚｎｋは、第ｎ番目の遷移行列が第ｋクラスタに所属するときのみ１となり、それ以外のとき０となる。
【0066】
これにより、フェーズ分割部１１４は、式（２）の分布を式（３）に示す１つの分布にまとめる。
【数3】
【0067】
フェーズ分割部１１４は、式（３）のモデルを用いてベイズ推定を行うことによって、ｘとなる確率が所定の条件（例えば、ｘとなる確率が最大値であること）を満たすパラメータλ及びｚを算出する。これにより、フェーズ分割部１１４は、Ｎ個の遷移行列それぞれがＫ個のクラスタのうちいずれに割り当てられるかを判定する。
【0068】
このとき、フェーズ分割部１１４は、Ｋ個のクラスタのうち、割り当てられた遷移行列の数が所定の閾値以下のクラスタを削除してもよい。この場合に、削除されたクラスタに割り当てられた遷移行列は、該クラスタの前又は後のクラスタに割り当てられる。その結果、最終的に生成されるクラスタの数は、Ｋ個以下となる。これにより、フェーズ分割部１１４は、割り当てられた遷移行列が多い、クラスタだけを残して議論を１つ以上のフェーズに分割できる。
【0069】
本実施形態において、フェーズ分割部１１４は、時系列を考慮せずに複数の遷移行列を複数のクラスタに割り当てているため、理論的には複数の遷移行列の時系列とクラスタの時系列とが一致しない可能性がある。しかしながら、遷移検出部１１３は、第２フレームを時系列で重複させながらシフトさせているため、検出された遷移の回数は時系列の移動平均となっている。そのため、時間的に近い複数の遷移行列は、互いに類似する。これにより、通常の状況では、複数の遷移行列の時系列と、フェーズ分割部１１４が生成した複数のクラスタの時系列とは一致する。
【0070】
フェーズ分割部１１４は、複数のクラスタを生成した場合に、複数のクラスタそれぞれに含まれている遷移行列に対応する第２フレームの議論中の時刻に基づいて、議論を複数のフェーズに分割する。具体的には、フェーズ分割部１１４は、１つのクラスタに含まれている遷移行列に対応する第２フレームのうち最後の第２フレームの終了時刻を、フェーズの終了時刻として特定することによって、議論を構成する複数のフェーズを決定する。
【0071】
また、フェーズ分割部１１４は、１つのクラスタを生成した場合に、議論の全体を１つのフェーズとして決定する。フェーズ分割部１１４は、決定した議論のフェーズを示す情報を、議論の識別情報と関連付けて議論情報記憶部１２１に記憶させる。
【0072】
単純に議論を時間によって前半、中盤、後半のようなフェーズに分割すると、議論の内容が考慮されないため、議論が分割される位置は実態に即さない。それに対して本実施形態に係る議論分析装置１は、遷移情報の時系列の類似性に基づいて議論を１つ以上のフェーズに分割するため、議論を実態に即した単位で分割できる。
【0073】
図４の下段の図は、例示的なフェーズ分割部が決定した議論のフェーズを示している。図４の例では、議論はフェーズＰＨ１、ＰＨ２及びＰＨ３の３つに分割されている。フェーズＰＨ１、ＰＨ２及びＰＨ３それぞれにおいて話者の遷移の傾向が類似している。議論は３つ以外のフェーズに分割されてもよい。
【0074】
次に、議論分析装置１が遷移情報に類似するパターンを選択する方法を説明する。図５、図６は、議論分析装置１が遷移情報に類似するパターンを選択する方法の模式図である。まずパターン選択部１１５は、フェーズ分割部１１４が決定した議論のフェーズごとに、遷移検出部１１３が生成した遷移行列Ｍ（遷移情報）を取得する。フェーズごとの遷移行列Ｍは、例えばフェーズに含まれる遷移行列Ｍの統計値（平均値、中央値等）であってもよく、あるいはフェーズに含まれる所定の位置（最初、中央又は最後等）の遷移行列Ｍであってもよい。
【0075】
パターン選択部１１５は、複数の参加者の各組み合わせにおける遷移の有無を示す複数のパターンを生成する。ここでは、２人の参加者の組み合わせにおいて遷移が有る又は相対的に多い場合を該２人の参加者が「接続されている」と表現し、遷移が無い又は相対的に少ない場合を該２人の参加者が「接続されていない」と表現する。パターン選択部１１５は、複数の参加者の数をＤとすると、中心となる１人がその他の全員と接続されているパターンと、ｉ人（ｉ＝２～Ｄ）が相互に接続されているパターンとからなるＤ種類のパターンを生成する。
【0076】
図５の例では、パターン選択部１１５が生成するパターンは、中心となる１人がその他の全員と接続されているパターンＰ１と、２人が相互に接続されているパターンＰ２と、３人が相互に接続されているパターンＰ３とからなる。図５に図示していないが、パターンＰ１は中心となる１人をＵ１、Ｕ２及びＵ３に変えたパターンを含み、パターンＰ２は相互に接続される２人をＵ１、Ｕ２及びＵ３のうち２人の全ての組み合わせに変えたパターンを含む。
【0077】
パターン選択部１１５は、生成した複数のパターンそれぞれの行列を生成する。パターンの行列は、接続されている参加者の組み合わせの要素を１とし、接続されていない参加者の組み合わせの要素を０とした遷移行列である。また、パターン選択部１１５は、フェーズごとの遷移行列の各要素を、０～１の範囲に正規化する。
【0078】
そしてパターン選択部１１５は、生成した複数のパターンそれぞれの行列と、正規化したフェーズごとの遷移行列との間の類似度を算出する。類似度は、例えば行列間距離であるが、その他の値を用いてもよい。そしてパターン選択部１１５は、複数のパターンのうち、算出した類似度が所定の条件（例えば行列間距離が最小）を満たすパターンを選択する。パターン選択部１１５は、フェーズ分割部１１４が決定した１つ以上のフェーズそれぞれについて、パターンを選択する。
【0079】
さらにパターン選択部１１５は、フェーズごとに選択したパターンに変更を加えた複数のサブパターンを生成する。具体的には、パターン選択部１１５は、選択したパターンそのものに加えて、選択したパターンに含まれているいずれか１つの接続を削除したパターン、及び選択したパターンに含まれていない１つの接続を追加したパターンを、サブパターンとして生成する。パターン選択部１１５は、選択したパターンにその他の変更を加えたサブパターンを生成してもよい。
【0080】
図６は、図５においてパターンＰ１が選択された場合の例示的なサブパターンを示している。この場合に、パターン選択部１１５が生成するサブパターンは、パターンＰ１そのものであるサブパターンＳＰ１と、パターンＰ１に含まれている１つの接続を削除したサブパターンＳＰ２と、パターンＰ１に含まれていない１つの接続を追加したサブパターンＳＰ３とからなる。図６において、削除された接続は破線で表されており、追加された接続は一点鎖線で表されている。サブパターンＳＰ２は別の接続を削除したパターンを含み、サブパターンＳＰ３は別の接続を追加したパターンを含む。
【0081】
パターン選択部１１５は、生成した複数のサブパターンそれぞれの行列を生成する。サブパターンの行列は、接続されている参加者の組み合わせの要素を１とし、接続されていない参加者の組み合わせの要素を０とした遷移行列である。また、パターン選択部１１５は、フェーズごとの遷移行列の各要素を、０～１の範囲に正規化する。
【0082】
そしてパターン選択部１１５は、生成した複数のサブパターンそれぞれの行列と、正規化したフェーズごとの遷移行列との間の類似度を算出する。類似度は、例えば行列間距離であるが、その他の値を用いてもよい。そしてパターン選択部１１５は、複数のサブパターンのうち、算出した類似度が所定の条件（例えば行列間距離が最小）を満たすサブパターンを選択する。パターン選択部１１５は、フェーズ分割部１１４が決定した１つ以上のフェーズそれぞれについて、サブパターンを選択する。
【0083】
パターン選択部１１５は、選択したパターン及びサブパターンを示す情報を、議論の識別情報と関連付けて議論情報記憶部１２１に記憶させる。パターン選択部１１５は、サブパターンの選択を行わず、パターンのみを選択して議論情報記憶部１２１に記憶させてもよい。
【0084】
議論における話者の遷移をグラフ等でそのまま表示するのみでは、遷移の傾向の解釈は分析者に任されるため、分析者によって解釈が異なってしまう場合がある。それに対して本実施形態に係る議論分析装置１は、遷移情報をパターン及びサブパターンと比較して選択することによって、複数の参加者を遷移の傾向によって自動的に分類することができ、また複数の参加者の関係性を自動的に文章として出力することが可能になる。
【0085】
出力部１１６は、情報取得部１１１、遷移検出部１１３、フェーズ分割部１１４及びパターン選択部１１５が議論情報記憶部１２１に記憶させた情報に基づいて、議論に関する情報を出力する。例えば出力部１１６は、図７、図８及び図９に示す画面を通信端末２の表示部２３に表示させることによって議論に関する情報を出力する。
【0086】
出力部１１６は、情報取得部１１１、遷移検出部１１３、フェーズ分割部１１４及びパターン選択部１１５の処理が終了したことを契機として、又は分析者が通信端末２に対して所定の指示を行ったことを契機として、議論情報記憶部１２１に記憶されている情報に基づいて議論に関する情報を表示するための表示情報を生成し、通信端末２へ送信する。通信端末２の受信部２１１は、議論分析装置１から受信した表示情報に基づいて、図７、図８及び図９に示す画面を表示部２３上に表示する。
【0087】
図７は、ディスカッションレポート画面Ａを表示している表示部２３の前面図である。ディスカッションレポート画面Ａは、１つの議論に関する情報を表示する画面である。ディスカッションレポート画面Ａは、サマリー情報Ａ１と、参加者情報Ａ２と、フェーズ情報Ａ３と、総合評価情報Ａ４とを含む。サマリー情報Ａ１は、議論における時系列の発話量の概要とともに、分析条件として設定された複数の参加者の配置を示す情報である。発話量の概要は、例えば複数の参加者の合計発話量が最大のフェーズの時間範囲を表す文字列である。
【0088】
参加者情報Ａ２は、所定の条件を満たす参加者を示す情報である。例えば参加者情報Ａ２は、複数の参加者のうち、発話量が最大の参加者、割り込み量が最大の参加者、及び盛り上げ量（盛り上げ回数でもよい）が最大の参加者を表す。さらに、参加者情報Ａ２は、パターン選択部１１５が選択されたパターンにおいて接続されている参加者を、議論の中心になった人物として表す。
【0089】
フェーズ情報Ａ３は、議論におけるフェーズの時間範囲Ａ３１と、フェーズごとの参加者の役割Ａ３２とを含む。フェーズの時間範囲Ａ３１は、議論における複数の参加者の発話量の積み上げグラフ上に重畳された矢印によって、各フェーズの時間範囲を示す情報である。
【0090】
参加者の役割Ａ３２は、パターン選択部１１５が選択したパターンに基づいて判定された複数の参加者それぞれの役割を示す情報である。役割は、議論における参加者の行動の傾向であり、例えばリーダー又はフォロワーである。
【0091】
具体的には、参加者の役割Ａ３２を表示する場合に、出力部１１６は、パターン選択部１１５が選択したパターンに基づいて、議論のフェーズごとに複数の参加者それぞれの役割を判定する。例えば出力部１１６は、パターン選択部１１５が選択したパターンにおいて互いに接続されている複数の参加者のうち、発話量が最大の参加者を「リーダー」の役割と判定し、その他の参加者を「フォロワー」の役割と判定する。また、出力部１１６は、パターン選択部１１５が選択したパターンにおいて接続されていない参加者を「役割なし」と判定する。出力部１１６は、パターン選択部１１５が選択したパターンに基づいて、その他の役割を判定してもよい。
【0092】
そして出力部１１６は、フェーズごとの複数の参加者それぞれの役割を示す情報を、通信端末２へ送信する。通信端末２の受信部２１１は、議論分析装置１から受信したフェーズごとの複数の参加者それぞれの役割を、フェーズの時間範囲Ａ３１の近傍に参加者の役割Ａ３２として表示させる。図７の例では、フェーズの時間範囲Ａ３１の下方において、リーダーと判定された参加者に関連付けて実線が表示され、フォロワーと判定された参加者に関連付けて破線が表示されている。参加者の役割Ａ３２は、その他の方法によって参加者の役割を表してもよい。これにより、分析者は、議論分析装置１が遷移の傾向のパターンに基づいて自動的に判定した複数の参加者それぞれの役割を知ることができる。
【0093】
総合評価情報Ａ４は、パターン選択部１１５が選択したパターンに基づいて生成された、議論のフェーズごとの参加者の行動を文章として表す情報である。具体的には、総合評価情報Ａ４を表示する場合に、出力部１１６は、パターン選択部１１５が選択したパターンを取得する。そして出力部１１６は、所定の規則に基づいて、パターンに対応する文章を生成する。所定の規則は、記憶部１２に予め定義された、パターンに対応するテンプレートである。
【0094】
例えばパターン選択部１１５が選択したパターンにおいて、参加者Ｕ１及び参加者Ｕ２が互いに接続されており、参加者Ｕ１の発話量が参加者Ｕ２の発話量よりも大きい場合に、出力部１１６は、「Ｕ１を中心に、Ｕ２も参加して議論が行われました。」という文章を生成する。記憶部１２は、パターン選択部１１５が生成し得る各パターンに対応するテンプレートを予め記憶している。ここに示したパターンに基づいて文章を生成する方法は一例であり、出力部１１６は、パターン選択部１１５が生成し得る各パターンに基づいて文章を生成可能な既知の方法を用いることができる。
【0095】
これにより、分析者は、議論分析装置１が遷移の傾向のパターンに基づいて自動的に生成した複数の参加者の関係性を文章として知ることができ、該関係性の理解が容易になる。
【0096】
さらに出力部１１６は、パターン選択部１１５が選択したパターンに加えてサブパターンに基づいて、文章を生成してもよい。例えばパターン選択部１１５が選択したパターンにおいて参加者Ｕ１、参加者Ｕ２及び参加者Ｕ３が互いに接続されており、パターン選択部１１５が選択したサブパターンにおいて、参加者Ｕ３と参加者Ｕ１との間の接続が削除された場合には、「すべてのメンバーが議論に参加しました。発言のやり取りは主にＵ１とＵ２を中心に行われました。」という文章を生成する。
【0097】
これにより、分析者は、議論分析装置１が遷移の傾向のパターンをさらに細分化したサブパターンに基づいて自動的に生成した複数の参加者の関係性を文章として知ることができる。
【0098】
図８は、個人レポート画面Ｂを表示している表示部２３の前面図である。個人レポート画面Ｂは、１人の表示対象の参加者が過去に参加した複数の議論に関する情報を表示する画面である。個人レポート画面Ｂは、参加者の傾向情報Ｂ１と、参加者の経過情報Ｂ２と、議論情報Ｂ３とを含む。
【0099】
参加者の傾向情報Ｂ１は、表示対象の参加者の特性と、表示対象の参加者の議論における行動とに基づいて生成された文章として、表示対象の参加者の傾向を表す情報である。具体的には、参加者情報記憶部１２２は、参加者の特性を示す情報を予め記憶している。参加者の特性を示す情報は、例えば参加者に対して行われた心理テストの結果である。
【0100】
参加者の傾向情報Ｂ１を表示する場合に、出力部１１６は、参加者の特性を示す情報と、参加者が過去に参加した複数の議論についてパターン選択部１１５が選択したパターンとを取得する。出力部１１６は、パターン選択部１１５が選択したパターンに基づいて、上述の方法により、複数の議論それぞれにおける参加者の役割（すなわち行動の傾向）を判定する。出力部１１６は、判定した役割のうち１つの役割（例えば最も頻度が高い役割）を選択する。そして出力部１１６は、所定の規則に基づいて、参加者の特性と、選択した参加者の役割とに対応する文章を生成する。所定の規則は、記憶部１２に予め定義された、参加者の特性及び参加者の役割に対応するテンプレートである。
【0101】
例えば参加者の特性が高い独自性を示しており、選択した参加者が「役割なし」である場合に、出力部１１６は、「自分の独自性を出すのが得意な一方で、人に冷たく接しがちなところがあります。」という文章を生成する。記憶部１２は、様々な参加者の特性及び参加者の役割に対応するテンプレートを予め記憶している。ここに示した参加者の特性及び参加者の役割に基づいて文章を生成する方法は一例であり、出力部１１６は、参加者の特性及び参加者の役割に基づいて文章を生成可能な既知の方法を用いることができる。
【0102】
これにより、分析者は、予め収集された参加者の特性と、参加者の議論における行動の傾向とを対比させて認識することができる。
【0103】
参加者の経過情報Ｂ２は、表示対象の参加者が過去に参加した複数の議論における、表示対象の参加者の発話量、割り込み量、盛り上げ量及び役割を示す情報である。図８の例では、参加者の経過情報Ｂ２は、議論ごとの参加者の発話量を棒グラフとして表し、該議論の全ての参加者の平均発話量を該棒グラフの上に重畳して表している。また、参加者の経過情報Ｂ２は、参加者が所定の役割（例えばリーダー又はフォロワー）となった議論の回次を表している。また、参加者の経過情報Ｂ２は、参加者の発話量、割り込み量及び盛り上げ量がそれぞれ所定の条件を満たした議論の回次を表している。
【0104】
また、参加者の経過情報Ｂ２は、発話量が所定の条件を満たした議論のフェーズ（例えば参加者の平均発話量が最も高いフェーズ）を表している。また、参加者の経過情報Ｂ２は、表示対象の参加者が特定の他の参加者と同じ議論に参加している際に表示対象の参加者の発話量が増加した場合の、該他の参加者を表している。また、参加者の経過情報Ｂ２は、第１の議論（例えば最初の議論）における発話量と比較して、第１の議論とは異なる第２の議論（例えば最後の議論）における発話量が増加しているか否かを表している。
【0105】
これにより、分析者は、１人の参加者について、過去に参加した議論における行動の傾向を一覧で見ることができる。ここに示した参加者の経過情報Ｂ２は一例であり、参加者が過去に参加した複数の議論における、参加者の発話量、割り込み量、盛り上げ量及び役割に基づいてその他の情報を表してもよい。
【0106】
議論情報Ｂ３は、表示対象の参加者が過去に参加した複数の議論のうち、所定の条件を満たす議論における表示対象の参加者の発話量を示す情報である。図８の例では、議論情報Ｂ３は、所定の条件を満たす議論それぞれについての発話量のグラフを含む。議論情報Ｂ３のグラフは、斜線の領域によって１つの議論における表示対象の参加者の発話量の時系列の変化を表しており、白抜きの領域によって該議論における全ての参加者の合計発話量の時系列の変化を表している。
【0107】
図８の例において、議論情報Ｂ３に表示する議論は、時間順（回次順）に複数の議論である。これにより、分析者は、参加者の発話量の傾向が時間順でどのように変わったかを一覧で見ることができる。
【0108】
また、議論情報Ｂ３に表示する議論は、互いに類似する複数の議論又は互いに類似しない複数の議論であってもよい。この場合に、出力部１１６は表示対象の参加者が参加した複数の議論の複数の遷移行列の間の行列間距離を算出し、行列間距離が所定値よりも小さい複数の議論を互いに類似する複数の議論として特定し、又は行列間距離が所定値よりも大きい複数の議論を互いに類似しない複数の議論として特定する。これにより、分析者は、参加者が参加している議論のうち、話者の遷移の傾向が似ている又は似ていない議論における参加者の発話量の傾向を一覧で見ることができる。
【0109】
図９は、コースレポート画面Ｃを表示している表示部２３の前面図である。コースレポート画面Ｃは、表示対象のグループに属する複数の参加者が過去に参加した複数の議論に関する情報を表示する画面である。例えばグループは、同一のコースを受講している複数の参加者、同一の講師による指導を受けている複数の参加者等である。コースレポート画面Ｃは、参加者の分布情報Ｃ１と、コースの経過情報Ｃ２と、コースの統計情報Ｃ３と、順位情報Ｃ４とを含む。
【0110】
参加者の分布情報Ｃ１は、表示対象のグループに属する複数の参加者の発話量及び割り込み量の分布を示す情報である。図９の例では、分布情報Ｃ１は、横軸を発話量とし、縦軸を割り込み量として、表示対象のグループに属する複数の参加者の発話量及び割り込み量の組み合わせをプロットとして表している。
【0111】
これにより、分析者は、表示対象のグループに属する複数の参加者の傾向を知ることができる。例えば分布情報Ｃ１の右上の領域にプロットされた参加者は、発話量及び割り込み量がともに大きいため、議論をリードする傾向がある。分布情報Ｃ１の左上の領域にプロットされた参加者は、割り込み量が大きいが発話量が小さいため、議論において他人に同調する傾向がある。分布情報Ｃ１の右下の領域にプロットされた参加者は、発話量が大きいが割り込み量が小さいため、議論において行儀が良い傾向がある。分布情報Ｃ１の左下の領域にプロットされた参加者は、発話量及び割り込み量がともに小さいため、議論への参加に消極的である傾向がある。
【0112】
コースの経過情報Ｃ２は、表示対象のグループに属する複数の参加者が過去に参加した複数の議論における発話量、割り込み量及び盛り上げ量の経過を示す情報である。図９の例では、コースの経過情報Ｃ２は、表示対象のグループに属する複数の参加者が過去に参加した複数の議論のうち、前期、中期及び後期それぞれにおける発話量、割り込み量及び盛り上げ量を積み上げた棒グラフを表している。例えば出力部１１６は、複数の議論を最初の議論から最後の議論まで順に１／３ずつを前期、中期及び後期に分類し、各分類において合計又は平均の発話量、割り込み量及び盛り上げ量を算出して出力する。これにより、分析者は、表示対象のグループにおける議論の傾向の変化を知ることができる。
【0113】
コースの統計情報Ｃ３は、表示対象のグループに属する複数の参加者の発話量、割り込み量、盛り上げ量及びそれらの合計量（総合活動量）の統計値を示す情報である。図９の例では、コースの統計情報Ｃ３は、横軸を発話量、割り込み量、盛り上げ量及び総合活動量とし、縦軸を参加者の人数として棒グラフを表している。さらにコースの統計情報Ｃ３は、発話量、割り込み量、盛り上げ量及び総合活動量それぞれの平均値に該当する棒グラフの表示態様（例えば色）を、他の棒グラフの表示態様とは異なるように表している。これにより、分析者は、表示対象のグループに属する複数の参加者について、発話量、割り込み量、盛り上げ量及び総合活動量ごとの人数の分布と、発話量、割り込み量、盛り上げ量及び総合活動量の統計値とを知ることができる。
【0114】
順位情報Ｃ４は、表示対象のグループに属する複数の参加者の発話量の順位を示す情報である。図９の例では、順位情報Ｃ４は、第１の議論（例えば最初の議論）における複数の参加者の一覧を該複数の参加者の発話量に応じて順位付けして（例えば順位の昇順で）表すとともに、第１の議論とは異なる第２の議論（例えば最後の議論）における複数の参加者の一覧を該複数の参加者の発話量に応じて順位付けして（例えば順位の昇順で）表す。
【0115】
また、順位情報Ｃ４は、第１の議論においてある参加者に対応する位置と、第２の議論において該参加者に対応する位置とを結ぶ線を表してもよい。さらに順位情報Ｃ４は、第１の議論と比較した第２の議論の参加者の順位の変動を、変動の量を示す数値及び変動の向き（上又は下）を示す矢印によって表してもよい。これにより分析者は、複数の参加者それぞれの発話量が２つの議論の間でどのように変わったかを知ることができる。
【0116】
図７～図９に示したディスカッションレポート画面Ａ、個人レポート画面Ｂ及びコースレポート画面Ｃは一例であり、情報の内容、外観及び配置は変更されてもよい。また、図７～図９に示したディスカッションレポート画面Ａ、個人レポート画面Ｂ及びコースレポート画面Ｃのうち少なくとも一部は、１つの画面に統合されてもよく、さらに複数の画面に分割されてもよい。
【0117】
出力部１１６は、画面の表示に限らず、プリンタを用いて紙に印刷すること、記憶媒体にデータとして記憶させること、又は通信回線を介して外部へ送信することによって、議論に関する情報を出力してもよい。
【0118】
出力部１１６は、分析者（閲覧者）ごとに内容を切り替えて、議論に関する情報を出力してもよい。この場合に、議論分析装置１は、分析者ごとに出力内容の設定を予め受け付け、分析者に関連付けて設定情報として記憶部１２に記憶させる。出力内容の設定は、例えば出力内容を示すプラグインの選択によって行われる。図７の例では、サマリー情報Ａ１、参加者情報Ａ２、フェーズ情報Ａ３及び総合評価情報Ａ４の４つのプラグインが定義されている。分析者又は議論分析装置１の管理者は、分析者に対して出力させるプラグインを選択することによって、出力内容を設定する。
【0119】
議論分析装置１において、出力部１１６は、議論に関する情報を出力する際に、出力対象の分析者を特定し、該分析者に関連付けられた設定情報を取得する。そして出力部１１６は、議論情報記憶部１２１に記憶された情報に基づいて、設定情報（プラグイン）が示す内容を出力する。これにより、議論分析装置１は、分析者ごとに異なる種類の情報を出力することができる。
【0120】
［議論分析方法のフロー］
図１０は、議論分析装置１が行う議論分析方法のフローチャートを示す図である。議論分析装置１において、情報取得部１１１は、議論における複数の参加者それぞれの時系列の発話量を取得する（Ｓ１１）。情報取得部１１１は、議論における複数の参加者それぞれの第１フレームごとの発話量を示す情報を、議論ＩＤと関連付けて議論情報記憶部１２１に記憶させる。
図１０は、議論分析装置１が行う議論分析方法のフローチャートを示す図である。議論分析装置１において、情報取得部１１１は、議論における複数の参加者それぞれの時系列の発話量を取得する（Ｓ１１）。情報取得部１１１は、議論における複数の参加者それぞれの第１フレームごとの発話量を示す情報を、議論ＩＤと関連付けて議論情報記憶部１２１に記憶させる。
【0121】
このとき、情報取得部１１１は、集音装置３が取得した議論の音声に対して、音源定位を行い、複数の参加者それぞれの発話期間を特定することによって、発話量を取得する。別の方法として、情報取得部１１１は、記憶部１２に予め記憶された発話期間を読み出して取得することによって、発話量を取得してもよい。あるいは情報取得部１１１は、議論における参加者の顔を含む画像に基づいて、参加者の発話期間を特定することによって、発話量を取得してもよい。
【0122】
最大発話者特定部１１２は、情報取得部１１１が取得した発話量に基づいて、第１フレームごとに複数の参加者のうち発話量が最大である最大発話者を特定する（Ｓ１２）。遷移検出部１１３は、最大発話者特定部１１２が特定した第１フレームごとの最大発話者の変化に基づいて、複数の参加者の間で発生した話者の遷移を検出する（Ｓ１３）。遷移検出部１１３は、第２フレームごとに生成した遷移行列を示す情報を、遷移情報として議論情報記憶部１２１に記憶させる。
【0123】
フェーズ分割部１１４は、遷移検出部１１３が検出した遷移を示す遷移情報の時系列の類似性に基づいて、議論を１つ以上のフェーズに分割する（Ｓ１４）。フェーズ分割部１１４は、決定した議論のフェーズを示す情報を、議論の識別情報と関連付けて議論情報記憶部１２１に記憶させる。
【0124】
パターン選択部１１５は、複数の参加者の各組み合わせにおける遷移の有無を示す複数のパターンを生成する。パターン選択部１１５は、生成した複数のパターンそれぞれの行列と、正規化したフェーズごとの遷移行列（遷移情報）との間の類似度を算出する。そしてパターン選択部１１５は、複数のパターンのうち、フェーズ分割部１１４が決定した１つ以上のフェーズそれぞれについて、算出した類似度が所定の条件を満たすパターンを選択する（Ｓ１５）。
【0125】
さらにパターン選択部１１５は、フェーズごとに選択したパターンに変更を加えたサブパターンを選択してもよい。パターン選択部１１５は、選択したパターン及びサブパターンを示す情報を、議論の識別情報と関連付けて議論情報記憶部１２１に記憶させる。
【0126】
出力部１１６は、情報取得部１１１、遷移検出部１１３、フェーズ分割部１１４及びパターン選択部１１５が議論情報記憶部１２１に記憶させた情報に基づいて、議論に関する情報を出力する（Ｓ１６）。例えば出力部１１６は、図７、図８及び図９に示す画面を通信端末２の表示部２３に表示させることによって議論に関する情報を出力する。
【0127】
［本実施形態の効果］
単純に音が発生した向きに基づいて自動的に話者の遷移を検出すると、参加者が話している際に発生した発言ではない音を参加者の発言として検出してしまい、話者の遷移を正しく検出できない場合がある。すなわち、議論の音声の中に物体の衝突音や他の参加者の相槌等の短い音が含まれている場合に、短い音を分析に必要な音か否かを判別するのは困難である。例えば隣接するグループの声が背景雑音として多く混ざる状況で、参加者がペンで机を叩くなどの音を出した場合、分離音には背景雑音が混ざる。この場合に、ペンの音を「音声ではないから不要」と判別するのは難しい。また、音の長さによって短い音を除外しようとしても、「うーん」や「ほー」等の長い相槌を除外することができず、逆に「違う」や「確かに」等の重要な意味のある発言を除外してしまうおそれがある。
単純に音が発生した向きに基づいて自動的に話者の遷移を検出すると、参加者が話している際に発生した発言ではない音を参加者の発言として検出してしまい、話者の遷移を正しく検出できない場合がある。すなわち、議論の音声の中に物体の衝突音や他の参加者の相槌等の短い音が含まれている場合に、短い音を分析に必要な音か否かを判別するのは困難である。例えば隣接するグループの声が背景雑音として多く混ざる状況で、参加者がペンで机を叩くなどの音を出した場合、分離音には背景雑音が混ざる。この場合に、ペンの音を「音声ではないから不要」と判別するのは難しい。また、音の長さによって短い音を除外しようとしても、「うーん」や「ほー」等の長い相槌を除外することができず、逆に「違う」や「確かに」等の重要な意味のある発言を除外してしまうおそれがある。
【0128】
それに対して、本実施形態に係る議論分析装置１は、発話量が最大の参加者Ｕの変化に基づいて話者の遷移を検出する。そのため、議論分析装置１は、発言ではない音によって話者の遷移を検出することを抑えることができ、議論における話者の遷移の検出精度を向上できる。
【0129】
本実施形態に係る議論分析システムＳＳは、学生が行うアクティブ・ラーニングの分析や、組織における会議の分析に、好適に用いられる。また、議論分析システムＳＳは、組織における採用活動において、候補者同士で行われるグループディスカッションの分析にも好適に用いられる。従来、これらの議論には多数の参加者がいるため、議論の分析のために非常に大きな時間及び費用のコストが掛かっていた。それに対して、議論分析装置１は、これらの議論を自動的にかつ高い精度で分析できるため、分析のためのコストを大幅に削減できる。
【0130】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の全部又は一部は、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を併せ持つ。
【0131】
議論分析装置１のプロセッサは、図１０に示す議論分析方法に含まれる各ステップ（工程）の主体となる。すなわち、議論分析装置１のプロセッサは、図１０に示す議論分析方法を実行するためのプログラムを記憶部から読み出し、該プログラムを実行して議論分析装置１の各部を制御することによって、図１０に示す議論分析方法を実行する。図１０に示す議論分析方法に含まれるステップは一部省略されてもよく、ステップ間の順番が変更されてもよく、複数のステップが並行して行われてもよい。
【符号の説明】
【0132】
ＳＳ 議論分析システム
１ 議論分析装置
１１ 制御部
１１１ 情報取得部
１１２ 最大発話者特定部
１１３ 遷移検出部
１１４ フェーズ分割部
１１５ パターン選択部
１１６ 出力部
１ 議論分析装置
１１ 制御部
１１１ 情報取得部
１１２ 最大発話者特定部
１１３ 遷移検出部
１１４ フェーズ分割部
１１５ パターン選択部
１１６ 出力部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】