特許 7369942 コミュニケーション解析システム、及び、コミュニケーション解析方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-10-19

(45)【発行日】2023-10-27

(54)【発明の名称】コミュニケーション解析システム、及び、コミュニケーション解析方法

(51)【国際特許分類】

   G06Q 10/10 20230101AFI20231020BHJP

【ＦＩ】

G06Q10/10

【請求項の数】 20

(21)【出願番号】P 2022533941

(86)(22)【出願日】2021-06-24

(86)【国際出願番号】 JP2021024045

(87)【国際公開番号】W WO2022004567

(87)【国際公開日】2022-01-06

【審査請求日】2022-09-14

(31)【優先権主張番号】P 2020114746

(32)【優先日】2020-07-02

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】314012076

【氏名又は名称】パナソニックＩＰマネジメント株式会社

(74)【代理人】

【識別番号】100109210

【弁理士】

【氏名又は名称】新居 広守

(74)【代理人】

【識別番号】100137235

【弁理士】

【氏名又は名称】寺谷 英作

(74)【代理人】

【識別番号】100131417

【弁理士】

【氏名又は名称】道坂 伸一

(72)【発明者】

【氏名】北村 一樹

(72)【発明者】

【氏名】兵頭 聡

【審査官】鈴木 和樹

(56)【参考文献】

【文献】特開２０１９－１３３４５１（ＪＰ，Ａ）

【文献】国際公開第２０１８／１７４０８８（ＷＯ，Ａ１）

【文献】特開２０００－１９４２５２（ＪＰ，Ａ）

【文献】特開２００８－２７２０１９（ＪＰ，Ａ）

【文献】特開２００８－０４６８０１（ＪＰ，Ａ）

【文献】特開２０１７－０１６５６６（ＪＰ，Ａ）

【文献】特開２０１４－０４４３４６（ＪＰ，Ａ）

【文献】特開２０１７－１１２５４５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｑ １０／００ － ９９／００

(57)【特許請求の範囲】

【請求項1】

対象期間における複数の人の会話が記録された音声情報を取得する音声取得部と、
前記対象期間における前記複数の人の様子が記録された映像情報を取得する映像取得部と、
特定部と、
可視化部とを備え、
前記特定部は、
取得された前記音声情報に基づいて、
（ａ）プレゼンテーションが行われた期間の長さ、質疑応答が行われた期間の長さ、及び、前記複数の人の全員が沈黙した期間の長さの比率、
（ｂ）質疑応答に参加した人の人数、
（ｃ）質疑応答のテンポ、
（ｄ）質疑応答が行われた期間の数、
（ｅ）質疑応答が行われた期間における前記複数の人の発言時間の比率、
（ｆ）前記複数の人の全員が沈黙した期間の長さ、並びに、
（ｇ）前記複数の人の発言中の期間の重複回数、
の少なくとも１つを特定し、
取得された前記映像情報に基づいて、
（ｈ）前記複数の人のうちの報告者を他の人が見ている期間の長さ、
（ｉ）前記複数の人がうなずいた回数、
（ｊ）前記複数の人があくびをした回数、
（ｋ）前記複数の人が居眠りをした回数または前記複数の人が居眠りをした期間の長さ、
（ｌ）前記複数の人が作業をしている期間の長さ、
（ｍ）前記複数の人が笑顔になった回数、及び、
（ｎ）前記複数の人がパーソナルコンピュータを操作している期間の長さ、
の少なくとも１つを特定し、
前記可視化部は、特定された前記（ａ）～前記（ｇ）の少なくとも１つ、及び、前記（ｈ）～前記（ｎ）の少なくとも１つを可視化し、
前記特定部は、取得された前記音声情報に基づいて、前記（ｅ）を特定し、
さらに、特定した前記（ｅ）に基づいて、前記複数の人のうち発言時間が相対的に長いと判定される人の周囲の環境、または、前記複数の人のうち発言時間が相対的に短いと判定される人の周囲の環境を制御する制御部を備える
コミュニケーション解析システム。

【請求項2】

さらに、特定された前記（ａ）～前記（ｇ）の少なくとも１つ、及び、前記（ｈ）～前記（ｎ）の少なくとも１つに基づいて、前記対象期間における前記複数の人のコミュニケーションの品質を示すスコアを算出する算出部を備え、
前記可視化部は、さらに、算出された前記スコアを可視化する
請求項１に記載のコミュニケーション解析システム。

【請求項3】

対象期間における複数の人の会話が記録された音声情報を取得する音声取得部と、
前記対象期間における前記複数の人の様子が記録された映像情報を取得する映像取得部と、
特定部と、
算出部とを備え、
前記特定部は、
取得された前記音声情報に基づいて、
（ａ）プレゼンテーションが行われた期間の長さ、質疑応答が行われた期間の長さ、及び、前記複数の人の全員が沈黙した期間の長さの比率、
（ｂ）質疑応答に参加した人の人数、
（ｃ）質疑応答のテンポ、
（ｄ）質疑応答が行われた期間の数、
（ｅ）質疑応答が行われた期間における前記複数の人の発言時間の比率、
（ｆ）前記複数の人の全員が沈黙した期間の長さ、並びに、
（ｇ）前記複数の人の発言中の期間の重複回数、
の少なくとも１つを特定し、
取得された前記映像情報に基づいて、
（ｈ）前記複数の人のうちの報告者を他の人が見ている期間の長さ、
（ｉ）前記複数の人がうなずいた回数、
（ｊ）前記複数の人があくびをした回数、
（ｋ）前記複数の人が居眠りをした回数または前記複数の人が居眠りをした期間の長さ、
（ｌ）前記複数の人が作業をしている期間の長さ、
（ｍ）前記複数の人が笑顔になった回数、及び、
（ｎ）前記複数の人がパーソナルコンピュータを操作している期間の長さ、
の少なくとも１つを特定し、
前記算出部は、特定された前記（ａ）～前記（ｇ）の少なくとも１つ、及び、前記（ｈ）～前記（ｎ）の少なくとも１つに基づいて、前記対象期間における前記複数の人のコミュニケーションの品質を示すスコアを算出し、
前記特定部は、取得された前記音声情報に基づいて、前記（ｅ）を特定し、
さらに、特定した前記（ｅ）に基づいて、前記複数の人のうち発言時間が相対的に長いと判定される人の周囲の環境、または、前記複数の人のうち発言時間が相対的に短いと判定される人の周囲の環境を制御する制御部を備える
コミュニケーション解析システム。

【請求項4】

前記制御部は、さらに、算出された前記スコアに基づいて、前記複数の人が位置する空間の環境を制御する
請求項２または３に記載のコミュニケーション解析システム。

【請求項5】

前記特定部は、取得された前記映像情報に基づいて、前記（ｋ）を特定し、
前記制御部は、さらに、特定した前記（ｋ）に基づいて、前記複数の人のうち居眠りをしている人の周囲の環境を制御する
請求項１～４のいずれか１項に記載のコミュニケーション解析システム。

【請求項6】

前記特定部は、取得された前記映像情報に基づいて、前記（ｌ）を特定し、
前記制御部は、さらに、特定した前記（ｌ）に基づいて、前記複数の人のうち作業をしている人の周囲の環境を制御する
請求項１～５のいずれか１項に記載のコミュニケーション解析システム。

【請求項7】

前記音声取得部は、前記複数の人が位置する空間に設置された収音装置によって出力される前記音声情報を取得し、
前記映像取得部は、前記複数の人が位置する空間に設置された撮影装置によって出力される前記映像情報を取得する
請求項１～６のいずれか１項に記載のコミュニケーション解析システム。

【請求項8】

前記複数の人は、互いに異なる複数の空間のそれぞれに少なくとも１人ずつ位置し、
前記複数の空間のそれぞれには、収音装置及び撮影装置が設置され、
前記音声取得部は、複数の前記収音装置のそれぞれによって出力される前記音声情報を取得し、
前記映像取得部は、複数の前記撮影装置のそれぞれによって出力される前記映像情報を取得する
請求項１～６のいずれか１項に記載のコミュニケーション解析システム。

【請求項9】

対象期間における複数の人の会話が記録された音声情報を取得する音声取得部と、
前記対象期間における前記複数の人の様子が記録された映像情報を取得する映像取得部と、
特定部と、
可視化部とを備え、
前記特定部は、
取得された前記音声情報に基づいて、
（ａ）プレゼンテーションが行われた期間の長さ、質疑応答が行われた期間の長さ、及び、前記複数の人の全員が沈黙した期間の長さの比率、
（ｂ）質疑応答に参加した人の人数、
（ｃ）質疑応答のテンポ、
（ｄ）質疑応答が行われた期間の数、
（ｅ）質疑応答が行われた期間における前記複数の人の発言時間の比率、
（ｆ）前記複数の人の全員が沈黙した期間の長さ、並びに、
（ｇ）前記複数の人の発言中の期間の重複回数、
のうち少なくとも前記（ａ）、前記（ｄ）、前記（ｅ）、及び、前記（ｇ）を特定し、
取得された前記映像情報に基づいて、
（ｈ）前記複数の人のうちの報告者を他の人が見ている期間の長さ、
（ｉ）前記複数の人がうなずいた回数、
（ｊ）前記複数の人があくびをした回数、
（ｋ）前記複数の人が居眠りをした回数または前記複数の人が居眠りをした期間の長さ、
（ｌ）前記複数の人が作業をしている期間の長さ、
（ｍ）前記複数の人が笑顔になった回数、及び、
（ｎ）前記複数の人がパーソナルコンピュータを操作している期間の長さ、
のうち少なくとも前記（ｈ）、前記（ｉ）、前記（ｍ）、及び、前記（ｎ）を特定し、
前記可視化部は、特定された、前記（ａ）、前記（ｄ）、前記（ｅ）、前記（ｇ）、前記（ｈ）、前記（ｉ）、前記（ｍ）、及び、前記（ｎ）を可視化する
コミュニケーション解析システム。

【請求項10】

対象期間における複数の人の会話が記録された音声情報を取得する音声取得部と、
前記対象期間における前記複数の人の様子が記録された映像情報を取得する映像取得部と、
特定部と、
可視化部とを備え、
前記特定部は、
取得された前記音声情報に基づいて、
（ａ）プレゼンテーションが行われた期間の長さ、質疑応答が行われた期間の長さ、及び、前記複数の人の全員が沈黙した期間の長さの比率、
（ｂ）質疑応答に参加した人の人数、
（ｃ）質疑応答のテンポ、
（ｄ）質疑応答が行われた期間の数、
（ｅ）質疑応答が行われた期間における前記複数の人の発言時間の比率、
（ｆ）前記複数の人の全員が沈黙した期間の長さ、並びに、
（ｇ）前記複数の人の発言中の期間の重複回数、
のうち少なくとも前記（ｅ）、前記（ｆ）、及び、前記（ｇ）を特定し、
取得された前記映像情報に基づいて、
（ｈ）前記複数の人のうちの報告者を他の人が見ている期間の長さ、
（ｉ）前記複数の人がうなずいた回数、
（ｊ）前記複数の人があくびをした回数、
（ｋ）前記複数の人が居眠りをした回数または前記複数の人が居眠りをした期間の長さ、
（ｌ）前記複数の人が作業をしている期間の長さ、
（ｍ）前記複数の人が笑顔になった回数、及び、
（ｎ）前記複数の人がパーソナルコンピュータを操作している期間の長さ、
のうち少なくとも前記（ｈ）、前記（ｉ）、及び、前記（ｍ）を特定し、
前記可視化部は、特定された、前記（ｅ）、前記（ｆ）、前記（ｇ）、前記（ｈ）、前記（ｉ）、及び、前記（ｍ）を可視化する
コミュニケーション解析システム。

【請求項11】

前記特定部は、前記（ｅ）または前記（ｍ）を特定し、さらに、前記音声情報及び前記映像情報の少なくとも一方に基づいて、前記複数の人のそれぞれが誰であるかを特定する
請求項１～１０のいずれか１項に記載のコミュニケーション解析システム。

【請求項12】

対象期間における複数の人の会話が記録された音声情報を取得する音声取得部と、
前記対象期間における前記複数の人の様子が記録された映像情報を取得する映像取得部と、
特定部と、
算出部とを備え、
前記特定部は、
取得された前記音声情報に基づいて、
（ａ）プレゼンテーションが行われた期間の長さ、質疑応答が行われた期間の長さ、及び、前記複数の人の全員が沈黙した期間の長さの比率、
（ｂ）質疑応答に参加した人の人数、
（ｃ）質疑応答のテンポ、
（ｄ）質疑応答が行われた期間の数、
（ｅ）質疑応答が行われた期間における前記複数の人の発言時間の比率、
（ｆ）前記複数の人の全員が沈黙した期間の長さ、並びに、
（ｇ）前記複数の人の発言中の期間の重複回数、
のうち少なくとも前記（ａ）、前記（ｄ）、前記（ｅ）、及び、前記（ｇ）を特定し、
取得された前記映像情報に基づいて、
（ｈ）前記複数の人のうちの報告者を他の人が見ている期間の長さ、
（ｉ）前記複数の人がうなずいた回数、
（ｊ）前記複数の人があくびをした回数、
（ｋ）前記複数の人が居眠りをした回数または前記複数の人が居眠りをした期間の長さ、
（ｌ）前記複数の人が作業をしている期間の長さ、
（ｍ）前記複数の人が笑顔になった回数、及び、
（ｎ）前記複数の人がパーソナルコンピュータを操作している期間の長さ、
のうち少なくとも前記（ｈ）、前記（ｉ）、前記（ｍ）、及び、前記（ｎ）を特定し、
前記算出部は、特定された、前記（ａ）、前記（ｄ）、前記（ｅ）、前記（ｇ）、前記（ｈ）、前記（ｉ）、前記（ｍ）、及び、前記（ｎ）に基づいて、前記対象期間における前記複数の人のコミュニケーションの品質を示すスコアを算出する
コミュニケーション解析システム。

【請求項13】

対象期間における複数の人の会話が記録された音声情報を取得する音声取得部と、
前記対象期間における前記複数の人の様子が記録された映像情報を取得する映像取得部と、
特定部と、
算出部とを備え、
前記特定部は、
取得された前記音声情報に基づいて、
（ａ）プレゼンテーションが行われた期間の長さ、質疑応答が行われた期間の長さ、及び、前記複数の人の全員が沈黙した期間の長さの比率、
（ｂ）質疑応答に参加した人の人数、
（ｃ）質疑応答のテンポ、
（ｄ）質疑応答が行われた期間の数、
（ｅ）質疑応答が行われた期間における前記複数の人の発言時間の比率、
（ｆ）前記複数の人の全員が沈黙した期間の長さ、並びに、
（ｇ）前記複数の人の発言中の期間の重複回数、
のうち少なくとも前記（ｅ）、前記（ｆ）、及び、前記（ｇ）を特定し、
取得された前記映像情報に基づいて、
（ｈ）前記複数の人のうちの報告者を他の人が見ている期間の長さ、
（ｉ）前記複数の人がうなずいた回数、
（ｊ）前記複数の人があくびをした回数、
（ｋ）前記複数の人が居眠りをした回数または前記複数の人が居眠りをした期間の長さ、
（ｌ）前記複数の人が作業をしている期間の長さ、
（ｍ）前記複数の人が笑顔になった回数、及び、
（ｎ）前記複数の人がパーソナルコンピュータを操作している期間の長さ、
のうち少なくとも前記（ｈ）、前記（ｉ）、及び、前記（ｍ）を特定し、
前記算出部は、特定された、前記（ｅ）、前記（ｆ）、前記（ｇ）、前記（ｈ）、前記（ｉ）、及び、前記（ｍ）に基づいて、前記対象期間における前記複数の人のコミュニケーションの品質を示すスコアを算出する
コミュニケーション解析システム。

【請求項14】

コミュニケーション解析システムが実行するコミュニケーション解析方法であって、
前記コミュニケーション解析システムは、音声取得部と、映像取得部と、特定部と、可視化部と、制御部とを備え、
前記コミュニケーション解析方法は、
前記音声取得部が、対象期間における複数の人の会話が記録された音声情報を取得する音声取得ステップと、
前記映像取得部が、前記対象期間における前記複数の人の様子が記録された映像情報を取得する映像取得ステップと、
前記特定部によって実行される特定ステップと、
前記可視化部によって実行される可視化ステップと、
前記制御部によって実行される制御ステップとを含み、
前記特定ステップにおいては、
取得された前記音声情報に基づいて、
（ａ）プレゼンテーションが行われた期間の長さ、質疑応答が行われた期間の長さ、及び、前記複数の人の全員が沈黙した期間の長さの比率、
（ｂ）質疑応答に参加した人の人数、
（ｃ）質疑応答のテンポ、
（ｄ）質疑応答が行われた期間の数、
（ｅ）質疑応答が行われた期間における前記複数の人の発言時間の比率、
（ｆ）前記複数の人の全員が沈黙した期間の長さ、並びに、
（ｇ）前記複数の人の発言中の期間の重複回数、
の少なくとも１つを特定し、
取得された前記映像情報に基づいて、
（ｈ）前記複数の人のうちの報告者を他の人が見ている期間の長さ、
（ｉ）前記複数の人がうなずいた回数、
（ｊ）前記複数の人があくびをした回数、
（ｋ）前記複数の人が居眠りをした回数または前記複数の人が居眠りをした期間の長さ、
（ｌ）前記複数の人が作業をしている期間の長さ、
（ｍ）前記複数の人が笑顔になった回数、及び、
（ｎ）前記複数の人がパーソナルコンピュータを操作している期間の長さ、
の少なくとも１つを特定し、
前記可視化ステップにおいては、特定された前記（ａ）～前記（ｇ）の少なくとも１つ、及び、前記（ｈ）～前記（ｎ）の少なくとも１つを可視化し、
前記特定ステップにおいては、取得された前記音声情報に基づいて、前記（ｅ）を特定し、
前記制御ステップにおいては、特定した前記（ｅ）に基づいて、前記複数の人のうち発言時間が相対的に長いと判定される人の周囲の環境、または、前記複数の人のうち発言時間が相対的に短いと判定される人の周囲の環境を制御する
コミュニケーション解析方法。

【請求項15】

コミュニケーション解析システムが実行するコミュニケーション解析方法であって、
前記コミュニケーション解析システムは、音声取得部と、映像取得部と、特定部と、可視化部とを備え、
前記コミュニケーション解析方法は、
前記音声取得部が、対象期間における複数の人の会話が記録された音声情報を取得する音声取得ステップと、
前記映像取得部が、前記対象期間における前記複数の人の様子が記録された映像情報を取得する映像取得ステップと、
前記特定部によって実行される特定ステップと、
前記可視化部によって実行される可視化ステップとを含み、
前記特定ステップにおいては、
取得された前記音声情報に基づいて、
（ａ）プレゼンテーションが行われた期間の長さ、質疑応答が行われた期間の長さ、及び、前記複数の人の全員が沈黙した期間の長さの比率、
（ｂ）質疑応答に参加した人の人数、
（ｃ）質疑応答のテンポ、
（ｄ）質疑応答が行われた期間の数、
（ｅ）質疑応答が行われた期間における前記複数の人の発言時間の比率、
（ｆ）前記複数の人の全員が沈黙した期間の長さ、並びに、
（ｇ）前記複数の人の発言中の期間の重複回数、
のうち少なくとも前記（ａ）、前記（ｄ）、前記（ｅ）、前記（ｇ）を特定し、
取得された前記映像情報に基づいて、
（ｈ）前記複数の人のうちの報告者を他の人が見ている期間の長さ、
（ｉ）前記複数の人がうなずいた回数、
（ｊ）前記複数の人があくびをした回数、
（ｋ）前記複数の人が居眠りをした回数または前記複数の人が居眠りをした期間の長さ、
（ｌ）前記複数の人が作業をしている期間の長さ、
（ｍ）前記複数の人が笑顔になった回数、及び、
（ｎ）前記複数の人がパーソナルコンピュータを操作している期間の長さ、
のうち少なくとも前記（ｈ）、前記（ｉ）、前記（ｍ）、及び、前記（ｎ）を特定し、
前記可視化ステップにおいては、特定された、前記（ａ）、前記（ｄ）、前記（ｅ）、前記（ｇ）、前記（ｈ）、前記（ｉ）、前記（ｍ）、及び、前記（ｎ）を可視化する
コミュニケーション解析方法。

【請求項16】

コミュニケーション解析システムが実行するコミュニケーション解析方法であって、
前記コミュニケーション解析システムは、音声取得部と、映像取得部と、特定部と、可視化部とを備え、
前記コミュニケーション解析方法は、
前記音声取得部が、対象期間における複数の人の会話が記録された音声情報を取得する音声取得ステップと、
前記映像取得部が、前記対象期間における前記複数の人の様子が記録された映像情報を取得する映像取得ステップと、
前記特定部によって実行される特定ステップと、
前記可視化部によって実行される可視化ステップとを含み、
前記特定ステップにおいては、
取得された前記音声情報に基づいて、
（ａ）プレゼンテーションが行われた期間の長さ、質疑応答が行われた期間の長さ、及び、前記複数の人の全員が沈黙した期間の長さの比率、
（ｂ）質疑応答に参加した人の人数、
（ｃ）質疑応答のテンポ、
（ｄ）質疑応答が行われた期間の数、
（ｅ）質疑応答が行われた期間における前記複数の人の発言時間の比率、
（ｆ）前記複数の人の全員が沈黙した期間の長さ、並びに、
（ｇ）前記複数の人の発言中の期間の重複回数、
のうち少なくとも前記（ｅ）、前記（ｆ）、及び、前記（ｇ）を特定し、
取得された前記映像情報に基づいて、
（ｈ）前記複数の人のうちの報告者を他の人が見ている期間の長さ、
（ｉ）前記複数の人がうなずいた回数、
（ｊ）前記複数の人があくびをした回数、
（ｋ）前記複数の人が居眠りをした回数または前記複数の人が居眠りをした期間の長さ、
（ｌ）前記複数の人が作業をしている期間の長さ、
（ｍ）前記複数の人が笑顔になった回数、及び、
（ｎ）前記複数の人がパーソナルコンピュータを操作している期間の長さ、
のうち少なくとも前記（ｈ）、前記（ｉ）、及び、前記（ｍ）を特定し、
前記可視化ステップにおいては、特定された、前記（ｅ）、前記（ｆ）、前記（ｇ）、前記（ｈ）、前記（ｉ）、及び、前記（ｍ）を可視化する
コミュニケーション解析方法。

【請求項17】

コミュニケーション解析システムが実行するコミュニケーション解析方法であって、
前記コミュニケーション解析システムは、音声取得部と、映像取得部と、特定部と、算出部と、制御部とを備え、
前記コミュニケーション解析方法は、
前記音声取得部が、対象期間における複数の人の会話が記録された音声情報を取得する音声取得ステップと、
前記映像取得部が、前記対象期間における前記複数の人の様子が記録された映像情報を取得する映像取得ステップと、
前記特定部によって実行される特定ステップと、
前記算出部によって実行される算出ステップと、
前記制御部によって実行される制御ステップとを含み、
前記特定ステップにおいては、
取得された前記音声情報に基づいて、
（ａ）プレゼンテーションが行われた期間の長さ、質疑応答が行われた期間の長さ、及び、前記複数の人の全員が沈黙した期間の長さの比率、
（ｂ）質疑応答に参加した人の人数、
（ｃ）質疑応答のテンポ、
（ｄ）質疑応答が行われた期間の数、
（ｅ）質疑応答が行われた期間における前記複数の人の発言時間の比率、
（ｆ）前記複数の人の全員が沈黙した期間の長さ、並びに、
（ｇ）前記複数の人の発言中の期間の重複回数、
の少なくとも１つを特定し、
取得された前記映像情報に基づいて、
（ｈ）前記複数の人のうちの報告者を他の人が見ている期間の長さ、
（ｉ）前記複数の人がうなずいた回数、
（ｊ）前記複数の人があくびをした回数、
（ｋ）前記複数の人が居眠りをした回数または前記複数の人が居眠りをした期間の長さ、
（ｌ）前記複数の人が作業をしている期間の長さ、
（ｍ）前記複数の人が笑顔になった回数、及び、
（ｎ）前記複数の人がパーソナルコンピュータを操作している期間の長さ、
の少なくとも１つを特定し、
前記算出ステップにおいては、特定された前記（ａ）～前記（ｇ）の少なくとも１つ、及び、前記（ｈ）～前記（ｎ）の少なくとも１つに基づいて、前記対象期間における前記複数の人のコミュニケーションの品質を示すスコアを算出し、
前記特定ステップにおいては、取得された前記音声情報に基づいて、前記（ｅ）を特定し、
前記制御ステップにおいては、特定した前記（ｅ）に基づいて、前記複数の人のうち発言時間が相対的に長いと判定される人の周囲の環境、または、前記複数の人のうち発言時間が相対的に短いと判定される人の周囲の環境を制御する
コミュニケーション解析方法。

【請求項18】

コミュニケーション解析システムが実行するコミュニケーション解析方法であって、
前記コミュニケーション解析システムは、音声取得部と、映像取得部と、特定部と、算出部とを備え、
前記コミュニケーション解析方法は、
前記音声取得部が、対象期間における複数の人の会話が記録された音声情報を取得する音声取得ステップと、
前記映像取得部が、前記対象期間における前記複数の人の様子が記録された映像情報を取得する映像取得ステップと、
前記特定部によって実行される特定ステップと、
前記算出部によって実行される算出ステップとを含み、
前記特定ステップにおいては、
取得された前記音声情報に基づいて、
（ａ）プレゼンテーションが行われた期間の長さ、質疑応答が行われた期間の長さ、及び、前記複数の人の全員が沈黙した期間の長さの比率、
（ｂ）質疑応答に参加した人の人数、
（ｃ）質疑応答のテンポ、
（ｄ）質疑応答が行われた期間の数、
（ｅ）質疑応答が行われた期間における前記複数の人の発言時間の比率、
（ｆ）前記複数の人の全員が沈黙した期間の長さ、並びに、
（ｇ）前記複数の人の発言中の期間の重複回数、
のうち少なくとも前記（ａ）、前記（ｄ）、前記（ｅ）、及び、前記（ｇ）を特定し、
取得された前記映像情報に基づいて、
（ｈ）前記複数の人のうちの報告者を他の人が見ている期間の長さ、
（ｉ）前記複数の人がうなずいた回数、
（ｊ）前記複数の人があくびをした回数、
（ｋ）前記複数の人が居眠りをした回数または前記複数の人が居眠りをした期間の長さ、
（ｌ）前記複数の人が作業をしている期間の長さ、
（ｍ）前記複数の人が笑顔になった回数、及び、
（ｎ）前記複数の人がパーソナルコンピュータを操作している期間の長さ、
のうち少なくとも前記（ｈ）、前記（ｉ）、前記（ｍ）、及び、前記（ｎ）を特定し、
前記算出ステップにおいては、特定された、前記（ａ）、前記（ｄ）、前記（ｅ）、前記（ｇ）、前記（ｈ）、前記（ｉ）、前記（ｍ）、及び、前記（ｎ）に基づいて、前記対象期間における前記複数の人のコミュニケーションの品質を示すスコアを算出する
コミュニケーション解析方法。

【請求項19】

コミュニケーション解析システムが実行するコミュニケーション解析方法であって、
前記コミュニケーション解析システムは、音声取得部と、映像取得部と、特定部と、算出部とを備え、
前記コミュニケーション解析方法は、
前記音声取得部が、対象期間における複数の人の会話が記録された音声情報を取得する音声取得ステップと、
前記映像取得部が、前記対象期間における前記複数の人の様子が記録された映像情報を取得する映像取得ステップと、
前記特定部によって実行される特定ステップと、
前記算出部によって実行される算出ステップとを含み、
前記特定ステップにおいては、
取得された前記音声情報に基づいて、
（ａ）プレゼンテーションが行われた期間の長さ、質疑応答が行われた期間の長さ、及び、前記複数の人の全員が沈黙した期間の長さの比率、
（ｂ）質疑応答に参加した人の人数、
（ｃ）質疑応答のテンポ、
（ｄ）質疑応答が行われた期間の数、
（ｅ）質疑応答が行われた期間における前記複数の人の発言時間の比率、
（ｆ）前記複数の人の全員が沈黙した期間の長さ、並びに、
（ｇ）前記複数の人の発言中の期間の重複回数、
のうち少なくとも前記（ｅ）、前記（ｆ）、及び、前記（ｇ）を特定し、
取得された前記映像情報に基づいて、
（ｈ）前記複数の人のうちの報告者を他の人が見ている期間の長さ、
（ｉ）前記複数の人がうなずいた回数、
（ｊ）前記複数の人があくびをした回数、
（ｋ）前記複数の人が居眠りをした回数または前記複数の人が居眠りをした期間の長さ、
（ｌ）前記複数の人が作業をしている期間の長さ、
（ｍ）前記複数の人が笑顔になった回数、及び、
（ｎ）前記複数の人がパーソナルコンピュータを操作している期間の長さ、
のうち少なくとも前記（ｈ）、前記（ｉ）、及び、前記（ｍ）を特定し、
前記算出ステップにおいては、特定された、前記（ｅ）、前記（ｆ）、前記（ｇ）、前記（ｈ）、前記（ｉ）、及び、前記（ｍ）に基づいて、前記対象期間における前記複数の人のコミュニケーションの品質を示すスコアを算出する
コミュニケーション解析方法。

【請求項20】

請求項１４～１９のいずれか１項に記載のコミュニケーション解析方法を前記コミュニケーション解析システムに実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、コミュニケーション解析システム、及び、コミュニケーション解析方法に関する。

【背景技術】

【0002】

会社などの組織においては、従業員同士がコミュニケーションを密にとって各自のタスクに取り組むことが重要である。例えば、特許文献１には、人物間のコミュニケーションを判定し、分析するコミュニケーション評価システムが開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】国際公開第２０１９／１５５６２９号

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明は、コミュニケーションの品質の向上を支援することができるコミュニケーション解析システム、及び、コミュニケーション解析方法を提供する。

【課題を解決するための手段】

【0005】

本発明の一態様に係るコミュニケーション解析システムは、対象期間における複数の人の会話が記録された音声情報を取得する音声取得部と、前記対象期間における前記複数の人の様子が記録された映像情報を取得する映像取得部と、特定部と、可視化部とを備え、前記特定部は、取得された前記音声情報に基づいて、（ａ）プレゼンテーションが行われた期間の長さ、質疑応答が行われた期間の長さ、及び、前記複数の人の全員が沈黙した期間の長さの比率、（ｂ）質疑応答に参加した人の人数、（ｃ）質疑応答のテンポ、（ｄ）質疑応答が行われた期間の数、（ｅ）質疑応答が行われた期間における前記複数の人の発言時間の比率、（ｆ）前記複数の人の全員が沈黙した期間の長さ、並びに、（ｇ）前記複数の人の発言中の期間の重複回数、の少なくとも１つを特定し、取得された前記映像情報に基づいて、（ｈ）前記複数の人のうちの報告者を他の人が見ている期間の長さ、（ｉ）前記複数の人がうなずいた回数、（ｊ）前記複数の人があくびをした回数、（ｋ）前記複数の人が居眠りをした回数または前記複数の人が居眠りをした期間の長さ、（ｌ）前記複数の人が作業をしている期間の長さ、（ｍ）前記複数の人が笑顔になった回数、及び、（ｎ）前記複数の人がパーソナルコンピュータを操作している期間の長さ、の少なくとも１つを特定し、前記可視化部は、特定された前記（ａ）～前記（ｇ）の少なくとも１つ、及び、前記（ｈ）～前記（ｎ）の少なくとも１つを可視化する。

【0006】

本発明の一態様に係るコミュニケーション解析システムは、対象期間における複数の人の会話が記録された音声情報を取得する音声取得部と、前記対象期間における前記複数の人の様子が記録された映像情報を取得する映像取得部と、特定部と、算出部とを備え、前記特定部は、取得された前記音声情報に基づいて、（ａ）プレゼンテーションが行われた期間の長さ、質疑応答が行われた期間の長さ、及び、前記複数の人の全員が沈黙した期間の長さの比率、（ｂ）質疑応答に参加した人の人数、（ｃ）質疑応答のテンポ、（ｄ）質疑応答が行われた期間の数、（ｅ）質疑応答が行われた期間における前記複数の人の発言時間の比率、（ｆ）前記複数の人の全員が沈黙した期間の長さ、並びに、（ｇ）前記複数の人の発言中の期間の重複回数、の少なくとも１つを特定し、取得された前記映像情報に基づいて、（ｈ）前記複数の人のうちの報告者を他の人が見ている期間の長さ、（ｉ）前記複数の人がうなずいた回数、（ｊ）前記複数の人があくびをした回数、（ｋ）前記複数の人が居眠りをした回数または前記複数の人が居眠りをした期間の長さ、（ｌ）前記複数の人が作業をしている期間の長さ、（ｍ）前記複数の人が笑顔になった回数、及び、（ｎ）前記複数の人がパーソナルコンピュータを操作している期間の長さ、の少なくとも１つを特定し、前記算出部は、特定された前記（ａ）～前記（ｇ）の少なくとも１つ、及び、前記（ｈ）～前記（ｎ）の少なくとも１つに基づいて、前記対象期間における前記複数の人のコミュニケーションの品質を示すスコアを算出する。

【0007】

本発明の一態様に係るコミュニケーション解析方法は、対象期間における複数の人の会話が記録された音声情報を取得する音声取得ステップと、前記対象期間における前記複数の人の様子が記録された映像情報を取得する映像取得ステップと、特定ステップと、可視化ステップとを含み、前記特定ステップにおいては、取得された前記音声情報に基づいて、（ａ）プレゼンテーションが行われた期間の長さ、質疑応答が行われた期間の長さ、及び、前記複数の人の全員が沈黙した期間の長さの比率、（ｂ）質疑応答に参加した人の人数、（ｃ）質疑応答のテンポ、（ｄ）質疑応答が行われた期間の数、（ｅ）質疑応答が行われた期間における前記複数の人の発言時間の比率、（ｆ）前記複数の人の全員が沈黙した期間の長さ、並びに、（ｇ）前記複数の人の発言中の期間の重複回数、の少なくとも１つを特定し、取得された前記映像情報に基づいて、（ｈ）前記複数の人のうちの報告者を他の人が見ている期間の長さ、（ｉ）前記複数の人がうなずいた回数、（ｊ）前記複数の人があくびをした回数、（ｋ）前記複数の人が居眠りをした回数または前記複数の人が居眠りをした期間の長さ、（ｌ）前記複数の人が作業をしている期間の長さ、（ｍ）前記複数の人が笑顔になった回数、及び、（ｎ）前記複数の人がパーソナルコンピュータを操作している期間の長さ、の少なくとも１つを特定し、前記可視化ステップにおいては、特定された前記（ａ）～前記（ｇ）の少なくとも１つ、及び、前記（ｈ）～前記（ｎ）の少なくとも１つを可視化する。

【0008】

本発明の一態様に係るコミュニケーション解析方法は、対象期間における複数の人の会話が記録された音声情報を取得する音声取得ステップと、前記対象期間における前記複数の人の様子が記録された映像情報を取得する映像取得ステップと、特定ステップと、算出ステップとを含み、前記特定ステップにおいては、取得された前記音声情報に基づいて、（ａ）プレゼンテーションが行われた期間の長さ、質疑応答が行われた期間の長さ、及び、前記複数の人の全員が沈黙した期間の長さの比率、（ｂ）質疑応答に参加した人の人数、（ｃ）質疑応答のテンポ、（ｄ）質疑応答が行われた期間の数、（ｅ）質疑応答が行われた期間における前記複数の人の発言時間の比率、（ｆ）前記複数の人の全員が沈黙した期間の長さ、並びに、（ｇ）前記複数の人の発言中の期間の重複回数、の少なくとも１つを特定し、取得された前記映像情報に基づいて、（ｈ）前記複数の人のうちの報告者を他の人が見ている期間の長さ、（ｉ）前記複数の人がうなずいた回数、（ｊ）前記複数の人があくびをした回数、（ｋ）前記複数の人が居眠りをした回数または前記複数の人が居眠りをした期間の長さ、（ｌ）前記複数の人が作業をしている期間の長さ、（ｍ）前記複数の人が笑顔になった回数、及び、（ｎ）前記複数の人がパーソナルコンピュータを操作している期間の長さ、の少なくとも１つを特定し、前記算出ステップにおいては、特定された前記（ａ）～前記（ｇ）の少なくとも１つ、及び、前記（ｈ）～前記（ｎ）の少なくとも１つに基づいて、前記対象期間における前記複数の人のコミュニケーションの品質を示すスコアを算出する。

【0009】

本発明の一態様に係るプログラムは、前記コミュニケーション解析方法をコンピュータに実行させるためのプログラムである。

【発明の効果】

【0010】

本発明のコミュニケーション解析システム、及び、コミュニケーション解析方法は、コミュニケーションの品質の向上を支援することができる。

【図面の簡単な説明】

【0011】

【図1】図１は、実施の形態に係るコミュニケーション解析システムの概略構成を示す図である。

【図2】図２は、実施の形態に係るコミュニケーション解析システムの機能構成を示すブロック図である。

【図3】図３は、コミュニケーションの品質に関連するパラメータの特定動作のフローチャートである。

【図4】図４は、対象期間の区分例を示す図である。

【図5A】図５Ａは、コミュニケーションの品質に関するパラメータのうち、音声情報に基づいて特定可能なパラメータを示す第一の図である。

【図5B】図５Ｂは、コミュニケーションの品質に関するパラメータのうち、音声情報に基づいて特定可能なパラメータを示す第二の図である。

【図6A】図６Ａは、コミュニケーションの品質に関するパラメータのうち、映像情報に基づいて特定可能なパラメータを示す第一の図である。

【図6B】図６Ｂは、コミュニケーションの品質に関するパラメータのうち、映像情報に基づいて特定可能なパラメータを示す第二の図である。

【図7】図７は、コミュニケーションの品質の可視化動作のフローチャートである。

【図8】図８は、コミュニケーションの品質に関するパラメータの表示画面の一例を示す図である。

【図9】図９は、コミュニケーションの品質に関するパラメータの表示画面の別の一例を示す図である。

【図10】図１０は、コミュニケーションの品質を示すスコアを算出方法の一例を示す図である。

【図11】図１１は、コミュニケーションの品質を示すスコアの表示画面の一例を示す図である。

【図12】図１２は、コミュニケーションの品質に基づく環境制御の動作例１のフローチャートである。

【図13】図１３は、コミュニケーションの品質に基づく環境制御の動作例２のフローチャートである。

【図14】図１４は、コミュニケーションの品質に基づく環境制御の動作例３のフローチャートである。

【図15】図１５は、コミュニケーションの品質に基づく環境制御の動作例４のフローチャートである。

【図16】図１６は、コミュニケーションの品質に基づく環境制御の動作例５のフローチャートである。

【図17】図１７は、変形例に係るコミュニケーション解析システムの機能構成を示すブロック図である。

【発明を実施するための形態】

【0012】

以下、実施の形態について、図面を参照しながら具体的に説明する。なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

【0013】

なお、各図は模式図であり、必ずしも厳密に図示されたものではない。また、各図において、実質的に同一の構成に対しては同一の符号を付し、重複する説明は省略または簡略化される場合がある。

【0014】

（実施の形態）
［構成］
まず、実施の形態に係るコミュニケーション解析システムの構成について説明する。図１は、実施の形態に係るコミュニケーション解析システムの概略構成を示す図である。図２は、実施の形態に係るコミュニケーション解析システムの機能構成を示すブロック図である。

【0015】

図１及び図２に示されるように、コミュニケーション解析システム１０は、会議室などの空間７０を有するオフィスなどで使用される、空間７０内に位置する複数の人のコミュニケーションの品質を解析するためのシステムである。空間７０は、例えば、閉空間であるが、開放空間であってもよい。空間７０としては、会議室のほかに、オフィス空間内の開放的休憩所（オフィス空間の一部に椅子及びテーブルが置かれている場所）が例示される。また、空間７０は、物理的に区切られている必要は無く、空間のうち照明光または気流などで区切られた場所であってもよい。例えば、色温度５０００Ｋの昼光色で照明されたオフィス空間の一角に、色温度３０００Ｋの暖色の領域が設けられ、この領域が空間７０とされてもよい。

【0016】

コミュニケーション解析システム１０は、収音装置２０と、複数の撮影装置３０と、サーバ装置４０と、情報端末５０と、環境制御機器６０とを備える。

【0017】

収音装置２０は、空間７０内に設置される。収音装置２０は、例えば、空間７０に置かれた机の上に設置されるが、天井または壁などに設置されてもよい。収音装置２０は、空間７０内に位置する複数の人が会話しているときの音声を取得し、この音声が記録された音声情報を、インターネットなどの広域通信ネットワーク８０を介してサーバ装置４０に送信する。収音装置２０は、例えば、マイクロフォンアレイによって実現される。なお、収音装置２０のサーバ装置４０との通信機能は、収音装置２０とは別体の装置（パーソナルコンピュータ及びルータなど）によって実現されてもよい。

【0018】

撮影装置３０は、空間７０内に設置される。撮影装置３０は、例えば、空間７０に置かれた机の上に設置されるが、天井または壁などに設置されてもよい。撮影装置３０は、空間７０内に位置する複数の人が会話しているときの様子を撮影し、この様子が記録された映像情報（言い換えれば、動画情報）を、広域通信ネットワーク８０を介してサーバ装置４０に送信する。撮影装置３０は、例えば、ＷＥＢカメラである。撮影装置３０のサーバ装置４０との通信機能は、撮影装置３０とは別体の装置（パーソナルコンピュータ及びルータなど）によって実現されてもよい。

【0019】

なお、図１の例では、コミュニケーション解析システム１０は、複数の人全員を撮影するために撮影装置３０を３つ備えている。１つの撮影装置３０が平面視で１２０度の範囲を撮影することで、３つの撮影装置３０により平面視で３６０度（全方位）の範囲の撮影が可能である。しかしながら、コミュニケーション解析システム１０は、複数の人の全員を撮影できるように、撮影装置３０を少なくとも１つ備えていればよい。

【0020】

サーバ装置４０は、空間７０外に設置されるクラウドサーバである。サーバ装置４０は、具体的には、通信部４１と、情報処理部４２と、記憶部４３とを備える。

【0021】

通信部４１は、サーバ装置４０が広域通信ネットワーク８０を介して収音装置２０及び撮影装置３０と通信を行うための通信回路（通信モジュール）である。通信部４１は、具体的には、収音装置２０から音声情報を受信し、撮影装置３０から映像情報を受信する。通信部４１は、例えば、有線通信を行う有線通信回路であるが、無線通信を行う無線通信回路であってもよい。通信部４１が行う通信の通信規格については特に限定されない。通信部４１は、具体的には、音声取得部４４及び映像取得部４５を有する。

【0022】

音声取得部４４は、収音装置２０によって出力された音声情報を取得する。映像取得部４５は、撮影装置３０によって出力された映像情報を取得する。

【0023】

情報処理部４２は、複数の人のあいだのコミュニケーションの品質を解析するための情報処理を行う。情報処理部４２は、例えば、マイクロコンピュータによって実現されるが、プロセッサまたは専用回路によって実現されてもよい。情報処理部４２は、具体的には、特定部４６、可視化部４７、算出部４８、及び、制御部４９を有する。

【0024】

特定部４６は、音声取得部４４によって取得された音声情報、及び、映像取得部４５によって取得された映像情報に基づいて、コミュニケーションの品質に関連するパラメータを特定する。可視化部４７は、特定部４６によって特定されたパラメータを可視化し、算出部４８は、特定部４６によって特定されたパラメータに基づいてコミュニケーションの品質を示すスコアを算出する。制御部４９は、算出されたスコアに基づいて、空間７０の環境を制御する。特定部４６、可視化部４７、算出部４８、及び、制御部４９が実行する具体的な処理については後述する。

【0025】

記憶部４３は、情報処理部４２が実行する制御プログラム、及び、情報端末５０を通じて登録される各種情報などが記憶される記憶装置である。記憶部４３は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）によって実現されるが、半導体メモリによって実現されてもよい。

【0026】

情報端末５０は、ユーザ（上記複数の人の一人であってもよいし、上記複数の人以外の人であってもよい）がサーバ装置４０にアクセスするために使用する情報端末である。情報端末５０は、コミュニケーション解析システム１０におけるユーザインタフェースとして機能し、サーバ装置４０に対する各種情報の登録などに用いられる。情報端末５０は、例えば、スマートフォンまたはタブレット端末などの携帯型の情報端末であるが、パーソナルコンピュータなどの据え置き型の情報端末であってもよい。

【0027】

情報端末５０は、コミュニケーションの品質に関連するパラメータ、または、コミュニケーションの品質を示すスコアが表示される表示部５１を備える。表示部５１は、液晶パネルまたは有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）パネルなどの表示パネルによって実現される。

【0028】

環境制御機器６０は、空間７０の環境を制御する機器であり、サーバ装置４０によって制御される。空間７０の環境には、温度環境、光環境（明るさ）、風向き、におい、及び、音などが含まれる。環境制御機器６０としては、空間７０の温度を制御する空気調和機（エアコン）、空間７０の明るさを制御する照明機器、空間７０の気流を制御するサーキュレータなどの送風機、空間７０のにおいを制御するアロマディフューザなどの香り発生機、及び、空間７０における音を制御する楽曲再生装置などが例示される。

【0029】

［コミュニケーションの品質に関連するパラメータの特定動作］
次に、コミュニケーション解析システム１０によって実行される、コミュニケーションの品質に関連するパラメータの特定動作について説明する。図３は、コミュニケーションの品質に関連するパラメータの特定動作のフローチャートである。

【0030】

サーバ装置４０の音声取得部４４は、収音装置２０によって生成された音声情報（収音装置２０のＩＤ、及び、録音日時情報が付与されている）を収音装置２０から取得し、特定部４６は、受信した音声情報を記憶部４３に記憶する（Ｓ１１）。この音声情報は、対象期間（例えば、１つの会議の最初から最後までの全期間）における複数の人（つまり、当該１つの会議の参加者）の会話が記録された音声情報である。

【0031】

同様に、映像取得部４５は、３つの撮影装置３０によって生成された映像情報（撮影装置３０のＩＤ、及び、録画日時情報が付与されている）を３つの撮影装置３０のそれぞれから取得し、特定部４６は、受信した映像情報を記憶部４３に記憶しておく（Ｓ１２）。この映像情報は、上記対象期間における複数の人の様子が記録された音声情報である。

【0032】

次に、特定部４６は、取得された映像情報に基づいて、上記１つの会議の参加者を特定する（Ｓ１３）。特定部４６は、まず、記憶部４３から映像情報を読み出し、映像情報に対して人物抽出処理（例えば、顔認識処理）を行うことにより、参加者を特定し、特定した参加者にＩＤを付与する。以下の説明では、参加者は合計４名特定され、Ａ～ＤのＩＤが付与されるものとする。

【0033】

次に、特定部４６は、参加者の位置を特定する（Ｓ１４）。例えば、３つの撮影装置３０の配置、及び、収音装置２０の配置があらかじめ記憶部４３に登録され、特定部４６は、登録された情報に基づいて、４名の参加者Ａ～Ｄが収音装置２０に対してどの方向に位置するかを特定する。

【0034】

上述のように、収音装置２０は、マイクロフォンアレイによって実現され、音声情報は、マイクロフォンアレイに含まれる複数のマイクロフォン素子に対応する複数チャネルの音声信号を含む。特定部４６は、複数チャネルの音声信号に基づいて、音声情報に含まれる音声がどの方向から到来する音声かを把握することができる。そうすると、特定部４６は、ステップＳ１４で、参加者Ａ～Ｄが収音装置２０に対してどの方向に位置するかを特定しておけば、音声情報に含まれる音声が、参加者Ａ～Ｄの誰が発した音声であるかを特定することができる。以下の説明では、音声情報に含まれる音声はこのような手法により、参加者Ａ～Ｄの誰が発した音声であるかが区別されるものとする。

【0035】

次に、特定部４６は、対象期間全体を、プレゼンテーションが行われた期間（以下、プレゼン期間とも記載される）、質疑応答が行われた期間（以下、Ｑ＆Ａ期間とも記載される）、及び、参加者全員が沈黙した期間（以下、サイレント期間とも記載される）の３つの期間に区分する（Ｓ１５）。つまり、特定部４６は、対象期間を会話の種類（傾向）が異なる複数の期間に区分する。図４は、対象期間の区分例を示す図である。

【0036】

特定部４６は、まず、第一所定時間以上誰も発言していない（例えば、音声レベルが所定値以下である）期間をサイレント期間として特定する。次に、特定部４６は、１人の参加者が第二所定時間以上連続して話している期間をプレゼン期間として特定する。ここでの連続は、実質的に１人の参加者が発話を続けていることを意味しており、プレゼン期間には、１人の参加者の発話がわずかに途切れた期間（第一所定時間未満の期間）が含まれる。

【0037】

そして、特定部４６は、サイレント期間及びプレゼン期間以外の期間をＱ＆Ａ期間として特定する。プレゼン期間と同様に、Ｑ＆Ａ期間には、会話がわずかに途切れた（第一所定時間未満の期間）が含まれる。Ｑ＆Ａ期間は、第一所定時間よりも短く第三所定時間よりも長い参加者全員が沈黙した期間（つまり、やや長めに会話が途切れた期間）が含まれると、この期間を境界として複数のＱ＆Ａ期間に区別される。図４の例では、Ｑ＆Ａ期間（１）は、参加者Ｃ、参加者Ｂ、参加者Ｄ、及び、参加者Ａの順に発話した後、やや長めに会話が途切れた場合の１つのＱ＆Ａ期間である。なお、図４では、斜線部は会話が途切れた期間を示している。

【0038】

なお、上記３つの期間を区分するための閾値である、第一所定時間、第二所定時間、及び、第三所定時間は、経験的または実験的に適宜定められる。

【0039】

次に、特定部４６は、コミュニケーションの品質に関連するパラメータを特定する（Ｓ１６）。図５Ａ及び図５Ｂは、コミュニケーションの品質に関するパラメータのうち、ステップＳ１１において取得された音声情報に基づいて特定可能なパラメータを示す図である。図６Ａ及び図６Ｂは、コミュニケーションの品質に関するパラメータのうち、ステップＳ１２において取得された映像情報に基づいて特定可能なパラメータを示す図である。なお、これらのパラメータの詳細な特定方法については後述する。なお、特定部４６は、図５Ａ、図５Ｂ、図６Ａ、及び、図６Ｂに示される全てのパラメータを特定する必要はなく、図５Ａ及び図５Ｂに示されるパラメータの少なくとも１つ、並びに、図６Ａ及び図６Ｂに示されるパラメータの少なくとも１つを特定すればよい。

【0040】

次に、特定部４６は、特定したパラメータに会議ＩＤを付与して記憶部４３に記憶する（Ｓ１７）。例えば、ユーザは、収音装置２０のＩＤ及び３つの撮影装置３０のＩＤと空間７０（会議室などの部屋）との対応関係（つまり、収音装置２０のＩＤ及び３つの撮影装置３０のＩＤがどこに設置されているか）をあらかじめ登録しておく。そうすれば、特定部４６は、音声情報に付与された収音装置２０のＩＤ、及び、映像情報に付与された撮影装置３０のＩＤに基づいて、特定したパラメータがどの空間７０における会話を対象としたものかを特定し、会議ＩＤとして使用することができる。また、特定部４６は、音声情報に付与された録音日時情報、及び、映像情報に付与された録画日時情報に基づいて、年月日及び時間帯の情報を会議ＩＤに含めることができる（図５Ａ、図５Ｂ、図６Ａ、及び、図６Ｂ参照）。

【0041】

［音声情報に基づいて特定されるパラメータ］
ここで、ステップＳ１１において取得された音声情報に基づいて特定可能なパラメータについて、上記図５Ａ及び上記図５Ｂを参照しながら説明する。

【0042】

パラメータ（ａ）は、プレゼンテーションが行われた期間（プレゼン期間）の長さ、質疑応答が行われた期間（Ｑ＆Ａ期間）の長さ、及び、参加者Ａ～Ｄの全員が実質的に沈黙した期間（サイレント期間）の長さの比率である。特定部４６は、より具体的には、対象期間における、プレゼン期間の合計の長さ、Ｑ＆Ａ期間の合計の長さ、及び、サイレント期間の合計の長さの比率をパラメータ（ａ）として特定する。

【0043】

パラメータ（ｂ）は、１回の質疑応答（つまり、１回のＱ＆Ａ期間）に参加した参加者Ａ～Ｄの人数の平均である。特定部４６は、対象期間に含まれる全てのＱ＆Ａ期間における参加人数を平均することで、パラメータ（ｂ）を特定する。図４の例では、Ｑ＆Ａ期間（１）の参加者は４人であり、Ｑ＆Ａ期間（２）の参加者は２人であり、この２つのＱ＆Ａ期間に参加した人の人数の平均は３である。

【0044】

パラメータ（ｃ）は、質疑応答（Ｑ＆Ａ）のテンポである。特定部４６は、対象期間に含まれる全てのＱ＆Ａ期間における、話者が交代することに起因して会話が途切れた期間の長さの平均をパラメータ（ｃ）として特定することができる。図４の例では、Ｑ＆Ａ期間（１）は、４箇所の会話が途切れた期間を含み、Ｑ＆Ａ期間（２）は、４箇所の会話が途切れた期間を含む。この場合、この８箇所の会話が途切れた期間の長さの平均がパラメータ（ｃ）として特定される。なお、パラメータ（ｃ）は、会話が途切れた期間の平均値が小さいほど質疑応答のテンポが良いことを意味する。

【0045】

パラメータ（ｄ）は、質疑応答が行われた期間（Ｑ＆Ａ期間）の総数である。特定部４６は、対象期間に含まれるＱ＆Ａ期間の総数をパラメータ（ｄ）として特定する。

【0046】

パラメータ（ｅ）は、質疑応答が行われた期間（Ｑ＆Ａ期間）における参加者Ａ～Ｄの発言時間の比率である。特定部４６は、対象期間に含まれる全てのＱ＆Ａ期間において参加者Ａが発言している期間の長さの合計、参加者Ｂが発言している期間の長さの合計、参加者Ｃが発言している期間の長さの合計、及び、参加者Ｄが発言している期間の長さの合計をそれぞれ特定する。そして特定部４６は、この４つの合計の比率をパラメータ（ｅ）として特定する。

【0047】

パラメータ（ｆ）は、対象期間における参加者Ａ～Ｄの全員が実質的に沈黙した時間の合計、つまり、対象期間におけるサイレント期間の長さの合計である。

【0048】

パラメータ（ｇ）は、対象期間において参加者Ａ～Ｄの発言中の期間の重複回数である。例えば、参加者Ａの発言中に参加者Ｂが発言し、参加者Ａ及び参加者Ｂの音声が重なった場合にパラメータ（ｇ）に相当する回数がカウントアップされる。重複回数が多い場合には、コミュニケーションが活発であるといえる。

【0049】

［映像情報に基づいて特定されるパラメータ］
次に、ステップＳ１２において取得された映像情報に基づいて特定可能なパラメータについて、上記図６Ａ及び上記図６Ｂを参照しながら説明する。

【0050】

パラメータ（ｈ）は、報告者を報告者以外の他の参加者が見ている期間の長さである。ここでの報告者は、例えば、参加者Ａ～Ｄのうちプレゼン期間においてプレゼンテーションをしている参加者を意味する。特定部４６は、参加者Ａがプレゼンテーションを行っているときには、参加者Ｂ～Ｄのそれぞれが参加者Ａを見ている期間の長さをパラメータ（ｈ）として集計する。特定部４６は、具体的には、映像情報に基づいて他の参加者の視線検出処理を行うことで、他の参加者が報告者を見ているか否かを特定する。

【0051】

なお、報告者のプレゼンテーションに関連する報告資料が空間７０内に設置されたディスプレイに表示されるような場合、パラメータ（ｈ）は、報告者を報告者以外の他の参加者が見ている期間の長さと、他の参加者が報告資料（ディスプレイ）を見ている期間の長さとの合計とされてもよい。

【0052】

パラメータ（ｉ）は、対象期間において参加者Ａ～Ｄがうなずいた回数である。特定部４６は、例えば、映像情報（より詳細には、映像情報から得られる参加者Ａ～Ｄの映像特徴量）を入力情報とする機械学習モデルを用いて参加者Ａ～Ｄがうなずいたか否かを特定する。特定部４６は、参加者Ａ～Ｄのそれぞれがうなずいた回数を集計し、パラメータ（ｉ）として特定する。

【0053】

パラメータ（ｊ）は、対象期間において参加者Ａ～Ｄがあくびをした回数である。特定部４６は、例えば、映像情報（より詳細には、映像情報から得られる参加者Ａ～Ｄの映像特徴量）を入力情報とする機械学習モデルを用いて参加者Ａ～Ｄのそれぞれがあくびをしたか否かを特定する。特定部４６は、参加者Ａ～Ｄのそれぞれがあくびをした回数を集計し、パラメータ（ｊ）として特定する。

【0054】

パラメータ（ｋ）は、対象期間において参加者Ａ～Ｄが居眠りをした期間の長さである。特定部４６は、例えば、映像情報（より詳細には、映像情報から得られる参加者Ａ～Ｄの映像特徴量）を入力情報とする機械学習モデルを用いて参加者Ａ～Ｄのそれぞれが居眠りをしているか否かを特定する。特定部４６は、参加者Ａ～Ｄのそれぞれが居眠りをした期間の長さを集計し、パラメータ（ｋ）として特定する。なお、特定部４６は、参加者Ａ～Ｄのそれぞれが居眠りをした回数をパラメータ（ｋ）として特定してもよい。

【0055】

パラメータ（ｌ）は、対象期間において参加者Ａ～Ｄが会話に参加せずに作業をしている期間の長さである。ここでの作業は、具体的には、携帯端末を触ったり、ノートパソコンのキーボードをタイピングしたりすることを意味し、対象期間における会話に無関係であると推定される作業を意味する。特定部４６は、例えば、映像情報（より詳細には、映像情報から得られる参加者Ａ～Ｄの映像特徴量）を入力情報とする機械学習モデルを用いて参加者Ａ～Ｄのそれぞれが作業をしているか否かを特定する。特定部４６は、参加者Ａ～Ｄのそれぞれが作業をした期間の長さを集計し、パラメータ（ｌ）として特定する。

【0056】

パラメータ（ｍ）は、対象期間において参加者Ａ～Ｄが笑顔になった回数である。特定部４６は、例えば、映像情報（より詳細には、映像情報から得られる参加者Ａ～Ｄの映像特徴量）を入力情報とする機械学習モデルを用いて参加者Ａ～Ｄのそれぞれが笑顔になったか否かを特定する。特定部４６は、参加者Ａ～Ｄのそれぞれが笑顔になった回数を集計し、パラメータ（ｍ）として特定する。笑顔の回数が多いほど、話やすい雰囲気でよい状態であると考えられる。

【0057】

パラメータ（ｎ）は、対象期間において参加者Ａ～Ｄが自身が所持するパーソナルコンピュータ（ＰＣ）を操作している期間の長さである。特定部４６は、例えば、映像情報（より詳細には、映像情報から得られる参加者Ａ～Ｄの映像特徴量）を入力情報とする機械学習モデルを用いて参加者Ａ～ＤのそれぞれがＰＣを操作しているか否かを特定する。特定部４６は、参加者Ａ～ＤのそれぞれがＰＣを操作していた期間の長さを集計し、パラメータ（ｎ）として特定する。ＰＣを操作していた期間の長さが長いほど、参加者Ａ～Ｄの意欲が薄れ、コミュニケーションの品質が悪くなっていると考えられる。

【0058】

［可視化動作］
次に、コミュニケーション解析システム１０によって実行される、コミュニケーションの品質の可視化動作について説明する。図７は、コミュニケーションの品質の可視化動作のフローチャートである。

【0059】

ユーザ（上記参加者Ａ～Ｄの一人であってもよいし、上記参加者Ａ～Ｄ以外の人であってもよい）により情報端末５０に対してコミュニケーションの品質の可視化を指示する操作が行われると、情報端末５０は、表示要求をサーバ装置４０に送信する。サーバ装置４０の通信部４１は、表示要求を情報端末５０から取得する（Ｓ２１）。上記操作には、会議ＩＤ（会議室の場所と時間）の指定操作が含まれ、表示要求には、この指定操作によって指定された会議ＩＤが含まれている。

【0060】

可視化部４７は、記憶部４３に記憶されたコミュニケーションの品質に関するパラメータのうち、通信部４１によって取得された表示要求に含まれる会議ＩＤに紐づけられたパラメータを表示するための表示情報を通信部４１に情報端末５０へ送信させる（Ｓ２２）。この結果、情報端末５０の表示部５１には、図８または図９のような表示画面が表示される。

【0061】

図８は、コミュニケーションの品質に関するパラメータの表示画面の一例を示す図であり、この表示画面は、参加者Ａ～Ｄの発言時間（上記パラメータ（ｅ）を絶対値に換算したパラメータ）を棒グラフで示している。図９は、コミュニケーションの品質に関するパラメータの表示画面の別の一例を示す図であり、この表示画面は、上記３つの期間の比率（上記パラメータ（ａ））を円グラフで示している。

【0062】

なお、図示されないが、他のパラメータが表示部５１に表示されてもよい。ユーザは、例えば、どのパラメータを表示するかを、情報端末５０への操作により選択することができる。

【0063】

このように、可視化部４７は、特定部４６によって特定されたコミュニケーションの品質に関するパラメータの少なくとも１つを可視化することができる。このようにコミュニケーションの品質に関するパラメータが可視化されれば、ユーザは、コミュニケーションの品質（会議の状況）を容易に認識することができる。

【0064】

［スコアの算出動作］
次に、コミュニケーション解析システム１０によって実行される、コミュニケーションの品質を示すスコアの算出動作について説明する。図１０は、コミュニケーションの品質を示すスコアを算出方法の一例を示す図である。

【0065】

図１０の例に示されるように、算出部４８は、例えば、採点項目Ｐ１～Ｐ８のそれぞれに対して良い（＋５ポイント）、標準（０ポイント）、悪い（－５ポイント）のいずれに該当するかを判断する。そして、算出部４８は、採点項目Ｐｎに対する個別スコア（ポイント）をＳ（Ｐｎ）として、Ｓｃｏｒｅ＝５０＋ｗ１×Ｓ（Ｐ１）＋ｗ２×Ｓ（Ｐ２）＋・・＋ｗ８×Ｓ（Ｐ８）（ｗ１～ｗ８は重み係数）の算出式に基づいて、コミュニケーションの品質を示すスコアを算出する。スコアが大きいほどコミュニケーションの品質が良好である（コミュニケーションが活発である）といえる。

【0066】

以下、図１０の採点項目について説明する。採点項目Ｐ１は、パラメータ（ａ）として特定されたＱ＆Ａ期間の長さの比率に関するものである。算出部４８は、Ｑ＆Ａ期間の長さの比率が多いほど、採点項目Ｐ１に対する個別スコアを大きい値にする。

【0067】

採点項目Ｐ２は、パラメータ（ａ）として特定されたサイレント期間の長さの比率に関するものである。算出部４８は、サイレント期間の長さの対象期間に対する比率が少ないほど、採点項目Ｐ２に対する個別スコアを大きい値にする。

【0068】

採点項目Ｐ３は、パラメータ（ｅ）として特定された、Ｑ＆Ａ期間における参加者Ａ～Ｄの発言時間の比率に関し、具体的には、この比率の最小値／最大値に関するものである。算出部４８は、最小値／最大値が１に近い（つまり、参加者Ａ～Ｄがまんべんなく発言している）ほど、採点項目Ｐ３に対する個別スコアを大きい値にする。

【0069】

採点項目Ｐ４は、パラメータ（ｂ）として特定された、１回のＱ＆Ａ期間に参加した参加者Ａ～Ｄの人数の平均に関するものである。算出部４８は、１回のＱ＆Ａ期間に参加した参加者Ａ～Ｄの平均人数が多いほど、採点項目Ｐ４に対する個別スコアを大きい値にする。

【0070】

採点項目Ｐ５は、パラメータ（ｄ）として特定された、Ｑ＆Ａ期間の総数に関するものである。算出部４８は、Ｑ＆Ａ期間の総数が多いほど、採点項目Ｐ５に対する個別スコアを大きい値にする。

【0071】

採点項目Ｐ６は、パラメータ（ｈ）として特定された、報告者を報告者以外の他の参加者が見ている期間の長さに関し、具体的には、プレゼン期間中で報告者を報告者以外の他の参加者が見ている期間の割合の平均である。例えば、参加者Ａがプレゼンテーションをしている期間中に、参加者Ｂがこの期間の８０％の間、参加者Ａを見ており、参加者Ｃがこの期間の６０％の間、参加者Ａを見ており、参加者Ｃがこの期間の７０％の間、参加者Ａを見ているとする。この場合、プレゼン期間中で報告者を報告者以外の他の参加者が見ている期間の割合の平均は、（８０＋６０＋７０）／３＝６０％となる。算出部４８は、この割合の平均が大きいほど、採点項目Ｐ６に対する個別スコアを大きい値にする。

【0072】

採点項目Ｐ７は、パラメータ（ｊ）として特定された、参加者Ａ～Ｄのあくびの回数の平均に関するものである。算出部４８は、参加者Ａ～Ｄのあくびの平均回数が少ないほど、採点項目Ｐ７に対する個別スコアを大きい値にする。

【0073】

採点項目Ｐ８は、パラメータ（ｋ）として特定された、参加者Ａ～Ｄが居眠りをした期間の長さに関し、具体的には、居眠りをした人数に関するものである。算出部４８は、居眠りをした人数が少ないほど、採点項目Ｐ８に対する個別スコアを大きい値にする。

【0074】

以上のように、算出部４８は、コミュニケーションが活発であるほど、スコアを大きい値にする。このように算出されたスコアは、例えば、パラメータ（ａ）～（ｎ）と同様に、可視化部４７によって可視化される。図１１は、コミュニケーションの品質を示すスコアの表示画面の一例を示す図である。このようにコミュニケーションの品質を示すスコアが可視化されれば、ユーザは、コミュニケーションの品質（活発さ）を認識することができる。

【0075】

なお、図１０に示されるスコアの算出方法は一例であり、算出部４８は、パラメータ（ａ）～（ｎ）の少なくとも１つに基づいて、対象期間における参加者Ａ～Ｄのコミュニケーションの品質を示すスコアを算出すればよい。

【0076】

［環境制御の動作例１］
また、算出部４８によって算出されたスコアは、空間７０の環境制御に使用されてもよい。図１２は、環境制御の動作例１のフローチャートである。

【0077】

ステップＳ３１～ステップＳ３６の処理は、ステップＳ１１～ステップＳ１６の処理と同様である。ただし、ステップＳ１１～ステップＳ１６の処理は、会議の終了後に行われたが、ステップＳ３１～ステップＳ３６の処理は、会議中に数分～数十分ごとに行なわれる。つまり、ステップＳ３１～ステップＳ３６の処理は、リアルタイム性を有している。

【0078】

ステップＳ３６に続いて、算出部４８は、特定されたパラメータに基づいてコミュニケーションの品質を示すスコアを算出する（Ｓ３７）。制御部４９は、算出されたスコアが所定値以上であるか否かを判定する（Ｓ３８）。制御部４９は、算出されたスコアが所定値以上である（つまり、コミュニケーションが活発である）と判定すると（Ｓ３８でＹｅｓ）、空間７０の環境の制御を行わない。一方、制御部４９は、算出されたスコアが所定値未満である（つまり、コミュニケーションが活発でない）と判定すると（Ｓ３８でＮｏ）、空間７０の環境を制御する（Ｓ３９）。制御部４９は、具体的には、通信部４１に環境制御機器６０へ制御信号を送信させることにより、空間７０の環境を制御する。

【0079】

制御部４９は、例えば、空間７０の温度を制御する空気調和機の設定温度を高くする、または、空間７０に設置された照明機器を現在よりも明るくすることにより、空間７０におけるコミュニケーションの活性化を図る。また、制御部４９は、空間７０に設置された香り発生機を作動させる、または、空間７０に設置された楽曲再生装置に楽曲を再生させることにより、空間７０におけるコミュニケーションの活性化を図ってもよい。

【0080】

このように、制御部４９は、算出されたスコアに基づいて、参加者Ａ～Ｄが位置する空間７０の環境を制御することで、空間７０におけるコミュニケーションの活性化を図ることができる。

【0081】

［環境制御の動作例２］
また、算出部４８は、特定部４６によって特定されたパラメータに基づいて、空間７０の環境制御を行ってもよい。図１３は、環境制御の動作例２のフローチャートである。

【0082】

ステップＳ４１～ステップＳ４５の処理は、ステップＳ３１～ステップＳ３５の処理と同様である。

【0083】

ステップＳ４５に続いて、特定部４６は、Ｑ＆Ａ期間における参加者Ａ～Ｄの発言時間の比率を特定する（Ｓ４６）。言い換えれば、特定部４６は、コミュニケーションの品質に関連するパラメータ（ｅ）を特定する。また、特定部４６は、特定された発言時間の比率に基づいて、発言時間が最も長い参加者を対象者として特定する（Ｓ４７）。

【0084】

次に、制御部４９は、対象者の発言時間が所定値以上であるか否か（つまり、特定された参加者が他の参加者に比べて話過ぎていないか）を判定する（Ｓ４８）。制御部４９は、対象者の発言時間が所定値未満である（つまり、話過ぎではない）と判定すると（Ｓ４８でＮｏ）、対象者の周囲の環境の制御を行わない。一方、制御部４９は、対象者の発言時間が所定値以上である（つまり、話過ぎである）と判定すると（Ｓ４８でＹｅｓ）、対象者の周囲の環境を制御する（Ｓ４９）。

【0085】

制御部４９は、具体的には、通信部４１に環境制御機器６０へ制御信号を送信させることにより、対象者の周囲の環境を制御する。対象者の周囲の環境を制御するとは、言い換えれば、参加者Ａ～Ｄのうち対象者にのみ選択的に刺激を与えることを意味する。

【0086】

制御部４９は、例えば、空間７０に設置された送風機を作動させ、対象者へ向かう風を起こすことにより、制御部４９は、対象者をクールダウンさせ、発言を控えるように促す。また、制御部４９は、空間７０に設置された照明機器のうち対象者の周囲を照らす照明機器を現在よりも暗くすることにより、対象者をクールダウンさせ、発言を控えるように促してもよい。

【0087】

このように、制御部４９は、参加者Ａ～Ｄのうち発言時間が相対的に長いと判定される参加者の周囲の環境を制御する。制御部４９は、参加者に話過ぎであることを気付かせることで、他の参加者が発言しやすい雰囲気の醸成を図ることができる。

【0088】

［環境制御の動作例３］
また、制御部４９は、発言の少ない参加者の周囲の環境制御を行ってもよい。図１４は、環境制御の動作例３のフローチャートである。

【0089】

ステップＳ５１～ステップＳ５６の処理は、ステップＳ４１～ステップＳ４６の処理と同様である。

【0090】

ステップＳ５６に続いて、特定部４６は、ステップＳ５６において特定された発言時間の比率に基づいて、発言時間が最も短い参加者を対象者として特定する（Ｓ５７）。

【0091】

次に、制御部４９は、対象者の発言時間が所定値未満であるか否か（つまり、特定された参加者の発言時間が他の参加者に比べて少な過ぎるのではないか）を判定する（Ｓ５８）。制御部４９は、対象者の発言時間が所定値以上である（つまり、発言時間が少なすぎるということはない）と判定すると（Ｓ５８でＮｏ）、対象者の周囲の環境の制御を行わない。一方、制御部４９は、対象者の発言時間が所定値未満である（つまり、発言時間が少な過ぎる）と判定すると（Ｓ５８でＹｅｓ）、対象者の周囲の環境を制御する（Ｓ５９）。

【0092】

制御部４９は、例えば、空間７０に設置された送風機を作動させ、対象者へ向かう風を起こすことにより、制御部４９は、対象者に活発に発言をするように促す。また、制御部４９は、空間７０に設置された照明機器のうち対象者の周囲を照らす照明機器を現在よりも明るくすることにより、対象者に活発に発言をするように促してもよい。

【0093】

このように、制御部４９は、参加者Ａ～Ｄのうち発言時間が相対的に短いと判定される参加者の周囲の環境を制御する。制御部４９は、参加者に発言が少ないことを気付かせることで、参加者の意見をまんべんなく引き出すことができる。

【0094】

［環境制御の動作例４］
また、制御部４９は、居眠りをしている参加者の周囲の環境制御を行ってもよい。図１５は、環境制御の動作例４のフローチャートである。

【0095】

ステップＳ６１～ステップＳ６４の処理は、ステップＳ５１～ステップＳ５４の処理と同様である。

【0096】

ステップＳ６５に続いて、特定部４６は、対象期間において参加者Ａ～Ｄが居眠りをした期間の長さ（コミュニケーションの品質に関連するパラメータ（ｋ））を特定する（Ｓ６５）。また、特定部４６は、参加者Ａ～Ｄのうち居眠りをしている参加者を対象者として特定する（Ｓ６６）。制御部４９は、特定された対象者の周囲の環境を制御する（Ｓ６７）。

【0097】

制御部４９は、例えば、空間７０に設置された送風機を作動させ、対象者へ向かう風を起こすことにより、制御部４９は、対象者に居眠りをしないように促す。また、制御部４９は、空間７０に設置された照明機器のうち対象者の周囲を照らす照明機器を現在よりも明るくすることにより、対象者に居眠りをしないように促してもよい。

【0098】

このように、制御部４９は、参加者Ａ～Ｄのうち居眠りをしている参加者の周囲の環境を制御する。制御部４９は、参加者の居眠りを抑制することで、空間７０におけるコミュニケーションの活性化を図ることができる。

【0099】

［環境制御の動作例５］
また、制御部４９は、会話に参加せずに作業をしている参加者の周囲の環境制御を行ってもよい。図１６は、環境制御の動作例５のフローチャートである。

【0100】

ステップＳ７１～ステップＳ７４の処理は、ステップＳ６１～ステップＳ６４の処理と同様である。

【0101】

ステップＳ７５に続いて、特定部４６は、コミュニケーションの品質に関連するパラメータ（ｌ）を特定する（Ｓ７５）。また、特定部４６は、参加者Ａ～Ｄのうち会話に参加せずに作業をしている参加者を対象者として特定する（Ｓ７６）。制御部４９は、対象者の周囲の環境を制御する（Ｓ７７）。

【0102】

制御部４９は、例えば、空間７０に設置された送風機を作動させ、対象者へ向かう風を起こすことにより、制御部４９は、対象者に作業をしないように促す。また、制御部４９は、空間７０に設置された照明機器のうち対象者の周囲を照らす照明機器を現在よりも明るくすることにより、対象者に作業をしないように促してもよい。

【0103】

このように、制御部４９は、参加者Ａ～Ｄのうち会話に参加せずに作業をしている参加者の周囲の環境を制御する。制御部４９は、参加者が会話に参加せずに作業をすることを抑制することで、空間７０におけるコミュニケーションの活性化を図ることができる。

【0104】

［適用場面の具体例］
コミュニケーション解析システム１０の適用場面の具体例について説明する。上述のように、コミュニケーション解析システム１０は、具体的には、会議室などの空間７０で一般的な会議が行われる際に使用される。この場合、特定部４６は、パラメータ（ａ）：３つの期間の長さの比率、パラメータ（ｄ）：Ｑ＆Ａ期間の総数、パラメータ（ｅ）：Ｑ＆Ａ期間における参加者Ａ～Ｄの発言時間の比率、パラメータ（ｇ）：参加者Ａ～Ｄの発言中の期間の重複回数、パラメータ（ｈ）：報告者を報告者以外の他の参加者が見ている期間の長さ、パラメータ（ｉ）：参加者Ａ～Ｄがうなずいた回数、パラメータ（ｍ）：参加者Ａ～Ｄが笑顔になった回数、及び、パラメータ（ｎ）参加者Ａ～ＤがＰＣを操作している期間の長さを特定するとよい。

【0105】

また、上司と部下などの間で行われるいわゆる１ｏｎ１ミーティング、及び、ブレーンストーミングなどが行われる際には、特定部４６は、パラメータ（ｅ）：Ｑ＆Ａ期間における参加者Ａ～Ｄの発言時間の比率、パラメータ（ｆ）：サイレント期間の長さ、パラメータ（ｇ）：参加者Ａ～Ｄの発言中の期間の重複回数、パラメータ（ｈ）：報告者を報告者以外の他の参加者が見ている期間の長さ、パラメータ（ｉ）：参加者Ａ～Ｄがうなずいた回数、及び、パラメータ（ｍ）：参加者Ａ～Ｄが笑顔になった回数を特定するとよい。

【0106】

また、コミュニケーション解析システム１０は、会議室ではなく、休憩室など気分転換を行うための空間７０に適用されてもよい。この場合、特定部４６は、パラメータ（ｅ）：Ｑ＆Ａ期間における参加者Ａ～Ｄの発言時間の比率、または、パラメータ（ｍ）：参加者Ａ～Ｄが笑顔になった回数を特定し、さらに、音声情報及び映像情報の少なくとも一方に基づいて、空間７０に位置する複数の人のそれぞれが誰であるかを特定（つまり、個人特定）する。これにより、コミュニケーション解析システム１０は、誰と誰とのコミュニケーションが頻繁に行われているか、などを記憶部４３に記憶することができる。なお、個人特定の具体的方法については後述する。

【0107】

［話者の特定方法の変形例］
上記実施の形態では、映像情報に基づく参加者Ａ～Ｄの位置、及び、音声情報に基づく音声の到来方向に基づいて話者の特定が行われたが、話者の特定方法はこのような方法に限定されない。

【0108】

例えば、会議に参加する可能性のある人（会社の全従業員など）の顔画像、及び、音声特徴量が記憶部４３にあらかじめ登録されていれば、特定部４６は、映像情報に基づく顔認証、及び、音声情報に基づく音声認証により話者（個人）を特定できる。この場合、収音装置２０は、マイクロフォンアレイである必要はなく、収音装置２０の構成を簡素化できる。

【0109】

［システム構成の変形例］
上記実施の形態では、参加者Ａ～Ｄが１つの空間７０に集まって会話を行うものとして説明が行われた。しかしながら、コミュニケーション解析システム１０は、ＷＥＢ会議など、参加者Ａ～Ｄが互いに異なる空間７０に位置しているような場合にも適用できる。図１７は、このような変形例に係るコミュニケーション解析システムの機能構成を示すブロック図である。

【0110】

図１７に示されるように、変形例に係るコミュニケーション解析システム１０ａにおいては、互いに異なる複数の空間７０のそれぞれに、少なくとも１人の参加者が位置している。また、互いに異なる複数の空間７０のそれぞれに、情報端末５０及び環境制御機器６０が設置されている。この場合の情報端末５０は、例えば、パーソナルコンピュータであり、収音装置２０、及び、撮影装置３０を有している。収音装置２０、及び、撮影装置３０は、情報端末５０に外付けされていてもよいし、情報端末５０に内蔵されていてもよい。

【0111】

このようなコミュニケーション解析システム１０ａにおいて、サーバ装置４０の音声取得部４４は、複数の収音装置２０のそれぞれによって出力される音声情報を取得する。映像取得部４５は、複数の撮影装置３０のそれぞれによって出力される映像情報を取得する。これにより、コミュニケーション解析システム１０ａは、コミュニケーション解析システム１０と同様の動作を行うことができる。

【0112】

［効果等］
以上説明したように、コミュニケーション解析システム１０は、対象期間における複数の人の会話が記録された音声情報を取得する音声取得部４４と、対象期間における複数の人の様子が記録された映像情報を取得する映像取得部４５と、特定部４６と、可視化部４７とを備える。特定部４６は、取得された音声情報に基づいて、（ａ）プレゼンテーションが行われた期間の長さ、質疑応答が行われた期間の長さ、及び、複数の人の全員が沈黙した期間の長さの比率、（ｂ）質疑応答に参加した人の人数、（ｃ）質疑応答のテンポ、（ｄ）質疑応答が行われた期間の数、（ｅ）質疑応答が行われた期間における前記複数の人の発言時間の比率、（ｆ）複数の人の全員が沈黙した期間の長さ、並びに、（ｇ）前記複数の人の発言中の期間の重複回数、の少なくとも１つを特定する。特定部４６は、取得された映像情報に基づいて、（ｈ）複数の人のうちの報告者を他の人が見ている期間の長さ、（ｉ）複数の人がうなずいた回数、（ｊ）複数の人があくびをした回数、（ｋ）複数の人が居眠りをした回数または複数の人が居眠りをした期間の長さ、（ｌ）複数の人が作業をしている期間の長さ、（ｍ）複数の人が笑顔になった回数、及び、（ｎ）複数の人がパーソナルコンピュータを操作している期間の長さ、の少なくとも１つを特定する。可視化部４７は、特定された上記（ａ）～上記（ｇ）の少なくとも１つ、及び、上記（ｈ）～上記（ｎ）の少なくとも１つを可視化する。

【0113】

このようなコミュニケーション解析システム１０は、上記（ａ）～（ｎ）のようなコミュニケーションの品質に関連するパラメータを可視化することで、コミュニケーションの品質の向上を支援することができる。

【0114】

また、例えば、コミュニケーション解析システム１０は、さらに、特定された上記（ａ）～上記（ｇ）の少なくとも１つ、及び、上記（ｈ）～上記（ｎ）の少なくとも１つに基づいて、対象期間における複数の人のコミュニケーションの品質を示すスコアを算出する算出部４８を備える。可視化部４７は、算出されたスコアを可視化してもよい。

【0115】

このようなコミュニケーション解析システム１０は、コミュニケーションの品質を示すスコアを可視化することで、コミュニケーションの品質の向上を支援することができる。

【0116】

また、例えば、コミュニケーション解析システム１０は、さらに、算出されたスコアに基づいて、複数の人が位置する空間７０の環境を制御する制御部４９を備える。

【0117】

このようなコミュニケーション解析システム１０は、コミュニケーションの活性化を図ることができる。

【0118】

また、例えば、コミュニケーション解析システム１０は、さらに、取得された音声情報に基づいて、上記（ｅ）を特定し、特定した上記（ｅ）に基づいて、複数の人のうち発言時間が相対的に長いと判定される人の周囲の環境を制御する制御部４９を備える。

【0119】

このようなコミュニケーション解析システム１０は、発言時間が相対的に長いと判定される人に話過ぎであることを気付かせることができ、これによって他の人が発言しやすい雰囲気の醸成を図ることができる。

【0120】

また、例えば、コミュニケーション解析システム１０は、さらに、取得された音声情報に基づいて、上記（ｅ）を特定し、特定した上記（ｅ）に基づいて、複数の人のうち発言時間が相対的に短いと判定される人の周囲の環境を制御する制御部４９を備える。

【0121】

このようなコミュニケーション解析システム１０は、人のうち発言時間が相対的に短いと判定される人に発言が少ないことを気付かせることができ、これによって複数の人の意見をまんべんなく引き出すことができる。

【0122】

また、例えば、コミュニケーション解析システム１０は、さらに、取得された映像情報に基づいて、上記（ｋ）を特定し、特定した上記（ｋ）に基づいて、複数の人のうち居眠りをしている人の周囲の環境を制御する制御部４９を備える。

【0123】

このようなコミュニケーション解析システム１０は、環境の制御により居眠りを抑制することで、コミュニケーションの活性化を図ることができる。

【0124】

また、例えば、コミュニケーション解析システム１０は、さらに、取得された映像情報に基づいて、上記（ｌ）を特定し、特定した上記（ｌ）に基づいて、複数の人のうち作業をしている人の周囲の環境を制御する制御部４９を備える。

【0125】

このようなコミュニケーション解析システム１０は、環境の制御により作業をやめるように促すことで、コミュニケーションの活性化を図ることができる。

【0126】

また、例えば、コミュニケーション解析システム１０においては、音声取得部４４は、複数の人が位置する空間７０に設置された収音装置２０によって出力される音声情報を取得する。映像取得部４５は、複数の人が位置する空間７０に設置された撮影装置３０によって出力される映像情報を取得する。

【0127】

このように、コミュニケーション解析システム１０は、会議室などの複数の人が位置している空間７０を対象として、コミュニケーションの品質に関連するパラメータの可視化等を行うことができる。

【0128】

また、例えば、コミュニケーション解析システム１０ａにおいては、複数の人は、互いに異なる複数の空間７０のそれぞれに少なくとも１人ずつ位置し、複数の空間７０のそれぞれには、収音装置２０及び撮影装置３０が設置される。音声取得部４４は、複数の収音装置２０のそれぞれによって出力される音声情報を取得し、映像取得部４５は、複数の撮影装置３０のそれぞれによって出力される映像情報を取得する。

【0129】

このように、コミュニケーション解析システム１０ａは、ＷＥＢ会議など、複数の人が互いに異なる空間７０に位置しているような場合にも適用できる。

【0130】

また、例えば、特定部４６は、上記（ａ）、上記（ｄ）、上記（ｅ）、上記（ｇ）、上記（ｈ）、上記（ｉ）、上記（ｍ）、及び、上記（ｎ）を特定する。

【0131】

このようなコミュニケーション解析システム１０は、一般的な会議におけるコミュニケーションの品質の向上に適したパラメータを特定することができる。

【0132】

また、例えば、特定部４６は、上記（ｅ）、上記（ｆ）、上記（ｇ）、上記（ｈ）、上記（ｉ）、及び、上記（ｍ）を特定する。

【0133】

このようなコミュニケーション解析システム１０は、ブレーンストーミングまたは１ｏｎ１ミーティングにおけるコミュニケーションの品質の向上に適したパラメータを特定することができる。

【0134】

また、例えば、特定部４６は、上記（ｅ）または上記（ｇ）を特定し、さらに、音声情報及び映像情報の少なくとも一方に基づいて、複数の人のそれぞれが誰であるかを特定する。

【0135】

このようなコミュニケーション解析システム１０は、休憩室などの気持ちの切り替え場所におけるコミュニケーションの品質の向上に適したパラメータを特定することができる。

【0136】

（その他の実施の形態）
以上、実施の形態について説明したが、本発明は、上記実施の形態に限定されるものではない。

【0137】

例えば、上記実施の形態では、コミュニケーション解析システムは、複数の装置によって実現されたが、単一の装置として実現されてもよい。例えば、コミュニケーション解析システムは、サーバ装置に相当する単一の装置として実現されてもよい。コミュニケーション解析システムが複数の装置によって実現される場合、コミュニケーション解析システムが備える構成要素は、複数の装置にどのように振り分けられてもよい。例えば、上記実施の形態でサーバ装置が備える構成要素は、空間に設置された情報端末に備えられてもよい。つまり、本発明は、クラウドコンピューティングによって実現されてもよいし、エッジコンピューティングによって実現されてもよい。

【0138】

例えば、上記実施の形態における装置間の通信方法については特に限定されるものではない。また、装置間の通信においては、図示されない中継装置が介在してもよい。

【0139】

また、上記実施の形態において、特定の処理部が実行する処理を別の処理部が実行してもよい。また、複数の処理の順序が変更されてもよいし、複数の処理が並行して実行されてもよい。

【0140】

また、上記実施の形態において、各構成要素は、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。

【0141】

また、各構成要素は、ハードウェアによって実現されてもよい。例えば、各構成要素は、回路（または集積回路）でもよい。これらの回路は、全体として１つの回路を構成してもよいし、それぞれ別々の回路でもよい。また、これらの回路は、それぞれ、汎用的な回路でもよいし、専用の回路でもよい。

【0142】

また、本発明の全般的または具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよい。また、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。

【0143】

例えば、本発明は、コミュニケーション解析システムなどのコンピュータが実行するコミュニケーション解析方法として実現されてもよいし、このようなコミュニケーション解析方法をコンピュータに実行させるためのプログラムとして実現されてもよいし、このようなプログラムが記録されたコンピュータ読み取り可能な非一時的な記録媒体として実現されてもよい。

【0144】

その他、各実施の形態に対して当業者が思いつく各種変形を施して得られる形態、または、本発明の趣旨を逸脱しない範囲で各実施の形態における構成要素及び機能を任意に組み合わせることで実現される形態も本発明に含まれる。

【符号の説明】

【0145】

１０、１０ａ コミュニケーション解析システム
２０ 収音装置
３０ 撮影装置
４４ 音声取得部
４５ 映像取得部
４６ 特定部
４７ 可視化部
４８ 算出部
４９ 制御部
７０ 空間

【図1】

【図2】

【図3】

【図4】

【図5A】

【図5B】

【図6A】

【図6B】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】