(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2024-04-02
(45)【発行日】2024-04-10
(54)【発明の名称】コミュニケーション可視化システム
(51)【国際特許分類】
H04N 7/15 20060101AFI20240403BHJP
【ＦＩ】
H04N7/15
【請求項の数】
6
(21)【出願番号】P 2023555848
(86)(22)【出願日】2022-12-27
(86)【国際出願番号】 JP2022048311
【審査請求日】2023-12-19
【早期審査対象出願】
(73)【特許権者】
【識別番号】520408744
【氏名又は名称】株式会社Ｉ’ｍｂｅｓｉｄｅｙｏｕ
(74)【代理人】
【識別番号】110002790
【氏名又は名称】Ｏｎｅ ｉｐ弁理士法人
(72)【発明者】
【氏名】神谷 渉三
【審査官】鈴木 隆夫
(56)【参考文献】
【文献】国際公開第２０２２／２３０１５６（ＷＯ，Ａ１）
【文献】特開２００４－３０４７１９（ＪＰ，Ａ）
【文献】特開２０１７－２１５９４３（ＪＰ，Ａ）
【文献】国際公開第２０１６／１５８２６７（ＷＯ，Ａ１）
【文献】米国特許出願公開第２０１８／０１６７２９０（ＵＳ，Ａ１）
【文献】特開２０２２－１２４６３２（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ７／１４－７／１７３
Ｈ０４Ｎ ２１／００－２１／８５８
(57)【特許請求の範囲】
【請求項1】
複数のユーザの夫々について、オンラインセッション中に前記ユーザを撮影することによって得られる動画像を取得する動画像取得部と、前記動画像取得部により取得された動画像に基づいて、複数の前記ユーザ間のコミュニケーションを解析する解析部と、
前記解析の結果を表示する表示部とを有するコミュニケーション可視化サーバにおいて、
前記表示部は、前記ユーザを示すユーザアイコンと、前記ユーザ同士のコミュニケーションに応じて当該ユーザアイコン同士を連結するコネクタを表示し、複数の前記ユーザの中において、コミュニケーションの相手が所定数以下の前記ユーザの比率を算出して表示する、
コミュニケーション可視化システム。
【請求項2】
複数のユーザの夫々について、オンラインセッション中に前記ユーザを撮影することによって得られる動画像を取得する動画像取得部と、前記動画像取得部により取得された動画像に基づいて、複数の前記ユーザ間のコミュニケーションを解析する解析部と、
前記解析の結果を表示する表示部と、
前記ユーザ間におけるコミュニケーションの順序に応じてコミュニケーションの負荷を算出するコミュニケーション負荷算出部と、を有するコミュニケーション可視化サーバにおいて、
前記表示部は、前記ユーザを示すユーザアイコンと、前記ユーザ同士のコミュニケーションに応じて当該ユーザアイコン同士を連結するコネクタを表示し、算出された前記コミュニケーションの負荷を表示する、
コミュニケーション可視化システム。
【請求項3】
複数のユーザの夫々について、オンラインセッション中に前記ユーザを撮影することによって得られる動画像を取得する動画像取得部と、前記動画像取得部により取得された動画像に基づいて、複数の前記ユーザ間のコミュニケーションを解析する解析部と、
前記解析の結果を表示する表示部と、
前記ユーザ間におけるコミュニケーションの量の偏りに応じてコミュニケーションの負荷を算出するコミュニケーション負荷算出部と、を有するコミュニケーション可視化サーバにおいて、
前記表示部は、前記ユーザを示すユーザアイコンと、前記ユーザ同士のコミュニケーションに応じて当該ユーザアイコン同士を連結するコネクタを表示し、算出された前記コミュニケーションの負荷を表示する、
コミュニケーション可視化システム。
【請求項4】
請求項１ないし３のいずれか１項に記載のコミュニケーション可視化システムであって、前記表示部は、前記ユーザアイコンが選択された場合に当該ユーザアイコンに連結される前記コネクタが判別可能となるように表示する、
コミュニケーション可視化システム。
【請求項5】
請求項１ないし３のいずれか１項に記載のコミュニケーション可視化システムであって、前記表示部は、前記ユーザアイコンが選択された場合に当該ユーザアイコンに対応する前記ユーザのコミュニケーションに関する統計情報を表示する、
コミュニケーション可視化システム。
【請求項6】
請求項１ないし３のいずれか１項に記載のコミュニケーション可視化システムであって、複数の前記ユーザは、それぞれ所定のグループに関連付けられており、
前記表示部は、当該グループを示すグループアイコンと、前記グループに所属する前記ユーザ同士のコミュニケーションに応じて当該グループアイコン同士を連結するコネクタを表示する、
コミュニケーション可視化システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、複数人の参加者でオンラインセッションが行われる環境において、オンラインセッション中に参加者が画面に表示されているか否かによらず、参加者を撮影することによって得られる動画像をもとに参加者の反応を解析するコミュニケーション可視化システムに関する。
【背景技術】
【0002】
発言者の発言に対して他者が受ける感情を解析する技術が知られている（例えば、特許文献１参照）。また、対象者の表情の変化を長期間にわたり時系列的に解析し、その間に抱いた感情を推定する技術も知られている（例えば、特許文献２参照）。さらに、感情の変化に最も影響を与えた要素を特定する技術も知られている（例えば、特許文献３～５参照）。さらにまた、対象者の普段の表情と現在の表情とを比較して、表情が暗い場合にアラートを発する技術も知られている（例えば、特許文献６参照）。また、対象者の平常時（無表情時）の表情と現在の表情とを比較して、対象者の感情の度合いを判定するようにした技術も知られている（例えば、特許文献７～９参照）。更に、また、組織としての感情や、個人が感じるグループ内の雰囲気を分析する技術も知られている（例えば、特許文献１０、１１参照）。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１９－５８６２５号公報
【文献】特開２０１６－１４９０６３号公報
【文献】特開２０２０－８６５５９号公報
【文献】特開２０００－７６４２１号公報
【文献】特開２０１７－２０１４９９号公報
【文献】特開２０１８－１１２８３１号公報
【文献】特開２０１１－１５４６６５号公報
【文献】特開２０１２－８９４９号公報
【文献】特開２０１３－３００号公報
【文献】特開２０１１－１８６５２１号公報
【文献】ＷＯ１５／１７４４２６号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
上述したすべての技術は、現実空間におけるコミュニケーションが主である状況におけるサブ的な機能にすぎない。即ち、昨今の業務のＤＸ（Ｄｉｇｉｔａｌ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ）化や、世界的な感染症の流行等を受け、業務や授業等のコミュニケーションがオンラインで行われることが主とされる状況に生まれたものではない。
【0005】
本発明は、会議や講義等、オンラインコミュニケーションが主となる状況において、より効率的なコミュニケーションを行うために、これらのコミュニケーションを可視化することを目的とする。
【課題を解決するための手段】
【0006】
本発明のコミュニケーション可視化システムは、複数のユーザの夫々について、オンラインセッション中に前記ユーザを撮影することによって得られる動画像を取得する動画像取得部と、前記動画像取得部により取得された動画像に基づいて、複数の前記ユーザ間のコミュニケーションを解析する解析部と、前記解析の結果を表示する表示部とを有するコミュニケーション可視化サーバにおいて、前記表示部は、前記ユーザを示すユーザアイコンと、前記ユーザ同士のコミュニケーションに応じて当該ユーザアイコン同士を連結するコネクタを表示する。
【発明の効果】
【0007】
本開示によれば、会議や講義等、オンラインコミュニケーションが主となる状況において、より効率的なコミュニケーションを行うために、これらのコミュニケーションを可視化することができる。
【図面の簡単な説明】
【0008】
【図1】本発明の実施の形態によるシステム全体図を示す図である。
【図2】本実施形態による構成例を示すブロック図である。
【図3】本実施形態による構成例を示すブロック図である。
【図4】コミュニケーション図の一例を示す図である。
【図5】コミュニケーション図の一例を示す図である。
【図6】コミュニケーション図の一例を示す図である。
【図7】コミュニケーション図の一例を示す図である。
【図8】コミュニケーション図の一例を示す図である。
【発明を実施するための形態】
【0009】
本開示の実施形態の内容を列記して説明する。本開示は、以下のような構成を備える。
［項目１］＜＜ユーザアイコンとコネクタ 図4関連＞＞
複数のユーザの夫々について、オンラインセッション中に前記ユーザを撮影することによって得られる動画像を取得する動画像取得部と、
前記動画像取得部により取得された動画像に基づいて、複数の前記ユーザ間のコミュニケーションを解析する解析部と、
前記解析の結果を表示する表示部とを有するコミュニケーション可視化サーバにおいて、
前記表示部は、前記ユーザを示すユーザアイコンと、前記ユーザ同士のコミュニケーションに応じて当該ユーザアイコン同士を連結するコネクタを表示する、
コミュニケーション可視化システム。
［項目２］＜＜アイコンが選択されるとコミュニケーションした相手とのコネクタがオレンジになる 図５/図６関連＞＞
項目１に記載のコミュニケーション可視化システムであって、
前記表示部は、前記ユーザアイコンが選択された場合に当該ユーザアイコンに連結される前記コネクタが判別可能となるように表示する、
コミュニケーション可視化システム。
［項目３］＜＜アイコンを選択したら補助的情報を表示する 図７関連＞＞
項目１に記載のコミュニケーション可視化システムであって、
前記表示部は、前記ユーザアイコンが選択された場合に当該ユーザアイコンに対応する前記ユーザのコミュニケーションに関する統計情報を表示する、
コミュニケーション可視化システム。
［項目４］＜＜部署ごとにコネクタを表示＞＞
項目１に記載のコミュニケーション可視化システムであって、
複数の前記ユーザは、それぞれ所定のグループに関連付けられており、
前記表示部は、当該グループを示すグループアイコンと、前記グループに所属する前記ユーザ同士のコミュニケーションに応じて当該グループアイコン同士を連結するコネクタを表示する、
コミュニケーション可視化システム。
［項目５］＜＜孤独率の算定＞＞
項目１に記載のコミュニケーション可視化システムであって、
前記表示部は、複数の前記ユーザの中において、コミュニケーションの相手が所定数以下の前記ユーザの比率を算出して表示する、
コミュニケーション可視化システム。
［項目６］＜＜コミュニケーション負荷 順序で推定＞＞
項目１に記載のコミュニケーション可視化システムであって、
前記ユーザ間におけるコミュニケーションの順序に応じてコミュニケーションの負荷を算出するコミュニケーション負荷算出部をさらに有しており、
前記表示部は、算出された前記コミュニケーションの負荷を表示する
コミュニケーション可視化システム。
[項目７] ＜＜コミュニケーション負荷 会話量で推定＞＞
項目１に記載のコミュニケーション可視化システムであって、
前記ユーザ間におけるコミュニケーションの量の偏りに応じてコミュニケーションの負荷を算出するコミュニケーション負荷算出部をさらに有しており、
前記表示部は、算出された前記コミュニケーションの負荷を表示する
コミュニケーション可視化システム。
［項目１］＜＜ユーザアイコンとコネクタ 図4関連＞＞
複数のユーザの夫々について、オンラインセッション中に前記ユーザを撮影することによって得られる動画像を取得する動画像取得部と、
前記動画像取得部により取得された動画像に基づいて、複数の前記ユーザ間のコミュニケーションを解析する解析部と、
前記解析の結果を表示する表示部とを有するコミュニケーション可視化サーバにおいて、
前記表示部は、前記ユーザを示すユーザアイコンと、前記ユーザ同士のコミュニケーションに応じて当該ユーザアイコン同士を連結するコネクタを表示する、
コミュニケーション可視化システム。
［項目２］＜＜アイコンが選択されるとコミュニケーションした相手とのコネクタがオレンジになる 図５/図６関連＞＞
項目１に記載のコミュニケーション可視化システムであって、
前記表示部は、前記ユーザアイコンが選択された場合に当該ユーザアイコンに連結される前記コネクタが判別可能となるように表示する、
コミュニケーション可視化システム。
［項目３］＜＜アイコンを選択したら補助的情報を表示する 図７関連＞＞
項目１に記載のコミュニケーション可視化システムであって、
前記表示部は、前記ユーザアイコンが選択された場合に当該ユーザアイコンに対応する前記ユーザのコミュニケーションに関する統計情報を表示する、
コミュニケーション可視化システム。
［項目４］＜＜部署ごとにコネクタを表示＞＞
項目１に記載のコミュニケーション可視化システムであって、
複数の前記ユーザは、それぞれ所定のグループに関連付けられており、
前記表示部は、当該グループを示すグループアイコンと、前記グループに所属する前記ユーザ同士のコミュニケーションに応じて当該グループアイコン同士を連結するコネクタを表示する、
コミュニケーション可視化システム。
［項目５］＜＜孤独率の算定＞＞
項目１に記載のコミュニケーション可視化システムであって、
前記表示部は、複数の前記ユーザの中において、コミュニケーションの相手が所定数以下の前記ユーザの比率を算出して表示する、
コミュニケーション可視化システム。
［項目６］＜＜コミュニケーション負荷 順序で推定＞＞
項目１に記載のコミュニケーション可視化システムであって、
前記ユーザ間におけるコミュニケーションの順序に応じてコミュニケーションの負荷を算出するコミュニケーション負荷算出部をさらに有しており、
前記表示部は、算出された前記コミュニケーションの負荷を表示する
コミュニケーション可視化システム。
[項目７] ＜＜コミュニケーション負荷 会話量で推定＞＞
項目１に記載のコミュニケーション可視化システムであって、
前記ユーザ間におけるコミュニケーションの量の偏りに応じてコミュニケーションの負荷を算出するコミュニケーション負荷算出部をさらに有しており、
前記表示部は、算出された前記コミュニケーションの負荷を表示する
コミュニケーション可視化システム。
【0010】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【0011】
＜基本機能＞
本実施形態のコミュニケーション可視化システムは、複数人でビデオセッション（以下、一方向及び双方向含めてオンラインセッションという）が行われる環境において、当該複数人の中の解析対象者について他者とは異なる特異的な感情（自分または他人の言動に対して起こる気持ち。快・不快またはその程度など）を解析し評価するシステムである。オンラインセッションは、例えばオンライン会議、オンライン授業、オンラインチャットなどであり、複数の場所に設置された端末をインターネットなどの通信ネットワークを介してサーバに接続し、当該サーバを通じて複数の端末間で動画像をやり取りできるようにしたものである。オンラインセッションで扱う動画像には、端末を使用するユーザの顔画像や音声が含まれる。また、動画像には、複数のユーザが共有して閲覧する資料などの画像も含まれる。各端末の画面上に顔画像と資料画像とを切り替えて何れか一方のみを表示させたり、表示領域を分けて顔画像と資料画像とを同時に表示させたりすることが可能である。また、複数人のうち１人の画像を全画面表示させたり、一部または全部のユーザの画像を小画面に分割して表示させたりすることが可能である。端末を使用してオンラインセッションに参加する複数のユーザのうち、何れか１人または複数人を解析対象者として指定することが可能である。例えば、オンラインセッションの主導者、進行者または管理者（以下、まとめて主催者という）が何れかのユーザを解析対象者として指定する。オンラインセッションの主催者は、例えばオンライン授業の講師、オンライン会議の議長やファシリテータ、コーチングを目的としたセッションのコーチなどである。オンラインセッションの主催者は、オンラインセッションに参加する複数のユーザの中の一人であるのが普通であるが、オンラインセッションに参加しない別人であってもよい。なお、解析対象者を指定せず全ての参加者を解析対象としてもよい。また、オンラインセッションの主導者、進行者または管理者（以下、まとめて主催者という）が何れかのユーザを解析対象者として指定することも可能である。オンラインセッションの主催者は、例えばオンライン授業の講師、オンライン会議の議長やファシリテータ、コーチングを目的としたセッションのコーチなどである。オンラインセッションの主催者は、オンラインセッションに参加する複数のユーザの中の一人であるのが普通であるが、オンラインセッションに参加しない別人であってもよい。
本実施形態のコミュニケーション可視化システムは、複数人でビデオセッション（以下、一方向及び双方向含めてオンラインセッションという）が行われる環境において、当該複数人の中の解析対象者について他者とは異なる特異的な感情（自分または他人の言動に対して起こる気持ち。快・不快またはその程度など）を解析し評価するシステムである。オンラインセッションは、例えばオンライン会議、オンライン授業、オンラインチャットなどであり、複数の場所に設置された端末をインターネットなどの通信ネットワークを介してサーバに接続し、当該サーバを通じて複数の端末間で動画像をやり取りできるようにしたものである。オンラインセッションで扱う動画像には、端末を使用するユーザの顔画像や音声が含まれる。また、動画像には、複数のユーザが共有して閲覧する資料などの画像も含まれる。各端末の画面上に顔画像と資料画像とを切り替えて何れか一方のみを表示させたり、表示領域を分けて顔画像と資料画像とを同時に表示させたりすることが可能である。また、複数人のうち１人の画像を全画面表示させたり、一部または全部のユーザの画像を小画面に分割して表示させたりすることが可能である。端末を使用してオンラインセッションに参加する複数のユーザのうち、何れか１人または複数人を解析対象者として指定することが可能である。例えば、オンラインセッションの主導者、進行者または管理者（以下、まとめて主催者という）が何れかのユーザを解析対象者として指定する。オンラインセッションの主催者は、例えばオンライン授業の講師、オンライン会議の議長やファシリテータ、コーチングを目的としたセッションのコーチなどである。オンラインセッションの主催者は、オンラインセッションに参加する複数のユーザの中の一人であるのが普通であるが、オンラインセッションに参加しない別人であってもよい。なお、解析対象者を指定せず全ての参加者を解析対象としてもよい。また、オンラインセッションの主導者、進行者または管理者（以下、まとめて主催者という）が何れかのユーザを解析対象者として指定することも可能である。オンラインセッションの主催者は、例えばオンライン授業の講師、オンライン会議の議長やファシリテータ、コーチングを目的としたセッションのコーチなどである。オンラインセッションの主催者は、オンラインセッションに参加する複数のユーザの中の一人であるのが普通であるが、オンラインセッションに参加しない別人であってもよい。
【0012】
本実施の形態によるコミュニケーション可視化システムは、複数の端末間においてビデオセッションセッションが確立された場合に、当該ビデオセッションから取得される少なくとも動画像を表示される。表示された動画像は、端末によって取得され、動画像内に含まれる少なくとも顔画像を所定のフレーム単位ごとに識別される。その後、識別された顔画像に関する評価値が算出される。当該評価値は必要に応じて共有される。特に、本実施の形態においては、取得した動画像は当該端末に保存され、端末上で分析評価され、その結果が当該端末のユーザに提供される。従って、例えば個人情報を含むビデオセッションや機密情報を含むビデオセッションであっても、その動画自体を外部の評価機関等に提供することなく分析評価できる。また、必要に応じて、当該評価結果（評価値）だけを外部端末に提供することによって、結果を可視化したり、クロス分析等行うことができる。
【0013】
図１に示されるように、本実施の形態によるコミュニケーション可視化システムは、少なくともカメラ部及びマイク部等の入力部と、ディスプレイ等の表示部とスピーカー等の出力部とを有するユーザ端末１０、２０と、ユーザ端末１０、２０に双方向のビデオセッションを提供するビデオセッションサービス端末３０と、ビデオセッションに関する評価の一部を行う評価端末４０とを備えている。
【0014】
＜ハードウェア構成例＞
以下に説明する各機能ブロック、機能単位、機能モジュールは、例えばコンピュータに備えられたハードウェア、ＤＳＰ（Digital Signal Processor）、ソフトウェアの何れによっても構成することが可能である。例えばソフトウェアによって構成する場合、実際にはコンピュータのＣＰＵ、ＲＡＭ、ＲＯＭなどを備えて構成され、ＲＡＭやＲＯＭ、ハードディスクまたは半導体メモリ等の記録媒体に記憶されたプログラムが動作することによって実現される。本明細書において説明するシステム及び端末による一連の処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。本実施形態に係るユーザ端末１０の各機能を実現するためのコンピュータプログラムを作製し、ＰＣ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することが可能である。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
以下に説明する各機能ブロック、機能単位、機能モジュールは、例えばコンピュータに備えられたハードウェア、ＤＳＰ（Digital Signal Processor）、ソフトウェアの何れによっても構成することが可能である。例えばソフトウェアによって構成する場合、実際にはコンピュータのＣＰＵ、ＲＡＭ、ＲＯＭなどを備えて構成され、ＲＡＭやＲＯＭ、ハードディスクまたは半導体メモリ等の記録媒体に記憶されたプログラムが動作することによって実現される。本明細書において説明するシステム及び端末による一連の処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。本実施形態に係るユーザ端末１０の各機能を実現するためのコンピュータプログラムを作製し、ＰＣ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することが可能である。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
【0015】
本実施の形態による評価端末は、ビデオセッションサービス端末から動画像を取得し、当該動画像内に含まれる少なくとも顔画像を所定のフレーム単位ごとに識別すると共に、顔画像に関する評価値を算出する（詳しくは後述する）。
【0016】
＜動画の取得方法＞
図２に示されるように、ビデオセッションサービス端末が提供するビデオセッションサービス（以下、単に「本サービス」と言うことがある」）は、ユーザ端末１０、２０に対して双方向に画像および音声によって通信が可能となるものである。本サービスは、ユーザ端末のディスプレイに相手のユーザ端末のカメラ部で取得した動画像を表示し、相手のユーザ端末のマイク部で取得した音声をスピーカーから出力可能となっている。また、本サービスは双方の又はいずれかのユーザ端末によって、動画像及び音声（これらを合わせて「動画像等」という）を少なくともいずれかのユーザ端末上の記憶部に記録（レコーディング）することが可能に構成されている。記録された動画像情報Ｖｓ（以下「記録情報」という）は、記録を開始したユーザ端末にキャッシュされつついずれかのユーザ端末のローカルのみに記録されることとなる。ユーザは、必要があれば当該記録情報を本サービスの利用の範囲内で自分で視聴、他者に共有等行うこともできる。
図２に示されるように、ビデオセッションサービス端末が提供するビデオセッションサービス（以下、単に「本サービス」と言うことがある」）は、ユーザ端末１０、２０に対して双方向に画像および音声によって通信が可能となるものである。本サービスは、ユーザ端末のディスプレイに相手のユーザ端末のカメラ部で取得した動画像を表示し、相手のユーザ端末のマイク部で取得した音声をスピーカーから出力可能となっている。また、本サービスは双方の又はいずれかのユーザ端末によって、動画像及び音声（これらを合わせて「動画像等」という）を少なくともいずれかのユーザ端末上の記憶部に記録（レコーディング）することが可能に構成されている。記録された動画像情報Ｖｓ（以下「記録情報」という）は、記録を開始したユーザ端末にキャッシュされつついずれかのユーザ端末のローカルのみに記録されることとなる。ユーザは、必要があれば当該記録情報を本サービスの利用の範囲内で自分で視聴、他者に共有等行うこともできる。
【0017】
＜機能構成例１＞
図３は、本実施形態による構成例を示すブロック図である。図３に示すように、本実施形態のコミュニケーション可視化システムは、ユーザ端末１０が有する機能構成として実現される。すなわち、ユーザ端末１０はその機能として、動画像取得部１１、生体反応解析部１２、表示部１３およびコミュニケーション負荷算出部１４を備えている。
図３は、本実施形態による構成例を示すブロック図である。図３に示すように、本実施形態のコミュニケーション可視化システムは、ユーザ端末１０が有する機能構成として実現される。すなわち、ユーザ端末１０はその機能として、動画像取得部１１、生体反応解析部１２、表示部１３およびコミュニケーション負荷算出部１４を備えている。
【0018】
動画像取得部１１は、オンラインセッション中に各端末が備えるカメラにより複数人（複数のユーザ）を撮影することによって得られる動画像を各端末から取得する。各端末から取得する動画像は、各端末の画面上に表示されるように設定されているものか否かは問わない。すなわち、動画像取得部１１は、各端末に表示中の動画像および非表示中の動画像を含めて、動画像を各端末から取得する。
【0019】
生体反応解析部１２は、動画像取得部１１により取得された動画像（画面上に表示中のものか否かは問わない）に基づいて、複数人のそれぞれについて生体反応の変化を解析する。本実施形態において生体反応解析部１２は、動画像取得部１１により取得された動画像に基づいて、複数の前記ユーザ間のコミュニケーション（誰と誰がいつ、どれくらいオンラインで会話していたのか）を解析する解析部であり、動画像取得部１１により取得された動画像を画像のセット（フレーム画像の集まり）と音声とに分離し、それぞれから生体反応の変化を解析する。
【0020】
例えば、生体反応解析部１２は、動画像取得部１１により取得された動画像から分離したフレーム画像を用いてユーザの顔画像を解析することにより、表情、目線、脈拍、顔の動きの少なくとも１つに関する生体反応の変化を解析する。また、生体反応解析部１２は、動画像取得部１１により取得された動画像から分離した音声を解析することにより、ユーザの発言内容、声質の少なくとも１つに関する生体反応の変化を解析する。
【0021】
人は感情が変化すると、それが表情、目線、脈拍、顔の動き、発言内容、声質などの生体反応の変化となって現れる。本実施形態では、ユーザの生体反応の変化を解析することを通じて、ユーザの感情の変化を解析する。本実施形態において解析する感情は、一例として、快／不快の程度である。本実施形態において生体反応解析部１２は、生体反応の変化を所定の基準に従って数値化することにより、生体反応の変化の内容を反映させた生体反応指標値を算出する。
【0022】
表情の変化の解析は、例えば以下のようにして行う。すなわち、フレーム画像ごとに、フレーム画像の中から顔の領域を特定し、事前に機械学習させた画像解析モデルに従って特定した顔の表情を複数に分類する。そして、その分類結果に基づいて、連続するフレーム画像間でポジティブな表情変化が起きているか、ネガティブな表情変化が起きているか、およびどの程度の大きさの表情変化が起きているかを解析し、その解析結果に応じた表情変化指標値を出力する。
【0023】
目線の変化の解析は、例えば以下のようにして行う。すなわち、フレーム画像ごとに、フレーム画像の中から目の領域を特定し、両目の向きを解析することにより、ユーザがどこを見ているかを解析する。例えば、表示中の話者の顔を見ているか、表示中の共有資料を見ているか、画面の外を見ているかなどを解析する。また、目線の動きが大きいか小さいか、動きの頻度が多いか少ないかなどを解析するようにしてもよい。目線の変化はユーザの集中度にも関連する。生体反応解析部１２は、目線の変化の解析結果に応じた目線変化指標値を出力する。
【0024】
脈拍の変化の解析は、例えば以下のようにして行う。すなわち、フレーム画像ごとに、フレーム画像の中から顔の領域を特定する。そして、顔の色情報（ＲＧＢのＧ）の数値を捉える学習済みの画像解析モデルを用いて、顔表面のＧ色の変化を解析する。その結果を時間軸に合わせて並べることによって色情報の変化を表した波形を形成し、この波形から脈拍を特定する。人は緊張すると脈拍が速くなり、気持ちが落ち着くと脈拍が遅くなる。生体反応解析部１２は、脈拍の変化の解析結果に応じた脈拍変化指標値を出力する。
【0025】
顔の動きの変化の解析は、例えば以下のようにして行う。すなわち、フレーム画像ごとに、フレーム画像の中から顔の領域を特定し、顔の向きを解析することにより、ユーザがどこを見ているかを解析する。例えば、表示中の話者の顔を見ているか、表示中の共有資料を見ているか、画面の外を見ているかなどを解析する。また、顔の動きが大きいか小さいか、動きの頻度が多いか少ないかなどを解析するようにしてもよい。顔の動きと目線の動きとを合わせて解析するようにしてもよい。例えば、表示中の話者の顔をまっすぐ見ているか、上目遣いまたは下目使いに見ているか、斜めから見ているかなどを解析するようにしてもよい。生体反応解析部１２は、顔の向きの変化の解析結果に応じた顔向き変化指標値を出力する。
【0026】
発言内容の解析は、例えば以下のようにして行う。すなわち、生体反応解析部１２は、指定した時間（例えば、３０～１５０秒程度の時間）の音声について公知の音声認識処理を行うことによって音声を文字列に変換し、当該文字列を形態素解析することにより、助詞、冠詞などの会話を表す上で不要なワードを取り除く。そして、残ったワードをベクトル化し、ポジティブな感情変化が起きているか、ネガティブな感情変化が起きているか、およびどの程度の大きさの感情変化が起きているかを解析し、その解析結果に応じた発言内容指標値を出力する。
【0027】
声質の解析は、例えば以下のようにして行う。すなわち、生体反応解析部１２は、指定した時間（例えば、３０～１５０秒程度の時間）の音声について公知の音声解析処理を行うことによって音声の音響的特徴を特定する。そして、その音響的特徴に基づいて、ポジティブな声質変化が起きているか、ネガティブな声質変化が起きているか、およびどの程度の大きさの声質変化が起きているかを解析し、その解析結果に応じた声質変化指標値を出力する。
【0028】
生体反応解析部１２は、以上のようにして算出した表情変化指標値、目線変化指標値、脈拍変化指標値、顔向き変化指標値、発言内容指標値、声質変化指標値の少なくとも１つを用いて生体反応指標値を算出する。例えば、表情変化指標値、目線変化指標値、脈拍変化指標値、顔向き変化指標値、発言内容指標値および声質変化指標値を重み付け計算することにより、生体反応指標値を算出する。
【0029】
表示部１３は、生体反応解析部１２によるコミュニケーションの解析結果を表示する。表示部１３は、コミュニケーションを可視化した画面を表示する。以下では、コミュニケーションを可視化した図をコミュニケーション図という。図４は、コミュニケーション図の一例を示した図である。図示するコミュニケーション図では、各ユーザ間のコミュニケーション量が、各ユーザ間を結ぶ線の太さで表現される。図４に示すように、表示部１３は、ユーザを示すユーザアイコン５０と、ユーザ同士のコミュニケーションに応じて当該ユーザアイコン５０同士を連結するコネクタ５１を表示する。
【0030】
表示部１３は、ユーザアイコンが選択された場合に当該ユーザアイコンに連結されるコネクタが判別可能となるように表示する。例えば、図５に示すように、ユーザＡのユーザアイコンが選択されると、ユーザＡがコミュニケーションした相手ユーザＢ～Ｎの各ユーザアイコンと、ユーザＡのユーザアイコンとを連結するコネクタが例えば発色する。また例えば、図６に示すように、ユーザＧのユーザアイコンが選択されると、ユーザＧがコミュニケーションした相手ユーザＡ、Ｅ、Ｆ、Ｉ、Ｈの各ユーザアイコンと、ユーザＧのユーザアイコンとを連結するコネクタが例えば発色する。
【0031】
表示部１３は、ユーザアイコンが選択された場合に当該ユーザアイコンに対応するユーザのコミュニケーションに関する統計情報を表示する。図７に示すように、ユーザAのユーザアイコンが選択されると、ユーザＡのコミュニケーションに関する統計情報として、「コラボレーション（コミュニケーションした人数）／２２人」、「総会議時間／６時間３６分」が表示される。
【0032】
なお、コミュニケーション図では、図８に示すように、「Sales」及び「Design」等の各部署を、複数のユーザが属する「グループ」としてもよい。複数のユーザはそれぞれ所定のグループに関連付けられている。図８に示すように、各部署間を各ユーザ間のようにコネクタで結んで表示してもよい。すなわち、表示部１３は、図８に示すように、当該グループを示すグループアイコンと、前記グループに所属するユーザ同士のコミュニケーションに応じて当該グループアイコン同士を連結するコネクタを表示する。
【0033】
表示部１３は、複数のユーザの中において、コミュニケーションの相手が所定数以下のユーザの比率（孤独率）を算出して表示することができる。これにより、会話の中心にいるユーザと、会話に入れず孤立した人を可視化できる。
【0034】
本実施の形態によるコミュニケーション可視化システムは、コミュニケーション負荷算出部１４をさらに有している。コミュニケーション負荷算出部１４は、ユーザ間におけるコミュニケーションの順序に応じてコミュニケーションの負荷を算出する。表示部１３は、算出されたコミュニケーションの負荷を表示する。負荷の算出の仕方としては、ユーザＡが発言した後にユーザＢが返事をした場合、ユーザＡからユーザＢに負荷がかかった、と判定してユーザＢに１ポイントなどのように積算していく方式が採用される。
【0035】
なお、コミュニケーション負荷算出部１４は、ユーザ間におけるコミュニケーションの量の偏りに応じてコミュニケーションの負荷を算出するものであってもよい。負荷の算出の仕方としては、ユーザＡの会話量がユーザＢの会話量よりも多かった場合、ユーザＡからユーザＢに負荷がかかったと推定して会話時間に応じたスコアを加算する方式が採用される。
【0036】
本明細書においてフローチャート図を用いて説明した処理は、必ずしも図示された順序で実行されなくてもよい。いくつかの処理ステップは、並列的に実行されてもよい。また、追加的な処理ステップが採用されてもよく、一部の処理ステップが省略されてもよい。
【0037】
以上説明した実施の形態を適宜組み合わせて実施することとしてもよい。また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【符号の説明】
【0038】
１０、２０ ユーザ端末
１１ 動画像取得部
１２ 生体反応解析部
１３ 表示部
５０ ユーザアイコン
５１ コネクタ
１１ 動画像取得部
１２ 生体反応解析部
１３ 表示部
５０ ユーザアイコン
５１ コネクタ
【要約】
【課題】会議や講義等、オンラインコミュニケーションが主となる状況において、より効率的なコミュニケーションを行うために、これらのコミュニケーションを可視化すること。
【解決手段】本開示のコミュニケーション可視化システムは、複数のユーザの夫々について、オンラインセッション中に前記ユーザを撮影することによって得られる動画像を取得する動画像取得部と、前記動画像取得部により取得された動画像に基づいて、複数の前記ユーザ間のコミュニケーションを解析する解析部と、前記解析の結果を表示する表示部とを有するコミュニケーション可視化サーバにおいて、前記表示部は、前記ユーザを示すユーザアイコンと、前記ユーザ同士のコミュニケーションに応じて当該ユーザアイコン同士を連結するコネクタを表示する。
【選択図】図１
【解決手段】本開示のコミュニケーション可視化システムは、複数のユーザの夫々について、オンラインセッション中に前記ユーザを撮影することによって得られる動画像を取得する動画像取得部と、前記動画像取得部により取得された動画像に基づいて、複数の前記ユーザ間のコミュニケーションを解析する解析部と、前記解析の結果を表示する表示部とを有するコミュニケーション可視化サーバにおいて、前記表示部は、前記ユーザを示すユーザアイコンと、前記ユーザ同士のコミュニケーションに応じて当該ユーザアイコン同士を連結するコネクタを表示する。
【選択図】図１
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
