2024-162292 会合支援システム、会合支援方法、及び会合支援プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024162292

(43)【公開日】2024-11-21

(54)【発明の名称】会合支援システム、会合支援方法、及び会合支援プログラム

(51)【国際特許分類】

   G06Q 50/10 20120101AFI20241114BHJP

   G06T 7/20 20170101ALI20241114BHJP

【ＦＩ】

G06Q50/10

G06T7/20 300B

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2023077661

(22)【出願日】2023-05-10

(71)【出願人】

【識別番号】000005049

【氏名又は名称】シャープ株式会社

(74)【代理人】

【識別番号】100167302

【弁理士】

【氏名又は名称】種村 一幸

(74)【代理人】

【識別番号】100135817

【弁理士】

【氏名又は名称】華山 浩伸

(74)【代理人】

【識別番号】100181869

【弁理士】

【氏名又は名称】大久保 雄一

(72)【発明者】

【氏名】太田 雄一

【テーマコード（参考）】

5L049

5L050

5L096

【Ｆターム（参考）】

5L049CC12

5L050CC12

5L096DA02

5L096FA09

5L096HA02

5L096KA04

(57)【要約】

【課題】会合における発言者を支援することにより会合の質を向上させることが可能な会合支援システム、会合支援方法、及び会合支援プログラムを提供する。
【解決手段】会合支援システムは、会合で発言する発言者と前記発言者の発言を聴講する聴講者とを撮像する撮像部により撮像される撮像画像を取得する取得処理部と、前記取得処理部により取得される前記撮像画像に基づいて前記会合の状況を判定する判定処理部と、前記判定処理部により判定される前記会合の状況に応じた支援情報を前記発言者に提示する提示処理部と、を備える。
【選択図】図２

【特許請求の範囲】

【請求項1】

会合で発言する発言者と前記発言者の発言を聴講する聴講者とを撮像する撮像部により撮像される撮像画像を取得する取得処理部と、
前記取得処理部により取得される前記撮像画像に基づいて前記会合の状況を判定する判定処理部と、
前記判定処理部により判定される前記会合の状況に応じた支援情報を前記発言者に提示する提示処理部と、
を備える会合支援システム。

【請求項2】

前記判定処理部は、前記撮像画像に含まれる前記聴講者の顔画像に基づいて前記聴講者の表情及び仕草の少なくともいずれかを認識し、認識結果に基づいて前記会合の状況を判定する、
請求項１に記載の会合支援システム。

【請求項3】

前記判定処理部は、前記認識結果に基づいて前記会合に対する前記聴講者の関心度合いを判定し、前記関心度合いに基づいて前記会合の状況を判定する、
請求項２に記載の会合支援システム。

【請求項4】

前記取得処理部により取得される前記撮像画像を前記発言者の操作端末に表示させ、かつ、前記関心度合いを示す指標を前記顔画像に対応付けて表示させる表示処理部をさらに備える、
請求項３に記載の会合支援システム。

【請求項5】

前記提示処理部は、前記聴講者の前記関心度合いを高める前記支援情報を前記発言者に提示する、
請求項３に記載の会合支援システム。

【請求項6】

前記提示処理部は、前記会合の話題の変更又は前記会合の進行の変更を提案する前記支援情報を前記発言者に提示する、
請求項５に記載の会合支援システム。

【請求項7】

前記取得処理部により取得される前記撮像画像と、前記判定処理部により判定される前記会合の状況とを、前記発言者の操作端末に表示させる表示処理部をさらに備え、
前記提示処理部は、前記支援情報を前記操作端末に表示させる、
請求項１～６のいずれかに記載の会合支援システム。

【請求項8】

会合で発言する発言者と前記発言者の発言を聴講する聴講者とを撮像する撮像部により撮像される撮像画像を取得することと、
前記撮像画像に基づいて前記会合の状況を判定することと、
前記会合の状況に応じた支援情報を前記発言者に提示することと、
を一又は複数のプロセッサーが実行する会合支援方法。

【請求項9】

会合で発言する発言者と前記発言者の発言を聴講する聴講者とを撮像する撮像部により撮像される撮像画像を取得することと、
前記撮像画像に基づいて前記会合の状況を判定することと、
前記会合の状況に応じた支援情報を前記発言者に提示することと、
を一又は複数のプロセッサーに実行させるための会合支援プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、会合で発言する発言者を支援する技術に関する。

【背景技術】

【0002】

従来、会議などの会合の活性度を評価する技術が知られている。例えば、会合参加者の動作又は現象を表す動作情報を個別に算出し、会合参加者間の相関データを算出し、会合参加者間の発話誘発度などの会合参加者間の関係性を考慮して会合活性度を評価する装置が知られている（例えば特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００９－１６３４３１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

例えば、会合において発言者（例えばプレゼンテーションの発表者、会議の司会者、参加者など）が発言する場合において、発言の経験が浅かったり、発言のスキルが低かったりすると、会合の聴講者の集中が途切れたり興味が薄れたりして、会合の質が低下する問題が生じる。

【0005】

本開示の目的は、会合における発言者を支援することにより会合の質を向上させることが可能な会合支援システム、会合支援方法、及び会合支援プログラムを提供することにある。

【課題を解決するための手段】

【0006】

本開示の一の態様に係る会合支援システムは、取得処理部と判定処理部と提示処理部とを備える。前記取得処理部は、会合で発言する発言者と前記発言者の発言を聴講する聴講者とを撮像する撮像部により撮像される撮像画像を取得する。前記判定処理部は、前記取得処理部により取得される前記撮像画像に基づいて前記会合の状況を判定する。前記提示処理部は、前記判定処理部により判定される前記会合の状況に応じた支援情報を前記発言者に提示する。

【0007】

本開示の他の態様に係る会合支援方法は、会合で発言する発言者と前記発言者の発言を聴講する聴講者とを撮像する撮像部により撮像される撮像画像を取得することと、前記撮像画像に基づいて前記会合の状況を判定することと、前記会合の状況に応じた支援情報を前記発言者に提示することと、を一又は複数のプロセッサーが実行する方法である。

【0008】

本開示の他の態様に係る会合支援プログラムは、会合で発言する発言者と前記発言者の発言を聴講する聴講者とを撮像する撮像部により撮像される撮像画像を取得することと、前記撮像画像に基づいて前記会合の状況を判定することと、前記会合の状況に応じた支援情報を前記発言者に提示することと、を一又は複数のプロセッサーに実行させるためのプログラムである。

【発明の効果】

【0009】

本開示によれば、会合における発言者を支援することにより会合の質を向上させることが可能な会合支援システム、会合支援方法、及び会合支援プログラムを提供することができる。

【図面の簡単な説明】

【0010】

【図1】図１は、本開示の実施形態に係る会合支援システムの適用例を示す模式図である。

【図2】図２は、本開示の実施形態に係る会合支援システムの構成を示す機能ブロック図である。

【図3】図３は、本開示の実施形態に係る会合支援システムで利用されるスコア情報の一例を示す図である。

【図4】図４は、本開示の実施形態に係る会合支援システムで利用される支援情報リストの一例を示す図である。

【図5】図５は、本開示の実施形態に係る操作端末に表示される会合支援画面の一例を示す図である。

【図6】図６は、本開示の実施形態に係る操作端末に表示される会合支援画面の画像表示欄の一例を示す図である。

【図7】図７は、本開示の実施形態に係る操作端末に表示される会合支援画面の画像表示欄の一例を示す図である。

【図8】図８は、本開示の実施形態に係る操作端末に表示される会合支援画面の画像表示欄の他の例を示す図である。

【図9】図９は、本開示の実施形態に係る操作端末に表示される会合支援画面の一例を示す図である。

【図10】図１０は、本開示の実施形態に係る会合支援システムで実行される会合支援処理の手順の一例を説明するためのフローチャートである。

【図11】図１１は、本開示の実施形態に係る操作端末に表示される会合支援画面の他の例を示す図である。

【発明を実施するための形態】

【0011】

以下、添付図面を参照しながら、本開示の実施形態について説明する。なお、以下の実施形態は、本開示を具体化した一例であって、本開示の技術的範囲を限定する性格を有さない。

【0012】

本実施形態に係る会合支援システム１０は、会合支援装置１と操作端末２とカメラ３とを備えている。会合支援システム１０は、例えば、発表者が聴講者（聴衆、受講者、参加者など）に対して発表、講義などを行う発表会（プレゼンテーション、セミナー）、複数の参加者が参加する会議（例えばＷｅｂ会議）などの各種の会合に適用される。図１には、会合支援システム１０が、プレゼンテーションの会合に適用される場合の具体例を示している。例えば、会議室Ｒ１において、発表者Ａ（プレゼンター）が複数の聴講者に対して発表を行う。また、発表者Ａは、操作端末２を使用しながら発表を行う。

【0013】

カメラ３は、被写体の画像を撮像してデジタル画像データとして出力するデジタルカメラである。カメラ３は、デジタル画像データをネットワークＮ１を通じて会合支援装置１に送信する通信機能を備えている。カメラ３は、１台であってもよいし、複数台であってもよい。具体的には、カメラ３は、所定の撮像対象のエリア（撮像エリア）を撮像可能な場所に設置され、前記撮像エリアを所定のフレームレートで撮像して、画像データ（フレーム画像）を会合支援装置１に順次送信する。例えば図１に示すように、カメラ３は、会議室Ｒ１において、参加者（発表者Ａ、聴講者）の身体（顔、手など）が撮像可能な位置に設置される。カメラ３は、会議室Ｒ１に予め設置されたカメラであってもよいし、会合支援装置１又は操作端末２に搭載されたカメラであってもよい。

【0014】

図２は、会合支援システム１０の構成を示す機能ブロック図である。会合支援装置１は、ネットワークＮ１を介して操作端末２及びカメラ３とデータ通信可能に接続されている。会合支援システム１０は、カメラ３から取得する撮影画像を画像解析して、各参加者（発表者Ａ、聴講者）の感情、関心度合いなどを推定して会合（プレゼンテーション）の状況を判定し、会合の状況に応じた支援情報を発表者Ａに提示する会合支援処理を実行する。以下、会合支援処理の具体的構成について説明する。

【0015】

なお、本実施形態では、会合支援装置１単体が本開示に係る会合支援システムに相当するが、本開示に係る会合支援システムは、会合支援装置１、操作端末２、及びカメラ３のうち一又は複数の構成要素を含むものであってもよい。例えば、会合支援装置１、操作端末２、及びカメラ３の構成要素が協働して後述する会合支援処理（図１０参照）を分担して実行する場合には、その処理を実行する複数の構成要素を含むシステムを本開示に係る会合支援システムとして捉えることが可能である。また例えば、会合支援装置１及び操作端末２が本開示に係る会合支援システムを構成してもよい。

【0016】

［会合支援装置１］
図２に示すように、会合支援装置１は、制御部１１、記憶部１２、操作表示部１３、通信部１４などを備える。会合支援装置１は、例えばパーソナルコンピュータのような情報処理装置（サーバー装置）であってもよい。また、会合支援装置１は、クラウドサーバーで構成されてもよい。

【0017】

通信部１４は、会合支援装置１を有線又は無線でネットワークＮ１に接続し、ネットワークＮ１を介して操作端末２及びカメラ３などの外部機器との間で所定の通信プロトコルに従ったデータ通信を実行するための通信インターフェースである。前記ネットワークは、例えばＬＡＮ、インターネットなどで構成される。

【0018】

操作表示部１３は、各種の情報を表示する液晶ディスプレイ又は有機ＥＬディスプレイのような表示部と、操作を受け付けるタッチパネル、マウス、又はキーボードなどの操作部とを備えるユーザーインターフェースである。

【0019】

記憶部１２は、各種の情報を記憶するＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、又はフラッシュメモリーなどの不揮発性の記憶部もしくはＳＲＡＭやＤＲＡＭといった揮発性メモリである。記憶部１２には、制御部１１に後述の会合支援処理（図１０参照）を実行させるための会合支援プログラムなどの制御プログラムが記憶されている。例えば、前記会合支援プログラムは、ＣＤ又はＤＶＤなどのコンピュータ読取可能な記録媒体に非一時的に記録されており、会合支援装置１が備えるＣＤドライブ又はＤＶＤドライブなどの読取装置（不図示）で読み取られて記憶部１２に記憶される。なお、前記会合支援プログラムは、クラウドサーバーから配信されて記憶部１２に記憶されてもよい。

【0020】

また、記憶部１２には、会合支援装置１がカメラ３から取得する画像データが記憶される。例えば、記憶部１２には、カメラ３が所定のフレームレートで撮像した画像データ（フレーム画像）が蓄積される。

【0021】

また、記憶部１２には、撮影画像から推定される会合（プレゼンテーション）に対する各参加者の感情、関心度合いなどに対応するスコア（評価値）に関するスコア情報Ｄ１と、会合の状況に対応する支援情報に関する支援情報リストＤ２とが記憶される。

【0022】

図３は、スコア情報Ｄ１の一例である。スコア情報Ｄ１には、人物ＩＤ及びスコアが互いに関連付けられて登録される。人物ＩＤは、会合の参加者（発表者Ａ、聴講者）を識別する識別情報であり、制御部１１によって任意の識別情報が付与される。前記スコアは、会合に対する各参加者の感情、関心度合いなどを示す評価値である。制御部１１は、所定の時間間隔で（例えばフレームごとに）前記スコアを算出してスコア情報Ｄ１に登録する。また、制御部１１は、前記スコアを算出するごとに最小値（最小スコア）、最大値（最大スコア）、平均値（平均スコア）を更新する。制御部１１は、撮影画像から各参加者を特定してトラッキングしながら前記スコアを登録及び更新する。また、制御部１１は、全参加者の平均スコアを算出する。

【0023】

図４は、支援情報リストＤ２の一例である。支援情報リストＤ２には、支援ＩＤ、状況、及び支援情報が互いに関連付けられて登録される。前記支援ＩＤは、支援情報を識別する識別情報である。前記状況は、会合の状況を示す情報である。例えば、前記状況には、前記スコアの変化の状況、聴講者及び発表者の表情、仕草、行動、聴講者の関心度合いなどの状況が含まれる。前記支援情報は、前記状況に対応する情報であり、例えば発表者Ａに対する、発表を支援する情報である。前記状況及び前記支援情報は、ユーザーによる登録操作によって予め支援情報リストＤ２に登録される。詳細は後述するが、制御部１１は、会合支援処理において、算出した前記スコアに基づいて会合の状況を判定すると、支援情報リストＤ２を参照して前記状況に対応する支援情報を取得して、前記支援情報を発表者Ａの操作端末２に通知する。発表者Ａは、前記支援情報を取得することにより適切な行動を実施することが可能になるため、発表の質を向上させることができる。

【0024】

他の実施形態として、画像データ（撮像画像）、スコア情報Ｄ１、及び支援情報リストＤ２の一部又は全部が、会合支援装置１からネットワークＮ１を介してアクセス可能な他のサーバーに記憶されてもよい。この場合、会合支援装置１の制御部１１は、前記他のサーバーから前記情報を取得して、後述の会合支援処理（図１０参照）などの各処理を実行してもよい。

【0025】

制御部１１は、ＣＰＵ、ＲＯＭ、及びＲＡＭなどの制御機器を有する。前記ＣＰＵは、各種の演算処理を実行するプロセッサーである。前記ＲＯＭは、前記ＣＰＵに各種の演算処理を実行させるためのＢＩＯＳ及びＯＳなどの制御プログラムが予め記憶される不揮発性の記憶部である。前記ＲＡＭは、各種の情報を記憶する揮発性又は不揮発性の記憶部であり、前記ＣＰＵが実行する各種の処理の一時記憶メモリー（作業領域）として使用される。そして、制御部１１は、前記ＲＯＭ又は記憶部１２に予め記憶された各種の制御プログラムを前記ＣＰＵで実行することにより会合支援装置１を制御する。

【0026】

具体的には、図２に示すように、制御部１１は、取得処理部１１１、判定処理部１１２、表示処理部１１３、提示処理部１１４などの各種の処理部を含む。なお、制御部１１は、前記ＣＰＵで前記会合支援プログラムに従った各種の処理を実行することによって各処理部として機能する。また、制御部１１に含まれる一部又は全部の処理部が電子回路で構成されていてもよい。なお、前記会合支援プログラムは、複数のプロセッサーを前記各種の処理部として機能させるためのプログラムであってもよい。

【0027】

取得処理部１１１は、カメラ３から、カメラ３が撮像した撮像画像の画像データを取得する。具体的には、取得処理部１１１は、カメラ３から所定の撮像エリアの撮像画像をフレームごとに順次取得する。取得処理部１１１は、取得した撮像画像を記憶部１２に登録する。図１に示す例では、取得処理部１１１は、会議室Ｒ１で実施される会合（プレゼンテーション）において、発表者Ａ及び聴講者を撮像した撮像画像をカメラ３から取得する。取得処理部１１１は、本開示の取得処理部の一例である。

【0028】

判定処理部１１２は、取得処理部１１１により取得される前記撮像画像に基づいて会合の状況を判定する。具体的には、判定処理部１１２は、前記撮像画像に含まれる聴講者の顔画像に基づいて前記聴講者の表情及び仕草の少なくともいずれかを認識し、認識結果に基づいて会合の状況を判定する。また、判定処理部１１２は、前記認識結果に基づいて会合に対する聴講者の関心度合いを判定し、前記関心度合いに基づいて会合の状況を判定する。

【0029】

例えば、判定処理部１１２は、前記撮像画像に含まれる人物の顔画像において顔の各部位の特徴点を抽出して特徴点の動きに基づいて当該人物の表情、仕草を認識し、認識した表情、仕草に基づいて当該人物の感情（怒り、嫌悪、悲しみ、軽蔑、驚き、恐怖など）を推定する。なお、人物の顔画像に基づいて当該人物の感情を推定する技術は周知技術であり、判定処理部１１２は、当該周知技術を用いて会合の参加者（発表者Ａ、聴講者）の感情を推定してもよい。

【0030】

判定処理部１１２は、参加者について判定した表情、仕草、及び感情に基づいて、会合に対する当該参加者の感情、関心度合いなどに対応するスコア（評価値）を算出する。例えば、判定処理部１１２は、予め設定された複数の仕草のそれぞれについて、聴講者の仕草が合致する可能性（確率）を算出し、各仕草の確率について所定の重み（係数）を乗算して当該聴講者のスコアを算出する。例えば、判定処理部１１２は、予め設定された仕草１～５のそれぞれについて、学習済みモデルを利用して、聴講者の仕草が合致する各仕草の確率として、「仕草１：５％」、「仕草２：１０％」、「仕草３：７０％」、「仕草４：１５％」、「仕草５：０％」を算出する。そして、判定処理部１１２は、各確率に所定の重み（例えば、「仕草１：－０．７」、「仕草２：０．５」、「仕草３：－０．２」、「仕草４：１」、「仕草５：０．３」）を乗算し、乗算した各結果を合計した値（５％×（－０．７）＋１０％×０．５＋７０％×（－０．２）＋１５％×１）を当該聴講者のスコアとして算出する。

【0031】

判定処理部１１２は、例えばある聴講者について、「喜び」に対応する仕草が１００％であって、他の感情に対応する仕草が０％である場合に、スコアを「１００」として算出する。

【0032】

判定処理部１１２は、参加者ごとに前記スコアを算出してスコア情報Ｄ１（図３参照）に登録する。また、判定処理部１１２は、撮像画像を取得するごとに前記スコアを算出してスコア情報Ｄ１に登録する。また、判定処理部１１２は、参加者全員の前記スコアの平均値を算出してスコア情報Ｄ１に登録する。

【0033】

他の実施形態として、判定処理部１１２は、参加者に関する参加者情報に応じた優先度を設定し、優先度に応じた重みを利用して参加者全員の前記スコアの平均値を算出してもよい。前記参加者情報には、例えば、発表者Ａから聴講者までの距離、会議室Ｒ１の着席位置（前列、中列、後列など）、聴講者の発言頻度、聴講者の地位（役職、資格など）などの情報が含まれる。例えば、会合において発言が多い聴講者は発言が少ない聴講者よりもスコアが高くなり、前列に着席する聴講者は後列に着席する聴講者よりもスコアが高くなる。判定処理部１１２は、各参加者のスコアに優先度に応じた重みを付加して参加者全体の平均スコアを算出する。

【0034】

判定処理部１１２は、上記のようにして算出したスコア（各参加者のスコア、全体のスコア）に基づいて会合の状況を判定する。例えば、判定処理部１１２は、前記スコアに基づいて、支援情報リストＤ２（図４参照）に登録されている「状況」のうち合致する「状況」を特定する。判定処理部１１２は、本開示の判定処理部の一例である。

【0035】

表示処理部１１３は、各種の情報を操作端末２に表示させる。具体的には、表示処理部１１３は、取得処理部１１１により取得される前記撮像画像を発表者Ａの操作端末２に表示させる。図５には、操作端末２の表示画面の一例を示している。例えば会合が開始されると、表示処理部１１３は、発表者Ａの操作端末２に会合支援画面Ｐ１を表示させる。会合支援画面Ｐ１には、発表用の資料を表示する資料表示欄Ｋ１と、会議室Ｒ１の様子（ライブ映像）を表示する画像表示欄Ｋ２と、支援情報を表示する支援表示欄Ｋ３とが含まれる。表示処理部１１３は、資料表示欄Ｋ１に資料を表示させ、発表者Ａの操作に応じて資料のページを切り替える。なお、会議室Ｒ１に聴講者向けのディスプレイが設置される場合には、表示処理部１１３は、操作端末２とディスプレイとを画面共有させて、資料表示欄Ｋ１の表示内容をディスプレイに表示させてもよい。

【0036】

また、表示処理部１１３は、カメラ３による撮像画像を画像表示欄Ｋ２に表示させる。表示処理部１１３は、所定のフレームレートで表示画像を切り替える。また、表示処理部１１３は、画像表示欄Ｋ２において、聴講者の関心度合いを示す指標を顔画像に対応付けて表示させる。例えば、表示処理部１１３は、判定処理部１１２が判定した聴講者の表情、仕草、及び感情を表す顔アイコン画像ｆ１を、ライブ映像の顔画像に対応付けて表示させる。顔アイコン画像ｆ１は、本開示の指標の一例である。

【0037】

例えば、表示処理部１１３は、図６に示すライブ映像において、各聴講者の顔画像に重なるように、顔アイコン画像ｆ１を表示させる（図７参照）。なお、表示処理部１１３は、顔アイコン画像ｆ１を顔画像に並べて表示させてもよい。また、表示処理部１１３は、ライブ映像の画面において、顔アイコン画像ｆ１を表示させる表示モード（図７参照）と、顔アイコン画像ｆ１を表示させない表示モード（図６参照）とを、発表者Ａの操作に応じて切り替えてもよい。

【0038】

顔アイコン画像ｆ１を表示させる構成によれば、発表者Ａは、各聴講者の感情を確認することができるため会合の状況を把握することができる。

【0039】

他の実施形態として、表示処理部１１３は、図８に示すように、顔アイコン画像ｆ１に代えて、判定処理部１１２が算出したスコアを示すスコア画像ｆ２を表示させてもよい。この構成によれば、発表者Ａは、各聴講者の関心度合いを数値で把握できるため会合の状況をより正確に把握することができる。なお、表示処理部１１３は、スコア画像ｆ２に代えて、スコアのテキスト情報を表示させてもよい。また、表示処理部１１３は、ライブ映像の画面において、顔アイコン画像ｆ１を表示させる表示モード（図７参照）と、スコア画像ｆ２を表示させる表示モード（図８参照）とを、発表者Ａの操作に応じて切り替えてもよい。スコア画像ｆ２及びスコアのテキスト情報は、本開示の指標の一例である。

【0040】

また他の実施形態として、表示処理部１１３は、顔アイコン画像ｆ１及びスコア画像ｆ２を、スコアに応じた色で表示させてもよい。例えば表示処理部１１３は、聴講者ごとに、スコアが所定値以上の場合に顔アイコン画像ｆ１の背景、スコア画像ｆ２の数値を青色で表示させ、スコアが所定値未満の場合に顔アイコン画像ｆ１の背景、スコア画像ｆ２の数値を赤色で表示させる。また、表示処理部１１３は、参加者全体のスコアが所定値以上の場合に全ての聴講者の顔アイコン画像ｆ１の背景、スコア画像ｆ２の数値を青色で表示させ、参加者全体のスコアが所定値未満の場合に全ての聴講者の顔アイコン画像ｆ１の背景、スコア画像ｆ２の数値を赤色で表示させる。表示処理部１１３は、本開示の表示処理部の一例である。

【0041】

提示処理部１１４は、判定処理部により判定される会合の状況に応じた支援情報を発表者Ａに提示する。具体的には、提示処理部１１４は、聴講者の関心度合いを高める支援情報、すなわち発表者Ａの発表をサポートする支援情報を発表者Ａに提示する。また、提示処理部１１４は、会合の話題の変更又は会合の進行の変更を提案する支援情報を発表者Ａに提示する。

【0042】

例えば、提示処理部１１４は、支援情報リストＤ２（図４参照）を参照して、判定処理部１１２が特定した「状況」に対応する支援情報を取得し、前記支援情報を発表者Ａの操作端末２に表示される会合支援画面Ｐ１の支援表示欄Ｋ３に表示させる（図９参照）。例えば、判定処理部１１２が各参加者のスコアに基づいて会合の状況が「全体スコアが下降」の状況であると判定した場合に、提示処理部１１４は、当該状況に対応する支援情報（支援ＩＤ「１００１」）を発表者Ａの操作端末２の支援表示欄Ｋ３に表示させる（図９参照）。また、提示処理部１１４は、予め登録された複数の発表テーマのうち前記会合の状況に応じた発表テーマ（話題）を特定し、特定した発表テーマの情報を発表者Ａに提示してもよい。これにより、発表者Ａは、操作端末２に表示される支援情報を確認すると、例えば発表のテーマを変更するなど話題を変える行動を取ることによって、現在の状況を改善することができる。

【0043】

なお、提示処理部１１４は、例えば会合が終了した後に、会合全体における平均スコアを算出し、平均スコアに応じた評価情報（総評、点数など）を発表者Ａに提示してもよい。また、提示処理部１１４は、会合が終了した後に、会合の単位時間（例えば２０分）ごとの平均スコアを算出し、平均スコアに応じた評価情報を発表者Ａに提示してもよい。また、提示処理部１１４は、会合が終了した後に、発表したテーマごとの平均スコアを算出し、平均スコアに応じた評価情報を発表者Ａに提示してもよい。また、提示処理部１１４は、会合が終了した後に、聴講者ごとのスコアの変化の傾向を算出し、傾向に応じた評価情報を発表者Ａに提示してもよい。

【0044】

また、提示処理部１１４は、今回の会合と過去（例えば前回）の会合とを比較した評価情報を発表者Ａに提示してもよい。さらに、提示処理部１１４は、過去の評価情報（スコア履歴、評価履歴など）に基づいて、次回の会合に対応する支援情報を発表者Ａに提示してもよい。提示処理部１１４は、本開示の提示処理部の一例である。

【0045】

［操作端末２］
図２に示すように、操作端末２は、制御部２１、記憶部２２、操作表示部２３、及び通信部２４などを備える。操作端末２は、例えばパーソナルコンピュータ、タブレット端末、スマートフォン、携帯電話のような情報処理装置である。

【0046】

通信部２４は、操作端末２を有線又は無線でネットワークＮ１に接続し、ネットワークＮ１を介して会合支援装置１及びカメラ３などの外部機器との間で所定の通信プロトコルに従ったデータ通信を実行するための通信インターフェースである。

【0047】

操作表示部２３は、各種のウェブページなどの情報を表示する液晶ディスプレイ又は有機ＥＬディスプレイのような表示部と、操作を受け付けるマウス、キーボード、又はタッチパネルのような操作部とを備えるユーザーインターフェースである。

【0048】

記憶部２２は、各種の情報を記憶するＨＤＤ、ＳＳＤ又はフラッシュメモリーなどの不揮発性の記憶部である。例えば、記憶部２２には、ブラウザプログラム等の制御プログラムが記憶される。具体的に、前記ブラウザプログラムは、ＨＴＴＰ（Ｈｙｐｅｒｔｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）などの通信プロトコルに従って会合支援装置１などの外部装置との間で通信処理を制御部２１に実行させるための制御プログラムである。また、前記ブラウザプログラムは、会合支援装置１との間で予め定められた通信プロトコルに従って通信処理を実行するための専用アプリケーションであってもよい。

【0049】

制御部２１は、ＣＰＵ、ＲＯＭ、及びＲＡＭなどの制御機器を有する。前記ＣＰＵは、各種の演算処理を実行するプロセッサーである。前記ＲＯＭは、前記ＣＰＵに各種の処理を実行させるためのＢＩＯＳ及びＯＳなどの制御プログラムが予め記憶された不揮発性の記憶部である。前記ＲＡＭは、各種の情報を記憶する揮発性又は不揮発性の記憶部であり、前記ＣＰＵが実行する各種の処理の一時記憶メモリー（作業領域）として使用される。そして、制御部２１は、前記ＲＯＭ又は記憶部２２に予め記憶された各種の制御プログラムを前記ＣＰＵで実行することにより操作端末２を制御する。

【0050】

具体的に、制御部２１は、記憶部２２に記憶されている前記ブラウザプログラムに従って各種の処理を実行することによりブラウザ処理部として機能する。ブラウザ処理部は、会合支援装置１からネットワークＮ１を介して提供されるウェブページを操作表示部２３に表示させ、操作表示部２３に対する操作を会合支援装置１に入力するブラウザ処理を実行することが可能である。すなわち、操作端末２は、制御部２１によって前記ブラウザプログラムが実行されることにより、会合支援装置１の操作用端末として機能することが可能である。なお、制御部２１に含まれる一部又は全部の処理部は電子回路で構成されていてもよい。

【0051】

例えば、制御部２１は、会合支援装置１から会合支援サービスサイトのウェブページのデータを取得して、操作表示部２３に前記会合支援サービスサイトのウェブページを表示させる。また、操作端末２に会合支援装置１に対応する専用アプリケーション（会合支援アプリケーション）がインストールされている場合には、操作端末２のユーザー（例えば発表者Ａ）が当該専用アプリケーションを起動する操作を行うことにより操作表示部２３に前記ウェブページが表示される。

【0052】

例えば、発表者Ａが会合支援サービスサイトにアクセスして会合を開始する操作を行うと、制御部２１は、会合支援装置１から取得するデータに基づいて、会合支援画面Ｐ１（図５参照）を操作表示部２３に表示させる。また、制御部２１は、会合支援装置１から取得する各種情報に基づいて、ライブ映像（撮像画像）、支援情報などを会合支援画面Ｐ１に表示させる（図５～図９参照）。

【0053】

［会合支援処理］
以下、図１０を参照しつつ、会合支援システム１０において実行される会議支援処理について説明する。具体的に、本実施形態では、会合支援装置１の制御部１１によって会合支援処理が実行される。
なお、本開示は、前記会合支援処理に含まれる一又は複数のステップを実行する会合支援方法（本開示の会合支援方法の一例）として捉えることができ、ここで説明する会合支援処理に含まれる一又は複数のステップが適宜省略されてもよい。なお、前記会合支援処理における各ステップは同様の作用効果を生じる範囲で実行順序が異なってもよい。さらに、ここでは制御部１１が前記会合支援処理における各ステップを実行する場合を例に挙げて説明するが、複数のプロセッサーが当該会合支援処理における各ステップを分散して実行する会合支援方法であってもよい。

【0054】

先ずステップＳ１において、制御部１１は、会合を開始するか否かを判定する。例えば発表者Ａ又は司会者が操作端末２において会合の開始指示を入力すると、制御部１１は、会合を開始する。制御部１１は、会合の開始を契機として以下に示す前記会合支援処理を実行する。制御部１１は、会合を開始すると（Ｓ１：Ｙｅｓ）、処理をステップＳ２に移行させる。制御部１１は、会合を開始するまで待機する（Ｓ１：Ｎｏ）。

【0055】

ステップＳ２において、制御部１１は、カメラ３から撮像画像（フレーム画像）を取得する。制御部１１は、会合開始後の所定時刻におけるフレーム画像を取得する。

【0056】

次にステップＳ３において、制御部１１は、会合の参加者（発表者Ａ、聴講者）について、会合に対する感情、関心度合いなどに対応するスコア（評価値）を算出する。

【0057】

例えば、制御部１１は、予め設定された複数の仕草のそれぞれについて、参加者の仕草が合致する可能性（確率）を算出し、各仕草の確率について所定の重みを乗算して当該参加者のスコアを算出する。例えば、予め５つの仕草１～５が設定されている場合に、制御部１１は、以下の式により各参加者のスコアＥ１を算出する。
Ｅ１＝［（仕草１に合致する可能性（％）×仕草１に対応する重み）＋（仕草２に合致する可能性（％）×仕草２に対応する重み）＋（仕草３に合致する可能性（％）×仕草３に対応する重み）＋（仕草４に合致する可能性（％）×仕草４に対応する重み）＋（仕草５に合致する可能性（％）×仕草５に対応する重み）］

【0058】

また、制御部１１は、各参加者について、先に取得した撮像画像に基づいてスコアを算出済の場合、今回取得した撮像画像に基づいて算出したスコアとの平均値を算出する。また、制御部１１は、各参加者について、複数のスコアのうちの最小値、最大値を算出する。また、制御部１１は、全参加者の平均スコアを算出する。制御部１１は、算出した各スコアをスコア情報Ｄ１（図３参照）に登録する。

【0059】

また、他の実施形態として、制御部１１は、参加者に関する参加者情報に応じた優先度に応じた重みを利用して参加者全員の前記スコアの平均値を算出してもよい。例えば、参加者が３名である場合、制御部１１は、以下の式により平均値Ｅ２を算出する。
Ｅ２＝［（参加者１のスコア×参加者１の優先度）＋（参加者２のスコア×参加者２の優先度）＋（参加者３のスコア×参加者３の優先度）］

【0060】

制御部１１は、算出した各参加者のスコア、参加者全体の平均スコアをスコア情報Ｄ１（図３参照）に登録する。

【0061】

次にステップＳ４において、制御部１１は、会合の状況を判定する。具体的には、制御部１１は、算出したスコア（各参加者のスコア、参加者全体の平均スコア）に基づいて会合の状況を判定する。例えば、制御部１１は、前記スコアに基づいて、支援情報リストＤ２（図４参照）に登録されている「状況」のうち合致する「状況」を特定する。

【0062】

次にステップＳ５において、制御部１１は、会合に対する参加者の関心度合いを示す指標を表示する。具体的には、制御部１１は、発表者Ａの操作端末２に会合支援画面Ｐ１を表示させ、会合支援画面Ｐ１において、資料表示欄Ｋ１に発表用の資料を表示させるとともに、画像表示欄Ｋ２に会議室Ｒ１の様子（ライブ映像）を表示させる（図５参照）。また、制御部１１は、画像表示欄Ｋ２において、聴講者の関心度合いを示す指標を顔画像に対応付けて表示させる。例えば図７に示すように、制御部１１は、判定した聴講者の表情、仕草、及び感情を表す顔アイコン画像ｆ１を、ライブ映像の顔画像に対応付けて表示させる。他の実施形態として、図８に示すように、制御部１１は、算出したスコアを示すスコア画像ｆ２を、ライブ映像の顔画像に対応付けて表示させてもよい。

【0063】

次にステップＳ６において、制御部１１は、会合の状況に対応する支援情報があるか否かを判定する。具体的には、制御部１１は、支援情報リストＤ２（図４参照）を参照して、ステップＳ４で特定した「状況」に対応する支援情報が登録されているか否かを判定する。制御部１１は、前記支援情報が登録されている場合（Ｓ４：Ｙｅｓ）、処理をステップＳ５に移行させる。一方、制御部１１は、前記支援情報が登録されていない場合（Ｓ４：Ｎｏ）、処理をステップＳ８に移行させる。

【0064】

ステップＳ７において、制御部１１は、前記支援情報を発表者Ａに提示する。具体的には、制御部１１は、前記支援情報を発表者Ａの操作端末２に表示される会合支援画面Ｐ１の支援表示欄Ｋ３に表示させる（図９参照）。

【0065】

ステップＳ８において、制御部１１は、会合を終了するか否かを判定する。例えば発表者Ａ又は司会者が操作端末２において会合の終了指示を入力すると、制御部１１は、会合を終了する。制御部１１は、会合を終了すると前記会合支援処理を終了する（Ｓ８：Ｙｅｓ）。制御部１１は、会合が終了するまで上述の処理を繰り返し実行する（Ｓ８：Ｎｏ）。制御部１１は、会合中、撮像画像を取得するごとに、スコアを算出して会合の状況を判定し、会合の状況に応じた指標と支援情報とを発表者Ａの操作端末２に表示させる。会合支援装置１は、以上のようにして前記会合支援処理を実行する。

【0066】

［他の実施形態］
上述の実施形態では、会合支援システム１０がプレゼンテーションの会合に適用される例を示したが、会合支援システム１０は、例えば、異なる複数の拠点をネットワークＮ１に接続して会話を行うＷｅｂ会議（オンライン会議）に適用されてもよい。Ｗｅｂ会議では、会議に参加する複数の会議参加者のそれぞれが操作端末２を使用し、会合支援装置１は、Ｗｅｂ会議アプリケーションを実行して、各操作端末２に会合支援画面Ｐ２（図１１参照）を表示させる。また、会合支援装置１は、各操作端末２から、各操作端末２に搭載されたカメラ３により撮像される撮像画像を取得する。

【0067】

また、会合支援装置１の制御部１１は、会議参加者の操作端末２において、図１１に示す会合支援画面Ｐ２を表示させるとともに、会合支援画面Ｐ２の画像表示欄Ｋ２に、各会議参加者の顔画像と、会議に対する会議参加者の感情、関心度合いなどに対応するスコア（評価値）とを表示させる。なお、制御部１１は、スコアに代えて顔アイコン画像ｆ１（図７参照）を各会議参加者の顔画像に対応付けて表示させてもよい。

【0068】

また、制御部１１は、各会議参加者のスコアに基づいて判定した会合（会議）の状況に応じた支援情報を、会合支援画面Ｐ２の支援表示欄Ｋ３に表示させる。図１１に示す例では、会議参加者Ｂ４のスコアが「０」になっているため、制御部１１は、会議参加者Ｂ４が居眠りしていると判断して、支援情報に、会議参加者Ｂ４を起こすかどうかの質問を含めている。この場合に、前記支援情報を取得した会議参加者が「Ｙｅｓ」を選択すると、制御部１１は、会議参加者Ｂ４が所持する通信端末と通信を行い、会議参加者Ｂ４が所持する通信端末を介して会議参加者Ｂ４に対して会議参加者Ｂ４を起こすための報知を行う。一例としては、制御部１１は、会議参加者Ｂ４が所持する通信端末のスピーカーから所定の音を出力させる。また、他の例としては、制御部１１は、会議参加者Ｂ４が所持する通信端末の画面を光らせる。また、さらに他の例としては、会議の進行及び他の会議参加者に影響を与えないように、会議参加者Ｂ４が所持する通信端末に備えられた振動機構により通信端末を振動させる。

【0069】

なお、制御部１１は、会合支援画面Ｐ２において、画像表示欄Ｋ２及び支援表示欄Ｋ３を、所定のユーザーの操作端末２のみに表示させてもよい。例えば、制御部１１は、会議の司会者、進行者、管理者などの操作端末２のみに画像表示欄Ｋ２及び支援表示欄Ｋ３を表示させ、他の会議参加者の会合支援画面Ｐ２には画像表示欄Ｋ２及び支援表示欄Ｋ３を表示させずに資料表示欄Ｋ１のみを表示させる。

【0070】

また、他の実施形態として、制御部１１は、会議参加者の音声を考慮して前記スコアを算出してもよい。例えば、制御部１１は、会議参加者の発言内容（返答内容、質問内容など）を加味して前記スコアを算出する。また、他の実施形態として、制御部１１は、会議の環境を考慮してスコアを算出してもよい。例えば、制御部１１は、会議室の室温、湿度などの環境情報を加味してスコアを算出する。

【0071】

以上説明したように、本開示に係る会合支援システム１０において、会合支援装置１は、会合で発言する発言者（例えば発表者Ａ）と前記発言者の発言を聴講する聴講者とを撮像するカメラ３により撮像される撮像画像を取得し、取得した前記撮像画像に基づいて前記会合の状況を判定し、判定した前記会合の状況に応じた支援情報を前記発言者に提示する。

【0072】

上記構成によれば、会合の発言者は、前記支援情報を取得することにより適切な行動を実施することができる。よって、会合における発言者を支援することにより会合の質を向上させることが可能になる。

【0073】

また、会合支援装置１は、前記撮像画像に含まれる前記聴講者の顔画像に基づいて前記聴講者の表情及び仕草の少なくともいずれかを認識し、認識結果に基づいて前記会合の状況を判定する。また、会合支援装置１は、前記認識結果に基づいて前記会合に対する前記聴講者の関心度合いを判定し、前記関心度合いに基づいて前記会合の状況を判定する。上記構成によれば、聴講者の表情、仕草から会合に対する関心度合いを判定することができるため、会合の状況を正確に把握することができる。

【0074】

また、会合支援装置１は、取得する前記撮像画像を前記発言者の操作端末２に表示させ、かつ、前記関心度合いを示す指標を前記顔画像に対応付けて表示させる。これにより、発言者は、自身の発言に対する聴講者の関心度合いを一見して把握することができる。

【0075】

また、会合支援装置１は、前記聴講者の関心度合いを高める支援情報を前記発言者に提示する。例えば、会合支援装置１は、前記会合の話題の変更又は前記会合の進行の変更を提案する支援情報を前記発言者に提示する。これにより、発言者が支援情報に応じた行動を実施することにより、聴講者の関心度合いを高めることができる。

【0076】

また、会合支援装置１は、取得した前記撮像画像と、判定した前記会合の状況と、前記支援情報とを、前記発言者の操作端末２に表示させる。例えば、会合支援装置１は、同一画面（会合支援画面Ｐ１）に前記撮像画像と前記会合の状況と前記支援情報とを表示させる（図９参照）。

【0077】

［開示の付記］
以下、実施形態から抽出される開示の概要について付記する。なお、以下の付記で説明する各構成及び各処理機能は取捨選択して任意に組み合わせることが可能である。

【0078】

＜付記１＞
会合で発言する発言者と前記発言者の発言を聴講する聴講者とを撮像する撮像部により撮像される撮像画像を取得する取得処理部と、
前記取得処理部により取得される前記撮像画像に基づいて前記会合の状況を判定する判定処理部と、
前記判定処理部により判定される前記会合の状況に応じた支援情報を前記発言者に提示する提示処理部と、
を備える会合支援システム。

【0079】

＜付記２＞
前記判定処理部は、前記撮像画像に含まれる前記聴講者の顔画像に基づいて前記聴講者の表情及び仕草の少なくともいずれかを認識し、認識結果に基づいて前記会合の状況を判定する、
付記１に記載の会合支援システム。

【0080】

＜付記３＞
前記判定処理部は、前記認識結果に基づいて前記会合に対する前記聴講者の関心度合いを判定し、前記関心度合いに基づいて前記会合の状況を判定する、
付記２に記載の会合支援システム。

【0081】

＜付記４＞
前記取得処理部により取得される前記撮像画像を前記発言者の操作端末に表示させ、かつ、前記関心度合いを示す指標を前記顔画像に対応付けて表示させる表示処理部をさらに備える、
付記３に記載の会合支援システム。

【0082】

＜付記５＞
前記提示処理部は、前記聴講者の前記関心度合いを高める前記支援情報を前記発言者に提示する、
付記３又は４に記載の会合支援システム。

【0083】

＜付記６＞
前記提示処理部は、前記会合の話題の変更又は前記会合の進行の変更を提案する前記支援情報を前記発言者に提示する、
付記５に記載の会合支援システム。

【0084】

＜付記７＞
前記取得処理部により取得される前記撮像画像と、前記判定処理部により判定される前記会合の状況とを、前記発言者の操作端末に表示させる表示処理部をさらに備え、
前記提示処理部は、前記支援情報を前記操作端末に表示させる、
付記１～６のいずれかに記載の会合支援システム。

【符号の説明】

【0085】

１ ：会合支援装置
２ ：操作端末
３ ：カメラ
１０ ：会合支援システム
１１ ：制御部
１２ ：記憶部
１３ ：操作表示部
１４ ：通信部
２１ ：制御部
２２ ：記憶部
２３ ：操作表示部
２４ ：通信部
１１１ ：取得処理部
１１２ ：判定処理部
１１３ ：表示処理部
１１４ ：提示処理部
Ｄ１ ：スコア情報
Ｄ２ ：支援情報リスト
Ｐ１ ：会合支援画面
Ｐ２ ：会合支援画面
Ｋ１ ：資料表示欄
Ｋ２ ：画像表示欄
Ｋ３ ：支援表示欄
ｆ１ ：顔アイコン画像
ｆ２ ：スコア画像

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】