IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社日立製作所の特許一覧

<>
  • 特開-会議支援システム及び方法 図1
  • 特開-会議支援システム及び方法 図2
  • 特開-会議支援システム及び方法 図3
  • 特開-会議支援システム及び方法 図4
  • 特開-会議支援システム及び方法 図5
  • 特開-会議支援システム及び方法 図6
  • 特開-会議支援システム及び方法 図7
  • 特開-会議支援システム及び方法 図8
  • 特開-会議支援システム及び方法 図9
  • 特開-会議支援システム及び方法 図10
  • 特開-会議支援システム及び方法 図11
  • 特開-会議支援システム及び方法 図12
  • 特開-会議支援システム及び方法 図13
  • 特開-会議支援システム及び方法 図14
  • 特開-会議支援システム及び方法 図15
  • 特開-会議支援システム及び方法 図16
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023174365
(43)【公開日】2023-12-07
(54)【発明の名称】会議支援システム及び方法
(51)【国際特許分類】
   G06Q 10/10 20230101AFI20231130BHJP
   G06Q 50/10 20120101ALI20231130BHJP
【FI】
G06Q10/10
G06Q50/10
【審査請求】未請求
【請求項の数】10
【出願形態】OL
(21)【出願番号】P 2022087183
(22)【出願日】2022-05-27
(71)【出願人】
【識別番号】000005108
【氏名又は名称】株式会社日立製作所
(74)【代理人】
【識別番号】110002365
【氏名又は名称】弁理士法人サンネクスト国際特許事務所
(72)【発明者】
【氏名】永井 知沙
(72)【発明者】
【氏名】田窪 千咲紀
(72)【発明者】
【氏名】佐々木 真美
(72)【発明者】
【氏名】清水 映理子
(72)【発明者】
【氏名】敦賀 雄大
(72)【発明者】
【氏名】松本 和己
【テーマコード(参考)】
5L049
【Fターム(参考)】
5L049AA11
5L049AA12
5L049CC11
(57)【要約】
【課題】
会議を活性化させて、より生産性の高い会議を行い得るように支援する会議支援システム及び方法を提案する。
【解決手段】
会議の各参加者の行動及び状態に関する情報を取得し、取得した情報に基づいて、各参加者の行動及び状態を分析・判定し、各参加者の行動及び状態の分析・判定結果に基づいて各参加者の個人タイプを判定し、各参加者の個人タイプの判定結果に基づいて、各参加者により構成されるグループのグループタイプを判定し、各参加者の個人タイプの判定結果及びグループのグループタイプの判定結果に基づいて、当該グループを理想のグループタイプに近づけるように、必要な参加者に対する必要な第1のアドバイスを表示するようにした。
【選択図】 図2
【特許請求の範囲】
【請求項1】
会議を支援する会議支援システムであって、
前記会議の各参加者の行動及び状態に関する情報を取得するセンサ群と、
前記センサ群により取得された前記情報に基づいて、各前記参加者の行動及び状態を分析・判定する分析・判定部と、
前記分析・判定部の分析・判定結果に基づいて各前記参加者の個人タイプを判定する個人タイプ判定部と、
前記個人タイプ判定部の判定結果に基づいて、各前記参加者により構成されるグループのグループタイプを判定するグループタイプ判定部と、
前記個人タイプ判定部及び前記グループタイプ判定部の判定結果に基づいて、当該グループを理想のグループタイプに近づけるように、必要な前記参加者に対する必要な第1のアドバイスを表示する表示処理部と
を備えることを特徴とする会議支援システム。
【請求項2】
前記個人タイプ判定部は、
各前記参加者の個人タイプが、会話の口火を切る回数が最も多い第1の個人タイプと、当該参加者の発話後に他の前記参加者の発話音量が最も大きい第2の個人タイプと、発話時間が所定の第1の閾値以上で、かつ発話時間が所定の第2の閾値未満の第3の個人タイプと、第1乃至第3の個人タイプ以外の第4の個人タイプとのうちのいずれであるかをそれぞれ判定する
ことを特徴とする請求項1に記載の会議支援システム。
【請求項3】
前記グループタイプ判定部は、
前記グループのグループタイプが、前記第1の個人タイプの参加者と、前記第2の個人タイプの参加者と、前記第3の個人タイプの参加者とがすべて揃った第1のグループタイプと、前記第1のグループタイプ以外の第2のグループタイプとのうちのいずれのグループタイプであるかを判定する
ことを特徴とする請求項2に記載の会議支援システム。
【請求項4】
前記理想のグループタイプは、前記第1のグループタイプである
ことを特徴とする請求項3に記載の会議支援システム。
【請求項5】
前記表示処理部は、
必要な前記参加者に対する必要な前記第1のアドバイスに加えて、前記グループ全体に対する第2のアドバイスを表示する
ことを特徴とする請求項1に記載の会議支援システム。
【請求項6】
会議を支援する会議支援システムにより実行される会議支援方法であって、
前記会議の各参加者の行動及び状態に関する情報を取得する第1のステップと、
取得した前記情報に基づいて、各前記参加者の行動及び状態を分析・判定する第2のステップと、
各前記参加者の行動及び状態の分析・判定結果に基づいて各前記参加者の個人タイプを判定する第3のステップと、
各前記参加者の個人タイプの判定結果に基づいて、各前記参加者により構成されるグループのグループタイプを判定する第4のステップと、
各前記参加者の個人タイプの判定結果及び前記グループのグループタイプの判定結果に基づいて、当該グループを理想のグループタイプに近づけるように、必要な前記参加者に対する必要な第1のアドバイスを表示する第5のステップと
を備えることを特徴とする会議支援方法。
【請求項7】
前記第3のステップにおいて、前記会議支援システムは、
各前記参加者の個人タイプが、会話の口火を切る回数が最も多い第1の個人タイプと、当該参加者の発話後に他の前記参加者の発話音量が最も大きい第2の個人タイプと、発話時間が所定の第1の閾値以上で、かつ発話時間が所定の第2の閾値未満の第3の個人タイプと、第1乃至第3の個人タイプ以外の第4の個人タイプとのうちのいずれであるかをそれぞれ判定する
ことを特徴とする請求項6に記載の会議支援方法。
【請求項8】
前記第4のステップにおいて、前記会議支援システムは、
前記グループのグループタイプが、前記第1の個人タイプの参加者と、前記第2の個人タイプの参加者と、前記第3の個人タイプの参加者とがすべて揃った第1のグループタイプと、前記第1のグループタイプ以外の第2のグループタイプとのうちのいずれのグループタイプであるかを判定する
ことを特徴とする請求項7に記載の会議支援方法。
【請求項9】
前記理想のグループタイプは、前記第1のグループタイプである
ことを特徴とする請求項8に記載の会議支援方法。
【請求項10】
前記第5のステップにおいて、前記会議支援システムは、
必要な前記参加者に対する必要な前記第1のアドバイスに加えて、前記グループ全体に対する第2のアドバイスを表示する
ことを特徴とする請求項6に記載の会議支援方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は会議支援システム及び方法に関し、会議の活性化を支援する会議支援システムに適用して好適なものである。
【背景技術】
【0002】
会話の状況を把握できるようにするための発明として、例えば特許文献1には、音声信号を処理して会話に参加している参加者の発言をそれぞれ検出すると共に、画像信号を処理して会話に参加している参加者の状態(例えば、見ている方向)をそれぞれ検出し、これらの検出結果に基づいて、会話状態を可視化して表示する発明が開示されている。この発明によれば、参加者の発言だけで会話の状態及び参加者の存在を判定する既存技術に比べて、会話の状態及び参加者の存在を精度良く判定することができるという利点がある。
【0003】
また特許文献2には、会議において複数の話者の少なくとも1人が発話した第1発話時間長に関する全体発話レベルと、各々の話者が発話した複数の第2発話時間長から得られる複数の話者の全体話者バランスとに基づいて複数の話者の会話に対する介入者を決定し、決定した介入者に会話への介入を促す情報を表示する発明が開示されている。この発明によれば話者による会議の生産性の高くない状態から生産性の高い状態に促すことができるという利点がある。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】国際公開第2019/139101号
【特許文献2】特開2021-140569号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、かかる特許文献1に開示された発明によると、より良い会話とするために参加者がどのような行動をとれば良いかを参加者自身で認識することが難しいという問題があった。
【0006】
また特許文献2に開示された発明によると、該当者に対して「会話への介入」を促すために会話が活発化されることは期待できるものの、会議全体の雰囲気については何らの考慮もされていないという問題があった。この場合、会議を活発化するためには、単に参加者全員が同じ程度発話するだけではなく、参加者により構成されるグループの状態を、例えば参加者が発話し易い雰囲気などの理想的な状態とすることも必要であり、このような状態を作り出すことによって、より生産性の高い会議を行い得るものと考えられる。
【0007】
本発明は以上の点を考慮してなされたもので、会議を活性化させて、より生産性の高い会議を行い得るように支援する会議支援システム及び方法を提案しようとするものである。
【課題を解決するための手段】
【0008】
かかる課題を解決するため本発明においては、会議を支援する会議支援システムであって、前記会議の各参加者の行動及び状態に関する情報を取得するセンサ群と、前記センサ群により取得された前記情報に基づいて、各前記参加者の行動及び状態を分析・判定する分析・判定部と、前記分析・判定部の分析・判定結果に基づいて各前記参加者の個人タイプを判定する個人タイプ判定部と、前記個人タイプ判定部の判定結果に基づいて、各前記参加者により構成されるグループのグループタイプを判定するグループタイプ判定部と、前記個人タイプ判定部及び前記グループタイプ判定部の判定結果に基づいて、当該グループを理想のグループタイプに近づけるように、必要な前記参加者に対する必要な第1のアドバイスを表示する表示処理部とを設けるようにした。
【0009】
また本発明においては、会議を支援する会議支援システムにより実行される会議支援方法であって、前記会議の各参加者の行動及び状態に関する情報を取得する第1のステップと、取得した前記情報に基づいて、各前記参加者の行動及び状態を分析・判定する第2のステップと、各前記参加者の行動及び状態の分析・判定結果に基づいて各前記参加者の個人タイプを判定する第3のステップと、各前記参加者の個人タイプの判定結果に基づいて、各前記参加者により構成されるグループのグループタイプを判定する第4のステップと、各前記参加者の個人タイプの判定結果及び前記グループのグループタイプの判定結果に基づいて、当該グループを理想のグループタイプに近づけるように、必要な前記参加者に対する必要な第1のアドバイスを表示する第5のステップとを設けるようにした。
【0010】
本発明の会議支援システム及び方法によれば、グループを理想のグループタイプに近づけることができる。
【発明の効果】
【0011】
本発明によれば、会議を活性化させて、より生産性の高い会議を行い得るように支援する会議支援システム及び方法を実現できる。
【図面の簡単な説明】
【0012】
図1】本実施の形態による会議支援システムの全体構成を示すブロック図である。
図2】本実施の形態による会議支援システムの論理構成を示すブロック図である。
図3】参加者状態管理テーブルの構成例を示す図表である。
図4】第1の分析・判定結果管理テーブルの構成例を示す図表である。
図5】第2の分析・判定結果管理テーブルの構成例を示す図表である。
図6】第3の分析・判定結果管理テーブルの構成例を示す図表である。
図7】評価管理テーブルの構成例を示す図表である。
図8】評価メッセージ管理テーブルの構成例を示す図表である。
図9】アドバイス管理テーブルの構成例を示す図表である。
図10】グループ評価メッセージ管理テーブルの構成例を示す図表である。
図11】リアルタイム分析・判定結果画面の画面構成例を示す図である。
図12】振返り画面の画面構成例を示す図である。
図13】個人タイプ判定処理の処理手順を示すフローチャートである。
図14】個人タイプ判定処理の説明に供する図である。
図15】グループタイプ判定処理の処理手順を示すフローチャートである。
図16】画面表示処理の処理手順を示すフローチャートである。
【発明を実施するための形態】
【0013】
以下図面について、本発明の一実施の形態を詳述する。
【0014】
(1)本実施の形態による会議支援システムの構成
図1において、1は全体として本実施の形態による会議支援システムを示す。この会議支援システム1は、会議に参加している各参加者の行動及び状態に関する情報を計測等により取得するセンサ群2と、センサ群2により取得された情報に基づいて各参加者の行動及び状態を判定し、必要な参加者に対する必要なアドバイスを表示装置3に表示する会議支援装置4とを備えて構成される。
【0015】
センサ群2は、撮像装置5及び集音装置6と、複数の振動センサ7とから構成される。撮像装置5は、例えば360°カメラから構成され、会議の各参加者の表情をそれぞれ撮影するために利用される。ただし撮像装置5を、各参加者の表情を撮影できるように配置された複数のカメラから構成するようにしてもよい。撮像装置5は、撮影により得られた映像信号SG1を会議支援装置4に出力する。
【0016】
また集音装置6は、音源方向を特定可能な例えば複数チャンネルのマイクロホンアレイから構成され、各参加者の音声を集音するために利用される。ただし集音装置6を、各参加者から発せられた音声を集音できるよう配置された複数のマイクロホンから構成するようにしてもよい。集音装置6は、集音した音声に応じた音声信号SG2を会議支援装置4に出力する。
【0017】
振動センサ7は、例えば加速度センサから構成され、各参加者が着席する椅子の座面等にそれぞれ配置される。振動センサ7は、自身が配置された椅子に着席した参加者が頷くことにより生じる振動を検知し、検知した振動に応じた振動信号SG3を会議支援装置4に出力する。
【0018】
会議支援装置4は、CPU(Central Processing Unit)10、メモリ11及び記憶装置12などの情報処理資源と、入力装置13とを備えた汎用のコンピュータ装置から構成される。
【0019】
CPU10は、会議支援装置4全体の動作制御を司るプロセッサである。またメモリ11は、例えば揮発性の半導体メモリから構成され、CPU10のワークメモリとして利用される。記憶装置12は、例えばハードディスク装置やSSD(Solid State Drive)などの不揮発性の大容量の記憶装置から構成され、各種プログラムや長期間保存が必要なデータを保持するために利用される。会議支援装置4の起動時や必要時に必要なプログラムが記憶装置12からメモリ11にロードされ、メモリ11にロードされたプログラムをCPU10が実行することにより、後述のような会議支援装置4全体としての各種処理が実行される。
【0020】
本実施の形態の場合、メモリ11には、記憶装置12からロードされた後述の画像処理プログラム14、音声処理プログラム15、頷き検出プログラム16、分析・判定プログラム17、個人タイプ判定プログラム18、グループタイプ判定プログラム19及び表示処理プログラム20が格納され、記憶装置12には、後述する情報管理データベース21及びメッセージ・アドバイス管理データベース22が格納される。
【0021】
入力装置13は、例えばマウス及びキーボードなどから構成され、進行役の参加者(ファシリテータ)等のいずれかの参加者が会議支援装置4に対する各種の操作入力を行うために利用される。
【0022】
表示装置3は、例えば液晶ディスプレイや有機EL(Electro-Luminescence)ディスプレイなどから構成され、会議支援装置4が図11について後述するリアルタイム分析・判定結果画面50や、図12について後述する振返り画面70を表示するために利用される。
【0023】
図2は、会議支援装置4の論理構成を示す。この図2に示すように、会議支援装置4は、画像処理部30、音声処理部31、頷き検出部32、分析・判定部33、個人タイプ判定部34、グループタイプ判定部35及び表示処理部36を備えて構成される。
【0024】
なお、以下においては、会議室内に設置された各椅子の会議室内の位置と、各椅子にそれぞれ付与されたその椅子に固有の識別子(以下、これを椅子IDと呼ぶ)とが事前に画像処理部30、音声処理部31及び分析・判定部33に与えられているものとする。また以下においては、各椅子の椅子IDを、その椅子に着座する参加者の識別子(以下、これを参加者IDと呼ぶ)として利用するものとする。
【0025】
画像処理部30は、メモリ11にロードされた図1の画像処理プログラム14をCPU10が実行することにより具現化される機能部である。画像処理部30は、撮像装置5から与えられた映像信号SG1に基づいて各参加者の顔の表情を所定の第1の周期(例えば1秒周期)で判定し、いずれかの参加者の笑顔を検出したときに、その参加者の参加者IDを分析・判定部33に通知する。
【0026】
また画像処理部30は、撮像装置5から与えられた映像信号SG1に基づいて各参加者の顔の向きを上述の第1の周期でそれぞれ判定し、いずれかの参加者が他の参加者を目視していると判断した場合にその参加者の参加者IDと、その参加者が目視していた他の参加者の参加者IDとを分析・判定部33に通知する。
【0027】
音声処理部31は、メモリ11にロードされた図1の音声処理プログラム15をCPU10が実行することにより具現化される機能部である。音声処理部31は、集音装置6から与えられた音声信号SG2に基づいて、いずれかの参加者の発話があった場合におけるその発話を行った参加者の特定と、そのときの音量の計測とを上述の第1の周期で行い、特定結果(その参加者の参加者ID)及び計測結果を分析・判定部33に通知する。
【0028】
頷き検出部32は、メモリ11にロードされた図1の頷き検出プログラム16をCPU10が実行することにより具現化される機能部である。頷き検出部32は、各振動センサ7からそれぞれ与えられる振動信号SG3を上述の第1の周期で分析し、いずれかの参加者が頷いていることを検出した場合に、その参加者の参加者IDを分析・判定部33に通知する。
【0029】
分析・判定部33は、メモリ11にロードされた図1の分析・判定プログラム17をCPU10が実行することにより具現化される機能部である。分析・判定部33は、上述の第1の周期で画像処理部30、音声処理部31及び頷き検出部32からそれぞれ与えられる各通知に基づき得られる各情報を、情報管理データベース21内に設けられた参加者状態管理テーブル40に順次登録して管理する。
【0030】
図3は、かかる参加者状態管理テーブル40の構成例を示す。参加者状態管理テーブル40は、上述の第1の周期で画像処理部30、音声処理部31及び頷き検出部32からそれぞれ与えられた各通知に基づく情報を参加者ごとに分けて保存するために利用されるテーブルであり、参加者ごとにそれぞれ生成される。
【0031】
参加者状態管理テーブル40は、図3に示すように、経過時間欄40A、笑顔欄40B、向き欄40C、発話欄40D、音量欄40E及び頷き欄40Fを備えて構成される。参加者状態管理テーブル40では、1つのレコード(行)が、上述の第1の周期で画像処理部30、音声処理部31及び頷き検出部32からそれぞれ通知されてきた1回分の分析結果に対応する。なお、以下においては、第1の周期で到来し、画像処理部30、音声処理部31及び頷き検出部32が分析・判定を行うタイミングを第1の分析・判定タイミングと呼ぶものとする。
【0032】
そして経過時間欄40Aには、対応する第1の分析・判定タイミングの会議開始からの経過時間が格納される。また笑顔欄40Bには、対応する第1の分析・判定タイミングにおいて対応する参加者の笑顔を画像処理部30が検出したか否かを表すフラグ(以下、これを笑顔フラグと呼ぶ)が格納される。図3の例では、その第1の分析・判定タイミングにおいて、対応する参加者の笑顔が画像処理部30により検出された場合には笑顔フラグが「1」に設定され、検出されなかった場合には笑顔フラグが「0」に設定される。
【0033】
また向き欄40Cには、その第1の分析・判定タイミングにおいて、対応する参加者の顔が他の参加者に向いていた(つまり対応する参加者が他の参加者を目視していた)と画像処理部30が判定した場合に、画像処理部30から通知された当該対応する参加者及び当該他の参加者の各参加者IDが格納される。
【0034】
さらに発話欄40Dには、対応する第1の分析・判定タイミングにおいて対応する参加者の発話を音声処理部31が検出したか否かを表すフラグ(以下、これを発話フラグと呼ぶ)が格納される。図3の例では、その第1の分析・判定タイミングにおいて、対応する参加者の発話を音声処理部31が検出した場合には発話フラグが「1」に設定され、検出していない場合には発話フラグが「0」に設定される。
【0035】
さらに音量欄40Eには、対応する第1の分析・判定タイミングにおいて音声処理部31により計測された対応する参加者の発話音量が格納される。
【0036】
さらに頷き欄40Fには、対応する第1の分析・判定タイミングにおいて対応する参加者が頷いていることを頷き検出部32が検出したか否かを表すフラグ(以下、これを頷きフラグと呼ぶ)が格納される。図3の例では、その第1の分析・判定タイミングにおいて、直前の第1の分析・判定タイミングから今回の第1の分析・判定タイミングまでの期間内に対応する参加者が頷いていたことを頷き検出部32が検出した場合には頷きフラグが「1」に設定され、検出しなかった場合に頷きフラグが「0」に設定される。
【0037】
従って、図3の例の場合、対応する参加者は、例えば会議の開始後「00:00:01」~「00:00:02」の間、笑顔になることも発話することもなく「1」という参加者IDが付与された参加者に顔を向けており、この間に少なくとも1回は頷いたことが示されている。
【0038】
また分析・判定部33は、各参加者の参加者状態管理テーブル40にそれぞれ格納された各情報に基づいて、第1の周期よりも長い第2の周期(例えば1分周期)で各参加者の行動及び状態を分析・判定し、その分析・判定結果を、情報管理データベース内に設けられた第1の分析・判定結果管理テーブル41、第2の分析・判定結果管理テーブル42及び第3の分析・判定結果管理テーブル43に格納して管理する。
【0039】
図4は、かかる第1の分析・判定結果管理テーブル41の構成例を示す。第1の分析・判定結果管理テーブル41は、第2の周期で分析・判定部33が実行した分析・判定処理により得られた各参加者の行動及び状態に関する分析・判定結果を保存するために利用されるテーブルである。第1の分析・判定結果管理テーブル41は、参加者ごとにそれぞれ作成される。
【0040】
この第1の分析・判定結果管理テーブル41は、図4に示すように、経過時間欄41A、笑顔率欄41B、向き欄41C、シンクロ欄41D、会話熱量欄41E、頷き回数欄41F及び盛上り度欄41Gを備えて構成される。第1の分析・判定結果管理テーブル41では、1つのレコード(行)が、上述の第2の周期で分析・判定部33が実行した分析・判定処理により得られた1回分の分析・判定結果に対応する。なお、以下においては、分析・判定部33がかかる第2の周期で分析・判定処理を行うタイミング(第2の周期で到来するタイミング)を第2の分析・判定タイミングと呼ぶ。
【0041】
そして経過時間欄41Aには、対応する第2の分析・判定タイミングの会議開始からの経過時間が格納される。また笑顔率欄41Bには、対応する第2の分析・判定タイミングにおいて、分析・判定部33が次式
【数1】
により算出した笑顔率が格納される。笑顔率は、参加者がどの程度リラックスして会議に臨んでいたかを表す指標であり、例えば(1)式のように直前の第2の分析・判定タイミングから今回の第2の分析・判定タイミングまでの期間における対応する参加者が笑顔であった時間割合として算出される。
【0042】
なお、(1)式における「期間内の時間」は、例えば第2の周期が1分である場合には60秒となる。また「笑顔でいた時間」は、対応する参加者の参加者状態管理テーブル40(図3)から取得する時間であり、例えば第1の周期が1秒である場合には、参加者状態管理テーブル40において、直前の第2の分析・判定タイミングから今回の第2の分析・判定タイミングまでの期間内で値が「1」に設定された笑顔フラグの数として取得することができる。
【0043】
向き欄41Cには、直前の第2の分析・判定タイミングから今回の第2の分析・判定タイミングまでの期間内に対応する参加者が顔を向けていていた(目視していた)と判定された他の参加者の参加者IDが格納される。かかる他の参加者の参加者IDは、対応する参加者の参加者状態管理テーブル40(図3)における直前の第2の分析・判定タイミングから今回の第2の分析・判定タイミングまでの期間内の各向き欄40Cに格納された参加者IDとして取得することができる。
【0044】
シンクロ欄41Dには、対応する参加者が目視していた他の参加者を、その参加者を含めた会議の過半数の参加者が目視している状態(以下、これをシンクロ状態と呼ぶ)であったか否かを表すフラグ(以下、これをシンクロフラグと呼ぶ)が格納される。図4の例では、対応する期間内にシンクロ状態が発生した場合にはシンクロフラグが「1」に設定され、シンクロ状態が発生しなかった場合にはシンクロフラグが「0」に設定される。
【0045】
会話熱量欄41Eには、対応する第2の分析・判定タイミングにおいて、分析・判定部33が次式
【数2】
により算出した会話熱量が格納される。会話熱量は、会議においてその参加者が積極的かつ熱心に発話したか否かを表す指標であり、例えば、参加者状態管理テーブル40(図3)における直前の第2の分析・判定タイミングから今回の第2の分析・判定タイミングまでの期間内の各音量欄40Eに格納されている音量の総和の百分の1として算出される。
【0046】
また頷き回数欄41Fには、直前の第2の分析・判定タイミングから今回の第2の分析・判定タイミングまでの期間にその参加者が頷いた合計回数が格納される。この合計回数は、対応する参加者の参加者状態管理テーブル40(図3)における直前の第2の分析・判定タイミングから今回の第2の分析・判定タイミングまでの期間内の各頷き欄40Fに格納されている頷きフラグのうちの「1」に設定された頷きフラグの総数として算出される。
【0047】
さらに盛上り度欄41Gには、同じレコードの会話熱量欄41Eに格納された会話熱量と、同じレコードの頷き回数欄41Fに格納された頷き回数との合計値が、直前の第2の分析・判定タイミングから今回の第2の分析・判定タイミングまでの期間内におけるその参加者の盛上り度として格納される。
【0048】
一方、第2の分析・判定結果管理テーブル42は、会議開始から現在までの各参加者の発話回数や発話時間などの状態を管理するために利用されるテーブルであり、分析・判定部33により第2の周期で更新される。第2の分析・判定結果管理テーブルは、図5に示すように、参加者ID欄42A、笑顔率欄42B、発話回数欄42C、発話時間欄42D、口火回数欄42E、継続時間欄42F、誘発回数欄42G、総頷き回数欄42H及び盛上り度欄42Iを備えて構成される。第2の分析・判定結果管理テーブル42には、各参加者にそれぞれ対応させたレコード(行)が設けられる。
【0049】
そして参加者ID欄42Aには、そのレコードに対応する参加者の参加者IDが格納され、笑顔率欄42Bには、上述の(1)式を利用して分析・判定部33により算出された、会議開始から現在までの期間における対応する参加者の笑顔率が格納される。
【0050】
また発話回数欄42Cには、会議開始から現在までに対応する参加者が発話を行った総数(以下、これを発話回数と呼ぶ)が格納される。各参加者の発話回数は、その参加者に対応する参加者状態管理テーブル40(図3)の各発話欄40Dにそれぞれ格納された発話フラグのうちの「1」に設定された発話フラグが単独又は連続して存在する時間帯をその参加者が発話した時間帯として抽出し、抽出した時間帯の個数として取得される。
【0051】
さらに発話時間欄42Dには、分析・判定部33により算出されたその発話の平均時間(発話時間)が格納される。発話時間は、上述のように抽出した対応する参加者が発話した時間帯の平均時間として算出される。
【0052】
さらに口火回数欄42Eには、対応する参加者が会議開始から現在までの間に話題の口火を切った回数(以下、これを口火回数と呼ぶ)が格納される。ここでの「口火を切る」とは、ある話題についての議論が行われた場合に最初に発話を行ったことを意味する。通常、会議では、ある話題について1又は複数の参加者が連続的に発話する「議論」が一定時間以上行われ、その後、一定の静寂期間を経て次の話題についての「議論」が開始される。そこで分析・判定部は、各参加者の参加者状態管理テーブル40を参照して、一定時間以上の静寂期間(いずれの参加者も発話を行っていない期間)を順次検出し、静寂期間と静寂期間との間の各参加者の発話を1つの話題に対する「議論」が行われたであろう一連の発話群として抽出し、その発話群の最初に発話した参加者を、その「議論」が行われた話題の口火を切った参加者として特定する。また分析・判定部33は、参加者ごとの口火回数をそれぞれカウントし、カウント結果を口火回数欄42Eに格納する。
【0053】
さらに継続時間欄42Fには、対応する参加者が口火を切った各話題の継続時間の合計値が格納される。個々の話題の継続時間は、上述のようにして抽出したその話題に対応する一連の発話群の持続時間であるため、分析・判定部33は、参加者ごとに、その参加者が口火を切った各話題にそれぞれ対応する一連の発話群を抽出し、抽出したこれら発話群の持続時間の合計値をその参加者が口火を切った話題の合計の継続時間としてその参加者に対応する継続時間欄42Fに格納する。
【0054】
さらに誘発回数欄42Gには、対応する参加者の発話をきっかけとして他の参加者が発話した回数(対応する参加者が他の参加者の発話を誘発する発話を行った回数であり、以下、これを誘発回数と呼ぶ)が格納される。この誘発回数をカウントするため、分析・判定部33は、参加者が発話するごとに、その後の一定期間における他の参加者の発話音量の合計値を算出しており、この合計値が予め設定された閾値以上となったときに、その参加者が他の参加者の発話を誘発したと判断してその回数をカウントアップする。
【0055】
さらに総頷き回数欄42Hには、会議開始から現在までの間に対応する参加者が頷いた回数(総頷き回数)が格納される。この総頷き回数は、その参加者に対応する第1の分析・判定結果管理テーブル41(図4)の各頷き回数欄41Fにそれぞれ格納された頷き回数の合計値として算出される。
【0056】
さらに盛上り度欄42Iには、会議開始から現在までの間における対応する参加者の盛上り度が格納される。この盛上り度は、その参加者に対応する第1の分析・判定結果管理テーブル41の各盛上り度欄41Gにそれぞれ格納された盛上り度の合計値として算出される。
【0057】
他方、第3の分析・判定結果管理テーブル43は、上述の各第2の分析・判定タイミングにおいて分析・判定部33により算出された、今回の会議に出席している全参加者により構成されるグループ全体の第2の分析・判定タイミングごとの頷き率及び会話熱量を保持するためのテーブルである。第3の分析・判定結果管理テーブル43は、図6に示すように、経過時間欄43A、頷き率欄43B及び会話熱量欄43Cを備えて構成される。第3の分析・判定結果管理テーブル43では、1つのレコード(行)が、対応する第2の分析・判定タイミングで算出された分析・判定結果に対応する。
【0058】
そして経過時間欄43Aには、対応する第2の分析・判定タイミングの会議開始からの経過時間が格納され、頷き率欄43Bには、次式
【数3】
により分析・判定部33が算出したグループ全体の頷き率が格納される。なお、(3)式における「期間」は、直前の第2の分析・判定タイミングから今回の第2の分析・判定タイミングまでの期間である。
【0059】
また会話熱量欄43Cには、グループ全体の会話熱量が格納される。この会話熱量は、直前の第2の分析・判定タイミングから今回の第2の分析・判定タイミングまでの間に第1の周期で計測された各参加者の発話音量の総和として算出される。
【0060】
従って、図6の例の場合、例えば「00:01:00」における参加者全体の頷き率は「10」%で、参加者全体の会話熱量が「15」であったことが示されている。
【0061】
一方、分析・判定部33は、入力装置13(図1)を介して図12について後述する振返り画面70を表示すべき旨の指示が入力(正確には、図11について後述するリアルタイム分析・判定結果画面50の振返りボタン54がクリック)されると、上述した第1~第3の分析・判定結果管理テーブル41~43に基づいて、会議開始からその時点(以下、これを評価結果表示画面表示指示時点と呼ぶ)までの期間における会議の状態を評価し、その評価結果に基づいて評価管理テーブル44を生成する。
【0062】
この評価管理テーブル44は、図7に示すように、シンクロ回数欄44A、シンクロ率欄44B、笑顔率欄44C、話題数欄44D、頷き率欄44E及び盛上り度欄44Fを備えて構成される。
【0063】
そしてシンクロ回数欄44Aには、各参加者の第1の分析・判定結果管理テーブル41(図4)のシンクロ欄41Dをそれぞれ参照することにより認識される、会議開始から評価結果表示画面表示指示時点までの時間(以下、これを会議時間と呼ぶ)内でシンクロ状態が発生した回数が格納される。
【0064】
またシンクロ率欄44Bには、
【数4】
により分析・判定部33が算出したシンクロ率が格納される。
【0065】
さらに笑顔率欄44Cには、参加者全体の会議中におけるリラックス度合を表す笑顔率が格納される。この笑顔率は、第2の分析・判定結果管理テーブル42(図5)における各参加者の笑顔率欄42Bにそれぞれ格納された笑顔率の平均値として算出される。
【0066】
さらに話題数欄44Dには、会議開始からこれまでの話題の総数(以下、これを話題数と呼ぶ)が格納される。この話題数は、第2の分析・判定結果管理テーブル42の各口火回数欄42Eにそれぞれ格納されている各参加者の口火回数を合算することにより算出される。さらに頷き率欄44Eには、上述の(3)式における「期間」を会議時間として算出した頷き率が格納される。
【0067】
さらに盛上り度欄44Fには、
【数5】
により算出された会議の盛上り度が格納される。(5)式における「会議時間内の全参加者の音量の総和」は、各参加者の第1の分析・判定結果管理テーブル41(図4)の各会話熱量欄41Eにそれぞれ格納されている第2の分析・判定タイミングごとの会話熱量の合計値を、会議開始から評価結果表示画面表示指示時点までのその参加者の会話熱量としてそれぞれ算出し、算出したこれら参加者ごとの会話熱量の総和として算出することができる。
【0068】
そして分析・判定部33は、上述のようにして評価管理テーブル44を生成すると、その旨を個人タイプ判定部34に通知する。
【0069】
個人タイプ判定部34は、メモリ11(図1)にロードされた図1の個人タイプ判定プログラム18をCPU10(図1)が実行することにより具現化される機能部である。個人タイプ判定部34は、分析・判定部33からかかる通知が与えられると第2の分析・判定結果管理テーブル42(図5)を参照して、参加者ごとにその参加者の個人タイプ「イニシエータタイプ」、「ムードメーカタイプ」、「スマイリータイプ」、「スピーカタイプ」、「イマジネータタイプ」及び「リツイータタイプ」のいずれのタイプであるかを判定する。
【0070】
ここで、「イニシエータタイプ」は、会議の沈黙を破る参加者のタイプであり、口火回数が最も多い1名が該当する。また「ムードメーカタイプ」は、その人の発話の後に会議が盛り上がる参加者のタイプであり、発話後に他の参加者の発話量(発話音量の合計値)が最も多い1名の参加者が該当する。さらに「スマイリータイプ」は、笑顔で会議に参加していた時間が長い参加者のタイプであり、「イニシエータタイプ」及び「ムードメーカ」以外の参加者で、例えば会議時間の半分以上の時間が笑顔であった参加者が該当する。
【0071】
一方、「スピーカタイプ」は、それまでの会議時間全体を通して発話時間が長かった参加者のタイプであり、発話時間が、発話時間について予め設定された所定の閾値(以下、これを発話時間閾値と呼ぶ)よりも長かった参加者が該当する。また「イマジネータタイプ」は、あまり発話をしなかった参加者が該当するタイプであり、発話時間が発話時間閾値未満であり、かつ発話回数が、発話回数について予め設定された所定の閾値(以下、これを発話回数閾値と呼ぶ)未満の参加者が該当する。
【0072】
さらに「リツイータタイプ」は、他の参加者が発話した後に話すことが多く、当該他の参加者の意見に便乗するのが上手い参加者が該当するタイプであり、発話回数が発話回数閾値以上であり、かつ発話時間が発話時間閾値未満の参加者が該当する。
【0073】
個人タイプ判定部34による各参加者の個人タイプの具体的な判定手法については、後述する。そして個人タイプ判定部34は、各参加者の個人タイプを判定し終えると、判定結果をグループタイプ判定部35及び表示処理部36にそれぞれ通知する。
【0074】
グループタイプ判定部35は、メモリ11にロードされた図1のグループタイプ判定プログラム19をCPU10が実行することにより具現化される機能部である。グループタイプ判定部35は、個人タイプ判定部34から各参加者の個人タイプが通知されると、通知された各参加者の個人タイプと、評価管理テーブル44とに基づいて、これらの参加者により構成されるグループが「Highクリエーショングループ」、「Highシンクログループ」、「Highエキサイトグループ」、「Highスマイリーグループ」、「Highシンキンググループ」及び「Highスピーカグループ」のいずれのタイプ(以下、これをグループタイプと呼ぶ)であるかを判定する。
【0075】
ここで、「Highクリエーショングループ」は、参加者によって会議がスムーズに進められると考えられるグループであり、「リツイータタイプ」、「イニシエータタイプ」及び「ムードメーカタイプ」の各参加者が存在するグループがこれに該当する。
【0076】
また「Highシンクログループ」は、複数の参加者(例えば半数以上の参加者)が同じ行動を行っている状態(ここでは、シンクロ状態とする)が多く発生するグループが該当する。さらに「Highエキサイトグループ」は、活発な議論が行われるグループが該当し、「Highスマイリーグループ」は、会議中に笑顔でいる参加者の割合が多いグループが該当する。
【0077】
「Highシンキンググループ」は、緊張している(発話が少ない又は笑顔が少ない)参加者の人数が多いグループであり、「イマジネータタイプ」の参加者が全体の半数以上又は「スマイリータイプ」の参加者が全体の半数以下のグループがこれに該当する。また「Highスピーカグループ」は、特定の参加者が長時間発話し続けているグループであり、「スピーカタイプ」の参加者が多いグループがこれに該当する。
【0078】
グループタイプ判定部35によるグループの具体的なグループタイプの判定手法については後述する。そしてグループタイプ判定部35は、そのグループのグループタイプを判定し終えると、判定結果を表示処理部36に通知する。
【0079】
表示処理部36は、メモリ11にロードされた図1の表示処理プログラム20をCPU10が実行することにより具現化される機能部である。表示処理部36は、会議の開始前後において、会議の進行役の参加者などにより入力装置13(図1)を介して所定の入力操作が行われると、情報管理データベース21(図2)に格納されている参加者状態管理テーブル40や、第1~第3の分析・判定結果管理テーブル41~43に格納されている各情報に基づいて、会議開始から現在までの会議の状態の分析・判定結果をリアルタイムで更新しながら掲載した図11について後述するリアルタイム分析・判定結果画面50を表示装置3(図2)に表示する。
【0080】
一方、表示処理部36は、予めメッセージ・アドバイス管理データベース22に格納されている評価メッセージ管理テーブル45、アドバイス管理テーブル46及びグループ評価メッセージ管理テーブルを管理している。評価メッセージ管理テーブル45は、図8に示すように、各個人タイプの参加者に対してそれぞれ提示すべき評価メッセージが格納されたテーブルであり、アドバイス管理テーブル46は、図9に示すように、グループタイプごとの各個人タイプの参加者に提示すべきアドバイスが格納されたテーブルである。さらにグループ評価メッセージ管理テーブル47は、図10に示すように、各グループタイプのグループに対してそれぞれ提示すべきメッセージが格納されたテーブルである。
【0081】
そして表示処理部36は、個人タイプ判定部34からそのグループの各参加者の個人タイプが通知されると共に、グループタイプ判定部35からそのグループのグループタイプが通知されると、情報管理データベース21に格納された評価管理テーブル44や、メッセージ・アドバイス管理データベース22に格納された評価メッセージ管理テーブル45、アドバイス管理テーブル46及びグループ評価メッセージ管理テーブル47から必要な情報をそれぞれ取得する。そして表示処理部36は、取得したこれらの情報に基づいて図12について後述する振返り画面70を生成し、生成した振返り画面70を表示装置3に表示する。
【0082】
(2)表示装置に表示される各種画面の画面構成
ここで、図11は、会議中に会議支援装置4の表示処理部36により表示装置3に表示されるリアルタイム分析・判定結果画面50の画面構成例を示す。このリアルタイム分析・判定結果画面50は、会議中にセンサ群2(図1)により収集された各種情報に基づいて得られた、会議の状態に対する分析・判定結果がリアルタイムで表示される表示画面である。
【0083】
このリアルタイム分析・判定結果画面50は、画面左側に設けられたグループ状態表示領域51と、画面右側に設けられた個人評価表示領域52と、個人評価表示領域52の上側に設けられた一時停止ボタン53及び振返りボタン54と、個人評価表示領域52の下側に設けられた第1及び第2のピンボタン55A,55Bとを備えて構成される。
【0084】
またグループ状態表示領域51は、「活動シンクロ」領域51A、「リラックス」領域51B、「会話の傾向」領域51C、「うなずき」領域51D及び「盛り上り」領域51Eから構成される。これら「活動シンクロ」領域51A、「リラックス」領域51B、「会話の傾向」領域51C、「うなずき」領域51D及び「盛り上り」領域51Eでは、共通の図示しない時間軸が横方向に定義されており、第1又は第2の周期で最新の情報が各領域51A~51Eの左端に表示され、その後その表示情報が時間経過と共に右方向に流れていくように表示される。
【0085】
そして「活動シンクロ」領域51Aには、各参加者にそれぞれ対応する横方向のラインが設けられており、これらのライン内に、その時点における対応する参加者の顔の向きを表す第1のマーク60(図11では、紙面の都合上「●」で第1のマーク60を表示)が第2の周期でこれらラインの右端に順次表示される。また「活動シンクロ」領域51Aでは、直前の第2の分析・判定タイミングから今回の第2の分析・判定タイミングまでの間に上述のシンクロ状態が発生した場合には、そのシンクロ状態が発生した各参加者に対応するライン内に、それぞれその旨を意味する所定の第2のマーク61が第1のマーク60に代えて表示される。
【0086】
「リラックス」領域51Bには、参加者ごとの笑顔率の変化を表す折れ線グラフ62が、第2の周期で更新されながら表示される。この際、各参加者の折れ線グラフ62は、参加者ごとにそれぞれ異なる色で着色される。
【0087】
また「会話の傾向」領域51Cには、各参加者にそれぞれ対応する横方向のラインが設けられており、参加者が発話したときに、その発話の発話時間に応じた長さのトラック状の第3のマーク63が対応するライン内に第1の周期で更新されながら表示される。この際、各第3のマーク63は、参加者ごとにそれぞれ異なる色で着色されて表示される。
【0088】
さらに「うなずき」領域51Dには、各参加者にそれぞれ対応する横方向のラインが設けられており、これらのライン内に、対応する参加者が頷いたタイミングでこれを表す第4のマーク64が第1の周期で対応するラインの右端に順次表示される。この際、第4のマーク64は、参加者ごとにそれぞれ異なる色で着色されて表示される。
【0089】
さらに「盛り上がり」領域51Eには、図7について上述したグループ全体の「頷き率」を表す第1の曲線65と、グループ全体での「会話の熱量」を表す第2の曲線66とが第2の周期で更新されながら表示される。
【0090】
一方、個人評価表示領域52には、参加者ごとの、図5の第2の分析・判定結果管理テーブル42について上述した会議開始から現在までの口火回数(「話題のきっかけ回数」)と、その継続時間(「話題の継続時間」)と、盛上り度(「盛り上がり度」)とが一覧表示される。
【0091】
なお、リアルタイム分析・判定結果画面50では、第1のピンボタン55Aや第2のピンボタン55Bを所望するタイミングでクリックすることによって、そのタイミングでその第1又は第2のピンボタン55A,55Bに応じた第5のマーク(第1のピンボタンの場合にはハートマーク、第2のピンボタンの場合には逆三角形マーク)67A,67Bを「活動シンクロ」領域51Aの上方の左端位置に表示させることができる。この第5のマーク67A,67Bも「活動シンクロ」領域51A、「リラックス」領域51B、「会話の傾向」領域51C、「うなずき」領域51D及び「盛り上り」領域51Eにそれぞれ表示された各情報と同期して時間の経過と共に領域51A~51Eの左端から右側に流れるように表示される。
【0092】
またリアルタイム分析・判定結果画面50では、一時停止ボタン53をクリックすることによって、グループ状態表示領域51及び個人評価表示領域52の表示内容の更新(より正確には、分析・判定部33による参加者状態管理テーブル40(図3)及び第1~第3の分析・判定結果管理テーブル41~43の更新)を一時停止させることができ、さらに振返りボタン54をクリックすることによって、表示装置3に表示された画面をリアルタイム分析・判定結果画面50から図12に示す振返り画面70に切り替えることができる。
【0093】
この振返り画面70は、会議開始から現在までのグループ全体の状態と、各参加者に対する現在までの評価と、必要な参加者に対する今後の会議への参加姿勢に対するアドバイスとを表示するための画面であり、画面左側に設けられたグループ状態表示領域71と、グループ状態表示領域71の上方に設けられたグループタイプ表示領域72と、画面右側に設けられた個人評価表示領域73と、個人評価表示領域73の上側に設けられた再開ボタン74及び終了ボタン75とを備えて構成される。
【0094】
そしてグループ状態表示領域71の左側には、「活動シンクロ」領域71A、「リラックス」領域71B、「会話の傾向」領域71C、「うなずき」領域71D及び「盛り上り」領域71Eが設けられており、これら「活動シンクロ」領域71A、「リラックス」領域71B、「会話の傾向」領域71C、「うなずき」領域71D及び「盛り上り」領域71E内に、それぞれリアルタイム分析・判定結果画面50の振返りボタン54をクリックする直前に「活動シンクロ」領域71A、「リラックス」領域71B、「会話の傾向」領域71C、「うなずき」領域71D及び「盛り上り」領域71Eに表示されていた内容と同じ内容の情報が更新を停止した状態で表示される。
【0095】
またグループ状態表示領域71の右側には、会議開始から現在までの間(正確には、会議開始からリアルタイム分析・判定結果画面50の振返りボタン54がクリックされるまでの間)におけるグループ全体のシンクロ回数、笑顔率、話題数、頷き率及び盛り上り度が表示される。ここでのシンクロ回数、笑顔率、話題数、頷き率及び盛り上り度は、いずれも図7について上述した評価管理テーブル44から読み出されて表示されたものである。
【0096】
またグループタイプ表示領域72には、グループタイプ判定部35(図2)により判定されたそのグループのグループタイプと、そのグループの現在までの会議進行に対する評価及び今後の会議進行上のアドバイスとが表示される。例えば、図12では、そのグループのグループタイプが「Highクリエーショングループ」に判定され、そのグループの現在までの会議進行に対する評価として「メンバー同士での議論が活発に進んでいました。」というメッセージが表示され、さらにグループに対する今後の会議進行上のアドバイスとして「引き続きみんなで活発な議論をしていましょう。」というアドバイスがそれぞれ表示された例が示されている。
【0097】
一方、個人評価表示領域73には、各参加者にそれぞれ対応させて評価・アドバイス表示領域73Aが設けられ、これら評価・アドバイス表示領域73A内に、現在までにその参加者について判定された個人タイプと、その参加者のこれまでの会議中の参加姿勢に対する評価メッセージと、今後の会議への参加姿勢に対するアドバイスとがそれぞれ表示される。
【0098】
このとき各評価・アドバイス表示領域73Aに表示される各参加者への上述のアドバイスは、「Highクリエーションタイプ」を理想的なグループタイプの状態として、そのグループのグループタイプが「Highクリエーションタイプ」に近づけるようなアドバイスである。
【0099】
例えば、そのグループのグループタイプが「Highシンクロタイプ」又は「Highエキサイトグループ」であった場合、そのグループに「リツイータタイプ」の参加者が存在しないため、「リツイータタイプ」の参加者を作るようなアドバイスが必要な参加者に向けて表示される。具体的には、「スピーカタイプ」と判定された参加者に対しては、「他人の意見に耳を傾け反応しましょう」などのように、他の参加者の意見に反応すべきアドバイスが表示される。また、「イマジネータタイプ」と判定された参加者に対しては、発話回数及び発話時間が少なめの場合には「考えていることを発言しましょう」などの発言を促すアドバイスが、また発話回数及び発話時間が多めの場合には「他の人の意見に耳を傾け発言しましょう」などの発言を抑えるべき旨のアドバイスが表示される。
【0100】
また、そのグループのグループタイプが「Highスマイリータイプ」であった場合、そのグループ内に「スマイリータイプ」と判定された参加者が多めに存在しているため、「リツイータタイプ」の参加者を作るべく、「スマイリータイプ」と判定された各参加者に対して、「他人の意見に耳を傾け反応しましょう」などの他の参加者の意見に反応すべきアドバイスが表示される。
【0101】
さらに、そのグループのグループタイプが「Highシンキングタイプ」であった場合、そのグループ内に「イマジネータタイプ」と判定された参加者が多めに存在しているため、「リツイータタイプ」の参加者を作るべく、「イマジネータタイプ」と判定された各参加者に対して、発話回数及び発話時間が少なめの場合には「考えていることを発言しましょう」などの発言を促すアドバイスが、また発話回数及び発話時間が多めの場合には「他の人の意見に耳を傾け発言しましょう」などの発言を抑えるべき旨のアドバイスが表示される。
【0102】
さらに、そのグループのグループタイプが「Highスピーカタイプ」であった場合、そのグループ内に「スピーカタタイプ」と判定された参加者が存在しているため、「リツイータタイプ」の参加者を作るべく、「スピーカタイプ」と判定された各参加者に対して、「他人の意見に耳を傾け反応しましょう」などのように、他の参加者の意見に反応すべきアドバイスが表示される。
【0103】
なお、そのグループのグループタイプが「Highクリエーションタイプ」であった場合には、そのグループが理想状態にあるため、各参加者に対するアドバイスはいずれも表示されず、評価メッセージのみが表示される。
【0104】
この振返り画面70では、再開ボタン74をクリックすることにより、表示装置3の表示画面を図11について上述したリアルタイム分析・判定結果画面50に戻すことができる。この場合、リアルタイム分析・判定結果画面50において、表示内容の更新が再開される。
【0105】
従って、進行役の参加者は、会議を休憩する際、リアルタイム分析・判定結果画面50の振返りボタン54をクリックすることによって、会議開始からその時点までのグループ全体や各参加者の会議中の状態に対する評価やアドバイスが表示された振返り画面70を表示装置3に表示させることができ、その休憩時間が終了した段階で振返り画面70の再開ボタン74をクリックすることによって表示装置3の表示画面をリアルタイム分析・判定結果画面50に戻し、この後、会議支援装置4に会議状態の分析を再開させることができる。
【0106】
また振返り画面70は、会議終了時などに終了ボタン75をクリックすることによって、閉じることができる。なお、振返り画面70を閉じる前にファイル出力ボタン76をクリックすることにより、このときの振返り画面70の画面データのファイルを所望する出力先に出力することもできるようになされている。
【0107】
(3)会議支援装置において実行される各種処理
次に、以上のようなリアルタイム分析・判定結果画面50や振返り画面70を表示するために会議支援装置4の個人タイプ判定部34、グループタイプ判定部35及び表示処理部36により実行される各種処理の流れについて説明する。
【0108】
なお、以下においては、各種処理の実行主体を個人タイプ判定部34、グループタイプ判定部35又は表示処理部36として説明するが、実際上は、図1について上述したこれらに対応するプログラム(個人タイプ判定プログラム18、グループタイプ判定プログラム19又は表示処理プログラム20)に基づいて会議支援装置のCPU10(図1)がその処理を実行することは言うまでもない。
【0109】
(3-1)個人タイプ判定処理
図13は、上述のようにリアルタイム分析・判定結果画面50の振返りボタン54がクリックされ、この結果として分析・判定部33により評価管理テーブル44が生成されて、当該評価管理テーブル44を再生した旨の通知が分析・判定部33から個人タイプ判定部34に与えられた場合に、個人タイプ判定部34により実行される個人タイプ判定処理の処理手順を示す。個人タイプ判定部34は、この図13に示す処理手順に従って、各参加者の個人タイプをそれぞれ判定する。
【0110】
実際上、個人タイプ判定部34は、分析・判定部33からかかる通知が与えられるとこの図13に示す個人タイプ判定処理を開始し、まず、第2の分析・判定結果管理テーブル42に格納されている各参加者の口火回数に基づいて、口火回数が最も多かった1名を「イニシエータタイプ」に決定する(S1)。
【0111】
続いて、個人タイプ判定部34は、第2の分析・判定結果管理テーブル42に格納されている各参加者の誘発回数に基づいて、残りの参加者の中から、誘発回数が最も多かった1名を「ムードメーカタイプ」に決定する(S2)。
【0112】
次いで、個人タイプ判定部34は、第2の分析・判定結果管理テーブル42に格納されている各参加者の笑顔率に基づいて、残りの参加者の中から、会議開始から現在までの笑顔率が50%以上の参加者全員を「スマイリータイプ」に決定する(S3)。
【0113】
この後、個人タイプ判定部34は、第2の分析・判定結果管理テーブル42に格納されている、残りの参加者のこれまでの発話回数及び発話時間に応じて、これら残りの参加者を図14に示すような第1~第4象限のいずれかに振り分ける(S4)。
【0114】
具体的に、個人タイプ判定部34は、これまでの発話回数が予め設定された上述の発話回数閾値以上で、かつこれまでの発話時間が予め設定された上述の発話時間閾値以上の参加者を第1象限に振り分ける。また個人タイプ判定部34は、これまでの発話回数が発話回数閾値未満であるが、発話時間が発話時間閾値以上の参加者を第2象限に振り分ける。
【0115】
さらに個人タイプ判定部34は、これまでの発話時間が発話時間閾値未満で、かつ、これまでの発話回数も発話回数閾値未満の参加者を第3象限に振り分け、これまでの発話時間が発話時間閾値未満であるが、発話回数が発話回数閾値以上の参加者を第4象限に振り分ける。
【0116】
そして個人タイプ判定部34は、第1及び第2象限に振り分けた参加者の個人タイプを「スピーカタイプ」に決定すると共に、第3象限に振り分けた参加者の個人タイプをイマジネータタイプに決定し、さらに第4象限に振り分けた参加者の個人タイプを「リツイータタイプ」に決定する(S5)。
【0117】
そして個人タイプ判定部34は、このようにして決定した各参加者の個人タイプをそれぞれグループタイプ判定部35及び表示処理部36に通知し(S6)、この後、この個人タイプ判定処理を終了する。
【0118】
(3-2)グループタイプ判定処理
一方、図15は、個人タイプ判定部34から各参加者の個人タイプが通知されたグループタイプ判定部35により実行されるグループタイプ判定処理の処理手順を示す。グループタイプ判定部35は、この図15に示す処理手順に従って、そのグループのグループタイプを判定する。
【0119】
実際上、グループタイプ判定部35は、個人タイプ判定部34から各参加者の個人タイプが通知されるとこの図15に示すグループタイプ判定処理を開始し、まず、そのグループに「リツイータタイプ」、「イニシエータタイプ」及び「ムードメーカタイプ」の各参加者がそれぞれ存在するグループであるか否かを判断する(S10)。
【0120】
そしてグループタイプ判定部35は、この判断で肯定結果を得ると、そのグループのグループタイプを「Highクリエーショングループ」であると判定し(S11)、この判定結果を表示処理部に通知した後(S21)、グループタイプ判定処理を終了する。
【0121】
これに対して、グループタイプ判定部35は、ステップS10の判断で否定結果を得ると、評価管理テーブル44からそのグループの「シンクロ率」を取得し、取得した「シンクロ率」が、「シンクロ率」について予め0~100の範囲で設定された閾値よりも大きいか否かを判断する(S12)。
【0122】
そしてグループタイプ判定部35は、この判断で肯定結果を得ると、そのグループのグループタイプを「Highシンクログループ」であると判定し(S13)、この判定結果を表示処理部36に通知した後(S21)、グループタイプ判定処理を終了する。
【0123】
これに対して、グループタイプ判定部35は、ステップS12の判断で否定結果を得ると、評価管理テーブル44からそのグループの「盛上り度」を取得し、取得した「盛上り度」が、「盛り上り度」について予め0~100の範囲で設定された閾値よりも大きいか否かを判断する(S14)。
【0124】
そしてグループタイプ判定部35は、この判断で肯定結果を得ると、そのグループのグループタイプを「Highエキサイトグループ」であると判定し(S15)、この判定結果を表示処理部36に通知した後(S21)、グループタイプ判定処理を終了する。
【0125】
これに対して、グループタイプ判定部35は、ステップS14の判断で否定結果を得ると、全参加者の人数に対する「スマイリータイプ」に判定された参加者の人数の割合が予め設定された閾値以上であるか否かを判断する(S16)。
【0126】
そしてグループタイプ判定部35は、この判断で肯定結果を得ると、そのグループのグループタイプを「Highスマイリーグループ」であると判定し(S17)、この判定結果を表示処理部36に通知した後(S21)、グループタイプ判定処理を終了する。
【0127】
これに対して、グループタイプ判定部35は、ステップS16の判断で否定結果を得ると、全参加者の人数に対する「イマジネータタイプ」に判定された参加者の人数の割合が予め設定された閾値以上であるか否かを判断する(S18)。
【0128】
そしてグループタイプ判定部35は、この判断で肯定結果を得ると、そのグループのグループタイプを「Highシンキンググループ」であると判定し(S19)、この判定結果を表示処理部36に通知した後(S21)、グループタイプ判定処理を終了する。
【0129】
またグループタイプ判定部35は、ステップS18の判断で肯定結果を得ると、そのグループのグループタイプを「Highスピーカグループ」であると判定し(S20)、この判定結果を表示処理部36に通知した後(S21)、グループタイプ判定処理を終了する。
【0130】
(3-3)画面表示処理
他方、図16は、表示処理部36により実行される画面表示処理の処理手順を示す。表示処理部36は、この図16に示す処理手順に従って、リアルタイム分析・判定結果画面50(図11)や振返り画面70(図12)を表示装置3に表示する。
【0131】
なお、図16では、リアルタイム分析・判定結果画面50や振返り画面70を表示するための一連の処理の処理手順についてのみ記載されており、例えばリアルタイム分析・判定結果画面50の一時停止ボタン53(図11)がクリックされた場合や、振返り画面70のファイル出力ボタン76(図12)がクリックされた場合等の処理については省略している。
【0132】
表示処理部36は、入力装置13(図1)が所定操作されて画像処理部30、音声処理部31、頷き検出部32及び分析・判定部33(いずれも図2)などによる上述の第1又は第2の周期での判定処理が開始されるとこの図16に示す画面表示処理を開始し、まず、情報管理データベース21(図2)に格納された参加者ごとの参加者状態管理テーブル40(図3)や、第1~第3の分析・判定結果管理テーブル41~43に登録されている各情報に基づいて、リアルタイム分析・判定結果画面50を生成し、生成したリアルタイム分析・判定結果画面50を表示装置3に表示する(S30)。
【0133】
例えば、表示処理部36は、参加者ごとの第1の分析・判定結果管理テーブル41(図4)の向き欄41C及びシンクロ欄41Dにそれぞれ格納された情報に基づいて、リアルタイム分析・判定結果画面50におけるグループ状態表示領域51の「活動シンクロ」領域51Aに、参加者ごとの顔の向きを表す第1のマーク60(図11)やシンクロ状態を表す第2のマーク61(図11)をそれぞれ第2の周期で表示する。
【0134】
また表示処理部36は、第2の分析・判定結果管理テーブル42(図5)の笑顔率欄42Bに格納された情報に基づいて、リアルタイム分析・判定結果画面50におけるグループ状態表示領域51の「リラックス」領域51B内に、参加者ごとの折れ線グラフ62(図11)を第2の周期で更新しながらそれぞれ表示する。
【0135】
さらに表示処理部36は、参加者ごとの参加者状態管理テーブル40(図3)の発話欄40Dに格納された発話フラグの値に基づいて、リアルタイム分析・判定結果画面50におけるグループ状態表示領域51の「会話の傾向」領域51Cに、参加者が発話状態にあることを示す第3のマーク63(図11)を第1の周期で更新しながらそれぞれ表示する。
【0136】
さらに表示処理部36は、参加者ごとの参加者状態管理テーブル40の頷き欄40Fに格納された頷きフラグに基づいて、リアルタイム分析・判定結果画面50におけるグループ状態表示領域51の「うなずき」領域51Dに、対応する参加者が頷いたことを示す第4のマーク64(図11)を第1の周期で表示する。
【0137】
さらに表示処理部36は、第3の分析・判定結果管理テーブル43の頷き率欄43B及び会話熱量欄43Cにそれぞれ格納された頷き率及び会話熱量に基づいて、リアルタイム分析・判定結果画面50におけるグループ状態表示領域51の「盛上り」欄51Eに、グループ全体の頷き率を表す第1の曲線65(図11)と、グループ全体の盛上り度を表す第2の曲線66とを第2の周期で更新しながらそれぞれ表示する。
【0138】
さらに表示処理部36は、第2の分析・判定結果管理テーブル42の口火回数欄42E、継続時間欄42F及び盛上り度欄42Iにそれぞれ格納された口火回数、継続時間及び盛上り度に基づいて、これらの値を第2の周期で更新しながらリアルタイム分析・判定結果画面50の個人評価表示領域52に表示する。
【0139】
続いて、表示処理部36は、リアルタイム分析・判定結果画面50の振返りボタン54(図11)がクリックされたか否かを判断する(S31)。そして表示処理部36は、この判断で否定結果を得るとステップS30に戻り、この後、ステップS30-ステップS31-ステップS30のループを繰り返す。
【0140】
そして表示処理部36は、やがてリアルタイム分析・判定結果画面50の振返りボタン54がクリックされることによりステップS31で肯定結果を得ると、振返りボタン54がクリックされたことを分析・判定部33(図2)に通知する(S32)。
【0141】
この結果、分析・判定部33によりその時点までの内容の評価管理テーブル44(図7)が生成され、その旨が個人タイプ判定部34(図2)に通知されて、個人タイプ判定部34により図13について上述した個人タイプ判定処理が実行される。また、個人タイプ判定部34による個人タイプ判定処理が終了すると、その旨がグループタイプ判定部35に通知されて、グループタイプ判定部35により図15について上述したグループタイプ判定処理が実行される。
【0142】
一方、表示処理部36は、ステップS32の実行後、グループタイプ判定部35からそのときのグループのグループタイプが通知されるのを待ち受ける(S33)。そして表示処理部36は、やがてグループタイプ判定部35からそのグループのグループタイプが通知されると、振返り画面70を表示するために必要な情報を収集する(S34)。
【0143】
具体的に、表示処理部36は、会議開始からそのときまでのグループ全体でのシンクロ回数、笑顔率、話題数、頷き率及び盛上り度を情報管理データベース21の評価管理テーブル44からそれぞれ取得する。
【0144】
また表示処理部36は、個人タイプ判定部34から通知された各参加者の個人タイプに対する評価メッセージをそれぞれメッセージ・アドバイス管理データベース22(図2)の評価メッセージ管理テーブル45(図8)から取得すると共に、グループタイプ判定部35から通知されたそのグループのグループタイプに対する評価メッセージをメッセージ・アドバイス管理データベース22のグループ評価メッセージ管理テーブル47(図10)から取得する。
【0145】
さらに表示処理部36は、個人タイプ判定部34から通知された各参加者の個人タイプと、グループタイプ判定部35から通知されたそのグループのグループタイプとに基づいて、各参加者に対するアドバイスをアドバイス管理テーブル46(図9)からそれぞれ取得する。
【0146】
そして表示処理部36は、上述のようにして収集した各情報と、それまでリアルタイム分析・判定結果画面50のグループ状態表示領域51に表示していた各種情報のデータとに基づいて図12について上述した振返り画面70を生成し、生成した振返り画面70をそれまで表示していたリアルタイム分析・判定結果画面50に代えて表示装置3に表示する(S35)。
【0147】
この後、表示処理部36は、振返り画面70の再開ボタン74(図12)又は終了ボタン75(図12)がクリックされるのを待ち受ける(S36及びS37)。そして表示処理部36は、再開ボタン74がクリックされるとステップS30に戻って表示装置3に表示した画面をリアルタイム分析・判定結果画面50に切り替え、この後、ステップS37で肯定結果を得るまでステップS30~ステップS36の処理を繰り返す。また表示処理部36は、やがて終了ボタン75がクリックされると、振返り画面70を閉じてこの画面処理を終了する。
【0148】
(4)本実施の形態の効果
以上のように本実施の形態の会議支援システム1では、センサ群2により取得された各種情報に基づいて各参加者の個人タイプを判定し、判定結果に基づいてこれら参加者から構成されるグループのグループタイプを判定し、判定結果に基づいて当該グループを理想のグループタイプである「Highクリエーショングループ」に近づけるように、必要な参加者に対する必要なアドバイスを表示する。
【0149】
従って、本会議支援システム1によれば、グループのグループタイプを理想的なグループタイプに近づけることができ、かくして会議を活性化させて、より生産性の高い会議を行わせることができる。
【0150】
(5)他の実施の形態
なお上述の実施の形態においては、参加者の頷きを振動センサにより検出するようにした場合について述べたが、本発明はこれに限らず、撮像装置から出力された映像信号に基づく各参加者の撮影画像を利用して、これら参加者の頷きを検出するようにしてもよい。
【0151】
また上述の実施の形態においては、センサ群2により取得された情報を分析し、各参加者の行動及び状態を判定する分析・判定部(画像処理部30、音声処理部31、頷き検出部32及び分析・判定部33)としての機能と、分析・判定部の分析・判定結果に基づいて各参加者の個人タイプを判定する個人タイプ判定部34の機能と、個人タイプ判定部34の分析・判定結果に基づいて、各参加者により構成されるグループのグループタイプを判定するグループタイプ判定部35の機能と、個人タイプ判定部34及びグループタイプ判定部35の分析・判定結果に基づいて、当該グループを理想のグループタイプに近づけるように、必要な参加者に対する必要なアドバイスを表示する表示処理部36としての機能とを1つの会議支援装置に搭載するようにした場合について述べたが、本発明はこれに限らず、これらの機能を分散コンピューティングシステムを構成する複数のコンピュータ装置に分散して搭載するようにしてもよい。
【0152】
さらに上述の実施の形態においては、個人タイプ判定部34が参加者の個人タイプを「イニシエータタイプ」、「ムードメーカタイプ」、「スマイリータイプ」、「スピーカタイプ」、「イマジネータタイプ」及び「リツイータタイプ」の6種類の中のいずれであるかを判定するようにした場合について述べたが、本発明はこれに限らず、少なくともグループタイプの判定に必要な「イニシエータタイプ」、「ムードメーカタイプ」及び「リツイータタイプ」と、これ以外の個人タイプとの4種類の中のいずれであるかを判定するようにしてもよい。また「これ以外の個人タイプ」は、1種類だけではなく、複数種類あってもよい。
【0153】
同様に、上述の実施の形態においては、グループタイプ判定部35がグループのグループタイプを「Highクリエーショングループ」、「Highシンクログループ」、「Highエキサイトグループ」、「Highスマイリーグループ」、「Highシンキンググループ」及び「Highスピーカグループ」の6種類の中のいずれであるかを判定するようにした場合について述べたが、本発明はこれに限らず、「Highクリエーショングループ」及びこれ以外のグループタイプの2種類のうちのいずれであるかを判定するようにしてもよい。また「これ以外のグループタイプ」は、1種類だけではなく、複数種類あってもよい。
【0154】
さらに上述の実施の形態においては、各参加者へのアドバイスを表示装置3にまとめて表示するようにした場合について述べたが、本発明はこれに限らず、例えば、参加者ごとのモニタが存在する場合には、これらのモニタに対応する参加者へのアドバイスや評価メッセージを表示し、振返り画面70には参加者ごとの評価やアドバイスを表示しないようにしてもよい。
【0155】
さらに上述の実施の形態においては、すべて参加者が一箇所に集合して会議を開催する場合について述べたが、本発明はこれに限らず、一部又は全部の参加者が自己のコンピュータ装置を用いてリモート会議に参加する場合にも本発明を適用することができる。この場合には、各参加者へのアドバイスや評価メッセージを参加者ごとにその参加者のコンピュータ装置に表示するようにしてもよい。
【産業上の利用可能性】
【0156】
本発明は、会議支援システム及び方法に関し、会議の活性化を支援する種々の構成の会議支援システムに広く適用することができる。
【符号の説明】
【0157】
1……会議支援システム、2……センサ群、3……表示装置、4……会議支援装置、5……撮像装置、6……集音装置、7……振動センサ、10……CPU、13……入力装置、30……画像処理部、31……音声処理部、32……頷き検出部、33……分析・判定部、34……個人タイプ判定部、35……グループタイプ判定部、36……表示処理部、40……参加者状態管理テーブル、41……第1の分析・判定結果管理テーブル、42……第2の分析・判定結果管理テーブル、43……第3の分析・判定結果管理テーブル、44……評価管理テーブル、45……評価メッセージ管理テーブル、46……アドバイス管理テーブル、47……グループ評価メッセージ管理テーブル、50……リアルタイム分析・判定結果画面、70……振返り画面、73……個人評価表示領域、73A……評価・アドバイス表示領域。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16