特開 2025-24469 会議活性度向上支援システム及びその運用方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2025024469

(43)【公開日】2025-02-20

(54)【発明の名称】会議活性度向上支援システム及びその運用方法

(51)【国際特許分類】

   G06Q 10/00 20230101AFI20250213BHJP

【ＦＩ】

G06Q10/00

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2023128604

(22)【出願日】2023-08-07

(71)【出願人】

【識別番号】000235543

【氏名又は名称】飛島建設株式会社

(71)【出願人】

【識別番号】504203572

【氏名又は名称】国立大学法人茨城大学

(74)【代理人】

【識別番号】110000051

【氏名又は名称】弁理士法人共生国際特許事務所

(72)【発明者】

【氏名】小林 真人

(72)【発明者】

【氏名】兵藤 伸也

(72)【発明者】

【氏名】佐藤 考浩

(72)【発明者】

【氏名】辻村 壮平

【テーマコード（参考）】

5L010

5L049

【Ｆターム（参考）】

5L010AA00

5L049AA00

(57)【要約】

【課題】会議の参加者の視線移動数とアイコンタクト数に基づき会議活性度を評価し、必要なタイミングで刺激音を提供して会議活性度の向上を支援するシステムを提供する。
【解決手段】本発明による会議支援装置は、参加者情報取得手段から、会議の参加者の位置と視線を求められる参加者情報を継続的に受信し、参加者が他の参加者の顔を見た回数である視線移動数と、参加者同士が互いに顔を向き合わせた回数であるアイコンタクト数を検出する視線解析部と、特定時間当たりの視線移動数から会議の盛り上がりを推定する会議活性度評価部と、視線移動数とアイコンタクト数から発言しにくさを感じている参加者を推定する会議参加者活性度評価部と、特定時間当たりの視線移動数が閾値より少ないと判断した場合、又は発言しにくさを感じている参加者が認められた場合、会議の参加者に発言を促す刺激を発するように刺激発生手段を制御する会議促進支援部とを備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

会議活性度を評価し、会議活性度の評価結果に基づき、会議活性度の向上を支援する会議支援装置を有する会議活性度向上支援システムであって、
前記会議支援装置は、
会議の参加者の位置と視線を求めることができる参加者情報を取得する参加者情報取得手段から、前記参加者情報を継続的に受信し、参加者の位置及び視線データに基づき参加者が他の参加者の顔を見た回数である視線移動数と、このうちの参加者同士が互いに顔を向き合わせた回数であるアイコンタクト数を検出する視線解析部と、
特定時間当たりの前記視線移動数から会議の盛り上がりを推定する会議活性度評価部と、
前記視線移動数と前記アイコンタクト数から発言しにくさを感じている参加者を推定する会議参加者活性度評価部と、
特定時間当たりの前記視線移動数が閾値より少ないと判断した場合、又は発言しにくさを感じている参加者が認められた場合、会議の参加者に発言を促すよう特定の刺激を発するように刺激発生手段を制御する会議促進支援部とを備えることを特徴とする会議活性度向上支援システム。

【請求項2】

前記会議促進支援部は、刺激発生手段としてのスピーカを有し、特定時間当たりの前記視線移動数が閾値より少ないと判断した場合、又は発言しにくさを感じている参加者が認められた場合、会議の参加者に発言を促すよう特定の音を発するように前記スピーカを制御することを特徴とする請求項１に記載の会議活性度支援システム。

【請求項3】

会議活性度を評価し、会議活性度の評価結果に基づき、会議活性度の向上を支援する会議支援装置を有する会議活性度向上支援システムによる会議活性度評価方法であって、
会議の参加者の位置と視線を求めることができる参加者情報を取得する参加者情報取得手段から、前記参加者情報を継続的に受信し、参加者の視線データに基づき他の参加者の顔を見た回数である視線移動数と、このうちの参加者同士が互いに顔を向き合わせた回数であるアイコンタクト数を検出する段階と、
特定時間当たりの前記視線移動数から会議の盛り上がりを推定する段階と、
前記視線移動数と前記アイコンタクト数から発言しにくさを感じている参加者を推定する段階とを有することを特徴とする会議活性度評価方法。

【請求項4】

会議活性度を評価し、会議活性度の評価結果に基づき、会議活性度の向上を支援する会議支援装置を有する会議活性度向上支援システムによる会議活性度向上方法であって、
請求項３に記載の会議活性度評価方法の評価結果に基づき、
特定時間当たりの前記視線移動数が閾値より少ないと判断した場合、又は前記発言しにくさを感じている参加者が認められた場合、会議の参加者に発言を促すよう特定の刺激を発する段階を有することを特徴とする会議活性度向上方法。

【請求項5】

前記特定時間当たりの前記視線移動数が閾値より少ないと判断した場合、又は発言しにくさを感じている参加者が認められた場合、会議の参加者に発言を促すようスピーカから特定の音を発する段階を有することを特徴とする請求項４に記載の会議活性度向上方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、会議活性度向上支援システム及びその運用方法に関し、特に会議の参加者の視線移動数とアイコンタクト数に基づき会議活性度を評価し、会議活性度が低下し支援が必要なタイミングで刺激を提供することで会議活性度の向上を支援する会議活性度向上支援システム及びその運用方法に関する。

【背景技術】

【0002】

複数の人間が関与する活動において、何かを決定したり、新しいアイデアを創出したりする場合にしばしば会議が開催される。近年では新たなウィルスによる感染症の脅威などから、在宅勤務なども定着するようになり、オンライン会議システムの発達などに伴い、オンラインでの会議の機会も増えてきている。

【0003】

しかし、新しい商品開発に向けたアイデア出しや、特定テーマに対するフリーディスカッションなどでは、対面で会議を開いた方が、会議の効率もよく、新しい発想なども生まれやすいことから対面の会議のニーズは高い。会議にはいろいろな目的があるが、特にこうした議論が求められる会議では、会議の参加者が互いに様々な意見を述べ合い、活性度の高い会議の進行が望まれる。ところが、会議の参加者の構成によっては一部の参加者に発言が限定されたり、全体に盛り上がらず、求めた結果が得られない会議となってしまったりする事も起こりうる。そこで会議を円滑に進行するために、さまざまな方法が提案されている。

【0004】

特許文献１には、会議の参加者の音声や画像などの生体情報を取得し、取得された生体情報から、会議の活性度を算出し、表情の変化などから発言が期待される参加者をデバイス上で指し示すことで発話を促す会議支援方法が開示されている。

【0005】

また、特許文献２には、会議参加者の音声や表情などから参加者それぞれの活性度を算出し、現時点までの短期間の活性度と、それより長い長期間の活性度とを求め、これらの活性度の状況に応じて発話相手を選定したり、発話相手に発言を促す音声を提供したりする方法が開示されている。

【0006】

特許文献１の方法では、発言が期待される参加者を直接指名する形式となっているが、指名された参加者に話題を投げかけることがなければ発話につながらず、ファシリテータのような人物がいないと期待するように機能しないことが起こりうる。また会議参加者の発言を自発的に促すものではないため、本質的な知的生産性の向上にはつながりにくく、参加者にとっては直接指名されることによる精神的な負荷も大きいという課題がある。

【0007】

特許文献２の方法でも、発話者が選定されて発言が促されることから、その発言は自発的なものではなく発話者の精神的な負荷も大きい。また、特許文献１、特許文献２とも音声データをメインに会議の評価を行っているが、支援対象とすべき発言しにくさを感じる参加者から得られる音声情報は少ないことから、従来にない会議の評価方法として音声以外での評価手法が求められる。

【先行技術文献】

【特許文献】

【0008】

【特許文献1】特開２０２２－０６８９０４号公報

【特許文献2】特開２０２０－１８７６０５号公報

【発明の概要】

【発明が解決しようとする課題】

【0009】

本発明は、上記従来の会議活性度向上支援システムにおける問題点に鑑みてなされたものであって、本発明の目的は、会議の参加者の視線移動数とアイコンタクト数に基づき会議活性度を評価し、会議活性度が低下し支援が必要なタイミングで刺激を提供することで会議活性度の向上を支援する会議活性度向上支援システム及びその運用方法を提供することにある。

【課題を解決するための手段】

【0010】

上記目的を達成するためになされた本発明による会議活性度向上支援システムは、会議活性度を評価し、会議活性度の評価結果に基づき、会議活性度の向上を支援する会議支援装置を有する会議活性度向上支援システムであって、前記会議支援装置は、会議の参加者の位置と視線を求めることができる参加者情報を取得する参加者情報取得手段から、前記参加者情報を継続的に受信し、参加者の位置及び視線データに基づき参加者が他の参加者の顔を見た回数である視線移動数と、このうちの参加者同士が互いに顔を向き合わせた回数であるアイコンタクト数を検出する視線解析部と、特定時間当たりの前記視線移動数から会議の盛り上がりを推定する会議活性度評価部と、前記視線移動数と前記アイコンタクト数から発言しにくさを感じている参加者を推定する会議参加者活性度評価部と、特定時間当たりの前記視線移動数が閾値より少ないと判断した場合、又は発言しにくさを感じている参加者が認められた場合、会議の参加者に発言を促すよう特定の刺激を発するように刺激発生手段を制御する会議促進支援部とを備えることを特徴とする。

【0011】

前記会議促進支援部は、刺激発生手段としてのスピーカを有し、特定時間当たりの前記視線移動数が閾値より少ないと判断した場合、又は発言しにくさを感じている参加者が認められた場合、会議の参加者に発言を促すよう特定の音を発するように前記スピーカを制御することが好ましい。

【0012】

上記目的を達成するためになされた本発明による会議活性度評価方法は、会議活性度を評価し、会議活性度の評価結果に基づき、会議活性度の向上を支援する会議支援装置を有する会議活性度向上支援システムによる会議活性度評価方法であって、会議の参加者の位置と視線を求めることができる参加者情報を取得する参加者情報取得手段から、前記参加者情報を継続的に受信し、参加者の視線データに基づき他の参加者の顔を見た回数である視線移動数と、このうちの参加者同士が互いに顔を向き合わせた回数であるアイコンタクト数を検出する段階と、特定時間当たりの前記視線移動数から会議の盛り上がりを推定する段階と、前記視線移動数と前記アイコンタクト数から発言しにくさを感じている参加者を推定する段階とを有することを特徴とする。

【0013】

上記目的を達成するためになされた本発明による会議活性度向上方法は、会議活性度を評価し、会議活性度の評価結果に基づき、会議活性度の向上を支援する会議支援装置を有する会議活性度向上支援システムによる会議活性度向上方法であって、上記に記載の会議活性度評価方法の評価結果に基づき、特定時間当たりの前記視線移動数が閾値より少ないと判断した場合、又は前記発言しにくさを感じている参加者が認められた場合、会議の参加者に発言を促すよう特定の刺激を発する段階を有することを特徴とする。

【0014】

前記特定時間当たりの前記視線移動数が閾値より少ないと判断した場合、又は発言しにくさを感じている参加者が認められた場合、会議の参加者に発言を促すようスピーカから特定の音を発する段階を有することが好ましい。

【発明の効果】

【0015】

本発明に係る会議活性度向上支援システム及びその運用方法によれば、会議の活性度の評価は会議の参加者の視線に基づくものであるため音声を収集するためのマイクは必要としない。また、会議の参加者の位置と視線を求めることができる参加者情報は、瞳の動きから視線を求めることができるように会議の参加者の顔の画像が常に取得できるようなカメラによる画像情報でもよいが、本発明の実施形態による会議支援装置には、深度センサの点群データから骨格情報を取得して骨格情報の推移から頭部動作を推定する参加者動作推定部を備えることができるので、会議の参加者の動きが把握できる深度センサによる点群データでもよい。そこでこの場合は、参加者の顔の向きに合わせてカメラを設置する必要がない。

【0016】

また、本発明に係る会議活性度向上支援システム及びその運用方法によれば、会議の活性度が低下し支援が必要となった場合は、特定の参加者に向けてではなく、会議の環境刺激として音、光、風など人が感じられる刺激、或いはこれらの組み合わせを適切な量や強さで提供することで、発言を促すため、会議の参加者は指名される負荷を感じることなく、発言のきっかけをつかみやすい。刺激として音を提供する場合は、自然音などが効果的であるが、これに限らず基本的に言語として認識できない音であれば会議の進行を妨げることなく適宜な刺激となりうる。

【図面の簡単な説明】

【0017】

【図1】本発明の実施形態による会議活性度向上支援システムの構成を概略的に示すブロック図である。

【図2】本発明の実施形態による会議活性度向上支援システムの運用方法を模式的に説明する図である。

【図3】本発明の実施形態による会議の形態別閾値管理表を例示的に示す図である。

【図4】会議の活性状況と会議中の参加者の視線移動数の対応関係を例示的に示す図である。

【図5】会議中の発言数の違いによる視線移動数とアイコンタクト数の関連を例示的に示す図である。

【図6】会議中の刺激として様々な音を提供した場合の会話のしやすさを主観的に評価した結果の事例を示す図である。

【図7】会議中の刺激として様々な音を提供した場合の緊張しにくさを主観的に評価した結果の事例を示す図である。

【図8】本発明の実施形態による会議活性度向上支援システムの運用方法を説明するためのフローチャートである。

【発明を実施するための形態】

【0018】

次に、本発明に係る会議活性度向上支援システム及びその運用方法を実施するための形態の具体例を、図面を参照しながら詳細に説明する。
図１は、本発明の実施形態による会議活性度向上支援システムの構成を概略的に示すブロック図である。

【0019】

図１を参照すると、本発明の実施形態による会議活性度向上支援システム１は、会議中に会議の参加者の状況を取得する参加者情報取得手段２０、参加者情報取得手段２０から情報を取得し、会議の状況を評価し、その結果に応じて会議の活性化を図る会議支援装置１０、及び会議支援装置１０からの出力を受けて会議の参加者に刺激を発して提供する刺激発生手段３０とを有する。

【0020】

本発明の実施形態による会議活性度向上支援システム１は、会議支援装置１０が、会議の参加者の位置と視線を求めることができる参加者情報を取得する参加者情報取得手段２０から、参加者情報を継続的に受信し、参加者の位置及び視線データに基づき参加者が他の参加者の顔を見た回数である視線移動数と、このうちの参加者同士が互いに顔を向き合わせた回数であるアイコンタクト数を検出し、特定時間当たりの視線移動数から会議の盛り上がりを推定し、視線移動数とアイコンタクト数から発言しにくさを感じている参加者を推定することで会議の活性度を評価するシステムである。

【0021】

また会議活性度向上支援システム１は、会議支援装置１０が、会議の活性度を評価した結果、会議の活性度が十分でないと判断した場合、具体的には、特定時間当たりの視線移動数が閾値より少ないと判断した場合、又は発言しにくさを感じている参加者が認められた場合、刺激発生手段３０を介して、会議の参加者に発言を促すよう特定の刺激を発して提供することにより、会議活性度の向上を支援するシステムでもある。
ここで、特定の刺激とは、音、照明などの光、空調装置などからの風の強さ、風の温度、匂いなど人間の感覚に作用する刺激であり、これらのいずれか、またはこれらのいくつかを組み合わせたものである。

【0022】

会議は基本的には話し合いの場であるため、通常は発言の状況により、会議が活性か否かが判断される。会議の活性状況を評価したり活性となるよう支援したりするシステムは、これまでにも様々な形で提案されているが、会議の参加者の発言を捉えるマイクを使用して評価を行うものが多く、これに必要により参加者の顔を捉えるカメラと組み合わせる構成のものが多い。しかし発言が多い会議でも、発言が参加者の一部に偏ってしまう場合は、マイクからは発言の少ない多くの参加者の状況は拾えず、また、会議の結果も参加者の総意に基づく結論とは異なる結論になることも起こりうる。

【0023】

そこで本発明の実施形態による会議活性度向上支援システム１では、会議の活性度の評価にはマイクは必要とせず、会議参加者の視線の動きに着目し、会議の参加者の位置と視線を求めることができる参加者情報を取得する参加者情報取得手段２０を使用する。会議の中で次の発話者になるかどうかに、話し手と聞き手の視線行動が影響することは、例えば、参考文献「話し手の視線の向け先は次話者になるか（榎本ら：社会言語科学、Ｖｏｌ．１４、Ｎｏ．１、ｐｐ．９７－１０９、２０１１．９）」等に記載されている。

【0024】

参加者情報取得手段２０は、会議の参加者の視線の動きが捉えられれば良く、定点に設置し参加者の顔が撮影できるカメラにより実現可能である。また最近では参加者の顔が撮影できなくても、例えば対象人物を３次元的にとらえることができる深度センサを使用し、深度センサで取得した対象人物の点群データから当該人物の骨格情報を検出し、頭部動作を判定する方法も実用化されており、参加者情報取得手段２０として、こうした方法が適用可能な深度センサを利用してもよい。

【0025】

参加者情報取得手段２０は、会議の参加者が全員撮影可能又は３次元的にセンシング可能であれば１つでよいが、全員の撮影やセンシングが１つでは収まらない場合は複数設けるようにする。会議活性度向上支援システム１では、会議の参加者が他の参加者の内のどの参加者に視線を向けたかを検出する必要があるため、参加者情報取得手段２０を複数設ける場合は、それぞれの参加者情報取得手段２０の会議室中の位置や向きを、予め固定しておくことが望ましい。会議の参加者の状況により机の配置などレイアウトを頻繁に変更する場合、参加者情報取得手段２０もその都度配置を変えることが起こりうる。このような場合は、例えば会議室に位置を特定するための固定の指標を複数箇所設置し、参加者情報取得手段２０は、会議の参加者を撮影したりセンシングしたりする際、固定の指標も一緒に撮影又はセンシングし、指標に基づき参加者情報取得手段２０の向きと位置が特定できるようにしてもよい。

【0026】

実施形態では、参加者情報取得手段２０は、制御部２１、入出力部２２、記憶部２３、画像データ取得部２４、深度データ取得部２５を備える。
入出力部２２は、参加者情報取得手段２０が取得した会議の参加者の位置と視線を求めることができる参加者情報を、会議支援装置１０に出力する有線又は無線の通信手段を含む。参加者情報取得手段２０の位置と向きが固定されている場合は、参加者情報取得手段２０の位置と向きを会議支援装置１０に予め入力しておいてもよい。これにより参加者の撮影画像又は３次元深度データのみで参加者の位置関係と視線の向きを求めることが可能である。参加者情報取得手段２０の位置と向きが会議ごとに変更される可能性がある場合は、前述の固定の指標も一緒に撮影又はセンシングして、参加者情報に含めることで参加者の位置関係と視線の向きを求めることが可能となる。
記憶部２３は、参加者情報取得手段２０の動作を制御する制御プログラムを保存するとともに参加者情報取得手段２０が取得する参加者情報を一時的に保存する。

【0027】

画像データ取得部２４は、会議の参加者の顔を撮影して顔の画像データを取得する。視線の動きは、目頭や目じりなどの基準点に対する瞳の位置の検出や、赤外線を照射したときの角膜反射と瞳孔の位置関係の検出など様々な方法から求めることができ、それぞれの検出方法に応じてカメラも通常のカメラの他赤外線カメラなども使用可能である。そこで画像データ取得部２４は、可視光の画像を取得する撮像手段を備えてもよいし、赤外線画像を取得する撮像手段を備えてもよい。

【0028】

深度データ取得部２５は、会議の参加者の頭の動きが検出できるように、参加者を３次元的にとらえる深度センサによる点群データを取得する。深度センサとしてはＭｉｃｒｏｓｏｆｔ社のＡｚｕｒｅ Ｋｉｎｅｃｔ（登録商標） ＤＫなどが適用可能である。
制御部２１は、記憶部２３に保存した制御プログラムを実行し、参加者情報取得手段２０の各要素が上述の機能を果たすように制御する。
上記の実施形態では画像データ取得部２４と深度データ取得部２５とを備えるように示したが、参加者の位置と視線が求められればいずれか一方のみでも構わない。

【0029】

会議支援装置１０は、制御部１１、入出力部１２、記憶部１３、表示部１４、視線解析部１５、会議活性度評価部１６、会議参加者活性度評価部１７、会議促進支援部１８、及び参加者動作推定部１９を有する。
視線解析部１５は、参加者情報取得手段２０から、参加者情報を継続的に受信し、参加者の位置及び視線データに基づき参加者が他の参加者の顔を見た回数である視線移動数と、このうちの参加者同士が互いに顔を向き合わせた回数であるアイコンタクト数を検出する。

【0030】

視線解析部１５は、参加者の視線が他の参加者の顔に向けられたかどうかを検出するため、まず会議の参加者同士の位置関係を求める。参加者全員の参加者情報の取得に参加者情報取得手段２０が複数必要な場合、それぞれの参加者情報取得手段２０の位置と向きに基づきそれぞれの参加者情報取得手段２０から取得した参加者情報を合成することで参加者同士の位置関係を求める。参加者情報取得手段２０の位置と向きは、固定であれば、予め視線解析部１５に入力しておいてもよいし、前述のように複数の固定の指標を参加者と共に撮影されるようにして、撮影された画像データ中の複数の固定の指標から求めるようにしてもよい。

【0031】

次に視線解析部１５は、会議の参加者の画像データ中の目の動きから参加者の視線の向きを検出し、参加者同士の位置関係に基づき検出した視線の向きが他の参加者に向けられているかどうかを判断する。検出した視線の向きが他の参加者の顔に向けられていることを検出すると、当該参加者の視線移動数を１回分としてカウントする。このとき視線を向けられていた他の参加者の視線も、視線を向けていた参加者の顔に視線を向けていると検出された場合は、両参加者のアイコンタクトが成立したとして両参加者のアイコンタクト数をそれぞれ１回分としてカウントする。アイコンタクトは一瞬だけ成立する場合もあるし、互いに議論が続いて一定時間継続する場合がある。そこでこれらの状況を区別するためアイコンタクトが一定時間継続する場合は所定の経過時間ごとに区切ってその都度アイコンタクト数を１回分としてカウントしてもよい。

【0032】

このようにして視線解析部１５は、会議の継続している間、全参加者の視線の動きを検出して参加者ごとに視線移動数とアイコンタクト数をカウントしていく。検出した視線移動数又はアイコンタクト数は参加者と対応付け、検出した時刻と共に記憶部１３に保存していく。

【0033】

上記では、参加者情報が参加者の顔を含む画像データを含む場合で説明したが、参加者情報が深度センサの点群データで取得される場合は、目の動きを直接検出するのは難しい。この場合、視線解析部１５は、後述するように参加者動作推定部１９にて参加者の頭部の動作を検出するデータに変換したものを取得して、頭の動きから参加者の視線の動きを推定する。視線解析部１５は、推定した視線の動きに基づき視線移動数とアイコンタクト数をカウントする。

【0034】

会議活性度評価部１６は、特定時間当たりの視線移動数から会議の盛り上がりを推定する。会議の参加者の多くが発言する会議では議論も活発化し、会議が盛り上がりやすい。このような場合、発言者の切り代わりに伴い各参加者の視線も新たな発言者に向きやすくなるため、視線移動数も多くなりやすい。一方発言者が少なかったり、一部の参加者しか発言しなかったりする場合、会議は盛り上がらず視線移動数も増えにくい。また会議は前半と後半で盛り上がりが異なったり、また途中で議題が変わったことをきっかけとして盛り上がりが変化したりして、１つの会議の中でも盛り上がりの状況が変化することも多い。そこで会議活性度評価部１６は、特定時間当たりの視線移動数で会議の盛り上がりを推定する。会議活性度評価部１６は、直近の特定時間当たりの視線移動数を常に算出し、算出した結果を時間経過がわかるように一定の時間間隔で記憶部１３に記憶するようにしてもょい。

【0035】

会議参加者活性度評価部１７は、視線移動数とアイコンタクト数から発言しにくさを感じている参加者を推定する。会議においては議題や参加者のメンバー構成により会議室の雰囲気が変化する。そこで参加者によっては意見があっても、なかなか発言の機会が得にくい状況になることがある。このような時にアイコンタクトがあると発言のきっかけが得られることがある。逆に発言する用意があって発言のきっかけを求めて他の参加者の顔を見ても、他の参加者から視線を返されないと発言しにくい状況が続いてしまう。このような観点から、会議参加者活性度評価部１７は、参加者ごとに視線移動数とアイコンタクト数に基づき、視線移動数の伸びのわりにアイコンタクト数が伸びない参加者を発言しにくさを感じている参加者として推定する。このため視線移動数に対するアイコンタクト数の比率に特定の閾値を設け、この閾値を超えるか否かで発言しにくさを感じている参加者であるか否かを判断するようにしてもよい。他の実施形態ではアイコンタクト数そのものに閾値を設け、この閾値を超えるか否かで発言しにくさを感じている参加者であるか否かを判断するようにしてもよい。

【0036】

会議促進支援部１８は、特定時間当たりの視線移動数が閾値より少ないと判断した場合、又は発言しにくさを感じている参加者が認められた場合、会議の参加者に発言を促すよう特定の刺激を発するように刺激発生手段３０を制御する。

【0037】

会議にはさまざまな形態がある。例えば、特に手元資料もないフリーディスカッションの場合、会話が主体となるため、会議の参加者は次々と変わる発言者を追って視線が移動し、視線移動数が多くなりやすい。これとは異なり、手元資料に基づき議論を進めるような会議では、資料を見ながら発言したり、他の参加者の発言の時も資料に目を向けたりする機会が増え、視線移動数は伸びにくい。視線移動数を特定の閾値で固定すると会議の形態によっては会議の盛り上がり状況を正しく評価できないことがある。そこで実施形態では会議の形態により視線移動数の閾値を変えるように設定する。同様に発言しにくさを感じている参加者の有無を、視線移動数に対するアイコンタクト数の比率における特定の閾値で判断する場合も、会議の形態によって閾値を変えて判断するようにしてもよい。実施形態では、予め会議の形態別の閾値管理表を作成して記憶部１３に保存し、オペレータの会議モードの選択に応じ対応する閾値を判断に使用する。

【0038】

会議促進支援部１８は、会議の形態によって変わる閾値により、特定時間当たりの視線移動数が閾値より少ないと判断した場合、又は発言しにくさを感じている参加者が認められた場合、刺激発生手段３０を介して会議の参加者に刺激を提供する。刺激が光の場合、刺激発生手段３０は例えば会議室の調光機能付きの照明であり、会議促進支援部１８は、刺激発生手段３０に照明光の色調を変更するか、明るさを変更する制御信号を出力する。

【0039】

また、刺激が音の場合、刺激発生手段３０は例えば会議室のスピーカであり、会議促進支援部１８は、刺激発生手段３０に音を発する制御信号を出力する。このとき提供する音としては鳥の鳴き声や波の音など自然音が好ましいが、これに限らない。ただし言語として認識できない音であることが望ましい。また音の大きさもあまり大きいとかえって会議の進行を妨げるため特定の大きさの範囲の音を提供するように制御する。

【0040】

刺激が風の場合、刺激発生手段３０は例えば会議室の空調装置であり、会議促進支援部１８は、刺激発生手段３０の提供する風の強さを変更するか、風の温度を変更する制御信号を出力する。
この他、刺激発生手段３０を介して提供する刺激としては匂いや香りであってもよい。またここで例示した刺激は単独に提供してもよいし、いくつかの刺激を組み合わせてもよい。

【0041】

刺激発生手段３０が提供する刺激は、特定の参加者に向けたものではなく、会議室の雰囲気に参加者が認識できる程度の変化を与えるものであるので、参加者は特に指名されて発言するときのような精神的な負荷を感じることがない。しかし、刺激の提供によって会議室の雰囲気が変わることにより、参加者の発言のきっかけとなりやすい。刺激発生手段３０が提供する刺激は、会議の活性度を向上するためのものであるため、会議の活性度が向上したと判断される場合は刺激の提供を行う前の状態に戻してもよい。また刺激は会議の活性度が向上するまでの間、一定である必要はなく、例えば１／ｆ揺らぎのように揺らぎを持たせて提供してもよい。

【0042】

参加者動作推定部１９は、参加者情報取得手段２０から取得する参加者情報に深度センサの点群データが含まれる場合、点群データから個々の参加者を識別し、個々の参加者に対する骨格情報を検出し、検出した骨格情報から頭部の動作を検出するデータを作成する。深度センサの点群データのみでは瞳の動きまでは検出できないので、頭部の向きを視線の向きとすることで頭部の動作を検出するデータから視線の動きを検出することができる。参加者動作推定部１９は、作成した頭部の動作を検出するデータを視線解析部１５に提供し、視線解析部１５で視線移動数とアイコンタクト数の検出に利用される。参加者情報取得手段２０から取得する参加者情報に深度センサの点群データが含まれない場合、参加者動作推定部１９は備えなくてもよい。

【0043】

入出力部１２は、参加者情報取得手段２０から参加者情報を取得したり、刺激発生手段３０に刺激を発する制御信号を出力したりするための有線又は無線の通信手段を含む。この他オペレータが会議のモードを入力するなどのデータ入力のためのキーボードやマウスなどを含む。
記憶部１３は、取得した参加者情報や視線解析部１５で検出した視線移動数又はアイコンタクト数などのデータを保存したり、会議支援装置１０自身の動作を制御する制御プログラムを保存したりする。記憶部１３はメモリＩＣやメモリモジュールなどにより実現される。

【0044】

表示部１４は、会議の形態別の閾値管理表、参加者情報、視線移動数又はアイコンタクト数などのデータを表示する。また必要により会議支援装置１０の制御プログラムなどのプログラムを表示する。表示部１４は液晶ディスプレイなどにより実現される。
制御部１１は、記憶部１３に保存した制御プログラムに従い、会議支援装置１０の各要素が上述の機能を果たすように制御する。

【0045】

図２は、本発明の実施形態による会議活性度向上支援システムの運用方法を模式的に説明する図である。
図２を参照すると、４人の参加者が会議室４０において会議中の様子が示される。実線または破線の矢印で示す視線（４１、４２）は視線解析部１５が検出した各参加者の視線の向きを示す。右側の２人の参加者の視線４１はそれぞれ左側の２人の参加者の顔に別々に向けられている。この状態では右側の２人の参加者の視線移動数はそれぞれ１回分がカウントされる。しかし左側の２人の参加者の視線４２は右側の２人の参加者の顔には向けられていないため、右側の２人の参加者のアイコンタクト数はカウントされない。
一方左側の２人の参加者の視線４２は互いに相手の顔を向いており、この状態で左側の２人の参加者の視線移動数及びアイコンタクト数は両参加者にそれぞれ１回分がカウントされる。

【0046】

このようにしてカウントした視線移動数及びアイコンタクト数に基づき、会議促進支援部１８が、特定時間当たりの視線移動数が閾値より少ないと判断した場合、又は発言しにくさを感じている参加者が認められた場合、会議の参加者に発言を促すよう刺激発生手段３０を介して特定の刺激が提供される。

【0047】

図２では、会議室４０の天井に刺激発生手段３０としてスピーカ３１、照明器具３２、空調装置３３が備えられている。これにより刺激が音であればスピーカ３１を通じて刺激が提供され、刺激が光であれば照明器具３２を通じて刺激が提供される。また刺激が風であれば空調装置３３を通じて刺激が提供される。刺激は光と音のように組み合わせて提供してもよい。
こうした刺激により会議室４０の環境が変化することで参加者の発言が促され会議の活性度が向上することが期待される。

【0048】

図３は、本発明の実施形態による会議の形態別閾値管理表を例示的に示す図である。
図３を参照すると、本発明の実施形態による会議の形態別閾値管理表５０は会議のモード５１、会議の形態５２、及び閾値５３の各欄を有し、閾値５３は視線移動数の閾値５４とアイコンタクト数の閾値５５の欄を含む。

【0049】

会議のモード５１は会議支援装置１０のオペレータが選択しやすいように会議の形態５２に対応して個別に付与した番号である。モード「１」は会議の形態５２がフリーディスカッションの場合である。この時の閾値５３は視線移動数の閾値５４としてＴａ１、アイコンタクト数の閾値５５としてＴｂ１が設定されている。同様にモード「２」は会議の形態５２が配布資料に基づく会議、モード「３」は会議の形態５２がプロジェクターによる投影資料に基づく会議、モード「４」は会議の形態５２がホワイトボードの書き込みを伴う会議、モード「５」は会議の形態５２が付せんによるアイデア創出のディスカッションを例示している。また、それぞれの会議のモード５１ごとに視線移動数の閾値５４とアイコンタクト数の閾値５５が記載されている。

【0050】

モード「１」のフリーディスカッションは一般に互いの顔を見ながら話をする機会が多く、視線移動数やアイコンタクト数が高くなりやすい会議の形態５２であるのに対し、例えばモード「２」の配布資料に基づく会議では、手元資料に目を向けながら話をしたり、他の参加者の話を聞いたりする機会が増えて視線移動数やアイコンタクト数はフリーディスカッションよりは少なくなりやすい。モード「３」やモード「４」は参加者が共通の投影資料やホワイトボードに着目している機会が増えるため、これもフリーディスカッション程には視線移動数やアイコンタクト数が伸びにくい。そこでフリーディスカッションのように視線移動数やアイコンタクト数が高くなりやすい会議では閾値５３を高めに設定し、そのほかのモードもそれぞれ会議のモード５１ごとに事前評価などにより閾値５３を設定する。
このように、実施形態では会議の形態５２別に閾値５３の設定値を変え、会議の形態５２ごとに会議の活性度を評価し、その評価結果に応じて会議が活性化するように支援する。

【0051】

図４は、会議の活性状況と会議中の参加者の視線移動数の対応関係を例示的に示す図である。
図４は、４名の参加者でフリーディスカッションの会議を行った際、参加者間で会話が継続した場合と、沈黙が続いた場合のそれぞれで継続時間に対する視線移動数を一人当たりの平均値として示した図である。図中丸印で示すのが、会話が継続した場合であり、三角形のマーカーで示すのが、沈黙が続いた場合の視線移動数である。図中にはそれぞれの場合の回帰直線も併せて示している。

【0052】

図４を参照すると、会話が継続した場合は継続時間が長いとそれに応じて視線移動数は増加する傾向がみられるが、沈黙が続いた場合は継続時間が長くなっても視線移動数はわずかに増加する程度であり、両者の間には明確に差が認められる。そこで例えば２０秒間に視線移動数が２回未満の状態を沈黙の状態と判断することもできる。
このように予め会議の形態５２別に視線移動数を評価することで、視線移動数の閾値５４を求めることができる。また会議の形態５２別に実績を積み上げ、その平均値などから適宜視線移動数の閾値５４を改定するようにしてもよい。

【0053】

図５は、会議中の発言数の違いによる視線移動数とアイコンタクト数の関連を例示的に示す図である。
図５は、会議中のある１０分間の各参加者の視線移動数とアイコンタクト数を集計したものである。図中丸印で示すのが、１０分間の中で２０回以上発言があった参加者の視線移動数に対するアイコンタクト数を示し、三角形のマーカーで示すのが、１０分間の中で発言が２０回未満であった参加者の視線移動数に対するアイコンタクト数を示す。２０回以上発言があった参加者のアイコンタクト数は、視線移動数が増えるとともに増加する傾向があるのに対し、発言が２０回未満であった参加者のアイコンタクト数は、視線移動数が増えても増えていない。この状況から、例えば、発言が２０回未満であった参加者は、他の参加者の顔を見てもアイコンタクトが得られないと発言のきっかけがつかみにくいことが想定される。そこでこのような参加者を発言しにくさを感じている参加者と推定することができる。

【0054】

一実施形態では、発言しにくさを感じている参加者を判断するのに、視線移動数に対するアイコンタクト数の比率をアイコンタクト数の閾値５５として特定の値に設定する。他の実施形態では、アイコンタクト数の絶対値をアイコンタクト数の閾値５５として特定の値に設定する。
発言しにくさを感じている参加者に対するアイコンタクト数の閾値５５も、初期的な評価により求めて設定してもよいし、その後の実績値を積み上げ、その平均値などから適宜アイコンタクト数の閾値５５を改定するようにしてもよい。

【0055】

図６は、会議中の刺激として様々な音を提供した場合の会話のしやすさを主観的に評価した結果の事例を示す図である。
図６は、ワーカーと学生からなる参加者の内、１組当たり４名の参加者による会議を行い、会話が途切れた段階で刺激として様々な音を提供し、会話が再開した段階で音の提供を止めるようにして、会議終了後に各参加者がそれぞれの音に対して、会話のしやすさを主観的に評価した結果を被験者属性別にまとめたものである。

【0056】

提供した音はブラウンノイズ、内容が聞き取れない会話雑音であるヒューマンスピーチライクノイズ、鳥の鳴き声と波の音などを含む自然音であり、それぞれ３０ｄＢと４０ｄＢの２種類の音の強さで提供したものである。これを比較のための刺激を与えない状況、即ち室内暗騒音のみの場合と比較している。

【0057】

被験者属性がワーカーの場合、会話のしやすさは、いずれの音も３０ｄＢの大きさであれば平均値が室内暗騒音の場合よりもわずかに上昇し、音の種類としては自然音がやや評価が高い結果となっている。一方被験者属性が学生の場合、いずれの音も３０ｄＢの大きさであれば平均値が室内暗騒音の場合よりも上昇し、やはり自然音の評価が高い。また学生の場合４０ｄＢの大きさの音はいずれの音も３０ｄＢの大きさよりも評価が低く、むしろ話しやすさを損なう大きさであることが見て取れる。
このように会話が途切れた段階で適切な大きさの刺激となる音を提供することにより、刺激となる音の無い時に比べ、会話のしやすさを改善する効果が得られることが確認された。

【0058】

図７は、会議中の刺激として様々な音を提供した場合の緊張しにくさを主観的に評価した結果の事例を示す図である。
図７も、ワーカーと学生からなる参加者の内、１組当たり４名の参加者による会議を行った結果であり、会話が途切れた段階で刺激として様々な音を提供し、会話が再開した段階で音の提供を止めるようにして、会議終了後に各参加者がそれぞれの音に対して、緊張しにくさを主観的に評価した結果を被験者属性別にまとめたものである。
提供した音の種類や条件は図６の場合と変わらない。

【0059】

被験者属性がワーカーの場合、緊張しにくさは、刺激となる音を提供しても明確な改善効果は認められない。しかし被験者属性が学生の場合、刺激となる音を提供した方が緊張しにくさが増加する傾向があり、特に、ヒューマンスピーチライクノイズと自然音で評価が高くなっている。また図６の会話のしやすさとは逆に３０ｄＢの大きさよりも、４０ｄＢの大きさの音の方が、評価が高くなっている。
このように会話が途切れた段階で適切な大きさの刺激となる音を提供することにより、刺激となる音の無い時に比べ、緊張のしにくさを改善する効果が得られることが確認された。

【0060】

図８は、本発明の実施形態による会議活性度向上支援システムの運用方法を説明するためのフローチャートである。
図８では、会議支援装置１０が、参加者情報取得手段２０から参加者情報を取得して、会議の活性度を評価し、支援が必要とされるタイミングで会議の活性度の向上を支援する方法が示される。

【0061】

図８を参照すると、段階Ｓ８００にて、参加者情報取得手段２０は、会議の参加者の参加者情報を取得する。参加者情報は会議の参加者の位置と視線を求めることができる情報であり、例えば参加者の位置及び目の動きが確認できるようなカメラによる画像データである。また他の例では、参加者情報は、参加者の位置及び頭の向きの状態が把握できる深度センサによる点群データである。このため、参加者情報取得手段２０は、カメラでもよく、深度センサでもよい。

【0062】

参加者情報取得手段２０は、取得した参加者情報を、段階Ｓ８１０にて会議支援装置１０に出力する。さらに続けて参加者情報取得手段２０は、段階Ｓ８２０にて処理終了かどうかを判断し、会議が継続する場合は段階Ｓ８００に戻って参加者情報の取得と出力を繰り返す。

【0063】

図８では参加者情報取得手段２０が処理終了の判断手段を備えるように示したが、参加者情報取得手段２０は会議の開催時間中継続的に参加者情報を取得して出力できればよく、一実施形態では会議支援装置１０からの終了指示を受けて、参加者情報の取得と出力を終了するようにする。またこれに限らず、会議終了のタイミングでオペレータの操作により参加者情報の取得と出力を終了するような構成であってもよい。

【0064】

会議支援装置１０では、参加者情報取得手段２０からの参加情報を受信すると、段階Ｓ８３０にて参加者情報である会議の参加者の画像から視線移動数とアイコンタクト数を検出する。会議支援装置１０は、参加者情報がカメラによる画像データではなく、深度センサによる点群データの場合は会議支援装置１０内で深度センサによる点群データに基づき、個々の参加者を識別し、個々の参加者に対する骨格情報を検出し、検出した骨格情報から頭部の動作を検出するデータを作成する。さらに頭部の動作を検出するデータに基づき視線の動きを求めて当該参加者の視線移動数とアイコンタクト数を検出する。

【0065】

次いで会議支援装置１０は段階Ｓ８４０にて特定時間当たりの視線移動数から会議の活性度に相当する会議の盛り上がりを推定する。前述のように視線移動数は会議の形態５２によって変わりうる。そのため実施形態では、会議支援装置１０は、予め図３に示したような会議の形態別閾値管理表５０を保存しておき、開催される会議の形態５２に応じ、段階Ｓ８３０で検出した視線移動数により会議の活性度を評価する。この場合、会議支援装置１０は、評価する会議がどの形態であるかを識別する必要がある。そこで会議支援装置１０は会議の開催時に、オペレータからの会議のモード５１の入力を受け付け、入力されたモード５１に対応する視線移動数の閾値５４を用いて会議の活性度を評価する。

【0066】

さらに会議支援装置１０は段階Ｓ８５０にて視線移動数とアイコンタクト数から発言しにくさを感じている参加者を推定する。この場合も段階Ｓ８４０と同様に、会議支援装置１０は、会議の開催時に、オペレータから受け付けた会議のモード５１に基づき会議の形態別閾値管理表５０から対応するアイコンタクト数の閾値５５を用いて発言しにくさを感じている参加者を推定する。

【0067】

このように会議支援装置１０は特定時間当たりの視線移動数が視線移動数の閾値５４を上回るか否か、アイコンタクト数がアイコンタクト数の閾値５５を上回るか否かで会議が活性か否かを評価することができる。この結果、特定時間当たりの視線移動数が視線移動数の閾値５４を下回るか、又はアイコンタクト数がアイコンタクト数の閾値５５を下回って、発言しにくさを感じている参加者がいると判断された場合、会議が活性でない、即ち支援が必要なタイミングであると判断し、段階Ｓ８６０にて特定の刺激を提供することを指示する。刺激の提供の指示は、刺激の内容に対応した刺激発生手段３０に出力される。刺激の内容が予め決まっている場合は、刺激発生手段３０は固定されたものでよい。

【0068】

また例えば刺激の内容が会議の形態５２ごとに決まっている場合は、会議の形態別閾値管理表５０に刺激発生手段３０の種類を関連付け、オペレータから受け付けた会議のモード５１に基づき刺激発生手段３０を確認し、確認した刺激発生手段３０に刺激の提供の指示を出力するようにしてもよい。
この他、会議支援装置１０は、会議の開催時に、オペレータから刺激の種類の入力を受け付け、受け付けた刺激の種類に基づき、対応する刺激発生手段３０に刺激の提供の指示を出力するようにしてもよい。

【0069】

最後に段階Ｓ８７０にて、会議支援装置１０は、会議が終了したか否かを判断し、会議が終了していないと判断された場合は段階Ｓ８３０の前に戻り再び参加者情報を受信し段階Ｓ８３０からの処理を繰り返す。段階Ｓ８６０で支援が必要なタイミングであると判断し、刺激の提供を指示した後の段階Ｓ８３０からの処理の繰り返しの中で、会議の活性度が向上し、特定時間当たりの視線移動数が視線移動数の閾値５４を上回り、アイコンタクト数がアイコンタクト数の閾値５５を上回って、発言しにくさを感じている参加者がいないと判断された場合、会議支援装置１０は、刺激の提供を止めることを刺激発生手段３０に指示する。

【0070】

段階Ｓ８７０で会議の終了の場合は会議支援装置１０の処理を終了する。会議の終了の判断は予め設定した会議の終了予定時刻で自動的に終了とするようにしてもよいし、会議終了に伴いオペレータの判断により終了処理がなされてもよい。

【0071】

以上、本発明の実施形態について図面を参照しながら詳細に説明したが、本発明は、上述の実施形態に限定されるものではなく、本発明の技術的範囲から逸脱しない範囲内で多様に変更することが可能である。

【符号の説明】

【0072】

１ 会議活性度向上支援システム
１０ 会議支援装置
１１、２１ 制御部
１２、２２ 入出力部
１３、２３ 記憶部
１４ 表示部
１５ 視線解析部
１６ 会議活性度評価部
１７ 会議参加者活性度評価部
１８ 会議促進支援部
１９ 参加者動作推定部
２０ 参加者情報取得手段
２４ 画像データ取得部
２５ 深度データ取得部
３０ 刺激発生手段
３１ スピーカ
３２ 照明器具
３３ 空調装置
４０ 会議室
４１、４２ 視線
５０ 会議の形態別閾値管理表
５１ 会議のモード
５２ 会議の形態
５３ 閾値
５４ 視線移動数の閾値
５５ アイコンタクト数の閾値

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】