特許 7324224 会議支援システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-08-01

(45)【発行日】2023-08-09

(54)【発明の名称】会議支援システム

(51)【国際特許分類】

   G06F 3/01 20060101AFI20230802BHJP

   G06F 3/16 20060101ALI20230802BHJP

   G10L 15/00 20130101ALI20230802BHJP

   G06T 7/20 20170101ALI20230802BHJP

【ＦＩ】

G06F3/01 570

G06F3/16 650

G10L15/00 200U

G06T7/20 300Z

【請求項の数】 4

(21)【出願番号】P 2020553695

(86)(22)【出願日】2019-09-30

(86)【国際出願番号】 JP2019038647

(87)【国際公開番号】W WO2020090324

(87)【国際公開日】2020-05-07

【審査請求日】2022-09-02

(31)【優先権主張番号】P 2018206524

(32)【優先日】2018-11-01

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】393030626

【氏名又は名称】株式会社新日本科学

(74)【代理人】

【識別番号】100116850

【弁理士】

【氏名又は名称】廣瀬 隆行

(74)【代理人】

【識別番号】100165847

【弁理士】

【氏名又は名称】関 大祐

(72)【発明者】

【氏名】永田 良一

【審査官】塩屋 雅弘

(56)【参考文献】

【文献】特開２０１６－１４６５４７（ＪＰ，Ａ）

【文献】国際公開第２０１１／０１３６０５（ＷＯ，Ａ１）

【文献】特開２００７－３３６４４５（ＪＰ，Ａ）

【文献】特開平７－１５７１１（ＪＰ，Ａ）

【文献】特開２０１２－２４４２８５（ＪＰ，Ａ）

【文献】特開２００８－２９４６９０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／１６

Ｇ１０Ｌ １５／００

Ｇ０６Ｔ ７／２０

(57)【特許請求の範囲】

【請求項1】

音声の入力を受け取る複数の音声入力手段と，
前記複数の音声入力手段のそれぞれのＯＮ／ＯＦＦを制御する前記複数の音声入力手段のそれぞれに対応した複数のＯＮ／ＯＦＦ制御手段と，
前記複数の音声入力手段のそれぞれに対応する参加者の挙手位置を認識する挙手認識手段と，
特定の者の指定方向を認識する指定方向認識手段と，
前記挙手認識手段が認識した参加者の挙手位置と，前記指定方向認識手段が認識した特定の者の指定方向とが一致した場合に，当該参加者に対応する音声入力手段のＯＮ／ＯＦＦ制御手段をＯＮにする発言者決定手段と，
を有する，会議支援システム。

【請求項2】

請求項１に記載の会議支援システムであって，
時間を計測する計時手段と，
前記発言者決定手段が決定した音声入力手段への音声入力が一定時間ない場合に，当該音声入力手段に対応したＯＮ／ＯＦＦ制御手段を用いて，当該音声入力手段をＯＦＦに制御するＯＦＦ制御手段とをさらに有する，
会議支援システム。

【請求項3】

請求項１に記載の会議支援システムであって，
前記特定の者の音声の入力を受け取る司会者音声入力手段と，
前記司会者音声入力手段が受け取った前記特定の者の音声を認識する司会者音声認識手段と，
前記司会者音声認識手段が認識した前記特定の者の音声を解析する司会者音声解析手段とをさらに有し，
前記発言者決定手段は，
前記司会者音声解析手段が解析した前記特定の者の音声を考慮して，ＯＮにする音声入力手段を決定する会議支援システム。

【請求項4】

請求項１に記載の会議支援システムであって，
前記複数の音声入力手段のそれぞれに対応する参加者の心拍数を測定する複数の心拍数センサをさらに有し，
前記複数の心拍数センサが測定した心拍数の測定値を考慮して，ＯＮにする音声入力手段を決定する会議支援システム。

【発明の詳細な説明】

【技術分野】

【0001】

この発明は，会議支援システムに関する。

【背景技術】

【0002】

特開平７－１５７１１号公報には，発言者自動撮影装置が記載されている。この装置は，マイクなどの音声入力手段に入力された音声信号のうち最大の入力信号レベルにあるものを発言者として決定するものである。

【先行技術文献】

【特許文献】

【0003】

【文献】特開平７－１５７１１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

従来の会議支援システムは，基本的には，マイクに最も大きな音声を発したものを発言者として決定するシステムであった。このシステムは，大声の怒号（やじ）を発するものを含め，会議の進行を著しく阻害する者が発言者とされてしまい，司会者の意思に反し，会議を妨げるという問題があった。例えば，株主総会といった会議では，いわゆる総会屋や怒りを持った株主が大声を出すため，従来の会議支援システムを採用すると，これらの者が発言者とされてしまうので，株主総会が混乱してしまうという問題があった。

【課題を解決するための手段】

【0005】

この明細書の複数の実施態様の一つは，発言者の挙手と，司会者の指示方向とをマッチングさせ，マッチングした発言者のマイクのみをＯＮとすることで，司会者の意図する者を効果的に発言者として決定できるという知見に基づく。

【0006】

このシステムは，会議出席者用の複数のマイクを有する。
そして，このシステムは，その複数のマイクの電源を個別にＯＮ／ＯＦＦ制御（電源を入れたり，電源を切ったり）できるようにされている。電源がＯＮの状態でマイクに話しかけると，音声が拡張されて会議全体に伝わるようになる。
このシステムは，参加者が発現のために挙手した位置を認識する。また，司会者が手などを用いて指定した方向を認識する。
そして，このシステムは，参加者の挙手位置と，司会の指定した方向を認識して，それらが一致した領域のマイクの電源をＯＮとなるように制御する。

【0007】

このシステムのある実施態様では，マイクへ一定時間音声の入力がない者については，マイクの電源をＯＦＦにする。例えば，司会者が指定した方向に，複数の参加者が挙手していた場合，複数の者のマイクがＯＮとなるか，ＯＮとなる候補となる。一方，マイクへ一定時間音声の入力がないとＯＦＦにするようにすれば，例えば，複数のマイクがＯＮとなってしまった場合であっても，発言者以外のマイクがＯＦＦに制御される。また，発言者が発現し終わった場合に，自動的にマイクの電源がＯＦＦとなる。

【0008】

このシステムのある実施態様では，司会者の音声を認識し，その司会者の音声を用いて，ＯＮにするマイクを選択する。上記の通り，マイクがＯＮとなる候補が複数存在する場合，司会者の意図を反映し，ＯＮとなるマイクを選択できる。

【0009】

このシステムのある実施態様では，参加者の心拍数を測定する心拍数センサを有している。心拍数センサを有しているので，異常に興奮している者の発言を遮ることができる。また，発現しようとするものは，少なからず緊張するので，心拍数センサを用いれば，適切な発言をしそうな者に発言させることができることとなる。

【発明の効果】

【0010】

この明細書の複数の実施態様の一つによれば，発言者の挙手と，司会者の指示方向とをマッチングさせ，マッチングした発言者のマイクのみをＯＮとすることで，司会者の意図する者を効果的に発言者として決定できる会議支援システムを提供できる。

【図面の簡単な説明】

【0011】

【図1】図１は，会議支援システムが，発言者を決定するまでの処理を示す，ある実施態様に関するフローチャートである。

【図2】図２は，発言者決定工程の例を示すフローチャートである。

【図3】図３は，会議参加者の例を示す概念図である。

【図4】図４は，司会者の求めに応じ複数人が挙手をして，挙手をした参加者の中から司会者が司会者の腕を用いて，発言者を指定したことを示す概念図である。

【図5】図５は，コンピュータが，司会者の指定領域を把握した様子を示す概念図である。

【図6】図６は，司会者の指定方向を調整した例を示す概念図である。

【発明を実施するための形態】

【0012】

以下，図面を用いて本発明を実施するための形態について説明する。本発明は，以下に説明する形態に限定されるものではなく，以下の形態から当業者が自明な範囲で適宜修正したものも含む。

【0013】

この明細書に開示されるある実施態様である会議支援システムは，複数の音声入力手段と，複数のＯＮ／ＯＦＦ制御手段と，挙手認識手段と，指定方向認識手段と，発言者決定手段と，を有する。

【0014】

複数の音声入力手段は，参加者からの音声の入力を受け取るための手段である。複数の音声入力手段の例は，マイクである。会議室支援システムは，マイクからの音声を出力する音声出力手段を有していることが好ましい。音声出力手段の例は，スピーカ，イヤホン又はヘッドセットである。マイクは，会議室の各机の上に設置されてもよい。また，マイクは，携帯型のマイクであってもよい。マイクが会議室の机に設置されている場合，各マイクはＩＤ情報とともに外部装置により管理されればよい。また，マイクが携帯型の場合は，ＩＤ情報により制御されてもよいし，各マイクがアンテナなどの送信器とＧＰＳなどの位置情報発信装置を有しており，各マイクが外部装置により認識できるようにされていることが好ましい。

【0015】

ＯＮ／ＯＦＦ制御手段は，複数の音声入力手段のそれぞれのＯＮ／ＯＦＦを制御するための手段である。ＯＮ／ＯＦＦは，例えば，電源が入っている状態と，電源が切られている状態とを意味する。マイクがＯＮ状態では，参加者の音声を集めて，音声をシステム内に入力させることができる。この音声は，スピーカなどへ伝えられる。一方，マイクがＯＦＦ状態では，マイクが収音できず，参加者の発言が入力されないこととなる。

【0016】

マイクが携帯型の場合は，外部からの信号を受け取り，外部からマイクのＯＮ／ＯＦＦを制御できるようにされているものが好ましい。この場合，マイクがアンテナを有しており，外部からの無線信号を受信して，受信した無線信号に基づいて，マイクをＯＮ／ＯＦＦ制御できるようにされていればよい。携帯型のマイクは，例えば，会議の受付などで参加者に配布されればよい。

【0017】

挙手認識手段は，複数の音声入力手段のそれぞれに対応する参加者の挙手位置を認識するための手段である。

【0018】

挙手認識手段のひとつの態様は，参加者を撮影する撮影手段やセンサである。撮影手段の例は，カメラである。センサの例は，赤外線センサである。会議室内の挙手に相当する高さ位置を複数方向から撮影又はセンシングできるように設定しておき，複数方向からの撮影情報やセンシング情報から，挙手を行った参加者の位置を特定できるようにしておけばよい。例えば，四角形の会議室の場合，縦方向にカメラ又は複数の赤外線センサを設置するとともに，横方向にもカメラ又は複数の赤外線センサを設置する。すると，画像解析を行うか，センシング情報を集約することで，挙手を行った参加者の位置を特定できるようになる。

【0019】

挙手認識手段のひとつの態様は，発信機を有するものである。参加者の利き腕に装着する発信機は，腕輪状や時計状であってもよいし，指輪状であってもよい。また，例えば，参加者の肩や腕の動きをセンシングして，アンテナなどの送信部からセンシング情報を発信する物であってもよい。このようなものは，マイク装置と一体となっていてもよい。すると，センサが肩の動きや腕の動きに基づく情報を測定し，アンテナから送信する。外部装置は，アンテナから送信されたセンシング情報（及びマイクのＩＤ情報）を受け取って，挙手されたか否かを判断する。このようにすることで，参加者に悟られず，挙手の有無を解析できる。センサの例は，６軸センサ，（３軸）ジャイロセンサ，及び（３軸）加速度センサである。６軸センサは，加速度，向き，及び回転を検出することができ，さらに移動距離や移動速度も算出できるセンサである。センサの別の例は，圧力を感知するセンサ，地磁気センサ，ＧＰＳ（グローバル・ポジショニング・システム）センサである。送信部は，センサからセンシング情報を受け取ることができるように，センサと接続されている。そして，送信部は，センサから受け取ったセンシングデータを，外部装置へ向けて送信する。センシングデータには，センサの種類に応じて，センサが観測した，参加者の加速度データや角速度データなどが含まれていてもよい。

【0020】

指定方向認識手段は，司会者など特定の者の指定方向を認識するための手段である。指定方向認識手段は，司会者などの位置をも認識することが好ましい。これにより，司会者が指定する方向（又は領域）を認識できる。例えば，司会者が挙手した参加者に向けて腕で指した場合に，その腕の方向を認識するための手段である。指定方向認識手段は，カメラや赤外線センサによって実現されてもよい。また，指定方向認識手段は，司会者など特定の者に取り付けられたセンサと発信器により実現されてもよい。指定方向認識手段は，挙手認識手段と同様に実現できる。

【0021】

発言者決定手段は，挙手認識手段が認識した参加者の挙手位置と，指定方向認識手段が認識した特定の者の指定方向とが一致した場合に，当該参加者に対応する音声入力手段のＯＮ／ＯＦＦ制御手段をＯＮにするための手段である。

【0022】

発言者決定手段は，例えばコンピュータにより実現できる。コンピュータは，入力部，出力部，制御部，演算部及び記憶部を有している。そして，記憶部に記憶された制御プログラムを読み出して，制御部が各種指令を出す。また，制御部は，記憶部に記憶された各種データを読み出し，読み出したデータや入力部から入力されたデータを用いて，演算部に各種演算を行わせる。演算部が演算処理して得られたデータは，適宜記憶部に記憶され，出力部から出力される。入力部は，コンピュータ内に，各種のデータを入れるための要素である。入力部の例は，キーボード，インターフェース，及びアンテナである。制御プログラムは，ハードウェアによって実現されてもよいし，記憶部に記憶されたコンピュータが読み取りできるプログラムであってもよいし，ＣＤ－ＲＯＭなどの記録媒体に記録されたコンピュータが読み取りできるプログラムであってもよい。

【0023】

このシステムは，参加者が発現のために挙手した位置を認識する。また，司会者が手などを用いて指定した方向を認識する。そして，このシステムは，参加者の挙手位置と，司会の指定した方向を認識して，それらが一致した領域のマイクの電源をＯＮとなるように制御する。
つまり，この方法は，参加者の挙手位置を認識する挙手認識工程と，
司会者など特定の者の指定方向を認識する指定方向認識工程と，
参加者の挙手位置と，特定の者の指定方向とが一致した場合に，当該参加者に対応する音声入力手段をＯＮにする発言者決定工程と，
を含む。

【0024】

図１は，会議支援システムが，発言者を決定するまでの処理を示す，ある実施態様に関するフローチャートである。

【0025】

挙手認識工程（Ｓ１０１）
挙手認識手段が，参加者の挙手位置を認識する。例えば，マイクは，各種センサとアンテナを含むので，センサがセンシングした肩や腕の変位情報を，アンテナを通じて，外部装置（コンピュータ）へ送信する。この際マイクのＩＤや位置情報を合わせて送信してもよい。すると，コンピュータは，アンテナを通じて，センシング情報を含む情報を受け取り，解析することで，そのマイクに対応した参加者の位置情報や，挙手の有無を把握できる。カメラや赤外線センサなど公知の方法を用いても，挙手認識工程を実現できる。

【0026】

指定方向認識工程（Ｓ１０２）
指定方向認識工程は，司会者などの位置や指定方向を認識するための工程である。
指定方向認識手段が，司会者などの位置や指定方向を認識する。具体的な方法は，挙手認識工程と同様である。

【0027】

発言者決定工程（Ｓ１０３）
参加者の挙手位置と，特定の者の指定方向とが一致した場合に，当該参加者に対応する音声入力手段をＯＮにするための工程である。
上記の通り，挙手認識工程で挙手をした参加者の位置が認識され，指定方向認識工程で司会者など特定の者の指定方向（領域）が認識される。

【0028】

司会者が指定した方向に幅がなければ，参加者を適切に指定することができない。そのため，司会者が指定した方向を認識するためには，司会者又は司会者の腕の位置を始点とし，腕や指示棒など方法である指定方向について，ある程度幅を持たせた領域を，司会者の指定方向をするようにコンピュータにより制御することが望ましい。幅を持たせる角度の例は，１°以上４０°以下であり，５°以上３０°以下でもよいし，５°以上２０°以下でもよい。例えば２０°の幅を持たせる場合，始点から実際の指定方向を中心に，左右１０°ずつの領域を指定方向として認識すればよい。

【0029】

図２は，発言者決定工程の例を示すフローチャートである。

【0030】

この例では，特定の者の指定方向（領域）に含まれる挙手した参加者が１名か否か判断される（Ｓ２０１）。
特定の者の指定方向（領域）に含まれる挙手した参加者が１名の場合（Ｓ２０１でＹＥＳの場合）は，その参加者が発言者として決定され，その参加者に対応するマイクがＯＮとされる（Ｓ２０２）。
特定の者の指定方向（領域）に含まれる挙手した参加者が１名の場合（Ｓ２０１でＮＯの場合）は，特定の者の指定方向（領域）に含まれる挙手した参加者が０名か否か判断される（Ｓ２０３）。

【0031】

図３は，会議参加者の例を示す概念図である。この例では，司会２が一人と，複数の参加者４が存在している。会議が始まると，司会者２が参加者に挙手を求める。図４は，司会者の求めに応じ複数人が挙手をして，挙手をした参加者の中から司会者が司会者の腕を用いて，発言者を指定したことを示す概念図である。この例では，挙手をした者６に対し，司会者が「そこの方どうぞ」といった発声とともに，発言を求めたものを腕で指示している。図においては，司会者が指定した方向８が破線で示されている。図５は，コンピュータが，司会者の指定領域を把握した様子を示す概念図である。コンピュータは，挙手をした参加者６の位置を把握している。また，コンピュータは，司会者２の位置を把握している。さらに，コンピュータは，司会者の指示した方向を求め，その求めた方向を用いて，司会者の指定方向が示す領域１０を求める。すると，図５の場合では，司会者の指定方向である領域１０には，挙手をした者が3名含まれることとなる。この挙手をした者６のうち司会者の指定方向である領域１０に含まれる者は，発言者の候補１２といえる。図６は，司会者の指定方向を調整した例を示す概念図である。この例では，発言者の候補者１２が1名に絞られている。

【0032】

特定の者の指定方向（領域）に含まれる挙手した参加者が０名の場合（Ｓ２０３でＹＥＳの場合）は，発言者が決定されない（Ｓ２０４）。この場合，例えば，他のアルゴリズムにより発言者を決定すればよい。例えば，司会者の実際の指示方向に対し，幅を持たせる領域（角度）を所定の角度ずつ（例えば１°ずつ）増やし，ステップ２０１からの処理工程を繰り返してもよい。また，この処理により発言者を特定することができなかったとして，全ての参加者のマイクをＯＮにしてもよい。さらに，以下に説明するいずれかの処理を用いて発言者を決定してもよい。

【0033】

特定の者の指定方向（領域）に含まれる挙手した参加者が０名でもない場合（Ｓ２０３でＮＯの場合）は，複数の参加者が発言者の候補となる（Ｓ２０５）。この場合，複数の者全員に対応したマイクを全てＯＮにしてもよいし，さらに，他のアルゴリズムを用いて，発言者の候補者を減らし，発言者を決定するようにしてもよい。

【0034】

この明細書に記載される他の実施態様は，時間を計測する計時手段１３と，発言者決定手段が決定した音声入力手段への音声入力が一定時間ない場合に，当該音声入力手段に対応したＯＮ／ＯＦＦ制御手段を用いて，当該音声入力手段をＯＦＦに制御するＯＦＦ制御手段１５とをさらに有する，会議支援システムである。計時手段１３は，コンピュータが通常有している手段である。

【0035】

この実施態様では，マイクへ一定時間音声の入力がない者については，マイクの電源をＯＦＦにする。例えば，司会者が指定した方向に，複数の参加者が挙手していた場合（Ｓ２０５の場合），複数の者のマイクを一度ＯＮとすればよい，そして，マイクへ一定時間音声の入力がない者のマイクをＯＦＦにするようにすればよい。このようにすれば，複数のマイクがＯＮとなってしまった場合であっても，発言者以外のマイクがＯＦＦに制御される。この一定時間については，計時手段１３が計測すればよい。例えば，Ｓ２０５による発言者の候補を決定した後，各候補のマイクからの入力を測定し，計時手段１３が計測した一定期間の間，一定レベル以上の（閾値以上の）音声入力がない場合は，そのマイクに対応する参加者を発言者ではないと判断し，マイクをＯＦＦにすればよい。また，計時手段１３を有すると，発言者が発現し終わった場合に，一定時間，一定レベル以上の（閾値以上の）音声入力がない場合は，自動的にマイクの電源がＯＦＦとなるように制御すればよい。

【0036】

この明細書に記載される他の実施態様は，特定の者の音声の入力を受け取る司会者音声入力手段１７と，司会者音声入力手段１７が受け取った特定の者の音声を認識する司会者音声認識手段１９と，司会者音声認識手段１９が認識した特定の者の音声を解析する司会者音声解析手段２１とをさらに有するものである。発言者決定手段は，司会者音声解析手段２１が解析した特定の者の音声を考慮して，ＯＮにする音声入力手段を決定する。

【0037】

例えば，特許第４５５１１０５号公報には，音声認識を用いた会議支援システムが開示されている。このように音声認識を用いた会議支援システムは公知である。つまり公知の技術を用いて，司会者音声入力手段１７と，司会者音声認識手段１９と，司会者音声解析手段２１とを実現できる。例えば，机にマイクが設置されている場合や，マイクが位置情報を発信するタイプのもの（例えば携帯式のマイク）の場合は，外部装置であるコンピュータが，マイクの位置を把握している。そして，例えば，司会者が，「右列」の「後ろの方」の方「どうぞ」という発言をした場合，音声認識がなされ，「右列」の「後ろの方」が特定される。この情報を用いれば，司会者の指定する領域をさらに狭めることができる。つまり，前の方にいる参加者は，かりに発言者の候補者とされていても，発言者からは除かれることとなる。

【0038】

また，このシステムがカメラを有する場合（このカメラは挙手認識手段の一部であってもよい），このシステムは参加者の画像を認識できる。例えば，司会者が「青のネクタイ」の方「どうぞ」と発言した場合，カメラが認識した青のネクタイを着用した参加者が，発言者の候補の中から選択され，発言者として決定される。

【0039】

この明細書に記載される他の実施態様は，複数の音声入力手段のそれぞれに対応する参加者の心拍数を測定する複数の心拍数センサ２３ａ，２３ｂ，２３ｃをさらに有し，複数の心拍数センサ２３ａ，２３ｂ，２３ｃが測定した心拍数の測定値を考慮して，ＯＮにする音声入力手段を決定する会議支援システムである。

【0040】

心拍数センサは，いわゆるスポーツウォッチに搭載されている公知のものである。心拍数センサを用いれば，対象者の心拍数をリアルタイムに測定できる。心拍数センサは，送信器により心拍数に関する情報を（例えば，マイクに関する情報とともに）送信できるようにされていることが好ましい。

【0041】

コンピュータは，心拍数センサが測定した心拍数に関する情報を受け取る。そして，コンピュータは，心拍数を記憶部に記憶する。コンピュータは，心拍数の変動パターンと，それぞれの変動パターンに応じたユーザの心理状況に関する情報を記憶している。そして，コンピュータが，ある者の心拍数に変動があると判断した場合，変動パターンを読み出して，心理状況を把握する。たとえば，発言者の候補者が複数いる場合，コンピュータは，その候補者の心拍数に関する情報を読み出し，変動パターンを用いて，各候補者の審理分析を行う。複数の候補者のうち，司会者により指名された者は，自らが選択されたことを認識しているので，他の候補者とは異なった緊張状態となる。その緊張状態は，独夕の心拍数変動をもたらす。このため，心拍数センサを用いて，参加者の心拍数を測定することで，発言者を適切に決定できることとなる。

【産業上の利用可能性】

【0042】

この発明は会議支援システムとして，情報産業や事務機器産業において利用されうる。

【符号の説明】

【0043】

２ 司会者
４ 参加者
６ 挙手した者
８ 司会者の実際の指示方向
１０ 司会者の指示方向（領域）
１２ 発言者の候補者

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】