特許 7384730 会議支援システム、会議支援方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-11-13

(45)【発行日】2023-11-21

(54)【発明の名称】会議支援システム、会議支援方法、およびプログラム

(51)【国際特許分類】

   H04M 3/56 20060101AFI20231114BHJP

   G06F 3/16 20060101ALI20231114BHJP

   G10L 15/00 20130101ALI20231114BHJP

   G10L 25/78 20130101ALI20231114BHJP

   H04M 1/72478 20210101ALI20231114BHJP

【ＦＩ】

H04M3/56 Z

G06F3/16 610

G06F3/16 620

G06F3/16 650

G10L15/00 200U

G10L25/78

H04M1/72478

【請求項の数】 6

(21)【出願番号】P 2020060483

(22)【出願日】2020-03-30

(65)【公開番号】P2021158651

(43)【公開日】2021-10-07

【審査請求日】2022-10-11

(73)【特許権者】

【識別番号】000005326

【氏名又は名称】本田技研工業株式会社

(73)【特許権者】

【識別番号】507369936

【氏名又は名称】ホンダ太陽株式会社

(74)【代理人】

【識別番号】100165179

【弁理士】

【氏名又は名称】田▲崎▼ 聡

(74)【代理人】

【識別番号】100126664

【弁理士】

【氏名又は名称】鈴木 慎吾

(74)【代理人】

【識別番号】100154852

【弁理士】

【氏名又は名称】酒井 太一

(74)【代理人】

【識別番号】100194087

【弁理士】

【氏名又は名称】渡辺 伸一

(72)【発明者】

【氏名】住田 直亮

(72)【発明者】

【氏名】中塚 雅樹

(72)【発明者】

【氏名】中臺 一博

(72)【発明者】

【氏名】吉田 雄一

(72)【発明者】

【氏名】山内 崇資

(72)【発明者】

【氏名】眞浦 一也

(72)【発明者】

【氏名】日根野 恭佑

(72)【発明者】

【氏名】横尾 昇三

【審査官】田畑 利幸

(56)【参考文献】

【文献】特開２０１８－１７３７５２（ＪＰ，Ａ）

【文献】特開２０１９－１７９４８０（ＪＰ，Ａ）

【文献】特開２０１４－０８５９１６（ＪＰ，Ａ）

【文献】特開２００７－０５８６８１（ＪＰ，Ａ）

【文献】特開２０１３－０７０３０１（ＪＰ，Ａ）

【文献】米国特許第８１１６４３９（ＵＳ，Ｂ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｍ １／００

Ｈ０４Ｍ １／７２－ １／７２５１６

Ｈ０４Ｍ ３／３８－ ３／５８

Ｈ０４Ｍ １１／００－１１／１０

Ｇ１０Ｌ １３／００－１３／１０

Ｇ１０Ｌ １５／００－１７／２６

Ｇ１０Ｌ １９／００－９９／００

Ｇ０６Ｆ ３／１６

(57)【特許請求の範囲】

【請求項1】

第１の参加者が使用する会議支援装置と、第２の参加者が使用する端末と、を有する会議支援システムであって、
前記会議支援装置は、
前記第１の参加者の発話情報を取得する取得部と、
少なくとも前記第１の参加者の発話情報を表示する表示部と、
前記端末から待機要望を取得した場合に、前記第１の参加者の発話が途切れたか否か判定し、前記第１の参加者の発話が途切れたと判定した際、前記待機要望に応じて前記表示部の表示を変更する処理部と、
を備える会議支援システム。

【請求項2】

前記取得部は、前記第１の参加者の発話を収音する収音部であり、
収音された前記第１の参加者の発話情報に対して音声認識処理を行う音声認識部と、をさらに備え、
前記処理部は、前記音声認識部が前記第１の参加者の発話情報に対して音声認識処理を行った結果に基づいて、前記第１の参加者の発話が途切れたか否か判定する、
請求項１に記載の会議支援システム。

【請求項3】

前記会議支援装置の前記処理部は、
前記待機要望を受信した際、前記第１の参加者の発話が行われている場合、１つ前の発話に対して前記待機要望が行われたことを議事録に関連づけ、
前記待機要望を受信した際、前記第１の参加者の発話が行われていない場合、最新の発話に対して前記待機要望が行われたことを議事録に関連づける、
請求項１または請求項２に記載の会議支援システム。

【請求項4】

前記端末は、
前記待機要望を前記会議支援装置へ送信する操作部、を備える、
請求項１から請求項３のいずれか１項に記載の会議支援システム。

【請求項5】

第１の参加者が使用する会議支援装置と、第２の参加者が使用する端末と、を有する会議支援システムにおける会議支援方法であって、
前記会議支援装置の取得部が、前記第１の参加者の発話情報を取得し、
前記会議支援装置の表示部が、少なくとも前記第１の参加者の発話情報を表示し、
前記会議支援装置の処理部が、前記端末から待機要望を取得した場合に、前記第１の参加者の発話が途切れたか否か判定し、前記第１の参加者の発話が途切れたと判定した際、前記待機要望に応じて前記表示部の表示を変更する、
会議支援方法。

【請求項6】

表示部を有し第１の参加者が使用する会議支援装置と、第２の参加者が使用する端末と、を有する会議支援システムにおける前記会議支援装置のコンピュータに、
前記第１の参加者の発話情報を取得させ、
少なくとも前記第１の参加者の発話情報を表示させ、
前記端末から待機要望を取得した場合に、前記第１の参加者の発話が途切れたか否か判定させ、
前記第１の参加者の発話が途切れたと判定した際、前記待機要望に応じて前記表示部の表示を変更させる、
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、会議支援システム、会議支援方法、およびプログラムに関する。

【背景技術】

【0002】

従来より、会議などにおいて発話障害者や聴覚障害者（聴覚者）の理解を支援するために、発話音声を音声認識装置でテキストに変換して画面に表示する会議支援システムが提案されている（例えば、特許文献１参照）。
このような音声認識を用いたシステムでは、音声入力ごとにまとまった認識テキストがモニタや端末上に表示される。このテキストを読むことにより聴覚者は会議参加者の発言を理解することができる。なお、表示されるテキストは、新たなものが追加されていくことにより、画面上を流れていき、古いテキストは画面表示範囲の外に移動し見えなくなる。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１８－１７０７４３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

従来のシステムにおいては、参加者がテキストを読んでもすぐに理解が追い付かない場合があり、テキストが流れていってしまうと読めなくなったり、そのテキストを追うと今の発言を確認できない、という問題があった。
また、会議では、聴覚者または発話障害者が他者の発言に対して質問を行うとき、端末でテキスト入力を行う必要があるが、その分発言を待ってほしいという要望もある。しかしながら、聴覚者または発話障害者は、テキストの確認や入力のために、他の参加者の発言を遮ってしまうことにも抵抗感がある。

【0005】

本発明は、上記の問題点に鑑みてなされたものであって、会議などにおいて聴覚障害者や発話障害者の理解を支援することができる会議支援システム、会議支援方法、およびプログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

（１）上記目的を達成するため、本発明の一態様に係る会議支援システムは、第１の参加者が使用する会議支援装置と、第２の参加者が使用する端末と、を有する会議支援システムであって、前記会議支援装置は、前記第１の参加者の発話情報を取得する取得部と、少なくとも前記第１の参加者の発話情報を表示する表示部と、前記端末から待機要望を取得した場合に、前記第１の参加者の発話が途切れたか否か判定し、前記第１の参加者の発話が途切れたと判定した際、前記待機要望に応じて前記表示部の表示を変更する処理部と、を備える。

【0007】

（２）また、本発明の一態様に係る会議支援システムにおいて、前記取得部は、前記第１の参加者の発話を収音する収音部であり、収音された前記第１の参加者の発話情報に対して音声認識処理を行う音声認識部と、をさらに備え、前記処理部は、前記音声認識部が前記第１の参加者の発話情報に対して音声認識処理を行った結果に基づいて、前記第１の参加者の発話が途切れたか否か判定するようにしてもよい。

【0008】

（３）また、本発明の一態様に係る会議支援システムにおいて、前記会議支援装置の前記処理部は、前記待機要望を受信した際、前記第１の参加者の発話が行われている場合、１つ前の発話に対して前記待機要望が行われたことを議事録に関連づけ、前記待機要望を受信した際、前記第１の参加者の発話が行われていない場合、最新の発話に対して前記待機要望が行われたことを議事録に関連づけるようにしてもよい。

【0009】

（４）また、本発明の一態様に係る会議支援システムにおいて、前記端末は、前記待機要望を前記会議支援装置へ送信する操作部、を備えるようにしてもよい。

【0010】

（５）上記目的を達成するため、本発明の一態様に係る会議支援方法は、第１の参加者が使用する会議支援装置と、第２の参加者が使用する端末と、を有する会議支援システムにおける会議支援方法であって、前記会議支援装置の取得部が、前記第１の参加者の発話情報を取得し、前記会議支援装置の表示部が、少なくとも前記第１の参加者の発話情報を表示し、前記会議支援装置の処理部が、前記端末から待機要望を取得した場合に、前記第１の参加者の発話が途切れたか否か判定し、前記第１の参加者の発話が途切れたと判定した際、前記待機要望に応じて前記表示部の表示を変更する。

【0011】

（６）上記目的を達成するため、本発明の一態様に係るプログラムは、表示部を有し第１の参加者が使用する会議支援装置と、第２の参加者が使用する端末と、を有する会議支援システムにおける前記会議支援装置のコンピュータに、前記第１の参加者の発話情報を取得させ、少なくとも前記第１の参加者の発話情報を表示させ、前記端末から待機要望を取得した場合に、前記第１の参加者の発話が途切れたか否か判定させ、前記第１の参加者の発話が途切れたと判定した際、前記待機要望に応じて前記表示部の表示を変更させる。

【発明の効果】

【0012】

（１）～（６）によれば、少し待ってもらうことで、発話された内容を確認できるので、会議などにおいて聴覚障害者や発話障害者の理解を支援することができる。また、（１）～（６）によれば、待機要望を送信した後、実際に発話が止まるまでタイムラグがあるので、発話障害者または聴覚者の発言の入力時間を稼ぐことができる。
（２）によれば、話者に対して発話の途切れるタイミングで待機要望を表示するので、発話者の発話を阻害することなく、発話を止める心理的負担を低減することができる。
（３）によれば、待機要望に対応する発話が、発話障害者または聴覚者の理解に時間を要することが分かり、次回以降の会議の進め方の参考になる。
（４）によれば、発話障害者や聴覚障害者は、端末を操作して待機要望のテキスト入力を行わずに、待機ボタンを押すだけで待機要望を会議の参加者へ知らせることができる。

【図面の簡単な説明】

【0013】

【図1】実施形態に係る会議支援システムの構成例を示すブロック図である。

【図2】実施形態に係る会議例を示す図である。

【図3】実施形態に係る端末の表示部に表示される情報例を示す図である。

【図4】実施形態に係る会議支援装置の表示部に表示される情報例を示す図である。

【図5】実施形態に係る待機要望を受信した際に会議支援装置の表示部に表示される情報例を示す図である。

【図6】実施形態に係る会議支援システムの処理手順例を示すシーケンス図である。

【図7】実施形態に係る待機要望と解除要望時の会議支援システムの処理のフローチャートである。

【図8】実施形態に係る議事録・音声ログ記憶部が記憶する議事録の一例である。

【発明を実施するための形態】

【0014】

以下、本発明の実施の形態について図面を参照しながら説明する。

【0015】

まず、本実施形態の会議支援システムが使用される状況例を説明する。
本実施形態の会議支援システムは、２人以上が参加して行われる会議で用いられる。参加者のうち、発話が不自由な発話障害者または聴覚しょうがい者（以下、聴覚者という）が会議に参加していてもよい。発話可能な参加者は、マイクロフォンを用いて発話する。また、発話障害者または聴覚者は、端末（スマートフォン、タブレット端末、パーソナルコンピュータ等）を所持している。会議支援システムは、参加者の発話した音声信号に対して音声認識、テキスト化して、または発話障害者または聴覚者が端末を操作してテキスト入力したテキストを、会議支援装置の表示部と、発話障害者または聴覚者の端末にテキストを表示させる。

【0016】

図１は、本実施形態に係る会議支援システム１の構成例を示すブロック図である。
まず、会議支援システム１の構成について説明する。
図１に示すように、会議支援システム１は、入力装置１０、端末２０－１、端末２０－２、…、会議支援装置３０、音響モデル・辞書ＤＢ４０、および議事録・音声ログ記憶部５０を備える。端末２０－１、端末２０－２のうち１つを特定しない場合は、端末２０という。

【0017】

入力装置１０は、入力部１１－１、入力部１１－２、入力部１１－３、…を備える。入力部１１－１、入力部１１－２、入力部１１－３、…のうち１つを特定しない場合は、入力部１１という。
端末２０は、操作部２０１、処理部２０２、表示部２０３、および通信部２０４を備える。
会議支援装置３０は、取得部３０１、音声認識部３０２、テキスト変換部３０３（音声認識部）、係り受け解析部３０４、議事録作成部３０６、通信部３０７、操作部３０９、処理部３１０、および表示部３１１を備える。

【0018】

入力装置１０と会議支援装置３０とは、有線または無線によって接続されている。端末２０と会議支援装置３０とは、有線または無線によって接続されている。

【0019】

まず、入力装置１０について説明する。
入力装置１０は、利用者が発話した音声信号を会議支援装置３０に出力する。なお、入力装置１０は、マイクロフォンアレイであってもよい。この場合、入力装置１０は、それぞれ異なる位置に配置されたＰ個のマイクロフォンを有する。そして、入力装置１０は、収音した音からＰチャネル（Ｐは、２以上の整数）の音響信号を生成し、生成したＰチャネルの音響信号を会議支援装置３０に出力する。

【0020】

入力部１１は、マイクロフォンである。入力部１１は、利用者の音声信号を収音し、収音した音声信号をアナログ信号からデジタル信号に変換して、デジタル信号に変換した音声信号を会議支援装置３０に出力する。なお、入力部１１は、アナログ信号の音声信号を会議支援装置３０に出力するようにしてもよい。なお、入力部１１は、音声信号を、有線のコードやケーブルを介して、会議支援装置３０に出力するようにしてもよく、無線で会議支援装置３０に送信するようにしてもよい。なお、入力部１１は、オン状態とオフ状態を切り替えるスイッチを備えていてもよい。この場合、発話者は、発話開始時に入力部１１をオン状態にし、発話終了時にオフ状態に切り替えるようにしてもよい。そして、この場合は、会議支援装置３０へ出力される音声信号に発話開始を示す情報と発話終了を示す情報が含まれていてもよい。

【0021】

次に、端末２０について説明する。
端末２０は、例えばスマートフォン、タブレット端末、パーソナルコンピュータ等である。端末２０は、音声出力部、モーションセンサー、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ；全地球測位システム）等を備えていてもよい。

【0022】

操作部２０１は、利用者の操作を検出し、検出した結果を処理部２０２に出力する。操作部２０１は、例えば表示部２０３上に設けられたタッチパネル式のセンサー、またはキーボードである。

【0023】

処理部２０２は、操作部２０１が出力した操作結果に応じて送信情報を生成し、生成した送信情報を通信部２０４に出力する。送信情報には、会議の進行を待ってもらいたいことを示す待機要望、または待機状態の解除を希望する解除要望が含まれている。なお、送信情報には、端末２０の識別情報が含まれていてもよい。
処理部２０２は、通信部２０４が出力するテキスト情報を取得し、取得したテキスト情報を画像データに変換し、変換した画像データを表示部２０３に出力する。処理部２０２は、操作部２０１が操作された結果に基づいて入力されたテキスト情報を通信部２０４に出力する。なお、テキスト情報には、端末２０の識別情報が含まれている。処理部２０２は、操作部２０１が操作された結果に基づいて入力されたテキスト情報を画像データに変換し、変換した画像データを表示部２０３に出力する。なお、表示部２０３上に表示される画像については、図３を用いて後述する。

【0024】

表示部２０３は、例えば液晶表示装置、有機ＥＬ（エレクトロルミネッセンス）表示装置、電子インク表示装置等である。表示部２０３は、処理部２０２が出力した画像データを表示する。

【0025】

通信部２０４は、テキスト情報または議事録の情報を会議支援装置３０から受信し、受信した受信情報を処理部２０２に出力する。通信部２０４は、処理部２０２が出力した待機要望または解除要望を会議支援装置３０に送信する。通信部２０４は、処理部２０２が出力するテキスト情報を会議支援装置３０へ送信する。

【0026】

次に、音響モデル・辞書ＤＢ４０について説明する。
音響モデル・辞書ＤＢ４０には、例えば音響モデル、言語モデル、単語辞書等が格納されている。音響モデルとは、音の特徴量に基づくモデルであり、言語モデルとは、単語とその並び方の情報のモデルである。また、単語辞書とは、多数の語彙による辞書であり、例えば大語彙単語辞書である。

【0027】

次に、議事録・音声ログ記憶部５０について説明する。
議事録・音声ログ記憶部５０は、議事録（含む音声信号）を記憶する。なお、議事録・音声ログ記憶部５０は、議事録に、待機要望が行われたことを示す情報と、どのタイミングで待機要望が行われたかを示す情報を関連づけて記憶するようにしてもよい。

【0028】

次に、会議支援装置３０について説明する。
会議支援装置３０は、例えばパーソナルコンピュータ、サーバ、スマートフォン、タブレット端末等のうちのいずれかである。なお、会議支援装置３０は、入力装置１０がマイクロフォンアレイの場合、音源定位部、音源分離部、および音源同定部をさらに備える。会議支援装置３０は、参加者によって発話された音声信号を、例えば発話毎に音声認識してテキスト化する。そして、会議支援装置３０は、テキスト化した発話内容のテキスト情報を、表示部３１１に表示させ、参加者の端末２０に送信する。会議支援装置３０は、端末２０から待機要望を受信した場合、発話中の発話が終了した際に発話内容のテキスト情報を参加者の端末２０それぞれに送信する。そして、会議支援装置３０は、端末２０から待機要望を受信した場合、発話中の発話が終了したことを検出し、発話が終了した際に発話内容のテキスト情報を表示部３１１に表示させた後、待機要望に基づいて表示部３１１の表示を変更する。また、会議支援装置３０は、会議で使用されている入力部１１、端末２０を記憶している。

【0029】

取得部３０１は、入力部１１が出力する音声信号を取得し、取得した音声信号を音声認識部３０２に出力する。なお、取得した音声信号がアナログ信号の場合、取得部３０１は、アナログ信号をデジタル信号に変換し、デジタル信号に変換した音声信号を音声認識部３０２に出力する。なお、音声信号には、使用された入力部１１の識別情報（例えばＭｉｃ１、Ｍｉｃ３、…）を含んでいる。

【0030】

音声認識部３０２は、入力部１１が複数の場合、入力部１１を使用する話者毎に音声認識を行う。
音声認識部３０２は、取得部３０１が出力する音声信号を取得する。音声認識部３０２は、取得部３０１が出力した音声信号から発話区間の音声信号を検出する。発話区間の検出は、例えば所定のしきい値以上の音声信号を発話区間として検出する。なお、音声認識部３０２は、発話区間の検出を周知の他の手法を用いて行ってもよい。音声認識部３０２は、検出した発話区間の音声信号に対して、音響モデル・辞書ＤＢ４０を参照して、周知の手法を用いて音声認識を行う。なお、音声認識部３０２は、例えば特開２０１５－６４５５４号公報に開示されている手法等を用いて音声認識を行う。音声認識部３０２は、認識した認識結果と音声信号に入力部１１の識別情報を含めてテキスト変換部３０３に出力する。なお、音声認識部３０２は、認識結果と音声信号とを、例えば１文毎、または発話句間毎、または話者毎に対応つけて出力する。

【0031】

テキスト変換部３０３は、音声認識部３０２が出力した認識結果に基づいて、テキストに変換する。テキスト変換部３０３は、変換したテキスト情報と音声信号に入力部１１の識別情報を含めて係り受け解析部３０４に出力する。なお、テキスト変換部３０３は、「あー」、「えーと」、「えー」、「まあ」等の間投詞を削除してテキストに変換するようにしてもよい。

【0032】

係り受け解析部３０４は、テキスト変換部３０３が出力したテキスト情報に対して形態素解析と係り受け解析を行う。係り受け解析には、例えば、Ｓｈｉｆｔ－ｒｅｄｕｃｅ法や全域木の手法やチャンク同定の段階適用手法においてＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅｓ）を用いる。係り受け解析部３０４は、係り受け解析した結果のテキスト情報と音声信号に入力部１１の識別情報を含めて議事録作成部３０６に出力する。

【0033】

議事録作成部３０６は、係り受け解析部３０４が出力したテキスト情報と音声信号に基づいて、発話者毎に分けて、議事録を作成する。議事録作成部３０６は、係り受け解析部３０４が出力したテキスト情報と入力部１１の識別情報に基づいて、入力部１１毎にテキスト情報を作成する。議事録作成部３０６は、作成した入力部１１毎のテキスト情報を処理部３１０に出力する。議事録作成部３０６は、作成した議事録と対応する音声信号を議事録・音声ログ記憶部５０に記憶させる。なお、議事録作成部３０６は、「あー」、「えーと」、「えー」、「まあ」等の間投詞を削除して議事録を作成するようにしてもよい。

【0034】

通信部３０７は、端末２０と情報の送受信を行う。端末２０から受信する情報には、待機要望、解除要望、テキスト情報、過去の議事録の送信を要請する送信要望等が含まれている。なお、テキスト情報、過去の議事録の送信を要請する送信要望には、送信要望を送信した端末２０を識別するための識別情報が含まれている。端末２０に送信する情報には、テキスト情報、過去の議事録の情報等が含まれている。通信部３０７は、端末２０から受信した情報を処理部３１０に出力する。通信部３０７は、処理部３１０が出力するテキスト情報、過去の議事録の情報等を端末２０へ送信する。

【0035】

操作部３０９は、例えばキーボード、マウス、表示部３１１上に設けられているタッチパネルセンサー等である。操作部３０９は、利用者の操作結果を検出して、検出した操作結果を処理部３１０に出力する。

【0036】

処理部３１０は、議事録作成部３０６が作成した入力部１１毎のテキスト情報を表示部３１１に表示させ、通信部３０７に出力する。処理部３１０は、取得したテキスト情報を表示部３１１に表示させる。処理部３１０は、通信部３０７が出力する待機要望、解除要望、テキスト情報、過去の議事録の情報の送信要望を取得する。処理部３１０は、待機要望を取得した場合、発話中の発話が終了したことを検出し、発話が終了した際に発話内容のテキスト情報を表示部３１１に表示させた後、待機要望に基づいて表示部３１１の表示を変更する。なお、表示の変更例は後述する。処理部３１０は、解除要望を取得した場合、待機要望に応じて変更した表示を元に戻す。処理部３１０は、過去の議事録の情報の送信要望を取得した場合、議事録・音声ログ記憶部５０から過去の議事録の情報を読み出し、読み出した過去の議事録の情報を通信部３０７に出力する。

【0037】

表示部３１１は、例えば液晶表示装置、有機ＥＬ表示装置、電子インク表示装置等である。表示部３１１は、処理部３１０が出力したテキスト情報を表示する。表示部３１１は、処理部３１０の処理に応じて表示を変更する。

【0038】

なお、入力装置１０がマイクロフォンアレイの場合、会議支援装置３０は、音源定位部、音源分離部、および音源同定部をさらに備える。この場合、会議支援装置３０は、取得部３０１が取得した音声信号に対して予め生成した伝達関数を用いて音源定位部が音源定位を行う。そして、会議支援装置３０は、音源定位部が定位して結果を用いて話者同定を行う。会議支援装置３０は、音源定位部が定位して結果を用いて、取得部３０１が取得した音声信号に対して音源分離を行う。そして、会議支援装置３０の音声認識部３０２は、分離された音声信号に対して発話区間の検出と音声認識を行う（例えば特開２０１７－９６５７号公報参照）。また、会議支援装置３０は、残響音抑圧処理を行うようにしてもよい。

【0039】

＜発話終了検出方法の例＞
次に、発話終了検出方法について説明する。
会議支援装置３０の処理部３１０は、話者毎の発話の終了を、例えば音声信号に含まれる発話の開始と終了情報に基づいて判別してもよい。この場合は、例えば入力部１１がオン状態になったときを発話開始とし、入力部１１がオフ状態になったときを発話終了とするようにしてもよい。

【0040】

または、処理部３１０は、例えば入力部１１の音声信号を検出し、所定時間以上、発話が無かった（所定値以下であった）場合に、発話が終了したと判定するようにしてもよい。

【0041】

＜会議例＞
ここで、以下の説明における会議例を説明する。
図２は、本実施形態に係る会議例を示す図である。図２に示す例では、会議の参加者（第１の参加者ｈ１、第２の参加者ｈ２、第３の参加者ｈ３）が３人である。ここで、第２の参加者ｈ２は、聴覚者であるが、発話が可能であるとする。また、第３の参加者ｈ３は、聴覚者であり、発話が不自由であるとする。第１の参加者ｈ１は、入力部１１－１（マイクロフォン）を使用して発話する。第２の参加者ｈ２は、入力部１１－２を使用して発話する。第１の参加者ｈ１と第２の参加者ｈ２は、会議支援装置３０の表示部３１１を見ている。第３の参加者ｈ３は、端末２０－１を使用している。

【0042】

第１の参加者ｈ１と第２の参加者ｈ２それぞれは、会議支援装置３０上に表示されるテキスト化された発話内容を見ることで第３の参加者ｈ３が入力したテキスト情報を確認できる。第３の参加者ｈ３は、端末２０－１上に表示されるテキスト情報を見ることで、第１の参加者ｈ１および第２の参加者ｈ２が発話した発話内容をテキスト情報として確認できる。第３の参加者ｈ３は、端末２０－１上に表示された発話内容を追えなくなった際、操作部２０１を操作して待機を選択する。これにより、会議支援装置３０の表示部３１１の表示が変化し、第１の参加者ｈ１と第２の参加者ｈ２は、第３の参加者ｈ３が会議内容を理解する上で待ってほしいことを理解することができ、次の発話を開始しない。この間、第３の参加者ｈ３は、端末２０－１上の表示を読み、読み終わった際に操作部２０１を操作して解除を選択する。会議支援装置３０は、端末２０－１から受信した解除要望に応じて、表示を元に戻す。これにより、第１の参加者ｈ１と第２の参加者ｈ２は、第３の参加者ｈ３が会議内容を理解したことを確認した上で会議を継続することができる。なお、会議はＴＶ会議であってもよい。

【0043】

＜端末の表示例＞
次に、端末２０の表示部２０３に表示される情報例を説明する。
図３は、本実施形態に係る端末２０の表示部２０３に表示される情報例を示す図である。
左の丸ｇ１０１～ｇ１０３は、発話者またはテキスト入力を行った入力部１１（マイクロフォン）または端末２０を表している。丸ｇ１０１は入力部１１－１（Ｍｉｃ１）によって発話されたことを表し、丸ｇ１０２は端末２０－１（Ｔａｂ１）によって入力されたことを表し、丸ｇ１０３は入力部１１－２（Ｍｉｃ２）によって発話されたことを表す。

【0044】

テキスト画像ｇ１１１～ｇ１１７は、発話された音声信号を音声認識した結果のテキスト情報、または端末２０－１によって入力されたテキスト情報を表す。テキスト画像ｇ１１１、ｇ１１４、ｇ１１５、ｇ１１７は入力部１１－１（Ｍｉｃ１）によって発話されたテキスト情報を表し、テキスト画像ｇ１１２は端末２０－１（Ｔａｂ１）によって入力されたテキスト情報を表し、テキスト画像ｇ１１３、ｇ１１６は入力部１１－２（Ｍｉｃ２）によって発話されたテキスト情報を表す。

【0045】

ボタン画像ｇ１２１～ｇ１２４は、ボタン画像である。ボタン画像ｇ１２１は利用者がテキスト入力する際に選択し、ボタン画像ｇ１２２は入力したテキスト画像を会議支援装置３０へ送信する際に選択する。ボタン画像ｇ１２３は会議の進行を待ってほしいときに選択し、ボタン画像ｇ１２４は会議の進行を待ってもらうことの解除の際に選択する。なお、ボタン画像ｇ１２３とｇ１２４はトグル式であってもよく、ボタン画像ｇ１２３が選択されると表示がボタン画像ｇ１２４の表示に変化するようにしてもよい。

【0046】

＜会議支援装置の表示例＞
次に、会議支援装置３０の表示部３１１に表示される情報例を説明する。
図４は、本実施形態に係る会議支援装置３０の表示部３１１に表示される情報例を示す図である。なお、図４の表示は、端末２０から待機要望を受信していない状態、または解除要望を受信した際に表示される。

【0047】

図４において、表示部３１１の左側領域ｇ２００は、設定のためのボタン画像等が表示される領域である。表示部３１１の右領域ｇ２５０は、テキスト情報等が表示される領域である。

【0048】

領域ｇ２０１は、会議支援装置３０の使用開始、使用終了等の設定を行うボタン画像等が表示される領域である。
領域ｇ２０２は、使用する端末２０の設定を行うボタン画像等が表示される領域である。
領域ｇ２０３は、使用する入力部１１等の設定を行うボタン画像等が表示される領域である。
領域ｇ２０４は、会議中の発話の録音、削除、過去の議事録の参照等の設定を行うボタン画像等が表示される領域である。

【0049】

丸ｇ２５１～ｇ２５２は、発話者またはテキスト入力を行った入力部１１（マイクロフォン）または端末２０を表している。丸ｇ２５１は入力部１１－１（Ｍｉｃ１）によって発話されたことを表し、丸ｇ２５２は入力部１１－２（Ｍｉｃ２）によって発話されたことを表す。

【0050】

テキスト画像ｇ２６１～ｇ２６２は、発話された音声信号を音声認識した結果のテキスト情報、または端末２０－１によって入力されたテキスト情報を表す。テキスト画像ｇ２６１は入力部１１－１（Ｍｉｃ１）によって発話されたテキスト情報を表し、テキスト画像ｇ２６２は入力部１１－２（Ｍｉｃ２）によって発話されたテキスト情報を表す。
ボタン画像ｇ２７１は、発話または、テキスト入力されたテキスト情報を削除する場合に選択されるボタン画像を表す。画像ｇ２８１は、テキスト情報が発話または入力された時刻を表す。

【0051】

ボタン画像ｇ２９１～ｇ２９２は、ボタン画像である。ボタン画像ｇ２９１は利用者がテキスト入力する際に選択し、ボタン画像ｇ２９２は入力したテキスト画像を端末２０へ送信する際に選択する。
テキスト入力欄画像ｇ２９３は、利用者がテキスト入力する際、入力されたテキスト情報が表示される欄を表している。

【0052】

次に、端末２０によって「待って」ボタン画像が選択され、会議支援装置３０が待機要望を受信した後、受信した際に発話していた発話が終了した際に表示される情報例を説明する。
図５は、本実施形態に係る待機要望を受信した際に会議支援装置３０の表示部３１１に表示される情報例を示す図である。図５のように、会議支援装置３０の表示部３１１上には、受信した際に発話していた発話が終了した際に待機要望を示す待機画像ｇ３０１（例えば「待って」のテキスト）が表示される。なお、表示される位置は、図５に示した位置に限らず表示部３１１上であればよい。

【0053】

なお、図５に示した待機要望時の画面変更例は一例であり、これに限らない。例えば、会議支援装置３０は、待機要望を受信した後、受信した際に発話していた発話が終了した際に、例えば、画面全体または背景等の色を変更してもよく、画面を震えるように表示させてもよい。

【0054】

＜会議支援システムの処理手順例＞
次に、会議支援システムの処理手順を説明する。
図６は、本実施形態に係る会議支援システム１の処理手順例を示すシーケンス図である。図６の例では、会議の参加者が３人であり、２人が入力部１１を使用し、１人が端末２０－１を利用する例である。

【0055】

（ステップＳ１）会議支援装置３０の処理部３１０は、利用者が操作部３０９を操作した操作結果に基づいて、使用される入力部１１の設定を行う。この例では、入力部１１－１（Ｍｉｃ１）と、入力部１１－２（Ｍｉｃ２）が使用される。

【0056】

（ステップＳ２）端末２０－１の処理部２０２は、利用者が操作部２０１を操作した操作結果に基づいて、入力されたテキスト情報を取得する。続けて、処理部２０２は、表示部２０３上に入力されたテキスト情報を表示させる。

【0057】

（ステップＳ３）端末２０－１の処理部２０２は、利用者が操作部２０１を操作した操作結果に基づいて、入力されたテキスト情報を会議支援装置３０へ送信する。

【0058】

（ステップＳ４）会議支援装置３０の処理部３１０は、受信したテキスト情報を表示部３１１上に表示させる。

【0059】

（ステップＳ５）入力部１１－１は、参加者の発話を収音した音声信号を会議支援装置３０に出力する。

【0060】

（ステップＳ６）会議支援装置３０は、取得した音声信号に対して音声認識処理、係り受け処理を行う。

【0061】

（ステップＳ７）会議支援装置３０の処理部３１０は、音声認識処理等されたテキスト情報を表示部３１１上に表示させる。

【0062】

（ステップＳ８）会議支援装置３０の処理部３１０は、音声認識処理等されたテキスト情報を、通信部３０７を介して端末２０－１へ送信する。

【0063】

（ステップＳ９）端末２０－１の処理部２０２は、受信したテキスト情報を表示部２０３上に表示させる。

【0064】

（ステップＳ１０）入力部１１－２は、参加者の発話を収音した音声信号を会議支援装置３０に出力する。

【0065】

（ステップＳ１１）会議支援装置３０は、取得した音声信号に対して音声認識処理、係り受け処理等を行う。

【0066】

（ステップＳ１２）端末２０－１の処理部２０２は、利用者が操作部２０１を操作した操作結果に基づいて、「待って」ボタン画像が選択されたことを検出する。

【0067】

（ステップＳ１３）端末２０－１の処理部２０２は、「待って」ボタン画像が選択されたことを示す待機要望を会議支援装置３０へ送信する。

【0068】

（ステップＳ１４）会議支援装置３０の処理部３１０は、「待って」ボタン画像が選択されたことを示す待機要望を、通信部３０７を介して受信する。

【0069】

（ステップＳ１５）会議支援装置３０の処理部３１０は、待機要望を受信した際に、ステップＳ１４の発話が継続しているか完了したかを確認する。

【0070】

（ステップＳ１６）会議支援装置３０の処理部３１０は、発話が完了したことを確認できた際、音声認識処理等によって認識されたテキスト情報を端末２０－１へ送信する。

【0071】

（ステップＳ１７）端末２０－１の処理部２０２は、受信したテキスト情報を表示部２０３上に表示させる。

【0072】

（ステップＳ１８）会議支援装置３０の処理部３１０は、発話が継続しているか完了したかを確認できた際、受信した待機要望に基づいて、表示部３１１上の表示を例えば「待って」画像を表示して変更する。

【0073】

（ステップＳ１９）端末２０－１の処理部２０２は、利用者が操作部２０１を操作した操作結果に基づいて、「解除」ボタン画像が選択されたことを検出する。

【0074】

（ステップＳ２０）端末２０－１の処理部２０２は、「解除」ボタン画像が選択されたことを示す解除要望を会議支援装置３０へ送信する。

【0075】

（ステップＳ２１）会議支援装置３０の処理部３１０は、「解除」ボタン画像が選択されたことを示す解除要望を、通信部３０７を介して受信する。続けて、処理部３１０は、ステップＳ１８で表示した「待って」を消す等、変更した表示部３１１の表示を元に戻す。

【0076】

なお、図６に示した処理手順は一例であり、ステップＳ１６とＳ１８の処理は同時に行われてもよく、処理順番が逆であってもよい。

【0077】

＜待機要望と解除要望時の処理手順例＞
次に、待機要望と解除要望時の会議支援システムの処理手順を説明する。
図７は、本実施形態に係る待機要望と解除要望時の会議支援システム１の処理のフローチャートである。

【0078】

（ステップＳ１０１）利用者は、端末２０の操作部２０１を操作して「待って」ボタンを押す。続けて、端末２０の処理部２０２は、利用者が操作部２０１を操作した操作結果に基づいて、「待って」ボタン画像が選択されたことを検出する。続けて、処理部２０２は、「待って」ボタン画像が選択されたことを示す待機要望を会議支援装置３０へ送信する。また、処理部２０２は、「待って」ボタンが選択され受け付けたことを、例えば表示部２０３上に表示される「待って」ボタンに対応するボタン画像ｇ１２３（図３）の表示を変える（例えば色や明るさ等を変える等）ことで利用者に報知する。

【0079】

（ステップＳ１０２）会議支援装置３０の処理部３１０は、「待って」ボタン画像が選択されたことを示す待機要望を、通信部３０７を介して受信する。

【0080】

（ステップＳ１０３）会議支援装置３０の処理部３１０は、待機要望を受信した際に、発話が途切れているか否か、すなわち発話が継続しているか完了したかを確認する。

【0081】

（ステップＳ１０４）会議支援装置３０の処理部３１０は、発話が途切れている（発話が完了）と判別した場合（ステップＳ１０４；ＹＥＳ）、ステップＳ１０５に処理に進める。会議支援装置３０の処理部３１０は、発話が途切れていない（発話が継続している）と判別した場合（ステップＳ１０４；ＮＯ）、ステップＳ１０３の処理に戻す。

【0082】

（ステップＳ１０５）会議支援装置３０の処理部３１０は、受信した待機要望に基づいて、表示部３１１上の表示を例えば「待って」画像を表示して変更する。

【0083】

（ステップＳ１０６）会議支援装置３０の処理部３１０は、「待って」表示中に、端末２０－１によってテキスト情報が入力された場合、端末２０から受信したテキスト情報を、「待って」表示を行ったまま表示部３１１の上に表示させる。

【0084】

（ステップＳ１０７）会議支援装置３０の処理部３１０は、「解除」ボタン画像が選択されたことを示す解除要望を、通信部３０７を介して受信したか否か判別することで、「待って」表示を解除してよいか否かを判定する。処理部３１０は、「待って」表示を解除してよいと判定した場合（ステップＳ１０７；ＹＥＳ）、ステップＳ１０８の処理に進める。処理部３１０は、「待って」表示を解除してはいけないと判定した場合（ステップＳ１０７；ＮＯ）、ステップＳ１０７の処理を繰り返す。

【0085】

（ステップＳ１０８）会議支援装置３０の処理部３１０は、「待って」を消す等、変更した表示部３１１の表示を元に戻す。

【0086】

なお、上述した例では、話者毎に異なる入力部１１を用いて発話する例を説明したが、これに限らない。入力部１１は１つであってもよい。この場合、複数の参加者は１つの入力部１１を利用する。この場合、会議支援装置３０は、例えば参加者毎の音声を登録しておき、音声認識によって発話者を認識して会議支援装置３０の表示部３１１上に表示させ、端末２０の表示部２０３上に表示させるようにしてもよい。または、会議支援装置３０は、話者にかかわらず、使用されている入力部１１に対応するマイクロフォンの番号（Ｍｉｃ１、Ｍｉｃ２）等を会議支援装置３０の表示部３１１上に表示させ、端末２０の表示部２０３上に表示させるようにしてもよい。

【0087】

なお、発話障害者または聴覚者は、待機要望に対応する「待って」ボタンを選択する（押す）タイミングは、理解に時間がかかり少し会議に進行を止めてほしいときに限らない。端末２０の操作部２０１を操作してテキスト情報の入力を行うため、入力に時間がかかる。発話者が進んでしまうと、健常者である参加者は、どの話題に対して質問されたかわかりにくくなる。さらに、発話障害者または聴覚者は、入力中に発話が行われて発話が増えてしまうと内容について行けなくなる場合もある。このため、例えば質問などを入力して発言したいときに、発話障害者または聴覚者は、待機要望に対応する「待って」ボタンを選択するようにしてもよい。

【0088】

ここで、議事録の例を説明する。
図８は、本実施形態に係る議事録・音声ログ記憶部５０が記憶する議事録の一例である。
会議支援装置３０の処理部３１０は、議事録作成部３０６を制御して、待機要望を受信した際、受信した際に発話が行われている場合に１つ前の発話に対して待機要望が行われたことを議事録に関連づけて議事録・音声ログ記憶部５０に記憶させるようにしてもよい。図８の例では、時刻１１：０３に行われた発話「フランスでは、現在・・・。」の内容を発話障害者または聴覚者が読み終わる前に、時刻１１：０５の次の発話「では、次は、・・・。」が始まった例である。このような場合、発話障害者または聴覚者は、発話「フランスでは、現在・・・。」の内容を読むために会議を待ってもらいたいため、「待って」ボタンを選択する。この結果、会議支援装置３０は、発話「フランスでは、現在・・・。」に関連づけて待機要望があったことを記憶する。なお、記憶する議事録には、テキスト情報（発話情報）に、発話された時刻、発話に用いられた入力部１１または端末２０を示す情報を関連づけてもよい。これにより、本実施形態によれば、このような発話が、発話障害者または聴覚者の理解に時間を要することが分かり、次回以降の会議の進め方の参考になる。

【0089】

また、処理部３１０は、議事録作成部３０６を制御して、待機要望を受信した際、受信した際に発話が行われていない場合に最新の発話に対して待機要望が行われたことを議事録に関連づけて議事録・音声ログ記憶部５０に記憶させるようにしてもよい。

【0090】

本実施形態では、発話障害者または聴覚者は、理解に時間がかかり少し会議に進行を止めてほしいときや、質問など発言したいときに、端末２０を操作して「待って」ボタンを選択する。そして、会議支援装置３０は、端末２０から待機要望を受信した際、発話者の発話が途切れたまたは終了したことを確認して、発話者の発話が途切れたまたは終了した際、発話者が見ている表示部３１１に例えば「待って」を表示させるようにした。

【0091】

これにより、本実施形態によれば、発話障害者または聴覚者は、「待って」ボタンに対応するボタン画像を押すだけで済み、「ちょっと待って」という発言（テキスト入力）をしなくてもよいので、利用しやすい。また、本実施形態によれば、発話者に対して発話の途切れるタイミングで「待って」を表示するので、発話者の発話を阻害することなく、発話を止める心理的負担を低減することができる。さらに本実施形態によれば、ボタンを押したあと、実際に発話が止まるまでタイムラグがあるので、発話障害者または聴覚者の発言の入力時間を稼ぐことができる。

【0092】

なお、上述した例では、発話可能な参加者が２名、発話が困難な参加者が１名の例を説明したが、発話可能な参加者が１名、発話が困難な聴覚者の参加者が２名であってもよい。この場合、例えば、テキスト情報の入力が早い一方の聴覚者が、「待って」ボタンを押さずに会議支援装置３０を使用してテキスト情報（発話情報）入力している最中に、他方の聴覚者が「待って」ボタンを押す場合もあり得る。このような場合、会議支援装置３０は、入力されているテキスト情報の入力が終了したまたは途切れたか否かを判定し、入力されているテキスト情報の入力が終了したまたは途切れた際に、表示部３１１上の表示を変えて「待って」を表示させるようにしてもよい。このように会議支援装置３０は、待機要望を受信した際に待機させる発話は、入力部１１（マイクロフォン）による発話に限らず、キーボード等による入力されたエキスと情報の発話であってもよい。

【0093】

なお、本発明における会議支援装置３０の機能の全てまたは一部、または端末２０の機能の全てまたは一部を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより会議支援装置３０が行う処理の全てまたは一部、または端末２０が行う処理の全てまたは一部を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

【0094】

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

【0095】

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形および置換を加えることができる。

【符号の説明】

【0096】

１…会議支援システム、１０…入力装置、２０，２０－１，２０－２…端末、３０…会議支援装置、４０…音響モデル・辞書ＤＢ、５０…議事録・音声ログ記憶部、１１，１１－１，１１－２，１１－３…入力部、２０１…操作部、２０２…処理部、２０３…表示部、２０４…通信部、３０１…取得部、３０２…音声認識部、３０３…テキスト変換部、３０４…係り受け解析部、３０６…議事録作成部、３０７…通信部、３０９…操作部、３１０…処理部、３１１…表示部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】