特許 7194507 会議システム、会議システム制御方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-12-14

(45)【発行日】2022-12-22

(54)【発明の名称】会議システム、会議システム制御方法およびプログラム

(51)【国際特許分類】

   H04L 51/04 20220101AFI20221215BHJP

   G06F 3/16 20060101ALI20221215BHJP

   G10L 15/00 20130101ALI20221215BHJP

   G10L 15/28 20130101ALI20221215BHJP

   G10L 15/30 20130101ALI20221215BHJP

   H04M 3/56 20060101ALI20221215BHJP

【ＦＩ】

H04L51/04

G06F3/16 610

G06F3/16 620

G06F3/16 650

G10L15/00 200U

G10L15/28 230K

G10L15/30

H04M3/56 Z

【請求項の数】 7

(21)【出願番号】P 2018066835

(22)【出願日】2018-03-30

(65)【公開番号】P2019179314

(43)【公開日】2019-10-17

【審査請求日】2020-10-19

(73)【特許権者】

【識別番号】000005326

【氏名又は名称】本田技研工業株式会社

(73)【特許権者】

【識別番号】507369936

【氏名又は名称】ホンダ太陽株式会社

(74)【代理人】

【識別番号】100165179

【弁理士】

【氏名又は名称】田▲崎▼ 聡

(74)【代理人】

【識別番号】100126664

【弁理士】

【氏名又は名称】鈴木 慎吾

(74)【代理人】

【識別番号】100154852

【弁理士】

【氏名又は名称】酒井 太一

(74)【代理人】

【識別番号】100194087

【弁理士】

【氏名又は名称】渡辺 伸一

(72)【発明者】

【氏名】川内 卓

(72)【発明者】

【氏名】中臺 一博

(72)【発明者】

【氏名】鵜殿 研郎

(72)【発明者】

【氏名】五十嵐 雅樹

(72)【発明者】

【氏名】佐畑 智幸

(72)【発明者】

【氏名】眞浦 一也

【審査官】岩田 玲彦

(56)【参考文献】

【文献】特開２０１７－２１５９３１（ＪＰ，Ａ）

【文献】特開２００１－２２４０００（ＪＰ，Ａ）

【文献】特開平０９－２３８１３５（ＪＰ，Ａ）

【文献】特開２００９－２９６０４９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｌ ５１／０４

Ｇ０６Ｆ ３／１６

Ｇ１０Ｌ １５／００

Ｇ１０Ｌ １５／２８

Ｇ１０Ｌ １５／３０

Ｈ０４Ｍ ３／５６

(57)【特許請求の範囲】

【請求項1】

収音部と、テキスト入力部と、表示部とを備えた子機と、
前記子機と通信を行い、前記子機にて音声入力された発話に対して音声認識を行い、また、前記子機にてテキスト入力された内容を議事録として子機に発信する親機と、を備えた会議システムにおいて、
前記親機によって発言制限が設定されている会議が選択されている場合に、前記親機または前記子機から入力を制限し、
前記親機は、前記発言制限が設定されている会議中に、発話された内容をデータとして記憶しておく、会議システム。

【請求項2】

前記親機は、第１の表示部と第２の表示部を備え、
前記親機は、
前記第１の表示部に会議に関する情報を表示させ、前記第２の表示部に議事録の内容を表示させ、
前記発言制限が設定されている会議の際に、前記第２の表示部に、発表者の発言の議事録を表示させ、他の発言者の発言を表示させない、請求項１に記載の会議システム。

【請求項3】

収音部と、テキスト入力部と、表示部とを備えた子機と、
前記子機と通信を行い、前記子機にて音声入力された発話に対して音声認識を行い、また、前記子機にてテキスト入力された内容を議事録として子機に発信する親機と、を備えた会議システムにおいて、
前記親機によって発言制限が設定されている会議が選択されている場合に、前記親機または前記子機から入力を制限し、
前記親機は、第１の表示部と第２の表示部を備え、
前記親機は、
前記第１の表示部に会議に関する情報を表示させ、前記第２の表示部に議事録の内容を表示させ、
前記発言制限が設定されている会議の場合に、前記第２の表示部に、発表者の発言の議事録を表示させ、他の発言者の発言を表示させない、会議システム。

【請求項4】

収音部と、テキスト入力部と、表示部とを備えた子機と、
前記子機と通信を行い、前記子機にて音声入力された発話に対して音声認識を行い、また、前記子機にてテキスト入力された内容を議事録として子機に発信する親機と、を備えた会議システムにおける会議システム制御方法であって、
前記親機が、前記親機によって発言制限が設定されている会議が選択されていることを判定するステップと、
前記親機が、前記発言制限が設定されている会議が選択されている場合に、前記親機または前記子機から入力を制限するステップと、
前記親機が、前記発言制限が設定されている会議中に、発話された内容をデータとして記憶させておくステップと、
を含む会議システム制御方法。

【請求項5】

収音部と、テキスト入力部と、表示部とを備えた子機と、
前記子機と通信を行い、前記子機にて音声入力された発話に対して音声認識を行い、また、前記子機にてテキスト入力された内容を議事録として子機に発信する親機と、を備え、前記親機は、第１の表示部と第２の表示部を備えた会議システムにおける会議システム制御方法であって、
前記親機が、前記親機によって発言制限が設定されている会議が選択されていることを判定するステップと、
前記親機が、前記発言制限が設定されている会議が選択されている場合に、前記親機または前記子機から入力を制限するステップと、
前記親機が、前記第１の表示部に会議に関する情報を表示させ、前記第２の表示部に議事録の内容を表示させ、前記発言制限が設定されている会議の場合に、前記第２の表示部に、発表者の発言の議事録を表示させ、他の発言者の発言を表示させないステップと、
を含む会議システム制御方法。

【請求項6】

収音部と、テキスト入力部と、表示部とを備えた子機と、
前記子機と通信を行い、前記子機にて音声入力された発話に対して音声認識を行い、また、前記子機にてテキスト入力された内容を議事録として子機に発信する親機と、を備えた会議システムにおける親機のコンピュータに、
前記親機によって発言制限が設定されている会議が選択されていることを判定するステップと、
前記発言制限が設定されている会議が選択されている場合に、前記親機または前記子機から入力を制限するステップと、
前記発言制限が設定されている会議中に、発話された内容をデータとして記憶させておくステップと、
を実行させるプログラム。

【請求項7】

収音部と、テキスト入力部と、表示部とを備えた子機と、
前記子機と通信を行い、前記子機にて音声入力された発話に対して音声認識を行い、また、前記子機にてテキスト入力された内容を議事録として子機に発信する親機と、を備え、前記親機は、第１の表示部と第２の表示部を備えた会議システムにおける親機のコンピュータに、
前記親機によって発言制限が設定されている会議が選択されていることを判定するステップと、
前記発言制限が設定されている会議が選択されている場合に、前記親機または前記子機から入力を制限するステップと、
前記第１の表示部に会議に関する情報を表示させ、前記第２の表示部に議事録の内容を表示させ、前記発言制限が設定されている会議の場合に、前記第２の表示部に、発表者の発言の議事録を表示させ、他の発言者の発言を表示させないステップと、
を実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、会議システム、会議システム制御方法およびプログラムに関する。

【背景技術】

【0002】

複数人が会議をする場合において、各発言者の発話内容をテキスト化して、発話内容をテキスト化して各利用者が所有する再生装置に表示することが提案されている（例えば特許文献１参照）。なお、特許文献１に記載の技術では、発話を話題毎に音声メモとして録音し、議事録作成者が、録音された音声メモを再生してテキスト化を行う。そして、特許文献１に記載の技術では、テキスト化したものを用いて議事録を作成する。

【先行技術文献】

【特許文献】

【0003】

【文献】特開平０８－１９４４９２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、聴覚障がい者と健聴者とが一緒に会議をする場合、健聴者は音声発話によって会議に参加し、聴覚障がい者は子機からテキスト入力をすることにより会議に参加することになる。特許文献１に記載の技術では、聴覚障がい者が、子機でテキスト入力されている間に、健聴者が音声発話されると、聴覚障がい者は会議の内容についていけない可能性がある。

【0005】

本発明は、上記の問題点に鑑みてなされたものであって、健聴者と聴覚障がい者とが一緒に会議に参加しやすくすることができる会議システム、会議システム制御方法およびプログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

（１）上記目的を達成するため、本発明の一態様に係る会議システム（１）は、収音部（３０１）と、テキスト入力部（操作部３０２）と、表示部（３０４）とを備えた子機（３、３ａ、３ｂ、・・・）と、前記子機と通信を行い、前記子機にて音声入力された発話に対して音声認識を行い、また、前記子機にてテキスト入力された内容を議事録として子機に発信する親機（２）と、を備えた会議システムにおいて、前記親機によって発言制限が設定されている会議が選択されている場合に、前記親機または前記子機から入力を制限し、前記親機は、前記発言制限が設定されている会議中に、発話された内容をデータとして記憶しておく。
（２）また、本発明の一態様に係る会議システムにおいて、前記親機は、第１の表示部と第２の表示部を備え、前記親機は、前記第１の表示部に会議に関する情報を表示させ、前記第２の表示部に議事録の内容を表示させ、前記発言制限が設定されている会議の際に、前記第２の表示部に、発表者の発言の議事録を表示させ、他の発言者の発言を表示させないようにしてもよい。
（３）上記目的を達成するため、本発明の一態様に係る会議システム（１）は、収音部（３０１）と、テキスト入力部（操作部３０２）と、表示部（３０４）とを備えた子機（３、３ａ、３ｂ、・・・）と、前記子機と通信を行い、前記子機にて音声入力された発話に対して音声認識を行い、また、前記子機にてテキスト入力された内容を議事録として子機に発信する親機（２）と、を備えた会議システムにおいて、前記親機によって発言制限が設定されている会議が選択されている場合に、前記親機または前記子機から入力を制限し、前記親機は、第１の表示部（２４６）と第２の表示部（２４６）を備え、前記親機は、前記第１の表示部に会議に関する情報を表示させ、前記第２の表示部に議事録の内容を表示させ、前記発言制限が設定されている会議の場合に、前記第２の表示部に、発表者の発言の議事録を表示させ、他の発言者の発言を表示させない。

【0012】

（４）上記目的を達成するため、本発明の一態様に係る会議システム制御方法は、収音部と、テキスト入力部と、表示部とを備えた子機と、前記子機と通信を行い、前記子機にて音声入力された発話に対して音声認識を行い、また、前記子機にてテキスト入力された内容を議事録として子機に発信する親機と、を備えた会議システムにおける会議システム制御方法であって、前記親機が、前記親機によって発言制限が設定されている会議が選択されていることを判定するステップと、前記親機が、前記発言制限が設定されている会議が選択されている場合に、前記親機または前記子機から入力を制限するステップと、前記親機が、前記発言制限が設定されている会議中に、発話された内容をデータとして記憶させておくステップと、を含む。
（５）上記目的を達成するため、本発明の一態様に係る会議システム制御方法は、収音部と、テキスト入力部と、表示部とを備えた子機と、前記子機と通信を行い、前記子機にて音声入力された発話に対して音声認識を行い、また、前記子機にてテキスト入力された内容を議事録として子機に発信する親機と、を備え、前記親機は、第１の表示部と第２の表示部を備えた会議システムにおける会議システム制御方法であって、前記親機が、前記親機によって発言制限が設定されている会議が選択されていることを判定するステップと、前記親機が、前記発言制限が設定されている会議が選択されている場合に、前記親機または前記子機から入力を制限するステップと、前記親機が、前記第１の表示部に会議に関する情報を表示させ、前記第２の表示部に議事録の内容を表示させ、前記発言制限が設定されている会議の場合に、前記第２の表示部に、発表者の発言の議事録を表示させ、他の発言者の発言を表示させないステップと、を含む。

【0013】

（６）上記目的を達成するため、本発明の一態様に係るプログラムは、収音部と、テキスト入力部と、表示部とを備えた子機と、前記子機と通信を行い、前記子機にて音声入力された発話に対して音声認識を行い、また、前記子機にてテキスト入力された内容を議事録として子機に発信する親機と、を備えた会議システムにおける親機のコンピュータに、前記親機によって発言制限が設定されている会議が選択されていることを判定するステップと、前記発言制限が設定されている会議が選択されている場合に、前記親機または前記子機から入力を制限するステップと、、前記発言制限が設定されている会議中に、発話された内容をデータとして記憶させておくステップと、を実行させる。
（７）上記目的を達成するため、本発明の一態様に係るプログラムは、収音部と、テキスト入力部と、表示部とを備えた子機と、前記子機と通信を行い、前記子機にて音声入力された発話に対して音声認識を行い、また、前記子機にてテキスト入力された内容を議事録として子機に発信する親機と、を備え、前記親機は、第１の表示部と第２の表示部を備えた会議システムにおける親機のコンピュータに、前記親機によって発言制限が設定されている会議が選択されていることを判定するステップと、前記発言制限が設定されている会議が選択されている場合に、前記親機または前記子機から入力を制限するステップと、前記第１の表示部に会議に関する情報を表示させ、前記第２の表示部に議事録の内容を表示させ、前記発言制限が設定されている会議の場合に、前記第２の表示部に、発表者の発言の議事録を表示させ、他の発言者の発言を表示させないステップと、を実行させる。

【発明の効果】

【0014】

上述した（１）、（３）、（４）、（５）、（６）、（７）によれば、特定のモード等において、例えば発表者以外の発言を制限して、例えば発表者の発話のみを表示させることができる。

【0015】

上述した（１）、（２）、（４）、（６）によれば、特定のモードにおいても質問された内容等を議事録として記録しておくことができる。
上述した（２）、（５）、（７）によれば、一方の表示部に会議に関する情報を表示でき、他方の表示部に発表者以外の発言を表示させずに発表者の発言を表示させることができる。

【図面の簡単な説明】

【0016】

【図1】本実施形態に係る会議システムの構成例を示すブロック図である。

【図2】本実施形態に係る会議形態と表示部上に表示される画像例を示す図である。

【図3】本実施形態に係る会議開始時に親機の表示部上に表示される画像例を示す図である。

【図4】本実施形態に係る会議制限の初期状態と、発言制限切り替え機能の有無の例を示す図である。

【図5】本実施形態に係る親機が表示部上に表示させる画像例を示す図である。

【図6】図５に示した発言制限の可否を設定するボタン画像の変化を示す図である。

【図7】本実施形態に係る発言制限が有りの際に子機が表示部上に表示させる画像例を示す図である。

【図8】本実施形態に係る発言制限が無しの際に子機が表示部上に表示させる画像例を示す図である。

【図9】本実施形態に係る発言制限の有無による子機の表示部上の表示例を示す図である。

【図10】本実施形態に係る親機が行う処理手順例を示すフローチャートである。

【図11】変形例における操作部の構成例を示すブロック図である。

【発明を実施するための形態】

【0017】

以下、本発明の実施の形態について図面を参照しながら説明する。

【0018】

まず、本実施形態の会議システムが使用される状況例を説明する。
本実施形態の会議システムは、２人以上が参加して行われる会議で用いられる。参加者のうち、発話が不自由な人が会議に参加していてもよい。発話可能な参加者は、参加者毎にマイクロフォンを装着するか、マイクロフォンを備える端末（スマートフォン、タブレット端末、パーソナルコンピュータ等）を用いる。聴覚障がいの参加者は、テキストを入力可能な端末を用いる。会議システムは、参加者の発話した音声信号に対して音声認識、テキスト化して、各自の端末にテキストを表示させる。また、会議システムは、聴覚障がい者が入力したテキスト情報を各自の端末にテキストを表示させる。会議システムは、式典や講演会や発表会などの場合に、発表者以外の発言を制限する。

【0019】

図１は、本実施形態に係る会議システム１の構成例を示すブロック図である。
図１に示すように、会議システム１は、親機２と、子機３ａ、子機３ｂ、・・・を含んで構成される。なお、子機３ａ、子機３ｂ、・・・のうち１つを特定しない場合は、単に子機３という。
親機２と子機３とは、有線または無線のネットワーク４を介して接続されている。

【0020】

親機２は、収音部２０１、操作部２０２（テキスト入力部）、通信部２１１、認証部２１２、音響モデル・辞書記憶部２２１、音声認識部２２２、テキスト変換部２２３、係り受け解析部２２４、議事録作成部２２５、議事録記憶部２２６、テキスト取得部２３１、記憶部２４０、モード判定部２４１、制限生成部２４４、画像出力部２４５、表示部２４６、および取得部２４７を備える。

【0021】

子機３は、収音部３０１、操作部３０２（テキスト入力部）、処理部３０３、表示部３０４、および通信部３０５を備える。収音部３０１、操作部３０２、処理部３０３、表示部３０４、および通信部３０５は、バス３０６を介して接続されている。

【0022】

＜子機３＞
まず、子機３について説明する。
子機３は、例えばスマートフォン、タブレット端末、パーソナルコンピュータ等である。なお、子機３は、音声出力部、モーションセンサー、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ；全地球測位システム）等を備えていてもよい。

【0023】

収音部３０１は、マイクロフォンである。収音部３０１は、利用者の音声信号を収音し、収音した音声信号をアナログ信号からデジタル信号に変換して、デジタル信号に変換した音声信号を処理部３０３に出力する。

【0024】

操作部３０２は、利用者の操作を検出し、検出した結果を処理部３０３に出力する。操作部３０２は、例えば表示部３０４上に設けられたタッチパネル式のセンサー、または優先接続または無線接続のキーボード等である。

【0025】

処理部３０３は、操作部２０２が操作された操作結果に基づいて設定情報を生成し、生成した設定情報を通信部３０５に出力する。ここで、設定情報には、参加者の識別情報が含まれている。処理部３０３は、操作部３０２が操作された操作結果に基づいてログイン指示を生成し、生成したログイン指示を通信部３０５に出力する。ここで、ログイン指示には、参加者の識別情報、子機３の識別情報が含まれている。処理部３０３は、操作部２０２が操作された操作結果に基づくテキスト情報に識別情報を付加して通信部３０５に出力する。処理部３０３は、収音部３０１が出力する音声信号に識別情報を付加して通信部３０５に出力する。処理部３０３は、通信部３０５が出力する画像データを取得し、取得した画像データを表示部３０４に出力する。処理部３０３は、通信部３０５が出力するログインを許可する情報に基づいて、親機２との通信を確立する。処理部３０３は、親機２から発言制限指示（入力制限指示）を受信した場合、テキスト入力に対して制限を行う。また、処理部３０３は、親機２から発言制限指示を受信した場合、音声入力に対しても制限を行うようにしてもよい。

【0026】

表示部３０４は、処理部３０３が出力した画像データを表示する。表示部３０４は、例えば液晶表示装置、有機ＥＬ（エレクトロルミネッセンス）表示装置、電子インク表示装置等である。なお、表示部３０４上に表示される画像については後述する。

【0027】

通信部３０５は、処理部３０３が出力する設定情報を、ネットワーク４を介して親機２へ送信する。通信部３０５は、処理部３０３が出力するログイン指示を、ネットワーク４を介して親機２へ送信する。通信部３０５は、処理部３０３が出力するテキスト情報または音声信号を、ネットワーク４を介して親機２へ送信する。なお、送信するテキスト情報または音声信号には、利用者の識別情報と子機３の識別情報が含まれている。通信部３０５は、親機２が送信した画像データを受信し、受信した画像データを処理部３０３に出力する。通信部３０５は、親機２が送信したログインを許可する情報を受信した場合、受信したログインを許可する情報を処理部３０３に出力する。

【0028】

＜親機２＞
次に親機２について説明する。
親機２は、例えばノートパソコン等である。

【0029】

収音部２０１は、マイクロフォンである。収音部２０１は、利用者の音声信号を収音し、収音した音声信号をアナログ信号からデジタル信号に変換して、デジタル信号に変換した音声信号を音声認識部２２２に出力する。

【0030】

操作部２０２は、利用者の操作を検出し、検出した結果をテキスト取得部２３１とモード判定部２４１に出力する。操作部２０２は、例えば表示部２４６上に設けられたタッチパネル式のセンサー、またはキーボードである。操作部２０２は、ログイン処理の際、操作を検出した結果を、認証部２１２に出力する。

【0031】

取得部２４７は、外部装置（不図示）が出力する例えばプレゼンテーションの情報を取得し、取得したプレゼンテーションの情報を画像出力部２４５に出力する。

【0032】

通信部２１１は、子機３が送信した音声信号を受信し、受信した音声信号を音声認識部２２２に出力する。通信部２１１は、子機３が送信したテキスト情報を受信し、受信したテキスト情報を係り受け解析部２２４とモード判定部２４１に出力する。通信部２１１は、子機３が送信したログイン指示を受信し、受信したログイン指示を認証部２１２に出力する。通信部２１１は、画像出力部２４５が出力する画像データを、ネットワーク４を介して子機３へ送信する。通信部２１１は、認証部２１２が出力するログインを許可する情報を、ネットワーク４を介して子機３へ送信する。

【0033】

認証部２１２は、通信部２１１が出力するログイン指示に含まれる参加者の識別情報と子機３の識別情報に基づいて、ログインを許可するか否かを判定する。認証部２１２は、ログインを許可する場合、ログインを許可する情報を通信部２１１に出力する。認証部２１２は、操作部２０２が操作された結果に基づいて、親機２の利用者のログインを許可するか否かを判定する。認証部２１２は、ログインを許可する場合、各機能部にログインを許可する情報を出力し、各機能部の動作を許可する。なお、各機能部とは、通信部２１１、認証部２１２、音響モデル・辞書記憶部２２１、音声認識部２２２、テキスト変換部２２３、係り受け解析部２２４、議事録作成部２２５、議事録記憶部２２６、テキスト取得部２３１、記憶部２４０、モード判定部２４１、制限生成部２４４、画像出力部２４５、表示部２４６、取得部２４７である。

【0034】

音響モデル・辞書記憶部２２１は、例えば音響モデル、言語モデル、単語辞書等を格納している。音響モデルとは、音の特徴量に基づくモデルであり、言語モデルとは、単語とその並び方の情報のモデルである。また、単語辞書とは、多数の語彙による辞書であり、例えば大語彙単語辞書である。なお、親機２は、音響モデル・辞書記憶部２２１に格納されていない単語等を格納して更新するようにしてもよい。

【0035】

音声認識部２２２は、モード判定部２４１が出力する判定結果に基づいて、音声認識処理と音声信号の録音を行う。なお、音声認識部２２２は、後述するように発言が制限されている会議の場合、音声録音を行い、音声認識処理を行わないようにしてもよい。音声認識部２２２は、収音部２０１が出力する音声信号、または通信部２１１が出力する音声信号を取得する。音声認識部２２２は、音声信号から発話区間の音声信号を検出する。発話区間の検出は、例えば所定のしきい値以上の音声信号を発話区間として検出する。なお、音声認識部２２２は、発話区間の検出を周知の他の手法を用いて行ってもよい。音声認識部２２２は、検出した発話区間の音声信号に対して、音響モデル・辞書記憶部２２１を参照して、周知の手法を用いて音声認識を行う。なお、音声認識部２２２は、例えば特開２０１５－６４５５４号公報に開示されている手法等を用いて音声認識を行う。音声認識部２２２は、認識した認識結果と音声信号をテキスト変換部２２３に出力する。なお、音声認識部２２２は、認識結果と音声信号とを、例えば１文毎、または発話句間毎、または話者毎に対応つけて出力する。
なお、音声認識部２２２は、音声信号が同時に入力された場合、例えば時分割処理によって収音部（２０１または３０１）毎に音声認識を行う。また、音声認識部２２２は、マイクロフォンがマイクロフォンアレイの場合、音源分離処理、音源定位処理、音源同定処理等、周知の音声認識処理も行う。

【0036】

テキスト変換部２２３は、音声認識部２２２が出力する認識結果に対して、音響モデル・辞書記憶部２２１を参照して、テキストに変換する。なお、テキスト情報は、少なくとも１文字の情報を含む。テキスト変換部２２３は、変換したテキスト情報と、取得した音声信号を係り受け解析部２２４に出力する。なお、テキスト変換部２２３は、発話情報を認識した結果から「あー」、「えーと」、「えー」、「まあ」等の間投詞を削除してテキストに変換するようにしてもよい。

【0037】

係り受け解析部２２４は、テキスト変換部２２３が出力したテキスト情報または通信部２１１が出力したテキスト情報に対して、音響モデル・辞書記憶部２２１を参照して、形態素解析と係り受け解析を行う。なお、係り受け解析には、例えば、Ｓｈｉｆｔ－ｒｅｄｕｃｅ法や全域木の手法やチャンク同定の段階適用手法においてＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅｓ）を用いる。
または、係り受け解析部２２４は、テキスト取得部２３１が出力するテキスト情報を取得する。係り受け解析部２２４は、テキスト情報に対して、音響モデル・辞書記憶部２２１を参照して、形態素解析と係り受け解析を行う。
係り受け解析部２２４は、形態素解析と係り受け解析を行ったテキスト情報と、解析した結果を議事録作成部２２５に出力する。なお、係り受け解析部２２４は、テキスト変換部２２３が出力する音声信号を取得した場合、取得した音声信号も議事録作成部２２５に出力する。

【0038】

議事録作成部２２５は、係り受け解析部２２４が出力したテキスト情報に基づいて、発話者毎に分けて、議事録を作成する。議事録作成部２２５は、作成した議事録（テキスト情報）と対応する音声信号を議事録記憶部２２６に記憶させる。また、議事録作成部２２５は、作成した議事録を画像出力部２４５に出力する。なお、議事録作成部２２５は、「あー」、「えーと」、「えー」、「まあ」等の間投詞を削除して議事録を作成するようにしてもよい。

【0039】

議事録記憶部２２６は、議事録と音声信号を対応付けて記憶する。なお、議事録記憶部２２６は、後述する発話禁止期間に発話された音声信号も記憶する。

【0040】

テキスト取得部２３１は、操作部２０２が出力する操作結果を取得し、取得した結果に基づいてテキスト情報を生成する。テキスト取得部２３１は、生成したテキスト情報を係り受け解析部２２４に出力する。

【0041】

記憶部２４０は、会議の設定情報を記憶する。設定情報には、参加者名、参加者を識別するための識別子、参加者に対応付けられたアイコン、参加者の収音部（２０１または３０１）の使用の有無を示す情報、参加者の操作部（２０２または３０２）の使用の有無を示す情報等が含まれている。また、設定情報には、会議で音声認識する対象のマイクロフォンの種類、音声録音を行うマイクロフォン、会議形態等が含まれている。会議形態については後述する。

【0042】

モード判定部２４１は、操作部２０２が出力する操作結果に基づいて、会議で音声認識する対象のマイクロフォンの種類、音声録音を行うマイクロフォン、会議形態等を判定する。モード判定部２４１は、判定した判定結果を音声認識部２２２に出力する。モード判定部２４１は、会議形態が式典や講演会や発表会である場合、子機３に対してテキスト入力を制限する制限指示を生成し、生成した制限指示を制限生成部２４４に出力する。
モード判定部２４１は、収音部２０１が出力する音声信号に基づいて、親機２に対して収音部２０１の使用の有無を判定する。また、モード判定部２４１は、通信部２１１が出力する音声信号に基づいて、子機３に対して収音部３０１の使用の有無を判定する。モード判定部２４１は、例えば、音声信号の大きさが所定時間継続して所定の閾値未満の場合、音声信号が入力されていないと判定して収音部（２０１または３０１）を使用していないと判定するようにしてもよい。また、モード判定部２４１は、音声信号の大きさが所定時間継続して所定の閾値以上の場合、音声信号が入力されていると判定して収音部（２０１または３０１）を使用していると判定するようにしてもよい。
モード判定部２４１は、操作部２０２が出力する操作結果に基づいて、親機２に対して操作部２０２の使用の有無を判定する。また、モード判定部２４１は、通信部２１１が出力するテキスト情報に基づいて、子機３に対して操作部３０２の使用の有無を判定する。モード判定部２４１は、例えば、所定時間継続して操作部（２０２または３０２）から操作結果が検出されない場合、操作部（２０２または３０２）を使用していないと判定するようにしてもよい。また、モード判定部２４１は、所定時間継続して操作部（２０２または３０２）から操作結果が検出された場合、操作部（２０２または３０２）を使用していると判定するようにしてもよい。

【0043】

制限生成部２４４は、モード判定部２４１が出力する制限指示に基づいて、発言制限指示を生成する。制限生成部２４４は、生成した発言制限指示を画像出力部２４５に出力する。

【0044】

画像出力部２４５は、取得部２４７は出力するプレゼンテーションの情報と、議事録作成部２２５が出力する議事録情報と、制限生成部２４４が出力する発言制限指示を取得する。画像出力部２４５は、議事録情報に基づいて画像データを生成し、生成した画像データを通信部２１１と表示部２４６に出力する。また、画像出力部２４５は、発言制限指示を取得した際、親機２の表示部２４６上に、プレゼンテーションの情報を表示させ、子機３の表示部３０４上に議事録情報を表示させる。なお、各表示部上に表示される画像については後述する。また、画像出力部２４５は、制限生成部２４４から発言制限指示を取得した場合、取得した発言制限指示を、通信部２１１を介して、子機３へ送信する。

【0045】

表示部２４６は、例えば液晶表示装置、有機ＥＬ表示装置、電子インク表示装置等である。表示部２４６は、画像出力部が出力する画像データを表示する。

【0046】

＜会議形態と表示部上に表示される画像例＞
次に、会議形態と表示部上に表示される画像例を説明する。
図２は、本実施形態に係る会議形態と表示部上に表示される画像例を示す図である。

【0047】

画像ｇ１は、会議形態が「会議」の場合である。この場合、例えばプロジェクターとスクリーンが親機２の表示部２４６であり、モニターが子機３の表示部３０４である。そして、会議システム１は、スクリーン上にプレゼンテーション（プレゼンともいう）の情報を表示させ、モニター上に参加者が発話または入力した言葉を表示させる。

【0048】

画像ｇ２は、会議形態が「テレビ会議」の場合である。この場合、例えばモニターが親機２の表示部２４６である。さらに参加者が子機３を所持する。そして、会議システム１は、参加者が所持する子機３の表示部３０４上に、会議室にいる参加者と相手側の会議室にいる参加者が発話または入力した言葉を表示させる。

【0049】

画像ｇ３は、会議形態が「ワイガヤ」の場合である。なお、「ワイガヤ」とは、ワイワイガヤガヤの略であり、自由に発言を行う会議である。この場合、参加者が子機３を所持する。そして、会議システム１は、参加者が所持する子機３の表示部３０４上に、会議室にいる参加者が発話または入力した言葉を表示させる。

【0050】

画像ｇ４は、会議形態が「式典、講演会、発表会」の場合である。この場合、例えばプロジェクターとスクリーンが親機２の表示部２４６であり、モニターが子機３の表示部３０４である。そして、会議システム１は、スクリーン上にプレゼンテーションの情報を表示させ、表示部３０４上に発表者参加者が発話した言葉を表示させる。

【0051】

＜会議設定画面＞
次に、会議開始時に親機２の表示部２４６上に表示される画像例を説明する。
図３は、本実施形態に係る会議開始時に親機２の表示部２４６上に表示される画像例を示す図である。利用者は、親機２の操作部２０２を操作して、各設定を行う。
画像ｇ５が、外議会開始時、表示部２４６上に表示される画像例である。
領域ｇ５１は、音声認識を行うマイクロフォンの設定領域である。
画像ｇ５２は、音声録音の選択を行う設定領域である。
画像ｇ５３は、会議形態を選択する設定領域である。
なお、図３に示す画面は一例であり、これに限らない。

【0052】

図４は、本実施形態に係る会議制限の初期状態と、発言制限切り替え機能の有無の例を示す図である。
図４に示す例において、会議が「テレビ会議」の場合は、発言制限切り替え機能がなく、初期状態において発言制限がない。会議が「会議、ワイガヤ」の場合は、発言制限切り替え機能がなく、初期状態において発言制限がない。会議が「式典、講演会、発表会」の場合は、発言制限切り替え機能があり、初期状態において発言制限がある。なお、発言制限の有無は、例えば親機２を使用する発表者や司会者の操作によって切り替えることができる。また、図４に示す例は一例であり、これに限らない。

【0053】

＜親機２の表示画像＞
次に、親機２が表示部２４６上に表示させる画像例を説明する。
図５は、本実施形態に係る親機２が表示部２４６上に表示させる画像例を示す図である。
画像ｇ１０が、親機２の表示部２４６上に表示される画像である。

【0054】

領域ｇ１００の画像は、参加者情報編集を行う領域である。
領域ｇ１０１は、参加者情報の領域である。符号ｇ１０２は、参加者に対応したアイコン画像である。符号ｇ１０３は、参加者の名前である。符号ｇ１０５は、参加者が使用するマイクロフォンの番号（または識別情報）である。

【0055】

領域ｇ２００の画像は、議事録を表示する領域である。なお、図５では、ログイン後の状態を示している。
符号ｇ２０１は、ログイン／ログアウトのボタン画像である。
符号ｇ２０２は、会議システム１の開始／終了のボタン画像である。符号ｇ２０３は、会議システム１の使用中に点灯する表示である。
符号ｇ２０４は、議事録記憶部２２６が記憶する議事録の表示や音声信号の再生を行うボタン画像である。
符号ｇ２０５は、親機２の利用者が収音部２０１の使用有無を選択するボタン画像である。
符号ｇ２０６は、会議中に、子機３の利用者の発言制限の可否を設定するボタン画像である。

【0056】

符号ｇ２１１は、参加者のうち、発話した人に対応するアイコン画像である。
符号ｇ２１２は、第１の参加者が発話した内容を音声認識したテキスト情報である。
符号ｇ２１４は、第１の参加者が発話した日時を示す情報である。
符号ｇ２１５は、第１の参加者の名前である。
符号ｇ２２１は、第２の参加者が発話した内容を音声認識したテキスト情報である。
符号ｇ２３１は、第３の参加者が発話した内容を音声認識したテキスト情報である。
なお、図５に示した画像は一例であり、表示部２４６上に表示される画像は、会議によって異なる。

【0057】

図６は、図５に示した発言制限の可否を設定するボタン画像の変化を示す図である。
画像ｇ５０１は、発言制限が有りの状態のボタン画像である。
画像ｇ５０２は、発言制限が無しの状態のボタン画像である。
なお、画像ｇ５０１では、外円と斜め線の色が赤色であり、画像ｇ５０２では、円内が水色である。このように、会議システム１は、発言制限の可否に応じて色も変化させるようにしてもよい。

【0058】

＜子機３の表示画像＞
次に、子機３が表示部３０４上に表示させる画像例を説明する。
図７は、本実施形態に係る発言制限が有りの際に子機３が表示部３０４上に表示させる画像例を示す図である。なお、音声認識されたテキスト情報等の画像データは、親機２から受信した画像データである。
画像ｇ３０が、子機３の表示部３０４上にされる画像である。
符号ｇ３１１は、第１の参加者が発話した内容を親機２が音声認識したテキスト情報である。
符号ｇ３１２は、第２の参加者が発話した内容を親機２が音声認識したテキスト情報である。
符号ｇ３１３は、第３の参加者が発話した内容を親機２が音声認識したテキスト情報である。

【0059】

図７に示すように、子機３は、発言制限指示を親機２から受信した場合、表示部３０４上にテキスト入力欄（図８参照）を表示させない。これにより、本実施形態によれば、発言が制限されている会議において、参加者が所持する子機３の表示部３０４に、発表者の発話のみを表示させ、参加者の発話を表示させない。
なお、子機３は、このように制限情報を受信している期間に発話された音声信号を親機２に送信するようにしてもよい。この場合、親機２は、受信した音声信号対して音声認識処理等を行い、議事録に関連付けて記憶させるようにしてもよい。これにより、本実施形態によれば、発表者は、発表後に議事録を再生することで、発表中にあった発話（質問等）を知ることができる。

【0060】

なお、子機３の処理部３０３は、親機２から発言制限指示を親機２から受信した場合、テキスト入力欄を表示させず、さらに、図７の符号ｇ３２１のように、アラートを表示させるようにしてもよい。符号ｇ３２１は、発言制限指示も基づき表示されるアラートの画像である。このアラートの表示は、親機２からに発言制限指示に基づいて、特定のモードに移行していることを子機３が表示していることを意味する。

【0061】

なお、処理部３０３は、音声による発言も制限するようにしてもよい。この場合、符号ｇ３２１のアラート画像において、『テキスト入力、音声による発言が制限されています。』等を表示させるようにしてもよい。この場合、処理部３０３は、利用者によって発話された音声信号を取得しないようにしてもよい。

【0062】

図８は、本実施形態に係る発言制限が無しの際に子機３が表示部３０４上に表示させる画像例を示す図である。なお、音声認識されたテキスト情報等の画像データは、親機２から受信した画像データである。なお、図７と同様のものは、同じ符号を用いて説明を省略する。

【0063】

画像ｇ３０ａが、子機３の表示部３０４上にされる画像である。
符号ｇ３１４は、テキスト入力欄の領域である。
図８に示すように、子機３は、発言制限指示を親機２から受信していない場合、表示部３０４上にテキスト入力欄を表示させる。これにより、本実施形態によれば、発言が制限されていない会議において、参加者が所持する子機３の表示部３０４に、発表者の発話に加えて、入力欄を表示させ、参加者がテキストを入力することができる。このようにして入力されたテキスト情報は、親機２に送信され、親機２から議事録データとして、各子機３に送信される。これにより、本実施形態によれば、発言が制限されていない会議において、参加者が所持する子機３の表示部３０４に、発表者の発話に加えて、入力されたテキスト情報も表示することができる。

【0064】

発言制限の有無による子機３の表示部３０４上の表示について、さらに説明する。
図９は、本実施形態に係る発言制限の有無による子機３の表示部３０４上の表示例を示す図である。なお、図９に示す例は、親機２の利用者によって、会議の開始、一時停止、再開が操作された場合である。

【0065】

図９に示すように、会議が「会議、ワイガヤ」または「テレビ会議」の場合は、会議の開始時に『会議が始まりました』等が表示される。会議が「会議、ワイガヤ」または「テレビ会議」の場合は、会議の一次停止時に『会議の更新を一時停止しています』等が表示される。会議が「会議、ワイガヤ」または「テレビ会議」の場合は、会議の再開時に『会議の更新を再開しました』等が表示される。なお、これらの画像データは、親機２の制限生成部２４４が生成し、親機２が子機３に送信する。

【0066】

図９に示すように、会議が「式典、講演会、発表会」の場合は、会議の開始時や会議の一次停止時や会議の再開時に上述したメッセージ等が表示されない。なお、親機２がこれらのメッセージを送信した場合であっても、子機３は、発言制限指示を受信している場合、受信したメッセージを表示部３０４上に表示させない。

【0067】

＜親機２の処理＞
次に、親機２が行う処理手順例を説明する。
図１０は、本実施形態に係る親機２が行う処理手順例を示すフローチャートである。

【0068】

（ステップＳ１）利用者は、操作部２０２を操作して、ログイン手続きを行う。例えば、利用者は、利用者を識別する識別情報（利用者ＩＤ）とパスワードを入力する。続けて、認証部２１２は、操作部２０２が操作された操作結果に基づいて、ログイン手続きを行う。

【0069】

（ステップＳ２）モード判定部２４１は、操作部２０２が操作された操作結果に基づいて、会議設定画像を表示する指示を、制限生成部２４４を介して画像出力部２４５に出力する。なお、モード判定部２４１は、記憶部２４０が記憶する情報に基づいて、会議設定画像を生成する。または、記憶部２４０が、会議設定画像を記憶していてもよい。

【0070】

（ステップＳ３）モード判定部２４１は、制限ありの会議であるか否かを判定する。なお、制限ありの会議とは、例えば「式典、講演会、発表会」である。モード判定部２４１は、制限ありの会議であると判定した場合（ステップＳ３；ＹＥＳ）、ステップＳ６の処理に進める。モード判定部２４１は、制限なしの会議であると判定した場合（ステップＳ３；ＮＯ）、ステップＳ４の処理に進める。

【0071】

（ステップＳ４）モード判定部２４１は、発言を許可するため、発言制限指示を子機３に送信しない。処理後、モード判定部２４１は、ステップＳ５の処理に進める。
（ステップＳ５）テキスト取得部２３１と通信部２１１は、テキスト情報を取得する。処理後、親機２は、ステップＳ８の処理に進める。

【0072】

（ステップＳ６）モード判定部２４１は、発言を制限するため、発言制限指示を生成する。処理後、モード判定部２４１は、ステップＳ７の処理に進める。
（ステップＳ７）モード判定部２４１は、発言制限指示を画像出力部２４５と通信部２１１を介して、子機３へ送信する。処理後、モード判定部２４１は、ステップＳ８の処理に進める。

【0073】

（ステップＳ８）音声認識部２２２は、収音部２０１や収音部３０１によって収音された音声信号に対して音声認識処理を行う。
（ステップＳ９）テキスト変換部２２３は、音声認識された結果に対してテキスト変換処理を行う。

【0074】

（ステップＳ１０）係り受け解析部２２４は、テキスト変換されたテキスト情報に対して、話者毎に係り受け解析と形態素解析処理を行う。
（ステップＳ１１）議事録作成部２２５は、係り受け解析部２２４が出力するテキスト情報に基づいて、議事録を作成する。

【0075】

（ステップＳ１２）通信部２１１は、作成された議事録データを子機３へ送信する。

【0076】

親機２は、以下、ステップＳ３～Ｓ１２の処理を繰り返す。
なお、図１０の処理は一例であり、これに限らない。例えば、モード判定部２４１は、会議の途中で発言制限が有りから無しに変更された場合にステップＳ３とＳ４とＳ５の処理を実行し、会議の途中で発言制限が無しから有りに変更された場合にステップＳ３とＳ６とＳ７の処理を実行する。

【0077】

なお、図１０に示した例では、会議設定を親機２で行う例を説明したが、会議設定を子機３が行ってもよい。この場合、子機３は、設定情報を親機２へ送信する。
また、上述した例では、特定のモードとして、発言が制限された会議を例に説明したが、これに限らない。特定のモードは、例えばプレゼンテーションの練習モード等も含む。

【0078】

なお、上述した例では、発言が制限されている場合、親機２の表示部２４６上にプレゼンテーション情報を表示させ、子機３の表示部３０４上に音声認識処理等したテキスト情報の議事録を表示させる例を説明したが、これに限らない。
画像出力部２４５に接続させる表示部２４６は複数であってもよい。この場合、例えば図２の画像ｇ１において、第１の表示部２４６がスクリーンであり、第２の表示部２４６がモニターであってもよい。このように複数の表示部２４６を親機２が備える場合、親機２は、第１の表示部２４６にプレゼンテーション情報を表示させ、第２の表示部２４６に議事録を表示させるようにしてもよい。これにより、聴覚障がい者と健聴者とが一緒に参加する発表会等において、発表者が親機２を使用し、聴覚障がい者の参加者が子機３を所持していなくても、聴覚障がい者の参加者が第２の表示部２４６を見ることで、発表者の発表内容を理解することができる。
そして、発言が制限されている場合、親機２は、発表者以外の発言を第１の表示部２４６および第２の表示部２４６上に、発表中の発話であるテキスト情報や音声認識した結果を表示させないようにできる。これにより、聴覚障がい者は、余計な情報が表示されないため、発表者の発表内容を理解することができる。

【0079】

以上、本実施形態では、子機３または親機２が特定のモード（発言制限のモード）になっている場合、前記特定の端末から入力された内容を所定の表示部上に表示させないようにした。
これにより、本実施形態によれば、会議が式典モード等において、登壇者の発話のみを子機３の表示部３０４やモニター等に表示させることができる。

【0080】

＜変形例＞
上述した例では、親機２が、子機３の表示部３０４上の表示を制御することで、制限がある会議において、テキスト入力を制限する例を説明したが、これに限らない。
例えば、子機３の利用者が、子機３に無線接続または有線接続可能な操作部３０２であるキーボードを使用している例を説明する。
図１１は、変形例における操作部の構成例を示すブロック図である。図１１に示すように、変形例の操作部５０１は、報知部５１１と通信部５１２を備える。

【0081】

子機３の処理部３０３は、親機２から発言制限指示を受信した場合、受信した発言制限指示に基づいて報知情報を生成し、生成した報知情報を、通信部３０５を介して操作部５０１へ送信する。
操作部５０１の通信部５１２は、子機３が送信した報知情報を受信し、報知部５１１に出力する。
報知部５１１は、通信部５１２が出力する報知情報に基づいて、テキスト情報の入力が制限されていることを報知する。報知部５１１は、例えばランプやＬＥＤ（発光ダイオード）や液晶表示装置等である。
利用者は、この報知によって、テキスト情報の入力が制限されていることを知ることができる。この結果、利用者が制限されている期間、テキスト入力を行わないので、変形例によれば、特定のモード（発言制限のモード）になっている場合、特定の端末からの入力を制限することができる。

【0082】

変形例では、操作部が通信部と報知部を備える例を説明したが、収音部３０１（図１）が、通信部と報知部を備えるようにしてもよい。この場合、収音部３０１を装着している参加者は、収音部３０１の報知部が報知する情報に基づいて、発言が制限されていることを知ることができる。

【0083】

なお、上述した実施形態と変形例では、子機３によるテキスト入力や音声入力を制限する例を説明したが、これに限らない。親機２は、発言が制限されている会議において、子機３から受信したテキスト情報や音声信号を音声認識した結果を表示部３０４上に表示させないようにしてもよい。この場合においても、子機３の利用者が入力したテキストや音声が表示されないことに不安を感じないように、発言が制限されていることを示す情報を、子機３の表示部３０４上等に表示させることが好ましい。

【0084】

なお、本発明における親機２または子機３の機能の全てまたは一部を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより親機２または子機３が行う処理の全てまたは一部を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

【0085】

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

【0086】

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形および置換を加えることができる。

【符号の説明】

【0087】

１…会議システム、２…親機、２０１…収音部、２０２…操作部、２１１…通信部、２１２…認証部、２２１…音響モデル・辞書記憶部、２２２…音声認識部、２２３…テキスト変換部、２２４…係り受け解析部、２２５…議事録作成部、２２６…議事録記憶部、２３１…テキスト取得部、２４０…記憶部、２４１…モード判定部、２４２…アイコン設定部、２４３…アイコン記憶部、２４４…制限生成部、２４５…画像出力部、３…子機、３０１…収音部、３０２…操作部、３０３…処理部、３０４…表示部、３０５…通信部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】