(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023120820
(43)【公開日】2023-08-30
(54)【発明の名称】端末装置、出力方法、及びプログラム
(51)【国際特許分類】
H04M 3/56 20060101AFI20230823BHJP
H04N 7/15 20060101ALI20230823BHJP
【FI】
H04M3/56 C
H04N7/15
【審査請求】有
【請求項の数】9
【出願形態】OL
(21)【出願番号】P 2022023894
(22)【出願日】2022-02-18
(11)【特許番号】
(45)【特許公報発行日】2023-03-29
(71)【出願人】
【識別番号】000227205
【氏名又は名称】NECプラットフォームズ株式会社
(74)【代理人】
【識別番号】100080816
【弁理士】
【氏名又は名称】加藤 朝道
(74)【代理人】
【識別番号】100098648
【弁理士】
【氏名又は名称】内田 潔人
(72)【発明者】
【氏名】園田 隆史
(72)【発明者】
【氏名】小関 有香
【テーマコード(参考)】
5C164
5K201
【Fターム(参考)】
5C164FA10
5C164PA42
5C164PA44
5C164UB83S
5C164VA07P
5C164VA09P
5C164VA21P
5K201AA05
5K201BB09
5K201BC27
5K201CA01
5K201CA06
5K201CA07
5K201CC10
5K201DB06
5K201DC04
5K201DC05
5K201DC06
5K201EC06
5K201ED07
5K201EF10
(57)【要約】
【課題】複数の電子会議への参加を可能とし、さらに会議間で提示される情報が相互に干渉することのない視聴態様の実現に貢献する端末装置、出力方法、及びプログラムの提供。
【解決手段】複数の会議サーバより配信される複数の会議データを受信する受信部と、前記複数の会議データのうち一の会議データを主会議データとし、その他の会議データを副会議データとする選択部と、前記選択部の選択に基づいて、前記会議データの出力態様を、会議データ毎に設定し出力設定する出力設定部と、前記出力設定に基づいて、会議データを出力する出力部と、を有し、前記出力設定部は、副会議データの出力設定を主会議データの出力設定とは異なる設定とする、端末装置。
【選択図】
図1
【特許請求の範囲】
【請求項1】
複数の会議サーバより配信される複数の会議データを受信する受信部と、
前記複数の会議データのうち一の会議データを主会議データとし、その他の会議データを副会議データとする選択部と、
前記選択部の選択に基づいて、前記会議データの出力態様を、会議データ毎に設定し出力設定する出力設定部と、
前記出力設定に基づいて、会議データを出力する出力部と、
を有し、
前記出力設定部は、副会議データの出力設定を主会議データの出力設定とは異なる設定とする、
端末装置。
【請求項2】
音声及び映像を入力する入力部と、
音声及び映像を送信する態様を、送信先の会議サーバ毎に送信設定する送信設定部と、
前記送信設定に基づいて、前記音声の音声データ及び前記映像の映像データを各会議データにかかる会議サーバへ送信する送信部と、
をさらに有し、
前記送信設定部は、副会議データの送信設定を主会議データの送信設定とは異なる設定とする、
請求項1の端末装置。
【請求項3】
前記出力設定部は、前記副会議データの音声を出力しない設定とし、
前記送信設定部は、前記副会議データの送信元に対して音声を送信しない設定とする、
請求項2の端末装置。
【請求項4】
前記会議データの音声を音声認識によりテキスト化する音声文字変換部をさらに有し、
前記出力部は変換されたテキストを出力する、
請求項1から3のいずれか一の端末装置。
【請求項5】
前記音声文字変換部は副会議データの音声をテキスト化し、
前記出力部は変換された副会議データのテキストを出力する、
請求項4の端末装置。
【請求項6】
前記音声文字変換部は、事前に設定された文字列が変換結果に含まれる場合に通知を行う請求項4又は5の端末装置。
【請求項7】
前記会議データ毎に音声の出力を有効化又は無効化するための操作を受け付ける音声出力設定受付部を、
さらに有し、
前記出力設定部は前記操作に応じて音声出力を前記会議データ毎に有効化又は無効化し、
前記選択部は、音声出力を有効化した場合に有効化された会議データを主会議データとしてその他の会議データを副会議データとし、音声出力を無効化した場合に無効化された会議データを副会議データとし、その他の会議データのうちの一を主会議データとする、
請求項1から6のいずれか一の端末装置。
【請求項8】
選択部は、前記会議データの配信の受信を開始する際に、出力部より音声が出力されている、又は入力部より音声が入力されている場合には、前記会議データは副会議データとして取り扱う、
請求項1から7のいずれか一の端末装置。
【請求項9】
複数の会議サーバより配信される複数の会議データを受信するステップと、
前記複数の会議データのうち一の会議データを主会議データとし、その他の会議データを副会議データとして選択するステップと、
前記選択に基づいて、前記会議データの出力態様を、会議データ毎に設定し出力設定するステップと、
前記出力設定に基づいて、会議データを出力するステップと、
を有し、
前記出力設定は、副会議データの出力設定を主会議データの出力設定とは異なる設定とする、
出力方法。
【請求項10】
複数の会議サーバより配信される複数の会議データを受信する処理と、
前記複数の会議データのうち一の会議データを主会議データとし、その他の会議データを副会議データとして選択する処理と、
前記選択に基づいて、前記会議データの出力態様を、会議データ毎に設定し出力設定する処理と、
前記出力設定に基づいて、会議データを出力する処理と、
を有し、
前記出力設定は、副会議データの出力設定を主会議データの出力設定とは異なる設定とする、
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、端末装置、出力方法、及びプログラムに関する。
【背景技術】
【0002】
現在、リモートワーク等で遠隔地にいるメンバと会議を行う場面が多く存在する。そういった場合に、リモート会議システムを利用するが、単一の会議に参加することしか想定されていない場合が多い。同時間帯に複数の会議が予定されることもあり、そういった場面に遭遇したとしても対処できるような会議サービスが求められている。
【0003】
特許文献1には以下のような多地点電子会議装置が開示されている。該技術では、複数の会議に参加可能な電子会議装置であって、複数の会議を利用者が認識しやすいユーザインタフェースを実現するとともに、複数の会議の音声を制御することにより、どの会議の音声を聞いているのかを利用者が認識しやすい電子会議装置を提供している。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
なお、上記先行技術文献の各開示を、本書に引用をもって繰り込むものとする。以下の分析は、本発明者らによってなされたものである。
【0006】
しかしながら、上記開示された発明は、複数の会議を表示しているウインドウのうちアクティブなウインドウの音声を出力し、それ以外のアクティブでないウインドウの情報については小音量で会議の音声を出力するといった構成であり、音声の性質上会議間で干渉が生じる可能性がある。このため、必要な情報を干渉により聞き逃す場合があるといった問題があった。
【0007】
本発明は、複数の電子会議への参加を可能とし、さらに会議間で提示される情報が相互に干渉することのない視聴態様の実現に貢献する端末装置、出力方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0008】
本発明乃至開示の第一の視点によれば、複数の会議サーバより配信される複数の会議データを受信する受信部と、前記複数の会議データのうち一の会議データを主会議データとし、その他の会議データを副会議データとする選択部と、前記選択部の選択に基づいて、前記会議データの出力態様を、会議データ毎に設定し出力設定する出力設定部と、前記出力設定に基づいて、会議データを出力する出力部と、を有し、前記出力設定部は、副会議データの出力設定を主会議データの出力設定とは異なる設定とする、端末装置が提供される。
【0009】
本発明乃至開示の第二の視点によれば、複数の会議サーバより配信される複数の会議データを受信するステップと、前記複数の会議データのうち一の会議データを主会議データとし、その他の会議データを副会議データとして選択するステップと、前記選択に基づいて、前記会議データの出力態様を、会議データ毎に設定し出力設定するステップと、前記出力設定に基づいて、会議データを出力するステップと、を有し、前記出力設定は、副会議データの出力設定を主会議データの出力設定とは異なる設定とする、出力方法が提供される。
【0010】
本発明乃至開示の第三の視点によれば、複数の会議サーバより配信される複数の会議データを受信する処理と、前記複数の会議データのうち一の会議データを主会議データとし、その他の会議データを副会議データとして選択する処理と、前記選択に基づいて、前記会議データの出力態様を、会議データ毎に設定し出力設定する処理と、前記出力設定に基づいて、会議データを出力する処理と、を有し、前記出力設定は、副会議データの出力設定を主会議データの出力設定とは異なる設定とする、コンピュータに実行させるためのプログラムが提供される。
【発明の効果】
【0011】
本発明乃至開示の各視点によれば、本発明は、複数の電子会議への参加を可能とし、さらに会議間で提示される情報が相互に干渉することのない視聴態様の実現に貢献する端末装置、出力方法、及びプログラムが提供される。
【図面の簡単な説明】
【0012】
【
図1】一実施形態に係る端末装置の構成の一例を示すブロック図である。
【
図2】第1の実施形態に係る端末装置の処理の概要を示すための概略図である。
【
図3】第1の実施形態に係る端末装置の構成の一例を示すブロック図である。
【
図4】第1の実施形態に係る端末装置の動作の一例を示すフローチャートである。
【
図5】第1の実施形態に係る端末装置のハードウエア構成を示す概略図である。
【
図6】第2の実施形態におけるシステムの概要と構成を示すための図である。
【
図7】第2の実施形態のシステムが提供するサービスの概要を示す図である。
【
図8】第2の実施形態のシステムが提供するサービスの概要を示す図である。
【発明を実施するための形態】
【0013】
初めに、一実施形態の概要について説明する。なお、この概要に付記した図面参照符号は、理解を助けるための一例として各要素に便宜上付記したものであり、この概要の記載はなんらの限定を意図するものではない。また、各図におけるブロック間の接続線は、双方向及び単方向の双方を含む。一方向矢印については、主たる信号(データ)の流れを模式的に示すものであり、双方向性を排除するものではない。さらに、本願開示に示す回路図、ブロック図、内部構成図、接続図などにおいて、明示は省略するが、入力ポート及び出力ポートが各接続線の入力端及び出力端のそれぞれに存在する。入出力インタフェースも同様である。
【0014】
図1は一実施形態に係る端末装置の構成の一例を示すブロック図である。この図にあるように、一実施形態に係る端末装置10は、受信部11と、選択部12と、出力設定部13と、出力部14と、を有する。
【0015】
受信部11は複数の会議サーバより配信される複数の会議データを受信する。選択部12は、前記複数の会議データのうち一の会議データを主会議データとし、その他の会議データを副会議データとする。出力設定部13は前記選択部12の選択に基づいて、前記会議データの出力態様を、会議データ毎に設定し出力設定する。出力部14は前記出力設定に基づいて、会議データを出力する。出力設定部13は、副会議データの出力設定を主会議データの出力設定とは異なる設定とする。
【0016】
以下に具体的な実施の形態について、図面を参照してさらに詳しく説明する。なお、各実施形態において同一構成要素には同一の符号を付し、その説明を省略する。
【0017】
[第1の実施形態]
図2は、第1の実施形態にかかる端末装置の処理の概要を示すための概略図である。この図にあるように、会議サーバ21-23から会議が配信されている。これらの会議は画面上の複数のウインドウ24-26上で表示されている。ここで「主会議」はウインドウ24であり、「副会議」はウインドウ25及び26である。なお、表示される会議の数は3つに限られない。主会議においては発言者27が資料28を共有しながら発言しており、この発言はスピーカから音声として出力されている。一方副会議であるウインドウ25及び26では音声の代わりに、Speech to Textの技術により発言者の発言を認識しテキスト化してポップアップウインドウで表示している。ポップアップウインドウは一例であり、これに限定はされず、テキストの提示は種々の態様が考えられる。このように本実施形態の端末装置では複数の会議を主会議と副会議に分け、主会議からは音声を出力し、副会議からは発言内容のテキストが出力される構成となっている。
【0018】
図3は、第1の実施形態に係る端末装置の構成の一例を示すブロック図である。この図にあるように本実施形態にかかる端末装置10は、受信部11と、選択部12と、出力設定部13と、出力部14と、入力部15と、送信設定部16と、送信部17と、音声文字変換部18と、を有する。
【0019】
受信部11は複数の会議サーバより配信される複数の会議データを受信する。「会議データ」とは、会議サーバから配信される音声や映像の配信データを指す。配信される配信データについては既存のリモート会議システムで用いられているものでもよい。すなわち「会議サーバ」は既存のリモート会議システムで用いられているサーバでよい。端末装置側では複数の会議を別のウインドウで表示しているが、ウインドウ表示は既存のリモート会議システム用アプリケーションプログラムでもよいし、端末装置10が独自に生成するものでもよい。受信された会議データは出力部14に送られる。
【0020】
選択部12は前記複数の会議データのうち一の会議データを主会議データとし、その他の会議データを副会議データとする。具体的には、例えばキーボードやマウス等の入出力インタフェースにより選択操作を受け付け、複数の会議の中から主会議を選択し、出力設定部13や送信設定部16に対して設定を変更するためのトリガを送る。例えば一番早い時刻に開始される会議を主会議とし、2番目以降に開催される会議を副会議としたり、特定の話題が会議に取り上げられた場合に副会議から主会議へ選択を変更したり、特定の資料の共有が開始された場合に副会議から主会議へ選択を変更したりする。またアクティブ化されたウインドウに表示された会議データを主会議とするといった処理も選択部12により可能である。
【0021】
さらに選択部12は、前記会議データの配信の受信を開始する際に、既に後述する出力部14より音声が出力されている、又は後述する入力部15より音声が入力されている場合には、前記会議データは副会議データとして取り扱うといった処理が可能である。
【0022】
出力設定部13は選択部12の選択に基づいて、前記会議データの出力態様を、会議データ毎に設定し出力設定する。「会議データの出力態様」とは、例えば副会議として選択された会議データについては、配信された会議データの映像のみ出力し、音声についてはミュートとする、利用者側から送信する映像や音声については送信しない、との設定の組み合わせを指す。このように、出力設定部13は、副会議データの出力設定を主会議データの出力設定とは異なる設定とすることが可能である。これらの設定をもって後述する出力部14が制御される。
【0023】
ここで出力設定部13は、副会議データの出力設定を主会議データの出力設定とは異なる設定としてもよい。すなわち上述したように、主会議データについては音声出力がON、副会議データについては音声出力がOFF、映像出力はいずれもONであるが主会議データは動画である一方で副会議データはテキストの出力、というように、主会議と副会議の配信の態様を特徴づけるものとなる。これらの出力設定の差異によって利用者は干渉なく複数の会議データにかかる映像や音声を視聴することができる。
【0024】
出力部14は前記出力設定に基づいて、会議データを出力する。具体的には出力設定部13より出力設定を受け取り、音声や映像の出力を制御し、これらを出力する。主にスピーカやディスプレイデバイスと、これらを制御するデバイスドライバなどが該当する。
【0025】
主会議と副会議の切り替えは、音声出力のONとOFFの操作に連動して行われてもよい。会議データ毎に音声の出力を有効化又は無効化するための操作を受け付ける音声出力設定受付部(図示せず)をさらに有し、出力設定部13は前記操作に応じて音声出力を会議データ毎に有効化又は無効化し、選択部12は、音声出力を有効化した場合に有効化された会議データを主会議データとして、その他の会議データを副会議データとする。あるいは音声出力を無効化した場合に無効化された会議データを副会議データとし、その他の会議データのうちの一を主会議データとするといった構成である。
【0026】
入力部15は、音声及び映像を入力する。主にマイクやカメラなどの映像と音声を取得するためのデバイスとこれらを制御するデバイスドライバなどが該当する。取得した映像や音声は後述する送信部17へ送られる。
【0027】
送信設定部16は音声及び映像を送信する態様を、送信先の会議サーバ毎に設定する。例えば、マイクやカメラから入力した音声及び映像を、主会議の会議サーバ宛には音声と映像をともに送信するが、副会議の会議サーバ宛には音声は送信せずに映像のみ送る等の処理を実行するための制御を後述する送信部17に対して行う。
【0028】
送信設定部16は、副会議データの送信設定を主会議データの送信設定とは異なる設定としてもよい。上記の通り主会議の会議サーバ宛には音声及び映像をともに送信するが、副会議の会議サーバ宛には音声は送信せず映像のみ送信するといった設定が可能であってよい。このように、送信設定部は、副会議データの送信設定を主会議データの送信設定とは異なる設定とすることが可能である。
【0029】
送信設定部16と出力設定部13における設定により、出力設定部13は、副会議データの音声を出力しない設定とし、送信設定部は、副会議データの送信元に対して音声を送信しない設定とすることが可能であり、主会議に干渉しない態様で利用者は複数の会議に参加することが可能である。
【0030】
送信部17は、前記音声の音声データ及び前記映像の映像データを各会議データにかかる会議サーバへ送信する。送信設定部16が設定した送信態様でネットワークを介して各会議サーバへ送信する。
【0031】
音声文字変換部18は会議データの音声を音声認識によりテキスト化する。受信部11にて受信した会議データのうちの音声を取得し、ほぼリアルタイムで音声認識(Speech to Text)を行い、その結果を出力部14より出力を行う。音声認識エンジンについては既存のものを使用してよいが、リアルタイム処理が可能な高速な認識エンジンを採用することが望ましい。
【0032】
出力部14にて変換されたテキストを出力するが、出力の態様は種々のものが考えられる。例えば
図2のように話者から吹き出しがでておりその中に変換結果を表示させてもよいし、映画の字幕のように話者の映像の下部や側部に変換結果を表示するものでもよい。あるいは、チャットツールで使用されているようなタイムライン型式で変換結果を時系列上にて表示するものでもよい。
【0033】
音声の干渉を回避して複数の会議に参加するには、主会議は受信した会議データの映像と音声の両方を出力し、副会議データの音声はテキスト化し、出力部により変換された副会議データのテキストを出力するという態様が望ましい。
【0034】
音声文字変換部18は、事前に設定された文字列が変換結果に含まれる場合に通知を行う通知機能を有してもよい。適時に副会議に参加するためには、音声文字変換部18にて変換された文字列を常に監視して、参加すべきタイミングを図ることが必要であるが、副会議での議事の進行を、キーワードを設定しておいて音声文字変換部18で監視し、設定したキーワードが出現した場合に通知することで、副会議に過度に注意を払うことなく主会議に集中することが可能となる。
【0035】
[動作の説明]
本実施形態の端末装置10の動作の一例について
図4を用いて説明する。
図4は、第1の実施形態に係る端末装置10の動作の一例を示すフローチャートである。
【0036】
まず出力系の処理について説明する。同装置が動作を開始すると、主会議データと副会議データとを選択する(ステップSA41)。次いで会議データの出力態様を会議データ毎に設定する(ステップSA42)。次に複数の会議データを受信する(ステップSA43)。受信したら出力設定に基づいて会議データが出力される(ステップSA44)。会議データの出力に伴って、音声をテキスト化して出力する(ステップSA45)。ここで、主会議の変更が生じた場合(ステップSA46、Y)には、再び主会議データと副会議データとを選択する処理(ステップS41)に戻る。変更がない場合(ステップSA46、N)には会議への参加が終了するか否かを判断し、終了でない場合(ステップSA47、N)には再び複数の会議データを受信する処理(ステップSA43)に戻る。終了であれば(ステップSA47、Y)端末装置の動作が終了する。
【0037】
次に入力系の処理について説明する。なお入力系の処理と出力系の処理は並行して実行されてもよい。端末装置10が動作を開始すると出力系において主会議データと副会議データとが選択される。この選択は入力系にも継承される(点線部)。すると入力データの送信態様を会議サーバ毎に設定する(ステップSB41)。次にカメラやマイク等から映像や音声を入力する(ステップSB42)。入力された映像や音声は映像データや音声データにて会議サーバへ送信される(ステップSB43)。ここで主会議の変更があった場合(ステップSB44、Y)には入力データの送信態様を会議サーバ毎に設定する処理(ステップSB41)に戻る。主会議の変更がない場合には(ステップSB44、N)会議への参加が終了するか否かを判断し、終了でない場合(ステップSB45、N)には引き続き映像や音声を入力する処理(ステップSB42)に戻る。終了である場合には(ステップSB45、Y)端末装置の動作が終了する。
【0038】
[ハードウエア構成]
本実施形態の端末装置10は、情報処理装置(コンピュータ)により構成可能であり、
図5に例示する構成を備える。例えば、端末装置10は、内部バス55により相互に接続される、CPU(Central Processing Unit)51、メモリ52、入出力インタフェース53及び通信手段であるNIC(Network Interface Card)54等を備える。
【0039】
但し、
図5に示す構成は、端末装置10のハードウエア構成を限定する趣旨ではない。端末装置10は、図示しないハードウエアを含んでもよいし、必要に応じて入出力インタフェース53を備えていなくともよい。また、端末装置10に含まれるCPU等の数も
図5の例示に限定する趣旨ではなく、例えば、複数のCPUが端末装置10に含まれていてもよい。
【0040】
メモリ52は、RAM(Random Access Memory)、ROM(Read ONly Memory)、補助記憶装置(ハードディスク等)である。
【0041】
入出力インタフェース53は、図示しない表示装置や入力装置のインタフェースとなる手段である。表示装置は、例えば、液晶ディスプレイ等である。入力装置は、例えば、キーボードやマウス等のユーザ操作を受付ける装置である。
【0042】
端末装置10の機能は、メモリ52に格納された受信プログラム、選択プログラム、出力設定プログラム、音声文字変換プログラム、出力プログラム、入力プログラム、送信設定プログラム、送信プログラム等といったプログラム群(処理モジュール)と、出力設定及び入力設定のデフォルト値等のデータ群により実現される。当該処理モジュールは、例えば、メモリ52に格納された各プログラムをCPU51が実行することで実現される。また、そのプログラムは、ネットワークを介してダウンロードするか、あるいは、プログラムを記憶した記憶媒体を用いて、更新することができる。さらに、上記処理モジュールは、半導体チップにより実現されてもよい。即ち、上記処理モジュールが行う機能を何らかのハードウエア、及び/又は、ソフトウエアで実行する手段があればよい。
【0043】
[ハードウエアの動作]
最初に出力系の処理におけるハードウエアの動作について説明する。まず端末装置10は、動作を開始すると、選択プログラムがメモリ52からCPU51に呼び出され、実行状態となり、主会議データと副会議データを選択する処理を行う。具体的には入出力インタフェース53により主会議データ又は副会議データを選択する。あるいはすでに第1の会議データを受信しており、音声の出力がある場合に、新たに第2の会議データの受信を追加すると、追加された第2の会議データについては副会議データとし、第1の会議データが主会議データとなるといった処理を行ってもよい。
【0044】
次に出力設定プログラムがメモリ52から呼び出されCPU51にて実行状態となる。同プログラムは選択プログラム又は後述する受信プログラムから、選択された主会議データの識別子及び副会議データの識別子を受け取る。次にメモリ52に格納されている主会議データ及び副会議データの出力設定値のデフォルト値を読み込む。次に出力プログラムがメモリ52から呼び出されCPU51にて実行状態となる。ここで出力設定プログラムは出力設定値と主会議データ及び副会議データの識別子を出力プログラムに渡す。次に受信プログラムがメモリ52から呼び出され、CPU51で実行状態となる。同プログラムはNIC54を介して会議サーバから会議データを受信する。受信されたデータは出力プログラムと、音声文字変換プログラムに渡される。
【0045】
次に音声文字変換プログラムがメモリ52から呼び出されCPU51にて実行状態となる。同プログラムは受信プログラムより渡された副会議データを読み込み、音声認識処理により受信した会議データの音声部分をテキスト化する。テキスト化されたデータは出力プログラムに渡される。
【0046】
出力プログラムでは受信部から渡される会議データを主会議データの識別子により識別し、出力設定値を反映させてディスプレイ、スピーカなどの入出力インタフェース53より出力する。併せて出力プログラムは音声文字変換プログラムより渡されたテキストデータを入出力インタフェース53のディスプレイに副会議データの映像に重畳する等の処理を行うことで出力する。
【0047】
ここで主会議の変更処理に関しては、入出力インタフェース53により所定の操作を行うことで割り込みが発生し、選択プログラムがCPU51にて実行状態となる。キーボードやマウス等の入出力インタフェース53の操作入力により主会議が選択され、主会議データの識別子が出力設定プログラムに送られ主会議における出力設定値のデフォルト値とともに出力プログラムに送られる。
【0048】
なお、主会議の変更処理については、音声出力の有効化、無効化により切り替えを行う態様でもよい。この場合、音声出力設定受付プログラムが起動し音声出力の有効化又は無効化を受け付け、音声出力が有効となった会議データの識別子を出力設定プログラムもしくは選択プログラムに送り、主会議データとすることで変更処理を行う。
【0049】
次に入力系の処理におけるハードウエアの動作について説明する。まず出力系の処理の選択プログラムにより主会議データと副会議データとが選択される。すると送信設定プログラムがメモリ52から呼び出されCPU51にて実行状態となる。同プログラムは選択プログラムより主会議データと副会議データとの識別子を受け取る。また同プログラムはメモリ52に格納されている主会議及び副会議の送信設定のデフォルト値を読み込む。
【0050】
次に入力プログラムがメモリ52から呼び出されCPU51にて実行状態となる。同プログラムは音声及び映像をマイクやカメラ等の入出力インタフェース53により取得する。次に送信プログラムがメモリ52から呼び出されCPU51にて実行状態となる。取得された音声及び映像は入力データとして送信プログラムに送られる。送信プログラムは、送信設定プログラムより主会議及び副会議の設定値を受け取り、主会議データと副会議データの識別子から主会議データ及び副会議データを配信するサーバのアクセス先を解決する。送信プログラムは解決されたアクセス先(アドレス)それぞれに対して送信設定値を反映させた形態で入力データを送信する。
【0051】
なお主会議の変更処理については、出力系の選択プログラムより選択後の主会議データの識別子と副会議データの識別子とを送信設定プログラムが受け取り、メモリ52に格納されている主会議及び副会議の送信設定のデフォルト値を読み込む。送信設定プログラムはこれらの値と識別子を送信プログラムに渡すことで主会議の変更を行う。
【0052】
[効果の説明]
上記第1の実施形態に係る端末装置により、複数の電子会議への参加を可能とし、さらに主会議と副会議で出力の態様を変え、副会議の会議データの音声を認識してテキスト化し提示することで、会議間で提示される情報、特に音声が相互に干渉することのない視聴態様が実現できる。
【0053】
[第2の実施形態]
第2の実施形態では、上記実施形態を会議サービスとして提供した場合の会議システムの構成及び動作について説明する。
【0054】
図6は第2の実施形態におけるシステムの概要と構成を示す図である。会議アプリケーション200は、この状態からユーザがメールやスケジュールのURLをクリックすることで同時刻にあらかじめ予約された第2の会議に参加する機能を有する。
図7及び
図8は本実施形態のシステムが提供するサービスの概要を示す図である。
図7に示すように、会議アプリケーション200は、第2の会議を副会議として起動し、マイク、及びスピーカを使用せず、会議サービス100の音声文字変換(Speech to Text)機能でテキスト化された議事を表示する。なお、チャット、他者が表示した資料の共有、及びユーザの映像送信については、主会議/副会議で個別にON/OFFすることができる。
【0055】
本実施形態によると、主会議にて参加する第1の会議は音声、映像、資料共有などを駆使して常にやり取りを把握している状況で参加し、テキスト化された議事だけを追えれば良い第2の会議に参加することができる。
【0056】
一方で、第2の会議で一部分だけ受け答えしたい場合がある。この場合、ユーザは第2の会議の画面で音声ONのアイコンをクリックする(もしくは第1の会議の画面で音声OFF操作を行ない、第2の会議の画面で音声ONの操作を行なう)と、
図6に示すように、第1の会議では、会議サービス100の音声文字変換(Speech to Text)機能でテキスト化された議事を表示し、第2の会議では、マイク、及びスピーカを使用することができる。なお、第2の会議の音声文字変換(Speech to Text)機能でテキスト化された議事は、機能をOFFするまで引き続き表示される。本実施形態によると第2の会議の中で一部分だけ受け答えしたい場合に参加することが可能となり、第1の会議の議事を後から確認することができる。
【0057】
次に実施形態の構成について説明する。
図6に本実施形態のシステムの構成を示す。会議サービス100、ユーザの情報端末(PC/スマートフォン)上の会議アプリケーション200で構成される。
【0058】
会議サービス100は、例えばクラウド上のサーバ装置で、会議に必要な音声、映像などをやり取りするための機能を提供する会議サーバ110と、Webサーバ120、各種システム設定が格納されたDBサーバ130、各ユーザの会議設定情報を保持するユーザ会議設定150を備える。
【0059】
ユーザの情報端末(PC/スマートフォン)上の会議アプリケーション200は、会議サービス100とネットワークを介して接続されている。
【0060】
[動作の説明]
上記では、1つの会議アプリケーション200で実施される場合を記載したが、複数の会議サービス100a、100b(図示せず)、及び会議アプリケーション200a、200b(図示せず)で実施する場合の実施形態を説明する。
【0061】
会議アプリケーション200a、200bは、起動時にマイク、及びスピーカが使用されているかを確認し、使用されていない場合、通常の主会議として起動し、マイク、及びスピーカを使用し、使用されている場合、副会議として起動し、マイク、及びスピーカを使用せず、会議サービス100のSpeech to Text機能でテキスト化された議事を表示するように起動する機能を有する。
【0062】
また、音声ON操作で、マイク、及びスピーカが使用されているかを確認し、使用されていない場合、マイク、及びスピーカを会議で使用するように制御し、音声OFF操作で、マイク、及びスピーカを開放し、会議サービス100のSpeech to Text機能でテキスト化された議事を表示する機能を有する。
【0063】
マイク、及びスピーカが使用されていない状態で、会議アプリケーション200aを起動すると、主会議として起動し、マイク、及びスピーカを使用するようことができる。この状態で、会議アプリケーション200bを起動すると、既にマイク、及びスピーカが会議アプリケーション200aで使用されているので、副会議として起動し、マイク、及びスピーカを使用せず、会議サービス100bのSpeech to Text機能でテキスト化された議事を表示する。
【0064】
会議アプリケーション200bで一部分だけ受け答えしたい場合、ユーザは会議アプリケーション200aの画面で音声OFF操作を行ない、会議サービス100aのSpeech to Text機能でテキスト化された議事を表示し、会議アプリケーション200bの画面で音声ONの操作を行ない、マイク、及びスピーカを使用することができる。
【0065】
本実施形態によると、異なる会議アプリケーションであってもメインにて参加する会議は音声、映像、資料共有などを駆使して常にやり取りを把握している状況で参加し、テキスト化された議事だけを追えれば良い副会議に参加することができ、副会議の中で一部分だけ受け答えしたい場合に参加することが可能となり、主会議の議事を後から確認することができる。
【0066】
[効果の説明]
メインにて参加する会議は音声、映像、資料共有などを駆使して常にやり取りを把握している状況で参加し、テキスト化された議事だけを追えれば良い副会議に参加することができる。副会議の中で一部分だけ受け答えしたい場合に参加することが可能となり、主会議の議事を後から確認することができる。
【0067】
前述の実施形態の一部又は全部は、以下の各付記のようにも記載することができる。しかしながら、以下の各付記は、あくまでも、本発明の単なる例示に過ぎず、本発明は、かかる場合のみに限るものではない。
[付記1]
上述の第一の視点に係る端末装置のとおりである。
[付記2]
音声及び映像を入力する入力部と、音声及び映像を送信する態様を、送信先の会議サーバ毎に送信設定する送信設定部と、前記送信設定に基づいて、前記音声の音声データ及び前記映像の映像データを各会議データにかかる会議サーバへ送信する送信部と、をさらに有し、前記送信設定部は、副会議データの送信設定を主会議データの送信設定とは異なる設定とする、好ましくは付記1の端末装置。
[付記3]
出力設定部は、副会議データの音声を出力しない設定とし、送信設定部は、副会議データの送信元に対して音声を送信しない設定とする、好ましくは付記2の端末装置。
[付記4]
会議データの音声を音声認識によりテキスト化する音声文字変換部をさらに有し、出力部は変換されたテキストを出力する、好ましくは付記1から3のいずれか1の端末装置。
[付記5]
音声文字変換部は副会議データの音声をテキスト化し、出力部は変換された副会議データのテキストを出力する、好ましくは付記4の端末装置。
[付記6]
音声文字変換部は、事前に設定された文字列が変換結果に含まれる場合に通知を行う好ましくは付記4又は5の端末装置。
[付記7]
会議データ毎に音声の出力を有効化又は無効化するための操作を受け付ける音声出力設定受付部を、さらに有し、出力設定部は操作に応じて音声出力を会議データ毎に有効化又は無効化し、選択部は、音声出力を有効化した場合に有効化された会議データを主会議データとしてその他の会議データを副会議データとし、音声出力を無効化した場合に無効化された会議データを副会議データとし、その他の会議データのうちの一を主会議データとする、好ましくは付記1から6のいずれか一の端末装置。
[付記8]
選択部は、会議データの配信の受信を開始する際に、出力部より音声が出力されている、又は入力部より音声が入力されている場合には、会議データは副会議データとして取り扱う、付記1から7のいずれか一の端末装置。
[付記9]
上述の第二の視点に係る出力方法のとおりである。
[付記10]
上述の第三の視点に係るプログラムのとおりである。
なお、付記9及び付記10は、付記1と同様に、付記2~付記8に展開することが可能である。
【0068】
なお、引用した上記の特許文献等の各開示は、本書に引用をもって繰り込むものとする。本発明の全開示(特許請求の範囲を含む)の枠内において、さらにその基本的技術思想に基づいて、実施形態ないし実施形態の変更・調整が可能である。また、本発明の全開示の枠内において種々の開示要素(各請求項の各要素、各実施形態ないし実施形態の各要素、各図面の各要素等を含む)の多様な組み合わせ、ないし、選択(部分的削除を含む)が可能である。すなわち、本発明は、特許請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。特に、本書に記載した数値範囲については、当該範囲内に含まれる任意の数値ないし小範囲が、別段の記載のない場合でも具体的に記載されているものと解釈されるべきである。
【符号の説明】
【0069】
10:端末装置
11:受信部
12:選択部
13:出力設定部
14:出力部
15:入力部
16:送信設定部
17:送信部
18:音声文字変換部
21-23 :会議サーバ
24-26 :ウインドウ
27:発言者
28:資料
51:CPU
52:メモリ
53:入出力インタフェース
55:内部バス
100、100a、100b:会議サービス
110:会議サーバ
120:Webサーバ
130:DBサーバ
150:ユーザ会議設定
200、200a、200b:会議アプリケーション
【手続補正書】
【提出日】2022-12-05
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
複数の会議サーバより配信される複数の会議データを受信する受信部と、
前記複数の会議データのうち一の会議データを主会議データとし、その他の会議データを副会議データとする選択部と、
前記選択部の選択に基づいて、前記会議データの出力態様を、会議データ毎に設定し出力設定する出力設定部と、
前記出力設定に基づいて、会議データを出力する出力部と、
を有し、
前記出力設定部は、副会議データの出力設定を主会議データの出力設定とは異なる設定とし、
前記会議データ毎に音声の出力を有効化又は無効化するための操作を受け付ける音声出力設定受付部を、
さらに有し、
前記出力設定部は前記操作に応じて音声出力を前記会議データ毎に有効化又は無効化し、
前記選択部は、音声出力を有効化した場合に有効化された会議データを主会議データとしてその他の会議データを副会議データとし、音声出力を無効化した場合に無効化された会議データを副会議データとし、その他の会議データのうちの一を主会議データとする、
端末装置。
【請求項2】
音声及び映像を入力する入力部と、
音声及び映像を送信する態様を、送信先の会議サーバ毎に送信設定する送信設定部と、
前記送信設定に基づいて、前記音声の音声データ及び前記映像の映像データを各会議データにかかる会議サーバへ送信する送信部と、
をさらに有し、
前記送信設定部は、副会議データの送信設定を主会議データの送信設定とは異なる設定とする、
請求項1の端末装置。
【請求項3】
前記出力設定部は、前記副会議データの音声を出力しない設定とし、
前記送信設定部は、前記副会議データの送信元に対して音声を送信しない設定とする、
請求項2の端末装置。
【請求項4】
前記会議データの音声を音声認識によりテキスト化する音声文字変換部をさらに有し、
前記出力部は変換されたテキストを出力する、
請求項1から3のいずれか一の端末装置。
【請求項5】
前記音声文字変換部は副会議データの音声をテキスト化し、
前記出力部は変換された副会議データのテキストを出力する、
請求項4の端末装置。
【請求項6】
前記音声文字変換部は、事前に設定された文字列が変換結果に含まれる場合に通知を行う請求項4又は5の端末装置。
【請求項7】
選択部は、前記会議データの配信の受信を開始する際に、出力部より音声が出力されている、又は入力部より音声が入力されている場合には、前記会議データは副会議データとして取り扱う、
請求項1から6のいずれか一の端末装置。
【請求項8】
複数の会議サーバより配信される複数の会議データを受信するステップと、
前記複数の会議データのうち一の会議データを主会議データとし、その他の会議データを副会議データとして選択するステップと、
前記選択に基づいて、前記会議データの出力態様を、会議データ毎に設定し出力設定するステップと、
前記出力設定に基づいて、会議データを出力するステップと、
を有し、
前記出力設定は、副会議データの出力設定を主会議データの出力設定とは異なる設定とし、
前記会議データ毎に音声の出力を有効化又は無効化するための操作を受け付けるステップと、
前記操作に応じて音声出力を前記会議データ毎に有効化又は無効化するステップと、
音声出力を有効化した場合に有効化された会議データを主会議データとしてその他の会議データを副会議データとし、音声出力を無効化した場合に無効化された会議データを副会議データとし、その他の会議データのうちの一を主会議データとするステップと、を有する、
出力方法。
【請求項9】
複数の会議サーバより配信される複数の会議データを受信する処理と、
前記複数の会議データのうち一の会議データを主会議データとし、その他の会議データを副会議データとして選択する処理と、
前記選択に基づいて、前記会議データの出力態様を、会議データ毎に設定し出力設定する処理と、
前記出力設定に基づいて、会議データを出力する処理と、
を有し、
前記出力設定は、副会議データの出力設定を主会議データの出力設定とは異なる設定とし、
前記会議データ毎に音声の出力を有効化又は無効化するための操作を受け付ける処理と、
前記操作に応じて音声出力を前記会議データ毎に有効化又は無効化する処理と、
音声出力を有効化した場合に有効化された会議データを主会議データとしてその他の会議データを副会議データとし、音声出力を無効化した場合に無効化された会議データを副会議データとし、その他の会議データのうちの一を主会議データとする処理と、をコンピュータに実行させるためのプログラム。