特開 2023-177875 会議制御装置、会議制御方法、及びコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023177875

(43)【公開日】2023-12-14

(54)【発明の名称】会議制御装置、会議制御方法、及びコンピュータプログラム

(51)【国際特許分類】

   H04N 7/15 20060101AFI20231207BHJP

   G10L 15/10 20060101ALI20231207BHJP

   G10L 15/00 20130101ALI20231207BHJP

【ＦＩ】

H04N7/15 120

H04N7/15

G10L15/10 200W

G10L15/00 200U

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2022090827

(22)【出願日】2022-06-03

(71)【出願人】

【識別番号】000005049

【氏名又は名称】シャープ株式会社

(74)【代理人】

【識別番号】100168583

【弁理士】

【氏名又は名称】前井 宏之

(72)【発明者】

【氏名】奥山 真寛

【テーマコード（参考）】

5C164

【Ｆターム（参考）】

5C164FA10

5C164PA41

5C164SB04S

5C164VA13P

5C164VA36P

(57)【要約】

【課題】サブリモート会議からリモート会議へと復帰し易くすることである。
【解決手段】会議制御装置１は、複数の情報処理装置２と通信可能であり、複数の情報処理装置２に対応するユーザによるリモート会議を制御する。会議制御装置１において、第１取得部は、複数の情報処理装置２の各々から、ユーザの画像及び音声を表す動画データを取得する。第２取得部は、複数の情報処理装置２のうち、前記リモート会議とは異なるサブリモート会議に用いられる情報処理装置２を示す識別情報を取得する。第２生成部は、前記複数の動画データと、前記識別情報とに基づいて、前記リモート会議の内容と、前記サブリモート会議の内容とを画像及び音声により表す第２会議データを生成する。前記第２会議データにおいて、前記リモート会議の内容を表す音声は、前記サブリモート会議の内容を表す音声よりも小さい。
【選択図】図４Ｂ

【特許請求の範囲】

【請求項1】

複数の情報処理装置と通信可能であり、前記複数の情報処理装置に対応するユーザによるリモート会議を制御する会議制御装置であって、
前記複数の情報処理装置の各々から、前記ユーザの画像及び音声を表す動画データを取得する第１取得部と、
複数の前記動画データに基づいて、前記リモート会議の内容を画像及び音声により表す第１会議データを生成する第１生成部と、
前記第１会議データを、前記複数の情報処理装置に送信する第１送信部と、
前記複数の情報処理装置のうち、前記リモート会議とは異なるサブリモート会議に用いられる前記情報処理装置を示す識別情報を取得する第２取得部と、
前記複数の動画データと、前記識別情報とに基づいて、前記リモート会議の内容と、前記サブリモート会議の内容とを画像及び音声により表す第２会議データを生成する第２生成部と、
前記第２会議データを、前記識別情報で示される前記情報処理装置に送信する第２送信部と
を備える、会議制御装置。

【請求項2】

前記第２会議データにおいて、前記リモート会議の内容を表す音声は、前記サブリモート会議の内容を表す音声よりも小さい、請求項１に記載の会議制御装置。

【請求項3】

前記複数の動画データに基づいて、前記リモート会議の内容を表す音声を文字列に変換する音声認識処理を実行する音声認識部を備え、
前記第２生成部は、前記音声認識部により得られた文字列から、予め定められた条件を満たす文字列を表す前記第２会議データを生成する、請求項１又は請求項２に記載の会議制御装置。

【請求項4】

前記情報処理装置に、前記第２会議データに基づいて、前記予め定められた条件を満たす前記文字列を含む画像を表示させる、請求項３に記載の会議制御装置。

【請求項5】

前記複数の動画データに基づいて、前記リモート会議の内容を表す音声を文字列に変換する音声認識処理を実行する音声認識部を備え、
前記第２生成部は、前記音声認識部により得られた文字列から、予め定められた条件を満たしたことに応じて、前記第２会議データにおいて、前記リモート会議の内容を表す音声を前記サブリモート会議の内容を表す音声よりも大きくする、請求項１又は請求項２に記載の会議制御装置。

【請求項6】

前記識別情報に対応する情報処理装置のいずれかから、前記サブ会議の内容を表す画像を切り替えるコマンドを取得したことに応じて、前記第２生成部は、前記第２会議データが表す前記サブリモート会議の内容を表す画像を変更する、請求項１又は請求項２に記載の会議制御装置。

【請求項7】

前記情報処理装置に、前記第２会議データに基づいて、前記サブリモート会議の内容を表す前記画像を表示させる、請求項６に記載の会議制御装置。

【請求項8】

複数の情報処理装置に対応する複数のユーザによるリモート会議を制御する会議制御方法であって、
前記複数の情報処理装置の各々から、前記ユーザの画像及び音声を表す動画データを取得するステップと、
複数の前記動画データに基づいて、前記リモート会議の内容を画像及び音声により表す第１会議データを生成するステップと、
前記第１会議データを、前記複数の情報処理装置に送信するステップと、
前記複数の情報処理装置のうち、前記リモート会議とは異なるサブリモート会議に用いられる前記情報処理装置を示す識別情報を取得するステップと、
前記複数の動画データと、前記識別情報とに基づいて、前記リモート会議の内容と、前記サブリモート会議の内容とを画像及び音声により表す第２会議データを生成するステップと、
前記第２会議データを、前記識別情報で示される情報処理装置に送信するステップと
を含む、会議制御方法。

【請求項9】

複数の情報処理装置に対応する複数のユーザによるリモート会議を制御するコンピュータに、
前記複数の情報処理装置の各々から、前記ユーザの画像及び音声を表す動画データを取得するステップと、
複数の前記動画データに基づいて、前記リモート会議の内容を画像及び音声により表す第１会議データを生成するステップと、
前記複数の情報処理装置のうち、前記リモート会議とは異なるサブリモート会議に用いられる前記情報処理装置を示す識別情報を取得するステップと、
前記複数の動画データと、前記識別情報とに基づいて、前記リモート会議の内容と、前記サブリモート会議の内容とを画像及び音声により表す第２会議データを生成するステップと
を実行させる、コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、会議制御装置、会議制御方法、及びコンピュータプログラムに関する。

【背景技術】

【0002】

特許文献１には、テレビ会議システムが記載されている。テレビ会議システムでは、全体会議が行われている際、テレビ会議端末のユーザが個別会話ボタンを操作することで、テレビ会議サーバに対して個別会議開催要求が送信される。テレビ会議サーバは、対象のテレビ会議端末に個別会議要請を送信し、対象のテレビ会議端末には個別会議要請が表示される。対象のテレビ会議端末で個別会議を行うことが選択されると、映像は全体会議のままで音声のみ個別会議のテレビ会議端末同士で通信される。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１５－０４１８８５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、特許文献１に記載のテレビ会議システムでは、個別会議のテレビ会議端末は、個別会議の音声を出力するが、全体会議の音声を出力しない。即ち、個別会議に参加するユーザは、全体会議の内容を理解できない。従って、個別会議に参加するユーザは、個別会議の終了後に全体会議に復帰しても、全体会議に対応できない。

【0005】

本開示は、上記課題に鑑みてなされたものであり、個別会議から全体会議へと復帰し易い技術を提供することを目的とする。

【課題を解決するための手段】

【0006】

本開示の一局面に係る会議制御装置は、複数の情報処理装置と通信可能であり、前記複数の情報処理装置に対応するユーザによるリモート会議を制御する。前記会議制御装置は、第１取得部と、第１生成部と、第１送信部と、第２取得部と、第２生成部と、第２送信部とを備える。前記第１取得部は、前記複数の情報処理装置の各々から、前記ユーザの画像及び音声を表す動画データを取得する。前記第１生成部は、複数の前記動画データに基づいて、前記リモート会議の内容を画像及び音声により表す第１会議データを生成する。前記第１送信部は、前記第１会議データを、前記複数の情報処理装置に送信する。前記第２取得部は、前記複数の情報処理装置のうち、前記リモート会議とは異なるサブリモート会議に用いられる前記情報処理装置を示す識別情報を取得する。前記第２生成部は、前記複数の動画データと、前記識別情報とに基づいて、前記リモート会議の内容と、前記サブリモート会議の内容とを画像及び音声により表す第２会議データを生成する。前記第２送信部は、前記第２会議データを、前記識別情報で示される前記情報処理装置に送信する。

【0007】

本開示の他の局面に係る会議制御方法は、複数の情報処理装置に対応する複数のユーザによるリモート会議を制御する。会議制御方法は、前記複数の情報処理装置の各々から、前記ユーザの画像及び音声を表す動画データを取得するステップと、複数の前記動画データに基づいて、前記リモート会議の内容を画像及び音声により表す第１会議データを生成するステップと、前記第１会議データを、前記複数の情報処理装置に送信するステップと、前記複数の情報処理装置のうち、前記リモート会議とは異なるサブリモート会議に用いられる前記情報処理装置を示す識別情報を取得するステップと、前記複数の動画データと、前記識別情報とに基づいて、前記リモート会議の内容と、前記サブリモート会議の内容とを画像及び音声により表す第２会議データを生成するステップと、前記第２会議データを、前記識別情報に対応する情報処理装置に送信するステップとを備える。

【0008】

本開示の他の局面に係るプログラムは、複数の情報処理装置に対応する複数のユーザによるリモート会議を制御するコンピュータに、前記複数の情報処理装置の各々から、前記ユーザの画像及び音声を表す動画データを取得するステップと、複数の前記動画データに基づいて、前記リモート会議の内容を画像及び音声により表す第１会議データを生成するステップと、前記複数の情報処理装置のうち、前記リモート会議とは異なるサブリモート会議に用いられる前記情報処理装置を示す識別情報を取得するステップと、前記複数の動画データと、前記識別情報とに基づいて、前記リモート会議の内容と、前記サブリモート会議の内容とを画像及び音声により表す第２会議データを生成するステップとを実行させる。

【発明の効果】

【0009】

上記構成によれば、サブリモート会議からリモート会議へと復帰し易い技術を提供することができる。

【図面の簡単な説明】

【0010】

【図1】本開示の一実施形態に係る会議制御装置を備えるシステムの構成を示すブロック図である。

【図2】図１に示す会議制御装置の構成を示すブロック図である。

【図3】図１に示す情報処理装置の典型的な構成を示すブロック図である。

【図4A】図２に示す会議制御装置の処理手順の前半部分を示すフローチャートである。

【図4B】図２に示す会議制御装置の処理手順の後半部分を示すフローチャートである。

【図5】情報処理装置における第１会議データの表示画面から第２会議データの表示画面への遷移を示す模式図である。

【図6】第１変形例に係る会議制御装置の処理手順を示すフローチャートである。

【図7】第１変形例に係る第２会議データの表示画面を示す模式図である。

【図8】第２変形例に係る会議制御装置の処理手順を示すフローチャートである。

【図9】第２変形例に係る第２会議データの表示画面の切り替えを示す模式図である。

【発明を実施するための形態】

【0011】

本開示の実施形態について、図面を参照しながら説明する。なお、図中、同一又は相当部分については同一の参照符号を付して説明を繰り返さない。

【0012】

（実施形態）
図１は、本開示の一実施形態に係る会議制御装置１を備えるリモート会議システム１００の構成を示すブロック図である。図１に示されるように、リモート会議システム１００は、会議制御装置１と、複数の情報処理装置２とを備える。会議制御装置１は、複数の情報処理装置２と通信ネットワーク３を介して通信可能に接続される。通信ネットワーク３は、インターネット、有線ＬＡＮ、又は無線ＬＡＮである。通信ネットワーク３は、インターネット、有線ＬＡＮ及び無線ＬＡＮから選ばれた少なくとも２つの組み合わせであってもよい。

【0013】

図２は、図１に示される会議制御装置１の構成を示すブロック図である。図２に示されるように、会議制御装置１は、複数の情報処理装置２のユーザによるリモート会議を制御する。会議制御装置１は、サーバ装置である。会議制御装置１は、通信部１１と、処理部１２と、記憶部１３とを備える。

【0014】

通信部１１は、通信ネットワーク３を通じて、複数の情報処理装置２とデータ通信可能なインタフェースである。詳細には、通信部１１は、複数の情報処理装置２を送信先とする各種データを通信ネットワーク３に送出する。通信部１１は、会議制御装置１が送信先となる各種データを、通信ネットワーク３から受信する。

【0015】

処理部１２は、中央演算処理装置又はマイクロコンピュータである。記憶部１３は、例えば、非一時的コンピュータ読取可能記憶媒体である。詳細には、記憶部１３は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）及び／又はフラッシュメモリを含む。処理部１２は、記憶部１３に記憶された会議制御プログラム１３１を実行し、会議制御装置１を構成する各部を制御する。会議制御プログラム１３１は、コンピュータプログラムの一例である。会議制御プログラム１３１は、単一のプログラムであってもよいし、複数のプログラムモジュールの集まりであってもよい。また、フラッシュメモリ等には、識別情報が設定されている。識別情報は、通信ネットワーク３で会議制御装置１を識別するための情報である。識別情報としては、ＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）アドレス又はＭＡＣ（Ｍｅｄｉａ Ａｃｃｅｓｓ Ｃｏｎｔｒｏｌ）アドレスを用いることができる。

【0016】

図３は、図１に示される複数の情報処理装置２の典型的な構成を示すブロック図である。図３に示されるように、各情報処理装置２は、パーソナルコンピュータ、スマートフォン及びタブレット端末のいずれかであり、リモート会議に参加するユーザ（即ち、参加者）により使用される。各情報処理装置２は、撮像部２１と、音声入力部２２と、表示部２３と、音声出力部２４と、入力部２５と、通信部２６と、処理部２７と、記憶部２８とを備える。

【0017】

撮像部２１は、カメラ等の撮像装置である。撮像部２１は、画角内の画像を表す画像データを所定のフレームレートで出力する。撮像部２１は、主に、参加者の画像を表す画像データを出力する。

【0018】

音声入力部２２は、マイク等の音声入力装置であり、参加者の音声を表す音声データを所定のサンプリングレートで出力する。

【0019】

表示部２３は、液晶ディスプレイ等の表示装置であり、処理部２７の制御下で各種画像を画面に表示する。

【0020】

音声出力部２４は、スピーカ等の音声出力装置であり、処理部２７の制御下で音声を出力する。

【0021】

入力部２５は、マウス又はタッチセンサ等の入力デバイスであり、参加者により操作される。

【0022】

通信部２６は、通信ネットワーク３を通じて、会議制御装置１とデータ通信可能なインタフェースである。詳細には、通信部２６は、会議制御装置１を送信先とする各種データを通信ネットワーク３に送出する。通信部２６は、情報処理装置２が送信先となる各種データを、通信ネットワーク３から受信する。

【0023】

処理部２７は、中央演算処理装置、又はマイクロコンピュータ等である。処理部２７は、情報処理装置２の動作を制御する。記憶部２８は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）及びフラッシュメモリを含む。詳細には、フラッシュメモリ等には、ブラウザプログラム２８１が予め記憶される。処理部２７は、ブラウザプログラム２８１を実行することにより、会議制御装置１からの受信データに基づいて、音声出力部２４からの音声出力を制御し、表示部２３における画面表示を制御する。また、フラッシュメモリ等は、通信ネットワーク３における情報処理装置２の識別情報を記憶する。

【0024】

図４Ａは、図２に示す会議制御装置１の処理手順の前半部分を示すフローチャートである。図４Ｂは、図２に示す会議制御装置１の処理手順の後半部分を示すフローチャートである。図５は、図３に示す情報処理装置２における第１会議データＤ１の表示画面から第２会議データＤ２の表示画面への遷移を示す模式図である。以下、図１から図５を参照して、会議制御装置１の動作について説明する。

【0025】

図４Ａと図４Ｂとに示されるように、会議制御装置１の処理は、ステップＳ１０２～Ｓ１０４、Ｓ１０７～Ｓ１０９、Ｓ１１２、Ｓ１１４～Ｓ１１６、Ｓ１１８、Ｓ１１９、Ｓ１２２を含む。各情報処理装置２の処理は、ステップＳ１０１、Ｓ１０５、Ｓ１０６、Ｓ１１０、Ｓ１１１、Ｓ１１３、Ｓ１１７、Ｓ１２０、Ｓ１２１を含む。会議制御装置１は、複数の情報処理装置２に対応する参加者によるリモート会議を制御する。

【0026】

詳細には、各情報処理装置２の処理部２７は、ブラウザプログラム２８１を実行して、会議制御装置１に通信ネットワーク３を介してアクセスしている。また、会議制御装置１と、複数の情報処理装置２との間では、通信リンクが確立される。

【0027】

図４Ａに示されるように、ステップＳ１０１では、処理部２７は、参加者の画像を表す画像データを撮像部２１から取得し、同参加者の音声を表す音声データを音声入力部２２から取得する。通信部２６は、画像データ及び音声データを含む動画データを通信ネットワーク３を通じて会議制御装置１に送信する。

【0028】

ステップＳ１０２で、会議制御装置１の処理部１２は、第１取得部として機能し、通信部１１を通じて複数の情報処理装置２の各々からの動画データを取得する。動画データは、情報処理装置２に対応する参加者の画像及び音声を表す。

【0029】

ステップＳ１０３で、処理部１２は、第１生成部として機能する。詳細には、処理部１２は、ステップＳ１０２で取得した複数の動画データの各々から第１会議データＤ１（図５参照）を生成する。第１会議データＤ１は、複数の第１参加者オブジェクトＤ１１と、サブ会議開始オブジェクトＤ１２とを表すデータを含む。なお、第１会議データＤ１は、参加者の間で共有される電子ファイルが示す画像を含んでいてもよい。各第１参加者オブジェクトＤ１１は、例えば、リモート会議の参加者を撮像した画像である。なお、第１参加者オブジェクトＤ１１は、参加者のアイコン画像でもよいし、参加者の名前を示す文字列でもよい。サブ会議開始オブジェクトＤ１２は、サブリモート会議の開始要求の機能が割り当てられたオブジェクトである。第１会議データＤ１は、第１音声Ｄ１３を表すデータを更に含む。第１音声Ｄ１３は、リモート会議に参加している参加者の音声を表す。

【0030】

ステップＳ１０４で、通信部１１は、第１送信部として機能し、第１会議データＤ１を、通信ネットワーク３を通じて各情報処理装置２に送信する。

【0031】

ステップＳ１０５で、各情報処理装置２の処理部２７は、通信部２６を通じて第１会議データＤ１を受信する。処理部２７は、第１会議データＤ１の表示及び音声出力を制御する。表示部２３は、図５に示されるように、第１会議データＤ１に含まれる複数の第１参加者オブジェクトＤ１１と、サブ会議開始オブジェクトＤ１２とをリモート会議用の画像として表示する。音声出力部２４は、第１会議データＤ１に基づき第１音声Ｄ１３をリモート会議用の音声として出力する。これにより、各情報処理装置２の参加者は、リモート会議の内容を理解することができる。

【0032】

なお、ステップＳ１０１からＳ１０５の処理は、サブ会議開始オブジェクトＤ１２が入力部２５により指定されるまでの間、繰り返し実行される。即ち、リモート会議システム１００では、後述のステップＳ１０６が実行されない限り、ステップＳ１０１からＳ１０５までの処理が繰り返し実行される。

【0033】

リモート会議におけるある参加者が他の参加者とサブリモート会議を開催したい場合がある。この参加者は、情報処理装置２の入力部２５で、表示部２３に表示されているサブ会議開始オブジェクトＤ１２と、第１参加者オブジェクトＤ１１とを指定する。この時指定されるのは、サブリモート会議への参加が要請される参加者を示す第１参加者オブジェクトＤ１１である。

【0034】

ステップＳ１０６では、処理部２７は、入力部２５による指定に応じて、サブリモート会議への参加が要請された参加者を特定する。処理部２７は更に、開始リクエストを生成する。開始リクエストは、サブリモート会議の開始要求を表すコマンドであり、Ｓ１０６で特定されたサブリモート会議の参加者に対応する情報処理装置２の識別情報を含む。通信部２６は、開始リクエストを、通信ネットワーク３を通じて会議制御装置１に送信する。

【0035】

ステップＳ１０７で、会議制御装置１の処理部１２は、ステップＳ１０４の実行後に開始リクエストを受信する。ステップＳ１０８で、処理部１２は、第２取得部として機能して、開始リクエストから識別情報を取得する。即ち、処理部１２は、複数の情報処理装置２のうち、サブリモート会議に参加が要請された参加者に対応する情報処理装置（以下、「特定情報処理装置」と記載する。）２を示す識別情報を取得する。

【0036】

ステップＳ１０９で、処理部１２は、ダイアログを生成する。ダイアログは、サブリモート会議への参加を承諾するか否かを選択可能な選択オブジェクトを表すデータである。通信部１１は、通信ネットワーク３を通じて特定情報処理装置２にダイアログを送信する。

【0037】

ステップＳ１１０で、処理部２７は、通信部２６を通じて会議制御装置１からのダイアログを取得する。処理部２７は、ダイアログに基づいて選択オブジェクトを表示部２３に表示させる。特定情報処理装置２の参加者は、サブリモート会議への参加を承諾するか否かを入力部２５で指定する。

【0038】

ステップＳ１１１では、入力部２５による指定に応じて、処理部２７は、サブリモート会議への参加を承諾するか否かを示すレスポンスを生成する。通信部２６は、通信ネットワーク３を通じて会議制御装置１にレスポンスを送信する。

【0039】

ステップＳ１１２で、処理部１２は、通信部１１を通じて受信した各レスポンスに基づいて、サブリモート会議への参加を承諾した情報処理装置（以下、「承諾情報処理装置」と記載する。）２を特定する。

【0040】

ステップＳ１１３では、ステップＳ１０１と同様に、通信部２６は、動画データを通信ネットワーク３に送出する。ステップＳ１１４では、ステップＳ１０２と同様に、処理部１２は、第１取得部として機能する。ステップＳ１１５では、ステップＳ１０３と同様に、処理部１２は、第１生成部として機能する。ステップＳ１１６で、通信部１１は、第１会議データＤ１を、承諾情報処理装置２以外の情報処理装置２に通信ネットワーク３を通じて送信する。なお、会議制御装置１と、承諾情報処理装置２以外の情報処理装置２との間では通信リンクを確立し直してもよい。ステップＳ１１７で、承諾情報処理装置２以外の情報処理装置２は、ステップＳ１０５と同様に、第１会議データＤ１に基づいて画像及び音声を出力する（図５参照）。

【0041】

ステップＳ１１８で、処理部１２は、第２生成部として機能し、通信部１１が取得した複数の動画データの各々から第２会議データＤ２を生成する。第２会議データＤ２は、前述の複数の第１参加者オブジェクトＤ１１及びサブ会議開始オブジェクトＤ１２を表すデータに加え、複数の第２参加者オブジェクトＤ２１と、サブ会議終了オブジェクトＤ２２とを表すデータを含む。各第２参加者オブジェクトＤ２１は、例えば、サブリモート会議の参加者を撮像した画像を表す。なお、第２参加者オブジェクトＤ２１は、参加者のアイコン画像、又は参加者の名前を示す文字列でもよい。サブ会議終了オブジェクトＤ２２は、サブリモート会議の終了要求の機能が割り当てられたオブジェクトである。第２会議データＤ２は、第１音声Ｄ１３と第２音声Ｄ２３との合成音声を表すデータを更に含む。処理部１２は、合成音声において、第２音声Ｄ２３の音量を、第１音声Ｄ１３の音量よりも大きくする。

【0042】

ステップＳ１１９で、通信部１１は、第２送信部として機能し、処理部１２が生成した第２会議データＤ２を、通信ネットワーク３を通じて、承諾情報処理装置２に送信する。なお、会議制御装置１と、承諾情報処理装置２との間では通信リンクを確立し直してもよい。

【0043】

ステップＳ１２０で、各承諾情報処理装置２の処理部２７は、通信部２６を通じて、第２会議データＤ２を受信する。従って、表示部２３は、図５に示されるように、リモート会議用の画像に加え、第２会議データＤ２に基づいて、複数の第２参加者オブジェクトＤ２１と、サブ会議開始オブジェクトＤ１２とをサブリモート会議用の画像として表示する。音声出力部２４は、第２会議データＤ２に基づいて第２音声Ｄ２３を出力する。なお、図５の例では、表示部２３において、リモート会議用の画像と、サブリモート会議の画像とは横並びで表示されている。第２会議データＤ２により、サブリモート会議に参加する参加者は、サブリモート会議の内容を正確に把握できるとともに、リモート会議の内容を第１音声Ｄ１３により大まかに理解することができる。

【0044】

なお、ステップS１１３からＳ１２０の処理は、サブ会議終了オブジェクトＤ２２が入力部２５により指定されるまでの間、繰り返し実行される。

【0045】

サブリモート会議に参加する参加者は、サブリモート会議を終了する場合、情報処理装置２の入力部２５で、表示部２３に表示されているサブ会議終了オブジェクトＤ２２を指定する。ステップＳ１２１では、処理部２７は、サブ会議終了オブジェクトＤ２２の指定に応じて、終了リクエストを生成する。終了リクエストは、サブリモート会議の開始要求を表すコマンドである。通信部２６は、終了リクエストを、通信ネットワーク３を通じて会議制御装置１に送信する。

【0046】

ステップＳ１２２で、会議制御装置１の処理部１２は、ステップＳ１１９の実行後に終了リクエストを受信する。処理部１２は、終了リクエストの受信に応じて、ステップＳ１０２を実行する。その結果、サブリモート会議の参加者は、リモート会議に復帰することになる。サブリモート会議の参加者は、第２会議データＤ２によりサブリモート会議の間にもリモート会議の内容を理解できているため、リモート会議に復帰し易い。なお、各情報処理装置２は、サブリモート会議の終了後、ステップＳ１０１を実行する。

【0047】

図６は、第１変形例に係る会議制御装置１の処理手順を示すフローチャートである。図７は、第１変形例に係る第２会議データＤ２の表示画面を示す模式図である。以下、図６と図７とを参照して、第１変形例に係るリモート会議システム１００について説明する。第１変形例に係るリモート会議システム１００は、実施形態に係るリモート会議システム１００と比較すると、会議制御装置１が図４Ｂに示すフローチャートに代えて図６に示すフローチャートに記載の処理を実行する点で相違する。

【0048】

処理部１２は、図４Ａに示されるステップＳ１１６の実行後、図６に示されるように、ステップＳ２０１において、音声認識部として機能する。詳細には、処理部１２は、承諾情報処理装置２以外の情報処理装置２から受信した動画データが表す音声に対して音声認識処理を実行する。その結果、処理部１２は、リモート会議の内容を表す音声を文字列に変換し、変換した文字列を表すデータをＲＡＭ等に記憶する。

【0049】

ステップＳ２０２で、処理部１２は、予め定められた時間間隔において変換された文字列に、第１条件を満たす文字列が含まれているか否かを判定する。第１条件は、フラッシュメモリ等に予め設定されているキーワードに一致することである。

【0050】

第１条件を満たす文字列が含まれていると判定した場合（ステップＳ２０２でＹｅｓ）、処理部１２は、ステップＳ２０４を実行する。一方、第１条件を満たす文字列が含まれていないと判定した場合（ステップＳ２０２でＮｏ）、処理部１２は、ステップＳ２０３を実行する。

【0051】

ステップＳ２０３で、処理部１２は、一定時間間隔で変換された文字列に、第２条件を満たす文字列が含まれているか否かを判定する。第２条件は、一定時間間隔において複数回発話されることである。

【0052】

第２条件を満たす文字列が含まれていると判定した場合（ステップＳ２０３でＹｅｓ）、処理部１２は、ステップＳ２０４を実行する。一方、第２条件を満たす文字列が含まれていないと判定した場合（ステップＳ２０３でＮｏ）、処理部１２は、ステップＳ１１８を実行する。

【0053】

ステップＳ２０４で、処理部１２は、第２生成部として機能し、通信部１１が取得した複数の動画データに基づいて第２会議データＤ２を生成する。第２会議データＤ２は、図７に示されるように、第１条件及び第２条件を満たす文字列Ｄ２４を表すデータを更に含む。ステップＳ２０４の実行後、処理部１２は、ステップＳ１１９を実行する。

【0054】

ステップＳ１２０で、各承諾情報処理装置２の処理部２７は、通信部２６を通じて、第２会議データＤ２を受信する。処理部２７は、第２会議データＤ２に基づく画面の表示部２３への表示を制御する。詳細には、処理部２７は、図７に示されるように、リモート会議用の画像に加え、第２会議データＤ２に基づいて、複数の第２参加者オブジェクトＤ２１と、サブ会議開始オブジェクトＤ１２と、文字列Ｄ２４とをサブリモート会議用の画像として表示部２３に表示させる。即ち、処理部２７は、本開示における制御部の一例である。第２会議データＤ２により、サブリモート会議の参加者は、サブリモート会議の内容を正確に把握できるとともに、リモート会議の内容を文字列Ｄ２４により大まかに理解することができる。また、第１変形例では、一定時間間隔毎に第２会議データＤ２が生成される。即ち、情報処理装置２において、処理部２７は、は、一定時間間隔毎に切り替わる文字列Ｄ２４を含む画像を表示部２３に表示させる。その結果、サブリモート会議に参加する参加者は、一定時間間隔においてリモート会議での議題が何であるかを知ることができる。

【0055】

第１変形例では、ステップＳ２０４で、処理部１２は、文字列Ｄ２４を表すデータを更に含む第２会議データＤ２を生成していた。しかし、これに限らず、処理部１２は、ステップＳ２０４で、処理部１２は、第２会議データＤ２において、第１音声Ｄ１３の音量を第２音声Ｄ２３の音量よりも大きくしてもよい。このような第２会議データＤ２によれば、第１条件又は第２条件が満たされたことに応じて、第１音声Ｄ１３の音量の方が、第２音声Ｄ２３の音量よりも大きくなる。その結果、サブリモート会議の参加者は、リモート会議の内容を第１音声Ｄ１３により理解することができる。

【0056】

図８は、第２変形例に係る会議制御装置１の処理手順を示すフローチャートである。図９は、第２会議データＤ２の表示画面の切り替えを示す模式図である。次に、図８と図９とを参照して、第２変形例に係るリモート会議システム１００について説明する。

【0057】

処理部１２は、図４Ａに示されるステップＳ１１６の実行後、図８に示されるように、ステップＳ３０１において、第２生成部として機能し、通信部１１が取得した複数の動画データに基づいて第２会議データＤ２を生成する。その後、処理部１２は、ステップＳ１１９を実行する。第２会議データＤ２は、図９に示されるように、切り換えオブジェクトＤ２５を表すデータを更に含む。切り換えオブジェクトＤ２５は、承諾情報処理装置２の表示部２３における表示態様を切り替えるためのオブジェクトである。

【0058】

その結果、ステップＳ１２０では、各承諾情報処理装置２の処理部２７は、表示部２３に、図８の上段に示されるように、第２会議データＤ２に基づいて、切り換えオブジェクトＤ２５を更にサブリモート会議用の画像として表示する。

【0059】

サブ会議の参加者は、自分の承諾情報処理装置２の表示画面を、他の承諾情報処理装置２の表示画面に表示させたい場合がある。この場合、サブリモート会議の参加者は、自分の承諾情報処理装置２の入力部２５で、表示部２３に表示されている切り換えオブジェクトＤ２５を指定する。ステップＳ３０２では、処理部２７は、切り換えオブジェクトＤ２５の指定に応じて、切り換えリクエストを生成する。切り換えリクエストは、サブリモート会議の内容を表す画像を切り替えるコマンドである。本変形例では、切り換えリクエストは、ある承諾情報処理装置２の表示部２３の表示画面Ｄ２６を、他の承諾情報処理装置２の表示部２３に切り換えさせるためのコマンドである。通信部２６は、切り換えリクエストを、通信ネットワーク３を通じて会議制御装置１に送信する。

【0060】

ステップＳ３０３では、会議制御装置１の処理部１２は、切り換えリクエストを、通信部１１を通じて受信する。なお、実施形態でも説明したように、ステップＳ１１３からＳ１２０の処理は、サブ会議終了オブジェクトＤ２２が入力部２５により指定されるまでの間、繰り返し実行される。即ち、会議制御装置１は、切り換えリクエストの受信後にも、ステップＳ１１８を繰り返し実行する。

【0061】

処理部１２は、切り換えリクエストを受信したことに応じて、その後のステップＳ１１８において、図８の下段に示されるように、表示画面Ｄ２６を含む第２会議データＤ２を生成する。その結果、ステップＳ１２０では、各承諾情報処理装置２の処理部２７は、表示部２３に、図８の下段に示されるように、第２会議データＤ２に基づいて、表示画面Ｄ２６を更にサブリモート会議用の画像として表示する。これにより、サブリモート会議がスムーズに進行する。

【0062】

以上、図面を参照して本開示の実施形態について説明した。ただし、本開示は、上記の実施形態に限られるものではなく、その要旨を逸脱しない範囲で種々の態様において実施できる。また、上記の実施形態に開示される複数の構成要素は適宜改変可能である。例えば、ある実施形態に示される全構成要素のうちのある構成要素を別の実施形態の構成要素に追加してもよく、又は、ある実施形態に示される全構成要素のうちのいくつかの構成要素を実施形態から削除してもよい。

【0063】

また、図面は、開示の理解を容易にするために、それぞれの構成要素を主体に模式的に示しており、図示された各構成要素の厚さ、長さ、個数、間隔等は、図面作成の都合上から実際とは異なる場合もある。また、上記の実施形態で示す各構成要素の構成は一例であって、特に限定されるものではなく、本開示の効果から実質的に逸脱しない範囲で種々の変更が可能であることは言うまでもない。

【0064】

（１）実施形態では、処理部１２は、合成音声において、第２音声Ｄ２３の音量を、第１音声Ｄ１３の音量よりも大きくする。このような合成音声は、リモート会議システム１００の初期設定であればよい。即ち、リモート会議システム１００の動作中に、情報処理装置２からのリクエストや会議制御装置１の管理者による設定により、処理部１２は、第１音声Ｄ１３の音量と、第２音声Ｄ２３の音量との大小関係を変更してもよい。即ち、第２会議データＤ２は、リモート会議の内容と、サブリモート会議の内容とを画像及び音声により表していればよい。この場合にも、サブリモート会議の参加者は、第２会議データＤ２によりサブリモート会議の間にもリモート会議の内容を理解できているため、リモート会議に復帰し易い。

【0065】

（２）実施形態では、処理部１２は、リモート会議用の画像とサブリモート会議の画像とが横並びで表示部２３において表示されるように第２会議データＤ２を生成していた（図５参照）。しかし、これに限らず、表示部２３では、リモート会議用の画像は、サブリモート会議の画像の右側に表示されてもよい。他にも、表示部２３では、リモート会議用の画像と、サブリモート会議の画像とはピクチャインピクチャで表示されてもよい。また、リモート会議用の画像と、サブリモート会議の画像との大小関係は適宜定められればよい。

【0066】

（３）第１変形例では、処理部１２は、表示部２３に文字列Ｄ２４が表示されるように第２会議データＤ２を生成していた。しかし、これに限らず、リモート会議システム１００の動作中に、情報処理装置２からのリクエストや会議制御装置１の管理者による設定により、処理部１２は、文字列Ｄ２４の表示及び非表示を変更してもよい。

【0067】

（４）実施形態では、図４Ａと図４Ｂとに示される各ステップは、会議制御プログラム１３１に規定されるとして説明した。しかし、周知の通り、会議制御装置１は、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）を記憶部１３に記憶している。ＯＳは、会議制御装置１の通信部１１を通じたデータ通信を制御する。従って、図４Ａと図４ＢにおけるステップＳ１０４等のステップは、会議制御プログラム１３１に必須のステップではないことには注意を要する。

【0068】

（５）第１変形例では、処理部１２は、第２音声Ｄ２３の音量が第１音声Ｄ１３の音量よりも大きい合成音声を情報処理装置２から出力させるとともに、文字列Ｄ２４を情報処理装置２に表示させていた。しかし、これに限らず、処理部１２は、第２音声Ｄ２３の音量が第１音声Ｄ１３の音量よりも大きい合成音声を情報処理装置２から出力させずに、文字列Ｄ２４を情報処理装置２に表示させるだけでもよい。

【0069】

（６）実施形態では、会議制御装置１は、通信ネットワーク３に接続されたサーバ装置であった。しかし、これに限らず、複数の情報処理装置２の一台が会議制御装置１として機能し、他の情報処理装置２とのリモート会議を制御してもよい。

【産業上の利用可能性】

【0070】

本開示は、インターネットを通じたリモート会議システム又はテレビ会議システムに適用できる。

【符号の説明】

【0071】

１００ システム
１ 会議制御装置
１１ 通信部
１２ 処理部
１３ 記憶部
２ 情報処理装置
２１ 撮像部
２２ 音声入力部
２３ 表示部
２４ 音声出力部
２５ 入力部
２６ 通信部
２７ 処理部
２８ 記憶部
１３１ 会議制御プログラム

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図5】

【図6】

【図7】

【図8】

【図9】