特開 2024-78382 ビデオ会議システム、及び録画映像作成方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024078382

(43)【公開日】2024-06-10

(54)【発明の名称】ビデオ会議システム、及び録画映像作成方法

(51)【国際特許分類】

   H04N 7/15 20060101AFI20240603BHJP

   H04N 21/231 20110101ALI20240603BHJP

【ＦＩ】

H04N7/15 150

H04N21/231

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2023102537

(22)【出願日】2023-06-22

(31)【優先権主張番号】P 2022190715

(32)【優先日】2022-11-29

(33)【優先権主張国・地域又は機関】JP

(71)【出願人】

【識別番号】000006747

【氏名又は名称】株式会社リコー

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(72)【発明者】

【氏名】桑田 耕司

【テーマコード（参考）】

5C164

【Ｆターム（参考）】

5C164FA10

5C164PA43

5C164SB36P

5C164VA06S

5C164VA09P

5C164VA35P

5C164VA51S

(57)【要約】

【課題】直近の複数の発話者をクローズアップ表示するビデオ会議システムにおいて、クローズアップ表示される発話者の切り替え頻度を抑制した録画映像を提供する。
【解決手段】ビデオ会議システムは、ビデオ会議の映像を録画するビデオ会議システムであって、マイクアレイで取得した前記ビデオ会議の音声に基づいて音の方向を検知する方向検知部と、１つ以上のカメラで撮影した前記ビデオ会議の第１の映像から人物の画像を検知する画像検知部と、前記音の方向と前記人物の画像とに基づいて、前記ビデオ会議システムを利用して前記ビデオ会議に参加する利用者の発話順序を特定する特定部と、前記第１の映像を所定の時間遅延させた第２の映像から、前記発話順序に基づいて、新たに発話した第１の利用者を含む所定の数の利用者の画像を所定のエリアに表示する前記ビデオ会議の録画映像を作成する録画映像作成部と、を有する。
【選択図】図８

【特許請求の範囲】

【請求項1】

ビデオ会議の映像を録画するビデオ会議システムであって、
マイクアレイで取得した前記ビデオ会議の音声に基づいて音の方向を検知する方向検知部と、
１つ以上のカメラで撮影した前記ビデオ会議の第１の映像から人物の画像を検知する画像検知部と、
前記音の方向と前記人物の画像とに基づいて、前記ビデオ会議システムを利用して前記ビデオ会議に参加する利用者の発話順序を特定する特定部と、
前記第１の映像を所定の時間遅延させた第２の映像から、前記発話順序に基づいて、新たに発話した第１の利用者を含む所定の数の利用者の画像を所定のエリアに表示する前記ビデオ会議の録画映像を作成する録画映像作成部と、
を有する、ビデオ会議システム。

【請求項2】

前記録画映像作成部は、前記第２の映像において、前記第１の利用者が発話したときに、前記第１の利用者の次に発話する第２の利用者の画像が前記所定のエリアに表示されている場合、少なくとも前記第１の利用者の画像と前記第２の利用者の画像とを前記所定のエリアに表示する前記録画映像を作成する、請求項１に記載のビデオ会議システム。

【請求項3】

前記録画映像作成部は、前記第２の映像において、前記第１の利用者が発話したときに、前記第１の利用者の次に発話する第２の利用者の次に発話する第３の利用者の画像が前記所定のエリアに表示されている場合、少なくとも前記第１の利用者の画像と前記第３の利用者の画像とを前記所定のエリアに表示する前記録画映像を作成する、請求項１又は２に記載のビデオ会議システム。

【請求項4】

前記録画映像作成部は、前記第２の映像において、前記第１の利用者が発話したときに、前記第１の利用者の画像が前記所定のエリアに表示されている場合、前記所定のエリアの表示を変更せずに、前記録画映像を作成する、請求項１に記載のビデオ会議システム。

【請求項5】

前記録画映像作成部は、前記第２の映像において、利用者の発話時間が所定の時間未満である場合、前記所定のエリアの表示を変更せずに、前記録画映像を作成する、請求項１に記載のビデオ会議システム。

【請求項6】

前記第１の映像から、他の利用者よりも後に発話した前記所定の数の利用者の画像を前記所定のエリアに表示する前記ビデオ会議の会議映像を作成する会議映像作成部を有する、請求項１に記載のビデオ会議システム。

【請求項7】

前記録画映像作成部は、前記所定のエリアに表示される利用者の画像の変化が、前記会議映像より少ない前記録画映像を作成する、請求項６に記載のビデオ会議システム。

【請求項8】

前記第１の映像を前記所定の時間保持した後に、前記第２の映像を出力する映像遅延バッファを有する、請求項１に記載のビデオ会議システム。

【請求項9】

ビデオ会議を制御する第１の装置と、マイクアレイと１つ以上のカメラとを備え、第１の装置に接続される第２の装置と、を含み前記ビデオ会議の映像を録画するビデオ会議システムであって、
前記第２の装置は、
前記マイクアレイで取得した音声に基づいて音の方向を検知する方向検知部と、
前記カメラで撮影した第１の映像から人物の画像を検知する画像検知部と、
前記音の方向と前記人物の画像とに基づいて、前記ビデオ会議システムを利用して前記ビデオ会議に参加する利用者の発話順序を特定する特定部と、
前記第１の映像を所定の時間遅延させた第２の映像から、前記発話順序に基づいて、新たに発話した第１の利用者を含む所定の数の利用者の画像を所定のエリアに表示する前記ビデオ会議の録画映像を作成する録画映像作成部と、
を有する、ビデオ会議システム。

【請求項10】

ビデオ会議の映像を録画するビデオ会議システムが、
マイクアレイで取得した前記ビデオ会議の音声に基づいて音の方向を検知する方向検知処理と、
１つ以上のカメラで撮影した前記ビデオ会議の第１の映像から人物の画像を検知する画像検知処理と、
前記音の方向と前記人物の画像とに基づいて、前記ビデオ会議システムを利用して前記ビデオ会議に参加する利用者の発話順序を特定する特定処理と、
前記第１の映像を所定の時間遅延させた第２の映像から、前記発話順序に基づいて、新たに発話した第１の利用者を含む所定の数の利用者の画像を所定のエリアに表示する前記ビデオ会議の録画映像を作成する録画映像作成処理と、
を実行する、録画映像作成方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ビデオ会議システム、及び録画映像作成方法に関する。

【背景技術】

【0002】

マイクで取得した音声とカメラで撮影した画像とを、通信ネットワークを介して送受信して、遠隔会議を実現するビデオ会議システムが普及している。

【0003】

特許文献１には、入力画像からビデオ会議の会議画像を生成する際に、話者部分の領域を拡大、又は縮小することにより、話者が適切な大きさとなるように表示できる会議画像再生システムが開示されている。

【0004】

また、特許文献２には、ビデオ会議システムにおいて、パノラマカメラと、マイクアレイを組み合わせて、パノラマカメラで会議室全体を撮影し、発言者がいる場合に、自動的に発言者の映像をクローズアップして表示すること等が開示されている。

【発明の概要】

【発明が解決しようとする課題】

【0005】

自拠点の発話者の画像をクローズアップ表示するビデオ会議システムでは、発話者が頻繁に切り替わると、クローズアップ表示される発話者の画像の切り替わり頻度がめまぐるしくなるという問題がある。また、今までの、ビデオ会議システムでは、会議映像を録画する際に会議映像をそのまま録画しているため、録画映像においても、クローズアップ表示される発話者の画像の切り替わり頻度がめまぐるしくなるという問題がある。

【0006】

このような問題は、例えば、直近の複数の発話者をクローズアップ表示するビデオ会議システムにおいても存在する。

【0007】

本発明の一実施の形態は、上記の課題に鑑みてなされたものであって、直近の複数の発話者をクローズアップ表示するビデオ会議システムにおいて、クローズアップ表示される発話者の切り替え頻度を抑制した録画映像を提供する。

【課題を解決するための手段】

【0008】

上記の課題を解決するため、本発明の一実施形態に係るビデオ会議システムは、ビデオ会議の映像を録画するビデオ会議システムであって、マイクアレイで取得した前記ビデオ会議の音声に基づいて音の方向を検知する方向検知部と、１つ以上のカメラで撮影した前記ビデオ会議の第１の映像から人物の画像を検知する画像検知部と、前記音の方向と前記人物の画像とに基づいて、前記ビデオ会議システムを利用して前記ビデオ会議に参加する利用者の発話順序を特定する特定部と、前記第１の映像を所定の時間遅延させた第２の映像から、前記発話順序に基づいて、新たに発話した第１の利用者を含む所定の数の利用者の画像を所定のエリアに表示する前記ビデオ会議の録画映像を作成する録画映像作成部と、を有する。

【発明の効果】

【0009】

本発明の一実施形態によれば、直近の複数の発話者をクローズアップ表示するビデオ会議システムにおいて、クローズアップ表示される発話者の切り替え頻度を抑制した録画映像を提供することができる。

【図面の簡単な説明】

【0010】

【図1】一実施形態に係る通信システムのシステム構成の例を示す図である。

【図2】一実施形態に係るビデオ会議システムの別の構成例を示す図である。

【図3】一実施形態に係るビデオ会議システムの会議映像のイメージを示す図である。

【図4】一実施形態に係る会議映像の遷移の例を示す図である。

【図5】一実施形態に係る録画映像の遷移の例を示す図である。

【図6】一実施形態に係るビデオ会議端末のハードウェア構成の例を示す図である。

【図7】一実施形態に係るコンピュータのハードウェア構成の例を示す図である。

【図8】一実施形態に係るビデオ会議システムの機能構成の一例を示す図である。

【図9】一実施形態に係るビデオ会議システムの機能構成の別の一例を示す図である。

【図10】一実施形態に係る会議映像、及び録画映像の作成処理の例を示すフローチャートである。

【図11】第１の実施形態に係る録画映像の作成処理の例を示すフローチャートである。

【図12】第２の実施形態に係る録画映像の作成処理の例を示すフローチャートである。

【図13】第３の実施形態に係る録画映像の作成処理の例を示すフローチャートである。

【図14】第３の実施形態に係る優先度の決定処理の例を示すフローチャートである。

【図15】一実施形態に係る会議映像の作成処理のイメージを示す図である。

【図16】一実施形態に係る録画映像の作成処理のイメージを示す図である。

【発明を実施するための形態】

【0011】

以下、本発明の実施形態について、図面を参照しながら詳細に説明する。

【0012】

＜システム構成＞
図１は、一実施形態に係る通信システムのシステム構成の例を示す図である。通信システム１は、例えば、自拠点に設置されたビデオ会議システム１００を利用して、１人以上の利用者Ａ、利用者Ｂ、利用者Ｃ、利用者Ｄ、・・・が、他の拠点で他のビデオ会議システム１１０を利用する他の利用者とビデオ会議を行うシステムである。なお、ビデオ会議は、ウェブ会議と呼ばれる場合もある。また、本実施形態に係るビデオ会議システム１００は、ビデオ会議の映像を録画する機能を有している。

【0013】

なお、以下の説明において、利用者Ａ、利用者Ｂ、利用者Ｃ、利用者Ｄ、・・・のうち、任意の利用者を示す場合、「自拠点の利用者」を用いる。また、図１に示した自拠点の利用者の数、及び他の拠点の他の利用者の数は一例である。

【0014】

図１の例では、通信システム１は、自拠点に設けられたビデオ会議システム１００と、他の拠点に設けられた他のビデオ会議システム１１０と、会議サーバ１０とを含む。また、ビデオ会議システム１００、他のビデオ会議システム１１０、及び会議サーバ１０は、例えば、インターネット、及びＬＡＮ（Local Area Network）等の通信ネットワーク２に接続されている。

【0015】

例えば、自拠点の利用者は、ビデオ会議システム１００を用いて、会議サーバ１０が提供するビデオ会議に参加する。また、他利用者は、他のビデオ会議システム１１０を用いて、会議サーバ１０が提供する同じビデオ会議に参加する。これにより、ビデオ会議システム１００と、他のビデオ会議システム１１０は、会議サーバ１０を介して、会議映像を互いに送受信して、ビデオ会議を行うことができる。

【0016】

なお、会議サーバ１０が提供するビデオ会議は、会議映像を互いに送受信する任意のビデオ会議（又はウェブ会議）であってよい。また、ビデオ会議システム１００は、会議サーバ１０を介さずに、通信ネットワーク２を介して、他のビデオ会議システム１１０と直接ビデオ会議を行うものであってもよい。

【0017】

図１の例では、ビデオ会議システム１００は、ビデオ会議端末１０１と、ビデオ会議端末１０１に接続される表示装置１０２とを含む。

【0018】

ビデオ会議端末１０１は、例えば、複数のマイクを配列して構成されたマイクアレイ（マイクロフォンアレイ）を備え、マイクアレイを用いて話者の方向を検知する機能を有している。また、ビデオ会議端末１０１は、ビデオ会議端末１０１の周辺にいる利用者Ａ、利用者Ｂ、利用者Ｃ、利用者Ｄ、・・・を撮影する１つ以上のカメラを有している。例えば、ビデオ会議システム１００は、周囲３６０のパノラマ画像を撮影可能なパノラマカメラを有し、会議室全体を撮影するものであってもよい。或いは、ビデオ会議システム１００は、複数のカメラを有し、複数のカメラで撮影した画像を組み合わせて、ビデオ会議端末１０１の周辺にいる利用者Ａ、利用者Ｂ、利用者Ｃ、利用者Ｄ、・・・を撮影するものであってもよい。

【0019】

また、ビデオ会議端末１０１は、通信ネットワーク２に接続されており、会議サーバ１０が提供するビデオ会議に参加するビデオ会議機能を有している。例えば、ビデオ会議端末１０１は、マイクアレイで取得した音声と、カメラで撮影した映像とに基づく会議映像を、会議サーバ１０を介して、他のビデオ会議システム１１０に送信する。また、ビデオ会議端末１０１は、会議サーバ１０を介して、他のビデオ会議システム１１０から受信した会議映像を表示装置１０２に表示する。また、ビデオ会議端末１０１は、スピーカを有しており、会議映像に含まれる会議音声を出力することができる。別の一例として、表示装置１０２がスピーカを備えており、ビデオ会議端末１０１は、表示装置１０２が備えるスピーカを用いて、会議の音声を出力してもよい。

【0020】

表示装置１０２は、ビデオ会議端末１０１が出力する表示画面を表示する装置である。表示装置１０２は、例えば、ディスプレイ、ＩＷＢ（Interactive White Board）、又はプロジェクタ等、ビデオ会議端末１０１が出力する表示画面を表示可能な様々な装置であってよい。

【0021】

ここで、ＩＷＢは、タッチセンサ搭載型のディスプレイであり、電子黒板とも呼ばれる。ＩＷＢは、ディスプレイに表示した画面に、例えば、ペン、又は指等で直接書き込みができるほか、ディスプレイに表示した内容をデータとして保存することができる。また、ＩＷＢは、プロジェクタのように、大型のディスプレイとしても用いることもできる。

【0022】

他のビデオ会議システム１１０は、会議サーバ１０が提供するビデオ会議に参加し、ビデオ会議システム１００と会議映像を送受信することができるものであれば、任意の構成であってよい。例えば、他のビデオ会議システム１１０は、ＰＣ（Personal Computer）、タブレット端末、又はスマートフォン等の情報処理装置であってもよいし、ビデオ会議システム１００と同様の構成であってもよい。

【0023】

図２は、一実施形態に係るビデオ会議システムの別の構成例を示す図である。ビデオ会議システム１００は、例えば、図２（Ａ）に示すように、ビデオ会議機能を有するＰＣ（Personal Computer）２０１と、マイクアレイ、１つ以上のカメラ、及びスピーカ等を備えたウェブ会議デバイス２０１とによって構成されるものであってもよい。

【0024】

ウェブ会議デバイス２０１は、図１で説明したビデオ会議端末１０１と同様に、複数のマイクを配列して構成されたマイクアレイ（マイクロフォンアレイ）を備え、マイクアレイを用いて話者の方向を検知する機能を有している。また、ウェブ会議デバイス２０１は、ウェブ会議デバイス２０１の周辺にいる利用者Ａ、利用者Ｂ、利用者Ｃ、利用者Ｄ、・・・を撮影する１つ以上のカメラを有している。さらに、ウェブ会議デバイス２０１は、スピーカを用いて、ＰＣ２０２から出力される会議音声の音声データに基づいて、会議音声を出力することができる。

【0025】

ウェブ会議デバイス２０１は、例えば、ＵＳＢ（Universal Serial Bus）ケーブル２０３等でＰＣ２０２に接続されており、ビデオ会議端末１０１が作成する会議映像と同様の会議映像を作成し、作成した会議映像をＰＣ２０２に送信する。また、ＰＣ２０２は、通信ネットワーク２に接続されており、ウェブ会議デバイス２０１から出力される会議映像を用いて、ビデオ会議を行う。

【0026】

また、ビデオ会議システム１００は、例えば、図２（Ｂ）に示すように、ビデオ会議機能を有するＩＷＢ２１１と、上述したウェブ会議デバイス２０１とによって構成されるものであってもよい。ウェブ会議デバイス２０１は、例えば、ＵＳＢケーブル２０３等でＩＷＢ２１１に接続されており、ビデオ会議端末１０１が作成する会議映像と同様の会議映像を作成し、作成した会議映像をＩＷＢ２１１に送信する。また、ＩＷＢ２１１は、通信ネットワーク２に接続されており、ウェブ会議デバイス２０１から出力される会議映像を用いて、他のビデオ会議システム１１０とビデオ会議を行う。

【0027】

（会議映像の例）
図３は、一実施形態に係るビデオ会議システムの会議映像の例を示す図である。この図は、例えば、図１で説明したビデオ会議端末１０１、又は図２（Ａ）、（Ｂ）で説明したウェブ会議デバイス２０１が作成する会議映像のイメージを示す図である。

【0028】

図２に示すように、会議映像３００は、例えば、ビデオ会議に参加する利用者の全体を表示する全体表示エリア３０１と、所定の数の利用者の画像をクローズアップ表示するクローズアップ表示エリア３０２とを含む。

【0029】

全体表示エリア３０１には、例えば、ビデオ会議端末１０１（又はウェブ会議デバイス２０１）が備えるカメラで、ビデオ会議が行われている会議室全体を撮影したパノラマ映像が表示される。また、クローズアップ表示エリア３０２には、直近の発話を行った所定の数の利用者が、クローズアップ表示される。

【0030】

図３の例では、クローズアップ表示エリア３０２には、３つの表示枠３０２－１、３０２－２、３０２－３が表示されている。この場合、例えば、図１に示すような自拠点において、利用者Ａ、利用者Ｂ、利用者Ｃの順に発話を行うと、クローズアップ表示エリア３０２には、利用者Ａの画像、利用者Ｂの画像、及び利用者Ｃの画像がクローズアップ表示（拡大表示）される。なお、クローズアップ表示エリア３０２に表示する表示枠の数（所定の数）は、２つであってもよいし、４つ以上であってもよい。ここでは、クローズアップ表示エリア３０２に表示する表示枠の数が３つであるものとして、以下の説明を行う。

【0031】

このように、自拠点の発話者の画像をクローズアップ表示するビデオ会議システム１００では、発話者が頻繁に切り替わると、クローズアップ表示される発話者の画像の切り替わり頻度がめまぐるしくなるという問題がある。

【0032】

図４は、一実施形態に係る会議映像の遷移の例を示す図である。なお、ビデオ会議システム１００は、自拠点で新たな利用者が発話した場合、３つの表示枠３０２－１、３０２－２、３０２－３のうち、最も過去に発話した利用者の画像が表示されている表示枠に、新たに発話した利用者の画像を表示するものとする。

【0033】

例えば、ビデオ会議において、利用者Ａ、利用者Ｂ、利用者Ｃの順に発話が行われ、ビデオ会議システム１００は、図３に示すような会議映像３００を出力しているものとする。この状態で、新たに利用者Ｄが発話すると、ビデオ会議システム１００は、図４（Ａ）に示すように、利用者Ａ、利用者Ｂ、利用者Ｃのうち、最も過去に発話した利用者Ａが表示されていた表示枠３０２－１に、利用者Ｄの画像を表示する会議映像４１０を出力する。

【0034】

また、この状態で、新たに利用者Ａが発話すると、ビデオ会議システム１００は、図４（Ｂ）に示すように、利用者Ｄ、利用者Ｂ、利用者Ｃのうち、最も過去に発話した利用者Ｂが表示されていた表示枠３０２－２に、利用者Ａの画像を表示する会議映像４２０を出力する。さらに、この状態で、新たに利用者Ｂが発話すると、ビデオ会議システム１００は、図４（Ｃ）に示すように、利用者Ｄ、利用者Ａ、利用者Ｃのうち、最も過去に発話した利用者Ｃが表示されていた表示枠３０２－３に、利用者Ｂの画像を表示する会議映像４３０を出力する。同様に、この状態で、新たに利用者Ｃが発話すると、ビデオ会議システム１００は、図４（Ｄ）に示すように、利用者Ｄ、利用者Ａ、利用者Ｂのうち、最も過去に発話した利用者Ｄが表示されていた表示枠３０２－１に、利用者Ｃの画像を表示する会議映像４４０を出力する。

【0035】

このように、自拠点の発話者の画像をクローズアップ表示するビデオ会議システム１００では、発話者が頻繁に切り替わると、クローズアップ表示される発話者の画像の切り替わり頻度がめまぐるしくなる。また、今までの、ビデオ会議システムでは、会議映像を録画する際に会議映像をそのまま録画しているため、録画映像においても、クローズアップ表示される発話者の画像の切り替わり頻度がめまぐるしくなるという問題がある。

【0036】

そこで、ビデオ会議システム１００は、カメラで撮影したビデオ会議の第１の映像を所定の時間遅延させた第２の映像と、第１の映像に基づいて特定した利用者の発話順序とに基づいて、発話者の切り替え頻度を抑制した録画映像を作成する機能を有している。ここで、所定の時間は、例えば、１分～５分程度、好ましくは、２分～３分程度の時間であるが、これに限られない。

【0037】

図５は、一実施形態に係る録画映像の遷移の例を示す図である。ここで、ビデオ会議システム１００は、第２の映像において、新たな利用者が発話した場合、３つの表示枠３０２－１、３０２－２、３０２－３のうち、最も過去に発話した利用者の画像が表示されている表示枠を、新たに発話した利用者の画像に置き換えるものとする。ただし、ビデオ会議システム１００は、第２の映像において新たに第１の利用者が発話した場合、次に発話する第２の利用者の画像が表示されている表示枠、及び次の次に発話する第３の利用者の画像が表示されている表示枠を、置き換えの対象から外す。また、ビデオ会議システム１００は、第２の映像において新たに発話した第１の利用者が、クローズアップ表示エリア３０２に既に表示されている場合、クローズアップ表示エリア３０２のレイアウトを変更しない。

【0038】

例えば、所定の時間遅延させた第２の映像において、利用者Ａ、利用者Ｂ、利用者Ｃの順に発話が行われ、ビデオ会議システム１００は、図３に示すような会議映像３００を作成したものとする。また、ビデオ会議システム１００は、遅延させていない第１の映像に基づいて、この後の発話順序が、利用者Ｄ、利用者Ａ、利用者Ｂ、利用者Ｃの順序であることを特定したものとする。

【0039】

この状態で、第２の映像において、新たに利用者Ｄが発話すると、ビデオ会議システム１００は、例えば、図５（Ａ）に示すような録画映像５１０を作成する。ここでは、利用者Ｄの次に発話する利用者Ａの画像が表示枠３０２－１に表示されているので、ビデオ会議システム１００は、表示枠３０２－１を置き換えの対象から外す。また、利用者Ａの次に発話する利用者Ｂの画像が表示枠３０２－２に表示されているので、ビデオ会議システム１００は、表示枠３０２－２も置き換えの対象から外す。これにより、ビデオ会議システム１００は、残りの表示枠３０２－３に、新たに発話した利用者Ｄの画像を表示する。

【0040】

この状態で、第２の映像において、新たに利用者Ａが発話すると、ビデオ会議システム１００は、例えば、図５（Ｂ）に示すような録画映像５２０を作成する。ここでは、録画映像５１０において、既に利用者Ａの画像が表示されているので、ビデオ会議システム１００は、クローズアップ表示エリア３０２のレイアウトを変更しない。

【0041】

また、この状態で、第２の映像において、新たに利用者Ｂが発話すると、ビデオ会議システム１００は、例えば、図５（Ｃ）に示すような録画映像５３０を作成する。ここでも、録画映像５１０において、既に利用者Ｂの画像が表示されているので、ビデオ会議システム１００は、クローズアップ表示エリア３０２のレイアウトを変更しない。

【0042】

さらに、この状態で、第２の映像において、新たに利用者Ｃが発話すると、ビデオ会議システム１００は、例えば、図５（Ｄ）に示すような録画映像５４０を作成する。例えば、ビデオ会議システム１００は、録画映像５３０のクローズアップ表示エリア３０２に表示している利用者Ａ、利用者Ｂ、利用者Ｄのうち、最も過去に発話した利用者Ｄの画像が表示されていた表示枠３０２－３に、新たに発話した利用者Ｃの画像を表示する。

【0043】

このように、ビデオ会議システム１００は、図４で説明した会議映像４１０、４２０、４３０、４４０より、クローズアップ表示される発話者の切り替え頻度を抑制した録画映像５１０、５２０、５３０、５４０を作成し、録画することができる。

【0044】

＜ハードウェア構成＞
続いて、本実施形態に係る各装置のハードウェア構成の例について説明する。

【0045】

（ビデオ会議端末ハードウェア構成）
図６は、一実施形態に係るビデオ会議端末のハードウェア構成の例を示す図である。ビデオ会議端末１０１は、例えば、ＣＰＵ（Central Processing Unit）６０１、ＲＯＭ（Read Only Memory）６０２、ＲＡＭ（Random Access Memory）６０３、ＳＳＤ（Solid State Drive）６０４、ネットワークＩ／Ｆ（Interface）６０５、外部機器接続Ｉ／Ｆ６０６、ディスプレイＩ／Ｆ６０７、操作部６０８、映像コーデック６０９、音処理ユニット６１０、マイクアレイ６１１、スピーカ６１２、映像処理ユニット６１３、カメラ６１４ａ、６１４ｂ、・・・、映像遅延バッファ６１５、及びバス６１６等を有する。

【0046】

ＣＰＵ６０１は、所定のプログラムを実行することにより、ビデオ会議端末１０１が備える様々な機能を制御する演算装置（プロセッサ）である。ＲＯＭ６０２は、例えば、ＣＰＵ６０１の起動に用いられるプログラム等を記憶する不揮発性のメモリである。ＲＡＭ６０３は、例えば、ＣＰＵ６０１のワークエリア等として用いられる揮発性のメモリである。ＳＳＤ６０４は、例えば、ビデオ会議端末１０１用のプログラム、データ、又は設定情報等を記憶するストレージデバイスの一例である。

【0047】

ネットワークＩ／Ｆ６０５は、ビデオ会議端末１０１を、例えば、通信ネットワーク２等に接続するための通信インタフェースである。外部機器接続Ｉ／Ｆ６０６は、ビデオ会議端末１０１に、様々な外部機器を接続するためのインタフェースである。ここで、外部機器には、例えば、ビデオ会議端末１０１が作成した録画映像を録画するための外部記憶装置等が含まれる。ディスプレイＩ／Ｆ６０７は、ビデオ会議端末１０１に表示装置１０２等を接続するためのインタフェースである。操作部６０８は、例えば、操作ボタン、スイッチ、又はタッチパネル等の、利用者の操作を受け付ける入力デバイスである。

【0048】

映像コーデック６０９は、例えば、ビデオ会議で送受信する会議映像を符号化するＣｏｄｅｒ、及び符号化された会議映像を復号するＤｅｃｏｄｅｒ等を含む。なお、会議映像の符号化、及び復号はソフトウェアで行われるものであってもよい。

【0049】

音処理ユニット６１０は、例えば、マイクアレイ６１１を用いて、指向性を制御するビームフォーミング等の様々は音処理を実行するデバイスである。また、音処理ユニット６１０は、スピーカ６１２を用いて、会議音声等の様々な音を出力する音処理も実行する。

【0050】

映像処理ユニット６１３は、１つ以上のカメラ６１４ａ、６１４ｂ、・・・から、ビデオ会議端末１０１の周辺を撮影した画像を取得し、取得した画像に対して、例えば、画像合成、画質補正、又は歪み補正等の画像処理を行うデバイスである。カメラ６１４ａ、６１４ｂ、・・・は、ビデオ会議端末１０１の周辺の画像を撮影する撮影装置である。映像遅延バッファ６１５は、カメラで撮影したビデオ会議の第１の映像を所定の時間遅延させた第１映像を生成するバッファである。バス６１６は、上記の各構成要素に共通に接続され、例えば、アドレス信号、データ信号、及び各種の制御信号等を伝送する。

【0051】

（ウェブ会議デバイスのハードウェア構成）
ウェブ会議デバイス２０１は、例えば、図６に示したビデオ会議端末１０１のハードウェア構成から、ディスプレイＩ／Ｆ６０７、映像コーデック６０９を省略したハードウェア構成を有している。ウェブ会議デバイス２０１は、例えば、外部機器接続Ｉ／Ｆ６０６を介して、ＰＣ２０２、又はＩＷＢ２１１に接続される。

【0052】

（コンピュータのハードウェア構成）
ＰＣ２０２は、例えば、図７に示すような、コンピュータ７００のハードウェア構成を有している。また、会議サーバ１０は、例えば、１つ以上のコンピュータ７００によって構成される。

【0053】

図７は、一実施形態に係るコンピュータのハードウェア構成を示す図である。コンピュータ７００は、例えば、ＣＰＵ７０１、ＲＯＭ７０２、ＲＡＭ７０３、ＨＤ（Hard Disk)７０４、ＨＤＤ（Hard Disk Drive)コントローラ７０５、ディスプレイ７０６、外部機器接続Ｉ／Ｆ７０７、ネットワークＩ／Ｆ７０８、キーボード７０９、ポインティングデバイス７１０、ＤＶＤ－ＲＷ（Digital Versatile Disk ReWritable)ドライブ７１２、メディアＩ／Ｆ７１４、及び、バスライン７１５等を備えている。

【0054】

これらのうち、ＣＰＵ７０１は、コンピュータ７００の全体の動作を制御する演算装置である。ＲＯＭ７０２は、ＩＰＬ等のＣＰＵ７０１の駆動に用いられるプログラムを記憶する不揮発性のメモリである。ＲＡＭ７０３は、ＣＰＵ７０１のワークエリア等として使用される揮発性のメモリである。ＨＤ７０４は、ＯＳ（Operating System）やアプリケーション等のプログラムや、各種のデータ等を記憶する大容量の記憶装置である。ＨＤＤコントローラ７０５は、ＣＰＵ７０１の制御にしたがってＨＤ７０４に対する各種データの読み出し又は書き込みを制御する。

【0055】

ディスプレイ７０６は、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示する。外部機器接続Ｉ／Ｆ７０７は、各種の外部機器を接続するためのインタフェースである。ネットワークＩ／Ｆ７０８は、通信ネットワークを利用してデータ通信をするための通信インタフェースである。キーボード７０９は、文字、数値、各種指示などの入力のための複数のキーを備えた入力手段の一種である。ポインティングデバイス７１０は、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行う入力手段の一種である。

【0056】

ＤＶＤ－ＲＷドライブ７１２は、着脱可能な記録媒体の一例としてのＤＶＤ－ＲＷ７１１に対する各種データの読み出し又は書き込みを制御する。なお、ＤＶＤ－ＲＷ７１１は、ＤＶＤ－ＲＷに限らず、他の着脱可能な記録媒体であっても良い。メディアＩ／Ｆ７１４は、フラッシュメモリ等のメディア７１３に対するデータの読み出し又は書き込み（記憶）を制御する。バスライン７１５は、図７に示されているＣＰＵ７０１等の各構成要素を電気的に接続するためのアドレスバス、データバス、及び各種の制御信号等を含む。

【0057】

＜機能構成＞
続いて、本実施形態に係るビデオ会議システム１００の機能構成の例について説明する。

【0058】

図８は、一実施形態に係るウェブ会議システムの機能構成の一例を示す図である。図８の例では、ビデオ会議システム１００は、ビデオ会議端末１０１と、ビデオ会議端末１０１に接続される表示装置１０２とを含む。

【0059】

（ビデオ会議端末の機能構成）
ビデオ会議端末１０１は、例えば、通信部８０１、音声取得部８０２、方向検知部８０３、映像取得部８０４、画像検知部８０５、特定部８０６、映像遅延部８０７、録画映像作成部８０８、録画映像管理部８０９、会議映像作成部８１０、ＵＩ（User Interface）部８１１、会議制御部８１２、表示制御部８１３、及び音声出力部８１４等を有する。

【0060】

通信部８０１は、例えば、ＣＰＵ６０１が実行するプログラム、及びネットワークＩ／Ｆ６０５等によって実現され、ビデオ会議端末１０１を通信ネットワーク２に接続し、会議サーバ１０等の他の装置と通信する通信処理を実行する。

【0061】

音声取得部８０２は、例えば、ＣＰＵ６０１が実行するプログラム、マイクアレイ６１１、及び音処理ユニット６１０等によって実現され、ビデオ会議端末１０１の周辺の音声を取得する音声取得処理を実行する。また、音声取得部８０２は、例えば、マイクアレイ６１１によるビームフォーミング、取得した音声の音質調整、又は取得した音声の音量調整等も行う。

【0062】

方向検知部８０３は、例えば、ＣＰＵ６０１が実行するプログラム、及び音処理ユニット６１０等によって実現され、音声取得部８０２がマイクアレイ６１１で取得したビデオ会議の音声に基づいて音の方向を検知する方向検知処理を実行する。例えば、方向検知部８０３は、マイクアレイ６１１の複数のマイクで取得した音声データを解析して、音源がどの方向にあるかを推定する。

【0063】

映像取得部８０４は、例えば、ＣＰＵ６０１が実行するプログラム、１つ以上のカメラ６１４ａ、６１４ｂ、・・・、及び映像処理ユニット６１３等によって実現される。映像取得部８０４は、例えば、ビデオ会議端末１０１の周辺を撮影した第１の映像を取得する映像取得処理を実行する。また、映像取得部８０４は、取得した第１の映像の画質補正、又は歪み補正等も行う。

【0064】

画像検知部８０５は、例えば、ＣＰＵ６０１が実行するプログラム、及び映像処理ユニット等によって実現され、映像取得部８０４が、１つ以上のカメラ６１４ａ、６１４ｂ、・・・で撮影した第１の映像から人物の画像を検知する画像検知処理を実行する。例えば、画像検知部８０５は、入力した映像から、人物が映っている領域を推定するように、予め機械学習した学習済の機械学習モデル等を用いて、人物が映っている領域を推定することにより、人物の画像を検知してもよい。

【0065】

ここで、機械学習とは、コンピュータに人のような学習能力を獲得させるための技術であり、コンピュータが、データ識別等の判断に必要なアルゴリズムを、事前に取り込まれる学習データから自律的に生成し、新たなデータについてこれを適用して予測を行う技術のことをいう。機械学習のための学習方法は、教師あり学習、教師なし学習、半教師学習、強化学習、深層学習のいずれかの方法でもよく、さらに、これらの学習方法を組み合わせた学習方法でもよく、機械学習のための学習方法は問わない。

【0066】

なお、画像検知部８０５は、例えば、公知のパターン認識技術等を用いて、映像取得部８０４が取得した第１の映像から、人物の画像を検知してもよい。

【0067】

特定部８０６は、例えば、ＣＰＵ６０１が実行するプログラム等によって実現される。特定部８０６は、方向検知部８０３が検知した音の方向と、画像検知部８０５が検知した人物の画像とに基づいて、自拠点で発話した利用者、及び自拠点で発話した人物の発話順序を特定する特定処理を実行する。

【0068】

映像遅延部８０７は、例えば、ＣＰＵ６０１が実行するプログラム、及び映像遅延バッファ６１５等によって実現され、映像取得部８０４が取得した第１の映像を所定の時間遅延させて、第２の映像を出力する映像遅延処理を実行する。例えば、映像遅延部８０７は、第１の映像を所定の時間保持した後に、第２の映像を出力する映像遅延バッファ６１５に、第１の映像を入力する。

【0069】

録画映像作成部８０８は、例えば、ＣＰＵ６０１が実行するプログラム、及び映像処理ユニット等によって実現される。録画映像作成部８０８は、第１の映像を所定の時間遅延させた第２の映像から、特定部８０６が特定した発話順序に基づいて、例えば、図５（Ａ）～（Ｄ）で説明した録画映像５１０、５２０、５３０、５４０等を作成する録画映像作成処理を実行する。なお、録画映像作成部８０８が実行する録画映像作成処理については、複数の実施形態を例示して後述する。

【0070】

録画映像管理部８０９は、例えば、ＣＰＵ６０１が実行するプログラム等によって実現され、録画映像作成部８０８が作成した録画映像を、例えば、ＳＳＤ６０４、又は外部機器接続Ｉ／Ｆ６０６に接続した外部記憶装置等に録画（記憶）する。

【0071】

会議映像作成部８１０は、例えば、ＣＰＵ６０１が実行するプログラム、及び映像処理ユニット等によって実現される。会議映像作成部８１０は、第１の映像から、例えば、図４（Ａ）～（Ｄ）で説明した会議映像４１０、４２０、４３０、４４０等を作成する会議映像作成処理を実行する。

【0072】

ＵＩ部８１１は、例えば、ＣＰＵ６０１が実行するプログラム、及び操作部６０８等によって実現され、利用者によるビデオ会議端末１０１に対する様々な操作を受け付ける。

【0073】

会議制御部８１２は、例えば、ＣＰＵ６０１が実行するプログラム、及び映像コーデック６０９等によって実現され、通信部８０１を介して会議サーバ１０に接続し、他のビデオ会議システム１１０とビデオ会議を行う会議制御処理を実行する。例えば、会議制御部８１２は、ビデオ会議中に、会議映像作成部８１０が作成した会議映像を、会議サーバ１０を介して、他のビデオ会議システム１１０に送信する。また、会議制御部８１２は、会議サーバ１０を介して、他のビデオ会議システム１１０から会議映像を受信する。なお、会議制御部８１２は、既存の様々なビデオ会議、又はウェブ会議の仕組みを利用するものであってよい。

【0074】

表示制御部８１３は、例えば、ＣＰＵ６０１が実行するプログラム、及びディスプレイＩ／Ｆ６０７等によって実現され、会議制御部８１２が他のビデオ会議システム１１０から受信した会議映像を、表示装置１０２等に表示させる。

【0075】

音声出力部８１４は、例えば、ＣＰＵ６０１が実行するプログラム、音処理ユニット６１０、及びスピーカ６１２等によって実現される。音声出力部８１４は、例えば、会議制御部８１２が他のビデオ会議システム１１０から受信した会議映像に含まれる会議音声を出力する音声出力処理を実行する。なお、音声出力部８１４は、表示装置１０２が備えるスピーカ等によって実現されるものであってもよい。

【0076】

図９は、一実施形態に係るウェブ会議システムの機能構成の別の一例を示す図である。図８で説明したビデオ会議端末１０１の各機能構成は、例えば、図９に示すように、ウェブ会議デバイス２０１と、ＰＣ２０２に、分散して設けられていてもよい。また、ＰＣ２０２は、ＩＷＢ２１１等のウェブ会議機能を有する電子機器であってもよい。

【0077】

（ウェブ会議デバイスの機能構成）
ウェブ会議デバイス２０１は、例えば、通信部９１１、音声取得部８０２、方向検知部８０３、映像取得部８０４、画像検知部８０５、特定部８０６、映像遅延部８０７、録画映像作成部８０８、録画映像管理部８０９、会議映像作成部８１０、ＵＩ部８１１、及び音声出力部８１４等を有する。これらの各機能構成のうち、通信部９１１以外の機能構成は、図８で説明した各機能構成と同様なので、ここでは説明を省略する。

【0078】

通信部９１１は、例えば、ウェブ会議デバイス２０１が備えるＣＰＵが実行するプログラム、及び外部機器接続Ｉ／Ｆ等によって実現され、ＰＣ２０２（又はＩＷＢ２１１等）と通信する通信処理を実行する。例えば、通信部９１１は、会議映像作成部８１０が作成した会議映像を、ＰＣ２０２等に送信する。また、通信部９１１は、ＰＣ２０２等から他のビデオ会議システム１１０からの会議映像に含まれる会議音声を受信し、音声出力部８１４に出力する。

【0079】

（ＰＣの機能構成）
ＰＣ２０２は、例えば、第１の通信部９０１、第２の通信部９０２、ＵＩ部９０３、会議制御部８１２、及び表示制御部８１３等を有する。

【0080】

第１の通信部９０１は、例えば、ＣＰＵ７０１が実行するプログラム、及びネットワークＩ／Ｆ７０８等によって実現され、ＰＣ２０２を通信ネットワーク２に接続し、会議サーバ１０等の他の装置と通信する第１の通信処理を実行する。

【0081】

第２の通信部９０２は、例えば、ＣＰＵ７０１が実行するプログラム、及び外部機器接続Ｉ／Ｆ７０７等によって実現され、外部機器接続Ｉ／Ｆ７０７に接続されたウェブ会議デバイス２０１等と通信する第２の通信処理を実行する。

【0082】

ＵＩ部９０３は、例えば、ＣＰＵ７０１が実行するプログラム等によって実現され、ＰＣ２０２に対する利用者の操作を受け付ける。

【0083】

会議制御部８１２は、例えば、ＣＰＵ７０１が実行するプログラム等によって実現され、第１の通信部９０１を介して会議サーバ１０に接続し、他のビデオ会議システム１１０とビデオ会議を行う会議制御処理を実行する。例えば、会議制御部８１２は、第２の通信部９０２が、ウェブ会議デバイス２０１から受信した会議映像を、会議サーバ１０を介して、他のビデオ会議システム１１０に送信する。また、会議制御部８１２は、会議サーバ１０を介して、他のビデオ会議システム１１０から会議映像を受信し、受信した会議映像を表示制御部８１３に表示させる。さらに、会議制御部８１２は、受信した会議映像に含まれる会議音声をウェブ会議デバイス２０１に送信して、会議音声を出力させる。

【0084】

なお、図８、９に示したビデオ会議システム１００の機能構成は一例である。例えば、図８、９に示した各装置が備える各機能構成は、ビデオ会議システム１００に含まれるいずれの装置が備えていてもよい。

【0085】

＜処理の流れ＞
続いて、本実施形態に係る録画映像作成方法の処理の流れについて説明する。

【0086】

（会議映像、及び録画映像の作成処理）
図１０は、一実施形態に係る会議映像、及び録画映像の作成処理の例を示すフローチャートである。この処理は、他のビデオ会議システム１１０とビデオ会議中に、ビデオ会議システム１００が実行する会議映像の作成処理、及び録画映像の作成処理の概要を示している。

【0087】

ステップＳ１００１において、方向検知部８０３は、音声取得部８０２がマイクアレイ６１１で取得した音声に基づいて音の方向を検知する。

【0088】

ステップＳ１１０２において、画像検知部８０５は、１つ以上のカメラ６１４ａ、６１４ｂ、・・・で撮影した第１の映像から人物の画像を検知する。例えば、画像検知部８０５は、自拠点でビデオ会議に参加している人物の画像を検知する。

【0089】

ステップＳ１１０３において、特定部８０６は、方向検知部８０３が検知した音の方向と、画像検知部８０５が検知した人物の画像とに基づいて、自拠点で発話した利用者、及び自拠点で発話した人物の発話順序を特定する。

【0090】

ステップＳ１１０４において、会議映像作成部８１０は、第１の映像から、他の利用者より後に発話した所定の数の利用者の画像をクローズアップ表示エリア３０２に表示する会議映像を作成する。なお、ここでは、所定の数が「３」であるものとして以下の説明を行う。

【0091】

例えば、図１の自拠点において、利用者Ａ、利用者Ｂ、利用者Ｃの順に発話したものとする。この場合、会議映像作成部８１０は、図３に示すように、他の利用者（利用者Ｄ）より後に発話した３人の利用者（利用者Ａ、利用者Ｂ、利用者Ｃ）の画像をクローズアップ表示エリア３０２に表示する会議映像３００を作成する。

【0092】

ステップＳ１００５において、会議映像作成部８１０は、作成した会議映像を、例えば、会議制御部８１２に出力する。これにより、会議制御部８１２は、会議映像作成部８１０が出力した会議映像を、自拠点の会議映像として、会議サーバ１０を介して他のビデオ会議システム１１０に送信する。

【0093】

また、録画映像作成部８０８は、ステップＳ１００４、Ｓ１００５の処理とは別に、ステップＳ１００６の処理を実行する。ステップＳ１００６において、録画映像作成部８０８は、第１の映像を遅延させた第２の映像から、発話順序に基づいて、新たに発話した第１の利用者を含む所定の数の利用者の画像をクローズアップ表示エリア３０２に表示する録画映像を作成する。例えば、録画映像作成部８０８は、図５（Ａ）～（Ｄ）で説明した録画映像５１０、５２０、５３０、５４０等を作成する。

【0094】

ステップＳ１００７において、録画映像管理部８０９は、録画映像作成部８０８が作成した録画映像を、例えば、ＳＳＤ６０４、又は外部機器接続Ｉ／Ｆ６０６に接続された外部記憶装置等に録画（記憶）する。

【0095】

図１０の処理により、ビデオ会議システム１００は、第１の映像に基づいて、例えば、図４（Ａ）～（Ｄ）で説明した会議映像を作成するとともに、第２の映像に基づいて、例えば、図５（Ａ）～（Ｄ）で説明した録画映像を作成する。

【0096】

（録画映像の作成処理）
続いて、例えば、図１０のステップＳ１００６において、ビデオ会議システム１００が実行する録画映像の作成処理の例について、複数の実施形態を例示して説明する。

【0097】

［第１の実施形態］
図１１は、第１の実施形態に係る録画映像の作成処理の例を示すフローチャートである。この処理は、例えば、図１０のステップＳ１００６において、録画映像作成部８０８が実行する録画映像の作成処理の一例を示している。

【0098】

ステップＳ１１０１において、第１の映像を所定の時間遅延させた第２の映像において、新たに第１の利用者が発話すると、録画映像作成部８０８は、ステップＳ１１０２以降の処理を実行する。

【0099】

ステップＳ１１０２において、録画映像作成部８０８は、所定のエリアの表示枠に空きがあるか否かを判断する。例えば、録画映像作成部８０８は、図５（Ａ）に示すような録画映像５１０のクローズアップ表示エリア３０２に空きがあるか否かを判断する。なお、クローズアップ表示エリア３０２は、所定のエリアの一例である。図５（Ａ）の例では、全ての表示枠３０２－１、３０２－２、３０２－３に利用者が表示されているので、録画映像作成部８０８は空きがないと判断する。

【0100】

所定のエリアの表示枠に空きがある場合、録画映像作成部８０８は、処理をステップＳ１１０３に移行させる。一方、所定のエリアの表示枠に空きがない場合、録画映像作成部８０８は、処理をステップＳ１１０４に移行させる。

【0101】

ステップＳ１１０３に移行すると、録画映像作成部８０８は、空いている表示枠に第１の利用者の画像をクローズアップ表示した録画映像を作成する。

【0102】

一方、ステップＳ１１０４に移行すると、録画映像作成部８０８は、第１の利用者の画像が所定のエリアに表示されているか否かを判断する。例えば、図５（Ａ）に示すような録画映像５１０の状態から、第２の映像において新たに利用者Ａが発話したものとする。この場合、クローズアップ表示エリア３０２には、既に利用者Ａの画像が表示されているので、録画映像作成部８０８は、第１の利用者の画像が所定のエリアに表示されていると判断する。

【0103】

第１の利用者の画像が所定のエリアに表示されている場合、録画映像作成部８０８は、処理をステップＳ１１０５に移行させる。一方、第１の利用者の画像が所定のエリアに表示されていない場合、録画映像作成部８０８は、処理をステップＳ１１０６に移行させる。

【0104】

ステップＳ１１０５に移行すると、録画映像作成部８０８は、現在の所定のエリアのレイアウトを維持して、録画映像を作成する。例えば、図５（Ｂ）に示すような録画映像５２０の状態から、第２の映像において新たに利用者Ａが発話したものとする。この場合、録画映像作成部８０８は、クローズアップ表示エリア３０２のレイアウトを変更せずに、例えば、図５（Ｃ）に示すような録画映像５３０を作成する。

【0105】

一方、ステップＳ１１０６に移行すると、録画映像作成部８０８は、特定部８０６が特定した発話順序に基づいて、第１の利用者の次に発話する第２の利用者の画像が、所定のエリアに表示されているか否かを判断する。第２の利用者の画像が、所定のエリア（クローズアップ表示エリア３０２）に表示されている場合、録画映像作成部８０８は、処理をステップＳ１１０７に移行させる。一方、第２の利用者の画像が、所定のエリアに表示されていない場合、録画映像作成部８０８は、処理をステップＳ１１０８に移行させる。

【0106】

ステップＳ１１０７に移行すると、録画映像作成部８０８は、第２の利用者の画像の表示枠を維持する。

【0107】

ステップＳ１１０８に移行すると、録画映像作成部８０８は、特定部８０６が特定した発話順序に基づいて、第２の利用者の次に発話する第３の利用者の画像が、所定のエリアに表示されているか否かを判断する。第３の利用者の画像が、所定のエリア（クローズアップ表示エリア３０２）に表示されている場合、録画映像作成部８０８は、処理をステップＳ１１０９に移行させる。一方、第３の利用者の画像が、所定のエリアに表示されていない場合、録画映像作成部８０８は、処理をステップＳ１１１０に移行させる。

【0108】

ステップＳ１１０９に移行すると、録画映像作成部８０８は、第３の利用者の画像の表示枠を維持する。

【0109】

ステップＳ１１１０において、録画映像作成部８０８は、残りの表示枠のうち、タイムスタンプが最も古い表示枠に、第１の利用者の画像をクローズアップ表示する録画映像を作成する。例えば、各表示枠には、最後に画像を更新した時刻を示すタイムスタンプ等が付加されているものとする。

【0110】

図１２の処理により、録画映像作成部８０８は、第１の利用者が発話したときに、第２の利用者の画像が所定のエリアに表示されている場合、少なくとも第１の利用者の画像と第２の利用者画像とを所定のエリアに表示する録画映像を作成する。

【0111】

また、録画映像作成部８０８は、第１の利用者が発話したときに、第３の利用者の画像が所定のエリアに表示されている場合、少なくとも第１の利用者の画像と第３の利用者画像とを所定のエリアに表示する録画映像を作成する。

【0112】

さらに、録画映像作成部８０８は、第１の利用者が発話したときに、第２の利用者の画像と第３の利用者の画像が所定のエリアに表示されている場合、第１の利用者の画像と第２の利用者画像と第３の利用者の画像とを所定のエリアに表示する録画映像を作成する。

【0113】

また、録画映像作成部８０８は、第１の利用者が発話したときに、第１の利用者の画像が所定のエリアに表示されている場合、所定のエリアの表示を変更せずに、録画映像を作成する。

【0114】

［第２の実施形態］
図１２は、第２の実施形態に係る録画映像の作成処理の例を示すフローチャートである。この処理は、例えば、図１０のステップＳ１００６において、録画映像作成部８０８が実行する録画映像の作成処理の別の一例を示している。この処理は、図１１で説明した第1実施形態に係る録画映像の作成処理のステップＳ１１０１の次に、ステップＳ１２０１の処理が追加されている。なお、ステップＳ１１０２以降の処理は、第１の実施形態に係る録画映像の作成処理と同様なので、ここでは説明を省略する。

【0115】

ステップＳ１１０１において、第１の映像を所定の時間遅延させた第２の映像において、新たに第１の利用者が発話すると、録画映像作成部８０８は、ステップＳ１２０１の処理を実行する。

【0116】

ステップＳ１２０１において、録画映像作成部８０８は、第２の映像における第１の利用者の発話時間が所定の時間（例えば、１秒～３秒程度）未満であるか否かを判断する。ここで、第２の映像は、第１の映像を遅延させた映像なので、ビデオ会議システム１００は、第１の映像に基づいて、第１利用者の発話時間を予め取得しておくことができる。また、録画映像の作成には即時性は求められないため、録画映像作成部８０８は、所定の時間待機することにより、第２の映像から第１の利用者の発話時間が、所定の時間未満であるか否かを判断してもよい。

【0117】

発話時間が所定の時間未満でない場合、録画映像作成部８０８は、ステップＳ１１０２以降の処理を実行する。一方、発話時間が所定の時間未満である場合、録画映像作成部８０８は、処理をステップＳ１１０５に移行させる。

【0118】

図１２の処理により、ビデオ会議システム１００は、第１の利用者の発話時間が所定の時間未満である場合、クローズアップ表示エリア３０２のレイアウトを維持して録画映像を作成する。従って、所定の時間に適切な時間を設定することにより、ビデオ会議システム１００は、例えば、「はい」、「いいえ」等の短い発話により、クローズアップ表示される発話者が頻繁に切り替わることを抑制することができる。

【0119】

［第３の実施形態］
図１３は、第３の実施形態に係る録画映像の作成処理の例を示すフローチャートである。この処理は、例えば、図１０のステップＳ１００６において、ビデオ会議システム１００が実行する録画映像の作成処理のより具体的な処理の一例を示している。なお、ここでは、ビデオ会議システム１００が、図８に示すように、ビデオ会議端末１０１と表示装置によって構成されているものとして、以下の説明を行う。

【0120】

ステップＳ１３０１において、ビデオ会議システム１００は、システムを初期設定する。例えば、ビデオ会議システム１００は、ビデオ会議端末１０１を初期化する。

【0121】

ステップＳ１３０２において、ビデオ会議端末１０１は、カメラ６１４－１、６１４－２、・・・、マイクアレイ６１１、及びスピーカ６１２等を初期化する。

【0122】

ステップＳ１３０３において、ビデオ会議端末１０１は、他のビデオ会議システム１００との接続を確認して、ビデオ会議を開始する。また、ビデオ会議端末１０１は、録画条件を設定して録画を開始する。好ましくは、録画は任意のタイミングで中断、又は中止することができる。

【0123】

ステップＳ１３０４、ステップＳ１３０５において、第２の映像で利用者Ａが発話すると、ビデオ会議端末１０１は、録画映像において、利用者Ａをクローズアップ表示エリア３０２にクローズアップ表示する。なお、ここでは、クローズアップ表示エリア３０２に、３つ表示枠があるものとする。

【0124】

ステップＳ１３０６、Ｓ１３０７において、第２の映像で利用者Ｂが発話すると、ビデオ会議端末１０１は、録画映像において、利用者Ｂをクローズアップ表示エリア３０２にクローズアップ表示する。

【0125】

ステップＳ１３０８、Ｓ１３０９において、第２の映像で利用者Ｃが発話すると、ビデオ会議端末１０１は、録画映像において、利用者Ｃをクローズアップ表示エリア３０２にクローズアップ表示する。ここで、録画映像のクローズアップ表示エリア３０２には、利用者Ａの画像、利用者Ｂの画像、及び利用者Ｃの画像が表示される。

【0126】

ステップＳ１３１０において、ビデオ会議端末１０１は、クローズアップ表示エリア３０２の全ての表示枠に利用者が表示されると、特定部８０６が特定した発話順序を取得し、クローズアップ表示エリア３０２の優先度を決定（更新）するものとする。なお、図１３において、発話順序（-->Ｄ-->Ａ）は、次に発話する利用者が利用者Ｄであり、利用者Ｄの次に発話する利用者が利用者Ａであることを示している。ここでは、今後の話者が、Ｄ-->Ａ-->Ｂ-->Ｃ-->Ｅ-->Ａの順に推移するものとして以下の説明を行う。また、優先度（Ｂ＞Ａ＞Ｃ）は、利用者Ｂの画像が表示されている表示枠の優先度が最も高く、利用者Ｃの画像が表示されている表示枠の優先度が最も低いことを表している。

【0127】

ステップＳ１３１１、Ｓ１３１２において、第２の映像で利用者Ｄが発話すると、ビデオ会議端末１０１は、発話順序（-->Ａ-->Ｂ）を取得し、利用者Ａ、Ｂ、Ｃの優先度を決定する。例えば、発話順序（-->Ａ-->Ｂ）から、利用者Ａ、Ｂの優先度は利用者Ｃより高くすべきであり、ＡがＢより先に発話することから、ビデオ会議端末１０１は、優先度を（Ａ＞Ｂ＞Ｃ）に決定する。

【0128】

ステップＳ１３１３において、ビデオ会議端末１０１は、優先度がもっとも低い、利用者Ｃの画像が表示されている表示枠３０２－３に、利用者Ｄの画像をクローズアップ表示する。これにより、例えば、図５（Ａ）に示すような録画映像５１０が作成される。また、ステップＳ１３１４において、ビデオ会議端末１０１は、優先度を（Ａ＞Ｂ＞Ｄ）に更新する。

【0129】

ステップＳ１３１５、Ｓ１３１６において、第２の映像で利用者Ａが発話すると、録画映像５１０のクローズアップ表示エリア３０２に、利用者Ａの画像が既に表示されているので、ビデオ会議端末１０１は、クローズアップ表示エリア３０２のレイアウトを維持する。これにより、例えば、図５（Ｂ）に示すような録画映像５２０が作成される。

【0130】

ステップＳ１３１７において、ビデオ会議端末１０１は、発話順序（-->Ｂ-->Ｃ）を取得し、利用者Ａ、Ｂ、Ｄの優先度を決定する。例えば、発話順序（-->Ｂ-->Ｃ）から、利用者Ｂの優先度は利用者Ａ、Ｄより高くすべきであり、利用者Ｄは、利用者Ａより過去の発話者になるので、ビデオ会議端末１０１は、優先度を（Ｂ＞Ａ＞Ｄ）に更新する。

【0131】

ステップＳ１３１８、Ｓ１３１９において、第２の映像で利用者Ｂが発話すると、録画映像５１０のクローズアップ表示エリア３０２に、利用者Ｂの画像が既に表示されているので、ビデオ会議端末１０１は、クローズアップ表示エリア３０２のレイアウトを維持する。これにより、例えば、図５（Ｃ）に示すような録画映像５３０が作成される。

【0132】

ステップＳ１３２０において、ビデオ会議端末１０１は、発話順序（-->Ｃ-->Ｅ）を取得し、利用者Ａ、Ｂ、Ｄの優先度を決定する。例えば、発話順序（-->Ｃ-->Ｅ）から、優先度を高くすべき利用者はいないので、ビデオ会議端末１０１は、過去の発話順序が遅い順に、優先度を（Ｂ＞Ａ＞Ｄ）に更新する。

【0133】

ステップＳ１３２１、Ｓ１３２２において、第２の映像で利用者Ｃが発話すると、ビデオ会議端末１０１は、発話順序（-->Ｅ-->Ａ）を取得し、利用者Ａ、Ｂ、Ｄの優先度を決定する。例えば、発話順序（-->Ｅ-->Ａ）から、利用者Ａの優先度は利用者Ｂ、Ｄより高くすべきであり、利用者Ｄは、利用者Ｂより過去の発話者になるので、ビデオ会議端末１０１は、優先度を（Ａ＞Ｂ＞Ｄ）に決定する。

【0134】

ステップＳ１３２３において、ビデオ会議端末１０１は、優先度がもっとも低い、利用者Ｄの画像が表示されている表示枠３０２－３に、利用者Ｃの画像をクローズアップ表示する。これにより、例えば、図５（Ｄ）に示すような録画映像５４０が作成される。また、ステップＳ１３２４において、ビデオ会議端末１０１は、利用者Ａ、Ｂ、Ｃの優先度を更新する。好ましくは、利用者Ｂは、利用者Ｃより過去の発話者になるので、ビデオ会議端末１０１は、優先度を（Ａ＞Ｃ＞Ｂ）に更新する。
ビデオ会議端末１０１は、録画完了まで、同様の処理を繰り返し実行する。

【0135】

（優先度の決定処理）
図１４は、第３の実施形態にかかる優先度の決定処理の例を示すフローチャートである。この処理は、例えば、図１３のステップＳ１３１０、Ｓ１３１３、Ｓ１３１６、Ｓ１３１９等において、ビデオ会議端末１０１が実行する優先度の決定処理の一例を示している。

【0136】

なお、図１４に示す処理の開始時点において、利用者Ｚが新たにクローズアップ表示エリア３０２に表示され、クローズアップ表示エリア３０２に利用者Ｘの画像、利用者Ｙの画像、利用者Ｚの画像が表示されている状態であるものとする。

【0137】

ステップＳ１４０１において、ビデオ会議端末１０１は、利用者Ｘ、又は利用者Ｙが次の発話者であるか否かを判断する。利用者Ｘ、又は利用者Ｙが次の発話者である場合、ビデオ会議端末１０１は、処理をステップＳ１４０２に移行させる。一方、利用者Ｘも利用者Ｙも次の発話者でない場合、ビデオ会議端末１０１は、処理をステップＳ１４０５に移行させる。

【0138】

ステップＳ１４０２に移行すると、ビデオ会議端末１０１は、利用者Ｘ、又は利用者Ｙが次の次の発話者であるか否かを判断する。利用者Ｘ、又は利用者Ｙが次の次の発話者である場合、ビデオ会議端末１０１は、処理をステップＳ１４０３に移行させる。一方、利用者Ｘも利用者Ｙも次の次の発話者でない場合、ビデオ会議端末１０１は、処理をステップＳ１４０４に移行させる。

【0139】

ステップＳ１４０３に移行すると、ビデオ会議端末１０１は、利用者Ｘが次の発話者であるか否かを判断する。利用者Ｘが次の発話者である場合、ビデオ会議端末１０１は、優先度を「Ｘ＞Ｙ＞Ｚ」に決定する。一方、利用者Ｘが次の発話者でない場合、ビデオ会議端末１０１は、優先度を「Ｙ＞Ｘ＞Ｚ」に決定する。

【0140】

ステップＳ１４０４に移行すると、ビデオ会議端末１０１は、利用者Ｘが次の発話者であるか否かを判断する。利用者Ｘが次の発話者である場合、ビデオ会議端末１０１は、優先度を「Ｘ＞Ｚ＞Ｙ」に決定する。一方、利用者Ｘが次の発話者でない場合、ビデオ会議端末１０１は、優先度を「Ｙ＞Ｚ＞Ｘ」に決定する。

【0141】

ステップＳ１４０５に移行すると、ビデオ会議端末１０１は、利用者Ｘ、又は利用者Ｙが次の次の発話者であるか否かを判断する。利用者Ｘ、又は利用者Ｙが次の次の発話者である場合、ビデオ会議端末１０１は、処理をステップＳ１４０６に移行させる。一方、利用者Ｘも利用者Ｙも次の次の発話者でない場合、ビデオ会議端末１０１は、処理をステップＳ１４０７に移行させる。

【0142】

ステップＳ１４０６に移行すると、ビデオ会議端末１０１は、利用者Ｘが次の次の発話者であるか否かを判断する。利用者Ｘが次の次の発話者である場合、ビデオ会議端末１０１は、優先度を「Ｘ＞Ｚ＞Ｙ」に決定する。一方、利用者Ｘが次の次の発話者でない場合、ビデオ会議端末１０１は、優先度を「Ｙ＞Ｚ＞Ｘ」に決定する。

【0143】

ステップＳ１４０７に移行すると、ビデオ会議端末１０１は、利用者Ｙが利用者Ｘより過去の発話者であるか否かを判断する。利用者Ｙが利用者Ｘより過去の発話者である場合、ビデオ会議端末１０１は、優先度を「Ｚ＞Ｘ＞Ｙ」に決定する。一方、利用者Ｙが利用者Ｘより過去の発話者でない場合、ビデオ会議端末１０１は、優先度を「Ｚ＞Ｙ＞Ｘ」に決定する。

【0144】

図１３の処理により、ビデオ会議端末１０１は、発話順序に基づいて、次の発話者と、次の次の発話者が優先順位の上位にくるように、利用者Ｘ、利用者Ｙ、利用者Ｚの優先順位を決定（更新）することができる。ただし、図１３に示した処理は一例である。ビデオ会議端末１０１は、発話順序に基づいて、次の発話者と次の次の発話者が優先順位の上位にくるように、他の方法で利用者の優先順位を決定してもよい。

【0145】

（会議映像、及び録画映像のイメージ）
図１５は、一実施形態に係る会議映像の作成処理のイメージを示す図である。会議映像作成部８１０は、例えば、図１５に示すように、音声データ、及びカメラ映像ストリームと同じタイミングで会議映像を作成する。今までは、この会議映像をそのまま録画していたため、例えば、クローズアップ表示エリア３０２に表示される利用者の画像が頻繁に切り替わるという問題がある。また、この方法では、話者検知に要する時間ｔ等により、新たに発話した話者が、クローズアップ表示されるまでに遅延が発生するという問題もある。

【0146】

図１６は、一実施形態に係る録画映像の作成処理のイメージを示す図である。録画映像作成部８０８は、例えば、図１６に示すように、カメラ映像ストリームを所定の時間（録画映像遅延時間）遅延させたカメラ映像ストリームを用いて、録画映像のレイアウトを行う。これにより、録画映像作成部８０８は、予め特定した発話順序に基づいて、クローズアップ表示エリア３０２に表示される利用者の画像の切り替わり頻度が少なくなるように、録画映像のレイアウトを行うことができる。また、この方法では、話者検知に要する時間ｔの影響を受けないので、新たに発話した話者が、クローズアップ表示されるまでに遅延も解消することができる。

【0147】

以上、本発明の各実施形態によれば、直近の複数の発話者をクローズアップ表示するビデオ会議システム１００において、クローズアップ表示される発話者の切り替え頻度を抑制した録画映像を提供することができる。

【0148】

＜補足＞
上記で説明した各実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたＡＳＩＣ（Application Specific Integrated Circuit）、ＤＳＰ（digital signal processor）、ＦＰＧＡ（field programmable gate array）や従来の回路モジュール等のデバイスを含むものとする。

【0149】

＜付記＞
本明細書には、下記の各項のビデオ会議システム、及び録画映像作成方法が開示されている。
（第１項）
ビデオ会議の映像を録画するビデオ会議システムであって、
マイクアレイで取得した前記ビデオ会議の音声に基づいて音の方向を検知する方向検知部と、
１つ以上のカメラで撮影した前記ビデオ会議の第１の映像から人物の画像を検知する画像検知部と、
前記音の方向と前記人物の画像とに基づいて、前記ビデオ会議システムを利用して前記ビデオ会議に参加する利用者の発話順序を特定する特定部と、
前記第１の映像を所定の時間遅延させた第２の映像から、前記発話順序に基づいて、新たに発話した第１の利用者を含む所定の数の利用者の画像を所定のエリアに表示する前記ビデオ会議の録画映像を作成する録画映像作成部と、
を有する、ビデオ会議システム。
（第２項）
前記録画映像作成部は、前記第２の映像において、前記第１の利用者が発話したときに、前記第１の利用者の次に発話する第２の利用者の画像が前記所定のエリアに表示されている場合、少なくとも前記第１の利用者の画像と前記第２の利用者画像とを前記所定のエリアに表示する前記録画映像を作成する、第１項に記載のビデオ会議システム。
（第３項）
前記録画映像作成部は、前記第２の映像において、前記第１の利用者が発話したときに、前記第１の利用者の次に発話する第２の利用者の次に発話する第３の利用者の画像が前記所定のエリアに表示されている場合、少なくとも前記第１の利用者の画像と前記第３の利用者の画像とを前記所定のエリアに表示する前記録画映像を作成する、第１項又は第２項に記載のビデオ会議システム。
（第４項）
前記録画映像作成部は、前記第２の映像において、前記第１の利用者が発話したときに、前記第１の利用者の画像が前記所定のエリアに表示されている場合、前記所定のエリアの表示を変更せずに、前記録画映像を作成する、第１項～第３項のいずれかに記載のビデオ会議システム。
（第５項）
前記録画映像作成部は、前記第２の映像において、利用者の発話時間が所定の時間未満である場合、前記所定のエリアの表示を変更せずに、前記録画映像を作成する、第１項～第４項のいずれかに記載のビデオ会議システム。
（第６項）
前記第１の映像から、他の利用者よりも後に発話した前記所定の数の利用者の画像を前記所定のエリアに表示する前記ビデオ会議の会議映像を作成する会議映像作成部を有する、第１項～第５項のいずれかに記載のビデオ会議システム。
（第７項）
前記録画映像作成部は、前記所定のエリアに表示される利用者の画像の変化が、前記会議映像より少ない前記録画映像を作成する、第６項に記載のビデオ会議システム。
（第８項）
前記第１の映像を前記所定の時間保持した後に、前記第２の映像を出力する遅延バッファを有する、第１項～第７項のいずれかに記載のビデオ会議システム。
（第９項）
ビデオ会議を制御する第１の装置と、マイクアレイと１つ以上のカメラとを備え、第１の装置に接続される第２の装置と、を含み前記ビデオ会議の映像を録画するビデオ会議システムであって、
前記第２の装置は、
前記マイクアレイで取得した音声に基づいて音の方向を検知する方向検知部と、
前記カメラで撮影した第１の映像から人物の画像を検知する画像検知部と、
前記音の方向と前記人物の画像とに基づいて、前記ビデオ会議システムを利用して前記ビデオ会議に参加する利用者の発話順序を特定する特定部と、
前記第１の映像を所定の時間遅延させた第２の映像から、前記発話順序に基づいて、新たに発話した第１の利用者を含む所定の数の利用者の画像を所定のエリアに表示する前記ビデオ会議の録画映像を作成する録画映像作成部と、
を有する、ビデオ会議システム。
（第１０項）
ビデオ会議の映像を録画するビデオ会議システムが、
マイクアレイで取得した前記ビデオ会議の音声に基づいて音の方向を検知する方向検知処理と、
１つ以上のカメラで撮影した前記ビデオ会議の第１の映像から人物の画像を検知する画像検知処理と、
前記音の方向と前記人物の画像とに基づいて、前記ビデオ会議システムを利用して前記ビデオ会議に参加する利用者の発話順序を特定する特定処理と、
前記第１の映像を所定の時間遅延させた第２の映像から、前記発話順序に基づいて、新たに発話した第１の利用者を含む所定の数の利用者の画像を所定のエリアに表示する前記ビデオ会議の録画映像を作成する録画映像作成処理と、
を実行する、録画映像作成方法。

【0150】

以上、本発明の実施形態について説明したが、本発明はかかる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、様々な変形、及び応用が可能である。

【符号の説明】

【0151】

１ 通信システム
１０ 会議サーバ
１００ ビデオ会議システム
１０１ ビデオ会議端末
２０１ ウェブ会議デバイス（第２の装置）
２０２ ＰＣ（第１の装置）
２１１ ＩＷＢ（第１の装置）
３０２ クローズアップ表示エリア（所定のエリア）
６１１ マイクアレイ
６１４－１、６１４－２ カメラ
６１５ 映像遅延バッファ
８０３ 方向検知部
８０５ 画像検知部
８０６ 特定部
８０７ 映像遅延部
８０８ 録画映像作成部
８１０ 会議映像作成部

【先行技術文献】

【特許文献】

【0152】

【特許文献1】特開２００９－１８２９８０号公報

【特許文献2】特開２０１７－３４５０２号公報

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】