知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023026844
(43)【公開日】2023-03-01
(54)【発明の名称】録画システム、録画再生装置、画像処理方法
(51)【国際特許分類】
H04N 7/15 20060101AFI20230221BHJP
【ＦＩ】
H04N7/15 150
【審査請求】未請求
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2021132243
(22)【出願日】2021-08-16
(71)【出願人】
【識別番号】000006747
【氏名又は名称】株式会社リコー
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(72)【発明者】
【氏名】桑田 耕司
【テーマコード（参考）】
5C164
【Ｆターム（参考）】
5C164FA10
5C164MC04S
5C164VA36P
(57)【要約】
【課題】第一の画像に第二の画像が重ねられた状態で録画されても、再生時に第一の画像を表示できる録画システムを提供すること。
【解決手段】本発明は、他の拠点から第一の画像データを受信する通信部と、前記第一の画像に、他の拠点から受信するか又は自拠点で用意した第二の画像データを埋め込んだ動画のフレーム内で、前記第一の画像データ又は前記第二の画像データの位置を移動させる画像処理部と、前記第一の画像データに前記第二の画像データを埋め込んだ動画ファイルを生成する画像合成部と、前記動画ファイルから前記第二の画像データを含まない前記第一の画像データを構築する画像構築部と、前記画像構築部が構築した前記第一の画像データを表示する表示制御部と、を有する録画システム６０を提供する。
【選択図】図１
【解決手段】本発明は、他の拠点から第一の画像データを受信する通信部と、前記第一の画像に、他の拠点から受信するか又は自拠点で用意した第二の画像データを埋め込んだ動画のフレーム内で、前記第一の画像データ又は前記第二の画像データの位置を移動させる画像処理部と、前記第一の画像データに前記第二の画像データを埋め込んだ動画ファイルを生成する画像合成部と、前記動画ファイルから前記第二の画像データを含まない前記第一の画像データを構築する画像構築部と、前記画像構築部が構築した前記第一の画像データを表示する表示制御部と、を有する録画システム６０を提供する。
【選択図】図１
【特許請求の範囲】
【請求項1】
他の拠点から第一の画像データを受信する通信部と、
前記第一の画像データに、他の拠点から受信するか又は自拠点で用意した第二の画像データを埋め込んだ動画のフレーム内で、前記第一の画像データ又は前記第二の画像データの位置を移動させる画像処理部と、
前記第一の画像データに前記第二の画像データを埋め込んだ動画ファイルを生成する画像合成部と、
前記動画ファイルから前記第二の画像データを含まない前記第一の画像データを構築する画像構築部と、
前記画像構築部が構築した前記第一の画像データを表示する表示制御部と、
を有する録画システム。
前記第一の画像データに、他の拠点から受信するか又は自拠点で用意した第二の画像データを埋め込んだ動画のフレーム内で、前記第一の画像データ又は前記第二の画像データの位置を移動させる画像処理部と、
前記第一の画像データに前記第二の画像データを埋め込んだ動画ファイルを生成する画像合成部と、
前記動画ファイルから前記第二の画像データを含まない前記第一の画像データを構築する画像構築部と、
前記画像構築部が構築した前記第一の画像データを表示する表示制御部と、
を有する録画システム。
【請求項2】
動画のフレームに前記第一の画像データを配置し、予め設定されている時間をかけて、前記第一の画像データに対し前記第二の画像データを前記第二の画像データのサイズよりも大きく移動させる移動部を有し、
前記画像構築部は、前記第二の画像データの位置が異なる複数の前記第一の画像データを前記動画ファイルから取得し、前記第一の画像データから前記第二の画像データを取り取って合成することで前記第二の画像データを含まない前記第一の画像データを構築することを特徴とする請求項１に記載の録画システム。
前記画像構築部は、前記第二の画像データの位置が異なる複数の前記第一の画像データを前記動画ファイルから取得し、前記第一の画像データから前記第二の画像データを取り取って合成することで前記第二の画像データを含まない前記第一の画像データを構築することを特徴とする請求項１に記載の録画システム。
【請求項3】
前記画像構築部は、前記第一の画像データから前記第二の画像データを取り除いた複数の前記第一の画像データをＯＲ演算することで前記第二の画像データを含まない前記第一の画像データを構築することを特徴とする請求項２に記載の録画システム。
【請求項4】
前記第一の画像データが切り替わったことを検出した場合、
予め設定されている時間をかけて、動画のフレームに配置された切り替え前の前記第一の画像データをスライドさせて、切り替え後の前記第一の画像データに切り替えるページ切替部を有し、
前記画像合成部は、スライドの途中の前記第一の画像データに前記第二の画像データを埋め込んだ動画ファイルを生成し、
前記動画ファイルから前記第一の画像データが切り替わったことを検出した場合、
前記画像構築部は、切り替わる前の前記第一の画像データの一部と、スライドされた後の前記第一の画像データの一部とをそれぞれ切り取って、合成することで前記第二の画像データを含まない前記第一の画像データを構築することを特徴とする請求項１に記載の録画システム。
予め設定されている時間をかけて、動画のフレームに配置された切り替え前の前記第一の画像データをスライドさせて、切り替え後の前記第一の画像データに切り替えるページ切替部を有し、
前記画像合成部は、スライドの途中の前記第一の画像データに前記第二の画像データを埋め込んだ動画ファイルを生成し、
前記動画ファイルから前記第一の画像データが切り替わったことを検出した場合、
前記画像構築部は、切り替わる前の前記第一の画像データの一部と、スライドされた後の前記第一の画像データの一部とをそれぞれ切り取って、合成することで前記第二の画像データを含まない前記第一の画像データを構築することを特徴とする請求項１に記載の録画システム。
【請求項5】
前記動画ファイルから前記第一の画像データが切り替わったことを検出した場合、
前記画像構築部は、切り替わる前の前記第一の画像データの半分と、前記時間の半分が経過した前記第一の画像データの半分とをそれぞれ切り取って、合成することで前記第二の画像データを含まない前記第一の画像データを構築することを特徴とする請求項４に記載の録画システム。
前記画像構築部は、切り替わる前の前記第一の画像データの半分と、前記時間の半分が経過した前記第一の画像データの半分とをそれぞれ切り取って、合成することで前記第二の画像データを含まない前記第一の画像データを構築することを特徴とする請求項４に記載の録画システム。
【請求項6】
前記動画ファイルは、前記第一の画像データにおける前記第二の画像データの位置情報とサイズを有し、
前記位置情報とサイズに基づいて、前記第一の画像データから取り込んだ前記第二の画像データの第二の動画ファイルを作成する動画ファイル作成部を有することを特徴とする請求項１～５のいずれか１項に記載の録画システム。
前記位置情報とサイズに基づいて、前記第一の画像データから取り込んだ前記第二の画像データの第二の動画ファイルを作成する動画ファイル作成部を有することを特徴とする請求項１～５のいずれか１項に記載の録画システム。
【請求項7】
ユーザーの操作に応じて、前記第二の画像データを含まない前記第一の画像データを表示することを特徴とする請求項１～６のいずれか１項に記載の録画システム。
【請求項8】
ユーザーの操作に応じて、前記第二の動画ファイルを表示することを特徴とする請求項６に記載の録画システム。
【請求項9】
他の拠点から第一の画像データを受信する通信部と、
前記第一の画像データに、他の拠点から受信するか又は自拠点で用意した第二の画像データを埋め込んだ動画のフレーム内で、前記第一の画像データ又は前記第二の画像データの位置を移動させる画像処理部と、
前記第一の画像データに前記第二の画像データを埋め込んだ動画ファイルを生成する画像合成部と、を有する通信端末から
前記動画ファイルを受信する受信部と、
前記受信部が受信した前記動画ファイルから前記第二の画像データを含まない前記第一の画像データを構築する画像構築部と、
前記画像構築部が構築した前記第一の画像データを表示する表示制御部と、
を有する録画再生装置。
前記第一の画像データに、他の拠点から受信するか又は自拠点で用意した第二の画像データを埋め込んだ動画のフレーム内で、前記第一の画像データ又は前記第二の画像データの位置を移動させる画像処理部と、
前記第一の画像データに前記第二の画像データを埋め込んだ動画ファイルを生成する画像合成部と、を有する通信端末から
前記動画ファイルを受信する受信部と、
前記受信部が受信した前記動画ファイルから前記第二の画像データを含まない前記第一の画像データを構築する画像構築部と、
前記画像構築部が構築した前記第一の画像データを表示する表示制御部と、
を有する録画再生装置。
【請求項10】
通信部が、他の拠点から第一の画像データを受信するステップと、
画像処理部が、前記第一の画像データに、他の拠点から受信するか又は自拠点で用意した第二の画像データを埋め込んだ動画のフレーム内で、前記第一の画像データ又は前記第二の画像データの位置を移動させるステップと、
画像合成部が、前記第一の画像データに前記第二の画像データを埋め込んだ動画ファイルを生成するステップと、
画像構築部が、前記動画ファイルから前記第二の画像データを含まない前記第一の画像データを構築するステップと、
表示制御部が、前記画像構築部が構築した前記第一の画像データを表示するステップと、
を有する画像処理方法。
画像処理部が、前記第一の画像データに、他の拠点から受信するか又は自拠点で用意した第二の画像データを埋め込んだ動画のフレーム内で、前記第一の画像データ又は前記第二の画像データの位置を移動させるステップと、
画像合成部が、前記第一の画像データに前記第二の画像データを埋め込んだ動画ファイルを生成するステップと、
画像構築部が、前記動画ファイルから前記第二の画像データを含まない前記第一の画像データを構築するステップと、
表示制御部が、前記画像構築部が構築した前記第一の画像データを表示するステップと、
を有する画像処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、録画システム、録画再生装置、及び、画像処理方法に関する。
【背景技術】
【0002】
ネットワークを介して、遠隔地の拠点との間で映像や音声を送受信する通信システムが知られている。通信システムにおいては、会議に参加する当事者の一方がいる拠点において、通信端末を用いて画像の撮像及び発言などの音声の収集を行い、これらをデジタルデータに変換して相手方の通信端末に送信する。相手方の通信端末はディスプレイへの画像表示及びスピーカからの音声出力を行い、ビデオ通話を行うことができる。
【0003】
会議中の画像を録画する技術が考案されている（例えば、特許文献１参照。）。特許文献１には、加工前の画像を一旦録画することにより、後の編集を可能とすることで、会議を効率的に再現させるシステムが開示されている。
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、従来の技術は、第一の画像に第二の画像が重ねて表示されるため、録画された画像を後からユーザーが再生しても第一の画像を表示することができないという問題がある。すなわち、通信端末は、ディスプレイに多拠点のカメラ画像（第二の画像）だけでなく資料（第一の画像）も表示するが、資料は文字情報が含まれるケースが多いため、ユーザーが一般的には資料をできるだけ大きく表示させる。多拠点のカメラ画像は縮小された状態で資料に重ねるようにPicture In Picture的な表示方法が行われる。そうすることによって、以下の使い方が可能になる。
・全ての画面を同時に見れる。
・重要（共有資料、or発話中の拠点映像、等）な画面や資料は大きく映すことができる。
・全ての画面を同時に見れる。
・重要（共有資料、or発話中の拠点映像、等）な画面や資料は大きく映すことができる。
【0005】
しかし、録画システムがディスプレイに表示された資料や各拠点のカメラ画像を録画しても、第一の画像（大きく表示している映像）の一部は隠れており、ユーザーが第一の画像の気になる部位や箇所を表示することができない。
【0006】
本発明は、上記課題に鑑み、第一の画像に第二の画像が重ねられた状態で録画されても、再生時に第一の画像を表示できる録画システムを提供することを目的とする。
【課題を解決するための手段】
【0007】
上記課題に鑑み、本発明は、他の拠点から第一の画像データを受信する通信部と、前記第一の画像に、他の拠点から受信するか又は自拠点で用意した第二の画像データを埋め込んだ動画のフレーム内で、前記第一の画像データ又は前記第二の画像データの位置を移動させる画像処理部と、前記第一の画像データに前記第二の画像データを埋め込んだ動画ファイルを生成する画像合成部と、前記動画ファイルから前記第二の画像データを含まない前記第一の画像データを構築する画像構築部と、前記画像構築部が構築した前記第一の画像データを表示する表示制御部と、を有する録画システムを提供する。
【発明の効果】
【0008】
第一の画像に第二の画像が重ねられた状態で録画されても、再生時に第一の画像を表示できる録画システムを提供できる。
【図面の簡単な説明】
【0009】
【図1】通信システムのシステム構成の概略図の一例である。
【図2】１拠点にある録画システムの構成図の一例である。
【図3】通信端末のハードウェア構成図の一例である。
【図4】録画再生装置のハードウェア構成図の一例である。
【図5】通信端末と録画再生装置が有する機能をブロックに分けて説明する機能ブロック図の一例である。
【図6】合成画像記憶部に記憶される情報を説明する図である。
【図7】カメラ画像記憶部に記憶される情報を説明する図である。
【図8】資料画像記憶部に記憶される情報を説明する図である。
【図9】通信端末が作成する従来の合成画像の一例を示す図である。
【図10】合成画像におけるカメラ画像の位置を移動させる画像処理の概略を説明する図である。
【図11】合成画像の録画処理を説明するフローチャート図の一例である。
【図12】合成画像のカメラ画像の移動を画面表示イメージで表した図である。
【図14】合成画像のフレームに添付されるメタデータの一例を示す図である。
【図15】録画再生装置における資料画像の再生方法を説明する図である。
【図16】録画再生装置がカメラ画像（動画ファイル）と資料画像を保存する処理を説明するフローチャート図の一例である。
【図17】資料画像を上にスライドさせながら合成画像を作成する画像処理の概略を説明する図である。
【図18】資料画像の上下スライドを説明する図である。
【図20】資料画像を上下にスライドさせる処理において、第二資料画像構築部が資料画像を構築する処理を説明するフローチャート図の一例である。
【図21】合成画像の再生時に利用できる３種類の画像を示す図である。
【図22】２つのディスプレイを用いた画像の表示例を示す図である。
【発明を実施するための形態】
【0010】
以下、本発明を実施するための形態の一例として、録画システムと録画システムが行う画像処理方法について図面を参照しながら説明する。
【0011】
＜録画システムの動作の概略＞
本実施形態の録画システムでは、少なくとも以下の２つの画像が拠点間で送受信される。
１．会議参加者等、拠点の様子をカメラで撮像したカメラ画像（動画）
２．会議で共有すべき資料画像（一般的に静止画像）
各拠点の通信端末は、資料の見やすさを維持したまま、１と２の画像を一つの画面（１画面分のフレーム）に収める（同時に見えるようにする）。この場合、ユーザーはPicture In Picture的（以下、１を２に埋め込むという）なレイアウトにせざるを得ない。
本実施形態の録画システムでは、少なくとも以下の２つの画像が拠点間で送受信される。
１．会議参加者等、拠点の様子をカメラで撮像したカメラ画像（動画）
２．会議で共有すべき資料画像（一般的に静止画像）
各拠点の通信端末は、資料の見やすさを維持したまま、１と２の画像を一つの画面（１画面分のフレーム）に収める（同時に見えるようにする）。この場合、ユーザーはPicture In Picture的（以下、１を２に埋め込むという）なレイアウトにせざるを得ない。
【0012】
カメラ画像（第二の画像データの一例）と資料画像（第一の画像データの一例）がレイアウトされた画面の全体を通信端末が録画した場合、会議に参加できなかった人が再生して見直す場合は、
・全ての時間の映像を慎重に見直すことで、資料画像のうちの死角となっている領域を把握できる場合もあるが、時間はかかる。
・あるいは死角の領域は見えないままで終わる可能性も否定できない。
という不都合がある。
・全ての時間の映像を慎重に見直すことで、資料画像のうちの死角となっている領域を把握できる場合もあるが、時間はかかる。
・あるいは死角の領域は見えないままで終わる可能性も否定できない。
という不都合がある。
【0013】
＜本実施形態の処理の概略＞
そこで、本実施形態では、以下の処理を行うことで、会議中には見えてなかった（隠れていた）領域を、録画システムが再生時に任意のタイミングで再生できるようにする。
そこで、本実施形態では、以下の処理を行うことで、会議中には見えてなかった（隠れていた）領域を、録画システムが再生時に任意のタイミングで再生できるようにする。
【0014】
◆録画時（通信端末の処理）
通信端末は、録画時に以下の処理（少なくともいずれか）を実行する。
Ａ．資料画像にカメラ画像が埋め込まれている場合、最前面になっている画像（通常はカメラ画像）の表示位置をゆっくりと移動させ続ける。
Ｂ．最背面になっている画像（通常は資料画像）が改ページ又は資料そのものが変更された場合、上下又は左右に資料画像をスライドさせるようにして、次のページに切り替える。
通信端末は、録画時に以下の処理（少なくともいずれか）を実行する。
Ａ．資料画像にカメラ画像が埋め込まれている場合、最前面になっている画像（通常はカメラ画像）の表示位置をゆっくりと移動させ続ける。
Ｂ．最背面になっている画像（通常は資料画像）が改ページ又は資料そのものが変更された場合、上下又は左右に資料画像をスライドさせるようにして、次のページに切り替える。
【0015】
◆再生時（録画再生装置の処理）
Ｃ（Ａに対応）． 最前面になっているカメラ画像の表示位置が移動するので、録画再生装置は、資料画像の背面に隠れていた領域も取得できる。録画再生装置はそれを別のファイルとして再生時に一時的に保存しておくことで、再生時は資料画像の全体を表示したり、資料画像の任意の位置にカメラ画像を移動したりすることができる。再生時に一時的とは、ファイルは一般の録画装置のように一つのファイルとして保存されており、録画再生装置は、再生時はその１つのファイルから資料画像を別ファイルとして生成することをいう。
Ｃ（Ａに対応）． 最前面になっているカメラ画像の表示位置が移動するので、録画再生装置は、資料画像の背面に隠れていた領域も取得できる。録画再生装置はそれを別のファイルとして再生時に一時的に保存しておくことで、再生時は資料画像の全体を表示したり、資料画像の任意の位置にカメラ画像を移動したりすることができる。再生時に一時的とは、ファイルは一般の録画装置のように一つのファイルとして保存されており、録画再生装置は、再生時はその１つのファイルから資料画像を別ファイルとして生成することをいう。
【0016】
なお、資料画像は会議で使う資料であることが多いため、ほぼ静止画として扱える。そのことが、このような再生方法を可能にしている。
Ｄ（Ｂに対応）． 資料画像がスライドして切り替わることを利用して、死角の領域の情報を取得する。録画再生装置がそれを再生時に一時的に別ファイルとして保存しておくことで、再生時は資料画像の全体を表示したり、資料画像の任意の位置にカメラ画像を移動したりすることができる。
Ｄ（Ｂに対応）． 資料画像がスライドして切り替わることを利用して、死角の領域の情報を取得する。録画再生装置がそれを再生時に一時的に別ファイルとして保存しておくことで、再生時は資料画像の全体を表示したり、資料画像の任意の位置にカメラ画像を移動したりすることができる。
【0017】
このＣ，Ｄの処理は、会議中とは異なり、資料画像にカメラ画像が埋め込まれた合成画像を録画しておくことができ、リアルタイムに表示する必要がないので実現できる。すなわち、すでに録画済みの合成画像を編集するかのように処理するので合成画像の再生表示を行うことができる。
【0018】
このように、本実施形態の通信システムは、会議の合成画像を参加できなかったユーザーが見直す場合に、死角の領域が見えないままで再生が終わることもなく、合成画像の全時間を慎重に追いかける必要性もない。
【0019】
＜用語について＞
死角とは、第一の画像データのうち第二の画像データが重なっている領域である。死角の領域はユーザーから見えない領域となる。
死角とは、第一の画像データのうち第二の画像データが重なっている領域である。死角の領域はユーザーから見えない領域となる。
【0020】
リアルタイムとは、ある処理が現在、実行されたとして、一定の遅延内で処理の結果が得られることをいう。
【0021】
＜録画システムの構成例＞
図１は、通信システム１００のシステム構成の概略図である。通信システム１００では、拠点Ａ～拠点Ｄに配置された各通信端末１０Ａ～１０Ｄがインターネット等の通信ネットワークＮを介して通信する。拠点Ａ～Ｄには録画システム６０（通信端末１０と録画再生装置３０）がある。必ずしも全ての拠点に録画再生装置３０が配置されなくてもよい。図１の通信端末１０Ａ～１０Ｄの数（４つ）は一例であり、２つ以上（２拠点以上）であればよい。通信端末１０Ａ～１０Ｄのうち任意の通信端末を「通信端末１０」と称す。
図１は、通信システム１００のシステム構成の概略図である。通信システム１００では、拠点Ａ～拠点Ｄに配置された各通信端末１０Ａ～１０Ｄがインターネット等の通信ネットワークＮを介して通信する。拠点Ａ～Ｄには録画システム６０（通信端末１０と録画再生装置３０）がある。必ずしも全ての拠点に録画再生装置３０が配置されなくてもよい。図１の通信端末１０Ａ～１０Ｄの数（４つ）は一例であり、２つ以上（２拠点以上）であればよい。通信端末１０Ａ～１０Ｄのうち任意の通信端末を「通信端末１０」と称す。
【0022】
通信端末１０Ａ～１０Ｄは撮像したカメラ画像及び音声を通信管理システム５０に送信する。また、通信端末１０Ａ～１０Ｄは通信管理システム５０からカメラ画像を受信する。なお、自拠点のカメラ画像は自拠点側では受信しなくてよい。また、通信端末１０Ａ～１０Ｄのうち任意の通信端末１０は通信管理システム５０に資料画像を送信する。資料画像は、通信端末１０Ａ～１０Ｄが外部ＰＣから取り込んだり内部的に保持したりしている会議の資料の画像である。通信端末１０Ａ～１０Ｄは通信管理システム５０から資料画像を受信する。資料画像は元々、通信管理システム５０に登録されている場合もある。
【0023】
拠点Ａ～Ｄの通信端末１０Ａ～１０Ｄは、通信端末１０Ａ～１０Ｄが撮像したカメラ画像と、上記の資料画像を表示する。音声データについても同様である。なお、通信端末１０Ａ～１０Ｄが送信するカメラ画像は動画であるとするが、静止画でもよい。また、通信端末１０Ａ～１０Ｄは、カメラ画像及び音声を送信しないで単に受信するだけでもよい。
【0024】
通信端末１０Ａ～１０Ｄは、それぞれ専用のテレビ会議端末でもよいし、アプリケーションを実行したＰＣ（Personal Computer）でもよい。すなわち、ＰＣは、普段は汎用的な情報処理装置として使用され、テレビ会議用のアプリケーションを実行すると通信端末１０として動作する。
【0025】
また、汎用的な情報処理装置としての通信端末１０はＰＣの他、スマートフォン、タブレット端末、ＰＤＡ（Personal Digital Assistant）、携帯電話、プロジェクタ、電子黒板、カーナビ、などでもよい。
【0026】
また、通信ネットワークＮには通信管理システム５０が接続されている。通信管理システム５０は、通信端末１０Ａ～１０Ｄの通信を管理及び制御する。通信管理システム５０は、単一のコンピュータによって構築されてもよいし、各部（機能、手段、又は記憶部）を分割して任意に割り当てられた複数のコンピュータによって構築されていてもよい。
【0027】
通信管理システム５０は、例えば同じ会議に参加する通信端末１０をセッションＩＤで対応付けて管理している。通信管理システム５０は、セッションＩＤに基づいて各拠点からの画像（資料画像、カメラ画像）と音声を同じ会議に参加している他の拠点に送信する。こうすることで、他拠点間でテレビ会議が可能になる。
【0028】
通信管理システム５０は、一台以上の情報処理装置で実現される。通信管理システム５０は、クラウドコンピューティングにより実現されてもよいし、単一の情報処理装置によって実現されてもよい。クラウドコンピューティングとは、特定ハードウェア資源が意識されずにネットワーク上のリソースが利用される形態をいう。通信管理システム５０は、インターネット上に存在しても、オンプレミスに存在してもよい。
【0029】
図２は、１拠点にある録画システム６０の構成図を示す。録画システム６０は、通信端末１０と録画再生装置３０を有する。録画再生装置３０にはディスプレイ２０が接続される場合がある。通信端末１０にディスプレイ２０を接続することも可能である。
【0030】
通信端末１０にはカメラとマイクが外付け接続される場合がある。カメラは自拠点の画角に入る範囲を撮像してカメラ画像を生成し、マイクは自拠点の音声を集音して音声データを生成する。通信端末１０はカメラ画像を内蔵する又は外付けのディスプレイ２０に表示すると共に、他の拠点に送信する。通信端末１０は音声データを他の拠点に送信する。
【0031】
通信端末１０は、自拠点のカメラ画像、他の拠点のカメラ画像を、自拠点又は他の拠点が用意する資料画像に埋め込んで合成画像を生成する。通信端末１０は合成画像や音声データを録画再生装置３０に送信する。録画再生装置３０は会議中に生成される合成画像や音声データを録画して動画ファイルを作成する。
【0032】
録画再生装置３０は、各拠点や部署などに押下され、会議のダイジェストを主に会議に参加しなかったユーザーが会議の内容を把握するために使用される。
【0033】
録画再生装置３０は、ユーザー操作に応じて、会議が終了した後、合成画像の動画ファイルを再生する。再生した映像はディスプレイ２０に表示される。あるいは、録画再生装置３０がＷｅｂサーバーとして、ユーザー端末に再生した合成画像の動画ファイルを送信してもよい。また、録画再生装置３０は動画ファイルをクラウドにアップロードしてもよい。録画再生装置３０がクラウド上にあってもよい。
【0034】
なお、図２では、通信端末１０と録画再生装置３０が別体だが、通信端末１０が録画再生装置３０の機能を有していてもよい。
【0035】
【0036】
＜＜通信端末＞＞
図３は、通信端末１０の一例のハードウェア構成を示す図である。通信端末１０は、カメラモジュール３０１、映像処理部３０３、映像ＣＯＤＥＣ部３１４、映像出力処理部３１０、マイクアレイ３０４、音声出力部３０７、音声処理部３０８、ネットワーク処理部３１３、全体処理部３１５、操作部３１６、ＲＡＭ３０６、録画装置I/F部３１７、映像特性解析部３０２、ＲＡＭ３０５、及びCapture処理部３１２を備える。なお、カメラモジュール３０１は、外付けの汎用カメラを接続する構成でもよい。
図３は、通信端末１０の一例のハードウェア構成を示す図である。通信端末１０は、カメラモジュール３０１、映像処理部３０３、映像ＣＯＤＥＣ部３１４、映像出力処理部３１０、マイクアレイ３０４、音声出力部３０７、音声処理部３０８、ネットワーク処理部３１３、全体処理部３１５、操作部３１６、ＲＡＭ３０６、録画装置I/F部３１７、映像特性解析部３０２、ＲＡＭ３０５、及びCapture処理部３１２を備える。なお、カメラモジュール３０１は、外付けの汎用カメラを接続する構成でもよい。
【0037】
カメラモジュール３０１は、「撮像装置」の一例である。カメラモジュール３０１は、会議シーンの映像を撮像する。カメラモジュール３０１は、レンズ３０１ａ、撮像部３０１ｂ（イメージセンサ）、及びＤＳＰ３０１ｃを有する。撮像部３０１ｂは、レンズ３０１ａを介して集光された映像を電気信号に変換することにより、映像データ（ＲＡＷデータ）を生成する。ＤＳＰ３０１ｃは、撮像部３０１ｂから出力された映像データ（ＲＡＷデータ）に対して、ベイヤー変換、３Ａ制御、等の公知のカメラ映像処理を行うことにより、映像データ（ＹＵＶデータ）を生成する。
【0038】
映像処理部３０３は、カメラモジュール３０１から出力された映像データ（ＹＵＶデータ）に対し、目的に応じてクロッピング処理及び変倍処理３０３ａ等の各種映像処理を行う。例えば、映像処理部３０３は、映像特性解析部３０２から顔検知情報、及び音声処理部３０８からのビームフォーミング情報、を取得して発話者のクローズアップ映像を生成する。生成された映像は、映像出力処理部３１０に転送される。なお、映像処理部３０３は、各種映像処理を行う際に、ＲＡＭ３０６をバッファとして使用する。
【0039】
映像ＣＯＤＥＣ部３１４は、他の通信端末１０との間で送受信される映像データ（映像ストリームデータ）の符号化及び復号化を行う。例えば、映像ＣＯＤＥＣ部３１４は、動画Ｅｎｄｏｃｅｒ３１４ａによって、映像処理部３０３から出力された映像データを符号化し、符号化された映像データを、ネットワーク処理部３１３を介して、他の通信端末１０へ送信する。あるいは、映像ＣＯＤＥＣ部３１４は、映像出力処理部３１０でレイアウト処理された映像データを符号化し、符号化された映像データを、ネットワーク処理部３１３を介して、他の通信端末１０へ送信する。
【0040】
また、例えば、映像ＣＯＤＥＣ部３１４は、他の通信端末１０から送信された映像データ（他の通信端末１０で符号化された映像データ）を、ネットワーク処理部３１３を介して取得し、動画Ｄｅｄｏｃｅｒ３１４ｂによって、当該映像データを復号化する。そして、映像ＣＯＤＥＣ部３１４は、復号された映像データを、映像出力処理部３１０へ出力する。映像ＣＯＤＥＣ部３１４は、例えば、Ｈ.２６４／２６５等の圧縮規格を用いた、ＣＯＤＥＣ回路又はソフトウェアによって構成される。
【0041】
映像出力処理部３１０は、映像データに基づく映像を、タッチパネル部３０９が備えるディスプレイに表示させる。ディスプレイは外付けの一般的なモニターでもよい。
【0042】
・例えば、映像出力処理部３１０は、映像ＣＯＤＥＣ部３１４で復号化された映像データに基づく映像（すなわち、他拠点の映像）を、タッチパネル部３０９が備えるディスプレイに表示させる。他拠点映像は複数のケースもある。
【0043】
・また、例えば、映像出力処理部３１０は、カメラモジュール３０１から出力された映像データに基づく映像（すなわち、自拠点の映像）を、タッチパネル部３０９が備えるディスプレイに表示させる。カメラモジュール３０１からの映像は、映像処理部３０３で発話者がクローズアップ処理された映像になることもある。
【0044】
・また、例えば、映像出力処理部３１０は、Capture処理部３１２から出力された映像データに基づく映像（すなわち、外部ＰＣ３１１で表示されている資料画面等の映像）を、タッチパネル部３０９が備えるディスプレイに表示させる。
【0045】
このように、映像出力処理部３１０が表示させる映像は多岐にわたるが、これらのビデオ会議にかかわる映像を一つのフレームに収める必要があるため、映像出力処理部３１０内でレイアウト処理を行う。各表示映像を単純に並べて表示することもあれば、あるいは共有資料を大きく映して各拠点の参加者映像をPicture In Picture形式で表示させることもある。映像出力処理部３１０は、表示中の映像特性やその時のレイアウトに応じて、随時レイアウトを変更させる。本実施形態のレイアウト変更（カメラ画像等の移動）は、このモジュールで実行される。
【0046】
マイクアレイ３０４は、マイクロフォンアレイ３０４ａ及びＡ／Ｄコンバータ３０４ｂを有する。マイクロフォンアレイ３０４ａは、ビデオ会議の参加者の音声を集音し、音声信号（アナログ信号）を出力する。Ａ／Ｄコンバータ３０４ｂは、マイクロフォンアレイ３０４ａから出力された音声の音声信号（アナログ信号）をデジタル信号に変換して、変換後の音声信号（デジタル信号）を音声処理部３０８へ出力する。
【0047】
音声出力部３０７は、Ｄ／Ａコンバータ３０７Ｂ及びスピーカ３０７ａを有する。Ｄ／Ａコンバータ３０７Ｂは、他の通信端末１０から送信された音声信号（デジタル信号）をアナログ信号に変換する。スピーカ３０７ａは、Ｄ／Ａコンバータ３０７Ｂによる変換後の音声信号（アナログ信号）が供給されることにより、他拠点において集音されたビデオ会議の参加者の音声を出力する。
【0048】
音声処理部３０８は、ＤＳＰ３０８ａ、音声ＣＯＤＥＣする機能３０８ｂ、ノイズキャンセル（ＮＲ／ＥＣ）する機能３０８ｃ、音声判別する機能３０８ｄ、ビームフォーミングする機能３０８ｅを有し、他の通信端末１０から受信された映像データを構成する音声データに対して、所定の音声処理（例えば、音声ＣＯＤＥＣ処理、ノイズキャンセル（ＮＲ／ＥＣ）、音声判別、ビームフォーミング等）を行う。そして、音声処理部３０８は、音声処理後の音声データを、音声出力部３０７へ出力する。同時に、音声処理部３０８は、音声出力部３０７に出力する音声データを把握しながら、マイクアレイ３０４に回り込んで入力される音声データに対するエコーキャンセル（ＥＣ）処理を行う。そして、音声処理部３０８は、音声処理後の音声データを、ネットワーク処理部３１３へ出力する。また、音声処理部３０８は、ビームフォーミング機能により音の方向を特定し、その情報をもとに映像処理部３０３で発話者のクローズアップ映像が生成される。
【0049】
ネットワーク処理部３１３は、映像ＣＯＤＥＣ部（エンコーダ）３１４から出力された符号化済みの映像データを、ネットワークを介して、送信先の他の通信端末１０へ送信するＮＩＣ３１３ａを有する。また、ネットワーク処理部３１３は、他の通信端末１０から送信された符号化済みの映像データを、ネットワークを介して受信する。そして、ネットワーク処理部３１３は、当該映像データを、映像ＣＯＤＥＣ部（デコーダ）３１４へ出力する。また、ネットワーク処理部３１３は、符号化パラメータ（QP値、等）を決めるための、ネットワークの帯域をモニターする機能（ネットワーク状態検知部３１３ｂ）を有する。また、ネットワーク処理部３１３は、符号化パラメータ（QP値、等）や送信モードの設定を最適化するための、相手局の機能や性能に関する情報を取得する機能（相手局機能判別部３１３ｃ）を有する。
【0050】
全体処理部３１５は、通信端末１０の全体の制御を行う。全体処理部３１５は、ＣＰＵ３１５ａ、ＲＯＭ３１５ｂ、ＳＳＤ３１５ｃ、ＲＡＭ３１５ｄ等を備えて構成されている。例えば、全体処理部３１５は、オペレータの指示に従って、各モジュール及び各ブロックのモード設定、ステータス管理等を行う。また、全体処理部３１５は、システムメモリ（ＲＡＭ）の使用権及びシステムバスのアクセス権限の調停機能等を有する。
【0051】
また、全体処理部３１５は、カメラモジュール３０１の撮像モードの設定を行う。カメラモジュール３０１の撮像モードの設定は、環境に応じて自動的に設定される自動設定項目（例えば、測光条件等）と、オペレータの操作入力により手動的に設定される手動設定項目とを含み得る。
【0052】
また、全体処理部３１５は、映像出力処理部３１０で行われるレイアウト処理に関する設定を行う。全体処理部３１５は、共有資料を優先的に表示するためのPicture In Picture表示にする、あるいは、特定の拠点を大きく映す、等の予め決められている表示フォーマットを選択・設定する。
【0053】
これらの設定は、オペレータによる操作部３１６の操作によって行われ、通信端末１０が備えるメモリ（ＲＡＭ）に記憶される。そして、これらの設定は、映像処理部３０３によって使用される。
【0054】
操作部３１６は、各種入力デバイス（例えば、タッチパネル、操作ボタン、リモコン等）を備える。操作部３１６は、オペレータによる各種入力デバイスに操作により、各種入力（例えば、各種設定、会議参加者の呼び出し等）を受け付ける。
【0055】
録画装置I/F部３１７は、音声処理部３０８から出力される音声データと、映像出力処理部３１０で生成された映像データと、を組み合わせて録画データを構成させ、その合成されたデータを録画再生装置３０に出力するためのＩ／Ｆ機能を有する。
【0056】
映像特性解析部３０２は、検知部３０２ａ及び動き判定部３０２ｂを有する。検知部３０２ａは、カメラモジュール３０１から出力された映像データを構成するフレーム画像から、人の顔が存在するエリアを検知する。動き判定部３０２ｂは、カメラモジュール３０１から出力された映像データを構成するフレーム画像から、人が動いているエリアを検知する。映像特性解析部３０２は、各エリアの検知結果を、映像処理部３０３へ出力する。なお、映像特性解析部３０２は、各エリアの検知を行う際に、ＲＡＭ３０５をバッファとして使用する。
【0057】
Capture処理部３１２は、外部ＰＣ３１１から入力された映像を取り込んで、映像出力処理部３１０に転送する。Capture処理部３１２は、本実施形態にかかわる機能としては、改頁（更新）検出機能を有する。
【0058】
・外部ＰＣ３１１から転送されてくる資料（画面）共有用の映像について、Capture処理部３１２は、改頁（更新）されたかどうか検出する。
【0059】
・検出方法は特に限定するものはないが、ＰＣ画面の映像データなのでノイズ的な要素はないため、単純にフレーム間でのベリファイチェックやサムチェックでもよい。Capture処理部３１２は、演算量を抑えるために、Captureした画像の解像度を落としてから上記の処理を行ってもよい。
【0060】
・ここでいう画面の改頁（更新）とは、会議がスタートした後に外部ＰＣ３１１が接続されて、外部ＰＣ３１１から資料（画面）共有の映像転送がスタートしたことも改頁トリガーに含める。
【0061】
・Capture処理部３１２は、改頁（更新）を検出したら、その旨を映像出力処理部３１０に知らせる。
【0062】
・外部ＰＣ３１１から転送されてくる映像は、ここでは資料（画面）共有用の画像という扱いなので、カメラモジュールの映像のような動画としては扱わない。よって、フレームレートにも上限が設けられる（すなわち、改頁（更新）検出の間隔をある程度確保する）。
【0063】
・なお、外部ＰＣ３１１上で再生している動画を、フレームレートの制約を設けず通常の動画として転送したい場合は、カメラモジュールからの入力映像をユーザーが無効にすればよい。ユーザーはシステムの動作モード指定時にそのような設定をCapture制御部にインプットする。
【0064】
＜＜録画再生装置＞＞
図４は、録画再生装置３０のハードウェア構成図である。図４に示されているように、録画再生装置３０は、ＣＰＵ５０１、ＲＡＭ５０２、操作部５０３、ＲＯＭ５０４、入力Ｉ/Ｆ５０５、ＣＯＤＥＣ５０６、録画再生回路５０７、暗号化回路５０８、出力Ｉ/Ｆ５１０、及び、ＮＩＣ５１１を有している。
図４は、録画再生装置３０のハードウェア構成図である。図４に示されているように、録画再生装置３０は、ＣＰＵ５０１、ＲＡＭ５０２、操作部５０３、ＲＯＭ５０４、入力Ｉ/Ｆ５０５、ＣＯＤＥＣ５０６、録画再生回路５０７、暗号化回路５０８、出力Ｉ/Ｆ５１０、及び、ＮＩＣ５１１を有している。
【0065】
ＣＰＵ５０１は、ＲＯＭ５０４に格納された所定のプログラムに従って、本実施形態で説明される録画機能を実現するために、録画再生装置３０の各ブロックを制御する。
【0066】
ＲＡＭ５０２は、ＣＰＵ５０１の作業領域として利用されると共に、ＲＯＭ５０４に格納される各処理プログラムなどの記憶領域としても利用される。ＲＡＭ５０２は、通信端末１０から転送される画像データや音声データの一時的な格納先として利用される。また、ＲＡＭ５０２は、CODEC５０６や録画再生回路５０７のワークメモリとしても利用される。
【0067】
操作部５０３は、ハードキーorリモコン等から構成され、録画再生装置３０の起動、モード設定などを行う一般的なユーザーインタフェースである。
【0068】
入力Ｉ/Ｆ５０５は、通信端末１０から転送される画像データと音声データを入力する際に使用されるインターフェースである。I/Fとしては専用のもの、あるいは一般的なHDMI（登録商標）やDisplayPortで実現可能である。
【0069】
ＣＯＤＥＣ５０６は、入力Ｉ/Ｆ５０５で入力された画像データのフレーム（映像ストリームデータ）のエンコード/デコード処理を行うため、H.264/265等のCODEC回路あるいはソフトウェアで構成される。上記エンコード処理で符号化されたデータは暗号化回路５０８で暗号化されてからストレージ装置５０９（HDD、SSD、SDメモリカード、等）に格納される。ストレージ装置５０９に格納されたデータが合成画像の動画ファイルそのものである。
【0070】
録画再生回路５０７は、録画データを再利用しやすくするために、本実施形態で説明される一連の画像処理を行う。
【0071】
出力Ｉ/Ｆ５１０は、通信端末１０から転送された画像データをディスプレイに出力する。あるいは、出力Ｉ/Ｆは、合成画像データから再生した合成画像をディスプレイに出力する。I/Fの規格としては、HDMI（登録商標）やDisplayPort（登録商標）等がある。画像録画データには音声データも含まれる。
【0072】
ＮＩＣ５１１は、LAN（Local Area Network）等のネットワークを介してインターネットに接続でき、外部サーバーやＮＡＳに合成画像データを転送する。
【0073】
＜機能について＞
図５は、通信端末１０と録画再生装置３０が有する機能をブロックに分けて説明する機能ブロック図の一例である。
図５は、通信端末１０と録画再生装置３０が有する機能をブロックに分けて説明する機能ブロック図の一例である。
【0074】
＜＜通信端末＞＞
通信端末１０は、カメラ画像取得部１１、音声取得部１２、通信部１３、合成画像送信部１４、移動部１５、ページ切替部１６、画像合成部１７、及び、操作受付部１８を有する。通信端末１０が有するこれらの機能は図３に示した通信端末１０のハードウェア回路で実現されるが、ＣＰＵがプログラムで実行することで実現されてもよい。また、図５の機能は通信端末１０が有する主要な機能を示したに過ぎず、図示する他に機能を有していてよい。
通信端末１０は、カメラ画像取得部１１、音声取得部１２、通信部１３、合成画像送信部１４、移動部１５、ページ切替部１６、画像合成部１７、及び、操作受付部１８を有する。通信端末１０が有するこれらの機能は図３に示した通信端末１０のハードウェア回路で実現されるが、ＣＰＵがプログラムで実行することで実現されてもよい。また、図５の機能は通信端末１０が有する主要な機能を示したに過ぎず、図示する他に機能を有していてよい。
【0075】
カメラ画像取得部１１は、カメラモジュール３０１が撮像したカメラ画像をカメラモジュール３０１からリアルタイムに取得する。音声取得部１２は、マイクアレイ３０４が集音した音声をＰＣＭ変換して音声データを生成する。
【0076】
通信部１３は、通信管理システムを介してカメラ画像を他の拠点の通信端末１０に送信し、また、他の拠点の通信端末１０から通信管理システムを介してカメラ画像を受信する。通信部１３は、通信管理システム５０を介して音声データを他の拠点の通信端末１０に送信し、また、他の拠点の通信端末１０から通信管理システム５０を介して音声データを受信する。通信部１３は、他の拠点の通信端末１０が資料画像を共有する場合は、通信管理システム５０を介して資料画像を受信する。自拠点の通信端末１０が資料画像を共有する場合は、通信部１３は通信管理システム５０を介して資料画像を他の拠点の通信端末１０に送信する。
【0077】
移動部１５は、上記Ａの方法の画像処理に関し、資料画像に対しカメラ画像をゆっくりと移動させることを継続的に行う。
【0078】
画像合成部１７は、ユーザー操作に応じて又は自動的に、自拠点のカメラ画像、他拠点のカメラ画像、及び、資料画像を配置して１フレームの合成画像を生成する。フレームとは動画における個々の静止画である。ユーザーはこれらのカメラ画像や資料画像を縮小してタイル状に配置することも、資料画像にカメラ画像を埋め込んで（又はその逆に）配置することも可能である。本実施形態では、資料画像にカメラ画像が埋め込まれて配置される場合を説明する。
【0079】
また、画像合成部１７は、合成画像におけるカメラ画像の位置情報・サイズと拠点の識別情報をメタデータなどでフレームに添付する。
【0080】
ページ切替部１６は、上記Ｂの画像処理に関し、資料画像の切り替えを検出して、資料画像を上下方向又は左右方向にスライドさせて切り替え前の資料画像から切り替え後の資料画像に切り替える。合成画像の各フレームには切り替わる途中の資料画像がスライドしながら記録される。補足すると、資料画像の切り替え自体はユーザー操作で行われる。ページ切替部１６はユーザー操作による資料画像の切り替えを検出して、Ｂの処理のために切り替え後の資料画像を用意する（切り替え前の資料画像はすでに取得済み）。ページ切替部１６は用意した切り替え後の資料画像と切り替え前の資料画像をスライドさせながら切り替える。
【0081】
なお、移動部１５とページ切替部１６は画像処理部２１として機能する。移動部１５とページ切替部１６はいずれか一方が動作してもよいし、両方が動作してもよい。
【0082】
画像合成部１７は、ページ切替部１６が生成する、スライドしながら記録された資料画像に、自拠点のカメラ画像及び他拠点のカメラ画像を配置して１フレームの合成画像を生成する。
【0083】
合成画像送信部１４は、合成画像を動画のように繰り返し録画再生装置３０に送信する。動画の場合、１秒間に例えば３０フレーム以上のフレームが次々に送信される。なお、合成画像送信部１４は合成画像をリアルタイムに送信するほか、（会議中で録画再生装置３０がディスプレイ出力をしていない場合は）一定量、蓄積してから送信してもよい。
【0084】
操作受付部１８は、通信端末１０に対するユーザーの操作を受け付ける。
【0085】
＜＜録画再生装置＞＞
録画再生装置３０は、受信部３１、動画ファイル作成部３２、第一資料画像構築部３３、操作受付部３４、切替検出部３５、第二資料画像構築部３６、表示制御部３７、及び、記憶部４９を有している。録画再生装置３０が有するこれらの機能は図４に示したハードウェアによりで実現されるが、ＣＰＵがプログラムで実行することで実現されてもよい。
録画再生装置３０は、受信部３１、動画ファイル作成部３２、第一資料画像構築部３３、操作受付部３４、切替検出部３５、第二資料画像構築部３６、表示制御部３７、及び、記憶部４９を有している。録画再生装置３０が有するこれらの機能は図４に示したハードウェアによりで実現されるが、ＣＰＵがプログラムで実行することで実現されてもよい。
【0086】
受信部３１は、通信端末１０から合成画像を受信し、合成画像記憶部４１に保存する。このように、合成画像記憶部４１には資料画像にカメラ画像が埋め込まれている合成画像が保存される。
【0087】
動画ファイル作成部３２は、カメラ画像の位置情報・サイズに基づいて合成画像からカメラ画像を取り込み、カメラ画像からなる動画ファイル（第二の動画ファイルの一例）を作成する。合成画像からカメラ画像を取り出すことをトリミングという場合がある。動画ファイル作成部３２は拠点の識別情報に基づいて同じ拠点のカメラ画像を時系列にカメラ画像記憶部４２に保存する。カメラ画像は合成画像の各フレームから取得できるので、合成画像と同じfps（flame per second）のフレームがカメラ画像ごと（拠点ごと）に保存される。
【0088】
第一資料画像構築部３３は、上記Ｃの処理として、撮像時刻が異なる合成画像（カメラ画像が切り取られた合成画像を中間画像という）にＯＲ演算を行い、資料画像を構築する。第一資料画像構築部３３は、構築した資料画像を資料画像記憶部４３に保存する。この資料画像は死角がなくなるまでカメラ画像が移動するのに必要な時間ごとに構築される。
【0089】
切替検出部３５は、上記Ｄの処理として、資料画像そのもの又は資料画像のページ（以下、区別せずにページの切り替わりという）が切り替わったことを検出する。切替検出部３５は、合成画像のカメラ画像以外の領域を、撮像時刻が異なるフレームごとに比較する。差異が一定以上の場合、切替検出部３５は、資料画像のページが切り替わったことを検出する。あるいは、切替検出部３５は、通信端末１０から送信されたページを切り替える操作信号により資料画像のページの切り替わりを検出する。
【0090】
第二資料画像構築部３６は、上記Ｄの処理として、ページが切り替わったことが検出されると、カメラ画像が重なっていない部分の資料画像を結合して、資料画像を構築する。第二資料画像構築部３６は構築した資料画像を資料画像記憶部４３に保存する。この資料画像はページの切り替わりごとに構築される。
【0091】
なお、第一資料画像構築部３３と第二資料画像構築部３６はいずれか一方が処理してもよいし、両方が処理してもよい。両方が処理する場合、同じ資料画像が作成される場合があるが、同じ画像は削除してもよい。
【0092】
操作受付部３４は、録画再生装置３０に対する再生操作や録画操作を受け付ける。表示制御部３７は、合成画像、カメラ画像、又は、資料画像をディスプレイ２０に表示する。
【0093】
図６は、合成画像記憶部４１に記憶される情報を説明する図である。合成画像記憶部４１では、録画開始から終了までが１つの動画ファイルで保存される。図６では、録画ＩＤ、撮像開始時刻、撮像終了時刻、拠点数、サイズ、録画時間、ファイル名の各項目が動画ファイルごとに管理されている。
・録画ＩＤは動画ファイルを識別する識別情報であり、カメラ画像や資料画像を合成画像と対応付ける情報である。
・撮像開始時刻は録画の開始時刻である。
・撮像終了時刻は録画の終了時刻である。
・拠点数は会議に参加した拠点の数であり、通信端末１０から送信される。なお、拠点数には自拠点も含まれる。
・サイズは動画ファイルの容量である。
・録画時間は、開始時刻から終了時刻の経過時間である。
・ファイル名は、ファイルパスと共に保存される合成画像のファイル名である。動画ファイルの形式は制限されない。
・録画ＩＤは動画ファイルを識別する識別情報であり、カメラ画像や資料画像を合成画像と対応付ける情報である。
・撮像開始時刻は録画の開始時刻である。
・撮像終了時刻は録画の終了時刻である。
・拠点数は会議に参加した拠点の数であり、通信端末１０から送信される。なお、拠点数には自拠点も含まれる。
・サイズは動画ファイルの容量である。
・録画時間は、開始時刻から終了時刻の経過時間である。
・ファイル名は、ファイルパスと共に保存される合成画像のファイル名である。動画ファイルの形式は制限されない。
【0094】
図７は、カメラ画像記憶部４２に記憶される情報を説明する図である。カメラ画像記憶部４２には、拠点ごとのカメラ画像が１つの動画ファイルで保存される。図７では、録画ＩＤ、撮像開始時刻、撮像終了時刻、拠点ＩＤ、サイズ、録画時間の各項目が動画ファイルごとに管理されている。録画ＩＤ、撮像開始時刻、撮像終了時刻、サイズ、及び録画時間については図６と同様でよい。
・拠点ＩＤは、拠点を識別する識別情報である。録画再生装置３０が拠点名を通信端末１０から取得してもよいし、重複しない番号を採番しもよい。
・拠点ＩＤは、拠点を識別する識別情報である。録画再生装置３０が拠点名を通信端末１０から取得してもよいし、重複しない番号を採番しもよい。
【0095】
なお、図７ではファイル名を省略したが、拠点ごとのカメラ画像が動画ファイルで保存されている。また、各拠点のカメラ画像は１つの動画ファイルに保存されてもよい。
【0096】
【0097】
図８（ａ）の資料画像記憶部４３では、合成画像の動画ファイルから構築された１つ以上の資料画像が保存される。図８（ａ）では、録画ＩＤ、構築開始時刻、構築終了時刻、資料画像ＩＤ、サイズ、ファイル名の各項目が資料画像ごとに管理されている。
・構築開始時刻は、資料画像の構築の開始を録画の開始時刻を基準として記録した時刻である。構築の開始は、後述する状態Ａの時刻でよい。
・構築終了時刻は、資料画像の構築の終了を録画の開始時刻を基準として記録した時刻である。構築の終了は、後述する状態Ｃの時刻でよい。
・資料画像ＩＤは、資料画像を識別する識別情報である。
・サイズは資料画像の容量である。
・ファイル名は、資料画像のファイル名である。図８（ａ）では資料画像が静止画であるが、動画として保存されてもよい。
・構築開始時刻は、資料画像の構築の開始を録画の開始時刻を基準として記録した時刻である。構築の開始は、後述する状態Ａの時刻でよい。
・構築終了時刻は、資料画像の構築の終了を録画の開始時刻を基準として記録した時刻である。構築の終了は、後述する状態Ｃの時刻でよい。
・資料画像ＩＤは、資料画像を識別する識別情報である。
・サイズは資料画像の容量である。
・ファイル名は、資料画像のファイル名である。図８（ａ）では資料画像が静止画であるが、動画として保存されてもよい。
【0098】
図８（ｂ）の資料画像記憶部４３では、録画ＩＤ、ページ切り替え時刻、資料画像ＩＤ、サイズ、ファイル名の各項目が資料画像ごとに管理されている。録画ＩＤ、資料画像ＩＤ、サイズ、及びファイル名の各項目は、図８（ａ）と同様でよい。
・ページ切り替え時刻は、ページの切り替わりが検出された時刻を、録画の開始時刻を基準として記録した時刻である。
・ページ切り替え時刻は、ページの切り替わりが検出された時刻を、録画の開始時刻を基準として記録した時刻である。
【0099】
＜従来の合成画像の方法＞
図９は、通信端末１０が作成する従来の合成画像の一例である。図９の合成画像は以下のような構成である。
・画面全体には協議中の資料画像２０１が表示されている。細かなテキストも含まれるため、できるだけ大きく表示されることが望ましい。
・画面左下はある拠点の参加者全員が撮像されているパノラマ画像２０２（カメラ画像）である。
・画面中央下は、在宅勤務等のため一人でリモート参加している個人ごとの個別画像２０３（カメラ画像）である。そのうちの１つが自拠点のカメラが撮像したカメラ画像である。
・画面右下は、発話中の人がやや大きめに表示されている話者カメラ画像２０４である。
図９は、通信端末１０が作成する従来の合成画像の一例である。図９の合成画像は以下のような構成である。
・画面全体には協議中の資料画像２０１が表示されている。細かなテキストも含まれるため、できるだけ大きく表示されることが望ましい。
・画面左下はある拠点の参加者全員が撮像されているパノラマ画像２０２（カメラ画像）である。
・画面中央下は、在宅勤務等のため一人でリモート参加している個人ごとの個別画像２０３（カメラ画像）である。そのうちの１つが自拠点のカメラが撮像したカメラ画像である。
・画面右下は、発話中の人がやや大きめに表示されている話者カメラ画像２０４である。
【0100】
図９の合成画像をそのまま録画再生装置３０が録画すると、会議に参加できなかった人がこの再生した場合に以下のような問題があった。
・資料の死角が発生することが避けられない。
・資料画像を小さく表示すれば死角はなくなるかもしれないが、資料等はテキストが含まれるケースが多いため、縮小表示ではその内容を読み取りにくくなり、会議の進行に支障をきたす。
・死角の領域が見える時間帯があるのかもしれないが、見える時間帯がわからないとユーザーが再生時に全時間の映像を見る必要があるかもしれない。その場合、時間節約のために端折って再生映像を見るということがやりにくい方法があるが、結局、最後まで見えなかったというケースもあり得る。
・資料の死角が発生することが避けられない。
・資料画像を小さく表示すれば死角はなくなるかもしれないが、資料等はテキストが含まれるケースが多いため、縮小表示ではその内容を読み取りにくくなり、会議の進行に支障をきたす。
・死角の領域が見える時間帯があるのかもしれないが、見える時間帯がわからないとユーザーが再生時に全時間の映像を見る必要があるかもしれない。その場合、時間節約のために端折って再生映像を見るということがやりにくい方法があるが、結局、最後まで見えなかったというケースもあり得る。
【0101】
従って、合成画像は、会議に参加できなかった人にとっては使いづらい録画映像となっていた。
【0102】
＜本実施形態の画像処理の概略＞
以下では、合成画像に対する二種類の画像処理を説明する。
以下では、合成画像に対する二種類の画像処理を説明する。
【0103】
Ａ．カメラ画像の位置の移動
まず、図１０は、合成画像におけるカメラ画像の位置を移動させる画像処理の概略を説明する図である。
まず、図１０は、合成画像におけるカメラ画像の位置を移動させる画像処理の概略を説明する図である。
【0104】
通信端末１０の移動部１５は、各拠点のカメラ画像を、図１０（ａ）→図１０（ｂ）→図１０（ｃ）のように、ゆっくりと微妙に位置を変えて合成する。図１０（ａ）～（ｃ）によれば、パノラマ画像２０２、在宅リモート参加者の個別画像２０３、及び、発話者映像が移動していることが分かる。移動部１５は、カメラ画像の位置を変えることで全く見えないままの領域を残さないように移動する。例えば、画像合成部１７は、「カメラ画像のＷｉｎｄｏｗの大きさ（サイズ）」と「表示位置座標（位置情報）」を把握しながら、死角を残さないように（サイズよりも大きく）ゆっくりと位置を変えていく。
【0105】
録画再生装置３０では、合成画像が圧縮符号化の後に記録される。再生時に（又は録画から再生までの間に）、録画再生装置３０の第一資料画像構築部３３は、Ｃの処理として、カメラ画像の表示位置が変わっていくことを利用して、死角のない資料画像を別途作成する。すでに会議が終了しているので（リアルタイムである必要がないため）、このような操作が可能になる。
【0106】
また、再生時には、録画再生装置３０は死角のない資料画像のみを表示することもできる。また２つのディスプレイがあれば、資料画像とカメラ画像を別々のディスプレイに同時に表示させることができる。
【0107】
以上の操作で、再生時の会議内容把握にかかる時間を大幅に削減できることが期待できる。
【0108】
＜処理手順＞
図１１は、合成画像の録画処理を説明するフローチャート図である。
図１１は、合成画像の録画処理を説明するフローチャート図である。
【0109】
通信端末１０のユーザーは、通信端末１０又はアプリを起動させる。ユーザーは、起動時に録画システム６０にかかわる初期設定を行う（Ｓ１）。初期設定は、例えば、接続先拠点の指定や会議画面のレイアウト指定、等である。
【0110】
次に、通信端末１０はカメラやマイク、スピーカなど入出力機器の初期化、動作モードの設定等を行い、各装置を起動する（Ｓ２）。例えば、通信端末１０は会議環境に合わせて、測光条件等のカメラ撮像モードの設定を行う。
【0111】
通信部１３は、ステップＳ１、Ｓ２で本体の準備が整った時点で、通信管理システム５０に通信開始を要求して会議をスタートする（Ｓ３）。通信部１３は、あるいは相手局からの通信要求を受けて通信をスタートしてよい。通信端末１０が合成画像を録画する場合は、録画再生装置３０もこの時点で起動させる。
【0112】
合成画像が録画状態になっている場合は、処理はステップＳ７に移動する。そうでない場合は、処理はステップＳ５に進む。
【0113】
録画再生装置がREADY状態であれば、処理はステップＳ６に進む。そうでない場合は、処理はステップＳ８に進む。
【0114】
通信端末１０の合成画像送信部１４は合成画像を録画再生装置３０に送信することで、録画再生装置３０が録画処理を開始する（Ｓ６）。
【0115】
合成画像送信部１４は録画処理を実行、又は継続する（Ｓ７）。会議が終了した場合は、通信端末１０は待機状態へ移行する（Ｓ８）。会議が終了するまで、処理はステップＳ４に戻り、Ｓ４からＳ７の処理を繰り返す。
【0116】
＜＜カメラ画像の位置の移動＞＞
図１２は、合成画像のカメラ画像の移動を画面表示イメージで表した図である。つまり、移動部１５が、図１２のようにカメラ画像を移動させれば資料画像の死角をなくすことができる。
１．状態Ａ→状態Ｂへ移行中は、パノラマ画像２０２と話者カメラ画像２０４が図で示すように移動する（上方向に移動）。
２．状態Ｂ→状態Ｃに移行中は、個別画像２０３と話者カメラ画像２０４が図で示すように移動する（個別画像２０３が左方向、話者カメラ画像２０４が上方向）。
３．状態Ｃ→状態Ｄに移行中は、個別画像２０３と話者カメラ画像２０４が図で示すように移動する（個別画像２０３が右方向、話者カメラ画像２０４が下方向）。すなわち、各カメラ画像が元の位置に戻ろうとする。
４．状態Ｄ→状態Ａに移行中は、パノラマ画像２０２と話者カメラ画像２０４が図で示すように移動する（下方向に移動。初期の位置に戻ろうとする）。
この状態は以下のように遷移する。
状態Ａ→状態Ｂ→状態Ｃ→状態Ｄ→状態Ａ→状態Ｂ→状態Ｃ→状態Ｄ→・・・（以後繰り返し）
図１２は、合成画像のカメラ画像の移動を画面表示イメージで表した図である。つまり、移動部１５が、図１２のようにカメラ画像を移動させれば資料画像の死角をなくすことができる。
１．状態Ａ→状態Ｂへ移行中は、パノラマ画像２０２と話者カメラ画像２０４が図で示すように移動する（上方向に移動）。
２．状態Ｂ→状態Ｃに移行中は、個別画像２０３と話者カメラ画像２０４が図で示すように移動する（個別画像２０３が左方向、話者カメラ画像２０４が上方向）。
３．状態Ｃ→状態Ｄに移行中は、個別画像２０３と話者カメラ画像２０４が図で示すように移動する（個別画像２０３が右方向、話者カメラ画像２０４が下方向）。すなわち、各カメラ画像が元の位置に戻ろうとする。
４．状態Ｄ→状態Ａに移行中は、パノラマ画像２０２と話者カメラ画像２０４が図で示すように移動する（下方向に移動。初期の位置に戻ろうとする）。
この状態は以下のように遷移する。
状態Ａ→状態Ｂ→状態Ｃ→状態Ｄ→状態Ａ→状態Ｂ→状態Ｃ→状態Ｄ→・・・（以後繰り返し）
【0117】
図１３は、図１１のステップＳ７の処理を説明するフローチャート図である。図１３では、現在の移動状態に従ってカメラ画像の移動方向が指定される。図１２で説明したように、カメラ画像の移動中の状態Ａ～Ｃは３つのいずれかの状態なので（状態ＤからＡは復路なので状態としては省略してよい）、以下のようにカメラ画像が移動される。
【0118】
状態Ａ→状態Ｂに向けてカメラ画像を徐々に移動中の場合（Ｓ７１のＹｅｓ）、移動部１５は状態Ａ→状態Ｂに向けてカメラ画像を徐々に移動する（Ｓ７２）。ステップＳ７１がＮｏの場合、処理はステップＳ７３に進む。
【0119】
状態Ｂ→状態Ｃに向けてカメラ画像を徐々に移動中の場合（Ｓ７３のＹｅｓ）、移動部１５は状態Ｂ→状態Ｃに向けてカメラ画像を徐々に移動する（Ｓ７４）。ステップＳ７３がＮｏの場合、処理はステップＳ７５に進む。
【0120】
状態Ｃ→状態Ｄに向けてカメラ画像を徐々に移動中の場合（Ｓ７５のＹｅｓ）、移動部１５は状態Ｃ→状態Ｄに向けてカメラ画像を徐々に移動する（Ｓ７６）。ステップＳ７５がＮｏの場合、処理はステップＳ７７に進む。移動部１５は状態Ｄ→状態Ａに向けてカメラ画像を徐々に移動する（Ｓ７７）。
【0121】
通信端末１０の移動部１５は、ステップＳ７２，７４，７６，７７ずれかの処理を常に行っていることになる。例えば、状態Ａ～Ｃまでの時間は予め設定されており、３０秒や１分などゆっくりした時間（ユーザーがカメラ画像の移動が気にならない時間）でよい。
【0122】
図１４は、合成画像のフレームに添付されるメタデータの一例である。フレームにはフレームＩＤ、領域ＩＤ、位置情報、サイズ、及び、状態が添付される。
・フレームＩＤは、例えばフレームの識別情報である。撮像時刻や撮像開始からの経過時間が含まれるとよい。
・拠点ＩＤは拠点を識別する識別情報である。
・位置情報は、合成画像内のカメラ画像の座標である。位置情報は、移動部１５が制御する値である。
・サイズはカメラ画像の幅と高さである。サイズは、ユーザーが設定しても固定でもよいが、いずれにせよ既知である。
・フレームＩＤは、例えばフレームの識別情報である。撮像時刻や撮像開始からの経過時間が含まれるとよい。
・拠点ＩＤは拠点を識別する識別情報である。
・位置情報は、合成画像内のカメラ画像の座標である。位置情報は、移動部１５が制御する値である。
・サイズはカメラ画像の幅と高さである。サイズは、ユーザーが設定しても固定でもよいが、いずれにせよ既知である。
【0123】
拠点ＩＤ、位置情報及びサイズはカメラ画像の数だけ含まれる。
・状態には、カメラ画像の配置が上記Ａ～Ｄになった場合に状態Ａ～Ｄが格納される。移動部１５が制御する値である。
・状態には、カメラ画像の配置が上記Ａ～Ｄになった場合に状態Ａ～Ｄが格納される。移動部１５が制御する値である。
【0124】
＜Ｃ．録画再生装置における資料画像の構築＞
図１５は、録画再生装置３０における資料画像の再生方法を説明する図である。録画再生装置３０の第一資料画像構築部３３は、録画された合成画像を活用して、死角がない資料画像を構築する。
図１５は、録画再生装置３０における資料画像の再生方法を説明する図である。録画再生装置３０の第一資料画像構築部３３は、録画された合成画像を活用して、死角がない資料画像を構築する。
【0125】
第一資料画像構築部３３は、合成画像の画像データから状態Ａ、状態Ｂ、状態Ｃのそれぞれのフレームを取得する。状態Ａ、状態Ｂ、状態Ｃのフレームであるかどうかは、録画再生装置３０がカメラ画像の位置に基づいて判断してもよいし、画像合成部１７が図１４のメタデータから判断してもよい。
【0126】
第一資料画像構築部３３は、カメラ画像を表示していた領域を黒画素（２５６階調の０）に置き換え中間画像２５０を作成する（図１５（ａ）～（ｃ））。中間画像２５０は動画ファイル作成部３２がカメラ画像をトリミングした後の合成画像でもよい。第一資料画像構築部３３は白画素に置き換えてもよい。状態Ａ、状態Ｂ、状態Ｃのカメラ画像の位置やサイズはメタデータから取得できる。
【0127】
第一資料画像構築部３３は、状態Ａ'、状態Ｂ'、状態Ｃ'の中間画像２５０を画素位置ごとにＯＲ演算で合成すれば、死角のない資料画像２５１を構築することができる図１５（ｄ））。このＯＲ演算は、例えば、３つの中間画像２５０のうち画素値が０なら破棄して、０でなければ平均（又は任意の画像のどれか）を採用する処理である。
【0128】
なお、状態Ａ～Ｃの間に（カメラ画像の位置が変化する間に）資料画像が切り替わっている可能性があるので、第一資料画像構築部３３はカメラ画像がない中間画像２５０の領域をブロックに分けて、３つの中間画像２５０のブロック同士を比較し、切り替わりを検出するとよい。資料画像が切り替わっていた場合、第一資料画像構築部３３は資料画像を構築しない。あるいは、切り替わっていない資料画像が２つあれば、資料画像を構築してもよい（この場合、資料画像の全体を構築できないおそれがある）。
【0129】
また、使用する合成画像は上記では状態Ａ～Ｃの３つだが、死角がなくなるように合成画像があればよく、２つ又は４つ以上でもよい。
【0130】
＜Ｃの処理による、資料画像と動画ファイルの作成＞
図１６は、録画再生装置３０がカメラ画像（動画ファイル）と資料画像を保存する処理を説明するフローチャート図である。図１６の処理は、合成画像の動画ファイルが合成画像記憶部４１に保存されると実行可能となる。ユーザーが録画再生装置３０に対し、合成画像を再生する操作を開始したことでスタートしてもよい（普段のデータ収納は合成画像のままでよい）。
図１６は、録画再生装置３０がカメラ画像（動画ファイル）と資料画像を保存する処理を説明するフローチャート図である。図１６の処理は、合成画像の動画ファイルが合成画像記憶部４１に保存されると実行可能となる。ユーザーが録画再生装置３０に対し、合成画像を再生する操作を開始したことでスタートしてもよい（普段のデータ収納は合成画像のままでよい）。
【0131】
まず、動画ファイル作成部３２は、合成画像記憶部４１から合成画像を取得する（Ｓ１１）。取得する合成画像はユーザーが指定した動画ファイルでもよいし、カメラ画像の動画ファイルや資料画像が構築されていない動画ファイルでもよい。
【0132】
動画ファイル作成部３２は、各フレームのメタデータに含まれるカメラ画像の位置情報とサイズに基づいて、フレームからカメラ画像を切り出す。動画ファイル作成部３２はこれらを拠点ごとに動画ファイルとしてカメラ画像記憶部４２に保存する（Ｓ１２）。
【0133】
次に、第一資料画像構築部３３は合成画像の動画ファイルから状態がＡ～Ｃのフレームを特定する（Ｓ１３）。ここでは、動画ファイル作成部３２により中間画像が作成済みとする。
【0134】
状態Ａ～Ｃのフレームは時系列にほぼ一定間隔に現れる。第一資料画像構築部３３は状態Ａ～Ｃのフレームを１セットに、ＯＲ演算して資料画像を構築する（Ｓ１４）。
【0135】
第一資料画像構築部３３は、資料画像に録画ＩＤ、構築開始時刻、構築終了時刻、資料画像ＩＤ、サイズ、ファイル名を対応付けて資料画像記憶部４３に保存する（Ｓ１５）。なお、構築開始時刻は状態Ａのフレームの撮像時刻であり、構築終了時刻は状態Ｃのフレームの撮像時刻である。
【0136】
＜Ｂ．資料画像の上下スライド＞
続いて、「Ｂ．資料画像の上下スライド」による合成画像の生成と録画された資料画像の構築について説明する。
続いて、「Ｂ．資料画像の上下スライド」による合成画像の生成と録画された資料画像の構築について説明する。
【0137】
図１７は、資料画像を上にスライドさせながら合成画像を作成する画像処理の概略を説明する図である。
【0138】
通信端末１０のページ切替部１６は、資料画像を、図１７（ａ）→図１７（ｂ）→図１７（ｃ）のように、上方向に移動させながら次の資料画像（次のページ）に移行する。スライドの速度は録画再生装置３０が資料画像を取り込める程度の速度とする。図１７ではカメラ画像が資料画像の下部にあるため、ページ切替部１６が資料画像を上にスライドさせるが、カメラ画像が資料画像の側方にある場合、ページ切替部１６が資料画像を左又は右にスライドさせる。カメラ画像が資料画像の上部にある場合、ページ切替部１６が資料画像を下にスライドさせる。このように、ページ切替部１６は、カメラ画像のレイアウトを考慮してスライド方向を決定する。
【0139】
【0140】
図１８を用いて詳細に説明する。図１８は、資料画像の上下スライドを説明する図である。まず、ページ切替部１６は、図１８（ａ）に示すように、資料画像の切り替わりを検出する。ページ切替部１６は、例えば、他の拠点から送信される資料画像を一定間隔で比較し、資料画像の切り替わりを検出できる。ページ切替部１６は、ページを切り替えた旨の操作信号で検出してもよい。ページ切替部１６は切り替え後の資料画像Ｂを用意する。
【0141】
資料画像の切り替わりを検出した場合、ページ切替部１６は、２つの資料画像Ａ，Ｂを上下方向に連結し、図１８（ｂ）→図１８（ｃ）→図１８（ｄ）に示すように、１フレーム２２０に入る部分を資料画像として切り取る。ページ切替部１６は、２つの資料画像Ａ，Ｂの上方から下方に切り取る範囲を徐々に移動する。例えば、図１８（ｂ）では切り替わる前の資料画像Ａの全体が１フレーム２２０に配置され、図１８（ｃ）では切り替わる前の資料画像Ａの下半分と切り替わった後の資料画像Ｂの上半分が１フレーム２２０に配置され、図１８（ｄ）では切り替わった後の資料画像Ｂの全体が１フレーム２２０に配置されている。画像合成部１７はこのようなフレームにカメラ画像を配置して合成画像を作成する。
【0142】
そして、録画再生装置３０では、図１７、図１８で説明した合成画像が圧縮符号化の後に記録される。この合成画像は、資料画像が上下にスライドしながら徐々に切り替わる動画になる。資料画像にはカメラ画像も埋め込まれている。資料画像の再生時、録画再生装置３０の第二資料画像構築部３６は、Ｄの処理として、資料画像がスライドしながら表示されていることを利用して、死角のない資料画像を別途作成する。
【0143】
すなわち、第二資料画像構築部３６は、カメラ画像が重なっていない部分の資料画像を結合して、資料画像を構築する。カメラ画像が存在する領域を下端からＬとすると、Ｌ以上の領域を切り取ればよい。第二資料画像構築部３６は、例えば、図１８（ｂ）の画面（フレーム）の上半分２２１（フレームの一部）を切り取り、図１８（ｃ）の画面（フレーム）の上半分２２２（フレームの一部）を切り取る。第二資料画像構築部３６は切り取った２つの資料画像を結合して、資料画像を構築する。図１８（ｂ）から図１８（ｄ）への切り替え時間をＴ秒とすると、切り替えの検出の直前と、切り替えの検出からＴ／２秒経過時に第二資料画像構築部３６がそれぞれフレームの上半分２２１，２２２を切り取ればよい。
【0144】
【0145】
【0146】
ページ切替部１６が、他の拠点から送信される資料画像と表示中の資料画像に基づいて資料画像（ページ）が切り替わったか否かを判断する（Ｓ２１）。ページ切替部１６は、自拠点の通信端末１０が資料画像を表示している場合、ユーザーの操作でページの切り替えを検出できる。
【0147】
また、ページ切替部１６は、資料画像におけるカメラ画像の位置に基づいてスライド方向を判断する（Ｓ２２）。ここではページ切替部１６は、上方向にスライドすると判断したものとする。
【0148】
次に、ページ切替部１６は切り替わる前の資料画像を上に、切り替わった後の資料画像を下にして２つの資料画像を上下に連結する（Ｓ２３）。
【0149】
ページ切替部１６は、上側の資料画像の高さを時間Ｔで除算してスライド速度を決定する（Ｓ２４）。時間Ｔは、予め設定されている。時間Ｔは、キャプチャ処理が間に合う範囲で速いほうが好ましい（例えば、１０秒等）。ユーザーが会議中の議論に遅れないように資料画像を表示するためである。
【0150】
ページ切替部１６は、合成画像のフレームごとに、スライド速度に基づいて、上側の資料画像の上端を基準にフレームに含める範囲を決定する（Ｓ２５）。
【0151】
ページ切替部１６は、上側の資料画像がフレームに入らなくなるまで、ステップＳ２４の処理を繰り返す（Ｓ２６）。
【0152】
＜Ｄ．録画再生装置における資料画像の構築＞
次に、図２０を参照して、録画再生装置３０における資料画像の構築について説明する。図２０は、資料画像を上下にスライドさせる処理において、第二資料画像構築部３６が資料画像を構築する処理を説明するフローチャート図である。
次に、図２０を参照して、録画再生装置３０における資料画像の構築について説明する。図２０は、資料画像を上下にスライドさせる処理において、第二資料画像構築部３６が資料画像を構築する処理を説明するフローチャート図である。
【0153】
まず、第二資料画像構築部３６は、合成画像記憶部４１から合成画像の動画ファイルを取得する（Ｓ３１）。取得する合成画像はユーザーが指定した動画ファイルでもよいし、カメラ画像の動画ファイルや資料画像が構築されていない動画ファイルでもよい。
【0154】
切替検出部３５は、合成画像のフレームを監視して資料画像が切り替わったか否かを判断する（Ｓ３２）。
【0155】
ステップＳ３２の判断がＹｅｓの場合、まず、第二資料画像構築部３６は切り替える前の資料画像の上半分をキャプチャする（Ｓ３３）。合成画像は保存済みなので、第二資料画像構築部３６は切り替え開始の直前のフレームを特定できる。
【0156】
次に、第二資料画像構築部３６は切り替えが検出されてからＴ／２秒が経過した資料画像の上半分をキャプチャする（Ｓ３４）。
【0157】
第二資料画像構築部３６は、資料画像の上半分と下半分を連結して、資料画像を構築する（Ｓ３５）。
【0158】
第二資料画像構築部は、資料画像に録画ＩＤ、ページ切替時刻、資料画像ＩＤ、サイズ、ファイル名を対応付けて資料画像記憶部４３に保存する（Ｓ３６）。
【0159】
第二資料画像構築部３６は、合成画像の動画ファイルの最後まで図２０の処理を繰り返す（Ｓ３７）。
【0160】
【0161】
【0162】
図２１（ｃ）は、パノラマ画像２０２、個別画像２０３、話者カメラ画像２０４等のカメラ画像２５２のみを表示した動画ファイルである。
・再生時に資料と同時に映す必要がなければ、拡大表示が可能になるため、人の表情等がわかりやすくなる。
・再生時に資料と同時に映す必要がなければ、拡大表示が可能になるため、人の表情等がわかりやすくなる。
【0163】
【0164】
ユースケースの一例を説明する。会議に参加しなったユーザーはＰＣを録画再生装置３０に接続して、合成画像の動画ファイルを選ぶ。どの合成画像が所望の会議のものかは、撮像開始時刻等からユーザーが判断できる。図２１（ｄ）に示すように、ユーザーは合成画像を最初から閲覧するが、資料の死角が気になると、例えば資料をダブルクリックするなどする。操作受付部３４が資料の要求を検出する。表示制御部３７は資料が要求された合成画像の表示時刻を検出し、資料画像記憶部４３から表示時刻に対応する資料画像を取得する。例えば、合成画像の開始から１分１５秒の経過時に資料が要求された場合、１分から１分３０秒の間のフレームから構築された001－003.jpegの資料画像を取得する。表示制御部３７は、ディスプレイにこの資料画像（死角がない）を大きく表示できる。
【0165】
同様に、ユーザーが参加者の表情が気になると、例えば任意のカメラ画像をダブルクリックするなどする。操作受付部３４がカメラ画像の要求を検出する。表示制御部３７はカメラ画像が要求された合成画像の表示時刻を検出し、カメラ画像記憶部４２から表示時刻に対応するカメラ画像を取得する。例えば、合成画像の開始から１分１５秒の経過時にカメラ画像が要求された場合、各拠点のカメラ画像（動画ファイル）の１分１５秒経過時から再生する。
【0166】
また、図２２に示すように、２つのディスプレイ２０Ａ，２０Ｂがあれば、録画再生装置３０は、カメラ画像２５２と資料画像２５１を同時に表示できる。図２２は、合成画像２６０から作成されたカメラ画像２５２と資料画像２５１の２つのディスプレイを用いた表示例を示す。図２１で説明したようにカメラ画像と資料画像を別々に用意することで、以下のような再生方法が可能になる。
・録画再生装置３０が出力I/Fを２つ有する場合、図２１（ｂ）と（ｃ）の画像を同時に２つのディスプレイ２０Ａ，２０Ｂにそれぞれ出力することができる。
・あるいは、Dual DisplayとDisplayPortのマルチストリーム機能（ディスプレイ同士を接続できる）を使うことで、図２１（ｂ）と（ｃ）の画像を同時にモニター出力することができる。
・録画再生装置３０が出力I/Fを２つ有する場合、図２１（ｂ）と（ｃ）の画像を同時に２つのディスプレイ２０Ａ，２０Ｂにそれぞれ出力することができる。
・あるいは、Dual DisplayとDisplayPortのマルチストリーム機能（ディスプレイ同士を接続できる）を使うことで、図２１（ｂ）と（ｃ）の画像を同時にモニター出力することができる。
【0167】
＜主な効果＞
以上説明したように、本実施形態の録画システム６０は、カメラ画像が徐々に移動させるか、又は、資料画像をスライドさせてページを切り替えるかの少なくともいずれかにより、録画再生装置３０は、画像の背面に隠れていた領域も取得できる。録画再生装置３０はそれを別ファイルとして保存しておくことで、再生時は資料画像の全体を表示したり、資料画像の任意の位置にカメラ画像を移動したりすることができる。
以上説明したように、本実施形態の録画システム６０は、カメラ画像が徐々に移動させるか、又は、資料画像をスライドさせてページを切り替えるかの少なくともいずれかにより、録画再生装置３０は、画像の背面に隠れていた領域も取得できる。録画再生装置３０はそれを別ファイルとして保存しておくことで、再生時は資料画像の全体を表示したり、資料画像の任意の位置にカメラ画像を移動したりすることができる。
【0168】
＜その他の適用例＞
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
【0169】
例えば、本実施形態では、資料画像にカメラ画像が埋め込まれる例を説明したが、画像に何が映っているかに関わらず本実施形態を適用できる。例えば資料画像は風景画像などでもよい。カメラ画像は動画投稿サイトが提供する画像でもよい。また、資料画像をＷｅｂページとして、カメラ画像を広告としてもよい。
【0170】
また、本実施形態では録画再生装置３０が資料画像を構築したが、サーバーが資料画像を構築してもよい。
【0171】
また、図５などの構成例は、通信端末１０、及び録画再生装置３０による処理の理解を容易にするために、主な機能に応じて分割したものである。処理単位の分割の仕方や名称によって本願発明が制限されることはない。通信端末１０、及び録画再生装置３０の処理は、処理内容に応じて更に多くの処理単位に分割することもできる。また、１つの処理単位が更に多くの処理を含むように分割することもできる。
【0172】
上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP（Digital Signal Processor）、FPGA（Field Programmable Gate Array）や従来の回路モジュール等のデバイスを含むものとする。
【符号の説明】
【0173】
１０ 通信端末
３０ 録画再生装置
６０ 録画システム
１００ 通信システム
３０ 録画再生装置
６０ 録画システム
１００ 通信システム
【先行技術文献】
【特許文献】
【0174】
【特許文献1】特開2009－18298号公報
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】