特開 2022-164121 情報処理装置、それらの制御方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022164121

(43)【公開日】2022-10-27

(54)【発明の名称】情報処理装置、それらの制御方法およびプログラム

(51)【国際特許分類】

   H04N 7/15 20060101AFI20221020BHJP

【ＦＩ】

H04N7/15

【審査請求】未請求

【請求項の数】4

【出願形態】ＯＬ

(21)【出願番号】P 2021069408

(22)【出願日】2021-04-16

(71)【出願人】

【識別番号】390002761

【氏名又は名称】キヤノンマーケティングジャパン株式会社

(71)【出願人】

【識別番号】592135203

【氏名又は名称】キヤノンＩＴソリューションズ株式会社

(74)【代理人】

【識別番号】100189751

【弁理士】

【氏名又は名称】木村 友輔

(72)【発明者】

【氏名】上村 準也

(72)【発明者】

【氏名】鶴野 貴信

(72)【発明者】

【氏名】野村 祐一郎

【テーマコード（参考）】

5C164

【Ｆターム（参考）】

5C164FA10

5C164UB41S

5C164VA21P

5C164YA11

(57)【要約】

【課題】 情報処理装置で複数のカメラの画像の合成や配置の変更をＷｅｂ会議中に実行できること。
【解決手段】
本発明の情報処理装置は、複数の撮像部でそれぞれ撮像された画像を取得する取得手段と、前記取得手段で取得した複数の画像を合成する合成手段と、前記合成手段で合成される画像に対して受け付けた前記画像の配置位置の変更指示に基づいて、前記画像の配置位置を変更制御する変更制御手段と、ネットワークと通信する通信手段と、前記合成手段で合成した画像を前記通信手段でネットワークに出力するように制御する制御手段と、前記通信手段でのＷＥＢ会議中に、前記複数の画像のうち使用する画像の変更、あるいは、前記複数の画像の配置の変更の指示を受け付ける受付手段とを含むことを特徴とする。
【選択図】図６

【特許請求の範囲】

【請求項1】

複数の撮像部でそれぞれ撮像された画像を取得する取得手段と、
前記取得手段で取得した複数の画像を合成する合成手段と、
前記合成手段で合成される画像に対して受け付けた前記画像の配置位置の変更指示に基づいて、前記画像の配置位置を変更制御する変更制御手段と、
ネットワークと通信する通信手段と、
前記合成手段で合成した画像を前記通信手段でネットワークに出力するように制御する制御手段と、
前記通信手段でのＷＥＢ会議中に、前記複数の画像のうち使用する画像の変更、あるいは、前記複数の画像の配置の変更の指示を受け付ける受付手段と
を含むことを特徴とする情報処理装置。

【請求項2】

前記受付手段は、前記複数の画像のうち使用する画像の変更、あるいは、前記複数の画像の配置の変更の指示を、前記変更制御手段で予め変更制御されている設定として受け付けることを特徴とする請求項１に記載の情報処理装置。

【請求項3】

前記受付手段は、前記変更制御手段で変更制御された設定をドライバソフトウェアとして選択を受け付けることを特徴とする請求項１または２に記載の情報処理装置。

【請求項4】

前記撮像部が複数接続されているか判定する判定部と、
前記前記変更制御手段は、前記判定部により複数の撮像部が接続されていると判定されると、前記画像の配置位置の変更指示を受け付けることを特徴とする請求項１乃至３に記載の情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、それらの制御方法およびプログラムに関する。

【背景技術】

【0002】

従来、インターネット回線などを利用したウェブ会議システムにおいては、サーバ装置と複数のクライアント端末とで、音声データ、および画像データの送受信を行う。これにより、会議に参加するユーザは、それぞれ別の場所にいながらウェブ会議を行うことが可能となる。

【0003】

このようなウェブ会議システム（画像配信システム）を用いることで、例えば会社における業務上のプレゼンテーションや、大学の授業など話者と複数の聴衆が存在するような場合においても、話者、もしくは聴衆側をカメラで撮影し、映像を他拠点に配信することが可能となる。

【0004】

さらに、ウェブ会議でカメラを二台以上用いて、話者、聴衆側のどちらの映像も同時に配信することで、利用者に場の雰囲気をより良く伝えることができる。しかし、カメラ二台以上の映像をそのまま配信しては回線帯域を圧迫してしまう。

【0005】

そのため、複数のカメラで撮像した画像を合成する仕組みが考えられる。特許文献１では、メインカメラとサブカメラを備える撮像装置がそれぞれのカメラで画像を撮像し、メインカメラで撮像した画像にサブカメラで撮像した画像を重畳させた画像を生成する仕組みが開示されている。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２０１６－９６５７０号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかし、カメラを二台以上用いてＷｅｂ会議に用いることを想定していない情報処理装置では、特許文献１のようにサブカメラで撮像した画像を所定の形式でしか重畳できない。また、従来から存在する画像合成技術を使った情報処理装置は、Ｗｅｂ会議中に複数画像のうち使用する画像を変更させたり、複数の画像の配置位置を変更させたりすることが出来ない。

【0008】

本発明の目的は、情報処理装置で複数のカメラの画像の合成や配置の変更をＷｅｂ会議中に実行させることである。

【課題を解決するための手段】

【0009】

本発明の情報処理装置は、複数の撮像部でそれぞれ撮像された画像を取得する取得手段と、前記取得手段で取得した複数の画像を合成する合成手段と、前記合成手段で合成される画像に対して受け付けた前記画像の配置位置の変更指示に基づいて、前記画像の配置位置を変更制御する変更制御手段と、ネットワークと通信する通信手段と、前記合成手段で合成した画像を前記通信手段でネットワークに出力するように制御する制御手段と、前記通信手段でのＷＥＢ会議中に、前記複数の画像のうち使用する画像の変更、あるいは、前記複数の画像の配置の変更の指示を受け付ける受付手段とを含むことを特徴とする。

【発明の効果】

【0010】

本発明によれば、情報処理装置で複数のカメラの画像の合成や配置の変更をＷｅｂ会議中に実行可能である。

【図面の簡単な説明】

【0011】

【図1】本実施形態のウェブ会議システムのシステム構成図の一例を示す図である。

【図2】本実施形態のウェブ会議サーバ１００のハードウェア構成の一例を示す図である。

【図3】本実施形態の情報処理装置１０１および１０２のハードウェア構成の一例を示す図である。

【図4】本実施形態の機能構成の一例を示す図である。

【図5】本実施形態の情報処理装置の複数のカメラから一台を選択し、画像を取得し、利用する処理の一例を示すフローチャートである。

【図6】本実施形態における情報処理装置のカメラを選択するカメラ選択画面６００の一例を示す図である。

【図7】本実施形態における情報処理装置の合成配置された映像７００の一例を示す図である。

【図8】本実施形態における情報処理装置の合成配置された映像８００の一例を示す図である。

【図9】本実施形態における情報処理装置の映像７００を選択した画面９００の一例を示す図である。

【図10】本実施形態の情報処理装置１０１で実行される仮想カメラ設定処理の一例を示するフローチャートである。

【図11】本実施形態における情報処理装置の合成配置パターン設定画面１１００の一例を示す模式図である。

【図12】本実施形態における情報処理装置の合成配置パターン編集画面１２００の一例を示す模式図である。

【発明を実施するための形態】

【0012】

以下、図面を参照して、本発明の実施の形態の一例について説明する。

【0013】

図１は、本発明の一実施例を示すウェブ会議システムのシステム構成を例示する図である。

【0014】

図１に示すように、本実施形態のウェブ会議システムは、例えば、情報処理装置などのパーソナルコンピュータを適用可能なウェブ会議サーバ１００、情報処理装置１０１、情報処理装置１０２を有する。情報処理装置１０１は画面および音声を共有させるホストコンピュータであり、情報処理装置１０２は画面および音声を共有するゲストコンピュータである。また、情報処理装置１０１には、１つ以上のカメラデバイス１０３（撮像部）が通信可能に接続されている。これら１００～１０２に示す装置は、ネットワーク通信機能を利用し、ＬＡＮ５００（ローカルエリアネットワーク）を介してデータ通信可能であり、ウェブ会議システムに接続することでウェブ会議へ参加可能となる。

【0015】

ウェブ会議サーバ１００は、ウェブブラウザを利用したウェブ会議を実現するためのサーバであり、例えば、情報処理装置などのパーソナルコンピュータを適用可能である。尚、ウェブ会議サーバ１００は、公衆回線を介してデータ通信が可能である。

【0016】

情報処理装置１０１および情報処理装置１０２は、ウェブ会議サーバ１００へアクセスすることにより、ウェブ会議アプリケーション画面（インタフェース）を取得してウェブ会議を行うことができる。情報処理装置１０１および情報処理装置１０２には、ウェブ会議サーバ１００へアクセスするためのウェブブラウザ、および専用のモジュールがインストールされている。

【0017】

なお、本発明では、ウェブ会議サーバ１００を介してウェブ会議のデータを送受信し、ウェブ会議アプリケーション画面（インタフェース）もウェブ会議サーバ１００を介して取得するとしているが、この実施例にこだわらず、各情報処理装置１０１や１０２がウェブ会議アプリケーションを有し、ウェブ会議サーバ１００を介さず直接データの送受信を行う、であっても良い。

【0018】

情報処理装置１０１および情報処理装置１０２には、ウェブ会議において自身の動画像を送信する場合はカメラデバイス１０３を接続し、音声を送信する場合はマイク（不図示）を接続する。また、相手の音声を視聴するためにはスピーカー（不図示）を接続する。これらの各デバイスは、情報処理装置１０１および情報処理装置１０２上に複数台接続することが可能である。尚、本実施形態の情報処理装置では、カメラデバイス１０３を複数接続しているものとする。

【0019】

上記のカメラデバイス１０３から取得した映像、マイクから取得した音声は、それぞれ圧縮され、他の参加者の情報処理装置１０２に送信される。

【0020】

また、ウェブ会議システムでは、ウェブ会議サーバ１００を介して情報処理装置１０１の画面を情報処理装置１０２に送信することで、情報処理装置１０１の画面を情報処理装置１０２で表示して共有可能とすることができる。共有される画面は、情報処理装置１０１で指定することが可能である。また、共有される画面は、アプリケーションの画面や情報処理装置１０１のデスクトップ全体の画面である。

【0021】

尚、本実施形態では、ウェブ会議サーバ１００を経由して情報処理装置１０１と情報処理装置１０２とが通信を行うが、ウェブ会議サーバ１００の機能を情報処理装置１０１が備えることもできる。つまり、情報処理装置１０１と情報処理装置１０２とが直接通信して、画像や音声を送受信する、いわゆるＷｅｂＲＴＣ（Ｗｅｂ Ｒｅａｌ－Ｔｉｍｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）の構成でも良い。ＷｅｂＲＴＣの場合は、以下で説明する情報処理装置１０１とデータを送受信するのはウェブ会議サーバ１００ではなく、Ｗｅｂ会議先の端末である情報処理装置１０２と置き換える。また、ウェブ会議サーバ１００は、ＷｅｂＲＴＣ ＳＦＵ（Ｓｅｌｅｃｔｉｖｅ Ｆｏｒｗａｒｄｉｎｇ Ｕｎｉｔ）やＭＣＵ（Ｍｕｌｔｉｐｏｉｎｔ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）として機能するものでも良い。たとえば、画面共有を行う場合、情報処理装置１０１の画面は、ウェブ会議サーバ１００に送信され、ウェブ会議サーバ１００から情報処理装置１０２に送信される。

【0022】

以上が、図１のウェブ会議システムのシステム構成の説明である。

【0023】

次に図２および図３を参照して、本発明の実施形態における各種装置に適用可能なハードウェア構成の一例について説明する。

【0024】

図２は、ウェブ会議サーバ１００のハードウェア構成の一例を示す図である。

【0025】

図２において、ウェブ会議サーバ１００のＣＰＵ２０１は、システムバス２０４に接続される各デバイスやコントローラを統括的に制御する。また、ＲＯＭ２０２あるいは外部メモリ２１１には、ＣＰＵ２０１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ／Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）やオペレーティングシステム（以下、ＯＳ）が記憶される。また、ＲＯＭ２０２あるいは外部メモリ２１１には、各サーバ或いは各ＰＣの実行する機能を実現するために必要な後述する各種プログラム等が記憶されている。

【0026】

２０３はＲＡＭで、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。ＣＰＵ２０１は、処理の実行に際して必要なプログラム等をＲＯＭ２０２あるいは外部メモリ２１１からＲＡＭ２０３にロードして、該ロードしたプログラムを実行することで各種動作を実現するものである。

【0027】

また、２０５は入力コントローラで、入力デバイス２０９からの入力を制御する。入力デバイス２０９としては、キーボード、タッチパネル、およびマウス等のポインティングデバイス等が挙げられる。

【0028】

尚、入力デバイス２０９がタッチパネルの場合、ユーザがタッチパネルに表示されたアイコンやカーソルやボタンに合わせて押下（指等でタッチ）することにより、各種の指示を行うことができることとする。

【0029】

また、タッチパネルは、マルチタッチスクリーンなどの、複数の指でタッチされた位置を検出することが可能なタッチパネルであってもよい。

【0030】

２０６はビデオコントローラで、ディスプレイ２１０等の表示機への表示を制御する。尚、ディスプレイ２１０は、ＣＲＴ、液晶ディスプレイ等の表示機のことを指す。または、その他の表示機であってもよい。尚、ディスプレイ２１０は、本体と一体になったノート型パソコンのディスプレイも含まれるものとする。外部出力装置はディスプレイに限ったものではなく、例えばプロジェクタであってもよい。

【0031】

また、図２のウェブ会議サーバ１００が前述のタッチ操作を受け付け可能な装置である場合には、ディスプレイ２１０が入力デバイス２０９としての機能を提供する。

【0032】

２０７はメモリコントローラで、ブートプログラム、各種のアプリケーション、フォントデータ、ユーザファイル、編集ファイルへのアクセスを制御する。また、各種データ等を記憶するハードディスク（ＨＤＤ）や、フレキシブルディスク（ＦＤ）、或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるコンパクトフラッシュ（登録商標）メモリ等の外部メモリ２１１へのアクセスを制御する。

【0033】

２０８は通信Ｉ／Ｆコントローラで、ネットワークを介して外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いた通信等が可能である。

【0034】

尚、ＣＰＵ２０１は、例えばＲＡＭ２０３内の表示情報用領域へアウトラインフォント展開（ラスタライズ）処理を実行することにより、ディスプレイ２１０上での表示を可能としている。また、ＣＰＵ２０１は、ディスプレイ２１０上の不図示のマウスカーソル等でのユーザ指示を可能とする。

【0035】

本発明を実現するための後述する各種プログラムは、ＲＯＭ２０２あるいは外部メモリ２１１に記録されており、必要に応じてＲＡＭ２０３にロードされることによりＣＰＵ２０１によって実行されるものである。

【0036】

さらに、上記プログラムの実行時に用いられる定義ファイルおよび各種情報、テーブル等も、外部メモリ２１１に格納されている。

【0037】

以上で、図２のウェブ会議サーバ１００のハードウェア構成の説明を終了する。

【0038】

図３は、情報処理装置１０１および１０２のハードウェア構成の一例を示す図である。情報処理装置１０１と１０２は同じハードウェア構成であるため、情報処理装置１０１を例に以下説明する。

【0039】

図３において、情報処理装置１０１のＣＰＵ３０１は、システムバス３０４に接続される各デバイスやコントローラを統括的に制御する。また、ＲＯＭ３０２あるいは外部メモリ３１１には、ＣＰＵ３０１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ／Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）やオペレーティングシステム（以下、ＯＳ）が記憶される。また、ＲＯＭ３０２あるいは外部メモリ３１１には、各サーバ或いは各ＰＣの実行する機能を実現するために必要な後述する各種プログラム等が記憶されている。

【0040】

３０３はＲＡＭで、ＣＰＵ３０１の主メモリ、ワークエリア等として機能する。ＣＰＵ３０１は、処理の実行に際して必要なプログラム等をＲＯＭ３０２あるいは外部メモリ３１１からＲＡＭ３０３にロードして、該ロードしたプログラムを実行することで各種動作を実現するものである。

【0041】

また、３０５は入力コントローラで、入力デバイス３０９からの入力を制御する。入力デバイス３０９としては、キーボード、タッチパネル、およびマウス等のポインティングデバイス等が挙げられる。

【0042】

尚、入力デバイス３０９がタッチパネルの場合、ユーザがタッチパネルに表示されたアイコンやカーソルやボタンに合わせて押下（指等でタッチ）することにより、各種の指示を行うことができることとする。

【0043】

また、タッチパネルは、マルチタッチスクリーンなどの、複数の指でタッチされた位置を検出することが可能なタッチパネルであってもよい。

【0044】

３０６はビデオコントローラで、ディスプレイ３１０等の表示機への表示を制御する。尚、ディスプレイ３１０は、ＣＲＴ、液晶ディスプレイ等の表示機のことを指す。または、その他の表示機であってもよい。尚、ディスプレイ３１０は、本体と一体になったノート型パソコンのディスプレイも含まれるものとする。外部出力装置はディスプレイに限ったものではなく、例えばプロジェクタであってもよい。

【0045】

また、図３の情報処理装置１０１および１０２が前述のタッチ操作を受け付け可能な装置である場合には、ディスプレイ３１０が入力デバイス３０９としての機能を提供する。

【0046】

３０７はメモリコントローラで、ブートプログラム、各種のアプリケーション、フォントデータ、ユーザファイル、編集ファイル、各種データ等を記憶するハードディスク（ＨＤＤ）や、フレキシブルディスク（ＦＤ）へのアクセスを制御する。また、メモリコントローラ３０７は、ＰＣＭＣＩＡカードスロットにアダプタを介して接続されるコンパクトフラッシュ（登録商標）メモリ等の外部メモリ３１１へのアクセスを制御する。

【0047】

３０８は通信Ｉ／Ｆコントローラで、ネットワークを介して外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いた通信等が可能である。

【0048】

尚、ＣＰＵ３０１は、例えばＲＡＭ３０３内の表示情報用領域へアウトラインフォント展開（ラスタライズ）処理を実行することにより、ディスプレイ３１０上での表示を可能としている。また、ＣＰＵ３０１は、ディスプレイ３１０上の不図示のマウスカーソル等でのユーザ指示を可能とする。

【0049】

本発明を実現するための後述する各種プログラムは、ＲＯＭ３０２あるいは外部メモリ３１１に記録されており、必要に応じてＲＡＭ３０３にロードされることによりＣＰＵ３０１によって実行されるものである。

【0050】

さらに、上記プログラムの実行時に用いられる定義ファイルおよび各種情報、テーブル等も、外部メモリ３１１に格納されており、これらについての詳細な説明も後述する。

【0051】

カメラコントローラ３１２は、カメラ３１４等による映像取得を制御し、音声コントローラ３１３はマイク３１５（入力部）、スピーカー（出力部）３１６等による音声取得制御やスピーカー３１６への出力を制御する。尚、音声コントローラ３１３が音声を出力する先は、スピーカー３１６だけではなくヘッドフォンや外部のスピーカーに出力するための出力端子であってもよい。

【0052】

カメラ３１４は、図３のハードウェア構成を適用する装置に内蔵されているカメラである。また、マイク３１５およびスピーカー３１６は、図３のハードウェア構成を適用する装置に内蔵されているマイク３１５およびスピーカー３１６である。

【0053】

以上で、図３の情報処理装置１０１および１０２のハードウェア構成の説明を終了する。

【0054】

次に図４を参照して、本発明の実施形態における、各種装置の機能構成の一例について説明する。

【0055】

情報処理装置１０１および１０２は、取得部４１１、合成部４１２、通信部４１３、制御部４１４、変更制御部４１５、受付部４１６等を備えている。

【0056】

情報処理装置１０１と１０２は同じ機能構成であるため、ここでは情報処理装置１０１を例に説明を行い、情報処理装置１０２についての説明は省略する。

【0057】

取得部４１１は、カメラデバイス１０３で撮像された画像を取得する機能部である。カメラデバイスは複数有しており、外部のカメラデバイス１０３でも良いし、情報処理装置１０１が有する内部カメラ３１４でも良い。

【0058】

合成部４１２は、取得部４１１で取得した複数の画像を合成する機能部である。

【0059】

変更制御部４１５は、合成部４１２で合成される画像をディスプレイ３１０にどのように表示させるかの配置位置の変更指示に基づいて、合成される画像の配置を変更する機能部である。

【0060】

通信部４１３は、各種画像や音声データを送受信する機能部である。より具体的には、カメラ３１４およびカメラデバイス１０３において撮像され入力された画像（映像）を、ウェブ会議サーバ１００に送信制御する。

【0061】

送信された画像は、ウェブ会議サーバ１００の受信制御部４２２で受信され、メモリ上の記憶部４２３（画像キュー）に格納される。

【0062】

制御部４１４は、合成部４１２で合成した画像と音声データなどを通信部４１３に出力する機能部である。

【0063】

受付部４１６は、Ｗｅｂ会議中に変更制御部で予め設定されていた複数の画像の配置への変更指示を受け付ける機能部である。本実施形態では、予め設定されていた複数の画像の配置の例として、情報処理装置１０１に内蔵されたカメラ３１４および情報処理装置１０１と通信可能に接続されたカメラデバイス１０３から入力された映像（画像）を一つの映像としてミキシング（合成）した、図７のカメラ映像７００を合成するものと、図８のカメラ映像８００を合成するものの２つが存在する。これは、ＯＳにより実施方法が異なるが、情報処理装置にとってカメラデバイス１０３と同様に認識されるものである。具体的には、合成部４１２をドライバソフトウェアとして記述する、あるいはＯＳの規約に則ったソフトウェアコンポーネントを記述することで、実施が可能である。

【0064】

以上で、情報処理装置１０１および情報処理装置１０２の機能構成の説明を終了する。

【0065】

次に、ウェブ会議サーバ１００の機能構成図について説明する。

【0066】

ウェブ会議サーバ１００は、会議情報記憶部４２１、受信制御部４２２、記憶部４２３、送信制御部４２４等を備えている。

【0067】

会議情報記憶部４２１は、どのユーザが、どの会議室に入室してどのユーザと会議を行っているかを記憶する記憶部である。

【0068】

受信制御部４２２は、情報処理装置１０１の通信部４１３より送信された会議画像（映像）、および指定画像、音声を受信する受信部である。

【0069】

記憶部４２３は、情報処理装置１０１および情報処理装置１０２から受信した画像および音声を記憶する機能部である。

【0070】

送信制御部４２４は、受信制御部４２２で受信した画像や指定画像、音声等を、同じ会議に参加している（例：同じ会議室に入室中の）、当該画像や音声の送信元の情報処理装置１０１とは別の、他の情報処理装置１０２に送信する制御部である。

【0071】

尚、本実施形態においては、情報処理装置１０２がウェブ会議サーバ１００に対して、記憶部４２３からの画像の取得要求を行う。当該要求に応じてウェブ会議サーバ１００の送信制御部４２４が要求元の情報処理装置１０２に対して、当該要求受付時におけるキュー内の最新の画像を送信するものとする。

【0072】

情報処理装置１０２は、要求した画像を受信した後、当該受信した画像（動画内の１フレーム）を表示画面に表示する。そして当該表示と並行して、当該動画内の次の画像をウェブ会議サーバ１００に要求する。会議が終了する等、動画の表示が終了するまで、当該画像の要求と表示を繰り返す。

【0073】

以上が図４のウェブ会議サーバ１００の機能構成図の説明である。

【0074】

図５は、本発明の第一の実施形態である、情報処理装置の複数カメラ入力処理を例示するフローチャートである。

【0075】

ステップＳ５０１では、情報処理装置１０１のＣＰＵ３０１は、情報処理装置の会議を行う際に利用するカメラの接続を受け付ける。

【0076】

ステップＳ５０２では、情報処理装置１０１のＣＰＵ３０１は、ユーザからのウェブ会議への入室指示を受け付ける。

【0077】

ステップＳ５０３では、情報処理装置１０１のＣＰＵ３０１は、情報処理装置１０１に接続されたカメラデバイス１０３が複数台であるか否かを判定する。より具体的には、情報処理装置１０１のＣＰＵ３０１は、ＯＳが認識しているデバイスの情報を取得し、取得した情報からカメラデバイス１０３が複数接続されているか否かを判定する。カメラデバイス１０３が複数接続されていると判定した場合は、情報処理装置１０１のＣＰＵ３０１は、ステップＳ５０５に処理を進める。カメラデバイス１０３が複数接続されていると判定しなかった場合、つまり接続されているカメラデバイス１０３が一台であった場合はステップＳ５０４に処理を進める。

【0078】

ステップＳ５０４では、情報処理装置１０１のＣＰＵ３０１は、接続されたカメラデバイス１０３から入力された画像を取得する。

【0079】

ステップＳ５０５では、情報処理装置１０１のＣＰＵ３０１は、使用するカメラデバイス１０３と、存在するカメラデバイス１０３の二台以上から取得した画像を合成配置した仮想のカメラを選択するためのカメラ選択画面６００を表示する。

【0080】

ここで、図６のカメラ選択画面６００について説明する。カメラ選択画面６００は、カメラデバイスを同時に二台以上用いることを想定していない情報処理装置であっても、複数存在するカメラデバイスのうち1つを選択するための画面である。本発明によれば、カメラデバイスと複数のカメラ映像を合成させた仮想のカメラが同列に表示され、何れも選択可能である。カメラ選択画面６００は、カメラ一覧画面を開くボタン６０１と、カメラ一覧画面６０２と、ＯＫボタン６０３と、キャンセルボタン６０４と、を含む。カメラ一覧画面６０２には、情報処理装置１０１に接続されたカメラデバイス１０３に加えて、存在するカメラデバイス１０３の二台以上から取得した画像を合成配置した仮想のカメラの一覧が表示される。本実施形態では、情報処理装置１０１に２つのカメラデバイス１０３が接続されていた場合に２つの画像を合成配置した仮想カメラを一例として説明とする。３つ以上のカメラデバイス１０３が接続されていた場合には、３つ以上の画像を合成配置した仮想カメラとしてもよい。

【0081】

カメラ選択画面６００では、ユーザからの指定を受け付けることで接続されているカメラデバイス１０３と、存在するカメラデバイス１０３の二台以上から取得した画像を合成配置した仮想のカメラのうち、どのカメラからの映像を取得するかを選択可能とする。

【0082】

事前に仮想カメラの設定（２つ以上の画像を合成し、配置した画像として取得する合成部４１２の設定）がされていない時の処理を図１０を参照して説明する。なお、図１０の処理はＷｅｂ会議中に行っても良いし、Ｗｅｂ会議の前に行っても良い。

【0083】

図１０は、本発明の第一の実施形態である、情報処理装置１０１で実行される仮想カメラ設定の方法を例示するフローチャートである。

【0084】

図１０は、情報処理装置１０１のＣＰＵ３０１により実行される処理であり、情報処理装置１０１のＣＰＵ３０１は、図１０の各ステップでそれぞれの処理を実行する。

【0085】

まず、ステップＳ１００１において、情報処理装置１０１のＣＰＵ３０１は、複数の画像を合成する配置の設定を受け付ける画面を生成する。生成された画面イメージは図１１を参照して説明する。

【0086】

次に、ステップＳ１００２において、情報処理装置１０１のＣＰＵ３０１は、画面に表示させる物理カメラの画像の選択や画像の配置位置の選択を受け付ける。具体的な画像選択や配置位置の選択の方法を図１１を参照して以下で説明する。

【0087】

図１１は、図１０のステップＳ１００１の実行時に、情報処理装置１０１のディスプレイ３１０に表示される画面イメージの一例を示す模式図である。

【0088】

１１００は、情報処理装置１０１のディスプレイ３１０に表示される画面イメージであり、１１０１には、設定済みの合成配置パターンと、図６のカメラ選択画面６００のカメラドライバ名として表示される名称（１１０１の場合、「カメラＣ」）が表示されている。この名称部分をマウスなどのポインティングデバイスでクリックすると、後述する図１２の合成配置パターン編集画面へと遷移する。図１２については後述する。なお、１１０１の合成配置は、２つのカメラ映像を並列に表示させるイメージである。

【0089】

１１０２のチェックボックスは図６のカメラ選択画面６００に、該当のカメラを表示させるかの設定を受け付ける部品である。１１００の場合、「カメラＣ」はチェックボックスにチェックが付いていないため、カメラ選択画面６００に表示されず、「カメラＤ」はカメラ選択画面６００に表示される例である。なお、１１０２の合成配置は、カメラＡの中にカメラＢの画像を重畳させている所謂ＰｉｎＰでの表示イメージである。

【0090】

１１０３の「新規追加」部分をマウスなどのポインティングデバイスでクリックすると、後述する図１２の合成配置パターン編集画面へと遷移する。図１２については後述する。

【0091】

１１０４の［ＯＫ］ボタンが押下されれば、現在の設定で確定して、この画面を閉じ、１１０５の［キャンセル］ボタンが押下されれば、表示の設定を記憶せず、この画面を閉じる。

【0092】

次に、図１２の合成配置パターン編集画面の説明を行う。

【0093】

図１２は、図１１において、１１０１の名称部分や「新規追加」部分がクリックなどされた場合に開始される画面イメージである。

【0094】

１２００は、情報処理装置１０１のディスプレイ３１０に表示される画面イメージであり、１２０１には、図６のカメラ選択画面６００にカメラドライバ名として表示される名称（１２０１の場合、「カメラＥ」）が表示されており、この部分をマウスなどのポインティングデバイスでクリックすると表示される名称を変更できる。

【0095】

１２０２は、合成配置後の全体画像のイメージを表示する領域であり、１２０３は、物理カメラからの映像を表示する枠である。１２０３の枠は１２０２領域内を移動、拡大縮小することができ、１２０３の枠の操作により、合成配置後の全体イメージの中の表示割合を編集することができる。

【0096】

１２０４の［ＯＫ］ボタンが押下されれば、現在の設定で確定して、この画面を閉じ、１２０５の［キャンセル］ボタンが押下されれば、表示の設定を記憶せず、この画面を閉じる。以上で、図１１と図１２の画面イメージ説明を終え、図１０のフローチャートの説明に戻る。

【0097】

図１０のステップＳ１００２の後、ステップＳ１００３へと処理を遷移すると、情報処理装置１０１のＣＰＵ３０１は、物理カメラの映像の合成配置パターンを更に追加するかを問う画面（不図示）を表示し、追加すると設定された場合はステップＳ１００２へと処理を戻し、処理を繰り返す。追加するパターンがないと設定された場合は図１０のフローチャートの処理を終了する。図５のフローチャートの説明に戻る。

【0098】

ステップＳ５０６では、情報処理装置１０１のＣＰＵ３０１は、カメラ選択画面６００で使用するカメラの選択を受け付ける。より具体的には、カメラ選択画面６００に表示されているカメラ一覧画面６００で、存在するカメラデバイス１０３の二台以上から取得した画像を合成配置した仮想のカメラ（図６の場合、６０５か６０６）の何れか1つの指定を受け付けることにより、所望の配置に合成するよう情報処理装置１０１の合成部４１２が機能する。

【0099】

ステップＳ５０６でたとえば、図６のカメラ選択画面６００で６０５が選択されると、図８のようなイメージのように２つの物理カメラの映像を並列に表示する合成を行う。図６のカメラ選択画面６００で６０６が選択されると、図７のようなイメージのように１つの物理カメラの映像ＡにＰｉｎＰで映像Ｂを合成している。

【0100】

ステップＳ５０７では、情報処理装置１０１のＣＰＵ３０１は、ステップＳ５０６で選択を受け付けたカメラデバイス１０３、または存在するカメラデバイス１０３の二台以上から取得した画像を合成配置した仮想のカメラから画像を取得する。

【0101】

ステップＳ５０８では、情報処理装置１０１のＣＰＵ３０１は、通信部４１３の機能によりステップＳ５０７でミキシングした画像をウェブ会議サーバ１００に送信する。

【0102】

ステップＳ５０９では、ウェブ会議サーバ１００のＣＰＵ２０１は、受信制御部４２２の機能により、情報処理装置１０１から送信された画像を受信する。情報処理装置１０１から受信した画像は、記憶部４２３に記憶され、ウェブ会議サーバ１００の送信制御部４２４の機能により、ウェブ会議に参加している他の情報処理装置１０２に送信される。ウェブ会議サーバ１００は、情報処理装置１０１から受信した画像を次々に情報処理装置１０２に送信することで、映像としてウェブ会議の画像を複数の情報処理装置１０２と共有する。図９は、他の情報処理装置１０２に送信され、表示されているイメージを表示している。図９は、カメラ選択画面６００で６０６が選択された例であり、そのため、画面イメージは図７の７００と同様の映像が表示されている。

【0103】

ステップＳ５１０では、情報処理装置１０１のＣＰＵ３０１は、ステップＳ５０６で選択を受け付けたカメラデバイス１０３、または存在するカメラデバイス１０３の二台以上から取得した画像を合成配置した仮想のカメラの変更指示を受け付けたか否かを判定する。より具体的には、図９のカメラデバイス変更ボタン９０１の押下を受け付けることにより、情報処理装置１０１は、図６のカメラ選択画面６００をディスプレイ３１０に表示する。そして、カメラ選択画面６００で再度カメラデバイス１０３、または存在するカメラデバイス１０３の二台以上から取得した画像を合成配置した仮想のカメラの選択を受け付けることにより、所望の合成配置へ変更することが可能である。このとき、カメラ選択画面６００を必ず表示しなくて良い。つまり、存在するカメラデバイス１０３の選択を変更し得る他の手段、一例を挙げるならショートカットキーなどの機能により、存在するカメラデバイス１０３の二台以上から取得した画像を合成配置した仮想のカメラへの変更も可能である。

【0104】

ステップＳ５１１では、情報処理装置１０１のＣＰＵ３０１は、会議を終了するか否かを判定する。より具体的には、不図示の会議終了ボタン押下等の指示を受け付けることにより、会議を終了するか否かを判定する。会議終了と判定しなかった場合は、情報処理装置１０１のＣＰＵ３０１は、ステップＳ５１０に処理を戻し、会議が終了するまでカメラデバイス１０３から取得した画像をウェブ会議サーバ１００に送信する。会議終了と判定した場合は、情報処理装置１０１のＣＰＵ３０１は、一連の処理を終了する。

【0105】

以上で、本発明の実施形態である情報処理装置の複数カメラ入力処理を例示するフローチャートの説明を終了する。この一連の処理により、複数のカメラデバイス１０３から撮像された画像の配置順を適宜入れ替え可能な状態で他の情報処理装置１０２に共有可能な配信画像を出力することができる。つまり、この処理により、場面に応じた表示形態で映像を他拠点に配信することが可能となり、仮想カメラの種類をＷｅｂ会議中に変更することが可能になるため、プレゼンテーション会場や会議会場の様子の共有を、他拠点においても効果的に臨場感のあるのものにできる。また、一般的には、複数のカメラデバイス１０３から取得した映像はそれぞれのカメラ映像として他拠点に配信するため、カメラデバイス１０３が増えれば増えるほど通信負荷は高くなる。しかしながら、情報処理装置１０１は、複数のカメラデバイス１０３の映像を合成して配信しているため、映像を他拠点に配信するための通信帯域を効果的に利用することが可能となる。

【0106】

このように、情報処理装置で複数のカメラの画像の合成や配置の変更をＷｅｂ会議中に実行可能な効果を奏する。

【0107】

本発明の実施形態においては、情報処理装置１０１と他の情報処理装置１０２を一例に説明を行ったが、ウェブ会議に参加するホストコンピュータ（情報処理装置１０１）以外のゲストコンピュータは、複数存在してよい。

【0108】

尚、上述した実施形態においてはウェブ会議を例にあげて本発明の説明をしたが、本発明は例えばテレビ会議、テレビ電話等にも適用可能である。ウェブ会議、テレビ会議、テレビ電話等の電子データを用いた会議を電子会議という。

【0109】

以上、本発明は、例えば、システム、装置、方法、プログラムもしくは記録媒体等としての実施態様をとることが可能である。具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

【0110】

また、本発明におけるプログラムは、本実施形態に示すフローチャートの処理方法をコンピュータが実行可能なプログラムであり、本発明の記憶媒体はコンピュータが実行可能なプログラムが記憶されている。尚、本発明におけるプログラムは各装置の処理方法ごとのプログラムであってもよい。

【0111】

以上のように、前述した実施形態の機能を実現するプログラムを記録した記録媒体をシステムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムを読み出し、実行することによっても本発明の目的が達成されることは言うまでもない。

【0112】

この場合、記録媒体から読み出されたプログラム自体が本発明の新規な機能を実現することになり、そのプログラムを記録した記録媒体は本発明を構成することになる。

【0113】

プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＤＶＤ－ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＥＥＰＲＯＭ、シリコンディスク等を用いることが出来る。

【0114】

また、コンピュータが読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

【0115】

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

【0116】

また、本発明は、複数の機器から構成されるシステムに適用しても、ひとつの機器から成る装置に適用しても良い。また、本発明は、システムあるいは装置にプログラムを供給することによって達成される場合にも適用できることは言うまでもない。この場合、本発明を達成するためのプログラムを格納した記録媒体を該システムあるいは装置に読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。

【0117】

さらに、本発明を達成するためのプログラムをネットワーク上のサーバ、データベース等から通信プログラムによりダウンロードして読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。尚、上述した各実施形態およびその変形例を組み合わせた構成も全て本発明に含まれるものである。

【符号の説明】

【0118】

１００ ウェブ会議サーバ
１０１ 情報処理装置
１０２ 情報処理装置
１０３ カメラデバイス
２０１ ＣＰＵ
２０８ 通信Ｉ／Ｆコントローラ
２１１ 外部メモリ
３０１ ＣＰＵ
３０８ 通信Ｉ／Ｆコントローラ
３０９ 入力デバイス
３１０ ディスプレイ
３１１ 外部メモリ
３１４ カメラ
５００ ＬＡＮ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】