(58)【調査した分野】(Int.Cl.,DB名)
前記撮影モード情報における撮影可能となる前記撮影領域の範囲は、カメラを固定して設置した時の正面からの角度により示される稼働領域、撮影サイズを示す倍率、によって定義されるものであって、
前記終了条件は、指定の時間を経過した後、該終了条件を満たす状態になったと見なされるものであって、
前記撮影モード情報における撮影において、前記認識対象を含む範囲において、前記倍率を大きくするようカメラを制御することを特徴とすることを特徴とする請求項2乃至請求項4に記載のいずれか1項に情報処理装置。
【発明を実施するための形態】
【0013】
以下、本発明の実施の形態を、図面を参照して詳細に説明する。
【0014】
図1は、本発明の実施形態に係わるシステム構成の一例を示す図である。
【0015】
本発明のクライアント装置102(情報処理装置)は、例えば、パーソナルコンピュータであり、ネットワーク通信機能を備え、ネットワーク103(LAN、WANなど)を介して会議サーバ101(会議支援サーバ、テレビ会議サーバ)とデータ通信が可能である。
【0016】
会議サーバ101は、クライアント装置102同士での会議を実現するためのサーバである。クライアント装置102は会議サーバ101へアクセスすることにより、会議画面(インターフェース)を取得して会議を行うことができる。
【0017】
クライアント装置102は、会議システム(会議支援システム、テレビ会議システム)を利用するユーザが操作するパーソナルコンピュータ、タブレット端末、携帯端末などであり、会議サーバ101へアクセスするためのクライアント側アプリケーション、および専用のモジュール(アプリケーション)がインストールされている。また、会議システムがウェブを利用したウェブ会議システムである場合には、クライアント側アプリケーションはウェブブラウザを用いるように構成されていてもよい。すなわち、専用のモジュールは、例えば、ウェブブラウザを介して、会議サーバ101からダウンロードするActiveX(登録商標)コンポーネントであってもよい。なお、会議システムにおいてクライアント装置102から動画像を、会議サーバ101を通じて会議の会議参加者が利用する他のクライアント装置102(自身も含んでもよい)に配信する場合は、撮像装置(不図示)を、音声を送信する場合は、マイクロフォン(不図示)を接続する。また、相手の音声を視聴するためにはスピーカ(不図示)を接続する。
【0018】
また、クライアント装置102のうちの1台が、会議サーバ101を兼ねるよう、会議サーバ101とクライアント装置102が同一筐体に構成可能であってもよい。
【0019】
図2は、会議サーバ101およびクライアント装置102に適用可能な情報処理装置のハードウェア構成例を示すブロック図である。
【0020】
図2に示すように、会議サーバ101およびクライアント装置102は、システムバス204を介してCPU(Central Processing Unit)201、RAM(Random Access Memory)203、ROM(Read Only Memory)202、入力コントローラ205、ビデオコントローラ206、メモリコントローラ207、通信I/Fコントローラ208等が接続された構成を採る。
【0021】
CPU201は、システムバス204に接続される各デバイスやコントローラを統括的に制御する。
【0022】
また、ROM202あるいは外部メモリ211には、CPU201の制御プログラムであるBIOS(Basic Input/Output System)やOS(Operating System)や、各サーバあるいは各PCが実行する機能を実現するために必要な後述する各種プログラム等が記憶されている。また、本発明を実施するために必要な情報が記憶されている。なお外部メモリはデータベースであってもよい。
【0023】
RAM203は、CPU201の主メモリ、ワークエリア等として機能する。CPU201は、処理の実行に際して必要なプログラム等をROM202あるいは外部メモリ211からRAM203にロードし、ロードしたプログラムを実行することで各種動作を実現する。
【0024】
また、入力コントローラ205は、キーボード(KB)209や不図示のマウス等のポインティングデバイス等からの入力を制御する。
【0025】
ビデオコントローラ206は、ディスプレイ210等の表示器への表示を制御する。尚、表示器は液晶ディスプレイ等の表示器でもよい。これらは、必要に応じて管理者が使用する。
【0026】
メモリコントローラ207は、ブートプログラム、各種のアプリケーション、フォントデータ、ユーザファイル、編集ファイル、各種データ等を記憶する外部記憶装置(ハードディスク(HD))や、フレキシブルディスク(FD)、あるいは、PCMCIA(Personal Computer Memory Card International Association)カードスロットにアダプタを介して接続されるコンパクトフラッシュ(登録商標)メモリ等の外部メモリ211へのアクセスを制御する。
【0027】
通信I/Fコントローラ208は、ネットワーク103を介して外部機器と接続・通信し、ネットワークでの通信制御処理を実行する。例えば、TCP/IP(Transmission Control Protocol/Internet Protocol)を用いた通信等が可能である。
【0028】
尚、CPU201は、例えばRAM203内の表示情報用領域へアウトラインフォントの展開(ラスタライズ)処理を実行することにより、ディスプレイ210上に表示することが可能である。また、CPU201は、ディスプレイ210上のマウスカーソル(図示しない)等によるユーザ指示を可能とする。
【0029】
本発明を実現するための後述する各種プログラムは、外部メモリ211に記録されており、必要に応じてRAM203にロードされることによりCPU201によって実行されるものである。さらに、上記プログラムの実行時に用いられる定義ファイルおよび各種情報テーブル等も、外部メモリ211に格納されており、これらについての詳細な説明についても後述する。
【0030】
図3は、本発明の実施形態に係る会議システムにおける構成要素を示す図である。
図3で示すとおり、すべてのユーザとルーム(会議室)は、グループに所属する(301、303)。
【0031】
システム管理者302は、会議システム全体の管理者であって、グループおよびグループ管理者の登録、変更、削除を行うと共に、会議システムに関する各種設定を行う。
【0032】
グループ管理者304は、会議システム内の管理者であって、グループ内の一般ユーザと傍聴ユーザ、ルーム、タグの登録、変更、削除を行う。
【0033】
一般ユーザ305は、グループ内で、実際に会議を行うユーザであって、会議室の予約、変更、削除を行うと共に、予約した会議への参加、フリースペースへの参加を行うことができる。なお、グループ管理者は、一般ユーザと同様に、会議室の予約や会議への参加を行うことができる。
【0034】
その他、例えば電子メールにて招待された会議にのみ参加できるユーザである「ゲストユーザ」や、グループ内で実施されている会議を傍聴する「傍聴ユーザ」がある。また、会議を行うためには、ルームを登録する必要があり、ルームの登録は、グループ管理者が行う。
【0035】
ルームには、日時、会議参加者を制限して参加するルームであって、会議を行う前に予約が必要な会議室306と、日時、会議参加者を問わず会議の予約を行わなくても、いつでも会議を行うことができる「フリースペース」307の2種類ある。ユーザは、会議の内容に応じて「会議室」と「フリースペース」を使い分けることができる。
【0036】
図4は、本発明の実施形態に係わるクライアント装置に表示される会議室を登録する画面の一例である。
【0037】
本願発明の実施形態で会議を実施する仮想会議室(本明細書では、「ルーム」という。)の設定方法について説明する。
図4は、本実施の形態において会議を行うための会議室の設定を行うルーム登録画面である。本図のルーム登録画面は、クライアント装置102を操作する会議システムの管理者ユーザ(アドミニストレーター)のアカウントでシステムにログインをし、画面左側のルーム管理の領域を押下することにより、ルーム登録画面がディスプレイに表示される。
【0038】
ルーム名401に、任意のルーム名の名称入力を受け付ける。ルームタイプ402は、「会議室」として設定するのか、「フリースペース」として設定するのかの選択を受け付ける。本発明の実施形態において「会議室」とは、会議の参加者や、開始時刻などを定めて予約をする必要があるルームのことを指す。また「フリースペース」とは会議を行うのに予約を必要とせず、参加者などの設定を特に設ける必要のない、誰でも会議に参加可能なルームのことをいう。
【0039】
定員403は、ルーム定員の設定を受け付ける。傍聴機能404の設定は、会議に招待されるユーザとは別に、会議の傍聴ユーザを許可するか否かの設定を受け付ける。会議を傍聴するユーザは、定員に空きがあればルームに入室することが可能であるが、発言権限などは制限される。
【0040】
録画機能405の設定は、当該ルームで実施される会議の録画を許可するか否かの設定を受け付ける。録画が許可されたルームであれば、会議中に「録画開始」ボタンの押下を受け付けることで、当該会議を録画することができる。
【0041】
プロファイル406では、ルームに適用させるプロファイルの選択を受け付ける。具体的には、右側の呼出ボタン押下を受け付けると、前述の
図3のプロファイル登録画面で登録したプロファイルの一覧が表示され、現在詳細設定を行っているルームに適用するプロファイルの選択を受け付けることができる。407の登録ボタンの押下を受け付けると、ルームとルームの詳細設定を会議サーバ101の管理テーブル(不図示)に登録する。
【0042】
図5は、本発明の実施形態に係わるクライアント装置102に表示される会議室を予約する画面の一例である。
【0043】
会議を行うために、会議室の予約をすることができる。これは、前述の「会議室」もしくは「フリースペース」という本発明の実施形態で想定するルームの種類のうち、会議の参加者や開始時間などを決めて予約する必要のある「会議室」タイプのルームを利用する場合に必要な予約処理である。
【0044】
会議システムの予約画面は、本実施形態の会議システムの一般ユーザアカウントでシステムにログインをし、画面左側の「会議室予約501」の領域を押下することにより、クライアント装置102の表示装置に表示される。
【0045】
会議室名502は、前述の
図4のルーム登録画面で登録をしたルーム(会議室、もしくはフリースペース)の選択を受け付け、会議タイトル503の項目で、会議名を設定する。利用日付504、利用時間505で、該当のルームの利用スケジュールを設定する。参加者506は、本実施形態の会議システムに登録されているユーザ情報を呼出し、会議の参加者(会議に招待する者)を選択する。506で、「限定する」が選択されている場合には、招待(参加)ユーザの選択画面が表示され、ユーザ情報を検索して招待するユーザの選択をする。参加者を限定しない場合には、特に参加者の設定は受け付けない。なお、会議への参加者を限定しない場合とは、例えば、フリースペース形式のルームで実施する意見交換会のような会議のことをいう。
【0046】
ゲスト参加者507の招待設定は、会議に参加してほしいユーザに招待通知(例えば、ユーザ情報と紐づくメールアドレスを宛先として送信される)を送信する場合に設定をする。ゲスト参加者を招待する場合には、ユーザ選択画面(不図示)が表示され、ユーザ情報を検索して招待するユーザの選択をする。
【0047】
会議の録画設定508は、予約する会議の録画を許可するか否かの設定を受け付ける。なお
図4のルーム登録画面において405で録画機能を「許可しない」に設定していた場合には、508の各項目はグレーアウトをして選択ができない状態となる。
【0048】
予約ボタン509の押下を受け付けると、会議の予約が完了する。会議の予約が完了すると、会議サーバ101は、会議の予約情報をサーバの記憶部に記憶し、会議予約データテーブル(不図示)を更新する。また、予約ボタン509の押下を受け付けると、予約をしたユーザおよび会議に招待されたユーザのメールアドレスに対して、会議予約メールが送信されるようにしてもよい。
【0049】
図6は、本発明の実施形態に係わるクライアント装置102に表示される会議に参加する画面の一例である。本画面を通して、クライアント装置102のユーザは、予約している会議に参加することができる。本実施の形態において会議参加画面は、本実施形態の会議システムの一般ユーザアカウントでシステムにログインをし、画面左側の「会議参加601」の領域を押下することにより、会議参加画面がディスプレイに表示される。
図6で表示されている会議室は、ログイン中のユーザアカウントが、会議の参加者として登録されている会議の一覧である。
図6では、ルームAとルームBの2つの会議室が予約されており、参加ボタン602の押下を受け付けることにより選択した会議室の会議に参加することが可能である。
【0050】
次に
図7〜
図12を用いて、カメラと撮影対象の位置関係および撮影モード(撮影設定)についての説明をする。以降は、カメラを接続したクライアント装置102が会議室に参加した状態であるものとして、会議の進行などには触れず、前述のクライアント装置102におけるカメラの制御に関してのみ説明を進める。
図12の撮影モード情報記憶部に記憶される1つの撮影モード情報は、
図7〜
図11はそれぞれが1つの撮影モードを説明するものである。撮影モードは
図12におけるデータベースに登録されているため、
図7の説明において、
図12のデータ構成の説明も行う。
【0051】
図7は、本発明の実施形態に係わる撮影モードの一例を、カメラ702と撮影対象の位置関係により説明するために使用する図である。例としてホワイトボードを固定的に撮影するものとする。
【0052】
図7において、701〜711について説明する。これらについては、
図11まで同一の対象については同一の番号を用いる。
【0053】
なお、カメラ702は原則として後述する不図示の撮影モード継続条件を満たすように、音声認識対象、画像認識対象等の認識対象、また
図12の必須領域1213を、撮影するように動作する。そのため、
図12の設定を用いて、カメラの撮影領域、倍率を調整する。
【0054】
カメラ台701(または雲台)は、カメラ702を固定するため、カメラ702と一体となった台を示している。カメラ台701は常に正面(図の中では上)を向いて設置される。従って、カメラ702の撮影角度707において、「0度」とは正面(図の中の上)を意味するものとする。具体的には、カメラ正面705で示す向きが正面であり「0度」である。
【0055】
カメラ702は、撮像装置本体を示している。カメラ702は任意の方向、すなわち360度撮影可能なデバイスであるとして説明するが、制限があってもよい。撮影している向きを撮影方向706で示す。
図7の例では、カメラ702の撮影方向706はホワイトボード703の中心を示している。
【0056】
撮影対象の例として、ホワイトボード703、講師704を用いる。講師704は、音声または画像認識による人の認識が可能であるとする。画像認識においては、カメラ702が撮影可能な領域に入っている場合に認識可能である。
【0057】
撮影角度707は、カメラ台701に対するカメラ702の角度の差である。すなわち、カメラ正面705と撮影方向706の差分が撮影角度707として示される。
図7の例では、カメラ台701とホワイトボード703の向きの差分であり「+30度」とする。
【0058】
708はカメラ702による撮影領域である。カメラ702の倍率により、撮影領域708において「同時に」撮影可能な部分であるとする。
【0059】
撮影可能範囲711は、「同時に」ではないが、カメラ702を
図12で説明する稼働領域(左右に向きを変える角度)と倍率を変更することで、いずれかのタイミングで撮影可能な左端から右端までの角度である。実際には、カメラ702の画角の関係で、カメラ702が左右に稼働する角度よりも広い範囲が撮影可能である。撮影可能左端709は撮影可能範囲711の左端、撮影可能右端710は撮影可能範囲711の右端である。
【0060】
次に、
図12の説明をする。
図12は、本発明の実施形態に係わる撮影モードの条件及びその撮影モードで撮影可能な領域などを定義するデータ項目から構成される撮影モード情報記憶部のデータ構成の一例を示す図である。
【0061】
撮影モード情報記憶部1200は、下記のデータ項目(1201〜1204、1211〜1215)などから構成されるデータベースである。
【0062】
モードID1201は、撮影モード情報記憶部1200に記憶される1つの撮影モード情報を特定するIDである。モードIDにより、以下に説明する1202〜1204、1211〜1215のデータ項目の値が取得される。
【0063】
開始条件1202は、撮影モードを切り替え、対応する撮影モード情報の各データ項目の値に従って撮影を開始するための条件である。
図7で説明するモードID=1の場合には、クライアント装置102を操作しているユーザの手動指定により指定された場合に、該当する撮影モードでの撮影が開始される。
図12においては、手動指示以外の例として、音声認識、人認識を用いる。音声認識の場合には、音声がした方向を特定する。また、人認識の場合には、撮影した画像内から人物が抽出できるか否かによる。また、特に例えば講師704の顔を記憶しておくことで、講師704と他の人物を区別して、講師704が抽出できるか否かにより条件としてもよい。人認識については、特許文献1において、モーション検出法、顔認識法などを用いたフレーミングについて記載されている。
【0064】
終了条件1203は、その撮影モードでの撮影を中止し、他の撮影モードでの撮影に切り替えるための中止の条件である。
【0065】
備考1204は、撮影モード情報がどのような目的で登録されたか、撮影モードの管理者などユーザに分かり易く説明するための情報である。例えば、これらの撮影モード情報は、不図示の撮影モード情報エディタで、クライアント装置102などからユーザに編集させることも可能である。それらのユーザのために、備考を指定してもよい。
【0066】
認識領域1211は、開始条件1202において「音声認識方法」が指定されている場合には、カメラ台701の向きに対して、いずれの向きから講師704の発話などの音声がした場合に、このモードでの撮影を開始するか条件の一部を指定するデータ項目である。詳細には、認識領域1211は、後述の
図8ではホワイトボード703と同じ804とされている。カメラ台701からの左端と右端の角度(
図8で説明する801と802に対応)が指定される。また、開始条件1202において、「人認識方向」が指定されている場合には、カメラ702の撮影領域708において、撮影した画像の中に認識対象である人物が撮影される場合の条件が指定される。
図7で説明するモードID=1の場合には、前述の通りホワイトボード703を固定で撮影するため、また開始条件1202が、手動指定であるため、認識領域1211は値が指定されていない。
【0067】
稼働領域1212は、カメラ台701のカメラ正面705に対してのカメラ702の撮影角度707の左端と右端を設定するものである。カメラ702の稼働領域1212、後述する撮影サイズ(倍率)、カメラ702の画角とあわせることで、「同時に」ではないが、カメラ702を稼働させているいずれかの状態で、撮影領域708の各部分が撮影可能となる。
図7の例(モードID=1)では、カメラ702はホワイトボード703の撮影方向706に固定するため、稼働領域1212の左端と右端はいずれも「+30度」であり動かない。また、撮影サイズ(倍率)1214は、カメラ702の稼働領域1212とともに撮影領域708を変更する方法であり、最小、最大の倍率が設定されている。
図7の場合はホワイトボード703を固定的に撮影するため、稼働領域1212とともに撮影サイズ(倍率)1214も固定(2倍)である。
【0068】
必須領域1213は、カメラ台701からの差分として、必ず撮影されるべき範囲を角度で表したものである。
図7では、ホワイトボード703の領域を示すものとして、例えばホワイトボード703の向き「+30度」から「±10度」でホワイトボード703全体が撮影可能とする。すなわちカメラ702により「+20度」から「+40度」の領域を撮影すればホワイトボード703全体が撮影領域708として撮影される。ただしこの角度は撮影サイズ(倍率)1214も関連する。
【0069】
以上、説明した数値、また
図12の撮影モード情報記憶部1200の数値はあくまで例であり、実際にはカメラ702の仕様(前述の画角などレンズの仕様も含むものとする)やカメラ702を置いた位置(撮影対象との距離)などと関連するものであり、本発明の内容を限定するものではない。
【0070】
優先順位1215は、開始条件1202の条件が同時に複数満たされた場合に、撮影モード情報を使用する優先順位である。開始条件が手動である場合には優先順位1215は参照されない。
【0071】
図8は、本発明の実施形態に係わる撮影モードの一例を、カメラと撮影対象の位置関係により説明するために使用する図である。例として、ホワイトボード703上に、講師704が何らかの書き込みをしている際に、講師704および周辺(ホワイトボード703全体よりは撮影領域708を狭くする。すなわち倍率を上げて書き込み内容を見やすくする)を撮影する撮影モード(
図12のモードID=2)である。
【0072】
講師704が、認識領域804の認識条件左端801(認識領域1211の左端)に入ると、モードID=2の開始条件1202が満たされ、他の撮影モードでの撮影が継続していなければ、モードID=2での撮影に移行する。
【0073】
講師704およびその周辺(特に書き込みをしている手元)を拡大して撮影するため、撮影サイズ(倍率)1214は常に4倍となっている。
図7の例では、撮影サイズ(倍率)1214を「2倍」に固定しているため、撮影角度707を「+30度」、画角が左右に10度で必須領域1213の左端(+20度)から、右端(+40度)までの20度の範囲が撮影領域708となる。しかし、
図8の例では、撮影サイズ(倍率)1214を「4倍」に固定しているため、「+30度」を中心として、「+25度」(左へ「−5度」)、「+35度」(右へ「+5度」)、カメラ702を稼働させる必要がある。
【0074】
撮影方向706(撮影角度707)にカメラを向けたときには、ホワイトボード703の左端が撮影領域708の左端に一致する。
【0075】
なお、
図8の例では、撮影可能範囲711(すなわち、撮影可能左端709と撮影可能右端710内の範囲)が、認識領域804(すなわち、認識条件左端801と認識条件右端802の範囲)と同一である。
【0076】
図9は、本発明の実施形態に係わる撮影モードの一例を、カメラと撮影対象の位置関係により説明するために使用する図である。ホワイトボード703全体と、ホワイトボード703の周辺にいる講師704を撮影するための撮影モード(モードID=3)である。
【0077】
図9においては、認識領域804における認識条件左端801と、撮影可能左端709が異なっている。すなわち、認識条件左端801の角度の方が小さいため、講師704が撮影画像に撮影されていなくとも、発話が条件を満たす範囲にあれば、「モードID=3」での撮影の開始条件1202を満たすことになる。
【0078】
また、撮影可能左端709は、ホワイトボード703よりも左側まで撮影するように稼働領域1212が設定されている。
【0079】
また、必須領域1213(左端「+20度」、右端「+40度」)、すなわちホワイトボード703を必須で撮影するように指定している。これにより、講師704の立ち位置が、ホワイトボード703に完全に重なるときには、「モードID=1」の場合と同様、2倍で撮影可能であるが、
図9のようにホワイトボード703の左側の離れた位置に立った場合には、倍率を下げて撮影する必要がある。そのための倍率を指定する範囲が、撮影サイズ(倍率)1214の最小、最大で設定される。
【0080】
実際には、前述の必須領域1213で設定した左端、右端の角度は撮影サイズ(倍率)によって変わるため、設定に際しては、例えば特定の倍率の時に基づいて設定することとしてもよい。あるいは、前述の講師704を画像認識したように、ホワイトボード703も画像として記憶させておき、稼働領域1212、撮影サイズ(倍率)1214の条件の範囲であって、且つホワイトボード703の右端と、講師704ができるだけ大きく撮影されるように自動的に倍率を変更させてもよい。すなわち、条件を満たさなくなる直前まで、倍率をあげるという処理にすることが可能である。
【0081】
なお、
図8(モードID=2)と
図9(モードID=3)の開始条件1202は同じものであり、認識領域1211も一部は重なっている。そのため、両方のモードの開始条件を満たしてしまう場合がある。このとき、いずれのモードIDで撮影を行うか(あるいは切り替えるか)を判定するため、優先順位1215が指定される。
【0082】
例えば、
図9で撮影している(モードID=3状態であり、ホワイトボード703全体と講師704を撮影している)状態において、講師704がホワイトボード703の位置に重なると、講師704とその周辺(ホワイトボード703に何らかの記入をしている手元周辺)を拡大して撮影する、優先順位1215が高い
図8(モードID=2)の状態に切り替わる。
【0083】
図10は、本発明の実施形態に係わる撮影モードの一例を、カメラと撮影対象の位置関係により説明するために使用する図である。例として、正面に立っている講師704を撮影するモードである(モードID=4)。
【0084】
図10で示す状態では、講師704が演台に立っており、カメラ702は、カメラ正面705を向いている。すなわち、講師704a、撮影方向706a、撮影領域708aとなる。しかし、講演しながら演台の周辺を歩き回ることを想定して、稼働領域1212(左端「−10度」、右端「+10度」)を設定する。この場合、講師704b、撮影方向706b、撮影領域708bとなる。さらに、カメラ702から講師704の距離に応じて、撮影サイズ(倍率)1214は、最小2倍から最大3倍まで変化する。
【0085】
倍率の変化は、撮影対象(この場合は講師704)が撮影した画像内に占める面積を特定し、画像全体に対する比率を一定以上にする、あるいは、撮影対象の左端と右端を画像処理により認識し、画像の左端と右端に一致する(所定のマージンを設けてもよい)ように変化させる。
【0086】
前述の「面積の比率」、「所定のマージン」は、不図示の設定記憶部を設ける。また、クライアント装置102のユーザが、設定可能なように登録・編集ツールを用意してもよい。
【0087】
図11は、本発明の実施形態に係わる撮影モードの一例を、カメラと撮影対象の位置関係により説明するために使用する図である。講習会などで、講師704、受講者1101のうち、発言している人を音声で認識する。不図示の撮影モード継続条件を発話している人とし、撮影モードが変わらない限り(モードID=5)発話者が変わった場合にも追跡して撮影する。
【0088】
図12における「モードID=5」の情報では、カメラ702の稼働領域1212は306度の全てを撮影可能である。また、音声を認識した方向における発話者の距離が近い場合でも遠い場合でも対応可能にするため、撮影サイズ(倍率)1214を「1倍〜6倍」として、撮影対象を特定した場合に、できる限り大きく撮影するようにする。
【0089】
以上で、カメラと撮影対象の位置関係および撮影モード(撮影設定)についての説明を完了する。なお、前述の説明において、撮影モード情報記憶部1200に記憶される認識領域1211、稼働領域1212、必須領域1213については、「左端」、「右端」として説明してきたが、「上端」、「下端」を登録して、上下方向の稼働を可能なようにしてもよい。
【0090】
次に
図13、
図14のフローチャートを用いてカメラ702の撮影モードの切り替えについて説明する。また、
図13、
図14で説明する処理は、あくまで撮影モードの切り替えであって、一部のステップで撮影された画像を利用する部分はあるが、基本的に撮影は別のプロセスで並行して処理されているものとする。
【0091】
図13は、本発明の実施形態に係わる撮影モードの自動、手動切り替えの処理を示すフローチャートの一例である。
図13のフローチャートにおける各ステップは、クライアント装置102のCPU201によって実行される。
【0092】
S1301においては、ユーザからの指示として、会議システム、あるいはカメラ702の撮影モードを切り替える処理を終了する指示を受け付けているか否かを判断する。終了指示がある場合(ありの場合)には、
図13のフローチャートを終了する。終了指示がない場合(なしの場合)には、S1302に進む。
【0093】
S1302においては、現在の撮影モードにおける撮影処理が行われる。詳細は、
図14のフローチャートで説明する。
【0094】
S1303においては、ユーザによる撮影モードの変更指示が受け付けられたか否かを判定する。変更指示がある場合(YESの場合)は、S1307に進み、ユーザが指示した撮影モードに切り替える。変更指示がない場合(NOの場合)には、S1304に進む。
【0095】
S1304においては、現在の撮影モードではない、他の撮影モードで開始条件を満たす撮影モード情報があるか否かを判定する。具体的には、現在のカメラ702の状況などを確認し、撮影モード情報記憶部1200の開始条件1202が、開始条件を満たす撮影モード情報があるか否かを判定する。開始条件1202を満たす撮影モード情報が存在しない場合(NOの場合)には、S1301に進み、現状の撮影モードでの撮影を継続する。存在する場合(YESの場合)には、S1305に進む。
【0096】
S1305においては、現在の撮影モードの終了条件を満たすか否かを判定する。具体的には、現在のカメラ702の状況などを確認し、撮影モード情報記憶部1200における現在の撮影モードに対応する終了条件1203が満たされるか否かを判定する。満たされる場合(YESの場合)には、終了条件1203における時間経過を確認するためS1306に進む。満たさない場合(NOの場合)には、S1301に進み、現在の撮影モードでの撮影を継続する。また、終了条件を満たしていなくとも、他の撮影モードで優先順位が高いものが開始条件を満たす場合には、現在の撮影条件が終了条件を満たしていない場合と同様に判定するように該判定処理を実装してもよい。
【0097】
S1306においては、前述の「終了条件を満たす状態」が終了条件内に指定された所定時間だけ経過しているか否かを判定する。所定時間を経過している場合(YESの場合の場合)には、S1307に進む。そうでない場合(NOの場合)には、S1301に進み、現在の撮影モードでの撮影を継続する。
【0098】
S1307においては、新しく設定する撮影モードを決定し、設定する。具体的には、S1304において開始条件を満たすと判定された撮影モード情報から優先順位をもとにして、1つの撮影モードを選択する。
以上で、
図13のフローチャートの説明を完了する。
【0099】
図14は、本発明の実施形態に係わる1つの撮影モードでの撮影中のカメラの制御および撮影モードの継続、終了の判断処理を示すフローチャートの一例である。
図14のフローチャートにおける各ステップは、クライアント装置102のCPU201によって実行される。
【0100】
S1401においては、現在の撮影モードにおける稼働領域1212、撮影サイズ(倍率)1214が固定であるか否かを判定する。固定である場合(YESの場合)には、S1402に進む。固定ではない場合(NOの場合)には、S1405に進む。
【0101】
S1402においては、撮影対象が画像内に撮影されているか否かを判定する。具体的には、開始条件1202と同じ条件にて判定する。あるいは、開始条件1202において条件が音声認識方向である場合には、実際に撮影対象が撮影されていない可能性もある。例えば、講師704の発話は認識領域1211内に含まれているが、この認識領域1211が撮影領域708より広く、講師704が撮影されていない場合である。そのため、S1402の判定をするため、人が撮影領域708の中に撮影されているか判定するための条件(撮影モード継続条件)を用意し、例えば音声認識による場合には開始条件1202と同じ条件、人認識による場合には撮影モード継続条件と同じ条件を用いる、あるいは両者を独自に設定できるようにしてもよい。撮影対象が撮影されている場合(YESの場合)には、S1403に進む。撮影されていない場合(NOの場合)には、S1404に進む。
【0102】
S1403においては、現在の撮影モードの撮影モード継続条件を満たしている旨を指定して、
図14のフローチャートを完了する。
【0103】
S1404においては、現在の撮影モードの撮影モード継続条件を満たしていない旨を指定して、
図14のフローチャートを完了する。
【0104】
S1405においては、認識処理(音声認識)などにより、撮影する認識対象(例えば講師704)がいる方向を取得する。
【0105】
S1406においては、カメラ702の撮影角度707を稼働領域1212の範囲内で認識対象の方向に向ける。
【0106】
S1407においては、カメラ702の撮影角度707を変更した結果、撮影対象が撮影されたか否かを判定する。撮影された場合(YESの場合)には、S1408に進む。撮影されない場合(NOの場合)には、S1409に進む。
【0107】
S1408においては、現在の撮影モードの撮影モード継続条件を満たしている旨を指定して、
図14のフローチャートを完了する。
【0108】
S1409においては、現在の撮影モードにおいて撮影サイズ(倍率)1214を下げることが可能か否かを判定する。すなわち、条件判定に必要な撮影対象が撮影されていないため、倍率を下げることにより撮影領域708を広くすることによって撮影されるか否かを判定する。倍率を下げることが可能な場合(YESの場合。撮影領域を広くできる場合)には、S1411に進む。可能ではない場合(NOの場合)には、S1410に進む。
【0109】
S1410においては、現在の撮影モードの撮影モード継続条件を満たしていない旨を指定して、
図14のフローチャートを完了する。
【0110】
S1411においては、倍率を下げて、さらにS1407に進む。
【0111】
なお、1つのクライアント装置102において、同時に1台または複数台のカメラ702を制御可能である。複数の場合、例えば、1台は、ホワイトボード703を固定して撮影し、もう1台は、講師704を撮影するようにする。
【0112】
カメラ702が複数台の場合、それぞれのカメラ702に対応する撮影モード情報記憶部1200が存在してもよいし、撮影モード情報記憶部1200のデータ項目として、どのカメラ702を制御する撮影モード情報であるかを特定するため、カメラ702を特定する識別子を含むようにしてもよい。
【0113】
また、クライアント装置102においてカメラ702の撮影モードを手動指定するユーザに対しては、操作画面を提供し、いずれのカメラ702を操作指示しているのかわかるようにする。
【0114】
以上の処理により、クライアント装置102は、カメラ702が撮影モードに従って適切な撮影対象を撮影するように制御し、また、撮影対象が撮影できない状態となった場合には、自動的、またはユーザの指示により撮影モードを変更するという効果を得ることができる。
以上で、
図14のフローチャートの説明を完了する。
【0115】
以上、会議システムを例としてカメラの制御の実施形態を説明したが、必ずしも会議システムに限定されない。他のシステムとしては、例えば監視カメラシステムなどがあげられる。
【0116】
なお、上述した各種データの構成及びその内容はこれに限定されるものではなく、用途や目的に応じて、様々な構成や内容で構成されることは言うまでもない。
【0117】
以上、一実施形態について示したが、本発明は、例えば、システム、装置、方法、プログラムもしくは記録媒体等としての実施態様をとることが可能であり、具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
【0118】
また、本発明におけるプログラムは、
図13、
図14に示すフローチャートの処理方法をコンピュータが実行可能なプログラムであり、本発明の記憶媒体は
図13、
図14の処理方法をコンピュータが実行可能なプログラムが記憶されている。なお、本発明におけるプログラムは
図13、
図14の各装置の処理方法ごとのプログラムであってもよい。
【0119】
以上のように、前述した実施形態の機能を実現するプログラムを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記録媒体に格納されたプログラムを読出し実行することによっても、本発明の目的が達成されることは言うまでもない。
【0120】
この場合、記録媒体から読み出されたプログラム自体が本発明の新規な機能を実現することになり、そのプログラムを記憶した記録媒体は本発明を構成することになる。
【0121】
プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、CD−ROM、CD−R、DVD−ROM、磁気テープ、不揮発性のメモリカード、ROM、EEPROM、シリコンディスク、ソリッドステートドライブ等を用いることができる。
【0122】
また、コンピュータが読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、コンピュータ上で稼働しているOS(オペレーティングシステム)等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【0123】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPU等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【0124】
また、本発明は、複数の機器から構成されるシステムに適用しても、1つの機器からなる装置に適用してもよい。また、本発明は、システムあるいは装置にプログラムを供給することによって達成される場合にも適応できることは言うまでもない。この場合、本発明を達成するためのプログラムを格納した記録媒体を該システムあるいは装置に読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。さらに、本発明を達成するためのプログラムをネットワーク上のサーバ、データベース等から通信プログラムによりダウンロードして読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。
【0125】
なお、上述した各実施形態およびその変形例を組み合わせた構成も全て本発明に含まれるものである。