特開 2024-175919 情報処理装置、情報処理装置の制御方法、プログラム、及び撮像システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024175919

(43)【公開日】2024-12-19

(54)【発明の名称】情報処理装置、情報処理装置の制御方法、プログラム、及び撮像システム

(51)【国際特許分類】

   H04N 23/69 20230101AFI20241212BHJP

   H04N 23/661 20230101ALI20241212BHJP

   H04N 23/60 20230101ALI20241212BHJP

   H04N 23/667 20230101ALI20241212BHJP

   H04N 23/63 20230101ALI20241212BHJP

【ＦＩ】

H04N23/69

H04N23/661

H04N23/60 500

H04N23/667

H04N23/63 100

【審査請求】未請求

【請求項の数】18

【出願形態】ＯＬ

(21)【出願番号】P 2023094022

(22)【出願日】2023-06-07

(71)【出願人】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100114775

【弁理士】

【氏名又は名称】高岡 亮一

(74)【代理人】

【識別番号】100121511

【弁理士】

【氏名又は名称】小田 直

(74)【代理人】

【識別番号】100208580

【弁理士】

【氏名又は名称】三好 玲奈

(72)【発明者】

【氏名】清水 信伍

【テーマコード（参考）】

5C122

【Ｆターム（参考）】

5C122EA61

5C122EA63

5C122EA66

5C122FA01

5C122FA07

5C122FE05

5C122FH09

5C122FK28

5C122FK40

5C122GC77

5C122GD06

5C122HA87

5C122HB01

(57)【要約】      （修正有）

【課題】撮像装置に対してズーム等の制御がなされたときに各クロップ領域においてユーザが意図した画角等を維持させる。
【解決手段】撮像システムにおいて、情報処理装置（コントローラ）２００は、第１の画像に対して、複数のクロップ領域の設定及び複数のクロップ領域における画角を制御する画角制御モードを設定可能な設定画面を表示させ、クロップ領域が設定された画像を第２の画像として出力し、画角制御モードの設定に応じて画像に対するクロップ領域のサイズ及び位置を変化させる表示制御部を有し、ズーム倍率が変更された際、複数のクロップ領域のうち、画角制御モードが設定されていないクロップ領域のズーム倍率が変更される前の画像に対するサイズ及び位置をズーム倍率に応じて変化させず、画角制御モードが設定されているクロップ領域のズーム倍率が変更される前の画像に対するサイズ及び位置をズーム倍率に応じて画角を維持するように変化させる。
【選択図】図１

【特許請求の範囲】

【請求項1】

撮像装置における撮像手段により撮像された第１の画像に対して、複数のクロップ領域の設定及び前記複数のクロップ領域における画角を制御する画角制御モードを設定可能な設定画面を表示装置上に表示させる制御手段と、
前記クロップ領域が設定された画像を第２の画像として出力する出力手段と、
前記画角制御モードの設定に応じて画像に対する前記クロップ領域のサイズ及び位置を変化させる変化手段と、を有し、
前記変化手段は、前記撮像装置のズーム倍率が変更された際、複数の前記クロップ領域のうち、前記画角制御モードが設定されていないクロップ領域の前記ズーム倍率が変更される前の画像に対するサイズ及び位置を前記ズーム倍率に応じて変化させず、前記画角制御モードが設定されているクロップ領域の前記ズーム倍率が変更される前の画像に対するサイズ及び位置を前記ズーム倍率に応じて前記画角を維持するように変化させる、
ことを特徴とする情報処理装置。

【請求項2】

前記制御手段は、前記第１の画像に対し前記画角制御モードの設定がある第１クロップ領域と、前記画角制御モードの設定がない第２クロップ領域とを設定可能な設定画面を前記表示装置上に表示させることを特徴とする請求項１に記載の情報処理装置。

【請求項3】

前記制御手段は、前記ズーム倍率が変化した際に前記画角制御モードが設定されたクロップ領域の画角が維持できない場合、前記画角制御モードが設定されたクロップ領域における前記画角制御モードの設定を無効化することを特徴とする請求項１に記載の情報処理装置。

【請求項4】

前記制御手段は、前記画角制御モードが設定されたクロップ領域における前記画角が維持できる範囲内で前記ズーム倍率を制限することを特徴とする請求項１に記載の情報処理装置。

【請求項5】

前記制御手段は、前記ズーム倍率が大きくなり、前記画角制御モードが設定されたクロップ領域の少なくとも一部が、前記ズーム倍率が変更される前の画像の端または範囲外となった場合、前記画角制御モードが設定されたクロップ領域における前記画角制御モードの設定を無効化することを特徴とする請求項１に記載の情報処理装置。

【請求項6】

前記制御手段は、前記ズーム倍率が小さくなり、前記画角制御モードが設定されたクロップ領域の全域が、前記ズーム倍率が変更される前の画像内に収まった場合、前記画角制御モードの設定を無効化したクロップ領域に対して前記画角制御モードの設定を有効化することを特徴とする請求項５に記載の情報処理装置。

【請求項7】

前記制御手段は、前記撮像装置の撮像方向が変化した際、前記画角制御モードが設定されたクロップ領域の少なくとも一部が、前記撮像方向が変化する前の画像の端または範囲外となった場合、前記画角制御モードが設定されたクロップ領域における前記画角制御モードの設定を無効化することを特徴とする請求項１に記載の情報処理装置。

【請求項8】

前記制御手段は、前記撮像方向が変化して、前記画角制御モードが設定されたクロップ領域の全域が前記画像内に収まった場合、前記画角制御モードの設定を無効化したクロップ領域に対して前記画角制御モードの設定を有効化することを特徴とする請求項７に記載の情報処理装置。

【請求項9】

前記制御手段は、前記画角制御モードが設定されたクロップ領域における前記画角が維持できる範囲内となるように前記撮像装置の撮像方向を変化させる駆動手段の駆動を制限することを特徴とする請求項１に記載の情報処理装置。

【請求項10】

前記制御手段は、前記ズーム倍率が小さくなり、前記画角制御モードが設定されたクロップ領域の画質を維持できない場合、前記画角制御モードが設定されたクロップ領域の前記画角制御モードの設定を無効化することを特徴とする請求項１に記載の情報処理装置。

【請求項11】

前記制御手段は、前記画角制御モードが設定されたクロップ領域における前記画質が維持できる範囲内で前記ズーム倍率を制限することを特徴とする請求項１０に記載の情報処理装置。

【請求項12】

前記制御手段は、前記ズーム倍率が小さくなり、前記画角制御モードが設定されたクロップ領域の画素数が、前記出力手段が前記第２の画像を出力する際の解像度の画素数未満となった場合、前記画角制御モードが設定されたクロップ領域の前記画角制御モードの設定を無効化することを特徴とする請求項１に記載の情報処理装置。

【請求項13】

前記制御手段は、前記ズーム倍率が大きくなり、前記画角制御モードが設定されたクロップ領域の画素数が前記解像度の画素数以上となった場合、前記画角制御モードの設定を無効化した前記クロップ領域に対して前記画角制御モードを有効化することを特徴とする請求項１２に記載の情報処理装置。

【請求項14】

前記制御手段は、前記画角制御モードが設定されたクロップ領域の画素数と前記出力手段が前記第２の画像を出力する際の解像度の画素数の比率に応じて、前記クロップ領域における前記画角制御モードの設定を無効化または有効化することを特徴とする請求項１に記載の情報処理装置。

【請求項15】

前記設定画面には、少なくとも設定された前記クロップ領域の座標の情報、幅及び高さの情報の情報、前記画角制御モードの設定状態が表示されることを特徴とする請求項１に記載の情報処理装置。

【請求項16】

情報処理装置の制御方法であって、
撮像装置における撮像手段により撮像された第１の画像に対して、複数のクロップ領域の設定及び前記複数のクロップ領域における画角を制御する画角制御モードを設定可能な設定画面を表示装置上に表示させる表示工程と、
前記クロップ領域が設定された画像を第２の画像として出力する出力工程と、
前記画角制御モードの設定に応じて画像に対する前記クロップ領域のサイズ及び位置を変化させる変化工程と、を有し、
前記変化工程では、前記撮像装置のズーム倍率が変更された際、複数の前記クロップ領域のうち、前記画角制御モードが設定されていないクロップ領域のズーム倍率が変更される前の画像に対するサイズ及び位置を前記ズーム倍率に応じて変化させず、前記画角制御モードが設定されているクロップ領域の前記ズーム倍率が変更される前の画像に対するサイズ及び位置を前記ズーム倍率に応じて前記画角を維持するように変化させる、
ことを特徴とする情報処理装置の制御方法。

【請求項17】

情報処理装置の制御方法をコンピュータに実行させるためのプログラムであって、前記プログラムは前記コンピュータに、
撮像装置における撮像手段により撮像された第１の画像に対して、複数のクロップ領域の設定及び前記複数のクロップ領域における画角を制御する画角制御モードを設定可能な設定画面を表示装置上に表示させる表示工程と、
前記クロップ領域が設定された画像を第２の画像として出力する出力工程と、
前記画角制御モードの設定に応じて画像に対する前記クロップ領域のサイズ及び位置を変化させる変化工程と、を実行させ、
前記変化工程では、前記撮像装置のズーム倍率が変更された際、複数の前記クロップ領域のうち、前記画角制御モードが設定されていないクロップ領域のズーム倍率が変更される前の画像に対するサイズ及び位置を前記ズーム倍率に応じて変化させず、前記画角制御モードが設定されているクロップ領域の前記ズーム倍率が変更される前の画像に対するサイズ及び位置を前記ズーム倍率に応じて前記画角を維持するように変化させる、
ことを特徴とするプログラム。

【請求項18】

少なくとも１台の撮像装置と、前記撮像装置と通信可能に接続される情報処理装置を含む撮像システムであって、
前記撮像装置は、
第１の画像を取得する撮像手段と、
前記撮像装置におけるズーム倍率を変化させるズーム手段と、を有し、
前記情報処理装置は、
前記第１の画像に対して、複数のクロップ領域の設定及び前記複数のクロップ領域における画角を制御する画角制御モードを設定可能な設定画面を表示装置上に表示させる制御手段と、
前記クロップ領域が設定された画像を第２の画像として出力する出力手段と、
前記画角制御モードの設定に応じて画像に対する前記クロップ領域のサイズ及び位置を変化させる変化手段と、を有し、
前記変化手段は、前記ズーム倍率が変更された際、複数の前記クロップ領域のうち、前記画角制御モードが設定されていないクロップ領域のズーム倍率が変更される前の画像に対するサイズ及び位置を前記ズーム倍率に応じて変化させず、前記画角制御モードが設定されているクロップ領域の前記ズーム倍率が変更される前の画像に対するサイズ及び位置を前記ズーム倍率に応じて前記画角を維持するように変化させる、
ことを特徴とする撮像システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、情報処理装置の制御方法、プログラム、及び撮像システムに関するものである。

【背景技術】

【0002】

近年、映像制作においても、インターネットなどＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）ネットワークを利用した動画編集・配信システムが増加してきている。一般的なシステムでは、ＩＰネットワークに接続したカメラが出力する映像や音声などの映像データをスイッチャー等の動画編集機器が受信し、必要に応じて放送用映像として編集してから配信／出力を行う。

【0003】

また、近年では、遠隔からＰＣやコントローラがＩＰネットワークを介して、カメラの画質設定やパン・チルト・ズームを制御可能となっている。さらにカメラの撮像映像も従来のＳＤＩなどの映像ケーブルではなくＩＰネットワークを介して実施するタイプも増えてきている。これにより、撮影現場にカメラマンがいなくとも撮影が可能なタイプ（リモートコントロールカメラ）も増えている。

【0004】

更には、撮像している画角の全画像データから一部の領域をクロップして映像出力する機能を有しているものもある。特別な処理をしない場合、カメラのパン・チルト・ズームを制御するとクロップした領域の画角も変化する。一方で、クロップした領域の位置またはサイズを適切に調整することで、パン位置やチルト位置、光学ズーム倍率が変わってもクロップ領域の画角を維持することも可能である。

【0005】

特許文献１では、画角ロック操作で画角ロックモードに移行し、光学ズーム倍率の増減と同時に、電子ズーム倍率を調整することで、撮像される画像から指定された領域の画角を画角ロック操作の直前の画角に維持する方法を開示している。また、デジタルズーム倍率が大きいことで、撮像される画像から指定された領域の画質が劣化することを防ぐために、指定領域の垂直方向および水平方向の所定の画素数分の画素値を加算することで、画質劣化を軽減する方法も開示している。ここで、デジタルズーム倍率が大きいことで画質が劣化する要因は、指定領域の画素数が映像出力する際の解像度の画素数に比べて不足することで、映像出力される際に指定領域の画像が引き延ばされるためである。

【0006】

また、撮像された画像からクロップされる領域は、２つ以上設定される場合もある。特許文献２では、撮像された画像から指定された複数の領域を部分画像として切り出す撮像装置に関して、所定の時間毎に順次その撮像条件を制御することで、各々の領域の撮像条件が適正に制御された部分画像を得る方法を開示している。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特開２００８－０２２３８６号公報

【特許文献2】特開２０１６－２１９９０５号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

撮像された画像からクロップされるクロップ領域が２つ以上あるとき、ユーザが撮像装置に対してパン、チルト、ズームのいずれかの制御を行った際に、ユーザが意図した各クロップ領域の画角と画質を維持できない場合がある。

【0009】

例えば、撮像された画像の一部の領域であるクロップ領域１とクロップ領域２が設定されているとき、クロップ領域１の画角を変更するためにカメラに対してパン・チルト・ズームの制御のいずれかを行うと、クロップ領域２の画角も変化してしまう。また、特許文献１に開示された方法でクロップ領域に対して画角を維持できるモードを有効としたときを想定する。この際、クロップ領域１の画角を広げるために光学ズーム倍率を小さくすると、クロップ領域２の画素数が出力解像度の画素数より少なくなった場合に、クロップ領域２の画質が劣化する可能性がある。

【0010】

そこで、本発明では、撮像装置に対してズーム等の制御がなされたときに、各クロップ領域においてユーザが意図した画角等を維持可能な情報処理装置を提供することを目的とする。

【課題を解決するための手段】

【0011】

上記目的を達成するために、本発明の一側面としての情報処理装置は、撮像装置における撮像手段により撮像された第１の画像に対して、複数のクロップ領域の設定及び前記複数のクロップ領域における画角を制御する画角制御モードを設定可能な設定画面を表示装置上に表示させる制御手段と、前記クロップ領域が設定された画像を第２の画像として出力する出力手段と、を有し、前記画角制御モードの設定に応じて画像に対する前記クロップ領域のサイズ及び位置を変化させる変化手段を有し、前記変化手段は、前記撮像装置のズーム倍率が変更された際、複数の前記クロップ領域のうち、前記画角制御モードが設定されていないクロップ領域のズーム倍率が変更される前の画像に対するサイズ及び位置を前記ズーム倍率に応じて変化させず、前記画角制御モードが設定されているクロップ領域の前記ズーム倍率が変更される前の画像に対するサイズ及び位置を前記ズーム倍率に応じて前記画角を維持するように変化させる、ことを特徴とする。

【発明の効果】

【0012】

本発明によれば、撮像装置に対してズーム等の制御がなされたときに、各クロップ領域においてユーザが意図した画角等を維持可能な情報処理装置を提供することができる。

【図面の簡単な説明】

【0013】

【図1】実施形態に係る撮像システムの一例を示す構成図である。

【図2】実施形態に係るカメラとコントローラを含むシステム構成図である。

【図3】実施形態に係るカメラとコントローラのソフトウェア構成の概要図である。

【図4】実施形態に係るクロップ領域を表示する際のレイアウト設定図である。

【図5】実施形態に係るカメラのズーム倍率の変更処理のフローチャートである。

【図6】実施形態に係る各クロップ領域の設定処理のフローチャートである。

【図7】実施形態に係るカメラのズーム倍率が変更された場合の画像中の各クロップ領域の表示例の図である。

【発明を実施するための形態】

【0014】

以下、添付図面を参照して、本発明を実施するための形態について詳細に説明する。なお、以下に説明する実施の形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正または変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。

【0015】

＜実施形態１＞

【0016】

図１は、本実施形態における撮像システムの一例を示す構成図である。本実施形態における撮像システムはカメラ（撮像装置）１００とコントローラ（情報処理装置）２００を含み、撮像装置が撮影する映像の一部をクロップ処理したクロップ領域が設定された画像を出力する。以下、図１を参照して、本実施形態で撮像システムを構成するカメラ１００とコントローラ２００の各部構成と機能の詳細を説明する。

【0017】

本実施形態におけるカメラ１００は、ＣＰＵ１１０、ＲＡＭ１２０、ＲＯＭ１３０、画像キャプチャＩ／Ｆ１４０、ネットワークＩ／Ｆ１５０、画像センサ１６０、駆動制御部１７０、画像処理部１８０、通信制御部１９０を有するように構成される。また、ＣＰＵ１１０、ＲＡＭ１２０、ＲＯＭ１３０、画像キャプチャＩ／Ｆ１４０、ネットワークＩ／Ｆ１５０、駆動制御部１７０、画像処理部１８０、通信制御部１９０は内部バス１０００を介して相互に接続されている。

【0018】

ＣＰＵ１１０は、中央演算装置であり、ＲＯＭ１３０やＲＡＭ１２０に格納された制御プログラムを実行することにより、カメラ１００全体の制御を行う。即ち、カメラ１００における各構成要素を統括的に制御する。ＣＰＵは、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの頭字語である。

【0019】

ＲＡＭ１２０は、ＤＲＡＭなどの可能な高速の記憶装置で、ＯＳや各種プログラム及び各種データがロードされ、またＯＳや各種プログラムの作業領域としても使用される。ＲＯＭ１３０は、フラッシュメモリ、ＨＤＤ、ＳＳＤ、ＳＤカード等に代表される不揮発性を持った記憶装置で、ＯＳや各種プログラム及び各種データの永続的な記憶領域として使用される他に、短期的な各種データの記憶領域としても使用される。

【0020】

画像キャプチャＩ／Ｆ１４０には、ＣＣＤやＣＭＯＳからなり撮像手段としても機能する画像センサ（撮像素子）１６０が接続される。画像キャプチャＩ／Ｆ１４０には、画像センサ１６０から取得した画像データを所定のフォーマットに変換し、必要に応じて圧縮してＲＡＭ１２０に転送する。また、画像キャプチャＩ／Ｆ１４０は、画像センサ１６０から取得する際のズーム・フォーカス、露出制御などの画質調整、画像データの所定領域のみを切り出すクロップ処理も行う。

【0021】

駆動制御部１７０は、カメラ１００におけるパン・チルト・ズームを制御する。即ち、駆動制御部１７０は、不図示の各駆動機構（駆動手段）を制御することでカメラ１００のパン回転、チルト回転、ズーム倍率を制御する。これらは、例えば、コントローラ２００などの外部通信装置（情報処理装置）から、ネットワークＩ／Ｆ１５０を経由した指示に従って実施される。

【0022】

画像処理部１８０は、画像キャプチャＩ／Ｆ１４０を制御し、外部通信装置からの画像や映像に対する取得リクエストや他の機能部からの指示により、画像センサ１６０から得られたデータを画像データとして生成する。また、外部通信装置や他の機能部からの指示により、生成した画像データに対して各種画像処理を行う。各種画像処理とは、明るさ、色味、サイズの変更、所定領域のクロップ（クロップ処理）などである。さらに、各種画像処理としては、ＪＰＥＧなどの画像データやＨ．２６４等の動画データに変換する処理である。画像処理を施した画像データまたは映像データや、画像処理の結果情報は、通信制御部１９０に渡される。

【0023】

通信制御部１９０は、ネットワークＩ／Ｆ１５０を制御し、ＩＰネットワーク３００を通じて、コントローラ２００などの外部通信装置と通信を行う。通信の内容の一例としては、画像センサ１６０が撮像した画像（第１の画像）や映像に対する取得リクエスト、当該画像に対する画像処理リクエストの受信であり、これを画像処理部１８０に渡す。また、画像処理部１８０から受け取った画像データや映像データの配信、各種画像処理情報の結果情報を画像処理リクエストに対するレスポンスや、カメラ情報の更新通知として外部通信装置（コントローラ２００）に送信する。ここで、リクエストは、例えばｈｔｔｐ（ハイパーテキスト・トランスファー・プロトコル）など、一般的な通信プロトコルを使用してもよい。

【0024】

ネットワークＩ／Ｆ１５０は、前述のＩＰネットワーク３００と接続するためのＩ／Ｆであり、Ｅｔｈｅｒｎｅｔ等の通信媒体を介してコントローラ２００などの外部通信装置との通信を担う。ここで通信とは、コントローラ２００からのカメラ制御コマンドの送受信である。カメラ１００が撮影した画像（第１の画像）または映像もネットワークＩ／Ｆ１５０を介してコントローラ２００などの外部通信装置に配信（送信）される。

【0025】

カメラ１００に対する遠隔からのカメラ制御は、説明を簡単にするためにネットワークＩ／Ｆ１５０を介して行うと説明したが、不図示のシリアル通信Ｉ／Ｆなど別のＩ／Ｆを持っていても構わない。カメラ１００が撮影した画像または映像の配信も、説明を簡単にするためにネットワークＩ／Ｆ１５０を介して行うとしたが、不図示のＨＤＭＩ（登録商標）、ＳＤＩなどの映像出力Ｉ／Ｆで行っても構わない。

【0026】

続いて、本実施形態におけるコントローラ２００の構成について説明する。コントローラ２００は、ＣＰＵ２１０、ＲＡＭ２２０、ＲＯＭ２３０、ユーザ入出力Ｉ／Ｆ２４０、ネットワークＩ／Ｆ２５０を有するように構成される。さらに、コントローラ２００は、入力制御部２６０、表示制御部２７０、通信制御部２８０を有するように構成される。また、ＣＰＵ２１０、ＲＡＭ２２０、ＲＯＭ２３０、ユーザ入出力Ｉ／Ｆ２４０、ネットワークＩ／Ｆ２５０、入力制御部２６０、表示制御部２７０、通信制御部２８０が内部バス２０００を介して相互に接続されている。

【0027】

ＣＰＵ２１０は、中央演算装置であり、ＲＯＭ２３０やＲＡＭ２２０に格納された制御プログラムを実行することにより、コントローラ２００全体の制御を行う。即ち、ＣＰＵ２１０は、コントローラ２００における各構成要素を統括的に制御する制御手段として機能する。

【0028】

ＲＡＭ２２０は、ＤＲＡＭなどの可能な高速の記憶装置で、ＯＳや各種プログラム及び各種データがロードされ、またＯＳや各種プログラムの作業領域としても使用される。ＲＯＭ２３０は、フラッシュメモリ、ＨＤＤ、ＳＳＤ、ＳＤカード等に代表される不揮発性を持った記憶装置で、ＯＳや各種プログラム及び各種データの永続的な記憶領域として使用される他に、短期的な各種データの記憶領域としても使用される。

【0029】

ユーザ入出力Ｉ／Ｆ２４０は、コントローラ２００に対するユーザからの操作の受け付け、ユーザに対してカメラ１００が撮像した画像や映像等を出力するためのＩ／Ｆ（インターフェース）である。ユーザ入出力Ｉ／Ｆ２４０の一例として、マウス、キーボード、ボタン、ダイヤル、ジョイスティック、ディスプレイ、タッチパネル等が挙げられる。ここで、タッチパネルとディスプレイはタッチ位置がわかるタッチパネル搭載型ディスプレイなどの一体型としての構成でもよい。本実施形態では、ユーザは、これらのＩ／Ｆを介して、通信可能に接続されているカメラ１００の各制御（カメラ制御）を行うことができる。またディスプレイでカメラ映像、即ちカメラ１００から配信された画像や映像を表示することも可能である。

【0030】

入力制御部２６０は、ユーザ入出力Ｉ／Ｆ２４０を制御し、マウス、キーボード、ボタン、ダイヤル、ジョイスティック、タッチパネル等からのユーザ入力操作を受け付け、受け付けた操作情報から対応するカメラ制御コマンド（制御信号）を生成する。その後、生成したカメラ制御コマンドを通信制御部２８０に渡す。また、必要に応じて、操作情報に応じたユーザ設定情報を生成し、表示制御部２７０に渡す。

【0031】

表示制御部２７０は、通信制御部２８０から受け取った画像や映像、カメラ情報に応じて、ユーザ入出力Ｉ／Ｆ２４０を制御する。本実施形態では、表示制御部２７０は、カメラ１００から受け取った画像や映像、カメラ状態の情報等をタッチパネル、ディスプレイなどの表示装置に出力し、当該表示装置上にＯＳＤ表示（オンスクリーン表示）する。本実施形態では、表示制御部２７０は、カメラ１００が撮像した画像（第１の画像）や、当該第１の画像に対してクロップ領域が設定された画像（第２の画像）等を出力する出力手段としても機能する。また、入力制御部２６０から受け取ったユーザ設定情報も同様にしてＯＳＤ表示する。

【0032】

通信制御部２８０は、入力制御部２６０より各種コマンドを受け取り、ネットワークＩ／Ｆ２５０を制御して、カメラ１００などの外部通信装置とリクエスト送信、レスポンス受信などの通信処理を行う。そして、外部通信装置からのレスポンスは表示制御部２７０に送信される。通信の内容の一例としては、カメラ１００に対する撮像画像や映像の取得リクエスト、画像処理などのカメラ制御リクエストの送信であり、これらのリクエストに対するレスポンス受信である。また、当該コントローラ以外の機器からカメラが制御された場合も、カメラ１００はカメラ情報の更新通知を送信するため、これを受信した後、表示制御部２７０に渡される。

【0033】

また、前述のクロップ領域設定コマンドも同様にカメラ１００に送信される。リクエストは、例えばｈｔｔｐ（ハイパーテキスト・トランスファー・プロトコル）など、一般的な通信プロトコルを使用してもよい。

【0034】

ネットワークＩ／Ｆ２５０は、前述のＩＰネットワーク３００と接続するためのＩ／Ｆであり、Ｅｔｈｅｒｎｅｔ（登録商標）等の通信媒体を介してカメラ１００などの外部通信装置との通信を担う。ここで通信とは、カメラ１００への制御コマンドの送受信、カメラ１００からの画像データや映像データの受信である。

【0035】

コントローラ２００によるカメラ１００に対する制御は、説明を簡単にするためにネットワークＩ／Ｆ２５０を介して行うと説明したが、不図示のシリアル通信Ｉ／Ｆなど別のＩ／Ｆを持っていても構わない。カメラ１００からの画像や映像の受信も、説明を簡単にするためにネットワークＩ／Ｆ２５０を介して行うとしたが、不図示のＨＤＭＩ、ＳＤＩなどの映像入力Ｉ／Ｆで行っても構わない。

【0036】

図２は、本実施形態におけるカメラ１００とコントローラ２００を含む撮像システムの構成図である。カメラ１００とコントローラ２００はＩＰネットワーク３００を介して相互に接続される。基本的な動作として、カメラ１００はＩＰネットワーク３００を介して撮像した画像や映像をコントローラ２００等の外部通信装置に配信する。

【0037】

本実施形態において、カメラ１００はパン・チルト・ズームが可能なＰＴＺカメラ（パン・チルト・ズームカメラ）である。コントローラ２００は、ＩＰネットワーク３００を介して、カメラ１００に所定の制御信号を送信して（カメラ１００にアクセスして）カメラ１００が撮像した画像や映像の取得及び、カメラ１００の駆動動作等の各制御を行う。尚、図２ではカメラは１台のみを例としているが、複数のカメラ（複数の撮像装置）を１台のコントローラ（１つの情報処理装置）で制御することも可能である。

【0038】

図３は、カメラ１００とコントローラ２００各々のソフトウェア構成の概要図である。図３（Ａ）は、カメラ１００のソフトウェア構成の概要図である。図３（Ｂ）は、コントローラ２００のソフトウェア構成の概要図である。カメラ１００は、カメラ１００全体を制御する基本プログラムであるＯＳ４０１を有する。ＯＳ４０１には、ＣＰＵ１１０が画像処理部１８０における処理を実行するためのプログラムである画像処理プログラム４０２が含まれる。また、ＯＳ４０１には、ＣＰＵ１１０が通信制御部１９０における処理を実行するためのプログラムである通信制御プログラム４０３が含まれる。ここで、画像処理プログラム４０２と通信制御プログラム４０３は、ＲＡＭ１２０上にロードされ、ＣＰＵ１１０が各プログラムを実行する。尚、ＣＰＵ２１０が、ＲＡＭ１２０上にロードされた画像処理プログラム４０２と通信制御プログラム４０３の１つ以上を実行するようにしてもよい。

【0039】

コントローラ２００は、コントローラ２００全体を制御する基本プログラムであるＯＳ４１１を有する。ＯＳ４０１には、ＣＰＵ２１０が入力制御部２６０における処理を実行するためのプログラムである入力制御プログラム４１２が含まれる。また、ＯＳ４０１には、ＣＰＵ２１０が表示制御部２７０における処理を実行するためのプログラムである表示制御プログラム４１３が含まれる。また、ＯＳ４０１には、ＣＰＵ２１０が通信制御部２８０における処理を実行するためのプログラムである通信制御プログラム４１４が含まれる。入力制御プログラム４１２、表示制御プログラム４１３、通信制御プログラム４１４は、ＲＡＭ２２０上にロードされ、ＣＰＵ２１０が各プログラムを実行する。尚、ＣＰＵ１１０が、ＲＡＭ２２０上にロードされた入力制御プログラム４１２、表示制御プログラム４１３、通信制御プログラム４１４の１つ以上を実行するようにしてもよい。

【0040】

図４は、実施形態に係るクロップ領域を表示する際のレイアウト設定画面（レイアウト設定ＵＩ）を例示する図である。図４に示すレイアウト設定画面には、Ｃｒｏｐ１（クロップ領域１）とＣｒｏｐ２（クロップ領域２）の２つのクロップ領域が表示されている。以下、図４を参照して、ユーザがコントローラ２００の入出力Ｉ／Ｆ２４０を介してクロップ領域の設定を行った際に、ユーザ設定情報として保持するクロップ領域設定情報について説明する。

【0041】

ユーザがコントローラ２００の入出力Ｉ／Ｆ２４０を介して、クロップ領域の設定を開始すると、入力制御部２６０は表示制御部２７０に対しクロップ領域設定のためのＯＳＤ表示を依頼する。クロップ領域設定のためのＯＳＤ表示の指示を受けた表示制御部２７０は、図４に示したようにクロップ領域を表示する際のユーザインターフェース（ＵＩ）としてレイアウト設定画面を表示装置の画面上に表示する。レイアウト設定画面は、カメラ１００が撮像した画像（第１の画像）に対して、複数のクロップ領域の設定及び複数のクロップ領域における画角を維持するように制御可能とする画角維持モードを設定可能な設定画面である。

【0042】

レイアウト設定画面は、カメラ１００から出力される画像や映像、クロップ領域が設定された画像や映像の解像度、クロップ領域の個数や配置、クロップ領域に対する画角維持モード（画角制御モード）の設定をユーザが選択可能な画面である。画角維持モードの設定は、例えば、レイアウト設定画面に画角維持モードの設定（有効化）及び解除（無効化）を選択できるボタン等のＵＩをレイアウト設定画面に配置し、当該ＵＩを介して行ってもよい。また、例えば、設定したクロップ領域を入出力Ｉ／Ｆ２４０を介して操作することにより設定または解除可能としてもよい。

【0043】

また、ユーザは、入出力Ｉ／Ｆ２４０を介して設定した、図４に示している破線で示したクロップ領域（矩形領域）をレイアウト設定画面上で、それぞれ移動、拡大、及び縮小させることができる。尚、図４では、Ｃｒｏｐ２の領域には画角維持モードを設定、Ｃｒｏｐ１の領域には画角維持モードを設定していない状態をそれぞれ示してしている。そして、レイアウト設定画面の正面から見て右側には、それぞれのクロップ領域における画角維持モードの設定状態（設定状況の有無）をユーザが視認できるように表示している。このように表示制御部２７０は、表示画像（第１の画像）に対し画角維持モードの設定があるクロップ領域（第１のクロップ領域）と、画角維持モードの設定がないクロップ領域（第２クロップ領域）とをレイアウト設定画面に表示させることができる。

【0044】

尚、画角維持モードの設定状態は、図４では鍵のアイコンで示しているが、他の形状のアイコンであってもよい。また、設定状態に応じてアイコンに色を付すことや点滅させる等の強調表示をするようにしてもよい。また、クロップ領域毎の幅ｗや高さｈの情報、及びクロップ領域毎の座標情報もレイアウト設定画面上に表示されている。このような表示とすることで、ユーザは、クロップ領域毎の画角維持モードの状態及びクロップ領域毎の幅ｗ高さや座標の情報を１つの画面にて視認することができるため、容易にクロップ領域における各情報を確認することができる。

【0045】

クロップ領域設定情報には、図４に示しているようにカメラ１００より取得した画像または映像内におけるクロップ領域毎の座標、幅ｗ、及び高さｈの情報、クロップ領域毎の画角維持モードの設定状態の情報が含まれる。また、図４では不図示だが、クロップ領域設定情報には、パン・チルト・ズーム位置の情報、映像反転状態などのカメラ情報から算出されたクロップ領域角の４点の球面座標も含まれる。当該球面座標は、画角維持モードが設定されたタイミングで計算され、クロップ領域設定情報として設定される。

【0046】

表示制御部２７０は、クロップ領域設定情報に応じて、クロップ領域設定コマンドを生成し、通信制御部２８０に渡す。そして通信制御部２８０は、クロップ領域設定コマンドを、カメラ１００にリクエスト送信する。

【0047】

以下、図５、図６、図７を用いて、ユーザがカメラ１００のズーム倍率を変更したときの各クロップ領域に対する処理フローについて説明する。図５は、本実施形態におけるカメラ１００のズーム倍率が変更されたときの処理の一例を示すフローチャートである。図６は、各クロップ領域の設定処理のフローチャートである。図７は、実施形態に係るカメラ１００のズーム倍率が変更された場合の画像中の各クロップ領域の表示例の図である。

【0048】

図７に示す画像７０１と画像７０２は、表示制御部２７０が入出力Ｉ／Ｆ２４０を介して、カメラ１００が撮像した画像または映像にクロップ領域設定情報をＯＳＤ表示したものに相当する画像（第２の画像）である。画像７０１は、カメラ１００のズーム倍率を大きくした際のＯＳＤ表示したものに相当する。画像７０２は、カメラ１００のズーム倍率を小さくしたときのＯＳＤ表示したものに相当する。

【0049】

また、図７に示すＣｒｏｐ１のクロップ領域７０３とクロップ領域７０５は、クロップ番号を１として設定されたクロップ領域である。そして、クロップ領域７０３とクロップ領域７０５は、画角維持モードが設定されていない（有効ではない）状態のクロップ領域を示している。Ｃｒｏｐ２のクロップ領域７０４とクロップ領域７０６は、クロップ番号を２として設定されたクロップ領域である。そして、クロップ領域７０３とクロップ領域７０５は、画角維持モードが設定されている（有効である）状態のクロップ領域を示している。図７に示す各クロップ領域における詳細は後述する。

【0050】

図５と図６に示す各処理は、コントローラ２００のＣＰＵ２１０がＲＡＭ２２０上にロードされた各プログラムを実行することによって実現される。また、各工程（ステップ）について先頭にＳを付けて表記することで、工程（ステップ）の表記を省略する。尚、以下の処理を行う時点で、ユーザによって図４に示しているようなレイアウト設定画面を介して１つまたは複数のクロップ領域が設定されているものとする。

【0051】

まず、Ｓ５０１で、ＣＰＵ２１０は、ズーム倍率の変更処理が開始されたらカメラ１００に設定されているクロップ領域設定情報を取得する。その後、Ｓ５０２に進む。即ち、Ｓ５０１では、ユーザ等によって領域設定されている各クロップ領域のクロップ領域設定情報を取得する。

【0052】

次に、Ｓ５０２で、ＣＰＵ２１０は、Ｓ５０１で取得した各クロップ領域の設定処理を行う。その後、ズーム倍率の変更処理を終了する。ここで、Ｓ５０２における各クロップ領域の設定処理のフローの詳細について図６を参照して説明する。

【0053】

まず、Ｓ６０１で、ＣＰＵ２１０は、カメラ１００に設定されているクロップ領域の数Ｎを取得し、Ｓ６０２に進む。次に、Ｓ６０２で、ＣＰＵ２１０は、各クロップ領域を識別するための番号ｉを１に初期設定し、Ｓ６０３に進む。

【0054】

次に、Ｓ６０３で、ＣＰＵ２１０は、クロップ領域の番号ｉが、保存されているクロップ領域数Ｎ以下か判定する。判定の結果、クロップ領域の番号ｉが保存されているクロップ領域数Ｎ以下の場合、Ｓ６０４に進む。一方、クロップ領域の番号ｉが保存されているクロップ領域数Ｎ以下でない場合、各クロップ領域の設定処理を終了する。

【0055】

次に、Ｓ６０４で、ＣＰＵ２１０は、番号ｉにおけるクロップ領域に画角維持モードが設定されているか判定する。判定の結果、番号ｉにおけるクロップ領域に画角維持モードが設定されている場合、Ｓ６０６に進む。一方、番号ｉにおけるクロップ領域に画角維持モードが設定されていない場合は、Ｓ６０５に進む。尚、後述するＳ６０６で現在のクロップ領域の番号に１が加算される。そのため、例えば、最初にクロップ番号が１のクロップ領域のＳ６０４での処理を終了した後、Ｓ６０６を経由して再度Ｓ６０４の処理を行う場合は、クロップ番号が２のクロップ領域に対してＳ６０４の処理を行う。

【0056】

次に、Ｓ６０５で、ＣＰＵ２１０は、現在のクロップ領域の番号ｉにおけるクロップ領域角の４点それぞれにクロップ領域設定情報に含まれていた球面座標を設定する。その後、Ｓ６０６に進む。次に、Ｓ６０６で、ＣＰＵ２１０は、現在のクロップ領域の番号に１を加算する。その後、Ｓ６０３に進み同様の処理を行う。

【0057】

以下、図７を参照して、カメラ１００のズーム倍率が変化した際、クロップ領域に画角維持モードが設定されている場合と設定されていない場合とでのクロップ領域におけるサイズ及び位置の変化（変更）について説明する。

【0058】

本実施形態では、ズーム倍率が変更された際には、表示制御部２７０は、複数のクロップ領域のうち、画角維持モードが設定されているクロップ領域のズーム倍率変更前の画像に対するサイズ及び位置をズーム倍率に応じて画角を維持するように変化させる。ここで、ズーム倍率変更前の画像とは、クロップ領域が設定され当該設定されたクロップ領域に対して画角維持モードが設定されたときの画像である。そのため、ズーム倍率を複数回変更した場合であっても、画角維持モードが設定されたクロップ領域は、当該クロップ領域に画角維持モードが設定されたときの画像を基準にサイズ及び位置がズーム倍率に応じて画角を維持するように変化する。一方、表示制御部２７０は、ズーム倍率が変更された際、画角維持モードが設定されていないクロップ領域のズーム倍率変更前の画像に対するサイズ及び位置をズーム倍率に応じて変化させない。

【0059】

そして、表示制御部２７０は上記したクロップ領域が設定された画像を第２の画像として出力する。当該画像を出力する際、表示制御部２７０は、変更されたズーム倍率とクロップ領域における画角維持モードの設定に応じてクロップ領域のサイズ及び位置を変化させた、または変化させない、若しくはその両方の処理を行った画像を出力する。即ち、表示制御部２７０は、ズーム倍率が変更された場合、複数のクロップ領域のうち、画角維持モードが設定されているクロップ領域のズーム倍率変前の画像に対するサイズ及び位置はズーム倍率に応じて画角を維持するように変化させた画像を出力する。一方、画角維持モードが設定されていないクロップ領域のズーム倍率が変更される前の画像に対するサイズ及び位置をズーム倍率に応じて変化させない画像を出力する。このように、表示制御部２７０は、ズーム倍率と画角維持モード（画角制御モード）の設定に応じて、画像に対するクロップ領域のサイズ及び位置を変化させる変化手段としても機能する。

【0060】

図７を例とするとＣｒｏｐ１のクロップ領域７０３は、カメラ１００のズーム倍率が小さくなった場合、Ｃｒｏｐ１のクロップ領域７０５に示すように、ズーム倍率が変更される前の画像に対するクロップ領域のサイズ及び位置は変化しない。また、Ｃｒｏｐ１のクロップ領域７０５は、カメラ１００のズーム倍率が大きくなってもクロップ領域７０３に示すように、ズーム倍率が変更される前の画像に対するクロップ領域のサイズ及び位置は変化しない。例えば、画像７０１が、クロップ領域が設定され当該設定されたクロップ領域に対して画角維持モードが設定されたときの画像であった場合を想定する。その場合、ズーム倍率が小さくなった際、画像７０１に対するクロップ領域７０５のサイズ及び位置はズーム倍率に応じて変化しない。ズーム倍率が大きくなった場合も同様である。

【0061】

一方で、Ｃｒｏｐ２のクロップ領域７０４は、カメラ１００のズーム倍率が小さくなった場合、画角維持モード設定時の球面座標値がクロップ領域角の４点に設定される。そのため、Ｃｒｏｐ２のクロップ領域７０６のように、ズーム倍率が変更される前の画像に対して画角は維持した状態でクロップ領域のサイズは小さくなり、位置も変化する。また、Ｃｒｏｐ２のクロップ領域７０６は、カメラ１００のズーム倍率が大きくなった場合も、画角維持モード設定時の球面座標値がクロップ領域角の４点に設定される。そのため、Ｃｒｏｐ２のクロップ領域７０４のように、ズーム倍率が変更される前の画像に対して画角は維持した状態でクロップ領域のサイズは大きくなり、位置も変化する。例えば、画像７０１が、クロップ領域が設定され当該設定されたクロップ領域に対して画角維持モードが設定されたときの画像であった場合を想定する。この場合、ズーム倍率が小さくなった際、画像７０１に対するクロップ領域７０５のサイズ及び位置はズーム倍率に応じて画角を維持するように変化する。ズーム倍率が大きくなった場合も同様である。

【0062】

尚、カメラ１００にパン・チルト・ズームのいずれかの制御がなされた場合に、画角維持モードが設定されたクロップ領域の画角が維持できないとき、このクロップ領域の画角維持モードの設定を解除（無効化）してもよい。即ち、上記した制御手段は、カメラ１００におけるズーム倍率が変化し、画角維持モードが設定されたクロップ領域の画角が維持できない場合、画角指示モードが設定されたクロップ領域における画角維持モードの設定を無効化する。ここで、画角維持モードが設定されたクロップ領域の画角が維持できないというのは、当該クロップ領域の全域または一部が、カメラ映像（例えば、ズーム倍率が変更される前の画像）の端部となる、端部から見切れる、または範囲外になることを含む。例えば、ズーム倍率が大きくなった場合に、画角維持モードが設定されたクロップ領域の画角が維持できなくなることが想定される。

【0063】

尚、カメラ１００がパン回転、チルト回転をした場合も同様であり、パン回転、チルト回転、ズーム倍率変更の複数の動作が組み合わされて制御がなされた場合でも同様である。即ち、上記した制御手段は、画角維持モードが設定されたクロップ領域の少なくとも一部が、カメラ１００の撮像方向が変更（変化）される前の画像の端または範囲外等となった場合、当該クロップ領域における画角維持モードの設定を解除（無効化）する。具体的には、カメラ１００の撮像方向が変化した際、画角維持モードが設定されたクロップ領域の少なくとも一部が、ズーム倍率が変更される前の画像の端または範囲外等となった場合に画角維持モードの設定を解除する。

【0064】

また、この際の画角維持モードが設定されたクロップ領域における画角維持モードの設定の解除（無効化）は、一時的でもよい。例えば、画角維持モードが設定されていたが、一度クロップ領域の全域または一部が、カメラ映像（例えば、ズーム倍率が変更される前の画像）の範囲外となり、当該設定が解除された場合を想定する。この場合、当該設定が解除されたクロップ領域の全域が、カメラ１００のズーム倍率が小さくなることでカメラ映像（例えば、ズーム倍率が変更される前の画像）の範囲内に戻った際、そのクロップ領域における画角維持モードの設定を復元（有効化）してもよい。

【0065】

また、例えば、画角維持モードが設定されていたが、一度クロップ領域の全域または一部が、カメラ映像（例えば、撮像方向が変化する前の画像）の範囲外となり、当該設定が解除された場合を想定する。その場合、当該設定が解除されたクロップ領域の全域が、撮像方向が変更されることでカメラ映像（例えば、撮像方向が変化する前の画像）の範囲内に戻った際、そのクロップ領域における画角維持モードの設定を復元（有効化）してもよい。

【0066】

上記した制御手段は、画角維持モードが設定されたクロップ領域の画角を維持できる範囲のみとなるよう（制限するように）にカメラ１００のパン回転・チルト回転・ズーム倍率を制御してもよい。即ち、制御手段は、画角維持モードが設定されたクロップ領域における画角が維持できる範囲内でズーム倍率を制限するようにカメラ１００を制御してもよい。また、制御手段は、画角維持モードが設定されたクロップ領域における画角が維持できる範囲内となるように上記した駆動機構における各回転方向の駆動を制限（撮像方向を変化させる駆動機構の駆動を制限）するようにカメラ１００を制御してもよい。

【0067】

また、上記した制御手段は、カメラ１００のズーム倍率が小さくなっていった際に、画角維持モードが設定されたクロップ領域の画質を維持できない場合、このクロップ領域の画角維持モードの設定を解除（無効化）してもよい。ここで、クロップ領域の画質を維持できないというのは、クロップ領域の画素数が出力解像度（表示制御部２７０が第２の画像を出力する際の解像度）の画素数未満になることを含む。即ち、上記した制御手段は、カメラ１００のズーム倍率が小さくなっていった際、画角維持モードが設定されたクロップ領域の画素数が出力解像度未満となった場合、当該クロップ領域の画角維持モードの設定を無効化してもよい。

【0068】

尚、この際の画角維持モードが設定されたクロップ領域における画角維持モードの設定の解除は一時的でもよい。例えば、カメラ１００のズーム倍率を大きくしていった際に、画角維持モードが設定されていたクロップ領域の画質を維持できるようになった場合、画角維持モードの設定を復元（有効化）してもよい。ここで、クロップ領域の画質を維持できるというのは、クロップ領域の画素数が出力解像度の画素数以上であることを含む。即ち、上記した制御手段は、カメラ１００のズーム倍率が大きくなっていった際、画角維持モードの設定が解除されたクロップ領域の画素数が出力解像度以上となった場合、当該クロップ領域の画角維持モードの設定を復元（有効化）してもよい。

【0069】

上記した制御手段は、カメラ１００のズーム倍率を小さくしていった際に、画角維持モードが設定されたクロップ領域の画質を維持できる範囲でのみ、カメラ１００のズーム倍率を小さくできるようにしても制御してもよい。即ち、制御手段は、画角維持モードが設定されたクロップ領域におけるが画質が維持できる範囲内でズーム倍率を制限するようにカメラ１００を制御してもよい。

【0070】

また、ユーザが画質の劣化の割合を指定してもよい。この場合、上記した制御手段は、この割合を閾値として、ユーザがクロップ領域に画角維持モードを設定する際に、当該クロップ領域に対して画角維持モードを適用するかしないかを決定してもよい。ここで、画質劣化の割合とは、クロップ領域の画素数と出力解像度の画素数の比率を含む。即ち、制御手段は、画角維持モードが設定されたクロップ領域の画素数と出力解像度の画素数の比率に応じて、クロップ領域における画角維持モードの設定の無効化と有効化を制御する。

【0071】

以上、本実施形態によれば、各クロップ領域に画角維持モードを設定できるようにすることで、ユーザがカメラ１００に対してパン・チルト・ズームの操作したときに、意図した各クロップ領域の画角と画質を維持できるようになる。

【0072】

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、システム、装置、方法、プログラム若しくは記録媒体（記憶媒体）等としての実施態様をとることが可能である。具体的には、複数の機器（例えば、ホストコンピュータ、インターフェース機器、撮像装置、ＷＥＢアプリケーション等）から構成されるシステムに適用してもよいし、また、１つの機器からなる装置に適用してもよい。

【0073】

また、例えば、図１に示すコントローラ２００の各機能部の一部または全部の機能がコントローラ２００とは異なる装置に含まれるようにしてもよい。具体的には、コントローラ２００とは異なる装置またはストレージデバイスがこれらの機能部を有し、コントローラ２００と有線または無線接続に基づく通信を行うことにより各実施形態の機能が実現されるようにしてもよい。異なる装置としては、例えば、カメラ１００やサーバ等の外部通信機器である。また、例えば、図１における１または複数の機能部がコントローラ２００とは異なる１または複数のコンピュータにより実現されるようにしてもよい。また、図１における各機能部の一部または全部の機能がコントローラ２００とは異なる１または複数の装置が有するようにしてもよい。

【0074】

本実施形態の開示は、以下の構成、方法、プログラム、及びシステムを含む。

【0075】

（構成１）
撮像装置における撮像手段により撮像された第１の画像に対して、複数のクロップ領域の設定及び前記複数のクロップ領域における画角を制御する画角制御モードを設定可能な設定画面を表示装置上に表示させる制御手段と、
前記クロップ領域が設定された画像を第２の画像として出力する出力手段と、
前記画角制御モードの設定に応じて画像に対する前記クロップ領域のサイズ及び位置を変化させる変化手段と、を有し、
前記変化手段は、前記撮像装置のズーム倍率が変更された際、複数の前記クロップ領域のうち、前記画角制御モードが設定されていないクロップ領域の前記ズーム倍率が変更される前の画像に対するサイズ及び位置を前記ズーム倍率に応じて変化させず、前記画角制御モードが設定されているクロップ領域の前記ズーム倍率が変更される前の画像に対するサイズ及び位置を前記ズーム倍率に応じて前記画角を維持するように変化させる、
ことを特徴とする情報処理装置。

【0076】

（構成２）
前記制御手段は、前記第１の画像に対し前記画角制御モードの設定がある第１クロップ領域と、前記画角制御モードの設定がない第２クロップ領域とを設定可能な設定画面を前記表示装置上に表示させることを特徴とする構成１に記載の情報処理装置。

【0077】

（構成３）
前記制御手段は、前記ズーム倍率が変化した際に前記画角制御モードが設定されたクロップ領域の画角が維持できない場合、前記画角制御モードが設定されたクロップ領域における前記画角制御モードの設定を無効化することを特徴とする構成１または２に記載の情報処理装置。

【0078】

（構成４）
前記制御手段は、前記画角制御モードが設定されたクロップ領域における前記画角が維持できる範囲内で前記ズーム倍率を制限することを特徴とする構成１乃至３のいずれか１つに記載の情報処理装置。

【0079】

（構成５）
前記制御手段は、前記ズーム倍率が大きくなり、前記画角制御モードが設定されたクロップ領域の少なくとも一部が、前記ズーム倍率が変更される前の画像の端または範囲外となった場合、前記画角制御モードが設定されたクロップ領域における前記画角制御モードの設定を無効化することを特徴とする構成１または２に記載の情報処理装置。

【0080】

（構成６）
前記制御手段は、前記ズーム倍率が小さくなり、前記画角制御モードが設定されたクロップ領域の全域が、前記ズーム倍率が変更される前の画像内に収まった場合、前記画角制御モードの設定を無効化したクロップ領域に対して前記画角制御モードの設定を有効化することを特徴とする構成５に記載の情報処理装置。

【0081】

（構成７）
前記制御手段は、前記撮像装置の撮像方向が変化した際、前記画角制御モードが設定されたクロップ領域の少なくとも一部が、前記撮像方向が変化する前の画像の端または範囲外となった場合、前記画角制御モードが設定されたクロップ領域における前記画角制御モードの設定を無効化することを特徴とする構成１乃至６のいずれか１つに記載の情報処理装置。

【0082】

（構成８）
前記制御手段は、前記撮像方向が変化して、前記画角制御モードが設定されたクロップ領域の全域が前記画像内に収まった場合、前記画角制御モードの設定を無効化したクロップ領域に対して前記画角制御モードの設定を有効化することを特徴とする構成７に記載の情報処理装置。

【0083】

（構成９）
前記制御手段は、前記画角制御モードが設定されたクロップ領域における前記画角が維持できる範囲内となるように前記撮像装置の撮像方向を変化させる駆動手段の駆動を制限することを特徴とする構成１乃至８のいずれか１つに記載の情報処理装置。

【0084】

（構成１０）
前記制御手段は、前記ズーム倍率が小さくなり、前記画角制御モードが設定されたクロップ領域の画質を維持できない場合、前記画角制御モードが設定されたクロップ領域の前記画角制御モードの設定を無効化することを特徴とする構成１乃至９のいずれか１つに記載の情報処理装置。

【0085】

（構成１１）
前記制御手段は、前記画角制御モードが設定されたクロップ領域における前記画質が維持できる範囲内で前記ズーム倍率を制限することを特徴とする構成１０に記載の情報処理装置。

【0086】

（構成１２）
前記制御手段は、前記ズーム倍率が小さくなり、前記画角制御モードが設定されたクロップ領域の画素数が、前記出力手段が前記第２の画像を出力する際の解像度の画素数未満となった場合、前記画角制御モードが設定されたクロップ領域の前記画角制御モードの設定を無効化することを特徴とする構成１乃至９のいずれか１つに記載の情報処理装置。

【0087】

（構成１３）
前記制御手段は、前記ズーム倍率が大きくなり、前記画角制御モードが設定されたクロップ領域の画素数が前記解像度の画素数以上となった場合、前記画角制御モードの設定を無効化した前記クロップ領域に対して前記画角制御モードを有効化することを特徴とする構成１２に記載の情報処理装置。

【0088】

（構成１４）
前記制御手段は、前記画角制御モードが設定されたクロップ領域の画素数と前記出力手段が前記第２の画像を出力する際の解像度の画素数の比率に応じて、前記クロップ領域における前記画角制御モードの設定を無効化または有効化することを特徴とする構成１乃至１３のいずれか１つに記載の情報処理装置。

【0089】

（構成１５）
前記設定画面には、少なくとも設定された前記クロップ領域の座標の情報、幅及び高さの情報の情報、前記画角制御モードの設定状態が表示されることを特徴とする構成１乃至１４のいずれか１つに記載の情報処理装置。

【0090】

（構成１６）
情報処理装置の制御方法であって、
撮像装置における撮像手段により撮像された第１の画像に対して、複数のクロップ領域の設定及び前記複数のクロップ領域における画角を制御する画角制御モードを設定可能な設定画面を表示装置上に表示させる表示工程と、
前記クロップ領域が設定された画像を第２の画像として出力する出力工程と、
前記画角制御モードの設定に応じて画像に対する前記クロップ領域のサイズ及び位置を変化させる変化工程と、を有し、
前記変化工程では、前記撮像装置のズーム倍率が変更された際、複数の前記クロップ領域のうち、前記画角制御モードが設定されていないクロップ領域のズーム倍率が変更される前の画像に対するサイズ及び位置を前記ズーム倍率に応じて変化させず、前記画角制御モードが設定されているクロップ領域の前記ズーム倍率が変更される前の画像に対するサイズ及び位置を前記ズーム倍率に応じて前記画角を維持するように変化させる、
ことを特徴とする情報処理装置の制御方法。

【0091】

（構成１７）
情報処理装置の制御方法をコンピュータに実行させるためのプログラムであって、前記プログラムは前記コンピュータに、
撮像装置における撮像手段により撮像された第１の画像に対して、複数のクロップ領域の設定及び前記複数のクロップ領域における画角を制御する画角制御モードを設定可能な設定画面を表示装置上に表示させる表示工程と、
前記クロップ領域が設定された画像を第２の画像として出力する出力工程と、
前記画角制御モードの設定に応じて画像に対する前記クロップ領域のサイズ及び位置を変化させる変化工程と、を実行させ、
前記変化工程では、前記撮像装置のズーム倍率が変更された際、複数の前記クロップ領域のうち、前記画角制御モードが設定されていないクロップ領域のズーム倍率が変更される前の画像に対するサイズ及び位置を前記ズーム倍率に応じて変化させず、前記画角制御モードが設定されているクロップ領域の前記ズーム倍率が変更される前の画像に対するサイズ及び位置を前記ズーム倍率に応じて前記画角を維持するように変化させる、
ことを特徴とするプログラム。

【0092】

（構成１８）
少なくとも１台の撮像装置と、前記撮像装置と通信可能に接続される情報処理装置を含む撮像システムであって、
前記撮像装置は、
第１の画像を取得する撮像手段と、
前記撮像装置におけるズーム倍率を変化させるズーム手段と、を有し、
前記情報処理装置は、
前記第１の画像に対して、複数のクロップ領域の設定及び前記複数のクロップ領域における画角を制御する画角制御モードを設定可能な設定画面を表示装置上に表示させる制御手段と、
前記クロップ領域が設定された画像を第２の画像として出力する出力手段と、
前記画角制御モードの設定に応じて画像に対する前記クロップ領域のサイズ及び位置を変化させる変化手段と、を有し、
前記変化手段は、前記ズーム倍率が変更された際、複数の前記クロップ領域のうち、前記画角制御モードが設定されていないクロップ領域のズーム倍率が変更される前の画像に対するサイズ及び位置を前記ズーム倍率に応じて変化させず、前記画角制御モードが設定されているクロップ領域の前記ズーム倍率が変更される前の画像に対するサイズ及び位置を前記ズーム倍率に応じて前記画角を維持するように変化させる、
ことを特徴とする撮像システム。

【0093】

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【符号の説明】

【0094】

１００ カメラ
１１０ ＣＰＵ
１２０ ＲＡＭ
１３０ ＲＯＭ
１４０ 画像キャプチャＩ／Ｆ
１５０ ネットワークＩ／Ｆ
１６０ 画像センサ
１７０ 駆動制御部
１８０ 画像処理部
１９０ 通信制御部
１０００ 内部パス
２００ コントローラ
２１０ ＣＰＵ
２２０ ＲＡＭ
２３０ ＲＯＭ
２４０ ユーザ入出力Ｉ／Ｆ
２５０ ネットワークＩ／Ｆ
２６０ 入力制御部
２７０ 表示制御部
２８０ 通信制御部
２０００ 内部パス
３００ ＩＰネットワーク

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】