(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024164524
(43)【公開日】2024-11-27
(54)【発明の名称】制御装置、撮像装置、制御方法およびプログラム
(51)【国際特許分類】
G02B 7/36 20210101AFI20241120BHJP
H04N 23/69 20230101ALI20241120BHJP
H04N 23/67 20230101ALI20241120BHJP
G03B 13/36 20210101ALI20241120BHJP
【ＦＩ】
G02B7/36
H04N23/69
H04N23/67
G03B13/36
【審査請求】未請求
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2023080064
(22)【出願日】2023-05-15
(71)【出願人】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】100126240
【弁理士】
【氏名又は名称】阿部 琢磨
(74)【代理人】
【識別番号】100223941
【弁理士】
【氏名又は名称】高橋 佳子
(74)【代理人】
【識別番号】100159695
【弁理士】
【氏名又は名称】中辻 七朗
(74)【代理人】
【識別番号】100172476
【弁理士】
【氏名又は名称】冨田 一史
(74)【代理人】
【識別番号】100126974
【弁理士】
【氏名又は名称】大朋 靖尚
(72)【発明者】
【氏名】神羽 将樹
【テーマコード（参考）】
2H011
2H151
5C122
【Ｆターム（参考）】
2H011BA33
2H011BB03
2H151BA45
2H151CB22
2H151CB26
2H151CE14
2H151EB13
5C122DA03
5C122EA06
5C122EA65
5C122FA06
5C122FA16
5C122FB03
5C122FB08
5C122FD01
5C122FD11
5C122FE02
5C122GA23
5C122HA13
5C122HA35
5C122HA46
5C122HA82
5C122HA86
5C122HA88
5C122HB01
5C122HB05
5C122HB06
5C122HB09
(57)【要約】
【課題】ズーム時におけるオートフォーカスの安定化を図ること。
【解決手段】制御装置は、ズームレンズを制御して被写体の撮影サイズと目標サイズとの相違を減らすズーム制御手段と、フォーカスレンズを制御して上記被写体に焦点を合わせるフォーカス制御手段と、上記ズームレンズの制御中における上記フォーカスレンズの合焦位置のサーチ範囲を上記相違に基づいて決定するサーチ制御手段と、を備える。
【選択図】図８
【解決手段】制御装置は、ズームレンズを制御して被写体の撮影サイズと目標サイズとの相違を減らすズーム制御手段と、フォーカスレンズを制御して上記被写体に焦点を合わせるフォーカス制御手段と、上記ズームレンズの制御中における上記フォーカスレンズの合焦位置のサーチ範囲を上記相違に基づいて決定するサーチ制御手段と、を備える。
【選択図】図８
【特許請求の範囲】
【請求項1】
ズームレンズを制御して被写体の撮影サイズと目標サイズとの相違を減らすズーム制御手段と、
フォーカスレンズを制御して前記被写体に焦点を合わせるフォーカス制御手段と、
前記ズームレンズの制御中における前記フォーカスレンズの合焦位置のサーチ範囲を前記相違に基づいて決定するサーチ制御手段と、
を備えることを特徴とする制御装置。
フォーカスレンズを制御して前記被写体に焦点を合わせるフォーカス制御手段と、
前記ズームレンズの制御中における前記フォーカスレンズの合焦位置のサーチ範囲を前記相違に基づいて決定するサーチ制御手段と、
を備えることを特徴とする制御装置。
【請求項2】
前記サーチ制御手段は、前記撮影サイズが前記目標サイズよりも大きい場合、前記サーチ範囲を、現在の被写体距離よりもＦＡＲ側に決定することを特徴とする請求項１に記載の制御装置。
【請求項3】
前記サーチ制御手段は、前記撮影サイズが前記目標サイズよりも小さい場合、前記サーチ範囲を、現在の被写体距離よりもＮＥＡＲ側に決定することを特徴とする請求項１に記載の制御装置。
【請求項4】
前記サーチ制御手段は、前記相違が小さい程、前記サーチ範囲を狭く決定することを特徴とする請求項１に記載の制御装置。
【請求項5】
前記サーチ制御手段は、前記サーチ範囲を、被写体距離とズーム位置とをパラメータとして予め記憶されたデータから取得することを特徴とする請求項４に記載の制御装置。
【請求項6】
前記サーチ制御手段は、前記ズームレンズの移動速度が速い程、前記サーチ範囲を広く決定することを特徴とする請求項４に記載の制御装置。
【請求項7】
前記ズームレンズの制御開始時に前記被写体に焦点があっている場合、前記フォーカス制御手段は、前記フォーカスレンズをカム軌跡曲線に沿って制御し、合焦位置のサーチを行わないことを特徴とする請求項１に記載の制御装置。
【請求項8】
請求項１から７までのいずれか１項に記載の制御装置と、
前記ズームレンズおよび前記フォーカスレンズを含む撮像光学系と、
前記撮像光学系で得られる像を撮影する撮像手段と、
を備えることを特徴とする撮像装置。
前記ズームレンズおよび前記フォーカスレンズを含む撮像光学系と、
前記撮像光学系で得られる像を撮影する撮像手段と、
を備えることを特徴とする撮像装置。
【請求項9】
ズームレンズを制御して被写体の撮影サイズと目標サイズとの相違を減らすズーム制御ステップと、
フォーカスレンズを制御して前記被写体に焦点を合わせるフォーカス制御ステップと、
前記ズームレンズの制御中における前記フォーカスレンズの合焦位置のサーチ範囲を前記相違に基づいて決定するサーチ制御ステップと、
を備えることを特徴とする制御方法。
フォーカスレンズを制御して前記被写体に焦点を合わせるフォーカス制御ステップと、
前記ズームレンズの制御中における前記フォーカスレンズの合焦位置のサーチ範囲を前記相違に基づいて決定するサーチ制御ステップと、
を備えることを特徴とする制御方法。
【請求項10】
情報処理装置を、請求項１から７までのいずれか１項に記載の制御装置として動作させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、制御装置、撮像装置、制御方法およびプログラムに関する。
【背景技術】
【0002】
近年、リモートカメラなどにおいて、講義やスポーツシーンなど動きのあるシーンで、動く被写体を追尾して自動撮影するニーズが高まっている。自動撮影を実現する技術としては、追尾対象の被写体の動きに合わせてパン・チルト操作を自動的に行う事で画角を調整し、追尾対象の被写体を画角内に収める技術が知られている。また、追尾対象の被写体にピントを合わせるオートフォーカスも知られている。
【0003】
例えば特許文献１に開示された撮像装置では、顔の大きさの変化から被写体距離の変化を推測し、推測結果に基づいて合焦レンズ位置の探索方向又は探索範囲を設定する。これにより、被写体距離の変化に対応し、合焦の高速化および安定化が図られる。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２００９－３１７６０号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
自動撮影においては、追尾対象の被写体を画角内に収める際に、予め設定したサイズで被写体を捉え続けるオートズームも求められている。更に、リモートカメラにおいても映像製作向けのカメラ同様に映像品位が求められ、オートズーム時のオートフォーカスの安定性も求められている。
【0006】
しかしながら、ズーム中のオートフォーカス制御は複雑であるため、特許文献１に開示されている方法では被写体のピントが外れてしまう虞がある。
本発明が解決しようとする課題は、ズーム時におけるオートフォーカスの安定化を図ることである。
本発明が解決しようとする課題は、ズーム時におけるオートフォーカスの安定化を図ることである。
【課題を解決するための手段】
【0007】
上記の課題を解決するため、本発明の１つの態様にかかる制御装置は、ズームレンズを制御して被写体の撮影サイズと目標サイズとの相違を減らすズーム制御手段と、フォーカスレンズを制御して上記被写体に焦点を合わせるフォーカス制御手段と、上記ズームレンズの制御中における上記フォーカスレンズの合焦位置のサーチ範囲を上記相違に基づいて決定するサーチ制御手段と、を備える。
【発明の効果】
【0008】
本発明によれば、ズーム時のオートフォーカスが安定化する。
【図面の簡単な説明】
【0009】
【図1】本発明の撮像装置の一実施形態を備える撮像システムの構成を示す構成図。
【図2】カメラの機能構成の一例を示すブロック図。
【図3】本実施形態のカメラにおけるハードウェア構成の一例を示すブロック図。
【図4】カム軌跡曲線の例を示すグラフ。
【図5】クライアント装置の構成の一例を示すブロック図。
【図6】アプリケーション画面の例を示す図。
【図7】ズーム制御中におけるオートフォーカス制御の比較例を示す図。
【図8】本実施形態におけるズーム制御中のオートフォーカス制御を示す図。
【図9】Ｆｏｃｕｓリミットテーブルのイメージ図。
【図10】ズーム制御の処理動作を示すフローチャート。
【発明を実施するための形態】
【0010】
以下、添付図面を参照して本発明の実施形態を詳細に説明する。なお、以下の実施形態は本発明を限定するものではなく、また、実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。実施形態の構成は、本発明が適用されるシステムおよび装置の仕様および各種条件（使用条件、使用環境等）によって適宜修正又は変更され得る。本発明の技術的範囲は、特許請求の範囲によって画定されるのであって、以下の個別の実施形態によって画定されない。
以下の説明において、先に参照した図面に示された構成要素については、後の図面の説明で適宜に参照する。
以下の説明において、先に参照した図面に示された構成要素については、後の図面の説明で適宜に参照する。
【0011】
＜撮像システムの構成＞
図１は、本発明の撮像装置の一実施形態を備える撮像システムの構成を示す構成図である。
図１に示す撮像システム１００は、カメラ１０１、制御端末１０２、ジョイスティック１０３、カメラコントローラ１０４およびネットワーク１０５を備えている。カメラ１０１は、本発明の撮像装置の一実施形態に相当する。
図１は、本発明の撮像装置の一実施形態を備える撮像システムの構成を示す構成図である。
図１に示す撮像システム１００は、カメラ１０１、制御端末１０２、ジョイスティック１０３、カメラコントローラ１０４およびネットワーク１０５を備えている。カメラ１０１は、本発明の撮像装置の一実施形態に相当する。
【0012】
カメラ１０１は、ネットワーク１０５を通じた制御端末１０２の要求に応じて撮影を行い、撮影した映像データやカメラ１０１に関する情報を、ネットワーク１０５を通じて送信する。カメラ１０１は、あらかじめ接続されている制御端末１０２に対して能動的にデータを送信してもよい。
【0013】
制御端末１０２は、ディスプレイなどの表示部と操作部とを有する一般的なクライアント端末であり、具体的には例えばパーソナルコンピュータ（ＰＣ）やタブレットなどである。図１には、一例として、モニタと入力装置が一体となったＰＣが示されているが、制御端末１０２は、モニタと入力装置とが独立している装置でもよい。
【0014】
ジョイスティック１０３は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）やＢｌｕｅｔｏｏｔｈ（登録商標）などを介して、制御端末１０２と接続されており、カメラ１０１を遠隔操作するための入力装置として使用される。
ジョイスティック１０３は、特に、アプリケーション上のＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）では難しい、滑らかなパン・チルト・ズーム（ＰＴＺ）操作などを実現するために用いられる。
ジョイスティック１０３は、特に、アプリケーション上のＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）では難しい、滑らかなパン・チルト・ズーム（ＰＴＺ）操作などを実現するために用いられる。
【0015】
カメラコントローラ１０４は、カメラ１０１を操作するための操作部を有するハードウェアである。カメラコントローラ１０４は、後述する自動追尾機能のＯＮ／ＯＦＦ切り替えや詳細設定の操作も可能である。図１では、一例としてカメラコントローラ１０４とカメラ１０１がネットワーク１０５を介して接続されるが、カメラコントローラ１０４とカメラ１０１はシリアル接続等を用いて接続されてもよい。
【0016】
ネットワーク１０５は、カメラ１０１、制御端末１０２およびコントローラ１０４を接続する。ネットワーク１０５は、例えばＥＴＨＥＲＮＥＴ（登録商標）等の通信規格に準拠する複数のルータ、スイッチ、ケーブル等から実現される。なお、ネットワーク１０５は、インターネットや有線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、無線ＬＡＮ、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）等により実現されてもよい。
【0017】
＜カメラの機能構成＞
図２は、カメラ１０１の機能構成の一例を示すブロック図である。
カメラ１０１は、システム制御部２０１、撮像部２０２、画像処理部２０３、レンズ駆動部２０４、ズーム制御部２０５、フォーカス制御部２０６、パン駆動部２０７、チルト駆動部２０８およびパン・チルト制御部２０９を備えている。これらの構成部は、カメラ１０１の撮像および駆動に関する構成部である。更に、カメラ１０１は、データおよび通信に関わる構成部として、記憶部２１０、プログラムメモリ２１１、自動追尾設定データ２１２、ズーム・フォーカス制御データ２１３および通信部２２０を備えている。
図２は、カメラ１０１の機能構成の一例を示すブロック図である。
カメラ１０１は、システム制御部２０１、撮像部２０２、画像処理部２０３、レンズ駆動部２０４、ズーム制御部２０５、フォーカス制御部２０６、パン駆動部２０７、チルト駆動部２０８およびパン・チルト制御部２０９を備えている。これらの構成部は、カメラ１０１の撮像および駆動に関する構成部である。更に、カメラ１０１は、データおよび通信に関わる構成部として、記憶部２１０、プログラムメモリ２１１、自動追尾設定データ２１２、ズーム・フォーカス制御データ２１３および通信部２２０を備えている。
【0018】
システム制御部２０１は、カメラ１０１全体の制御を行い、他の各構成部に対して処理を指示する。システム制御部２０１は、制御端末１０２から送信されてきて通信部２２０で受信されるカメラ制御コマンドを解析し、カメラ制御コマンドに応じた処理を実行する。カメラ制御コマンドは、映像データや設定値の取得を依頼する要求コマンドと、設定値の設定を依頼する設定コマンドに分類される。
【0019】
より具体的には、カメラ制御コマンドには、主に映像データの要求コマンド、カメラ１０１のズーム、フォーカス、パン・チルトに関する設定値の要求コマンド、撮像・画像処理に関する設定値の要求コマンド、および、設定値の設定コマンドが含まれる。
システム制御部２０１は、制御端末１０２から例えば映像データの要求コマンドを通信部２２０経由で受信し、画像処理部２０３で生成された映像データを通信部２２０経由で配信する。
システム制御部２０１は、制御端末１０２から例えば映像データの要求コマンドを通信部２２０経由で受信し、画像処理部２０３で生成された映像データを通信部２２０経由で配信する。
【0020】
また、システム制御部２０１は、制御端末１０２から、例えばカメラ１０１のズーム、フォーカス、パン・チルトなどの、撮像に関する設定値の要求コマンドを受信する。
設定値の要求コマンドを受信したシステム制御部２０１は、画像処理部２０３、ズーム制御部２０５、フォーカス制御部２０６、および、パン・チルト制御部２０９から各設定値を読み取り、通信部２２０を介して制御端末１０２へ配信する。
設定値の要求コマンドを受信したシステム制御部２０１は、画像処理部２０３、ズーム制御部２０５、フォーカス制御部２０６、および、パン・チルト制御部２０９から各設定値を読み取り、通信部２２０を介して制御端末１０２へ配信する。
【0021】
本明細書において撮像に関する「設定」とは、ＰＴＺ操作やフォーカスなどの制御における制御目標を付与することだけではなく、制御で実際のレンズ位置などを操作することも意味する。このため、撮像に関する「設定値」としては、制御目標の値などだけではなく、制御の結果として得られるズーム、フォーカス、パン・チルト等の現在値も含まれる。更に、撮像に関する「設定値」としては、制御目標として設定可能な値の範囲なども含まれる。
【0022】
システム制御部２０１は、撮像に関する設定値の設定コマンドを受信した場合、画像処理部２０３、ズーム制御部２０５、フォーカス制御部２０６およびパン・チルト制御部２０９に対し、設定コマンドが示す設定値に基づいた制御を命令する。
画像処理部２０３、ズーム制御部２０５、フォーカス制御部２０６およびパン・チルト制御部２０９は、命令に基づいて、撮像部２０２、レンズ駆動部２０４、パン駆動部２０７およびチルト駆動部２０８を制御する。これにより、制御端末１０２により設定された設定値がカメラ１０１に反映される。
画像処理部２０３、ズーム制御部２０５、フォーカス制御部２０６およびパン・チルト制御部２０９は、命令に基づいて、撮像部２０２、レンズ駆動部２０４、パン駆動部２０７およびチルト駆動部２０８を制御する。これにより、制御端末１０２により設定された設定値がカメラ１０１に反映される。
【0023】
撮像部２０２は、レンズおよび撮像素子を含み、被写体の撮像および電気信号への変換を行う。
画像処理部２０３は、撮像部２０２における撮像および光電変換で得られた信号に対する、所定の画像処理、解像度変換処理、圧縮符号化処理を行い、映像データを生成する。撮像部２０２によって生成された映像データは、通信部２２０によってネットワーク１０５を介して制御端末１０２へ配信される。
画像処理部２０３は、撮像部２０２における撮像および光電変換で得られた信号に対する、所定の画像処理、解像度変換処理、圧縮符号化処理を行い、映像データを生成する。撮像部２０２によって生成された映像データは、通信部２２０によってネットワーク１０５を介して制御端末１０２へ配信される。
【0024】
レンズ駆動部２０４は、フォーカスレンズおよびズームレンズの駆動系と、それら駆動系の駆動源となるモータとを含んでおり、ズーム制御部２０５およびフォーカス制御部２０６により制御される。ズーム制御部２０５およびフォーカス制御部２０６は、ズーム・フォーカス制御データ２１３に含まれるカム軌跡曲線のデータに基づいてレンズ位置を制御する。
【0025】
パン駆動部２０７は、パン動作を行うメカ駆動系および駆動源のモータを含み、パン駆動部２０７の動作はパン・チルト制御部２０９により制御される。
チルト駆動部２０８は、チルト動作を行うメカ駆動系および駆動源のモータを含み、チルト駆動部２０８の動作もパン・チルト制御部２０９により制御される。
チルト駆動部２０８は、チルト動作を行うメカ駆動系および駆動源のモータを含み、チルト駆動部２０８の動作もパン・チルト制御部２０９により制御される。
【0026】
パン・チルト制御部２０９はシステム制御部２０１から出力されたパン・チルトの設定値に基づいてパン駆動部２０７およびチルト駆動部２０８を制御してパン・チルトを変更する。
カメラ１０１の制御には、自動撮影に関する制御も存在し、カメラ１０１は、撮像環境に応じて自動で制御を行うことができる。例えば、カメラ１０１が自動で被写体に焦点（フォーカス）を合わせるオートフォーカス制御では、撮像部２０２が撮像した画像のコントラストから画像処理部２０３が評価値を算出する。そして、システム制御部２０１を経由して評価値を取得したフォーカス制御部２０６が評価値に応じてフォーカスレンズを制御して被写体に焦点を合わせる。
カメラ１０１の制御には、自動撮影に関する制御も存在し、カメラ１０１は、撮像環境に応じて自動で制御を行うことができる。例えば、カメラ１０１が自動で被写体に焦点（フォーカス）を合わせるオートフォーカス制御では、撮像部２０２が撮像した画像のコントラストから画像処理部２０３が評価値を算出する。そして、システム制御部２０１を経由して評価値を取得したフォーカス制御部２０６が評価値に応じてフォーカスレンズを制御して被写体に焦点を合わせる。
【0027】
オートフォーカス以外の自動制御としては、被写体を撮影画角内に捉え続けるためのパン・チルトの自動制御や、被写体を目標の撮影サイズで捉え続けるためのズーム制御が存在する。パン・チルトの自動制御は、システム制御部２０１の指示に従ってパン・チルト制御部２０９によって行われる。ズーム制御は、システム制御部２０１の指示に従ってズーム制御部２０５によって行われ、ズーム制御部２０５は、ズームレンズを制御して被写体の撮影サイズと目標サイズとの相違を減らす。
以下の説明では、自動追尾撮影において、パン・チルトの制御とズーム制御とオートフォーカス制御の全てが実行されるものとする。
以下の説明では、自動追尾撮影において、パン・チルトの制御とズーム制御とオートフォーカス制御の全てが実行されるものとする。
【0028】
また、露出（即ち、絞り・シャッタースピード・ゲイン・ＮＤフィルタ等）、ホワイトバランス、ノイズリダクション、ガンマの制御等についても画像処理部２０３によって自動制御可能である。
記憶部２１０は、メモリやストレージなどといった記憶装置に対して映像データを記憶する。メモリおよびストレージは、内部メモリおよび内部ストレージであってもよいし、外部メモリおよび外部ストレージであってもよい。
記憶部２１０は、メモリやストレージなどといった記憶装置に対して映像データを記憶する。メモリおよびストレージは、内部メモリおよび内部ストレージであってもよいし、外部メモリおよび外部ストレージであってもよい。
【0029】
プログラムメモリ２１１は、カメラ制御プログラムを格納するメモリであり、システム制御部２０１は、プログラムメモリ２１１に記憶されたカメラ制御プログラムに基づき各種制御の命令を実行する。
自動追尾設定データ２１２は、自動追尾を行うかどうかのＯＮ／ＯＦＦ設定や、追尾被写体をどの程度の大きさで一定に保つかの目標サイズ等、自動追尾に関する詳細設定のデータである。自動追尾設定データ２１２は、予め決められた固定データでも良いし、通信部２２０を介して設定される可変データでも良い。
ズーム・フォーカス制御データ２１３は、カム軌跡曲線など、ズーム制御やオートフォーカス制御に必要なデータである。
自動追尾設定データ２１２は、自動追尾を行うかどうかのＯＮ／ＯＦＦ設定や、追尾被写体をどの程度の大きさで一定に保つかの目標サイズ等、自動追尾に関する詳細設定のデータである。自動追尾設定データ２１２は、予め決められた固定データでも良いし、通信部２２０を介して設定される可変データでも良い。
ズーム・フォーカス制御データ２１３は、カム軌跡曲線など、ズーム制御やオートフォーカス制御に必要なデータである。
【0030】
通信部２２０は、ネットワーク１０５を介して映像データを制御端末１０２に配信する。また、通信部２２０は制御端末１０２から送信されるカメラ制御コマンドを受信し、システム制御部２０１へ出力する。そして、通信部２２０はシステム制御部２０１の指示に従い、制御端末１０２へレスポンスを配信する。
【0031】
図２に示された構成は一例であり、複数の機能ブロックが１つの機能ブロックを構成してもよいし、何れかの機能ブロックが複数の機能を行うブロックに分かれてもよい。また、機能ブロックの少なくとも１つがハードウェアとして実装されてもよい。
ハードウェアにより実装される場合、例えば、所定のコンパイラが用いられることで、各ステップを実現するためのプログラムからＦＰＧＡ上に自動的に専用回路が生成されてもよい。ＦＰＧＡとは、Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙの略である。また、ＦＰＧＡと同様にしてＧａｔｅ Ａｒｒａｙ回路が形成されて、ハードウェアとして実現されてもよいし、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）により実現されてもよい。
ハードウェアにより実装される場合、例えば、所定のコンパイラが用いられることで、各ステップを実現するためのプログラムからＦＰＧＡ上に自動的に専用回路が生成されてもよい。ＦＰＧＡとは、Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙの略である。また、ＦＰＧＡと同様にしてＧａｔｅ Ａｒｒａｙ回路が形成されて、ハードウェアとして実現されてもよいし、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）により実現されてもよい。
【0032】
＜カメラのハードウェア構成＞
図３は、本実施形態のカメラ１０１におけるハードウェア構成の一例を示すブロック図である。
カメラ１０１は、ＣＰＵ(中央演算装置)１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３とを備えている。また、カメラ１０１は、外部メモリ１４と、駆動部１６と、通信インタフェース（Ｉ／Ｆ）１８とを備え、上述した撮像部２０２も備えている。
図３は、本実施形態のカメラ１０１におけるハードウェア構成の一例を示すブロック図である。
カメラ１０１は、ＣＰＵ(中央演算装置)１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３とを備えている。また、カメラ１０１は、外部メモリ１４と、駆動部１６と、通信インタフェース（Ｉ／Ｆ）１８とを備え、上述した撮像部２０２も備えている。
【0033】
カメラ１０１が備えるこれらの要素はバス１９によって互いに接続されている。撮像部２０２を除いたカメラ１０１の部分は、例えば組み込みコンピュータであり、当該部分は制御装置の一実施形態に相当する。
ＣＰＵ１１は、コンピュータを制御装置として動作させるプログラムやＯＳなどを実行する。ＲＯＭ１２は、コンピュータの基本的な機能を実現するプログラム(例えばＢＩＯＳ等)やカメラ制御プログラムを記憶し、上述したプログラムメモリ２１１として機能する。ＲＡＭ１３は、ＣＰＵ１１で用いられる設定値などを記憶し、外部メモリ１４は、映像データなどを記憶する。なお、カメラ１０１はメモリに替えて、あるいはメモリに加えてストレージを備えてもよい。
ＣＰＵ１１は、コンピュータを制御装置として動作させるプログラムやＯＳなどを実行する。ＲＯＭ１２は、コンピュータの基本的な機能を実現するプログラム(例えばＢＩＯＳ等)やカメラ制御プログラムを記憶し、上述したプログラムメモリ２１１として機能する。ＲＡＭ１３は、ＣＰＵ１１で用いられる設定値などを記憶し、外部メモリ１４は、映像データなどを記憶する。なお、カメラ１０１はメモリに替えて、あるいはメモリに加えてストレージを備えてもよい。
【0034】
上述した自動追尾設定データ２１２は、例えばＲＡＭ１３に記憶され、上述したズーム・フォーカス制御データ２１３は、例えばＲＯＭ１２に記憶される。
駆動部１６は、雲台やモータなどを含み、上述したパン駆動部２０７およびチルト駆動部２０８として機能する。
駆動部１６は、雲台やモータなどを含み、上述したパン駆動部２０７およびチルト駆動部２０８として機能する。
【0035】
通信インタフェース１８は、上述した通信部２２０として機能する。なお、カメラ１０１は音声出力部を備えてもよいし、ボタンなどの入力部やディスプレイなどの表示部を備えてもよい。
【0036】
＜カム軌跡曲線について＞
ここで、ズームレンズのレンズ位置とフォーカスレンズのレンズ位置との関係を示すカム軌跡曲線について説明する。
ここで、ズームレンズのレンズ位置とフォーカスレンズのレンズ位置との関係を示すカム軌跡曲線について説明する。
【0037】
図４は、カム軌跡曲線の例を示すグラフである。
図４の横軸は、最小（ＷＩＤＥ端）から最大（ＴＥＬＥ端）までのズーム倍率に対応したズームレンズのレンズ位置を示し、縦軸は、無限遠から至近までの被写体距離に対応したフォーカスレンズのレンズ位置を示している。図４のグラフ中に示された各カム軌跡曲線は、同一の被写体距離に存在する被写体の像を異なるズーム倍率それぞれで撮像素子に合焦させるためのカム軌跡を示している。
図４の横軸は、最小（ＷＩＤＥ端）から最大（ＴＥＬＥ端）までのズーム倍率に対応したズームレンズのレンズ位置を示し、縦軸は、無限遠から至近までの被写体距離に対応したフォーカスレンズのレンズ位置を示している。図４のグラフ中に示された各カム軌跡曲線は、同一の被写体距離に存在する被写体の像を異なるズーム倍率それぞれで撮像素子に合焦させるためのカム軌跡を示している。
【0038】
従って、異なる被写体距離に存在する被写体については、異なるカム軌跡曲線上のフォーカスレンズ位置で合焦することになる。例えば、図４に示すズームレンズ位置Ｌの場合、８０ｃｍの被写体距離であれば、第１のフォーカスレンズ位置Ｄ１で合焦し、３ｍの被写体距離であれば、第２のフォーカスレンズ位置Ｄ２で合焦する。
【0039】
一定距離の被写体について合焦状態が維持されたままズーム制御が行われる際には、図４のカム軌跡曲線に沿ってフォーカスレンズとズームレンズの位置が制御されるため、カム軌跡曲線を表したカム軌跡データが必要となる。カメラ１０１では、カム軌跡データがテーブル等の形式で上述したズーム・フォーカス制御データ２１３に含まれ、例えばＲＯＭ１２上のカム軌跡データ保持部に保持される。
【0040】
但し、被写体距離について細かい粒度でカム軌跡データのテーブルがメモリ上に保持されるには、膨大なメモリ容量が必要となってしまう。このため、本実施形態では、基準となるいくつかの被写体距離のカム軌跡データのテーブルのみメモリ上に保持され、基準以外の被写体距離のカム軌跡データに関しては補間処理により算出される。
【0041】
＜クライアント装置の構成＞
次に、図１に示す制御端末１０２やコントローラ１０４を一例とするクライアント装置について説明する。
次に、図１に示す制御端末１０２やコントローラ１０４を一例とするクライアント装置について説明する。
【0042】
図５は、クライアント装置の構成の一例を示すブロック図である。
クライアント装置は、具体例としては制御端末１０２やコントローラ１０４が該当し、ユーザがカメラ制御コマンドでカメラ１０１を制御するための装置である。クライアント装置１０２、１０４は、システム制御部４０１と、通信部４０２と、記憶部４０３と、入力部４０４と、プログラムメモリ４０５と、表示部４０６とを備えている。
クライアント装置は、具体例としては制御端末１０２やコントローラ１０４が該当し、ユーザがカメラ制御コマンドでカメラ１０１を制御するための装置である。クライアント装置１０２、１０４は、システム制御部４０１と、通信部４０２と、記憶部４０３と、入力部４０４と、プログラムメモリ４０５と、表示部４０６とを備えている。
【0043】
システム制御部４０１は、クライアント装置１０２、１０４全体の制御を行い、他の構成部に対して処理の指示を行う。システム制御部４０１は、ユーザによる入力部４０４からの入力操作やＧＵＩ操作に応じて、カメラ制御コマンドを生成し、通信部４０２を介してカメラ１０１へ送信する。
カメラ１０１に対して、カメラ制御コマンドが送信されることで、ＰＴＺなどの遠隔操作が可能となる。また、カメラ制御コマンドの送信で、自動追尾機能のＯＮ／ＯＦＦ切り替えや詳細設定の操作も可能となる。システム制御部４０１は、カメラ１０１からのレスポンスを通信部４０２経由で受信してレスポンスを解析し、レスポンスに応じた処理を行う。
カメラ１０１に対して、カメラ制御コマンドが送信されることで、ＰＴＺなどの遠隔操作が可能となる。また、カメラ制御コマンドの送信で、自動追尾機能のＯＮ／ＯＦＦ切り替えや詳細設定の操作も可能となる。システム制御部４０１は、カメラ１０１からのレスポンスを通信部４０２経由で受信してレスポンスを解析し、レスポンスに応じた処理を行う。
【0044】
通信部４０２は、カメラ制御コマンドの送信や、カメラ１０１から配信された各種データの受信を行う。
記憶部４０３は、メモリやストレージなどといった記憶装置に対して、後述する、カメラ情報やトレース情報などを記憶する。
記憶部４０３は、メモリやストレージなどといった記憶装置に対して、後述する、カメラ情報やトレース情報などを記憶する。
【0045】
入力部４０４は、ハードウェアに備え付けられた、例えばボタン、キーボード、マウス、ジョイスティックなどのデバイスによるユーザの入力を受ける。
プログラムメモリ４０５は、端末制御プログラムを格納するメモリであり、システム制御部４０１は、プログラムメモリ４０４に記憶された端末制御プログラムに基づき各種動作を実行する。
プログラムメモリ４０５は、端末制御プログラムを格納するメモリであり、システム制御部４０１は、プログラムメモリ４０４に記憶された端末制御プログラムに基づき各種動作を実行する。
【0046】
表示部４０６は、カメラ１０１の映像を表示したりカメラ１０１におけるレンズ位置などの現在値を表示したりする。なお、表示部４０６と入力部４０４が一体となったタッチパネルが備えられてもよい。
表示部４０６には、自動追尾撮影に関する追尾設定を行うアプリケーション画面も表示される。
表示部４０６には、自動追尾撮影に関する追尾設定を行うアプリケーション画面も表示される。
【0047】
図６は、アプリケーション画面の例を示す図である。
アプリケーション画面９０１は、追尾中にズーム制御をする場合の追尾被写体のサイズおよび位置をユーザが設定する画面である。アプリケーション画面９０１は、追尾設定を行うＷｅｂアプリケーションによって表示部４０６に表示される。
アプリケーション画面９０１は、追尾中にズーム制御をする場合の追尾被写体のサイズおよび位置をユーザが設定する画面である。アプリケーション画面９０１は、追尾設定を行うＷｅｂアプリケーションによって表示部４０６に表示される。
【0048】
アプリケーション画面９０１には、カメラ１０１によって得られた撮像映像９０２が表示される。
アプリケーション画面９０１には、追尾機能のＯＮ／ＯＦＦを設定するための設定ボタン９０３と、追尾中にズーム制御をするかどうかを指定するための指定ボタン９０４が備えられている。
アプリケーション画面９０１には、追尾機能のＯＮ／ＯＦＦを設定するための設定ボタン９０３と、追尾中にズーム制御をするかどうかを指定するための指定ボタン９０４が備えられている。
【0049】
図６に示す例では、指定ボタン９０４が、「ズーム制御する」ことを示す「ＯＮ」の状態となっている。指定ボタン９０４が「ＯＮ」の状態であるとスライダーバー９０５が活性化され、追尾被写体の目標サイズがドラッグ操作によって設定可能となる。
スライダーバー９０５には縮小ボタン９０６と拡大ボタン９０７が付属しており、縮小ボタン９０６がクリックされると目標サイズは小さく変更され、拡大ボタン９０７がクリックされると目標サイズは大きく変更される。
スライダーバー９０５には縮小ボタン９０６と拡大ボタン９０７が付属しており、縮小ボタン９０６がクリックされると目標サイズは小さく変更され、拡大ボタン９０７がクリックされると目標サイズは大きく変更される。
【0050】
撮像映像９０２上には、追尾被写体の目標サイズおよび位置を示すアイコン９０８が表示される。アイコン９０８の大きさは、スライダーバー９０５、縮小ボタン９０６および拡大ボタン９０７で設定された目標サイズに応じて変わる。また、アイコン９０８がドラッグ＆ドロップされことで追尾対象の位置の設定および変更が可能となる。
【0051】
アプリケーション画面９０１で追尾設定が変更されると、カメラ１０１は自動追尾設定データ２１２のデータを更新する。そして、更新された設定に従って自動追尾撮影が実行される。
【0052】
＜ズーム中のオートフォーカス＞
次に、ズーム制御中におけるオートフォーカス制御について説明する。
図７は、ズーム制御中におけるオートフォーカス制御の比較例を示す図であり、図８は、本実施形態におけるズーム制御中のオートフォーカス制御を示す図である。
次に、ズーム制御中におけるオートフォーカス制御について説明する。
図７は、ズーム制御中におけるオートフォーカス制御の比較例を示す図であり、図８は、本実施形態におけるズーム制御中のオートフォーカス制御を示す図である。
【0053】
図７および図８には、図４で説明したカム軌跡曲線が簡易的に示されており、一例として、６０ｃｍ、５．０ｍ、∞それぞれの被写体距離に対応したカム軌跡曲線が示されている。図４と同様に、図７および図８の横軸はズームレンズのレンズ位置を示し、縦軸はフォーカスレンズのレンズ位置を示している。以下の説明では、ズームレンズのレンズ位置のことを「ズーム位置」と称し、フォーカスレンズのレンズ位置のことを「フォーカス位置」と称する場合がある。
【0054】
図７の左方に示された画像５０１は、カメラ１０１が現在撮影している画角で得られた画像の例であり、例えばズーム位置はＷＩＤＥ寄りに在り、フォーカス位置は６０ｃｍと５．０ｍの間に在る。被写体はカメラ１０１から離れる方向に例えば５．０ｍまで移動中であり、画像５０１中の被写体は目標サイズよりも小さく映り、ピントも外れだしている。このため、ＴＥＬＥ方向へのズーム制御とともにオートフォーカス制御も求められる。
【0055】
比較例においては、ズーム制御中のズーム位置およびフォーカス位置は、ズーム開始時の被写体距離のカム軌跡曲線５０２に沿いながら変化し、更にオートフォーカス制御によってフォーカス位置が図７の上下方向に移動して合焦位置がサーチ（探索）される。合焦位置のサーチ範囲５０３は至近のカム軌跡曲線と∞のカム軌跡曲線との間であり、サーチ範囲５０３に亘ってフォーカスレンズが駆動される。
【0056】
図７の右方に示された３つの画像５１０、５２０、５３０は、ズーム制御後の画角における画像の例である。３つの画像５１０、５２０、５３０のうち中央の画像５１０はズーム後に合焦できているケースであり、５．０ｍのカム軌跡上に遷移できている。
これに対し、３つの画像５１０、５２０、５３０のうち上と下の画像５２０、５３０は合焦位置のサーチに失敗したケースである。上の画像５２０の場合、カム軌跡曲線５０２に沿ったズーム制御の途中でピントが外れ、ＮＥＡＲ側のサーチ端までフォーカス位置が移動してしまっている。下の画像５３０の場合、フォーカス位置が合焦位置を通り過ぎてＦＡＲ側のサーチ端まで移動してしまっている。
これに対し、３つの画像５１０、５２０、５３０のうち上と下の画像５２０、５３０は合焦位置のサーチに失敗したケースである。上の画像５２０の場合、カム軌跡曲線５０２に沿ったズーム制御の途中でピントが外れ、ＮＥＡＲ側のサーチ端までフォーカス位置が移動してしまっている。下の画像５３０の場合、フォーカス位置が合焦位置を通り過ぎてＦＡＲ側のサーチ端まで移動してしまっている。
【0057】
比較例ではオートフォーカスのサーチ範囲５０３が広すぎるため、ピントが大きく外れた場合に画像のコントラストが無くなって評価値に差が出ず、合焦位置の方向とは逆方向にフォーカスレンズが駆動されてしまうと考えられる。また、被写体の背景等によっても合焦位置のサーチが難しい場合がある。
【0058】
そこで本実施形態のカメラ１０１では、図８に示すように、ズーム制御中のオートフォーカスにおいて合焦位置のサーチ範囲６０３が制限される。
図８にも左方にズーム前の画角における画像５０１が示され、被写体の動きも図７と同様である。
ズーム制御は、被写体を目標サイズで捉える制御であるため、ズーム制御の開始時には画像５０１中に写っている被写体のサイズが検出される。そして、検出された被写体サイズと、自動追尾設定データ２１２で設定された被写体の目標サイズとに基づいて、目標のズーム位置が算出される。ズーム制御では、算出された目標のズーム位置に向かってズームレンズが駆動される。
図８にも左方にズーム前の画角における画像５０１が示され、被写体の動きも図７と同様である。
ズーム制御は、被写体を目標サイズで捉える制御であるため、ズーム制御の開始時には画像５０１中に写っている被写体のサイズが検出される。そして、検出された被写体サイズと、自動追尾設定データ２１２で設定された被写体の目標サイズとに基づいて、目標のズーム位置が算出される。ズーム制御では、算出された目標のズーム位置に向かってズームレンズが駆動される。
【0059】
図８の右方には、目標とするズーム位置およびフォーカス位置による画角で得られる画像５１０が示されている。目標のズーム位置におけるフォーカス位置へは、ズーム制御中のオートフォーカス制御によって合焦位置がサーチされることで到達される。
本実施形態では、合焦位置のサーチ範囲６０３が、ＮＥＡＲ側リミット６０１とＦＡＲ側リミット６０２との間に決定される。システム制御部２０１は、サーチ範囲６０３を被写体の撮影サイズと目標サイズとの相違に基づいて決定してフォーカス制御部２０６に指示する。サーチ範囲６０３を指示されたフォーカス制御部２０６は、サーチ範囲６０３内でフォーカスレンズを駆動する。
つまり、本実施形態の場合、ズーム制御中のオートフォーカス制御でフォーカスレンズが駆動される範囲は、図８に示すサーチ範囲６０３に狭められる。この結果、合焦位置のサーチは、コントラストの評価値で合焦位置の正しい方向が得られる範囲内で実行されることになる。従って、図７に示すようなピント外れが回避されるので、被写体にピントが合った画像５１０が得られることになる。
本実施形態では、合焦位置のサーチ範囲６０３が、ＮＥＡＲ側リミット６０１とＦＡＲ側リミット６０２との間に決定される。システム制御部２０１は、サーチ範囲６０３を被写体の撮影サイズと目標サイズとの相違に基づいて決定してフォーカス制御部２０６に指示する。サーチ範囲６０３を指示されたフォーカス制御部２０６は、サーチ範囲６０３内でフォーカスレンズを駆動する。
つまり、本実施形態の場合、ズーム制御中のオートフォーカス制御でフォーカスレンズが駆動される範囲は、図８に示すサーチ範囲６０３に狭められる。この結果、合焦位置のサーチは、コントラストの評価値で合焦位置の正しい方向が得られる範囲内で実行されることになる。従って、図７に示すようなピント外れが回避されるので、被写体にピントが合った画像５１０が得られることになる。
【0060】
図８に示す例では、追尾中の被写体サイズが目標サイズよりも小さく、被写体はカメラ１０１から遠ざかっている。このため、ズームレンズおよびフォーカスレンズがＴＥＬＥ／ＦＡＲ方向に駆動されると、合焦位置および目標サイズに到達すると期待される。つまり、現在の被写体距離よりもＮＥＡＲ側について合焦位置のサーチは不要と考えられるため、ＮＥＡＲ側リミット６０１には現在の被写体距離のカム軌跡曲線が設定されることが好ましい。
【0061】
図８の例では、被写体がカメラ１０１から遠ざかっているため、ＮＥＡＲ側について合焦位置のサーチが不要となる。これに対し、被写体がカメラ１０１に近づいていると、ＦＡＲ側について合焦位置のサーチが不要となる。従ってズーム制御がＷＩＤＥ方向である場合、現在の被写体距離のカム軌跡曲線がＦＡＲ側リミット６０２となる。以下の説明では、ＮＥＡＲ側リミット６０１とＦＡＲ側リミット６０２のうち、現在の被写体距離に近い方を「現状側リミット」と称し、遠い方を「変更側リミット」と称する場合がある。
【0062】
上述したように、現状側リミットは、現在の被写体距離のカム軌跡曲線であることが望ましい。そして、現状側リミットがＮＥＡＲ側であるかＦＡＲ側であるかは、ズーム制御の方向に依存する。つまり、ズーム制御がＴＥＬＥ方向である場合、合焦位置のサーチはＦＡＲ側に限定されて現状側リミットはＮＥＡＲ側リミットとなる。また、ズーム制御がＷＩＤＥ方向である場合、合焦位置のサーチはＮＥＡＲ側に限定されて現状側リミットはＦＡＲ側リミットとなる。
ズーム制御の方向は、被写体の撮影サイズと目標サイズとの相違に基づいてシステム制御部２０１が決定し、現状側リミットがＮＥＡＲ側であるかＦＡＲ側であるかもシステム制御部２０１が決定することになる。具体的には、システム制御部２０１は、撮影サイズが目標サイズよりも大きい場合、サーチ範囲６０３を、現在の被写体距離よりもＦＡＲ側に決定する。また、システム制御部２０１は、撮影サイズが目標サイズよりも小さい場合、サーチ範囲６０３を、現在の被写体距離よりもＮＥＡＲ側に決定する。
ズーム制御の方向は、被写体の撮影サイズと目標サイズとの相違に基づいてシステム制御部２０１が決定し、現状側リミットがＮＥＡＲ側であるかＦＡＲ側であるかもシステム制御部２０１が決定することになる。具体的には、システム制御部２０１は、撮影サイズが目標サイズよりも大きい場合、サーチ範囲６０３を、現在の被写体距離よりもＦＡＲ側に決定する。また、システム制御部２０１は、撮影サイズが目標サイズよりも小さい場合、サーチ範囲６０３を、現在の被写体距離よりもＮＥＡＲ側に決定する。
【0063】
図８の例ではＦＡＲ側リミット６０２が変更側リミットであり、変更側リミットについても、いずれかの被写体距離のカム軌跡曲線であることが望ましい。
本実施形態では、変更側リミットとなるカム軌跡曲線の被写体距離は、追尾被写体の現在サイズと目標サイズとの相違（差分や比率）と、現在の被写体距離と、現在のズーム位置とに応じて、後述するデータテーブルから取得される。データテーブルは、例えばズーム・フォーカス制御データ２１３の一部として記憶され、システム制御部２０１によって参照される。
撮像センサと撮像光学系が決まっていれば、前述した３つの要素から被写体距離がどの程度変化したかは予め算出可能であるので、算出された被写体距離が上記データテーブルとして記憶される。つまりシステム制御部２０１は、サーチ範囲６０３を、被写体距離とズーム位置とをパラメータとして予め記憶されたデータテーブルから取得する。データテーブルのことを以下では「Ｆｏｃｕｓリミットテーブル」と称する。
本実施形態では、変更側リミットとなるカム軌跡曲線の被写体距離は、追尾被写体の現在サイズと目標サイズとの相違（差分や比率）と、現在の被写体距離と、現在のズーム位置とに応じて、後述するデータテーブルから取得される。データテーブルは、例えばズーム・フォーカス制御データ２１３の一部として記憶され、システム制御部２０１によって参照される。
撮像センサと撮像光学系が決まっていれば、前述した３つの要素から被写体距離がどの程度変化したかは予め算出可能であるので、算出された被写体距離が上記データテーブルとして記憶される。つまりシステム制御部２０１は、サーチ範囲６０３を、被写体距離とズーム位置とをパラメータとして予め記憶されたデータテーブルから取得する。データテーブルのことを以下では「Ｆｏｃｕｓリミットテーブル」と称する。
【0064】
図９は、Ｆｏｃｕｓリミットテーブルのイメージ図である。
Ｆｏｃｕｓリミットテーブルは、現在の被写体距離毎に分けて記憶される。図８には、一例として、現在の被写体距離が５ｍのＦｏｃｕｓリミットテーブルと、現在の被写体距離が２ｍのＦｏｃｕｓリミットテーブルが示されている。
Ｆｏｃｕｓリミットテーブルは、現在の被写体距離毎に分けて記憶される。図８には、一例として、現在の被写体距離が５ｍのＦｏｃｕｓリミットテーブルと、現在の被写体距離が２ｍのＦｏｃｕｓリミットテーブルが示されている。
【0065】
Ｆｏｃｕｓリミットテーブルの各行は現在のズーム位置を表しており、Ｆｏｃｕｓリミットテーブルの各列は、現在の被写体サイズと目標サイズとの差（サイズ差）を表している。Ｆｏｃｕｓリミットテーブルの各列が表すサイズ差は、現在の被写体サイズと目標サイズとの相違を示す指標の一例である。
【0066】
本実施形態では、現在の被写体サイズと目標サイズとの相違として、差分と比率とが組み合わされた指標が用いられている。即ち、Ｆｏｃｕｓリミットテーブルにおけるサイズ差としては、現在の被写体サイズと目標サイズとの差分を現在の被写体サイズで除した１００分率が用いられている。なお、現在の被写体サイズと目標サイズとの相違を示す指標としては、例えば単にサイズ差が用いられてもよいし、例えば現在の被写体サイズと目標サイズとの比が用いられてもよい。
【0067】
Ｆｏｃｕｓリミットテーブルの各列のうちサイズ差「０」の列は、現在の被写体サイズと目標サイズとが等しい場合を示しており、この場合はズーム制御が不要となる。サイズ差「０」の列よりも左方の列ではサイズ差が負であるためＷＩＤＥ方向へのズーム制御が求められる。また、サイズ差「０」の列よりも右方の列ではサイズ差が正であるためＴＥＬＥ方向へのズーム制御が求められる。
【0068】
Ｆｏｃｕｓリミットテーブルの各セルには、変更側リミットとなるカム軌跡曲線の被写体距離が格納されている。サイズ差「０」の列よりも左方の列では、現在の被写体距離よりもＮＥＡＲ方向について合焦位置のサーチが行われる。サイズ差「０」の列よりも右方の列では、現在の被写体距離よりもＦＡＲ方向について合焦位置のサーチが行われる。
また、各セルに格納された被写体距離の値は、サイズ差が大きい程、現在の被写体距離から離れた値を示し、サイズ差が小さい程、現在の被写体距離に近い値を示す。つまり、Ｆｏｃｕｓリミットテーブルを参照するシステム制御部２０１は、撮影サイズと目標サイズとの相違が小さい程、サーチ範囲を狭く決定することになる。
また、各セルに格納された被写体距離の値は、サイズ差が大きい程、現在の被写体距離から離れた値を示し、サイズ差が小さい程、現在の被写体距離に近い値を示す。つまり、Ｆｏｃｕｓリミットテーブルを参照するシステム制御部２０１は、撮影サイズと目標サイズとの相違が小さい程、サーチ範囲を狭く決定することになる。
【0069】
例えば、現在の被写体距離が５ｍであり、現在のズーム位置がＷＩＤＥ端であり、サイズ差が「１０％」である場合、ズームレンズおよびフォーカスレンズはＴＥＬＥ／ＦＡＲ方向に駆動される。そして、変更側リミットとなるカム軌跡曲線は、ＦＡＲ側に位置する６ｍのカム軌跡曲線となり、５ｍのカム軌跡曲線から６ｍのカム軌跡曲線までがサーチ範囲となる。
【0070】
また、例えば、現在の被写体距離が２ｍであり、現在のズーム位置がＴＥＬＥ端であり、サイズ差が「―３０％」である場合、ズームレンズおよびフォーカスレンズはＷＩＤＥ／ＮＥＡＲ方向に駆動される。そして、変更側リミットとなるカム軌跡曲線は、ＮＥＡＲ側に位置する０．１ｍのカム軌跡曲線となり、２ｍのカム軌跡曲線から０．１ｍのカム軌跡曲線までがサーチ範囲となる。
【0071】
Ｆｏｃｕｓリミットテーブルに格納された被写体距離は、合焦位置のサーチ範囲のリミットであるため、サイズ差などから算出された合焦位置よりもマージンを持たせておくことが望ましい。図９に示すＦｏｃｕｓリミットテーブルには、マージンを持った被写体距離が格納されている。
【0072】
また、被写体距離のマージンは、ズーム制御の速度や、レンズに絞り機構がある場合の絞り値に応じて変更されてもよい。Ｆｏｃｕｓリミットテーブルから求められた被写体距離が、例えばＦＡＲ方向の２．４ｍであっても、ズーム制御の速度が大きい場合にはマージンが追加され、変更側リミットの被写体距離は例えば２．６ｍなどとされてもよい。
マージンの追加は、具体的にはシステム制御部２０１によって行われる。つまり、システム制御部２０１は、ズームレンズの移動速度が速い程、サーチ範囲６０３を広く決定する。
マージンの追加は、具体的にはシステム制御部２０１によって行われる。つまり、システム制御部２０１は、ズームレンズの移動速度が速い程、サーチ範囲６０３を広く決定する。
【0073】
図９に示すＦｏｃｕｓリミットテーブルに基づいて合焦位置のサーチ範囲が決定されることにより、比較例のようなピント外れが抑制されて、映像品質の劣化および被写体のロストが防がれる。
【0074】
【0075】
図１０に示す処理動作は、カメラ１０１が特定の被写体の追尾をしている状態において、一定間隔で繰り返し実行される。
Ｓ８０１では、システム制御部２０１が、自動追尾設定データ２１２から追尾被写体の目標サイズを取得し、その後、Ｓ８０２に進む。
Ｓ８０１では、システム制御部２０１が、自動追尾設定データ２１２から追尾被写体の目標サイズを取得し、その後、Ｓ８０２に進む。
【0076】
Ｓ８０２では、画像処理部２０３が、撮像部２０２からの映像信号を基に追尾被写体を検知し、検知した被写体のサイズ（以下、検知サイズと言う。）をシステム制御部２０１が取得し、その後、Ｓ８０３に進む。
Ｓ８０３では、Ｓ８０１で取得された目標サイズとＳ８０２で取得された検知サイズから上述したサイズ差がシステム制御部２０１で算出され、その後、Ｓ８０４に進む。
Ｓ８０３では、Ｓ８０１で取得された目標サイズとＳ８０２で取得された検知サイズから上述したサイズ差がシステム制御部２０１で算出され、その後、Ｓ８０４に進む。
【0077】
Ｓ８０４では、Ｓ８０３で算出されたサイズ差から、ズーム制御による画角調整が必要か否か、がシステム制御部２０１で判定される。具体的には、サイズ差の絶対値が閾値を超えていない場合は画角調整の必要が無いと判定され（Ｓ８０４：Ｎｏ）、図１０の処理が終了する。
サイズ差の絶対値が閾値を超えている場合は画角調整が必要と判定され（Ｓ８０４：Ｙｅｓ）、Ｓ８０５に進む。
サイズ差の絶対値が閾値を超えている場合は画角調整が必要と判定され（Ｓ８０４：Ｙｅｓ）、Ｓ８０５に進む。
【0078】
Ｓ８０５では、Ｓ８０３で算出されたサイズ差と、現在のズーム位置と、現在の被写体距離とに基づいて、上述したＦｏｃｕｓリミットテーブルがシステム制御部２０１によって参照される。そして、合焦位置のサーチ範囲（フォーカスサーチ範囲）の変更側リミットがシステム制御部２０１で確定され、その後、Ｓ８０６に進む。
【0079】
Ｓ８０６では、Ｓ８０１で取得された目標サイズと、Ｓ８０２で取得された検知サイズとが比較されてズーム制御方向がシステム制御部２０で決定される。検知サイズよりも目標サイズの方が大きい場合（Ｓ８０６：Ｙｅｓ）、被写体がカメラ１０１から遠ざかる方向に居て被写体を拡大する必要があることが分かる。このため、Ｓ８０７に進み、現状側リミットはＮＥＡＲ側リミットとなり、フォーカスサーチ範囲がＦＡＲ方向に制限される。システム制御部２０１は、ズーム制御部２０５とフォーカス制御部２０６を通じて、レンズ駆動部２０４に、ＴＥＬＥ方向へのズーム制御を指示し、図１０の処理が終了する。
【0080】
Ｓ８０６で、検知サイズよりも目標サイズの方が小さい場合（Ｓ８０６：Ｎｏ）、被写体がカメラ１０１に近づく方向に居て被写体を小さく映す必要があることが分かる。このため、Ｓ８０８に進み、現状側リミットはＦＡＲ側リミットとなり、フォーカスサーチ範囲がＮＥＡＲ方向に制限される。システム制御部２０１は、ズーム制御部２０５とフォーカス制御部２０６を通じて、レンズ駆動部２０４に、ＷＩＤＥ方向へのズーム制御を指示し、図１０の処理が終了する。
【0081】
Ｓ８０７でもＳ８０８でも、ズーム制御中は、システム制御部２０１は、ズーム制御部２０５とフォーカス制御部２０６を通じて、レンズ駆動部２０４に、フォーカスサーチ範囲中でのオートフォーカス制御を指示する。具体的には、ＴＥＬＥ方向へのズーム制御中はＦＡＲ方向のサーチ範囲でオートフォーカス制御され、ＷＩＤＥ方向へのズーム制御はＮＥＡＲ方向のサーチ範囲でオートフォーカス制御される。
なお、ズーム制御の開始時に既に被写体が合焦されている場合、オートフォーカス制御は行われず、ズームレンズおよびフォーカスレンズは、現在の被写体距離のカム軌跡曲線に沿って制御される。つまり、ズームレンズの制御開始時に被写体に焦点があっている場合、フフォーカス制御部２０６は、フォーカスレンズをカム軌跡曲線に沿って制御し、合焦位置のサーチを行わない。
なお、ズーム制御の開始時に既に被写体が合焦されている場合、オートフォーカス制御は行われず、ズームレンズおよびフォーカスレンズは、現在の被写体距離のカム軌跡曲線に沿って制御される。つまり、ズームレンズの制御開始時に被写体に焦点があっている場合、フフォーカス制御部２０６は、フォーカスレンズをカム軌跡曲線に沿って制御し、合焦位置のサーチを行わない。
【0082】
図１０に示す処理動作により、被写体の検出サイズと予め設定された目標サイズ情報に基づいて、ズーム中のフォーカスサーチ範囲が制限される。この結果、映像品位の劣化や検出失敗による被写体のロストが防がれたズーム機能が実現される。
なお、上記説明では、自動追尾撮影に関する追尾設定がユーザによって変更可能である例が示されているが、追尾設定は固定であってもよい。
また、上記説明では、パン・チルト制御とズーム制御とオートフォーカス制御を行う例が示されているが、本発明の制御装置は、ズーム制御とオートフォーカス制御を行いパン・チルト制御しないものでもよい。
なお、上記説明では、自動追尾撮影に関する追尾設定がユーザによって変更可能である例が示されているが、追尾設定は固定であってもよい。
また、上記説明では、パン・チルト制御とズーム制御とオートフォーカス制御を行う例が示されているが、本発明の制御装置は、ズーム制御とオートフォーカス制御を行いパン・チルト制御しないものでもよい。
【0083】
（その他の実施形態）
本発明は例えば、システム、装置、方法、プログラム若しくは記録媒体(記憶媒体)などとしての実施形態をとることが可能である。具体的には、複数の機器(例えば、ホストコンピュータ、インタフェース機器、Ｗｅｂアプリケーションなど)から構成されるシステムに適用されてもよいし、また、１つの機器からなる装置に適用されてもよい。
本発明は例えば、システム、装置、方法、プログラム若しくは記録媒体(記憶媒体)などとしての実施形態をとることが可能である。具体的には、複数の機器(例えば、ホストコンピュータ、インタフェース機器、Ｗｅｂアプリケーションなど)から構成されるシステムに適用されてもよいし、また、１つの機器からなる装置に適用されてもよい。
【0084】
また本発明は、上述した実施形態の１以上の機能を実現するプログラム（コンピュータプログラム）を、ネットワークまたは記録媒体（記憶媒体）を介して、システムまたは装置に供給することによっても実現可能である。そのシステムまたは装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出して実行する。この場合、記録媒体から読み出されたプログラム（プログラムコード）自体が実施形態の機能を実現することになる。また、当該プログラムを記録した記録媒体は本発明を構成することができる。
【0085】
また、コンピュータが読み出したプログラムを実行することにより、実施形態の機能が実現されるだけでなく、プログラムの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって上記した実施形態の機能が実現されてもよい。
【0086】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現されてもよい。
【0087】
本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムが格納されることになる。
なお、上記実施形態の開示は、以下の構成および方法を含む。
なお、上記実施形態の開示は、以下の構成および方法を含む。
【0088】
（構成１）
ズームレンズを制御して被写体の撮影サイズと目標サイズとの相違を減らすズーム制御手段と、
フォーカスレンズを制御して前記被写体に焦点を合わせるフォーカス制御手段と、
前記ズームレンズの制御中における前記フォーカスレンズの合焦位置のサーチ範囲を前記相違に基づいて決定するサーチ制御手段と、
を備えることを特徴とする制御装置。
ズームレンズを制御して被写体の撮影サイズと目標サイズとの相違を減らすズーム制御手段と、
フォーカスレンズを制御して前記被写体に焦点を合わせるフォーカス制御手段と、
前記ズームレンズの制御中における前記フォーカスレンズの合焦位置のサーチ範囲を前記相違に基づいて決定するサーチ制御手段と、
を備えることを特徴とする制御装置。
【0089】
（構成２）
前記サーチ制御手段は、前記撮影サイズが前記目標サイズよりも大きい場合、前記サーチ範囲を、現在の被写体距離よりもＦＡＲ側に決定することを特徴とする構成１に記載の制御装置。
前記サーチ制御手段は、前記撮影サイズが前記目標サイズよりも大きい場合、前記サーチ範囲を、現在の被写体距離よりもＦＡＲ側に決定することを特徴とする構成１に記載の制御装置。
【0090】
（構成３）
前記サーチ制御手段は、前記撮影サイズが前記目標サイズよりも小さい場合、前記サーチ範囲を、現在の被写体距離よりもＮＥＡＲ側に決定することを特徴とする構成１または２に記載の制御装置。
前記サーチ制御手段は、前記撮影サイズが前記目標サイズよりも小さい場合、前記サーチ範囲を、現在の被写体距離よりもＮＥＡＲ側に決定することを特徴とする構成１または２に記載の制御装置。
【0091】
（構成４）
前記サーチ制御手段は、前記相違が小さい程、前記サーチ範囲を狭く決定することを特徴とする構成１から３のいずれかに記載の制御装置。
前記サーチ制御手段は、前記相違が小さい程、前記サーチ範囲を狭く決定することを特徴とする構成１から３のいずれかに記載の制御装置。
【0092】
（構成５）
前記サーチ制御手段は、前記サーチ範囲を、被写体距離とズーム位置とをパラメータとして予め記憶されたデータから取得することを特徴とする構成４に記載の制御装置。
前記サーチ制御手段は、前記サーチ範囲を、被写体距離とズーム位置とをパラメータとして予め記憶されたデータから取得することを特徴とする構成４に記載の制御装置。
【0093】
（構成６）
前記サーチ制御手段は、前記ズームレンズの移動速度が速い程、前記サーチ範囲を広く決定することを特徴とする構成４または５に記載の制御装置。
前記サーチ制御手段は、前記ズームレンズの移動速度が速い程、前記サーチ範囲を広く決定することを特徴とする構成４または５に記載の制御装置。
【0094】
（構成７）
前記ズームレンズの制御開始時に前記被写体に焦点があっている場合、前記フォーカス制御手段は、前記フォーカスレンズをカム軌跡曲線に沿って制御し、合焦位置のサーチを行わないことを特徴とする構成１から６のいずれかに記載の制御装置。
前記ズームレンズの制御開始時に前記被写体に焦点があっている場合、前記フォーカス制御手段は、前記フォーカスレンズをカム軌跡曲線に沿って制御し、合焦位置のサーチを行わないことを特徴とする構成１から６のいずれかに記載の制御装置。
【0095】
（構成８）
構成１から７までのいずれかに記載の制御装置と、
前記ズームレンズおよび前記フォーカスレンズを含む撮像光学系と、
前記撮像光学系で得られる像を撮影する撮像手段と、
を備えることを特徴とする撮像装置。
構成１から７までのいずれかに記載の制御装置と、
前記ズームレンズおよび前記フォーカスレンズを含む撮像光学系と、
前記撮像光学系で得られる像を撮影する撮像手段と、
を備えることを特徴とする撮像装置。
【0096】
（方法１）
ズームレンズを制御して被写体の撮影サイズと目標サイズとの相違を減らすズーム制御ステップと、
フォーカスレンズを制御して前記被写体に焦点を合わせるフォーカス制御ステップと、
前記ズームレンズの制御中における前記フォーカスレンズの合焦位置のサーチ範囲を前記相違に基づいて決定するサーチ制御ステップと、
を備えることを特徴とする制御方法。
ズームレンズを制御して被写体の撮影サイズと目標サイズとの相違を減らすズーム制御ステップと、
フォーカスレンズを制御して前記被写体に焦点を合わせるフォーカス制御ステップと、
前記ズームレンズの制御中における前記フォーカスレンズの合焦位置のサーチ範囲を前記相違に基づいて決定するサーチ制御ステップと、
を備えることを特徴とする制御方法。
【0097】
（構成９）
情報処理装置を、構成１から７までのいずれかに記載の制御装置として動作させるためのプログラム。
情報処理装置を、構成１から７までのいずれかに記載の制御装置として動作させるためのプログラム。
【符号の説明】
【0098】
１００…撮像システム、 １０１…カメラ、 １０２…制御端末、 １０３…ジョイスティック、 １０４…カメラコントローラ、 １０５…ネットワーク、 ２０１…システム制御部、 ２０２…撮像部、 ２０３…画像処理部、 ２０４…レンズ駆動部、 ２０５…ズーム制御部、 ２０６…フォーカス制御部、 ２０７…パン駆動部、 ２０８…チルト駆動部、 ２０９…パン・チルト制御部、 ２１０…記憶部、 ２１１…プログラムメモリ、 ２１２…自動追尾設定データ、 ２１３…ズーム・フォーカス制御データ、 ２２０…通信部、 ４０１…システム制御部、 ４０２…通信部、 ４０３…記憶部、 ４０４…入力部、 ４０５…プログラムメモリ、 ４０６…表示部、 ５０２…カム軌跡曲線、 ６０１…ＮＥＡＲ側リミット、 ６０２…ＦＡＲ側リミット、 ６０３…サーチ範囲、 ９０１…アプリケーション画面、 ９０２…撮像映像、 ９０３…設定ボタン、 ９０４…指定ボタン、 ９０５…スライダーバー、 ９０６…縮小ボタン、 ９０７…拡大ボタン、 ９０８…アイコン
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】