特許 7554025 撮像装置および撮像方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-10

(45)【発行日】2024-09-19

(54)【発明の名称】撮像装置および撮像方法

(51)【国際特許分類】

   H04N 23/695 20230101AFI20240911BHJP

   H04N 23/611 20230101ALI20240911BHJP

【ＦＩ】

H04N23/695

H04N23/611

【請求項の数】 7

(21)【出願番号】P 2020000805

(22)【出願日】2020-01-07

(65)【公開番号】P2021111822

(43)【公開日】2021-08-02

【審査請求日】2022-12-14

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100126240

【弁理士】

【氏名又は名称】阿部 琢磨

(74)【代理人】

【識別番号】100223941

【弁理士】

【氏名又は名称】高橋 佳子

(74)【代理人】

【識別番号】100159695

【弁理士】

【氏名又は名称】中辻 七朗

(74)【代理人】

【識別番号】100172476

【弁理士】

【氏名又は名称】冨田 一史

(74)【代理人】

【識別番号】100126974

【弁理士】

【氏名又は名称】大朋 靖尚

(72)【発明者】

【氏名】藤永 隆史

【審査官】越河 勉

(56)【参考文献】

【文献】特開２０１７－１５７９１２（ＪＰ，Ａ）

【文献】特開平０９－１８６９２７（ＪＰ，Ａ）

【文献】特開２０１６－２２００２４（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１６／００９４７９０（ＵＳ，Ａ１）

【文献】特開２００２－１３５７６６（ＪＰ，Ａ）

【文献】特開平０９－３２２０５２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／６９５

Ｈ０４Ｎ ２３／６１１

(57)【特許請求の範囲】

【請求項1】

画像を撮像する撮像手段と、
前記撮像手段をパン動作およびチルト動作させる駆動手段と、
第１の画像における被写体の速度と、前記被写体と前記撮像手段との距離と、前記画像の画素数ならびに前記駆動手段の現在の速度とに基づいて、前記駆動手段のパン動作およびチルト動作の第１の目標速度を算出し、
第２の画像における被写体の速度と、前記被写体と前記撮像手段との距離と、前記画像の画素数ならびに前記駆動手段の現在の速度とに基づいて、前記駆動手段のパン動作およびチルト動作の前記第１の目標速度とは異なる第２の目標速度を算出し、
前記第１の目標速度と前記第２の目標速度の差分を算出する算出手段と、
前記撮像手段で撮像した前記画像中のシーンを前記差分に応じて判定する判定手段と、
前記判定手段の判定結果に基づいて、前記駆動手段のパン動作およびチルト動作の加速度を決定する決定手段と、
前記決定手段で決定した加速度に基づいて前記駆動手段を駆動制御する制御手段と、
を有することを特徴とする撮像装置。

【請求項2】

前記第１の目標速度と前記第２の目標速度の差分が所定の閾値以上の場合に前記決定手段が決定する加速度は、前記第１の目標速度と前記第２の目標速度の差分が前記閾値未満の場合に前記決定手段が決定する加速度より大きいことを特徴とする請求項１に記載の撮像装置。

【請求項3】

前記判定手段は、前記画像中の人物を特定する特定手段を含むことを特徴とした請求項１または２に記載の撮像装置。

【請求項4】

前記撮像装置は、前記画像における複数の人物と、前記複数の人物のそれぞれに対応する複数の加速度とを関連付けたテーブルを記憶した記憶手段をさらに有し、
前記決定手段は、前記特定手段が特定した前記人物の情報と、前記テーブルとに基づいて、前記加速度を決定することを特徴とする請求項３に記載の撮像装置。

【請求項5】

前記撮像装置は、追尾機能を有するカメラであることを特徴とする請求項１～４のいずれか１項に記載の撮像装置。

【請求項6】

撮像部により画像を撮像するステップと、
駆動部により前記撮像部をパン動作およびチルト動作させるステップと、
第１の画像における被写体の速度と、前記被写体と前記撮像部との距離と、前記画像の画素数ならびに前記駆動部の現在の速度とに基づいて、前記駆動部のパン動作およびチルト動作の第１の目標速度を算出するステップと、
第２の画像における被写体の速度と、前記被写体と前記撮像部との距離と、前記画像の画素数ならびに前記駆動部の現在の速度とに基づいて、前記駆動部のパン動作およびチルト動作の前記第１の目標速度とは異なる第２の目標速度を算出するステップと、
前記第１の目標速度と前記第２の目標速度の差分を算出するステップと、
前記撮像部で撮像した前記画像中のシーンを前記差分に応じて判定するステップと、
前記判定の結果に基づいて、前記パン動作およびチルト動作の加速度を決定するステップと、
決定した前記加速度に基づいて、前記駆動部を駆動制御するステップと、
を有することを特徴とする撮像方法。

【請求項7】

コンピュータを、請求項１から５のいずれか１項に記載の撮像装置の各手段として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像装置および撮像方法に関する。

【背景技術】

【0002】

従来より、被写体の速度を映像から取得し、被写体の速度に応じてパン・チルト速度を変更することで追従性を向上させる技術が知られている（たとえば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１７－９８７２３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明が解決しようとする課題は、パン・チルト動作が可能な撮像装置において、撮像シーンに応じて被写体をより適切に撮像できるようにすることである。

【課題を解決するための手段】

【0005】

上記課題を解決するために、本発明の１つの態様による撮像装置は、画像を撮像する撮像手段と、前記撮像手段をパン動作およびチルト動作させる駆動手段と、第１の画像における被写体の速度と、前記被写体と前記撮像手段との距離と、前記画像の画素数ならびに前記駆動手段の現在の速度とに基づいて、前記駆動手段のパン動作およびチルト動作の第１の目標速度を算出し、第２の画像における被写体の速度と、前記被写体と前記撮像手段との距離と、前記画像の画素数ならびに前記駆動手段の現在の速度とに基づいて、前記駆動手段のパン動作およびチルト動作の前記第１の目標速度とは異なる第２の目標速度を算出し、前記第１の目標速度と前記第２の目標速度の差分を算出する算出手段と、前記撮像手段で撮像した前記画像中のシーンを前記差分に応じて判定する判定手段と、前記判定手段の判定結果に基づいて、前記駆動手段のパン動作およびチルト動作の加速度を決定する決定手段と、前記決定手段で決定した加速度に基づいて前記駆動手段を駆動制御する制御手段と、を有する。

【図面の簡単な説明】

【0006】

【図1】本発明の実施形態にかかるシステムの構成を示す図。

【図2】実施形態における被写体解析手法を説明する図。

【図3】加減速モードを自動で切り替える処理を示すフローチャート。

【図4】加減速モードの具体例を示す図。

【発明を実施するための形態】

【0007】

以下に、本発明の実施形態を、図面を参照して詳細に説明する。なお、以下の実施形態は本発明を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。実施形態の構成は、本発明が適用される装置の仕様や各種条件（使用条件、使用環境等）によって適宜修正又は変更され得る。本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されない。また、後述する各実施形態の一部を適宜組み合わせて構成してもよい。

【0008】

図１（Ａ）は本実施形態による撮像システム１００の構成例を示す。
本実施形態における撮像システム１００は、雲台１９０を有してパン機構およびチルト機構を備えるリモートカメラ２００と、雲台１９０を制御するコントローラ装置３００とによって構成されている。リモートカメラ２００はパン・チルト機能を有する撮像装置の一例である。リモートカメラ２００は、ネットワーク４００によりコントローラ装置３００に接続されている。ネットワーク４００は有線ネットワークまたは無線ネットワークである。本実施形態では、ネットワーク４００としてＬＡＮを用いる。ＬＡＮはＬｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋの略である。コントローラ装置３００は、例えば、通信機能を備えるパーソナルコンピュータ、タブレット端末などである。リモートカメラ２００は、例えば、ＩＰストリーミングカメラや監視カメラである。ＩＰストリーミングカメラは例えば、スポーツをしている被写体を撮像する際に使用される（放送業界で用いられる放送用リモートカメラ）。リモートカメラ２００が監視カメラである場合、撮像システム１００を監視システムと称してもよい。

【0009】

図１（Ｂ）は、リモートカメラ２００とコントローラ装置３００の機能ブロック図を示している。
リモートカメラ２００は、撮像部１００１、画像処理部１００２、システム制御部１００３、記憶部１００４、パン駆動部１００５、チルト駆動部１００６、速度制御部１００７、被写体解析部１００８、加速度判定部１０１１、通信部１０１２を備えている。被写体解析部１００８は、移動量演算部１００９と被写体識別部１０１０を有する。パン駆動部１００５とチルト駆動部１００６が雲台１９０に対応する。雲台１９０は、撮像部１００１のパン動作およびチルト動作させる駆動部である。

【0010】

撮像部１００１は、レンズおよび撮像素子から構成され、被写体（オブジェクト）の撮像および電気信号への変換を行う。
画像処理部１００２は、撮像部１００１によって変換された電気信号に画像処理や圧縮符号化処理を行い、画像データを生成し、当該画像データをシステム制御部１００３へ送信する。

【0011】

システム制御部１００３は、コントローラ装置３００から指示に基づいて、リモートカメラ２００全体を制御する。つまり、システム制御部１００３は、通信部１０１２を介してコントローラ装置３００から受信した制御コマンドを解析し、コマンドに応じた処理を行う。例えば、システム制御部１００３は、画像処理部１００２に対して画質調整の設定を行う。また、システム制御部１００３は、パン駆動部１００５およびチルト駆動部１００６に対してパン・チルト動作の設定といった撮影パラメータ設定の指示を行う。
さらに、システム制御部１００３は、リモートカメラ２００内で生成された画像データを、通信部１０１２を介してコントローラ装置３００に送信する。また、システム制御部材１００３は、被写体解析部１００８の解析結果および加速度判定部１０１１の判定結果に基づいて、パン・チルト速度を自動調整する。

【0012】

記憶部１００４は、画質調整のパラメータやネットワークの設定値を記憶し、再起動した場合でも以前設定した値を参照することが可能である。本実施形態の記憶部１００４は、図４に示す２つの加減速テーブル６００、７００や、図２（Ｄ）に示す被写体と動きの大きさ（加減速モード）の対応関係を示す被写体リスト２００４を、予め記憶している。また、記憶部１００４は、システム制御部１００３、被写体解析部１００８および加速度判定部１０１１が使用するプログラムを記憶している。

【0013】

パン駆動部１００５は、パン動作を行うメカ駆動系とその駆動源のモータにより構成され、モータが駆動されることによりパン駆動機構がパン方向に駆動する。
チルト駆動部１００６は、チルト動作を行うメカ駆動系とその駆動源のモータにより構成され、モータが駆動されることによりチルト駆動機構がチルト方向に駆動する。
速度制御部１００７は、パン動作の現在速度、目標速度、加速度の値または加減速テーブルの情報に基づいて次に指示する駆動速度を算出し、算出した駆動速度でパン駆動部１００５を駆動させるよう指示する。また、速度制御部１００７は、チルト動作の現在速度、目標速度、加速度の値または加減速テーブルの情報に基づいて次に指示する駆動速度を算出し、算出した駆動速度でチルト駆動部１００６を駆動させるよう指示する。

【0014】

移動量演算部１００９は、画像上の被写体の位置を取得することができる。移動量演算部１００９は、被写体の画像上の座標の軌跡から、被写体の画像上での速度を算出する。また、移動量演算部１００９は、画角と被写体の画像上の速度から、被写体に追従するために必要な駆動速度（以下、追従速度と称する）を算出する。
被写体識別部１０１０は、顔検出、人体検出等を用いて被写体の人物を特定する。
移動量演算部１００９および被写体識別部１０１０の上記した機能により、被写体解析部１００８は、撮像画像中の被写体の種別や動き量を解析することができる。被写体解析部１００８は、撮像画像中のシーンを判定する判定部と称することができる。

【0015】

加速度判定部１０１１は被写体解析部１００８の解析結果に基づいて望ましい加速度の値（加減速モード）を取得または決定する。そして、加減速モードに対応する加減速テーブル６００、７００に基づいて、加速度判定部１０１１は、速度制御部１００７に加減速計算を行うよう指示する（対応する加減速テーブルに従って動くよう速度制御部１００７に指示を行う）。

【0016】

通信部１０１２は、ＬＡＮによるネットワーク通信の処理を行う。システム制御部１００３は、リモートカメラ２００内で生成された画像データを、通信部１０１２を介してコントローラ装置３００に送信する。また、システム制御部１００３は、通信部１０１２を介してコントローラ装置３００から制御コマンドを受信する。

【0017】

コントローラ装置３００は、入力部１１０１、システム制御部１１０２、通信部１１０３および表示部１１０４を備えている。
入力部１１０１は、例えば、ボタン、ジョイスティック、マウスなどからなる。入力部１１０１は、ユーザからの各種操作を受け付ける。
システム制御部１１０２は、ユーザからの操作に応じて、通信部１１０３を介しリモートカメラに制御コマンドを送信する。
通信部１１０３は、リモートカメラ２００の通信部１０１２との通信を行う。
表示部１１０４は、リモートカメラ２００から受信した画像を表示する。ユーザは、表示部１１０４に表示された画像を、入力部１１０１を用いてクリックすることができる。また、表示部１１０４は、ユーザがコントローラ装置３００に入力した情報を表示する。
なお、コントローラ装置３００は、図示した機能部以外の機能部を備えてもよい。例えば、コントローラ装置３００は、記憶部、音声出力部などを備えてもよい。

【0018】

図１（Ｂ）に示すリモートカメラ２００の各機能部は、ＡＳＩＣ等の専用のハードウェア又はソフトウェアとして実装される。ハードウェアとして実装される場合は、各機能部それぞれ又はいくつかをまとめた専用のハードウェアモジュールとして実装してもよい。ソフトウェアとして実装される場合には、各機能部を実行するためのプログラムが例えば、記憶部１００４に記憶され、システム制御部１００３のプロセッサにより適宜読み出されて実行される。ＡＳＩＣは、Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ（特定用途向け集積回路）の略である。

【0019】

図２は本実施形態における被写体解析手法を説明する図である。より具体的には、図２は本実施形態の被写体解析部１００８および加速度判定部１０１１の処理を説明する図である。以下の記載では、説明を簡単にするために、リモートカメラ２００はパン動作だけを行うとする。
まず、図２（Ａ）と図２（Ｂ）を用いて、被写体５００の画像上での速度から被写体５００に追従するために必要なパン駆動速度を導出し、加減速モードを決定する処理について説明する。当該処理は、移動量演算部１００９および加速度判定部１０１１によって行われる。

【0020】

図２（Ａ）は、リモートカメラ２００と移動中の被写体５００と撮像画角θとの関係を図示している。リモートカメラ２００から出ている扇型図形の角度が撮像画角θである。リモートカメラ２００と被写体５００の距離はｒで示されている。なお、以下の記載において、撮像画角は単に画角と称することもある。
図２（Ｂ）は、移動中の被写体５００を撮像した撮像画像２００２を示している。移動前の被写体には符号５００Ａを付け、移動後の被写体には符号５００Ｂを付けた。図２（Ｂ）の撮像画像２００２では、横幅の画素数をＡ[pixel]で表し、被写体５００の画像上における速度をｖ_ｐｉｘ[pixel/s]で表している。
まず、リモートカメラ２００のパン動作が停止している状況下において、図２（Ｂ）の撮像画像２００２に示すように、被写体５００が速度ｖ_ｐｉｘ[pixel/s]で左に移動した場合を考える。

【0021】

このとき、被写体５００の実際の速度ｖ_ｔａｒｇ[m/s]は、リモートカメラ２００と被写体５００の距離をｒ[m]として下記の式（１）で求めることができる。

【数1】

【0022】

また、この速度で駆動する被写体５００を追尾するために必要なリモートカメラ２００の駆動速度（追従速度）ｖ_ｐａｎ[rad/s]は下記の式（２）で求めることができる。

【数2】

式（２）のように、被写体５００を追尾するためのリモートカメラ２００の駆動速度ｖ_ｐａｎ[rad/s]は、現在の画角θと画像情報（ｖ_ｐｉｘとＡ）から算出できる。

【0023】

次に、図２（Ａ）の矢印２００１で示すように、リモートカメラ２００がパン動作を行い反時計回り方向にＸ[rad/s]で駆動している状況下において、撮像画像２００２のように被写体５００が移動した場合を考える。この場合、被写体５００の実際の速度ｖ_ｔａｒｇ[m/s]は下記の式（３）で導出され、被写体５００を追尾するためのリモートカメラ２００の駆動速度ｖ_ｐａｎ[rad/s]は下記の式（４）で導出される。

【数3】

このように、本実施形態では、リモートカメラ２００のパン動作が停止状態の場合は式（１）および式（２）を用い、パン動作が駆動状態の場合は式（３）および式（４）を用いて、被写体５００の移動に応じた追従速度（リモートカメラ２００の駆動速度）を算出する。

【0024】

次に、リモートカメラ２００が被写体５００を常時追尾する場合を考える。被写体５００が停止状態の場合、または等速で動いている場合、追従速度は一定となり、被写体５００を常に画角中央に捉えることが可能となる。しかし、静止した被写体５００が突然動き始めた場合や、移動している被写体５００が加減速、停止、反転をした場合において、画像内の被写体５００の位置が変わり追従速度は変化する。このような場合の追従速度の変化量ｖ_ｄｉｆｆは、式（２）および式（４）より、下記の式（５）で表すことができる。

【数4】

【0025】

追従速度の変化量ｖ_ｄｉｆｆは、被写体５００の動きの変化とリモートカメラ２００と被写体の距離、画角等によって決定されるが、変化量ｖ_ｄｉｆｆが大きいほど追尾速度（目標とする追従速度）と現在速度に乖離があることになる。そのため、緩やかに加速してしまうと目標追従速度に至るまでの加速時間が長くなり、追尾が間に合わず被写体が画角から外れてしまう場合がある。

【0026】

よって、加速度判定部１０１１において、追従速度の変化量ｖ_ｄｉｆｆが所定値より大きいと判定される場合には、加速度が大きな加減速モードに基づいてパン駆動を行うよう自動制御する（加減速モードの切替えを行う）。このような自動制御により、必要な場合にのみ追従性を優先したパン駆動を行うことができる。
なお、追従速度の変化量ｖ_ｄｉｆｆに基づいて加減速モードの切替えを行うのではなく、画角θや被写体５００の画像上における速度ｖ_ｐｉｘの多寡（大小、高低）に基づいて、加速度を選択する制御を行ってもよい。

【0027】

次に、図２（Ｃ）と図２（Ｄ）を用いて、複数の被写体５００が存在する場合、各被写体５００に応じて加減速モードを変える処理を説明する。当該処理は、被写体識別部１０１０および加速度判定部１０１１により行われる。
図２（Ｃ）はコントローラ装置３００の表示部１１０４を示す。表示部１１０４には、６つの被写体５００が表示されているとする。

【0028】

図２（Ｄ）は被写体リスト２００４を示している。被写体リスト２００４は、各被写体に付けられた被写体番号と、当該被写体番号に対応付けられた加減速モードとを示す表（テーブル）である。例えば、被写体番号３の被写体については、被写体リスト２００４の加減速モードに「急峻」が設定されている。また、被写体番号５の被写体については、被写体リスト２００４の加減速モードに「緩やか」が設定されている。本実施形態では、追従性を優先する被写体である場合、加減速モードに「急峻」が設定され、そうでない場合、加減速モードに「緩やか」が設定されているとする。なお、被写体番号１の被写体については、被写体リスト２００４の加減速モードに「急峻」が設定されているとする。また、被写体番号２、４、６の被写体については、被写体リスト２００４において加減速モードの設定がないとする。つまり、本実施形態では、被写体番号２、４、６の被写体は、被写体リスト２００４に登録されていないとする。なお、本実施形態の場合、１つの加速度モードは１つの加速度に対応するので、被写体リスト２００４は、複数の被写体と複数の加速度とを関連付けたテーブルであると言える。

【0029】

図２（Ｃ）のような画像がコントローラ装置３００の表示部１１０４に表示されている場合において、まず注目すべき被写体５００をユーザが入力部１１０１を操作して選択（表示部１１０４の画面をクリック）する。当該クリック動作の情報は、ネットワーク４００を介してコントローラ装置３００からリモートカメラ２００の被写体識別部１０１０に送信される。なお、画面２００３内（つまり画角内）の情報から自動的に被写体を選択してもよい。
被写体識別部１０１０は、選択された被写体５００に対し、顔検出や人体検出等の人物検出技術を適用して、当該被写体５００の人物を特定する。より具体的には、被写体識別部１０１０は、選択された被写体５００がどの被写体番号の被写体なのかを特定する。

【0030】

次に、加速度判定部１０１１は、被写体リスト２００４を照会し、特定された被写体が被写体リスト２００４に登録されているかを判定する。特定された被写体が被写体リスト２００４に登録されていれば、加速度判定部１０１１は、当該被写体に対応する加減速モードを取得し、対応する加減速テーブルで動くよう速度制御部１００７に指示を行う。例えば、被写体番号３の被写体が特定された場合には、加減速モードとして「急峻」が取得され、当該加減速モードに対応する加減速テーブルでリモートカメラ２００のパン駆動がなされることになる。

【0031】

特定された被写体が被写体リスト２００４に登録されていなければ（例えば、被写体番号２の被写体が特定された場合）、デフォルトの設定にするか或いは図２（Ａ）および図２（Ｂ）で説明した判定基準に基づいて加減速モードを決定する。
これにより、被写体（人物）によって動きの大きさが固定される撮影シーンにおいて、注目すべき被写体に応じて加減速モードを自動で切り替えることが可能となる。例えば、複数の人物がスポーツをする場合、ポジションに応じて各人物の動きの大きさが予め分かっている場合がある。図２（Ｃ）の例では、被写体番号３の被写体のポジションでは、動きの大きさは「大」に固定されており（図中、「動き大」）、被写体番号５の被写体のポジションでは、動きの大きさは「小」に固定されている（図中、「動き小」）。このような場合に、各ポジションに応じて適切な追尾ができるようになる。

【0032】

図３は本実施形態の撮像システム１００（リモートカメラ２００）のメインフローである。図３を用いて、加減速モードを自動で切り替える追尾処理の流れを説明する。ＳはＳｔｅｐの略である。
図３（Ａ）は全体の追尾処理のフローを示す。図３（Ａ）のフローチャートは、リモートカメラ２００が撮像を開始すると、開始する。

【0033】

Ｓ３００１において、被写体解析部１００８は、撮像部１００１が撮像した現在の画像を、撮像部１００１から取得する。撮像部１００１は、例えば、１秒間に１０フレーム（１０[fps]）の画像を撮像する。
Ｓ３００２において、被写体解析部１００８は、取得した画像を解析し、加速度判定部１０１１は、当該解析の結果に基づいて、加速度（加減速モード）と目標速度を決定する。Ｓ３００２の処理の詳細は、図３（Ｂ）を用いて後述する。Ｓ３００２の処理は、加減速モード自動変更処理と称することができる。

【0034】

Ｓ３００３において、速度制御部１００７は、現在速度、追従速度および加減速モードに基づいて、パン・チルト駆動速度を更新する。具体的な更新手法に関しては、図４を用いて後述する。なお、本実施形態では、チルト動作はしていないので、実際には、パン駆動速度だけを更新する。
Ｓ３００４において、システム制御部１００３は、追尾機能が持続しているか判定する。つまり、システム制御部１００３は、リモートカメラ２００において追尾機能が有効であるか判定する。追尾機能が持続していればＳ３００１に戻り、持続していなければ処理を終了する。

【0035】

図３（Ｂ）により、Ｓ３００２の加減速モード自動変更処理を詳細に説明する。
Ｓ３１０１において、被写体識別部１０１０は、撮像部１００１から取得した画像に対して被写体の認識を行い、公知の人体検出・顔検出技術を用いて被写体の人物の特定を行う。また、移動量演算部１００９は、画像上の被写体５００の位置を取得する。被写体５００の位置の情報は、例えば(ｘ[pixel],ｙ[pixel])というように画素単位で取得・管理してもよい。
Ｓ３１０２において、移動量演算部１００９は、Ｓ３１０１で取得した被写体５００の画像上の位置の推移から、被写体５００の画像上の速度を算出する。例えば、１０[fps]で画像を取得し前回の画像上の位置と今回の画像上の位置が１００[pixel]離れている場合の画像上の速度は、１０００[pixel/s]となる。

【0036】

Ｓ３１０３において、移動量演算部１００９は、被写体の画像上の速度、画角情報、現状のパン・チルト駆動速度から、被写体５００を追尾するためのパン・チルト追従速度を式（４）により計算する。
Ｓ３１０４において、加速度判定部１０１１は、Ｓ３１０１で認識した被写体が被写体リスト２００４に登録されている人物であるかを判定する。Ｓ３１０４の判定結果がＮｏの場合、Ｓ３１０５に進む。Ｓ３１０４の判定結果がＮｏの場合、Ｓ３１０８に進む。

【0037】

Ｓ３１０５において、加速度判定部１０１１は、追従速度の変化量ｖ_ｄｉｆｆが所定の閾値以上か否かを判定する。例えば、閾値を２０[deg/s]とする。また、被写体が停止している状態から移動し始め、移動している被写体に追従するためのパン駆動速度が３０[deg/s]であるとする。この場合、追従速度は０[deg/s]から３０[deg/s]に変化する。したがって、追従速度の変化量は３０[deg/s]となり、当該変化量は閾値２０[deg/s]以上になる。

【0038】

Ｓ３１０５で追従速度の変化量ｖ_ｄｉｆｆが閾値以上と判定された場合は、Ｓ３１０６に進み、加速度が大きい加減速モードに設定される（Ｓ３１０６）。この設定は、加速度判定部１０１１が行う。そして、設定された加減速モードに従って、速度制御部１００７がパン駆動部１００５を駆動することになる。リモートカメラ２００がスポーツをしている被写体を撮像している場合、加速度が大きい加減速モードは、スポーツモードと称してもよい。また、スポーツモードではないモードは通常モードと称してよい。
Ｓ３１０５で追従速度の変化量ｖ_ｄｉｆｆが閾値未満と判定された場合は、Ｓ３１０７に進み、加速度が小さい加減速モードに設定される（Ｓ３１０７）。そして、設定された加減速モードに従って、速度制御部１００７がパン駆動部１００５を駆動制御することになる。

【0039】

Ｓ３１０８において、加速度判定部１０１１は、被写体が追従性を優先する被写体か否かを判定する。具体的には、加速度判定部１０１１は、被写体リスト２００４を参照して、Ｓ３１０１で認識された被写体の加減速モードが「急峻」であるかを判定する。「急峻」である場合、追従性を優先することになり、Ｓ３１０８の判定結果はＹｅｓとなり、Ｓ３１０９に進む。Ｓ３１０８の判定結果がＮｏの場合、Ｓ３１１０に進む。
Ｓ３１０９において、加速度判定部１０１１は、「急峻」の加減速モードに対応する加減速テーブルでパン駆動部１００５が動くよう速度制御部１００７に指示を行う。
Ｓ３１１０において、加速度判定部１０１１は、「緩やか」の加減速モードに対応する加減速テーブルでパン駆動部１００５が動くよう速度制御部１００７に指示を行う。
このようにＳ３１０８～Ｓ３１１０では、被写体リスト２００４の情報に基づいて、動きが大きい被写体である場合、加速度が大きい加減速モードに設定され、動きが小さい被写体である場合、加速度が小さい加減速モードに設定されるようにしている。ここで、動きが大きいとは、例えば、被写体の動きが所定量以上であることを意味し、動きが小さいとは被写体の動きが所定量未満であることを意味する。

【0040】

図３のフローチャートにより、被写体の動き（追従速度の変化量の大小）、あるいは被写体が誰なのか（追従性を優先する被写体なのか）によって、２種類の加減速モードを自動で切り替えることができる。なお、本実施形態では、加減速モードを２種類としたが、３種類以上の加減速モードの中から自動選択するような処理を行ってもよい。例えば、３種類の加減速モードが「加速度の大きな加減速モード」と「加速度の小さな加減速モード」と「加速度が中程度の加減速モード」であるとする。この場合、Ｓ３１０５の「閾値」を「第１閾値」として、Ｓ３１０５の判定結果がＹｅｓの場合、Ｓ３１０６に進む。また、追従速度の変化量が、第１閾値より小さい第２閾値未満である場合に、Ｓ３１０７に進み、第１閾値と第２閾値の間の場合には「加速度が中程度の加減速モード」で駆動するようにする。

【0041】

また、上記した実施形態では、被写体の自動追尾機能と連携させた場合を説明したが、自動追尾を行わずに上述の処理を行ってもよい。
なお、Ｓ３１０５で追従速度の変化量ｖ_ｄｉｆｆは、パン動作の速度が目標速度（追従速度）に到達するまでの時間当たりの速度変化量としてもよい。この場合、速度変化量が所定の閾値以上の場合に採用される（決定される）加速度は、速度変化量が閾値未満の場合に決定される加速度より大きい。

【0042】

図４は本実施形態の加減速モードを説明する図である。図４を用いて、図３で記載した２種類の加減速モードに関して詳細に説明する。２種類の加減速モードに対応する２つの加減速テーブル６００（図４（Ａ））と７００（図４（Ｃ））は、記憶部１００４に記憶されている。速度制御部１００７は、加減速テーブル６００または７００に従って加速・減速を行うことができる（パン駆動部１００５を駆動制御する）。

【0043】

図４（Ａ）は加速度の緩やかな加減速モードでパン駆動部１００５を駆動する場合に参照する加減速テーブル６００を示している。つまり、図４（Ａ）は加速度の緩やかな加減速モードに対応する加減速テーブル６００を示している。加減速テーブル６００において、速度レベル（段階）は１から２０まで設定されている。速度レベルが１の場合、パン駆動部１００５の駆動速度（以下、単に「速度」と称する）は５[deg/s]になり、速度レベルが２の場合、速度は１０[deg/s]になる。速度の最大値は１００[deg/s]である（速度レベル２０）。

【0044】

図４（Ｂ）は、図４（Ａ）の加減速テーブル６００を用いた場合に、パン駆動部１００５の速度が時間経過に伴いどのように変化するかを例示したチャートである。この例では、速度は時間ｔ１まで１０[deg/s]であり、時間ｔ１から一定加速度で増加して時間ｔ２において３０[deg/s]になる。３０[deg/s]が目標速度である。速度は、時間ｔ２から時間ｔ３までは一定速度である。時間ｔ３から速度は一定加速度で減少し、時間ｔ４で１０[deg/s]になる。

【0045】

時間ｔ１から時間ｔ２の速度上昇時には、一定周期（時間間隔）で加減速テーブル６００の「速度」の欄の値に従って、速度を昇順で更新するような制御を行う。具体的には、１０[deg/s]で動いている状況下において、目標速度が３０[deg/s]になると、１０->１５->２０->２５->３０[deg/s]のように速度を更新していく。速度の更新周期は、加速度が適切になるように決められているものとする。時間ｔ３から時間ｔ４の減速時には、加減速テーブル６００の「速度」の欄の値に従って、速度を降順で更新するような制御を行う。

【0046】

図４（Ｃ）は加減速の急峻な加減速モードでパン駆動部１００５を駆動する場合に参照する加減速テーブル７００を示している。加減速テーブル７００において、速度レベルは１から１０まで設定されている。速度レベルが１の場合、速度は１０[deg/s]になり、速度レベルが２の場合、速度は２０[deg/s]になる。速度の最大値は、加減速テーブル６００と同じように、１００[deg/s]であるが、そのときの速度レベルは１０である。

【0047】

図４（Ｄ）は、図４（Ｃ）の加減速テーブル７００を用いた場合に、パン駆動部１００５の速度が時間経過に伴いどのように変化するかを例示したチャートである。この例では、速度は時間ｔ５まで１０[deg/s]であり、時間ｔ５から一定加速度で増加して時間ｔ６において３０[deg/s]になる。３０[deg/s]が目標速度である。速度は、時間ｔ６から時間ｔ７までは一定速度である。時間ｔ７から速度は一定加速度で減少し、時間ｔ８で１０[deg/s]になる。時間ｔ５から時間ｔ６までの所要時間は、時間ｔ１から時間ｔ２までの所要時間の半分である。また、時間ｔ７から時間ｔ８までの所要時間は、時間ｔ３から時間ｔ４までの所要時間の半分である。

【0048】

時間ｔ５から時間ｔ６の速度上昇時には一定周期で加減速テーブル７００の「速度」の欄の値に従って、速度を昇順で更新するような制御を行う。具体的には、１０[deg/s]で動いている状況下において、目標速度が３０[deg/s]になると、１０->２０->３０[deg/s]のように速度を更新していく。速度の更新周期は、加速度が適切になるように決められているものとする。時間ｔ７から時間ｔ８の減速時には、加減速テーブル７００の「速度」の欄の値に従って、速度を降順で更新するような制御を行う。加減速テーブル７００の速度更新周期は、図４（Ａ）の加減速テーブル６００の速度更新周期と同一であるとする。

【0049】

図４（Ｂ）と図４（Ｄ）を比較すると分かるように、加減速テーブル６００を使用した場合、速度が１０[deg/s]から３０[deg/s]に上昇するのに必要な時間（ｔ１からｔ２までの所要時間）は、加減速テーブル７００を使用した場合に、速度が１０[deg/s]から３０[deg/s]に上昇するのに必要な時間（ｔ５からｔ６までの所要時間）の２倍である。また、加減速テーブル６００を使用した場合、速度が３０[deg/s]から１０[deg/s]に下降するのに必要な時間（ｔ３からｔ４までの所要時間）は、加減速テーブル７００を使用した場合に、速度が３０[deg/s]から１０[deg/s]に下降するのに必要は時間（ｔ７からｔ８までの所要時間）の２倍である。よって、加減速テーブル６００より加減速テーブル７００の方が急峻な加速、減速でパン駆動部１００５を駆動することになる。より具体的には、加減速テーブル６００を使用した場合に比べて、加減速テーブル７００を使用した場合は、２倍の加速度で加速および減速を行っていることになる。

【0050】

上記したように、本実施形態によれば、被写体５００の動きに基づきパン駆動時に参照する加速度を変更させることで、追従性を優先すべきシーンにおいては追従性を上げ、それ以外の場合においては滑らかな映像を提供することができる。従って、注目している被写体の情報に基づいて、加減速モード（加速度）を動的に切り替えることができる。本実施形態によれば、注目している被写体の動きが激しく変化するシーン（例えば、被写体がスポーツをしているシーン）をリモートカメラ２００で撮像している場合、ユーザが手動で切り替え操作を行うことなく好ましい加減速でパン駆動を行うことができる。また、被写体が複数ある場合に、被写体毎に動き方が変わるシーンを撮影する場合において、ユーザが手動で切り替え操作を行うことなく好ましい加減速で駆動を行うことができる。

【0051】

本実施形態によれば、被写体の動きが大きなシーン（例えば、被写体がスポーツをしているシーン）になると、リモートカメラ２００が自動的にスポーツモードに切り替わることになる。また、被写体の動きが小さなシーン（例えば、被写体が室内を歩行しているシーン）になると、リモートカメラ２００が通常モードに切り替わることになる。
本実施形態によれば、リモートカメラ２００の加減速モードが自動で切り替えられるので、ユーザがリモートカメラの加減速のモードを手動で切り替える場合に比べて、利便性が向上する。本実施形態によれば、撮像シーンに応じて被写体をより適切に撮像することができる。

【0052】

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、上記した実施形態では、撮像装置の一例としてリモートカメラ２００を説明したが、リモートカメラ以外のカメラ装置に上記した実施形態を適用してもよい。また、コントローラ装置３００は、リモートカメラ２００に組み込んでもよい。この場合、ユーザは、リモートカメラ２００を操作して、所望の入力を行う。
上記した実施形態では、パン駆動のみを行うという前提で説明をしたが、チルト駆動を行う場合も、本実施形態と同様な処理を適用することができる。

【0053】

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【符号の説明】

【0054】

１００：撮像システム、２００：リモートカメラ、３００：コントローラ装置、４００：ネットワーク、１００８：被写体解析部、１００９：移動量演算部、１０１０：被写体識別部、１０１１：加速度判定部

【図1】

【図2】

【図3】

【図4】