特許 6593460 撮像システム、撮像システムの制御方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6593460

(24)【登録日】2019年10月4日

(45)【発行日】2019年10月23日

(54)【発明の名称】撮像システム、撮像システムの制御方法、及びプログラム

(51)【国際特許分類】

   G03B 15/00 20060101AFI20191010BHJP

   G03B 17/02 20060101ALI20191010BHJP

   G03B 37/00 20060101ALI20191010BHJP

   H04N 5/222 20060101ALI20191010BHJP

   H04N 5/232 20060101ALI20191010BHJP

【ＦＩ】

   G03B15/00 P

   G03B15/00 U

   G03B17/02

   G03B37/00 C

   H04N5/222 100

   H04N5/232 990

【請求項の数】19

【全頁数】17

(21)【出願番号】特願2018-2341(P2018-2341)

(22)【出願日】2018年1月11日

(62)【分割の表示】特願2013-248390(P2013-248390)の分割

【原出願日】2013年11月29日

(65)【公開番号】特開2018-112742(P2018-112742A)

(43)【公開日】2018年7月19日

【審査請求日】2018年2月9日

(73)【特許権者】

【識別番号】390002761

【氏名又は名称】キヤノンマーケティングジャパン株式会社

(73)【特許権者】

【識別番号】592135203

【氏名又は名称】キヤノンＩＴソリューションズ株式会社

(74)【代理人】

【識別番号】100189751

【弁理士】

【氏名又は名称】木村 友輔

(72)【発明者】

【氏名】若山 佳之

【審査官】 藏田 敦之

(56)【参考文献】

【文献】 特開２０１２−０２９３３８（ＪＰ，Ａ）

【文献】 特開２００５−１６７７９９（ＪＰ，Ａ）

【文献】 特開平０４−１７５６０２（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０３Ｂ １５／００

Ｇ０３Ｂ １７／００

Ｇ０３Ｂ １７／５６

Ｇ０３Ｂ ３７／００

Ｈ０４Ｎ ５／２２２− ５／２５７

(57)【特許請求の範囲】

【請求項1】

目標物を撮像する撮像部と、
前記撮像部の位置座標を取得する取得手段と、
目標物を特定するための複数の特定座標を記憶する記憶部と、
前記撮像部の方向を算出する算出手段と、
前記記憶部で記憶された複数の前記特定座標の重心又は中心点の座標と前記位置座標とに基づいて、前記撮像部の方向を算出する第１のモード、及び前記記憶部で記憶された複数の前記特定座標をむすんだ辺上であって、前記位置座標に最も近い位置の座標と、前記位置座標とに基づいて、前記撮像部の方向を算出する第２のモードのいずれか一方の選択を受け付ける受付手段と、
前記受付手段による受け付け結果に従って前記算出手段で算出された方向を、前記撮像部が向くように制御する方向制御手段と
を有することを特徴とする撮像システム。

【請求項2】

前記特定座標が２か所である場合に、
前記算出手段は、前記受付手段によって前記第１のモードの選択を受け付けた場合には、前記２つの特定座標の中心点を重心とし、当該重心の座標と前記位置座標とに基づいて、前記撮像部の方向を算出し、前記受付手段によって前記第２のモードの選択を受け付けた場合には、前記２つの特定座標の直線上であって、前記位置座標に最も近い位置と、前記位置座標とに基づいて、前記撮像部の方向を算出することを特徴とする、請求項１に記載の撮像システム。

【請求項3】

目標物を撮像する撮像部と、
前記撮像部を搭載した移動体と、
前記撮像部の位置座標を取得する取得手段と、
目標物を特定するための複数の特定座標を記憶する記憶部と、
前記記憶部で記憶された複数の前記特定座標の重心又は中心点の座標と前記位置座標とに基づいて、前記撮像部の方向を算出する算出手段と、
前記撮像部が前記算出手段で算出された方向を向くように制御する方向制御手段と、
を有することを特徴とする撮像システム。

【請求項4】

目標物を撮像する撮像部と、
前記撮像部を搭載した移動体と、
前記撮像部の位置座標を取得する取得手段と、
目標物を特定するための複数の特定座標を記憶する記憶部と、
前記記憶部で記憶された複数の前記特定座標をむすんだ辺上であって、前記位置座標に最も近い位置の座標と、前記位置座標とに基づいて、前記撮像部の方向を算出する算出手段と、
前記撮像部が前記算出手段で算出された方向を向くように制御する方向制御手段と、
を有することを特徴とする撮像システム。

【請求項5】

前記撮像部を搭載した移動体を備えることを特徴とする、請求項１又は２に記載の撮像システム。

【請求項6】

目標物を撮像する撮像部と、目標物を特定するための複数の特定座標を記憶する記憶部とを有する撮像システムの制御方法であって、
前記撮像部の位置座標を取得する取得工程と、
前記撮像部の方向を算出する算出工程と、
前記記憶部で記憶された複数の前記特定座標の重心又は中心点の座標と前記位置座標とに基づいて、前記撮像部の方向を算出する第１のモード、及び前記記憶部で記憶された複数の前記特定座標をむすんだ辺上であって、前記位置座標に最も近い位置の座標と、前記位置座標とに基づいて、前記撮像部の方向を算出する第２のモードのいずれか一方の選択を受け付ける受付工程と、
前記受付工程による受け付け結果に従って前記算出工程で算出された方向を、前記撮像部が向くように制御する方向制御工程と
を有することを特徴とする撮像システムの制御方法。

【請求項7】

目標物を撮像する撮像部と、前記撮像部を搭載した移動体と、目標物を特定するための複数の特定座標を記憶する記憶部とを有する撮像システムの制御方法であって、
前記撮像部の位置座標を取得する取得工程と、
前記記憶部で記憶された複数の前記特定座標の重心又は中心点の座標と前記位置座標とに基づいて、前記撮像部の方向を算出する算出工程と、
前記撮像部が前記算出工程で算出された方向を向くように制御する方向制御工程を有することを特徴とする撮像システムの制御方法。

【請求項8】

目標物を撮像する撮像部と、前記撮像部を搭載した移動体と、目標物を特定するための複数の特定座標を記憶する記憶部とを有する撮像システムの制御方法であって、
前記撮像部の位置座標を取得する取得工程と、
前記記憶部で記憶された複数の前記特定座標をむすんだ辺上であって、前記位置座標に最も近い位置の座標と、前記位置座標とに基づいて、前記撮像部の方向を算出する算出工程と、
前記撮像部が前記算出工程で算出された方向を向くように制御する方向制御工程と
を有することを特徴とする撮像システムの制御方法。

【請求項9】

コンピュータを、請求項１乃至５のいずれか１項に記載の撮像システムの各手段として機能させるためのプログラム。

【請求項10】

被写体を撮像する撮像部と、
前記撮像部を搭載する移動体と、
前記移動体により移動された前記撮像部の位置を示す第１の位置情報を取得する第１の取得手段と、
被写体の位置を示す第２の位置情報を取得する第２の取得手段と、
前記第１の位置情報が示す位置と、複数の前記第２の位置情報から算出される位置とに基づいて、前記撮像部が撮像する方向を決定する決定手段と、
前記撮像部が前記決定された方向を向くように、前記撮像部の向きを制御する制御手段と、
を有することを特徴とする撮像システム。

【請求項11】

前記決定手段は、前記第１の位置情報が示す位置と、複数の前記第２の位置情報から算出される重心又は中心点とに基づいて、前記撮像部が撮像する方向を決定することを特徴とする、請求項１０に記載の撮像システム。

【請求項12】

前記決定手段は、前記第１の位置情報が示す位置と、複数の前記第２の位置情報から算出される位置とに基づいて、前記撮像部のレンズ制御値を決定し、
前記制御手段は、前記レンズ制御値に基づいて、前記撮像部のレンズを制御することを特徴とする、請求項１０又は１１に記載の撮像システム。

【請求項13】

前記第１の位置情報及び前記第２の位置情報は、現実空間における位置を示す情報であることを特徴とする、請求項１０乃至１２の何れか１項に記載の撮像システム。

【請求項14】

前記第１の位置情報及び前記第２の位置情報は、平面上の座標及び高度の少なくとも１つを含む情報であることを特徴とする、請求項１０乃至１３の何れか１項に記載の撮像システム。

【請求項15】

前記移動体は、航空機であることを特徴とする、請求項１０乃至１４の何れか１項に記載の撮像システム。

【請求項16】

前記移動体は、前記被写体の周囲を移動することを特徴とする、請求項１０乃至１５の何れか１項に記載の撮像システム。

【請求項17】

前記第２の取得手段は、前記第２の位置情報が記憶された記憶部から、前記第２の位置情報を取得することを特徴とする、請求項１０乃至１６の何れか１項に記載の撮像システム。

【請求項18】

被写体を撮像する撮像部と、前記撮像部を搭載する移動体とを有する撮像システムの制御方法であって、
前記移動体により移動された前記撮像部の位置を示す第１の位置情報を取得する第１の取得工程と、
被写体の位置を示す第２の位置情報を取得する第２の取得工程と、
前記第１の位置情報が示す位置と、複数の前記第２の位置情報から算出される位置とに基づいて、前記撮像部が撮像する方向を決定する決定工程と、
前記撮像部が前記決定された方向を向くように、前記撮像部の向きを制御する制御工程と、
を有することを特徴とする撮像システムの制御方法。

【請求項19】

コンピュータを、請求項１０乃至１７のいずれか１項に記載の撮像システムの各手段として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像システム、撮像システムの制御方法、及びプログラムに関する。

【背景技術】

【0002】

近年、撮像する目標物を座標で特定し、自動的に目標物の撮像が行えるカメラシステム（撮像装置）の開発が進められている。特許文献１には、車等で移動している際に、予め設定しておいた撮像地点に到達したら、自動的に撮像を実行することができるカメラシステムについて開示されている。具体的には自動車にＧＰＳ受信手段を搭載し、目標物の座標とＧＰＳ受信手段で得た現在の座標とから、撮像ポイント又は指定した撮像範囲に到達したものと判断して撮像を自動的に実行している。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００１−２５７９２０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

このような自動的に目標物の撮像を行えるカメラシステムは、地上を走行する自動車等のみならず、ラジコン飛行機やラジコンヘリコプター等の飛行手段においても適用可能することが求められている。

【0005】

しかしながら、特許文献１に開示されている技術は、地上の撮像についてしか考慮しておらず、飛行手段に搭載された撮像手段を用いてどのように目標物をとらえ、撮像可能な状態とするかについては何ら開示がされていない。

【0006】

本願発明は、撮像システムにおいて自動的に目標物を撮像可能な状態を整えることができる構成を提供することを目的としている。

【課題を解決するための手段】

【0007】

本発明に係る撮像システムは、目標物を撮像する撮像部と、前記撮像部の位置座標を取得する取得手段と、目標物を特定するための複数の特定座標を記憶する記憶部と、前記撮像部の方向を算出する算出手段と、前記記憶部で記憶された複数の前記特定座標の重心又は中心点の座標と前記位置座標とに基づいて、前記撮像部の方向を算出する第１のモード、及び前記記憶部で記憶された複数の前記特定座標をむすんだ辺上であって、前記位置座標に最も近い位置の座標と、前記位置座標とに基づいて、前記撮像部の方向を算出する第２のモードのいずれか一方の選択を受け付ける受付手段と、前記受付手段による受け付け結果に従って前記算出手段で算出された方向を、前記撮像部が向くように制御する方向制御手段とを有することを特徴とする。

【発明の効果】

【0008】

本発明によると、撮像システムにおいて自動的に目標物を撮像可能な状態を整えることができる。

【図面の簡単な説明】

【0009】

【図1】本願発明に係るカメラと飛行手段と情報処理装置との構成を示すブロック図である。

【図2】カメラと目標物との関係を示す図である。

【図3】カメラの制御を説明するためのフローチャートである。

【図4】特定座標が１か所の場合の、カメラと目標物の関係を示す図である。

【図5】特定座標が２か所の場合の、カメラと目標物の関係を示す図である。

【図6】特定座標が４か所の場合の、カメラと目標物の関係を示す図である。

【図7】飛行手段の飛行目標座標を算出する流れを説明するフローチャートである。

【図8】カメラの制御を説明するためのフローチャートである。

【図9】カメラの制御を説明するためのフローチャートである。

【発明を実施するための形態】

【0010】

以下、図面を参照して、本発明の実施形態を詳細に説明する。

【0011】

図１は、本願発明に係る撮像手段と飛行手段と情報処理装置のハードウェア構成を示すブロック図である。本発明の撮像システムは、撮像手段として用いることができるカメラ３００と、カメラ３００を搭載し、飛行可能な無線の飛行機やヘリコプター等の飛行手段１００と、カメラ３００や飛行手段１００に対して撮像目的の座標（特定座標）をユーザが設定したり、カメラ３００で撮像された画像を抽出可能なＰＣ等の情報処理装置２００とを有して構成されている。

【0012】

飛行手段１００のＣＰＵ１０４は、システムバスに接続される各デバイスやコントローラを統括的に制御することができる。ＲＯＭ１０２にはＣＰＵ１０４の制御ブログラムや各種制御プログラムが記憶されている。ＲＡＭ１０１は、ＣＰＵ１０４が動作するためのシステムワークメモリとして機能する。ＣＰＵ１０４は、処理の実行に際して必要なプログラム等をＲＡＭ１０１にロードして、プログラムを実行することで各種動作を実現するものである。ＣＰＵ１０４は、このようにＲＡＭ１０１にプログラム等をロードし、実行することで飛行制御部１０５を制御することもできる。

【0013】

情報処理装置２００のＣＰＵ２０１は、システムバスに接続される各デバイスやコントローラを統括的に制御することができる。また、ＲＯＭ２０２あるいは外部メモリ２０７には、ＣＰＵ２０１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ／Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）やオペレーティングシステムプログラム（以下、ＯＳ）や、各サーバ或いは各ＰＣの実行する機能を実現するために必要な後述する各種プログラム等が記憶されている。ＲＡＭ２０４は、ＣＰＵ２０１のシステムワークメモリとして機能する。ＣＰＵ２０１は、処理の実行に際して必要なプログラム等をＲＡＭ２０４にロードして、プログラムを実行することで各種動作を実現するものである。

【0014】

また、ＣＰＵ２０１は、ディスプレイ２０５への表示出力、入力端末２０６からの入力を制御することができる。さらに、ブートプログラム、ブラウザソフトウエア、各種のアプリケーション、フォントデータ、ユーザファイル、編集ファイル、各種データ等を記憶するハードディスク（ＨＤ）やフロッピーディスク（登録商標ＦＤ）或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるコンパクトフラッシュメモリ等の外部メモリ２０７へのアクセスを制御することもできる。

【0015】

また通信Ｉ／Ｆ２０３は、ネットワークを介して外部機器と接続・通信するものであり、本実施形態においてはカメラ３００の通信Ｉ／Ｆ回路３２５と通信可能に接続されている。そして、このＩ／Ｆを介して、カメラ３００に撮像目標物の座標等の入力や撮像画像の受け渡しを行うことができる。

【0016】

次にカメラ３００（撮像装置）のハードウェア構成について説明する。撮像装置としては、いわゆるデジタルカメラ等を用いることができ、撮像用のレンズ３０１、撮像素子（以下、「ＣＣＤ」と称する）３０２、カメラ信号処理部（以下、「ＡＤＣ」と称する）３０３、画像処理部３０４、システムコントローラ３１０、バッファメモリ３１１、フラッシュＲＯＭ３１２、インターフェース回路（以下、「Ｉ／Ｆ回路」と称する）３１３、カードホルダ３１４、メモリカード３１５、ディスプレイドライバ３１６、および操作部３２０を備える。

【0017】

レンズ３０１は、レンズ等であり、対物レンズ、ズームレンズ、およびフォーカスレンズなどで構成される。ズームレンズおよびフォーカスレンズについては、不図示の駆動機構により光軸方向へ駆動される。撮像素子３０２は、レンズ３０１から入射した撮像光を結像し、電気信号（アナログ信号）に変換して出力するＣＣＤイメージセンサで構成される。
カメラ信号処理部（ＡＤＣ）３０３は、撮像素子３０２から受けた電気信号にデジタル変換やホワイトバランス調整などの信号処理を行なって、デジタル信号に変換する機能を有する。システムコントローラ３１０は、画像処理部３０４、バッファメモリ３１１、フラッシュＲＯＭ３１２、Ｉ／Ｆ回路３１３、３２５、レンズ制御部３２７、角度制御部３２１、方向制御部３２２、Ｉ／Ｏ３２３、ＧＰＳ受信手段３２４に接続されている

【0018】

画像処理部３０４は、前処理部３０５、ＹＣ処理部３０６、電子ズーム処理部３０７、圧縮部３０８、および伸長部３０９を備え、カメラ信号処理部３０３から出力されるデジタル信号から画像データを生成し、各種画像処理を行う機能を有する。

【0019】

前処理部３０５は、入力される画像データに基づく画像のホワイトバランスを調整するホワイトバランス処理や画像のガンマ補正処理を行う機能を有する。ホワイトバランス処理は、画像の色合いを、実物の色合いに近くなるように調整したり、光源（蛍光灯や太陽光など）に合った適正な色に調整したりする処理である。ガンマ補正処理は、画像のコントラストを調整する処理である。なお、前処理部３０５は、ホワイトバランス処理およびガンマ補正処理以外の画像処理を実行することも可能である。

【0020】

ＹＣ処理部３０６は、入力される画像データに基づく画像を、輝度情報「Ｙ」と、輝度信号と青色の色差情報「Ｃｂ」と、輝度信号と赤色の色差情報「Ｃｒ」とに分離する機能を有する。電子ズーム処理部３０７は、画像の一部（例えば中央部）を所定の大きさでトリミングし、トリミングした画像を信号処理で元画像の大きさに拡大する機能を有する。電子ズーム処理部３０７は、例えば、撮像された１６００×３２００ドットの画像から中央の３０２４×７６８ドットの画像を切り出し、データ補間を行いながら１６００×３２００ドットのサイズに拡大することができる。

【0021】

圧縮部３０８は、画像データをＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）方式などの圧縮形式によって圧縮する機能を有する。伸長部３０９は、圧縮されている画像データを伸長する機能を有する。例えば、画像データをＪＰＥＧ方式で圧縮する場合、まず、画像データの高周波成分と低周波成分の割合を数値化する離散コサイン変換処理が行われる（ＤＣＴ処理）。次に、画像の階調やグラデーションを表現する段階を数値（量子化ビット数）で表現する量子化処理が行われる。最後に、ハフマン符号化処理で画像データが圧縮される。

【0022】

具体的には、画像データの信号文字列が一定のビット毎に区切られ、出現頻度が高い文字列に対してより短い符号が与えてられてゆく。なお、圧縮処理を行わないで画像データを記録する方式の場合は、圧縮部３０８および伸長部３０９を省略することができる。また、画像データの圧縮形式は、ＪＰＥＧ方式に限らず、ＧＩＦ（Ｇｒａｐｈｉｃａｌ Ｉｎｔｅｒｃｈａｎｇｅ Ｆｏｒｍａｔ）形式などであっても、同様に処理を行うことができる。

【0023】

バッファメモリ３１１には、画像処理部３０４で画像処理が行われる際に、一時的に画像データが保存される。フラッシュＲＯＭ３１２には、撮像装置の各種設定情報や、後述するユーザ認証情報が保存される。Ｉ／Ｆ回路３１３は、システムコントローラ３１０から出力される画像データを、メモリカード３１５に記録可能なデータ形式に変換する。また、Ｉ／Ｆ回路３１３は、メモリカード３１５から読み出された画像データ等を、システムコントローラ３１０で処理可能なデータ形式に変換する。

【0024】

カードホルダ３１４は、記録媒体であるメモリカード３１５を撮像装置に着脱可能にする機構を備えると共に、メモリカード３１５との間でデータ通信が可能な電気接点を備える。また、カードホルダ３１４は、撮像装置で利用される記録媒体の種類に応じた構造を有する。メモリカード３１５は、フラッシュメモリなどの半導体記憶素子を内蔵し、カードホルダ３１４に着脱可能なカード型の記録媒体である。メモリカード３１５には、撮像装置で撮像された画像データを記録することができる。

【0025】

レンズ制御部３２７は、レンズ３０１のレンズに対して、ズーム、フォーカス、絞り等の制御を行う。角度制御部３２１は、カメラを目標物に向けるために上下方向に対する角度の制御を行う。方向制御部３２２は、カメラを目標物に向けるために左右方向に対する向きを制御する。さらに、ＧＰＳ受信手段３２４は、ＧＰＳ衛星からの電波を受信することができ、この電波からカメラ３００の現在の位置座標を解析することができる。このＧＰＳから求まる位置座標からは、カメラ３００の高度および平面上の座標を取得することができる。またカメラ３００の高度は、ＧＰＳ座標からではなく、高度計を搭載して取得可能とすることもできる。

【0026】

次に、カメラ３００における撮像動作について説明する。本実施形態においては、カメラ３００と目標物との距離が所定の距離になると自動的に撮像動作が行われる。具体的には、一定の時間間隔や一定の移動間隔で撮像するなどの撮像動作を行うことができる。このような撮像動作では、光学画像がレンズ３０１を介して撮像装置内へ入射し、撮像素子（ＣＣＤ）３０２に結像される。ＣＣＤ３０２は、入射される光学画像を電気信号に変換して、カメラ信号処理部（ＡＤＣ）３０３へ出力する。ＡＤＣ３０３は、入力される電気信号（アナログ信号）をデジタル信号に変換する。ＡＤＣ３０３から出力されるデジタル信号は画像処理部３０４に入力される。

【0027】

画像処理部３０４内の前処理部３０５では、入力されるデジタル信号に基づき画像データを生成し、ホワイトバランス処理およびガンマ補正処理などが行われる。画像処理部３０４内のＹＣ処理部３０６では、画像データが輝度信号Ｙと色差信号ＣｒおよびＣｂとに分離され、色差信号ＣｒおよびＣｂの情報量を減らす処理が行われる。色差信号ＣｒおよびＣｂの情報量の削減処理は、例えば、画像の主走査方向の色情報を間引く「４：２：２ダウンサンプリング処理」や、画像の縦横方向の色情報を間引く「４：１：１ダウンサンプリング処理」などがある。なお、前処理部３０５およびＹＣ処理部３０６で画像処理を行う際は、画像データを一時的にバッファメモリ３１１に保存し、随時バッファメモリ３１１に保存されている画像データを読み出しながら画像処理が行われる。

【0028】

画像処理部３０４から出力される画像データ（非圧縮）はシステムコントローラ３１０に入力される。そして一定の間隔で、システムコントローラ３１０は画像処理部３０４に制御信号を出力する。画像処理部３０４に制御信号が入力されると、圧縮部３０８は、前処理部３０５およびＹＣ処理部３０６で画像処理された画像データをバッファメモリ３１１へ保存し、圧縮処理を行う。

【0029】

具体的には、画像データの高周波成分と低周波成分の割合を数値化する離散コサイン変換処理（ＤＣＴ処理）や、画像の階調やグラデーションを表現する段階を量子化ビット数で表現する量子化処理や、画像データの信号文字列を一定のビット毎に区切り、出現頻度が高い文字列に対して、より短い符号を与えてゆくハフマン符号化処理などが実行される。圧縮された画像データは、カードホルダ３１４を介してメモリカード３１５に記録される。

【0030】

このようにしてメモリカード３１５等の記憶手段に保存された画像は、その後、Ｉ／Ｆ３２５等を介して情報処理装置２００に送られることになる。

【0031】

（第１の実施形態）
図２は、本発明の第１の実施形態における、カメラと目標物との関係を示す図である。ここでは、カメラの撮像目的である目標物が１つであり、飛行手段１００が飛行経路を定めずに飛行している場合を例に説明する。

【0032】

飛行手段１００に搭載されたカメラ３００のＧＰＳ受信機は、カメラ３００のカメラ座標４０２（位置座標）を一定の間隔で取得されている。そして、目標物の特定座標（目標座標４０１）とが地上に設定されている。このような目標物の位置である特定座標は、情報処理装置２００を介してユーザが予め設定することができ、カメラ３００内のメモリ等の記憶手段に記憶させておくことができる。このような状態で、カメラ３００内のシステムコントローラ３１０は、目標座標４０１の高度とカメラ座標４０２の高度との高度差と、目標座標４０１とカメラ座標４０２との平面上の座標差とに基づいて、カメラが目標物に向くように上下の角度と、左右の角度と、を算出し、角度制御部３２１と方向制御部３２２を制御する。さらに、システムコントローラ３１０は、目標座標４０１とカメラ座標４０２との直線的な距離を求め、最適なフォーカス位置やズーム状態となるようにレンズ制御部を制御する。

【0033】

図３は、本発明の第１の実施形態における、カメラの制御を説明するためのフローチャートである。この制御は、カメラ３００のシステムコントローラ３１０により実現される。

【0034】

ステップＳ３０１では、システムコントローラ３１０が、ＧＰＳ受信手段３２４で受信したＧＰＳ座標を解析してカメラ座標４０２を取得するとともに、カメラ３００の記憶手段に記憶された目標物の位置である特定座標を取得する。

【0035】

次に、ステップＳ３０２では、システムコントローラが、記憶手段に記憶された特定座標を目標座標４０１として設定する。次に、ステップＳ３０３がＳ３０２で取得されたカメラ座標４０２と目標座標４０１の２点をもとに、目標座標４０１の高度とカメラ座標４０２の高度との高度差と、目標座標４０１とカメラ座標４０２との平面上の座標と、目標座標４０１とカメラ座標４０２との直線的な距離と、を算出する。そして、目標座標４０１の高度とカメラ座標４０２の高度との高度差からカメラが目標物に向くように上下の角度を算出し、目標座標４０１とカメラ座標４０２との平面上の座標差から左右の角度を算出し、目標座標４０１とカメラ座標４０２との直線的な距離から最適なフォーカス位置やズーム状態となるレンズ制御値を算出する。

【0036】

ステップＳ３０４では、ステップＳ３０３で算出された、最適なフォーカス位置やズーム状態となるレンズ制御値や上下の角度や左右の角度となるように、レンズ制御部と３２７と角度制御部３２１と方向制御部３２２を調整する。

【0037】

以上のように設けることで、目標物を捉えるためのカメラの上下、左右の角度制御とフォーカスやズーム等のレンズ制御を自動で行うことができる。すなわち、自動的に目標物を撮像可能な状態を整ええることができるため、無人のヘリコプターや飛行機であっても撮像動作をスムーズに行うことができる。

【0038】

（第２の実施形態）
第１の実施形態では、飛行手段は飛行経路を定めずに飛行している場合について説明したが、本実施形態では飛行手段が目標物の周囲を周回するように飛行している場合の例について説明する。撮像のタイミングとしては、周回中に一定の時間間隔や一定の移動間隔で撮像動作が行われるように設定することができる。

【0039】

図４は、目標物を１点の座標で特定されている場合のカメラと目標物の関係を示す図であり、すなわち特定座標が１か所の場合の例である。図４（ａ）に示すように飛行手段１００は目標物の目標座標４０１を中心として所定の距離を保った状態で、かつ、所定の高度を維持した状態で周回する。図４（ｂ）は、図４（ａ）を上から見ている図である。このような特定座標、所定の距離および所定の高度は、予めユーザによって情報処理装置２００を介して設定しておくことができる。

【0040】

図５は、目標物が２点の座標で特定されている場合のカメラと目標物の関係を示す図であり、すなわち特定座標が２か所の場合の例である。特定座標が２か所ある場合には、目標座標が飛行手段の飛行位置（カメラの現在位置）によって変動する辺上監視モードと、目標座標を特定座標の中心点とする中心点監視モード（重心監視モード）と、のいずれかを選択することができる。

【0041】

図５（ａ）は、辺上監視モードにおけるカメラの向きと目標座標の関係を示しており、カメラがカメラ位置３００−（ａ）にある場合には４０１−（ａ）を目標座標としてカメラの角度制御及びレンズ制御が行われる。また、カメラがカメラ位置３００−（ｂ）にある場合には、４０１−（ｂ）を目標座標としてカメラの角度制御及びレンズ制御が行われる。また、カメラがカメラ位置３００−（ｃ）にある場合には、４０１−（ｃ）を目標座標としてカメラの角度制御及びレンズ制御が行われる。すなわち、特定座標による直線上であって、カメラ座標に最も近い座標が目標座標となるように適宜変化している。

【0042】

図５（ｂ）は、中心点監視モードにおけるカメラの向きと目標座標の関係を示しており、カメラがいずれの位置にあっても特定座標４０４（ａ）と特定座標４０４（ｂ）の２点間の中心点を目標座標４０１としてカメラの角度制御及びレンズ制御が行われる。

【0043】

以上のような２つのモードをユーザによって選択可能（モード受付可能）とすることにより、目標物の形状に対応した撮像モードで撮像動作を行うことができる。たとえば、建物のような内部を視認できない目標物の場合には、撮像モードは建物の外観を撮像できるように辺上監視モードとすることが好ましい。一方公園や広場のように空中から全てを見渡せるような目標物である場合には、重心監視モードとし、ズームアウトした状態で撮像することで目標物の全景を撮像することができる。このようなモードの選択は、特定座標、所定の距離および所定の高度の設定と同様に、予めユーザによって情報処理装置２００を介して選択しておくことができる。

【0044】

図６は、目標物が３点の座標で特定されている場合のカメラと目標物の関係を示す図であり、すなわち特定座標が３か所の場合の例である。特定座標が複数（３点以上）ある場合にも、目標座標が飛行手段の飛行位置（カメラの現在位置）によって変動する辺上監視モードと、目標座標を特定座標の重心点とする重心監視モードと、のいずれかを選択することができる。

【0045】

図６（ａ）辺上監視モードにおけるカメラの向きと目標座標の関係を示しており、カメラがカメラ位置３００−（ｄ）にある場合には４００−（ｄ）を目標座標としてカメラの角度制御及びレンズ制御が行われる。また、カメラがカメラ位置３００−（ｅ）にある場合には、４００−（ｅ）を目標座標としてカメラの角度制御及びレンズ制御が行われる。そして図６（ａ）からわかるようにカメラの位置によって、多角形の辺上を撮像する場合と、多角形の角を撮像する場合とに分かれる。いずれの場合にも、隣接する２つの特定座標を結んだ直線上（多角形の辺）であって、カメラ座標に最も近い座標が目標座標となるように適宜変化している。

【0046】

図６（ｂ）は、重心監視モードにおけるカメラの向きと目標座標の関係を示しており、カメラがいずれの位置にあっても複数の特定座標の重心点を目標座標４０１としてカメラの角度制御及びレンズ制御が行われる。

【0047】

次に、図７のフローチャートを用いて飛行手段の飛行目標座標を算出する流れを説明する。この制御は、カメラ３００のシステムコントローラ３１０により実現することができる。ステップＳ７０１では、まずシステムコントローラ３１０がユーザによって予め設定されている特定座標と、特定座標とカメラの位置との距離（設定距離）と、カメラを維持する設定高度とを例えばカメラ３００に設けられた記憶手段等から取得する。このような設定条件は、予めユーザによって情報処理装置２００を介して設定しておくことができる。

【0048】

次にステップＳ７０２では、ステップＳ７０１で取得した特定座標が２点以上かどうかを判断する。ステップＳ７０２で２点以上ではない、すなわち特定座標は１点であると判断された場合には、ステップＳ７０４に進み、取得した特定座標を飛行目標座標として設定する。一方、ステップＳ７０２で特定座標が２点以上であると判断された場合には、ステップＳ７０３に進み、取得した２点以上（複数）の座標の重心点を飛行目標座標として設定する。

【0049】

ステップＳ７０５では、システムコントローラ３１０が、飛行目標座標を中心として、ステップＳ７０１で取得された設定距離及び設定高度を維持した状態で周回するように飛行手段１００による飛行が行われるように飛行手段１００の飛行制御部１０５に制御させる。これにより、飛行目標座標を目的とした飛行手段１００の飛行が行われることになる。

【0050】

次に、図８のフローチャートを用いて、図４〜６に示したような撮像可能な状態となるようなカメラ制御について説明する。この制御は、カメラ３００のシステムコントローラ３１０により実現することができる。

【0051】

ステップＳ８０１では、システムコントローラ３１０が、ＧＰＳ受信手段３２４で受信したＧＰＳ座標を解析してカメラ座標４０２を取得するとともに、カメラ３００の記憶手段に記憶された目標物を特定するための位置である１または２以上の特定座標を取得する。
ステップＳ８０２では、ステップＳ８０１で取得された特定座標が３点以上であるかを判断する。特定座標が３点以上ではない、すなわち特定座標が２点以下である場合には、ステップＳ８０６に進み、特定座標が２点以上であるかを判断する。ステップＳ８０６で２点以上ではない、すなわち特定座標が１点であると判断された場合には第１の実施形態と同様に特定座標を目標座標として設定する。ステップＳ８０６で特定座標が３点以上ではなくかつ２点以上である、すなわち２点であると判断された場合には、Ｓ８０７に進み

【0052】

ユーザによって予め選択されている監視モードが『辺上監視モード』であるか、『重心監視モード』であるかを判断する。ステップＳ８０６で、重心監視モードが選択されていると判断された場合には、ステップＳ８０９に進み２点の特定座標による直線の中心座標を目標座標として設定する。これにより、図５（ｂ）に示す位置が目標座標として設定される。

【0053】

ステップＳ８０７で辺上監視モードが選択されていると判断された場合には、ステップＳ８０８に進み、特定座標による直線上であって、カメラ座標に最も近い座標を目標座標として設定する。これにより、図５（ａ）に示す位置が目標座標として設定される。

【0054】

次に、ステップＳ８０２に戻り、特定座標が３点以上であると判断された場合には、ステップＳ８０３に進み、ユーザによって予め選択されている監視モードが『辺上監視モード』であるか、『重心監視モード』であるかを判断する。ステップＳ８０３で、重心監視モードが選択されていると判断された場合には、ステップＳ８０５に進み複数の特定座標による重心点の重心座標を目標座標として設定する。これにより、図６（ｂ）に示す位置が目標座標として設定される。

【0055】

ステップＳ８０３で辺上監視モードが選択されていると判断された場合には、ステップＳ８０４に進み、隣接する２つの特定座標を結んだ直線上（特定座標で形成される多角形の辺上）であって、カメラ座標に最も近い座標を目標座標として設定する。これにより、図６（ａ）に示す位置が目標座標として設定される。

【0056】

ステップＳ８１１では、ステップＳ８０４、Ｓ８０５、Ｓ８０８、Ｓ８０９、Ｓ９１０のそれぞれで設定された目標座標と、ステップＳ８０１で取得された現在のカメラの位置座標であるカメラ座標の２点をもとに、目標座標４０１の高度とカメラ座標４０２の高度との高度差と、目標座標４０１とカメラ座標４０２との平面上の座標と、目標座標４０１とカメラ座標４０２との直線的な距離と、を算出する。そして、目標座標４０１の高度とカメラ座標４０２の高度との高度差からカメラが目標物に向くように上下の角度を算出し、目標座標４０１とカメラ座標４０２との平面上の座標差から左右の角度を算出し、目標座標４０１とカメラ座標４０２との直線的な距離から最適なフォーカス位置やズーム状態となるレンズ制御値を算出する。

【0057】

ステップＳ８１２では、ステップＳ８１１で算出された、最適なフォーカス位置やズーム状態となるレンズ制御値や上下の角度や左右の角度となるように、レンズ制御部と３２７と角度制御部３２１と方向制御部３２２を調整する。

【0058】

以上のように設けることで、目標物を捉えるためのカメラの上下、左右の角度制御とフォーカスやズーム等のレンズ制御を自動で行うことができる。すなわち、自動的に目標物を撮像可能な状態を整えることができるため、無人のヘリコプターや飛行機であっても撮像動作をスムーズに行うことができる。

【0059】

次に、図９は本実施形態を実現できるカメラ制御のもう１つの例を説明するためのフローチャートである。このフローチャートを用いても、図４〜６に示したような撮像可能な状態となるようにカメラ制御を行うことができる。この制御は、カメラ３００のシステムコントローラ３１０により実現することができる。

【0060】

ステップＳ９０１では、システムコントローラ３１０が、ＧＰＳ受信手段３２４で受信したＧＰＳ座標を解析してカメラ座標４０２を取得するとともに、カメラ３００の記憶手段に記憶された目標物を特定するための位置である１または２以上の特定座標を取得する。

【0061】

ステップＳ９０２では、ステップＳ９０１で取得された特定座標が２点以上であるかを判断する。特定座標が２点以上ではない、すなわち特定座標が１点である場合には、ステップＳ９１０に進み、第１の実施形態と同様に特定座標を目標座標として設定する。

【0062】

ステップＳ９０２で特定座標が２点以上であると判断された場合には、ステップＳ９０３に進み、ユーザによって予め選択されている監視モードが『辺上監視モード』であるか、『重心監視モード』であるかを判断する。

【0063】

ステップＳ９０３で、重心監視モードが選択されていると判断された場合には、ステップＳ９０７に進み、特定座標が３点以上であるかを判断する。特定座標が３点以上でない、すなわち２点である場合には、ステップＳ９０９に進み２点の特定座標による直線の中心座標を目標座標として設定する。これにより、図５（ｂ）に示す位置が目標座標として設定される。

【0064】

一方、ステップＳ９０７で特定座標が３点以上でないと判断された場合には、ステップＳ９０８に進み、複数の特定座標による重心点の重心座標を目標座標として設定する。これにより、図６（ｂ）に示す位置が目標座標として設定される。

【0065】

次に、Ｓ９０３に戻り、辺上監視モードが選択されていると判断された場合には、ステップＳ９０４に進み、特定座標が３点以上であるかを判断する。特定座標が３点以上でない、すなわち２点である場合にはステップＳ９０６に進み、特定座標による直線上であって、カメラ座標に最も近い座標を目標座標として設定する。これにより、図５（ａ）に示す位置が目標座標として設定される。

【0066】

一方、ステップＳ９０４で特定座標が３点以上であると判断された場合には、ステップＳ９０５に進み、隣接する２つの特定座標を結んだ直線上（特定座標で形成される多角形の辺上）であって、カメラ座標に最も近い座標を目標座標として設定する。これにより、図６（ａ）に示す位置が目標座標として設定される。

【0067】

ステップＳ９１１とステップＳ９１２については、図８のステップＳ８１１及びステップＳ８１２と同様であるため説明を省略する。

【0068】

以上のように制御を行っても図８と同様に、目標物を捉えるためのカメラの上下、左右の角度制御とフォーカスやズーム等のレンズ制御を自動で行うことができる。すなわち自動的に目標物を撮像可能な状態を整ええることができるため、無人のヘリコプターや飛行機であっても撮像動作をスムーズに行うことができる。

【0069】

なお、第２の本実施形態では、飛行目標座標の算出をカメラ３００のシステムコントローラ３１０で行ったが、飛行手段１００のＣＰＵ１０４で行ってもよい。また、第２の実施形態では、全て飛行手段の飛行軌道を常に複数の特定座標の重心点を中心として周回する例で説明したが、飛行手段の飛行軌道は複数の特定座標に基づいて特定される楕円形等の形状であってもよい。さらに、特定座標によって特定される多角形の上、すなわち多角形の内側を通過や周回するような飛行軌道であってもよい。

【0070】

なお、第１及び第２の実施形態では、特定座標が地上にある場合を例に説明したが特定座標は高度を有していても同様に目標座標を設定し、カメラの角度制御とレンズ制御を行うことができる。

【0071】

また、第１及び第２の実施形態においては、撮像手段としてデジタルカメラを例に説明したがカメラに限られずビデオカメラ等を用いてもよい。

【0072】

また、第１及び第２の実施形態においては、無人のヘリコプターや飛行機に搭載する場合を想定して説明を行ったが、自動的にカメラの角度制御やレンズ制御が行われれば有人の場合であってもよい。

【0073】

また、第１及び第２の実施形態においては、ＧＰＳ受信手段がカメラ３００に設けられている例を用いて説明したが、カメラ３００の現在位置が確認できればよく、飛行手段１００に搭載されていてもよい。

【0074】

また、本願発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、１つの機器からなる装置に適用してもよい。

【0075】

なお、本願発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システム或いは装置に直接、或いは遠隔から供給するものを含む。そして、そのシステム或いは装置の情報処理装置が前記供給されたプログラムコードを読み出して実行することによっても達成される場合も本発明に含まれる。

【0076】

したがって、本発明の機能処理を情報処理装置で実現するために、前記情報処理装置にインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

【0077】

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。

【0078】

プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷなどがある。また、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などもある。

【0079】

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、前記ホームページから本発明のコンピュータプログラムそのもの、若しくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。

【0080】

また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理を情報処理装置で実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

【0081】

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、ダウンロードした鍵情報を使用することにより暗号化されたプログラムを実行して情報処理装置にインストールさせて実現することも可能である。

【0082】

また、情報処理装置が、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。その他、そのプログラムの指示に基づき、情報処理装置上で稼動しているＯＳなどが、実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現され得る。

【0083】

さらに、記録媒体から読み出されたプログラムが、情報処理装置に挿入された機能拡張ボードや情報処理装置に接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現される。

【0084】

なお、前述した実施形態は、本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

【符号の説明】

【0085】

１００ 飛行手段
２００ 情報処理装置
３００ カメラ
４０１ 目標座標
４０２ カメラ座標

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】