特開2019-219691(P2019-219691A)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ キヤノンマーケティングジャパン株式会社の特許一覧
特開2019-219691撮像システム、撮像システムの制御方法、及びプログラム
<>
  • 特開2019219691-撮像システム、撮像システムの制御方法、及びプログラム 図000003
  • 特開2019219691-撮像システム、撮像システムの制御方法、及びプログラム 図000004
  • 特開2019219691-撮像システム、撮像システムの制御方法、及びプログラム 図000005
  • 特開2019219691-撮像システム、撮像システムの制御方法、及びプログラム 図000006
  • 特開2019219691-撮像システム、撮像システムの制御方法、及びプログラム 図000007
  • 特開2019219691-撮像システム、撮像システムの制御方法、及びプログラム 図000008
  • 特開2019219691-撮像システム、撮像システムの制御方法、及びプログラム 図000009
  • 特開2019219691-撮像システム、撮像システムの制御方法、及びプログラム 図000010
  • 特開2019219691-撮像システム、撮像システムの制御方法、及びプログラム 図000011
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】特開2019-219691(P2019-219691A)
(43)【公開日】2019年12月26日
(54)【発明の名称】撮像システム、撮像システムの制御方法、及びプログラム
(51)【国際特許分類】
   G03B 15/00 20060101AFI20191129BHJP
   G03B 37/00 20060101ALI20191129BHJP
   G03B 17/56 20060101ALI20191129BHJP
   H04N 5/222 20060101ALI20191129BHJP
   H04N 5/232 20060101ALI20191129BHJP
【FI】
   G03B15/00 P
   G03B15/00 U
   G03B37/00 C
   G03B17/56 A
   H04N5/222 100
   H04N5/232 990
【審査請求】有
【請求項の数】10
【出願形態】OL
【全頁数】19
(21)【出願番号】特願2019-171110(P2019-171110)
(22)【出願日】2019年9月20日
(62)【分割の表示】特願2018-2341(P2018-2341)の分割
【原出願日】2013年11月29日
(71)【出願人】
【識別番号】390002761
【氏名又は名称】キヤノンマーケティングジャパン株式会社
(71)【出願人】
【識別番号】592135203
【氏名又は名称】キヤノンITソリューションズ株式会社
(74)【代理人】
【識別番号】100189751
【弁理士】
【氏名又は名称】木村 友輔
(72)【発明者】
【氏名】若山 佳之
【テーマコード(参考)】
2H059
2H105
5C122
【Fターム(参考)】
2H059CA02
2H105AA14
5C122EA42
5C122GD01
5C122GD04
5C122GD06
5C122GD11
5C122GD12
5C122HA75
5C122HA82
5C122HA90
(57)【要約】
【課題】 飛行手段を備えた撮像システムにおいて自動的に目標物を撮像可能な状態を整えることができる構成を提供することを目的としている。
【解決手段】 予めユーザに設定された少なくとも1か所の特定座標と、GPS受信手段で受信した位置座標とに基づいて、撮像手段のレンズ制御値と上下方向に対する角度と左右方向に対する向きとを算出し、このように算出されたレンズ制御値と上下方向に対する角度と左右方向に対する向きとなるように制御する。これにより、自動的に目標物を撮像可能な状態を整えることができる。
【選択図】 図3
【特許請求の範囲】
【請求項1】
目標物を撮像する撮像部と、
前記撮像部の位置座標を取得する取得手段と、
目標物を特定するための複数の特定座標を記憶する記憶部と、
前記撮像部の方向を算出する算出手段と、
前記記憶部で記憶された複数の前記特定座標の重心又は中心点の座標と前記位置座標とに基づいて、前記撮像部の方向を算出する第1のモード、及び前記記憶部で記憶された複数の前記特定座標をむすんだ辺上であって、前記位置座標に最も近い位置の座標と、前記位置座標とに基づいて、前記撮像部の方向を算出する第2のモードのいずれか一方の選択を受け付ける受付手段と、
前記受付手段による受け付け結果に従って前記算出手段で算出された方向を、前記撮像部が向くように制御する方向制御手段と
を有することを特徴とする撮像システム。
【請求項2】
前記特定座標が2か所である場合に、
前記算出手段は、前記受付手段によって前記第1のモードの選択を受け付けた場合には、前記2つの特定座標の中心点を重心とし、当該重心の座標と前記位置座標とに基づいて、前記撮像部の方向を算出し、前記受付手段によって前記第2のモードの選択を受け付けた場合には、前記2つの特定座標の直線上であって、前記位置座標に最も近い位置と、前記位置座標とに基づいて、前記撮像部の方向を算出することを特徴とする、請求項1に記載の撮像システム。
【請求項3】
目標物を撮像する撮像部と、
前記撮像部を搭載した移動体と、
前記撮像部の位置座標を取得する取得手段と、
目標物を特定するための複数の特定座標を記憶する記憶部と、
前記記憶部で記憶された複数の前記特定座標の重心又は中心点の座標と前記位置座標とに基づいて、前記撮像部の方向を算出する算出手段と、
前記撮像部が前記算出手段で算出された方向を向くように制御する方向制御手段と、
を有することを特徴とする撮像システム。
【請求項4】
目標物を撮像する撮像部と、
前記撮像部を搭載した移動体と、
前記撮像部の位置座標を取得する取得手段と、
目標物を特定するための複数の特定座標を記憶する記憶部と、
前記記憶部で記憶された複数の前記特定座標をむすんだ辺上であって、前記位置座標に最も近い位置の座標と、前記位置座標とに基づいて、前記撮像部の方向を算出する算出手段と、
前記撮像部が前記算出手段で算出された方向を向くように制御する方向制御手段と、
を有することを特徴とする撮像システム。
【請求項5】
前記撮像部を搭載した移動体を備えることを特徴とする、請求項1又は2に記載の撮像システム。
【請求項6】
目標物を撮像する撮像部と、目標物を特定するための複数の特定座標を記憶する記憶部とを有する撮像システムの制御方法であって、
前記撮像部の位置座標を取得する取得工程と、
前記撮像部の方向を算出する算出工程と、
前記記憶部で記憶された複数の前記特定座標の重心又は中心点の座標と前記位置座標とに基づいて、前記撮像部の方向を算出する第1のモード、及び前記記憶部で記憶された複数の前記特定座標をむすんだ辺上であって、前記位置座標に最も近い位置の座標と、前記位置座標とに基づいて、前記撮像部の方向を算出する第2のモードのいずれか一方の選択を受け付ける受付工程と、
前記受付工程による受け付け結果に従って前記算出工程で算出された方向を、前記撮像部が向くように制御する方向制御工程と
を有することを特徴とする撮像システムの制御方法。
【請求項7】
目標物を撮像する撮像部と、前記撮像部を搭載した移動体と、目標物を特定するための複数の特定座標を記憶する記憶部とを有する撮像システムの制御方法であって、
前記撮像部の位置座標を取得する取得工程と、
前記記憶部で記憶された複数の前記特定座標の重心又は中心点の座標と前記位置座標とに基づいて、前記撮像部の方向を算出する算出工程と、
前記撮像部が前記算出工程で算出された方向を向くように制御する方向制御工程を有することを特徴とする撮像システムの制御方法。
【請求項8】
目標物を撮像する撮像部と、前記撮像部を搭載した移動体と、目標物を特定するための複数の特定座標を記憶する記憶部とを有する撮像システムの制御方法であって、
前記撮像部の位置座標を取得する取得工程と、
前記記憶部で記憶された複数の前記特定座標をむすんだ辺上であって、前記位置座標に最も近い位置の座標と、前記位置座標とに基づいて、前記撮像部の方向を算出する算出工程と、
前記撮像部が前記算出工程で算出された方向を向くように制御する方向制御工程と
を有することを特徴とする撮像システムの制御方法。
【請求項9】
コンピュータを、請求項1乃至5のいずれか1項に記載の撮像システムの各手段として機能させるためのプログラム。
【請求項10】
被写体を撮像する撮像部と、
前記撮像部を搭載する移動体と、
前記移動体により移動された前記撮像部の位置を示す第1の位置情報を取得する第1の取得手段と、
被写体の位置を示す第2の位置情報を取得する第2の取得手段と、
前記第1の位置情報が示す位置と、複数の前記第2の位置情報から算出される位置とに基づいて、前記撮像部が撮像する方向を決定する決定手段と、
前記撮像部が前記決定された方向を向くように、前記撮像部の向きを制御する制御手段と、
を有することを特徴とする撮像システム。
【請求項11】
前記決定手段は、前記第1の位置情報が示す位置と、複数の前記第2の位置情報から算出される重心又は中心点とに基づいて、前記撮像部が撮像する方向を決定することを特徴とする、請求項10に記載の撮像システム。
【請求項12】
前記決定手段は、前記第1の位置情報が示す位置と、複数の前記第2の位置情報から算出される位置とに基づいて、前記撮像部のレンズ制御値を決定し、
前記制御手段は、前記レンズ制御値に基づいて、前記撮像部のレンズを制御することを特徴とする、請求項10又は11に記載の撮像システム。
【請求項13】
前記第1の位置情報及び前記第2の位置情報は、現実空間における位置を示す情報であることを特徴とする、請求項10乃至12の何れか1項に記載の撮像システム。
【請求項14】
前記第1の位置情報及び前記第2の位置情報は、平面上の座標及び高度の少なくとも1つを含む情報であることを特徴とする、請求項10乃至13の何れか1項に記載の撮像システム。
【請求項15】
前記移動体は、航空機であることを特徴とする、請求項10乃至14の何れか1項に記載の撮像システム。
【請求項16】
前記移動体は、前記被写体の周囲を移動することを特徴とする、請求項10乃至15の何れか1項に記載の撮像システム。
【請求項17】
前記第2の取得手段は、前記第2の位置情報が記憶された記憶部から、前記第2の位置情報を取得することを特徴とする、請求項10乃至16の何れか1項に記載の撮像システム。
【請求項18】
被写体を撮像する撮像部と、前記撮像部を搭載する移動体とを有する撮像システムの制御方法であって、
前記移動体により移動された前記撮像部の位置を示す第1の位置情報を取得する第1の取得工程と、
被写体の位置を示す第2の位置情報を取得する第2の取得工程と、
前記第1の位置情報が示す位置と、複数の前記第2の位置情報から算出される位置とに基づいて、前記撮像部が撮像する方向を決定する決定工程と、
前記撮像部が前記決定された方向を向くように、前記撮像部の向きを制御する制御工程と、
を有することを特徴とする撮像システムの制御方法。
【請求項19】
コンピュータを、請求項10乃至17のいずれか1項に記載の撮像システムの各手段として機能させるためのプログラム。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像システム、撮像システムの制御方法、及びプログラムに関する。
【背景技術】
【0002】
近年、撮像する目標物を座標で特定し、自動的に目標物の撮像が行えるカメラシステム(撮像装置)の開発が進められている。特許文献1には、車等で移動している際に、予め設定しておいた撮像地点に到達したら、自動的に撮像を実行することができるカメラシステムについて開示されている。具体的には自動車にGPS受信手段を搭載し、目標物の座標とGPS受信手段で得た現在の座標とから、撮像ポイント又は指定した撮像範囲に到達したものと判断して撮像を自動的に実行している。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2001−257920号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
このような自動的に目標物の撮像を行えるカメラシステムは、地上を走行する自動車等のみならず、ラジコン飛行機やラジコンヘリコプター等の飛行手段においても適用可能することが求められている。
【0005】
しかしながら、特許文献1に開示されている技術は、地上の撮像についてしか考慮しておらず、飛行手段に搭載された撮像手段を用いてどのように目標物をとらえ、撮像可能な状態とするかについては何ら開示がされていない。
【0006】
本願発明は、撮像システムにおいて自動的に目標物を撮像可能な状態を整えることができる構成を提供することを目的としている。
【課題を解決するための手段】
【0007】
本発明に係る撮像システムは、目標物を撮像する撮像部と、前記撮像部の位置座標を取得する取得手段と、目標物を特定するための複数の特定座標を記憶する記憶部と、前記撮像部の方向を算出する算出手段と、前記記憶部で記憶された複数の前記特定座標の重心又は中心点の座標と前記位置座標とに基づいて、前記撮像部の方向を算出する第1のモード、及び前記記憶部で記憶された複数の前記特定座標をむすんだ辺上であって、前記位置座標に最も近い位置の座標と、前記位置座標とに基づいて、前記撮像部の方向を算出する第2のモードのいずれか一方の選択を受け付ける受付手段と、前記受付手段による受け付け結果に従って前記算出手段で算出された方向を、前記撮像部が向くように制御する方向制御手段とを有することを特徴とする。
【発明の効果】
【0008】
本発明によると、撮像システムにおいて自動的に目標物を撮像可能な状態を整えることができる。
【図面の簡単な説明】
【0009】
図1】本願発明に係るカメラと飛行手段と情報処理装置との構成を示すブロック図である。
図2】カメラと目標物との関係を示す図である。
図3】カメラの制御を説明するためのフローチャートである。
図4】特定座標が1か所の場合の、カメラと目標物の関係を示す図である。
図5】特定座標が2か所の場合の、カメラと目標物の関係を示す図である。
図6】特定座標が4か所の場合の、カメラと目標物の関係を示す図である。
図7】飛行手段の飛行目標座標を算出する流れを説明するフローチャートである。
図8】カメラの制御を説明するためのフローチャートである。
図9】カメラの制御を説明するためのフローチャートである。
【発明を実施するための形態】
【0010】
以下、図面を参照して、本発明の実施形態を詳細に説明する。
【0011】
図1は、本願発明に係る撮像手段と飛行手段と情報処理装置のハードウェア構成を示すブロック図である。本発明の撮像システムは、撮像手段として用いることができるカメラ300と、カメラ300を搭載し、飛行可能な無線の飛行機やヘリコプター等の飛行手段100と、カメラ300や飛行手段100に対して撮像目的の座標(特定座標)をユーザが設定したり、カメラ300で撮像された画像を抽出可能なPC等の情報処理装置200とを有して構成されている。
【0012】
飛行手段100のCPU104は、システムバスに接続される各デバイスやコントローラを統括的に制御することができる。ROM102にはCPU104の制御ブログラムや各種制御プログラムが記憶されている。RAM101は、CPU104が動作するためのシステムワークメモリとして機能する。CPU104は、処理の実行に際して必要なプログラム等をRAM101にロードして、プログラムを実行することで各種動作を実現するものである。CPU104は、このようにRAM101にプログラム等をロードし、実行することで飛行制御部105を制御することもできる。
【0013】
情報処理装置200のCPU201は、システムバスに接続される各デバイスやコントローラを統括的に制御することができる。また、ROM202あるいは外部メモリ207には、CPU201の制御プログラムであるBIOS(Basic Input/Output System)やオペレーティングシステムプログラム(以下、OS)や、各サーバ或いは各PCの実行する機能を実現するために必要な後述する各種プログラム等が記憶されている。RAM204は、CPU201のシステムワークメモリとして機能する。CPU201は、処理の実行に際して必要なプログラム等をRAM204にロードして、プログラムを実行することで各種動作を実現するものである。
【0014】
また、CPU201は、ディスプレイ205への表示出力、入力端末206からの入力を制御することができる。さらに、ブートプログラム、ブラウザソフトウエア、各種のアプリケーション、フォントデータ、ユーザファイル、編集ファイル、各種データ等を記憶するハードディスク(HD)やフロッピーディスク(登録商標FD)或いはPCMCIAカードスロットにアダプタを介して接続されるコンパクトフラッシュ(登録商標)メモリ等の外部メモリ207へのアクセスを制御することもできる。
【0015】
また通信I/F203は、ネットワークを介して外部機器と接続・通信するものであり、本実施形態においてはカメラ300の通信I/F回路325と通信可能に接続されている。そして、このI/Fを介して、カメラ300に撮像目標物の座標等の入力や撮像画像の受け渡しを行うことができる。
【0016】
次にカメラ300(撮像装置)のハードウェア構成について説明する。撮像装置としては、いわゆるデジタルカメラ等を用いることができ、撮像用のレンズ301、撮像素子(以下、「CCD」と称する)302、カメラ信号処理部(以下、「ADC」と称する)303、画像処理部304、システムコントローラ310、バッファメモリ311、フラッシュROM312、インターフェース回路(以下、「I/F回路」と称する)313、カードホルダ314、メモリカード315、ディスプレイドライバ316、および操作部320を備える。
【0017】
レンズ301は、レンズ等であり、対物レンズ、ズームレンズ、およびフォーカスレンズなどで構成される。ズームレンズおよびフォーカスレンズについては、不図示の駆動機構により光軸方向へ駆動される。撮像素子302は、レンズ301から入射した撮像光を結像し、電気信号(アナログ信号)に変換して出力するCCDイメージセンサで構成される。
カメラ信号処理部(ADC)303は、撮像素子302から受けた電気信号にデジタル変換やホワイトバランス調整などの信号処理を行なって、デジタル信号に変換する機能を有する。システムコントローラ310は、画像処理部304、バッファメモリ311、フラッシュROM312、I/F回路313、325、レンズ制御部327、角度制御部321、方向制御部322、I/O323、GPS受信手段324に接続されている
【0018】
画像処理部304は、前処理部305、YC処理部306、電子ズーム処理部307、圧縮部308、および伸長部309を備え、カメラ信号処理部303から出力されるデジタル信号から画像データを生成し、各種画像処理を行う機能を有する。
【0019】
前処理部305は、入力される画像データに基づく画像のホワイトバランスを調整するホワイトバランス処理や画像のガンマ補正処理を行う機能を有する。ホワイトバランス処理は、画像の色合いを、実物の色合いに近くなるように調整したり、光源(蛍光灯や太陽光など)に合った適正な色に調整したりする処理である。ガンマ補正処理は、画像のコントラストを調整する処理である。なお、前処理部305は、ホワイトバランス処理およびガンマ補正処理以外の画像処理を実行することも可能である。
【0020】
YC処理部306は、入力される画像データに基づく画像を、輝度情報「Y」と、輝度信号と青色の色差情報「Cb」と、輝度信号と赤色の色差情報「Cr」とに分離する機能を有する。電子ズーム処理部307は、画像の一部(例えば中央部)を所定の大きさでトリミングし、トリミングした画像を信号処理で元画像の大きさに拡大する機能を有する。電子ズーム処理部307は、例えば、撮像された1600×3200ドットの画像から中央の3024×768ドットの画像を切り出し、データ補間を行いながら1600×3200ドットのサイズに拡大することができる。
【0021】
圧縮部308は、画像データをJPEG(Joint Photographic Expert Group)方式などの圧縮形式によって圧縮する機能を有する。伸長部309は、圧縮されている画像データを伸長する機能を有する。例えば、画像データをJPEG方式で圧縮する場合、まず、画像データの高周波成分と低周波成分の割合を数値化する離散コサイン変換処理が行われる(DCT処理)。次に、画像の階調やグラデーションを表現する段階を数値(量子化ビット数)で表現する量子化処理が行われる。最後に、ハフマン符号化処理で画像データが圧縮される。
【0022】
具体的には、画像データの信号文字列が一定のビット毎に区切られ、出現頻度が高い文字列に対してより短い符号が与えてられてゆく。なお、圧縮処理を行わないで画像データを記録する方式の場合は、圧縮部308および伸長部309を省略することができる。また、画像データの圧縮形式は、JPEG方式に限らず、GIF(Graphical Interchange Format)形式などであっても、同様に処理を行うことができる。
【0023】
バッファメモリ311には、画像処理部304で画像処理が行われる際に、一時的に画像データが保存される。フラッシュROM312には、撮像装置の各種設定情報や、後述するユーザ認証情報が保存される。I/F回路313は、システムコントローラ310から出力される画像データを、メモリカード315に記録可能なデータ形式に変換する。また、I/F回路313は、メモリカード315から読み出された画像データ等を、システムコントローラ310で処理可能なデータ形式に変換する。
【0024】
カードホルダ314は、記録媒体であるメモリカード315を撮像装置に着脱可能にする機構を備えると共に、メモリカード315との間でデータ通信が可能な電気接点を備える。また、カードホルダ314は、撮像装置で利用される記録媒体の種類に応じた構造を有する。メモリカード315は、フラッシュメモリなどの半導体記憶素子を内蔵し、カードホルダ314に着脱可能なカード型の記録媒体である。メモリカード315には、撮像装置で撮像された画像データを記録することができる。
【0025】
レンズ制御部327は、レンズ301のレンズに対して、ズーム、フォーカス、絞り等の制御を行う。角度制御部321は、カメラを目標物に向けるために上下方向に対する角度の制御を行う。方向制御部322は、カメラを目標物に向けるために左右方向に対する向きを制御する。さらに、GPS受信手段324は、GPS衛星からの電波を受信することができ、この電波からカメラ300の現在の位置座標を解析することができる。このGPSから求まる位置座標からは、カメラ300の高度および平面上の座標を取得することができる。またカメラ300の高度は、GPS座標からではなく、高度計を搭載して取得可能とすることもできる。
【0026】
次に、カメラ300における撮像動作について説明する。本実施形態においては、カメラ300と目標物との距離が所定の距離になると自動的に撮像動作が行われる。具体的には、一定の時間間隔や一定の移動間隔で撮像するなどの撮像動作を行うことができる。このような撮像動作では、光学画像がレンズ301を介して撮像装置内へ入射し、撮像素子(CCD)302に結像される。CCD302は、入射される光学画像を電気信号に変換して、カメラ信号処理部(ADC)303へ出力する。ADC303は、入力される電気信号(アナログ信号)をデジタル信号に変換する。ADC303から出力されるデジタル信号は画像処理部304に入力される。
【0027】
画像処理部304内の前処理部305では、入力されるデジタル信号に基づき画像データを生成し、ホワイトバランス処理およびガンマ補正処理などが行われる。画像処理部304内のYC処理部306では、画像データが輝度信号Yと色差信号CrおよびCbとに分離され、色差信号CrおよびCbの情報量を減らす処理が行われる。色差信号CrおよびCbの情報量の削減処理は、例えば、画像の主走査方向の色情報を間引く「4:2:2ダウンサンプリング処理」や、画像の縦横方向の色情報を間引く「4:1:1ダウンサンプリング処理」などがある。なお、前処理部305およびYC処理部306で画像処理を行う際は、画像データを一時的にバッファメモリ311に保存し、随時バッファメモリ311に保存されている画像データを読み出しながら画像処理が行われる。
【0028】
画像処理部304から出力される画像データ(非圧縮)はシステムコントローラ310に入力される。そして一定の間隔で、システムコントローラ310は画像処理部304に制御信号を出力する。画像処理部304に制御信号が入力されると、圧縮部308は、前処理部305およびYC処理部306で画像処理された画像データをバッファメモリ311へ保存し、圧縮処理を行う。
【0029】
具体的には、画像データの高周波成分と低周波成分の割合を数値化する離散コサイン変換処理(DCT処理)や、画像の階調やグラデーションを表現する段階を量子化ビット数で表現する量子化処理や、画像データの信号文字列を一定のビット毎に区切り、出現頻度が高い文字列に対して、より短い符号を与えてゆくハフマン符号化処理などが実行される。圧縮された画像データは、カードホルダ314を介してメモリカード315に記録される。
【0030】
このようにしてメモリカード315等の記憶手段に保存された画像は、その後、I/F325等を介して情報処理装置200に送られることになる。
【0031】
(第1の実施形態)
図2は、本発明の第1の実施形態における、カメラと目標物との関係を示す図である。ここでは、カメラの撮像目的である目標物が1つであり、飛行手段100が飛行経路を定めずに飛行している場合を例に説明する。
【0032】
飛行手段100に搭載されたカメラ300のGPS受信機は、カメラ300のカメラ座標402(位置座標)を一定の間隔で取得されている。そして、目標物の特定座標(目標座標401)とが地上に設定されている。このような目標物の位置である特定座標は、情報処理装置200を介してユーザが予め設定することができ、カメラ300内のメモリ等の記憶手段に記憶させておくことができる。このような状態で、カメラ300内のシステムコントローラ310は、目標座標401の高度とカメラ座標402の高度との高度差と、目標座標401とカメラ座標402との平面上の座標差とに基づいて、カメラが目標物に向くように上下の角度と、左右の角度と、を算出し、角度制御部321と方向制御部322を制御する。さらに、システムコントローラ310は、目標座標401とカメラ座標402との直線的な距離を求め、最適なフォーカス位置やズーム状態となるようにレンズ制御部を制御する。
【0033】
図3は、本発明の第1の実施形態における、カメラの制御を説明するためのフローチャートである。この制御は、カメラ300のシステムコントローラ310により実現される。
【0034】
ステップS301では、システムコントローラ310が、GPS受信手段324で受信したGPS座標を解析してカメラ座標402を取得するとともに、カメラ300の記憶手段に記憶された目標物の位置である特定座標を取得する。
【0035】
次に、ステップS302では、システムコントローラが、記憶手段に記憶された特定座標を目標座標401として設定する。次に、ステップS303がS302で取得されたカメラ座標402と目標座標401の2点をもとに、目標座標401の高度とカメラ座標402の高度との高度差と、目標座標401とカメラ座標402との平面上の座標と、目標座標401とカメラ座標402との直線的な距離と、を算出する。そして、目標座標401の高度とカメラ座標402の高度との高度差からカメラが目標物に向くように上下の角度を算出し、目標座標401とカメラ座標402との平面上の座標差から左右の角度を算出し、目標座標401とカメラ座標402との直線的な距離から最適なフォーカス位置やズーム状態となるレンズ制御値を算出する。
【0036】
ステップS304では、ステップS303で算出された、最適なフォーカス位置やズーム状態となるレンズ制御値や上下の角度や左右の角度となるように、レンズ制御部と327と角度制御部321と方向制御部322を調整する。
【0037】
以上のように設けることで、目標物を捉えるためのカメラの上下、左右の角度制御とフォーカスやズーム等のレンズ制御を自動で行うことができる。すなわち、自動的に目標物を撮像可能な状態を整ええることができるため、無人のヘリコプターや飛行機であっても撮像動作をスムーズに行うことができる。
【0038】
(第2の実施形態)
第1の実施形態では、飛行手段は飛行経路を定めずに飛行している場合について説明したが、本実施形態では飛行手段が目標物の周囲を周回するように飛行している場合の例について説明する。撮像のタイミングとしては、周回中に一定の時間間隔や一定の移動間隔で撮像動作が行われるように設定することができる。
【0039】
図4は、目標物を1点の座標で特定されている場合のカメラと目標物の関係を示す図であり、すなわち特定座標が1か所の場合の例である。図4(a)に示すように飛行手段100は目標物の目標座標401を中心として所定の距離を保った状態で、かつ、所定の高度を維持した状態で周回する。図4(b)は、図4(a)を上から見ている図である。このような特定座標、所定の距離および所定の高度は、予めユーザによって情報処理装置200を介して設定しておくことができる。
【0040】
図5は、目標物が2点の座標で特定されている場合のカメラと目標物の関係を示す図であり、すなわち特定座標が2か所の場合の例である。特定座標が2か所ある場合には、目標座標が飛行手段の飛行位置(カメラの現在位置)によって変動する辺上監視モードと、目標座標を特定座標の中心点とする中心点監視モード(重心監視モード)と、のいずれかを選択することができる。
【0041】
図5(a)は、辺上監視モードにおけるカメラの向きと目標座標の関係を示しており、カメラがカメラ位置300−(a)にある場合には401−(a)を目標座標としてカメラの角度制御及びレンズ制御が行われる。また、カメラがカメラ位置300−(b)にある場合には、401−(b)を目標座標としてカメラの角度制御及びレンズ制御が行われる。また、カメラがカメラ位置300−(c)にある場合には、401−(c)を目標座標としてカメラの角度制御及びレンズ制御が行われる。すなわち、特定座標による直線上であって、カメラ座標に最も近い座標が目標座標となるように適宜変化している。
【0042】
図5(b)は、中心点監視モードにおけるカメラの向きと目標座標の関係を示しており、カメラがいずれの位置にあっても特定座標404(a)と特定座標404(b)の2点間の中心点を目標座標401としてカメラの角度制御及びレンズ制御が行われる。
【0043】
以上のような2つのモードをユーザによって選択可能(モード受付可能)とすることにより、目標物の形状に対応した撮像モードで撮像動作を行うことができる。たとえば、建物のような内部を視認できない目標物の場合には、撮像モードは建物の外観を撮像できるように辺上監視モードとすることが好ましい。一方公園や広場のように空中から全てを見渡せるような目標物である場合には、重心監視モードとし、ズームアウトした状態で撮像することで目標物の全景を撮像することができる。このようなモードの選択は、特定座標、所定の距離および所定の高度の設定と同様に、予めユーザによって情報処理装置200を介して選択しておくことができる。
【0044】
図6は、目標物が3点の座標で特定されている場合のカメラと目標物の関係を示す図であり、すなわち特定座標が3か所の場合の例である。特定座標が複数(3点以上)ある場合にも、目標座標が飛行手段の飛行位置(カメラの現在位置)によって変動する辺上監視モードと、目標座標を特定座標の重心点とする重心監視モードと、のいずれかを選択することができる。
【0045】
図6(a)辺上監視モードにおけるカメラの向きと目標座標の関係を示しており、カメラがカメラ位置300−(d)にある場合には400−(d)を目標座標としてカメラの角度制御及びレンズ制御が行われる。また、カメラがカメラ位置300−(e)にある場合には、400−(e)を目標座標としてカメラの角度制御及びレンズ制御が行われる。そして図6(a)からわかるようにカメラの位置によって、多角形の辺上を撮像する場合と、多角形の角を撮像する場合とに分かれる。いずれの場合にも、隣接する2つの特定座標を結んだ直線上(多角形の辺)であって、カメラ座標に最も近い座標が目標座標となるように適宜変化している。
【0046】
図6(b)は、重心監視モードにおけるカメラの向きと目標座標の関係を示しており、カメラがいずれの位置にあっても複数の特定座標の重心点を目標座標401としてカメラの角度制御及びレンズ制御が行われる。
【0047】
次に、図7のフローチャートを用いて飛行手段の飛行目標座標を算出する流れを説明する。この制御は、カメラ300のシステムコントローラ310により実現することができる。ステップS701では、まずシステムコントローラ310がユーザによって予め設定されている特定座標と、特定座標とカメラの位置との距離(設定距離)と、カメラを維持する設定高度とを例えばカメラ300に設けられた記憶手段等から取得する。このような設定条件は、予めユーザによって情報処理装置200を介して設定しておくことができる。
【0048】
次にステップS702では、ステップS701で取得した特定座標が2点以上かどうかを判断する。ステップS702で2点以上ではない、すなわち特定座標は1点であると判断された場合には、ステップS704に進み、取得した特定座標を飛行目標座標として設定する。一方、ステップS702で特定座標が2点以上であると判断された場合には、ステップS703に進み、取得した2点以上(複数)の座標の重心点を飛行目標座標として設定する。
【0049】
ステップS705では、システムコントローラ310が、飛行目標座標を中心として、ステップS701で取得された設定距離及び設定高度を維持した状態で周回するように飛行手段100による飛行が行われるように飛行手段100の飛行制御部105に制御させる。これにより、飛行目標座標を目的とした飛行手段100の飛行が行われることになる。
【0050】
次に、図8のフローチャートを用いて、図4〜6に示したような撮像可能な状態となるようなカメラ制御について説明する。この制御は、カメラ300のシステムコントローラ310により実現することができる。
【0051】
ステップS801では、システムコントローラ310が、GPS受信手段324で受信したGPS座標を解析してカメラ座標402を取得するとともに、カメラ300の記憶手段に記憶された目標物を特定するための位置である1または2以上の特定座標を取得する。
ステップS802では、ステップS801で取得された特定座標が3点以上であるかを判断する。特定座標が3点以上ではない、すなわち特定座標が2点以下である場合には、ステップS806に進み、特定座標が2点以上であるかを判断する。ステップS806で2点以上ではない、すなわち特定座標が1点であると判断された場合には第1の実施形態と同様に特定座標を目標座標として設定する。ステップS806で特定座標が3点以上ではなくかつ2点以上である、すなわち2点であると判断された場合には、S807に進み
【0052】
ユーザによって予め選択されている監視モードが『辺上監視モード』であるか、『重心監視モード』であるかを判断する。ステップS806で、重心監視モードが選択されていると判断された場合には、ステップS809に進み2点の特定座標による直線の中心座標を目標座標として設定する。これにより、図5(b)に示す位置が目標座標として設定される。
【0053】
ステップS807で辺上監視モードが選択されていると判断された場合には、ステップS808に進み、特定座標による直線上であって、カメラ座標に最も近い座標を目標座標として設定する。これにより、図5(a)に示す位置が目標座標として設定される。
【0054】
次に、ステップS802に戻り、特定座標が3点以上であると判断された場合には、ステップS803に進み、ユーザによって予め選択されている監視モードが『辺上監視モード』であるか、『重心監視モード』であるかを判断する。ステップS803で、重心監視モードが選択されていると判断された場合には、ステップS805に進み複数の特定座標による重心点の重心座標を目標座標として設定する。これにより、図6(b)に示す位置が目標座標として設定される。
【0055】
ステップS803で辺上監視モードが選択されていると判断された場合には、ステップS804に進み、隣接する2つの特定座標を結んだ直線上(特定座標で形成される多角形の辺上)であって、カメラ座標に最も近い座標を目標座標として設定する。これにより、図6(a)に示す位置が目標座標として設定される。
【0056】
ステップS811では、ステップS804、S805、S808、S809、S910のそれぞれで設定された目標座標と、ステップS801で取得された現在のカメラの位置座標であるカメラ座標の2点をもとに、目標座標401の高度とカメラ座標402の高度との高度差と、目標座標401とカメラ座標402との平面上の座標と、目標座標401とカメラ座標402との直線的な距離と、を算出する。そして、目標座標401の高度とカメラ座標402の高度との高度差からカメラが目標物に向くように上下の角度を算出し、目標座標401とカメラ座標402との平面上の座標差から左右の角度を算出し、目標座標401とカメラ座標402との直線的な距離から最適なフォーカス位置やズーム状態となるレンズ制御値を算出する。
【0057】
ステップS812では、ステップS811で算出された、最適なフォーカス位置やズーム状態となるレンズ制御値や上下の角度や左右の角度となるように、レンズ制御部と327と角度制御部321と方向制御部322を調整する。
【0058】
以上のように設けることで、目標物を捉えるためのカメラの上下、左右の角度制御とフォーカスやズーム等のレンズ制御を自動で行うことができる。すなわち、自動的に目標物を撮像可能な状態を整えることができるため、無人のヘリコプターや飛行機であっても撮像動作をスムーズに行うことができる。
【0059】
次に、図9は本実施形態を実現できるカメラ制御のもう1つの例を説明するためのフローチャートである。このフローチャートを用いても、図4〜6に示したような撮像可能な状態となるようにカメラ制御を行うことができる。この制御は、カメラ300のシステムコントローラ310により実現することができる。
【0060】
ステップS901では、システムコントローラ310が、GPS受信手段324で受信したGPS座標を解析してカメラ座標402を取得するとともに、カメラ300の記憶手段に記憶された目標物を特定するための位置である1または2以上の特定座標を取得する。
【0061】
ステップS902では、ステップS901で取得された特定座標が2点以上であるかを判断する。特定座標が2点以上ではない、すなわち特定座標が1点である場合には、ステップS910に進み、第1の実施形態と同様に特定座標を目標座標として設定する。
【0062】
ステップS902で特定座標が2点以上であると判断された場合には、ステップS903に進み、ユーザによって予め選択されている監視モードが『辺上監視モード』であるか、『重心監視モード』であるかを判断する。
【0063】
ステップS903で、重心監視モードが選択されていると判断された場合には、ステップS907に進み、特定座標が3点以上であるかを判断する。特定座標が3点以上でない、すなわち2点である場合には、ステップS909に進み2点の特定座標による直線の中心座標を目標座標として設定する。これにより、図5(b)に示す位置が目標座標として設定される。
【0064】
一方、ステップS907で特定座標が3点以上でないと判断された場合には、ステップS908に進み、複数の特定座標による重心点の重心座標を目標座標として設定する。これにより、図6(b)に示す位置が目標座標として設定される。
【0065】
次に、S903に戻り、辺上監視モードが選択されていると判断された場合には、ステップS904に進み、特定座標が3点以上であるかを判断する。特定座標が3点以上でない、すなわち2点である場合にはステップS906に進み、特定座標による直線上であって、カメラ座標に最も近い座標を目標座標として設定する。これにより、図5(a)に示す位置が目標座標として設定される。
【0066】
一方、ステップS904で特定座標が3点以上であると判断された場合には、ステップS905に進み、隣接する2つの特定座標を結んだ直線上(特定座標で形成される多角形の辺上)であって、カメラ座標に最も近い座標を目標座標として設定する。これにより、図6(a)に示す位置が目標座標として設定される。
【0067】
ステップS911とステップS912については、図8のステップS811及びステップS812と同様であるため説明を省略する。
【0068】
以上のように制御を行っても図8と同様に、目標物を捉えるためのカメラの上下、左右の角度制御とフォーカスやズーム等のレンズ制御を自動で行うことができる。すなわち自動的に目標物を撮像可能な状態を整ええることができるため、無人のヘリコプターや飛行機であっても撮像動作をスムーズに行うことができる。
【0069】
なお、第2の本実施形態では、飛行目標座標の算出をカメラ300のシステムコントローラ310で行ったが、飛行手段100のCPU104で行ってもよい。また、第2の実施形態では、全て飛行手段の飛行軌道を常に複数の特定座標の重心点を中心として周回する例で説明したが、飛行手段の飛行軌道は複数の特定座標に基づいて特定される楕円形等の形状であってもよい。さらに、特定座標によって特定される多角形の上、すなわち多角形の内側を通過や周回するような飛行軌道であってもよい。
【0070】
なお、第1及び第2の実施形態では、特定座標が地上にある場合を例に説明したが特定座標は高度を有していても同様に目標座標を設定し、カメラの角度制御とレンズ制御を行うことができる。
【0071】
また、第1及び第2の実施形態においては、撮像手段としてデジタルカメラを例に説明したがカメラに限られずビデオカメラ等を用いてもよい。
【0072】
また、第1及び第2の実施形態においては、無人のヘリコプターや飛行機に搭載する場合を想定して説明を行ったが、自動的にカメラの角度制御やレンズ制御が行われれば有人の場合であってもよい。
【0073】
また、第1及び第2の実施形態においては、GPS受信手段がカメラ300に設けられている例を用いて説明したが、カメラ300の現在位置が確認できればよく、飛行手段100に搭載されていてもよい。
【0074】
また、本願発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、1つの機器からなる装置に適用してもよい。
【0075】
なお、本願発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システム或いは装置に直接、或いは遠隔から供給するものを含む。そして、そのシステム或いは装置の情報処理装置が前記供給されたプログラムコードを読み出して実行することによっても達成される場合も本発明に含まれる。
【0076】
したがって、本発明の機能処理を情報処理装置で実現するために、前記情報処理装置にインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
【0077】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等の形態であってもよい。
【0078】
プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、MO、CD−ROM、CD−R、CD−RWなどがある。また、磁気テープ、不揮発性のメモリカード、ROM、DVD(DVD−ROM,DVD−R)などもある。
【0079】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、前記ホームページから本発明のコンピュータプログラムそのもの、若しくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。
【0080】
また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理を情報処理装置で実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるWWWサーバも、本発明に含まれるものである。
【0081】
また、本発明のプログラムを暗号化してCD−ROM等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、ダウンロードした鍵情報を使用することにより暗号化されたプログラムを実行して情報処理装置にインストールさせて実現することも可能である。
【0082】
また、情報処理装置が、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。その他、そのプログラムの指示に基づき、情報処理装置上で稼動しているOSなどが、実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現され得る。
【0083】
さらに、記録媒体から読み出されたプログラムが、情報処理装置に挿入された機能拡張ボードや情報処理装置に接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現される。
【0084】
なお、前述した実施形態は、本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【0085】
100 飛行手段
200 情報処理装置
300 カメラ
401 目標座標
402 カメラ座標

図1
図2
図3
図4
図5
図6
図7
図8
図9
【手続補正書】
【提出日】2019年9月20日
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
撮像部を有する移動体の位置を示す第1の位置情報を取得する第1の取得手段と、
被写体の位置を示す第2の位置情報を取得する第2の取得手段と、
前記第1の位置情報が示す位置と、複数の前記第2の位置情報を用いて特定される位置とに基づいて、前記撮像部が撮像する方向を決定する決定手段と、
前記撮像部が前記決定された方向を向くように、前記撮像部の向きを制御する制御手段と、
を有することを特徴とする撮像システム。
【請求項2】
前記決定手段は、前記第1の位置情報が示す位置と、複数の前記第2の位置情報を用いて特定される重心又は中心点とに基づいて、前記撮像部が撮像する方向を決定することを特徴とする、請求項1に記載の撮像システム。
【請求項3】
前記決定手段は、前記第1の位置情報が示す位置と、複数の前記第2の位置情報を用いて特定される位置とに基づいて、前記撮像部のレンズ制御値を決定し、
前記制御手段は、前記レンズ制御値に基づいて、前記撮像部のレンズを制御することを特徴とする、請求項1又は2に記載の撮像システム。
【請求項4】
前記第1の位置情報及び前記第2の位置情報は、現実空間における位置を示す情報であることを特徴とする、請求項1乃至3の何れか1項に記載の撮像システム。
【請求項5】
前記第1の位置情報及び前記第2の位置情報は、平面上の座標及び高度の少なくとも1つを含む情報であることを特徴とする、請求項1乃至4の何れか1項に記載の撮像システム。
【請求項6】
前記移動体は、航空機であることを特徴とする、請求項1乃至5の何れか1項に記載の撮像システム。
【請求項7】
前記移動体は、前記被写体の周囲を移動することを特徴とする、請求項1乃至6の何れか1項に記載の撮像システム。
【請求項8】
前記第2の取得手段は、前記第2の位置情報が記憶された記憶部から、前記第2の位置情報を取得することを特徴とする、請求項1乃至7の何れか1項に記載の撮像システム。
【請求項9】
撮像部を有する移動体の位置を示す第1の位置情報を取得する第1の取得工程と、
被写体の位置を示す第2の位置情報を取得する第2の取得工程と、
前記第1の位置情報が示す位置と、複数の前記第2の位置情報を用いて特定される位置とに基づいて、前記撮像部が撮像する方向を決定する決定工程と、
前記撮像部が前記決定された方向を向くように、前記撮像部の向きを制御する制御工程と、
を有することを特徴とする撮像システムの制御方法。
【請求項10】
コンピュータを、請求項1乃至8のいずれか1項に記載の撮像システムの各手段として機能させるためのプログラム。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】0007
【補正方法】変更
【補正の内容】
【0007】
本発明に係る撮像システムは、撮像部を有する移動体の位置を示す第1の位置情報を取得する第1の取得手段と、被写体の位置を示す第2の位置情報を取得する第2の取得手段と、前記第1の位置情報が示す位置と、複数の前記第2の位置情報を用いて特定される位置とに基づいて、前記撮像部が撮像する方向を決定する決定手段と、前記撮像部が前記決定された方向を向くように、前記撮像部の向きを制御する制御手段と、を有することを特徴とする。