特開 2023-168743 撮影システム、ビデオサーバシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023168743

(43)【公開日】2023-11-29

(54)【発明の名称】撮影システム、ビデオサーバシステム

(51)【国際特許分類】

   H04N 7/18 20060101AFI20231121BHJP

   H04N 21/235 20110101ALI20231121BHJP

   H04N 21/431 20110101ALI20231121BHJP

【ＦＩ】

H04N7/18 K

H04N21/235

H04N21/431

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2022080027

(22)【出願日】2022-05-16

(71)【出願人】

【識別番号】000001122

【氏名又は名称】株式会社日立国際電気

(74)【代理人】

【識別番号】100097113

【弁理士】

【氏名又は名称】堀 城之

(74)【代理人】

【識別番号】100162363

【弁理士】

【氏名又は名称】前島 幸彦

(72)【発明者】

【氏名】田中 宏幸

【テーマコード（参考）】

5C054

5C164

【Ｆターム（参考）】

5C054AA02

5C054CA04

5C054CC02

5C054DA07

5C054FE14

5C164SA25S

5C164SB06P

5C164SC11S

5C164UB88P

5C164YA30

(57)【要約】

【課題】得られた映像信号に基づいて、撮影システムの高機能化、高性能化を図る。
【解決手段】制御部４２は、入手した撮像情報から撮像装置１０の位置情報を認識した場合、その周囲の地図情報を、ネットワーク接続部４３によってネットワークを介して入手することができる。また、制御部４２は、映像信号に基づく映像をディスプレイである表示部４５で表示させることができる。制御部４２は、地図情報と撮像情報に基づき、この映像を解析し、例えば、この映像中における被写体としての建造物等（建物、特定の地形、橋等）を認識し、撮像情報を用いて地図情報と対応させることにより、この建造物等を具体的に特定することができる。
【選択図】図３

【特許請求の範囲】

【請求項1】

撮像を行い映像信号を出力する撮像装置が用いられる撮影システムであって、
前記撮像装置は、
撮像の際の前記撮像装置の位置情報を含む、前記撮像装置の撮像の際の状態を表す撮像情報を出力する撮像情報出力部を有し、
前記映像信号と前記撮像情報を前記撮像装置側から入手する通信部と、
前記映像信号による映像中の被写体を認識し、前記撮像装置の周囲の構造物に関する情報を含む前記撮像装置の周囲の地図情報を前記位置情報に基づいて認識し、前記映像と前記地図情報とを対比することによって、前記被写体と前記構造物との間の対応関係を認識する解析部と、
を具備することを特徴とする撮影システム。

【請求項2】

前記被写体と前記構造物との間の対応関係を示した上で前記映像を表示させる表示部を具備することを特徴とする請求項１に記載の撮影システム。

【請求項3】

前記解析部は、前記撮像装置で撮像されるべき対象を予め認識し、当該対象の周囲の前記地図情報を取得し、当該地図情報と前記撮像装置から入手した前記映像信号に基づく映像とを対比することによって、前記対象が撮影されるように前記撮像装置を制御させる旨の指示を前記撮像装置側に行うことを特徴とする請求項１又は請求項２に記載の撮影システム。

【請求項4】

前記撮像情報には、前記撮像装置の高度、撮像の際の視野中心の方向、視野範囲、撮像された対象までの距離、のいずれかが含まれることを特徴とする請求項１又は請求項２に記載の撮影システム。

【請求項5】

前記解析部は、前記被写体として認識された前記構造物の識別情報を登録することを特徴とする請求項１又は請求項２に記載の撮影システム。

【請求項6】

前記撮像装置と、
前記通信部と前記解析部とを有するビデオサーバシステムと、
前記映像信号及び前記撮像情報を前記撮像装置より入手し、指向性を有するアンテナを介して前記ビデオサーバシステムに無線通信によって発する伝送装置と、
を具備し、
前記撮像装置は前記伝送装置に固定され、
前記構造物との間の対応関係が特定された前記被写体を含む前記映像中において、前記アンテナの向きを表示させる調整用表示部が設けられたことを特徴とする請求項１又は請求項２に記載の撮影システム。

【請求項7】

撮像装置で得られた映像信号を入手して処理を行うビデオサーバシステムであって、
前記撮像装置より、前記映像信号と共に、撮像の際の前記撮像装置の位置情報を含む、前記撮像装置の撮像の際の状態を表す撮像情報を受信する通信部と、
前記映像信号による映像中の被写体を認識し、前記撮像装置の周囲の構造物に関する情報を含む前記撮像装置の周囲の地図情報を前記位置情報より認識し、前記映像と前記地図情報とを対比することによって、前記被写体と前記構造物との間の対応関係を認識する解析部と、
を具備することを特徴とするビデオサーバシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像を行なう撮影システム、これによる映像信号を入手して各種の処理を行うビデオサーバシステムに関する。

【背景技術】

【0002】

テレビジョン放送用の無線中継装置（ＦＰＵ：Ｆｉｅｌｄ Ｐｉｃｋｕｐ Ｕｎｉｔ）は、放送局外で得られた映像をデジタル化した信号を放送局に伝送する際の中継を行う。ＦＰＵ装置の機能を高度化することによって、安定して良好な放送を行うことができる。例えば特許文献１には、デジタル化された信号の伝送レートを映像信号に基づいて自動的に最適化するＦＰＵ装置が記載されている。これによって、映像信号を良好な伝送状態で放送局側に送信することができる。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００４－１０４５７９号公報

【発明の開示】

【発明が解決しようとする課題】

【0004】

特許文献１に記載の技術では、伝送されるべき映像信号自身を調べることによって、映像信号の伝送条件が最適化された。このように、得られた映像信号に基づいて、伝送条件の最適化だけでなく、撮影システムの高機能化、高性能化を図る技術が求められた。

【0005】

本発明は、このような状況に鑑みなされたもので、上記課題を解決することを目的とする。

【課題を解決するための手段】

【0006】

本発明は、撮像を行い映像信号を出力する撮像装置が用いられる撮影システムであって、前記撮像装置は、撮像の際の前記撮像装置の位置情報を含む、前記撮像装置の撮像の際の状態を表す撮像情報を出力する撮像情報出力部を有し、前記映像信号と前記撮像情報を前記撮像装置側から入手する通信部と、前記映像信号による映像中の被写体を認識し、前記撮像装置の周囲の構造物に関する情報を含む前記撮像装置の周囲の地図情報を前記位置情報に基づいて認識し、前記映像と前記地図情報とを対比することによって、前記被写体と前記構造物との間の対応関係を認識する解析部と、を具備する。
また、前記被写体と前記構造物との間の対応関係を示した上で前記映像を表示させる表示部を具備してもよい。
また、前記解析部は、前記撮像装置で撮像されるべき対象を予め認識し、当該対象の周囲の前記地図情報を取得し、当該地図情報と前記撮像装置から入手した前記映像信号に基づく映像とを対比することによって、前記対象が撮影されるように前記撮像装置を制御させる旨の指示を前記撮像装置側に行ってもよい。
また、前記撮像情報には、前記撮像装置の高度、撮像の際の視野中心の方向、視野範囲、撮像された対象までの距離、のいずれかが含まれてもよい。
また、前記解析部は、前記被写体として認識された前記構造物の識別情報を登録してもよい。
また、前記撮像装置と、前記通信部と前記解析部とを有するビデオサーバシステムと、前記映像信号及び前記撮像情報を前記撮像装置より入手し、指向性を有するアンテナを介して前記ビデオサーバシステムに無線通信によって発する伝送装置と、を具備し、前記撮像装置は前記伝送装置に固定され、前記構造物との間の対応関係が特定された前記被写体を含む前記映像中において、前記アンテナの向きを表示させる調整用表示部が設けられてもよい。
本発明は、撮像装置で得られた映像信号を入手して処理を行うビデオサーバシステムであって、前記撮像装置より、前記映像信号と共に、撮像の際の前記撮像装置の位置情報を含む、前記撮像装置の撮像の際の状態を表す撮像情報を受信する通信部と、前記映像信号による映像中の被写体を認識し、前記撮像装置の周囲の構造物に関する情報を含む前記撮像装置の周囲の地図情報を前記位置情報より認識し、前記映像と前記地図情報とを対比することによって、前記被写体と前記構造物との間の対応関係を認識する解析部と、を具備する。

【発明の効果】

【0007】

本発明によると、得られた映像信号に基づいて、撮影システムの高機能化、高性能化を図ることができる。

【図面の簡単な説明】

【0008】

【図1】実施形態に係る撮影システムの構成を示す図である。

【図2】実施形態に係る撮影システムにおいて用いられる撮像装置の構成を示す図である。

【図3】実施形態に係る撮影システムにおいて用いられるビデオサーバシステムの構成を示す図である。

【図4】実施形態に係る撮影システムにおいて得られる映像の例である。

【図5】実施形態に係る撮影システムにおいて用いられる地図情報の例である。

【図6】実施形態に係る撮影システムにおいて、パラメータを適宜設定して得られる仮想的な映像を実際の映像と共に表示した例である。

【図7】水平方向における視野範囲が定まった場合を地図情報において示す図である。

【図8】鉛直方向における視野範囲が定まった場合を地図情報において示す図である。

【図9】地図情報において、被写界深度に対応した範囲を示す図である。

【図10】映像中における各被写体に対するフォーカスの状況が異なる場合の映像の例である。

【図11】映像中における各被写体に対する距離が認識された場合の例である。

【図12】地図情報中における各構造物に対する距離が認識された場合の例である。

【図13】映像に光学歪がある場合の例（ａ）、その補正後の例（ｂ）である。

【図14】所望の対象を視野範囲に入れるための指示を出す際の動作を説明する図である。

【図15】アンテナ調整を行わせる際の撮像装置側の構成（ａ）、映像の表示（ｂ）を示す。

【0009】

次に、本発明を実施するための形態となる撮影システムを、図面を参照して具体的に説明する。図１に示されるように、この撮影システム１００は、被写体を撮像して映像データを得る（映像信号を生成する）撮像装置１０、この映像信号をデジタル化して放送局側に送信（中継）するＦＰＵ装置（伝送装置）３０と、放送局側で受信したこの映像信号を入手し、映像に対する各種の処理を行い記憶させるビデオサーバシステム４０を具備する。撮像装置１０とＦＰＵ装置３０は、例えば撮影用の車両やヘリコプター等に搭載され、ビデオサーバシステム４０は、ＦＰＵ装置３０と無線通信により接続され、地上における一定の箇所（例えば放送局）において固定される。

【0010】

この撮影システム１００においては、撮像装置１０における自身の位置情報や撮像条件（姿勢やズーム倍率等）が認識され、かつ、撮像された被写体がＡＩ技術等を用いて認識されることによって、被写体の位置情報が認識される。この情報は撮像データと共にビデオサーバシステム４０側に伝送される。ビデオサーバシステム４０側では、この情報を用いて各種の処理を行うことができる。

【0011】

図２は、この撮像装置１０の構成を示す図である。この撮像装置１０においては、光学系１１を介して撮像素子１２によって撮像が行われてアナログ信号である映像信号が生成される。この映像信号は映像信号処理部１３で送信前の各種の処理が行われた後に、映像信号出力部１４からＨＤ－ＳＤＩ規格等のデジタル信号とされた映像信号として外部に出力され、ＦＰＵ装置３０はこれを受信する。また、この撮像装置１０全体を制御する制御部（撮像装置制御部）１５が設けられる。制御部１５は、光学系１１や撮像素子１２を制御して、撮像に際しての視野範囲（ズーム倍率等）や焦点距離、絞り、ゲイン等を制御する。

【0012】

また、この撮像装置１０においては、撮像装置１０自身の撮像時の状態を認識するために、各種の構成要素が設けられる。ここでは、まず、図２において、ＧＰＳ信号を受信することによって撮像装置１０の位置（位置情報）を認識する位置情報認識部１６、撮像装置１０の高度（標高）を認識する高度センサ１７が設けられる。制御部１５は、これらによって撮像装置１０の３次元空間における撮像時の位置を認識することができる。

【0013】

また、図２において、撮像装置１０の光軸（視野中心）の方位（方位角）を認識する方位センサ１８、撮像装置１０の光軸の水平方向からの仰角、光軸周りの傾斜角を認識する傾斜センサ１９が設けられる。制御部１５は、これらによって撮像装置１０の視野中心の３次元空間中における方向や光軸周りの傾斜角を認識することができる。

【0014】

また、制御部１５は、光学系１１、撮像素子１２の制御情報から、水平方向、鉛直方向における視野中心の周りの視野範囲を認識することができる。なお、ここで認識される水平方向、鉛直方向における視野範囲は、前記のように傾斜センサ１９によって認識される光軸周りの傾斜角が零の場合における視野範囲であり、この傾斜角が零でない場合には、この視野範囲はこの傾斜角に応じて傾斜した形状となる。

【0015】

また、図２において、撮像装置１０の環境の照度を認識する照度センサ２０、現在の日時を認識する時刻認識部２１が設けられる。

【0016】

以上の構成により、撮像装置１０が撮像を行うに際し、制御部１５は、３次元空間中における撮像装置１０の位置情報（水平方向における位置、高さ）と、視野情報（３次元空間中における視野中心の方向と視野の広がり）を認識することができる。また、制御部１５は、他に、撮像が行われた時刻、照度を認識することができ、このように認識された全ての情報を、前記の映像データに付随した撮像情報として、撮像情報出力部２２から映像データと共に外部に出力させることができる。

【0017】

なお、上記の構成において、高度センサ１７、照度センサ２０、時刻認識部２１は撮像装置中に設けず、撮像装置を搭載するヘリコプター等の側に設けてもよい。この場合においても、これらから得られた情報を前記のように撮像情報に含めることができる。

【0018】

ただし、前記のように、撮像装置１０において、撮像情報における各々の項目は異なる構成要素によって認識され、このうち一部の項目の情報のみが高い精度で得られる場合もある。後述する例においては、このように一部の項目の情報のみが得られた場合について説明する。

【0019】

図１において、撮像装置１０は、このように映像信号と撮像情報を出力し、ＦＰＵ装置３０は、近距離にある撮像装置１０から有線接続によってこれらを入手し、遠隔した場所にあるビデオサーバシステム４０に無線通信によって送信する。この際、ＦＰＵ装置３０ではこれらの信号を適宜選択された伝送方式に応じて変調し、ビデオサーバシステム４０ではこれを復調するが、この変調、復調に関する構成は周知のものであり、かつ本願発明とは無関係であるため、以下の説明ではこれらについては省略する。

【0020】

図３は、ビデオサーバシステム４０の構成を示す図である。ここでは、前記の映像信号と撮像情報を無線通信によってＦＰＵ装置３０側から入手する無線通信部（通信部）４１が設けられる。また、ビデオサーバシステム４０側からＦＰＵ装置３０側における各種の制御を行うための指示が、無線通信部４１によってＦＰＵ装置３０側に無線通信、あるいは他の通信手段によって発せられる。また、ビデオサーバシステム４０全体を制御する制御部（解析部）４２が設けられる。

【0021】

制御部４２は、入手した撮像情報から撮像装置１０の位置情報を認識した場合、その周囲（撮像装置１０によって撮像される可能性のある範囲）の地図情報を、ネットワーク接続部４３によってネットワークを介して入手することができる。入手した映像信号、撮像情報、地図情報は、大容量のハードディスクあるいは不揮発性メモリである記憶部４４に記憶される。なお、撮像装置１０（ＦＰＵ装置３０）が移動しながら撮像を行う場合には、地図情報は、例えば撮像装置１０が存在している領域毎に取得、記憶することができる。あるいは、撮像すべき対象が予め定まっている場合には、位置情報を認識した後で地図情報をネットワーク接続部４３を介して入手するのではなく、この対象が含まれる地図情報を予め記憶部４４に記憶させていてもよい。

【0022】

また、制御部４２は、映像信号に基づく映像をディスプレイである表示部４５で表示させることができる。制御部４２は、地図情報と撮像情報に基づき、この映像を解析し、例えば、この映像中における被写体としての建造物等（建物、特定の地形、橋等）を認識し、撮像情報を用いて地図情報と対応させることにより、この建造物等を具体的に特定することができる。以下に、この動作について具体的に説明する。この動作は、映像信号（映像）の取得に際してリアルタイムで行う場合には、定期的（例えば１秒毎）に行わせることができるが、後述するように、記憶部４４に記憶された映像信号に対しても行わせることもできる。

【0023】

図４は、この場合において撮像装置１０（映像信号）から得られた映像の例を模式的に示す。ここで被写体としては、周知のパターン認識手法によって認識することが可能である、例えばビル等の大型の建造物があり、ここでは３つの被写体ａ１～ａ３が認識される。なお、図４における格子状の直線は後述する図５中の座標表示に対応する格子状の直線であり、仮想的なものである。制御部４２は、この映像を前記のような地図情報と対比することによって、この映像中における被写体ａ１～ａ３を具体的に特定することができる。前記のように、撮像情報においては全ての項目の情報が得られるとは限らないため、以下では、この項目毎の情報に基づいた解析について説明する。

【0024】

まず、撮像情報より撮像装置１０の位置情報、特に水平方向の位置情報が定まった場合について説明する。この場合、制御部４２は、この位置の周囲の地図情報を入手する。図５は、この場合において入手した地図情報とその中における撮像装置１０の位置Ｐを示す。ここでは、横軸方向をＡ～Ｃの３区間、縦軸方向を１～９の９区間に分割して示し、撮像装置１０は「Ｂ８」の中心に位置するものとする。制御部４２は、この地図情報を記憶部４４に記憶させることができる。

【0025】

ここでは、周知のパターン認識技術によって撮像装置１０による映像（図４）中で認識可能な前記のような被写体ａ１～ａ３の候補として、ビル等の建築物（構造物）があり、ここでは、構造物Ｇ、Ｈ、Ｉ、Ｘ、Ｙ、Ｚの６つが、それぞれ図示された場所に位置する。

【0026】

この場合、撮像装置１０がこの位置にあるとして、撮像の際の各種の状態をパラメータとし、この地図情報の地形を撮像した場合の映像をシミュレートし、シミュレートされた映像と実際に得られた映像（図４）を対比し、最も近い結果が得られた際のパラメータが実際のものであると推定することができる。このパラメータとしては、撮像装置１０の高度、視野中心の方向、視野範囲、光軸周りの傾斜角がある。この際、図４中で認識された被写体ａ１～ａ３と図５における構造物Ｇ、Ｈ、Ｉ、Ｘ、Ｙ、Ｚとの対応関係を認識することができる。

【0027】

図６（ａ）（ｂ）は、この場合において、このパラメータを適宜設定した際の仮想的な映像中で認識されるべき各構造物を、実際の映像（図４）と比較した結果の例である。この表示は、例えば表示部４５で行われる。ここで、実際の映像は実線で記載され、仮想的な映像は点線、破線で記載されている。ここでは、被写体ａ１～ａ３の候補として構造物Ｇ、Ｉ、Ｈが考慮されている。図６（ａ）においては視野中心の鉛直方向における角度が実際の映像と異なり、図６（ｂ）においては光軸周りの傾斜角が実際の映像とは異なる。実際の映像と対比されるべき仮想的な映像は地図情報より認識されるが、その種類としては、地形図、航空写真等、対比をしやすい形態のものを適宜用いることができる。

【0028】

ここで、撮像装置１０の位置情報より、構造物のうち明らかに視野範囲外となるものを候補として除外することにより、被写体の候補となる構造物の数を減らすことができる。例えば、撮像装置１０の水平方向における位置（図５）より、構造物Ｘは構造物Ｉの陰になるために、構造物Ｘを考慮する対象から外すことができる。

【0029】

制御部４２は、このような比較を行い、図４の結果と最も合致した場合の各パラメータ（視野方向の中心、光軸周りの傾斜角）が、実際のものであると推定することができ、例えば、図４における被写体ａ１、ａ２、ａ３はそれぞれ図５における構造物Ｇ、Ｉ、Ｈに対応すると認識することができる。

【0030】

次に、撮像装置１０の水平方向における位置に加え、水平方向における視野範囲が認識できた場合について説明する。図７は、この場合における水平方向の視野範囲Ｒ１を図５の状態に加えて示す例である。この場合においては、視野範囲としてＲ１の範囲が指定される。この場合、高度（鉛直方向における位置情報）、鉛直方向における視野情報（視野中心の方向、視野範囲）をパラメータとし、この地図情報の地形を撮像した場合の映像を図６と同様にシミュレートし、シミュレートされた映像と実際に得られた映像（図４）を対比し、最も近い結果が得られた際の高度等が実際のものであると推定し、図４中で認識された被写体と図５における構造物Ｇ、Ｈ、Ｉ、Ｘ、Ｙ、Ｚとの対応関係を認識することができる。この際、前記のように構造物Ｉの陰になる構造物Ｘと、図７において視野範囲Ｒ１から明らかに外れる構造物Ｚを、図４中で認識された被写体の候補として除外することができ、除外されなかった構造物Ｇ、Ｈ、Ｉ、Ｙのみを被写体ａ１～ａ３の候補とし、図６の場合と同様にして、被写体と構造物の対応関係を調べることができる。

【0031】

次に、撮像装置１０の水平方向における位置情報、水平方向における視野情報に加え、撮像装置１０の高度（鉛直方向における位置情報）、鉛直方向における視野情報が認識できた場合について説明する。図８は、この場合における鉛直方向の状況を、図７における右側からみた側面図である。撮像装置１０は「Ｂ８」（図８においては「８」）において地上から所定の高さｈに存在し、制御部４２は、この高さを撮像情報から認識することができる。撮像装置１０の鉛直方向における視野範囲は図８におけるＲ２とされる。図８における各構造物の地上からの高さ（全高）は、図示されたとおりであるものとし、これは地図情報より認識することができる。

【0032】

この場合において、図８における構造物Ｘ、Ｚを候補として除外できることは前記の場合と同様である。更に、構造物Ｙも、図８における鉛直方向の視野範囲Ｒ２から外れるため、撮像装置１０に近い候補として除外できる。このため、除外されなかった構造物Ｇ、Ｈ、Ｉのみを図４中で認識された被写体ａ１～ａ３の候補として考慮し、図６の場合と同様にして、被写体と構造物の対応関係を調べることができる。

【0033】

なお、上記の例では、水平方向における視野範囲がＲ１、鉛直方向における視野範囲がＲ２であるものとし、この場合には図４に示されるような矩形形状の映像が得られる。しかしながら、視野の形状はこのような矩形形状であるとは限らず、更に、矩形形状であっても図６（ｂ）の仮想的な映像のように光軸周りで傾斜する場合もある。このような場合でも、制御部４２は、視野範囲内に各構造物が入るか否かの判断を同様に行うことができる。

【0034】

上記のようにして、制御部４２は、図４中において認識された被写体の各々が、構造物Ｇ、Ｈ、Ｉ、Ｘ、Ｙ、Ｚのどれに対応するかを認識することができる。この際、前記の撮像情報における項目の多くが高精度で認識されているほど、各被写体と各構造物の対応関係を簡易かつ高精度で推定することができる。

【0035】

また、制御部４２は、認識された映像（図４）における各被写体に対するピント合わせ（フォーカス）の状況より、認識された各被写体と撮像装置１０の間の距離を推定することができる。この場合、各被写体と各構造物の対応関係を推定する際に、前記のような撮像装置１０の位置情報等に加えて、この距離も用いることができる。

【0036】

光学系１１の制御情報が前記の撮像情報に含まれれば、制御部４２は、この制御情報から、図４の映像中でこのようにピントが合う距離範囲を認識することができる。図９は、このような撮像装置１０からの距離範囲がＳ１であるとした場合の例である。距離範囲Ｓ１は、光学系１１の被写体深度に対応する。なお、図９は図５に対応した平面図であるが、実際には図８に示された鉛直方向においても、同様に被写体深度に対応した距離範囲を認識することができる。

【0037】

図１０は、図４の状態で各被写体においてピント合わせの状況が異なった場合について示す。ここでは、被写体ａ２に対してピントが合っているためにそのエッジ（輪郭）部分のコントラストが高くなっており、被写体ａ１、ａ３はピントが合っていないために、エッジがぼやけている。このような状況は、制御部４２が画像（映像）のプロファイルにおける周知のエッジ解析技術によって認識することができる。このため、制御部４２は、撮像装置１０の位置が図９のように定まっていれば、撮像装置１０からの距離範囲がＳ１の範囲にあるのは構造物Ｈだけであるため、被写体ａ２は構造物Ｈであると推定できる。このように撮像装置１０の位置が定まり被写体ａ２が構造物Ｈと推定されれば、撮像装置１０の姿勢や視野が不明でも、制御部４２は、この姿勢、視野等と共に、他の被写体ａ１、ａ３と他の構造物との間の対応関係も推定することができる。被写体深度が図９のＳ１よりも大きければ、構造物Ｈに加えて構造物Ｇ、構造物Ｉも、ピントが合った被写体の候補となりうるが、このように被写体までの距離の範囲が認識されれば、被写体の候補となる構造物はより限定されるため、上記の推定をより適正に行わせることができる。

【0038】

また、上記のように被写体深度を用いて被写体までの距離を認識する場合よりも、例えばレーザー光を用いた測距手段を用いることによって、被写体までの距離をより正確に求めることができる。この場合、撮像装置１０の制御部１５は、このような映像中の被写体までの距離の情報も撮像情報に含めることができ、ビデオサーバシステム４０の制御部４２は、この距離を認識することができる。これは、図９においてＳ１が非常に小さくなった場合（被写体深度が小さな場合）に対応する。

【0039】

この場合、図１１に示されるように、図４の映像中における各被写体と撮像装置１０までの距離（ｄ１、ｄ２、ｄ３）を認識することができる。一方、制御部４２は、撮像装置１０の位置情報と地図情報より、図１２に示されるように、図５中の各構造物と撮像装置１０との間の距離を認識することができ、構造物Ｇ、Ｈ、Ｉまでの距離はそれぞれＤ１、Ｄ２、Ｄ３であると認識することができる。この条件下で各被写体と各構造物の対応関係を調べることができ、より簡易かつ高精度でこの対応関係を推定することができる。

【0040】

このように、被写体までの距離を認識することができれば、制御部４２は、特に容易かつ高精度で各被写体と各構造物の対応関係を推定することができる。撮像装置１０に測距手段を設ければ、撮像情報の一項目としてこの距離を含ませることができ、ビデオサーバシステム４０はこれを入手することができる。ただし、前記のように、これを撮像情報の中に含ませなくとも、映像中の被写体に対するフォーカスの状況から推定することができる。

【0041】

なお、パルス状のレーザー光を発振して光画像を得る（撮像を行なう）と共に、画像に対応した距離の情報も得る装置としてはＬｉＤＡＲ（レーザーレーダー）が知られている。このため、ＬｉＤＡＲを撮像装置１０として特に好ましく用いることができる。この場合には、映像中の全ての場所についての距離が認識できるため、特に各被写体と各構造物の対応関係を特に容易かつ高精度で推定することができる。

【0042】

以上のように、制御部４２は、受信した映像信号に基づく映像の解析を行うことによって映像中の被写体と構造物の対応関係を認識する。地図情報として、各構造物に関する識別情報（例えばビルの名称、所在地等）が含まれれば、制御部４２は、これを被写体と対応させて記憶部４４に記憶させることができる。これによって、この映像を後で使用する際の管理が特に容易となる。

【0043】

また、上記のような映像の解析を行う際に、例えば光学系１１の特性に起因した映像中の歪が存在する場合には、これを補正した上で上記の解析を行わせることによって、より高精度の解析が可能である。

【0044】

図１３（ａ）は、このように歪がある場合における図４に対応した映像を示す。この場合、ビデオサーバシステム４０において、このような撮像装置１０の特性を予め認識すれば、映像信号に対してフィルタリング処理を行い、この歪を補償した映像を得ることが可能である。このようなフィルタリング処理のパラメータを予め記憶部４４に記憶させておけば、制御部４２は、図１３（ａ）のような実際の映像における歪を補償し、図１３（ｂ）のような本来の映像を得ることができ、この補償後の映像を用いて図６のような被写体と構造物との対応関係の解析を適正に行うことができる。なお、実際の映像に対しては歪の補償を行わず、地図情報から得られた仮想的な映像の側に対してこの歪を付与する補正を行い、図６のような解析を行ってもよい。

【0045】

また、前記のように、実際の映像と対比されるべき仮想的な映像として、地形図、航空写真等、各種のものが適宜用いられる。また実際に解析を行う対象となる映像は、昼間のものである場合もあり夜間のものである場合もある。このため、図６に示されたように表示部４５で表示を行う際には、解析を行う対象となる映像については、明度、コントラスト、ホワイトバランス等の調整を行ったものを用いることが好ましい。この場合には、撮像情報に含まれる時刻、照度センサ２０によって認識された照度を用いて、このような補正を行わせることができる。

【0046】

上記のように被写体と構造物の対応関係を認識する撮影システム１００、あるいはビデオサーバシステム４０を用いることにより、映像中の被写体を、予め判明している構造物としてリアルタイムで認識することができる。これによって、例えば以下のような動作が可能になる。

【0047】

一般的には、公に放送（配信）される映像として、撮像装置１０から得られた映像をそのまま用いずに、この映像に対して各種の処理を施した上で記憶部４４に記憶させた映像を用いる場合が多い。この処理としては、例えば特定の被写体に対するレンダリング処理（ブラー処理等）がある。このような処理を行うビデオサーバシステムについては、例えば特開２０１２－３４２１８号公報、特開２０１９－６２３８１号公報に記載されている。上記のように、映像中の被写体を既知の構造物としてその識別情報を認識すれば、このような処理をビデオサーバシステム４０で自動的に行わせることが特に容易となる。この際、撮像装置１０側からは、映像信号と共に上記の撮像情報を送信するだけで、上記の動作が可能となる。撮像情報は、前記のように撮像装置１０のみを用いて認識される。

【0048】

また、例えば撮像装置１０（及びＦＰＵ装置３０）がヘリコプター等に搭載されて撮影者によって撮影を行う場合、ヘリコプター等には必要最小限の機器しか搭載しない場合が多い。このような場合において、ヘリコプター等の移動に際して撮影が行われる場合には、被写体は時々刻々変化し、撮影者は図５のような地図情報を直接入手することができない場合も多く、撮影される映像中の被写体が具体的に何であるかをリアルタイムで認識することができない場合も多い。

【0049】

このように撮影者が被写体をリアルタイムで適正に識別できない場合には、撮影者が撮影を適切に行えない場合がある。これに対して、上記の撮影システム１００においては、ビデオサーバシステム４０側でリアルタイムで被写体が具体的に何であるかを認識することができるため、制御部４２は、撮影者の近傍にあるＦＰＵ装置３０に向けて適切な指示をすることができる。

【0050】

図１４は、このような場合の映像（ａ）、地図情報（ｂ）の例である。ここで、撮像装置１０は図５における「Ｃ５」の位置にあるものとし、その水平方向の視野範囲は図１４（ｂ）におけるＲ３であるものとする。この映像（図１４（ａ））において、制御部４２は、前記のように構造物Ｈ、Ｉ、Ｘを被写体として認識することができる。

【0051】

この場合において、実際に撮影すべき対象が構造物Ｇである場合、構造物Ｇは映像（図１４（ａ））の中には含まれず、制御部４２は、構造物Ｈ、Ｉ、Ｘを被写体として認識することによって、この旨を認識することができる。この場合、構造物Ｇを撮影するために、制御部４２は、例えば視野範囲を図１４（ｂ）におけるＲ４と変更するようにＦＰＵ装置３０（撮像装置１０）側に指示を発することができる。あるいは、視野は変更せずに撮像装置１０を図１４（ｂ）中で下側に向けて移動させるように指示してもよい。

【0052】

この指示は、例えば撮像装置１０やＦＰＵ装置３０のモニターに文字情報等として表示させることができる。あるいは、撮像装置１０の方位角や仰角がステージの制御によって行われる場合には、このための制御信号をビデオサーバシステム４０側からＦＰＵ装置３０（撮像装置１０）側に送信してもよい。また、撮像装置１０がドローン等、飛行が制御される機器に搭載される場合には、この機器の制御信号を送信してもよい。

【0053】

このように撮影すべき対象を予め設定する場合には、実際の撮影を開始する前にこの対象の周囲の地図情報を記憶部４４に記憶させておき、かつ撮像装置１０における光学系１１の設定(使用するレンズや、撮像情報に含まれる光学系のパラメータ等）を予め認識しておき、撮影の開始と同時に上記の解析をリアルタイムで行えば、速やかにこの対象の撮影を行わせることができる。

【0054】

また、ＦＰＵ装置３０は、ビルや電波塔等に設置されビデオサーバシステム４０と接続された、対向となるＦＰＵ装置と高い精度で向かい合って無線通信を行う必要がある。このビルや電波塔等の構造物を前記のように被写体として認識することができれば、ＦＰＵ装置３０のアンテナの向きの調整指示を、前記の撮影者に対する撮影についての指示と同様に、撮影者側に行うこともできる。すなわち、上記の撮影システム１００によれば、ＦＰＵ装置３０とビデオサーバシステム４０との間の通信を円滑に行わせることもできる。

【0055】

図１５（ａ）は、このような場合における撮像装置１０とＦＰＵ装置３０の構成を示す図である。ここで、ＦＰＵ装置３０には、パラボラ型のアンテナ３１と、ビューファインダー３２が設けられている。アンテナ３１は、図中矢印で示されたような指向性を有する。撮像装置１０の視野は概ねアンテナ３１の指向性に沿った視野範囲を有する。ＦＰＵ装置３０は、この状態で例えば雲台等に固定され、ＦＰＵ装置３０（アンテナ３１）及び撮像装置１０の向きが調整可能とされる。

【0056】

この状態において、映像信号の送信前において撮像装置１０によって撮像された映像が図１５（ｂ）であるものとする。この場合、ＦＰＵ装置３０では、撮像装置１０から得られた映像信号による映像を、ビデオサーバシステム４０における表示部４５と同様に、ビューファインダー（調整用表示部）３２で表示させることができる。ここでは、前記の例のように、構造物Ｇ、Ｉ、Ｈがこの映像中で認識されたものとする。また、前記の対向となるＦＰＵ装置は構造物Ｉの上部に設置されているものとする。

【0057】

ここで、撮像装置１０がＦＰＵ装置３０に固定されているため、ＦＰＵ装置３０が撮像情報を認識することにより、この映像中におけるアンテナ３１の向きを、映像中における点として表示することができる。図１５（ｂ）においては、この向きが、十字マークＭで示されている。この点を、構造物Ｉの上部と合わせる必要がある。

【0058】

この場合、制御部４２は、ビューファインダー３２で、十字マークＭと構造物Ｉの上部とが重複するようにＦＰＵ装置３０（アンテナ３１）の向きを変えるような指示を出すことができる。この指示は、前記の場合と同様に、ＦＰＵ装置３０（撮像装置１０）側に行わせることができる。あるいは、このような指示を発さなくとも、撮影者が図１５（ｂ）の表示を見て十字マークＭと構造物との間の位置関係を認識しながら撮像装置１０の向きを変えることによっても、この調整を行うことができる。すなわち、リアルタイムで上記の解析を行うことによって、このようなアンテナの調整を効率的に行わせることができる。

【0059】

上記の例においては、撮影条件や通信条件の最適化のために上記の解析をビデオサーバシステム４０側でリアルタイムで行うものとした。しかしながら、この解析をリアルタイムでは行わずに、映像信号を記憶部４４に記憶した後で、所望の時に同様の解析を行ってもよい。この場合においては、この解析処理の後に、例えばこの映像に対するレンダリング処理等を容易に行わせることができる。撮像情報に撮像時の時刻が含まれれば、このように映像信号と撮像情報の対応関係を容易に認識できるため、このような処理を容易に行わせることができる。

【0060】

また、上記の例では、ビデオサーバシステム４０（制御部４２）が上記のような映像中における被写体の解析を行うものとした。しかしながら、この解析は、地図情報を入手できる限りにおいて、ビデオサーバシステム以外、例えば撮像装置やＦＰＵ装置において行うことができる。あるいは、図１に示されてない他の構成要素側で行うこともできる。すなわち、上記の解析を行う解析部や、図６等の映像を表示させる表示部を、この撮影システムを構成する構成要素の任意の箇所に設けることができる。

【0061】

以上、本発明を実施形態をもとに説明した。この実施形態は例示であり、それらの各構成要素の組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

【符号の説明】

【0062】

１０ 撮像装置
１１ 光学系
１２ 撮像素子
１３ 映像信号処理部
１４ 映像信号出力部
１５ 制御部（撮像装置制御部）
１６ 位置情報認識部
１７ 高度センサ
１８ 方位センサ
１９ 傾斜センサ
２０ 照度センサ
２１ 時刻認識部
３０ ＦＰＵ装置（伝送装置）
３１ アンテナ
３２ ビューファインダー（調整用表示部）
４０ ビデオサーバシステム
４１ 無線通信部（通信部）
４２ 制御部（解析部）
４３ ネットワーク接続部
４４ 記憶部
４５ 表示部
１００ 撮影システム
ａ１～ａ３ 被写体
Ｇ、Ｈ、Ｉ、Ｘ、Ｙ、Ｚ 構造物
Ｍ 十字マーク

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】