【解決手段】サーバ装置1は、カメラ22が撮影した映像から、地上に位置する複数の物体を複数のマーカーとして認識するマーカー認識部12と、複数のマーカーにより形成される多角形の面積を算出する面積計算部13と、多角形の面積が最大になるように無人飛行体2の飛行高度を制御する飛行高度制御部15とを備える。
前記制御部は、認識された前記複数のマーカーの個数が前記登録マーカー数より少ない場合、前記ズーム撮影装置がズームアウトするように前記ズーム撮影装置を制御する、
請求項4記載の制御装置。
前記制御部は、前記ズーム撮影装置がズームアウトできない場合、前記ズーム撮影装置の現在のズーム比を維持する制御を行い、且つ、前記無人飛行体の移動方向を前記無人飛行体が前記複数のマーカーから遠ざかる方向とする制御を行う、
請求項5記載の制御装置。
前記制御部は、認識された前記複数のマーカーの個数が前記登録マーカー数と一致し、且つ、前記面積が前回算出した面積より小さい場合、前記ズーム撮影装置がズームインするように前記ズーム撮影装置を制御する、
請求項4記載の制御装置。
前記制御部は、前記ズーム撮影装置がズームインできない場合、前記ズーム撮影装置の現在のズーム比を維持する制御を行い、且つ、前記無人飛行体の移動方向を前記無人飛行体が前記複数のマーカーに近づく方向とする制御を行う、
請求項7記載の制御装置。
前記取得部は、前記撮影装置が撮影した映像に重畳して表示される前記複数のマーカーの中からユーザにより選択された複数のマーカーを前記複数の認識対象マーカーとして取得する、
請求項9記載の制御装置。
【発明を実施するための形態】
【0010】
(本開示の基礎となった知見)
本開示は、撮影装置(例えば、カメラ)を搭載した無人飛行体の飛行高度を制御する飛行高度制御システムに関する。本飛行高度制御システムは、例えば、災害時など被災地において、地上展開/配置されたロボット、人間等が、救助などの活動を行う際に、被災地の上空を飛行する無人飛行体がカメラを用いて被災地を撮影し、撮影した画像に基づき活動に必要な被災地の情報を共有するために使用されるシステムである。
【0011】
複数のロボットや人間が連携して活動を行う場合、これらロボット又は人間自身の状況や、これらロボット又は人間の周辺状況などを把握することが必要となる。つまり、地上展開/配置されたロボット又は人間等を撮影対象として、必要な情報を取得することが求められる。
【0012】
無人飛行体に搭載されたカメラで、被災地など観測対象である地上を適切に撮影するためには、ユーザが撮影したい注目領域を適切に撮影できる高度を判定して、無人飛行体の飛行高度を制御する必要がある。しかしながら、地図が存在しない領域や被災地など最新状況が不明な領域を観測対象とした場合、予め適切なルートや高度を決定しておことは困難である。
【0013】
上記の従来の航空映像情報の収集方法では、基準地点との測距により、予め定められた距離を保つことを行っており、撮影対象となる地上の物体を適切に撮影するためには、ユーザが適切な高度を予め設定しなければならないため、地図が存在しない領域や被災地など最新状況が不明な領域を観測対象とした場合、撮影対象となる地上の物体を適切に撮影することができないという課題を有していた。
【0014】
上記課題を解決するために、本開示の一態様に係る飛行高度制御方法は、例えば、地上展開/配置されたロボット又は人間そのものを、高度の設定のための目印すなわちマーカーとして利用し、このことで、地上に配置されたマーカーを用いて、無人飛行体の飛行高度を自動調整することができるようになる。これにより、無人飛行体に搭載されたカメラは、無人飛行体の飛行高度を自動調整することで、ロボット又は人間等の地上の物体のうち、撮影すべき全ての物体が最も拡大して撮影される領域として、マーカーにより決定された注目領域を適切に撮影することを可能とする。
【0015】
本開示の一態様に係る飛行高度制御装置は、地上を撮影する撮影装置を搭載した無人飛行体の飛行高度を制御する飛行高度制御装置であって、前記撮影装置が撮影した映像から、地上に位置する複数の物体を複数のマーカーとして認識する認識部と、前記複数のマーカーにより形成される多角形の面積を算出する算出部と、前記多角形の面積が最大になるように、前記無人飛行体の飛行高度を制御する制御部とを備える。
【0016】
このような構成により、撮影装置が撮影した映像から、地上に位置する複数の物体を複数のマーカーとして認識し、複数のマーカーにより形成される多角形の面積を算出し、多角形の面積が最大になるように無人飛行体の飛行高度を制御しているので、地上のマーカーにより指定された注目領域を適切に撮影することができる。この結果、無人飛行体の飛行高度の調整を自動的に行い、撮影対象となる地上の物体を適切に撮影することができる。
【0017】
上記飛行高度制御装置は、前記認識部が認識すべきマーカーの個数を登録マーカー数として記憶する記憶部をさらに備え、前記認識部は、前記複数のマーカーの個数と前記登録マーカー数とを比較し、前記制御部は、前記複数のマーカーの個数が前記登録マーカー数より少ない場合、前記無人飛行体の飛行高度を上昇する制御を行い、前記複数のマーカーの個数が前記登録マーカー数と一致し、且つ、前記多角形の面積が前回算出した多角形の面積より小さい場合、前記無人飛行体の飛行高度を下降する制御を行うようにしてもよい。
【0018】
このような構成により、認識されている複数のマーカーの個数と、予め記憶されている登録マーカー数とを比較し、複数のマーカーの個数が登録マーカー数より少ない場合、無人飛行体の飛行高度を上昇する制御を行っているので、無人飛行体の上昇により、撮影されるマーカーの個数を登録マーカー数に一致するまで増加させることができ、登録マーカー数により指定された注目領域を適切に撮影することができる。また、複数のマーカーの個数が登録マーカー数と一致し、且つ、多角形の面積が前回算出した多角形の面積より小さい場合、無人飛行体の飛行高度を下降する制御を行っているので、無人飛行体の下降により、登録マーカー数により指定された注目領域をできるだけ拡大した状態で適切に撮影することができる。
【0019】
前記撮影装置は、ズーム動作可能なズーム撮影装置を含み、前記制御部は、前記複数のマーカーの個数が前記登録マーカー数と一致し、且つ、前記多角形の面積が前回算出した多角形の面積以上である場合、前記無人飛行体の飛行高度を現在の飛行高度に維持する制御を行い、前記認識部は、前記無人飛行体の飛行高度を現在の飛行高度に維持した状態で前記撮影装置が撮影した映像から、前記複数の物体を前記複数のマーカーとして認識し、前記算出部は、前記無人飛行体の飛行高度を現在の飛行高度に維持した状態で認識された前記複数のマーカーにより形成される多角形の面積を高度維持時面積として算出し、前記制御部は、前記高度維持時面積が最大になるように、前記ズーム撮影装置のズーム比を制御するようにしてもよい。
【0020】
このような構成により、複数のマーカーの個数が登録マーカー数と一致し、且つ、多角形の面積が前回算出した多角形の面積以上である場合、無人飛行体の飛行高度を現在の飛行高度に維持する制御を行い、無人飛行体の飛行高度を現在の飛行高度に維持した状態で撮影装置が撮影した映像から複数の物体を複数のマーカーとして認識し、無人飛行体の飛行高度を現在の飛行高度に維持した状態で認識された複数のマーカーにより形成される多角形の面積を高度維持時面積として算出し、高度維持時面積が最大になるようにズーム撮影装置のズーム比を制御しているので、無人飛行体の飛行高度を維持しながら、ズーム撮影装置のズーム比の制御により、登録マーカー数により指定された注目領域を適切に撮影することができる。
【0021】
前記制御部は、前記無人飛行体の飛行高度を現在の飛行高度に維持した状態で認識された前記複数のマーカーの個数が前記登録マーカー数より少ない場合、前記ズーム撮影装置がズームアウトするように前記ズーム撮影装置を制御するようにしてもよい。
【0022】
このような構成により、無人飛行体の飛行高度を現在の飛行高度に維持した状態で認識された複数のマーカーの個数が登録マーカー数より少ない場合、ズーム撮影装置がズームアウトするので、ズーム撮影装置のズームアウト動作により、撮影されるマーカーの個数を増加させて登録マーカー数に一致させることができ、登録マーカーの個数により指定された注目領域を適切に撮影することができる。
【0023】
前記制御部は、前記ズーム撮影装置がズームアウトできない場合、前記ズーム撮影装置の現在のズーム比を維持する制御を行い、且つ、前記無人飛行体の飛行高度を上昇する制御を行うようにしてもよい。
【0024】
このような構成により、ズーム撮影装置がズームアウトできない場合、ズーム撮影装置の現在のズーム比を維持する制御を行いながら、無人飛行体の飛行高度を上昇する制御を行っているので、無人飛行体の上昇により、撮影されるマーカーの個数を登録マーカー数に一致するまで増加させることができ、ズーム撮影装置がズームアウトできない場合でも、登録マーカー数により指定された注目領域を適切に撮影することができる。
【0025】
前記制御部は、前記無人飛行体の飛行高度を現在の飛行高度に維持した状態で認識された前記複数のマーカーの個数が前記登録マーカー数と一致し、且つ、前記高度維持時面積が前回算出した高度維持時面積より小さい場合、前記ズーム撮影装置がズームインするように前記ズーム撮影装置を制御するようにしてもよい。
【0026】
このような構成により、無人飛行体の飛行高度を現在の飛行高度に維持した状態で認識された複数のマーカーの個数が登録マーカー数と一致し、且つ、現在の高度維持時面積が前回算出した高度維持時面積より小さい場合、ズーム撮影装置がズームインするので、ズーム撮影装置のズームイン動作により、登録マーカー数により指定された注目領域をできるだけ拡大した状態で適切に撮影することができる。
【0027】
前記制御部は、前記ズーム撮影装置がズームインできない場合、前記ズーム撮影装置の現在のズーム比を維持する制御を行い、且つ、前記無人飛行体の飛行高度を下降する制御を行うようにしてもよい。
【0028】
このような構成により、ズーム撮影装置がズームインできない場合、ズーム撮影装置の現在のズーム比を維持する制御を行いながら、無人飛行体の飛行高度を下降する制御を行っているので、無人飛行体の下降により、登録マーカー数により指定された注目領域をできるだけ拡大した状態で適切に撮影することができる。
【0029】
上記飛行高度制御装置は、前記複数の物体の中からユーザにより選択された複数の物体を複数の認識対象マーカーとして取得する取得部をさらに備え、前記認識部は、前記撮影装置が撮影した映像から、前記複数の認識対象マーカーを前記複数のマーカーとして認識し、前記算出部は、前記複数の認識対象マーカーにより形成される多角形の面積を算出するようにしてもよい。
【0030】
このような構成により、複数の物体の中からユーザにより選択された複数の物体を複数の認識対象マーカーとして取得し、撮影装置が撮影した映像から複数の認識対象マーカーを複数のマーカーとして認識し、複数の認識対象マーカーにより形成される多角形の面積を算出しているので、ユーザが選択した複数の物体により指定された注目領域を適切に撮影することができる。
【0031】
前記取得部は、前記撮影装置が撮影した映像に重畳して表示される前記複数のマーカーの中からユーザにより選択された複数のマーカーを前記複数の認識対象マーカーとして取得するようにしてもよい。
【0032】
このような構成により、撮影した映像に重畳して複数のマーカーを表示し、表示されている複数のマーカーの中からユーザにより選択された複数のマーカーを複数の認識対象マーカーとして取得しているので、ユーザは、撮影した映像から任意のマーカーを選択するという簡便な操作で、所望の領域を注目領域として容易に指定することができる。
【0033】
本開示の他の態様に係る無人飛行体は、地上を撮影する撮影装置と、上記のいずれかに記載の飛行高度制御装置とを備える。この場合、上記の飛行高度制御装置と同様の効果を奏することができる。
【0034】
また、本開示は、以上のような特徴的な構成を備える飛行高度制御装置又は無人飛行体として実現することができるだけでなく、飛行高度制御装置が備える特徴的な構成に対応する特徴的な処理を実行する飛行高度制御方法などとして実現することもできる。また、このような飛行高度制御方法に含まれる特徴的な処理をコンピュータに実行させるコンピュータプログラムとして実現することもできる。したがって、以下の他の態様でも、上記の飛行高度制御装置と同様の効果を奏することができる。
【0035】
本開示の他の態様に係る飛行高度制御方法は、地上を撮影する撮影装置を搭載した無人飛行体の飛行高度を制御する飛行高度制御方法であって、前記撮影装置が撮影した映像から、地上に位置する複数の物体を複数のマーカーとして認識し、前記複数のマーカーにより形成される多角形の面積を算出し、前記多角形の面積が最大になるように、前記無人飛行体の飛行高度を制御する。
【0036】
本開示の他の態様に係る飛行高度制御プログラムは、地上を撮影する撮影装置を搭載した無人飛行体の飛行高度を制御する飛行高度制御装置として、コンピュータを機能させるための飛行高度制御プログラムであって、前記コンピュータに、前記撮影装置が撮影した映像から、地上に位置する複数の物体を複数のマーカーとして認識し、前記複数のマーカーにより形成される多角形の面積を算出し、前記多角形の面積が最大になるように、前記無人飛行体の飛行高度を制御する、処理を実行させる。
【0037】
そして、上記のようなコンピュータプログラムを、CD−ROM等のコンピュータ読み取り可能な非一時的な記録媒体あるいはインターネット等の通信ネットワークを介して流通させることができるのは、言うまでもない。また、本開示の一実施の形態に係る飛行高度制御装置の構成要素の一部とそれ以外の構成要素とを複数のコンピュータに分散させたシステムとして構成してもよい。
【0038】
なお、以下で説明する実施の形態は、いずれも本開示の一具体例を示すためのものである。以下の実施の形態で示される数値、形状、構成要素、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また、全ての実施の形態において、各々の内容を組み合わせることもできる。
【0039】
以下、本開示の各実施の形態について、図面を参照しながら説明する。
【0040】
(実施の形態1)
本開示の実施の形態1に係る飛行高度制御システムは、地上に配置された自律移動するロボット(地上ロボット)をマーカーとし、無人飛行体に搭載された撮影装置が撮影する映像内に全てのマーカーを捉えるよう無人飛行体の飛行高度を制御する。
【0041】
図1は、本開示の実施の形態1における飛行高度制御システムの構成の一例を示すブロック図である。
図1に示す飛行高度制御システムは、サーバ装置1と、無人飛行体2とを備え、サーバ装置1と無人飛行体2とは、有線又は無線のネットワークNWを介して接続され、種々の情報を相互に通信可能に構成されている。なお、ユーザ(操縦者)が外部の制御装置(操縦器)を用いて無人飛行体2を遠隔制御する場合、操縦器も、ネットワークNW等を介して接続され、種々の情報を相互に通信可能に構成される。この点については、他の実施の形態も同様である。
【0042】
サーバ装置1は、飛行高度制御装置としての機能を備える。具体的には、サーバ装置1は、無人飛行体2に搭載された撮影装置の一例であるカメラが撮影した映像を、ネットワークNWを介して受信し、無人飛行体2の飛行高度を判定し、無人飛行体2の飛行高度の制御を行う。
【0043】
図2は、
図1に示すサーバ装置1及び無人飛行体2の構成の一例を示すブロック図であり、
図3は、
図2に示す無人飛行体の外観の一例を示す図である。なお、
図2では、図示を容易にするため、ネットワークNWの図示を省略している。この点については、他の実施の形態も同様である。
【0044】
図2において、サーバ装置1は、通信部11、マーカー認識部12、面積計算部13、最大値検知部14、飛行高度制御部15、及びマーカー数記憶部16を備える。無人飛行体2は、通信部21、カメラ22、飛行制御部23、及び駆動部24を備える。
【0045】
無人飛行体2の通信部21は、ネットワークNW(図示省略)を介して、サーバ装置1の通信部11との間の通信を行い、カメラ22が撮影した映像等を通信部11に送信し、サーバ装置1が生成した種々の制御コマンド等を通信部11から受信する。
【0046】
カメラ22は、無人飛行体2に搭載され、無人飛行体2の下方に展開するマーカーとなる物体、例えば、地上ロボットを撮影する。ここでは、カメラ22として、固定焦点レンズのカメラを用いる例を示している。カメラ22は、通信部21を介して、撮影した映像(映像データ)を通信部11に送信する。
【0047】
ここで、
図3を参照して、無人飛行体2は、上記の構成に加えて、本体25、4本の支持部26、無人飛行体2の推進力を発生させる4個の駆動部24(
図2に示す駆動部24)を備える。なお、
図2では、図示を容易にするため、4個の駆動部24を一つのブロックで図示している。この点については、他の実施の形態も同様である。
【0048】
本体25の底部には、カメラ22が取り付けられている。駆動部24は、本体25から四方へ延在する支持部26の先端に取り付けられる。本体25の内部には、
図2に示す通信部21及び飛行制御部23が収納されている。
【0049】
再び、
図2を参照して、飛行制御部23は、無人飛行体2の飛行高度を含む飛行状態を制御する。駆動部24は、プロペラと、プロペラを回転させるモータとからなる。飛行制御部23は、駆動部24のプロペラの回転数を適宜制御することで、無人飛行体2の移動方向や飛行高度等を制御する。なお、
図3では、無人飛行体2は、4個の駆動部24を有しているが、これに限定されず、例えば、5個以上の駆動部を用いてもよい。この点については、他の実施の形態も同様である。
【0050】
サーバ装置1のマーカー認識部12は、通信部21を介して、カメラ22が撮影した映像を取得し、カメラ22により撮影された地上ロボットをマーカーとして認識する。例えば、マーカー認識部12は、人物又は地上ロボット等の物体を認識するような画像処理装置から構成され、マーカーとなる地上ロボットや人物に特定のランプや発光体を取り付け、ランプや発光体を点灯又は点滅させることにより、カメラ22により撮影された映像からランプや発光体を検出し、地上ロボットや人物をマーカーとして認識する。
【0051】
なお、マーカー認識部12の構成は、上記の例に特に限定されず、人物又は地上ロボット等の物体にQRコード(登録商標)などのバーコードのような印を配置又は貼り付け、バーコードのような印を検出することにより、地上ロボットや人物等の物体をマーカーとして認識するようにしてもよい。また、マーカーとして認識する物体は、上記の例に特に限定されず、種々の作業ロボット、緊急車両(消防車、救急車、警察車両等)、工事車両(ブルドーザー、ショベルカー、クレーン車等)等であってもよい。これらの点に関しては、他の実施の形態も同様である。
【0052】
マーカー数記憶部16は、予め設定されたマーカーの数を登録マーカー数として記憶する。
図4は、マーカー数記憶部16が保持するデータの一例を示す図である。
図4に示すように、地上に展開する地上ロボットの数は、マーカー数記憶部16に事前に記憶され、本例では、登録マーカー数として、例えば、5個が記憶されている。
【0053】
マーカー認識部12は、認識した複数のマーカーの個数と、マーカー数記憶部16に記憶されている登録マーカー数とを比較し、比較結果を飛行高度制御部15に出力するとともに、カメラ22により撮影された映像と比較結果とを面積計算部13に出力する。
【0054】
面積計算部13は、マーカー認識部12により認識されたマーカーの個数がマーカー数記憶部16に予め登録された登録マーカー数と一致する場合、カメラ22により撮影された映像を用いて、マーカーの位置を検出し、登録マーカー数に一致する数のマーカーにより形成される多角形の面積を算出し、算出した多角形の面積を最大値検知部14に出力する。ここで、多角形の面積としては、マーカーにより形成される映像上の多角形の面積を計算してもよい。
【0055】
最大値検知部14は、飛行高度制御部15により無人飛行体2の飛行高度が制御されている状態で、面積計算部13により計算された多角形の面積が最大であるか否かを検知する。具体的には、最大値検知部14は、面積計算部13が計算した多角形の面積を記憶する機能を有し、前回の多角形の面積と、最新の多角形の面積とを比較して最大値を検知する処理を行い、比較結果を飛行高度制御部15に出力する。
【0056】
飛行高度制御部15は、マーカー認識部12の比較結果及び最大値検知部14の比較結果を基に、多角形の面積が最大になるように、カメラ22を搭載した無人飛行体2の飛行高度を制御する。具体的には、飛行高度制御部15は、マーカー認識部12により認識された複数のマーカーの個数が登録マーカー数より少ない場合、無人飛行体2の飛行高度を上昇するように、無人飛行体2の飛行高度を制御する制御コマンドを作成し、通信部11を介して、作成した制御コマンドを無人飛行体2に送信する。また、飛行高度制御部15は、複数のマーカーの個数が登録マーカー数と一致し、且つ、多角形の面積が前回算出した多角形の面積より小さい場合、無人飛行体2の飛行高度を下降するように、無人飛行体2の飛行高度を制御する制御コマンドを作成し、通信部11を介して、作成した制御コマンドを無人飛行体2に送信する。
【0057】
無人飛行体2の通信部21は、サーバ装置1からの制御コマンドを受信して飛行制御部23に出力する。飛行制御部23は、制御コマンドに従って駆動部24を制御し、マーカー認識部12により認識された複数のマーカーの個数が登録マーカー数より少ない場合、無人飛行体2の飛行高度を上昇させる。また、飛行制御部23は、複数のマーカーの個数が登録マーカー数と一致し、且つ、多角形の面積が前回算出した多角形の面積より小さい場合、無人飛行体2の飛行高度を下降させる。
【0058】
上記のように、サーバ装置1の飛行高度制御部15は、無人飛行体2に対して高度を制御する命令(制御コマンド)を送信し、無人飛行体2は、受信した命令に従って自機器の高度を制御する。また、サーバ装置1は、無人飛行体2のカメラ22が撮影した映像を受信し、受信した映像を用いて分析した結果を、複数の地上ロボットが連携して活動する上で必要となる情報として、種々の装置等(図示省略)に提供する。
【0059】
なお、本実施の形態では、サーバ装置1が飛行高度制御装置として機能する例について説明したが、無人飛行体2が飛行高度制御装置としての機能を備える構成であってもよい。この場合、無人飛行体2は、マーカー認識部12、面積計算部13、最大値検知部14、飛行高度制御部15、及びマーカー数記憶部16をさらに備え、搭載されたカメラ22が撮影した映像を用いて、自機器の高度の制御を行う。また、無線又は光通信等で接続された無人飛行体の外部の制御装置、例えば、プロポ等のコントローラが、飛行高度制御装置としても機能するようにしてもよい。これらの点については、他の実施の形態も同様である。
【0060】
上記の構成により、無人飛行体2は、飛行している位置の下方の映像を常にカメラ22で撮影している。無人飛行体2の下方には、マーカーとなる複数の地上ロボットが地上に展開されており、サーバ装置1は、カメラ22がこれらの映像を撮影することによって、地上ロボットの位置を頂点とする多角形を生成する。
【0061】
図5は、
図2に示す無人飛行体2が複数の地上ロボットを撮影している状態の一例を示すイメージ図である。
図5に示す例は、無人飛行体2が上空を飛行し、飛行している位置の下方に、5台の地上ロボット4が配置されている例である。各ロボット4は、例えば、ランプ41を備え、ランプ41を所定の発光色で点灯させる。このとき、無人飛行体2は、飛行している位置の下方の映像を常にカメラ22で撮影し、サーバ装置1は、撮影された映像から、5台の地上ロボット4のランプ41をマーカーとして認識し、無人飛行体2のカメラ22が撮影可能な領域である注目領域AA内に5台の地上ロボット4のランプ41がすべて入るように、無人飛行体2の飛行高度を制御する。
【0062】
図6は、
図5に示す地上ロボット4をマーカーとした場合の多角形の一例を示す図である。
図6に示すように、サーバ装置1は、5台の地上ロボット4のランプ41をマーカーM1〜M5として認識し、5個のマーカーM1〜M5から形成される多角形PSの面積を算出する。
【0063】
ここで、本実施の形態において、無人飛行体2の飛行高度が低ければ、カメラ22において撮像されるマーカーの数は、予め設定されるマーカーの数(登録マーカー数)に届かないことが想定される。すなわち、マーカー数を頂点とする多角形を描いていないことになる。
【0064】
このため、サーバ装置1は、初期状態として、マーカーの数が登録マーカー数になるまで無人飛行体2の飛行高度を上昇させる。このことにより、マーカー数を頂点の数とする多角形が得られることとなる。無人飛行体2が単調に飛行高度を上昇させていく過程で、カメラ22は、マーカーである地上ロボット(以下、「マーカー」とも称する)を撮影し始める。カメラ22がマーカーを捉えると、マーカー認識部12は、地上ロボット4をマーカーとして認識し、マーカーの個数をカウントし始める。その後、マーカーの数が予め設定された登録マーカー数になるまで、無人飛行体2は上昇する。
【0065】
無人飛行体2が上昇を続け、マーカーの数が登録マーカー数に一致するようになると、マーカーを頂点とする多角形を認識できるため、面積計算部13は、マーカーが形成する多角形の面積を算出する。
【0066】
これ以降は、多角形の面積は、無人飛行体2の飛行高度と関連し、無人飛行体2の飛行高度を高くすると、多角形の面積は減少する。一方、無人飛行体2の飛行高度を低くすると、多角形の面積は増大していき、やがて、マーカーがカメラ22の画角の外側に出るため、予め設定された登録マーカー数のマーカーを頂点とする多角形を検知できないという状態となる。
【0067】
このとき、飛行高度制御部15は、無人飛行体2の飛行高度を変化させ、最大値検知部14の比較結果を基に、カメラ22によって撮影された多角形の面積が最大となるように無人飛行体2の飛行高度を定める。また、マーカーである地上ロボット4は、常に移動をしているので、多角形の面積は、時々刻々変化する。最大値検知部14は、この変化する多角形の面積を順次比較し、飛行高度制御部15は、マーカーの描く多角形の面積が最大になるように無人飛行体2の飛行高度を制御する。
【0068】
次に、
図2に示すサーバ装置1の飛行高度制御処理について、
図7のフローチャートを使って説明する。
図7は、
図2に示すサーバ装置1の飛行高度制御処理の一例を示すフローチャートである。
【0069】
図7において、まず、サーバ装置1は、飛行高度制御処理を開始する(ステップS101)。次に、ステップS102において、マーカー認識部12は、カメラ22が撮影した映像を取得して、マーカーを認識する。
【0070】
次に、ステップS103において、マーカー認識部12は、認識したマーカーの数と、マーカー数記憶部16に予め記憶された登録マーカー数とを比較する。認識したマーカーの数が登録マーカー数より少ない(個数が不足)場合、ステップS107に遷移し、マーカー認識部12は、認識したマーカーの数が登録マーカー数より少ないことを飛行高度制御部15に通知し、無人飛行体2の飛行高度を上昇させるよう指示する。飛行高度制御部15は、指示に従って、無人飛行体2の飛行高度を制御する。
【0071】
一方、認識したマーカーの数が登録マーカー数である(個数を満たしている)場合、マーカーにより形成される多角形の面積を計算するステップS104に遷移する。ステップS104では、面積計算部13は、カメラ22により撮影された映像を用いて、マーカーの位置を検出し、検出したマーカーを頂点とした多角形の面積を求める。
【0072】
続いて、ステップS105では、最大値検知部14は、前回の多角形の面積を記憶しており、前回の多角形の面積と、ステップS104で計算された今回の多角形の面積とを比較する。今回の多角形の面積が前回の多角形の面積よりも小さい場合、ステップS106に遷移し、最大値検知部14は、今回の多角形の面積が前回の多角形の面積よりも小さいことを飛行高度制御部15に通知し、飛行高度制御部15に無人飛行体の高度を下げるよう指示する。飛行高度制御部15は、指示に従って、無人飛行体2の飛行高度を制御する。
【0073】
一方、今回の多角形の面積が前回の多角形の面積以上である場合、最大値検知部14は、今回の多角形の面積が前回の多角形の面積以上であることを飛行高度制御部15に通知し、飛行高度制御部15は、その高度を維持したまま、ステップS101に遷移し(ステップS108)、以降の処理を繰り返す。
【0074】
なお、初期状態として、無人飛行体2の操縦者のマニュアル操作により、無人飛行体2を予め全マーカーを捉える高度に上昇させた後、
図7に示した処理を実施してもよい。また、最大値検知部14では、前回の多角形の面積の初期値を「0」とする。これらの点については、他の実施の形態も同様である。
【0075】
上記の処理により、サーバ装置1は、無人飛行体2に搭載されたカメラ22を用いて撮影された地上ロボット4をマーカーとして認識し、マーカーを頂点とする多角形を形成し、多角形の面積を最大とする映像を撮影できる高度で無人飛行体2を飛行させる。これにより、無人飛行体2の飛行高度が、搭載されたカメラ22を用いて、画像として注目する領域を撮像するために最適な高度となり、地上のマーカーにより指定された注目領域を適切に撮影することができる。
【0076】
なお、本実施の形態において、マーカーとして地上ロボットを用いたが、ロボットでない物体であっても、マーカー認識部12がマーカーと認識できるものであれば、いかなるものをマーカーとしてもよい。この点については、他の実施の形態も同様である。
【0077】
(実施の形態2)
本開示の実施の形態2に係る飛行高度制御システムは、ズームレンズ搭載の撮影装置を搭載した無人飛行体の飛行高度を制御するとともに、撮影装置のズーム比を制御する。
【0078】
図8は、本開示の実施の形態2における飛行高度制御システムの構成の一例を示すブロック図である。なお、
図8において、
図2と同じ構成要素については、同じ符号を用い、詳細な説明を省略する。
【0079】
図8において、本実施の形態の飛行高度制御システムは、サーバ装置1aと、無人飛行体2aとを備える。サーバ装置1aは、通信部11、マーカー認識部12、面積計算部13、最大値検知部14、飛行高度制御部15、マーカー数記憶部16、及びズーム比制御部17を備える。無人飛行体2aは、通信部21、カメラ22a、飛行制御部23、駆動部24及びカメラ制御部27を備える。
【0080】
無人飛行体2aの通信部21は、ネットワークNW(図示省略)を介して、サーバ装置1aの通信部11との間の通信を行い、カメラ22aが撮影した映像等を通信部11に送信し、サーバ装置1aが生成した種々の制御コマンド等を通信部11から受信する。
【0081】
カメラ22aは、無人飛行体2aに搭載され、無人飛行体2aの下方に展開するマーカーとなる物体、例えば、地上ロボットを撮影する。ここでは、カメラ22aとして、ズームレンズ搭載のカメラ(ズームレンズカメラ)を用いる例を示している。カメラ22aは、通信部21を介して、撮影した映像(映像データ)を通信部11に送信する。
【0082】
無人飛行体2aは、
図3に示す無人飛行体2と同様の外観を有し、本体25(図示省略)の底部に、カメラ22aが取り付けられている。駆動部24は、本体25から四方へ延在する支持部26(図示省略)の先端に取り付けられる。本体25の内部には、
図8に示す通信部21、飛行制御部23、及びカメラ制御部27が収納されている。
【0083】
飛行制御部23は、無人飛行体2aの飛行高度を含む飛行状態を制御する。駆動部24は、プロペラと、プロペラを回転させるモータとからなる。飛行制御部23は、駆動部24のプロペラの回転数を適宜制御することで、無人飛行体2aの移動方向や飛行高度等を制御する。カメラ制御部27は、カメラ22aのズーム動作を制御する。
【0084】
サーバ装置1aのマーカー認識部12は、通信部21を介して、カメラ22aが撮影した映像を取得し、カメラ22aにより撮影された地上ロボットをマーカーとして認識する。
【0085】
マーカー数記憶部16は、予め設定されたマーカーの数を登録マーカー数として記憶する。例えば、マーカー数記憶部16は、
図4に示すデータ(登録マーカー数)を保持し、地上に展開する地上ロボットの数は、マーカー数記憶部16に事前に登録されている。
【0086】
マーカー認識部12は、認識した複数のマーカーの個数と、マーカー数記憶部16に記憶されている登録マーカー数とを比較し、比較結果を飛行高度制御部15に出力するとともに、カメラ22aにより撮影された映像と比較結果とを面積計算部13に出力する。
【0087】
面積計算部13は、マーカー認識部12により認識されたマーカーの個数がマーカー数記憶部16に予め登録された登録マーカー数と一致する場合、カメラ22aにより撮影された映像を用いて、マーカーの位置を検出し、登録マーカー数に一致する数のマーカーにより形成される多角形の面積を算出し、算出した多角形の面積を最大値検知部14に出力する。
【0088】
最大値検知部14は、飛行高度制御部15により無人飛行体2aの飛行高度が制御されている状態で、多角形の面積が最大であるか検知する。具体的には、最大値検知部14は、面積計算部13が算出した多角形の面積を記憶する機能を有し、前回の多角形の面積と、最新の多角形の面積とを比較して最大値を検知する処理を行い、比較結果を飛行高度制御部15に出力する。
【0089】
飛行高度制御部15は、マーカー認識部12の比較結果及び最大値検知部14の比較結果を基に、多角形の面積が最大になるように、カメラ22aを搭載した無人飛行体2aの飛行高度を制御する。具体的には、飛行高度制御部15は、マーカー認識部12により認識された複数のマーカーの個数が登録マーカー数より少ない場合、無人飛行体2aの飛行高度を上昇するように、無人飛行体2aの飛行高度を制御する制御コマンドを作成し、通信部11を介して、作成した制御コマンドを無人飛行体2aに送信する。また、飛行高度制御部15は、複数のマーカーの個数が登録マーカー数と一致し、且つ、多角形の面積が前回算出した多角形の面積より小さい場合、無人飛行体2aの飛行高度を下降するように、無人飛行体2aの飛行高度を制御する制御コマンドを作成し、通信部11を介して、作成した制御コマンドを無人飛行体2aに送信する。さらに、飛行高度制御部15は、複数のマーカーの個数が登録マーカー数と一致し、且つ、多角形の面積が前回算出した多角形の面積以上である場合、無人飛行体2aの飛行高度を維持するように、無人飛行体2aの飛行高度を制御する制御コマンドを作成し、通信部11を介して、作成した制御コマンドを無人飛行体2aに送信する。
【0090】
ズーム比制御部17は、無人飛行体2aに搭載されたカメラ22aのズーム比を制御する。具体的には、マーカー認識部12は、無人飛行体2aの飛行高度を現在の飛行高度に維持した状態でカメラ22aが撮影した映像から、複数の地上ロボットを複数のマーカーとして認識する。面積計算部13は、無人飛行体2aの飛行高度を現在の飛行高度に維持した状態で認識された複数のマーカーにより形成される多角形の面積を高度維持時面積として算出する。ズーム比制御部17は、高度維持時面積が最大になるように、カメラ22aのズーム比を制御する制御コマンドを作成し、通信部11を介して、作成した制御コマンドを無人飛行体2aに送信する。
【0091】
また、ズーム比制御部17は、無人飛行体2aの飛行高度を現在の飛行高度に維持した状態で認識された複数のマーカーの個数が登録マーカー数より少ない場合、カメラ22aがズームアウトするようにカメラ22aを制御する制御コマンドを作成し、通信部11を介して、作成した制御コマンドを無人飛行体2aに送信する。ここで、カメラ22aがズームアウトできない場合、ズーム比制御部17は、カメラ22aの現在のズーム比を維持する制御コマンドを作成するとともに、飛行高度制御部15は、無人飛行体2aの飛行高度を上昇する制御コマンドを作成し、通信部11を介して、それぞれ作成した制御コマンドを無人飛行体2aに送信する。
【0092】
さらに、ズーム比制御部17は、無人飛行体2aの飛行高度を現在の飛行高度に維持した状態で認識された複数のマーカーの個数が登録マーカー数と一致し、且つ、高度維持時面積が前回算出した高度維持時面積より小さい場合、カメラ22aがズームインするようにカメラ22aを制御する制御コマンドを作成し、通信部11を介して、作成した制御コマンドを無人飛行体2aに送信する。ここで、カメラ22aがズームインできない場合、ズーム比制御部17は、カメラ22aの現在のズーム比を維持する制御コマンドを作成するとともに、飛行高度制御部15は、無人飛行体2aの飛行高度を下降する制御コマンドを作成し、通信部11を介して、それぞれ作成した制御コマンドを無人飛行体2aに送信する。
【0093】
なお、ズーム比制御部17の構成は、上記の例に特に限定されず、種々の変更が可能であり、例えば、ズーム比制御部17を省略し、飛行高度制御部15がズーム比制御部17の機能を実行してもよい。
【0094】
上記の構成により、無人飛行体2aは、飛行している位置の下方の映像を常にカメラ22aで撮影している。無人飛行体2aの飛行高度と、カメラ22aに搭載されているズームレンズのズーム比とに応じて、無人飛行体2aのカメラ22aが撮影する領域が変化する。つまり、無人飛行体2aがズームレンズをテレ(望遠)側からワイド(広角)側にズームアウトさせていくと、撮影される領域が広がる。また、無人飛行体2aがズームレンズをワイド(広角)側からテレ(望遠)側にズームインさせていくと、撮影される領域が狭くなる。
【0095】
本実施の形態では、初期状態として、カメラ22aのズーム比をワイド側の最大値(ワイド端)、すなわち、一番大きな画角で最も多くの物体を撮影できる状態にしておく。無人飛行体2aの下方には、マーカーとなる複数の地上ロボットが展開されており、カメラ22aがこれらの映像を撮影することによって、地上ロボットの位置を頂点とする多角形を生成する。この状況は、
図5及び
図6で説明した状況と同様である。
【0096】
ここで、本実施の形態において、無人飛行体2aの飛行高度が低ければ、カメラ22aにおいて撮像されるマーカーの数は、予め設定されるマーカーの数(登録マーカー数)に届かないことが想定される。
【0097】
このため、サーバ装置1aは、初期状態として、マーカーの数が登録マーカー数になるまで、無人飛行体2aの飛行高度を上昇させる。無人飛行体2aが単調に飛行高度を上昇させていく過程で、カメラ22aは、マーカーである地上ロボット(以下、「マーカー」とも称する)を撮影し始める。カメラ22aがマーカーを捉えると、マーカー認識部12は、地上ロボットをマーカーとして認識し、マーカーの個数をカウントし始める。その後、マーカーの数が予め設定された登録マーカー数になるまで、無人飛行体2aは上昇をする。
【0098】
無人飛行体2aが上昇を続け、マーカーの数が、登録マーカー数に一致するようになると、マーカーを頂点とする多角形を認識できるため、面積計算部13は、マーカーを頂点として形成する多角形の面積を算出する。
【0099】
これ以降は、多角形の面積は、無人飛行体2aの飛行高度と関連し、無人飛行体2aの飛行高度を高くすると、多角形の面積は減少する。一方、無人飛行体2aの飛行高度を低くすると、多角形の面積は増大していき、やがて、マーカーがカメラ22aの画角の外側に出るため、予め設定された登録マーカー数のマーカーを頂点とする多角形を検知できない状態となる。
【0100】
また、多角形の面積は、カメラ22aのズームレンズのズーム比と関連し、ズームアウト(テレ側からワイド側への移行)すると、多角形の面積は減少する。一方、ズームイン(ワイド側からテレ側への移行)すると、多角形の面積は増大し、やがて、予め設定された登録マーカー数のマーカーを頂点とする多角形を検知できない状態となる可能性がある。ただし、無人飛行体2aが十分に高い高度で飛行していた場合は、カメラ22aのズーム比をテレ端(テレ側に最大までズームした状態)まで変化させても、多角形を描いていることはあり得る。
【0101】
このとき、飛行高度制御部15は、無人飛行体2aの飛行高度を変化させ、最大値検知部14の比較結果を基に、カメラ22aによって撮影された多角形の面積が最大となるように無人飛行体2aの飛行高度を定める。
【0102】
この場合も、マーカーである地上ロボットは、常に移動をしているので、多角形の面積は、時々刻々変化する。最大値検知部14は、この変化する多角形の面積を高度維持時面積として順次計算し、ズーム比制御部17は、マーカーの描く多角形の面積(高度維持時面積)が最大になるようにカメラ22aのズーム比を制御する。
【0103】
次に、
図8に示すサーバ装置1aの飛行高度制御処理について、
図9及び
図10のフローチャートを使って説明する。
図9及び
図10は、
図8に示すサーバ装置1aの飛行高度制御処理の一例を示す第1及び第2のフローチャートである。ここでは、カメラ22aのズーム比をワイド側に設定した状態で、無人飛行体2aを上昇させる。
【0104】
図9において、まず、サーバ装置1aは、飛行高度制御処理を開始する(ステップS301)。次に、ステップS302において、マーカー認識部12は、カメラ22aが撮影した映像を取得して、マーカーを認識する。
【0105】
次に、ステップS303において、マーカー認識部12は、認識したマーカーの数と、予めマーカー数記憶部16に記憶された登録マーカー数とを比較する。認識したマーカーの数が登録マーカー数より少ない(個数が不足)場合、ステップS307に遷移し、マーカー認識部12は、認識したマーカーの数が登録マーカー数より少ないことを飛行高度制御部15に通知し、飛行高度制御部15に無人飛行体の高度を上昇させるよう指示する。飛行高度制御部15は、指示に従って、無人飛行体2aの飛行高度を制御する。
【0106】
一方、認識したマーカーの数が登録マーカー数である(個数を満たしている)場合、マーカーにより形成される多角形の面積を計算するステップS304に遷移する。ステップS304では、面積計算部13は、カメラ22aにより撮影された映像を用いて、マーカーの位置を検出し、検出したマーカーを頂点とした多角形の面積を求める。
【0107】
続いて、ステップS305では、最大値検知部14は、前回計算された多角形の面積を記憶しており、前回の多角形の面積と、ステップS304で計算された今回の多角形の面積を比較する。今回の多角形の面積が前回の多角形の面積よりも小さい場合、ステップS306に遷移し、最大値検知部14は、今回の多角形の面積が前回の多角形の面積よりも小さいことを飛行高度制御部15に通知し、飛行高度制御部15に無人飛行体の高度を下げるよう指示する。飛行高度制御部15は、指示に従って、無人飛行体2aの飛行高度を制御する。
【0108】
一方、今回の多角形の面積が前回の多角形の面積以上である場合、最大値検知部14は、今回の多角形の面積が前回の多角形の面積以上であることを飛行高度制御部15に通知し、飛行高度制御部15は、その高度を維持したまま、
図10に示すステップS311に遷移する(ステップS308)。
【0109】
次に、
図10において、サーバ装置1aは、ズーム比による調整処理を開始する(ステップS311)。次に、ステップS312において、マーカー認識部12は、カメラ22aが撮影した映像を取得して、マーカーを認識する。
【0110】
次に、ステップS313において、マーカー認識部12は、認識したマーカーの数と、予めマーカー数記憶部16に記憶された登録マーカー数とを比較する。認識したマーカーの数が登録マーカー数より少ない(個数が不足)場合、ステップS319に遷移し、マーカー認識部12は、認識したマーカーの数が登録マーカー数より少ないことを飛行高度制御部15に通知し、飛行高度制御部15は、カメラ22aがズームアウト可能か否かを判断する。
【0111】
例えば、飛行高度制御部15は、ズームアウト可能か否かの問合せをズーム比制御部17に行い、ズーム比制御部17からの応答に基づき、ズームアウト可能か否かを判断する。なお、ズームアウト可能か否かの判断は、上記の例に特に限定されず、種々の変更が可能であり、例えば、飛行高度制御部15は、現在のズーム比と、搭載しているカメラ22aのワイド側への最大値(ワイド端)とを比較することで、ズームアウト可能か否かを判断してもよく、また、ズーム比制御部17が判断してもよい。この点については、他の実施の形態も同様である。
【0112】
ズームアウト可能と判断した場合、飛行高度制御部15は、ズーム比制御部17にズームアウトを指示する。次に、ステップS320において、ズーム比制御部17は、カメラ22aのレンズをズームアウトするようにカメラ制御部27に指示し、カメラ制御部27は、カメラ22aのレンズをズームアウトする。その後、ステップS312に遷移し、以降の処理を継続する。
【0113】
一方、ステップS319で、飛行高度制御部15がズームアウト不可と判断した場合、
図9に示すステップS307に遷移し、飛行高度制御部15による無人飛行体2aの飛行高度を変更する処理に切替える。
【0114】
また、ステップS313で、認識したマーカーの数が登録マーカー数である(個数を満たしている)場合、マーカーにより形成される多角形の面積を計算するステップS314に遷移する。ステップS314では、面積計算部13は、カメラ22aにより撮影されたカメラ映像を用いて、マーカーの位置を検出し、検出したマーカーを頂点とした多角形の面積を高度維持時面積として求める。
【0115】
続いて、ステップS315では、最大値検知部14は、前回計算した多角形の面積を記憶しており、前回の多角形の面積(前回計算した高度維持時面積)と、ステップS314で計算された今回の多角形の面積(高度維持時面積)を比較する。今回の多角形の面積が前回の多角形の面積よりも小さい場合、ステップS316に遷移し、最大値検知部14は、今回の多角形の面積が前回の多角形の面積よりも小さいことを飛行高度制御部15に通知し、飛行高度制御部15は、カメラ22aがズームイン可能か否かを判断する。
【0116】
例えば、飛行高度制御部15は、ズームイン可能か否かの問合せをズーム比制御部17に行い、ズーム比制御部17からの応答に基づき、ズームイン可能か否かを判断する。なお、ズームイン可能か否かの判断は、上記の例に特に限定されず、種々の変更が可能であり、例えば、飛行高度制御部15は、現在のズーム比と、搭載しているカメラ22aのテレ側への最小値(テレ端)とを比較することで、ズームイン可能か否かを判断してもよく、また、ズーム比制御部17が判断してもよい。これらの点については、他の実施の形態も同様である。
【0117】
ズームイン可能と判断した場合、飛行高度制御部15は、ズーム比制御部17にズームインを指示する。次に、ステップS317において、ズーム比制御部17は、カメラ22aのレンズをズームインするようにカメラ制御部27に指示し、カメラ制御部27は、カメラ22aのレンズをズームインする。その後、ステップS312に遷移し、以降の処理を継続する。
【0118】
一方、ステップS316で、飛行高度制御部15がズームイン不可と判断した場合、
図9に示すステップS306に遷移し、飛行高度制御部15による無人飛行体2aの飛行高度を変更する処理に切替える。
【0119】
また、今回の多角形の面積が前回の多角形の面積以上である場合、最大値検知部14は、今回の多角形の面積が前回の多角形の面積以上であることを飛行高度制御部15に通知し、飛行高度制御部15は、無人飛行体2aの飛行高度を維持した状態で、ズーム比制御部17に現時点のカメラ22aのズーム比を維持するように指示し、ステップS311に遷移し、以降の処理を繰り返す(ステップS318)。
【0120】
上記の処理により、サーバ装置1aは、無人飛行体2aに搭載されたカメラ22aを用いて撮影された地上ロボットをマーカーとして認識し、マーカーを頂点とする多角形を形成し、多角形の面積を最大とする映像を撮影できる高度で無人飛行体2aを飛行させる。これにより、無人飛行体2aの飛行高度が、搭載されたカメラ22aを用いて、画像として注目する領域を撮像するために最適な高度となり、地上のマーカーにより指定された注目領域を適切に撮影することができる。
【0121】
また、地上の障害物(例えば、工作物、樹木等)により、無人飛行体2aが上記の処理で決定した最適な高度を維持できない場合も存在する。こういった場合も、本実施の形態では、サーバ装置1aは、無人飛行体2aの飛行高度を上昇させ、障害物を回避した後に、カメラ22aのレンズのズーム比をテレ側に移行させることができるので、適切な映像を得ることが可能となる。
【0122】
なお、
図9及び
図10に示す処理では、飛行高度を調整した後に、ズーム比を変更し、ズーム比の変更で調整不可能となったタイミングで、飛行高度を変更する処理への切替え行っているが、これに限定せず、飛行高度の変更と、ズーム比の変更との両方を用いて、カメラ22aによって撮影された多角形の面積が最大となるように無人飛行体2aを制御できればよく、種々の変更が可能である。この点については、他の実施の形態も同様である。
【0123】
(実施の形態3)
本開示の実施の形態3に係る飛行高度制御システムは、認識対象のマーカーの数を事前にシステムに登録するのでなく、ユーザが、複数の地上ロボットの中からマーカーとして利用する地上ロボットを選択し、選択したマーカーを用いて、ズームレンズ搭載の撮影装置を搭載した無人飛行体の飛行高度を制御するとともに、撮影装置のズーム比を制御する。
【0124】
図11は、本開示の実施の形態3における飛行高度制御システムの構成の一例を示すブロック図である。なお、
図11において、
図8と同じ構成要素については、同じ符号を用い、詳細な説明を省略する。
【0125】
図11において、本実施の形態の飛行高度制御システムは、サーバ装置1bと、無人飛行体2aと、マーカー入力装置3とを備える。サーバ装置1bは、通信部11、マーカー認識部12、面積計算部13、最大値検知部14、飛行高度制御部15、ズーム比制御部17、及びマーカー選択部18を備える。無人飛行体2aは、通信部21、カメラ22a、飛行制御部23、駆動部24及びカメラ制御部27を備え、
図8に示す無人飛行体2aと同様に構成されている。マーカー入力装置3は、通信部31、入力部32、及び表示部33を備える。
【0126】
本実施の形態では、地上に展開する地上ロボットの数を、事前にシステムに登録しておらず、サーバ装置1bは、
図8に示すマーカー数記憶部16に代えて、マーカー選択部18を備えている。
【0127】
マーカー入力装置3の通信部31は、ネットワークNW(図示省略)を介して、サーバ装置1bの通信部11との間の通信を行い、マーカー認識部12が受信したカメラ22aの撮影映像及びマーカー認識部12が認識したマーカーの位置等の情報を通信部11から受信し、表示部33に出力する。表示部33は、カメラ22aが撮影した映像に、マーカー認識部12が認識した複数のマーカー(複数の地上ロボット)の位置を示す複数の候補マーカーを重畳して入力画面を表示する。入力部32は、ユーザの操作入力を取得し、例えば、表示部33のスクリーン(表示画面)上に形成されたタッチセンサから構成される。
【0128】
ユーザは、表示部33の入力画面に表示される複数の候補マーカーの中から、入力部32を用いて所望の候補マーカーを選択することにより、複数の地上ロボットの中からカメラ22aで撮影したい複数の地上ロボットを選択する。このとき、入力部32は、通信部31を介して、ユーザが選択した複数の候補マーカーを認識対象マーカーとして通信部11に送信する。
【0129】
なお、マーカー入力装置3の構成は、上記の例に特に限定されず、無線又は光通信等で接続された無人飛行体の外部の制御装置、例えば、プロポ等のコントローラが、マーカー入力装置3としても機能するようにしてもよい。
【0130】
図12は、
図11に示す表示部33に表示される入力画面の一例を示す図である。
図12に示すように、入力画面ISには、例えば、撮影された映像に重畳して5個のロボットの位置を示す5個の候補マーカーM1〜M5が表示される。ユーザは、表示されている5個の候補マーカーM1〜M5の中から認識対象マーカーとして利用する地上ロボットを選択する。
図12に示す例では、ユーザが選択した4個の候補マーカーM1〜M4は、黒丸で表示され、ユーザが選択していない候補マーカーM5は、白丸で表示される。このように、カメラ22aが撮影した画像をタッチセンサ付きのスクリーンで表示し、表示されている画面上で、ユーザが注目する地上ロボットを認識対象マーカーとして指定するという簡便な操作により、所望の地上ロボットを認識対象マーカーとして選択することができる。
【0131】
再び、
図11を参照して、サーバ装置1bのマーカー選択部18は、通信部11を介して、マーカー入力装置3から送信された複数の認識対象マーカーを受信し、3つ以上の認識対象マーカーの情報を登録マーカーの情報として記憶する。
【0132】
図13は、
図11に示すマーカー選択部18が保持するデータの一例を示す図である。
図13に示すように、マーカー選択部18は、ユーザがマーカー入力装置3を用いて選択した複数の認識対象マーカーを登録マーカーとして記憶し、各認識対象マーカーのマーカーID(識別情報)と、位置情報である座標(X、Y)、例えば、緯度及び経度の情報とを対応付けて記憶している。
【0133】
具体的は、マーカー認識部12は、マーカーを認識したときに、予め記憶している地図データを用いて、各マーカーのマーカーID及び位置情報を決定し、このマーカーID及び位置情報をマーカー入力装置3に送信し、入力部32は、ユーザが選択した認識対象マーカーのマーカーID及び位置情報をマーカー選択部18に送信し、マーカー選択部18は、送信されたマーカーID及び位置情報を記憶する。
【0134】
なお、位置情報の取得方法は、上記の例に特に限定されず、例えば、GPS(GLOBAL POSITIONING SYSTEM)またはGLONASS(GLOBAL NAVIGATION SATELLITE SYSTEM)などのポジショニングシステムを用いて、無人飛行体2aが自位置を取得してサーバ装置1b又はマーカー入力装置3に送信し、無人飛行体2aの自位置を基に各地上ロボットの位置を決定したり、又は、地上ロボットが自位置を取得してサーバ装置1b又はマーカー入力装置3に送信したりしてもよい。また、マーカー選択部18が保持するデータとしては、上記の例に特に限定されず、
図4と同様に、認識対象マーカーの数を登録マーカーの数として記憶してもよい。
【0135】
再び、
図11を参照して、マーカー認識部12は、通信部21を介して、カメラ22aが撮影した映像を取得し、カメラ22aにより撮影された地上ロボットの中から、マーカー選択部18に記憶されている認識対象マーカーに対応する地上ロボットをマーカーとして認識する。マーカー認識部12は、認識した複数のマーカーの個数と、マーカー選択部18に記憶されている認識対象マーカーの個数とを比較し、比較結果を飛行高度制御部15に出力するとともに、カメラ22aにより撮影された映像と比較結果とを面積計算部13に出力する。ここで、マーカー認識部12は、認識した複数のマーカーの個数と、マーカー選択部18に記憶されている認識対象マーカーの個数とを比較するだけでなく、各マーカーの位置情報も比較するようにしてもよい。
【0136】
面積計算部13は、マーカー認識部12により認識されたマーカーの個数がマーカー選択部18に記憶されている認識対象マーカーの個数と一致する場合、カメラ22aにより撮影された映像を用いて、マーカー選択部18に記憶されている認識対象マーカーにより形成される多角形の面積を算出し、算出した多角形の面積を最大値検知部14に出力する。
【0137】
最大値検知部14、飛行高度制御部15及びズーム比制御部17は、
図8に示す最大値検知部14、飛行高度制御部15及びズーム比制御部17と同様に構成され、同様に動作する。
【0138】
上記の構成により、無人飛行体2aは、飛行している位置の下方の映像を常にカメラ22aで撮影している。無人飛行体2aの飛行高度と、カメラ22aに搭載されているズームレンズのズーム比とに応じて、無人飛行体2aのカメラ22aが撮影する領域が変化する。つまり、無人飛行体2aがズームレンズをテレ(望遠)側からワイド(広角)側にズームアウトさせていくと、撮影される領域が広がる。また、無人飛行体2aがズームレンズをワイド(広角)側からテレ(望遠)側にズームインさせていくと、撮影される領域が狭くなる。
【0139】
本実施の形態でも、初期状態として、カメラ22aのズーム比をワイド側の最大値(ワイド端)、すなわち、一番大きな画角で最も多くの物体を撮影できる状態にしておく。無人飛行体2aの下方には、マーカーとなる複数の地上ロボットが展開されており、カメラ22aがこれらの映像を撮影することによって、地上ロボットの位置を頂点とする多角形を生成する。この状況は、
図5及び
図6で説明した状況と同様である。
【0140】
ここで、本実施の形態において、無人飛行体2aの飛行高度が低ければ、カメラ22aにおいて撮像される映像に、マーカー選択部18に記憶されている全ての認識対象マーカー(全ての登録マーカー)が映っておらず、全ての登録マーカーを認識することができないことが想定される。
【0141】
このため、サーバ装置1bは、初期状態としては、全ての登録マーカーが認識されるまで、無人飛行体飛行高度を上昇させる。無人飛行体2aが単調に飛行高度を上昇させていく過程で、カメラ22aは、マーカーである地上ロボット(以下、「マーカー」とも称する)を撮影し始める。カメラ22aがマーカーを捉えると、マーカー認識部12は、地上ロボットをマーカーとして認識する。
【0142】
このとき、マーカー認識部12は、認識したマーカーを候補マーカーとし、候補マーカーを重畳してカメラ22aの映像をマーカー入力装置3に送信し、ユーザは、マーカー入力装置3を用いて、撮影された映像に重畳して表示された複数の候補マーカー(地上ロボット)の中から、利用する候補マーカー(地上ロボット)を選択する。
【0143】
候補マーカーが選択されると、マーカー入力装置3は、選択された候補マーカーを認識対象マーカーとしてサーバ装置1bに送信し、面積計算部13は、認識対象マーカー(登録マーカー)が形成する多角形の面積を算出する。
【0144】
これ以降は、多角形の面積は、無人飛行体2aの飛行高度と関連し、無人飛行体2aの飛行高度を高くすると、多角形の面積は減少する。一方、無人飛行体2aの飛行高度を低くすると、多角形の面積は増大していき、やがて、マーカーがカメラ22aの画角の外側に出るため、認識対象マーカー(登録マーカー)を頂点とする多角形を検知できない状態となる。
【0145】
また、多角形の面積は、カメラ22aのズームレンズのズーム比と関連し、ズームアウト(テレ側からワイド側への移行)すると、多角形の面積は減少する。一方、ズームイン(ワイド側からテレ側への移行)すると、多角形の面積は増大し、認識対象マーカー(登録マーカー)を頂点とする多角形を検知できない状態となる可能性がある。
【0146】
このとき、飛行高度制御部15は、無人飛行体2aの飛行高度を変化させ、最大値検知部14の比較結果を基に、カメラ22aによって撮影された多角形の面積が最大となるように無人飛行体2aの飛行高度を定める。
【0147】
この場合も、マーカーである地上ロボットは、常に移動をしているので、多角形の面積は、時々刻々変化する。最大値検知部14は、この変化する多角形の面積を高度維持時面積として順次計算し、ズーム比制御部17は、マーカーの描く多角形の面積(高度維持時面積)が最大になるようにカメラ22aのズーム比を制御する。また、マーカーが連続して移動する際には、無人飛行体2aがマーカー選択部18に記憶されている認識対象マーカー(登録マーカー)を自動追尾するように構成してもよい。
【0148】
次に、
図11に示すサーバ装置1bの飛行高度制御処理について、
図14及び
図15のフローチャートを使って説明する。
図14及び
図15は、
図11に示すサーバ装置1bの飛行高度制御処理の一例を示す第1及び第2のフローチャートである。ここでは、無人飛行体2aをユーザのマニュアル操作で上昇させた後、多角形の頂点をなす認識対象マーカー(登録マーカー)がマーカー選択部18に記憶済みであるものとする。
【0149】
図14において、まず、サーバ装置1bは、飛行高度制御処理を開始する(ステップS601)。次に、ステップS602において、マーカー認識部12は、カメラ22aが撮影した映像を取得して、マーカーを認識する。
【0150】
次に、ステップS603において、マーカー認識部12は、マーカー選択部18に記憶されている全ての登録マーカーを認識したか否かを確認する。認識したマーカーに不足がある場合、ステップS607に遷移し、マーカー認識部12は、全ての登録マーカーを認識していないことを飛行高度制御部15に通知し、飛行高度制御部15に無人飛行体の高度を上昇させるよう指示する。飛行高度制御部15は、指示に従って無人飛行体2aの飛行高度を制御する。
【0151】
一方、全ての登録マーカーを認識した場合、登録マーカーにより形成される多角形の面積を計算するステップS604に遷移する。ステップS604では、面積計算部13が、カメラ22aにより撮影された映像を用いて、登録マーカーの位置を検出し、検出した登録マーカーを頂点とした多角形の面積を求める。
【0152】
続いて、ステップS605では、最大値検知部14は、前回計算された多角形の面積を記憶しており、前回の多角形の面積と、ステップS604で計算された今回の多角形の面積を比較する。今回の多角形の面積が前回の多角形の面積よりも小さい場合、ステップS606に遷移し、最大値検知部14は、今回の多角形の面積が前回の多角形の面積よりも小さいことを飛行高度制御部15に通知し、飛行高度制御部15に無人飛行体2aの高度を下げるよう指示する。飛行高度制御部15は、指示に従って、無人飛行体2aの飛行高度を制御する。
【0153】
一方、今回の多角形の面積が前回の多角形の面積以上である場合、最大値検知部14は、今回の多角形の面積が前回の多角形の面積以上であることを飛行高度制御部15に通知し、飛行高度制御部15は、その高度を維持したまま、
図15に示すステップS611に遷移する(ステップS608)。
【0154】
次に、
図15において、サーバ装置1bは、ズーム比による調整処理を開始する(ステップS611)。次に、ステップS612において、マーカー認識部12は、カメラ22aが撮影した映像を取得して、マーカーを認識する。
【0155】
次に、ステップS613において、マーカー認識部12は、マーカー選択部18に記憶されている全ての登録マーカーを認識したか否かを確認する。認識したマーカーに不足がある場合、ステップS619に遷移し、マーカー認識部12は、全ての登録マーカーを認識していないことを飛行高度制御部15に通知し、飛行高度制御部15は、カメラ22aがズームアウト可能か否かを判断する。
【0156】
ズームアウト可能と判断した場合、飛行高度制御部15は、ズーム比制御部17にズームアウトを指示する。次に、ステップS620において、ズーム比制御部17は、カメラ22aのレンズをズームアウトするようにカメラ制御部27に指示し、カメラ制御部27は、カメラ22aのレンズをズームアウトする。その後、ステップS612に遷移し、以降の処理を継続する。
【0157】
一方、ステップS619で、飛行高度制御部15がズームアウト不可と判断した場合、
図14に示すステップS607に遷移し、飛行高度制御部15による無人飛行体2aの飛行高度を変更する処理に切替える。
【0158】
また、ステップS613で、全ての登録マーカーを認識した場合、マーカーにより形成される多角形の面積を計算するステップS614に遷移する。ステップS614では、面積計算部13は、カメラ22aにより撮影された映像を用いて、登録マーカーの位置を検出し、検出した登録マーカーを頂点とした多角形の面積を高度維持時面積として求める。
【0159】
続いて、ステップS615では、最大値検知部14は、前回計算した多角形の面積を記憶しており、前回の多角形の面積(前回計算した高度維持時面積)と、ステップS614で計算された今回の多角形の面積(高度維持時面積)を比較する。今回の多角形の面積が前回の多角形の面積よりも小さい場合、ステップS616に遷移し、最大値検知部14は、今回の多角形の面積が前回の多角形の面積よりも小さいことを飛行高度制御部15に通知し、飛行高度制御部15は、カメラ22aがズームイン可能か否かを判断する。
【0160】
ズームイン可能と判断した場合、飛行高度制御部15は、ズーム比制御部17にズームインを指示する。次に、ステップS617において、ズーム比制御部17は、カメラ22aのレンズをズームインするようにカメラ制御部27に指示し、カメラ制御部27は、カメラ22aのレンズをズームインする。その後、ステップS612に遷移し、以降の処理を継続する。
【0161】
一方、ステップS616で、飛行高度制御部15がズームイン不可と判断した場合、
図14に示すステップS606に遷移し、飛行高度制御部15による無人飛行体2aの飛行高度を変更する処理に切替える。
【0162】
また、今回の多角形の面積が前回の多角形の面積以上である場合、最大値検知部14は、今回の多角形の面積が前回の多角形の面積以上であることを飛行高度制御部15に通知し、飛行高度制御部15は、無人飛行体2aの飛行高度を維持した状態で、ズーム比制御部17に現時点のカメラ22aのズーム比を維持するように指示し、無人飛行体2aの飛行高度と、現時点のカメラ22aのズーム比とを維持したまま、ステップS611に遷移し、以降の処理を繰り返す(ステップS618)。
【0163】
上記の処理により、サーバ装置1bは、無人飛行体2aに搭載されたカメラ22aを用いて撮影された地上ロボットのうち、ユーザによって選択された地上ロボットをマーカーとして認識し、マーカーを頂点とする多角形を形成し、多角形の面積を最大とする映像を撮影できる高度で無人飛行体2aを飛行させる。これにより、無人飛行体2aの飛行高度が、搭載されたカメラ22aを用いて、画像として注目する領域を撮像するために最適な高度となり、ユーザによって選択された地上ロボットにより指定された注目領域を適切に撮影することができる。
【0164】
また、地上の障害物(例えば、工作物、樹木等)により、無人飛行体2aが上記の処理で決定した最適な高度を維持できない場合も存在する。こういった場合も、本実施の形態では、サーバ装置1bは、無人飛行体2aの飛行高度を上昇させ、障害物を回避した後に、カメラ22aのレンズのズーム比をテレ側に移行させることができるので、ユーザによって選択された地上ロボットにより指定された注目領域を適切に撮影することができる。