(58)【調査した分野】(Int.Cl.,DB名)
前記位置情報を決定するステップは、前記第1の相対的な位置情報として、前記飛行グループに属する複数の飛行体の基準位置に対する前記複数の飛行体の各々の相対的な位置情報を決定するステップを含む、
請求項24に記載の位置処理方法。
前記位置情報を決定するステップは、前記複数の飛行体の各々の識別情報と、前記識別情報により識別される飛行体の各々の相対的な位置情報と、を関連付けて設定するステップを含む、
請求項25に記載の位置処理方法。
前記飛行体画像を表示するステップは、前記ドラッグ操作により変更された複数の前記飛行体画像の位置に基づいて、前記複数の飛行体の間の距離情報を表示するステップを含む、
請求項31に記載の位置処理方法。
【発明を実施するための形態】
【0059】
以下、発明の実施形態を通じて本開示を説明するが、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須とは限らない。
【0060】
特許請求の範囲、明細書、図面、及び要約書には、著作権による保護の対象となる事項が含まれる。著作権者は、これらの書類の何人による複製に対しても、特許庁のファイル又はレコードに表示される通りであれば異議を唱えない。ただし、それ以外の場合、一切の著作権を留保する。
【0061】
以下の実施形態では、飛行体として、無人航空機(UAV:Unmanned Aerial Vehicle)を例示する。無人航空機は、空中を移動する航空機を含む。本明細書に添付する図面では、無人航空機を「UAV」と表記する。飛行制御方法は、飛行体及び飛行システムにおける動作が規定されたものである。また、記録媒体は、プログラム(例えば無人航空機に各種の処理を実行させるプログラム)が記録されたものである。
【0062】
以下の実施形態では、位置処理システムとして、飛行システムを例示する。位置処理装置として、携帯端末を例示する。携帯端末は、スマートフォンやタブレット端末を含んでよい。位置処理方法は、位置処理装置及び位置処理システムにおける動作が規定されたものである。また、記録媒体は、プログラム(例えば携帯端末に各種の処理を実行させるプログラム)が記録されたものである。
【0063】
(第1の実施形態)
図1は、第1の実施形態における飛行システム10の構成例を示す模式図である。飛行システム10は、無人航空機100、送信機50、及び携帯端末80を備える。無人航空機100、送信機50、及び携帯端末80は、相互に有線通信又は無線通信(例えば無線LAN(Local Area Network))により通信可能である。
【0064】
次に、無人航空機100の構成例について説明する。
図2は、無人航空機100の外観の一例を示す図である。
図3は、無人航空機100の具体的な外観の一例を示す図である。無人航空機100が移動方向STV0に飛行する時の側面図が
図2に示され、無人航空機100が移動方向STV0に飛行する時の斜視図が
図3に示されている。
【0065】
図2及び
図3に示すように、地面と平行であって移動方向STV0に沿う方向にロール軸(x軸参照)が定義されたとする。この場合、地面と平行であってロール軸に垂直な方向にピッチ軸(y軸参照)が定められ、更に、地面に垂直であってロール軸及びピッチ軸に垂直な方向にヨー軸(z軸参照)が定められる。
【0066】
無人航空機100は、UAV本体102と、ジンバル200と、撮像装置220と、複数の撮像装置230とを含む構成である。撮像装置220、230は、撮像部の一例である。
【0067】
UAV本体102は、複数の回転翼(プロペラ)を備える。UAV本体102は、複数の回転翼の回転を制御することにより無人航空機100を飛行させる。UAV本体102は、例えば4つの回転翼を用いて無人航空機100を飛行させる。回転翼の数は、4つに限定されない。また、無人航空機100は、回転翼を有さない固定翼機でもよい。
【0068】
撮像装置220は、所望の撮像範囲に含まれる被写体(例えば、空撮対象となる上空の様子、山や川等の景色、地上の建物)を撮像する撮像用のカメラである。
【0069】
複数の撮像装置230は、無人航空機100の飛行を制御するために無人航空機100の周囲を撮像するセンシング用のカメラである。2つの撮像装置230が、無人航空機100の機首である正面に設けられてよい。さらに、他の2つの撮像装置230が、無人航空機100の底面に設けられてよい。正面側の2つの撮像装置230はペアとなり、いわゆるステレオカメラとして機能してよい。底面側の2つの撮像装置230もペアとなり、ステレオカメラとして機能してよい。複数の撮像装置230により撮像された画像に基づいて、無人航空機100の周囲の3次元空間データが生成されてよい。なお、無人航空機100が備える撮像装置230の数は4つに限定されない。無人航空機100は、少なくとも1つの撮像装置230を備えていればよい。無人航空機100は、無人航空機100の機首、機尾、側面、底面、及び天井面のそれぞれに少なくとも1つの撮像装置230を備えてよい。撮像装置230で設定できる画角は、撮像装置220で設定できる画角より広くてよい。撮像装置230は、単焦点レンズ又は魚眼レンズを有してよい。
【0070】
図4は、無人航空機100のハードウェア構成の一例を示すブロック図である。無人航空機100は、UAV制御部110と、通信インタフェース150と、メモリ160と、ジンバル200と、回転翼機構210と、撮像装置220と、撮像装置230と、GPS受信機240と、慣性計測装置(IMU:Inertial Measurement Unit)250と、磁気コンパス260と、気圧高度計270と、超音波センサ280と、レーザー測定器290と、を含む構成である。通信インタフェース150は、通信部の一例である。超音波センサ280及びレーザー測定器290は、測距センサの一例である。
【0071】
UAV制御部110は、例えばCPU(Central Processing Unit)、MPU(Micro Processing Unit)又はDSP(Digital Signal Processor)を用いて構成される。UAV制御部110は、無人航空機100の各部の動作を統括して制御するための信号処理、他の各部との間のデータの入出力処理、データの演算処理及びデータの記憶処理を行う。
【0072】
UAV制御部110は、メモリ160に格納されたプログラムに従って無人航空機100の飛行を制御する。UAV制御部110は、通信インタフェース150を介して遠隔の送信機50から受信した命令に従って、無人航空機100の飛行を制御する。メモリ160は無人航空機100から取り外し可能であってもよい。
【0073】
UAV制御部110は、複数の撮像装置230により撮像された複数の画像を解析することで、無人航空機100の周囲の環境を特定してよい。UAV制御部110は、無人航空機100の周囲の環境に基づいて、例えば障害物を回避して飛行を制御する。
【0074】
UAV制御部110は、現在の日時を示す日時情報を取得する。UAV制御部110は、GPS受信機240から現在の日時を示す日時情報を取得してよい。UAV制御部110は、無人航空機100に搭載されたタイマ(不図示)から現在の日時を示す日時情報を取得してよい。
【0075】
UAV制御部110は、無人航空機100の位置を示す位置情報を取得する。UAV制御部110は、GPS受信機240から、無人航空機100が存在する緯度、経度及び高度を示す位置情報を取得してよい。UAV制御部110は、GPS受信機240から無人航空機100が存在する緯度及び経度を示す緯度経度情報、並びに気圧高度計270から無人航空機100が存在する高度を示す高度情報をそれぞれ位置情報として取得してよい。UAV制御部110は、超音波センサ280による超音波の放射点と超音波の反射点との距離を高度情報として取得してよい。
【0076】
UAV制御部110は、磁気コンパス260から無人航空機100の向きを示す向き情報を取得する。向き情報には、例えば無人航空機100の機首の向きに対応する方位が示される。
【0077】
UAV制御部110は、撮像装置220が撮像すべき撮像範囲を撮像する時に無人航空機100が存在すべき位置を示す位置情報を取得してよい。UAV制御部110は、無人航空機100が存在すべき位置を示す位置情報をメモリ160から取得してよい。UAV制御部110は、無人航空機100が存在すべき位置を示す位置情報を、通信インタフェース150を介して送信機50等の他の装置から取得してよい。UAV制御部110は、3次元地図データベースを参照して、撮像すべき撮像範囲を撮像するために、無人航空機100が存在可能な位置を特定して、その位置を無人航空機100が存在すべき位置を示す位置情報として取得してよい。
【0078】
UAV制御部110は、撮像装置220及び撮像装置230のそれぞれの撮像範囲を示す撮像情報を取得する。UAV制御部110は、撮像範囲を特定するためのパラメータとして、撮像装置220及び撮像装置230の画角を示す画角情報を撮像装置220及び撮像装置230から取得する。UAV制御部110は、撮像範囲を特定するためのパラメータとして、撮像装置220及び撮像装置230の撮像方向を示す情報を取得する。UAV制御部110は、例えば撮像装置220の撮像方向を示す情報として、ジンバル200から撮像装置220の姿勢の状態を示す姿勢情報を取得する。UAV制御部110は、無人航空機100の向きを示す情報を取得する。撮像装置220の姿勢の状態を示す情報は、ジンバル200のピッチ軸及びヨー軸の基準回転角度からの回転角度を示す。UAV制御部110は、撮像範囲を特定するためのパラメータとして、無人航空機100が存在する位置を示す位置情報を取得する。UAV制御部110は、撮像装置220及び撮像装置230の画角及び撮像方向、並びに無人航空機100が存在する位置に基づいて、撮像装置220が撮像する地理的な範囲を示す撮像範囲を画定し、撮像範囲を示す撮像情報を生成することで、撮像情報を取得してよい。
【0079】
UAV制御部110は、撮像装置220が撮像すべき撮像範囲を示す撮像情報を取得してよい。UAV制御部110は、メモリ160から撮像装置220が撮像すべき撮像情報を取得してよい。UAV制御部110は、通信インタフェース150を介して送信機50等の他の装置から撮像装置220が撮像すべき撮像情報を取得してよい。
【0080】
UAV制御部110は、無人航空機100の周囲に存在するオブジェクトの立体形状(3次元形状)を示す立体情報(3次元情報)を取得してよい。オブジェクトは、例えば、建物、道路、車、木等の風景の一部である。立体情報は、例えば、3次元空間データである。UAV制御部110は、複数の撮像装置230から得られたそれぞれの画像から、無人航空機100の周囲に存在するオブジェクトの立体形状を示す立体情報を生成することで、立体情報を取得してよい。UAV制御部110は、メモリ160に格納された3次元地図データベースを参照することにより、無人航空機100の周囲に存在するオブジェクトの立体形状を示す立体情報を取得してよい。UAV制御部110は、ネットワーク上に存在するサーバが管理する3次元地図データベースを参照することで、無人航空機100の周囲に存在するオブジェクトの立体形状に関する立体情報を取得してよい。
【0081】
UAV制御部110は、撮像装置220及び撮像装置230により撮像された画像データを取得する。
【0082】
UAV制御部110は、ジンバル200、回転翼機構210、撮像装置220、及び撮像装置230を制御する。UAV制御部110は、撮像装置220の撮像方向又は画角を変更することによって、撮像装置220の撮像範囲を制御する。UAV制御部110は、ジンバル200の回転機構を制御することで、ジンバル200に支持されている撮像装置220の撮像範囲を制御する。
【0083】
本明細書では、撮像範囲は、撮像装置220又は撮像装置230により撮像される地理的な範囲をいう。撮像範囲は、緯度、経度、及び高度で定義される。撮像範囲は、緯度、経度、及び高度で定義される3次元空間データにおける範囲でよい。撮像範囲は、撮像装置220又は撮像装置230の画角及び撮像方向、並びに無人航空機100が存在する位置に基づいて特定される。撮像装置220及び撮像装置230の撮像方向は、撮像装置220及び撮像装置230の撮像レンズが設けられた正面が向く方位と俯角とから定義される。撮像装置220の撮像方向は、無人航空機100の機首の方位と、ジンバル200に対する撮像装置220の姿勢の状態とから特定される方向である。撮像装置230の撮像方向は、無人航空機100の機首の方位と、撮像装置230が設けられた位置とから特定される方向である。
【0084】
UAV制御部110は、回転翼機構210を制御することで、無人航空機100の飛行を制御する。つまり、UAV制御部110は、回転翼機構210を制御することにより、無人航空機100の緯度、経度、及び高度を含む位置を制御する。UAV制御部110は、無人航空機100の飛行を制御することにより、撮像装置220及び撮像装置230の撮像範囲を制御してよい。UAV制御部110は、撮像装置220が備えるズームレンズを制御することで、撮像装置220の画角を制御してよい。UAV制御部110は、撮像装置220のデジタルズーム機能を利用して、デジタルズームにより、撮像装置220の画角を制御してよい。
【0085】
撮像装置220が無人航空機100に固定され、撮像装置220を動かせない場合、UAV制御部110は、特定の日時に特定の位置に無人航空機100を移動させることにより、所望の環境下で所望の撮像範囲を撮像装置220に撮像させることができる。あるいは撮像装置220がズーム機能を有さず、撮像装置220の画角を変更できない場合でも、UAV制御部110は、特定された日時に、特定の位置に無人航空機100を移動させることで、所望の環境下で所望の撮像範囲を撮像装置220に撮像させることができる。
【0086】
UAV制御部110は、例えば通信インタフェース150を介して、連携して飛行する飛行グループに属する複数の無人航空機100の相対的な位置情報を取得してよい。UAV制御部110は、相対的な位置情報をメモリ160に保持させることで、この相対的な位置情報を設定してよい。したがって、UAV制御部110は、設定部の一例である。相対的な位置情報を設定することで、相対的な位置情報を加味して(例えば相対的な位置関係を維持して)、飛行制御することが可能となる。
【0087】
通信インタフェース150は、送信機50と通信する。通信インタフェース150は、遠隔の送信機50からUAV制御部110に対する各種の命令や情報を受信する。
【0088】
メモリ160は、UAV制御部110がジンバル200、回転翼機構210、撮像装置220、撮像装置230、GPS受信機240、慣性計測装置250、磁気コンパス260、気圧高度計270、超音波センサ280、及びレーザー測定器290を制御するのに必要なプログラム等を格納する。メモリ160は、コンピュータ読み取り可能な記録媒体でよく、SRAM(Static Random Access Memory)、DRAM(Dynamic Random Access Memory)、EPROM(Erasable Programmable Read Only Memory)、EEPROM(Electrically Erasable Programmable Read-Only Memory)、及びUSBメモリ等のフラッシュメモリの少なくとも1つを含んでよい。メモリ160は、UAV本体102の内部に設けられてよい。UAV本体102から取り外し可能に設けられてよい。
【0089】
ジンバル200は、少なくとも1つの軸を中心に撮像装置220を回転可能に支持する。ジンバル200は、ヨー軸、ピッチ軸、及びロール軸を中心に撮像装置220を回転可能に支持してよい。ジンバル200は、ヨー軸、ピッチ軸、及びロール軸の少なくとも1つを中心に撮像装置220を回転させることで、撮像装置220の撮像方向を変更してよい。
【0090】
回転翼機構210は、複数の回転翼211と、複数の回転翼211を回転させる複数の駆動モータ212と、駆動モータ212を駆動するための駆動電流の電流値(実測値)を計測する電流センサ213と、を有する。駆動電流は、駆動モータ212に供給される。
【0091】
撮像装置220は、所望の撮像範囲の被写体を撮像して撮像画像のデータを生成する。撮像装置220の撮像により得られた画像データは、撮像装置220が有するメモリ、又はメモリ160に格納される。
【0092】
撮像装置230は、無人航空機100の周囲を撮像して撮像画像のデータを生成する。撮像装置230の画像データは、メモリ160に格納される。
【0093】
GPS受信機240は、複数の航法衛星(つまり、GPS衛星)から発信された時刻及び各GPS衛星の位置(座標)を示す複数の信号を受信する。GPS受信機240は、受信された複数の信号に基づいて、GPS受信機240の位置(つまり、無人航空機100の位置)を算出する。GPS受信機240は、無人航空機100の位置情報をUAV制御部110に出力する。なお、GPS受信機240の位置情報の算出は、GPS受信機240の代わりにUAV制御部110により行われてよい。この場合、UAV制御部110には、GPS受信機240が受信した複数の信号に含まれる時刻及び各GPS衛星の位置を示す情報が入力される。
【0094】
慣性計測装置250は、無人航空機100の姿勢を検出し、検出結果をUAV制御部110に出力する。慣性計測装置IMU250は、無人航空機100の姿勢として、無人航空機100の前後、左右、及び上下の3軸方向の加速度と、ピッチ軸、ロール軸、及びヨー軸の3軸方向の角速度とを検出する。
【0095】
磁気コンパス260は、無人航空機100の機首の方位を検出し、検出結果をUAV制御部110に出力する。
【0096】
気圧高度計270は、無人航空機100が飛行する高度を検出し、検出結果をUAV制御部110に出力する。
【0097】
超音波センサ280は、超音波を放射し、地面や物体により反射された超音波を検出し、検出結果をUAV制御部110に出力する。検出結果は、無人航空機100から地面までの距離つまり高度を示してよい。検出結果は、無人航空機100から物体までの距離を示してよい。
【0098】
レーザー測定器290は、物体にレーザー光を照射し、物体で反射された反射光を受光し、反射光により無人航空機100と物体との間の距離を測定する。レーザー光による距離の測定方式は、一例として、タイムオブフライト方式でよい。
【0099】
次に、送信機50及び携帯端末80の構成例について説明する。
図5は、送信機50が装着された携帯端末80の外観の一例を示す斜視図である。
図5では、携帯端末80の一例として、スマートフォン80Sが示されている。送信機50に対する上下前後左右の方向は、
図5に示す矢印の方向にそれぞれ従うとする。送信機50は、例えば送信機50を使用する人物(以下、「操作者」という)の両手で把持された状態で使用される。
【0100】
送信機50は、例えば略正方形状の底面を有し、かつ高さが底面の一辺より短い略直方体(言い換えると、略箱形)の形状をした樹脂製の筐体50Bを有する。送信機50の筐体表面の略中央には、左制御棒53Lと右制御棒53Rとが突設して配置される。
【0101】
左制御棒53L、右制御棒53Rは、それぞれ操作者による無人航空機100の移動を遠隔で制御(例えば、無人航空機100の前後移動、左右移動、上下移動、向き変更)するための操作において使用される。
図5では、左制御棒53L及び右制御棒53Rは、操作者の両手からそれぞれ外力が印加されていない初期状態の位置が示されている。左制御棒53L及び右制御棒53Rは、操作者により印加された外力が解放された後、自動的に所定位置(例えば
図5に示す初期位置)に復帰する。
【0102】
左制御棒53Lの手前側(言い換えると、操作者側)には、送信機50の電源ボタンB1が配置される。電源ボタンB1が操作者により一度押下されると、例えば送信機50に内蔵されるバッテリ(不図示)の容量の残量がバッテリ残量表示部L2において表示される。電源ボタンB1が操作者によりもう一度押下されると、例えば送信機50の電源がオンとなり、送信機50の各部(
図7参照)に電源が供給されて使用可能となる。
【0103】
右制御棒53Rの手前側(言い換えると、操作者側)には、RTH(Return To Home)ボタンB2が配置される。RTHボタンB2が操作者により押下されると、送信機50は、無人航空機100に所定の位置に自動復帰させるための信号を送信する。これにより、送信機50は、無人航空機100を所定の位置(例えば無人航空機100が記憶している離陸位置)に自動的に帰還させることができる。RTHボタンB2は、例えば屋外での無人航空機100による空撮中に操作者が無人航空機100の機体を見失った場合、又は電波干渉や予期せぬトラブルに遭遇して操作不能になった場合等に利用可能である。
【0104】
電源ボタンB1及びRTHボタンB2の手前側(言い換えると、操作者側)には、リモートステータス表示部L1及びバッテリ残量表示部L2が配置される。リモートステータス表示部L1は、例えばLED(Light Emission Diode)を用いて構成され、送信機50と無人航空機100との無線の接続状態を表示する。バッテリ残量表示部L2は、例えばLEDを用いて構成され、送信機50に内蔵されたバッテリ(不図示)の容量の残量を表示する。
【0105】
左制御棒53L及び右制御棒53Rより後側であって、かつ送信機50の筐体50Bの後方側面から、2つのアンテナAN1,AN2が突設して配置される。アンテナAN1,AN2は、操作者の左制御棒53L及び右制御棒53Rの操作に基づき、送信機制御部61により生成された信号(つまり、無人航空機100の移動を制御するための信号)を無人航空機100に送信する。この信号は、送信機50により入力された操作入力信号の1つである。アンテナAN1,AN2は、例えば2kmの送受信範囲をカバーできる。また、アンテナAN1,AN2は、送信機50と無線接続中の無人航空機100が有する撮像装置220,230により撮像された画像、又は無人航空機100が取得した各種データが無人航空機100から送信された場合に、これらの画像又は各種データを受信できる。
【0106】
図5では、送信機50が表示部を備えていないが、表示部を備えてもよい。
【0107】
携帯端末80は、ホルダHLDに載置されて取り付けられてよい。ホルダHLDは、送信機50に接合されて取り付けられてよい。これにより、携帯端末80がホルダHLDを介して送信機50に装着される。携帯端末80と送信機50とは、有線ケーブル(例えばUSBケーブル)を介して接続されてよい。携帯端末80が送信機50に装着されず、携帯端末80と送信機50がそれぞれ独立して設けられてもよい。
【0108】
図6は、送信機50及び携帯端末80の外観の一例を示す斜視図である。
図6では、携帯端末80の一例として、タブレット80Tが示されている。
【0109】
図7は、送信機50のハードウェア構成の一例を示すブロック図である。送信機50は、左制御棒53Lと、右制御棒53Rと、送信機制御部61と、無線通信部63と、インタフェース部65と、電源ボタンB1と、RTHボタンB2と、操作部セットOPSと、リモートステータス表示部L1と、バッテリ残量表示部L2と、表示部DPとを含む構成である。送信機50は、無人航空機100の制御を指示する操作装置の一例である。
【0110】
左制御棒53Lは、例えば操作者の左手により、無人航空機100の移動を遠隔で制御するための操作に使用される。右制御棒53Rは、例えば操作者の右手により、無人航空機100の移動を遠隔で制御するための操作に使用される。無人航空機100の移動は、例えば前進する方向の移動、後進する方向の移動、左方向の移動、右方向の移動、上昇する方向の移動、下降する方向の移動、左方向に無人航空機100を回転する移動、右方向に無人航空機100を回転する移動のうちいずれか又はこれらの組み合わせであり、以下同様である。
【0111】
電源ボタンB1は一度押下されると、一度押下された旨の信号が送信機制御部61に入力される。送信機制御部61は、この信号に従い、送信機50に内蔵されるバッテリ(不図示)の容量の残量をバッテリ残量表示部L2に表示する。これにより、操作者は、送信機50に内蔵されるバッテリの容量の残量を簡単に確認できる。また、電源ボタンB1は二度押下されると、二度押下された旨の信号が送信機制御部61に渡される。送信機制御部61は、この信号に従い、送信機50に内蔵されるバッテリ(不図示)に対し、送信機50内の各部への電源供給を指示する。これにより、操作者は、送信機50の電源がオンとなり、送信機50の使用を簡単に開始できる。
【0112】
RTHボタンB2は押下されると、押下された旨の信号が送信機制御部61に入力される。送信機制御部61は、この信号に従い、無人航空機100に所定の位置(例えば無人航空機100の離陸位置)に自動復帰させるための信号を生成し、無線通信部63及びアンテナAN1,AN2を介して無人航空機100に送信する。これにより、操作者は、送信機50に対する簡単な操作により、無人航空機100を所定の位置に自動で復帰(帰還)させることができる。
【0113】
操作部セットOPSは、複数の操作部OP(例えば操作部OP1,…,操作部OPn)(n:2以上の整数)を用いて構成される。操作部セットOPSは、
図4に示す左制御棒53L、右制御棒53R、電源ボタンB1及びRTHボタンB2を除く他の操作部(例えば、送信機50による無人航空機100の遠隔制御を支援するための各種の操作部)により構成される。ここでいう各種の操作部とは、例えば、無人航空機100の撮像装置220を用いた静止画の撮像を指示するボタン、無人航空機100の撮像装置220を用いた動画の録画の開始及び終了を指示するボタン、無人航空機100のジンバル200(
図4参照)のチルト方向の傾きを調整するダイヤル、無人航空機100のフライトモードを切り替えるボタン、無人航空機100の撮像装置220の設定を行うダイヤルが該当する。
【0114】
リモートステータス表示部L1及びバッテリ残量表示部L2は、
図6を参照して説明したので、ここでは説明を省略する。
【0115】
送信機制御部61は、プロセッサ(例えばCPU、MPU又はDSP)を用いて構成される。送信機制御部61は、送信機50の各部の動作を統括して制御するための信号処理、他の各部との間のデータの入出力処理、データの演算処理及びデータの記憶処理を行う。
【0116】
送信機制御部61は、無人航空機100の撮像装置220が撮像した撮像画像のデータを、無線通信部63を介して取得してメモリ(不図示)に保存し、インタフェース部65を介して携帯端末80に出力してよい。言い換えると、送信機制御部61は、無人航空機100の撮像装置220により撮像された空撮画像のデータを携帯端末80に表示させてよい。これにより、無人航空機100の撮像装置220により撮像された空撮画像は、携帯端末80において表示可能となる。
【0117】
送信機制御部61は、操作者の左制御棒53L及び右制御棒53Rの操作により、その操作により指定された無人航空機100の飛行を制御するための指示信号を生成してよい。送信機制御部61は、この指示信号を、無線通信部63及びアンテナAN1,AN2を介して、無人航空機100に送信して無人航空機100を遠隔制御してよい。これにより、送信機50は、無人航空機100の移動を遠隔で制御できる。
【0118】
送信機制御部61は、送信機50が有する任意のボタンや任意の操作部への操作に基づく操作入力信号を生成し、無線通信部63を介して、操作入力信号を無人航空機100に送信してよい。この場合、無人航空機100は、操作入力信号を送信機50から受信することで、送信機50の操作者の制御下にあることを認識可能である。
【0119】
無線通信部63は、2つのアンテナAN1,AN2と接続される。無線通信部63は、2つのアンテナAN1,AN2を介して、無人航空機100との間で所定の無線通信方式(例えばWifi(登録商標))を用いた情報やデータの送受信を行う。
【0120】
インタフェース部65は、送信機50と携帯端末80との間の情報やデータの入出力を行う。インタフェース部65は、例えば送信機50に設けられたUSBポート(不図示)でよい。インタフェース部65は、USBポート以外のインタフェースでもよい。
【0121】
図8は、携帯端末80のハードウェア構成の一例を示すブロック図である。携帯端末80は、プロセッサ81、インタフェース部82、操作部83、無線通信部85、メモリ87、及びディスプレイ88を備えてよい。携帯端末80は、位置処理装置の一例である。
【0122】
プロセッサ81は、例えばCPU、MPU又はDSPを用いて構成される。プロセッサ81は、携帯端末80の各部の動作を統括して制御するための信号処理、他の各部との間のデータの入出力処理、データの演算処理及びデータの記憶処理を行う。
【0123】
プロセッサ81は、無線通信部85を介して、無人航空機100からのデータや情報を取得してよい。プロセッサ81は、インタフェース部82を介して、送信機50からのデータや情報を取得してよい。プロセッサ81は、操作部83を介して入力されたデータや情報を取得してよい。プロセッサ81は、メモリ87に保持されたデータや情報を取得してよい。プロセッサ81は、データや情報をディスプレイ88に送り、このデータや情報に基づく表示情報をディスプレイ88に表示させてよい。
【0124】
プロセッサ81は、無人航空機100の制御を指示するためのアプリケーションを実行する。アプリケーションは、複数の無人航空機100を協調して飛行させるための相対的な位置情報を処理するための相対位置処理アプリケーションを含んでよい。プロセッサ81は、アプリケーションで用いられる各種のデータを生成してよい。
【0125】
インタフェース部82は、送信機50と携帯端末80との間の情報やデータの入出力を行う。インタフェース部82は、例えば携帯端末80に設けられたUSBコネクタ(不図示)でよい。インタフェース部65は、USBコネクタ以外のインタフェースでもよい。
【0126】
操作部83は、携帯端末80の操作者により入力されるデータや情報を受け付ける。操作部83は、ボタン、キー、タッチパネル、マイクロホン、等を含んでよい。ここでは、主に、操作部83とディスプレイ88とがタッチパネルにより構成されることを例示する。この場合、操作部83は、タッチ操作、タップ操作、ドラック操作等を受付可能である。
【0127】
無線通信部85は、各種の無線通信方式により、無人航空機100Bとの間で通信する無線通信方式は、例えば、無線LAN、Bluetooth(登録商標)、近距離無線通信、又は公衆無線回線を介した通信を含んでよい。無線通信部85は、出力部の一例である。
【0128】
メモリ87は、例えば携帯端末80の動作を規定するプログラムや設定値のデータが格納されたROMと、プロセッサ81の処理時に使用される各種の情報やデータを一時的に保存するRAMを有してよい。メモリ87は、ROM及びRAM以外のメモリが含まれてよい。メモリ87は、携帯端末80の内部に設けられてよい。メモリ87は、携帯端末80から取り外し可能に設けられてよい。プログラムは、アプリケーションプログラムを含んでよい。
【0129】
ディスプレイ88は、例えばLCD(Liquid Crystal Display)を用いて構成され、プロセッサ81から出力された各種の情報やデータを表示する。ディスプレイ88は、無人航空機100の撮像装置220により撮像された空撮画像のデータを表示してよい。ディスプレイ88は、相対位置処理アプリケーションで用いられる相対位置処理画面を表示してよい。
【0130】
図9は、携帯端末80の機能構成の一例を示すブロック図である。プロセッサ81は、メモリ87に保持されたプログラムを実行することで、UAV指定部811、位置情報取得部812、相対位置処理部813、及び撮像情報処理部814の機能を有する。UAV指定部811は、選択部の一例である。位置情報取得部812は、取得部の一例である。相対位置処理部813は、決定部の一例である。
【0131】
UAV指定部811は、複数(例えば3台)の無人航空機100の中から、1つの飛行グループを形成する複数(例えば2台)の無人航空機100を指定(選択)する。つまり、UAV指定部811は、複数の無人航空機100を指定して、1つ以上の飛行グループを形成する。UAV指定部811は、操作部83に入力された指定情報を基に、無人航空機100を指定してよい。操作部83に入力された指定情報は、タッチパネルへのタッチ情報でもよいし、無人航空機100を識別するための識別情報の入力(例えばキー入力、ボタン入力、音声入力)でもよい。
【0132】
UAV指定部811は、各種の処理画面(例えば相対位置処理画面)において表示された複数の無人航空機100のうち、操作部83を介して、飛行グループを形成する無人航空機100を指定してよい。処理画面に表示される複数の無人航空機100の位置は、位置情報取得部812により取得された各無人航空機100の位置情報に基づいて決定されてよい。
【0133】
位置情報取得部812は、無人航空機100の位置情報(例えば現在位置の情報)を取得する。位置情報取得部812は、例えば無線通信部85を介して、無人航空機100の位置情報を取得してよい。位置情報取得部812は、例えば送信機50及びインタフェース部82を介して、無人航空機100の位置情報を取得してよい。この無人航空機100の位置情報は、無人航空機100の絶対位置の情報でよい。
【0134】
無人航空機100の位置情報は、無人航空機100のGPS受信機240により受信された位置情報を含んでよい。無人航空機100の位置情報は、3次元地図データベースを参照して得られた位置情報を含んでよい。無人航空機100の位置情報は、気圧高度計270、超音波センサ280、又はレーザー測定器290により得られた高度情報を含んでよい。
【0135】
なお、本実施形態では、絶対位置の情報は、1つの無人航空機100等の物体の位置により規定される位置情報(例えば緯度、経度、高度の情報)である。これに対し、相対位置の情報は、複数の無人航空機等の物体間の位置関係により規定される位置情報(例えば何らかの基準の位置に対する距離、方向の情報)でよい。
【0136】
相対位置処理部813は、同じ飛行グループに含まれる複数の無人航空機100の相対的な位置情報を決定する。複数の無人航空機100の相対的な位置情報は、複数の無人航空機100の各々の相対的な位置関係の情報とも言える。相対位置処理部813は、複数の無人航空機100の飛行中且つ送信機50による飛行操作中における相対的な位置関係を決定してよい。
【0137】
相対位置処理部813は、同じ飛行グループに含まれる複数の無人航空機100のうち特定の1台の無人航空機100を基準として、この無人航空機100に対するその他の無人航空機100のそれぞれの位置の情報を、相対的な位置情報として決定してよい。
【0138】
相対位置処理部813は、同じ飛行グループに含まれる複数の無人航空機100の位置(絶対位置)を基に、飛行グループにおける基準となる位置(基準位置)を決定してよい。相対位置処理部813は、基準位置を基準として、基準位置に対する複数の無人航空機100の各々の位置の情報を、相対的な位置情報として決定してよい。
【0139】
相対位置処理部813は、各種の処理画面(例えば相対位置処理画面)において表示された複数の無人航空機100のうち、操作部83を介して、相対位置の設定対象の無人航空機100の位置をドラッグ操作により変更し、相対的な位置情報を変更してよい。つまり、相対位置処理部813は、ドラッグ操作により、相対的な位置情報を調整してよい。相対位置処理部813は、操作部83を介して、複数の無人航空機100の間の距離の値を取得し、この距離に基づいて相対的な位置情報を決定してよい。
【0140】
次に、同じ飛行グループに属する複数の無人航空機100の相対的な位置情報の決定例について説明する。
【0141】
同じ飛行グループに含まれる複数の無人航空機100は、各々が協調して飛行してよい。飛行グループは、携帯端末80により形成されてよい。相対的な位置情報は、携帯端末80により決定されてよい。
【0142】
図10は、位置関係処理画面SGにおける同じ飛行グループに属する無人航空機100の指定例を示す図である。位置関係処理画面SGは、ディスプレイ88の少なくとも一部に表示されてよい。以降の位置関係処理画面SGでも同様である。
【0143】
図10の位置関係処理画面SGには、UAV画像G11〜G13が表示されている。UAV画像G11,G12,G13は、各無人航空機100の絶対位置に対応して表示され、3台の無人航空機100G11,100G12,100G13(いずれも不図示)の各々の位置を示す。位置関係処理画面SGにより示されるエリアは、実空間における無人航空機100が置かれたエリアに対応し、実空間のエリアに対して所定の縮尺で示されてよい。位置関係処理画面SGにおけるUAV画像G11〜G13の表示位置は、位置情報取得部812により取得された絶対位置に応じた位置でよい。UAV画像は、飛行体画像の一例である。
【0144】
図10では、UAV画像G11が見やすい位置となるよう、UAV画像G11が位置関係処理画面SGの中心に位置するように表示されてよい。尚、他のUAV画像G11が中心に位置するように表示されてもよい。
【0145】
図10では、操作部83は、UAV画像G11,G12に対するタッチ操作を受け付ける。相対位置処理部813は、操作部83へのこのタッチ操作の情報を取得し、UAV画像G11,G12に対応する無人航空機100G11,100G12を、飛行グループを形成するための無人航空機100として指定する。一方、相対位置処理部813は、操作部83を介したUAV画像G13へのタッチ操作の情報を取得しないので、UAV画像G13に対応する無人航空機100G13を、飛行グループを形成するための無人航空機100として指定しない。
【0146】
図11は、位置関係処理画面SGにおける無人航空機100の水平方向の位置の調整例を示す図である。
図11では、選択された複数の無人航空機100を上方から見た位置関係を示してよい。
【0147】
図11では、
図10の位置関係処理画面SGにおいて選択されたUAV画像G11,G12が表示され、選択されなかったUAV画像G13は表示されていない。
図11では、操作部83は、UAV画像G12に対するドラッグ操作を受け付けてよい。相対位置処理部813は、操作部83へのこのドラッグ操作の情報を取得し、ドラッグ操作に応じてUAV画像G12の表示位置を変更する。
図11では、水平方向の座標を示すxy座標において、無人航空機100G11に対する無人航空機100G12の距離が、x方向に沿って距離L1(例えば50cm)となり、y方向に沿って距離0となるように、相対位置処理部813は、位置関係処理画面SGにおけるUAV画像G12の位置を、操作部83を介して調整する。この場合、UAV画像G12aからUAV画像G12bの位置へドラッグ操作される。ディスプレイ88は、このドラッグ操作に応じて、相対的な位置情報(例えば距離の情報)を表示してよい。これにより、携帯端末80の操作者は、ドラッグ操作によって変更された距離を具体的に理解できる。
【0148】
なお、
図11において、各UAV画像G12内に描かれた矢印arは、撮像装置220又は230の向き、つまり撮像方向を示している。このことは、以降でも同じである。撮像装置220がメインカメラとして機能してよい。撮像装置230がサブカメラとして機能してよい。
【0149】
図12は、位置関係処理画面SGにおける無人航空機100の高さ方向(重力方向)の位置の調整例を示す図である。
図12では、選択された複数の無人航空機100を水平方向から見た位置関係を示してよい。
【0150】
図12では、
図10の位置関係処理画面SG1において選択されたUAV画像G11,G12が表示され、選択されなかったUAV画像G13は表示されていない。
図12では、操作部83は、UAV画像G12に対するドラッグ操作を受け付けてよい。相対位置処理部813は、操作部83へのこのドラッグ操作の情報を取得し、ドラッグ操作に応じてUAV画像G12の表示位置を変更する。
図12では、高さ方向の座標を示すxz座標において、無人航空機100G11に対する無人航空機100G12の距離が、x方向に沿って距離L1となり、z方向に沿って距離L2(例えば80cm)となるように、相対位置処理部813は、位置関係処理画面SG3におけるUAV画像G12の位置を、操作部83を介して調整する。この場合、UAVG12aからUAV画像G12bの位置へドラッグ操作されてよい。
【0151】
相対的な位置情報の設定時には、位置関係処理画面SG1、SG2、SG3の順に表示され、水平方向、高さ方向の順に相対的な位置情報が決定され、設定されてよい。また、相対的な位置情報の決定時には、位置関係処理画面SG1、SG3、SG2の順に表示され、高さ方向、水平方向の順に相対的な位置情報が決定され、設定されてよい。
【0152】
図11、
図12に示した調整例によれば、携帯端末80の操作者は、実際の無人航空機100G11,100G12に対応するUAV画像G11,G12の表示位置をディスプレイ88上で確認しながら、UAV画像G11,G12の位置を簡単に調整できる。携帯端末80は、この簡単な操作により、UAV画像G11とUAV画像G12との間の相対的な位置関係を決定できる。また、携帯端末80の操作者は、3次元空間におけるどの方向(例えば、水平方向、高さ方向)における位置調整であるかを認識して、相対的な位置関係を調整できる。また、携帯端末80の操作者は、表示された画面に対する直感的な操作(例えばドラッグ操作)により、無人航空機100G11,100G12の間の距離を決定できる。
【0153】
図11,
図12とは異なり、操作部83が、無人航空機100G11,100G12の間の具体的な距離の値を入力してもよい。相対位置処理部813は、この距離の情報(例えば水平方向に50cm、高さ方向に80cm)を、相対的な位置情報として決定してもよい。これにより、携帯端末80の操作者は、ディスプレイ88を使用せずに、相対的な位置情報を決定できる。
【0154】
このように、携帯端末80は、水平方向及び高さ方向を含む3次元空間における相対的な位置情報を決定することで、複数の無人航空機100が飛行可能な飛行範囲である3次元空間での相対的な位置関係を規定できる。よって、携帯端末80は、無人航空機100の飛行の実態に即した相対的な位置情報を決定できる。
【0155】
なお、3次元空間における相対的な位置情報を決定に限らず、2次元空間における相対的な位置情報を決定してよい。例えば、携帯端末80は、複数の無人航空機100が同一平面上(例えば水平面上)に配置されることを前提として、この平面におけるどの位置に各無人航空機100が配列されるかを決定してもよい。
【0156】
図13は、飛行グループを形成する複数の無人航空機100の水平方向の基準位置の一例を示す模式図である。
図13では、飛行グループは、UAV画像G11,G12に対応する2台の無人航空機100G11,100G12を含む。飛行グループにおける相対的位置関係を決定するための基準となる位置は、基準位置RPで示されている。水平方向の基準位置RPは、同じ飛行グループに含まれる複数の無人航空機100G11,100G12の水平方向の中間位置、中心位置、重心位置、又はその他の基準となる位置でよい。
【0157】
図13では、基準位置RPの一例として、無人航空機100G11,100G12の水平方向の中心位置が示されている。複数の無人航空機100G11,100G12の相対的な位置情報として、基準位置RPに対する無人航空機100G11,100G12のそれぞれの水平方向の位置の情報が含まれてよい。具体的には、基準位置RPに対する無人航空機100G11の相対的な位置情報は、−x方向に(1/2)×L1の距離である、という情報を含んでよい。また、基準位置RPに対する無人航空機100G12の相対的な位置情報は、+x方向に(1/2)×L1の距離である、という情報を含んでよい。
【0158】
図14は、飛行グループを形成する複数の無人航空機100の高さ方向の基準位置の一例を示す模式図である。
図14では、飛行グループは、UAV画像G11,G12に対応する2台の無人航空機100G11,100G12を含む。飛行グループにおける相対的位置関係を決定するための基準となる位置は、基準位置RPで示されている。高さ方向の基準位置RPは、同じ飛行グループに含まれる複数の無人航空機100G11,100G12の高さ方向の中間位置、中心位置、重心位置、その他の基準となる位置でよい。
【0159】
図14では、基準位置RPの一例として、無人航空機100G11,100G12の高さ方向の中心位置が示されている。複数の無人航空機100G11,100G12間の相対的な位置情報として、基準位置RPに対する無人航空機100G11,100G12のそれぞれの高さ方向の位置の情報が含まれてよい。具体的には、基準位置RPに対する無人航空機100G11の相対的な位置情報は、−z方向に(1/2)×L2の距離である、という情報を含んでよい。また、基準位置RPに対する無人航空機100G12の相対的な位置情報は、+z方向に(1/2)×L2の距離である、という情報を含んでよい。
【0160】
このように、相対位置処理部813は、基準位置RPに対する各無人航空機100の相対的な位置情報を決定してよい。これにより、携帯端末80は、各無人航空機100と基準位置RPとの差分により、容易に相対的な位置情報を生成できる。また、携帯端末80は、複数の無人航空機100が飛行する場合でも、飛行グループの基準位置を基準とした飛行形態にさせることができる。よって、携帯端末80は、複数の無人航空機100に対して、単体の無人航空機100の飛行形態を単純に複数に拡張したような飛行方法を提供でき、送信機50の操作者による無人航空機100の操作を容易化できる。
【0161】
相対位置処理部813は、複数の無人航空機100G11,100G12の相対的な位置情報に、水平方向及び高さ方向の少なくとも一方の距離の情報とともに、無人航空機100G11,100G12の識別情報を含めてもよい。この場合、相対的な位置情報には、無人航空機100G11,100G12の識別情報と距離の情報とが関連付けて含まれてよい。無人航空機100の識別情報は、例えば、製造時に付与される個体識別番号、操作者に設定されるユーザ識別番号、又はその他の識別情報でよい。
【0162】
このように、相対的な位置情報に、無人航空機100G11,100G12の識別情報と無人航空機100G11,100G12の相対的な位置情報とが関連付けて含まれてよい。これにより、飛行システム10は、無人航空機100G11の飛行中や送信機50による飛行操作中に、基準位置RP等に対してどの無人航空機100がどの位置を飛行すべきかを規定できる。
【0163】
次に、飛行グループを形成する複数の無人航空機100の配列決定例について説明する。
【0164】
図15は、飛行グループを形成する複数の無人航空機100の第1配列決定例を示す模式図である。
【0165】
図15では、基準位置RPを中心位置として、基準位置RPの周囲に対称的に4つのUAV画像G11,G12,G13,G14、つまり無人航空機100G11,100G12,100G13,100G14が配列される。
図15では、一辺の長さがL3である正方形状の頂点に、各無人航空機100G11,100G12,100G13,100G14が配置される。
図15では、無人航空機100G11に対応するUAV画像G11が、xy座標上の中心位置となっている。無人航空機100G11は、相対的な位置情報を処理する携帯端末80が取り付けられた送信機50により飛行の制御が指示される無人航空機100でよい。第1配列決定例は、+y方向が飛行グループの前進時の進行方向でよい。
【0166】
図16は、飛行グループを形成する複数の無人航空機100の第2配列決定例を示す模式図である。
【0167】
第2配列決定例は、第1配列決定例とほぼ同じであるが、
図16では、基準位置RPがxy座標上の中心位置となっている。
図16では、基準位置RPに対する無人航空機100G11の位置が、+y方向から−x方向に45°傾斜した方向に、(1/√2)×L3の距離であるという情報が、相対的な位置情報に含まれてよい。基準位置RPに対する無人航空機100G12,100G13,100G14のそれぞれの位置についても、相対的な位置情報に含まれてよい。第2配列決定例は、+y方向が飛行グループの前進時の進行方向でよい。
【0168】
図17は、飛行グループを形成する複数の無人航空機100の第3配列決定例を示す模式図である。
【0169】
第3配列決定例では、第2配列決定例と比較すると、各無人航空機100が備える各撮像装置220又は230の向きが異なり、各撮像装置220又は230により撮像される撮像方向が異なる。
図17では、相対位置処理部813が、複数の無人航空機100の相対的な位置情報を決定するとともに、撮像情報処理部814が、複数の無人航空機100の各々の撮像方向の情報を決定してよい。撮像情報処理部814は、飛行グループを形成する無人航空機100の台数に基づいて、各無人航空機100の撮像方向の情報を決定してよい。撮像情報処理部814は、同じ飛行グループとして指定された無人航空機100の台数をメモリ87に保持しておき、取得してよい。例えば、飛行グループを形成する無人航空機100の台数が4台である場合、撮像情報処理部814は、1周である360度を均等に4分割した90度ずつ異なる撮像方向の情報を算出して決定してよい。また、撮像情報処理部814は、基準位置RPから複数の無人航空機100の各々を見た方向を、無人航空機100の各々の撮像方向とする撮像方向の情報として決定してよい。
【0170】
図17では、無人航空機100G11が上方向(例えば飛行グループの前進時の進行方向)を撮像方向とし、無人航空機100G12が右方向を撮像方向とし、無人航空機100G13が下方向を撮像方向とし、無人航空機100G14が左方向を撮像方向とする撮像方向の情報が決定されてよい。
【0171】
また、撮像情報処理部814は、各無人航空機100の撮像方向を決定する場合、各無人航空機100が備える各撮像装置220又は230の画角の情報を決定してよい。画角に応じて、撮像範囲が決定される。撮像情報処理部814は、飛行グループを形成する無人航空機100の台数に基づいて、各無人航空機100が備える各撮像装置220又は230の画角の情報を決定してよい。撮像情報処理部814は、飛行グループを形成する無人航空機100の台数が4台である場合、1周である360度を均等に4分割した90度以上として画角の情報を算出して決定してよい。
【0172】
これにより、この撮像方向や画角の情報に従う各無人航空機100が画像を撮像すると、飛行グループの周囲の360度分の撮像画像が得られる。よって、画像処理装置(例えば携帯端末80)が、これらの撮像画像を取得して所定の画像処理することで、飛行グループの周囲を被写体としたパノラマ画像やステレオ画像を得ることができる。
【0173】
図18は、飛行グループを形成する複数の無人航空機100の第4配列決定例を示す模式図である。
【0174】
第4配列決定例は、第3配列決定例とほぼ同じであるが、飛行グループを形成する無人航空機100の台数が3台であることを想定している。また、UAV画像G11,G12,G13に対応する無人航空機100G11,100G12,100G13が、それぞれ正三角形の頂点の位置に配列されている。したがって、撮像情報処理部814は、1周である360度を均等に3分割した120度ずつ異なる撮像方向の情報を算出して決定してよい。
【0175】
図18では、無人航空機100G11が、上方向(例えば飛行グループの前進時の進行方向)を撮像方向とし、無人航空機100G12が、無人航空機100G11の撮像方向を時計周りに120度回転した方向を撮像方向とし、無人航空機100G13が、無人航空機100G12の撮像方向を時計周りに120度回転した方向を撮像方向とする撮像方向の情報が決定されてよい。
【0176】
撮像情報処理部814は、1周である360度を均等に3分割した120度以上として画角の情報を算出して決定してよい。これにより、各無人航空機100が画像を撮像すると、飛行グループの周囲の360度分の撮像画像が得られる。よって、画像処理装置(例えば携帯端末80)が、これらの撮像画像を取得して所定の画像処理することで、飛行グループの周囲を被写体としたパノラマ画像やステレオ画像を得ることができる。
【0177】
図19は、飛行グループを形成する複数の無人航空機100の第5配列決定例を示す模式図である。
【0178】
第5配列決定例に示すように、基準位置RPに対して、複数の無人航空機100G11〜100G14が非対称に配列され、相対的な位置情報が決定されてよい。また、無人航空機100G11〜100G14の撮像方向が不均等、不規則になるように、撮像方向の情報が決定されてよい。
【0179】
撮像情報処理部814は、各無人航空機100の撮像方向や画角を含む撮像パラメータを、無人航空機100の台数に基づいて決定する代わりに、操作部83を介して入力情報として取得してもよい。これにより、携帯端末80は、対称性が無い場合等、演算等により撮像方向や画角のパラメータを画一的に決定することが困難な場合でも、複数の無人航空機100について個別に撮像パラメータを決定できる。
【0180】
このように、対称性、均等性、又は規則性を有する相対的な位置情報や撮像方向等のパラメータが決定され、設定されるだけでなく、非対称性、不均等性、又は不規則性を有する相対的な位置情報や撮像方向等のパラメータが決定され、設定されてよい。相対的な位置情報や撮像方向等のパラメータは、飛行前に無人航空機100G11〜100G14の各々に設定されて、保持されてよい。これにより、同じ飛行グループを形成する無人航空機100G11〜100G14の各々は、設定された相対的な位置情報や撮像パラメータが示す撮像方向や画角を維持しながら、協調して飛行できる。
【0181】
次に、飛行システム10の動作例について説明する。
図20は、飛行システム10の動作例を示すフローチャートである。
【0182】
位置情報取得部812は、複数の無人航空機100の中から、同じ飛行グループを形成する複数の無人航空機100を指定する(S11)。相対位置処理部813は、同じ飛行グループに属する複数の無人航空機100の相対的な位置情報を決定する(S12)。撮像情報処理部814は、複数の無人航空機100の各々による撮像パラメータ(例えば撮像方向、画角の情報)を決定してよい(S13)。無線通信部85又はインタフェース部82は、決定情報(例えば、相対的な位置情報、撮像パラメータ)を、複数の無人航空機100の各々に送信してよい(S14)。
【0183】
複数の無人航空機100の各々では、通信インタフェース150が、携帯端末80からの決定情報を受信する(S15)。UAV制御部110は、受信された決定情報を、メモリ160に保持させることで、決定情報を設定する(S16)。よって、相対的な位置情報や撮像パラメータが設定される。相対的な位置情報は、複数の無人航空機100が協調して飛行する前に、各無人航空機100に設定(メモリ160に保持)されればよい。
【0184】
なお、S14では、携帯端末80により決定情報が送信されることを例示したが、その他の方法で決定情報が出力されてよい。例えば、プロセッサ81は、任意の記録媒体に対して決定情報を記録してよい。この場合、無人航空機100と携帯端末80との間で通信が不可の場合でも、記録媒体を介して、各無人航空機100に対して決定情報を設定できる。
【0185】
携帯端末80によれば、無人航空機100の飛行中に送信機50により飛行の制御を指示する場合における、飛行グループに属する複数の無人航空機100の相対的な位置情報を決定できる。この決定された情報は、無人航空機100に設定され得る。よって、携帯端末80は、送信機50により無人航空機100が飛行操作されることで、事前に設定されていない飛行ルートや飛行位置であっても、複数の無人航空機100が協調して飛行することを可能にできる。よって、携帯端末80は、協調して無人航空機100が飛行する場合でも、送信機50によりリアルタイムに飛行ルート等を指定することを可能にし、協調飛行時の無人航空機の自由度を向上できる。また、携帯端末80は、相対的な位置情報を飛行グループの各無人航空機100に提供することで、1つの送信機50により複数の無人航空機を協調して飛行させることができる。
【0186】
また、飛行システム10によれば、無人航空機100の飛行中に送信機50により飛行の制御を指示する場合における、飛行グループに属する複数の無人航空機100の相対的な位置情報を決定できる。この決定された情報は、無人航空機100に設定され得る。よって、飛行システム10は、送信機50により無人航空機100が飛行操作されることで、事前に設定されていない飛行ルートや飛行位置であっても、複数の無人航空機100が協調して飛行することを可能にできる。よって、飛行システム10は、協調して無人航空機100が飛行する場合でも、送信機50によりリアルタイムに飛行ルート等を指定することを可能にし、協調飛行時の無人航空機の自由度を向上させることができる。また、飛行システム10は、相対的な位置情報を飛行グループの各無人航空機100に提供することで、1つの送信機50により複数の無人航空機を協調して飛行させることができる。
【0187】
携帯端末80は、所定のエリアに置かれた複数の無人航空機100の位置情報をGPS等により検出して、ディスプレイ88に表示させ、UAV画像G11〜G13等をタッチ操作やドラッグ操作により相対的な位置関係を調整することを説明した。この代わりに、相対位置処理部813は、複数の無人航空機100の各々においてGPS等により検出された複数の位置情報(絶対位置の情報)から、これらの複数の位置情報の間の差分を算出し、この差分を、複数の無人航空機100の相対的な位置情報として決定してよい。
【0188】
つまり、携帯端末80は、GPS等の取得された位置情報を基に、操作部83による操作を介さずに、複数の無人航空機100の相対的な位置情報を決定してよい。これにより、相対的な位置情報を決定するために特別な操作が不要となり、ユーザの利便性が向上する。
【0189】
なお、送信機50が、携帯端末80が有する機能を有してもよい。この場合、送信機50が省略されてもよい。また、携帯端末80が、送信機50が有する機能を有してもよい。この場合、送信機50が省略されてもよい。
【0190】
(第2の実施形態)
第2の実施形態では、飛行グループを形成する複数の無人航空機が、設定された相対的な位置情報を考慮して、送信機による操作信号に従って飛行することを想定する。相対的な位置情報は、第1の実施形態で説明した相対的な位置情報でよい。
【0191】
図21は、第2の実施形態における飛行システム10Aの構成例を示す模式図である。飛行システム10Aは、無人航空機100A、送信機50A、及び携帯端末80Aを備える。無人航空機100A、送信機50A、及び携帯端末80Aは、相互に有線通信又は無線通信(例えば無線LAN(Local Area Network))により通信可能である。第2の実施形態において、第1の実施形態と同様の構成や動作については、説明を省略又は簡略化する。
【0192】
図22は、無人航空機100Aのハードウェア構成の一例を示すブロック図である。無人航空機100Aは、第1の実施形態における無人航空機100と比較すると、メモリ160の代わりに、メモリ160Aを備える。
図22の無人航空機100Aにおいて、
図4の無人航空機100と同様の構成については、同一の符号を付し、その説明を省略又は簡略化する。
【0193】
メモリ160Aは、メモリ160の機能に有するとともに、協調制御情報CCを保持する。協調制御情報CCは、同じ飛行グループに属する複数の無人航空機100Aが協調して飛行するための制御情報を含む。協調制御情報CCは、同じ飛行グループに属する複数の無人航空機100Aの相対的な位置情報を含む。この相対的な位置情報は、基準位置RPと各無人航空機100Aとの間の距離を示す距離情報を含んでよい。この相対的な位置情報は、基準位置RPから見た各無人航空機100Aが位置する方向を示す方向情報を含んでよい。協調制御情報CCは、撮像パラメータ(例えば撮像方向の情報、画角の情報)を含んでよい。協調制御情報CCは、送信機50Aの飛行操作により複数の無人航空機100Aが協調飛行する前に、メモリ160Aに保持される。
【0194】
メモリ160Aは、同じ飛行グループについての異なる複数の協調制御情報CCを保持してよい。つまり、メモリ160Aは、同じ飛行グループについての異なる複数の相対的な位置情報を保持してよい。
【0195】
図23は、UAV制御部110Aの機能構成の一例を示すブロック図である。UAV制御部110Aは、信号取得部111、第1相対位置取得部112、第1絶対位置取得部113、第2絶対位置取得部114、撮像画像取得部115、第2相対位置取得部116、画角情報取得部117、動作モード設定部118、飛行制御部119、及び撮像制御部120を備える。
【0196】
信号取得部111は、第1の取得部の一例である。第1相対位置取得部112は、第1の取得部の一例である。第1絶対位置取得部113は、計算部の一例である。第2絶対位置取得部114は、第2の取得部の一例である。第2相対位置取得部116は、計算部の一例である。撮像画像取得部115は、第1の取得部の一例である。画角情報取得部117は、第1の取得部の一例である。飛行制御部119は、制御部の一例である。撮像制御部120は、制御部の一例である。
【0197】
信号取得部111は、各種信号を取得する。信号取得部111は、通信インタフェース150を介して、送信機50Aからの指示信号を取得してよい。指示信号は、無人航空機100Aの飛行制御を指示する信号でよい。指示信号は、無人航空機100Aを上昇又は下降させるためのスロットル指示情報を含んでよい。指示信号は、無人航空機100Aを前進又は後退させるためのピッチ指示情報を含んでよい。指示信号は、無人航空機100Aを右方向に進行(「右進」とも称する)又は左方向に進行(「左進」とも称する)させるためのロール指示情報を含んでよい。指示信号は、無人航空機100Aを右旋回又は左旋回させるためのラダー指示情報(旋回指示情報の一例)を含んでよい。
【0198】
第1相対位置取得部112は、同じ飛行グループに属する複数の無人航空機100Aの相対的な位置情報を取得する。第1相対位置取得部112は、相対的な位置情報を、メモリ160から取得してよい。第1相対位置取得部112は、相対的な位置情報を、通信インタフェース150を介して、外部装置(例えば送信機50A)から取得してよい。
【0199】
相対的な位置情報は、飛行グループにおける基準位置RPを基準とした、基準位置RPに対する無人航空機100A(自機)の相対的な位置情報を含んでよい。相対的な位置情報は、基準位置RPに対する他の無人航空機100A(他機)の相対的な位置情報を含んでよい。基準位置RPは、第1の実施形態と同様に、同じ飛行グループに含まれる複数の無人航空機100Aの中間位置、中心位置、重心位置、又はその他の基準となる位置でよい。
【0200】
相対的な位置情報は、飛行グループにおける任意の無人航空機100Aを基準とした、この任意の無人航空機100Aに対する無人航空機100A(自機)の相対的な位置情報を含んでよい。つまり、任意の無人航空機100Aの存在位置が基準位置RPとされてよい。相対的な位置情報は、飛行グループにおける任意の無人航空機100Aを基準とした、この任意の無人航空機100Aに対する他の無人航空機100A(他機)の相対的な位置情報を含んでよい。
【0201】
第1相対位置取得部112は、自機の相対的な位置情報及び他機の相対的な位置情報を含む場合、相対的な位置情報に関連付けられた無人航空機100Aの識別情報を参照して、自機の相対的な位置情報を識別して取得してよい。
【0202】
第1絶対位置取得部113は、基準位置RPの位置情報と基準位置に対する無人航空機100Aの相対的な位置情報とを基に、無人航空機100Aの位置情報(絶対位置の情報)(第2の飛行位置の情報の一例)を生成(例えば計算)してよい。基準位置の位置情報は、送信機50Aからの指示情報に含まれてよいし、過去の算出結果としてメモリ160に保持されていてもよい。
【0203】
第2絶対位置取得部114は、GPS受信機240により取得された無人航空機100Aの位置情報(第1の飛行位置情報の一例)を取得してよい。第2絶対位置取得部114は、GPS受信機240以外により得られた無人航空機100Aの位置情報を取得してもよい。
【0204】
撮像画像取得部115は、無人航空機100Aの撮像装置220又は230により撮像された撮像画像を取得してよい。通信インタフェース150を介して、他の無人航空機100Aの撮像装置220又は230により撮像された撮像画像を取得してよい。撮像画像取得部115は、メモリ160に保持された撮像画像を取得してよい。メモリ160に保持された撮像画像は、無人航空機100Aにより撮像された撮像画像でもよいし、他の無人航空機100Aにより撮像された撮像画像でもよい。
【0205】
第2相対位置取得部116は、任意の物体(例えば他の無人航空機100A)との間の相対的な位置情報を取得する。第2相対位置取得部116は、任意の物体までの距離を示す距離情報を取得してよい。第2相対位置取得部116は、超音波センサ280により得られた距離情報を取得してよい。第2相対位置取得部116は、レーザー測定器290により得られた距離情報を取得してよい。
【0206】
第2相対位置取得部116は、撮像画像取得部115から撮像画像を取得してよい。第2相対位置取得部116は、撮像画像に基づいて、撮像画像に含まれる特定の物体(例えば他の無人航空機100A)に対する無人航空機100Aの相対的な位置情報を算出し、取得してよい。第2相対位置取得部116は、撮像画像に対する特定の物体のサイズを抽出することで、特定の物体までの距離を算出し、距離情報を取得してよい。特定の物体の実際のサイズの情報を予めメモリ160等に保持すれば、距離情報が取得可能である。第2相対位置取得部116は、撮像画像における特定の物体が映り込んだ領域の位置によって、無人航空機100Aに対する特定の物体が存在する方向を算出し、取得してよい。
【0207】
第2相対位置取得部116は、取得された複数の撮像画像をステレオ画像として用いて、複数の撮像画像に映り込んだ特定の物体までの距離情報を算出してよい。この場合、特定の物体の実際のサイズが不明であっても、距離情報が取得可能である。例えば、同じ飛行グループに属する3台の無人航空機100Aのうち、前方に1台、後方に2台の無人航空機が飛行するとする。この場合、第2相対位置取得部116は、後方の2台の無人航空機100Aが前方の1台の無人航空機100Aを撮像することで、例えば三角法に従って、後方の2台の無人航空機100Aに対する前方の1台の無人航空機100Aの相対的な位置情報(例えば距離や方向の情報)を取得してよい。
【0208】
画角情報取得部117は、無人航空機100Aが備える撮像装置220又は230から撮像装置220又は230の画角情報を取得してよい。画角情報取得部117は、通信インタフェース150を介して、他の無人航空機100Aから他の無人航空機100Aが備える撮像装置220又は230の画角情報を取得してよい。
【0209】
動作モード設定部118は、無人航空機100Aの飛行中の動作モードを設定する。動作モードは、無人航空機100Aが単体で飛行するための単体動作モードを含んでよい。単体動作モードでは、1台の無人航空機100Aが、送信機50Aから取得された指示信号に基づいて、個別に飛行する。動作モードは、同じ飛行グループに含まれる複数の無人航空機100Aが協調して飛行するための協調動作モードを含んでよい。協調動作モードでは、同じ飛行グループの複数の無人航空機100Aは、1つの送信機50Aから取得された指示信号に基づいて、協調して飛行する。
【0210】
よって、無人航空機100Aは、動作モードが協調動作モードに設定されているか単体動作モード設定されているかに基づいて、複数の無人航空機100Aが飛行する際に協調して飛行するか否かを決定できる。動作モードは、例えば無人航空機100の操作部(不図示)を介して設定されてよいし、送信機50Aからの指示情報を基に設定されてもよい。
【0211】
協調動作モードは、同じ飛行グループに属する複数の無人航空機100Aが旋回(回転)するための旋回モードを含んでよい。旋回モードは、複数の旋回モードを含み、旋回の態様を示してよい。
【0212】
第1の旋回モードは、各無人航空機100Aと基準位置RPとの距離を固定して、基準位置RPを中心として、各無人航空機100Aが旋回する旋回モードでよい。つまり、第1の旋回モードでは、各無人航空機100Aの絶対位置が変化して、更に旋回が行われてよい。
【0213】
第2の旋回モードは、各無人航空機100Aの位置を固定して、各無人航空機100Aを中心として、各無人航空機100Aが旋回する旋回モードでよい。つまり、第2の旋回モードでは、各無人航空機100Aの絶対位置は変化せず、旋回が行われてよい。
【0214】
飛行制御部119は、同じ飛行グループに属する複数の無人航空機100Aの相対的な位置関係を固定して、無人航空機100A(自機)の飛行を制御する。飛行制御部119は、基準位置RPに対する無人航空機100Aの相対的な位置関係を固定して、無人航空機100A(自機)の飛行を制御してよい。この場合、基準位置RPに対する飛行グループに属する各無人航空機100Aの相対的な位置関係が固定されるので、飛行グループに属する複数の無人航空機100A全体としての相対的な位置関係も固定される。
【0215】
相対的な位置関係の固定には、基準位置RPに対する無人航空機100Aの距離を変更せずに維持することが含まれてよい。相対的な位置関係の固定には、基準方向(例えば飛行グループの前進時の進行方向)に対する撮像装置220又は230の撮像方向を変更せずに維持することが含まれてよい。
【0216】
飛行制御部119は、送信機50Aからの指示信号に基づいて、各無人航空機100Aの相対的な位置関係を維持して、無人航空機100Aの飛行を制御する。よって、飛行制御部119は、送信機50Aからのスロットル指示情報に基づいて、各無人航空機100Aの相対的な位置関係を維持して、上昇や下降の飛行制御を行ってよい。飛行制御部119は、送信機50Aからのピッチ指示情報に基づいて、各無人航空機100Aの相対的な位置関係を維持して、前進や後退の飛行制御を行ってよい。飛行制御部119は、送信機50Aからのロール指示情報に基づいて、各無人航空機100Aの相対的な位置関係を維持して、右進や左進の飛行制御を行ってよい。飛行制御部119は、送信機50Aからのラダー指示情報に基づいて、各無人航空機100Aの相対的な位置関係を維持して、右旋や左旋回の飛行制御を行ってよい。
【0217】
送信機50Aからの指示信号に基づく無人航空機100Aの飛行の制御量は、複数の無人航空機100Aの各々で同じ制御量でよい。例えば、各無人航空機100Aがラダー指示情報を受けた場合、各無人航空機100Aが旋回する旋回量や旋回角度は、同じでよい。
【0218】
飛行制御部119は、動作モードが協調動作モードに設定されている場合に、同じ飛行グループに属する複数の無人航空機100Aの相対的な位置関係を固定して、無人航空機100Aの飛行を制御してよい。飛行制御部119は、動作モードが協調動作モードに設定されていない場合に、この相対的な位置関係を固定しないで、無人航空機100Aの飛行を制御してよい。
【0219】
飛行制御部119は、動作モードが協調動作モードに設定されている場合、旋回モードがどの旋回モードに設定されているかに基づいて、同じ飛行グループに属する各無人航空機100Aの旋回の仕方を変更してよい。
【0220】
飛行制御部119は、第1の旋回モードでは、各無人航空機100Aと基準位置RPとの距離を固定して、基準位置RPを中心として、各無人航空機100Aが旋回するよう制御してよい。つまり、飛行制御部119は、第1の旋回モードでは、各無人航空機100Aの位置を変化させて、更に各無人航空機100Aを旋回させてよい。
【0221】
飛行制御部119は、第2の旋回モードでは、各無人航空機100Aの位置を固定して、各無人航空機100Aを中心として、各無人航空機100Aが旋回するよう制御してよい。つまり、飛行制御部119は、第2の旋回モードでは、各無人航空機100Aの絶対位置を変化させず、各無人航空機100Aを旋回させてよい。
【0222】
飛行制御部119は、同じ飛行グループについての異なる複数の相対的な位置情報に基づいて、複数の無人航空機100Aを異なる相対的な位置関係として、飛行制御してよい。よって、無人航空機100Aは、用いる相対的な位置情報を変更することで、複数の無人航空機100Aの相対的な位置関係を変更してよい。
【0223】
撮像制御部120は、動作モードが協調動作モードに設定された場合、同じ飛行グループに属する無人航空機100Aの台数に基づいて、無人航空機100Aが備える撮像装置220又は230の画角を制御してよい。同じ飛行グループに属する無人航空機100Aの台数の情報は、メモリ160に保持されておいてよい。撮像制御部120は、この無人航空機100Aの台数の情報をメモリ160から取得してよい。
【0224】
撮像制御部120は、メモリ160に保持された撮像パラメータに含まれる画角の情報を取得し、画角の情報に基づいて、撮像装置220又は230の画角を制御してよい。
【0225】
撮像制御部120は、撮像装置220又は230の画角を算出して取得してよい。例えば、同じ飛行グループを形成する無人航空機100Aの台数が4台である場合、撮像制御部120は、1周である360度を均等に4分割した90度以上を、4台の無人航空機100Aのそれぞれの画角として算出してよい。この場合、撮像制御部120は、4台の無人航空機100Aのそれぞれの画角が90度以上となるよう制御してよい。例えば、同じ飛行グループを形成する無人航空機100Aの台数が3台である場合、撮像制御部120は、1周である360度を均等に3分割した120度以上を、3台の無人航空機100Aのそれぞれの画角として算出してよい。この場合、撮像制御部120は、3台の無人航空機100Aのそれぞれの画角が120度以上となるよう制御してよい。
【0226】
撮像制御部120は、動作モードが協調動作モードに設定された場合、同じ飛行グループに属する無人航空機100Aの台数に基づいて、無人航空機100Aが備える撮像装置220又は230の撮像方向を制御してよい。
【0227】
撮像制御部120は、メモリ160に保持された撮像パラメータに含まれる撮像方向の情報を取得し、撮像方向の情報に基づいて、撮像装置220又は230の撮像方向を制御してよい。
【0228】
撮像制御部120は、撮像装置220又は230の撮像方向を算出して取得してよい。例えば、同じ飛行グループを形成する無人航空機100Aの台数が4台である場合、撮像制御部120は、1周である360度を均等に4分割した90度ずつ異なる撮像方向を算出して取得してよい。同じ飛行グループを形成する無人航空機100Aの台数が3台である場合、撮像制御部120は、1周である360度を均等に3分割した120度ずつ異なる撮像方向を算出して取得してよい。撮像制御部120は、算出された撮像方向となるように、撮像装置220又は230の撮像方向を制御してよい。
【0229】
撮像制御部120は、飛行グループの基準位置RPから複数の無人航空機100Aの位置の各々を見た方向が無人航空機100Aの各々の撮像方向となるように、撮像方向を制御してよい。
【0230】
図24は、携帯端末80Aの機能構成の一例を示すブロック図である。携帯端末80Aは、プロセッサ81Aは、メモリ87に保持されたプログラムを実行することで、撮像画像取得部816及び画像処理部817の機能を有する。
【0231】
撮像画像取得部816は、同じ飛行グループを形成する複数の無人航空機100Aの各々により撮像されたそれぞれの撮像画像を取得する。撮像画像取得部816は、インタフェース部82又は無線通信部85を介して、それぞれの撮像画像を取得してよい。
【0232】
画像処理部817は、撮像画像取得部816により取得された複数の撮像画像に対して任意の画像処理を行う。画像処理部817は、複数の撮像画像に基づいて、パノラマ画像やステレオ画像を生成してよい。画像処理部817は、撮像方向の異なる複数の撮像画像を合成することで、パノラマ画像を生成してよい。複数の画像により360度の全方位がカバーされている場合、画像処理部817は、全方位のパノラマ画像を生成できる。画像処理部817は、複数の撮像画像に含まれる撮像方向が隣り合う2つの撮像画像の撮像範囲が一部重複している場合、画像処理部817は、ステレオ画像を生成してよい。隣り合う2つの撮像画像の撮像範囲が一部重複し、複数の画像により360度の全方位がカバーされている場合、画像処理部817は、全方位のステレオ画像を生成できる。
【0233】
なお、撮像画像に基づくパノラマ画像やステレオ画像の生成等の画像処理は、携帯端末80A以外の装置で行われてよい。この画像処理は、送信機50A、いずれか1つ以上の無人航空機100A、PC(Personal Computer)(不図示)により行われてもよい。例えば、各無人航空機100Aの飛行中には各無人航空機100Aにより撮像された撮像画像が、各無人航空機100Aが備えるメモリ160としてのSDカードに保存されてよい。各無人航空機100Aの着陸後、PC等にSDカードに保存された複数の撮像画像が取り込まれ、画像処理されてよい。
【0234】
次に、送信機50Aからの指示信号の種別に応じた回転翼211の回転方法について説明する。
【0235】
飛行制御部119は、送信機50Aからの指示信号に基づいて、無人航空機100Aの飛行を制御してよい。この場合、飛行制御部119は、各回転翼211の回転数(単位時間当たりの回転数)を制御してよい。
【0236】
図25は、送信機50Aからの指示信号の種別に応じた回転翼211の回転方法を説明するための図である。
図24に示すように、無人航空機100Aを上方から見た平面視において、UAV本体102に対してバッテリ103が装着された方向と反対方向(矢印αの方向)が、無人航空機100Aの前進時の進行方向である。無人航空機100Aの前進時の進行方向である。4つの回転翼211は、回転翼211a,211b,211c,211dを含んでよい。回転翼211a,211bは反時計周りに回転し、回転翼211b,211bは反時計周りに回転してよい。送信機50Aからの指示信号は、スロットル指示情報、ピッチ指示情報、ロール指示情報、及びラダー指示情報のうち少なくとも1つを含んでよい。
【0237】
飛行制御部119は、スロットル指示情報を受けると、4つの回転翼211a,211b,211c,211dの回転数を制御する。スロットル指示情報は、上昇指示情報と下降指示情報とを含んでよい。飛行制御部119は、上昇指示情報を受けると、4つの回転翼211a〜211dの回転数を増大させる。4つの回転翼211a〜211dの回転数が増大すると、無人航空機100Aが上昇する。飛行制御部119は、下降指示情報を受けると、4つの回転翼211a〜211dの回転数を減少させる。4つの回転翼211a〜211dの回転数が減少すると、無人航空機100Aが下降する。
【0238】
飛行制御部119は、ピッチ指示情報を受けると、無人航空機100Aの後方に位置する回転翼211a,211b又は無人航空機100Aの前方に位置する回転翼211c,211dの回転数を制御してよい。ピッチ指示情報は、前進指示情報と後退指示情報とを含んでよい。飛行制御部119は、前進指示情報を受けると、2つの回転翼211a,211bの回転数を増大させる。2つの回転翼211a,211bの回転数が増大すると、無人航空機100Aが矢印αの方向に前進する。飛行制御部119は、後退指示情報を受けると、2つの回転翼211c、211dの回転数を増大させる。2つの回転翼211c,211dの回転数が増大すると、無人航空機100Aが後退する。
【0239】
飛行制御部119は、ロール指示情報を受けると、無人航空機100Aの左方に位置する回転翼211a,211c又は無人航空機100Aの右方に位置する回転翼211b,211dの回転数を制御してよい。ロール指示情報は、右進指示情報と左進指示情報とを含んでよい。飛行制御部119は、右進指示情報を受けると、2つの回転翼211a,211cの回転数を増大させる。2つの回転翼211a,211cの回転数が増大すると、無人航空機100Aが右進する。飛行制御部119は、左進指示情報を受けると、2つの回転翼211b、211dの回転数を増大させる。2つの回転翼211b,211dの回転数が増大すると、無人航空機100Aが左進する。
【0240】
飛行制御部119は、ラダー指示情報を受けると、無人航空機100Aの対角線上に位置する回転翼211a,211d又は回転翼211b,211cの回転数を制御してよい。ラダー指示情報は、右旋回指示情報と左旋回指示情報とを含んでよい。飛行制御部119は、右旋回指示情報を受けると、2つの回転翼211b,211cの回転数を増大させる。2つの回転翼211b,211cの回転数が増大すると、無人航空機100Aが右旋回する。飛行制御部119は、左旋回指示情報を受けると、2つの回転翼211a、211dの回転数を増大させる。2つの回転翼211a,211dの回転数が増大すると、無人航空機100Aが左旋回する。
【0241】
次に、複数の無人航空機100Aの相対的な位置関係の維持方法について説明する。
【0242】
飛行制御部119は、メモリ160に保持(設定)された協調制御情報CCに含まれる相対的な位置情報と、第2相対位置取得部116により取得された相対的な位置情報と、が一致するように、無人航空機100Aの飛行を制御してよい。
【0243】
協調制御情報CCに含まれる相対的な位置情報は、飛行前に得られる情報であり、協調飛行した場合の相対的な位置情報の予測値とも言える。第2相対位置取得部116により取得された相対的な位置情報は、飛行中の何らかの情報を基に得られる情報であり、実際に協調飛行した際の相対的な位置情報の実測値とも言える。
【0244】
第2相対位置取得部116により取得された相対的な位置情報は、無人航空機100Aから他の無人航空機100Aの方向を撮像した撮像画像に基づいて取得された情報でよい。
【0245】
飛行制御部119は、撮像画像により得られた無人航空機100Aと他の無人航空機100Aとの間の距離情報や方向情報が一定となるように、フィードバックして飛行制御してよい。これにより、距離情報や方向情報が一定に維持され、無人航空機100Aと他の無人航空機100Aとの間の相対的な位置関係を維持できる。また、撮像画像を用いるので、撮像装置220又は230が設けられればよく、相対的な位置関係を維持するために特別なセンサ(例えばGPS受信機240、超音波センサ280、レーザー測定器290)を設けることが不要となる。
【0246】
協調制御情報CCに含まれる相対的な位置情報は、無人航空機100Aと他の無人航空機100Aとの間の距離情報でよい。第2相対位置取得部116により取得された相対的な位置情報は、無人航空機100Aと他の無人航空機100Aとの間の距離情報でよい。つまり、飛行制御部119は、協調制御情報CCに含まれる距離情報と、第2相対位置取得部116により取得された距離情報と、が一致するように、無人航空機100Aの飛行を制御してよい。
【0247】
協調制御情報CCに含まれる距離情報は、飛行前に得られる情報であり、協調飛行した場合の距離情報の予測値とも言える。第2相対位置取得部116により取得された距離情報は、飛行中の何らかの情報を基に得られる情報であり、実際に協調飛行した際の距離情報の実測値とも言える。
【0248】
飛行制御部119は、超音波センサ280やレーザー測定器290により得られた無人航空機100Aと他の無人航空機100Aとの間の距離情報が一定となるように、フィードバックして飛行制御してよい。これにより、距離情報が一定に維持され、無人航空機100Aと他の無人航空機100Aとの間の相対的な位置関係を維持できる。また、無人航空機100Aは、超音波センサ280やレーザー測定器290を用いることで、より高精度な距離情報を取得できる。
【0249】
飛行制御部119は、第1絶対位置取得部113により取得された無人航空機100Aの位置情報と、第2絶対位置取得部114により取得された無人航空機100Aの位置情報と、が一致するように、無人航空機100Aの飛行を制御してよい。
【0250】
第1絶対位置取得部113により取得された無人航空機100Aの位置情報は、飛行前に得られる情報であり、協調飛行した場合の無人航空機100Aの絶対位置の情報の予測値とも言える。第2相対位置取得部116により取得された無人航空機100Aの位置情報は、飛行中の何らかの情報を基に得られる情報であり、実際に協調飛行した際の無人航空機100Aの絶対位置の情報の実測値とも言える。
【0251】
飛行制御部119は、GPS受信機240等により得られた無人航空機100Aの位置情報が飛行前の相対的な位置情報に基づく無人航空機100Aの位置情報と一致するように、フィードバックして飛行制御してよい。これにより、無人航空機100Aと他の無人航空機100Aとの間の相対的な位置関係を維持できる。また、GPS受信機240等は比較的実装が容易であるので、簡単に相対的な位置関係を維持できる。
【0252】
飛行制御部119は、画角情報取得部117により取得された無人航空機100A(自機)の画角情報と他の無人航空機100A(他機)の画角情報との差分を維持するように、無人航空機100Aの飛行を制御してよい。
【0253】
相対的な位置関係が変化すると、例えば複数の無人航空機100Aの各々が備えるそれぞれの撮像装置220又は230により同じ被写体を撮像した際の画角が変化する。そのため、それぞれの撮像装置220又は230の画角の差分が変化する。飛行制御部119は、この画角の差分が一定になるように、無人航空機100Aの飛行においてフィードバック制御することで、複数の無人航空機100Aの相対的な位置関係を維持できる。また、撮像装置220又は230が有する画角の情報を用いるので、相対的な位置関係を維持するために特別なセンサ(例えばGPS受信機240、超音波センサ280、レーザー測定器290)を設けることが不要となる。
【0254】
次に、相対的な位置関係を維持した複数の無人航空機100Aの飛行形態について説明する。
【0255】
図26は、飛行グループを形成する複数の無人航空機100Aと基準位置RPに位置する仮想機100vとの一例を示す模式図である。
図26では、複数の無人航空機100Aとして、2台の無人航空機100r1,100r2が示されている。仮想機100vは、基準位置RPに位置する仮想的な無人航空機を示す。仮想直線VL1,VL2は、基準位置RPつまり仮想機100vと無人航空機100r1,100r2のそれぞれとを仮想的に結ぶ直線である。
【0256】
図26では、基準位置RPに対して2台の無人航空機100r1,100r2が対称に配列されている。そのため、基準位置RPと無人航空機100r1を結ぶ仮想直線VL1と基準位置RPと無人航空機100r2を結ぶ仮想直線VL2とが一直線となっている。なお、複数の仮想直線VL1,VL2は、一直線とならなくてもよい。
【0257】
図26では、飛行グループの各無人航空機100r1,100r2の前進時の進行方向は、いずれも矢印α1に示す上方向である。飛行グループの進行方向は、送信機50Aからの指示信号に応じて変更され得る。
【0258】
なお、
図26において、各無人航空機100A(例えば無人航空機100r1,100r2)内に描かれた矢印arは、撮像装置220又は230の向き、つまり撮像方向を示している。このことは、以降でも同じである。
【0259】
各無人航空機100r1,100r2は、送信機50Aから飛行制御を指示される。送信機50Aは、仮想機100vの絶対位置を基準に、指示信号を各無人航空機100r1,100r2に与える。各無人航空機100Aは、基準位置RPつまり仮想機100vに対する相対的な位置関係を固定しながら、送信機50Aからの指示信号に従って、飛行を制御してよい。相対的な位置関係が固定されるので、仮想直線VLの長さが変更されずに、基準位置RPに対する各無人航空機100r1,100r2の位置関係が変更されずに、各無人航空機100r1,100r2が飛行制御する。
【0260】
各無人航空機100r1,100r2では、飛行制御部119は、送信機50Aからの指示信号がいずれの飛行に関する指示情報(例えばスロットル指示情報、ピッチ指示情報、ロール指示情報、ラダー指示情報)を含む場合でも、協調して飛行する複数の無人航空機100r1,100r2の相対的な位置関係を崩さずに維持し、固定して、送信機50Aからの指示情報に従って飛行を制御する。これにより、各無人航空機100r1,100r2は、1つの送信機50Aからの指示信号に基づいて、協調して飛行可能となる。送信機50Aは、1つの仮想機100vを操作しているような感覚で、複数の無人航空機100r1,100r2の飛行制御を容易に指示できる。
【0261】
図27は、動作モードが協調モード且つ第1の旋回モードに設定された場合の各無人航空機100Aの旋回例を示す模式図である。
【0262】
第1の旋回モードでは、各無人航空機100r1,r2と基準位置RPとの距離を固定して、基準位置RPを中心として、各無人航空機100r1,100r2が旋回する。つまり、仮想直線VLが基準位置RPを中心として旋回し、これに伴って仮想直線VL1,VL2の端部ep1,ep2に位置する各無人航空機100r1,100r2も旋回するとも言える。送信機50A側から見ると、送信機50Aは、仮想機100vに対してラダー指示情報を送信することで、各無人航空機100r1,r2がラダー指示情報を受信し、ラダー指示情報に基づいて、相対的な位置関係を固定して旋回する。
【0263】
図27では、飛行グループの各無人航空機100r1,100r2の進行方向は、いずれも矢印α2に示す左上方向である。つまり、飛行グループの各無人航空機100r1,100r2の進行方向は、送信機50Aからのラダー指示情報に応じて、矢印α1から矢印α2に変更されてよい。
【0264】
第1の旋回モードでの旋回によれば、協調飛行する複数の無人航空機100Aは、仮想直線VLが回転するように旋回できる。この場合、進行方向α2と仮想直線VL1,VL2の成す角度は変化しない。そのため、各無人航空機100r1,100r2が旋回しても、各無人航空機100r1,100r2により撮像される撮像範囲の位置関係が変化しない。よって、無人航空機100r1,100r2により撮像された複数の撮像画像からパノラマ画像が生成される場合、パノラマ画像に寄与する無人航空機100r1,100r2により撮像画像の位置関係が変化しない。したがって、送信機50Aの操作者は、1台の撮像範囲の広い撮像装置を備える仮想機100vが旋回するのと同等の間隔で、複数の無人航空機100Aを操作できる。
【0265】
図28は、動作モードが協調モード且つ第2の旋回モードに設定された場合の各無人航空機100Aの旋回例を示す模式図である。
【0266】
第2の旋回モードでは、各無人航空機100r1,100r2の位置を固定して、各無人航空機100Aを中心として、各無人航空機100r1,100r2が旋回する。つまり、仮想直線VLは旋回せず、仮想直線VLの端部ep1,ep2に位置する各無人航空機100r1,100r2が、この端部ep1,ep2において旋回するとも言える。仮想直線VLが旋回しないので、各無人航空機100r1,100r2の絶対位置はラダー指示情報のみでは変化しない。送信機50A側から見ると、送信機50Aは、仮想機100vに対してラダー指示情報を送信することで、各無人航空機100r1,r2がラダー指示情報を受信し、ラダー指示情報に基づいて、相対的な位置関係を固定して旋回する。
【0267】
図28では、飛行グループの各無人航空機100r1,100r2の進行方向は、いずれも矢印α3に示す左上方向である。つまり、飛行グループの各無人航空機100r1,100r2の進行方向は、送信機50Aからのラダー指示情報に応じて、矢印α1から矢印α3に変更されてよい。
【0268】
第2の旋回モードでの旋回によれば、飛行システム10Aは、協調飛行する複数の無人航空機100Aは、仮想直線VLが回転しないように旋回できる。そのため、第2の旋回モードでは、第1の旋回モードと比較すると、複数の無人航空機100Aがラダー指示情報に基づいて飛行する飛行範囲が狭くなる。言い換えると、第1の旋回モードでは仮想直線VLが基準位置RPを中心として回転することで、飛行グループの各無人航空機100Aの飛行の軌跡が例えば円形となり、円形の内側が旋回時に必要な飛行範囲となる。一方第2の旋回モードでは、仮想直線VLが示す直線的な範囲が、旋回時に必要な飛行範囲となる。よって、例えば比較的狭い空間に複数の無人航空機100Aが進行する場合でも、各無人航空機100Aは、ラダー指示情報に従って飛行できる。
【0269】
図29は、飛行グループを形成する3台の無人航空機100r1,100r2,100r3の飛行時の第1配列例を示す模式図である。
【0270】
図29では、3台の無人航空機100r1〜100r3は、基準位置RPから等距離に、正三角形の各頂点に相当する位置に配列される。基準位置RPと3台の無人航空機100r1〜100r3の各々とを結ぶそれぞれの仮想直線は、仮想直線VL1,VL2,VL3として示されている。3台の無人航空機100r1〜100r3は、各仮想直線VL1〜VL3の端部ep1,ep2,ep3に位置する。
図29では、飛行グループの各無人航空機100r1〜100r3の進行方向は、いずれも矢印α4に示す左上方向である。
【0271】
図29では、各無人航空機100r1〜100r3の撮像方向は、基準位置RPを起点として仮想直線VL1〜VL3が延びる方向と一致している。従って、各々の撮像方向は、120度ずつ均等に異なっている。各無人航空機100r1〜100r3の撮像方向は、無人航空機100r1〜100r3の各々の撮像制御部120により設定されてよい。また、各無人航空機100r1〜100r3が備える撮像装置220又は230は、画角が120度以上に設定されてよい。
【0272】
無人航空機100r1〜100r3の各々は、無人航空機100r1〜100r3の各々の撮像装置220又は230により撮像された撮像画像を、携帯端末80Aへ送信してよい。携帯端末80Aは、無人航空機100r1〜100r3の各々からの撮像画像を受信してよい。
【0273】
携帯端末80Aは、120度ずつ異なる撮像方向で120度以上の画角で撮像された複数の撮像画像を取得してよい。この場合、無人航空機100r1〜100r3の少なくとも2台により撮像された撮像画像に基づいて、パノラマ画像を生成してよい。携帯端末80Aは、無人航空機100r1〜100r3により撮像された撮像画像に基づいて、全方位のパノラマ画像を生成してよい。
【0274】
なお、パノラマ画像の生成が可能となるように、同じ飛行グループに属する無人航空機100Aの台数に基づいて、この飛行グループに属する複数の無人航空機100Aの配列が決定されてよい。つまり、第1相対位置取得部112は、無人航空機100Aの台数に基づいて、各無人航空機100Aを自動配列されてよい。この場合、各無人航空機100Aの第1相対位置取得部112が、基準位置RPに対する各無人航空機100の各々の配置位置を決定してよい。例えば、各無人航空機100Aの第1相対位置取得部112は、無人航空機100Aの識別番号順に、基準位置RPに対して等距離に、等角度で、各無人航空機100が配置されてよい。この場合、基準位置RPを重心とする正三角形の頂点の位置に、各無人航空機100r1〜100r3が配置されてよい。
【0275】
図30は、
図29に示した3台の無人航空機100r1,100r2,100r3による第1の旋回モードでの旋回例を示す模式図である。
【0276】
図30では、各無人航空機100r1,100r2,100r3と基準位置RPとの距離を固定して、基準位置RPを中心として、各無人航空機100r1〜100r3が旋回する。つまり、仮想直線VL1,VL2,VL3が基準位置RPを中心として旋回し、これに伴って仮想直線VL1〜VL3の端部ep1,ep2,ep3に位置する各無人航空機100r1〜100r3も旋回するとも言える。つまり、3台以上の無人航空機100Aが飛行グループを形成する場合でも、各無人航空機100Aは第1の旋回モードに従った旋回が可能である。
図30では、飛行グループの各無人航空機100r1〜100r3の旋回による進行方向は、いずれも矢印α5に示す左上方向である。
【0277】
なお、詳細な説明を省略しているが、第1の旋回モードと同様に、3台以上の無人航空機100Aが飛行グループを形成する場合でも、各無人航空機100Aは第2の旋回モードに従った旋回が可能である。
【0278】
図31は、飛行グループを形成する5台の無人航空機100r1,100r2,100r3,100r4,100r5の飛行時の配列例を示す模式図である。
【0279】
図31では、5台の無人航空機100r1〜100r5が、基準位置RPを基準として配置されている。無人航空機100r1〜100r5の各々と基準位置RPとは、仮想直線VL1,VL2,VL3,VL4,VL5の各々で接続される。
【0280】
同じ飛行グループにおける前方(各無人航空機100r1〜100r5の前進時の進行方向α6)に位置する2台の無人航空機100r1,100r2は、撮像方向が前方向(上方向)とされる。同じ飛行グループにおける前方以外に位置する3台の無人航空機100r3,100r4,100r5は、撮像方向がそれぞれ90度ずつ異なる。具体的には、
図31では、無人航空機100r3の撮像方向は右方向であり、無人航空機100r4の撮像方向は後方向(下方向)であり、無人航空機100r5の撮像方向は左方向である。また、各無人航空機100r1〜100r5は、各機が備える撮像装置220又は230の画角を90度以上に設定してよい。各撮像方向及び各画角は、無人航空機100〜1〜100r5が備える撮像制御部120により設定されてよい。
【0281】
無人航空機100r1〜100r5の各々は、無人航空機100r1〜100r5の各々の撮像装置220又は230により撮像された撮像画像を、携帯端末80Aへ送信してよい。携帯端末80Aは、無人航空機100r1〜100r5の各々からの撮像画像を受信してよい。
【0282】
無人航空機100r1,100r2の撮像装置220又は230による撮像範囲は、一部重複してよい。携帯端末80Aは、無人航空機100r1,100r2の各々により撮像された撮像画像に基づいて、ステレオ画像を生成してよい。
【0283】
また、携帯端末80Aは、90度ずつ異なる撮像方向で90度以上の画角で撮像された撮像画像を取得してよい。この場合、無人航空機100r1,101r2の少なくとも一方により撮像された撮像画像と無人航空機100r1〜100r3により撮像された撮像画像とに基づいて、パノラマ画像(例えば全方位のパノラマ画像)を生成してよい。
【0284】
このように、飛行システム10Aでは、無人航空機100Aは、飛行グループを形成する無人航空機100Aの台数(例えば4台)に基づいて画角(例えば90度以上)及び撮像方向(例えば90度ずつ異なる方向)を制御することで、送信機50Aに対する精密な飛行操作を必要とせずに、パノラマ画像やステレオ画像の生成に好適な複数の撮像画像を取得できる。特に、複数の無人航空機100Aにより撮像される撮像画像のうち、1つでも画質が劣化したり撮像画像に対する被写体の位置がずれたりすると、パノラマ画像やステレオ画像の画質に影響が生じる。携帯端末80Aは、1つの飛行グループに属する複数の無人航空機100Aから、画質の劣化や撮像画像に対する被写体の位置ずれが抑制された複数の撮像画像を取得できる。よって、携帯端末80Aは、所望のパノラマ画像やステレオ画像を取得できる。
【0285】
なお、詳細な説明は省略したが、各無人航空機100r1〜100r5は、送信機50Aからラダー指示情報を取得すると、第1の旋回モード又は第2の旋回モードでの旋回方法で、相対的な位置関係を固定して、旋回してよい。
【0286】
図32Aは、飛行グループを形成する3台の無人航空機100r1,100r2,100r3の飛行時の水平方向における第2配列例を模式図である。
図32Bは、飛行グループを形成する3台の無人航空機100r1,100r2,100r3の飛行時の高さ方向における第2配列例を模式図である。
【0287】
図32A,
図32Bでは、2台の無人航空機100r1,100r2が、飛行グループにおける前方(前進時の進行方向α7)で飛行する。1台の無人航空機100r3が、飛行グループにおける後方に配列されている。また、1台の無人航空機100r3は、2台の無人航空機100r1,100r2よりも高い高度で飛行する。無人航空機100r1〜100r3の各々の撮像方向は、いずれも前進時の進行方向である。無人航空機100r3は、無人航空機100r1,100r2を高い高度を飛行することで、無人航空機100r1,100r2の飛行を管理し易くなる。
【0288】
無人航空機100r1〜100r3の各々は、無人航空機100r1〜100r3の各々の撮像装置220又は230により撮像された撮像画像を、携帯端末80Aへ送信してよい。携帯端末80Aは、無人航空機100r1〜100r3の各々からの撮像画像を受信してよい。
【0289】
無人航空機100r3の撮像装置220又は230の撮像範囲には、前方を飛行する無人航空機100r1,100r2が含まれてよい。この場合、無人航空機100r3の撮像装置220又は230により撮像された撮像画像には、無人航空機100r1,100r2が映り込む。この場合、送信機50Aの操作者は、携帯端末80Aに表示された無人航空機100r3からの撮像画像(操作用の画像)を確認しながら、複数の無人航空機100r1〜100r3の協調した飛行制御を指示できる。
【0290】
無人航空機100r1,100r2による撮像範囲は、一部重複してよい。この場合、携帯端末80Aは、無人航空機100r1,100r2の各々により撮像された撮像画像に基づいて、ステレオ画像を生成してよい。
【0291】
また、先方を飛行する2台の無人航空機100r1,100r2のうちの一方の撮像装置230が、2台の無人航空機100r1,100r2のうちの他方を撮像してよい。この場合、撮像装置230は、相互に撮像可能となるように、水平方向を撮像方向としてUAV本体102等に固定配置されてよい。この場合、無人航空機100Aは、水平方向における前後方向でなく左右方向においても、協調して飛行する他の無人航空機100Aの相対的な位置情報(例えば距離情報)を取得できる。
【0292】
図32A,
図32Bに示す配列例によれば、飛行システム10Aは、送信機50Aの操作者が操作し易くなるように、送信機50Aによる操作に際して、協調して飛行する飛行グループ内の少なくとも一部の無人航空機100Aが映り込んだ画像を提供できる。よって、送信機50Aは、飛行グループ内の少なくとも一部の無人航空機100Aを視認しながら、簡単な操作で複数の無人航空機100Aを操作し、ステレオ画像の取得を所望するエリアへ複数の無人航空機100Aを進行させることができる。
【0293】
次に、無人航空機100Aの動作例について説明する。
図33は、無人航空機100Aの動作例を示すフローチャートである。なお、同じ飛行グループに属する複数の無人航空機100Aは、各々、同様に動作する。
【0294】
飛行制御部119は、メモリ160に保持された飛行グループに属する複数の無人航空機100Aの相対的な位置情報を含む協調制御情報CCを取得する(S21)。信号取得部111は、送信機50Aからの指示信号を受信する(S22)。飛行制御部119は、送信機50Aからの指示信号に基づいて、同じ飛行グループに属する各無人航空機100Aの相対的な位置関係を固定して、無人航空機100A(自機)の飛行を制御する(S23)。
【0295】
無人航空機100Aによれば、飛行中に送信機50Aにより飛行の制御の指示を受ける場合における、飛行グループに属する複数の無人航空機100Aの相対的な位置情報を取得できる。無人航空機100Aは、1つの送信機50Aにより無人航空機100Aが飛行操作されることで、事前に設定されていない飛行ルートや飛行位置でも、他の無人航空機100Aとの間の相対的な位置関係を固定して、他の無人航空機100Aと協調して飛行できる。よって、無人航空機100Aは、他の無人航空機100Aと協調飛行する場合でも、1つの送信機50Aによりリアルタイムに飛行ルート等を指定されることが可能である。即ち、無人航空機100Aは、協調飛行時の飛行の自由度を向上できる。
【0296】
飛行システム10Aによれば、各無人航空機100Aが飛行中に送信機50Aにより飛行の制御の指示を受ける場合における、飛行グループに属する複数の無人航空機100Aの相対的な位置情報を取得できる。飛行システム10Aは、1つの送信機50Aにより各無人航空機100Aが飛行操作されることで、事前に設定されていない飛行ルートや飛行位置でも、複数の無人航空機100Aとの間の相対的な位置関係を固定して、複数の無人航空機100Aが協調して飛行できる。よって、飛行システム10Aにおける複数の無人航空機100Aは、協調飛行する場合でも、1つの送信機50Aによりリアルタイムに飛行ルート等を指定されることが可能である。即ち、飛行システム10Aは、複数の無人航空機100Aの協調飛行時の飛行の自由度を向上できる。
【0297】
以上、本開示を実施形態を用いて説明したが、本開示の技術的範囲は上述した実施形態に記載の範囲には限定されない。上述した実施形態に、多様な変更又は改良を加えることが当業者に明らかである。その様な変更又は改良を加えた形態も本開示の技術的範囲に含まれ得ることが、特許請求の範囲の記載からも明らかである。
【0298】
特許請求の範囲、明細書、及び図面中において示した装置、システム、プログラム、及び方法における動作、手順、ステップ、及び段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現可能である。特許請求の範囲、明細書、及び図面中の動作フローに関して、便宜上「先ず、」、「次に」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。