特許 7345153 飛翔体の地理座標推定装置、地理座標推定システム、地理座標推定方法、及びコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-09-07

(45)【発行日】2023-09-15

(54)【発明の名称】飛翔体の地理座標推定装置、地理座標推定システム、地理座標推定方法、及びコンピュータプログラム

(51)【国際特許分類】

   G05D 1/02 20200101AFI20230908BHJP

【ＦＩ】

G05D1/02 J

【請求項の数】 19

(21)【出願番号】P 2018242629

(22)【出願日】2018-12-26

(65)【公開番号】P2020106919

(43)【公開日】2020-07-09

【審査請求日】2021-12-10

(73)【特許権者】

【識別番号】593006630

【氏名又は名称】学校法人立命館

(74)【代理人】

【識別番号】100111567

【弁理士】

【氏名又は名称】坂本 寛

(72)【発明者】

【氏名】柴田 史久

(72)【発明者】

【氏名】池田 聖

【審査官】影山 直洋

(56)【参考文献】

【文献】米国特許出願公開第２０１７／０３２８７１６（ＵＳ，Ａ１）

【文献】特開２０１８－１４６９４６（ＪＰ，Ａ）

【文献】特開２０１８－１２８３８６（ＪＰ，Ａ）

【文献】特開２０１７－０４４５６２（ＪＰ，Ａ）

【文献】特許第６３２４６４９（ＪＰ，Ｂ１）

【文献】特開２００９－０７０３５７（ＪＰ，Ａ）

【文献】特開２０１７－０７６３０２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０５Ｄ １／０２

(57)【特許請求の範囲】

【請求項1】

複数のマーカデータを有するマーカ管理テーブルが格納されるメモリであって、前記マーカデータは、マーカが設置された位置の地理座標を示すマーカ地理座標を含む、メモリと、
プロセッサと、を備え、
前記プロセッサは、
飛翔体の第１地理座標を取得し、
前記マーカ管理テーブルに含まれる複数のマーカデータのうち、取得した前記第１地理座標から決定される範囲にある１又は複数の撮影可能マーカに関する第１の撮影可能マーカデータを選択し、
前記第１の撮影可能マーカデータのうちから、前記飛翔体に搭載されたカメラの視野データに基づいて第２の撮影可能マーカデータを抽出し、
前記カメラにより撮影された画像中の前記撮影可能マーカを認識することで、前記画像における前記撮影可能マーカの画像座標を求め、
前記第２の撮影可能マーカデータに含まれる前記マーカ地理座標と、前記画像座標と、に基づいて、前記飛翔体における第２地理座標を推定するよう動作する
飛翔体の地理座標推定装置。

【請求項2】

前記第１地理座標は、経度及び緯度を含み、
前記プロセッサは、前記範囲を、前記緯度及び前記経度に基づいて決定する
請求項１に記載の地理座標推定装置。

【請求項3】

前記第１地理座標は、高度を更に含み、
前記プロセッサは、前記範囲を、更に、前記高度に基づいて決定する
請求項２に記載の地理座標推定装置。

【請求項4】

前記第１地理座標は、前記飛翔体に搭載される受信機によって前記飛翔体外部から受信した信号に基づいて取得される
請求項１から３のいずれか１項に記載の地理座標推定装置。

【請求項5】

前記受信機は、ＧＮＳＳ受信機である
請求項４に記載の地理座標推定装置。

【請求項6】

前記視野データは、前記カメラの姿勢を含む
請求項１から５のいずれか１項に記載の地理座標推定装置。

【請求項7】

前記視野データは、前記カメラの画角を含む
請求項１から６のいずれか１項に記載の地理座標推定装置。

【請求項8】

前記プロセッサは、前記画像から、マーカ遮蔽物を検出するよう更に動作し、
前記プロセッサは、前記第１の撮影可能マーカデータのうちから、前記マーカ遮蔽物によって遮蔽されるマーカに関するマーカデータが除かれた１又は複数の前記第２の撮影可能マーカデータを決定する
請求項１から７のいずれか１項に記載の地理座標推定装置。

【請求項9】

前記プロセッサは、
前記画像においてマーカが現れないマーカ非出現範囲を検出し、
前記マーカ非出現範囲においては前記撮影可能マーカを認識するよう動作せず、前記画像における前記マーカ非出現範囲を除く範囲において、前記撮影可能マーカを認識するよう動作をする
請求項１から８のいずれか１項に記載の地理座標推定装置。

【請求項10】

前記プロセッサは、前記撮影可能マーカの種別に応じた認識方式によって、前記撮影可能マーカを認識する
請求項１から９のいずれか１項に記載の地理座標推定装置。

【請求項11】

前記プロセッサは、
前記第２の撮影可能マーカデータに含まれる前記マーカ地理座標から、前記画像におけるマーカ探索範囲を決定し、
前記マーカ探索範囲において前記撮影可能マーカを認識するよう動作する
請求項１から１０のいずれか１項に記載の地理座標推定装置。

【請求項12】

前記プロセッサは、前記画像から複数の前記撮影可能マーカを認識した場合は、認識された複数の前記撮影可能マーカに対応する前記マーカ地理座標に基づいて、前記飛翔体における第２地理座標を推定する
請求項１から１１のいずれか１項に記載の地理座標推定装置。

【請求項13】

前記プロセッサは、前記第２の撮影可能マーカデータに含まれる前記マーカ地理座標と、前記画像座標と、に基づいて、前記飛翔体における姿勢を推定する
請求項１から１２のいずれか１項に記載の地理座標推定装置。

【請求項14】

前記マーカデータは、マーカ設置時刻データを更に含み、
前記マーカ設置時刻データは、前記マーカ地理座標の精度を識別するために前記プロセッサにより用いられる
請求項１から１３のいずれか１項に記載の地理座標推定装置。

【請求項15】

前記マーカデータは、マーカ種別を示すマーカ種別データを更に含み、
前記マーカ種別データは、前記撮影可能マーカを認識するための認識アルゴリズムを決定するために前記プロセッサにより用いられる
請求項１から１４のいずれか１項に記載の地理座標推定装置。

【請求項16】

前記マーカデータは、マーカパターンを示すパターンデータを更に含み、
前記パターンデータは、前記撮影可能マーカを認識するために前記プロセッサにより用いられる
請求項１から１５のいずれか１項に記載の地理座標推定装置。

【請求項17】

飛翔体に搭載されるカメラと、
前記飛翔体外部から信号を受信する受信機と、
複数のマーカデータを有するマーカ管理テーブルが格納されるメモリであって、前記マーカデータは、マーカが設置された位置の地理座標を示すマーカ地理座標を含む、メモリと、
プロセッサと、
を備え、
前記プロセッサは、
前記受信機により受信した信号に基づいて前記飛翔体の第１地理座標を取得し、
前記マーカ管理テーブルに含まれる複数のマーカデータのうち、取得した前記第１地理座標から決定される範囲にある１又は複数の撮影可能マーカに関する第１の撮影可能マーカデータを選択し、
前記第１の撮影可能マーカデータのうちから、前記カメラの視野データに基づいて第２の撮影可能マーカデータを抽出し、
前記カメラにより撮影された画像中の前記撮影可能マーカを認識することで、前記画像における前記撮影可能マーカの画像座標を求め、
前記第２の撮影可能マーカデータに含まれる前記マーカ地理座標と、前記画像座標と、に基づいて、前記飛翔体における第２地理座標を推定するよう動作する
飛翔体の地理座標推定システム。

【請求項18】

マーカ管理テーブルに含まれる複数のマーカデータのうち、飛翔体が取得した第１地理座標から決定される範囲にある１又は複数の撮影可能マーカに関する第１の撮影可能マーカデータを選択し、
前記第１の撮影可能マーカデータのうちから、前記飛翔体に搭載されたカメラの視野データに基づいて第２の撮影可能マーカデータを抽出し、
前記カメラにより撮影された画像中の前記撮影可能マーカを認識することで、前記画像における前記撮影可能マーカの画像座標を求め、
前記第２の撮影可能マーカデータに含まれるマーカ地理座標と、前記画像座標と、に基づいて、前記飛翔体における第２地理座標を推定する
ことを含む地理座標推定方法。

【請求項19】

マーカ管理テーブルに含まれる複数のマーカデータのうち、飛翔体が取得した第１地理座標から決定される範囲にある１又は複数の撮影可能マーカに関する第１の撮影可能マーカデータを選択し、
前記第１の撮影可能マーカデータのうちから、前記飛翔体に搭載されたカメラの視野データに基づいて第２の撮影可能マーカデータを抽出し、
前記カメラにより撮影された画像中の前記撮影可能マーカを認識することで、前記画像における前記撮影可能マーカの画像座標を求め、
前記第２の撮影可能マーカデータに含まれるマーカ地理座標と、前記画像座標と、に基づいて、前記飛翔体における第２地理座標を推定する
ようコンピュータを動作させるコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、飛翔体の地理座標推定装置、地理座標推定システム、地理座標推定方法、及びコンピュータプログラムに関する。

【背景技術】

【0002】

特許文献１は、ランドマークを観測して自己の位置を同定する自己位置同定装置を備えた移動体を開示している。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００８－１６５２７５号公報

【発明の概要】

【0004】

ドローンなどの飛翔体は、ＧＰＳ又は慣性航法などの測位技術を活用した位置・姿勢算出機能を有している。しかし、ＧＰＳ又は慣性航法などの測位技術を活用しても大まかな位置・姿勢を算出することしかできない。これに対して、本発明者らは、より高精度に飛翔体の自己位置を求めるため、設置位置が既知であるマーカを利用するという着想を得た。例えば、マーカを撮像した画像上でのマーカ位置（２次元位置）と、既知のマーカ設置位置（３次元位置）と、がわかれば、ＰｎＰ問題を解くことで、画像を撮像したカメラの位置・姿勢を求めることができる。

【0005】

設置位置が既知であるマーカを利用した自己位置推定においては、カメラによって撮像されるマーカが、どの位置に設置されたマーカであるのかを識別して認識する必要がある。自己位置推定装置が、ごく限られた空間内で移動するのであれば、その空間内に設置されるマーカの数も限られるため、画像中のマーカ識別する処理の負荷は小さい。しかし、様々な場所へ移動する可能性がある飛翔体の自己位置推定を、マーカを利用して行おうとすると、処理負荷が非常に大きくなるおそれがある。

【0006】

つまり、飛翔体は、非常に広域な領域における様々な場所を飛行できるため、マーカは、飛翔体が飛行し得る様々な場所に設置される必要がある。したがって、設置すべきマーカの数は膨大となる。この結果、マーカを利用した自己位置推定においては、飛翔体に搭載されたカメラによって撮像された画像において認識すべきマーカ候補が膨大であり、処理負荷が増大する。

【0007】

したがって、認識すべきマーカ候補が膨大であっても、効率的にマーカを認識する手法が望まれる。

【0008】

本開示のある態様は、飛翔体の地理座標推定装置である。開示の地理座標推定装置は、マーカ管理テーブルに含まれる複数のマーカデータのうち、飛翔体に搭載されたカメラによる撮影可能範囲にある１又は複数の撮影可能マーカに関する撮影可能マーカデータを、前記飛翔体の第１地理座標に基づいて決定し、前記カメラにより撮影された画像中の前記撮影可能マーカを認識することで、前記画像における前記撮影可能マーカの画像座標を求め、前記撮影可能マーカデータに含まれるマーカ地理座標と、前記画像座標と、に基づいて、前記飛翔体における第２地理座標を推定する。

【図面の簡単な説明】

【0009】

【図1】図１は、地理座標推定システムのブロック図である。

【図2】図２は、地理座標推定処理のフローチャートである。

【図3】図３は、マーカ管理テーブルを示す図である。

【図4】図４は、単独マーカの説明図である。

【図5】図５は、単独マーカの例を示す図である。

【図6】図６は、複合マーカの説明図である。

【図7】図７は、呼応マーカの説明図である。

【図8】図８は、撮影可能範囲の説明図である。

【図9】図９は、雲が映った画像である。

【図10】図１０は、雲がマーカ遮蔽物又はマーカ非出現範囲として検出されることの説明図である。

【図11】図１１は、撮影可能マーカ及び撮影可能マーカデータの説明図である。

【図12】図１２は、マーカ探索範囲の説明図である。

【図13】図１３は、河川等がマーカ非出現範囲として検出されることの説明図である。

【図14】図１４は、撮影可能マーカ認識処理の説明図である。

【図15】図１５は、第１利用例を示すフローチャートである。

【図16】図１６は、第２利用例を示すフローチャートである。

【図17】図１７は、第３利用例を示すフローチャートである。

【発明を実施するための形態】

【0010】

＜飛翔体の地理座標推定装置、地理座標推定システム、地理座標推定方法、及びコンピュータプログラムの概要＞

【0011】

（１）実施形態に係る飛翔体に地理座標推定装置は、メモリを備える。メモリは、複数のマーカデータを有するマーカ管理テーブルが格納される。前記マーカデータは、マーカが設置された位置の地理座標を示すマーカ地理座標を含む。

【0012】

地理座標推定装置は、プロセッサを備える。前記プロセッサは、前記マーカ管理テーブルに含まれる複数のマーカデータのうち、飛翔体に搭載されたカメラによる撮影可能範囲にある１又は複数の撮影可能マーカに関する撮影可能マーカデータを、前記飛翔体の第１地理座標に基づいて決定するよう動作する。第１地理座標は、ＧＰＳなどから得られる低精度の地理座標で足りる。第１地理座標は、２次元座標（例えば、緯度及び経度）であってもよいし、３次元座標（例えば、緯度、経度、及び高度）であってもよい。

【0013】

プロセッサは、前記カメラにより撮影された画像中の前記撮影可能マーカを認識することで、前記画像における前記撮影可能マーカの画像座標を求め、前記撮影可能マーカデータに含まれる前記マーカ地理座標と、前記画像座標と、に基づいて、前記飛翔体における第２地理座標を推定するよう動作する。第２地理座標は、撮影可能マーカの認識により高精度に推定される。また、撮影可能マーカデータは、第１地理座標によって予め絞り込みされるため、マーカ管理テーブルに登録されているマーカデータの数が膨大であっても、処理負荷の増加を抑えることができる。

【0014】

なお、「前記飛翔体における第２地理座標」とは、飛翔体自体の地理座標であってもよいし、飛翔体に搭載された機器（カメラなど）の地理座標であってもよい。

【0015】

（２）前記第１地理座標は、経度及び緯度を含み、前記プロセッサは、前記撮影可能範囲を、前記緯度及び前記経度に基づいて決定するのが好ましい。この場合、撮影可能範囲は、緯度及び経度に応じた適切な位置に決定される。

【0016】

（３）前記第１地理座標は、高度を更に含み、前記プロセッサは、前記撮影可能範囲を、更に、前記高度に基づいて決定するのが好ましい。この場合、撮影可能範囲は、高度に応じた適切な広さに決定される。

【0017】

（４）前記第１地理座標は、前記飛翔体に搭載される受信機によって前記飛翔体外部から受信した信号に基づいて取得されてもよい。この場合、第１地理座標を容易に得られる。

【0018】

（５）前記受信機は、ＧＮＳＳ受信機であってもよい。

【0019】

（６）前記プロセッサは、前記撮影可能マーカデータを、更に、前記カメラの視野データに基づいて決定するのが好ましい。この場合、カメラ視野に応じた適切な撮影可能マーカデータが決定される。

【0020】

（７）前記視野データは、前記カメラの姿勢を含むのが好ましい。この場合、カメラの姿勢に応じた適切な撮影可能マーカデータが決定される。

【0021】

（８）前記視野データは、前記カメラの画角を含むのが好ましい。この場合、カメラの画角に応じた適切な撮影可能マーカデータが決定される。

【0022】

（９）前記プロセッサは、前記画像から、マーカ遮蔽物を検出するよう更に動作し、前記プロセッサは、前記マーカ遮蔽物によって遮蔽されるマーカに関するマーカデータが除かれた１又は複数の前記撮影可能マーカデータを決定するのが好ましい。この場合、マーカ遮蔽物によって画像に現れないマーカを除外することができる。

【0023】

（１０）前記プロセッサは、前記画像においてマーカが現れないマーカ非出現範囲を検出し、前記マーカ非出現範囲においては前記撮影可能マーカを認識するよう動作せず、前記画像における前記マーカ非出現範囲を除く範囲において、前記撮影可能マーカを認識するよう動作をするのが好ましい。この場合、マーカ非出現範囲を除いて効率的にマーカ認識の動作をすることができる。

【0024】

（１１）前記プロセッサは、前記撮影可能マーカの種別に応じた認識方式によって、前記撮影可能マーカを認識するのが好ましい。この場合、マーカ種別に応じた認識をすることができる。

【0025】

（１２）前記プロセッサは、前記撮影可能マーカデータに含まれる前記マーカ地理座標から、前記画像におけるマーカ探索範囲を決定し、前記マーカ探索範囲において前記撮影可能マーカを認識するよう動作するのが好ましい。この場合、効率的にマーカを探索できる。

【0026】

（１３）前記プロセッサは、前記画像から複数の前記撮影可能マーカを認識した場合は、認識された複数の前記撮影可能マーカに対応する前記マーカ地理座標に基づいて、前記飛翔体における第２地理座標を推定することができる。この場合、より高精度に第２地理座標を推定できる。

【0027】

（１４）前記プロセッサは、前記撮影可能マーカデータに含まれる前記マーカ地理座標と、前記画像座標と、に基づいて、前記飛翔体における姿勢を推定するのが好ましい。なお、「前記飛翔体における姿勢」とは、飛翔体自体の姿勢であってもよいし、飛翔体に搭載された機器（カメラなど）の姿勢であってもよい。

【0028】

（１５）前記マーカデータは、マーカ設置時刻データを更に含み、前記マーカ設置時刻データは、前記マーカ地理座標の精度を識別するために前記プロセッサにより用いられるのが好ましい。

【0029】

（１６）前記マーカデータは、マーカ種別を示すマーカ種別データを更に含み、前記マーカ種別データは、前記撮影可能マーカを認識するための認識アルゴリズムを決定するために前記プロセッサにより用いられるのが好ましい。

【0030】

（１７）前記マーカデータは、マーカパターンを示すパターンデータを更に含み、前記パターンデータは、前記撮影可能マーカを認識するために前記プロセッサにより用いられるのが好ましい。

【0031】

（１８）実施形態に係る地理座標推定システムは、飛翔体に搭載されるカメラと、前記飛翔体外部から信号を受信する受信機と、複数のマーカデータを有するマーカ管理テーブルが格納されるメモリであって、前記マーカデータは、マーカが設置された位置の地理座標を示すマーカ地理座標を含む、メモリと、プロセッサと、を備え、前記プロセッサは、前記マーカ管理テーブルに含まれる複数のマーカデータのうち、前記カメラによる撮影可能範囲にある１又は複数の撮影可能マーカに関する撮影可能マーカデータを、前記受信機により受信した信号から得られる前記飛翔体の第１地理座標に基づいて決定し、前記カメラにより撮影された画像中の前記撮影可能マーカを認識することで、前記画像における前記撮影可能マーカの画像座標を求め、前記撮影可能マーカデータに含まれる前記マーカ地理座標と、前記画像座標と、に基づいて、前記飛翔体における第２地理座標を推定するよう動作する。

【0032】

（１９）実施形態に係る地理座標推定方法は、マーカ管理テーブルに含まれる複数のマーカデータのうち、飛翔体に搭載されたカメラによる撮影可能範囲にある１又は複数の撮影可能マーカに関する撮影可能マーカデータを、前記飛翔体の第１地理座標に基づいて決定し、前記カメラにより撮影された画像中の前記撮影可能マーカを認識することで、前記画像における前記撮影可能マーカの画像座標を求め、前記撮影可能マーカデータに含まれるマーカ地理座標と、前記画像座標と、に基づいて、前記飛翔体 における第２地理座標を推定することを含む。

【0033】

（２０）実施形態に係るコンピュータプログラムは、マーカ管理テーブルに含まれる複数のマーカデータのうち、飛翔体に搭載されたカメラによる撮影可能範囲にある１又は複数の撮影可能マーカに関する撮影可能マーカデータを、前記飛翔体の第１地理座標に基づいて決定し、前記カメラにより撮影された画像中の前記撮影可能マーカを認識することで、前記画像における前記撮影可能マーカの画像座標を求め、前記撮影可能マーカデータに含まれるマーカ地理座標と、前記画像座標と、に基づいて、前記飛翔体における第２地理座標を推定するようコンピュータを動作させる。コンピュータプログラムは、例えば、記憶媒体に格納される。記憶媒体は、コンピュータ読み取り可能な、非一時的な記憶媒体である。

【0034】

＜飛翔体の地理座標推定装置、地理座標推定システム、地理座標推定方法、及びコンピュータプログラムの例＞

【0035】

図１は、飛翔体１１に搭載される地理座標推定システム１０を示している。ここでの飛翔体１１は、無人航空機（Unmanned Aerial Vehicle; UAV, いわゆるドローン）である。実施形態の地理座標推定システム１０は、飛翔体１１における地理座標（地球上における絶対３次元位置座標）を推定する。実施形態の地理座標推定システム１０は、地理座標のほか、飛翔体１１における姿勢を推定することもできる。なお、実施形態においては、飛翔体１１に搭載されたカメラ６１（後述）の地理座標及び姿勢を推定する。

【0036】

ただし、地理座標推定システム１０は、飛翔体１１に搭載された他のカメラ６２（後述）の地理座標及び姿勢を推定してもよいし、飛翔体１１自体の地理座標及び姿勢を推定してもよいし、飛翔体１１に搭載された他の機器の地理座標及び姿勢を推定してもよい。他のカメラ６２，飛翔体１１自体、又は他の機器の地理座標及び姿勢は、カメラ６１との既知の相対位置関係を用いて、カメラ６１の地理座標及び姿勢から算出可能である。

【0037】

ここで、ドローンなどの飛翔体１１に搭載されたカメラによって撮像された画像を利用する際には、飛翔体１１（より正確には、飛翔体１１に搭載されたカメラ）の地球上での正確な絶対位置情報（及び姿勢）が必要とされることがある。例えば、本発明者らは、拡張現実（Augmented Reality; AR）／複合現実（Mixed Reality; MR）のため、飛翔体１１に搭載されたカメラによって撮像された画像（現実世界画像）に、他の画像（ＣＧ画像など）を重ね合わせるという着想を得た。他の画像は、例えば、各種地図・地形図・地形を撮影した過去の撮像画像などである。具体的には、大災害の現場を、飛翔体に搭載されたカメラで撮像し、撮像された画像に、各種地図・地形図・過去の撮像画像（災害前の撮像画像）を重畳させることが考えられる。このような重畳画像は、災害現場の正確な状況把握又は避難誘導に活用できる。

【0038】

上記のような重畳画像を得るには、カメラの正確な位置（及び姿勢）の把握が必要となる。一般的に、ドローンなどの飛翔体は、ＧＰＳ又は慣性航法などの測位技術を活用した位置・姿勢算出機能を有している。しかし、ＧＰＳ又は慣性航法などの測位技術では、大まかな位置・姿勢しか得られず、画素単位で画像間位置整合が要求されるような用途には不適である。

【0039】

実施形態においては、飛翔体における地理座標及び姿勢の推定のため、マーカ認識による位置決定技術が用いられる。ここで、マーカ認識による位置決定技術は、ＡＲ／ＭＲにおいて利用されている技術である。現実世界に設置されたマーカをカメラで撮像することにより、マーカとカメラとの間の相対位置・姿勢を決定することができる。決定された相対位置・姿勢を利用して、現実世界と仮想世界との位置合わせが行われる。

【0040】

しかし、飛翔体に搭載されたカメラによって撮像された画像に他の画像を重畳する場合には、マーカとカメラとの間の相対位置では足りず、カメラ（飛翔体）の地球上での正確な絶対位置情報（地理座標）及び姿勢が必要となる。そこで、実施形態の地理座標推定システム１０は、マーカ認識によって、飛翔体１１における地理座標及び姿勢を推定する。飛翔体１１における正確な地理座標及び姿勢がわかれば、カメラによって撮像された画像と他の画像とを、地球上の絶対３次元位置座標において位置合わせをすることができる。例えば、飛翔体に搭載されたカメラによって災害現場を撮影した画像と、その現場を災害前に撮影した画像と、を、地球上の絶対３次元位置座標において正確に位置合わせをすることができる。位置合わせされた画像から、災害による地勢の変化を容易に把握することが可能となる。

【0041】

図１に示すように、実施形態の地理座標推定システム１０は、地理座標推定装置１５を備える。実施形態の地理座標推定装置１５は、コンピュータによって構成される。コンピュータは、プロセッサ２０及びプロセッサ２０に接続されたメモリ３０を備える。実施形態において、地理座標推定装置１５は、飛翔体１１に搭載される。ただし、地理座標推定装置１５は、飛翔体１１との間で無線通信可能に、飛翔体１１外（例えば、地上）に設けられていてもよい。例えば、地理座標推定装置１５は、飛翔体１１の操作者が有するモバイル端末によって構成されていてもよい。

【0042】

メモリ３０には、コンピュータを地理座標推定装置１５として機能させるコンピュータプログラム５０が格納されている。プロセッサ２０は、メモリ３０に格納されたコンピュータプログラム５０を読み出して実行する。コンピュータプログラム５０は、プロセッサ２０に、図２に示す地理座標推定処理（後述）を実行させる。なお、メモリ３０は、一次記憶装置であってもよいし、二次記憶装置であってもよいし、三次記憶装置であってもよい。

【0043】

メモリ３０には、地理座標推定処理に用いられるマーカ管理テーブル３１が格納されている。マーカ管理テーブル３１については、後述する。

【0044】

地理座標推定システム１０は、第１カメラ６１を備える。第１カメラ６１は、飛翔体１１に搭載されている。第１カメラ６１は、現実世界に設置されたマーカを撮像する。マーカを撮像した画像は、地理座標及び姿勢の推定に用いられる。

【0045】

地理座標推定システム１０は、第２カメラ６２を備える。第２カメラ６２は、飛翔体１１に搭載されている。第２カメラ６２は、観測用画像を撮像する。観測用画像は、例えば、災害現場などの観測画像である。観測画像には、例えば、ＡＲ／ＭＲ技術により、他の画像（ＣＧ画像・過去撮影画像）が重畳される。なお、第１カメラ６１と第２カメラ６２とは単一のカメラによって構成されてもよい。ただし、マーカ撮像と観測とを別のカメラで行うことにより、マーカ撮像に適した画像と観測に適した画像とを別個に得ることができる。例えば、第１カメラによりマーカ設置場所を撮像しつつ、第２カメラによりマーカ設置場所から少し離れた災害現場を撮像することができる。

【0046】

地理座標推定システム１０は、航法衛星システム（Navigation Satellite System; NSS）受信機７１を備える。ＮＳＳ受信機７１は、飛翔体１１に搭載されている。航法衛星システム（NSS）は、例えば、ＧＰＳなどの全地球航法衛星システム（GNSS）である。ＮＳＳ受信機７１は、飛翔体１１外部にある衛星から受信した信号に基づいて、飛翔体１１の地理座標（例えば、緯度、経度、及び高度）を取得することができる。

【0047】

ＮＳＳ受信機７１は、地理座標推定装置１５に接続されている。ＮＳＳ受信機７１が取得した地理座標を含むＮＳＳデータは、地理座標推定装置１５へ与えられる。地理座標推定装置１５は、ＮＳＳ受信機７１から取得した地理座標を暫定地理座標（第１地理座標）として扱う。

【0048】

地理座標推定システム１０は、慣性計測装置（inertial measurement unit; IMU）７２を備える。ＩＭＵ７２は、飛翔体に搭載されている。ＩＭＵ７２は、飛翔体１１の３次元の角度と加速度とを計測する。３次元の角度と加速度とはＩＭＵデータとして、地理座標推定装置１５へ与えられる。地理座標推定装置１５は、ＩＭＵ７２から取得したＩＭＵデータから、飛翔体１１の姿勢を算出する。地理座標推定装置１５は、ＩＭＵデータから算出された姿勢を、暫定姿勢（第１姿勢）として扱う。

【0049】

地理座標推定システム１０は、高度計７３を備える。高度計７３は、飛翔体１１に搭載されている。高度計７３は、飛翔体１１の高度を計測する。高度計７３から出力された高度データは、地理座標推定装置１５へ与えられる。暫定地理座標に含まれる高度は、高度計７３により測定された高度であってもよい。

【0050】

地理座標推定システム１０は、無線通信機７４を備える。無線通信機７４は、地理座標推定装置１５が、飛翔体１１外部と通信するために用いられる。

【0051】

実施形態の地理座標推定装置１５は、暫定地理座標（第１地理座標）よりも高精度な第２地理座標及び第２姿勢を推定（算出）する。実施形態においては、第２地理座標及び第２姿勢は、画像におけるマーカ認識により算出される。実施形態において、カメラ６１により撮像されるマーカが設置されている場所の３次元地理座標（緯度、経度、及び高度）は既知である。地理座標が既知であるマーカをカメラ６１により撮像した画像において認識することで、画像におけるマーカの画像座標（画像における２次元座標）を求めることができる。そして、マーカの地理座標と画像座標とを用いて、ＰｎＰ問題を解くことで、カメラ（飛翔体１１）の地理座標（第２地理座標）及び姿勢（第２姿勢）を推定することができる。

【0052】

図３は、地理座標（第２地理座標）及び姿勢（第２姿勢）の推定に用いられるマーカを管理するためのマーカ管理テーブル３１を示している。実施形態におけるマーカは、実世界において事前に配置される静止マーカである。マーカは、飛翔体が飛行する可能性のある場所に事前に設置される。マーカ管理テーブル３１は、複数のマーカそれぞれのマーカデータを有する。なお、マーカは、マーカとして機能するようデザインされた専用の物であってもよいし、ビル・電柱・看板・橋など、現実の世界においてマーカとしての用途以外の用途のために既に存在する物（ランドマーク）であってもよい。

【0053】

実施形態のマーカデータは、各地に多数設置された複数のマーカそれぞれのＩＤ３５を有する。ＩＤ３５は、マーカそれぞれの識別子である。

【0054】

実施形態のマーカデータは、ＩＤ３５に対応付けられたマーカ地理座標３６を有する。マーカ地理座標３６は、例えば、緯度、経度、高度を含む。マーカ地理座標は、マーカの姿勢を含んでもよい。図２において、例えば、ＩＤ３５が０００１であるマーカの既知のマーカ地理座標３６として、緯度Lat₀₀₀₁、経度Lng₀₀₀₂、高度Alt₀₀₀₁が格納されている。マーカ地理座標３６は、事前に何らかの測位方法で、時間をかけて高精度に測定されたものである。測位方法は、例えば、ＧＰＳなどのＮＮＳによる測位である。ＧＰＳなどのＮＮＳによる測位であっても、時間をかけることで高精度の測位データを得ることができる。なお、図３に示すマーカ地理座標は、世界測地系であるが、３次元の地理座標を表現できれば、他の測地系であってもよい。

【0055】

実施形態のマーカデータは、ＩＤ３５に対応付けられたマーカ種別データ３７を有する。マーカ種別データ３７は、マーカ種別を示す。マーカ種別は、マーカ方式の種類を示す。実施形態においては、マーカ方式として単独マーカ方式、複合マーカ方式、呼応マーカ方式の３種類が採用されている。マーカ種別が異なれば、画像からマーカを認識するための認識アルゴリズム（認識方式）が異なることになる。マーカ種別データ３７は、ＩＤ３５で示されるマーカをどの認識アルゴリズムで認識すればよいかをプロセッサ２０が決定するために用いられる。

【0056】

実施形態のマーカデータは、ＩＤ３５に対応付けられたパターンデータ３８を有する。パターンデータ３８は、マーカパターンを示す。マーカパターンは、マーカがどのような形状・配置を有するかを示し、プロセッサ２０がマーカを画像認識して検出するために用いられる。マーカの画像認識においては、パターンデータ３８と一致するパターンを有する画像領域がマーカとして認識される。

【0057】

実施形態のマーカデータは、ＩＤ３５に対応付けられたマーカ設置時刻データ３９を有する。マーカ設置時刻データ３９は、マーカが、マーカ地理座標３６で示す位置に設置された時刻（日時）を示す。マーカ設置時刻データ３９は、プロセッサ２０が、マーカ地理座標３６の精度を識別するために用いられる。マーカ地理座標３６は、時間をかけることで精度よく測定されるため、設置直後におけるマーカ地理座標３６は、精度が低い。このため、第２地理座標及び第２姿勢を算出する際には、精度が低いマーカ地理座標３６を用いないか、用いるとしても重視しないことで、算出される第２地理座標及び第２姿勢の精度低下を防止できる。

【0058】

図４及び図５は、単独マーカ方式の例を示している。単独マーカ方式においては、一つのマーカが、上空からの観測で識別できるだけの面積を持ち、マーカの形状及びパターンが観測画像から識別できるだけの解像度を有している。マーカパターンは、個々のマーカを他のマーカから区別して同定できるようにデザイン・描画されている。マーカは、例えば、ビルの屋上又は地上の平坦な場所に配置される。単独マーカ方式におけるマーカは、それ一つだけがカメラで撮像された画像に映ると、マーカとカメラ６１（飛翔体１１）との相対的３次元位置・姿勢を計算できるようにパターンがデザインされている。マーカには、マーカ地理座標が対応付けられているため、マーカとカメラ６１との相対的３次元位置・姿勢がわかれば、マーカ地理座標３６を用いて、カメラ６１（飛翔体１１）の絶対位置姿勢（第２地理座標及び第２姿勢）を計算することができる。

【0059】

一例として、図４においては、マーカＡ１００がビルの屋上に配置されている。このマーカＡ１００は、図３に示すマーカ管理テーブル３１において、ＩＤ３５が０００１であるマーカデータとして管理されている。ＩＤ３５が０００１のマーカデータにおいて、マーカ種別３７として「Ａ（単独）」が設定され、パターンデータ３８として「Ａ１」が設定されている。ここで、Ａは、単独マーカ方式においてさらにパターン毎に分類された種別を示す。また、パターンデータ３８としてのＡ１は、Ａ（単独）であるマーカ種別において、具体的なパターンが図５に示すパターンＡ１であることを示す。

【0060】

なお、図３のマーカ管理テーブル３１においては、ＩＤ３５が、０００３であるマーカデータのパターンデータ３８は、Ｃ１である。パターンデータ３８としてのＣ１は、具体的なパターンが、図５に示すパターンＣ１であることを示す。また、ＩＤ３５が、０１２３であるマーカデータのパターンデータ３８は、Ｃ２である。パターンデータ３８としてのＣ２は、具体的なパターンが、図５に示すパターンＣ２であることを示す。

【0061】

なお、単独マーカ方式においては、飛翔体１１の高度が高くなると、地理座標及び姿勢の推定精度が低下することがある。推定精度低下防止のため、複数の単独マーカを、近隣に設置してもよい。

【0062】

図６は、複合マーカ方式の例を示している。複合マーカ方式においては、複数のマーカによって、マーカが同定される。複合マーカ方式を構成する複数のマーカそれぞれは、単体では、どのマーカかを同定するためのパターンを持たない。複合マーカ方式では、複数のマーカの組の配置パターンが、マーカ同定のための一つのパターンとして認識される。単独マーカ方式では、一つのマーカ単体が、ユニークに同定されるのに対して、複合マーカ方式では、複数のマーカが示すパターンが、ユニークに同定される。複合マーカ方式を構成する複数のマーカそれぞれは、点又は単純図形などシンプルなものでよい。つまり複合マーカ方式を構成する複数のマーカそれぞれは、単独マーカよりもシンプルなものでよい。

【0063】

複合マーカ方式におけるマーカは、高い高度からでも認識しやすいため、観測を行う飛翔体１１の高度が高い場合に有利である。また、複合マーカ方式は、単独マーカが設置できる適切な場所がない場合にも設置可能である。さらに、複合マーカ方式においては、ビル・電柱・看板・橋などの複数のランドマークの組み合わせを一つの複合マーカとして利用することができる。

【0064】

図６では、複数のビルの屋上それぞれに、マーカＢ１０１，Ｂ１０２，Ｂ１０３，Ｂ１０４，Ｂ１０５，Ｂ１０６が設置されている。図６の例では、６個のマーカＢ１０１，１０２，１０３，１０４，１０５，１０６により一つの複合マーカＢ１００が構成される。図６に示すように、複合マーカＢ１００を構成する各マーカは、同一平面内にある必要はなく、異なる高さに設置されていてもよい。マーカ管理テーブル３１は、複合マーカＢ１００を構成する複数のマーカＢ１０１，１０２，１０３，１０４，１０５，１０６それぞれのマーカデータを有する。

【0065】

カメラ６１により撮像された画像において、一つの複合マーカが同定されると、複合マーカを構成する複数のマーカそれぞれのマーカ地理座標データ３６から、カメラ６１（飛翔体１１）の第２地理座標及び第２姿勢を高精度に算出することができる。

【0066】

なお、複合マーカＢ１００を構成する複数のマーカの数は、複合マーカＢ１００同定するのに必要な最低限の数よりも十分に多くされ、冗長性を持つのが好ましい。複合マーカＢ１００を構成する複数のマーカが冗長性を有することで、複数のマーカのいくつかが認識できない場合にも、複合マーカの同定が可能となる。

【0067】

図７は、呼応マーカ方式の例を示している。呼応マーカ方式におけるマーカＤ１０１，Ｄ１０２，Ｄ１０３は、飛翔体１１からのリクエストに応じて、識別パターンを出力する。呼応マーカ方式におけるマーカＤ１０１，Ｄ１０２，Ｄ１０３は、例えば、発光器、識別のための色を表示する表示器である。識別パターンは、例えば、発光パターン、色の表示パターン、発光又は色の変化パターンである。呼応マーカ方式におけるマーカＤ１０１，Ｄ１０２，Ｄ１０３は、ビルの屋上などに設置される。呼応マーカ方式のマーカＤ１０１，Ｄ１０２，Ｄ１０３は、飛翔体１１からのリクエスト（無線通信によるリクエスト）を受信し、リクエストに応答する機構（発光器・表示器など）を有している必要がある。ただし、呼応マーカ方式では、能動的にパターンを出力できるため、出力されるパターンに情報を付加してマーカ識別精度を向上させることができる。

【0068】

上述のように、実施形態においては、複数のマーカ種別（単独マーカ方式、複合マーカ方式、呼応マーカ方式）が採用されているが、プロセッサ２０は、いずれのマーカ種別であるかを、マーカ管理テーブル３１のマーカ種別データ３７によって識別することができる。また、特定のマーカ種別、例えば、単独マーカであっても、図５に示すように複数のパターンが存在するが、プロセッサ２０は、いずれのパターンであるかを、マーカ管理テーブル３１のパターンデータ３８によって識別することができる。

【0069】

図２に戻り、プロセッサ２０は、マーカ管理テーブル３１を用いて、第２地理座標を算出する地理座標推定処理を実行する。図２に示す処理は、コンピュータプログラム５０に従い、プロセッサ２０により実行される。なお、図２に示す処理では、第２地理座標の推定のため、暫定地理座標（第１地理座標）だけでなく、暫定姿勢（第１姿勢）も用いられる。また、図２に示す処理では、第２地理座標だけでなく、暫定姿勢（第１姿勢）よりも高精度な第２姿勢も推定される。

【0070】

図２のステップＳ１１０において、プロセッサ２０は、第１地理座標及び第１姿勢を推定する。第１地理座標及び第１姿勢は、例えば、ＮＳＳ受信機７１から取得したＮＳＳデータ、ＩＭＵ７２から取得したＩＭＵデータ、及び高度計７３から取得した高度データに基づいて算出される。ＮＳＳデータ等から得られる第１地理座標及び第１姿勢は、比較的誤差が大きい。したがって、第１地理座標及び第１姿勢は、暫定値である。

【0071】

ステップＳ１２１において、プロセッサ２０は、マーカ管理テーブル３１から、撮影可能マーカ（マーカ候補）のマーカデータを選択する（撮影可能マーカの第1選択）。選択される撮影可能マーカは、飛行中の飛翔体１１に搭載されたカメラ６１による撮影可能範囲にある１又は複数のマーカである。すなわち、選択される撮影可能マーカは、カメラ６１により撮像された画像において認識される可能性のあるマーカ候補である。

【0072】

マーカ管理テーブル３１には、非常に広域な範囲に設置された多数のマーカが登録されているが、飛翔体１１のカメラ６１から撮像可能なマーカはそのうちのごく一部である。そこで、地理座標推定装置１５は、撮影可能範囲内にある撮影可能マーカのマーカデータを絞り込み、絞り込まれたマーカデータをマーカ管理テーブル３１から抽出する。

【0073】

ステップＳ１２１において、撮影可能範囲内にある撮影可能マーカの絞り込みは、第１地理座標を用いて行われる。プロセッサ２０は、第１地理座標から撮影可能範囲８０を決定する。図８に示すように、撮影可能範囲８０は、例えば、第１地理座標に含まれる緯度及び経度が示す場所を中心Ｃとする円形範囲として決定される。したがって、撮影可能範囲８０は、飛翔体１１の撮影時点における２次元位置（緯度及び経度）に応じた適切な位置に決定される。

【0074】

円形の撮影可能範囲８０の半径は、第１地理座標に含まれる高度に応じて決定される。高度が高ければ撮影可能範囲８０は広くなり、高度が低ければ撮影可能範囲８０は狭くなる。したがって、撮影可能範囲８０は、飛翔体１１の撮影時点における高度に応じた適切な大きさに決定される。

【0075】

プロセッサ２０は、マーカ管理テーブル３１に登録されているマーカのうち、マーカ地理座標３６が示す２次元位置（緯度、経度）が、撮影可能範囲８０内にあるマーカ（撮影可能マーカ）のマーカデータを選択する。

【0076】

続いて、ステップＳ１２２において、プロセッサ２０は、カメラ６１の視野データに基づいて撮影可能マーカを抽出する（撮影可能マーカの第２選択）。選択される撮影可能マーカは、ステップＳ１２１において選択された撮影可能マーカのうち、撮影時点においてカメラ６１の視野（撮影可能範囲）８１内にあると推測されるマーカである。

【0077】

カメラ６１の視野は、カメラ６１の姿勢に応じて決まる。カメラ６１の姿勢は、飛翔体１１の撮影時点の第１姿勢によって決まる。また、カメラ６１の視野は、カメラ６１の画角に応じて決まる。そこで、実施形態においては、プロセッサ２０は、第１姿勢及びカメラ６１の画角を視野データ８２として、カメラ６１の視野（撮影可能範囲）８１を決定する。撮影可能範囲８１は、第１地理座標から決まる撮影可能範囲８０内において、視野データに応じた範囲として決定される。

【0078】

また、プロセッサ２０は、撮影可能範囲８１を決定するにあたり、マーカ遮蔽物を検出する（ステップＳ１２０）。マーカ遮蔽物は、例えば、雲のように、飛翔体１１とマーカの間に存在して、飛翔体１１からみたときにマーカを遮蔽してしまう物である。プロセッサ２０は、カメラ６１により撮像した画像において、マーカ遮蔽物となり得る物（例えば、雲）を画像認識により検出する。例えば、図９に示すように、カメラ６１により撮像された画像９０に雲２００が写っている場合、雲２００が存在する範囲にはマーカは写らない。そこで、プロセッサ２０は、画像９０において雲２００が存在する範囲を決定する。この場合、プロセッサ２０は、図１０に示すように、視野データから決定された撮影可能範囲８１のうち、雲（マーカ遮蔽物）が存在する範囲を除外した範囲を、最終的な撮影可能範囲８１として決定する。なお、マーカ遮蔽物が存在する範囲は、後述のマーカ非出現範囲として扱うこともできる。

【0079】

そして、プロセッサ２０は、ステップＳ１２１において決定された撮影可能マーカ（撮影可能範囲８０内のマーカ）のうち、マーカ地理座標３６が示す２次元位置（緯度、経度）が、撮影可能範囲８１内にある撮影可能マーカデータを抽出する（ステップＳ１２２）。

【0080】

図１１は、ステップＳ１２２において抽出された撮影可能マーカデータの例を示している。図１２では、飛翔体１１の撮影可能範囲８１内に、第１撮影可能マーカ１０１、第２撮影可能マーカ１０２、第３撮影可能マーカ１０３が存在している。

【0081】

第１撮影可能マーカ１０１は、単独マーカ方式のマーカである。第１撮影可能マーカ１０１は、ＩＤ３５として、“０１２３”を持つ。第２撮影可能マーカ１０２は、複合マーカ方式のマーカである。第２撮影可能マーカ１０２は、ＩＤ３５が“０２３５”であるマーカと、ＩＤ３５が“０２３６”であるマーカと、ＩＤ３５が“０２３７”であるマーカと、から構成されている。第３撮影可能マーカ１０３は、呼応マーカ方式のマーカである。第３撮影可能マーカ１０３は、ＩＤとして“０２６１”を持つ。

【0082】

ステップＳ１３１において、プロセッサ２０は、カメラ６１により撮像された画像９０から、マーカの認識処理を行って、撮影可能マーカを検出する。実施形態のプロセッサ２０は、撮影可能マーカ１０１，１０２，１０３それぞれを検出する際に、画像９０全体を探索するのではなく、撮影可能マーカ１０１，１０２，１０３毎のマーカ探索範囲９１，９２，９３を探索する

【0083】

マーカ探索範囲９１，９２，９３は、画像９０において、撮影可能マーカ１０１，１０２，１３０のマーカ地理座標３６が示す位置に対応した範囲としてプロセッサ２０により決定される。実施形態においては、図１２に示すように、マーカ探索範囲は、マーカ地理座標３６が示す位置を中心とした矩形範囲として設定される。図１２に示す第１マーカ探索範囲９１は、第１撮影可能マーカ１０１のための探索範囲である。第２マーカ探索範囲９２は、第２撮影可能マーカ１０２のための探索範囲である。第３マーカ探索範囲９３は、第３撮影可能マーカ１０３のための探索範囲である。

【0084】

また、プロセッサ２０は、マーカ非出現範囲を検出するよう動作し（図２のステップＳ１３０）、マーカの非出現範囲は、マーカ探索範囲９１，９２，９３から除外される。マーカ非出現範囲は、図１１においてグレーの範囲で示すように、例えば、河川、海など、マーカの設置場所として想定されていないマーカ非設置場所である。マーカ非出現範囲は、雲などのマーカ遮蔽物が存在する範囲を含んでもよい。マーカ非出現範囲は、地図データに基づいて検出されてもよいし、画像９０において、河川・海などを画像認識することで検出されてもよい。雲などのマーカ遮蔽物が存在する範囲は、前述のように、雲などの画像認識により検出される。

【0085】

図１４に示すように、ステップＳ１３１の撮影可能マーカ認識処理では、マーカ種別３７に応じた認識方式（認識アルゴリズム）によって、撮影可能マーカを認識する。認識アルゴリズムとしては、例えば、単独マーカ方式用の第１認識アルゴリズム、複合マーカ方式用の第２認識アルゴリズム、呼応マーカ方式用の第３認識アルゴリズムなどが予め用意されている。プロセッサ２０は、認識しようとする撮影可能マーカのマーカデータにおけるマーカ種別３７を参照し、認識しようとする撮影可能マーカのマーカ種別を識別する。プロセッサ２０は、マーカ種別に応じた認識アルゴリズムを選択する（ステップＳ１３５）。

【0086】

例えば、プロセッサ２０は、第１マーカ探索範囲９１内において、第１撮影可能マーカ１０１のマーカ種別３７（単独マーカ方式）に応じた第１認識アルゴリズムにより、パターンデータ３８が示すパターン（Ａ１０）を認識するよう動作する。プロセッサ２０は、画像９０における第１マーカ探索範囲９１外の範囲では、第１撮影可能マーカ１０１を検出する動作を行わない。

【0087】

また、プロセッサ２０は、第２マーカ探索範囲９２内において、第２撮影可能マーカ１０２のマーカ種別３７（複合マーカ方式）に応じた第２認識アルゴリズムにより、パターンデータ３８が示すパターン（Ｂ１１，Ｂ１２，Ｂ１３）を認識するよう動作する。プロセッサ２０は、画像９０における第２マーカ探索範囲９２外の範囲では、第２撮影可能マーカ１０２を検出する動作を行わない。

【0088】

さらに、プロセッサ２０は、第３マーカ探索範囲９３内において、第３撮影可能マーカ１０３のマーカ種別３７（呼応マーカ方式）に応じた第３認識アルゴリズムにより、パターンデータ３８が示すパターン（Ｄ１２）を認識するよう動作する。プロセッサ２０は、画像９０における第３マーカ探索範囲９３外の範囲では、第３撮影可能マーカ１０３を検出する動作を行わない。

【0089】

ステップＳ１３１において、プロセッサ２０は、画像９０における各撮影可能マーカ１０１，１０２，１０３の画像座標を求める。プロセッサ２０は、各撮影可能マーカ１０１，１０２，１０３のマーカ地理座標３６は、撮影可能マーカデータ（図１１）から把握できる。したがって、プロセッサ２０は、マーカ地理座標と、画像座標と、に基づいて、ＰｎＰ問題を解く演算を行うことで、カメラ６１の第２地理座標及び第２姿勢を算出することができる。

【0090】

なお、カメラ６１の第２地理座標及び第２姿勢は、撮影可能マーカ１０１，１０２，１０３のうちのいずれか一つのマーカを認識できれば求めることができる。ただし、複数の撮影可能マーカ１０１，１０２，１０３が認識できている場合には、プロセッサ２０は、全ての撮影可能マーカ１０１，１０２，１０３のマーカ地理座標３６を用いて第２地理座標及び第２姿勢を演算することで、演算精度が向上する。

【0091】

また、マーカ設置時刻データ３９が示す時刻が、撮影時点に近いマーカのマーカ地理座標３６は、地理座標の精度が低い。そこで、プロセッサは、複数の撮影可能マーカ１０１，１０２，１０３が認識できた場合であっても、精度の低いマーカ地理座標３６は、第２地理座標及び第２姿勢の演算に使用しないか、重みを小さくして使用することで、演算精度の低下を防止できる。

【0092】

実施形態によれば、画像９０内においては、選択された撮影可能マーカの認識をすれば足り、マーカ管理テーブル３１に登録されたマーカ全てについて画像９０内での存在の有無を判断する必要がないため、処理負荷が小さい。また、実施形態においては、各撮影可能マーカが、画像９０の全範囲で探索されるのではなく、撮影可能マーカ毎に決定された局所的なマーカ探索範囲９１，９２，９３においてのみ探索されるため、処理負荷が小さい。さらに、各マーカ探索範囲９１，９２，９３においては、対応する撮影可能マーカのマーカ種別３７に応じた認識アルゴリズムだけを動作させればよく、他の認識アルゴリズムを動作させる必要がないため、処理負荷が小さい。

【0093】

なお、ステップＳ１３１において算出された第２地理座標及び第２姿勢は、飛翔体１１が大きく移動しない間は、第１地理座標及び第１姿勢として、繰り返しにより実行されるその後のステップＳ１２１の処理に用いられてもよい。

【0094】

ステップ１４０において、プロセッサ２０は、第２カメラ６２から得られた観測用画像８５に対する処理を行う。観測用画像８５に対する処理は、例えば、観測用画像８５にＣＧ画像などの他の画像を重畳させるＭＲ画像生成し、出力する処理である。

【0095】

図１５は、以上説明した地理座標推定システム１０の変形的な第１利用例を示している。図１６は、第２利用例を示し、図１７は、第３利用例を示している。

【0096】

図１５に示す第１利用例は、静的に配置された定点マーカが存在しない、又はマーカ地理座標の信頼性が低下した場合に、臨時のマーカを設置し、利用後はマーカを回収する方式である。

【0097】

第１利用例では、地表面を撮影する飛翔体１１（マスター飛翔体；Master-UAV）以外に、マスター飛翔体１１から観測できるマーカを搭載した飛翔体（スレーブ飛翔体;Slave-UAV）を用意する。スレーブ飛翔体の上部には、臨時マーカとなるマーカパターンが描かれているか、又は臨時マーカが装着されている。スレーブ飛翔体は、臨時マーカを設置したい場所（地上又はビルの屋上）へ飛行させ、その場所に着地させておく(ステップＳ２０１)。臨時マーカが設置される対象地域は、例えば、被災地である。臨時マーカは、例えば、ＧＰＳが観測しやすく、かつ、マスター飛翔体から観測されやすい場所である。

【0098】

スレーブ飛翔体は、着地後、静止し、一定時間をかけて、ＧＰＳ測位を行い、測位結果に含まれる誤差を平均化して、安定した高精度な絶対位置（地理座標）を取得する（ステップＳ２０２）。スレーブ飛翔体は、取得した地理座標を含むマーカデータを、マスター飛翔体１１が有する地理座標推定装置１５へ無線送信する（ステップＳ２０３）。送信されるマーカデータには、臨時マーカのマーカＩＤ３５、臨時マーカのマーカ種別３７、臨時マーカのパターンデータ３８、臨時マーカのマーカ設置時刻データ３９と、が含まれる。地理座標推定装置１５は、受信したマーカデータを、マーカ管理テーブル３１に追加登録する。

【0099】

マスター飛翔体１１は、スレーブ飛翔体に搭載された臨時マーカを検出することで、第２地理座標及び第２姿勢を推定する（ステップＳ２０４）。なお、臨時マーカは、単独マーカであってもよいし、複合マーカを構成する一つのマーカであってもよいし、呼応マーカであってもよい。臨時マーカとして複合マーカを利用する場合、複数のスレーブ飛翔体が用いられる。

【0100】

図１６に示す第２利用例は、車両上に搭載されたマーカ（Car Roof Top Marker; C-RTM）を利用する方式である。第２利用例は、例えば、定点マーカが存在せず、スレーブ飛翔体も利用可能でないが、自らの絶対位置を確定できる自動車なら配車できる場合に適している。第２利用例においては、屋根にマーカ（C-RTM）が描かれている、又は搭載された自動車が用いられる。

【0101】

第２利用例に用いられる自動車は、車載ＬｉＤＡＲ(Light Detection and Ranging、Laser Imaging Detection and Ranging)等で自己位置を高精度に推定する機能を持つ。ＬｉＤＡＲは、光により対象までの距離等を測定する。また、この自動車は、走行中の周辺地区の３次元地図や付帯情報を取得することができる。３次元地図等は、自己位置の推定に用いられる。

【0102】

そこで、まず、Ｃ－ＲＴＭ搭載自動車が、飛翔体（ＵＡＶ）から観測できる位置で停車する。そして、3次元地図とＬｉＤＡＲ観測データとのマッチングで、自車両の位置（地理座標）及び姿勢を高精度に計測する（ステップＳ３０１）。

【0103】

Ｃ－ＲＴＭ搭載自動車は、計測した地理座標を含むＣ－ＲＴＭマーカデータを、飛翔体１１が有する地理座標推定装置１５へ無線送信する（ステップＳ３０２）。地理座標推定装置１５は、受信したマーカデータを、マーカ管理テーブル３１に追加登録する。

【0104】

飛翔体１１は、Ｃ－ＲＴＭを検出することで、飛翔体とＣ－ＲＴＭとの間の相対位置及び姿勢を決定する（ステップＳ３０３）。そして、Ｃ－ＲＴＭのマーカデータに含まれるマーカ地理座標３６を用いて、飛翔体１１の第２地理座標及び第２姿勢が推定される（ステップＳ３０４）。

【0105】

図１７に示す第３利用例は、第２利用例とは逆の着想に基づくものである。第３利用例では、飛翔体（ＵＡＶ）１１から、Ｃ－ＲＴＭ搭載自動車へ、絶対位置（地理座標）及び姿勢が伝達される。第３利用例では、Ｃ－ＲＴＭ搭載自動車が、自己完結的に自己位置・姿勢を決定する機能を有していなくても、飛翔体１１からのデータにより、自己位置・姿勢を決定することができる。

【0106】

第３利用例において、飛翔体１１に搭載された地理座標推定装置１５は、既に説明した手法により、自己の絶対位置・姿勢（第２地理座標及び第２姿勢）を推定する（ステップＳ４０１）。

【0107】

飛翔体１１に搭載された地理座標推定装置１５は、Ｃ－ＲＴＭを識別して、Ｃ－ＲＴＭ搭載自動車と飛翔体１１との相対位置・姿勢を推定する（ステップＳ４０２）。さらに、地理座標推定装置１５は、飛翔体１１の絶対位置・姿勢と、ステップＳ４０２で推定された相対位置・姿勢とから、Ｃ－ＲＴＭ搭載自動車の絶対位置・姿勢を推定する（ステップＳ４０３）。

【0108】

Ｃ－ＲＴＭ搭載自動車の絶対位置・姿勢は、飛翔体１１からＣ－ＲＴＭ搭載自動車へ伝送される。Ｃ－ＲＴＭ搭載自動車は、走行中である場合には、推定時刻との差を考慮し、自動車に搭載された加速度センサなどの情報を組み合わせて、受信した絶対位置・姿勢を補正する。これにより、Ｃ－ＲＴＭ搭載自動車は、絶対位置・姿勢を得ることができる。

【0109】

＜付記＞

【0110】

本発明は、上記実施形態に限定されるものではなく、様々な変形が可能である。

【符号の説明】

【0111】

１０ ：地理座標推定システム
１１ ：飛翔体
１５ ：地理座標推定装置
２０ ：プロセッサ
３０ ：メモリ
３１ ：マーカ管理テーブル
３５ ：マーカＩＤ
３６ ：マーカ地理座標データ
３６ ：マーカ地理座標
３７ ：マーカ種別
３７ ：マーカ種別データ
３８ ：パターンデータ
３９ ：マーカ設置時刻データ
５０ ：コンピュータプログラム
６１ ：第１カメラ
６２ ：第２カメラ
７１ ：ＮＳＳ受信機
７２ ：ＩＭＵ
７３ ：高度計
７４ ：無線通信機
８０ ：撮影可能範囲
８１ ：撮影可能範囲
８５ ：観測用画像
９０ ：画像
９１ ：第１マーカ探索範囲
９２ ：第２マーカ探索範囲
９３ ：第３マーカ探索範囲
１０１ ：第１撮影可能マーカ
１０２ ：第２撮影可能マーカ
１０３ ：第３撮影可能マーカ
１０４ ：マーカ
１０５ ：マーカ
１０６ ：マーカ
１３０ ：撮影可能マーカ
２００ ：雲
Ａ１００ ：マーカ
Ｂ１００ ：複合マーカ
Ｂ１０１ ：マーカ
Ｂ１０２ ：マーカ
Ｂ１０３ ：マーカ
Ｂ１０４ ：マーカ
Ｂ１０５ ：マーカ
Ｂ１０６ ：マーカ
Ｃ ：中心
Ｄ１０１ ：マーカ
Ｄ１０２ ：マーカ
Ｄ１０３ ：マーカ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】