ホーム > 特許ランキング > ソニーグループ株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-12-09
(45)【発行日】2024-12-17
(54)【発明の名称】画像処理装置、および画像処理方法、並びにプログラム
(51)【国際特許分類】
H04N 7/18 20060101AFI20241210BHJP
【ＦＩ】
H04N7/18 U
【請求項の数】
11
(21)【出願番号】P 2021561221
(86)(22)【出願日】2020-10-21
(86)【国際出願番号】 JP2020039509
(87)【国際公開番号】W WO2021106436
(87)【国際公開日】2021-06-03
【審査請求日】2023-08-31
(31)【優先権主張番号】P 2019214975
(32)【優先日】2019-11-28
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000002185
【氏名又は名称】ソニーグループ株式会社
(74)【代理人】
【識別番号】100093241
【弁理士】
【氏名又は名称】宮田 正昭
(74)【代理人】
【識別番号】100101801
【弁理士】
【氏名又は名称】山田 英治
(74)【代理人】
【識別番号】100086531
【弁理士】
【氏名又は名称】澤田 俊夫
(74)【代理人】
【識別番号】100095496
【弁理士】
【氏名又は名称】佐々木 榮二
(74)【代理人】
【識別番号】110000763
【氏名又は名称】弁理士法人大同特許事務所
(72)【発明者】
【氏名】多井 堅一郎
(72)【発明者】
【氏名】大谷 孝英
【審査官】西田 光宏
(56)【参考文献】
【文献】特開２０１９－１０６０００（ＪＰ，Ａ）
【文献】特開２０１９－０３２２３４（ＪＰ，Ａ）
【文献】特開２０１７－１１６３３９（ＪＰ，Ａ）
【文献】特開２０１２－１９４１７５（ＪＰ，Ａ）
【文献】特開２００５－２３３７１２（ＪＰ，Ａ）
【文献】国際公開第２０１８／０４３２９９（ＷＯ，Ａ１）
【文献】中国特許出願公開第１１０１７４９０３（ＣＮ，Ａ）
【文献】米国特許出願公開第２０１７／０２０１６１７（ＵＳ，Ａ１）
【文献】特表２００８－５０１９５５（ＪＰ，Ａ）
【文献】特開２０１９－１３３４５０（ＪＰ，Ａ）
【文献】特開２０１３－２１８４５９（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０１Ｃ ２１／００－２１／３６
Ｇ０１Ｃ ２３／００
Ｇ０１Ｃ ２５／００
Ｇ０５Ｄ １／００－１／８７
Ｇ０６Ｆ ３／００－３／１８
Ｇ０６Ｔ １／００－１９／２０
Ｇ０８Ｇ １／００－９９／００
Ｇ０９Ｇ ５／００－５／４２
Ｈ０４Ｎ ７／１８
(57)【特許請求の範囲】
【請求項1】
移動装置をカメラで撮影した撮影画像を表示した表示部に、前記移動装置の移動経路を表示するデータ処理部を有し、前記データ処理部は、
前記移動装置の移動経路を示す第１の座標系に従った位置情報を、前記表示部の表示画像の画素位置を特定可能な第２の座標系に変換する座標変換処理を実行し、
前記座標変換処理によって生成した前記第２の座標系に従った位置情報を有する移動経路を表示部に出力する処理を実行し、
前記データ処理部は、
前記座標変換処理に適用する座標変換行列の生成処理において、
前記移動装置の前記第１の座標系対応の位置と、前記移動装置をカメラで撮影した撮影画像における撮像位置との対応関係を示す関係式からなる連立方程式を生成し、
生成した連立方程式から算出されるパラメータを用いて、前記座標変換行列を生成する処理を実行し、
前記連立方程式の生成処理において、複数の異なる位置にある前記移動装置をカメラで撮影した撮影画像を利用した処理を実行する画像処理装置。
【請求項2】
画像処理装置において実行する画像処理方法であり、前記画像処理装置は、移動装置をカメラで撮影した撮影画像を表示した表示部に、前記移動装置の移動経路を表示するデータ処理部を有し、
前記データ処理部が、
前記移動装置の移動経路を示す第１の座標系に従った位置情報を、前記表示部の表示画像の画素位置を特定可能な第２の座標系に変換する座標変換処理ステップと、
前記座標変換処理ステップにおいて生成した前記第２の座標系に従った位置情報を有する移動経路を表示部に出力する移動経路表示ステップを実行し、
前記データ処理部は、
前記座標変換処理ステップにおいて、
前記移動装置の前記第１の座標系対応の位置と、前記移動装置をカメラで撮影した撮影画像における撮像位置との対応関係を示す関係式からなる連立方程式を生成する連立方程式生成ステップと、
生成した連立方程式から算出されるパラメータを用いて、前記座標変換処理ステップで実行する座標変換処理に適用する座標変換行列を生成する座標変換行列生成ステップを実行し、
前記データ処理部は、
前記連立方程式生成ステップにおいて、
複数の異なる位置にある前記移動装置をカメラで撮影した撮影画像を利用して前記連立方程式を生成する画像処理方法。
【請求項3】
前記移動装置は、ドローンであり、前記第１の座標系は、ＮＥＤ座標系であり、
前記第２の座標系は、前記移動装置を撮影したカメラに対応するカメラ座標系である請求項２に記載の画像処理方法。
【請求項4】
前記データ処理部は、前記連立方程式から得られるパラメータを前記座標変換行列の行列要素に設定した座標変換行列を生成する請求項２に記載の画像処理方法。
【請求項5】
前記データ処理部は、３つの異なる位置にある前記移動装置をカメラで撮影した撮影画像を利用して、３つの関係式からなる前記連立方程式を生成する請求項２に記載の画像処理方法。
【請求項6】
前記データ処理部は、複数の異なる位置にある前記移動装置をカメラで撮影した撮影画像のカメラの位置または姿勢が異なる場合、
画像撮影時の複数の異なるカメラ座標を１つのカメラ座標に変換する座標変換行列を算出して、算出したカメラ座標変換行列を適用して、複数の異なる位置の移動装置の撮像位置を１つのカメラ座標上に設定する処理を実行する請求項２に記載の画像処理方法。
【請求項7】
前記データ処理部は、前記移動装置を撮影するカメラの位置姿勢を算出するＳＬＡＭ（ｓｉｍｕｌｔａｎｅｏｕｓ ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ ｍａｐｐｉｎｇ）処理を実行して、ＳＬＡＭ処理結果を利用して、前記カメラ座標変換行列を算出する請求項６に記載の画像処理方法。
【請求項8】
前記データ処理部は、前記ＳＬＡＭ処理の結果に基づいて、
前記ＳＬＡＭ処理に適用する座標系であるワールド座標系と、前記カメラ対応のカメラ座標系との座標変換を行うワールド座標カメラ座標変換行列を算出し、
算出したワールド座標カメラ座標変換行列を適用して、画像撮影時の複数の異なるカメラ座標を１つのカメラ座標に変換する前記カメラ座標変換行列を算出する請求項７に記載の画像処理方法。
【請求項9】
前記データ処理部は、前記移動装置であるドローン、またはドローンの管理を行うドローン管理サーバから、前記第１の座標系であるＮＥＤ座標系に従った飛行経路情報を取得し、
取得した飛行経路情報を、前記第２の座標系であるカメラ座標系に変換する請求項２に記載の画像処理方法。
【請求項10】
前記データ処理部は、移動装置をカメラで撮影した撮影画像を表示した前記表示部に、前記移動装置の移動済み経路と移動予定経路を表示する請求項２に記載の画像処理方法。
【請求項11】
画像処理装置において画像処理を実行させるプログラムであり、前記画像処理装置は、移動装置をカメラで撮影した撮影画像を表示した表示部に、前記移動装置の移動経路を表示するデータ処理部を有し、
前記プログラムは、前記データ処理部に、
前記移動装置の移動経路を示す第１の座標系に従った位置情報を、前記表示部の表示画像の画素位置を特定可能な第２の座標系に変換する座標変換処理ステップと、
前記座標変換処理ステップにおいて生成した前記第２の座標系に従った位置情報を有する移動経路を表示部に出力する移動経路表示ステップを実行させ、
前記座標変換処理ステップにおいて、
前記移動装置の前記第１の座標系対応の位置と、前記移動装置をカメラで撮影した撮影画像における撮像位置との対応関係を示す関係式からなる連立方程式を生成する連立方程式生成ステップと、
生成した連立方程式から算出されるパラメータを用いて、前記座標変換処理ステップで実行する座標変換処理に適用する座標変換行列を生成する座標変換行列生成ステップを実行させ、
前記連立方程式生成ステップにおいて、
複数の異なる位置にある前記移動装置をカメラで撮影した撮影画像を利用して前記連立方程式を生成させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、画像処理装置、および画像処理方法、並びにプログラムに関する。さらに詳細には、例えばドローン等、移動装置の移動軌跡を実写画像上に正確に表示することを可能とした画像処理装置、および画像処理方法、並びにプログラムに関する。
【背景技術】
【0002】
近年、小型の飛行体であるドローンの利用が急激に増加している。例えば、ドローンにカメラを装着し、上空から地上の風景を撮影する処理等に利用されている。また、荷物の配送にドローンを利用することも計画されており、様々な実験が行われている。
【0003】
現在は、多くの国において、人の監視下、すなわち人が目視できる範囲でコントローラを操作してドローンの飛行制御を行うことが求められている。しかし、将来的には、人の目視による監視が不要な自律飛行型ドローン、すなわち、出発地から目的地に向けて自律的に飛行を行うドローンが多く利用されると想定される。
【0004】
このような自律飛行型のドローンは、例えば管制センターとの通信情報やＧＰＳ位置情報を利用して、出発地から目的地に向けて飛行する。
【0005】
自律飛行型のドローンの具体的な利用形態としては、ドローンによる荷物配送がある。ドローンによる荷物配送を行う場合、荷物配送を依頼したユーザは、自分宛の荷物を搭載したドローンの到着予定時刻が近づくと、空を見上げて自分宛の荷物を搭載したドローンを確認し、その飛行経路や飛行予定経路を確認したくなることことが予想される。
【0006】
また、荷物配送以外のドローンであっても、例えば、安全確認のために、上空を飛んでいるドローンの飛行経路を確認したいという要望も発生することが予想される。
【0007】
このようなユーザ要求を実現する処理として、例えばスマホ（スマートホン）等、カメラ付きユーザ端末のカメラで上空にあるドローンの画像を撮影し、この撮影画像を表示部に表示するとともに、その画像にドローンの飛行経路や飛行予定経路を、ドローンの実写画像上に重畳して表示するといった処理が考えられる。
すなわち、ドローンの実画像に飛行経路を示すラインを重畳したＡＲ（Ａｕｇｕｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）画像を生成して表示するものである。
すなわち、ドローンの実画像に飛行経路を示すラインを重畳したＡＲ（Ａｕｇｕｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）画像を生成して表示するものである。
【0008】
ドローンの飛行経路や飛行予定経路に関する情報は、ドローン、あるいはドローンの飛行を管理する管制センターから、通信ネットワークを介した通信によってスマホ等のユーザ端末に送信することが可能である。
ドローン、あるいは管制センターは、ドローンの飛行経路や飛行予定経路に関する情報、すなわち飛行経路情報を保持しており、この飛行経路情報をスマホ等のユーザ端末に提供することができる。
ドローン、あるいは管制センターは、ドローンの飛行経路や飛行予定経路に関する情報、すなわち飛行経路情報を保持しており、この飛行経路情報をスマホ等のユーザ端末に提供することができる。
【0009】
しかし、ドローンの多くは、ＧＰＳ衛星の通信情報を用いた位置制御を行う。ＧＰＳ衛星から得られる位置情報は、緯度情報、経度情報、高さ情報である。ドローンの多くは、これらの情報を利用して飛行を行うため、ＮＥＤ座標系に従った位置確認や飛行制御を行う。
ＮＥＤ座標系は、北（Ｎｏｒｔｈ）、東（Ｅａｓｔ）、下（Ｄｏｗｎ）を３軸として設定した座標系である。
ＮＥＤ座標系は、北（Ｎｏｒｔｈ）、東（Ｅａｓｔ）、下（Ｄｏｗｎ）を３軸として設定した座標系である。
【0010】
ドローン、あるいは管制センターは、ドローンの飛行経路や飛行予定経路に関する情報である飛行経路情報を、このＮＥＤ座標を適用した経路情報（Ｎ，Ｅ，Ｄ）として保持しており、このＮＥＤ座標系に従った経路情報がスマホ等のユーザ端末に提供されることになる。
【0011】
一方、スマホ等のユーザ端末に表示されるカメラ撮影画像は、カメラの撮影方向に応じて設定されるカメラ座標系に従った画像データである。
スマホ等のユーザ端末のカメラによって撮影されるドローンの実画像の画像位置は、カメラ座標上の画像位置として特定可能である。しかし、ドローンの実画像位置がＮＥＤ座標のどの位置に対応するかについては算出が困難である。
スマホ等のユーザ端末のカメラによって撮影されるドローンの実画像の画像位置は、カメラ座標上の画像位置として特定可能である。しかし、ドローンの実画像位置がＮＥＤ座標のどの位置に対応するかについては算出が困難である。
【0012】
このように、スマホ等のユーザ端末に表示される実画像であるドローンの位置は、カメラ座標系で特定可能な位置であるが、ドローン、あるいは管制センターから受信するドローンの飛行経路情報は、ＮＥＤ座標系で特定される経路位置情報であり、この経路位置がカメラ座標のどの位置に対応するかについての確認が困難であるという問題がある。
【0013】
この結果、スマホ等のユーザ端末は、ドローン、あるいは管制センターからドローンの飛行経路情報を受信し、この受信情報に基づいて飛行経路を表示部に表示しようとしても、正確な経路を表示できないという問題が発生する。
【0014】
なお、自走ロボットの位置や軌跡を監視カメラ等の定点カメラの撮影画像上にＡＲ表示する構成を開示した従来技術として、例えば特許文献１（特許第５１９２５９８号公報）がある。
【0015】
この構成は、自走ロボットや自走ロボットの作業領域内にＡＲタグを設置して、カメラ撮影画像からＡＲタグを認識して、１つの基準座標情報を生成して生成した基準座標情報を用いて自走ロボットの位置や経路を識別可能とした構成を開示している。
【0016】
しかし、この構成は、ＡＲタグを作業領域内に取り付けることが必要であり、また、限定された作業領域内でのみ適用可能な構成である。ドローンのように上空を飛ぶ構成では、上空にＡＲタグを取り付けることは不可能である。
【先行技術文献】
【特許文献】
【0017】
【文献】特許第５１９２５９８号公報
【発明の概要】
【発明が解決しようとする課題】
【0018】
本開示は、例えば、上記の問題点に鑑みてなされたものであり、スマホ（スマートホン）等のユーザ端末に、カメラ撮影画像であるドローンの実画像を表示するとともに、この実画像に併せてドローンの飛行経路や飛行予定経路を正確に重畳して表示することを可能とした画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。
【課題を解決するための手段】
【0019】
本開示の第１の側面は、
移動装置のカメラ撮影画像を表示した表示部に、前記移動装置の移動経路を表示するデータ処理部を有し、
前記データ処理部は、
前記移動装置の移動経路を示す第１の座標系に従った位置情報を、前記表示部の表示画像の画素位置を特定可能な第２の座標系に変換する座標変換処理を実行し、
前記座標変換処理によって生成した前記第２の座標系に従った位置情報を有する移動経路を表示部に出力する画像処理装置にある。
移動装置のカメラ撮影画像を表示した表示部に、前記移動装置の移動経路を表示するデータ処理部を有し、
前記データ処理部は、
前記移動装置の移動経路を示す第１の座標系に従った位置情報を、前記表示部の表示画像の画素位置を特定可能な第２の座標系に変換する座標変換処理を実行し、
前記座標変換処理によって生成した前記第２の座標系に従った位置情報を有する移動経路を表示部に出力する画像処理装置にある。
【0020】
さらに、本開示の第２の側面は、
画像処理装置において実行する画像処理方法であり、
前記画像処理装置は、移動装置のカメラ撮影画像を表示した表示部に、前記移動装置の移動経路を表示するデータ処理部を有し、
前記データ処理部が、
前記移動装置の移動経路を示す第１の座標系に従った位置情報を、前記表示部の表示画像の画素位置を特定可能な第２の座標系に変換する座標変換処理を実行し、
前記座標変換処理によって生成した前記第２の座標系に従った位置情報を有する移動経路を表示部に出力する画像処理方法にある。
画像処理装置において実行する画像処理方法であり、
前記画像処理装置は、移動装置のカメラ撮影画像を表示した表示部に、前記移動装置の移動経路を表示するデータ処理部を有し、
前記データ処理部が、
前記移動装置の移動経路を示す第１の座標系に従った位置情報を、前記表示部の表示画像の画素位置を特定可能な第２の座標系に変換する座標変換処理を実行し、
前記座標変換処理によって生成した前記第２の座標系に従った位置情報を有する移動経路を表示部に出力する画像処理方法にある。
【0021】
さらに、本開示の第３の側面は、
画像処理装置において画像処理を実行させるプログラムであり、
前記画像処理装置は、移動装置のカメラ撮影画像を表示した表示部に、前記移動装置の移動経路を表示するデータ処理部を有し、
前記プログラムは、前記データ処理部に、
前記移動装置の移動経路を示す第１の座標系に従った位置情報を、前記表示部の表示画像の画素位置を特定可能な第２の座標系に変換する座標変換処理と、
前記座標変換処理によって生成した前記第２の座標系に従った位置情報を有する移動経路を表示部に出力する処理を実行させるプログラムにある。
画像処理装置において画像処理を実行させるプログラムであり、
前記画像処理装置は、移動装置のカメラ撮影画像を表示した表示部に、前記移動装置の移動経路を表示するデータ処理部を有し、
前記プログラムは、前記データ処理部に、
前記移動装置の移動経路を示す第１の座標系に従った位置情報を、前記表示部の表示画像の画素位置を特定可能な第２の座標系に変換する座標変換処理と、
前記座標変換処理によって生成した前記第２の座標系に従った位置情報を有する移動経路を表示部に出力する処理を実行させるプログラムにある。
【0022】
なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。
【0023】
本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【0024】
本開示の一実施例の構成によれば、ドローンの実写画像上にドローンの飛行経路を正確に表示することを可能とした構成が実現される。
具体的には、例えば、ドローン等の移動装置のカメラ撮影画像を表示した表示部に、移動装置の移動経路を表示するデータ処理部を有する。データ処理部は、移動装置の移動経路を示す第１の座標系、例えばＮＥＤ座標系に従った位置情報を、表示部の表示画像の画素位置を特定可能な第２の座標系、例えばカメラ座標系に変換する座標変換処理を行う座標変換行列を生成し、生成した座標変換行列を適用した座標変換処理によって生成したカメラ座標系に従った位置情報を有する移動経路を表示部に出力する。
本構成により、ドローンの実写画像上にドローンの飛行経路を正確に表示することを可能とした構成が実現される。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
具体的には、例えば、ドローン等の移動装置のカメラ撮影画像を表示した表示部に、移動装置の移動経路を表示するデータ処理部を有する。データ処理部は、移動装置の移動経路を示す第１の座標系、例えばＮＥＤ座標系に従った位置情報を、表示部の表示画像の画素位置を特定可能な第２の座標系、例えばカメラ座標系に変換する座標変換処理を行う座標変換行列を生成し、生成した座標変換行列を適用した座標変換処理によって生成したカメラ座標系に従った位置情報を有する移動経路を表示部に出力する。
本構成により、ドローンの実写画像上にドローンの飛行経路を正確に表示することを可能とした構成が実現される。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
【図面の簡単な説明】
【0025】
【図1】ユーザ端末を利用したドローンの撮影処理と、撮影画像に対する経路情報表示処理例について説明する図である。
【図2】ユーザ端末の表示部に対するドローンの経路情報表示処理の具体例について説明する図である。
【図3】ドローンの飛行経路や飛行予定経路に関する情報である飛行経路情報の送受信例について説明する図である。
【図4】ドローンの経路情報表示処理における問題点について説明する図である。
【図5】ドローンの経路情報表示が不正確になる理由について説明する図である。
【図6】ドローンの経路情報表示が不正確になる理由について説明する図である。
【図7】本開示の画像処理装置が実行する処理において利用する複数の座標系について説明する図である。
【図8】ある１つの座標系の位置情報を、異なる別の座標系の位置情報に変換する場合の処理の一例について説明する図である。
【図9】３つの座標変換行列の例について説明する図である。
【図10】本開示の画像処理装置であるユーザ端末が実行する座標変換行列（ＣＴＮＥＤ）の算出処理の具体例について説明する図である。
【図11】本開示の画像処理装置であるユーザ端末が実行する座標変換行列（ＣＴＮＥＤ）の算出処理の具体例について説明する図である。
【図12】ピンホールカメラモデルについて説明する図である。
【図13】ピンホールカメラモデルについて説明する図である。
【図14】本開示の画像処理装置であるユーザ端末が実行する座標変換行列（ＣＴＮＥＤ）の算出処理の具体例について説明する図である。
【図15】本開示の画像処理装置であるユーザ端末が実行する座標変換行列（ＣＴＮＥＤ）の算出処理の具体例について説明する図である。
【図16】本開示の画像処理装置であるユーザ端末が実行するＡＲ画像表示例であり、実写画像としてのドローン画像に対して、ずれのないドローンの飛行経路（飛行経路や飛行予定経路）を出力表示した例について説明する図である。
【図17】３つの異なる位置にあるドローンの撮影期間中にカメラの位置姿勢が変化することを考慮した処理について説明する図である。
【図18】３つの異なる位置にあるドローンの撮影期間中にカメラの位置姿勢が変化することを考慮した処理について説明する図である。
【図19】本開示の画像処理装置が実行する処理のシーケンスについて説明するフローチャートを示す図である。
【図20】本開示の画像処理装置の記憶部（メモリ）に記録されるデータの例について説明する図である。
【図21】本開示の画像処理装置が実行する処理のシーケンスについて説明するフローチャートを示す図である。
【図22】本開示の画像処理装置の記憶部（メモリ）に記録されるデータの例について説明する図である。
【図23】本開示の画像処理装置が実行する処理のシーケンスについて説明するフローチャートを示す図である。
【図24】本開示の画像処理装置であるユーザ端末、およびドローンの構成例について説明する図である。
【発明を実施するための形態】
【0026】
以下、図面を参照しながら本開示の画像処理装置、および画像処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行なう。
１．ドローンの経路情報表示処理における問題点について
２．本開示の画像処理装置の実行する処理について
３．本開示の画像処理装置が実行する処理のシーケンスについて
４．本開示の画像処理装置、およびドローンの構成例について
５．本開示の構成のまとめ
１．ドローンの経路情報表示処理における問題点について
２．本開示の画像処理装置の実行する処理について
３．本開示の画像処理装置が実行する処理のシーケンスについて
４．本開示の画像処理装置、およびドローンの構成例について
５．本開示の構成のまとめ
【0027】
［１．ドローンの経路情報表示処理における問題点について］
まず、図１以下を参照してドローンの経路情報の表示処理における問題点について説明する。
まず、図１以下を参照してドローンの経路情報の表示処理における問題点について説明する。
【0028】
先に説明したように、現在のドローンは、多くの国において人の監視下、すなわち人が目視できる範囲でコントローラを操作して飛行制御を行うことが求められている。しかし、将来的には、人の目視による監視が不要な自律飛行型ドローン、すなわち、出発地から目的地に向けて自律的に飛行を行うドローンが利用されると想定される。このような自律飛行型のドローンは、例えば管制センターとの通信情報やＧＰＳ位置情報を利用して、出発地から目的地に向けて飛行する。
【0029】
自律飛行型のドローンの具体的な利用形態としてドローンによる荷物配送がある。ドローンによる荷物配送を行う場合、荷物配送を依頼したユーザは、自分宛の荷物を搭載したドローンの到着予定時刻が近づくと、空を見上げて自分宛の荷物を搭載したドローンを確認し、その飛行経路や飛行予定経路を確認したくなることが予想される。
【0030】
このユーザ要求を実現する処理として、例えばユーザがスマホ（スマートホン）等、カメラ付きユーザ端末のカメラで上空にあるドローンの画像を撮影し、この撮影画像を表示部に表示するとともに、その画像にドローンの飛行経路や飛行予定経路を重畳して表示するといった処理が考えられる。
【0031】
図１以下を参照して、この処理の具体例について説明する。
図１には、上空を飛行するドローン２０と、カメラ付きスマホ（スマートホン）であるユーザ端末１０を持つユーザ１を示している。
ユーザ１は、ユーザ端末１０のカメラを上空のドローン２０に向けてドローン２０の画像を撮影している。
図１には、上空を飛行するドローン２０と、カメラ付きスマホ（スマートホン）であるユーザ端末１０を持つユーザ１を示している。
ユーザ１は、ユーザ端末１０のカメラを上空のドローン２０に向けてドローン２０の画像を撮影している。
【0032】
図２にユーザ端末１０の表示画像の例を示す。
図２に示す画像は、ユーザ端末１０のカメラによって撮影された画像であり、ドローン２０が表示されている。このドローン２０の画像は、実際に上空を飛行している実オブジェクトである。
この実画像にユーザ端末１０のデータ処理部が生成した仮想画像としてドローン２０の飛行経路や飛行予定経路を示すラインを表示する。
すなわち、ドローンの実画像に飛行経路を示す仮想ラインを、実画像に重畳したＡＲ（Ａｕｇｕｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）画像を生成して表示する。
図２に示す画像は、ユーザ端末１０のカメラによって撮影された画像であり、ドローン２０が表示されている。このドローン２０の画像は、実際に上空を飛行している実オブジェクトである。
この実画像にユーザ端末１０のデータ処理部が生成した仮想画像としてドローン２０の飛行経路や飛行予定経路を示すラインを表示する。
すなわち、ドローンの実画像に飛行経路を示す仮想ラインを、実画像に重畳したＡＲ（Ａｕｇｕｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）画像を生成して表示する。
【0033】
図２に示す「飛行経路」は、ドローン２０の現在位置までに飛行した飛行済み経路である。また図に示す「飛行予定経路」は、ドローン２０の現在位置からの予定の飛行経路である。
図に示す例は、「飛行経路」の末端は、ドローン２０の現在位置に一致し、「飛行予定経路」の始点もドローン２０の現在位置に一致しており、これらの経路情報が正確に表示されている例である。
ドローン２０は、現在位置から「飛行予定経路」に従って飛行し、家の前で着陸してユーザ宛ての荷物を届ける予定であることが分かる。
図に示す例は、「飛行経路」の末端は、ドローン２０の現在位置に一致し、「飛行予定経路」の始点もドローン２０の現在位置に一致しており、これらの経路情報が正確に表示されている例である。
ドローン２０は、現在位置から「飛行予定経路」に従って飛行し、家の前で着陸してユーザ宛ての荷物を届ける予定であることが分かる。
【0034】
ドローンの飛行経路や飛行予定経路に関する情報は、ユーザ端末がドローン、あるいは管制センターから受信することが可能である。
図３に示すように、ユーザ端末１０は、ドローン２０、あるいは管制センターであるドローン管理サーバ３０から、ドローンの飛行経路や飛行予定経路に関する情報である飛行経路情報を受信することができる。
図３に示すように、ユーザ端末１０は、ドローン２０、あるいは管制センターであるドローン管理サーバ３０から、ドローンの飛行経路や飛行予定経路に関する情報である飛行経路情報を受信することができる。
【0035】
しかし、前述したように、ドローンの多くは、ＧＰＳ衛星の通信情報を用いた位置制御を行う。ＧＰＳ衛星から得られる位置情報は、緯度情報、経度情報、高さ情報である。ドローンの多くは、これらの情報を利用して飛行を行うためＮＥＤ座標系を利用して位置確認や飛行ルートの制御を行うことが多い。
【0036】
ＮＥＤ座標は、北（Ｎｏｒｔｈ）、東（Ｅａｓｔ）、下（Ｄｏｗｎ）を３軸として設定した座標である。
【0037】
図３に示すドローン２０、あるいは管制センターであるドローン管理サーバ３０は、ドローンの飛行経路や飛行予定経路に関する情報である飛行経路情報を、このＮＥＤ座標系を適用した経路情報（Ｎ，Ｅ，Ｄ）として保持しており、このＮＥＤ座標系に従った経路情報がスマホ等のユーザ端末１０に提供されることになる。
【0038】
一方、スマホ等のユーザ端末１０に表示されるカメラ撮影画像は、カメラの撮影方向に応じて設定されるカメラ座標系に従った画像データである。
スマホ等のユーザ端末１０のデータ処理部は、カメラによって撮影されるドローン２０の実画像の画像位置を、カメラ座標上の画像位置として特定することができる。しかし、ドローン２０の実画像位置がＮＥＤ座標のどの位置に対応するかについては算出できない。
スマホ等のユーザ端末１０のデータ処理部は、カメラによって撮影されるドローン２０の実画像の画像位置を、カメラ座標上の画像位置として特定することができる。しかし、ドローン２０の実画像位置がＮＥＤ座標のどの位置に対応するかについては算出できない。
【0039】
このように、スマホ等のユーザ端末１０に表示される実画像であるドローン２０の位置は、カメラ座標系で特定可能な位置であるが、ドローン２０やドローン管理サーバ３０から受信するドローン２０の飛行経路情報は、ＮＥＤ座標系で特定される経路位置情報であり、この経路位置がカメラ座標のどの位置に対応するかについては正確な解析を行うことができない。
【0040】
この結果、スマホ等のユーザ端末１０は、ドローン２０やドローン管理サーバ３０からドローン２０の飛行経路情報を受信し、この受信情報に基づいて飛行経路を表示部に表示しようとしても、正確な経路を表示できない。
例えば図４に示すように、「飛行経路」や「飛行予定経路」が、ドローン２０の現在位置からずれた経路として表示されるといった問題が発生する。
例えば図４に示すように、「飛行経路」や「飛行予定経路」が、ドローン２０の現在位置からずれた経路として表示されるといった問題が発生する。
【0041】
この理由は、図５に示すように、スマホ等のユーザ端末１０に表示されるカメラ撮影画像は、カメラの撮影方向に応じて設定されるカメラ座標系に従った画像データであるのに対して、ドローン２０やドローン管理サーバ３０から受信するドローン２０の飛行経路情報は、ＮＥＤ座標系の位置情報であるからである。
【0042】
この結果、図６に示すように、カメラ座標系（Ｘｃ，Ｙｃ，Ｚｃ）に従ったカメラ撮影画像上に、ＮＥＤ座標系（Ｎ，Ｅ，Ｄ）に従った経路情報を表示しようとしても、カメラ座標系とＮＥＤ座標系との対応関係が不明であるため、正確な経路位置を表示することができない。
【0043】
［２．本開示の画像処理装置の実行する処理について］
次に、本開示の画像処理装置の実行する処理について説明する。
次に、本開示の画像処理装置の実行する処理について説明する。
【0044】
本開示の画像処理装置は、例えばユーザの所有するスマホ等のユーザ端末１０であり、カメラ座標系（Ｘｃ，Ｙｃ，Ｚｃ）に従ったカメラ撮影画像、例えばドローンを撮影した撮影画像上に、そのドローンのＮＥＤ座標系（Ｎ，Ｅ，Ｄ）に従った経路情報を正確に表示する処理を実行する。
【0045】
本開示の画像処理装置であるユーザ端末１０は、ドローン２０やドローン管理サーバ３０から受信するドローン２０の飛行経路情報、すなわちＮＥＤ座標系の飛行経路位置をカメラ撮影画像の座標系であるカメラ座標系の位置情報に変換する。その後、カメラ座標系の位置情報に変換した飛行経路を示すラインを、カメラ撮影画像上に表示する。
これらの処理を行うことで、ドローンを撮影した撮影画像上に、そのドローンの経路情報を正確に表示することが可能となる。
これらの処理を行うことで、ドローンを撮影した撮影画像上に、そのドローンの経路情報を正確に表示することが可能となる。
【0046】
まず、図７を参照して、本開示の画像処理装置が実行する処理において利用する複数の座標系について説明する。
図７には以下の３つの座標系を示している。
（１）カメラ座標系
（２）ＮＥＤ座標系
（３）ワールド座標系（ＳＬＡＭ座標系）
図７には以下の３つの座標系を示している。
（１）カメラ座標系
（２）ＮＥＤ座標系
（３）ワールド座標系（ＳＬＡＭ座標系）
【0047】
（１）カメラ座標系は、ユーザ端末１０のカメラ撮影画像の画像位置（画素位置）を定義可能な座標系である。カメラ座標系は、カメラの焦点を原点Ｃとして、像平面がＸｃ，Ｙｃの二次元平面、光軸方向（奥行き）をＺｃとした座標系であり、カメラの動きによって原点Ｃは移動する。例えばＣ－ＭＯＳ等の撮像素子の横軸をＸｃ軸、縦軸をＹｃ軸、光軸方向Ｚｃ軸とした座標系である。表示部の２次元平面（ＵＶ平面）は、カメラ座標のＸｃＹｃ平面に相当する。
【0048】
（２）ＮＥＤ座標系は、ドローン２０の位置や飛行経路の位置を示し、ドローン２０の飛行制御に用いられる座標系である。
ドローン２０の多くは、ＧＰＳ衛星の通信情報を用いた位置制御を行う。ＧＰＳ衛星から得られる位置情報は、緯度情報、経度情報、高さ情報であり、ドローンの多くは、これらの情報を利用して飛行を行うためＮＥＤ座標系を利用する。
ドローン２０の多くは、ＧＰＳ衛星の通信情報を用いた位置制御を行う。ＧＰＳ衛星から得られる位置情報は、緯度情報、経度情報、高さ情報であり、ドローンの多くは、これらの情報を利用して飛行を行うためＮＥＤ座標系を利用する。
【0049】
ＮＥＤ座標系は、北（Ｎｏｒｔｈ）、東（Ｅａｓｔ）、下（Ｄｏｗｎ）を３軸として設定した座標である。
ドローン２０、あるいは管制センター等のドローン管理サーバ３０は、ドローン２０の飛行経路や飛行予定経路に関する情報である飛行経路情報を、ＮＥＤ座標系の経路情報（Ｎ，Ｅ，Ｄ）として保持しており、このＮＥＤ座標に従った経路情報がスマホ等のユーザ端末１０に提供されることになる。
ドローン２０、あるいは管制センター等のドローン管理サーバ３０は、ドローン２０の飛行経路や飛行予定経路に関する情報である飛行経路情報を、ＮＥＤ座標系の経路情報（Ｎ，Ｅ，Ｄ）として保持しており、このＮＥＤ座標に従った経路情報がスマホ等のユーザ端末１０に提供されることになる。
【0050】
（３）ワールド座標系（ＳＬＡＭ座標系）は、主に３次元グラフッィクにおいて利用する空間全体を定義する座標系として用いられる。
本開示の処理では、ワールド座標系は、ユーザ端末１０が実行するＳＬＡＭ処理、すなわち、カメラ位置同定（ローカリゼーション）と環境地図作成（ｍａｐｐｉｎｇ）を並行して実行するＳＬＡＭ（ｓｉｍｕｌｔａｎｅｏｕｓ ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ ｍａｐｐｉｎｇ）処理に適用する座標系（ＳＬＡＭ座標系）である。
本開示の処理では、ワールド座標系は、ユーザ端末１０が実行するＳＬＡＭ処理、すなわち、カメラ位置同定（ローカリゼーション）と環境地図作成（ｍａｐｐｉｎｇ）を並行して実行するＳＬＡＭ（ｓｉｍｕｌｔａｎｅｏｕｓ ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ ｍａｐｐｉｎｇ）処理に適用する座標系（ＳＬＡＭ座標系）である。
【0051】
図７の中央下部に説明しているように、表示画像の各画素位置（ｕ，ｖ）は、カメラ座標系のＸＹ座標（Ｘｃ，Ｙｃ）と一対一で対応する。
従って、ＮＥＤ座標系で示された飛行経路の位置を、カメラ座標系で示される位置に変換できれば、カメラ座標系で示される表示画像上に経路を正確に出力できる。
従って、ＮＥＤ座標系で示された飛行経路の位置を、カメラ座標系で示される位置に変換できれば、カメラ座標系で示される表示画像上に経路を正確に出力できる。
【0052】
図８は、ある１つの座標系の位置情報を、異なる別の座標系の位置情報に変換する場合の処理の一例について説明する図である。
図８に示す例は、ワールド座標系のある位置情報（Ｘｗ，Ｙｗ，Ｚｗ）を、カメラ座標系の位置情報（Ｘｃ，Ｙｃ，Ｚｃ）に変換するために必要となる座標変換行列、
ＣＴＷｓ
を示している。
図８に示す例は、ワールド座標系のある位置情報（Ｘｗ，Ｙｗ，Ｚｗ）を、カメラ座標系の位置情報（Ｘｃ，Ｙｃ，Ｚｃ）に変換するために必要となる座標変換行列、
ＣＴＷｓ
を示している。
【0053】
図８中央上部に示す３次元空間上の１つの点（Ｘ）についてのワールド座標系（ＳＬＡＭ座標系）の位置と、カメラ座標系の位置をそれぞれ以下のように表現する。
ワールド座標系（ＳＬＡＭ座標系）の位置：ＷｓＰＸ
カメラ座標系の位置：ＣＰＸ
ワールド座標系（ＳＬＡＭ座標系）の位置：ＷｓＰＸ
カメラ座標系の位置：ＣＰＸ
【0054】
ここで、３次元空間上の１つの点（ｘ）のワールド座標系（ＳＬＡＭ座標系）の位置（ＷｓＰＸ）を、カメラ座標系の位置（ＣＰＸ）に変換する座標変換行列を、
ＣＴＷｓ
とする。
ＣＴＷｓ
とする。
【0055】
図８下部に示すように、３次元空間上の１つの点（ｘ）のワールド座標系（ＳＬＡＭ座標系）の位置（ＷｓＰＸ）を、カメラ座標系の位置（ＣＰＸ）に変換する式は、以下の（式１）によって示すことができる。
ＣＰＸ＝ＣＴＷｓ×ＷｓＰＸ ・・・（式１）
ＣＰＸ＝ＣＴＷｓ×ＷｓＰＸ ・・・（式１）
【0056】
ここで、ワールド座標系（ＳＬＡＭ座標系）の位置（ＷｓＰＸ）を、カメラ座標系の位置（ＣＰＸ）に変換する座標変換行列、
ＣＴＷｓ
この座標変換行列は、以下の行列式（式２）として示すことができる。
ＣＴＷｓ
この座標変換行列は、以下の行列式（式２）として示すことができる。
【0057】
【数1】
【0058】
なお、上記（式２）において、
ＣＲＷｓは、ワールド座標系（ＳＬＡＭ座標系）定義の姿勢をカメラ座標系定義の姿勢に変換する回転行列、
ＷｓＰＣは、ワールド座標系（ＳＬＡＭ座標系）でのカメラ位置、
である。
なお、カメラ位置とは本例ではユーザ端末１０のカメラの位置に相当する。
ＣＲＷｓは、ワールド座標系（ＳＬＡＭ座標系）定義の姿勢をカメラ座標系定義の姿勢に変換する回転行列、
ＷｓＰＣは、ワールド座標系（ＳＬＡＭ座標系）でのカメラ位置、
である。
なお、カメラ位置とは本例ではユーザ端末１０のカメラの位置に相当する。
【0059】
上記（式２）に示す座標変換行列ＣＴＷｓは、ワールド座標系（ＳＬＡＭ座標系）の位置（ＷｓＰＸ）を、カメラ座標系の位置（ＣＰＸ）に変換する座標変換行列である。
先に図７を参照して説明したように、本開示の処理では、３つの異なる座標系、すなわち、
（１）カメラ座標系
（２）ＮＥＤ座標系
（３）ワールド座標系（ＳＬＡＭ座標系）
これらの座標系を利用した処理を実行する。
先に図７を参照して説明したように、本開示の処理では、３つの異なる座標系、すなわち、
（１）カメラ座標系
（２）ＮＥＤ座標系
（３）ワールド座標系（ＳＬＡＭ座標系）
これらの座標系を利用した処理を実行する。
【0060】
これらの３つの座標系の座標変換行列の例を図９に示す。
図９には、以下の３つの座標変換行列を示している。
ＣＴＷｓ：ワールド座標系（ＳＬＡＭ座標系）の位置（ＷｓＰＸ）を、カメラ座標系の位置（ＣＰＸ）に変換する座標変換行列、
ＣＴＮＥＤ：ＮＥＤ座標系の位置（ＮＥＤＰＸ）を、カメラ座標系の位置（ＣＰＸ）に変換する座標変換行列、
ＷｓＴＮＥＤ：ＮＥＤ座標系の位置（ＮＥＤＰＸ）を、ワールド座標系（ＳＬＡＭ座標系）の位置（ＷｓＰＸ）に変換する座標変換行列、
図９には、以下の３つの座標変換行列を示している。
ＣＴＷｓ：ワールド座標系（ＳＬＡＭ座標系）の位置（ＷｓＰＸ）を、カメラ座標系の位置（ＣＰＸ）に変換する座標変換行列、
ＣＴＮＥＤ：ＮＥＤ座標系の位置（ＮＥＤＰＸ）を、カメラ座標系の位置（ＣＰＸ）に変換する座標変換行列、
ＷｓＴＮＥＤ：ＮＥＤ座標系の位置（ＮＥＤＰＸ）を、ワールド座標系（ＳＬＡＭ座標系）の位置（ＷｓＰＸ）に変換する座標変換行列、
【0061】
なお、これら３つの座標変換行列各々の座標変換行列は、他の２つの座標変換行列から算出可能である。例えば、
ＮＥＤ座標系の位置（ＮＥＤＰＸ）を、ワールド座標系（ＳＬＡＭ座標系）の位置（ＷｓＰＸ）に変換する座標変換行列：ＷｓＴＮＥＤは、他の２つの座標変換行列（ＣＴＷｓ，ＣＴＮＥＤ）を用いて、以下の式に従って算出することができる。
ＷｓＴＮＥＤ＝ＣＴＷｓ －１×ＣＴＮＥＤ
ＮＥＤ座標系の位置（ＮＥＤＰＸ）を、ワールド座標系（ＳＬＡＭ座標系）の位置（ＷｓＰＸ）に変換する座標変換行列：ＷｓＴＮＥＤは、他の２つの座標変換行列（ＣＴＷｓ，ＣＴＮＥＤ）を用いて、以下の式に従って算出することができる。
ＷｓＴＮＥＤ＝ＣＴＷｓ －１×ＣＴＮＥＤ
【0062】
なお、ＣＴＷｓ
－１は、ＣＴＷｓの逆行列であり、ＣＴＷｓから算出可能な行列である。
上記と同様、
ワールド座標系（ＳＬＡＭ座標系）の位置（ＷｓＰＸ）を、カメラ座標系の位置（ＣＰＸ）に変換する座標変換行列ＣＴＷｓは、他の２つの座標変換行列（ＷｓＴＮＥＤ，ＣＴＮＥＤ）を用いて、以下の式に従って算出することができる。
ＣＴＷｓ＝ＣＴＮＥＤ×ＷｓＴＮＥＤ －１
上記と同様、
ワールド座標系（ＳＬＡＭ座標系）の位置（ＷｓＰＸ）を、カメラ座標系の位置（ＣＰＸ）に変換する座標変換行列ＣＴＷｓは、他の２つの座標変換行列（ＷｓＴＮＥＤ，ＣＴＮＥＤ）を用いて、以下の式に従って算出することができる。
ＣＴＷｓ＝ＣＴＮＥＤ×ＷｓＴＮＥＤ －１
【0063】
また、ＮＥＤ座標系の位置（ＮＥＤＰＸ）を、カメラ座標系の位置（ＣＰＸ）に変換する座標変換行列ＣＴＮＥＤは、他の２つの座標変換行列（ＷｓＴＮＥＤ，ＣＴＷｓ）を用いて、以下の式に従って算出することができる。
ＣＴＮＥＤ＝ＣＴＷｓ×ＷｓＴＮＥＤ
ＣＴＮＥＤ＝ＣＴＷｓ×ＷｓＴＮＥＤ
【0064】
先に図７を参照して説明したように、ユーザ端末１０の表示部に表示される表示画像の各画素位置（ｕ，ｖ）は、カメラ座標系のＸＹ座標（Ｘｃ，Ｙｃ）と一対一で対応し、ＮＥＤ座標系で示された飛行経路の位置は、カメラ座標系の位置に変換できれば、カメラ座標系で示される表示画像上に経路を正確に出力できる。
【0065】
すなわち、ＮＥＤ座標系の位置（ＮＥＤＰＸ）を、カメラ座標系の位置（ＣＰＸ）に変換する座標変換行列、
ＣＴＮＥＤ
この座標変換行列を算出できれば、ＮＥＤ座標系で示された飛行経路位置を、カメラ座標系の位置に変換することが可能となり、カメラ座標系で示される表示画像上にドローンの飛行経路を正確に出力できる。
本開示の画像処理装置であるユーザ端末１０は、この座標変換行列：ＣＴＮＥＤを算出する。
ＣＴＮＥＤ
この座標変換行列を算出できれば、ＮＥＤ座標系で示された飛行経路位置を、カメラ座標系の位置に変換することが可能となり、カメラ座標系で示される表示画像上にドローンの飛行経路を正確に出力できる。
本開示の画像処理装置であるユーザ端末１０は、この座標変換行列：ＣＴＮＥＤを算出する。
【0066】
図１０以下を参照して本開示の画像処理装置であるユーザ端末１０が実行する座標変換行列：ＣＴＮＥＤの算出処理の具体例について説明する。
【0067】
図１０に示すように、ユーザは、ユーザ端末１０を用いて上空を飛行するドローン２０を所定時間、撮影する。このドローン２０は、ユーザに配送する荷物を搭載したドローンでなくてもよい。ただし、ドローンの飛行経路位置情報（ＮＥＤ座標上の位置情報）を取得可能なドローンであることが必要である。
図１０に示す例では、ドローン２０は、時間（ｔ１），（ｔ２），（ｔ３）の時間経過に従って右から左に飛行している。
図１０に示す例では、ドローン２０は、時間（ｔ１），（ｔ２），（ｔ３）の時間経過に従って右から左に飛行している。
【0068】
ユーザ端末１０のデータ処理部は、少なくとも３つの異なる位置にあるドローンの撮影画像位置をメモリに記録する。
図１１に示すように、例えばＣ－ＭＯＳ等のカメラ撮像面５１における３つの異なる位置のドローンに対応するドローン撮像位置５２－１～３をメモリに記録する。
なお、ドローン撮像位置は表示部に表示される表示画像位置に対応しており、ここでは、表示画像上の座標位置（ｕ１，ｖ１）～（ｕ３，ｖ３）を利用した処理例を示している。
図１１に示すように、例えばＣ－ＭＯＳ等のカメラ撮像面５１における３つの異なる位置のドローンに対応するドローン撮像位置５２－１～３をメモリに記録する。
なお、ドローン撮像位置は表示部に表示される表示画像位置に対応しており、ここでは、表示画像上の座標位置（ｕ１，ｖ１）～（ｕ３，ｖ３）を利用した処理例を示している。
【0069】
これら３つの異なるドローン位置と、これら３つのドローン位置に対応する３つのドローン撮像位置の情報を利用することで、座標変換行列：ＣＴＮＥＤを算出することができる。
【0070】
具体的な座標変換行列（ＣＴＮＥＤ）の算出処理の説明の前に、図１２、図１３を参照して、３次元空間上のオブジェクトを一般的なカメラ（ピンホールカメラ）で撮影した場合のオブジェクトの３次元位置Ｍと、そのオブジェクトのカメラの撮像面上の撮像位置（撮像画素位置）ｍとの関係を定義した関係式であるピンホールカメラモデルについて説明する。
【0071】
ピンホールカメラモデルにおいて、撮影被写体であるオブジェクトの３次元位置Ｍと、そのオブジェクトのカメラの撮像位置（撮像画素位置）ｍとの関係式は、以下の（式３）で表される。
【0072】
【数2】
【0073】
上記（式３）の意味について図１２、図１３を参照して説明する。
図１２に示すように、撮影被写体であるオブジェクト６１をカメラで撮影した場合、カメラのカメラ撮像面（Ｃ－ＭＯＳ等）５１にはオブジェクト画像６２が撮影される。
上記（式３）は、カメラの撮影画像に含まれるオブジェクト画像６２の点（ｍ）のカメラ撮影画像平面の画素位置、すなわち、カメラ座標系によって表現される位置と、ワールド座標系におけるオブジェクト６１の３次元位置（Ｍ）との対応関係を示す式である。
図１２に示すように、撮影被写体であるオブジェクト６１をカメラで撮影した場合、カメラのカメラ撮像面（Ｃ－ＭＯＳ等）５１にはオブジェクト画像６２が撮影される。
上記（式３）は、カメラの撮影画像に含まれるオブジェクト画像６２の点（ｍ）のカメラ撮影画像平面の画素位置、すなわち、カメラ座標系によって表現される位置と、ワールド座標系におけるオブジェクト６１の３次元位置（Ｍ）との対応関係を示す式である。
【0074】
カメラ撮影画像に含まれるオブジェクト画像６２の点（ｍ）の位置（画素位置）はカメラ座標系によって表現される。カメラ座標系は、カメラの焦点を原点Ｃとして、像平面がＸｃ，Ｙｃの二次元平面、光軸方向（奥行き）をＺｃとした座標系であり、カメラの動きによって原点Ｃは移動する。
【0075】
一方、撮影被写体であるオブジェクト６１の３次元位置（Ｍ）は、カメラの動きによって移動しない原点Ｏを有するＸｗＹｗＺｗ三軸からなるワールド座標系によって示される。この異なる座標系でのオブジェクトの位置の対応関係を示す式が上記（式３）のピンホールカメラモデルとして定義される。
【0076】
【0077】
【数3】
【0078】
は、同次座標系で表現されたカメラの撮像平面上の位置である。
λは、正規化パラメータであり、
λは、正規化パラメータであり、
【0079】
【数4】
【0080】
の第３項を満足させるための値であり、計算式により算出可能である。
【0081】
なお、カメラ内部パラメータＡは、図１３に示すように、以下の行列式である。
【0082】
【数5】
【0083】
カメラ内部パラメータＡには、以下の値が含まれる。
ｆ：焦点距離
θ：画像軸の直交性（理想値は９０°）
ｋｕ：縦軸のスケール（３次元位置のスケールから二次元画像のスケールへの変換）
ｋｖ：横軸のスケール（３次元位置のスケールから二次元画像のスケールへの変換）
（ｕ０，ｖ０）：画像中心位置
ｆ：焦点距離
θ：画像軸の直交性（理想値は９０°）
ｋｕ：縦軸のスケール（３次元位置のスケールから二次元画像のスケールへの変換）
ｋｖ：横軸のスケール（３次元位置のスケールから二次元画像のスケールへの変換）
（ｕ０，ｖ０）：画像中心位置
【0084】
先に説明した（式３）、すなわち、撮影被写体であるオブジェクトの３次元位置Ｍと、そのオブジェクトのカメラの撮像位置（撮像画素位置）ｍとの関係式である（式３）に含まれる、
Ｃｗ：カメラ位置、
Ｒｗ：カメラ回転行列、
これらのパラメータは、ユーザ端末１０が実行するＳＬＡＭ処理、すなわち、カメラ位置同定（ローカリゼーション）と環境地図作成（ｍａｐｐｉｎｇ）を並行して実行するＳＬＡＭ（ｓｉｍｕｌｔａｎｅｏｕｓ ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ ｍａｐｐｉｎｇ）処理において取得することができる。
Ｃｗ：カメラ位置、
Ｒｗ：カメラ回転行列、
これらのパラメータは、ユーザ端末１０が実行するＳＬＡＭ処理、すなわち、カメラ位置同定（ローカリゼーション）と環境地図作成（ｍａｐｐｉｎｇ）を並行して実行するＳＬＡＭ（ｓｉｍｕｌｔａｎｅｏｕｓ ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ ｍａｐｐｉｎｇ）処理において取得することができる。
【0085】
ＳＬＡＭ処理は、カメラで画像（動画像）を撮影し、複数の撮影画像に含まれる特徴点の軌跡を解析することで、特徴点の３次元位置を推定するとともに、カメラ（自己）の位置姿勢を推定（ローカリゼーション）する処理であり、特徴点の３次元位置情報を用いて周囲の地図（環境地図）を作成（ｍａｐｐｉｎｇ）することができる。このように、カメラ（自己）の位置同定（ローカリゼーション）と周囲の地図（環境地図）の作成（ｍａｐｐｉｎｇ）を並行して実行する処理がＳＬＡＭと呼ばれる。
【0086】
なお、ＳＬＡＭ手法の１つとして、ＥＫＦ（拡張カルマンフィルタ：Ｅｘｔｅｎｄｅｄ Ｋａｌｍａｎ Ｆｉｌｔｅｒ）を使用したＥＫＦベースのＳＬＡＭがある。
ＥＫＦベースのＳＬＡＭは、例えばカメラを移動させながら画像を連続的に撮影し、各画像に含まれる特徴点の軌跡（トラッキング情報）を求め、移動ステレオ法でカメラの移動量と特徴点の３次元位置を同時に推定する方法である。
ＥＫＦベースのＳＬＡＭは、例えばカメラを移動させながら画像を連続的に撮影し、各画像に含まれる特徴点の軌跡（トラッキング情報）を求め、移動ステレオ法でカメラの移動量と特徴点の３次元位置を同時に推定する方法である。
【0087】
このＥＫＦベースのＳＬＡＭ処理では、例えば、
カメラの位置、姿勢、速度、角速度、
各特徴点の位置情報、
これらの各情報を含む確率分布モデルとしての多次元正規分布データからなる「状態データ」を利用する。カルマンフィルタや拡張カルマンフィルタを用いて「状態データ」の更新処理を行って、特徴点位置、カメラ位置等を推定する。
カメラの位置、姿勢、速度、角速度、
各特徴点の位置情報、
これらの各情報を含む確率分布モデルとしての多次元正規分布データからなる「状態データ」を利用する。カルマンフィルタや拡張カルマンフィルタを用いて「状態データ」の更新処理を行って、特徴点位置、カメラ位置等を推定する。
【0088】
「状態データ」は、カメラの位置、姿勢、速度、角速度と、各特徴点の位置情報を示す平均ベクトルと分散共分散行列を含む多次元正規分布データによって構成される。分散共分散行列は、カメラの位置、姿勢、速度、角速度、各特徴点の位置情報、これらの固有状態値の［分散］と、上記各状態値の異なる状態値の組み合わせの相関情報に対応する［共分散］を含む行列である。
【0089】
上述した（式３）に含まれるパラメータ、すなわち、
λ：正規化パラメータ
Ａ：カメラ内部パラメータ、
Ｃｗ：カメラ位置、
Ｒｗ：カメラ回転行列、
これらのパラメータ中、λ、Ａは既知であり、Ｃｗ，ＲｗはＳＬＡＭによって算出することが可能となる。
λ：正規化パラメータ
Ａ：カメラ内部パラメータ、
Ｃｗ：カメラ位置、
Ｒｗ：カメラ回転行列、
これらのパラメータ中、λ、Ａは既知であり、Ｃｗ，ＲｗはＳＬＡＭによって算出することが可能となる。
【0090】
これらパラメータを用いて、撮影被写体であるオブジェクトの３次元位置Ｍと、そのオブジェクトのカメラの撮像位置（撮像画素位置）ｍとの関係式、すなわち、上記（式３）を生成することが可能となり、ワールド座標系で示される撮影被写体であるオブジェクトの３次元位置Ｍと、カメラ座標系で示されるオブジェクト撮像位置との対応関係を解析することができる。
【0091】
上記（式３）は、
（１）ワールド座標系で示されるオブジェクト位置（Ｍ）、
（２）カメラ座標系で示されるオブジェクト撮像位置（ｍ）、
これら、ワールド座標系とカメラ座標系の２つの異なる座標系における各点（Ｍ．ｍ）の位置関係を示す式であるが、この（式３）に示す関係式は、ワールド座標系とカメラ座標系の組み合わせに限らず、その他の２つの異なる座標系の組み合わせにおける２つの点（Ｍ．ｍ）の位置関係を示す関係式としても展開できる。
（１）ワールド座標系で示されるオブジェクト位置（Ｍ）、
（２）カメラ座標系で示されるオブジェクト撮像位置（ｍ）、
これら、ワールド座標系とカメラ座標系の２つの異なる座標系における各点（Ｍ．ｍ）の位置関係を示す式であるが、この（式３）に示す関係式は、ワールド座標系とカメラ座標系の組み合わせに限らず、その他の２つの異なる座標系の組み合わせにおける２つの点（Ｍ．ｍ）の位置関係を示す関係式としても展開できる。
【0092】
具体的には、例えば、
（１）ＮＥＤ座標系で示されるオブジェクト位置（Ｍ）、
（２）カメラ座標系で示されるオブジェクト撮像位置（ｍ）、
これらＮＥＤ座標系とカメラ座標系の２つの異なる座標系における各点（Ｍ．ｍ）の位置関係を示す式に展開することも可能である。
（１）ＮＥＤ座標系で示されるオブジェクト位置（Ｍ）、
（２）カメラ座標系で示されるオブジェクト撮像位置（ｍ）、
これらＮＥＤ座標系とカメラ座標系の２つの異なる座標系における各点（Ｍ．ｍ）の位置関係を示す式に展開することも可能である。
【0093】
この場合の関係式、すなわち、
（１）ＮＥＤ座標系で示されるオブジェクト位置（Ｍ）、
（２）カメラ座標系で示されるオブジェクト撮像位置（ｍ）、
これらＮＥＤ座標系とカメラ座標系の２つの異なる座標系における各点（Ｍ．ｍ）の位置関係を示す関係式は、以下の（式４）として示すことができる。
（１）ＮＥＤ座標系で示されるオブジェクト位置（Ｍ）、
（２）カメラ座標系で示されるオブジェクト撮像位置（ｍ）、
これらＮＥＤ座標系とカメラ座標系の２つの異なる座標系における各点（Ｍ．ｍ）の位置関係を示す関係式は、以下の（式４）として示すことができる。
【0094】
【数6】
【0095】
上記（式４）は、先に説明した（式３）のワールド座標系対応のパラメータ、すなわち、
Ｒｗ：カメラ回転行列、
Ｍ：オブジェクト位置、
Ｃｗ：カメラ位置、
これらのパラメータを、ＮＥＤ座標系のパラメータに変更した式に相当する。
すなわち、上記パラメータを、以下のＮＥＤ座標系のパラメータに変更した式である。
ＲＮＥＤ：カメラ回転行列、
ＭＮＥＤ：オブジェクト位置、
ＣＮＥＤ：カメラ位置、
Ｒｗ：カメラ回転行列、
Ｍ：オブジェクト位置、
Ｃｗ：カメラ位置、
これらのパラメータを、ＮＥＤ座標系のパラメータに変更した式に相当する。
すなわち、上記パラメータを、以下のＮＥＤ座標系のパラメータに変更した式である。
ＲＮＥＤ：カメラ回転行列、
ＭＮＥＤ：オブジェクト位置、
ＣＮＥＤ：カメラ位置、
【0096】
この（式４）に示す関係式は、ＮＥＤ座標系のオブジェクト位置と、そのオブジェクトをカメラ撮影した際の撮像素子におけるオブジェクト撮像位置であるカメラ座標系のオブジェクト撮像位置との対応関係を定義した式である。
この関係式を用いることで、ＮＥＤ座標系の位置（ＮＥＤＰＸ）を、カメラ座標系の位置（ＣＰＸ）に変換する座標変換行列、
ＣＴＮＥＤ
この座標変換行列を算出することができる。
この関係式を用いることで、ＮＥＤ座標系の位置（ＮＥＤＰＸ）を、カメラ座標系の位置（ＣＰＸ）に変換する座標変換行列、
ＣＴＮＥＤ
この座標変換行列を算出することができる。
【0097】
先に図７を参照して説明したように、ユーザ端末１０の表示部に表示される表示画像の各画素位置（ｕ，ｖ）は、カメラ座標系のＸＹ座標（Ｘｃ，Ｙｃ）と一対一で対応し、ＮＥＤ座標系で示された飛行経路の位置は、カメラ座標系の位置に変換できれば、カメラ座標系で示される表示画像上に経路を正確に出力できる。
【0098】
ＮＥＤ座標系の位置（ＮＥＤＰＸ）を、カメラ座標系の位置（ＣＰＸ）に変換する座標変換行列ＣＴＮＥＤの算出処理の具体例について説明する。
【0099】
図１４（１）は、先に図１０、図１１を参照して説明したと同様の図である。ユーザは、ユーザ端末１０を用いて上空を飛行するドローン２０を所定時間、撮影する。このドローン２０は、ユーザに配送する荷物を搭載したドローンでなくてもよい。ただし、ドローンの飛行経路位置情報（ＮＥＤ座標上の位置情報）を取得可能なドローンであることが必要である。
図１４（１）に示す例では、ドローン２０は、時間（ｔ１），（ｔ２），（ｔ３）の時間経過に従って右から左に飛行している。
図１４（１）に示す例では、ドローン２０は、時間（ｔ１），（ｔ２），（ｔ３）の時間経過に従って右から左に飛行している。
【0100】
ユーザ端末１０のデータ処理部は、少なくとも３つの異なる位置にあるドローンの撮影画像位置をメモリに記録する。
図１４に示すように、例えばＣ－ＭＯＳ等のカメラ撮像面５１における３つの異なる位置のドローンに対応するドローン撮像位置５２－１～３をメモリに記録する。
図１４に示すように、例えばＣ－ＭＯＳ等のカメラ撮像面５１における３つの異なる位置のドローンに対応するドローン撮像位置５２－１～３をメモリに記録する。
【0101】
時間（ｔ１），（ｔ２），（ｔ３）のＮＥＤ座標系のドローン位置を、以下のように示す。
時間（ｔ１）のドローン位置＝ＮＥＤＰＤｒｏｎｅｔ１、
時間（ｔ２）のドローン位置＝ＮＥＤＰＤｒｏｎｅｔ２、
時間（ｔ３）のドローン位置＝ＮＥＤＰＤｒｏｎｅｔ３、
時間（ｔ１）のドローン位置＝ＮＥＤＰＤｒｏｎｅｔ１、
時間（ｔ２）のドローン位置＝ＮＥＤＰＤｒｏｎｅｔ２、
時間（ｔ３）のドローン位置＝ＮＥＤＰＤｒｏｎｅｔ３、
【0102】
また、時間（ｔ１），（ｔ２），（ｔ３）のカメラ座標系の撮像位置を以下のように示す。
時間（ｔ１）のドローン撮像位置＝ｍＤｒｏｎｅｔ１、
時間（ｔ２）のドローン撮像位置＝ｍＤｒｏｎｅｔ２、
時間（ｔ３）のドローン撮像位置＝ｍＤｒｏｎｅｔ３、
なお、上記において、ｍ上部の（～）を省略して示している。これらのドローン撮像位置は、３次元の同次座標系で示されるカメラ座標系の位置情報である。
時間（ｔ１）のドローン撮像位置＝ｍＤｒｏｎｅｔ１、
時間（ｔ２）のドローン撮像位置＝ｍＤｒｏｎｅｔ２、
時間（ｔ３）のドローン撮像位置＝ｍＤｒｏｎｅｔ３、
なお、上記において、ｍ上部の（～）を省略して示している。これらのドローン撮像位置は、３次元の同次座標系で示されるカメラ座標系の位置情報である。
【0103】
先に説明した（式４）、すなわち、ＮＥＤ座標系のオブジェクト位置と、そのオブジェクトをカメラ撮影した際の撮像素子におけるオブジェクト撮像位置であるカメラ座標系のオブジェクト撮像位置との対応関係を定義した（式４）を、
ＮＥＤ座標系のドローン位置ＮＥＤＰＤｒｏｎｅ、
ＮＥＤ座標系のカメラ位置ＮＥＤＰＣ、
カメラ座標系のドローン撮像位置＝ｍＤｒｏｎｅ、
これらのパラメータを用いて示すと、以下の（式５）として示すことができる。
ＮＥＤ座標系のドローン位置ＮＥＤＰＤｒｏｎｅ、
ＮＥＤ座標系のカメラ位置ＮＥＤＰＣ、
カメラ座標系のドローン撮像位置＝ｍＤｒｏｎｅ、
これらのパラメータを用いて示すと、以下の（式５）として示すことができる。
【0104】
【数7】
【0105】
さらに、上記（式５）に基づいて、以下の（式６）が導かれる。
【0106】
【数8】
【0107】
【0108】
図１４に示す時間（ｔ１）～（ｔ３）の３つの異なるＮＥＤ座標系のドローン位置と、これらドローン位置に対応するカメラ座標系のドローン撮像位置を、上記（式６）に代入すると、以下の（式７）に示す３つの式からなる連立方程式が得られる。
【0109】
【数9】
【0110】
上記（式７）の連立方程式中、以下の各パラメータは既知である。
ＮＥＤ座標系のドローン位置：ＮＥＤＰＤｒｏｎｅは、ドローン、またはドローン管理サーバから取得できる。
カメラ内部パラメータＡの逆行列Ａ－１は、既知である。
時間（ｔ１）～（ｔ３）のドローン撮像位置＝ｍＤｒｏｎｅｔ１～ｍＤｒｏｎｅｔ３、これらは、カメラ撮像系の座標位置情報であり、カメラの撮像画像の解析によって取得できる。
ＮＥＤ座標系のドローン位置：ＮＥＤＰＤｒｏｎｅは、ドローン、またはドローン管理サーバから取得できる。
カメラ内部パラメータＡの逆行列Ａ－１は、既知である。
時間（ｔ１）～（ｔ３）のドローン撮像位置＝ｍＤｒｏｎｅｔ１～ｍＤｒｏｎｅｔ３、これらは、カメラ撮像系の座標位置情報であり、カメラの撮像画像の解析によって取得できる。
【0111】
従って、上記（式７）に示す連立方程式中の未知のパラメータは、
ＮＥＤ座標系のカメラ位置：ＮＥＤＰＣ、
ＮＥＤ座標系をカメラ座標系に変換するための回転行列：ＣＲＮＥＤの転置行列：ＣＲＴ ＮＥＤ、
正規化係数：λｔ１，λｔ２，λｔ３、
これらの各パラメータとなる。
ＮＥＤ座標系のカメラ位置：ＮＥＤＰＣ、
ＮＥＤ座標系をカメラ座標系に変換するための回転行列：ＣＲＮＥＤの転置行列：ＣＲＴ ＮＥＤ、
正規化係数：λｔ１，λｔ２，λｔ３、
これらの各パラメータとなる。
【0112】
ここで、上記（式７）に示す連立方程式中の未知のパラメータは、
ＮＥＤ座標系のカメラ位置：ＮＥＤＰＣ、
ＮＥＤ座標系をカメラ座標系に変換するための回転行列：ＣＲＮＥＤの転置行列：ＣＲＴ ＮＥＤ、
正規化係数：λｔ１，λｔ２，λｔ３、
これらの９個のパラメータ（位置３要素、姿勢３要素、正規化係数３つ）となり、３つの式（情報量は９）からなる連立方程式を解くことで、これらのパラメータの値を算出することができる。
ＮＥＤ座標系のカメラ位置：ＮＥＤＰＣ、
ＮＥＤ座標系をカメラ座標系に変換するための回転行列：ＣＲＮＥＤの転置行列：ＣＲＴ ＮＥＤ、
正規化係数：λｔ１，λｔ２，λｔ３、
これらの９個のパラメータ（位置３要素、姿勢３要素、正規化係数３つ）となり、３つの式（情報量は９）からなる連立方程式を解くことで、これらのパラメータの値を算出することができる。
【0113】
この算出パラメータの値を用いることで、図１５に示すように、ＮＥＤ座標系の位置（ＮＥＤＰＸ）を、カメラ座標系の位置（ＣＰＸ）に変換する座標変換行列（ＣＴＮＥＤ）を算出することができる。
【0114】
図１５（３）に示す座標変換行列（ＣＴＮＥＤ）、すなわちＮＥＤ座標系の位置（ＮＥＤＰＸ）を、カメラ座標系の位置（ＣＰＸ）に変換する座標変換行列（ＣＴＮＥＤ）は、先に図８を参照して説明したＮＥＤ座標系の位置（ＮＥＤＰＸ）を、カメラ座標系の位置（ＣＰＸ）に変換する座標変換行列（ＣＴＮＥＤ）の行列要素中のワールド座標系の要素をＮＥＤ座標系の要素に置き換えた行列である。
【0115】
すなわち、ＮＥＤ座標系の位置（ＮＥＤＰＸ）を、カメラ座標系の位置（ＣＰＸ）に変換する座標変換行列（ＣＴＮＥＤ）は、以下の（式８）として示すことができる。
【0116】
【数10】
【0117】
上記（式８）に示す座標変換行列（ＣＴＮＥＤ）の行列要素は、上記（式７）に示す連立方程式を解くことによって得られるパラメータによって構成されている。
従って、上記（式７）に示す連立方程式を解くことで、ＮＥＤ座標系の位置（ＮＥＤＰＸ）を、カメラ座標系の位置（ＣＰＸ）に変換する座標変換行列（ＣＴＮＥＤ）を算出することができる。
従って、上記（式７）に示す連立方程式を解くことで、ＮＥＤ座標系の位置（ＮＥＤＰＸ）を、カメラ座標系の位置（ＣＰＸ）に変換する座標変換行列（ＣＴＮＥＤ）を算出することができる。
【0118】
このように、本開示の画像処理装置であるユーザ端末１０は、まず、図１４（１）や図１５（１）に示す時間（ｔ１）～（ｔ３）の３つの異なるＮＥＤ座標系のドローン位置と、これらドローン位置に対応するカメラ座標系のドローン撮像位置を取得する。
【0119】
次に、上記（式７）に示す連立方程式を解き、以下の未知パラメータを取得する。
ＮＥＤ座標系のカメラ位置：ＮＥＤＰＣ、
ＮＥＤ座標系をカメラ座標系に変換するための回転行列：ＣＲＮＥＤの転置行列：ＣＲＴ ＮＥＤ、
ＮＥＤ座標系のカメラ位置：ＮＥＤＰＣ、
ＮＥＤ座標系をカメラ座標系に変換するための回転行列：ＣＲＮＥＤの転置行列：ＣＲＴ ＮＥＤ、
【0120】
次に、算出したパラメータを用いて座標変換行列（ＣＴＮＥＤ）、すなわち、ＮＥＤ座標系の位置（ＮＥＤＰＸ）を、カメラ座標系の位置（ＣＰＸ）に変換する座標変換行列（ＣＴＮＥＤ）を生成する。
【0121】
この座標変換行列（ＣＴＮＥＤ）を用いることで、ＮＥＤ座標系で示された飛行経路の位置を、カメラ座標系で示される位置に変換することができる。
【0122】
先に図３や図５を参照して説明したように、本開示の画像処理装置であるユーザ端末１０は、ドローン２０、またはドローン２０のコントロール等を行う管制センターとしてのドローン管理サーバ３０からＮＥＤ座標系で示された飛行経路情報を取得することができる。
【0123】
ユーザ端末１０は、取得したＮＥＤ座標系で示された飛行経路情報に対して、上記（式８）で示される座標変換行列ＣＴＮＥＤを適用して、カメラ座標系で示される飛行経路位置を取得することが可能となり、取得したカメラ座標系で示される飛行経路位置（飛行経路や飛行予定経路）を、実写画像、すなわちドローン実画像を含む画像上に出力する。
【0124】
この結果として、図１６に示すように、実写画像としてのドローン画像に対して、ずれのないドローンの飛行経路（飛行経路や飛行予定経路）を出力表示することが可能となる。
図１６に示す画像表示例は、本開示の画像処理装置であるユーザ端末１０が実行するＡＲ画像表示例であり、実写画像としてのドローン画像に対して、ずれのないドローンの飛行経路（飛行経路や飛行予定経路）を出力表示した例について説明する図である。
図１６に示す画像表示例は、本開示の画像処理装置であるユーザ端末１０が実行するＡＲ画像表示例であり、実写画像としてのドローン画像に対して、ずれのないドローンの飛行経路（飛行経路や飛行予定経路）を出力表示した例について説明する図である。
【0125】
なお、上述した処理は３つの異なる位置にあるドローンの撮影期間中、すなわち、図１４（１）や図１５（１）に示す時間（ｔ１）～（ｔ３）のドローン撮影時間において、カメラの位置姿勢が不変であることを前提とした処理である。
【0126】
３つの異なる位置にあるドローンの撮影期間中に、カメラの位置姿勢が変化する場合には、カメラの位置姿勢の変化を考慮した処理を行う必要がある。
以下、図１７を参照して、この処理例について説明する。
この処理例においても、３つの異なるＮＥＤ座標系のドローン位置と、これらドローン位置に対応するカメラ座標系のドローン撮像位置を取得して、これらの取得情報に基づいて、ＮＥＤ座標系の位置（ＮＥＤＰＸ）を、カメラ座標系の位置（ＣＰＸ）に変換する座標変換行列（ＣＴＮＥＤ）を生成する。
以下、図１７を参照して、この処理例について説明する。
この処理例においても、３つの異なるＮＥＤ座標系のドローン位置と、これらドローン位置に対応するカメラ座標系のドローン撮像位置を取得して、これらの取得情報に基づいて、ＮＥＤ座標系の位置（ＮＥＤＰＸ）を、カメラ座標系の位置（ＣＰＸ）に変換する座標変換行列（ＣＴＮＥＤ）を生成する。
【0127】
ドローンの撮影期間中に、カメラの位置姿勢が変化する場合、図１７（１）に示すように、異なる位置のドローン２０を撮影するカメラの位置や姿勢が異なることになる。
図１７（１）に示す例では、時間（ｔ１）のドローンを撮影するカメラの撮像面は、カメラ撮像面５１（ｔ１）であり、時間（ｔ２）のドローンを撮影するカメラの撮像面は、カメラ撮像面５１（ｔ２）であり、これらは異なる位置や姿勢を持つ。
図１７（１）に示す例では、時間（ｔ１）のドローンを撮影するカメラの撮像面は、カメラ撮像面５１（ｔ１）であり、時間（ｔ２）のドローンを撮影するカメラの撮像面は、カメラ撮像面５１（ｔ２）であり、これらは異なる位置や姿勢を持つ。
【0128】
ここで、ワールド座標系（ＳＬＡＭ座標系）を、時間（ｔ１）のカメラ座標系に変換する座標変換行列を（Ｃｔ１ＴＷｓ）とする。
また、ワールド座標系（ＳＬＡＭ座標系）を、時間（ｔ２）のカメラ座標系に変換する座標変換行列を（Ｃｔ２ＴＷｓ）とする。
また、ワールド座標系（ＳＬＡＭ座標系）を、時間（ｔ２）のカメラ座標系に変換する座標変換行列を（Ｃｔ２ＴＷｓ）とする。
【0129】
なお、ワールド座標系（ＳＬＡＭ座標系）を、時間（ｔｎ）のカメラ座標系に変換する座標変換行列（ＣｔｎＴＷｓ）は、先に図８を参照して説明した３次元空間上の１つの点（ｘ）のワールド座標系（ＳＬＡＭ座標系）の位置（ＷｓＰＸ）を、カメラ座標系の位置（ＣＰＸ）に変換する座標変換行列（ＣＴＷｓ）との時間（ｎ）対応する行列である。
【0130】
この時間（ｔｎ）のカメラ座標系に変換する座標変換行列（ＣｔｎＴＷｓ）を構成する行列要素は、ユーザ端末１０が実行するＳＬＡＭ処理、すなわち、カメラ位置同定（ローカリゼーション）と環境地図作成（ｍａｐｐｉｎｇ）を並行して実行するＳＬＡＭ（ｓｉｍｕｌｔａｎｅｏｕｓ ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ ｍａｐｐｉｎｇ）処理において取得することができる。
【0131】
従って、図１７に示すワールド座標系（ＳＬＡＭ座標系）を、時間（ｔ１）のカメラ座標系に変換する座標変換行列をＣｔ１ＴＷｓや、
ワールド座標系（ＳＬＡＭ座標系）を、時間（ｔ２）のカメラ座標系に変換する座標変換行列（Ｃｔ２ＴＷｓ）、
これら、時間（ｔｎ）の座標変換行列（ＣｔｎＴＷｓ）は、それぞれＳＬＡＭ処理によって算出可能となる。
ワールド座標系（ＳＬＡＭ座標系）を、時間（ｔ２）のカメラ座標系に変換する座標変換行列（Ｃｔ２ＴＷｓ）、
これら、時間（ｔｎ）の座標変換行列（ＣｔｎＴＷｓ）は、それぞれＳＬＡＭ処理によって算出可能となる。
【0132】
また、時間（ｔ１）のカメラ座標系を時間（ｔ２）のカメラ座標系に変換する座標変換行列は、（Ｃｔ２ＴＣｔ１）であり、
Ｃｔ２ＴＣｔ１＝Ｃｔ２ＴＷｓ×Ｃｔ１ＴＷｓ －１
として算出することができる。
Ｃｔ２ＴＣｔ１＝Ｃｔ２ＴＷｓ×Ｃｔ１ＴＷｓ －１
として算出することができる。
【0133】
本開示の画像処理装置であるユーザ端末１０は、時間（ｔ１）のドローンを撮影した時間（ｔ１）のカメラの撮像面のドローン撮像位置に対して、上記座標変換行列：Ｃｔ２ＴＣｔ１を適用した座標変換を行う。この座標変換により、時間（ｔ１）のカメラ座標系のドローン撮像位置は、時間（ｔ２）のカメラ座標系のドローン撮像位置に変換される。
また、時間（ｔ１）のカメラの撮像面に変換するドローンの位置、
ＮＥＤＰ'Ｄｒｏｎｅｔ１
は、下記式で表現できる。
ＮＥＤＰ'Ｄｒｏｎｅｔ１＝ＮＥＤＰＤｒｏｎｅｔ１＋（Ｃｔ２ＲＴ ＮＥＤ）・（Ｃｔ２ＲＣｔ１）・（Ｃｔ１ＰＣｔ２）
この結果、２つの異なるカメラ座標系上のドローン撮像位置は、１つの共通のカメラ座標系に従ったドローン撮像位置に変換することができる。
また、時間（ｔ１）のカメラの撮像面に変換するドローンの位置、
ＮＥＤＰ'Ｄｒｏｎｅｔ１
は、下記式で表現できる。
ＮＥＤＰ'Ｄｒｏｎｅｔ１＝ＮＥＤＰＤｒｏｎｅｔ１＋（Ｃｔ２ＲＴ ＮＥＤ）・（Ｃｔ２ＲＣｔ１）・（Ｃｔ１ＰＣｔ２）
この結果、２つの異なるカメラ座標系上のドローン撮像位置は、１つの共通のカメラ座標系に従ったドローン撮像位置に変換することができる。
【0134】
３つの異なるドローン位置に対応するドローン撮像位置について、上記処理を行うことで、１つの共通のカメラ座標系上に３つの異なるドローン位置に対応するドローン撮像位置を設定することが可能となる。
【0135】
３つの異なる位置のドローンを撮影するカメラの位置姿勢が異なる場合の例を図１８（１）に示す。
図１８（１）に示すように時間（ｔ１），（ｔ２），（ｔ３）において、カメラ（ユーザ端末１０）の位置姿勢が異なり、それぞれ異なる位置姿勢のカメラによって時間（ｔ１），（ｔ２），（ｔ３）のドローン２０の撮影を行う。
図１８（１）に示すように時間（ｔ１），（ｔ２），（ｔ３）において、カメラ（ユーザ端末１０）の位置姿勢が異なり、それぞれ異なる位置姿勢のカメラによって時間（ｔ１），（ｔ２），（ｔ３）のドローン２０の撮影を行う。
【0136】
最新の時間（ｔ３）においてドローン２０の飛行経路や飛行予定経路を出力する場合ものとする。この場合、ユーザ端末１０のデータ処理部は、以下の処理を実行する。
（１）時間（ｔ１）のドローン撮像位置に対して、座標変換行列（Ｃｔ３ＴＣｔ１）を適用した座標変換を行う方程式を立てる。
（２）時間（ｔ２）のドローン撮像位置に対して、座標変換行列（Ｃｔ３ＴＣｔ２）を適用した座標変換を行う方程式を立てる。
これらの座標変換処理によって、時間（ｔ１）、（ｔ２）のカメラ座標系のドローン撮像位置は、時間（ｔ３）のカメラ座標系のドローン撮像位置に変換される。
これらの方程式を立てることで、１つの共通のカメラ座標系（時間（ｔ３）のカメラ座標系）上に３つの異なるドローン位置に対応するドローン撮像位置を設定する連立方程式を立てることが可能となる。
（１）時間（ｔ１）のドローン撮像位置に対して、座標変換行列（Ｃｔ３ＴＣｔ１）を適用した座標変換を行う方程式を立てる。
（２）時間（ｔ２）のドローン撮像位置に対して、座標変換行列（Ｃｔ３ＴＣｔ２）を適用した座標変換を行う方程式を立てる。
これらの座標変換処理によって、時間（ｔ１）、（ｔ２）のカメラ座標系のドローン撮像位置は、時間（ｔ３）のカメラ座標系のドローン撮像位置に変換される。
これらの方程式を立てることで、１つの共通のカメラ座標系（時間（ｔ３）のカメラ座標系）上に３つの異なるドローン位置に対応するドローン撮像位置を設定する連立方程式を立てることが可能となる。
【0137】
すなわち、１つの共通のカメラ座標系（時間（ｔ３）のカメラ座標系）上に、以下の３つのドロー撮像位置を設定する連立方程式を立てることができる。
時間（ｔ１）のドローン撮像位置＝ｍＤｒｏｎｅｔ１、
時間（ｔ２）のドローン撮像位置＝ｍＤｒｏｎｅｔ２、
時間（ｔ３）のドローン撮像位置＝ｍＤｒｏｎｅｔ３、
なお、上記において、ｍ上部の（～）を省略して示している。これらのドローン撮像位置は、３次元の同次座標系で示されるカメラ座標系の位置情報である。
時間（ｔ１）のドローン撮像位置＝ｍＤｒｏｎｅｔ１、
時間（ｔ２）のドローン撮像位置＝ｍＤｒｏｎｅｔ２、
時間（ｔ３）のドローン撮像位置＝ｍＤｒｏｎｅｔ３、
なお、上記において、ｍ上部の（～）を省略して示している。これらのドローン撮像位置は、３次元の同次座標系で示されるカメラ座標系の位置情報である。
【0138】
その後は、先に図１４、図１５を参照して説明した処理と同様の処理を実行する。
まず、図１８（２）に示すように、上記の時間（ｔ１）～（ｔ３）のドローン撮像位置＝ｍＤｒｏｎｅｔ１～ｍＤｒｏｎｅｔ３と、ＮＥＤ座標系のドローン位置との対応関係式からなる連立方程式、すなわち、先に説明した（式７）の連立方程式を生成する。
まず、図１８（２）に示すように、上記の時間（ｔ１）～（ｔ３）のドローン撮像位置＝ｍＤｒｏｎｅｔ１～ｍＤｒｏｎｅｔ３と、ＮＥＤ座標系のドローン位置との対応関係式からなる連立方程式、すなわち、先に説明した（式７）の連立方程式を生成する。
【0139】
次に、この連立方程式を解いて得られるパラメータを用いて、図１８（３）に示す座標変換行列（ＣＴＮＥＤ）、すなわち、ＮＥＤ座標系の位置（ＮＥＤＰＸ）を、カメラ座標系の位置（ＣＰＸ）に変換する座標変換行列（ＣＴＮＥＤ）を算出する。
【0140】
この座標変換行列（ＣＴＮＥＤ）を用いることで、ＮＥＤ座標系で示された飛行経路の位置を、カメラ座標系で示される位置に変換し、取得したカメラ座標系で示される飛行経路位置（飛行経路や飛行予定経路）を、実写画像、すなわちドローン実画像を含む画像上に出力する。
なお、図１８の例では、時間（ｔ３）のカメラ撮影画像上に飛行経路位置（飛行経路や飛行予定経路）を出力することになる。
なお、図１８の例では、時間（ｔ３）のカメラ撮影画像上に飛行経路位置（飛行経路や飛行予定経路）を出力することになる。
【0141】
なお、その後、時間（ｔ４），（ｔ５）・・・と継続的に飛行経路位置（飛行経路や飛行予定経路）を出力する場合は、上述した処理を継続して実行すればよい。
【0142】
時間（ｔ４）のカメラ撮影画像上に飛行経路位置（飛行経路や飛行予定経路）を出力する場合は、時間（ｔ２），（ｔ３），（ｔ４）のドローン撮像位置＝ｍＤｒｏｎｅｔ２～ｍＤｒｏｎｅｔ４と、ＮＥＤ座標系のドローン位置との対応関係式からなる連立方程式、すなわち、先に説明した（式７）の連立方程式を生成する。
【0143】
時間（ｔ５）のカメラ撮影画像上に飛行経路位置（飛行経路や飛行予定経路）を出力する場合は、時間（ｔ３），（ｔ４），（ｔ５）のドローン撮像位置＝ｍＤｒｏｎｅｔ３～ｍＤｒｏｎｅｔ５と、ＮＥＤ座標系のドローン位置との対応関係式からなる連立方程式、すなわち、先に説明した（式７）の連立方程式を生成する。
【0144】
以下、同様の処理を継続して実行すれば、カメラの動きに応じて、カメラ撮影画像上の飛行経路位置（飛行経路や飛行予定経路）も移動し、正しい飛行経路の出力が継続して実行されることになる。
【0145】
［３．本開示の画像処理装置が実行する処理のシーケンスについて］
次に、本開示の画像処理装置が実行する処理のシーケンスについて説明する。
次に、本開示の画像処理装置が実行する処理のシーケンスについて説明する。
【0146】
図１９以下に示すフローチャートは、本開示の画像処理装置、例えばスマホ等のユーザ端末１０が実行する処理シーケンスについて説明するフローチャートを示す図である。
【0147】
図１９以下に示すフローに従った処理は、画像処理装置内部のメモリに格納されたプログラムに従って、画像処理装置のプログラム実行機能を持つＣＰＵ等から構成される制御部（データ処理部）の制御の下で実行可能である。
以下、図１９以下に示すフローの各ステップの処理について、順次、説明する。
以下、図１９以下に示すフローの各ステップの処理について、順次、説明する。
【0148】
なお、図１９に示すステップＳ１１１～Ｓ１１４の処理と、ステップＳ１２１～Ｓ１２３の処理は並列に実行可能な処理である。
まず、ステップＳ１１１～Ｓ１１４の処理について説明する。
まず、ステップＳ１１１～Ｓ１１４の処理について説明する。
【0149】
（ステップＳ１１１）
ステップＳ１１１の処理は、ユーザ端末１０による上空のドローン撮影処理である。
時間ｔ（ｎ）において、例えばスマホ等のユーザ端末１０のカメラを用いて、飛行中のドローン２０を撮影する。
ステップＳ１１１の処理は、ユーザ端末１０による上空のドローン撮影処理である。
時間ｔ（ｎ）において、例えばスマホ等のユーザ端末１０のカメラを用いて、飛行中のドローン２０を撮影する。
【0150】
すなわち、先に図１０、図１１を参照して説明したように、飛行中のドローン２０を撮影する。
図１０に示すように、ユーザは、ユーザ端末１０を用いて上空を飛行するドローン２０を所定時間、撮影する。このドローン２０は、ユーザに配送する荷物を搭載したドローンでなくてもよい。ただし、ドローンの飛行経路位置情報（ＮＥＤ座標上の位置情報）を取得可能なドローンであることが必要である。
図１０に示すように、ユーザは、ユーザ端末１０を用いて上空を飛行するドローン２０を所定時間、撮影する。このドローン２０は、ユーザに配送する荷物を搭載したドローンでなくてもよい。ただし、ドローンの飛行経路位置情報（ＮＥＤ座標上の位置情報）を取得可能なドローンであることが必要である。
【0151】
（ステップＳ１１２）
次に、ユーザ端末１０は、ステップＳ１１２において、時間ｔ（ｎ）の撮影画像中のドローン撮像位置情報（カメラ座標系の撮像位置情報（ｍＤｒｏｎｅｔ（ｎ）））を取得する。なお、文書中ではｍ上部の（～）を省略して説明する。
このドローン撮像位置は、時間ｔ（ｎ）におけるカメラ座標系（同次座標系）で示される撮像位置である。
次に、ユーザ端末１０は、ステップＳ１１２において、時間ｔ（ｎ）の撮影画像中のドローン撮像位置情報（カメラ座標系の撮像位置情報（ｍＤｒｏｎｅｔ（ｎ）））を取得する。なお、文書中ではｍ上部の（～）を省略して説明する。
このドローン撮像位置は、時間ｔ（ｎ）におけるカメラ座標系（同次座標系）で示される撮像位置である。
【0152】
（ステップＳ１１３）
次に、ユーザ端末１０は、ステップＳ１１３において、時間ｔ（ｎ）におけるドローンの位置情報（ＮＥＤ座標系の位置情報（ＮＥＤＰＤｒｏｎｅｔ（ｎ）））を取得する。
次に、ユーザ端末１０は、ステップＳ１１３において、時間ｔ（ｎ）におけるドローンの位置情報（ＮＥＤ座標系の位置情報（ＮＥＤＰＤｒｏｎｅｔ（ｎ）））を取得する。
【0153】
先に図３や図５を参照して説明したように、本開示の画像処理装置であるユーザ端末１０は、ドローン２０、またはドローン２０のコントロール等を行う管制センター等のドローン管理サーバ３０からＮＥＤ座標系で示された飛行経路情報を取得することができる。
【0154】
（ステップＳ１１４）
次に、ユーザ端末１０は、ステップＳ１１４において、時間ｔ（ｎ）におけるドローンの撮像位置情報（カメラ座標系の撮像位置情報（ｍＤｒｏｎｅｔ（ｎ）））と、位置情報（ＮＥＤ座標系の位置情報（ＮＥＤＰＤｒｏｎｅｔ（ｎ）））を時間ｔ（ｎ）に対応付けてメモリに記録する。
次に、ユーザ端末１０は、ステップＳ１１４において、時間ｔ（ｎ）におけるドローンの撮像位置情報（カメラ座標系の撮像位置情報（ｍＤｒｏｎｅｔ（ｎ）））と、位置情報（ＮＥＤ座標系の位置情報（ＮＥＤＰＤｒｏｎｅｔ（ｎ）））を時間ｔ（ｎ）に対応付けてメモリに記録する。
【0155】
次に、このステップＳ１１１～Ｓ１１４の処理と並列に実行されるステップＳ１２１～Ｓ１２３の処理について説明する。
【0156】
（ステップＳ１２１）
ユーザ端末１０は、ステップＳ１２１において、以下の処理を実行する。
時間ｔ（ｎ）、すなわち、ステップＳ１１１におけるドローンの撮影タイミングに併せてＳＬＡＭ処理を実行する。
ユーザ端末１０は、ステップＳ１２１において、以下の処理を実行する。
時間ｔ（ｎ）、すなわち、ステップＳ１１１におけるドローンの撮影タイミングに併せてＳＬＡＭ処理を実行する。
【0157】
前述したように、ＳＬＡＭ処理は、カメラ位置同定（ローカリゼーション）と環境地図作成（ｍａｐｐｉｎｇ）を並行して実行する処理である。
【0158】
（ステップＳ１２２）
次に、ユーザ端末１０は、ステップＳ１２２において、ステップＳ１２１のＳＬＡＭ処理結果に基づいて、ワールド座標系（ＳＬＡＭ座標系）を、撮影時間ｔ（ｎ）のカメラ座標系に変換する座標変換行列（Ｃｔ（ｎ）ＴＷｓ）を算出する。
次に、ユーザ端末１０は、ステップＳ１２２において、ステップＳ１２１のＳＬＡＭ処理結果に基づいて、ワールド座標系（ＳＬＡＭ座標系）を、撮影時間ｔ（ｎ）のカメラ座標系に変換する座標変換行列（Ｃｔ（ｎ）ＴＷｓ）を算出する。
【0159】
このステップＳ１２２の処理は、先に図１７（１）を参照して説明した処理に相当する。
【0160】
（ステップＳ１２３）
次に、ユーザ端末１０は、ステップＳ１２３において、ステップＳ１２２で算出した座標変換行列（Ｃｔ（ｎ）ＴＷｓ）、すなわち、ワールド座標系（ＳＬＡＭ座標系）を、撮影時間ｔ（ｎ）のカメラ座標系に変換する座標変換行列（Ｃｔ（ｎ）ＴＷｓ）をメモリに記録する。
次に、ユーザ端末１０は、ステップＳ１２３において、ステップＳ１２２で算出した座標変換行列（Ｃｔ（ｎ）ＴＷｓ）、すなわち、ワールド座標系（ＳＬＡＭ座標系）を、撮影時間ｔ（ｎ）のカメラ座標系に変換する座標変換行列（Ｃｔ（ｎ）ＴＷｓ）をメモリに記録する。
【0161】
ステップＳ１１１～Ｓ１１４の処理と、ステップＳ１２１～Ｓ１２３の処理が完了すると、ステップＳ１２４の処理を実行する。
【0162】
（ステップＳ１２４）
ユーザ端末１０は、ステップＳ１２４において、メモリに記録されたエントリが３つ以上になったか否かを判定する。
すなわち、３つの異なるドローン位置の撮影画像に基づくデータがメモリに記録されているか否かを判定する。
ユーザ端末１０は、ステップＳ１２４において、メモリに記録されたエントリが３つ以上になったか否かを判定する。
すなわち、３つの異なるドローン位置の撮影画像に基づくデータがメモリに記録されているか否かを判定する。
【0163】
【0164】
図２０に示すように、メモリには、上空のドローン撮影時間（ｔ（ｎ）等）対応のエントリが記録される。各エントリには、ドローン撮影時間に対応するデータとして以下の各データが記録される。
（１）時間（ｔ）（＝ドローン撮影時間）
（２）カメラ座標系のドローン撮像位置
（３）ＮＥＤ座標系のドローン位置
（４）ワールド座標系（ＳＬＡＭ座標系）を、カメラ座標系に変換する座標変換行列
（１）時間（ｔ）（＝ドローン撮影時間）
（２）カメラ座標系のドローン撮像位置
（３）ＮＥＤ座標系のドローン位置
（４）ワールド座標系（ＳＬＡＭ座標系）を、カメラ座標系に変換する座標変換行列
【0165】
「（２）カメラ座標系のドローン撮像位置」は、図１９に示すフローのステップＳ１１２で取得される撮影画像中のドローン撮像位置情報（カメラ座標系の撮像位置情報（ｍＤｒｏｎｅｔ（ｎ））等）である。
【0166】
「（３）ＮＥＤ座標系のドローン位置」は、図１９に示すフローのステップＳ１１３で取得される画像撮影タイミングにおける上空のドローンの位置情報（ＮＥＤ座標系の位置情報（ＮＥＤＰＤｒｏｎｅｔ（ｎ））等）である。
【0167】
「（４）ワールド座標系（ＳＬＡＭ座標系）を、カメラ座標系に変換する座標変換行列」は、図１９に示すフローのステップＳ１２２で算出されるワールド座標系（ＳＬＡＭ座標系）を、撮影時間のカメラ座標系に変換する座標変換行列（Ｃｔ（ｎ）ＴＷｓ等）である。
【0168】
メモリの撮影時間対応の各エントリには、これらのドローン撮影時間に対応するデータが記録される。
図１９に示すフローチャートのステップＳ１２４では、メモリに記録されたエントリが３つ以上になったか否かを判定する。
すなわち、３つの異なるドローン位置の撮影画像に基づくデータがメモリに記録されているか否かを判定する。
図１９に示すフローチャートのステップＳ１２４では、メモリに記録されたエントリが３つ以上になったか否かを判定する。
すなわち、３つの異なるドローン位置の撮影画像に基づくデータがメモリに記録されているか否かを判定する。
【0169】
図２０に示すように、３つの異なるドローン位置の撮影画像に基づくデータがメモリに記録されている場合には、次のステップＳ１３１に進む。
一方、３つの異なるドローン位置の撮影画像に基づくデータがメモリに記録されていない場合には、ステップＳ１２４の判定がＮｏとなり、ステップＳ１２５に進む。
一方、３つの異なるドローン位置の撮影画像に基づくデータがメモリに記録されていない場合には、ステップＳ１２４の判定がＮｏとなり、ステップＳ１２５に進む。
【0170】
（ステップＳ１２５）
ステップＳ１２５では、時間設定パラメータｎを次の時間ｎ＋１に設定し、次の時間（ｎ＋１）においてステップＳ１１１～Ｓ１１４の処理とステップＳ１２１～Ｓ１２３の処理を実行する。
すなわち、時間（ｎ＋１）において時間（ｎ）とは異なる位置にあるドローンを撮影して処理を実行する。
ステップＳ１２５では、時間設定パラメータｎを次の時間ｎ＋１に設定し、次の時間（ｎ＋１）においてステップＳ１１１～Ｓ１１４の処理とステップＳ１２１～Ｓ１２３の処理を実行する。
すなわち、時間（ｎ＋１）において時間（ｎ）とは異なる位置にあるドローンを撮影して処理を実行する。
【0171】
（ステップＳ１３１）
ステップＳ１２４において、図２０に示すように３つの異なるドローン位置の撮影画像に基づくデータがメモリに記録されていると判定した場合には、ステップＳ１３１に進む。
ステップＳ１２４において、図２０に示すように３つの異なるドローン位置の撮影画像に基づくデータがメモリに記録されていると判定した場合には、ステップＳ１３１に進む。
【0172】
図２１に示すように、ユーザ端末１０は、ステップＳ１３１において以下の処理を実行する。
ドローン撮影時間のカメラ座標系を、ドローン飛行経路を出力する時間ｔ（ｏｕｔ）のカメラ座標系に変換する座標変換行列（Ｃｔ（ｏｕｔ）ＴＣｔ（ｎ）等）を算出してメモリに記録する。
この処理は、先に図１７を参照して説明した処理に相当する。
ドローン撮影時間のカメラ座標系を、ドローン飛行経路を出力する時間ｔ（ｏｕｔ）のカメラ座標系に変換する座標変換行列（Ｃｔ（ｏｕｔ）ＴＣｔ（ｎ）等）を算出してメモリに記録する。
この処理は、先に図１７を参照して説明した処理に相当する。
【0173】
図２２を参照して、メモリに記録される座標変換行列（Ｃｔ（ｏｕｔ）ＴＣｔ（ｎ）等）の例について説明する。
このステップＳ１３１においてメモリに記録されるデータは、図２２に示す、（５）のデータ、すなわち、
（５）ドローン撮影時のカメラ座標系を飛行経路出力時のカメラ座標系に変換する座標変換行列
のデータである。
このステップＳ１３１においてメモリに記録されるデータは、図２２に示す、（５）のデータ、すなわち、
（５）ドローン撮影時のカメラ座標系を飛行経路出力時のカメラ座標系に変換する座標変換行列
のデータである。
【0174】
【0175】
この場合、「（５）ドローン撮影時のカメラ座標系を飛行経路出力時のカメラ座標系に変換する座標変換行列」として追加記録される座標変換行列は、図２２に示すように、
撮影時間＝ｔ（ｎ）と、撮影時間＝ｔ（ｎ＋１）のみである。
撮影時間＝ｔ（ｎ＋２）のデータは、ドローン撮影時のカメラ座標系が、飛行経路出力時のカメラ座標系に一致するため座標変換行列の追加記録は不要となる。
撮影時間＝ｔ（ｎ）と、撮影時間＝ｔ（ｎ＋１）のみである。
撮影時間＝ｔ（ｎ＋２）のデータは、ドローン撮影時のカメラ座標系が、飛行経路出力時のカメラ座標系に一致するため座標変換行列の追加記録は不要となる。
【0176】
撮影時間＝ｔ（ｎ）のエントリについては、
ドローン撮影時（ｔ＝（ｎ）のカメラ座標系（Ｃｔ（ｎ））を飛行経路出力時のカメラ座標系（Ｃｔ（ｏｕｔ）に変換する座標変換行列、
Ｃｔ（ｏｕｔ）ＴＣｔ（ｎ）
を追記する。
ドローン撮影時（ｔ＝（ｎ）のカメラ座標系（Ｃｔ（ｎ））を飛行経路出力時のカメラ座標系（Ｃｔ（ｏｕｔ）に変換する座標変換行列、
Ｃｔ（ｏｕｔ）ＴＣｔ（ｎ）
を追記する。
【0177】
また、撮影時間＝ｔ（ｎ＋１）のエントリについては、
ドローン撮影時（ｔ＝（ｎ＋１）のカメラ座標系（Ｃｔ（ｎ＋１））を飛行経路出力時のカメラ座標系（Ｃｔ（ｏｕｔ）に変換する座標変換行列、
Ｃｔ（ｏｕｔ）ＴＣｔ（ｎ＋１）
を追記する。
ドローン撮影時（ｔ＝（ｎ＋１）のカメラ座標系（Ｃｔ（ｎ＋１））を飛行経路出力時のカメラ座標系（Ｃｔ（ｏｕｔ）に変換する座標変換行列、
Ｃｔ（ｏｕｔ）ＴＣｔ（ｎ＋１）
を追記する。
【0178】
（ステップＳ１３２）
図２１のフローに示すように、次に、ユーザ端末１０は、ステップＳ１３２において以下の処理を実行する。
図２１のフローに示すように、次に、ユーザ端末１０は、ステップＳ１３２において以下の処理を実行する。
【0179】
ドローン撮影時間のカメラ座標系のドローン撮像位置に対して、座標変換行列（ＣｔｃＴＣｔｎ）を適用した座標変換処理を行い、ドローン飛行経路出力時間ｔ（ｏｕｔ）のカメラ座標系対応のドローン撮像位置を算出してメモリに記録する。
【0180】
【0181】
図２２を参照して、メモリに記録されるドローン飛行経路出力時間ｔ（ｏｕｔ）のカメラ座標系対応のドローン撮像位置の例について説明する。
このステップＳ１３２においてメモリに記録されるデータは、図２２に示す、（６）のデータ、すなわち、
（６）ドローン飛行経路出力時間ｔ（ｏｕｔ）のカメラ座標系対応のドローン撮像位置
このデータである。
このステップＳ１３２においてメモリに記録されるデータは、図２２に示す、（６）のデータ、すなわち、
（６）ドローン飛行経路出力時間ｔ（ｏｕｔ）のカメラ座標系対応のドローン撮像位置
このデータである。
【0182】
【0183】
この場合、ユーザ端末１０は、ステップＳ１３２において、以下の各データを算出してメモリに記録する。
ドローン撮影時間＝ｔ（ｎ）のデータに対する処理は以下の処理となる。
ドローン撮影時間＝ｔ（ｎ）のカメラ座標系（Ｃｔ（ｎ））のドローン撮像位置（ｍＤｒｏｎｔ（ｎ））に対して、座標変換行列（Ｃｔ（ｏｕｔ）ＴＣｔ（ｎ））を適用した座標変換処理を行う。すなわち以下の座標変換処理を行う。
λ（ｍＤｒｏｎｅｔｎ）＝Ａ・（ＣｔｏｕｔＴＮＥＤ）・（ＮＥＤＰＤｒｏｎｅｔｎ）
上記算出式によって取得される座標が、ドローン飛行経路出力時間ｔ（ｏｕｔ）のカメラ座標系対応のドローン撮像位置となる。この座標位置をメモリに記録する。
ドローン撮影時間＝ｔ（ｎ）のデータに対する処理は以下の処理となる。
ドローン撮影時間＝ｔ（ｎ）のカメラ座標系（Ｃｔ（ｎ））のドローン撮像位置（ｍＤｒｏｎｔ（ｎ））に対して、座標変換行列（Ｃｔ（ｏｕｔ）ＴＣｔ（ｎ））を適用した座標変換処理を行う。すなわち以下の座標変換処理を行う。
λ（ｍＤｒｏｎｅｔｎ）＝Ａ・（ＣｔｏｕｔＴＮＥＤ）・（ＮＥＤＰＤｒｏｎｅｔｎ）
上記算出式によって取得される座標が、ドローン飛行経路出力時間ｔ（ｏｕｔ）のカメラ座標系対応のドローン撮像位置となる。この座標位置をメモリに記録する。
【0184】
また、ドローン撮影時間＝ｔ（ｎ＋１）のデータに対する処理は以下の処理となる。
ドローン撮影時間＝ｔ（ｎ＋１）のカメラ座標系（Ｃｔ（ｎ＋１））のドローン撮像位置（ｍＤｒｏｎｔ（ｎ＋１））に対して、座標変換行列（Ｃｔ（ｏｕｔ）ＴＣｔ（ｎ＋１））を適用した座標変換処理を行う。すなわち以下の座標変換処理を行う。
λ（ｍＤｒｏｎｅｔｎ＋１）＝Ａ・（ＣｔｏｕｔＴＮＥＤ）・（ＮＥＤＰＤｒｏｎｅｔｎ＋１）
上記算出式によって取得される座標が、ドローン飛行経路出力時間ｔ（ｏｕｔ）のカメラ座標系対応のドローン撮像位置となる。この座標位置をメモリに記録する。
ドローン撮影時間＝ｔ（ｎ＋１）のカメラ座標系（Ｃｔ（ｎ＋１））のドローン撮像位置（ｍＤｒｏｎｔ（ｎ＋１））に対して、座標変換行列（Ｃｔ（ｏｕｔ）ＴＣｔ（ｎ＋１））を適用した座標変換処理を行う。すなわち以下の座標変換処理を行う。
λ（ｍＤｒｏｎｅｔｎ＋１）＝Ａ・（ＣｔｏｕｔＴＮＥＤ）・（ＮＥＤＰＤｒｏｎｅｔｎ＋１）
上記算出式によって取得される座標が、ドローン飛行経路出力時間ｔ（ｏｕｔ）のカメラ座標系対応のドローン撮像位置となる。この座標位置をメモリに記録する。
【0185】
また、ドローン撮影時間＝ｔ（ｎ＋２）のデータに対する処理は以下の処理となる。
ドローン撮影時間＝ｔ（ｎ＋２）のカメラ座標系（Ｃｔ（ｎ＋２））は、ドローン飛行経路出力時間ｔ（ｏｕｔ）のカメラ座標系（Ｃｔ（ｏｕｔ））に一致する。
従って座標変換は不要であり、ドローン撮影時間＝ｔ（ｎ＋２）のカメラ座標系（Ｃｔ（ｎ＋２））のドローン撮像位置（ｍＤｒｏｎｔ（ｎ＋２））をそのままメモリに記録する。
これらの記録データが、図２２に示す項目（６）に記録されたデータである。
ドローン撮影時間＝ｔ（ｎ＋２）のカメラ座標系（Ｃｔ（ｎ＋２））は、ドローン飛行経路出力時間ｔ（ｏｕｔ）のカメラ座標系（Ｃｔ（ｏｕｔ））に一致する。
従って座標変換は不要であり、ドローン撮影時間＝ｔ（ｎ＋２）のカメラ座標系（Ｃｔ（ｎ＋２））のドローン撮像位置（ｍＤｒｏｎｔ（ｎ＋２））をそのままメモリに記録する。
これらの記録データが、図２２に示す項目（６）に記録されたデータである。
【0186】
【0187】
メモリに記録された３つの異なる位置のＮＥＤ座標系のドローン位置と、各ドローン位置に対応するドローン撮像位置（時間ｔ（ｏｕｔ）のカメラ座標系上の撮像位置）との対応関係式からなる連立方程式（式７）を生成する。
【0188】
生成する連立方程式は、先に図１４（２）、図１５（２）、図１８（２）を参照して説明した連立方程式であり、先に（式７）として説明した連立方程式である。
なお、（式７）に示す連立方程式を構成する３つの式に含まれるドローン撮像位置（ｍＤｒｏｎｅｔｎ）には、ステップＳ１３２において算出した位置、すなわち、ドローン飛行経路出力時間ｔ（ｏｕｔ）のカメラ座標系対応のドローン撮像位置を用いる。
すなわち、図２２を参照して説明したメモリ記録データの項目（６）に記録した変換後の座標位置を用いる。
なお、（式７）に示す連立方程式を構成する３つの式に含まれるドローン撮像位置（ｍＤｒｏｎｅｔｎ）には、ステップＳ１３２において算出した位置、すなわち、ドローン飛行経路出力時間ｔ（ｏｕｔ）のカメラ座標系対応のドローン撮像位置を用いる。
すなわち、図２２を参照して説明したメモリ記録データの項目（６）に記録した変換後の座標位置を用いる。
【0189】
（ステップＳ１３４）
次に、ユーザ端末１０は、ステップＳ１３４において、ステップＳ１３３で生成した連立方程式（式７）を解いて取得されるパラメータを行列要素とする座標変換行列（Ｃｔ（ｏｕｔ）ＴＮＥＤ）、すなわちＮＥＤ座標系の位置（ＮＥＤＰＸ）を、カメラ座標系の位置（Ｃｔ（ｏｕｔ）ＰＸ）に変換する座標変換行列（Ｃｔ（ｏｕｔ）ＴＮＥＤ）（式８）を算出する。
次に、ユーザ端末１０は、ステップＳ１３４において、ステップＳ１３３で生成した連立方程式（式７）を解いて取得されるパラメータを行列要素とする座標変換行列（Ｃｔ（ｏｕｔ）ＴＮＥＤ）、すなわちＮＥＤ座標系の位置（ＮＥＤＰＸ）を、カメラ座標系の位置（Ｃｔ（ｏｕｔ）ＰＸ）に変換する座標変換行列（Ｃｔ（ｏｕｔ）ＴＮＥＤ）（式８）を算出する。
【0190】
【0191】
（ステップＳ１３５）
次に、ユーザ端末１０は、ステップＳ１３５において、ステップＳ１３４で生成した座標変換行列（Ｃｔ（ｏｕｔ）ＴＮＥＤ）を適用して、ＮＥＤ座標系のドローン飛行経路位置を、カメラ座標系の位置に変換する。
次に、ユーザ端末１０は、ステップＳ１３５において、ステップＳ１３４で生成した座標変換行列（Ｃｔ（ｏｕｔ）ＴＮＥＤ）を適用して、ＮＥＤ座標系のドローン飛行経路位置を、カメラ座標系の位置に変換する。
【0192】
なお、ＮＥＤ座標系のドローン飛行経路（飛行済み経路や飛行予定経路）については、ドローン２０、またはドローン管理サーバ３０から取得する。
【0193】
（ステップＳ１３６）
次に、ユーザ端末１０は、ステップＳ１３６において、ステップＳ１３５での座標変換によって得られたカメラ座標系の位置情報に変換された飛行経路をユーザ端末の表示部に出力する。
次に、ユーザ端末１０は、ステップＳ１３６において、ステップＳ１３５での座標変換によって得られたカメラ座標系の位置情報に変換された飛行経路をユーザ端末の表示部に出力する。
【0194】
これらの処理により、ドローンを撮影した撮影画像上に、そのドローンの経路情報を正確に表示することが可能となる。
すなわち、先に説明した図１６に示すように、実写画像としてのドローン画像に対して、ずれのないドローンの飛行経路（飛行経路や飛行予定経路）を出力表示することが可能となる。
すなわち、先に説明した図１６に示すように、実写画像としてのドローン画像に対して、ずれのないドローンの飛行経路（飛行経路や飛行予定経路）を出力表示することが可能となる。
【0195】
［４．本開示の画像処理装置、およびドローンの構成例について］
次に、本開示の画像処理装置、およびドローンの構成例について説明する。
次に、本開示の画像処理装置、およびドローンの構成例について説明する。
【0196】
図２４は、本開示の画像処理装置としてのユーザ端末１００と、ドローン２００の構成例を示す図である。
【0197】
本開示の画像処理装置としてのユーザ端末１００は、例えばスマホ等のカメラ付き通信端末である。スマホに限らずＰＣ等の装置やカメラ装置であってもよい。
【0198】
ユーザ端末１００は、ドローン２００やドローン管理サーバ３００との通信を行うことが可能な構成を有する。
ドローン２００は、例えばドローン管理サーバ３００との通信情報や、ＧＰＳ衛星４００との通信情報を利用して予め規定された飛行経路に従って飛行する。
ドローン２００は、例えばドローン管理サーバ３００との通信情報や、ＧＰＳ衛星４００との通信情報を利用して予め規定された飛行経路に従って飛行する。
【0199】
図に示すように、ユーザ端末１００は、カメラ１０１、データ処理部１０２、記憶部（メモリ）１０３、通信部１０４、表示部１０５、入力部１０６、出力部１０７を有する。
【0200】
カメラ１０１は、例えばドローンの撮影処理やＳＬＡＭ処理時の画像撮影に利用される。
【0201】
データ処理部１０２は、上述したドローンの飛行経路の出力制御を行う。すなわちドローン等の実画像上に飛行経路を重畳したＡＲ画像を生成して表示部１０５に表示する処理等を行う。
さらにＳＬＡＭ処理、画像撮影制御等、ユーザ端末１００において実行する処理の制御を行う。
データ処理部１０２は、例えばプログラム実行機能を有するＣＰＵ等のプロセッサを有し、記憶部１０３に格納されたプログラムに従って処理を実行する。
さらにＳＬＡＭ処理、画像撮影制御等、ユーザ端末１００において実行する処理の制御を行う。
データ処理部１０２は、例えばプログラム実行機能を有するＣＰＵ等のプロセッサを有し、記憶部１０３に格納されたプログラムに従って処理を実行する。
【0202】
記憶部（メモリ）１０３は、データ処理部１０２の実行するプログラムの格納領域、ワーク領域として利用される。処理に適用する様々なパラメータの記憶領域としても利用される。記憶部（メモリ）１０３は、ＲＡＭ、ＲＯＭ等によって構成される。
【0203】
通信部１０４は、ドローン２００、ドローン管理サーバ３００との通信を実行する。例えば、ドローン２００、またはドローン管理サーバ３００からドローン２００の飛行経路情報を受信する処理等を行う。
【0204】
表示部１０５は、カメラ撮影画像の表示、さらにデータ処理部１０２が生成したドローンの飛行経路情報を出力する。すなわちドローン等の実画像上に飛行経路を重畳したＡＲ画像を表示する。
【0205】
入力部１０６は、ユーザによる操作部であり、様々な処理、例えば画像撮影、経路表示の開始、終了等のユーザ要求の入力処理等に利用される。
出力部１０７には、音声出力部、画像出力部等が含まれる。
出力部１０７には、音声出力部、画像出力部等が含まれる。
【0206】
次にドローン２００の構成について説明する。
ドローン２００は、経路計画部２０１、経路制御部２０２、測位センサ（ＧＰＳ情報受信解析部）２０３、通信部２０４を有する。
ドローン２００は、経路計画部２０１、経路制御部２０２、測位センサ（ＧＰＳ情報受信解析部）２０３、通信部２０４を有する。
【0207】
経路計画部２０１は、ドローン２００の飛行経路を計画し、決定する。例えばドローン管理サーバ３００から受信した情報に基づいて、具体的な飛行経路を計画し決定する。
【0208】
経路制御部２０２は、経路計画部２０１が決定した飛行経路に従ってドローン２００を飛行させるための飛行制御を実行する。
【0209】
測位センサ（ＧＰＳ情報受信解析部）２０３はＧＰＳ衛星４００との通信を実行し、ＧＰＳ衛星４００との通信情報に基づいて、ドローン２００の現在位置（緯度、経度、高さ）を解析し、解析情報を経路制御部２０２に出力する。
経路制御部２０２は、測位センサ（ＧＰＳ情報受信解析部）２０３からの入力情報を参照して、経路計画部２０１が決定した飛行経路に従ってドローン２００を飛行させるための飛行制御を実行する。
経路制御部２０２は、測位センサ（ＧＰＳ情報受信解析部）２０３からの入力情報を参照して、経路計画部２０１が決定した飛行経路に従ってドローン２００を飛行させるための飛行制御を実行する。
【0210】
通信部２０４は、ドローン管理サーバ３００やユーザ端末１００との通信を実行する。
【0211】
なお、上述した実施例では、ドローンの飛行経路の表示処理例について説明したが、本開示の処理は、ドローンの飛行経路の表示に限らず、その他の移動体、例えばロボットや自動走行車両の経路情報表示処理にも適用可能である。
上述した実施例におけるドローンをロボットや自動走行車両に置き換えることで、同様の処理を行うことができる。
上述した実施例におけるドローンをロボットや自動走行車両に置き換えることで、同様の処理を行うことができる。
【0212】
［５．本開示の構成のまとめ］
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【0213】
なお、本明細書において開示した技術は、以下のような構成をとることができる。
（１） 移動装置のカメラ撮影画像を表示した表示部に、前記移動装置の移動経路を表示するデータ処理部を有し、
前記データ処理部は、
前記移動装置の移動経路を示す第１の座標系に従った位置情報を、前記表示部の表示画像の画素位置を特定可能な第２の座標系に変換する座標変換処理を実行し、
前記座標変換処理によって生成した前記第２の座標系に従った位置情報を有する移動経路を表示部に出力する画像処理装置。
（１） 移動装置のカメラ撮影画像を表示した表示部に、前記移動装置の移動経路を表示するデータ処理部を有し、
前記データ処理部は、
前記移動装置の移動経路を示す第１の座標系に従った位置情報を、前記表示部の表示画像の画素位置を特定可能な第２の座標系に変換する座標変換処理を実行し、
前記座標変換処理によって生成した前記第２の座標系に従った位置情報を有する移動経路を表示部に出力する画像処理装置。
【0214】
（２） 画像処理装置において実行する画像処理方法であり、
前記画像処理装置は、移動装置のカメラ撮影画像を表示した表示部に、前記移動装置の移動経路を表示するデータ処理部を有し、
前記データ処理部が、
前記移動装置の移動経路を示す第１の座標系に従った位置情報を、前記表示部の表示画像の画素位置を特定可能な第２の座標系に変換する座標変換処理を実行し、
前記座標変換処理によって生成した前記第２の座標系に従った位置情報を有する移動経路を表示部に出力する画像処理方法。
前記画像処理装置は、移動装置のカメラ撮影画像を表示した表示部に、前記移動装置の移動経路を表示するデータ処理部を有し、
前記データ処理部が、
前記移動装置の移動経路を示す第１の座標系に従った位置情報を、前記表示部の表示画像の画素位置を特定可能な第２の座標系に変換する座標変換処理を実行し、
前記座標変換処理によって生成した前記第２の座標系に従った位置情報を有する移動経路を表示部に出力する画像処理方法。
【0215】
（３） 前記移動装置は、ドローンであり、
前記第１の座標系は、ＮＥＤ座標系であり、
前記第２の座標系は、前記移動装置を撮影したカメラに対応するカメラ座標系である（２）に記載の画像処理方法。
前記第１の座標系は、ＮＥＤ座標系であり、
前記第２の座標系は、前記移動装置を撮影したカメラに対応するカメラ座標系である（２）に記載の画像処理方法。
【0216】
（４） 前記データ処理部は、
前記移動装置の前記第１の座標系対応の位置と、前記移動装置の撮影画像における撮像位置との対応関係を示す関係式を生成し、
生成した関係式から算出されるパラメータを用いて、前記座標変換処理に適用する座標変換行列を生成する（２）または（３）に記載の画像処理方法。
前記移動装置の前記第１の座標系対応の位置と、前記移動装置の撮影画像における撮像位置との対応関係を示す関係式を生成し、
生成した関係式から算出されるパラメータを用いて、前記座標変換処理に適用する座標変換行列を生成する（２）または（３）に記載の画像処理方法。
【0217】
（５） 前記データ処理部は、
前記移動装置の前記第１の座標系対応の位置と、前記移動装置の撮影画像における撮像位置との対応関係を示す関係式からなる連立方程式を生成し、
生成した連立方程式から算出されるパラメータを用いて、前記座標変換処理に適用する座標変換行列を生成する（２）～（４）いずれかに記載の画像処理方法。
前記移動装置の前記第１の座標系対応の位置と、前記移動装置の撮影画像における撮像位置との対応関係を示す関係式からなる連立方程式を生成し、
生成した連立方程式から算出されるパラメータを用いて、前記座標変換処理に適用する座標変換行列を生成する（２）～（４）いずれかに記載の画像処理方法。
【0218】
（６） 前記データ処理部は、
複数の異なる位置にある前記移動装置のカメラ撮影画像を利用して、前記連立方程式を生成する（５）に記載の画像処理方法。
複数の異なる位置にある前記移動装置のカメラ撮影画像を利用して、前記連立方程式を生成する（５）に記載の画像処理方法。
【0219】
（７） 前記データ処理部は、
前記連立方程式から得られるパラメータを前記座標変換行列の行列要素に設定した座標変換行列を生成する（５）または（６）に記載の画像処理方法。
前記連立方程式から得られるパラメータを前記座標変換行列の行列要素に設定した座標変換行列を生成する（５）または（６）に記載の画像処理方法。
【0220】
（８） 前記データ処理部は、
３つの異なる位置にある前記移動装置のカメラ撮影画像を利用して、３つの関係式からなる前記連立方程式を生成する（５）～（７）いずれかに記載の画像処理方法。
３つの異なる位置にある前記移動装置のカメラ撮影画像を利用して、３つの関係式からなる前記連立方程式を生成する（５）～（７）いずれかに記載の画像処理方法。
【0221】
（９） 前記データ処理部は、
複数の異なる位置にある前記移動装置のカメラ撮影画像のカメラの位置または姿勢が異なる場合、
画像撮影時の複数の異なるカメラ座標を１つのカメラ座標に変換する座標変換行列を算出して、算出したカメラ座標変換行列を適用して、複数の異なる位置の移動装置の撮像位置を１つのカメラ座標上に設定する処理を実行する（６）～（８）いずれかに記載の画像処理方法。
複数の異なる位置にある前記移動装置のカメラ撮影画像のカメラの位置または姿勢が異なる場合、
画像撮影時の複数の異なるカメラ座標を１つのカメラ座標に変換する座標変換行列を算出して、算出したカメラ座標変換行列を適用して、複数の異なる位置の移動装置の撮像位置を１つのカメラ座標上に設定する処理を実行する（６）～（８）いずれかに記載の画像処理方法。
【0222】
（１０） 前記データ処理部は、
前記移動装置を撮影するカメラの位置姿勢を算出するＳＬＡＭ（ｓｉｍｕｌｔａｎｅｏｕｓ ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ ｍａｐｐｉｎｇ）処理を実行して、ＳＬＡＭ処理結果を利用して、前記カメラ座標変換行列を算出する（９）に記載の画像処理方法。
前記移動装置を撮影するカメラの位置姿勢を算出するＳＬＡＭ（ｓｉｍｕｌｔａｎｅｏｕｓ ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ ｍａｐｐｉｎｇ）処理を実行して、ＳＬＡＭ処理結果を利用して、前記カメラ座標変換行列を算出する（９）に記載の画像処理方法。
【0223】
（１１） 前記データ処理部は、
前記ＳＬＡＭ処理の結果に基づいて、
前記ＳＬＡＭ処理に適用する座標系であるワールド座標系と、前記カメラ対応のカメラ座標系との座標変換を行うワールド座標カメラ座標変換行列を算出し、
算出したワールド座標カメラ座標変換行列を適用して、画像撮影時の複数の異なるカメラ座標を１つのカメラ座標に変換する前記カメラ座標変換行列を算出する（１０）に記載の画像処理方法。
前記ＳＬＡＭ処理の結果に基づいて、
前記ＳＬＡＭ処理に適用する座標系であるワールド座標系と、前記カメラ対応のカメラ座標系との座標変換を行うワールド座標カメラ座標変換行列を算出し、
算出したワールド座標カメラ座標変換行列を適用して、画像撮影時の複数の異なるカメラ座標を１つのカメラ座標に変換する前記カメラ座標変換行列を算出する（１０）に記載の画像処理方法。
【0224】
（１２） 前記データ処理部は、
前記移動装置であるドローン、またはドローンの管理を行うドローン管理サーバから、前記第１の座標系であるＮＥＤ座標系に従った飛行経路情報を取得し、
取得した飛行経路情報を、前記第２の座標系であるカメラ座標系に変換する（２）～（１１）いずれかに記載の画像処理方法。
前記移動装置であるドローン、またはドローンの管理を行うドローン管理サーバから、前記第１の座標系であるＮＥＤ座標系に従った飛行経路情報を取得し、
取得した飛行経路情報を、前記第２の座標系であるカメラ座標系に変換する（２）～（１１）いずれかに記載の画像処理方法。
【0225】
（１３） 前記データ処理部は、
移動装置のカメラ撮影画像を表示した前記表示部に、前記移動装置の移動済み経路と移動予定経路を表示する（２）～（１２）いずれかに記載の画像処理方法。
移動装置のカメラ撮影画像を表示した前記表示部に、前記移動装置の移動済み経路と移動予定経路を表示する（２）～（１２）いずれかに記載の画像処理方法。
【0226】
（１４） 画像処理装置において画像処理を実行させるプログラムであり、
前記画像処理装置は、移動装置のカメラ撮影画像を表示した表示部に、前記移動装置の移動経路を表示するデータ処理部を有し、
前記プログラムは、前記データ処理部に、
前記移動装置の移動経路を示す第１の座標系に従った位置情報を、前記表示部の表示画像の画素位置を特定可能な第２の座標系に変換する座標変換処理と、
前記座標変換処理によって生成した前記第２の座標系に従った位置情報を有する移動経路を表示部に出力する処理を実行させるプログラム。
前記画像処理装置は、移動装置のカメラ撮影画像を表示した表示部に、前記移動装置の移動経路を表示するデータ処理部を有し、
前記プログラムは、前記データ処理部に、
前記移動装置の移動経路を示す第１の座標系に従った位置情報を、前記表示部の表示画像の画素位置を特定可能な第２の座標系に変換する座標変換処理と、
前記座標変換処理によって生成した前記第２の座標系に従った位置情報を有する移動経路を表示部に出力する処理を実行させるプログラム。
【0227】
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【0228】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【0229】
以上、説明したように、本開示の一実施例の構成によれば、ドローンの実写画像上にドローンの飛行経路を正確に表示することを可能とした構成が実現される。
具体的には、例えば、ドローン等の移動装置のカメラ撮影画像を表示した表示部に、移動装置の移動経路を表示するデータ処理部を有する。データ処理部は、移動装置の移動経路を示す第１の座標系、例えばＮＥＤ座標系に従った位置情報を、表示部の表示画像の画素位置を特定可能な第２の座標系、例えばカメラ座標系に変換する座標変換処理を行う座標変換行列を生成し、生成した座標変換行列を適用した座標変換処理によって生成したカメラ座標系に従った位置情報を有する移動経路を表示部に出力する。
本構成により、ドローンの実写画像上にドローンの飛行経路を正確に表示することを可能とした構成が実現される。
具体的には、例えば、ドローン等の移動装置のカメラ撮影画像を表示した表示部に、移動装置の移動経路を表示するデータ処理部を有する。データ処理部は、移動装置の移動経路を示す第１の座標系、例えばＮＥＤ座標系に従った位置情報を、表示部の表示画像の画素位置を特定可能な第２の座標系、例えばカメラ座標系に変換する座標変換処理を行う座標変換行列を生成し、生成した座標変換行列を適用した座標変換処理によって生成したカメラ座標系に従った位置情報を有する移動経路を表示部に出力する。
本構成により、ドローンの実写画像上にドローンの飛行経路を正確に表示することを可能とした構成が実現される。
【符号の説明】
【0230】
１０ ユーザ端末
２０ ドローン
３０ ドローン管理サーバ
４０ ＧＰＳ衛星
５１ カメラ撮像面
６１ オブジェクト
６２ オブジェクト画像
１００ ユーザ端末
１０１ カメラ
１０２ データ処理部
１０３ 記憶部（メモリ）
１０４ 通信部
１０５ 表示部
１０６ 入力部
１０７ 出力部
２００ ドローン
２０１ 経路計画部
２０２ 経路制御部
２０３ 測位センサ（ＧＰＳ情報受信解析部）
２０４ 通信部
３００ ドローン管理サーバ
４００ ＧＰＳ衛星
２０ ドローン
３０ ドローン管理サーバ
４０ ＧＰＳ衛星
５１ カメラ撮像面
６１ オブジェクト
６２ オブジェクト画像
１００ ユーザ端末
１０１ カメラ
１０２ データ処理部
１０３ 記憶部（メモリ）
１０４ 通信部
１０５ 表示部
１０６ 入力部
１０７ 出力部
２００ ドローン
２０１ 経路計画部
２０２ 経路制御部
２０３ 測位センサ（ＧＰＳ情報受信解析部）
２０４ 通信部
３００ ドローン管理サーバ
４００ ＧＰＳ衛星
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】