IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 日本電気株式会社の特許一覧

特開2024-175924異常判定システム、異常判定方法、プログラム
<>
  • 特開-異常判定システム、異常判定方法、プログラム 図1
  • 特開-異常判定システム、異常判定方法、プログラム 図2
  • 特開-異常判定システム、異常判定方法、プログラム 図3
  • 特開-異常判定システム、異常判定方法、プログラム 図4
  • 特開-異常判定システム、異常判定方法、プログラム 図5
  • 特開-異常判定システム、異常判定方法、プログラム 図6
  • 特開-異常判定システム、異常判定方法、プログラム 図7
  • 特開-異常判定システム、異常判定方法、プログラム 図8
  • 特開-異常判定システム、異常判定方法、プログラム 図9
  • 特開-異常判定システム、異常判定方法、プログラム 図10
  • 特開-異常判定システム、異常判定方法、プログラム 図11
  • 特開-異常判定システム、異常判定方法、プログラム 図12
  • 特開-異常判定システム、異常判定方法、プログラム 図13
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024175924
(43)【公開日】2024-12-19
(54)【発明の名称】異常判定システム、異常判定方法、プログラム
(51)【国際特許分類】
   G08G 5/00 20060101AFI20241212BHJP
   G05D 1/46 20240101ALN20241212BHJP
【FI】
G08G5/00 A
G05D1/10
【審査請求】未請求
【請求項の数】10
【出願形態】OL
(21)【出願番号】P 2023094028
(22)【出願日】2023-06-07
(71)【出願人】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100103894
【弁理士】
【氏名又は名称】家入 健
(72)【発明者】
【氏名】木島 憲一
(72)【発明者】
【氏名】田靡 哲也
(72)【発明者】
【氏名】徳見 栄一
(72)【発明者】
【氏名】水田 高弘
(72)【発明者】
【氏名】勢司 太一
(72)【発明者】
【氏名】野村 拓矢
(72)【発明者】
【氏名】神山 拓海
【テーマコード(参考)】
5H181
5H301
【Fターム(参考)】
5H181AA26
5H181BB04
5H181CC04
5H181FF05
5H181LL06
5H301AA06
5H301CC04
5H301CC07
5H301FF11
5H301GG09
(57)【要約】
【課題】乗っ取り等による移動体の移動を早期に発見可能な異常判定システム等を提供する。
【解決手段】異常判定システム1は衛星測位システムを利用して移動体の位置情報を周期的に取得する位置情報取得部11と、取得した前記移動体の位置情報に基づいて予め定められた移動予定経路に沿って前記移動体を移動させる移動制御部12と、移動体に搭載された撮像部により撮影された、移動中の前記移動体からの視点の撮影画像を取得する撮影画像取得部13と、移動予定経路に基づき作成された仮想空間データから、取得した前記移動体の位置情報に対応する仮想空間情報を取得する仮想空間情報取得部14と、撮影画像と仮想空間情報を比較して、移動体の移動の異常を判定する異常判定部15と、を備える。
【選択図】図1
【特許請求の範囲】
【請求項1】
衛星測位システムを利用して移動体の位置情報を周期的に取得する位置情報取得手段と、
取得した前記移動体の位置情報に基づいて予め定められた移動予定経路に沿って前記移動体を移動させる移動制御手段と、
前記移動体に搭載された撮像部により撮影された、移動中の前記移動体からの視点の撮影画像を取得する撮影画像取得手段と、
前記移動予定経路に基づき作成された仮想空間データから、取得した前記移動体の位置情報に対応する仮想空間情報を取得する仮想空間情報取得手段と、
前記撮影画像と前記仮想空間情報を比較して、前記移動体の移動の異常を判定する異常判定手段と、を備える、異常判定システム。
【請求項2】
前記異常判定手段は、所定の時間にわたって、前記撮影画像と前記仮想空間情報を比較して、ずれ量が閾値以上に徐々に拡大する場合には、測位による移動体の位置情報を捏造した移動の異常と判定する、請求項1に記載の異常判定システム。
【請求項3】
前記異常判定手段は、前記撮影画像と前記仮想空間データを比較して、前記撮影画像から特定された前記移動体の実際の位置が、前記移動予定経路から閾値以上外れた場合は、測位による移動体の位置情報を捏造した移動の異常と判定する、請求項1に記載の異常判定システム。
【請求項4】
前記異常判定手段は、前記撮影画像と前記仮想空間情報とを比較して、前記撮影画像から特定された、前記移動体の実際の位置が経時的に、前記移動体が建物、他の移動体、又は群衆に向かっている場合、移動の異常と判定する、請求項1に記載の異常判定システム。
【請求項5】
前記異常判定手段は、測位による移動体の位置情報が前記移動予定経路にしたがっている場合は、測位による移動体の位置情報を捏造した移動の異常と判定する、請求項4に記載の異常判定システム。
【請求項6】
前記移動体の移動の異常を判定した場合にアラートを発生する発生手段を備える、請求項1に記載の異常判定システム。
【請求項7】
前記仮想空間情報は、ランドマークとなる少なくとも1つ以上の3Dオブジェクトを含む、請求項1に記載の異常判定システム。
【請求項8】
前記移動体は、カメラ及び測位信号受信機を備える飛行体であり、
前記撮影画像と前記仮想空間データを比較して、前記移動体の移動の異常を判定する前記異常判定手段を備える地上の管理サーバを更に備える、請求項1に記載の異常判定システム。
【請求項9】
衛星測位システムを利用して移動体の位置情報を周期的に取得し、
取得した前記移動体の位置情報に基づいて予め定められた移動予定経路に沿って前記移動体を移動させ、
前記移動体に搭載された撮像部により撮影された、移動中の前記移動体からの視点の撮影画像を取得し、
前記移動予定経路に基づき作成された仮想空間データから、取得した前記移動体の位置情報に対応する仮想空間情報を取得し、
前記撮影画像と前記仮想空間情報を比較して、前記移動体の移動の異常を判定する、異常判定方法。
【請求項10】
衛星測位システムを利用して移動体の位置情報を周期的に取得し、
取得した前記移動体の位置情報に基づいて予め定められた移動予定経路に沿って前記移動体を移動させ、
前記移動体に搭載された撮像部により撮影された、移動中の前記移動体からの視点の撮影画像を取得し、
前記移動予定経路に基づき作成された仮想空間データから、取得した前記移動体の位置情報に対応する仮想空間情報を取得し、
前記撮影画像と前記仮想空間情報を比較して、前記移動体の移動の異常を判定することを、コンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は異常判定システム、異常判定方法、プログラムに関する。
【背景技術】
【0002】
特許文献1には、軽い計算負荷で、外部信号に依らずに移動体の自機位置を高精度に計測するため、移動体に搭載され、当該移動体の自機位置を計測する自機位置計測装置が開示されている。この自機位置計測装置は、情報取得手段により取得された情報を、情報生成手段により生成された複数の参照点の各々における推定情報と照合し、最も一致度の高い推定情報に対応する一の参照点の位置を抽出する位置抽出手段と、位置抽出手段により抽出された一の参照点の位置に基づいて、慣性航法装置による航法と、前記一の参照点の位置を求める航法とを含むもののうち、より航法誤差の小さいものを、前記自機位置を計測する航法として選択する航法選択手段と、を備える。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2019-035670号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ドローンなどの無人機を含む移動体が普及してくると、移動体の乗っ取りも発生するおそれがある。移動体の乗っ取りが発生した場合、偽の位置情報を発信し、移動体が飛行計画通りに飛行していると偽装されるおそれがある。そのため、乗っ取りの発見が遅れ、予測できない事故等が発生してしまう場合がある。
【0005】
本開示は、このような問題点を解決するためになされたものであり、乗っ取り等による移動体の移動の異常を早期に発見可能な異常判定システム等を提供することを目的とする。
【課題を解決するための手段】
【0006】
本開示の一態様にかかる異常判定システムは、
衛星測位システムを利用して移動体の位置情報を周期的に取得する位置情報取得手段と、
取得した前記移動体の位置情報に基づいて予め定められた移動予定経路に沿って前記移動体を移動させる移動制御手段と、
前記移動体に搭載された撮像部により撮影された、移動中の前記移動体からの視点の撮影画像を取得する撮影画像取得手段と、
前記移動予定経路に基づき作成された仮想空間データから、取得した前記移動体の位置情報に対応する仮想空間情報を取得する仮想空間情報取得手段と、
前記撮影画像と前記仮想空間情報を比較して、前記移動体の移動の異常を判定する異常判定手段と、を備える。
【0007】
本開示の一態様にかかる異常判定方法は、
衛星測位システムを利用して移動体の位置情報を周期的に取得し、
取得した前記移動体の位置情報に基づいて予め定められた移動予定経路に沿って前記移動体を移動させ、
前記移動体に搭載された撮像部により撮影された、移動中の前記移動体からの視点の撮影画像を取得し、
前記移動予定経路に基づき作成された仮想空間データから、取得した前記移動体の位置情報に対応する仮想空間情報を取得し、
前記撮影画像と前記仮想空間情報を比較して、前記移動体の移動の異常を判定する。
【0008】
本開示の一態様にかかるプログラムは、
衛星測位システムを利用して移動体の位置情報を周期的に取得し、
取得した前記移動体の位置情報に基づいて予め定められた移動予定経路に沿って前記移動体を移動させ、
前記移動体に搭載された撮像部により撮影された、移動中の前記移動体からの視点の撮影画像を取得し、
前記移動予定経路に基づき作成された仮想空間データから、取得した前記移動体の位置情報に対応する仮想空間情報を取得し、
前記撮影画像と前記仮想空間情報を比較して、前記移動体の移動の異常を判定することを、コンピュータに実行させる。
【発明の効果】
【0009】
本開示によれば、乗っ取り等による移動体の移動を早期に発見可能な異常判定システム等を提供することができる。
【図面の簡単な説明】
【0010】
図1】一実施形態にかかる異常判定システムの構成例を示すブロック図である。
図2】一実施形態にかかる異常判定方法を示すフローチャートである。
図3】いくつかの実施の形態にかかる異常判定システムの概要を説明する図である。
図4】いくつかの実施の形態にかかる異常判定システムの構成を示すブロック図である。
図5】いくつかの実施の形態にかかる異常判定方法を示すフローチャートである。
図6】いくつかの実施の形態にかかる仮想空間データと飛行予定経路の例を説明する図である。
図7】いくつかの実施の形態にかかる撮影画像と位置情報に基づく仮想空間データの比較を説明する図である。
図8】いくつかの実施の形態にかかる位置補正を説明する図である。
図9】いくつかの実施形態にかかる撮影画像に基づき正確な位置の推定を説明する図である。
図10】いくつかの実施形態にかかるGPSに起因するずれを説明する図である。
図11】いくつかの実施形態にかかる異常と判定される位置ずれ例を説明する図である。
図12】実際の位置特定を説明する図である。
図13】いくつかの実施形態にかかる異常判定システムのハードウェア構成例を説明するブロック図である。
【発明を実施するための形態】
【0011】
以下、図面を参照して本実施の形態について説明する。
図1は、一実施形態にかかる異常判定システムの構成例を示すブロック図である。
異常判定システム1は、移動体の移動を監視し、異常を判定するために使用され得る。異常判定システム1は、少なくとも1つのプロセッサ及び少なくとも1つのメモリ等を備える1つ以上のコンピュータにより実現され得る。異常判定システム1は、図1に示すように、位置情報取得部11、移動制御部12、撮像画像取得部13、仮想空間情報取得部14、及び異常判定部15を含む。これらの構成要素の一部は、別々のコンピュータにより実装される場合がある。
【0012】
位置情報取得部11は、位置情報取得手段とも呼ばれ、衛星測位システムを利用して移動体の位置情報を周期的に取得する。移動制御部12は、移動制御手段とも呼ばれ、取得した移動体の位置情報に基づいて予め定められた移動予定経路に沿って移動体を移動させる。移動制御部12は、移動体の位置情報に基づき、移動予定経路に沿って自律的に移動させてもよいし、遠隔操作者の操作により、移動させてもよい。なお、衛星測位システムを利用して移動体の位置情報は、一般に、わずかな位置ずれ又は誤差が生じ得る。
【0013】
撮影画像取得部13は、撮影画像取得手段とも呼ばれ、移動体に搭載された撮像部により撮影された、移動中の移動体からの視点の撮影画像を取得する。
【0014】
仮想空間情報取得部14は、仮想空間情報取得手段とも呼ばれ、移動予定経路に基づき作成された仮想空間データから、取得した前記移動体の位置情報に対応する仮想空間情報を取得する。仮想空間データは、移動予定経路に基づき作成された建物、道路、鉄道、海岸線などの地理的情報を含む。移動体は、基本的には、事前に登録した移動予定経路に沿って移動することが要求されるので、取得した移動体の位置情報に基づき、移動体周辺の仮想空間情報、すなわち、移動体の現在位置から目的地へ向かう仮想空間情報を取得することができる。
【0015】
異常判定部15は、異常判定手段とも呼ばれ、撮影画像と仮想空間情報を比較して、移動体の移動の異常を判定する。移動体の移動の異常は、例えば、移動体の乗っ取りや、測位による移動体の位置情報を捏造した移動の異常を含み得る。
【0016】
図2は、一実施形態にかかる異常判定方法を示すフローチャートである。
位置情報取得部11は、衛星測位システムを利用して移動体の位置情報を周期的に取得する(ステップS11)。移動制御部12は、取得した前記移動体の位置情報に基づいて予め定められた移動予定経路に沿って移動体を移動させる(ステップS12)。撮影画像取得部13は、移動体に搭載された撮像部により撮影された、移動中の移動体からの視点の撮影画像を取得する(ステップS13)。仮想空間情報取得部14は、移動予定経路に基づき作成された仮想空間データから、取得した前記移動体の位置情報に対応する仮想空間情報を取得する(ステップS14)。異常判定部15は、撮影画像と仮想空間情報を比較して、移動体の移動の異常を判定する(ステップS15)。
【0017】
このように、一実施態様にかかる異常判定システム及び方法は、乗っ取り等による移動体の移動を早期に発見することができる。
【0018】
図3を参照して、いくつかの実施形態にかかる異常判定システムの構成を説明する。
異常判定システム1は、移動体100と、管理サーバ200を含む。管理サーバ200は、複数の異なるセキュリティ機能を一つのハードウェアに統合し、集中的にネットワーク管理するため、UTM(Unmanned aircraft Traffic Management system)とも呼ばれ得る。なお、本開示にかかるシステムは、クラウド集中型の管理サーバに限定されず、マルチアクセス・エッジ・コンピューティング(MEC)を用いてもよい。例えば、ローカル5GとMECを活用することで、クラウドへの通信量を削減しつつ、移動体などのデバイス処理の軽減、及びレスポンス向上が可能となる。
【0019】
ドローンである移動体100は、衛生測位システムからの測位信号に基づき、予め定められた飛行予定経路に沿って自律的に飛行させる。衛生測位システムからの測位信号は、一般に、位置ずれが生じ得る。そこで、移動体100に固定された撮像部103から、例えば、飛行方向の前方を撮影する。撮像画像と、測位信号に基づき取得又は生成された仮想空間データと(特に、ランドマーク)を比較し、位置情報を補正する。こうした撮影画像は、ドローンからの視点であり、FPV(First Person View)画像とも呼ばれ得る。
【0020】
なお、仮想空間データは、飛行予定経路に沿って、予め複数のランドマークが抽出され、3Dオブジェクトとして作成され得る。作成された仮想空間データは、ランドマークの位置情報と関連付けて、データベースに記憶され得る。
【0021】
本開示は、特に、こうしたシステムを利用して、偽の位置情報を発信し、あたかも飛行予定経路に沿って飛行しているように偽装する乗っ取りを早期に発見し、又は警告することに関する。
【0022】
図4は、いくつかの実施の形態にかかる異常判定システムの構成を示すブロック図である。異常判定システム1は、有線及び無線ネットワークNにより互いに通信可能に接続された、移動体100と、管理サーバ200と、を含む。
【0023】
移動体100は、例えば、ドローンであり、プロセッサ及びメモリ等からなるコンピュータを含み得る。移動体100の制御部は、位置情報取得部101、移動制御部102、撮像部103、記憶部150を含み得る。位置情報取得部101は、衛星測位システムからの受信信号に基づき、移動体の位置を測位する。
【0024】
位置情報取得部101(位置情報取得手段)は、移動体100が飛行中、例えば、GPS(Global Positioning System)受信機により測位される位置情報から、周期的に移動体の位置情報を取得し得る。GPSに限らず、GNSS(Global Navigation Satellite System)などの衛星測位システムを使用してもよい。位置情報取得部101は、取得した移動体の位置情報を、周期的に(例えば、1秒毎)、ネットワークを介して、管理サーバ200の位置情報取得部201に送信する。
【0025】
移動制御部102(移動制御手段)は、位置情報取得部101により取得された位置情報に基づき、プロペラ等の駆動部の回転を制御することで、目的地まで向かう移動予定経路に沿って、移動体100を自律的に移動させることができる。なお、移動制御部102は、管理サーバ200に含まれる場合もある。移動制御部102は、移動体の位置情報に基づき、遠隔操作者の操作により、移動体を移動させる場合もある。
【0026】
撮像部103(撮像手段)は、移動体に固定されたカメラにより、周期的に又は常時、FPV画像を撮像する。FPV画像は、静止画であってもよいし、動画であってもよい。撮像部103は、撮影画像を、ネットワークを介して管理サーバ200に送信する。
【0027】
記憶部150(記憶手段)は、ストレージであり、具体的には、RAMやROM等のメモリ装置、ハードディスクのような固定ディスク装置、フレキシブルディスク、光ディスク等を用いることができる。記憶部150は、予め定められた移動体の移動予定経路151及びランドマークの位置情報(例えば、緯度、経度)を記憶し得る。また、記憶部150は、取得した位置情報を、取得時刻とともに記憶し得る。更に、記憶部150は、撮影画像を、撮像時刻とともに記憶し得る。
【0028】
次に、管理サーバ200の構成要素について説明する。
管理サーバ200は、地上に配置され、多数の移動体の移動を監視する。管理サーバ200は、プロセッサ及びメモリ等を備えるコンピュータにより実現され得る。位置情報取得部201(位置情報取得手段)は、ネットワークを介して移動体の位置情報を周期的に(例えば、1秒毎に)取得する。したがって、管理サーバ200は、基本的には、ネットワークを介して取得した移動体の位置情報に基づいて、移動体が移動予定経路に沿って移動しているか否かを判定することができる。しかし、移動体の乗っ取りが発生した場合、偽の位置情報が、移動体100から管理サーバ200に送信し、あたかも移動予定経路に沿って移動しているように偽装されるおそれがある。そのため、本実施形態の管理サーバ200は、以下のような構成要素を備える。
【0029】
撮像画像取得部202(撮像画像取得手段)は、移動体100の撮像部103により撮影時刻とともに撮影画像を、ネットワークを介して取得する。撮像画像取得部202は、複数の静止画又はストリーミング動画を取得し得る。撮像画像取得部202は、撮影画像内のランドマーク等の位置から、移動体の位置を推定することができる。
【0030】
仮想空間情報取得部203(仮想空間情報取得手段)は、移動予定経路に沿って作成及び記憶された記憶部280内の仮想空間データ282から、撮影画像の撮影時刻に対応する位置情報に基づき、1つ以上のランドマークを含み得る仮想空間情報を取得する。
【0031】
異常判定部204(異常判定手段)は、撮影画像と仮想空間情報を比較して、移動体の移動の異常を判定する。いくつかの実施形態では、異常判定部204は、所定の時間にわたって、撮影画像と仮想空間情報を比較して、ずれ量が閾値以上に徐々に拡大する場合には、移動の異常と判定し得る。他の実施形態では、異常判定部204は、撮影画像と仮想空間データを比較して、移動体の実際の位置が移動予定経路から閾値以上外れた場合は、移動の異常と判定し得る。換言すれば、異常判定部204は、GPSに基づく位置ずれの場合は、移動体の実際の位置が移動予定経路から閾値以内と考えられるので、移動の異常とは判定しない。更に他の実施形態では、異常判定部204は、実際の位置に基づき、移動体が建物や他の移動体、群衆に向かって移動していると判断される場合、テロなどの乗っ取り行為であるものと判断し、移動の異常と判定してもよい。
【0032】
アラート発生部205(アラート発生手段)は、移動体の移動の異常を判定した場合にスピーカ又は表示部を介して、ユーザにアラートを発生する。
【0033】
なお、図4に示した異常判定システムの構成は単なる例示に過ぎない。移動体100の構成要素の一部が、管理サーバ200内にあってもよく、また、その逆も同様である。また、移動体100又は管理サーバ200の構成要素の一部が、別のコンピュータにおいて実現されてもよい。例えば、アラート発生部205は、警備会社のコンピュータ端末で実現されてもよい。
【0034】
図5は、いくつかの実施の形態にかかる例示的な異常判定方法を示すフローチャートである。
様々な飛行予定経路に沿って仮想空間データで作成され、その仮想空間データには、ランドマークとなり得る様々な建物、看板、地形なども含まれる。ランドマークは、予め位置座標が判明しているものでありうる。飛行予定経路を異常判定システムに事前に登録し、移動体100であるドローンは当該飛行予定経路に沿って飛行することが求められる。飛行予定経路を異常判定システムに登録すると、図6に示すように、仮想空間データから、飛行予定経路に沿ってランドマークとなる1つ以上の3Dオブジェクト(図6では3つ)が抽出される(ステップS101)。その後、ドローンは、位置情報取得部101により受信されるGPSによる位置情報に基づき、飛行予定経路に沿って飛行する(ステップS102)。
【0035】
飛行中、移動体100であるドローンは、取得したドローンの位置情報を管理サーバ200であるUTMに周期的に送信する(ステップS103)。管理サーバ200は、ドローンが飛行予定経路に沿って飛行しているか否かを判定することができる。しかし、ドローンの乗っ取りが発生した場合、偽の位置情報が、移動体100から管理サーバ200に送信し、あたかも飛行予定経路に沿って移動しているように偽装されるおそれがある。
【0036】
ドローンは、飛行中に撮像部103であるカメラにより、FPV画像を取得し、管理サーバ200であるUTMに送信する(ステップS104)。UTMは、FPV画像の撮影時刻のドローン(移動体100)の位置に基づく仮想空間情報を、飛行予定経路に沿って事前に作成された仮想空間データから、取得する(ステップS105)。図7に示すように、撮影されたFPV画像(例えば、ランドマーク61)と、撮影時刻のドローン(移動体100)の位置に基づく仮想空間データ(例えば、ランドマーク61)とを比較する(ステップS106)。なお、ランドマークには、建物、道路、鉄道、海岸線などの地理的表示も含みうる。
【0037】
比較の結果、撮影されたFPV画像(例えば、ランドマーク61)と、撮影時刻のドローン(移動体100)の位置に基づく仮想空間データ(例えば、ランドマーク61)とが一致する場合には(ステップS106でYES)、図8に示すように、FPVの映像から位置情報を補正する(ステップS107)。
【0038】
一方、比較の結果、撮影されたFPV画像(例えば、ランドマーク61)と、FPV画像の撮影時刻のドローン(移動体100)の位置に基づく仮想空間データ(例えば、ランドマーク61)とが一致しない場合には(ステップS106でNO)、図9に示すように、FPVの情報からドローンの実際の位置を推定する。具体的には、FPVの映像内のランドマーク(図9では61)から仮想空間の3Dオブジェクト(図9の61)を検索し、ランドマークの位置座標から、ドローンの実際の位置を特定する(ステップS110)。図12は、実際の位置特定を説明する図である。仮想空間情報取得部203は、移動予定経路に基づき作成された仮想空間データから、取得した移動体の位置情報に対応する仮想空間情報(3Dオブジェクトデータを含む)を取得する。移動体の位置情報に対応する仮想空間情報とは、目的地に向かう飛行計画に従った方向の3Dオブジェクトデータを含む。仮想空間情報の3Dオブジェクトデータと、当該移動体の位置に撮影されたFPV画像内の対応するランドマーク又はオブジェクトと比較して、移動体の位置を推定する。
【0039】
管理サーバ200の異常判定部204は、取得したGPSによる位置と、特定された実際の位置とのずれが異常であるか否かを判定する(ステップS111)。異常判定部204は、撮影画像と仮想空間データを比較して、実際の位置が移動予定経路から閾値距離以上外れた場合は、移動の異常と判定し得る。換言すれば、異常判定部204は、図10に示すようなGPSに基づく位置ずれの場合は、実際の位置が移動予定経路から閾値距離以内であるので、移動の異常とは判定しない。この場合、位置ずれを補正するように、移動制御部102は、移動体を制御してもよい。また、異常判定部204は、所定の時間(例えば、数秒、数十秒など)にわたって、撮影画像と仮想空間情報を比較して、図11に示すように、ずれ量が徐々に拡大する場合には、移動の異常と判定し得る。この場合、ドローンから通知されたGPSによる位置情報は、捏造され、あたかも飛行計画にしたがって、飛行しているように見えるが、FPV画像により認識される実際の位置は、飛行予定経路から徐々に外れていることを示している。一方、図10に示すようなGPSに基づく位置ずれの場合は、所定の時間(例えば、数秒、数十秒など)にわたってずれ量がほぼ一定であるので、異常とは判定されない。
【0040】
また、いくつかの実施形態では、異常判定部204は、ドローンから通知されたGPSによる位置は飛行予定経路に沿っているが、FPV画像により認識される実際の位置に基づき、移動体が建物や他の移動体、群衆などに向かって移動している場合、GPSによる位置情報の捏造によるテロなどの乗っ取り行為であるものと判断し、移動の異常と判定してもよい。なお、乗っ取りではなく、移動体の故障により、墜落している場合は、ドローンから通知されたGPSによる位置も飛行予定経路から外れ、また、FPV画像により認識される実際の位置も、移動体が建物や他の移動体、群衆などに向かっている。この場合、異常判定部204は、GPSによる位置は、捏造されていないが、他の異常、例えば、機体の故障であると判定してもよい。
【0041】
アラート発生部205は、前述のとおり、移動の異常が判定された場合、通信端末を介して、アラートを発生させることができる。アラートは、音声による警告、又は画面表示による警告であり得る。移動体が遠隔操作者により移動予定経路に沿って移動するように遠隔操作されている場合には、遠隔操作者が使用する通信端末(例えば、プロポセット、スマートフォン)に、アラートを発生してもよい。あるいは、移動体が移動する移動予定経路上の地域の警察や警備会社の通信端末にアラートを発生されてもよい。アラートとしては、移動体が、移動予定経路を外れて、どの方向に移動しているかを示すものであってもよい。
【0042】
図13は、異常判定システム1、移動体100、又は管理サーバ200の構成例を示すブロック図である。図13を参照すると、異常判定システム1等は、ネットワーク・インターフェース1201、プロセッサ1202、及びメモリ1203を含む。ネットワーク・インターフェース1201は、通信システムを構成する他のネットワークノード装置と通信するために使用される。ネットワーク・インターフェース1201は、無線通信を行うために使用されてもよい。例えば、ネットワーク・インターフェース1201は、IEEE 802.11 seriesにおいて規定された無線LAN通信、もしくは3GPP(登録商標)(3rd Generation Partnership Project)において規定されたモバイル通信を行うために使用されてもよい。もしくは、ネットワーク・インターフェース1201は、例えば、IEEE 802.3 seriesに準拠したネットワークインターフェースカード(NIC)を含んでもよい。ネットワーク・インターフェース1201には、GPS、GNSSなどの測位信号受信機1011、及び撮像部103等が接続される。
【0043】
プロセッサ1202は、メモリ1203からソフトウェア(コンピュータプログラム)を読み出して実行することで、上述の実施形態においてフローチャートもしくはシーケンスを用いて説明された異常判定システム1の処理を行う。プロセッサ1202は、例えば、マイクロプロセッサ、MPU(Micro Processing Unit)、CPU(Central Processing Unit)又はGPU(Graphics Processing Unit)であってもよい。プロセッサ1202は、複数のプロセッサを含んでもよい。
【0044】
メモリ1203は、揮発性メモリ及び不揮発性メモリの組み合わせによって構成される。メモリ1203は、プロセッサ1202から離れて配置されたストレージを含んでもよい。この場合、プロセッサ1202は、図示されていないI/Oインタフェースを介してメモリ1203にアクセスしてもよい。
【0045】
図13の例では、メモリ1203は、ソフトウェアモジュール群を格納するために使用される。プロセッサ1202は、これらのソフトウェアモジュール群をメモリ1203から読み出して実行することで、上述の実施形態において説明された異常判定システム1の処理を行うことができる。
【0046】
図2及び図5を用いて説明したように、異常判定システム1等が有するプロセッサの各々は、図面を用いて説明されたアルゴリズムをコンピュータに行わせるための命令群を含む1又は複数のプログラムを実行する。
【0047】
上述の例において、プログラムは、コンピュータに読み込まれた場合に、実施形態で説明された1又はそれ以上の機能をコンピュータに行わせるための命令群(又はソフトウェアコード)を含む。プログラムは、非一時的なコンピュータ可読媒体又は実体のある記憶媒体に格納されてもよい。限定ではなく例として、コンピュータ可読媒体又は実体のある記憶媒体は、random-access memory(RAM)、read-only memory(ROM)、フラッシュメモリ、solid-state drive(SSD)又はその他のメモリ技術、CD-ROM、digital versatile disc(DVD)、Blu-ray(登録商標)ディスク又はその他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ又はその他の磁気ストレージデバイスを含む。プログラムは、一時的なコンピュータ可読媒体又は通信媒体上で送信されてもよい。限定ではなく例として、一時的なコンピュータ可読媒体又は通信媒体は、電気的、光学的、音響的、またはその他の形式の伝搬信号を含む。
【0048】
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。以上で説明した複数の例は、適宜組み合わせて実施されることもできる。移動体は、例えば、ドローン以外の、車両や船舶などであってもよい。また、センサフュージョンにより位置精度を高める技術を用いてもよい。
【0049】
上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
(付記1)
衛星測位システムを利用して移動体の位置情報を周期的に取得する位置情報取得手段と、
取得した前記移動体の位置情報に基づいて予め定められた移動予定経路に沿って前記移動体を移動させる移動制御手段と、
前記移動体に搭載された撮像部により撮影された、移動中の前記移動体からの視点の撮影画像を取得する撮影画像取得手段と、
前記移動予定経路に基づき作成された仮想空間データから、取得した前記移動体の位置情報に対応する仮想空間情報を取得する仮想空間情報取得手段と、
前記撮影画像と前記仮想空間情報を比較して、前記移動体の移動の異常を判定する異常判定手段と、を備える、異常判定システム。
(付記2)
前記異常判定手段は、所定の時間にわたって、前記撮影画像と前記仮想空間情報を比較して、ずれ量が閾値以上に徐々に拡大する場合には、測位による移動体の位置情報を捏造した移動の異常と判定する、付記1に記載の異常判定システム。
(付記3)
前記異常判定手段は、前記撮影画像と前記仮想空間データを比較して、前記撮影画像から特定された前記移動体の実際の位置が、前記移動予定経路から閾値以上外れた場合は、測位による移動体の位置情報を捏造した移動の異常と判定する、付記1に記載の異常判定システム。
(付記4)
前記異常判定手段は、前記撮影画像と前記仮想空間情報とを比較して、前記撮影画像から特定された、前記移動体の実際の位置が経時的に、前記移動体が建物、他の移動体、又は群衆に向かっている場合、移動の異常と判定する、付記1に記載の異常判定システム。
(付記5)
前記異常判定手段は、測位による移動体の位置情報が前記移動予定経路にしたがっている場合は、測位による移動体の位置情報を捏造した移動の異常と判定する、付記4に記載の異常判定システム。
(付記6)
前記移動体の移動の異常を判定した場合にアラートを発生する発生手段を備える、付記1に記載の異常判定システム。
(付記7)
前記仮想空間情報は、ランドマークとなる少なくとも1つ以上の3Dオブジェクトを含む、付記1に記載の異常判定システム。
(付記8)
前記移動体は、カメラ及び測位信号受信機を備える飛行体であり、
前記撮影画像と前記仮想空間データを比較して、前記移動体の移動の異常を判定する前記異常判定手段を備える地上の管理サーバを更に備える、付記1に記載の異常判定システム。
(付記9)
衛星測位システムを利用して移動体の位置情報を周期的に取得し、
取得した前記移動体の位置情報に基づいて予め定められた移動予定経路に沿って前記移動体を移動させ、
前記移動体に搭載された撮像部により撮影された、移動中の前記移動体からの視点の撮影画像を取得し、
前記移動予定経路に基づき作成された仮想空間データから、取得した前記移動体の位置情報に対応する仮想空間情報を取得し、
前記撮影画像と前記仮想空間情報を比較して、前記移動体の移動の異常を判定する、異常判定方法。
(付記10)
所定の時間にわたって、前記撮影画像と前記仮想空間情報を比較して、ずれ量が閾値以上に徐々に拡大する場合には、測位による移動体の位置情報を捏造した移動の異常と判定する、付記9に記載の異常判定方法。
(付記11)
前記撮影画像と前記仮想空間データを比較して、前記撮影画像から特定された前記移動体の実際の位置が、前記移動予定経路から閾値以上外れた場合は、測位による移動体の位置情報を捏造した移動の異常と判定する、付記9に記載の異常判定方法。
(付記12)
前記撮影画像と前記仮想空間情報とを比較して、前記撮影画像から特定された、前記移動体の実際の位置が経時的に、前記移動体が建物、他の移動体、又は群衆に向かっている場合、移動の異常と判定する、付記9に記載の異常判定方法。
(付記13)
前記異常判定手段は、測位による移動体の位置情報が前記移動予定経路にしたがっている場合は、測位による移動体の位置情報を捏造した移動の異常と判定する、付記12に記載の異常判定方法。
(付記14)
前記移動体の移動の異常を判定した場合にアラートを発生する、付記9に記載の異常判定方法。
(付記15)
前記仮想空間情報は、ランドマークとなる少なくとも1つ以上の3Dオブジェクトを含む、付記9に記載の異常判定方法。
(付記16)
衛星測位システムを利用して移動体の位置情報を周期的に取得し、
取得した前記移動体の位置情報に基づいて予め定められた移動予定経路に沿って前記移動体を移動させ、
前記移動体に搭載された撮像部により撮影された、移動中の前記移動体からの視点の撮影画像を取得し、
前記移動予定経路に基づき作成された仮想空間データから、取得した前記移動体の位置情報に対応する仮想空間情報を取得し、
前記撮影画像と前記仮想空間情報を比較して、前記移動体の移動の異常を判定することを、コンピュータに実行させるプログラム。
(付記17)
所定の時間にわたって、前記撮影画像と前記仮想空間情報を比較して、ずれ量が閾値以上に徐々に拡大する場合には、測位による移動体の位置情報を捏造した移動の異常と判定することを、コンピュータに実行させる、付記16に記載のプログラム。
(付記18)
前記撮影画像と前記仮想空間データを比較して、前記撮影画像から特定された前記移動体の実際の位置が、前記移動予定経路から閾値以上外れた場合は、測位による移動体の位置情報を捏造した移動の異常と判定することをコンピュータに実行させる、付記16又は17に記載のプログラム。
(付記19)
前記撮影画像と前記仮想空間情報とを比較して、前記撮影画像から特定された、前記移動体の実際の位置が経時的に、前記移動体が建物、他の移動体、又は群衆に向かっている場合、移動の異常と判定することをコンピュータに実行させる、付記16~18のいずれかに記載のプログラム。
(付記20)
測位による移動体の位置情報が前記移動予定経路にしたがっている場合は、測位による移動体の位置情報を捏造した移動の異常と判定することをコンピュータに実行させる、付記19のいずれかに記載のプログラム。
(付記21)
前記移動体の移動の異常を判定した場合にアラートを発生することをコンピュータに実行させる、付記16~20のいずれかに記載のプログラム。
(付記22)
前記仮想空間情報は、ランドマークとなる少なくとも1つ以上の3Dオブジェクトを含む、付記16~21のいずれかに記載のプログラム。
【符号の説明】
【0050】
1 異常判定システム
11 位置情報取得部
12 移動制御部
13 撮像画像取得部
14 仮想空間情報取得部
15 異常判定部
61、62,63 ランドマーク
100 移動体
101 位置情報取得部
102 移動制御部
103 撮像部
150 記憶部
151 移動予定経路
200 管理サーバ
201 位置情報取得部
202 撮像画像取得部
203 仮想空間情報取得部
204 異常判定部
205 アラート発生部
280 記憶部
281 移動予定経路
282 仮想空間データ
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13