特許 6738858 情報処理装置、情報処理方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6738858

(24)【登録日】2020年7月22日

(45)【発行日】2020年8月12日

(54)【発明の名称】情報処理装置、情報処理方法、およびプログラム

(51)【国際特許分類】

   H04N 7/18 20060101AFI20200730BHJP

   B64C 39/02 20060101ALI20200730BHJP

   B64D 47/08 20060101ALI20200730BHJP

   B64F 1/36 20170101ALI20200730BHJP

   G08G 5/00 20060101ALI20200730BHJP

   G06T 7/00 20170101ALI20200730BHJP

【ＦＩ】

   H04N7/18 D

   B64C39/02

   B64D47/08

   B64F1/36

   G08G5/00 A

   H04N7/18 K

   G06T7/00 650

【請求項の数】9

【全頁数】17

(21)【出願番号】特願2018-110367(P2018-110367)

(22)【出願日】2018年6月8日

(65)【公開番号】特開2019-213158(P2019-213158A)

(43)【公開日】2019年12月12日

【審査請求日】2019年2月6日

(73)【特許権者】

【識別番号】000102728

【氏名又は名称】株式会社エヌ・ティ・ティ・データ

(73)【特許権者】

【識別番号】518204785

【氏名又は名称】株式会社レイメイ

(74)【代理人】

【識別番号】110001634

【氏名又は名称】特許業務法人 志賀国際特許事務所

(72)【発明者】

【氏名】平田 篤郎

(72)【発明者】

【氏名】西田 太郎

(72)【発明者】

【氏名】後藤 容順

(72)【発明者】

【氏名】狭間 達也

【審査官】 鈴木 隆夫

(56)【参考文献】

【文献】 特表２０１３−５２２１２１（ＪＰ，Ａ）

【文献】 特開平０６−０９０３１１（ＪＰ，Ａ）

【文献】 特開２００５−２３５０３７（ＪＰ，Ａ）

【文献】 特開２００３−２４０５１８（ＪＰ，Ａ）

【文献】 特表２０１０−５２２３６６（ＪＰ，Ａ）

【文献】 特表２０１０−５３９７４０（ＪＰ，Ａ）

【文献】 特開２００２−２７７５４４（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ７／１８

Ｂ６４Ｃ ３９／０２

Ｂ６４Ｄ ４７／０８

Ｂ６４Ｆ １／３６

Ｇ０６Ｔ ７／００

Ｇ０８Ｇ ５／００

(57)【特許請求の範囲】

【請求項1】

航空機が離陸または着陸する滑走路の画像を取得する画像取得部と、
前記画像取得部により取得された画像に基づいて、前記滑走路において発生している特定事象の種別を特定する特定部と、
前記特定部により特定された特定事象の種別に関する情報を、予め定められた通知先端末装置に提供する提供部と、
前記特定部の特定結果に基づいて、前記特定事象を処理するまでの時間を推定する推定部と、
を備える情報処理装置。

【請求項2】

指示信号を取得した場合または所定の時刻に到達した場合に、撮像部を備える移動体に所定の動作指示を出力する指示部を、更に備え、
前記航空機が離陸または着陸する滑走路の画像は、前記動作指示に応じて前記移動体の前記撮像部により撮像された画像である、
請求項１に記載の情報処理装置。

【請求項3】

前記特定部は、前記画像に付随する情報または前記移動体から発信された情報に基づいて、更に特定事象が発生している位置を特定する、
請求項２に記載の情報処理装置。

【請求項4】

前記移動体は、無人航空機である、
請求項２または３に記載の情報処理装置。

【請求項5】

前記特定事象の種別は、前記滑走路に液体が存在していること、前記滑走路に前記航空機の離陸または着陸の障害となる物体が存在していること、前記滑走路の路面に凹部または凸部が存在していること、および前記滑走路に動物が存在することのうち、一以上の事象である、
請求項１から４のうちいずれか１項に記載の情報処理装置。

【請求項6】

前記特定部は、前記画像に基づいて、更に前記特定事象に対応する空間の大きさを特定する、
請求項５に記載の情報処理装置。

【請求項7】

前記特定部は、前記画像を入力すると前記画像における特定事象の種別を出力する学習済モデルを用いて、前記特定事象の種別を特定する、
請求項１から６のうちいずれか１項に記載の情報処理装置。

【請求項8】

コンピュータが、
航空機が離陸または着陸する滑走路の画像を取得し、
前記取得された画像に基づいて、前記滑走路において発生している特定事象の種別を特定し、
前記特定された特定事象の種別に関する情報を、予め定められた通知先端末装置に提供し、
前記特定された結果に基づいて、前記特定事象を処理するまでの時間を推定する、
情報処理方法。

【請求項9】

コンピュータに、
航空機が離陸または着陸する滑走路の画像を取得させ、
前記取得された画像に基づいて、前記滑走路において発生している特定事象の種別を特定させ、
前記特定された特定事象の種別に関する情報を、予め定められた通知先端末装置に提供させ、
前記特定された結果に基づいて、前記特定事象を処理するまでの時間を推定させる、
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、情報処理方法、およびプログラムに関する。

【背景技術】

【0002】

無人航空機の撮像画像を地図上に表示する無人航空機の撮像画像表示装置であって、前記無人航空機で撮像した撮像画像と、撮像したタイミングでの当該無人航空機の位置情報とを紐づけて記憶する撮像画像記憶手段と、前記撮像画像の位置情報に基づいて、前記地図上の位置に、前記撮像画像を当該地図に重ねて表示する表示手段と、を備えることを特徴とする無人航空機の撮像画像表示装置に関する技術が開示されている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１７−６７８３４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、従来の技術では、広範囲の滑走路の画像から細かく散乱した物品を目視で探し全てを確認することは相当の時間がかかり、かつ、物品の発見がもれてしまう可能性があった。また、滑走路において特定事象が発生した場合（障害物などが存在する場合）、その種別などを確認するために、係員が現場に出向いて確認することある。この結果、特定事象の種別の特定が迅速かつ容易にできない場合があった。例えば、特定事象の種別の特定が遅れると特定事象に対する処理が迅速にできないことがあった。

【0005】

本発明は、このような事情を考慮してなされたものであり、特定事象の種別を迅速かつ容易に特定することができる情報処理装置、情報処理方法、およびプログラムを提供することを目的の一つとする。

【課題を解決するための手段】

【0006】

本発明の一態様は、指示信号を取得した場合または所定の時刻に到達した場合に、撮像部を備える移動体に所定の動作指示を出力する指示部と、前記動作指示に応じて前記移動体により撮像された、航空機が離陸または着陸する滑走路の画像を取得する画像取得部と、前記画像取得部により取得された画像に基づいて、前記滑走路において発生している特定事象の種別を特定する特定部と、前記特定部により特定された特定事象の種別に関する情報を、前記特定部により特定された特定事象に応じて定められた通知先端末装置に提供する提供部とを備える情報処理装置である。

【0007】

本発明の他の一態様は、前記特定部は、前記画像に付随する情報または前記移動体から発信された情報に基づいて、更に特定事象が発生している位置を特定するものである。

【0008】

本発明の他の一態様は、前記特定事象の種別は、前記滑走路に液体が存在していること、前記滑走路に前記航空機の離陸または着陸の障害となる物体が存在していること、前記滑走路の路面に凹部または凸部が存在していること、および前記滑走路に動物が存在することのうち、一以上の事象であるものである。

【0009】

本発明の他の一態様は、前記特定部は、前記画像に基づいて、更に前記特定事象に対応する空間の大きさを特定するものである。

【0010】

本発明の他の一態様は、前記特定部は、前記画像を入力すると前記画像における特定事象の種別を出力する学習済モデルを用いて、前記特定事象の種別を特定するものである。

【0011】

本発明の一態様は、前記特定部の特定結果に基づいて、前記特定事象を処理するまでの時間を推定する推定部を更に備えるものである。

【0012】

本発明の他の一態様は、前記移動体は、無人航空機であるものである。

【0013】

本発明の一態様は、コンピュータが、指示信号を取得した場合または所定の時刻に到達した場合に、撮像部を備える移動体に所定の動作指示を出力し、前記動作指示に応じて前記移動体により撮像された、航空機が離陸または着陸する滑走路の画像を取得し、前記取得された画像に基づいて、前記滑走路において発生している特定事象の種別を特定し、前記特定された特定事象の種別に関する情報を、前記特定された特定事象に応じて定められた通知先端末装置に提供する情報処理方法である。

【0014】

本発明の他の一態様は、コンピュータに、指示信号を取得した場合または所定の時刻に到達した場合に、撮像部を備える移動体に所定の動作指示を出力させ、前記動作指示に応じて前記移動体により撮像された、航空機が離陸または着陸する滑走路の画像を取得させ、前記取得された画像に基づいて、前記滑走路において発生している特定事象の種別を特定させ、前記特定された特定事象の種別に関する情報を、前記特定された特定事象に応じて定められた通知先端末装置に提供させるプログラムである。

【発明の効果】

【0015】

本発明によれば、特定事象の種別を迅速かつ容易に特定することができる。

【図面の簡単な説明】

【0016】

【図1】情報処理装置を含む情報処理システムの構成の一例を示す図である。

【図2】無人飛行体５０の機能構成の一例を示す図である。

【図3】情報処理装置１００の機能構成の一例を示す図である。

【図4】情報処理システム１により実行される処理の流れの一例を示すフローチャートである。

【図5】無人飛行体５０−１〜５０−５が待機位置ＳＰで待機している状態の一例を示す図である。

【図6】無人飛行体５０が、情報処理装置５０の指示に応じて、滑走路Ｒを撮像する様子の一例を示す図である。

【図7】特定事象が特定される処理を概念的に示す図である。

【図8】特定事象情報１２４における各パターンの内容の一例を示す図である。

【図9】各端末装置の表示部に表示される画像ＩＭの一例を示す図である。

【図10】比較例と本実施形態の情報処理システム１の処理が行われた場合の運用の一例を示す図である。

【図11】学習データ１３０の内容の一例を示す図である。

【図12】第２実施形態の情報処理装置１００Ａの機能構成の一例を示す図である。

【図13】第２実施形態の情報処理装置１００Ａにより実行される処理の流れの一例を示すフローチャートである。

【図14】推定パラメータ情報１２６の内容の一例を示す図である。

【発明を実施するための形態】

【0017】

以下、図面を参照し、情報処理装置、情報処理方法、およびプログラムについて説明する。

【0018】

［概要］
情報処理装置は、指示信号を取得した場合または所定の時刻に到達した場合に、撮像部を備える移動体に所定の動作指示を出力する。そして、情報処理装置は、所定の動作指示に応じて移動体により撮像された、航空機が離陸または着陸する滑走路の画像を取得し、取得した画像に基づいて、滑走路において発生している特定事象の種別を特定し、特定した特定事象の種別に関する情報を、特定部により特定された特定事象に応じて定められた通知先端末装置に提供する。

【0019】

「指示信号」とは、利用者によって情報処理装置の操作部に対して所定の操作が行われた場合に出力される信号や、情報処理装置が他装置から取得した所定の信号等である。

【0020】

「移動体」は、例えば、飛行体（いわゆるドローン）や、自動車等である。この移動体は、自律的に移動する飛行体や自動車であってもよいし、運転者の操作または遠隔操作によって移動する飛行体や自動車であってもよい。以下、一例として、移動体は、無人飛行体であるものとして説明する。

【0021】

「所定の動作指示」は、例えば、無人飛行体を動作（飛行）させ滑走路を撮像させる指示である。なお、「所定の動作指示」は、無人飛行体に滑走路の上空を飛行させる指示であってもよい。この場合、例えば、無人飛行体は、所定の動作指示に応じて飛行を開始し、無人飛行体の記憶部に記憶された上空から滑走路を撮像部に撮像させるプログラムが実行されることにより滑走路を撮像する。

【0022】

「滑走路において発生している特定事象」とは、滑走路において航空機の交通に支障をきたす恐れがある事象である。特定事象とは、例えば、滑走路に液体（オイルや燃料）が存在していることや、滑走路に航空機の離陸または着陸の障害となる物体（部品や破片）が存在していること、滑走路の路面に凹部または凸部が存在していること、および滑走路に動物が存在していること等である。

【0023】

＜第１実施形態＞
［構成］
図１は、情報処理装置を含む情報処理システムの構成の一例を示す図である。情報処理システム１は、例えば、空港施設端末装置１０と、管制端末装置２０と、交通管理端末装置３０と、一以上の無人飛行体５０（５０−１〜５０−Ｎ）と、情報処理装置１００とを備える。これらの構成は、互いにネットワークＮＷ１またはＮＷ２を介して通信する。以下、ネットワークＮＷ１とＮＷ２とを区別しない場合は、「ネットワークＮＷ」と称する。ネットワークＮＷとは、ＷＡＮ（Wide Area Network）やＬＡＮ（Local Area Network）、インターネット、専用回線、無線基地局、プロバイダなどを含む。

【0024】

空港施設端末装置１０は、例えば、空港施設を管理する管理者が利用する端末装置である。空港施設端末装置１０は、表示部と操作部とを含む。表示部には、情報処理装置１００により提供された情報が表示される。表示部は、例えば、ＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electroluminescence）表示装置等である。操作部は、例えば、例えば、キーボードやマウス、タッチパネル等の入力デバイスである。

【0025】

管制端末装置２０は、例えば、管制官が利用する端末装置である。管制端末装置２０は、表示部と操作部とを含む。表示部には、情報処理装置１００により提供された情報が表示される。

【0026】

交通管理端末装置３０は、管轄地域内の各空港から離陸する航空機、または各空港に着陸する航空機の交通状態を監視する係員によって利用される端末装置である。交通管理端末装置３０は、交通状態を監視する係員の操作に基づいて、航空機や空港に対して、航空機の離陸や着陸等に関する指示を出力する。例えば、上記の係員は、情報処理装置１００から特定事象に関する情報（特定事象の種別や位置、大きさなど）を取得した場合、航空機の離陸または着陸のスケジュールを調整する。そして、係員は、上記の調整結果を航空施設端末装置１０や管制端末装置２０、不図示の航空機などに、交通管理端末装置３０を用いて送信する。

【0027】

［無人飛行体］
図２は、無人飛行体５０の機能構成の一例を示す図である。無人飛行体５０は、例えば、撮像部５２と、センサ５４と、蓄電池５６と、通信部５８と、駆動部６０と、位置特定部６２と、制御部６４と、記憶部７０とを備える。記憶部７０には、飛行プログラム７２が記憶されている。飛行プログラム７２は、情報処理装置１００から所定の動作指示を受信した場合に実行されるプログラムである（詳細は後述）。

【0028】

撮像部５２は、例えば、ＣＣＤ（Charge Coupled Device）センサや、ＣＭＯＳ(Complementary metal-oxide-semiconductor)などの固体撮像素子を利用したカメラである。撮像部５２は、自装置の周辺を撮像であって、例えば、上空から空港の滑走路を撮像する。

【0029】

センサ５４は、例えば、高度センサや、ジャイロセンサ等である。高度センサは、無人飛行体５０の高度を算出する。ジャイロセンサは、無人飛行体５０の機体の姿勢を導出する。

【0030】

蓄電池５６は、例えば、リチウムイオン電池などの二次電池である。蓄電池５６は、無人飛行体５０に着脱可能に搭載される。蓄電池５６は、無人飛行体５０の各部に電力を供給する。

【0031】

通信部５８は、情報処理装置１００と通信する。なお、通信部５８は、ネットワークＮＷを介さずに、無線通信を利用して、直接、情報処理装置１００と通信してもよい。駆動部６０は、例えば、複数の回転体（回転翼）、および回転体を駆動させる駆動部を含む。

【0032】

例えば、位置特定部６２は、ＧＰＳ（Global Positioning System）受信機を備える。位置特定部６２は、ＧＰＳ受信機により測位された位置情報に基づいて、無人飛行体５０の位置を特定する。

【0033】

制御部６４は、例えば、飛行プログラム７２が実行されることにより実現される。制御部６４は、例えば、無人飛行体５０の各部を制御し、無人飛行体５０の姿勢や飛行位置、飛行高度等を制御すると共に撮像部５２に滑走路を撮像させる。制御部６４は、例えば、予め定められた設定領域内において飛行体５０を飛行させ、その設定領域内の滑走路を上空から撮像部５２に撮像させる。また、制御部６４は、飛行体の識別情報、撮像部５２に撮像させた画像、自装置の位置情報、および高度情報を対応付けた情報を、通信部５８を用いて、情報処理装置１００に送信する。

【0034】

［情報処理装置］
図３は、情報処理装置１００の機能構成の一例を示す図である。情報処理装置１００は、例えば、通信部１０２と、指示部１０４と、画像取得部１０６、特定部１０８と、提供部１１０と、学習部１１２と、記憶部１２０とを備える。画像取得部１０６、特定部１０８、提供部１１０、および学習部１１２は、ＣＰＵ（Central Processing Unit）等のプロセッサが記憶装置に格納されたプログラムを実行することで機能するソフトウェア機能部である。なお、これらのソフトウェア機能部のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）等のハードウェア機能部であってもよい。記憶部１２０は、ＨＤＤ(Hard Disc Drive）やフラッシュメモリ、ＲＡＭ（Random Access Memory）等により実現される。記憶部１２０には、入力された画像に基づいて滑走路において発生している特定事象に関する情報を出力する学習済モデル１２２や、特定事象情報１２４、学習データ１３０、通知先アドレス情報１３２が記憶されている。これらの情報の詳細については後述する。また、記憶部１２０に記憶された情報は、複数の記憶部に分散されて記憶されてもよい。

【0035】

通信部１０２は、他装置と通信するための通信モジュールである。通信部１０２は、空港施設端末装置１０、管制端末装置２０、交通管理端末装置３０、および無人飛行体５０と通信する。

【0036】

指示部１０４は、指示信号を取得した場合または所定の時刻に到達した場合に、撮像部を備える移動体（例えば無人飛行体５０）に所定の動作指示を出力する。

【0037】

画像取得部１０６は、動作指示に応じて移動体により撮像された、航空機が離陸または着陸する滑走路の画像を取得する。

【0038】

特定部１０８は、画像取得部１０６により取得された画像に基づいて、滑走路において発生している特定事象の種別を特定する。特定部１０８は、例えば、記憶部１２０に記憶された、画像を入力すると画像における特定事象の種別を出力する学習済モデル１２２を用いて、特定事象の種別を特定する。提供部１１０は、特定部１０８により特定された特定事象に関する情報や、画像取得部により取得された画像、これらを互いに対応付けた情報を空港施設端末装置１０や、管制端末装置２０、交通管理端末装置３０などの端末装置に通信部１０２を用いて提供する。提供部１１０は、例えば、特定部１０８により特定された特定事象に関する情報等を、特定部１０８により特定された特定事象に応じて定められた通知先の端末装置に提供する。

【0039】

［フローチャート］
図４は、情報処理システム１により実行される処理の流れの一例を示すフローチャートである。まず、情報処理装置５０の指示部１０４が、指示信号を取得したか否かを判定する（ステップＳ１００）。なお、指示信号を取得したか否か判定することに代えて（或いは加えて）、所定の時刻に到達したか否かが判定されてもよい。

【0040】

指示信号は、例えば、滑走路の異常を検知した航空管制官などが行う通報に基づいて出力される信号であって、この信号は、管制官が管制端末装置２０の操作、または通報を受けた係員が情報処理装置１００の操作部を操作することで出力される信号である。なお、上記通報は、航空管制官や、パイロット、運航管理者が主に行うが、空港内に存在する一般利用者や、空港外に存在する一般者等によって行われるものであってもよい。

【0041】

指示信号を取得した場合、指示部１０４が、無人飛行体５０に飛行の開始を指示する（ステップＳ１０２）。無人飛行体５０は、飛行の開始の指示を取得すると、設定領域を飛行し、滑走路を撮像する（ステップＳ２００）。無人飛行体５０は、自機の識別情報と、撮像した画像と、位置情報と、高度情報とを互いに対応付けた情報を情報処理装置５０に送信する（ステップＳ２０２）。

【0042】

次に、無人飛行体５０は、設定領域を撮像したか否かを判定する（ステップＳ２０４）。設定領域を撮像していない場合、ステップＳ２００の処理に戻り、設定領域を撮像した場合、無人飛行体５０は、情報処理装置１００から待機位置に戻ることの指示を取得したか否かを判定し（ステップＳ２０６）、指示を取得した場合、待機位置に戻る。

【0043】

ここで、図５、図６を参照して、無人飛行体５０が、動作する様子について説明する。図５および図６は、滑走路Ｒを上空から観た図である。図５は、無人飛行体５０−１〜５０−５が待機位置ＳＰで待機している状態の一例を示す図である。待機位置ＳＰは、着陸帯ＬＳ内の所定の領域に設定される。

【0044】

図６は、無人飛行体５０が、情報処理装置５０の指示に応じて、滑走路Ｒを撮像する様子の一例を示す図である。例えば、無人飛行体５０−１〜５０−５は、それぞれ滑走路Ｒの設定領域Ｒ−１〜Ｒ−５を撮像する。以下、無人飛行体５０−１〜５０−５を区別しない場合は「無人飛行体５０」と称し、設定領域Ｒ−１〜Ｒ−５を区別しない場合は「設定領域Ｒ」と称する。無人飛行体５０は、設定領域Ｒを含む１枚の画像を撮像してもよいし、設定領域Ｒを分割した分割領域ごとに画像を撮像してもよい。以下の説明では、例えば、無人飛行体５０は、設定領域Ｒを含む１枚の画像を撮像するものとする。

【0045】

図４のフローチャートの説明に戻る。情報処理装置１００の画像取得部１０６は、無人飛行体５０の識別情報、無人飛行体５０により取得された画像、および位置情報が対応付けられた情報を取得し、取得した画像を識別情報に応じた学習済モデル１２２に入力する（ステップＳ１０４）。無人飛行体５０の識別情報は、画像に付随する情報または移動体から発信された情報の一例である。

【0046】

次に、特定部１０８は、学習済モデル１２２が出力した結果と、特定事象情報１２４とに基づいて、滑走路における特定事象に関する情報を取得し（ステップＳ１０６）、特定事象の種別、位置および面積（特定事象に対応する空間の大きさ）を特定する（ステップＳ１０８）。

【0047】

ここで、特定事象を特定する処理について説明する。図７は、特定事象が特定される処理を概念的に示す図である。例えば、記憶部１２０には、識別情報（設定領域）に応じた複数の学習済モデル１２２が記憶されている。例えば、設定領域Ｒ１〜Ｒ５の滑走路を撮像する無人飛行体５０の識別情報に応じた複数の学習済モデル１２２が記憶されている。設定領域Ｒ１〜Ｒ５が撮像された画像のそれぞれが、設定領域Ｒ１〜Ｒ５用の学習済モデル１２２に入力される。そして、設定領域Ｒ１〜Ｒ５用の学習済モデル１２２は、それぞれ設定領域Ｒ１〜Ｒ５の特定事象のパターン、または特定事象が生じていないことを示す情報を出力する。なお、学習済モデル１２２が生成される処理については後述する。

【0048】

例えば、特定事象情報１２４において、特定事象のパターンに対して、特定対象の内容（種別）や、特定対象の色、特定対象の面積（大きさ）、特定対象が揮発性であるかを示す情報、特定対象が動いているかを示す情報等が対応付けられている。例えば、特定部１０８は、特定事象情報１２４を参照して、学習済モデル１２２が出力した結果であるパターンの識別情報に応じた特定事象に関する情報（種別や、色、動き、揮発性、面積等）を特定する。

【0049】

また、特定事象は、以下のように特定されてもよい。例えば、ステップＳ１０４〜Ｓ１０８において、以下の処理が行われてもよい。情報処理装置１００の画像取得部１０６は、無人飛行体５０の識別情報、無人飛行体５０により取得された画像、および位置情報が対応付けられた情報を取得する（ステップＳ１０４）。次に、特定部１０８は、取得した画像から特徴量を抽出し、抽出した特徴量と、特定事象テーブル１２５に含まれる特徴量とを比較して（ステップＳ１０６）、特定事象の種別や、特定対象の色、特定対象の面積（大きさ）、特定対象が揮発性であるかを示す情報、特定対象が動いているかを示す情報を特定する（ステップＳ１０８）。

【0050】

図８は、特定事象テーブル１２５の内容の一例を示す図である。特定事象テーブル１２５は、学習済モデル１２２および特定事象情報１２４に代えて（あるいは加えて）、記憶部１２０に記憶される情報である。特定事象テーブル１２５には、特定事象のパターンごとに、特定事象を特定するための特徴量が対応付けられている。特定事象を特定するための特徴量とは、画像から抽出される、色の情報（ＲＧＢ）、輝度の分布、エッジの分布、色の占める領域等である。また、特定事象テーブル１２５には、特定事象のパターンごとに、物体（所定の分布を有するエッジ）の移動の有無を示す情報が含まれる。

【0051】

特定部１０８は、例えば、画像から抽出した特徴量と、特定事象テーブル１２５の特定事象のパターンに対応付けられた特徴量との合致度を導出し、導出した複数の合致度を合計したスコアを導出する。例えば、特定部１０８は、色の情報の特徴量の合致度や、輝度の分布の特徴量の分布の合致度等を導出し、導出した合致度を合計したスコアを導出する。特定部１０８は、各特定事象のパターンに対応する合計のスコアのうち、最も大きい合計のスコアが導出された特定事象のパターンを特定し、特定した特定事象のパターンに応じた特定事象に関する情報（種別や、色、動き、揮発性、面積等）を特定する。また、特定部１０８は、特定事象に関する情報を特定する際に、複数の画像から物体の移動の有無を特定し、特定結果を加味してもよい。

【0052】

なお、特定部１０８は、学習済モデル１２２と特定事象テーブル１２５との双方を用いて、特定事象に関する情報を特定してもよい。例えば、特定部１０８は、学習済モデル１２２を用いて、特定事象の種別を特定し、特定事象テーブル１２５を用いて、特定事象の色や、動き、揮発性である、面積等を特定してもよい。

【0053】

図４の説明に戻る。次に、特定部１０８は、滑走路が撮像されたすべての画像を解析したか否かを判定する（ステップＳ１１０）。滑走路が撮像されたすべての画像を解析していない場合、ステップＳ１０４の処理に戻る。滑走路が撮像されたすべての画像を解析した場合、指示部１０４は、無人飛行体５０に待機位置に戻ることを指示する（ステップＳ１１２）。なお、特定事象の種別が動いているものである場合、指示部１０４は、無人飛行体５０に待機位置に戻る指示をせずに、設定領域の画像を送信することを継続することを依頼してもよい。これにより、物体が移動した場合であっても物体の位置を特定することができる。

【0054】

次に、提供部１１０が、ステップＳ１０８の特定結果に応じた情報を生成し（ステップＳ１１４）、生成した情報（例えば後述する図９の画像ＩＭを表示させるための情報）を各端末装置に送信する（ステップＳ１１６）。例えば、提供部１１０は、記憶部１２０に記憶された通知先アドレス情報１３２を参照して、通知先の端末装置を決定し、決定した端末装置に生成した情報を送信する。通知先アドレス情報１３２は、特定事象の種別と、一以上の通知先に関する情報とが互いに対応付けられた情報である。通知先に関する情報とは、例えばＩＰアドレスなどの通知先が特定可能な情報である。例えば、特定事象の種別に対応付けられた連絡先の端末装置は、その特定事象を処理するのに適した係員、またはその特定事象の存在を把握する必要である係員が管理する端末装置である。このように、特定事象の種別に応じて、適切な端末装置に通知がされる。これにより、本フローチャートの１ルーチンの処理は終了する。

【0055】

なお、上述したフローチャートでは、学習済モデル１２２は、無人飛行体５０の識別情報ごとに生成されているものとして説明したが、これに代えて、無人飛行体５０が撮像した画像の位置情報ごとに生成されるものであってもよい。無人飛行体５０の位置情報は、画像に付随する情報または移動体から発信された情報の他の一例である。

【0056】

図９は、各端末装置の表示部に表示される画像ＩＭの一例を示す図である。画像ＩＭには、例えば、特定事象が発生していることを示す情報や、発生している特定事象の種別を示す情報、特定事象が発生している位置情報（滑走路や設定領域）、無人飛行体５０により撮像された画像、特定事象の処理に必要な装備等である。図９の例では、滑走路Ｒの設定領域Ｒ−１に特定事象Ａが存在していること、特定事象Ａが発生している設定領域Ｒ−１の滑走路における位置を示す情報、および設定領域Ｒ−１が撮像された画像が画像ＩＭに含まれる。

【0057】

また、情報処理装置１００は、情報を提供した装置が存在する位置から特定事象が発生した設定領域までの最短経路の情報を、当該装置に提供してもよい。この場合、情報処理装置１００の記憶部１２０には、空港内の地図情報や最短経路に関する情報が記憶されている。

【0058】

上述したように、情報処理装置１００が、滑走路に存在する特定事象を特定し、特定された特定事象に関する情報が端末装置に提供することにより、特定事象の種別を迅速かつ容易に特定することができる。また、特定事象に関する情報を、関係者間で共有することができるため、空港の管理等をより適切に行うことができる。

【0059】

図１０は、比較例と本実施形態の情報処理システム１の処理が行われた場合の運用の一例を示す図である。図１０の（１）は比較例の運用の一例である。比較例では、事案が発生した場合、滑走路の運用が停止する。そして、係員は、車両でエプロンや誘導路を経由して事案が発生していると推定される現場に向かう。係員が現場に到着した場合、係員が特定事象の種別を特定する。特定事象の種別が特定されると、特定事象の種別に応じた人員が手配され、この人員が現場に向かい処理を行う。処理が完了すると、運用が再開される。

【0060】

図１０の（２）は本実施形態の情報処理システム１が利用される運用の一例である。事案が発生すると、無人飛行体５０が設定領域の画像を撮像する。情報処理装置１００が、撮像された画像を用いて特定事象の種別を特定する。このように、本実施形態では、特定事象の種別を迅速に特定し、特定結果に応じた人員の手配を迅速に行うことができる。この結果、比較例よりも迅速に特定事象を処理し、迅速に滑走路の運用を再開することができる。

【0061】

また、本実施形態では、比較例よりも特定事象の種別を迅速に特定することができるため、特定事象に対する処理を完了するまでの時間を早期に予測することができる。これにより、各航空機の運航状況や、滑走路の使用予定、空港内の係員などのスケジュール調整をより迅速に行うことができる。

【0062】

また、本実施形態では、特定事象の種別を迅速に特定することで、迅速に特定事象に対する処理を行うことができるため、滑走路の使用を停止した後に使用可能にする時間を早めることができる。これにより、航空機が上空で待機する時間を抑制することができる。この結果、航空機で消費される燃料を抑制させることができる。

【0063】

［学習済モデルを生成する処理］
学習部１１２は、学習データ１３０を用いて学習を行い、学習済モデル１２２を生成する。図１１は、学習データ１３０の内容の一例を示す図である。学習データ１３０は、例えば、所定のパターンの特定事象が発生していることが分かっている設定領域が撮像された画像（正例画像）、および特定事象が発生していないことが分かっている設定領域が撮像された画像（負例画像）である教師学習用のデータである。また、学習データ１３０の各画像には、特定事象のパターンを示すラベルが付与されている。

【0064】

なお、学習データ１３０は、滑走路付近の環境ごとの正例画像および負例画像と、各画像に対して付与されたラベルとを含むものであってもよい。例えば、雨の日、晴れの日、曇りの日などの天候ごとや、滑走路付近の明度ごとに正例画像、または負例画像が教師データとされてもよい。この場合、滑走路付近の環境が変化した場合であっても、精度よく特定事象を特定することができる学習済モデル１２２を生成することができる。

【0065】

上述したように、学習部１１２は、所定のパターンの特定事象が発生していることが分かっている設定領域が撮像された画像と、特定事象が発生していないことが分かっている設定領域が撮像された画像とを教師データとし、機械学習を行って画像を入力すると特定事象のパターンを出力する学習済モデル１２２を生成する。

【0066】

なお、上述した例では、設定領域ごとの複数の学習済モデル１２２を用いて、特定事象の種別や、大きさ、位置を特定するものとしたが、これに代えて、特定部１０８は、複数の学習済モデル１２２が統合された一以上の学習済モデル１２２を用いて、特定事象に関する情報を特定してもよい。

【0067】

以上説明した第１実施形態によれば、情報処理装置１００が、指示信号を取得した場合または所定の時刻に到達した場合に、移動体（例えば無人飛行体５０）に所定の動作指示を出力し、動作指示に応じて移動体により撮像された、航空機が離陸または着陸する滑走路の画像に基づいて特定された滑走路において発生している特定事象に関する情報を端末装置に提供することにより、特定事象の種別を迅速かつ容易に特定することができる。

【0068】

＜第２実施形態＞
第２実施形態について説明する。第２実施形態の情報処理装置１００は、特定部１０８が特定した特定事象に関する情報に基づいて、特定事象の処理に要する時間を推定する。以下、第１実施形態との相違点を中心に説明する。

【0069】

図１２は、第２実施形態の情報処理装置１００Ａの機能構成の一例を示す図である。情報処理装置１００Ａは、第１実施形態の機能構成に加え、更に推定部１０９を備える。また、情報処理装置１００Ａは、第１実施形態の記憶部１２０に代えて、記憶部１２０Ａを備える。記憶部１２０Ａには、記憶部１２０に記憶された情報に加え、更に推定パラメータ情報１２６（詳細は後述）が記憶されている。

【0070】

推定部１０９は、特定部１０８が特定した特定事象に関する情報と、推定パラメータ情報１２６とに基づいて、特定事象の処理に要する時間を推定する。

【0071】

図１３は、第２実施形態の情報処理装置１００Ａにより実行される処理の流れの一例を示すフローチャートである。まず、推定部１０９が、特定部１０８によって特定された特定事象のパターンから特定事象の位置、面積、種別を特定する（ステップＳ２００〜Ｓ２０４）。

【0072】

次に、推定部１０９は、推定パラメータ情報１２６を参照し、不図示の情報提供装置等から取得した天候の情報に対応する係数、特定した特定事象の種別の係数（または数）、特定した特定事象の位置の係数、種別ごとの目安時間／（例えばｍ^２）の係数、および特定事象の面積を取得し、取得した情報を用いた演算処理を行って特定事象の処理に要する時間、および運用を再開できる時刻を算出する（ステップＳ２０６）。例えば、推定部１０９は、それぞれの係数と、面積とを加算や乗算等して特定事象の処理に要する時間等を推定する。なお、上記係数に代えて、取得した情報（例えば、目安時間）そのものを用いてもよい。また、推定部１０９は、複数の特定事象が発生している場合、それらの特定事象のそれぞれに対して演算処理を行い、演算処理の結果を統合して、特定事象の処理に要する時間、および運用を再開できる時刻を算出する。

【0073】

図１４は、推定パラメータ情報１２６の内容の一例を示す図である。推定パラメータ情報１２６には、例えば、パラメータ情報１〜４を含む。パラメータ情報１は、例えば、特定事象の種別と種別に応じた係数（係数１）とが互いに対応付けられた情報であり、パラメータ情報２は、種別ごとの目安時間／（例えばｍ^２）と目安時間に応じた係数（係数２）とが互いに対応付けられた情報である。パラメータ情報３は、天候と天候に応じた係数（係数３）とが互いに対応付けられた情報であり、パラメータ情報４は、位置と位置に応じた係数（係数４）とが互いに対応付けられた情報である。

【0074】

また、推定部１０９は、ステップＳ２０６の特定事象の処理に要する時間、および運用を再開できる時刻を算出する際に、特定事象の種別や、特定事象のパターン（種別や面積など）に対応付けられた要員機材情報に基づいて、処理に要する時間、および再開できる時刻を算出してもよい。要因機材情報とは、所定の特定事象の種別やパターンを処理するのに必要な人員や必要な機材の情報および、それらの数である。例えば、推定部１０９は、必要な人員、機材、それらの数と、予め設定された関数やアルゴリズムとに基づいて、処理に要する時間、および再開できる時刻を推定する。例えば、推定部１０９は、必要な人員や必要な機材の数が多いほど、または必要な機材が大きいほど、処理に要する時間を長く推定したり、再開できる時刻を遅い時刻に推定したりする。なお、推定結果は天候により補正されてもよい。例えば、雨や雪など天候が良くない場合は、処理に要する時間は長くなるように補正される。

【0075】

次に、提供部１１０が、推定部１０９の推定結果を、特定事象を処理する回収部署に通知し（ステップＳ２０８）、更に関連部署に通知する（ステップＳ２１０）。関連部署とは、例えば交通管理端末装置３０や、交通管理端末装置３０を管理する管理者である。これにより本フローチャートの１ルーチンの処理は終了する。

【0076】

例えば、特定事象が発生した滑走路を使用ができない場合があり、その滑走路から離陸する予定の航空機は地上で待機し、その滑走路に着陸する予定の航空機は上空で待機する場合がある。そして、１台の航空機の離陸や着陸の予定が変更されると、他の航空機の運行スケジュールに影響が生じる場合がある。この場合、例えば、交通管理端末装置３０は、各空港から離陸する航空機、または各空港に着陸する航空機の交通が円滑に行われるようにスケジュールを調整する必要がある。

【0077】

本実施形態では、情報処理装置１００が、特定事象の処理に要する時間を推定し、推定結果を上記の交通管理端末装置３０等に提供する。これにより、交通管理端末装置３０、または交通管理端末装置３０を管理する管理者が、より迅速に特定事象が発生した滑走路の使用が再開できる時間や、その滑走路から航空機を離陸させたり、その滑走路に航空機を着陸させたりする時刻を推定し、推定結果に基づいて、各航空機のスケジュールを調整することができる。このように、情報処理装置１００が、特定事象の処理に要する時間を推定することで、航空機の交通を円滑化に寄与することができる。また、迅速にスケジュールが調整されることにより、空港内の係員（グランドスタッフ）などの配置やスケジュールを迅速に調整することができる。

【0078】

以上説明した第２実施形態によれば、推定部１０９が、特定部１０８の特定結果に基づいて、特定事象を処理するまでの時間を推定することにより、航空機の交通を円滑化することができる。

【0079】

また、本実施形態では、移動体が滑走路の情報を取得するため、空港の係員等が滑走路を点検することが好ましくない状況（例えば地震発生時）などにおいても、より安全性を向上させつつ、滑走路の状態を認識することができる。

【0080】

また、本実施形態の処理を、滑走路の雪氷の分布、雪質、雪厚を特定するのに適用してもよい。この場合、例えば、画像を入力すると、雪氷の分布、雪質、および雪厚が規定されたパターンの情報を出力する学習済モデル１２２が用いられる。学習済モデル１２２は、雪氷の分布、雪質、および雪厚が規定されたパターンを示すラベルと、パターンに対応する画像とが対応付けられた学習データが、機械学習されることによって生成される。

【0081】

また、情報処理装置１００は、雪氷の分布、雪質、および雪厚のパターンが所定のパターンである場合（例えば凍結が予測される場合）、無人飛行体５０に凍結防止剤を散布させてもよい。

【0082】

以上説明した実施形態によれば、情報処理装置１００が、指示信号を取得した場合または所定の時刻に到達した場合に、撮像部５２を備える移動体（例えば無人飛行体５０）に所定の動作指示を出力する指示部１０４と、前記動作指示に応じて前記移動体５０により撮像された、航空機が離陸または着陸する滑走路の画像を取得する画像取得部１０６と、前記画像取得部１０６により取得された画像に基づいて、前記滑走路において発生している特定事象の種別を特定する特定部１０８と、前記特定部１０８により特定された特定事象の種別に関する情報を、前記特定部１０８により特定された特定事象に応じて定められた通知先端末装置（１０、２０、３０）に提供する提供部１１０とを備えることにより、特定事象の種別を迅速かつ容易に特定することができる。

【0083】

以上、本発明の一実施形態について説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

【符号の説明】

【0084】

１…情報処理システム、１０…空港施設端末装置、２０…管制端末装置、３０…交通管理端末装置、５０…無人飛行体、５２…撮像部、１００、１００Ａ…情報処理装置、１０２…通信部、１０４…指示部、１０６…画像取得部、１０８…特定部、１０９…推定部、１１０…提供部、１１２…学習部、１２０、１２０Ａ…記憶部、１２２…学習済モデル、１２４…特定事象情報、１３０…学習データ、１３２‥通知アドレス情報

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】