IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 楽天株式会社の特許一覧

特許7095046情報処理システム、情報処理装置、及び情報処理方法
<>
  • 特許-情報処理システム、情報処理装置、及び情報処理方法 図1
  • 特許-情報処理システム、情報処理装置、及び情報処理方法 図2
  • 特許-情報処理システム、情報処理装置、及び情報処理方法 図3
  • 特許-情報処理システム、情報処理装置、及び情報処理方法 図4
  • 特許-情報処理システム、情報処理装置、及び情報処理方法 図5
  • 特許-情報処理システム、情報処理装置、及び情報処理方法 図6
  • 特許-情報処理システム、情報処理装置、及び情報処理方法 図7
  • 特許-情報処理システム、情報処理装置、及び情報処理方法 図8
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-06-24
(45)【発行日】2022-07-04
(54)【発明の名称】情報処理システム、情報処理装置、及び情報処理方法
(51)【国際特許分類】
   G09B 29/00 20060101AFI20220627BHJP
   G08B 21/10 20060101ALI20220627BHJP
   G08B 25/04 20060101ALI20220627BHJP
【FI】
G09B29/00 F
G08B21/10
G08B25/04 K
【請求項の数】 13
(21)【出願番号】P 2020164443
(22)【出願日】2020-09-30
(65)【公開番号】P2022056603
(43)【公開日】2022-04-11
【審査請求日】2020-10-06
(73)【特許権者】
【識別番号】399037405
【氏名又は名称】楽天グループ株式会社
(74)【代理人】
【識別番号】110000958
【氏名又は名称】特許業務法人 インテクト国際特許事務所
(74)【代理人】
【識別番号】100120189
【弁理士】
【氏名又は名称】奥 和幸
(74)【代理人】
【識別番号】100135518
【弁理士】
【氏名又は名称】青木 隆
(72)【発明者】
【氏名】田中 大貴
(72)【発明者】
【氏名】田爪 敏明
(72)【発明者】
【氏名】井沼 孝慈
【審査官】早川 貴之
(56)【参考文献】
【文献】米国特許出願公開第2017/0124843(US,A1)
【文献】特開2019-066519(JP,A)
【文献】特開2018-203042(JP,A)
【文献】米国特許出願公開第2019/0313230(US,A1)
【文献】特表2008-513779(JP,A)
【文献】田中 陽菜,大災害にAIで備える損保4社の保険金DX,日経コンピュータ no.1026 NIKKEI COMPUTER,日本,日経BP Nikkei Business Publications,Inc.,2020年10月01日,92-95頁
(58)【調査した分野】(Int.Cl.,DB名)
G08B 19/00-31/00
G09B 29/00-29/14
G01C 21/00-21/36、23/00-25/00
(57)【特許請求の範囲】
【請求項1】
特定の地域を飛行する飛行体が上空から下方をセンシングすることにより得られたセンシングデータを取得するセンシングデータ取得部と、
前記特定の地域において水害が発生する前における前記特定の地域の第1のマップを取得するマップ取得部と、
前記センシングデータ取得部により取得されたセンシングデータに基づいて、前記水害が発生している時における前記特定の地域の第2のマップを作成するマップ作成部と、
前記第1のマップと前記第2のマップとを比較することで前記特定の地域において水害が発生している水害領域を特定する水害領域特定部と、
を備えることを特徴とする情報処理システム。
【請求項2】
前記第1及び前記第2のマップは、それぞれ3次元マップであり、
前記第1のマップに表れる物体と前記第2のマップに表れる当該物体との高さを比較することで当該物体の周辺の水深を特定する水深特定部を更に備えることを請求項1に記載の情報処理システム。
【請求項3】
特定の地域を飛行する飛行体が上空から下方をセンシングすることにより得られたセンシングデータを取得するセンシングデータ取得部と、
前記センシングデータ取得部により取得されたセンシングデータに基づいて、前記特定の地域において水害が発生している水害領域を特定する水害領域特定部と、
前記水害領域特定部により特定された水害領域から水面を特定する水面特定部と、
前記水面特定部により特定された水面の広さと当該水面からの深さとの少なくとも何れか一方に基づいて、前記水害領域において要救助者を救助するための移動体が移動可能な移動可能領域を特定する移動可能領域特定部と、
を備えることを特徴とする情報処理システム。
【請求項4】
前記水害領域における前記要救助者の位置を特定する要救助者特定部と、
前記移動可能領域特定部により特定された移動可能領域と、前記要救助者の位置に基づいて、前記移動体の位置から前記要救助者の位置までの救助ルートを生成する救助ルート生成部と、
を更に備えることを特徴とする請求項に記載の情報処理システム。
【請求項5】
前記救助ルート生成部は、前記移動可能領域における水の流れの方向と当該流れの速さとの少なくとも何れか一方に基づいて、前記救助ルートを生成することを特徴とする請求項に記載の情報処理システム。
【請求項6】
前記救助ルート生成部は、複数の前記救助ルートを生成するものであって、それぞれの救助ルートに対して互いに異なる推奨ランクを付与することを特徴とする請求項に記載の情報処理システム。
【請求項7】
前記それぞれの救助ルート、及び当該それぞれの救助ルートに付与された推奨ランクを、前記移動体により救助に向かう救助者に通知する通知部を更に備えることを特徴とする請求項6に記載の情報処理システム。
【請求項8】
前記救助ルート生成部は、さらに前記移動体のサイズに基づいて、前記救助ルートを生成することを特徴とする請求項5乃至7の何れか一項に記載の情報処理システム。
【請求項9】
任意の地域を飛行する飛行体が上空から下方をセンシングすることにより得られたセンシングデータを入力とし、前記任意の地域において水害が発生している領域として特定された水害領域を出力としたトレーニングデータにより学習された学習済みモデルを取得する学習済みモデル取得部を更に備え、
前記水害領域特定部は、前記センシングデータ取得部により取得されたセンシングデータを前記学習済みモデルに入力することで当該学習済みモデルから出力された前記水害領域を特定することを特徴とする請求項1乃至の何れか一項に記載の情報処理システム。
【請求項10】
特定の地域を飛行する飛行体が上空から下方をセンシングすることにより得られたセンシングデータを取得するセンシングデータ取得部と、
前記特定の地域において水害が発生する前における前記特定の地域の第1のマップを取得するマップ取得部と、
前記センシングデータ取得部により取得されたセンシングデータに基づいて、前記水害が発生している時における前記特定の地域の第2のマップを作成するマップ作成部と、
前記第1のマップと前記第2のマップとを比較することで前記特定の地域において水害が発生している水害領域を特定する水害領域特定部と、
を備えることを特徴とする情報処理装置。
【請求項11】
特定の地域を飛行する飛行体が上空から下方をセンシングすることにより得られたセンシングデータを取得するセンシングデータ取得部と、
前記センシングデータ取得部により取得されたセンシングデータに基づいて、前記特定の地域において水害が発生している水害領域を特定する水害領域特定部と、
前記水害領域特定部により特定された水害領域から水面を特定する水面特定部と、
前記水面特定部により特定された水面の広さと当該水面からの深さとの少なくとも何れか一方に基づいて、前記水害領域において要救助者を救助するための移動体が移動可能な移動可能領域を特定する移動可能領域特定部と、
を備えることを特徴とする情報処理装置。
【請求項12】
1または複数のコンピュータにより実行される水害領域特定方法であって、
特定の地域を飛行する飛行体が上空から下方をセンシングすることにより得られたセンシングデータを取得するステップと、
前記特定の地域において水害が発生する前における前記特定の地域の第1のマップを取得するステップと、
前記取得されたセンシングデータに基づいて、前記水害が発生している時における前記特定の地域の第2のマップを作成するステップと、
前記第1のマップと前記第2のマップとを比較することで前記特定の地域において水害が発生している水害領域を特定するステップと、
含むことを特徴とする情報処理方法。
【請求項13】
1または複数のコンピュータにより実行される水害領域特定方法であって、
特定の地域を飛行する飛行体が上空から下方をセンシングすることにより得られたセンシングデータを取得するステップと、
前記取得されたセンシングデータに基づいて、前記特定の地域において水害が発生している水害領域を特定するステップと、
前記特定された水害領域から水面を特定するステップと、
前記特定された水面の広さと当該水面からの深さとの少なくとも何れか一方に基づいて、前記水害領域において要救助者を救助するための移動体が移動可能な移動可能領域を特定するステップと、
を含むことを特徴とする情報処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、水害が発生した水害領域を特定するシステム等の技術分野に関する。
【背景技術】
【0002】
自然災害の発生時は、土砂崩れやがれき等により道が塞がれていることが想定され、通常のルートで救助活動を行うことが難しい。そのため、無人移動機を用いて事前に災害現場の道路情報や、倒壊した建物の分布状況を確認することで、より効率的に要救助者の元に向かうことができる。特許文献1には、複数のロボットを災害現場に投下し、当該ロボットが着地した地点から路面状況を初め、周囲の環境を撮影する技術が開示されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2006-338081号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献1のように、ロボットを投下して周囲の環境を撮影する技術では、特に広い範囲にわたって発生した水害により道路等が水没している場合には、その水害領域を迅速に特定することは困難であった。
【0005】
そこで、本発明は、迅速に水害領域を特定することが可能な情報処理システム、情報処理装置、及び情報処理方法を提供することを課題の一つとする。
【課題を解決するための手段】
【0006】
上記課題を解決するために、請求項1に記載の発明は、特定の地域を飛行する飛行体が上空から下方をセンシングすることにより得られたセンシングデータを取得するセンシングデータ取得部と、前記特定の地域において水害が発生する前における前記特定の地域の第1のマップを取得するマップ取得部と、前記センシングデータ取得部により取得されたセンシングデータに基づいて、前記水害が発生している時における前記特定の地域の第2のマップを作成するマップ作成部と、前記第1のマップと前記第2のマップとを比較することで前記特定の地域において水害が発生している水害領域を特定する水害領域特定部と、を備えることを特徴とする。これにより、広い範囲にわたる水害領域を迅速かつ精度良く特定することができる。
【0008】
請求項に記載の発明は、請求項1に記載の情報処理システムにおいて、前記第1及び前記第2のマップは、それぞれ3次元マップであり、前記第1のマップに表れる物体と前記第2のマップに表れる当該物体との高さを比較することで当該物体の周辺の水深を特定する水深特定部を更に備えることを特徴とする。これにより、水害領域における水深を精度良く特定することができる。
【0011】
請求項に記載の発明は、特定の地域を飛行する飛行体が上空から下方をセンシングすることにより得られたセンシングデータを取得するセンシングデータ取得部と、前記センシングデータ取得部により取得されたセンシングデータに基づいて、前記特定の地域において水害が発生している水害領域を特定する水害領域特定部と、前記水害領域特定部により特定された水害領域から水面を特定する水面特定部と、前記水面特定部により特定された水面の広さと当該水面からの深さとの少なくとも何れか一方に基づいて、前記水害領域において要救助者を救助するための移動体が移動可能な移動可能領域を特定する移動可能領域特定部と、を備えることを特徴とする。
【0012】
請求項に記載の発明は、請求項に記載の情報処理システムにおいて、前記水害領域における前記要救助者の位置を特定する要救助者特定部と、前記移動可能領域特定部により特定された移動可能領域と、前記要救助者の位置に基づいて、前記移動体の位置から前記要救助者の位置までの救助ルートを生成する救助ルート生成部と、を更に備えることを特徴とする。これにより、要救助者を救助するための適切な救助ルートを生成することができる。
【0013】
請求項に記載の発明は、請求項に記載の情報処理システムにおいて、前記救助ルート生成部は、前記移動可能領域における水の流れの方向と当該流れの速さとの少なくとも何れか一方に基づいて、前記救助ルートを生成することを特徴とする。これにより、移動体がスムーズに進行することが可能な救助ルートを生成することができる。
【0014】
請求項に記載の発明は、請求項に記載の情報処理システムにおいて、前記救助ルート生成部は、複数の前記救助ルートを生成するものであって、それぞれの救助ルートに対して互いに異なる推奨ランクを付与することを特徴とする。これにより、救助者が複数の救助ルートの中から何れかの救助ルートを選択する上で効果的な支援を行うことができる。
【0015】
請求項に記載の発明は、請求項6に記載の情報処理システムにおいて、前記それぞれの救助ルート、及び当該それぞれの救助ルートに付与された推奨ランクを、前記移動体により救助に向かう救助者に通知する通知部を更に備えることを特徴とする。請求項8に記載の発明は、請求項5乃至7の何れか一項に記載の情報処理システムにおいて、前記救助ルート生成部は、さらに前記移動体のサイズに基づいて、前記救助ルートを生成することを特徴とする。これにより、移動体のサイズに合った救助ルートを生成することができる。請求項9に記載の発明は、請求項1乃至8の何れか一項に記載の情報処理システムにおいて、任意の地域を飛行する飛行体が上空から下方をセンシングすることにより得られたセンシングデータを入力とし、前記任意の地域において水害が発生している領域として特定された水害領域を出力としたトレーニングデータにより学習された学習済みモデルを取得する学習済みモデル取得部を更に備え、前記水害領域特定部は、前記センシングデータ取得部により取得されたセンシングデータを前記学習済みモデルに入力することで当該学習済みモデルから出力された前記水害領域を特定することを特徴とする。これにより、広い範囲にわたる水害領域を精度良く特定することができる。
【0016】
請求項10に記載の発明は、特定の地域を飛行する飛行体が上空から下方をセンシングすることにより得られたセンシングデータを取得するセンシングデータ取得部と、前記特定の地域において水害が発生する前における前記特定の地域の第1のマップを取得するマップ取得部と、前記センシングデータ取得部により取得されたセンシングデータに基づいて、前記水害が発生している時における前記特定の地域の第2のマップを作成するマップ作成部と、前記第1のマップと前記第2のマップとを比較することで前記特定の地域において水害が発生している水害領域を特定する水害領域特定部と、を備えることを特徴とする。請求項11に記載の発明は、特定の地域を飛行する飛行体が上空から下方をセンシングすることにより得られたセンシングデータを取得するセンシングデータ取得部と、前記センシングデータ取得部により取得されたセンシングデータに基づいて、前記特定の地域において水害が発生している水害領域を特定する水害領域特定部と、前記水害領域特定部により特定された水害領域から水面を特定する水面特定部と、前記水面特定部により特定された水面の広さと当該水面からの深さとの少なくとも何れか一方に基づいて、前記水害領域において要救助者を救助するための移動体が移動可能な移動可能領域を特定する移動可能領域特定部と、を備えることを特徴とする。
【0017】
請求項12に記載の発明は、1または複数のコンピュータにより実行される水害領域特定方法であって、特定の地域を飛行する飛行体が上空から下方をセンシングすることにより得られたセンシングデータを取得するステップと、前記特定の地域において水害が発生する前における前記特定の地域の第1のマップを取得するステップと、前記取得されたセンシングデータに基づいて、前記水害が発生している時における前記特定の地域の第2のマップを作成するステップと、前記第1のマップと前記第2のマップとを比較することで前記特定の地域において水害が発生している水害領域を特定するステップと、を含むことを特徴とする。請求項13に記載の発明は、1または複数のコンピュータにより実行される水害領域特定方法であって、特定の地域を飛行する飛行体が上空から下方をセンシングすることにより得られたセンシングデータを取得するステップと、前記取得されたセンシングデータに基づいて、前記特定の地域において水害が発生している水害領域を特定するステップと、前記特定された水害領域から水面を特定するステップと、前記特定された水面の広さと当該水面からの深さとの少なくとも何れか一方に基づいて、前記水害領域において要救助者を救助するための移動体が移動可能な移動可能領域を特定するステップと、を含むことを特徴とする。
【発明の効果】
【0018】
本発明によれば、広い範囲にわたる水害領域を迅速に特定することができる。
【図面の簡単な説明】
【0019】
図1】情報処理システムSの概要構成例を示す図である。
図2】UAV1の概要構成例を示す図である。
図3】制御部15における機能ブロック例を示す図である。
図4】管理サーバ2の概要構成例を示す図である。
図5】制御部23における機能ブロック例を示す図である。
図6】水害発生前マップに表れる建物と水害発生中マップに表れる当該建物との高さの比較例を示す図である。
図7】水害領域における救助ルートの例を示す図である。
図8】水害が発生している際における制御部23の処理の一例を示すフローチャートである。
【発明を実施するための形態】
【0020】
以下、図面を参照して本発明の一実施形態について説明する。
【0021】
1.情報処理システムSの構成
先ず、図1を参照して、本発明の一実施形態に係る情報処理システムSの構成について説明する。図1は、情報処理システムSの概要構成例を示す図である。図1に示すように、情報処理システムSは、無人航空機(以下、「UAV(Unmanned Aerial Vehicle)」と称する)1、管理サーバ2(情報処理装置の一例)、及び通信機器3を含んで構成される。UAV1、管理サーバ2、及び通信機器3は、通信ネットワークNWを介して互いに通信可能になっている。通信ネットワークNWは、例えば、インターネット、移動体通信ネットワーク及びその無線基地局等から構成される。
【0022】
UAV1は、無人で飛行可能な飛行体(航空機)の一例であり、ドローン、またはマルチコプタとも呼ばれる。UAV1は、水害(水災)が発生している水害領域を含む特定の地域を、オペレータによる遠隔操縦に従って飛行、または自律的に飛行する。ここで、水害は、一般に、内水氾濫または外水氾濫により発生する。水害には、例えば、豪雨時や台風時の洪水、土砂崩れ、河川の決壊、市街地の道路の冠水などが含まれる。UAV1は、GCS(Ground Control Station)により管理される。GCSは、例えば、アプリケーションとしてオペレータにより操作される操縦端末に搭載されてもよいし、管理サーバ2などのサーバにより構成されてもよい。なお、図1の例では、1つのUGV1を示しているが、複数のUGV1が存在してもよい。
【0023】
管理サーバ2は、水害に関する情報を管理するサーバである。通信機器3は、水害領域における要救助者(被災者)の救助に向かう救助者により所持され、当該救助者に対して水害に関する情報を通知する機器である。救助者は、徒歩で要救助者の救助に向かう場合もあるし、水上を移動可能な救助用ボートに乗って救助に向かう場合もある。救助者及び救助用ボートは、それぞれ、移動体の一例である。移動体の他の例として、救助用UGV(Unmanned Ground Vehicle)が挙げられる。救助用UGVは、救援物資を載せて無人で自律的に陸上(浅瀬を含む)を移動可能な移動体である。救助用UGVは、管理サーバ2との間で通信ネットワークNWを介して通信可能になっている。なお、救助用UGVは、車輪を有する車両であってもよいし、車輪の有しないロボット(例えば、2足歩行ロボット)であってもよい。
【0024】
1-1.UAV1の構成及び機能
次に、図2及び図3を参照して、UAV1の構成及び機能について説明する。図2は、UAV1の概要構成例を示す図である。図2に示すように、UAV1は、駆動部11、無線通信部12、センサ部13、測位部14、及び制御部15等を備える。なお、図示しないが、UAV1は、水平回転翼であるロータ(プロペラ)、及びUAV1の各部へ電力を供給するバッテリを備える。駆動部11は、モータ及び回転軸等を備える。駆動部11は、制御部15から出力された制御信号に従って駆動するモータ及び回転軸等により複数のロータを回転させる。無線通信部12は、通信ネットワークNWを介して管理サーバ2との間で行われる通信の制御を担う。
【0025】
センサ部13は、UAV1の飛行制御のために必要な各種センサを備える。各種センサには、光学センサ、3軸角速度センサ、3軸加速度センサ、及び地磁気センサ等が含まれる。センサ部13により検出された検出データは、制御部15へ出力される。また、光学センサは、例えばカメラ(2次元または3次元カメラ)やLiDAR(Light Detection and Ranging、或いはLaser Imaging Detection and Ranging)により構成され、特定の地域の上空から下方をセンシング(非接触センシング)するためにも用いられる。ここで、センシングするとは、センシング可能な範囲(例えばカメラの画角に収まる範囲)内を撮像することにより地表(水面も含む)の状態(状況)を観測することをいう。かかるセンシングは、特定の地域において1回以上行われる。なお、センシングの精度を高めるためには、時系列で連続的に行われるとよく、当該センシングの時間間隔は、一定間隔であってもよいし、不定間隔であってもよい。
【0026】
測位部14は、電波受信機及び高度センサ等を備える。測位部14は、例えば、GNSS(Global Navigation Satellite System)の衛星から発信された電波を電波受信機により受信し、当該電波に基づいてUAV1の水平方向の現在位置(緯度及び経度)を検出する。UAV1の現在位置は、飛行中のUAV1の飛行位置である。なお、UAV1の水平方向の現在位置は、光学センサにより撮像された画像や上記無線基地局から発信された電波に基づいて補正されてもよい。測位部14により検出された現在位置を示す位置情報は、制御部15へ出力される。さらに、測位部14は、気圧センサ等の高度センサによりUAV1の垂直方向の現在位置(高度)を検出してもよい。この場合、位置情報には、UAV1の高度を示す高度情報が含まれる。
【0027】
制御部15は、プロセッサであるCPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、及び不揮発性メモリ等を備える。図3は、制御部15における機能ブロック例を示す図である。制御部15は、例えばROMまたは不揮発性メモリに記憶されたプログラム(プログラムコード群)に従って、図3に示すように、センシングデータ処理部15a、及び飛行制御部15bとして機能する。
【0028】
センシングデータ処理部15aは、UAV1の光学センサのセンシングにより得られたセンシングデータを取得し、当該センシングデータを無線通信部12により管理サーバ2へ送信(例えば、センサ部13から取得される度に送信)させる。飛行制御部15bは、UAV1の飛行制御を実行する。飛行制御においては、センサ部13からの検出データ、及び測位部14からの位置情報等が用いられて、ロータの回転数の制御、UAV1の位置、姿勢及び進行方向の制御が行われる。UAV1の飛行中、飛行制御部15bは、測位部14からの位置情報を管理サーバ2(またはGCSを介して管理サーバ2)へ逐次送信する。
【0029】
1-2.管理サーバ2の構成及び機能
次に、図4及び図5を参照して、管理サーバ2の構成及び機能について説明する。図4は、管理サーバ2の概要構成例を示す図である。図4に示すように、管理サーバ2は、通信部21、記憶部22、及び制御部23等を備える。通信部21は、通信ネットワークNWを介してUAV1との間で行われる通信の制御を担う。UAV1から送信されたセンシングデータ等は通信部21により受信される。記憶部22は、例えば、ハードディスクドライブ等を備える。
【0030】
記憶部22には、水害が発生する前における特定の地域のマップ(第1のマップの一例であり、以下、「水害発生前マップ」という)が記憶される。ここで、水害発生前マップとは、例えば、水害が発生する前における特定の地域内の地表の状態を表す画像データである。かかる画像データにおける各画素は、色の濃淡や明るさを表す画素値(輝度値ともいう)を有し、各画素には位置情報(例えば、緯度及び経度)が対応付けられる。さらに、各画素には地表からの反射率が対応付けられてもよい。水害発生前マップによれば、例えば、水害が発生する前における特定の地域内の地表に存在する川、池、沼、湖、山、木、建物、道路等の状態を画素値により特定することができる。また、水害発生前マップは、木や建物等の高さ情報を有する3次元マップであるとよい。この場合、例えば、水害発生前マップに係る画像データにおける各画素には高さ情報が対応付けられる。
【0031】
また、記憶部22には、任意の地域を飛行するUAV等の飛行体が上空から地表をセンシングすることにより得られたセンシングデータを入力とし、当該任意の地域において水害が発生している領域として特定された水害領域(例えば、水害領域を示す位置情報)を出力としたトレーニングデータにより学習された学習済みモデルが記憶されてもよい。ここで、水害領域は、後述する方法により特定されるとよい。
【0032】
制御部23は、プロセッサであるCPU、ROM、RAM、及び不揮発性メモリ等を備える。図5は、制御部23における機能ブロック例を示す図である。制御部23は、例えばROMまたは不揮発性メモリに記憶されたプログラム(プログラムコード群)に従って、図5に示すように、センシングデータ取得部23a、水害領域推定部23b、移動可能領域特定部23c、要救助者特定部23d、救助ルート生成部23e、及び救助ルート通知部23f等として機能する。ここで、水害領域推定部23bは、本発明における水害領域特定部、マップ取得部、マップ作成部、学習済みモデル取得部、水面特定部、及び水深特定部の一例である。
【0033】
センシングデータ取得部23aは、水害が発生している時のセンシングデータをUAV1から取得する。水害領域推定部23bは、センシングデータ取得部23aにより取得されたセンシングデータに基づいて、UAV1によりセンシングされた特定の地域において水害が発生している水害領域を特定するための推定演算を実行する。かかる推定演算において、水害領域推定部23bは、例えば、記憶部22から水害発生前マップを取得し、且つ、上記センシングデータに基づいて水害が発生している時における特定の地域のマップ(第2のマップの一例であり、以下、「水害発生中マップ」という)を作成する。
【0034】
ここで、水害発生中マップとは、例えば、水害が発生している時における特定の地域内の地表の状態を表す画像データである。かかる画像データにおける各画素は、水害発生前マップと同様、画素値を有し、各画素には位置情報が対応付けられる。さらに、各画素には地表からの反射率が対応付けられてもよい。水害発生中マップによれば、例えば、水害が発生している時における特定の地域内の地表に存在する川、池、沼、湖、山、木、建物、道路等の状態を画素値により特定することができる。また、センシングデータが3次元カメラのセンシングにより得られた場合、水害発生中マップは、木や建物等の高さ情報を有する3次元マップとなる。この場合、例えば、水害発生中マップに係る画像データにおける各画素には高さ情報が対応付けられる。なお、各画素に対応付けられる位置情報は、例えばUAV1によるセンシング時の位置情報と、その時のUAV1と特定の地域内の各地点(例えば、各画素または画素群に対応)との位置関係とに基づいて特定されるとよい。
【0035】
そして、上記推定演算において、水害領域推定部23bは、水害発生前マップと水害発生中マップとの位置合わせを行い(換言すると、各画素の位置情報に基づいて特定領域内の同一地点の対応付けを行い)、位置合わせされた水害発生前マップと水害発生中マップとを比較することで水害領域を特定する。これにより、広い範囲にわたる水害領域を精度良く特定することができる。例えば、水害領域推定部23bは、水害発生中マップと水害発生前マップとの差分を算出し、算出された差分が閾値以上である部分(つまり、画素群)を水害領域として特定する。つまり、水害発生中マップにおける水害領域の位置(範囲)が特定される。
【0036】
ここで、閾値と比較される差分は、例えば画素毎の画素値の差分または複数画素を含む部分領域毎の画素値(例えば、画素値の平均)の差分である。また、水害発生前マップ及び水害発生中マップが3次元マップである場合、閾値と比較される差分は、画素毎の高さの差分または複数画素を含む部分領域毎の高さ(例えば、地面または水面からの物体の高さ)の差分であってもよい。或いは、この場合、例えば画素毎の画素値の差分または複数画素を含む部分領域毎の画素値の差分と、画素毎の高さの差分または複数画素を含む部分領域毎の高さの差分とが、それぞれの閾値と比較され、それぞれの差分が閾値以上である部分が水害領域として特定されてもよい。
【0037】
また、水害発生前マップ及び水害発生中マップが3次元マップである場合、水害領域推定部23bは、水害発生前マップに表れる物体(例えば、建物)と水害発生中マップに表れる当該物体との高さを比較することで当該物体の周辺の水深(水面からの深さ)を特定してもよい。図6は、水害発生前マップに表れる建物と水害発生中マップに表れる当該建物との高さの比較例を示す図である。図6(A)の例では、水害発生前マップM1に表れる建物Bの地面からの高さは12mであり、図6(B)の例では、水害発生中マップM2に表れる建物Bの水面からの高さは10mであるので、当該建物Bの周辺の水深は2mとして算出される。なお、当該水面は、上記特定された水害領域における画素値及び反射率に基づいて例えば水害領域推定部23bにより特定される。
【0038】
上記推定演算の別の例として、機械学習に基づく推定手法が用いられてもよい。この場合、水害領域推定部23bは、記憶部22から学習済みモデルを取得し、センシングデータ取得部23aにより取得されたセンシングデータを学習済みモデルに入力することで当該学習済みモデルから出力された水害領域(例えば、水害領域を示す位置情報)を特定してもよい。これにより、広い範囲にわたる水害領域を精度良く特定することができる。なお、水害領域推定部23bは、上記以外の手法を用いて、センシングデータから水害領域を特定してもよい。例えば、水害領域推定部23bは、時系列で連続的に取得されたセンシングデータに係る動画像を解析し、特定の地域において時系列的に広がっている水の領域(つまり、予め定められた広がり条件を満たす領域)を水害領域として特定してもよい。
【0039】
移動可能領域特定部23cは、例えば水害領域推定部23bにより特定(例えば、水害領域における画素値及び反射率に基づいて特定)された水面の広さと当該水面からの深さとの少なくとも何れか一方に基づいて、当該水害領域において移動体が移動可能な移動可能領域を特定する。ここで、移動体が救助者(人)である場合、人が通行可能な幅を有する水面(つまり、瓦礫等の障害物がない水面)で、且つ、当該水面からの深さが人の膝下の長さ以下である領域が移動可能領域として特定される。なお、移動体が救助者である場合、水に浮かぶ障害物をかき分けて進むことができるので、水面の深さだけに基づいて移動可能領域が特定されてもよい。また、移動体が救助用UGVである場合も、救助者の場合と同じように移動可能領域が特定されるとよい。一方、移動体が救助用ボートである場合、救助用ボートが通行可能な幅を有する水面で、且つ、当該水面からの深さが救助用ボートの水面下部分の長さ以下(例えば、水底に接触しない程度の深さ)である領域が移動可能領域として特定される。なお、救助用ボートが底の浅いゴムボートである場合、水面の広さだけに基づいて移動可能領域が特定されてもよい。
【0040】
要救助者特定部23dは、水害領域推定部23bにより特定された水害領域における要救助者の位置を特定する。例えば、要救助者がGPS(Global Positioning System)機能を有する携帯端末を所持している場合、要救助者による携帯端末の操作に応じて、GPS機能により検出された位置情報が管理サーバ2へ送信されるとよい。この場合、要救助者特定部23dは、当該受信された位置情報に基づいて要救助者の位置を特定する。或いは、要救助者特定部23dは、センシングデータ取得部23aにより取得されたセンシングデータに基づいて水害領域に存在する人を検知することで要救助者の位置を特定してもよい。この場合、要救助者特定部23dは、水害領域において何らかの合図(例えば、手を振る等の救助を求める合図)を送る人を要救助者として特定してもよい。
【0041】
救助ルート生成部23eは、移動可能領域特定部23cにより特定された移動可能領域と、要救助者特定部23dにより特定された要救助者の位置に基づいて、移動体の位置から要救助者の位置までの救助ルートを生成する。これにより、要救助者を救助するための適切な救助ルートを生成することができる。ここで、距離が短い上位所定数(例えば、3つ)の救助ルートが生成されてもよい。また、救助ルート生成部23eは、移動可能領域と要救助者の位置に加えてさらに移動体のサイズ(例えば、縦横の平面サイズ)に基づいて、当該移動体が通行可能な幅(移動体の進行方向と直交する方向の幅)を有する救助ルートを1または複数生成するとよい。これにより、移動体のサイズに合った救助ルートを生成することができる。
【0042】
さらに、救助ルート生成部23eは、移動可能領域特定部23cにより特定された移動可能領域における水の流れの方向と当該流れの速さとの少なくとも何れか一方に基づいて、移動体がスムーズに進行することが可能な救助ルートを1または複数生成してもよい。なお、水の流れの方向と当該流れの速さは、例えば、時系列で連続的に取得されたセンシングデータに係る動画像を解析し、当該救助ルート上の水面に現れる波の動きから算出することができる。図7は、水害領域における救助ルートの例を示す図である。図7の例では、救助ボートBから要救助者Hまでの3つの救助ルートR1~R3が示されている。
【0043】
このような複数の救助ルートR1~R3のうち、救助ルートR1が最も距離の短いルートであるが、水面の広さ、水深、さらには水の流れの方向と当該流れの速さを考慮すると、必ずしも救助ルートR1が最適ルートであるとは限らない。そこで、救助ルート生成部23eは、生成された救助ルートの距離に加えて、生成された救助ルートにおける水面の広さ、水深、水の流れの方向、及び当該流れの速さのうち少なくとも何れか一つに基づいて、当該救助ルートに対して推奨ランクを付与する。これにより、生成された複数の救助ルートのそれぞれに対して互いに異なる推奨ランクが付与される。例えば、距離、水面の広さ、水深、水の流れの方向、及び当該流れの速さをパラメータ(変数)とし、且つ、重み係数が乗算された各パラメータを加算する計算式にしたがって推奨ランクが決定される。このような推奨ランクによって、救助者が複数の救助ルートの中から何れかの救助ルートを選択する上で効果的な支援を行うことができる。なお、推奨ランクは、例えば、Cランク、Bランク、Aランクの順に推奨度が増すようになっている。
【0044】
救助ルート通知部23fは、救助ルート生成部23eにより生成された救助ルートを示す情報を通信機器3へ送信することで当該救助ルートを救助者に通知する。例えば、救助ルートを示す情報は、通信機器3のディスプレイに水害発生中マップとともに表示(例えば、水害発生中マップに重畳表示)されるとよい。これにより、救助者は、適切な救助ルートを確保できるので、水害により例えば孤立した集落や家屋の屋根に取り残される要救助者の救助に迅速に向かうことができる。また、救助ルート生成部23eにより複数の救助ルートが生成された場合、それぞれの救助ルートに付与された推奨ランクが水害発生中マップとともに表示されるとよい。これにより、救助者は複数の救助ルートの中からその場で適切と判断した救助ルートを選択して要救助者の救助に向かうことができる。
【0045】
2.情報処理システムSの動作
次に、図8を参照して、情報処理システムSの動作について説明する。図8は、水害が発生している際における制御部23の処理の一例を示すフローチャートである。先ず、UAV1は、例えばオペレータにより指示された特定の地域に向けて飛行し、特定の地域に到着した場合に上空から下方をセンシングすることにより得られたセンシングデータを管理サーバ2へ送信する。かかるセンシングデータが管理サーバ2の通信部21により受信されると、図8に示す処理が開始される。センシングデータ取得部23aは、水害が発生している時のセンシングデータをUAV1から取得する。
【0046】
図8に示す処理が開始されると、制御部23は、通信部21により受信されたセンシングデータを取得する(ステップS1)。次いで、制御部23は、ステップS1で取得されたセンシングデータに基づいて、上記特定の地域において水害が発生している水害領域を特定するための推定演算を実行する(ステップS2)。
【0047】
次いで、制御部23は、ステップS2における推定演算により水害領域を特定できたか否かを判定する(ステップS3)。制御部23は、推定演算により水害領域を特定できたと判定した場合(ステップS3:YES)、ステップS4へ進む。一方、制御部23は、推定演算により水害領域を特定できないと判定した場合(ステップS3:NO)、図8に示す処理を終了し、次のセンシングデータの受信を待つ。
【0048】
ステップS4では、制御部23は、ステップS3で特定された水害領域から水面を特定し、当該水面の広さと当該水面からの深さとの少なくとも何れか一方に基づいて、当該水害領域において救助用ボートが移動可能な移動可能領域を特定する。次いで、制御部23は、ステップS1で取得されたセンシングデータに基づいて、ステップS3で特定された水害領域における要救助者の位置を特定する(ステップS5)。なお、要救助者の位置は、上述したように、要救助者が所持する携帯端末から受信された位置情報に基づいて特定されてもよい。
【0049】
次いで、制御部23は、ステップS4で特定された移動可能領域と、ステップS5で特定された要救助者の位置に基づいて、救助用ボートの位置から要救助者の位置までの救助ルートを生成する(ステップS6)。次いで、制御部23は、ステップS6で救助ルートが複数生成されたか否かを判定する(ステップS7)。救助ルートが複数生成されていないと判定された場合(ステップS7:NO)、ステップS8へ進む。一方、救助ルートが複数生成されたと判定された場合(ステップS7:YES)、ステップS9へ進む。
【0050】
ステップS8では、制御部23は、ステップS6で生成された救助ルートを示す情報を通信機器3へ送信することで当該救助ルートを救助者に通知し、図8に示す処理を終了する。なお、救助ルートを示す情報は、救助者のメールアドレス宛に送信されてもよい。一方、ステップS9では、制御部23は、ステップS6で生成された各救助ルートに対する推奨ランクを決定し、当該決定された推奨ランクを各救助ルートに付与する。次いで、制御部23は、ステップS6で生成された救助ルート、及びステップS9で各救助ルートに対して付与された推奨ランクを示す情報を通信機器3へ送信することで当該各救助ルート及び推奨ランクを救助者に通知し、図8に示す処理を終了する。
【0051】
以上説明したように、上記実施形態によれば、特定の地域を飛行するUAV1が上空から下方をセンシングすることにより得られたセンシングデータを取得し、当該取得されたセンシングデータに基づいて、上記特定の地域において水害が発生している水害領域を特定するように構成したので、広い範囲にわたる水害領域を迅速に特定することができる。
【0052】
上記実施形態は本発明の一実施形態であり、本発明は上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲で上記実施形態から種々構成等に変更を加えてもよく、その場合も本発明の技術的範囲に含まれる。例えば、上記実施形態においては、管理サーバ2が、特定の地域を飛行する飛行体が上空から下方をセンシングすることにより得られたセンシングデータに基づいて、当該特定の地域において水害が発生している水害領域を特定する場合を例にとって説明したが、UAV1が飛行中に上記センシングデータに基づいて、当該特定の地域において水害が発生している水害領域を特定してもよい。さらに、UAV1が水害領域において移動体が移動可能な移動可能領域と、当該水害領域における要救助者の位置とを特定し、当該移動可能領域及び当該要救助者の位置に基づいて、当該移動体の位置から当該要救助者の位置までの救助ルートを生成してもよい。また、上記実施形態においては、飛行体としてUAVを例にとって説明したが、当該飛行体は、機内に操縦者(パイロット)が存在するか否かに関わらず空中を飛行することができる有人航空機に対しても適用可能である。
【符号の説明】
【0053】
1 UAV
2 管理サーバ
3 通信機器
11 駆動部
12 無線通信部
13 センサ部
14 測位部
15 制御部
15a センシングデータ処理部
15b 飛行制御部
21 通信部
22 記憶部
23 制御部
23b 水害領域推定部
23c 移動可能領域特定部
23d 要救助者特定部
23e 救助ルート生成部
23f 救助ルート通知部
S 情報処理システム
図1
図2
図3
図4
図5
図6
図7
図8