IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 綜合警備保障株式会社の特許一覧

特開2023-115597移動体制御システム、移動体制御装置及び移動体制御方法
<>
  • 特開-移動体制御システム、移動体制御装置及び移動体制御方法 図1
  • 特開-移動体制御システム、移動体制御装置及び移動体制御方法 図2
  • 特開-移動体制御システム、移動体制御装置及び移動体制御方法 図3
  • 特開-移動体制御システム、移動体制御装置及び移動体制御方法 図4
  • 特開-移動体制御システム、移動体制御装置及び移動体制御方法 図5
  • 特開-移動体制御システム、移動体制御装置及び移動体制御方法 図6
  • 特開-移動体制御システム、移動体制御装置及び移動体制御方法 図7
  • 特開-移動体制御システム、移動体制御装置及び移動体制御方法 図8
  • 特開-移動体制御システム、移動体制御装置及び移動体制御方法 図9
  • 特開-移動体制御システム、移動体制御装置及び移動体制御方法 図10
  • 特開-移動体制御システム、移動体制御装置及び移動体制御方法 図11
  • 特開-移動体制御システム、移動体制御装置及び移動体制御方法 図12
  • 特開-移動体制御システム、移動体制御装置及び移動体制御方法 図13
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023115597
(43)【公開日】2023-08-21
(54)【発明の名称】移動体制御システム、移動体制御装置及び移動体制御方法
(51)【国際特許分類】
   G05D 1/02 20200101AFI20230814BHJP
   H04N 23/60 20230101ALI20230814BHJP
   H04N 7/18 20060101ALI20230814BHJP
【FI】
G05D1/02 H
H04N5/232 220
H04N7/18 N
【審査請求】未請求
【請求項の数】8
【出願形態】OL
(21)【出願番号】P 2022017903
(22)【出願日】2022-02-08
(71)【出願人】
【識別番号】000202361
【氏名又は名称】綜合警備保障株式会社
(74)【代理人】
【識別番号】100114306
【弁理士】
【氏名又は名称】中辻 史郎
(72)【発明者】
【氏名】金子 真
(72)【発明者】
【氏名】大道 寛人
(72)【発明者】
【氏名】木村 亘宏
【テーマコード(参考)】
5C054
5C122
5H301
【Fターム(参考)】
5C054CA05
5C054CC02
5C054CE01
5C054DA07
5C054FC12
5C054HA19
5C122DA16
5C122EA42
5C122EA63
5C122FH11
5C122FK23
5C122GC53
5C122GD11
5C122HA75
5C122HA90
5C122HB01
5C122HB09
5H301AA06
5H301BB10
5H301CC04
5H301CC07
5H301CC10
5H301GG09
(57)【要約】
【課題】赤外線撮像装置を搭載した移動体を用いて対象物を含む領域を撮像する場合に、赤外線撮像装置により撮像された画像又は映像から精度よく対象物を検出することを課題とする。
【解決手段】移動体制御システムは、移動体制御装置20が移動体30aを制御し災害地域の複数の赤外線画像を取得し、取得した赤外線画像に基づいて温度マップを生成する。そして、移動体制御装置20は、災害地域のうち、残留者が発生する可能性の高い地点を移動するように経路設定を行い、この経路設定に赤外線画像を用いて残留者を検知できるように温度マップに基づいて移動経路を補正し、移動体30aに補正した移動経路データを通知する。
【選択図】図1
【特許請求の範囲】
【請求項1】
赤外線画像を撮像する赤外線撮像装置が搭載された移動体と、前記移動体の制御を行う移動体制御装置とを有する移動体制御システムであって、
前記移動体制御装置は、
前記移動体により事前に収集された赤外線画像に基づいて温度マップを生成する温度マップ生成部と、
前記移動体の前記赤外線撮像装置により撮像する撮像方向を含む移動経路を設定する移動経路設定部と、
少なくとも前記温度マップに基づいて、前記撮像方向を含む前記移動経路を補正する移動経路補正部と、
前記移動経路補正部により補正された前記移動経路を前記移動体に通知する移動経路通知部と
を備えたことを特徴とする移動体制御システム。
【請求項2】
前記移動体制御装置は、
前記移動体の撮像開始位置、撮像終了位置及び撮像方向を含む撮像経路データ及び撮像指示を前記移動体に通知する撮像指示通知手段をさらに備え、
前記移動体は、
前記撮像指示を受け付けたならば、前記撮像経路データに基づいて前記赤外線撮像装置による撮像を行い、撮像した赤外線画像を前記移動体制御装置に通知する赤外線画像通知部をさらに備えたことを特徴とする請求項1に記載の移動体制御システム。
【請求項3】
前記温度マップ生成部は、
前記移動体から通知された撮像方向が異なる複数の赤外線画像に基づいて前記温度マップを生成することを特徴とする請求項1又は2に記載の移動体制御システム。
【請求項4】
前記温度マップ生成部は、
時間帯又は気象条件ごとに複数の温度マップを生成し、
前記移動経路補正部は、
移動日時又は気象条件に適合する温度マップに基づいて、前記撮像方向を含む前記移動経路を補正することを特徴とする請求項1~3のいずれか一つに記載の移動体制御システム。
【請求項5】
前記移動体制御装置は、
前記移動経路を移動する移動体に搭載された前記赤外線撮像装置により撮像された赤外線画像を受信し、受信した赤外線画像を基に移動経路の変更が必要であると判定した場合に、前記移動経路補正部による前記移動経路の再補正を行い、再補正後の移動経路を前記移動体に通知することを特徴とする請求項1~4のいずれか一つに記載の移動体制御システム。
【請求項6】
前記移動体は、
前記移動経路を移動しつつ前記赤外線撮像装置により撮像した赤外線画像を基に移動経路の変更が必要であると判定した場合に、前記移動体制御装置に対して前記移動経路の変更要求を行い、
前記移動経路補正部は、
前記移動体から移動経路変更要求を受け付けた場合に、前記温度マップ生成部により生成された温度マップに基づいて前記移動経路を補正し、
前記移動経路通知部は、
前記移動経路補正部により補正された前記移動経路を前記移動体に通知する
ことを特徴とする請求項1~4のいずれか一つに記載の移動体制御システム。
【請求項7】
赤外線画像を撮像する赤外線撮像装置が搭載された移動体の制御を行う移動体制御装置であって、
前記移動体により事前に収集された赤外線画像に基づいて温度マップを生成する温度マップ生成部と、
前記移動体の前記赤外線撮像装置により撮像する撮像方向を含む移動経路を設定する移動経路設定部と、
少なくとも前記温度マップに基づいて、前記撮像方向を含む前記移動経路を補正する移動経路補正部と、
前記移動経路補正部により補正された前記移動経路を前記移動体に通知する移動経路通知部と
を備えたことを特徴とする移動体制御装置。
【請求項8】
赤外線画像を撮像する赤外線撮像装置が搭載された移動体と、前記移動体の制御を行う移動体制御装置とを有する移動体制御システムにおける移動体制御方法であって、
前記移動体制御装置が、前記移動体により事前に収集された赤外線画像に基づいて温度マップを生成する温度マップ生成工程と、
前記移動体の前記赤外線撮像装置により撮像する撮像方向を含む移動経路を設定する移動経路設定工程と、
少なくとも前記温度マップに基づいて、前記撮像方向を含む前記移動経路を補正する移動経路補正工程と、
前記移動経路補正工程により補正された前記移動経路を前記移動体に通知する移動経路通知工程と
を含むことを特徴とする移動体制御方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、赤外線撮像装置を搭載した移動体を用いて対象物を含む領域を撮像する場合に、赤外線撮像装置により撮像された画像又は映像から効率的に対象物を検出することができる移動体制御システム、移動体制御装置及び移動体制御方法に関するものである。
【背景技術】
【0002】
従来、ドローン(Drone)や無人航空機などの飛行体に可視光の映像を撮像するカメラを搭載し、このカメラにより地上を空撮する技術が知られている。例えば、災害地域を飛行するドローンのカメラで地上を撮像し、災害地域に残留する残留者を検出し、検出した残留者に対して避難情報が通知される。
【0003】
かかる場合に、逆光での撮像となったならば、映像に含まれる残留者を検出できない可能性がある。このため、特許文献1には、逆光での撮像となる場合においても、撮像範囲内に光源が位置するかどうかを確認することにより、光源が映り込むことなく撮像を可能とする撮像方法が開示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2021-100234号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、上記特許文献1のものは、可視光のカメラで映像を撮像する場合を前提とするものである。このため、物体の温度に応じて増加する赤外線を画像又は映像として可視化する赤外線カメラを用いる場合に生ずる、人の温度とその人の周囲温度が近い場合は人を検知することができないという問題を解決することはできない。特に、災害地域の残留者を検知して残留者に対して避難誘導を行おうとする場合、残留者を検知することができなければ、避難情報を通知することができず、残留者の身の安全を確保することもできなくなってしまうという問題があった。
【0006】
このため、赤外線カメラを搭載した飛行体を用いて撮像を行う場合に、人と人以外をいかに区別するかが重要な課題となっている。かかる課題は、飛行体を用いて人を検知する場合だけではなく、各種の移動体を用いて撮像を行い、検出対象物となる各種の物体を検出する場合にも同様に生ずる課題である。
【0007】
本発明は、上記従来技術による問題点(課題)を解決するためになされたものであって、赤外線撮像装置を搭載した移動体を用いて対象物が存在する可能性がある領域を撮像する場合に、赤外線撮像装置により撮像された画像又は映像から対象物を精度よく検出することができる移動体制御システム、移動体制御装置及び移動体制御方法を提供することを目的とする。
【課題を解決するための手段】
【0008】
上述した課題を解決し、目的を達成するため、本発明は、赤外線画像を撮像する赤外線撮像装置が搭載された移動体と、前記移動体の制御を行う移動体制御装置とを有する移動体制御システムであって、前記移動体制御装置は、前記移動体により事前に収集された赤外線画像に基づいて温度マップを生成する温度マップ生成部と、前記移動体の前記赤外線撮像装置により撮像する撮像方向を含む移動経路を設定する移動経路設定部と、少なくとも前記温度マップに基づいて、前記撮像方向を含む前記移動経路を補正する移動経路補正部と、前記移動経路補正部により補正された前記移動経路を前記移動体に通知する移動経路通知部とを備えたことを特徴とする。
【0009】
また、本発明は、上記発明において、前記移動体制御装置は、前記移動体の撮像開始位置、撮像終了位置及び撮像方向を含む撮像経路データ及び撮像指示を前記移動体に通知する撮像指示通知手段をさらに備え、前記移動体は、前記撮像指示を受け付けたならば、前記撮像経路データに基づいて前記赤外線撮像装置による撮像を行い、撮像した赤外線画像を前記移動体制御装置に通知する赤外線画像通知部をさらに備えたことを特徴とする。
【0010】
また、本発明は、上記発明において、前記温度マップ生成部は、前記移動体から通知された撮像方向が異なる複数の赤外線画像に基づいて前記温度マップを生成することを特徴とする。
【0011】
また、本発明は、上記発明において、前記温度マップ生成部は、時間帯又は気象条件ごとに複数の温度マップを生成し、前記移動経路補正部は、移動日時又は気象条件に適合する温度マップに基づいて、前記撮像方向を含む前記移動経路を補正することを特徴とする。
【0012】
また、本発明は、上記発明において、前記移動体制御装置は、前記移動経路を移動する移動体に搭載された前記赤外線撮像装置により撮像された赤外線画像を受信し、受信した赤外線画像を基に移動経路の変更が必要であると判定した場合に、前記移動経路補正部による前記移動経路の再補正を行い、再補正後の移動経路を前記移動体に通知することを特徴とする。
【0013】
また、本発明は、上記発明において、前記移動体は、前記移動経路を移動しつつ前記赤外線撮像装置により撮像した赤外線画像を基に移動経路の変更が必要であると判定した場合に、前記移動体制御装置に対して前記移動経路の変更要求を行い、前記移動経路補正部は、前記移動体から移動経路変更要求を受け付けた場合に、前記温度マップ生成部により生成された温度マップに基づいて前記移動経路を補正し、前記移動経路通知部は、前記移動経路補正部により補正された前記移動経路を前記移動体に通知することを特徴とする。
【0014】
また、本発明は、赤外線画像を撮像する赤外線撮像装置が搭載された移動体の制御を行う移動体制御装置であって、前記移動体により事前に収集された赤外線画像に基づいて温度マップを生成する温度マップ生成部と、前記移動体の前記赤外線撮像装置により撮像する撮像方向を含む移動経路を設定する移動経路設定部と、少なくとも前記温度マップに基づいて、前記撮像方向を含む前記移動経路を補正する移動経路補正部と、前記移動経路補正部により補正された前記移動経路を前記移動体に通知する移動経路通知部とを備えたことを特徴とする。
【0015】
また、本発明は、赤外線画像を撮像する赤外線撮像装置が搭載された移動体と、前記移動体の制御を行う移動体制御装置とを有する移動体制御システムにおける移動体制御方法であって、前記移動体制御装置が、前記移動体により事前に収集された赤外線画像に基づいて温度マップを生成する温度マップ生成工程と、前記移動体の前記赤外線撮像装置により撮像する撮像方向を含む移動経路を設定する移動経路設定工程と、少なくとも前記温度マップに基づいて、前記撮像方向を含む前記移動経路を補正する移動経路補正工程と、前記移動経路補正工程により補正された前記移動経路を前記移動体に通知する移動経路通知工程とを含むことを特徴とする。
【発明の効果】
【0016】
本発明によれば、赤外線撮像装置を搭載した移動体を用いて対象物が存在する可能性がある領域を撮像する場合に、赤外線撮像装置により撮像された画像又は映像から対象物を精度よく検出することができる。
【図面の簡単な説明】
【0017】
図1図1は、実施形態1に係る移動体制御システムの概要を示す図である。
図2図2は、図1に示した移動体制御システムのシステム構成を示す図である。
図3図3は、図2に示した移動体制御装置の構成を示す機能ブロック図である。
図4図4は、図2に示した移動体の構成を示す機能ブロック図である。
図5図5は、移動体が移動する撮像経路の一例を示す図である。
図6図6は、図3に示した温度マップの一例を示すである。
図7図7は、移動経路の補正を説明するための説明図である。
図8図8は、移動体制御システムの処理手順を示すシーケンス図である。
図9図9は、実施形態2に係る移動体制御システムの概要を示す図である。
図10図10は、図9に示した移動体の構成を示す機能ブロック図である。
図11図11は、図9に示した移動体制御装置の構成を示す機能ブロック図である。
図12図12は、図9に示した移動体制御システムの処理手順を示すシーケンス図(その1)である。
図13図13は、図9に示した移動体制御システムの処理手順を示すシーケンス図(その2)である。
【発明を実施するための形態】
【0018】
以下に、本発明に係る移動体制御システム、移動体制御装置及び移動体制御方法の実施形態を図面に基づいて詳細に説明する。なお、以下に示す実施形態では、ドローンを移動体とする場合を示すこととする。
【0019】
[実施形態1]
<移動体制御システムの概要>
まず、本実施形態1に係る移動体制御システムの概要について説明する。図1は、実施形態1に係る移動体制御システムの概要を示す図である。図1に示すように、この移動体制御システムは、災害が発生する可能性がある地域(以下、「災害地域」と総称する)に残留する残留者を、移動体30aに搭載された赤外線撮像装置31により撮像した赤外線画像を用いて精度良く検出できるシステムである。
【0020】
図1に示す移動体30aは、移動体制御装置20の制御の下に自律的に飛行可能なドローンである。かかる移動体30aは、操作者による手動操作によって、離着陸、姿勢変更、飛行等を行うものではなく、移動体制御装置20からの指示に応じて自律的に移動制御する装置である。
【0021】
移動体制御装置20は、移動体30aを制御する制御装置である。移動体30aに対して撮像経路データ(撮像開始位置、撮像終了位置及び撮像方向を含む)を通知して撮像経路上の領域の赤外線画像を撮像させ、撮像された赤外線画像を移動体30aから受信する。また、赤外線画像から温度マップを生成し、この温度マップを用いて移動経路を補正し、補正後の移動経路を含む移動経路データを移動体30aに通知する装置である。
【0022】
本移動体制御システムでは、移動体制御装置20が、災害地域の赤外線画像を撮像するための撮像経路データを含む移動指示を待機中の移動体30aに通知する(S1)。この撮像経路データには、撮像開始位置、撮像終了位置及び撮像方向等が含まれる。
【0023】
移動体30aは、移動体制御装置20から撮像経路データを含む移動指示を受け取ったならば、撮像開始位置に移動する(S2)。撮像開始位置は、緯度、経度及び高度により特定される。なお、移動体30aは、撮像開始位置に移動するまでの間は、赤外線画像の撮像は行わなくてもよい。
【0024】
その後、移動体30aは、所定の時間間隔(例えば、0.1秒)で赤外線画像を撮像しつつ、撮像経路データに従って移動を行う(S3)。移動体30aが空中にホバリングし、撮像方向だけを変える場合もある。また、撮像経路データに含まれる撮像方向が基準方向(赤外線撮像装置31が取り付けられた方向)以外である場合には、移動体30aが機体を傾けるか、又は赤外線撮像装置31の画角を変更することになる。そして、移動体30aは、撮像終了位置に到達したならば赤外線画像の撮像を終了し(S4)、所定の待機位置に移動する(S5)。その後、移動体30aは、撮像した複数の赤外線画像を移動体制御装置20に送信する(S6)。
【0025】
移動体制御装置20は、移動体30aから受け取った複数の赤外線画像に基づいて、温度マップを生成する(S7)。かかる温度マップについての詳細な説明は後述するが、複数の撮像方向から同一領域を撮像した複数の赤外線画像と、該部分領域の識別情報とを対応付けたデータである。
【0026】
その後、移動体制御装置20は、移動体30aが災害地域に所在する残留者を検出するための移動経路データを設定する(S8)。そして、移動体制御装置20は、温度マップに基づいて移動経路データを補正する(S9)。温度マップを参照することにより、災害地域をある撮像方向から撮像した場合に得られる赤外線画像を類推し、類推した赤外線画像の各画素が示す温度が人体の温度に近く、残留者を検知することが難しいと判定した場合に、他の撮像方向から撮像した赤外線画像を撮像するよう移動経路を補正することができる。
【0027】
その後、移動体制御装置20は、補正後の移動経路データを含む移動指示を移動体30aに行い、移動体30aが残留者を捜索するための移動を開始する。なお、移動体30aが移動経路上で撮像した赤外線画像内に残留者が含まれる場合には、警報音又は音声ガイダンスを報知して残留者が災害地域から脱出するよう誘導を行う。
【0028】
<移動体制御システムのシステム構成>
次に、本実施形態1に係る移動体制御システムのシステム構成について説明する。図2は、図1に示した移動体制御システムのシステム構成を示す図である。図2に示すように、この移動体制御システムは、災害管理装置10と、移動体制御装置20と、複数の移動体30a、30b、30c(以下、「移動体30」と総称する)とがネットワークNに接続された構成となる。
【0029】
災害管理装置10は、官公庁が運営する災害関連の情報を管理する管理装置である。例えば、国土交通省が運営する防災情報提供センタ、地方自治体が運営するダムの放流情報を管理する管理装置等が該当する。
【0030】
移動体制御装置20は、移動体30により事前に収集された赤外線画像に基づいて温度マップを生成する処理、移動体30の赤外線撮像装置31により撮像する撮像方向を含む移動経路を設定する処理、少なくとも温度マップに基づいて撮像方向を含む移動経路を補正する処理、補正された移動経路を移動体30に通知する処理などを行う。
【0031】
移動体30は、高度センサやGNSS(Global Navigation Satellite System)ユニットからの信号により移動体自身の位置情報を取得する処理、回転翼を制御して移動する処理、所定の時間間隔で赤外線撮像装置31により赤外線画像を撮像する処理、赤外線画像を移動体制御装置20に送信する処理等を行う。
【0032】
<移動体制御装置20の構成>
次に、図2に示した移動体制御装置20の構成について説明する。図3は、図2に示した移動体制御装置20の構成を示す機能ブロック図である。図3に示すように、移動体制御装置20は、表示部21と、入力部22と、通信I/F部23と、無線通信部24と、記憶部25と、制御部26とを有する。
【0033】
表示部21は、液晶パネル又はディスプレイ装置などの表示デバイスであり、入力部22は、キーボードやマウスなどの入力デバイスである。通信I/F部23は、災害管理装置10などの他の装置と通信を行うためのインターフェース部である。無線通信部24は、移動体30と無線通信を行うためのインターフェース部である。
【0034】
記憶部25は、ハードディスク装置や不揮発性メモリ等の記憶デバイスであり、災害データ25a、撮像経路データ25b、赤外線画像データ25c、温度マップ25d及び移動経路データ25e等を記憶する。
【0035】
災害データ25aは、災害管理装置10から取得した災害地域情報、気象情報、ダムの放流の情報等が含まれるデータである。撮像経路データ25bは、あらかじめ災害領域の赤外線画像を撮像するための経路であり、撮像開始位置(緯度、経度、高度)、撮像終了位置(緯度、経度、高度)及び撮像方向が含まれる。
【0036】
赤外線画像データ25cは、移動体30から受信した複数の赤外線画像のデータである。温度マップ25dは、赤外線画像に基づいて生成された災害地域の温度データであり、複数の撮像方向から同一領域を撮像した複数の赤外線画像に基づいて生成された温度データと、該領域の識別情報とを対応付けたデータである、なお、温度マップ25dの詳細な説明は後述する。
【0037】
移動経路データ25eは、残留者の有無を検出するために災害地域を移動する移動経路を、温度マップ25dを用いて補正した補正後の移動経路のデータである。かかる補正を行う理由は、残留者の温度と周囲温度の差が所定の閾値未満である場合に、赤外線画像に含まれる残留者を検知できなくなるためである。このような場合に、赤外線画像を撮像する撮像方向を変えたならば、残留者の温度と周囲温度の差が所定の閾値以上となり、赤外線画像に含まれる残留者を検知することができる場合がある。このため、温度マップ25dを用いて移動経路を補正する。
【0038】
制御部26は、移動体制御装置20の全体を制御する制御部であり、災害データ取得部26aと、撮像経路特定部26bと、温度マップ生成部26cと、移動経路設定部26dと、移動経路補正処理部26eと、移動経路通知部26fとを有する。実際には、これらプログラムをCPUにロードして実行することにより、災害データ取得部26aと、撮像経路特定部26bと、温度マップ生成部26cと、移動経路設定部26dと、移動経路補正処理部26eと、移動経路通知部26fとにそれぞれ対応するプロセスを実行させることになる。
【0039】
災害データ取得部26aは、災害管理装置10から豪雨や暴風雨等の気象に関する警報や注意報に基づく災害データ又はダムの放流情報を取得し、災害データ25aとして記憶部25に記憶する。災害データ25aには、災害の種類と災害地域を示す情報が含まれている。本実施形態では、例えば1週間前に災害が発生する可能性のある災害地域の情報が取得された場合に、この災害地域に移動体30を移動させて赤外線画像を撮像し、温度マップ25dを作成することになる。なお、平常時に災害をシミュレーションし、災害が発生する可能性のある地域を災害地域とし、この災害地域に移動体30を移動させて赤外線画像を撮像し、温度マップ25dを作成するようにしてもよい。
【0040】
撮像経路特定部26bは、災害データ25aに含まれる災害地域の情報に基づいて赤外線画像を撮像する移動体30の撮像経路を特定する。この撮像経路には、移動ルートの他、撮像開始位置(緯度、経度、高度)、撮像終了位置(緯度、経度、高度)及び撮像角度が含まれる。
【0041】
温度マップ生成部26cは、記憶部25に記憶した赤外線画像データ25cに基づいて温度マップ25dを生成して記憶部25に記憶する。具体的には、複数の撮像方向から同一領域を撮像した複数の赤外線画像に基づいて生成された温度データと、該領域の識別情報とを対応付けた温度マップ25dを生成する。かかる温度マップ25dについての説明は後述する。
【0042】
移動経路設定部26dは、災害データ25aに基づいて、移動体30が災害地域を移動する経路を設定する処理部である。例えば、災害地域のうち、残留者が発生する可能性の高いA地点、B地点、C地点、D地点の順に移動するよう経路設定を行う。
【0043】
移動経路補正処理部26eは、温度マップ25dに基づいて移動経路を補正する処理部である。例えば、あるA地点からB地点を経由してC地点に向かう場合に、最短経路でB地点を移動したならば、太陽光の反射等の関係で、B地点に所在する残留者と周囲の温度差がなくなり、最短経路で移動する途中で撮像した赤外線画像では、B地点に所在する残留者を検知できない場合がある。かかる場合に、B地点を異なる撮像方向から撮像した赤外線画像によれば、B地点に所在する残留者を検知できる可能性がある。このため、温度マップ25dを用いて移動経路を補正する。
【0044】
なお、時間帯ごと又は気象条件ごとに複数の温度マップ25dが作成されていた場合には、移動する時間帯又は気象条件に適合する温度マップ25dを選択し、選択した温度マップ25dを用いることができる。移動経路通知部26fは、無線通信部24を介して移動経路データ25eを移動体30に送信する処理部である。
【0045】
<移動体30aの構成>
次に、図2に示した移動体30aの構成について説明する。図4は、図2に示した移動体30aの構成を示す機能ブロック図である。なお、移動体30b及び移動体30cも同様の構成となる。図4に示すように、移動体30aは、赤外線撮像装置31、高度センサ32、GNSSユニット33、無線通信部34、回転翼35、記憶部36及び制御部37を有する。
【0046】
赤外線撮像装置31は、物体から放射される赤外線を赤外線画像として可視化する赤外線カメラである。この赤外線撮像装置31は、移動体30aに取り付けられ画角を制御可能なものであってもよい。
【0047】
高度センサ32は、移動体30aの高度を計測するセンサである。この高度センサ32として、例えば気圧センサを用いることができる。なお、気圧センサ及び超音波センサを組み合わせることもできる。これにより、移動体30aは地上に近い場所で安定的に高度を保持することが可能となる。GNSSユニット33は、複数のGNSS衛星から信号を受信して自装置の位置座標を特定するユニットである。
【0048】
無線通信部34は、移動体制御装置20と無線通信をするためのインターフェース部である。複数の回転翼35は、制御部37からの制御を受けて個別に回転し、移動体30aの姿勢制御及び移動を可能とする。このため、移動体30aに取り付けられた赤外線撮像装置31の画角を制御できない場合であっても、移動体30aの姿勢を制御することにより、例えば真下だけではなく、右下、左下の撮像方向の撮像が可能になる。
【0049】
記憶部36は、ハードディスク装置や不揮発性メモリ等の記憶デバイスであり、撮像経路データ36a、赤外線画像データ36b、移動経路データ36c及び報知データ36d等を記憶する。撮像経路データ36aは、あらかじめ災害地域の赤外線画像を撮像するために移動体制御装置20から通知された撮像経路データであり、移動体30aはこの撮像経路データ36aに従って移動する。
【0050】
赤外線画像データ36bは、移動体30aが撮像経路上を移動中に撮像した赤外線画像のデータである。かかる赤外線画像データ36bは、移動体30aが待機位置に移動した後、移動体制御装置20に対して送信される。移動経路データ36cは、災害地域の残留者を検知するための移動を行う移動経路のデータである。報知データ36dは、災害地域に所在する残留者に報知する音声データなどの報知データである。
【0051】
制御部37は、移動体30aの全体を制御する制御部であり、移動制御部37a、撮像制御部37b、検出部37c及び報知部37dを有する。実際には、これらプログラムをCPUにロードして実行することにより、移動制御部37a、撮像制御部37b、検出部37c及び報知部37dにそれぞれ対応するプロセスを実行させることになる。
【0052】
移動制御部37aは、撮像経路データ36a又は移動経路データ36cと、高度センサ32が出力する高度情報とGNSSユニット33が出力する位置情報とを用いて複数の回転翼35を制御することにより、機体の移動制御を行う制御部である。具体的には、移動制御部37aは、撮像経路データ25bの撮像経路、又は、移動経路データ36cの移動経路に沿って移動するよう制御する。
【0053】
撮像制御部37bは、赤外線撮像装置31による赤外線画像の撮像制御を行う制御部である。具体的には、移動体30aが移動体制御装置20から撮像経路データを受信し、この撮像経路に沿って移動する場合には、所定時間(例えば、0.1秒)ごとに赤外線画像を撮像するよう制御する。移動体30aが移動体制御装置20から移動経路データを受信し、この移動経路に沿って移動する場合にも、所定時間(例えば、0.1秒)ごとに赤外線画像を撮像するよう制御する。撮像制御部37bは、赤外線撮像装置31が画角の制御が可能に構成されている場合には、撮像経路データに含まれる撮像方向に従って画角の制御を行う。
【0054】
検出部37cは、移動体30aが移動経路に沿って移動する状況で撮像した赤外線画像から残留者を検出する処理部である。かかる赤外線画像から残留者を検出する場合には、例えば赤外線画像に対して、人のテンプレートを用いたテンプレートマッチング処理を行うことにより、残留者を検出することができる。また、深層学習により得られる学習済みモデルに赤外線画像を入力し、残留者の有無を検出することもできる。かかる深層学習を用いる場合には、人が含まれる赤外線画像とその結果を教師データとした教師有り学習を行って学習済みモデルを生成しておく必要がある。また、深層学習以外の機械学習を用いることもできる。
【0055】
報知部37dは、赤外線画像から残留者が検知された場合に、該残留者に対して避難を求める音声メッセージなどを報知する報知部である。なお、音声ではなく、警報音又は警報光を出力してもよい。
【0056】
<撮像経路データについて>
次に、移動体30aにより災害地域の赤外線画像を撮像する場合の撮像経路データについて説明する。図5は、移動体30aが移動する撮像経路の一例を示す図である。ここでは、同じ災害地域を図5(a)、図5(b)、図5(c)の3通りに移動し、領域A2~F2を3方向から撮像する場合を例に説明する。
【0057】
図5(a)に示すように、移動体30aは、領域A3、領域B3、領域C3、領域D3、領域E3、領域F3、領域F2、領域E2、領域D2、領域C2、領域B2、領域A2、領域A1、領域B1、領域C1、領域D1、領域E1、領域F1の順に移動する。この際、赤外線撮像装置31は、移動体30aの直下の領域の赤外線画像を撮像する。すなわち、領域A3上を移動する時点では領域A3の赤外線画像を撮像し、領域B3上を移動する時点では領域B3の赤外線画像を撮像する。
【0058】
その後、図5(b)に示すように、移動体30aは、再度、領域A3、領域B3、領域C3、領域D3、領域E3、領域F3、領域F2、領域E2、領域D2、領域C2、領域B2、領域A2、領域A1、領域B1、領域C1、領域D1、領域E1、領域F1の順に移動する。この際、赤外線撮像装置31は、移動体30aの左下方向の領域の赤外線画像を撮像する。すなわち、領域A3上を移動する時点では領域A2の赤外線画像を撮像し、領域B3上を移動する時点では領域B2の赤外線画像を撮像する。
【0059】
その後、図5(c)に示すように、移動体30aは、再度、領域A3、領域B3、領域C3、領域D3、領域E3、領域F3、領域F2、領域E2、領域D2、領域C2、領域B2、領域A2、領域A1、領域B1、領域C1、領域D1、領域E1、領域F1の順に移動する。この際、赤外線撮像装置31は、移動体30aの右下方向の領域の赤外線画像を撮像する。すなわち、領域A1上を移動する時点では領域A2の赤外線画像を撮像し、領域B1上を移動する時点では領域B2の赤外線画像を撮像する。
【0060】
これにより、領域B2に着目した場合には、直上方向から撮像された赤外線画像、右上方向から撮像された赤外線画像、左上方向から撮像された赤外線画像の3つが得られることになる。なお、移動体30aに赤外線撮像装置31を複数設け、それぞれ異なる方向を撮像させる、あるいは、全方位の赤外線画像を撮像可能な赤外線撮像装置31を用いることで、1回の移動で異なる方向から撮影した赤外線画像を得ることもできる。また、3方向から撮像することとしているが、これに限定されるものではない。
【0061】
<温度マップ25dについて>
次に、図3に示した温度マップ25dについて説明する。図6は、図3に示した温度マップ25dの一例を示す図である。温度マップ25dは、1つの災害領域に対して、複数の撮像経路上の位置において収集された赤外線画像に基づいて生成された温度データが対応付けられている。赤外線画像の各画素が示す温度が人体の温度に近いということは、残留者以外の背景と残留者との温度差が表れにくく、残留者を見落とす可能性がある。
【0062】
図6に示すように、領域「B2」の時間帯「午前」については、領域「B2」を位置B1から撮像した赤外線画像に基づいて生成された温度データ「t21a」と、領域「B2」を位置B2から撮像した赤外線画像に基づいて生成された温度データ「t22a」と、領域「B2」を位置B3から撮像した赤外線画像に基づいて生成された温度データ「t32a」とが対応付けられている。
【0063】
また、領域「B2」の時間帯「午後」についても同様に、領域「B2」を位置B1から撮像した赤外線画像に基づいて生成された温度データ「t21p」と、領域「B2」を位置B2から撮像した赤外線画像に基づいて生成された温度データ「t22p」と、領域「B2」を位置B3から撮像した赤外線画像に基づいて生成された温度データ「t32p」とが対応付けられている。
【0064】
移動体制御装置20の移動経路補正処理部26eは、これら温度マップ25dに基づいて移動経路の補正を行う。例えば、領域B2を位置B2から撮像した場合、つまり、領域B2を真上方向から撮像した場合の温度データ「t22a」に人体に近い温度を示す画素が所定の閾値以上ある場合には、残留者を検出することができない可能性があると判定する。そして、領域B2の撮像は、真上方向ではなく、温度データに人体に近い温度を示す画素が最も少なくなる他の位置(位置B1又はB3等)から行うよう移動経路の補正を行う。なお、ここでは、時間帯として「午前」及び「午後」のデータを説明したが、時刻ごと、気象条件ごとに温度マップ25dを生成することもできる。また、季節ごとに温度マップ25dを生成してもよい。
【0065】
<移動経路の補正について>
次に、移動体制御装置20の移動経路の補正について説明する。図7は、移動経路の補正を説明するための説明図である。図7(a)は、移動体30aが撮像位置Aから災害地域の所定の領域を撮像した状況を示している。この図において河川敷のエリアが人体に近い温度であった場合、撮像した赤外線画像の河川敷にいる残留者は河川敷と区別できずに埋没してしまい、残留者を検出できない可能性がある。
【0066】
これに対して、図7(b)は、撮像位置Aにて撮像した領域と同じ領域を撮像位置Aとは異なる撮像位置Bから撮像した状況を示している。この図に示す通り、撮像位置を変えたことで、河川敷に加え川が残留者の背景になっている。川は通常人体よりも温度が低いことから、河川敷のエリアが人体に近い温度であったとしても、背景が川である残留者の一部は川と区別可能であり、残留者を検出できる状況となる。移動体制御装置20の移動経路補正処理部26eは、このように、災害データ25a及び温度マップ25dに基づいて、移動体30aの赤外線撮像装置31の撮像角度を含む移動経路データを補正する。
【0067】
<移動体制御システムの処理手順>
次に、図2に示す移動体制御システムの処理手順について説明する。図8は、移動体制御システムの処理手順を示すシーケンス図である。図8に示すように、移動体制御装置20は、災害管理装置10から災害地域の情報を含む災害データを取得する(ステップS101)。
【0068】
その後、移動体制御装置20は、赤外線画像を撮像するための撮像経路の特定を行う(ステップS102)。例えば、図5(a)、図5(b)、図5(c)に示したように、撮像角度を変えながら災害領域を複数回移動するように設定する。そして、移動体制御装置20は、撮像経路データ25bを移動体30aに送信する(ステップS103)。
【0069】
移動体30aは、移動体制御装置20から撮像経路データ25bを受信したならば(ステップS104)、撮影開始位置まで移動し、撮像経路に従って移動しつつ赤外線画像を撮像する(ステップS105)。移動体30aは、撮像経路データ25bに含まれる撮像終了位置まで移動したならば、待機位置に移動し、赤外線画像を移動体制御装置20に送信する(ステップS106)。
【0070】
移動体制御装置20は、赤外線画像を受信し、受信した複数の赤外線画像に基づいて、温度マップを生成し(ステップS107)、生成した温度マップを記憶部25に温度マップ25dとして記憶する(ステップS108)。その後、移動体制御装置20は、災害管理装置10から取得した災害データを基に災害地域に所在する残留者の避難等が必要になったと判定すると、災害地域に所在する残留者を検出するために移動経路データを設定する(ステップS109)。そして、移動体制御装置20は、温度マップ25dに基づいて移動経路データを補正し(ステップS110)、補正した移動経路データを移動体30aに送信する。移動体30aは、移動体制御装置20から移動経路データを受信すると、移動経路に従って移動しつつ赤外線画像を撮像し、移動体制御装置20へ赤外線画像を送信する。
【0071】
このように、本実施形態1に係る移動体制御システムは、移動体制御装置20が移動体30を制御して災害地域の複数の赤外線画像を撮像し、撮像した赤外線画像に基づいて温度マップ25dを生成する。そして、移動体制御装置20は、災害地域のうち、残留者が発生する可能性の高い地点を移動するように移動経路の設定を行い、赤外線画像を用いて残留者を精度よく検知できるように、この移動経路データの移動経路を温度マップ25dに基づいて補正し、移動体30に補正した移動経路データ25eを通知するように構成したので、災害地域の残留者を精度良く検出することができる。
【0072】
なお、上記実施形態1では、移動体制御装置20により移動経路データを補正する場合に、温度マップ25dに基づいて補正を行う場合を示したが、本発明はこれに限定されるものではなく、災害地域の建物や木立等の3次元データを用いて、これら障害物が移動体30と撮像したい場所の間に入り込まないように移動経路データを補正することもできる。
【0073】
また、移動体制御装置20は、移動経路に従って移動している移動体30より赤外線画像を受信し、赤外線画像を形成する各画素が示す温度が人体の温度に近く、残留者を検出できない可能性があると判定した場合に、温度マップ25dに基づいて、移動体30が移動中に、移動体30の撮像角度を含む移動経路データを再補正し、移動体30に通知することもできる。
【0074】
[実施形態2]
ところで、上記実施形態1では、移動体30の移動中は移動経路を変更しないこととしたが、本発明はこれに限定されるものではない。本実施形態2では、移動体40aが、災害地域の移動中に撮像した赤外線画像を形成する画素について人体の温度に近い温度を示す画素があるにも関わらず、この赤外線画像から残留者を検出していない場合に、赤外線画像に映る領域の背景温度が人体の温度に近く、残留者を検知できない可能性があると判定し、移動体40aから移動体制御装置50に移動経路の変更要求を通知し、変更要求が通知された移動体制御装置50が撮像角度を含む移動経路データを補正して、補正後の新たな移動経路データを移動体40aに通知する場合について説明する。
【0075】
本実施形態2に係る移動体制御システムの概要を説明する。図9は、実施形態2に係る移動体制御システムの概要を示す図である。図9に示すように、移動体制御装置50は、図示しない災害管理装置10から災害データを受信する(S11)。
【0076】
移動体制御装置50は、移動体40aの災害地域における移動経路を設定し、設定した移動経路データ25eを含む移動指示を移動体40aに通知する(S12)。
【0077】
移動体40aは、移動体制御装置50から移動経路データ25eを含む移動指示を受け取ったならば、受け取った移動経路データに含まれる移動経路に基づいて、移動開始位置に移動する(S13)。移動体40aは、撮像した赤外線画像に基づき残留者の検出をしつつ、移動経路に従い移動する(S14)。
【0078】
移動体40aは、撮像した赤外線画像を形成する画素が示す温度が人体の温度に近く、残留者を検出できない可能性があると判定した場合は、移動経路の変更要求を移動体制御装置50に送信する(S15)。かかる赤外線画像を形成する画素が示す温度は、実施形態1で説明したものである。移動体制御装置50は、移動体40aから移動経路の変更要求を受信したならば、温度マップ25dに基づいて撮像角度を含む移動経路データの補正を行う(S16)。そして、移動体制御装置50は、撮像角度を含む補正した移動経路データを含む更新指示を移動体40aに通知する(S17)。
【0079】
移動体40aは、かかる更新指示に従って更新された撮像角度を含む移動経路データに基づいて移動を行い、赤外線画像を撮像して残留者を検出する(S18)。
【0080】
<移動体40aの構成>
次に、図9に示した移動体40aの構成について説明する。図10は、図9に示した移動体40aの構成を示す機能ブロック図である。なお、図4に示した移動体30aと同様の機能部については、同一符号を付すこととして、その詳細な説明を省略する。図10に示すように、移動体40aは、赤外線撮像装置31、高度センサ32、GNSSユニット33、無線通信部34、回転翼35、記憶部46及び制御部47を有する。
【0081】
記憶部46は、ハードディスク装置や不揮発性メモリ等の記憶デバイスであり、赤外線画像データ36b、移動経路データ36c及び報知データ36dを記憶する。移動経路データ36cは、災害データ25aの災害地域を移動する移動経路データに温度マップ25dに基づいて補正された移動体40aの移動経路のデータである。
【0082】
制御部47は、移動体40aの全体を制御する制御部であり、移動制御部37a、撮像制御部37b、検出部37c、報知部37d及び変更要求通知部47aを有する。実際には、これらプログラムをCPUにロードして実行することにより、移動制御部37a、撮像制御部37b、検出部37c、報知部37d及び変更要求通知部47aにそれぞれ対応するプロセスを実行させることになる。
【0083】
変更要求通知部47aは、移動体40aが撮像した赤外線画像を形成する各画素が示す温度として人体の温度に近い画素があった場合に、残留者を検出していなければ、移動体制御装置50に移動経路の変更要求を送信する処理部である。赤外線画像から残留者を検出していないにもかかわらず、赤外線画像を形成する各画素が示す温度として人体の温度に近い画素があった場合には、人体の温度に近い温度の背景が存在することから、残留者と背景とを区別できず、残留者が背景に埋もれ、残留者を検知できない可能性が発生するためである。かかる場合に、移動体制御装置50に対して移動経路データの変更要求を行い、補正後の移動経路データを受信し、補正後の移動経路データに基づいて移動することにより、残留者を見逃す可能性を低減することができる。
【0084】
<移動体制御装置50の構成>
次に、移動体制御装置50の構成について説明する。図11は、図9に示した移動体制御装置50の構成を示す機能ブロック図である。なお、図3に示した移動体制御装置20と同様の機能部については、同一符号を付すこととして、その詳細な説明を省略する。図11に示すように、移動体制御装置50は、表示部21と入力部22と、通信I/F部23と、無線通信部24と、記憶部25と、制御部56と有する。
【0085】
制御部56は、移動体制御装置50全体を制御する制御部であり、災害データ取得部26aと、撮像経路特定部26bと、温度マップ生成部26cと、移動経路設定部26dと、移動経路通知部26fと、移動経路補正部56aとを有する。実際には、これらプログラムをCPUにロードして実行することにより、災害データ取得部26aと、撮像経路特定部26bと、温度マップ生成部26cと、移動経路設定部26dと、移動経路通知部26fと、移動経路補正部56aとにそれぞれ対応するプロセスを実行させることになる。
【0086】
移動経路補正部56aは、移動体40aから通知される変更要求を受け取ると、温度マップ25dに基づいて移動経路を補正する処理部である。
【0087】
<移動体制御システムの処理手順>
次に、移動体制御システムの処理手順について説明する。図12及び図13は、図9に示した移動体制御システムの処理手順を示すシーケンス図である。これらの図に示すように、移動体制御装置50は、災害データ25aを図示しない災害管理装置10から取得する(ステップS201)。
【0088】
そして、移動体制御装置50は、災害データ25aに含まれる災害地域の情報から最短の移動経路データを設定する(ステップS202)。そして、移動体制御装置50は、移動経路データ25eを含む移動指示を移動体40aに通知する(ステップS203)。
【0089】
移動体40aは、移動体制御装置50から移動経路データ25eを含む移動指示を受け取ったならば(ステップS204)、移動経路データ36cとして記憶するとともに、その移動経路データ36cに従って移動を開始する(ステップS205)。移動体40aは、災害地域の赤外線画像をその都度撮影し、赤外線画像を画像処理して残留者を検出する(ステップS206)。例えば、テンプレートマッチングなどを用いることができる。
【0090】
移動体40aは、赤外線画像を形成する各画素が示す温度として人体の温度に近い画素があった場合に、残留者を検出しているか否かを判定する。このとき、残留者を検出していれば、当該画素は残留者を撮像したものとして当該残留者に対する避難誘導等の処理を行う。しかし、残留者を検出していなければ、人体ではなく背景温度である可能性があるため、移動経路の変更要求を移動体制御装置50に通知する(ステップS207)。移動体制御装置50は、移動体40aから変更要求を受け取ったならば(ステップS208)、温度マップ25dに基づいて撮像角度を含む移動経路データを補正する(ステップS209)。そして、移動体制御装置50は、補正した移動経路データ25eを含む更新指示を移動体40aに通知する(ステップS210)。
【0091】
移動体40aは、移動経路データを含む変更指示を受け取ったならば(ステップS211)、移動経路データに基づいて移動しつつ残留者を検出し(ステップS212)、移動が完了したならば上記一連の処理を終了する。
【0092】
このように、上記実施形態2に係る移動体制御システムは、移動体40aが赤外線画像を形成する各画素が示す温度が人体の温度に近いが残留者を検出していない場合に、移動経路の変更要求を移動体制御装置50に通知する。そして、移動体制御装置50は、変更要求を受け取ったならば温度マップ25dに基づいて、移動経路データを補正する。その後、移動体制御装置50は、補正された移動経路データを含む変更指示を移動体40aに通知し、移動体40aは、補正された移動経路データに基づいて移動する。つまり、撮像した赤外線画像に人体の温度に近い画素があった場合に、当該画素が残留者を検出したものでなければ撮像した赤外線画像に映る領域の背景温度が人体の温度と近いと判断し、当該領域を異なる位置から撮像するように構成したので、災害地域の残留者を精度良く検出することができる。
【0093】
なお、上記の実施形態1及び2では、赤外線撮像装置31により赤外線画像(静止画)を撮像する場合について説明したが、赤外線の動画を撮像する場合に適用することもできる。この場合は、赤外線の動画から一定時間間隔で赤外線画像を切り出せば、同様の処理を行うことができる。
【0094】
上記の各実施形態で図示した各構成は機能概略的なものであり、必ずしも物理的に図示の構成をされていることを要しない。すなわち、各装置の分散・統合の形態は図示のものに限られず、その全部又は一部を各種の負荷や使用状況などに応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。
【産業上の利用可能性】
【0095】
本発明に係る移動体制御システム、移動体制御装置及び移動体制御方法は、赤外線撮像装置を搭載した移動体を用いて対象物を含む領域を撮像する場合に、赤外線撮像装置により撮像された画像又は映像から精度良く対象物を検出する場合に適している。
【符号の説明】
【0096】
10 災害管理装置
20、50 移動体制御装置
21 表示部
22 入力部
23 通信I/F部
24 無線通信部
25 記憶部
25a 災害データ
25b 撮像経路データ
25c 赤外線画像データ
25d 温度マップ
25e 移動経路データ
26 制御部
26a 災害データ取得部
26b 撮像経路特定部
26c 温度マップ生成部
26d 移動経路設定部
26e 移動経路補正処理部
26f 移動経路通知部
30、30a、30b、30c、40a 移動体
31 赤外線撮像装置
32 高度センサ
33 GNSSユニット
34 無線通信部
35 回転翼
36 記憶部
36a 撮像経路データ
36b 赤外線画像データ
36c 移動経路データ
36d 報知データ
37 制御部
37a 移動制御部
37b 撮像制御部
37c 検出部
37d 報知部
46 記憶部
47 制御部
47a 変更要求通知部
56 制御部
56a 移動経路補正処理部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13