特開 2023-142030 移動体制御システム、移動体及び移動体制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023142030

(43)【公開日】2023-10-05

(54)【発明の名称】移動体制御システム、移動体及び移動体制御方法

(51)【国際特許分類】

   G08B 27/00 20060101AFI20230928BHJP

   G08B 25/00 20060101ALI20230928BHJP

【ＦＩ】

G08B27/00 A

G08B25/00 510M

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2022048690

(22)【出願日】2022-03-24

(71)【出願人】

【識別番号】000202361

【氏名又は名称】綜合警備保障株式会社

(74)【代理人】

【識別番号】100114306

【弁理士】

【氏名又は名称】中辻 史郎

(72)【発明者】

【氏名】金子 真

【テーマコード（参考）】

5C087

【Ｆターム（参考）】

5C087AA02

5C087AA05

5C087AA11

5C087AA32

5C087AA37

5C087AA40

5C087DD02

5C087DD03

5C087DD17

5C087EE20

5C087FF01

5C087FF02

5C087FF04

5C087FF30

5C087GG08

5C087GG66

5C087GG70

5C087GG84

(57)【要約】      （修正有）

【課題】移動体を用いて災害地域等の残留者に効率良く対応する移動体制御システム、移動体及び移動体制御方法を提供する。
【解決手段】移動体制御システムにおいて、移動体３０は、残留者に対して呼びかけを行い、残留者が避難しない場合に、残留者として検出した物体に近づき人物か否かの判定を行う。そして、人物と判定した物体が残留者であった場合には、移動体３０はさらに残留者に近づき、倒れているか否かの判定を行う。人物が倒れていない場合は、所定の動作指示を行い、人物が所定の動作を行わない場合は、機材トラブルか、人物が予定の動作を行えないか或いは言語等の問題で報知内容が理解できない可能性があるため、救援要請を移動体制御装置に通知する。
【選択図】図１

【特許請求の範囲】

【請求項1】

所定の地域の巡視を行う移動体と、前記移動体の制御を行う移動体制御装置とを有する移動体制御システムであって、
前記移動体は、
前記所定の地域に所在する人物の画像を撮像する撮像手段と、
前記撮像手段により撮像された画像に人物が含まれるか否かを判定する人物判定手段と、
少なくとも前記人物判定手段により前記画像に人物が含まれると判定されたことを条件として、該人物に対して所定動作の要求を含む報知を行う報知手段と、
前記撮像手段により撮像された画像に含まれる前記人物の動作が前記所定動作であるか否かを判定する動作判定手段と、
前記動作判定手段により判定結果に応じた制御を行う制御手段と
を備えたことを特徴とする移動体制御システム。

【請求項2】

前記報知手段は、
前記人物判定手段により前記画像に人物が含まれると判定された場合に、該人物に対して所定動作の要求を含む音声を出力することを特徴とする請求項１に記載の移動体制御システム。

【請求項3】

前記人物判定手段により前記画像に人物が含まれると判定されたならば、前記人物の姿勢を推定する姿勢推定手段をさらに備え、
前記報知手段は、
前記姿勢推定手段により前記人物が倒れていないと推定された場合に、該人物に対して所定動作の要求を含む報知を行うことを特徴とする請求項１又は２に記載の移動体制御システム。

【請求項4】

前記制御手段は、
前記姿勢推定手段により前記人物が倒れていると推定された場合に、前記移動体制御装置に対して前記人物の救援要請をするよう制御することを特徴とする請求項３に記載の移動体制御システム。

【請求項5】

前記制御手段は、
前記動作判定手段により前記人物の動作が前記所定動作であると判定された場合に、前記人物を前記所定の地域から避難誘導するよう機体制御及び報知を行うよう制御することを特徴とする請求項１乃至４のいずれか一つに記載の移動体制御システム。

【請求項6】

前記制御手段は、
前記動作判定手段により前記人物の動作が前記所定動作でないと判定された場合に、前記移動体制御装置に対して救援要請をするよう制御することを特徴とする請求項１乃至５のいずれか一つに記載の移動体制御システム。

【請求項7】

所定の地域の巡視を行う移動体であって、
前記所定の地域に所在する人物の画像を撮像する撮像手段と、
前記撮像手段により撮像された画像に人物が含まれるか否かを判定する人物判定手段と、
少なくとも前記人物判定手段により前記画像に人物が含まれると判定されたことを条件として、該人物に対して所定動作の要求を含む報知を行う報知手段と、
前記撮像手段により撮像された画像に含まれる前記人物の動作が前記所定動作であるか否かを判定する動作判定手段と、
前記動作判定手段により判定結果に応じた制御を行う制御手段と
を備えたことを特徴とする移動体。

【請求項8】

所定の地域の巡視を行う移動体と、前記移動体の制御を行う移動体制御装置とを有する移動体制御システムにおける移動体制御方法であって、
前記移動体が、前記所定の地域に所在する人物の画像を撮像する撮像工程と、
前記移動体が、前記撮像工程により撮像された画像に人物が含まれるか否かを判定する人物判定工程と、
前記移動体が、少なくとも前記人物判定工程により前記画像に人物が含まれると判定されたことを条件として、該人物に対して所定動作の要求を含む報知を行う報知工程と、
前記移動体が、前記撮像工程により撮像された画像に含まれる前記人物の動作が前記所定動作であるか否かを判定する動作判定工程と、
前記移動体が、前記動作判定工程により判定結果に応じた制御を行う制御工程と
を含むことを特徴とする移動体制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、移動体を用いて災害地域等の残留者に効率良く対応することができる移動体制御システム、移動体及び移動体制御方法に関する。

【背景技術】

【0002】

従来、ダムからの放流を行う場合には、特定多目的ダム法により事前に下流の住民に対してサイレンや電子看板などで警告を行っている。かかる警告を行ったとしても、ダムの放流による河川の増水により、水没の危険性がある地域に残留者が存在する可能性がある。このため、自治体においては、災害対策業務で逼迫する状況のなか、危険を顧みず河道の残留者の巡視を行っている。かかる残留者の巡視は、ダムの放流時だけではなく、地震や暴風雨等の自然現象による災害発生の可能性がある場合も同様に行われている。

【0003】

このような状況を回避するために、複数の無人飛行体（ドローン）を用いて災害が発生する可能性がある地域（以下、「災害地域」という。）を巡回し、残留者に対する誘導などを行うことが考えられる。例えば、特許文献１には、複数の無人飛行体（ドローン）を用いて、容疑者等の追跡対象を追跡する技術が開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０２０－０６１０８２号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、上記特許文献１のものは、基地局間で追跡対象に関する情報を引き継ぐ必要があるため、ダム放流前の下流地域に所在する河道のように、そもそも基地局が存在しない場所では、残留者を追跡することができないという問題がある。また、画像から追跡対象である残留者を検出し、残留者に対して避難を促す呼びかけを行ったとしても、確実に残留者が呼びかけを理解できるとは限らない。

【0006】

例えば、使用言語等何らかの理由により残留者が呼びかけを理解できない場合や、怪我等により避難できない場合、人型の看板等を誤って残留者として検出し呼びかけを行ってしまった場合、周囲の雑音等によりそもそも残留者に呼びかけが届いていない場合などがある。これらの状況を判断し、迅速な対応を取らければ残留者に対する避難誘導を効率的かつ確実に行うことができず、残留者の安全を確保することができない。

【0007】

これらのことから、いかにしてドローンを用いて災害地域に所在する残留者に効率良く対応するかが重要な課題となっている。かかる課題は、ドローンを用いる場合だけではなく、ロボットなどの移動体を用いる場合、ダム放流ではなく震災などに対応する場合にも同様に生ずる課題である。

【0008】

本発明は、上述した従来技術による問題点（課題）を解決するためになされたものであって、移動体を用いて災害地域等の残留者に効率良く対応することができる移動体制御システム、移動体及び移動体制御方法を提供することを目的とする。

【課題を解決するための手段】

【0009】

上記の課題を解決するため、本発明は、所定の地域の巡視を行う移動体と、前記移動体の制御を行う移動体制御装置とを有する移動体制御システムであって、前記移動体は、前記所定の地域に所在する人物の画像を撮像する撮像手段と、前記撮像手段により撮像された画像に人物が含まれるか否かを判定する人物判定手段と、少なくとも前記人物判定手段により前記画像に人物が含まれると判定されたことを条件として、該人物に対して所定動作の要求を含む報知を行う報知手段と、前記撮像手段により撮像された画像に含まれる前記人物の動作が前記所定動作であるか否かを判定する動作判定手段と、前記動作判定手段により判定結果に応じた制御を行う制御手段とを備えたことを特徴とする。

【0010】

また、本発明は、上記発明において、前記報知手段は、前記人物判定手段により前記画像に人物が含まれると判定された場合に、該人物に対して所定動作の要求を含む音声を出力することを特徴とする。

【0011】

また、本発明は、上記発明において、前記人物判定手段により前記画像に人物が含まれると判定されたならば、前記人物の姿勢を推定する姿勢推定手段をさらに備え、前記報知手段は、前記姿勢推定手段により前記人物が倒れていないと推定された場合に、該人物に対して所定動作の要求を含む報知を行うことを特徴とする。

【0012】

また、本発明は、上記発明において、前記制御手段は、前記姿勢推定手段により前記人物が倒れていると推定された場合に、前記移動体制御装置に対して前記人物の救援要請をするよう制御することを特徴とする。

【0013】

また、本発明は、上記発明において、前記制御手段は、前記動作判定手段により前記人物の動作が前記所定動作であると判定された場合に、前記人物を前記所定の地域から避難誘導するよう機体制御及び報知を行うよう制御することを特徴とする。

【0014】

また、本発明は、上記発明において、前記制御手段は、前記動作判定手段により前記人物の動作が前記所定動作でないと判定された場合に、前記移動体制御装置に対して救援要請をするよう制御することを特徴とする。

【0015】

また、本発明は、所定の地域の巡視を行う移動体であって、前記所定の地域に所在する人物の画像を撮像する撮像手段と、前記撮像手段により撮像された画像に人物が含まれるか否かを判定する人物判定手段と、少なくとも前記人物判定手段により前記画像に人物が含まれると判定されたことを条件として、該人物に対して所定動作の要求を含む報知を行う報知手段と、前記撮像手段により撮像された画像に含まれる前記人物の動作が前記所定動作であるか否かを判定する動作判定手段と、前記動作判定手段により判定結果に応じた制御を行う制御手段とを備えたことを特徴とする。

【0016】

また、本発明は、所定の地域の巡視を行う移動体と、前記移動体の制御を行う移動体制御装置とを有する移動体制御システムにおける移動体制御方法であって、前記移動体が、前記所定の地域に所在する人物の画像を撮像する撮像工程と、前記移動体が、前記撮像工程により撮像された画像に人物が含まれるか否かを判定する人物判定工程と、前記移動体が、少なくとも前記人物判定工程により前記画像に人物が含まれると判定されたことを条件として、該人物に対して所定動作の要求を含む報知を行う報知工程と、前記移動体が、前記撮像工程により撮像された画像に含まれる前記人物の動作が前記所定動作であるか否かを判定する動作判定工程と、前記移動体が、前記動作判定工程により判定結果に応じた制御を行う制御工程とを含むことを特徴とする。

【発明の効果】

【0017】

本発明によれば、移動体を用いて災害地域等の残留者に効率良く対応することができる。

【図面の簡単な説明】

【0018】

【図1】図１は、本実施形態に係る移動体制御システムの概要を説明するための説明図である。

【図2】図２は、図１に示した移動体制御システムのシステム構成を示す図である。

【図3】図３は、図２に示した移動体の構成を示す機能ブロック図である。ある。

【図4】図４は、図２に示した人物検出用学習済モデルによる人物の判定を説明するための説明図である。

【図5】図５は、図３に示した移動体の処理手順を示すフローチャートである。

【図6】図６は、人物検出処理の処理手順を示すフローチャートである。

【図7】図７は、再呼びかけ処理の処理手順を示すフローチャート（その１）である。

【図8】図８は、再呼びかけ処理の処理手順を示すフローチャート（その２）である。

【図9】図９は、倒れ検出処理の処理手順を示すフローチャートである。

【図10】図１０は、動作検出処理の処理手順を示すフローチャートである。

【図11】図１１は、避難誘導処理の処理手順を示すフローチャートである。

【発明を実施するための形態】

【0019】

以下に、本発明に係る移動体制御システム、移動体及び移動体制御方法の実施形態を図面に基づいて詳細に説明する。

【0020】

＜移動体制御システムの概要＞
まず、本実施形態に係る移動体制御システムの概要について説明する。図１は、本実施形態に係る移動体制御システムの概要を説明するための説明図である。図１に示すように、この移動体制御システムは、移動体を用いて河川等の災害が発生する可能性がある地域の残留者に効率よく対応することができるシステムである。ここではドローンと呼ばれる無人飛行体を移動体として用いる場合を中心に説明する。

【0021】

本実施形態の移動体３０は、図示しない移動体制御装置の制御の下に自立的に飛行可能な無人飛行体である。つまり、係る移動体３０は、操作者による操作によって移動制御されるものではなく、移動体制御装置の指示に応じて自立的に移動制御する。

【0022】

移動体３０は、図示しない移動体制御装置から災害地域への移動指示を受け付け、災害地域に移動する。そして、移動体３０は、残留者の有無を判定し、残留者が存在すると判定した場合には、残留者に対して避難誘導のための呼びかけを行う（Ｓ１）。

【0023】

その後、移動体３０は、残留者が移動しない場合は、残留者に近づき残留者として検出した物体が人物か否かの判定を行う（Ｓ２）。移動体３０は、検出した物体が人物であると判定した場合は、さらに残留者に近づき、人物が倒れているか否かの判定を行う（Ｓ３）。

【0024】

そして、移動体３０は、人物が倒れていないと判定した場合は、残留者に所定の動作を行うよう指示する（Ｓ４）。残留者が所定の動作を行った場合は、避難誘導を行うが、所定の動作を行わない場合は、救援要請を移動体制御装置に通知する（Ｓ５）。

【0025】

＜移動体制御システムのシステム構成＞
次に、本実施形態に係る移動体制御システムのシステム構成について説明する。図２は、図１に示した移動体制御システムのシステム構成を示す図である。図２に示すように、この移動体制御システムでは、サーバ装置１０と、移動体制御装置２０と、複数の移動体３０ａ、３０ｂ、３０ｃ（以下、「移動体３０」と総称する場合がある）とがネットワークＮに接続される。

【0026】

サーバ装置１０は、後述する移動体３０に搭載される人物検出用学習済モデル及び動作検出用学習済モデルの教師あり学習を行うための装置である。

【0027】

移動体制御装置２０は、災害時に移動体３０に移動経路データ及び避難誘導を行う音声メッセージ等を含む移動指示を送信する。また、移動体３０から救援要請の通知を受信し、該通知を表示処理する。

【0028】

移動体３０は、移動体制御装置２０から移動指示を受信すると、移動指示に含まれる移動経路データにしたがって、災害地域に移動する。移動体３０は、災害地域に到着すると、自己に備わる撮像ユニットで周囲の画像を撮像し、残留者が存在するか否かを判定する。残留者が存在する場合には、移動体３０は、残留者に対して避難誘導を行う。また、移動体３０は、（１）高度センサやＧＮＳＳ（Global Navigation Satellite System）ユニットからの信号により移動体自身の位置情報を把握し、回転翼を制御して移動する処理、（２）周囲の画像を撮像ユニットで撮像して、人物の検出を行う処理、（３）残留者に動作指示を行い、残留者が所定の動作を行ったかを判定する処理、（４）残留者に対して避難誘導を行う処理等を行う。

【0029】

＜移動体３０ａの構成＞
次に、図２に示した移動体３０ａの構成について説明する。図３は、図２に示した移動体３０ａの構成を示す機能ブロック図である。なお、移動体３０ｂ及び３０ｃも同様の構成となる。図３に示すように、移動体３０ａは、撮像ユニット３１、高度センサ３２、ＧＮＳＳユニット３３、報知部３４、無線通信部３５、回転翼３６、記憶部３７及び制御部３８を有する。

【0030】

撮像ユニット３１は、カメラにより災害地域の状況を撮影する撮像装置である。撮像ユニット３１に搭載されるカメラは、同一の撮像範囲の可視光画像及び赤外光画像を同時に撮像可能としてもよく、また、いずれか一方のみを撮像できるものであってもよい。

【0031】

高度センサ３２は、移動体３０ａの高度を計測するセンサである。この高度センサ３２として、例えば気圧センサを用いることができ、気圧センサ及び超音波センサを組み合わせることもできる。これにより、移動体３０ａは地上に近い場所で安定的に高度を保持することが可能となる。ＧＮＳＳユニット３３は、複数のＧＮＳＳ衛星から信号を受信して自装置の位置座標を特定するユニットである。

【0032】

報知部３４は、後述する避難誘導部３８ｂから受信した避難誘導データ３７ｄを残留者に対して報知する処理部である。例えば、合成音による警報メッセージ音の報知、警報音の報知及び／又は発光による報知を行うことができる。また、報知部３４は、後述する報知処理部３８ｄから受信した残留者に指示する所定の動作のメッセージを残留者に対して報知する処理部である。

【0033】

無線通信部３５は、移動体制御装置２０と無線通信をするためのインターフェース部である。複数の回転翼３６は、制御部３８からの制御を受けて個別に回転し、移動体３０ａの姿勢制御及び移動を可能とする。

【0034】

記憶部３７は、ハードディスク装置や不揮発性メモリ等の記憶デバイスであり、人物検出用学習済モデル３７ａ、動作検出用学習済モデル３７ｂ、移動経路データ３７ｃ、避難誘導データ３７ｄ及び画像データ３７ｅを記憶する。

【0035】

人物検出用学習済モデル３７ａは、撮像ユニット３１で撮像した画像内に人物が存在するか否かを判定する学習済モデルである。動作検出用学習済モデル３７ｂは、撮像ユニット３１で撮像した画像において人物が所定の動作を行っているか否かを判定する学習済モデルである。また、動作検出用学習済モデル３７ｂは、撮像ユニット３１で撮像した画像に基づいて、人物が倒れているか否かの判定も行う。なお、人物検出用学習済モデル３７ａ及び動作検出用学習済モデル３７ｂは、サーバ装置１０において、大量の教師データと正解データを用いて学習を行い生成される。

【0036】

移動経路データ３７ｃは、移動体制御装置２０より受信した移動経路データであり、移動体３０ａはこの移動経路データ３７ｃにしたがって移動する。避難誘導データ３７ｄは、移動体制御装置２０より受信した避難誘導を行う音声メッセージ等のデータである。画像データ３７ｅは、撮像ユニット３１で撮像された画像データである。

【0037】

制御部３８は、移動体３０ａの全体を制御する制御部であり、撮像制御部３８ａ、避難誘導部３８ｂ、人物判定部３８ｃ、報知処理部３８ｄ、動作判定部３８ｅ及び移動制御部３８ｆを有する。実際には、これらプログラムをＣＰＵにロードして実行することにより、撮像制御部３８ａ、避難誘導部３８ｂ、人物判定部３８ｃ、報知処理部３８ｄ、動作判定部３８ｅ及び移動制御部３８ｆにそれぞれ対応するプロセスを実行させることになる。

【0038】

撮像制御部３８ａは、撮像ユニット３１を制御し災害地域の画像を撮像させ、得られた撮像画像を画像データ３７ｅとして記憶部３７に記憶する。

【0039】

避難誘導部３８ｂは、移動体制御装置２０から送信される避難誘導を行う音声メッセージ等のデータを受信し、避難誘導データ３７ｄとして記憶部３７に記憶する。また、記憶した避難誘導データ３７ｄを報知部３４に出力する。

【0040】

人物判定部３８ｃは、撮像ユニット３１を制御し撮像した画像に基づいて画像内に人物が存在するか否かを判定する処理を行う。具体的には、図４に示すように撮像ユニット３１により撮像された画像データ３７ｅを人物検出用学習済モデル３７ａに入力し、人物検出用学習済モデル３７ａから出力される人物確率（０～１）を取得し、この値に基づいて人物確率が所定値（本実施形態では０．８として説明する。）より大きい場合は、人物であると判定し、人物確率が０．８以下の場合は、人物でないと判定する。

【0041】

報知処理部３８ｄは、移動体３０ａが残留者と検出した物体を人物であると判定し、さらに後述する動作判定部３８ｅにおいて、倒れていないと判定した場合に、人物に所定の動作を行ってもらうために、動作指示を音声で報知する処理部である。

【0042】

動作判定部３８ｅは、撮像ユニット３１を制御し撮像した画像データ３７ｅに基づいて画像内の人物の姿勢を推定し、人物が倒れているか否かを判定する。また、報知処理部３８ｄで人物に対して動作指示した場合は、画像内の人物が所定の動作（指示した動作）を行ったか否かを判定する処理を行う。

【0043】

移動制御部３８ｆは、移動経路データ３７ｃと、高度センサ３２が出力する高度情報とＧＮＳＳユニット３３が出力する位置情報とを用いて複数の回転翼３６を制御することにより、機体の移動制御を行う制御部である。具体的には、移動制御部３８ｆは、移動経路データ３７ｃにしたがって移動するように制御する。また、残留者が避難していない場合は、避難誘導メッセージ等が届いていない可能性があると判定し、高度を低くして残留者に近づき、残留者が報知部３４からの報知音が聞こえ易くするように制御する。

【0044】

＜移動体３０ａの処理手順＞
次に図３に示した移動体３０ａの処理手順について説明する。図５は、図３に示した移動体３０ａの処理手順を示すフローチャートである。なお、移動体３０ｂ及び３０ｃも同様の処理となる。

【0045】

図５に示すように、移動体３０ａは、記憶部３７に記憶した移動経路データ３７ｃにしたがって、災害地域へ移動する（ステップＳ１０１）。そして、移動体３０ａは、災害地域に残留者が存在するか否かを検出する（ステップＳ１０２）。具体的には、撮像ユニット３１で撮像した画像内に人物が存在するか否かを、撮像した画像を人物検出用学習済モデル３７ａに入力し、人物確率を取得する。人物確率が０．８より大きい場合は、人物が存在すると判定し、人物確率が０．８以下である場合は、人物が存在しないと判定する。

【0046】

移動体３０ａは、人物が存在しないと判定した場合は（ステップＳ１０３；Ｎｏ）、移動経路に戻り、巡視を継続し（ステップＳ１０７）、一連の処理を終了する。

【0047】

これに対して、移動体３０ａは、人物が存在すると判定した場合は（ステップＳ１０３；Ｙｅｓ）、当該人物を残留者と判定し報知部３４より避難誘導データ３７ｄを報知する（ステップＳ１０４）。そして、移動体３０ａは、残留者が避難をしているか否かを判定する（ステップＳ１０５）。具体的には、避難誘導データ３７ｄを報知した後、当該残留者を追跡し、ＧＮＳＳ３３から取得した位置情報の変化が避難場所の方向である場合は、避難していると判定し、移動場所の方向でない場合、又は、変化していない場合は、避難していないと判定する。

【0048】

移動体３０ａは、人物が避難していないと判定した場合は（ステップＳ１０５；Ｎｏ）、再呼びかけ処理を行い（ステップＳ１０８）、ステップＳ１０７に移行する。

【0049】

これに対して、移動体３０ａは、人物が避難していると判定したならば（ステップＳ１０５；Ｙｅｓ）、残留者の避難が完了したか否かを判定する（ステップＳ１０６）。具体的には、ＧＮＳＳ３３から取得した位置情報が避難場所まで移動したか否かによって残留者の避難が完了したか否かの判定を行う。

【0050】

移動体３０ａは、残留者が避難を完了していない場合は（ステップＳ１０６；Ｎｏ）、ステップＳ１０４に移行し、避難誘導を継続する。これに対し、移動体３０ａは、残留者の避難が完了したと判定したならば（ステップＳ１０６；Ｙｅｓ）、移動経路に戻り、巡視を継続し（ステップＳ１０７）、一連の処理を終了する。

【0051】

＜人物検出処理の処理手順＞
次に人物検出処理について説明する。図６は、人物検出処理の処理手順を示すフローチャートである。図６に示すように、移動体３０ａは、撮像ユニット３１を制御して画像を撮像する（ステップＳ２０１）。

【0052】

そして、移動体３０ａは、撮像した画像に基づいて画像内に人物が含まれる確率を算出する（ステップＳ２０２）。具体的には、撮像した画像を人物検出用学習済モデル３７ａに入力し、人物確率を取得する。その後、移動体３０ａは、人物検出用学習済モデル３７ａから出力される人物確率が所定値より大きいか否かを判定する（ステップＳ２０３）。

【0053】

移動体３０ａは、人物確率が所定値より大きい場合は（ステップＳ２０３；Ｙｅｓ）、画像内に人物が含まれると判定し（ステップＳ２０４）、呼び出し元に戻る。これに対して、移動体３０ａは、人物確率が所定値以下の場合は（ステップＳ２０３；Ｎｏ）、画像内に人物が含まれないと判定し（ステップＳ２０５）、呼び出し元に戻る。

【0054】

＜再呼びかけ処理の処理手順＞
次に、再呼びかけ処理について説明する。図７及び図８は、再呼びかけ処理の処理手順を示すフローチャートである。図７に示すように、移動体３０ａは、残留者に向けて避難誘導の呼びかけを行い、残留者が移動しない場合は、高度を低下させるとともに、撮影角度を変更する（ステップＳ３０１）。

【0055】

その後、移動体３０ａは、残留者として認識した物体が人物であるか否か判定するため人物検出処理を行う（ステップＳ３０２）。具体的には、撮像ユニット３１で撮像した画像内に人物が存在するか否かを、撮像した画像を人物検出用学習済モデル３７ａに入力し、人物確率を取得する。人物確率が０．８より大きい場合は、人物が存在すると判定し、人物確率が０．８以下である場合は、人物が存在しないと判定する。そして、人物検出処理の結果、人物が含まれていないと判定された場合には（ステップＳ３０３；Ｎｏ）、人物ではない物体を人物として誤検出していたと判定し、図５のステップＳ１０７に移行する。

【0056】

これに対して、人物検出の結果、人物が含まれていると判定した場合は（ステップＳ３０３；Ｙｅｓ）、当該人物は残留者であるが、残留者に避難誘導メッセージが届いていない可能性があると判定し、移動体３０ａの高度を低下させる（ステップＳ３０４）。その後、移動体３０ａは、残留者が転倒して動けなくなっている可能性を判定するため、残留者が倒れているか否かを判定する倒れ検出処理を行う（ステップＳ３０５）。具体的には、撮像ユニット３１で撮像した画像を動作検出用学習済モデル３７ｂに入力し、残留者が倒れている確率を取得する。倒れている確率が所定値より大きい場合は、残留者が倒れていると判定し、倒れている確率が所定値以下の場合は、残留者が倒れていないと判定する。

【0057】

移動体３０ａは、倒れ検出の結果、残留者が倒れていると判定した場合は（ステップＳ３０６；Ｙｅｓ）、救助要請を移動体制御装置２０に通知し（ステップＳ３０７）、図５のＳ１０７に移行する。

【0058】

これに対して、倒れ検出の結果、残留者が倒れていないと判定した場合は、（ステップＳ３０６；Ｎｏ）、移動体３０ａは、高度をさらに低下させる（ステップＳ３０８）。そして、移動体３０ａは、残留者に向けて動作指示を含む動作検出処理を行う（ステップＳ３０９）。具体的には、手を振る等の所定の動作を行うよう指示する。そして、撮像ユニット３１で撮像した画像を動作検出用学習済モデル３７ｂに入力し、指示に従い所定の動作を行った確率を取得する。移動体３０ａは、所定の動作を行った確率が所定値の閾値より大きい場合は、所定の動作を行ったと判定し、所定の動作を行った確率が所定の閾値以下の場合は、所定の動作を行っていないと判定する。

【0059】

移動体３０ａは、動作検出の結果、所定の動作を行ったと判定した場合は（ステップＳ３１０；Ｙｅｓ）、避難誘導処理を行い（ステップＳ３１１）、図５のステップＳ１０７に戻る。

【0060】

これに対して、移動体３０ａは、動作検出の結果、所定の動作を行っていないと判定した場合は（ステップＳ３１０：Ｎｏ）、報知部３４から音声による呼びかけができない機材トラブル、けが等の理由で残留者が所定の動作を行えない状況、又は、言語等の問題で残留者が報知内容を理解できない状況である可能性が高いため、救援要請を移動体制御装置２０に通知し（ステップＳ３１２）、図５のＳ１０７に移行する。

【0061】

＜倒れ検出処理の処理手順＞
次に、倒れ検出処理の処理手順について説明する。図９は、倒れ検出処理の処理手順を示すフローチャートである。図９に示すように、移動体３０ａは、撮像ユニット３１を制御し画像を撮像する（ステップＳ４０１）。

【0062】

そして、移動体３０ａは、撮像した画像に基づいて画像内の残留者が倒れている確率を算出する（ステップＳ４０２）。具体的には、撮像した画像を動作検出用学習済モデル３７ｂに入力し、骨格情報等に基づいて残留者の姿勢を判定し、残留者が倒れている確率を取得する。その後、移動体３０ａは、動作検出用学習済モデル３７ｂから出力される残留者が倒れている確率が所定値より大きいか否かを判定する（ステップＳ４０３）。

【0063】

移動体３０ａは、残留者が倒れている確率が所定値より大きい場合は（ステップＳ４０３；Ｙｅｓ）、画像内の残留者が倒れていると判定し（ステップＳ４０４）、図７のステップＳ３０６に戻る。これに対して、移動体３０ａは、残留者が倒れている確率が所定値以下の場合は（ステップＳ４０３；Ｎｏ）、画像内の残留者が倒れていないと判定し（ステップＳ４０５）、図７のステップＳ３０６に戻る。

【0064】

＜動作検出処理の処理手順＞
次に、動作検出処理の処理手順について説明する。図１０は、動作検出処理の処理手順を示すフローチャートである。図１０に示すように、移動体３０ａは、所定の動作指示を含む呼びかけを行う（ステップＳ５０１）。ここで、所定の動作指示とは、例えば両手を頭の上で振って下さい等の指示である。

【0065】

移動体３０ａは、撮像ユニット３１を制御し画像を撮像する（ステップＳ５０２）。そして、移動体３０ａは、撮像した画像に基づいて画像内の人物が所定の動作を行った確率を算出する（ステップＳ５０３）。具体的には、撮像した画像を動作検出用学習済モデル３７ｂに入力し、画像に映る残留者が所定の動作を行った確率を取得する。その後、移動体３０ａは、動作検出用学習済モデル３７ｂから出力される所定の動作を行った確率が所定値より大きいか否かを判定する（ステップＳ５０４）。

【0066】

移動体３０ａは、残留者が所定の動作を行った確率が所定値より大きい場合は（ステップＳ５０４；Ｙｅｓ）、メッセージが聞こえていて内容を理解できたことから画像内の残留者が所定の動作を行ったと判定し（ステップＳ５０５）、図８のステップＳ３１０に戻る。これに対して、移動体３０ａは、所定の動作を行った確率が所定値以下の場合は（ステップＳ５０４；Ｎｏ）、機器トラブルや、けが等により動けない、言語等が理解できない等の問題で残留者にメッセージが届いていない、あるいは残留者がメッセージを理解できていない等の理由から画像内の残留者が所定の動作を行っていないと判定し（ステップＳ５０６）、図８のステップＳ３１０に戻る。

【0067】

＜避難誘導処理の処理手順＞
次に、避難誘導処理の処理手順について説明する。図１１は、避難誘導処理の処理手順を示すフローチャートである。図１１に示すように、移動体３０ａは、報知部３４から避難誘導データ３７ｄを報知する（ステップＳ６０１）。

【0068】

移動体３０ａは、残留者が避難をしているか否かを判定する（ステップＳ６０２）。具体的には、避難誘導データ３７ｄを報知した後、当該残留者を追跡し、ＧＮＳＳ３３から取得した位置情報の変化が避難場所の方向である場合には、残留者が避難していると判定する。そして、移動体３０ａは、残留者が避難していると判定したならば（ステップＳ６０２；Ｙｅｓ）、残留者の避難が完了したか否かを判定する（ステップＳ６０３）。具体的には、ＧＮＳＳ３３から取得した位置情報が避難場所まで移動したか否かによって残留者の避難が完了したか否かの判定を行う。

【0069】

これに対して、移動体３０ａは、残留者が避難をしていないと判定した場合は（ステップＳ６０２；Ｎｏ）、救援要請を移動体制御装置２０に通知し（ステップＳ６０４）、図５のステップＳ１０７に戻る。

【0070】

移動体３０ａは、人物が避難を完了していない場合は（ステップＳ６０３；Ｎｏ）、ステップＳ６０１に移行し、避難誘導を継続する。これに対し、移動体３０ａは、人物の避難が完了したと判定したならば（ステップＳ６０３；Ｙｅｓ）、図５のステップＳ１０７に戻る。

【0071】

上述してきたように、本実施形態では、移動体３０ａは、残留者に対して呼びかけを行い、残留者が避難しない場合に、残留者として検出した物体に近づき人物か否かの判定を行う。そして、人物と判定した、つまり、残留者であった場合には、移動体３０ａは、さらに残留者に近づき倒れているか否かの判定を行う。人物が倒れていない場合は、所定の動作指示を行い、人物が所定の動作を行わない場合は、機材トラブル、人物が予定の動作を行えない、又は、言語等の問題で報知内容が理解できない可能性があるため、救援要請を移動体制御装置２０に通知するようにしたので、移動体を用いて災害地域等の残留者に効率良く対応することができる。

【0072】

なお、上記実施形態では、人物検出用学習済モデル３７ａ及び動作検出用学習済モデル３７ｂは、深層学習を用いた学習済モデルを用いる場合について説明したが、本発明はこれに限定されるものではなく、教師有りの機械学習を行わせた学習済モデルを用いることもできる。

【0073】

上記の各実施形態で図示した各構成は機能概略的なものであり、必ずしも物理的に図示の構成をされていることを要しない。すなわち、各装置の分散・統合の形態は図示のものに限られず、その全部又は一部を各種の負荷や使用状況などに応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。

【産業上の利用可能性】

【0074】

以上のように、本発明に係る移動体制御システム、移動体及び移動体制御方法は、移動体を用いて災害地域等の残留者に効率良く対応する場合に適している。

【符号の説明】

【0075】

１０ サーバ装置
２０ 移動体制御装置
３０、３０ａ、３０ｂ、３０ｃ 移動体
３１ 撮像ユニット
３２ 高度センサ
３３ ＧＮＳＳユニット
３４ 報知部
３５ 無線通信部
３６ 回転翼
３７ 記憶部
３７ａ 人物検出用学習済モデル
３７ｂ 動作検出用学習済モデル
３７ｃ 移動経路データ
３７ｄ 避難誘導データ
３７ｅ 画像データ
３８ 制御部
３８ａ 撮像制御部
３８ｂ 避難誘導部
３８ｃ 人物判定部
３８ｄ 報知処理部
３８ｅ 動作判定部
３８ｆ 移動制御部
Ｎ ネットワーク

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】