(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024178624
(43)【公開日】2024-12-25
(54)【発明の名称】移動体システム、移動体及び人物領域検出方法
(51)【国際特許分類】
H04N 7/18 20060101AFI20241218BHJP
G06T 7/00 20170101ALI20241218BHJP
B64U 20/80 20230101ALI20241218BHJP
B64U 20/87 20230101ALI20241218BHJP
B64U 101/56 20230101ALN20241218BHJP
【FI】
H04N7/18 D
H04N7/18 K
G06T7/00 660B
B64U20/80
B64U20/87
B64U101:56
【審査請求】未請求
【請求項の数】8
【出願形態】OL
(21)【出願番号】P 2023096903
(22)【出願日】2023-06-13
(71)【出願人】
【識別番号】000202361
【氏名又は名称】綜合警備保障株式会社
(74)【代理人】
【識別番号】100114306
【弁理士】
【氏名又は名称】中辻 史郎
(72)【発明者】
【氏名】金子 真
(72)【発明者】
【氏名】大道 寛人
(72)【発明者】
【氏名】木村 亘宏
【テーマコード(参考)】
5C054
5L096
【Fターム(参考)】
5C054AA02
5C054CA04
5C054CC02
5C054CE01
5C054DA07
5C054FC12
5C054HA19
5L096AA02
5L096AA06
5L096BA02
5L096CA02
5L096CA24
5L096DA01
5L096EA37
5L096FA18
5L096FA69
5L096JA09
5L096KA04
5L096KA15
(57)【要約】
【課題】人物として誤検出され得る領域を効率的にマスク領域として設定し、もって人物の誤検出を低減することが課題。
【解決手段】移動体システムは、移動体30aが撮像した撮像画像データ及び人物検出を行った人物候補領域データを移動体制御装置20に送信し、移動体制御装置20において、監視者が指定した誤検出領域をマスク領域データとして取得し、移動体制御装置20は、該マスク領域データを移動体30aに送信し、移動体30aにおいて、受信したマスク領域データから緯度経度の実空間座標及びマスク領域データの有効時間であるマスク時間を算定し、マスク領域以外の領域で人物検出を行うことで、人物として誤検出され得る領域を効率的にマスク領域として設定し、もって人物の誤検出を低減する。
【選択図】
図1
【特許請求の範囲】
【請求項1】
撮像装置を搭載し撮像画像から人物を検出すると人物候補領域として送信する移動体と、前記移動体の移動制御を行う移動体制御装置とを有する移動体システムであって、
前記移動体制御装置は、
前記移動体より送信された人物候補領域のうち人物が映っていない人物候補領域をマスク領域と設定し、
前記移動体は、
前記移動体制御装置により前記マスク領域が設定されると、当該マスク領域を除く前記撮像画像において人物の検出を行う
ことを特徴とする移動体システム。
【請求項2】
前記移動体制御装置は、
入力部を有し、
当該入力部からの入力に基づき前記移動体から送信された前記人物候補領域を前記マスク領域と設定する
ことを特徴とする請求項1に記載の移動体システム。
【請求項3】
前記移動体制御装置は、
予めマスク領域を有効とする有効時間を設定しておき、
前記移動体は
前記移動体制御装置によりマスク領域が設定されると、有効時間の間は当該マスク領域を除く前記撮像画像において人物の検出を行う
ことを特徴とする請求項1に記載の移動体システム。
【請求項4】
前記移動体制御装置は、
前記入力部からの入力に基づきマスク領域を有効とする有効時間を設定し、
前記移動体は、
前記移動体制御装置によりマスク領域が設定されると、有効時間の間は当該マスク領域を除く前記撮像画像において人物の検出を行う
ことを特徴とする請求項2に記載の移動体システム。
【請求項5】
前記移動体は、
前記撮像装置の画角から前記マスク領域が逸脱したことを検知したならば、前記マスク領域を解除する
ことを特徴とする請求項1に記載の移動体システム。
【請求項6】
前記移動体は、
人物を検出している人物領域が前記マスク領域に移動したことを検知したならば、前記マスク領域を解除することを特徴とする請求項1に記載の移動体システム。
【請求項7】
撮像装置を搭載し撮像画像から人物を検出する移動体であって、
前記撮像装置により撮像された撮像画像から人物を検出した人物候補領域のうち人物が映っていない人物候補領域をマスク領域と設定し、
マスク領域を設定した後は、当該マスク領域を除く前記撮像画像において人物の検出を行う
ことを特徴とする移動体。
【請求項8】
撮像装置が搭載された移動体と、前記移動体の移動制御を行う移動体制御装置とを有する移動体システムにおける人物領域検出方法であって、
前記撮像装置により撮像された撮像画像から人物を検出すると人物候補領域として検出する工程と、
該人物候補領域のうち人物が映っていない人物候補領域をマスク領域と設定する工程と、
前記マスク領域が設定されると、当該マスク領域を除く前記撮像画像において人物の検出を行う工程と
を含むことを特徴とする人物領域検出方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、人物として誤検出され得る領域を効率的にマスク領域として設定し、もって人物の誤検出を低減することができる移動体システム、移動体及び人物領域検出方法に関する。
【背景技術】
【0002】
従来、河川等の災害地域にいる残留者をドローン等の移動体により避難誘導する技術が知られている(例えば、特許文献1を参照)。この際、移動体に搭載された撮像装置にて撮像された画像を自動解析して残留者を検知する必要があるが、樹木や岩、看板等が人物として誤検出されてしまい、人物の避難誘導に支障を来すおそれがある。
【0003】
そこで、誤検出の原因として想定される物を除外するために、これらを含む領域を予めマスク領域として登録しておき、人物検出の対象から除外する技術が知られている(例えば、特許文献2を参照)。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2022-191772号公報
【特許文献2】特許第7042911号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、事前に取得した画像をもとに誤検出の原因として想定される物を含む領域を予めマスク領域として登録しておく場合、飛行領域の画像を事前に取得する必要がある。また、例えば、狭い間隔で樹木が生えている場所をまとめてマスク領域として設定した場合、樹木の間にいる人物を検出できず、災害地域にいる人物の避難誘導を目的としたシステムでは大きな問題となってしまう。さらに、台風や河川の増水、氾濫等の災害発生時には大きな環境変化が生じるため、事前に登録したマスク領域では誤検出へ十分に対応することができないという問題がある。
【0006】
本発明は、上記従来技術による問題点(課題)を解決するためになされたものであって、人物として誤検出され得る領域を効率的にマスク領域として設定し、もって人物の誤検出を低減することができる移動体システム、移動体及び人物領域検出方法を提供することを目的とする。
【課題を解決するための手段】
【0007】
上述した課題を解決し、目的を達成するため、本発明は、撮像装置を搭載し撮像画像から人物を検出すると人物候補領域として送信する移動体と、前記移動体の移動制御を行う移動体制御装置とを有する移動体システムであって、前記移動体制御装置は、前記移動体より送信された人物候補領域のうち人物が映っていない人物候補領域をマスク領域と設定し、前記移動体は、前記移動体制御装置により前記マスク領域が設定されると、当該マスク領域を除く前記撮像画像において人物の検出を行う。
【0008】
また、本発明は、上記発明において、前記移動体制御装置は、入力部を有し、当該入力部からの入力に基づき前記移動体から送信された前記人物候補領域を前記マスク領域と設定する。
【0009】
また、本発明は、上記発明において、前記移動体制御装置は、予めマスク領域を有効とする有効時間を設定しておき、 前記移動体は前記移動体制御装置によりマスク領域が設定されると、有効時間の間は当該マスク領域を除く前記撮像画像において人物の検出を行う。
【0010】
また、本発明は、上記発明において、前記移動体制御装置は、前記入力部からの入力に基づきマスク領域を有効とする有効時間を設定し、前記移動体は、前記移動体制御装置によりマスク領域が設定されると、有効時間の間は当該マスク領域を除く前記撮像画像において人物の検出を行う。
【0011】
また、本発明は、上記発明において、前記移動体は、前記撮像装置の画角から前記マスク領域が逸脱したことを検知したならば、前記マスク領域を解除する。
【0012】
また、本発明は、上記発明において、前記移動体は、人物を検出している人物領域が前記マスク領域に移動したことを検知したならば、前記マスク領域を解除する。
【0013】
また、本発明は、撮像装置を搭載し撮像画像から人物を検出する移動体であって、前記撮像装置により撮像された撮像画像から人物を検出した人物候補領域のうち人物が映っていない人物候補領域をマスク領域と設定し、マスク領域を設定した後は、当該マスク領域を除く前記撮像画像において人物の検出を行う。
【0014】
また、本発明は、撮像装置が搭載された移動体と、前記移動体の移動制御を行う移動体制御装置とを有する移動体システムにおける人物領域検出方法であって、前記撮像装置により撮像された撮像画像から人物を検出すると人物候補領域として検出する工程と、該人物候補領域のうち人物が映っていない人物候補領域をマスク領域と設定する工程と、前記マスク領域が設定されると、当該マスク領域を除く前記撮像画像において人物の検出を行う工程とを含む。
【発明の効果】
【0015】
本発明によれば、人物として誤検出され得る領域を効率的にマスク領域として設定し、もって人物の誤検出を低減することができる。
【図面の簡単な説明】
【0016】
【
図1】
図1は、実施形態1に係る移動体システムの概要を示す図である。
【
図2】
図2は、実施形態1に係る移動体システムのシステム構成を示す図である。
【
図3】
図3は、
図2に示した移動体制御装置の構成を示す機能ブロック図である。
【
図4】
図4は、
図2に示した移動体の構成を示す機能ブロック図である。
【
図5】
図5は、
図2に示した移動体システムの処理手順を示すシーケンス図である。
【
図8】
図8は、実施形態2に係る移動体システムの概要を示す図である。
【
図9】
図9は、移動体が撮像した撮像画像の一例を示す図である。
【
図10】
図10は、
図8に示した移動体制御装置の構成を示す機能ブロック図である。
【
図12】
図12は、実施形態3に係る移動体制御装置の構成を示す機能ブロック図である。
【
図13】
図13は、実施形態3に係る移動体の構成を示す機能ブロック図である。
【発明を実施するための形態】
【0017】
以下に、本発明に係る移動体システム、移動体及び人物領域検出方法の実施形態を図面に基づいて詳細に説明する。
【0018】
[実施形態1]
<移動体システムの概要>
本実施形態1に係る移動体システムの概要について説明する。
図1は、実施形態1に係る移動体システムの概要を示す図である。本実施形態1に係る移動体システムは、移動体30aと移動体制御装置20とを有し、まず、移動体30aが、撮像した撮像画像と移動体30aの位置情報を含む撮像画像データ及び人物として検出した領域を示す人物候補領域データを移動体制御装置20に送信する。移動体制御装置20では、受信した撮像画像データに含まれる撮像画像及び人物候補領域データにより示される人物候補領域G1及びG2を表示する。移動体制御装置20は、表示内容を確認した監視者により人物が撮像されていない人物候補領域G1が指定されると、監視者が指定した人物候補領域G1をマスク領域Mとし、当該マスク領域Mを有効とする有効時間を含むマスク領域データを移動体30aに送信する。移動体30aでは、受信したマスク領域データをもとに移動経度の実空間座標及びマスク領域データの有効時間であるマスク時間を算定し、有効時間の間はマスク領域M以外の領域で人物が存在する人物領域を特定する。これにより、人物として誤検出され得る領域を効率的にマスク領域として設定し、もって人物の誤検出を低減することができる。ここでは、ドローンと呼ばれる無人飛行体を移動体として用いる場合を中心に説明する。
【0019】
本実施形態1の移動体30a(ドローン)は、移動体制御装置20の制御の下に自律的に飛行可能な無人飛行体である。つまり、かかる移動体30aは、操作者による操作によって移動制御されるものではなく、移動体制御装置20の指示に応じて自律的に移動制御する。また、詳しくは後述するが、本実施形態1の移動体30aは、自己の周囲を撮像した撮像画像を取得する手段と撮像画像に基づいて人物を検出する手段を備え、取得した撮像画像や人物候補領域データを移動体制御装置20へ送信する。
【0020】
図1に示すように、本実施形態に係る移動体システムの移動体30aは、災害地域の画像を撮像する(S1)。移動体30aは、撮像画像にて人物の検出を行う(S2)。このとき、移動体30aが人物以外の物体、例えば、岩等を人物として検出してしまう場合がある。
【0021】
移動体30aは、人物を検出したならば、撮像画像データ及び人物候補領域データを移動体制御装置20に送信する(S3)。移動体制御装置20は、移動体30aから撮像画像データ及び人物候補領域データを受信したならば、所定の表示部に該撮像画像データに含まれる撮像画像及び人物候補領域データにより示される人物候補領域G1及びG2を表示する。そして、表示内容を確認した監視者により人物が撮影されていない人物候補領域G1が指定された場合、移動体制御装置20は、監視者が指定した人物候補領域G1をマスク領域Mとして設定する(S4)。また、監視者が入力部22にて入力するマスク領域Mを有効とする時間を有効時間を取得し、該画像データにおけるマスク領域Mの有効時間として設定する。
【0022】
移動体制御装置20は、マスク領域Mと有効時間を含むマスク領域データを移動体30aに送信する(S5)。移動体30aは、マスク領域データを受信したならば、該マスク領域データに基づいてマスク領域Mの緯度経度を含む実空間座標及びマスク領域を設定するマスク時間を設定する(S6)。移動体30aは、マスク領域Mの該実空間座標及び該有効時間に基づいて、有効時間の間は、撮像した画像のうち、マスク領域Mを除いた領域にて検出されている人物候補領域を、人物が存在する人物領域として特定し(S7)、避難誘導等を行う。
【0023】
<移動体システム10の構成>
次に、移動体システム10のシステム構成について説明する。
図2は、実施形態1に係る移動体システム10のシステム構成を示す図である。
図2に示すように、移動体システム10は、移動体制御装置20と、複数の移動体30a、30b、30c(以下、「移動体30」と総称する場合がある)とがネットワークNに接続される。
【0024】
移動体制御装置20は、(1)移動体30から撮像画像データ及び人物候補領域データを受信し、所定の表示部に表示する処理、(2)表示内容を確認した監視者が指定した人物候補領域をマスク領域Mとし、マスク領域Mを有効とする有効時間を設定する処理、(3)マスク領域Mと有効時間を含むマスク領域データを移動体30に送信する処理とを行う。なお、撮像画像データ及びマスク領域データには、画像が撮像された時の緯度経度及び高度のデータを含む。
【0025】
移動体30は、設定された飛行経路に従い災害地域等を飛行しながら、(1)周囲の画像を撮像ユニットで撮像し、撮像画像を取得する処理、(2)撮像画像に基づいて人物を検出する処理、(3)GNSS(Global Navigation Satellite System)ユニットから緯度経度データを取得する処理、(4)撮像画像と移動体30の緯度経度と高度及び撮像方向を含む撮像画像データ及び人物として検出した領域(人物候補領域)を示す人物候補領域データを移動体制御装置20に送信する処理、(5)移動体制御装置20からマスク領域データを受信する処理、(6)マスク領域Mの実空間座標を算定する処理、(7)有効時間の間はマスク領域Mを除いた撮像領域において、人物が存在する人物領域を特定する処理等を行う。
【0026】
<移動体制御装置20の構成>
次に、
図2に示した移動体制御装置20の構成について説明する。
図3は、
図2に示した移動体制御装置20の構成を示す機能ブロック図である。
図3に示すように、移動体制御装置20は、表示部21と、入力部22と無線通信部23と、記憶部24と、制御部25とを有する。
【0027】
表示部21は、液晶パネル又はディスプレイ装置などの表示デバイスであり、入力部22は、キーボードやマウスなどの入力デバイスである。無線通信部23は、移動体30と無線通信するためのインターフェース部である。
【0028】
記憶部24は、ハードディスク装置や不揮発性メモリ等の記憶デバイスであり、マスク領域データ24aを記憶する。マスク領域データ24aは、移動体30から受信した人物候補領域のうち、人物が撮像されていないとして監視者が指定した人物候補領域であるマスク領域と、当該マスク領域を有効とする有効時間を含むデータである。なお、マスク領域データ24aには、画像撮像時の移動体30の緯度経度と高度及び撮像方向のデータを含む。
【0029】
制御部25は、移動体制御装置20の全体を制御する制御部であり、撮像画像表示部25aと、マスク領域設定部25bと、マスク領域データ送信部25cとを有する。実際には、これらプログラムをCPUにロードして実行することにより、撮像画像表示部25aと、マスク領域設定部25bと、マスク領域データ送信部25cとにそれぞれ対応するプロセスを実行させることになる。
【0030】
撮像画像表示部25aは、移動体30から受信した撮像画像データ及び人物候補領域データを所定の表示部21に表示する処理を行う。具体的には、移動体30から受信した撮像画像上に、移動体30が人物検出を行った人物候補領域を、例えば、四角の枠を用いて表示制御する処理を行う。
【0031】
マスク領域設定部25bは、表示部21に表示された撮像画像及び人物候補領域のうち、監視者が人物を撮像していない領域(マスク領域M)を入力部22から指定した場合に、該マスク領域Mのデータを取得し、撮像画像データに含まれる緯度経度と高度及び撮像方向のデータとともにマスク領域データ24aとして記憶部24に記憶する処理を行う。
【0032】
マスク領域データ送信部25cは、記憶部24に記憶されたマスク領域データ24aを読み出し、移動体30に送信する処理を行う。
【0033】
<移動体30aの構成>
次に、
図2に示した移動体30aの構成について説明する。
図4は、
図2に示した移動体30aの構成を示す機能ブロック図である。なお、移動体30b及び30cも同様の構成となる。
図4に示すように、移動体30aは、撮像ユニット31、高度センサ32、GNSSユニット33、無線通信部34、回転翼35、記憶部36及び制御部37を有する。
【0034】
撮像ユニット31は、カメラにより飛行領域の状況を撮像する撮像装置である。撮像ユニット31に搭載されるカメラは、CCD(Charge Coupled Device)等により画像を電気信号に変換し撮像するデバイスを用いている。
【0035】
高度センサ32は、移動体30aの高度を計測するセンサである。この高度センサ32として、例えば気圧センサを用いることができ、気圧センサ及び超音波センサを組み合わせることもできる。これにより、移動体30aは地上に近い場所で安定的に高度を保持することが可能となる。GNSSユニット33は、複数のGNSS衛星から信号を受信して自装置の位置座標を特定するユニットである。
【0036】
無線通信部34は、移動体制御装置20と無線通信をするためのインターフェース部である。複数の回転翼35は、図示しない移動制御部からの制御を受けて個別に回転し、移動体30aの姿勢制御及び移動を可能とする。
【0037】
記憶部36は、ハードディスク装置や不揮発性メモリ等の記憶デバイスであり、人物検出用学習済モデル36a、撮像画像データ36b、人物候補領域データ36c、実空間マスク領域データ36d及びマスク時間データ36eを記憶する。人物検出用学習済モデル36aは、深層学習により得られる学習済モデルである。かかる深層学習を用いる場合は、あらかじめ、図示しないサーバ装置等で人が含まれる画像とその結果を教師データとした教師あり学習を行って学習済モデルを生成し、移動体30aにダウンロードする。また、深層学習以外の機械学習を用いることもできる。なお、人物の検出には、撮像画像に対して、人のテンプレートを用いたパターンマッチング処理などを行ってもよい。
【0038】
撮像画像データ36bは、移動体30aが撮像ユニット31を用いて撮像した画像データである。かかる撮像画像データ36bは、後述する緯度経度処理部37cで取得する緯度経度及び高度と、撮像画像を撮像したときの撮像方向のデータを含む。人物候補領域データ36cは、人物検出用学習済モデル36aを用いて撮像画像データ36bの撮像画像に含まれる人物を検出し、人物として検出した領域を示すデータである。実空間マスク領域データ36dは、移動体制御装置20から受信したマスク領域データ24aの撮像画像内の相対座標及び、マスク領域データ24aに含まれる緯度経度と高度及び撮像方向のデータから実際の緯度経度の実空間の座標を算定したデータである。マスク時間データ36eは、マスク領域データ24aに含まれ、実空間マスク領域データ36dを用いて、マスク領域とされた領域の検出データを検出しないように処理する時間を示すデータである。なお、有効時間は、監視者がマスク領域を設定する際に入力して設定する場合を例に説明するが、これに限らず、あらかじめ設定しておいもよい。
【0039】
制御部37は、移動体30aの全体を制御する制御部であり、撮像制御部37aと、人物検出部37bと、緯度経度処理部37cと、画像データ送信部37dと、マスク領域データ受信部37eと、実空間座標算定部37fと、人物領域特定部37gとを有する。実際には、これらプログラムをCPUにロードして実行することにより、撮像制御部37aと、人物検出部37bと、緯度経度処理部37cと、画像データ送信部37dと、マスク領域データ受信部37eと、実空間座標算定部37fと、人物領域特定部37gとにそれぞれ対応するプロセスを実行させることになる。
【0040】
撮像制御部37aは、撮像ユニット31に災害地域の画像を撮像させ、得られた撮像画像を撮像画像データ36bとして記憶部36に記憶する。人物検出部37bは、人物検出用学習済モデル36aを用いて撮像画像データ36bの撮像画像に含まれる人物を検出し、検出された人物の領域を人物候補領域データ36cとして記憶部36に記憶する処理を行う。
【0041】
緯度経度処理部37cは、高度センサ32から移動体30aの高度データを取得するとともに、GNSSユニット33から移動体30aが飛行している緯度経度データを取得し、撮像画像データ36bの属性データとして記憶部36に記憶する処理を行う。
【0042】
画像データ送信部37dは、撮像画像データ36b及び人物候補領域データ36cを読み出し、移動体制御装置20に送信する処理を行う。マスク領域データ受信部37eは、移動体制御装置20から送信されたマスク領域データ24aを受信する処理を行う。
【0043】
実空間座標算定部37fは、移動体制御装置20から受信したマスク領域データ24aのマスク領域Mの撮像画像内の相対座標及び、マスク領域データ24aに含まれる緯度経度と高度及び撮像方向のデータから、マスク領域の実空間である緯度経度の座標を算定し、実空間マスク領域データ36dとして記憶部36に記憶する処理を行うとともに、マスク領域Mを有効とする有効時間を設定し、マスク時間データ36eとして記憶部36に記憶する処理を行う。かかる実空間である緯度経度の座標は、マスク領域データ24aに含まれる画像撮像時の緯度経度及び高度のデータと移動体30に配設された画像ユニットの設置角度データから三角関数を用いて画像の特定部分の緯度経度を算定し、その後、撮像画像内の相対座標から実空間座標を算定する。
【0044】
人物領域特定部37gは、移動体30aが撮像した撮像画像に基づいて人物検出部37bで検出した人物候補領域データ36cと実空間マスク領域データ36dとを比較し、撮像画像内の実空間マスク領域を除いた領域で、人物が検出された領域を人物領域と特定する処理を行う。なお、人物領域特定部37gは、マスク時間データ36eで設定された時間内において、実空間マスク領域を除いた領域について人物領域の特定処理を行う。
【0045】
<移動体システム10の処理手順>
次に、移動体システム10の処理手順について説明する。
図5は、
図2に示した移動体システム10の処理手順を示すシーケンス図である。
図5に示すように、移動体30aは、災害地域を飛行しつつ災害地域の画像を撮像し(ステップS101)、高度センサ32及びGNSSユニット33により取得した高度データ及び緯度経度データ及び撮像方向の情報とともに撮像画像データとして記憶する(ステップS102)。そして、移動体30aは、撮像した撮像画像に基づいて、人物の検出を行い(ステップS103)、人物を検出すると、移動体制御装置20に高度データ及び緯度経度データを含む撮像画像データ36b及び人物候補領域データ36cを送信する(ステップS104)。
【0046】
移動体制御装置20は、移動体30aから撮像画像データ36b及び人物候補領域データ36cを受信したならば、記憶部36に該撮像画像データ36b及び該人物候補領域データ36cを記憶するとともに、受信した撮像画像及び人物候補領域を表示部21に表示する(ステップS105)。そして、移動体制御装置20は、表示部21に表示された人物候補領域のうち人物が映っていない領域として監視者が人物候補領域を指定したならば、該人物候補領域をマスク領域として設定し、監視者が設定した有効時間とともに記憶する(ステップS106)。その後、移動体制御装置20は、移動体30aに高度データと緯度経度データ及び有効時間を含むマスク領域データ24aを送信する(ステップS107)。
【0047】
移動体30aは、移動体制御装置20からマスク領域データ24aを受信したならば(ステップS107)、マスク領域データ24aに含まれる高度データ及び緯度経度データに基づいて、マスク領域データ24aの実空間座標を算定する(ステップS109)とともに、マスク領域データ24aの有効時間を設定する(ステップS110)。そして、移動体30aは、設定された有効時間の間は、実空間のマスク領域を除いた領域で人物検出部37bが人物を検出したならば、該領域を人物領域として特定する(ステップS111)。
【0048】
上述してきたように、本実施形態1では、移動体システム10は、移動体30aが撮像した撮像画像データ36b及び人物検出を行った人物候補領域データ36cを移動体制御装置20に送信し、移動体制御装置20において、監視者が指定した誤検出領域をマスク領域データ24aとして設定し、移動体制御装置20は、該マスク領域データ24aを移動体30aに送信し、移動体30aにおいて、受信したマスク領域データ24aから移動経度の実空間座標を算定し、設定した有効時間の間はマスク領域Mを除いた領域で人物検出を行うようにしたため、人物として誤検出され得る領域を効率的にマスク領域Mとして設定し、もって人物の誤検出を低減することができる。
【0049】
<変形例1>
ところで、上記実施形態1では、移動体30aは、マスク領域Mの有効時間を監視者が設定する場合について説明したが、変形例1では、移動体30aの撮像領域がすでに設定されているマスク領域データ24aの範囲から離れたならば、マスク領域Mの設定を解除する場合について説明する。
【0050】
図6は、変形例1の概要を示す図である。
図6(a)に示すように、移動体30aは、撮像ユニット31が撮像する領域である撮像領域内にマスク領域Mが設定されている場合は、このマスク領域M内に人物を検出したとしても、その検出を無効とする。また、実施形態1に係る移動体システム10では、移動体30aは、このマスク領域Mの有効時間を設定し、有効時間を経過するとマスク領域Mを解除する。
【0051】
一方、変形例1に係る移動体システム10では、
図6(b)に示すように、移動体30aが、飛行経路に従って移動し、撮像領域にマスク領域Mが含まれなくなった場合に、移動体30aは、設定されたマスク領域Mを自動的に解除する。このようにすることにより、監視者による有効時間の設定が不要となり、監視者の負担を軽減することができる。また、不必要に長時間マスク領域として設定されることがなくなり、万が一、マスク領域に設定されていた領域に人が移動してきた場合でも、この人物を確実に発見することが可能になる。
【0052】
<変形例2>
次に、変形例2について説明する。
図7は、変形例2の概要を示す図である。
図7(a)に示すように、移動体30aは、移動体制御装置20から送信されたマスク領域データ24aに基づいて、マスク領域Mが設定されている。ここで、
図7(b)に示すように、すでに検出された人物がマスク領域Mの範囲に入った場合には、人物の検出が無効になってしまう。
【0053】
変形例2に係る移動体システム10では、すでに検出された人物がマスク領域Mの範囲に入った場合は、該マスク領域Mを解除する。そして、
図7(c)に示すように、すでに検出された人物が、解除されたマスク領域Mを離れたとしても、マスク領域Mの解除を継続する。なお、検出された人物が、解除されたマスク領域Mから遠ざかった場合に、再度、マスク領域Mを設定するようにしてもよい。
【0054】
<変形例3>
次に変形例3について説明する。変形例3に係る移動体システム10は、移動体30aのマスク領域Mは、移動体制御装置20から送信されたマスク領域データ24aに基づいて設定されているが、マスク領域Mの範囲で移動体30aの人物検出部37bが、連続する複数のフレーム(例えば、10フレーム)において、人物検出の検出確率が所定の閾値以上(例えば、0.8以上)であった場合に、自動的にマスク領域Mを解除するようにしてもよい。
【0055】
なお、上記実施形態1では、監視者がマスク領域を設定する場合について説明したが、本発明は、これに限定されるものではなく、移動体30が人物検出する場合の人物検出の確からしさに基づいて、人物検出と誤検出を判定してもよい。例えば、移動体30の人物検出部37bが人物検出用学習済モデル36aを用いて撮像画像に含まれる人物検出を行った結果、人物検出の判定確率が0.8以上であった場合は、人物を検出したと判定し、人物検出の判定確率が0.3以下であった場合には、誤検出したと判定してもよい。また、人物であるか否かではなく、誤検出の原因となり得るブロックや樹木、看板などであるかを判定し、この判定確率が一定以上である場合に誤検出の原因となりえる物体であると判定し、マスク領域と設定するようにしてもよい。
【0056】
[実施形態2]
ところで、上記実施形態1では、移動体30aから撮像画像データ36b及び人物候補領域データ36cを移動体制御装置20に送信し、移動体制御装置20において監視者が指定した領域をマスク領域Mとして設定する場合について説明したが、実施形態2に係る移動体システムでは、複数の移動体から物体検出領域データを受信し、複数の物体検出領域データから物体検出領域を特定し、マスク領域Mを設定する場合について説明する。
【0057】
図8は、実施形態2に係る移動体システムの概要を示す図である。実施形態2に係る移動体システムは、移動体制御装置40と、移動体50a、50b、50c(以下、「移動体50」と総称する場合がある)とを有する。
図8に示すように、移動体50aは、実空間座標を含む物体検出領域データ(
図9(a)参照)を移動体制御装置40に送信する(S11)。また、移動体50bも実空間座標を含む物体検出領域データ(
図9(b)参照)を移動体制御装置40に送信する(S12)。さらに、移動体50cも実空間座標を含む物体検出領域データ(
図9(c))を移動体制御装置40に送信する(S13)。
【0058】
移動体制御装置40は、複数の移動体50a、50b、50cから受信した物体検出領域データに基づいて、マスク領域Mを設定する(S14)。ここでは、
図9に示すように移動体50a及び移動体50bから送信された物体検出領域データには、検出された物体検出領域Bが存在するが、移動体50cから送信された物体検出領域データには、物体検出領域Bが存在しない。移動体制御装置40は、物体検出領域Bが近しい緯度経度であり、かつ、物体を検出した移動体が、物体を検出しない移動体より多い場合には、移動体50a及び移動体50bから送信された物体検出領域Bをマスク領域Mとして設定する。そして、移動体制御装置40は、マスク領域データを移動体50a、50b及び50cにそれぞれ送信する(S15、S16及びS17)。
【0059】
<移動体制御装置40の構成>
次に、実施形態2に係る移動体システムの移動体制御装置40の構成について説明する。なお、
図3に示した移動体制御装置20と同様の機能部については、同一符号を付すこととして、その詳細な説明を省略する。
図10に示すように、移動体制御装置40は、表示部21、入力部22、無線通信部23、記憶部44及び制御部45を有する。
【0060】
記憶部44は、ハードディスク装置や不揮発性メモリ等の記憶デバイスであり、物体検出領域データ44a及びマスク領域データ44bを記憶する。物体検出領域データ44aは、複数の移動体50から受信した実空間座標を含む物体検出領域Bのデータである。マスク領域データ44bは、複数の移動体50において検出された物体検出領域Bをマスク領域Mとして設定したデータである。
【0061】
制御部45は、移動体制御装置40の全体を制御する制御部であり、マスク領域データ送信部25cと、物体検出領域データ処理部45aと、誤検出判定部45bとを有する。実際には、これらプログラムをCPUにロードして実行することにより、マスク領域データ送信部25cと、物体検出領域データ処理部45aと、誤検出判定部45bとにそれぞれ対応するプロセスを実行させることになる。
【0062】
物体検出領域データ処理部45aは、複数の移動体50から各移動体50が検出した物体検出領域データを取得し、物体検出領域データ44aとして記憶部44に記憶する処理を行う。誤検出判定部45bは、記憶部44に記憶された物体検出領域データ44aを読み出し、所定の領域(実空間座標の近しい領域)において複数の移動体50によって物体検出領域Bが存在する場合に、該物体検出領域Bをマスク領域Mと判定し、マスク領域データ44bとして記憶部44に記憶する処理を行う。
【0063】
<移動体50aの構成>
次に実施形態2に係る移動体システムの移動体50aの構成について説明する。なお、移動体50b及び50cも同様の構成となる。また、
図4に示した移動体30aと同様の機能部については、同一符号を付すこととして、その詳細な説明を省略する。
図11に示すように、移動体50aは、撮像ユニット31、高度センサ32、GNSSユニット33、無線通信部34、回転翼35、記憶部56及び制御部57を有する。
【0064】
記憶部56は、ハードディスク装置や不揮発性メモリ等の記憶デバイスであり、人物検出用学習済モデル36aと、撮像画像データ36bと、人物候補領域データ36cと、実空間マスク領域データ36dと、マスク時間データ36eと、物体検出用学習済モデル56aと、物体検出領域データ56bとを記憶する。物体検出用学習済モデル56aは、深層学習により得られる学習済モデルである。かかる深層学習を用いる場合は、あらかじめ、図示しないサーバ装置等でブロックや樹木、看板などの人と誤って検出する可能性がある物体が含まれる画像とその結果を教師データとした教師あり学習を行って学習済モデルを生成し、移動体50aにダウンロードする。また、深層学習以外の機械学習を用いることもできる。なお、なお、人物の検出には、撮像画像に対して、物体のテンプレートを用いたパターンマッチング処理などを行ってもよい。
【0065】
物体検出領域データ56bは、撮像画像データ36bに基づいて後述する物体検出部57aにて物体を検出した実空間座標を含む検出領域のデータである。
【0066】
制御部57は、移動体50aの全体を制御する制御部であり、撮像制御部37aと、人物検出部37bと、緯度経度処理部37cと、画像データ送信部37dと、マスク領域データ受信部37eと、実空間座標算定部37fと、人物領域特定部37gと、物体検出部57aと、物体検出領域データ送信部57bとを有する。実際には、これらプログラムをCPUにロードして実行することにより、撮像制御部37aと、人物検出部37bと、緯度経度処理部37cと、画像データ送信部37dと、マスク領域データ受信部37eと、実空間座標算定部37fと、人物領域特定部37gと、物体検出部57aと、物体検出領域データ送信部57bとにそれぞれ対応するプロセスを実行させることになる。
【0067】
物体検出部57aは、物体検出用学習済モデル56aを用いて移動体50aが撮像した撮像画像に含まれる物体を検出し、検出された物体の実空間座標を含む物体検出領域を特定する処理部であり、特性された領域は、物体検出領域データ56bとして記憶部56に記憶する処理を行う。
【0068】
物体検出領域データ送信部57bは、記憶部56に記憶した物体検出領域データ56bを読み出し、移動体制御装置40に送信する処理を行う。
【0069】
上述してきたように、本実施形態2では、移動体システムの移動体制御装置40は、複数の移動体50からそれぞれの移動体50において検出した物体検出領域データ56bを受信し、該物体検出領域データ56bに基づいて、マスク領域Mを特定する。そして、移動体制御装置40は、マスク領域データ44bを複数の移動体50に送信する。移動体50は、該マスク領域データ44bに基づいて、マスク領域M以外の領域で人物検出を行うようにしたため、人物として誤検出され得る領域を効率的にマスク領域として設定し、もって人物の誤検出を低減することができる。
【0070】
[実施形態3]
ところで、上記実施形態1では、移動体30が、移動体制御装置20から受信したマスク領域データ24aに基づいて実空間座標を算出する場合について説明したが、移動体制御装置60において算出することもできる。このため、実施形態3に係る移動体システムでは、移動体30aが撮像した撮像画像データ36b及び人物検出を行った人物候補領域データ36cを移動体制御装置60に送信し、移動体制御装置60において、監視者が指定したマスク領域をマスク領域データ24aとして設定し、さらに、該マスク領域データ24aから緯度経度の実空間座標及びマスク領域データ24aの有効時間であるマスク時間を算定する場合について説明する。
【0071】
<移動体制御装置60の構成>
図12は、実施形態3に係る移動体制御装置60の構成を示す機能ブロック図である。なお、実施形態1と同様の部位については、同一の符号を付すこととして、その詳細な説明を省略する。
図12に示すように、実施形態3に係る移動体制御装置60は、表示部21と、入力部22と、無線通信部23と、記憶部64と、制御部65とを有する。
【0072】
記憶部64は、ハードディスク装置や不揮発性メモリ等の記憶デバイスであり、マスク領域データ24aと、実空間マスク領域データ64aと、マスク時間データ64bとを記憶する。実空間マスク領域データ64aは、移動体70から受信した緯度経度及び移動体70の高度データに基づいて、マスク領域設定部25bで設定されたマスク領域の実空間の座標を算出したデータである。マスク時間データ64bは、実空間マスク領域データ64aを用いて、誤検出した領域の検出データを検出しないように処理する時間のデータである。なお、マスク時間データ64bは、監視者によって設定される。
【0073】
制御部65は、移動体制御装置60の全体を制御する制御部であり、撮像画像表示部25aと、マスク領域設定部25bと、実空間位置算定部65aと、実空間マスク領域データ送信部65bとを有する。実際には、これらプログラムをCPUにロードして実行することにより、撮像画像表示部25aと、マスク領域設定部25bと、実空間位置算定部65aと、実空間マスク領域データ送信部65bとにそれぞれ対応するプロセスを実行させることになる。
【0074】
実空間位置算定部65aは、マスク領域設定部25bにて設定したマスク領域データ24aのマスク領域Mの撮像画像内の相対座標から、実空間である移動経度の座標を算定し、実空間マスク領域データ64aとして記憶部64に記憶する処理を行い、マスク時間データ64bとして記憶部64に記憶する処理を行う。かかる実空間である緯度経度の座標は、マスク領域データ24aに含まれる画像撮像時の緯度経度及び高度のデータと移動体70から受信した撮像ユニット31の撮像方向データから三角関数を用いて画像の特定部分の緯度経度を算定し、その後、撮像画像内の相対座標から実空間座標を算定する。
【0075】
実空間マスク領域データ送信部65bは、記憶部64に記憶された実空間マスク領域データ64a及びマスク時間データ64bを読み出し、移動体70に送信する処理を行う。
【0076】
<移動体70の構成>
次に、実施形態3に係る移動体70の構成について説明する。
図13は、実施形態3に係る移動体の構成を示す機能ブロック図である。なお、実施形態1と同様の部位については、同一の符号を付すこととして、その詳細な説明を省略する。
図13に示すように、移動体70は、撮像ユニット31、高度センサ32、GNSSユニット33、無線通信部34、回転翼35、記憶部76及び制御部77を有する。
【0077】
記憶部76は、ハードディスク装置や不揮発性メモリ等の記憶デバイスであり、人物検出用学習済モデル36a、撮像画像データ36b、人物候補領域データ36c、実空間マスク領域データ76a及びマスク時間データ76bを記憶する。実空間マスク領域データ76aは、移動体制御装置60から受信したマスク領域データ24aの撮像画像内の相対座標から実際の緯度経度の実空間の座標を算定したデータである。マスク時間データ76bは、実空間マスク領域データ76aを用いて、撮像画像のうちマスク領域Mを除いた領域で人物検出を行う時間を示すデータである。
【0078】
制御部77は、移動体70の全体を制御する制御部であり、撮像制御部37aと、人物検出部37bと、緯度経度処理部37cと、人物領域特定部37gと、画像データ送信部77aと、実空間マスク領域データ受信部77bとを有する。実際には、これらプログラムをCPUにロードして実行することにより、撮像制御部37aと、人物検出部37bと、緯度経度処理部37cと、人物領域特定部37gと、画像データ送信部77aと、実空間マスク領域データ受信部77bとにそれぞれ対応するプロセスを実行させることになる。
【0079】
画像データ送信部77aは、撮像画像データ36b及び人物候補領域データ36cを読み出し、撮像画像データ36bと、人物候補領域データ36cと、とを移動体制御装置60に送信する処理を行う。実空間マスク領域データ受信部77bは、移動体制御装置60から送信された実空間マスク領域データ64aを受信する処理を行う。
【0080】
上述してきたように、本実施形態3では、移動体システムは、移動体70が撮像した撮像画像データ36b及び人物検出を行った人物候補領域データ36cを移動体制御装置60に送信し、移動体制御装置60において、監視者が指定した誤検出領域をマスク領域データ24aとして設定する。そして、移動体制御装置60は、該マスク領域データ24aから緯度経度の実空間座標を算定する。移動体70は、移動体制御装置60から実空間マスク領域データ64a及びマスク時間データ64bを受信し、マスク領域Mを除いた領域で人物検出を行うようにしたため人物として誤検出され得る領域を効率的にマスク領域Mとして設定し、もって人物の誤検出を低減することができる。
【0081】
<変形例4>
ところで、上記実施形態3では、移動体70は、マスク領域Mの有効時間を監視者が設定する場合について説明したが、変形例4では、移動体70の撮像領域がすでに設定されている実空間マスク領域データ76aの範囲から離れたならば、マスク領域Mの設定を解除する場合について説明する。
【0082】
移動体70は、撮像ユニット31が撮像する領域である撮像領域内にマスク領域Mが設定されている場合は、このマスク領域M内に人物を検出したとしても、その検出を無効とする。また、実施形態3に係る移動体システムでは、移動体70は、このマスク領域Mの有効時間を設定し、有効時間を経過するとマスク領域Mを解除する。
【0083】
一方、変形例4に係る移動体システムでは、移動体70が、飛行経路に従って移動し、撮像領域にマスク領域Mが含まれなくなった場合に、移動体70は、設定されたマスク領域Mを自動的に解除する。このようにすることにより、監視者による有効時間の設定が不要となり、監視者の負担を軽減することができる。また、不必要に長時間マスク領域として設定されることがなくなり、万が一、マスク領域に設定されていた領域に人が移動してきた場合でも、この人物を確実に発見することが可能になる。
【0084】
<変形例5>
次に、変形例5について説明する。移動体70は、移動体制御装置60から送信された実空間マスク領域データ76aに基づいて、マスク領域Mが設定されている。したがって、すでに検出された人物がマスク領域Mの範囲に入った場合には、人物の検出が無効になってしまう。
【0085】
変形例5に係る移動体システムでは、すでに検出された人物がマスク領域Mの範囲に入った場合は、該マスク領域Mを解除する。そして、すでに検出された人物が、解除されたマスク領域Mを離れたとしても、マスク領域Mの解除を継続する。なお、検出された人物が、解除されたマスク領域Mから遠ざかった場合に、再度、マスク領域Mを設定するようにしてもよい。
【0086】
<変形例6>
次に変形例6について説明する。変形例6に係る移動体システムは、移動体70のマスク領域Mは、移動体制御装置60から送信された実空間マスク領域データ76aに基づいて設定されているが、マスク領域Mの範囲で移動体70の人物検出部37bが、連続する複数のフレーム(例えば、10フレーム)において、人物検出の検出確率が所定の閾値以上(例えば、0.8以上)であった場合に、自動的にマスク領域Mを解除するようにしてもよい。
【0087】
上記の各実施形態で図示した各構成は機能概略的なものであり、必ずしも物理的に図示の構成をされていることを要しない。すなわち、各装置の分散・統合の形態は図示のものに限られず、その全部又は一部を各種の負荷や使用状況などに応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。
【産業上の利用可能性】
【0088】
本発明に係る移動体システム、移動体及び人物領域検出方法は、人物として誤検出され得る領域を効率的にマスク領域として設定し、もって人物の誤検出を低減する場合に適している。
【符号の説明】
【0089】
10 移動体システム
20 移動体制御装置
21 表示部
22 入力部
23 無線通信部
24 記憶部
24a マスク領域データ
25 制御部
25a 撮像画像表示部
25b マスク領域設定部
25c マスク領域データ送信部
30、30a、30b、30c 移動体
31 撮像ユニット
32 高度センサ
33 GNSSユニット
34 無線通信部
35 回転翼
36 記憶部
36a 人物検出用学習済モデル
36b 撮像画像データ
36c 人物候補領域データ
36d 実空間マスク領域データ
36e マスク時間データ
37 制御部
37a 撮像制御部
37b 人物検出部
37c 緯度経度処理部
37d 画像データ送信部
37e マスク領域データ受信部
37f 実空間座標算定部
37g 人物領域特定部
40 移動体制御装置
44 記憶部
44a 物体検出領域データ
44b マスク領域データ
45 制御部
45a 物体検出領域データ処理部
45b 誤検出判定部
50、50a、50b、50c 移動体
56 記憶部
56a 物体検出用学習済モデル
56b 物体検出領域データ
57 制御部
57a 物体検出部
57b 物体検出領域データ送信部
60 移動体制御装置
64 記憶部
64a 実空間マスク領域データ
64b マスク時間データ
65 制御部
65a 実空間位置算定部
65b 実空間マスク領域データ送信部
70 移動体
76 記憶部
76a 実空間マスク領域データ
76b マスク時間データ
77 制御部
77a 画像データ送信部
77b 実空間マスク領域データ受信部