特許 7267756 監視装置及びドローン

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-04-24

(45)【発行日】2023-05-02

(54)【発明の名称】監視装置及びドローン

(51)【国際特許分類】

   H04N 7/18 20060101AFI20230425BHJP

   G08B 25/00 20060101ALI20230425BHJP

   G08B 13/196 20060101ALI20230425BHJP

   G06T 7/00 20170101ALI20230425BHJP

【ＦＩ】

H04N7/18 D

H04N7/18 K

G08B25/00 510M

G08B13/196

G06T7/00 660B

G06T7/00 350B

【請求項の数】 4

(21)【出願番号】P 2019009982

(22)【出願日】2019-01-24

(65)【公開番号】P2020120276

(43)【公開日】2020-08-06

【審査請求日】2021-09-13

(73)【特許権者】

【識別番号】518135412

【氏名又は名称】株式会社リクルート

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(74)【代理人】

【識別番号】100139066

【弁理士】

【氏名又は名称】伊藤 健太郎

(72)【発明者】

【氏名】塩澤 繁

【審査官】佐野 潤一

(56)【参考文献】

【文献】国際公開第２０１４／０１０２０３（ＷＯ，Ａ１）

【文献】特開２０１８－０９０１１８（ＪＰ，Ａ）

【文献】特開２０１８－１７３９１４（ＪＰ，Ａ）

【文献】米国特許出願公開第２００９／００８７０２９（ＵＳ，Ａ１）

【文献】韓国公開特許第１０－２０１６－０１１９９５６（ＫＲ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１８

Ｇ０８Ｂ １３／００－３１／００

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

上空から撮影した監視対象の既存の３次元画像に基づいて、前記既存の３次元画像に対応する監視対象を異なる上方アングルから見たときの新たな３次元画像を生成する画像生成部と、
監視対象の３次元画像を第１の教師データとして学習し、学習した前記第１の教師データに基づいて、入力された前記既存の３次元画像及び前記新たな３次元画像に対応する監視対象の姿勢とは異なる姿勢、かつ前記第１の教師データに対応する監視対象の姿勢に類似する姿勢をした監視対象の３次元画像を出力する第１の学習モデル部と、
背景画像上に、前記既存の３次元画像、前記新たな３次元画像及び前記第１の学習モデル部により出力された３次元画像を合成する画像合成部と、
前記背景画像上に合成された各３次元画像に対応する監視対象を第２の教師データとして学習し、学習した前記第２の教師データに基づいて、入力された監視場所を上空から撮影した撮影画像に監視対象が存在するか否かの判定結果を出力する第２の学習モデル部と、
を備える監視装置。

【請求項2】

前記第２の学習モデル部により前記撮影画像に監視対象が存在することを示す判定結果が出力された場合に、アラートを出力するアラート出力部をさらに備える、
請求項１記載の監視装置。

【請求項3】

前記画像合成部は、前記既存の３次元画像、前記新たな３次元画像及び前記第１の学習モデル部により出力された３次元画像に含まれる監視対象部分の画像をそれぞれ切り出し、当該切り出した監視対象部分の画像を、監視場所の地面と同色の背景画像上に合成する、
請求項１又は２記載の監視装置。

【請求項4】

上空から撮影した監視対象の既存の３次元画像に基づいて、前記既存の３次元画像に対応する監視対象を異なる上方アングルから見たときの新たな３次元画像を生成する画像生成部と、
監視対象の３次元画像を第１の教師データとして学習し、学習した前記第１の教師データに基づいて、入力された前記既存の３次元画像及び前記新たな３次元画像に対応する監視対象の姿勢とは異なる姿勢、かつ前記第１の教師データに対応する監視対象の姿勢に類似する姿勢をした監視対象の３次元画像を出力する第１の学習モデル部と、
背景画像上に、前記既存の３次元画像、前記新たな３次元画像及び前記第１の学習モデル部により出力された３次元画像を合成する画像合成部と、
前記背景画像上に合成された各３次元画像に対応する監視対象を第２の教師データとして学習し、学習した前記第２の教師データに基づいて、入力された監視場所を上空から撮影した撮影画像に監視対象が存在するか否かの判定結果を出力する第２の学習モデル部と、
監視場所を上空から撮影する撮影部と、
前記撮影部により撮影された撮影画像を前記第２の学習モデル部に入力する入力部と、
を備えるドローン。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、監視装置及びドローンに関する。

【背景技術】

【0002】

下記特許文献１には、ドローンのカメラによって撮影された画像に対象物が存在するか否かを認識し、認識の結果に基づいて対象物の分析を行う監視システムが開示されている。この監視システムは、認識する対象物に関する情報として、人物の顔画像若しくは全身画像又は自動車のナンバーが監視者によって指定され、ドローンが撮影した画像に、監視者が指定した特定の対象物が存在するか否かを認識する。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１８－１８４０６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、人の立ち入りが禁止されている場所に人が侵入しているかどうかを、ドローンが撮影した画像を用いて監視する場合、不特定の人物が監視対象となる。一方、犬や猫等の動物は監視対象外となる。このような監視を、特許文献１に記載の監視システムで行う場合、不特定の人物の顔画像若しくは全身画像を全て登録しなければならず、登録されていない人物については認識不能となる。

【0005】

そこで、本発明は、上空から撮影した画像を用い、不特定の人物等の監視対象を監視することができる監視装置及びドローンを提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明の一態様に係る監視装置は、監視対象の既存の３次元画像に基づいて、前記監視対象を異なるアングルから見たときの新たな３次元画像を生成する画像生成部と、監視対象の３次元画像を第１の教師データとして学習し、当該第１の教師データに基づいて、前記既存の３次元画像及び前記新たな３次元画像を入力とし、入力された各３次元画像に対応する監視対象の姿勢とは異なる姿勢、かつ前記第１の教師データに対応する監視対象の姿勢に類似する姿勢をした監視対象の３次元画像を出力とする第１の学習モデル部と、背景画像上に、前記既存の３次元画像、前記新たな３次元画像及び前記第１の学習モデル部により出力された３次元画像を合成する画像合成部と、前記背景画像上に合成された各３次元画像に対応する監視対象を第２の教師データとして学習し、当該第２の教師データに基づいて、監視場所を上空から撮影した撮影画像を入力とし、入力された撮影画像に監視対象が存在するか否かの判定結果を出力とする第２の学習モデル部と、を備える。

【0007】

上記態様において、前記第２の学習モデル部により前記撮影画像に監視対象が存在することを示す判定結果が出力された場合に、アラートを出力するアラート出力部をさらに備えることとしてもよい。

【0008】

上記態様において、前記画像合成部は、前記既存の３次元画像、前記新たな３次元画像及び前記第１の学習モデル部により出力された３次元画像に含まれる監視対象部分の画像をそれぞれ切り出し、当該切り出した監視対象部分の画像を、監視場所の地面と同色の背景画像上に合成することとしてもよい。

【0009】

本発明の他の態様に係るドローンは、監視場所を上空から撮影する撮影部と、前記撮影部により撮影された撮影画像を学習モデルに入力する入力部と、前記学習モデルから出力される、前記撮影画像に監視対象が存在するか否かの判定結果を、外部装置に送信する送信部と、を備える。

【発明の効果】

【0010】

本発明によれば、上空から撮影した画像を用い、不特定の人物等の監視対象を監視することができる監視装置及びドローンを提供することができる。

【図面の簡単な説明】

【0011】

【図1】実施形態に係る監視装置の構成を例示する図である。

【図2】（Ａ）は既存の３次元画像を例示する模式図であり、（Ｂ）は（Ａ）とはアングルが異なる新たな３次元画像を例示する模式図であり、（Ｃ）は既存の３次元画像を例示する模式図であり、（Ｄ）は（Ｃ）とはアングルが異なる新たな３次元画像を例示する模式図である。

【図3】（Ａ）は第１の学習モデル部に入力した監視対象の姿勢を例示する模式図であり、（Ｂ）は第１の学習モデル部が出力した監視対象の姿勢を例示する模式図である。

【図4】複数の監視対象部分の画像を背景画像上に合成して作成した合成画像を例示する模式図である。

【図5】監視画像に監視対象が存在することをアラート表示している監視画面を例示する模式図である。

【図6】実施形態に係る監視装置の動作手順の一例を説明するフローチャートである。

【発明を実施するための形態】

【0012】

添付図面を参照して、本発明の好適な実施形態について説明する。なお、各図において、同一の符号を付したものは同一又は同様の構成を有する。

【0013】

図１を参照し、実施形態に係る監視装置の構成について説明する。監視装置１は、例えば、人の立ち入りが禁止されている場所等の監視場所に監視対象が存在するかどうかを監視するサーバ装置である。監視対象は、例えば、不法侵入者等の人物の他、人が乗車する自転車及び自動車等の移動体が該当する。

【0014】

具体的に、監視装置１は、カメラ（撮影部）９１を搭載したドローン９により空中から撮影された監視場所の画像に基づいて、監視場所に不法侵入者等の監視対象が存在するかどうかを検知する。ドローン９は、遠隔操作や自動制御により無人で飛行する航空機（無人航空機）である。ドローン９は、上空から撮影した監視場所の画像データを無線通信により監視装置１に随時送信する。監視装置１は、ストリーミングにより画像データを再生し、監視対象を検知する。なお、監視装置１及びドローン９により監視システムが構成される。

【0015】

監視装置１は、物理的な構成として、例えば、ＣＰＵ（プロセッサ）及びメモリを含む制御装置１０、通信装置２０、記憶装置３０、入力装置４０並びに出力装置（例えば、ディスプレイ、スピーカ）５０等を備えて構成される。ＣＰＵがメモリや記憶装置３０に格納された所定のプログラムを実行することにより、以下の各機能が発現する。

【0016】

監視装置１は、機能的な構成として、例えば、画像生成部１１、第１の学習モデル部１２、画像合成部１３、第２の学習モデル部１４及びアラート出力部１５を有する。各機能について以下に説明する。

【0017】

画像生成部１１は、監視対象の既存の３次元画像に基づいて、監視対象を異なるアングルから見たときの新たな３次元画像を生成する。画像生成部１１の機能は、例えば３ＤＣＧ（3 dimensional computer graphics）等のＣＧを利用して実現することができる。

【0018】

具体的に、画像生成部１１は、アングルを変えるためのパラメータをプログラミングにより少しずつ変更することで、既存の３次元画像から、アングルが異なる複数の新たな３次元画像を生成する。一つの３次元画像から生成する新たな３次元画像は、例えば１００画像のように、任意の画像数を適宜定めることができる。

【0019】

図２に、既存の３次元画像とアングルが異なる新たな３次元画像との一例を示す。図２（Ａ）は、右斜め前方の上方から見た監視対象の既存の３次元画像であり、図２（Ｂ）は、左斜め後方の上方から見た監視対象の新たな３次元画像である。図２（Ｃ）は、左斜め前方の真横に近い上方から見た監視対象の既存の３次元画像であり、図２（Ｄ）は、左斜め前方の真上に近い上方から見た監視対象の新たな３次元画像である。

【0020】

図１に示す第１の学習モデル部１２は、複数の異なる姿勢をした監視対象の３次元画像をそれぞれ第１の教師データとして学習することで第１の学習モデルを生成する。第１の学習モデル部１２は、学習した第１の教師データに基づいて、入力された３次元画像に対応する監視対象の姿勢とは異なる姿勢をした監視対象の３次元画像を出力する。第１の学習モデル部１２の機能は、例えば、ＧＡＮ（Generative Adversarial Network）等のディープラーニングモデルを利用して実現することができる。

【0021】

具体的に、第１の学習モデル部１２は、上述した既存の３次元画像及び新たな３次元画像の入力を受け付けると、入力された各３次元画像に対応する監視対象の姿勢とは異なる姿勢であり、かつ第１の教師データに含まれる監視対象の姿勢に類似する姿勢をした、監視対象の３次元画像を出力する。

【0022】

ここで、人物や移動体を上空から撮影した３次元画像は、人物や移動体を地上で撮影した３次元画像とは異なり、入手することが困難である。したがって、人物や移動体を上空から撮影した３次元画像を、学習モデルの教師データとして使用する場合には、３ＤＣＧ等を駆使して新たに３次元画像を生成する必要がある。しかしながら、３ＤＣＧは、監視対象に対するアングルを変えることはできるが、監視対象の姿勢を変えることには向いていない。

【0023】

そこで、様々な姿勢をした監視対象の３次元画像を学習させ、その学習させた監視対象の姿勢に基づいて、入力された監視対象の姿勢とは異なる姿勢の監視対象を出力するディープラーニングモデルを採用することとした。これにより、異なる姿勢をした監視対象の３次元画像を効率的に増やすことが可能となる。

【0024】

第１の学習モデル部１２が出力する３次元画像の画質は、例えば第１の教師データとなる３次元画像の数や学習させる時間を増減させることにより調整することができる。本実施形態における監視装置１では、第１の学習モデル部１２が出力する３次元画像の画質は、例えば上空３０ｍ乃至５０ｍを飛行するドローン９により撮影された物体が人物であるかどうかを識別できる程度であればよい。したがって、第１の教師データとなる３次元画像の数や学習させる時間を、地上の人物等を監視する場合と比べて削減することが可能となる。

【0025】

図３に、第１の学習モデル部１２に入力した監視対象の姿勢と第１の学習モデル部１２が出力した監視対象の姿勢との一例を示す。図３（Ａ）は、入力した３次元画像の監視対象が右腕を下ろしていることを例示し、図３（Ｂ）は、出力した３次元画像の監視対象が右腕の前腕部を持ち上げていることを例示する。

【0026】

図１に示す画像合成部１３は、監視場所に対応する背景画像上に、上記既存の３次元画像、上記新たな３次元画像、及び第１の学習モデル部１２が出力した３次元画像を、それぞれ合成する。合成する背景画像を、監視場所の地面と同色の画像にし、各３次元画像に含まれる監視対象部分の画像を背景画像上にそれぞれ合成することが好ましい。これにより、監視場所を撮影した撮影画像から監視対象を認識する際の認識率を高めることが可能となる。

【0027】

具体的に、画像合成部１３は、既存の３次元画像、新たな３次元画像、及び第１の学習モデル部１２が出力した３次元画像から、各３次元画像に含まれる監視対象部分の画像をそれぞれ切り出し、その切り出した監視対象部分の画像を、監視場所の地面と同色の背景画像上に合成する。

【0028】

図４に、複数の監視対象部分の画像を背景画像上に合成して作成した合成画像を例示する。図４は、監視場所の地面と同色の背景画像Ｂ上に、多数の監視対象部分の画像Ｍが合成された合成画像の一例である。図４に示す合成画像は、例えば数千枚のように、任意の枚数を作成することができる。

【0029】

図１に示す第２の学習モデル部１４は、背景画像上に合成された各監視対象部分の画像をそれぞれ第２の教師データとして学習することで第２の学習モデルを生成する。第２の学習モデル部１４は、学習した第２の教師データに基づいて、入力された監視場所の撮影画像に監視対象が存在するか否かの判定結果を出力する。第２の学習モデル部１４の機能は、例えば、ＹＯＬＯ（You Only Look Once）、ＳＳＤ（Single Shot MultiBox Detector）、Ｒ－ＣＮＮ（Regions with CNN features）等の物体検出用のディープラーニングモデルを利用して実現することができる。

【0030】

具体的に、第２の学習モデル部１４は、ドローン９が上空から撮影した監視場所の撮影画像の入力を受け付けると、入力された撮影画像から物体を検出し、検出した物体の中に監視対象が存在することを認識した場合に、撮影画像に監視対象が存在することを示す判定結果を出力する。

【0031】

一方、第２の学習モデル部１４は、撮影画像から物体が検出されない場合、又は検出した物体の中に監視対象が存在しないことを認識した場合に、撮影画像に監視対象が存在しないことを示す判定結果を出力する。

【0032】

アラート出力部１５は、撮影画像に監視対象が存在することをを示す判定結果が出力された場合に、アラートを出力する。アラートの出力は、例えば、アラート音や音声をスピーカから出力させることで実現してもよいし、撮影画像の監視対象部分に対して、注意を促す色（例えば赤色）を用いてディスプレイ上にアラート表示させることで実現してもよい。

【0033】

図５に、監視画像に監視対象が存在することをアラート表示している監視画面を例示する。図５の監視画面Ｇは、人の立ち入りが禁止されている監視場所に監視対象である人物が存在することをアラート表示Ｖしている。

【0034】

次に、図６を参照して、実施形態に係る監視装置１の動作の一例について説明する。

【0035】

最初に、画像生成部１１は、監視対象の既存の３次元画像に基づいて、監視対象を異なるアングルから見たときの新たな３次元画像を生成する（ステップＳ１０１）。

【0036】

続いて、第１の学習モデル部１２は、複数の異なる姿勢をした監視対象の３次元画像を第１の教師データとして学習した第１の学習モデルに対し、既存の３次元画像及び新たな３次元画像の入力を受け付ける（ステップＳ１０２）。

【0037】

続いて、第１の学習モデル部１２は、上記ステップＳ１０２で入力された各３次元画像に対応する監視対象の姿勢とは異なる姿勢であり、かつ第１の教師データに含まれる監視対象の姿勢に類似する姿勢をした、監視対象の３次元画像を出力する（ステップＳ１０３）。

【0038】

続いて、画像合成部１３は、既存の３次元画像、新たな３次元画像、及び上記ステップＳ１０３で出力された３次元画像から、各３次元画像に含まれる監視対象部分の画像をそれぞれ切り出し、切り出した各監視対象部分の画像を、監視場所の地面と同色の背景画像上に合成する（ステップＳ１０４）。

【0039】

続いて、第２の学習モデル部１４は、背景画像上に合成された各監視対象部分の画像を第２の教師データとして学習する第２の学習モデルに対し、ドローン９が上空から撮影した監視場所の撮影画像の入力を受け付ける（ステップＳ１０５）。

【0040】

続いて、第２の学習モデル部１４は、上記ステップＳ１０５で入力された撮影画像に監視対象が存在するか否かを判定する（ステップＳ１０６）。

【0041】

続いて、アラート出力部１５は、上記ステップＳ１０６で撮影画像に監視対象が存在すると判定された場合に、アラートを出力する（ステップＳ１０７）。そして本動作を終了する。他方、上記ステップＳ１０６で撮影画像に監視対象が存在しないと判定された場合にも本動作を終了することになる。

【0042】

前述したように、実施形態における監視装置１によれば、監視対象の既存の３次元画像に基づいて、監視対象を異なるアングルから見たときの新たな３次元画像を生成し、その既存の３次元画像及び新たな３次元画像を、複数の異なる姿勢を学習した第１の学習モデルに入力すると、入力した３次元画像に対応する監視対象の姿勢とは異なる姿勢、かつ第１の学習モデルで学習済の姿勢に類似する姿勢をした監視対象の３次元画像を出力することができる。

【0043】

また、監視装置１によれば、監視場所の地面と同色の背景画像上に、既存の３次元画像、新たな３次元画像及び上記出力された３次元画像からそれぞれ切り出された監視対象部分の画像を合成し、その合成した各監視対象部分の画像を学習した第２の学習モデルに、監視場所を上空から撮影した撮影画像を入力すると、入力した撮影画像に監視対象が存在するか否かの判定結果を出力することができる。

【0044】

さらに、監視装置１によれば、撮影画像に監視対象が存在することを示す判定結果が出力された場合に、アラートを出力することができる。

【0045】

それゆえ、実施形態における監視装置１によれば、上空から撮影した画像を用い、不特定の人物を含む監視対象を監視することが可能となる。

【0046】

[変形例]
なお、本発明は、前述した実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において、他の様々な形で実施することができる。したがって、上記実施形態はあらゆる点で単なる例示にすぎず、限定的に解釈されるものではない。例えば、前述した各処理ステップは処理内容に矛盾を生じない範囲で任意に順番を変更し、又は並列に実行することができる。

【0047】

また、前述した実施形態では、ドローンで撮影された監視場所の画像を受信した監視装置１が、監視場所に監視対象が存在するかどうかを監視しているが、これに限定されない。ドローン９自体が、監視場所に監視対象が存在するかどうかを監視することとしてもよい。この場合、例えば、ドローン９の制御装置（不図示）が、前述した監視装置１の制御装置１０と同様に、画像生成部１１、第１の学習モデル部１２、画像合成部１３、第２の学習モデル部１４及びアラート出力部１５の全部又は一部を備えることとしてもよい。他方、ドローン９の制御装置が、前述した第２の学習モデルを備え、カメラ９１が撮影した撮影画像を第２の学習モデルに入力する入力部と、第２の学習モデルから出力される、撮影画像に監視対象が存在するか否かの判定結果を、監視装置１に送信する送信部と、をさらに備えることとしてもよい。この場合、監視装置１のアラート出力部１５は、ドローン９から受信した判定結果が、撮影画像に監視対象が存在することを示す場合に、アラートを出力することとすればよい。

【0048】

また、監視装置１の構成要素は、前述した実施形態における構成要素に限定されることなく、必要に応じて任意の構成要素を適宜追加することができる。

【符号の説明】

【0049】

１…監視装置、９…ドローン、１０…制御装置、１１…画像生成部、１２…第１の学習モデル部、１３…画像合成部、１４…第２の学習モデル部、１５…アラート出力部、２０…通信装置、３０…記憶装置、４０…入力装置、５０…表示装置、９１…カメラ。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】