IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社日立国際電気の特許一覧

特許7399306監視システム、カメラ、解析装置及びAIモデル生成方法
<>
  • 特許-監視システム、カメラ、解析装置及びAIモデル生成方法 図1
  • 特許-監視システム、カメラ、解析装置及びAIモデル生成方法 図2
  • 特許-監視システム、カメラ、解析装置及びAIモデル生成方法 図3
  • 特許-監視システム、カメラ、解析装置及びAIモデル生成方法 図4
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-12-07
(45)【発行日】2023-12-15
(54)【発明の名称】監視システム、カメラ、解析装置及びAIモデル生成方法
(51)【国際特許分類】
   H04N 7/18 20060101AFI20231208BHJP
   G06T 7/00 20170101ALI20231208BHJP
   G06T 7/20 20170101ALI20231208BHJP
   G06N 20/00 20190101ALI20231208BHJP
【FI】
H04N7/18 D
H04N7/18 K
G06T7/00 350B
G06T7/20 300Z
G06N20/00
【請求項の数】 6
(21)【出願番号】P 2022550253
(86)(22)【出願日】2020-09-17
(86)【国際出願番号】 JP2020035229
(87)【国際公開番号】W WO2022059123
(87)【国際公開日】2022-03-24
【審査請求日】2022-12-19
(73)【特許権者】
【識別番号】000001122
【氏名又は名称】株式会社日立国際電気
(74)【代理人】
【識別番号】100116687
【弁理士】
【氏名又は名称】田村 爾
(74)【代理人】
【識別番号】100098383
【弁理士】
【氏名又は名称】杉村 純子
(74)【代理人】
【識別番号】100155860
【弁理士】
【氏名又は名称】藤松 正雄
(72)【発明者】
【氏名】笹尾 海斗
(72)【発明者】
【氏名】長谷川 圭吾
【審査官】鈴木 隆夫
(56)【参考文献】
【文献】特許第6573297(JP,B1)
【文献】特開2018-207222(JP,A)
【文献】米国特許出願公開第2017/0076576(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 7/18
G06T 7/00
G06T 7/20
G06N 20/00
(57)【特許請求の範囲】
【請求項1】
AIモデルを用いて映像解析を行う機能を持つ複数のカメラと、前記カメラで使用されるAIモデルを生成する解析装置とを備えた監視システムであって、
前記複数のカメラは、それぞれ、特定挙動を検知するための第1のAIモデルを用いた映像解析により前記特定挙動の検知を行い、
前記解析装置は、いずれかのカメラで前記特定挙動が検知された場合に、前記特定挙動を行った特定物体を検知するための第2のAIモデルを生成し、前記第2のAIモデルを前記複数のカメラの1つ以上に送信し、
前記1つ以上のカメラは、前記第2のAIモデルを用いた映像解析により前記特定物体の検知を行うことを特徴とする監視システム。
【請求項2】
請求項1に記載の監視システムにおいて、
前記解析装置は、前記第2のAIモデルを用いた映像解析により前記特定物体が検知された場合に、前記第2のAIモデルを生成し直して前記複数のカメラの1つ以上に送信することを特徴とする監視システム。
【請求項3】
請求項1又は請求項2に記載の監視システムにおいて、
前記1つ以上のカメラは、前記特定挙動を検知したカメラからの距離が閾値より小さいカメラを含むことを特徴とする監視システム。
【請求項4】
AIモデルを用いて映像解析を行う機能を持つカメラであって、
特定挙動を検知するための第1のAIモデルを用いた映像解析により前記特定挙動を検知する処理と、
前記特定挙動を検知した場合に解析装置に通知する処理と、
前記特定挙動を行った特定物体を検知するための第2のAIモデルを前記解析装置から受信する処理と、
前記第2のAIモデルを用いた映像解析により前記特定物体を検知する処理とを行うことを特徴とするカメラ。
【請求項5】
カメラ内で映像解析に使用されるAIモデルを生成する解析装置であって、
複数のカメラのいずれかで、特定挙動を検知するための第1のAIモデルを用いた映像解析により前記特定挙動が検知された場合に、前記特定挙動を行った特定物体を検知するための第2のAIモデルを生成する処理と、
前記第2のAIモデルを前記複数のカメラの1つ以上に送信する処理とを行うことを特徴とする解析装置。
【請求項6】
カメラ内で映像解析に使用されるAIモデルを生成するAIモデル生成方法であって、
解析装置が、複数のカメラのいずれかで、特定挙動を検知するための第1のAIモデルを用いた映像解析により前記特定挙動が検知された場合に、前記特定挙動を行った特定物体を検知するための第2のAIモデルを生成するステップと、
前記解析装置が、前記第2のAIモデルを前記複数のカメラの1つ以上に送信するステップとを有することを特徴とするAIモデル生成方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、AIモデルを用いて映像解析する機能を持つ複数のカメラを備えた監視システムに関する。
【背景技術】
【0002】
監視カメラ等の撮像装置を用いて24時間の映像監視を提供する映像監視システムが普及している。近年では、監視員による有人監視以外に、AI(Artificial Intelligence)を用いて監視を行う技術が検討されている。AIを用いた映像監視システムは、例えば、特定物体が出現した映像及び時間などの必要最小限の情報のみを保存する機能や、表示装置による警告アイコンの表示及びブザーの鳴動などにより監視員の注意を促す機能を備えている。このため、AIを用いた映像監視システムは、常時確認が必要であった従来方式に比べ、監視業務の負担軽減に役立つ。
【0003】
顔検知及びナンバープレート検知などの古くから研究されている解析は、カメラ内でのリアルタイム処理が可能になるように、低演算量の解析に関する最適化が進められている。これに対し、深層学習(Deep Learning)を主とするAI解析は、計算量が膨大になるため、専用の解析サーバ又はクラウドを用いて実現されることが多い。また、近年では、組み込み用のAIチップが開発されており、一部のAI解析についてはカメラ内部でリアルタイムに処理できるようになりつつある。例えば、特許文献1には、複数の学習モデルを切り替え可能に有するカメラが開示されている。
【先行技術文献】
【特許文献】
【0004】
【文献】特許第6641446号
【発明の概要】
【発明が解決しようとする課題】
【0005】
AIを用いた映像監視システムにおいて、AI解析精度(例えば、特定物体の検知精度)は非常に重要な要素となる。従来方式のAI映像監視システムとして、複数のカメラの各々で得られた映像に対してサーバ又はクラウドでAI解析を行うシステムや、各々のカメラ内部でAI解析を行うシステムが構築されている。しかしながら、これらのAI映像監視システムでは、カメラ間の連携が考慮されていないため、複数のカメラを跨がって検知物を追跡することが困難であった。
【0006】
本発明は、上記のような従来の事情に鑑みて為されたものであり、AIモデルを用いて映像解析する機能を持つ複数のカメラを備えた監視システムにおけるカメラ間の連携を向上させることを目的とする。
【課題を解決するための手段】
【0007】
上記の目的を達成するために、本発明に係る監視システムは以下のように構成される。
すなわち、本発明に係る監視システムは、AIモデルを用いて映像解析を行う機能を持つ複数のカメラと、カメラで使用されるAIモデルを生成する解析装置とを備え、複数のカメラは、それぞれ、特定挙動を検知するための第1のAIモデルを用いた映像解析により特定挙動の検知を行い、解析装置は、いずれかのカメラで特定挙動が検知された場合に、特定挙動を行った特定物体を検知するための第2のAIモデルを生成し、第2のAIモデルを複数のカメラの1つ以上に送信し、1つ以上のカメラは、第2のAIモデルを用いた映像解析により特定人物の検知を行うことを特徴とする。
【0008】
ここで、解析装置は、第2のAIモデルを用いた映像解析により特定人物が検知された場合に、第2のAIモデルを生成し直して複数のカメラの1つ以上に送信するようにしてもよい。
【0009】
また、1つ以上のカメラは、特定挙動を検知したカメラからの距離が閾値より小さいカメラを含むようにしてもよい。
【0010】
また、本発明は、AIモデルを用いて映像解析を行う機能を持つカメラとして実現することもできる。すなわち、本発明に係るカメラは、特定挙動を検知するための第1のAIモデルを用いた映像解析により特定挙動を検知する処理と、特定挙動を検知した場合に解析装置に通知する処理と、特定挙動を行った特定物体を検知するための第2のAIモデルを解析装置から受信する処理と、第2のAIモデルを用いた映像解析により特定物体を検知する処理とを行うことを特徴とする。
【0011】
また、本発明は、カメラ内で映像解析に使用されるAIモデルを生成する解析装置として実現することもできる。すなわち、本発明に係る解析装置は、複数のカメラのいずれかで、特定挙動を検知するための第1のAIモデルを用いた映像解析により特定挙動が検知された場合に、特定挙動を行った特定物体を検知するための第2のAIモデルを生成する処理と、第2のAIモデルを複数のカメラの1つ以上に送信する処理とを行うことを特徴とする。
【0012】
また、本発明は、カメラ内で映像解析に使用されるAIモデルを生成するAIモデル生成方法として実現することもできる。すなわち、本発明に係るAIモデル生成方法は、解析装置が、複数のカメラのいずれかで、特定挙動を検知するための第1のAIモデルを用いた映像解析により特定挙動が検知された場合に、特定挙動を行った特定物体を検知するための第2のAIモデルを生成するステップと、解析装置が、第2のAIモデルを複数のカメラの1つ以上に送信するステップとを有することを特徴とする
【発明の効果】
【0013】
本発明によれば、AIモデルを用いて映像解析する機能を持つ複数のカメラを備えた監視システムにおけるカメラ間の連携を向上させることが可能となる。
【図面の簡単な説明】
【0014】
図1】本発明の一実施形態に係る監視システムの概略的な構成を示す図である。
図2】AIカメラの構成例を示す図である。
図3】解析装置の構成例を示す図である。
図4】不審者検知の処理フロー例を示す図である。
【発明を実施するための形態】
【0015】
本発明の一実施形態に係る監視システムについて、図面を参照して説明する。以下では、監視エリアにおける不審者の検知を目的とした監視システムを例にして説明する。ここでいう不審者とは、突発的に不審な挙動(異常な挙動を含む)をとり、通常時には検知されない人物とする。不審者としては、例えば、侵入禁止区域への進入、所持品の置き去りなどの、不審挙動をとった人物が挙げられる。
【0016】
図1には、本発明の一実施形態に係る監視システムの構成例を示してある。本例の監視システムは、1台以上(図1ではN台)のAIカメラ101と、解析装置102と、1台以上(図1ではM台)のPC103と、発報装置104と、携帯端末105とを備え、インターネット等の通信網を介して互いに通信可能に接続されている。なお、発報装置104及び携帯端末105なども、1台以上が設けられてもよい。
【0017】
AIカメラ101は、監視エリアの撮影だけでなく、その映像をAIモデルに基づいて解析する機能を持つ撮像装置である。AIカメラ101には、不審挙動を検知するための特定挙動検知用AIモデルが予め設定されている。また、後述するように、いずれかのAIカメラ101で不審挙動が検知された場合に、その挙動を行った特定人物(すなわち、不審者)の追跡に適した特定人物検知用AIモデルが追加で設定される。各AIカメラ101は、特定挙動検知用AIモデルを用いて不審者の発見(1回目の不審者検知)を行うだけでなく、特定人物検知用AIモデルを用いて不審者の追跡(2回目以降の不審者検知)も行う。また、AIカメラ101には、各々を識別する識別子(例えば、カメラ番号)が関連付けられており、解析装置102やPC103などの他の装置との通信データに付加される。
【0018】
解析装置102は、それぞれのAIカメラ101で得られた映像及び解析結果を記憶すると共に、これらの解析結果を統合及び再解析する。また、解析装置102は、複数のAIカメラ101のいずれかの映像解析で不審挙動が検知された場合に、その挙動を行った不審者を検知するための特定人物検知用AIモデルを生成する処理と、特定人物検知用AIモデルを各AIカメラ101に送信する処理とを行う。
【0019】
特定挙動検知用AIモデルは、例えば、不審挙動としてラベル付けされた特定の挙動を撮影した過去映像に基づく深層学習により生成される。特定人物検知用AIモデルは、例えば、不審挙動が検知された映像の解析により得られる、不審者の身体的特徴(年齢、性別、身長、顔、体型、肌色、髪型、髪色など)、服装、所持品などの特徴データに基づいて生成される。なお、不審挙動の検知時点の映像では不審者の特徴データを十分に得られない場合には、検知時点より前又は後の映像から不審者の特徴データを取得してもよい。特定挙動検知用AIモデルは、監視システムの運用開始前に生成して各AIカメラ101に設定され、必要に応じて更新される。一方、特定人物検知用AIモデルは、不審者の発見に応じて自動的に生成され、各AIカメラ101に設定される。
【0020】
PC103は、ユーザ操作に応じてAIカメラ101又は解析装置102にアクセスし、過去又は現在の監視エリアの映像及び解析結果などを表示する。発報装置104は、AIカメラ101から不審者検知時に送信される検知信号に応じてアラームを発報する。携帯端末105は、AIカメラ101から不審者検知時に送信される映像及び解析結果を表示する。ここで、AIカメラ101の解析結果には、映像内における不審者の検知座標、検知人数、検知属性(不審者の性別、年齢、身長、国籍など)、検知日時、検知場所の1つ以上が含まれる。
【0021】
図2には、AIカメラ101の構成例を示してある。AIカメラ101は、映像受信部201、AI解析部203、データ送信部204、データ保存部205、AIモデル受信部207、AIモデル更新部208などの機能部と、AIモデルメモリ202、映像・解析結果保存装置206などの記憶部を有する。また、AIカメラ101は、ハードウェアとして、レンズなど光学系の補正処理及び鮮明化処理などを行うISP(Image Signal Processor)、AI解析を高速に行うためのGPU(Graphics Processing Unit)又はFPGA(Field-Programmable Gate Array)、或いは、これらに代わるその他のAIチップを備えている。
【0022】
映像受信部201は、CCD(Charge Coupled Device)又はCMOS(Complementary Metal-Oxide-Semiconductor)などのイメージセンサから映像を取得する。AI解析部203は、映像受信部201で取得した映像をAIモデルメモリ202内のAIモデル(つまり、特定挙動検知用AIモデル及び特定人物検知用AIモデル)により解析する。データ送信部204は、映像受信部201で取得した映像及びAI解析部203による解析結果などのデータを送信する。データ保存部205は、映像受信部201で取得した映像及びAI解析部203による解析結果などのデータを映像・解析結果保存装置206に保存する。AIモデル受信部207は、解析装置102からAIモデルを受信する。AIモデル更新部208は、AIモデル受信部207で受信したAIモデルで、AIモデルメモリ202内のAIモデルを更新する。
【0023】
図3には、解析装置102の構成例を示してある。解析装置102は、データ受信部301、解析部302、データ保存部303、学習データ生成部305、AIモデル生成部307、AIモデル送信部309などの機能部と、映像・解析結果保存装置304、学習データメモリ306、AIモデルメモリ308などの記憶部を有する。また、解析装置102は、ハードウェアとしてCPU(Central Processing Unit)、GPU、FPGAなどを備えた、電子計算機システムもしくはクラウドにより構成され、各機能部の処理(後述)を実行する。
【0024】
データ受信部301は、AIカメラ101から送信される映像及び解析結果などのデータを受信する。解析部302は、データ受信部301で受信した映像及び解析結果に基づいて再解析を行う。解析部302による再解析は、例えば、AIカメラ101での解析よりも詳細な解析や、複数のAIカメラ101の映像を用いた総合的又は横断的な解析である。データ保存部303は、データ受信部301で受信した映像及び解析結果、解析部302で再解析したデータなどを映像・解析結果保存装置304に保存する。学習データ生成部305は、映像・解析結果保存装置304に保存されている映像及び解析結果などを用いてAIモデル用の学習データを生成し、学習データメモリ306に格納する。AIモデル生成部307は、学習データメモリ306内の学習データを用いてAIモデルを生成し、AIモデルメモリ308に格納する。AIモデル送信部309は、AIモデルメモリ308内のAIモデルをAIカメラ101に送信する。
【0025】
図4には、本例の監視システムによる不審者検知の処理フロー例を示してある。なお、不審者検知処理には、特定挙動検知用AIモデルを用いて不審者の発見(1回目の不審者検知)を行う特定挙動検知処理と、特定人物検知用AIモデルを用いて不審者の追跡(2回目以降の不審者検知)を行う特定人物検知処理の2種類がある。
【0026】
AIカメラ(1)及びAIカメラ(2)は、映像解析部203にて、AIモデルメモリ202内の特定挙動検知用AIモデルを用いて、映像受信部201で取得した撮影映像のAI解析による不審挙動検知処理を行う(ステップS101,S102)。その結果、AIカメラ(1)で不審挙動が検知されたとする(ステップS103)。この場合、AIカメラ(1)は、不審者の発見(1回目の不審者検知)を監視員などに報せるために、検知信号及び解析結果を発報装置104に送信し(ステップS104)、また、不審者を検知した瞬間の前後数秒の映像及び解析結果を携帯端末105と解析装置102に送信する(ステップS105,S106)。これらデータの送信手段としては、例えば、有線LANや、Wi-Fi,LTE,5Gなどを含む無線LAN、接点などを用いることができる。AIカメラが送信する映像は、不審者を検知した瞬間のスナップショット(静止画)でもよい。
【0027】
また、AIカメラ(1)は、送信した映像及び解析結果のデータと同じものを、内蔵の映像・解析結果保存装置206に保存する(ステップS107)。なお、データを保存するタイミングは、映像及び解析結果などのデータを送信する前でもよい。解析装置102は、AIカメラ(1)から映像及び解析結果を受信すると、受信した映像及び解析結果を内蔵の映像・解析結果保存装置304に保存する(ステップS108)。発報装置104は、AIカメラ(1)から検知信号及び解析結果を受信すると、アラームを発報する(ステップS109)。アラームの発報は、例えば、予め録音された音声、アラーム音、非常ベル、回転灯を用いた発光などを用いて行うことができる。携帯端末105は、AIカメラ(1)から映像及び解析結果を受信すると、受信した映像と不審者の発見を報せるメッセージを携帯端末105の画面に表示する(ステップS110)。
【0028】
また、解析装置102は、AIカメラ(1)から映像及び解析結果を受信したことに応じて、不審挙動検知処理により発見された不審者を追跡するために特定人物検知用AIモデルを生成する(ステップS111)。解析装置102は、生成した特定人物検知用AIモデルをAIカメラ(1)及びAIカメラ(2)に送信する(ステップS112,S113)。AIカメラ(1)及びAIカメラ(2)は、モデル受信部207で特定人物検知用AIモデルを受信すると、AIモデル更新部208にて、受信した特定人物検知用AIモデルをAIモデルメモリ202に記憶する(ステップS114,S115)。
【0029】
その後、AIカメラ(1)及びAIカメラ(2)は、AIモデルメモリ202内の特定人物検知用AIモデルを用いて、映像受信部201で取得した撮影映像のAI解析による特定人物検知処理を行う(ステップS116,S117)。その結果、AIカメラ(2)で不審者が検知されたとする(ステップS118)。この場合、AIカメラ(2)は、不審者の検知(2回目以降の不審者検知)を監視員などに報せるために、検知信号及び解析結果を発報装置104に送信し(ステップS119)、また、不審者を検知した瞬間の前後数秒の映像及び解析結果を携帯端末105と解析装置102に送信する(ステップS120,S121)。また、AIカメラ(2)は、送信した映像及び解析結果のデータと同じものを、内蔵の映像・解析結果保存装置206に保存する(ステップS122)。以降の各装置の動作は、不審者の発見時と基本的に同様である。
【0030】
なお、2回目の不審者検知時に、解析装置102は、1回目の不審者検知時(不審者発見時)の映像と、2回目の不審者検知時の映像とに基づいて特定人物検知用AIモデルを生成し直し、各AIカメラに送信する。同様に、その後の不審者検知時に、解析装置102は、これまでの不審者検知時の映像に基づいて特定人物検知用AIモデルを生成し直し、各AIカメラに送信する。これにより、特定人物検知用AIモデルの生成に用いる学習データが次第に増加するので、より的確に不審者の検知(追跡)を行えるようになる。
【0031】
また、PC103は、AIカメラ101及び解析装置102へのアクセスが常時可能である。このため、PC103を使用して、AIカメラ101がリアルタイムに配信する映像及び解析結果を参照したり、AIカメラ101内の映像・解析結果保存装置206又は解析装置102内の映像・解析結果保存装置304に保存されている過去の映像及び解析結果を参照したりすることができる。
【0032】
以上のように、本例の監視システムは、AIモデルを用いて映像解析を行う機能を持つ複数のAIカメラ101と、AIカメラ101で使用されるAIモデルを生成する解析装置102とを備え、各AIカメラ101は、不審挙動を検知するための特定挙動検知用AIモデルを用いた映像解析により不審挙動の検知を行い、解析装置102は、いずれかのAIカメラ101で不審挙動が検知された場合(不審挙動検知の通知を受信した場合)に、不審挙動を行った特定人物(不審者)を検知するための特定人物検知用AIモデルを生成して各AIカメラ101に送信し、各AIカメラ101は、特定人物検知用AIモデルを用いた映像解析により不審者の検知を行う構成となっている。
【0033】
このように、本例の監視システムでは、特定挙動検知用AIモデルを用いた映像解析により不審者が発見された場合に、その不審者の検知に適した特定人物検知用AIモデルが各AIカメラに提供される。これにより、複数のAIカメラが連携して不審者を検知することができるので、不審者の追跡を効率的に行うことが可能となる。また、各AIカメラが自身の撮影映像を解析するので、不審者検知のリアルタイム性を高めることができる。なお、上記の説明では一人の不審者を発見及び追跡しているが、複数の不審者を発見及び追跡することも可能である。
【0034】
ここで、本例では、全てのAIカメラを用いて不審者を追跡できるように、全てのAIカメラに特定人物検知用AIモデルを提供しているが、一部のAIカメラにのみ特定人物検知用AIモデルを送信するようにしても構わない。一例として、不審挙動を検知したAIカメラからの距離が閾値より小さいAIカメラにのみ特定人物検知用AIモデルを送信してもよい。閾値としては、例えば、人が所定時間内に移動可能な距離を用いることができる。これにより、不審者が所定時間内に移動可能な範囲内のAIカメラのみを用いて、効率的に不審者を追跡することができる。また、上記の範囲外のAIカメラで無駄な処理を行わずに済むようになる。
【0035】
以上、本発明について一実施形態に基づいて説明したが、本発明はここに記載された構成に限定されるものではなく、他の構成のシステムに広く適用することができることは言うまでもない。例えば、車両、動物、荷物などの監視対象となる物体による特定の挙動を検知するためのAIモデルと、特定挙動を行った特定物体を検知するためのAIモデルとを用いる監視システムとして、本発明を実現することができる。
また、本発明は、例えば、上記の処理に関する技術的手順を含む方法や、上記の処理をプロセッサにより実行させるためのプログラム、そのようなプログラムをコンピュータ読み取り可能に記憶する記憶媒体などとして提供することも可能である。
【0036】
なお、本発明の範囲は、図示され記載された例示的な実施形態に限定されるものではなく、本発明が目的とするものと均等な効果をもたらす全ての実施形態をも含む。更に、本発明の範囲は、全ての開示されたそれぞれの特徴のうち特定の特徴のあらゆる所望する組み合わせによって画され得る。
【産業上の利用可能性】
【0037】
本発明は、AIモデルを用いて映像解析する機能を持つ複数のカメラを備えた監視システムに利用することができる。
【符号の説明】
【0038】
101:AIカメラ、 102:解析装置、 103:PC、 104:発報装置、 105:携帯端末、 201:映像受信部、 202:AIモデルメモリ、 203:AI解析部、 204:データ送信部、 205:データ保存部、 206:映像・解析結果保存装置、 207:AIモデル受信部、 208:AIモデル更新部、 301:データ受信部、 302:解析部、 303:データ保存部、 304:映像・解析結果保存装置、 305:学習データ生成部、 306:学習データメモリ、 307:AIモデル生成部、 308:AIモデルメモリ、 309:AIモデル送信部
図1
図2
図3
図4