(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-12
(45)【発行日】2024-09-24
(54)【発明の名称】監視カメラの情報送信装置、監視カメラの情報受信装置、及び監視カメラシステム、並びに監視カメラの情報受信方法
(51)【国際特許分類】
H04N 23/60 20230101AFI20240913BHJP
H04N 23/661 20230101ALI20240913BHJP
H04N 23/69 20230101ALI20240913BHJP
【FI】
H04N23/60
H04N23/661
H04N23/60 500
H04N23/69
(21)【出願番号】P 2023501933
(86)(22)【出願日】2021-02-26
(86)【国際出願番号】 JP2021007232
(87)【国際公開番号】W WO2022180756
(87)【国際公開日】2022-09-01
【審査請求日】2023-02-07
(73)【特許権者】
【識別番号】000006013
【氏名又は名称】三菱電機株式会社
(74)【代理人】
【識別番号】110003166
【氏名又は名称】弁理士法人山王内外特許事務所
(72)【発明者】
【氏名】佐々木 啓友
【審査官】高野 美帆子
(56)【参考文献】
【文献】特開2018-006910(JP,A)
【文献】特開2006-295604(JP,A)
【文献】特開2006-310901(JP,A)
【文献】特開2007-135093(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 23/60
H04N 23/661
H04N 23/69
(57)【特許請求の範囲】
【請求項1】
監視カメラの情報受信装置であって、
他の監視カメラにより撮像された映像の解析データである映像解析データを、通信ネットワークを介して受信する受信制御部と、
カメラ連携テーブルと映像変更テーブルを参照して、受信した映像解析データを解析して、解析結果に基づいて自監視カメラについての映像制御要求を行う映像解析データ解析部と、
前記映像制御要求に従って、前記自監視カメラの撮影に関する少なくとも1つのパラメータを変更する映像制御部と、
を備え、
前記カメラ連携テーブルには、前記通信ネットワークに接続された監視カメラの検知領域と、各検知領域に連携する監視カメラの識別情報とが登録されており、
前記映像変更テーブルには、前記少なくとも1つのパラメータを変更するための非色彩条件と、前記非色彩条件が満たされた場合の前記少なくとも1つのパラメータの変更内容とが定義されており、前記非色彩条件には、自監視カメラの画角内の移動体の数が複数の場合に関する第1の条件、又は前記自監視カメラの画角内の移動体の速度に関する第2の条件が含まれており、
前記映像解析データ解析部は、前記受信した映像解析データが前記非色彩条件を満たす場合に、前記変更内容に従って前記映像制御要求を行う、
監視カメラの情報受信装置。
【請求項2】
前記映像制御部は、前記映像制御要求を受信して、画質の調整を要求する画質調整要求、画角の制御を要求する画角制御要求、又は映像の符号化の変更を要求する映像符号化変更要求を送信する映像主制御部と、
前記画質調整要求を受信して画質を調整する画質調整部と、
前記画角制御要求を受信して画角を調整するレンズ制御部と、
前記映像符号化変更要求を受信して映像符号化の方法を変更する映像符号化部と、
を備えた請求項1に記載の監視カメラの情報受信装置。
【請求項3】
監視カメラの情報送信装置であって、
移動体の検知又は移動を検出できるように予め学習されたニューラルネットワークを保持し、監視カメラにより撮像された
映像データに対して深層学習の推論処理を行う深層学習推論処理部であって、画角内の領域情報を保持した検知領域テーブルを参照して、前記
監視カメラにより撮像された映像データ内の検知領域における前記移動体の出現、移動又は退出を検出して、検知情報を出力する深層学習推論処理部と、
前記監視カメラ
により撮像された映像データ内の検知領域と各検知領域に連携する監視カメラの識別情報とが登録されたカメラ連携テーブルを参照して、前記検知情報に含まれる前記移動体の出現、移動又は退出が検出された検知領域と、該検知領域に連携する他監視カメラの識別情報と、自監視カメラの識別情報とを含んだ映像解析データを作成する映像解析データ作成部と、
作成された映像解析データを通信ネットワークに送信する送信制御部と、
を備えた監視カメラの情報送信装置。
【請求項4】
前記深層学習推論処理部は、前記深層学習の推論処理を行うことにより移動体が1.4[m/s]以上の速度で移動することを検出できる請求項3に記載の監視カメラの情報送信装置。
【請求項5】
請求項1又は2に記載の監視カメラの情報受信装置と、
請求項3又は4に記載の監視カメラの情報送信装置と、
を備えた監視カメラシステム。
【請求項6】
監視カメラの情報受信方法であって、
他の監視カメラにより撮像された映像の解析データである映像解析データを、通信ネットワークを介して受信するステップと、
カメラ連携テーブルと映像変更テーブルを参照して、受信した映像解析データを解析して、解析結果に基づいて自監視カメラについての映像制御要求を行うステップであって、前記カメラ連携テーブルには、前記通信ネットワークに接続された監視カメラの検知領域と、各検知領域に連携する監視カメラの識別情報とが登録されており、前記映像変更テーブルには、前記自監視カメラの撮影に関する少なくとも1つのパラメータを変更するための非色彩条件と、前記非色彩条件が満たされた場合の前記少なくとも1つのパラメータの変更内容とが定義されており、前記非色彩条件には、自監視カメラの画角内の移動体の数が複数の場合に関する第1の条件、又は前記自監視カメラの画角内の移動体の速度に関する第2の条件が含まれており、前記受信した映像解析データが前記非色彩条件を満たす場合に、前記変更内容に従って前記映像制御要求を行うステップと、
前記映像制御要求に従って、前記少なくとも1つのパラメータを変更するステップと、
を備えた、監視カメラの情報受信方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、監視カメラの情報送信装置、監視カメラの情報受信装置、及び監視カメラシステム、並びに監視カメラの情報受信方法に関する。
【背景技術】
【0002】
特許文献1には、第1の監視カメラ及び第2の監視カメラを含む複数の監視カメラを備えた監視カメラネットワークにおいて、第1の監視カメラが撮影した監視対象の色情報を第2の監視カメラが第1の監視カメラから事前に取得し、第2の監視カメラが、その色情報に対して感度を高くし又は解像度を上げることにより、その監視対象が第2の監視カメラの撮影画角に進入してきた時から監視対象を鮮明に撮影できるようにした技術が開示されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1の技術によれば、単一の監視対象の色に関する情報については考慮されているが、色以外の特徴に関する条件を満たすような事象が生じる場合に適切に対処できないという問題点がある。例えば、自カメラの監視領域内に、複数の監視対象が進入することが予測される場合又はある監視対象が高速で進入することが予測される場合に、これらの監視対象を鮮明に撮影できないという問題点がある。
【0005】
本開示はこのような問題点を解決するためになされたものであり、実施形態の一側面によれば、監視対象の色以外の特徴に関する条件を満たすような事象が生じる場合に、撮影に関する設定を変更する監視カメラの情報受信装置を提供することを目的とする。
【課題を解決するための手段】
【0006】
実施形態による監視カメラの情報受信装置の一側面によれば、監視カメラの情報受信装置は、
他の監視カメラにより撮像された映像の解析データである映像解析データを、通信ネットワークを介して受信する受信制御部と、
カメラ連携テーブルと映像変更テーブルを参照して、受信した映像解析データを解析して、解析結果に基づいて自監視カメラについての映像制御要求を行う映像解析データ解析部と、
前記映像制御要求に従って、前記自監視カメラの撮影に関する少なくとも1つのパラメータを変更する映像制御部と、
を備え、
前記カメラ連携テーブルには、前記通信ネットワークに接続された監視カメラの検知領域と、各検知領域に連携する監視カメラの識別情報とが登録されており、
前記映像変更テーブルには、前記少なくとも1つのパラメータを変更するための非色彩条件と、前記非色彩条件が満たされた場合の前記少なくとも1つのパラメータの変更内容とが定義されており、前記非色彩条件には、自監視カメラの画角内の移動体の数が複数の場合に関する第1の条件、又は前記自監視カメラの画角内の移動体の速度に関する第2の条件が含まれており、
前記映像解析データ解析部は、前記受信した映像解析データが前記非色彩条件を満たす場合に、前記変更内容に従って前記映像制御要求を行う。
【発明の効果】
【0007】
実施形態による監視カメラの情報受信装置の一側面によれば、監視対象の色以外の特徴に関する条件を満たすような事象が生じる場合に、撮影に関する設定を変更することができる。
【図面の簡単な説明】
【0008】
【
図1】監視カメラの情報送信装置と監視カメラの情報受信装置を含む監視カメラシステムのシステム構成例である。
【
図2】監視カメラの情報送信装置の構成例と監視カメラの情報受信装置の構成例を示すブロック図である。
【
図3B】検知領域を実際の画角に重畳した図である。
【
図4A】深層学習推論処理部による動作を示すための図である。
【
図4B】深層学習推論処理部による動作を示すための図である。
【
図4C】深層学習推論処理部による動作を示すための図である。
【
図4D】深層学習推論処理部による動作を示すための図である。
【
図5A】複数のカメラA~Fが設置されたフロアを上から見下ろした平面図である。
【
図5B】カメラEの画角における映像を示す図である。
【
図5C】カメラDの画角における映像を示す図である。
【
図8】映像解析データ解析部の処理の動作例を示す図である。
【
図9A】監視カメラの情報送信装置及び監視カメラの情報受信装置のハードウェアの一構成例を示す図である。
【
図9B】監視カメラの情報送信装置及び監視カメラの情報受信装置のハードウェアの他の構成例を示す図である。
【
図10】監視カメラ及び監視カメラの情報送信装置のフロチャートである。
【
図11】監視カメラ及び監視カメラの情報受信装置のフロチャートである。
【
図12】映像変更テーブルの更に別の例を示す図である。
【発明を実施するための形態】
【0009】
以下、図面を参照しつつ、本開示に係る種々の実施の形態について詳細に説明する。なお、図面全体において同一符号を付された構成要素は、同一又は類似の構成又は機能を有するものとする。
【0010】
実施の形態1.
<構成>
(監視カメラシステム)
図1を参照して、実施の形態1によるの監視カメラシステム30のシステム構成について説明する。
図1は、実施の形態1によるの監視カメラシステム30のシステム構成図である。
図1に示されているように、監視カメラシステム30は、監視カメラ10と監視カメラ20を備え、監視カメラ10と監視カメラ20は通信ネットワークNWを介して接続されている。監視カメラ10は撮影した映像を深層学習によって解析する機能を持ち、監視カメラ10の撮像部の画角内に人やドローン等の移動体が進入してきたことを映像V1から判断することができる。監視カメラ10は、その進入してきた人を追尾して、画角からその人が退出したことを判断することもできる。監視カメラ10が解析した映像解析データは通信ネットワークNWに送信され、そのデータを監視カメラ20が受信して解析することで、監視カメラ20が撮像する映像V2の画質に関する動作条件を変更することができる。
【0011】
図1に示されているように、通信ネットワークNWに送信される映像解析データには、例えば、データの発信元のカメラ名を示すデータ、映像に映っている対象の種別を示す対象種別を示すデータ、その対象が画角内に出現した時刻を示す出現時刻を示すデータ、その対象が画角から退出した時刻を示す退出時間を示すデータが含まれる。
【0012】
通信ネットワークNWには、監視カメラ10及び監視カメラ20から送信される映像データを監視する監視装置(不図示)、及びその映像データを記録する記録装置(不図示)が接続されていてもよい。
【0013】
(監視カメラ、及び監視カメラの情報送信装置)
次に、
図2を参照して、監視カメラシステム30を構成する、監視カメラ10及び監視カメラ20の構成例について説明する。
図2は、監視カメラシステム30を構成する、監視カメラ10及び監視カメラ20の構成例を示すブロック図である。
図2に示されているように、監視カメラ10は、可視光Yを入力とし、可視光Yから得られたデータに対して所定の信号処理を行ってデータ系列Zを出力する。また、
図2に示されているように、監視カメラ20は、通信ネットワークNWからのデータ系列Wを入力とするとともに、データ系列Wに対して所定の信号処理を行って可視光Xを入力とする。
【0014】
図2に示されているように、監視カメラ10は、撮像部135と、監視カメラ10のための情報送信装置100と、カメラ連携テーブル160と、検知領域テーブル122と、を備える。また、情報送信装置100は、画質調整部130、映像データ格納部125、深層学習推論処理部120、映像解析データ作成部115、及び送信制御部110を備える。以下、
図2を参照して、監視カメラ10及び情報送信装置100が備える各構成部について説明する。
【0015】
撮像部135は、監視カメラ10の画角内の映像を撮像する。撮像部135により撮像された撮像データは画質調整部130に送られる。撮像部135は、例えば、CCD(Charged Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等のイメージセンサにより実現される。
【0016】
画質調整部130では、AWB(Auto White Balance)による色合い調整、AE(Auto Exposure)による露出補正、AF(Auto Focus)によるフォーカス調整、シャープネス調整などの様々な画質調整が行われる。画質調整部130は、撮像部135より送られた撮像データに対して画質調整を実行し、画質調整された映像データは映像データ格納部125に送られる。
【0017】
映像データ格納部125は画質調整部130より送られた映像データを一時保存し、映像データ格納部125に保存された映像データは深層学習推論処理部120から参照される。なお、
図2では、映像データ格納部125は、情報送信装置100が備える構成部として示しているが、情報送信装置100が備える構成部でなく、監視カメラ10の構成部として備えられていてもよい。
【0018】
深層学習推論処理部120は、人の検知、及び人の移動を検出できるよう予め学習されたニューラルネットワークを保持している。深層学習推論処理部120は映像データ格納部125から取得した映像データに対して、学習済みニューラルネットワークを用いて深層学習の推論処理を行うことにより、映像データ内に人が出現したこと、出現した人が映像内を移動していること、出現した人が映像データ内から退出したことを検出する機能を有する。
【0019】
検知領域テーブル122は、画角内の領域情報を保持しており、領域情報は深層学習推論処理部120から参照される。深層学習推論処理部120の推論によって検出された人の出現情報と人の退出情報は、領域情報と関連付けられる。検知領域テーブル122は、例えば、監視カメラ10が備えるメモリにより実現される。
【0020】
ここで、
図3A及び
図3Bを参照して、検知領域テーブル122について説明する。
図3Aは検知領域テーブル122の一例を示し、
図3Bは検知領域を実際の画角に重畳した図を示す。
図3Aの例には、検知領域1、検知領域2及び検知領域3が登録されている。検知領域1を規定する座標として、座標1(829,250)、座標2(829,1919)、座標3(1079,1919)、及び座標4(1079,250)が設定されている。これらの座標1~4により形成される四角形の領域内が検知領域1として定められる。
図3Aの例では、検知領域2及び検知領域3についても、それぞれの領域を規定する座標が設定されている。検知領域は監視カメラの設置時などに人の手によって指定することが可能である。
図3Bは、検知領域1、検知領域2、及び検知領域3を実際の画角に重畳した図を示す。
【0021】
次に、
図4A~
図4Dを参照して、深層学習推論処理部120によって実現する、人の出現の検出、人が映像内を移動していることの検出、人の退出の検出の例について説明する。
図4Aによると、監視対象Objは監視カメラの画角に入っていないので検出されない。次に
図4Bによると、監視対象Objが監視カメラの画角に入ることで、深層学習推論処理部120は監視対象Objを人として検知し、監視対象Objを個々に区別するための識別番号を採番し、検知領域テーブル122から取得した領域情報を参照して検知領域3を監視対象Objに関連付ける。深層学習推論処理部120は、この検知情報を映像解析データ作成部115に送信する。次に
図4Cに示されているように
図4Bで検出した監視対象Objが右方向へ移動して検知領域1に進入し、続いて
図4Dに示されているように監視対象Objは監視カメラの画角外へ退出する。深層学習推論処理部120は、検知領域テーブル122から取得した領域情報を参照して検知領域1を関連付ける。深層学習推論処理部120は、検出した監視対象Objと検知領域とを関連付けた情報を映像解析データ作成部115に送信する。
【0022】
図2において、カメラ連携テーブル160には、各カメラに設定された検知領域と、設定された検知領域に連携するカメラ名称(カメラ識別情報)とが登録されており、カメラ連携テーブル160は映像解析データ作成部115から参照される。カメラ連携テーブル160は、例えば、監視カメラ10が備えるメモリにより実現される。
【0023】
ここで、
図5A~
図5Dを参照して、カメラ連携テーブル160の具体例について説明する。
図5Aは、カメラA~カメラFが設置されたフロアを上から見下ろした平面図である。
図5Aにおける破線は、各カメラの水平方向の画角の範囲を示すための線である。
図5BはカメラEの画角における映像であり、
図5CはカメラDの画角における映像である。
図5Dはカメラ連携テーブル160の例である。以下、カメラ連携テーブル160におけるカメラDとカメラEのカメラ連携設定について、具体的に説明する。
【0024】
図5Dに示されているように、カメラDのカメラ連携1として、検知領域1とカメラAが連携するように設定されている。カメラ連携とは、あるカメラに設定された検知領域について、この検知領域に関して連携される他のカメラを示す設定を意味する。
図5C及び
図5Aに示されているように、カメラDの検知領域1の先に設置されたカメラはカメラAであるので、カメラDの検知領域1について、連携されるカメラとしてカメラAが設定されている。
【0025】
図5Dに示されているように、カメラDのカメラ連携2として、検知領域2とカメラEが連携するように設定されている。これは、
図5C及び
図5Aに示されているように、カメラDの検知領域2の先に設置されたカメラはカメラEだからである。
【0026】
図5Dに示されているように、カメラEのカメラ連携1として、検知領域1とカメラDが連携するように設定されている。これは、
図5B及び
図5Aに示されているように、カメラEの検知領域1の先に設置されたカメラはカメラDだからである。
【0027】
図5Dに示されているように、カメラEのカメラ連携2として、検知領域2とカメラBが連携するように設定されている。これは、
図5B及び
図5Aに示されているように、カメラEの検知領域2の先に設置されたカメラはカメラBだからである。
【0028】
図5Dに示されているように、カメラEのカメラ連携3として、検知領域3とカメラFが連携するように設定されている。これは、
図5B及び
図5Aに示されているように、カメラEの検知領域3の先に設置されたカメラはカメラFだからである。
【0029】
カメラ連携テーブルには、全カメラ分の連携テーブルが各カメラに組み込まれていてもよいし、自カメラの連携テーブルだけが組み込まれていてもよい。また、あるカメラの検知領域に連携される別のカメラの数は1つである必要はなく、複数のカメラが連携されてもよい。
【0030】
図2において、映像解析データ作成部115は、深層学習推論処理部120から送信された検知情報と、カメラ連携テーブル160を参照して取得するカメラ連携の情報と、発信元として自カメラの名称を使用して、映像解析データを作成する。映像解析データ作成部115は、映像解析データを送信制御部110に送信する。
【0031】
図6A及び
図6Bに、映像解析データ作成部115が作成する映像解析データの例を示す。映像解析データは、発信元のカメラ名称と、監視対象を個々に区別するための識別番号と、対象種別と、監視対象がカメラ画角内に出現した時刻と、監視対象がカメラ画角内から退出した時刻と、監視対象がカメラ画角内に出現した領域と、監視対象がカメラ画角内から退出した領域と、退出した領域と連携するカメラ名称を持つ。具体的には、
図6Aに示された映像解析データD1では、監視カメラEが識別番号XXXXXXXXの付与された人を2020年09月22日の11時20分32秒に検知領域3で出現検知したことを意味する。また、
図6Bの映像解析データD2では、監視カメラEにより識別番号XXXXXXXXの付与された人が2020年09月22日の11時20分37秒に検知領域1から退出したことを検出し、この退出領域1に連携するカメラはカメラDであることを意味する。
【0032】
図2において、送信制御部110は、映像解析データ作成部115から受信した映像解析データを、通信ネットワークNWにブロードキャストする。ブロードキャストによる送信に替えて、送信制御部110は、映像解析データを、連携されたカメラにユニキャスト又はマルチキャストしてもよい。
【0033】
(監視カメラ、及び監視カメラの情報受信装置)
次に、監視カメラ20の構成について説明する。
図2に示されているように、監視カメラ20は、監視カメラ20のための情報受信装置200と、カメラ連携テーブル260と、映像変更テーブル265と、撮像部235と、レンズ280とを備える。情報受信装置200は、受信制御部250と、映像解析データ解析部255と、映像制御部270とを備える。映像制御部270は、映像主制御部271と、画質調整部272と、レンズ制御部273と、映像符号化部274とを備える。以下、
図2を参照して、監視カメラ20及び情報受信装置200が備える各構成部について説明する。
【0034】
受信制御部250は、監視カメラ10が送信した映像解析データを通信ネットワークNWを介して受信し、受信した映像解析データを映像解析データ解析部255に送信する。
【0035】
カメラ連携テーブル260には、カメラの検知領域とそれに連携するカメラ名称とが登録されており、映像解析データ解析部255から参照される。カメラ連携テーブル260は、例えば、情報受信装置200が備えるメモリにより実現される。カメラ連携テーブル260の具体例は、
図5Dに示されたようなテーブルである。すなわち、カメラ連携テーブル260は、カメラ連携テーブル160と同内容であってもよい。あるいは、カメラ連携テーブル260は、自カメラに関するテーブルだけを保持してもよい。例えば、監視カメラFの場合、
図5Dに示されたテーブルの内、項目と、カメラFの行だけからなるテーブルを保持してもよい。
【0036】
映像変更テーブル265には、監視対象の色彩以外の特徴に関する所定の条件(以下、非色彩条件と称する場合がある。)と、非色彩条件の各条件が満たされたときに画質に係るパラメータの変更方法、映像符号化に係るパラメータの変更方法、及び画角の変更方法が定義されている。映像変更テーブル265は、例えば、情報受信装置200が備えるメモリにより実現される。ここで、
図7を参照して、映像変更テーブル265の具体例について説明する。
図7に示されているように、映像変更テーブル265には、画角内の人数という特徴に関する複数の条件が規定されている。より詳細には、「画角内の人数が1人になる」という条件1と、「画角内の人数が2人になる」という条件2と、「画角内の人数が3人以上になる」という条件3とが定義されている。何れの条件も、画角内の人数が増える場合について定めている。例えば、条件2に即して説明すると、条件2には、「画角内の人数が0人から2人になる」場合と、「画角内の人数が1人から2人になる」場合とが含まれるが、「画角内の人数が3人から2人になる」場合は含まれない。
図7の例において、画質に係るパラメータとして解像度及びシャープネスが示され、映像符号化に係るパラメータとしてビットレート及びQ値(Quality Factor)が示されている。
【0037】
映像変更テーブル265には、各条件が満たされたときに、画質に係るパラメータ、映像符号化に係るパラメータ、及び画角を、画角内の人数が0人である場合の設定に比べた変更方法が定義されている。例えば、条件1が満たされた場合、解像度はそのままで、ビットレートはそのままで、シャープネスはそのままで、Q値は上げて、画角はそのままとするように、カメラの設定が変更される。すなわち、解像度、ビットレート及びシャープネスは画角内の人数が0人の場合の設定値と同じで、Q値は画角内の人数が0人の場合の設定値よりも上げられて、画角は画角内の人数が0人の場合の設定のままとする。
【0038】
条件2が満たされた場合、解像度はそのままで、ビットレートは上げて、シャープネスはそのままで、Q値は上げて、画角はそのままとするように、カメラの設定が変更される。条件3が満たされた場合、解像度はそのままで、ビットレートは上げて、シャープネスは上げて、Q値は上げて、画角はズームアウトするように、カメラの設定が変更される。
【0039】
図7の例では、何れの条件が満たされた場合であっても解像度はそのままとなっているが、何れかの条件が満たされた場合に解像度を上げるように変更してもよい。例えば、条件3が満たされた場合に、解像度を上げるようにしてもよい。
【0040】
人数が減少する場合については、より多い人数から2人になった場合や、より多い人数から1人になった場合等のように個別に複数の条件を定めて、各種パラメータを変更するようにしてもよい。あるいは、画角内の人数が0人になった場合に、各種パラメータをデフォルト値(0人の場合の設定値)に戻すようにしてもよい。
【0041】
図2に戻り、映像解析データ解析部255は、カメラ連携テーブル260が持つカメラ連携情報と、映像変更テーブル265が持つ映像変更情報とを参照して、受信制御部250が送信した映像解析データを解析して、解析結果に基づいて映像主制御部271に対して映像制御要求を行う。
【0042】
ここで、
図8を参照して、映像解析データ解析部255の処理について、カメラDが映像解析データ例を、カメラ連携テーブル260及び映像変更テーブル265を用いて解析する場合に即して説明する。
図8に示されているように、カメラDは、通信ネットワークNWから、映像解析データD-T1、映像解析データD-T2、映像解析データD-T3、及び映像解析データD-T4を、この順に受信するとする。
【0043】
映像解析データD-T1は、カメラEの検知領域3に人(識別番号:XXXXXXXX)が出現したことを示している。この映像解析データD-T1はカメラDにとって必要でないので、カメラDの映像解析データ解析部255は受信した映像解析データD-T1を破棄する。
【0044】
映像解析データD-T2は、カメラBの検知領域1から人(識別番号:YYYYYYYY)が退出したこと、及び退出領域である検知領域1に連携するカメラはカメラAであることを示している。連携するカメラはカメラAであるので、この映像解析データD-T2はカメラDにとって必要でない。そのため、カメラDの映像解析データ解析部255は受信した映像解析データD-T2を破棄する。
【0045】
映像解析データD-T3は、カメラEの検知領域1から人(識別番号:XXXXXXXX)が退出したこと、及び退出領域である検知領域1に連携するカメラがカメラDであることを示している。連携するカメラはカメラDであるので、映像解析データD-T3はカメラDにとって必要である。カメラ連携テーブル260によると、カメラEの検知領域1から退出した人が出現する、カメラDの画角における検知領域は検知領域2である。現在のカメラDの画角内に人が一人もいないとした場合、映像変更テーブル265の条件1を満たすため、カメラDの映像解析データ解析部255は、人(識別番号:XXXXXXXX)が出現すると予測される検知領域2のQ値を事前に上げる。Q値を上げることにより映像の符号化圧縮率は下げられるので、Q値を事前に上げておくことにより、カメラDの画角内に人(識別番号:XXXXXXXX)が出現した時又は出現した直後から高品質な映像が得られるようにする。
【0046】
映像解析データD-T4は、カメラAの検知領域2から人(識別番号:ZZZZZZZZ)が退出したこと、及び退出領域である検知領域2に連携するカメラがカメラDであることを示している。連携するカメラはカメラDであるので、映像解析データT4はカメラDにとって必要である。カメラ連携テーブル260によると、カメラAの検知領域2から退出した人が出現する、カメラDの画角における領域は検知領域1である。現在のカメラDの画角内に人(識別番号:XXXXXXXX)が既に1人いる場合、映像変更テーブル265の条件2が満たされる。そこで、カメラDの映像解析データ解析部255は、人(識別番号:ZZZZZZZZ)が出現すると予測される検知領域1のQ値を事前に上げる。Q値を上げることにより映像の符号化圧縮率は下げられるので、カメラDの映像解析データ解析部255は、Q値を事前に上げておくことにより、カメラDの画角内に人(識別番号:ZZZZZZZZ)が出現した時又は出現した直後から高品質な映像が得られるようにする。さらに、カメラDの映像解析データ解析部255は、ビットレートを事前に上げることにより、人が増えたことで画角内の複雑さが増しても画面全体の映像品質が保たれるようにしておく。
【0047】
図8の例ではカメラDの画角内の異なる検知領域に一人ずつ進入することによりカメラDの画角内に複数人存在することが想定される場合を示したが、カメラDの画角内の同一の
検知領域に複数人が進入することによりカメラDの画角内に複数人存在することが想定される場合も、カメラDの映像解析データ解析部255は
図7の映像変更テーブル265を用いて上述した例と同様の制御を行ってよい。
【0048】
図2に戻り、映像主制御部271は、映像解析データ解析部255から送信された映像制御要求を受信し、映像制御要求の内容に応じて、画質調整部272に対して画質調整要求を送信し、レンズ制御部273に画角制御要求(レンズ制御要求)を送信し、映像符号化部274に映像符号化変更要求を送信する。その一方、撮像部235は、監視カメラの画角内のシーンを撮像する。撮像部235は、例えば、CCD(Charged Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等のイメージセンサにより実現される。撮像部235により撮像された撮像データは画質調整部272に送られる。
【0049】
レンズ制御部273は、映像主制御部271からレンズ制御要求を受信する。レンズ制御部273は画角変更の要求を受信した場合、レンズ280に対して画角制御(レンズ制御)を要求する。レンズ280は、レンズ制御部273から画角制御要求(レンズ制御要求)を受信し、レンズのズーム倍率を変更する。
【0050】
画質調整部272は、撮像部235より送られた撮像データに対して、映像主制御部271から要求された映像処理要求を実行する。画質調整部272は、解像度変更の要求を受信した場合は、撮像データを指定された解像度にサイズ変更する。画質調整部272は、シャープネス変更の要求を受信した場合は、撮像データを指定されたシャープネスで画質調整する。
【0051】
映像符号化部274は、画質調整部272により画質調整された映像データに対して、映像符号化を実行する。映像符号化部274は、ビットレート変更の要求を受信した場合は、映像データを指定されたビットレートで映像符号化する。映像符号化部274は、Q値変更の要求を受信した場合は、映像データを指定されたQ値で映像符号化する。映像符号化部274は、画質調整部272により画質調整された映像データ、又は映像符号化部274により符号化された映像データを、例えば、通信ネットワークNWに接続された監視装置に送信する。
【0052】
次に、
図9A及び
図9Bを参照して、情報送信装置100及び情報受信装置200のハードウェアの構成例について説明する。一例として、
図9Aに示されているように、情報送信装置100又は情報受信装置200は、プロセッサ301、及びプロセッサ301に接続されたメモリ302を備える。メモリ302に格納されたプログラムがプロセッサ301に読み出されて実行されることにより、情報送信装置100の画質調整部130、深層学習推論処理部120、映像解析データ作成部115、及び送信制御部110が実現される。映像データ格納部125は、メモリ302により実現される。なお、映像データ格納部125が情報送信装置100でなく監視カメラ10の構成部である場合には、映像データ格納部125は、監視カメラ10の不図示のメモリにより実現される。また、メモリ302に格納されたプログラムがプロセッサ301に読み出されて実行されることにより、情報受信装置200の受信制御部250、映像解析データ解析部255、映像主制御部271、画質調整部272、レンズ制御部273、及び映像符号化部274が実現される。プログラムは、ソフトウェア、ファームウェア又はソフトウェアとファームウェアとの組合せとして実現される。メモリ302の例には、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ、EPROM(Erasable Programmable Read Only Memory)、EEPROM(Electrically-EPROM)などの不揮発性又は揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、DVDが含まれる。
【0053】
別の例として、
図9Bに示されているように、情報送信装置100又は情報受信装置200は、プロセッサ301及びメモリ302に替えて、処理回路303を備える。この場合、処理回路303により、情報送信装置100の画質調整部130、深層学習推論処理部120、映像解析データ作成部115、及び送信制御部110が実現される。また、処理回路303により、情報受信装置200の受信制御部250、映像解析データ解析部255、映像主制御部271、画質調整部272、レンズ制御部273、及び映像符号化部274が実現される。処理回路303は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)、又は、これらの組合せである。
【0054】
<動作>
次に、
図10を参照して、監視カメラ10及び監視カメラ10の情報送信装置100の動作について説明する。
【0055】
ステップST101において、監視カメラ10の撮像部135は、監視カメラ10の画角内の映像を撮像する。撮像部135は、撮像した撮像データを、情報送信装置100の画質調整部130に送る。
【0056】
ステップST102において、画質調整部130は、AWBによる色合い調整、AEによる露出補正、AFによるフォーカス調整、シャープネス調整などの様々な画質調整を行う。画質調整部130は、画質調整を行った映像データを、映像データ格納部125に送る。
【0057】
ステップST103において、映像データ格納部125は、画質調整部130より送られた映像データを一時保存する。
【0058】
ステップST104において、深層学習推論処理部120は、映像データ格納部125に保存されている映像データを取得し、取得した映像データに対して、学習済みニューラルネットワークを用いて深層学習の推論処理を行う。推論処理により、映像データ内に人が出現したこと、出現した人が映像内を移動していること、出現した人が映像データ内から退出したことを検出する。深層学習推論処理部120は、検知領域テーブル122を参照して、人の出現情報又は退出情報と検知領域の領域情報とが関連付けられた情報を、映像解析データ作成部115に送信する。
【0059】
ステップST105において、映像解析データ作成部115は、深層学習推論処理部120から送信された検知情報と、カメラ連携テーブル160を参照して取得するカメラ連携の情報と、発信元として自カメラの名称とを使用して、映像解析データを作成する。映像解析データ作成部115は、映像解析データを送信制御部110に送信する。
【0060】
ステップST106において、送信制御部110は、映像解析データ作成部115から受信した映像解析データを通信ネットワークNWに送信する。
【0061】
次に、
図11を参照して、監視カメラ20及び監視カメラ20の情報受信装置200の動作について説明する。
【0062】
ステップST111において、受信制御部250は、監視カメラ10が送信した映像解析データを通信ネットワークNWを介して受信し、受信した映像解析データを映像解析データ解析部255に送信する。
【0063】
ステップST112において、映像解析データ解析部255は、カメラ連携テーブル260と、映像変更テーブル265とを参照して、受信制御部250が送信した映像解析データを解析して、解析結果に基づいて映像主制御部271に対して映像制御要求を行う。カメラ連携テーブル260には、通信ネットワークNWに接続された監視カメラの検知領域と、各検知領域に連携する監視カメラの識別情報とが登録されている。映像変更テーブル265には、監視カメラ20の撮影に関する少なくとも1つのパラメータを変更するための非色彩条件と、非色彩条件が満たされた場合の少なくとも1つのパラメータの変更内容とが定義されており、非色彩条件には、監視カメラ20の画角内の移動体の数が複数の場合に関する条件が含まれている。パラメータの例には、解像度、ビットレート、シャープネス、Q値、及び画角が含まれる。映像解析データ解析部255は、受信した映像解析データが非色彩条件を満たす場合に、定義された変更内容に従って映像制御要求を行う。
【0064】
ステップST113において、映像制御部270は、映像解析データ解析部255から送信された映像制御要求を受信し、映像制御要求の内容に応じて、監視カメラ20により撮像される映像又は撮像された映像に関する制御を行う。すなわち、映像制御部270は、映像制御要求の内容に応じてパラメータの値を変更するように制御を行う。より具体的には、映像制御部270の映像主制御部271は、映像解析データ解析部255から送信された映像制御要求を受信し、映像制御要求の内容に応じて、画質調整部272に対して画質調整要求を送信し、レンズ制御部273にレンズ制御要求を送信し、映像符号化部274に映像符号化変更要求を送信する。画 質調整部272は、撮像部235により撮像された撮像データに対して、映像主制御部271から要求された映像処理要求を実行する。映像符号化部274は、画質調整部130で画質調整された映像データに対して、映像符号化を実行する。レンズ制御部273は、映像主制御部271からレンズ制御要求を受信する。レンズ制御部273は画角変更の要求を受信した場合、レンズ280に対してレンズ制御を要求する。レンズ280は、レンズ制御部273からレンズ制御要求を受信し、レンズのズーム倍率を変更する。
【0065】
以上で説明したような移動体の数という特徴を考慮する監視カメラの情報送信装置、監視カメラの情報受信装置、又は監視カメラシステムは、人の移動を検知するシステムにおいて広く利用することが可能である。例えば、人が近づくことで動作を開始するエスカレータの降り場を監視するシステムにおいて利用することができる。このようなエスカレータの監視システムにおいて、監視カメラの情報受信装置は、エスカレータの動作信号を受信することで、エスカレータの降り場を監視するカメラの画質を事前調整することが可能となる。
【0066】
さらに、上述の監視カメラの情報受信装置200は、エレベータの乗降場を監視するシステムにおいて利用することも可能である。このようなエレベータの監視システムにおいて、監視カメラの情報受信装置は、エレベータの停車階数信号を受信することでエレベータの停止階の乗降場を監視するカメラの画質を事前調整することが可能となる。
【0067】
また、上述した監視カメラの情報送信装置100及び監視カメラの情報受信装置200を備える監視カメラシステム30は、自動車や自動搬送装置やドローンなど、人以外の移動装置の監視をするシステムとして利用することも可能である。
【0068】
以上で説明したように、監視カメラの情報送信装置100は、深層学習によって人の出現の検出、人が映像内を移動していることの検出、人の退出を検出できる。監視カメラの情報送信装置100を、これらの検知に基づく映像解析データを通信ネットワークNWに発信するように構成することで、その映像解析データを受信した監視カメラの情報受信装置200は、監視カメラの情報受信装置200と接続された監視カメラの画角内に人が出現する前に、画角内に現れる人数や、画角内に現れる人の出現位置に適した画質に変更することが可能になり、人が撮影画角に進入してきた時から、その人を鮮明に撮影することが可能となる。
【0069】
実施の形態2.
上述の実施の形態1では、画角内の人数という特徴によって監視カメラの映像を調整する映像変更テーブル265の例を開示したが、人の移動速度という特徴によって監視カメラの映像を調整するように監視カメラシステムを変形してもよい。
【0070】
人の移動速度によって監視カメラの映像を調整するため、監視カメラの情報送信装置100の深層学習推論処理部120が保持する学習済みニューラルネットワークは、人の画角内サイズと単位時間当たりの人の移動量とから、人が高速で移動していることも検出できるように更に事前学習する。そして、深層学習推論処理部120は、映像データ格納部125より取得した映像データに対して、深層学習の推論処理を行うことにより、実施の形態1と同様に映像データ内への人の出現、出現した人の映像データ内での移動、出現した人の映像データ内からの退出に加え、人が高速で移動していることを検出する機能を持つ。深層学習推論処理部120はこれらの検知情報を映像解析データ作成部115に送信する。
【0071】
人の移動速度によって監視カメラの映像を調整するため、監視カメラの情報受信装置200の映像解析データ解析部255は、例えば、
図12に示されているような映像変更テーブルを参照する。
図12において、映像変更テーブルの条件1として、画角内に高速で移動する人が進入するという設定変更条件が規定されている。大人の平均的歩行速度は約1.3[m/s]であるので、高速か否かの基準として1.4[m/s]以上の任意の数値を用いてよい。
図12の映像変更テーブルにおいて、条件1が満たされたときの設定変更内容として、解像度はそのままで、ビットレートは上げ、シャープネスはそのままで、Q値を上げ、画角をズームアウトし、フレームレートを上げるという設定変更内容が定められている。なお、
図12の映像変更テーブルは、
図7の映像変更テーブルと一体化されていても、別体であってもよい。
【0072】
以上説明したように、監視カメラの情報送信装置100が深層学習によって高速に移動する人を検出でき、監視カメラの情報送信装置100による映像解析データを通信ネットワークNWに発信するように構成することで、その映像解析データを受信した監視カメラの情報受信装置200は、監視カメラの情報受信装置200と接続された監視カメラの画角内に人が出現する前に、高速に移動する人に適した画質に変更することが可能となる。これにより、人が撮影画角に進入してきた時から、その人を鮮明に撮影することが可能となる。
【0073】
<付記>
以上で説明した種々の実施形態のいくつかの側面について、以下にてまとめる。
(付記1)
付記1による監視カメラの情報受信装置(200)は、他の監視カメラ(10)により撮像された映像の解析データである映像解析データを、通信ネットワークを介して受信する受信制御部(250)と、カメラ連携テーブル(260)と映像変更テーブル(265)を参照して、受信した映像解析データを解析して、解析結果に基づいて自監視カメラ(20)についての映像制御要求を行う映像解析データ解析部(255)と、前記映像制御要求に従って、前記自監視カメラの撮影に関する少なくとも1つのパラメータを変更する映像制御部(270)と、を備え、前記カメラ連携テーブルには、前記通信ネットワークに接続された監視カメラの検知領域と、各検知領域に連携する監視カメラの識別情報とが登録されており、前記映像変更テーブルには、前記少なくとも1つのパラメータを変更するための非色彩条件と、前記非色彩条件が満たされた場合の前記少なくとも1つのパラメータの変更内容とが定義されており、前記非色彩条件には、自監視カメラの画角内の移動体の数が複数の場合に関する第1の条件、又は前記自監視カメラの画角内の移動体の速度に関する第2の条件が含まれており、前記映像解析データ解析部は、前記受信した映像解析データが前記非色彩条件を満たす場合に、前記変更内容に従って前記映像制御要求を行う。
(付記2)
付記2による監視カメラの情報受信装置は、付記1の監視カメラの情報受信装置であって、前記映像制御部は、前記映像制御要求を受信して、画質の調整を要求する画質調整要求、画角の制御を要求する画角制御要求、又は映像の符号化の変更を要求する映像符号化変更要求を送信する映像主制御部(271)と、前記画質調整要求を受信して画質を調整する画質調整部(272)と、前記画角制御要求を受信して画角を調整するレンズ制御部(273)と、前記映像符号化変更要求を受信して映像符号化の方法を変更する映像符号化部(274)と、を備える。
(付記3)
付記3による監視カメラの情報送信装置(100)は、移動体の検知又は移動を検出できるように予め学習されたニューラルネットワークを保持し、監視カメラ(10)により撮像された撮像データに対して深層学習の推論処理を行う深層学習推論処理部であって、画角内の領域情報を保持した検知領域テーブルを参照して、前記映像データ内の検知領域における前記移動体の出現、移動又は退出を検出して、検知情報を出力する深層学習推論処理部(120)と、監視カメラの検知領域と各検知領域に連携する監視カメラの識別情報とが登録されたカメラ連携テーブルを参照して、前記検知情報に含まれる前記移動体の出現、移動又は退出が検出された検知領域と、該検知領域に連携する他監視カメラ(20)の識別情報と、自監視カメラ(10)の識別情報とを含んだ映像解析データを作成する映像解析データ作成部(115)と、作成された映像解析データを通信ネットワークに送信する送信制御部(110)と、を備える。
(付記4)
付記4による監視カメラの情報送信装置は、付記3の監視カメラの情報送信装置であって、前記深層学習推論処理部は、前記深層学習の推論処理を行うことにより移動体が1.4[m/s]以上の速度で移動することを検出できる。
(付記5)
付記5による監視カメラシステム(30)は、付記1又は2の監視カメラの情報受信装置と、付記3又は4の監視カメラの情報送信装置と、を備える。
(付記6)
付記6による監視カメラの情報受信方法は、他の監視カメラ(10)により撮像された映像の解析データである映像解析データを、通信ネットワークを介して受信するステップ(ST111)と、カメラ連携テーブルと映像変更テーブルを参照して、受信した映像解析データを解析して、解析結果に基づいて自監視カメラ(20)についての映像制御要求を行うステップであって、前記カメラ連携テーブルには、前記通信ネットワークに接続された監視カメラの検知領域と、各検知領域に連携する監視カメラの識別情報とが登録されており、前記映像変更テーブルには、前記自監視カメラの撮影に関する少なくとも1つのパラメータを変更するための非色彩条件と、前記非色彩条件が満たされた場合の前記少なくとも1つのパラメータの変更内容とが定義されており、前記非色彩条件には、自監視カメラの画角内の移動体の数が複数の場合に関する第1の条件、又は前記自監視カメラの画角内の移動体の速度に関する第2の条件が含まれており、前記受信した映像解析データが前記非色彩条件を満たす場合に、前記変更内容に従って前記映像制御要求を行うステップ(ST112)と、前記映像制御要求に従って、前記少なくとも1つのパラメータを変更するステップ(ST113)と、を備える。
【0074】
なお、実施形態を組み合わせたり、各実施形態を適宜、変形、省略したりすることが可能である。
【産業上の利用可能性】
【0075】
本開示に係る監視カメラの情報受信装置は、監視カメラに実装して監視カメラとして利用することができる。
【符号の説明】
【0076】
10 監視カメラ、20 監視カメラ、30 監視カメラシステム、100 情報送信装置、110 送信制御部、115 映像解析データ作成部、120 深層学習推論処理部、122 検知領域テーブル、125 映像データ格納部、130 画質調整部、135 撮像部、160 カメラ連携テーブル、200 情報受信装置、235 撮像部、250 受信制御部、255 映像解析データ解析部、260 カメラ連携テーブル、265 映像変更テーブル、270 映像制御部、271 映像主制御部、272 画質調整部、273 レンズ制御部、274 映像符号化部、280 レンズ、301 プロセッサ、302 メモリ、303 処理回路。