特許 6469975 映像監視装置、映像監視システムおよび映像監視方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6469975

(24)【登録日】2019年1月25日

(45)【発行日】2019年2月13日

(54)【発明の名称】映像監視装置、映像監視システムおよび映像監視方法

(51)【国際特許分類】

   H04N 7/18 20060101AFI20190204BHJP

   G08B 25/00 20060101ALI20190204BHJP

【ＦＩ】

   H04N7/18 D

   G08B25/00 510M

【請求項の数】5

【全頁数】20

(21)【出願番号】特願2014-132020(P2014-132020)

(22)【出願日】2014年6月27日

(65)【公開番号】特開2016-12752(P2016-12752A)

(43)【公開日】2016年1月21日

【審査請求日】2017年2月20日

(73)【特許権者】

【識別番号】000153443

【氏名又は名称】株式会社 日立産業制御ソリューションズ

(74)【代理人】

【識別番号】100098660

【弁理士】

【氏名又は名称】戸田 裕二

(72)【発明者】

【氏名】笹谷 聡

(72)【発明者】

【氏名】伊藤 誠也

(72)【発明者】

【氏名】須田 安博

【審査官】 鈴木 隆夫

(56)【参考文献】

【文献】 特開２００７−２７４６５４（ＪＰ，Ａ）

【文献】 特開２００８−２４１７０７（ＪＰ，Ａ）

【文献】 特開２０１３−１８７６４０（ＪＰ，Ａ）

【文献】 特開２００７−２１３１８１（ＪＰ，Ａ）

【文献】 国際公開第２０１２／００４９０７（ＷＯ，Ａ１）

【文献】 特開２００４−０３２４５９（ＪＰ，Ａ）

【文献】 特開２００４−０６２５６０（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ７／１８

Ｇ０８Ｂ ２５／００

(57)【特許請求の範囲】

【請求項1】

撮像装置から画像を取得する画像取得部と、
前記画像における被写体の前記画像上での見やすさを示す視認性を、被写体毎に算出する被写体視認性評価部と、
前記被写体毎の視認性に応じて、前記被写体毎にマスク処理を行う場合のマスク処理強度を求めるマスク強度調整部と、
前記マスク処理強度に基づくマスク処理を前記被写体に施すマスク処理部と、を有する映像監視装置であって、
前記被写体視認性評価部は、
前記撮像装置と前記被写体との距離データを画素ごとに取得する距離取得部、
前記画像中の前記被写体が含まれる領域の画質を評価する画質取得部、
前記撮像装置の設定パラメータを読み込む撮像装置情報取得部、
前記被写体の撮影された環境を評価する撮影環境取得部の少なくとも１つを有し、
前記被写体視認性評価部が有する、前記距離取得部、前記画質取得部、前記撮像装置情報取得部、前記撮影環境取得部から取得した前記被写体の見やすさを示す視認性に関する視認性情報を用いて、前記被写体の前記視認性を前記被写体ごとに対応付けて評価することを特徴とする映像監視装置。

【請求項2】

前記マスク強度調整部は、前記被写体の視認性が大きいほど、前記マスク処理強度を強くすることを特徴とする請求項１に記載の映像監視装置。

【請求項3】

前記画像における被写体のうち、監視したい被写体以外の被写体である非監視被写体を検出する画像認識部と、
前記被写体視認性評価部は、前記非監視被写体の視認性を算出するとともに、
前記マスク強度調整部は、前記視認性に応じて前記非監視被写体にマスク処理を行う場合のマスク処理強度を求め、
前記マスク処理部は、前記マスク処理強度に基づいて前記非監視被写体にマスク処理を施すことを特徴とする請求項１又は２のいずれかに記載の映像監視装置。

【請求項4】

前記マスク強度調整部は、監視員のアクセス権に応じて、前記被写体に対する前記マスク処理の実施範囲、前記マスク処理のマスク方法のうち、少なくとも１つ以上を変更することを特徴とする請求項１〜３のいずれかに記載の映像監視装置。

【請求項5】

前記マスク強度調整部は、前記被写体のプライバシーポリシーに応じて、前記被写体に対する前記マスク処理の実施範囲、前記マスク処理のマスク方法のうち、少なくとも１つ以上を変更することを特徴とする請求項１〜４のいずれかに記載の映像監視装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、映像監視装置、映像監視システムおよび映像監視方法に関する。

【背景技術】

【0002】

近年、監視カメラ等で撮影した映像をモニタに表示して、監視者が異常状態の有無を監視する映像監視システムへのニーズが高まっている。例えば、駅、空港、公共施設等における不審者・不審物監視や、学校や住宅等における子どもや独居老人等の見守り監視が映像監視システムの代表例である。上記システムの普及に伴い監視カメラの設置場所の多様化が進むことで、その撮影領域に監視対象外の被写体が含まれる可能性が高まり、プライバシー侵害の問題が懸念される。そのため、監視画像にマスク処理等の画像処理を施して監視対象外の被写体のプライバシーを保護する技術が必要となる。

【0003】

本技術分野の背景技術として、特開２００７−２７４６５５号公報（特許文献１）がある。この公報には、「装置本体１には、装置全体の制御に関する情報処理を行う制御部１０、撮影された映像の画像処理を行う画像処理部１１を備えており、異物処理部１１ａは、異物の下端が監視エリアに入っていると判断したときは、動物体に関する異物を抽出するとともに、判定部１０ｃで人物と判定された異物の切り出し処理を行う。マスク領域処理部１１ｃは、設定されたマスク領域に基づいて異物が切り出された入力画像をマスキング処理し、監視画像生成部１１ｄは、マスキング処理された入力画像に切り出された異物を貼付して監視画像を生成する。」と記載されている（要約参照）。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００７−２７４６５５

【発明の概要】

【発明が解決しようとする課題】

【0005】

前記特許文献１では、画像認識により画像中から不審者等の監視対象となる被写体はそのまま表示して、その他の被写体には均一の強度のマスク処理を施すことで、監視対象外の被写体のプライバシーを保護している。

【0006】

すなわち、不審者等の監視対象外の被写体については、通常はプライバシー保護のためにマスク処理が施されるが、監視状況によっては、監視対象外の被写体が異常な動きをした場合など、監視対象外の被写体も監視したい状況が生じる。このような場合に、全ての監視対象外の被写体に対して一様な強度のマスク処理を施すと、マスク処理を施す前の画像において視認性が高い被写体の場合は、マスク強度が足りずプライバシーを保護できない。一方、視認性が低い被写体の場合は、マスク強度が強すぎるために被写体の情報が全く得られないという課題がある。そこで、本発明は、前記の課題を解決するための発明であって、映像監視システムにおいて、被写体の視認性によりマスク処理の強度を調整することで、画像中における被写体に適したマスク処理を実施することを目的とする。

【課題を解決するための手段】

【0007】

前記目的を達成するため、本発明は、撮像装置から画像を取得する画像取得部と、前記画像における被写体の前記画像上での見やすさを示す視認性を、被写体毎に算出する被写体視認性評価部と、前記被写体毎の視認性に応じて、前記被写体毎にマスク処理を行う場合のマスク処理強度を求めるマスク強度調整部と、前記マスク処理強度に基づくマスク処理を前記被写体に施すマスク処理部と、を有する映像監視装置であって、前記被写体視認性評価部は、前記撮像装置と前記被写体との距離データを画素ごとに取得する距離取得部、前記画像中の前記被写体が含まれる領域の画質を評価する画質取得部、前記撮像装置の設定パラメータを読み込む撮像装置情報取得部、前記被写体の撮影された環境を評価する撮影環境取得部の少なくとも１つを有し、前記被写体視認性評価部が有する、前記距離取得部、前記画質取得部、前記撮像装置情報取得部、前記撮影環境取得部から取得した前記被写体の見やすさを示す視認性に関する視認性情報を用いて、前記被写体の前記視認性を前記被写体ごとに対応付けて評価することを特徴とする。

【発明の効果】

【0008】

本発明によれば、映像監視システムにおいて、被写体の視認性によりマスク処理の強度を調整することで、画像中における被写体に適したマスク処理を実施することが

【図面の簡単な説明】

【0009】

【図1】本実施例の映像監視システムの構成図である。

【図2】画像認識部４１０に関するフローの一例であるにおける機能ブロック図である。

【図3】被写体視認性評価部５１１によっておける非監視対象者被写体の視認性を評価するフローを示している機能ブロック図である。

【図4】距離取得部１７ａにおいて、撮像装置と非監視被写体との距離を算出する機能ブロック図である。

【図5】視認性情報取得部１０７により取得した視認性に影響を与える情報と、非監視対象者被写体の視認性とを対応付けた図である。

【図6】被写体視認性取得部１１７によって対応付けられた、距離取得部１０７ａにより取得した撮像装置と非監視対象者被写体との距離と被写体視認性との関係性を示している。

【図7】被写体視認性取得部１１７によって対応付けられた、距離取得部１０７ａにより取得した撮像装置と非監視対象者被写体との距離と被写体視認性との関係性を示している。

【図8】被写体視認性取得部１１７によって対応付けられた、画質取得部１０７ｂにより取得した撮像画像中の非監視対象者被写体が含まれる画像領域の画質と被写体視認性との関係性を示している。

【図9】被写体視認性取得部１１７によって対応付けられた、画質取得部１０７ｂにより取得した撮像画像中の非監視対象者被写体が含まれる画像領域の画質と被写体視認性との関係性を示している。

【図10】被写体視認性取得部１１７によって対応付けられた、撮像装置情報取得部１０７ｃにより取得した撮像装置の設定パラメータである画像解像度や映像圧縮率と被写体視認性とのそれぞれの関係性を示している。

【図11】被写体視認性取得部１１７によって対応付けられた、撮像装置情報取得部１０７ｃにより取得した撮像装置の設定パラメータである画像解像度や映像圧縮率と被写体視認性とのそれぞれの関係性を示している。

【図12】被写体視認性取得部１１７によって対応付けられた、映像圧縮率と被写体視認性との関係性を示している。

【図13】被写体視認性取得部１１７によって対応付けられた、映像圧縮率と被写体視認性との関係性を示している。

【図14】被写体視認性取得部１１７によって対応付けられた、撮影環境取得部１０７ｄにより取得した非監視対象者被写体の撮影環境における照度や霧の濃淡と被写体視認性とのそれぞれの関係性を示している。

【図15】被写体視認性取得部１１７によって対応付けられた、撮影環境取得部１０７ｄにより取得した非監視対象者被写体の撮影環境における照度や霧の濃淡と被写体視認性とのそれぞれの関係性を示している。

【図16】被写体視認性取得部１１７によって対応付けられた、霧の濃淡と被写体視認性との関係性を示したものである。

【図17】被写体視認性取得部１１７によって対応付けられた、霧の濃淡と被写体視認性との関係性を示したものである。

【図18】合成視認性とマスク強度との関係性を示す図である。

【図19】画像出力装置１６から出力される、本実施例におけるマスク処理が施された撮像画像の一例を示している。

【図20】映像監視装置２の処理を説明するフローチャートである。

【図21】監視者にアクセス権限を与える場合における映像監視システムの構成図である。

【図22】アクセス権取得部２０１によって取得するアクセス権のレベルと映像監視を見る監視者の役職との関係性を示す一例である。

【図23】アクセス権制御部２２によりマスク処理の強度、実施範囲、種類を変更した後に、映像出力装置１から出力される映像の例を示している。

【図24】監視者にアクセス権限を与える場合における映像監視システムの処理部７の構成図である。

【図25】ある店舗の映像監視システムにおける、プライバシーポリシー取得部３０２２によって取得するプライバシーポリシーと監視映像中の被写体との関係性を示す一例である。

【図26】図１４の条件において、プライバシー制御部３１２３により強度、実施範囲、種類を変更したマスク処理と被写体のプライバシーポリシーと監視者のアクセス権レベルとの関係性を示す一例である。

【発明を実施するための形態】

【0010】

以下、本発明の具体的な実施形態について、図面を参照しながら説明する。

【実施例1】

【0011】

図１は、本実施例の映像監視システムの構成図である。

【0012】

映像監視システム１は、映像監視装置２および撮像装置３および画像出力装置１６とからなる。これらは、ネットワーク１７等を介して接続されている。

【0013】

撮像装置３は、撮像部４および通信部５を有し、撮像部４で取得さえた画像を通信部５を介して映像監視装置２に送信することができる。なお、撮像装置３は、本システムにおいて複数有していてよい。

【0014】

映像監視装置２は、通信部６、処理部７、記憶部１５を有している。

【0015】

処理部７は、ＣＰＵ等の演算処理部であって、画像取得部９、画像認識部１０、被写体視認性評価部１１、マスク強度調整部１２、マスク処理部１３および画像出力部１４を有する。

【0016】

画像取得部９は、通信部６を介して取得した撮像装置３で撮像された画像を取得する。所定の時間周期で、少なくとも１つ以上の撮像装置３から取得した可視光を、ＣＣＤやＣＭＯＳ素子を介して電気信号に変換する手段である。デジタル方式の場合には、これに加えてデジタル変換も行う。

【0017】

撮像画像は、画像認識部１０に出力され、監視すべき被写体である監視対象被写体および監視対象外の被写体の区別を行い、監視対象外の被写体を検出する。以下、監視すべき被写体を「監視対象被写体」、監視対象外の被写体を「非監視被写体」と称する。ここで、本実施例において画像認識部１０で監視対象被写体および非監視被写体とを区別するメリットは以下のとおりである。すなわち、プライバシー保護のために、非監視被写体に対して被写体情報が認識できない程度にマスキング処理が施された映像監視システムにおいて、非監視被写体を監視したい状況が生じたとする。このとき、本実施例の構成を採用することにより、非監視被写体に対して、非監視被写体の情報を得ることができるようなマスキング処理を行うことが可能となる。本実施例においては、画像認識部１０において非監視被写体を検出することは必須ではなく、被写体毎に適切なマスキング強度においてマスキング処理を行うことが本実施例の特徴である。

【0018】

検出された被写体は、被写体視認性評価部１１に入力される。詳細は後述するが、被写体視認性評価部１１は、非監視被写体の視認性を算出することが可能である。

【0019】

次に、マスク強度調整部１２は、被写体視認性評価部１１で求めた視認性に応じて、非監視被写体にマスキング処理を行う際のマスク処理の強度を調整する機能を有する。

【0020】

マスク処理部１３は、マスク強度調整部１２で調整したマスク処理の強度に基づいて、被写体にマスク処理を施す。

【0021】

画像出力部１４は、マスク処理部１３でマスク処理を施した画像を、画像出力装置１６に出力する。以下、処理部７に設けられた各構成について、説明する。

【0022】

図２は、画像認識部１０における機能ブロック図である。

【0023】

画像認識部１０は、まず、画像取得部９によって出力された撮像画像を入力画像として取得する。次に、あらかじめ記憶部１５に記憶しておいた背景画像を取得し、入力画像と背景画像との差分を取ることで撮像画像中の全ての被写体を抽出する。そして、被写体の特徴量を用いて異常行動等を検知することで、全ての被写体の中から監視対象被写体を検出する。そして、全ての被写体から監視対象被写体を除いたものを、非監視被写体として選定する。なお、以上に述べた手法以外においても、画像中から非監視被写体を選定できる方法を採用することは可能であり、例えば、画像中のある領域内に存在する被写体を全て非監視被写体被写体とする方法などがある。なお、前述したように画像認識部１０において、監視被写体と非監視被写体を区別することは必須構成ではなく、被写体を抽出できればよい。

【0024】

図３は、被写体視認性評価部１１における被写体機能ブロック図である。

【0025】

被写体視認性評価部１１は、被写体の視認性を評価する。ここで、視認性とは、監視者が画像出力装置１６の画像上における被写体を見たときに、その見易さの程度を表す。視認性が低い被写体ほど、監視者は画像出力装置１６上において、被写体の情報を得ることが困難となる。逆にいえば、被写体にとってはプライバシーが保護されることになる。一方、視認性が高い被写体は、監視者が被写体の情報を得ることが容易となるが、被写体のプライバシーの保護は低下する。

【0026】

被写体視認性評価部１１は、視認性情報取得部１７、被写体視認性取得部１８、被写体視認性選定部１９、合成視認性算出部２０を有する。

【0027】

まず、視認性情報取得部１７は、画像認識部１０により検出された体被写体について、視認性に影響を与える情報を被写体ごとに取得する。

【0028】

視認性情報取得部１７は、距離取得部１７ａ、画質取得部１７ｂ、撮像装置情報取得部１７ｃ、撮影環境取得部１７ｄから構成される。

【0029】

距離取得部１７ａは、撮像装置３と被写体との距離を算出する。このとき、被写体毎に撮像装置３との距離を求める。距離の算出方法は、記憶部１５に記憶された撮像装置３の設置パラメータ情報等に基づいて求める方法や、撮像装置３等に設けられた各種センサから得られる情報に基づいて求める方法等がある。

【0030】

ここで、距離取得部１７ａにおける距離の求め方の一例を図４を用いて説明する。

【0031】

図４は、距離取得部１７ａにおいて、撮像装置と非監視被写体との距離を算出する機能ブロック図である。

【0032】

図４において、距離取得部１７ａは、まず、カメラなどの入力装置から対象物までの距離の値を持った画像、いわゆる距離画像を生成する。そして、撮像装置３によって取得した撮像画像と距離画像との合成により、撮像画像中の被写体が含まれる画素に対応する距離画像の画素を求めて、撮像装置と視被写体との距離を算出する。なお、距離画像を生成する方法としては、例えば、２つの撮像装置３を一定距離離して設置して、両撮像装置が出力する画像の視差を用いて距離を求めて生成する方法や、あるいは、レーザー光やＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）光を照射してその反射光を捉え、その往復時間や減衰度合を測定し、それぞれの物理特性と照らし合わせて距離を求めて生成する方法等のように、従来から知られている一般的な方法を使用する。また、撮像画像と距離画像の合成には位置合わせが必要であり、例えば、両画像に対して位置合わせ用の対応点をあらかじめ与えておき、対応点が重なるように両画像に対して拡大、縮小、変形等の幾何学変換を行って位置合わせを行う方法等のように、従来から知られている一般的な方法を使用する。ここで得られた距離情報は、後述のように被写体視認性取得部１７によって得られる距離情報に基づいて被写体視認性を求めることにより、被写体が重なって撮影されている場合においても、適切なマスク処理を行うことが可能となる。

【0033】

画質取得部１７ｂは、撮像画像中の非監視被写体が含まれる画像領域の画質を取得する。

【0034】

撮像装置情報取得部１７ｃは、例えば、撮像装置３の不図示の記憶部、又は、映像監視装置２の記憶部１５において記憶される撮像装置３における画像解像度、映像の圧縮率といった撮像装置の設定パラメータを取得する。

【0035】

撮影環境取得部１７ｄは、非監視被写体の撮影環境における照度や霧の濃淡といった情報を取得する。これらの情報は、監視者が不図示の入力部から入力するものであってもよいし、ネットワーク３等を介して外部から自動的に入力される情報であってもよい。

【0036】

次に、被写体視認性取得部１８によって、視認性情報取得部１７により取得した視認性に影響を与える情報と、被写体とを対応付ける。具体的には、図５のようなデータが作成される。左から、各視被写体（１〜５）に対する、前述した距離取得部１７ａ、画質取得部１７ｂ、撮像装置情報取得部１７ｃ、撮影環境取得部１７ｄによって得られた撮像装置との距離、画質、解像度、撮影環境のそれぞれに基づく視認性が、被写体毎に対応付けて作成される。 以下、被写体視認性取得部１８において行われる視認性情報と被写体視認性との対応について説明する。

【0037】

図６および図７は、被写体視認性取得部１７によって対応付けられた、距離取得部１７ａにより取得した撮像装置と非監視被写体との距離と被写体視認性との関係性を示している。図６に示すように、被写体視認性は撮像装置との距離が近いほど高い値となり、例えば図７のように対応付けることができる。なお、ここでは、撮像装置との距離に応じて被写体視認性が一定割合で減少する例を示しているが、これは一例であって一定割合で減少しなくても、距離が大きくなる程視認性が大きくなるような傾向をとる。

【0038】

図８および図９は、被写体視認性取得部１７によって対応付けられた、画質取得部１７ｂにより取得した撮像画像中の非監視被写体が含まれる画像領域の画質と被写体視認性との関係性を示している。図８に示すように、被写体視認性は、撮像画像中の非監視被写体が含まれる画像領域の画質が良いほど高い値となる。本例では、画質と被写体視認性との対応付けとしては、ノイズ推定法によって推定した画像上のノイズを利用し、具体的には（数１）によって算出できる、画像上のノイズを示す標準偏差σを利用する。

【0039】

【数1】

【0040】

（数１）において、f(x,y)は被写体が含まれる画像領域、Ｍｅｄｉａｎ()はメディアンフィルタを示す。ノイズの標準偏差σが大きいと画質が悪い、反対に小さいと画質が良いと判定できる。図９は、画質と被写体視認性とを対応付けたものである。なお、画質の算出方法としては、ベースバンド信号あるいはビットストリーム信号を解析することで原画像１枚のみから画質を評価できる手法や、あらかじめ用意した評価画像との比較により原画像の画質を評価できるＰＳＮＲ等を利用した手法を用いても良い。

【0041】

図１０および図１１は、被写体視認性取得部１７によって対応付けられた、撮像装置情報取得部１７ｃにより取得した撮像装置の設定パラメータである画像解像度と被写体視認性との関係性を示している。図１０に示すように、被写体視認性は画像解像度が高いほど高い値となり、例えば図１１のように対応付けることができる。また、図１２は、映像圧縮率と被写体視認性との関係性を示しているが、被写体視認性は映像圧縮率が高いほど高い値となり、例えば図１３のように対応付けることができる。

【0042】

図１４および１５は、被写体視認性取得部１７によって対応付けられた、撮影環境取得部１７ｄにより取得した被写体の撮影環境における照度と被写体視認性とのそれぞれの関係性を示している。図１４に示すように、被写体の視認性は照度が低すぎる、または高すぎると低い値となる。照度は、ルクス(lx)値で表されるが、図１５のようにルクス(lx)値が４０１〜１０００における被写体視認性が最も大きく、照度が１０以下および３０００１以上の場合には被写体視認性が最も小さくなるような傾向を取る。また、図１６はは、霧の濃淡と被写体視認性との関係性を示したものであるが、霧が濃いほど低い値となることが分かる。そして、例えば図１７のように対応付けることができる。なお、ルクス値の取得手段としては、照度センサによって取得する方法、あるいは、画像処理により、天井や壁などの輝度情報が安定して獲得できる画像領域から輝度情報を基本とした画像特徴量を抽出して、あらかじめ用意した照度と画像特徴量との相関式を用いて照度を推定する方法など、従来から知られている一般的な方法を使用する。また、霧の濃さの判定には、例えば、従来手法の距離情報と画像より、霧の濃さを濃い、普通、薄いあるいは無い、の３段階に分けて判定する方法などを使用する。

【0043】

なお、被写体視認性取得部１７において、被写体に対して視認性を対応付ける際の階層数は、上述した以外の階層数でも良い。また、本例の視認性情報取得部１７の各取得部により取得した被写体の視認性の情報以外にも、被写体の視認性に影響を与えると考えられる情報、かつその情報が階層的に分割できるものであれば、その他の視認性情報を利用しても良い。

【0044】

被写体視認性選定部１９は、被写体視認性取得部１８によって取得した被写体視認性の中で、マスク処理の強度を調整するために使用する被写体視認性を少なくとも１つ以上選定する。選定方法としては、あらかじめ監視者が使用する被写体視認性を選定する手動の方法や、あるいは、被写体視認性の値が高い順に被写体視認性を並び替えて上位数個の被写体視認性を選定するという自動の方法等がある。

【0045】

合成視認性算出部２０は、被写体視認性選定部１９により選定した１つ以上の被写体視認性を、それぞれ正規化した値から合成視認性を算出する。（数２）は被写体視認性を正規化するための式である。

【0046】

【数2】

【0047】

（数２）において、最大被写体視認性とは、被写体視認性取得部１７によって被写体と被写体視認性を対応付けた際の被写体視認性の最大値を示す。

【0048】

次に、（数３）は、正規化後の被写体視認性から合成視認性を算出する式を示している。

【0049】

【数3】

【0050】

（数３）において、Ｎは被写体視認性選定部１２により選定した被写体視認性の数である。

【0051】

図１８は、合成視認性とマスク強度との関係性を示す図である。

【0052】

ここで、本実施例においては、前述のように、全ての被写体に対して一様な強度のマスク処理を施すと、マスク処理を施す前の画像において視認性が高い被写体の場合は、監視をすることは可能だが、マスク強度が足りずプライバシーを保護できない。一方、反対に視認性が低い被写体の場合は、マスク強度が強すぎるために、プライバシー保護は可能となるが、被写体の情報が全く得られないという状況が生じる。そこで、本実施例においては、プライバシー保護と合成視認性とマスク強度との関係性として、図１８に示すように、非監視被写体に実施するマスク処理の強度は合成視認性が高いほど強い値となるようにする。すなわち、合成視認性が高いほど、被写体が監視者にとって見やすいものであるため、プライバシーを保護しつつ適切な視認性を得るために、マスク処理の強度を大きくする。一方、合成視認性が低いほど、非監視被写体が監視者にとって見にくいものであるため、マスク処理の強度を小さすることで、プライバシーを保護しながらも適切な視認性を得ることが可能である。

【0053】

本実施例では、実施するマスク処理を一般的なぼかし技術として利用されているガウシアンぼかしを使用する。

【0054】

（数４）は、ガウシアンぼかしh(x,y)の一般式を示している。

【0055】

【数4】

【0056】

（数４）において、ｘ、ｙは画像の座標値、σ²は分散値を示している。ガウシアンぼかしにおいて、そのぼかしの具合は分散値σ²により調整できるため、本例でのマスク強度は分散値σ²とする。

【0057】

合成視認性と分散値σ²との対応付けの方法について述べる。まず、（数５）を用いて、合成視認性の値がＬである被写体が含まれる画像領域に、ガウシアンぼかしh(x,y)のマスク処理を実施する。

【0058】

【数5】

【0059】

（数５）において、f(x,y)はガウシアンぼかし前の前記非監視被写体が含まれる画像領域、g(x,y)はガウシアンぼかし後の前記非監視被写体が含まれる画像領域を示している。f(x,y)において、分散値σ²を様々な値に変動させたガウシアンぼかしh(x,y)のマスク処理を実施して、マスク強度が異なるi枚の画像領域g₁(x,y)、g₂(x,y)、・・・、g_i(x,y)を作成する。次に、g₁(x,y)、g₂(x,y)、・・・、g_i(x,y)の画質をＳＳＩＭ（Ｓｔｒｕｃｔｕｒａｌ Ｓｉｍｉｌａｒｉｔｙ）によってそれぞれ評価する。ＳＳＩＭとは、人間の主観的判断に近いとされている画質評価指標である。そして、算出したg₁(x,y)、g₂(x,y)、・・・、g_i(x,y)のＳＳＩＭ値Ｓ₁、Ｓ₂、・・・Ｓ_iのうち、規定のＳＳＩＭ値Ｓ_tと同一、あるいは最も近いＳＳＩＭ値を持つg_t(x,y)を選定する。なお、規定のＳＳＩＭ値Ｓ_tとは、非監視被写体のプライバシーを保護しつつ監視の情報が抽出できる程度のぼかしが存在する画像領域からあらかじめ求めたＳＳＩＭの値を示す。最後に、g_t(x,y)を作成する際に利用した分散値σ²が、合成視認性Ｌに対応する分散値σ_t²（Ｌ）として設定する。なお、強度を調整するマスク処理としては、パラメータの調整によりマスク強度が調整できるマスク処理であれば、ガウシアンぼかし以外を利用しても良い。また、合成視認性Ｌに対応する分散値σ_t²（Ｌ）を設定する際に、合成視認性がＬである複数の画像領域から算出した分散値の平均を分散値σ_t²（Ｌ）として設定しても良い。

【0060】

マスク処理部１３は、マスク強度調整部１２によって調整したマスク強度のマスク処理を被写体に対して実施する。

【0061】

最後に、画像出力部１４は、マスク処理部１３によってマスク処理が実施された撮像画像を、画像出力部１４に出力し、通信部６を介して画像出力装置１６にマスク処理が施された撮像画像が出力される。

【0062】

本発明の実施例１では以上説明した機能構成により、映像上の被写体の視認性を算出して、その視認性に応じてマスク処理の強度を個別に調整することで、全ての監視対象外の被写体に適したマスク処理を個別に実施することができる。

【0063】

図１９は、画像出力装置１６から出力される、本実施例におけるマスク処理が施された撮像画像の一例を示している。

【0064】

図１９において、映像３０は、監視対象被写体３５にはマスク処理が施されていないが、非監視被写体３６ａ、３６ｂ、３６ｃに対しては視認性に応じて強度が調整されたマスク処理が実施されている。このように、本実施例においては、非監視被写体に対して、プライバシー保護と視認性を両立するようなマスク処理を施すことができるので、非監視被写体に対して監視する必要が生じた場合でも、非監視被写体に関する必要な情報を得ることができる。

【0065】

図２０は、映像監視装置２の処理を説明するフローチャートである。

【0066】

まず、画像取得部９において、撮像装置３を介して得られた画像を取得する（Ｓ２００）。

【0067】

次に、得られた画像のうち、被写体が非監視被写体であるか否かを、画像認識部１０で判定する（Ｓ２０１）。被写体が非監視被写体である場合（Ｓ２０１のＹｅｓ）、被写体視認性評価部１１において非監視被写体の視認性を算出する（Ｓ２０２）。一方、被写体が非監視被写体出なかった場合（例えば、被写体が監視被写体の身で合った場合）は（Ｓ２０１のＮｏ）、処理を終了する。

【0068】

被写体視認性評価部１１において被写体視認性を算出した後、マスク強度調整部１２において、視認性に基づいてマスク処理強度を算出する（Ｓ２０３）。

【0069】

次に、マスク処理部１３においては、算出したマスク処理強度に基づいて、非監視被写体に対してマスク処理を施す（Ｓ２０４）。

【0070】

最後に、画像出力部１４において、マスク処理を施した画像を出力する（Ｓ２０５）。

【0071】

なお、上記の説明では、Ｓ２０１において被写体を非監視被写体か否かを判断し、非監視被写体に対してマスク強度調整をしたマスク処理を施しているが、非監視被写体であるか否かを判定しなくても、全ての被写体に対してマスク強度調整をしたマスク処理を行ってもよい。

【実施例2】

【0072】

本実施例では、監視者にアクセス権限を与えた場合における例を説明する。

【0073】

図２１は、監視者にアクセス権限を与える場合における映像監視システムの構成図である。。図２１は、図１における処理部７を示したものであり、図１の構成に、アクセス権制御部２２およびアクセス権取得部２１が追加された例である。他の構成は、実施例１と同一の機能を有するのでそれらの説明は省略する。

【0074】

アクセス権取得部２１は、監視者が、画像出力装置１６によって出力された監視映像を見る際のアクセス権を取得する機能を有する。そして、アクセス権制御部２２は、アクセス権取得部２１により取得したアクセス権レベルに応じて、マスク処理の強度、実施範囲、種類を変更する。ここで、アクセス権レベルとは、監視者の監視映像に対するアクセス権を示し、アクセス権レベルが高い監視者ほど原画像に近い監視映像を見ることができる。

【0075】

以下、アクセス権取得部２１とアクセス権制御部２２の機能について説明する。

【0076】

図２２は、アクセス権取得部２１によって取得するアクセス権のレベルと映像監視を見る監視者の役職との関係性を示す一例である。

【0077】

アクセス権取得部２１では、各人物の役職を認証してその人物のアクセス権レベルを取得する。役職の認証方法としては、あらかじめ用意した役職ごとに異なるパスワードや暗号化キーを利用する方法等のような、従来から知られている一般的な方法を使用する。なお、認証する対象としては、アクセス権のレベルを区別できるものであれば、役職以外を利用しても良い。

【0078】

アクセス権制御部２２は、アクセス権取得部２１によって取得したアクセス権レベルに応じて、マスク強度調整部１２によって調整されたマスク処理の強度、実施範囲、種類を変更する。マスク処理の強度の変更とは、本例ではマスク強度調整部１２によって調整したガウシアンぼかしの分散値σ²を変更することである。例えば、アクセス権レベルが高い監視者の場合は、分散値σ²を小さくしてマスク処理の強度を弱くする。マスク処理の実施範囲の変更とは、マスク処理を実施する画像領域を変更することである。例えば、アクセス権レベルが高い監視者の場合は、マスク処理を実施する画像領域を被写体全身から非監視被写体の顔部分に変更する。マスク処理の種類の変更とは、実施するマスク処理を変更することであり、例えば、アクセス権レベルが低い監視者の場合は、ガウシアンぼかしのマスク処理を背景と置き換えるマスク処理に変更する。なお、非監視被写体におけるマスク処理の実施範囲の変更領域としては、顔以外の領域でも良い。例えば、手の領域のマスク処理の強度を弱めることで、非監視被写体が持っているものを監視する場合や、服の領域のマスク処理の強度を弱めることで、服のログや特徴的な図柄を監視する場合などもある。また、変更後のマスク処理の種類としては、背景と置き換えるマスク処理以外にも、コントラストを低下させるマスク処理、黒で塗り潰すマスク処理等の、従来から知られている一般的なマスク処理を用いても良い。また、マスク処理は対象を隠す処理ではなく、反対に対象を鮮明にする処理でも良く、例えば、犯罪捜査に重要で情報劣化をしてはならない領域等に使用する。 図２３は、アクセス権制御部２２によりマスク処理の強度、実施範囲、種類を変更した後に、映像出力装置１から出力される映像の例を示している。

【0079】

図２３における（ａ）〜（ｅ）は、アクセス権レベルに応じたマスク処理が施された非監視対象者の監視画像である。

【0080】

図２３の（ａ）は、アクセス権レベルが１である一般従業員が見る映像３１である。この映像では監視被写体３５のみを見ることができ、非監視被写体は見ることができない。

【0081】

図２３の（ｂ）は、アクセス権レベルが２である店長が見る映像３２である。この映像では監視対象者３５を見ることができるとともに、非監視被写体３６ａ〜３６ｃは被写体視認性に応じてマスキング強度が調整されたマスク処理が施されている。

【0082】

図２３の（ｃ）は、アクセス権レベルが３である監視員が見る映像３３である。この映像では監視対象者３５を見ることができるとともに、非監視被写体３６ａ〜３６ｃの顔以外の部位はマスク処理を施すことなく見ることができる。なお、顔は被写体視認性に応じてマスキング強度が調整されたマスク処理が施されている。

【0083】

図２３の（ｄ）は、アクセス権レベルが４である警察が見る映像３４である。この映像では監視対象者３５を見ることができるとともに、非監視被写体３６ａ〜３６ｃもマスク処理を施すことなく見ることができる。 なお、実施例２において、マスク処理の強度、実施範囲、種類を変更する指標としてアクセス権レベル以外を利用しても良い。例えば、画像上に設定された特定の物体あるいはエリアと被写体との距離の値を指標とした場合、その対象に近い被写体ほど監視する必要がある被写体と判定してマスク処理の強度を弱くするなどの方法もある。

【0084】

本発明の実施例２では、以上説明した機能構成により、監視者のアクセス権レベルに応じてマスク処理を調整することで、監視者の役職に見合った範囲において非監視被写体のプライバシーを保護しつつ監視に必要な情報が得られる映像を出力できる。

【0085】

上述の構成においては、マスク処理を処理部７で行う場合を説明したが、撮像装置３において非監視被写体に対して一様にマスク処理をした映像を作成し、その後、映像監視装置２に転送して、不図示のマスク解除部で適宜マスク処理を解除することで監視者のアクセス権レベルに見合ったマスク処理を行う構成を採用してもよいこの構成を採用することにより、マスク処理した映像を公共ネットワーク等に転送することとなるので、不正アクセスがあった場合にもプライバシーが保護されるため、安全な運用が実現できる。マスク解除手段は、アクセス権取得部２０で用いた認証情報を利用する以外にも、例えば偏光板を組み込んだ特殊な偏光メガネのような装置で、映像信号を解除できるような装置としても良い。

【実施例3】

【0086】

本実施例では、監視者にアクセス権限を与えるとともに、プライバシーポリシーを考慮したマスキング処理の例を説明する。

【0087】

図２４は、監視者にアクセス権限を与える場合における映像監視システムの処理部７の構成図である。図２４において、プライバシーポリシー取得部２２およびプライバシー制御部２３以外の構成の各機能は実施例１および２と同一である。

【0088】

図２４の概要を最初に述べると、プライバシーポリシー取得部２２は監視映像中の被写体についてのプライバシーポリシーを取得する。そして、プライバシーポリシー制御部２２では、アクセス権取得部２１により取得した監視者のアクセス権レベルとプライバシーポリシー取得部２２により取得した被写体のプライバシーポリシーに応じて、マスク処理の強度、実施範囲、種類を変更する。ここで、プライバシーポリシーとは、被写体が要求するプライバシー保護の程度を示し、プライバシーポリシーが高い被写体ほど監視者からの監視が困難となるマスク処理が実施される。以下、プライバシーポリシー取得部２２とプライバシー制御部２３の機能について説明する。

【0089】

図２５は、ある店舗の映像監視システムにおける、プライバシーポリシー取得部２２によって取得するプライバシーポリシーと監視映像中の被写体との関係性を示す一例である。

【0090】

図２５において、ブラックリストのお客とは指名手配犯や万引き常習犯といった監視者が最も監視したいお客、ホワイトリストのお客とは監視者あるいは店舗側が全く監視する必要の無いとあらかじめ判断したお客を示す。プライバシーポリシー取得部２２では、各被写体を認証してその人物のプライバシーポリシーを取得する。被写体の認証方法としては、顔認証や専用のタグとセンサによる方法等のような、従来から知られている一般的な方法を使用する。なお、プライバシー保護を希望しないお客と希望するお客の区別は、あらかじめお客に希望の有無を聞きその結果を利用する等の方法を使用する。

【0091】

図２６は、図２４の条件において、プライバシー制御部２３により強度、実施範囲、種類を変更したマスク処理と被写体のプライバシーポリシーと監視者のアクセス権レベルとの関係性を示す一例である。

【0092】

図２６において、４０は、プライバシーポリシーが１の被写体（例えば、ブラックリストのお客）と監視者のアクセス権レベルと実施するマスク処理との関係性を示す表である。４０において、プライバシーポリシーが１の被写体に対しては、全ての監視者から見易くするために被写体を鮮明にするマスク処理を実施する。

【0093】

４１は、プライバシーポリシーが２の被写体（例えば、従業員、プライバシー保護を希望しないお客）と監視者のアクセス権レベルと実施するマスク処理との関係性を示す表である。４１において、プライバシーポリシーが２の被写体に対しては、全ての監視者が通常の監視をできるようにするためにマスク強度を０にしたマスク処理を実施する。

【0094】

４２は、プライバシーポリシーが３の被写体（例えば、プライバシー保護を希望するお客）と監視者のアクセス権レベルと実施するマスク処理との関係性を示す表である。４２において、プライバシーポリシーが３の被写体に対しては、監視者のアクセス権レベルが１（従業員）の場合は被写体のプライバシーが完全に保護されるように背景と被写体を置き換えるマスク処理を、監視者のアクセス権レベルが２（店長）の場合はマスク処理を変更せずマスク強度調整部６によって調整されたマスク処理を、監視者のアクセス権レベルが３（監視員）の場合は処理範囲を顔に変更したマスク処理を、監視者のアクセス権レベルが４（警察）の場合はマスク強度を０にしたマスク処理を実施する。

【0095】

４３は、プライバシーポリシーが４の被写体（例えば、ホワイトリストのお客）と監視者のアクセス権レベルと実施するマスク処理との関係性を示す表である。４３において、プライバシーポリシーが４の被写体に対しては、監視者のアクセス権レベルが４（警察）の場合はマスク強度を０にしたマスク処理を実施して、監視者のアクセス権レベルが４以外の場合は背景と被写体を置き換えるマスク処理を実施する。

【0096】

以上説明した機能構成により、被写体のプライバシーポリシーと監視者のアクセス権レベルに応じてマスク処理を調整することで、被写体と監視者の役職との関係に見合った範囲において非監視被写体のプライバシーを保護しつつ、監視に必要な情報が得られる映像を出力できる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】