特許 7187154 画像処理装置、画像処理方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-12-02

(45)【発行日】2022-12-12

(54)【発明の名称】画像処理装置、画像処理方法およびプログラム

(51)【国際特許分類】

   H04N 5/232 20060101AFI20221205BHJP

   G06T 7/194 20170101ALI20221205BHJP

   H04N 7/18 20060101ALI20221205BHJP

【ＦＩ】

H04N5/232 290

G06T7/194

H04N7/18 D

H04N7/18 U

【請求項の数】 10

(21)【出願番号】P 2018018206

(22)【出願日】2018-02-05

(65)【公開番号】P2019135810

(43)【公開日】2019-08-15

【審査請求日】2021-01-21

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100126240

【弁理士】

【氏名又は名称】阿部 琢磨

(74)【代理人】

【識別番号】100124442

【弁理士】

【氏名又は名称】黒岩 創吾

(72)【発明者】

【氏名】松井 太一

【審査官】高野 美帆子

(56)【参考文献】

【文献】特開２０１２－２０３６８０（ＪＰ，Ａ）

【文献】特開２０１６－１１５２１４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／２３２

Ｇ０６Ｔ ７／１９４

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

撮像部によって撮像された撮像画像から物体を検出する検出手段と、
前記物体の特徴に基づいて、前記撮像画像から検出された前記物体に対応する領域の時間閾値を設定する設定手段と、
前記撮像画像内の前記領域内の前記物体が静止している時間が前記時間閾値に達した場合に、前記領域内の前記物体が背景画像に反映されるように前記撮像画像に基づいて前記背景画像を更新する更新手段と、を有し、
前記設定手段は、前記物体がプライバシー保護の対象である場合、前記物体に対応する領域の前記時間閾値として第１の値を設定し、前記物体がプライバシー保護の対象でない場合、前記物体に対応する領域の前記時間閾値として、前記第１の値よりも小さい第２の値を設定することを特徴とする画像処理装置。

【請求項2】

前記検出手段は特定の形状特徴に基づくパターンマッチングまたは特定の色により前記撮像画像から前記物体を検出することを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記プライバシー保護の対象は、人体であることを特徴とする請求項１または２に記載の画像処理装置。

【請求項4】

前記更新手段により更新した背景画像と前記撮像画像におけるプライバシー保護の対象を匿名化した匿名画像とを合成してプライバシー保護画像を生成する合成手段を更に備えることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。

【請求項5】

前記設定手段は、前記撮像画像の所定の領域について常に背景化される様に設定することで、前記撮像画像の所定の領域がプライバシー保護の対象とならない様に設定することができる請求項４に記載の画像処理装置。

【請求項6】

前記設定手段は、前記撮像画像の所定の領域について常に背景化されない様に設定することで、前記撮像画像の所定の領域がプライバシー保護の対象となる様に設定することができる請求項４に記載の画像処理装置。

【請求項7】

前記設定手段は、前記撮像画像の所定の領域について常に背景化されない様に設定されている場合に、当該所定の領域について前記更新手段が更新した背景画像を表示するか、ぼかし処理を実施して表示するかのどちらか一方を設定することができる請求項６に記載の画像処理装置。

【請求項8】

前記検出手段は特定の距離以上のオブジェクトを、プライバシーを保護する度合の低い物体として検出することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。

【請求項9】

撮像部によって撮像された撮像画像から物体を検出する検出工程と、
前記物体の特徴に基づいて、撮像画像から検出された前記物体に対応する領域の時間閾値を設定する設定工程と、
前記撮像画像内の前記領域内の前記物体が静止している時間が前記時間閾値に達した場合に、前記領域内の前記物体が背景画像に反映されるように前記撮像画像に基づいて背景画像を更新する更新工程と、を有し、
前記設定工程において、前記物体がプライバシー保護の対象である場合、前記物体に対応する領域の前記時間閾値として第１の値を設定し、前記物体がプライバシー保護の対象でない場合、前記物体に対応する領域の前記時間閾値として、前記第１の値よりも小さい第２の値を設定することを特徴とする画像処理方法。

【請求項10】

コンピュータを、
撮像部によって撮像された撮像画像から物体を検出する検出手段と、
前記物体の特徴に基づいて、撮像画像から検出された前記物体に対応する領域の時間閾値を設定する設定手段と、
前記撮像画像内の前記領域内の前記物体が静止している時間が前記時間閾値に達した場合に、前記領域内の前記物体が背景画像に反映されるように前記撮像画像に基づいて背景画像を更新する更新手段と、を有し、
前記設定手段は、前記物体がプライバシー保護の対象である場合、前記物体に対応する領域の前記時間閾値として第１の値を設定し、前記物体がプライバシー保護の対象でない場合、前記物体に対応する領域の前記時間閾値として、前記第１の値よりも小さい第２の値を設定することを特徴とする画像処理装置として動作させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は画像処理装置、画像処理方法およびプログラムに関し、特に画像中の特定の物体を隠してプライバシーを保護する技術に関する。

【背景技術】

【0002】

昨今、街中への監視カメラの設置が進んでいる。ここで、監視カメラに映る個人のプライバシーを保護する重要性が高まっている。例えば、特許文献１では背景画像と処理対象画像を比較し、比較結果に応じて処理対象画像の特定領域を隠蔽処理してプライバシーを保護する方法が開示されている。特に画像に表示されている人体や動体を検出し、隠蔽処理の精度を上げている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１６－１１５２１４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１では、画像中の人体および動体以外の領域を一律の時間で背景更新しており、直ぐに背景化するべき対象や領域について好ましくプライバシーを保護するための処理ができなかった。

【0005】

そこで、本発明の目的は、撮影されたプライバシー保護対象のものとそうでないものに対して、それぞれに適した背景化時間を設定することができる画像処理装置を提供することである。

【課題を解決するための手段】

【0006】

本発明の画像処理装置は、撮像部によって撮像された撮像画像から物体を検出する検出手段と、前記物体の特徴に基づいて、撮像画像から検出された前記物体に対応する領域の時間閾値を設定する設定手段と、前記撮像画像内の前記領域内の前記物体が静止している時間が前記時間閾値に達した場合に、前記領域内の前記物体が前記背景画像に反映されるように前記撮像画像に基づいて背景画像を更新する更新手段と、を有し、前記設定手段は、前記物体がプライバシー保護の対象である場合、前記物体に対応する領域の前記時間閾値として第１の値を設定し、前記物体がプライバシー保護の対象でない場合、前記物体に対応する領域の前記時間閾値として、前記第１の値よりも小さい第２の値を設定することを特徴とする。

【発明の効果】

【0007】

本発明によれば、画像中の物体に対応する背景化の時間を設定することで、より好ましくプライバシーを保護する処理を行うことが出来る。

【図面の簡単な説明】

【0008】

【図1】（ａ）画像処理装置の機能構成を示すブロック図である。（ｂ）画像処理システムの概略構成を示す模式図である。

【図2】画像処理装置のハードウェア構成を示すブロック図である。

【図3】（ａ）－（ｇ）プライバシー保護処理の概要を説明するための模式図である。

【図4】（ａ）－（ｇ）プライバシー保護処理の例を説明するための模式図である。

【図5】プライバシー保護処理の概略を示すフローチャートである。

【図6】時間閾値の設定をするためのＧＵＩを示す模式図である。

【図7】背景画像に関する設定をするためのＧＵＩを示す模式図である。

【発明を実施するための形態】

【0009】

以下、添付の図面を参照して、実施形態について詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。

【0010】

＜実施形態１＞
図１（ｂ）は、本実施形態の画像処理システムを示す模式図である。少なくとも１つ以上の画像出力装置１２０はネットワーク１１０を介して画像処理装置１０１と通信可能に接続されている。画像出力装置１２０としては、監視用途のネットワークカメラやＮＶＲ（ネットワーク・ビデオ・レコーダ）などがある。以降の説明はネットワークカメラ（単にカメラ１２０と称す）を例に説明する。ネットワーク１１０はインターネットプロトコルに沿った通信によりカメラ１２０の配信映像を画像処理装置１０１に伝送したり、カメラ１２０の制御信号や設定パラメータを画像処理装置１０１からカメラ１２０に伝送したりする。画像処理装置１０１は画像出力装置１２０から動画像データを取得し、取得した動画像データについてプライバシー保護処理をする。プライバシー保護処理を実施した画像データ（動画像データ）は、ネットワーク１１０に接続されている他のクライアント装置に出力したり、画像処理装置とローカルに接続されているディスプレイに表示させたり、ＮＶＲ１２０に録画したりできる。

【0011】

図２は、画像処理装置１０１のハードウェア構成を示すプロック図である。画像処理装置１０１は、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、外部メモリ２０４、ネットワークインターフェース２０５、入力装置２０６、表示デバイス２０７、システムバス２０８から構成される。

【0012】

ＣＰＵ２０１は、画像処理装置１０１における動作を統括的に制御するものであり、システムバス２０８を介して、各構成（２０２～２０７）を制御する。ＲＯＭ２０２は、ＣＰＵ２０１が処理を実行するために必要な制御プログラム等を記憶する不揮発性メモリである。なお、ＣＰＵが実行するプログラムは、外部メモリ２０４や着脱可能な記憶媒体に記憶されていてもよい。

【0013】

ＲＡＭ２０３は、ＣＰＵ２０１の主メモリ、ワークエリアとして機能する。すなわち、ＣＰＵ２０１は、後述の処理の実行に際してＲＯＭ２０２から必要なプログラム等をＲＡＭ２０３にロードし、読み込んだプログラムを実行することで各種の機能動作を実現する。

【0014】

外部メモリ２０４は、例えば、ＣＰＵ２０１がプログラムを用いた処理を行う際に必要な各種データや各種情報等を記憶している。また、外部メモリ２０４には、例えば、ＣＰＵ２０１がプログラム等を用いた処理を行うことにより得られた各種データや各種情報等が記憶される。

【0015】

ネットワークインターフェース２０５は、外部装置と通信するためのインターフェースである。ネットワークインターフェース２０５は、例えばＬＡＮインターフェースである。なお、本実施形態では、画像処理装置１０１がクライアントＰＣ（パーソナルコンピュータ）である場合の例を中心に説明する。

【0016】

入力装置２０６は、ＣＰＵ２０１への入力装置として機能する。入力装置２０６は、例えばキーボードやマウスやボタンである。

【0017】

表示デバイス２０７は、ＣＰＵ２０１の出力を表示するディスプレイである。ネットワークインターフェース２０５から外部に映像出力する場合もあり、構成によっては不要となる場合もある。

【0018】

なお、画像出力装置１２０も図２と同様の構成を有する。画像出力装置１２０がネットワークカメラの場合は、表示デバイス２０７は無く、イメージセンサやレンズ、画像処理用のプロセッサ（不図示）を備えている。レンズは着脱式のレンズであってもよい。

【0019】

図１（ａ）は画像処理装置１０１の概略構成を示し、画像処理装置１０１は画像取得部１０２、動体検出部１０３、物体検出部１０４、パラメータ設定部１０５、背景更新部１０６、画像比較部１０７、画像合成部１０８、出力部１０９を有している。

【0020】

画像取得部１０２は画像出力装置１２０から所定の間隔で画像を順次取得し、取得した画像を動体検出部１０３と物体検出部１０４と背景更新部１０６と画像比較部１０７に送る。

【0021】

動体検出部１０３は、画像取得部１０２より取得された画像と背景画像（背景モデル）とを比較することにより動体の検出を行う（背景差分法）。すなわち、動体検出部１０３は、画像取得部１０２による取得画像と、当該取得画像とは撮影時刻が異なる他画像との比較に基づいて動体領域を検出する。なお、背景モデルは、画像内の変化に追従して動体検出部１０３により適宜更新されるものであり、画像ではなく特徴（各画素の輝度成分などを抜き出した情報）であってもよい。

【0022】

動体検出部１０３は、動体検出処理により得られた動体情報を背景更新部１０６に送る。本実施形態の動体情報には、画像から検出された動体の中心座標（位置情報）と外接矩形（形状情報）の情報が含まれる。動体検出部１０３は、画像取得部１０２により取得された複数の画像のそれぞれに対して動画検出処理を実行し、その結果得られた動体情報を背景更新部１０６に送る。

【0023】

物体検出部１０４は、画像取得部１０２により取得された画像から特定の物体を検出する物体検出処理を行う。本実施形態の物体検出部１０４は、画像取得部１０２により取得された画像から次に説明するような方法で物体検出処理を行う。

【0024】

第一にパターンマッチング法の使用である。画像取得部１０２により取得された画像と予め定められたパターン画像（もしくは特徴）を比較することで物体の検出を行う。検出対象は人体、イス、机等、検出出来るパターン画像を持っているものはどのようなものでも対象となる。人体とは全身であってもよいし、上半身や頭、顔、手などの全身の一部であってもよい。ただし、物体の検出方法はパターンマッチング法に限らず、画像の色、明るさ、濃度勾配、テクスチャ、機械学習の特徴量を用いた検出でも構わない。

【0025】

第二に距離検出である。現在カメラ画像から距離を検出することが出来るカメラが存在することは知られている（２眼もしくはＣＣＤの画素２画素を用いて三角測量で距離を取得する）。画像取得部１０２により取得された画像から領域毎の距離を計測する。距離によって次のように物体検出を行う。所定の距離以上遠い領域はプライバシー保護の対象ではなく背景にするべき領域とする。距離が前フレームと比較して所定の距離以上近づいた領域は、人体がその領域に入った可能性があり、プライバシー保護対象の領域とする。

【0026】

第一の方法と第二の方法で検出された画像領域の特徴量（特徴）に基づき、領域毎にスコアを作成する。人体領域等プライバシー保護が必要と検知された領域はスコアを高く、遠景やイス、机等プライバシー保護が不要な物体と検出された領域はスコアを低く設定する。また、スコアはより確からしさを加味して算出し、よりプライバシー保護が必要な領域である可能性が高いと判定されればより高いスコアに、よりプライバシー保護が不要な領域である可能性が高いと判定されればより低いスコアになる。

【0027】

以上のような方法で領域毎に算出されたスコア情報を背景更新部１０６に送る。

【0028】

背景更新部１０６は、画像取得部１０２により取得された画像と、動体検出部１０３から取得した動体情報と、物体検出部１０４から取得した画像領域のスコア情報とに基づいて背景画像を生成する。そして、背景更新部１０６は、背景画像を画像比較部１０７と画像合成部１０８に送る。背景更新部１０６による背景画像の生成処理の詳細は後述する。

【0029】

画像比較部１０７は、背景更新部１０６から取得した背景画像のうち、画像比較部１０７から取得した保護領域情報が示す保護領域に所定の画像を合成して保護画像を生成する。保護画像とは処理前の入力画像に比べてプライバシーが保護されている画像であってその生成方法の詳細は後述する。画像合成部１０８は、生成した保護画像を出力部１０９に送る。

【0030】

出力部１０９は、画像合成部１０８から取得した保護画像を表示させる。なお、画像出力装置１０１がネットワークカメラに実装される場合、出力部１０９は、ネットワークカメラを介して接続されるモニタ装置に対して保護画像を送信できる。また、画像処理装置１０１がモニタ装置に実装される場合、ネットワークカメラから取得した背景画像に所定の画像を合成することで保護画像を生成し、生成した保護画像を表示させる。パラメータ設定部１０５は、物体検出部１０４の物体検出に必要なパラメータを設定する（詳細は図６を用いて後述する）。

【0031】

次に、背景更新部１０６による背景画像の生成方法について説明する。背景更新部１０６は、背景画像を所定の大きさで分割した領域（ブロック）ごとに安定背景時間を管理する。安定背景時間は、動体情報および画像領域のスコア情報に基づいて画像領域毎に設定されるもので、画像領域の物体の背景化に対応する。

【0032】

以降の説明では、背景更新部１０６による背景画像の生成処理を、（Ａ）最初の画像、（Ｂ）最初の画像の次以降の画像の２つのケースに分けて説明する。

【0033】

（Ａ）最初の背景画像（装置を起動したり撮影条件を変更したりする等してから初めて作成する背景画像）の作成処理について
本ケースは、背景画像が未生成の状態である。このケースにおいて背景更新部１０６は、画像取得部１０２から取得した画像を背景画像として記憶する。なお、背景更新部１０６は、背景画像のすべてのブロックの安定背景時間として０を設定する。

【0034】

（Ｂ）以降の背景画像の作成処理
本ケースは、最初の画像が背景画像として設定され、それ以降に背景画像を作成するケースである。このケースにおいて背景更新部１０６は、動体情報により特定される動体領域が属するブロック以外のブロックに対応する安定背景化時間を更新（インクリメント）する。そして、背景更新部１０６は、更新後の安定背景時間が時間閾値以上になったブロックを特定し、画像取得部１０２で新しく取得した画像について特定されたブロックに対応する領域の画素値に基づいて背景画像を更新する。ここで、安定背景時間が時間閾値以上になったブロックとは、動体未検出状態が時間閾値の間継続していた領域を意味する。そして、背景更新部１０６は、背景画像の更新に用いたブロックに対応する安定背景時間を０に設定する。

【0035】

背景更新部１０６は、画像領域のスコア情報に基づいて画像領域毎に時間閾値を設定する。スコアが大きいほどプライバシー保護の必要性が高く、スコアが小さいほどプライバシー保護の必要性が低い。背景更新部１０６は、スコアが高いほど長い時間を時間閾値として設定し、より背景画像に合成され難く（背景化し難く）する。一方でスコアが低いほど短い時間を時間閾値として設定し、より短時間で背景画像に合成され易く（背景化され易く）なる。背景更新部１０６は、画像領域の物体の特徴量に合わせてプライバシー保護度のスコアを設定し、状況にあった時間閾値を設定する。時間閾値は背景化時間とも呼称してもよい。

【0036】

プライバシー保護が必要な度合が高い物として人体、機密情報が記された物体等がある。プライバシーを保護する度合が低いが移動するものとしてイス、時計等がある。例えば背景更新部１０６は、最大のスコアになっている画像領域では安定背景時間を無限大に設定する。例えば、最小のスコアになっている画像領域では安定背景時間を０に設定する。例えば背景更新部１０６は、人体と検出された画像領域では最大スコアに設定する。例えばイスや時計として検出された画像領域では最小スコアに設定する。

【0037】

次に、ケース（Ｂ）における処理の詳細を図３と図４を用いて説明する。なお、図３（ａ）と図４（ａ）は画像取得部１０２から取得した画像（取得画像）であり、図３（ｂ）と図４（ｂ）は動体情報及び物体情報を画像と同サイズの白い画像に描画した結果（認識結果）である。また、図３（ｃ）と図４（ｃ）は安定背景時間を示し、図３（ｄ）と図４（ｄ）は時間閾値を示し、図３（ｅ）と図４（ｅ）は更新後の背景画像を示している。

【0038】

図３（ａ）から図３（ｇ）は、本実施形態に係る背景画像の取得処理を開始したタイミングにおける状態を示している。図３は、上述のケース（Ａ）に対応する。典型的には、ケース（Ａ）は、画像処理装置１０１が背景画像の生成を開始したタイミングや、既存背景画像がリセットされた直後のタイミングである。上述の通り、本実施形態の背景更新部１０６は、ケース（Ａ）において画像取得部１０２から取得した画像をそのまま背景画像として記憶するので、図３（ａ）取得画像と図３（ｅ）背景画像とは同一である。また図３（ｂ）に示すように、ここでは動体や物体が検出されていない。当初の背景画像は前景が写り込んでいないことが望ましい。

【0039】

図４（ａ）から図３（ｇ）は、図３からある時間経過した後の状態を示し、図３（ｅ）に示した背景画像が設定されているものとする。図４（ａ）に示す取得画像には人物４０１とイス４０２が写っている。図４（ｂ）は、動体検出部１０３の動体検出処理により動体４０３が検出され、物体検出部１０４の物体検出処理により物体４０４と物体４０５が検出されたことを示している。

【0040】

図４（ｃ）は、動体検出処理により検出された動体領域が属するブロックは安定背景時間が０に設定（リセット）されたことを示している。また図４（ｃ）が示す通り、動体領域でない領域に対するブロックの安定背景時間は一定時間ごとにインクリメントされ、初期値の０から９に増加している。

【0041】

図４（ｄ）は、物体検出処理により検出された動体情報から算出されたスコアによって時間閾値が設定されたものを表している。本実施形態では標準の時間閾値は６０に設定されている。物体４０４は人体と判定され、スコアの最大値が設定されたため、物体４０４がある領域の時間閾値は∞（無限大）に設定されている。一方で、物体４０５はイスと判定され、標準より低いスコアが設定されたため、物体４０５がある領域の時間閾値は９に設定されている。

【0042】

図４（ｅ）は、図４（ｃ）で示す安定背景時間と時間閾値の比較結果に基づいて更新された背景画像を示している。イス４０２の領域の安定背景化時間が９になり、その領域の時間閾値９に達したためイスの領域の部分画像が背景画像として合成（背景化）されている。それ以外の領域は時間閾値に達していないため、以前の背景画像（図３（ｅ））のままである。

【0043】

次に、画像比較部１０７による保護領域情報の生成方法について説明する。保護領域情報とは、画像内の保護対象の位置と形状を示す情報である。本実施形態では、特にプライバシーが保護されるべき領域を保護領域としている。

【0044】

画像比較部１０７は、画像取得部１０２から取得した取得画像から輝度成分を抽出し輝度画像を生成すると共に、背景更新部１０６から取得した背景画像から同様に輝度画像を生成する。そして、画像比較部１０７は、取得画像に基づく輝度画像と、背景画像に基づく輝度画像とのピクセル単位（画素毎）での差分の絶対値からなる差分画像を生成する。そして、画像比較部１０７は、差分画像のピクセル（画素）のうち、所定の閾値よりも大きい差分値を有するピクセルを保護対象ピクセルとして決定する。そして、画像比較部１０７は、隣接する保護対象ピクセル同士を結合し、ある面積（画素数）以上の領域を保護領域として特定し、保護領域の位置と形状を示す保護領域情報を生成する。

【0045】

図３（ｆ）と図４（ｆ）は、図３（ｄ）と図４（ｄ）背景画像と図３（ａ）と図４（ａ）取得画像とに基づいて生成された保護領域情報に対応する保護領域を示している。図３（ｆ）には保護領域が無いことを示しており、図４（ｆ）は保護領域として人物４０１に対応する領域についてプライバシーを保護する必要がある領域であることを示している。画像合成部１０８は、背景画像の保護領域情報が示す保護領域に所定の画像を合成して得られる保護画像を生成する。なお、所定の画像とは、例えば保護領域情報により特定される位置及び形状に対応する保護領域について一色の画像で塗りつぶす等して匿名性を高めるように生成（匿名化）したシルエット画像である。すなわち、画像合成部１０８は、背景画像の生成後（更新後）に、取得された処理対象画像と背景画像との比較に応じた特定領域（保護領域）を保護画像（隠蔽画像）とする画像処理を実行する（シルエット化とも称す）。

【0046】

図３（ｇ）と図４（ｇ）は、図３（ｅ）と図４（ｅ）の背景画像と図３（ｆ）と図４（ｆ）の保護領域情報とに基づいて画像合成部１０８が生成した保護画像である。図４の（ｆ）に示される通り、早く背景化されるべきイスは背景化して実物が見えており、プライバシー保護されるべき人体は顔を含む全身（もしくは一部）が隠蔽される等して個人が判別できないように匿名化されている。

【0047】

次に、本実施形態の画像処理装置１０１の処理の流れを説明する。図５は、本実施形態の画像処理装置１０１の動作を説明するためのフローチャートである。画像処理装置１０１のＣＰＵ２０１は、図５の処理に係るプログラムをＲＯＭ２０２やＲＡＭ２０３から読み出して実行することにより、図５の処理を実現する。本実施形態の画像処理装置１０１は、利用者によるプライバシー保護処理の開始指示に応じて、図５の処理を開始する。ただし、図５の処理の開始タイミングは上記の例に限らない。例えば、展示会の画像については重要人物が写るタイミング等があらかじめ分かっていれば所定の時刻（ＶＩＰタイム）になったことをトリガーとして処理を開始してもよいし、駅構内や店舗の画像については営業時間に入ったことをトリガーとして処理を開始してもよい。

【0048】

まず、画像取得部１０２は画像出力装置１２０から送信される画像を、ネットワーク１１０を介して取得する（Ｓ１０１）。画像出力装置１２０が撮像装置である場合は撮像画像をリアルタイムで取得し、画像出力装置１２０が録画装置である場合は録画済みの録画画像（録画映像）を取得する。画像の取得方法は他の方法でも構わないし、画像がＨ．２６４やＪＰＥＧやＨＥＶＣ、ＨＥＩＦなどの既知の符号化方式で圧縮されている場合は画像取得部１０２が復号化するようにしてもよい。

【0049】

動体検出部１０３は、画像取得部１０２で取得された画像（取得画像）についてＲＡＭ２０３に保持している背景画像に基づいて背景差分法により動体の検出処理を行い、物体検出部１０４は、画像内の特徴量に基づいて物体検出処理を行う（Ｓ１０２）。すなわち、動体検出部１０３は、画像間（取得画像と背景画像）の差分に基づいて動体領域（前景領域）を検出し、検出により得られる動体情報（動体の中心座標（位置情報）と外接矩形（形状情報））を背景更新部１０６に送信する。また、物体検出部１０４は、画像内の特徴に基づいて物体領域を検出し、検出により得られる物体情報（物体の中心座標（位置情報）と外接矩形（形状情報）とスコア）を背景更新部１０６に送信する。

【0050】

背景更新部１０６は、動体情報と物体情報に基づいて背景画像の更新処理（生成処理）を行う（Ｓ１０３）。より具体的には、背景更新部１０６は、新しく物体領域として検出されたブロックに、対応する時間閾値の値を設定し、動体領域として検出されなかったブロックに対応する安定背景時間の値を、一定時間ごとにインクリメントする。インクリメントの結果、取得画像のうち安定背景時間の値が閾値以上になったブロックの位置に対応する部分画像を用いて、背景画像についてこのブロックに対応する位置の画素値を置き変えることで更新する。なお、更新は画素値を１００％置き変える方法以外に、背景画像の画素値に所定の割合で合成（例えば、背景画像４０％、取得画像の部分画像６０％）するようにしてもよい。そして、背景更新部１０６は、更新後の背景画像をＲＡＭ２０３に保存するとともに画像比較部１０７に送信する。なお、本実施形態では安定背景時間をブロック毎に管理する例を中心に説明しているが、ブロックのサイズ、および形状は任意である。

【0051】

画像比較部１０７は、画像取得部１０２から取得した取得画像と、背景更新部１０６から取得した背景画像との比較に基づいて保護領域情報を生成する（Ｓ１０４）。そして、画像比較部１０７は、生成した保護領域情報を画像合成部１０８に送信する。

【0052】

画像合成部１０８は、背景更新部１０６から取得した背景画像と画像比較部１０７から取得した保護領域情報とに基づいて保護画像を生成する（Ｓ１０５）。より具体的には、画像合成部１０８は、取得画像（撮像画像、録画画像）のうち、保護領域情報が示す保護領域に対応する位置の部分画像に隠蔽処理を実施する。そして、画像合成部１０８は、隠蔽処理済みの画像（マスク画像、シルエット画像）を背景画像に合成して保護画像を生成する。画像合成部１０８は、生成した保護画像を出力部１０９経由でディスプレイに表示させたり、他の外部装置に出力したりする。

【0053】

出力部１０９は、例えば保護画像を表示させる（Ｓ１０６）。すなわち、出力部１０９は、背景画像の生成後（更新後）に、取得された取得画像（処理対象画像）と背景画像との比較に応じた保護領域（特定領域）が隠蔽画像となった保護画像を表示させる。例えば、画像処理装置１０１がＰＣである場合、ディスプレイで保護画像が表示されることになる。

【0054】

ステップＳ１０６の処理が完了すると、図６の処理を継続するか終了するかが判定され（Ｓ１０７）、継続する場合にはＳ１０１に戻る。

【0055】

図６は本実施形態のパラメータ設定部１０５として動作するＧＵＩ（グラフィカル・ユーザー・インターフェース）の一例であり、画像処理装置１０１のＣＰＵ２０１が所定のプログラムをＲＡＭ２０３から読み出して表示デバイス２０７に表示することで実現する。ウィンドウ６００は物体検出部１０４が検出処理を実行するためのパラメータを設定するためにユーザからの指示を受け付けるＧＵＩ（受付手段）であり、オブジェクト毎または特徴毎に時間閾値（背景化時間）を設定することができる。ＩＤ６０６の横に並ぶ欄６０１～欄６０５の条件はアンド条件（欄６０１～欄６０５の条件の全てを満たしたときに成立する条件）となる。欄６０１は設定対象の物体の種類や領域識別子を示し、ユーザはプルダウンで選択したり自由にテキスト入力したりする。欄６０２は欄６０１で設定している物体の種類や領域識別子に対応する時間閾値（背景化するかどうかを判断する閾値）である。

【0056】

欄６０３は形状認識をするか否か、および形状認識のパターンマッチングに用いるパターン画像を設定できる。空欄をユーザがクリックすると、画像処理装置１０１や外部に保持しているファイルを参照したり、ユーザが描画して概略のパターンを設定したりすることができる。欄６０４は色認識をするか否か、色認識に用いる画素値（例えば、ＲＧＢ画素値）を設定できる。空欄をユーザがクリックすると、不図示のカラーパレットを表示させたり、画像取得部１０２の取得した画像（撮像画像、録画画像）の中で色を指定するスポイトツールを起動したりする。欄６０５は、更に距離測定をするか否か、およびその距離を設定できる。

【0057】

ＩＤ６０６は時間閾値に関わる各エントリにユニークな値であって、本実施形態ではＩＤの大きい条件がＩＤの小さい条件よりも優先される。ボタン６０７をユーザが押下すると画像取得部１０２の取得した画像（撮像画像、録画画像）が別ウィンドウで立ち上がりその中でユーザが矩形描画ツール（マウスによるドラッグ開始位置と終了位置を矩形の左上と左下とする）を用いて時間閾値を設定する領域の位置とサイズを設定する。

【0058】

ユーザが、ボタン６０８を押下することでパラメータ設定部１０５はウィンドウ６００で設定した内容をパラメータとして物体検出部１０４や背景更新部１０６に設定する（ボタン６０９の押下により条件を破棄してもよい）。パラメータ設定部１０５から設定されるパラメータの詳細は、物体検出部１０４が検出処理を実行するためのパラメータ（検出する形状パターンや色、距離）や、背景更新部１０６が背景を更新するためのパラメータ（時間閾値と対象プロック）である。

【0059】

ここで、図６の各設定について説明を補足する。ＩＤ６０６が「６」の条件は、領域Ｂについて時間閾値を０に設定している。時間閾値を「０秒」に設定した画像領域は常に背景画像と比較画像が一致するので、保護領域になることはない（シルエット化されない）。例えば、駅構内に設置した監視カメラで線路を含む画角で撮像した撮像画像について、線路上についてはプライバシー保護よりも安全性を重視する必要があるので、この設定を利用すればよい。

【0060】

ＩＤ６０６が「５」の条件は時間閾値が「無限（秒）」に設定されているので、常に保護領域になる（シルエット化される）。また、ＩＤ６０６が「４」の条件は距離が２ｍ以下の被写体についてプライバシーを保護する度合が高いとして時間閾値「６００秒」を設定している。また、ＩＤ６０６が「３」の条件は「上半身の形状特徴」に基づいてパターンマッチングし検出した領域について、「人体」であるためプライバシーを保護する度合が高いオブジェクトとして時間閾値「６００秒」を設定している。ＩＤ６０６が「２」の条件は、色が「黒」で「イス上部の形状特徴」に基づいて検出した領域について、「イス」であるためプライバシーを保護する度合が低いオブジェクトとして時間閾値「２０秒」を設定している。イス以外であっても、机や会議室の備品なども同様に適用できる。ＩＤ６０６が「１」の条件は、ＩＤ６０６が「２から６」の条件に当てはまらない領域について標準の時間閾値「６０秒」を設定している。

【0061】

以上の説明の通り、本実施形態によれば画像処理装置１０１は複数の検出部（動体検出部１０３と物体検出部１０４）を用いて背景画像を生成し、更新する。その際に、物体の特性毎に背景化する時間閾値を設定できるので、物体の特性毎にプライバシーを保護する対象であるか設定しておけばプライバシーがより保護されやすくなる。具体的には、プライバシー保護の対象が背景画像に含まれにくくなり、保護対象でないものは保護画像に含まれやすくなる。

【0062】

なお、図６のＩＤ「６」の条件のように時間閾値に「０」を設定した領域について、次の３つのパターンのいずれかで表示する様に、図６のウィンドウ６００で切り替えるように設定できるようにしてもよい。１つ目は「そのまま背景画像を表示する」形態であり、この場合は撮像画像や録画画像がそのまま表示される。２つ目は「最初の画像のまま固定する」形態であり、図３（ａ）に相当する画像が表示される。３つ目は「ぼかし画像にする」形態であり、この場合は、時間閾値に「０」を設定した領域についてぼかし処理や、モザイク処理などを行った画像を表示する。

【0063】

なお、上述の実施形態では背景更新部１０６が更新した背景画像を画像合成部１０８が保護画像の生成に利用しているが、画像合成部１０８が保護画像の生成に用いる背景画像を別途設定するようにしてもよい。

【0064】

図７は、背景画像を設定するためのＧＵＩ（グラフィカル・ユーザー・インターフェース）の一例であり、画像処理装置１０１のＣＰＵ２０１が所定のプログラムをＲＡＭ２０３から読み出して表示デバイス２０７にウィンドウ７００を表示する。

【0065】

領域７０１は動体検出部１０３や背景更新部１０６に関わる設定をする箇所である。ここでは、「任意の画像」か、上述した背景画像を「自動更新」するかの一方を選択できる。任意の画像を選択した場合は、設定ボタンを押下しユーザが画像処理装置１０１や外部装置から所定の画像ファイルを参照して設定する。設定した画像の縮小画像も領域７０１に表示される。

【0066】

一方で、背景画像を「自動更新」にした場合、「人体検出オプション」のチェックボックスを切り替えることで、物体検出部１０４の利用の有無をユーザが設定することもできる。図７の例では人体検出を「ＯＦＦ」に設定しているので、その分、パターンマッチングの処理負荷が軽減される。また、背景画像を「自動更新」にした場合、画像取得部１０２が「撮像画像」から画像を取得するか「録画画像」から画像を取得するかを選択できる。これは、図１（ｂ）に示すように、ネットワーク１１０上に撮像装置１２０と録画装置１２０の両方が存在するときに、画像のソースを選択することができる。録画装置１２０を選択した場合は、録画装置の保持している映像データのうち対象とするフレームを開始時間と長さで指定することができる。

【0067】

領域７０２は画像合成部１０８が利用する背景画像を設定する箇所である。ここでは、任意の画像ファイルを設定するための「設定」ボタンや撮像装置１２０で撮像しているライブ画像を直接的に背景画像として設定するための「ライブ画像を設定」ボタンがある。また、領域７０１で設定した背景画像をそのまま利用するようにする設定もできる。

【0068】

領域設定７０３は、領域７０１で自動更新する背景画像に関する設定箇所で、設定ボタンを押下することにより、図６で示したウィンドウ６００を表示させる。領域７０４は、領域７０１から領域７０３の設定を反映するカメラをユーザが選択できる。ネットワーク１１０上に複数の監視カメラがある場合でも簡易に同様の設定をすることができる。「ファイル出力間隔」は、画像合成部１０８が保護画像に対応する画像ファイル（ＪＰＥＧやＨＥＩＦ）を外部メモリ２０４の所定の箇所に書き込む間隔を示す設定である。画像合成部１０８は保護画像の配信と並行して画像ファイルを保存することができる。「ファイル数上限」は外部メモリ２０４で保持する上限の画像ファイルの個数に関する設定であり、１から６０４８０の間で整数値を設定することができ、上限に達すると古いファイルから上書きされていく。

【0069】

また、上述の実施形態では時間閾値を更新する（上書き）点について説明を省略しているが、例えば、動体検出部１０３や物体検出部１０４の検出タイミングと同等、もしくは、より長い時間をとってもよい。例えば、画像出力部１２０が６０ｆｐｓ、Ｆｕｌｌ ＨＤで画像を撮像する際に、画像取得部１０２は１０ｆｐｓ、Ｆｕｌｌ ＨＤの撮像画像を取得し、取得した撮像画像を動体検出部１０３と物体検出部１０４に提供する。そして、背景更新部１０６は、処理を開始した時点では１０ｆｐｓで入力される撮像画像について毎フレームで時間閾値を更新する処理をする。具体的には、動体検出部１０３や物体検出部１０４が以前のフレームと同様の検知をした領域については、インクリメントしたスコア（安定背景時間）を維持する。一方で、動体検出部１０３や物体検出部１０４が以前のフレームと異なる検知をした領域については、インクリメントしたスコアを０にリセットし、検知内容に基づいて新しい時間閾値を設定する。なお、背景更新部１０６は何フレームかに１回更新するようにして処理負荷を軽減させてもよい。このトリガはユーザ指定や、動体検出部１０３や物体検出部１０４が所定時間、物体や一定面積以上の動体を検知しなかった事とする。

【0070】

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するソフトウェア（プログラム）を、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサー（ＣＰＵやＭＰＵ等）がプログラムを読出し実行する処理である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【符号の説明】

【0071】

１０１ 画像処理装置
１０２ 画像取得部
１０３ 動体検出部
１０４ 物体検出部
１０５ パラメータ設定部
１０６ 背景更新部
１０７ 画像比較部
１０８ 画像合成部
１０９ 出力部
１２０ 画像出力装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】