特許 7418074 画像処理装置、画像処理方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-01-11

(45)【発行日】2024-01-19

(54)【発明の名称】画像処理装置、画像処理方法、及びプログラム

(51)【国際特許分類】

   G06T 7/20 20170101AFI20240112BHJP

   H04N 7/18 20060101ALI20240112BHJP

【ＦＩ】

G06T7/20 300Z

H04N7/18 D

H04N7/18 K

【請求項の数】 13

(21)【出願番号】P 2019030373

(22)【出願日】2019-02-22

(65)【公開番号】P2020107297

(43)【公開日】2020-07-09

【審査請求日】2022-02-07

(31)【優先権主張番号】P 2018242175

(32)【優先日】2018-12-26

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100126240

【弁理士】

【氏名又は名称】阿部 琢磨

(74)【代理人】

【識別番号】100223941

【弁理士】

【氏名又は名称】高橋 佳子

(74)【代理人】

【識別番号】100159695

【弁理士】

【氏名又は名称】中辻 七朗

(74)【代理人】

【識別番号】100172476

【弁理士】

【氏名又は名称】冨田 一史

(74)【代理人】

【識別番号】100126974

【弁理士】

【氏名又は名称】大朋 靖尚

(72)【発明者】

【氏名】日下部 稔

【審査官】大塚 俊範

(56)【参考文献】

【文献】特開２００９－２２５３９８（ＪＰ，Ａ）

【文献】特開２０１４－０６３４７０（ＪＰ，Ａ）

【文献】特開２０１８－１９５２９２（ＪＰ，Ａ）

【文献】特開２００５－２３５１０４（ＪＰ，Ａ）

【文献】特開２０１７－０９８８７９（ＪＰ，Ａ）

【文献】特開２００５－１１７１６３（ＪＰ，Ａ）

【文献】米司 健一，他５名，駅構内モニタカメラを用いた混雑度可視化技術，情報処理学会 デジタルプラクティス［ｏｎｌｉｎｅ］ ，日本，情報処理学会，2017年04月15日，第８巻 第２号，第１５２－１５９頁，ＩＳＳＮ ２１８８－４３９０

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００－７／９０

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

撮像された入力画像から前景領域を抽出する抽出手段と、
前記入力画像から特定の物体を検出する検出手段と、
前記検出手段により検出された特定の物体の位置に基づいて、少なくとも一部が曲線の形状の領域である特定領域を設定する設定手段と、
前記設定手段により設定された特定領域以外の前記前景領域は、前記入力画像に対応する所定の画像に重畳せず、前記設定手段により設定された特定領域における前記前景領域を抽象化したシルエット画像を、前記所定の画像に重畳した出力画像を生成する生成手段と、
前記入力画像における混雑領域を判定する判定手段と、を有し、
前記設定手段は、前記判定手段により判定された混雑領域に位置する人物に対し、水平方向の幅を所定の倍率だけ縮小させた特定領域を設定することを特徴とする画像処理装置。

【請求項2】

前記判定手段は、前記入力画像の全体の領域を複数に分割した分割領域のうち、前記検出手段により検出された特定の物体の数が閾値以上の分割領域を混雑領域であると判定することを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記判定手段は、前記抽出手段により抽出された前景領域のサイズが閾値以上である場合に、当該前景領域を混雑領域であると判定することを特徴とする請求項１に記載の画像処理装置。

【請求項4】

前記生成手段は、前記判定手段により判定された混雑領域に位置する人物に対して前記設定手段により設定された特定領域ごとに、特定領域における前記前景領域を抽象化したシルエット画像の表示態様を異ならせることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。

【請求項5】

前記所定の画像は、前記前景領域を抽出するために用いられる背景画像であることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。

【請求項6】

前記抽出手段は、撮像された入力画像と前記背景画像とを比較することで前記前景領域を抽出することを特徴とする請求項５に記載の画像処理装置。

【請求項7】

前記抽出手段は、前記入力画像の各画素と、前記背景画像の各画素とで算出された差分値と閾値とを比較することで前記前景領域を抽出することを特徴とする請求項５または６に記載の画像処理装置。

【請求項8】

前記特定の物体は、人物であることを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。

【請求項9】

前記設定手段により設定される特定領域の形状は、人物の少なくとも頭部に対応する第１形状と、人物の胴体に対応する第２形状とを含む形状であることを特徴とする請求項８に記載の画像処理装置。

【請求項10】

前記生成手段は、前記特定領域の外縁であって、前記抽出手段により抽出された前景領域と重複する外縁の表示態様を、当該特定領域における当該前景領域を抽象化したシルエット画像の表示形態と異ならせることを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。

【請求項11】

前記生成手段は、前記入力画像における動きの量に基づいて、前記検出手段により検出された複数の特定の物体のうち、一部の特定の物体に対する特定領域における前記前景領域を抽象化したシルエット画像を前記所定の画像に重畳した出力画像を生成することを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。

【請求項12】

撮像された入力画像から前景領域を抽出する抽出工程と、
前記入力画像から特定の物体を検出する検出工程と、
前記検出工程により検出された特定の物体の位置に基づいて、少なくとも一部が曲線の形状の領域である特定領域を設定する設定工程と、
前記設定工程により設定された特定領域以外の前記前景領域は、前記入力画像に対応する所定の画像に重畳せず、前記設定工程により設定された特定領域における前記前景領域を抽象化したシルエット画像を、前記所定の画像に重畳した出力画像を生成する生成工程と、前記入力画像における混雑領域を判定する判定工程と、を有し、
前記設定工程は、前記判定工程により判定された混雑領域に位置する人物に対し、水平方向の幅を所定の倍率だけ縮小させた特定領域を設定することを特徴とする画像処理装置の制御方法。

【請求項13】

コンピュータを請求項１乃至１１のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理技術に関する。

【背景技術】

【0002】

近年、監視カメラが広く設置されるようになっている。このような監視カメラが用いられるシステムは、撮像された人物の動きを特定することにより、防犯、マーケティング分析、サービス向上を行うことができる点で有用である。その一方で、このようなシステムでは、撮像された人物に関するプライバシーが保護されることが重要である。

【0003】

特許文献１では、予め撮像された背景画像に対して、画像から検出された人物が移動しているか否かに応じて色が異なる人型アイコンを重畳する技術が開示されている。

【先行技術文献】

【特許文献】

【0004】

【文献】国際公開第２０１７／１４１４５４号

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献１では、人物ではない物体に対して人物であると検出した場合に、当該物体に対応する人型アイコンを背景画像に重畳してしまうことがある。つまり、実際には人物ではない物体を人物として検出した場合に、当該物体に対応する人型アイコンを背景画像に重畳した不適切な出力画像が生成されることがある。

【0006】

そこで、本発明は、撮像された画像における適切な領域を隠蔽した画像を生成可能とする技術を提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明の一態様による画像処理装置は、撮像された入力画像から前景領域を抽出する抽出手段と、前記入力画像から特定の物体を検出する検出手段と、前記検出手段により検出された特定の物体の位置に基づいて、少なくとも一部が曲線の形状の領域である特定領域を設定する設定手段と、前記設定手段により設定された特定領域以外の前記前景領域は、前記入力画像に対応する所定の画像に重畳せず、前記設定手段により設定された特定領域における前記前景領域を抽象化したシルエット画像を、前記所定の画像に重畳した出力画像を生成する生成手段と、前記入力画像における混雑領域を判定する判定手段と、を有し、前記設定手段は、前記判定手段により判定された混雑領域に位置する人物に対し、水平方向の幅を所定の倍率だけ縮小させた特定領域を設定する。

【発明の効果】

【0008】

本発明によれば、撮像された画像における適切な領域を隠蔽した画像を生成可能とする技術を提供することができる。

【図面の簡単な説明】

【0009】

【図1】システム構成の一例を示す図である。

【図2】画像処理装置の機能ブロックを示す図である。

【図3】出力画像を生成する処理の流れを示すフローチャートである。

【図4】出力画像を生成する処理を説明するための図である。

【図5】人物領域の形状を説明するための図である。

【図6】出力画像を生成する処理を説明するための図である。

【図7】画像処理装置の機能ブロックを示す図である。

【図8】出力画像を生成する処理を説明するための図である。

【図9】出力画像を生成する処理を説明するための図である。

【図10】画像処理装置の機能ブロックを示す図である。

【図11】出力画像を生成する処理の流れを示すフローチャートである。

【図12】出力画像を生成する処理を説明するための図である。

【図13】出力画像を生成する処理の流れを示すフローチャートである。

【図14】各装置のハードウェア構成を示す図である。

【発明を実施するための形態】

【0010】

以下、添付図面を参照しながら、本発明に係る実施形態について説明する。なお、以下の実施形態において示す構成は一例に過ぎず、図示された構成に限定されるものではない。

【0011】

（実施形態１）
図１は、本実施形態におけるシステム構成を示す図である。本実施形態におけるシステムは、画像処理装置１００、撮像装置１１０、記録装置１２０、およびディスプレイ１３０を有している。

【0012】

画像処理装置１００、撮像装置１１０、および記録装置１２０は、ネットワーク１４０を介して相互に接続されている。ネットワーク１４０は、例えばＥＴＨＥＲＮＥＴ（登録商標）等の通信規格に準拠する複数のルータ、スイッチ、ケーブル等から実現される。

【0013】

なお、ネットワーク１４０は、インターネットや有線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、無線ＬＡＮ（Ｗｉｒｅｌｅｓｓ Ｌａｎ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）等により実現されてもよい。

【0014】

画像処理装置１００は、例えば、後述する画像処理の機能を実現するためのプログラムがインストールされたパーソナルコンピュータ等によって実現される。

【0015】

撮像装置１１０は、画像を撮像する装置である。撮像装置１１０は、撮像した画像に基づく画像データと、画像を撮像した撮像時刻の情報と、撮像装置１１０を識別する情報である識別情報とを関連付けて、ネットワーク１４０を介し、画像処理装置１００や記録装置１２０等の外部装置へ送信する。なお、本実施形態に係るシステムにおいて、撮像装置１１０は１つとするが、複数であってもよい。

【0016】

記録装置１２０は、撮像装置１１０が撮像した画像の画像データと、画像を撮像した撮像時刻の情報と、撮像装置１１０を識別する識別情報とを関連付けて記録する。そして、画像処理装置１００からの要求に従って、記録装置１２０は、記録したデータ（画像、識別情報など）を画像処理装置１００へ送信する。

【0017】

ディスプレイ１３０は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）等により構成されており、画像処理装置１００の画像処理の結果や、撮像装置１１０が撮像した画像などを表示する。ディスプレイ１３０は、ＨＤＭＩ（登録商標）（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）等の通信規格に準拠したディスプレイケーブルを介して画像処理装置１００と接続されている。

【0018】

また、ディスプレイ１３０は、表示手段として機能し、撮像装置１１０が撮像した画像や、後述する画像処理に係る設定画面等を表示する。なお、ディスプレイ１３０、画像処理装置１００、および記録装置１２０の少なくともいずれか２つ又は全ては、単一の筐体に設けられてもよい。

【0019】

なお、画像処理装置１００の画像処理の結果や、撮像装置１１０により撮像された画像は、画像処理装置１００にディスプレイケーブルを介して接続されたディスプレイ１３０に限らず、例えば、次のような外部装置が有するディスプレイに表示されてもよい。すなわち、ネットワーク１４０を介して接続されたスマートフォン、タブレット端末などのモバイルデバイスが有するディスプレイに表示されていてもよい。

【0020】

次に、図２に示す本実施形態に係る画像処理装置１００の機能ブロックを参照して、本実施形態に係る画像処理装置１００の画像処理について説明する。

【0021】

なお、図２に示す各機能は、本実施形態の場合、図１４を参照して後述するＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１４２０とＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１４００とを用いて、次のようにして実現されるものとする。図２に示す各機能は、画像処理装置１００のＲＯＭ１４２０に格納されたコンピュータプログラムを画像処理装置１００のＣＰＵ１４００が実行することにより実現される。なお、以降の説明において、特定の物体は、人物であるものとする。

【0022】

通信部２００は、図１４を参照して後述するＩ／Ｆ（Ｉｎｔｅｒｆａｃｅ）１４４０によって実現でき、ネットワーク１４０を介して、撮像装置１１０や記録装置１２０と通信を行う。通信部２００は、例えば、撮像装置１１０が撮像した画像の画像データを受信したり、撮像装置１１０を制御するための制御コマンドを撮像装置１１０へ送信したりする。なお、制御コマンドは、例えば、撮像装置１１０に対して画像を撮像するよう指示を行うコマンドなどを含む。

【0023】

記憶部２０１は、図１４を参照して後述するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１４１０やＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）１４３０等によって実現でき、画像処理装置１００による画像処理に関わる情報やデータを記憶する。例えば、記憶部２０１は、画像から検出された人物の位置に関する情報を記憶する。

【0024】

表示制御部２０２は、撮像装置１１０が撮像した画像や、本実施形態に係る画像処理に関する設定を行う設定画面、画像処理の結果を示す情報などをディスプレイ１３０に表示させる。例えば、表示制御部２０２は、後述する生成部２０７により生成された出力画像をディスプレイ１３０に表示させる。操作受付部２０３は、キーボードやマウス等の入力装置（不図示）を介して、ユーザが行った操作を受け付ける。

【0025】

抽出部２０４は、撮像された入力画像から前景領域を抽出する。抽出部２０４は、通信部２００が受信した入力画像と背景画像とを比較することにより、前景領域を抽出する。なお、背景画像は、画像にプライバシーを保護する対象（隠蔽対象）とする特定の物体（本実施形態では人物）が含まれていない状態の画像であるものとする。

【0026】

抽出部２０４は、通信部２００が受信した入力画像と背景画像とを比較することにより、前景領域を抽出する。抽出部２０４は、例えば、背景画像に対する差分の領域を示す前景領域を「１」とし、その他の領域を「０」とする２値画像を生成する。この場合、抽出部２０４は、例えば、背景画像の各画素と入力画像の各画素とで差分値を算出し、算出した差分値が閾値以上の画素については前景領域を表す「１」を設定し、閾値未満の場合は「０」を設定することにより、２値画像を生成することができる。なお、抽出部２０４は、背景差分のみならず、他の手法によって前景領域を特定してもよい。

【0027】

検出部２０５は、画像から特定の物体を検出する。例えば、検出部２０５は、照合パターン（辞書）を用いて、画像から特定の物体を検出する。なお、画像から人物を検出する場合において、人物が正面向きである場合と横向きである場合とで使用する照合パターンを両方使うことで検出精度の向上が期待できる。例えば、正面（背面）向きの人体の画像と照合させるための照合パターンと、横向きの人物の画像と照合させるための照合パターンとを保持し、撮像装置１１０の設置状態やユーザの指定に基づいて両方使うことができる。

【0028】

また、照合パターンは、斜め方向からや上方向からなど他の角度からのものを用意しておいてもよい。また、人物を検出する場合、必ずしも全身の特徴を示す照合パターン（辞書）を用意しておく必要はなく、上半身、下半身、頭部、顔、足などの人物の一部について照合パターンを用意してもよい。なお、検出部２０５は、画像から特定の物体として人物を検出する機能を有していればよく、パターンマッチング処理にのみ限定されるものではない。

【0029】

なお、以降の説明において、本実施形態における検出部２０５は、人物の上半身の照合パターンを用いて画像から人物の上半身を検出するものとする。そして、検出部２０５は、検出した人物の上半身を示す画像の領域（画像領域）から当該人物の全身の画像領域を特定する。例えば、検出部２０５は、人物の上半身を示す画像領域の垂直方向のサイズを所定の倍率（例えば２倍）だけ画像の垂直方向における下方向に拡大した画像領域を当該人物の全身の画像領域として特定する。なお、検出部２０５により検出された人物の位置は、画像の左上の端点を原点として、当該人物の全身の画像領域における重心点の座標であるものとする。

【0030】

設定部２０６は、検出部２０５により検出された特定の物体の画像における位置に基づいて、当該特定の物体に対応する形状の領域（特定領域）を設定する。本実施形態における設定部２０６は、検出部２０５により検出された画像における人物の位置に基づいて、人物に対応する形状の領域である特定領域を設定する。例えば、設定部２０６は、検出部２０５により検出された人物の全身の画像領域を囲うように特定領域を設定する。なお、以降の説明において、人物領域とは、検出された人物に対し設定された特定領域であるものとして説明する。

【0031】

生成部２０７は、設定部２０６により設定された人物領域における前景領域を抽象化したシルエット画像を生成する。言い換えれば、生成部２０７は、抽出部２０４が抽出した前景領域のうち、設定部２０６により設定された特定領域以外の前景領域を、隠蔽対象（抽象化の対象）から外す。そして、生成部２０７は、設定部２０６により設定された人物領域における前景領域を、例えば、任意の色（ＲＧＢ値）で塗りつぶすことで抽象化（隠蔽）したシルエット画像を生成する。なお、人物領域における前景領域を抽象化したシルエット画像としては、例えば、テクスチャを付与した画像や、モザイク処理を施したモザイク画像、ぼかし処理を施したぼかし画像などであってもよい。

【0032】

そして、生成部２０７は、設定部２０６により設定された人物領域における前景領域を抽象化したシルエット画像を、所定の画像に重畳した出力画像を生成する。なお、本実施形態における生成部２０７は、シルエット画像を、背景画像に重畳するものとするが、例えば表示する用途として予め用意した画像である表示用画像に重畳してもよいし、通信部２００が受信した画像（入力画像）に重畳してもよい。

【0033】

次に、図３および図４を参照して、本実施形態に係る画像処理装置１００の画像処理について更に詳細に説明する。図３は、本実施形態に係る画像処理装置１００の画像処理の流れを示すフローチャートである。また、図４は、本実施形態に係る画像処理装置１００の画像処理を説明するための図である。

【0034】

なお、図３に示すフローを実行することで、設定された人物領域における前景領域を抽象化したシルエット画像を背景画像に重畳した出力画像を生成することができる。なお、図３に示すフローの処理は、例えば、ユーザによる指示に従って、開始又は終了するものとする。なお、図３に示すフローチャートの処理は、撮像装置１１０のＲＯＭ１４２０に格納されたコンピュータプログラムを撮像装置１１０のＣＰＵ１４００が実行して実現される図２に示す機能ブロックにより実行されるものとする。

【0035】

まず、Ｓ３０１にて、通信部２００は、撮像装置１１０が撮像した画像（入力画像）を受信する。図４（ａ）は、通信部２００が受信する入力画像の一例を示す図である。図４（ａ）に示す画像には、開閉可能な扉４００、人物４０１～４０２が含まれている。

【0036】

次に、Ｓ３０２にて、抽出部２０４は、背景画像を取得する。なお、抽出部２０４は、例えば、予め設定された背景画像を取得してもよい。また、抽出部２０４は、現在のフレームから過去Ｎフレーム分の入力画像に基づいて生成された背景画像を取得してもよい。例えば、生成部２０７は、現在のフレームから直近５フレーム分の入力画像の各画素値の平均値を求めることで背景画像を生成する。そして、抽出部２０４は、生成部２０７により生成された背景画像を取得してもよい。図４（ｂ）に示す画像は、Ｓ３０２にて抽出部２０４により取得される背景画像の一例を示す図であり、図４（ａ）に示す画像との差異は、人物４０１、及び４０２の有無である。

【0037】

次に、Ｓ３０３にて、抽出部２０４は、撮像された入力画像から前景領域を抽出する。本実施形態における抽出部２０４は、通信部２００が受信した入力画像と背景画像とを比較することにより、前景領域を抽出する。図４（ｃ）は図４（ａ）とは時間的に異なるタイミングで撮像された入力画像の一例である。図４（ｂ）とは、人物４０１、及び４０２の有無及び、扉４００の開閉状態が異なる。なお、図４（ｃ）では、扉４００の開閉状態が異なることにより扉４００の周囲の光源の状態が変化している例を示している。そして、図４（ｃ）に示す領域４０３は、扉４００の奥にある不図示の光源からの光が差し込むことによって、図４（ｂ）に示す背景画像に対し画素値の変化が大きい領域を示している。

【0038】

図４（ｄ）に示す前景領域４０４、４０５は、Ｓ３０３にて、抽出部２０４により、図４（ｃ）に示す入力画像と、図４（ｂ）に示す背景画像とを比較することにより抽出された前景領域である。図４（ｄ）に示す例において、前景領域４０４は、人物４０１に対応する前景領域であり、周囲に他の前景領域が無いことから人物の形状が明瞭である。一方、人物４０２に対応する前景領域は、人物４０２の周囲に発生している画素値の変化が大きい領域４０３に対応する前景領域４０５に紛れてしまい、人物４０２の形状や位置の判別は困難である。

【0039】

なお、図４（ｅ）に示す画像は、Ｓ３０３にて抽出部２０４により抽出された前景領域を抽象化したシルエット画像を背景画像に重畳した出力画像を示す図である。図４（ｅ）に示すように、抽出された前景領域を単純に抽象化したシルエット画像を背景画像に重畳した出力画像では、撮像装置１１０の撮像された環境の状況をうかがい知ることが困難になることがある。

【0040】

次に、Ｓ３０４にて、検出部２０５は、照合パターン（辞書）を用いて、入力画像から人物を検出する。図４に示す例において、検出部２０５は、図４（ｃ）に示す入力画像から、人物４０１および人物４０２を検出する。

【0041】

次に、Ｓ３０５にて、設定部２０６は、検出部２０５により検出された人物の位置に基づいて、人物に対応する形状の領域である人物領域を設定する。図４（ｆ）に示す人物領域４０６は、検出部２０５により検出された人物４０１の位置に基づいて、設定部２０６により、人物４０１の全身を囲うよう設定された人物領域である。また、図４（ｆ）に示す人物領域４０７は、検出部２０５により検出された人物４０２の位置に基づいて、設定部２０６により、人物４０２の全身を囲うよう設定された人物領域である。なお、図４（ｆ）に示す人物領域４０６、４０７の形状は楕円形であり、検出された各々の人物のサイズに対応したサイズで設定部２０６により設定される。なお、人物領域４０６、４０７の形状は楕円形であるが、例えば、人物の少なくとも頭部に対応する第１形状と、人物の動体に対応する第２形状とを含む形状の領域であってもよい。なお、人物領域の形状は、検出された人物の全身を全て囲うような形状にしてもよいし、人物の一部がはみ出るような形状であっても構わない。例えば、人物領域の形状は、人物の頭部、上半身など人物の一部のみを覆う形状であってもよい。なお、設定部２０６により設定される人物領域の形状についての詳細な説明は、図５を参照して後述する。

【0042】

次に、Ｓ３０６にて、生成部２０７は、設定部２０６により設定された人物領域における前景領域を抽象化したシルエット画像を生成する。図４（ｇ）に示す画像は、図４（ｄ）に示す前景領域に対して、設定部２０６により設定された人物領域４０６～４０７の各々における前景領域を抽象化したシルエット画像を示す。図４（ｇ）に示すように、人物領域４０６では、内部に存在する前景領域が人物４０１に対応する前景領域４０４のみである。そのため、当該前景領域４０４を抽象化してシルエット画像を生成しても、差分領域４０４の形状がシルエット画像の形状としてそのまま抽出される。一方、人物領域４０７は、人物４０２の周囲に差分領域が存在するため詳細な人物４０２の形状を抽象化したシルエット画像の生成は難しい。しかしながら、人物４０２の位置とサイズに対応した人物領域４０７における前景領域４０５を抽象化したシルエット画像を生成する。このようにすることで、当該人物４０２の位置やサイズなどを大まかに把握することが可能なシルエット画像を生成することができる。

【0043】

次に、Ｓ３０７にて、生成部２０７は、設定部２０６により設定された人物領域における前景領域を抽象化したシルエット画像を、背景画像に重畳した出力画像を生成する。図４（ｈ）に示す図は、Ｓ３０６により生成されたシルエット画像を背景画像に重畳した出力画像の一例を示す図である。図４（ｈ）に示すシルエット画像４０８は、人物領域４０６における前景領域を抽象化したシルエット画像である。また、図４（ｈ）に示すシルエット画像４０９は、人物領域４０７における前景領域を抽象化したシルエット画像である。図４（ｈ）に示すように、扉４００の開閉などによる画像における輝度の変化等の環境変化が少ない領域では、シルエット画像４０８に示すように実際に存在する人物の形状を反映したシルエット画像を生成することが可能である。そのため、撮像環境の様子を詳細に把握することができる。一方、環境変化の多い領域では、シルエット画像４０９に示すように、人物の位置とサイズに対応するシルエット画像を生成することが可能になるため、環境変化が大きい領域あっても当該領域における人物が存在しているか否かの状況が把握することができる。

【0044】

次に、Ｓ３０８にて、表示制御部２０２は、生成部２０７により生成された出力画像を出力する。なお、本実施形態において、表示制御部２０２は、生成部２０７により生成された出力画像をディスプレイ１３０に表示させる。

【0045】

次に、Ｓ３０９にて、ユーザにより処理を終了する指示がある場合（Ｓ３０９にてＹｅｓ）、処理を終了する。一方、ユーザにより処理を終了する指示がない場合（Ｓ３０９にてＮｏ）、Ｓ３０１へ戻り、通信部２００は次のフレームの画像（入力画像）を受信する。

【0046】

以上説明したように本実施形態に係る画像処理装置１００の画像処理は、検出された人物の位置に基づいて人物領域を設定し、設定した人物領域における前景領域を抽象化したシルエット画像を背景画像に重畳した出力画像を生成する。このようにすることで、撮像された画像の適切な領域を隠蔽した画像を生成可能とする技術を提供することができる。

【0047】

次に、図５を参照して、設定部２０６により設定される人物領域の形状について説明する。図４を参照して説明した上述の内容においては、設定部２０６により設定される人物領域４０６、４０７として、図５に示す楕円形状５００を例に挙げて説明したが、これに限らない。人物領域の形状としては、例えば、図５に示す矩形５０１や台形５０２といった単純な図形でもよい。

【0048】

また、人物領域の形状としては、人物の少なくとも頭部に対応する第１形状と、人物の胴体に対応する第２形状とを含む形状であってもよい。例えば、人物領域の形状として、形状５０３のように、頭部に対応する円形の第１形状５１０と、人物の胴体に対応する三角形の第２形状５１１とを含む形状であってもよい。また、人物領域の形状として、形状５０４のように、頭部に対応する円形の第１形状５２０と、人物の胴体に対応する楕円を一部である第２形状５２１とを含む形状であってもよい。また、人物領域の形状として、形状５０５のように、頭部に対応する円形の第１形状５３０と、人物の胴体に対応する略矩形の第２形状５３１とを含む形状であってもよい。

【0049】

なお、人物領域の形状の一例である形状５０３～５０５に示すように、上述したように、人物の頭部を模した第１形状と、人物の胴体を模した第２形状とを含む形状であるが、これに限らない。例えば、人物領域の形状としては、人物の頭部を模した第１形状と、人物の胴体を模した第２形状と、更に、例えば、人物の下半身を模した第３形状を含む形状であってもよい。

【0050】

なお、本実施形態における人物領域の形状は、図５に示す矩形５０１や台形５０２のように曲線を有していない形状であってもよいし、楕円形５００、形状５０３～５０５のように、一部曲線を有する形状であってもよい。このように、一部曲線を有する形状の人物領域を用いることで、人物の形状により近いシルエット画像を生成することが可能となる。

【0051】

図５に示す形状５０３～５０５のように、人物の形状により近い人物領域を用いることで、より人物の形状に近いシルエット画像を生成することが可能となる。例えば、図５（ｈ）において人物４０２に対応するシルエット画像４０９は楕円形であるが、前景領域が大きい領域内にて検出された人物に対して、人物の形状により近い人物領域を用いることで、人物の存在をより分かり易くユーザに提示することが可能となる。

【0052】

以上説明したように、本実施形態に係る画像処理装置１００の画像処理は、検出された人物の位置に基づいて人物領域を設定し、設定した人物領域における前景領域を抽象化したシルエット画像を背景画像に重畳した出力画像を生成する。このようにすることで、撮像された人物の位置に基づくシルエット画像を生成して表示することが可能であるため、プライバシーを確保しつつ、人の存在が分かりやすい表示を行うことが可能となる。また、画像に映る人物を覆うようにサイズが大きい前景領域が抽出された場合であっても、撮像環境の様子を把握しやすい画像の表示を行うことが可能となる。また更に、人物を検出する処理において、本来検出対象（隠蔽対象）としていない物体（例えば人物を含むポスター）を検出してしまった場合でも、前景領域が存在していなければシルエット画像が生成されない。そのため、ユーザに誤解を与えるような出力画像が生成されることを抑制し、より実際の状況を反映させた出力画像を生成することが可能となる。以上より、本実施形態に係る画像処理装置１００の画像処理によれば、撮像された画像の適切な領域を隠蔽した画像を生成可能とする技術を提供することができる。

【0053】

（実施形態２）
本実施形態では、駅やショッピングモールなど、多くの人物で混雑が発生するような場合であっても、プライバシーを保護しつつ、画像に映る人物の存在をユーザが把握しやすくする実施形態について説明する。以下、実施形態１と異なる部分を主に説明し、実施形態１と同一または同等の構成要素、および処理には同一の符号を付すとともに、重複する説明は省略する。

【0054】

以下、図６を参照して、本実施形態に係る画像処理について説明する。図６は、本実施形態に係る画像処理を説明するための図である。図６（ａ）は撮像装置１１０によって撮像された入力画像の一例を示している。図６（ａ）における人物６００は、複数の人物で混雑している領域６６０（混雑領域）外に単独で存在している人物を示している。また、人物６０１は領域６６０に存在する複数の人物を示している。影６０２は、領域６６０において人物が作る影の領域である。

【0055】

図６（ｂ）は、本実施形態において用いられる背景画像の一例を示している。図６（ｃ）は、図６（ａ）に示す入力画像と、図６（ｂ）に示す背景画像とを比較することにより抽出部２０４により抽出された前景領域を示す。図６（ｃ）に示す例において、前景領域６０３は、単独で存在する人物６００に対応する前景領域を示している。また、図６（ｃ）に示す前景領域６０４は、領域６６０に存在する複数の人物、及び当該複数の人物が作り出す影領域６０２に対応する前景領域を示している。

【0056】

図６（ｄ）は、図６（ａ）に示す入力画像に対して検出部２０５により検出された人物の位置に基づき、設定部２０６が設定した人物領域を示す図である。単独で存在する人物６００の位置に基づいて設定された人物領域６０５では他の人物領域との重なりが無い。一方、領域６６０（混雑領域）に存在する複数の人物６０１に対応する複数の人物領域６０６は他の人物領域と重なってしまう。ここで、実施形態１で説明した画像処理と同様にして、図７（ｄ）に示す人物領域における前景領域を抽象化したシルエット画像を生成し、生成したシルエット画像を背景画像に重畳した出力画像を生成する場合を想定する。このようにして生成された出力画像の一例を図６（ｅ）に示す。図６（ｅ）では、単独で存在する人物６００に対応するシルエット画像６０７では人物を区別しながら表示できている。しかしながら、混雑領域に存在する複数の人物６０１に対応するシルエット画像６０８では、シルエット画像が重なった状態の出力画像が生成されてしまうため、撮像された画像における人物の状況を把握することが困難となる。

【0057】

そこで、複数の人物で混雑するような状況であっても、画像における人物の状況を把握しやすくするため、本実施形態に係る画像処理装置１００は、例えば、次のような処理を実行する。すなわち、本実施形態に係る生成部２０７は、設定部２０６により設定された人物領域ごとに、人物領域における前景領域を抽象化したシルエット画像の表示態様を異ならせるようにする。シルエット画像の表示形態を異ならせる方法としては、設定部２０６により設定された人物領域ごとに、人物領域における前景領域の色を異ならせたり、人物領域に対して付与するテクスチャの種類を異ならせたりする方法がある。しかしながら、人物領域ごとに、識別可能とするようにできればよく、上述した方法に限らない。

【0058】

また、上述したように混雑領域６６０における複数の人物領域が示すように人物領域同士が重なる場合において、人物領域ごとに表示形態を異ならせる際には、画像の手前側に位置する人物領域に対応するシルエット画像が優先的に表示されるようにするとよい。なお、生成部２０７は、例えば、画像の奥側に位置する人物領域に対応するシルエット画像に対し、画像の手前側に位置する人物領域に対応するシルエット画像が表側に位置するような出力画像を生成することで優先的な表示を行う。

【0059】

具体的には、まず、検出部２０５は、検出した人物の足元の位置を特定する。例えば、検出部２０５は、検出した人物の全身の画像領域において、最も下部に位置する点を当該人物の足元の位置として特定する。そして、生成部２０７は、より撮像装置１１０に近い人物、例えば、画像の垂直方向のより下側に足元が位置する人物に対応するシルエット画像を優先的に表示するようにする。なお、人物に対応するシルエット画像とは、当該人物に対し設定された人物領域における前景領域を抽象化したシルエット画像とする。なお、生成部２０７は、画像の垂直方向のより上側に足元が位置する人物に対応するシルエット画像に対し、より下側に足元が位置する人物に対応するシルエット画像が表側に位置するような出力画像を生成する。

【0060】

ここで、図３に示すフローを参照して、本実施形態に係る生成部２０７の処理について説明する。本実施形態に係る生成部２０７は、Ｓ３０６にて、設定部２０６により設定された人物領域ごとに、人物領域における前景領域を抽象化したシルエット画像の表示態様を異ならせつつ、シルエット画像を生成する。

【0061】

図６（ｆ）は、上述した本実施形態に係る生成部２０７の処理により生成されたシルエット画像を背景画像に重畳した出力画像の一例を示している。図６（ｆ）に示すように、単独で存在する人物６００に対応するシルエット画像６０９のみならず、混雑領域に存在する複数の人物６０１に対応するシルエット画像６１０であっても各シルエット画像を識別可能な出力画像を生成できる。

【0062】

以上説明したように、本実施形態に係る生成部２０７は、設定部２０６により設定された人物領域ごとに、人物領域における前景領域を抽象化したシルエット画像の表示態様を異ならせた。このようにすることで、複数の人物で混雑するような状況であっても、画像に含まれる人物のプライバシーを保護しつつ、画像に含まれる人物の状況を把握しやすくする。

【0063】

（実施形態３）
実施形態２に係る生成部２０７は、複数の人物で混雑するような状況であっても、画像における人物の状況を把握しやすくするため、設定された人物領域ごとに、人物領域における前景領域を抽象化したシルエット画像の表示態様を異ならせた。

【0064】

本実施形態に係る生成部２０７は、複数の人物で混雑するような状況であっても、画像における人物の状況を把握しやすくするため、次のような処理を実行する。すなわち、本実施形態に係る生成部２０７は、画像における複数の人物で混雑する混雑領域の位置に基づいて、設定された人物領域ごとに、人物領域における前景領域を抽象化したシルエット画像の表示態様を異ならせる。以下、図７を参照して、本実施形態に係る生成部２０７の処理について説明する。なお、実施形態１～２と異なる部分を主に説明し、実施形態１～２と同一または同等の構成要素、および処理には同一の符号を付すとともに、重複する説明は省略する。

【0065】

図７は、本実施形態に係る画像処理装置１００の機能ブロックを示す図である。なお、図７の機能ブロックが示す各機能は、本実施形態において、ＲＯＭ１４２０とＣＰＵ１４００とを用いて、次のようにして実現されるものとする。図７に示す各機能は、画像処理装置１００のＲＯＭ１４２０に格納されたコンピュータプログラムを画像処理装置１００のＣＰＵ１４００が実行することにより実現される。

【0066】

図７における通信部２００、記憶部２０１、表示制御部２０２、操作受付部２０３、抽出部２０４、検出部２０５、設定部２０６の処理は、実施形態１と同様であるため説明を省略する。

【0067】

図７に示す判定部７０８は、画像における混雑領域を判定する。例えば、判定部７０８は、検出部２０５により検出された人物の数に基づいて、画像における混雑領域を判定する。この場合、判定部７０８は、例えば、画像の全体の領域を複数の分割領域に分割し、分割領域毎に検出された人物の数を計数し、人物の数が閾値以上の分割領域を混雑領域として判定する。

【0068】

また、判定部７０８は、例えば、画像から抽出部２０４により抽出された前景領域の位置とサイズに基づいて、混雑領域を判定する。具体的には、判定部７０８は、抽出部２０４により抽出された前景領域のサイズが閾値以上である場合に当該前景領域を混雑領域として判定してもよい。なお、１つの前景領域を、２値画像において前景領域を示す「１」である画素のうち、隣接した画素を連結させることで形成される領域とする。そして、判定部７０８は、画像から複数の前景領域が抽出された場合において、当該複数の前景領域の各々について、前景領域のサイズと、閾値とを比較して、混雑領域である前景領域を判定する。

【0069】

また、判定部７０８は、例えば、画像から抽出部２０４により抽出された前景領域の位置およびサイズと、画像から検出部２０５により検出された人物の数とに基づいて、画像における混雑領域を判定してもよい。具体的には、判定部７０８は、例えば、画像から抽出されたサイズが第１閾値以上の前景領域、または、画像を複数のエリアに分割したときに検出された人物の数が第２閾値以上のエリア、を混雑領域として判定する。

【0070】

そして、本実施形態に係る生成部２０７は、判定部７０８により判定された画像における混雑領域に位置する人物に対し設定された人物領域の各々について、人物領域における前景領域を抽象化したシルエット画像の表示態様を異ならせる。例えば、判定部７０８により、図６に示す人物で混雑した領域６６０を混雑領域として判定する。この場合、生成部２０７は、判定部７０８により混雑領域であると判定された領域６６０に位置する人物に対して設定された人物領域ごとに、人物領域における前景領域を抽象化したシルエット画像の表示態様を異ならせる。人物領域ごとに、人物領域における前景領域を抽象化したシルエット画像の表示態様を異ならせる方法は、実施形態２で説明した内容と同様であるため、説明を省略する。なお、判定部７０８は、例えば、検出された人物の全身の画像領域と混雑領域とが重畳している割合である重畳率が閾値以上である場合、当該人物を混雑領域に位置する人物と判定する。

【0071】

以上説明したように、本実施形態に係る生成部２０７は、判定部７０８により判定された画像における混雑領域の位置に基づいて、設定された人物領域ごとに、人物領域における前景領域を抽象化したシルエット画像の表示態様を異ならせる。このようにすることで、複数の人物で混雑するような状況であっても、画像に含まれる人物のプライバシーを保護しつつ、画像に含まれる人物の状況を把握しやすくする。

【0072】

（実施形態４）
実施形態２に係る生成部２０７は、複数の人物で混雑するような状況であっても、画像における人物の状況を把握しやすくするため、設定された人物領域ごとに、人物領域における前景領域を抽象化したシルエット画像の表示態様を異ならせた。

【0073】

本実施形態に係る画像処理装置１００は、複数の人物で混雑するような状況であっても、画像における人物の状況を把握しやすくするため、次のような処理を実行する。すなわち、本実施形態に係る画像処理装置１００の設定部２０６は、画像に含まれる人物の混雑領域に基づき、形状が異なる人物領域の設定を行う。以下、図７を参照して、本実施形態に係る設定部２０６の処理について説明する。なお、実施形態１～３と異なる部分を主に説明し、実施形態１～３と同一または同等の構成要素、および処理には同一の符号を付すとともに、重複する説明は省略する。

【0074】

図８は、混雑が発生している場合において設定される人物領域の形状を説明する図である。図８に示す人物領域８００は、混雑が発生していない領域において単独で存在する人物８０１に対して設定部２０６により設定された人物領域であって、人物８０１の全身が収まるサイズの人物領域である。なお、本実施形態における人物領域は、便宜的に、図５に示す楕円５００の形状とするが、これに限らない。例えば、設定される人物領域としては、図５に示す楕円５００以外の他の形状であってもよい。

【0075】

ここで、人物領域８００における人物８０１の全身の画像領域を前景領域として抽出部２０４により抽出された場合を想定したとき、生成部２０７は、当該前景領域を抽象化してシルエット画像８０２を生成する。シルエット画像８０２が示すように、混雑が発生してない領域における人物に対し設定された人物領域において、前景領域を抽象化したシルエット画像は、人物の形状が比較的分かり易い。

【0076】

一方、人物領域８１０は、混雑領域（図６に示す領域６６０等）に存在する人物８１１および人物８１２のうち人物８１２に対して設定された人物領域であり、人物領域８００と同じ形状の人物領域である。人物８１２の全身の画像領域と人物８１１の全身の画像領域とを前景領域として抽出部２０４により抽出された場合を想定したとき、生成部２０７は、人物８１２に対し設定された人物領域８１０における前景領域を抽象化してシルエット画像８１３を生成する。ここでは、人物８１２の背後に位置する人物８１１が人物領域８１０に一部入り込んでしまった結果、人物８１１の一部がシルエット画像として生成されてしまう例を示している。シルエット画像８１３が示すように、混雑が発生している領域における人物に対し設定された人物領域において、前景領域を抽象化したシルエット画像は、人物の形状として不自然な形状が表示されてしまい、ユーザによって見にくくなってしまうことがある。

【0077】

人物領域８２０は、混雑領域に存在する複数の人物８２１および人物８２２のうち人物８２２に対し設定部２０６により設定された人物領域である。また、人物領域８２０は人物領域８００および人物領域８１０と比較して、水平方向の幅を所定の倍率だけ縮小した人物領域の一例を示している。人物８２１の全身の画像領域と人物８２２の全身の画像領域とを前景領域として抽出部２０４により抽出された場合を想定したとき、生成部２０７は、人物８２２に対し設定された人物領域８２０における前景領域を抽象化してシルエット画像８２３を生成する。

【0078】

人物領域８２０のように、混雑領域に存在する人物８２２に対しては、本実施形態に係る設定部２０６は、水平方向の幅を所定の倍率だけ縮小した人物領域を設定する。例えば、図７に示す判定部７０８は、画像における混雑領域を判定し、設定部２０６は、判定部７０８により判定された混雑領域に存在する人物の各々に対しては、水平方向の幅を所定の倍率だけ縮小した人物領域を設定する。このとき、例えば、判定部７０８が、画像を複数のエリアに分割し、エリア毎に検出された人物の数を計数し、人物の数が閾値を超えるエリアを混雑領域として判定する場合を想定する。この場合、設定部２０６は、混雑領域として判定されていないエリアにおいて検出された人物に対しては、実施形態１と同様に予め用意した人物領域を設定する。一方、設定部２０６は、混雑領域として判定されていないエリアにおいて検出された人物に対しては、水平方向の幅を所定の倍率だけ縮小した人物領域を設定する。

【0079】

また、判定部７０８が、画像から抽出部２０４により抽出された前景領域の位置とサイズに基づいて、混雑領域を判定する場合を想定する。具体的には、判定部７０８が、抽出部２０４により抽出された前景領域のサイズが閾値以上である場合に当該前景領域を混雑領域として判定する場合を想定する。この場合、設定部２０６は、閾値以上のサイズの前景領域に位置する人物（例えば、当該前景領域に包含されるよう位置する人物）に対しては、水平方向に所定の倍率縮小した人物領域を設定する。

【0080】

また、判定部７０８が、画像から抽出部２０４により抽出された前景領域の位置およびサイズと、画像から検出部２０５により検出された人物の数とに基づいて、画像における混雑領域を判定する場合を想定する。具体的には、判定部７０８が、例えば、画像から抽出されたサイズが第１閾値以上の前景領域、または、画像を複数のエリアに分割したときに検出された人物の数が第２閾値以上のエリア、を混雑領域として判定する場合を想定する。この場合、設定部２０６は、そのように判定した混雑領域において検出された人物に対し、水平方向の幅を所定の倍率だけ縮小した人物領域を設定する。

【0081】

以上説明したように本実施形態に係る設定部２０６は、判定部７０８により判定された画像における混雑領域に存在する人物（図８に示す人物８２２等）に対しては、水平方向に所定の倍率だけ縮小した人物領域を設定する。このように設定した人物領域における前景領域を抽象化したシルエット画像は、本来の人物の形状が削られたシルエット画像となることがある。しかしながら、そのようなシルエット画像は、当該人物の近傍に位置する他の人物の一部が混入したシルエット画像となることを抑制することができる。また混雑領域に存在する複数の人物の各々に対し、同様の処理を実行することで、複数の人物で混雑するような領域であっても、画像における人物の各々を個別に把握しやすくすることができる。

【0082】

（実施形態５）
実施形態２では、複数の人物で混雑するような状況であっても、画像における人物の状況を把握しやすくするため、設定された人物領域ごとに、人物領域における前景領域を抽象化したシルエット画像の表示態様を異ならせる実施形態について説明した。

【0083】

本実施形態における生成部２０７は、画像における人物の移動状況に応じて、当該人物に設定された人物領域における前景領域を抽象化したシルエット画像の表示態様を異ならせる。

【0084】

以下本実施形態に係る画像処理装置１００の処理について説明する。なお、実施形態１～４と異なる部分を主に説明し、実施形態１～４と同一または同等の構成要素、および処理には同一の符号を付すとともに、重複する説明は省略する。

【0085】

本実施形態に係る検出部２０５は、画像から人物を検出する処理に加え、更に、画像に含まれる人物を追尾する。例えば、判定部７０８は、現在のフレーム（現在フレーム）よりも１つ以上フレーム前のフレームの画像から検出した人物と同じ人物を着目フレームの画像から検出した場合、それぞれのフレームにおける人物同士を対応づける。すなわち、時間的に近い複数のフレームの画像間で人物を追尾する。

【0086】

検出部２０５が複数のフレームの画像にわたって同じ人物であると判断する方法として、例えば、検出された人物の移動ベクトルを用いて人物の移動予測位置と検出した人物位置とが一定距離内であれば同一人物であるとする方法がある。また、検出部２０５は、人物の色、形状、大きさ（画素数）等を用いて、複数のフレームの画像間で相関の高い人物を対応付けてもよい。このように、検出部２０５は、複数のフレームの画像にわたって同じ人物であると判断して、当該人物を追尾できればよく、特定の方法に限定されるものではない。

【0087】

本実施形態に係る判定部７０８は、検出部２０５により追尾される人物の移動の状況（移動状況）を判定する。なお、人物の移動状況としては、例えば、当該人物の移動速度や、当該人物の移動の有無などがある。ここで、判定部７０８は、検出部２０５により追尾される人物の移動速度を判定する場合を想定する。この場合、判定部７０８は、撮像装置１１０が画像を撮像するフレームレートと、検出部２０５により追尾される人物の画像における位置の変化とに基づき、当該人物の移動速度を判定する。

【0088】

また、判定部７０８は、検出部２０５により追尾される人物の移動の有無を判定する場合を想定する。この場合、判定部７０８は、検出部２０５により追尾される人物について、現在のフレームにおける当該人物の位置と、１つ前のフレームにおける当該人物の位置とを比較し、当該人物の移動距離を算出する。そして、判定部７０８は、算出した移動距離と閾値とを比較し、当該人物の移動の有無を判定する。具体的には、判定部７０８は、算出した移動距離が閾値以上である場合、当該人物は移動していると判定し、算出した移動距離が閾値未満である場合、当該人物は移動していないと判定する。

【0089】

また、人物の移動の有無を判定する他の方法としては、複数の入力画像のフレーム間差分に基づく方法を用いてもよい。例えば、判定部７０８は、人物領域と、フレーム間差分により特定される動体領域のサイズとに基づいて、人物の移動の有無を判定する。具体的には、判定部７０８は、例えば、人物に対し設定された人物領域と、動体領域とが重畳している割合である重畳率が閾値以上である場合、当該人物は移動していると判定する。一方、判定部７０８は、人物に対し設定された人物領域と、動体領域との重畳率が閾値未満である場合、当該人物は移動していない判定する。なお、動体領域を特定する方法としては、抽出部２０４により背景画像を用いて抽出された前景領域を動体領域として特定してもよい。なお、人物の移動の有無を判定する処理は、画像を複数に分割して得られる分割領域ごとに行ってもよい。

【0090】

本実施形態に係る生成部２０７は、判定部７０８により判定された人物の移動状況に基づき、当該人物に設定された人物領域における前景領域を抽象化したシルエット画像の表示態様を異ならせる。例えば、生成部２０７は、判定部７０８により判定された人物の移動速度に基づき、当該人物に設定された人物領域における前景領域を抽象化したシルエット画像の表示態様を異ならせる。また、例えば、生成部２０７は、判定部７０８により判定された人物の移動の有無に基づき、当該人物に設定された人物領域における前景領域を抽象化したシルエット画像の表示態様を異ならせる。

【0091】

なお、例えば、移動状況に応じて、人物領域における前景領域を抽象化したシルエット画像の表示態様を異ならせる方法としては、次のような処理を行ってもよい。すなわち、生成部２０７は、移動している人物に対し設定された人物領域における前景領域を所定の色で塗りつぶす際には、移動速度に応じて、暖色系の色の中で用いる色を異ならせる。一方、生成部２０７は、移動していない人物に対し設定された人物領域における前景領域を所定の色で塗りつぶす際には、寒色系の色相の中で用いる色を異ならせて表示する。このように、色の大まかな種類（暖色系の色、寒色系の色など）を移動の有無に応じて割り当て、更に、移動速度に応じて、色の大まかな種類の各々において色を異ならせるようにしてもよい。なお、人物領域における前景領域を抽象化したシルエット画像の表示態様を異ならせる方法については、特定の方法に限られず、例えば、実施形態２にて説明したようなシルエット画像の表示態様を異ならせる方法を用いればよい。

【0092】

以上説明したように、本実施形態に係る画像処理装置１００の生成部２０７は、画像における人物の移動状況に応じて、当該人物に設定された人物領域における前景領域を抽象化したシルエット画像の表示態様を異ならせる。このように、人物の移動状況に応じてシルエット画像の表示態様を異ならせることで、画像における人物の行動の様子をより把握しやすくすることが可能となる。

【0093】

（実施形態６）
上述の各実施形態において、図６を参照して説明したように人の重なりが生じている場合であっても個々の人物の表示形態を異ならせることにより、画像に含まれる人物のプライバシーを保護しつつ、画像に含まれる人物の状況を把握しやすくすることができる。

【0094】

本実施形態では、人の重なりが生じている場合において、より明確に個々の人物を区別可能な状態で、画像に含まれる人物のプライバシーを保護しつつ、画像に含まれる人物の状況を把握しやすくする出力画像を生成する方法に関して説明する。なお、実施形態１～５と異なる部分を主に説明し、実施形態１～５と同一または同等の構成要素、および処理には同一の符号を付すとともに、重複する説明は省略する。

【0095】

図９は、本実施形態に関わる画像処理を説明するための図である。図９（ａ）は撮像装置１１０によって撮像された入力画像の一例を示しており、被写体として人物９００～９０３が映っている。

【0096】

図９（ｂ）は、本実施形態において用いられる背景画像の一例を示している。図９（ｃ）に示す人物領域９９０は、本実施形態における人物領域を示しており、検出部２０５により検出された人物が十分に収まる大きさであり、検出された人物の位置に対し設定部２０６により設定される。

【0097】

図９（ｄ）は、実施形態１に係る画像処理によって、生成部２０７により生成されたシルエット画像を背景画像に重畳した出力画像である。具体的には、図９（ａ）に示す入力画像から検出された人物に対して設定部２０６は人物領域９９０を設定する。そして、設定部２０６により設定された人物領域９９０における前景領域を抽象化したシルエット画像を図９（ｂ）に示す背景画像に重畳することで生成部２０７は出力画像を生成する。このようにして生成部２０７により生成された出力画像が図９（ｄ）に示す画像である。

【0098】

ここで、図９（ｄ）では、重なりのある人物のシルエット画像９０５～９０７は各々異なる色を用いて表示形態を異ならせている出力画像の例を示している。これより、図９（ｄ）に示すように、単独で存在する人物９００に対応するシルエット画像９０４のみならず、混雑領域に存在する複数の人物９０１～９０３に対応するシルエット画像９０５～９０７であっても各シルエット画像を識別可能な出力画像を生成できる。

【0099】

図９（ｄ）に示す出力画像をディスプレイ１３０に表示する場合、ディスプレイ１３０の表示性能次第では、似たような色は見た目に区別ができなくなる可能性がある。この場合、多数の人物が映っている画像中では、重なった人物同士の色の差が見えにくくなる可能性がある。また、色の違いにより明示的に表示形態を異ならせる場合において、視覚的に大きく異なる色の組み合わせを使用する必要があるため、使用可能な色数に制約を設ける必要がある。しかし、使用可能な色数に比べ多数の人物が映っている場合には、使用可能な色数が不足してしまい、重なっている人物同士に同じ色が適用されて区別ができなくなる可能性もある。そこで本実施形態では、更に明確な人の区別をつけることが可能な実施形態を説明する。

【0100】

図９（ｅ）は本実施形態の好適な出力画像例を示す図である。図９（ｅ）においては、人物領域毎に表示形態を異ならせるようにする処理に加え、人物領域の外縁であって、前景領域と重複する外縁のみ、人物領域の内部とは異なる表示形態で表示する。

【0101】

本実施形態における人物領域９９０は検出される人物の実際のサイズよりも大きい。そのため、例えば、画像から検出された人物９００に対して人物領域９９０を設定する場合、人物９００から抽出された前景領域と、人物９００に対し設定された人物領域９９０の外縁とは重複しない。一方、人物同士の重なりがある人物９０１～９０３の各々に対して人物領域９９０を設定する場合、人物９０１～９０３の各々から抽出された前景領域と、人物９０１～９０３の各々に対する人物領域９９０の外縁とで重複するラインが存在する。図９（ｅ）に示すライン９０８は、人物９０１～９０３から抽出された前景領域と、人物９０２に対し設定された人物領域９９０の外縁とで重複するライン（以下、重複ライン）である。また、ライン９０９は、人物９０１～９０３から抽出された前景領域と、人物９０３に対し設定された人物領域９９０の外縁とで重複する重複ラインである。本実施形態における生成部２０７は、重複ラインであるライン９０８およびライン９０９の色を、シルエット画像の色と異ならせる。例えば、生成部２０７は、ライン９０８およびライン９０９の色を黒色とし、シルエット画像９０４～９０７の色を黒色以外とする。このように、人物同士の重なりが存在する箇所であるライン９０８およびライン９０９を明示的に示すことで、複数の人物同士が重なった場合でも当該人物同士を容易に区別することができる。

【0102】

なお、本実施形態における人物領域９９０は画像における人物が十分に収まる大きさであるものとして説明したが、これに限るものではない。例えば、多数の人物がいる状態において、実施形態４で説明したように、水平方向の幅を所定の倍率だけ縮小した人物領域を設定する場合を想定する。このような場合、人物同士の重なりが無い人物９００であっても、水平方向の幅を所定の倍率だけ縮小した人物領域が設定されると、人物９００から抽出される前景領域と、人物領域の外縁とで重複する重複ラインが存在する。本実施形態における生成部２０７は、当該重複ラインをシルエット画像と異なる色で表示させる。例えば、生成部２０７は、当該重複ラインを黒、シルエット画像を黒以外の色とする。なお、重複ラインに対する表示形態は人物（人物領域）毎に同じ表示形態にしてもよいし、人物（人物領域）毎に異なる表示形態にしてもよい。或いは、各々の人物の移動の有無や移動方向など特定の同じグループに分類できる人物には同じ表示形態を適用し、グループ毎に異なる表示形態にするなどを行ってもよい。

【0103】

更に、上述の説明においては人物領域毎に内部の色を切り替え、更に人物領域の外縁における重複ラインのみ異なる表示形態にする例を示した。しかし、人物領域の外縁における重複ラインによる区別だけで十分な場合には、人物領域毎に内部の色を切り替える必要はなく、同じ色にしてもよい。或いは、何らかの分類により、同じグループに属する人物には同じ色を人物領域内部に適用し、グループ毎に異なる表示形態にするなどを行ってもよい。

【0104】

（実施形態７）
従来、駅のホームなどを撮像した静止画から電車に乗れそうか否かをユーザが把握したいというケースがある。例えば、事故や災害の発生時に、ホームや駅が人で溢れていて駅に向かっても電車に乗れるのか、それとも、電車に乗れないのかを確認したいという要求がある。このような場合において、画像に含まれる人物を抽象化したシルエット画像を含む静止画１枚からでは、電車に乗れるのか否かの状況を判断することは難しい場合がある。

【0105】

画像に多くの人物が存在する場合であっても当該多くの人物が流動しているとユーザは判別できれば電車に乗れそうだとユーザは判別できるが、静止画１枚からでは当該多くの人物が流動しているとユーザは判別することができない。そのため、ユーザは電車に乗れそうか否かを判別できない。一方、人物が動いているか否かに応じてシルエット画像の色を異ならせる方法により静止画１枚から人物が流動しているかをユーザは判別できる。しかしながら、画像に多くの人物がいる場合、人物同士が重なることで動きの検出に失敗してしまい、結果として人物が流動しているかを判別できず、ユーザは電車に乗れそうか否かを判断できない場合がある。そこで、本実施形態では、人物を抽象化した静止画１枚であっても、駅などで電車に乗れそうかを容易に判別できる出力画像を生成することを目的としている。以下、本実施形態における画像処理について説明するが、実施形態１～６と異なる部分を主に説明し、実施形態１～６と同一または同等の構成要素、および処理には同一の符号を付すとともに、重複する説明は省略する。

【0106】

まず図１０に示す機能ブロックを参照して、本実施形態にかかる画像処理装置１００の画像処理について説明する。なお、図１０に示す各機能は、本実施形態の場合、図１４を参照して後述するＲＯＭ１４２０とＣＰＵ１４００とを用いて、次のようにして実現されるものとする。図１０に示す各機能は、画像処理装置１００のＲＯＭ１４２０に格納されたコンピュータプログラムを画像処理装置１００のＣＰＵ１４００が実行することにより実現される。

【0107】

判定部７０８は、撮像装置１１０によって連続的に撮像された画像中の物体の動きを判定する。例えば、判定部７０８は、通信部２００が連続的に受信した入力画像間のフレーム間差分に基づいて画像中の動き量を判定する。例えば、判定部７０８は、前のフレームの各画素値と、現在のフレームの各画素値とで差分値を算出し、算出した差分値が閾値以上の画素を動きのある画素とし、その動きのある画素の数の合計を動き量とする。動き量の判定は、画像全体で動きの量を判定するようにしてもよい。或いは、画像を複数の領域に分割し、該分割領域毎に動き量を判定するようにしてもよい。更に、判定する内容として、動き量ではなく、実施形態５で説明したように単純に動きの有無を判定するようにしてもよい。例えば、判定部７０８は、画像に含まれる物体を追尾し、前のフレームから現在のフレームまでの当該物体の移動距離を算出する。そして、判定部７０８は、算出した移動距離と閾値とを比較し、移動距離が閾値以上なら移動していると判定し、閾値以下なら移動していないと判定する。

【0108】

また、判定部７０８は、例えば、検出部２０５により検出された特定の物体の位置を、通信部２００が連続的に受信した入力画像間で追尾することで、特定の物体の動きを判定する。動きの判定を行う際には、例えば、画像内に映っている特定の物体の全てを対象に判定を行うようにする。或いは、所定の画像位置毎に選択した代表物体を対象に動きの判定を行い、代表物体の周辺に映っている他の特定の物体の動きに反映する。或いは、画像内を複数の領域に分割し、分割領域内で一つ以上の代表物体を選択して動きの判定を行い、分割領域内に映っている他の特定の物体の動きに反映する。このように代表物体の動きを周辺の特定の物体の動きに反映することにより、追尾や動きの判定処理を削減することが可能になる。

【0109】

調整部１０００は、判定部７０８の判定結果に基づいて、検出部２０５で検出された特定の物体のうち、抽象化してシルエット画像とする特定の物体（抽象化対象）の数を調整する。例えば、判定部７０８の判定の結果から得られた画像内全体の動き量が所定値以上であれば、検出部２０５で検出された人物の全てを抽象化対象とするのでなく、一部の人物を抽象化対象とする。言い換えれば、調整部１０００は、抽象化対象の人物の数を削減する。

【0110】

削減の方法としては、例えば、動き量に基づいて上限数を設定し、検出部２０５で検出された人物の数が上限数を超えていた場合には、上限数までシルエット画像とする人物の数を削減する。上限数の決定方法としては、動き量が多いほど上限数を減らす。なお、動き量が所定以下では上限数を設けないようにしてもよい。

【0111】

更に、調整部１０００における抽象化対象の特定の物体の削減方法における他の好適な例としては、所定の割合で削減する、或いは所定数まで一律に削減するなど他の方法を適用してもよい。また、調整部１０００における抽象化対象としない物体（非抽象化対象）の決定方法としては、画像中の物体の位置がなるべく分散するように非抽象化対象の物体を決定するとよい。非抽象化対象の物体の決定方法としては、例えば、視覚的な影響の大きいと考えられる画像の手前側の物体から遠方の物体に順番に代表物体を設定し、該代表物体に最も近い物体を非抽象化対象とする。これを削減数まで繰り返すことで、画像中の物体を平均的に間引くように抽象化対象の数を削減することが可能になる。或いは、削減物体の決定方法としては、例えば、物体間の距離が近い複数の特定の物体を検索し、該距離が近い複数物体の中から非抽象化対象の物体を決定する。これを削減数まで繰り返すことで、画像中の物体密度の高い領域から非抽象化対象の物体が選択されるため、画像中の物体の密度の偏りを少なくするように抽象化対象とする物体の数を削減することが可能になる。

【0112】

更に、調整部１０００における抽象化対象の物体の削減方法、或いは非抽象化対象の物体の決定方法としては、例えば、画像を複数の領域に分割し、分割領域毎に上述の処理を適用する。このようにすることで、特定の画像領域において検出された物体の削減を他の画像領域と異ならせることが可能になり、撮像場面に応じた抽象化対象の物体の数の調整が可能となる。更に、調整部１０００における物体数の調整方法は上述の方法に限定するものではなく、乱数などを使用してランダムに決定するなど、同様の効果をもたらす他の方法により実現してもよい。

【0113】

生成部２０７は、調整部１０００による調整の結果に基づき、抽象化対象とされた特定の物体に対応する領域を抽象化したシルエット画像を生成する。本実施形態において、生成部２０７は、抽象化対象とされた特定の物体に対し設定された特定領域における前景領域を抽象化したシルエット画像を生成する。そして、生成部２０７は、生成したシルエット画像を背景画像に重畳することで出力画像を生成する。

【0114】

次に、図１１および図１２を参照して、本実施形態に係る画像処理装置１００の画像処理について更に詳細に説明する。図１１は、本実施形態に係る画像処理装置１００の画像処理の流れを示すフローチャートである。また、図１２は、本実施形態に係る画像処理装置１００の画像処理を説明するための図である。

【0115】

なお、図１１に示すフローを実行することで、設定された人物領域における前景領域を抽象化したシルエット画像を、抽象化対象の数の調整を行った後に背景画像に重畳した出力画像を生成することができる。なお、図１１に示すフローの処理は、例えば、ユーザによる指示に従って、開始又は終了するものとする。なお、図１１に示すフローチャートの処理は、撮像装置１１０のＲＯＭ１４２０に格納されたコンピュータプログラムを撮像装置１１０のＣＰＵ１４００が実行して実現される図２に示す機能ブロックにより実行されるものとする。

【0116】

まず、Ｓ１１０１にて、通信部２００は、撮像装置１１０が撮像した画像（入力画像）を受信する。図１２（ａ）は、通信部２００が受信する入力画像の一例を示す図である。図１２（ａ）に示す画像には、複数の人物が含まれている。

【0117】

次に、Ｓ１１０２にて、抽出部２０４は、背景画像を取得する。図１２（ｂ）は、Ｓ１１０２にて抽出部２０４により取得される背景画像の一例を示す図であり、図１２（ａ）に示す画像との差異は、人物１２０１～１２０９の有無である。

【0118】

次に、Ｓ１１０３にて、抽出部２０４は、撮像された入力画像から前景領域を抽出する。本実施形態における抽出部２０４は、通信部２００が受信した入力画像と背景画像とを比較することにより、前景領域を抽出する。図１２（ｃ）は、Ｓ１１０３にて、抽出部２０４により、図１２（ａ）に示す入力画像と、図１２（ｂ）に示す背景画像とを比較することにより抽出された前景領域を含む画像である。図１２（ｃ）に示す前景領域は黒色で示されている。

【0119】

次に、Ｓ１１０４にて、検出部２０５は、照合パターン（辞書）を用いて、入力画像から人物を検出する。図１２に示す例において、検出部２０５は、図１２（ａ）に示す入力画像から、人物１２０１～１２０９を検出する。

【0120】

次に、Ｓ１１０５にて、判定部７０８は、連続して受信した複数の入力画像から検出された人物の動き量を判定する。ここで、駅などにおいて通常の場合であれば人が歩行している場面を撮像すると、人物の動きが検出される。一方、駅に入場規制がかかっている場合、多くの人が動けない状況で行列を形成することになるため、検出部２０５では、所定未満の人物の動きしか検出されない。このように、画像内の動きの量を人の流れが滞留している可能性を示唆している情報（滞留可能性情報）であるとする。

【0121】

次に、Ｓ１１０６にて、調整部１０００は、Ｓ１１０５において判定した人物の動きに基づいて、検出された人物１２０１～１２０９のうち抽象化対象とする人物の数の調整を行う。例えば、調整部１０００は、Ｓ１１０５で判定された動き量が所定値以上であれば、検出部２０５で検出された人物の全てを抽象化対象とするのでなく、一部の人物を抽象化対象とする。

【0122】

調整部１０００が行う調整内容の具体例としては、滞留が発生している可能性が低い場合には、後述する出力画像において人が動ける空間が十分にあることを視覚的にわかりやすくするために、抽象化対象とする人物の削減を行う。このようにすることで、混雑が発生しているものの、滞留状態にはなっていないことを、後述する出力画像に反映させることが可能となる。

【0123】

一方、滞留が発生している可能性が高い場合には、後述する出力画像において実際の状況を視覚的にわかりやすくするため、抽象化対象とする人物の削減を行わないようにする。或いは、滞留の発生している可能性に応じて削減割合を変更する。ここで、判定部２０６において、滞留が発生している可能性が高いと判断された場合であっても、実際には混雑が発生しているとは限らない。しかし、この場合であっても抽象化対象とする人物が削減されないだけであり、混雑が発生していない実際の状況を、後述する出力画像に反映させることが可能となる。

【0124】

次に、Ｓ１１０７にて、設定部２０６は、検出部２０５により検出され、更に調整部１０００において人数調整が行われた結果得られた人物の位置、及び大きさに基づいて、人物に対応する形状の領域である人物領域を設定する。つまり、設定部２０６は、抽象化対象とされた人物に対し人物領域を設定する。

【0125】

次に、Ｓ１１０８にて、生成部２０７は、設定部２０６により設定された人物領域における前景領域を抽象化したシルエット画像を生成する。

【0126】

次に、Ｓ１１０９にて、生成部２０７は、Ｓ１１０８において生成したシルエット画像を、背景画像に重畳した出力画像を生成する。図１２（ｄ）に示す画像は、調整部１０００において人数の調整が行われなかった場合に、生成部２０９において生成される出力画像の例であり、検出部２０５において検出された人物の動きが少なかった場合に対応している。一方、図１２（ｅ）は、調整部１０００で人数の調整を行った場合に生成部２０７において生成される出力画像の例であり、検出部２０５において検出された人物の動きが多かった場合に対応している。

【0127】

図１２（ｅ）に示すように、抽象化対象とする人物の数の調整が行われた結果人物が間引かれた場合、シルエット画像中の人物間に隙間が多くなる。その結果、図１２（ｅ）に示す画像からは、あまり混雑していない様子を表示することが可能になる。図１２（ｅ）に示す画像は実際の検出人数を反映していないものの、撮像領域は人が動くことが可能であることを一目でわかりやすい形で閲覧者に提示することが可能となるため、例えば駅に入場できないような状況にはなっていないことが容易に判断可能となる。

【0128】

一方、図１２（ｄ）に示すように、抽象化対象とする人物の数の調整が行われた結果人物が間引かれなかった場合、シルエット画像中の人物間の隙間は検出部２０５の検出結果に基づいて決定される。ここで、調整部１０００において人数の変更が行われなかった場合であっても、撮像範囲内にいる人数が少なかった場合には検出部２０５で検出される人数は少ないため、結果として人物間に隙間の多いシルエット画像が生成されることになる。一方、撮像範囲内に多くの人物が存在していた場合、検出部２０５で検出される人数が多くなり、結果として人物間に隙間が少ないシルエット画像が生成されることになる。人物間に隙間が少ない画像が閲覧者に提示された場合、閲覧者は混雑している様子をシルエット画像から確認することができる。

【0129】

次に、Ｓ１１１０にて、表示制御部２０２は、生成部２０７により生成された出力画像を出力する。なお、本実施形態において、表示制御部２０２は、生成部２０７により生成された出力画像をディスプレイ１３０に表示させる。

【0130】

次に、Ｓ１１１１にて、ユーザにより処理を終了する指示がある場合（Ｓ１１１１にてＹｅｓ）、処理を終了する。一方、ユーザにより処理を終了する指示がない場合（Ｓ１１１１にてＮｏ）、Ｓ１１０１へ戻り、通信部２００は次のフレームの画像（入力画像）を受信する。

【0131】

なお上述の説明においては、背景差分法により前景領域を抽出し、人物領域における前景領域を抽象化したシルエット画像を背景画像に重畳させることで出力画像を生成したが、これに限定されるものではない。例えば、入力画像にエッジ抽出処理を施して得られたエッジ成分を、検出部２０５により検出された人物の位置に基づいて切り出すことにより得られるエッジをシルエット画像として用いてもよい。或いは、検出部２０５により検出された人物の領域の輪郭線をシルエット画像として用いてもよい。或いは、該輪郭線の内部領域を塗りつぶした結果得られる塗りつぶし画像をシルエット画像として用いてもよい。或いは、検出部２０５により検出された入力画像における人物の位置に対応する背景画像における位置に当該人物の存在を示すアイコンを重畳してもよい。つまり、人物の存在を示すアイコンをシルエット画像として用いてもよい。その他、人数調整が適用可能なシルエット画像の生成方法であれば、いかなる方法を適用してもよい。

【0132】

更に、上述の例を適用する際には、入力画像全体に同一の処理を行うのみならず、入力画像を複数領域に分割して、分割領域毎に異なる抽象化対象とする人物の数の調整を行うようにしてもよい。

【0133】

以上説明したように、本実施形態に係る画像処理装置によれば、人の動きの量に応じて閲覧者が見る画像中の様子を異ならせることが可能になる。その結果、人が動けないような混雑状況が発生している場合には混雑している様子を示す画像を提示することが可能になる。一方混雑してはいるものの、電車の乗り降りなどにより人が動いている状況であれば、人が動ける状況である様子を示す画像を提示することが可能になる。このようにすることで、本実施形態では、人物を抽象化した静止画１枚であっても、駅などで電車に乗れそうかを容易に判別できる出力画像を生成することができる。なお、画像中の人の動き方は撮像したカメラの設置場所や設置方法によって異なるため、同じ動き量が得られた場合であってもカメラの設置場所、或いは駅によって異なる対応が必要になる場合がある。そのため、Ｓ１１０５において判定した人物の動きに加え、所定の判断基準に基づいて判定を行うようにし、当該判定結果に基づいてＳ１１０６の調整を行うようにしてもよい。

【0134】

（実施形態８）
実施形態７においては、検出された特定の物体の動きを滞留可能性情報とし、該滞留可能性情報に基づいて、抽象化対象とする特定の物体の数の調整を行った後に、シルエット画像の生成を行う例を示した。本実施形態においては、特定の物体の動き以外の情報を滞留可能性情報として該特定の物体の数の調整を行い、シルエット画像の生成を行う例を説明する。以下、実施形態１～７と異なる部分を主に説明し、実施形態１～７と同一または同等の構成要素、および処理には同一の符号を付すとともに、重複する説明は省略する。

【0135】

プラットホーム、駅、博物館、美術館、ショッピングモール、スタジアムなどの人が集まる施設のような場所においては、何らかの理由により人が殺到して円滑な利用が困難になる場合がある。このような場合、円滑な利用が困難になったことを示す情報（利用情報）が発せられる。利用情報の具体例としては、電車など交通機関の運行情報（遅延の発生の有無、遅延時間、運転再開までの予想時間など）、プラットホームや駅、博物館など施設への入場規制の有無の情報、施設への入場待ち時間の情報などが挙げられる。そして、該利用情報が発信された場合には、円滑な利用ができなくなっている可能性があることから、滞留が発生する可能性がある。特に、待ち時間が長くなることを示す情報が発信された場合には、時間の経過とともに混雑度合が増えてゆき、最終的には人の滞留につながる可能性がある。そこで、本実施形態においては、該利用情報を滞留可能性情報として、調整部１０００により調整を行う例を示す。

【0136】

以下、図１３を参照して、本実施形態に係る画像処理について説明する。なお、図１３に示すＳ１１０１～Ｓ１１０４までの処理は図１１で説明した内容と同様であるため説明を省略する。図１３においてＳ１３００にて、通信部２００は、上述の利用情報を受信する。なお、Ｓ１３００にて、本実施形態における通信部２００は、利用情報として運行情報を受信するものとする。次に、Ｓ１３０１にて、調整部１０００は、Ｓ１３００において受信した運行情報に基づいて、検出された人物１２０１～１２０９の一部を抽象化対象とすることで、抽象化対象とする人の数の調整を行う。なお、図１３に示すＳ１１０７～Ｓ１１１１までの処理は図１１で説明した内容と同様であるため説明を省略する。

【0137】

なお、利用情報には様々な種類があるだけでなく、同じ利用情報であってもカメラの設置場所、或いは駅によって異なる対応が必要になる場合がある。例えば、同じ遅延時間の情報を受信した場合でも、駅によって発生する混雑状況は異なる。そのため、Ｓ１３００において受信した利用情報を、所定の判断基準に基づいて判定し、該判定結果に基づいてＳ１３０１の調整を行うようにしてもよい。その結果、同じ利用情報から異なる調整を行った結果に基づくシルエット画像を生成することが可能になる。

【0138】

本実施形態における利用情報に基づく調整の例としては、次のような方法がある。すなわち、利用情報が電車の遅延の発生などの運行情報、或いは入場規制中であることを示す情報であった場合、混雑している様子がシルエット画像に反映されるように、抽象化対象とする人物の数の調整は行わないようにする。一方、利用情報が発せられていない、或いは平常時を示す情報の場合には、人数の調整を行うようにする。更に、利用情報に遅延時間や運転再開までの予想時間が含まれていた場合には、該遅延時間、或いは該予想時間が長いほど混雑する可能性が高まるため、人数調整による削減の割合が少なくなるようにする。このように、人が動けないような混雑が発生する可能性が高い場合には、実際の混雑状態を反映したシルエット画像を生成し、人が動ける程度の混雑度合であった場合には人が動けることを容易に把握可能なシルエット画像を生成することが可能となる。なお、本実施例においては上述の利用情報に基づいて、抽象化対象とする人物の数の調整を行う例を示したが、これに限定するものではない。例えば、利用情報に加えて、実施形態７において図１１のＳ１１０５で説明した人物の物体の動きを併せて考慮するようにしてもよい。

【0139】

（実施形態９）
実施形態７～８では、Ｓ１１０６、或いはＳ１３０１において行う調整部１０００による調整の処理として、抽象化対象とする人数を削減する方法について説明した。本実施形態では、他の調整方法について説明する。

【0140】

混雑が発生して人の密度が高くなると人物同士の重なりが増えるため、Ｓ１１０４で行われる人物検出の方法によっては人としての特徴を捉えることが難しくなり、検出される人数が少なくなる場合がある。例えば、照合パターンを用いる場合に、照合する対象の人物領域が隠れてしまう場合などが挙げられる。この場合には、連続する複数の入力画像において、Ｓ１１０３で行われる前景領域の抽出の結果、前景領域の面積が減少していないにもかかわらず検出される人数が少なくなる。そこで、連続する複数の入力画像間において前景領域が減少していないにもかかわらず検出人数が減少した場合には、人物検出が困難な混雑が発生している可能性があると判定し、抽象化対象とする人物の数を増やすように調整する。このようにすることで、人物検出に失敗している人が発生しているにもかかわらず、人が動けないほどの混雑が発生している状況を示すシルエット画像の生成を行うことが可能になる。

【0141】

抽象化対象とする人物の数を増やすように調整を行うかどうかの判定の具体例としては、以下のようにしてもよい。すなわち、調整部１０００は、前景領域が所定面積以上ある場合において、過去の画像における検出人数と前景領域の割合に比べ、検出人数が所定以上減少した場合に、抽象化対象とする人の数を増やす方向で調整すると判定するとよい。なお、該判定の際の検出人数と前景領域の割合は実行時に動的に決定してもよいが、予め測定した結果を固定的に保持しておくようにしてもよい。

【0142】

更に、上述の例においては前景領域を用いて判定を行うようにしたが、本実施形態はこれに限るものではない。例えば、背景画像と入力画像について各々画像中のエッジを検出し、検出されたエッジの類似度によって画像中に発生している変化の大きさを判定する。この変化の大きさが所定以上発生しているにもかかわらず、検出された人数が減少している場合に抽象化対象とする人数を増やす方向で調整を行うようにしてもよい。その他、画像中の時間的な変化を捉えることが可能な方法であればいかなる方法を用いてもよい。

【0143】

また、抽象化対象とする人の数を増やす際の人物挿入方法としては、画像中の変化が発生している位置であって、且つ検出されている人物間の空間が埋まるように人物の位置を決定するとよい。また、増やす人物の大きさは、周囲で検出された人物の大きさに基づいて決定するとよいが、その際に撮像画角の影響で位置によって人の大きさが大きく変化する場合があるため、この変化を考慮するようにしてもよい。更に、増加させる抽象化対象の人数に関しては、前述の検出された人物の隙間が埋まるまで行うようにするとよい。或いは、所定時間内において検出された最大人数まで増加させる、最大人数に対して所定の人数を超えるまで増加させるなど、視覚的に混雑が発生している様子が表現される人数まで増加させるようにする様々な方法が適用可能である。

【0144】

本実施形態で説明したように人数調整を行った後に、前述の実施形態において説明したシルエット画像の生成を行うことにより、様々な状況下においても汎用的に混雑状況を閲覧者が把握可能な画像を生成することが可能になる。

【0145】

（その他の実施形態）
次に図１４を参照して、各実施形態の各機能を実現するための画像処理装置１００のハードウェア構成を説明する。なお、以降の説明において画像処理装置１００のハードウェア構成について説明するが、記録装置１２０および撮像装置１１０も同様のハードウェア構成によって実現されるものとする。

【0146】

本実施形態における画像処理装置１００は、ＣＰＵ１４００と、ＲＡＭ１４１０と、ＲＯＭ１４２０、ＨＤＤ１４３０と、Ｉ／Ｆ１４４０と、を有している。

【0147】

ＣＰＵ１４００は画像処理装置１００を統括制御する中央処理装置である。ＲＡＭ１４１０は、ＣＰＵ１４００が実行するコンピュータプログラムを一時的に記憶する。また、ＲＡＭ１４１０は、ＣＰＵ１４００が処理を実行する際に用いるワークエリアを提供する。また、ＲＡＭ１４１０は、例えば、フレームメモリとして機能したり、バッファメモリとして機能したりする。

【0148】

ＲＯＭ１４２０は、ＣＰＵ１４００が画像処理装置１００を制御するためのプログラムなどを記憶する。ＨＤＤ１４３０は、画像データ等を記録する記憶装置である。

【0149】

Ｉ／Ｆ１４４０は、ネットワーク１４０を介して、ＴＣＰ／ＩＰやＨＴＴＰなどに従って、外部装置との通信を行う。

【0150】

なお、上述した各実施形態の説明では、ＣＰＵ１４００が処理を実行する例について説明するが、ＣＰＵ１４００の処理のうち少なくとも一部を専用のハードウェアによって行うようにしてもよい。例えば、ディスプレイ１３０にＧＵＩ（ＧＲＡＰＨＩＣＡＬ ＵＳＥＲ ＩＮＴＥＲＦＡＣＥ）や画像データを表示する処理は、ＧＰＵ（ＧＲＡＰＨＩＣＳ ＰＲＯＣＥＳＳＩＮＧ ＵＮＩＴ）で実行してもよい。また、ＲＯＭ１４２０からプログラムコードを読み出してＲＡＭ１４０１に展開する処理は、転送装置として機能するＤＭＡ（ＤＩＲＥＣＴ ＭＥＭＯＲＹ ＡＣＣＥＳＳ）によって実行してもよい。

【0151】

なお、本発明は、上述の実施形態の１以上の機能を実現するプログラムを１つ以上のプロセッサが読出して実行する処理でも実現可能である。プログラムは、ネットワーク又は記憶媒体を介して、プロセッサを有するシステム又は装置に供給するようにしてもよい。また、本発明は、上述の実施形態の１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。また、画像処理装置１００の各部は、図１４に示すハードウェアにより実現してもよいし、ソフトウェアにより実現することもできる。

【0152】

なお、上述の各実施形態において、隠蔽対象（抽象化の対象）である特定の物体を人物として説明したが、本発明はこれに限らない。例えば、背景画像上に映っていない物体であって、撮像範囲の状況を把握するために有用な物体であれば人物検出と同様に当該物体検出を行い、上述の処理を適用してシルエット画像を生成して背景画像に重畳した出力画像を生成してもよい。状況の把握に有用な物体としては例えば、邪魔になりやすい旅行用の大きなカバンや、工事個所に設置される進入禁止を示すバリケードなど様々な物体が挙げられる。

【0153】

なお、上述した各実施形態に係る画像処理装置１００の１以上の機能を他の装置が有していてもよい。例えば、各実施形態に係る画像処理装置１００の１以上の機能を撮像装置１１０が有していてもよい。なお、上述した各実施形態を組み合わせて、例えば、上述した実施形態を任意に組み合わせて実施してもよい。

【0154】

以上、本発明を実施形態と共に説明したが、上記実施形態は本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲は限定的に解釈されるものではない。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱しない範囲において、様々な形で実施することができる。例えば、各実施形態を組み合わせたものも本明細書の開示内容に含まれる。

【符号の説明】

【0155】

１００ 画像処理装置
１１０ 撮像装置
２００ 通信部
２０１ 記憶部
２０２ 表示制御部
２０３ 操作受付部
２０４ 抽出部
２０５ 検出部
２０６ 設定部
２０７ 生成部
７０８ 判定部
１０００ 調整部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】