特許 7455545 情報処理装置、情報処理方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-03-15

(45)【発行日】2024-03-26

(54)【発明の名称】情報処理装置、情報処理方法、およびプログラム

(51)【国際特許分類】

   G06T 1/00 20060101AFI20240318BHJP

   H04N 7/18 20060101ALI20240318BHJP

【ＦＩ】

G06T1/00 510

H04N7/18 K

【請求項の数】 10

(21)【出願番号】P 2019180970

(22)【出願日】2019-09-30

(65)【公開番号】P2021056901

(43)【公開日】2021-04-08

【審査請求日】2022-08-29

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100126240

【弁理士】

【氏名又は名称】阿部 琢磨

(74)【代理人】

【識別番号】100223941

【弁理士】

【氏名又は名称】高橋 佳子

(74)【代理人】

【識別番号】100159695

【弁理士】

【氏名又は名称】中辻 七朗

(74)【代理人】

【識別番号】100172476

【弁理士】

【氏名又は名称】冨田 一史

(74)【代理人】

【識別番号】100126974

【弁理士】

【氏名又は名称】大朋 靖尚

(72)【発明者】

【氏名】山本 圭一

【審査官】三沢 岳志

(56)【参考文献】

【文献】特開２００６－０２５０６１（ＪＰ，Ａ）

【文献】特開２０１５－０７５９１４（ＪＰ，Ａ）

【文献】特開２０１６－１１５２１４（ＪＰ，Ａ）

【文献】特開２０１７－２１２６４７（ＪＰ，Ａ）

【文献】特開２００８－２２６１７６（ＪＰ，Ａ）

【文献】特開２０１３－１５７９６８（ＪＰ，Ａ）

【文献】特開２００４－３６４２３４（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１６／０１７１３３２（ＵＳ，Ａ１）

【文献】馬場口 登，権利保護のためのマルチメディア処理，電子情報通信学会技術研究報告，電子情報通信学会，2011年05月23日，Vol.111 No.74，pp.11-16

【文献】Nadia Baaziz et al.，Security and privacy protection for automated video surveillance，2007 IEEE International Symposium on Signal Processing and Information Technology，米国，IEEE，2007年12月15日，pp.17-22

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １／００

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

撮像手段により撮像された撮像画像から前景物体の領域を抽出する抽出手段と、
前記撮像画像における前記前景物体の領域に対応するマスク画像であって、前記前景物体の領域の輝度値に応じて色が異なるマスク画像を生成する生成手段と、
前記生成手段により生成されたマスク画像と、所定の画像とを合成した出力画像を生成する合成手段と、
前記マスク画像の色を決定する際に用いる輝度値の範囲である、第１範囲および前記第１範囲とは異なる第２範囲を設定する設定手段と、を有し、
前記生成手段は、前記前景物体の領域を複数の領域に分割した分割領域の輝度値が前記第１範囲に含まれる場合、当該分割領域に対し前記マスク画像の生成に用いる色として第１の色に決定し、当該分割領域の当該輝度値が前記第２範囲に含まれる場合、当該分割領域に対し前記マスク画像の生成に用いる色として当該第１の色と異なる第２の色に決定し、決定した当該分割領域に対する色を用いて前記マスク画像を生成し、
前記設定手段は、前記撮像画像から特定の色領域を抽出し、抽出された前記色領域の前記分割領域の輝度値のうち最大の輝度値および最小の輝度値に基づき、前記第１範囲および前記第２範囲を設定することを特徴とする情報処理装置。

【請求項2】

撮像手段により撮像された撮像画像から前景物体の領域を抽出する抽出手段と、
前記撮像画像における前記前景物体の領域に対応するマスク画像であって、前記前景物体の領域を複数の領域に分割した分割領域の輝度値に応じて色が異なるマスク画像を生成する生成手段と、
前記マスク画像の生成に用いる色として第１の色が決定された隣接する複数の前記分割領域に対応する小領域のうち、サイズが閾値以下の小領域を特定する特定手段と、
前記生成手段により生成されたマスク画像と、所定の画像とを合成した出力画像を生成する合成手段と、
前記生成手段は、前記分割領域の輝度値が第１範囲に含まれる場合、当該分割領域に対し前記マスク画像の生成に用いる色として前記第１の色に決定し、当該分割領域の当該輝度値が当該第１範囲と異なる第２範囲に含まれる場合、当該分割領域に対し前記マスク画像の生成に用いる色として当該第１の色と異なる第２の色に決定し、決定した当該分割領域に対する色を用いて前記マスク画像を生成するとともに、
前記特定手段により特定された小領域に隣接する複数の分割領域のうち、所定値以上の前記分割領域が前記マスク画像の生成に用いる色として前記第２の色に決定されているか判定し、前記所定値以上の前記分割領域について決定された色が前記第２の色である場合、当該小領域に対応する分割領域に対し前記マスク画像の生成に用いる色を前記第１の色から前記第２の色に補正することを特徴とする情報処理装置。

【請求項3】

撮像手段により撮像された撮像画像から前景物体の領域を抽出する抽出手段と、
前記撮像画像における前記前景物体の領域に対応するマスク画像であって、前記前景物体の領域の輝度値に応じて色が異なるマスク画像を生成する生成手段と、
前記生成手段により生成されたマスク画像と、所定の画像とを合成した出力画像を生成する合成手段と、
前記マスク画像の色を決定する際に用いる輝度値の範囲である、第１範囲および前記第１範囲とは異なる第２範囲を設定する設定手段と、を有し、
前記生成手段は、前記前景物体の領域を複数の領域に分割した分割領域の輝度値が前記第１範囲に含まれる場合、当該分割領域に対し前記マスク画像の生成に用いる色として第１の色に決定し、当該分割領域の当該輝度値が当該第１範囲と異なる前記第２範囲に含まれる場合、当該分割領域に対し前記マスク画像の生成に用いる色として当該第１の色と異なる第２の色に決定し、決定した当該分割領域に対する色を用いて前記マスク画像を生成し、
前記設定手段は、前記撮像画像から抽出されたエッジを挟みこむ前記分割領域の輝度値に応じてグループ化し、前記グループ化されたグループ毎の輝度値に基づき、前記第１範囲および前記第２範囲を設定することを特徴とする情報処理装置。

【請求項4】

前記合成手段は、前記生成手段により生成されたマスク画像と、前記撮像画像とを合成した出力画像を生成することを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。

【請求項5】

撮像手段により撮像された撮像画像から前景物体の領域を抽出する抽出工程と、
前記撮像画像における前記前景物体の領域に対応するマスク画像であって、前記前景物体の領域の輝度値に応じて色が異なるマスク画像を生成する生成工程と、
前記生成工程において生成されたマスク画像と、所定の画像とを合成した出力画像を生成する合成工程と、前記マスク画像の色を決定する際に用いる輝度値の範囲である、第１範囲および前記第１範囲とは異なる第２範囲を設定する設定工程と、を有し、
前記生成工程において、前記前景物体の領域を複数の領域に分割した分割領域の輝度値が前記第１範囲に含まれる場合、当該分割領域に対し前記マスク画像の生成に用いる色として第１の色に決定し、当該分割領域の当該輝度値が前記第２範囲に含まれる場合、当該分割領域に対し前記マスク画像の生成に用いる色として当該第１の色と異なる第２の色に決定し、決定した当該分割領域に対する色を用いて前記マスク画像を生成し、
前記設定工程において、前記撮像画像から特定の色領域を抽出し、抽出された前記色領域の前記分割領域の輝度値のうち最大の輝度値および最小の輝度値に基づき、前記第１範囲および前記第２範囲を設定することを特徴とする情報処理方法。

【請求項6】

撮像手段により撮像された撮像画像から前景物体の領域を抽出する抽出工程と、
前記撮像画像における前記前景物体の領域に対応するマスク画像であって、前記前景物体の領域を複数の領域に分割した分割領域の輝度値に応じて色が異なるマスク画像を生成する生成工程と、
前記マスク画像の生成に用いる色として第１の色が決定された隣接する複数の前記分割領域に対応する小領域のうち、サイズが閾値以下の小領域を特定する特定工程と、
前記生成工程において生成されたマスク画像と、所定の画像とを合成した出力画像を生成する合成工程と、を有し、
前記生成工程において、前記分割領域の輝度値が第１範囲に含まれる場合、当該分割領域に対し前記マスク画像の生成に用いる色として前記第１の色に決定し、当該分割領域の当該輝度値が当該第１範囲と異なる第２範囲に含まれる場合、当該分割領域に対し前記マスク画像の生成に用いる色として当該第１の色と異なる第２の色に決定し、決定した当該分割領域に対する色を用いて前記マスク画像を生成するとともに、前記特定工程により特定された小領域に隣接する複数の分割領域のうち、所定値以上の前記分割領域が前記マスク画像の生成に用いる色として前記第２の色に決定されているか判定し、前記所定値以上の前記分割領域について決定された色が前記第２の色である場合、当該小領域に対応する分割領域に対し前記マスク画像の生成に用いる色を前記第１の色から前記第２の色に補正することを特徴とする情報処理方法。

【請求項7】

撮像手段により撮像された撮像画像から前景物体の領域を抽出する抽出工程と、
前記撮像画像における前記前景物体の領域に対応するマスク画像であって、前記前景物体の領域の輝度値に応じて色が異なるマスク画像を生成する生成工程と、
前記生成工程において生成されたマスク画像と、所定の画像とを合成した出力画像を生成する合成工程と、
前記マスク画像の色を決定する際に用いる輝度値の範囲である、第１範囲および前記第１範囲とは異なる第２範囲を設定する設定工程と、を有し、
前記生成工程において、前記前景物体の領域を複数の領域に分割した分割領域の輝度値が前記第１範囲に含まれる場合、当該分割領域に対し前記マスク画像の生成に用いる色として第１の色に決定し、当該分割領域の当該輝度値が当該第１範囲と異なる前記第２範囲に含まれる場合、当該分割領域に対し前記マスク画像の生成に用いる色として当該第１の色と異なる第２の色に決定し、決定した当該分割領域に対する色を用いて前記マスク画像を生成し、前記設定工程において、前記撮像画像から抽出されたエッジを挟みこむ前記分割領域の輝度値に応じてグループ化し、前記グループ化されたグループ毎の輝度値に基づき、前記第１範囲および前記第２範囲を設定することを特徴とする情報処理方法。

【請求項8】

前記合成工程において、前記生成工程において生成されたマスク画像と、前記撮像画像とを合成した出力画像を生成することを特徴とする請求項５乃至７のいずれか１項に記載の情報処理方法。

【請求項9】

前記合成工程において生成された出力画像を表示手段に表示させる出力工程を更に有することを特徴とする請求項５乃至７のいずれか１項に記載の情報処理方法。

【請求項10】

コンピュータを、請求項１乃至４のいずれか１項に記載された情報処理装置の各手段として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理技術に関する。

【背景技術】

【0002】

監視を目的とした撮像装置の設置が広まる一方で、撮像装置により撮像された撮像画像に映る人物のプライバシーを保護する重要性が高まっている。一般に、撮像画像に含まれる人物のプライバシーを保護する方法として、次のような技術がある。すなわち、撮像画像と背景画像とを比較することで撮像画像中の人物を前景物体の領域として抽出し、抽出した前景物体の領域を隠蔽する画像処理を実行することでプライバシー保護がなされた出力画像を生成する。

【0003】

特許文献１では、背景画像の生成後（更新後）に取得された処理対象画像と背景画像との比較に応じた特定領域（保護領域）に所定の画像（一色の画像）を合成して保護画像を生成する旨の記載が開示されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１６－１１５２１４号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献１では、抽出した前景物体の領域に合成する画像として一色の画像を用いる場合に、前景物体の領域として抽出された人物と人物との境界が判別できないことがある。特に、撮像画像において多くの人物で混雑する場合、当該多くの人物が１つの前景物体の塊として抽出されることがあるため、当該前景物体の領域を一色で塗りつぶすと、個人を特定できなくなるものの、一見して何が映っているのか把握することが困難になる。すなわち、プライバシーの保護はなされるものの、撮像画像における状況を把握することが困難となる。

【0006】

そこで本発明は、プライバシーを保護しつつ、撮像画像における状況を把握しやすくする出力画像を生成することを目的としている。

【課題を解決するための手段】

【0007】

上記課題を解決するために、本発明に係る情報処理装置は、例えば、以下の構成を備える。すなわち、撮像手段により撮像された撮像画像から前景物体の領域を抽出する抽出手段と、前記撮像画像における前記前景物体の領域に対応するマスク画像であって、前記前景物体の領域の輝度値に応じて色が異なるマスク画像を生成する生成手段と、前記生成手段により生成されたマスク画像と、所定の画像とを合成した出力画像を生成する合成手段と、前記マスク画像の色を決定する際に用いる輝度値の範囲である、第１範囲および前記第１範囲とは異なる第２範囲を設定する設定手段と、を有し、前記生成手段は、前記前景物体の領域を複数の領域に分割した分割領域の輝度値が前記第１範囲に含まれる場合、当該分割領域に対し前記マスク画像の生成に用いる色として第１の色に決定し、当該分割領域の当該輝度値が前記第２範囲に含まれる場合、当該分割領域に対し前記マスク画像の生成に用いる色として当該第１の色と異なる第２の色に決定し、決定した当該分割領域に対する色を用いて前記マスク画像を生成し、前記設定手段は、前記撮像画像から特定の色領域を抽出し、抽出された前記色領域の前記分割領域の輝度値のうち最大の輝度値および最小の輝度値に基づき、前記第１範囲および前記第２範囲を設定する。

【発明の効果】

【0008】

本発明によれば、プライバシーを保護しつつ、撮像画像における状況を把握しやすくする出力画像を生成することができる。

【図面の簡単な説明】

【0009】

【図1】システム構成の一例を示す図である。

【図2】情報処理装置の機能ブロックを示す図である。

【図3】マスク画像を生成する処理を説明するための図である。

【図4】階調化の閾値のテーブルを示す図である。

【図5】マスク画像を生成する処理の流れを示すフローチャートである。

【図6】マスク画像を生成する処理を説明するための図である。

【図7】マスク画像を生成する処理の流れを示すフローチャートである。

【図8】階調化の閾値のテーブルを示す図である。

【図9】階調化の閾値を設定する処理を説明するための図である。

【図10】階調化の閾値のテーブルを示す図である。

【図11】階調化の閾値を設定する処理の流れを示すフローチャートである。

【図12】階調化の閾値を設定する処理を説明するための図である。

【図13】マスク画像を生成する処理を説明するための図である。

【図14】マスク画像を生成する処理を説明するための図である。

【図15】各装置のハードウェア構成を示す図である。

【発明を実施するための形態】

【0010】

以下、添付図面を参照しながら、本発明に係る実施形態について説明する。なお、以下の実施形態において示す構成は一例に過ぎず、図示された構成に限定されるものではない。

【0011】

（実施形態１）
図１は、本実施形態におけるシステム構成を示す図である。本実施形態におけるシステムは、情報処理装置１００、撮像装置１１０、記録装置１２０、およびディスプレイ１３０を有している。

【0012】

情報処理装置１００、撮像装置１１０、および記録装置１２０は、ネットワーク１４０を介して相互に接続されている。ネットワーク１４０は、例えばＥＴＨＥＲＮＥＴ（登録商標）等の通信規格に準拠する複数のルータ、スイッチ、ケーブル等から実現される。

【0013】

なお、ネットワーク１４０は、インターネットや有線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、無線ＬＡＮ（Ｗｉｒｅｌｅｓｓ Ｌａｎ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）等により実現されてもよい。

【0014】

情報処理装置１００は、例えば、後述する情報処理の機能を実現するためのプログラムがインストールされたパーソナルコンピュータ等によって実現される。

【0015】

撮像装置１１０は、画像を撮像する装置である。撮像装置１１０は、撮像した画像の画像データと、画像を撮像した撮像時刻の情報と、撮像装置１１０を識別する情報である識別情報とを関連付けて、ネットワーク１４０を介し、情報処理装置１００や記録装置１２０等の外部装置へ送信する。なお、本実施形態に係るシステムにおいて、撮像装置１１０は１つとするが、複数であってもよい。

【0016】

記録装置１２０は、撮像装置１１０が撮像した画像の画像データと、画像を撮像した撮像時刻の情報と、撮像装置１１０を識別する識別情報とを関連付けて記録する。そして、情報処理装置１００からの要求に従って、記録装置１２０は、記録したデータ（画像、識別情報など）を情報処理装置１００へ送信する。

【0017】

ディスプレイ１３０は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）等により構成されており、情報処理装置１００の情報処理の結果や、撮像装置１１０が撮像した画像などを表示する。ディスプレイ１３０は、ＨＤＭＩ（登録商標）（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）等の通信規格に準拠したディスプレイケーブルを介して情報処理装置１００と接続されている。

【0018】

また、ディスプレイ１３０は、表示手段として機能し、撮像装置１１０が撮像した画像や、後述する情報処理による結果等を表示する。なお、ディスプレイ１３０、情報処理装置１００、および記録装置１２０の少なくともいずれか２つ又は全ては、単一の筐体に設けられてもよい。また、情報処理装置１００および撮像装置１００は単一の筐体に設けられていてもよい。すなわち、撮像装置１００が後述する情報処理装置１００の機能および構成を有していてもよい。

【0019】

なお、情報処理装置１００の情報処理の結果や、撮像装置１１０により撮像された画像は、情報処理装置１００にディスプレイケーブルを介して接続されたディスプレイ１３０に限らず、例えば、次のような外部装置が有するディスプレイに表示されてもよい。すなわち、ネットワーク１４０を介して接続されたスマートフォン、タブレット端末などのモバイルデバイスが有するディスプレイに表示されていてもよい。

【0020】

次に、図２に示す本実施形態に係る情報処理装置１００の機能ブロックを参照して、本実施形態に係る情報処理装置１００の情報処理について説明する。

【0021】

なお、図２に示す各機能は、本実施形態の場合、図１５を参照して後述するＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１５２０とＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１５００とを用いて、次のようにして実現されるものとする。図２に示す各機能は、情報処理装置１００のＲＯＭ１５２０に格納されたコンピュータプログラムを情報処理装置１００のＣＰＵ１５００が実行することにより実現される。

【0022】

通信部２００は、図１５を参照して後述するＩ／Ｆ（Ｉｎｔｅｒｆａｃｅ）１５４０によって実現でき、ネットワーク１４０を介して、撮像装置１１０や記録装置１２０と通信を行う。通信部２００は、例えば、撮像装置１１０が撮像した画像の画像データを受信したり、撮像装置１１０を制御するための制御コマンドを撮像装置１１０へ送信したりする。なお、制御コマンドは、例えば、撮像装置１１０に対して画像を撮像するよう指示を行うコマンドなどを含む。

【0023】

記憶部２０１は、図１５を参照して後述するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１５１０やＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）１５３０等によって実現でき、情報処理装置１００による情報処理に関わる情報やデータを記憶する。記憶部３０２は、例えば、後述する生成部３０４により生成された背景画像を記憶する。

【0024】

操作受付部２０２は、キーボードやマウス等の入力装置（不図示）を介して、ユーザが行った操作を受け付ける。例えば、操作受付部２０２は、撮像画像から前景物体の領域を抽出する際に用いる背景画像を指定するユーザの操作を受け付ける。

【0025】

設定部２０３は、前景物体の領域に対応するマスク画像を生成する際、当該マスク画像の色を決定する際に用いる輝度値の範囲を設定する。なお、本実施形態における設定部２０３は、予めユーザにより指定された値を輝度値の範囲として設定するものとする。なお、マスク画像の色を決定する際に用いる閾値の詳細な説明については後述する。

【0026】

抽出部２０４は、撮像装置１１０により撮像された撮像画像に含まれる前景物体の領域（以下、前景領域）を抽出する。具体的には、抽出部２０４は、例えば、撮像画像と、背景画像とを比較することにより当該撮像画像に含まれる前景領域を抽出する。本実施形態に係る抽出部２０４による前景領域を抽出する方法として、次のような処理が実行される。すなわち、抽出部２０４は、背景画像に対する差分の領域を示す前景領域を「１」とし、その他の領域を「０」として、前景領域を抽出する。この場合、抽出部２０４は、例えば、背景画像の各画素と撮像画像の各画素とで差分値を算出し、算出した差分値が閾値以上の画素については前景領域を表す「１」を設定し、閾値未満の場合は「０」を設定することで、前景領域を抽出することができる。なお、抽出部２０４による前景領域の抽出に用いられる背景画像は、プライバシー保護の対象（隠蔽対象）とする特定の物体が含まれない画像である。本実施形態の場合、人物が含まれない画像を背景画像として用いる。

【0027】

なお、本実施形態に係る抽出部２０４は、背景画像と撮像画像とを比較する背景差分法により撮像画像に含まれる前景領域を抽出したが、これに限らない。例えば、抽出部２０４は、撮像画像から特定の物体（人物等）を検出し、検出した特定の物体の領域を前景領域として抽出するようにしてもよい。なお、背景画像の生成は、公知の技術を用いてよく、例えば、次のような処理を実行することで背景画像を生成してもよい。すなわち、撮像画像から人物を検出し、検出した人物以外の領域の画像を用いて、背景画像を生成するようにしてもよい。取得した画像内で一定時間前景が写っていないと判断された部分については、背景の当該画素を現在の画素値で更新していく。ただし、背景画像は他の方法により生成されても構わず、現在の状態に近く、動体が写っていない画像が得られれば良い。

【0028】

生成部２０５は、抽出部２０４により抽出された前景領域に対応するマスク画像であって前景領域の輝度に応じて色が異なるマスク画像を生成する。具体的には、生成部２０５は、撮像画像上の前景領域を複数に分割した分割領域ごとにマスク画像を生成するために用いる色を決定し、決定した当該分割領域ごとの色を用いてマスク画像を生成する。本実施形態に係る生成部２０５は、前景領域を複数に分割した分割領域ごとの輝度に応じて、当該分割領域の各々を３種類の色のいずれかで塗りつぶしてマスク画像を生成する。なお、生成部２０５によりマスク画像を生成する処理の詳細な説明は後述する。

【0029】

合成部２０６は、表示手段（ディスプレイ１３０等）に表示させるための出力画像であって、生成部２０５により生成されたマスク画像と、所定の画像とを合成した出力画像を生成する。本実施形態に係る合成部２０６は、例えば、生成部２０５により生成されたマスク画像と、前景領域の抽出に用いる背景画像とを合成した出力画像を生成する。また、これに限らず、合成部２０６は、例えば、生成したマスク画像と、現在処理対象とする撮像画像とを合成した出力画像を生成してもよい。また、合成部２０６は、生成したマスク画像と、前景領域の抽出に用いた背景画像とは異なる他の背景画像とを合成した出力画像を生成してもよい。

【0030】

出力制御部２０７は、合成部２０６により生成された出力画像を外部装置（記録装置１２０、ディスプレイ１３０等）へ出力する。このとき、出力制御部２０７は、例えば、合成部２０６により生成された出力画像をディスプレイ１３０に表示させる。

【0031】

次に、図３および図４を参照して、本実施形態に係る情報処理装置１００の情報処理について説明する。図３（ａ）に示す撮像画像３００ａは、撮影装置１１０により撮像された現在処理対象とする撮像画像である。図３（ａ）に示すように、撮像画像３００ａには、人物３０１～３０３の３人が映っている。次に、図３（ｂ）に示す背景画像３００ｂは、撮像画像３００ａから前景領域を抽出するために用いる背景画像であり、隠蔽対象とする人物は含まれていない。本実施形態に係る抽出部２０４は、撮像画像３００ａと背景画像３００ｂとを比較することで、人物３０１～３０３を前景物体の領域（前景領域）として抽出する。このようにして抽出された前景領域を一色の色で塗りつぶして生成したマスク画像３３１と、背景画像３００ｂとを合成した出力画像を図３（ｃ）に示す。図３（ｃ）に示すように、マスク画像が一色の場合に生成された出力画像３００ｃでは、撮像画像上の人物が誰であるか特定できない、すなわちプライバシーの保護はなされるものの、一見して何が映っているのかがわからない。

【0032】

一方、本実施形態に係る生成部２０５は、前景領域を複数に分割した分割領域ごとの輝度に応じて、３階調化したマスク画像を生成する。言い換えれば、生成部２０５は、前景領域を複数に分割した分割領域ごとの輝度に応じて、当該分割領域の各々を３種類の色のいずれかで塗りつぶしてマスク画像３３１を生成する。そして、合成部２０６は、マスク画像３３２と、背景画像３００ｂとを合成した出力画像３００ｄを生成する。このようにして生成された出力画像３００ｄを図３（ｄ）に示す。

【0033】

ここで、本実施形態に係る生成部２０５による前景領域に対応するマスク画像を生成する処理について説明する。本実施形態において、生成部２０５は、撮像画像上の前景領域に対応するマスク画像を生成するにあたって、３階調化されたマスク画像を生成する。具体的には、生成部２０５は、撮像画像上の前景領域における各画素を分割領域とし、当該前景領域における各画素の輝度に応じて、画素の各々を３種類の色のいずれかで塗りつぶしてマスク画像を生成する。このとき、生成部２０５は、図４に示す、マスク画像を生成する際の階調の区分を示すテーブル４００を参照して、マスク画像を生成する。テーブル４００中の輝度値の列は、撮像画像上の輝度がとりうる範囲を０～２５５としたとき、当該範囲を３つに分割した際の３つの範囲を示す。本実施形態において、第１範囲を０～８５とし、第１範囲と異なる第２範囲を８６～１７０とし、第１範囲および第２範囲と異なる第３範囲を１７１～２５５とする。また、テーブル４００に示す画素値の列は、輝度値４０１の３つの範囲それぞれに対応するマスク画像のＲＧＢ値を示す。

【0034】

生成部２０５は、テーブル４００を参照し、前景領域における各画素のうち、輝度が第１範囲に含まれる画素は第１の色（Ｒ＝０，Ｇ＝８５，Ｂ＝０）に決定する。また、生成部２０５は、前景領域における各画素のうち、第２範囲に輝度が含まれる画素を当該第１の色と異なる第２の色（Ｒ＝０，Ｇ＝１７０，Ｂ＝０）として決定する。また、生成部２０５は、第３範囲に輝度が含まれる画素は第１および第２の色と異なる第３の色（Ｒ＝０，Ｇ＝２５５，Ｂ＝０）として決定する。 図３（ａ）のような撮像画像が入力された場合、人物３０１～３０３の髪の毛は輝度値が０～８５の第１範囲に含まれるため、マスク画像の画素値はＲ＝０，Ｇ＝８５，Ｂ＝０が設定される。また、人物３０２～３０３のズボンも輝度値が０－８５の第１範囲に含まれるため、マスク画像の画素値はＲ＝０，Ｇ＝８５，Ｂ＝０が設定される。人物３０１～３０３の顔や、人物３０１の腕の肌色部分およびズボンは、色に差異があっても輝度値としては８６－１７０の第２範囲に含まれるため、マスク画像の画素値はＲ＝０，Ｇ＝１７０，Ｂ＝０が設定される。人物３０１～３０３のシャツは、輝度値が１７１－２５５の第３範囲に含まれるため、マスク画像の画素値はＲ＝０，Ｇ＝２５５，Ｂ＝０が設定される。

【0035】

また、本実施形態における生成部２０５は、３階調化したマスク画像を生成するものとしたが、これに限らない。例えば、Ｎ諧調化（Ｎは整数）したマスク画像を生成する場合、撮像画像上の輝度がとりうる範囲をＮ個の範囲に分割し、当該Ｎ個の範囲の各々に異なる色を関連付けたテーブルを保持する。そして、生成部２０５は、当該テーブルに基づき、分割領域ごとの輝度に応じて、当該分割領域の各々をＮ種類の色のいずれかで塗りつぶしてマスク画像を生成する。なおこのとき、Ｎの値が大きい場合、言い換えれば、画像上の人物に対応するマスク画像であって、輝度に応じて多くの異なる種類の色を用いたマスク画像が生成される場合、当該人物の目や鼻の形状等が把握できてしまうことがある。そのため、階調化の数は極端に大きくないことが望ましい。なお、階調化の数については、ユーザにより設定されるようにしてもよい。

【0036】

次に図５を参照して本実施形態に係る出力画像を生成する処理について説明する。図５（ａ）に示す処理は、撮像画像から抽出された前景領域に対応するマスク画像を生成し、当該マスク画像と所定の画像とを合成した出力画像を生成する処理である。また、図５（ｂ）に示す処理は、前景領域の輝度に応じて色が異なるマスク画像を生成する処理である。なお、図５に示す処理は、例えば、情報処理装置１００のＲＯＭ１５２０やＨＤＤ１５３０等に格納されたコンピュータプログラムを撮像装置１００のＣＰＵ１５００が実行して実現される図２に示す機能ブロックにより実行されるものとする。

【0037】

ここではまず図５（ａ）に示す処理について説明する。まず、Ｓ５０１にて、通信部２００にて撮像装置１１０が撮像した処理対象とする撮像画像を取得する。

【0038】

次に、Ｓ５０２にて、抽出部２０４は、処理対象の撮像画像から前景物体の領域を抽出する。具体的には、抽出部２０４は、例えば、撮像画像と、背景画像とを比較することにより当該撮像画像に含まれる前景領域を抽出する。次に、Ｓ５０３では、生成部２０５は、Ｓ５０２において抽出部２０４により抽出された前景物体の領域の輝度に応じて色が異なるマスク画像を生成する生成処理を実行する。なお、Ｓ５０３において生成部２０５により実行される生成処理の詳細は図５（ｂ）を参照して後述する。

【0039】

次に、Ｓ５０４にて、合成部２０６は、表示手段に表示させるための出力画像であって、生成部２０５により生成されたマスク画像と、所定の画像とを合成した出力画像を生成する。本実施形態に係る合成部２０６は、例えば、生成部２０５により生成されたマスク画像と、前景領域の抽出に用いる背景画像とを合成した出力画像を生成する。また、これに限らず、合成部２０６は、例えば、生成したマスク画像と、現在処理対象とする撮像画像とを合成した出力画像を生成してもよい。また、合成部２０６は、生成したマスク画像と、前記領域の抽出に用いた背景画像とは異なる他の背景画像とを合成した出力画像を生成してもよい。

【0040】

次に、Ｓ５０５にて、出力制御部２０７は、合成部２０６により生成された出力画像を外部装置（記録装置１２０、ディスプレイ１３０等）へ出力する。このとき、出力制御部２０７は、例えば、合成部２０６により生成された出力画像をディスプレイ１３０に表示させる。

【0041】

ここで図５（ｂ）を参照して、Ｓ５０３にて実行されるマスク画像の生成処理についてより具体的に説明する。まず、Ｓ５１１にて、生成部２０５は、Ｓ５０２において抽出部２０４により抽出された撮像画像における前景領域を構成する複数の画素から、注目対象の画素を決定する。本実施形態において、前景領域を構成する画素であってまだ注目対象としていない画素のうち注目対象とする画素は次のような順番で決定していく。すなわち、まず一番左上の画素から順番に、右方向に走査し、右端に到達したら１つ下の左端の画素に移動し、先と同様に右方向に走査するという順番で注目対象の画素を決定していく。そして、前景領域を構成する画素のうち一番右下の画素に到達したら終了となる。なお、本実施形態では、前景領域を構成する複数の画素から１つを選択するものとしたが、これに限らない。例えば、前景領域を複数の分割領域に分けて当該複数の分割領域から１つの分割領域を選択するようにしてもよい。なおこのとき、分割領域は、少なくとも２つ以上の画素で構成される。

【0042】

次に、Ｓ５１２にて、生成部２０５は、Ｓ５０１で取得した処理対象とする撮像画像において、Ｓ５１１で決定した注目対象の画素の輝度値を取得する。次に、Ｓ５１３にて、生成部２０５は、図４に示すテーブル４００を参照して、マスク画像の色を決定するために用いる輝度値の範囲の情報を取得する。図４に示す例では、生成部２０５は、第１範囲である０～８５の情報、第２範囲である８６～１７０の情報、第３範囲である１７１～２５５の情報を取得する。

【0043】

次に、Ｓ５１４にて、生成部２０５は、注目対象とする画素の輝度値が、Ｓ５１２にて取得した輝度値の複数の範囲のうち、いずれの範囲に含まれるかを判定し、判定結果に応じて注目対象とする画素の色を決定する。例えば、生成部２０５は、注目対象とする画素の輝度値が７０である場合、注目対象の画素の輝度値は第１範囲に含まれるとして、当該画素に対応する色を第１範囲に対応する第１の色（Ｒ＝０，Ｇ＝８５，Ｂ＝０）に決定する。

【0044】

次に、Ｓ５１５にて、生成部２０５は、処理対象から抽出された前景領域のうち全ての画素について注目したかを判定する。そして、処理対象から抽出された前景領域のうち全ての画素について注目していないと判定された場合（Ｓ５１５にてＮｏ）、Ｓ５１１へ遷移し、生成部２０５は、注目対象としていない画素のうち次に注目対象とする画素を決定する。そして、Ｓ５１１にて次に注目対象とされた画素についてＳ５１２～Ｓ５１５の処理が繰り返される。一方、Ｓ５１５にて処理対象から抽出された前景領域のうち全ての画素について注目したと判定された場合（Ｓ５１５にてＹｅｓ）、Ｓ５１６へ遷移する。Ｓ５１６にて、生成部２０５は、前景領域に対応するマスク画像であって、前景領域における画素ごとに決定された色に基づくマスク画像を生成する。すなわち、生成部２０５は、撮像画像における前景物体の領域における画素ごとの輝度に応じて色が異なるマスク画像を生成する。Ｓ５１６にてマスク画像が生成されたのち、図５（ａ）に示すＳ５０４にて、合成部２０６は、生成されたマスク画像と、所定の画像とを合成した出力画像を生成する。そしてＳ５０５にて、出力制御部２０７は、合成部２０６により生成された出力画像を外部装置（記録装置１２０、ディスプレイ１３０等）へ出力する
以上説明したように図５（ｂ）に示す処理が実行されることで、撮像画像における前景物体の領域に対応するマスク画像であって、撮像画像における前景物体の領域の輝度に応じて色が異なるマスク画像を生成する。撮像画像において多くの人物で混雑する場合、当該多くの人物が１つの前景物体の塊として抽出されることがあり、当該前景物体の領域を一色で塗りつぶすと、個人を特定できなくなるものの、一見して何が映っているのか把握することが困難になる。一方、本実施形態のように撮像画像上の輝度に応じて異なる色のマスク画像を生成することにより、前景物体として抽出される人物ごとに輝度が異なるような場合、生成されるマスク画像は個人を特定できないものの複数の人物が存在していることがわかる。すなわち、撮像画像におけるプライバシーを保護しつつ、人物が何人いるかなどの撮像画像における状況を把握することが可能な出力画像を生成することができる。

【0045】

（実施形態２）
実施形態１では、前景領域に対応するマスク画像を生成するにあたって、撮像画像における前景領域の輝度に応じて異なる色のマスク画像を生成した。このとき、例えば、人物が前景領域として抽出された場合、当該人物の顔において肌の領域の輝度値と比較して目、鼻、口など小さな領域の輝度値が低いことがあった。このとき、実施形態１では前景領域に対応するマスク画像を生成する際、前景領域として抽出された人物の顔の領域において、肌の領域に対しマスク画像の色として決定される色と、目、鼻、口に対してマスク画像の色として決定される色とが異なる場合があった。その決定、前景物体として抽出された上記人物に対応するマスク画像は、肌部分の色と、目、鼻、口部分の色とで異なることから、当該人物の表情がわかってしまい結果的にプライバシーを保護できなくなることがあった。そこで、このような課題を解決するために本実施形態では、目、鼻、口など比較的小さく映る領域の色を、当該領域の周囲の色に基づき補正する実施形態について説明する。

【0046】

なお、以下の説明において、実施形態１と異なる部分を主に説明し、実施形態１と同一または同等の構成要素、および処理には同一の符号を付すとともに、重複する説明は省略する。

【0047】

本実施形態に係る生成部２０５は、前景領域の画素の各々についてマスク画像に用いる色を決定したのち、次のような処理を実行する。すなわち、生成部２０５は、第１の色の小領域のサイズが閾値以下であって、当該小領域の周囲の領域に対し決定された色が同一である場合、当該小領域に対し決定された色を第２の色に補正する。

【0048】

図６（ａ）に示す撮像画像６００ａは、撮影装置１１０により撮像された現在処理対象とする撮像画像である。図６（ａ）に示すように、撮像画像６００ａにおいて人物６０１～６０３の３人が映っている。

【0049】

図６（ｂ）は、撮像画像６００ａから前景物体として抽出された人物６０１～６０３の領域（前景領域）に対応するマスク画像であって、当該領域の画素ごとの輝度値に応じて色が異なるマスク画像である。この例では、目や口などの顔の特徴となる部位が顔の肌色部分と違う色となり、人物が誰であるか特定し易い状態になっている。

【0050】

図６（ｃ）は、本実施形態に係る生成部２０５により生成されたマスク画像であって、目や口などのサイズが小さい領域の色が周囲の領域の色で補正されたマスク画像の一例を示している。このように、生成部２０５によれば、目や口など顔の特徴が反映されやすい領域の色が周囲の領域（顔の肌部分）の色で塗りつぶされるため、顔部分に対応するマスク画像が１色となり、誰が映っているのか個人をより特定しにくくすることができる。

【0051】

ここで図７に示すフローチャートを参照して本実施形態に係る情報処理装置１００による情報処理であって、マスク画像を生成し、生成したマスク画像と所定の画像とを合成した出力画像を生成する情報処理について説明する。図７（ａ）に示す処理は、撮像画像から抽出された前景領域に対応するマスク画像を生成し、当該マスク画像と所定の画像とを合成した出力画像を生成する処理である。また、図７（ｂ）に示す処理は、前景領域の輝度に応じて色が異なるマスク画像であって、周囲と比べて色が異なる小さい領域の色が補正されたマスク画像を生成する処理である。なお、図７に示す処理は、例えば、情報処理装置１００のＲＯＭ１５２０やＨＤＤ１５３０等に格納されたコンピュータプログラムを撮像装置１００のＣＰＵ１５００が実行して実現される図２に示す機能ブロックにより実行されるものとする。

【0052】

図７（ａ）に示すＳ５０１～Ｓ５０２の処理は、図５（ａ）を参照して説明した内容と同様であるため説明を省略する。図７（ａ）に示すＳ７０３にて、生成部２０５は、前景領域に対応するマスク画像を生成する生成処理を実行する。ここで、図７（ｂ）を参照して、本実施形態に係る生成部２０５によるマスク画像を生成する生成処理についてより詳細に説明する。

【0053】

図７（ｂ）に示すＳ５１１～Ｓ５１５の処理は、図５（ｂ）を参照して説明した内容と同様であるため説明を省略する。Ｓ７１１にて、生成部２０５は、Ｓ５１４にて前景領域を構成する複数の分割領域ごとに色が決定されたのち、同一の色が決定された隣接する分割領域同士で構成される小領域のうち、サイズが閾値以下の小領域を特定する。本実施形態では、前景領域を構成する複数の画素ごとに色が決定されたのち、同一の色が決定された隣接する画素同士で構成される小領域のうち、サイズが閾値以下の小領域を特定する。そして、サイズが閾値以下の同一色の小領域が特定された場合（Ｓ７１１にてＹｅｓ）、Ｓ７１２へ遷移する。一方、サイズが閾値以下の同一色の小領域が特定されなかった場合（Ｓ７１１にてＮｏ）、Ｓ５１６へ遷移し、Ｓ５１４にて決定された画素ごとの色に基づきマスク画像を生成する。すなわち、Ｓ７１１にてＮｏの場合、実施形態１と同様の処理となる。

【0054】

次に、Ｓ７１２にて、生成部２０５は、Ｓ７１１にて特定された小領域のうち、注目対象とする小領域を決定する。なお、生成部２０５は、複数の小領域が特定された場合、画像の上側により近く、かつ、画像の左側により近い小領域から順番に注目対象として決定していく。

【0055】

次に、Ｓ７１３にて、生成部２０５は、注目対象とする小領域の周囲の領域に対しＳ５１４で決定された色が同一色であるかを判定する。具体的には、生成部２０５は、注目対象とする小領域に隣接する画素に対しＳ５１４で決定された色が同一色であるかを判定する。なお本実施形態では、小領域に隣接する画素に対し決定された色が同一かを判定するが、これに限らない。例えば、小領域に隣接する画素のうち、同一の色の画素数が所定値以上の場合、小領域の周囲の領域に対し決定された色は同一色であると判定するようにしてもよい。この場合、小領域に隣接する画素のうち、同一の色の画素数が所定値未満の場合、小領域の周囲に対し決定された色は同一色でないと判定する。

【0056】

Ｓ７１３にて、注目対象とする小領域の周囲の領域に対し決定された色が同一色である場合（Ｓ７１３にてＹｅｓ）、Ｓ７１４へ遷移する。Ｓ７１４にて、生成部２０５は、小領域に対し決定された色を、周囲の領域の色に変更する。すなわち、生成部２０５は、小領域の周囲の領域に対し決定された色で当該小領域の色を塗り潰したマスク画像が生成されるようにする。例えば、小領域に対し第１の色（Ｒ＝０，Ｇ＝８５，Ｂ＝０）が決定され、当該小領域に隣接する画素に対し第２の色（Ｒ＝０，Ｇ＝１７０，Ｂ＝０）が決定されている場合、生成部２０５は、当該小領域に対し決定された色を第２の色に補正する。

【0057】

Ｓ７１３にて、注目対象とする小領域の周囲の領域に対し決定された色が同一色でない場合（Ｓ７１３にてＮｏ）、Ｓ７１５へ遷移する。Ｓ７１５にて、サイズが閾値以下の全ての小領域を注目対象としていないと判定された場合（Ｓ７１５にてＮｏ）、Ｓ７１２に遷移し、生成部２０５は、次の注目対象とするサイズが閾値以下の小領域を決定する。一方、Ｓ７１５にて、サイズが閾値以下の全ての小領域を注目対象とした場合（Ｓ７１５にてＹｅｓ）、Ｓ５１６へ遷移する。Ｓ５１６にて、生成部２０５は、Ｓ５１４にて決定された色に基づき、または、Ｓ５１４にて決定された色かつＳ７１４にて補正された色に基づき、前景物体の領域に対応するマスク画像を生成する。

【0058】

Ｓ５１６の処理ののち、図７（ａ）に示すＳ５０４にて、合成部２０６は、生成したマスク画像と、所定の画像とを合成した出力画像を生成する。次に、Ｓ５０５にて、出力制御部２０７は、合成部２０６により生成された出力画像を外部装置（記録装置１２０、ディスプレイ１３０等）へ出力する。

【0059】

以上説明したように、本実施形態に係る情報処理装置１００は、第１の色の小領域のサイズが閾値以下であって、当該小領域の周囲の領域に対し決定された色が同一である場合、当該小領域に対し決定された色を第２の色に補正する。このようにすることで、目や口など顔の特徴が反映されやすい領域の色が周囲の領域（顔の肌部分）の色で塗りつぶされるため、顔部分に対応するマスク画像が１色となり、誰が映っているのか個人をより特定しにくくすることができる。

【0060】

（実施形態３）
実施形態１～２では、前景領域に対応するマスク画像を生成するにあたって、マスク画像の色を決定する際に用いる輝度値の範囲を予めユーザにより指定された値を用いた。本実施形態に係る情報処理装置１００では、マスク画像の色を決定する際に用いる輝度値の範囲を、撮像画像の輝度値に基づいて設定する実施形態について説明する。なお、撮像画像に限らず、予めユーザにより用意された画像を用いて輝度値の範囲を決定するようにしてもよい。なお、以下の説明において、実施形態１と異なる部分を主に説明し、実施形態１と同一または同等の構成要素、および処理には同一の符号を付すとともに、重複する説明は省略する。

【0061】

設定部２０３は、取得した撮像画像の輝度値に基づき、前景物体の領域に対応するマスク画像を生成する際、当該マスク画像の色を決定する際に用いる輝度値の範囲を設定する。なお、設定部２０３により輝度値の範囲を設定する設定処理は、任意のタイミングで実行されればよい。例えば、１日を通して撮像画像の輝度変化が小さい場合は、一度だけ輝度値の範囲の設定処理を実行し、設定された輝度値の範囲を使い続けるようにしてもよい。一方、異なる時刻に撮像された複数の撮像画像において輝度変化が大きい場合、例えば、所定数のフレームごとに輝度値の範囲の設定処理を実行し、設定された輝度値の範囲を更新するようにしてもよい。

【0062】

ここで、図８を参照して、本実施形態に係る設定部２０３による輝度範囲の設定処理について説明する。図８は、撮像画像の平均輝度および輝度値の標準偏差に基づいて設定された輝度値の範囲を示す。

【0063】

図８（ａ）は、撮像画像を構成する全ての画素の輝度値の平均値（平均輝度）が１２８、全ての画素の輝度値の標準偏差が８３であった場合の例を示す。ここでは、全画素の平均輝度としたが、撮像画像における一部領域を構成する画素の平均輝度を用いてもよい。本実施形態では、３階調化する場合を例に挙げ、輝度値の範囲の分割点となる閾値（以下、階調化閾値）を下記の計算式で算出する。
階調化閾値１＝平均－標準偏差／２
階調化閾値２＝平均＋標準偏差／２

【0064】

この式に当てはめると、図８（ａ）は、階調化閾値１＝８６、階調化閾値２＝１６９となる。計算式はこれに限らず、輝度値のばらつきや偏りなどの分布状況を考慮して、階調化閾値を算出できればどのような計算式であっても構わない。具体的には、輝度のばらつきに基づいて階調化閾値１と階調化閾値２の間隔を調整し、輝度の偏りに基づいて階調化閾値の大小を設定できればよい。

【0065】

図８（ｂ）は、図８（ａ）にて輝度値の範囲の設定（階調化閾値の設定）に用いられた撮像画像と比較して、輝度値がより小さく、かつ、輝度値の分布が密集している撮像画像を用いて設定された輝度値の範囲の一例である。撮像画像を構成する全画素の平均輝度が６９、全ての画素の輝度値の標準偏差が５６であった場合の例を示す。この場合、前述の式を適用すると、階調化閾値１＝４１、階調化閾値２＝９７となる。これより、平均輝度が低いことに伴い、階調化閾値が低い値となり、また、標準偏差が小さいことに伴って、階調化閾値の間隔も狭くなっている。このため、暗くて輝度分布が狭い前景領域に対しても、適切に階調化閾値を設定でき、階調化したうえでマスク画像を生成することが可能である。なお上述のように、情報処理装置１００は、マスク画像の色を決定する際に用いる輝度値の範囲を上述の式を用いて計算することで求めてもよいが、次のようにして輝度値の範囲を求めてもよい。すなわち、情報処理装置１００は、図８に示すような平均輝度と標準偏差に対応するテーブルを予め複数保持しておき、撮像画像から取得された平均輝度と標準偏差に応じたテーブルを参照して、輝度値の範囲を求めてもよい。

【0066】

以上説明したように、本実施形態に係る情報処理装置１００は、マスク画像の色を決定する際に用いる輝度値の範囲を、処理対象とする撮像画像の輝度値に基づいて決定する。このようにすることで、マスク画像の色を決定する際に用いる輝度値の範囲をより適切な値に設定することができる。

【0067】

（実施形態４）
本実施形態では、撮像画像から抽出されたエッジ情報と、当該エッジの近傍の画素の情報に基づいて、マスク画像の色を決定する際に用いる輝度値の範囲を設定する実施形態について説明する。なお、撮像画像におけるエッジ情報とは、撮像画像に含まれるオブジェクトの境界線となる画素の輝度値と、当該画素と隣り合う画素の輝度値との差分（以下、エッジ強度と呼称する）である。エッジ強度が高いほど、隣り合う画素の輝度値の差分が大きいため、明確な境界であることを示す。

【0068】

以下、本実施形態に係る情報処理装置１００について説明する。なお、以下の説明において、上述した実施形態と異なる部分を主に説明し、上述した実施形態と同一または同等の構成要素、および処理には同一の符号を付すとともに、重複する説明は省略する。

【0069】

図９は、撮像画像から抽出されたエッジ情報と、当該エッジの近傍の画素の情報に基づいて、マスク画像の色を決定する際に用いる輝度値の範囲を設定する設定処理を説明するための図である。図９（ａ）は、撮像画像に映る２人の人物を示している。人物９０１は、人物９０２の前に立っている状態である。画素９０３～９０６は、エッジとなる画素を挟み込む画素である。画素９０３～９０４は、画像の鉛直方向においてエッジを上下に挟み込む画素である。画素９０３は、エッジに対し上部に位置する画素である。画素９０４は、エッジに対し下部に位置する画素である。画素９０５～９０６は、エッジに対して画像の水平方向にエッジを挟み込む画素である。なお、図中の丸のマーク（以下、丸マーク）とバツのマーク（以下、バツマーク）のペア、および、逆三角のマーク（以下、逆三角マーク）とバツマークのペアは、画像の鉛直方向においてエッジを挟み込む画素を示している。また、図中の三角のマーク（以下、三角マーク）と四角のマーク（以下、四角マーク）のペア、および、ひし形のマーク（以下、ひし形マーク）と星型のマーク（以下、星形マーク）のペアは、画像の水平方向においてエッジを挟み込む画素を示している。なお、同記号の場合は、輝度値が略同一の値であるものとする。

【0070】

本実施形態に係る抽出部２０４は、撮像画像からエッジを抽出する。本実施形態では、抽出部２０４は、プレヴィットフィルタやソーベルフィルタなどを用いて撮像画像からエッジを抽出する。なお、エッジを挟み込む画素の輝度値を取得できればよいため、エッジを撮像画像から抽出する方法としては任意の公知技術を用いてよい。また、エッジ強度が低いものを除外しておくと、ノイズや、微小な色の変化などのエッジではない画素を除外することができる。

【0071】

設定部２０３は、撮像画像から抽出されたエッジに対し、図９（ａ）に示すように、撮像画像の鉛直方向および水平方向にエッジを挟みこむ画素の輝度値を取得する。本実施形態では、エッジを挟み込む画素の輝度値と、エッジ強度を取得するものとする。

【0072】

図９（ｂ）は、図９（ａ）で取得したエッジを挟み込む画素の輝度値が近いものをグループ化する。具体的には、エッジを挟み込む画素の輝度値の小さい方の値が近く、かつ大きい方の値も近いものでグループ化する。これにより、エッジを挟み込む画素の輝度値が略同一の画素がグループ化される。本実施形態では、３階調化するため、階調化閾値は２つ必要となる。そのため、画素のグループ数は２とする。グループ数が予め決まっているため、グループ化の手法はＫ－Ｍｅａｎｓ法などを用いればよいが、これに限らない。エッジを挟み込む画素の輝度値９１１は、図９（ａ）の画素９０３（丸マーク）、画素９０４（バツマーク）にあたるものであり、グループ９１２に属する。同じく、本実施形態では、逆三角マークおよびバツマークに対応するエッジを挟み込む画素の輝度値もグループ９１２に属するものとする。一方、エッジを挟み込む画素の輝度値９１３は、図９（ａ）の画素９０５（三角マーク）および画素９０６（四角マーク）にあたるものであり、グループ９１４に属する。同じく、本実施形態では、ひし形マークおよび星形マークとなるエッジを挟み込む画素の輝度値もグループ９１４に属するものとする。

【0073】

図９（ｃ）は、グループ化したエッジを挟み込む画素の輝度値から、階調化閾値を設定する一例を示す図である。９２１は、グループ毎のエッジを挟み込む画素の輝度値の小さい値と、大きい値のそれぞれの平均値を示している。グループ９１２では、エッジを挟み込む画素の輝度値の小さい値の平均値が２１で、大きい値の平均値が６１であったものとする。また、グループ９１４では、エッジを挟み込む画素の輝度値の小さい値の平均値が７９で、大きい値の平均値が１３９であったものとする。９２２は、エッジを挟み込む画素の輝度値の小さい値の平均値と、大きい値の平均値との平均値を求めている。グループ９１２では、エッジを挟み込む画素の輝度値の小さい値の平均値２１と、大きい値の平均値６１の平均である４１が１つ目の階調化閾値となる。グループ９１４では、エッジを挟み込む画素の輝度値の小さい値の平均値７９と、大きい値の平均値１３９の平均である１０９が２つ目の階調化閾値となる。なお、本実施形態では、グループごとに、エッジを挟み込む画素の輝度値の小さい値の平均値である第１平均値と、大きい値の平均値である第２平均値を算出し、当該第１平均値と第２平均値の平均の値である第３平均値を諧調化閾値としたがこれに限らない。例えば、グループごとに、エッジを挟み込む画素の輝度値の小さい値の中央値（第１中央値）と、大きい値の中央値（第２中央値）を算出し、当該第１中央値と当該第２中央値の平均の値を階調化閾値としてもよい。

【0074】

図１０に示すテーブル１０００は、エッジ近傍の画素の輝度値に基づいて設定した階調化閾値が示す輝度値の範囲を示す。テーブル１０００に示すように、第１範囲が０～４１であり、第２範囲が４２～１０９であり、第３範囲が１１０～２５５である。本図は、図９により決定した階調の区分となる。１つ目の諧調化閾値が４１であり、２つ目の諧調化閾値が１０９となっている。

【0075】

図１１は、エッジ近傍の画素情報に基づいて階調化閾値を決定する処理の一例を示すフローチャートである。本フローチャートの処理は、実施形態３と同様、任意のタイミングで実行されればよい。なお、図１１に示す処理は、例えば、情報処理装置１００のＲＯＭ１５２０やＨＤＤ１５３０等に格納されたコンピュータプログラムを撮像装置１００のＣＰＵ１５００が実行して実現される図２に示す機能ブロックにより実行されるものとする。

【0076】

まず、Ｓ１１０１にて、抽出部２０４は、入力画像から注目画素を取得する。注目画素は、当該画像の一番左上の画素から右方向に走査し、右端に到達したら１つ下の左端の画素に移動し、先と同様に右方向に走査するという処理を繰り返す。そして、一番右下の画素に到達したら終了となる。

【0077】

次に、Ｓ１１０２にて、抽出部２０４は、ソーベルフィルタなどの手法を使用し、注目画素のエッジ強度を算出する。この時、ソーベルフィルタの場合は、縦方向と横方向のエッジ強度をそれぞれ取得する。次に、Ｓ１１０３にて、抽出部２０４は、Ｓ１１０２にて算出したエッジ強度が所定値以上の場合、注目画素を縦方向に挟み込む画素の輝度値、横方向に挟み込む画素の輝度値をそれぞれ取得する。このとき、ステップＳ１１０２で算出したエッジ強度と対にして保持しておく。次にＳ１１０４にて、全ての画素を注目対象としていないと判定された場合（Ｓ１１０４にてＮｏ）、Ｓ１１０１へ遷移して次の画素を注目対象として決定する。全ての画素を注目対象としたと判定された場合（Ｓ１１０４にてＹｅｓ）、Ｓ１１０５へ遷移する。次に、Ｓ１１０５にて、ステップＳ１１０３にて残ったエッジを挟み込む画素の輝度値が近いものでグループ化する。次に、Ｓ１１０６にて、グループ毎にエッジを挟み込む画素の輝度値の小さい値の第１平均値、大きい値の第２平均値を算出し、更に第１平均値と第２平均値とを平均した第３平均値を階調化の閾値として設定する。

【0078】

以上説明したように、本実施形態では、入力画像のエッジ情報と、その近傍の画素情報に基づいて階調化閾値を決定する。これにより、オブジェクトの境界が色分けされるような閾値となるため、プライバシーを保護しつつ、撮像画像における状況を把握しやすくする出力画像を生成することができる。

【0079】

（実施形態５）
本実施形態では、撮像画像における肌色領域の画素情報に基づいて、階調化閾値を設定する実施形態について説明する。以下、本実施形態に係る情報処理装置１００について説明する。なお、以下の説明において、上述した実施形態と異なる部分を主に説明し、上述した実施形態と同一または同等の構成要素、および処理には同一の符号を付すとともに、重複する説明は省略する。

【0080】

図１２は、撮像画像から肌色領域を抽出した一例を示す図である。具体的には、抽出部２０４は、例えば、図１２（ａ）に示す撮像画像１２００ａの各画素のＲＧＢにより示される画素値を、ＹＣｂＣｒや、ＨＳＶなどの色空間に変換し、肌色領域を抽出する。図１２（ｂ）は撮像画像１２００ａから抽出部２０４により抽出された肌色領域を示す図である。領域１２１１は人物１２０１の顔部分の領域であり、同様に領域１２１４は人物１２０２の顔部分の領域、領域１２１５は人物１２０３の顔部分の領域である。領域１２１２および領域１２１３は、人物１２０１の腕部分の領域である。このように抽出された肌色領域における各画素の輝度のうち、例えば、最小の輝度値と最大の輝度値をそれぞれ階調化の閾値として設定する。このようにすることで、生成されるマスク画像では、肌色領域とそれ以外の領域が別の色となる。

【0081】

以上説明したように、本実施形態における設定部２０３は、撮像画像から抽出された肌色領域の輝度に基づき、階調化の閾値を設定する。このようにすることで、生成されるマスク画像では、人物の肌の領域と、肌以外の領域とで異なる色のマスク画像となる。このため、例えば重なり合う人物を含む多くの人物を一塊の前景物体の領域として抽出し、当該領域を単色で塗りつぶしたマスク画像と比較して、プライバシーの保護は行いつつ当該多くの人物それぞれを区別可能なマスク画像を生成することが可能である。

【0082】

（実施形態６）
本実施形態では、撮像画像において指定した領域に対応するマスク画像であって、当該領域における輝度に応じて色が異なるマスク画像を生成する実施形態について説明する。なお、以下の説明において、上述の各実施形態と異なる部分を主に説明し、上述の各実施形態と同一または同等の構成要素、および処理には同一の符号を付すとともに、重複する説明は省略する。

【0083】

本実施形態における設定部２０３は、撮像画像において領域を指定する操作を受け付けた場合、撮像画像に対し指定された領域（以下、指定領域）を設定する。そして、本実施形態における生成部２０５は、指定領域に対応するマスク画像であって、当該指定領域内の輝度に応じて色が異なるマスク画像を生成する。図１３に示す出力画像１３００は、本実施形態における生成部２０５により生成されたマスク画像１３０１と、撮像画像とを合成した出力画像を示す。図１３に示す例では、撮像画像におけるベッドを含む領域を指定領域として、当該指定領域に対応するマスク画像が生成されている。

【0084】

図１４に示すフローは、本実施形態における情報処理装置１００によるマスク画像を生成する処理の流れを示すフローである。なお図１４（ａ）および図１４（ｂ）に示す処理は、情報処理装置１００のＲＯＭ１５２０に格納されたコンピュータプログラムを撮像装置１００のＣＰＵ１５００が実行して実現される図２に示す機能ブロックにより実行されるものとする。

【0085】

図１４（ａ）に示すＳ５０１～Ｓ５０２の処理は、実施形態１で説明した内容と同様であるため説明を省略する。Ｓ１４０１にて、生成部２０５は、設定部２０３により設定された撮像画像における指定領域の位置を示す情報を取得する。なお、指定領域の位置は、撮像画像の左上の端点を原点とした場合において、当該指定領域の各頂点のＸＹ座標で示すものとする。次に、Ｓ１４０２にて、生成部２０５は、Ｓ５０２において抽出部２０４により抽出された前景物体の領域および指定領域に対応するマスク画像であって、前景物体の領域および指定領域の輝度に応じて色が異なるマスク画像を生成する生成処理を実行する。ここで、Ｓ１４０２において実行される本実施形態における生成処理について図１４（ｂ）を参照して更に詳細に説明する。

【0086】

Ｓ１４１１にて、生成部２０５は、Ｓ５０２において抽出部２０４により抽出された前景領域または設定部２０３により設定された指定領域に含まれる撮像画像における複数の画素から、注目対象の画素を決定する。Ｓ５１２～Ｓ５１６までの処理は、実施形態１で説明した内容と同様であるため説明を省略する。Ｓ５１６にてマスク画像が生成されたのち、Ｓ５０４にて、合成部２０６は、表示手段に表示させるための出力画像であって、生成部２０５により生成されたマスク画像と、所定の画像とを合成した出力画像を生成する。そして、Ｓ５０５にて、出力制御部２０７は、合成部２０６により生成された出力画像を外部装置（記録装置１２０、ディスプレイ１３０等）へ出力する。なお、本実施形態では、指定領域内の画素と前景領域内の画素の双方を同一処理内で階調化したマスク画像を生成しているが、これらを分離して別々に処理してもよい。

【0087】

以上説明したように、本実施形態における情報処理装置１００では、撮像画像から抽出された前景領域だけでなく、撮像画像上の指定領域についても階調化されたマスク画像を生成する。このようにすることで、前景領域として抽出されない領域についても階調化されたマスク画像を生成することが可能になる。

【0088】

（その他の実施形態）
次に図１５を参照して、各実施形態の各機能を実現するための情報処理装置１００のハードウェア構成を説明する。なお、以降の説明において情報処理装置１００のハードウェア構成について説明するが、記録装置１２０および撮像装置１１０も同様のハードウェア構成によって実現されるものとする。

【0089】

本実施形態における情報処理装置１００は、ＣＰＵ１５００と、ＲＡＭ１５１０と、ＲＯＭ１５２０と、ＨＤＤ１５３０と、Ｉ／Ｆ１５４０と、を有している。

【0090】

ＣＰＵ１５００は情報処理装置１００を統括制御する中央処理装置である。ＲＡＭ１５１０は、ＣＰＵ１５００が実行するコンピュータプログラムを一時的に記憶する。また、ＲＡＭ１５１０は、ＣＰＵ１５００が処理を実行する際に用いるワークエリアを提供する。また、ＲＡＭ１５１０は、例えば、フレームメモリとして機能したり、バッファメモリとして機能したりする。

【0091】

ＲＯＭ１５２０は、ＣＰＵ１５００が情報処理装置１００を制御するためのプログラムなどを記憶する。ＨＤＤ１５３０は、画像データ等を記録する記憶装置である。Ｉ／Ｆ１５４０は、ネットワーク１４０を介して、ＴＣＰ／ＩＰやＨＴＴＰなどに従って、外部装置との通信を行う。

【0092】

なお、上述した各実施形態の説明では、ＣＰＵ１５００が処理を実行する例について説明するが、ＣＰＵ１５００の処理のうち少なくとも一部を専用のハードウェアによって行うようにしてもよい。例えば、ディスプレイ１３０にＧＵＩ（ＧＲＡＰＨＩＣＡＬ ＵＳＥＲ ＩＮＴＥＲＦＡＣＥ）や画像データを表示する処理は、ＧＰＵ（ＧＲＡＰＨＩＣＳ ＰＲＯＣＥＳＳＩＮＧ ＵＮＩＴ）で実行してもよい。また、ＲＯＭ１５２０からプログラムコードを読み出してＲＡＭ１５１０に展開する処理は、転送装置として機能するＤＭＡ（ＤＩＲＥＣＴ ＭＥＭＯＲＹ ＡＣＣＥＳＳ）によって実行してもよい。

【0093】

なお、本発明は、上述の実施形態の機能を実現するプログラムを１つ以上のプロセッサが読出して実行する処理でも実現可能である。プログラムは、ネットワーク又は記憶媒体を介して、プロセッサを有するシステム又は装置に供給するようにしてもよい。また、本発明は、上述の実施形態の１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。また、情報処理装置１００の各部は、図１５に示すハードウェアにより実現してもよいし、ソフトウェアにより実現することもできる。

【0094】

なお、上述した各実施形態に係る情報処理装置１００の１以上の機能を他の装置が有していてもよい。なお、上述した各実施形態を組み合わせて、例えば、上述した実施形態を任意に組み合わせて実施してもよい。

【0095】

以上、本発明を実施形態と共に説明したが、上記実施形態は本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲は限定的に解釈されるものではない。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱しない範囲において、様々な形で実施することができる。例えば、各実施形態を組み合わせたものも本明細書の開示内容に含まれる。

【符号の説明】

【0096】

１００ 情報処理装置
１１０ 撮像装置
２００ 通信部
２０１ 記憶部
２０２ 操作受付部
２０３ 設定部
２０４ 抽出部
２０５ 生成部
２０６ 合成部
２０７ 出力制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】