特許 7483433 情報処理装置、情報処理方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-05-07

(45)【発行日】2024-05-15

(54)【発明の名称】情報処理装置、情報処理方法、およびプログラム

(51)【国際特許分類】

   G06T 7/11 20170101AFI20240508BHJP

   G06T 7/00 20170101ALI20240508BHJP

   H04N 7/18 20060101ALI20240508BHJP

【ＦＩ】

G06T7/11

G06T7/00 660B

H04N7/18 D

H04N7/18 U

【請求項の数】 11

(21)【出願番号】P 2020050713

(22)【出願日】2020-03-23

(65)【公開番号】P2021149747

(43)【公開日】2021-09-27

【審査請求日】2023-03-06

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100090273

【弁理士】

【氏名又は名称】國分 孝悦

(72)【発明者】

【氏名】沼田 真仁

【審査官】長谷川 素直

(56)【参考文献】

【文献】特開２００７－２１３１８１（ＪＰ，Ａ）

【文献】特開２０１６－０１２７５２（ＪＰ，Ａ）

【文献】特開２０１７－０４６１９６（ＪＰ，Ａ）

【文献】特開２０１９－１８６７７７（ＪＰ，Ａ）

【文献】特開２０１９－０９１１３８（ＪＰ，Ａ）

【文献】特開２０２０－０２１１４８（ＪＰ，Ａ）

【文献】特開２０１１－１４１７３２（ＪＰ，Ａ）

【文献】清水啓介（外３名），人体構造を反映したフレキシブルな人物画像の匿名化，情報処理学会研究報告［オーディオビジュアル複合情報処理（ＡＶＭ）］，日本，情報処理学会，2019年02月21日，Vol.2019-AVM-104, No.1，p.1-4

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｈ０４Ｎ ７／１８

Ｇ０８Ｂ ２５／００

(57)【特許請求の範囲】

【請求項1】

撮像手段により撮像された撮像画像から、当該撮像画像に含まれる確認対象物の複数の部分領域を抽出する抽出手段と、
前記抽出手段により抽出された前記複数の部分領域ごとに抽象化の度合いを決定することと、前記抽象化の度合いに基づいて前記複数の部分領域に対する抽象化の順番を決定することと、を行う決定手段と、
前記確認対象物の画像であって、前記部分領域が抽象化された画像を生成する生成手段と、を有し、
前記生成手段は、前記決定手段により決定された抽象化の度合いに従って、前記決定手段により決定された前記抽象化の順番で、前記部分領域を抽象化した画像を生成することを特徴とする情報処理装置。

【請求項2】

前記部分領域に対する前記抽象化の度合いを指定するためのユーザーによる操作入力を受け付ける受け付け手段を更に有し、
前記決定手段は、前記受け付け手段により受け付けられた操作入力の内容に基づいて、前記抽出手段により抽出された複数の部分領域ごとに抽象化の度合いを決定することを特徴とする請求項１に記載の情報処理装置。

【請求項3】

前記生成手段は、前記抽出手段により抽出された２つ以上の部分領域の少なくとも一部が相互に重なる場合、当該重なる領域を、当該２つ以上の部分領域に対する抽象化の度合いのうち、最も高い抽象化の度合いに従って抽象化することを特徴とする請求項１または２に記載の情報処理装置。

【請求項4】

撮像手段により撮像された撮像画像に含まれる前記確認対象物の姿勢を検出する検出手段を更に有し、
前記決定手段は、前記検出手段により検出された前記確認対象物の姿勢に基づいて、前記抽出手段により抽出された前記複数の部分領域ごとに抽象化の度合いを決定することを特徴とする請求項１～３の何れか１項に記載の情報処理装置。

【請求項5】

前記生成手段により生成された画像と、当該画像の領域以外の領域を表示する画像とを合成する合成手段を更に有することを特徴とする請求項１～４の何れか１項に記載の情報処理装置。

【請求項6】

前記抽象化の度合いは、前記部分領域の秘匿の必要性に応じて定められることを特徴とする請求項１～５の何れか１項に記載の情報処理装置。

【請求項7】

前記確認対象物は、人体であることを特徴とする請求項１～６の何れか１項に記載の情報処理装置。

【請求項8】

前記決定手段は、抽象化の度合いが低い前記部分領域から順に、前記複数の部分領域に対する抽象化を行うと決定することを特徴とする請求項１～７の何れか１項に記載の情報処理装置。

【請求項9】

前記生成手段は、先に生成した前記部分領域を抽象化した画像に対し、後に生成した前記部分領域を抽象化した画像を上書きすることを特徴とする請求項８に記載の情報処理装置。

【請求項10】

撮像手段により撮像された撮像画像から、当該撮像画像に含まれる確認対象物の複数の部分領域を抽出する抽出工程と、
前記抽出工程により抽出された前記複数の部分領域ごとに抽象化の度合いを決定することと、前記抽象化の度合いに基づいて前記複数の部分領域に対する抽象化の順番を決定する決定工程と、
前記確認対象物の画像であって、前記部分領域が抽象化された画像を生成する生成工程と、を有し、
前記生成工程では、前記決定工程により決定された抽象化の度合いに従って、前記決定工程により決定された前記抽象化の順番で、前記部分領域を抽象化した画像を生成することを特徴とする情報処理方法。

【請求項11】

請求項１～９の何れか１項に記載の情報処理装置の各手段としてコンピュータを機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、情報処理方法、およびプログラムに関する。

【背景技術】

【0002】

監視を目的とした撮像装置により撮像された撮像画像に映る人物のプライバシーを保護する重要性が高まっている。一方で、プライバシーを保護すると共に、撮像画像に含まれる人物の行動に対して詳細な確認が必要な場合もある。特許文献１には、撮像画像に対して人物（頭部等）の特徴に基づいて人物が写っていると判定される領域（人体枠）を推定し、推定した領域かつ前景領域を前景領域中の人物が写っている領域とする。特許文献１では、前景物体の中でも影や人体が保持する物体を除いて、人体の領域に限定して遮蔽化する。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１９－９２０７６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１では、頭部などの特徴の検出結果に基づいて人体枠を推定する。このため、特許文献１では、頭部などの特徴の検出対象ではない領域の遮蔽化を高精度に実行することが容易ではない。特許文献１では、人物の指の形状を識別して、指と持ち物とを区別して遮蔽化する場合や、足と足元にある物とを区別して遮蔽化する場合に遮蔽化を高精度に実行することは容易ではない。すなわち、特許文献１では、プライバシーの保護はなされるものの、撮像画像に含まれる人物の行動を、詳細に確認することは容易ではない。

【0005】

本発明は、以上の問題点に鑑みてなされたものであり、画像において遮蔽の必要がある領域の確認を不能または困難にすることと、画像から確認が必要である領域を確認し易くすることとの双方を実現することを目的とする。

【課題を解決するための手段】

【0006】

本発明の情報処理装置は、撮像手段により撮像された撮像画像から、当該撮像画像に含まれる確認対象物の複数の部分領域を抽出する抽出手段と、前記抽出手段により抽出された前記複数の部分領域ごとに抽象化の度合いを決定することと、前記抽象化の度合いに基づいて前記複数の部分領域に対する抽象化の順番を決定することと、を行う決定手段と、前記確認対象物の画像であって、前記部分領域が抽象化された画像を生成する生成手段と、を有し、前記生成手段は、前記決定手段により決定された抽象化の度合いに従って、前記決定手段により決定された前記抽象化の順番で、前記部分領域を抽象化した画像を生成することを特徴とする。

【発明の効果】

【0007】

本発明によれば、画像において遮蔽の必要がある領域の確認を不能または困難にすることと、画像から確認が必要である領域を確認し易くすることとの双方を実現することができる。

【図面の簡単な説明】

【0008】

【図1】システムの構成を示す図である。

【図2】情報処理装置のハードウェア構成を示す図である。

【図3】情報処理装置の機能ブロックを示す図である。

【図4】人物の骨格座標を示す図である。

【図5】人体部位領域毎のプライバシー保護ランクを示す図である。

【図6】マスク出力設定の第１の例を説明する図である。

【図7】出力画像の第１の例を示す図である。

【図8A】出力画像を生成する際の処理の第１の例を示すフローチャートである。

【図8B】図８ＡのＳ８０４の詳細な処理を示すフローチャートである。

【図9】マスク出力設定の第２の例を説明する図である。

【図10】出力画像の第２の例を示す図である。

【図11A】出力画像を生成する際の処理の第２の例を示すフローチャートである。

【図11B】図１１ＡのＳ１１０３の詳細な処理を示すフローチャートである。

【発明を実施するための形態】

【0009】

以下、図面を参照しながら、本発明の一実施形態を説明する。なお、以下の実施形態において示す構成は一例に過ぎず、図示された構成に限定されるものではない。

【0010】

（第１の実施形態）
まず、第１の実施形態を説明する。図１は、本実施形態におけるシステムの構成の一例を示す図である。本実施形態では、システムが、人物を監視する監視システムである場合を例示する。本実施形態におけるシステムは、情報処理装置１００、撮像装置１１０、記録装置１２０、およびディスプレイ１３０を有する。

【0011】

情報処理装置１００、撮像装置１１０、および記録装置１２０は、ネットワーク１４０を介して相互に接続されている。ネットワーク１４０は、例えばＥＴＨＥＲＮＥＴ（登録商標）等の通信規格に準拠する、複数のルータ、スイッチ、およびケーブル等から実現される。なお、ネットワーク１４０は、インターネットや有線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、無線ＬＡＮ（Ｗｉｒｅｌｅｓｓ Ｌａｎ）、またはＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）等により実現されてもよい。

【0012】

情報処理装置１００は、例えば、後述する情報処理の機能を実現するためのプログラムがインストールされたパーソナルコンピュータ等によって実現される。

【0013】

撮像装置１１０は、画像を撮像する装置である。撮像装置１１０は、撮像画像の画像データと、撮像画像の撮像時刻の情報と、撮像装置１１０を識別する情報である識別情報とを相互に関連付けて、ネットワーク１４０を介し、情報処理装置１００や記録装置１２０等の外部装置へ送信する。システムが人物の動作を監視する場合、撮像画像は動画像であるのが好ましいが、静止画像であってもよい。なお、本実施形態では、システムに含まれる撮像装置１１０が１つである場合を例示する。しかしながら、複数の撮像装置１１０がシステムに含まれていてもよい。

【0014】

記録装置１２０は、撮像装置１１０により撮像された撮像画像の画像データと、当該撮像画像の撮像時刻の情報と、当該撮像装置１１０を識別する識別情報とを相互に関連付けて記録する。記録装置１２０は、情報処理装置１００からの要求に従って、記録したデータ（画像データ、識別情報など）を情報処理装置１００へ送信する。

【0015】

ディスプレイ１３０は、表示手段として機能し、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）等により構成される。ディスプレイ１３０は、情報処理装置１００の情報処理の結果や、撮像装置１１０が撮像した画像などを表示する。ディスプレイ１３０は、例えば、ＨＤＭＩ（登録商標）（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）等の通信規格に準拠したディスプレイケーブルを介して情報処理装置１００と相互に接続されている。

【0016】

なお、ディスプレイ１３０、情報処理装置１００、および記録装置１２０の少なくとも何れか２つまたは全ては、単一の筐体に設けられてもよい。また、情報処理装置１００および撮像装置１１０は単一の筐体に設けられていてもよい。すなわち、撮像装置１１０が後述する情報処理装置１００の機能および構成を有していてもよい。

【0017】

なお、情報処理装置１００の情報処理の結果や、撮像装置１１０により撮像された画像が表示される表示装置は、情報処理装置１００にディスプレイケーブルを介して接続されたディスプレイ１３０に限定されない。情報処理装置１００の情報処理の結果や、撮像装置１１０により撮像された画像は、ネットワーク１４０を介して接続された外部装置が有するディスプレイに表示されていてもよい。外部装置としては、例えば、スマートフォンや、タブレット端末などのモバイルデバイスが挙げられる。

【0018】

次に、図２を参照して、各実施形態の各機能を実現するための情報処理装置１００のハードウェア構成の一例を説明する。なお、ここでは、情報処理装置１００のハードウェア構成について説明するが、記録装置１２０および撮像装置１１０も同様のハードウェア構成によって実現されるものとする。ただし、撮像装置１１０には、図２に示すハードウェア構成に加えて、画像を撮像し、撮像した画像のデジタル信号を生成するための構成（例えば、撮像ユニット（レンズ、撮像素子、絞りなど）および信号処理回路）が含まれる。

【0019】

本実施形態における情報処理装置１００は、ＣＰＵ２００と、ＲＡＭ２１０と、ＲＯＭ２２０と、ＨＤＤ２３０と、Ｉ／Ｆ２４０と、バス２５０と、を有する。ＣＰＵ２００は、情報処理装置１００を統括制御する中央処理装置である。ＣＰＵ２００の代わりにＭＰＵが用いられてもよい。ＣＰＵは、Ｃｅｎｔｒａｌ Ｐｒｏｃｃｅｓｓｉｎｇ Ｕｎｉｔの頭字語であり、ＭＰＵは、 Ｍｉｃｒｏ Ｐｒｏｃｃｅｓｓｉｎｇ Ｕｎｉｔの頭字語である。ＲＡＭ２１０は、ＣＰＵ２００が実行するコンピュータプログラムを一時的に記憶する。また、ＲＡＭ２１０は、ＣＰＵ２００が処理を実行する際に用いるワークエリアを提供する。また、ＲＡＭ２１０は、例えば、フレームメモリとして機能したり、バッファメモリとして機能したりする。ＲＡＭは、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙの頭字語である。

【0020】

ＲＯＭ２２０は、ＣＰＵ２００が情報処理装置１００を制御するためのプログラムなどを記憶する。ＲＯＭは、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙの頭字語である。ＨＤＤ２３０は、画像データ等を記録する記憶装置である。ＨＤＤは、Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅの頭字語である。Ｉ／Ｆ２４０は、ネットワーク１４０を介して、ＴＣＰ／ＩＰやＨＴＴＰなどに従って、外部装置との通信を行う。Ｉ／Ｆは、Ｉｎｔｅｒｆａｃｅの略である。ＣＰＵ２００、ＲＡＭ２１０、ＲＯＭ２２０、ＨＤＤ２３０、およびＩ／Ｆ２４０は、バス２５０を介して相互に接続される。

【0021】

なお、本実施形態では、ＣＰＵ２００が情報処理装置１００における情報処理を実行する場合を例示するが、ＣＰＵ２００の処理のうち少なくとも一部を専用のハードウェアによって行うようにしてもよい。例えば、ディスプレイ１３０にＧＵＩや画像データを表示する処理は、ＧＰＵで実行してもよい。ＧＵＩは、Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅの頭字語であり、ＧＰＵは、Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの頭字語である。また、ＲＯＭ２２０からプログラムコードを読み出してＲＡＭ２１０に展開する処理は、転送装置として機能するＤＭＡによって実行してもよい。ＤＭＡは、Ｄｉｒｅｃｔ Ｍｅｍｏｒｙ Ａｃｃｅｓｓの頭字語である。

【0022】

次に、図３を参照して、本実施形態に係る情報処理装置１００の情報処理の一例について説明する。図３は、本実施形態に係る情報処理装置１００の機能ブロックの一例を示す図である。なお、図３に示す各機能は、例えば、ＲＯＭ２２０とＣＰＵ２００とを用いて、情報処理装置１００のＲＯＭ２２０に格納されたコンピュータプログラムを情報処理装置１００のＣＰＵ２００が実行することにより実現されるものとする。

【0023】

通信部３００は、例えば、Ｉ／Ｆ２４０によって実現でき、ネットワーク１４０を介して、撮像装置１１０や記録装置１２０と通信を行う。通信部３００は、例えば、撮像装置１１０で撮像された撮像画像の画像データを受信したり、撮像装置１１０を制御するための制御コマンドを撮像装置１１０へ送信したりする。なお、制御コマンドは、例えば、撮像装置１１０に対して画像を撮像するよう指示を行うコマンドなどを含む。

【0024】

記憶部３０１は、例えば、ＲＡＭ２１０やＨＤＤ２３０等によって実現でき、情報処理装置１００による情報処理に関わる情報やデータを記憶する。記憶部３０１は、例えば、後述する検出部３０４により検出された骨格座標や、設定部３０３で設定されたマスク出力設定を記憶する。

【0025】

操作受付部３０２は、キーボードやマウス等の入力装置（不図示）を介して、ユーザーが行った操作入力を受け付ける。設定部３０３は、マスク出力設定を実行する。マスク出力設定は、人体部位領域毎のマスク画像の出力方法の設定である。人体部位領域およびマスク出力設定の詳細については後述する。操作受付部３０２は、例えば、マスク出力設定のために必要なユーザーの操作入力を受け付ける。

【0026】

検出部３０４は、撮像装置１１０により撮像された撮像画像に含まれる人物の人体部位を検出する。例えば、検出部３０４は、深層学習により学習された骨格推論モデルを使って、撮像画像に含まれる人物の骨格座標を人物の人体部位として推論する。骨格推論モデルは、撮像画像を入力して人物の骨格座標を出力する。図４は、人物の骨格座標の一例を人物のシルエットに重ねて可視化して示す図である。本実施形態では、頭部、首、肩、肘、手首、腰、膝、足首の１４箇所の座標４０１～４１４が人物の骨格座標として検出される場合を例示する。なお、本実施形態では、検出部３０４が、深層学習による人物の骨格座標の推論の結果に基づいて、人物の人体部位を検出する場合を例示する。しかしながら、人体部位を検出する方法は、これに限定されない。例えば、検出部３０４は、人物を検出し、検出した人物に対するパターンマッチングを実行することにより、人物の人体部位を検出してもよい。

【0027】

抽出部３０５は、撮像装置１１０により撮像された撮像画像に含まれる人物の人体部位の領域を抽出する。以下の説明ではこの領域を必要に応じて人体部位領域と称する。例えば、抽出部３０５は、撮像装置１１０により撮像された撮像画像と、人物が含まれない画像として記憶されている背景画像とを比較することにより当該撮像画像に含まれる前景領域を抽出する。前景領域を抽出する方法の一例を説明する。まず、抽出部３０５は、背景画像の各画素と撮像画像の各画素との差分値を算出する。そして、抽出部３０５は、算出した差分値が閾値以上の画素を前景領域として抽出する。なお、前景領域の抽出には、公知の技術を用いてよい。また、背景画像は、例えば、特許文献１に記載されているようにして得られる。

【0028】

次に、抽出部３０５は、検出部３０４で検出された骨格座標の各々と、前景領域とを比較して、人物の人体部位領域を抽出する。例えば、抽出部３０５は、肩の座標４０３、４０４と、肘の座標４０５、４０６との間の前景領域を、人体部位領域の一つである上腕の領域として抽出する。また、抽出部３０５は、肘の座標４０５、４０６と手首の座標４０７、４０８との間の前景領域を、人体部位領域の一つである前腕の領域として抽出する。抽出部３０５は、検出部３０４で検出された骨格座標の全てに対して、このような処理を繰り返し実行することにより人体部位領域を抽出する。例えば、抽出部３０５は、撮像画像に含まれる人物の顔、胴体、上腕、前腕、手、大腿、下腿、足の人体部位領域をそれぞれ抽出する。本実施形態では、例えば、人体部位領域が、撮像画像に含まれる確認対象物の複数の部分領域の一例である。

【0029】

なお、抽出部３０５は、骨格座標が検出できなかった人体部位については、人体部位領域を抽出しないのが好ましい。例えば、肘の座標４０５、４０６は検出できても手首の座標が検出できなかった場合、抽出部３０５は、前腕の領域と腕の領域とを抽出しないのが好ましい。

【0030】

また、本実施形態では、抽出部３０５が、前景領域と骨格座標とを使用して人体部位領域を抽出する場合を例示する。しかしながら、人体部位領域を抽出する方法は、これに限定されない。例えば、抽出部３０５は、検出部３０４で検出された骨格座標から、前景領域を使用せずに人体部位領域を抽出してもよい。また、本実施形態では、抽出部３０５は、人体の領域が、顔、胴体、上腕、前腕、手、大腿、下腿、および足の８つの領域に分類されるものとして人体部位領域を抽出する場合を例示する。しかしながら、人体の領域を分類する数は、これら８つの領域に限定されない。後述するように本実施形態では、人体部位領域の単位で遮蔽度が制御される。従って、例えば、同一の人体部位領域に、遮蔽すべき領域と監視したい領域とが混在しないように、どの領域を人体部位領域にするのかを設定するのが好ましい。また、人体部位領域の設定に応じて、どの部位を人物の人体部位（骨格座標）とするのかを設定するのが好ましい。

【0031】

生成部３０６は、抽出部３０５により抽出された人体部位領域に対応するマスク画像を生成する。例えば、生成部３０６は、人体部位領域毎に定められたプライバシー保護ランクと、マスク出力設定とを参照し、人体部位領域毎に遮蔽度の異なるマスク画像を生成する。なお、生成部３０６によりマスク画像を生成する処理の一例の詳細は後述する。

【0032】

合成部３０７は、生成部３０６により生成されたマスク画像と、当該マスク画像の領域以外の領域を表示する画像とを合成した出力画像を生成する。出力画像は、表示手段（ディスプレイ１３０等）に表示される。例えば、合成部３０７は、生成部３０６により生成されたマスク画像と、前景領域の抽出に用いられた背景画像とを合成した出力画像を生成する。また、マスク画像に合成される画像は、これに限定されずない。例えば、合成部３０７は、生成部３０６により生成されたマスク画像と、現在の処理対象の撮像画像とを合成した出力画像を生成してもよい。また、合成部３０７は、生成部３０６により生成されたマスク画像と、前景領域の抽出に用いられた背景画像とは異なる他の背景画像とを合成した出力画像を生成してもよい。

【0033】

出力制御部３０８は、合成部３０７により生成された出力画像を外部装置（記録装置１２０、ディスプレイ１３０等）へ出力する。例えば、出力制御部３０８は、合成部３０７により生成された出力画像をディスプレイ１３０に表示させる。

【0034】

図５は、人体部位領域毎のプライバシー保護ランクの一例を示す図である。図５において、テーブル５００には、人体部位領域とプライバシー保護ランクとが相互に関連付けられて登録されている。図５では、プライバシーの保護ランクを５つに分類する場合を例示する。また、図５では、プライバシー保護ランクが高い（プライバシー保護ランクの値が大きい）ほど、プライバシーの保護の重要度が高い場合を例示する。図５では、プライバシー保護ランクの高い人体部位領域から順に、顔、胴体、上腕および大腿、前腕および下腿、手および足を示す。なお、プライバシー保護ランクの分類数は、５つに限定されない。さらに、プライバシー保護ランクに対応する人体部位領域の定義は、ユーザーにより設定されるようにしてもよい。

【0035】

図６は、設定部３０３で実行されるマスク出力設定の一例を説明する図である。図６（ａ）は、マスク出力設定が実行される際に表示される画面の一例を示す図である。設定部３０３は、ランク指定部６０１と設定確認部６０２とを表示させる。ランク指定部６０１と設定確認部６０２は、例えば、同一の画面に表示される。図６（ａ）において、ランク指定部６０１は、どの人体部位領域をどのような遮蔽度のマスク画像で出力するのかをユーザーが指定するためのＧＵＩである。なお、図６（ａ）では、ランク指定部６０１に対してランク３が指定されている状態を例示する。この状態は、図５に示すプライバシー保護ランクにおいて、ランク１とランク２の人体部位領域を相対的に遮蔽度の低いマスク画像で出力し、ランク３とランク４とランク５の人体部位領域を相対的に遮蔽度の高いマスク画像で出力することを意味する。

【0036】

ユーザーは利用場面に応じて、プライバシーとして保護すべき人体部位領域を指定することができる。例えば、利用場面が店舗であれば、顔だけがマスク画像で出力されれば、プライバシーの保護として十分な場合がある。このような場合、ユーザーは、図６（ａ）に示すランク指定部６０１においてランク５を指定すればよい。一方、介護施設などの居住を伴う施設の居住者を監視する場合には、居住者の着替えなどもあるため、顔だけでなく胴体もマスク画像で出力する必要がある場合がある。このような場合、ユーザーは、図６（ａ）に示すランク指定部６０１においてランク３を指定すればよい。また、全ての人体部位領域をマスク画像で出力しない場合（すなわち、撮像画像をそのまま出力する場合）、ユーザーは、図６（ａ）に示すランク指定部６０１においてマスク出力しないを指定する。図６（ａ）に示す例では、ランク指定部６０１では、以上のようなユーザーによる指定に基づいて、相対的に遮蔽度の低いマスク画像で出力する人体部位領域と、相対的に遮蔽度の高いマスク画像で出力する人体部位領域とが設定される。本実施形態では、操作受付部３０２は、ランク指定部６０１に対するユーザーの操作入力を受け付ける。

【0037】

図６（ａ）において、設定確認部６０２には、ランク指定部６０１に対するユーザーの指定に基づいて、どのようなマスク画像が出力されるのかが可視化して表示される。ランク指定部６０１と設定確認部６０２は、例えば、同一の画面に表示される。図６（ｂ）では、相対的に遮蔽度の低いマスク画像で出力する人体部位領域（前腕、下腿、手、足）を相対的に薄い濃度で表示し、相対的に遮蔽度の高いマスク画像で出力する人体部位領域（顔、胴体、上腕、大腿）を相対的に濃い濃度で表示する場合を例示する。図６（ｂ）は、図６（ａ）に示すランク指定部６０１に対するユーザーの指定に基づくマスク出力設定により記憶部３０１に記憶されるテーブル６１０の一例を示す。本実施形態では、設定部３０３が、ランク指定部６０１に対してユーザーにより指定されたランクをテーブル６１０に記憶することにより、マスク出力設定が実行される。本実施形態では、マスク出力設定により、どの人体部位領域をどのような遮蔽度のマスク画像で出力するのかが決定される。

【0038】

図７は、出力制御部３０８により出力される出力画像の例を示す図である。図７（ａ）に示す出力画像７００ａは、公知の技術を用いて出力される出力画像の例である。出力画像７００ａは、例えば、以下のようにして得られる。まず、撮像画像と背景画像とを比較することで、撮像画像に含まれる人物を前景物体の領域（前景領域）として抽出する。このようにして抽出された前景領域を遮蔽度の高い色で塗りつぶして生成したマスク画像と、背景画像とを合成することで出力画像７００ａが得られる。

【0039】

図７（ａ）に示すように、人物全体が遮蔽度の高いマスク画像で出力されると、プライバシーの保護はなされるものの、人物の行動の詳細を確認することができない。例えば、介護施設のような場所では、入居者の安全を管理するためには、入居者が手すりを持てているのかということや、入居者が手すりを持とうとして持てていないのかということ等を確認することは、入居者の転倒を予防するためには重要である。また、入居者が履物を正しく履けているのかどうかを確認することも、入居者の転倒を予防するためには重要である。人物全体が遮蔽度の高いマスク画像で出力されると、このような人体部位の細部を映像で確認することは難しい。さらに、撮像画像の中で、手と手や、足と足に重なりがあると、遮蔽度の高いマスク画像では境界が区別できない。このため、人体部位の確認はさらに難しくなる。

【0040】

一方、本実施形態に係る生成部３０６は、人体部位領域毎に定められたプライバシー保護ランク（例えばテーブル５００）と、マスク出力設定（例えばテーブル６１０）とを参照して、人体部位領域毎に遮蔽度を決定する。そして、生成部３０６は、人体部位領域のそれぞれが、決定した遮蔽度に従って抽象化されて表示されるマスク画像を生成する。そして、合成部３０７は、マスク画像と、背景画像とを合成した出力画像を生成する。図７（ｂ）から図７（ｅ）は、このようにして生成された出力画像の一例である。図６を参照しながら説明したマスク出力設定の例では、顔、胴体、上腕、大腿の人体部位領域のプライバシー保護ランク（＝３、４、５）は、マスク出力設定のランク（＝３）以上である。このため、生成部３０６は、顔、胴体、上腕、大腿の人体部位領域に対して、相対的に遮蔽度の高いマスク画像を生成する。一方、生成部３０６は、前腕、手、下腿、足の人体部位領域に対して、相対的に遮蔽度の低いマスク画像を生成する。

【0041】

図７（ｂ）に示す出力画像７００ｂは、例えば、以下のようにして得られる。生成部３０６は、撮像画像において、マスク出力設定よりもプライバシー保護ランクのランクが低い人体部位領域に対しては、マスク処理を実行せず、撮像画像をそのままマスク画像とする。また、生成部３０６は、撮像画像において、プライバシー保護ランクがマスク出力設定のランク以上である人体部位領域に対しては、マスク処理を実行し、遮蔽度の高いマスク画像を生成する。そして、合成部３０７は、背景画像にマスク画像を合成する。このようにして生成される出力画像７００ｂにおいては、前腕、手、下腿、足の人体部位領域の画像として、マスク処理されていない撮像画像がそのまま表示される。前腕、手、下腿、足の人体部位領域については撮像画像をそのまま出力することで、プライバシーの保護の必要性が低い人体部位領域の動きを、ユーザーに詳細に確認させることができる。

【0042】

図７（ｃ）に示す出力画像７００ｃは、例えば、以下のようにして得られる。生成部３０６は、撮像画像において、マスク出力設定のランクよりもプライバシー保護ランクが低い人体部位領域に対しては、アルファ値を相対的に透明度の高いアルファ値としてマスク画像を生成する。また、生成部３０６は、撮像画像において、プライバシー保護ランクがマスク出力設定のランク以上である人体部位領域に対しては、アルファ値を相対的に透明度の低いアルファ値としてマスク画像を生成する。そして、合成部３０７は、背景画像にマスク画像を合成する。このようにして生成される出力画像７００ｃにおいては、前腕、手、下腿、足の人体部位領域の画像として、透明度の高いマスク画像が表示される。従って、プライバシーの保護の必要性が低い人体部位領域について、プライバシーをある程度保護しつつ、動きをユーザーに確認させることができる。

【0043】

図７（ｄ）に示す出力画像７００ｄは、例えば、以下のようにして得られる。生成部３０６は、撮像画像において、プライバシー保護ランクがマスク出力設定のランク以上である人体部位領域に対しては、相対的にブロックサイズの大きなモザイク画像を生成する。また、生成部３０６は、マスク出力設定のランクよりもプライバシー保護ランクが低い人体部位領域に対しては、相対的にブロックサイズの小さなモザイク画像を生成する。そして、合成部３０７は、背景画像にマスク画像を合成する。このようにして生成される出力画像７００ｄにおいては、前腕、手、下腿、足の人体部位領域の画像として、相対的にブロックサイズの小さなモザイク画像が表示される。従って、プライバシーの保護の必要性が低い人体部位領域について、プライバシーをある程度保護しつつ、動きをユーザーに確認させることができる。

【0044】

図７（ｅ）に示す出力画像７００ｅは、例えば、以下のようにして得られる。生成部３０６は、撮像画像において、プライバシー保護ランクがマスク出力設定のランク以上である人体部位領域に対しては、１つの色でマスク画像を生成する。また、生成部３０６は、マスク出力設定のランクよりもプライバシー保護ランクが低い人体部位領域に対しては、撮像画像の各画素の輝度値に応じて複数の階調に変換したマスク画像を生成する。例えば、生成部３０６は、プライバシー保護ランクがマスク出力設定のランク以上である人体部位領域の各画素を、各画素の輝度値に応じて２０個の階調に変換してマスク画像を生成する。このようにして生成される出力画像７００ｅにおいては、前腕、手、下腿、足の人体部位領域の画像として、階調が変換された画像が表示される。従って、プライバシーの保護の必要性が低い人体部位領域について、プライバシーをある程度保護しつつ、動きをユーザーに確認させることができる。

【0045】

図７（ｂ）～図７（ｅ）に例示するように、遮蔽度は、元の画像に対する抽象化の度合いに対応する。遮蔽度が高いほど元の画像に対する抽象化の度合いを高くする。マスク画像は、このような遮蔽度に応じて人体部位領域を表示する画像である。本実施形態では、人体部位領域毎に決定された遮蔽度に応じたマスク画像の形態として、図７（ｂ）～図７（ｅ）に示す４つの形態を例示した。しかしながら、プライバシーを保護すべき人体部位領域に対するマスク画像よりも遮蔽度の低いマスク画像であれば、マスク画像の形態は、これらに限定しない。

【0046】

次に、図８Ａおよび図８Ｂに示すフローチャートを参照しながら、出力画像を生成する際の情報処理装置１００の処理の一例について説明する。図８Ａに示す処理は、撮像画像から抽出された人体部位領域に対応するマスク画像を生成し、当該マスク画像と当該マスク画像の領域以外の領域を表示する画像とを合成した出力画像を生成する処理である。また、図８Ｂに示す処理は、人体部位領域毎のプライバシー保護ランクと、マスク出力設定のランクとに応じて、遮蔽度の異なるマスク画像を生成する処理である。図８Ｂに示す処理は、図８ＡのＳ８０４の詳細な処理である。なお、図８Ａおよび図８Ｂに示す処理は、例えば、情報処理装置１００のＲＯＭ２２０等に格納されたコンピュータプログラムを情報処理装置１００のＣＰＵ２００が実行することにより実現される図３に示す機能ブロックにより実行されるものとする。

【0047】

図８Ａに示す処理について説明する。まず、Ｓ８０１にて、通信部３００は、撮像装置１１０で撮像された撮像画像を、処理対象の撮像画像として取得する。次に、Ｓ８０２にて、検出部３０４は、処理対象の撮像画像に含まれる人物の人体部位（骨格座標）を検出する。

【0048】

次に、Ｓ８０３にて、抽出部３０５は、処理対象の撮像画像に含まれる人物の人体部位領域を抽出する。抽出部３０５は、例えば、“手”といった人体部位領域を識別するためのラベル情報と、当該ラベル情報により識別される人体部位領域を表す画像座標の配列データとを含むデータ構造を、抽出した人体部位領域の数だけ生成する。抽出部３０５は、例えば、抽出した１つ以上の人体部位領域をリスト構造で記憶部３０１に格納し、生成部３０６で取り扱えるようにする。

【0049】

次に、Ｓ８０４にて、生成部３０６は、Ｓ８０３において抽出部３０５により抽出された人体部位領域に応じて、遮蔽度の異なるマスク画像を生成する生成処理を実行する。なお、Ｓ８０４において生成部３０６により実行される生成処理の詳細の一例は、図８Ｂを参照して後述する。次に、Ｓ８０５にて、合成部３０７は、Ｓ８０４において生成部３０６により生成されたマスク画像と、当該マスク画像の領域以外の領域を表示する画像とを合成した出力画像を生成する。このとき、合成部３０７は、例えば、生成部３０６により生成されたマスク画像と、撮像装置１１０により撮像された撮像画像に基づく画像であって人物が含まれない画像である背景画像とを合成することで出力画像を生成する。なお、合成部３０７により出力画像を生成するために用いられる背景画像として、例えば、撮像装置１１０により撮像された撮像画像のうち人物の映っていない撮像画像を用いてもよいし、他の方法により生成された人物の映ってない画像を用いてもよい。次に、Ｓ８０６にて、出力制御部３０８は、Ｓ８０５において合成部３０７により生成された出力画像を外部装置（記録装置１２０、ディスプレイ１３０等）へ出力する。以上が、図８Ａに示す処理である。

【0050】

次に、図８Ｂを参照して、図８ＡのＳ８０４にて実行されるマスク画像の生成処理の一例についてより詳細に説明する。まず、Ｓ８１１にて、生成部３０６は、Ｓ８０３において抽出部３０５により抽出された撮像画像における各々の人体部位領域から、注目対象の人体部位領域を決定する。本実施形態では、例えば、以下のようにして注目対象の人体部位領域が決定される。まず、生成部３０６は、抽出部３０５によりリスト構造で記憶部３０１に格納された人体部位領域のデータ構造から、人体部位領域を識別するためのラベル情報を参照する。そして、生成部３０６は、図５に示すテーブル５００を参照して、プライバシー保護ランクが低い人体部位領域から順番に注目対象の人体部位領域を１つずつ選択する。

【0051】

ここで、プライバシー保護ランクが低い人体部位領域から順番に注目対象とする理由を説明する。例えば、顔の前に手を持ってきている等、撮像画像の同じ画像座標に、プライバシー保護ランクが相互に異なる複数の人体部位領域が存在する場合がある。このような場合に、相対的にプライバシー保護ランクの低い人体部位領域によって、相対的にプライバシー保護ランクの高い人体部位領域に対して、遮蔽度の低いマスク画像が生成されると、プライバシーの保護が十分でなくなる虞がある。そこで、本実施形態では、生成部３０６は、相対的にプライバシー保護ランクが低い人体部位領域から順番にマスク画像を生成し、相対的にプライバシー保護ランクの高い人体部位領域のマスク画像を後で生成する。そして、生成部３０６は、相対的にプライバシー保護ランクが低い人体部位領域から順番にマスク画像に、相対的にプライバシー保護ランクの高い人体部位領域のマスク画像を上書きする。従って、相対的にプライバシー保護ランクの低い人体部位領域と、相対的にプライバシー保護ランクの高い人体部位領域とが同じ画像座標を有していても、当該画像座標において、プライバシー保護ランクの高い人体部位領域に対するマスク画像が表示される。よって、プライバシーの保護を確実に図ることができる。

【0052】

次に、Ｓ８１２にて、生成部３０６は、注目対象の人体部位領域のプライバシー保護ランクと、マスク出力設定のランクとを比較して、注目対象の人体部位領域がマスク出力対象であるか否かを判定する。注目対象の人体部位領域のプライバシー保護ランクが、マスク出力設定のランク以上である場合、注目対象の人体部位領域がマスク出力対象であると判定される。そして、注目対象の人体部位領域がマスク出力対象であると判定された場合、Ｓ８１３の処理が実行される。Ｓ８１３にて、生成部３０６は、注目対象の人体部位領域に対して、相対的に高い遮蔽度のマスク画像を生成する。相対的に高い遮蔽度のマスク画像とは、例えば、その人体部位領域を１つの色に変換したマスク画像である。

【0053】

一方、注目対象の人体部位領域のプライバシー保護ランクが、マスク出力設定のランク以上でない場合、Ｓ８１２において、注目対象の人体部位領域がマスク出力対象ではないと判定される。Ｓ８１２において、注目対象の人体部位領域がマスク出力対象ではないと判定された場合、Ｓ８１４にて、生成部３０６は、相対的に低い遮蔽度のマスク画像を生成する。相対的に低い遮蔽度のマスク画像とは、撮像画像内の人物の詳細な行動を確認できる程度のマスク画像であり、例えば、図７（ｂ）から図７（ｅ）を参照しながら前述したマスク画像である。

【0054】

次に、Ｓ８１５にて、生成部３０６は、Ｓ８０３において抽出部３０５により抽出された全ての人体部位領域を処理したか否かを判定する。例えば、生成部３０６は、前述したようにして抽出部３０５により抽出された人体部位領域のリスト構造を全て処理したか否かを判定する。この判定の結果、全ての人体部位領域を処理していない場合、Ｓ８１１の処理が再び実行される。この場合、Ｓ８１１において、生成部３０６は、未処理の人体部位領域のうち、次に注目対象とする人体部位領域を決定する。そして、新たに注目対象とした人体部位領域に対して、Ｓ８１２～Ｓ８１５の処理が繰り返される。そして、Ｓ８１５において、全ての人体部位領域を処理したと判定された場合、生成部３０６によるマスク画像の生成処理は終了する。以上のようにして図８Ｂに示すマスク画像の生成処理にてマスク画像が生成された後、図８Ａに示すＳ８０５の処理が前述したようにして実行される。

【0055】

以上説明したように本実施形態に係る情報処理装置１００は、撮像画像から、確認対象となる人物を構成する複数の人体部位領域を抽出し、当該複数の人体部位領域ごとに、遮蔽度を決定する。従って、画像において遮蔽の必要がある領域の確認を不能または困難にすることと、画像から確認が必要である領域を確認し易くすることとの双方を実現することができる。より具体的には、例えば、利用場面に応じて、人物のプライバシーを保護しつつ、撮像画像における人物の詳細な行動を確認可能な出力画像を生成することができる。

【0056】

また、本実施形態では、情報処理装置１００は、プライバシーの保護に関する重要度（遮蔽度）の設定に関するユーザーによる操作入力を受け付け、受け付けた操作入力の内容に基づいて、人体部位領域に対する遮蔽度を決定する。従って、システムの利用場面に応じて、人体部位領域に対するプライバシーの保護に関する重要度を適切に定めることができる。

【0057】

また、本実施形態では、情報処理装置１００は、遮蔽度が相互に異なる複数の人体部位領域の少なくとも一部が重なる場合、当該重なる領域に対し、当該遮蔽度が最も高い人体部位領域に対するマスク画像を適用する。従って、プライバシーの保護をより確実に図ることができる。

【0058】

また、本実施形態では、情報処理装置１００は、人体部位領域に対する秘匿の必要性に応じて、当該人体部位領域に対する遮蔽度を決定する。従って、プライバシーの保護の重要性が高い人体部位領域のプライバシーを保護しつつ、プライバシーの保護の重要度が低い人体部位領域については、行動の詳細をユーザーに確認させることができる出力画像を生成することができる。

【0059】

（第２の実施形態）
次に、第２の実施形態を説明する。第１の実施形態では、撮像画像における人物の人体部位領域のプライバシー保護ランクが、マスク出力設定のランク以上であるか否かに応じて、遮蔽率の異なるマスク画像を生成する場合を例示した。これにより、プライバシー保護ランクが低い人体部位領域については、出力画像で行動の詳細をユーザーに確認させることができる。例えば、介護施設などで、要介護者のプライバシーを保護しつつ、要介護者に対する安全な介護に役立てることができる。一方で、撮像画像における人物の姿勢によっては、人物の行動の詳細を確認する必要性が変わる場合がある。例えば、介護施設において、就寝中の人物は転倒の危険もないため、出力画像で人体部位領域を詳細に確認する必要はない。この場合、プライバシーの保護の重要性が低い人体部位領域であっても、人物の行動を詳細に確認する必要がない場合は、プライバシーの保護を優先した出力画像を出力する方が好ましい。一方で、例えば、人物が転倒している場合、プライバシーの保護よりも、人物の安全を確認可能な出力画像を出力する方が好ましい。

【0060】

そこで、このような課題を解決するために、本実施形態では、撮像画像における人物の姿勢に応じて、同じ人体部位領域であっても遮蔽度の異なるマスク画像を生成する。このように本実施形態は、第１の実施形態に対し、人物の姿勢を更に考慮してマスク画像を生成するための構成および処理が主として異なる。従って、本実施形態では、第１の実施形態と異なる部分を主に説明し、第１の実施形態と同一または同等の構成要素および処理については、図１～図８Ｂに付した符号と同一の符号を付す等して、詳細な説明を省略する。

【0061】

図９は、本実施形態における設定部３０３で実行されるマスク出力設定の一例を説明する図である。図９（ａ）は、マスク出力設定が実行される際に表示される画面の一例を示す図である。本実施形態では、人物の姿勢に応じたマスク出力設定が実行される。設定部３０３は、ランク指定部６０１および設定確認部６０２に加えて、姿勢指定部９０１を表示させる。ランク指定部６０１、設定確認部６０２、および姿勢指定部９０１は、例えば、同一の画面に表示される。図９（ａ）において、姿勢指定部９０１は、マスク出力設定の対象となる人物の姿勢をユーザーが指定するためのＧＵＩである。ユーザーは、姿勢指定部９０１で指定した姿勢に対して、どの人体部位領域をどのようなマスク画像で出力するのかをランク指定部６０１で指定する。これにより、撮像画像内の人物の姿勢に応じて、マスク出力設定を変更することができる。ランク指定部６０１と設定確認部６０２は、図６（ａ）を参照して説明した内容と同様であるため、ランク指定部６０１および設定確認部６０２の詳細な説明を省略する。本実施形態では、姿勢指定部９０１により、人物の姿勢として、立位、座位、臥位、姿勢不明、転倒、およびうずくまりの６種類の姿勢が指定可能である場合を例示する。しかしながら、指定可能な姿勢の種類はこれら６種類の姿勢に限定されない。

【0062】

図９（ｂ）は、図９（ａ）に示す姿勢指定部９０１およびランク指定部６０１に対するユーザーの指定に基づくマスク出力設定により記憶部３０１に記憶されるテーブル９１０の一例を示す。図９（ｂ）に示す例では、姿勢指定部９０１に対してユーザーにより指定された姿勢と、ランク指定部６０１に対してユーザーにより指定されたランクとを相互に関連付けてテーブル９１０に記憶することにより、マスク出力設定実行される。本実施形態では、マスク出力設定により、人物がどの姿勢のときに当該人物のどの人体部位領域をどのような遮蔽度のマスク画像で出力するのかが決定される。

【0063】

図１０は、本実施形態における出力制御部３０８により出力される出力画像の例を示す図である。本実施形態では、検出部３０４は、撮像画像における人物の姿勢を推定する。そして、生成部３０６は、図９に示すようにして実行される、人物の姿勢に応じたマスク出力設定を参照して、人体部位領域毎に遮蔽度を決定する。そして、生成部３０６は、人体部位領域のそれぞれが、決定した遮蔽度で抽象化されて表示されるマスク画像を生成する。

【0064】

図１０（ａ）に示す出力画像１０００ａは、撮像画像における人物の姿勢が、臥位の場合に出力される出力画像の一例である。検出部３０４が、撮像画像における人物の姿勢を臥位と推定すると、生成部３０６は、テーブル９１０を参照し、臥位の姿勢に応じた人体部位領域のマスク画像を生成する。本実施形態では、臥位の場合のマスク出力設定としてランク１が設定されている。そこで、生成部３０６は、テーブル５００を参照し、プライバシー保護ランクがランク１～ランク５の全ての人体部位領域に対して、遮蔽度の高いマスク画像を生成する。

【0065】

図１０（ｂ）に示す出力画像１０００ｂは、撮像画像における人物の姿勢が、座位の場合に出力される出力画像の一例である。検出部３０４が、撮像画像における人物の姿勢を座位と推定すると、生成部３０６は、テーブル９１０を参照し、座位の姿勢に応じた人体部位領域のマスク画像を生成する。本実施形態では、座位の場合のマスク出力設定としてランク２が設定されている。そこで、生成部３０６は、テーブル５００を参照し、プライバシー保護ランクがランク１の手、足の人体部位領域に対して、相対的に遮蔽度の低いマスク画像を生成し、その他の人体部位領域に対して、相対的に遮蔽度の高いマスク画像を生成する。遮蔽度の異なるマスク画像の出力画像については、図７を参照して説明した内容と同様であるため詳細な説明を省略する。

【0066】

図１０（ｃ）に示す出力画像１０００ｃは、撮像画像における人物の姿勢が、転倒の場合に出力される出力画像の一例である。検出部３０４が、撮像画像における人物の姿勢を転倒と推定すると、生成部３０６は、テーブル９１０を参照し、転倒の姿勢に応じた人体部位領域のマスク画像を生成する。本実施形態では、転倒の場合は「マスク出力しない」が設定されているため、生成部３０６は、全ての人体部位領域に対して、遮蔽度の低いマスク画像を生成する。

【0067】

例えば介護施設において、図１０（ａ）に示すように、人物の姿勢が就寝中のような臥位の姿勢のときは、入居者の安全性を出力画像１０００ａで詳細に確認する必要がない。本実施形態では、人物の姿勢が臥位の場合は遮蔽度の高いマスク出力する人体部位領域を多くすることで、プライバシーの保護の重要度が低い人体部位領域であっても、無用に詳細な画像を出力しないことができる。一方で、図１０（ｂ）に示すように、座位の入居者は立ち上がる可能性がある。このため、例えば、入居者が杖や手すりを持てているか否か、および、入居者の足元は安全であるか否かを、入居者のプライバシーを保護しつつ出力画像１０００ｂで詳細に確認する必要がある。さらに、図１０（ｃ）に示すように、入居者が転倒している姿勢の場合は、入居者のプライバシーの保護の必要性よりも、入居者の安全確認の必要性の方が高くなる。この場合は、誰が転倒しているかも確認する必要があるため、プライバシーの保護の重要度が高い人体部位領域である顔を含めて出力画像１０００ｃで確認することができる。

【0068】

次に、図１１Ａおよび図１１Ｂに示すフローチャートを参照しながら、出力画像を生成する際の情報処理装置１００の本実施形態における処理の一例について説明する。図１１Ａに示す処理は、撮像画像から人体部位領域と人物の姿勢とを検出し、抽出した人体部位領域に対応するマスク画像を生成し、当該マスク画像と当該マスク画像の領域以外の領域を表示する画像とを合成した出力画像を生成する処理である。また、図１１Ｂに示す処理は、人物の姿勢と、人体部位領域毎のプライバシー保護ランクと、マスク出力設定のランクとに応じて、遮蔽度が異なるマスク画像を生成する処理である。図１１Ｂに示す処理は、図１１ＡのＳ１１０３の詳細な処理である。なお、図１１Ａおよび図１１Ｂに示す処理は、例えば、情報処理装置１００のＲＯＭ２２０等に格納されたコンピュータプログラムを情報処理装置１００のＣＰＵ２００が実行して実現される図３に示す機能ブロックにより実行されるものとする。

【0069】

図１１Ａに示すＳ８０１～Ｓ８０２の処理は、図８Ａを参照して説明した内容と同様であるため、当該処理の詳細な説明を省略する。Ｓ８０２の処理の次にＳ１１０１の処理が実行される。Ｓ１１０１にて、検出部３０４は、Ｓ８０２において検出した人物の人体部位（骨格座標）に基づいて、人物の姿勢を推定する。例えば、検出部３０４は、深層学習により学習された姿勢推論モデルを使って、骨格座標から撮像画像に含まれる人物の姿勢を推論する。骨格推論モデルは、人物の骨格座標を入力して人物の姿勢を示す情報を出力する。さらに、検出部３０４は、一見似ている臥位と転倒とを区別するために、時系列での人物の姿勢の変化を検出し、検出した結果も使用して、人物の姿勢を推定してもよい。例えば、検出部３０４は、人物の姿勢が立位や座位の姿勢から、急激に臥位の姿勢に推移した場合に、人物の姿勢は転倒であると推定する。人物の姿勢を推定する方法は、これに限定されない。例えば、検出部３０４は、各骨格座標の組み合わせから、人物の姿勢をルールベースのアルゴリズムで推定してもよい。ルールベースのアルゴリズムには、例えば、決定木がある。

【0070】

次に、Ｓ１１０２にて、抽出部３０５は、図８ＡのＳ８０３で説明したのと同様にして、処理対象の撮像画像に含まれる人物の人体部位領域を抽出する。抽出部３０５は、例えば、人体部位領域を識別するためのラベル情報と、当該ラベル情報により識別される人体部位領域を表す画像座標の配列データとを含むデータ構造と、当該人体部位領域が属する人物の姿勢情報とを、抽出した人体部位領域の数だけ生成する。抽出部３０５は、例えば、抽出した１つ以上の人体部位領域をリスト構造で記憶部３０１に格納し、生成部３０６で取り扱えるようにする。

【0071】

次に、Ｓ１１０３にて、生成部３０６は、Ｓ１１０１において検出部３０４により検出された人物の姿勢と、Ｓ１１０２において抽出部３０５により抽出された人体部位領域とに応じて、遮蔽度の異なるマスク画像を生成する生成処理を実行する。Ｓ１１０３の次にＳ８０５、Ｓ８０６の処理がこの順で実行される。Ｓ８０５、Ｓ８０６の処理は、図８Ａを参照して説明した内容と同様であるため、当該処理の詳細な説明を省略する。

【0072】

次に、図１１Ｂを参照して、図１１ＡのＳ１００３にて実行されるマスク画像の生成処理の一例についてより詳細に説明する。まず、図１１Ｂに示すＳ８１１の処理は、図８Ｂを参照して説明した内容と同様であるため、当該処理の詳細な説明を省略する。Ｓ８１１の次にＳ１１１２の処理が実行される。Ｓ１１１２にて、生成部３０６は、注目対象の人体部位領域のプライバシー保護ランクと、注目対象の人体部位領域の属する人物の姿勢情報に対応するマスク出力設定のランクとを比較して、注目対象の人体部位領域がマスク出力対象であるか否かを判定する。注目対象の人体部位領域のプライバシー保護ランクが、注目対象の人体部位領域の属する人物の姿勢情報に対応するマスク出力設定のランク以上である場合、注目対象の人体部位領域がマスク出力対象であると判定される。そして、注目対象の人体部位領域がマスク出力対象であると判定された場合、Ｓ８１３の処理が実行される。

【0073】

一方、注目対象の人体部位領域のプライバシー保護ランクが、注目対象の人体部位領域の属する人物の姿勢情報に対応するマスク出力設定のランク以上でない場合、注目対象の人体部位領域がマスク出力対象ではないと判定される。そして、注目対象の人体部位領域の属する人物の姿勢情報に対応するマスク出力設定のランク以上でないと判定された場合、Ｓ８１４の処理が実行される。図１１Ｂに示すＳ８１３～Ｓ８１５の処理は、図８Ｂを参照して説明した内容と同様であるため、当該処理の詳細な説明を省略する。

【0074】

以上説明したように、本実施形態に係る情報処理装置１００は、撮像画像から、確認対象となる人物を構成する複数の人体部位領域を抽出すると共に当該人物の姿勢を推定する。そして、情報処理装置１００は、当該人物の姿勢に応じて、当該複数の人体部位領域ごとに、遮蔽度を決定する。従って、人物の姿勢に応じて出力画像の詳細な確認の必要性が変わるような場面において、プライバシーの保護を重視したマスク画像を出力することと、詳細な確認を重視したマスク画像を出力することとの釣合いを人物の姿勢に応じて変更することができる。なお、本実施形態においても第１の実施形態で説明した変形例を採用することができる。

【0075】

前述した各実施形態では、人体の動きを監視する場合を例示した。しかしながら、確認対象物（観察対象物）は人体に限定されない。例えば、確認対象物（観察対象物）は、機器であってもよい。例えば、機器の動作のデモンストレーションを行う場合、部外者に見せたくない機器の領域を遮蔽度が相対的に高いマスク画像とし、部外者に詳細な動きを見せたい機器の領域を遮蔽度が相対的に低いマスク画像とすることができる。また、前述した各実施形態に係る情報処理装置１００の１以上の機能を他の装置が有していてもよい。また、前述した各実施形態を組み合わせて実施してもよい。

【0076】

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出して実行する処理でも実現可能である。また、上述の実施形態の１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
また、以上説明した本発明の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。

【符号の説明】

【0077】

１００：情報処理装置、１１０：撮像装置、１２０：記録装置、１３０：ディスプレイ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8A】

【図8B】

【図9】

【図10】

【図11A】

【図11B】