(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024138079
(43)【公開日】2024-10-07
(54)【発明の名称】プログラム、画像処理方法およびシステム
(51)【国際特許分類】
G06T 7/00 20170101AFI20240927BHJP
G06T 7/70 20170101ALI20240927BHJP
H04N 7/18 20060101ALI20240927BHJP
【ＦＩ】
G06T7/00 660B
G06T7/00 660A
G06T7/70 A
G06T7/00 300F
H04N7/18 D
H04N7/18 K
【審査請求】有
【請求項の数】18
【出願形態】ＯＬ
(21)【出願番号】P 2024118752
(22)【出願日】2024-07-24
(62)【分割の表示】P 2022569776の分割
【原出願日】2021-11-11
(31)【優先権主張番号】P 2020206707
(32)【優先日】2020-12-14
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100103894
【弁理士】
【氏名又は名称】家入 健
(72)【発明者】
【氏名】平川 康史
(72)【発明者】
【氏名】油井 夏城
(57)【要約】
【課題】マスク領域に含まれる人物を適切にマスクする。
【解決手段】画像処理装置（１０）は、画像データ取得部（１１１）、マスク領域設定部（１１２）、特定部（１１３）、身体推定部（１１７）、判定部（１１４）および処理部（１１５）を有する。画像データ取得部（１１１）は、カメラが撮影した所定の空間の画像データを取得する。マスク領域設定部（１１２）は、空間におけるマスク領域を設定する。特定部（１１３）は、画像データに含まれる人物の画像である人物画像を特定する。身体推定部（１１７）は、コンピュータは、人物画像に基づいて、人物の身体を推定する。判定部（１１４）は、人物画像にかかる人物の身体がマスク領域に含まれるか否かの判定を行う。処理部（１１５）は、判定手段による判定の結果に基づいて、人物をマスクする処理を行う。
【選択図】図１
【解決手段】画像処理装置（１０）は、画像データ取得部（１１１）、マスク領域設定部（１１２）、特定部（１１３）、身体推定部（１１７）、判定部（１１４）および処理部（１１５）を有する。画像データ取得部（１１１）は、カメラが撮影した所定の空間の画像データを取得する。マスク領域設定部（１１２）は、空間におけるマスク領域を設定する。特定部（１１３）は、画像データに含まれる人物の画像である人物画像を特定する。身体推定部（１１７）は、コンピュータは、人物画像に基づいて、人物の身体を推定する。判定部（１１４）は、人物画像にかかる人物の身体がマスク領域に含まれるか否かの判定を行う。処理部（１１５）は、判定手段による判定の結果に基づいて、人物をマスクする処理を行う。
【選択図】図１
【特許請求の範囲】
【請求項1】
第１の画像を取得する処理と、
画像に写った人物をマスクするためのマスク領域の範囲を受け付ける処理と、
前記第１の画像において、設定された前記マスク領域に含まれる人物をマスクする処理と
をコンピュータに実行させるプログラム。
画像に写った人物をマスクするためのマスク領域の範囲を受け付ける処理と、
前記第１の画像において、設定された前記マスク領域に含まれる人物をマスクする処理と
をコンピュータに実行させるプログラム。
【請求項2】
前記人物の頭部の位置を求める処理を更に前記コンピュータに実行させる
請求項１に記載のプログラム。
請求項１に記載のプログラム。
【請求項3】
前記第１の画像に写る物体の特徴量に基づいて、前記第１の画像に写る人物の位置を特定する処理を更に前記コンピュータに実行させ、
前記マスクする処理は、前記人物の位置に基づいてマスクすることを含む
請求項１に記載のプログラム。
前記マスクする処理は、前記人物の位置に基づいてマスクすることを含む
請求項１に記載のプログラム。
【請求項4】
前記マスクする処理は、前記人物を塗りつぶす処理を含む
請求項１に記載のプログラム。
請求項１に記載のプログラム。
【請求項5】
前記マスクする処理は、前記第１の画像と前記第１の画像よりも前の時刻において撮影された第２の画像との差分に基づいて前記人物をマスクすることを含む
請求項１に記載のプログラム。
請求項１に記載のプログラム。
【請求項6】
前記第１の画像は、前記第２の画像が撮影されてから所定時間以内に取得された画像である
請求項５に記載のプログラム。
請求項５に記載のプログラム。
【請求項7】
コンピュータが、
第１の画像を取得し、
画像に写った人物をマスクするためのマスク領域の範囲を受け付け、
前記第１の画像において、設定された前記マスク領域に含まれる人物をマスクする処理を行う
画像処理方法。
第１の画像を取得し、
画像に写った人物をマスクするためのマスク領域の範囲を受け付け、
前記第１の画像において、設定された前記マスク領域に含まれる人物をマスクする処理を行う
画像処理方法。
【請求項8】
前記コンピュータが、更に、前記人物の頭部の位置を求める
請求項７に記載の画像処理方法。
請求項７に記載の画像処理方法。
【請求項9】
前記コンピュータが、更に、前記第１の画像に写る物体の特徴量に基づいて、前記第１の画像に写る人物の位置を特定し、
前記マスクする処理は、前記人物の位置に基づいてマスクすることを含む
請求項７に記載の画像処理方法。
前記マスクする処理は、前記人物の位置に基づいてマスクすることを含む
請求項７に記載の画像処理方法。
【請求項10】
前記マスクする処理は、前記人物を塗りつぶす処理を含む
請求項７に記載の画像処理方法。
請求項７に記載の画像処理方法。
【請求項11】
前記マスクする処理は、前記第１の画像と前記第１の画像よりも前の時刻において撮影された第２の画像との差分に基づいて前記人物をマスクすることを含む
請求項７に記載の画像処理方法。
請求項７に記載の画像処理方法。
【請求項12】
前記第１の画像は、前記第２の画像が撮影されてから所定時間以内に取得された画像である
請求項１１に記載の画像処理方法。
請求項１１に記載の画像処理方法。
【請求項13】
カメラが撮影した画像を処理するためのシステムであって、
前記システムは、
第１の画像を取得する手段と、
画像に写った人物をマスクするためのマスク領域の範囲を受け付ける手段と、
前記第１の画像において、設定された前記マスク領域に含まれる人物をマスクする処理を行う手段と
を備えるシステム。
前記システムは、
第１の画像を取得する手段と、
画像に写った人物をマスクするためのマスク領域の範囲を受け付ける手段と、
前記第１の画像において、設定された前記マスク領域に含まれる人物をマスクする処理を行う手段と
を備えるシステム。
【請求項14】
前記人物の頭部の位置を求める手段を更に備える
請求項１３に記載のシステム。
請求項１３に記載のシステム。
【請求項15】
前記第１の画像に写る物体の特徴量に基づいて、前記第１の画像に写る人物の位置を特定する手段を更に備え、
前記マスクする処理は、前記人物の位置に基づいてマスクすることを含む
請求項１３に記載のシステム。
前記マスクする処理は、前記人物の位置に基づいてマスクすることを含む
請求項１３に記載のシステム。
【請求項16】
前記マスクする処理は、前記人物を塗りつぶす処理を含む
請求項１３に記載のシステム。
請求項１３に記載のシステム。
【請求項17】
前記マスクする処理は、前記第１の画像と前記第１の画像よりも前の時刻において撮影された第２の画像との差分に基づいて前記人物をマスクすることを含む
請求項１３に記載のシステム。
請求項１３に記載のシステム。
【請求項18】
前記第１の画像は、前記第２の画像が撮影されてから所定時間以内に取得された画像である
請求項１７に記載のシステム。
請求項１７に記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は画像処理装置、画像処理方法および非一時的なコンピュータ可読媒体に関する。
【背景技術】
【0002】
撮像された画像の指定領域に含まれる人物をマスクする技術が開発されている。
【0003】
このような技術に関連して、例えば特許文献１には、監視カメラからの映像情報から人物画像を検出し、監視空間内に人物が足を踏み入れたか否かを判定する技術が記載されている。
【0004】
また特許文献２には、映像中の物体の一部が監視領域の範囲内に含まれるか否かの第１のステップの基準と、所定の第２のステップの基準を設定し、これらに合致するか否か判断することで、検知対象を検知する技術が記載されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】国際公開第２０１９／２２０５８９号
【特許文献2】国際公開第２０１４／１１８８７２号
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかし、画像に設定した指定領域内に含まれる人物をマスクする場合、カメラの位置や撮像対象の位置により、意図しない人物がマスク対象に含まれる場合があった。
【0007】
本開示はこのような課題を鑑みてなされたものであり、マスク領域に含まれる人物を適切にマスクする技術を提供することを目的とする。
【課題を解決するための手段】
【0008】
本開示の１実施形態にかかる画像処理装置は、画像データ取得手段、マスク領域設定手段、特定手段、身体推定手段、判定手段および処理手段を有する。画像データ取得手段は、カメラが撮影した所定の空間の画像データを取得する。マスク領域設定手段は、空間におけるマスク領域を設定する。特定手段は、画像データに含まれる人物の画像である人物画像を特定する。身体推定手段は、人物画像に基づいて、人物の身体を推定する。判定手段は、人物画像にかかる人物の身体がマスク領域に含まれるか否かの判定を行う。処理手段は、判定手段による判定の結果に基づいて、人物をマスクする処理を行う。
【0009】
本開示の１実施形態にかかる方法は、以下の方法をコンピュータが実行する。コンピュータは、カメラが撮影した所定の空間の画像データを取得する。コンピュータは、空間におけるマスク領域を設定する。コンピュータは、画像データに含まれる人物の画像である人物画像を特定する。コンピュータは、人物画像に基づいて、人物の身体を推定する。コンピュータは、人物画像にかかる人物の身体がマスク領域に含まれるか否かを判定する。コンピュータは、判定結果に基づいて、人物をマスクする処理を行う。
【0010】
本開示の１実施形態にかかるプログラムは、コンピュータに、以下のステップを実行させるものである。コンピュータは、カメラが撮影した所定の空間の画像データを取得する。コンピュータは、空間におけるマスク領域を設定する。コンピュータは、画像データに含まれる人物の画像である人物画像を特定する。コンピュータは、人物画像に基づいて、人物の身体を推定する。コンピュータは、人物画像にかかる人物の身体がマスク領域に含まれるか否かを判定する。コンピュータは、判定結果に基づいて、人物をマスクする処理を行う。
【発明の効果】
【0011】
本開示によれば、マスク領域に含まれる人物を適切にマスクする画像処理装置等を提供することができる。
【図面の簡単な説明】
【0012】
【図1】実施の形態１にかかる画像処理装置のブロック図である。
【図2】実施の形態１にかかる画像処理方法を示すフローチャートである。
【図3】実施の形態２にかかる画像処理システムのブロック図である。
【図4】実施の形態２にかかる画像処理装置のブロック図である。
【図5】実施の形態２にかかる画像処理装置のフローチャートである。
【図6】実施の形態２にかかる画像処理装置が処理する画像の例を示す図である。
【図7】実施の形態３にかかる画像処理システムのブロック図である。
【図8】実施の形態３にかかる画像処理装置のフローチャートである。
【図9】実施の形態３にかかる画像処理装置が処理する画像の例を示す図である。
【図10】実施の形態３にかかる画像処理装置が処理する人物画像の例を示す図である。
【図11】コンピュータのハードウェア構成を例示するブロック図である。
【発明を実施するための形態】
【0013】
以下、発明の実施の形態を通じて本発明を説明するが、特許請求の範囲にかかる発明を以下の実施形態に限定するものではない。また、実施形態で説明する構成の全てが課題を解決するための手段として必須であるとは限らない。説明の明確化のため、以下の記載および図面は、適宜、省略、および簡略化がなされている。なお、各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。
【0014】
＜実施の形態１＞
以下、図面を参照して本発明の実施の形態について説明する。図１は、実施の形態１にかかる画像処理装置１０のブロック図である。図１に示す画像処理装置１０は、所定の施設内または屋外に設置されたカメラに通信可能に接続して使用される。画像処理装置１０は、画像データに対してマスク処理を行う機能を有している。マスク処理とは、画像の一部を抽出し、抽出した画像をマスクする処理である。本実施の形態における「マスクする処理」とは、例えば抽出した画像に対して行う処理と抽出しなかった画像に対して行う処理を異なるものとする処理である。本実施の形態における画像処理装置１０は、撮影された画像データから所定の条件に応じて人物をマスクする処理をおこなう。画像処理装置１０は主な構成として、画像データ取得部１１１、マスク領域設定部１１２、特定部１１３、判定部１１４および処理部１１５を有している。
以下、図面を参照して本発明の実施の形態について説明する。図１は、実施の形態１にかかる画像処理装置１０のブロック図である。図１に示す画像処理装置１０は、所定の施設内または屋外に設置されたカメラに通信可能に接続して使用される。画像処理装置１０は、画像データに対してマスク処理を行う機能を有している。マスク処理とは、画像の一部を抽出し、抽出した画像をマスクする処理である。本実施の形態における「マスクする処理」とは、例えば抽出した画像に対して行う処理と抽出しなかった画像に対して行う処理を異なるものとする処理である。本実施の形態における画像処理装置１０は、撮影された画像データから所定の条件に応じて人物をマスクする処理をおこなう。画像処理装置１０は主な構成として、画像データ取得部１１１、マスク領域設定部１１２、特定部１１３、判定部１１４および処理部１１５を有している。
【0015】
画像データ取得部１１１は、カメラが撮影した所定の空間の画像データを取得する。画像データ取得部１１１が接続するカメラは１台でもよいし複数でもよい。また画像データ取得部１１１が接続するカメラは所定の画角を撮影するために固定されていてもよいし、パン、チルトまたはズームを行う可動式のものであってもよい。画像データ取得部１１１は、カメラから取得した画像データを、適宜各構成に供給する。
【0016】
マスク領域設定部１１２は、画像データ取得部１１１が取得した画像データに対して、上記所定の空間におけるマスク領域を設定する。マスク領域は、画像内に設定される閉じた領域である。画像処理装置１０は、所定の条件にしたがい、マスク領域に人物が存在すると判定する場合に、この人物をマスクする処理を行う。マスク領域設定部１１２は、予め定められた領域をマスク領域として設定してもよいし、画像処理装置１０を使用するユーザの操作に応じてマスク領域を設定してもよい。またマスク領域設定部１１２は、所定の条件に応じてこの条件に対応したマスク領域を設定してもよい。マスク領域設定部１１２は、設定したマスク領域に関する情報を判定部１１４に供給する。
【0017】
特定部１１３は、画像データ取得部１１１が取得した画像データを受け取り、受け取った画像データに含まれる人物画像を特定する。人物画像とは、人物が含まれる画像である。特定部１１３は、例えば画像データに対して畳み込み処理を行うことにより人物画像の特徴量と一致する特徴量を有する領域を検索する。そして特定部１１３は人物画像の特徴量と一致する領域を人物画像と特定する。特定部１１３は、人物画像として特定した画像の領域に関する情報を、判定部１１４に供給する。
【0018】
判定部１１４は、画像データにおけるマスク領域に関する情報をマスク領域設定部１１２から受け取る。また判定部１１４は、画像データにおける人物画像の領域に関する情報を特定部１１３から受け取る。そして判定部１１４は、画像データ取得部１１１が取得した画像データに対して、人物画像がマスク領域に含まれるか否かを判定する。判定部１１４はこの判定の結果に関する情報として、判定結果を処理部１１５に供給する。
【0019】
処理部１１５は、判定部１１４から判定結果を受け取り、受け取った判定結果にしたがい、人物をマスクする処理を行う。人物をマスクする処理は、マスク処理にかかる人物画像に対する画像処理であってもよいし、マスク処理にかかる人物画像に対する演算処理であってもよい。例えば人物をマスクする処理は、マスク処理にかかる人物画像に対して行う塗りつぶしの処理や、背景差分による人物画像の除去などの画像処理であってもよい。また例えば人物をマスクする処理は、画像に含まれる人物の数を演算する際に、マスク処理にかかる人物を含まないなどの演算処理であってもよい。
【0020】
【0021】
まず、画像処理装置１０の画像データ取得部１１１は、カメラが撮影した所定の空間の画像データを取得する（ステップＳ１１）。画像データ取得部１１１は、取得した画像データを画像処理装置１０が有する各構成に適宜供給する。
【0022】
次に、マスク領域設定部１１２は、画像データの所定空間にマスク領域を設定する（ステップＳ１２）。マスク領域設定部１１２は、マスク領域に関する情報を、判定部１１４に供給する。
【0023】
次に、特定部１１３は、画像データに含まれる人物の画像である人物画像を特定する（ステップＳ１３）。特定部１１３は、特定した人物画像に関する情報を、判定部１１４に供給する。
【0024】
次に、判定部１１４は、人物画像がマスク領域に含まれるか否かを判定する（ステップＳ１４）。人物画像がマスク領域に含まれると判定しない場合（ステップＳ１４：ＮＯ）、画像処理装置１０は、マスク処理を実行せずにフローチャートを終了する。人物画像がマスク領域に含まれると判定する場合（ステップＳ１４：ＹＥＳ）、画像処理装置１０は、ステップＳ１５に進む。
【0025】
ステップＳ１５において、処理部１１５は、判定結果にしたがい、マスク領域に含まれる人物をマスクする処理を行う（ステップＳ１５）。処理部１１５がマスク処理を実行し終えると、画像処理装置１０は、一連の処理を終了する。
【0026】
なお、上述の処理は、カメラから画像データが画像処理装置１０に供給される度に実行されてもよい。また上述の処理において、ステップＳ１２とステップＳ１３との順序は逆でもよい。またステップＳ１２とステップＳ１３とは並行して行われてもよい。
【0027】
以上、実施の形態１にかかる画像処理装置について説明した。尚、画像処理装置１０は、図示しない構成としてプロセッサ及び記憶装置を有するものである。画像処理装置１０が有する記憶装置は、例えばフラッシュメモリやＳＳＤ（Solid State Drive）などの不揮発性メモリを含む記憶装置を含む。この場合に、画像処理装置１０が有する記憶装置は、上述の画像処理方法を実行するためのコンピュータプログラム（以降、単にプログラムとも称する）を記憶している。またプロセッサは、記憶装置からコンピュータプログラムをＤＲＡＭ（Dynamic Random Access Memory）等のバッファメモリへ読み込ませ、当該プログラムを実行する。
【0028】
画像処理装置１０が有する各構成は、それぞれが専用のハードウェアで実現されていてもよい。また、各構成要素の一部又は全部は、汎用または専用の回路（circuitry）、プロセッサ等やこれらの組合せによって実現されてもよい。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。各装置の各構成要素の一部又は全部は、上述した回路等とプログラムとの組合せによって実現されてもよい。また、プロセッサとして、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（field-programmable gate array）等を用いることができる。なお、ここに説明した構成に関する説明は、本開示において以下に説明するその他の装置またはシステムにおいても、適用され得る。
【0029】
また、画像処理装置１０の各構成要素の一部又は全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。また、画像処理装置１０の機能がＳａａＳ（Software as a Service）形式で提供されてもよい。
【0030】
以上、実施の形態１について説明した。実施の形態１にかかる画像処理装置１０は、画像データから人物画像を特定し、特定した人物画像がマスク領域に含まれる場合にマスク処理を行う。よって、実施の形態１によれば、マスク領域に含まれる人物を適切にマスクする画像処理装置等を提供することができる。
【0031】
＜実施の形態２＞
次に、実施の形態２について説明する。図３は、実施の形態２にかかる画像処理システム１のブロック図である。図３に示す画像処理システム１は、画像処理装置２０、ディスプレイ２００およびカメラ３００を含む。
次に、実施の形態２について説明する。図３は、実施の形態２にかかる画像処理システム１のブロック図である。図３に示す画像処理システム１は、画像処理装置２０、ディスプレイ２００およびカメラ３００を含む。
【0032】
画像処理装置２０は、通信ネットワークであるネットワークＮ１を介してカメラ３００と通信可能に接続し、カメラ３００が生成した画像データを取得する。また画像処理装置２０は、ディスプレイ２００と通信可能に接続し、マスク処理の結果をディスプレイ２００に表示する。ネットワークＮ１は、ＬＡＮ（Local Area Network）であってもよいし、ＷＡＮ（Wide Area Network）であってもよい。
【0033】
ディスプレイ２００は、例えば液晶ディスプレイや有機エレクトロルミネッセンスを含む表示装置である。ディスプレイ２００は、画像処理装置２０と通信可能に接続し、画像処理装置２０から画像データを受け取り、受け取った画像データを表示する。なお、図３に示した例において、画像処理装置２０とディスプレイ２００とはネットワークＮ１を介さずに接続しているが、ネットワークＮ１を介して接続していてもよい。ディスプレイ２００に表示される画像を画像処理システム１のユーザが視認することにより、ユーザは、画像処理装置２０が実行する画像処理の結果を把握できる。
【0034】
カメラ３００は、施設９００の所定の位置に固定されており、施設内の風景を撮影する。カメラ３００は、ネットワークＮ１を介して画像処理装置２０に通信可能に接続している。例えばカメラ３００は１秒間に３０フレームの画像を撮影し、撮影したこれらの画像にかかる画像データを画像データ取得部１１１に供給する。図に示すように、例えばカメラ３００は点線により示した画角により人物Ｐ１、人物Ｐ２および人物Ｐ３が存在する風景を撮影し、画像データを生成して画像処理装置２０に供給する。
【0035】
次に、図４を参照して画像処理装置２０についてさらに説明する。図４は、実施の形態２にかかる画像処理装置２０のブロック図である。画像処理装置２０は、参照位置設定部１１６を有する点が、実施の形態１にかかる画像処理装置１０と異なる。
【0036】
画像データ取得部１１１は、カメラ３００から複数の画像データを取得する。複数の画像データとは、異なる時刻に撮影された画像データである。画像データ取得部１１１は例えば、毎秒３０フレームのカメラから３０分の１秒毎に、画像データを受け取る。
【0037】
本実施の形態におけるマスク領域設定部１１２は、カメラ３００が撮影した空間における所定の高さに設定された仮想の水平面内にマスク領域を設定する。このとき所定の高さは例えばユーザにより設定され得る。またマスク領域設定部１１２は、画像データにかかる空間における床面を推定し、推定した床面にマスク領域を設定するものであってもよい。このような構成により、画像処理装置２０は、ユーザがマスク領域の設定を行う際に、設定が容易になる。また後述の参照位置と組み合わせることにより、画像処理装置２０は、人物が所定のマスク領域に侵入したか否かを容易に判定できる。
【0038】
本実施の形態における特定部１１３は、動いている人物の画像として人物画像を特定する。そのため、特定部１１３は、まず画像データ取得部１１１から異なる時刻に生成された複数の画像データを取得する。次に、特定部１１３は例えば、これら複数の画像データのそれぞれ対応する画素の差分を求める。これにより特定部１１３は、動いている物体の画像を検出する。さらに特定部１１３は、動いている物体の画像から人物画像を特定する。なお、特定部１１３が動いている人物の画像を特定する手法は、上述のものに限られない。例えば特定部１１３は、画像データ取得部１１１から受け取る画像データごとに人物画像を検出し、人物画像を検出した画像の前または後のフレームとの差分を求めることにより、動いている人物にかかる人物画像を検出してもよい。
【0039】
特定部１１３は、抽出した画像データが人物画像であることを同定するための学習器を介して人物画像を特定するものであってもよい。この場合、学習器は、抽出した画像データの特徴量を算出し、算出した特徴量が人物画像の特徴量と類似していることを検出するものであってもよい。このような学習器は、例えばＨＯＧ（Histograms of Oriented Gradients）やサポートベクターマシンを利用したものであってもよい。
【0040】
また特定部１１３は、多層構造のニューラルネットワークを含む学習器を介して人物画像を特定してもよい。この場合、特定部１１３は、深層学習を行った学習器を含むものであってもよい。なお、深層学習を行った学習器は、学習済みモデルとも称される。特定部１１３は、このような学習済みモデルを含むものであってもよいし、画像処理装置１０の外部に存在する学習済みモデルと通信可能に接続する構造を有していてもよい。
【0041】
また特定部１１３は、人物の外側に接する外接矩形を特定するものであってもよい。すなわち特定部１１３は、人物画像を含む矩形画像を人物画像として特定する。この場合に特定部１１３は、カメラから取得した画像データにかかる所定の矩形画像を抽出し、抽出した矩形画像が人物画像であるか否かを判定する。これにより特定部１１３は、人物画像を特定する処理を簡素化または高速化できる。特定部１１３が外接矩形を特定する場合、判定部１１４は、外接矩形がマスク領域に含まれるか否かを判定する。
【0042】
本実施の形態における参照位置設定部１１６は、人物画像にかかる参照位置を設定する。参照位置設定部１１６は例えば、上記外接矩形の所定位置に参照位置を設定する。外接矩形の所定位置とは、例えば、矩形の下端中央位置である。また外接矩形の所定位置とは、例えば、矩形の中央位置である。参照位置を設定することにより、判定部１１４は、参照位置がマスク領域に含まれるか否かを判定できる。または参照位置を例えば人物画像の下端部に設定し、マスク領域を床面における所定の範囲に設定することにより、画像処理装置２０は、人物が所定のマスク領域に侵入したか否かを容易に判定できる。なお、参照位置設定部１１６が設定する参照位置は、所定の範囲を有する領域であってもよいし、所定の位置の画素を指定するものであってもよい。また参照位置は１つでもよいし複数でもよい。
【0043】
本実施の形態における判定部１１４は、人物画像がマスク領域に含まれるか否かを判定する際に、例えば、外接矩形がマスク領域に含まれるか否かを判定してもよい。あるいは、本実施の形態における判定部１１４は、人物画像にかかる参照位置がマスク領域に含まれるか否かを判定してもよい。また判定部１１４は、ユーザの操作や所定の条件等により、このような判定の設定を行ってもよい。
【0044】
次に、図５を参照して、画像処理装置２０が実行する処理について説明する。図５は、実施の形態２にかかる画像処理装置のフローチャートである。図５に示す例は、参照位置設定部１１６が設定した参照位置がマスク領域に含まれるか否かを判定するものである。図５に示すフローチャートは、ステップＳ１３とステップＳ１５との間における処理が、実施の形態１におけるフローチャートと異なる。
【0045】
ステップＳ１３において、特定部１１３は、画像データに含まれる人物画像を特定する（ステップＳ１３）。ここで特定部１１３は、外接矩形を人物画像として特定する。特定部１１３は、特定した人物画像に関する情報を、参照位置設定部１１６に供給する。
【0046】
次に、参照位置設定部１１６は、人物画像にかかる参照位置を設定する（ステップＳ２１）。参照位置設定部１１６は、設定した参照位置に関する情報を判定部１１４に供給する。
【0047】
次に、判定部１１４は、人物画像に設定した参照位置がマスク領域に含まれるか否かを判定する（ステップＳ２２）。参照位置がマスク領域に含まれると判定しない場合（ステップＳ２２：ＮＯ）、画像処理装置２０は、マスク処理を実行せずにフローチャートを終了する。参照位置がマスク領域に含まれると判定する場合（ステップＳ２２：ＹＥＳ）、画像処理装置２０は、ステップＳ１５に進み、処理部１１５は、判定結果にしたがい、マスク領域に含まれる人物をマスクする処理を行う（ステップＳ１５）。処理部１１５がマスク処理を実行し終えると、画像処理装置２０は、一連の処理を終了する。
【0048】
次に、図６を参照して、画像処理装置２０が処理する画像データの例について説明する。図６は、実施の形態２にかかる画像処理装置２０が処理する画像の例を示す図である。図６には、画像２０１が示されている。画像２０１は、ディスプレイ２００に表示される画像の例である。画像２０１は、カメラ３００により撮影された施設９００の風景であって、人物Ｐ１、人物Ｐ２および人物Ｐ３が歩いている状況が示されている。
【0049】
画像２０１には、マスク領域設定部１１２が設定した第１マスク領域２４０が太い二点鎖線により示されている。第１マスク領域２４０は、画像２０１にかかる空間における床面に設定されている。そのため図に示すように、第１マスク領域２４０は、画像にかかる空間の手前側（画像２０１の下方）の方が、画像にかかる空間の奥側（画像２０１の上方）よりも広く表示されている。マスク領域設定部１１２は、画像データ取得部１１１から受け取った画像データを解析して、このように、空間の奥行きを仮想的に設定できる。
【0050】
画像２０１に含まれる人物Ｐ１の画像は、第１人物画像２１０である。第１人物画像２１０は、人物Ｐ１の周囲に設定された外接矩形を含む。第１人物画像２１０の下端には、第１参照点２１１が示されている。同様に、人物Ｐ２の画像は、第２人物画像２２０であって、人物Ｐ２の周囲に設定された外接矩形および第２人物画像２２０の下端に設定された第２参照点２２１を含む。また人物Ｐ３の画像は、第３人物画像２３０であって、人物Ｐ３の周囲に設定された外接矩形および第３人物画像２３０の下端に設定された第３参照点２３１を含む。このように、図６に示す例において、特定部１１３は、人物を特定すると、外接矩形により人物画像を特定する。また参照位置設定部１１６は、外接矩形の下端中央部に参照位置を設定する。
【0051】
特定部１１３が人物画像を特定する際および外接矩形を設定する際に、特定部１１３は、例えば画像２０１を、畳み込み処理により所定の大きさの人物画像が存在するか否かを解析する。画像２０１は、例えば画像の左上が原点であり、左から右に向かう横方向がＸ軸であり、上から下に向かう縦方向がＹ軸である。この場合、例えば特定部１１３は、原点からＸプラス方向に画像の解析処理を行い、右端まで処理が終わると、Ｙ軸をプラス方向に移動させ、再び左端からＸプラス方向に解析処理を行う。
【0052】
このとき特定部１１３は、画像２０１の奥行きに応じて、解析する際の矩形の大きさを変化させ得る。すなわち特定部１１３は、画像２０１の上側すなわち空間の奥側ほど比較的に小さいサイズにより人物画像の特定を行い、画像２０１の下側すなわち空間の手前側ほど比較的に大きいサイズにより人物画像の特定を行う。このような処理により、特定部１１３は、効率よく人物画像を特定できる。
【0053】
図６に示す例では、第１マスク領域２４０は、第１人物画像２１０を全く含まず、第２人物画像２２０の下部を含み、第３人物画像２３０の全体を含む。このような状況において、判定部１１４は、少なくとも第１人物画像２１０が第１マスク領域２４０に含まれると判定しない。
【0054】
判定部１１４の設定が外接矩形の全体を含む場合にマスク処理を行うものであった場合には、判定部１１４は第３人物画像２３０を第１マスク領域２４０に含むと判定する一方、第２人物画像２２０を第１マスク領域２４０に含むと判定しない。この場合、処理部１１５は、第３人物画像２３０に対してマスク処理を行う。
【0055】
判定部１１４の設定が参照位置を含む場合にマスク処理を行うものであった場合には、判定部１１４は第２人物画像２２０および第３人物画像２３０を第１マスク領域２４０に含むと判定する。この場合、処理部１１５は、第２人物画像２２０および第３人物画像２３０に対してマスク処理を行う。
【0056】
以上、実施の形態２について説明した。実施の形態２にかかる画像処理装置２０は、所定の条件に従い、特定した人物画像がマスク領域に含まれるか否かを判定する。よって、実施の形態２によれば、マスク領域に含まれる人物を適切にマスクする画像処理装置等を提供することができる。
【0057】
＜実施の形態３＞
次に、実施の形態３について説明する。実施の形態３は、人物の身体を推定する機能を有する点が、上述の実施の形態と異なる。図７は、実施の形態３にかかる画像処理装置３０のブロック図である。画像処理装置３０は、上述の構成に加えて、身体推定部１１７を有する。
次に、実施の形態３について説明する。実施の形態３は、人物の身体を推定する機能を有する点が、上述の実施の形態と異なる。図７は、実施の形態３にかかる画像処理装置３０のブロック図である。画像処理装置３０は、上述の構成に加えて、身体推定部１１７を有する。
【0058】
身体推定部１１７は、特定部１１３が特定した人物画像を受け取り、受け取った人物画像から人物の身体を推定する。本実施の形態における「人物の身体」は、人物の身体を形成する主たる構造をモデル化したものをいう。
【0059】
例えば身体推定部１１７は、人物画像から人物の主たる関節の位置を推定する。またこの場合、身体推定部１１７は、推定した関節の位置から、関連する関節同士を結び、人物の姿勢を推定してもよい。
【0060】
また例えば身体推定部１１７は、人物画像から人物の主たる部位（頭部、胴体部、腕部、脚部など）の位置や姿勢を推定してもよい。またこの場合、身体推定部１１７は、推定した身体の姿勢の位置から、主たる部位同士を接続する関節点を推定してもよい。
【0061】
身体推定部１１７は、人物画像から、人物画像に含まれない人物の身体を補完して身体を推定してもよい。例えばカメラが撮影した人物の足元に任意の物体が存在する場合には、画像データに含まれる人物画像には、この人物の足元が含まれない。ここで、身体推定部１１７は、一般的な人間の身体における各部位の大きさの比率情報を記憶している。そのため、身体推定部１１７は、この比率情報を参照して人物画像における人物の身体を補完することができる。
【0062】
なお、身体推定部１１７は、人物画像における主たる部位の特徴量を算出して人物の姿勢を推定してもよい。また身体推定部１１７は、人物画像から姿勢を推定する場合に、所定の学習を行った学習済みモデルを利用してもよい。
【0063】
本実施の形態における判定部１１４は、人物の身体がマスク領域に含まれるか否かを判定するものであってもよい。この場合、判定部１１４は、人物の身体のうち、予め設定された部分がマスク領域に含まれるか否かを判定するものであってもよい。また判定部１１４は、参照位置設定部１１６が設定した参照位置がマスク領域に含まれるか否かを判定するものであってもよい。
【0064】
本実施の形態における参照位置設定部１１６は、人物の身体の情報を受け取り、受け取った身体の情報から、この人物における所定の部位に参照位置を設定するものであってもよい。例えば参照位置設定部１１６は、人物の足元に参照位置を設定するものであってもよい。より詳細には例えば、参照位置設定部１１６は、人物の右足と左足を結ぶ直線と人物の背骨に沿った直線との交点を含む参照位置を設定するものであってもよい。参照位置設定部１１６は、上述の内容に限られず、人物の所定の位置を参照位置に設定してもよい。
【0065】
本実施の形態におけるマスク領域設定部１１２は、複数のマスク領域を設定できる。また本実施の形態における判定部１１４は、複数のマスク領域が設定された場合において、それぞれのマスク領域に対して個別の条件により人物画像が含まれるか否かを判定できる。すなわち、マスク領域設定部１１２が例えば、第１マスク領域と、第１マスク領域と異なる第２マスク領域とを設定した場合において、判定部１１４は、第１マスク領域に対しては所定の第１条件により人物画像が第１マスク領域に含まれるか否かを判定する。また判定部１１４は、第２マスク領域に対しては第１条件と異なる第２条件により人物画像が第２マスク領域に含まれるか否かを判定する。
【0066】
次に、図８を参照して実施の形態３にかかる画像処理方法について説明する。図８は、実施の形態３にかかる画像処理装置のフローチャートである。図８に示すフローチャートは、ステップＳ１３とステップＳ２１との間に、ステップＳ３１が存在する点が、図５において説明したフローチャートと異なる。
【0067】
ステップＳ１３において、特定部１１３は、画像データに含まれる人物画像を特定する（ステップＳ１３）。特定部１１３は、特定した人物画像に関する情報を、身体推定部１１７に供給する。
【0068】
次に、身体推定部１１７は、受け取った人物画像に関する情報から、人物の身体を推定する（ステップＳ３１）。身体推定部１１７は、人物の身体の推定に関する情報を、参照位置設定部１１６に供給する。
【0069】
参照位置設定部１１６は、身体推定部１１７から受け取った情報から、人物画像にかかる参照位置を設定する（ステップＳ２１）。参照位置設定部１１６は、設定した参照位置に関する情報を判定部１１４に供給する。
【0070】
次に、判定部１１４は、人物の身体にかかる参照位置がマスク領域に含まれるか否かを判定する（ステップＳ２２）。参照位置がマスク領域に含まれると判定しない場合（ステップＳ２２：ＮＯ）、画像処理装置３０は、マスク処理を実行せずにフローチャートを終了する。参照位置がマスク領域に含まれると判定する場合（ステップＳ２２：ＹＥＳ）、画像処理装置３０は、ステップＳ１５に進み、処理部１１５は、判定結果にしたがい、マスク領域に含まれる人物をマスクする処理を行う（ステップＳ１５）。処理部１１５がマスク処理を実行し終えると、画像処理装置３０は、一連の処理を終了する。
【0071】
【0072】
図９は、人物Ｐ１にかかる３つの人物画像が処理の経過に沿って左から右の順に人物画像２１０Ａ、人物画像２１０Ｂおよび人物画像２１０Ｃが示されている。人物画像２１０Ａは、特定部１１３が画像データから人物を特定して設定した画像である。
【0073】
人物画像２１０Ａの右側には、人物画像２１０Ｂが示されている。人物画像２１０Ｂは、人物画像２１０Ａに第１身体画像２１２が重畳されている。身体推定部１１７は、人物画像２１０Ｂから人物Ｐ１の身体を推定して第１身体画像２１２を生成する。第１身体画像２１２は、複数の関節点を含む。また第１身体画像２１２は、２つの異なる関節点同士を接続する複数の直線を含む。
【0074】
参照位置設定部１１６は、第１身体画像２１２に含まれる関節点を参照位置として設定できる。例えば、参照位置設定部１１６は人物Ｐ１の右足関節点Ｋ１または左足関節点Ｋ２を参照位置に設定する。この場合、判定部１１４は、右足関節点Ｋ１または左足関節点Ｋ２がマスク領域に含まれるか否かを判定する。なお、参照位置設定部１１６は、複数の関節点を参照位置として設定してもよい。例えば参照位置設定部１１６は、人物Ｐ１の右足関節点Ｋ１および左足関節点Ｋ２を参照位置に設定してもよい。この場合、判定部１１４は、右足関節点Ｋ１と左足関節点Ｋ２の両方がマスク領域に含まれるか否かを判定する。すなわち参照位置設定部１１６は、上述の例に限らず、１つ以上の関節点を参照位置として設定できる。そして判定部１１４は、参照位置として設定された関節点がマスク領域に含まれるか否かを判定する。
【0075】
人物画像２１０Ｂの右側には、人物画像２１０Ｃが示されている。人物画像２１０Ｃは、人物画像２１０Ｂに第１参照点２１３が重畳されている。参照位置設定部１１６は、人物画像２１０Ｂを利用して第１参照点２１３を設定する。第１参照点２１３は、人物Ｐ１の足元に設定される参照位置である。
【0076】
参照位置設定部１１６は例えば、人物Ｐ１の右足関節点Ｋ１および左足関節点Ｋ２を結んだ直線Ｌ１の中点を、第１参照点２１３として設定する。また参照位置設定部１１６は例えば、人物Ｐ１の右足関節点Ｋ１と左足関節点Ｋ２とを結ぶ直線Ｌ１と人物Ｐ１の背骨に沿った直線Ｌ２との交点を、第１参照点２１３として設定する。この場合、判定部１１４は、人物Ｐ１の足元に設定された第１参照点２１３がマスク領域に含まれるか否かを判定する。
【0077】
次に、図１０を参照して、画像処理装置３０が行う処理にかかる画像の具体例を説明する。図１０は、実施の形態３にかかる画像処理装置が処理する画像の例を示す図である。図１０には、画像２０２が示されている。画像２０２は、図６と同様に、人物Ｐ１、人物Ｐ２および人物Ｐ３が歩いている状況が示されている。また画像２０２は、マスク領域設定部１１２が設定した第１マスク領域２４０が太い二点鎖線により示されている。さらに画像２０２は、マスク領域設定部１１２が設定した第２マスク領域２５０が太い一点鎖線により示されている。ここで、第１マスク領域２４０と第２マスク領域２５０とは、互いに重なり合う重複領域２４５を有している。
【0078】
画像２０２に含まれる人物Ｐ１の画像は、第１人物画像２１０Ｃである。第１人物画像２１０Ｃは、人物Ｐ１の周囲に設定された外接矩形を含む。また第１人物画像２１０Ｃは、図９において説明したように、第１身体画像２１２と第１参照点２１３とを含む。同様に、人物Ｐ２の画像は、第２人物画像２２０Ｃであって、人物Ｐ２の周囲に設定された外接矩形、第２身体画像２２２および第２参照点２２３を含む。また人物Ｐ３の画像は、第３人物画像２３０Ｃであって、人物Ｐ３の周囲に設定された外接矩形、第３身体画像２３２および第３参照点２３３を含む。
【0079】
図１０に示す画像２０２において、マスク領域設定部１１２は、第１マスク領域２４０と、第２マスク領域２５０とを設定している。また判定部１１４は、第１マスク領域２４０に対しては第１条件により人物画像が第１マスク領域２４０に含まれるか否かを判定する。第１条件は、人物画像である外接矩形が第１マスク領域２４０に含まれることである。また、判定部１１４は、第２マスク領域２５０に対しては第１条件と異なる第２条件により人物画像が第２マスク領域２５０に含まれるか否かを判定する。第２条件は、人物画像にかかる参照位置が第２マスク領域２５０に含まれることである。
【0080】
図１０における第１人物画像２１０Ｃは、第１条件にも第２条件にも合致しない。そのため、第１人物画像２１０Ｃはマスク処理の対象外である。第２人物画像２２０Ｃは、第１条件には合致しないが第２条件には合致する。また第３人物画像２３０Ｃは、第１条件には合致するが第２条件には合致しない。そのため、第２人物画像２２０Ｃおよび第３人物画像２３０Ｃは、マスク処理の対象である。処理部１１５は、第２人物画像２２０Ｃおよび第３人物画像２３０Ｃに対してマスク処理を実行する。
【0081】
以上、実施の形態３について説明した。画像処理装置３０は、身体推定部１１７を有することにより、人物画像における人物の関節点や足元位置などを特定し、特定した位置がマスク領域に含まれるか否かを判定できる。よって、実施の形態３によれば、マスク領域に含まれる人物の身体の状況に対応したマスク処理を行う画像処理装置等を提供することができる。また画像処理装置３０は、複数のマスク領域を設定し、設定したマスク領域ごとに異なる判定条件を設定できる。よって、実施の形態３によれば、マスク領域に対して好適に条件を設定できる画像処理装置等を提供することができる。
【0082】
＜ハードウェア構成の例＞
以下、本開示における画像処理装置の各機能構成がハードウェアとソフトウェアとの組み合わせで実現される場合について説明する。
以下、本開示における画像処理装置の各機能構成がハードウェアとソフトウェアとの組み合わせで実現される場合について説明する。
【0083】
図１１は、コンピュータのハードウェア構成を例示するブロック図である。本開示における画像処理装置は、図に示すハードウェア構成を含むコンピュータ５００により上述の機能を実現できる。コンピュータ５００は、スマートフォンやタブレット端末などといった可搬型のコンピュータであってもよいし、ＰＣなどの据え置き型のコンピュータであってもよい。コンピュータ５００は、各装置を実現するために設計された専用のコンピュータであってもよいし、汎用のコンピュータであってもよい。コンピュータ５００は、所定のアプリケーションをインストールされることにより、所望の機能を実現できる。
【0084】
コンピュータ５００は、バス５０２、プロセッサ５０４、メモリ５０６、ストレージデバイス５０８、入出力インタフェース（Ｉ／Ｆ）５１０およびネットワークインタフェース（Ｉ／Ｆ）５１２を有する。バス５０２は、プロセッサ５０４、メモリ５０６、ストレージデバイス５０８、入出力インタフェース５１０、及びネットワークインタフェース５１２が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ５０４などを互いに接続する方法は、バス接続に限定されない。
【0085】
プロセッサ５０４は、ＣＰＵ、ＧＰＵまたはＦＰＧＡなどの種々のプロセッサである。メモリ５０６は、ＲＡＭ（Random Access Memory）などを用いて実現される主記憶装置である。
【0086】
ストレージデバイス５０８は、ハードディスク、ＳＳＤ、メモリカード、又はＲＯＭ（Read Only Memory）などを用いて実現される補助記憶装置である。ストレージデバイス５０８は、所望の機能を実現するためのプログラムが格納されている。プロセッサ５０４は、このプログラムをメモリ５０６に読み出して実行することで、各装置の各機能構成部を実現する。
【0087】
入出力インタフェース５１０は、コンピュータ５００と入出力デバイスとを接続するためのインタフェースである。例えば入出力インタフェース５１０には、キーボードなどの入力装置や、ディスプレイ装置などの出力装置が接続される。
【0088】
ネットワークインタフェース５１２は、コンピュータ５００をネットワークに接続するためのインタフェースである。
【0089】
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
【0090】
上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
（付記１）
カメラが撮影した所定の空間の画像データを取得する画像データ取得手段と、
前記空間におけるマスク領域を設定するマスク領域設定手段と、
前記画像データに含まれる人物の画像である人物画像を特定する特定手段と、
前記人物画像に基づいて、前記人物の身体を推定する身体推定手段と、
前記人物画像にかかる前記人物の身体が前記マスク領域に含まれるか否かの判定を行う判定手段と、
前記判定手段による判定の結果に基づいて、前記人物をマスクする処理を行う処理手段と、を備える
画像処理装置。
（付記２）
前記画像データ取得手段は、異なる時刻に生成された複数の前記画像データを取得し、
前記特定手段は、前記複数の前記画像データに基づいて動いている前記人物の前記人物画像を特定する、
付記１に記載の画像処理装置。
（付記３）
前記特定手段は、抽出した前記画像データが前記人物画像であることを同定する学習器を介して前記人物画像を特定する、
付記1または２に記載の画像処理装置。
（付記４）
前記特定手段は、多層構造のニューラルネットワークを含む前記学習器を介して前記人物画像を特定する、
付記３に記載の画像処理装置。
（付記５）
前記特定手段は、前記人物の外側に接する外接矩形を特定し、
前記判定手段は、前記外接矩形が前記マスク領域に含まれるか否かを判定する、
付記1～４のいずれか一項に記載の画像処理装置。
（付記６）
前記人物画像にかかる参照位置を設定する参照位置設定手段をさらに備え、
前記参照位置設定手段は、前記外接矩形の所定位置に前記参照位置を設定し、
前記判定手段は、前記参照位置が前記マスク領域に含まれるか否かを判定する、
付記５に記載の画像処理装置。
（付記７）
前記身体推定手段は、前記人物画像に基づいて、前記人物画像に含まれない前記人物の身体を補完して前記身体を推定する、
付記１に記載の画像処理装置。
（付記８）
前記人物画像にかかる参照位置を設定する参照位置設定手段をさらに備え、
前記参照位置設定手段は、前記身体の情報に基づいて、前記人物における所定の部位に前記参照位置を設定する、
付記７に記載の画像処理装置。
（付記９）
前記参照位置設定手段は、前記身体の情報に基づいて、前記人物の足元に前記参照位置を設定する、
付記８に記載の画像処理装置。
（付記１０）
前記参照位置設定手段は、前記身体の情報に基づいて、前記人物の右足と左足を結ぶ直線と前記人物の背骨に沿った直線との交点を含む前記参照位置を設定する、
付記８に記載の画像処理装置。
（付記１１）
前記身体推定手段は、前記人物画像に基づいて、前記人物の関節点を推定し、
前記参照位置設定手段は、所定の前記関節点を前記参照位置として設定する、
付記８に記載の画像処理装置。
（付記１２）
マスク領域設定手段は、前記空間における所定の高さに設定された仮想の水平面内に前記マスク領域を設定する
付記1～１１のいずれか一項に記載の画像処理装置。
（付記１３）
前記マスク領域設定手段は、前記空間における床面を推定し、前記床面に前記マスク領域を設定する、
付記１２に記載の画像処理装置。
（付記１４）
前記マスク領域設定手段は、第１マスク領域と、前記第１マスク領域と異なる第２マスク領域とを設定し、
前記判定手段は、前記第１マスク領域に対しては所定の第１条件により前記人物画像が前記第１マスク領域に含まれるか否かを判定し、
前記第２マスク領域に対しては前記第１条件と異なる第２条件により前記人物画像が前記第２マスク領域に含まれるか否かを判定する、
付記1～１３のいずれか一項に記載の画像処理装置。
（付記１５）
コンピュータが、
カメラが撮影した所定の空間の画像データを取得し、
前記空間におけるマスク領域を設定し、
前記画像データに含まれる人物の画像である人物画像を特定し、
前記人物画像に基づいて、前記人物の身体を推定し、
前記人物画像にかかる前記人物の身体が前記マスク領域に含まれるか否かの判定を行い、
前記判定の結果に基づいて、前記人物をマスクする処理を行う、
画像処理方法。
（付記１６）
カメラが撮影した所定の空間の画像データを取得する処理と、
前記空間におけるマスク領域を設定する処理と、
前記画像データに含まれる人物の画像である人物画像を特定する処理と、
前記人物画像に基づいて、前記人物の身体を推定する処理と、
前記人物画像にかかる前記人物の身体が前記マスク領域に含まれるか否かの判定を行う処理と、
前記判定の結果に基づいて、前記人物をマスクする処理を行う処理と、を備える画像処理方法を、コンピュータに実行させるプログラムが格納された非一時的なコンピュータ可読媒体。
（付記１）
カメラが撮影した所定の空間の画像データを取得する画像データ取得手段と、
前記空間におけるマスク領域を設定するマスク領域設定手段と、
前記画像データに含まれる人物の画像である人物画像を特定する特定手段と、
前記人物画像に基づいて、前記人物の身体を推定する身体推定手段と、
前記人物画像にかかる前記人物の身体が前記マスク領域に含まれるか否かの判定を行う判定手段と、
前記判定手段による判定の結果に基づいて、前記人物をマスクする処理を行う処理手段と、を備える
画像処理装置。
（付記２）
前記画像データ取得手段は、異なる時刻に生成された複数の前記画像データを取得し、
前記特定手段は、前記複数の前記画像データに基づいて動いている前記人物の前記人物画像を特定する、
付記１に記載の画像処理装置。
（付記３）
前記特定手段は、抽出した前記画像データが前記人物画像であることを同定する学習器を介して前記人物画像を特定する、
付記1または２に記載の画像処理装置。
（付記４）
前記特定手段は、多層構造のニューラルネットワークを含む前記学習器を介して前記人物画像を特定する、
付記３に記載の画像処理装置。
（付記５）
前記特定手段は、前記人物の外側に接する外接矩形を特定し、
前記判定手段は、前記外接矩形が前記マスク領域に含まれるか否かを判定する、
付記1～４のいずれか一項に記載の画像処理装置。
（付記６）
前記人物画像にかかる参照位置を設定する参照位置設定手段をさらに備え、
前記参照位置設定手段は、前記外接矩形の所定位置に前記参照位置を設定し、
前記判定手段は、前記参照位置が前記マスク領域に含まれるか否かを判定する、
付記５に記載の画像処理装置。
（付記７）
前記身体推定手段は、前記人物画像に基づいて、前記人物画像に含まれない前記人物の身体を補完して前記身体を推定する、
付記１に記載の画像処理装置。
（付記８）
前記人物画像にかかる参照位置を設定する参照位置設定手段をさらに備え、
前記参照位置設定手段は、前記身体の情報に基づいて、前記人物における所定の部位に前記参照位置を設定する、
付記７に記載の画像処理装置。
（付記９）
前記参照位置設定手段は、前記身体の情報に基づいて、前記人物の足元に前記参照位置を設定する、
付記８に記載の画像処理装置。
（付記１０）
前記参照位置設定手段は、前記身体の情報に基づいて、前記人物の右足と左足を結ぶ直線と前記人物の背骨に沿った直線との交点を含む前記参照位置を設定する、
付記８に記載の画像処理装置。
（付記１１）
前記身体推定手段は、前記人物画像に基づいて、前記人物の関節点を推定し、
前記参照位置設定手段は、所定の前記関節点を前記参照位置として設定する、
付記８に記載の画像処理装置。
（付記１２）
マスク領域設定手段は、前記空間における所定の高さに設定された仮想の水平面内に前記マスク領域を設定する
付記1～１１のいずれか一項に記載の画像処理装置。
（付記１３）
前記マスク領域設定手段は、前記空間における床面を推定し、前記床面に前記マスク領域を設定する、
付記１２に記載の画像処理装置。
（付記１４）
前記マスク領域設定手段は、第１マスク領域と、前記第１マスク領域と異なる第２マスク領域とを設定し、
前記判定手段は、前記第１マスク領域に対しては所定の第１条件により前記人物画像が前記第１マスク領域に含まれるか否かを判定し、
前記第２マスク領域に対しては前記第１条件と異なる第２条件により前記人物画像が前記第２マスク領域に含まれるか否かを判定する、
付記1～１３のいずれか一項に記載の画像処理装置。
（付記１５）
コンピュータが、
カメラが撮影した所定の空間の画像データを取得し、
前記空間におけるマスク領域を設定し、
前記画像データに含まれる人物の画像である人物画像を特定し、
前記人物画像に基づいて、前記人物の身体を推定し、
前記人物画像にかかる前記人物の身体が前記マスク領域に含まれるか否かの判定を行い、
前記判定の結果に基づいて、前記人物をマスクする処理を行う、
画像処理方法。
（付記１６）
カメラが撮影した所定の空間の画像データを取得する処理と、
前記空間におけるマスク領域を設定する処理と、
前記画像データに含まれる人物の画像である人物画像を特定する処理と、
前記人物画像に基づいて、前記人物の身体を推定する処理と、
前記人物画像にかかる前記人物の身体が前記マスク領域に含まれるか否かの判定を行う処理と、
前記判定の結果に基づいて、前記人物をマスクする処理を行う処理と、を備える画像処理方法を、コンピュータに実行させるプログラムが格納された非一時的なコンピュータ可読媒体。
【0091】
この出願は、２０２０年１２月１４日に出願された日本出願特願２０２０－２０６７０７を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【符号の説明】
【0092】
１ 画像処理システム
１０ 画像処理装置
２０ 画像処理装置
３０ 画像処理装置
１１１ 画像データ取得部
１１２ マスク領域設定部
１１３ 特定部
１１４ 判定部
１１５ 処理部
１１６ 参照位置設定部
１１７ 身体推定部
２００ ディスプレイ
２０１ 画像
２１０ 第１人物画像
２１１ 第１参照点
２１２ 第１身体画像
２１３ 第１参照点
２２０ 第２人物画像
２２１ 第２参照点
２２２ 第２身体画像
２２３ 第２参照点
２３０ 第３人物画像
２３１ 第３参照点
２３２ 第３身体画像
２３３ 第３参照点
２４０ 第１マスク領域
２５０ 第２マスク領域
３００ カメラ
５００ コンピュータ
９００ 施設
Ｎ１ ネットワーク
Ｐ１ 人物
Ｐ２ 人物
Ｐ３ 人物
１０ 画像処理装置
２０ 画像処理装置
３０ 画像処理装置
１１１ 画像データ取得部
１１２ マスク領域設定部
１１３ 特定部
１１４ 判定部
１１５ 処理部
１１６ 参照位置設定部
１１７ 身体推定部
２００ ディスプレイ
２０１ 画像
２１０ 第１人物画像
２１１ 第１参照点
２１２ 第１身体画像
２１３ 第１参照点
２２０ 第２人物画像
２２１ 第２参照点
２２２ 第２身体画像
２２３ 第２参照点
２３０ 第３人物画像
２３１ 第３参照点
２３２ 第３身体画像
２３３ 第３参照点
２４０ 第１マスク領域
２５０ 第２マスク領域
３００ カメラ
５００ コンピュータ
９００ 施設
Ｎ１ ネットワーク
Ｐ１ 人物
Ｐ２ 人物
Ｐ３ 人物
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】