特許 7387981 画像処理装置、画像処理方法、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-11-20

(45)【発行日】2023-11-29

(54)【発明の名称】画像処理装置、画像処理方法、プログラム

(51)【国際特許分類】

   G06T 1/00 20060101AFI20231121BHJP

   H04N 7/18 20060101ALI20231121BHJP

   G06T 7/00 20170101ALI20231121BHJP

【ＦＩ】

G06T1/00 340B

H04N7/18 D

G06T7/00 660B

【請求項の数】 7

(21)【出願番号】P 2018214591

(22)【出願日】2018-11-15

(65)【公開番号】P2020086504

(43)【公開日】2020-06-04

【審査請求日】2021-10-08

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100106909

【弁理士】

【氏名又は名称】棚井 澄雄

(74)【代理人】

【識別番号】100134544

【弁理士】

【氏名又は名称】森 隆一郎

(74)【代理人】

【識別番号】100149548

【弁理士】

【氏名又は名称】松沼 泰史

(74)【代理人】

【識別番号】100162868

【弁理士】

【氏名又は名称】伊藤 英輔

(72)【発明者】

【氏名】田中 大樹

【審査官】岡本 俊威

(56)【参考文献】

【文献】特開２０１４－０９６６６１（ＪＰ，Ａ）

【文献】国際公開第２０１８／０９２３７８（ＷＯ，Ａ１）

【文献】特開２０１７－１８８７７１（ＪＰ，Ａ）

【文献】特開２０１８－１７０５７４（ＪＰ，Ａ）

【文献】特開２０１１－０３０１１６（ＪＰ，Ａ）

【文献】国際公開第２０１６／１１７６００（ＷＯ，Ａ１）

【文献】特開２０１３－１８６８３８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１８

Ｇ０６Ｔ １／００ － １／４０

Ｇ０６Ｔ ３／００ － ５／５０

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

処理対象の店舗内の撮影画像に写る人物を当該人物の特徴に基づいて判定して認識できた場合にそれら人物のうちの店員を当該店員の制服の色と模様に基づいて判定し当該店員以外の全ての除去対象人物の顔を含む体全体の画素範囲を示す被写範囲を特定する範囲特定部と、
複数の撮影画像のうち前記処理対象の撮影画像の撮影時刻より前の撮影時刻の撮影画像を過去に遡って順次取得し、当該前の撮影時刻の撮影画像の前記被写範囲に相当する画素に前記除去対象人物が入り込まない撮影画像を示す過去撮影画像を特定し、前記処理対象の撮影画像において特定された前記被写範囲の画素を、前記過去撮影画像における前記被写範囲に相当する範囲の画素に置換した記録画像を生成する記録画像生成部と、
を備える画像処理装置。

【請求項2】

記録画像生成部は、動画像を構成する複数の撮影画像のうち前記処理対象の撮影画像の撮影時刻より前の撮影時刻の撮影画像を過去に遡って順次取得し、当該前の撮影時刻の撮影画像の前記被写範囲に相当する画素に前記除去対象人物が入り込まない撮影画像を前記過去撮影画像と特定する
請求項１に記載の画像処理装置。

【請求項3】

前記範囲特定部は、前記処理対象の撮影画像に写る予め記憶している前記店員を示す撮影対象人物を特定し、その撮影対象人物以外の前記処理対象の撮影画像に写る人物を、前記除去対象人物と特定する
請求項１または請求項２に記載の画像処理装置。

【請求項4】

前記範囲特定部は、前記除去対象人物に付随する物体を示す画素を、前記除去対象人物の被写範囲と特定する
請求項１から請求項３の何れか一項に記載の画像処理装置。

【請求項5】

動画像を構成する前記撮影画像に基づいて繰り返し生成された前記記録画像を記録する記録部と、
を備える請求項１から請求項４の何れか一項に記載の画像処理装置。

【請求項6】

処理対象の店舗内の撮影画像に写る人物を当該人物の特徴に基づいて判定して認識できた場合にそれら人物のうちの店員を当該店員の制服の色と模様に基づいて判定し当該店員以外の全ての除去対象人物の顔を含む体全体の画素範囲を示す被写範囲を特定し、
複数の撮影画像のうち前記処理対象の撮影画像の撮影時刻より前の撮影時刻の撮影画像を過去に遡って順次取得し、当該前の撮影時刻の撮影画像の前記被写範囲に相当する画素に前記除去対象人物が入り込まない撮影画像を示す過去撮影画像を特定し、前記処理対象の撮影画像において特定された前記被写範囲の画素を、前記過去撮影画像における前記被写範囲に相当する範囲の画素に置換した記録画像を生成する
画像処理方法。

【請求項7】

処理対象の店舗内の撮影画像に写る人物を当該人物の特徴に基づいて判定して認識できた場合にそれら人物のうちの店員を当該店員の制服の色と模様に基づいて判定し当該店員以外の全ての除去対象人物の顔を含む体全体の画素範囲を示す被写範囲を特定し、
複数の撮影画像のうち前記処理対象の撮影画像の撮影時刻より前の撮影時刻の撮影画像を過去に遡って順次取得し、当該前の撮影時刻の撮影画像の前記被写範囲に相当する画素に前記除去対象人物が入り込まない撮影画像を示す過去撮影画像を特定し、前記処理対象の撮影画像において特定された前記被写範囲の画素を、前記過去撮影画像における前記被写範囲に相当する範囲の画素に置換した記録画像を生成する記録画像生成手段、
として機能させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、画像処理方法、プログラムに関する。

【背景技術】

【0002】

近年、対象となる人物を監視するための撮影装置が多くの場所に設置されている。そのような撮影装置を管理する管理者は、当該撮影装置から取得した撮影画像を用いてサービス向上等に役立てるための画像処理を画像処理装置に行わせている。例えば店舗に多数設置された撮影装置から撮影画像を受信して処理する画像処理装置は、店舗内の撮影画像に写る店員や陳列棚に並ぶ商品を検出し、その店員の動きや陳列棚に並ぶ商品の数を検出することで、より迅速に商品の補充の必要性を店員等に通知する。

【0003】

上述のような撮影画像は様々な人が写されて記録、保存されるため、プライバシー保護の観点から許可が得られていない人物の写る撮影画像の記録、保存が問題となる場合がある。

【0004】

このようなプライバシーの問題を解決するための技術として特許文献１がある。特許文献1には、監視対象以外の人物のプライバシーを保護できるようにするために、当該人物の顔領域をマスキング処理する技術が開示されている。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２００８－１７０９３号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、撮影画像中の特定の領域をマスキング処理等に不明瞭にする技術は、撮影画像の所定領域が不明瞭となるよう加工された領域が明らかに認識できる状態のまま記録されてしまう。

【0007】

そこでこの発明は、上述の課題を解決する画像処理装置、画像処理方法、プログラムを提供することを目的としている。

【課題を解決するための手段】

【0008】

本発明の第１の態様によれば、画像処理装置は、処理対象の撮影画像に写る除去対象人物の被写範囲を特定する範囲特定部と、特定された前記被写範囲の画素を、前記除去対象人物が前記被写範囲に入り込む前の過去撮影画像における前記被写範囲に相当する範囲の画素に置換した記録画像を生成する記録画像生成部と、を備えることを特徴とする。

【0009】

本発明の第２の態様によれば、画像処理方法は、処理対象の撮影画像に写る除去対象人物の被写範囲を特定し、特定された前記被写範囲の画素を、前記除去対象人物が前記被写範囲に入り込む前の過去撮影画像における前記被写範囲に相当する範囲の画素に置換した記録画像を生成することを特徴とする。

【0010】

本発明の第３の態様によれば、プログラムは、画像処理装置を、処理対象の撮影画像に写る除去対象人物の被写範囲を特定する範囲特定手段、特定された前記被写範囲の画素を、前記除去対象人物が前記被写範囲に入り込む前の過去撮影画像における前記被写範囲に相当する範囲の画素に置換した記録画像を生成する記録画像生成手段、として機能させることを特徴とする。

【発明の効果】

【0011】

本発明によれば、撮影画像に写る除去対象人物の領域がわからないように、除去対象人物が写る各撮影画像を記録することができる。

【図面の簡単な説明】

【0012】

【図1】本発明の一実施形態による画像処理システムの概要を示す図である。

【図2】本発明の一実施形態による画像処理装置のハードウェア構成を示す図である。

【図3】本発明の一実施形態による画像処理装置の機能ブロック図である。

【図4】本発明の一実施形態による画像処理装置の処理フローを示す図である。

【図5】本発明の一実施形態による画像処理装置の最小構成を示す図である。

【発明を実施するための形態】

【0013】

以下、本発明の一実施形態による画像処理システムを、図面を参照して説明する。
図１は本実施形態による画像処理装置を有する画像処理システム１００の概要を示す図である。
本実施形態による画像処理システム１００は、画像処理装置１と、店舗等に多数設置されているカメラ２とが通信接続して構成される。画像処理装置１はカメラ２から撮影画像を受信する。

【0014】

図２は画像処理装置のハードウェア構成を示す図である。
この図が示すように画像処理装置１はＣＰＵ（Central Processing Unit）１０１、ＲＯＭ（Read Only Memory）１０２、ＲＡＭ（Random Access Memory）１０３、データベース１０４、通信モジュール１０５等の各ハードウェアを備えたコンピュータである。画像処理装置１はカメラ２から受信した撮影画像に基づいて記録画像を生成しデータベース１０４へ記録する。

【0015】

図３は画像処理装置の機能ブロック図である。
画像処理装置１は予め記憶する画像処理プログラムを実行する。これにより画像処理装置１には制御部１１、取得部１２、範囲特定部１３、記録画像生成部１４、記録部１５を備える。

【0016】

制御部１１は他の機能部を制御する。
取得部１２はカメラ２から受信した撮影画像を取得する。
範囲特定部１３は、撮影画像に写る除去対象人物の被写範囲を特定する。範囲特定部１３は、撮影画像に写る予め記憶している撮影対象人物を特定し、その撮影対象人物以外の処理対象の撮影画像に写る人物を、除去対象人物と特定する。また範囲特定部１３は、除去対象人物の一部を示す画素を、除去対象人物の被写範囲と特定する。また範囲特定部１３は、除去対象人物に付随する物体を示す画素を、除去対象人物の被写範囲と特定してよい。

【0017】

記録画像生成部１４は、範囲特定部１３により特定された被写範囲の画素を、除去対象人物が被写範囲に入り込む前の過去撮影画像における当該被写範囲に相当する範囲の画素に置換した記録画像を生成する。
記録部１５は、記録画像をデータベース１０４に記録する。

【0018】

そして本実施形態による画像処理装置１は、処理対象の撮影画像に写る除去対象人物の被写範囲を特定する。画像処理装置１は特定した除去対象人物の被写範囲の画素を、除去対象人物が当該被写範囲に入り込む前の過去撮影画像における被写範囲に相当する範囲の画素に置換した記録画像を生成し、その記録画像を記録する。この記録画像の生成において、画像処理装置１は、処理対象の撮影画像の撮影時刻より前の撮影時刻の撮影画像を過去に遡って順次取得し、当該前の撮影時刻の撮影画像における除去対象人物の被写範囲に相当する範囲の画素に除去対象人物が入り込まない撮影画像を過去撮影画像と特定する。そして画像処理装置１は処理対象の撮影画像において特定した除去対象人物の被写範囲の画素を、過去撮影画像中の被写範囲に相当する範囲の画素に置換した記録画像を生成し、記録する。

【0019】

このような処理により、本実施形態による画像処理装置１は、撮影画像に写る除去対象人物の領域がわからないように、除去対象人物が写る各撮影画像を記録することができる。

【0020】

図４は画像処理装置の処理フローを示す図である。
次に画像処理装置１の処理フローについて順を追って説明する。
まず画像処理装置１はカメラ２から撮影画像を受信する。当該撮影画像は動画像を構成する一つのフレーム画像であってよい。または撮影画像は静止画像であってもよい。画像処理装置１はカメラ２から順次、撮影画像の受信を繰り返し、各撮影画像について以下の処理を行う。

【0021】

取得部１２は画像処理装置１の受信した撮影画像を取得する（ステップＳ１０１）。取得部１２は撮影画像を範囲特定部１３へ出力する。範囲特定部１３は、撮影画像に人物が写っているかを判定する（ステップＳ１０２）。例えば人物の形状の特徴情報や、顔の形状や目や口や輪郭の特徴情報を予め記憶し、撮影画像に写る物体がそれら特徴情報に類似している場合には人物が写っていると判定する。範囲特定部１３は人物が写っていない場合には、人物が写っていないことを示す判定結果と処理対象の撮影画像との対を記録画像生成部１４へ出力する。記録画像生成部１４は、人物が写っていないことを示す判定結果とともに取得した撮影画像を記録部１５へ出力する。記録部１５はその撮影画像を記録画像としてそのままデータベース１０４に記録する（ステップＳ１０３）。記録画像には撮影時刻の情報が含まれるものとする。また記録部１５は撮影画像を送信したカメラ２のＩＤに紐づけて、その撮影画像データベース１０４に記録してよい。

【0022】

範囲特定部１３は、人物の写る撮影画像に除去対象人物が写っているか否かを判定する。具体的には、画像処理装置１が店舗を撮影した撮影画像を記録する場合、除去対象人物は買い物客と設定される。この場合、範囲特定部１３は、撮影画像に写る人物の中に店員がいるかを判定する（ステップＳ１０４）。

【0023】

範囲特定部１３は、撮影画像中の店員を、店員の着る制服の色や模様に基づいて判定する。範囲特定部１３は、撮影画像中の店員を顔の特徴情報に基づいて判定してもよい。より具体的には範囲特定部１３は、撮影画像中の人物の着る服の色や模様と、予め記憶する店員の制服の色や模様形状とを比較して、一致する場合にはその人物を店員と特定する。範囲特定部１３は、店員と推定される人物の一部を示す画素に基づいて、店員がいると判定してもよい。例えば、範囲特定部１３は、撮影画像に店員の腕の一部が写る場合に、その腕を覆う制服の色に基づいて店員の腕であることを検出し、撮影画像中に店員がいると判定してもよい。

【0024】

範囲特定部１３は、撮影画像に写る人物の中に店員がいる場合には、店員以外の人物を除去対象人物と特定する（ステップＳ１０５）。範囲特定部１３は、撮影画像に写る人物の中に店員がいない場合には、撮影画像に写る全ての人物を除去対象人物と特定する（ステップＳ１０６）。

【0025】

範囲特定部１３は、撮影画像における除去対象人物の被写範囲を特定する（ステップＳ１０７）。例えば範囲特定部１３は、撮影画像に写る人物を顔の特徴情報により特定した場合には、その除去対象人物の顔を示す画素範囲と、その顔の画素範囲を含む当該除去対象人物の体全体や、その除去対象人物の体の一部を示す被写範囲を特定する。範囲特定部１３は顔の特定情報を用いて除去対象人物の顔を特定できない場合にも、店員の制服を着た人物である場合には、腕や足などの体の一部の被写範囲を特定してもよい。範囲特定部１３は、体全体や体の一部を、人の形状の特徴情報や、機械学習によって生成した画像中の人を示す画素領域を特定する判定モデルなどを利用して算出する。画像中における人の画素領域の算出は公知の技術を利用してよい。

【0026】

範囲特定部１３は、除去対象人物が把持している物、身に着けている物を特定し、その物を除去対象人物の被写範囲に含めてもよい。例えば範囲特定部１３は、除去対象人物がカバンを把持している場合には、そのカバンを除去対象人物の被写範囲に含める。また範囲特定部１３は、除去対象人物が帽子をかぶっている場合には、その帽子を除去対象人物の被写範囲に含める。範囲特定部１３は、除去対象人物が把持している物、身に着けている物など、除去対象人物の被写範囲に含める物を、判定モデルを用いて算出してよい。

【0027】

範囲特定部１３は撮影画像に複数の除去対象人物が含まれる場合には、それぞれの除去対象人物についての被写範囲を特定する。範囲特定部１３は、処理対象の撮影画像と、その撮影画像中において特定した除去対象人物の被写範囲とを含む記録画像生成要求を、記録画像生成部１４へ出力する。記録画像生成要求に含まれる除去対象人物の被写範囲は撮影画像中の除去対象人物を示す画素を特定するＩＤや番号などの画素特定識別子であってよい。

【0028】

記録画像生成部１４は、記録画像生成要求の取得に基づいて、除去対象人物の被写範囲を検出する。記録画像生成部１４は、記録画像生成要求に含まれる処理対象の撮影画像の撮影時刻を検出する。撮影時刻は撮影画像に含まれていてよい。記録画像生成部１４は、その撮影時刻の前の時刻に撮影された撮影画像のうち、人物が写っていない過去撮影画像を取得する。例えば、データベース１０４には過去撮影画像が記録画像として記録されている。記録画像生成部１４は、データベース１０４から、処理対象の撮影画像の撮影時刻より前の時刻の撮影時刻を含む過去撮影画像（記録画像）を読み取る。この過去撮影画像は、既に除去対象人物が含まれる場合には、その人物が除去された撮影画像である。

【0029】

または記録画像生成部１４は、処理対象の撮影画像が動画像の一部を構成する画像情報である場合には、画像処理装置１のＲＡＭ１０３に設けられたバッファ等に蓄積されている過去撮影画像を取得してもよい。この時、記録画像生成部１４は過去撮影画像のうち、順次時間を遡って、処理対象の撮影画像における除去対象人物の被写範囲に対応する範囲に、人物が写っていないと最初に判定した過去撮影画像を取得する（ステップＳ１０８）。この処理は、記録画像生成部１４が、動画像を構成する複数の撮影画像のうち処理対象の撮影画像の撮影時刻より前の撮影時刻の撮影画像を過去に遡って順次取得し、その前の撮影時刻の撮影画像において処理対象の撮影画像の除去対象人物の被写範囲に相当する範囲を特定し、かつ、その範囲に除去対象人物が入り込まない撮影画像を過去撮影画像と特定する処理の一態様である。

【0030】

記録画像生成部１４は、人物が写っているか否かの判定を上記の処理と同様に行うようにしてもよい。または過去撮影画像は、過去に人物が写っているかの判定処理が行われた撮影画像である。従って記録画像生成部１４は、人物が写っているか否かを示すフラグが撮影画像内に記録されている場合には、そのフラグに基づいて、人物が写っていない過去撮影画像を特定して取得してもよい。

【0031】

記録画像生成部１４は、処理対象の撮影画像における除去対象人物の被写範囲に対応する範囲を過去撮影画像において特定し、その範囲の画素を読み取る。そして、記録画像生成部１４は、処理対象の撮影画像における除去対象人物の被写範囲の各画素を、過去撮影画像における対応する範囲の各画素に置換した記録画像を生成する（ステップＳ１０９）。記録画像生成部１４は、その記録画像をデータベース１０４に記録する（ステップＳ１１０）。制御部１１は処理を終了するかを判定する（ステップＳ１１１）。制御部１１は処理を終了しない場合には、ステップＳ１０１からの処理を繰り返す制御を行う。

【0032】

以上の処理により、画像処理装置１がカメラ２から取得した撮影画像が静止画像である場合も動画像を構成する一部の撮影画像である場合も、除去対象人物を含まない記録画像が記録される。そして、除去対象人物を除去するにあたり、除去対象人物を示す画素を単に過去の撮影画像の画素に置き換えるのみの処理であるため、撮影画像に写る除去対象人物を除去して記録、保存する処理の負荷を軽減することができる。

【0033】

また、上述の処理によれば、撮影画像に写る除去対象人物の領域がわからないように、除去対象人物が写る各撮影画像を記録することができる。そして、除去対象人物が写る領域を直前の除去対象人物が写らない撮影画像の該当する範囲の画素に置換するため、記録されたどのような撮影画像を用いても、除去対象人物がいない状態の画像を用いた処理を行うことができる。例えば、店舗を撮影した画像を用いて商品棚に並べられた商品の個数をカウントするような場合、どの撮影画像を用いてもその個数をカウントする処理を行うことができる。

【0034】

上述の処理において、画像処理装置１は、生成した記録画像を記録すると共に、記録画像を生成した場合にも、その記録画像の記録と共に、未加工の撮影画像をそのまま記録してもよい。また画像処理装置１は、撮影画像をそのまま記録し上記した処理により記録画像を生成して記録する処理を行わない状態と、必ず、上記した処理により記録画像を生成して記録する処理を行う状態を切り替える切り替えスイッチを備えてもよい。この場合、切り替えスイッチがＯＮの場合、画像処理装置１は、上記した処理により記録画像を生成して記録する処理を行えばよい。また上述の処理では撮影画像や記録画像をデータベース１０４に記録することについて説明したが、画像処理装置１は通信接続された上位サーバに、カメラ２から取得した撮影画像や生成した記録画像を送信して、それらを上位装置が記録してもよい。

【0035】

上述の処理においては、カメラ２が店舗に設置され店舗内を撮影して除去対象人物となる来店客を除去対象人物として処理する技術に用いられる場合の例を示している。しかしながら、上述の画像処理装置１は他の用途に利用されてもよい。例えば、老人ホームや病院にカメラ２が設置され、画像処理装置１が除去対象人物となる外来者の写る範囲の画素を、過去撮影画像の人物が写らない場合の画素に置換するようにしてもよい。これにより、老人ホームの入居者や患者を主に記録に残し、外来者を記録に残さない記録画像を生成することができる。この記録画像は、例えば入居者や患者の見守り検知に利用するなどしてよい。

【0036】

図５は画像処理装置の最小構成を示す図である。
画像処理装置１は少なくとも範囲特定部１３と記録画像生成部１４の機能部を備えればよい。
範囲特定部１３は、処理対象の撮影画像に写る除去対象人物の被写範囲を特定する。
記録画像生成部１４は、特定された前記被写範囲の画素を、除去対象人物が被写範囲に入り込む前の過去撮影画像における当該被写範囲に相当する範囲の画素に置換した記録画像を生成する。

【0037】

上述の画像処理装置は内部に、コンピュータシステムを有している。そして、上述した各処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。

【0038】

上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

【符号の説明】

【0039】

１・・・画像処理装置
２・・・カメラ
１１・・・制御部
１２・・・取得部
１３・・・範囲特定部
１４・・・記録画像生成部
１５・・・記録部

【図1】

【図2】

【図3】

【図4】

【図5】