特開 2024-78242 画像処理装置、画像処理システムおよび画像処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024078242

(43)【公開日】2024-06-10

(54)【発明の名称】画像処理装置、画像処理システムおよび画像処理プログラム

(51)【国際特許分類】

   G06T 1/00 20060101AFI20240603BHJP

【ＦＩ】

G06T1/00 330Z

【審査請求】有

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2022190662

(22)【出願日】2022-11-29

【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り （１）令和４年９月９日にホームページにて公開

(71)【出願人】

【識別番号】722013531

【氏名又は名称】Ｄｅｅｐ Ｃｏｎｓｕｌｔｉｎｇ株式会社

(72)【発明者】

【氏名】白坂 貴規

(72)【発明者】

【氏名】新田 渓

【テーマコード（参考）】

5B057

【Ｆターム（参考）】

5B057AA16

5B057CC03

5B057CE04

5B057CE08

5B057DA06

5B057DC04

5B057DC08

5B057DC40

(57)【要約】

【課題】高精度に、個人情報又はプライバシーに関する領域を秘匿化する。
【解決手段】撮像装置により画像を取得し、画像から物体を検出する。出力された物体に対して、少なくとも個人情報又はプライバシーに関する情報が含まれる領域を広範囲に指定する。広範囲に指定された領域に対して、遮蔽処理を施すことにより、個人情報又はプライバシーに関する領域を秘匿化することができる。
【選択図】図４

【特許請求の範囲】

【請求項1】

撮像装置により画像を取得する画像取得部と、
前記画像において、物体を検出する物体検出部と、
前記物体検出部から出力された物体に対して、少なくとも個人情報又はプライバシーに関する情報が含まれる領域を指定する領域指定部と、
前記領域指定部で指定された領域に対して、判別不能にする遮蔽処理を施す画像処理部と、
を備える画像処理装置。

【請求項2】

前記遮蔽処理は、ぼかし処理、ブレンド処理、モザイク処理、画像を重畳する処理のいずれかである請求項１に記載の画像処理装置。

【請求項3】

前記物体検出部により検出される領域は、人物、車両、建物である請求項１又は２に記載の画像処理装置。

【請求項4】

前記物体検出部は、検出された物体の向き、位置、大きさに応じて、特定の領域の大きさを変更する請求項１乃至３いずれかに記載の画像処理装置

【請求項5】

前記物体検出部は、機械学習によって構築されたモデルにより、物体を検出する請求項１乃至４いずれに記載の画像処理装置。

【請求項6】

撮影装置により画像を取得する撮影と、
前記画像において、物体を検出する物体検出部と、
前記物体検出部から出力された物体に対して、少なくとも個人情報又はプライバシーに関する情報が含まれる領域を指定する領域指定部と、
前記領域指定部で指定された領域に対して、判別不能にする遮蔽処理を施す画像処理部と、
を備える画像処理システム。

【請求項7】

コンピュータに、
撮影装置により画像を取得し、
前記画像において、物体を検出し、
前記物体検出部から出力された物体に対して、少なくとも個人情報又はプライバシーに関する情報が含まれる領域を指定し、
前記領域指定部で指定された領域に対して、判別不能にする遮蔽処理を施す
処理を実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、監視カメラ等で撮影された画像及び映像について、画像処理を施すことにより、個人情報又はプライバシーに関する情報を保護するための画像処理装置および画像処理プログラムに関するものである。

【背景技術】

【0002】

近年、市中に設けられた監視カメラ等の撮像装置により撮影される画像及び映像をリアルタイムで監視することで、犯罪の抑止、混雑状況を定点的に観測する手法がある。

【0003】

そして、これらの画像及び映像を、ソーシャルネットワークサービス（ＳＮＳ）等の情報公開サービスが浸透するにつれ、不特定多数の人間に対して公開する機会が増加している。その一方で、個人情報又はプライバシーに関する情報の保護に関する意識は高まりつつある。

【0004】

上記、個人情報又はプライバシーに関する情報の保護に際して、以下のような技術が開示されている。特許文献１には、車両におけるナンバープレート上の画像サイズを認識し、この画像サイズに基づき、ナンバープレート上の一部の画像が周縁部からはみ出すようにモザイク処理を施す技術が記載されている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０２０－１４０３６３号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかし、特許文献１では、ナンバープレートのように、車種により位置が異なり、また、画像及び映像において、画像サイズが小さいものは、機械学習において検出することが難しく、検出精度を上げるためには、学習データを大量に用意する必要があり、学習コストが膨大に増加してしまう。

【0007】

本発明の目的は、防犯カメラ等で撮影された画像及び映像において、少なくとも個人情報又はプライバシーに関する情報が含まれる領域を指定し、この指定された領域に対して遮蔽処理を施すことで、個人情報又はプライバシーに関する情報を高精度に保護する画像処理装置、画像処理システムおよび画像処理プログラムを提供することである。

【課題を解決するための手段】

【0008】

上記目的を達成するために、本発明の画像処理装置は、撮像装置により画像を取得する画像取得部と、前記画像において、物体を検出する物体検出部と、前記物体検出部から出力された物体に対して、少なくとも個人情報又はプライバシーに関する情報が含まれる領域を指定する領域指定部と、前記領域指定部で指定された領域に対して、判別不能にする画像処理を施す画像処理部とを備える。

【発明の効果】

【0009】

本発明によれば、少なくとも個人情報又はプライバシーに関する情報が含まれる領域を広範囲に指定し、この指定された領域に対して画像処理を施すことで、個人情報又はプライバシーに関する情報を高精度に保護することができる。

【図面の簡単な説明】

【0010】

【図1】本発明の第１の実施形態に係る置画像処理装置１におけるハードウェア構成の一例を示すブロック図である。

【図2】本発明の第１の実施形態に係る画像処理装置１における機能構成の一例を示すブロック図である。

【図3】本発明の第１の実施形態に係る画像処理装置１における機能構成の一例を示すブロック図である。

【図4】本発明の第１の実施形態に係る画像処理装置１におけるフローチャートの一例を示す図である。

【図5】本発明の第１の実施形態に係る画像処理装置１に入力画像のデータである入力画像データで示される入力画像の一例を示す図である。

【図6】本発明の第１の実施形態に係る画像処理装置１に入力画像データで示される入力画像に物体検出処理部から出力される出力画像の一例を示す図である。

【図7】本発明の第１の実施形態に係る画像処理装置１に入力画像データで示される入力画像に領域指定処理部から出力される出力画像の一例を示す図である。

【図8】本発明の第１の実施形態に係る画像処理装置１に入力画像データで示される入力画像に遮蔽処理部から出力される出力画像の一例を示す図である。

【図9】本発明の第１の実施形態に係る画像処理装置１に入力画像データで示される入力画像に遮蔽処理部から出力される出力画像の他の一例を示す図である。

【図10】本発明の第２の実施形態に係る画像処理装置１におけるフローチャートの一例を示す図である。

【図11】本発明の第２の実施形態に係る画像処理装置１に入力画像データで示される入力画像に遮蔽処理から出力される出力画像の一例を示す図である。

【発明を実施するための形態】

【0011】

以下、本発明の係る好適な実施形態について、図面を参照しながら詳細に説明する。なお、実施形態を説明する全図において、共通の構成要素には同一の符号を付し、繰り返しの説明を省略する。

【0012】

図１は、本発明の第１の実施形態に係る画像処理装置１におけるハードウェア構成の一例を示すブロック図である。

【0013】

＜ハードウェア構成図＞
図１は画像処理装置１のハードウェア構成を示す。画像処理装置１は、情報処理装置（コンピュータ）であり、入力部２、出力部３、通信部４、制御部５及び記憶部６を備える。

【0014】

入力部２は、ユーザから情報を受付けるユーザインタフェースであり、例えば、キーボード、マウス、カードリーダ、タッチパネル等である。出力部３は、各種の情報を出力（表示出力、音声出力、印字出力等）するユーザインタフェースであり、例えば画像を表示する表示装置（ＬＣＤ（ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、グラフィックカード等）や音声を出力する音声出力装置（スピーカー）等である。

【0015】

通信部４は、通信手段を介して、サーバ（図示しない）と通信する通信インタフェースであり、例えば、ＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）、無線通信モジュール、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）モジュール、シリアル通信モジュール等である。通信部４は、通信可能に接続される携帯端末、ＰＤＡ等の他の装置から情報を受信する装置として機能することもできる。画像処理装置１は、通信部４により通信手段を介して、外部のネットワーク（図示しない）と通信する。

【0016】

制御部５は、例えば演算処理を行う装置であり、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＡＩ（Ａｒｔｉｆｉｃａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）チップ等である。記憶部６は、プログラムやデータを記憶する装置であり、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）（ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｅｓｓ Ｍｅｍｏｒｙ）、ＮＶＲＡＭ（Ｎｏｎ Ｖｏｌａｔｉｌｅ ＲＡＭ）、マスクＲＯＭ（Ｍａｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）等）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｅｓｓ Ｍｅｍｏｒｙ）（ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ｍｅｍｏｒｙ）等）、ハードディスクドライブ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、フラッシュメモリ（Ｆｌａｓｈ Ｍｅｍｏｒｙ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、光学式記憶装置（ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等）等である。

【0017】

＜機能構成＞
図２及び図３は、本発明の第１の実施形態に係る画像処理装置１における機能構成の一例を示すブロック図である。画像処理装置１は、入力画像のデータから入力画像に含まれる物体を検出する物体検出処理と、物体検出処理により出力される物体内に存在する個人情報やプライバシーの少なくともいずれかが含まれる領域を指定する領域指定処理と、この領域に対して、判別不能とする遮蔽処理を行い、個人情報やプライバシーが判別不能となる画像を出力画像として生成する。

【0018】

入力画像のデータから入力画像に含まれる対象物は、物体である。具体的には、道路を走行中又は駐車場の画像及び映像に含まれる小型車両、大型車両、特定の車種の車両、表札、家屋外観、施設に流出入する人物、動物、個人情報が記載された部分等があり、人間の視覚によって検知できる物体が挙げられる。なお、個人情報が記載された部分とは、免許証、マイナンバーカード等の個人情報が記載されているカード又は書類等を示す。

【0019】

画像処理装置１は、学習データ作成部１０と、入力部２と、表示部７と、学習部１７と、画像処理部２０により構成される。

【0020】

学習データ作成部１０は、学習部１７により学習に用いられる画像データ１１を複数枚取得し、この取得した画像データを表示部７に表示する。

【0021】

入力部２は、利用者の操作により、入力画像のデータ等からの入力画像等を画像処理装置１に対して入力するものである。

【0022】

表示部７は、利用者の操作により、入力画像のデータ等からの入力画像等を画像処理装置１に対して表示するものであり、例えば、ＣＲＴディスプレイ又は液晶ディスプレイ等を含む。

【0023】

学習部１７は、学習モデルの一例である。学習データ作成部１０により作成された画像データ１１を学習処理することにより、入力画データ２４に対して推論処理を実行する。

【0024】

画像処理部２０は、入力画像のデータである入力画像データ２４で示される入力画像に含まれる物体を検出する物体検出処理部２１と、物体検出処理により出力される物体内に個人情報やプライバシーの少なくともいずれかが含まれる領域を指定する領域指定処理部２２と、領域指定処理部２２により指定された領域に対して、判別不能とする遮蔽処理部２３を備える。

【0025】

入力画像データ２４は、市中に設置された監視領域を撮像する監視カメラ等の撮像装置であり、インターネットを介して入力される画像データ等であり、画像処理装置１に対して入力される。ここで取得された入力画像データ２４は、記録部に保存されるとともに、表示部７を介して液晶ディスプレイに表示される。

【0026】

物体検出処理部２１は、学習部１７による学習処理で得られた調整後の物体検出パラメータを用いて、入力画像データ２４に対して、推論処理を行う。具体的には、学習部１７は、物体検出における学習フェーズを実行し、物体検出処理部２１は、物体検出の推論フェーズを実行する。物体検出処理部２１は、学習部１７によるディープラーニングによって物体検出パラメータが調整された物体検出モデルを用いて物体の領域を検出する。この物体検出モデルに対して、入力画像データ２４を入力する。入力画像のデータである入力画像データ２４で示される入力画像に含まれる物体を検出し、物体の領域を示す領域情報を検出情報として出力する。物体検出モデルにおける物体検出パラメータは、畳み込みニューラルネットワークにおける重みを示すパラメータであり、学習部１７から物体検出処理部２１に設定される。領域指定処理部２２は、物体検出処理部２１から出力される領域情報に基づいて、物体内に存在する個人情報やプライバシーの少なくともいずれかが含まれる領域を指定する。

【0027】

なお、物体検出モデルが物体の領域を示す領域情報を出力するものとして説明するが、物体検出モデルは、物体の領域を示す領域情報の代わりに物体の検出に対する尤度（信頼度）が高かった領域を示す情報を出力してもよい。領域指定処理部２２は、物体検出処理部２１から出力される物体の有無を示す情報に基づいて、対象物の検出に対する尤度（信頼度）が高い領域を指定する。遮蔽処理部２３は、領域指定処理部２２から領域情報を受け取り、受け取った領域を遮蔽する処理を行う。この領域を遮蔽する処理は、領域内の画素毎に対してモザイク処理等の画像処理を施すことで、領域を判別不能に、換言すれば、視認不能にする。モザイク処理に限らず、ぼかし処理、マスク処理等により領域を判別不能にすればよい。モザイク処理としては、ガウシアンフィルタ、平均値フィルタ等の線形フィルタを用いてもよいし、画像を一定のサイズに分割し、分割されたブロック内の画素値をある画素値に置き換えてもよい。つまり、特定の領域を視認しにくくなるような処理であれば、ここでは、その方法は特に限定しない。

【0028】

畳み込みニューラルネットワークは、多層のニューラルネットワークであり、畳み込み層および全結合層等を含む。全結合層は、前層と後層のニューロンが全て接続されている層であり、畳み込み層は、例えば、注目画素に対して、その周囲１画素、計３×３画素の情報を用いて値を抽出する等の処理を行う層である。なお、物体検出モデルは、畳み込みニューラルネットワークに限定されず、他の種類のニューラルネットワークであってもよく、また、例えば、線形回帰またはロジスティック回帰等の学習アルゴリズムで生成されてもよい。

【0029】

図５は、第１の実施形態に係る画像処理装置１に入力画像のデータである入力画像データ２４で示される入力画像の一例を示す図である。図５に示される入力画像１００には、物体検出処理部２１による対象物となる物体である車両が含まれている。物体検出処理部２１は、入力画像１００を、物体検出モデルを介して入力し、物体検出モデルから出力される車両画像の領域を示す領域情報を検出結果として出力する。図６は、第１の実施形態に係る画像処理装置１に入力画像データで示される入力画像に物体検出処理部２１から出力される出力画像の一例を示す図である。具体的には、図６で示すように、車両においては、ナンバープレートのみではなく、車両全体を検出する。すなわち、監視カメラ等の撮像装置の設置場所・画角・焦点距離等の撮影条件により、車両の移動中にナンバープレートが映りこまない場合がある。そのため、ナンバープレートのみを検出するのではなく、車両全体を検出することにより、検出精度が向上する。また、遮蔽物により、ナンバープレートが映りこまない場合もあるため、ナンバープレートのみを検出するのではなく、車両全体のように、ナンバープレートよりも広い領域を検出する。また、物体検出モデルによる検出は車両全体に限らず、少なくとも車両の下半分等であってもよい。

【0030】

図７は、第１の実施形態に係る画像処理装置１に入力画像データで示される入力画像に領域指定処理部２２から出力される出力画像の一例を示す図である。具体的には、図７に示すように、領域指定処理部２２は、物体検出処理部２１から出力される領域情報に基づいて、物体内に存在する個人情報やプライバシーの少なくともいずれかが含まれる領域を指定する領域指定処理部２２を行い、領域指定処理を行った画像を出力画像として画像データ１０２を出力する。具体的には、少なくとも車両において、ナンバープレートが含まれる領域を指定する。ナンバープレートのみではなく、車両の下半分のように個人情報やプライバシーの少なくともいずれかが含まれる広範囲の領域を指定する。すなわち、監視カメラ等の撮像装置の設置場所・画角・焦点距離等の撮影条件により、車両の移動中にナンバープレートが映りこまない場合がある。そのため、ナンバープレートのみを指定するのではなく、車両の下半分という個人情報やプライバシーの少なくともいずれかが含まれる広範囲の領域を指定することにより、高精度に個人情報やプライバシーを遮蔽処理部２３により判別不能とすることができる。

【0031】

図８は、第１の実施形態に係る画像処理装置１に入力画像データで示される入力画像に遮蔽処理部２３から出力される出力画像の一例を示す図である。具体的には、図８に示すように、領域指定処理部２２により指定された領域に基づいて、個人情報やプライバシーを判別不能とするような遮蔽処理部２３を備える。領域指定処理部２２により指定された領域に対して画像を出力画像データ１０３として出力する。このように、遮蔽処理を施すことにより、高精度に個人情報やプライバシーを秘匿化できる。

【0032】

＜学習データ作成部＞
図２に示すように、学習データ作成部１０について説明する。学習データ作成部１０は、複数の画像データ１１を、入力部２を介して入力し、入力された複数の画像データ１１を表示部７に表示する。複数の画像データ１１は、学習部１７による学習に用いられる画像である学習用画像のデータである。

【0033】

利用者は、入力部２を介して、画像データ１５毎にラベルデータ１６を付加する。ラベルデータ１６は、学習データ１４として利用される学習用ラベルのデータの一例である。ラベルデータ１６は、例えば、画像データ１５に含まれる画像のうち対象物となる物体が存在する領域に関する情報である領域情報等を含む。画像データ１５で示される画像に対象物となる物体が存在する場合には、領域情報には、対象物となる物体の領域に関する画素毎の座標を示す情報が含まれる。また、画像データ１５で示される画像に対象物となる物体が含まれない場合、領域情報には物体の領域に関する画素の座標を示す情報は含まれない。学習データ作成部１０は、利用者による入力部２の操作に基づいて、画像データ１５とラベルデータ１６とが関連づけられた学習データ１４を生成する。学習データ１４として学習された画像データ１５とラベルデータ１６は学習部１７で利用される。

【0034】

学習部１７は、機械学習によって物体検出処理のパラメータである物体検出パラメータを生成する物体検出パラメータ生成部１８と、機械学習によって物体検出処理により出力される物体内に個人情報やプライバシーの少なくともいずれかが含まれる領域を指定する領域指定処理のパラメータである領域指定パラメータを生成する領域指定パラメータ生成部１９を備える。

【0035】

物体検出パラメータ生成部１８は、物体検出処理部１８ａと、パラメータ調整部１８ｂを備える。物体検出処理部１８ａは、物体検出処理部２１と同じ物体検出モデルを有する。例えば、物体検出処理部１８ａは、物体検出処理部２１と同じ畳み込みニューラルネットワークを有し、物体検出処理部１８ａは、物体検出モデルを用いて、学習データ１４の画像データ１５で示される画像のうち対象物となる物体の領域を示す領域情報を出力する。つまり、物体検出処理部１８ａは、物体検出モデルに学習データ１４の画像データ１５を入力し、物体検出モデルから出力される領域情報を出力する。

【0036】

画像データ１５で示される画像のうち、対象物となる物体が含まれる場合、対象物となる物体の領域に関する画素毎の座標を示す情報が含まれる。また、画像データ１５で示される画像のうち、対象物となる物体が含まれない場合、対象物となる物体の領域に関する画素の座標を示す情報が含まれない。

【0037】

パラメータ調整部１８ｂは、学習データ１４のラベルデータ１６と物体検出処理部１８の領域情報との差が小さくなるように、画像処理部２０に設定する物体検出パラメータを決定する。すなわち、物体検出パラメータは、物体検出処理部１８ａで用いられる物体検出モデルのパラメータである。

【0038】

パラメータ調整部１８ｂは、学習データ１４のラベルデータ１６と物体検出処理部１８ａの領域情報を比較することにより、物体検出率を算出する。パラメータ調整部１８ｂは、物体検出率が高くなるように、物体検出パラメータを調整し、学習データ１４の画像データ１５に対する物体検出処理を物体検出処理部１８ａで実行させることで、物体検出パラメータを最適化し、画像処理部２０における物体検出処理部１８ａに設定する物体検出パラメータを決定する。

【0039】

パラメータ調整部１８ｂは、ラベルデータ１６に示される領域情報と、対象物となる物体の領域に対する物体検出処理部１８ａの検出結果として出力される物体の領域情報との比を物体検出率として算出する。パラメータ調整部１８ｂは、ラベルデータ１６で示される領域情報に対象物となる物体の領域情報が含まれず、且つ、検出結果として出力される領域情報に物体の領域が含まれない場合、物体検出率を例えば１００％とする。また、パラメータ調整処理部１８ｂは、ラベルデータ１６で示される領域情報に対象物となる物体の領域情報が含まれず、検出結果として出力される領域情報に物体の領域情報が含まれる場合、物体検出率を例えば０％とする。

【0040】

物体検出率は、対象物となる物体の領域を正しく検出した比率に代えて、物体の存在を正しく検出した比率であってもよい。具体的には、パラメータ調整処理部１８ｂは、対象物となる物体が含まれる画像と対象物となる物体が含まれない画像とを含む画像に対して、対象物となる物体の存在を正しく検出する確率を物体検出率として算出することもできる。この場合、ラベルデータ１６は、対象物となる物体の存在が正しく検出されている物体検出率の情報が含まれる。

【0041】

領域指定パラメータについて説明する。領域指定パラメータ生成部１９は、領域指定処理部１９ａと、パラメータ調整部１９ｂとを備える。学習データ作成部１０から出力される学習データ１４に基づいて、領域指定処理部２２に設定する領域指定パラメータを生成する。

【0042】

領域指定処理部１９ａは、領域指定処理部２２と同じ領域指定モデルを有する。例えば、領域指定処理部１９ａは、領域指定処理部２２と同じ畳み込みニューラルネットワークを有し、領域指定処理部１９ａは、領域指定モデルを用いて、学習データ１４の画像データ１５で示される画像のうち対象物となる物体の領域を指定する領域情報を出力する。つまり、領域指定処理部１９ａは、領域指定モデルに学習データ１４の画像データ１５を入力し、領域指定モデルから出力される領域情報を出力する。画像データ１５で示される画像のうち、対象物となる物体が含まれる場合、対象物となる物体の領域に関する画素毎の座標を示す情報が含まれる。また、画像データ１５で示される画像のうち、対象物となる物体が含まれない場合、対象物となる物体の領域に関する画素の座標を示す情報が含まれない。

【0043】

パラメータ調整部１９ｂは、学習データ１４のラベルデータ１６と領域指定処理部１９ａの検出情報との差が小さくなるように、画像処理部２０に設定する領域指定パラメータを決定する。すなわち、領域指定パラメータは、領域指定処理部１９ａで用いられる領域指定モデルのパラメータである。

【0044】

パラメータ調整部１９ｂは、学習データ１４のラベルデータ１６と領域指定処理部１９ａにより指定された領域情報とを比較することにより、領域指定率を算出する。パラメータ調整部１９ｂは、領域指定率が高くなるように、領域指定パラメータを調整しながら、学習データ１４の画像データ１５に対する領域指定処理を領域指定処理部１９ａで実行させることで、領域指定パラメータを最適化し、画像処理部２０の領域指定処理部１９ａに設定する領域検出パラメータを決定する。

【0045】

パラメータ調整部１９ｂは、ラベルデータ１６に示される領域情報と、対象物となる物体の領域に対する領域指定処理部１９ａの検出結果として出力される物体の領域情報との比を領域指定率として算出する。パラメータ調整部１９ｂは、ラベルデータ１６で示される領域情報に対象物となる物体の領域情報が含まれず、且つ、検出結果として出力される領域情報に物体の領域が含まれない場合、領域指定率を例えば１００％とする。また、パラメータ調整処理部１９ｂは、ラベルデータ１６で示される領域情報に対象物となる物体の領域情報が含まれず、検出結果として出力される領域情報に物体の領域情報が含まれる場合、領域指定率を例えば０％とする。

【0046】

領域指定率は、対象物となる物体の領域を正しく指定した比率に代えて、物体の存在を正しく検出した比率であってもよい。具体的には、パラメータ調整処理部１８ｂは、対象物となる物体が含まれる画像と対象物となる物体が含まれない画像とを含む画像に対して、対象物となる物体の存在を正しく検出する確率を物体検出率として算出することもできる。この場合、ラベルデータ１６は、対象物となる物体の存在が正しく検出されている領域指定率の情報が含まれる。

【0047】

車両及び人物等の対象物となる物体を検出する物体検出処理２１及び物体検出処理２１により出力される物体内に存在する個人情報やプライバシーの少なくともいずれかが含まれる領域を指定する領域指定処理２２は、セマンティックセグメンテーション（Ｓｅｍａｎｔｉｃ Ｓｅｇｍｅｎｔａｔｉｏｎ）、インスタンスセグメンテーション（Ｉｎｓｔａｎｃｅ Ｓｅｇｍｅｎｔａｔｉｏｎ）、パノプティックセグメンテーション（Ｐａｎｏｐｔｉｃ Ｓｅｇｍｅｎｔａｔｉｏｎ）等のアルゴリズムを採用してもよい。

【0048】

セマンティックセグメンテーションは、画像上の全ての画素に対してクラスを分類し、画素毎にラベルを付ける方法である。インスタンスセグメンテーションは、物体毎の領域を分割し、物体の種類を認識する方法である。パノプティックセグメンテーションは、セマンティックセグメンテーションとインスタンスセグメンテーションを組み合わせた方法であり、物体の種類を認識することができ、全ての画素に対してラベル付けを行う。

【0049】

＜処理の流れ＞
図４は、本発明の第１の実施形態に係る画像処理装置１におけるフローチャートの一例を示す図である。画像処理装置１は、画像を取得することにより入力画像データ２４としての画像データを取得する（Ｓ１０１）。具体的には、入力画像データ２４は、カメラにより撮影された画像又はインターネットを介して送信される画像を受信することにより、画像の取得を受け付ける。ここで説明するカメラは市中に設置される監視カメラに代表されるが、車載カメラ、防犯カメラ、スマートフォンや業務用ゲーム機、証明写真機等、画像または映像が撮影されるものであれば、どのようなものでもよい。

【0050】

入力画像データ２４は、学習部１７における物体検出処理部１８ａと同じ物体検出モデルにより、物体の検出する推論処理を行う（Ｓ１０２）。例えば、入力画像データ２４に対象物として物体である車両が映っている場合は、車両全体を検出する。つまり、対象物として物体の全体が検出される。なお、検出された物体は矩形で囲まれる。この形状はこれに限定されず、円形、楕円形、多角形等のどのような形状でもよい。車両全体を検出することで、車両の一部であるナンバープレートのみを検出する場合と比較すると、検出精度が向上する。具体的には、監視カメラの設置場所や画角や焦点距離等の撮影条件により、車両の移動中にナンバープレートが映りこまない場合がある。そのため、ナンバープレートのみを検出するのではなく、車両全体を検出することにより、検出精度が向上する。また、遮蔽物により、ナンバープレートが映りこまない場合もあるため、ナンバープレートのみを検出するのではなく、車両全体を検出する。

【0051】

次に、図４に示す領域指定処理部２２は、物体検出処理部２１から出力される領域情報に基づいて、物体内に存在する個人情報やプライバシーの少なくともいずれかが含まれる領域を指定する（Ｓ１０３）。具体的には、物体検出処理部２１により車両全体が検出され、この車両において、ナンバープレートのみではなく、車両の下半分のように個人情報やプライバシーの少なくともいずれかが含まれる広範囲の領域を指定する。ナンバープレートのみを指定するのではなく、車両の下半分という個人情報やプライバシーの少なくともいずれかが含まれる広範囲の領域を指定することにより、高精度に個人情報やプライバシーを遮蔽処理部２３により判別不能とすることができる。

【0052】

遮蔽処理部２３は、領域指定処理部１９ａから領域情報を受け取り、受け取った領域を遮蔽する処理を行う（Ｓ１０４）。具体的には、車両の下半分の領域内の画素毎に対してモザイク処理を施した画像を出力画像データ２５として出力する。

【0053】

以上のように、実施の形態１にかかる画像処理装置１は、物体検出処理部２１と、領域指定処理部２２と遮蔽処理部２３とを備える。物体検出処理部２１は、入力画像のデータである入力画像データ２４を機械学習によって生成された物体検出モデルに入力して入力画像から物体を検出する。領域指定処理部２２は、入力画像において物体検出処理部２１によって出力された物体内に存在する個人情報やプライバシーの少なくともいずれかが含まれる領域を指定する。遮蔽処理部２３は、領域指定処理部２２により指定された領域に対してモザイク処理を施す。

【0054】

これにより、画像処理装置１は、プライバシーや個人情報が映っている領域に対して、モザイク処理を適切に施すことができるので、なお、個人情報やプライバシーに関する権利を尊重するために、遮蔽処理を施す領域をナンバープレートではなく、車両の運転手や同乗者を対象としてもよい。

【0055】

図９は、第１の実施形態に係る画像処理装置１に入力画像データで示される入力画像に遮蔽処理部２３から出力される出力画像の他の一例を示す図である。具体的には、市中を通行している人物に対して遮蔽処理を施した例である。監視カメラ等の撮像装置を介し入力画像を取得することにより入力画像データ２４としての画像データを取得する。入力画像データ２４は物体検出モデルにより、物体の検出する推論処理を行い、入力画像データ２４に対象物として物体である人物が映っている場合は、人物全体を検出する。領域指定処理部２２は、物体検出処理部２１により人物全体が検出され、この人物において、顔のみではなく、人物の上半身のように個人情報やプライバシーの少なくともいずれかが含まれる広範囲の領域を指定する。遮蔽処理部２３は、人物の上半身の領域内の画素毎に対してモザイク処理を施す。

【0056】

＜実施の形態２＞
第２の実施形態における画像処理装置１では、物体検出処理部２１において、物体の存在に加えて、物体の方向を検出する点で、第１の実施形態における画像処理装置１と異なる。以下においては、第１の実施形態と同様の機能を有する構成要素については同一符号を付して説明を省略し、第１の実施形態の画像処理装置１と異なる点を中心に説明する。

【0057】

図１０は、第２の実施形態に係る画像処理装置１におけるフローチャートの一例を示す図である。画像処理装置１は、画像を取得することにより入力画像データ２４としての画像データを取得する（Ｓ１１１）。

【0058】

入力画像データ２４は、学習部１７における物体検出処理部１８ａと同じ物体検出モデルにより、物体の存在に加えて、物体の方向を検出する推論処理を行う（Ｓ１１２）。例えば、入力画像データ２４に対象物として物体である車両が映っている場合は、車両全体を検出し、更に、車両全体がどの方向を向いているかを推論する。車両全体の方向は、入力画像データ２４における車両を検出することにより、車両の方向を推論する。例えば、車両の下半分を検出した場合、その検出した領域における水平面と監視カメラの光軸から成す角度により車両の方向を推論する。

【0059】

推論処理により検出された車両の方向を応じて、個人情報やプライバシーの少なくともいずれかが含まれる領域を判定する（Ｓ１１３）。具体的には、車両の向きが側面に近い角度である場合は、ナンバープレートが映りこまないため、領域指定処理及び遮蔽処理を行わず終了する。その結果として、図１１に示すように、対象物として物体である車両にはモザイク処理が施されていない画像を出力画像データ１０５として出力する。対して、車両の向きが正面又は背面に近い角度である場合は、ナンバープレートが映りこむため、車両の下半分のように個人情報やプライバシーの少なくともいずれかが含まれる広範囲の領域を指定する（Ｓ１１４）。遮蔽処理部２３は、領域指定処理部２２から領域情報を受け取り、受け取った領域を遮蔽する処理を行う（Ｓ１１５）。具体的には、第１の実施形態に示した図８のように、車両の下半分の領域内の画素毎に対してモザイク処理を施した画像を出力画像データ１０５として出力する。すなわち、車両の向きを検出することにより、モザイク処理を施される場合と施されない場合が存在することになる。

【0060】

本発明は、複数の機器から構成されるシステムに適用されてもよいし、単体の装置に適用されてもよい。また、本発明は、ネットワーク上で複数に分散されたクラウドシステムとして実現されてもよい。実施形態の機能を実現する画像処理プログラムが、システムあるいは装置に供給され、内蔵されたプロセッサによって実行される場合にも適用可能である。本発明の機能をコンピュータで実現するために、コンピュータにインストールされるプログラム、あるいはそのプログラムを格納した媒体、そのプログラムをダウンロードさせるサーバも、プログラムを実行するプロセッサも本発明の技術的範囲に含まれる。

【符号の説明】

【0061】

１ 画像処理装置
２ 入力部
３ 出力部
４ 通信部
５ 制御部
６ 記憶部
７ 表示部
１０ 学習データ作成部
１１ 画像データ
１４ 学習データ
１５ 画像データ
１６ ラベルデータ
１７ 学習部
１８ 物体検出パラメータ生成部
１８ａ 物体検出処理部
１８ｂ パラメータ処理部
１９ 領域指定パラメータ処理部
１９ａ 領域指定処理部
１９ｂ パラメータ処理部
２０ 画像処理部
２１ 物体検出処理部
２２ 領域指定処理部
２３ 遮蔽処理部
２４ 入力画像データ
２５ 出力画像データ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】