特開 2023-37362 画像処理システム、サーバ装置、画像処理方法及び撮影装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023037362

(43)【公開日】2023-03-15

(54)【発明の名称】画像処理システム、サーバ装置、画像処理方法及び撮影装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20230308BHJP

【ＦＩ】

G06T7/00 350B

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2021144058

(22)【出願日】2021-09-03

(71)【出願人】

【識別番号】518135412

【氏名又は名称】株式会社リクルート

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(74)【代理人】

【識別番号】100139066

【弁理士】

【氏名又は名称】伊藤 健太郎

(72)【発明者】

【氏名】河野 徳郎

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA02

5L096AA06

5L096BA02

5L096BA18

5L096CA02

5L096CA18

5L096DA02

5L096EA02

5L096EA03

5L096HA11

5L096KA04

(57)【要約】

【課題】個人情報を取り扱うことにより生ずるリスクを軽減することができる画像処理システムを提供する。
【解決手段】人間が見ても個人を識別できない第１の匿名画像を入力とし、人物の検知、特定人物の認識、物体の検出、属性の推定、又は姿勢の推定の少なくともいずれか一つに関する情報を含む被写体情報を出力する推論モデルに、撮影された第２の匿名画像を入力し、被写体情報を取得する取得部１２を、備える。
【選択図】図５

【特許請求の範囲】

【請求項1】

人間が見ても個人を識別できない第１の匿名画像を入力とし、人物の検知、特定人物の認識、物体の検出、属性の推定、又は姿勢の推定の少なくともいずれか一つに関する情報を含む被写体情報を出力する推論モデルに、撮影された第２の匿名画像を入力し、前記被写体情報を取得する取得部を、備える、
画像処理システム。

【請求項2】

前記第２の匿名画像を撮影する撮影部をさらに備える、
請求項１記載の画像処理システム。

【請求項3】

前記撮影部は、撮影対象の個人が識別できない程の鮮明度で撮影されるようにする光学フィルタを有する、
請求項２記載の画像処理システム。

【請求項4】

前記光学フィルタは、塗料を吹き付けたフィルム、研磨したガラス若しくはプラスチック、又はパターンを印刷したフィルムのいずれかにより構成される、
請求項３記載の画像処理システム。

【請求項5】

前記撮影部は、画像の解像度を、撮影された個人が識別できない程の低い解像度に変換するソフトウェアフィルタ部を含み、
前記取得部は、前記ソフトウェアフィルタ部により前記低い解像度に変換された画像を前記第２の匿名画像として、前記推論モデルに入力する、
請求項２記載の画像処理システム。

【請求項6】

前記撮影部は、撮影された個人が識別できない程の低い解像度の画像を出力する撮像素子を含み、
前記取得部は、前記撮像素子から出力される画像を前記第２の匿名画像として、前記推論モデルに入力する、
請求項２記載の画像処理システム。

【請求項7】

前記推論モデルは、人間が見ても個人を識別できない匿名画像を入力とし、人物の検知、特定人物の認識、物体の検出、属性の推定、又は姿勢の推定の少なくともいずれか一つに関する情報を含む被写体情報を出力するように学習させた学習済みモデルである、
請求項１～６のいずれか一項に記載の画像処理システム。

【請求項8】

人間が見ても個人を識別できない第１の匿名画像を入力とし、人物の検知、特定人物の認識、物体の検出、属性の推定、又は姿勢の推定の少なくともいずれか一つに関する情報を含む被写体情報を出力する推論モデルに、撮影された第２の匿名画像を入力し、前記被写体情報を取得する取得部を、備える、
サーバ装置。

【請求項9】

プロセッサにより実行される画像処理方法であって、
人間が見ても個人を識別できない第１の匿名画像を入力とし、人物の検知、特定人物の認識、物体の検出、属性の推定、又は姿勢の推定の少なくともいずれか一つに関する情報を含む被写体情報を出力する推論モデルに、撮影された第２の匿名画像を入力し、前記被写体情報を取得するステップを含む、
画像処理方法。

【請求項10】

撮影対象の個人が識別できない程の鮮明度で撮影されるようにする光学フィルタ、又は撮影された個人が識別できない程の低い解像度に画像の解像度を変換するソフトウェアフィルタ部を備え、人間が見ても個人を識別できない匿名画像を撮影するための撮影装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理システム、サーバ装置、画像処理方法及び撮影装置に関する。

【背景技術】

【0002】

下記特許文献１には、撮影された人物の画像を含む全体画像に対して、深層学習等の機械学習による画像認識処理を実行し、人物の属性(例えば、身長、性別、年齢層、荷物、服装)等の人物情報を認識する技術が開示されている。

【0003】

また、下記特許文献２には、店舗内で撮影した人物画像に基づいて、人物を検出し、検出した人物の属性に関する属性情報を推定し、推定した属性情報と同じ属性情報を有する別人の画像を用いて、上記人物画像の人物を匿名化する技術が開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０２０－６１６６４号公報

【特許文献2】特開２０２０－９１７７０号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ところで、人物の属性情報は個人情報に該当する。したがって、撮影した画像に含まれる人物の属性情報を分析する場合には、その人物に対し、事前に、個人情報の利用目的を通知又は公表し、本人の同意を得る必要がある。

【0006】

上記の従来技術では、撮影した画像に含まれる人物の属性情報を分析するため、個人情報を取り扱うことによるリスクが伴う。

【0007】

本発明は、前述した課題を解決するためになされたものであり、個人情報を取り扱うことにより生ずるリスクを軽減することができる画像処理システム、サーバ装置、画像処理方法及び撮影装置を提供することを目的の一つとする。

【課題を解決するための手段】

【0008】

本発明の一態様に係る画像処理システムは、人間が見ても個人を識別できない第１の匿名画像を入力とし、人物の検知、特定人物の認識、物体の検出、属性の推定、又は姿勢の推定の少なくともいずれか一つに関する情報を含む被写体情報を出力する推論モデルに、撮影された第２の匿名画像を入力し、前記被写体情報を取得する取得部を、備える。

【0009】

この態様によれば、人間が見ても個人を識別できない第１の匿名画像を推論モデルに入力することで、人物の検知、特定人物の認識、物体の検出、属性の推定、又は姿勢の推定の少なくともいずれか一つに関する情報を含む被写体情報を取得できるため、個人を特定できない状態の第２の匿名画像から、例えば、人物を検知することや、人物の属性を推定することが可能となる。

【0010】

上記態様において、前記第２の匿名画像を撮影する撮影部をさらに備えてもよい。

【0011】

この態様によれば、撮影部で画像を撮影し、その画像を推論モデルに入力することで、被写体情報を取得できる。

【0012】

上記態様において、前記撮影部は、撮影対象の個人が識別できない程の鮮明度で撮影されるようにする光学フィルタを有することとしてもよい。

【0013】

この態様によれば、光学フィルタを取り付けることで、個人が識別できない程の鮮明度で撮影された画像を撮影することができる。

【0014】

上記態様において、前記光学フィルタは、塗料を吹き付けたフィルム、研磨したガラス若しくはプラスチック、又はパターンを印刷したフィルムのいずれかにより構成されてもよい。

【0015】

この態様によれば、塗料を吹き付けたフィルム、研磨したガラス若しくはプラスチック、又はパターンを印刷したフィルムのいずれかを用い、光学フィルタを簡易に構成させることができる。

【0016】

上記態様において、前記撮影部は、画像の解像度を、撮影された個人が識別できない程の低い解像度に変換するソフトウェアフィルタ部を含み、前記取得部は、前記ソフトウェアフィルタ部により前記低い解像度に変換された画像を前記第２の匿名画像として、前記推論モデルに入力してもよい。

【0017】

この態様によれば、ソフトウェアフィルタを搭載することで、個人が識別できない程の低い解像度で撮影された画像を撮影することができる。

【0018】

上記態様において、前記撮影部は、撮影された個人が識別できない程の低い解像度の画像を出力する撮像素子を含み、前記取得部は、前記撮像素子から出力される画像を前記第２の匿名画像として、前記推論モデルに入力してもよい。

【0019】

この態様によれば、低い解像度の画像を出力する撮像素子を装備することで、個人が識別できない程の低い解像度で撮影された画像を撮影することができる。

【0020】

上記態様において、前記推論モデルは、人間が見ても個人を識別できない匿名画像を入力とし、人物の検知、特定人物の認識、物体の検出、属性の推定、又は姿勢の推定の少なくともいずれか一つに関する情報を含む被写体情報を出力するように学習させた学習済みモデルであってよい。

【0021】

この態様によれば、匿名画像を入力して学習させた学習済みモデルを用いて被写体情報を推論することができる。

【0022】

本発明の他の態様に係るサーバ装置は、人間が見ても個人を識別できない第１の匿名画像を入力とし、人物の検知、特定人物の認識、物体の検出、属性の推定、又は姿勢の推定の少なくともいずれか一つに関する情報を含む被写体情報を出力する推論モデルに、撮影された第２の匿名画像を入力し、前記被写体情報を取得する取得部を、備える。

【0023】

この態様によれば、人間が見ても個人を識別できない第１の匿名画像を推論モデルに入力することで、人物の検知、特定人物の認識、物体の検出、属性の推定、又は姿勢の推定の少なくともいずれか一つに関する情報を含む被写体情報を取得できるため、個人を特定できない状態の第２の匿名画像から、例えば、人物を検知することや、人物の属性を推定することが可能となる。

【0024】

本発明の他の態様に係る画像処理方法は、プロセッサにより実行される画像処理方法であって、人間が見ても個人を識別できない第１の匿名画像を入力とし、人物の検知、特定人物の認識、物体の検出、属性の推定、又は姿勢の推定の少なくともいずれか一つに関する情報を含む被写体情報を出力する推論モデルに、撮影された第２の匿名画像を入力し、前記被写体情報を取得するステップを含む。

【0025】

この態様によれば、人間が見ても個人を識別できない第１の匿名画像を推論モデルに入力することで、人物の検知、特定人物の認識、物体の検出、属性の推定、又は姿勢の推定の少なくともいずれか一つに関する情報を含む被写体情報を取得できるため、個人を特定できない状態の第２の匿名画像から、例えば、人物を検知することや、人物の属性を推定することができる。

【0026】

本発明の他の態様に係る撮影装置は、撮影対象の個人が識別できない程の鮮明度で撮影されるようにする光学フィルタ、又は撮影された個人が識別できない程の低い解像度に画像の解像度を変換するソフトウェアフィルタ部を備え、人間が見ても個人を識別できない匿名画像を撮影する。

【0027】

この態様によれば、光学フィルタを取り付けることやソフトウェアフィルタを搭載ことで、個人が識別できない程の鮮明度や低い解像度で撮影された画像を撮影することができる。

【発明の効果】

【0028】

本発明によれば、個人情報を取り扱うことにより生ずるリスクを軽減することができる画像処理システム、サーバ装置、画像処理方法及び撮影装置を提供することが可能となる。

【図面の簡単な説明】

【0029】

【図1】実施形態に係る画像処理システムの構成を例示する図である。

【図2】図１に示す撮影端末の構成を例示する図である。

【図3】匿名画像を例示する図である。

【図4】図１に示すサーバ装置の構成を例示する図である。

【図5】画像処理システムの機能的な構成を例示する図である。

【図6】機械学習モデルを学習させる際の動作の一例を説明するためのフローチャートである。

【図7】匿名画像から被写体情報を取得する際の動作の一例を説明するためのフローチャートである。

【発明を実施するための形態】

【0030】

以下、本発明の実施形態について図面を参照しつつ詳細に説明する。なお、同一の要素には同一の符号を付し、重複する説明を省略する。

【0031】

図１は、本発明の一実施形態に係る画像処理システムの構成を例示する概略図である。同図に示すように、本実施形態における画像処理システム１は、撮影端末（撮影装置）２と、サーバ装置３とを備える。ネットワークＮは、撮影端末２とサーバ装置３との間で相互に情報を送受信可能な通信網を含む。通信網は、例えば、インターネット、ＬＡＮ、専用線、電話回線、企業内ネットワーク、移動体通信網、ブルートゥース（登録商標）、ＷｉＦｉ（Wireless Fidelity）、その他の通信回線、それらの組み合わせ等のいずれであってもよく、有線であるか無線であるかを問わない。

【0032】

撮影端末２は、例えば、デジタルカメラであるが、デジタルカメラ付きの可搬型端末であってもよい。可搬型端末には、例えば、タブレット端末、スマートフォン、携帯情報端末（ＰＤＡ）、ノートＰＣ（パーソナルコンピュータ）等の持ち運び可能な端末が含まれる。

【0033】

図２に示すように、撮影端末２は、物理的な構成として、例えば、プロセッサ２１、記憶装置２２、通信部２３、撮影部２４、光学フィルタ２５及びディスプレイ２６を備える。

【0034】

プロセッサ２１は、算術論理演算ユニット及び各種レジスタから構成される。プロセッサ２１は、メモリや記憶装置２２に格納されているコンピュータプログラムを実行し、撮影端末２の各部を制御する。コンピュータプログラムは、例えばサーバ装置３からネットワークＮを介してインストールすることができる。

【0035】

記憶装置２２は、例えば、半導体メモリ又はディスクドライブ等のコンピュータ読み取り可能な記録媒体である。この記憶装置２２には、例えば、コンピュータプログラムや、そのコンピュータプログラムで使われる各種のデータ等が格納される。

【0036】

通信部２３は、サーバ装置３との接続インタフェースを提供するものであり、無線通信インタフェース又は有線通信インタフェースから構成される。

【0037】

撮影部２４は、撮影手段であり、例えば、レンズ及び撮像素子（イメージセンサ）を含む。撮影部２４は、レンズで受光した被写体の光を電気信号（デジタル画像データ）に変換する。

【0038】

光学フィルタ２５は、入射光のうち特定の性質を有する光を透過する光学素子である。本実施形態に係る光学フィルタ２５は、撮影部２４により撮影される画像が、匿名画像として撮影されるように、撮影画像を光学的に劣化させる特性を有することが好ましい。

【0039】

匿名画像は、図３に例示するように、人物の少なくとも一部を含む画像であって、人間が見ても個人を識別できない画像である。同図に示すように、光学フィルタ２５を用いて人物を撮影すると、撮影対象の人物が、その個人を識別できない程の鮮明度で撮影されることになる。

【0040】

光学フィルタ２５として、例えば、塗料を吹き付けたフィルム、研磨したガラス、研磨したプラスチック、又はパターンを印刷したフィルムのいずれかを用いることが好ましい。

【0041】

図２に示すディスプレイ２６は、例えば、有機ＥＬディスプレイや、液晶ディスプレイ等であり、撮影部２４による映像や撮影された画像を表示する装置である。

【0042】

図１に示すサーバ装置３は、例えば、演算処理能力の高いコンピュータによって構成され、そのコンピュータにおいて所定のサーバ用プログラムが動作することにより、サーバ機能を実現するものである。ここで、サーバ装置３を構成するコンピュータは、必ずしも１台である必要はなく、ネットワークＮ上に分散する複数のコンピュータから構成されてもよい。

【0043】

図４に示すように、サーバ装置３は、物理的な構成として、例えば、プロセッサ３１、記憶装置３２及び通信部３３を備える。

【0044】

プロセッサ３１、記憶装置３２及び通信部３３は、前述した図２のプロセッサ２１、記憶装置２２及び通信部２３と同様であるため、それらの詳細な説明については省略する。記憶装置３２には、例えば、各種のプログラム３２１、及び推論モデル３２２が格納される。

【0045】

プログラム３２１には、例えば、機械学習モデルを学習させるためのモジュールや、推論モデル３２２から後述する被写体情報を取得するためのモジュール等が含まれる。

【0046】

図５に示すように、本実施形態に係る画像処理システム１は、機能的な構成として、例えば、撮影部１１、取得部１２及び学習部１３を有する。各機能のうち、撮影部１１は、撮影端末２の機能となり、取得部１２及び学習部１３は、サーバ装置３の機能となるが、各機能の分担方法はこれに限定されない。撮影部１１、取得部１２及び学習部１３を、撮影端末２及びサーバ装置３を含むシステムにより実現することができればよく、例えば、取得部１２が撮影端末２の機能であってもよい。

【0047】

以下においては、撮影部１１が撮影端末２の機能であり、取得部１２及び学習部１３がサーバ装置３の機能である場合について説明する。

【0048】

撮影部１１は、前述した撮影端末２の撮影部２４と同様であり、光学フィルタ２５を用いて匿名画像を撮影する。

【0049】

学習部１３は、匿名画像を入力とし、被写体情報を出力するように機械学習モデルを学習させる。学習後の機械学習モデルは、学習済みモデルとして記憶装置３２に記憶される。学習済みモデルは、推論モデル３２２の一例である。推論モデル３２２は、いわゆる学習済みモデルに限られないが、以下では、推論モデル３２２が学習済みモデルであるものとして説明する。

【0050】

被写体情報には、例えば、人物の検知、特定人物の認識、物体の検出、属性の推定、及び姿勢の推定に関する情報が含まれる。人物の検知として、例えば、店舗内に人が存在することを検知することが該当する。特定人物の認識として、例えば、Ａ、Ｂ、Ｃの中の誰であるのかを認識することが該当する。

【0051】

物体の検出として、例えば、店舗内にあるテーブルや椅子を検出することが該当する。属性の推定として、例えば、人の年齢や性別が該当する。姿勢の推定として、例えば、椅子に座っている姿勢や歩いている姿勢を推定することが該当する。

【0052】

このような人物の検知、特定人物の認識、物体の検出、属性の推定、又は姿勢の推定の少なくともいずれか一つに関する情報を、被写体情報に含むことが好ましい。

【0053】

機械学習では、例えば、匿名画像の各画素における周辺の特徴量を集約する等し、画像内に人物が存在するかどうか等を学習させる。機械学習の手法として、例えば、ニューラルネットワークやディープニューラルネットワーク等を用いることが好ましい。

【0054】

学習時に機械学習モデルに入力する学習データは、光学フィルタ２５を用いて撮影された匿名画像であることに限定されない。ソフトウェアフィルタを用いて加工された画像を、学習データとして機械学習モデルに入力してもよい。

【0055】

ソフトウェアフィルタは、例えば人物等をその個人を識別できるように撮影した既存の画像を、光学フィルタ２５を用いて撮影した匿名画像と同等の特性を有する画像に変換するソフトウェアである。

【0056】

ソフトウェアフィルタのフィルタ値は、例えば、以下のように調整することが好ましい。変換後の画像を機械学習モデルで解析した時に得られる特性が、匿名画像を機械学習モデルで解析した時に得られる特性と同等になるように、フィルタ値を調整する。ソフトウェアフィルタは、光学フィルタ２５ごとに作成することが好ましい。

【0057】

取得部１２は、学習部１３により学習させられた推論モデル３２２に、撮影部１１により撮影された匿名画像を入力し、被写体情報を取得する。

【0058】

ここで、機械学習モデルの学習時に学習データとして用いる匿名画像（第１の匿名画像）と、推論モデル３２２から被写体情報を取得する際に用いる匿名画像（第２の匿名画像）とは、それぞれ異なる画像である。

【0059】

図６を参照して、本実施形態に係る画像処理システム１において、機械学習モデルを学習させる際の動作の一例を説明する。

【0060】

最初に、学習データ用の画像を作成する（ステップＳ１０１）。学習データ用の画像には、撮影部１１が光学フィルタ２５を用いて撮影した匿名画像と、ソフトウェアフィルタにより加工された画像とが含まれる。

【0061】

続いて、学習部１３は、上記ステップＳ１０１で作成された学習データ用の画像を入力とし、被写体情報を出力するように機械学習モデルを学習させる（ステップＳ１０２）。

【0062】

続いて、上記ステップＳ１０２で学習させられた機械学習モデルを、推論モデル３２２として記憶装置３２に記憶する（ステップＳ１０３）。そして、本動作を終了する。

【0063】

図７を参照して、本実施形態に係る画像処理システム１において、匿名画像から被写体情報を取得する際の動作の一例を説明する。

【0064】

最初に、撮影部１１は、光学フィルタ２５を用いて匿名画像を撮影する（ステップＳ２０１）。

【0065】

続いて、取得部１２は、上記ステップＳ２０１で撮影された匿名画像を推論モデル３２２に入力する（ステップＳ２０２）。

【0066】

続いて、取得部１２は、上記ステップＳ２０２で入力された匿名画像に対応する被写体情報を推論モデル３２２から取得する（ステップＳ２０３）。そして、本動作を終了する。

【0067】

前述した実施形態に係る画像処理システム１によれば、人間が見ても個人を識別できない匿名画像を推論モデル３２２に入力することで、人物の検知、特定人物の認識、物体の検出、属性の推定、又は姿勢の推定の少なくともいずれか一つに関する情報を含む被写体情報を取得することができる。したがって、個人を特定できない状態の匿名画像から、人物を検知することや、人物の属性を推定等することが可能となる。すなわち、個人情報を取り扱うことにより生ずるリスクを軽減することが可能となる。

【0068】

[変形例]
なお、本発明は、前述した実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において、他の様々な形で実施することができる。このため、上記実施形態はあらゆる点で単なる例示にすぎず、限定的に解釈されるものではない。例えば、前述した各処理ステップは処理内容に矛盾を生じない範囲で任意に順番を変更し、又は並列に実行することができる。

【0069】

また、前述した実施形態では、光学フィルタ２５を用いて匿名画像を撮影しているが、匿名画像を撮影する方法はこれに限定されない。例えば、撮影部１１が、撮影された個人を識別できない程の低い解像度の画像を出力する撮像素子を含むこととしてもよい。また、撮影部１１が、ソフトウェアフィルタを搭載し、撮影画像を、匿名画像と同等の特性を有する画像に変換して出力することや、撮影された個人を識別できない程の低い解像度の画像に変換して出力することとしてもよい。さらに、撮影部１１のレンズのピントをずらし、ピンボケした画像を出力することとしてもよい。

【符号の説明】

【0070】

１…画像処理システム、２…撮影端末（撮影装置）、３…サーバ装置、１１…撮影部、１２…取得部、１３…学習部、２１…プロセッサ、２２…記憶装置、２３…通信部、２４…撮影部、２５…光学フィルタ、２６…ディスプレイ、３１…プロセッサ、３２…記憶装置、３３…通信部、３２１…プログラム、３２２…推論モデル、Ｎ…ネットワーク

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】