特許 6933356 画像処理方法及び装置、システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6933356

(24)【登録日】2021年8月23日

(45)【発行日】2021年9月8日

(54)【発明の名称】画像処理方法及び装置、システム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20210826BHJP

   G06T 1/00 20060101ALI20210826BHJP

   G06F 21/32 20130101ALI20210826BHJP

   G06F 21/60 20130101ALI20210826BHJP

【ＦＩ】

   G06T7/00 510B

   G06T1/00 340A

   G06F21/32

   G06F21/60

【請求項の数】6

【全頁数】10

(21)【出願番号】特願2017-1625(P2017-1625)

(22)【出願日】2017年1月10日

(65)【公開番号】特開2018-112804(P2018-112804A)

(43)【公開日】2018年7月19日

【審査請求日】2019年12月11日

(73)【特許権者】

【識別番号】509042367

【氏名又は名称】株式会社エスパテント

(74)【代理人】

【識別番号】100130111

【弁理士】

【氏名又は名称】新保 斉

(72)【発明者】

【氏名】岩山 英生

【審査官】 新井 則和

(56)【参考文献】

【文献】 国際公開第２００４／０９０８１４（ＷＯ，Ａ１）

【文献】 特開２０１０−１６５３２３（ＪＰ，Ａ）

【文献】 特開２０１０−０４４５８８（ＪＰ，Ａ）

【文献】 特開２００８−１０８０９０（ＪＰ，Ａ）

【文献】 特開２００８−０２２０５０（ＪＰ，Ａ）

【文献】 吉浦 裕，ソーシャルネットワークのプライバシーと個人の特定，電子情報通信学会技術研究報告 Ｖｏｌ．１１３ Ｎｏ．４１５ ＥＭＭ２０１３−８８−ＥＭＭ２０１３−９８ マルチメディア情報ハイディング・エンリッチメント，日本，一般社団法人電子情報通信学会，２０１４年 １月２０日，第113巻 第415号，pp. 21-26

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／００−７／９０

Ｇ０６Ｆ ２１／３２

Ｇ０６Ｆ ２１／６０

Ｇ０６Ｔ １／００

(57)【特許請求の範囲】

【請求項1】

生体認証に用いる生体情報が含まれる画像から、生体情報を無効化するコンピュータの画像処理方法であって、
該生体情報は、指紋、掌紋、掌形、網膜、顔、血管、耳形、筆跡に係る画像である構成において、
画像入力部が、対象の画像データを入力する画像入力ステップ、
生体情報認識処理部が、該画像から生体情報が含まれているか否かを認識する生体情報認識ステップ、
認識結果出力部が、少なくとも生体情報が含まれている場合に、認識結果出力部が生体情報が含まれているか否かの認識結果を出力する認識結果出力ステップ、
無効化指示受理部が、ユーザーから生体情報を無効化するか否かの指示を受理する無効化指示受理ステップ
無効化する指示を受理した場合に生体情報無効化処理部が、該画像中の少なくとも該生体情報が含まれている画像領域についてピクセル化処理又は減色処理の少なくともいずれかの画像処理を行い、該生体情報が認識できない無効化画像データに変化させる生体情報無効化ステップ、
画像出力部が、該無効化画像データを出力する画像出力ステップ
を少なくとも含むことを特徴とする画像処理方法。

【請求項2】

前記生体情報が、前記画像に代えて、リップムーブメント、まばたき、歩行の様子を撮影した動画像である
請求項１に記載の画像処理方法。

【請求項3】

生体認証に用いる生体情報が含まれる画像から、生体情報を無効化するコンピュータの画像処理装置であって、
該生体情報は、指紋、掌紋、掌形、網膜、顔、血管、耳形、筆跡に係る画像である構成において、
対象の画像データを入力する画像入力部と、
該画像から生体情報が含まれているか否かを認識する生体情報認識処理部と、
少なくとも生体情報が含まれている場合に、認識結果出力部が生体情報が含まれているか否かの認識結果を出力する認識結果出力部と、
ユーザーから生体情報を無効化するか否かの指示を受理する無効化指示受理部と、
無効化する指示を受理した場合に該画像中の少なくとも該生体情報が含まれている画像領域についてピクセル化処理又は減色処理の少なくともいずれかの画像処理を行い、該生体情報が認識できない無効化画像データに変化させる生体情報無効化処理部と、
該無効化画像データを出力する画像出力部を
を少なくとも備えることを特徴とする画像処理装置。

【請求項4】

前記生体情報が、前記画像に代えて、リップムーブメント、まばたき、歩行の様子を撮影した動画像である
請求項３に記載の画像処理装置。

【請求項5】

生体認証に用いる生体情報が含まれる画像から、生体情報を無効化するネットワークシステムにおける画像処理方法であって、
該生体情報は、指紋、掌紋、掌形、網膜、顔、血管、耳形、筆跡に係る画像である構成において、
該ネットワークシステムは複数の端末装置と、通信ネットワークにより接続されたサーバ装置とから構成され、
該サーバ装置の画像受信部が、該端末装置から対象の画像データを受信する画像受信ステップ、
該サーバ装置の生体情報認識処理部が、該画像から生体情報が含まれているか否かを認識する生体情報認識ステップ、
少なくとも生体情報が含まれている場合に、前記サーバ装置の結果送信部が生体情報が含まれているか否かの認識結果を前記端末装置に送信する認識結果送信ステップ、
該サーバ装置の無効化指示受理部が、前記端末装置から生体情報を無効化するか否かのユーザの指示を受信する無効化指示受信ステップ、

無効化する指示を受理した場合に該サーバ装置の生体情報無効化処理部が、該画像中の少なくとも該生体情報が含まれている画像領域についてピクセル化処理又は減色処理の少なくともいずれかの画像処理を行い、該生体情報が認識できない無効化画像データに変化させる生体情報無効化ステップ、
該サーバ装置の画像出力部が、該無効化画像データを該サーバ装置に保存するか、又は該端末装置に送信する画像出力ステップ
を少なくとも含むことを特徴とする画像処理方法。

【請求項6】

前記生体情報が、前記画像に代えて、リップムーブメント、まばたき、歩行の様子を撮影した動画像である
請求項５に記載の画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像装置から撮像された画像に含まれる生体認証に利用される生体情報画像を無効化するための技術に関する。

【背景技術】

【0002】

近年、コンピュータやネットワークシステムにおいて認証処理を行う際に、生体認証を利用する技術が多く開発されている。
例えば、使用者の身体的特徴を利用するものとして、指紋、ＤＮＡ、掌形、網膜、虹彩、顔、血管、耳形などを利用することが知られている。
また、行動的特徴として、筆跡（筆記時の軌跡・速度・筆圧の変化などの癖を利用する方法。腕首の回転や指の長さを推定する認証方法についての研究も行われている）、キーストローク認証（キーボードの打鍵の速度やタイミングの癖を用いる方法）、リップムーブメント（発話時の唇の動きの癖を用いる方法）、まばたき（まばたきによる黒目領域の変化量を測定する方法）、歩行（人の歩行を用いた認証方法）などが提案されている。

【0003】

このような生体認証に係る情報（以下、生体情報）の多くは静止画像及び動画像（以下、画像）から抽出することが可能であり、その抽出技術は周知である。例えば、特許文献１には、人物の特徴を抽出する方法が開示されている。
生体情報は、もともとは盗用することが難しいことから利用された経緯があるが、従来は取得後の取り扱いに着目したものが多い。特許文献２ないし５はいずれも画像抽出及びその後に削除することを開示した技術である。

【0004】

一方、最近では不用意に撮影された画像から悪意の第三者が生体情報を抽出し、成りすまし等の行為を行う点が問題視されている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１６−５１９８１

【特許文献2】特開２０１５−１５８９２１

【特許文献3】特開２０１３−１０５４２４

【特許文献4】特開２０１１−０４８５２３

【特許文献5】特開２０１０−１４０４９９

【発明の概要】

【発明が解決しようとする課題】

【0006】

本発明は、従来の問題点を解決するためのものであり、意図せずに生体情報が流出することを防止し、生体認証の安全性を向上させることを目的とする。

【課題を解決するための手段】

【0007】

上記課題を解決するために次のような手段を提供する。
本発明の第１の実施形態によれば、生体認証に用いる生体情報が含まれる画像から、生体情報を無効化するコンピュータの画像処理方法であって、画像入力部が、対象の画像データを入力する画像入力ステップ、生体情報認識処理部が、画像から生体情報が含まれているか否かを認識する生体情報認識ステップ、生体情報無効化処理部が、画像中の少なくとも生体情報が含まれている画像領域に所定の画像処理を行い、生体情報が認識できない無効化画像データに変化させる生体情報無効化ステップ、画像出力部が、無効化画像データを出力する画像出力ステップを少なくとも含むことを特徴とする画像処理方法を提供する。

【0008】

第２の実施形態によれば、前記画像処理方法において、前記生体情報が、指紋、掌紋、掌形、網膜、虹彩、顔、血管、耳形に係る画像の少なくともいずれかである請求項１に記載の画像処理方法を提供する。

【0009】

第３の実施形態によれば、前記画像処理が、ピクセル化処理又は減色処理の少なくともいずれかを行う画像処理方法を提供する。

【0010】

第４の実施形態によれば、前記画像処理方法において、前記生体情報認識ステップの後に、少なくとも生体情報が含まれている場合に、認識結果出力部が生体情報が含まれているか否かの認識結果を出力する認識結果出力ステップ、無効化指示受理部が、ユーザーから生体情報を無効化するか否かの指示を受理する無効化指示受理ステップを有し、指示結果に従って生体情報無効化ステップを実行処理する画像処理方法を提供する。

【0011】

本発明の第５の実施形態によれば、生体認証に用いる生体情報が含まれる画像から、生体情報を無効化するコンピュータの画像処理装置であって、対象の画像データを入力する画像入力部と、画像から生体情報が含まれているか否かを認識する生体情報認識処理部と、画像中の少なくとも生体情報が含まれている画像領域に所定の画像処理を行い、生体情報が認識できない無効化画像データに変化させる生体情報無効化処理部と、無効化画像データを出力する画像出力部をを少なくとも備えることを特徴とする画像処理装置を提供する。

【0012】

本発明の第６の実施形態によれば、生体認証に用いる生体情報が含まれる画像から、生体情報を無効化するネットワークシステムにおける画像処理方法であって、ネットワークシステムは複数の端末装置と、通信ネットワークにより接続されたサーバ装置とから構成され、サーバ装置の画像受信部が、端末装置から対象の画像データを受信する画像受信ステップ、サーバ装置の生体情報認識処理部が、画像から生体情報が含まれているか否かを認識する生体情報認識ステップ、サーバ装置の生体情報無効化処理部が、画像中の少なくとも生体情報が含まれている画像領域に所定の画像処理を行い、生体情報が認識できない無効化画像データに変化させる生体情報無効化ステップ、サーバ装置の画像出力部が、無効化画像データをサーバ装置に保存するか、又は端末装置に送信する画像出力ステップを少なくとも含むことを特徴とする画像処理方法を提供する。

【0013】

第７の実施形態によれば、前記画像処理方法において、前記生体情報認識ステップの後に、少なくとも生体情報が含まれている場合に、前記サーバ装置の結果送信部が生体情報が含まれているか否かの認識結果を前記端末装置に送信する認識結果送信ステップ、サーバ装置の無効化指示受理部が、前記端末装置から生体情報を無効化するか否かのユーザの指示を受信する無効化指示受信ステップを有し、指示結果に従って生体情報無効化ステップを実行処理する画像処理方法を提供する。

【発明の効果】

【0014】

本発明によれば、意図せずに生体情報が流出することを防止し、生体認証の安全性を向上させることができる。特に、生体情報は画像に含まれているか否かを認知することが難しいが、本発明によれば使用者が特に留意せずに画像を撮像しても自動的に生体情報を無効化することができるので、使用性の向上と生体認証の安全性の向上を両立することができる。

【0015】

さらに、ＳＮＳなどを提供するサーバ装置に本発明を実装すれば、ネットワークに意図しない生体情報が露出することを防止し、ネットワークの安全性の向上を図ると共に、サービスの付加価値の向上にも寄与する。

【図面の簡単な説明】

【0016】

【図1】本発明に係る画像処理装置の構成図である。

【図2】本発明に係る画像処理方法のフローチャートである。

【図3】本発明に係る画像処理システムの構成図である。

【図4】本発明に係る画像処理方法のフローチャートである。

【発明を実施するための形態】

【0017】

以下、本発明に係る画像処理方法及び装置、システムについて説明する。本発明はコンピュータを用いて実施されるものであるが、コンピュータには、公知のパーソナルコンピュータ、ネットワークサーバ、端末装置、スマートフォン、携帯電話、ゲーム機、画像処理機能を有するデジタルカメラなど任意のコンピュータを用いることができる。
また、下記実施例に限定されることなく、請求項記載の範囲で任意に変更可能である。

【0018】

（実施例１）
本発明は、生体認証に用いる生体情報が含まれる画像から、生体情報を無効化するコンピュータの画像処理方法を提供する。図１は本発明に係る画像処理装置１、図２は本発明に係る画像処理方法である。
画像処理装置１は、コンピュータのＣＰＵ１０を備え、ＣＰＵ１０には、画像入力部１０１，生体情報認識処理部１０２，生体情報無効化処理部１０５、画像出力部１０６を有する。その他、選択的に認識結果出力部１０３と無効化指示受理部１０４を備えることもできる。これらの各処理は図示しないメモリや外部記憶装置などの記憶媒体に格納されるプログラムの実行処理によって実現される。

【0019】

ＣＰＵ１０と共に、インターネット等のネットワーク通信を行うネットワークインターフェース１１，モニタ１２，画像データを記憶するメモリカードを読み書きするためのカードスロット１３、撮像手段やセンサ手段などの画像取得部１４を備えることができる。これらはいずれも選択的に備えられるものである。

【0020】

図２に示されるように、最初に画像入力部１０１が、対象の画像データを入力する画像入力ステップＳ１を行う。画像データを入力する方法としては、本装置１自体に備えられる撮像素子や、外部のデジタルカメラ、指紋センサ、掌紋センサ、網膜センサ、虹彩センサ、血管センサなどの任意のセンサなどの画像取得部１４から画像データを入力すること、又は、カードスロット１３を用いてメモリカードに格納された画像データを読み出すことなどが含まれる。
また、画像入力部１０１は、ネットワークインタフェース１１を通して画像データを取得することで入力してもよい。

【0021】

入力する画像は、指紋、掌紋、掌形、網膜、虹彩、顔、血管、耳形、筆跡、リップムーブメント、まばたき、歩行の様子などを利用することができる。なお、画像は静止画像及び動画像を含み、動画像においては任意の１フレームを利用してもよいし、遷移する複数の画像を用いても良い。

【0022】

画像が入力されると、生体情報認識処理部１０２が画像から生体情報が含まれているか否かを認識する生体情報認識ステップＳ２を行う。
画像中に入力された生体情報の認識方法は公知であり詳細な説明を省略するが、生体認証技術として公知の方法を適用することができる。なお本発明では認証そのものを行うものではなく、認証に必要な生体情報を無効化することが目的であるので、必ずしも認証と同様な高精度な処理は必要としない。

【0023】

例えば、指紋・掌紋認証であれば、一般的な指紋・掌紋技術では模様に含まれる特徴点を抽出したり、模様の方向、変化に着目して抽出を行っているが、本発明ではこれらの抽出可能な情報が画像中に含まれているかが取得できれば十分である。このように生体情報が含まれているかを抽出する技術についても公知であるが、例えば、無効化する生体情報のサンプル画像（指紋画像や掌紋画像等）を予め格納しておき、これらと一定の類似性が認められる画像が含まれるか否かを認識することで生体情報認識処理を行うことができる。画像の類似度の計測方法についてもさまざまな手法が周知である。

【0024】

その他、掌形、網膜、虹彩、顔、血管、耳形などを生体情報として用いる場合には、画像中にこれらの形状が含まれていないか否かを抽出する。なお、例えば網膜、虹彩や血管などにおいては、生体認証時に予め画像処理を行ってから照合処理を行う場合があり、生体情報認識処理部１０２ではこれらの公知の画像処理を行ったうえで、生体情報が含まれているか否かを認識処理することもできる。

【0025】

また、筆跡、リップムーブメント、まばたき、歩行の様子などを対象とする場合には、
動画像における複数の画像を用い、これらの利用される情報が取得可能であるか否かを認識する。

【0026】

入力された画像データ中に、指紋や掌紋等と類似する画像が含まれている場合、画像中のこの領域を生体情報画像領域と呼び、生体情報無効化処理部１０５において、生体情報無効化ステップＳ５を実行する。生体情報無効化ステップＳ５では、画像中の少なくとも生体情報画像領域に所定の画像処理を行い、生体情報が認識できない無効化画像データに変化させる。画像処理の対象は、生体情報画像領域だけでなく、生体情報画像領域の近傍領域まで、あるいは画像データ全体としてもよい。

【0027】

画像処理としては、一般にモザイク処理と呼ばれているピクセル化処理や、色彩の数を減らしたり濃淡を減らす減色処理を行うことができる。ピクセル化処理によれば解像度を減じることで識別性が低下するため、生体認証が不可能になる。また、減色処理でも生体情報とその他の部位との色や濃さが減じ、又は無くなることで生体認証が不可能になる。

【0028】

本発明が対象とする画像データは、そもそもユーザが指紋などを撮影しようとしたものではなく、撮像素子の高性能化によって図らずも映ってしまった細部であるため、上記のようなピクセル化処理や減色処理で生体情報画像領域を変化させても気になることはなく、違和感のない画像が提供できる利点を有する。

【0029】

画像処理の方法は、認識された生体情報によって適宜実施することができるが、ピクセル化や減色処理の他に、変形を行うことも好適である。すなわち、指紋、掌紋、掌形、顔、血管、耳形、筆跡、リップムーブメント、まばたき、歩行の様子などを用いる場合には、画像を所定の形状に変形させることで生体認証を行いづらくする。変形は所定の一方向に伸縮させるだけでもよいし、所定の変換式に従って各画素の位置を変化させる方法でもよい。生体情報画像領域、又はその近傍だけを変化させることもできる。

【0030】

筆跡、リップムーブメント、まばたき、歩行の様子など、動画像を対象とする場合には、各フレームの長さを変化させることで、動画像中の遷移するタイミングを変化させ、認証を行い難くすることもできる。

【0031】

本発明において、画像処理はその他の任意の方法を適宜採用することができる。画像処理の方法は１つだけに限らず、複数を組み合わせて行うこともできる。
画像処理は不可逆的であることが望ましいが、管理権限を有する者が復元可能とした可逆的処理でもよい。

【0032】

最後に、画像出力部１０６が、無効化画像データを出力する画像出力ステップＳ６を行う。出力の態様は任意であるが、図示しない記憶媒体に保存してもよいし、ネットワークインタフェース１１を通して外部に無効化画像を送信してもよいし、モニタ１２から無効化画像を表示してもよいし、カードスロット１３によりメモリカードに保存してもよい。

【0033】

別実施例として、本方法においてユーザが無効化を行うか否か介入できるようにすることもできる。
そのために、前記生体情報認識ステップＳ２の後に、少なくとも生体情報が含まれている場合に、認識結果出力部１０３が生体情報が含まれているか否かの認識結果を出力する認識結果出力ステップＳ３、無効化指示受理部１０４が、ユーザーから生体情報を無効化するか否かの指示を受理する無効化指示受理ステップＳ４を有し、指示結果に従って生体情報無効化ステップを実行処理することもできる。

【0034】

認識結果出力部１０３は、生体情報認識処理部１０２が認識した結果、生体情報が含まれていると認識した場合、又は含まれている可能性が高いと判断された場合に認識結果を出力することができる。後者の可能性については、例えば画像の類似度が所定の閾値以上高い場合や、公知の画像認識技術によって確度が高い場合に判断することができる。
認識結果の出力方法としては、ネットワークインタフェース１１を通して外部に通知してもよいし、モニタ１２から表示してもよい。

【0035】

無効化指示受理部１０４は、ネットワークインタフェース１１を通した外部からの指示や、図示しないキーボード、マウス、タッチパネル等の入力手段を通じてユーザからの無効化指示を受理し、例えば無効化を希望する指示があった場合に生体情報無効化処理部１０５に対して無効化処理をするように通知することができる。

【0036】

なお、本発明では、生体情報が含まれていると認識しない場合でも、ユーザに対して含まれていないと判断したことと共に、本当に含まれていないか否かを通知することもできる。その場合、生体情報認識処理部１０２では生体情報が含まれていないと判断されていても、画像データに対して生体情報無効化処理部１０５が無効化処理を行うことができる。

【0037】

（実施例２）
本発明の実施例２によれば、生体認証に用いる生体情報が含まれる画像から、生体情報を無効化するコンピュータの画像処理装置１を提供することができる。
本装置１には、対象の画像データを入力する画像入力部１０１と、画像から生体情報が含まれているか否かを認識する生体情報認識処理部１０２と、画像中の少なくとも生体情報が含まれている画像領域に所定の画像処理を行い、生体情報が認識できない無効化画像データに変化させる生体情報無効化処理部１０５と、無効化画像データを出力する画像出力部１０６を少なくとも備えることができる。

【0038】

なお、本装置１は、上記実施例１で示した画像処理装置１と同様の構成とすることができ、例えば、認識結果出力部１０３や無効化指示受理部１０４を備えることもできる。
その他の実施例についても上記と同様である。

【0039】

（実施例３）
本発明の実施例３によれば、生体認証に用いる生体情報が含まれる画像から、生体情報を無効化するネットワークシステムにおける画像処理方法を提供することができる。図３にはネットワークシステムの構成図を、図４には処理のフローチャートを示す。

【0040】

図示されるように、ネットワークシステムは複数の端末装置３０と、通信ネットワーク４０により接続されたサーバ装置２０とから構成され、サーバ装置の画像受信部２０１が、端末装置３０から対象の画像データを受信する画像受信ステップＳ１１、サーバ装置の生体情報認識処理部２０２が、画像から生体情報が含まれているか否かを認識する生体情報認識ステップＳ１２、サーバ装置の生体情報無効化処理部２０５が、画像中の少なくとも生体情報が含まれている画像領域に所定の画像処理を行い、生体情報が認識できない無効化画像データに変化させる生体情報無効化ステップＳ１５、サーバ装置の画像出力部２０６が、無効化画像データをサーバ装置２０に保存するか、又は端末装置３０に送信する画像出力ステップＳ１６を少なくとも含むことを特徴とする画像処理方法を提供する。

【0041】

また、上記の画像処理方法において、前記生体情報認識ステップＳ１２の後に、少なくとも生体情報が含まれている場合に、前記サーバ装置２０の認識結果送信部２０３が生体情報が含まれているか否かの認識結果を前記端末装置３０に送信する認識結果送信ステップＳ１３、サーバ装置２０の無効化指示受理部２０４が、前記端末装置３０から生体情報を無効化するか否かのユーザの指示を受信する無効化指示受信ステップＳ１４を有し、指示結果に従って生体情報無効化ステップを実行処理することもできる。

【0042】

実施例３は、実施例１及び２における各処理と同様であり、詳細な説明は省略するが、特にサーバ装置においては画像処理装置１における生体情報認識処理部１０２、認識結果出力部１０３、無効化指示受理部１０４、生体情報無効化処理部１０５と同様の処理を行うことができる。

【0043】

本実施例に係るサーバ装置２０を例えばソーシャルネットワークシステムのサーバに実装することで、登録ユーザーからアップロードされた画像から生体情報を無効化し、サービスの安全性と利便性を同時に向上させることができ、サービスの付加価値を高めることにも寄与する。

【符号の説明】

【0044】

１ 画像処理装置
１０ ＣＰＵ
１１ ネットワークインタフェース
１２ モニタ
１３ カードスロット
１４ 画像取得部
１０１ 画像入力部
１０２ 生体情報認識処理部
１０３ 認識結果出力部
１０４ 無効化指示受理部
１０５ 生体情報無効化処理部
１０６ 画像出力部

【図1】

【図2】

【図3】

【図4】