(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022150722
(43)【公開日】2022-10-07
(54)【発明の名称】画像識別装置、画像識別方法及びプログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20220929BHJP
G06N 20/00 20190101ALI20220929BHJP
【FI】
G06T7/00 350B
G06N20/00 130
【審査請求】未請求
【請求項の数】8
【出願形態】OL
(21)【出願番号】P 2021053447
(22)【出願日】2021-03-26
(71)【出願人】
【識別番号】397072639
【氏名又は名称】株式会社デジタルガレージ
(74)【代理人】
【識別番号】100079108
【弁理士】
【氏名又は名称】稲葉 良幸
(74)【代理人】
【識別番号】100109346
【弁理士】
【氏名又は名称】大貫 敏史
(74)【代理人】
【識別番号】100117189
【弁理士】
【氏名又は名称】江口 昭彦
(74)【代理人】
【識別番号】100134120
【弁理士】
【氏名又は名称】内藤 和彦
(72)【発明者】
【氏名】シャオ アンシ
(72)【発明者】
【氏名】菊地 弘晶
(72)【発明者】
【氏名】竹之内 隆夫
【テーマコード(参考)】
5L096
【Fターム(参考)】
5L096AA02
5L096AA06
5L096EA03
5L096EA05
5L096EA16
5L096FA32
5L096FA34
5L096GA30
5L096GA41
5L096GA51
5L096HA11
5L096JA11
5L096KA04
(57)【要約】
【課題】画像を撮影した機体を識別することが可能な技術を提供すること。
【解決手段】画像データを取得する取得部と、前記画像データのノイズ特徴量を抽出する抽出部と、前記画像データのノイズ特徴量と、判定対象機体のノイズ特徴量とを識別モデルに入力することで、前記画像データが、前記判定対象機体で撮影された画像データであるのか、前記判定対象機体と同一機種であるが異なる機体で撮影された画像データであるのか、又は、前記判定対象機体と異なる機種かつ異なる機体で撮影された画像データであるのかを識別する識別部と、を有する画像識別装置を提供する。
【選択図】
図3
【特許請求の範囲】
【請求項1】
画像データを取得する取得部と、
前記画像データのノイズ特徴量を抽出する抽出部と、
前記画像データのノイズ特徴量と、判定対象機体のノイズ特徴量とを識別モデルに入力することで、前記画像データが、前記判定対象機体で撮影された画像データであるのか、前記判定対象機体と同一機種であるが異なる機体で撮影された画像データであるのか、又は、前記判定対象機体と異なる機種かつ異なる機体で撮影された画像データであるのかを識別する識別部と、
を有する、画像識別装置。
【請求項2】
前記判定対象機体を含む機体で撮影された学習用画像データのノイズ特徴量と、前記判定対象機体を含む機体のノイズ特徴量と、正解データとを対応づけた学習用データを用いてモデルを学習させることで前記識別モデルを生成する、学習部、を有し、
前記正解データは、前記学習用画像データのノイズ特徴量が、前記判定対象機体のノイズ特徴量であるのか、前記判定対象機体と同一機種であるが異なる機体のノイズ特徴量であるのか、又は、前記判定対象機体と異なる機種かつ異なる機体のノイズ特徴量であるのかを示すデータを含む、
請求項1に記載の画像識別装置。
【請求項3】
前記識別部による識別結果に基づいて、前記画像データが偽物である可能性があるか否かを判定する判定部と、を有する、
請求項1又は2に記載の画像識別装置。
【請求項4】
前記画像データを複数の分割画像に分割する分割部、を有し、
前記抽出部は、前記複数の分割画像の各々のノイズ特徴量を抽出し、
前記識別部は、前記複数の分割画像の各々について、分割画像のノイズ特徴量と前記判定対象機体のノイズ特徴量とを識別モデルに入力することで、前記複数の分割画像の各々が、前記判定対象機体で撮影された分割画像であるのか、前記判定対象機体と同一機種であるが異なる機体で撮影された分割画像であるのか、又は、前記判定対象機体と異なる機種かつ異なる機体で撮影された分割画像であるのかを識別し、
前記判定部は、前記複数の分割画像のうち少なくとも一部が、前記判定対象機体と同一機種であるが異なる機体で撮影された分割画像、又は、前記判定対象機体と異なる機種かつ異なる機体で撮影された分割画像であると識別された場合、前記画像データは偽物である可能性があると判定する、
請求項3に記載の画像識別装置。
【請求項5】
前記識別モデルは、前記画像データが、前記判定対象機体で撮影された画像データであることを示す第1確率値、前記判定対象機体と同一機種であるが異なる機体で撮影された画像データであることを示す第2確率値、又は、前記判定対象機体と異なる機種かつ異なる機体で撮影された画像データであることを示す第3確率値を出力し、
前記判定部は、
前記識別モデルに分割画像のノイズ特徴量と前記判定対象機体のノイズ特徴量とを入力することで得られる第1確率値、第2確率値及び第3確率値のうち、第1確率値が最も高い値である所定の分割画像が存在する場合、前記所定の分割画像と前記所定の分割画像に隣接する複数の隣接画像とにおける第1確率値の平均値、第2確率値の平均値及び第3確率値の平均値を算出し、
該所定の分割画像の第1確率値と前記複数の隣接画像における第1確率値の平均値との第1差分、該所定の分割画像の第2確率値と前記複数の隣接画像における第2確率値の平均値との第2差分、及び該所定の分割画像の第3確率値と前記複数の隣接画像における第3確率値の平均値との第3差分のうち少なくとも一部の差分が、所定閾値以上である場合、前記画像データは偽物である可能性があると判定する、
請求項4に記載の画像識別装置。
【請求項6】
前記判定部は、前記抽出部で抽出されたノイズ特徴量と、前記判定対象機体のノイズ特徴量との相関値が所定値以上である場合、前記取得部で取得された画像データは偽物である可能性があると判定する、
請求項3~5のいずれか一項に記載の画像識別装置。
【請求項7】
画像識別装置が実行する画像識別方法であって、
画像データを取得するステップと、
前記画像データのノイズ特徴量を抽出するステップと、
前記画像データのノイズ特徴量と、判定対象機体のノイズ特徴量とを識別モデルに入力することで、前記画像データが、前記判定対象機体で撮影された画像データであるのか、前記判定対象機体と同一機種であるが異なる機体で撮影された画像データであるのか、又は、前記判定対象機体と異なる機種かつ異なる機体で撮影された画像データであるのかを識別するステップと、
を含む、画像識別方法。
【請求項8】
画像データを取得するステップと、
前記画像データのノイズ特徴量を抽出するステップと、
前記画像データのノイズ特徴量と、判定対象機体のノイズ特徴量とを識別モデルに入力することで、前記画像データが、前記判定対象機体で撮影された画像データであるのか、前記判定対象機体と同一機種であるが異なる機体で撮影された画像データであるのか、又は、前記判定対象機体と異なる機種かつ異なる機体で撮影された画像データであるのかを識別するステップと、
をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像識別装置、画像識別方法及びプログラムに関する。
【背景技術】
【0002】
現在、ウェブサイトからオンラインで契約等を行う仕組みが提供されている。また、オンラインで契約等を行う際、ユーザに対し、本人確認書類を撮影した画像データの提出を求めることも広く行われている。特許文献1には、操作端末装置のカメラで、端末操作者本人と身分証明書とを撮影した画像を用いて、不動産物件に係る手続きを行う際の認証を行う契約管理サーバが開示されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
画像処理技術の進歩により、インターネット等からダウンロードした画像データを、自ら撮影した画像であるかのように加工することが可能になっている。しかしながら、特許文献1の技術では、送信された画像が、操作端末装置のカメラで撮影された正規の画像なのか否かを判定することはできない。
【0005】
そこで、本発明は、画像を撮影した機体を識別することが可能な技術を提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明の一態様に係る画像識別装置は画像データを取得する取得部と、前記画像データのノイズ特徴量を抽出する抽出部と、前記画像データのノイズ特徴量と、判定対象機体のノイズ特徴量とを識別モデルに入力することで、前記画像データが、前記判定対象機体で撮影された画像データであるのか、前記判定対象機体と同一機種であるが異なる機体で撮影された画像データであるのか、又は、前記判定対象機体と異なる機種かつ異なる機体で撮影された画像データであるのかを識別する識別部と、を有する。
【発明の効果】
【0007】
本発明によれば、画像を撮影した機体を識別することが可能な技術を提供することができる。
【図面の簡単な説明】
【0008】
【
図1】本実施形態に係る画像識別システムの一例を示す図である。
【
図2】画像識別装置のハードウェア構成例を示す図である。
【
図3】画像識別装置の機能ブロック構成例を示す図である。
【
図4】識別モデルを学習させる処理手順の一例を示すフローチャートである。
【
図5】機体のノイズ特徴量を生成する処理手順を説明するための図である。
【
図7】画像を撮影した機体を判定する処理手順の一例を示す図である。
【
図8】画像の一部が加工されている可能性を判定する処理手順の一例を示す図である。
【
図10】画像の一部が加工されている可能性を判定する処理手順を説明するための図である。
【
図11】画像の一部が加工されている可能性を判定する処理手順を説明するための図である。
【
図12】ノイズ特徴量の相関を利用した画像の加工有無を判定する処理手順の一例を示す図である。
【発明を実施するための形態】
【0009】
添付図面を参照して、本発明の実施形態について説明する。なお、各図において、同一の符号を付したものは、同一又は同様の構成を有する。
【0010】
<システム構成>
図1は、本実施形態に係る画像識別システム1の一例を示す図である。画像識別システム1は、画像識別装置10と、端末20とを含む。画像識別装置10と端末20とは、無線又は有線の通信ネットワークNを介して接続され、相互に通信を行うことができる。
【0011】
画像識別装置10は、入力された画像データが、予め画像識別装置10に登録されている機体(以下、「判定対象機体」と言う。)で撮影された画像(以下、「正規の画像」と言う。)であるのか、若しくは、判定対象機体とは異なる他の機体で撮影された画像又は他の機体で撮影された画像を加工した画像(以下、「偽物の画像」と言う。)であるのかを識別する。画像識別装置10は、どのような用途にも利用可能であるが、例えば、自動車保険事業において、契約者から提示された事故写真が、契約者が契約時に予め登録したスマートフォンにて撮影した実際の事故画像なのか、若しくはインターネット等から入手した不正な画像なのかを判別するようなケースに利用することが可能である。また、他の例として、事故の証拠画像として提出されたドライブレコーダーの画像が、予め登録されたドライブレコーダーで撮影された実際の画像なのか、若しくは第3者から入手した画像を加工した不正画像なのかを判別するようなケースにも利用することが可能である。
【0012】
画像識別装置10は、当該識別を行う際、PUF(Physically Unclonable Function)を用いることで、判定対象機体で撮影された画像データであるのか否かを識別する。PUFは、半導体製造時に生じる微細な差により、物理的に複製困難な半導体固有の特徴を利用する技術である。一般的に、半導体は、設計上の回路は同一であっても、製造された回路には微細な差が存在している。この微細な差により、半導体からの出力データには、半導体ごとにユニークな特徴が含まれることになる。本実施形態において、画像データにノイズとして含まれている、画像データを撮影した半導体素子であるイメージセンサー固有のノイズ(PUFの出力)を「判定対象機体のノイズ特徴量」と言う。また、ある機体で撮影された画像データに対してノイズ除去処理等を行うことで抽出されたノイズを、判定対象機体のノイズ特徴量と区別するために、「画像データのノイズ特徴量」と言う。
【0013】
また、本実施形態において「機体」とは、画像を撮影する機能を備えたデバイスを意味しており、例えば、スマートフォン、携帯電話、デジタルカメラ、ドライブレコーダーなど、イメージセンサーを備えた様々なデバイスが含まれる。また、本実施形態において「機種」とは、機体の種類を示している。例えばスマートフォンの場合、iphone(登録商標)10、iphone11、iphone12等が「機種」に該当し、iphone12である個々の端末が「機体」に該当する。なお、本実施形態において、同一機種とみなす範囲は、特に限定されない。例えば、型番又は形式が同一である場合に同一機種とみなしてもよいし、製造メーカが同一である場合に同一機種とみなしてもよい。
【0014】
端末20は、画像識別装置10による識別結果等を表示する装置である。端末20は、例えば、パーソナルコンピュータ(PC)、ノートPC、タブレット端末、スマートフォン等を含む。
【0015】
画像識別装置10は、以下に示す工程A~Cの3つの工程の一部又は全部を行うことで、入力された画像が、判定対象機体で撮影された正規の画像なのか、若しくは偽物の画像であるのかを判定する。
【0016】
(工程A:画像を撮影した機体判定)
画像識別装置10は、入力された画像データのノイズ特徴量と判定対象機体のノイズ特徴量とを識別モデルに入力することで、画像データを撮影した機体が、判定対象機体であるのか否かを識別する。識別モデルは、入力された画像のノイズ特徴量が、判定対象機体のノイズ特徴量であるのか、判定対象機体と同一機種であるが異なる機体のノイズ特徴量であるのか、又は、判定対象機体と異なる機種かつ異なる機体のノイズ特徴量であるのかを識別するように予め学習されている。
【0017】
(工程B:分割画像を利用した画像の加工有無判定)
画像識別装置10は、入力された画像データを複数に分割した画像(以下、「分割画像」と言う。)について、各分割画像のノイズ特徴量と判定対象機体のノイズ特徴量とを識別モデルに入力することで、各分割画像を撮影した機体が、判定対象機体と同一機体であるのか否かを識別する。同一機体ではない(つまり異なる機体である)と識別された分割画像が存在した場合、画像識別装置10は、入力された画像データは加工された画像である可能性が高いと判定する。
【0018】
(工程C:ノイズ特徴量の相関を利用した画像の加工有無判定)
画像識別装置10は、入力された画像データのノイズ特徴量と、判定対象機体のノイズ特徴量との相関に基づき、入力された画像データが不正に加工された画像データであるか否かを識別する。画像識別装置10は、当該相関が高い場合、入力された画像は加工された画像である可能性があると判定する。工程Cにより、攻撃者が、何らかの方法で判定対象機体のノイズ特徴量を入手し、他の機体で撮影した画像に含まれるノイズ特徴量を、入手したノイズ特徴量に置き換えることで、入力された画像が判定対象機体で撮影された画像であるかのように画像識別装置10を誤認識させるといった攻撃を行うことを検知することができる。
【0019】
(工程A~Cの組み合わせによる判定処理)
画像識別装置10は、工程A~工程Cの全てにおいて、入力された画像データが、判定対象機体で撮影された画像データであると識別され、かつ、入力された画像データは加工された画像ではないと識別された場合、入力された画像は正規の画像であると判定する。また、工程A~工程Cの一部において、入力された画像データが、判定対象機体で撮影された画像データではないと識別され、又は、入力された画像データは加工された画像ではないと識別された場合、入力された画像は偽物の画像である可能性があると判定する。
【0020】
なお、工程A~Cの処理順序は問わない。例えば、工程C、工程A及び工程Bの順で処理を行うようにしてもよいし、工程A、工程B及び工程Cの順で処理を行うようにしてもよい。また、工程A~Cのうち一部の工程は省略されていてもよい。例えば、画像識別装置10は、工程Aの識別結果のみを用いて判定を行うようにしてもよいし、工程Bの識別結果のみを用いて判定を行うようにしてもよい。また、工程B及び工程Cの識別結果を用いて当該判定を行うようにしてもよいし、工程A及び工程Bの識別結果を用いて当該判定を行うようにしてもよいし、工程A及び工程Cを用いて当該判定を行うようにしてもよい。
【0021】
<ハードウェア構成>
図2は、画像識別装置10のハードウェア構成例を示す図である。画像識別装置10は、CPU(Central Processing Unit)、GPU(Graphical processing unit)等のプロセッサ11、メモリ、HDD(Hard Disk Drive)及び/又はSSD(Solid State Drive)等の記憶装置12、有線又は無線通信を行う通信IF(Interface)13、入力操作を受け付ける入力デバイス14、及び情報の出力を行う出力デバイス15を有する。入力デバイス14は、例えば、キーボード、タッチパネル、マウス及び/又はマイク等である。出力デバイス15は、例えば、ディスプレイ、タッチパネル及び/又はスピーカ等である。画像識別装置10は、1又は複数の物理的なサーバ等から構成されていてもよいし、ハイパーバイザー(hypervisor)上で動作する仮想的なサーバを用いて構成されていてもよいし、クラウドサーバを用いて構成されていてもよい。また、画像識別装置10はコンピュータと呼ばれてもよい。
【0022】
<機能ブロック構成>
図3は、画像識別装置10の機能ブロック構成例を示す図である。画像識別装置10は、記憶部100と、取得部101と、分割部102と、抽出部103と、識別部104と、判定部105と、学習部106とを含む。記憶部100は、画像識別装置10が備える記憶装置12を用いて実現することができる。また、取得部101と、分割部102と、抽出部103と、識別部104と、判定部105と、学習部106とは、画像識別装置10のプロセッサ11が、記憶装置12に記憶されたプログラムを実行することにより実現することができる。また、当該プログラムは、記憶媒体に格納することができる。当該プログラムを格納した記憶媒体は、コンピュータ読み取り可能な非一時的な記憶媒体(Non-transitory computer readable medium)であってもよい。非一時的な記憶媒体は特に限定されないが、例えば、USBメモリ又はCD-ROM等の記憶媒体であってもよい。
【0023】
記憶部100は、判定対象機体のノイズ特徴量を格納するノイズ特徴量DB(Database)を記憶する。また、記憶部100は、学習により生成された識別モデルのパラメータを格納する識別モデルDBを記憶する。なお、ノイズ特徴量DBには、判定対象機体を一意に識別する識別子と、当該判定対象機体のノイズ特徴量とを対応づけて記憶することとしてもよい。また、識別モデルDBには、判定対象機体を一意に識別する識別子と、当該判定対象機体を識別可能なように学習された識別モデルのパラメータとを対応づけて記憶するようにしてもよい。また、ノイズ特徴量DBに記憶される判定対象機体のノイズ特徴量は、識別モデルの学習に用いられた判定対象機体のノイズ特徴量であってもよい。
【0024】
取得部101は、画像識別装置10に入力された画像データを取得する。分割部102は、取得部101で取得された画像データを複数の分割画像に分割する。抽出部103は、取得部101で取得された画像データのノイズ特徴量を抽出する。また、抽出部103は、分割部102で分割された複数の分割画像の各々のノイズ特徴量を抽出するようにしてもよい。
【0025】
識別部104は、画像データのノイズ特徴量と、判定対象機体のノイズ特徴量とを識別モデルに入力することで、画像データが、判定対象機体で撮影された画像データであるのか、判定対象機体と同一機種であるが異なる機体で撮影された画像データであるのか、又は、判定対象機体と異なる機種かつ異なる機体で撮影された画像データであるのかを識別する。また、識別部104は、複数の分割画像の各々について、分割画像のノイズ特徴量と判定対象機体のノイズ特徴量とを識別モデルに入力することで、複数の分割画像の各々が、判定対象機体で撮影された分割画像であるのか、判定対象機体と同一機種であるが異なる機体で撮影された分割画像であるのか、又は、判定対象機体と異なる機種かつ異なる機体で撮影された分割画像であるのかを識別するようにしてもよい。
【0026】
判定部105は、識別部104による識別結果に基づいて、画像データが偽物である可能性があるか否かを判定する。また、判定部は、複数の分割画像のうち少なくとも一部が、判定対象機体と同一機種であるが異なる機体で撮影された分割画像、又は、判定対象機体と異なる機種かつ異なる機体で撮影された分割画像であると識別された場合、画像データは偽物である可能性があると判定するようにしてもよい。また、判定部105は、抽出部103で抽出されたノイズ特徴量と、判定対象機体のノイズ特徴量との相関値が所定値以上である場合、取得部101で取得された画像データは偽物である可能性があると判定するようにしてもよい。
【0027】
学習部106は、判定対象機体を含む機体で撮影された学習用画像データのノイズ特徴量と、判定対象機体を含む機体のノイズ特徴量と、正解データとを対応づけた学習用データを用いてモデルを学習させることで識別モデルを生成する。なお、正解データは、学習用画像データのノイズ特徴量が、判定対象機体のノイズ特徴量であるのか、判定対象機体と同一機種であるが異なる機体のノイズ特徴量であるのか、又は、判定対象機体と異なる機種かつ異なる機体のノイズ特徴量であるのかを示すデータを含んでいる。
【0028】
<処理手順>
(識別モデルの学習処理)
図4は、識別モデルを学習させる処理手順の一例を示すフローチャートである。識別モデルを学習させるために、予め、判定対象機体で撮影された複数の画像と、判定対象機体とは異なる機種の機体で撮影された複数の画像と、判定対象機体と同一機種であるが異なる機体で撮影された複数の画像とを用意しておく。これらの画像はどのような画像であってもよいが、より適切に各機体のノイズ特徴量を抽出するために、白い壁など、白色の物体を撮影した画像を利用することが好ましい。
【0029】
まず、学習部106は、判定対象機体を含む各機体のノイズ特徴量を生成する(S100)。
図5は、機体のノイズ特徴量を生成する処理手順を説明するための図である。まず、学習部106は、同一の機器で撮影された複数の画像データP10の各々に対して、ノイズ除去処理を行うことで、ノイズを除去した複数の画像P11を生成する。ノイズ除去処理は、例えば、ウェーブレット変換を用いたノイズ除去処理技術や、ノイズ除去処理を行うように学習されたCNN(Convolutional Neural Network)等を利用して行うことができる。次に、学習部106は、画像データP10からノイズ除去後の画像データP11を減算することで、各画像のノイズ特徴量P12を生成する。当該減算処理は、例えば画素ごとに値(明度、彩度など)を減算することとしてもよい。次に、学習部106は、各画像のノイズ特徴量P12を結合することで、機体のノイズ特徴量P13を算出する。機体のノイズ特徴量を結合するとは、例えば、各画像のノイズ特徴量P12について最尤推定を行う(画素毎に最尤推定を行う)ことであってもよい。若しくは、各画像のノイズ特徴量P12の平均値(画素毎に平均値を計算する)を算出することであってもよい。
図4に戻り説明を続ける。
【0030】
続いて、学習部106は、識別モデルを学習させるために用意された各画像のノイズ特徴量と、各機体のノイズ特徴量と、正解データとの組み合わせを複数作成することで、学習用データを生成する(S101)。
図6は、学習用データの一例を示す図である。「DD(Different device, Different model)」は、異なる機体及び異なる機種を意味する。「DS(Different device, Same model)」は、異なる機体及び同一機種を意味する。「SS(Same device, Same model)」は、同一機体及び同一機種を意味する。例えば、
図6の1行目に示す学習データは、機種Xである機体Aで撮影された画像データのノイズ特徴量と、機体Aのノイズ特徴量と、正解データ(同一機体及び同一機種)とが対応づけられた学習データである。
図4に戻り説明を続ける。
【0031】
続いて、学習部106は、生成した学習用データを用いて、モデルを学習させることで、識別モデルを生成する(S102)。モデルは例えば、CNNであってもよいし、CNNとは異なるモデルであってもよい。
【0032】
なお、画像識別装置10は、以上説明した識別モデルの学習処理を、判定対象機体ごとに行うようにしてもよい。また、画像識別装置10は、判定対象機体ごとに、ノイズ特徴量をノイズ特徴量DBに格納し、判定対象機体ごとに、識別モデルを識別モデルDBに格納するようにしてもよい。
【0033】
(工程A:画像を撮影した機体判定)
図7は、画像を撮影した機体を判定する処理手順の一例を示す図である。取得部101は、画像識別装置10に入力された、判定対象の画像データと、判定対象機体の識別子とを取得する(S200)。続いて、識別部104は、ノイズ特徴量DB及び識別モデルDBを参照し、判定対象機体の識別子に対応するノイズ特徴量及び識別モデルを取得する(S201)。続いて、抽出部103は、判定対象の画像データから、ノイズ特徴量を抽出する(S202)。ノイズ特徴量の抽出は、識別モデルの学習処理で説明したノイズ除去処理を利用することで行うことができる。続いて、識別部104は、ステップS201で取得した識別モデルに、ステップ201で取得した判定対象機体のノイズ特徴量と、抽出部103で抽出された判定対象の画像データのノイズ特徴量とを入力することで、識別結果を取得する(S203)。ここで、識別モデルは、判定対象の画像データが、判定対象機体で撮影された画像データであるのか、判定対象機体と同一機種であるが異なる機体で撮影された画像データであるのか、又は、判定対象機体と異なる機種かつ異なる機体で撮影された画像データであるのかを識別した結果を出力する。より具体的には、識別モデルは、例えば、判定対象機体で撮影された画像データである確率(以下、「確率SS」と言う。)、判定対象機体と異なる機種かつ異なる機体で撮影された画像データである確率(以下、「確率DS」と言う。)、及び、判定対象機体と異なる機種かつ異なる機体で撮影された画像データである確率(以下、「確率DD」と言う。)を出力する。
【0034】
続いて、判定部105は、識別モデルからの出力結果に基づいて、判定対象の画像データが本物であるのか、又は偽物であるのかを判定する(S204)。例えば、確率SSが所定閾値以上(例えば0.7(70%)以上等)である場合、判定部105は、判定対象の画像データは、正規の画像であると判定するようにしてもよい。一方、確率DS又は確率DDが所定閾値以上(例えば0.5(50%)以上等)である場合、判定部105は、判定対象の画像データは、偽物の画像である可能性があると判定するようにしてもよい。なお、所定閾値は一例に過ぎず、これに限定されるものではない。
【0035】
以上説明した工程Aにおいて、判定対象機体のノイズ特徴量及び判定対象機体に対応する識別モデルは、画像の回転度数ごと(例えば、回転無し、90度回転、180度回転、-90度回転など)、画像サイズごと及び/又は拡大率ごとに生成され、ノイズ特徴量DB及び識別モデルDBに格納されていてもよい。また、取得部101は、ステップS200の処理手順において、画像データの回転度数、画像サイズ及び/又は拡大率を示すデータも取得するようにしてもよい。識別部104は、判定対象の画像の回転度数、画像サイズ及び/又は拡大率に対応するノイズ特徴量及び識別モデルを用いて識別処理を行うことが可能になる。なお、ここで拡大率は光学ズームやデジタルズーム機能における拡大率を意味している。
【0036】
(工程B:分割画像を利用した画像の加工有無判定)
図8は、画像の一部が加工されている可能性を判定する処理手順の一例を示す図である。なお、以下の説明において、識別モデルは、工程Bの手順で用いられる分割画像と同一サイズの画像を用いて予め学習が行われていると仮定する。また、ノイズ特徴量DBにも、工程Bの手順で用いられる分割画像と同一サイズの画像を用いて予め生成された、判定対象機体のノイズ特徴量が格納されているものと仮定する。
【0037】
ステップS300及びステップS301の処理手順は、
図7のステップS200及びステップS201の処理手順と同一であるため説明を省略する。続いて、分割部102は、判定対象の画像データを複数の画像に分割する(S302)。分割画像のサイズは任意であるが、例えば、500ピクセル四方、250ピクセル四方、125ピクセル四方などであってもよい。ここで、分割画像の一例を
図9に示す。画像P20は、判定対象の画像(分割前の画像)であり、画像P21は、判定対象の画像P210を複数に分割した画像を示している。画像P21の1マスが、1つの分割画像に対応する。
図7に戻り説明を続ける。
【0038】
続いて、抽出部103は、各分割画像からノイズ特徴量を抽出する(S303)。続いて、識別部104は、分割画像ごとに、分割画像のノイズ特徴量と、判定対象機体のノイズ特徴量とを識別モデルに入力することで、分割画像ごとの識別結果を取得する(S304)。ここで、識別モデルは、分割画像の画像データが、判定対象機体で撮影された画像データであることを示す確率SS(第1確率値)、判定対象機体と同一機種であるが異なる機体で撮影された画像データであることを示す確率DS(第2確率値)、又は、判定対象機体と異なる機種かつ異なる機体で撮影された画像データであることを示す確率DD(第3確率値)を出力する。
【0039】
続いて、判定部105は、識別モデルからの分割画像ごとの出力結果に基づいて、判定対象の画像データが正規であるのか、又は偽物であるのかを判定する(S305)。判定部105は、複数の分割画像の中に、判定対象機体と同一機種であるが異なる機体で撮影されたと識別された分割画像、又は、前記判定対象機体と異なる機種かつ異なる機体で撮影されたと識別された分割画像が存在する場合、判定対象の画像データは偽物である可能性があると判定するようにしてもよい。より具体的には、判定部105は、確率DS又は確率DDが、確率SS以上又は確率SSを超える分割画像が存在する場合、判定対象の画像データは、偽物の画像である可能性があると判定するようにしてもよい。
【0040】
また、判定部105は、確率DS及び確率DDが、確率SS未満又は確率SS以下である分割画像であっても、当該分割画像の周囲の分割画像における確率SS、確率DS及び確率DDと、当該分割画像における確率SS、確率DS及び確率DDとが大きく異なる場合、当該分割画像は加工されている可能性がある(つまり、判定対象の画像データは偽物である可能性がある)と判定するようにしてもよい。
【0041】
より具体的には、判定部105は、識別モデルに分割画像のノイズ特徴量と判定対象機体のノイズ特徴量とを入力することで得られる確率SS、確率DS及び確率DDのうち、確率SSが最も高い値である所定の分割画像が存在する場合、当該所定の分割画像と当該所定の分割画像に隣接する複数の隣接画像とにおける確率SSの平均値、確率DSの平均値及び確率DDの平均値を算出する。続いて、判定部105は、当該所定の分割画像の確率SSと複数の隣接画像における確率SSの平均値との第1差分、当該所定の分割画像の確率DSと複数の隣接画像における確率DSの平均値との第2差分、及び当該所定の分割画像の確率DDと複数の隣接画像における確率DDの平均値との第3差分を算出する。続いて、判定部105は、第1差分、第2差分及び第3差分のうち少なくとも一部の差分(差分の絶対値)が、所定閾値以上である場合、当該分割画像は加工されている可能性がある(つまり、判定対象の画像データは偽物である可能性がある)と判定するようにしてもよい。
【0042】
図10を用いて具体例を説明する。
図10において、分割画像DP31~DP34における確率SS、確率DS及び確率DDの平均値は、それぞれ、0.75、0.1375及び0.105である。また、分割画像DP34における確率SS、確率DS及び確率DDと確率SSの平均値、確率DSの平均値及び確率DDの平均値との差分の絶対値は、それぞれ、0.25、0.1625及び0.095である。ここで所定閾値を0.2とした場合、分割画像DP32における確率SSと確率SSの平均値の差分0.25は、当該所定閾値を超えることになる。従って、判定部105は、分割画像DP34は、加工されている可能性があると判定するようにしてもよい。
【0043】
なお、
図10の例では、DP34に隣接する分割画像は、分割画像DP31~DP33であるとしたが、これに限定されない。DP34に隣接する分割画像には、DP34の右上、右側、右下、真下及び左下に隣接する分割画像も含まれることとしてもよい。
【0044】
また、判定部105は、以下の式により決定されるはスコア(Score
fake)が所定閾値以上である場合に、分割画像は加工されている可能性があると判定するようにしてもよい。
【数1】
ここで、distAは、分割画像を更に4分割した各分割画像の確率SS、確率DS及び確率DDの平均値から構成される行列(
図11のV41)である。distBは、分割画像の確率SS、確率DS及び確率DDから構成される行列(
図11のV40)である。Argmax(distA)=class
ddは、distAのうち確率DDの値が最も大きい場合「1」になり、それ以外の場合は「0」になる。Argmax(distB)≠class
ssは、distBのうち確率DS又は確率DDの値が最も大きい場合「1」になり、確率SSが最も大きい場合は「0」になる。つまり、distA及びdistBにて確率SSが最も大きい場合、diff1は0になることから、スコアはゼロになる。また、diff2は、distAとdistBの行列の差分(つまり、distAの確率SSとdistBの確率SSとの差分、distAの確率DSとdistBの確率DSとの差分、distAの確率DDとdistBの確率DDとの差分)のうち最大のものであるため、distA及びdistBの差分が小さい場合、diff2は0に近づくことから、スコアもゼロに近づくことになる。
【0045】
(工程C:ノイズ特徴量の相関を利用した画像の加工有無判定)
図12は、ノイズ特徴量の相関を利用した画像の加工有無を判定する処理手順の一例を示す図である。
【0046】
ステップS400の処理手順は、
図7のステップS200の処理手順と同一であるため説明を省略する。識別部104は、ノイズ特徴量DBを参照し、判定対象機体の識別子に対応するノイズ特徴量を取得する(S401)。続いて、抽出部103は、判定対象の画像データから、ノイズ特徴量を抽出する(S402)。続いて、判定部105は、判定対象の画像データのノイズ特徴量と、判定対象機体のノイズ特徴量との相関値を算出する(S403)。本実施形態では、相関値の計算は、どのような方法で行われてもよい。例えば、相関値の計算方法として、SSD(Sum of Squared Difference)、SAD(Sum of Absolute Difference)、NCC(Normalized Cross Correlation)等が挙げられるが、これらに限定されるものではない。
【0047】
続いて、判定部105は、相関値が所定閾値以上である場合、判定対象の画像データは偽物である可能性があると判定する。なお、相関値が所定閾値未満である場合、判定部105は、更に、工程A又は工程Bの処理手順を行うことで、判定対象の画像データが正規の画像であるのか又は偽物の画像であるのかについて判定を行う。
【0048】
<まとめ>
本実施形態によれば、画像識別装置10は、判定対象の画像データが、判定対象機体で撮影された画像データであるのか、判定対象機体と同一機種であるが異なる機体で撮影された画像データであるのか、又は、判定対象機体と異なる機種かつ異なる機体で撮影された画像データであるのかを識別するようにした。これにより、画像を撮影した機体を識別することが可能な技術を提供することが可能になる。
【0049】
また、本実施形態によれば、画像識別装置10は、画像が撮影された機体を識別モデルを用いて判別する処理において、判定対象の画像データが、判定対象機体で撮影された画像データあるのか否かの2択をモデルに識別させるのではなく、判定対象の画像データが、判定対象機体で撮影された画像データであるのか、判定対象機体と同一機種であるが異なる機体で撮影された画像データであるのか、又は、判定対象機体と異なる機種かつ異なる機体で撮影された画像データであるのかを識別させるようにした。これにより、より少ない学習用データでより識別精度が高いモデルを生成することが可能になる。
【0050】
以上説明した実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。実施形態で説明したフローチャート、シーケンス、実施形態が備える各要素並びにその配置、材料、条件、形状及びサイズ等は、例示したものに限定されるわけではなく適宜変更することができる。また、異なる実施形態で示した構成同士を部分的に置換し又は組み合わせることが可能である。
【符号の説明】
【0051】
1…画像識別システム、10…画像識別装置、11…プロセッサ、12…記憶装置、13…通信IF、14…入力デバイス、15…出力デバイス、20…端末、100…記憶部、101…取得部、102…分割部、103…抽出部、104…識別部、105…判定部、106…学習部