特開 2022-73495 情報処理方法、プログラム及び情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022073495

(43)【公開日】2022-05-17

(54)【発明の名称】情報処理方法、プログラム及び情報処理装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20220510BHJP

   G06T 1/00 20060101ALI20220510BHJP

   G08G 1/16 20060101ALI20220510BHJP

【ＦＩ】

G06T7/00 350B

G06T7/00 650Z

G06T1/00 330Z

G08G1/16 A

【審査請求】有

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2020183520

(22)【出願日】2020-11-02

(71)【出願人】

【識別番号】520040304

【氏名又は名称】窪田 望

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(72)【発明者】

【氏名】窪田 望

【テーマコード（参考）】

5B057

5H181

5L096

【Ｆターム（参考）】

5B057AA16

5B057BA02

5B057CA01

5B057CA08

5B057CA12

5B057CA16

5B057CB01

5B057CB12

5B057CB16

5B057CE18

5B057DA12

5B057DB02

5B057DB06

5B057DB09

5B057DC40

5H181AA01

5H181AA26

5H181BB20

5H181CC04

5H181LL01

5H181LL02

5H181LL09

5L096AA02

5L096AA06

5L096BA04

5L096CA02

5L096HA09

5L096HA11

5L096KA04

(57)【要約】

【課題】例えば攻撃を受けた画像が画像認識されるような場合でも、画像内の対象物を適切に認識又は分類すること。
【解決手段】情報処理方法は、情報処理装置に備えられるプロセッサが、対象画像に対し、偽画像を生成させる第１アルゴリズムを用いて第１画像を生成すること、及び、対象画像又は第１画像に対し、画像を編集する第２アルゴリズムを用いて第２画像を生成することのうち、少なくとも第１画像の生成を行うこと、第１画像、又は、第１画像及び第２画像を用いて、対象画像に含まれる対象物に分類するよう学習して学習モデルを生成すること、を実行する。
【選択図】図２

【特許請求の範囲】

【請求項1】

情報処理装置に備えられるプロセッサが、
対象画像に対し、偽画像を生成させる第１アルゴリズムを用いて第１画像を生成すること、及び、前記対象画像又は前記第１画像に対し、画像を編集する第２アルゴリズムを用いて第２画像を生成することのうち、少なくとも前記第１画像の生成を行うこと、
前記第１画像、又は、前記第１画像及び前記第２画像を用いて、前記対象画像に含まれる対象物に分類するよう学習して学習モデルを生成すること、
を実行する、情報処理方法。

【請求項2】

前記第１アルゴリズムは、所定の敵対的サンプル生成アルゴリズムを含み、
前記第２アルゴリズムは、画像の少なくとも一部に変更を加える所定のアルゴリズムを含む、請求項１に記載の情報処理方法。

【請求項3】

前記対象画像は、自動運転可能な車両における認識対象を含む画像である、請求項１又は２に記載の情報処理方法。

【請求項4】

前記車両は、撮像装置と、前記情報処理装置を搭載し、
前記プロセッサが、
前記撮像装置により撮像された撮像画像を前記学習モデルに入力し、前記撮像画像の認識結果を取得すること、をさらに実行する請求項３に記載の情報処理方法。

【請求項5】

前記第１アルゴリズムは、顔を含む前記対象画像に対する所定の敵対的生成ネットワークを含み、
前記学習モデルを生成することは、
前記所定の敵対的生成ネットワークを用いて生成される第１画像を用いて、前記学習モデルを生成することを含む、請求項１に記載の情報処理方法。

【請求項6】

前記第１画像は、前記顔の一部が所定物に覆われた画像を含み、
前記情報処理装置は、自動運転可能な車両に搭載され、
前記プロセッサが、
前記車両に搭載される撮像装置により撮像され、顔を含む撮像画像を前記学習モデルに入力し、前記撮像画像の認識結果を取得すること、をさらに実行する請求項５に記載の情報処理方法。

【請求項7】

前記生成を行うことは、
前記第１画像及び前記第２画像を生成し、
前記学習モデルを生成することは、
前記第１画像及び前記第２画像を用いて学習し、前記学習モデルを生成する、請求項１から６のいずれか一項に記載の情報処理方法。

【請求項8】

情報処理装置に備えられるプロセッサに、
対象画像に対し、偽画像を生成させる第１アルゴリズムを用いて第１画像を生成すること、及び、前記対象画像又は前記第１画像に対し、画像を編集する第２アルゴリズムを用いて第２画像を生成することのうち、少なくとも前記第１画像の生成を行うこと、
前記第１画像、又は、前記第１画像及び前記第２画像を用いて、前記対象画像に含まれる対象物に分類するよう学習して学習モデルを生成すること、
を実行させる、プログラム。

【請求項9】

プロセッサを備える情報処理装置であって、
前記プロセッサが、
対象画像に対し、偽画像を生成させる第１アルゴリズムを用いて第１画像を生成すること、及び、前記対象画像又は前記第１画像に対し、画像を編集する第２アルゴリズムを用いて第２画像を生成することのうち、少なくとも前記第１画像の生成を行うこと、
前記第１画像、又は、前記第１画像及び前記第２画像を用いて、前記対象画像に含まれる対象物に分類するよう学習して学習モデルを生成すること、
を実行する、情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理方法、プログラム及び情報処理装置に関する。

【背景技術】

【0002】

近年、自動運転車両による事故を回避する技術が盛んに研究されている。例えば、プロセッサによる運転能力レベルと、人間による運転能力レベルとを比較し、相対的にレベルの高い方に運転させる技術が知られている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】米国特許９５６６９８６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、自動運転システムは、撮像装置により撮像された画像に基づき認識された対象物（標識、信号等）を用いて、自動運転を制御する。従って、従来技術のように、画像認識される対象物が真であるとの仮定の下で自動運転が制御される場合、画像認識される対象物が誤認識されてしまうと、重大な事故につながる可能性がある。例えば、近年指摘されている１ピクセルアタック（Jiawei Su, Danilo Vasconcellos Vargas, Sakurai Kouichi, "One pixel attack for fooling deep neural networks," IEEE Transactions on Evolutionary Computation], Vol.23 , Issue.5 , pp. 828--841. Publisher: IEEE. 2019）と呼ばれる攻撃は、わずか１ピクセルを変更するだけで、ニューラルネットワークに誤った画像を認識させ、特定の結果を返すように誘導することが可能になる。現在、このような攻撃に対する対策が急務となっている。

【0005】

そこで、本発明は、例えば攻撃を受けた画像が画像認識されるような場合でも、画像内の対象物を適切に認識又は分類することを可能にする情報処理方法、プログラム及び情報処理装置を提供する。

【課題を解決するための手段】

【0006】

本発明の一態様に係る情報処理方法は、情報処理装置に備えられるプロセッサが、対象画像に対し、偽画像を生成させる第１アルゴリズムを用いて第１画像を生成すること、及び、前記対象画像又は前記第１画像に対し、画像を編集する第２アルゴリズムを用いて第２画像を生成することのうち、少なくとも前記第１画像の生成を行うこと、前記第１画像、又は、前記第１画像及び前記第２画像を用いて、前記対象画像に含まれる対象物に分類するよう学習して学習モデルを生成すること、を実行する。

【発明の効果】

【0007】

本発明によれば、例えば攻撃を受けた画像が画像認識されるような場合でも、画像内の対象物を適切に認識又は分類することを可能にする情報処理方法、プログラム及び情報処理装置を提供することができる。

【図面の簡単な説明】

【0008】

【図1】本発明の一実施形態に係る情報処理システムの一例を示す図である。

【図2】実施例１に係る情報処理装置の処理ブロックの一例を示す図である。

【図3】実施例１に係るデータ拡張処理の一例を示す図である。

【図4】実施例１に係る情報処理装置の物理的構成の一例を示す図である。

【図5】実施例１に係る情報処理システム１の判定処理の一例を示すシーケンス図である。

【発明を実施するための形態】

【0009】

添付図面を参照して、本発明の実施形態について説明する。なお、各図において、同一の符号を付したものは、同一又は同様の構成を有する。

【0010】

＜システム概要＞
図１は、本発明の一実施形態に係る情報処理システム１の一例を示す図である。図１に示す情報処理システム１は、情報処理装置１０、撮像装置が搭載された車両２０を含み、ネットワークＮを介して相互にデータ通信可能である。図１に示す情報処理システム１の例では、車両２０に搭載される撮像装置が撮像する画像に対して適切に対象物を認識又は分類（以下、単に「認識」ともいう。）することを想定するが、この例に限られるわけではない。

【0011】

図１に示す情報処理装置１０は、例えばサーバであり、ネットワークを介してあらゆる人やモノに接続される。例えば、情報処理装置１０は、自動運転レベル３以上の自動運転可能な各車両２０に接続され、各車両２０に搭載のカメラなどの撮像装置により撮像された画像を取得する。

【0012】

情報処理装置１０は、取得される画像に対して、画像認識モデル、例えばＣＮＮ（Convolutional Neural Network）を用いて画像内の対象物が何であるかを認識する。なお、ＣＮＮは、ＡｌｅｘＮｅｔ，ＺＦＮｅｔ，ＧｏｏＬｅＮｅｔ，ＶＧＧＮｅｔ，ＲｅｓＮｅｔ，ＳＥＮｅｔ，ＷｉｄｅＲｅｓＮｅｔ，ＰｙｒａｍｉｄＮｅｔ，ＲｅｓＮｅＸｔ，Ｘｃｅｐｔｉｏｎ，ＲｏＲ，ＦｒａｃｔａｌＮｅｔ，ＤｅｎｓｅＮｅｔ，Ｓｔｏｃｈａｓｔｉｃ Ｄｅｐｔｈ，Ｓｈａｋｅ－Ｓｈａｋｅ Ｒｅｇｕｌａｒｉｚａｔｉｏｎ，ＳｈａｋｅＤｒｏｐ，Ｃｕｔｏｕｔ／Ｒａｎｄｏｍ Ｅｒａｓｉｎｇ，ｍｉｘｕｐ，ＳｑｕｅｅｚｅＮｅｔ，ＭｏｂｉｌｅＮｅｔ，ＮａｓＮｅｔ，ＤＡＲＴＳ，などの画像認識に適用可能ないずれかの方法であってもよい。また、ＣＮＮの改良については、Ｒｅｓｉｄｕａｌモジュールの改良、独自モジュールの利用、独自マクロアーキテクチャの利用、正則化、高速化を意識したアーキテクチャ、アーキテクチャの自動設計などが工夫されてもよい。

【0013】

例えば、道路標識ＩＭ１や人の顔ＩＭ２などを認識対象物とする場合、この認識対象物を撮像した画像に対して、ネットワーク上などで上述した１ピクセルアタックなどの攻撃が行われた場合、画像認識モデルにおいて誤認識させられる可能性がある。

【0014】

そこで、この認識対象物を正しく認識させるよう学習させる際に、事前に学習データを拡張しておくことで、１ピクセルアタックを受けた画像に対しても、対象物を適切に認識させることができるようになる。拡張される学習データは、例えば、認識対象物の画像に対して１ピクセルアタックを攻撃した画像や、さらに画像編集した画像や、１ピクセルアタックが繰り返された画像について、正しい認識対象物の正解ラベルが付与された学習データである。

【0015】

これにより、認識対象物を含む画像に対して、想定されうる攻撃や画像編集を行った画像について、正しく認識できるように事前に学習させることができる。例えば拡張された学習データに対して教師あり学習を行うことで、認識精度を高めることができる。その結果、拡張された学習データを用いて学習された学習モデル（推論アルゴリズム、推論関数）が使用されることで、攻撃を受けた画像であっても認識対象物を適切に認識することが可能になる。

【0016】

＜実施例１＞
以下、本発明に係る一実施例について説明する。実施例１では、認識対象物として、自動運転システムで認識される道路標識、信号機、区画線などの地物を例にする。情報処理装置１０は、任意の地物が撮像された撮像画像に対してデータ拡張処理を実行する。例えば、情報処理装置１０は、所定のデータベース等から取得した撮像画像に対して、偽画像を生成させる第１アルゴリズムを用いて第１画像を生成する。さらに任意で、情報処理装置１０は、第１画像に対して、画像を編集する第２アルゴリズムを用いて第２画像を生成する。

【0017】

情報処理装置１０は、データ拡張処理で生成された画像を学習データとして、例えば教師あり学習を実行する。これにより、地物を含む撮像画像に攻撃や編集が行われても、その地物を適切に認識することが可能になる。以下、実施例１における認識対象物の学習処理、認識処理について具体的に説明する。

【0018】

図２は、本実施例１に係る情報処理装置１０の処理ブロックの一例を示す図である。情報処理装置１０は、処理制御部１１、取得部１２、生成部１３、第１生成部１４、第１アルゴリズム１４ａ、第２生成部１５、第２アルゴリズム１５ａ、学習部１６、認識部１７、記憶部１８を備える。処理制御部１１は、以下に説明する画像認識による対象物の認識を制御する。

【0019】

取得部１２は、例えば所定の地物が撮像された撮像画像（対象画像）を、所定の装置（車両２０、又は所定のデータベースなど）から取得する。例えば、所定のデータベースは、所定の地物が撮像された１又は複数の撮像画像を有するデータベースであり、ネットワークを介して情報処理装置１０に接続される。所定の地物は、例えば存在する地物のうち、少なくとも１つが撮像された画像である。

【0020】

例えば、学習フェーズにおいては、取得部１２は、所定のデータベースから１又は複数の対象画像を取得し、記憶部１８に記憶する。また、認識フェーズにおいては、取得部１２は、車両２０から対象画像を順次取得し、記憶部１８に記憶する。

【0021】

生成部１３は、対象画像に対し、偽画像を生成させる第１アルゴリズム１４ａを用いて第１画像を生成すること、及び、対象画像又は第１画像に対し、画像を編集する第２アルゴリズム１５ｂを用いて第２画像を生成することのうち、少なくとも第１画像の生成を行う。例えば、生成部１３は、第１アルゴリズム１４ａを用いて第１画像を生成する第１生成部１４と、第２アルゴリズム１５ａを用いて第２画像を生成する第２生成部１５とを有する。

【0022】

第１生成部１４は、例えば、対象画像から、第１アルゴリズム１４ａの一例としての、所定の偽画像生成アルゴリズムを用いて第１画像（偽画像）を生成する。また、第２生成部１５は、必要に応じて、第２アルゴリズム１５ａの一例としての、公知の画像編集ソフトウェアを用いて、対象画像又は第１画像を編集して第２画像を生成する。なお、第１画像は、繰り返し第１アルゴリズムが用いられて生成された画像でもよい。また、第２アルゴリズム１５ａが適用された画像に対して、第１アルゴリズム１４ａが適用されてもよい。

【0023】

学習部１６は、第１画像、又は、第１画像及び第２画像を含む拡張された学習データを用いて、対象画像に含まれる対象物（例えば地物）に分類するよう学習して学習モデルを生成する。例えば、学習部１６は、拡張された学習データに対して、正しい地物に分類されるよう誤差逆伝搬法を用いて学習モデルに修正を加える。これにより、データ拡張された学習データにより事前に学習を行って適切に分類可能な学習済みの学習モデルを生成することができる。

【0024】

認識部１７は、学習部１６により学習された学習モデルを用いて、画像に含まれる対象物を認識する。なお、認識された対象物は、自動運転システムの運転制御に用いられたり、外部の装置に出力されたりしてもよい。なお、認識部１７は、学習部１６に統合されて１つのモジュールとして構成されてもよい。

【0025】

また、第１アルゴリズム１４ａは、所定の敵対的サンプル生成アルゴリズムを含む。具体例としては、第１アルゴリズム１４ａは、公知のＦＧＳＭ（Fast Gradient Sign Method）、ＤｅｅｐＦｏｏｌ、ＩＧＳＭ（Iterative Gradient Sign Method）、Ｃ＆Ｗ（Carlini & Wagner）、ＪＳＭＡ（Jacobian-Based Saliency Map Approach）のいずれか１つ、又は任意の組み合わせによるアルゴリズムでもよい。また、第１アルゴリズム１４ａは、上述した１ピクセルアタックを行うアルゴリズムでもよく、上述した４つの方法で生成された画像にさらに、１ピクセルアタックを行ってもよい。また、第１アルゴリズム１４ａは、その他、ＧＡＮｓ（Generative adversarial networks）などの敵対的生成ネットワークを用いて敵対的な画像を生成するアルゴリズムでもよい。なお、上述した例を含む公知の敵対的サンプル生成アルゴリズムは、将来的に公知になる敵対的サンプル生成アルゴリズムを含んでもよい。

【0026】

また、第２アルゴリズム１５ａは、画像の少なくとも一部に変更を加える所定のアルゴリズムを含む。具体例としては、第２アルゴリズム１５ａは、以下の少なくとも１つの公知の編集方法を含む。第２生成部１５は、いずれの編集方法について、所定量だけ編集が加えられるように設定されていればよい。
・水平及び／又は垂直に画像をシフトする
・水平方向及び／又は垂直方向に画像を反転させる
・回転させる （回転角度はランダム）
・明度を変える
・ズームイン又はズームアウトする
・画像の一部をくり抜く、削除する
・背景色を変える
・背景を置き換える
・Ｍｉｘｕｐ又はＣｕｔＭｉｘ
・色空間モデルを変更する

【0027】

これにより、敵対的サンプル生成アルゴリズムや画像編集アルゴリズムを用いて事前に学習データを効率よく拡張することが可能になる。また、上述したアルゴリズムを用いれば自動的に学習データを拡張することができ、学習データの拡張処理を容易にすることが可能である。

【0028】

また、対象画像は、上述したとおり、自動運転可能な車両２０における認識対象を含む画像である。例えば、対象画像は、道路標識、信号機、区画線などの自動運転の認識に用いられる地物である。

【0029】

これにより、自動運転システムにおいて認識される対象物に攻撃が仕掛けられても、適切に対象物を認識することが可能になる。その結果、自動運転システムにおいて、対象物の誤認識による事故の可能性を減らすことができ、自動運転システムの安全性の維持又は向上に寄与することができる。

【0030】

また、車両２０は、撮像装置と、情報処理装置１０を搭載してもよい。この場合、情報処理装置１０の認識部１７は、撮像装置により撮像された撮像画像を、拡張された学習データを用いて学習された学習モデルに入力し、撮像画像の認識結果を取得してもよい。

【0031】

撮像画像の認識結果は、例えば、自動運転システムの運転制御を行う処理制御部１１により処理されてもよい。これにより、車両２０自身で自動運転制御を行う場合にも、本開示の技術を適用することが可能になる。

【0032】

＜データ拡張＞
図３は、本実施例１に係るデータ拡張処理の一例を示す図である。図３に示す例では、オリジナル画像ＩＭ１０に対して、所定のノイズ除去処理が実行され、ノイズ除去後の画像ＩＭ１２が生成される。画像ＩＭ１２には、止まれの標識が含まれるとする。

【0033】

第２生成部１５は、例えば、ＲＧＢの画像ＩＭ１２に対して、色空間モデルを変換し、ＬＡＢフォーマットの画像、ＹＵＶフォーマットの画像、ＨＳＶフォーマットの画像を生成する。

【0034】

学習部１６は、各色空間フォーマットの画像を、例えばＤｅｎｓｅＮｅｔのモデルを用いて学習を行う。また、第１生成部１４は、学習部１６による学習データを、第１アルゴリズム１４ａを用いてデータ拡張を行う。また、第２生成部１５は、学習部１６による学習データを、第２アルゴリズム１５ａを用いてデータ拡張を行う。

【0035】

学習部１６は、データ拡張された学習データを用いて学習、例えば教師あり学習を行い、誤差逆伝搬法を適用して、正しい対象物（止まれの道路標識）に認識されるように、又は分類スコアが高くなるように学習モデルを修正する。

【0036】

図４は、本実施例１に係る情報処理装置１０の物理的構成の一例を示す図である。情報処理装置１０は、演算部に相当するＣＰＵ（Central Processing Unit）１０ａと、記憶部に相当するＲＡＭ（Random Access Memory）１０ｂと、記憶部に相当するＲＯＭ（Read only Memory）１０ｃと、通信部１０ｄと、入力部１０ｅと、表示部１０ｆと、を有する。

【0037】

図４に示す各構成は、バスを介して相互にデータ送受信可能に接続される。なお、本例では情報処理装置１０が一台のコンピュータで構成される場合について説明するが、情報処理装置１０は、複数のコンピュータ又は複数の演算部が組み合わされて実現されてもよい。また、図４で示す構成は一例であり、情報処理装置１０はこれら以外の構成を有してもよいし、これらの構成のうち一部を有さなくてもよい。

【0038】

ＣＰＵ１０ａは、ＲＡＭ１０ｂ又はＲＯＭ１０ｃに記憶されたプログラムの実行に関する制御やデータの演算、加工を行う制御部である。ＣＰＵ１０ａは、例えば図２に示す処理制御部１１の各処理を実行する演算部である。ＣＰＵ１０ａは、入力部１０ｅや通信部１０ｄから種々のデータを受け取り、データの演算結果を表示部１０ｆに表示したり、ＲＡＭ１０ｂに格納したりする。

【0039】

ＲＡＭ１０ｂは、記憶部のうちデータの書き換えが可能なものであり、例えば半導体記憶素子で構成されてもよい。ＲＡＭ１０ｂは、ＣＰＵ１０ａが実行するプログラム、図２を用いて説明した学習モデルの性能を含む学習データといったデータを記憶してもよい。なお、これらは例示であって、ＲＡＭ１０ｂには、これら以外のデータが記憶されていてもよいし、これらの一部が記憶されていなくてもよい。

【0040】

ＲＯＭ１０ｃは、記憶部のうちデータの読み出しが可能なものであり、例えば半導体記憶素子で構成されてよい。ＲＯＭ１０ｃは、例えば所定のプログラムや、書き換えが行われないデータを記憶してよい。なお、図２に示す記憶部１８は、ＲＡＭ１０ｂ及び／又はＲＯＭ１０ｃにより実現されうる。

【0041】

通信部１０ｄは、情報処理装置１０を他の機器に接続するインターフェースである。通信部１０ｄは、インターネット等の通信ネットワークに接続されてよい。

【0042】

入力部１０ｅは、ユーザからデータの入力を受け付けるものであり、例えば、キーボード及びタッチパネルを含んでよい。

【0043】

表示部１０ｆは、ＣＰＵ１０ａによる演算結果を視覚的に表示するものであり、例えば、ＬＣＤ（Liquid Crystal Display）により構成されてよい。表示部１０ｆは、例えば、画像認識結果などを表示してよい。

【0044】

処理制御部１１の各処理を実行する制御プログラムは、ＲＡＭ１０ｂやＲＯＭ１０ｃ等のコンピュータによって読み取り可能な非一時的な記憶媒体に記憶されて提供されてもよいし、通信部１０ｄにより接続される通信ネットワークを介して提供されてもよい。情報処理装置１０では、ＣＰＵ１０ａが制御プログラムを実行することにより、図２を用いて説明した様々な動作が実現される。なお、これらの物理的な構成は例示であって、必ずしも独立した構成でなくてもよい。例えば、情報処理装置１０は、ＣＰＵ１０ａとＲＡＭ１０ｂやＲＯＭ１０ｃが一体化したＬＳＩ（Large-Scale Integration）を備えていてもよい。また、情報処理装置１０は、ＧＰＵ（Graphical Processing Unit）やＡＳＩＣ（Application Specific Integrated Circuit）を備えていてもよい。

【0045】

＜処理例＞
図５は、本実施例１に係る情報処理システム１の処理の一例を示すシーケンス図である。図５に示す処理では、学習フェーズの処理Ｓ１０２～Ｓ１０８と、認識フェーズの処理Ｓ２０２～Ｓ２０６とを含み、両フェーズの処理はそれぞれ独立して実行されうる。

【0046】

ステップＳ１０２において、情報処理装置１０の取得部１２は、例えば所定のデータベースから、認識対象物（例えば様々な地物）を含む各撮像画像を取得する。

【0047】

ステップＳ１０４において、情報処理装置１０の第１生成部１４は、取得された撮像画像に対し、第１アルゴリズム１４ａを用いて第１画像を生成する。なお、上述したとおり、第１アルゴリズム１４ａが実行された第１画像は、この第１画像に対してさらに第１アルゴリズム１４ａが繰り返し実行されて生成された第１画像でもよい。

【0048】

ステップＳ１０６において、情報処理装置１０の第２生成部１５は、対象画像又は第１画像に対し、第２アルゴリズム１５ａを用いて第２画像を生成する。なお、第２画像の生成はされなくてもよい。また、第２アルゴリズム１５ａの適用は、第１アルゴリズム１４ａの適用より前でもよく、画像編集された画像に対して、敵対的サンプルが生成されてもよい。

【0049】

ステップＳ１０８において、情報処理装置１０の学習部１６は、生成された画像に対し、上述した所定の学習モデルを用いて、画像内の対象物を適切に認識できるよう学習する。生成された画像に対して学習が実行されることで、データ拡張された学習データに対して学習が実行されることになる。

【0050】

以上、本実施例１の学習フェーズの処理によれば、所定の攻撃に対して、想定されうる画像を効率よく生成し、これらの画像を学習データに含めて学習データを拡張することで、偽画像に対する耐性を向上させた学習モデルを生成することができる。

【0051】

次に、認識フェーズの処理について説明する。ステップＳ２０２において、車両２０の撮像装置は、車両２０の外部を撮像し、所定のタイミングで撮像画像を情報処理装置１０に送信する。

【0052】

ステップＳ２０４において、情報処理装置１０の取得部１２は、車両２０から送信される撮像画像を順次取得し、記憶部１８に記憶する。情報処理装置１０の認識部１７は、取得される撮像画像を、学習部１６において生成された学習モデルに入力し、認識結果を取得する。認識結果は、画像内の対象物に対する分類結果と分類スコアとを含んでもよい。

【0053】

ステップＳ２０６において、情報処理装置１０の認識部１７は、取得された認識結果を出力する。出力先としては、例えば、表示装置や、他の装置、自動運転システムなどの少なくとも１つである。

【0054】

以上、本実施例１の認識フェーズの処理によれば、所定の攻撃を受けた画像に対しても、データ拡張された学習データに基づいて学習された学習モデルを用いることで、画像内の対象物を適切に認識できるようになる。また、認識結果が自動運転システムに利用される場合、対象物が誤認識されることによる事故リスクを低減することが可能になる。

【0055】

＜実施例２＞
次に、本発明に係る実施例２について説明する。本実施例２は、顔を認識対象物とする例である。近年、顔認識を用いる顔認証が実用化され、携帯でのロック解除等にも使用されている。また、顔認証が自動運転システム等にも利用されると、顔画像が悪意ある攻撃を受けたときに、この顔画像により他人に認識され、車両２０が盗難されてしまう可能性や、使用不可能になってしまう可能性がある。

【0056】

さらに、近年、顔の一部が覆われた状態（例えばサングラス、又はマスク着用のままの状態）で顔認識するケースが増えてきている。また、サングラスは、通常使用で、顔の目の部分を覆ったり、頭部にかけたりする場合もあり、装着の仕方によって覆う部分が異なる。同様に、マスクの場合も、通常は鼻と口を覆うが、口だけを覆ったり、時には顎の位置にずらして、鼻と口が露出したりするような装着の仕方もある。

【0057】

上述したように、顔認証が実用化されることで、顔認識の精度が重要となる。そこで、顔画像が攻撃された場合や、顔の一部が様々な形態で所定物に覆われる場合であっても、その人物の顔を適切に認識できるようにすることが求められている。

【0058】

本実施例２における情報処理システム１の構成は、図１に示す構成と同様であり、情報処理装置１０の構成は、図２に示す構成と同様であり、情報処理システム１の処理の手順は、図５に示す処理の手順と同様である。以下、実施例２における説明では、実施例１と同様の符号を用いる。なお、実施例２では、実施例１における認識対象物が顔になる。

【0059】

実施例２における第１アルゴリズム１４ａは、顔を含む対象画像に対する所定の敵対的生成ネットワークを含んで敵対的画像を生成するアルゴリズムである。例えば、第１生成部１４は、上述したＧＡＮｓを用いて、サングラスやマスクの位置がずれたような顔画像を生成する。なお、実施例２において、第２生成部１５による第２画像の生成は、必ずしも実行されなくてもよい。

【0060】

また、第１生成部１４は、ＧＡＮｓによって、マスクをつけた様々なパターンの顔画像を生成する。このデータ拡張により、第１生成部１４は、動的に人がマスクをつけている状態の動画を生成することが可能になる。

【0061】

また、学習部１６は、生成部１３により、所定の敵対的生成ネットワークを用いて生成される第１画像を用いて、学習モデルを生成することを含んでもよい。例えば、ＧＡＮｓを用いて敵対的な画像が生成されると、学習部１６は、これらを学習データとして学習データを拡張することができる。このとき、敵対的生成ネットワークが利用されるので、自動的に敵対的な画像が生成されうる。

【0062】

これにより、顔画像に対しても、所定の攻撃を受けたり、一部が覆われている顔画像を認識したりする場合であっても、データ拡張された学習モデルを利用することで、顔を適切に認識することが可能になる。

【0063】

また、第１画像は、顔の一部が所定物に覆われた画像を含む場合であり、かつ、情報処理装置１０は、自動運転可能な車両２０に搭載される場合があるとする。このとき、認識部１７は、車両２０に搭載される撮像装置により撮像され、顔を含む撮像画像を学習モデルに入力し、撮像画像の認識結果を取得してもよい。

【0064】

撮像画像の認識結果は、例えば、自動運転システムの運転制御を行う処理制御部１１により処理されてもよい。これにより、車両２０が運転者の顔画像を用いて認証を行う場合に、本開示の技術を適用することが可能になる。また、自動運転システムにおける人物認識、又は顔認識の認識精度の向上に寄与することができる。

【0065】

以上、実施例２によれば、顔を認識する場合に、所定の攻撃を受けたり、顔の一部が所定物に覆われたりする場合でも、顔を適切に認識することが可能になる。

【0066】

以上、実施例１及び２を含む実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。実施形態が備える各要素並びにその配置、材料、条件、形状及びサイズ等は、例示したものに限定されるわけではなく適宜変更することができる。また、異なる実施形態で示した構成同士を部分的に置換し又は組み合わせることが可能である。

【0067】

上記実施形態では、撮像装置は自動運転可能な車両２０に搭載されるが、撮像装置は、自律走行可能な飛行体にも搭載可能であり、また、移動ができない物体又は装置に搭載されてもよい。

【符号の説明】

【0068】

１…情報処理システム、１０…情報処理装置、１０ａ…ＣＰＵ、１０ｂ…ＲＡＭ、１０ｃ…ＲＯＭ、１０ｄ…通信部、１０ｅ…入力部、１０ｆ…表示部、１１…処理制御部、１２…取得部、１３…生成部、１４…第１生成部、１４ａ…第１アルゴリズム、１５…第２生成部、１５ａ…第２アルゴリズム、１６…学習部、１７…認識部、１８…記憶部

【図1】

【図2】

【図3】

【図4】

【図5】