特開 2022-186572 情報処理方法、プログラム及び情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022186572

(43)【公開日】2022-12-15

(54)【発明の名称】情報処理方法、プログラム及び情報処理装置

(51)【国際特許分類】

   G08G 1/16 20060101AFI20221208BHJP

   G06T 7/00 20170101ALI20221208BHJP

   G08G 1/00 20060101ALI20221208BHJP

   G16Y 10/40 20200101ALI20221208BHJP

   G16Y 40/50 20200101ALI20221208BHJP

   G08G 1/09 20060101ALI20221208BHJP

【ＦＩ】

G08G1/16 A

G06T7/00 350Z

G08G1/00 A

G16Y10/40

G16Y40/50

G08G1/09 F

G08G1/09 V

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2021171818

(22)【出願日】2021-10-20

(62)【分割の表示】P 2021093690の分割

【原出願日】2021-06-03

(71)【出願人】

【識別番号】520040304

【氏名又は名称】窪田 望

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(72)【発明者】

【氏名】窪田 望

【テーマコード（参考）】

5H181

5L096

【Ｆターム（参考）】

5H181AA01

5H181BB04

5H181BB17

5H181CC04

5H181CC11

5H181CC24

5H181CC27

5H181FF04

5H181LL01

5H181LL02

5H181LL04

5H181LL06

5H181LL09

5H181MC19

5H181MC27

5L096BA04

5L096CA02

5L096CA27

5L096DA03

5L096HA11

5L096HA13

5L096KA04

(57)【要約】

【課題】対象物が誤って画像認識されるような場合でも、対象物に生じた異常を適切に判定すること。
【解決手段】情報処理装置に備えられるプロセッサが、撮像装置から、対象物を含む画像を取得すること、対象物又は対象物近傍の物体に設けられる１又は複数のセンサから、各センサによりセンシングされる各データを取得すること、各データを用いて、画像に基づく対象物の認識結果が異常か否かを判定すること、を実行する。
【選択図】図２

【特許請求の範囲】

【請求項1】

情報処理装置に備えられるプロセッサが、
所定の対象物又は前記所定の対象物近傍の物体に設けられる１又は複数のセンサから、各センサによりセンシングされる各データを取得すること、
前記各データを用いて、前記所定の対象物が異常か否かを判定すること、
前記所定の対象物に異常がある場合、前記所定の対象物に対する画像認識処理に関する装置に前記所定の対象物の異常を報知すること、
を実行する、情報処理方法。

【請求項2】

前記装置は、自動運転可能な車両に備えられる、請求項１に記載の情報処理方法。

【請求項3】

前記報知することは、
前記車両に搭載される撮像装置により撮像される画像から前記所定の対象物が認識される前に、前記異常を報知することを含む、請求項２に記載の情報処理方法。

【請求項4】

情報処理装置に備えられるプロセッサに、
所定の対象物又は前記所定の対象物近傍の物体に設けられる１又は複数のセンサから、各センサによりセンシングされる各データを取得すること、
前記各データを用いて、前記所定の対象物が異常か否かを判定すること、
前記所定の対象物に異常がある場合、前記所定の対象物に対する画像認識処理に関する装置に前記所定の対象物の異常を報知すること、
を実行させる、プログラム。

【請求項5】

プロセッサを備える情報処理装置であって、
前記プロセッサが、
所定の対象物又は前記所定の対象物近傍の物体に設けられる１又は複数のセンサから、各センサによりセンシングされる各データを取得すること、
前記各データを用いて、前記所定の対象物が異常か否かを判定すること、
前記所定の対象物に異常がある場合、前記所定の対象物に対する画像認識処理に関する装置に前記所定の対象物の異常を報知すること、
を実行する、情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理方法、プログラム及び情報処理装置に関する。

【背景技術】

【0002】

近年、自動運転車両による事故を回避する技術が盛んに研究されている。例えば、プロセッサによる運転能力レベルと、人間による運転能力レベルとを比較し、相対的にレベルの高い方に運転させる技術が知られている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】米国特許９５６６９８６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、自動運転システムは、撮像装置により撮像された画像に基づき認識された対象物（標識、信号等）を用いて、自動運転を制御する。従って、従来技術のように、画像認識される対象物が真であるとの仮定の下で自動運転が制御される場合、画像認識される対象物が誤認識されてしまうと、重大な事故につながる可能性がある。例えば、近年指摘されている１ピクセルアタック（Jiawei Su, Danilo Vasconcellos Vargas, Sakurai Kouichi, "One pixel attack for fooling deep neural networks," IEEE Transactions on Evolutionary Computation], Vol.23 , Issue.5 , pp. 828--841. Publisher: IEEE. 2019）と呼ばれる攻撃は、わずか１ピクセルを変更するだけで、ニューラルネットワークに誤った画像を認識させ、特定の結果を返すように誘導することが可能になる。このような攻撃を受けて誤って認識された対象物、例えば、赤信号が誤って認識された青信号に対して、その誤認識を異常として判定する対策が必要となる。

【0005】

そこで、本発明は、例えば攻撃を受けて、対象物が誤って画像認識されるような場合でも、対象物に生じた異常を適切に判定することを可能とする情報処理方法、プログラム及び情報処理装置を提供する。

【課題を解決するための手段】

【0006】

本発明の一態様に係る情報処理方法は、情報処理装置に備えられるプロセッサが、撮像装置から、対象物を含む画像を取得すること、前記対象物又は前記対象物近傍の物体に設けられる１又は複数のセンサから、各センサによりセンシングされる各データを取得すること、前記各データを用いて、前記画像に基づく前記対象物の認識結果が異常か否かを判定すること、を実行する。

【発明の効果】

【0007】

本発明によれば、対象物が誤って画像認識されるような場合でも、対象物に生じた異常を適切に判定することを可能にする情報処理方法、プログラム及び情報処理装置を提供することができる。

【図面の簡単な説明】

【0008】

【図1】本発明の一実施形態に係る情報処理システムの一例を示す図である。

【図2】本実施形態に係る情報処理装置の処理ブロックの一例を示す図である。

【図3】本実施形態に係る情報処理装置の物理的構成の一例を示す図である。

【図4】実施例１に係る異常判定に用いるデータ例を示す図である。

【図5】実施例１に係る情報処理システム１の判定処理の一例を示すシーケンス図である。

【図6】実施例２に係る異常判定に用いるデータ例を示す図である。

【発明を実施するための形態】

【0009】

添付図面を参照して、本発明の実施形態について説明する。なお、各図において、同一の符号を付したものは、同一又は同様の構成を有する。

【0010】

＜システム概要＞
図１は、本発明の一実施形態に係る情報処理システム１の一例を示す図である。図１に示す情報処理システム１は、情報処理装置１０、撮像装置が搭載された車両２０、各センサ３０が設けられた物体を含み、ネットワークＮを介して相互にデータ通信可能である。

【0011】

図１に示す情報処理装置１０は、例えばサーバであり、ネットワークを介してあらゆる人やモノに接続される。例えば、情報処理装置１０は、自動運転レベル３以上の自動運転可能な各車両２０に接続され、各車両２０に搭載のカメラなどの撮像装置により撮像された画像を取得する。また、情報処理装置１０は、各車両２０の周辺の物体、例えば、信号機や道路、歩行者等に設けられた各センサ３０からセンシングされた各データを取得する。

【0012】

情報処理装置１０は、取得される画像に対して、画像認識モデル、例えばＣＮＮ（Convolutional Neural Network）を用いて画像内の対象物が何であるかを認識する。この場合、情報処理装置１０は、認識対象物に設けられた各センサ３０、又はその対象物の近傍に位置する物体、例えば地物、車両２０、人等に設けられる各センサ３０から、センシングされる各データを取得する。各センサ３０は、例えば視覚、聴覚、味覚、嗅覚、触覚などの少なくとも１つを含む五感センサや、人に設けられる場合は、五感センサ以外にも、脳波をセンシングする脳波センサを含んでもよい。

【0013】

例えば、道路標識を認識対象物とする場合、この道路標識に視覚センサ（カメラなどの撮像装置）、聴覚センサ（音データを収集するマイクなど）、味覚センサ、嗅覚センサ、触覚センサの少なくとも１つが設けられる。そして、各センサ３０からセンシングされるデータを情報処理装置１０に学習させておき、取得されるデータに対して、学習させた学習モデルを用いてデータが異常か否かの判定結果を出力させる。なお、学習モデルがニューラルネットワークを含む場合、情報処理装置１０は、誤差逆伝播法によりニューラルネットワークのパラメータを更新し、適切な判定結果を出力するように学習モデルを修正してもよい。

【0014】

例えば、道路標識が折り曲げられたりすると、その道路標識から撮像される画像の変化や、折り曲げ時の音などにより視覚センサや聴覚センサを用いて異常を判定することが可能である。また、道路標識にスプレー等が噴射された場合には味覚センサ、嗅覚センサ、聴覚センサ、触覚センサなどを用いて異常を判定することが可能である。

【0015】

情報処理装置１０は、認識結果に対して、各センサ３０から取得される各データを用いて異常がないかを判定する。例えば、情報処理装置１０は、各センサ３０からの各データに対して異常判定された各判定結果を用いて多数決処理を行うことで、任意の攻撃を受けた道路標識を撮像した画像を用いて対象物を誤って認識したとしても、その他の各センサ３０が異常を示すことにより、対象物を誤って認識していることを検出することが可能になる。

【0016】

これにより、情報処理装置１０を含む自動運転システムが車両２０の走行を制御する際に、信号機や道路標識等の対象物が誤認識されても、この対象物等に設けられる各センサから出力される各データを用いて異常判定を行うことで、対象物自体に何らかの変更が加えられたことを検知することが可能になり、その結果、誤って画像認識された対象物に対して誤認識を検出することが可能になる。

【0017】

＜実施例１＞
以下、本発明に係る一実施例について説明する。実施例１では、認識対象物に１又は複数のセンサ３０が設けられ、情報処理装置１０は、各センサ３０にセンシングされた各データを用いて、認識対象物自体に変更が加えられたか（異常があるか）を判定する。

【0018】

例えば、認識対象物に対し、１ピクセルアタックが可能な位置に変更が加えられると、認識対象物の見た目では変更に気づかず、認識対象物の画像に基づく画像認識の結果、異なる対象物が認識されてしまう。しかし、実施例１では、認識対象物に設けられた各センサ３０等で、認識対象物への変化（異常）を検知し、本当の認識対象物とは異なる対象物が認識されていることを検知することが可能になる。以下、実施例１における認識対象物の異常判定について具体的に説明する。

【0019】

図２は、本実施形態に係る情報処理装置１０の処理ブロックの一例を示す図である。情報処理装置１０は、処理制御部１１、第１取得部１２、第２取得部１３、判定部１４、画像認識部１５、学習モデル１５ａ、異常判定部１６、学習モデル１６ａ、出力部１７、記憶部１８を備える。

【0020】

第１取得部１２は、例えば車両２０に搭載されるカメラなどの撮像装置から対象物を含む画像を取得する。撮像装置により送信された画像は、ネットワークを介して情報処理装置１０に取得され、記憶部１８に記憶される。例えば、第１取得部１２は、所定のタイミングで撮像装置から出力された画像を記憶部１８から順次取得する。画像は、車両２０の外部、例えば車両前方が撮像され、１又は複数の地物を含む画像である。

【0021】

第２取得部１３は、取得された画像に含まれる対象物又は対象物近傍の物体に設けられる１又は複数のセンサ３０から、各センサ３０によりセンシングされる各データを取得する。各センサは、上述したとおり、例えば五感センサに含まれる視覚センサ、聴覚センサ、味覚センサ、嗅覚センサ、及び触覚センサの少なくとも１つである。また、各センサ３０は、例えば道路標識、信号、区画線などの自動運転の走行制御の際に、誤認識すると影響が大きい地物等に設けられる。また、各センサ３０は、歩行者に装着される脳波センサや五感センサでもよい。

【0022】

各センサ３０からセンシングされるデータ（「センサデータ」ともいう。）は、各センサ３０からネットワークを介して情報処理装置１０に取得され、記憶部１８に記憶される。例えば、第２取得部１３は、所定のタイミングで各センサから出力される各センサデータを記憶部１８から取得する。

【0023】

判定部１４は、取得された各データを用いて、取得された画像に基づく対象物の認識結果が異常か否かを判定する。例えば、判定部１４は、取得された画像から対象物を認識する画像認識部１５、認識対象物自体に異常が生じていないかどうかを判定する異常判定部１６を備える。

【0024】

画像認識部１５は、取得された画像に対して物体認識処理が実行され、例えばＣＮＮを用いた学習モデル１５ａを利用することで、画像内の対象物を認識する。学習モデル１５ａは、特に限定されるものではなく、画像を用いて物体を検出、認識可能な学習モデル（パラメータを含む推論アルゴリズム）であればいずれの学習モデルでもよい。

【0025】

異常判定部１６は、各センサ３０から取得された各センサデータを用いて、認識対象物が異常か否かを判定する。異常判定部１６は、例えば各センサデータのうち少なくとも所定数のセンサデータが所定の閾値を超えた場合などに異常判定を行ってもよい。

【0026】

視覚センサの場合、例えば、認識対象物の位置がずれたり折れ曲がったりすることで撮像される景色が大きく異なる場合、異常が判定される。また、聴覚センサの場合、例えば、認識対象物に対して打撃が加えられたり、塗料を噴射されたりすると、その音を検知して、異常が判定される。また、味覚センサの場合、例えば、塗料等が認識対象物に噴射されたりすると、その塗料による化学量の変化を検知して、異常が判定される。また、嗅覚センサの場合、例えば、認識対象物に所定物が付加されたりすると、その所定物の匂いを検出して異常が判定される。また、触覚センサの場合、例えば、塗料等が認識対象物に噴射されたりすると、塗料等による認識対象物の接触面の圧力や振動等の変化を検知して、異常が判定される。

【0027】

異常判定部１６は、歩行者に設けられた五感センサや脳波センサから取得されたセンサデータを用いて異常を判定してもよい。例えば、画像を取得する撮像装置を搭載した車両２０が、認識対象物を誤認識することで危険な走行をした場合、その車両２０の周辺にいる歩行者は、その車両２０を見て声を上げたり、驚いたり、心拍数が上がったりすることで、生体信号に変化が現れる。歩行者に設けられたセンサは、脳波信号や音声信号などの生体信号を情報処理装置１０に送信し、異常判定部１６は、歩行者の生体信号の変化を用いて異常を判定することが可能になる。例えば、車両周辺にいる歩行者については、異常判定部１６は、車両２０の位置情報を取得し、歩行者の位置情報を取得し、車両２０の位置から所定範囲内にいる歩行者を特定すればよい。

【0028】

異常判定部１６は、取得した各センサデータのうち、所定数以上のセンサデータについて異常が判定された場合に、認識対象物に異常が生じていると判定する。

【0029】

以上の処理により、画像の認識結果において誤認識が生じた場合でも、その他のセンサのデータを用いて認識結果に誤りが生じている（異常がある）ことを検出することが可能になる。例えば、車両２０に搭載される撮像装置により撮像された画像を用いて、交差点付近に位置する一時停止の標識が認識されるべきところ、その標識に細工がされて別の標識が認識されてしまう場合でも、その標識に設けられた少なくとも１つのセンサからのセンサデータを用いて異常を判定することが可能になる。すなわち、認識対象物が誤って画像認識されるような場合でも、対象物に生じた異常を適切に判定することが可能となる。

【0030】

出力部１７は、判定部１４による判定結果を記憶部１８に記憶したり、外部に出力したり、表示装置に表示したりしてしてもよい。

【0031】

また、異常判定部１６は、各センサ３０からの過去の各センサデータを学習データとして、対象物に関して異常の有無を学習した各学習モデル１６ａに、各センサ３０から取得される各センサデータのうち、対応するセンサデータをそれぞれ入力して対象物に関して異常か否かを判定してもよい。各学習モデル１６ａは、それぞれのデータに適した学習モデルが用いられれば良い。例えば、学習モデル１６ａは、過去のセンサデータに対して、異常か否の正解レベルを付した教師あり学習を行って生成されたモデルであり、センサデータが入力されると異常か正常かを出力する学習モデルである。

【0032】

この場合、判定部１４は、各センサデータに対する各学習モデル１６ａから出力される各判定結果を取得する。判定部１４は、各判定結果を用いて、画像認識部１５による認識結果が異常か否かを判定してもよい。例えば、判定部１４は、センサデータ毎の判定結果に対して多数決処理を行うことで、異常を示す判定結果が多数の場合に、異常と判定するようにしてもよい。

【0033】

以上の処理により、各センサデータについて学習モデルを用いて判定結果を出力することにより、各センサデータからの判定結果の判定精度を向上させることができ、その結果、対象物の異常判定をより適切に行うことが可能になる。

【0034】

判定部１４は、異常判定部１６による各判定結果をアンサンブル学習して、画像認識部１５による認識結果が異常か否かを判定してもよい。例えば、判定部１４は、アンサンブル学習として、平均投票（Max Voting）、重量平均投票（Weighted Average Voting）、バギング（Bagging）、ブースティング（Boosting）、スタッキング（Stacking）などを含む所定の学習手法を用いる。なお、アンサンブル学習の学習手法は、上述した例に限られず、個々に別々の学習器として学習させたものを融合させることによって、未学習のデータに対しての予測能力を向上させるための学習手法であればよい。

【0035】

また、判定部１４は、アンサンブル学習として平均投票の学習手法を用いる場合、所定のモデルとして、例えば、ロジスティック回帰、決定木、サポートベクターマシン、及びMax Votingアンサンブルの少なくとも１つを用いてもよいが、これらの例に限られない。

【0036】

また、判定部１４は、アンサンブル学習として重量平均投票の学習手法を用いる場合、所定のモデルとして、例えば、ロジスティック回帰、決定木、サポートベクターマシン、及びWeighted Average Votingアンサンブルの少なくとも１つを用いてもよいが、これらの例に限られない。

【0037】

また、判定部１４は、アンサンブル学習としてバギングの学習手法を用いる場合、所定のモデルとして、例えば、決定木とバギングアンサンブルの決定木を用いてもよいが、これらの例に限られない。

【0038】

また、判定部１４は、アンサンブル学習としてブースティングの学習手法を用いる場合、所定のモデルとして、例えば、ロジスティック回帰、及び決定木の少なくとも１つを用いてもよい。この場合、アンサンブル学習のアルゴリズムとしては、ランダムフォレスト、ＡｄａＢｏｏｓｔ、ＧｒａｄｉｅｎｔＢｏｏｓｔｉｎｇ、Ｘｇｂｏｏｓｔ、ｌｉｇｈｔＧＢＭ、及びＣａｔＢｏｏｓｔの少なくとも１つが用いられてもよいが、これらの例に限られない。

【0039】

また、判定部１４は、アンサンブル学習としてスタッキングの学習手法を用いる場合、所定のモデルとして、例えば、ロジスティック回帰、決定木、サポートベクターマシン、及びスタッキングアンサンブルの少なくとも１つを用いてもよいが、これらの例に限られない。

【0040】

以上の処理により、各センサデータに対してアンサンブル学習を用いて、認識対象物の異常を判定することで、より適切に異常判定を行うことが可能になる。

【0041】

また、上述したとおり、撮像装置は自動運転可能な車両２０に搭載され、画像認識される対象物は道路、信号機、又は標識に関する地物を含み、センサが設けられる物体は、地物、人、又は車両２０を含んでもよい。

【0042】

これにより、実施例１におけるシステムを、自動運転システムに適用することが可能になり、自動運転システムの安全性能の向上に寄与することが可能になる。例えば、道路標識などの認識対象物に対して、自身のセンサや周囲のセンサにより見守られ、認識対象物に異常が生じた場合に適切に判定することが可能になる。

【0043】

また、第１取得部１２は、画像とともに、撮像装置が搭載された車両２０の位置情報を取得してもよい。また、第２取得部１３は、各データとともに、各センサ３０の位置情報を取得してもよい。なお、位置情報は、各センサ３０が設けられる物体の位置情報を表してもよい。

【0044】

この場合、判定部１４は、車両２０の位置情報に基づき特定される位置情報に対応する各センサ３０から送信されるデータを用いて、認識対象物の認識結果が異常か否かを判定することを含んでもよい。例えば、判定部１４は、車両２０の位置情報及び各センサ３０の位置情報を用いて、車両２０の位置から所定範囲内にある各センサを特定し、その各センサ３０から送信されたデータを用いる。

【0045】

また、各センサ３０が設けられる地物（道路標識等）を特定するために、識別情報（ＩＤ）が付与される場合、各センサ３０は、位置情報とともに地物のＩＤを送信するようにしてもよい。この場合、判定部１４は、車両２０の位置情報と画像認識結果による対象物のカテゴリとを用いて認識対象物の種類（道路標識、信号、区画線、ガードレールなどの種類）を特定する。また、判定部１４は、各センサの位置情報とＩＤとを用いて、各センサが設けられた物体の種類（道路標識、信号、区画線、ガードレール等の種類）を特定する。

【0046】

判定部１４は、認識対象物や物体の種類が特定されると、それぞれ対応する種類の認識対象物と物体とを関連付けて、認識対象物に関連付けられた物体に設けられた各センサから取得された各センサデータを用いて、認識対象物の認識結果の異常を判定してもよい。

【0047】

以上の処理により、撮像装置が移動する場合でも、認識対象物を適切に特定し、異常判定に用いる各センサデータを適切に特定することができ、必要最小限のセンサデータを用いて認識対象物の異常を適切に判定することが可能になる。

【0048】

また、近年、高精度な３次元位置情報を取得可能な地図データが開発されている。これらの地図データには、信号機や道路標識などの地物が地物データとして管理されており、車両２０の位置情報から、その車両２０の近辺にある地物を特定することが可能である。判定部１４は、この地図データを利用して、車両２０の周辺に位置する地物を特定し、その地物に設けられる各センサから出力される各センサデータを特定してもよい。

【0049】

図３は、本実施形態に係る情報処理装置１０の物理的構成の一例を示す図である。情報処理装置１０は、演算部に相当するＣＰＵ（Central Processing Unit）１０ａと、記憶部に相当するＲＡＭ（Random Access Memory）１０ｂと、記憶部に相当するＲＯＭ（Read only Memory）１０ｃと、通信部１０ｄと、入力部１０ｅと、表示部１０ｆと、を有する。

【0050】

図３に示す各構成は、バスを介して相互にデータ送受信可能に接続される。なお、本例では情報処理装置１０が一台のコンピュータで構成される場合について説明するが、情報処理装置１０は、複数のコンピュータ又は複数の演算部が組み合わされて実現されてもよい。また、図３で示す構成は一例であり、情報処理装置１０はこれら以外の構成を有してもよいし、これらの構成のうち一部を有さなくてもよい。

【0051】

ＣＰＵ１０ａは、ＲＡＭ１０ｂ又はＲＯＭ１０ｃに記憶されたプログラムの実行に関する制御やデータの演算、加工を行う制御部である。ＣＰＵ１０ａは、例えば図２に示す処理制御部１１の各処理を実行する演算部である。ＣＰＵ１０ａは、入力部１０ｅや通信部１０ｄから種々のデータを受け取り、データの演算結果を表示部１０ｆに表示したり、ＲＡＭ１０ｂに格納したりする。

【0052】

ＲＡＭ１０ｂは、記憶部のうちデータの書き換えが可能なものであり、例えば半導体記憶素子で構成されてよい。ＲＡＭ１０ｂは、ＣＰＵ１０ａが実行するプログラム、図２に示す学習モデル１５ａや学習モデル１６ａの性能を含む学習データといったデータを記憶してもよい。なお、これらは例示であって、ＲＡＭ１０ｂには、これら以外のデータが記憶されていてもよいし、これらの一部が記憶されていなくてもよい。

【0053】

ＲＯＭ１０ｃは、記憶部のうちデータの読み出しが可能なものであり、例えば半導体記憶素子で構成されてよい。ＲＯＭ１０ｃは、例えば所定のプログラムや、書き換えが行われないデータを記憶してよい。なお、図２に示す記憶部１８は、ＲＡＭ１０ｂ及び／又はＲＯＭ１０ｃにより実現されうる。

【0054】

通信部１０ｄは、情報処理装置１０を他の機器に接続するインターフェースである。通信部１０ｄは、インターネット等の通信ネットワークに接続されてよい。

【0055】

入力部１０ｅは、ユーザからデータの入力を受け付けるものであり、例えば、キーボード及びタッチパネルを含んでよい。

【0056】

表示部１０ｆは、ＣＰＵ１０ａによる演算結果を視覚的に表示するものであり、例えば、ＬＣＤ（Liquid Crystal Display）により構成されてよい。表示部１０ｆは、例えば、画像認識結果や異常判定結果を表示してよい。

【0057】

処理制御部１１の各処理を実行する判定プログラムは、ＲＡＭ１０ｂやＲＯＭ１０ｃ等のコンピュータによって読み取り可能な非一時的な記憶媒体に記憶されて提供されてもよいし、通信部１０ｄにより接続される通信ネットワークを介して提供されてもよい。情報処理装置１０では、ＣＰＵ１０ａが判定プログラムを実行することにより、図２を用いて説明した様々な動作が実現される。なお、これらの物理的な構成は例示であって、必ずしも独立した構成でなくてもよい。例えば、情報処理装置１０は、ＣＰＵ１０ａとＲＡＭ１０ｂやＲＯＭ１０ｃが一体化したＬＳＩ（Large-Scale Integration）を備えていてもよい。また、情報処理装置１０は、ＧＰＵ（Graphical Processing Unit）やＡＳＩＣ（Application Specific Integrated Circuit）を備えていてもよい。

【0058】

図４は、実施例１に係る異常判定に用いるデータ例を示す図である。図４に示す例では、画像による認識対象物に対して、視覚センサ、嗅覚センサ、触覚センサ、聴覚センサ、味覚センサ、周辺歩行者の脳波センサ、又は五感センサを用いて、異常が判定される。

【0059】

例えば、実施例１に示すように、自動運転システムに適用される場合、自動運転可能な車両２０は、撮像される画像から対象物を認識して、認識された対象物に基づいて走行制御を行うが、上述した1ピクセルアタックのように対象物において見た目には分からない攻撃が行われると、自動運転システムは誤った認識をしてしまい、重大な事故が発生しうる。

【0060】

また、近年は様々なものや人がインターネットにつながるようになり、それぞれがデータ通信可能であるため、上記のような攻撃を受けた対象物を、自身や、周りのものや人から異常が検証されることで、適切に異常を判定、検出することが可能になる。

【0061】

図４に示すような例では、道路標識や信号機などの認識対象物に対して、この認識対象物に設けられた視覚センサ、嗅覚センサ、触覚センサ、聴覚センサ、味覚センサ、周辺歩行者に設けられる脳波センサ、五感センサからの各センサデータを用いて、認識対象物の異常を適切に判定、検出することが可能になる。なお、図４に示す例は、図４に示すセンサを全て使用するという意図ではなく、少なくとも１つのセンサが用いられればよい。

【0062】

図５は、実施例１に係る情報処理システム１の判定処理の一例を示すシーケンス図である。図５に示す処理では、撮像装置は車両２０に搭載され、各センサ３０は、道路標識等の地物に設けられる例であるが、この例に限られない。

【0063】

ステップＳ１０２において、車両２０は、撮像装置により撮像された画像を、ネットワークＮを介して情報処理装置１０に送信する。車両２０は、ＧＮＳＳ（Global Navigation Satellite System）システムを用いて測定された車両２０の位置情報を画像とともに送信してもよい。

【0064】

ステップＳ１０４において、各センサ３０は、センシングしたセンサデータを、ネットワークＮを介して情報処理装置１０に送信する。各センサ３０から出力される各センシングデータは、一旦他の機器に取得され、他の機器から送信されてもよい。

【0065】

ステップＳ１０６において、情報処理装置１０の第１取得部１２と第２取得部１３とは、画像と各センサデータとをそれぞれ取得し、判定部１４は、取得された画像に対し、物体認識技術や学習モデル１５ａを用いて画像内の対象物を認識する。

【0066】

ステップＳ１０８において、情報処理装置１０の判定部１４は、取得された各センサデータを用いて、画像内の認識対象物に異常があるか否かを判定する。なお、ステップＳ１０２～Ｓ１０８の処理は順序を問わず、先にセンサデータを取得して異常判定が行われたりしてもよい。

【0067】

ステップＳ１１０において、判定部１４は、各センサデータの判定結果を用いて、画像内の認識対象物に異常があるか否かを判定する。

【0068】

ステップＳ１１２において、出力部１７は、判定部１４の判定結果を表示装置又は外部装置に出力する。例えば、出力部１７は、判定部１４に異常が判定された場合、各センサ３０が設けられた対象物に、異常があることを通知する。これにより、例えば、異常通知を受けた対象物に設置される装置は、自身に異常があることを把握することができ、対象物を管理する企業等に交換や撤去等を報知することができる。

【0069】

以上、実施例１によれば、認識対象物自体に設けられた各センサ３０、や周辺歩行者が所持する各センサ３０からのセンサデータを用いて、画像認識による認識対象物の異常を判定することが可能になる。

【0070】

なお、認識対象物に設けられた各センサ３０から取得される各センサデータについては、画像の取得に関係なく、異常判定が行われてもよい。例えば、異常判定部１６は、各センサ３０から取得される各センサデータを用いてアンサンブル学習を行い、認識対象物の異常判定を行っておく。このとき、認識対象物に対して異常が検出された場合は、その認識対象物周辺を走行する車両２０に対し、その認識対象物に異常が生じていることを事前に報知することが可能になる。これにより、車両２０は、この認識対象物の画像認識結果の信用性がないことを事前に把握することができる。

【0071】

＜実施例２＞
次に、本発明に係る実施例２について説明する。実施例２では、道路標識などの認識対象物に対して、この認識対象物の周囲に位置する物体に１又は複数のセンサ３０が設けられ、情報処理装置１０は、各センサ３０にセンシングされた各データを用いて、認識対象物に変更が加えられたか（異常があるか）を判定する。物体とは、例えば、上述した地物、人、及び車両等の少なくとも１つである。

【0072】

また、実施例２におけるシステム構成は、図１に示す構成と同様であり、情報処理装置１０の構成は、図２及び３に示す構成と同様であり、情報処理システム１処理の手順は、図５に示す処理の手順と同様である。実施例２においては、認識対象物以外の周辺の地物などの物体に設けれた各センサ３０からの各センサデータが用いられる。

【0073】

図６は、実施例２に係る異常判定に用いるデータ例を示す図である。図６に示す例では、画像による認識対象物に対して、他の車両２０に設けられるセンサ、衛星から取得される衛星画像、信号機に設けられるセンサ、周辺の地物に設けられる聴覚センサ、道路に設けられるセンサ、周辺の歩行者に設けられる脳波センサ、ミラーに設けられるセンサ、ガードレールに設けられるセンサ等を用いて、異常が判定される。

【0074】

図６に示すような例では、道路標識や信号機などの認識対象物に対して、この認識対象物の周辺に設けられた各種センサからのセンサデータや衛星画像を用いて、認識対象物の異常を適切に判定、検出することが可能になる。なお、図６に示す例は、図６に示すセンサや画像を全て使用するという意図ではなく、少なくとも１つのセンサや画像が用いられればよい。

【0075】

実施例２によれば、認識対象物以外の周辺の地物などの物体に設けれた各センサ３０からの各センサデータ等を用いて、認識対象物の異常を判定することが可能になり、認識対象物に生じた異常を検出することができる。

【0076】

以上、実施例１及び２を含む実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。実施形態が備える各要素並びにその配置、材料、条件、形状及びサイズ等は、例示したものに限定されるわけではなく適宜変更することができる。また、異なる実施形態で示した構成同士を部分的に置換し又は組み合わせることが可能である。

【0077】

上記実施形態では、撮像装置は自動運転可能な車両２０に搭載されるが、撮像装置は、自律走行可能な飛行体にも搭載可能であり、また、移動ができない物体に搭載されてもよい。

【0078】

また、上記実施形態では、各センサ３０は、位置情報を送信するようにしたが、自身に付与された識別情報（ＩＤ）を送信するようにしてもよい。この場合、情報処理装置１０の記憶部１８は、ＩＤごとに、センサの位置情報を対応付けて保持しておき、判定部１４は、センサのＩＤから位置情報を特定してもよい。

【0079】

また、上記実施形態では、認識対象物自体に細工がされた場合に異常検出が可能なことを説明しているが、認識対象物を撮像した画像に対して１ピクセルアタックが行われた場合、認識対象物自体に細工がされたわけではないので異常を検出することは困難になる。この場合、周辺歩行者に設けられるセンサから取得されるデータの重みを大きくすることで、異常を検出することが可能になる。例えば、周辺歩行者に設けられる脳波センサからの脳波信号を示すセンサデータや、五感センサからのセンサデータの重みを大きくし、重量平均投票の学習手法を用いてアンサンブル学習することで、異常を検出することが可能になる。これは、画像自体に１ピクセルアタックの攻撃を受けて標識等を誤認識した結果、車両２０が危険な走行を行い、その状況を見た周辺歩行者が叫んだり、驚いたりすることで、周辺歩行者からのセンサデータから異常を検出することが可能になる。このセンサデータの重みが大きく設定されることで、画像に対して1ピクセルアタックがなされた場合でも、異常を検知することが可能になる。

【0080】

また、各センサから出力されるセンサデータは、ブロックチェーン技術を用いて管理されてもよい。ブロックチェーンは、改ざんがほぼ不可能であることから、各センサから出力されたセンサデータが改ざんされることを防ぎ、システムの信頼性を向上させることができる。

【符号の説明】

【0081】

１…情報処理システム、１０…情報処理装置、１０ａ…ＣＰＵ、１０ｂ…ＲＡＭ、１０ｃ…ＲＯＭ、１０ｄ…通信部、１０ｅ…入力部、１０ｆ…表示部、１１…処理制御部、１２…第１取得部、１３…第２取得部、１４…判定部、１５…画像認識部、１５ａ…学習モデル、１６…異常判定部、１６ａ…学習モデル、１７…出力部、１８…記憶部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】