特開 2023-167528 画像物体検出装置、画像物体検出方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023167528

(43)【公開日】2023-11-24

(54)【発明の名称】画像物体検出装置、画像物体検出方法、及びプログラム

(51)【国際特許分類】

   G06V 10/80 20220101AFI20231116BHJP

   G06V 20/56 20220101ALI20231116BHJP

【ＦＩ】

G06V10/80

G06V20/56

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2022078792

(22)【出願日】2022-05-12

(71)【出願人】

【識別番号】000004226

【氏名又は名称】日本電信電話株式会社

(71)【出願人】

【識別番号】504202472

【氏名又は名称】大学共同利用機関法人情報・システム研究機構

(74)【代理人】

【識別番号】110001634

【氏名又は名称】弁理士法人志賀国際特許事務所

(72)【発明者】

【氏名】孫 泳青

(72)【発明者】

【氏名】坂東 幸浩

(72)【発明者】

【氏名】日和▲崎▼ 祐介

(72)【発明者】

【氏名】劉 弘

(72)【発明者】

【氏名】佐藤 真一

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA02

5L096AA06

5L096BA04

5L096CA02

5L096DA02

5L096FA02

5L096FA34

5L096FA64

5L096FA69

5L096GA59

5L096HA11

5L096JA11

5L096MA07

(57)【要約】

【課題】良好でない天気の状態で撮影された画像から、良好な天気の状態の場合と同等の精度で物体を検出する。
【解決手段】画像に表示される天気の特徴を示す天気特徴モデルを生成する天気特徴モデル生成部と、物体検出対象の画像データから特徴マップを生成する特徴マップ生成部と、前記特徴マップ生成部が生成した特徴マップに対して、前記天気特徴モデル生成部が生成した前記天気特徴モデルを因果介入する結合を行うことにより、天気による影響を抑制した特徴マップを生成する結合部と、前記結合部が生成する特徴マップから物体検出を行う物体検出部と、を備える画像物体検出装置。
【選択図】図１

【特許請求の範囲】

【請求項1】

画像に表示される天気の特徴を示す天気特徴モデルを生成する天気特徴モデル生成部と、
物体検出対象の画像データから特徴マップを生成する特徴マップ生成部と、
前記特徴マップ生成部が生成した特徴マップに対して、前記天気特徴モデル生成部が生成した前記天気特徴モデルを因果介入する結合を行うことにより、天気による影響を抑制した特徴マップを生成する結合部と、
前記結合部が生成する特徴マップから物体検出を行う物体検出部と、
を備える画像物体検出装置。

【請求項2】

前記天気特徴モデル生成部は、
複数の天気の種類の各々に対応する天気の状態が撮影されている複数の画像データの各々から特徴マップを生成し、生成した前記特徴マップをクラスタリングし、クラスタリングにより得られたクラスタの各々の中心特徴ベクトルを合成して前記天気特徴モデルを生成する、
を備える請求項１に記載の画像物体検出装置。

【請求項3】

前記天気特徴モデル生成部は、
ランダム雑音の画像から前記天気特徴モデルを生成する、
を備える請求項１に記載の画像物体検出装置。

【請求項4】

前記ランダム雑音は、白色ガウス雑音である、
請求項３に記載の画像物体検出装置。

【請求項5】

前記結合部は、
前記特徴マップの転置と、前記天気特徴モデルとの積に対してソフトマックス関数を適用して得られるデータと、前記特徴マップとのアダマール積を算出することにより、前記特徴マップに対して、前記天気特徴モデルを因果介入する結合を行う、
請求項１から請求項４のいずれか一項に記載の画像物体検出装置。

【請求項6】

前記結合部は、
前記特徴マップのチャンネルの各々と、前記天気特徴モデルのチャンネルの各々との相関行列を算出し、算出した相関行列と、前記天気特徴モデルとに基づいて、前記特徴マップのチャンネルごとの天気の特徴を含む部分を抽出し、抽出した前記天気の特徴を含む部分と、前記特徴マップとによって前記特徴マップから天気の特徴を取り除く残差計算を行うことにより、前記特徴マップに対して、前記天気特徴モデルを因果介入する結合を行う、
請求項１から請求項４のいずれか一項に記載の画像物体検出装置。

【請求項7】

画像に表示される天気の特徴を示す天気特徴モデルを生成する天気特徴モデル生成ステップと、
物体検出対象の画像データから特徴マップを生成する特徴マップ生成ステップと、
前記特徴マップ生成ステップにより生成された特徴マップに対して、前記天気特徴モデル生成ステップにより生成された前記天気特徴モデルを因果介入する結合を行うことにより、天気による影響を抑制した特徴マップを生成する結合ステップと、
前記結合ステップにより生成された特徴マップから物体検出を行う物体検出ステップと、
を含む画像物体検出方法。

【請求項8】

コンピュータを、
画像に表示される天気の特徴を示す天気特徴モデルを生成する天気特徴モデル生成手段、
物体検出対象の画像データから特徴マップを生成する特徴マップ生成手段、
前記特徴マップ生成手段が生成した特徴マップに対して、前記天気特徴モデル生成手段が生成した前記天気特徴モデルを因果介入する結合を行うことにより、天気による影響を抑制した特徴マップを生成する結合手段、
前記結合手段が生成する特徴マップから物体検出を行う物体検出手段、
として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像物体検出装置、画像物体検出方法、及びプログラムに関する。

【背景技術】

【0002】

近年、深層学習を利用して画像から物体を検出する数多くの技術が提案されている。このような物体検出技術は、今後、自動運転の分野に利用されていくことが見込まれている。これまでに提案されている物体検出技術は、晴天などの良好な天気の状態で撮影された画像については、優れた物体検出能力を備えていることが報告されている。ただし、当該技術を自動運転の分野に適用するためには、様々な天気の状態において、良好な天気の状態の場合と同等の物体検出能力を有することが要求される。

【先行技術文献】

【非特許文献】

【0003】

【非特許文献1】Claudio Michaelis et al. ,”Benchmarking Robustness in Object Detection : Autonomous Driving when Winter is Coming”,[online], 31th March 2020, arXiv preprint, arXiv:1907.07484,[令和４年３月１７日検索],インターネット<URL:https://arxiv.org/pdf/1907.07484.pdf>

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、厳しい気象条件の環境、光の少ない場所や夜間の環境の下では、カメラの撮像素子のセンサノイズが増加するため場合、撮影された画像の品質は低下する。そのため、これまでに提案されている物体検出技術によって、例えば、雨や霧などの良好でない天気の状態において撮影された画像を対象として物体検出を行った場合、物体検出の精度が、良好な天気の状態において撮影された画像を対象とする場合よりも低くなるという問題がある（例えば、非特許文献１参照）。

【0005】

本発明は、良好でない天気の状態で撮影された画像から、良好な天気の状態の場合と同等の精度で物体を検出するができる技術の提供を目的としている。

【課題を解決するための手段】

【0006】

本発明の一態様は、画像に表示される天気の特徴を示す天気特徴モデルを生成する天気特徴モデル生成部と、物体検出対象の画像データから特徴マップを生成する特徴マップ生成部と、前記特徴マップ生成部が生成した特徴マップに対して、前記天気特徴モデル生成部が生成した前記天気特徴モデルを因果介入する結合を行うことにより、天気による影響を抑制した特徴マップを生成する結合部と、前記結合部が生成する特徴マップから物体検出を行う物体検出部と、を備える画像物体検出装置である。

【0007】

本発明の一態様は、画像に表示される天気の特徴を示す天気特徴モデルを生成する天気特徴モデル生成ステップと、物体検出対象の画像データから特徴マップを生成する特徴マップ生成ステップと、前記特徴マップ生成ステップにより生成された特徴マップに対して、前記天気特徴モデル生成ステップにより生成された前記天気特徴モデルを因果介入する結合を行うことにより、天気による影響を抑制した特徴マップを生成する結合ステップと、前記結合ステップにより生成された特徴マップから物体検出を行う物体検出ステップと、を含む画像物体検出方法である。

【0008】

本発明の一態様は、コンピュータを、画像に表示される天気の特徴を示す天気特徴モデルを生成する天気特徴モデル生成手段、物体検出対象の画像データから特徴マップを生成する特徴マップ生成手段、前記特徴マップ生成手段が生成した特徴マップに対して、前記天気特徴モデル生成手段が生成した前記天気特徴モデルを因果介入する結合を行うことにより、天気による影響を抑制した特徴マップを生成する結合手段、前記結合手段が生成する特徴マップから物体検出を行う物体検出手段、として機能させるためのプログラムである。

【発明の効果】

【0009】

本発明により、良好でない天気の状態で撮影された画像から、良好な天気の状態の場合と同等の精度で物体を検出することが可能になる。

【図面の簡単な説明】

【0010】

【図1】第１の実施形態の画像物体検出装置の構成を示すブロック図である。

【図2】第１の実施形態の画像物体検出装置の詳細構成を示すブロック図である。

【図3】第１の実施形態の天気特徴モデル生成部による処理の流れを示す図である。

【図4】第１の実施形態の天気特徴モデル生成部による処理の概要を示す図である。

【図5】第１の実施形態における物体検出の処理の流れを示す図である。

【図6】第１の実施形態の結合部による処理の概要を示す図である。

【図7】第２の実施形態の画像物体検出装置の構成を示すブロック図である。

【図8】第２の実施形態の天気特徴モデル生成部による処理の流れを示す図である。

【発明を実施するための形態】

【0011】

（第１の実施形態）
以下、本発明の実施形態について図面を参照して説明する。図１は、第１の実施形態による画像物体検出装置１の構成を示すブロック図である。画像物体検出装置１は、天気特徴モデル生成部１１、天気特徴モデル記憶部１２、画像データ記憶部１３、特徴マップ生成部１４、結合部１５、及び物体検出部１６を備える。

【0012】

天気特徴モデル生成部１１は、画像に表示される天気の特徴を示す天気特徴モデルを生成する。天気特徴モデル記憶部１２は、天気特徴モデル生成部１１が生成する天気特徴モデルを記憶する。画像データ記憶部１３は、物体検出の対象となる画像データを記憶する。特徴マップ生成部１４は、画像データ記憶部１３が記憶する画像データから特徴マップを生成する。結合部１５は、特徴マップ生成部１４が生成した特徴マップと、天気特徴モデル記憶部１２が記憶する天気特徴モデルとを結合することにより、天気による影響を抑制した特徴マップを生成する。ここで、結合部１５が行う特徴マップと、天気特徴モデルとを結合する処理とは、いわゆる構造的因果モデルにおける介入である因果介入(causal intervention)による結合の処理である。当該処理を行うことにより、特徴マップに対応する画像データが、例えば、雨の状態で撮影された画像データである場合、画像データにおいて雨による影響が抑制されることになる。物体検出部１６は、結合部１５が生成した特徴マップから、当該特徴マップに対応する画像データに含まれている物体の種類、位置、及び範囲を検出する物体検出の処理を行う。

【0013】

図２は、画像物体検出装置１の詳細な構成の一例を示すブロック図であり、物体検出の手法として、ｍａｓｋ Ｒ－ＣＮＮ（Region based Convolutional Neural Network）の手法を適用した例を示している。画像データ記憶部１３は、例えば、物体検出の対象となる画像データを予め記憶する。画像データは、例えば、カラーの画像データであり、Ｒ（Red）、Ｇ（Green）、Ｂ（Blue）の各々のチャンネルの２次元の画像データであって同一サイズの２次元の画像データが３チャンネル分、重ね合わせられた３次元配列のデータである。ここで、サイズとは、２次元の画像データの縦と横のピクセル数、言い換えると、２次元の配列データの縦と横のデータ数によって定められる大きさである。

【0014】

特徴マップ生成部１４は、ＣＮＮ（Convolutional Neural Network）層２１を備えており、画像データ記憶部１３が記憶する画像データに対してＣＮＮ層２１により畳み込み演算を行って特徴マップ５０を生成する。ここで、特徴マップ５０は、次式（１）により定義される。

【0015】

【数1】

【0016】

式（１）において、「Ｆ」は、特徴マップ５０を示しており、「Ｒ」は、実数空間を示す数学記号である。Ｒの上付き添え字の「ｄ」は、次元数であり、「ｃ」は、チャンネル数である。すなわち、式（１）は、特徴マップ５０がｄ×ｃ次元実数空間の要素として表されることを示している。ここでは、ＣＮＮ層２１は、画像データ記憶部１３が記憶する２次元の画像データがチャンネル方向に３つ重ね合わせられたデータに対して畳み込み演算を行うため、畳み込み演算により得られる特徴マップ５０の次元数「ｄ」は、ｄ＝２になる。チャンネル数「ｃ」は、ＣＮＮ層２１において適用されるフィルタのチャンネル数などに応じた値になる。

【0017】

より詳細には、ＣＮＮ層２１は、ＣＮＮのみを含むＦＣＮ（Fully Convolutional Network）などの深層ニューラルネットワークが適用されてもよいし、ＶＧＧ(Visual Geometry Group)、ＲｅｓＮｅｔ(Residual Network)などのＣＮＮと、ＣＮＮ以外のニューラルネットワークとを含む深層ニューラルネットワークが適用されてもよい。ＣＮＮ層２１による畳み込み演算によって得られる特徴マップ５０は、チャンネル数「ｃ」個の同一サイズの２次元配列のデータが、チャンネル方向に重ね合わせられた３次元配列のデータになる。重ね合わせられる２次元配列のデータは、縦と横のデータ数が同一であるデータである。当該２次元配列のデータのサイズは、特徴マップ生成部１４が画像データ記憶部１３から読み出す画像データのサイズを縮小したサイズであって、特徴マップ生成部１４が画像データ記憶部１３から読み出す画像データのサイズ及びＣＮＮ層２１のフィルタのサイズに応じたサイズになる。

【0018】

物体検出部１６は、ＲＰＮ(Region Proposal Network)層２２と、ＢｏｘＨｅａｄ部２３とを備える。ＲＰＮ層２２は、特徴マップ５０において物体が存在する位置と範囲を検出するニューラルネットワークである。ＢｏｘＨｅａｄ部２３は、ＲｏＩ(Region of Interest)－Ａｌｉｇｎ層３１、全結合層３２，３３－１，３３－２、及びＣＮＮ層３４，３５を備える。ＲｏＩ－Ａｌｉｇｎ層３１は、結合部１５が生成する特徴マップ５１、すなわち、天気による影響が抑制された特徴マップ５１と、ＲＰＮ層２２の出力とに基づいて、特徴マップ５１において物体が存在する部分を抽出し、抽出した部分のデータに対してＰｏｏｌｉｎｇ処理を行い、Ｐｏｏｌｉｎｇ処理を行った結果を示すデータを出力するニューラルネットワークである。

【0019】

全結合層３２，３３－１，３３－２は、全結合のニューラルネットワークである。全結合層３２，３３－１は、ＲｏＩ－Ａｌｉｇｎ層３１が出力するデータが全結合層３２に与えられと、与えられたデータから物体の種類を示すクラスのデータを算出する。全結合層３３－１の出力段は、Ｓｏｆｔｍａｘ関数になっており、全結合層３２，３３－１は、物体のクラスを示すデータとして、当該物体が、予め定められる複数のクラスのいずれのクラスに属するかを確率的に示すデータを算出する。全結合層３２，３３－２は、ＲｏＩ－Ａｌｉｇｎ層３１が出力するデータが全結合層３２に与えられると、与えられたデータから物体が存在する位置と範囲を示すデータ、いわゆるバウンディングボックスの位置と範囲を示すデータを算出する。

【0020】

ＣＮＮ層３４，３５は、畳み込み演算を行うニューラルネットワークである。ＣＮＮ層３４，３５は、ＲｏＩ－Ａｌｉｇｎ層３１が出力するデータがＣＮＮ層３４に与えられると、与えられたデータから物体の部分に対して適用するマスクの種類を示すデータを出力する。なお、ＣＮＮ層２１、ＲＰＮ層２２、全結合層３２，３３－１，３３－２、及びＣＮＮ層３４，３５を構成するニューラルネットワークのニューロンには、物体検出の処理が行われる前に、学習済みの重みとバイアスとが適用される。

【0021】

天気特徴モデル生成部１１は、天気画像データ記憶部４１、特徴マップ生成部４２、分類部４３、検出部４４、及び合成部４５を備える。天気画像データ記憶部４１は、様々な天気の状態で撮影された複数の画像データを予め記憶する。天気画像データ記憶部４１が記憶する画像データは、画像データ記憶部１３が記憶する画像データと同様に、ＲＧＢのカラーの画像データである。

【0022】

特徴マップ生成部４２は、特徴マップ生成部１４と同様に、例えば、ＦＣＮ、ＶＧＧ、ＲｅｓＮｅｔなどのＣＮＮ層を備えており、天気画像データ記憶部４１が記憶する複数の画像データの各々から特徴マップを生成する。分類部４３は、特徴マップ生成部４２が生成する複数の特徴マップをクラスタリングする。検出部４４は、分類部４３がクラスタリングした各クラスタの中心特徴ベクトルを検出する。合成部４５は、検出部４４が検出した中心特徴ベクトルを合成して、様々な天気の特徴を一括して表すモデルである天気特徴モデル７０を生成する。ここで、天気特徴モデル７０は、次式（２）により定義される。

【0023】

【数2】

【0024】

式（２）において、「Ｗ」は、天気特徴モデル７０を示しており、式（２）は、天気特徴モデル７０がｄ×ｈ次元実数空間の要素として表されることを示している。式（２）において、次元数「ｄ」は、特徴マップ５０と同様にｄ＝２である。合成部４５は、特徴マップ５０の１チャンネル分の２次元配列のデータと同一のサイズの２次元配列のデータが、チャンネル数「ｈ」個分、重ね合わせられた３次元配列のデータになるように中心特徴ベクトルを合成して天気特徴モデル７０を生成する。チャンネル数「ｈ」は、分類部４３がクラスタリングした際に得られるクラスタの数、すなわち、天気の種類の数である。

【0025】

（第１の実施形態の天気特徴モデル生成部による処理）
図３、図４を参照しつつ、第１の実施形態の天気特徴モデル生成部１１による処理について説明する。図３に示す処理が開始される前に、天気画像データ記憶部４１には、予め定められる複数の種類の天気の状態で撮影された複数の画像データが予め書き込まれる。ここでは、一例として、図４に示すように、天気画像データ記憶部４１には「雨」、「霧」、「雪」、「曇り」、「薄曇り」の各々の状態で撮影された雨の画像データ５２－１、霧の画像データ５２－２、雪の画像データ５２－３、曇りの画像データ５２－４、薄曇りの画像データ５２－５，…という複数の画像データが予め書き込まれているものとする。図４では、雨の天気に対する画像データとして、１つの雨の画像データ５２－１を示しているが、１つの天気の種類に対して、複数の画像データが天気画像データ記憶部４１に記憶されているものとする。

【0026】

雨の画像データ５２－１、霧の画像データ５２－２、雪の画像データ５２－３、曇りの画像データ５２－４、薄曇りの画像データ５２－５，…は、任意の位置で撮影された画像データであり、多くの画像データにおいて撮影位置が異なっている方が、最終的に得られる天気特徴モデル７０がより一般化されることになる。ただし、一部の画像データにおいて同一の位置で撮影された画像データが含まれていてもよい。

【0027】

特徴マップ生成部４２は、天気画像データ記憶部４１に記憶されている雨の画像データ５２－１、霧の画像データ５２－２、雪の画像データ５２－３、曇りの画像データ５２－４、薄曇りの画像データ５２－５，…を１つずつ読み出し、読み出した画像データの各々に対して畳み込み演算を行って特徴マップを生成する。すなわち、図４に示すように、特徴マップ生成部４２は、雨の画像データ５２－１に対して雨の画像データの特徴マップ５３－１を生成する。特徴マップ生成部４２は、雨の画像データ５２－１以外の霧の画像データ５２－２、雪の画像データ５２－３、曇りの画像データ５２－４、薄曇りの画像データ５２－５，…の各々についても、各々に対応する特徴マップ５３－２，５３－３，５３－４，５３－５，…を生成する。特徴マップ生成部４２は、生成した特徴マップ５３－１，５３－２，５３－３，５３－４，５３－５，…を分類部４３に出力する（ステップＳａ１）。

【0028】

分類部４３は、特徴マップ生成部４２が出力する特徴マップ５３－１，５３－２，５３－３，５３－４，５３－５，…を取り込み、取り込んだ特徴マップ５３－１，５３－２，５３－３，５３－４，５３－５，…を、例えば、混合ガウスモデル（ＧＭＭ(Gaussian Mixture Model)によってクラスタリングする。例えば、分類部４３は、図４の散布図６０に示すように、ベクトル空間内に特徴マップ５３－１，５３－２，５３－３，５３－４，５３－５，…をプロットする。散布図６０において、「〇」、「☆」、「◇」、「□」、「△」のマークが、特徴マップ５３－１，５３－２，５３－３，５３－４，５３－５，…をプロットした結果である。

【0029】

上記したように、１つの天気の種類に対して、複数の画像データが天気画像データ記憶部４１に記憶されているので、例えば、雨の特徴マップは、特徴マップ５３－１以外にも複数存在することになる。散布図６０では、特徴マップ５３－１を含む雨の特徴マップの各々が示す位置が、「〇」のマークで示されている。同様に、特徴マップ５３－２を含む霧の特徴マップの各々が示す位置は、「☆」のマークで示されている。特徴マップ５３－３を含む雪の特徴マップの各々が示す位置は、「◇」のマークで示されている。特徴マップ５３－４を含む曇りの特徴マップの各々が示す位置は、「□」のマークで示されている。特徴マップ５３－５を含む薄曇りの特徴マップの各々が示す位置は、「△」のマークで示されている。

【0030】

ベクトル空間内にプロットした際には、プロットした点の各々は、「〇」、「☆」、「◇」、「□」、「△」のように天気の種類ごとに分類されていないが、分類部４３が、クラスタリングを行うことにより、プロットした点の各々が天気の種類ごとに分類されることになる。なお、図４に示す散布図６０は、理解を容易にするために、一例として、２次元のベクトル空間においてクラスタリングが行われている例を示しているが、クラスタリングの対象となる特徴マップ５３－１，５３－２，５３－３，５３－４，５３－５，…は、３次元配列のデータである。そのため、分類部４３によるクラスタリングは、２次元を超える多次元のベクトル空間において行われる場合もある。分類部４３は、クラスタリングした結果を示すデータを検出部４４に出力する（ステップＳａ２）。

【0031】

検出部４４は、分類部４３が出力するクラスタリングした結果を示すデータを取り込み、取り込んだデータに基づいて、各クラスタの中心特徴ベクトル５４－１，５４－２，５４－３，５４－４，５４－５を検出する。検出部４４は、検出した中心特徴ベクトル５４－１，５４－２，５４－３，５４－４，５４－５の各々を示すデータを合成部４５に出力する（ステップＳａ３）。合成部４５は、検出部４４が出力する中心特徴ベクトル５４－１，５４－２，５４－３，５４－４，５４－５の各々を示すデータを取り込み、取り込んだデータを合成して「雨」、「霧」、「雪」、「曇り」、「薄曇り」の５種類の天気の特徴を一括して表すモデルであって３次元配列のデータである天気特徴モデル７０を生成する。ここで、中心特徴ベクトル５４－１，５４－２，５４－３，５４－４，５４－５の各々を示すデータを合成する処理とは、例えば、中心特徴ベクトル５４－１，５４－２，５４－３，５４－４，５４－５の各々の内積を算出する処理である（ステップＳａ４）。合成部４５は、生成した天気特徴モデル７０のデータを天気特徴モデル記憶部１２に書き込んで記憶させる（ステップＳａ５）。

【0032】

（第１の実施形態における物体検出の処理）
図５、図６を参照しつつ、第１の実施形態の画像物体検出装置１による物体検出の処理について説明する。図５に示す処理が開始される前に、天気特徴モデル生成部１１により天気特徴モデル７０が生成され、天気特徴モデル記憶部１２には、天気特徴モデル生成部１１によって生成された天気特徴モデル７０のデータが書き込まれる。ＣＮＮ層２１、ＲＰＮ層２２、全結合層３２，３３－１，３３－２、及びＣＮＮ層３４，３５を構成するニューラルネットワークの各々のニューロンには、学習済みの重みとバイアスとが適用される。

【0033】

特徴マップ生成部１４は、画像データ記憶部１３から画像データを読み出し、読み出した画像データに対してＣＮＮ層２１により畳み込み演算を行って特徴マップ５０を生成する。特徴マップ生成部１４は、生成した特徴マップ５０を結合部１５と、物体検出部１６とに出力する（ステップＳｂ１）。結合部１５は、特徴マップ生成部１４が出力する特徴マップ５０を取り込む。結合部１５は、天気特徴モデル記憶部１２から天気特徴モデル７０のデータを読み出す。結合部１５は、特徴マップ５０と、天気特徴モデル７０とを結合する処理、すなわち、次式（３）により示される因果介入の結合の処理を行う。

【0034】

【数3】

【0035】

式（３）において、左辺のサーカムフレックス付きのＦは、結合部１５が生成する特徴マップ５１を示している。右辺の第１項の式は、特徴マップ５０の転置（Ｆ^Ｔ）と、天気特徴モデル７０（Ｗ）との積、すなわち３次元配列同士の積に対してソフトマックス関数を適用する式である。ここで、特徴マップ５０の転置とは、以下のようにして、特徴マップ５０の要素を入れ替えることである。すなわち、特徴マップ５０が、Ｘ×Ｙ×ｃの３次元配列のデータであって、ｃ個のチャンネルごとのＸとＹの２次元配列のデータの各々の要素を（ｘ，ｙ）で表すとする。ただし、ｘ＝１～Ｘであり、ｙ＝１～Ｙである。特徴マップ５０の転置とは、特徴マップ５０において、チャンネル方向を維持したまま、チャンネルごとの２次元配列のデータの（ｘ，ｙ）の要素を（ｙ，ｘ）の要素になるように要素を入れ替えることである。

【0036】

式（３）の右辺の第１項の式により、ｈ＝ｃの場合、言い換えると、天気特徴モデル７０（すなわち、天気特徴モデルＷ）のチャンネル数ｈが、特徴マップ５０（すなわち、特徴マップＦ）のチャンネル数ｃに一致している場合、特徴マップ５０と同一サイズ及び同一チャンネル数の３次元配列のデータであって、各チャンネルにおいて天気の影響により品質が低下している要素の値が大きな値になる３次元配列のデータが得られることになる。例えば、図６に示すように特徴マップ５０が、４×４の２次元配列のデータを、チャンネル数「ｃ」に一致する個数、重ね合わせた３次元配列のデータであり、天気特徴モデル７０が、４×４の２次元配列のデータを、チャンネル数「ｈ」に一致する個数、重ね合わせた３次元配列のデータであるとする。

【0037】

ｈ＝ｃである場合、結合部１５は、特徴マップ５０を転置した３次元配列のデータと、天気特徴モデル７０の３次元配列のデータとの積を算出することにより、特徴マップ５０と同一サイズ及び同一チャンネル数、すなわち４×４×ｃの３次元配列のデータが得られることになる。結合部１５は、算出した３次元配列のデータに対して、チャンネルごとの１６個の要素の値に対してソフトマックス関数を適用し、ソフトマックス関数の出力値の各々を１６個の要素の値とする。これにより、１６個の要素の値を合計すると「１」になり、特徴マップ５０において天気の影響により品質が低下している要素の値が大きな値になっているｃ個の２次元配列のデータが得られることになる。結合部１５は、ｃ個の２次元配列のデータをチャンネル方向に重ね合わせることにより、特徴マップ５０と同一サイズ及び同一チャンネル数の３次元配列のデータ７１を生成する。

【0038】

式（３）の右辺の「×」は、チャンネルごとのアダマール積を示す演算であり、結合部１５は、第１式の結果として得られる３次元配列のデータ７１と、特徴マップ５０の３次元配列のデータとにおいて、チャンネルごとに、対応する位置の要素の値を乗算する演算を行う。言い換えると、結合部１５は、第１式の結果として得られる３次元配列のデータ７１のｚ番目のチャンネルのｘ行ｙ列の要素の値と、特徴マップ５０のｚ番目のチャンネルのｘ行ｙ列の要素の値とを乗算した値を、特徴マップ５１のｚ番目のチャンネルのｘ行ｙ列のピクセルの値にする。ここで、ｘ、ｙ、ｚは、正の整数であり、図６に示す例の場合、ｘ＝１～４であり、ｙ＝１～４であり、ｚ＝１～ｃである。これにより、特徴マップ５０において、天気の影響により品質が低下した要素の値が強調され、天気による影響が抑制された特徴マップ５１が得られることになる。

【0039】

これに対して、天気特徴モデル７０のチャンネル数ｈが、ｈ＝ｃでない場合、上記の手順では、特徴マップ５０と、天気特徴モデル７０との積を算出することができない。ｈ＝ｃでない場合に、結合部１５が特徴マップ５１を生成する手順は、以下に示すような手順になる。特徴マップ５０のチャンネルごとの天気の特徴を含む部分をＷＦとする（以下、天気特徴部分ＷＦという）。ここで、天気特徴部分ＷＦは、次式（４）により定義される２次元配列のデータ、言い換えると、３次元配列のデータの１チャンネル分のデータであり、特徴マップ５０が、図６に示すように４×４×ｃの３次元配列のデータである場合、天気特徴部分ＷＦは、４×４×１の３次元配列のデータになる。

【0040】

【数4】

【0041】

結合部１５は、次式（５）によりｃチャンネル分の天気特徴部分ＷＦを算出する。

【0042】

【数5】

【0043】

式（５）において、ｊ＝１～ｃであり、ＷＦ_ｊは、ｃチャンネルを有する特徴マップ５０のｊ番目のチャンネルの天気特徴部分ＷＦである。ｉは、１～ｈであり、ｍ_ｊ，ｉは、ｊ番目のｍ_ｉを示しており、ｍ_ｉは、次式（６）によって算出することができる。なお、次式（６）において、右辺の「Ｆ」は、特徴マップ５０（すなわち、特徴マップＦ）のｊ番目のチャンネルを示している。

【0044】

【数6】

【0045】

式（５）及び式（６）において、「Ｗ_・，ｉ」は、天気特徴モデル７０（すなわち、天気特徴モデルＷ）のｉ番目のチャンネルの特徴量である。ｍ_ｉは、次式（７）によって定義されるため、ｍ_ｊ，ｉ、すなわち行列ｍは、次式（８）によって定義される。

【0046】

【数7】

【0047】

【数8】

【0048】

式（８）に示すように、行列ｍは、天気特徴モデル７０のｈ個の特徴量と、特徴マップ５０のｃ個の特徴量の相関を示すことになる。すなわち、式（６）は、物体検出の対象の画像データの特徴マップ５０（すなわち、特徴マップＦ）のｊ番目の特徴と、全ての天気の種類の各々の中心特徴ベクトルを合成して得られる天気特徴モデル７０（すなわち、天気特徴モデルＷ）との類似度として相関行列ｍ_ｉを算出する式ということになる。この類似度を、特徴マップ５０のｃ個のチャンネルの各々について算出することにより、相関行列ｍ_ｊ，ｉが得られることになる。この相関行列ｍ_ｊ，ｉを天気の特徴を示す天気特徴の重みとして、式（５）により、天気特徴の重み付き和を算出し、天気の影響をうける特徴マップ５０のｊ番目の特徴を示すＷＦ_ｊを算出する。特徴マップ５０のチャンネル数はｃであるため、結合部１５は、ＷＦ_ｊをｃ個算出することになる。

【0049】

結合部１５は、特徴マップ５０（すなわち、特徴マップＦ）と、算出したｃ個の天気特徴部分ＷＦ_ｊ（ｊ＝１～ｃ）をチャンネル方向に重ね合わせた３次元配列のデータとよって、ｃ個のチャンネルごとに次式（９）の右辺に示す残差計算を行って、特徴マップ５０から天気の影響を取り除いて左辺に示す特徴マップ５１を生成する。

【0050】

【数9】

【0051】

結合部１５は、生成した特徴マップ５１を物体検出部１６に出力する（ステップＳｂ２）。なお、上記のｈ＝ｃでない場合の手順は、ｈ＝ｃの場合にも適用することが可能である。

【0052】

物体検出部１６は、特徴マップ生成部１４が出力する特徴マップ５０と、結合部１５が出力する特徴マップ５１とを取り込んで、以下に示す物体検出処理を行う。ＲＰＮ層２２は、特徴マップ５０を取り込み、物体が存在する位置を検出する。ＲｏＩ－Ａｌｉｇｎ層３１は、特徴マップ５１と、ＲＰＮ層２２の出力とを取り込み、取り込んだＲＰＮ層２２の出力に基づいて、特徴マップ５１において物体が存在する部分を抽出する。ＲｏＩ－Ａｌｉｇｎ層３１は、抽出した部分のデータに対してＰｏｏｌｉｎｇ処理を行い、Ｐｏｏｌｉｎｇ処理を行った結果を示すデータを全結合層３２と、ＣＮＮ層３４とに出力する。

【0053】

全結合層３２が、ＲｏＩ－Ａｌｉｇｎ層３１が出力するデータを取り込むと、全結合層３３－１は、取り込んだデータが示す領域に含まれる物体のクラスを示すデータを出力し、全結合層３３－２は、取り込んだデータが示す領域に含まれる物体が存在する位置と範囲を示すデータを出力する。ＣＮＮ層３４が、ＲｏＩ－Ａｌｉｇｎ層３１が出力するデータを取り込むと、ＣＮＮ層３５は、取り込んだデータが示す領域に含まれる物体の部分に対して適用するマスクの種類を示すデータを出力する（ステップＳｂ３）。

【0054】

特徴マップ生成部１４が、画像データ記憶部１３から読み出した画像データに対して、物体のクラスを示すデータ、物体が存在する位置と範囲を示すデータ、物体に対して適用するマスクの種類を示すデータを適用することにより、例えば、画像データに表示されている物体の各々が、バウンディングボックスで囲まれると共に、バウンディングボックスに関連付けられて物体のクラスを示すデータが表示され、更に、各々の物体の部分が異なる色でマスクされることになる。

【0055】

上記の第１の実施形態の画像物体検出装置１において、天気特徴モデル生成部１１は、画像に表示される天気の特徴を示す天気特徴モデル７０を生成する。特徴マップ生成部１４は、物体検出対象の画像データから特徴マップ５０を生成する。結合部１５は、特徴マップ生成部１４が生成した特徴マップ５０に対して、天気特徴モデル生成部１１が生成した天気特徴モデル７０を因果介入する結合を行うことにより、天気による影響を抑制した特徴マップ５１を生成する。物体検出部１６は、結合部１５が生成する特徴マップ５１から物体検出を行う。天気特徴モデル生成部１１が生成する天気特徴モデル７０は、様々な種類の天気の状態で撮影された画像から抽出される特徴量に含まれる天気に固有の情報を、天気の種類ごとではなく、様々な天気の種類を一括して表現するモデルであり、別の言い方をすると、様々な天気の種類を網羅して表現する汎用的なモデルということができる。このような特徴を有する天気特徴モデル７０を、物体検出対象の画像データの特徴マップ５０に対して因果介入する結合を結合部１５によって行うことにより、天気による影響が抑制された特徴マップ５１が得られることになる。そのため、物体検出部１６は、天気による影響が抑制された特徴マップ５１に対して物体検出の処理を行うことにより、物体検出対象の画像データが、良好でない天気の状態で撮影された画像データであっても、良好な天気の状態の場合と同等の精度で物体を検出することができる。天気特徴モデル７０は、様々な天気の種類に対して汎用的なモデルになっているため、物体検出対象の画像データが、いずれかの種類の天気による影響によって破損している場合でも、破損の内容や破損の程度に関わらず、任意の種類の天気による影響を抑制することができる。したがって、天気特徴モデル７０を適用することにより、物体検出のロバスト性を向上させることが可能になる。

【0056】

上記の第１の実施形態において分類部４３は、混合ガウスモデルによってクラスタリングを行っているが、例えば、Ｋ－ｍｅａｎｓ法などの他のクラスタリング手法によってクラスタリングを行うようにしてもよい。

【0057】

上記の第１の実施形態では、天気画像データ記憶部４１に記憶される画像データの天気の種類として「雨」、「霧」、「雪」、「曇り」、「薄曇り」という５つの種類を一例として示しているが、少なくとも２種類の異なる天気の種類の画像データが、天気画像データ記憶部４１に記憶されていればよい。「雨」、「霧」、「雪」、「曇り」、「薄曇り」以外の天気の状態で撮影された画像データが、天気画像データ記憶部４１に記憶されていてもよく、この場合、検出部４４は、分類部４３が行うクラスタリングによって生成されるクラスタの各々、すなわち、天気の種類の各々に対応する中心特徴ベクトル５４－１，５４－２，５４－３，５４－４，５４－５，…を検出することになる。

【0058】

（第２の実施形態）
図７は、第２の実施形態による画像物体検出装置１ａの構成を示すブロック図である。なお、第２の実施形態において、第１の実施形態と同一の構成については、同一の符号を付し、以下、異なる構成について説明する。画像物体検出装置１ａは、天気特徴モデル生成部１１ａ、天気特徴モデル記憶部１２、画像データ記憶部１３、特徴マップ生成部１４、結合部１５、及び物体検出部１６を備える。

【0059】

第１の実施形態の天気特徴モデル生成部１１は、様々な種類の天気の画像データ、すなわち、雨の画像データ５２－１、霧の画像データ５２－２、雪の画像データ５２－３、曇りの画像データ５２－４、薄曇りの画像データ５２－５，…から天気特徴モデル７０を生成していた。ところで、雨や霧などの天気の状態で撮影を行った場合、撮影により得られた画像において、天気による影響は、画像の各ピクセルに一様に分布していることが観察される。このことを踏まえて、第２の実施形態の天気特徴モデル生成部１１ａは、実際に撮影した天気の画像データから天気特徴モデル７０を生成する代わりに、各ピクセルに雑音が一様に現れるランダム雑音の画像を生成し、生成したランダム雑音の画像から天気特徴モデルを生成する。ここで、説明の便宜上、第２の実施形態における天気特徴モデルを、符号７０ａを付して、以下、天気特徴モデル７０ａという。

【0060】

（第２の実施形態の天気特徴モデル生成部による処理）
図８は、第２の実施形態の天気特徴モデル生成部１１ａによる処理の流れを示すフローチャートである。天気特徴モデル生成部１１ａは、特徴マップ５０の各チャンネルの２次元配列のデータと同一サイズのランダム雑音の２次元画像データを、特徴マップ５０のチャンネル数分、すなわち「ｃ」個、生成する（ステップＳｃ１）。天気特徴モデル生成部１１ａは、生成した「ｃ」個のランダム雑音の２次元画像データをチャンネル方向に重ね合わせた３次元配列のデータを天気特徴モデル７０ａのデータとして生成する（ステップＳｃ２）。

【0061】

なお、ランダム雑音は、１つの２次元画像において一様に雑音が分布している必要がある。そのため、天気特徴モデル生成部１１ａは、２次元画像データの各ピクセルの画素値が正規分布の乱数になるように２次元画像データを生成する。ランダム雑音の具体例として、例えば、正規分布の不規則な雑音であるガウシアンノイズなどを適用することができ、特に、白色ガウシアンノイズとするのが望ましい。天気特徴モデル７０ａは、次式（１０）により定義される。

【0062】

【数10】

【0063】

式（１０）から分かるように、第１の実施形態の天気特徴モデル７０と、第２の実施形態の天気特徴モデル７０ａとは、共に同一の次元数であるｄ次元の実数空間の要素であるが、チャンネル数が異なる３次元配列のデータである。第２の実施形態の天気特徴モデル７０ａは、特徴マップ５０と同一のサイズ及び同一のチャンネル数のｄ×ｃ次元実数空間の要素として表される３次元配列のデータである。天気特徴モデル生成部１１ａは、生成した天気特徴モデル７０ａのデータを天気特徴モデル記憶部１２に書き込んで記憶させる（ステップＳｃ３）。

【0064】

第２の実施形態における物体検出の処理は、図５に示す第１の実施形態の物体検出の処理と同一の処理が行われる。ただし、特徴マップ生成部１４が生成する特徴マップ５０に対して、結合部１５が因果介入の結合を行う天気特徴モデルは、第２の実施形態の天気特徴モデル７０ａである。これにより、第２の実施形態においても、第１の実施形態と同様に、物体検出の対象の画像データから得られる特徴マップ５０において天気による影響の抑制した上で物体検出を行うことが可能になる。

【0065】

上記の第２の実施形態において、天気特徴モデル生成部１１ａは、ｃ個とは異なる数のｈ個のランダム雑音を生成し、生成したｈ個のランダム雑音から天気特徴モデル７０ａを生成するようにしてもよい。この場合、結合部１５は、第１の実施形態において説明したｈ＝ｃでない場合の手順により、特徴マップ５０と、天気特徴モデル７０ａとから特徴マップ５１を生成することになる。

【0066】

上記の第１及び第２の実施形態では、物体検出部１６の具体例として、ｍａｓｋ Ｒ－ＣＮＮを適用した例を示している。これに対して、物体検出部１６として、例えば、Ｆａｓｔｅｒ Ｒ－ＣＮＮやＹＯＬＯ（You Only Look Once）などの深層ニューラルネットワークを用いた他の物体検出の手法を適用するようにしてもよい。他の物体検出の手法を適用する場合も、ｍａｓｋ Ｒ－ＣＮＮを適用した例と同様に、特徴マップ５０に対応する特徴マップが出力として得られる箇所に、結合部１５を挿入して、特徴マップ５０に天気特徴モデル７０，７０ａを結合する構成になる。

【0067】

上記の第１及び第２の実施形態において、天気画像データ記憶部４１と、画像データ記憶部１３とが記憶する画像データは、ＲＧＢのカラーの画像データであるとしている。これに対して、天気画像データ記憶部４１と、画像データ記憶部１３とが記憶する画像データは、ＣＭＹＫのカラーの画像データであってもよいし、グレースケールの画像データであってもよい。天気画像データ記憶部４１と、画像データ記憶部１３とが記憶する画像データは、同一のカメラによって撮影された画像データであってもよいし、異なるカメラによって撮影された画像データであってもよい。ただし、一方が、ＲＧＢのカラーの画像データであって、他方がグレースケールの画像データであるといったドメインの違いが生じないように両方の画像データのドメインが同一になるように撮影する必要がある。

【0068】

上記の第１及び第２の実施形態において、画像データ記憶部１３が記憶する画像データの縦と横のピクセル数は、同一の数であってもよいし、異なる数であってもよい。上記の第１の実施形態において、天気画像データ記憶部４１と、画像データ記憶部１３とが記憶する画像データのサイズは、同一のサイズであっても、異なるサイズであってもよい。天気画像データ記憶部４１が記憶する画像データの縦と横のピクセル数は、同一の数であってもよいし、異なる数であってもよい。ただし、上記したように、特徴マップ５０のチャンネルごとの２次元配列のデータのサイズと、天気特徴モデル７０，７０ａのチャンネルごとの２次元配列のデータのサイズとが一致している必要がある。そのため、特徴マップ５０及び天気特徴モデル７０，７０ａのチャンネルごとの２次元配列のデータのサイズが一致するように、特徴マップ生成部１４が備えるＣＮＮ層２１と、天気特徴モデル生成部１１，１１ａとを構成する必要がある。

【0069】

上述した実施形態における画像物体検出装置１，１ａをコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ（Field Programmable Gate Array）等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。

【0070】

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

【符号の説明】

【0071】

１…画像物体検出装置、１１…天気特徴モデル生成部、１２…天気特徴モデル記憶部、１３…画像データ記憶部、１４…特徴マップ生成部、１５…結合部、１６…物体検出部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】