特開 2022-66637 異物検出装置、異物検出システム、異物検出方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022066637

(43)【公開日】2022-05-02

(54)【発明の名称】異物検出装置、異物検出システム、異物検出方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20220422BHJP

【ＦＩ】

G06T7/00 350C

【審査請求】未請求

【請求項の数】14

【出願形態】ＯＬ

(21)【出願番号】P 2020175098

(22)【出願日】2020-10-19

(71)【出願人】

【識別番号】390010973

【氏名又は名称】日立交通テクノロジー株式会社

(74)【代理人】

【識別番号】110000350

【氏名又は名称】ポレール特許業務法人

(72)【発明者】

【氏名】我妻 瞳

(72)【発明者】

【氏名】榊原 義宏

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096BA03

5L096BA04

5L096CA02

5L096GA08

5L096HA08

5L096HA11

5L096KA04

(57)【要約】

【課題】対象物上の異常もしくは異物を自動で検出し、画像上に写る異物領域を明示することができる異物検出装置、異物検出システム、異物検出方法を提供する。
【解決手段】１枚の画像に複数の判定対象となる判定対象物が映っている画像を用いて異物を検知する異物検出装置であって、画像に映っている複数の判定対象物ごとにその領域を認識する第一の領域判別器と、画像に映っている判定対象物の領域を判別して第１の判定対象物の領域内に第２の判定対象物の領域があるときに第２の判定対象物の領域を認識しない第二の領域判別器と、第一の領域判別器が与える出力と第二の領域判別器が与える出力の差分を求める異常抽出部と、差分を外部出力するための出力部とを備えることを特徴とする異物検出装置。
【選択図】図３

【特許請求の範囲】

【請求項1】

１枚の画像に複数の判定対象となる判定対象物が映っている画像を用いて異物を検知する異物検出装置であって、
前記画像に映っている複数の前記判定対象物ごとにその領域を認識する第一の領域判別器と、前記画像に映っている前記判定対象物の領域を判別して第１の判定対象物の領域内に第２の判定対象物の領域があるときに第２の判定対象物の領域を認識しない第二の領域判別器と、前記第一の領域判別器が与える出力と前記第二の領域判別器が与える出力の差分を求める異常抽出部と、前記差分を外部出力するための出力部とを備えることを特徴とする異物検出装置。

【請求項2】

請求項１に記載の異物検出装置であって、
前記第一の領域判別器及び前記第二の領域判別器のうち、少なくとも前記第一の領域判別器は、１枚の画像に複数の判定対象物が映っている複数の画像を用いて重みづけされた階層型ネットワーク構造を有することを特徴とする異物検出装置。

【請求項3】

請求項２に記載の異物検出装置であって、
前記第一の領域判別器及び前記第二の領域判別器は、前記階層型ネットワーク構造を有しており、
前記第一の領域判別器は、あらかじめ、領域内の形状、模様の違いに反応して境界内側にも異なる領域があると判定するような事前学習データで学習を行ったニューラルネットを用い、判定対象となる判定対象物の画像による追加学習を行った領域判別器であり、
前記第二の領域判別器は、あらかじめ、領域内の形状、模様の違いにかかわらず境界内側を同じ領域と判定するような事前学習データで学習を行ったニューラルネットを用いて判定対象となる判定対象物の画像を用いて追加学習を行った領域判別器であることを特徴とする異物検出装置。

【請求項4】

請求項２に記載の異物検出装置であって、
前記第一の領域判別器は、前記階層型ネットワーク構造を有しており、
前記第一の領域判別器は、あらかじめ、領域内の形状、模様の違いに反応して境界内側にも異なる領域があると判定するような事前学習データで学習を行ったニューラルネットを用い、判定対象となる判定対象物の画像による追加学習を行った領域判別器であり、
前記第二の領域判別器は、判定対象物の領域を指定したテンプレート画像を予め備えており、判定対象物を撮影した画像と同じ位置の領域指定された前記テンプレート画像を切り出すものであることを特徴とする異物検出装置。

【請求項5】

請求項２に記載の異物検出装置であって、
前記第一の領域判別器及び前記第二の領域判別器は、前記階層型ネットワーク構造を有しており、
前記第一の領域判別器はあらかじめ、領域内の形状、模様の違いに反応して境界内側にも異なる領域があると判定するような事前学習データで学習を行ったニューラルネットを用い、判定対象となる正常な判定対象物の画像による追加学習を行った領域判別器であり、
前記第二の領域判別器は、あらかじめ、領域内の形状、模様の違いにかかわらず境界内側を同じ領域と判定するような事前学習データで学習を行ったニューラルネットを用い、このニューラルネットに、判定対象となる正常な判定対象物の画像と人為的なノイズを加えた画像とその画像のノイズを無視したアノテーション画像を用いて追加学習を行った、ニューラルネットの構造が前記第一の領域判別器と全く同一である領域判別器であることを特徴とする異物検出装置。

【請求項6】

請求項２に記載の異物検出装置であって、
前記第一の領域判別器及び前記第二の領域判別器は、前記階層型ネットワーク構造を有しており、
前記第一の領域判別器はあらかじめ、領域内の形状、模様の違いに反応して境界内側にも異なる領域があると判定するような事前学習データで学習を行ったニューラルネットを用い、判定対象となる正常な判定対象物の画像による追加学習を行った領域判別器であり、
前記第二の領域判別器は、あらかじめ、領域内の形状、模様の違いにかかわらず境界内側を同じ領域と判定するような事前学習データで学習を行ったニューラルネットを用い、このニューラルネットに、判定対象となる正常な判定対象物の画像と人為的なノイズを加えた画像とその画像のノイズを無視したアノテーション画像を用いて追加学習を行った領域判別器ということができるであることを特徴とする異物検出装置。

【請求項7】

請求項１から請求項６のいずれか１項に記載の異物検出装置であって、
前記異常抽出部は、前記第一の領域判別器の出力と前記第二の領域判別器の出力の差分を得る出力比較機能と、前記差分に対して２値化、収縮、膨張処理によるノイズ除去を行う誤認識領域フィルタ機能と、前記誤認識領域フィルタ機能の出力結果を用いて、画像中の異常がある領域と異常がない領域をさらに分ける面積判別機能を備えていることを特徴とする異物検出装置。

【請求項8】

請求項１から請求項７のいずれか１項に記載の異物検出装置を用いた異物検出システムであって、
前記判定対象物が所定位置にあることを検知する検知センサと、前記検知センサが所定位置にあることを検知した時に前記判定対象物を撮影して撮影した画像を前記異物検出装置に与える撮影用カメラと、前記異物検出装置の前記出力部からの出力を画面上に表示する表示装置を備えることを特徴とする異物検出システム。

【請求項9】

１枚の画像に複数の判定対象となる判定対象物が映っている対象物の画像を用いて異物を検知する異物検出方法であって、
前記対象物を撮影した複数の画像を用いて重みづけされた階層型ネットワーク構造を有する領域判別器を生成する学習段階と、前記対象物が所定位置にあることを検知し、前記対象物を撮影して撮影した画像を入手する画像取得段階と、前記対象物を撮影した画像を用いて、前記対象物における異物を検知する画像処理段階を含み、
前記画像処理段階では、前記学習段階において生成した第一の領域判別器により前記画像に映っている複数の前記判定対象物ごとにその領域を認識する処理と、第二の領域判別器により前記画像に映っている前記判定対象物の領域を判別して第１の判定対象物の領域内に第２の判定対象物の領域があるときに第２の判定対象物の領域を認識しない処理と、前記第一の領域判別器が与える出力と前記第二の領域判別器が与える出力の差分を求める異常抽出処理と、前記差分を外部出力するための出力処理を実行することを特徴とする異物検出方法。

【請求項10】

請求項９に記載の異物検出方法であって、
前記第一の領域判別器及び前記第二の領域判別器は、前記学習段階により前記階層型ネットワーク構造を有しており、
前記第一の領域判別器は、あらかじめ、前記領域内の形状、模様の違いに反応して境界内側にも異なる領域があると判定するような事前学習データで学習を行ったニューラルネットを用い、判定対象となる判定対象物の画像による追加学習を行った領域判別器であり、
前記第二の領域判別器は、あらかじめ、領域内の形状、模様の違いにかかわらず境界内側を同じ領域と判定するような事前学習データで学習を行ったニューラルネットを用いて判定対象となる判定対象物の画像を用いて追加学習を行った領域判別器であることを特徴とする異物検出方法。

【請求項11】

請求項９に記載の異物検出方法であって、
前記第一の領域判別器は、前記学習段階により前記階層型ネットワーク構造を有しており、
前記第一の領域判別器は、あらかじめ、領域内の形状、模様の違いに反応して境界内側にも異なる領域があると判定するような事前学習データで学習を行ったニューラルネットを用い、判定対象となる判定対象物の画像による追加学習を行った領域判別器であり、
前記第二の領域判別器は、判定対象物の領域を指定したテンプレート画像を予め備えており、判定対象物を撮影した画像と同じ位置の領域指定された前記テンプレート画像を切り出すものであることを特徴とする異物検出方法。

【請求項12】

請求項９に記載の異物検出方法であって、
前記第一の領域判別器及び前記第二の領域判別器は、前記学習段階により前記階層型ネットワーク構造を有しており、
前記第一の領域判別器はあらかじめ、領域内の形状、模様の違いに反応して境界内側にも異なる領域があると判定するような事前学習データで学習を行ったニューラルネットを用い、判定対象となる正常な判定対象物の画像による追加学習を行った領域判別器であり、
前記第二の領域判別器は、あらかじめ、領域内の形状、模様の違いにかかわらず境界内側を同じ領域と判定するような事前学習データで学習を行ったニューラルネットを用い、このニューラルネットに、判定対象となる正常な判定対象物の画像と人為的なノイズを加えた画像とその画像のノイズを無視したアノテーション画像を用いて追加学習を行った、ニューラルネットの構造が前記第一の領域判別器と全く同一である領域判別器であることを特徴とする異物検出方法。

【請求項13】

請求項９に記載の異物検出方法であって、
前記第一の領域判別器及び前記第二の領域判別器は、前記学習段階により前記階層型ネットワーク構造を有しており、
前記第一の領域判別器はあらかじめ、領域内の形状、模様の違いに反応して境界内側にも異なる領域があると判定するような事前学習データで学習を行ったニューラルネットを用い、判定対象となる正常な判定対象物の画像による追加学習を行った領域判別器であり、
前記第二の領域判別器は、あらかじめ、領域内の形状、模様の違いにかかわらず境界内側を同じ領域と判定するような事前学習データで学習を行ったニューラルネットを用い、このニューラルネットに、判定対象となる正常な判定対象物の画像と人為的なノイズを加えた画像とその画像のノイズを無視したアノテーション画像を用いて追加学習を行った領域判別器であることを特徴とする異物検出方法。

【請求項14】

請求項９から請求項１３のいずれか１項に記載の異物検出方法であって、
前記異常抽出処理においては、前記第一の領域判別器の出力と前記第二の領域判別器の出力の差分を得る出力比較処理と、前記差分に対して２値化、収縮、膨張処理によるノイズ除去を行う誤認識領域フィルタ処理と、前記誤認識領域フィルタ処理の出力結果を用いて、画像中の異常がある領域と異常がない領域をさらに分ける面積判別処理を行うことを特徴とする異物検出方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、例えば鉄道車両屋根上に未知の異物があった場合に、外観撮像装置による収録された画像データのＡＩ解析により異物を検出する異物検出装置、異物検出システム、異物検出方法に関する。

【背景技術】

【0002】

例えば鉄道車両の屋根上にはビニール袋等予期しない異物が飛来し、事故を引き起こす可能性がある。また、屋根上での作業後工具を置き忘れたまま車両が動く可能性もある。

【0003】

しかし、屋根上に異物が存在するとき、それを確認する手法は人間による目視確認のみであり、高所での作業となるため危険である。

【0004】

高所作業の危険を軽減するため、非特許文献１のようにカメラを通した目視確認を行う場合もある。医療分野においては、検査対象の異常・異物を見つける手段としてＡＩを利用した手法が知られている。特許文献１では、正常な眼の診断データのみを訓練データとして使用した機械学習システムを利用し、いくつかの候補の疾患を発見するための学習、分類の手法が記述されている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０２０－３２１９０号公報

【非特許文献】

【0006】

【非特許文献1】特集：センシング・モニタリング技術 鉄道車両の状態をモニタリングする「鉄道総研技術研究所」２００９．２

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかし、非特許文献１のような方法は高所作業の危険を回避できるが、カメラで撮影した車両の映像を人間が確認しなくてはならず、映像を注視しながら異物を見つける作業は多くの時間と労力を必要とし、自動化のニーズがある。

【0008】

また、特許文献１のような手法では、事前に調査できない未知の物体や現象をクラス分けすることはできず、鉄道車両屋根上に飛来するような未知の異物を発見することは難しい。そのため、特許文献１のようなＡＩをそのまま適用して異物検出することは困難である。

【0009】

本発明はこのような事態に対応し、対象物上の異常もしくは異物を自動で検出し、画像上に写る異物領域を明示することができる異物検出装置、異物検出システム、異物検出方法を提供することを目的とする。

【課題を解決するための手段】

【0010】

以上のことから本発明においては、「１枚の画像に複数の判定対象となる判定対象物が映っている画像を用いて異物を検知する異物検出装置であって、記画像に映っている複数の判定対象物ごとにその領域を認識する第一の領域判別器と、画像に映っている判定対象物の領域を判別して第１の判定対象物の領域内に第２の判定対象物の領域があるときに第２の判定対象物の領域を認識しない第二の領域判別器と、第一の領域判別器が与える出力と第二の領域判別器が与える出力の差分を求める異常抽出部と、差分を外部出力するための出力部とを備えることを特徴とする異物検出装置」としたものである。

【0011】

また本発明においては、「異物検出装置を用いた異物検出システムであって、判定対象物が所定位置にあることを検知する検知センサと、検知センサが所定位置にあることを検知した時に判定対象物を撮影して撮影した画像を異物検出装置に与える撮影用カメラと、異物検出装置の出力部からの出力を画面上に表示する表示装置を備えることを特徴とする異物検出システム」としたものである。

【0012】

また本発明においては、「１枚の画像に複数の判定対象となる判定対象物が映っている対象物の画像を用いて異物を検知する異物検出方法であって、対象物を撮影した複数の画像を用いて重みづけされた階層型ネットワーク構造を有する領域判別器を生成する学習段階と、対象物が所定位置にあることを検知し、対象物を撮影して撮影した画像を入手する画像取得段階と、対象物を撮影した画像を用いて、対象物における異物を検知する画像処理段階を含み、画像処理段階では、学習段階において生成した第一の領域判別器により画像に映っている複数の判定対象物ごとにその領域を認識する処理と、第二の領域判別器により画像に映っている判定対象物の領域を判別して第１の判定対象物の領域内に第２の判定対象物の領域があるときに第２の判定対象物の領域を認識しない処理と、第一の領域判別器が与える出力と第二の領域判別器が与える出力の差分を求める異常抽出処理と、差分を外部出力するための出力処理を実行することを特徴とする異物検出方法」としたものである。

【発明の効果】

【0013】

本発明によれば、任意の対象物上にある異常もしくは異物を自動的に発見することができる。

【図面の簡単な説明】

【0014】

【図1】本発明の実施例１に係る異物検出システムの全体構成例を示す図。

【図2】プロセッサ３００の構成例を示す図。

【図3】実施例１に係る画像処理部３０１の構成例を示す図。

【図4】第一の領域判別器３０１Ｂ及び第二の領域判別器３０１Ｃにおける検出結果の例を示す図。

【図5】第一の領域判別器用学習データ６３２としてＤ１ａ、Ｄ１ｂの例を示す図。

【図6】第一の領域判別器３０１Ｂ及び第二の領域判別器３０１Ｃにおける階層型ネットワーク構造例を示す図。

【図7】車両屋根上に異物としてドライバが載っている場合の入出力の例を示す図。

【図8】車両屋根上に異物として傘が載っている場合の入出力の例を示す図。

【図9】クラスラベルによる画像比較結果の例を示す図。

【図10】異常抽出部の誤認識領域フィルタ機能の各処理の出力例を示す図。

【図11】誤認識領域フィルタ機能の出力として最終的に得られる画像の例を示す図。

【図12】出力部３０１Ｅの出力画像例を示す図。

【図13】本発明に係る一連の異物検出手順を示すフローチャートの例を示す図。

【図14】実施例３に係る画像処理部３０１の構成例を示す図。

【図15】第一の領域判別器３０１Ｂ及び第二領域抽出処理器６００における検出結果の例を示す図。

【図16】第二領域抽出処理のデータアクセス機能が取得するテンプレート画像の例を示す図。

【図17】第二領域抽出処理のデータアクセス機能が取得するテンプレート画像に対応する領域データの例を示す図。

【図18】図１８は、第二領域抽出処理の位置合わせ機能の処理の流れの一例を示す図である。

【図19】実施例４に係る画像処理部３０１の構成例を示す図。

【図20】実施例５に係る画像処理部３０１の構成例を示す図。

【発明を実施するための形態】

【0015】

以下、本発明に係る異物検出装置、異物検出システム、ならびに異物検出方法について、図面を参照して説明する。本発明は、対象物上に発生した予期しない、未知の異物を検出するための異物検出装置、異物検出システム、ならびに異物検出方法である。本実施例では、鉄道車両屋根上を対象物とした例を説明する。

【0016】

以下、実施例１により本発明に係る異物検出装置及び異物検出システムの構成と処理内容について説明し、実施例２により異物検出方法を説明する。また、実施例３、実施例４、実施例５により他の代案例について説明する。

【実施例0017】

図１は、本発明の実施例１に係る異物検出システムの全体構成例を示している。本実施例の異物検出システムは、撮影用カメラ２０１、車体検知センサ２０２、カメラ制御部２００、プロセッサ３００、表示装置（モニタ）３０４を備えて構成されており、プロセッサ３００及び表示装置（モニタ）３０４により異物検出装置を構成する。

【0018】

このうち、撮影用カメラ２０１及び車体センサ２０２は有線又は無線によりカメラ制御部２００に接続されている。この例では、車体センサ２０２により車体検知し、検知信号が出ている間、撮影用カメラ２０１で車体を撮影する。なおこの図は、あくまでもシステムの全体構成を例示したものであり、異物検出装置とするときに、カメラ制御部２００や車体検知センサ２０２を外部品扱いとすることができることはいうまでもない。以下、それぞれの構成について説明する。

【0019】

まず、カメラ制御部２００の構成について説明する。カメラ制御部２００は、撮影用カメラ２０１、車体検知センサ２０２と接続されて信号を送受信し、その内部処理機能として撮影開始機能、撮影終了機能、異常検知機能を有する。

【0020】

撮影開始機能は、車体検知センサ２０２から受信した車体検知信号をトリガーに、撮影開始指令信号を撮影用カメラ２０１に出力する機能である。撮影終了機能は、撮影開始後、車体検知センサ２０２から受信した車体検知信号がＯＦＦになってから一定時間経過後に、撮影終了信号を撮影用カメラ２０１に出力する機能である。異常検知機能は、撮影時間が一定時間を超えた場合に撮影を強制終了する機能である。カメラ制御部２００は、撮影開始機能、撮影終了機能の順で動作し、撮影用カメラ２０１を制御することで、車両屋根上の画像もしくは映像を撮影する。撮影した画像もしくは映像はプロセッサ３００内の画像記録部３０２に送信され、保存される。カメラ制御部２００の機能は、ＰＬＣ（Ｐｒｏｇｒａｍａｂｌｅ Ｌｏｇｉｃ Ｃｏｎｔｒｏｌｌｅｒ）などのシーケンス制御装置により実現される。

【0021】

次にプロセッサ３００の構成例について、図２を用いて説明する。図２のプロセッサ３００は、画像処理部３０１、画像記録部３０２、表示制御部３０３、操作部３１３、ＣＰＵ３１０、ＲＯＭ３１１、ＲＡＭ３１２を備えている。

【0022】

プロセッサ３００は、画像記録部３０２に保存された車両屋根上の映像・画像を画像処理部３０１に入力し、画像処理部３０１により異常・異物を検出した後、表示制御部３０３を介して表示装置（モニタ）３０４に検出結果を表示する。

【0023】

プロセッサ３００の処理は主にＣＰＵ３１０の制御によって行われる。また、ＲＯＭ３１１は非一時的記憶媒体であり、ＨＤＤやＳＳＤ等の読み出し、書き込みの両方が可能なストレージも含み、補助記憶装置の役割を担う。ＲＯＭ３１１は画像処理部３０１、表示制御部３０３、操作部３１３、画像記録部３０２で行う処理をＣＰＵ３１０に実行させるためのプログラムを記憶する。

【0024】

ＲＡＭ３１２は一時的記憶媒体であり、ＤＲＡＭやＳＲＡＭなどの揮発性（電源未接続の場合に記憶を保持できない）の記憶素子を含み、主記憶装置の役割を担う。ＲＡＭ３１２は画像処理部３０１、画像記録部３０２、表示制御部３０３、操作部３１３で行う処理中に使用される。以下、画像処理部３０１、画像記録部３０２、操作部３１３の構成について説明する。

【0025】

画像処理部３０１の構成について、図３を用いて説明する。画像処理部３０１は、画像取得部３０１Ａ、第一の領域判別器３０１Ｂ、第二の領域判別器３０１Ｃ、異常抽出部３０１Ｄ、出力部３０１Ｅを備える。なお画像処理部３０１は、撮影用カメラ２０１が撮影した映像（動画）の開始から終了まで継続させる、図示せぬ繰り返し制御部を備えてもよい。画像処理部３０１は、画像記録部３０２に保存された車両屋根上を撮影した画像もしくは映像を画像取得部３０１Ａで取得し、それらに対して車両屋根上にある異物を検出する。図３の例では、検知した異物の情報は、再度画像記録部３０２に記憶される。

【0026】

画像処理部３０１における画像の処理結果は、結論を先行的に述べるならば図４に例示されるようなものである。ここでは、画像取得部３０１Ａに入力した車両屋根の画像Ｄに対して、第一の領域判別器３０１Ｂは車体の屋根５１０、エアコンの室外機５１１、異物（木の枝）５１４、それ以外の領域５１３を判定対象となる判定対象物として識別した画像Ｄ１を出力し、第二の領域判別器３０１Ｃは車体の屋根５１０、エアコンの室外機５１１、それ以外の領域５１３を判定対象物として識別した画像Ｄ２を出力する。この結果として、異常抽出部３０１Ｄには差分として異物（木の枝）５１４の情報のみで構成された画像Ｄ３を得るものである。

【0027】

以下、上記結果を得るための第一の領域判別器３０１Ｂと第二の領域判別器３０１Ｃの構成について図３を用いて説明し、以後第一の領域判別器３０１Ｂと第二の領域判別器３０１Ｃを構成するための事前の学習について図５を用いて説明し、第一の領域判別器３０１Ｂと第二の領域判別器３０１ＣのＣＮＮ構成例について図６を用いて説明する。

【0028】

図３において、まず、第一の領域判別器３０１Ｂは、畳み込みニューラルネットワークの構造であるＣＮＮ構造１（６３０）、重さデータ１（６３１）を有する。重さデータ１（６３１）は第一の領域判別器用学習データ６３２を用いて学習した際の重さデータである。第二の領域判別器３０１Ｃもまた、畳み込みニューラルネットワークの構造であるＣＮＮ構造２（６３５）、重さデータ２（６３３）を有する。重さデータ２（６３３）は、第二の領域判別器用学習データ６３４を用いて学習した際の重さデータである。

【0029】

図３に示した第一の領域判別器３０１Ｂと第二の領域判別器３０１Ｃは、学習データを用いて学習処理をされた学習処理機能のものであり、ＣＮＮ構造１、ＣＮＮ構造２は例えばニューラルネットワークを主たる構成要素としている。ここでは、事前に実行された学習内容を具体的に説明する。

【0030】

図５に第一の領域判別器用学習データ６３２の例としてＤ１ａ、Ｄ１ｂを準備した例を示す。図５のＤ１ａは、正常な車両屋根上を写した１枚の光学画像であり、この１枚の光学画像には判定対象物として車体の屋根５２０、エアコンの室外機５２１、それ以外の領域５２３の３つの物体が写っている。図５のＤ１ｂは、図５の正常な車両屋根上を写した光学画像Ｄ１ａを領域分け（アノテーション）したデータ画像であり、車体の屋根５２０を斑点のパターン５２０Ａで、エアコンの室外機５２１を縦線のパターン５２１Ａで、それ以外の領域５２３を縦線のパターン５２３Ａで示している。第一の領域判別器３０１Ｂの学習用データ６３２として、図５に示した正常な車両屋根上を写した光学画像Ｄ１ａとそれを領域分けしたデータ画像Ｄ１ｂを１つのセットとして、必要枚数分準備する。

【0031】

第二の領域判別器用学習データ６３４は、第一の領域判別器用学習データ６３２と同様に正常な車両屋根上を写した画像Ｄ１ａと、それに対してアノテーションをした画像データＤ１ｂを必要枚数分用意したものである。正常な車両屋根上を写したものならば、第一の領域判別器用学習データ６３２と全く同じ画像を用いてもよいし、違う画像を用いてもよい。

【0032】

係る学習とＣＮＮ構造の相違の結果として、第一の領域判別器３０１Ｂは、画像取得部３０１Ａで得た画像中で、車両屋根上に載っている未知の異物の可能性が高い領域を発見する処理を行う。第二の領域判別器３０１Ｃは、画像取得部３０１Ａで得た画像中で、車両屋根上の物体の領域を発見する処理を行う。第一の領域判別器３０１Ｂは正常な車両屋根上の学習により構成された認識機器であり、車両屋根上に存在する特徴的な形状、模様を有する領域を顕著に認識する。また第二の領域判別器３０１Ｃは正常な車両屋根上の学習により構成された認識器であり、正常な車両屋根上の物体の境界線を顕著に認識し、境界線内部の物体の領域にある微細な特徴は認識しない。 第一の領域判別器３０１Ｂ及び第二の領域判別器３０１ＣにおけるＣＮＮ構造は、例えば畳み込みニューラルネットワークであり、階層型ネットワーク構造を有する。第一の領域判別器３０１Ｂおよび第二の領域判別器３０１Ｃに適用される畳み込みニューラルネットワークには、ネットワーク構造や学習済みのデータが異なる、様々なセグメンテーションを行うためのネットワークが含まれる。また、畳み込みニューラルネットワークの学習に用いることができる、様々な種類の大規模なデータセットが広く公開されており、畳み込みニューラルネットワークに学習させる大規模なデータセットの種類によって様々な特徴を持ったネットワークが存在する。これらの一般的に知られる様々な畳み込みニューラルネットワークから、第一の領域判別器３０１Ｂの役割を満たすような、特徴的な形状、模様を有する領域を顕著に認識するネットワークと、第二の領域判別器３０１Ｃの役割を満たすような、物体の境界線を顕著に認識し、境界線内部の物体の領域にある微細な特徴は認識しないネットワークを選別する。選別したネットワークをそのまま用いて第一の領域判別器３０１Ｂと第二の領域判別器３０１Ｃを実現してもよいし、選別したネットワークの特徴をより顕著に表すように学習を追加したもの（ファインチューニングによる特徴の強化）を用いて実現してもよい。

【0033】

図３の第一の領域判別器３０１Ｂと第二の領域判別器３０１ＣにおけるＣＮＮ構造１（６３０）とＣＮＮ構造２（６３５）は、それぞれ別の層構成を持つ畳み込みニューラルネットワークであり、階層型ネットワーク構造を有する。第一の領域判別器３０１Ｂ及び第二の領域判別器３０１Ｃにおける上記のＣＮＮ構造１（６３０）とＣＮＮ構造（６３５）の層構成について、図６を用いて説明する。ただし、ここでは上記２つのＣＮＮ構造に共通する層構成については、ＣＮＮ構造１（６３０）を代表例として説明する。

【0034】

図６に示す第一の領域判別器３０１ＢのＣＮＮ構造１（６３０）の例では、第一の領域判別器３０１Ｂは入力層３５０Ａ、中間層３５０Ｂ、出力層３５０Ｃを含む。入力層３５０Ａでは、画像取得部３０１Ａで取得した画像Ｄを入力として、画像に含まれる特徴量を抽出する。中間層３５０Ｂは、複数組の畳み込み層３５３・プーリング層３５４を有し、入力層３５０Ａで得た特徴量を入力として、入力層３５０Ａで得た特徴とは違う特徴を抽出する。入力層３５０Ａ・中間層３５０Ｂで使用されている畳み込み層３５３・逆畳み込み層３５３は複数の重みパラメータを有しており、学習が進むたびに更新されていく。入力層３５０Ａ・中間層３５０Ｂの層構成は、図６に示すような繰り返しの構造だけでなく、いずれかの層が複数連続して含まれていてもよい。また、中間層３５０Ｂでは、畳み込み層３５３・プーリング層３５４のほかに、バッチノーマライゼーション処理を加えてもよい。なおバッチノーマライゼーション処理は、ミニバッチごとのデータ分布の平均化を行う処理である。過学習の抑制、学習速度の上昇等の効果が得られることが一般的に知られている。

【0035】

このうち、特に中間層における処理について、中間層３５０Ｂでは、畳み込み層３５３による畳み込み演算およびプーリング層３５４によるプーリング処理の繰り返しにより、特徴量の抽出を行う。畳み込み演算は、畳み込みフィルタによって画像から特徴を抽出し、特徴マップを取得する演算である。特徴マップは１フィルタ（チャンネル）に対して１つ得ることができる。特徴マップは、畳み込み層３５３によりダウンスケーリングされ、層が深くなるほどに画像サイズが小さくなってゆく。画像サイズが小さくなることにより、ダウンスケーリングされる前よりも広い範囲の特徴が抽出できるようになる。プーリング処理は、畳み込み演算により出力された特徴マップに対して、縮小あるいは拡張処理をかけることで新しい特徴マップを得る処理である。抽出された特徴に対し、平行移動などによる影響を受けないようにロバスト性を与える役割を担う。入力側に近い層ではエッジ等の局所的な特徴を抽出し、出力側に近い層では対象物全体の形状等の非局所的な特徴を抽出することができるよう学習が行われる。また、セグメンテーションを行う場合には、中間層３５０Ｂの後半部分の畳み込み層３５３、プーリング層３５４によりアップスケーリングされ、最後の畳み込み層３５３の出力は、第一の領域判別器３０１Ｂに入力した画像と同じ画像サイズの特徴マップとなる。

【0036】

次に、出力層における処理について説明する。第一の領域判別器３０１Ｂにおける出力層３５０Ｃでは、中間層３５０Ｂで抽出した特徴に基づき、入力された画像Ｄに含まれる物体の検出を行い、検出結果を出力する。この画像がＤ１である。

【0037】

第一の領域判別器３０１Ｂではセグメンテーション処理を行うため、入力層３５０Ａに入力された画像Ｄに含まれる物体の領域を画素レベルで特定する。つまり第一の領域判別器３０１Ｂでは、図４で説明した画像Ｄ１ａ、Ｄ１ｂにより事前に学習させた、車両屋根上にある物体（車体の屋根、エアコンの室外機、パンタグラフ等）をそれぞれ違う領域としてラベル別に出力できる。また、第一の領域判別器３０１Ｂは事前に車両屋根上の正常な物体のみを学習するため、ラベル別に出力できる領域は事前に学習した物体のみである。よって、異常・異物と思われる領域は、正常な本来あるものと違う物体として、車両屋根上と思われる領域上に認識される。

【0038】

第一の領域判別器３０１Ｂ及び第二の領域判別器３０１Ｃにおける具体的な検出結果の例について図４を用いて説明する。図４において、Ｄは画像取得部３０１Ａが入手した、解析用の車両屋根上の画像である。解析用の車両屋根上の画像Ｄには、車体の屋根５１０、エアコンの室外機５１１、異物（木の枝）５１４、それ以外の領域５１３の４つの物体が写っている。解析用の車両屋根上の画像Ｄに写る異物は木の枝を例にしているが、その他にも鳥の死骸、壊れた傘、ドライバなどの工具等、車両屋根上に飛来又は置忘れた未知の異物に置き換えることが可能である。

【0039】

第一の領域判別器３０１Ｂが、図５で例示し説明したように、事前に車体の屋根、エアコンの室外機、それ以外の領域の３つの物体を学習しているとき、解析用の車両屋根上の画像Ｄを第一の領域判別器３０１Ｂに入力した場合、解析後の車両屋根上の画像Ｄ１を出力として得ることができる。

【0040】

第一の領域判別器３０１Ｂによる解析後の車両屋根上の画像Ｄ１では、解析用の車両屋根上の画像Ｄで示される車体の屋根５１０、エアコンの室外機５１１、それ以外の領域５１３が、それぞれ、斑点、縦線、斜線のパターンで５１０Ａ、５１１Ａ、５１３Ａとして示される。そして、異物の領域５１４が解析後の車両屋根上の画像Ｄ１に写る４つの物体のうち、それ以外の領域５１３Ａと同じ斜線のパターンとして５１４Ａで認識されている。

【0041】

ここで、異物の領域は、車両の屋根上に異物のない場合には車体の屋根５１０Ａの領域として認識されるはずである。また、異物の領域５１４Ａは、異物の領域として第一の領域判別器３０１Ｂに認識されているのではなく、あくまでも正常な物体ではないので、他の物体であるとして認識されているだけである。

【0042】

よって、図７に示す例では異物の領域５１４Ａがそれ以外の領域５１３Ａと同じ物体の領域として認識されているが、実際にはエアコンの室外機５１１Ａと同じ領域として認識されることも、エアコンの室外機５１１Ａとそれ以外の領域５１３Ａが混在するように認識されることも十分に可能性がある。よって、第一の領域判別器３０１Ｂの認識のみで異物の領域５１４Ａを特定することは困難である。

【0043】

また、木の枝に変わり、他の異物が載っている場合の例を図７、図８に示す。図７は車両屋根上に異物としてドライバが載っている場合の入出力の例であり、図８は車両屋根上に異物として傘が載っている場合の入出力の例である。図７、図８どちらも、図４の画像Ｄを第一の領域判別器３０１Ｂに入力した際と同様の結果となっている。

【0044】

図３、図４に戻り、他方における第二の領域判別器３０１Ｃでの処理内容とその結果について説明する。第二の領域判別器３０１Ｃは第一の領域判別器３０１Ｂと同様セグメンテーション処理を行う。また、事前に学習する車両屋根上の物体の種類も第一の領域判別器３０１Ｂと同様である。第二の領域判別器３０１Ｃは前述のように境界線を顕著に認識し、境界線内部の物体の領域にある微細な特徴は認識しない。

【0045】

第二の領域判別器３０１Ｃの出力の例を図４のＤ２として示す。第二の領域判別器３０１Ｃが、図５で述べたように事前に車体の屋根５１０、エアコンの室外機５１１、それ以外の領域５１３の３つの物体を学習しているとき、図４の画像Ｄを第二の領域判別器３０１Ｃに入力した場合、図４のＤ２の出力を得ることができる。ここでは、車体の屋根、エアコンの室外機、それ以外の領域はそれぞれ、斑点、縦線、斜線のパターンで示される。画像Ｄ２では、画像Ｄに写っている異物を無視して正常な屋根上を認識したときと同じように車両屋根上の領域を認識している。

【0046】

以上要するに、第一の領域判別器３０１Ｂは画像に映っている複数の判定対象物ごとにその領域を認識するが、第二の領域判別器３０１Ｃは画像に映っている判定対象物の領域を判別するが、第１の判定対象物（例えば図４のＤの５１０）の領域内に第２の判定対象物（例えば図４のＤの５１４）の領域があるときに第２の判定対象物の領域を認識しないものということができる。

【0047】

上述した構成の第一の領域判別器３０１Ｂと第二の領域判別器３０１Ｃは、画像とその画像における車両にある物体の位置に関する情報を用いた学習（例：深層学習等の機械学習）によって構成することができる。また、第一の領域判別器３０１Ｂと第二の領域判別器３０１Ｃは、それぞれの役割を満たすような特徴を持つネットワークを選別し、別々の層構成を持つネットワークを用いて構成する。

【0048】

第一の領域判別器３０１Ｂ及び第二の領域判別器３０１Ｃを実現するにあたり、これらは、それぞれ違う車両屋根上の画像データや、その他の物体のデータを用いて学習してもよい。ただし、異常抽出部３０１Ｄの出力比較機能の処理を行うため、第一の領域判別器３０１Ｂと第二の領域判別器３０１Ｃで認識させる物体、言い換えると認識させるクラスとそのクラスラベルは統一する必要がある。それぞれ違う車両屋根上の画像データや、その他の物体のデータを用いて学習させる具体的な例として、ファインチューニングを行う際、第一の領域判別器と第二の領域判別器で、事前に学習させるデータセットを異なるものにすること、再学習時に使用する車両屋根上の画像データをそれぞれ違うものにすること等があげられる。

【0049】

次に、ファインチューニングについて説明する。ファインチューニングとは、学習済みの畳み込みニューラルネットワークの流用により、物体の認識精度を向上、学習用データが少量で済むなどの効果を得る技術である。学習済みの畳み込みニューラルネットワークは、大規模なデータセットを学習させた階層型ネットワークであり、大規模なデータセットには、画像分類用のデータセットの他、物体検出用のデータセット、セグメンテーション用のデータセット等様々な種類がある。

【0050】

ファインチューニングを第一の領域判別器３０１Ｂ、第二の領域判別器３５１に流用する際の具体例を示す。学習済みの畳み込みニューラルネットワークは、事前に学習した大規模なデータセットに含まれている物体の認識を行うネットワークである。そのため、第一の領域判別器３０１Ｂ、第二の領域判別器３０１Ｃに流用する場合は、認識する対象を車両屋根上の物体に変更する必要がある。

【0051】

学習済みの畳み込みニューラルネットワークが図６に示す層構造を有する場合、図６に示す中間層３５０Ｂの出力側に近いいくつかの畳み込み層３５３を、車両屋根上の画像とその領域のデータを使って再学習させる。その他の中間層３５０Ｂに含まれる畳み込み層３５３は、学習済みのデータをそのまま流用する。そうすることで、大規模なデータセットの学習により培われた、優秀な特徴抽出のフィルタを流用しつつ、優秀なフィルタによって抽出された特徴を使って車両屋根上を認識するように学習し直すことができる。よって、対象物である車両屋根上の画像のみで畳み込みニューラルネットワーク全体を学習させるよりも、車両屋根上の異物もしくは物体の認識精度が向上し、用意する画像と領域のデータが少量で済む。

【0052】

次に、ファインチューニングによる認識傾向の変化について説明する。第一の領域判別器３０１Ｂと第二の領域判別器３０１Ｃは、ファインチューニングを行う際、学習済みの畳み込みニューラルネットワークの学習に用いた大規模なデータセットの種類によって、車両屋根上を認識する傾向が変化する。

【0053】

具体的な例を示すと、野外にいる動植物をセグメンテーションすることを目的としたデータセットを事前に学習している、学習済み畳み込みニューラルネットワークである認識ＣＮＮ１と、市街地にある物体をセグメンテーションさせることを目的としたデータセットを事前に学習している、学習済み畳み込みニューラルネットワークである認識ＣＮＮ２を用意したとする。このとき、認識ＣＮＮ１が学習済みのデータセットには、動物や植物等の曲線が多い物体の画像とその領域が含まれている。認識ＣＮＮ２が学習済みのデータセットには、自動車、車道、人、街灯、ビルディング等、人工物の画像とその領域が含まれている。

【0054】

また、認識ＣＮＮ１と認識ＣＮＮ２の層構成は全く同じものとしたとき、両方とも同じ車両屋根上の画像とその領域のデータを使って認識ＣＮＮ１、認識ＣＮＮ２を再学習させる。この再学習した認識ＣＮＮ１と認識ＣＮＮ２の両方に、車両屋根上に異物がある画像として図４の画像Ｄを入力すると、認識ＣＮＮ１の出力として図４のＤ１のような結果を得ることができる。

【0055】

図４のＤ１では、異物のある領域５１４Ａが、物体以外の領域５１３Ａとして斜線のパターンで表されている。また、認識用ＣＮＮ２の出力として、図４のＤ２のような結果を得ることができる。図４のＤ２では、異物のある領域３１４Ｂは車体の屋根の領域として、斑点のパターンで表されている。このように、全く同じ層構成、全く同じデータで再学習させた畳み込みニューラルネットワークであっても、事前に学習させるデータセットによって、車両屋根上を認識する傾向が変化する。

【0056】

上述のように、認識の傾向が変化する要因として、畳み込みニューラルネットワークを動物や植物等の曲線が多いものの境界を認識するよう学習した場合と、人工物のような直線や直角が多いものの境界を認識するよう学習した場合とでは、境界線や形状、模様等、注目する特徴が異なるために、再学習後に車両屋根上を認識させる場合でも、入力された画像に対する認識の仕方に差があることが挙げられる。

【0057】

また、物体を学習する際、物体に対して大きな概念でアノテーションした教師データを用いるか、小さな概念でアノテーションした教師データを用いるかによっても、認識する傾向が変化することも要因として挙げられる。例えば、様々な形状、柄、窓の数のビルディングを、すべて１つのクラスとして事前に学習させた畳み込みニューラルネットワークを車両屋根上の物体で再学習させる。

【0058】

再学習させた畳み込みニューラルネットワークに、車両屋根上に異物が写る画像を入力する。そうすると、入力画像に写る異物が小さいものであれば、ビルディングの窓や柄と同様の特徴として、異物を無視してその領域を車両屋根上と判定する確率が上がる。

【0059】

一方、全く同じビルディングのデータを、窓の数、壁の形状、その他特徴的な構造、柄等のクラスに分割して認識するように事前に学習させた畳み込みニューラルネットワークを車両屋根上の物体で再学習させた場合、車両屋根上に異物が写る画像を入力すると、ビルディングの特徴をより詳細に、分割して認識することと同様に、入力画像中に写る小さな異物を車両屋根上と判定せず、異物として検出できる確率が上がる。このように、認識させたい物体に対して、大きな概念でアノテーションをするか、小さな概念でアノテーションをするかによっても車両屋根上を認識する傾向が変化する。

【0060】

認識の傾向が変化する例は他にもある。再学習時に使用する車両屋根上の画像とその領域のデータを、第一の領域判別器３０１Ｂと第二の領域判別器３０１Ｃで違うものを使用することによっても、車両屋根上を認識する傾向が変化する。例えば、画像中に写っている学習させたい物体の個数がクラスによって偏りがある場合、比較的データが少ないクラスは誤認識が多くなる傾向がある。また、学習させたい物体が画像中に写る位置に偏りがあると、その偏った位置に物体があるとき以外は認識しなくなる傾向がある。そして、特徴が非常によく似ている物体を違うクラスとして認識させた場合には、それらクラスの間で誤認識が多くなる。

【0061】

上述の例はあくまでも一例であり、その他にも、再学習時に使用する車両屋根上の画像とその領域のデータを変更することによる認識の傾向の変化は、様々なパターンがある。また、学習させたい対象物によって認識の傾向の変化は異なる。

【0062】

上記までで説明した認識の傾向を考慮し、第一の領域判別器３０１Ｂは異物を検出する確率が上がるように、第二の領域判別器３０１Ｃは異物を検出する確率が下がるように、事前に学習させるデータセットの選定、再学習時に使用する画像に写る物体のアノテーション、使用する画像の枚数の調整等を行う。それにより、車両屋根上に飛来する未知の異物の領域をより顕著に検出できるよう調整することができる。

【0063】

また、ここまでの説明ではファインチューニングを用いた第一の領域判別器３０１Ｂ及び第二の領域判別器３０１Ｃを実現する方法について言及してきたが、ファインチューニングを用いずに車両屋根上の画像とその領域のデータのみを用いて実現することも可能である。その際には、車両屋根上の物体のアノテーション、使用する画像の枚数等の調整により実現する。

【0064】

図３、図４に戻り、異常抽出部３０１Ｄの構成について説明する。異常抽出部３０１Ｄは、出力比較機能、誤認識領域フィルタ機能、面積判別機能を有する。異常抽出部３０１Ｄは、第一の領域判別器３０１Ｂと第二の領域判別器３０１Ｃで得た出力結果Ｄ１、Ｄ２を入力として、出力比較機能、誤認識領域フィルタ機能、面積判別機能の順で動作させることで異物のある領域の位置情報Ｄ３を出力する。

【0065】

以下、異常抽出部３０１Ｄの各機能について説明する。まず出力比較機能について説明する。異常抽出部３０１Ｄでは、第一の領域判別器３０１Ｂと第二の領域判別器３０１Ｃで得た出力結果Ｄ１、Ｄ２を比較することで異物のある可能性が高い領域を抽出し、結果を出力する。

【0066】

本実施例では、第一の領域判別器３０１Ｂと第二の領域判別器３０１Ｃの差分を用いて比較を行う。差分はクラスラベルを用いる。クラスラベルは、第一の領域判別器３０１Ｂ及び第二の領域判別器３０１Ｃで認識した物体ごとに割り振られている数値を示す。

【0067】

クラスラベルについて具体的な例を示す。ここでは、図４の画像Ｄを第一の領域判別器３０１Ｂに入力し、出力として図４の画像Ｄ１を得たとする。画像Ｄに写る車体の屋根５１０、エアコンの室外機５１１、それ以外の領域５１３はそれぞれ、斑点、縦線、斜線のパターンで画像Ｄ１に５１０Ａ、５１１Ａ、５１３Ａとして示される。また、画像Ｄに写る異物の領域５１４はそれ以外の領域５１３として認識され、斜線のパターンで５１４Ａとして示されている。

【0068】

画像Ｄ１は第一の領域判別器３０１Ｂから出力される画像であり、斑点、縦線、斜線のパターンで示される領域に対応するピクセルには、それぞれクラスラベルが格納されている。例えば、車体の屋根５１０を示す斑点パターンの値を１、エアコンの室外機５１１を示す縦線パターンの値を２、それ以外の領域を示す斜線パターンの値を３、異物の領域５１４は斜線パターンの値３が格納される。

【0069】

第二の領域判別器３０１Ｃの出力画像Ｄ２も第一の領域判別器３０１Ｂの出力画像Ｄ２と同様である。画像Ｄに写る車体の屋根５１０、エアコンの室外機５１１、それ以外の領域５１３はそれぞれ、斑点、縦線、斜線のパターンで画像Ｄ２に５１０Ｂ、５１１Ｂ、５１３Ｂとして示される。また、第一の領域判別器３０１Ｂと第二の領域判別器３０１Ｃが認識する物体は同じものであり、それに対応するクラスラベルも同じものとなる。例えば、車体の屋根５１０を示す斑点パターンの値を１、エアコンの室外機５１１を示す縦線パターンの値を２、それ以外の領域を示す斜線パターンの値を３として格納する。

【0070】

上述したクラスラベルを使って、第一の領域判別器３０１Ｂと第二の領域判別器３０１Ｃの出力画像Ｄ１、Ｄ２の差分を取る。第一の領域判別器３０１Ｂと第二の領域判別器３０１Ｃの出力において、クラスラベルが一致する場合、つまり認識した領域が一致する場合は、差分結果は０となる。逆に、クラスラベルが一致しない場合は、差分結果は０以外の数値となる。

【0071】

クラスラベルによる画像比較結果の例を図９に示す。第一の領域判別器３０１Ｂと第二の領域判別器３０１Ｃの出力として図７のＤ１とＤ２を得たとき、２つの画像の差分を求めると、出力画像として図９の画像Ｄ３を得ることができる。図９の黒色で表されている領域は、第一の領域判別器３０１Ｂと第二の領域判別器３０１Ｃのクラスラベルが一致して差分の結果が０になった領域である。また、それ以外の色（白色、灰色等）の領域は、第一の領域判別器３０１Ｂと第二の領域判別器３０１Ｃのクラスラベルが一致せず、０以外の数値となった領域である。

【0072】

差分による計算の具体的な例を示す。画像中のある位置の領域を、第一の領域判別器３０１Ｂが車体の屋根５１０を示すクラスラベルの値１の領域と認識したとき、同じ位置を第二の領域判別器３０１Ｃがエアコンの室外機５１１を示すクラスラベルの値２の領域と認識しているとする。第一の領域判別器３０１Ｂの認識結果と第二の領域判別器３０１Ｃの認識結果の差分を取ると、１－２＝－１≠０となる。負の差分が得られた領域は、図９では、黒色以外の領域（白色）として示される領域である。また、第一の領域判別器３０１Ｂと第二の領域判別器３０１Ｃの認識結果が逆だった際は、２－１＝１≠０となる。正の差分が得られた領域は、図９では黒色以外の領域（灰色）として示される領域である。

【0073】

上述の差分による計算の例のように、第一の領域判別器３０１Ｂと第二の領域判別器３０１Ｃの差分結果が黒色以外の領域、つまりクラスラベルが一致しなかった領域に格納される数値は、まばらになる。また図９において、黒色以外の色で表示された領域には、異物の領域５１４Ｄと、異物の領域以外の部分で第一の領域判別器３０１Ｂと第二の領域判別器３０１Ｃでクラスラベルが一致していない領域が混在する。異物の領域５１４Ｄ以外のクラスラベルが一致しない領域は、第一の領域判別器３０１Ｂと第二の領域判別器３０１Ｃの認識の仕方の違いによる誤認識、認識した領域のズレなどが原因で存在しており、最も顕著に表れるのは物体の境界線付近である。この異物の領域以外でクラスラベルが一致しない領域を、以降では誤認識領域と表記する。

【0074】

図９に示すような出力比較機能の出力で、黒色以外の色で示された領域に異物の領域５１４Ｄと誤認識領域が混在すること、そして黒色以外の色で示された領域に格納されているクラスラベルの差分値がまばらであることから、出力比較機能の出力によって異物の領域５１４Ｄのみを画像処理的に抽出することは困難である。出力比較機能の効果は第一の領域判別器３０１Ｂと第二の領域判別器が画像中の領域に対して同じ認識をしたか否かを判定するものであり、異物の領域５１４Ｄを特定する効果は、後述する誤認識フィルタ機能と面積判別機能により実現される。

【0075】

誤認識領域フィルタ機能においては、出力比較機能で得た出力画像に対して処理を施すことで、誤認識領域を除去する。本実施例では、出力比較機能で得た出力画像に対して誤認識領域フィルタ機能において２値化を施し、収縮・膨張処理によるノイズ除去を行う。収縮・膨張処理は、２値化された画像の白色もしくは黒色の領域を収縮させた後、元の領域の大きさまで膨張させる処理である。

【0076】

具体例を示す。出力比較機能の出力として図９を得たとき、誤認識領域フィルタ機能の出力として最終的に図１１を得る。誤認識領域フィルタ機能が必要となる具体的な理由は以下のようである。

【0077】

出力比較機能の出力とである図９に例示する画像に関して、本来、最も理想的な出力比較機能の出力は、異物の領域以外は黒色の領域となり、異物の領域のピクセルに格納されるクラスラベルの差分結果は、車両屋根上の物体以外の領域（図４の画像Ｄ１、Ｄ２におけるその他の領域５１３Ａ、５１３Ｂ）と、異物が載っている領域の、異物がない場合に写るはずの物体の領域（図４画像Ｄ２における車体の屋根５１０Ｂ）の差分結果となる。しかし、実際には誤認識領域が存在し、誤認識領域および異物の領域５１４Ｄピクセルに格納されているクラスラベルの差分結果は、同じ数値に統一されておらず、まばらになっている。なお、クラスラベルは第一の領域判別器３０１Ｂと第二の領域判別器３０１Ｃの物体の認識によって変化するため、異物の領域５１４Ｄに格納されるクラスラベルが出力比較機能の出力画像にどのように配置されるのかを予め予測することは困難である。そのため、図９の画像をそのまま使用して、エッジ検出等の画像処理で異物の領域を認識しようとすることは困難である。

【0078】

よって、異物の領域５１４Ｄを画像処理的に特定するため、もしくは誤認識領域を消去するために、異物の領域５１４Ｄと誤認識領域のピクセルに格納されている数値を統一する必要がある。そのために、図１０に経過を示すようにまず、図９に対して２値化を行う。２値化後の画像は図１０の左に示すようなものである。クラスラベルの２値化を行う際には、０とそれ以外の数値で分ける。図１０の左を見ると、図１０の黒色以外の領域の色が白色に統一されたことがわかる。

【0079】

次に、誤認識領域を除去するため、収縮・膨張処理を施す。図１０の左の画像に白色の領域を収縮させる処理を施すと図１０の中央の画像を得ることができる。白色の領域を収縮させたため、異物の領域５１４Ｆ以外の白色の領域、つまり誤認識領域が一部を残して消滅している。

【0080】

また、図１０の中央の画像の白色の領域を図１０の左の画像の領域の大きさまで膨張させる処理を施すと図１０の右の画像を得ることができる。誤認識領域は一部を残して消滅しているため、図１０の右の画像には元の大きさの異物の領域５１４Ｇと誤認識領域の一部が白色の領域として残る。その他、誤認識領域フィルタ機能は、後の工程で異常・異物の検出率が上がるように調節する画像処理手法により構成することができる。

【0081】

面積判別機能においては、誤認識領域フィルタ機能の出力結果を用いて、画像中の異常がある領域と異常がない領域をさらに分ける。本実施例では、ブロブの面積を使用し、閾値を設けて異常がある領域と異常がない領域を判別する。領域判別の例を示す。出力比較機能あるいは誤認識領域フィルタ機能の出力として図１０の右の画像を得たとき、黒色の領域に囲まれている白色の領域（プロブ）の面積をピクセル数により計算する。この面積を閾値として用い、プロブが一定以上の面積を有するとき、異常がある領域として認識させる。

【0082】

具体的な処理としては、一定以下の面積を持つプロブの領域をすべて黒色の領域に変換する。認識の結果を図１２に示す。図１０の右の画像で残っていた誤認識領域が図１１では黒色の領域になっている。また、面積判別機能の別例として、図１０の右の画像に示される白色の領域はすべて異常がある領域として認識させてもよい。その他、面積判別機能を実現する手法は、異常がある領域と異常がない領域を判別する手法によって構成することができる。

【0083】

次に図３に戻り、出力部３０１Ｅの構成について説明する。出力部３０１Ｅでは、異常抽出部３０１Ｄの出力結果より、画像取得部３０１Ａで得た画像中に異物の領域を矩形もしくは分かりやすい色でマーキングする。もしくは、矩形と分かりやすい色の両方を用いて異物の領域をマーキングする。

【0084】

画像取得部３０１Ａが図４の画像Ｄを得た場合の、出力部３０１Ｅの出力画像を図１２に示す。異物の領域５１４を矩形５１５で囲っている。また、別例として異物の領域５１４に対してわかりやすい色で着色している（５１４Ｉ）。便宜上、図１２では色で着色する代わりに格子柄のパターンで表現している。上述の処理が終わった画像を画像記録部３０２へ保存する。

【0085】

図２の装置構成において、プロセッサなどにより画像処理部３０１の機能を実現するときには、以下の点を考慮するのがよい。まず画像処理部３０１の機能は、各種プロセッサを用いて実現することが可能である。各種プロセッサの例として、プログラムに基づいて各種機能を実現するＣＰＵ、画像や映像を処理することに特化したＧＰＵ、ＦＰＧＡを代表とする製造後に内部の回路構成を変更することが可能なデバイス、ＡＳＩＣを代表とする特定の処理を実現するために設計・製造された専用の電気回路等が含まれる。

【0086】

画像処理部３０１の機能の実現のため、これらのプロセッサの中から同種あるいは異種の複数を組み合わせて機能を実現してもよいし、１つのプロセッサによって複数の機能を実現させてもよい。例えば、システムオンチップ等の１つのＩＣチップにシステム全体の機能を搭載するプロセッサを使用することや、サーバに代表される１つ以上のＣＰＵと他のプロセッサ、プログラムを組み合わせて構成するなどが挙げられる。

【0087】

画像処理部３０１は各種プロセッサの１つ以上を用いて構成される。各種プロセッサのハードウェアの構造は、半導体素子等の回路素子を組み合わせた電気回路である。電気回路は、論理演算を用いて画像処理部の機能を実現する電気回路であってもよい。各種プロセッサ、電気回路がソフトウェア（プログラム）による画像処理部の機能実現を行うとき、各種プロセッサが読み取り可能なコードをＲＯＭに記憶し、各種プロセッサがそれを参照する。ＲＯＭに記憶するソフトウェアは、本異物検出システムを実行するために必要なソフトウェアを含む。
ソフトウェアを用いた処理の実行中、ＲＡＭが一時的記憶媒体として使用される。

【0088】

また図２の操作部３１３の構成に関して、プロセッサ３００は操作部３１３を備えている。操作部３１３は図示せぬキーボード及びマウスを含み、ユーザはこれらデバイスを介して画像記録部に保存されている画像・映像の表示を行う。

【0089】

また図２の操作部３１３の構成に関して、プロセッサ３００は最終的に表示装置３０４に各種情報を表示出力する。表示装置３０４（モニタ）は、操作部３１３を介した操作、撮影用カメラ２０１で撮影された車両屋根上の画像・映像および画像処理部３０１から出力された異常のある領域の検出結果などを表示する。

【0090】

また図２の画像記録部３０２の構成に関して、画像記録部３０２は、各種の光磁気記録媒体、半導体メモリなどの非一時的記録媒体及びこれら記録媒体の制御部を含んで構成され、撮影用カメラ２０１によって撮影された画像・映像、画像処理部３０１の出力結果などを関連付けて記録することができる。画像記録部３０２は、表示制御部３０３と画像処理部３０１から内部のデータを参照することが可能であれば、プロセッサ３００の外部に用意してプロセッサ３００に接続することも可能である。画像記録部３０２に保存された画像および情報は、操作部によるユーザの操作により、表示制御部３０３を介することで表示装置３０４（モニタ）に出力される。上記により、図２に例示する異物検出装置の各部とその動作内容について説明した。

【0091】

なお実施例１の第一の領域判別器３０１Ｂ、第二の領域判別器３０１Ｃに関して、これを簡便に述べるならば、第一の領域判別器３０１Ｂは、あらかじめ、領域内の模様の違いに反応して境界内側にも異なる領域があると判定するような事前学習データで学習を行ったニューラルネットを用い、判定対象となる判定対象物の画像による追加学習を行った領域判別器ということができる。

【0092】

また第二の領域判別器３０１Ｃは、あらかじめ、領域内の模様の違いにかかわらず境界内側を同じ領域と判定するような事前学習データで学習を行ったニューラルネットを用いて判定対象となる判定対象物の画像を用いて追加学習を行った領域判別器ということができる。

【実施例0093】

次に実施例２において、図１に示す異物検出システムの全体としての処理手順について説明する。これは、上述した構成の異物検出システムを用いた異物検出方法を説明するものである。

【0094】

図１３は、本発明に係る一連の異物検出手順を示すフローチャートである。このフローは、学習段階Ｓ１と画像取得段階Ｓ２と異常検出段階Ｓ３に分けて示されている。このうち、最初の学習段階Ｓ１では、図５で説明したように、処理ステップＳ１１において学習用データＤ１ａ、Ｄ１ｂを用いた学習により第一の領域判別器３０１Ｂを生成し、処理ステップＳ１１２において同様に学習用データを用いた学習により第二の領域判別器３０１Ｃを生成する。なお学習段階の処理は、プロセッサ３００で行ってもよいし、あるいは別置の計算機などにより行われてもよい。

【0095】

全体処理手順の画像取得段階Ｓ２は、車両位置制御処理ステップＳ２１、撮影用カメラ制御処理ステップＳ２２を含み、これにより車両屋根上の画像もしくは映像の撮影を行う。ここでは、車体検知センサ２０１により異物検出システムに近づいた車両を検出し、車両を検出している間撮影用カメラ２０２によって車両屋根上の画像または映像を撮影する。車体検知センサ２０１、撮影用カメラ２０２はカメラ制御部２００に接続されている。車体検知センサの信号をカメラ制御部２００が受け取り、その信号によって撮影用カメラ２０２に撮影の開始、終了信号を出力する。また、カメラ制御部２００は、車体検知センサが一定時間以上車両を検知し続けた場合、異常が発生したとして撮影用カメラによる撮影を中止する機能を有する。撮影用カメラが撮影した車両屋根上の画像または映像は、撮影の終了後、プロセッサ３００内部にある画像記録部３０２に送信され、保存される。

【0096】

次に全体処理手順の次の段階である異常検出段階Ｓ３は、プロセッサ３００において、異物のある領域の特定を行う。このため、画像処理部３０１に、画像記録部３０２に保存されている画像もしくは映像を入力し、入力した画像もしくは映像に対して異物のある領域をマーキングしたものを出力する。そのうえでまず、処理ステップＳ３１では画像取得部３０１Ａにより、画像記録部３０２に保存された車両屋根上画像もしくは映像を取得する。映像を取得する際には、その映像をフレームごとの画像に変換して取得する。また、映像を取得した際は、画像処理部３０１に図示せぬ繰り返し制御部を備え、映像を変換したすべての画像に対して画像処理部３０１の各手順を適用する。

【0097】

次に処理ステップＳ３２、Ｓ３３では、画像取得部３０１Ａが取得した画像を、それぞれ第一の領域判別器３０１Ｂと第二の領域判別器３０１Ｃに入力して出力Ｄ１、Ｄ２を得る。画像取得部３０１Ａが図４の画像Ｄを取得した際の第一の領域判別器３０１Ｂ、第二の領域判別器３０１Ｃの出力の例が図４の画像Ｄ１、Ｄ２である。ただし、第一の領域判別器３０１Ｂと第二の領域判別器３０１Ｃは事前に車両屋根上の物体を学習しており、図４の画像Ｄ１では異物（木の枝）５１４を車両屋根の領域５１０Ａではない領域として認識している。また、図４の画像Ｄ２は、異物５１４がある領域を無視して、その領域を車両屋根の領域５１０Ｂとして認識している。

【0098】

次に処理ステップＳ３４では、第一の領域判別器３０１Ｂと第二の領域判別器３０１Ｃで得た出力を異常抽出部３０１Ｄに入力し、その出力を得る。第一の領域判別器３０１Ｂと第二の領域判別器３０１Ｃから得た出力がそれぞれ図７の画像Ｄ１、Ｄ２であるときの異常抽出部３０１Ｄの最終的な出力例が図４の画像Ｄ３である。異常抽出部３０１Ｄの内部の処理は出力比較機能、誤認識フィルタ機能、面積判別機能の順に処理される。具体的な処理例として、異常抽出部３０１Ｄに図４の画像Ｄ１、Ｄ２を入力したときの出力比較機能の出力を図９に、誤認識フィルタ機能の出力を図１０に、面積判別機能の出力を図１１に示している。

【0099】

次に処理ステップＳ３５では、異常抽出部３０１Ｄの出力を出力部３０１Ｅに入力し、出力部３０１Ｅの出力を画像記録部３０２に保存する。出力部３０１Ｅは、画像取得部３０１Ａが得た画像に対して、異常抽出部３０１Ｄの出力で得た異物の領域により、異物の領域を矩形または色でマーキングする処理を行う。異常抽出部３０１Ｄより図１０の出力を得た際の出力部３０１Ｅの出力を図１２に示す。異物のある領域は、矩形によるマーキング５１５、色によるマーキング５１４Ｇで示されている。図１２のような画像を得た後、得た画像を検出結果画像として画像記録部３０２に保存する。その際、画像取得部３０１Ａで取得した画像との関連付けを行う。また、画像取得部３０１Ａで映像を取得した場合は、映像をフレームごとの画像に変換し、上述した異物のある領域のマーキングを行うまでの手順を映像のフレーム画像全てに適用して結果を得て、手順を適用した全てのフレーム画像を映像に再変換する。再変換された映像を検出結果映像として画像記録部３０２に保存する。その際、画像取得部３０１Ａで取得した映像と関連付けを行う。

【0100】

次に処理ステップＳ３６では、検出結果をユーザに表示する。ここでは、画像記録部３０２に保存された検出結果画像もしくは検出結果映像を表示装置に出力する。プロセッサ３００内部の操作部３１３により、ユーザが直接操作することで検出結果画像もしくは検出結果映像を表示装置に出力する。また、ユーザが直接操作を行わなくても、検出結果画像もしくは検出結果映像が画像記録部３０２に保存された時点で自動的に表示装置に出力することも可能である。ユーザは表示装置に出力された検出結果画像もしくは検出結果映像を見ることにより、車両屋根上に異物があるかを判断する。また、出力結果画像もしくは出力結果映像の中に異物が検出された場合には、自動的にユーザへ警告を発することも可能である。また、画像処理部３０１による異物の検出が行われていない車両屋根上の画像もしくは映像も、ユーザ操作により表示装置に出力可能とする。

【0101】

最後に、異物検出システムの効果について説明する。上述の手順により、車両屋根上に異物が存在するか否かを自動的に検出することができる。さらに具体的には、自動的に異物が検出されることにより、車両屋根上に上ることなく異物を発見できるようになるため、車両検査を行う作業員の高所作業の削減に効果がある。また、異物検出システムが車両屋根上に異物を発見した場合にアラートを挙げるよう設定を行えば、異物の早期発見にも効果がある。そして、異物検出システムが通電していれば、異物検出システムの設置場所を通る車両の、車両屋根上を常に点検することが可能である。これは、点検の頻度、点検を行う場所の自由度の観点から、点検番線に入庫した車両を人間が目視点検するよりも有利である。