特許 7535934 不良箇所検出装置、不良箇所検出方法、およびコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-08

(45)【発行日】2024-08-19

(54)【発明の名称】不良箇所検出装置、不良箇所検出方法、およびコンピュータプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240809BHJP

【ＦＩ】

G06T7/00 600

G06T7/00 350B

【請求項の数】 7

(21)【出願番号】P 2020210449

(22)【出願日】2020-12-18

(65)【公開番号】P2022097075

(43)【公開日】2022-06-30

【審査請求日】2023-03-20

(73)【特許権者】

【識別番号】000003609

【氏名又は名称】株式会社豊田中央研究所

(73)【特許権者】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(74)【代理人】

【識別番号】100160691

【弁理士】

【氏名又は名称】田邊 淳也

(74)【代理人】

【識別番号】100157277

【弁理士】

【氏名又は名称】板倉 幸恵

(74)【代理人】

【識別番号】100182718

【弁理士】

【氏名又は名称】木崎 誠司

(72)【発明者】

【氏名】鈴木 有也

(72)【発明者】

【氏名】横山 明久

(72)【発明者】

【氏名】田口 勝也

【審査官】長谷川 素直

(56)【参考文献】

【文献】特表２０２２－５３８４６８（ＪＰ，Ａ）

【文献】特開２０２０－１９７８７５（ＪＰ，Ａ）

【文献】特開２００４－０８０７０９（ＪＰ，Ａ）

【文献】特開２０２０－１８７７３５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

不良箇所検出装置であって、
被検出対象の画像を取得し、取得された画像を用いて画像上の像の位置ずれを修正したオルソ画像を作成する画像取得部と、
前記オルソ画像を画像認識することで、前記被検出対象における不良箇所の有無を判定する判定部と、
前記オルソ画像内の前記不良箇所の位置を抽出する抽出部と、
前記オルソ画像において、前記抽出部により抽出された前記位置の画素に対してマスク処理を行うマスク部と、
を備え、
前記判定部による判定と、前記抽出部による抽出と、前記マスク部による前記マスク処理とは、前記判定部により前記不良箇所が無いと判定されるまで繰り返し実行される、不良箇所検出装置。

【請求項2】

請求項１に記載の不良箇所検出装置であって、
前記抽出部は、前記判定部により前記不良箇所と判定された最大の根拠となる位置に加えて、前記位置を含む前記不良箇所の範囲を抽出し、
前記マスク部は、前記範囲の画素におけるアルファチャンネルに所定の値を代入する、不良箇所検出装置。

【請求項3】

請求項２に記載の不良箇所検出装置であって、
前記マスク部は、大きさと形状との少なくとも一方が異なる複数の画素の集合を組み合わせて前記範囲を覆うようにオブジェクトを配置する、不良箇所検出装置。

【請求項4】

請求項３に記載の不良箇所検出装置であって、
前記マスク部は、前記オブジェクトの色相を、前記不良箇所として判定されないように予め設定された色相に変更する、不良箇所検出装置。

【請求項5】

請求項１から請求項４のいずれか一項に記載の不良箇所検出装置であって、さらに、
前記判定部が前記不良箇所の有無の判定に用いる学習モデルを作成する学習部を備え、
前記学習部は、前記オルソ画像から抽出された複数の部分画像を用いて深層学習を行うことで、前記学習モデルを作成する、不良箇所検出装置。

【請求項6】

不良箇所検出方法であって、
被検出対象の画像を取得し、取得された画像を用いて画像上の像の位置ずれを修正したオルソ画像を作成する画像取得工程と、
前記オルソ画像を画像認識することで、前記被検出対象における不良箇所の有無を判定する判定工程と、
前記オルソ画像内の前記不良箇所の位置を抽出する抽出工程と、
前記オルソ画像において、前記抽出工程により抽出された前記位置の画素に対してマスク処理を行うマスク工程と、
を備え、
前記判定工程による判定と、前記抽出工程による抽出と、前記マスク工程による前記マスク処理とは、前記判定工程により前記不良箇所が無いと判定されるまで繰り返し実行される、不良箇所検出方法。

【請求項7】

コンピュータプログラムであって、
被検出対象の画像を取得し、取得された画像を用いて画像上の像の位置ずれを修正したオルソ画像を作成する画像取得機能と、
前記オルソ画像を画像認識することで、前記被検出対象における不良箇所の有無を判定する判定機能と、
前記オルソ画像内の前記不良箇所の位置を抽出する抽出機能と、
前記オルソ画像において、前記抽出機能により抽出された前記位置の画素に対してマスク処理を行うマスク機能と、
をコンピュータに実現させ、
前記判定機能による判定と、前記抽出機能による抽出と、前記マスク機能による前記マスク処理とは、前記判定機能により前記不良箇所が無いと判定されるまで繰り返し実行される、コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、不良箇所検出装置、不良箇所検出方法、およびコンピュータプログラムに関する。

【背景技術】

【0002】

被検出対象の画像の中から、不良箇所として定義された部分の存在有無を判定する技術が知られている（例えば、特許文献１参照）。特許文献１に記載された検出装置は、被検出対象である樹脂組成フィルムを撮影した一枚の画像を複数の画像に分割し、分割画像のそれぞれから、不良箇所として定義された気泡を検出している。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０２０－８５４７０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、例えば地図生成の技術分野において、複数の車両に搭載された車載カメラにより撮影された、複数の道路画像を用いて地図を生成したいという要望がある。ここで、各車載カメラにより撮影された道路画像には、例えば、建物等の影の写り込みや、他車両等の写り込み、画像が不鮮明な箇所といった、地図生成のための使用に適さない箇所（すなわち、不良箇所）が存在する。したがって、撮影された道路画像から、このような不良箇所の位置を抽出して、抽出された不良箇所以外の道路画像を利用して（換言すれば、抽出された不良箇所の道路画像を用いずに）地図を生成することで、高精度の地図生成を可能としたいという要望があった。この点、特許文献１に記載の技術では、分割画像内に所定の大きさ以上の気泡が検出されると、撮影された樹脂組成フィルムを不良と判定しているが、不良箇所の位置までは特定していない。すなわち、特許文献１に記載の技術では、不良箇所の有無を判定できるに留まり、不良箇所の位置を特定することについては何ら考慮されていないという課題があった。なお、このような課題は、地図生成の技術分野にかかわらず、複数の画像から１つの画像を作成する技術の全般に共通する課題であった。

【0005】

本発明は、上述した課題を解決するためになされたものであり、画像内の不良箇所の位置を同定して、不良箇所を抽出することを目的とする。

【課題を解決するための手段】

【0006】

本発明は、上述の課題を解決するためになされたものであり、以下の形態として実現できる。不良箇所検出装置であって、被検出対象の画像を取得し、取得された画像を用いて画像上の像の位置ずれを修正したオルソ画像を作成する画像取得部と、前記オルソ画像を画像認識することで、前記被検出対象における不良箇所の有無を判定する判定部と、前記オルソ画像内の前記不良箇所の位置を抽出する抽出部と、前記オルソ画像において、前記抽出部により抽出された前記位置の画素に対してマスク処理を行うマスク部と、を備え、前記判定部による判定と、前記抽出部による抽出と、前記マスク部による前記マスク処理とは、前記判定部により前記不良箇所が無いと判定されるまで繰り返し実行される、不良箇所検出装置。そのほか、本発明は、以下の形態としても実現可能である。

【0007】

（１）本発明の一形態によれば、不良箇所検出装置が提供される。この不良箇所検出装置は、被検出対象の画像を取得する画像取得部と、取得された前記画像を画像認識することで、前記被検出対象における不良箇所の有無を判定する判定部と、前記画像内の前記不良箇所の位置を抽出する抽出部と、前記画像において、前記抽出部により抽出された前記位置の画素に対してマスク処理を行うマスク部と、を備え、前記判定部による判定と、前記抽出部による抽出と、前記マスク部によるマスクとは、前記判定部により前記不良箇所が無いと判定されるまで繰り返し実行される。

【0008】

この構成によれば、抽出部は、画像内の不良箇所の位置を抽出し、マスク部は、抽出された位置に対して不良箇所の画素に対してマスク処理を行う。このようにして生成された画像は、不良箇所を含まない（換言すれば、不良箇所がマスクされた）被検出対象の画像である。このような画像を、例えば地図画像の生成等に用いることにより、被検出対象の複数の画像を利用した精度の高い画像を作成できる。また、判定部による判定と、抽出部による抽出と、マスク部によるマスク処理とを繰り返し実行することにより、画像内の被検出対象における不良箇所に対して、繰り返しのマスク処理が行われる。すなわち、一度のマスク処理ではなく、複数回のマスク処理により、不良箇所がマスクされる。これにより、抽出部により不良箇所で無い箇所が誤って抽出されることが抑制される。換言すれば、画像内の被検出対象における不良箇所の位置が同定されて、不良箇所のみができるだけ抽出される。

【0009】

（２）上記態様の不良箇所検出装置において、前記抽出部は、前記判定部により前記不良箇所と判定された最大の根拠となる位置に加えて、前記位置を含む前記不良箇所の範囲を抽出し、前記マスク部は、の画素におけるアルファチャンネルに所定の値を代入してもよい。
この構成によれば、不良箇所と判定された最大の根拠となる位置に加えて、当該位置を含む周囲も同時に抽出部により抽出される。これにより、最大の根拠となる位置のみが抽出される場合と比較して、判定部の判定と、抽出部の抽出と、マスク部によるマスク処理の回数を少なくできる。この結果、本構成の不良箇所検出装置は、不良箇所の抽出を迅速に行うことができる。また、マスク部は、不良箇所の画素におけるアルファチャンネルに所定の値を代入することで、不良箇所の不透明度を０（ゼロ）とし、または、不良箇所以外の箇所と比較して不透明度を十分に低くすることで、簡単にマスクできる。

【0010】

（３）上記態様の不良箇所検出装置において、前記マスク部は、大きさと形状との少なくとも一方が異なる画素の集合を組み合わせて前記範囲を覆うようにオブジェクトを配置してもよい。
この構成によれば、マスク部は、大きさと形状との少なくとも一方が異なる複数のオブジェクトを組み合わせて用いるため、一度で不良箇所の範囲をマスクする場合と比較して、不良箇所としてオブジェクトが配置される範囲を小さくできる。

【0011】

（４）上記態様の不良箇所検出装置において、前記マスク部は、前記オブジェクトの色相を、前記不良箇所として判定されないように予め設定された色相に変更してもよい。
この構成によれば、マスク部は、不良箇所が存在しないと予め設定されている色相のオブジェクトで不良箇所をマスクできる。そのため、マスク後に繰り返し行われる判定部による判定および抽出部による抽出で、マスクされた不良箇所の部分が、新たな不良箇所として抽出されるおそれを抑制できる。

【0012】

（５）上記態様の不良箇所検出装置において、さらに、前記判定部が前記不良箇所の有無の判定に用いる学習モデルを作成する学習部を備え、前記学習部は、前記被検出対象のオルソ画像から抽出された複数の部分画像を用いて深層学習を行うことで、前記学習モデルを作成してもよい。
この構成によれば、深層学習によって得られた学習モデルを用いて判定部による不良箇所の有無が判定されるため、判定の精度が向上する。

【0013】

なお、本発明は、種々の態様で実現することが可能であり、例えば、不良箇所検出装置、地図生成装置、学習装置、および地図生成システムおよびこれらの装置を備える車両、および不良箇所検出方法、地図生成方法、これら装置や方法を実行するためのコンピュータプログラム、このコンピュータプログラムを配布するためのサーバ装置、コンピュータプログラムを記憶した一時的でない記憶媒体等の形態で実現することができる。

【図面の簡単な説明】

【0014】

【図1】本発明の実施形態としての地図生成装置（不良箇所検出装置）を備える地図生成システムの概略ブロック図である。

【図2】学習部が実行する学習処理の説明図である。

【図3】学習部が実行する学習処理の説明図である。

【図4】ヒートマップ生成を用いた不良箇所の抽出についての説明図である。

【図5】ヒートマップ生成を用いた不良箇所の抽出についての説明図である。

【図6】マスク部によるマスク処理の説明図である。

【図7】マスク部によるマスク処理の説明図である。

【図8】抽出部の処理およびマスク部のマスク処理についての説明図である。

【図9】抽出部の処理およびマスク部のマスク処理についての説明図である。

【図10】抽出部の処理およびマスク部のマスク処理についての説明図である。

【図11】抽出部の処理およびマスク部のマスク処理についての説明図である。

【図12】抽出部の処理およびマスク部のマスク処理についての説明図である。

【図13】抽出部の処理およびマスク部のマスク処理についての説明図である。

【図14】抽出部の処理およびマスク部のマスク処理についての説明図である。

【図15】本実施形態における不良箇所の抽出処理のフローチャートである。

【発明を実施するための形態】

【0015】

＜第１実施形態＞
図１は、本発明の実施形態としての地図生成装置（不良箇所検出装置）２０を備える地図生成システム１００の概略ブロック図である。地図生成システム１００は、走行中の複数の車両１０に搭載された車載カメラ１１の複数の撮影画像を用いて、オルソ画像の１枚の道路地図を生成する。図１に示されるように、地図生成システム１００は、車両１０の前方下側を撮影する車載カメラ１１を有する車両１０と、車載カメラ１１の撮影画像を車両１０から取得して地図を生成する地図生成装置（不良箇所検出装置）２０と、を備えている。なお、図１では、車両１０が１台しか図示されていないが、地図生成システム１００は、複数の車両１０を備えている。

【0016】

車両１０は、図１に図示されていない通信部の無線通信機能を用いて、車載カメラ１１の複数の撮影画像を地図生成装置２０へと送信する。車載カメラ１１の撮影画像には、車両１０が通過した被検出対象である道路などの画像が写っている。そのため、地図生成装置２０に送信される撮影画像は、走行中の車両１０が通過した道路を含む部分画像である。車載カメラ１１の撮影画像には、例えば、建物等の影の写り込みや、他車両等の写り込み、画像が不鮮明な箇所といった、地図生成のための使用に適さない箇所（以降「不良箇所」と呼ぶ）が存在する。車両１０は、このような不良箇所を含んだ撮影画像を地図生成装置２０に送信する。

【0017】

本実施形態の地図生成装置２０は、パーソナルコンピュータ（Personal Computer）である。地図生成装置２０は、後述する処理によって、車載カメラ１１の撮影画像中の、不良箇所の有無を判定し、不良箇所の位置を抽出し、不良箇所をマスクする。図１に示されるように、地図生成装置２０は、ユーザの各種操作を受け付ける入力部６０と、各種画像を表示するモニタおよび音声を出力するスピーカで構成される出力部７０と、無線通信を介して複数の車両１０から車載カメラ１１の撮影画像を受信する通信部５０と、ＣＰＵ（Central Processing Unit）３０と、ＲＯＭ（Read Only Memory）２１と、ＲＡＭ（Random Access Memory）２２と、各種情報を記憶する記憶部４０と、を備えている。

【0018】

本実施形態の入力部６０は、キーボードと、マウスと、音声入力を受け付けるマイクとにより構成されている。記憶部４０は、ハードディスクドライブ（ＨＤＤ：Hard Disk Drive）などで構成されている。記憶部４０は、車両１０から送信された複数の撮影画像を保存する画像データベース（画像ＤＢ）４１と、地図生成装置２０が生成した地図を保存する地図データベース（地図ＤＢ）４２と、後述する学習モデルを保存するモデルデータベース（モデルＤＢ）４３と、を備えている。

【0019】

ＣＰＵ３０は、ＲＯＭ２１に格納されているコンピュータプログラムをＲＡＭ２２に展開する。これにより、ＣＰＵ３０は、被検出対象が写っている撮影画像を取得する画像取得部３１と、画像内の被検出対象における不良箇所の有無を判定する判定部３２と、画像内の不良箇所の位置を抽出する抽出部３３と、抽出された不良箇所の位置に対してマスク処理を行うマスク部３４と、学習用データから学習モデルを作成する学習部３５と、地図を生成する地図生成部３６として機能する。

【0020】

画像取得部３１は、通信部５０を介して、複数の車両１０の車載カメラ１１が撮影した複数の撮影画像を取得する。撮影画像は、オルソ画像と異なり、車載カメラ１１のレンズの中心から対象物までの距離の違いにより、画像上の像に位置ずれが生じている。本実施形態の画像取得部３１は、撮影画像を用いて、撮影画像上における位置ずれを修正したオルソ画像を作成する。

【0021】

学習部３５は、判定部３２が不良箇所の有無の判定に用いる学習モデルを作成する。学習部３５は、予め用意された１つの道路の全体オルソ画像が、複数の画像に分割された分割画像を、学習用データとした深層学習により、学習モデルを作成する。ここで、学習用データとなる各分割画像は、１つの道路の全体オルソ画像を、車両１０の軌跡に沿って分割した画像である。

【0022】

図２および図３は、学習部３５が実行する学習処理の説明図である。図２には、学習用データとしての道路の全体オルソ画像の一部が示されている。図２に示されるように、学習部３５は、車両１０の軌跡に沿って複数に分割された分割画像ＩＭ１～ＩＭ３のそれぞれを用いて学習処理を行う。

【0023】

図３には、学習部３５が実行する学習処理のフローチャートが示されている。図３に示されるように、学習処理フローでは、学習部３５は、初めに、学習用データを取得する（ステップＳ１１）。学習用データは、学習モデルを訓練するための訓練データセットと、訓練した学習モデルを評価する検証データセットとを含んでいる。取得される学習用データは、記憶部４０に予め記憶されていてもよいし、入力部６０が受け付けた入力により与えられてもよい。

【0024】

学習部３５は、学習用データを取得すると、訓練データセットを用いて学習モデルを訓練する（ステップＳ１２）。本実施形態の学習部３５は、「０」のラベルを付された不良箇所が含まれる画像と、「１」のラベルが付された不良箇所が含まれない画像とを、畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）により学習することにより、学習モデルを訓練する。

【0025】

学習部３５は、訓練によって得られた学習モデルを用いた不良箇所の有無判定が良いか否かを判定する（ステップＳ１３）。学習部３５は、訓練された学習モデルに検証データを入力することで、訓練によって得られた学習モデルを判定する。学習モデルは、分割されたオルソ画像に不良箇所が有る場合には０．５以上の数値を出力し、不良箇所がない場合には０．５未満の数値を出力するように訓練されている。学習部３５は、は、検証データセットに含まれる複数の分割されたオルソ画像が学習モデルによって正しく判定された結果、予め設定された閾値（０．５）以上の判定性能が得られるかを判定する。学習部３５は、閾値未満の判定性能だった場合には（ステップＳ１４：ＮＯ）、ステップＳ１２以降の処理を繰り返す。学習部３５は、閾値以上の判定性能だった場合には（ステップＳ１４：ＹＥＳ）、訓練した生成モデルを作成してモデルＤＢに保存して、学習処理フローを終了する。

【0026】

判定部３２は、画像取得部３１により取得された撮影画像が修正したオルソ画像を画像認識し、学習部３５により作成された学習モデルを用いて、オルソ画像に写っている被検出対象における不良箇所の有無を判定する。判定部３２により不良箇所が無いと判定されたオルソ画像は、地図生成部３６により生成される地図の元データとして地図ＤＢ４２に保存される。判定部３２により不良箇所が有ると判定されたオルソ画像は、抽出部３３により不良箇所の位置が抽出される。

【0027】

本実施形態の抽出部３３は、Ｓｃｏｒｅ－ＣＡＭ（Class Acitevation Mapping）のヒートマップ生成の技術を用いて、判定部３２により不良箇所と判定された最大の根拠となる位置と、当該位置を含む不良箇所の範囲を抽出する。

【0028】

図４および図５は、ヒートマップ生成を用いた不良箇所の抽出についての説明図である。図４には、ある時点で車載カメラ１１により撮影された撮影画像が修正されたオルソ画像ＩＭ１１が示されている。図４に示されるオルソ画像ＩＭ１１には、不良箇所として鮮明に道路を撮影できていない不良領域（不良箇所）ＲＧ１が含まれている。そのため、判定部３２は、オルソ画像ＩＭ１１について、「０」（＜閾値０．５）の数値を出力し、不良箇所を含んでいると判定する。

【0029】

抽出部３３は、ヒートマップ生成の技術を用いることにより、図５に示されるヒートマップＭＰ１１を生成する。ヒートマップＭＰ１１では、ハッチングの濃さによってスコアの高さが示されている。スコアが高いほど、不良箇所と判定された根拠になる。すなわち、スコアが最も高い位置が、判定部３２により不良箇所と判定された最大の根拠となる位置である。ヒートマップＭＰ１１では、第１領域ＲＧ１１のスコアが最も高く、次に第２領域ＲＧ１２のスコアが高く、次に第３領域ＲＧ１３のスコアが高い。このように、抽出部３３は、不良箇所の位置および範囲として、第１領域ＲＧ１１，第２領域ＲＧ１２，第３領域ＲＧ１３を抽出する。

【0030】

マスク部３４は、抽出部３３により抽出された不良箇所の内の所定の範囲に対して、不良箇所の画素に対してマスク処理を行う。図６および図７は、マスク部３４によるマスク処理の説明図である。マスク部３４は、マスク対象の画素（すなわち、不良箇所の画素）のアルファチャンネルに対して所定の値を入力することで、マスク処理を行う。アルファチャンネルとは、色表現データとは別に設けられた補助データであって、画素の不透明度を表すアルファ値を格納するデータ領域である。アルファチャンネルに入力する所定の値として、本実施形態では、「透明」を表す０（ゼロ）を用いる。しかし、０に代えて、不良箇所以外の箇所と比較して不透明度が十分に低くなる任意の値が用いられてもよい。この結果、図６に示されるオルソ画像ＩＭ１１では、不良領域ＲＧ１の内の一部を含むマスク領域ＭＲ１２には、マスク部３４により、アルファチャンネルに０が代入される。なお、本実施形態のマスク部３４は、抽出部３３により抽出された不良箇所の内、第２領域ＲＧ１２（図５）のスコア以上の範囲に対してマスク処理を行う。

【0031】

本実施形態のマスク部３４は、図６に示されるように、マスク領域ＭＲ１２に対してアルファチャンネルに０を代入し、図７に示されるように、代入後にマスク領域ＭＲ１２を黒のオブジェクトに置換する。本実施形態のマスク部３４は、アルファチャンネルに０が代入された領域ＭＲ１２を、黒色のオブジェクトに置換する。本実施形態では、被検出対象の道路以外の領域は黒であり、黒の領域には不良箇所が存在しないことが学習済みである。そのため、マスク部３４は、領域ＭＲ１２を黒に置換した。

【0032】

マスク領域ＭＲ１２が黒色に置換された図７のオルソ画像ＩＭ１２は、黒色に置換されたマスク領域ＭＲ１２以外の道路において、判定部３２により不良箇所の有無が判定される。判定部３２は、図７に示されるオルソ画像ＩＭ１２について、「０」（＜閾値０．５）の数値を出力し、不良箇所を含んでいると判定する。なお、代入後のマスク領域ＭＲ１２に黒色のオブジェクトを置換する処理も、上述したアルファチャンネルを所定の値（例えば０）にする処理と同様に、「マスク処理」と呼ぶ。

【0033】

図８から図１４までの各図は、繰り返し行われる抽出部３３の処理およびマスク部３４のマスク処理についての説明図である。抽出部３３は、不良箇所を含んでいると判定されたマスク処理後のオルソ画像ＩＭ１２（図７）に対して、図８に示されるヒートマップＭＰ１２を生成する。ヒートマップＭＰ１２では、スコアの高い順に、第１領域ＲＧ２１、第２領域ＲＧ２２、第３領域ＲＧ２３が不良箇所として抽出部３３により抽出されている。

【0034】

図９には、図７に示されるオルソ画像ＩＭ１２に対して、抽出部３３により抽出された第２領域ＲＧ１２（図５）と第２領域ＲＧ２２（図８）とを合わせた範囲であるマスク領域ＭＲ１２，ＭＲ２２に、アルファチャンネルに０が代入されたオルソ画像ＩＭ１２が示されている。図９に示されるように、マスク領域ＭＲ１２とマスク領域ＭＲ２２との大きさ、位置、および範囲は異なっている。換言すると、マスク部３４は、大きさ及び形状の異なるマスク領域ＭＲ１２とマスク領域ＭＲ２２とを組み合わせて、抽出した不良箇所の範囲のアルファチャンネルに０を代入している。

【0035】

抽出部３３は、図９に示されるオルソ画像ＩＭ１２において、アルファチャンネルに０が代入されたマスク領域ＭＲ１２，ＭＲ２２を黒色で置換した図１０に示されるオルソ画像ＩＭ１３を作成する。図１０に示されるオルソ画像ＩＭ１３は、判定部３２により、黒色に置換されたマスク領域ＭＲ１２，ＭＲ２２以外において不良箇所が有るか否かが判定される。本実施形態では、判定部３２は、オルソ画像ＩＭ１３について、「０．３」（＜閾値０．５）の数値を出力し、不良箇所を含んでいると判定する。

【0036】

抽出部３３は、不良箇所が有ると判定されたマスク処理後のオルソ画像ＩＭ１３（図１０）に対して、図１１に示されるヒートマップＭＰ１３を生成する。ヒートマップＭＰ１３では、スコアの高い順に、第１領域ＲＧ３１、第２領域ＲＧ３２、第３領域ＲＧ３３が不良箇所として抽出部３３により抽出されている。

【0037】

図１２には、図１０に示されるオルソ画像ＩＭ１３に対して、抽出部３３により抽出された第２領域ＲＧ１２（図５）および第２領域ＲＧ２２（図８）に加えて、第２領域ＲＧ３２（図１１）を合わせた範囲のアルファチャンネルに０が代入されたオルソ画像ＩＭ１３が示されている。マスク部３４は、図１２に示されるオルソ画像ＩＭ１３において、アルファチャンネルに０が代入されたマスク領域ＭＲ１２，ＭＲ２２，ＭＲ３２を黒色に置換した図１３に示されるオルソ画像ＩＭ１４を作成する。

【0038】

図１３に示されるオルソ画像ＩＭ１４は、黒色に置換されたマスク領域ＭＲ１２，ＭＲ２２，ＭＲ３２以外において、判定部３２により不良箇所の有無が判定される。本実施形態では、判定部３２は、オルソ画像ＩＭ１４について、「１．０」（≧閾値０．５）の数値を出力し、不良箇所を含んでいないと判定する。この場合に、判定部３２は、オルソ画像ＩＭ１４からマスク領域ＭＲ１２，ＭＲ２２，ＭＲ２３を除いた、図１４のハッチングで示される部分のオルソ画像ＩＭ１５を、道路地図として生成されるデータの一画像として、地図ＤＢ４２に保存する。このように、本実施形態では、判定部３２により不良箇所が無いと判定されるまで、判定部３２による不良箇所の有無の判定と、抽出部３３による不良箇所の抽出と、マスク部３４によるマスク処理とが、繰り返し実行される。

【0039】

図１に示される地図生成部３６は、マスク部３４により地図ＤＢ４２に保存されたマスク処理後の複数のオルソ画像を組み合わせることにより、道路地図としての全体オルソ画像を作成する。地図生成部３６は、マスク部３４により不良箇所としてマスク処理された部分を、同じ地点を撮影している他の車両の撮影画像から修正されたオルソ画像により補完することで、道路地図を生成する。

【0040】

図１５は、本実施形態における不良箇所検出処理のフローチャートである。図１５に示されるように、不良箇所検出フローでは、初めに、画像取得部３１が、車両１０から車載カメラ１１が撮影した複数の撮影画像を取得する（ステップＳ２１）。画像取得部３１は、撮影画像を用いて位置ずれを修正したオルソ画像を作成する。

【0041】

判定部３２は、画像取得部３１により修正されたオルソ画像に学習モデルを用いて、オルソ画像に写っている被検出対象（例えば道路）における不良箇所の有無を判定する（ステップＳ２２）。不良箇所が有ると判定された場合には（ステップＳ２３：ＹＥＳ）、抽出部３３は、ヒートマップ生成（図５）の技術を用いて、オルソ画像内の被検出対象における不良箇所の位置および範囲を抽出する（ステップＳ２４）。

【0042】

マスク部３４は、抽出部３３により抽出された不良箇所にマスク処理を行う（ステップＳ２５）。マスク部３４は、図６および図７に示されるように、抽出部３３により抽出された不良箇所の範囲に対して、アルファチャンネルに０を代入する。その後、マスク部３４は、アルファチャンネルに０が代入されたマスク領域ＭＲ１２に黒色のオブジェクトを配置し、マスク処理後のオルソ画像を作成する。その後、作成されたオルソ画像を対象として、ステップＳ２２以降の処理が繰り返される。

【0043】

ステップＳ２２，Ｓ２３の処理において、判定部３２は、オルソ画像内の被検出対象における不良箇所が無いと判定した場合には（ステップＳ２３：ＮＯ）、当該オルソ画像を画像ＤＢ４１に保存する（ステップＳ２６）。

【0044】

次に、判定部３２は、不良箇所を判定する他の撮影画像があり、不良箇所検出フローを継続するか否かを判定する（ステップＳ２７）。判定対象の撮影画像があり、不良箇所抽出フローを継続すると判定された場合には（ステップＳ２７：ＹＥＳ）、画像取得部３１は、判定対象である撮影画像を取得し（ステップＳ２１）、ステップＳ２２以降の処理が繰り返される。不良箇所検出フローを継続しないと判定された場合には（ステップＳ２７：ＮＯ）、不良箇所検出フローを終了する。その後、地図生成部３６は、ステップＳ２６の処理において画像ＤＢ４１に保存された複数のオルソ画像を用いて、１枚の全体オルソ画像を作成する。

【0045】

以上説明したように、本実施形態の地図生成装置２０の判定部３２は、画像内の被検出対象である道路における不良箇所の有無を判定する。抽出部３３は、画像内の不良箇所の位置を抽出する。マスク部３４は、抽出部３３により抽出された不良箇所の位置に対して、例えば図６に示されるように、不良箇所の画素に対してマスク処理を行う。また、本実施形態では、判定部３２により不良箇所が無いと判定されるまで、判定部３２による不良箇所の有無の判定と、抽出部３３による不良箇所の抽出と、マスク部３４によるマスク処理とは、繰り返し実行される。そのため、本実施形態の地図生成装置２０では、画像内の被検出対象における不良箇所に対して、繰り返しのマスク処理が行われる。すなわち、一度のマスク処理ではなく、複数回のマスク処理により、不良箇所がマスクされる。これにより、抽出部により不良箇所で無い箇所が誤って抽出されることが抑制される。換言すれば、画像内の被検出対象における不良箇所の位置が同定されて、不良箇所のみができるだけ抽出される。この結果、不良箇所の抽出後である不良で無い箇所の被検出対象を含む画像を用いることにより、例えば、正しい道路地図などの精度の高い画像を作成できる。

【0046】

また、本実施形態の抽出部３３は、ヒートマップ生成の技術を用いて、判定部３２により不良箇所と判定された最大の根拠となる位置と、当該位置を含む不良箇所の範囲を抽出する。すなわち、本実施形態では、不良箇所と判定された最大の根拠となる位置に加えて、当該位置を含む周囲の範囲も同時に抽出される。これにより、最大の根拠となる位置のみが抽出される場合と比較して、判定部３２の判定と、抽出部３３の抽出と、マスク部３４によるマスク処理との繰り返し回数を少なくできる。この結果、本実施形態の地図生成装置２０は、不良箇所の抽出を迅速に行うことができる。また、マスク部３４は、不良箇所の画素におけるアルファチャンネルに所定の値（上記実施形態では、０）を代入することで、不良箇所の不透明度を０とできる。また、マスク部３４は、アルファチャンネルに、不良箇所以外の箇所と比較して不透明度を十分に低くするような値を入力することで、不良箇所の不透明度を低下させてもよい。このようにしてマスク部３４は、不良箇所を簡単にマスクできる。

【0047】

また、本実施形態のマスク部３４は、図９に示されるように、大きさ及び形状の異なるマスク領域ＭＲ１２とマスク領域ＭＲ２２とを組み合わせて、抽出した不良箇所の範囲におけるアルファチャンネルに０を代入した後に、黒のオブジェクトを配置している。すなわち、本実施形態では、判定部３２の判定と、抽出部３３の抽出と、マスク部３４によるマスク処理とが繰り返されることにより、不良箇所の範囲を徐々に広くしていく。これにより、一度で不良箇所の範囲をマスクする場合と比較して、不良箇所としてオブジェクトが配置される範囲が小さくなる。この結果、本実施形態の地図生成装置２０は、不良箇所でない箇所を誤って抽出することをさらに抑制できる。

【0048】

また、本実施形態のマスク部３４は、図６に示されるマスク領域ＭＲ１２を、図７に示されるように、不良箇所が存在しないことが学習済みの色相である黒のオブジェクトに置換する。すなわち、マスク部３４は、不良箇所ではない色でマスク領域ＭＲ１２を置換する。そのため、マスク処理後に繰り返し行われる判定部３２による判定および抽出部３３による抽出で、マスク処理されたマスク領域ＭＲ１２が不良箇所として抽出されるおそれを抑制できる。

【0049】

また、本実施形態の学習部３５は、予め用意された複数の道路のオルソ画像を含む訓練データセットを用いて深層学習を行うことにより、判定部３２が不良箇所の有無の判定に用いる学習モデルを作成する。すなわち、深層学習によって得られた学習モデルを用いて判定部３２による不良箇所が判定されるため、判定の精度が向上する。

【0050】

＜上記実施形態の変形例＞
本発明は上記の実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。

【0051】

上記実施形態の地図生成装置２０は、画像内の被検出対象の不良箇所を検出する不良箇所検出装置の一例であったが、不良箇所検出装置については、上記実施形態が備える構成等に限られずに種々変形可能である。例えば、変形例の不良箇所検出装置は、地図生成システム１００の構成ではなく、１つの装置として独立していてもよく、地図を生成する機能を有していなくてもよい。マスク部３４は、不良箇所の画素に対するマスク処理として、当該画素のアルファチャンネルに所定の値である０を代入していたが、これ以外の方法が採用されてもよく、周知の技術を適用できる。

【0052】

不良箇所が検出される被検出対象は道路以外でもよい。また、不良箇所が抽出される画像は、オルソ画像に限られず、車載カメラ１１の撮影画像そのものであってもよい。この場合に、画像取得部３１は、取得した撮影画像からオルソ画像を作成しなくてもよい。上記実施形態では、学習モデルの作成に、予め用意された検証データセットと訓練データセットとを含む学習用データが用いられたが、他のデータが用いられてもよい。例えば、学習部３５は、所定の地域の車載カメラ１１の撮影画像を用いて学習モデルを作成し、所定の地域と異なる地域の撮影画像に対して、作成した学習モデルを用いてもよい。

【0053】

上記実施形態の抽出部３３は、Ｓｃｏｒｅ－ＣＡＭ［１］のヒートマップ生成の技術を用いて不良箇所を抽出したが、ヒートマップを用いない他の方法を用いて不良箇所を抽出してもよい。抽出部３３は、Ｇｒａｄ－ＣＡＭ［２］の技術を用いてもよいし、ヒートマップ生成以外の技術を用いてもよい。

【0054】

マスク部３４によるマスク処理は、抽出部３３により抽出された不良箇所と判定された位置のアルファチャンネルに０を代入した後に、当該位置を含む周りの範囲を黒のオブジェクトで置換したが、他の方法が用いられてもよい。マスク部３４は、アルファチャンネルに０を代入した後に、その後の黒のオブジェクトの置換の処理を行わなくてもよい。また、マスク部３４は、不良箇所と判定された範囲のアルファチャンネルに０を代入する代わりに、黒のオブジェクトを配置して、その後に任意に設定された、不良箇所が存在しないことが学習済みである異なる色相に置換してもよい。

【0055】

マスク部３４は、繰り返しのマスク処理において、同スコアのマスク領域ＭＲ１２（図６）とマスク領域ＭＲ２２（図９）とに対して黒色のオブジェクトを配置したが、マスク領域の設定については種々変形可能である。例えば、マスク部３４は、１回目のマスク処理と、２回目のマスク処理とで、アルファチャンネルに０を代入する範囲のスコアを変更してもよい。例えば、マスク部３４は、判定部３２により各オルソ画像に対して出力される数値の大きさ（０～１）に応じて、アルファチャンネルに０を代入する際の基準となるスコアを変更してもよい。また、マスク部３４は、繰り返されるマスク処理において、アルファチャンネルに０を代入する範囲の大きさ及び形状を常に一定に設定してもよい。

【0056】

上記実施形態において、ハードウェアによって実現されるとした構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されるとした構成の一部をハードウェアに置き換えるようにしてもよい。本発明は上記の実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能である。

【0057】

以上、実施形態、変形例に基づき本態様について説明してきたが、上記した態様の実施の形態は、本態様の理解を容易にするためのものであり、本態様を限定するものではない。本態様は、その趣旨並びに特許請求の範囲を逸脱することなく、変更、改良され得ると共に、本態様にはその等価物が含まれる。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することができる。

【符号の説明】

【0058】

１０…車両
１１…車載カメラ
２０…地図生成装置（不良箇所検出装置）
２１…ＲＯＭ
２２…ＲＡＭ
３０…ＣＰＵ
３１…画像取得部
３２…判定部
３３…抽出部
３４…マスク部
３５…学習部
３６…地図生成部
４０…記憶部
５０…通信部
６０…入力部
７０…出力部
１００…地図生成システム
４１…画像ＤＢ
４２…地図ＤＢ
４３…モデルＤＢ
ＩＭ１～ＩＭ３…分割画像
ＩＭ１１～ＩＭ１５…オルソ画像
ＭＰ１１～ＭＰ１３…ヒートマップ
ＭＲ１２，ＭＲ２２…マスク領域
ＲＧ１…不良領域（不良箇所）
ＲＧ１１，ＲＧ２１，ＲＧ３１…第１領域
ＲＧ１２，ＲＧ２２，ＲＧ３２…第２領域
ＲＧ１３，ＲＧ２３，ＲＧ３３…第３領域

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】