特開 2024-107784 機械学習装置、物体検出装置、物体検出システム、機械学習方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024107784

(43)【公開日】2024-08-09

(54)【発明の名称】機械学習装置、物体検出装置、物体検出システム、機械学習方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240802BHJP

【ＦＩ】

G06T7/00 350B

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2023011887

(22)【出願日】2023-01-30

(71)【出願人】

【識別番号】390010054

【氏名又は名称】コイト電工株式会社

(74)【代理人】

【識別番号】110003339

【氏名又は名称】弁理士法人南青山国際特許事務所

(72)【発明者】

【氏名】内山 知大

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096BA04

5L096DA02

5L096FA18

5L096FA64

5L096GA10

5L096KA04

(57)【要約】

【課題】精度よく物体を検出することができる学習パラメータを生成可能な機械学習装置などの技術を提供すること。
【解決手段】本技術に係る機械学習装置は、制御部を具備する。機械学習装置は、物体の検出領域と、前記物体の検出を規制するための第１のマスクが施された非検出領域とを含む、物体検出における検出用画像に学習パラメータによる推論を適用して物体検出を行う前段階として、学習用画像の学習により前記学習パラメータを生成する装置である。前記制御部は、前記学習用画像において、前記検出用画像における前記検出領域と、前記非検出領域との境界に対応する位置に、前記第１のマスクよりも狭い幅を有する第２のマスクを施し、前記第２のマスクを含む前記学習用画像に基づく学習を行って、前記学習パラメータを生成する。
【選択図】図８

【特許請求の範囲】

【請求項1】

物体の検出領域と、前記物体の検出を規制するための第１のマスクが施された非検出領域とを含む、物体検出における検出用画像に学習パラメータによる推論を適用して物体検出を行う前段階として、学習用画像の学習により前記学習パラメータを生成する機械学習装置であって、
前記学習用画像において、前記検出用画像における前記検出領域と、前記非検出領域との境界に対応する位置に、前記第１のマスクよりも狭い幅を有する第２のマスクを施し、前記第２のマスクを含む前記学習用画像に基づく学習を行って、前記学習パラメータを生成する制御部
を具備する機械学習装置。

【請求項2】

請求項１に記載の機械学習装置であって、
前記第２のマスクの幅は、前記物体検出におけるバウンディングボックスのサイズに関連して設定される
機械学習装置。

【請求項3】

請求項２に記載の機械学習装置であって、
前記第２のマスクの幅は、前記物体検出におけるバウンディングボックスの最小サイズに対応する大きさよりも大きい
機械学習装置。

【請求項4】

請求項１に記載の機械学習装置であって、
前記第２のマスクの幅は、可変に制御される
機械学習装置。

【請求項5】

物体の検出領域と、前記物体の検出を規制するための第１のマスクが施された非検出領域とを含む、物体検出における検出用画像に学習パラメータによる推論を適用して物体検出を行う前段階として、学習用画像の学習により前記学習パラメータを生成する機械学習装置であって、前記学習用画像において、前記検出用画像における前記検出領域と、前記非検出領域との境界に対応する位置に、前記第１のマスクよりも狭い幅を有する第２のマスクを施し、前記第２のマスクを含む前記学習用画像に基づく学習を行って、前記学習パラメータを生成する機械学習装置によって生成された前記学習パラメタメータを入力し、前記検出用画像に前記学習パラメータによる推論を適用して物体検出を行う制御部
を具備する物体検出装置。

【請求項6】

物体の検出領域と、前記物体の検出を規制するための第１のマスクが施された非検出領域とを含む、物体検出における検出用画像に学習パラメータによる推論を適用して物体検出を行う前段階として、学習用画像の学習により前記学習パラメータを生成する機械学習装置であって、前記学習用画像において、前記検出用画像における前記検出領域と、前記非検出領域との境界に対応する位置に、前記第１のマスクよりも狭い幅を有する第２のマスクを施し、前記第２のマスクを含む前記学習用画像に基づく学習を行って、前記学習パラメータを生成する機械学習装置と、
前記検出用画像に前記学習パラメータによる推論を適用して前記物体検出を行う物体検出装置と
を具備する物体検出システム。

【請求項7】

物体の検出領域と、前記物体の検出を規制するための第１のマスクが施された非検出領域とを含む、物体検出における検出用画像に学習パラメータによる推論を適用して物体検出を行う前段階として、学習用画像の学習により前記学習パラメータを生成する機械学習方法あって、
前記学習用画像において、前記検出用画像における前記検出領域と、前記非検出領域との境界に対応する位置に、前記第１のマスクよりも狭い幅を有する第２のマスクを施し、
前記第２のマスクを含む前記学習用画像に基づく学習を行って、前記学習パラメータを生成する
を具備する機械学習方法。

【発明の詳細な説明】

【技術分野】

【0001】

本技術は、物体検出に用いられる学習パラメータを生成する機械学習装置などの技術に関する。

【背景技術】

【0002】

従来から、検出用画像内に検出対象となる物体が写っているかどうかを判定する物体検出技術が広く知られている(例えば、下記特許文献１参照)。

【0003】

物体検出においては、予め、学習用画像が機械学習によって学習されることで学習パラメータが生成される。その後、検出用画像に対して学習パラメータによる推論が適用されて、物体の種類や、物体の存在確率、物体が存在している座標等が判定される。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０２２－１８２４３７号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

物体検出において、精度よく物体を検出することができる学習パラメータを生成可能な機械学習装置などの技術が求められている。

【0006】

以上のような事情に鑑み、本技術の目的は、精度よく物体を検出することができる学習パラメータを生成可能な機械学習装置などの技術を提供することにある。

【課題を解決するための手段】

【0007】

本技術に係る機械学習装置は、制御部を具備する。
機械学習装置は、物体の検出領域と、前記物体の検出を規制するための第１のマスクが施された非検出領域とを含む、物体検出における検出用画像に学習パラメータによる推論を適用して物体検出を行う前段階として、学習用画像の学習により前記学習パラメータを生成する装置である。
前記制御部は、前記学習用画像において、前記検出用画像における前記検出領域と、前記非検出領域との境界に対応する位置に、前記第１のマスクよりも狭い幅を有する第２のマスクを施し、前記第２のマスクを含む前記学習用画像に基づく学習を行って、前記学習パラメータを生成する。

【0008】

この機械学習装置では、学習用画像において、検出用画像における検出領域と、非検出領域との境界に対応する位置に第２のマスクが施されているので、機械学習において、検出用画像における上記境界を予め学習させることができる。

【0009】

さらに、この機械学習装置では、学習用画像における第２のマスクは、検出用画像の第１のマスクよりも幅が狭くなっているため、機械学習において、無模様で特徴のないマスクから多くを学習してしまうことによる学習パラメータへの悪影響を低減させることができる。これにより、精度よく物体を検出することが可能な学習パラメータを生成することができる。

【0010】

上記機械学習装置において、前記第２のマスクの幅は、前記物体検出におけるバウンディングボックスのサイズに関連して設定されていてもよい。

【0011】

これにより、第２のマスクの幅を適切に設定することができ、さらに精度よく物体を検出することが可能な学習パラメータを生成することができる。

【0012】

上記機械学習装置において、前記第２のマスクの幅は、前記物体検出におけるバウンディングボックスの最小サイズに対応する大きさよりも大きくてもよい。

【0013】

これにより、第２のマスクの幅を適切に設定することができ、さらに精度よく物体を検出することが可能な学習パラメータを生成することができる。

【0014】

上記機械学習装置において、前記第２のマスクの幅は、可変に制御されてもよい。

【0015】

これにより、例えば、検出用画像の種類（例えば、検出領域、非検出領域の位置や、広さが違う）等に応じて、第２のマスクの幅を適切に設定することができ、さらに精度よく物体を検出することが可能な学習パラメータを生成することができる。

【0016】

本技術に係る物体検出装置は、制御部を具備する。
前記制御部は、物体の検出領域と、前記物体の検出を規制するための第１のマスクが施された非検出領域とを含む、物体検出における検出用画像に学習パラメータによる推論を適用して物体検出を行う前段階として、学習用画像の学習により前記学習パラメータを生成する機械学習装置であって、前記学習用画像において、前記検出用画像における前記検出領域と、前記非検出領域との境界に対応する位置に、前記第１のマスクよりも狭い幅を有する第２のマスクを施し、前記第２のマスクを含む前記学習用画像に基づく学習を行って、前記学習パラメータを生成する機械学習装置によって生成された前記学習パラメタメータを入力し、前記検出用画像に前記学習パラメータによる推論を適用して物体検出を行う。

【0017】

本技術に係る物体検出システムは、機械学習装置と、物体検出装置とを具備する。
前記機械学習装置は、物体の検出領域と、前記物体の検出を規制するための第１のマスクが施された非検出領域とを含む、物体検出における検出用画像に学習パラメータによる推論を適用して物体検出を行う前段階として、学習用画像の学習により前記学習パラメータを生成する機械学習装置であって、前記学習用画像において、前記検出用画像における前記検出領域と、前記非検出領域との境界に対応する位置に、前記第１のマスクよりも狭い幅を有する第２のマスクを施し、前記第２のマスクを含む前記学習用画像に基づく学習を行って、前記学習パラメータを生成する。
前記物体検出装置は、前記検出用画像に前記学習パラメータによる推論を適用して前記物体検出を行う。

【0018】

本技術に係る物体検出方法は、物体の検出領域と、前記物体の検出を規制するための第１のマスクが施された非検出領域とを含む、物体検出における検出用画像に学習パラメータによる推論を適用して物体検出を行う前段階として、学習用画像の学習により前記学習パラメータを生成する機械学習方法あって、前記学習用画像において、前記検出用画像における前記検出領域と、前記非検出領域との境界に対応する位置に、前記第１のマスクよりも狭い幅を有する第２のマスクを施し、前記第２のマスクを含む前記学習用画像に基づく学習を行って、前記学習パラメータを生成する。

【発明の効果】

【0019】

以上のように、本技術によれば、精度よく物体を検出することができる学習パラメータを生成可能な機械学習装置などの技術を提供することができる。

【図面の簡単な説明】

【0020】

【図1】本技術の一実施形態に係る物体検出システムを示す図である。

【図2】物体検出装置による物体検出処理における一連の流れを示す概略図である。

【図3】物体検出処理の一例を示すフローチャートである。

【図4】撮像装置によって撮像された画像の一例を示す図である。

【図5】第１のマスクを含む検出用画像を示す図である。

【図6】機械学習装置による機械学習処理における一連の流れを示す概略図である。

【図7】機械学習処理の一例を示すフローチャートである。

【図8】第２のマスクが施された学習用画像の一例を示す図である。

【発明を実施するための形態】

【0021】

以下、本技術に係る実施形態を、図面を参照しながら説明する。

【0022】

＜全体構成及び各部の構成＞
図１は、本技術の一実施形態に係る物体検出システム１００を示す図である。図１に示すように、物体検出システム１００は、撮像装置１０と、物体検出装置２０と、機械学習装置３０とを含む。

【0023】

なお、本実施形態の説明では、物体検出装置２０と、機械学習装置３０が別体の装置である場合について説明するが、物体検出装置２０と、機械学習装置３０は、同一の１台の装置であってもよい（例えば、１台の情報処理装置（PC（Personal Computer））。この場合、１台の装置が物体検出処理と、機械学習処理を実行すればよい。

【0024】

本実施形態における物体検出システム１００においては、物体検出装置２０が、撮像装置１０によって取得された画像に対して、機械学習装置３０によって生成された学習パラメータによる推論を適用することによって物体検出を行うように構成されている。

【0025】

典型的には、本実施形態に係る物体検出システム１００においては、例えば、交差点や車道等を撮像可能な位置に撮像装置１０が設置され、撮像装置１０からの画像が物体検出装置２０へ出力される。物体検出装置２０は、撮像装置１０から入力された画像に対して、機械学習装置３０によって生成された学習パラメータによる推論を適用することによって、検出対象となる物体（車両、歩行者等）を検出し、その種別や、存在確率、座標などを判定する。

【0026】

この判定結果は、例えば、交差点や車道に設置された信号機の点灯を制御する交通管制センタなどに送信され、信号機による点灯色の切り替えのタイミングなどが制御される。

【0027】

本実施形態において、検出対象である物体は、例えば、車道を走行する車両のほか、側道や横断歩道上の歩行者などを含む。車両には、自動車（セダン車、ワゴン車、トラック、軽車両などの種別を含む）、二輪車などが含まれる。

【0028】

なお、本実施形態においては、物体検出システム１００が交通制御用途に用いられる場合について説明するが、物体検出システム１００は、防犯等ための監視用途、外観不良による異常検知の用途、医療用途等、各種の用途に適用可能である。なお、検出対象となる物体は、用途に応じて変わる可能性があり、つまり、検出対象となる物体はいかなる物体であってもよい。

【0029】

撮像装置１０は、例えば、撮像領域を所定のフレームレートで撮像可能なビデオカメラである。撮像装置１０は、CCD（Charge Coupled Device）センサやCMOS（Complementary Metal Oxide Semiconductor）センサなどの各種の撮像デバイスや、結像レンズなどの各種の光学系を含む。撮像装置１０は、信号機や、電柱、建物の屋上等、比較的に高い位置から交差点、車道を撮像可能な位置に設置され、検出対象となる物体（車両等）が写っている可能性がある画像を取得し、この画像を検出用画像（図４参照）として物体検出装置２０へと出力する。

【0030】

物体検出装置２０は、撮像された検出用画像内に検出対象となる物体が写っているかどうかを判定することが可能に構成されており、また、検出対象となる物体が写っている場合には、その種類(クラス)や、存在確率、座標などを判定することが可能に構成されている。

【0031】

物体検出装置２０は、PC（デスクトップ型、ラップトップ型、タブレット型等）等の汎用の装置であってもよいし、専用の装置であってもよい。物体検出装置２０は、制御部２１と、記憶部２２と、通信部２３とを含む。物体検出装置２０は、表示部（例えば液晶ディスプレイ）や操作部（例えばキーボード、マウス、タッチセンサ等）を含んでいてもよい。

【0032】

制御部２１は、記憶部２２に記憶された各種のプログラムに基づき種々の演算を実行し、物体検出装置２０の各部を統括的に制御する。典型的には、制御部２１は、物体検出処理（例えば、物体検出モデル YOLO）を実行する。

【0033】

物体検出処理においては、制御部２１は、撮像装置１０によって取得された検出用画像（図４参照）において、物体の非検出領域に第１のマスク１による加工を施し、第１のマスク１を含む検出用画像（図５参照）を生成する。そして、制御部２１は、この検出用画像に対して、機械学習装置３０によって生成された学習パラメータによる推論を適用することによって物体検出を行う。物体検出処理については、後に詳述する。

【0034】

制御部２１は、ハードウェア、又は、ハードウェア及びソフトウェアの組合せにより実現される。ハードウェアは、制御部２１の一部又は全部として構成され、このハードウェアとしては、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＶＰＵ（Vision Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＦＰＧＡ（Field Programmable Gate Array）、ＡＳＩＣ（Application Specific Integrated Circuit）、あるいは、これらのうち２以上の組合せなどが挙げられる。なお、これについては、機械学習装置３０の制御部３１においても同様である。

【0035】

記憶部２２は、制御部２１の処理に必要な各種のプログラムや、各種のデータが記憶される不揮発性のメモリと、制御部２１の作業領域として用いられる揮発性のメモリとを含む。

【0036】

なお、上記各種のプログラムは、光ディスク、半導体メモリなどの可搬性の記録媒体から読み取られてもよいし、ネットワーク上のサーバ装置からダウンロードされてもよい。これについては、機械学習装置３０において同様である。

【0037】

通信部２３は、撮像装置１０や、機械学習装置３０、交通管制センタ等との間で通信可能に構成されている。

【0038】

機械学習装置３０は、学習用画像の深層学習による機械学習が可能に構成されており、機械学習によって生成された学習パラメータを物体検出装置２０に出力可能に構成されている。

【0039】

機械学習装置３０は、PC等の汎用の装置であってもよいし、専用の装置であってもよい。機械学習装置３０は、制御部３１と、記憶部３２と、通信部３３とを含む。機械学習装置３０は、表示部（例えば液晶ディスプレイ）や操作部（例えばキーボード、マウス、タッチセンサ等）を含んでいてもよい。

【0040】

制御部３１は、記憶部３２に記憶された各種のプログラムに基づき種々の演算を実行し、機械学習装置３０の各部を統括的に制御する。典型的には、制御部３１は、機械学習処理を実行する。

【0041】

機械学習処理においては、制御部３１は、学習用画像において、検出用画像における検出領域と、非検出領域との境界に対応する位置に、検出用画像の第１のマスク１よりも狭い幅を有する第２のマスク２を施し（図８参照）、第２のマスク２を含む学習用画像に基づく学習を行って、学習パラメータを生成する。この学習パラメータは、物体検出装置２０へと送信され、物体検出装置２０の記憶部２２に記憶される。機械学習処理については、後に詳述する。

【0042】

記憶部３２は、制御部３１の処理に必要な各種のプログラムや、各種のデータが記憶される不揮発性のメモリと、制御部の作業領域として用いられる揮発性のメモリとを含む。

【0043】

通信部３３は、物体検出装置２０等との間で通信可能に構成されている。

【0044】

＜動作説明＞
［物体検出処理］
次に、物体検出処理について説明する。図２は、物体検出装置２０による物体検出処理における一連の流れを示す概略図である。図３は、物体検出処理の一例を示すフローチャートである。

【0045】

図２及び図３を参照して、まず、物体検出装置２０（制御部２１）は、撮像装置１０によって撮像された画像が撮像装置１０から入力される度に、その画像を記憶部に記憶させ、記憶部に記憶された画像の中から一枚の画像（最新の画像）を読み込む（ステップ１０１）。次に、物体検出装置２０は、画像内における非検出領域（指定エリア）を同じ色及び明るさにすることによって、画像における非検出領域に第１のマスク１を施す（前処理）（ステップ１０２）。

【0046】

図４は、撮像装置１０によって撮像された画像の一例を示す図である。図５は、第１のマスク１を含む検出用画像を示す図である。

【0047】

図５に示すように、物体検出における検出用画像は、物体の検出領域と、物体の検出を規制するための第１のマスク１が施された非検出領域とを含む。非検出領域は、物体の検出が不要である領域としてあらかじめ設定されている。図５に示す例では、両走行方向の走行車線のうち、一方向の走行車線に対応する領域が検出領域に設定されており、それ以外の領域が非検出領域に設定されている。

【0048】

物体検出装置２０は、第１のマスク１を含む検出用画像を生成すると、次に、その画像のサイズを、推論のための入力画像サイズに変更する（ステップ１０３）。次に、物体検出装置２０は、サイズが適切なサイズに変更された、第１のマスク１を含む検出用画像に対して、学習パラメータによる推論を適用することによって、検出対象となる物体（車両、歩行者等）を検出し、その種別や、存在確率、座標などを判定する（ステップ１０４）。この物体検出においては、検出対象となる物体を囲む矩形のバウンディングボックス等が用いられる。

【0049】

次に、物体検出装置２０は、物体検出による判定結果を、例えば、交通管制センタ等に送信する（ステップ１０５）。判定結果は、例えば、信号機の点灯色の切り替えのタイミングの制御等に用いられる。

【0050】

判定結果を送信した後、物体検出装置２０は、処理を終了するかどうかを判定し（ステップ１０６）、処理を継続する場合には（ステップ１０６のNO）、ステップ１０１へ戻り、処理を終了する場合には（ステップ１０６のYES）、処理を終了する。

【0051】

［機械学習処理］
次に、機械学習処理について説明する。図６は、機械学習装置３０による機械学習処理における一連の流れを示す概略図である。図７は、機械学習処理の一例を示すフローチャートである。

【0052】

図６及び図７を参照して、まず、機械学習装置３０（制御部）は、iの値をi=1に設定し（ステップ２０１）、予め用意された、複数の学習用画像を含む画像データセットAの中からi番目の学習用画像を記憶部から読み込む（ステップ２０２）。

【0053】

次に、機械学習装置３０は、読み込んだ学習用画像において、指定エリアを同じ色及び明るさにすることによって、検出用画像における検出領域と、非検出領域との境界に対応する位置に、検出用画像の第１のマスク１よりも狭い幅を有する第２のマスク２を施す（ステップ２０３）。第２のマスク２は、典型的には、帯状の形状を有しているが、その形状は、帯状以外の形状であってもよい。なお、典型的には、学習用画像における第２のマスク２の色、明るさ及びテクスチャは、検出用画像における第１のマスク１の色、明るさ及びテクスチャと同じに設定される。

【0054】

図８は、第２のマスク２が施された学習用画像の一例を示す図である。図８に示すように、学習用画像は、典型的には、検出用画像と同じ画角から撮像された画像が用いられる。

【0055】

図８における学習用画像においては、２本の第２のマスク２が施されている。２本の第２のマスク２のうち、左側の第２のマスク２ｂの右側の境界線は、検出用画像における左側の第１のマスク１ｂの右側の境界線の位置と一致するように、その位置が設定されている。また、２本の第２のマスク２のうち、右側の第２のマスク２ａの左側の境界線は、検出用画像における右側の第１のマスク１ａの左側の境界線の位置と一致するように、その位置が設定されている。

【0056】

なお、典型的には、左側の第２のマスク２ｂの右側の境界線、右側の第２のマスク２ａの左側の境界線は、それぞれ、左側の第１のマスク１ｂの右側の境界線、右側の第２のマスク２ａの左側の境界線と一致するように設定されるが、必ずしも完全に一致している必要はない。つまり、機械学習において、第１のマスク１及び背景の境界部分を予め学習しておけばよいので、第２のマスク２及び背景の境界部分と、第１のマスク１及び背景の境界部分が同等となるように、第２のマスク２の位置が設定されていればよい。

【0057】

例えば、検出用画像において、第１のマスク１及び背景の境界部分が、路面に設定されている場合、学習用画像において、第２のマスク２及び背景の境界部分も路面に設定されていれば、第２のマスク２の位置（マスク２ｂの右側の境界線の位置、マスク２ａの左側の境界線の位置）は、路面の範囲内で変更可能である。

【0058】

本実施形態では、学習用画像における第２のマスク２の幅は、検出用画像における第１のマスク１よりもその幅が狭くなるように設定されている。

【0059】

また、学習用画像における第２のマスク２の幅は、物体検出におけるバウンディングボックスのサイズに関連して設定されていてもよい。この場合、第２のマスク２の幅は、物体検出におけるバウンディングボックスの最小サイズ（これ以上物体が小さい場合には物体検出を行わないサイズ）に対応する大きさよりも大きくなるように設定されていてもよい。また、第２のマスク２の幅は、物体検出におけるバウンディングボックスの最小サイズに対応する大きさの５倍（あるいは、４倍、３倍、２倍等）よりも小さく設定されていてもよい。

【0060】

また、第２の学習用画像における第２のマスク２の幅は、予め１つの値が設定されていてもよいし、可変に制御されてもよい。

【0061】

なお、図８に示す例では、第２のマスク２の数が２本である場合が示されているが、第２のマスク２の数は、１本でも、３本以上でもよく、その数については特に限定されない。また、図８に示す例では、第２のマスク２の形状が直線的（あるいは、少し曲線的）である場合について説明したが、第１のマスク１の形状については、曲線、円形、多角形等、どのような形状であっても構わない。

【0062】

学習用画像に対して第２のマスク２を施すと、次に、機械学習装置３０は、第２のマスク２を含む学習用画像を画像データセットBのi番目の画像として記憶部に記憶する（ステップ２０４）。

【0063】

次に、機械学習装置３０は、iの値をi=i+1に設定し（ステップ２０５）、現在のiの値が、画像データセットＡに含まれる学習用画像の総枚数以下の値であるかどうかを判定する（ステップ２０６）。

【0064】

現在のiの値が画像データセットＡに含まれる学習用画像の総枚数以下である場合（ステップ２０６のＹＥＳ）、つまり、第２のマスク２が施されていない学習用画像がまだ残っている場合、機械学習装置３０は、ステップ２０２へ戻り、次の学習用画像に対して第２のマスク２を施す処理を実行する。

【0065】

一方、現在のiの値が画像データセットＡに含まれる学習用画像の総枚数を超える場合（ステップ２０６のＮＯ）、つまり、全ての学習用画像に対して第２のマスク２が施された場合、機械学習装置３０は、次のステップ２０７へ進む。

【0066】

ステップ２０７では、機械学習装置３０は、iの値をi=1に設定する。次に、機械学習装置３０は、記憶部において画像データセットＢからi番目の学習用画像（第２のマスク２を含む）を読み込む（ステップ２０８）。次に、機械学習装置３０は、そのi番目の学習用画像（第２のマスク２を含む）を深層学習による機械学習により学習し、学習パラメータを生成（更新）する（ステップ２０９）。

【0067】

次に、機械学習装置３０は、iの値をi=i+1に設定し（ステップ２１０）、現在のiの値が、画像データセットＢに含まれる学習用画像の総枚数以下の値であるかどうかを判定する（ステップ２１１）。

【0068】

現在のiの値が画像データセットＢに含まれる学習用画像の総枚数以下である場合（ステップ２１１のＹＥＳ）、つまり、機械学習が行われていない学習用画像がまだ残っている場合、機械学習装置３０は、ステップ２０８へ戻り、次の学習用画像（第２のマスク２を含む）を機械学習により学習する。

【0069】

一方、現在のiの値が画像データセットＢに含まれる学習用画像の総枚数を超える場合（ステップ２１１のＮＯ）、つまり、全ての学習用画像（第２のマスク２を含む）の機械学習が終了した場合、機械学習装置３０は、学習パラメータを物体検出装置２０へと送信し（ステップ２１２）、処理を終了する。

【0070】

なお、機械学習装置３０は、学習パラメータが最適化される（例えば、物体検出のための試験用画像での検出精度が設定値以上とされる）まで、ステップ２０７～ステップ２１１の処理を繰り返してもよい（繰り返し学習は、画像データセットBの全体を繰り返しの１単位として処理を繰り返してもよく、画像データセットBにおける学習用画像の１枚を繰り返しの1単位として処理を繰り返してもよい）。また、学習の対象となる学習用画像の読み込みの順番は、ランダムであってもよい。

【0071】

＜作用等＞
次に、本実施形態に係る物体検出システム１００の作用等について説明する。ここでの説明では、第１の比較例及び第２の比較例との比較により、本実施形態の作用について説明する。

【0072】

［第１の比較例］
まず、第１の比較例について説明する。第１の比較例においては、機械学習装置３０における学習用画像として、図４に示すような、マスクが施されていない画像（例えば撮像されたそのままの画像）が用いられる。そして、機械学習装置３０において、このマスクが施されていない学習用画像に基づき、機械学習が行われ、学習パラメータが生成される。

【0073】

また、第１の比較例では、物体検出装置２０において、マスクが施されていない画像に基づいて生成された学習パラメータに基づき、物体検出処理が実行される。第１の比較例において、それ以外の点については、本実施形態と同様であり、例えば、物体検出が行われる検出用画像は、図５に示すような、非検出領域に第１のマスク１が施された画像である。

【0074】

第１の比較例では、検出用画像（図５参照）において、第１のマスク１が施された領域（非検出領域）及び第１のマスク１が施されていない領域（検出領域）が存在し、また、第１のマスク１が施された領域と、第１のマスク１が施されていない領域との境界などが存在するが、一方で、学習用画像には、第１のマスク１が施された領域や、上記境界などは存在しない。

【0075】

このため、第１の比較例では、学習用画像において学習していない第１のマスク１や上記境界を含む検出用画像に対して物体検出を行うことになるため、物体の検出精度が低下してしまうといった問題がある。

【0076】

［第２の比較例］
次に、第２の比較例について説明する。上述の第１の比較例において説明したように、学習用画像において学習していない対象を含む検出用画像に対して物体検出を行おうとすると物体検出の精度が低下してしまう。このため、第２比較例においては、学習用画像において物体検出用画像と同様の画像が用いられる（図５参照）。

【0077】

つまり、第２比較例では、 機械学習装置３０における学習用画像として、図５に示すような、検出用画像と同様の第１のマスク１が施された画像が用いられ、この第１のマスク１が施された学習用画像に基づき、機械学習が行われ、学習パラメータが生成される。

【0078】

また、第２の比較例では、物体検出装置２０において、検出用画像と同様の第１のマスク１が施された画像に基づいて生成された学習パラメータに基づき、物体検出処理が実行される。

【0079】

第２の比較例では、学習用画像において物体検出用画像と同様の画像が用いられるので、学習用画像において第１のマスク１や上記境界部分（背景として認識）が学習済みとなる。したがって、第１のマスク１や上記境界を含む検出用画像において物体検出を行う際に、物体の検出精度を向上させることができるとも考えられる。

【0080】

しかしながら、本発明者らが実際に第２の比較例による物体検出を行った結果、第１の比較例よりも物体の検出精度は向上するものの、その効果は限定的であり、その効果があまりないことが分かった。

【0081】

これは、以下の理由によるものと考えられる。まず、図５に示すような第１のマスク１を含む画像が学習用画像として用いられた場合、第１のマスク１の領域が広いので、濃淡のない平面的な第１のマスク１から多くのことを学んでしまい、これが学習パラメータに悪影響を与えていると考えられる。例えば、検出の対象となる車両が、濃淡のない平面的な部分（ボンネット、屋根等）を少しでも含んでいる場合、検出対象ではないと判断してしまう可能性がある。

【0082】

また、図５に示すような第１のマスク１を含む画像が学習用画像として用いられた場合、第１のマスク１の領域が広いので、学習の対象となる物体の数が減り、学習の効率が落ちることによって物体の検出精度が低下してしまうと考えられる。

【0083】

［本実施形態］
そこで、本実施形態においては、学習用画像において、検出用画像における検出領域と、非検出領域との境界に対応する位置に、検出用画像の第１のマスク１よりも狭い幅を有する第２のマスク２を施し、第２のマスク２を含む学習用画像に基づく学習を行って、学習パラメータを生成することとしている。

【0084】

本実施形態に係る機械学習装置３０では、学習用画像において、検出用画像における検出領域と、非検出領域との境界に対応する位置に第１のマスク１が施されているので、機械学習において、検出用画像における上記境界（背景として認識）を予め学習させることができる。

【0085】

さらに、本実施形態に係る機械学習装置３０では、学習用画像における第２のマスク２は、検出用画像の第１のマスク１よりも幅が狭くなっているため、機械学習において、無模様で特徴のない第１のマスク１から多くを学習してしまうことによる学習パラメータへの悪影響を低減させることができ、また、学習の対象となる物体の数を増やすことで学習の効率も向上させることもできる。これにより、精度よく物体を検出することが可能な学習パラメータを生成することができる。

【0086】

本発明者らが実際に本実施形態による物体検出を行った結果、第１の比較例及び第２の比較例よりも物体の検出精度が向上することが分かっている。

【0087】

本実施形態において、学習用画像の第２のマスク２の幅は、典型的には、検出用画像の第１のマスク１の幅よりも狭ければよいが、あまり狭すぎると、上記境界が認識されず、境界部分の学習が行われない可能性がある。このため、例えば、第２のマスク２の幅は、物体検出におけるバウンディングボックスの最小サイズ（これ以上物体が小さい場合には物体検出を行わないサイズ）に対応する大きさよりも大きくなるように設定されていてもよい。

【0088】

一方、学習用画像の第２のマスク２の幅は、あまり広すぎると、上記したような第１のマスク１からの不必要な学習などがおこなわれてしまう可能性がある。このため、例えば、第２のマスク２の幅は、物体検出におけるバウンディングボックスの最小サイズに対応する大きさの５倍（あるいは、４倍、３倍、２倍等）よりも小さく設定されていてもよい。

【0089】

また、第２の学習用画像における第２のマスク２の幅は、予め１つの値が設定されていてもよいし、可変に制御されてもよい（バウンディングボックスのサイズに関連して可変に制御することも可能）。第２のマスク２の幅が可変に制御される場合、検出用画像の種類（例えば、検出領域、非検出領域の位置や、広さが違う）等に応じて、第２のマスクの幅を適切に変更することができる。

【符号の説明】

【0090】

１…マスク
２…第２のマスク
１０…撮像装置
２０…物体検出装置
２１…制御部
３０…機械学習装置
３１…制御部
１００…物体検出システム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】