特開 2024-35280 物体検出装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024035280

(43)【公開日】2024-03-14

(54)【発明の名称】物体検出装置

(51)【国際特許分類】

   G01S 15/87 20060101AFI20240307BHJP

   G01S 15/931 20200101ALI20240307BHJP

   G01S 7/539 20060101ALI20240307BHJP

【ＦＩ】

G01S15/87

G01S15/931

G01S7/539

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2022139642

(22)【出願日】2022-09-02

(71)【出願人】

【識別番号】000001487

【氏名又は名称】フォルシアクラリオン・エレクトロニクス株式会社

(74)【代理人】

【識別番号】240000327

【弁護士】

【氏名又は名称】弁護士法人クレオ国際法律特許事務所

(72)【発明者】

【氏名】黒澤 大樹

(72)【発明者】

【氏名】石本 香織里

【テーマコード（参考）】

5J083

【Ｆターム（参考）】

5J083AA02

5J083AB13

5J083AC28

5J083AD04

5J083AD05

5J083AE06

5J083AF05

5J083AF06

5J083AF09

5J083EB11

5J083EB12

(57)【要約】

【課題】超音波ソナーによる物体の検知結果が適切かどうかを判定することが可能な物体検出装置を提供する。
【解決手段】物体検出装置１００は、超音波を用いて物体を検知する第１超音波ソナーＦＭＬ及び第２超音波ソナーＦＭＲが所定の値よりも高さが低い物体を検知したときの測定データと、第１超音波ソナーＦＭＬ及び第２超音波ソナーＦＭＲが所定の値以上の高さの物体を検知したときの測定データとに基づいて予め作成された深層学習モデルが記憶されている学習モデル記憶部２１と、第１超音波ソナーＦＭＬ及び第２超音波ソナーＦＭＲが測定した測定データを取得するソナーデータ取得部１１と、測定データを深層学習モデル２１へ入力したときの深層学習モデル２１からの出力が所定の値よりも高さが低い物体であるかどうかを判定するデータ判定部１４と、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

超音波を用いて物体を検知する超音波ソナーが所定の値よりも高さが低い物体を検知したときの測定データと、前記超音波ソナーが前記所定の値以上の高さの物体を検知したときの測定データとに基づいて予め作成された深層学習モデルが記憶されている学習モデル記憶部と、
前記超音波ソナーが測定した測定データを取得するソナーデータ取得部と、
前記測定データを前記深層学習モデルへ入力したときの前記深層学習モデルからの出力が前記所定の値よりも高さが低い物体であるかどうかを判定するデータ判定部と、
を備える物体検出装置。

【請求項2】

前記深層学習モデルからの前記出力が、前記所定の値よりも高さが低い物体であるとき、前記測定データに基づいて所定の処理を行わないことを決定し、
前記出力が、前記所定の値以上の高さの物体であるとき、前記測定データに基づいて前記所定の処理を行うことを決定する制御部、を備える
請求項１に記載の物体検出装置。

【請求項3】

前記制御部は、車両を制御する処理を行う車両制御部である
請求項２に記載の物体検出装置。

【請求項4】

前記制御部は、車両の周辺に物体を検出したことを乗員へ報知する報知部である
請求項２に記載の物体検出装置。

【請求項5】

前記深層学習モデルは、前記測定データを入力すると、前記測定データに対応する物体が前記所定の値よりも高さが低い物体かどうかを判定した結果を出力する
請求項１～４の何れか一項に記載の物体検出装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、物体検出装置に関するものである。

【背景技術】

【0002】

超音波ソナーで取得した障害物（物体）の座標に、同じ障害物に対してライダー（LiDAR；Light Detection and Ranging/Laser Imaging Detection and Ranging）で取得した障害物の座標をラベル付けして学習モデルへ学習させ、この学習済の学習モデルに超音波ソナーで取得した障害物の座標を入力して、当該座標の真偽を取得する技術が開示されている（例えば、特許文献１参照）。

【0003】

しかしながら、上記従来技術では、超音波ソナーとは別に高価なライダーを備える必要があり、コスト高となる。さらに、超音波ソナーが縁石等の車両に衝突しない高さの障害物を車両に衝突する高さの障害物であると誤って検知する可能性があった。このため、ライダーを用いることなく、超音波ソナーで取得した測定データに基づいて、超音波ソナーによる物体の検知結果が適切かどうかを判定できる技術の開発が切望されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０２１－５２７８３３号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

そこで、本開示は、超音波ソナーによる物体の検知結果が適切かどうかを判定することが可能な物体検出装置を提供することを目的としている。

【課題を解決するための手段】

【0006】

前記目的を達成するために、本開示の物体検出装置は、超音波を用いて物体を検知する超音波ソナーが所定の値よりも高さが低い物体を検知したときの測定データと、前記超音波ソナーが前記所定の値以上の高さの物体を検知したときの測定データとに基づいて予め作成された深層学習モデルが記憶されている学習モデル記憶部と、前記超音波ソナーが測定した測定データを取得するソナーデータ取得部と、前記測定データを前記深層学習モデルへ入力したときの前記深層学習モデルからの出力が前記所定の値よりも高さが低い物体であるかどうかを判定するデータ判定部と、を備える。

【発明の効果】

【0007】

このように構成された本開示の物体検出装置では、高さが既知の物体を用いて超音波ソナーで取得した測定データに基づいて予め深層学習させることで作成した深層学習モデルに、超音波ソナーで取得した測定データを入力する。このことにより、超音波ソナーによる物体の検知結果が適切かどうかを判定することが可能となる。

【図面の簡単な説明】

【0008】

【図1】第１実施形態に係る物体検出装置の概略構成を示す機能ブロック図である。

【図2】第１実施形態に係る物体検出装置において学習用測定データを収集する際の障害物の配置を説明するための説明図である。

【図3】第１実施形態に係る物体検出装置のソナーで取得される反射波の波形モデルと、この波形モデルから取得される各種情報の一例を示す図である。

【図4】第１実施形態に係る物体検出装置の学習モデル作成部が深層学習により学習するニューラルネットワークの構成を模式的に示す図である。

【図5】第１実施形態に係る物体検出装置における深層学習モデルの作成時の動作の一例を説明するためのフローチャートである。

【図6】第１実施形態に係る物体検出装置における深層学習モデルを用いた障害物の高さの検知時の動作の一例を説明するためのフローチャートである。

【図7】第１実施形態に係る物体検出装置において、高さ推定の正解率が０．８（８０％）を超えたときのシミュレーション結果を示すグラフである。

【発明を実施するための形態】

【0009】

（第１実施形態）
この開示の第１実施形態に係る物体検出装置は、図面に基づいて以下のように説明される。図１は、第１実施形態に係る物体検出装置１００の概略構成を示す機能ブロック図である。この図１に示す物体検出装置１００は、本開示に係る物体検出装置の一実施形態であり、本開示は本実施形態に限定されない。

【0010】

物体検出装置１００は、自動車等の移動体に搭載されている。以下、本実施形態の物体検出装置１００が搭載される移動体を自車両と称して説明する。

【0011】

本実施形態の物体検出装置１００は、第１超音波ソナーＦＭＬ及び第２超音波ソナーＦＭＲと接続されている。本実施形態の物体検出装置１００は、外部装置である制御部２００と組み合わされて使用されるが、この構成に限定されない。制御部２００は、例えば、車両制御部（車両制御装置）、報知部（報知装置）等を適用することができる。車両制御部は、自車両の駐車や走行を支援する車両制御処理を実行する装置であり、例えば、車両制御ＥＣＵにより構成される。報知部は、報知音や報知メッセージ等によって、警報、その他の情報を自車両の乗員に知らせる装置である。報知部は、例えば、ＣＰＵ、ＲＡＭ、ＲＯＭ等を有するコンピュータ、モニター、スピーカー等を備え、目標地点までの経路案内を行うナビゲーション装置に組み込まれていてもよい。

【0012】

また、本実施形態の制御部２００は、外部装置であるが、この構成に限定されない。他の異なる実施形態として、物体検出装置１００が、制御部２００を有し、運転制御処理や報知処理を行うかどうかの判断を行う構成とすることもできる。

【0013】

本実施形態の物体検出装置１００は、図１に示すように、処理部１０と、記憶部２０と、を備える。物体検出装置１００は、例えば、ＣＰＵ、ＧＰＵ、ＲＡＭ及びＲＯＭ等の記憶装置を有するＥＣＵにより構成される。処理部１０は、ＥＣＵが有するＣＰＵ等により主に構成され、ＲＯＭに格納された所定のプログラムをＲＡＭに展開して実行することにより、物体検出装置１００の全体の動作を制御する。記憶部２０は、ＥＣＵが有する記憶装置により主に構成されるが、外部に設けられたサーバやデータベースを備えていてもよい。

【0014】

第１超音波ソナーＦＭＬ及び第２超音波ソナーＦＭＲ（以下、単に「第１ソナーＦＭＬ」、「第２ソナーＦＭＲ」という。また、左右を区別しないときは、単に「ソナーＦＭ」という。）は、超音波を発信して、この超音波が自車両の周囲の障害物等の物体で反射された反射波を受信することで、障害物（物体）を検知する装置である。第１ソナーＦＭＬ及び第２ソナーＦＭＲは、受信した反射波に関する測定データを、処理部１０に出力する。

【0015】

第１ソナーＦＭＬ及び第２ソナーＦＭＲは、図２に示すように、自車両のフロントバンパ又はフロントグリルに取り付けられている。第１ソナーＦＭＬは、自車両の前方中央の左側（Front Middle Left）に取り付けられ、第２ソナーＦＭＲは、自車両の前方中央の右側（Front Middle Right）に取り付けられている。

【0016】

なお、自車両に取り付けられる超音波ソナーが、第１ソナーＦＭＬ及び第２ソナーＦＭＲに限定されない。例えば、超音波ソナーは、自車両の後方（後退方向）に向けて左右に並んで取り付けられた超音波ソナー、さらには、自車両の左前方、右前方、左後方、右後方に向けて取り付けられた超音波ソナーを含んでいてもよい。

【0017】

ところで、超音波ソナーは、障害物に対して超音波を発信し、障害物で反射した超音波を検出するまでの経過時間に基づいて求められる自車両から障害物までの距離、反射して検出した超音波の強度、相対位置等の情報を測定データとして取得し、障害物を検知することが可能である。この検知した結果に基づき、車両制御部等が、自動駐車等の動作を制御したり、警報音を発したりしている。このとき、超音波ソナーは、超音波が乱反射し易い凸凹路面やグレーチング等を障害物として検知することがあった。しかし、超音波ソナーが取得する測定データをそのまま用いても、車両制御部等は、当該測定データが実際の障害物に反射した反射波の測定データなのか、超音波が乱反射した反射波の測定データなのかを判断することは困難であった。

【0018】

これに対して、本実施形態の物体検出装置１００は、ソナーＦＭで取得した測定データを用いて深層学習を行い、作成された深層学習モデルを用いて、ソナーＦＭで検知した障害物の高さが、所定の値以上か所定の値より低いかを判定するものである。これにより、物体検出装置１００は、ソナーＦＭでの障害物の検知結果が適切かどうかを判定可能とし、物体検出をより適切に行うことを可能としている。

【0019】

処理部１０は、物体検出装置１００の全体の制御を行うとともに、ソナーＦＭでの障害物の検知結果が適切かどうかを判定する。このことを可能とするため、処理部１０は、図１に示すように、ソナーデータ取得部１１、学習モデル作成部１２、学習モデル評価部１３及びデータ判定部１４として機能する。

【0020】

ソナーデータ取得部１１は、ソナーＦＭから測定データを取得する。ソナーデータ取得部１１は、深層学習モデルの作成時は、高さが既知の学習用障害物を用いてソナーＦＭが取得した測定データを、障害物の高さ（高い又は低い）と対応付けて学習用測定データとして記憶部２０の学習用測定データ記憶部２２に記憶する。このとき、ソナーデータ取得部１１は、障害物の高さが対応付けられた学習用測定データの一部を、評価用データとして記憶部２０の評価用データ記憶部２３に記憶する。また、ソナーデータ取得部１１は、学習用測定データ記憶部２２から学習用測定データを取得し（読み出し）、学習モデル作成部１２へ受け渡し、評価用データ記憶部２３から評価用データを取得し、学習モデル評価部１３へ受け渡す。

【0021】

さらに、ソナーデータ取得部１１は、深層学習モデルを用いた障害物の高さの検知時は、ソナーＦＭから測定データ（実際の障害物に対する測定データ）を取得し、データ判定部１４に受け渡す。

【0022】

深層学習モデルの作成時は、物体検出装置１００に学習を行わせる実施者（物体検出装置１００の製造元等）は、高さが高い学習用障害物（サンプル）と、高さが低い学習用障害物を、それぞれ複数種類ずつ用意する。このとき、例えば、高い学習用障害物及び低い学習用障害物は、各々２種類以上とすることが望ましい。第１ソナーＦＭＬ及び第２ソナーＦＭＲは、各学習用障害物へ向けて超音波を発信し、反射した反射波を受信して、障害物に関する各種情報を取得し、ソナーデータ取得部１１に出力する。ソナーデータ取得部１１は、これらの情報を、学習用測定データとして取得する。

【0023】

取得する学習用測定データの数は、特に制限はないが、例えば、高さが高い学習用障害物及び高さが低い学習用障害物を２種類ずつ用いた場合は、１種類の学習用障害物につき少なくとも５千個の学習用測定データを取得し、少なくとも合計２万個の学習用測定データを取得することが望ましい。なお、高さが高い学習用障害物に対する学習用測定データと、高さが低い学習用障害物に対する学習用測定データとを同数（例えば５千×２種類＝１万個ずつ）とすることで、深層学習モデルの性能をより高めることができる。

【0024】

ここで、本明細書でいう「高さ」は、物体の、路面に対する垂直方向の長さであり、例えば、路面から物体の上端までの垂直方向に沿った長さである。また、高さが「高い」又は「低い」は、障害物が「所定の値」以上か、「所定の値」未満かで判断する。「所定の値」は、障害物が自車両のバンパー等に衝突する可能性がある値であり、車種等に応じて適宜設定することができる。本明細書では、「所定の値以上」であってバンパー等に衝突する可能性がある障害物は、高さが「高い」といい、「所定の値以上ではない（所定の値より低い）」高さであってバンパー等に衝突する可能性がない障害物は、高さが「低い」という。

【0025】

学習モデル作成部１２は、深層学習モデルの作成時にソナーデータ取得部１１から入力される学習用測定データを用いて、ニューラルネットワークを用いた深層学習を行い、学習した結果を深層学習モデルとして記憶部２０の学習モデル記憶部２１に記憶する。図３は、ソナーＦＭで取得される反射波の波形モデルと、この波形モデルから取得される各種情報（測定データ）の一例を示す図である。この図３に示す（１）は障害物までの距離、（２）は反射強度、（３）は反射幅、（４）は反射波間隔であるが、取得される情報がこれらに限定されない。これらの情報は、入力要素として深層学習モデルへ入力される。

【0026】

学習モデル評価部１３は、学習モデル作成部１２で作成した深層学習モデルに、評価用データ記憶部２３から取得した評価用データを入力し、深層学習モデルからの出力結果を得る。本実施形態における評価用データ（教師用データ）は、前述したように深層学習モデルの作成時において、ソナーＦＭが取得した学習用障害物に対する学習用測定データから、適宜選択された測定データであるが、これに限定されず、別途取得した測定データを用いることもできる。

【0027】

また、学習モデル評価部１３は、深層学習モデルから得られた出力結果が正解であれば正解であったことを、不正解であれば不正解であったことを学習モデル記憶部２１に記憶する。例えば、学習モデル評価部１３は、評価用データが「障害物の高さが所定の値以上」を示す測定データであるとき、深層学習モデルからの出力が「障害物の高さが所定の値以上である」であれば「正解」と判定する。一方、学習モデル評価部１３は、当該出力が「障害物の高さは所定の値以上ではない」であれば「不正解」と判定する。

【0028】

学習モデル作成部１２による深層学習モデルの作成と、学習モデル評価部１３による評価は、所定回数繰り返すことが望ましい。また、深層学習モデルからの出力の正解率を算出し、この正解率が所定の正解率となるまでこれらの処理を繰り返すことが、より望ましい。この繰り返しの所定回数は、特に限定されないが、１００回以上が望ましく、２００回以上がより望ましく、３００回以上がさら望ましく、５００回以上が最も望ましい。正解率は、特に限定されないが、０．８（８０％）以上が望ましい。

【0029】

データ判定部１４は、実際の障害物の検出時に、ソナーデータ取得部１１１から入力される測定データを、学習モデル記憶部２１に記憶されている深層学習モデルに入力する。この入力に基づき、深層学習モデルは、「障害物の高さが所定の値以上である」、「障害物の高さが所定の値以上でない（所定の値より低い）」の何れかを出力する。

【0030】

データ判定部１４は、深層学習モデルからの出力に基づいて、ソナーＦＭによる障害物の検知結果が正しい（適切）かどうかを判定する。より具体的には、データ判定部１４は、深層学習モデルからの出力が「障害物の高さが所定の値以上である」とき、ソナーＦＭによる障害物の検知結果は「正しい」と判定する。一方、データ判定部１４は、当該出力が「障害物の高さが所定の高さ以上でない」であるとき、ソナーＦＭによる障害物の検知結果は「正しくない（誤検知）」と判定する。その理由は、ソナーＦＭは、高さが所定の値以上の「高い」物体を障害物として検知するものであるため、検知した障害物が深層学習モデルにより「低い」と判断した場合は、ソナーＦＭがグレーチング等による乱反射を「高い」障害物として誤検知したと考えられるからである。データ判定部１４は、判定結果とともに測定データ（障害物の検知結果）を制御部２００に出力する。

【0031】

なお、データ判定部１４は、判定結果が「正しい」ときにだけ、この判定結果とともに（又は判定結果に代えて）測定データを制御部２００に出力する構成とすることもできる。一方、判定結果が「正しくない（誤検知）」ときに、データ判定部１４は、この判定結果及び測定データを制御部２００に出力せずに破棄する構成とすることもできる。

【0032】

記憶部２０は、処理部１０における各種動作の際に用いられる各種データやパラメータを、一時的又は非一時的に格納する。また、前述したように、記憶部２０の学習モデル記憶部２１は、ソナーＦＭが所定の値よりも高さが低い障害物を検知したときの学習用測定データと、所定の値以上の高さの障害物を検知したときの学習用測定データとに基づいて、学習モデル作成部１２により予め作成された深層学習モデルを、一時的又は非一時的に格納する。また、学習用測定データ記憶部２２は、学習用測定データを、評価用データ記憶部２３は、評価用データを、一時的又は非一時的に格納する。

【0033】

制御部２００は、処理部１０のデータ判定部１４から入力された判定結果に基づき、所定の処理を行うかどうかを決定する。具体的には、制御部２００は、判定結果が「正しい」とき、測定データに基づいて、所定の処理を行うことを決定し、判定結果が「正しくない（誤検知）」とき、所定の処理を行わないことを決定する。

【0034】

例えば、制御部２００が車両制御部である場合、制御部２００は、判定結果が「正しい」とき、障害物の回避、自車両の減速、停止等の車両制御を実行し、判定結果が「正しくない（誤検知）」とき、車両制御を実行しない。また、制御部２００が報知部である場合、制御部２００は、判定結果が「正しい」とき、障害物を検知したことを乗員に報知するための報知音や報知メッセージの出力制御を実行し、判定結果が「正しくない（誤検知）」とき、出力制御を実行しない。

【0035】

上述のような構成の第１実施形態に係る物体検出装置１００の動作の一例は、図５及び図６のフローチャートを参照しながら以下のように説明される。

【0036】

まず、第１実施形態に係る物体検出装置１００が深層学習モデルを作成する際の動作の一例は、以下のように説明される。この深層学習モデルの作成は、例えば、車両の製造元等で実行されるが、これに限定されない。

【0037】

深層学習モデルを作成するに際して、実施者は、まず高さが異なる４種類の障害物、つまり、高さが高い学習用障害物を２種類と、高さが低い学習用障害物を２種類用意する。実施者は、それぞれの学習用障害物に対して、第１ソナーＦＭＬ及び第２ソナーＦＭＲに学習用測定データを取得させる。このとき、実施者は、第１ソナーＦＭＬ及び第２ソナーＦＭＲが安定して検知することのできる範囲内、具体的には、自車両から３ｍ～４ｍの範囲内に学習用障害物を配置する。さらに、実施者は、外乱による推定の誤差がなくなるように、フラットな路面かつ風や振動などの影響を受けにくい環境で、第１ソナーＦＭＬ及び第２ソナーＦＭＲに学習用測定データを取得させる。これにより、第１ソナーＦＭＬ及び第２ソナーＦＭＲは、より精度よく学習用測定データを取得することができる。

【0038】

本実施形態では、実施者は、図２に示すように、１種類の障害物を複数の異なる位置に設置し、第１ソナーＦＭＬ及び第２ソナーＦＭＲを用いてそれぞれの位置における反射波を測定する。例えば、実施者は、高さが所定の値以上の障害物の一つとしてポールをＰ１に設置して、第１ソナーＦＭＬ及び第２ソナーＦＭＲに学習用測定データとして反射波を取得させ、物体検出装置１００に学習用測定データとして記憶させる。さらに、物体検出装置１００は、ポールをＰ２に設置して第１ソナーＦＭＬ及び第２ソナーＦＭＲが測定した反射波も学習用測定データとして記憶する。所定の値よりも高さが高い障害物の一つとして、第１ソナーＦＭＬ及び第２ソナーＦＭＲは、ポール以外のパイロンについても同様に反射波を測定し、物体検出装置１００は、反射波を学習用測定データとして記憶する。また第１ソナーＦＭＬ及び第２ソナーＦＭＲは、所定の値よりも高さが低い障害物としてグレーチングや縁石の反射波を同様に測定する。このように、実施者は１つの種類の障害物を複数の異なる位置（例えばＰ１～Ｐ９）に置いて第１ソナーＦＭＬ及び第２ソナーＦＭＲに反射波を測定させ、物体検出装置１００に学習用データとして記憶させる。Ｐ１～Ｐ９は、例えば自車両のバンパーの中央前端を基準（原点）として、自車両の前方に１ｍ間隔で設けられる。そして、実施者は、第１ソナーＦＭＬ及び第２ソナーＦＭＲに４種類の学習用障害物について、それぞれ５千回ずつ学習用測定データを取得させ、合計２万個の学習用測定データを取得させる。

【0039】

ソナーデータ取得部１１は、第１ソナーＦＭＬ及び第２ソナーＦＭＲから取得した２万個の学習用測定データを、障害物の高さ（高い又は低い）と対応付けて（ラベルを付して）、記憶部２０に記憶する。このとき、ソナーデータ取得部１１は、学習用測定データの中からランダムに選択した例えば７５％（１万５千個）の測定データを、深層学習に用いる学習用測定データとして、学習用測定データ記憶部２２に記憶する。ソナーデータ取得部１１は、残りの２５％（５千個）の学習用測定データを、深層学習モデルの性能を評価するための評価用データ（教師用データ）として、評価用データ記憶部２３に記憶する。

【0040】

このようにして取得した学習用測定データを用いた物体検出装置１００による深層学習モデルの作成手順（動作）は、図５に示すフローチャートを参照して以下のように説明される。なお、この図５に示すフローチャートの動作が開始された時点で、第１中間層（Middle layer 1）及び第２中間層（Middle layer 2）のノードは、所定の個数に設定されているものとする。例えば、第１中間層は、入力層（Input layer）から入力される入力要素から特徴をより多く抽出して拡散し、拡散結果に応じたノード数を設定している。第２中間層は、第１中間層で抽出した特徴の中から障害物の高さに関連する特徴を選び取って、入力要素よりも少ない特徴数（ノード数）に絞っている。また、第１中間層及び第２中間層は、重み付けに用いる重みパラメータ１及び重みパラメータ２が予め設定されている。

【0041】

まず、Ｓ１（ステップ１）で、学習モデル評価部１３は、カウンタ変数ｉを宣言すべく、カウンタ変数ｉに０を設定する。次のＳ２で、ソナーデータ取得部１１は、学習用測定データ記憶部２２から学習用測定データを取得し、学習モデル作成部１２へ順次受け渡す。

【0042】

次のＳ３で、学習モデル作成部１２は、学習用測定データを学習モデル記憶部２１に設けられた深層学習モデルへ入力する。入力要素は、例えば、第１ソナーＦＭＬ及び第２ソナーＦＭＲで各々取得された距離、反射強度、反射幅、反射波間隔等の情報であり、これらを取得した障害物の高さ（高い又は低い）がラベル付されて深層学習モデルへ入力される。本実施形態では、深層学習モデルは、学習用測定データ記憶部２２に記憶された１万５千個の学習用測定データの入力を受け、深層学習を実行する。

【0043】

図４は、学習モデル作成部１２が深層学習により学習するニューラルネットワークの構成を模式的に示した図である。この図４に示すように、入力層に第１ソナーＦＭＬに対応する入力要素１、２、３、４、・・・、及び第２ソナーＦＭＲに対応する入力要素１、２、３、４、・・・が入力される。図４では、高さが高い学習用障害物を用いた測定データの一例を示しているため、各入力要素は、「高い」というラベル付けがされて入力層に入力される。そして、第１中間層は、入力層から入力される入力要素から特徴をより多く抽出して拡散し、第２中間層は、抽出した特徴の中から障害物の高さに関連する特徴を選び取って、入力要素よりも少ない特徴数に絞る。出力層（Output layer）は、出力要素として「高い」（例えば、「１」）、「低い」（例えば「０」）の何れかを出力する。

【0044】

次のＳ４で、学習モデル評価部１３は、Ｓ３で作成した深層学習モデルに、評価用データを入力する。この評価用データは、正しい答えが予め分かっている５千個の教師用データであり、ソナーデータ取得部１１によって評価用データ記憶部２３から取得されて学習モデル評価部１３へ受け渡されたものである。また、この評価用データは、Ｓ３で用いる学習用測定データとは異なるものであり、深層学習モデルには、距離、反射強度、反射幅、反射波間隔等の入力要素のみが入力され、深層学習モデル側では高さは未知なものとなっている。この入力に対して、深層学習モデルは、「高い」、「低い」の何れかを出力する。

【0045】

次のＳ５で、学習モデル評価部１３は、評価用データを入力したことで深層学習モデルから得られた出力結果と、予め分かっている答えとを比較し、正解か不正解かを判定する。そして、学習モデル評価部１３は、出力が正解であったこと、又は不正解であったことを記憶部２０に記憶することで、正解及び不正解のデータを蓄積する。

【0046】

具体的な判定手順として、例えば評価用データが「障害物の高さが所定の値以上」（高い）を示す測定データであるとき、出力が「高い」であれば、学習モデル評価部１３は、正解と判定する。これに対して、出力が「低い」（障害物の高さは所定の値以上ではない）であれば、学習モデル評価部１３は不正解と判定する。一方、評価用データが「障害物の高さが所定の値以上ではない」（低い）を示す測定データであるとき、出力が「低い」であれば、学習モデル評価部１３は、正解と判定する。これに対して、出力が「高い」であれば、学習モデル評価部１３は不正解と判定する。

【0047】

所定の評価用データに対して、正解又は不正解の判定及び記憶をすべて行ったら、プログラムはＳ６へと進み、学習モデル評価部１３は、カウンタ変数ｉに１を加算する（ｉ＝ｉ＋１）。次のＳ７で、学習モデル評価部１３は、カウンタ変数ｉが所定の学習回数Ｎ（Ｎは自然数）以上であるかどうかを判断する。この所定の学習回数Ｎは、正解率を算出するのに十分な学習回数であり、この回数分、深層学習モデルに対して学習を行わせる。本実施形態では、所定の学習回数Ｎは、５００回（Ｎ＝５００）としている。

【0048】

Ｓ７で、カウンタ変数ｉが、所定の値Ｎ以上ではない（No）と判定した場合は、プログラムはＳ４へと戻り、Ｓ４～Ｓ６の処理を繰り返す。これに対して、カウンタ変数ｉが所定の値Ｎ以上である（Yes）と判定した場合は、プログラムはＳ８へと進む。

【0049】

Ｓ８では、学習モデル評価部１３は、蓄積された正解又は不正解のデータに基づいて、作成したモデルの正解率Ｒを、例えば下記計算式で算出し、正解率Ｒが所定の目標値以上であるかどうかを判断する。本実施形態では、所定の目標値は、０．８（８０％）以上としている。

【0050】

正解率Ｒ ＝ 深層学習モデルの出力が正解と判定した回数／深層学習モデルへ評価用データを入力した回数

【0051】

Ｓ８で、正解率Ｒが目標値以上である判定したとき（Yes）、プログラムはエンドへと進み、深層学習モデルの作成は完了する。これに対して、正解率Ｒが目標値以上ではないと判定したとき（No）、プログラムはＳ３へと戻り、深層学習モデルに、さらに学習を実行させる。このとき、学習モデル作成部１２は、第１中間層の重みパラメータ１と、第２中間層の重みパラメータ２とを、適宜変更して学習を行わせることで、深層学習モデルの学習性能を向上させることができる。

【0052】

図７は、高さ推定の正解率が０.８（８０％）を超えたときのシミュレーション結果を示すグラフである。この図７に示すグラフの横軸は学習回数であり、縦軸は正解率である。この図７からわかるように、学習回数（Ｎ）が１００回に到達するあたりから、正解率（Ｒ）が０．８（８０％）を超え、学習回数が２００回、３００回と増加すると正解率が０．８３（８３％）付近に安定する。以上のことから、学習回数を５００回程度とすることで、深層学習モデルは、正解率がより安定し、かつ障害物が所定の値より高いかどうかを、より正確に出力することができる。

【0053】

以上のようにして作成された深層学習モデルを用いた、物体検出装置１００が障害物の高さを検出する際の動作の一例は、図６のフローチャートに基づいて以下のように説明される。この図６のフローチャートに示す動作は、ユーザが自車両を走行させたとき等に開始される。

【0054】

Ｓ１１で、ソナーデータ取得部１１は、第１ソナーＦＭＬ及び第２ソナーＦＭＲで所定の障害物を検知したときの測定データを取得する。実際の測定対象の障害物としては、例えば、高さが所定の値以上の障害物は、ポール、パイロン等が挙げられ、高さが所定の値よりも低い障害物は、縁石、グレーチング等が挙げられる。ソナーデータ取得部１１は、取得した測定データをデータ判定部１４に受け渡す。

【0055】

次のＳ１２で、データ判定部１４は、取得した測定データから抽出した情報（入力要素）を深層学習モデルへ入力する。深層学習モデルは、入力された測定データの各情報に基づき、障害物の高さは所定の値以上であると判断したときは、「高い」（例えば、「１」）を出力し、障害物の高さは所定の値以上でないと判断したときは、「低い」（例えば「０」）を出力する。

【0056】

次のＳ１３で、データ判定部１４は、深層学習モデルからの出力が、「障害物の高さは所定の値以上であるかどうか」を判定する。深層学習モデルからの出力が、「障害物の高さは所定の値以上」（高い）であるとき（Yes）、プログラムはＳ１４へと進み、出力が「障害物の高さは所定の値以上でない」（低い）であるとき（No）、プログラムはＳ１５へと進む。

【0057】

Ｓ１４では、データ判定部１４は、ソナーＦＭによる障害物の検知結果は正しいと判定する。一方、Ｓ１５では、データ判定部１４は、ソナーＦＭによる障害物の検知結果は正しくない（誤検知）と判定する。

【0058】

その後、プログラムはエンドへと進むことで、１つの測定データに対する物体検出装置１００の動作は終了する。そして、物体検出装置１００は、ソナーＦＭで障害物を検知する毎に、Ｓ１１～Ｓ１５の工程を実行し、ソナーＦＭによる障害物の検知結果が正しいかどうかを判定する。

【0059】

また、データ判定部１４は、上記Ｓ１４、Ｓ１５で得られた判定結果と測定データを、外部装置である制御部２００へ出力する。制御部２００が車両制御部であれば、前述したとおり、制御部２００は、判定結果に基づいて、ソナーＦＭによる障害物の検知結果を車両制御に用いるかどうかを判断する。例えば、判定結果が「正しい」であるときは、ソナーＦＭによる障害物の検知結果は正しいため、制御部２００は、障害物の検知結果を車両制御に使用すると判断することができる。一方、判定結果が「正しくない（誤検知）」であるときは、ソナーＦＭによる障害物の検知結果は正しくないため、制御部２００は、障害物の検知結果を車両制御に使用しないと判断することができる。

【0060】

また、制御部２００が報知部であれば、制御部２００は、判定結果に基づいて、障害物を検知したことを乗員に報知するかどうかを判断する。例えば、判定結果が「正しい」であるときは、ソナーＦＭによる障害物の検知結果は正しいため、制御部２００は、乗員に障害物があることを報知することができる。一方、判定結果が正しくない（誤検知）であるときは、ソナーＦＭによる障害物の検知結果は正しくないため、制御部２００は、乗員に障害物があることを報知しないようにできる。

【0061】

以上説明したように、本実施形態の物体検出装置１００は、ソナーＦＭが所定の値よりも高さが低い障害物（物体）を検知したときの測定データと、所定の値以上の高さの物体を検知したときの測定データとに基づいて予め作成された深層学習モデルに、ソナーＦＭで実際に障害物を検知したときの測定データを入力している。そして、物体検出装置１００は、深層学習モデルからの出力が、所定の値よりも高さが低い物体であるかどうかを判定している。これにより、物体検出装置１００は、ソナーＦＭによる物体の検知結果が適切かどうかを判定することが可能となる。この結果、物体検出装置１００は、ソナーＦＭで障害物を検知する際に、縁石やグレーチング等の自車両に衝突しない高さの障害物を、自車両に衝突する高さの障害物であると検知することを低減することができる。また、物体検出装置１００は、高さの判定結果に基づいて、車両制御や、乗員への報知の制御を、より迅速かつより適切に行うことができる。

【0062】

また、物体検出装置１００は、ソナーＦＭからの測定データに基づいて障害物の高さを検知し、ソナーＦＭによる物体の検知結果が適切かどうかを判定することができる。このため、物体検出装置１００は、画像認識やライダー等を用いる必要がなく、製造コスト等が低減されるとともに、昼夜を問わず優れた物体検出機能を発揮できる。また、物体検出装置１００は、深層学習モデルを用いて物体の高さが高いか低いか（１か０か）を出力しているため、高さの判定をより正確かつ精度よく行うことができる。

【0063】

以上、図面を参照して、本開示の実施形態を詳述してきたが、具体的な構成は、この実施形態に限らず、本開示の要旨を逸脱しない程度の設計的変更は、本開示に含まれる。

【0064】

上記実施形態の物体検出装置１００は、自車両の前方中央の左右に取り付けられた第１ソナーＦＭＬ及び第２ソナーＦＭＲからの測定データを用いて学習し、検知結果の判定する構成としているが、本開示はこの構成に限定されない。物体検出装置１００は、測定領域が所定範囲で重なる一対のソナーの測定データを用いて学習等を行えばよく、複数のソナーから選択される一対又は複数対のソナーからの測定データを用いて、学習等を行う構成とすることができる。この構成により、物体検出装置１００は、各ソナーでの物体の検知結果が正しいかどうかを判定して、自車両の前方のみならず、様々な方向における物体の検出を、より高精度に行うことができる。

【0065】

また、上記実施形態の物体検出装置１００は、処理部１０を１つのＥＣＵに設けているが、この構成に限定されず、異なるＥＣＵに分散して設けることもできる。また、物体検出装置１００は、その機能の一部又は全部を、ＦＰＧＡ、ＡＳＩＣなどのハードウェアを用いて実現されることもできる。さらには、物体検出装置１００は、処理部１０と制御部２００とを１つのＥＣＵ等に設けられた構成とすることもできる。

【0066】

また、物体検出装置１００は、深層学習モデルの作成を車両毎に実施してもよく、各車両の状態に合致した深層学習モデルを作成できる。また、物体検出装置１００は、車種に応じて所定の車両で深層学習モデルを作成し、作成した深層学習モデルを、同種の複数の車両に搭載（インストール）することもでき、本開示のより効率的な実施が可能となる。

【符号の説明】

【0067】

１１ ：ソナーデータ取得部 １４ ：データ判定部
２１ ：学習モデル記憶部 １００ ：物体検出装置
２００ ：制御部 ＦＭＬ ：第１超音波ソナー
ＦＭＲ ：第２超音波ソナー

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】