(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-12-12
(45)【発行日】2022-12-20
(54)【発明の名称】認識センサ、自動車、車両用灯具
(51)【国際特許分類】
G01S 17/89 20200101AFI20221213BHJP
G06N 3/02 20060101ALI20221213BHJP
B60Q 1/04 20060101ALI20221213BHJP
G08G 1/16 20060101ALI20221213BHJP
G01S 17/931 20200101ALI20221213BHJP
【ＦＩ】
G01S17/89
G06N3/02
B60Q1/04 Z
G08G1/16 C
G01S17/931
【請求項の数】
5
(21)【出願番号】P 2019536727
(86)(22)【出願日】2018-08-02
(86)【国際出願番号】 JP2018028978
(87)【国際公開番号】W WO2019035363
(87)【国際公開日】2019-02-21
【審査請求日】2021-06-08
(31)【優先権主張番号】P 2017157944
(32)【優先日】2017-08-18
(33)【優先権主張国・地域又は機関】JP
(31)【優先権主張番号】P 2017162607
(32)【優先日】2017-08-25
(33)【優先権主張国・地域又は機関】JP
(31)【優先権主張番号】P 2018043457
(32)【優先日】2018-03-09
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000001133
【氏名又は名称】株式会社小糸製作所
(74)【代理人】
【識別番号】100105924
【弁理士】
【氏名又は名称】森下 賢樹
(74)【代理人】
【識別番号】100109047
【弁理士】
【氏名又は名称】村田 雄祐
(74)【代理人】
【識別番号】100109081
【弁理士】
【氏名又は名称】三木 友由
(72)【発明者】
【氏名】永島 徹
【審査官】▲高▼場 正光
(56)【参考文献】
【文献】特開２００２－２３６１７８（ＪＰ，Ａ）
【文献】特開２０１１－２４７６１９（ＪＰ，Ａ）
【文献】米国特許第０４５３１１２５（ＵＳ，Ａ）
【文献】米国特許出願公開第２００７／０１８２５２８（ＵＳ，Ａ１）
【文献】特開２００２－１４０７９０（ＪＰ，Ａ）
【文献】特開２００５－０４３２４７（ＪＰ，Ａ）
【文献】米国特許出願公開第２００４／００３６２６１（ＵＳ，Ａ１）
【文献】大里章人 外２名，“ビジュアルオドメトリと多層型レーザスキャナによる２次元地図作成と位置推定手法”，ロボティクス・メカトロニクス講演会２０１４講演概要集，一般社団法人 日本機械学会，2014年05月24日，Article 2A2-S05, 3 Pages，<URL: https://doi.org/10.1299/jsmermd.2014._2A2-S05_1 >
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０１Ｓ ７／４８ － Ｇ０１Ｓ ７／５１
Ｇ０１Ｓ １７／００ － Ｇ０１Ｓ １７／９５
Ｂ６０Ｑ １／０４
Ｇ０６Ｔ ７／００
Ｇ０８Ｇ １／１６
(57)【特許請求の範囲】
【請求項1】
仰俯角が可変であり、スキャン毎に前記仰俯角を変化させることにより、異なる高さの複数のスキャンラインをセンシングする３次元センサと、
１つのスキャンラインによって実質的に平坦なオブジェクトをスキャンしたときに、前記オブジェクトについて得られる複数の測定点それぞれの高さがスキャン角度に依存せずに、地面より高い位置で一定となるように、１スキャン中に前記３次元センサの仰俯角を制御するコントローラと、
を備え、
前記コントローラは、複数の測定点のうちの補正点において、仮測定を行い、仮測定で得られた距離とそのときの前記仰俯角にもとづいて、本測定における前記仰俯角を計算することを特徴とする認識センサ。
【請求項2】
前記コントローラは、すべての測定点において、仰俯角を補正することを特徴とする請求項１に記載の認識センサ。
【請求項3】
前記コントローラは、各スキャンラインについて、オブジェクトごとに少なくとも１回、仰俯角を補正することを特徴とする請求項１または２に記載の認識センサ。
【請求項4】
請求項１から３のいずれかに記載の認識センサを備えることを特徴とする自動車。
【請求項5】
請求項１から４のいずれかに記載の認識センサを備えることを特徴とする車両用灯具。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、物体の形状を検出する認識センサあるいはシステムに関する。
【背景技術】
【0002】
自動車のセンサとして、ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）、カメラ、ミリ波レーダ、超音波ソナーなどが候補として挙げられる。このなかでＬｉＤＡＲは、そのほかのセンサと比較して、（i）点群データによる物体認識が可能であること、（ii）アクティブセンシングであるが故の悪天候時にも高精度な検出が可能であること、（iii）広範囲の測定が可能であること、などの利点を有しており、今後、自動車のセンシングシステムにおける主流となることが期待されている。
【0003】
図１（ａ）、（ｂ）は、ＬｉＤＡＲによるセンシングを説明する図である。ＬｉＤＡＲ２は、仰俯角φを固定しつつ、水平方向にスキャンビームＢＭをスキャンし、オブジェクトＯＢＪ上の複数の測定点Ｐまでの距離ｒを測定する。図１（ｂ）には、スキャンラインＳＬが歩行者の膝を通過する様子が示される。仰俯角φをいくつか変化させて、複数のスキャンラインＳＬに沿ってオブジェクトＯＢＪの形状を測定することで、オブジェクトＯＢＪの種類を特定することができる。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２０１７－５６９３５号公報
【文献】特開２００９－９８０２３号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
本発明者は、ＬｉＤＡＲ等を用いた３次元センシングによる物体認識について検討した結果、以下のいくつかの課題を認識するに至った。
【0006】
（課題１）
ＬｉＤＡＲを利用した物体認識では、オブジェクトの識別のために測定される像は、機械学習において予め測定した像と同じであることが要求される。機械学習には膨大な時間とコストを要することから、なるべく、ひとつの機械学習の成果を、さまざまな製品に流用したいという要請がある。
ＬｉＤＡＲを利用した物体認識では、オブジェクトの識別のために測定される像は、機械学習において予め測定した像と同じであることが要求される。機械学習には膨大な時間とコストを要することから、なるべく、ひとつの機械学習の成果を、さまざまな製品に流用したいという要請がある。
【0007】
一方で、ＬｉＤＡＲのスキャンラインの本数と、各スキャンラインの仰俯角は、ＬｉＤＡＲの製品毎にさまざまである。図２は、仕様の異なる２つのＬｉＤＡＲによるセンシングを説明する図である。スキャンビームＢＭ１，ＢＭ２は、仕様の異なる２つのＬｉＤＡＲの出力を示す。仰俯角φが異なるスキャンビームＢＭは、オブジェクトＯＢＪの異なる部位をスキャンすることとなり、得られる像は異なったものとなる。
【0008】
図２に示すように、もし車載のＬｉＤＡＲの仕様と、機械学習に用いたＬｉＤＡＲの仕様が大きく異なる（対応するスキャンラインの仰俯角が大きく異なる）場合、識別精度は低下するであろう。高精度な識別のためには、自動車に搭載するＬｉＤＡＲの製品と同じ製品を用いて、（あるいは少なくとも同じ仰俯角を有する製品）を用いて機械学習を行う必要があり、これは開発コストを大きく押し上げることになる。
【0009】
また、もし車載のＬｉＤＡＲの仕様と、機械学習に用いたＬｉＤＡＲの仕様が同じである場合において、自動車に搭載する際に、設置角度を注意深くアライメントしなければならず、言い換えれば設置の自由度が制約される。
【0010】
（課題２）
図３は、課題２を説明する図である。図３には、仮想スクリーンＳＣＲＮが示される。この仮想スクリーンＳＣＲＮは平坦であり、ＬｉＤＡＲ２とセンターの測定点Ｐ１との水平距離Ｒ１が最も小さく、測定点Ｐ２，Ｐ３とセンターから離れるに従って、水平距離Ｒは長くなる。その結果、複数の測定点Ｐの高さｈが異なることとなる。
図３は、課題２を説明する図である。図３には、仮想スクリーンＳＣＲＮが示される。この仮想スクリーンＳＣＲＮは平坦であり、ＬｉＤＡＲ２とセンターの測定点Ｐ１との水平距離Ｒ１が最も小さく、測定点Ｐ２，Ｐ３とセンターから離れるに従って、水平距離Ｒは長くなる。その結果、複数の測定点Ｐの高さｈが異なることとなる。
【0011】
図４（ａ）は、自動車を側面から測定したときの複数のスキャンラインを示す図である。仰俯角φ＝０°に対しては、スキャンラインＳＬの高さは一定であるが、仰俯角が非ゼロのスキャンラインの高さは、スキャン角度θに応じて変化する。すなわち自動車のような幅の大きいオブジェクトを測定する場合に、測定される像の両端が歪む。これが課題２である。
【0012】
（課題３）
図４（ｂ）は、歩行者を測定したときの複数のスキャンラインを示す図である。歩行者のように幅が狭いオブジェクトＯＢＪが、中央付近に位置する場合と、端に位置する場合とでは、複数のスキャンラインが測定する部位が異なる。これが課題３である。
図４（ｂ）は、歩行者を測定したときの複数のスキャンラインを示す図である。歩行者のように幅が狭いオブジェクトＯＢＪが、中央付近に位置する場合と、端に位置する場合とでは、複数のスキャンラインが測定する部位が異なる。これが課題３である。
【0013】
（課題４）
図５は、課題４を説明する図である。図５は、ある固定されたスキャン角度θにおける、高さｈの水平距離Ｒに対する依存性を示す図である。図５からわかるように、仰俯角一定で同じオブジェクトＯＢＪを測定した場合、水平距離Ｒが異なると、同じスキャンラインによって測定する部位が異なることとなる。図５の例では、水平距離Ｒ１、Ｒ２，Ｒ３において、同じビームによって、腹部、太もも、膝が測定されることとなる。
図５は、課題４を説明する図である。図５は、ある固定されたスキャン角度θにおける、高さｈの水平距離Ｒに対する依存性を示す図である。図５からわかるように、仰俯角一定で同じオブジェクトＯＢＪを測定した場合、水平距離Ｒが異なると、同じスキャンラインによって測定する部位が異なることとなる。図５の例では、水平距離Ｒ１、Ｒ２，Ｒ３において、同じビームによって、腹部、太もも、膝が測定されることとなる。
【0014】
第１から課題４は、オブジェクトＯＢＪの種類を識別する識別器の設計に際して、顕著な複雑さをもたらし、あるいは、最終的な識別確率を低下させる場合もある。
【0015】
（課題５）
ＬｉＤＡＲが生成する点群データにもとづくオブジェクトの識別は、点群データの解像度が高いほど正確となるが、演算処理のコストが爆発的に増加する。車両への搭載を考慮した場合には、低価格なローエンドの演算処理装置を利用せざるを得ない場合も想定され、自ずとスキャンラインの本数を減らすことが要求される。
ＬｉＤＡＲが生成する点群データにもとづくオブジェクトの識別は、点群データの解像度が高いほど正確となるが、演算処理のコストが爆発的に増加する。車両への搭載を考慮した場合には、低価格なローエンドの演算処理装置を利用せざるを得ない場合も想定され、自ずとスキャンラインの本数を減らすことが要求される。
【0016】
本発明は係る状況においてなされたものであり、そのある態様の例示的な目的のひとつは、少なくともひとつの課題を解決した認識センサあるいはシステムの提供にある。
【課題を解決するための手段】
【0017】
１． 本発明のある態様は、認識センサに関する。認識センサは、仰俯角が設定可能に構成された３次元センサと、スキャンライン上の複数の測定点の中の補正点において、当該補正点の高さが所定値に近づくように３次元センサの仰俯角を制御するコントローラと、を備える。
【0018】
この態様によると、スキャンラインの補正点における高さを規定できるため、上述の少なくともひとつの課題を解決できる。
【0019】
本発明の別の態様もまた、認識センサである。この認識センサは、仰俯角が設定可能に構成された３次元センサと、測定点までの水平距離にかかわらず、当該測定点の高さが所定値に近づくように３次元センサの仰俯角を制御するコントローラと、を備える。
この場合、スキャンラインの高さの距離依存性を抑制できる。
この場合、スキャンラインの高さの距離依存性を抑制できる。
【0020】
本発明の別の態様もまた、認識センサである。この認識センサは、仰俯角が設定可能に構成された３次元センサと、実質的に平坦なオブジェクトをスキャンしたときに、各スキャンラインの高さがスキャン角度に依存せずに一定となるように３次元センサの仰俯角を制御するコントローラと、を備える。
この場合、スキャンラインの歪みを抑制できる。
この場合、スキャンラインの歪みを抑制できる。
【0021】
コントローラは、複数の測定点のうちの補正点において、仮測定を行い、仮測定で得られた距離とそのときの仰俯角にもとづいて、本測定における仰俯角を計算してもよい。
【0022】
コントローラはすべての測定点について仰俯角を補正してもよい。
【0023】
コントローラは、各スキャンラインについて、オブジェクトごとに少なくとも１回、仰俯角の補正を行ってもよい。
【0024】
コントローラは、各スキャンラインについて、所定の水平角度スキャンを進めるごとに、あるいは所定数の測定点ごとに、仰俯角を補正してもよい。
【0025】
コントローラは、各スキャンラインについて、すべての測定点において仰俯角の補正を行ってもよい。
【0026】
本発明の別の態様は、自動車に関する。自動車は上述のいずれかの認識センサを備えてもよい。
【0027】
本発明の別の態様は、車両用灯具に関する。車両用灯具は、上述のいずれかの認識センサを備えてもよい。
【0028】
２．本発明の別の態様は、オブジェクト識別システムに関する。オブジェクト識別システムは、高さが異なる複数の水平ラインについて、複数のラインデータを生成する３次元センサと、複数のラインデータにもとづいてオブジェクトの種類を識別する演算処理装置と、を備える。演算処理装置は、ラインデータごとにオブジェクトの種類およびその部位に関する中間データを生成し、複数のラインデータに対応する複数の中間データを統合して、オブジェクトの種類を示す最終データを生成する。
【0029】
この態様によると、少ない水平ラインの本数で、オブジェクトの種類を判定することができる。
【0030】
中間データは、ニューラルネットワークを用いて生成されてもよい。中間データは、対応するラインデータが複数の種類の複数の部位それぞれに該当する確率を示してもよい。
【0031】
最終データは、ニューラルネットワークを用いて生成されてもよい。最終データは、対応するラインデータが複数の種類それぞれに該当する確率を示してもよい。
【0032】
演算処理装置は、前処理として、各ラインデータに含まれる値を所定値で除算する正規化を行ってもよい。
【0033】
演算処理装置は、前処理として、複数のラインデータからオブジェクトを含む範囲を抽出してもよい。
【0034】
複数のラインデータの本数は、４～１２であってもよい。
【0035】
オブジェクトの種類は、少なくとも、歩行者、自転車、自動車を含んでもよい。
【0036】
本発明の別の態様は、自動車に関する。自動車は、上述のオブジェクト識別システムを備えてもよい。
【0037】
３次元センサは、前照灯に内蔵されてもよい。
【0038】
本発明の別の態様は、車両用灯具に関する。車両用灯具は、上述のオブジェクト識別システムを備えてもよい。
【0039】
なお、以上の構成要素の任意の組み合わせや本発明の構成要素や表現を、方法、装置、システムなどの間で相互に置換したものもまた、本発明の態様として有効である。
【発明の効果】
【0040】
本発明によれば、上述の少なくともひとつの課題を解決できる。
【図面の簡単な説明】
【0041】
【図2】仕様の異なる２つのＬｉＤＡＲによるセンシングを説明する図である。
【図3】課題２を説明する図である。
【図5】課題４を説明する図である。
【図6】第１の実施の形態に係る認識センサを備えるオブジェクト識別システムのブロック図である。
【図7】３次元センサであるＬｉＤＡＲの一例を示す図である。
【図8】３次元センサにおける仰俯角φの補正処理を説明する図である。
【図9】３次元センサにおける仰俯角φの補正処理のフローチャートである。
【図10】第１実施例に係る補正を説明する図である。
【図11】第２実施例に係る補正処理を説明する図である。
【図12】オブジェクト識別システムを備える自動車のブロック図である。
【図13】オブジェクト識別システムを備える車両用灯具を示すブロック図である。
【図14】第２の実施の形態に係るオブジェクト識別システムのブロック図である。
【図15】歩行者について定義される複数の部位の一例を示す図である。
【図17】第１ニューラルネットワークの構成例を示すブロック図である。
【図18】第２ニューラルネットワークの構成例を示すブロック図である。
【図22】第１ニューラルネットワークによる２５カテゴリの分類の正解率を示す図である。
【図23】第２ニューラルネットワークによる４カテゴリの分類の正解率を示す図である。
【図24】オブジェクト識別システムを備える自動車のブロック図である。
【図25】オブジェクト識別システムを備える車両用灯具を示すブロック図である。
【図26】図２６（ａ）、（ｂ）は、ＬｉＤＡＲの高さと、オブジェクトの関係を示す図であり、図２６（ｃ）は、第１の学習方法によって学習済みのオブジェクト識別システムによって、図２６（ｂ）の状況で得られる最終データを示す図である。
【図27】第２の学習方法における第２演算ユニットの学習工程を説明する図である。
【図28】第２の学習方法の効果を説明する図である。
【図29】変形例に係るオブジェクト識別システムのブロック図である。
【発明を実施するための形態】
【0042】
以下、本発明を好適な実施の形態をもとに図面を参照しながら説明する。各図面に示される同一または同等の構成要素、部材、処理には、同一の符号を付するものとし、適宜重複した説明は省略する。また、実施の形態は、発明を限定するものではなく例示であって、実施の形態に記述されるすべての特徴やその組み合わせは、必ずしも発明の本質的なものであるとは限らない。
【0043】
＜第１の実施の形態＞
図６は、第１の実施の形態に係る認識センサ１００を備えるオブジェクト識別システム２００のブロック図である。認識センサ１００は、３次元センサ１０２およびコントローラ１０４を備える。３次元センサ１０２は、スキャンビームＢＭを水平方向（Ｚ軸周り）にスキャンし、複数の測定点までの距離を測定する。１回のスキャンで取得される複数の測定点を結ぶ線をスキャンラインＳＬと称し、そのとき得られるデータをスキャンデータと称する。特に限定されないが、歩行者など凹凸の小さいオブジェクトを正確に識別したい場合には、ＬｉＤＡＲを用いることが好ましい。スキャンラインの本数Ｎは、すなわち垂直方向の解像度である。
図６は、第１の実施の形態に係る認識センサ１００を備えるオブジェクト識別システム２００のブロック図である。認識センサ１００は、３次元センサ１０２およびコントローラ１０４を備える。３次元センサ１０２は、スキャンビームＢＭを水平方向（Ｚ軸周り）にスキャンし、複数の測定点までの距離を測定する。１回のスキャンで取得される複数の測定点を結ぶ線をスキャンラインＳＬと称し、そのとき得られるデータをスキャンデータと称する。特に限定されないが、歩行者など凹凸の小さいオブジェクトを正確に識別したい場合には、ＬｉＤＡＲを用いることが好ましい。スキャンラインの本数Ｎは、すなわち垂直方向の解像度である。
【0044】
３次元センサ１０２は、仰俯角φが調節可能に構成される。仰俯角φの制御は、スキャンラインの選択のために行われる。仰俯角φ一定のＬｉＤＡＲでは、仰俯角は予め規定されたφ１～φＮのＮ通りで選択可能であり、スキャン中一定である。Ｎはスキャンラインの本数に相当する。
【0045】
オブジェクト識別処理部２１０は、３次元センサ１０２によって生成された点群データにもとづいて、オブジェクトＯＢＪの種類を判定する。オブジェクト識別処理部２１０の処理、アルゴリズムは特に限定されない。オブジェクト識別処理部２１０は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）、マイコンなどのプロセッサ（ハードウェア）と、プロセッサ（ハードウェア）が実行するソフトウェアプログラムの組み合わせで実装することができる。オブジェクト識別処理部２１０は、複数のプロセッサの組み合わせであってもよい。また、オブジェクト識別処理部２１０とコントローラ１０４の機能が、同じプロセッサに提供されてもよい。
【0046】
図７は、３次元センサ１０２であるＬｉＤＡＲの一例を示す図である。図７のＬｉＤＡＲ３００は、ＭＥＭＳスキャナーを備える。ＭＥＭＳスキャナーは、ミラー３０２、アクチュエータ３０４，３０６を備える。ミラー３０２は図示しない光源からのビームを反射する。アクチュエータ３０４は、ミラー３０２を第１軸周りに回転させる。アクチュエータ３０６は、ミラー３０２をそれを支持するアクチュエータ３０４とともに、第２軸周りに回転させる。第１軸周りの回転がスキャン角θの制御に対応し、第２軸周りの回転が仰俯角φの制御に対応する。
【0047】
なお３次元センサ１０２の構成は図７のそれには限定されず、公知の、あるいは将来利用可能なデバイスを用いることができる。たとえばフェーズドアレイ式やマイクロプリズム方式などのメカレスのもの、あるいは、上述のＭＥＭＳミラーやモータ駆動ミラーを用いたメカニカルなものを用いてもよい。
【0048】
本実施の形態における特徴のひとつは、仰俯角φの制御を、スキャンラインの高さの補正、あるいはスキャンラインの歪みの補正に利用することである。図６に戻る。コントローラ１０４は、スキャンラインそれぞれについて、複数の測定点のうち、少なくともひとつを補正点とし、補正点の高さが所定値ｈＲＥＦに近づくように３次元センサ１０２の仰俯角φを制御する。コントローラ１０４には、補正点までの距離ｒを示す測距データが入力される。補正点の高さは、仰俯角φと測距データから幾何学的に計算できる。
【0049】
図８は、３次元センサ１０２における仰俯角φの補正処理を説明する図である。図８には、ひとつのスキャンライン上のひとつの補正点における処理が示される。認識センサ１００は、補正処理のために仮測定を行う。仮測定では、仰俯角φは予め定めた初期値φＩＮＩＴにセットされる。初期値φＩＮＩＴは、そのスキャンラインの固有の値であってもよく、仰俯角一定スキャンを行う場合の角度φｉ（ｉ＝１，２・・・Ｎ）であってもよい。仮測定におけるスキャンビームＢＭＩＮＩＴを実線で示す。
【0050】
この状態で、オブジェクトＯＢＪまでの距離ｒが測定される。ここでは計算の簡素化のために、３次元センサ１０２の光源を基準として高さｈを定義する。測定された距離ｒと初期仰俯角φＩＮＩＴを用いて、オブジェクトＯＢＪまでの水平距離Ｒは、式（１）で計算できる。
Ｒ＝ｒ・ｃｏｓφＩＮＩＴ …（１）
Ｒ＝ｒ・ｃｏｓφＩＮＩＴ …（１）
【0051】
コントローラ１０４は、仮測定で得られた距離ｒとそのときの仰俯角φＩＮＩＴにもとづいて、本測定における仰俯角φＣＭＰを計算する。補正された仰俯角φＣＭＰで出射したスキャンビームＢＭＣＭＰは、オブジェクトＯＢＪと基準高さｈＲＥＦで交差しなければならないから、式（２）が成り立つ。
ｔａｎφＣＭＰ＝ｈＲＥＦ／Ｒ …（２）
ｔａｎφＣＭＰ＝ｈＲＥＦ／Ｒ …（２）
【0052】
したがって、補正された仰俯角φＣＭＰは式（３）で与えられる。
φＣＭＰ＝ａｒｃｔａｎ（ｈＲＥＦ／Ｒ）
＝ａｒｃｔａｎ（ｈＲＥＦ／（ｒ・ｃｏｓφＩＮＩＴ）） …（３）
φＣＭＰ＝ａｒｃｔａｎ（ｈＲＥＦ／Ｒ）
＝ａｒｃｔａｎ（ｈＲＥＦ／（ｒ・ｃｏｓφＩＮＩＴ）） …（３）
【0053】
３次元センサ１０２は、仮測定に続く本測定において、仰俯角をφＣＭＰにセットし、オブジェクトＯＢＪまでの距離ｒ’を再測定する。
【0054】
図９は、３次元センサ１０２における仰俯角φの補正処理のフローチャートである。はじめに３次元センサ１０２の仰俯角φが初期値φＩＮＩＴにセットされる（Ｓ１００）。そのときのオブジェクトまでの距離ｒを仮測定する（Ｓ１０２）。仮測定で得られた距離ｒと、仰俯角の初期値φＩＮＩＴにもとづいて、補正された仰俯角φＣＭＰを計算する（Ｓ１０４）。３次元センサ１０２に、補正後の仰俯角φＣＭＰをセットする（Ｓ１０６）。そしてオブジェクトまでの距離ｒ’を本測定する（Ｓ１０８）。
【0055】
以上が認識センサ１００の動作である。この認識センサ１００によれば、スキャンラインごとに、それが通過する高さを制御できるため、上述の少なくともひとつの課題を解決できる。
【0056】
補正対象の測定点（補正点）の選択には、さまざまな方法が考えられる。以下、いくつかの実施例について説明する。
【0057】
（第１実施例）
第１実施例において、すべての測定点を補正点とすることができる。すなわちすべてのスキャンラインに含まれるすべての測定点において、仮測定と本測定を行う。図１０は、第１実施例に係る補正を説明する図である。ここではひとつのスキャンラインに着目する。仰俯角一定制御の場合のスキャンラインＳＬＩＮＩＴは一点鎖線で示される。異なる水平距離Ｒ１，Ｒ２に、２つのオブジェクトＯＢＪ１，ＯＢＪ２が存在しているとする。Ｒ２＞Ｒ１である。オブジェクトＯＢＪ１，ＯＢＪ２は平坦であり、仰角一定制御のときのスキャンラインＳＬＩＮＩＴは歪んでいる。また遠いオブジェクトＯＢＪ２を通過するスキャンラインＳＬＩＮＩＴは、近いオブジェクトＯＢＪ１を通過するスキャンラインＳＬＩＮＩＴよりも低い高さを通過する。
第１実施例において、すべての測定点を補正点とすることができる。すなわちすべてのスキャンラインに含まれるすべての測定点において、仮測定と本測定を行う。図１０は、第１実施例に係る補正を説明する図である。ここではひとつのスキャンラインに着目する。仰俯角一定制御の場合のスキャンラインＳＬＩＮＩＴは一点鎖線で示される。異なる水平距離Ｒ１，Ｒ２に、２つのオブジェクトＯＢＪ１，ＯＢＪ２が存在しているとする。Ｒ２＞Ｒ１である。オブジェクトＯＢＪ１，ＯＢＪ２は平坦であり、仰角一定制御のときのスキャンラインＳＬＩＮＩＴは歪んでいる。また遠いオブジェクトＯＢＪ２を通過するスキャンラインＳＬＩＮＩＴは、近いオブジェクトＯＢＪ１を通過するスキャンラインＳＬＩＮＩＴよりも低い高さを通過する。
【0058】
補正後のスキャンラインＳＬＣＭＰは実線で示される。仮測定では、補正前のスキャンラインＳＬＩＮＩＴ上の測定点ＰＩＮＩＴにスキャンビームが当たる。そして仰俯角φが補正されると、所定の高さｈＲＥＦの位置に測定点ＰＣＭＰが移動する。
【0059】
【0060】
課題２に関連して、コントローラ１０４は、実質的に平坦なオブジェクトＯＢＪをスキャンしたときに、各スキャンラインの高さがスキャン角度θに依存せずに一定となるように３次元センサ１０２の仰俯角φを制御しているものと把握できる。
【0061】
また、２つのオブジェクトＯＢＪ１、ＯＢＪ２を比較すると、水平距離Ｒ１，Ｒ２が異なっているにもかかわらず、測定点ＰＣＭＰの高さをｈＲＥＦに揃えることができる。すなわち図５を参照して説明した課題４も解決できる。
【0062】
課題４に関連して、コントローラ１０４は、測定点までの水平距離Ｒにかかわらず、当該測定点の高さが所定値ｈＲＥＦに近づくように３次元センサの仰俯角を制御しているものと把握できる。
【0063】
スキャンラインごとの基準高さｈＲＥＦを、機械学習に用いたＬｉＤＡＲのそれと合わせることにより、課題１を解決することも可能である。あるいは、自動車にＬｉＤＡＲを搭載する際の設置の自由度を高めることができる。
【0064】
なお第１実施例の補正処理では、すべての測定点について２回ずつの測距が必要となるため、フレームレートが１／２に低下する。そこで、複数フレームに１回の割合で、補正を行ってもよい。
【0065】
（第２実施例）
図１１は、第２実施例に係る補正処理を説明する図である。第２実施例では、スキャン方向に離散的な複数の測定点を補正点とする。補正点から次の補正点までの間の測定点については、直前の補正処理で得られた補正角φＣＭＰを用いることとする。
図１１は、第２実施例に係る補正処理を説明する図である。第２実施例では、スキャン方向に離散的な複数の測定点を補正点とする。補正点から次の補正点までの間の測定点については、直前の補正処理で得られた補正角φＣＭＰを用いることとする。
【0066】
離散的な測定点は、たとえばオブジェクトＯＢＪごとに少なくとも１点設けるとよい。新しいオブジェクトＯＢＪは、距離ｒの大きな不連続にもとづいて検出してもよい。
【0067】
第２実施例によれば、高さｈは完全に一定とはならないものの、仰俯角一定制御を行った場合に比べれば、高さの変動を抑制できる。オブジェクトＯＢＪごとに補正を行えば、図４（ｂ）に関連する課題３や、図５に関連する課題４を解決できる。
【0068】
第２実施例では、図４（ａ）に関連する課題３が未解決のまま残りうる。その場合には、機械学習においても同様の歪んだ像を測定すればよい。
【0069】
図１２は、オブジェクト識別システム２００を備える自動車４００のブロック図である。自動車４００は、前照灯４１０を備える。オブジェクト識別システム２００のうち、少なくとも３次元センサ１０２は、前照灯４１０に内蔵される。コントローラ１０４も前照灯４１０に内蔵することができる。前照灯４１０は、車体の最も先端に位置しており、周囲のオブジェクトを検出する上で、３次元センサ１０２の設置箇所として最も有利である。オブジェクト識別処理部２１０については、前照灯４１０に内蔵してもよいし、車両側に設けてもよい。
【0070】
図１３は、オブジェクト識別システム２００を備える車両用灯具５００を示すブロック図である。車両用灯具５００は、光源５０２、点灯回路５０４、光学系５０６、灯具ＥＣＵ５０８を備える。さらに車両用灯具５００には、オブジェクト識別システム２００が設けられる。
【0071】
オブジェクト識別処理部２１０が検出したオブジェクトＯＢＪに関する情報は、車両ＥＣＵ４２０に送信される。車両ＥＣＵ４２０は、この情報にもとづいて、自動運転を行ってもよい。
【0072】
また、オブジェクト識別処理部２１０が検出したオブジェクトＯＢＪに関する情報は、車両用灯具５００の配光制御（ＡＤＢ：Adaptive Driving Beam）に利用してもよい。具体的には、灯具ＥＣＵ５０８は、オブジェクト識別処理部２１０が生成するオブジェクトＯＢＪの種類とその位置に関する情報にもとづいて、適切な配光パターンを生成する。点灯回路５０４および光学系５０６は、灯具ＥＣＵ５０８が生成した配光パターンが得られるように動作する。
【0073】
以上、本発明の一側面について、第１の実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。以下、第１の実施の形態に関連する変形例について説明する。
【0074】
第１の実施の形態では、３次元センサ１０２としてＬｉＤＡＲを例としたが、この技術の適用はそれに限定されない。
【0075】
＜第２の実施の形態＞
図１４は、第２の実施の形態に係るオブジェクト識別システム１０のブロック図である。このオブジェクト識別システム１０は、自動車やバイクなどの車両に搭載される車載用であり、車両の周囲に存在するオブジェクトＯＢＪの種類（カテゴリともいう）を判定する。
図１４は、第２の実施の形態に係るオブジェクト識別システム１０のブロック図である。このオブジェクト識別システム１０は、自動車やバイクなどの車両に搭載される車載用であり、車両の周囲に存在するオブジェクトＯＢＪの種類（カテゴリともいう）を判定する。
【0076】
オブジェクト識別システム１０は、主として３次元センサ２０および演算処理装置４０を備える。３次元センサ２０は、高さが異なる複数の水平ラインＬ１～ＬＮについて、複数のラインデータＬＤ１～ＬＤＮを生成する。水平ラインの本数Ｎは、特に限定されないが、２０本以下、４～１２本程度が好適である。各ラインデータＬＤは、対応する水平ラインＬに沿った複数のサンプリング点Ｐまでの距離情報を含んでいる。複数のラインデータＬＤ１～ＬＤＮのセットを測距データと称する。３次元センサ２０は特に限定されないが、歩行者など凹凸の小さいオブジェクトを正確に識別したい場合には、ＬｉＤＡＲを用いることが好ましい。水平ラインの本数Ｎは、すなわち垂直方向の解像度である。ＬｉＤＡＲの構成は特に限定されず、走査型、非走査型であるとを問わない。
【0077】
演算処理装置４０は、複数のラインデータＬＤ１～ＬＤＮを含む測距データにもとづいてオブジェクトの種類（カテゴリ）を識別する。演算処理装置４０は、１個のオブジェクトを含むデータを処理対象として構成され、１枚の測距データに、複数のオブジェクトが含まれる場合、前処理によって１個のオブジェクトを含むサブフレームに分割し、演算処理装置４０は、サブフレームを処理単位とする。
【0078】
演算処理装置４０は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）、マイコンなどのプロセッサ（ハードウェア）と、プロセッサ（ハードウェア）が実行するソフトウェアプログラムの組み合わせで実装することができる。演算処理装置４０は、複数のプロセッサの組み合わせであってもよい。
【0079】
たとえばオブジェクトの種類は、歩行者、自転車、自動車、電柱などが例示される。歩行者について、前方から見た歩行者、後方から見た歩行者、側方から見た歩行者を、同じ種類に分類して定義してもよい。自動車、自転車も同様である。本実施の形態ではこの定義を採用する。
【0080】
本実施の形態において、オブジェクトＯＢＪは、異なる高さについて、複数の部位（カテゴリあるいはサブカテゴリと称する）が定義される。図１５は、歩行者について定義される複数の部位の一例を示す図である。歩行者に関して、Ｍ個の部位Ｈ０～ＨＭ－１が定義される。本実施の形態では、Ｍ＝Ｎ＝８とする。Ｈ０は膝、Ｈ１は膝上、Ｈ２は太もも、Ｈ３は腰、Ｈ４は腹部、Ｈ５は胸、Ｈ６は肩、Ｈ７は顔である。
【0081】
自転車についても、異なる高さの複数の部位Ｂ０～Ｂ７が定義される。自動車についても、異なる高さの複数の部位Ｃ０～Ｃ７が定義される。電柱に関しても、異なる高さの複数の部位Ｐ０～Ｐ７を定義できるが、高さにかかわらずプロファイルは実質的に不変であるからそれらを区別する必要はなく、したがって、１つの出力Ｐ０にまとめることとする。
【0082】
図１６（ａ）～（ｄ）は、歩行者、自転車、自動車、電柱を３次元センサ２０で撮影したときの複数のラインデータを示す図である。図１６（ａ）～（ｄ）において、複数のラインデータは、予め定義された複数の部位の形状を示している。
【0083】
図１に戻る。演算処理装置４０は、ラインデータＬＤごとに、オブジェクトＯＢＪの種類およびその部位に関する中間データＭＤを生成する。中間データＭＤｉは、対応するラインデータＬＤｉ（水平ラインＬｉ）が、いずれの種類の、いずれの部位であるかを統計的に示してもよい。
【0084】
そして演算処理装置４０は、複数のラインデータＬＤ１～ＬＤＮに対応する複数の中間データＭＤ１～ＭＤＮを統合して、オブジェクトＯＢＪの種類を示す最終データＦＤを生成する。最終データＦＤは、オブジェクトＯＢＪがいずれの種類であるかを統計的に示してもよい。
【0085】
演算処理装置４０は、機能的には、複数の第１演算ユニット４２＿１～４２＿Ｎと、第２演算ユニット４４を含む。演算ユニット４２，４４で示されるブロックは、必ずしもハードウェア的に独立していることを意味するものでない。たとえば、演算処理装置４０がシングルコアで構成される場合、複数の演算ユニット４２、４４は、単一のコアに対応しうる。演算処理装置４０がマルチコアを含む場合、各コアが、複数の演算ユニット４２，４４として機能しうる。
【0086】
ｉ番目（１≦ｉ≦Ｎ）の演算ユニット４２＿ｉは、対応するラインデータＬＤｉを処理し、中間データＭＤｉを生成する。第２演算ユニット４４は、複数の第１演算ユニット４２＿１～４２＿Ｎが生成する中間データＭＤ１～ＭＤＮを統合し、最終データＦＤを生成する。
【0087】
以上がオブジェクト識別システム１０の基本構成である。演算処理装置４０の実装は特に限定されないが、たとえばニューラルネットワークを用いて構成できる。以下、本発明者が検証を行った構成について説明する。第１演算ユニット４２に対応するニューラルネットワークを第１ニューラルネットワークＮＮ１，第２演算ユニット４４に対応するニューラルネットワークを第２ニューラルネットワークＮＮ２と称する。
【0088】
図１７は、第１ニューラルネットワークＮＮ１の構成例を示すブロック図である。第１ニューラルネットワークＮＮ１は、入力層５０、３層の中間層（隠れ層）５２、出力層５４で構成される。入力層５０のユニット数は、１ラインのサンプル点の個数に応じて定め、５２００とした。中間層は３層であり、ユニット数は２００，１００，５０とした。中間層５２においては、アファイン変換と、シグモイド関数を用いた変換が行われる。出力層５４では、アファイン変換と、ソフトマックス関数を用いた確率の計算が行われる。
【0089】
出力層５４には、歩行者に関する部位Ｈ０～Ｈ７、自動車に関する部位Ｃ０～Ｃ７、自転車に関する部位Ｂ０～Ｂ７、電柱に関する部位Ｐ０の、合計２５個のカテゴリを設定した。中間データＭＤｉは、複数のデータHuman-0th～Human-7th,Car-0th～Car-7th, Bicycle--0th～Bicycle7th, Pole-allを含み、歩行者に関する部位Ｈ０～Ｈ７、自動車に関する部位Ｃ０～Ｃ７、自転車に関する部位Ｂ０～Ｂ７、電柱に関する部位Ｐ０それぞれに該当する確率を示す。
【0090】
図１８は、第２ニューラルネットワークＮＮ２の構成例を示すブロック図である。第２ニューラルネットワークＮＮ２は、入力層６０、１層の中間層６２、出力層６４で構成される。入力層６０のユニット数は、前段の第１ニューラルネットワークＮＮ１の個数（Ｎ＝８）と、そのカテゴリ数（２５）の積２００とした。中間層６２は１層であり、ユニット数は５０とした。出力層６４には、歩行者（Human）、自動車（Car）、自転車(Bicycle)、電柱(Pole)の４カテゴリを設定した。すなわち最終データＦＤは、オブジェクトＯＢＪが、歩行者、自動車、自転車、電柱それぞれに該当する可能性を示す４つのデータHuman,Car,Bicycle,Poleを含む。
【0091】
第１ニューラルネットワークＮＮ１、第２ニューラルネットワークＮＮ２に共通する設定として、パラメータ更新法はAdam、学習係数は０．０１、反復計算回数は２０，０００回とした。
【0092】
第１ニューラルネットワークＮＮ１の前処理として、抽出、シフト、正規化を行うことが好ましい。
【0093】
抽出は、背景を除去し、オブジェクトＯＢＪを抽出する処理である。図１９（ａ）～（ｃ）は、オブジェクトの抽出を説明する図である。図１９（ａ）は、オブジェクトである自動車を示す図である。図１９（ｂ）は、図１９（ａ）のオブジェクトをＬｉＤＡＲで撮影したときの、複数のラインデータＬＤ１～ＬＤ８を示す。図１９（ｃ）には、オブジェクトを含むように抽出されたラインデータＬＤ１～ＬＤ８が示される。
【0094】
シフトは、オブジェクトが中央に位置するようにデータシフトする処理である。正規化は、距離データを所定値で除算する処理である。たとえば、所定値は、学習時における、３次元センサ２０とオブジェクトＯＢＪの所定箇所との距離（基準距離）であってもよい。これにより、ラインデータが、１付近の値に正規化される。
【0095】
続いて、機械学習について説明する。図２０（ａ）～（ｃ）は、第１の学習方法を説明する図である。図２０（ａ）に示すように、初めに学習に用いるデータ（学習）を測定する。学習データは、複数のオブジェクトをＬｉＤＡＲで測定することにより取得される。具体的には、識別したいオブジェクトの候補（歩行者、自動車、電柱、自転車に乗った人など）を、異なる条件下（たとえば、さまざまな距離、さまざまな方向から）で測定し、学習用のフレームデータＦＤ１，ＦＤ２，…を用意する。各フレームデータＦＤｉ（ｉ＝１，２，・・・）は、Ｎ本（ここでは８本）のラインデータを含むが、学習には、オブジェクトとクロスする有効なラインデータのみを使用してもよい。たとえば歩行者を撮影したフレームデータＦＤ１では、一番下の２本のラインデータＬＤ１１，ＦＤ１２は地面とクロスし、歩行者とクロスしないため、学習には用いないこととしてもよい。
【0096】
続いて、第１演算ユニット（第１ニューラルネットワーク）４２を対象とした学習を行う。図２０（ｂ）に示すように、複数のフレームデータに含まれる複数の有効なラインデータＬＤｉｊが個別に、教師データＴＤｉｊとともに第１演算ユニット４２に入力される。たとえばフレームＦＤ１のラインデータＬＤ１８を入力するときには、種類（カテゴリ）＝「歩行者」、部位（サブカテゴリ）＝「歩行者の顔」を示す教師データＴＤｉｊを与える。
【0097】
１個の第１演算ユニット４２について得られた学習結果は、すべての第１演算ユニット４２において使用される。続いて第２演算ユニット４４を学習させる。具体的には図２０（ｂ）に示すように、複数の第１演算ユニット４２と、第２演算ユニット（第２ニューラルネットワーク）４４が接続される。この状態で、演算処理装置４０に、複数のフレームデータＦＤ１，ＦＤ２・・・が個別に入力される。各フレームＦＤｉごとに、複数の第１演算ユニット４２によって複数の中間データＭＤ１～ＭＤ８のセットが生成され、後段の第２演算ユニット４４に供給される。第２演算ユニット４４には、中間データＭＤ１～ＭＤ６のセットに加えて、現在のフレームデータＦＤｉに含まれるオブジェクトの種類を示す教師データＴＤｉが与えられる。たとえば、演算処理装置４０に、歩行者を撮影したフレームデータＦＤｉを入力する場合、第２演算ユニット４４には、種類＝「歩行者」を示す教師データＴＤｉが与えられる。これを複数のフレームデータについて行うことにより、第２演算ユニット４４の学習が行われる。
【0098】
以上の構成を有するオブジェクト識別システム１０の有効性を検討するために行った実験について説明する。
【0099】
検証に用いたＬｉＤＡＲの水平ラインの本数は８である。水平ラインの照射角度（鉛直方向角度分解能）は、下から－１８．２５°，－１５．４２°，－１２．４９°，－９．４６°，－６．３６°，－３．１９°，０°，３．２°である。水平方向角度分解能は０．０３５度、撮影範囲は０～１８０°に設定した。したがってラインデータは、１８０／０．０３５＝５２００個のサンプル点の値を含む。
【0100】
図２１（ａ）、（ｂ）は、歩行者の撮影を説明する図である。ＬｉＤＡＲの中心からオブジェクトＯＢＪの距離（基準距離）は３ｍとした。歩行者のサンプルは、身長１６６ｃｍの成人男性であり、９つの方向（０°，２２．５°，４５°，６７．５°，９０°，１１２．５°，１３５°，１５７．５°，０°，１８０°）から撮影した。なおオブジェクトＯＢＪの正面（顔、ヘッドランプ）が見える方向を０°とする。歩行者に関して、図１５に示す８つの部位Ｈ０～Ｈ７に、８本の水平ラインが一致するように、ＬｉＤＡＲを、鉛直方向に７°（仰角）傾けている。
【0101】
自転車については、図１６（ｂ）に示すように人が跨がって静止した状態で撮影した。撮影方向は、歩行者と同様に９方向とした。
【0102】
自動車については、１種類の車種を、３方向（０°，９０°，１８０°）から撮影した。電柱は６本をサンプルとし、任意の方向から撮影した。
【0103】
訓練データとして、歩行者と自転車は３６００フレーム、自動車は３０００フレーム、電柱は１７００フレームを用いて機械学習を行った。学習方法は、図２０（ａ）～（ｃ）を参照して説明した通りである。
【0104】
その後、歩行者と自転車についてそれぞれ３６０フレーム、自動車、電柱についてそれぞれ３００フレームをテストデータとして、学習の結果を検証した。図２２は、第１ニューラルネットワークＮＮ１による２５カテゴリ（サブカテゴリ）の分類の正解率を示す図である。最上段のTotalは、テストデータとして入力した（３６０＋３６０＋３００＋３００）フレーム×８本＝１０５６０本のラインデータのトータルの正解率を示す。それ以外は、歩行者、自動車、自転車、電柱の各部位の正解率を示す。
【0105】
図２３は、第２ニューラルネットワークＮＮ２による４カテゴリの分類の正解率を示す図である。最上段のTotalは、テストデータとして入力した１３２０（＝３６０＋３６０＋３００＋３００）フレーム全体の正解率を示す。それ以外は、歩行者（Human）、自動車（Car）、自転車（Bicycle）、電柱（Pole）の正解率を示す。
【0106】
図２３からわかるように、歩行者（Human）、自動車（Car）、電柱（Pole）については１００％の正解率が得られている。自転車（Bicycle）についてのみ、正解率が９７．８％となっており、トータルの正解率は、自転車での誤りの影響を受けたものであることがわかる。
【0107】
このように、第２の実施の形態に係るオブジェクト識別システム１０によれば、わずかに８本の水平ラインの本数で、きわめて高確率でオブジェクトの種類を判定することができる。
【0108】
また、水平ラインの本数が８本と少ないことから、演算処理装置４０に要求される処理能力を小さくできる。
【0109】
ここでは、オブジェクトとＬｉＤＡＲの距離を３ｍと固定して検証したが、実際には、距離は可変である。したがって、距離を複数のレンジに区分けして、レンジごとに、ニューラルネットワークの学習を行えばよい。
【0110】
図２４は、オブジェクト識別システム１０を備える自動車６００のブロック図である。自動車６００は、前照灯６０２Ｌ，６０２Ｒを備える。オブジェクト識別システム１０のうち、少なくとも３次元センサ２０は、前照灯６０２Ｌ，６０２Ｒの少なくとも一方に内蔵される。前照灯６０２は、車体の最も先端に位置しており、周囲のオブジェクトを検出する上で、３次元センサ２０の設置箇所として最も有利である。演算処理装置４０については、前照灯６０２に内蔵してもよいし、車両側に設けてもよい。たとえば演算処理装置４０のうち、中間データの生成は前照灯６０２の内部で行い、最終データの生成は車両側に委ねてもよい。
【0111】
図２５は、オブジェクト識別システム１０を備える車両用灯具７００を示すブロック図である。車両用灯具７００は、光源７０２、点灯回路７０４、光学系７０６を備える。さらに車両用灯具７００には、３次元センサ２０および演算処理装置４０が設けられる。演算処理装置４０が検出したオブジェクトＯＢＪに関する情報は、車両ＥＣＵ６０４に送信される。車両ＥＣＵは、この情報にもとづいて、自動運転を行ってもよい。
【0112】
また、演算処理装置４０が検出したオブジェクトＯＢＪに関する情報は、車両用灯具７００の配光制御に利用してもよい。具体的には、灯具ＥＣＵ７０８は、演算処理装置４０が生成するオブジェクトＯＢＪの種類とその位置に関する情報にもとづいて、適切な配光パターンを生成する。点灯回路７０４および光学系７０６は、灯具ＥＣＵ７０８が生成した配光パターンが得られるように動作する。
【0113】
以上、本発明について、実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。以下、こうした変形例について説明する。
【0114】
（学習方法に関する変形例）
図２０（ａ）～（ｃ）に示す第１の学習方法では、ＬｉＤＡＲの設置（高さ、仰俯角、あるいはオブジェクトとの距離）に強く依存した学習が行われる場合がある。図２６（ａ）、（ｂ）は、ＬｉＤＡＲの高さと、オブジェクトの関係を示す図である。図２６（ａ）は、学習時にＬｉＤＡＲの設置高さを１４５ｃｍとした場合を示す。このとき、下側の３本のラインデータは無効であり、下から４本目～８本目のラインデータＬＤ４～ＬＤ８を用いた学習が行われる。
図２０（ａ）～（ｃ）に示す第１の学習方法では、ＬｉＤＡＲの設置（高さ、仰俯角、あるいはオブジェクトとの距離）に強く依存した学習が行われる場合がある。図２６（ａ）、（ｂ）は、ＬｉＤＡＲの高さと、オブジェクトの関係を示す図である。図２６（ａ）は、学習時にＬｉＤＡＲの設置高さを１４５ｃｍとした場合を示す。このとき、下側の３本のラインデータは無効であり、下から４本目～８本目のラインデータＬＤ４～ＬＤ８を用いた学習が行われる。
【0115】
実際の使用時に、図２６（ｂ）に示すように、ＬｉＤＡＲの設置高さが学習時より低い７０ｃｍであったとする。また歩行者とＬｉＤＡＲとの距離が、学習時より近いものとする。図２６（ｂ）の状態では、ラインデータＬＤ１～ＬＤ３は該当部位無し（サブカテゴリ無し）、ラインデータＬＤ４～ＬＤ７は、部位（サブカテゴリ）＝脚、ラインデータＬＤ８は、部位（サブカテゴリ）＝腹部である。
【0116】
図２６（ｃ）は、第１の学習方法によって学習済みのオブジェクト識別システム１０によって、図２６（ｂ）の状況で得られる最終データを示す。歩行者として認識されるべきところ、その他のカテゴリである確率の方が高いものと誤認識されている。これは第１学習方法では、第２演算ユニット４４における分類が、サブカテゴリの並び順、組み合わせに強く依存していることに起因するものと推察される。すなわち第１の学習方法を採用する場合、実際の使用段階における３次元センサの高さが、学習段階で用いた高さにより制約される可能性がある。第２の学習方法には、このような制約を減らす工夫が組み込まれる。
【0117】
第２の学習方法では、第１演算ユニット４２の学習は第１の学習方法と同様であり、第２演算ユニット４４の学習方法が異なっている。図２７は、第２の学習方法における第２演算ユニット４４の学習工程を説明する図である。具体的には、第２の学習方法では、学習済みの複数の第１演算ユニット４２の出力と、第２演算ユニット４４の複数の入力ノードＩ１～Ｉ８の対応関係４６を変化させながら、第２演算ユニット４４を学習させる。対応関係４６は、フレームデータＦＤｉごとにランダムに変化させてもよい。
【0118】
学習時間に余裕がある場合には、ひとつのフレームデータＦＤｉについて、対応関係を複数のパターンで切りかえて学習を行ってもよい。Ｎ＝８の場合、入出力の組み合わせは８×７＝５６通り存在する。したがって各フレームデータについて、すべての組み合わせで学習を行ってもよい。
【0119】
図２８は、第２の学習方法の効果を説明する図である。図２８は、第２の学習方法で学習済みのオブジェクト識別システム１０を用いて、図２６（ｂ）の状況で歩行者を想定したときの最終データＦＤを示す。第１の学習方法の結果得られる図２６（ｃ）の最終データに比べて、歩行者と認識する確率を高めることができている。
【0120】
このように、第２演算ユニット４４の学習工程において、複数の第１演算ユニット４２と、第２演算ユニット４４の複数の入力の対応関係を変化させることにより、ＬｉＤＡＲなどの３次元センサの設置の自由度を高めることができる。
【0121】
図２９は、変形例に係るオブジェクト識別システム１０Ａのブロック図である。この変形例において、第１演算ユニット４２Ａは、畳み込みニューラルネットワークとして実装される。一般的には、畳み込みニューラルネットワークは、Ｍ×Ｎピクセルの２次元画像を対象とするが、本実施形態では、それを１次元のラインデータを対象として利用する点が新しい。畳み込みニューラルネットワークは、畳み込み層とプーリング層の組み合わせである。畳み込みニューラルネットワークを用いることで、オブジェクトの横方向の位置ズレに対するロバスト性を高めることができる。
【0122】
（その他の変形例）
複数のラインデータの本数Ｎを８としたが、演算処理装置４０の演算能力と、要求されるオブジェクトＯＢＪの識別能力を考慮して、Ｎ＝４～１２程度としてもよい。
複数のラインデータの本数Ｎを８としたが、演算処理装置４０の演算能力と、要求されるオブジェクトＯＢＪの識別能力を考慮して、Ｎ＝４～１２程度としてもよい。
【0123】
一実施の形態において、オブジェクトを、それを望む方向ごとに異なる種類（カテゴリ）として定義してもよい。つまり、あるオブジェクトが、自車と正対しているときと、そうでないときとで、別の種類として識別される。これは、オブジェクトＯＢＪの移動方向の推定に役立つからである。
【0124】
演算処理装置４０は、ＦＰＧＡなどを用いてハードウェアのみで構成してもよい。
【0125】
実施の形態では、車載用のオブジェクト識別システム１０を説明したが本発明の適用はその限りでなく、たとえば信号機や交通標識、そのほかの交通インフラに固定的に設置され、定点観測する用途にも適用可能である。
実施の形態にもとづき、具体的な語句を用いて本発明を説明したが、実施の形態は、本発明の原理、応用の一側面を示しているにすぎず、実施の形態には、請求の範囲に規定された本発明の思想を逸脱しない範囲において、多くの変形例や配置の変更が認められる。
実施の形態にもとづき、具体的な語句を用いて本発明を説明したが、実施の形態は、本発明の原理、応用の一側面を示しているにすぎず、実施の形態には、請求の範囲に規定された本発明の思想を逸脱しない範囲において、多くの変形例や配置の変更が認められる。
【符号の説明】
【0126】
１００…認識センサ、１０２…３次元センサ、１０４…コントローラ、２００…オブジェクト識別システム、２１０…オブジェクト識別処理部、４００…自動車、４１０…前照灯、４２０…車両ＥＣＵ、５００…車両用灯具、５０２…光源、５０４…点灯回路、５０６…光学系、５０８…灯具ＥＣＵ、１０…オブジェクト識別システム、２０…３次元センサ、４０…演算処理装置、４２…第１演算ユニット、４４…第２演算ユニット、ＮＮ１…第１ニューラルネットワーク、ＮＮ２…第２ニューラルネットワーク、５０…入力層、５２…中間層、５４…出力層、６０…入力層、６２…中間層、６４…出力層、６００…自動車、６０２…前照灯、６０４…車両ＥＣＵ、７００…車両用灯具、７０２…光源、７０４…点灯回路、７０６…光学系、７０８…灯具ＥＣＵ。
【産業上の利用可能性】
【0127】
本発明は、物体の形状を検出する認識センサに利用できる。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】