特許 7268001 演算処理装置、オブジェクト識別システム、学習方法、自動車、車両用灯具

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-04-24

(45)【発行日】2023-05-02

(54)【発明の名称】演算処理装置、オブジェクト識別システム、学習方法、自動車、車両用灯具

(51)【国際特許分類】

   G06T 7/00 20170101AFI20230425BHJP

【ＦＩ】

G06T7/00 350C

【請求項の数】 11

(21)【出願番号】P 2020512308

(86)(22)【出願日】2019-04-03

(86)【国際出願番号】 JP2019014890

(87)【国際公開番号】W WO2019194256

(87)【国際公開日】2019-10-10

【審査請求日】2022-01-21

(31)【優先権主張番号】P 2018073354

(32)【優先日】2018-04-05

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000001133

【氏名又は名称】株式会社小糸製作所

(74)【代理人】

【識別番号】100105924

【弁理士】

【氏名又は名称】森下 賢樹

(74)【代理人】

【識別番号】100109047

【弁理士】

【氏名又は名称】村田 雄祐

(74)【代理人】

【識別番号】100109081

【弁理士】

【氏名又は名称】三木 友由

(72)【発明者】

【氏名】小倉 亮太

【審査官】新井 則和

(56)【参考文献】

【文献】特開２００９－０１７１５７（ＪＰ，Ａ）

【文献】特開平０５－１２７６９８（ＪＰ，Ａ）

【文献】中国特許出願公開第１０７７６７４０８（ＣＮ，Ａ）

【文献】特表２０１７－５３３４８２（ＪＰ，Ａ）

【文献】特開２００８－１０５５１８（ＪＰ，Ａ）

【文献】特開平１１－２７５３７６（ＪＰ，Ａ）

【文献】特開２０１６－１１０２３２（ＪＰ，Ａ）

【文献】GUIFANG SHAO et al.，DuCaGAN: Unified Dual Capsule Generative Adversarial Network for Unsupervised Image-to-Image Translation，IEEE Access VOLUME 8，2020年08月26日

【文献】Jun-Yan Zhu et al.，Toward Multimodal Image-to-Image Translation，1st Conference on Neural Information Processing Systems (NIPS 2017)，2020年12月31日

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００－７／９０

(57)【特許請求の範囲】

【請求項1】

画像データにもとづき物体を認識する演算処理装置であって、
前記画像データにもとづいて物体を識別する物体認識部と、
前記物体認識部の上流に設けられたニューラルネットワークであり、カメラが取得した第１画像を第２画像に変換し、前記第２画像を前記物体認識部に入力する変換部と、
を備え、
前記第２画像は、前記第１画像の階調を前記物体認識部のトレーニングに用いた学習データに近似するよう補正して得られることを特徴とする演算処理装置。

【請求項2】

前記第２画像は、前記第１画像と同じシーンを、前記物体認識部のトレーニングに用いた学習データを撮影した環境下において撮影したときに得られるであろう画像であることを特徴とする請求項１に記載の演算処理装置。

【請求項3】

画像データにもとづき物体を認識する演算処理装置であって、
前記画像データにもとづいて物体を識別する物体認識部と、
前記物体認識部の上流に設けられたニューラルネットワークであり、カメラが取得した第１画像を第２画像に変換し、前記第２画像を前記物体認識部に入力する変換部と、
を備え、
前記第２画像は、前記第１画像と同じシーンを、前記物体認識部のトレーニングに用いた学習データを撮影した環境下において撮影したときに得られるであろう画像であることを特徴とする演算処理装置。

【請求項4】

前記学習データは、昼間に撮影されたものであり、
前記変換部は、夜間に撮影された前記第１画像を、昼間に撮影されたような前記第２画像に変換することを特徴とする請求項２または３に記載の演算処理装置。

【請求項5】

前記変換部のトレーニングに際して、前記物体認識部の識別率を参照し、当該識別率が高まるように前記変換部のニューラルネットワークが最適化されることを特徴とする請求項１から４のいずれかに記載の演算処理装置。

【請求項6】

前記変換部は、連続する複数のフレームを入力として受けることを特徴とする請求項１から５のいずれかに記載の演算処理装置。

【請求項7】

カメラと、
請求項１から６のいずれかに記載の演算処理装置と、
を備えることを特徴とするオブジェクト識別システム。

【請求項8】

請求項７に記載のオブジェクト識別システムを備えることを特徴とする車両用灯具。

【請求項9】

前照灯に内蔵されるカメラと、
請求項１から６のいずれかに記載の演算処理装置と、
を備えることを特徴とする自動車。

【請求項10】

センサにより取得されるセンサ出力にもとづき物体を認識する演算処理装置であって、
ニューラルネットワークで構成され、前記センサ出力を中間データに変換する変換部と、
前記中間データにもとづいて物体を識別する物体認識部と、
を備え、
前記変換部は、前記センサ出力を、前記物体認識部のトレーニングに用いた学習データを取得した環境下において得られるであろう前記中間データに変換することを特徴とする演算処理装置。

【請求項11】

カメラが取得した画像データにもとづいて物体を認識する演算処理装置の学習方法であって、
前記演算処理装置は、
前記カメラが取得した画像データを変換する変換部と、
前記変換部による変換後の画像データを処理し、物体を識別する物体認識部と、
を備え、
前記学習方法は、
前記物体認識部を、所定の環境下において取得した画像を学習データとしてトレーニングするステップと、
前記所定の環境下において取得した画像と、それと異なる環境下において取得した画像と、のセットを用いて、前記変換部をトレーニングするステップであって、トレーニング後の前記変換部が、前記カメラが取得した画像データを、前記所定の環境下において取得されるであろう画像に近づけることができるようにトレーニングするステップと、
を備えることを特徴とする学習方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、オブジェクト識別システムに関する。

【背景技術】

【0002】

自動運転では、物体認識が非常に重要なアーキテクチャである。物体認識システムは、センサと、センサの出力を処理するニューラルネットワークの演算装置で構成される。センサとしては、カメラ、ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）、ミリ波レーダ、超音波ソナーなどが候補として挙げられるが、この中でカメラは、高解像度なものが最も安価に入手可能であり、車両への搭載が進んでいる。

【0003】

カメラの出力画像を処理する演算処理装置は、畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）で構成される。ＣＮＮは、さまざまなシーンで撮影された画像を用いて学習（トレーニング）が行われる。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１７－５６９３５号公報

【文献】特開２００９－９８０２３号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

車載用の物体認識システムは、夜間においても昼間と同様の精度で動作することが要求される。ところが夜間は太陽光がなく、自車のヘッドライトの反射光をカメラによって撮影することになる。したがって、自車近傍のオブジェクトは明るく、遠方のオブジェクトは暗く写り、昼間とは全く異なる画像が取得される。また自動車は、夜間はヘッドライトやテールランプが点灯しており、昼間とは異なった特徴を有することとなる。

【0006】

もし昼間のシーンのみで撮影した画像のみを学習データとして用いた場合、夜間のシーンで撮影された画像に含まれるオブジェクトの識別率は低下することとなる。学習データとして、夜間のシーンで撮影した画像を昼間の画像と併用することで、この問題は幾分改善しうるが、夜間の画像データを用意する必要があるため、学習に要するコストが大きく増加する。また光が届きにくい遠方のオブジェクトの識別率の改善はそれほど期待できない。

【0007】

本発明は係る課題に鑑みてなされたものであり、そのある態様の例示的な目的のひとつは、さまざまなシーンにおいて高い識別率が得られる物体認識システムおよびその演算処理装置、学習方法の提供にある。

【課題を解決するための手段】

【0008】

本発明のある態様は、画像データにもとづき物体を認識する演算処理装置に関する。演算処理装置は、画像データにもとづいて物体を識別する物体認識部と、物体認識部の上流に設けられたニューラルネットワークであり、カメラが取得した第１画像を第２画像に変換し、第２画像を物体認識部に入力する変換部と、を備える。

【0009】

本発明の別の態様は、センサにより取得されるセンサ出力にもとづき物体を認識する演算処理装置に関する。演算処理装置は、ニューラルネットワークで構成され、センサ出力を中間データに変換する変換部と、中間データにもとづいて物体を識別する物体認識部と、を備える。変換部は、センサ出力を、物体認識部のトレーニングに用いた学習データを取得した環境下において得られるであろう中間データに変換する。

【発明の効果】

【0010】

本発明によれば、さまざまなシーンにおいて高い識別力を提供できる。

【図面の簡単な説明】

【0011】

【図1】実施の形態に係るオブジェクト識別システムを示す図である。

【図2】変換部の変換処理を説明する図である。

【図3】変換部の学習に用いる画像の一例を示す図である。

【図4】演算処理装置の学習のフローチャートである。

【図5】オブジェクト識別システムを備える自動車のブロック図である。

【図6】オブジェクト識別システムを備える車両用灯具を示すブロック図である。

【発明を実施するための形態】

【0012】

（実施の形態の概要）
本明細書に開示される一実施の形態は、演算処理装置に関する。演算処理装置は、画像データにもとづき物体を認識する。演算処理装置は、画像データにもとづいて物体を識別する物体認識部と、物体認識部の上流に設けられたニューラルネットワークであり、カメラが取得した第１画像を第２画像に変換し、第２画像を物体認識部に入力する変換部と、を備える。物体認識部の入力として適した階調を有する画像することにより、識別率を高めることができる。

【0013】

第２画像は、第１画像の階調を物体認識部のトレーニングに用いた学習データの階調に近似するよう補正して得てもよい。学習データに近づけた画像を物体認識部に入力することで、識別率を高めることができる。

【0014】

変換部のニューラルネットワークのトレーニングに際して、物体認識部の認識率を参照し、この認識率が高まるように変換部をトレーニングしてもよい。

【0015】

第２画像は、第１画像と同じシーンを、物体認識部のトレーニングに用いた学習データを撮影した環境下において撮影したときに得られるであろう画像であってもよい。

【0016】

学習データは、昼間に撮影されたものであり、変換部は、夜間に撮影された第１画像を、昼間に撮影されたような第２画像に変換してもよい。

【0017】

変換部は、連続する複数のフレームを入力として受けてもよい。連続する複数のフレームを入力とすることで、変換部が経時的な特徴量にもとづいて、変換処理が可能となる。

【0018】

別の実施の形態は、センサにより取得されるセンサ出力にもとづき物体を認識する演算処理装置に関する。センサは、ＬｉＤＡＲやＴＯＦセンサなどの測距センサ（３次元センサ）であってもよい。演算処理装置は、ニューラルネットワークで構成され、センサ出力を中間データに変換する変換部と、中間データにもとづいて物体を識別する物体認識部と、を備える。変換部は、センサ出力を、物体認識部のトレーニングに用いた学習データを取得した環境下において得られるであろう中間データに変換する。たとえば測距センサの精度は、雨天や濃霧の中で低下する。この精度の低下を、変換部によって補い、あたかも晴天時に取得した中間データを物体認識部に与えることにより、識別率を改善できる。

【0019】

（実施の形態）
以下、本発明を好適な実施の形態をもとに図面を参照しながら説明する。各図面に示される同一または同等の構成要素、部材、処理には、同一の符号を付するものとし、適宜重複した説明は省略する。また、実施の形態は、発明を限定するものではなく例示であって、実施の形態に記述されるすべての特徴やその組み合わせは、必ずしも発明の本質的なものであるとは限らない。

【0020】

図１は、実施の形態に係るオブジェクト識別システム１０を示す図である。このオブジェクト識別システム１０は、後述するように車両に搭載され、自動運転や、ヘッドランプの配光制御に活用することができるが、その用途は限定されない。本実施の形態の説明の一部は、車両に搭載することを前提としている。

【0021】

オブジェクト識別システム１０は、カメラ２０および演算処理装置４０を備える。カメラ２０はＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサあるいはＣＣＤ（Charge Coupled Device）などのイメージセンサであり、所定のフレームレートで画像データ（第１画像）ＩＭＧ１を出力する。

【0022】

演算処理装置４０は、画像データＩＭＧ１にもとづき物体を認識する。具体的には演算処理装置４０は、画像データＩＭＧ１に含まれる物体の位置およびカテゴリを判定する。演算処理装置４０は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）、マイコンなどのプロセッサ（ハードウェア）と、プロセッサ（ハードウェア）が実行するソフトウェアプログラムの組み合わせで実装することができる。演算処理装置４０は、複数のプロセッサの組み合わせであってもよい。たとえば物体のカテゴリは、歩行者、自転車、自動車、電柱などが例示される。歩行者について、前方から見た歩行者、後方から見た歩行者、側方から見た歩行者を、同じカテゴリとして定義してもよい。自動車、自転車も同様である。

【0023】

演算処理装置４０は、変換部４２および物体認識部４４を備える。物体認識部４４には、ディープラーニングを利用した畳み込みニューラルネットワークのアルゴリズムが採用される。このようなアルゴリズムとしては、ＦａｓｔｅｒＲＣＮＮを用いることができるがその限りでなく、ＹＯＬＯ（You Only Look Once）、ＳＳＤ（Single Shot MultiBox Detector）、R-CNN（Region-based Convolutional Neural Network）、SPPnet（Spatial Pyramid Pooling）、Mask R-CNNなどを採用することができ、あるいは、将来開発されるアルゴリズムを採用できる。

【0024】

変換部４２は、物体認識部４４の上流（前段）に設けられたニューラルネットワークであり、カメラ２０が取得した第１画像ＩＭＧ１を第２画像ＩＭＧ２に変換し、第２画像ＩＭＧ２を物体認識部４４に入力する。

【0025】

変換部４２による変換について説明する。図２は、変換部４２の変換処理を説明する図である。物体認識部４４は、ある環境（標準環境という）下において撮影された画像ＩＭＧ３（学習データ）を用いてトレーニングされる。典型的には、学習データＩＭＧ３としては、さまざまなシーン（市街地、高速道路、晴天、曇天、雨天）を、昼間に撮影した画像が使用される。この例では標準環境は昼間である。

【0026】

一方で、第２画像ＩＭＧ２が取得される環境（実環境という）と、標準環境が大きくことなる場合がある。最も典型的には、実環境が夜間である場合であり、このとき第２画像ＩＭＧ２と、学習データＩＭＧ３とは大きな隔たりが存在する。変換部４２は、この隔たりを埋めるように、第１画像ＩＭＧ１を第２画像ＩＭＧ２に変換する。変換後の第２画像ＩＭＧ２は、学習データＩＭＧ３と近似したものとなる。より詳しくは変換部４２は、第１画像ＩＭＧ１の階調を、学習データＩＭＧ３の階調に近似するよう補正し、第２画像ＩＭＧ２を生成する。

【0027】

すなわち第２画像ＩＭＧ２は、第１画像ＩＭＧ１と同じシーンを、物体認識部４４のトレーニングに用いた学習データＩＭＧ３を撮影した標準環境において撮影したような画像である。以下では、標準環境を昼間、実環境を夜間して説明を続ける。

【0028】

関連する技術として、ディープネットワークを用いて、白黒画像をカラー画像に変換する技術がある（「ディープネットワークを用いた大域特徴と局所特徴の学習による白黒写真の自動色付け」、飯塚里志、シモセラ・エドガー、石川博、http://hi.cs.waseda.ac.jp/~iizuka/projects/colorization/ja/）。変換部４２は、これより幾分シンプルであり、色は変化させずに、階調（コントラストや輝度）を調節することで、昼間に撮影された画像を再現するように構成される。当業者によれば、このような変換部４２を、公知のアルゴリズムを用いて設計できることが理解される。

【0029】

変換部４２は、画素毎に輝度やコントラストを調節してもよいし、エリアごとに調節してもよいし、画面全体を一律に調節してもよい。

【0030】

図３は、変換部４２の学習に用いる画像の一例を示す図である。図３には、同じシーンを、昼間に撮影した画像ＩＭＧ＿ＤＡＹと夜間に撮影した画像ＩＭＧ＿ＮＩＧＨＴが示される。変換部４２に、このような２つの画像のペアを多数入力することで、夜間の画像を昼間の画像に変換することが可能なニューラルネットワークを構築できる。

【0031】

図４は、演算処理装置４０の学習のフローチャートである。物体認識部４４を、所定の標準環境下（昼間）で取得した標準環境画像ＩＭＧ＿ＤＡＹを学習データとしてトレーニングする（Ｓ１００）。また変換部４２を、標準環境下において取得した標準環境画像（たとえばＩＭＧ＿ＤＡＹ）と、それと異なる環境下において取得した実環境画像（たとえばＩＭＧ＿ＮＩＧＨＴ）と、のセットを用いてトレーニングする（Ｓ１０２）。

【0032】

以上がオブジェクト識別システム１０の構成である。このオブジェクト識別システム１０によれば、標準環境でトレーニングされた物体認識部４４を用いて、標準環境と異なる実環境下で得られた画像にもとづいて、高精度な物体認識が可能となる。

【0033】

たとえば物体認識部４４は、昼間において撮影した画像のみを用いてトレーニングすればよく、夜間において撮影した画像を用いる必要がないため（あるいはその数を減らすことができるため）、学習に要するコストを大幅に削減できる。

【0034】

（用途）
図５は、オブジェクト識別システム１０を備える自動車のブロック図である。自動車１００は、前照灯１０２Ｌ，１０２Ｒを備える。オブジェクト識別システム１０のうち、少なくともカメラ２０は、前照灯１０２Ｌ，１０２Ｒの少なくとも一方に内蔵される。前照灯１０２は、車体の最も先端に位置しており、周囲のオブジェクトを検出する上で、カメラ２０の設置箇所として最も有利である。演算処理装置４０については、前照灯１０２に内蔵してもよいし、車両側に設けてもよい。たとえば演算処理装置４０のうち、第２画像ＩＭＧ２を生成する変換部４２は、前照灯１０２の内部に設け、物体認識部４４は車両側に搭載してもよい。

【0035】

図６は、オブジェクト識別システム１０を備える車両用灯具２００を示すブロック図である。車両用灯具２００は、光源２０２、点灯回路２０４、光学系２０６を備える。さらに車両用灯具２００には、カメラ２０および演算処理装置４０が設けられる。演算処理装置４０が検出したオブジェクトＯＢＪに関する情報は、車両ＥＣＵ１０４に送信される。車両ＥＣＵは、この情報にもとづいて、自動運転を行ってもよい。

【0036】

また、演算処理装置４０が検出したオブジェクトＯＢＪに関する情報は、車両用灯具２００の配光制御に利用してもよい。具体的には、灯具ＥＣＵ２０８は、演算処理装置４０が生成するオブジェクトＯＢＪの種類とその位置に関する情報にもとづいて、適切な配光パターンを生成する。点灯回路２０４および光学系２０６は、灯具ＥＣＵ２０８が生成した配光パターンが得られるように動作する。

【0037】

以上、本発明について、実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。以下、こうした変形例について説明する。

【0038】

（変形例１）
実施の形態では、環境の違いとして、昼と夜を説明したがその限りでない。学習データを撮影するのに使用したカメラ（標準カメラ）を含む撮像系と、オブジェクト識別システム１０に搭載されるカメラ２０の間で、画角、視野、視線方向、歪みなどが大きく異なる場合、それらの相違を、環境の違いとして把握できる。この場合、カメラ２０が取得した第１画像ＩＭＧ１を、標準カメラで撮影したときに得られるであろう画像に近似した第２画像ＩＭＧ２を生成してもよい。この場合、変換部４２においては、階調ではなく、形状が補正される。

【0039】

たとえばカメラ２０を前照灯に内蔵する場合、アウターレンズによって像が歪む場合がある。一方、学習データを撮影するカメラには歪みがない。このような場合に、この歪みの影響を低減するように、変換部４２によって第１画像ＩＭＧ１を変換してもよい。

【0040】

（変形例２）
実施の形態では、変換部４２のニューラルネットワークのトレーニングに際して、物体認識部４４の認識率をパラメータとして参照し、この認識率が高まるように変換部４２のニューラルネットワークを最適化してもよい。

【0041】

（変形例３）
変換部４２には、現在のフレームである第１画像ＩＭＧ１を、それと連続する過去のフレームとともに入力し、第２画像ＩＭＧ２を生成してもよい。連続する複数のフレームを入力とすることで、変換部が経時的な特徴量にもとづいて、変換処理が可能となる。

【0042】

（変形例４）
カメラ２０に代えて、ＴＯＦカメラやＬｉＤＡＲを用いてもよい。この場合、ＬｉＤＡＲやＴＯＦカメラの出力データを、距離を画素値とする画像データとして扱ってもよい。これらの測距センサ（３次元センサ）の出力データは、降雨、降雪、濃霧の中で、晴天や曇天時とは異なったデータとなる。そこで、変換部４２は、測距センサの出力データを、物体認識部４４のトレーニングに用いた学習データを取得した環境下（晴天や曇天）において得られるであろう中間データに変換する。これにより、識別率を改善できる。

【0043】

（変形例５）
演算処理装置４０は、ＦＰＧＡや専用のＡＳＩＣ（Application Specific Integrated Circuit）などを用いてハードウェアのみで構成してもよい。

【0044】

（変形例６）
実施の形態では、車載用のオブジェクト識別システム１０を説明したが本発明の適用はその限りでなく、たとえば信号機や交通標識、そのほかの交通インフラに固定的に設置され、定点観測する用途にも適用可能である。

【0045】

実施の形態にもとづき、具体的な語句を用いて本発明を説明したが、実施の形態は、本発明の原理、応用の一側面を示しているにすぎず、実施の形態には、請求の範囲に規定された本発明の思想を逸脱しない範囲において、多くの変形例や配置の変更が認められる。

【産業上の利用可能性】

【0046】

本発明は、オブジェクト識別システムに関する。

【符号の説明】

【0047】

１０…オブジェクト識別システム、２０…カメラ、４０…演算処理装置、４２…変換部、４４…物体認識部、ＩＭＧ１…第１画像、ＩＭＧ２…第２画像、１００…自動車、１０２…前照灯、１０４…車両ＥＣＵ、２００…車両用灯具、２０２…光源、２０４…点灯回路、２０６…光学系、２０８…灯具ＥＣＵ。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】