IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社デンソーの特許一覧 ▶ 一般財団法人日本自動車研究所の特許一覧

<>
  • 特許-出力装置および出力方法 図1
  • 特許-出力装置および出力方法 図2
  • 特許-出力装置および出力方法 図3
  • 特許-出力装置および出力方法 図4
  • 特許-出力装置および出力方法 図5
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-03-02
(45)【発行日】2023-03-10
(54)【発明の名称】出力装置および出力方法
(51)【国際特許分類】
   G01S 17/86 20200101AFI20230303BHJP
   G01S 7/295 20060101ALI20230303BHJP
   G01S 13/86 20060101ALI20230303BHJP
   B60R 11/02 20060101ALN20230303BHJP
   G01B 21/00 20060101ALN20230303BHJP
   G08G 1/16 20060101ALN20230303BHJP
【FI】
G01S17/86
G01S7/295
G01S13/86
B60R11/02 C
G01B21/00 A
G08G1/16 C
【請求項の数】 8
(21)【出願番号】P 2018183950
(22)【出願日】2018-09-28
(65)【公開番号】P2020051986
(43)【公開日】2020-04-02
【審査請求日】2021-09-06
【国等の委託研究の成果に係る記載事項】(出願人による申告)平成29年度経済産業省「高度な自動走行システムの社会実装に向けた研究開発・実証事業:自動バレーパーキングの実証及び高度な自動走行システムの実現に必要な研究開発」(セーフティ・セキュリティ技術評価環境の構築)委託研究、産業技術力強化法第19条の適用を受ける特許出願
(73)【特許権者】
【識別番号】000004260
【氏名又は名称】株式会社デンソー
(73)【特許権者】
【識別番号】591056927
【氏名又は名称】一般財団法人日本自動車研究所
(74)【代理人】
【識別番号】110000578
【氏名又は名称】名古屋国際弁理士法人
(72)【発明者】
【氏名】杉山 裕一
(72)【発明者】
【氏名】石本 幸太郎
(72)【発明者】
【氏名】松元 利裕
(72)【発明者】
【氏名】岸田 正幸
【審査官】九鬼 一慶
(56)【参考文献】
【文献】特開2017-188035(JP,A)
【文献】特開平10-206532(JP,A)
【文献】特開平06-088732(JP,A)
【文献】特開2000-270268(JP,A)
【文献】特開2003-058998(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G01S 7/00 - 7/51
G01S 13/00 -13/95
G01S 17/00 -17/95
B60R 11/02
G01B 21/00
G08G 1/16
(57)【特許請求の範囲】
【請求項1】
センサ検出結果の加工前のデータである生データを取得する取得部と、
前記センサ検出結果の信頼性を判定する判定部と、
前記判定部によってセンサ検出結果の前記信頼性が低いと判定された場合、当該センサ検出結果に代えて、前記生データを後段の処理装置に出力する出力部と
を備え
前記判定部は、
センサ検出結果がセンサの検出限界を超える場合、信頼性が低いと判定すること
を特徴とする出力装置。
【請求項2】
前記取得部は、
複数のセンサそれぞれの生データを取得し、
前記判定部は、
前記複数のセンサ間でセンサ検出結果が異なる場合、信頼性が低いと判定し、
前記出力部は、
前記複数のセンサのうち少なくとも1つのセンサについて、センサ検出結果に代えて、生データを前記出力とすること
を特徴とする請求項1に記載の出力装置。
【請求項3】
センサ検出結果の加工前のデータである生データを取得する取得部と、
前記センサ検出結果の信頼性を判定する判定部と、
前記判定部によってセンサ検出結果の前記信頼性が低いと判定された場合、当該センサ検出結果に代えて、前記生データを後段の処理装置に出力する出力部と
を備え、
前記取得部は、
複数のセンサそれぞれの生データを取得し、
前記判定部は、
前記複数のセンサ間でセンサ検出結果が異なる場合、信頼性が低いと判定し、
前記出力部は、
前記複数のセンサのうち少なくとも1つのセンサについて、センサ検出結果に代えて、生データを前記出力とすること
を特徴とする出力装置。
【請求項4】
生データおよび当該生データから生成されるセンサ検出結果の相関情報を記憶する記憶部をさらに備え、
前記判定部は、
前記取得部が取得した前記生データと前記記憶部に記憶された相関情報とに基づいて信頼性を判定すること
を特徴とする請求項1~3のいずれか1つに記載の出力装置。
【請求項5】
センサ検出結果の加工前のデータである生データを取得する取得部と、
前記センサ検出結果の信頼性を判定する判定部と、
前記判定部によってセンサ検出結果の前記信頼性が低いと判定された場合、当該センサ検出結果に代えて、前記生データを後段の処理装置に出力する出力部と
生データおよび当該生データから生成されるセンサ検出結果の相関情報を記憶する記憶部と、
を備え、
前記判定部は、
前記取得部が取得した前記生データと前記記憶部に記憶された相関情報とに基づいて信頼性を判定すること
を特徴とする出力装置。
【請求項6】
センサ検出結果の加工前のデータである生データを取得する取得工程と、
前記センサ検出結果の信頼性を判定する判定工程と、
前記判定工程によってセンサ検出結果の前記信頼性が低いと判定された場合、当該センサ検出結果に代えて、前記生データを後段の処理装置に出力する出力工程と
を含み、
前記判定工程は、
センサ検出結果がセンサの検出限界を超える場合、信頼性が低いと判定すること
を特徴とする出力方法。
【請求項7】
センサ検出結果の加工前のデータである生データを取得する取得工程と、
前記センサ検出結果の信頼性を判定する判定工程と、
前記判定工程によってセンサ検出結果の前記信頼性が低いと判定された場合、当該センサ検出結果に代えて、前記生データを後段の処理装置に出力する出力工程と
を備え、
前記取得工程は、
複数のセンサそれぞれの生データを取得し、
前記判定工程は、
前記複数のセンサ間でセンサ検出結果が異なる場合、信頼性が低いと判定し、
前記出力工程は、
前記複数のセンサのうち少なくとも1つのセンサについて、センサ検出結果に代えて、生データを前記出力とすること
を特徴とする出力方法。
【請求項8】
センサ検出結果の加工前のデータである生データを取得する取得工程と、
前記センサ検出結果の信頼性を判定する判定工程と、
前記判定工程によってセンサ検出結果の前記信頼性が低いと判定された場合、当該センサ検出結果に代えて、前記生データを後段の処理装置に出力する出力工程と
生データおよび当該生データから生成されるセンサ検出結果の相関情報を記憶する記憶工程と、
を備え、
前記判定工程は、
前記取得工程で取得した前記生データと前記記憶工程で記憶された相関情報とに基づいて信頼性を判定すること
を特徴とする出力方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、出力装置および出力方法に関する。
【背景技術】
【0002】
従来、例えば、物標等といった周囲の状況をセンサで検出し、検出結果に基づいた車両制御を実行したり、検出した物標を運転者へ通知する等の技術がある。例えば、センサの検出結果は、人が理解できるようにするため、あるいは、後段の処理負荷を軽くするために、センサで検出される生データの情報量をある程度を削減する等の加工が施されて生成される場合がある。例えば、サンプリングレートやフレームレートを下げる、解像度を下げる、色数を減らす、フィルタをかける(周波数帯域の狭帯域化)、ダイナミックレンジの低減、軽い処理による判定処理結果化、等と言った処理が施される。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2017-74887号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、生データをある程度削減する等の加工により検出結果が生成された場合、人が理解できないような詳細な情報が削減されることで、センサの出力である検出結果に誤りが生じるおそれがあった。
【0005】
本発明は、上記に鑑みてなされたものであって、センサの出力の信頼性を高めることができる出力装置および出力方法を提供することを目的とする。
【課題を解決するための手段】
【0006】
上述した課題を解決し、目的を達成するために、本発明に係る出力装置は、取得部と、判定部と、出力部とを備える。前記取得部は、センサ検出結果の加工前のデータである生データを取得する。前記判定部は、前記センサ検出結果の信頼性を判定する。前記出力部は、前記判定部によってセンサ検出結果の前記信頼性が低いと判定された場合、当該センサ検出結果に代えて、前記生データを後段の処理装置に出力する。
【発明の効果】
【0007】
本発明によれば、センサの出力の信頼性を高めることができる。
【図面の簡単な説明】
【0008】
図1図1は、実施形態に係る出力方法の概要を示す図である。
図2図2は、実施形態に係る出力装置の構成を示すブロック図である。
図3図3は、相関情報の一例を示す図である。
図4図4は、複数のセンサ間で比較する場合の処理内容を示す図である。
図5図5は、実施形態に係る出力装置が実行する処理の処理手順を示すフローチャートである。
【発明を実施するための形態】
【0009】
以下、添付図面を参照して、本願の開示する出力装置および出力方法の実施形態を詳細に説明する。なお、この実施形態により本発明が限定されるものではない。
【0010】
まず、図1を用いて、実施形態に係る出力方法の概要について説明する。図1は、実施形態に係る出力方法の概要を示す図である。図1では、車両Cの前方に障害物である物標Tが存在していることとする。また、図1では、車両Cは、物標検出システム100を備えており、かかる物標検出システム100により物標Tを検出する。
【0011】
なお、物標検出システム100の搭載対象は、車両Cに限定されるものではなく、バイクや、自転車、船舶、航空機等といった他の移動体であってもよい。あるいは、物標検出システム100は、移動体に限らず、例えば、街灯や道路側方物(ガードレールや、信号機等)といった静止物に搭載されてもよい。
【0012】
図1に示すように、物標システム100は、出力装置1と、センサ10と、物標検出装置50(後段の処理装置の一例)とを備える。センサ10は、車両Cの周囲の状況を検出するセンサであり、例えば、カメラや、レーダ装置、LiDAR(Laser Imaging Detection and Ranging)等がある。
【0013】
物標検出装置50は、出力装置1を介してセンサ10の出力を取得し、かかるセンサ10の出力に基づいて物標Tを検出する。例えば、物標検出装置50は、センサ10が複数設けられる場合、複数のセンサ10それぞれの出力を総合して物標Tを検出する。
【0014】
出力装置1は、センサ10の出力となるセンサ検出結果(以下、検出結果と記載する)の信頼性を判定し、検出結果の信頼性が低い場合には、検出結果の加工前のデータである生データをセンサ10の出力とする出力方法を実行する。
【0015】
具体的には、実施形態に係る出力装置1は、まず、センサ10の出力となる検出結果の加工前のデータである生データを取得する(ステップS1)。つづいて、実施形態に係る出力装置1は、取得された生データから生成される検出結果の信頼性を判定する(ステップS2)。なお、検出結果の信頼性の判定方法については後述する。
【0016】
また、信頼性の判定に用いる検出結果は、出力装置1が生データに基づいて生成してもよく、あるいは、センサ10から取得してもよい。また、ここでいう生データとは、センサ10が検出した検出信号そのもの(すなわち、未加工のデータ)であってもよく、あるいは、検出結果が生成される過程で生じる中間データ(加工途中のデータ)であってもよいが、生データの詳細については後述する。
【0017】
つづいて、実施形態に係る出力装置1は、判定の結果、検出結果の信頼性が低いと判定した場合、かかる検出結果に代えて、生データをセンサ10の出力とし、物標検出装置50へ出力する(ステップS3)。これにより、物標検出装置100は、物標検出処理において、生データを使用した詳細な解析を行うことができるため、高精度に物標Tを検出することができる。
【0018】
このように、実施形態に係る出力方法によれば、センサ10の検出結果の信頼性が低い場合に、生データをセンサ10の出力とすることで、センサ10の出力の信頼性を高めることができる。
【0019】
なお、生データはデータ容量が大ききなり通信等に負担がかかる問題や、生データの詳細解析には処理負担が増加する問題があるが、センサ出力の信頼性が低い場合に限って生データを伝送し、また詳細解析等の処理を行うことになるため、通信や処理に対する負担を抑える事ができる。
【0020】
また、図1では、出力装置1の後段の処理装置が物標検出装置50である場合について示したが、処理装置は、物標検出装置100に限らず、センサ検出結果に基づいて各種処理を行う処理装置であれば、任意の装置を採用可能である。
【0021】
次に、図2を参照して、実施形態に係る出力装置1の構成について詳細に説明する。図2は、実施形態に係る出力装置1の構成を示すブロック図である。図2に示すように、実施形態に係る出力装置1は、カメラ10aと、レーダ装置10bと、LiDAR10cと、物標検出装置50とに接続される。カメラ10a、レーダ装置10bおよびLiDAR10cは、上記したセンサ10の具体例である。
【0022】
カメラ10aは、車両Cの外部状況を撮像する撮像装置である。カメラ10aは、例えば、車両Cのフロントガラスに設けられ、車両Cの前方を撮像する。なお、カメラ10aは、車両Cの左右側面を撮像する位置および車両Cの後方を撮像する位置に設けられていてもよい。
【0023】
レーダ装置10bは、ミリ波等の電波を利用して車両Cの周辺の物標を検出する。具体的には、レーダ装置10bは、電波を車両Cの周辺に送信し、物標で反射した反射波を受信することで物標を検出する。
【0024】
LiDAR10cは、レーザー光を利用して車両Cの周囲の物標を検出する。具体的には、LiDAR10cは、レーザー光を車両Cの周辺に送信し、物標で反射された反射光を受信することで物標を検出する。
【0025】
物標検出装置50は、カメラ10a、レーダ装置10bおよびLiDAR10cそれぞれの検出結果または生データを総合して最終的な物標を検出する。具体的には、物標検出装置100は、各センサの検出結果に所定の重みを付与した結果に基づいて最終的な物標を検出する。
【0026】
あるいは、物標検出装置100は、センサ10の生データを取得した場合、生データの解析結果および他のセンサ10の検出結果に基づいて最終的な物標を検出する。
【0027】
実施形態に係る出力装置1は、制御部2と、記憶部3とを備える。制御部2は、取得部21、判定部22および出力部23を備える。記憶部3は、相関情報31を記憶する。
【0028】
ここで、出力装置1は、たとえば、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、データフラッシュ、入出力ポートなどを有するコンピュータや各種の回路を含む。
【0029】
コンピュータのCPUは、たとえば、ROMに記憶されたプログラムを読み出して実行することによって、制御部2の取得部21、判定部22および出力部23として機能する。
【0030】
また、制御部2の取得部21、判定部22および出力部23の少なくともいずれか一つまたは全部をASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等のハードウェアで構成することもできる。
【0031】
また、記憶部3は、たとえば、RAMやデータフラッシュに対応する。RAMやデータフラッシュは、相関情報31や、各種プログラムの情報等を記憶することができる。なお、出力装置1は、有線や無線のネットワークで接続された他のコンピュータや可搬型記録媒体を介して上記したプログラムや各種情報を取得することとしてもよい。
【0032】
相関情報31は、センサ10の生データと、生データから生成される検出結果との相関関係を学習した結果を示す情報である。具体的には、相関情報31は、センサ10の検出限界を超えた検出結果と、その検出結果の生データとを対応付けた情報である。
【0033】
なお、相関情報31は、外部装置によって予め学習されて生成されたものを、記憶部3に記憶してもよく、あるいは、制御部2が生データおよび検出結果をサンプリングして学習して生成してもよい。図3は、相関情報31の一例を示す図である。
【0034】
図3に示すように、相関情報31は、「センサID」、「センサ名」、「検出結果」および「生データ」といった項目が対応付けられる。「センサID」は、各センサを識別する識別情報である。「センサ名」は、センサの名称である。「検出結果」は、センサ10の検出限界を超える検出結果の内容を示す。「生データ」は、センサ10の検出限界を超える検出結果の加工前の生データである。つまり、相関情報31には、センサ10の検出限界を超える場合の検出結果と、かかる検出結果の生データとの組がセンサ10毎に含まれる。
【0035】
後述の判定部22は、相関情報31の「生データ」と、取得部21が取得した生データとの比較結果に基づき、取得した生データから生成される検出結果がセンサ10の検出限界を超えている否かを判定することで、信頼性を判定する。このように、相関情報31を学習することで、後述の判定部22による判定精度を高めることができる。なお、判定部22の処理内容については後述する。
【0036】
制御部2は、センサ10の出力となる検出結果の信頼性を判定し、検出結果の信頼性が低い場合には、検出結果の加工前のデータである生データをセンサ10の出力とする。
【0037】
取得部21は、カメラ10a、レーダ装置10bおよびLiDAR10c等のセンサ10から生データを取得する。
【0038】
カメラ10aの場合、生データは、撮像画像そのままの画像情報であり、例えば、撮像画像そのままのピクセル数で、各ピクセルには、RGB値等の色情報が含まれるカラー画像である。なお、カメラ10aの場合の生データとして、例えば、上記したカラー画像を2値化した白黒画像や、エッジ検出処理が施された画像情報等といった加工途中のデータであってもよい。
【0039】
また、レーダ装置10bの場合、生データは、例えば、受信信号および送信信号の情報である。なお、レーダ装置10bの場合の生データとして、受信信号および送信信号を混合して得られるビート信号や、ビート信号を2次元高速フーリエ変換した周波数スペクトルの情報、周波数スペクトルから得られる1物標由来の複数のピークの情報等といった加工途中のデータであってもよい。
【0040】
また、LiDAR10cの場合、生データは、例えば、受信および送信した際のレーザー光の情報である。なお、LiDAR10cの場合の生データとして、レーザー光の受信時刻および送信時刻の差分等といった加工途中のデータであってもよい。
【0041】
判定部22は、取得部21が取得した生データから生成される検出結果の信頼性を判定する。具体的には、判定部22は、相関情報31の「生データ」と、取得部21が取得した生データとの比較結果に基づき、取得した生データから生成される検出結果がセンサ10の検出限界を超えている否かを判定することで、信頼性を判定する。
【0042】
例えば、判定部22は、取得部21が取得したカメラ10aの生データが、相関情報31の「検出結果」である「逆光」の「生データ」である「#1」と類似する場合、カメラ10aの生データ(画像)が逆光時に撮像されたものである、すなわち、検出結果がセンサ10の検出限界を超えるとし、信頼度が低いと判定する。
【0043】
すなわち、判定部22は、逆光時の画像は、明暗差が激しいため、検出結果において物標が埋もれてしまう可能性があることから、検出結果の信頼性が低いと判定する。このように、判定部22は、相関情報31と生データとを比較することで、信頼性の判定を精度よく行うことができる。
【0044】
また、判定部22は、例えば、複数のセンサ10間で検出結果に差異が生じた場合に、信頼性が低いと判定してもよいが、かかる点については、図4で後述する。
【0045】
また、判定部22は、周囲の状況を検出する他のセンサの出力により、信頼性を判定しても良い。例えば、判定部22は、周囲の明るさを明度センサで検出し、周囲が暗い場合にはカメラの信頼性が低いと言った判定を行う。他にも、天候、速度、振動による信頼性判定や、センサの汚れ、取付位置のズレ等を検出して信頼性を判定することも考えられる。
【0046】
出力部23は、判定部22によって検出結果の信頼性が低いと判定された場合、検出結果に代えて、生データをセンサ10の出力とする。例えば、出力部23は、判定部22によって複数のセンサ10間での検出結果の差異により、信頼性が低いと判定された場合、かかる複数のセンサ10のうち少なくとも1つのセンサ10について、検出結果に代えて、生データを出力とする。かかる点について、図4を用いて説明する。
【0047】
図4は、複数のセンサ10間で比較する場合の処理内容を示す図である。図4では、カメラ10a、レーダ装置10bおよびLiDAR10cの検出結果である障害物の有無を比較する場合を示している。なお、図4では、カメラ10aの検出結果が障害物なし、レーダ装置10bの検出結果が障害物あり、LiDAR10cの検出結果が障害物ありである場合を一例に挙げて説明する。
【0048】
図4に示すように、判定部22は、カメラ10a、レーダ装置10bおよびLiDAR10cの間で検出結果が異なる場合、これら3つの検出結果の信頼性が低いと判定する。
【0049】
そして、出力部23は、カメラ10a、レーダ装置10bおよびLiDAR10cのうちカメラ10aについて、カメラ10aの検出結果に代えて、カメラ10aの生データをカメラ10aの出力とする。なお、出力部23は、レーダ装置10bおよびLiDAR10cについては、検出結果をそれぞれのセンサ10の出力とする。
【0050】
つまり、図4では、複数のセンサ10のうち、検出結果の多数決制により生データを出力とするセンサ10を決定する。なお、図4では、多数決制により生データを出力とするセンサ10を決定したが、複数のセンサ10すべてについて、検出結果に代えて、生データをセンサ10の出力としてもよい。
【0051】
あるいは、出力部23は、レーダ装置10bの検出結果が比較的信頼性が高いと仮定して、レーダ装置10b以外のセンサ10、すなわち、カメラ10aおよびLiDAR10cについて、生データをセンサ10の出力としてもよい。
【0052】
このように、複数のセンサ10間で検出結果に差異が生じた場合に、センサ10の出力を生データとすることで、物標検出装置50による物標の誤検出を抑えることができる。
【0053】
次に、図5を用いて、実施形態に係る出力装置1が実行する処理の処理手順について説明する。図5は、実施形態に係る出力装置1が実行する処理の処理手順を示すフローチャートである。
【0054】
図5に示すように、まず、取得部21は、周囲の状況を検出するセンサの出力となる検出結果の加工前のデータである生データを取得する(ステップS101)。
【0055】
つづいて、判定部22は、取得部21が取得した生データから生成される検出結果の信頼性を判定する(ステップS102)。
【0056】
つづいて、判定部22は、判定処理により、検出結果の信頼性が低いか否かを判定する(ステップS103)。
【0057】
出力部23は、判定部22によって検出結果の信頼性が低いと判定された場合(ステップS103,Yes)、検出結果に代えて、生データをセンサ10の出力とし(ステップS104)、処理を終了する。
【0058】
一方、ステップS103において、出力部23は、判定部22によって検出結果の信頼性が低いと判定された場合(ステップS103,No)、検出結果をセンサ10の出力とし(ステップS105)、処理を終了する。
【0059】
上述してきたように、実施形態に係る出力装置1は、取得部21と、判定部22と、出力部23とを備える。取得部21は、センサ10の出力となる検出結果の加工前のデータである生データを取得する。判定部22は、センサ10の検出結果の信頼性を判定する。出力部23は、判定部22によって検出結果の信頼性が低いと判定された場合、検出結果に代えて、生データを後段の処理装置へ出力する。これにより、センサ10の出力の信頼性を高めることができる。
【0060】
なお、上述した実施形態では、出力装置1は、センサ10および物標検出装置50とは別体で構成される場合を示したが、出力装置1、センサ10および物標検出装置50が一体的に構成された1つの装置であってもよい。
【0061】
また、出力装置1は、複数のセンサ10それぞれに組み込まれてもよく、あるいは、物標検出装置50に組み込まれてもよい。
【0062】
さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。
【符号の説明】
【0063】
1 出力装置
2 制御部
3 記憶部
10 センサ
10a カメラ
10b レーダ装置
10c LiDAR
21 取得部
22 判定部
23 出力部
31 相関情報
50 物標検出装置
100 物標検出システム
C 車両
図1
図2
図3
図4
図5