(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-12-07
(45)【発行日】2023-12-15
(54)【発明の名称】センシングシステムおよび車両
(51)【国際特許分類】
B60W 40/04 20060101AFI20231208BHJP
B60Q 1/50 20060101ALI20231208BHJP
B60Q 1/04 20060101ALI20231208BHJP
G08G 1/16 20060101ALI20231208BHJP
G06T 7/00 20170101ALI20231208BHJP
【FI】
B60W40/04
B60Q1/50 Z
B60Q1/04 Z
G08G1/16 C
G06T7/00 650Z
(21)【出願番号】P 2021516255
(86)(22)【出願日】2020-04-24
(86)【国際出願番号】 JP2020017671
(87)【国際公開番号】W WO2020218498
(87)【国際公開日】2020-10-29
【審査請求日】2023-01-16
(31)【優先権主張番号】P 2019083975
(32)【優先日】2019-04-25
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000001133
【氏名又は名称】株式会社小糸製作所
(74)【代理人】
【識別番号】100105924
【氏名又は名称】森下 賢樹
(74)【代理人】
【識別番号】100109047
【氏名又は名称】村田 雄祐
(74)【代理人】
【識別番号】100109081
【氏名又は名称】三木 友由
(72)【発明者】
【氏名】杉本 篤
(72)【発明者】
【氏名】多々良 直樹
【審査官】平井 功
(56)【参考文献】
【文献】特開2004-220257(JP,A)
【文献】特開2005-157873(JP,A)
【文献】特開2003-231450(JP,A)
【文献】特開2006-72741(JP,A)
【文献】特開平10-283807(JP,A)
【文献】特開2003-231438(JP,A)
【文献】特開2011-157023(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
B60W 10/00-10/30
B60W 30/00-60/00
G08G 1/00-99/00
B60Q 1/00- 1/56
G06T 7/00- 7/90
(57)【特許請求の範囲】
【請求項1】
路面に自車の進行方向に伸びる第1パターンを描画する照明装置と、
カメラと、
前記カメラの画像に写る、前記第1パターンと他の交通参加者が路面に描画した第2パターンにもとづいて、前記自車と前記他の交通参加者の状態を検出する演算処理装置と、
を備
え、
前記他の交通参加者は歩行者であり、前記第2パターンは、前記歩行者が所持する別の照明装置によって前記歩行者を取り囲む仮想ラインの少なくとも一部を含むように描画されたものであることを特徴とするセンシングシステム。
【請求項2】
前記演算処理装置は、前記第1パターンと前記第2パターンの交差を検出することを特徴とする請求項1に記載のセンシングシステム。
【請求項3】
前記他の交通参加者は車両であり、前記第2パターンは、前記他の交通参加者である前記車両の進行方向に伸びるように描画されることを特徴とする請求項1または2に記載のセンシングシステム。
【請求項4】
前記第1パターンは、赤外線であることを特徴とする請求項1から
3のいずれかに記載のセンシングシステム。
【請求項5】
前記第1パターンは、可視光であることを特徴とする請求項1から
3のいずれかに記載のセンシングシステム。
【請求項6】
前記第1パターンは、自車からの距離の情報を含むことを特徴とする請求項1から
5のいずれかに記載のセンシングシステム。
【請求項7】
前記第1パターンは、自車の速度情報を含むことを特徴とする請求項1から
6のいずれかに記載のセンシングシステム。
【請求項8】
前記カメラによって歩行者が検出されたとき、前記照明装置は、前記歩行者を取り囲むように、第3パターンを描画することを特徴とする請求項1から
7のいずれかに記載のセンシングシステム。
【請求項9】
路面に自車の進行方向に伸びる第1パターンを描画する照明装置と、
カメラと、
前記カメラの画像に写る、前記第1パターンと他の交通参加者が路面に描画した第2パターンにもとづいて、前記自車と前記他の交通参加者の状態を検出する演算処理装置と、
を備え、
前記カメラによって歩行者が検出されたとき、前記照明装置は、前記歩行者を取り囲むように、第3パターンを描画することを特徴とす
るセンシングシステム。
【請求項10】
請求項1から
9のいずれかに記載のセンシングシステムと、
前記センシングシステムの出力に応じて、ステアリングおよびアクセル、ブレーキの少なくともひとつを制御する自動運転システムと、
を備えることを特徴とする車両。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、車載用のセンシングシステムに関する。
【背景技術】
【0002】
自動運転やヘッドランプの配光の自動制御のために、車両の周囲に存在する物体の位置および種類をセンシングするセンシングシステムが利用される。センシングシステムは、センサと、センサの出力を解析する演算処理装置を含む。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
従来、センサとしては、可視光カメラ、赤外線カメラ、LiDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)、ToFカメラやミリ波レーダ、超音波ソナーなどの中から、用途、要求精度やコストを考慮して選択されていた。
【0005】
そして、センサの出力画像に写っている物体の形状等にもとづいて、物体の種類(自動車、歩行者)などを判定し、衝突の可能性などを計算する。しかしながら、物体の種類は非常に多く、また物体の向きや物体までの距離はさまざまである。たとえば物体までの距離が遠い場合、画像に写る物体の像は非常に小さくなり、それを判別することは難しくなる。また物体がどの方向に移動しているのかを画像から判断することは難しい。また、物体がセンサの死角に存在する場合、検出することができない。
【0006】
本発明はこうした状況においてなされたものであり、そのある態様の例示的な目的のひとつは、従来と異なる新規な方式のセンシングシステムの提供にある。
【課題を解決するための手段】
【0007】
本発明のある態様は、路面に自車の進行方向に伸びる第1パターンを描画する照明装置と、カメラと、カメラの画像に写る、第1パターンと他の交通参加者が路面に描画した第2パターンにもとづいて、自車と他の交通参加者の状態を検出する演算処理装置と、を備える。
【0008】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム等の間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【0009】
本発明によれば、従来と異なる新規な方式のセンシングシステムの提供できる。
【図面の簡単な説明】
【0010】
【
図1】実施の形態に係るセンシングシステムのブロック図である。
【
図3】
図2のシーンにおいて車両のカメラが撮影する画像を示す図である。
【
図4】
図4(a)、(b)は、距離情報を含むパターンを説明する図である。
【
図5】
図5(a)~(c)は、速度情報を含むパターンを示す図である。
【
図7】
図6のシーンにおいて車両のカメラが撮影する画像を示す図である。
【
図8】
図8(a)は、歩行者に関連して描画されるパターンを示す図であり、
図8(b)は、車載のシステムによる歩行者の検知を説明する図である。
【
図9】
図9(a)~(d)は、パターンの変形例を示す図である。
【
図10】障害物の存在を知らせるパターンを示す図である。
【
図11】変形例3に係るセンシングシステムを示す図である。
【発明を実施するための形態】
【0011】
(実施の形態の概要)
本明細書に開示される一実施の形態は、車載用のセンシングシステムに関する。センシングシステムは、路面に自車の進行方向に伸びる第1パターンを描画する照明装置と、カメラと、カメラの画像に写る、第1パターンと他の交通参加者が路面に描画した第2パターンにもとづいて、自車と他の交通参加者の状態を検出する演算処理装置と、を備える。
【0012】
カメラの主たる被写体は、他の交通参加者ではなく、他の交通参加者によって路面に描画されたパターンであり、物体の像そのものでなく、その物体が路面に描画したパターンが撮影される。そして、自車が描画したパターンと他の交通参加者が描画したパターンの幾何学的な関係にもとづいて、自車と物体の状態を検出することができる。物体像の解析が不要であるため、カメラの解像度は低くてもよく、また路面に描画されたパターン、すなわち光を検出すればよいため、カメラの感度も低くてよい。
【0013】
演算処理装置は、第1パターンと第2パターンの交差を検出してもよい。2つの交差の検出は、極めて簡単な画像処理によって行うことができるという利点がある。
【0014】
他の交通参加者は車両であり、第2パターンは、他の交通参加者の進行方向に伸びるように描画されてもよい。第1パターンと第2パターンが交差する場合、自車と他の交通参加者が同じ地点(すなわち2つのパターンの交点)に向かって進行すること、ひいては衝突の可能性があることを推定できる。
【0015】
他の交通参加者は歩行者であり、第2パターンは、歩行者を取り囲む仮想ラインの少なくとも一部を含んでもよい。第1パターンと第2パターンが交差する場合、自車の進行方向に歩行者が存在すること、ひいては衝突の可能性があることを推定できる。
【0016】
歩行者の周囲の第2パターンは、交通インフラに備えられた照明装置により描画されてもよい。あるいは歩行者が携行する照明装置によって描画されてもよい。
【0017】
第1パターンは、赤外線のビームにより描画されてもよい。この場合、歩行者や運転者に煩わしさを与えずに、車両同士のセンシングが可能となる。
【0018】
第1パターンは、可視光のビームにより描画されてもよい。この場合、歩行者などに、自車の進行方向を明示的に示すことができるという副次的な効果が生ずる。
【0019】
第1パターンは、自車からの距離の情報を含んでもよい。たとえば、第1パターンにメモリを付してもよいし、パターンを複数の部分に分割し、自車からの距離によって各部分の波長が決められてもよい。
【0020】
第1パターンは、自車の速度情報を含んでもよい。たとえば速度によって、第1パターンの波長を変化させてもよいし、第1パターンを変調して車速情報を載せてもよいし、第1パターンの長さに、速度情報を反映させてもよい。
【0021】
カメラによって歩行者が検出されたとき、照明装置は、歩行者の周辺に第3パターンを描画してもよい。自分自身を取り囲む第2パターンを描画する照明を歩行者が携行していない場合に、その歩行者を検知した車両の照明装置が代わりに描画することで、他の車両がその歩行者を検出しやすくなる。
【0022】
(実施の形態)
以下、本発明を好適な実施の形態をもとに図面を参照しながら説明する。実施の形態は、発明を限定するものではなく例示であって、実施の形態に記述されるすべての特徴やその組み合わせは、必ずしも発明の本質的なものであるとは限らない。各図面に示される同一または同等の構成要素、部材、処理には、同一の符号を付するものとし、適宜重複した説明は省略する。
【0023】
図1は、実施の形態に係るセンシングシステム100のブロック図である。センシングシステム100は車両200に搭載される。センシングシステム100は、照明装置110、カメラ120、演算処理装置130を備える。
【0024】
照明装置110は、路面2に自車200の進行方向に伸びるパターンPTNを描画する。照明装置110は、ヘッドランプ210に内蔵されてもよい。照明装置110は、左右のヘッドランプ210に内蔵される2個の光源を含み、2個の光源が生成する2つのビームによって、パターンPTNが形成されてもよい。ここでは、パターンPTNを単純な矩形で示すがその形状は特に限定されない。
【0025】
カメラ120は、主として車両前方の路面2を撮影する。カメラ120は、照明装置110が描画するパターンPTNに対して感度を有している。言い換えれば、照明装置110が照射するビーム、すなわちパターンPTNの色(波長)は特に限定されず、カメラ120によって撮影可能であればよい。
【0026】
一実施例において、パターンPTNは、赤外線のビームにより描画されてもよい。この場合、歩行者や運転者は、パターンPTNを視認できなくなるため、煩わしさを与えずに、車両同士のセンシングが可能となる。
【0027】
一実施例において、パターンPTNは、可視光のビームにより描画されてもよい。この場合、歩行者などに、自車の進行方向を明示的に示すことができるという副次的な効果が生ずる。
【0028】
カメラ120の設置場所は特に限定されず、
図1に示すように、ルームミラーの裏であってもよいし、フロントグリルであってもよいし、フロントバンパーであってもよい。あるいはカメラ120は、照明装置110とともにヘッドランプ210に収容されてもよい。
【0029】
カメラ120の画像IMGには、自車の照明装置110が描画したパターンPTNと他の交通参加者(車両、歩行者のみでなく、信号機などの交通インフラや、壁や建物、障害物などを含む)が路面2に描画したパターン(
図1に不図示)が写る。
【0030】
演算処理装置130は、カメラ120の画像IMGを受け、画像に写るパターンPTNにもとづいて、自車と他の交通参加者の状態を検出する。
【0031】
以上がセンシングシステム100の構成である。センシングシステム100を搭載した車両によって、交通システムあるいは交通社会が形成される。このシステム/社会では、多くの車両に、
図1に示すセンシングシステム100が搭載されている。
【0032】
以下、いくつかのシーンを参照しながら、センシングシステム100によるセンシングについて説明する。
【0033】
図2は、例示的な走行シーンを説明する図である。車両201と車両202には、同じセンシングシステム100が搭載されており各車両201,202は、進行方向に向かって伸びるパターンPTN1,PTN2を路面に描画している。
【0034】
図2の走行シーンでは、2つの車両201,202はビル4によって隔てられているため、各車両の運転者は、お互いの車両の存在を目視により確認することはできない。
【0035】
図3は、
図2のシーンにおいて車両201のカメラ120が撮影する画像IMG1を示す図である。この画像IMG1には、自車201が照射したパターンPTN1と、他車202が照射したパターンPTN2が写っている。
【0036】
演算処理装置130は、画像処理によって、自車および他の交通参加者が路面に描画するパターンPTN1,PTN2のみを容易に抽出することができる。そしてパターンPTN2にもとづいて、見えない車両202の存在を検知できる。またこのパターンPTN2は、進行方向に伸びるものであるから、図中、右から左に車両202が進行していることを推定できる。さらに演算処理装置130は、複数のパターンPTN1,PTN2が交差するか否かを判定する。この例では、2つのパターンPTN1,PTN2が交差している。パターンPTN1,PTN2の交差の検出は、極めて簡単な画像処理によって行うことができる。
【0037】
2つのパターンPTN1とPTN2が交差する場合、自車201と他の交通参加者(車両202)が同じ地点(2つのパターンの交点)P1に向かって進行すること、ひいては衝突の可能性があることを推定できる。演算処理装置130は、衝突の可能性がある場合に、運転者に報知し、回避行動を促すことができる。あるいはセンシングシステム100を搭載する車両が、自動運転システムを搭載する場合、センシングシステム100の出力に応じて、ステアリングおよびアクセル、ブレーキの少なくともひとつを制御し、操舵、加速、減速、停止などが可能となる。
【0038】
ここでは車両201からみた画像について説明したが、他方の車両202においても同様な処理が行われる。車両202のセンシングシステム100のカメラ120は、自車202が形成するパターンPTN2と、それと直交する他車201が形成するパターンPTN1を含む画像を生成する。これにより車両202のセンシングシステム100は、自車から見て左方向から右方向に向かって、車両201が走行していることを推定することができる。
【0039】
照明装置110は、パターンPTNに距離情報を載せてもよい。
図4(a)、(b)は、距離情報を含むパターンPTNを説明する図である。
図4(a)のパターンPTNは、所定の間隔ごとに、スペースを有する。
図4(b)のパターンは、自車からの距離に応じて波長(色)が異なっている。この例では、手前側ほど波長が短いが、その逆であってもよい。パターンPTNに距離情報を含めることにより、
図3のシーンにおいて、自車201と点P1までの距離、他車202と点P1までの距離を、カメラ画像IMGから取得することが可能となる。
【0040】
照明装置110は、パターンPTNに、速度情報を載せてもよい。
図5(a)~(c)は、速度情報を含むパターンPTNを示す図である。
図5(a)では、パターンPTNの長さが速度と相関を有する。
図5(b)では、パターンPTNの幅が速度と相関を有する。
図5(c)では、パターンPTNの点滅周波数が、速度と相関を有する。あるいは、パターンPTNの波長(色)を、車速に応じて変化させてもよい。
【0041】
パターンPTNに、距離と車速情報の両方を載せることにより、以下の効果を得ることができる。すなわち、
図3の画像から、自車201と点P1までの距離がパターンPTN1から取得でき、自車の速度は、車両のシステムから取得できる。また、パターンPTN2から、他車202と点P1の距離および他車202の速度が取得できる。したがって、他車202が点P1に到着するまでの所要時間が計算でき、また自車201が点P1に到着するまでの時間も計算できる。したがって、これらの時間にもとづいて衝突の可能性を判定したり、ブレーキの緊急度やブレーキの強さを制御することが可能となる。
【0042】
図6は、別の走行シーンを説明する図である。車両201と車両202は、対向車線を反対向きに走行している。
【0043】
図7は、
図6のシーンにおいて車両201のカメラ120が撮影する画像IMG1を示す図である。この画像IMG1にも、自車201が照射したパターンPTN1と、他車202が照射したパターンPTN2が写っている。このシーンでは、演算処理装置130は、パターンPTN2にもとづいて、対向車202が存在することを検出できる。この検出には、対向車202そのものの像を利用していないことに留意されたい。言い換えれば、対向車202を撮影しなくても、路面に描画されたパターンPTN2にもとづいて、対向車202を間接的に検出することができる。
【0044】
図7の画像IMG1では、パターンPTN1とパターンPTN2は交差していない。したがって演算処理装置130は、衝突の可能性が低いと判定することができる。
【0045】
これまでの説明では、車両200が、パターンPTNを描画する場合を説明したが、車両以外の交通参加者もパターンを描画することができる。
【0046】
図8(a)は、歩行者300に関連して描画されるパターンPTN3を示す図である。歩行者の速度は自動車の速度に比べると十分に低く、歩行者の進行方向にパターンを描画しても、あまり意味をなさない。むしろ、歩行者の前方のみでなく、あらゆる方向の車両に自分自身の存在を知らせることを優先すべきといえる。この観点から、歩行者300に関するパターンPTN3は、歩行者300を取り囲むように路面に描画される。パターンPTN3は円形であってもよいし、多角形であってもよい。パターンPTN3は、歩行者自身が携行する専用の照明装置140により描画してもよい。なお、このパターンPTN3は必ずしも歩行者300を取り囲んでいる必要はなく、歩行者300を取り囲む仮想ラインの少なくとも一部を含んいればよい。
【0047】
あるいは、信号機などの交通インフラに、歩行者を検出するカメラと、歩行者を示すパターンPTN3を描画するための照明装置を設置してもよい。
【0048】
図8(b)は、車載のシステム100による歩行者300の検知を説明する図である。車両200に搭載されるセンシングシステム100は、所定の形状、所定の色(波長)のパターンPTN3を検出することにより歩行者300の存在を間接的に検出できる。また演算処理装置130は、パターンPTN1とパターンPTN3の位置関係により、歩行者300が、自車の進行方向に位置することを検出できる。さらに、演算処理装置130は、パターンPTN1とPTN3が交差するか否かを判定することで、歩行者との衝突の可能性を判定することができる。
【0049】
以上、本発明について、実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。以下、こうした変形例について説明する。
【0050】
(変形例1)
これまでの説明では、照明装置110が描画するパターンを矩形としたがその限りでない。
図9(a)~(d)は、パターンPTNの変形例を示す図である。
図9(a)に示すように、パターンPTNは楕円であってもよい。あるいは
図9(b)に示すように台形であってもよいし、あるいは三角形であってもよい。
図9(c)に示すように、前方ほど幅が広くてもよい。
図9(d)に示すようにパターンPTNは、複数の部分に分割されていてもよい。たとえば
図9(d)のパターンPTNは、車幅を示すように、左右の2本に分割されている。
図9のようにパターンPTNを左右に分割する場合、左側の部分を左側の灯具に内蔵する光源によって描画し、右側の部分を右側の灯具に内蔵する光源によって描画してもよい。
【0051】
またパターンPTNは、車種(乗用車、トラック、オートバイ、原動機付き自動二輪車など)や車格、ボディーサイズや排気量、などに応じて異なっていてもよい。
【0052】
(変形例2)
障害物の近傍の路面に障害物の存在を示すパターンを描画するようにしてもよい。
図10は、障害物の存在を知らせるパターンPTN4を示す図である。たとえば現状では、故障車220がその存在を後続車に知らせるために、三角停止板(三角表示板)や発煙筒が利用されている。これらに代えて、あるいは加えて、路面に所定の形状および色を有するパターンPTN4を描画する照明装置150を用いることができる。
【0053】
この照明装置150は、故障車の存在を知らせる以外に、さまざまなシーンに用いることができる。たとえば工事現場において、1車線が通行禁止になっている場合に、それを示すために照明150を用いることができる。
【0054】
(変形例3)
図11は、変形例3に係るセンシングシステム100Aを示す図である。センシングシステム100Aは、上述のセンシングシステム100に加えて、先行車240の後ろ側の路面にパターンPTN5を描画する照明装置160をさらに備える。このパターンPTN5は、進行方向と垂直に伸びている。これにより、後続車は、前方に照射したパターンPTNが、先行車240のパターンPTN5と交差した場合に、追突の可能性があると判定できる。
【0055】
(変形例4)
図8(a)に示す歩行者300に関するパターンPTN3を、他の車両に搭載される照明装置が描画してもよい。センシングシステム100は、カメラ120によって歩行者300が検出されたとき、照明装置110に対して、歩行者300を取り囲むパターンPNT3を描画させてもよい。歩行者300が照明装置140を携行していない場合に、あるいは上述の交通インフラが照明装置を備えない場合に、歩行者を検知した車両の照明装置がパターンPTN3を代わりに描画することで、他の車両がその歩行者を検出しやすくなる。
【0056】
実施の形態にもとづき、具体的な語句を用いて本発明を説明したが、実施の形態は、本発明の原理、応用の一側面を示しているにすぎず、実施の形態には、請求の範囲に規定された本発明の思想を逸脱しない範囲において、多くの変形例や配置の変更が認められる。
【産業上の利用可能性】
【0057】
本発明は、車載用のセンシングシステムに関する。
【符号の説明】
【0058】
2 路面
100 センシングシステム
110 照明装置
120 カメラ
130 演算処理装置
140 照明装置
150 照明装置
160 照明装置
200 車両
210 ヘッドランプ
300 歩行者