(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-02
(45)【発行日】2024-09-10
(54)【発明の名称】電子機器及びプログラム
(51)【国際特許分類】
G08G 1/16 20060101AFI20240903BHJP
G06T 7/00 20170101ALI20240903BHJP
G06V 10/70 20220101ALI20240903BHJP
G06V 20/58 20220101ALI20240903BHJP
【FI】
G08G1/16 C
G06T7/00 650Z
G06V10/70
G06V20/58
(21)【出願番号】P 2022149910
(22)【出願日】2022-09-21
【審査請求日】2022-10-19
(73)【特許権者】
【識別番号】000000170
【氏名又は名称】いすゞ自動車株式会社
(74)【代理人】
【識別番号】110004222
【氏名又は名称】弁理士法人創光国際特許事務所
(74)【代理人】
【識別番号】100166006
【氏名又は名称】泉 通博
(74)【代理人】
【識別番号】100154070
【氏名又は名称】久恒 京範
(74)【代理人】
【識別番号】100153280
【氏名又は名称】寺川 賢祐
(74)【代理人】
【識別番号】100167793
【氏名又は名称】鈴木 学
(72)【発明者】
【氏名】河野 崇
(72)【発明者】
【氏名】竹田 愛
(72)【発明者】
【氏名】関 正寛
【審査官】櫻田 正紀
(56)【参考文献】
【文献】特開2018-156389(JP,A)
【文献】特開2014-074627(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G08G 1/00-99/00
G01C 21/00-21/36
B60W 10/00-10/30
B60W 30/00-60/00
G06T 7/00
(57)【特許請求の範囲】
【請求項1】
片方向に複数の車線がある道路であって、当該道路の上方に標識が設置されている道路を走行中の車両において前記車両の前方を撮像した撮像画像に基づいて、前記車両の走行に関する規制内容を示す複数の標識を認識する認識部と、
前記認識部が認識した前記複数の標識のうち、前記車両が走行する前記車線に対応する標識を対応標識として特定する第1特定部と、
前記対応標識が示す規制内容に対応する情報を出力する出力部と、
を備え、
前記第1特定部は、前記撮像画像に基づいて、前記車両が走行する車線の位置を特定し、特定した当該車線の直上の第1エリア内の標識を前記対応標識として特定し、前記第1エリア内に標識がない場合、前記第1エリアの右側の第2エリア内の標識を前記対応標識として特定し、前記第1エリア内及び前記第2エリア内のいずれにも標識がない場合、前記第1エリアの左側の第3エリア内の標識を前記対応標識として特定する、電子機器。
【請求項2】
前記出力部は、前記対応標識が示す規制内容に対応する情報を表示装置に出力する、
請求項1に記載の電子機器。
【請求項3】
前記複数の標識の各々は、それぞれ異なる車線において同じ種別の規制内容を示す標識である、
請求項1に記載の電子機器。
【請求項4】
複数の車線に関連付けて、前記複数の車線に含まれる複数の位置の位置情報を記憶する記憶部と、
前記車両に搭載された位置センサが検出した信号に基づいて、前記車両の位置を特定する第2特定部と、をさらに備え、
前記第1特定部は、前記第2特定部が特定した位置に関連付けて前記記憶部に記憶されている前記車線を特定し、当該車線に対応する標識を前記対応標識として特定する、
請求項1乃至3のいずれか1項に記載の電子機器。
【請求項5】
コンピュータに、
片方向に複数の車線がある道路であって、当該道路の上方に標識が設置されている道路を走行中の車両において前記車両の前方を撮像した撮像画像に基づいて、前記車両の走行に関する規制内容を示す複数の標識を認識するステップと、
認識した前記複数の標識のうち、前記車両が走行する前記車線に対応する標識を対応標識として特定するステップと、
前記対応標識が示す規制内容に対応する情報を出力するステップと、
を実行させる、プログラムであって、
前記車両が走行する車線に対応する前記対応標識を特定するステップは、前記撮像画像に基づいて、前記車両が走行する車線の位置を特定する手順と、特定した当該車線の直上の第1エリア内の標識を前記対応標識として特定し、前記第1エリア内に標識がない場合、前記第1エリアの右側の第2エリア内の標識を前記対応標識として特定し、前記第1エリア内及び前記第2エリア内のいずれにも標識がない場合、前記第1エリアの左側の第3エリア内の標識を前記対応標識として特定する手順と、
を有するプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、車両の走行のための電子機器及びプログラムに関する。
【背景技術】
【0002】
速度制限等を示す道路標識を検出する技術が知られている。特許文献1には、パターンマッチング法等の画像解析技術を用いて、カメラにより撮影された車両周辺の画像から道路標識を検出し、この道路標識の指示内容を認識することが記載されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
車両が走行する車線ごとに異なる最高速度等を示す標識が設置されていることがある。特許文献1に記載された方法では、車線ごとに異なる最高速度を示す標識が設置されている場合に、車両に対応する最高速度を正しく認識することができないという問題があった。
【0005】
本発明はこの点に鑑みてなされたものであり、車線ごとに異なる最高速度等の規制内容を示す標識が設置されている場合に、車両に対応する規制内容を認識する精度を向上させることができる電子機器及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明の第1の態様の電子機器は、車両の前方を撮像した撮像画像に基づいて、前記車両の走行に関する規制内容を示す複数の標識を認識する認識部と、前記認識部が認識した前記複数の標識のうち、前記車両が走行する車線に対応する標識を対応標識として特定する第1特定部と、前記対応標識が示す規制内容に対応する情報を出力する出力部と、を備える。
【0007】
前記出力部は、前記対応標識が示す規制内容に対応する情報を表示装置に出力してもよい。前記複数の標識の各々は、それぞれ異なる車線において同じ種別の規制内容を示す標識であってもよい。
【0008】
前記第1特定部は、前記撮像画像に基づいて、前記車両が走行する車線の位置を特定し、特定した当該車線の位置の直上の標識を前記対応標識として特定してもよい。前記第1特定部は、前記撮像画像に基づいて、前記車両が走行する車線の位置を特定し、特定した前記車線の位置に最も近い標識を前記対応標識として特定してもよい。
【0009】
前記第1特定部は、前記撮像画像の中心に最も近い標識を前記対応標識として特定してもよい。前記電子機器は、複数の車線に関連付けて、前記複数の車線に含まれる複数の位置の位置情報を記憶する記憶部と、前記車両に搭載された位置センサが検出した信号に基づいて、前記車両の位置を特定する第2特定部と、をさらに備え、前記第1特定部は、前記第2特定部が特定した位置に関連付けて前記記憶部に記憶されている前記車線を特定し、当該車線に対応する標識を前記対応標識として特定してもよい。
【0010】
本発明の第2の態様のプログラムは、コンピュータに、車両の前方を撮像した撮像画像に基づいて、前記車両の走行に関する規制内容を示す複数の標識を認識するステップと、認識した前記複数の標識のうち、前記車両が走行する車線に対応する標識を対応標識として特定するステップと、前記対応標識が示す規制内容に対応する情報を出力するステップと、を実行させる。
【発明の効果】
【0011】
本発明によれば、車両に対応する規制内容を認識する精度を向上させるという効果を奏する。
【図面の簡単な説明】
【0012】
【
図1】実施形態の電子機器が搭載された車両の概要を示す図である。
【
図3】複数の標識が設置された状態の一例を示している図である。
【
図4】複数の標識が設置された状態の別の例を示す図である。
【
図5】複数の標識が設置された状態の別の例を示図である。
【
図6】出力部による対応標識の出力の一例を示す図である。
【
図7】標識が示す規制内容に対応する情報を電子機器が出力する処理手順を示すフローチャートである。
【発明を実施するための形態】
【0013】
[車両の概要]
図1は、本実施形態の電子機器1が搭載された車両100の概要を示す。車両100は、例えば、トラック等の商用車である。車両100は、自動運転により走行する機能を有していてもよい。電子機器1は、例えば、ECU(Electronic Control Unit)である。
【0014】
電子機器1は、車両100に搭載されたカメラにより車両100の前方を撮像した撮像画像データを生成する。電子機器1は、生成した撮像画像データに基づいて、車両100が走行する車線の位置を特定する。例えば、電子機器1は、撮像画像に写っている車両100の左側及び右側の車線境界線をそれぞれ特定することにより、車両100が走行する車線の位置を特定する。
【0015】
電子機器1は、生成した撮像画像データに基づいて、車両の走行に関する規制内容(Regulation)を示す複数の標識を認識する。
図1中の例では、車両が走行可能な最高速度を示す標識が車線ごとに設置されている。この場合に、電子機器1は、それぞれの標識が設置されている位置と車両100が走行する車線の位置とが後述する所定の関係性を有することを利用して、車両100が走行する車線に対応する標識(以下、対応標識ともいう)を特定する。電子機器1は、特定した対応標識が示す最高速度等の規制内容に対応する情報を車両100に搭載された表示装置又は速度制御装置等のデバイスへ出力する。
【0016】
このようにして、電子機器1は、車線ごとに異なる最高速度等の規制内容を示す標識が設置されている場合に、車両100に対応する標識が示す規制内容を特定する精度を向上させることができる。
【0017】
[車両100の構成]
図2は、車両100の構成を示す。車両100は、電子機器1、位置センサ2、カメラ3、表示装置4、速度制御装置5及びステアリング制御装置6を備える。電子機器1は、記憶部10及び制御部11を備える。制御部11は、位置特定部111(第2特定部に相当)、認識部112、標識特定部113(第1特定部に相当)及び出力部114を備える。
【0018】
位置センサ2は、例えば、複数のGPS(Global Positioning System)衛星からの信号を受信するGPS受信機である。位置センサ2は、受信した信号に含まれている情報を位置特定部111へ入力する。
【0019】
カメラ3は、車両100の前方を撮像することにより撮像画像データを生成する。カメラ3は、生成した撮像画像データを認識部112及び標識特定部113へ入力する。表示装置4は、文字又は画像等を表示するためのディスプレイである。例えば、表示装置4は、車両100のインストルメントパネルに設けられている。
【0020】
速度制御装置5は、車両100を加減速させることにより、車両100が走行する速度を制御する。ステアリング制御装置6は、車両100のステアリングをモータ等により回転させ、車両100の進行方向を調整する。
【0021】
記憶部10は、例えば、ROM(Read Only Memory)及びRAM(Random Access Memory)等により構成される。記憶部10には、制御部11が実行するためのプログラムが記憶されている。記憶部10には、複数の標識が示す規制内容のそれぞれと、複数の標識の見本画像データとが関連付けた標識データが記憶されている。この標識データにおいて複数の最高速度のそれぞれには、複数の見本画像データが関連付けられている。標識データは、認識部112が撮像画像データに基づいて標識を認識するために利用される。
【0022】
記憶部10には、複数の車線と、複数の車線に含まれる複数の位置の位置情報とを関連付けた車線データがさらに記憶されていてもよい。位置情報は、例えば、複数の車線に含まれる複数の位置の緯度及び経度をそれぞれ示す。車線データは、車両100が走行する車線を標識特定部113が特定するために利用される。
【0023】
制御部11は、例えば、ECUに搭載されたプロセッサである。制御部11は、記憶部10に記憶されたプログラムを実行することにより、位置特定部111、認識部112、標識特定部113及び出力部114として機能する。
【0024】
位置特定部111(第2特定部に相当)は、車両100に搭載された位置センサ2が検出した信号に基づいて、車両100の位置を特定する。例えば、位置特定部111は、車両100の位置の緯度及び経度を特定する。位置特定部111は、特定した車両100の位置を示す情報を標識特定部113へ出力する。
【0025】
認識部112は、車両100の前方に設置された標識を認識する。まず、認識部112は、車両100の前方を撮像することにより生成された撮像画像データをカメラ3から取得する。認識部112は、取得した撮像画像データに基づいて、車両100の前方に存在する、走行に関する規制内容を示す標識を認識する。規制内容を示す複数の標識は、例えば、最高速度、最低速度、又は進行可能な方向を示す標識である。
【0026】
より詳しくは、認識部112は、複数の標識が示す規制内容のそれぞれと、複数の標識の見本画像データとを関連付けた標識データを記憶部10から読み出す。認識部112は、読み出した標識データを参照して、撮像画像データに基づいていずれかの見本画像データと類似する領域を認識する。認識部112は、認識した領域に類似する見本画像データに標識データにおいて関連付けられている規制内容を特定する。認識部112は、撮像画像データに複数の標識が含まれる場合には、複数の標識が示す規制内容をそれぞれ特定する。認識部112は、撮像画像データから認識された複数の標識の各々の位置を示す情報および当該複数の標識の各々が示す規制内容を示す情報を標識特定部113へ出力する。
【0027】
[対応標識の特定]
車両100が走行可能な最高速度が車線ごとに設定されている場合には、異なる最高速度を示す標識が車線ごとに設置されることがある。標識特定部113は、認識部112が認識した複数の標識の各々がそれぞれ異なる車線において最高速度等の同じ種別の規制内容を示す場合に、認識した複数の標識のうち、車両100が走行する車線に対応する標識を対応標識として特定する。
【0028】
図3は、複数の標識を含む撮像画像を示す模式図である。標識特定部113は、カメラ3が生成した撮像画像に基づいて、車両100が走行する車線の位置を特定する。例えば、標識特定部113は、撮像画像に写っている車両100の左側及び右側の車線境界線をそれぞれ特定することにより、車両100が走行する車線の位置を特定する。
図3において、中央の車線(ハッチング領域)を車両100の走行する車線として特定したとする。
【0029】
標識特定部113は、あらかじめ定められた車線と標識との位置関係に基づいて車両100が走行する車線に対応する対応標識を特定する。同じ種別の規制内容を示す標識が車線ごとに設置されている場合に、それぞれの標識が設置される位置と、それぞれの車線の位置とが所定の関係を有するように標識が設置される。標識特定部113は、この関係性を利用して、対応標識を特定する。例えば、原則として車線の真上に、当該車線の制限速度を示す標識が設置されている場合、標識特定部113は、特定した車両100の走行する車線の位置の直上の標識を対応標識として特定する。
【0030】
図3において、左側の標識は、最高速度が時速90キロメートルであることを示している。中央の標識は、最高速度が時速75キロメートルであることを示している。右側の標識は、最高速度が時速60キロメートルであることを示している。
【0031】
標識特定部113は、最高速度のように同じ種別の規制内容を示す複数の標識を認識部112が認識した場合に、特定した車両100が走行する車線の左側のエリアX内の標識と、特定した車線の直上のエリアY内の標識と、特定した車線の右側のエリアZ内の標識とのいずれかに、認識部112が認識した複数の標識をそれぞれ分類する。
【0032】
図3の例では、標識特定部113は、左側の最高速度が時速90キロメートルであることを示す標識を、エリアX内の標識として分類する。標識特定部113は、中央の最高速度が時速75キロメートルであることを示す標識を、エリアY内の標識として分類する。標識特定部113は、右側の最高速度が時速60キロメートルであることを示す標識を、エリアZ内の標識として分類する。
【0033】
標識特定部113は、特定した車線の位置の直上のエリアY内の標識として分類した標識を、車両100の対応標識として特定する。
図3の例では、標識特定部113は、エリアY内の標識として分類した最高速度が時速75キロメートルであることを示す標識を対応標識として特定する。
【0034】
図4は、複数の標識が設置された状態の別の例を示す。
図4に示す例では、車両100が走行する車線の直上のエリアY内に標識が設置されておらず、車両100が走行する車線の右側のエリアZ内に複数の標識が設置されている。
【0035】
標識特定部113は、特定した車線の直上のエリアY内に標識が設置されていない場合、標識特定部113は、特定した車線の位置に最も近い標識を対応標識として特定してもよい。
図4の例では、標識特定部113は、エリアZ内に設置されている複数の標識のうち、特定した車両100が走行する車線の位置に最も近い最高速度が時速90キロメートルであることを示す標識を対応標識として特定する。このようにして、標識特定部113は、車線の直上に1つの標識が設置されておらず、車線の直上と異なるエリア内に複数の標識が設置されている場合であっても、車両100に対応する標識を特定することができる。
【0036】
なお、標識特定部113は、特定した車線の直上のエリアY内において標識が特定できない場合には、特定した車線の右側のエリアZ内にある標識を対応標識として特定する。標識特定部113は、特定した車線の直上のエリアY及びこの車線の右側のエリアZ内において標識がいずれも特定できない場合には、特定した車線の左側のエリアX内にある標識を対応標識として特定する。車両100が右ハンドル車であり、左側通行の国を走行している場合には、車両100に対応する標識が、車両100が走行する車線の右側に表示されることもある。標識特定部113は、このような傾向を利用して、標識が車線の直上に設置されていない場合であっても車両100に対応する標識を特定することができる。
【0037】
車両100が左ハンドル車であり、右側通行の国を走行している場合、標識特定部113は、特定した車線の直上のエリアY内において標識が特定できないときに、特定した車線の左側のエリアX(
図3参照)内にある標識を対応標識として特定してもよい。標識特定部113は、例えば右ハンドル車であるか左ハンドル車であるかを識別するためのデータを記憶部10から読み出すことにより、車両100が右ハンドル車であるか左ハンドル車であるかを識別することができる。
【0038】
また、標識特定部113は、特定した車線と標識との位置関係を利用して対応標識を特定する例に限定されない。例えば、標識特定部113は、カメラ3が生成した撮像画像の中心に最も近い標識を対応標識として特定してもよい。このように標識特定部113が構成されていることで、標識特定部113は、夜間である等の理由により、車両100が走行中の車線の車線境界線が特定できない場合であっても、対応標識を特定することができる。
【0039】
標識特定部113は、位置センサ2が検出した信号に基づいて、対応標識を特定してもよい。まず、標識特定部113は、複数の車線と、複数の車線に含まれる複数の位置の位置情報とを関連付けた車線データを記憶部10から読み出す。標識特定部113は、読み出した車線データを参照して、位置特定部111が特定した位置に関連付けて記憶部10に記憶されている車線を特定する。標識特定部113は、特定した車線に対応する標識を対応標識として特定する。
【0040】
図5は、複数の標識が設置された状態の別の例を示す。
図5中の左側には、車線データにおいて左から1番目の車線に関連付けて記憶されている複数の位置が分布する領域Pを示す。
図5中の中央には、左から2番目の車線に関連付けて記憶されている複数の位置が分布する領域Qが示されている。
図5中の右側には、左から3番目の車線に関連付けて記憶されている複数の位置が分布する領域Rが示されている。標識特定部113は、位置特定部111が特定した車両100の位置が左から2番目の車線に対応する領域Qに含まれていることを特定する。
【0041】
標識特定部113は、複数の車線が横方向に配置される順序と、それぞれの車線に対応する規制内容を示す標識が横方向に配置される順序とが一致することを利用して、特定した車線の位置に対応する標識を対応標識として特定する。
図5の例では、標識特定部113は、特定した車線が左から2番目であるため、左から2番目に設置されている時速75キロメートルの最高速度を示す標識を対応標識として特定する。
【0042】
[対応標識が示す規制内容に対応する情報の出力]
出力部114は、標識特定部113が特定した対応標識が示す規制内容に対応する情報を出力する。出力部114は、例えば、標識特定部113が特定した対応標識が示す規制内容に対応する情報を表示装置4に出力する。
【0043】
図6は、出力部114による対応標識の出力の一例を示す。
図6の例では、出力部114は、車両100が走行する現在の速度「57km/h」を示す情報と、燃料の残量を示すアイコン画像情報とを表示装置4に出力する。出力部114は、標識特定部113が特定した時速60キロメートルの最高速度を示す対応標識のアイコン画像情報に出力する。このとき、標識特定部113は、認識部112が認識した複数の標識の規制内容のうち、標識特定部113が対応標識として特定した標識の規制内容に対応するアイコン画像情報を出力する。これにより、表示領域41に現在の速度と燃料の残量が表示され、表示領域42に車両100の位置に対応する最高速度が表示される。
【0044】
出力部114は、標識特定部113が特定した対応標識が示す規制内容に対応する処理を速度制御装置5又はステアリング制御装置6へ指示してもよい。例えば、出力部114は、対応標識が示す規制内容が最高速度又は最低速度を指定するものである場合に、この最高速度又は最低速度に対応する速度で走行することを速度制御装置5に指示する。出力部114は、対応標識が示す規制内容が右折を禁止するものである場合に、右折を禁止することをステアリング制御装置6へ指示する。
【0045】
[標識が示す規制内容に対応する情報の出力の処理手順]
図7は、標識が示す規制内容に対応する情報を電子機器1が出力する処理手順を示すフローチャートである。この処理手順は、車両の電源オン(イグニッションオン)に応じて開始される。また、後述するようにこの処理手順は、車両100の走行中に継続して実行される。
【0046】
まず、認識部112及び標識特定部113は、車両100の前方を撮像した撮像画像データをカメラ3から取得する(S101)。標識特定部113は、取得した撮像画像データに基づいて、車両100が走行する車線の位置を特定する(S102)。認識部112は、取得した撮像画像データに基づいて、車両100の走行に関する規制内容を示す複数の標識を認識する(S103)。標識特定部113は、同じ種別の規制内容を示す複数の標識を認識部112が認識したか否かを判定する(S104)。
【0047】
標識特定部113は、同じ種別の規制内容を示す複数の標識を認識部112が認識したと判定した場合に(S104のYES)、認識部112が認識した複数の標識のうち、車両100が走行する車線に対応する標識を対応標識として特定する(S105)。出力部114は、標識特定部113が特定した対応標識が示す規制内容に対応する情報を出力する(S106)。標識特定部113は、車両100の走行を終了する指示(イグニッションオフ)が入力されたか否かを判定する(S107)。標識特定部113は、走行終了の指示が入力されたと判定した場合に(S107のYES)、本処理手順を終了する。
【0048】
出力部114は、S104の判定において同じ種別の規制内容を示す複数の標識を認識部112が認識していないと判定した場合に(S104のNO)、認識部112が認識した標識が示す規制内容に対応する情報を出力し(S108)、S107の判定に移る。標識特定部113は、S107の判定において、走行終了の指示が入力されていないと判定した場合に(S107のNO)、S101の処理に戻る。
【0049】
[本開示の電子機器1による効果]
標識特定部113は、車線ごとに異なる最高速度等の規制内容を示す標識が設置されている場合に、車両100に対応する対応標識が示す規制内容を特定する精度を向上させることができる。
【0050】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の全部又は一部は、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を併せ持つ。
【符号の説明】
【0051】
1 電子機器
2 位置センサ
3 カメラ
4 表示装置
5 速度制御装置
6 ステアリング制御装置
10 記憶部
11 制御部
41 表示領域
42 表示領域
60 時速
75 時速
90 時速
100 車両
111 位置特定部
112 認識部
113 標識特定部
114 出力部