(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2022-12-08
(45)【発行日】2022-12-16
(54)【発明の名称】路面劣化検出装置および路面劣化検出方法
(51)【国際特許分類】
G08G 1/00 20060101AFI20221209BHJP
E01C 23/01 20060101ALI20221209BHJP
【FI】
G08G1/00 J
E01C23/01
(21)【出願番号】P 2021175138
(22)【出願日】2021-10-27
【審査請求日】2021-10-27
(73)【特許権者】
【識別番号】000006013
【氏名又は名称】三菱電機株式会社
(74)【代理人】
【識別番号】110002941
【氏名又は名称】弁理士法人ぱるも特許事務所
(72)【発明者】
【氏名】岡本 卓也
(72)【発明者】
【氏名】矢田 将大
(72)【発明者】
【氏名】藤好 宏樹
(72)【発明者】
【氏名】小城戸 智能
(72)【発明者】
【氏名】森 考平
【審査官】▲高▼木 真顕
(56)【参考文献】
【文献】特開2020-056303(JP,A)
【文献】特開2018-120409(JP,A)
【文献】特開平04-240556(JP,A)
【文献】国際公開第2019/009214(WO,A1)
【文献】特開2019-200512(JP,A)
【文献】特開2017-167969(JP,A)
【文献】特表2014-513642(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G08G 1/00 - 99/00
E01C 23/00 - 23/24
E01D 22/00
H04N 7/18
G06T 1/00 - 1/40
G06T 7/00 - 7/90
(57)【特許請求の範囲】
【請求項1】
自車に搭載され路面を含む画像を取得する撮像部と、
前記自車の位置である自車位置の情報を取得する自車位置情報取得部と、
前記自車位置を含む領域の地図情報を取得する地図情報取得部と、
前記画像から前記路面の車線を区分するレーンマークを検出し、前記レーンマークを用いて前記画像から車線領域画像を抽出する車線領域抽出部と、
前記自車位置および前記地図情報から、あるいは、前記レーンマークから、前記自車が走行する自車走行車線を判定する自車走行車線判定部と、
前記車線領域画像から検出領域画像を抽出する検出領域抽出部と、
前記検出領域画像から路面劣化を検出する路面劣化検出部とを備え、
前記地図情報は、少なくとも道路の車線数を含む道路情報および地図上の位置の属性情報を含み、
前記検出領域抽出部は、前記自車位置、前記道路情報および前記自車走行車線の情報を用いて前記車線領域画像から前記検出領域画像を抽出し、
前記路面劣化検出部は、前記自車位置および前記属性情報をもとに前記路面劣化を検出するときの検出基準を変更することを特徴とする路面劣化検出装置。
【請求項2】
前記路面劣化検出部によって検出された前記路面劣化の情報を外部に送信する検出結果情報送信部を備えたことを特徴とする請求項1に記載の路面劣化検出装置。
【請求項3】
前記路面劣化検出部によって検出された前記路面劣化の情報および前記自車走行車線の情報をもとに警報を発信する路面劣化警報部を備えたことを特徴とする請求項1または2に記載の路面劣化検出装置。
【請求項4】
前記路面劣化警報部は、
前記路面劣化検出部によって検出された前記路面劣化の情報および前記自車走行車線の情報をもとに警報通知レベルを判定する警報判定部と、
前記警報通知レベルをもとに警報を発信する警報発信部とを備えたことを特徴とする請求項3に記載の路面劣化検出装置。
【請求項5】
前記警報判定部は、前記路面劣化検出部によって検出された前記路面劣化が前記自車走行車線にあるときに前記警報通知レベルを出力することを特徴とする請求項4に記載の路面劣化検出装置。
【請求項6】
前記警報発信部は、
前記警報通知レベルをもとに警報画像を生成する画像生成部と、
前記警報画像を表示する画像出力部とを備えたことを特徴とする請求項4または5に記載の路面劣化検出装置。
【請求項7】
前記警報発信部は、
前記警報通知レベルをもとに警報音声を生成する画像生成部と、
前記警報音声を出力する音声出力部とを備えたことを特徴とする請求項4から6のいずれか1項に記載の路面劣化検出装置。
【請求項8】
前記警報発信部は、
前記警報通知レベルをもとに振動を発生させる振動発生部を備えたことを特徴とする請求項4から7のいずれか1項に記載の路面劣化検出装置。
【請求項9】
前記車線領域抽出部は、前記属性情報をもとに前記レーンマークを検出するときの検出基準を変更することを特徴とする請求項1から8のいずれか1項に記載の路面劣化検出装置。
【請求項10】
撮像部と自車位置情報取得部と地図情報取得部と車線領域抽出部と自車走行車線判定部と検出領域抽出部と路面劣化検出部とを備えた路面劣化検出装置によって路面劣化を検出する路面劣化検出方法であって、
自車に搭載され
た前記撮像部が、路面を含む画像を取得する撮像ステップと、
前記自車位置情報取得部が、前記自車の位置である自車位置の情報を取得する自車位置情報取得ステップと、
前記地図情報取得部が、前記自車位置を含む領域の地図情報を取得する地図情報取得ステップと、
前記車線領域抽出部が、前記画像から前記路面の車線を区分するレーンマークを検出し、前記レーンマークを用いて前記画像から車線領域画像を抽出する車線領域抽出ステップと、
前記自車走行車線判定部が、前記自車位置および前記地図情報から、あるいは、前記レーンマークから、前記自車が走行する自車走行車線を判定する自車走行車線判定ステップと、
前記検出領域抽出部が、前記車線領域画像から検出領域画像を抽出する検出領域抽出ステップと、
前記路面劣化検出部が、前記検出領域画像から
前記路面劣化を検出する路面劣化検出ステップとを含む路面劣化検出方法であり、
前記地図情報は、地図上の位置の属性情報および少なくとも道路の車線数を含む道路情報を含み、
前記検出領域抽出ステップでは、前記自車位置、前記道路情報および前記自車走行車線の情報を用いて前記車線領域画像から前記検出領域画像を抽出し、
前記路面劣化検出ステップでは、前記自車位置および前記属性情報をもとに前記路面劣化を検出するときの検出基準を変更することを特徴とする路面劣化検出方法。
【発明の詳細な説明】
【技術分野】
【0001】
本願は、路面劣化検出装置および路面劣化検出方法に関するものである。
【背景技術】
【0002】
道路、橋梁、施設等の老朽化に伴い、建造物のメンテナンスを効率的に行うことが求められている。建造物のメンテナンスを実施するためには、建造物の不具合を発見する作業が必要になるが、目視での確認では定量的な評価と網羅的な解析は困難である。そのため、機械による自動検出が普及しつつある。自動検出を行う装置として、建造物の表面に沿って移動する移動体に搭載された撮像装置で続けて撮像され、表面を含む領域が撮像された画像を取得する画像取得部と、画像取得部が取得した画像を分割し、画像の一部分である部分画像を複数出力する部分画像生成部と、部分画像生成部が出力した部分画像の各々について、部分画像中の表面に現れた不具合を判定する状態判定部とを備えた情報処理装置が提案されている(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1に示された情報処理装置では、画像取得部が取得した画像から状態判定部において不具合を判定している。しかしながら、移動体がトンネル内にある場合など、移動体の位置あるいは周囲の状況によって画像データが変化するため、常に精度よく検出を行うことはできないという課題があった。
【0005】
本願は、上述の課題を解決するためになされたものであり、精度よく路面劣化を検出する路面劣化検出装置および路面劣化検出方法を提供することを目的とする。
【課題を解決するための手段】
【0006】
本願に開示される路面劣化検出装置は、自車に搭載され路面を含む画像を取得する撮像部と、自車の位置である自車位置の情報を取得する自車位置情報取得部と、自車位置を含む領域の地図情報を取得する地図情報取得部と、画像から路面の車線を区分するレーンマークを検出し、レーンマークを用いて画像から車線領域画像を抽出する車線領域抽出部と、自車位置および地図情報から、あるいは、レーンマークから、自車が走行する自車走行車線を判定する自車走行車線判定部と、車線領域画像から検出領域画像を抽出する検出領域抽出部と、検出領域画像から路面劣化を検出する路面劣化検出部とを備え、地図情報は、少なくとも道路の車線数を含む道路情報および地図上の位置の属性情報を含み、検出領域抽出部は、自車位置、道路情報および自車走行車線の情報を用いて車線領域画像から検出領域画像を抽出し、路面劣化検出部は、自車位置および属性情報をもとに路面劣化を検出するときの検出基準を変更することを特徴とする。
【発明の効果】
【0007】
本願に開示される路面劣化検出装置は、地図情報は、少なくとも道路の車線数を含む道路情報および地図上の位置の属性情報を含み、検出領域抽出部は、自車位置、道路情報および自車走行車線の情報を用いて車線領域画像から検出領域画像を抽出し、路面劣化検出部は、自車位置および属性情報をもとに路面劣化を検出するときの検出基準を変更するので、精度よく路面劣化を検出することができる。
【図面の簡単な説明】
【0008】
【
図1】実施の形態1による路面劣化検出装置の構成を示すブロック図である。
【
図2】実施の形態1による路面劣化検出装置の動作を説明するフローチャートである。
【
図3】実施の形態1における撮像部を説明するための図である。
【
図4】実施の形態1における地図情報取得部における地図情報の取得を説明するための図である。
【
図5】実施の形態1における撮像部において取得された画像を示す図である。
【
図6】実施の形態1における属性情報を説明するための図である。
【
図7】実施の形態1における属性情報とエッジ検出処理の閾値との関係を示す図である。
【
図8】実施の形態1におけるエッジ検出処理の閾値を決定方法の別の一例を説明するための図である。
【
図9】実施の形態1における検出領域抽出部の動作を説明するための図である。
【
図10】実施の形態1における検出領域抽出部の動作を説明するための図である。
【
図11】実施の形態1における道路情報と抽出領域画像として抽出するか否かとの関係を示す図である。
【
図12】実施の形態1における属性情報と路面劣化を検出対象か否かとの関係を示す図である。
【
図13】実施の形態1における検出結果情報送信部におけるデータの送信を説明するための図である。
【
図14】実施の形態1における警報判定部および画像生成部の動作を説明するための図である。
【
図15】実施の形態1における警報判定部および画像生成部の動作を説明するための図である。
【
図16】実施の形態1による路面劣化検出装置のハードウェアの一例を示す模式図である。
【発明を実施するための形態】
【0009】
以下、本願を実施するための実施の形態に係る路面劣化検出装置について、図面を参照して詳細に説明する。なお、各図において同一符号は同一もしくは相当部分を示している。
【0010】
実施の形態1.
図1は、実施の形態1による路面劣化検出装置100の構成を示すブロック図である。路面劣化検出装置100は、撮像部1、自車位置情報取得部2、地図情報取得部3、車線領域抽出部4、自車走行車線判定部5、検出領域抽出部6、路面劣化検出部7、検出結果情報送信部8および路面劣化警報部10を備えている。路面劣化警報部10は、警報判定部11および警報発信部12を備えている。警報発信部12は、画像生成部13、画像出力部14、音声生成部15、音声出力部16および振動発生部17を備えている。
【0011】
撮像部1は、自車に搭載され路面を含む画像を取得する車載カメラである。自車位置情報取得部2は、自車の位置である自車位置の情報を取得するロケータである。地図情報取得部3は、自車位置情報取得部2から取得した自車位置の情報を用いて、地図情報データベースから自車位置を含む自車の周辺の領域の地図情報を取得する。車線領域抽出部4は、自車位置情報取得部2から取得した自車位置の情報と地図情報取得部3から取得した地図情報とを用いて、撮像部1から取得した画像から路面を区分するレーンマークを検出し、レーンマークを用いて撮像部1から取得した画像から車線領域画像を抽出する。自車走行車線判定部5は、自車位置情報取得部2から取得した自車位置情報と地図情報取得部3から取得した地図情報とから、あるいは、車線領域抽出部4から取得したレーンマークから、自車が走行する自車走行車線を判定する。
【0012】
検出領域抽出部6は、自車位置情報取得部2から取得した自車位置の情報と、地図情報取得部3から取得した地図情報と、自車走行車線判定部5から取得した自車走行車線の情報とを用いて、車線領域抽出部4から取得した車線領域画像から検出領域画像を抽出する。路面劣化検出部7は、自車位置情報取得部2から取得した自車位置の情報と、地図情報取得部3から取得した地図情報とを用いて、検出領域抽出部6から取得した検出領域画像から路面劣化を検出する。検出結果情報送信部8は、路面劣化検出部7が検出した路面劣化の情報を、路面劣化検出装置100の外部に送信する。
【0013】
路面劣化警報部10は、路面劣化検出部7によって検出された路面劣化の情報および自車走行車線判定部5から取得した自車走行車線の情報をもとに、警報を発信する。警報判定部11は、路面劣化検出部7によって検出された路面劣化の情報および自車走行車線判定部5から取得した自車走行車線の情報をもとに警報通知レベルを判定し、路面劣化が自車走行車線にあるときに警報通知レベルとして警報信号を出力し、路面劣化が自車走行車線にないときに警報通知レベルとして注意信号を出力する。警報発信部12は、警報判定部11から取得した警報通知レベルをもとに警報を発信する。画像生成部13は、警報判定部11から取得した警報通知レベルをもとに警報画像を生成する。画像出力部14は、画像生成部13から取得した警報画像を表示する。音声生成部15は、警報判定部11から取得した警報通知レベルをもとに警報音声を生成する。音声出力部16は、音声生成部15から取得した警報音声を出力する。振動発生部17は、警報判定部11から取得した警報通知レベルをもとに振動を発生させる。警報発信部12は、画像生成部13および画像出力部14を備えた画像警報発信部と、音声生成部15および音声出力部16を備えた音声警報発信部と、振動発生部17との、少なくとも1つを備えていればよい。
【0014】
次に、実施の形態1による路面劣化検出装置100の動作について説明する。
図2は、実施の形態1による路面劣化検出装置100の動作を説明するフローチャートである。ステップS01は撮像ステップであり、ステップS02は自車位置情報取得ステップであり、ステップS03は地図情報取得ステップであり、ステップS04およびステップS05は車線領域抽出ステップであり、ステップS06は自車走行車線判定ステップである。ステップS07、ステップS08およびステップS09は、検出領域抽出ステップである。ステップS10およびステップS11は路面劣化検出ステップである。
【0015】
ステップS01では、撮像部1は、路面を含む自車の周辺の画像を取得し、取得した画像を車線領域抽出部4に出力し、ステップS02に進む。
図3は、撮像部1を説明するための図である。
図3は、自車200に搭載された撮像部1が、自車200の前方すなわち自車200の進行方向を撮影している様子を示している。
図3に示す例では、自車200はレーンマーク21、22、23,24によって示された3つの車線のうち中央の車線を走行しており、中央の車線に路面劣化30がある。撮像部1の画角θcは、例えば120度とする。ただし、撮像部1の画角θcは、120度に限るものではない。
【0016】
ステップS02では、自車位置情報取得部2は、自車200の位置である自車位置の情報を取得し、地図情報取得部3、車線領域抽出部4、自車走行車線判定部5、検出領域抽出部6および路面劣化検出部7に出力し、ステップS03に進む。自車位置情報取得部2は、自車200に搭載されている。自車位置情報取得部2は、自車位置の情報を取得する高精度ロケータ(HDL:High-Definition Locator)であり、例えば、位置情報が誤差30cm以下のものである。自車位置情報取得部2は、自車200の緯度および経度の位置情報が正確に観測できるGPS(Global Positioning System)受信機でもよい。
【0017】
ステップS03では、地図情報取得部3は、ステップS02で得られた自車位置の情報をもとに、自車位置を含む領域の地図情報を取得し、車線領域抽出部4、自車走行車線判定部5、検出領域抽出部6および路面劣化検出部7に出力し、ステップS04に進む。
図4は、地図情報取得部3における地図情報の取得を説明するための図である。地図情報取得部3は、インターネット18を介して地図情報が格納されている地図情報データベース19へアクセスすることにより、自車位置を含む領域の地図情報を得る。地図情報データベース19に格納されている地図情報は、地図上に示された位置の属性情報として、一般道、高速道路、サービスエリア、私有地などのどのような場所であるかという情報を含んでいる。また、地図情報取得部3が取得する地図情報は、地図上に示された道路の道路情報を含んでおり、道路情報は、例えば、車線数、車線幅、工事中の車線の情報、渋滞中の車線の情報、中央分離帯の有無の情報である。よって、地図情報取得部3が取得する地図情報は、自車位置の属性情報および自車200が走行する道路の道路情報を含んでいる。なお、例えば、自車200に搭載したメモリにあらかじめ地図情報を格納しておき、地図情報取得部3がメモリにアクセスすることによって地図情報を取得するなど、地図情報取得部3が地図情報を取得する方法はどのようなものであっても構わない。
【0018】
ステップS04では、車線領域抽出部4は、ステップS02で得られた自車位置の情報と、ステップS03で得られた地図情報とから、自車200が走行している道路の車線数を取得し、ステップS05に進む。例えば、
図3に示す例においては、ステップS04において車線領域抽出部4において取得される車線数は「3」となる。
【0019】
ステップS05では、車線領域抽出部4は、ステップS04で得られた車線数の情報を用いて、撮像部1において取得された画像から車線領域画像を抽出し、検出領域抽出部6に出力し、ステップS06に進む。
図5は、
図3に示す例において撮像部1において取得された画像の一部を示す図である。車線領域抽出部4は、撮像部1において取得された
図5に示された画像から、画像処理によって路面の車線を区分するレーンマーク21、22、23,24を検出する。画像処理によってレーンマーク21、22、23,24を検出するときに、ステップS04において得られた車線数から検出するレーンマークの数の上限値を設定して、レーンマークを検出する。例えば、ステップS04において車線数として「3」が得られたときは、検出するレーンマークの数は最大で「4」となる。レーンマークの検出は、例えば、ソーベル(Sobel)フィルタあるいはキャニー(Canny)フィルタなどによって画像上の各画素の輝度または彩度の勾配情報からエッジを検出するエッジ検出処理を用いる。
【0020】
地図情報は、地図上に示された位置の属性情報として一般道、高速道路、サービスエリア、私有地などのどのような場所であるかという情報を含んでおり、自車位置と地図情報とから自車位置の属性情報を取得することができる。車線領域抽出部4は、ステップS02で得られた自車位置の情報と、ステップS03で得られた地図情報とから、自車位置の属性情報を取得し、自車位置の属性情報に応じてエッジ検出処理の検出基準である2つの閾値を変更する。
図6は、地図上に示された位置の属性情報について説明するための図である。
図6では、自車200が一般道61からトンネル63を通過し、一般道62に移動する例を示している。自車200が一般道61あるいは一般道62を走行しているときは自車位置の属性情報は「一般道」となり、自車200がトンネル63を走行しているときは自車位置の属性情報は「トンネル」となる。
図7は、自車位置の属性情報とエッジ検出処理の検出基準である2つの閾値との関係を示す図である。車線領域抽出部4は、
図7に示すテーブルに従って、
図6において自車200が一般道61あるいは一般道62を走行しているときはエッジ検出処理の2つの閾値を(60、130)に設定してエッジ検出処理を行い、自車200がトンネル63を走行しているときはエッジ検出処理の2つの閾値を(30、70)に設定してエッジ検出処理を行う。なお、
図7に示した値は一例であり、属性情報とエッジ検出処理の閾値の関係は、エッジ検出処理の2つの閾値は自車位置においてレーンマークが検出しやすい値であればよい。
【0021】
車線領域抽出部4におけるレーンマークの検出は、エッジ検出処理に限るものではなく、機械学習を用いた検出など、レーンマークを検出できる処理であればどのようなものでもよい。例えば、レーンマークの検出に機械学習を用いる場合は、自車位置の属性情報に応じて機械学習の検出基準である教師データを変更する。このように、自車位置の属性情報をもとにレーンマークを検出するときの検出基準を変更することにより、レーンマークをより正確に検出することができ、レーンマークの未検知あるいは誤検知を抑制することができる。その結果、路面劣化をより正確に検出することができる。
【0022】
図8は、車線領域抽出部4においてエッジ検出処理の閾値の決定方法の別の一例を説明するための図である。車線領域抽出部4におけるレーンマークの検出をエッジ検出処理で行うとき、
図8に示すように、撮像部1から取得した画像において輝度検出領域56を設定し、輝度検出領域56における輝度の平均値を求め、求めた輝度の平均値に応じてエッジ検出処理の2つの閾値を変更してもよい。また、輝度検出領域56における明度の値あるいは輝度検出領域56における彩度の値に応じて、エッジ検出処理の2つの閾値を変更してもよい。
【0023】
次に、車線領域抽出部4は、撮像部1において取得された
図5に示された画像から、検出されたレーンマーク21、22、23、24と、上限ライン41と、下限ライン42とで囲まれたそれぞれの領域の画像を、車線領域画像51、52、53として抽出し、検出領域抽出部6に出力する。車線領域画像の抽出は、検出されたレーンマーク21、22、23、24を境として、車線領域画像を切り分けるものとする。上限ライン41および下限ライン42はあらかじめ定められたものであり、例えば、上限ライン41は撮像部1において取得された画像の1/2の高さのラインとし、下限ライン42は撮像部1において取得された画像の下端のラインとする。上限ライン41および下限ライン42は、上記に限るものではなく、高さまたは傾きが変化してもよく、直線でなくてもよく、レーンマーク21、22、23、24と上限ライン41と下限ライン42とで囲まれた領域のそれぞれの画像を車線領域画像として抽出できるものであればよい。複数の車線を1つの領域とするのではなく、例えば、
図5に示された3つの車線領域画像51、52、53を区別して抽出することにより、自車位置および地図情報から得られる情報を用いて、それぞれの車線の位置関係、例えば、自車走行車線か否か、対向車線か否かなどを、それぞれの車線において判断することができ、後述の検出領域抽出部6において必要な領域の車線領域画像のみを検出領域画像として抽出することができる。
【0024】
ステップS06では、自車走行車線判定部5は、ステップS02で得られた自車位置およびステップS03で得られた地図情報から、自車200が走行する自車走行車線を判定し、検出領域抽出部6および警報判定部11に出力し、ステップS07に進む。地図情報は、道路情報として少なくとも道路の車線数を含んでおり、道路情報として道路の車線幅を含んでいてもよい。地図上の道路上の自車位置と、自車位置の道路の車線数とから、自車200が走行する自車走行車線を判定することができる。自車走行車線の判定には、自車位置の道路の車線幅の情報を用いてもよい。なお、ステップS05において抽出された車線領域画像が1つのみの場合は、抽出された車線領域画像が示す車線を自車走行車線とする。
【0025】
あるいは、ステップS06では、自車走行車線判定部5は、車線領域抽出部4において検出されたレーンマーク21、22、23、24の情報を用いて自車200が走行する自車走行車線を判定してもよい。自車200の進行方向の路面を撮影した
図5に示す例では、
図5に示す画像の上下方向に対するレーンマーク21、22、23、24のそれぞれの傾きをθ1、θ2、θ3、θ4とすると、レーンマーク21、22は正の傾きを持っておりレーンマーク23、24は負の傾きを持っているといえる。このときに、正の勾配を持ったレーンマーク22と負の勾配を持ったレーンマーク23に挟まれた車線領域画像52の車線を、自車両走行車線と判定する。このように、ステップS06では、自車走行車線判定部5は、車線領域抽出部4において検出されたレーンマーク21、22、23、24のそれぞれの傾きの違いから、自車走行車線を判定してもよい。なお、ステップS05において検出されたレーンマークが2つであり、抽出された車線領域画像が1つのみの場合は、抽出された車線領域画像の車線を自車走行車線とする。
【0026】
ステップS07では、検出領域抽出部6は、ステップS02で得られた自車位置と、ステップS03で得られた地図情報と、ステップS06で得られた自車走行車線の情報とを用いて、ステップS05で得られた車線領域画像から検出領域画像を抽出し、ステップS08に進む。ステップS03で得られた地図情報は、自車200が走行する道路の道路情報を含んでいる。よって、ステップS07では、検出領域抽出部6は、自車位置と地図情報に含まれる道路情報とから自車200が走行する道路の道路情報を取得し、自車200が走行する道路の道路情報を用いて検出領域画像を抽出する。
【0027】
図9は、実施の形態1における検出領域抽出部6の動作を説明するための図である。
図9は、ステップS05において車線領域画像51、52、53aの3つの車線領域画像が抽出され、ステップS06において車線領域画像52の車線が自車走行車線と判定された例を示している。検出領域抽出部6は、例えば、自車200が走行する道路の道路情報として車線領域画像53aの車線が工事中であるという情報を取得した場合、車線領域画像51および車線領域画像52を検出領域画像として抽出し、車線領域画像53aは検出領域画像としては抽出しない。
図10は、実施の形態1における検出領域抽出部6の動作を説明するための別の一例を示した図である。
図10は、ステップS05においてレーンマーク21、22、23、25、26から車線領域画像51、52、54、55の4つの画像が抽出され、ステップS06において車線領域画像52の車線が自車走行車線と判定された例を示している。検出領域抽出部6は、例えば、自車200が走行する道路の道路情報として、自車200が走行する道路の中央に中央分離帯27が敷設されているという情報を取得した場合、車線領域画像51および車線領域画像52を検出領域画像として抽出し、対向車線に位置する車線領域画像54および車線領域画像55は検出領域画像としては抽出しない。
【0028】
図11は、車線の道路情報と抽出領域画像として抽出するか否かとの関係を示す図である。例えば、
図11に示すテーブルをあらかじめ記憶しておき、検出領域抽出部6は、車線の道路情報と
図11に示すテーブルとから、それぞれの車線領域画像を検出領域画像として抽出するかどうかを判断する。
図11に示す例では、車線の道路情報が「中央分離帯がないときの対向車線」の場合は検出領域画像として抽出し、車線の道路情報が「工事中」の場合は検出領域画像として抽出しない。なお、検出領域抽出部6は、自車200の周辺の敷設物あるいは標識に応じて車線領域画像から検出領域画像を抽出してもよい。このように、自車位置、道路情報および自車走行車線の情報を用いて車線領域画像から検出領域画像を抽出することにより、路面劣化を検出する必要のない車線領域画像を路面劣化の検出対象から除外することができ、路面劣化の誤検出を減らすことができるとともに、路面劣化の検出の処理を少なくすることができる。
【0029】
ステップS08では、検出領域抽出部6は、検出領域画像が抽出されたかどうかを確認し、検出領域画像が抽出されたときはステップS09に進み、検出領域画像が抽出されなかったときはステップS01に戻る。ステップS09では、検出領域抽出部6は、ステップS02で得られた自車位置の情報と、ステップS03で得られた地図情報に含まれる属性情報とから、自車位置は路面劣化の検出対象か否かを判断する。自車位置が路面劣化の検出対象であると判断されたときは、検出領域画像を路面劣化検出部7に出力し、ステップS10に進む。自車位置が路面劣化の検出対象ではないと判断されたときは、ステップS01に戻る。
図12は、自車位置の属性情報と路面劣化の検出対象か否かとの関係を示す図である。例えば、
図12に示すテーブルをあらかじめ記憶しておき、検出領域抽出部6は、自車位置の属性情報と
図12に示すテーブルとから自車位置は路面劣化の検出対象か否かを判断する。
図12に示す例では、自車位置の属性情報が「一般道」の場合は路面劣化の検出対象であると判断し、自車位置の属性情報が「サービスエリア」の場合は路面劣化の検出対象ではないと判断する。
【0030】
ステップS10では、路面劣化検出部7は、検出領域抽出部6から出力された検出領域画像から路面劣化を検出し、ステップS11に進む。例えば、検出領域抽出部6から
図5の車線領域画像52が検出領域画像として出力されたときは、路面劣化検出部7は、車線領域画像52から路面劣化30を検出する。
図5では、路面劣化30をひび割れとして示しているが、検出する路面劣化はひび割れに限るものではなく、穴、轍など、路面に現れた不具合であればどのようのものでも構わない。また、路面劣化検出部7が検出する対象は、路面劣化だけでなく、路面上の落下物、道路外からはみ出した倒れ枝など、走行に悪影響があり修繕する必要があるものを対象としてもよい。
【0031】
路面劣化30の検出は、例えば、ソーベル(Sobel)フィルタあるいはキャニー(Canny)フィルタなどによって画像上の各画素の輝度または彩度の勾配情報からエッジを検出するエッジ検出処理を用いる。路面劣化検出部7は、例えば、キャニー(Canny)フィルタによってエッジ検出処理を行う。路面劣化検出部7は、ステップS02で得られた自車位置の情報と、ステップS03で得られた地図情報とから、自車位置の属性情報を取得し、自車位置の属性情報に応じてエッジ検出処理の検出基準である2つの閾値を変更する。路面劣化検出部7は、例えば、車線領域抽出部4と同様に、
図7に示すテーブルに従って、自車位置の属性情報に応じてエッジ検出処理の検出基準である2つの閾値を変更する。なお、
図7に示した値は一例であり、属性情報とエッジ検出処理の閾値の関係は、エッジ検出処理の2つの閾値は自車位置において路面劣化30が検出しやすい値であればよい。
【0032】
路面劣化検出部7における路面劣化30の検出は、エッジ検出処理に限るものではなく、機械学習を用いた検出など、路面劣化30を検出できる処理であればどのようなものでもよい。例えば、路面劣化30の検出に機械学習を用いる場合は、自車位置の属性情報に応じて機械学習の検出基準である教師データを変更する。このように、自車位置の属性情報をもとに路面劣化30を検出するときの検出基準を変更することにより、路面劣化30をより正確に検出することができ、路面劣化の未検知あるいは誤検知を抑制することができる。
【0033】
路面劣化検出部7は、車線領域抽出部4と同様に、
図8に示すように検出領域画像において輝度検出領域56を設定し、輝度検出領域56における輝度の平均値を求め、求めた輝度の平均値に応じてエッジ検出処理の2つの閾値を変更してもよい。また、輝度検出領域56における明度の値あるいは輝度検出領域56における彩度の値に応じて、エッジ検出処理の2つの閾値を変更してもよい。
【0034】
ステップS11では、路面劣化検出部7は、路面劣化30が検出されたかどうかを確認する。路面劣化30が検出されたときは、検出された路面劣化の情報を検出結果情報送信部8および警報判定部11に出力し、ステップS12に進む。路面劣化30が検出されなかったときは、ステップS01に戻る。
【0035】
ステップS12では、検出結果情報送信部8は、路面劣化検出部7から取得した検出された路面劣化の情報に路面劣化を検出したときの自車位置の情報を付加したデータを、路面劣化検出装置100の外部に送信する。送信先は、例えば、路面劣化情報データベースである。
図13は、検出結果情報送信部8におけるデータの送信を説明するための図である。検出結果情報送信部8は、例えば、インターネット18を介してデータを路面劣化情報データベース20に送信する。検出結果情報送信部8は、路面劣化検出部7から取得した検出された路面劣化の情報に、路面劣化を検出したときの自車位置の情報を付加したデータを、クラウドに送信してもよい。検出結果情報送信部8によって検出された路面劣化の情報を路面劣化情報データベース20あるいはクラウドに送信することにより、路面劣化情報データベース20あるいはクラウドにおいて複数の車両からの路面劣化の情報をまとめて解析することができ、より信頼性の高い路面劣化の情報を得ることができる。
【0036】
以下においては、警報発信部12が、画像生成部13および画像出力部14を備えた画像警報発信部と、音声生成部15および音声出力部16を備えた音声警報発信部と、振動発生部17とを備えた場合の動作について説明する。ステップS13では、警報判定部11は、ステップS06で得られた自車走行車線の情報およびステップS10で得られた路面劣化の情報から、警報通知レベルを判定して画像生成部13、音声生成部15および振動発生部17に出力し、ステップS14に進む。
図14は、警報判定部11および画像生成部13の動作を説明するための図である。
図14は、車線領域画像52の車線が自車走行車線であり、路面劣化31が自車走行車線の外側で検出された例を示している。警報判定部11は、路面劣化31の画像上の位置を示すバウンディングボックス33が自車走行車線である車線領域画像52の領域に重なっていない場合は、警報通知レベルとして注意信号を画像生成部13、音声生成部15および振動発生部17に出力する。
図15は、警報判定部11および画像生成部13の動作を説明するための別の図である。
図15は、車線領域画像52の車線が自車走行車線であり、路面劣化32が自車走行車線の中で検出された例を示している。警報判定部11は、路面劣化32の画像上の位置を示すバウンディングボックス34が自車走行車線である車線領域画像52の領域に一部でも重なっている場合は、警報通知レベルとして警報信号を画像生成部13、音声生成部15および振動発生部17に出力する。
【0037】
警報判定部11は、警報通知レベルを警報信号のみとして、警報判定部11は、路面劣化32の画像上の位置を示すバウンディングボックス34が自車走行車線である車線領域画像52の領域に一部でも重なっている場合は、すなわち、路面劣化32が自車走行車線である車線領域画像52にあるときに、警報通知レベルとして警報信号を画像生成部13、音声生成部15および振動発生部17に出力してもよい。警報判定部11は、路面劣化が検出されたときに常に警報信号を出力するのではなく、路面劣化が自車走行車線にあるときに警報信号を出力するので、ドライバーに不要な緊張を与えることが無い。
【0038】
ステップS14では、画像生成部13は、警報判定部11から取得した警報通知レベルをもとに警報画像を作成して画像出力部14に出力し、ステップS15に進む。
図14に示す例では、画像生成部13は、警報判定部11から注意信号を受け取り、路面劣化31が自車走行車線の外側で検出されたことを示す警報画像71を生成し、警報画像71を画像出力部14に出力する。あるいは、画像生成部13は、警報判定部11から注意信号を受け取り、路面劣化31が自車走行車線の外側で検出されたことを示す警報画像71を生成し、警報画像71に撮像部1から取得した画像を重畳して
図14に示すような警報画像を生成して、画像出力部14に出力してもよい。
図15に示す例では、画像生成部13は、警報判定部11から警報信号を受け取り、路面劣化31が自車走行車線に検出されたことを示す警報画像72を生成し、警報画像72を画像出力部14に出力する。あるいは、画像生成部13は、警報判定部11から警報信号を受け取り、路面劣化31が自車走行車線に検出されたことを示す警報画像72を生成し、警報画像に撮像部1から取得した画像を重畳して
図15に示すような警報画像を生成して、画像出力部14に出力してもよい。なお、警報画像71,72は、
図14および
図15に示したものに限るものではなく、警報を認識できるものであればどのようなものでも構わない。ステップS15では、画像出力部14は、ステップS14において生成された警報画像を表示し、ステップS16に進む。これにより、自車200を運転するドライバーは、警報画像を確認することにより、自車200の周辺に路面劣化が検出されたことを認識することができる。
【0039】
ステップS16では、音声生成部15は、警報判定部11から警報判定部11から取得した警報通知レベルをもとに自車200の周辺に路面劣化が検出されたことを伝える音声信号を生成し、音声出力部16に出力し、ステップS17に進む。音声生成部15は、例えば、警報信号を受け取ったときに音声信号を生成し音声出力部16に出力し、注意信号を受け取ったときには音声信号は生成しないようにしてもよい。音声生成部15は、警報信号を受け取ったときと注意信号を受け取ったときで、異なる音声信号を生成してもよい。ステップS17では、音声出力部16は、音声生成部15において生成された音声信号を音として出力して、ステップS18に進む。これにより、自車200を運転するドライバーは、音声出力部16から発せられる音を確認することにより、自車200の周辺に路面劣化が検出されたことを認識することができる。
【0040】
ステップS18では、振動発生部17は、警報判定部11から取得した警報通知レベルをもとに振動を発生させることにより自車200の周辺に路面劣化が検出されたことを自車200のドライバーに伝え、処理を終了する。振動発生部17は、例えば、ドライバーのシートあるいはハンドルに振動を発生させるものである。振動によって路面劣化が検出されたことをドライバーに知らせるものであればどのようなものでもよい。振動発生部17は、例えば、警報信号を受け取ったときに振動を発生させ、注意信号を受け取ったときには振動を発生させないようにしてもよい。振動発生部17は、警報信号を受け取ったときと注意信号を受け取ったときで、異なる振動を発生させてもよい。これにより、自車200を運転するドライバーは、振動発生部17から発せられる振動を確認することにより、自車200の周辺に路面劣化が検出されたことを認識することができる。
【0041】
なお、路面劣化検出装置の作動中は、
図2に示すステップS01からステップS18の処理が繰り返し行われる。
【0042】
以上のように、実施の形態1による路面劣化検出装置100は、自車200に搭載され路面を含む画像を取得する撮像部1と、自車200の位置である自車位置の情報を取得する自車位置情報取得部2と、自車位置を含む領域の地図情報を取得する地図情報取得部3と、画像から路面の車線を区分するレーンマークを検出し、レーンマークを用いて画像から車線領域画像を抽出する車線領域抽出部4と、自車位置および地図情報から、あるいは、レーンマークから、自車200が走行する自車走行車線を判定する自車走行車線判定部5と、車線領域画像から検出領域画像を抽出する検出領域抽出部6と、検出領域画像から路面劣化を検出する路面劣化検出部7とを備え、地図情報は、少なくとも道路の車線数を含む道路情報および地図上の位置の属性情報を含み、検出領域抽出部6は、自車位置、道路情報および自車走行車線の情報を用いて車線領域画像から検出領域画像を抽出し、路面劣化検出部7は、自車位置および属性情報をもとに路面劣化を検出するときの検出基準を変更するので、精度よく路面劣化を検出することができる。
【0043】
また実施の形態1による路面劣化検出装置100は、精度よく路面劣化を検出することができるので、検出された路面劣化の情報を路面劣化情報データベース20に送信するときに、路面劣化の誤検出による送信データの増大を抑制することができる。また、敷設物の管理者または修繕者は、より信頼度の高いデータが蓄積された路面劣化情報データベース20を利用することができる。
【0044】
図16は、実施の形態1における路面劣化検出装置100のハードウェアの一例を示す模式図である。撮像部1はカメラ303であり、自車位置情報取得部2はロケータ304であり、地図情報取得部3は送受信機305であり、検出結果情報送信部8は送信機306であり、画像出力部14はディスプレイ307であり、音声出力部16はスピーカ308であり、振動発生部17は振動器309である。車線領域抽出部4、自車走行車線判定部5、検出領域抽出部6、路面劣化検出部7、警報判定部11、画像生成部13および音声生成部15は、メモリ302に記憶されたプログラムを実行するCPU、システムLSI等のプロセッサ301により実現される。また、複数の処理回路が連携して上記機能を実行してもよい。さらに、専用のハードウェアによって上記機能を実現してもよい。専用のハードウェアによって上記機能を実現する場合は、専用のハードウェアは、例えば、単一回路、複合回路、プログラム化されたプロセッサ、ASIC、FPGA、あるいは、これらを組み合わせたものである。上記機能は、専用ハードウェアとソフトウェアとの組み合わせ、あるいは、専用ハードウェアとファームウェアとの組み合わせによって実現してもよい。プロセッサ301、メモリ302、カメラ303、ロケータ304、送受信機305、送信機306、ディスプレイ307、スピーカ308および振動器309は、互いにバス接続されている。
【0045】
本願は、例示的な実施の形態が記載されているが、実施の形態に記載された様々な特徴、態様、および機能は特定の実施の形態の適用に限られるのではなく、単独で、または様々な組み合わせで実施の形態に適用可能である。
したがって、例示されていない無数の変形例が、本願に開示される技術の範囲内において想定される。例えば、少なくとも1つの構成要素を変形する場合、追加する場合または省略する場合が含まれるものとする。
【符号の説明】
【0046】
1 撮像部、2 自車位置情報取得部、3 地図情報取得部、4 車線領域抽出部、5 自車走行車線判定部、6 検出領域抽出部、7 路面劣化検出部、8 検出結果情報送信部、10 路面劣化警報部、11 警報判定部、12 警報発信部、13 画像生成部、14 画像出力部、15 音声生成部、16 音声出力部、17 振動発生部、18 インターネット、19 地図情報データベース、20 路面劣化情報データベース、21、22、23、24、25、26 レーンマーク、27 中央分離帯、30、31、32 路面劣化、33、34 バウンディングボックス、41 上限ライン、42 下限ライン、51、52、53、53a、54、55 車線領域画像、56 輝度検出領域、61、62 一般道、63 トンネル、71、72 警報画像、100 路面劣化検出装置、200 自車、301 プロセッサ、302 メモリ、303 カメラ、304 ロケータ、305 送受信機、306 送信機、307 ディスプレイ、308 スピーカ、309 振動器。
【要約】
【課題】精度よく路面劣化を検出する路面劣化検出装置を提供する。
【解決手段】画像を取得する撮像部1と、自車位置の情報を取得する自車位置情報取得部2と、少なくとも道路の車線数を含む道路情報および地図上の位置の属性情報を含む地図情報を取得する地図情報取得部3と、画像から車線領域画像を抽出する車線領域抽出部4と、自車位置および地図情報から自車走行車線を判定する自車走行車線判定部5と、自車位置、道路情報および自車走行車線の情報を用いて車線領域画像から検出領域画像を抽出する検出領域抽出部6と、検出領域画像から路面劣化を検出する路面劣化検出部7とを備え、路面劣化検出部7は、自車位置および属性情報をもとに路面劣化を検出するときの検出基準を変更する。
【選択図】
図1