特許 7191178 路面劣化検出装置および路面劣化検出方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2022-12-08

(45)【発行日】2022-12-16

(54)【発明の名称】路面劣化検出装置および路面劣化検出方法

(51)【国際特許分類】

   G08G 1/00 20060101AFI20221209BHJP

   E01C 23/01 20060101ALI20221209BHJP

【ＦＩ】

G08G1/00 J

E01C23/01

【請求項の数】 10

(21)【出願番号】P 2021175138

(22)【出願日】2021-10-27

【審査請求日】2021-10-27

(73)【特許権者】

【識別番号】000006013

【氏名又は名称】三菱電機株式会社

(74)【代理人】

【識別番号】110002941

【氏名又は名称】弁理士法人ぱるも特許事務所

(72)【発明者】

【氏名】岡本 卓也

(72)【発明者】

【氏名】矢田 将大

(72)【発明者】

【氏名】藤好 宏樹

(72)【発明者】

【氏名】小城戸 智能

(72)【発明者】

【氏名】森 考平

【審査官】▲高▼木 真顕

(56)【参考文献】

【文献】特開２０２０－０５６３０３（ＪＰ，Ａ）

【文献】特開２０１８－１２０４０９（ＪＰ，Ａ）

【文献】特開平０４－２４０５５６（ＪＰ，Ａ）

【文献】国際公開第２０１９／００９２１４（ＷＯ，Ａ１）

【文献】特開２０１９－２００５１２（ＪＰ，Ａ）

【文献】特開２０１７－１６７９６９（ＪＰ，Ａ）

【文献】特表２０１４－５１３６４２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０８Ｇ １／００ － ９９／００

Ｅ０１Ｃ ２３／００ － ２３／２４

Ｅ０１Ｄ ２２／００

Ｈ０４Ｎ ７／１８

Ｇ０６Ｔ １／００ － １／４０

Ｇ０６Ｔ ７／００ － ７／９０

(57)【特許請求の範囲】

【請求項1】

自車に搭載され路面を含む画像を取得する撮像部と、
前記自車の位置である自車位置の情報を取得する自車位置情報取得部と、
前記自車位置を含む領域の地図情報を取得する地図情報取得部と、
前記画像から前記路面の車線を区分するレーンマークを検出し、前記レーンマークを用いて前記画像から車線領域画像を抽出する車線領域抽出部と、
前記自車位置および前記地図情報から、あるいは、前記レーンマークから、前記自車が走行する自車走行車線を判定する自車走行車線判定部と、
前記車線領域画像から検出領域画像を抽出する検出領域抽出部と、
前記検出領域画像から路面劣化を検出する路面劣化検出部とを備え、
前記地図情報は、少なくとも道路の車線数を含む道路情報および地図上の位置の属性情報を含み、
前記検出領域抽出部は、前記自車位置、前記道路情報および前記自車走行車線の情報を用いて前記車線領域画像から前記検出領域画像を抽出し、
前記路面劣化検出部は、前記自車位置および前記属性情報をもとに前記路面劣化を検出するときの検出基準を変更することを特徴とする路面劣化検出装置。

【請求項2】

前記路面劣化検出部によって検出された前記路面劣化の情報を外部に送信する検出結果情報送信部を備えたことを特徴とする請求項１に記載の路面劣化検出装置。

【請求項3】

前記路面劣化検出部によって検出された前記路面劣化の情報および前記自車走行車線の情報をもとに警報を発信する路面劣化警報部を備えたことを特徴とする請求項１または２に記載の路面劣化検出装置。

【請求項4】

前記路面劣化警報部は、
前記路面劣化検出部によって検出された前記路面劣化の情報および前記自車走行車線の情報をもとに警報通知レベルを判定する警報判定部と、
前記警報通知レベルをもとに警報を発信する警報発信部とを備えたことを特徴とする請求項３に記載の路面劣化検出装置。

【請求項5】

前記警報判定部は、前記路面劣化検出部によって検出された前記路面劣化が前記自車走行車線にあるときに前記警報通知レベルを出力することを特徴とする請求項４に記載の路面劣化検出装置。

【請求項6】

前記警報発信部は、
前記警報通知レベルをもとに警報画像を生成する画像生成部と、
前記警報画像を表示する画像出力部とを備えたことを特徴とする請求項４または５に記載の路面劣化検出装置。

【請求項7】

前記警報発信部は、
前記警報通知レベルをもとに警報音声を生成する画像生成部と、
前記警報音声を出力する音声出力部とを備えたことを特徴とする請求項４から６のいずれか１項に記載の路面劣化検出装置。

【請求項8】

前記警報発信部は、
前記警報通知レベルをもとに振動を発生させる振動発生部を備えたことを特徴とする請求項４から７のいずれか１項に記載の路面劣化検出装置。

【請求項9】

前記車線領域抽出部は、前記属性情報をもとに前記レーンマークを検出するときの検出基準を変更することを特徴とする請求項１から８のいずれか１項に記載の路面劣化検出装置。

【請求項10】

撮像部と自車位置情報取得部と地図情報取得部と車線領域抽出部と自車走行車線判定部と検出領域抽出部と路面劣化検出部とを備えた路面劣化検出装置によって路面劣化を検出する路面劣化検出方法であって、
自車に搭載された前記撮像部が、路面を含む画像を取得する撮像ステップと、
前記自車位置情報取得部が、前記自車の位置である自車位置の情報を取得する自車位置情報取得ステップと、
前記地図情報取得部が、前記自車位置を含む領域の地図情報を取得する地図情報取得ステップと、
前記車線領域抽出部が、前記画像から前記路面の車線を区分するレーンマークを検出し、前記レーンマークを用いて前記画像から車線領域画像を抽出する車線領域抽出ステップと、
前記自車走行車線判定部が、前記自車位置および前記地図情報から、あるいは、前記レーンマークから、前記自車が走行する自車走行車線を判定する自車走行車線判定ステップと、
前記検出領域抽出部が、前記車線領域画像から検出領域画像を抽出する検出領域抽出ステップと、
前記路面劣化検出部が、前記検出領域画像から前記路面劣化を検出する路面劣化検出ステップとを含む路面劣化検出方法であり、
前記地図情報は、地図上の位置の属性情報および少なくとも道路の車線数を含む道路情報を含み、
前記検出領域抽出ステップでは、前記自車位置、前記道路情報および前記自車走行車線の情報を用いて前記車線領域画像から前記検出領域画像を抽出し、
前記路面劣化検出ステップでは、前記自車位置および前記属性情報をもとに前記路面劣化を検出するときの検出基準を変更することを特徴とする路面劣化検出方法。

【発明の詳細な説明】

【技術分野】

【0001】

本願は、路面劣化検出装置および路面劣化検出方法に関するものである。

【背景技術】

【0002】

道路、橋梁、施設等の老朽化に伴い、建造物のメンテナンスを効率的に行うことが求められている。建造物のメンテナンスを実施するためには、建造物の不具合を発見する作業が必要になるが、目視での確認では定量的な評価と網羅的な解析は困難である。そのため、機械による自動検出が普及しつつある。自動検出を行う装置として、建造物の表面に沿って移動する移動体に搭載された撮像装置で続けて撮像され、表面を含む領域が撮像された画像を取得する画像取得部と、画像取得部が取得した画像を分割し、画像の一部分である部分画像を複数出力する部分画像生成部と、部分画像生成部が出力した部分画像の各々について、部分画像中の表面に現れた不具合を判定する状態判定部とを備えた情報処理装置が提案されている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】特許第６６４７１７１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に示された情報処理装置では、画像取得部が取得した画像から状態判定部において不具合を判定している。しかしながら、移動体がトンネル内にある場合など、移動体の位置あるいは周囲の状況によって画像データが変化するため、常に精度よく検出を行うことはできないという課題があった。

【0005】

本願は、上述の課題を解決するためになされたものであり、精度よく路面劣化を検出する路面劣化検出装置および路面劣化検出方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

本願に開示される路面劣化検出装置は、自車に搭載され路面を含む画像を取得する撮像部と、自車の位置である自車位置の情報を取得する自車位置情報取得部と、自車位置を含む領域の地図情報を取得する地図情報取得部と、画像から路面の車線を区分するレーンマークを検出し、レーンマークを用いて画像から車線領域画像を抽出する車線領域抽出部と、自車位置および地図情報から、あるいは、レーンマークから、自車が走行する自車走行車線を判定する自車走行車線判定部と、車線領域画像から検出領域画像を抽出する検出領域抽出部と、検出領域画像から路面劣化を検出する路面劣化検出部とを備え、地図情報は、少なくとも道路の車線数を含む道路情報および地図上の位置の属性情報を含み、検出領域抽出部は、自車位置、道路情報および自車走行車線の情報を用いて車線領域画像から検出領域画像を抽出し、路面劣化検出部は、自車位置および属性情報をもとに路面劣化を検出するときの検出基準を変更することを特徴とする。

【発明の効果】

【0007】

本願に開示される路面劣化検出装置は、地図情報は、少なくとも道路の車線数を含む道路情報および地図上の位置の属性情報を含み、検出領域抽出部は、自車位置、道路情報および自車走行車線の情報を用いて車線領域画像から検出領域画像を抽出し、路面劣化検出部は、自車位置および属性情報をもとに路面劣化を検出するときの検出基準を変更するので、精度よく路面劣化を検出することができる。

【図面の簡単な説明】

【0008】

【図1】実施の形態１による路面劣化検出装置の構成を示すブロック図である。

【図2】実施の形態１による路面劣化検出装置の動作を説明するフローチャートである。

【図3】実施の形態１における撮像部を説明するための図である。

【図4】実施の形態１における地図情報取得部における地図情報の取得を説明するための図である。

【図5】実施の形態１における撮像部において取得された画像を示す図である。

【図6】実施の形態１における属性情報を説明するための図である。

【図7】実施の形態１における属性情報とエッジ検出処理の閾値との関係を示す図である。

【図8】実施の形態１におけるエッジ検出処理の閾値を決定方法の別の一例を説明するための図である。

【図9】実施の形態１における検出領域抽出部の動作を説明するための図である。

【図10】実施の形態１における検出領域抽出部の動作を説明するための図である。

【図11】実施の形態１における道路情報と抽出領域画像として抽出するか否かとの関係を示す図である。

【図12】実施の形態１における属性情報と路面劣化を検出対象か否かとの関係を示す図である。

【図13】実施の形態１における検出結果情報送信部におけるデータの送信を説明するための図である。

【図14】実施の形態１における警報判定部および画像生成部の動作を説明するための図である。

【図15】実施の形態１における警報判定部および画像生成部の動作を説明するための図である。

【図16】実施の形態１による路面劣化検出装置のハードウェアの一例を示す模式図である。

【発明を実施するための形態】

【0009】

以下、本願を実施するための実施の形態に係る路面劣化検出装置について、図面を参照して詳細に説明する。なお、各図において同一符号は同一もしくは相当部分を示している。

【0010】

実施の形態１．
図１は、実施の形態１による路面劣化検出装置１００の構成を示すブロック図である。路面劣化検出装置１００は、撮像部１、自車位置情報取得部２、地図情報取得部３、車線領域抽出部４、自車走行車線判定部５、検出領域抽出部６、路面劣化検出部７、検出結果情報送信部８および路面劣化警報部１０を備えている。路面劣化警報部１０は、警報判定部１１および警報発信部１２を備えている。警報発信部１２は、画像生成部１３、画像出力部１４、音声生成部１５、音声出力部１６および振動発生部１７を備えている。

【0011】

撮像部１は、自車に搭載され路面を含む画像を取得する車載カメラである。自車位置情報取得部２は、自車の位置である自車位置の情報を取得するロケータである。地図情報取得部３は、自車位置情報取得部２から取得した自車位置の情報を用いて、地図情報データベースから自車位置を含む自車の周辺の領域の地図情報を取得する。車線領域抽出部４は、自車位置情報取得部２から取得した自車位置の情報と地図情報取得部３から取得した地図情報とを用いて、撮像部１から取得した画像から路面を区分するレーンマークを検出し、レーンマークを用いて撮像部１から取得した画像から車線領域画像を抽出する。自車走行車線判定部５は、自車位置情報取得部２から取得した自車位置情報と地図情報取得部３から取得した地図情報とから、あるいは、車線領域抽出部４から取得したレーンマークから、自車が走行する自車走行車線を判定する。

【0012】

検出領域抽出部６は、自車位置情報取得部２から取得した自車位置の情報と、地図情報取得部３から取得した地図情報と、自車走行車線判定部５から取得した自車走行車線の情報とを用いて、車線領域抽出部４から取得した車線領域画像から検出領域画像を抽出する。路面劣化検出部７は、自車位置情報取得部２から取得した自車位置の情報と、地図情報取得部３から取得した地図情報とを用いて、検出領域抽出部６から取得した検出領域画像から路面劣化を検出する。検出結果情報送信部８は、路面劣化検出部７が検出した路面劣化の情報を、路面劣化検出装置１００の外部に送信する。

【0013】

路面劣化警報部１０は、路面劣化検出部７によって検出された路面劣化の情報および自車走行車線判定部５から取得した自車走行車線の情報をもとに、警報を発信する。警報判定部１１は、路面劣化検出部７によって検出された路面劣化の情報および自車走行車線判定部５から取得した自車走行車線の情報をもとに警報通知レベルを判定し、路面劣化が自車走行車線にあるときに警報通知レベルとして警報信号を出力し、路面劣化が自車走行車線にないときに警報通知レベルとして注意信号を出力する。警報発信部１２は、警報判定部１１から取得した警報通知レベルをもとに警報を発信する。画像生成部１３は、警報判定部１１から取得した警報通知レベルをもとに警報画像を生成する。画像出力部１４は、画像生成部１３から取得した警報画像を表示する。音声生成部１５は、警報判定部１１から取得した警報通知レベルをもとに警報音声を生成する。音声出力部１６は、音声生成部１５から取得した警報音声を出力する。振動発生部１７は、警報判定部１１から取得した警報通知レベルをもとに振動を発生させる。警報発信部１２は、画像生成部１３および画像出力部１４を備えた画像警報発信部と、音声生成部１５および音声出力部１６を備えた音声警報発信部と、振動発生部１７との、少なくとも１つを備えていればよい。

【0014】

次に、実施の形態１による路面劣化検出装置１００の動作について説明する。図２は、実施の形態１による路面劣化検出装置１００の動作を説明するフローチャートである。ステップＳ０１は撮像ステップであり、ステップＳ０２は自車位置情報取得ステップであり、ステップＳ０３は地図情報取得ステップであり、ステップＳ０４およびステップＳ０５は車線領域抽出ステップであり、ステップＳ０６は自車走行車線判定ステップである。ステップＳ０７、ステップＳ０８およびステップＳ０９は、検出領域抽出ステップである。ステップＳ１０およびステップＳ１１は路面劣化検出ステップである。

【0015】

ステップＳ０１では、撮像部１は、路面を含む自車の周辺の画像を取得し、取得した画像を車線領域抽出部４に出力し、ステップＳ０２に進む。図３は、撮像部１を説明するための図である。図３は、自車２００に搭載された撮像部１が、自車２００の前方すなわち自車２００の進行方向を撮影している様子を示している。図３に示す例では、自車２００はレーンマーク２１、２２、２３，２４によって示された３つの車線のうち中央の車線を走行しており、中央の車線に路面劣化３０がある。撮像部１の画角θｃは、例えば１２０度とする。ただし、撮像部１の画角θｃは、１２０度に限るものではない。

【0016】

ステップＳ０２では、自車位置情報取得部２は、自車２００の位置である自車位置の情報を取得し、地図情報取得部３、車線領域抽出部４、自車走行車線判定部５、検出領域抽出部６および路面劣化検出部７に出力し、ステップＳ０３に進む。自車位置情報取得部２は、自車２００に搭載されている。自車位置情報取得部２は、自車位置の情報を取得する高精度ロケータ（ＨＤＬ：Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ Ｌｏｃａｔｏｒ）であり、例えば、位置情報が誤差３０ｃｍ以下のものである。自車位置情報取得部２は、自車２００の緯度および経度の位置情報が正確に観測できるＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信機でもよい。

【0017】

ステップＳ０３では、地図情報取得部３は、ステップＳ０２で得られた自車位置の情報をもとに、自車位置を含む領域の地図情報を取得し、車線領域抽出部４、自車走行車線判定部５、検出領域抽出部６および路面劣化検出部７に出力し、ステップＳ０４に進む。図４は、地図情報取得部３における地図情報の取得を説明するための図である。地図情報取得部３は、インターネット１８を介して地図情報が格納されている地図情報データベース１９へアクセスすることにより、自車位置を含む領域の地図情報を得る。地図情報データベース１９に格納されている地図情報は、地図上に示された位置の属性情報として、一般道、高速道路、サービスエリア、私有地などのどのような場所であるかという情報を含んでいる。また、地図情報取得部３が取得する地図情報は、地図上に示された道路の道路情報を含んでおり、道路情報は、例えば、車線数、車線幅、工事中の車線の情報、渋滞中の車線の情報、中央分離帯の有無の情報である。よって、地図情報取得部３が取得する地図情報は、自車位置の属性情報および自車２００が走行する道路の道路情報を含んでいる。なお、例えば、自車２００に搭載したメモリにあらかじめ地図情報を格納しておき、地図情報取得部３がメモリにアクセスすることによって地図情報を取得するなど、地図情報取得部３が地図情報を取得する方法はどのようなものであっても構わない。

【0018】

ステップＳ０４では、車線領域抽出部４は、ステップＳ０２で得られた自車位置の情報と、ステップＳ０３で得られた地図情報とから、自車２００が走行している道路の車線数を取得し、ステップＳ０５に進む。例えば、図３に示す例においては、ステップＳ０４において車線領域抽出部４において取得される車線数は「３」となる。

【0019】

ステップＳ０５では、車線領域抽出部４は、ステップＳ０４で得られた車線数の情報を用いて、撮像部１において取得された画像から車線領域画像を抽出し、検出領域抽出部６に出力し、ステップＳ０６に進む。図５は、図３に示す例において撮像部１において取得された画像の一部を示す図である。車線領域抽出部４は、撮像部１において取得された図５に示された画像から、画像処理によって路面の車線を区分するレーンマーク２１、２２、２３，２４を検出する。画像処理によってレーンマーク２１、２２、２３，２４を検出するときに、ステップＳ０４において得られた車線数から検出するレーンマークの数の上限値を設定して、レーンマークを検出する。例えば、ステップＳ０４において車線数として「３」が得られたときは、検出するレーンマークの数は最大で「４」となる。レーンマークの検出は、例えば、ソーベル（Ｓｏｂｅｌ）フィルタあるいはキャニー（Ｃａｎｎｙ）フィルタなどによって画像上の各画素の輝度または彩度の勾配情報からエッジを検出するエッジ検出処理を用いる。

【0020】

地図情報は、地図上に示された位置の属性情報として一般道、高速道路、サービスエリア、私有地などのどのような場所であるかという情報を含んでおり、自車位置と地図情報とから自車位置の属性情報を取得することができる。車線領域抽出部４は、ステップＳ０２で得られた自車位置の情報と、ステップＳ０３で得られた地図情報とから、自車位置の属性情報を取得し、自車位置の属性情報に応じてエッジ検出処理の検出基準である２つの閾値を変更する。図６は、地図上に示された位置の属性情報について説明するための図である。図６では、自車２００が一般道６１からトンネル６３を通過し、一般道６２に移動する例を示している。自車２００が一般道６１あるいは一般道６２を走行しているときは自車位置の属性情報は「一般道」となり、自車２００がトンネル６３を走行しているときは自車位置の属性情報は「トンネル」となる。図７は、自車位置の属性情報とエッジ検出処理の検出基準である２つの閾値との関係を示す図である。車線領域抽出部４は、図７に示すテーブルに従って、図６において自車２００が一般道６１あるいは一般道６２を走行しているときはエッジ検出処理の２つの閾値を（６０、１３０）に設定してエッジ検出処理を行い、自車２００がトンネル６３を走行しているときはエッジ検出処理の２つの閾値を（３０、７０）に設定してエッジ検出処理を行う。なお、図７に示した値は一例であり、属性情報とエッジ検出処理の閾値の関係は、エッジ検出処理の２つの閾値は自車位置においてレーンマークが検出しやすい値であればよい。

【0021】

車線領域抽出部４におけるレーンマークの検出は、エッジ検出処理に限るものではなく、機械学習を用いた検出など、レーンマークを検出できる処理であればどのようなものでもよい。例えば、レーンマークの検出に機械学習を用いる場合は、自車位置の属性情報に応じて機械学習の検出基準である教師データを変更する。このように、自車位置の属性情報をもとにレーンマークを検出するときの検出基準を変更することにより、レーンマークをより正確に検出することができ、レーンマークの未検知あるいは誤検知を抑制することができる。その結果、路面劣化をより正確に検出することができる。

【0022】

図８は、車線領域抽出部４においてエッジ検出処理の閾値の決定方法の別の一例を説明するための図である。車線領域抽出部４におけるレーンマークの検出をエッジ検出処理で行うとき、図８に示すように、撮像部１から取得した画像において輝度検出領域５６を設定し、輝度検出領域５６における輝度の平均値を求め、求めた輝度の平均値に応じてエッジ検出処理の２つの閾値を変更してもよい。また、輝度検出領域５６における明度の値あるいは輝度検出領域５６における彩度の値に応じて、エッジ検出処理の２つの閾値を変更してもよい。

【0023】

次に、車線領域抽出部４は、撮像部１において取得された図５に示された画像から、検出されたレーンマーク２１、２２、２３、２４と、上限ライン４１と、下限ライン４２とで囲まれたそれぞれの領域の画像を、車線領域画像５１、５２、５３として抽出し、検出領域抽出部６に出力する。車線領域画像の抽出は、検出されたレーンマーク２１、２２、２３、２４を境として、車線領域画像を切り分けるものとする。上限ライン４１および下限ライン４２はあらかじめ定められたものであり、例えば、上限ライン４１は撮像部１において取得された画像の１／２の高さのラインとし、下限ライン４２は撮像部１において取得された画像の下端のラインとする。上限ライン４１および下限ライン４２は、上記に限るものではなく、高さまたは傾きが変化してもよく、直線でなくてもよく、レーンマーク２１、２２、２３、２４と上限ライン４１と下限ライン４２とで囲まれた領域のそれぞれの画像を車線領域画像として抽出できるものであればよい。複数の車線を１つの領域とするのではなく、例えば、図５に示された３つの車線領域画像５１、５２、５３を区別して抽出することにより、自車位置および地図情報から得られる情報を用いて、それぞれの車線の位置関係、例えば、自車走行車線か否か、対向車線か否かなどを、それぞれの車線において判断することができ、後述の検出領域抽出部６において必要な領域の車線領域画像のみを検出領域画像として抽出することができる。

【0024】

ステップＳ０６では、自車走行車線判定部５は、ステップＳ０２で得られた自車位置およびステップＳ０３で得られた地図情報から、自車２００が走行する自車走行車線を判定し、検出領域抽出部６および警報判定部１１に出力し、ステップＳ０７に進む。地図情報は、道路情報として少なくとも道路の車線数を含んでおり、道路情報として道路の車線幅を含んでいてもよい。地図上の道路上の自車位置と、自車位置の道路の車線数とから、自車２００が走行する自車走行車線を判定することができる。自車走行車線の判定には、自車位置の道路の車線幅の情報を用いてもよい。なお、ステップＳ０５において抽出された車線領域画像が１つのみの場合は、抽出された車線領域画像が示す車線を自車走行車線とする。

【0025】

あるいは、ステップＳ０６では、自車走行車線判定部５は、車線領域抽出部４において検出されたレーンマーク２１、２２、２３、２４の情報を用いて自車２００が走行する自車走行車線を判定してもよい。自車２００の進行方向の路面を撮影した図５に示す例では、図５に示す画像の上下方向に対するレーンマーク２１、２２、２３、２４のそれぞれの傾きをθ１、θ２、θ３、θ４とすると、レーンマーク２１、２２は正の傾きを持っておりレーンマーク２３、２４は負の傾きを持っているといえる。このときに、正の勾配を持ったレーンマーク２２と負の勾配を持ったレーンマーク２３に挟まれた車線領域画像５２の車線を、自車両走行車線と判定する。このように、ステップＳ０６では、自車走行車線判定部５は、車線領域抽出部４において検出されたレーンマーク２１、２２、２３、２４のそれぞれの傾きの違いから、自車走行車線を判定してもよい。なお、ステップＳ０５において検出されたレーンマークが２つであり、抽出された車線領域画像が１つのみの場合は、抽出された車線領域画像の車線を自車走行車線とする。

【0026】

ステップＳ０７では、検出領域抽出部６は、ステップＳ０２で得られた自車位置と、ステップＳ０３で得られた地図情報と、ステップＳ０６で得られた自車走行車線の情報とを用いて、ステップＳ０５で得られた車線領域画像から検出領域画像を抽出し、ステップＳ０８に進む。ステップＳ０３で得られた地図情報は、自車２００が走行する道路の道路情報を含んでいる。よって、ステップＳ０７では、検出領域抽出部６は、自車位置と地図情報に含まれる道路情報とから自車２００が走行する道路の道路情報を取得し、自車２００が走行する道路の道路情報を用いて検出領域画像を抽出する。

【0027】

図９は、実施の形態１における検出領域抽出部６の動作を説明するための図である。図９は、ステップＳ０５において車線領域画像５１、５２、５３ａの３つの車線領域画像が抽出され、ステップＳ０６において車線領域画像５２の車線が自車走行車線と判定された例を示している。検出領域抽出部６は、例えば、自車２００が走行する道路の道路情報として車線領域画像５３ａの車線が工事中であるという情報を取得した場合、車線領域画像５１および車線領域画像５２を検出領域画像として抽出し、車線領域画像５３ａは検出領域画像としては抽出しない。図１０は、実施の形態１における検出領域抽出部６の動作を説明するための別の一例を示した図である。図１０は、ステップＳ０５においてレーンマーク２１、２２、２３、２５、２６から車線領域画像５１、５２、５４、５５の４つの画像が抽出され、ステップＳ０６において車線領域画像５２の車線が自車走行車線と判定された例を示している。検出領域抽出部６は、例えば、自車２００が走行する道路の道路情報として、自車２００が走行する道路の中央に中央分離帯２７が敷設されているという情報を取得した場合、車線領域画像５１および車線領域画像５２を検出領域画像として抽出し、対向車線に位置する車線領域画像５４および車線領域画像５５は検出領域画像としては抽出しない。

【0028】

図１１は、車線の道路情報と抽出領域画像として抽出するか否かとの関係を示す図である。例えば、図１１に示すテーブルをあらかじめ記憶しておき、検出領域抽出部６は、車線の道路情報と図１１に示すテーブルとから、それぞれの車線領域画像を検出領域画像として抽出するかどうかを判断する。図１１に示す例では、車線の道路情報が「中央分離帯がないときの対向車線」の場合は検出領域画像として抽出し、車線の道路情報が「工事中」の場合は検出領域画像として抽出しない。なお、検出領域抽出部６は、自車２００の周辺の敷設物あるいは標識に応じて車線領域画像から検出領域画像を抽出してもよい。このように、自車位置、道路情報および自車走行車線の情報を用いて車線領域画像から検出領域画像を抽出することにより、路面劣化を検出する必要のない車線領域画像を路面劣化の検出対象から除外することができ、路面劣化の誤検出を減らすことができるとともに、路面劣化の検出の処理を少なくすることができる。

【0029】

ステップＳ０８では、検出領域抽出部６は、検出領域画像が抽出されたかどうかを確認し、検出領域画像が抽出されたときはステップＳ０９に進み、検出領域画像が抽出されなかったときはステップＳ０１に戻る。ステップＳ０９では、検出領域抽出部６は、ステップＳ０２で得られた自車位置の情報と、ステップＳ０３で得られた地図情報に含まれる属性情報とから、自車位置は路面劣化の検出対象か否かを判断する。自車位置が路面劣化の検出対象であると判断されたときは、検出領域画像を路面劣化検出部７に出力し、ステップＳ１０に進む。自車位置が路面劣化の検出対象ではないと判断されたときは、ステップＳ０１に戻る。図１２は、自車位置の属性情報と路面劣化の検出対象か否かとの関係を示す図である。例えば、図１２に示すテーブルをあらかじめ記憶しておき、検出領域抽出部６は、自車位置の属性情報と図１２に示すテーブルとから自車位置は路面劣化の検出対象か否かを判断する。図１２に示す例では、自車位置の属性情報が「一般道」の場合は路面劣化の検出対象であると判断し、自車位置の属性情報が「サービスエリア」の場合は路面劣化の検出対象ではないと判断する。

【0030】

ステップＳ１０では、路面劣化検出部７は、検出領域抽出部６から出力された検出領域画像から路面劣化を検出し、ステップＳ１１に進む。例えば、検出領域抽出部６から図５の車線領域画像５２が検出領域画像として出力されたときは、路面劣化検出部７は、車線領域画像５２から路面劣化３０を検出する。図５では、路面劣化３０をひび割れとして示しているが、検出する路面劣化はひび割れに限るものではなく、穴、轍など、路面に現れた不具合であればどのようのものでも構わない。また、路面劣化検出部７が検出する対象は、路面劣化だけでなく、路面上の落下物、道路外からはみ出した倒れ枝など、走行に悪影響があり修繕する必要があるものを対象としてもよい。

【0031】

路面劣化３０の検出は、例えば、ソーベル（Ｓｏｂｅｌ）フィルタあるいはキャニー（Ｃａｎｎｙ）フィルタなどによって画像上の各画素の輝度または彩度の勾配情報からエッジを検出するエッジ検出処理を用いる。路面劣化検出部７は、例えば、キャニー（Ｃａｎｎｙ）フィルタによってエッジ検出処理を行う。路面劣化検出部７は、ステップＳ０２で得られた自車位置の情報と、ステップＳ０３で得られた地図情報とから、自車位置の属性情報を取得し、自車位置の属性情報に応じてエッジ検出処理の検出基準である２つの閾値を変更する。路面劣化検出部７は、例えば、車線領域抽出部４と同様に、図７に示すテーブルに従って、自車位置の属性情報に応じてエッジ検出処理の検出基準である２つの閾値を変更する。なお、図７に示した値は一例であり、属性情報とエッジ検出処理の閾値の関係は、エッジ検出処理の２つの閾値は自車位置において路面劣化３０が検出しやすい値であればよい。

【0032】

路面劣化検出部７における路面劣化３０の検出は、エッジ検出処理に限るものではなく、機械学習を用いた検出など、路面劣化３０を検出できる処理であればどのようなものでもよい。例えば、路面劣化３０の検出に機械学習を用いる場合は、自車位置の属性情報に応じて機械学習の検出基準である教師データを変更する。このように、自車位置の属性情報をもとに路面劣化３０を検出するときの検出基準を変更することにより、路面劣化３０をより正確に検出することができ、路面劣化の未検知あるいは誤検知を抑制することができる。

【0033】

路面劣化検出部７は、車線領域抽出部４と同様に、図８に示すように検出領域画像において輝度検出領域５６を設定し、輝度検出領域５６における輝度の平均値を求め、求めた輝度の平均値に応じてエッジ検出処理の２つの閾値を変更してもよい。また、輝度検出領域５６における明度の値あるいは輝度検出領域５６における彩度の値に応じて、エッジ検出処理の２つの閾値を変更してもよい。

【0034】

ステップＳ１１では、路面劣化検出部７は、路面劣化３０が検出されたかどうかを確認する。路面劣化３０が検出されたときは、検出された路面劣化の情報を検出結果情報送信部８および警報判定部１１に出力し、ステップＳ１２に進む。路面劣化３０が検出されなかったときは、ステップＳ０１に戻る。

【0035】

ステップＳ１２では、検出結果情報送信部８は、路面劣化検出部７から取得した検出された路面劣化の情報に路面劣化を検出したときの自車位置の情報を付加したデータを、路面劣化検出装置１００の外部に送信する。送信先は、例えば、路面劣化情報データベースである。図１３は、検出結果情報送信部８におけるデータの送信を説明するための図である。検出結果情報送信部８は、例えば、インターネット１８を介してデータを路面劣化情報データベース２０に送信する。検出結果情報送信部８は、路面劣化検出部７から取得した検出された路面劣化の情報に、路面劣化を検出したときの自車位置の情報を付加したデータを、クラウドに送信してもよい。検出結果情報送信部８によって検出された路面劣化の情報を路面劣化情報データベース２０あるいはクラウドに送信することにより、路面劣化情報データベース２０あるいはクラウドにおいて複数の車両からの路面劣化の情報をまとめて解析することができ、より信頼性の高い路面劣化の情報を得ることができる。

【0036】

以下においては、警報発信部１２が、画像生成部１３および画像出力部１４を備えた画像警報発信部と、音声生成部１５および音声出力部１６を備えた音声警報発信部と、振動発生部１７とを備えた場合の動作について説明する。ステップＳ１３では、警報判定部１１は、ステップＳ０６で得られた自車走行車線の情報およびステップＳ１０で得られた路面劣化の情報から、警報通知レベルを判定して画像生成部１３、音声生成部１５および振動発生部１７に出力し、ステップＳ１４に進む。図１４は、警報判定部１１および画像生成部１３の動作を説明するための図である。図１４は、車線領域画像５２の車線が自車走行車線であり、路面劣化３１が自車走行車線の外側で検出された例を示している。警報判定部１１は、路面劣化３１の画像上の位置を示すバウンディングボックス３３が自車走行車線である車線領域画像５２の領域に重なっていない場合は、警報通知レベルとして注意信号を画像生成部１３、音声生成部１５および振動発生部１７に出力する。図１５は、警報判定部１１および画像生成部１３の動作を説明するための別の図である。図１５は、車線領域画像５２の車線が自車走行車線であり、路面劣化３２が自車走行車線の中で検出された例を示している。警報判定部１１は、路面劣化３２の画像上の位置を示すバウンディングボックス３４が自車走行車線である車線領域画像５２の領域に一部でも重なっている場合は、警報通知レベルとして警報信号を画像生成部１３、音声生成部１５および振動発生部１７に出力する。

【0037】

警報判定部１１は、警報通知レベルを警報信号のみとして、警報判定部１１は、路面劣化３２の画像上の位置を示すバウンディングボックス３４が自車走行車線である車線領域画像５２の領域に一部でも重なっている場合は、すなわち、路面劣化３２が自車走行車線である車線領域画像５２にあるときに、警報通知レベルとして警報信号を画像生成部１３、音声生成部１５および振動発生部１７に出力してもよい。警報判定部１１は、路面劣化が検出されたときに常に警報信号を出力するのではなく、路面劣化が自車走行車線にあるときに警報信号を出力するので、ドライバーに不要な緊張を与えることが無い。

【0038】

ステップＳ１４では、画像生成部１３は、警報判定部１１から取得した警報通知レベルをもとに警報画像を作成して画像出力部１４に出力し、ステップＳ１５に進む。図１４に示す例では、画像生成部１３は、警報判定部１１から注意信号を受け取り、路面劣化３１が自車走行車線の外側で検出されたことを示す警報画像７１を生成し、警報画像７１を画像出力部１４に出力する。あるいは、画像生成部１３は、警報判定部１１から注意信号を受け取り、路面劣化３１が自車走行車線の外側で検出されたことを示す警報画像７１を生成し、警報画像７１に撮像部１から取得した画像を重畳して図１４に示すような警報画像を生成して、画像出力部１４に出力してもよい。図１５に示す例では、画像生成部１３は、警報判定部１１から警報信号を受け取り、路面劣化３１が自車走行車線に検出されたことを示す警報画像７２を生成し、警報画像７２を画像出力部１４に出力する。あるいは、画像生成部１３は、警報判定部１１から警報信号を受け取り、路面劣化３１が自車走行車線に検出されたことを示す警報画像７２を生成し、警報画像に撮像部１から取得した画像を重畳して図１５に示すような警報画像を生成して、画像出力部１４に出力してもよい。なお、警報画像７１，７２は、図１４および図１５に示したものに限るものではなく、警報を認識できるものであればどのようなものでも構わない。ステップＳ１５では、画像出力部１４は、ステップＳ１４において生成された警報画像を表示し、ステップＳ１６に進む。これにより、自車２００を運転するドライバーは、警報画像を確認することにより、自車２００の周辺に路面劣化が検出されたことを認識することができる。

【0039】

ステップＳ１６では、音声生成部１５は、警報判定部１１から警報判定部１１から取得した警報通知レベルをもとに自車２００の周辺に路面劣化が検出されたことを伝える音声信号を生成し、音声出力部１６に出力し、ステップＳ１７に進む。音声生成部１５は、例えば、警報信号を受け取ったときに音声信号を生成し音声出力部１６に出力し、注意信号を受け取ったときには音声信号は生成しないようにしてもよい。音声生成部１５は、警報信号を受け取ったときと注意信号を受け取ったときで、異なる音声信号を生成してもよい。ステップＳ１７では、音声出力部１６は、音声生成部１５において生成された音声信号を音として出力して、ステップＳ１８に進む。これにより、自車２００を運転するドライバーは、音声出力部１６から発せられる音を確認することにより、自車２００の周辺に路面劣化が検出されたことを認識することができる。

【0040】

ステップＳ１８では、振動発生部１７は、警報判定部１１から取得した警報通知レベルをもとに振動を発生させることにより自車２００の周辺に路面劣化が検出されたことを自車２００のドライバーに伝え、処理を終了する。振動発生部１７は、例えば、ドライバーのシートあるいはハンドルに振動を発生させるものである。振動によって路面劣化が検出されたことをドライバーに知らせるものであればどのようなものでもよい。振動発生部１７は、例えば、警報信号を受け取ったときに振動を発生させ、注意信号を受け取ったときには振動を発生させないようにしてもよい。振動発生部１７は、警報信号を受け取ったときと注意信号を受け取ったときで、異なる振動を発生させてもよい。これにより、自車２００を運転するドライバーは、振動発生部１７から発せられる振動を確認することにより、自車２００の周辺に路面劣化が検出されたことを認識することができる。

【0041】

なお、路面劣化検出装置の作動中は、図２に示すステップＳ０１からステップＳ１８の処理が繰り返し行われる。

【0042】

以上のように、実施の形態１による路面劣化検出装置１００は、自車２００に搭載され路面を含む画像を取得する撮像部１と、自車２００の位置である自車位置の情報を取得する自車位置情報取得部２と、自車位置を含む領域の地図情報を取得する地図情報取得部３と、画像から路面の車線を区分するレーンマークを検出し、レーンマークを用いて画像から車線領域画像を抽出する車線領域抽出部４と、自車位置および地図情報から、あるいは、レーンマークから、自車２００が走行する自車走行車線を判定する自車走行車線判定部５と、車線領域画像から検出領域画像を抽出する検出領域抽出部６と、検出領域画像から路面劣化を検出する路面劣化検出部７とを備え、地図情報は、少なくとも道路の車線数を含む道路情報および地図上の位置の属性情報を含み、検出領域抽出部６は、自車位置、道路情報および自車走行車線の情報を用いて車線領域画像から検出領域画像を抽出し、路面劣化検出部７は、自車位置および属性情報をもとに路面劣化を検出するときの検出基準を変更するので、精度よく路面劣化を検出することができる。

【0043】

また実施の形態１による路面劣化検出装置１００は、精度よく路面劣化を検出することができるので、検出された路面劣化の情報を路面劣化情報データベース２０に送信するときに、路面劣化の誤検出による送信データの増大を抑制することができる。また、敷設物の管理者または修繕者は、より信頼度の高いデータが蓄積された路面劣化情報データベース２０を利用することができる。

【0044】

図１６は、実施の形態１における路面劣化検出装置１００のハードウェアの一例を示す模式図である。撮像部１はカメラ３０３であり、自車位置情報取得部２はロケータ３０４であり、地図情報取得部３は送受信機３０５であり、検出結果情報送信部８は送信機３０６であり、画像出力部１４はディスプレイ３０７であり、音声出力部１６はスピーカ３０８であり、振動発生部１７は振動器３０９である。車線領域抽出部４、自車走行車線判定部５、検出領域抽出部６、路面劣化検出部７、警報判定部１１、画像生成部１３および音声生成部１５は、メモリ３０２に記憶されたプログラムを実行するＣＰＵ、システムＬＳＩ等のプロセッサ３０１により実現される。また、複数の処理回路が連携して上記機能を実行してもよい。さらに、専用のハードウェアによって上記機能を実現してもよい。専用のハードウェアによって上記機能を実現する場合は、専用のハードウェアは、例えば、単一回路、複合回路、プログラム化されたプロセッサ、ＡＳＩＣ、ＦＰＧＡ、あるいは、これらを組み合わせたものである。上記機能は、専用ハードウェアとソフトウェアとの組み合わせ、あるいは、専用ハードウェアとファームウェアとの組み合わせによって実現してもよい。プロセッサ３０１、メモリ３０２、カメラ３０３、ロケータ３０４、送受信機３０５、送信機３０６、ディスプレイ３０７、スピーカ３０８および振動器３０９は、互いにバス接続されている。

【0045】

本願は、例示的な実施の形態が記載されているが、実施の形態に記載された様々な特徴、態様、および機能は特定の実施の形態の適用に限られるのではなく、単独で、または様々な組み合わせで実施の形態に適用可能である。
したがって、例示されていない無数の変形例が、本願に開示される技術の範囲内において想定される。例えば、少なくとも１つの構成要素を変形する場合、追加する場合または省略する場合が含まれるものとする。

【符号の説明】

【0046】

１ 撮像部、２ 自車位置情報取得部、３ 地図情報取得部、４ 車線領域抽出部、５ 自車走行車線判定部、６ 検出領域抽出部、７ 路面劣化検出部、８ 検出結果情報送信部、１０ 路面劣化警報部、１１ 警報判定部、１２ 警報発信部、１３ 画像生成部、１４ 画像出力部、１５ 音声生成部、１６ 音声出力部、１７ 振動発生部、１８ インターネット、１９ 地図情報データベース、２０ 路面劣化情報データベース、２１、２２、２３、２４、２５、２６ レーンマーク、２７ 中央分離帯、３０、３１、３２ 路面劣化、３３、３４ バウンディングボックス、４１ 上限ライン、４２ 下限ライン、５１、５２、５３、５３ａ、５４、５５ 車線領域画像、５６ 輝度検出領域、６１、６２ 一般道、６３ トンネル、７１、７２ 警報画像、１００ 路面劣化検出装置、２００ 自車、３０１ プロセッサ、３０２ メモリ、３０３ カメラ、３０４ ロケータ、３０５ 送受信機、３０６ 送信機、３０７ ディスプレイ、３０８ スピーカ、３０９ 振動器。

【要約】

【課題】精度よく路面劣化を検出する路面劣化検出装置を提供する。
【解決手段】画像を取得する撮像部１と、自車位置の情報を取得する自車位置情報取得部２と、少なくとも道路の車線数を含む道路情報および地図上の位置の属性情報を含む地図情報を取得する地図情報取得部３と、画像から車線領域画像を抽出する車線領域抽出部４と、自車位置および地図情報から自車走行車線を判定する自車走行車線判定部５と、自車位置、道路情報および自車走行車線の情報を用いて車線領域画像から検出領域画像を抽出する検出領域抽出部６と、検出領域画像から路面劣化を検出する路面劣化検出部７とを備え、路面劣化検出部７は、自車位置および属性情報をもとに路面劣化を検出するときの検出基準を変更する。
【選択図】図１

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】