特開 2024-128798 路上物体検出システム及び路上物体検出方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024128798

(43)【公開日】2024-09-24

(54)【発明の名称】路上物体検出システム及び路上物体検出方法

(51)【国際特許分類】

   B60W 40/06 20120101AFI20240913BHJP

   E01C 23/01 20060101ALI20240913BHJP

   B60W 40/04 20060101ALI20240913BHJP

   B60W 30/00 20060101ALI20240913BHJP

   G08G 1/00 20060101ALI20240913BHJP

   G08G 1/16 20060101ALI20240913BHJP

【ＦＩ】

B60W40/06

E01C23/01

B60W40/04

B60W30/00

G08G1/00 J

G08G1/16 C

【審査請求】未請求

【請求項の数】4

【出願形態】ＯＬ

(21)【出願番号】P 2023038012

(22)【出願日】2023-03-10

(71)【出願人】

【識別番号】000006286

【氏名又は名称】三菱自動車工業株式会社

(74)【代理人】

【識別番号】110000785

【氏名又は名称】ＳＳＩＰ弁理士法人

(72)【発明者】

【氏名】谷川 颯

【テーマコード（参考）】

2D053

3D241

5H181

【Ｆターム（参考）】

2D053AA32

2D053AD01

2D053AD03

2D053FA02

3D241CE05

3D241DC41Z

3D241DC46Z

5H181AA01

5H181BB04

5H181BB20

5H181CC04

5H181EE13

5H181FF10

5H181LL01

5H181LL02

5H181LL09

5H181LL16

5H181MC04

5H181MC19

(57)【要約】

【課題】車両が走行する道路の舗装の種類、道路の材質、及び道路の路面状態によって、検出対象又は検出結果をフィルタリングすることができる、路上物体検出システムを提供する。
【解決手段】路上物体検出システムは、車両に搭載された撮像装置と、制御装置と、を備えた路上物体検出システムであって、前記制御装置は、前記撮像装置が撮像した画像から、前記車両が走行する道路の舗装の種類、前記道路の材質、及び前記道路の路面状態の少なくとも一つを判定する路面状態判定部と、前記画像から、前記道路の損傷、及び前記道路上の物体を検出する路上物体検出部と、前記路面状態判定部の判定結果に基づいて前記路上物体検出部の検出条件を決定する検出条件決定部と、前記検出条件に基づいて前記路上物体検出部の検出対象又は検出結果をフィルタリングするフィルタリング部と、を備える。
【選択図】 図１

【特許請求の範囲】

【請求項1】

車両に搭載された撮像装置と、制御装置と、を備えた路上物体検出システムであって、
前記制御装置は、
前記撮像装置が撮像した画像から、前記車両が走行する道路の舗装の種類、前記道路の材質、及び前記道路の路面状態の少なくとも一つを判定する路面状態判定部と、
前記画像から、前記道路の損傷、及び前記道路上の物体を検出する路上物体検出部と、
前記路面状態判定部の判定結果に基づいて前記路上物体検出部の検出条件を決定する検出条件決定部と、
前記検出条件に基づいて前記路上物体検出部の検出対象又は検出結果をフィルタリングするフィルタリング部と、
を備えた路上物体検出システム。

【請求項2】

前記フィルタリング部は、前記検出条件に適合する、前記道路の損傷、及び前記道路上の物体を前記検出対象とする物体検出実施判定部を有する、
請求項１に記載の路上物体検出システム。

【請求項3】

前記フィルタリング部は、前記検出条件に適合する、前記道路の損傷、及び前記道路上の物体を前記検出結果とする検出物体フィルタリング部を有する、
請求項１又は２に記載の路上物体検出システム。

【請求項4】

撮像装置が撮像した画像から、車両が走行する道路の舗装の種類、前記道路の材質、及び前記道路の路面状態の少なくとも一つを判定する路面状態判定ステップと、
前記画像から、前記道路の損傷、及び前記道路上の物体を検出する路上物体検出ステップと、
前記路面状態判定ステップの判定結果に基づいて前記路上物体検出ステップの検出条件を決定する検出条件決定ステップと、
前記検出条件に基づいて前記路上物体検出ステップの検出対象又は検出結果をフィルタリングするフィルタリングステップと、
を備えた路上物体検出方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、路上物体検出システム及び路上物体検出方法に関する。

【背景技術】

【0002】

車両の走行する路面を撮像する撮像装置と、撮像装置により撮像された画像に基づいて車両の走行する路面の状態の種類を認識する手段にして、画像の路面の状態の種類が複数の路面の状態の種類の各々である可能性の高さを表わす指標値を算し、指標値の最も大きい種類を画像の路面の状態の種類として認識する路面状態判定装置とを備えた車両の路面状態検出システムが公知である（例えば、特許文献１を参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２２－１３１０３９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に開示された路面状態検出システムでは、車両が走行する道路の損傷、及び道路上の物体を検出することができない。一方、路上物体検出システムでは、車両が走行する道路の損傷、及び道路上の物体を検出することができるが、路面の状態によっては検出することができない、道路の損傷や道路上の物体を誤って検出することがある。

【0005】

上述の事情に鑑みて、本発明の少なくとも一実施形態は、車両が走行する道路の舗装の種類、道路の材質、及び道路の路面状態によって、検出対象又は検出結果をフィルタリングすることができる、路上物体検出システム及び路上物体検出方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

（１）本発明の少なくとも一実施形態に係る路上物体検出システムは、車両に搭載された撮像装置と、制御装置と、を備えた路上物体検出システムであって、前記制御装置は、前記撮像装置が撮像した画像から、前記車両が走行する道路の舗装の種類、前記道路の材質、及び前記道路の路面状態の少なくとも一つを判定する路面状態判定部と、前記画像から、前記道路の損傷、及び前記道路上の物体を検出する路上物体検出部と、前記路面状態判定部の判定結果に基づいて前記路上物体検出部の検出条件を決定する検出条件決定部と、前記検出条件に基づいて前記路上物体検出部の検出対象又は検出結果をフィルタリングするフィルタリング部と、を備える。

【0007】

上記（１）の構成によれば、路面状態判定部の判定結果に基づいて路上物体検出部の検出条件を決定し、検出条件に基づいて路上物体検出部の検出対象又は検出結果をフィルタリングするので、車両が走行する道路の舗装の種類、道路の材質、及び道路の路面状態によって、検出対象又は検出結果をフィルタリングすることができる。

【0008】

（２）幾つかの実施形態では、上記（１）の構成において、前記フィルタリング部は、前記検出条件に適合する、前記道路の損傷、及び前記道路上の物体を前記検出対象とする物体検出実施判定部を有する。

【0009】

上記（２）の構成によれば、検出条件に適合する、道路の損傷、及び道路上の物体を検出対象とするので、車両が走行する道路の舗装の種類、道路の材質、及び道路の路面状態に適合する、道路の損傷、及び道路上の物体を検出対象とすることができる。

【0010】

（３）幾つかの実施形態では、上記（１）又は（２）の構成において、前記フィルタリング部は、前記検出条件に適合する、前記道路の損傷、及び前記道路上の物体を前記検出結果とする検出物体フィルタリング部を有する。

【0011】

上記（３）の構成によれば、検出条件に適合する、道路の損傷、及び道路上の物体を検出結果とするので、車両が走行する道路の舗装の種類、道路の材質、及び道路の路面状態に適合する、道路の損傷、及び道路上の物体を検出結果とすることができる。

【0012】

（４）本発明の少なくとも一実施形態に係る路上物体検出方法は、撮像装置が撮像した画像から、車両が走行する道路の舗装の種類、前記道路の材質、及び前記道路の路面状態の少なくとも一つを判定する路面状態判定ステップと、前記画像から、前記道路の損傷、及び前記道路上の物体を検出する路上物体検出ステップと、前記路面状態判定ステップの判定結果に基づいて前記路上物体検出ステップの検出条件を決定する検出条件決定ステップと、前記検出条件に基づいて前記路上物体検出ステップの検出対象又は検出結果をフィルタリングするフィルタリングステップと、を備える。

【0013】

上記（４）の方法によれば、路面状態判定部の判定結果に基づいて路上物体検出部の検出条件を決定し、検出条件に基づいて路上物体検出ステップの検出対象又は検出結果をフィルタリングするので、車両が走行する道路の舗装の種類、道路の材質、及び道路の路面状態によって、検出対象又は検出結果をフィルタリングすることができる。

【発明の効果】

【0014】

本発明の少なくとも一実施形態によれば、車両が走行する道路の舗装の種類、道路の材質、及び道路の路面状態によって、検出対象又は検出結果をフィルタリングすることができる。

【図面の簡単な説明】

【0015】

【図1】実施形態１に係る路上物体検出システムの構成を概略的に示すブロック図である。

【図2】車両が走行する道路の舗装の種類、道路の材質、及び道路の路面状態と検出可能な道路の損傷、及び道路上の物体を示す図である。

【図3】図１に示した路上物体検出システムの処理内容を概略的に示すフローチャートである。

【図4】実施形態２に係る路上物体検出システムの構成を概略的に示すブロック図である。

【図5】図４に示した路上物体検出システムの処理内容を概略的に示すフローチャートである。

【発明を実施するための形態】

【0016】

以下、添付図面を参照して本発明の幾つかの実施形態について説明する。ただし、実施形態として記載されている又は図面に示されている構成部品の寸法、材質、形状、その相対的配置等は、本発明の範囲をこれに限定する趣旨ではなく、単なる説明例にすぎない。例えば、「ある方向に」、「ある方向に沿って」、「平行」、「直交」、「中心」、「同心」或いは「同軸」等の相対的或いは絶対的な配置を表す表現は、厳密にそのような配置を表すのみならず、公差、若しくは、同じ機能が得られる程度の角度や距離をもって相対的に変位している状態も表すものとする。また、例えば、四角形状や円筒形状等の形状を表す表現は、幾何学的に厳密な意味での四角形状や円筒形状等の形状を表すのみならず、同じ効果が得られる範囲で、凹凸部や面取り部等を含む形状も表すものとする。一方、一の構成要素を「備える」、「具える」、「具備する」、「含む」、又は、「有する」という表現は、他の構成要素の存在を除外する排他的な表現ではない。

【0017】

［実施形態１］
［路上物体検出システムの構成］
図１は、実施形態１に係る路上物体検出システム１の構成を概略的に示すブロック図である。図１に示すように、実施形態１に係る路上物体検出システム１は、車両に搭載された撮像装置１０と、制御装置１２と、を備えた路上物体検出システムである。

【0018】

撮像装置１０は、例えば、先進運転支援システム（ＡＤＡＳ（Ａｄｖａｎｃｅｄ Ｄｒｉｖｅｒ－Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍｓ））用のカメラ、又は、駐車支援に用いられるサラウンドビューモニタ用のカメラである。制御装置１２は、演算装置、命令や情報を格納するレジスタ、及び周辺回路等から構成されるプロセッサ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｅｓｓ Ｍｅｍｏｒｙ）等のメモリ、及び入力インタフェースによって構成される。

【0019】

制御装置１２は、路面状態判定部１４、路上物体検出部１６、検出条件決定部１８、及びフィルタリング部２０を備えている。

【0020】

路面状態判定部１４は、撮像装置１０が撮像した画像から、車両が走行する道路の舗装の種類、道路の材質、及び道路の路面状態の少なくとも一つを判定する部分である。路面状態判定部１４には、例えば、画像取得部２２によって撮像装置１０から取得され、画像処理部２４において切り出され、縮小、拡大又は色変換された画像が入力される。路面状態判定部１４は、例えば、機械学習（特に、畳み込みニューラルネットワーク（ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ））を用いて事前に学習された推論モデルを用いて、車両が走行する道路の舗装の種類、道路の材質、及び道路の路面状態の少なくとも一つを判定する。道路の舗装の種類には、例えば、アスファルト、コンクリート、及びタイルがあり、道路の材質には、例えば、土、砂利、砂、木材があるが、これらに限られるものではない。道路の路面状態には、例えば、路面が水で覆われた状態、及び路面が雪で覆われた状態がある。

【0021】

路上物体検出部１６は、撮像装置１０が撮像した画像から、車両が走行する道路の損傷、及び道路上の物体を検出する部分である。路上物体検出部１６には、路面状態判定部１４と同じように、例えば、画像取得部２２によって撮像装置１０から取得され、画像処理部２４において切り出され、縮小、拡大又は色変換された画像が入力される。路上物体検出部１６は、路面状態判定部１４と同じように、例えば、機械学習（特に、ＣＮＮ）を用いて事前に学習された推論モデルを用いて、車両が走行する道路の損傷、及び道路上の物体を検出する。道路の損傷には、例えば、アスファルト舗装の表面の一部に発生する穴（ポットホール）があり、道路上の物体には、例えば、道路の一部を隆起させ、通過する車両に上下動の振動を及ぼすことで運転者に減速を促す構造物（スピードバンプ）、人、及び自動車があるが、これらに限られるものではない。

【0022】

検出条件決定部１８は、路面状態判定部１４の判定結果に基づいて路上物体検出部１６の検出条件を決定する部分である。路面状態判定部１４の判定結果は、上述したように、車両が走行する道路の舗装の種類、道路の材質、及び道路の路面状態の少なくとも一つであり、路上物体検出部１６の検出条件は、路面状態判定部１４の判定結果によって検出する道路の損傷、及び道路上の物体を限定することである。路面状態の判定結果によって検出する道路の損傷、及び道路上の物体は、道路の舗装の種類、道路の材質、及び道路の路面状態のそれぞれについて予め定められる。

【0023】

例えば、図２に示すように、舗装の種類がタイルの場合には、ポットホールを検出することができないので、路面状態判定部１４が「道路の舗装がタイル舗装である」と判定した場合には、ポットホールが排除され、ポットホール以外の道路の損傷、及び道路上の物体に限定される。例えば、図２に示す例では、検出条件が、スピードバンプ、人、及び自動車に限定される。同じように、道路の材質が土の場合には、ポットホールやスピードバンプが存在しないので、路面状態判定部１４が「道路の材質が土である」と判定した場合には、ポットホール及びスピードバンプが排除され、ポットホール以外の道路の損傷、及びスピードバンプ以外の道路上の物体に限定される。例えば、図２に示す例では、検出条件が人と自動車に限定される。同じように、路面が雪で覆われている場合には、ポットホール及びスピードバンプの検出は誤検出の可能性が高いので、路面状態判定部１４が「路面が雪で覆われている」と判定した場合には、ポットホール及びスピードバンプが排除され、ポットホール以外の道路の損傷、及びスピードバンプ以外の道路上の物体に限定される。例えば、図２に示す例では、検出条件が人と自動車に限定される。

【0024】

フィルタリング部２０は、検出条件に基づいて路上物体検出部１６の検出対象をフィルタリングする部分である。フィルタリング部２０は、検出条件に適合する、道路の損傷、及び道路上の物体を検出対象とする物体検出実施判定部２６を有している。

【0025】

したがって、上述した例では、路面状態判定部１４が「道路の舗装がタイル舗装である」と判定した場合には、路上物体検出部１６の検出対象からポットホールが排除され、ポットホール以外の道路の損傷、及び道路上の物体が検出対象となる。同じように、路面状態判定部１４が「道路の材質が土である」と判定した場合には、路上物体検出部１６の検出対象からポットホール及びスピードバンプが排除され、ポットホール以外の道路の損傷、及びスピードバンプ以外の道路上の物体が検出対象となる。同じように、路面状態判定部１４が「路面が雪で覆われている」と判定した場合には、路上物体検出部１６の検出対象からポットホール及びスピードバンプが排除され、ポットホール以外の道路の損傷、及びスピードバンプ以外の道路上の物体が検出対象となる。

【0026】

路上物体検出部１６で検出された道路の損傷、及び道路上の物体の情報は、通信制御部２８によって通信装置３０からこの路上物体検出システム１を管理するサーバ（図示せず）に送信される。尚、通信装置３０は、例えば、車両に搭載された４Ｇモデム、５Ｇモデム、ＷｉＦｉモデム、又はＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）経由で接続されたスマートフォンであるが、これに限定されるものではない。

【0027】

［路上物体検出方法］
図３は、図１に示した路上物体検出システム１の処理内容（路上物体検出方法）を示すフローチャートである。図３に示すように、実施形態１に係る路上物体検出システム１では、路面状態判定ステップ（ステップＳ１３）、検出条件決定ステップ（ステップＳ１４）、フィルタリングステップ（ステップＳ１５）、及び路上物体検出ステップ（ステップＳ１６）を実行する。

【0028】

路面状態判定ステップ（ステップＳ１３）では、撮像装置１０が撮像した画像から、車両が走行する道路の舗装の種類、道路の材質、及び道路の路面状態の少なくとも一つを判定する。路面状態判定ステップ（ステップＳ１３）では、画像取得ステップ（ステップＳ１１）において撮像装置１０から取得され、画像処理ステップ（ステップＳ１２）において切り出され、縮小、拡大又は色変換された画像が用いられる。路面状態判定ステップ（ステップＳ１３）では、例えば、機械学習（特に、ＣＮＮ）を用いて学習された推論モデルを用いて車両が走行する道路の舗装の種類、道路の材質、及び道路の路面状態の少なくとも一つを判定する。

【0029】

検出条件決定ステップ（ステップＳ１４）では、路面状態判定ステップ（ステップＳ１３）の判定結果に基づいて路上物体検出ステップ（ステップＳ１６）の検出条件を決定する部分である。路面状態判定ステップ（ステップＳ１３）の判定結果は、上述したように、車両が走行する道路の舗装の種類、道路の材質、及び道路の路面状態の少なくとも一つであり、路上物体検出部１６の検出条件は、路面状態判定ステップ（ステップＳ１３）の判定結果によって検出する道路の損傷、及び道路上の物体を限定することである。

【0030】

フィルタリングステップ（ステップＳ１５）では、検出条件に基づいて路上物体検出ステップの検出対象をフィルタリングする。フィルタリングステップ（ステップＳ１５）は、検出条件に適合する、道路の損傷、及び道路上の物体を検出対象とする。

【0031】

路上物体検出ステップ（ステップＳ１６）では、フィルタリングステップ（ステップＳ１５）で決定された道路の損傷、及び道路上の物体を検査対象とし、撮像装置１０が撮像した画像から、車両が走行する道路の損傷、及び道路上の物体を検出する。路上物体検出ステップ（ステップＳ１６）では、路面状態判定ステップと同じように、例えば、画像処理ステップ（ステップＳ１２）において撮像装置１０から取得され、画像処理ステップ（ステップＳ１２）において切り出され、縮小、拡大又は色変換された画像が用いられる。路上物体検出ステップ（ステップＳ１６）では、例えば、機械学習（特に、ＣＮＮ）を用いて学習された推論モデルを用いて車両が走行する道路の損傷、及び道路上の物体を検出する。

【0032】

路上物体検出部ステップ（ステップＳ１６）で検出された道路の損傷、及び道路上の物体の情報は、通信制御部２８によって通信装置３０からこの路上物体検出システム１を管理するサーバ（図示せず）に送信される。

【0033】

［路上物体検出システムの効果］
実施形態１に係る路上物体検出システム１によれば、路面状態判定部１４の判定結果に基づいて路上物体検出部１６の検出条件を決定し、検出条件に基づいて路上物体検出部１６の検出対象をフィルタリングするので、車両が走行する道路の舗装の種類、道路の材質、及び道路の路面状態によって、検出対象をフィルタリングすることができる。

【0034】

［実施形態２］
［路上物体検出システムの構成］
図４は、実施形態２に係る路上物体検出システム４の構成を概略的に示すブロック図である。実施形態１に係る路上物体検出システム１と同じ構成については同じ符号を付して説明を省略する。

【0035】

図４に示すように、実施形態２に係る路上物体検出システム４のフィルタリング部４０は、検出条件決定部１８で決定された検出条件に基づいて路上物体検出部１６の検出結果をフィルタリングする部分である。フィルタリング部４０は、検出条件に適合する、道路の損傷、及び道路上の物体を検出結果とする検出物体フィルタリング部４２を有している。

【0036】

したがって、例えば、路面状態判定部１４が「道路の舗装がタイル舗装である」と判定した場合には、路上物体検出部１６の検出結果からポットホールが排除され、ポットホール以外の道路の損傷、及び道路上の物体が検出結果となる。同じように、路面状態判定部１４が「道路の材質が土である」と判定した場合には、路上物体検出部１６の検出結果からポットホール及びスピードバンプが排除され、ポットホール以外の道路の損傷、及びスピードバンプ以外の道路上の物体が検出結果となる。同じように、路面状態判定部１４が「路面が雪で覆われている」と判定した場合には、路上物体検出部１６の検出結果からポットホール及びスピードバンプが排除され、ポットホール以外の道路の損傷、及びスピードバンプ以外の道路上の物体が検出対象となる。

【0037】

［路上物体検出方法］
図５は、図４に示した路上物体検出システム４の処理内容（路上物体検出方法）を示すフローチャートである。実施形態２に係る路上物体検出システム１の処理内容と同じ処理内容については同じ符号を付して説明を省略する。

【0038】

図５に示すように、実施形態２に係る路上物体検出システム４では、路上状態判定ステップ（ステップＳ１３）、路上物体検出ステップ（ステップＳ２１）、検出条件決定ステップ（ステップＳ１４）、及びフィルタリングステップ（ステップＳ２２）を実行する。

【0039】

実施形態２に係る路上物体検出ステップ（ステップＳ２１）では、実施形態２に係る路上物体検出システム４が検出対象とする全ての道路の損傷、及び道路上の物体を検出対象とする。この点、フィルタリングステップ（ステップＳ１５）でフィルタリングされた道路の損傷、及び道路上の物体を検出対象とする実施形態１に係る路上物体検出ステップ（ステップＳ１６）とは異なる。尚、実施形態２に係る路上物体検出ステップ（ステップＳ２１）では、実施形態１に係る路上物体検出ステップ（ステップＳ１６）と同じように、例えば、機械学習（特に、ＣＮＮ）を用いて学習された推論モデルを用いて車両が走行する道路の損傷、及び道路上の物体を検出する。

【0040】

実施形態２に係るフィルタリングステップ（ステップＳ２２）では、検出条件に基づいて路上物体検出ステップ（ステップＳ２１）の検出結果をフィルタリングする。この点、検出条件に基づいてフィルタリングされた道路の損傷、及び道路上の物体を検出対象とする実施形態１に係るフィルタリングステップ（Ｓ１５）とは異なる。実施形態２に係るフィルタリングステップ（ステップＳ２２）は、検出条件に適合する、道路の損傷、及び道路上の物体を検出結果とする。

【0041】

［路上物体検出システムの効果］
実施形態２に係る路上物体検出システム４によれば、路面状態判定部１４の判定結果に基づいて路上物体検出部１６の検出条件を決定し、検出条件に基づいて路上物体検出部１６の検出結果をフィルタリングするので、車両が走行する道路の舗装の種類、道路の材質、及び道路の路面状態によって、検出結果をフィルタリングすることができる。

【0042】

本発明は、上述した実施形態に限定されることはなく、上述した実施形態に変形を加えた形態や、これらの形態を適宜組み合わせた形態を含む。

【符号の説明】

【0043】

１ 路上物体検出システム
１０ 撮像装置
１２ 制御装置
１４ 路面状態判定部
１６ 路上物体検出部
１８ 検出条件決定部
２０ フィルタリング部
２２ 画像取得部
２４ 画像処理部
２６ 物体検出実施判定部
２８ 通信制御部
３０ 通信装置
４ 路上検出システム
４０ フィルタリング部
４２ 検出物体フィルタリング部

【図1】

【図2】

【図3】

【図4】

【図5】