特開 2024-165037 路面３次元形状推定装置、路面３次元形状の推定方法、路面３次元形状推定システム、及び路面３次元形状推定プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024165037

(43)【公開日】2024-11-28

(54)【発明の名称】路面３次元形状推定装置、路面３次元形状の推定方法、路面３次元形状推定システム、及び路面３次元形状推定プログラム

(51)【国際特許分類】

   G06T 7/55 20170101AFI20241121BHJP

   G06T 7/64 20170101ALI20241121BHJP

   G01C 7/02 20060101ALI20241121BHJP

【ＦＩ】

G06T7/55

G06T7/64

G01C7/02

【審査請求】有

【請求項の数】13

【出願形態】ＯＬ

(21)【出願番号】P 2023080856

(22)【出願日】2023-05-16

【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り 東京大学大学院工学系研究科社会基盤学専攻修士論文発表会

【国等の委託研究の成果に係る記載事項】（出願人による申告）令和４年度関東地方整備局、「Ｒ４ わだち掘れ簡易評価手法の開発と、ＭＣＩの自動算出による点検業務の生産性向上」委託研究、産業技術力強化法第１７条の適用を受けるもの

(71)【出願人】

【識別番号】504137912

【氏名又は名称】国立大学法人 東京大学

(71)【出願人】

【識別番号】520100550

【氏名又は名称】株式会社スマートシティ技術研究所

(71)【出願人】

【識別番号】000233653

【氏名又は名称】ニチレキ株式会社

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(72)【発明者】

【氏名】長山 智則

(72)【発明者】

【氏名】高 文超

(72)【発明者】

【氏名】薛 凱

(72)【発明者】

【氏名】趙 博宇

(72)【発明者】

【氏名】那珂 通大

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096BA04

5L096CA02

5L096EA26

5L096FA09

5L096FA32

5L096FA64

5L096FA67

5L096FA69

5L096KA04

(57)【要約】

【課題】簡便かつ高精度で路面の３次元形状を推定することができる路面形状推定装置等を提供すること。
【解決手段】第１の位置から路面を撮影した第１の画像を鳥瞰図に変換した第１の鳥瞰図と、前記第１の位置とは異なる第２の位置から前記路面を撮影した第２の画像を鳥瞰図に変換した第２の鳥瞰図とを比較して、前記路面の複数の部分について、当該部分に対応する前記第１の鳥瞰図における第１部分と前記第２の鳥瞰図における第２部分とを特定する特定部と、前記第１部分と前記第２部分との画像上の移動量を算出し、当該移動量に基づいて前記路面の凹凸形状を推定する推定部と、を備える、路面形状推定装置。
【選択図】図１

【特許請求の範囲】

【請求項1】

第１の位置から路面を撮影した第１の画像を鳥瞰図に変換した第１の鳥瞰図と、前記第１の位置とは異なる第２の位置から前記路面を撮影した第２の画像を鳥瞰図に変換した第２の鳥瞰図とを比較して、前記路面の複数の部分について、当該部分に対応する前記第１の鳥瞰図における第１部分と前記第２の鳥瞰図における第２部分とを特定する特定部と、
前記第１部分と前記第２部分との画像上の移動量を算出し、当該移動量に基づいて前記路面の凹凸形状を推定する推定部と、
を備える、路面形状推定装置。

【請求項2】

前記特定部が、前記第１の鳥瞰図と前記第２の鳥瞰図とをマッチングすることにより、前記第１及び第２部分を特定する、
請求項１に記載の路面形状推定装置。

【請求項3】

前記特定部が、前記第１及び第２の鳥瞰図における特徴点をマッチングするか、又は前記第１及び第２の鳥瞰図の少なくとも一部の領域に含まれる全画素をマッチングすることにより特定を行う、
請求項２に記載の路面形状推定装置。

【請求項4】

前記特定部が、前記第１及び第２の鳥瞰図において指定された所定のサイズを有する複数の領域であって、前記領域の少なくとも一部分は隣接する領域と互いに重複している複数の領域のそれぞれについて、マッチングを行う、
請求項２に記載の路面形状推定装置。

【請求項5】

前記特定部が、さらに、前記第１及び第２の鳥瞰図をそれぞれホモグラフィ変換して得られる第１及び第２の変換図をマッチングすることにより、前記第１及び第２部分を特定する、
請求項２に記載の路面形状推定装置。

【請求項6】

前記特定部が、教師あり学習モデルによりマッチングを行い、
前記学習モデルの教師データが、路面の画像及びこれに対応する不明瞭な画像の組み合わせ、並びに互いに重複する領域の全画素が対応づけられている２つの画像の組み合わせの少なくとも１種を含む、
請求項２に記載の路面形状推定装置。

【請求項7】

前記第１及び第２の画像が、前記路面を走行している車両に設置された撮影部により撮影された画像又は動画のフレームであり、
前記特定部が、少なくとも、前記車両の走行方向に略垂直な方向に関して互いに異なる位置を有する前記路面の複数の部分について、前記第１及び第２部分を特定し、
前記推定部が、前記車両の走行方向に略垂直な方向に沿った凹凸形状を推定する、
請求項１～６のいずれか１項に記載の路面形状推定装置。

【請求項8】

前記特定部が、さらに、前記車両の走行方向に略垂直な方向に関して互いに同じ位置を有する前記路面の複数の部分について、前記第１及び第２部分を特定し、
前記推定部が、前記車両の走行方向に略垂直な方向に関して互いに同じ位置を有する前記路面の複数の部分について、前記算出した移動量の前記走行方向成分の平均値をさらに算出する、
請求項７に記載の路面形状推定装置。

【請求項9】

前記凹凸形状が、わだち掘れ、及びポットホールの少なくとも１種を含む、
請求項１～６のいずれか１項に記載の路面形状推定装置。

【請求項10】

前記推定部が、寸法が既知の凹凸形状を有する路面又は物体についての推定結果を参照データとして、前記推定した路面の凹凸形状の寸法をさらに算出する、
請求項１～６のいずれか１項に記載の路面形状推定装置。

【請求項11】

第１の位置から路面を撮影した第１の画像を鳥瞰図に変換した第１の鳥瞰図と、前記第１の位置とは異なる第２の位置から前記路面を撮影した第２の画像を鳥瞰図に変換した第２の鳥瞰図とを比較して、前記路面の複数の部分について、当該部分に対応する前記第１の鳥瞰図における第１部分と前記第２の鳥瞰図における第２部分とを特定することと、
前記第１部分と前記第２部分との画像上の移動量を算出し、当該移動量に基づいて前記路面の凹凸形状を推定することを含む、
路面形状の推定方法。

【請求項12】

車両に設置された撮影部と、
前記撮影部が第１の位置から路面を撮影した第１の画像を鳥瞰図に変換した第１の鳥瞰図と、前記撮影部が前記第１の位置とは異なる第２の位置から前記路面を撮影した第２の画像を鳥瞰図に変換した第２の鳥瞰図とを比較して、前記路面の複数の部分について、当該部分に対応する前記第１の鳥瞰図における第１部分と前記第２の鳥瞰図における第２部分とを特定する特定部と、
前記第１部分と前記第２部分との画像上の移動量を算出し、当該移動量に基づいて前記路面の凹凸形状を推定する推定部と、
を備える、路面形状推定システム。

【請求項13】

コンピュータを、
第１の位置から路面を撮影した第１の画像を鳥瞰図に変換した第１の鳥瞰図と、前記第１の位置とは異なる第２の位置から前記路面を撮影した第２の画像を鳥瞰図に変換した第２の鳥瞰図とを比較して、前記路面の複数の部分について、当該部分に対応する前記第１の鳥瞰図における第１部分と前記第２の鳥瞰図における第２部分とを特定する特定部；及び
前記第１部分と前記第２部分との画像上の移動量を算出し、当該移動量に基づいて前記路面の凹凸形状を推定する推定部
として機能させる、路面形状推定プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、路面３次元形状推定装置、路面３次元形状の推定方法、路面３次元形状推定システム、及び路面３次元形状推定プログラムに関する。

【背景技術】

【0002】

近年、道路の不具合を検出したり、適切な維持管理方法を開発したりすることを目的として、様々な検査項目及び方法が提案されている。路面の検査項目に関しては、国土交通省が、路面の補修の判断材料として、ひび割れ率、及びわだち掘れ深さを重要な指標に定めている。

【0003】

路面の３次元形状（以下、「路面形状」ともいう。）を推定する方法としては、例えば路面を走行する車両に加速度センサ等のセンサを設置して路面の縦断形状を推定する方法、レーザスキャナを搭載したＭＭＳ（Mobile Mapping System）により路面の凹凸形状を推定する方法、及び視点の異なる複数枚の画像から路面の凹凸形状を推定するStructure from motion（ＳｆＭ）のような方法が考えられる。

【0004】

例えば特許文献１には、車両が接地する路面に対して垂直方向の加速度及びピッチ軸に関する角速度等に基づいて路面の縦断形状を推定する方法が開示されている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１８－１８５２７６号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

本発明者らは、既存の路面形状推定方法において、種々の課題を見出した。例えば、ＳｆＭによる路面形状推定方法は、３次元モデル構築のための計算量が膨大であり、また高精度で路面形状を推定することが困難である。さらに、当該方法では多数の視点からの路面画像を必要とするため、路面形状推定に長期間を必要とする傾向にある。

【0007】

そこで、本発明は、簡便かつ高精度で路面の３次元形状を推定することができる路面形状推定装置等を提供することを目的とする。

【課題を解決するための手段】

【0008】

本発明の一態様は、第１の位置から路面を撮影した第１の画像を鳥瞰図に変換した第１の鳥瞰図と、第１の位置とは異なる第２の位置から路面を撮影した第２の画像を鳥瞰図に変換した第２の鳥瞰図とを比較して、路面の複数の部分について、当該部分に対応する第１の鳥瞰図における第１部分と第２の鳥瞰図における第２部分とを特定する特定部と、第１部分と第２部分との画像上の移動量を算出し、移動量に基づいて路面の凹凸形状を推定する推定部と、を備える路面形状推定装置を提供する。

【0009】

この態様によれば、路面に凹凸が存在する場合に鳥瞰図に変換した画像の一部が歪むことを利用し、異なる視点から撮影した１対の画像の鳥瞰変換による歪み具合を比較することで、２枚の画像のみから路面の凹凸形状を高精度に推定することができる。

【0010】

上記態様において、特定部が、第１の鳥瞰図と第２の鳥瞰図とをマッチングすることにより、第１及び第２部分を特定することが好ましい。特定部は、第１及び第２の鳥瞰図における特徴点をマッチングするか、又は第１及び第２の鳥瞰図の少なくとも一部の領域に含まれる全画素をマッチングしてよい。この態様によれば、多くの路面上の点について第１の鳥瞰図における第１部分と第２の鳥瞰図における第２部分とを特定することができ、路面形状推定の精度を高めることができる。

【0011】

上記態様において、特定部が、第１及び第２の鳥瞰図において指定された所定のサイズを有する複数の領域であって、領域の少なくとも一部分は隣接する領域と互いに重複している複数の領域のそれぞれについて、マッチングを行うと好ましい。
また、特定部が、さらに、第１及び第２の鳥瞰図をそれぞれホモグラフィ変換して得られる第１及び第２の変換図をマッチングすることにより、第１及び第２部分を特定することも好ましい。
また、特定部が、教師あり学習モデルによりマッチングを行い、学習モデルの教師データが、路面の画像及びこれに対応する不明瞭な画像の組み合わせ、並びに互いに重複する領域の全画素が対応づけられている２つの画像の組み合わせの少なくとも１種を含むことも好ましい。
これらの態様によれば、多くの路面上の点について第１の鳥瞰図における第１部分と第２の鳥瞰図における第２部分とを特定することができ、路面形状推定の精度を高めることができる。

【0012】

上記態様において、第１及び第２の画像が、路面を走行している車両に設置された撮影部により撮影された画像又は動画のフレームであり、特定部が、少なくとも、車両の走行方向に略垂直な方向に関して互いに異なる位置を有する路面の複数の部分について、第１及び第２部分を特定し、推定部が、車両の走行方向に略垂直な方向に沿った凹凸形状を推定してよい。この態様によれば、路面のわだち掘れ形状を好適に推定することができる。

【0013】

上記態様において、特定部が、さらに、車両の走行方向に略垂直な方向に関して互いに同じ位置を有する路面の複数の部分について、第１及び第２部分を特定し、推定部が、車両の走行方向に略垂直な方向に関して互いに同じ位置を有する路面の複数の部分について、算出した移動量の走行方向成分の平均値をさらに算出することが好ましい。この態様によれば、より精度高く、路面のわだち掘れ形状を推定することができる。

【0014】

上記態様において、凹凸形状は、わだち掘れ、及びポットホールの少なくとも１種を含んでいてよい。

【0015】

上記態様において、推定部が、寸法が既知の凹凸形状を有する路面又は物体についての推定結果を参照データとして、推定した路面の凹凸形状の寸法をさらに算出してもよい。この態様によれば、推定した凹凸形状の実寸も推定することができる。

【0016】

本発明の別の一態様は、上記態様の路面形状推定装置を用いて路面形状を推定する方法、及びコンピュータを路面形状推定装置として機能させるプログラムを提供する。

【0017】

本発明のさらに別の一態様は、車両に設置された撮影部と、撮影部が第１の位置から路面を撮影した第１の画像を鳥瞰図に変換した第１の鳥瞰図と撮影部が第１の位置とは異なる第２の位置から路面を撮影した第２の画像を鳥瞰図に変換した第２の鳥瞰図とを比較して、路面の複数の部分について、当該部分に対応する第１の鳥瞰図における第１部分と第２の鳥瞰図における第２部分とを特定する特定部と、第１部分と第２部分との画像上の移動量を算出し、当該移動量に基づいて路面の凹凸形状を推定する推定部と、を備える、路面形状推定システムを提供する。

【発明の効果】

【0018】

本発明は、簡便かつ高精度で路面の３次元形状を推定することができる路面形状推定装置等を提供する。

【図面の簡単な説明】

【0019】

【図1】本実施形態に係る路面形状推定システムの概略図である。

【図2】本実施形態に係る路面形状推定装置の機能ブロック図である。

【図3】本実施形態に係る路面形状推定装置の物理的構成を示す図である。

【図4】本実施形態に係る路面形状推定システムにおける処理のフローチャートである。

【図5】本実施形態に係る路面形状推定システムにおいて取得及び変換された画像の一例である。（ａ）第１の位置から撮影した第１の画像であり、（ｂ）第２の位置から撮影した第２の画像であり、（ｃ）第１の画像を鳥瞰変換した第１の鳥瞰図であり、（ｄ）第２の画像を鳥瞰変換した第２の鳥瞰図である。（ｃ）及び（ｄ）において、矩形で囲まれた領域Ｓは第１の鳥瞰図及び第２の鳥瞰図において重複している領域を表す。（ｅ）（ｃ）及び（ｄ）の領域Ｓに含まれた線状の構造物の影Ｐの画像上の位置を２次元座標で示したグラフである。

【図6】本実施形態に係る路面形状推定装置の推定部における推定の概略図である。

【図7】本実施形態に係る路面形状推定システムが路面のわだち掘れ形状を推定する処理のフローチャートである。

【図8】本実施形態に係る路面形状推定システムによりわだち掘れの形状を推定する際の出力の例を示すグラフである。（ａ）所定の領域に含まれる、第１部分及び第２部分が特定された複数の点について、画像上のｘ座標、及び第１部分から第２部分への移動量のｙ軸方向成分Δｙをプロットしたグラフである。（ｂ）（ａ）のグラフにおいてｘ座標が同じ各点のΔｙの平均値を計算したグラフである。（ｃ）（ｂ）のグラフを連続化したグラフである。（ｄ）（ｃ）のグラフを平滑化したグラフである。（ｅ）（ｄ）のグラフをわだち掘れの深さに変換したグラフである。

【図9】本実施形態に係る路面形状推定システムによる３次元形状の推定の一例を示す図である。（ａ）３次元形状を推定する際に複数の領域に分割して推定を行う例を示した図である。（ｂ－ｃ）本実施形態に係る路面形状推定システムにより推定された（ｂ）わだち掘れ、及び（ｃ）ポットホールの３次元形状を示す図である。

【発明を実施するための形態】

【0020】

添付図面を参照して、本発明の実施形態について説明する。なお、各図において、同一の符号を付したものは、同一又は同様の構成を有する。

【0021】

［路面形状推定システム］
図１は、本実施形態に係る路面形状推定システム１の構成概要を示す図である。路面形状推定システム１は、車両３０と、車両３０に設置された撮影部２０と、路面形状推定装置１０と、を含む。路面形状推定システム１において、車両３０上の撮影部２０は、路面の動画又は写真を撮影する。路面形状推定装置１０は、撮影部２０が撮影した動画又は写真から１対の画像を１又は複数抽出し、当該１対の画像に基づいて路面の３次元形状を推定する。路面形状推定装置１０は、１対の画像を鳥瞰図に変換し、当該１対の鳥瞰図を比較する。路面形状推定装置１０は、路面に凹凸が存在する場合に鳥瞰図に変換した画像の一部が歪むことを利用し、異なる視点から撮影した１対の画像の鳥瞰変換による歪み具合を比較することで、路面の３次元形状を推定する。

【0022】

すなわち、路面形状推定システム１は、車両３０に設置された撮影部２０と、撮影部２０が第１の位置から路面を撮影した第１の画像を鳥瞰図に変換した第１の鳥瞰図と、撮影部２０が第１の位置とは異なる第２の位置から路面を撮影した第２の画像を鳥瞰図に変換した第２の鳥瞰図とを比較して、路面の複数の部分について、当該部分に対応する第１の鳥瞰図における第１部分と第２の鳥瞰図における第２部分とを特定し、第１部分と第２部分との画像上の移動量を算出し、移動量に基づいて路面の凹凸形状を推定する路面形状推定装置１０と、を備える。

【0023】

路面形状推定システム１において、路面形状推定装置１０は、通信ネットワークＮを介して撮影部２０と接続される。ここで、通信ネットワークＮは、有線又は無線の通信網であってよい。なお、路面形状推定装置１０は、必ずしも撮影部２０と独立した装置でなくてもよく、撮影部２０と一体となって構成されるものであってもよい。その場合、撮影部２０を含む情報処理端末にインストールされた路面推定プログラムが実行されることで、当該情報処理端末が路面形状推定装置１０としても機能してよい。

【0024】

撮影部２０は、映像又は画像を撮影できる構成であれば特に限定されない。撮影部２０は、例えばカメラであってよく、スマートフォン及びタブレットのような汎用情報処理端末であってもよい。

【0025】

撮影部２０は、車両３０に固定して設置される。すなわち、車両３０の移動に対応して移動する。路面形状推定装置１０における推定においては、撮影部２０が車両に必ずしも設置されている必要はないが、本明細書では、撮影部２０が車両３０に設置され、車両３０の移動により撮影部２０が移動する場合について説明する。なお、撮影部２０が車両に設置されていない場合は、撮影部２０は、路面からの高さを一定に保ったまま撮影部２０を移動させることができる機構を有する保持具により保持されることが好ましい。これにより、路面形状推定装置１０による推定の精度を高めることができる。

【0026】

撮影部２０は、路面を撮影できる位置であれば車両３０のどの部分に設置されてもよい。例えば、撮影部２０は、車両３０の走行方向前方又は後方に設定されてよく、車両３０のダッシュボードの上、フロントガラス、及びバックミラー等に設置されて、走行方向前方の路面を撮影してよい。撮影部２０は、車両３０の走行方向前方又は後方の画像を取得してよい。第１の画像を撮影する第１の位置と、第２の画像を撮影する第２の位置と、撮影する路面とは、略同一直線にあってよい。

【0027】

撮影部２０は、３次元形状を推定する対象としての路面を撮影し、当該路面の動画又は画像を取得する。撮影部２０が画像を取得する場合は、路面内の同一箇所を画像範囲内に含む少なくとも２枚の画像を取得する。撮影部２０が動画を取得する場合は、当該動画に、路面内の同一箇所を撮影範囲内に含む少なくとも２枚のフレームが含まれるように動画を取得する。本明細書では、特に言及しない限りにおいて、動画におけるフレームと、静止画像とを包含して、「画像」という。したがって、撮影部２０は、撮影範囲が重複している１対の画像を取得する。すなわち、撮影部２０が取得する１対の画像のそれぞれは、路面内の所定の範囲を含み、路面形状推定装置１０は、当該１対の画像のいずれにも含まれている路面内の範囲の３次元形状を推定することができる。

【0028】

撮影部２０は車両３０に設置され、車両３０を走行させながら撮影部２０により路面を撮影する。これにより、第１の位置から路面を撮影した第１の画像と、第２の位置から路面を撮影した第２の画像が得られる。ここで、第１の位置及び第２の位置の路面からの高さは略等しい。車両３０の走行速度と撮影部２０の画像の取得間隔（動画を取得する場合はフレームレートであり、画像を取得する場合は連写速度である。）とを調整することにより、第１の画像及び第２の画像において重複する部分の範囲を任意に変更することができる。

【0029】

第１の画像を取得する第１の位置と、第２の画像を取得する第２の位置とは、例えば数メートル間隔であってよく、０．５～１０メートル間隔、又は１～５メートル間隔であってよい。路面形状推定システム１は、全地球航法衛星システム（ＧＮＳＳ）に基づいて、車両３０に設置された情報処理端末から車両３０及び撮影部２０の位置情報を取得し、当該位置情報に基づいて、撮影部２０が取得した複数の画像から適切な間隔で取得された１対の画像を選択してもよい。当該画像を選択する機能は、車両３０に設置された情報処理端末が有してよく、路面形状推定装置１０が有してもよい。当該車両３０に設置された情報処理端末が、撮影部２０として機能してもよい。

【0030】

車両３０は、路面上を４輪のタイヤで走行する自動車であってよい。もっとも、車両３０は、３輪や２輪のものであってもよいし、５輪以上のものであってもよい。車両３０としては任意の大きさの自動車を用いてよい。

【0031】

（路面形状推定装置）
図２は、路面形状推定装置１０の機能ブロック図である。路面形状推定装置１０は、取得部１１、変換部１２、特定部１３、及び推定部１４を備える。なお、本実施形態では、路面形状推定装置１０において、取得部１１が撮影部２０から画像を取得し、変換部１２が当該画像を変換する態様を例にして説明するが、例えば、撮影部２０の機能を有する情報処理端末が変換部１２の機能を有していてもよい。この場合、路面形状推定装置１０の取得部１１は、撮影部２０を含む情報処理端末が取得し、さらに鳥瞰変換した鳥瞰図を取得する。また、上述のように、撮影部２０を含む情報処理端末が路面形状推定装置１０としての機能を有する場合は、当該情報処理端末は、撮影部２０、変換部１２、特定部１３、及び推定部１４を含んでいればよい。

【0032】

取得部１１は、撮影部２０が路面を撮影することで取得された２枚以上の画像を取得する。取得部１１は、後述の通信部１０ｄにより実現されてよい。取得部１１は、撮影部２０が撮影した複数の画像のうち、全ての画像を取得してもよく、一部の画像のみを取得してもよい。

【0033】

取得部１１は、撮影範囲が重複している１対の画像を少なくとも取得する。重複部分は、取得した１対の画像のそれぞれの２０％以上、３０％以上、４０％以上、５０％以上、又は６０％以上であってよく、９０％以下、８０％以下、又は７０％以下であってよい。

【0034】

変換部１２は、取得部１１が取得した複数の画像を鳥瞰図に変換する。変換部１２は、後述のＲＡＭ１０ｂ又はＲＯＭ１０ｃに記憶されＣＰＵ１０ａにより実行される画像変換プログラムにより実現されてよい。変換部１２は、取得部１１が取得した複数の画像のうち、全ての画像を変換してもよいし、一部の画像のみを変換してもよい。

【0035】

撮影部２０は、車両３０に設置され、路面を撮影する。したがって、撮影部２０により撮影され、取得部１１により取得される画像は、路面に対して斜め上方から路面を写した画像となる。変換部１２は、当該路面に対して斜め上方からの画像を、路面直上から路面を写したような画像に変換する。変換手段は特に限定されないが、具体例については後述する。変換部１２は、少なくとも、撮影範囲が重複している１対の画像について、鳥瞰変換を行う。

【0036】

特定部１３は、変換部１２により変換された複数の鳥瞰図のうち、撮影範囲が重複している１対の鳥瞰図を比較して、路面の複数の部分について、当該部分に対応する第１の鳥瞰図における第１部分と第２の鳥瞰図における第２部分とを特定する。言い換えれば、特定部１３は、第１の鳥瞰図の複数の部分又は点について、これに対応する第２の鳥瞰図における部分又は点を特定する。特定部１３は、複数の第１部分と、それらにそれぞれ対応する複数の第２部分とを特定する。特定部１３は、後述の入力部１０ｅや、後述のＲＡＭ１０ｂ又はＲＯＭ１０ｃに記憶されＣＰＵ１０ａにより実行されるプログラムにより実現されてよい。

【0037】

特定部１３が特定する鳥瞰図における部分は、鳥瞰図中の１ピクセルからなる部分であってよく、複数のピクセルからなる部分であってよい。複数のピクセルは、例えば２～１６ピクセルであってよい。また、特定部１３は、路面の複数の部分について、第１部分と第２部分とを特定するが、当該複数の部分は、それぞれが隣接していてもよく、離れていてもよい。例えば、第１部分及び第２部分が特定される部分は、第１及び第２の鳥瞰図の特徴点であってよく、ユーザが指定した路面上の構造物や影等であってよい。

【0038】

特定部１３による特定は、路面形状推定装置１０のユーザにより実行されてもよく、１対の画像の対応箇所を特定するようにプログラムされたアルゴリズムにより実行されてもよい。ユーザが第１部分及び第２部分の特定を行う場合、ユーザは、第１の鳥瞰図と第２の鳥瞰図とを比較して、第１の鳥瞰図及び第２の鳥瞰図における、車線、マンホール、及び影のような、路面上の特徴部分を指定すればよい。アルゴリズムにより第１部分及び第２部分の特定を行う場合、画像のマッチング技術を用いることができる。具体例については後述する。

【0039】

推定部１４は、特定部１３が特定した複数の第１部分及び第２部分の組み合わせのそれぞれについて、第１部分から第２部分に対する画像上の移動量を算出し、当該移動量に基づいて路面の凹凸形状を推定する。詳細は後述するが、路面に凹凸が存在する場合に当該路面の画像を鳥瞰変換すると、画像の取得位置及び路面の凹凸形状に応じて鳥瞰図に歪みが生じる。推定部１４は、当該歪みを、第１部分から第２部分への画像上の移動量を算出することで定量化し、当該移動量に基づいて路面の凹凸形状を定量的に推定する。推定部１４は、後述のＲＡＭ１０ｂ又はＲＯＭ１０ｃに記憶されＣＰＵ１０ａにより実行されるプログラムにより実現されてよい。

【0040】

推定部１４は、路面の３次元形状を推定することができるが、必ずしも３次元形状を推定する必要はない。例えば、推定部１４は、路面の所定方向の断面形状を推定してもよい。推定部１４は、路面の横断形状、すなわち、路面の横断方向（車両が走行する方向に対して略垂直な方向）に対する路面の断面形状を推定してもよい。推定部１４は、例えば、路面のわだち掘れ、及びポットホールの少なくとも１種を推定してよい。

【0041】

路面形状推定装置１０は、推定部１４により推定された路面の凹凸形状を適当な形式で出力してよい。例えば、路面形状推定装置１０は、後述の表示部１０ｆに推定結果を表示してもよく、通信部１０ｄにより別の端末に推定結果を送信してもよい。推定結果は、３次元又は２次元のグラフであってよく、数値データであってもよい。

【0042】

図３は、路面形状推定装置１０の物理的構成を示す図である。路面形状推定装置１０は、プロセッサに相当するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０ａと、記憶部に相当するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０ｂ、及びＲＯＭ（Ｒｅａｄ ｏｎｌｙ Ｍｅｍｏｒｙ）１０ｃと、通信部１０ｄと、入力部１０ｅと、表示部１０ｆと、を有する。これらの各構成は、バスを介して相互にデータ送受信可能に接続される。なお、本例では路面形状推定装置１０が一台のコンピュータで構成される場合について説明するが、路面形状推定装置１０は、複数のコンピュータが組み合わされて実現されてもよい。また、図３で示す構成は一例であり、路面形状推定装置１０はこれら以外の構成を有してもよいし、これらの構成のうち一部を有さなくてもよい。

【0043】

ＣＰＵ１０ａは、ＲＡＭ１０ｂ又はＲＯＭ１０ｃに記憶されたプログラムの実行に関する制御やデータの演算、加工を行う制御部である。ＣＰＵ１０ａは、撮影部２０が取得した画像に基づいて路面の形状を推定するプログラム（路面形状推定プログラム）を実行する演算部である。ＣＰＵ１０ａは、入力部１０ｅや通信部１０ｄから種々のデータを受け取り、データの演算結果を表示部１０ｆに表示したり、ＲＡＭ１０ｂやＲＯＭ１０ｃに格納したりする。

【0044】

ＲＡＭ１０ｂは、記憶部のうちデータの書き換えが可能なものであり、例えば半導体記憶素子で構成されてよい。ＲＡＭ１０ｂは、ＣＰＵ１０ａが実行する路面形状推定プログラムを記憶してよい。なお、これらは例示であって、ＲＡＭ１０ｂには、これら以外のデータが記憶されていてもよい。

【0045】

ＲＯＭ１０ｃは、記憶部のうちデータの読み出しが可能なものであり、例えば半導体記憶素子で構成されてよい。ＲＯＭ１０ｃは、例えば画像編集プログラムや、書き換えが行われないデータを記憶してよい。

【0046】

通信部１０ｄは、路面形状推定装置１０を他の機器に接続するインターフェースである。通信部１０ｄは、インターネット等の通信ネットワークＮに接続されてよい。

【0047】

入力部１０ｅは、ユーザからデータの入力を受け付けるものであり、例えば、キーボード及びタッチパネルを含んでよい。

【0048】

表示部１０ｆは、ＣＰＵ１０ａによる演算結果を視覚的に表示するものであり、例えば、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）により構成されてよい。表示部１０ｆは、推定された路面形状を示すグラフを表示してよい。

【0049】

路面形状推定プログラムは、ＲＡＭ１０ｂやＲＯＭ１０ｃ等のコンピュータによって読み取り可能な記憶媒体に記憶されて提供されてもよいし、通信部１０ｄにより接続される通信ネットワークを介して提供されてもよい。路面形状推定装置１０では、ＣＰＵ１０ａが路面形状推定プログラムを実行することにより、図２を用いて説明した取得部１１、変換部１２、特定部１３、及び推定部１４の動作が実現される。なお、これらの物理的な構成は例示であって、必ずしも独立した構成でなくてもよい。例えば、路面形状推定装置１０は、ＣＰＵ１０ａとＲＡＭ１０ｂ及び／又はＲＯＭ１０ｃとが一体化したＬＳＩ（Ｌａｒｇｅ－Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）を備えていてもよい。

【0050】

（処理フロー）
＜概要＞
図４は、本実施形態の路面形状推定システム１における処理のフローチャートである。まず、路面形状推定システム１において、撮影部２０は、第１の位置から路面を撮影した第１の画像と、第２の位置から路面を撮影した第２の画像とを取得する。撮影部２０は、上記第１の画像及び第２の画像を、路面形状推定装置１０に送信する（Ｓ１０）。ここで、撮影部２０は、さらに別の１又は複数の画像を取得し、路面形状推定装置１０に送信してもよい。

【0051】

次いで、第１の画像及び第２の画像を取得した路面形状推定装置１０は、変換部１２において、当該第１の画像及び第２の画像を鳥瞰図に変換する（Ｓ１１）。変換部１２は、例えば以下の式にしたがって鳥瞰変換を行う。以下の式は、路面の斜め上方から撮影部２０が取得した画像を、路面直上に設置された仮想カメラから取得される画像に変換する式である。

【0052】

【数1】

【0053】

ここで、ｘ及びｙは、変換前の画像におけるピクセル位置であり、ｘ’及びｙ’は、変換後の画像におけるピクセル位置である。また、ｆ及びｆ’は、それぞれ撮影部２０及び仮想カメラのピクセル換算での焦点距離であり、θは、撮影部２０と路面とのなすであり、Ｈ_VCは、仮想カメラの路面からの高さであり、Ｄ_VCは、撮影部２０と仮想カメラとの平行距離であり、Ｈ_Cは、撮影部２０の路面からの高さである。仮想カメラにおける各種パラメータを調整することにより、鳥瞰図を校正することができる。より詳細には、S. Tanaka et al., International Journal of Vehicular Technology, Volume 2011, Article ID 279739 (2011).を参照することができる。

【0054】

変換部１２において、仮想カメラにおける各種パラメータは、路面形状推定装置１０のユーザにより設定されてもよく、路面形状推定装置１０の製造者により設定されてもよい。あるいは、路面形状推定装置１０が、仮想カメラにおける各種パラメータを調整しながら路面形状推定の精度を高めるように設計されたアルゴリズムにより自動で設定してもよい。あるいは、路面における車線やマンホールなどの形状が既知の部分が、変換後の鳥瞰図において当該既知の形状になるように、手動又は自動で各種パラメータを調整してもよい。

【0055】

図５は、本実施形態の路面形状推定システム１において、ステップＳ１０で取得され、ステップＳ１１で変換された１対の画像の例を示す図である。図５（ａ）及び（ｂ）は、走行する車両に設置した撮影部が取得した画像である。図５（ａ）は、第１の位置から路面を撮影した画像であり、図５（ｂ）は、第１の位置から撮影方向前方に数メートル前進した第２の位置から撮影した画像である。図５（ｃ）及び（ｄ）は、それぞれ図５（ａ）及び（ｂ）の画像を鳥瞰変換した１対の鳥瞰図である。図５（ｃ）及び（ｄ）において、矩形で囲んだ領域Ｓが第１の鳥瞰図及び第２の鳥瞰図において重複している領域であり、路面形状推定装置１０は、この領域Ｓの路面形状を推定することができる。

【0056】

図４に戻って、ステップＳ１１に次いで、路面形状推定装置１０の特定部１３は、変換部１２が変換した１対の鳥瞰図を比較して、路面の複数の部分について、当該部分に対応する第１の鳥瞰図における第１部分と第２の鳥瞰図における第２部分とを特定する（Ｓ１２）。ここでは、ユーザが、車線、マンホール、及び影のような、路面上の特徴部分を指定し、特定部１３が当該特徴部分の位置を特定する例を用いて説明する。

【0057】

ステップＳ１２において、特定部１３は、ユーザにより指定された路面上の特徴部分に対応する第１及び第２の鳥瞰図におけるピクセルと、その画像上の位置を特定する。特定部１３は、第１の鳥瞰図における指定された特徴部分の各ピクセルについて、第２の鳥瞰図における指定された特徴部分の対応するピクセルを特定する。対応するピクセルは、画像上の所定の方向に関する位置が同じピクセルであってよく、上記特徴部分の特徴点であってもよい。

【0058】

図５に示す１対の画像の例では、例えば、ユーザが、図５（ｃ）及び（ｄ）の領域Ｓに含まれる線状の構造物の影Ｐを対応箇所として指定してよい。ユーザが線状の構造物の影Ｐを対応箇所として指定した後、特定部１３は、当該影に対応するピクセルと、その画像上の位置を特定する。図５（ｅ）は、図５（ｃ）及び（ｄ）における線状の構造物の影Ｐの画像上の位置を、画像の縦方向（ｙ方向）及び横方向（ｘ方向）に関して示した図である。特定部１３は、例えば、第１の鳥瞰図中の線状の構造物の影Ｐの各ピクセルについて、同じｘ座標の値を有する第２の鳥瞰図中の線状の構造物の影Ｐのピクセルを対応付けてよい。あるいは第１の鳥瞰図中の線状の構造物の影Ｐの各特徴点（例えば、ｘｙ座標における極大点や極小点等）に対応するピクセルについて、第２の鳥瞰図中の線状の構造物の影Ｐの対応する特徴点に対応するピクセルを対応付けてよい。

【0059】

図４に戻って、ステップＳ１２に次いで、路面形状推定装置１０の推定部１４は、特定部１３が特定した第１及び第２の鳥瞰図において対応する各部分（各第１部分及び第２部分）について、第１部分から第２部分への画像上の移動量を算出する（Ｓ１３）。移動量は、例えば画像のピクセル換算での移動量である。例えば、第１の鳥瞰図における第１部分のピクセル換算の座標と、第２の鳥瞰図における第２部分のピクセル換算の座標との差を計算することで、移動量を求めてよい。

【0060】

次いで、路面形状推定装置１０の推定部１４は、ステップＳ１３で算出した各部分の上記移動量に基づいて路面の凹凸形状を推定する（Ｓ１４）。ここで、鳥瞰図における長さと、路面の深さとの間には、図６に示すピンホールカメラモデルを仮定すると、下記式の関係が成立する。下記式において、Ｐ’（Ｐ₁’、Ｐ₂’）、及びＰ’’（Ｐ₁’’、Ｐ₂’’）は、それぞれ第２の鳥瞰図、及び第１の鳥瞰図の対応する点における画像上の位置であり、ｆ、及びＨ_VCは上記式（１）及び（２）と同義であり、ｌ_P1P2は、路面からの深さであり、ｄ₁、ｄ₂、α、及びβは、図６中に定義される長さ又は角度である。

【0061】

【数2】

【0062】

したがって、ステップＳ１４において、推定部１４は、以下の式にしたがって第１及び第２の鳥瞰図において対応部分を特定した各部分の、ピクセル換算での深さ方向の相対的な座標を推定してよい。下記式中、Δｙは、ステップＳ１３で算出した移動量における、車両の進行方向に平行な成分（すなわち、第１の位置から第２の位置に向かう方向の成分）であり、その他の変数は、上記式（３）と同義である。したがって、推定部１４では、第１の画像を取得した第１の位置において撮影部２０が路面を撮影する角度と、第２の画像を取得した第２の位置において撮影部２０が路面を撮影する角度と、撮影部２０の焦点距離と、事前に設定した仮想カメラの路面からの高さと、ステップＳ１３で算出した移動量とに基づいて、路面の深さを推定することができる。あるいは、推定部１４は、Δｙの係数である式（４－Ａ）で表される値を変数としてキャリブレーションを行うことで路面の深さを推定してもよい。具体的なキャリブレーション方法の例は、＜凹凸形状の実寸の推定＞の項で後述する。

【0063】

【数3】

【数4】

【0064】

上記式（４）に基づけば、推定部１４は、特定部１３が特定した各点について、ピクセル換算での深さ方向の相対的な座標、及び／又は路面の深さを推定できることがわかる。図５に示す例では、推定部１４は、領域Ｓに含まれる線状の構造物の影Ｐが位置する部分の路面の凹凸形状を推定できる。特定部１３が、路面の所定の範囲の複数の部分又は点について、第１の鳥瞰図中の部分又は点と第２の鳥瞰図中の部分又は点との対応を特定する場合は、当該範囲の３次元形状を推定することができる。

【0065】

＜凹凸形状の実寸の推定＞
以上の処理フローにより、本実施形態の路面形状推定システム１は、路面の凹凸形状を推定することができるが、路面形状推定システム１は、寸法が既知の凹凸形状を有する路面又は物体についての推定結果を参照データとして、推定した凹凸形状の実寸をさらに推定してもよい。すなわち、路面形状推定システム１は、寸法が既知の凹凸形状を有する路面又は物体についての推定結果を参照データとして、上記式（４－Ａ）で表される値をキャリブレーションしてもよい。

【0066】

参照データは、例えば、寸法が既知の物体（例えば、厚さが既知の平板）を路面上に設置し、図４を参照しながら説明したような上記の推定を当該物体に適用することにより取得してよい。これにより、推定結果で得られたピクセル換算での長さと、実寸値での長さとを対応付けることができる。あるいは、ＳｆＭのような、既存の路面形状推定方法により得られた推定結果を参照データとしてもよい。

【0067】

＜特定部の処理＞
上述のした処理フローのステップＳ１２において、特定部１３は、１対の画像の対応箇所を特定するようにプログラムされたアルゴリズムにより実行されてもよい。例えば、特定部１３は、第１の鳥瞰図と第２の鳥瞰図とをマッチングすることにより、路面の複数の部分について、当該部分に対応する第１の鳥瞰図における第１部分と第２の鳥瞰図における第２部分とを特定してもよい。当該マッチングは、適当な画像処理に関するアルゴリズムにより実行することができる。

【0068】

当該マッチングにおいて、特定部１３は、第１及び第２の鳥瞰図における特徴点をマッチングしてもよく、第１及び第２の鳥瞰図の少なくとも一部の領域に含まれる全画素をマッチングしてもよい。第１及び第２の鳥瞰図における特徴点をマッチングする方法としては、例えば、特徴点検出、特徴量記述子の計算、及び特徴点のマッチングを含む方法であってよく、機械学習を用いたend-to-endでマッチングを行う方法であってよい。

【0069】

特徴点検出、特徴量記述子の計算、及び特徴点のマッチングを含むアルゴリズムとしては、例えばＳＩＦＴ（Scale-Invariant Feature Transform）、ＳＵＲＦ（Speeded Up Robust Features）、ＯＲＢ（Oriented FAST and Rotated BRIEF）、及びＨａｒｒｉｓ ｆｅａｔｕｒｅｓが挙げられる。機械学習を用いたend-to-endでマッチングを行うアルゴリズムとしては、ＬｏＦＴＲ（Local Feature TRansformer）、ＧＭｆｌｏｗ、及びｍｌ－ａｓｐａｎｆｏｒｍｅｒ等が挙げられる。

【0070】

第１及び第２の鳥瞰図の少なくとも一部の領域に含まれる全画素をマッチングする方法としては、例えば、オプティカルフローに基づくマッチングが挙げられる。オプティカルフローのアルゴリズムとしては、例えばＬｕｃａｓ－Ｋａｎａｄ法、Ｈｏｒｎ－Ｓｃｈｕｎｃｋ法、及びＦａｒｎｅｂａｃｋ法が挙げられる。特定部１３によるマッチングアルゴリズムとしては、ＬｏＦＴＲが好ましい。

【0071】

特定部１３におけるマッチングの前又は後に、検出される特徴点を増やしたり、マッチング精度を高めたりするための前処理又は後処理をしてもよい。当該処理としては、画像の明るさ及びコントラストの調整、画像のトリミング、及びミスマッチの除去等が挙げられる。画像のトリミングとしては、例えば第１の鳥瞰図及び第２の鳥瞰図において対応部分を特定することを所望する範囲のみトリミングすることが挙げられる。ミスマッチの除去としては、特定部１３によるマッチングの後に推定部１４が第１部分及び第２部分の移動量を算出したときに、当該移動量の所定の成分が閾値以上である特徴点を除去することが挙げられる。

【0072】

また、特定部１３は、１対の鳥瞰図に対して、一度にマッチングを行うのではなく、指定された所定のサイズを有する複数の領域に分割して、領域ごとにマッチングを行ってもよい。また、当該領域を、隣接する領域と互いに重複するように設定することで、各領域の境界付近の部分についても多くの特徴点をマッチングさせることできる。

【0073】

また、特定部１３は、第１の鳥瞰図と第２の鳥瞰図とをマッチングすることにより特定される第１及び第２部分に加えて、その他の第１及び第２部分を特定するために、第１及び第２の鳥瞰図をそれぞれホモグラフィ変換して得られる第１及び第２の変換図をマッチングしてもよい。このように、第１及び第２の鳥瞰図をそれぞれホモグラフィ変換して得られる第１及び第２の変換図をマッチングすることで、変換前にはマッチングされなかった特徴点をマッチングすることができ、より多くの第１及び第２部分を特定することができる。そのようなホモグラフィ変換としては、例えば、拡大、縮小、移動、回転、及びスキュー等が挙げられる。

【0074】

また、特定部１３において、ＬｏＦＴＲ等の機械学習モデルによりマッチングが実行される場合、教師データに、路面の画像及びこれに対応する不明瞭な画像の組み合わせ、並びに互いに重複する領域の全画素が対応づけられている２つの画像の組み合わせの少なくとも１種含ませることで、より多くの第１及び第２部分を特定することができる。

【0075】

教師データが路面の画像及びこれに対応する不明瞭な画像の組み合わせを含むことにより、撮影部２０が取得する画像にモーションブラー（ブレ）が生じている場合でも、精度高く第１及び第２部分の特定をすることができる。そのような教師データは、路面の（鮮明な）画像と、当該画像に対して意図的にモーションブラーを追加した画像との組み合わせを用意することにより得ればよい。

【0076】

教師データが互いに重複する領域の全画素が対応づけられている２つの画像の組み合わせを含むことにより、特定部１３における特徴点のマッチングの精度をより高めることができる。そのような教師データは、まず重複する領域を含む１対の鳥瞰図に対して特徴点マッチングを行うことで複数の特徴点をマッチングし、これらの特徴点及びその他の画像を射影変換することで１対の鳥瞰図が重なり合うようにして、これにより重なり合った未だマッチングされていない点を対応する点としてマッチングすることにより得ればよい。

【0077】

＜わだち掘れ形状の推定＞
本実施形態の路面形状推定システム１は、特定部１３が第１及び第２部分を特定した部分に、路面の車両が走行する方向に略垂直な方向（路面の横断方向）に関して異なる位置を有する複数の部分が含まれる場合、路面のわだち掘れ形状を推定することができる。

【0078】

図７は、本実施形態の路面形状推定システム１が路面のわだち掘れ形状を推定する処理のフローチャートである。ステップＳ１０～Ｓ１３は、図４にフローチャートを示す処理と同じであってよい。ただし、ステップＳ１０において取得される画像は、路面を走行している車両３０に設置された撮影部２０により撮影された画像である。また、ステップＳ１２において、特定部１３は第１の鳥瞰図と第２の鳥瞰図とをマッチングすることで、１対の画像において重複する領域に、第１部分及び第２部分を多数特定することが好ましい。

【0079】

以下、路面の横断方向をｘ軸、路面の車両が走行する方向をｙ軸として説明する。
図８は、本実施形態に係る路面形状推定システムによりわだち掘れの形状を推定する際の出力の例を示すグラフである。図８（ａ）は、ｙ軸方向に４８０ピクセルの幅を有する所定の領域に含まれる、第１部分及び第２部分が特定された複数の点について、画像上のｘ座標（路面の横断方向における位置）、及び第１部分から第２部分への移動量のｙ軸方向成分Δｙをプロットしたグラフである。

【0080】

わだち掘れ形状の推定では、ｙ軸方向の所定の範囲ではわだち掘れ形状が一定であると仮定して、図８（ａ）に示すように、第１又は第２の画像のｙ軸方向の所定の範囲に含まれる、第１部分及び第２部分が特定された複数の点を推定に用いる。ステップＳ２０では、第１又は第２の画像のｙ軸方向の所定の範囲に含まれる、第１部分及び第２部分が特定された複数の点について、路面の横断方向に関して同じ位置を有する部分ごとに、ステップＳ１３で算出した移動量の走行方向成分の平均値を算出する（Ｓ２０）。図８に示す例では、図８（ａ）に示すｘ座標が同じ各点について、Δｙの平均値を算出することで、図８（ｂ）に示すグラフが得られる。

【0081】

ステップＳ２０では離散的なデータが得られるため、次いで、離散データの連続化と、平滑化を行う（Ｓ２１，Ｓ２２）。平滑化は移動平均を計算することで実施すればよい。図８に示す例では、連続化及び平滑化をすることにより、それぞれ図８（ｃ）及び（ｄ）に示すグラフが得られる。

【0082】

路面の両端は、理想的にはわだち掘れ深さが０であるため、次いで、ステップＳ２２で得られたグラフのベースラインを補正し、路面の両端のわだち掘れ深さが０になるようにする（Ｓ２３）。ステップＳ２２で得られたグラフの両端を結ぶ線分をわだち掘れがない路面と仮定し、グラフ上の各点と当該線分との距離を、ピクセル換算でのわだち掘れ深さと推定する。そのような補正は、以下の式を用いて実施することができる。下記式中、ｄ_iは、点ｉにおけるわだち掘れ深さ（ピクセル換算）であり、ｘ_pi及びｙ_piは、点ｉの変換前のｘｙ座標であり、ｘ_pl及びｙ_plは、最左端の点の変換前のｘｙ座標であり、ｘ_pr及びｙ_prは、点右端の点の変換前のｘｙ座標であり、分子及び分母における演算は、それぞれ行列の行列式及びノルムである。

【0083】

【数5】

【0084】

図８に示す例では、ベースラインの補正をすることにより、図８（ｅ）に示すグラフが、図８（ａ）に示した各部分を含む領域におけるわだち掘れ形状として得られる。＜凹凸形状の実寸の推定＞で詳述したように、寸法が既知の凹凸形状を有する路面又は物体についての推定結果を参照データとして、さらにわだち掘れの実際の深さを推定してもよい。

【0085】

なお、上記の処理フローにおいて、ステップＳ２１～Ｓ２３のいずれかを省略してもよく、別の新たなステップを追加してもよい。

【0086】

＜３次元形状の推定＞
わだち掘れ形状の推定では、車両の進行方向に対して所定の範囲に含まれる、第１部分及び第２部分が特定された複数の点を推定に用いるが、当該範囲を複数に分割して複数回の推定を行うことで、高い精度で当該領域の３次元形状を推定することができる。すなわち、３次元形状の推定において、推定を行う領域を複数の領域に分割し、各領域について図７を参照して説明した路面の断面形状の推定を行い、推定結果を再結合することで、推定の精度を高めることができる。領域の分割方向は特に限定されず、第１の位置から第２の位置に向かう方向であってよく、当該方向に略垂直な方向であってよい。

【0087】

図９は路面形状推定システム１による３次元形状の推定を示す図である。図９（ａ）のように、３次元形状を推定する領域を複数の領域に分割し、各領域について図７を参照して説明した路面の断面形状の推定を行い、推定結果を再結合することで、図９（ｂ）に示すように、路面の３次元形状を精度高く推定することができる。また、当該方法によれば、図９（ｃ）に示すように、路面のポットホールの形状を推定することもできる。

【0088】

以上説明した実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。実施形態が備える各要素並びにその配置、材料、条件、形状及びサイズ等は、例示したものに限定されるわけではなく適宜変更することができる。また、異なる実施形態で示した構成同士を部分的に置換し又は組み合わせることが可能である。

【0089】

［付記］
本発明は、以下の実施形態を含む。
［１］
第１の位置から路面を撮影した第１の画像を鳥瞰図に変換した第１の鳥瞰図と、前記第１の位置とは異なる第２の位置から前記路面を撮影した第２の画像を鳥瞰図に変換した第２の鳥瞰図とを比較して、前記路面の複数の部分について、当該部分に対応する前記第１の鳥瞰図における第１部分と前記第２の鳥瞰図における第２部分とを特定する特定部と、
前記第１部分と前記第２部分との画像上の移動量を算出し、当該移動量に基づいて前記路面の凹凸形状を推定する推定部と、
を備える、路面形状推定装置。
［２］
前記特定部が、前記第１の鳥瞰図と前記第２の鳥瞰図とをマッチングすることにより、前記第１及び第２部分を特定する、
［１］に記載の路面形状推定装置。
［３］
前記特定部が、前記第１及び第２の鳥瞰図における特徴点をマッチングするか、又は前記第１及び第２の鳥瞰図の少なくとも一部の領域に含まれる全画素をマッチングすることにより特定を行う、
［２］に記載の路面形状推定装置。
［４］
前記特定部が、前記第１及び第２の鳥瞰図において指定された所定のサイズを有する複数の領域であって、前記領域の少なくとも一部分は隣接する領域と互いに重複している複数の領域のそれぞれについて、マッチングを行う、
［２］又は［３］に記載の路面形状推定装置。
［５］
前記特定部が、さらに、前記第１及び第２の鳥瞰図をそれぞれホモグラフィ変換して得られる第１及び第２の変換図をマッチングすることにより、前記第１及び第２部分を特定する、
［２］～［４］のいずれか１つに記載の路面形状推定装置。
［６］
前記特定部が、教師あり学習モデルによりマッチングを行い、
前記学習モデルの教師データが、路面の画像及びこれに対応する不明瞭な画像の組み合わせ、並びに互いに重複する領域の全画素が対応づけられている２つの画像の組み合わせの少なくとも１種を含む、
［２］～［５］のいずれか１つに記載の路面形状推定装置。
［７］
前記第１及び第２の画像が、前記路面を走行している車両に設置された撮影部により撮影された画像又は動画のフレームであり、
前記特定部が、少なくとも、前記車両の走行方向に略垂直な方向に関して互いに異なる位置を有する前記路面の複数の部分について、前記第１及び第２部分を特定し、
前記推定部が、前記車両の走行方向に略垂直な方向に沿った凹凸形状を推定する、
［１］～［６］のいずれか１つに記載の路面形状推定装置。
［８］
前記特定部が、さらに、前記車両の走行方向に略垂直な方向に関して互いに同じ位置を有する前記路面の複数の部分について、前記第１及び第２部分を特定し、
前記推定部が、前記車両の走行方向に略垂直な方向に関して互いに同じ位置を有する前記路面の複数の部分について、前記算出した移動量の前記走行方向成分の平均値をさらに算出する、
［７］に記載の路面形状推定装置。
［９］
前記凹凸形状が、わだち掘れ、及びポットホールの少なくとも１種を含む、
［１］～［８］のいずれか１つに記載の路面形状推定装置。
［１０］
前記推定部が、寸法が既知の凹凸形状を有する路面又は物体についての推定結果を参照データとして、前記推定した路面の凹凸形状の寸法をさらに算出する、
［１］～［９］のいずれか１つに記載の路面形状推定装置。
［１１］
第１の位置から路面を撮影した第１の画像を鳥瞰図に変換した第１の鳥瞰図と、前記第１の位置とは異なる第２の位置から前記路面を撮影した第２の画像を鳥瞰図に変換した第２の鳥瞰図とを比較して、前記路面の複数の部分について、当該部分に対応する前記第１の鳥瞰図における第１部分と前記第２の鳥瞰図における第２部分とを特定することと、
前記第１部分と前記第２部分との画像上の移動量を算出し、当該移動量に基づいて前記路面の凹凸形状を推定することを含む、
路面形状の推定方法。
［１２］
車両に設置された撮影部と、
前記撮影部が第１の位置から路面を撮影した第１の画像を鳥瞰図に変換した第１の鳥瞰図と、前記撮影部が前記第１の位置とは異なる第２の位置から前記路面を撮影した第２の画像を鳥瞰図に変換した第２の鳥瞰図とを比較して、前記路面の複数の部分について、当該部分に対応する前記第１の鳥瞰図における第１部分と前記第２の鳥瞰図における第２部分とを特定する特定部と、
前記第１部分と前記第２部分との画像上の移動量を算出し、当該移動量に基づいて前記路面の凹凸形状を推定する推定部と、
を備える、路面形状推定システム。
［１３］
コンピュータを、
第１の位置から路面を撮影した第１の画像を鳥瞰図に変換した第１の鳥瞰図と、前記第１の位置とは異なる第２の位置から前記路面を撮影した第２の画像を鳥瞰図に変換した第２の鳥瞰図とを比較して、前記路面の複数の部分について、当該部分に対応する前記第１の鳥瞰図における第１部分と前記第２の鳥瞰図における第２部分とを特定する特定部；及び
前記第１部分と前記第２部分との画像上の移動量を算出し、当該移動量に基づいて前記路面の凹凸形状を推定する推定部
として機能させる、路面形状推定プログラム。

【符号の説明】

【0090】

１…路面形状推定システム、１０…路面形状推定装置、１０ａ…ＣＰＵ、１０ｂ…ＲＡＭ、１０ｃ…ＲＯＭ、１０ｄ…通信部、１０ｅ…入力部、１０ｆ…表示部、１１…取得部、１２…変換部、１３…特定部、１４…推定部、２０…撮影部、３０…車両、Ｎ…通信ネットワーク、Ｓ…領域。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】