特許 6442834 路面高度形状推定方法とシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6442834

(24)【登録日】2018年12月7日

(45)【発行日】2018年12月26日

(54)【発明の名称】路面高度形状推定方法とシステム

(51)【国際特許分類】

   G06T 1/00 20060101AFI20181217BHJP

【ＦＩ】

   G06T1/00 330A

【請求項の数】16

【全頁数】22

(21)【出願番号】特願2014-35646(P2014-35646)

(22)【出願日】2014年2月26日

(65)【公開番号】特開2014-170540(P2014-170540A)

(43)【公開日】2014年9月18日

【審査請求日】2017年2月7日

(31)【優先権主張番号】201310063898

(32)【優先日】2013年2月28日

(33)【優先権主張国】CN

(73)【特許権者】

【識別番号】000006747

【氏名又は名称】株式会社リコー

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(72)【発明者】

【氏名】チェヌ チャオ

(72)【発明者】

【氏名】シ ジョォンチャオ

(72)【発明者】

【氏名】ル ヤオジエ

(72)【発明者】

【氏名】ワン ガン

【審査官】 川▲崎▼ 博章

(56)【参考文献】

【文献】 特開２０１１−０２８６５９（ＪＰ，Ａ）

【文献】 日永田 佑介，外２名，車載ステレオカメラのオフロード環境への適用，マルチメディア，分散，協調とモバイル（ＤＩＣＯＭＯ２０１２）シンポジウム論文集，日本，一般社団法人情報処理学会，２０１２年 ８月 １日，第２０１２巻第１号，第１３７５頁−第１３８１頁，ＩＳＳＮ １８８２−０８４０

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １／００

(57)【特許請求の範囲】

【請求項1】

道路シーン視差図が得られ、
前記視差図に基づいて路面関心領域を検知し、
前記路面関心領域に基づいて複数の路面関心点を確定し、
前記複数の路面関心点に基づいて路面高度形状を推定することを含み、
前記視差図に基づいて路面関心領域を検知するステップが、
前記視差図の下部視差図を選択し、
前記下部視差図を二値化処理して二値画像を取得し、
前記二値画像にモルフォロジー・エロージョンを行い、
モルフォロジー・エロージョン後の画像中の所定部分を選んで１つまたは複数のシードを設置し、
前記１つまたは複数のシードに基づいて領域成長を行い、
領域成長後に得られたブロックを路面関心領域とすることを含む、道路シーン内の路面高度形状推定方法。

【請求項2】

前記所定部分が、路面のエッジをはみ出ることなく、路面の一部をカバーする、請求項１に記載の方法。

【請求項3】

前記所定部分が画像の真下に位置する、請求項１または２に記載の方法。

【請求項4】

前記路面関心領域に基づいて複数の路面関心点を確定するステップが、
前記路面関心領域に対し後処理を行い、
後処理した路面関心領域と前記視差図の交わり部分を前記複数の路面関心点とすることを含む、請求項１に記載の方法。

【請求項5】

前記後処理が、
前記路面関心領域に対しモルフォロジー・ダイレーションを行い、モルフォロジー・ダイレーション後の路面関心領域を後処理後の路面関心領域とするステップと、
前記路面関心領域の路面輪郭を抽出し、前記路面輪郭に対しモルフォロジー・ダイレーションを行い、前記モルフォロジー・ダイレーション後の路面輪郭を後処理後の路面関心領域とするステップと、
前記路面関心領域の路面輪郭を抽出し、前記路面輪郭に対しモルフォロジー・ダイレーションを行い、前記モルフォロジー・ダイレーション後の路面輪郭が囲むブロックを後処理後の路面関心領域とするステップのいずれかを含む、請求項４に記載の方法。

【請求項6】

前記複数の路面関心点に基づいて路面高度形状を推定するステップが、
前記複数の路面関心点により、前記視差図中で同じ距離Ｄおよび同じ水平座標Ｘを有する最低点を選んで各路面候補点とし、前記路面候補点に基づいて路面の平面フィッティングを行い前記路面高度形状が得られるステップと、
前記複数の路面関心点をＶ視差図投影し、前記Ｖ視差図投影中で同じ距離Ｄを有する最低点を選んで各路面候補点とし、前記路面候補点に基づいて路面のセグメントまたは複数のセグメントの直線フィッティングを行って前記路面高度形状が得られるステップのいずれかを含む、請求項１に記載の方法。

【請求項7】

前記路面高度形状により道路シーン中の対象の実際高度を推定することを含む、請求項１に記載の方法。

【請求項8】

前記路面高度形状により道路シーン中の対象の実際高度推定を行うステップが、
推定した前記路面高度形状に基づいて、前記対象の距離Ｄ’に対して、前記距離Ｄ’に対応する路面高度ｈ（ｄ）が得られ、ここでｄは前記距離Ｄ’に対応する視差値を表し、
以下の公式に基づいて前記対象の実際高度ｈｓ（Ｄ’）が得られるステップを含み、

【数7】

式中、ｂは視差図の撮影に用いる二眼カメラの基準線の長さを表し、ｖは前記二眼カメラに関する所定オフセット値を表し、ｙは視差値ｄを有する画素点の縦座標を表す、請求項７に記載の方法。

【請求項9】

道路シーンの視差図を取得する装置、
前記視差図に基づいて路面関心領域を検知する装置、
前記路面関心領域に基づいて複数の路面関心点を確定する装置、及び
前記複数の路面関心点に基づいて路面高度形状を推定する装置を含み、
前記視差図に基づいて路面関心領域を検知する装置が、
前記視差図の下部視差図を選択し、
前記下部視差図を二値化処理して二値画像を取得し、
前記二値画像にモルフォロジー・エロージョンを行い、
モルフォロジー・エロージョン後の画像中の所定部分を選んで１つまたは複数のシードを設置し、
前記１つまたは複数のシードに基づいて領域成長を行い、
領域成長後に得られたブロックを路面関心領域とする、道路シーン内路面高度形状推定システム。

【請求項10】

前記所定部分が、路面のエッジをはみ出ることなく、路面の一部をカバーする、請求項９に記載のシステム。

【請求項11】

前記所定部分が画像の真下に位置する、請求項９または１０に記載のシステム。

【請求項12】

前記路面関心領域に基づいて複数の路面関心点を確定する装置が、
前記路面関心領域に対し後処理を行い、
後処理した路面関心領域と前記視差図の交わり部分を前記複数の路面関心点とする、請求項９に記載のシステム。

【請求項13】

前記後処理が、
前記路面関心領域に対しモルフォロジー・ダイレーションを行い、モルフォロジー・ダイレーション後の路面関心領域を後処理後の路面関心領域とするステップと、
前記路面関心領域の路面輪郭を抽出し、前記路面輪郭に対しモルフォロジー・ダイレーションを行い、前記モルフォロジー・ダイレーション後の路面輪郭を後処理後の路面関心領域とするステップと、
前記路面関心領域の路面輪郭を抽出し、前記路面輪郭に対しモルフォロジー・ダイレーションを行い、前記モルフォロジー・ダイレーション後の路面輪郭が囲むブロックを後処理後の路面関心領域とするステップのいずれかを含む、請求項１２に記載のシステム。

【請求項14】

前記複数の路面関心点に基づいて路面高度形状を推定する装置が、
前記複数の路面関心点により、前記視差図中で同じ距離Ｄおよび同じ水平座標Ｘを有する最低点を選んで各路面候補点とし、前記路面候補点に基づいて路面の平面フィッティングを行い前記路面高度形状を取得し、又は
前記複数の路面関心点をＶ視差図投影し、前記Ｖ視差図投影中で同じ距離Ｄを有する最低点を選んで各路面候補点とし、前記路面候補点に基づいて路面のセグメントまたは複数のセグメントの直線フィッティングを行って前記路面高度形状を取得する、請求項９に記載のシステム。

【請求項15】

前記路面高度形状により道路シーン中の対象の実際高度を推定する装置を更に含む、請求項９に記載のシステム。

【請求項16】

前記路面高度形状により道路シーン中の対象の実際高度推定を行う装置が、
推定した前記路面高度形状に基づいて、前記対象の距離Ｄ’に対して、前記距離Ｄ’に対応する路面高度ｈ（ｄ）を取得し、ここでｄは前記距離Ｄ’に対応する視差値を表し、
以下の公式に基づいて前記対象の実際高度ｈｓ（Ｄ’）を取得し、

【数8】

式中、ｂは視差図の撮影に用いる二眼カメラの基準線の長さを表し、ｖは前記二眼カメラに関する所定オフセット値を表し、ｙは視差値ｄを有する画素点の縦座標を表す、請求項１５に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は通常、画像処理分野に関するもので、より具体的には立体視覚の視差図に基づいて路面高度形状を推定する技術に関するものである。

【背景技術】

【0002】

現在、画像処理技術の絶えざる深化発展に伴い、人々は物体の平面視覚による２次元画像にはもう飽き足らなくなり、物体の遠近、凹凸および深い浅いといった立体感のある立体視覚の反映にますます関心を寄せており、例えば３Ｄ／３次元技術は、研究されて多くの応用を生み出してきた。

【0003】

人の左右の眼は物体を観察する時に視差があり、この発見が二眼立体視覚の理論基礎を打ち立てた。二眼立体視覚は異なる位置の２台のカメラ（いわゆる二眼カメラ）または１台のカメラが移動または回転しながら同じシーンを撮影し、各種の計算方法によって相応する像点をフィッティングし、それによって当該像点の視差を算出し視差図を作成した後、三角測量原理によってこの像の深度（距離）情報を逆算する。当該二眼立体視覚による像の視差図の計算と作成は既に本分野の技術では公知のものであり、その詳細な計算方法とプロセスはここでは繰り返さない。

【0004】

この種の立体視覚の応用範囲は非常に広く、例えば３Ｄ映画、３次元技術による道路検知、歩行者検知、自動運転等々に応用されている。

【0005】

自動車に対する自動化要求の絶えざる高まりに連れ、信頼できる立体道路環境を感知できる立体視覚の応用は車両の安全サポート／自律操縦にとって非常に重要であり、特に環境が高速道路や、地方連絡道路よりはるかに複雑な都市道路についてそれが言える。道路本体および道路の高度等各種パラメータを如何に正確にかつ効率よく検知できるかが既に研究の重点になっている。もし高度を含む道路の各種パラメータを正確に得ることができれば、これらのパラメータによって、例えば道路上のある場所に位置する歩行者、車両または建築物の実際の高度計算等々、ますます広範な応用が得られることができる。

【0006】

既知の技術も道路検知に複数の解決方法を提出している。例えば、下記に列記する２つの関係文献がある。

【0007】

関係文献１は、「Ａ Ｃｏｍｐｌｅｔｅ Ｕ−Ｖ−Ｄｉｓｐａｒｉｔｙ Ｓｔｕｄｙ ｆｏｒ Ｓｔｅｒｅｏｖｉｓｉｏｎ Ｂａｓｅｄ ３Ｄ Ｄｒｉｖｉｎｇ Ｅｎｖｉｒｏｎｍｅｎｔ Ａｎａｌｙｓｉｓ」と題するもので、作者は Ｚｈｅｎｃｈｅｎｇ Ｈｕ， Ｆｒａｎｃｉｓｃｏ Ｌａｍｏｓａ， Ｋｅｉｉｃｈｉ Ｕｃｈｉｍｕｒａ， Ｋｕｍａｍｏｔｏ Ｕｎｉｖｅｒｓｉｔｙ、２００５年６月１３日付けで、Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ５ｔｈ ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ ３−Ｄ Ｄｉｇｉｔａｌ Ｉｍａｇｉｎｇ ａｎｄ Ｍｏｄｅｌｉｎｇに掲載されたものである。

【0008】

関係文献２は、Ｎａｋａｎｏを発明者とする、２００９年２月１２日に米国特許局に公開された「Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ Ａｐｐａｒａｔｕｓ ａｎｄ Ｍｅｔｈｏｄ」という表題の米国特許出願公開第２００９／００４１３３７Ａ１号である。

【0009】

その中、関係文献１は立体視覚による道路シーン分析計算方法を説明しており、まず元の視差図からＶ視差図を構成した後、Ｖ視差図全体に一連の計算を行い道路平面、非道路平面、障害物等を区分する。通常、道路シーンには歩行者、建築物、道路、障害物等々の対象が含まれ非常に複雑であるため、Ｖ視差図全体に行う計算量は膨大なものとなり、またこの計算は道路シーン中の対象の影響を受け道路検知の間違いが非常に起こりやすい。

【0010】

関係文献２は３次元情報により路面表示を検知する計算方法を説明している。それは例えばガイドラインの明瞭な高速道路等、路面表示がはっきりしているシーンにのみ適応できるものであるが、例えば地方連絡道路、複数の都市道路や高速道路、国道、省道等々、路面表示の無いまたは路面表示の不明瞭な道路では正確で効率の良い道路検知を行うことはできない。

【0011】

このため、各種道路に対して正確に効率よく路面高度検知と推定を行うことのできる解決策が求められている。

【発明の概要】

【発明が解決しようとする課題】

【0012】

本発明の目的は、立体視覚の視差図に基づいて路面高度形状を推定する方法及びシステムを提供することにある。

【課題を解決するための手段】

【0013】

本発明の一面においては、道路シーン視差図が得られ、前記視差図に基づいて路面関心領域を検知し、前記路面関心領域に基づいて複数の路面関心点を確定し、そして前記複数の路面関心点に基づいて路面高度形状を推定することを含む、道路シーン内の路面高度形状推定方法を提供する。

【0014】

好ましくは、前記視差図に基づいて路面関心領域検知ステップが、前記視差図の下部視差図を選択し、前記下部視差図を二値化処理して二値画像が得られ、前記二値画像にモルフォロジー・エロージョンを行い、モルフォロジー・エロージョン後の画像中の所定部分を選んで１つまたは複数のシードを設置し、前記１つまたは複数のシードに基づいて領域成長を行い、領域成長後に得られたブロックを路面関心領域とすることを含むである。

【0015】

好ましくは、前記所定部分が路面の一部をカバーするが路面のエッジをはみ出ないことである。

【0016】

好ましくは、前記所定部分が画像の真下に位置することである。

【0017】

好ましくは、前述路面関心領域に基づいて複数の路面関心点を確定するステップが、前記路面関心領域に対し後処理を行い、後処理した路面関心領域と前記視差図の交わり部分を前記複数の路面関心点とすることを含むことである。

【0018】

好ましくは、前記後処理が、前記路面関心領域に対しモルフォロジー・ダイレーションを行い、モルフォロジー・ダイレーション後の路面関心領域を後処理後の路面関心領域とし、前記路面関心領域の路面輪郭を抽出し、前記路面輪郭に対しモルフォロジー・ダイレーションを行い、前記モルフォロジー・ダイレーション後の路面輪郭を後処理後の路面関心領域とし、そして前記路面関心領域の路面輪郭を抽出し、前記路面輪郭に対しモルフォロジー・ダイレーションを行い、前記モルフォロジー・ダイレーション後の路面輪郭が囲むブロックを後処理後の路面関心領域とすることのうちの一つを含むことである。

【0019】

好ましくは、前記複数の路面関心点に基づいて路面高度形状を推定するステップが、前記複数の路面関心点により、前記視差図中で同じ距離Ｄおよび同じ水平座標Ｘを有する最低点を選んで各路面候補点とし、前記路面候補点に基づいて路面の平面フィッティングを行い前記路面高度形状が得られ、そして前記複数の路面関心点をＶ視差図投影し、前記Ｖ視差投影中で同じ距離Ｄを有する最低点を選んで各路面候補点とし、前記路面候補点に基づいて路面のセグメントまたは複数のセグメントの直線フィッティングを行って前記路面高度形状が得られることのうちの一つを含むことである。

【0020】

好ましくは、前記路面高度形状により道路シーン中の対象の実際高度を推定することを含むことである。

【0021】

好ましくは、前記路面高度形状により道路シーン中の対象の実際高度推定を行うことが、推定した前記路面高度形状に基づいて、前記対象の距離Ｄ’に対して、前記距離Ｄ’に対応する路面高度ｈ（ｄ）が得られ、ここでｄは前記距離Ｄ’に対応する視差値を表し、以下の公式に基づいて前記対象の実際高度ｈｓ（Ｄ’）が得られることを含むことである。

【数1】

【0022】

このうち、ｂは視差図の撮影に用いる二眼カメラの基準線の長さを表し、ｖは前記二眼カメラに関する所定オフセット値を表し、ｙは視差値ｄを有する画素点の縦座標を表す。

【0023】

本発明の別の面においては、道路シーン視差図を取得する装置、前記視差図に基づいて路面関心領域を検知する装置、前記路面関心領域に基づいて複数の路面関心点を確定する装置、そして前記１つまたは複数の路面関心点に基づいて路面高度形状を推定する装置を含む、道路シーン内路面高度形状推定システムを提供する。

【0024】

本発明の実施例の方法とシステムにより複雑な路面状況を処理する事ができ、道端の溝、高架橋付近の建築物等の夾雑物に対し比較的強いロバスト性を有し、路面より高すぎる物体または路面より低すぎる物体を効率よく除去し、路面高度検知結果を比較的信頼できる正確なものにすることができる。

【0025】

前記既存技術の参考文献１は視差図全体を用いて路面高度推定を行うが、本発明においては、路面関心領域と関心点の検知を先に行い、これに基づいて路面高度推定方式をもう一度行い路面より高すぎる物体および路面より低すぎる物体を除くことができ、これによってより正確に路面である可能性を有する領域を探し出すことができる。これと同時に、限られた数の路面関心点だけを使って路面の直線／平面フィッティングを行い路面の高度形状が得られるため、その計算量は大きく減少する。

【0026】

如何に正確に道路である可能性を有する領域を探し出すかは路面高度推定にとって非常に有用であり、従って本発明の実施例により路面関心領域を検知し最も道路である可能性を有する領域を探し出すことは、より正確な路面高度推定を進める上で大きな助けとなる。路面関心領域が道路路面全体の領域より大きくないので、路面全体に比べてより検知しやすくなり、検知精度と信頼性を増し計算量を大きく減少させる。

【0027】

前記参考文献２は路面表示を使用して路面高度推定を行うが、本発明では路面関心領域と関心点の検知を先に行い、これに基づいて路面高度推定方式をもう一度行い路面表示やその他の道路標識に頼ることがないので、異なるそして複雑な道路類型に対して比較的高い適応性を有する。
推定された路面高度形状情報は道路シーン中で実際の対象と路面との間の実際の高度を確定するのに用いることができ、これによって例えば車両や歩行者の検知に便利となる。

【図面の簡単な説明】

【0028】

【図1】本発明を応用した各実施例のハードウェアシステムの構成例である。

【図2】第一実施例の路面高度形状推定方法の例である。

【図3】図２の示す方法において視差図に基づいて路面関心領域検知ステップの例示的なプロセスである。

【図4A】前記視差図に基づいて路面関心領域検知ステップの実際応用例である。

【図4B】前記視差図に基づいて路面関心領域検知ステップの実際応用例である。

【図4C】前記視差図に基づいて路面関心領域検知ステップの実際応用例である。

【図4D】前記視差図に基づいて路面関心領域検知ステップの実際応用例である。

【図4E】前記視差図に基づいて路面関心領域検知ステップの実際応用例である。

【図4F】前記視差図に基づいて路面関心領域検知ステップの実際応用例である。

【図4G】前記視差図に基づいて路面関心領域検知ステップの実際応用例である。

【図5】路面関心点を確定するステップの例示的なプロセスである。

【図6】路面関心領域に対して後処理を行う３つの例示的なプロセスである。

【図7】路面高度形状推定の例示的なプロセスにおいてＶ視差図投影を行う実際の応用例である。

【図8A】本発明実施例により得られた路面高度検知と既存技術の従来方式により得られたＶ視差図投影と路面高度推定結果の比較の概念図その一である。

【図8B】本発明実施例により得られた路面高度検知と既存技術の従来方式により得られたＶ視差図投影と路面高度推定結果の比較の概念図その二である。

【図9】Ｖ視差図中で路面の分割直線フィッティングを行った結果の例である。

【図10】本発明の推定した路面高度形状に基づいて得られた例示的な路面点である。

【図11】第二実施例の道路シーン中で路面高度形状を推定するシステムの例である。

【発明を実施するための形態】

【0029】

今、本発明の具体的実施例を詳細に参照して、図面中に本発明の例を示す。具体的な実施例と結合して本発明を説明するが、理解を助けるためであり、本発明を前記実施例に限定しようとするものではない。反対に、前記請求項が限定する本発明の精神と範囲内に含まれる変更、修正およびそれと同等のものをカバーしたいと考えている。注意を要するのは、ここで述べる方法ステップは全てどのような機能集合または機能配置によっても実現できることで、かつどのような機能集合または機能配置も物理的実体または論理的実体、または両者の組合せに実現されることである。

【0030】

当業者が本発明をより良く理解できるように、以下、図面と発明を実施するための形態を結合して更に詳しく説明を行う。

【0031】

本開示においては下記順序に従って説明を行う。

【0032】

１．専門用語または専門語彙の意味と解釈
２．本発明を応用したハードウェアシステムの構成
３．第一実施例の路面高度形状推定方法の例
３−１．路面関心領域検知の例示的なプロセス
３−２．路面関心点確定の例示的なプロセス
３−２−１．路面関心領域後処理の例示的なプロセス
３−３．路面高度形状推定の例示的なプロセス
３−４．対象の実際高度推定の例示的なプロセス
４．第二実施例の路面高度形状推定のシステム例
１．専門用語または専門語彙の意味と解釈
理解の便を図るため、本章で既存技術における専門用語または専門語彙、及び本公開特許における定義された専門用語または専門語彙を解釈する。これらの専門用語または専門語彙が仮に既存技術で常用または慣用されている専門用語または専門語彙の解釈と合わないところがあれば、本公開特許が公開する発明原理に従ってどの解釈を適用するか合理的に判断しなければならない。

【0033】

視差図
当業者には公知であるが、視差とは、実際はある基線の両端からそれぞれ同一の比較的遠くの物体に一直線に伸びているとき、その間に形成される夾角を指す。通常、一定距離にある二つの点から同一対象を観察して発生する方向の違いを指す。対象から二点間の夾角を見たとき、この二点の視差角と呼ばれ、二点間の距離は基線と称される。視差の角度と基線の長さを知りさえすれば、対象と観測者間の距離を算出することができる。

【0034】

視差図：視差図（ｄｉｓｐａｒｉｔｙ ｍａｐ）は、どんな画像も基準となり、その大きさが該基準画像の大きさとなり、要素値が視差値となる画像である。視差図は場面の距離情報を含む。視差図は双眼カメラが撮影した左画像と右画像、または立体画像の深度画像から計算して得ることができる。また視差値ｄと物体の深度距離Ｄは一定の対応関係ｄ（Ｄ）を有し、これによって、視差値が分かれば、深度距離を計算することができ、逆もまた同様である。

【0035】

Ｖ視差図
当業者には公知であるが、元の視差図で、各画素点は３次元空間の１点を表す（Ｕ−水平次元、Ｖ−垂直次元、Ｄ−深度次元）。側面を垂直平面（Ｖ−垂直次元とＤ−深度次元だけがある）に投影した後、全ての画素点のＵ座標は消失し、この新しく形成された映写画像がＶ視差図となる。Ｖ視差図は視差図から計算して得られる。Ｖ視差図中の任意の１点（ｄ， ｖ）の濃淡値は視差図に対応する縦座標をｖとする行中で視差値がｄに等しい点の個数である。

【0036】

二値画像
二値画像は各画素点が黒でなければ白であるとして、その濃度に中間濃度のない画像を指す。二値画像は一般に対象の大まかな輪郭を描写するのに用いられる。

【0037】

モルフォロジー・エロージョン（Ｍｏｒｐｈｏｌｏｇｙ Ｅｒｏｓｉｏｎ）およびモルフォロジー・ダイレーション（Ｍｏｒｐｈｏｌｏｇｙ Ｄｉｌａｔｉｏｎ）
当業者には公知であるが、モルフォロジー演算は２値画像に対するマセマティカル・モルフォロジーの集合理論の方法に基づいて発展してきた画像処理方法である。マセマティカル・モルフォロジーは岩石学において岩石の構造を定量的に説明する作業に起源を有し、近年はデジタル画像処理とロボット視覚分野に広く応用され、独特のデジタル画像分析方法と理論を形成している。通常、モルフォロジー画像処理は近傍演算形式を表現しており、特別に定義された近傍領域を「構造要素」（Ｓｔｒｕｃｔｕｒｅ Ｅｌｅｍｅｎｔ）と呼び、各画素位置上でそれが２値画像と対応する区域において特定の論理演算を行い、論理演算の結果が出力画像に相応する画素となる。モルフォロジー演算の効果は構造要素の大きさ、内容および論理演算の性質によって決まる。よく見られるモルフォロジー演算はエロージョンとダイレーションを有する。Ｂにより構造要素を表し、二値画像Ａの各点ｚに対し、エロージョンとダイレーションを定義すると次のようになる。

【0038】

エロージョン：

【数2】

【0039】

ダイレーション：

【数3】

【0040】

このうち、Ｅをユークリッド空間、Ａを空間Ｅにおける二値画像とすると、Ｂｚ ＝｛ｂ＋ｚ｜ｂ∈Ｂ｝、
、ＢｓはＢの対称行列を表し、即ちＢＳ ＝｛ｐ∈Ｅ｜―ｐ∈Ｂ｝となり、ｐはユークリッド空間中の要素を表す。

【0041】

言い換えると、エロージョンの具体的な操作は、一つの構造要素Ｂ（例えば３ｘ３の大きさ）を用いて画像中の各画素ｚをスキャンし、構造要素中の各画素を用いてそれと重なる画素に「と」操作を行い、もし全てが１となれば、この画素を１とし、そうでなければ０とする。ダイレーションの具体的な操作は、一つの構造要素Ｂ（例えば３ｘ３の大きさ）を用いて画像中の各画素ｚをスキャンし、構造要素中の各画素を用いてそれと重なる画素に「と」操作を行い、もし全てが０となれば、この画素を０とし、そうでなければ１とする。エロージョンは一種の境界点消去で、境界を内側に向けて収縮させるプロセスであり、小さく無意味な物体を消去するのに用いることができる。ダイレーションは物体と接触する全ての背景点をこの物体に結合させることで、境界を外側に向けて拡張させるプロセスであり、物体中の空洞を埋めるのに用いることができる。その他の細部は ｈｔｔｐ：／／ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｍｏｒｐｈｏｌｏｇｉｃａｌ＿ｉｍａｇｅ＿ｐｒｏｃｅｓｓｉｎｇおよびその他の関連文献を参考にすることができる。

【0042】

領域成長
当業者には公知であるが、領域成長の基本思想は相似した性質をもつ画素を集めて領域を構成することである。まず、分割を要する各領域に対して１つのシード点を探し、その後、シード画素の周辺領域でシード画素と同じまたは相似した性質をもつ画素をシード画素の存在する領域に結合する。これらの新しい画素を新しいシード点として前記プロセスを繰り返し、条件を満足する画素点が無くなった時に拡張を停止する。

【0043】

このうち類似性準則は濃淡度、色彩、組織、グラデーションまたはその他の特性であってよい。類似性の度合いは閾値を確定して決定してよい。領域成長法の実現には３つのキーポイントがあり、（１）シード点の選択、（２）成長準則の確定、（３）領域成長停止の条件である。

【0044】

シード点の選択は原則として領域の代表的な点を抽出する必要があり１つの画素でよいが、複数の画素を含む領域でもよい。

【0045】

領域成長準則は原則としてシード点との相似度合いを評価する。領域成長準則はシード点との距離度を多く用いる。シード点は領域の拡張に連れて変化してもよいが、１つの固定数値を設定してもよい。領域成長の停止条件、徐々に変化しながら拡張している時に対する停止判断は非常に重要である。一般には成長準則に結合させて合理的に設定する。拡張停止判定の閾値は確定値でも、拡張に連れて変化する値でもよい。領域成長のその他の細部は ｈｔｔｐ：／／ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｒｅｇｉｏｎ＿ｇｒｏｗｉｎｇおよびその他の関連文献を参考にすることができる。

【0046】

路面関心領域（Ｒｅｇｉｏｎ ｏｆ Ｉｎｔｅｒｅｓｔ，ＲＯＩ）
本開示で言う「路面関心領域」（ＲＯＩ）は路面関心点の領域を探し出すのに用いる。できるだけ路面全体を含むことのできる領域を可能な限り探し出して路面関心領域ＲＯＩとする。

【0047】

路面関心点（Ｐｏｉｎｔ ｏｆ Ｉｎｔｅｒｅｓｔ，ＰＯＩ）
本開示で言う「路面関心点」（ＰＯＩ）は一般に前記「路面関心領域ＲＯＩ」中で選び、路面高度の平面フィッティングまたは直線フィッティングに用いる各参考点である。どのようにＰＯＩを選ぶかは路面高度の平面フィッティングまたは直線フィッティングの結果に重要な影響を与える。これらのＰＯＩがなるべく全て立体画像の実際の路面上に位置するようにＰＯＩを選ばなければならない。

【0048】

路面高度形状
本開示で言う「路面高度形状」は路面高度の（セグメントまたは複数のセグメント）直線関数または曲線関数（２次元概念）、路面高度の平面関数または曲面関数（３次元概念）を含む。このうち、本開示では、路面高度形状の値は画像画素の意味における路面高度であり、実際のシーンにおける路面のメートルまたはセンチメートルを単位とする本当の高度ではない。
２．発明を応用したハードウェアシステムの構成
図１は本発明を応用した各実施例のハードウェアシステム１００の構成例である。例えば、ハードウェアシステム１００は自動車に装着され車両の自動制御を行うことができる。例に示すように、本発明を応用した各実施例のハードウェアシステム１００は、二眼カメラ１０１、デコーダー１０２、記憶装置１０３、デジタル信号処理器１０４および車両制御モジュール１０５を含むことができる。当該二眼カメラ１０１の基準線の長さをｂとし、二眼カメラの左右２つの撮影レンズ間の距離を表し、左側の撮影レンズが道路シーンを撮影して左画像が得られ、右側の撮影レンズが同じシーンを撮影して右画像が得られ、当該二眼カメラ１０１は左画像と右画像を撮影してそれをデコーダー１０２に入力する。デコーダー１０２は受け取った左画像と右画像を視差図に転換する。当該視差図は記憶装置１０３に保存され随時、デジタル信号処理器１０４によって処理されて路面高度形状の推定およびその他の処理結果が得られる。デジタル信号処理器１０４で行われる処理は下記の参考図１−１０で詳細に説明する。デジタル信号処理器１０４の処理を経て得られた路面高度推定および／またはその他の処理結果は記憶装置１０３に保存され、同時に車両制御モジュール１０５に転送され、自動車に対して、例えば自動操縦、歩行者検出等のより進んだ自動制御が行われる。

【0049】

当然、この応用例は１つの例に過ぎず、また本発明に対する限定ではない。

【0050】

以下、更に具体的に前記デジタル信号処理器１０４によって路面高度推定が得られる処理プロセスを説明する。
３．第一実施例の路面高度形状推定方法の例
図２は第一実施例の路面高度形状推定方法２００の例である。道路シーン内の路面高度形状推定方法２００は、道路シーン視差図が得られ（Ｓ２０１）、前記視差図に基づいて路面関心領域を検知し（Ｓ２０２）、前記路面関心領域に基づいて複数の路面関心点を確定し（Ｓ２０３）、そして前記複数の路面関心点に基づいて路面高度形状を推定する（Ｓ２０４）ことを含む。

【0051】

当該方法２００は図１に示すデジタル信号処理器１０４で行うことができる。例えば、ステップＳ２０１では得たい道路シーンの視差図は図１の二眼カメラ１０１によって道路シーンを撮影して得られ、当該視差図の例は図４Ｂに見ることができる。通常、撮影した当該道路シーンには道路、建築物、歩行者、道端の障害物等々が含まれる。
３−１．路面関心領域検知の例示的なプロセス
図３は方法２００のステップ２０２の、前記視差図に基づいて路面関心領域検知ステップの例示的なプロセスである。

【0052】

前記視差図に基づいて路面関心領域検知ステップ（Ｓ２０２）が、前記視差図の下部視差図を選択し（Ｓ２０２１）、前記下部視差図を二値化処理して二値画像が得られ（Ｓ２０２２）、前記二値画像にモルフォロジー・エロージョンを行い（Ｓ２０２３）、モルフォロジー・エロージョン後の画像中の所定部分を選んで１つまたは複数のシードを設置し（Ｓ２０２４）、前記１つまたは複数のシードに基づいて領域成長を行い（Ｓ２０２５）、領域成長後に得られたブロックを路面関心領域とする（Ｓ２０２６）ことを含む。

【0053】

路面関心領域検知の目的は路面関心点を探し出すことである。一般的に路面は全て撮影した画像の下方にあり、参考図４Ａに示すとおりである。そこでＳ２０２１ステップでは、前記視差図（例えば図４Ｂ）の下部視差図（例えば図４Ｂの視差図の下半分）を選択し、これによってその後に行われる二値化、モルフォロジー・エロージョン、シードの設置、領域成長等々のステップの計算量を減少させることができる。

【0054】

ステップＳ２０２２では、前記下部視差図を二値化処理して二値画像が得られ、参考図４Ｃに示すとおりである。視差図の下部に対してだけ二値化が行われていることも見て取れる。

【0055】

仮に二値化の閾値をＴｄとし、もし画素点Ｐ（ｉ，ｊ）の視差値が閾値Ｔｄより小さければ、それを最大値とし、そうでなければそれを０とし、そこではｉ、ｊはそれぞれ視差図の横座標と縦座標を表すとすると、これによって二値化後の二値画像Ｉ（ｘ，ｙ）が得られ、ｘ，ｙはそれぞれ二値画像の横座標と縦座標を表す。

【0056】

二値画像が得られるメリットは、路面の路肩を含めて物体の輪郭をざっと捉えることができる点にあり、参考図４Ｃで、既に路面の路肩の輪郭が概略的に見えている。ここにおける二値画像は完全な黒白ではなく、黒またはグレーであるが、当然、これは例示に便利なように白い文字を加えただけであり、実際にはここの二値画像中のグレーは白さが最高の白色（即ち２５５）を表している。

【0057】

続いて、ステップＳ２０２３では、前記二値画像にモルフォロジー・エロージョンを行う。前記したように、モルフォロジー・エロージョンは物体の境界を内側に収縮させるプロセスであり、小さく無意味な物体を消去するのに用いることができる。モルフォロジー・エロージョンに用いる構造要素Ｔ（ｉ，ｊ）を選ぶ（通常は３ｘ３の行列）。以前に選んだ構造要素Ｔ（ｉ，ｊ）（例えば、その内部要素を、Ｔ（ｉ，ｊ）＝｛（−１，−１），（−１，０），（−１，１），（０，−１），（０，０），（０，１），（１，−１），（１，０），（１，１）｝とする）を用いて、前記ステップで得られた二値化画像Ｉ（ｘ，ｙ）をエロージョンし、エロージョン後の画像Ｃ（ｘ，ｙ）が得られる。

【数4】

【0058】

以上、エロージョン演算を行った公式は当業者には公知のものであり、これに限定するものではない。また当業者が公知とするその他のエロージョン演算方式を参考にしてエロージョンを行い同じ効果を実現してもよい。

【0059】

図４Ｄから、エロージョン後の画像が路面境界（例えば路面表示、路肩等、運転できる領域と運転できない領域を区分できる標識）をよりはっきりしたものに変えられたことが見て取れるが、これは図４Ｃの二値画像中の境界（例えば路面表示、路肩等、運転できる領域と運転できない領域を区分できる標識）内部の極めて小さな白点（図中ではグレー表示）が消去されたからである。このようにするメリットは、路面境界を探し出すのをより容易にし、かつ次のシードの領域成長（以下に詳述する）が路面境界内部の微小白点（またはグレー点）によって誤って路面外部に拡張されることのないようにすることにある。

【0060】

その後、ステップＳ２０２４では、モルフォロジー・エロージョン後の画像中の所定部分を選んで１つまたは複数のシードを設置する。当該所定部分は路面の一部をカバーするが路面境界をはみ出してはならない。路面は通常、車両の真ん前に位置し、このため車両運転中は、車両前方に寄った小さい領域が路面の一部である確率が比較的大きい。そこで、本実施例では、車両の真ん前の小さな三角形または台形領域を領域成長のシード点に選び、このようにしてこの所定部分が路面範囲内に存在し、路面境界をはみ出さないことをできる限り保証することができる。参考図４Ｅは、画像の真下に１つの小さな三角形を置いて当該所定部分とし、当該所定部分に１つまたは複数のシードを設置することができることを示している。

【0061】

シードの選択と設置はシードを基に領域成長した結果に影響を与える可能性がある。シードを基に領域成長した後に得られる領域を実際の路面形状にできる限り近づけるためには、なるべく路面である可能性が高い領域内にシードを選択するのがよく、同時に、少量のシードだともたらされるかもしれない不確定性をより多くのシードを選択することによって消去し領域成長の正確性を高めることもできる。

【0062】

ステップＳ２０２５では、前記の選択と設置した１つまたは複数のシードに基づいて領域成長を行う。前に専門用語と専門語彙の章で説明したように、領域成長はシード画素の周辺近傍領域でシード画素と同じまたは相似した性質をもつ画素をシード画素の存在する領域に結合し、これらの新しい画素を新しいシード点として前記プロセスを繰り返し、条件を満足する画素点が無くなった時に拡張を停止することを含む。

【0063】

ここで１つ問題となるのは、時々、路面境界がかなり曖昧かつ不連続で、領域成長のプロセスが道路境界を越え路面以外の領域に伸びてしまいかねないことである。この状況に対しては少なくとも以下の３つの解決方法がある。

【0064】

方法１は、時として路面境界が曖昧であるとしても、それは確かに運転できる領域（例えば、路面）と運転できない領域（例えば路肩、緑地帯、路辺その他建築等）の間に存在する、と言うのは運転できる領域と運転できない領域、または路面と称する領域と非路面領域とは異なる色、模様または高度等を有するからである。この特性により、１つの比較的低い閾値Ｔｄを設定して例え曖昧な道路境界でも容易には越えさせないようにし、領域成長が過度に広がることを防止することができる。

【0065】

方法２は、比較的大きな構造要素Ｔ（ｉ，ｊ）（例えば５ｘ５の行列等々）を用い二値画像をエロージョンして、路面と非路面領域を分割する。

【0066】

方法３は、領域成長の他のパラメータを調整して、比較的大きな近傍領域ウィンドウを設置することであり、このように領域成長すれば微小で不連続な道路境界の隙間を通り抜けることができず道路境界の外側まで成長することもない。

【0067】

そこで、仮に領域成長したとした場合に得られるブロックを参考図４Ｆのように示す。更に参考図４Ｇによって異なる道路シーン中でシードの設置と領域成長を行った実体模倣結果を示すことができる。見て分かるように、本発明の実施例のシードの設置と領域成長の結果は全て比較的正確にそして信頼性高く実際の路面と同じまたは近似した路面ブロックを探し出せている。

【0068】

ステップＳ２０２６では、領域成長後に得られたブロックを路面関心領域（ＲＯＩ）とする。一点説明を要することは、この路面関心領域ＲＯＩは決して路面領域全体とは等しくないかもしれないことで、路面領域全体より小さいかまたは等しいかもしれない。これは本実施例において、この路面の高度推定計算は信頼できる一部の路面領域を必要とするだけでその後の路面高度推定を行っており、このため路面全体の検知を必要としていないからである。また路面領域全体と比較して、路面領域全体より小さいかまたは等しい路面関心領域ＲＯＩは検知がしやすく、このようにして計算量を更に減少させることができる。また、小さいけれど信頼できる路面領域を検出して路面高度推定を行うので、路面高度推定を更に正確にすることができる。
３−２．路面関心点確定の例示的なプロセス
路面関心点の確定に用いるステップＳ２０３では、前記路面関心領域（ＲＯＩ）に基づいて複数の路面関心点（ＰＯＩ）を確定することができる。図５は路面関心点を確定するステップＳ２０３の例示的なプロセスである。このステップＳ２０３は具体的には、前記路面関心領域に対して後処理を行い（Ｓ２０３１）、後処理した路面関心領域と前記視差図の交わり部分を前記複数の路面関心点とする（Ｓ２０３２）ことを含む。
３−２−１． 路面関心領域後処理の例示的なプロセス
図６の（ａ）から（ｉ）は路面関心領域に対して後処理を行う３つの例示的なプロセスであえる。

【0069】

ステップＳ２０３１の後処理は、（１）前記路面関心領域に対しモルフォロジー・ダイレーションを行い、モルフォロジー・ダイレーション後の路面関心領域を後処理後の路面関心領域とし、（２）前記路面関心領域の路面輪郭を抽出し、前記路面輪郭に対しモルフォロジー・ダイレーションを行い、前記モルフォロジー・ダイレーション後の路面輪郭を後処理後の路面関心領域とし、そして（３）前記路面関心領域の路面輪郭を抽出し、前記路面輪郭に対しモルフォロジー・ダイレーションを行い、前記モルフォロジー・ダイレーション後の路面輪郭が囲むブロックを後処理後の路面関心領域とすることのうちの一つを含む。

【0070】

具体的には、もし上述した後処理方法（１）を用いるなら、路面関心点を確定するのに用いるステップＳ２０３に基づいて路面関心領域ＲＯＩ中の全ての点を選択し路面関心点ＰＯＩとし、参考図６の（ａ）−（ｃ）の示すとおりである。代替として、もし上述した後処理方法（２）を用いるなら、路面関心領域ＲＯＩの輪郭またはその付近の点を選択し路面関心点ＰＯＩとし、参考図６の（ｄ）−（ｆ）の示すとおりである。代替として、もし上述した後処理方法（３）を用いるなら、路面関心領域ＲＯＩ輪郭内の全ての点を選択し路面関心点ＰＯＩとし、参考図６の（ｇ）−（ｉ）の示すとおりである。

【0071】

上述した３つの方法（１）−（３）はそれぞれ特徴があり、実際状況に応じて最良の方法を選べばよいが、その目的は全て路面高度形状をより表すことのできる路面関心点ＰＯＩを確定するためであり、これらの路面関心点ＰＯＩによってより正確に以下に述べる路面高度形状推定ができる。
３−３． 路面高度形状推定の例示的なプロセス
路面高度形状推定に用いるステップＳ２０４は、（ａ）前記複数の路面関心点に基づいて、前記視差図中で同じ距離Ｄおよび同じ水平座標Ｘを有する最低点を選んで各路面候補点とし、前記路面候補点に基づいて路面の平面フィッティングを行い前記路面高度形状が得られ、そして（ｂ）前記複数の路面関心点をＶ視差図投影し、前記Ｖ視差投影中で同じ距離Ｄを有する最低点を選んで各路面候補点とし、前記路面候補点に基づいて路面のセグメントまたは複数のセグメントの直線フィッティングを行って前記路面高度形状が得られることのうちの一つを含む。

【0072】

上述の方法（ａ）は簡単に路面平面フィッティングと言うことができる。

【0073】

まず路面関心点ＰＯＩにより路面候補点を選ぶ必要がある。実際の３Ｄ環境では、路面は通常その他の物体の底部に位置している。このため道路シーン画像中では、路面も画像の下部に位置するので、高度特徴により路面候補点の選択を行う。例えば、同じ座標Ｘと同じ距離Ｄ（または同じ視差値ｄ）を有しているそれらの点に対して、最小ｙ座標値を有する点（即ち、最低点）を選んで各路面候補点とすることができる。この処理プロセスを経て、点のデータは更に減少し、また路面より高すぎる夾雑点を除去でき、このようにして路面候補点が確実に実際の路面上に位置する確率をできる限り高めることもできる。

【0074】

その後、選択した路面候補点を利用して３次元空間における路面の平面フィッティングを行うが、これは実際の路面が３次元空間では通常平面だからである。路面平面フィッティングを行った後、路面平面の各種パラメータが得られることができ、即ちフィッティングの得られたこの路面高度形状（路面平面）を路面高度の関数、例えばｈ（ｘ，ｙ，Ｄ）またはｈ（ｘ，ｙ，ｄ）（即ち、立体空間中で横座標ｘ、縦座標ｙ、深度距離Ｄまたは横座標ｘ、縦座標ｙ、視差値ｄが確定する路面上のある１点の高度）とすることができる。
代替として、上述の方法（ｂ）は簡単に路面直線フィッティングと言うことができる。その処理プロセスは、以下のステップを含む。

【0075】

路面候補点を選ぶ前に、先に路面ＰＯＩに対して側面投影を行いＶ視差図を作成する。元の視差図で、各画素点は３次元空間の１つの点（Ｕ−水平次元、Ｖ−垂直次元、Ｄ−深度次元）を表示する。側面を垂直平面（Ｖ−垂直次元、Ｄ−深度次元）に投影した後、全ての画素点のＵ座標が消失し、この新しく生まれた映写画像がＶ視差図となる。Ｖ視差図中の値は元の視差図中の画素点のＵ方向における累積個数である。ここではＶ視差図だけを利用して直線フィッティングを行いフィッティング点の数が大きく減少するので計算量を減少させる。参考図７でこのＶ視差図投影をより容易に理解することができる。図７はＶ視差図投影を行う異なる道路シーンの実際の応用例である。

【0076】

その後、路面候補点を選ぶ。元の視差図では、路面は通常画像の中央から下部に位置するので、Ｖ視差図投影後、路面点は依然画像の底部に位置するはずである。そのため高度特徴によって路面候補点の選択を行う。Ｖ視差図中で、同じ視差値ｄ（または同じ深度距離Ｄ）を有する画素点に対し、最小ｙ座標値を有する点（即ち最低点）だけを選び各路面候補点とする。図７に示すように、ＰＯＩによるＶ視差図例では、見たところ道路線上方に夾雑点があるように見え、この最低点選択の処理プロセスを経て、路面より高すぎる夾雑点を除去でき、また点のデータは更に減少し、このようにして路面候補点が確実に実際の路面上に位置する確率をできる限り高めることもできる。

【0077】

その後、選択した路面候補点を利用してＶ−Ｄ２次元空間（即ちＶ視差図）内の路面の直線フィッティングを行い、路面直線の各種パラメータが得られることができ、即ちフィッティングしたこの路面高度形状（路面直線）を路面高度の関数、例えばｈ（Ｄ）またはｈ（ｄ）（即ち、Ｖ視差図で深度距離Ｄまたは視差値ｄが確定する路面上のある１点の高度）とすることができる。当然、路面は常に真っ直ぐというわけではないので、時には区分した直線フィッティングが必要となることもあり、多くの路面直線の各種パラメータが得られる。

【0078】

ここでは、最小二乗法、Ｈｏｕｇｈ変換法等、色々な直線フィッティング方法を使用することができる。当然、現実世界の路面は常に平らというわけではなく、上り坂、下り坂等の道路類型がある。そのため分割直線の道路モデルを用いて道路側面輪郭を表現し、路面高度形状とすることもできる。各分割直線では、引き続き従来の直線フィッティング方法を用いて直線パラメータを取得することができる。本実施例で、もし分割直線の道路モデルを用いまたＨｏｕｇｈ変換を用いて分割直線フィッティングを行った場合、Ｖ視差図中で路面の分割直線フィッティングを行った結果が得られることができ参考図９に示す。
図８Ａと８Ｂは本発明実施例により得られた路面高度検知と既存技術の従来方式により得られたＶ視差図投影と路面高度推定結果の比較概念図である。

【0079】

本発明は、参考図８Ａと８Ｂに示すように、路面関心領域および路面関心点を利用してＶ視差図投影と直線フィッティングを行うので、本発明実施例は従来方法によってＶ視差図全体の投影を利用して路面検知を行うのと比べ、実際路面より高いおよび実際路面より低い夾雑点を消去することができ、より正確に路面高度検知と推定を行うことができ、道路標識に頼ることがなく、同時に計算量も減少する。
３−４． 対象の実際高度推定の例示的なプロセス
図１０は本発明の推定した路面高度形状に基づいて得られた路面点の例である。つまり、これらの路面点は全て路面の高度を有する。本発明実施例を推定して例えば図１０に示すような路面高度形状推定（平面推定か直線推定かを問わず）が得られた後、前記路面高度形状（例えば、ｈ（ｘ，ｙ，ｄ）またはｈ（ｄ））に基づいて道路シーン中の実際のある対象の実際の高度を推定する。

【0080】

以下、Ｈｏｕｇｈ変換を用いて直線の路面高度形状ｈ（ｄ）を推定するのを例に前記路面高度形状に基づいてどのように路面上のある対象の実際高度を推定するかを説明する。
まず、推定した路面高度形状ｈ（ｄ）により、この対象の具体的距離Ｄ’について、前記距離Ｄ’に対応する路面高度ｈ（ｄ）が得られ、このうちｄは距離Ｄ’に対応する視差値を表す。

【0081】

その中で、

【数5】

【0082】

ここで、ｈ（ｄ）は路面高度、ｄは距離Ｄ’地点の視差図である。ρとθはＨｏｕｇｈ変換を用いて推定した路面直線のパラメータである。ここにおける路面高度ｈ（ｄ）は実際の路面高度ではなく、画像座標高度（単位は画素）である。

【0083】

その後、次の公式によりこの対象の実際高度ｈｓ（Ｄ’）が得られる。

【数6】

【0084】

このうち、ｂは視差図を撮影するのに用いる二眼カメラの基準線の長さを表し、ｖは前記二眼カメラに関する所定オフセット値を表し、ｙは視差値ｄを有する画素点の縦座標を表す。このうち、ｂとｖは全て二眼カメラ出荷時固有のパラメータである。この実際高度ｈｓ（Ｄ’）の単位はメートルまたはセンチメートルでよい。

【0085】

このように、正確で効率良く路面を検知し及び／または路面高度形状を推定することを通じて、得られた路面高度形状を利用して、路面シーン中の対称、例えば歩行者、車両、建築物等の実際の高度推定だけに限られず、自動道路運転、車両検知、歩行者検知等々の対車両制御アプリケーションへの更なる応用も含むその他の各種応用を行うことができる。

【0086】

本発明の実施例の方法により複雑な路面状況を処理する事ができ、道端の溝、高架橋付近の建築物等の夾雑物に対し比較的強いロバスト性を有し、路面より高すぎる物体または路面より低すぎる物体を効率よく除去し、路面高度検知結果を比較的信頼できる正確なものにすることができる。

【0087】

前記既存技術による視差図全体を用いて路面高度推定を行うのに比べ、本発明においては、路面関心領域と関心点の検知を先に行い、これに基づいて路面高度推定方式をもう一度行い路面より高すぎる物体および路面より低すぎる物体を除くことができ、これによってより正確に路面である可能性を有する領域を探し出すことができる。これと同時に、限られた数の路面関心点だけを使って路面の直線／平面フィッティングを行い路面の高度形状が得られるため、その計算量は大きく減少する。

【0088】

如何に正確に道路である可能性を有する領域を探し出すかは路面高度推定にとって非常に有用であり、従って本発明の実施例の路面関心領域を検知し最も道路である可能性を有する領域を探し出すことは、より正確な路面高度推定を進める上で大きな助けとなる。路面関心領域が道路路面全体の領域より大きくないので、路面全体に比べてより検知しやすくなり、検知精度と信頼性を増し計算量を大きく減少させる。

【0089】

既存技術で路面表示を使用して路面高度推定を行うが、本発明では路面関心領域と関心点の検知を先に行い、これに基づいて路面高度推定方式をもう一度行い路面表示やその他の道路標識に頼ることがないので、異なるかつ複雑な道路類型に対して比較的高い適応性を有する。
４．第二実施例の路面高度形状推定のシステム例
図１１は第二実施例の道路シーン中で路面高度形状を推定するシステム１１００の例である。

【0090】

道路シーン内路面高度形状推定システム１１００は、道路シーン視差図が得られる装置１１０１、前記視差図に基づいて路面関心領域を検知する装置１１０２、前記路面関心領域に基づいて複数の路面関心点を確定する装置１１０３、そして前記１つまたは複数の路面関心点に基づいて路面高度形状を推定する装置１１０４を含む。

【0091】

当然、当該システム１１００は例えば前記参考図１−１０に説明した各実施例の方法やステップを実現するのに用いるその他の装置を含むことができるが、ここでは一つ一つ繰り返して述べない。

【0092】

本発明の実施例のシステムにより複雑な路面状況を処理する事ができ、道端の溝、高架橋付近の建築物等の夾雑物に対し比較的強いロバスト性を有し、路面より高すぎる物体または路面より低すぎる物体を効率よく除去し、路面高度検知結果を比較的信頼できる正確なものにすることができる。

【0093】

前記既存技術による視差図全体を用いて路面高度推定を行うのに比べ、本発明においては、路面関心領域と関心点の検知を先に行い、これに基づいて路面高度推定方式をもう一度行い路面より高すぎる物体および路面より低すぎる物体を除くことができ、これによってより正確に路面である可能性を有する領域を探し出すことができる。これと同時に、限られた数の路面関心点だけを使って路面の直線／平面フィッティングを行い路面の高度形状が得られるため、その計算量は大きく減少する。

【0094】

如何に正確に道路である可能性を有する領域を探し出すかは路面高度推定にとって非常に有用であり、従って本発明の実施例により路面関心領域を検知し最も道路である可能性を有する領域を探し出すことは、より正確な路面高度推定を進める上で大きな助けとなる。路面関心領域が道路路面全体の領域より大きくないので、路面全体に比べてより検知しやすくなり、検知精度と信頼性を増し計算量を大きく減少させる。

【0095】

既存技術で路面表示を使用して路面高度推定を行うが、本発明では路面関心領域と関心点の検知を先に行い、これに基づいて路面高度推定方式をもう一度行い路面表示やその他の道路標識に頼ることがないので、異なるそして複雑な道路類型に対して比較的高い適応性を有する。

【0096】

しかも、正確で効率良く路面を検知しそして／または路面高度形状を推定することを通じて、得られた路面高度形状を利用して、路面シーン中の対象、例えば歩行者、車両、建築物等の実際の高度推定だけに限らず、自動道路運転、歩行者検知等々の対車両制御アプリケーションへの更なる応用も含むその他の各種応用を行うことができる。

【0097】

本開示に関する部品、装置、設備、システムの例示的なブロック図は例示的な例に過ぎず、必ずブロック図に示す方法に従って接続、配列、配置することを意図または暗示していない。当業者が知り得た方法、いずれの方法でこれらの部材、装置、設備、システムを接続、配列、配置してもよい。例えば、「含める」「含む」「有す」などの用語は開放性用語であり、「含むが、それに限定されない」を指し、互いに互換使用できる。ここで使用している用語「または」と「及び」は単語「及び／または」を指し、互いに互換使用できる。文脈で明確に指し示していなければ、こうではない。ここで使用している用語「例えば」は、連語「例えば〜だが、それに限定されない」を指し、また互いに互換使用できる。
本開示のステップフローチャート及び以上の方法説明は例示的な例に過ぎず、必ず示した順序に従って各実施例のステップを実施することを意図または暗示していない。当業者が知り得た順序、いずれか順序で以上の実施例内のステップの順序を行ってもよい。例えば「その後」「それから」「次に」などの用語には、ステップの順序を限定する意図はない。これらの用語は、読者がこれらの方法の説明を通読するのを誘導するのに用いるに過ぎない。このほか、例えば冠詞「ひとつ」「一」または「該」を使用した単数に対する要素のいかなる引用も該要素を単数に限定するとは解釈されない。

【0098】

公開された方面の以上説明を提供することで、当業者が本発明を作成または使用できるようにしている。これら方面への各種修正は、当業者にとって非常に明らかなものであり、またここで定義している一般原理はその他方面で本発明を逸脱しない範囲で応用できる。そのため、本発明はここに示した方面に限定される意図はなく、ここで開示している原理と新しい特徴と一致する最も広い範囲に従う。

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図4C】

【図4D】

【図4E】

【図4F】

【図4G】

【図5】

【図6】

【図7】

【図8A】

【図8B】

【図9】

【図10】

【図11】