特許 7152880 測距装置、測距システムおよび測距方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-10-04

(45)【発行日】2022-10-13

(54)【発明の名称】測距装置、測距システムおよび測距方法

(51)【国際特許分類】

   G01C 3/06 20060101AFI20221005BHJP

   G01B 11/245 20060101ALI20221005BHJP

【ＦＩ】

G01C3/06 120S

G01B11/245 H

【請求項の数】 8

(21)【出願番号】P 2018104431

(22)【出願日】2018-05-31

(65)【公開番号】P2019211219

(43)【公開日】2019-12-12

【審査請求日】2021-02-15

(73)【特許権者】

【識別番号】000004695

【氏名又は名称】株式会社ＳＯＫＥＮ

(73)【特許権者】

【識別番号】000004260

【氏名又は名称】株式会社デンソー

(73)【特許権者】

【識別番号】592032636

【氏名又は名称】学校法人トヨタ学園

(74)【代理人】

【識別番号】110000028

【氏名又は名称】弁理士法人明成国際特許事務所

(72)【発明者】

【氏名】西野 咲子

(72)【発明者】

【氏名】テヘラニニキネジャド ホセイン

(72)【発明者】

【氏名】シュー ユーチュエン

(72)【発明者】

【氏名】三田 誠一

【審査官】信田 昌男

(56)【参考文献】

【文献】特開２０１５－１１４２６９（ＪＰ，Ａ）

【文献】国際公開第２０１７／１０４５７４（ＷＯ，Ａ１）

【文献】特開２０１１－２１０２４６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｃ ３／０６

Ｇ０１Ｂ １１／２４５

(57)【特許請求の範囲】

【請求項1】

測距装置（３０）であって、
複数の画像のうちの一つの画像である基準画像（ＰＬ，ＰＬ２）から抽出した一つの画素である基準画素（Ｌａ）の画素値と、前記複数の画像のうち前記基準画像とは別の画像である比較画像（ＰＲ，ＰＲ２）から抽出した比較画素（Ｒａ，Ｒｂ，Ｒｃ）の画素値との類似度の逆数により求められる前記基準画素と前記比較画素との非類似度を、前記基準画素のそれぞれについて演算する非類似度計算部（３２）と、
得られた前記基準画素に対する複数の前記比較画素の前記非類似度を用いて、前記基準画素または前記比較画素の少なくともいずれか一方が外乱である確率（Ｐ₀）を、前記基準画素のそれぞれについて演算する外乱推定部（３４）と、
前記確率によって重み付けした前記非類似度である重み付け非類似度を、前記基準画素のそれぞれについて演算する重み付け部（３６）と、
前記重み付け非類似度を用いて、前記基準画素のそれぞれに対応する前記比較画素である対応点を設定する対応点設定部（３８）と、を備え、
前記基準画素と前記対応点とのずれ量を用いて、前記基準画像に含まれる対象までの距離を決定する、
測距装置。

【請求項2】

請求項１に記載の測距装置であって、
前記外乱推定部は、複数の前記非類似度のうち、最も低い前記非類似度（ｃ₁）と、２番目に低い前記非類似度（ｃ₂）とを用いて、前記確率を求める、測距装置。

【請求項3】

請求項１または請求項２に記載の測距装置であって、
前記対応点設定部は、前記基準画素のそれぞれに対して前記比較画素を一つずつ選択し、一の基準画素に対して選択された一の比較画素の視差値と、前記一の基準画素に隣接する他の基準画素に対して選択された他の比較画素の視差値との差によって求められる視差変化量を用いて、前記基準画素のそれぞれに対応する前記対応点の組み合わせを決定する、測距装置。

【請求項4】

請求項３に記載の測距装置であって、
前記対応点設定部は、選択された前記比較画素の前記重み付け非類似度と、前記視差変化量との和が最小となるように前記組み合わせを決定する、測距装置。

【請求項5】

請求項１から請求項４のいずれか一項に記載の測距装置であって、
更に、前記基準画素ごとの前記ずれ量を平滑化する処理を行って前記ずれ量を補正する平滑処理部を備える、測距装置。

【請求項6】

請求項１から請求項５のいずれか一項に記載の測距装置であって、
前記測距装置は、車両（１００）に搭載され、
前記測距装置が夜間に使用される第一の場合、前記車両に備えられるワイパを稼働する第二の場合、前記車両に備えられるライトを点灯する第三の場合、のうち少なくともいずれか一つの場合に該当するときに、前記外乱推定部と前記重み付け部と前記対応点設定部との前記各処理を実行し、前記第一の場合と前記第二の場合と前記第三の場合とのいずれの場合にも該当しないときに、前記外乱推定部と前記重み付け部と前記対応点設定部との前記各処理を実行しない、測距装置。

【請求項7】

複数の画像を取得する画像取得部（２２）と、
前記請求項１から請求項６のいずれか一項に記載の測距装置と、を備える、
測距システム（２０）。

【請求項8】

複数の画像を取得する画像取得部を備える測距装置の測距方法であって、
前記複数の画像のうちの一つの画像である基準画像から抽出した一つの画素である基準画素の画素値と、前記複数の画像のうち前記基準画像とは別の画像である比較画像から抽出した比較画素の画素値との類似度の逆数により求められる前記基準画素と前記比較画素との非類似度を、前記基準画素のそれぞれについて演算する工程と、
得られた前記基準画素に対する複数の前記比較画素の前記非類似度を用いて、前記基準画素または前記比較画素の少なくともいずれか一方が外乱である確率を、前記基準画素のそれぞれについて演算する工程と、
前記確率によって重み付けした前記非類似度である重み付け非類似度を、前記基準画素のそれぞれについて演算する工程と、
前記重み付け非類似度を用いて、前記基準画素のそれぞれに対応する前記比較画素である対応点を設定する工程と、を備える、測距装置の測距方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、測距装置、測距システムおよび測距方法に関する。

【背景技術】

【0002】

ステレオカメラによって得られる画像のステレオマッチングにおいて、画素コストと接続コストとを用いる測距装置が知られている（例えば、特許文献１）。画素コストは、左右の画像のうち一方の画像に含まれる一つの基準画素と、他方の画像に含まれる比較画素との非類似度を表す。接続コストは、基準画素のそれぞれに対して比較画素を一つずつ選択した際の、隣り合う基準画素に対応するそれぞれの比較画素の間の位置ズレ量を表す。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１５－１１４２６９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

このような測距装置では、画素コストと、視差の変化量を表す接続コストとの和である合計コストが最小となるように対応点の組み合わせ（以下、「パス」とも呼ぶ）を計算して、視差が決定される場合がある。しかし、従来技術において、車両のワイパや、降雪などの悪天候による画像上の一時的なノイズが、視差を決定する場合にどのような影響をおよぼすかについて充分に検討されているとはいえない。発明者らは、画像内に一時的なノイズがある場合、従来の技術では画素コストを誤って算出し、この誤った画素コストがパスの計算に用いられることによって誤った視差が決定される場合がある、という課題を有することを見出した。

【課題を解決するための手段】

【0005】

本開示は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態又は適用例として実現することが可能である。
［形態１］
本開示の一形態によれば、測距装置（３０）が提供される。この測距装置は、複数の画像のうちの一つの画像である基準画像（ＰＬ，ＰＬ２）から抽出した一つの画素である基準画素（Ｌａ）の画素値と、前記複数の画像のうち前記基準画像とは別の画像である比較画像（ＰＲ，ＰＲ２）から抽出した比較画素（Ｒａ，Ｒｂ，Ｒｃ）の画素値との類似度の逆数により求められる前記基準画素と前記比較画素との非類似度を、前記基準画素のそれぞれについて演算する非類似度計算部（３２）と、得られた前記基準画素に対する複数の前記比較画素の前記非類似度を用いて、前記基準画素または前記比較画素の少なくともいずれか一方が外乱である確率（Ｐ ₀ ）を、前記基準画素のそれぞれについて演算する外乱推定部（３４）と、前記確率によって重み付けした前記非類似度である重み付け非類似度を、前記基準画素のそれぞれについて演算する重み付け部（３６）と、前記重み付け非類似度を用いて、前記基準画素のそれぞれに対応する前記比較画素である対応点を設定する対応点設定部（３８）と、を備える。前記基準画素と前記対応点とのずれ量を用いて、前記基準画像に含まれる対象までの距離を決定する。

【0006】

本開示の一形態によれば、測距装置（３０）が提供される。この測距装置は：複数の画像のうちの一つの画像である基準画像（ＰＬ，ＰＬ２）から抽出した一つの画素である基準画素（Ｌａ）と、前記複数の画像のうち前記基準画像とは別の画像である比較画像（ＰＲ，ＰＲ２）から抽出した比較画素（Ｒａ，Ｒｂ，Ｒｃ）との画素値から前記基準画素と前記比較画素との非類似度を、前記基準画素のそれぞれについて演算する非類似度計算部（３２）と；得られた前記基準画素に対する前記複数の比較画素の前記非類似度を用いて、前記基準画素または前記比較画素の少なくともいずれか一方が外乱である確率（Ｐ_０）を、前記基準画素のそれぞれについて演算する外乱推定部（３４）と；前記確率によって重み付けした前記非類似度である重み付け非類似度を、前記基準画素のそれぞれについて演算する重み付け部（３６）と；前記重み付け非類似度を用いて、前記基準画素のそれぞれに対応する前記比較画素である対応点を設定する対応点設定部（３８）と；を備える。前記基準画素と前記対応点とのずれ量を用いて、前記基準画像に含まれる対象までの距離を決定してよい。

【0007】

上記形態の測距装置によれば、非類似度は、外乱推定部によって演算された外乱である確率を考慮した重み付け非類似度として算出される。これにより、外乱の影響を受けて誤った視差を算出する不具合の発生が低減され、正しい視差を誤った視差に補正してしまう不具合が低減されることができる。

【0008】

上述した本発明の各形態の有する複数の構成要素はすべてが必須のものではなく、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、適宜、前記複数の構成要素の一部の構成要素について、その変更、削除、新たな他の構成要素との差し替え、限定内容の一部削除を行うことが可能である。また、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、上述した本発明の一形態に含まれる技術的特徴の一部または全部を上述した本発明の他の形態に含まれる技術的特徴の一部または全部と組み合わせて、本発明の独立した一形態とすることも可能である。

【図面の簡単な説明】

【0009】

【図1】測距システムを搭載した自動運転車両の概略構成を示すブロック図。

【図2】測距システムが実行する距離画像生成処理を示すフロー図。

【図3】測距システムが撮像した左画像および右画像の模式図。

【図4】非類似度計算部が視差と非類似度をマッピングした結果を表す説明図。

【図5】外乱推定部が画素ごとに外乱である確率を求めた結果を表す説明図。

【図6】重み付け部によって重み付けされた非類似度を表す説明図。

【図7】対応点設定部による対応点の設定方法を模式的に表す説明図。

【図8】取得した左右の画像から視差画像を生成する処理の説明図。

【発明を実施するための形態】

【0010】

Ａ．第１実施形態：
図１に示す自動運転車両１００は、駆動部制御とブレーキ制御と操舵角制御のすべてを自動で実行する車両である。自動運転車両１００は、測距システム２０と、制御部５０とを備えている。測距システム２０は、車両の前方を撮像し、その撮像画像に写った対象までの距離を算出する機能を有する。測距システム２０は、画像取得部２２と、測距装置３０とを備える。本明細書において、「自動運転」とは、ドライバ（運転者）が車両の運転操作を行うことなく、駆動部制御とブレーキ制御と操舵角制御のすべてを自動で実行する運転を意味する。

【0011】

画像取得部２２は、自動運転車両１００の前方を撮像範囲として、複数の画像を取得可能なカメラである。本実施形態において、画像取得部２２としては、一対の撮像画像を取得するステレオカメラを採用している。画像取得部２２は、自動運転車両１００の重力方向について同じ高さで、自動運転車両１００の進行方向の左右に離れた位置にそれぞれ配置される。画像取得部２２は、例えば白線の走路区画線と黄線の走路区画線を区別するために、対象物の色を識別可能なカラーカメラであることが好ましい。

【0012】

測距装置３０は、カメラＥＣＵであり、ＣＰＵとメモリとを含む回路である。測距装置３０は、不揮発性記憶媒体に格納されたコンピュータプログラムを実行することによって、非類似度計算部３２と、外乱推定部３４と、重み付け部３６と、対応点設定部３８と、距離画像生成部３９と、平滑処理部４０との機能をそれぞれ実現する。測距装置３０は、画像取得部２２によって撮影された左右の画像を基準画像及び比較画像として用いて、視差画像を生成する。視差画像は、基準画像に存在する物体までの距離を表す画像であることから、「距離画像」とも呼ぶ。なお、測距装置３０の機能の一部をハードウェア回路で実現するようにしてもよい。

【0013】

制御部５０は、複数のＥＣＵから構成される。制御部５０は、画像認識処理の結果を測距システム２０から取得し、衝突を回避するための駆動部制御とブレーキ制御と操舵角制御を実行する。

【0014】

図２に示すように、本実施形態の測距システム２０の各部によって、距離画像生成処理の各処理が実行される。ステップＳ１０において、画像取得部２２は、左右のカメラによって基準画像と、比較画像とを取得する。ステップＳ２０からステップＳ７０までの制御は、測距システム２０の測距装置３０の各部の制御によって実行される。

【0015】

ステップＳ２０において、非類似度計算部３２は、基準画素と比較画素との画素値から非類似度を計算する。より具体的には、ステップＳ２２において、非類似度計算部３２は、取得した基準画像から一つの基準画素を選択する。ステップＳ２４において、非類似度計算部３２は、選択された基準画素とＹ方向の同じ高さの一つの比較画素を選択する。ステップＳ２５において、非類似度計算部３２は、基準画素に対する比較画素の視差を計算する。ステップＳ２６において、非類似度計算部３２は、基準画素と比較画素との非類似度を算出する。ステップＳ２８において、非類似度計算部３２は、一つの基準画素に対して比較画像中の比較画素を全て選択したか否かを確認する。非類似度計算部３２は、比較画素を全て選択したと判定しない場合（Ｓ２８：ＮＯ）、ステップＳ２４の処理に戻る。非類似度計算部３２は、比較画素を全て選択したと判定した場合（Ｓ２８：ＹＥＳ）、ステップＳ２９において、基準画像中の基準画素を全て選択したか否かを確認する。基準画素を全て選択したと判定しない場合（Ｓ２９：ＮＯ）、非類似度計算部３２の処理は、ステップＳ２２に戻る。基準画素を全て選択した場合（Ｓ２９：ＹＥＳ）、すなわち、全ての基準画素に対して非類似度の算出を終了した場合、非類似度計算部３２による処理は終了し、ステップＳ３０の処理が実行される。

【0016】

ステップＳ３０において、外乱推定部３４は、後述する式（１）～（５）に、ステップＳ２０で算出された非類似度のうち最も低い非類似度および２番目に低い非類似度を用いて、基準画素が外乱である確率Ｐ_０（以下、単に「確率Ｐ_０」とも呼ぶ）を、基準画素ごとに算出する。ステップＳ４０において、重み付け部３６は、ステップＳ２０で算出された非類似度と、確率Ｐ_０とを掛け合わせた重み付け非類似度を算出する。

【0017】

ステップＳ５０において、対応点設定部３８は、ステップＳ４０において算出された重み付け非類似度と、接続コストとを用いて基準画素ごとに対応点を設定する。ステップＳ６０において、距離画像生成部３９は、基準画像と比較画像とから、距離画像としての視差画像を作成する。ステップＳ７０において、平滑処理部４０は、メディアンフィルタによって視差を平滑化する処理を行って、視差を補正した視差画像を得る。以上により、本実施形態の測距システム２０による距離画像生成処理は終了する。

【0018】

図３を用いて、非類似度計算部３２による視差値を算出する機能について説明する。図３には、画像取得部２２によって撮像された左画像ＰＬと、右画像ＰＲとを標本化した例が示されている。左画像ＰＬは、画像取得部２２の左側カメラによって撮像されたドットマトリクス型の画像を模式的に示したものである。同様に、右画像ＰＲは、画像取得部２２の右側カメラによって撮像されたドットマトリクス型の画像を模式的に示したものである。これらの画像の解像度は、ピクセル（pixel）単位で表される。図３の左画像ＰＬおよび右画像ＰＲは、技術の理解を容易にするため１４×８ピクセルで構成されているが、これに限定されず、１４×８ピクセルより大きい画素数で構成される画像であってもよい。なお、図中のＸ方向は画像の水平方向、Ｙ方向は画像の重力方向を表している。

【0019】

画像取得部２２の左右のカメラは、上述したように重力方向において同じ高さに配される。そのため、左画像ＰＬおよび右画像ＰＲは、重力方向の同じ高さであって、互いに水平方向の左右に離れたそれぞれの位置から、同一の方向である自動運転車両１００の前方を撮像した画像となる。よって、基準画像の行番号と比較画像の行番号との高さは互いに一致している。ここで、右画像ＰＲには、本実施形態の自動運転車両１００に搭載されたワイパＤｐが撮像されている。このワイパＤｐは、右画像ＰＲのみに撮像されたいわゆる外乱である。このワイパＤｐを、以下「外乱Ｄｐ」とも呼ぶ。本明細書において、外乱とは、画像取得部２２の左右のカメラのうち、一方のカメラのみに撮像されたオブジェクトを意味する。

【0020】

非類似度計算部３２は、基準画像から基準画素を抽出し、比較画像から比較画素を抽出し、基準画素と比較画素との画素値から非類似度を演算する機能を有する。本実施形態の非類似度計算部３２は、左画像ＰＬを基準画像として用いる。以下、左画像ＰＬを基準画像ＰＬとも呼ぶ。非類似度計算部３２は、基準画像ＰＬを構成する画素のうち一つの画素を基準画素として選択し、これを順に繰り返して基準画像ＰＬの全て画素を選択する。基準画素の選択の順序は、どのような順序であってもよい。本実施形態では、非類似度計算部３２は、初めに左上の画素を基準画素として選択し、１画素ずつ順に右にずらしていく。非類似度計算部３２は、基準画素を右端まで選択したら、Ｙ方向について１画素分を下にずらして、左端から同様に継続する。このようにして、全ての画素が基準画素として選択される。本実施形態において、基準画素が選択されると、基準画素を取り囲む８つの周辺画素も付随して選択される。基準画素および周辺画素を取り囲む矩形状の領域は、窓と呼ばれる。本実施形態において、窓は、１辺を３画素とする正方形である。窓の１辺は３画素には限定されず、２画素であってもよく、４画素以上であってもよい。

【0021】

本実施形態の非類似度計算部３２は、右画像ＰＲを比較画像として用いる。以下、右画像ＰＲを比較画像ＰＲとも呼ぶ。なお、測距システム２０は、右画像ＰＲを基準画像とし、左画像ＰＬを比較画像とする態様であってもよい。比較画素を選択する際においても、窓に含まれる周辺画素が付随して選択される。比較画素として選択対象になるのは、比較画像ＰＲのうち、基準画素とＹ方向の位置、すなわち高さ、が一致する画素である。比較画像ＰＲからの比較画素の抽出には、テンプレートマッチング（template matching）（「ブロックマッチング」とも呼ぶ）が用いられる。本実施形態では、窓間の類似度の算出には、ＮＣＣ（Normalized Cross Correlation）が用いられる。なお、類似度の算出にＳＡＤ（Sum of Absolute Difference）もしくはＳＳＤ（Sum of Squared Difference）が用いられてもよい。類似度とは、比較する画素を含む窓同士の画素値の類似の程度を数値化したもののことである。本実施形態において、類似度は、０から１の範囲で表され、１に近いほど類似していることを示す。本明細書において、画素値とは、画素の明るさに相当する値である濃度値（「輝度値」とも呼ぶ）のことである。本実施形態の画素値には、ＲＧＢの濃度値が用いられる。撮像された画像がカラー画像である場合には、ＲＧＢの各濃度値をそれぞれＲ，Ｇ，Ｂと表した以下の式（ａ）によって表される輝度Ｙの値が用いられてもよい。
Ｙ＝０．２９９Ｒ＋０．５８７Ｇ＋０．１４４Ｂ …（ａ）

【0022】

非類似度計算部３２は、比較画素の選択に伴い、基準画素と比較画素とのずれ量である視差値を決定する。視差値は、ピクセル（pixel）単位で表される。図３の基準画像ＰＬでは、Ｘ方向において左から６ピクセル、Ｙ方向において上から４ピクセルの位置の画素が、基準画素Ｌａとして選択された例が示されている。以下、Ｘ方向の位置が左からｎピクセル目の位置であることを、Ｘ＝ｎと表記する。図３の比較画像ＰＲでは、Ｘ＝２に位置する比較画素Ｒａと、Ｘ＝６に位置する比較画素Ｒｂと、Ｘ＝１０に位置する比較画素Ｒｃとが選択された例が示されている。比較画素Ｒｂの場合、基準画素Ｌａに対する視差値はゼロである。一方、比較画素Ｒｃの場合、基準画素Ｌａに対する視差値は－４ピクセルであり、比較画素Ｒａの場合、基準画素Ｌａに対する視差値は４ピクセルである。このように、非類似度計算部３２は、着目した基準画素とＹ方向の位置が一致する各比較画素との視差値を、各基準画素に対して決定する。

【0023】

図４を用いて、非類似度計算部３２による非類似度を算出する機能について説明する。非類似度計算部３２は、基準画素と比較画素との非類似度の結果を、節点（node）として格子状にマッピングする。図４の横軸は、基準画像ＰＬのＸ方向における１ピクセル毎の基準画素の位置を表す。図４の縦軸は、基準画素に対応する比較画素の視差値を表す。節点はＸ方向の画素数や視差値に相当する数をマッピングされるが、技術の理解を容易にするため、図４では図示を省略して一部の節点のみが示されている。本実施形態において、非類似度とは、一つの基準画素を含む窓と、一つの比較画素を含む窓との画素値の非類似の程度を数値化したものを表し、画素コストとも呼ばれる。非類似度は、窓同士の非類似の程度には限定されず、画素同士の非類似の程度を数値化したものであってもよい。非類似度は、１／（類似度）として、類似度の逆数とする式によって表される。非類似度は、大きい数値であるほど非類似であることを示す。

【0024】

非類似度計算部３２は、基準画像ＰＬ内の各基準画素に対する各比較画素との非類似度を、視差ごとにマッピングする。図４の例では、Ｙ方向において上から４ピクセルの位置を高さとする基準画素が選択された場合の例を表している。この図４に例示されたような非類似度のマッピングは、基準画素の高さ分、すなわち基準画像ＰＬの例において８行分である８組分を作成される。

【0025】

本実施形態の測距装置３０が備える外乱推定部３４の機能を説明する。外乱推定部３４は、上述した非類似度計算部３２によって算出された非類似度を用いて、基準画素または比較画素の少なくともいずれか一方が外乱である確率を、基準画像ＰＬ内の基準画素のそれぞれについて演算する。はじめに、外乱推定部３４は、以下の式（１）、式（２）を用いて、ＭＳＭ（the matching score measure）法による信頼度Ｃ_ＭＳＭと、ＰＫＲＮ（peak-ratio naive）法による信頼度Ｃ_PＫＲＮとを演算する。

【0026】

【数1】

【数2】

【0027】

ｃ_１は最小の非類似度の値を表し、ｃ_２は２番目に小さい非類似度の値を表し、σは算出した非類似度の標準偏差を表している。これにより、統計上の外れ値（アウトライヤー（Outlier）とも呼ぶ）の影響が低減されている。次に、外乱推定部３４は、以下の式（３）、式（４）を用いて確率を演算する。

【0028】

【数3】

【数4】

【0029】

Ｎ_１およびＮ_２は、カメラや使用状況などの特性に応じて定まる固定値である。本実施形態において、Ｎ_１＝１０、Ｎ_２＝１の値が用いられる。最後に、外乱推定部３４は、基準画素または比較画素の少なくとも一方が外乱である確率Ｐ_ｏを、Ｐ_ＭＳＭとＰ_PＫＲＮを用いた以下の式（５）を用いて演算する。確率Ｐ_ｏは、基準画素ごとに算出される。

【0030】

【数5】

【0031】

図５には、基準画像ＰＬのＹ方向の上から４ピクセルの高さの基準画素の列での基準画素ごとに算出された確率Ｐ_ｏの一部を例示している。このように、統計上の外れ値の影響を低減した信頼度を用いて、基準画素または比較画素の少なくとも一方が外乱である確率が算出される。この外乱である確率を導入して非類似度を算出することによって、外乱の影響を低減した視差が得られる。

【0032】

図６を用いて、本実施形態の測距装置３０が備える重み付け部３６の機能について説明する。節点はＸ方向の画素数や視差値に相当する数をマッピングされるが、技術の理解を容易にするため、図６では図示を省略して一部の節点のみが示されている。重み付け部３６は、重み付け非類似度を演算する機能を備える。重み付け非類似度とは、非類似度計算部３２によって算出された非類似度を、外乱推定部３４によって算出された上述の確率Ｐ_０によって重み付けされた非類似度である。重み付け非類似度は、マッピングされた各基準画素の非類似度（図４参照）に、Ｘ方向の列ごとの確率Ｐ_０（図５参照）を掛け合わせて求められる。例えば、図６の列Ｘ１のすべての非類似度には、図５のＸ＝１の場合の確率Ｐ_０＝１が掛け合わせられ、図６の列Ｘ２のすべての非類似度には、図５のＸ＝２の確率Ｐ_０＝０．１が掛け合わせられる。すなわち、マッピングされた節点の視差間では、掛け合わせられる確率Ｐ_０は同じである。図６の各節点には、技術の理解を容易にするため、非類似度と確率Ｐ_０とを掛け合わせた状態、すなわち算出途中の状態、の重み付け非類似度が示されている。また、図６では、Ｙ方向の上から４ピクセルの位置を高さとする基準画素が選択された場合の例が示されている。重み付け部３６は、重み付け非類似度を全ての高さの基準画素に対して算出する。すなわち、この図６に例示されたような重み付け非類似度の算出は、基準画素の高さ分、すなわち基準画像ＰＬの例において８行分である８組分を実行される。

【0033】

図７を用いて、本実施形態の測距装置３０が備える対応点設定部３８および距離画像生成部３９の機能について説明する。図７では、図６と同様に技術の理解を容易にするため一部の節点の図示が省略されている。対応点設定部３８は、ビタビアルゴリズムを用いて、重み付け部３６が算出した重み付け非類似度から基準画素のそれぞれに対応する比較画素である対応点を設定する。ビタビアルゴリズムとは、尤もらしい経路を探索する動的計画法アルゴリズムの一種である。対応点設定部３８は、基準画像の全ての高さに対して対応点を設定し、全ての基準画素に対して対応点を設定する。

【0034】

本実施形態のビタビアルゴリズムには、マルチパスビタビアルゴリズム（Multi-path Viterbi Algorithm）を採用している。本実施形態のビタビアルゴリズムでは、上述した重み付け非類似度と、Ｘ方向において隣り合う基準画素に対応する節点間の位置ズレ量である視差変化量（以下、「接続コスト」とも呼ぶ）とが用いられる。ビタビアルゴリズムの計算対象となる接続コストの候補の数は、一つの節点に対して、Ｘ方向に隣接する画素の節点の数である。対応点設定部３８は、重み付け非類似度と、接続コストとの和を算出する。対応点設定部３８は、この和の値が最も小さくなる節点の組み合わせを、基準画像の一つの高さにおける対応点の組み合わせとして設定する。対応点設定部３８は、これを基準画像の全ての高さについて繰り返し、基準画像中の全ての基準画素に対して対応点を設定する。

【0035】

図７には、節点ＮＰ１～ＮＰ５と、一つの節点から隣接する節点への接続を模式的に表す４つの矢印Ｄ１～Ｄ４と、が例示されている。この各矢印の近傍には、各矢印に対応する接続コストを表す数値が模式的に表されている。接続コストは、視差の変化量が小さいほど低く設定される。本実施形態において、同じ視差値の隣り合う節点間の接続コストはゼロであり、接続される節点の視差値が１ピクセルずれるごとに、接続コストは１ずつ増加する。図７の例では、矢印Ｄ１に対応する接続コストは、節点ＮＰ１と同じ視差値の節点ＮＰ２との間の接続コストであり、ゼロである。節点ＮＰ２と節点ＮＰ３との間の矢印Ｄ２の接続コストも同様にゼロである。したがって、図示を省略した部分を除き、節点ＮＰ２を経由する節点ＮＰ１から節点ＮＰ３までの重み付け非類似度と接続コストとの和である合計コストは、２．５となる。他方、節点ＮＰ１と節点ＮＰ４との間の矢印Ｄ３では、節点ＮＰ１と節点ＮＰ４との間で視差値が２ピクセルずれているため、接続コストは２である。したがって、図示を省略した部分を除き、節点ＮＰ４を経由する節点ＮＰ１から節点ＮＰ５までの重み付け非類似度と接続コストとの和である合計コストは、４．６となる。

【0036】

対応点設定部３８は、このように重み付け非類似度と接続コストとの和を、全ての節点の組み合わせで算出し、重み付け非類似度と接続コストとの和が最小となる組み合わせを対応点として設定する。図７では、節点ＮＰ２を経由する節点ＮＰ１から節点ＮＰ３までの組み合わせは、重み付け非類似度と接続コストとの和が、全ての組み合わせの中で最も小さいものとする。このとき、対応点設定部３８は、節点ＮＰ１，ＮＰ２，ＮＰ３に対応する画素の組み合わせを対応点として設定する。対応点設定部３８は、この対応点の設定を基準画像の高さごとに実行し、すべての基準画素に対して対応点を設定する。このように本実施形態の測距システム２０によれば、マルチパスビタビアルゴリズムによって、重み付け非類似度と視差変化量との総和が最小値となる対応点の組み合わせによる最適化が実行される。視差変化量の値が大きいほど、誤った視差を抽出している可能性が高くなる。本実施形態の測距システム２０は、対応点の設定に、図中のＤ１からＤ４に示される視差変化量を利用する。そのため、誤った視差を抽出する可能性を低減したうえで対応点の組み合わせが得られる。また、既存のマルチパスビタビアルゴリズムの適用により、より簡易な方法によって最も尤もらしい並びの重み付け非類似度を設定することができる。また、視差変化量を用いず重み付け非類似度のみによって対応点を設定する態様と比較して、外乱の影響による誤った重み付け非類似度が選択されることによって誤った視差が決定される不具合の発生を抑制することができる。

【0037】

距離画像生成部３９は、設定された対応点に対応する視差値から、距離画像としての視差画像を作成する。平滑処理部４０は、メディアンフィルタを利用し、視差画像の視差値を平滑化する処理によって視差画像を補正する。本実施形態の平滑処理部４０は、定時荷重メディアンフィルタ（the constant time weighted median filter）を利用する。メディアンフィルタには、荷重メディアンフィルタ（weighted median filter）やメディアンフィルタ（unweighted median filter）が利用されてもよい。メディアンフィルタの導入により、視差画像上において、視差値に含まれたノイズを低減し、物体の境界であるエッジ部分をより明確に抽出させることができる。

【0038】

図８を用いて、測距システム２０による距離画像生成処理によって生成される画像について説明する。図８の最上段には、画像取得部２２によって取得された基準画像ＰＬ２および比較画像ＰＲ２が示されている。比較画像ＰＲ２には、自動運転車両１００に搭載されたワイパ（以下、「外乱Ｄｐ２」とも呼ぶ）が示されている。非類似度計算部３２は、基準画像ＰＬ２と比較画像ＰＲ２とから非類似度を計算する。外乱推定部３４は、外乱である確率Ｐ_０を算出する。算出した外乱である確率Ｐ_０によって表される画像が、図８の中段にある画像ＰＣ１である。画像ＰＣ１において、外乱である確率Ｐ_０が高いほど画像が黒色に近い色として表される。画像ＰＣ１の右下は、右画像ＰＲ２の外乱Ｄｐに相当する位置の周辺であり、外乱である確率Ｐ_０の高い領域ＤＲが示されている。

【0039】

重み付け部３６は、外乱である確率Ｐ_０によって非類似度に重み付けをした重み付け非類似度を算出する。対応点設定部３８によって対応点が設定され、距離画像生成部３９によって視差画像が生成される。視差画像は、平滑処理部４０によって平滑化処理をされて、距離画像ＤＩとして生成される。距離画像ＤＩの右下近傍には、領域ＤＲに相当する外乱の影響を受けた部分が除去されている。このように、本実施形態の測距システム２０によれば、非類似度は、外乱推定部３４によって演算された外乱である確率Ｐ_０を考慮した重み付け非類似度として算出される。これにより、外乱の影響を低減した視差画像が得られることができる。したがって、外乱の影響を受けて誤った視差を算出する不具合の発生が低減され、正しい視差を誤った視差に補正してしまう不具合が低減されることができる。

【0040】

Ｂ．他の実施形態：
Ｂ１．他の実施形態１：
上記実施形態の測距システム２０では、各部の機能は使用される環境によって制限されることなく稼働する態様を例として示した。これに対して、測距システムを使用する環境に応じて外乱推定部３４、重み付け部３６、対応点設定部３８との各処理が実行される態様であってもよい。上述したように、外乱とは、画像取得部の左右のカメラのうち、一方のカメラのみに撮像されたオブジェクトを意味する。車両の走行において、外乱の影響が大きいと考えられる環境としては、例えば次のような場合が想定される。測距システムを夜間に使用する場合、自動運転車両に備えられるワイパを稼働する場合、自動運転車両に備えられるライトを点灯する場合、降雪の激しい場合などである。測距システムは、これらの環境のうち少なくともいずれか一つの場合の環境に該当するときに、外乱推定部、重み付け部、対応点設定部との各処理を実行し、これらの環境のいずれにも該当しないときには各処理を実行しない態様であってもよい。このような態様においては、外乱の影響が小さい環境での処理の負荷が低減されることができる。

【0041】

Ｂ２．他の実施形態２：
上記実施形態の測距システム２０では、外乱推定部３４は、最小の非類似度の値ｃ_１と、２番目に小さい非類似度の値ｃ_２とを用いて算出した信頼度Ｃ_ＭＳＭと信頼度Ｃ_PＫＲＮとを用いて、外乱である確率Ｐ_ｏを求めた。これに対して、測距システムによる信頼度の算出は、例えば、最小の非類似度のみを用いる態様や、最小の非類似度と２番目に小さい非類似度に加え、３番目に小さい非類似度を用いる態様など、外れ値の影響を低減する種々の組み合わせによって外乱である確率Ｐ_ｏを求める態様であってもよい。

【0042】

Ｂ３．他の実施形態３：
上記実施形態の測距システム２０では、対応点設定部３８は、Ｘ方向において隣り合う基準画素に対応する節点間の位置ズレ量である視差変化量を用いて対応点の組み合わせを決定する。これに対して、視差変化量を考慮せず、重み付け非類似度のみによって対応点を設定する態様であってもよい。このような態様においては、より小さな重み付け非類似度が選択される態様であることが好ましい。

【0043】

Ｂ４．他の実施形態４：
上記実施形態の測距システム２０では、対応点設定部３８は、重み付け非類似度と接続コストとの和が最小となる組み合わせを対応点として設定する。これに対して、測距システムは、例えば、測距システムを使用する環境に応じて、重み付け非類似度と接続コストとのいずれか一方に更に重み付けをして足し合わせた総和が最小となる組み合わせを対応点として設定してもよいし、重み付け非類似度のみの総和が最小となる組み合わせを対応点として設定してもよい。

【0044】

Ｂ５．他の実施形態５：
上記実施形態の測距システム２０では、平滑処理部４０は、距離画像生成部３９によって作成された視差画像に対してメディアンフィルタを利用し、視差画像の視差値を平滑化する処理によって視差画像を補正する。これに対して、視差画像の生成前に平滑処理部によって平滑化を行った後に、距離画像生成部によって視差画像を生成する態様であってもよい。また、測距システム２０は、平滑処理部を備えず、メディアンフィルタを利用しない態様であってもよい。このような態様においては、加重平均フィルタや移動平均フィルタなどの種々のフィルタによって平滑化するなど、生成する画像の画素ごとの濃度値のノイズの影響を低減する態様であることが好ましい。

【0045】

Ｂ６．他の実施形態６：
上記実施形態では、測距システム２０が自動運転車両１００に備えられる態様を例として説明した。これに対して、測距システムは、手動運転車両に備えられる態様であってもよい。なお、「手動運転」とは、駆動部制御のための操作（アクセルペダルの踏込）と、ブレーキ制御のための操作（ブレーキベダルの踏込）と、操舵角制御のための操作（ステアリングホイールの回転）を、ドライバが実行する運転を意味する。

【0046】

本開示は、上述の実施形態に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態中の技術的特徴は、上述の課題の一部又は全部を解決するために、あるいは、上述の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。

【符号の説明】

【0047】

３０ 測距装置、３２ 非類似度計算部、３４ 外乱推定部、３６ 重み付け部、３８ 対応点設定部、３９ 距離画像生成部、４０ 平滑処理部、Ｌａ 基準画素、Ｐ_０ 外乱である確率、ＰＬ，ＰＬ２ 基準画像、ＰＲ，ＰＲ２ 比較画像、Ｒａ，Ｒｂ，Ｒｃ 比較画素

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】