特許 7204536 距離画像生成装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-01-05

(45)【発行日】2023-01-16

(54)【発明の名称】距離画像生成装置

(51)【国際特許分類】

   G01C 3/06 20060101AFI20230106BHJP

   G06T 7/593 20170101ALI20230106BHJP

   G06T 7/00 20170101ALI20230106BHJP

【ＦＩ】

G01C3/06 110V

G06T7/593

G06T7/00 350C

【請求項の数】 5

(21)【出願番号】P 2019039682

(22)【出願日】2019-03-05

(65)【公開番号】P2020143957

(43)【公開日】2020-09-10

【審査請求日】2021-07-15

(73)【特許権者】

【識別番号】000004695

【氏名又は名称】株式会社ＳＯＫＥＮ

(73)【特許権者】

【識別番号】000004260

【氏名又は名称】株式会社デンソー

(73)【特許権者】

【識別番号】592032636

【氏名又は名称】学校法人トヨタ学園

(74)【代理人】

【識別番号】110000028

【氏名又は名称】弁理士法人明成国際特許事務所

(72)【発明者】

【氏名】西野 咲子

(72)【発明者】

【氏名】陳 博翔

(72)【発明者】

【氏名】テヘラニニキネジャド ホセイン

(72)【発明者】

【氏名】三田 誠一

(72)【発明者】

【氏名】シュー ユーチュエン

【審査官】信田 昌男

(56)【参考文献】

【文献】特開２０１３－１０４７４０（ＪＰ，Ａ）

【文献】特開２０１６－００９４８７（ＪＰ，Ａ）

【文献】特開２０１２－０６８７１９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｃ ３／０６

Ｇ０６Ｔ ７／５９３

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

車両（１０）に搭載される距離画像生成装置（１１０）であって、
ステレオカメラ（１２２）で撮影された左右の撮像画像を基準画像及び対比画像として用いて、前記基準画像に存在する物体までの距離を表す距離画像を生成する距離画像生成部（１１１）と、
ニューラルネットワークを用いて、前記撮像画像から前記距離画像と比較するための対照画像を生成する対照画像生成部（１１２）と、
前記基準画像において画像の特徴量が予め定められた閾値以下となる領域に対応する前記距離画像における補正領域を検出する補正領域検出部（１１３）と、
前記補正領域の各画素の持つ距離情報を、前記対照画像における前記補正領域の対応部分の情報に応じて補正する補正部（１１４）と、を備える、距離画像生成装置。

【請求項2】

請求項１に記載の距離画像生成装置であって、
前記対照画像生成部は、前記対照画像として前記基準画像における路面領域を表す対照路面画像を生成する、距離画像生成装置。

【請求項3】

請求項２に記載の距離画像生成装置であって、
前記補正部は、前記補正領域における前記対照路面画像の路面領域に対応する部分の各画素の持つ距離情報が周辺の画素の持つ距離情報と近似した値になるように補正する、距離画像生成装置。

【請求項4】

請求項１に記載の距離画像生成装置であって、
前記対照画像生成部は、前記対照画像として前記基準画像に存在する物体までの距離を表す対照距離画像を生成する、距離画像生成装置。

【請求項5】

請求項４に記載の距離画像生成装置であって、
前記補正部は、前記補正領域の各画素の持つ距離情報を、前記対照距離画像における前記補正領域に対応する領域の各画素の持つ距離情報に近似した値になるように補正する、距離画像生成装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、距離画像生成装置に関する。

【背景技術】

【0002】

距離画像生成装置として、特許文献１に記載されているような、ステレオカメラで撮像した一対の撮像画像において互いに対応する画素である対応画素における視差を求めるステレオマッチングによって距離画像（視差画像）を生成するものが知られている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１５－９６８１２号公報

【文献】特開２０１５－１１４２６９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、画像の特徴が少ない路面は、対応する画素の誤マッチングを起こしやすく、特に動的計画法であるビタビアルゴリズムを用いて対応画素を求めた場合、模様が少ない路面は周囲の視差値と同じ値になりやすいため、車両間の路面の視差を車両と同じ視差と誤るおそれがある。そのため、距離画像中の誤マッチング領域における視差値を補正可能な技術が望まれていた。

【課題を解決するための手段】

【0005】

本開示の一形態によれば、車両（１０）に搭載される距離画像生成装置（１１０）が提供される。この距離画像生成装置は、ステレオカメラ（１２２）で撮影された左右の撮像画像を基準画像及び対比画像として用いて、前記基準画像に存在する物体までの距離を表す距離画像を生成する距離画像生成部（１１１）と、ニューラルネットワークを用いて、前記撮像画像から前記距離画像と比較するための対照画像を生成する対照画像生成部（１１２）と、前記基準画像において画像の特徴量が予め定められた閾値以下となる領域に対応する前記距離画像における補正領域を検出する補正領域検出部（１１３）と、前記補正領域の各画素の持つ距離情報を、前記対照画像における前記補正領域の対応部分の情報に応じて補正する補正部（１１４）と、を備える。

【0006】

この距離画像生成装置によれば、画像の特徴量が予め定められた閾値以下となる補正領域の各画素の持つ距離情報を、対照画像における前記補正領域の対応部分の情報に応じて補正するため、距離画像中の誤マッチング領域における視差値を補正できる。

【図面の簡単な説明】

【0007】

【図1】自動運転制御システムの構成の概要を示す説明図である。

【図2】距離画像生成処理の一例を示したフローチャートである。

【図3】ステレオカメラの撮像画像から距離画像を生成する処理の説明図。

【図4】距離画像から補正領域を検出する処理の説明図。

【図5】距離画像を補正する処理の説明図。

【図6】補正領域の接点コストと視差コストとの一例を表す説明図。

【図7】補正後の補正領域の接点コストと視差コストとの一例を表す説明図。

【図8】第２実施形態における、距離画像を補正する処理の説明図。

【発明を実施するための形態】

【0008】

Ａ．第１実施形態：
図１に示すように、車両１０は、自動運転制御システム１００を備える。本実施形態において、自動運転制御システム１００は、車両１０の自動運転を実行する。本実施形態において、自動運転制御システム１００は、距離画像生成装置１１０と、ステレオカメラ１２２と、自動運転制御部２１０と、駆動力制御ＥＣＵ２２０（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）と、制動力制御ＥＣＵ２３０と、操舵制御ＥＣＵ２４０と、車載ネットワーク２５０と、を備える。距離画像生成装置１１０と、自動運転制御部２１０と、駆動力制御ＥＣＵ２２０と、制動力制御ＥＣＵ２３０と、操舵制御ＥＣＵ２４０とは、車載ネットワーク２５０を介して接続される。なお、車両１０は、自動運転に限らず運転手によって手動で運転されてもよい。

【0009】

ステレオカメラ１２２は、２つの撮像装置を含み、それぞれの撮像装置によって自車両の前方を撮像して左右の撮像画像を取得する。

【0010】

距離画像生成装置１１０は、距離画像生成部１１１と、対照画像生成部１１２と、補正領域検出部１１３と、補正部１１４と、を備える。距離画像生成装置１１０は、中央処理装置（ＣＰＵ）や、ＲＡＭ、ＲＯＭにより構成されたマイクロコンピュータ等からなり、予めインストールされたプログラムをマイクロコンピュータが実行することによって、これらの各部の機能を実現する。ただし、これらの各部の機能の一部又は全部をハードウェア回路で実現してもよい。

【0011】

距離画像生成部１１１は、ステレオカメラ１２２で撮像された左右の撮像画像を基準画像及び対比画像として用いて、基準画像に存在する物体までの距離を表す距離画像を生成する。「距離画像」とは、基準画像に存在する物体までの距離を表す画像である。距離画像の生成方法については後述する。

【0012】

対照画像生成部１１２は、ニューラルネットワークを用いて、対照画像を生成する。対照画像生成部１１２は、ニューラルネットワークとして、例えば畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ（ＣＮＮ））を用いて、ステレオカメラ１２２で撮像された撮像画像から対照画像を生成する。本実施形態において、対照画像生成部１１２は、対照画像として、ステレオカメラ１２２で撮像された撮像画像より路面領域と推定される領域を抽出した対照路面画像を生成する。本実施形態において、対照画像生成部１１２が用いるニューラルネットワークは、例えば、路面上に立体物がある撮像画像と、路面領域と推定される領域との相関を学習する。なお、ニューラルネットワークの学習は、距離画像生成装置１１０において行われてもよく、他の装置によって行われてもよい。

【0013】

補正領域検出部１１３は、ステレオカメラ１２２が撮像した基準画像において、画像の特徴量が予め定められた閾値以下となる領域に対応する距離画像の領域を、補正領域として検出する。「画像の特徴量」とは、周知の技術により求めることができる値であり、例えば、ある画素における周囲の画素との輝度差の平均によって定められる値である。画像の特徴量が低い領域は、ステレオマッチングによって誤マッチングを起こしやすい領域である。

【0014】

補正部１１４は、補正領域の各画素の持つ距離情報を、対照画像における補正領域の対応部分の情報に応じて補正する。対照画像における補正領域の対応部分の情報は、例えば、各画素が路面か否かを表す情報や、各画素の持つ距離情報等である。

【0015】

自動運転制御部２１０は、駆動力制御ＥＣＵ２２０と制動力制御ＥＣＵ２３０と操舵制御ＥＣＵ２４０とを制御して自動運転機能を実現する。自動運転制御部２１０は、例えば、補正部１１４が補正した距離画像を用いて駆動力制御ＥＣＵ２２０および制動力制御ＥＣＵ２３０、操舵制御ＥＣＵ２４０を制御する。

【0016】

駆動力制御ＥＣＵ２２０は、モータなど車両の駆動力を発生するアクチュエータを制御する電子制御装置である。運転者が手動で運転を行う場合、駆動力制御ＥＣＵ２２０は、アクセルペダルの操作量に応じてエンジンや電気モータである動力源を制御する。一方、自動運転を行う場合、駆動力制御ＥＣＵ２２０は、自動運転制御部２１０で演算された要求駆動力に応じて動力源を制御する。

【0017】

制動力制御ＥＣＵ２３０は、車両の制動力を発生するブレーキアクチュエータを制御する電子制御装置である。運転者が手動で運転を行う場合、制動力制御ＥＣＵ２３０は、ブレーキペダルの操作量に応じてブレーキアクチュエータを制御する。一方、自動運転を行う場合、制動力制御ＥＣＵ２３０は、自動運転制御部２１０で演算された要求制動力に応じてブレーキアクチュエータを制御する。

【0018】

操舵制御ＥＣＵ２４０は、車両の操舵トルクを発生するモータを制御する電子制御装置である。運転者が手動で運転を行う場合、操舵制御ＥＣＵ２４０は、ステアリングハンドルの操作に応じてモータを制御して、ステアリング操作に対するアシストトルクを発生させる。これにより、運転者が少量の力でステアリングを操作でき、車両の操舵を実現する。一方、自動運転を行う場合、操舵制御ＥＣＵ２４０は、自動運転制御部２１０で演算された要求操舵角に応じてモータを制御することで操舵を行う。

【0019】

図２に示す距離画像生成処理は、距離画像生成装置１１０が距離画像を生成する一連の処理である。この処理は自動運転制御システム１００の動作中、距離画像生成装置１１０により繰り返し実行される処理である。距離画像生成装置１１０は、距離画像生成処理において、図３および図４、図５に示すような画像を生成する。

【0020】

まず、図３に示すように、距離画像生成部１１１は、ステップＳ１００（図２）において、距離画像Ｐ１を生成する。距離画像生成部１１１は、ステレオカメラ１２２によって撮影された左画像と右画像を取得する。本実施形態では、右画像を基準画像ＰＲとして使用し、左画像を対比画像ＰＬとして使用する。距離画像生成部１１１は、基準画像ＰＲと対比画像ＰＬから、距離画像Ｐ１としての視差画像を作成する。視差画像の作成処理としては、例えばＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）やＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）を類似度の指標として用いたブロックマッチング等の既知の方法を使用可能である。本実施形態において、距離画像生成部１１１は、特許文献２に記載されているような、既知のビタビアルゴリズムを用いてマッチングにおける対応画素を求め、視差画像を生成する。視差画像において、遠い物体ほど視差が小さく、近い物体ほど視差が大きい。従って、視差画像は、基準画像に存在する物体までの距離を表す画像として使用できる。なお、視差Ｄと距離Ｚとの間には次の式（１）の関係が成立する。
Ｚ＝ｋ／Ｄ …（１）
ここで、ｋはカメラの特性に応じて決まる係数である。

【0021】

式（１）に従って求めた距離Ｚを画素値とした距離画像（狭義の距離画像）を視差画像の代わりに用いることも可能である。本実施形態では、視差画像を距離画像（広義の距離画像）として使用する。また、以下の説明では、「視差」と「距離」を同義語として使用する。

【0022】

次に、図４に示すように、補正領域検出部１１３は、ステップＳ１１０（図２）において、補正領域Ｒ１を検出する。補正領域検出部１１３は、基準画像ＰＲにおいて画像の特徴量が予め定められた閾値以下となる領域に対応する、距離画像生成部１１１が生成した距離画像Ｐ１における領域を、補正領域Ｒ１として検出する。この閾値は、予めシミュレーションや実験を行うことにより定めることができる。

【0023】

続いて、図５に示すように、対照画像生成部１１２は、ステップＳ１２０（図２）において、対照路面画像Ｐ２を生成する。本実施形態において、対照画像生成部１１２は、学習済みのニューラルネットワークに対して、基準画像ＰＲを入力することによりその基準画像ＰＲから路面領域と推定される領域が抽出された対照路面画像を生成する。なお、ステップＳ１００～Ｓ１２０は、ステップＳ１１０の処理がステップＳ１００の処理の後に行われればこの順に限らず、任意の順序で行うことができ、並行して行ってもよい。

【0024】

続いて、補正部１１４は、ステップＳ１３０において、ステップＳ１１０で補正領域検出部１１３が検出した補正領域Ｒ１の各画素の持つ距離情報を、対照路面画像Ｐ２における補正領域の対応部分の情報に応じて補正する。本実施形態において、補正部１１４は、補正領域Ｒ１における対照路面画像Ｐ２の路面領域に対応する部分の各画素の持つ距離情報が周辺の画素の持つ距離情報と近似した値になるように補正する。

【0025】

例えば、補正部１１４は、補正領域Ｒ１における対照路面画像Ｐ２の路面領域に対応する部分の各画素の持つ距離情報が周辺の画素の持つ距離情報と近似した値になるように、ビタビアルゴリズムにおける補正領域Ｒ１における視差コストへの重み付けを行う。例えば、補正部１１４は、図６に示す接点コストと視差コストとを、図７に示すように設定する。具体的には、補正部１１４は、ビタビアルゴリズムを用いて算出した、補正領域Ｒ１における対照路面画像Ｐ２の路面の境界部分に対応する部分の接点コストｄ１～ｄ４をそれぞれ近似した値に変更し、補正領域Ｒ１における対照路面画像Ｐ２の路面の境界部分に対応する部分の視差コスト、つまり、接点コストｄ１～ｄ４から＋ｘ方向へ延びる矢印で示される視差コストをそれぞれ近似した値に変更する。例えば、補正部１１４は、補正領域Ｒ１における対照路面画像Ｐ２の境界部分、つまり路面領域ＲＲの境界部分の接点コストｄ１～ｄ４を全て１に変更し、視差コストを全て０に変更する。これにより、図６および図７において、太線で示される最適パスが変更され、補正領域Ｒ１における対照路面画像Ｐ２の路面領域に対応する部分の各画素の持つ距離情報が周辺の画素の持つ距離情報と近似した値になる。なお、補正部１１４は、接点コストｄ５～ｄ８においても同様に変更してもよい。なお、図６および図７では、図示の便宜上、視差コストを示す矢印は一部のみ図示している。

【0026】

最後に、図５に示すように、補正部１１４は、ステップＳ１４０において、ステップＳ１３０で補正した距離情報を用いて、距離画像Ｐ３を生成する。これにより、誤マッチング領域における視差値が補正された距離画像Ｐ３が生成される。

【0027】

以上で説明した本実施形態の距離画像生成装置１１０によれば、補正部１１４が、画像の特徴量が予め定められた閾値以下となる補正領域の各画素の持つ距離情報を、対照画像における前記補正領域の対応部分の情報に応じて補正するため、距離画像Ｐ１中の誤マッチング領域における視差値を補正した距離画像Ｐ３を生成できる。また、対照画像生成部１１２は、対照画像として、対照路面画像Ｐ２を生成するため、補正領域における路面部分のみを補正できる。また、補正部１１４は、補正領域Ｒ１における対照路面画像Ｐ２の路面領域に対応する部分の各画素の持つ距離情報が周辺の画素の持つ距離情報と近似した値になるように補正するため、路面領域において視差値を補正した距離画像を生成できる。

【0028】

Ｂ．第２実施形態：
第２実施形態は、対照画像生成部１１２が生成する対照画像と、補正部１１４が行う補正処理が第１実施形態と異なる。第２実施形態の距離画像生成装置１１０の構成は、第１実施形態の距離画像生成装置１１０の構成と同一であるため、距離画像生成装置１１０の構成の説明は省略する。

【0029】

図８に示すように、本実施形態における対照画像生成部１１２は、ステップＳ１２０（図３）において、ニューラルネットワークを用いて、基準画像ＰＲに存在する物体までの距離を表す対照距離画像Ｐ４を生成する。本実施形態において、対照画像生成部１１２が用いるニューラルネットワークは、例えば、撮像画像とその撮像画像に存在する物体までの距離情報との相関を学習する。図８に示すように、対照距離画像Ｐ４は、ニューラルネットワークが確率分布を明示的にモデル化して最尤推定を行うため、距離画像Ｐ１と比べて、物体の境界が曖昧になる傾向がある。

【0030】

本実施形態において、補正部１１４は、ステップＳ１３０（図３）において、補正領域Ｒ１の各画素の持つ距離情報を、対照距離画像Ｐ４における補正領域Ｒ１に対応する領域の各画素の持つ距離情報に近似した値になるように補正する。例えば、補正部１１４は、ビタビアルゴリズムを用いて補正領域Ｒ１における視差コストを算出する場合に、距離画像Ｐ１と距離画像Ｐ３との視差の関係に応じて重み付けを行う。より具体的には、補正部１１４は、補正領域Ｒ１における視差コストへの重み付けとして乗算する定数α、βを、距離画像Ｐ１の視差と距離画像Ｐ３の視差とを比較して設定する。視差コストは距離画像Ｐ１のあるピクセル位置の視差と他のピクセル位置の視差との差分をとり、負の場合はその差分の絶対値をα倍して算出し、正の場合はその差分の絶対値をβ倍して算出する。距離画像Ｐ１の視差の方が大きい場合、つまり、距離が近い場合には、αをβより大きく設定して、視差コストを算出し、距離画像Ｐ１の視差の方が小さい場合、つまり、距離が遠い場合には、αをβより小さく設定して、視差コストを算出する。なお、αとβとを同じ値に設定してもよい。

【0031】

以上で説明した本実施形態の距離画像生成装置１１０によれば、対照画像生成部１１２は、対照画像として、ニューラルネットワークを用いて基準画像ＰＲに存在する物体までの距離を表す対照距離画像Ｐ４を生成するため、補正領域の各画素の持つ距離情報を精度の高い視差値に補正できる。また、補正部１１４は、補正領域Ｒ１の各画素の持つ距離情報を、対照距離画像Ｐ４における補正領域に対応する領域の各画素の持つ距離情報に近似した値になるように補正するため、誤マッチング領域における視差値を補正した距離画像Ｐ５を生成できる。

【0032】

Ｃ．その他の実施形態：
（Ｃ１）上記第２実施形態において、対照画像生成部１１２は、対照画像として、ニューラルネットワークを用いて生成した対照路面画像Ｐ２の各画素に推定した距離情報を付与した距離画像を生成してもよい。距離情報は、例えば、ステレオカメラ１２２の基準画像ＰＲの撮像時における地面からの高さや、俯角等の情報を用いて、水平に延びる路面のみが撮像されたとして、推定できる。

【0033】

（Ｃ２）上記第２実施形態において、補正部１１４は、ステップＳ１３０（図２）において、ビタビアルゴリズムにおける重み付けを、補正領域Ｒ１の各画素の持つ距離情報を、対照距離画像Ｐ４における補正領域Ｒ１に対応する領域の各画素の持つ距離情報に近似した値になるように補正している。この代わりに、補正部１１４は、補正領域Ｒ１の各画素の持つ距離情報を、対照距離画像Ｐ４における補正領域に対応する領域の各画素の持つ距離情報に置換する補正を行ってもよい。

【0034】

本開示は、上述の実施形態に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態中の技術的特徴は、上述した課題を解決するために、あるいは上述の効果の一部又は全部を達成するために、適宜、差し替えや組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜削除することが可能である。

【符号の説明】

【0035】

１０ 車両、１００ 自動運転制御システム、１１０ 距離画像生成装置、１１１ 距離画像生成部、１１２ 対照画像生成部、１１３ 補正領域検出部、１１４ 補正部、１２２ ステレオカメラ、２１０ 自動運転制御部、２２０ 駆動力制御ＥＣＵ、２３０ 制動力制御ＥＣＵ、２４０ 操舵制御ＥＣＵ、２５０ 車載ネットワーク

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】