IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ヤンマーホールディングス株式会社の特許一覧

<>
  • 特開-距離計測装置 図1
  • 特開-距離計測装置 図2
  • 特開-距離計測装置 図3
  • 特開-距離計測装置 図4
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022168630
(43)【公開日】2022-11-08
(54)【発明の名称】距離計測装置
(51)【国際特許分類】
   G01C 3/06 20060101AFI20221031BHJP
   H04N 5/235 20060101ALI20221031BHJP
   H04N 5/225 20060101ALI20221031BHJP
   G06T 7/12 20170101ALI20221031BHJP
   G06T 7/593 20170101ALI20221031BHJP
【FI】
G01C3/06 110V
H04N5/235 600
H04N5/225 800
G06T7/12
G06T7/593
【審査請求】未請求
【請求項の数】4
【出願形態】OL
(21)【出願番号】P 2021074230
(22)【出願日】2021-04-26
(71)【出願人】
【識別番号】720001060
【氏名又は名称】ヤンマーホールディングス株式会社
(74)【代理人】
【識別番号】110000947
【氏名又は名称】弁理士法人あーく事務所
(72)【発明者】
【氏名】友保 洋平
【テーマコード(参考)】
2F112
5C122
5L096
【Fターム(参考)】
2F112AC03
2F112AC06
2F112BA05
2F112CA12
2F112FA35
5C122DA13
5C122EA20
5C122EA21
5C122EA67
5C122FA18
5C122FH03
5C122FH09
5C122FH11
5C122HB01
5L096CA05
5L096DA02
5L096FA06
5L096FA46
5L096FA66
5L096FA77
(57)【要約】
【課題】演算量を減らすことができる距離計測装置を提供する。
【解決手段】距離計測装置10は、露光設定の異なる複数の画像を取得する画像取得部12と、画像取得部12で取得した露光設定の異なる複数の画像をエッジ処理するエッジ処理部14aと、エッジ処理部14aでエッジ処理された画像から、テクスチャ領域と非テクスチャ領域を特定する領域特定部14bと、各々のテクスチャ領域において視差計算を行なう視差計算実行部14cと、を含む。
【選択図】図1
【特許請求の範囲】
【請求項1】
露光設定の異なる複数の画像を取得する画像取得部と、
前記画像取得部が取得した露光設定の異なる複数の画像をエッジ処理するエッジ処理部と、
前記エッジ処理部でエッジ処理された画像からテクスチャ領域と非テクスチャ領域を特定する領域特定部と、
前記複数の画像において、前記領域特定部によって特定された前記テクスチャ領域において視差計算を実行する視差計算実行部と、を含む、距離計測装置。
【請求項2】
前記視差計算実行部は、前記複数の画像ごとに特定した前記テクスチャ領域が前記複数の画像で重複している重複領域を特定する、請求項1に記載の距離計算装置。
【請求項3】
前記複数の画像の前記重複領域において、前記エッジ処理部が処理したエッジ成分の総和を比較し、前記総和の多い露光画像に対して視差計算を実行する、請求項2に記載の距離計測装置。
【請求項4】
前記エッジ処理部が前記露光設定の異なる複数の画像に対してエッジ処理したときに、前記領域特定部が、前記テクスチャ領域を特定できないときは、前記画像取得部は、新たに、露光設定の異なる複数の画像を取得する、請求項1乃至3のいずれか一つに記載の距離計測装置。
【発明の詳細な説明】
【技術分野】
【0001】
この発明は距離計測装置に関し、特に、演算量を少なくできる距離計測装置に関する。
【背景技術】
【0002】
従来から複数のカメラやイメージセンサーに撮影された各画像に含まれる共通の被写体に対して、少なくとも2つの画像上の位置関係から視差を計算し、当該視差から距離を計算する方法がよく知られている。このような2つの画像から視差を推定するための手段として、一方の画像に写る被写体の特徴と一致する箇所を、もう一方の画像中の探索により特定する手段がある(以下、ステレオマッチング処理)。
一般的に、ステレオマッチング処理は被写体の画素値の相関や構造的特徴の類似性を手掛かりにする。このため、手掛かりとなる情報が少ない被写体の場合は位置関係検出の精度(以下、視差推定精度)が低くなる。このような情報が少ない被写体もしくは2次元領
域を非テクスチャ領域と呼ぶ。
【0003】
また、カメラやイメージセンサーを使って観測される画像データのダイナミックレンジは屋外シーンのダイナミックレンジをカバーできないため、黒潰れや白飛びする画素、所謂、飽和画素が発生する。この飽和画素も非テクスチャ領域の一種としてみなすことができ、非テクスチャ領域同様、視差推定精度を低下させる要因となる。
一方、カメラのダイナミックレンジを向上する手段としてHDR(High Dynamic Range)処
理がある。これは異なる複数の露光設定で撮影された画像(以下、複数露光画像)を合成することでダイナミックレンジを拡大するものであり、白飛び・黒潰れを解消する効果が得られる。ステレオマッチング処理においては、画像合成せずとも、各複数露光画像に対して処理を適用し、白飛び・黒潰れ領域のステレオマッチング処理結果を適切に除外することで、当該領域に対する視差推定精度の低下を防ぐことが可能である。また、白飛び・黒潰れを除いた非テクスチャ領域であっても、異なる露光時間で撮影することで、テクスチャが顕在化する場合があるため、この場合は、ステレオマッチング処理の性能向上が期待できる。
【0004】
このような、複数の露光時間で撮影した画像ペアを使用して視差を計算して距離を測定する装置が、例えば、特開2019-168821号公報(特許文献1)に開示されてい
る。この公報によれば、長短2つの露光時間で撮影した画像ペアを使い視差を計算し、探索ブロックにおいて、3つのパラメータ(視差の有無、距離閾値、エッジ累積)により信頼性を判定している。また、再公表17-217241号公報(特許文献2)は、複数露光時間で撮影した各画像ペアにおいて、所定領域内の画素値ヒストグラムから白飛び・黒潰れを判別したマスク領域を抽出し、マスク領域を除外した視差計算結果を得ている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2019-168821号公報(要約等)
【特許文献2】再公表17-217241号公報(要約等)
【発明の概要】
【発明が解決しようとする課題】
【0006】
従来の、複数の露光時間で撮影した画像ペアを使用して視差を計算して距離を測定する装置は、上記のように構成されていた。特許文献1では、信頼性判定に視差情報、距離情報が必要となるため、信頼性が低い領域についても視差および距離計算を行なう必要があるという問題があった。
特許文献2では、白飛び・黒潰れは階調変化が無い点で非テクスチャ領域の一種とみなすことができるが、当該技術は画素値に基づく判定のため非テクスチャ領域を判定できない。また、当該技術は、白飛び・黒潰れをそれぞれ区別する処理であり、その分演算量が多くなる、という問題があった。
さらに、複数露光画像を使ってステレオマッチング処理を行なうことにより、視差推定精度の向上を望めるが、画像枚数が増える分、演算処理量も増加してしまうという問題もあった。
この発明は、上記のような問題点を解消するためになされたもので、演算量を減らすことができる距離計測装置を提供することを目的とする。
【課題を解決するための手段】
【0007】
この発明に係る、距離計測装置は、露光設定の異なる複数の画像を取得する画像取得部と、画像取得部で取得した露光設定の異なる複数の画像をエッジ処理するエッジ処理部と、エッジ処理部でエッジ処理された画像から、テクスチャ領域と非テクスチャ領域を特定する領域特定部と、複数の画像において、領域特定部によって特定されたテクスチャ領域において視差計算を実行する。
好ましくは、視差計算実行部は、複数の画像ごとに特定したテクスチャ領域が複数の画像で重複している重複領域を特定する。
さらに好ましくは、複数の画像の重複領域において、エッジ処理部が処理したエッジ成分の総和を比較し、総和の多い露光画像に対して視差計算を実行する。
この発明の一実施の形態によれば、エッジ処理部が露光設定の異なる複数の画像に対してエッジ処理したときに、領域特定部が、テクスチャ領域を特定できないときは、画像取得部は、新たに、露光設定の異なる複数の画像を取得する。
【発明の効果】
【0008】
距離計測装置は、露光設定の異なる複数の画像をエッジ処理し、エッジ処理された画像をテクスチャ領域と非テクスチャ領域を特定して、各々のテクスチャ領域において視差計算を行なう。すなわち、視差計算の可能なテクスチャ領域のみで演算を行なう。
その結果、演算量を減らすことができる距離計測装置を提供できる。
【図面の簡単な説明】
【0009】
図1】この発明の一実施の形態に係る距離計測装置の構成を示すブロック図である。
図2】距離計測装置の全体処理を示すフローチャートである。
図3】ステレオマッチング処理を示すフローチャートである。
図4】複数露光画像を使った非テクスチャ領域除外ステレオマッチング処理のイメージを示す図である。
【発明を実施するための形態】
【0010】
以下、この発明の実施の形態について図面を参照して説明する。図1は、この発明の一実施の形態に係る距離計測装置の構成を示すブロック図である。図1を参照して、この発明の一実施の形態に係る距離計測装置10は、視差の異なる画像を撮像する、カメラ1およびカメラ2と、カメラ1およびカメラ2から画像データを取得する画像取得部12と、カメラ1およびカメラ2に露光設定を行なう複数露光設定部13と、画像取得部12から、基準画像と、探索画像とを入力してステレオマッチング処理を行なうマッチング処理部14と、マッチング処理部から視差マップDを入力して距離を計算する距離計算部15とを含む。
マッチング処理部14は、画像からエッジを抽出するエッジ処理部14aと、画像からテクスチャ領域と非テクスチャ領域を特定する領域特定部14bと、露光設定の異なる2つの画像から視差計算を行なう視差計算実行部14cとを含む。
ここで、画像取得部12と、複数露光設定部13と、マッチング処理部14と、距離計算部15とは、CPUおよびメモリを備えたマイクロコンピュータで構成される。
【0011】
カメラ1およびカメラ2は、被写体から入射する光線を画像データに変換する。
画像取得部12は、カメラ1,2から画像データを取得する。カメラ1が基準画像Ibaseを撮像し、カメラ2が探索画像Imtchを撮像する。ここでは、簡単のため、探索元を基
準画像Ibaseおよび散策先を探索画像Imtchと区別するが、両者の関係が入れ替わっても
良い。取得する画像枚数はN-1で、Nは設定する露光設定数である。
【0012】
複数露光設定部13は、カメラ1とカメラ2との露光設定を行なう。なお、露光設定は、露光時間(シャッタースピード)、ゲインなどが例として挙げられる。
マッチング処理部14は、基準画像から任意の領域(以下、基準ウインドウ)を抽出し、探索画像の基準ウインドウと一致する領域を特定し、両者の画像上の座標の差分を視差とするステレオマッチング処理を行なう。
【0013】
領域特定部14bは、テクスチャ領域、あるいは非テクスチャ領域の特定を行なうとともに、複数露光画像を使用したステレオマッチング処理および、その結果の統合を行い、視差マップDを生成する。
非テクスチャ領域は、画像の空間的な輝度の勾配情報(エッジ情報)を求め、基準ウインドウ内の勾配量を計算し、その計算結果が閾値TH未満である場合に、非テクスチャ領域と特定する。勾配情報は、例えば、空間的な微分処理を行なう等がある。
【0014】
距離計算部15は、マッチング処理部14から出力された視差マップDから距離を計算
し、距離データマップZを生成する。一般的に、距離と視差の関係は式(1)で表される。ここでBはステレオカメラの基線長、fは焦点距離である。
次に、複数の異なる露光設定で得られた画像を使った非テクスチャ領域除外ステレオマッチング処理のイメージについて説明する。図4は、3枚の異なる露光設定で画像を取得した場合の処理を説明する図である。
【0015】
図4(a)~(c)は、それぞれ異なる露光設定で、同一の風景(背景)とテストパターン(下の中央)の画像を取得した場合を示す図であり、図4(a)は上部のみが明確で、全体が暗く、図4(b)は通常の明るさで、図4(c)は全体が明るい場合を示す。
図4(d)~(f)は、図4(a)~(c)を基にエッジ処理部14aでエッジ抽出処理を行なって非テクスチャ領域を特定した場合を示す図である。
【0016】
図4において、(a)~(c)と(d)~(f)に示すように、異なる露光設定で撮影された同一風景に対して、エッジ処理部14aでエッジ抽出処理を施すと、テクスチャが存在する領域は、白黒のざらざらした模様があり、局所的な白黒2値の変化が頻出するが、非テクスチャ領域では、局所的な2値の変化が確認されない。なお、図4(d)~(f)において、それぞれ、白い線で囲んだ部分がテクスチャ領域である。
図4(d)~(f)それぞれの部分を重ねると、図4(g)に示すように、各画像の非テクスチャ領域を補完しあって、1枚のテクスチャ領域画像を得ることができる。そして、得られた各画像のテクスチャ領域のみを用いて視差計算を行なうことができる。
【0017】
次に、このテクスチャ領域、および非テクスチャ領域を特定する方法について説明する
。テクスチャ領域、および非テクスチャ領域を特定するために閾値THを設ける。この閾値THは、撮影する場所等によって変化してもよいし、事前に定められる。
局所的なエッジ成分の総和Σ>THとなる場合に、テクスチャ領域と判定する。ステレオマッチング処理の内、テクスチャ領域のみが一致する点を探索することから視差計算の処理を行なうことで、計算効率を向上することができる。
【0018】
また、局所的なエッジ成分の総和Σは値が大きいほどテクスチャが明瞭であるため、1つ前の露光画像で計算したΣprevに対して、Σ>Σprevであるかどうかも判定に含めることで、すでに明瞭なテクスチャ領域であると判定された領域に対する処理を省き、計算効率を向上することが可能である。
すなわち、この実施の形態では、エッジ処理部14aは、露光設定の異なる複数の画像ごとにエッジ成分の総和Σを算出し、視差計算実行部14cは、エッジ処理部が処理したエッジ成分の総和の大きい露光画像に対してのみ視差計算を実行する。
【0019】
なお、ここに示した画像は、カメラ1の画像であり、同様に、カメラ2の画像も取得するが、ここで使用するカメラ1および2の露光設定は基本的に同じである。カメラ1とカメラ2との感度差がある等のカメラに特性の差があるときは、調整してもよい。
また、カメラ1および2の露光設定を変更することにより、同一シーンでも、テクスチャ領域を得ることができる。
【0020】
ここでは、異なる3つの露光設定で画像を取得した場合について、テクスチャ領域を特定した場合について説明したが、エッジ処理部が露光設定の異なる複数の画像に対してエッジ処理したときに、領域特定部が、テクスチャ領域を特定できないこともある。このときは、画像取得部12は、新たに、露光設定の異なる複数の画像を取得するようにしてもよい。
次に、処理の流れについて説明する。全体の処理フローを図2に示し、ステレオマッチング処理フローを図3に示す。
【0021】
図2を参照して、全体の処理フローとしては、まず、複数露光設定部13で設定された異なる露光設定(以下、「露光時間」という)で撮影したN枚の画像を画像取得部12で
取得する。また、露光時間Enと基準画像Ibasenおよび探索画像Imtchnのインデックスnは
共通する変数であり、0からN-1までの値を取る。
全体の処理フローにおいては、複数露光設定部13で設定された、設定露光時間を数Nだけ決定する(ステップS11)。露光時間Enをカメラに設定する。ここでnは、0からN-1までである(S12)。ステレオカメラから画像Ibasen、Imtchnを取得する。ここで
nは、0からN-1までである(S13)。次にマッチング処理部14でステレオマッチン
グ処理を行なう(S14)。ここで、入力は、基準画像Ibasenと、探索画像Imtchnである。ここでnは、0からN-1までである(S14)。
【0022】
その後、ステレオマッチング処理結果と統合し、視差マップDを作成する(S15)。
それに基づいて、距離計算部15で距離を計算し、距離データマップZを生成する(S16)。
次に、S14で示したステレオマッチング処理の内容について説明する。図3はステレオマッチング処理の内容を示すフローチャートである。図3を参照して、ステレオマッチング処理においては、まず、視差マップDを初期値dinitで初期化し、前回エッジ成分の
総和Σprevを0で初期化する(S141)。
【0023】
n=0から、nを1ずつ増やして、N-1まで、以下の処理を続行する。画像Ibasenからエッジ成分を抽出する(S143)。エッジ成分を2値化したエッジマップGを生成する(S144)。
Ibasenから座標Pbを中心とした基準ウインドウWbを抽出する(S145)。エッジマップG上の基準ウインドウWbを抽出する。エッジマップG上の基準ウインドウWbと同領域における2値化エッジ成分の総和Σを算出する(S146)。
【0024】
総和Σが閾値TH以上、且つ、Σ>Σprevか否かを判断する(S147)。Σ>Σprev
であれば(S147で真)、Imatchn上でWbの一致点を探索し、一致点の座標Pmを特定
する(S148)。
WbとPmから視差dを計算する(S149)。視差マップDの座標Pbに視差dを格納
する(S150)。S143からS150をn回繰り返す(S151)。
【0025】
以上のように、この実施の形態においては、距離計測装置は、露光設定の異なる複数の画像をエッジ処理し、エッジ処理された画像をテクスチャ領域と非テクスチャ領域を特定して、各々のテクスチャ領域において視差計算を行なう。
その結果、演算量を減らすことができる距離計測装置を提供できる。
【0026】
以上、図面を参照してこの発明の実施形態を説明したが、この発明は、図示した実施形態のものに限定されない。図示した実施形態に対して、この発明と同一の範囲内において、あるいは均等の範囲内において、種々の修正や変形を加えることが可能である。
【産業上の利用可能性】
【0027】
この発明によれば、演算量を減らすことができる距離計測装置を提供できるため、距離計測装置として有利に利用される。
【符号の説明】
【0028】
10 距離計測装置、12 画像取得部、13 複数露光設定部、14 マッチング処理部、14a エッジ処理部、14b 領域特定部、14c 視差計算実行部、15 距離計算部。
図1
図2
図3
図4