【新規性喪失の例外の表示】特許法第30条第2項適用 第30条第2項適用、平成24年2月2日川崎市国際交流センターにおいて開催された18th Korea−Japan Joint Workshop on Frontiers of Computer Vision(FCV2012)で発表
(58)【調査した分野】(Int.Cl.,DB名)
前記補正対象物判定部は、抽出した前記注目画素から直線近似により得た物体推定軸について、前記物体推定軸上の画素の輝度分布の頂点に対応する位置を通り前記物体推定軸と直交する法線と、予め得ている、物体の距離に応じた前記拡散光の光源中心の照射位置の前記撮像面上における軌跡を示す直線との交点を、前記光源中心位置として推定する、請求項3に記載の半導体集積回路。
前記半導体集積回路により計算された、前記物体と前記カメラもしくは前記光源との間の距離に係る情報を所定の方式で出力する出力部をさらに有する、請求項5に記載の物体距離計測装置。
前記光源は、車両に設置されているバックランプもしくはブレーキランプもしくはテールランプもしくは前記車両の外部を照射する他のランプを構成するLEDランプであり、
前記カメラは、前記車両に設置されている後方認識用カメラである、請求項5に記載の物体距離計測装置。
【発明を実施するための形態】
【0010】
以下、実施の形態を図面に基づいて詳細に説明する。なお、実施の形態を説明するための全図において、同一部には原則として同一の符号を付し、その繰り返しの説明は省略する。
【0011】
本実施の形態の物体距離計測装置は、拡散光の光源と、当該光源からの光が照射する領域を撮像して画像データを得るカメラとを用いて、光が照射される領域に存在する物体とカメラとの間の距離を、拡散光から得た擬似的なスリット光を利用して光切断法により計測するものである。光源としては、例えば、自動車等の車両に搭載されているテールランプやブレーキランプ、バックランプ等を用いることができ、また、カメラとしては、車両の後方確認用として搭載されているカメラがある場合にはこれを用いることができる。従って、当該物体距離計測装置を、自動車等の車両に搭載された既存の装備を用いて低コストで構築することが可能である。
【0012】
さらに、本実施の形態の物体距離計測装置は、後述するように、物体の形状が例えば棒状物等である場合や、物体の位置が擬似的なスリット光の位置からずれている場合など、拡散光が物体に照射されることにより距離計測の結果に誤差が生じ得る場合を検知し、所定の補正を行った上で距離を計測することで誤差を低減することが可能である。
【0013】
図1は、本実施の形態による物体距離計測装置の構成例について概要を示した図である。物体距離計測装置1は、例えば、半導体集積回路やソフトウェアとして実装される制御部10、画像処理部20および出力部30などの各部と、光源11およびカメラ12を有し、光切断法を用いて周辺の物体2との間の距離を計測する装置である。計測結果を表示するモニタ31をさらに有していてもよい。当該物体距離計測装置1は、上述したように、例えば、自動車等の車両に搭載され、車両周辺の監視領域にある物体2との間の距離を計測し、計測結果をモニタ31に表示する。表示に限らず、計測結果に基づいて当該車両が自身の挙動を制御するようにしてもよい。
【0014】
光源11は、例えば、車載のランプ等にも利用が拡がっているLED(Light Emitting Diode)照明などによって構成され、光切断法を行うためのスリット光を発生して監視領域を照射する。光源11から照射される光はレーザ光とは異なり拡散光であるため、後述する手法によりこれをスリット光と見立てた擬似スリット光として取り扱うものとする。カメラ12は、監視領域において光源11が物体2を照射している状況を撮影し、画像データとして取得することができるデジタルビデオカメラやデジタルカメラであり、例えば、車載の後方監視カメラなどを流用することが可能である。制御部10は、上記の光源11やカメラ12の動作(例えば、光源11の点灯・消灯やカメラ12の撮影)を制御する。
【0015】
画像処理部20は、例えば、補正対象物判定部21、測量点計算部22、および距離計算部23などの各部を有する。これら各部により、カメラ12によって撮像した画像データ(物体2に光源11からの光が照射されている状態が撮像されている画像データ)について解析し、光切断法を用いて三角測量の原理によって物体2との間の距離を計算するという、物体距離計測装置1における中心的な処理を行う。
【0016】
補正対象物判定部21は、カメラ12によって撮像した画像データを解析して、物体2について距離計測の結果に誤差が生じ得る状態であるか否か(補正が必要な物体2であるか否か)を判定する。測量点計算部22は、カメラ12によって撮像した画像データについて解析し、水平方向の走査線毎に、物体2に光源11からの擬似スリット光が照射されている位置を特定し、この位置を三角測量により距離を計測するための測量点とする。補正対象物判定部21において距離計測の結果に誤差が生じ得る状態であると判定された場合は、測量点について所定の補正を行う。距離計算部23は、測量点計算部23により計算した各測量点に基づいて、三角測量により物体2との間の距離を計算する。画像処理部20の各部での処理内容の詳細については後述する。
【0017】
出力部30は、画像処理部20での物体2との間の距離計測の結果をモニタ31等に対して出力する。モニタ31には、例えば、カメラ12によって撮像した(している)車両後方の監視領域の画像と合わせて、計測した距離の情報等を表示することができる。また、例えば、図示しない車両の挙動制御を行う機構等に対して距離計測の結果を出力することで、物体2に車両が接近し過ぎている場合に車両を停止させたり等の制御を行うことも可能である。
【0018】
図2は、本実施の形態による擬似スリット光の取り扱いと測量点の概要について説明する図である。なお、以降の図も含めて、光源11が光を照射する方向をz方向とし、これに垂直な平面をxy平面(x軸は水平方向)として説明する。
図2の例では、xy平面上に平板状の物体2が存在するような場合、すなわち、xy平面上に光源11からの拡散光全体が光源中心11bを中心として照射されている場合における、カメラ12により撮像した画像データを示している。
【0019】
このような拡散光のままではスリット光を用いた光切断法は適用することができない。そこで、本実施の形態では、光源11からの拡散光のうち、中心付近の最も輝度が高い部分の垂直方向(y方向)のラインを擬似スリット光11aとして取り扱い、光切断法を適用する。
【0020】
すなわち、拡散光の輝度はxyの二次元の正規分布であると仮定し、x方向に沿って複数の走査線12aをとり、各走査線12a上での輝度分布12b(正規分布)を算出する。ここでは、走査線12a上の各画素の実際の輝度データの分布から、例えば、EM(Expectation-maximization)アルゴリズム等を使用して正規分布曲線を最尤推定する。さらに、各走査線12a上での正規分布の頂点に対応する位置を算出し、これらを結んだものを擬似スリット光11aとして取り扱う。従って、物体2に擬似スリット光11aを照射した場合、各走査線12a上での輝度の正規分布の頂点に対応する位置が、三角測量における測量点12c(擬似スリット光11aの物体2に対する照射位置)となる。
【0021】
図3は、本実施の形態による光切断法における三角測量の概要について説明する図である。図では、xz平面上の状態を示しており、光源11とカメラ12がx軸方向に沿って位置Lと位置Cにそれぞれ配置されており、光源11は、x軸と直行するz軸方向に
図2に示したような擬似スリット光11aを照射することを示している。カメラ12は、光源11の擬似スリット光11aの照射方向を撮像するように向きが調整されており、カメラ12の撮像面13上における画像中心Fが、三角測量による距離計測の基準点となる。
【0022】
すなわち、測量点12cが画像中央(
図3の例では画像中心Fとしている)の位置にある場合は、物体2はO
0の位置にあることになり、カメラ12と物体2との間の距離CO
0は、光源11とカメラ12の間の距離LCと、カメラ12の撮像方向の角度θという既知のパラメータから算出することができる既知の値となる(焦点位置が擬似スリット光11aの光軸上にある場合は焦点距離CFと同じになる)。
【0023】
一方、測量点12cが画像中央よりも水平方向左側のO
1’の位置にある場合は、物体2はよりカメラ12に近いO
1の位置にあることになり、カメラ12と物体2との間の距離CO
1は、距離LCと角度(θ−φ
1)から算出することができる。なお、角度φ
1は、撮像面13上での画像中央と位置O
1’との間の水平方向距離l
1と焦点距離CFから算出することができる。同様に、測量点12cが画像中心Fよりも水平方向右側のO
2’の位置にある場合は、物体2はよりカメラ12から遠いO
2の位置にあることになり、カメラ12と物体2との間の距離CO
2は、距離LCと角度(θ+φ
2)から算出することができる。なお、本実施の形態では、物体2との距離をカメラ12からの距離として計測しているが、光源11からの距離として計測してもよい。
【0024】
図4は、本実施の形態による物体2との間の距離の測定の例について概要を示した図である。
図4の例では、本実施の形態による物体距離計測装置1を車両3に実装し、テールランプを光源11、後方確認用カメラをカメラ12として用いている。また、物体2の形状が棒状物であることを示している。このような棒状の障害物が車両周辺に存在することは珍しいことではない。なお、
図4に示すような、光源11からの光の投影面上に棒状物である物体2が存在する場合に限らず、投影面上に棒状物として投影される状態(光源11からの光が棒状物に照射されているのと同様である状態)であってもよい。これらの状態では、光源11からの擬似スリット光11aが実際には拡散光であることから、測量点12cの把握にずれが生じて距離計測に誤差が生じる場合がある。
【0025】
図5は、本実施の形態による測量点12cのずれの例について説明する図である。
図5(a)は、
図2と同様に、例えば、撮像面13のxy平面上にある平板状の物体2に対して光源11からの拡散光を照射した状態を示している。この場合、各測量点12cは擬似スリット光11aとして把握される部分に算出される。すなわち、各測量点12cは、擬似スリット光11aが実際に物体2に照射されたことにより得られたものであるため、これ基づいて平板状の物体2までの距離を適切に計測することができる。
【0026】
一方、
図5(b)は、
図4の例に示したような状態で存在する棒状物の物体2に対して光源11からの拡散光を照射した状態を示している。この場合、各走査線12a上において、擬似スリット光11aとして把握される部分に物体2の領域が存在せず、他の部分に物体2の領域が存在するという箇所が生じる。これらの箇所は、拡散光ではない本来のスリット光であれば照射されることがないため、測量点12cとして算出されるべきではなく、従って、これらの各走査線12a上では測量点12cがない状態となるべきである。しかしながら、擬似スリット光11aが実際は拡散光であることから、図示するように、物体2に拡散光の拡散部分が照射された位置を測量点12cとして算出してしまうことになる。
【0027】
その結果、これらの測量点12cが画像中心より右側の位置にくることから、従来技術では、
図3に示すように、より遠い位置に物体2が存在するものと判断してしまうことになり、距離計測の結果に誤差が生じてしまう。
図6は、従来技術における距離計測の誤差を生ずる例について概要を示した図である。すなわち、上記の
図5(b)の例の場合は、
図6に示すように、例えば、平板状の物体4が光源11およびカメラ12側に上部を傾けた状態で存在しているのと同様の計測結果となってしまう。
【0028】
図5(b)では、物体2が棒状物の場合を例として示しているが、棒状物ではない場合であってもこのような状況は生じ得る。
図5(c)は、棒状ではない形状として、例えば直方体状の物体2が擬似スリット光11aとして把握される部分から右側にずれて存在している状態を示している。この場合も、上記と同様に、擬似スリット光11aが実際には拡散光であることから、擬似スリット光11aとして把握される部分には含まれない物体2の左側端部を測量点12cとして算出してしまうことになり、その結果、上記と同様に、距離計測の結果に誤差が生じてしまう。
【0029】
このように、撮像面13の各走査線12a上において、擬似スリット光11aとして把握される部分の照射位置に物体2の領域が存在せず、他の部分に物体2の領域が存在する状態が生じるような、物体2の形状もしくは配置状況では、三角測量で距離を計測する際の測量点12cを正しく計測することができない。その結果として、走査線12aの高さ位置における物体2の距離の計測結果に誤差を生じることになる。
【0030】
そこで、本実施の形態では、物体2に対する拡散光の照射の状況(輝度分布)から、光源11の照射の中心位置を推定し、これを測量点12cとする。すなわち、物体2の位置に
図5(a)の例のような平板が存在したと仮定した場合に、当該平板に照射される光源11からの拡散光の中心(擬似スリット光11aの中心)となる位置を推定し、これを物体2についての測量点12cとする。これにより、従来技術を用いた場合に各走査線12a上に算出されることになる複数の測量点12cは、1つの測量点12c(光源11の中心位置)に変換されることになる。
【0031】
図7は、本実施の形態による光源11の中心位置を推定する手法の例について概要を説明する図である。例えば、撮像面13上に、
図5(b)の例のように棒状の物体2が存在する(撮像されている)場合、棒状の物体2の軸方向に沿って輝度分布を正規分布推定して軸上輝度分布12dを得る。物体2の軸上における軸上輝度分布12dの頂点の位置を通り、物体2の軸方向に直交する法線と、撮像面13上において光源11の中心位置がとり得る軌跡を示す光源中心軌跡12eとの交点を、当該物体2についての推定光源中心12f(すなわち測量点12c)とする。
【0032】
ここで光源中心軌跡12eは、物体2の距離に応じた光源中心の照射位置の軌跡を示す直線であり、例えば、
図5(a)の例のように、仮に平板状の物体2をxy平面上に配置して光源11からの拡散光を照射した状態で、物体2の距離を変えた(例えば、平板状の物体2をz軸に沿って移動させた)場合の、光源11の中心位置の移動軌跡を示している。例えば、事前に少なくとも距離が異なる2ヶ所以上で平板状の物体2に対して光源11からの拡散光を照射した場合の光源11の中心位置をそれぞれ求めておくことで、これらの中心位置から近似的に光源中心軌跡12eの直線を求めることができる。
【0033】
図8は、本実施の形態による棒状の物体2の軸を推定する手法の例について概要を説明する図である。
図7の例に示した手法により推定光源中心12f(すなわちこの場合の測量点12c)を求める際、棒状の物体2の軸を推定する必要がある。本実施の形態では、例えば、撮像面13上での棒状の物体2の領域の輝度分布は物体2の軸方向に最も長くなる特徴を有することを利用し、輝度分布の幅が最も広くなる角度から物体2の軸を推定する。
【0034】
具体的には、例えば、各画素について輝度値が所定の閾値を超えるものを注目画素12gとして抽出し、各注目画素12gについて、当該注目画素12gを中心とする0度から179度の回転角(例えば1度単位)を有する複数の直線を考える。各直線について、それぞれ直線上の画素の輝度分布を正規分布推定し、正規分布の幅が最も広くなる角度を求めて、これを当該注目画素12gの推定軸角度12hとする。
【0035】
各注目画素12gについて推定軸角度12hを求め、最も出現頻度の高い推定軸角度12hの値(もしくはこれを中心とした一定範囲の値)と同じ値を推定軸角度12hとして有する注目画素12gを抽出する。抽出した注目画素12gの集合を直線近似することで物体推定軸2’を求めることができる。その後は、上述したように、物体推定軸2’上の輝度分布を正規分布推定して軸上輝度分布12dを取得し、正規分布の頂点に対応する位置から物体推定軸2’に対する法線を引く。当該法線と光源中心軌跡12eとの交点を推定光源中心12fとする。
【0036】
上記の手法では、各注目画素12gを通る直線上での輝度分布に基づいて棒状の物体2の軸を推定している。当該手法によれば、物体2が直線状の棒状物である場合に限らず、曲線や折れ曲がりなどを有していても、直線近似により仮想的に物体推定軸2’を求めることができる。また、
図5(c)の例に示すような、物体2の位置により補正が必要となる場合であっても、測量点12cを含む位置にあたかも棒状の物体2があるものとみなして、同様の手法により物体推定軸2’および推定光源中心12fを求めることができる。なお、上記の推定光源中心12fの推定手法(物体推定軸2’などの推定手法も含む)は一例であり、他の推定手法を用いてもよいことは当然である。
【0037】
図9は、本実施の形態による物体2との間の距離を計測する処理の流れの例について示したフローチャートである。距離計測の処理を開始すると、まず、物体距離計測装置1は、制御部10により、光源11を点灯して監視領域にある物体2を照射するとともに、照射されている物体2の状態をカメラ12により撮影する(S01)。得られた撮像データは、画像処理部20に受け渡す。光源11やカメラ12の動作は必要に応じて継続させてもよいし、停止させてもよい。
【0038】
撮像データを取得した画像処理部20は、補正対象物判定部21により、
図8に示した手法により、撮像データの中に補正対象となる棒状の物体2が存在するかを判定する。具体的には、上述したように、まず、撮像データの各画素について、輝度値が所定の閾値以上であるものを注目画素12gとして抽出する(S02)。次に、ステップS02で抽出した各注目画素12gについて、それぞれ当該注目画素12gを中心とする0度から179度の回転角(1度単位)を有する複数の直線を設定し、各直線上の輝度分布を正規分布推定して、正規分布の幅が最も広くなる角度を当該注目画素12gにおける推定軸角度12hとして決定する(S03)。
【0039】
その後、ステップS03で抽出した注目画素12gについて、最も出現頻度の高い推定軸角度12hの値(もしくはこれを中心とした一定範囲の値)と同じ値を推定軸角度12hとして有する注目画素12gを抽出する(S04)。さらに、ステップS04で抽出した注目画素12gの集合を任意の手法により直線近似することで、物体推定軸2’を算出する(S05)。その後、ステップS05で推定した物体推定軸2’が妥当なものであるか否かを判定する(S06)。
【0040】
例えば、得られた近似直線からの各注目画素12gの分散の程度が所定の閾値以上に大きい場合や、抽出された注目画素12gの数が所定の数より少ない場合など、直線近似が妥当でないような場合は、棒状の物体2に拡散光が照射された状態であるとみなせる領域が検出できない(補正対象となる棒状の物体2が存在しない)ものとして、本実施の形態による補正を行わず、従来技術と同様の手法で物体2の距離を計測するものとする。すなわち、測量点計算部22により、各走査線12a上での画素の輝度分布を正規分布推定し、正規分布の頂点の位置を測量点12cとして(S07)、距離計算部23により、各測量点12cについてそれぞれ三角測量により物体2との間の距離を計算する(S10)。
【0041】
一方、ステップS05で推定した物体推定軸2’が妥当なものである場合(もしくは妥当でないもの以外の場合)は、棒状の物体2に拡散光が照射された状態であるとみなせる領域が検出できたものとして、次に、測量点計算部22により、物体推定軸2’上の画素の輝度分布を正規分布推定して軸上輝度分布12dを取得し、正規分布の頂点に対応する位置を計算する(S08)。さらに、ステップS08で得た頂点位置から物体推定軸2’に対する法線を算出し、当該法線と、予め算出されている光源中心軌跡12eの直線との交点から推定光源中心12fを求め、これを測量点12cとして設定する(S09)。
【0042】
その後、距離計算部23により、測量点12cについて三角測量により物体2との間の距離を計算する(S10)。得られた距離の情報は、例えば、カメラ12での撮像データと合わせて出力部30によってモニタ31上に表示したり、車両の制御に用いたりすることができる。
【0043】
このように、物体2が棒状物であったり、配置位置がずれていたり等の状況に応じて、光源11の中心位置を推定して測量点12cとする補正を行うことで、物体2との間の距離をより適切に測定することが可能となる。この点を確認すべく、本願の出願人は上記の補正処理の手法を用いた場合と用いなかった場合(従来技術を用いた場合)とで物体2との間の距離をそれぞれ計測する実験を行った。
【0044】
実験では、光源11に一般的なLEDランプを用い、また、カメラ12にはUSB(Universal Serial Bus)によりPC等に接続して使用する一般的なWebカメラ(128×96ピクセルで撮像データを取得)を用いた。これらを
図2の例に示したのと同様な位置関係で相互に17cm離れた位置に固定し、(1)カメラ12から44cm離れた位置に棒状の物体2を配置した場合と、(2)35cm離れた位置に配置した場合とについて、従来技術による距離の計測と、本実施の形態の補正手法を用いた距離の計測とをそれぞれ行なって計測結果を比較した。
【0045】
なお、物体2の配置状況は、上記(1)の実験では、
図5(b)と同様であり、擬似スリット光11aとして把握される部分よりも右側に物体2の部分が存在する場合である。また、上記(2)の実験では、
図5(b)とは左右逆とし、擬似スリット光11aよりも左側に物体2の部分が存在する場合としている。
【0046】
距離計測の結果、従来技術では、各走査線12a上の測量点12c毎に異なる距離が計測されるため、(1)の実験では、86cm〜137cm、(2)の実験では24cm〜37cmとバラツキが生じる結果となった。また、(1)の実験では誤差も非常に大きくなった。これに対し、本実施の形態の手法では、測量点12cが推定光源中心12fの1点となるためバラツキはなく、(1)の実験では47cm、(2)の実験では29cmと少ない誤差で距離を計測することができた。
【0047】
以上に説明したように、本実施の形態による物体距離計測装置1によれば、例えば、自動車等の車両に搭載されているテールランプ等を光源11として擬似スリット光11aを得て監視領域に存在する物体2を照射し、同じく車両に搭載されている後方確認用等のカメラをカメラ12として用いて、光切断法により物体2とカメラ12との間の距離を計測することができる。このとき、例えば、物体2の形状が棒状である場合や、物体2の位置が擬似スリット光11aの位置からずれている場合など、距離計測の結果に誤差が生じ得る場合を検知し、測量点12cの位置を推定光源中心12fの位置に補正することで、これらの場合における誤差を低減することが可能となる。
【0048】
以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は前記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。