特許 6860445 物体距離検出装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6860445

(24)【登録日】2021年3月30日

(45)【発行日】2021年4月14日

(54)【発明の名称】物体距離検出装置

(51)【国際特許分類】

   G01C 3/06 20060101AFI20210405BHJP

   H04N 5/225 20060101ALI20210405BHJP

   H04N 5/232 20060101ALI20210405BHJP

   G06T 3/00 20060101ALI20210405BHJP

   G06T 7/593 20170101ALI20210405BHJP

   G06T 7/33 20170101ALI20210405BHJP

【ＦＩ】

   G01C3/06 110V

   G01C3/06 140

   H04N5/225 800

   H04N5/232 290

   G06T3/00 710

   G06T7/593

   G06T7/33

【請求項の数】6

【全頁数】12

(21)【出願番号】特願2017-146497(P2017-146497)

(22)【出願日】2017年7月28日

(65)【公開番号】特開2019-27882(P2019-27882A)

(43)【公開日】2019年2月21日

【審査請求日】2019年10月28日

(73)【特許権者】

【識別番号】317015179

【氏名又は名称】マクセル株式会社

(74)【代理人】

【識別番号】100104547

【弁理士】

【氏名又は名称】栗林 三男

(72)【発明者】

【氏名】石崎 修

(72)【発明者】

【氏名】大坪 宏安

【審査官】 九鬼 一慶

(56)【参考文献】

【文献】 特開２０１６−２０７０３０（ＪＰ，Ａ）

【文献】 特開２０１６−０７０６８８（ＪＰ，Ａ）

【文献】 特開２０１５−２３０７０３（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０１Ｃ ３／０６

Ｇ０６Ｔ ３／００

Ｇ０６Ｔ ７／３３

Ｇ０６Ｔ ７／５９３

Ｈ０４Ｎ ５／２２５

Ｈ０４Ｎ ５／２３２

(57)【特許請求の範囲】

【請求項1】

魚眼レンズユニットおよび撮像センサを有する一対の魚眼カメラからなるステレオカメラと、
一対の前記撮像センサから出力される画像から距離画像を算出する距離画像算出部と、
前記距離画像から被写体の識別を含む画像認識を行う距離画像認識部と、
を備え、
前記距離画像算出部は、
一対の前記魚眼カメラでそれぞれ撮影された画像を予め設定された複数の区画に区画化する区画化部と、
前記区画毎に設定された解像度の画像に変換する解像度変換部と、
前記解像度変換部により変換されて一対の前記魚眼カメラで略同時に撮影された二つの前記画像内それぞれで、撮影された被写体上の同じ点に対応する対応点を求める対応点探索部と、
前記対応点探索部で探索され、前記被写体上の同じ点に対応する二つの対応点の位置の違いに基づいて前記ステレオカメラから対応点までの距離を求める距離算出部と、
を備え、
前記解像度変換部は、前記一対の魚眼カメラの配置方向に基づいて前記区画の解像度を調整することを特徴とする物体距離検出装置。

【請求項2】

一対の前記魚眼カメラは、略水平方向を向いて配置され、
前記解像度変換部は、前記画像の上部の前記区画より前記画像の下部の区画の方が、解像度が高くなるように解像度を変更することを特徴とする請求項１に記載の物体距離検出装置。

【請求項3】

一対の前記魚眼カメラは、略鉛直方向を向いて配置され、
前記解像度変換部は、前記画像の中央部の前記区画より前記画像の周縁部の区画の方が、解像度が高くなるように解像度を変更することを特徴とする請求項１に記載の物体距離検出装置。

【請求項4】

前記区画化部は、前記一対の魚眼カメラの配置方向に基づいて前記区画の面積を調整することを特徴とする請求項１〜３の何れか１項に記載の物体距離検出装置。

【請求項5】

前記距離画像算出部は、前記区画毎に、魚眼レンズによる歪を除去する歪除去部を備えることを特徴とする請求項１〜４の何れか１項に記載の物体距離検出装置。

【請求項6】

前記距離画像算出部は、縦横に配列された画素からなるとともに、一つまたは複数の画素からなる各画素領域に分けられ、前記画素領域毎に前記ステレオカメラから前記対応点までの距離に応じて変化する色が着けられた距離画像を出力し、
前記距離画像の解像度の異なる前記区画では、前記画素領域を構成する前記画素の数が前記解像度に応じて異なることを特徴とする請求項１〜５の何れか１項に記載の物体距離検出装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、一対の魚眼レンズを有するカメラを備えたステレオカメラを備え、当該ステレオカメラの映像から物体までの距離を求める物体距離検出装置に関する。

【背景技術】

【0002】

近年の画像認識技術の向上に伴って、車載カメラの映像の画像認識を利用した自動車運転時の危険回避および自動運転や、監視カメラの映像の画像認識による既知の犯罪者の検出などが可能となっている。また、車載カメラや監視カメラとして一対のカメラを有するステレオカメラを用いて、例えば、被写体上の同じ対象点に対応する各画像上の対応点同士の位置の違い（視差）に基づいて、ステレオカメラから画像上の各点に対応する被写体上の点までの距離を検出して、画像の各画素を輝度や色差ではなく被写体までの距離で表す距離画像を求め、この距離画像で画像認識を行うことが考えられる。この場合に、撮影された二つの画像それぞれにおいて撮影された被写体上の各点に対応する対応点を探索し、被写体上の同じ点に対応する二つの画像上の対応点同士の位置の違いとしての視差から上述の距離を算出する。また、距離画像が得られたところで、例えば、顏認識等による人検出や移動体検出などの画像認識を行い、さらに、自動車運転時の危険回避や、自動運転や、顏認識による指名手配犯等の特定の人物の検知や、不法侵入者等の不審者の検知等を行う。距離画像における画像認識では、撮影対象上の物体の立体形状の一部が距離画像により分かった状態なので、画像上の被写体が人、犬、猫、馬、車両等の識別を容易かつ高精度に行うことが可能となる。
また、画像認識の精度を考慮した場合に、高解像度のイメージセンサを用いることが好ましいが、画素数が多い画像を用いて上述の距離の検出等の演算処理を行う場合に、計算量が膨大な量となり、車載カメラや監視カメラの映像のような動画を処理する場合に１フームの処理に長い時間がかかってしまう。演算処理を行う集積回路の演算速度によっては、1フレームの演算処理時間が長くなり過ぎて、リアルタイムでの対応が要求される場合にその後の処理が間に合わない虞がある。この場合に、最初に画像の画素を間引いて画像の解像度（画素数）を下げて処理時間の短縮を図ることが考えられる。

【0003】

また、カメラのレンズユニット（レンズ）として、魚眼レンズが知られている。魚眼レンズは、通常の広角レンズや望遠レンズで用いられる中心射影方式ではない射影方式を採用しているレンズユニットであり、例えば、ほとんどの魚眼レンズは、等距離射影方式を採用している。魚眼レンズでは、それ以外に、等立体角射影方式や、正射影方式や、立体射影方式などが採用される。なお、望遠側では、中心射影方式とその他の射影方式との間の撮影画像の差が少なく、望遠の魚眼レンズは存在せず、魚眼レンズは、超広角レンズとなる。一般的に魚眼レンズの画角は１８０度のものが多いが、画角が１８０度未満のレンズや、画角が１８０度より大きなレンズも存在する。

【0004】

このような魚眼レンズを用いたステレオカメラで被写体までの距離を求める距離算出装置が提案されている（特許文献１参照）。この魚眼レンズを用いたステレオカメラでは、ステレオカメラで撮影された画像からこれを球面に投影した球面画像に変換し、各被写体までの距離を求めている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１３−１０９７７９号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

ところで、魚眼レンズを利用したステレオカメラで撮影された動画の各フレームから距離画像を算出するのには、通常のレンズの場合と同様かそれ以上に膨大な演算量が必要となり、1フレーム当たりの処理時間が長くなってしまう。また、魚眼のレンズユニットから平面状のイメージセンサ面に像が結ばれた画像をそのまま検出して出力すると、画像の中央部分の歪が小さく、画像の周縁部で歪が大きい。また、監視カメラで屋内を監視するような場合には、広さにもよるが屋内空間の中央部の天井から真下の床が中心となるようにステレオカメラを鉛直方向に向けて設置して撮影することが効率的である。
また、車載カメラで前方を撮影するような場合や被監視空間の隅から監視カメラで撮影するような場合は、例えば、水平な方向やこの方向より斜め下向きの方向が中心となるようにステレオカメラを設置して撮影することが効率的である。これらの場合も魚眼レンズで撮影された画像の中央部より周縁部が大きく歪んだ状態となる。

【0007】

また、天井の鉛直方向を向く監視カメラでは、真下部分に人がいても顏が写らず、頭が写ることになり、顏認識等による人の特定が困難である。但し、監視カメラの真下に人が来るためには、撮影範囲の周縁部から中央部に移動する必要があり、この際に移動する人の顔が写るので、顏認識が可能となる。
また、水平な屋外の監視カメラや車載カメラでは、画像の上側には空が写ることになり、画像認識による被写体の特定等の必要がない場合が多い。このような魚眼レンズを有するステレオカメラの画像から距離画像を求める際に画像全体を一様に処理すると非効率的であり、処理時間の短縮を図るうえで、何等かの処理上の工夫が必要と思われる。

【0008】

本発明は、前記事情に鑑みてなされたものであり、魚眼レンズを有するステレオカメラの画像から距離画像を求める場合に、画像の位置によって異なる解像度となるように解像度を下げるように変更してから距離画像を求めることができる物体距離検出装置を提供することを目的とする。

【課題を解決するための手段】

【0009】

前記課題を解決するために、本発明の物体距離検出装置は、魚眼レンズユニットおよび撮像センサを有する一対の魚眼カメラからなるステレオカメラと、
一対の前記撮像センサから出力される画像から距離画像を算出する距離画像算出部と、
前記距離画像から被写体の識別を含む画像認識を行う距離画像認識部と、
を備え、
前記距離画像算出部は、
一対の前記魚眼カメラでそれぞれ撮影された画像を予め設定された複数の区画に区画化する区画化部と、
前記区画毎に設定された解像度の画像に変換する解像度変換部と、
前記解像度変換部により変換されて一対の前記魚眼カメラで略同時に撮影された二つの前記画像内それぞれで、撮影された被写体上の同じ点に対応する対応点を求める対応点探索部と、
前記対応点探索部で探索され、前記被写体上の同じ点に対応する二つの対応点の位置の違いに基づいて前記ステレオカメラから対応点までの距離を求める距離算出部と、
を備え、
前記解像度変換部は、前記一対の魚眼カメラの配置方向に基づいて前記区画の解像度を調整することを特徴とする。

【0010】

このような構成によれば、魚眼カメラにより撮影された画像を複数の区画に分け、区画によって解像度を変更できるので、魚眼カメラで撮影された画像を考えた場合に、画像の中央部は魚眼レンズによる歪が小さく、そのままでも、例えば、顏の検知や人の検知が可能である。それに対して画像の周縁部では、画像の歪が大きく、画像が歪んで圧縮された状態なので、歪を除去しないと画像認識が難しい。ここで、処理を容易にするために最初に一様に画像の解像度を下げてしまうと歪の大きな画像周縁部で精度の高い画像認識を行うことが困難になる。
そこで、画像の中央部の区画では、画像の解像度を低くして処理量の減少を図り画像の周縁部では解像度を下げずに、解像度が高いまま処理を行うことで、画像の解像度を下げて処理速度の向上を図っても画像認識の精度を維持することができる。この場合に、画像の中央部の広い面積の部分で解像度を下げるようにすれば、全体の処理量を減少させて、処理を高速化することができ、かつ、解像度を下げることによる画像認識の精度が低下するのを抑制できる。ここでの解像度は、例えば、画像の単位面積当たりの画素数であり、解像度を下げる場合には、画像の画素を周知の方法で間引いて減らすことになる。この場合には、周知の画像の縮小処理と同様の処理を行ってもよい。

【0011】

二つの魚眼カメラのそれぞれの画像の区画は、基本的に同じ方向範囲で区画されている。すなわち、区画Ａ、区画Ｂ、区画Ｃがそれぞれの画像に対応してある場合に、少なくとも区画の境界部分以外では、一方の画像の区画Ａにある対応点Ａに対応する他方の画像の対応点Ａは、他方の画像の区画Ａに存在する。そこで、対応点の探索は、基本的に、二つの画像の対応する二つの区画で行われる。また、対応点の探索は、例えば、一対の魚眼レンズの二つの画像の各区画において、画像認識における特徴点（特異点）の抽出を行い、一方の画像の区画の特徴点に対応する他方の画像の区画の特徴点を決定するものであり、基本的な画像認識により対応点が決定される。
なお、対応点の探索においては、上述の特許文献１に記載されるエピポーラ幾何を利用して決定してもよい。

【0012】

本発明の前記構成において、前記距離画像算出部は、縦横に配列された画素からなるとともに、一つまたは複数の画素からなる各画素領域に分けられ、前記画素領域毎に前記ステレオカメラから前記対応点までの距離に応じて変化する色が着けられた距離画像を出力し、
前記距離画像の解像度の異なる前記区画では、前記画素領域を構成する前記画素の数が前記解像度に応じて異なることが好ましい。

【0013】

このような構成によれば、各区画の画素領域を構成する画素の数を各区画の解像度に応じて増減することで、解像度の異なる各区画の画像を一つの距離画像上に略同じ表示倍率で表すことができる。なお、各画素領域は、一つの色で着色された状態で、距離画像では、距離に応じて各画素領域の色が変化するものとなっている。例えば、サーモグラフィのように温度の数値を示す画像に対して、距離画像は距離の数値を示す画像で、サーモグラフィのような画像となる色の変化は、例えば、明暗（輝度）の変化や、色相の変化や、輝度と色相の両方の変化の組み合わせなどである。

【0014】

また、本発明の前記構成において、前記距離画像算出部は、前記区画毎に、魚眼レンズによる歪を除去する歪除去部を備えることが好ましい。
このような構成によれば、区画毎に歪を除去した二次元画像として取り扱えるので、対応点の探索を容易にすることができる。なお、魚眼レンズで撮影された歪の除去方法は周知であり、各魚眼レンズの歪除去に必要なパラメータを設定することで、歪除去が可能となるＩＰコアが販売されており、これを利用することで歪の除去が可能である。

【0015】

本発明の前記構成において、一対の前記魚眼カメラは、略鉛直方向を向いて配置され、
前記解像度変換部は、前記画像の中央部の前記区画より前記画像の周縁部の区画の方が、解像度が高くなるように解像度を変更することが好ましい。

【0016】

上述のように魚眼レンズによる画像の歪を考慮すると、歪の少ない画像の中央部の解像度を下げ、歪の大きな画像の周縁部の解像度を下げないようにすることが好ましい。さらに、天井や何等かの柱状の構造物に下を向くように取り付けられた魚眼カメラでは、真下が画像の中央部となるが、この部分では、被写体を真上から撮影する状況となり、顏等が写り難いため、画像認識が困難になるのに対して真上から少しずれた位置では、顏等が写るため画像認識が可能となり、さらに魚眼カメラの１８０度程度の画角における１８０度近くでは、顏の正面が撮影される可能性がある。そこで、画像の中央部の解像度を下げ、画像の周縁部の解像度を下げないことで、処理時間の短縮と、画像認識の精度の維持を両立させることができる。なお、この場合に解像度の低い中央部の一区画の面積が、解像度が高い周縁部の一区画の面積より大きいことが好ましい。

【0017】

本発明の前記構成において、一対の前記魚眼カメラは、略水平方向を向いて配置され、
前記解像度変換部は、前記画像の上部の前記区画より前記画像の下部の区画の方が、解像度が高くなるように解像度を変更することが好ましい。

【0018】

このような構成によれば、魚眼カメラで水平方向を撮影した場合に、画像の上部には、屋外の場合に空が、屋内の場合に天井が写ることになり、自動車の危険回避や自動運転や、犯罪者や不審者の識別等の監視において、重要度の低い部分なので画像の下部に対して解像度を下げることで、画像認識の精度の低下を抑制しつつ処理時間の短縮を図ることができる。特に、魚眼カメラの高さが高い場合、例えば、魚眼カメラが監視カメラの場合に人間より高い位置にある場合や、魚眼カメラが車載カメラの場合に、車の高い位置にある場合などは、画像の下部の重要度が高くなり、解像度を維持することが好ましい。また、この場合に、画像の中央部の解像度は画像の下部より低くなっていることが好ましい。なお、魚眼カメラの設置高さが人の身長（顏の位置）より低いような場合には、顏が写る可能性が高い前記画像の上部の前記区画より前記画像の下部の区画の方が、解像度が低くなるように解像度を変更してもよい。

【発明の効果】

【0019】

本発明によれば、魚眼レンズを用いたステレオカメラによる距離画像の算出を演算処理装置に大きな負荷をかけることなく、高速かつ高精度で行うことができる。

【図面の簡単な説明】

【0020】

【図1】本発明の実施の形態の物体距離検出装置を示すブロック図である。

【図2】同、物体距離検出装置の画像解析部を示すブロック図である。

【図3】同、物体距離検出装置の画像解析部の処理を示すフローチャートである。

【図4】同、物体距離検出装置の画像の区画を示す図である。

【図5】同、物体距離検出装置の画像の区画を示す図である。

【図6】同、（ａ）、（ｂ）は、距離画像の区画毎の解像度の違いを説明するための図である。

【発明を実施するための形態】

【0021】

以下、本発明の実施の形態について説明する。
本実施の形態の物体距離検出装置は、例えば、監視カメラや車載カメラ等の主に監視に係るカメラとして魚眼レンズのステレオカメラを用いたものであるが、立体映像を出力するためのものではなく、各画素がカメラから被写体までの距離で表される距離画像を生成し、距離画像から画像認識により不審者の検出等の監視業務を自動で可能とさせるものである。

【0022】

図１に示すように、物体距離検出装置は、魚眼レンズユニット２１、カラーフィルタ２２および撮像センサ２３等を有する一対の魚眼カメラ１１と、一対の魚眼カメラ１１それぞれの撮像センサ２３からそれぞれの画像信号が入力する一対の画像入力部１２と、入力された画像の魚眼レンズに基づく歪を除去する画像信号補正処理を行う一対の画像信号補正処理部１３と、画像信号から画像信号補正処理で用いられる補正パラメータを求める補正パラメータ算出部１５と、魚眼レンズによる歪が除去された補正後の画像信号から距離画像を求める画像解析部（距離画像算出部）１４と、画像解析部１４で生成された距離画像を画像認識して不審者検出等の監視業務を自動で行う距離画像認識部としての不審者検出部１６とを備える。
一対の魚眼カメラ１１は、ステレオカメラを構成するものであり、魚眼レンズユニット２１により撮像センサ２３にカラーフィルタ２２を介して結ばれた像を画像信号として出力する。この際に、画像は動画として出力される。

【0023】

魚眼レンズユニット２１は、中心射影方式ではない射影方式を採用していることにより、魚眼レンズであり、本実施の形態では、等距離射影方式を採用したレンズユニットとなっている。なお、魚眼レンズユニット２１の射影方式は、等距離射影方式に限られるものではなく、中心射影方式以外の射影方式を採用していればよく、例えば、上述の中心射影方式以外の射影方式のレンズユニットを魚眼レンズとして使用するものとしてもよい。また、本実施の形態において魚眼レンズユニット２１の画角は１８０度であるが、例えば、１６０度から２００度程度の画角であってもよい。

【0024】

一対の魚眼カメラ１１は、例えば、魚眼レンズユニット２１の光軸が平行になるように隣り合って配置されており、それぞれが画角１８０度で、互いにもう一方の魚眼レンズユニット２１が撮影されるようになっている。これにより、後述の対応点の探索にエピポーラ幾何を利用することが可能となっている。

【0025】

魚眼カメラ１１の撮像センサ２３からの出力が物体距離検出装置内の画像入力部１２から入力されて画像信号補正処理部１３で色同時化処理、ホワイトバランス処理、ガンマ処理、色マトリックス処理、輝度マトリックス処理、色差／輝度処理等を行う。なお、本実施の形態では、必ずしもカラー画像をモニタ等で出力するとは限らないので、例えば、カラーフィルタ２２を用いない構成としてもよく、色に関する処理を行わなくてもよい。なお、後述のように画像認識により二つの画像で特徴点を抽出し、特徴点に基づいて対応点を探索しているので、画像認識上、輝度の画像（グレースケールの画像）よりカラーの画像の方が、認識率が高いのであれば、上述のように画像信号からカラー画像を生成してもよい。また、画像信号補正処理部１３で必要とされる画像信号に基づくパラメータは、補正パラメータ算出部１５で画像信号から算出される。

【0026】

画像解析部１４では、上述のように補正された画像が入力され、歪除去部としての画像変換部３１で、魚眼レンズによる歪を除去する画像変換を必要に応じて行う。たとえば、等距離射影方式の画像を中心射影方式の画像に変換する。なお、歪除去は、周知の方法で行うことができ、例えば、歪除去の画像変換用の既知の集積回路を用いるようになっている。次に、区画化部および解像度変換部としての画像選択部３２で歪を除去された変換画像を設定された区画に分ける区画化を行う。
なお、この区画化は直線による区画化に限らず、曲線による区画化であってもよい。たとえば等距離射影方式の画像を画像変換せずに利用する場合には曲線による区画化の方が好ましい。

【0027】

ここで、図４は、変換画像を矩形とした場合に、例えば、天井等に鉛直方向（下向き）に光軸を向けて一対の魚眼カメラ１１が配置されている場合の区画Ｋ１１〜Ｋ３３を示すものであり、各区画の面積は、中央部の区画Ｋ１１、Ｋ１２、Ｋ２１の面積が広く、周縁部の区画Ｋ１３、Ｋ２３、Ｋ３１、Ｋ３２、Ｋ３３の面積が狭くなっている。また、これら区画Ｋ１１〜Ｋ３３の解像度は、中央部の区画Ｋ１１、Ｋ１２、Ｋ２１の解像度が低く、それに対して周縁部の区画Ｋ１３、Ｋ２３、Ｋ３１、Ｋ３２、Ｋ３３の解像度が高くなっている。たとえば、各区画を同じ画素数、４００×２００にすることにより、結果的に中央部の区画Ｋ１１、Ｋ１２、Ｋ２１の解像度は低くなり、それに対して周縁部の区画Ｋ１３、Ｋ２３、Ｋ３１、Ｋ３２の解像度は高くなる。

【0028】

また、区画化の前に画像変換で歪みを修正した場合に、画像の周縁部で縮んだ状態に歪んでいる部分が延ばされているが、それにより画像変換後は、画像の中央部の方が、周縁部より解像度が高くなっており、画像の中央部で解像度を下げるように画素を間引く処理を行っても、周縁部で解像度を下げる場合よりも影響が少ない。したがって、画像の中央部の区画Ｋ１１、Ｋ１２、Ｋ２１で画素を間引く処理を行って解像度を下げ、画像の周縁部の区画Ｋ１３、Ｋ２３、Ｋ３１、Ｋ３２、Ｋ３３では画素を間引かないようにして、解像度を下げないようにしている。なお、全ての区画Ｋ１１〜Ｋ３３で画素を間引くものとし、その度合いを画像の周縁部の区画Ｋ１３、Ｋ２３、Ｋ３１、Ｋ３２、Ｋ３３より中央部の区画Ｋ１１、Ｋ１２、Ｋ２１で多くしてもよい。また、処理時間の短縮を図る上で、解像度が下げられる中央部の区画Ｋ１１、Ｋ１２、Ｋ２１の面積を、解像度を下げない周縁部の区画Ｋ１３、Ｋ２３、Ｋ３１、Ｋ３２、Ｋ３３より広くしている。なお、画像を複数の区画に分けた後に歪を除去する補正を行う場合に、周縁部では画像が縮むように歪んでいるので、このような歪を補正するために、画像の周縁部の区画の面積を拡大するので、区画化の際に、周縁部の区画の面積を中央部より小さな面積としている。この場合は、区画化後に歪の除去を行うことで、歪が大きな周縁図で解像度を下げると画像の劣化が大きく、距離の算出や画像認識に悪影響が生じる虞がある。したがって、区画化後に歪を除去する場合にも周縁部より中央部で画素を多く間引くようにすることが好ましい。

【0029】

また、図５は、変換画像を矩形とした場合に、例えば、人間の背より高い位置に水平方向または水平方向に対して斜め下向きに光軸を向けて一対の魚眼カメラ１１が配置されている場合の区画Ｋ１１〜Ｋ４２を示すものであり、中央部およびその下側の区画Ｋ１１〜Ｋ３３は、上述の鉛直方向を向く魚眼カメラ１１と同様の区画となっており、各区画Ｋ１１〜Ｋ３３における解像度および面積の設定が同じとなっている。

【0030】

それに対して画像の中央部より上の上部の区画Ｋ４１、Ｋ４２では、例えば、屋外では空、屋内では天井が写るため、重要度が低く、中央部の区画Ｋ１１より解像度が低く面積が広くなっている。なお、上部の区画Ｋ４１、Ｋ４２では、上部の中央部の区画Ｋ４１の解像度が最も低く面積が最も広い、それに対して上部の左右側部の区画Ｋ４２の解像度は、区画Ｋ４１より高く、面積が狭くなっている。

【0031】

なお、図４および図５は、区画分けの例を示すものであり、魚眼カメラ１１の魚眼レンズユニット２１による画像の歪に基づいて中央部の区画の解像度を低くするとともに面積を広くし、それと比較して周縁部の解像度を高くするとともに面積を小さくすることを基本とし、魚眼カメラ１１の配置に基づく重要度によって解像度や面積を調整することができる。すなわち、画角１８０度程度以上の魚眼カメラ１１では、撮影範囲が広いので、例えば、人が存在し得ないような位置が撮影範囲に入る可能性があり、人を監視する監視カメラにおいてそのような部分の解像度を下げて、処理速度の向上を図ることが好ましい。

【0032】

画像選択部３２では、一対の画像のそれぞれで同じ区画Ｋ１１〜Ｋ３３を選択する。一対の区画を選択した場合に、次の対応点探索部としての対応点選択部３３は、上述のように、画像認識による各画像の特徴点の抽出と、各画像の特徴点の対応付けを行う。この際には、エピポーラ幾何を用いることができ、各画像で組となる対応点を順次決定して選択する。なお、一対の区画に対する対応点の選択が終了した場合に、次の一対の区画で対応点の抽出を行う。全ての対となる区画で対応点の抽出が終了した場合に、次に距離算出部３４において、一対ずつの対応点の画像上の位置の違いと、1対の魚眼カメラ１１間の距離から魚眼カメラ１１から一対の対応点に対応する対象点までの距離を求める。所謂三角測量法に基づく距離の算出であるが、視差を用いる場合には、一般的な三角測量に対して基線距離（一対のカメラ間の距離）が対象までの距離より非常に小さく、両点（各魚眼カメラ１１）から対象点までの距離の差が問題にならないときに、対象点までの距離は、基線距離を視差（単位ラジアン）で除算することにより得られる。
また、対応点の各画像上の二次元座標上の座標位置（投影位置）とカメラ間の距離と、カメラの焦点距離から実空間上の三次元座標上の対象点の三次元座標を算出することが可能であり、対象点とカメラの実空間上の三次元座標位置からカメラから対象点までの距離を算出可能である。

【0033】

図３のフローチャートが、上述の画像解析部１４における処理を示すもので、一対の魚眼カメラ１１による画像の撮影、画像の補正後に、画像解析部１４に、一対の一フレームずつの画像の入力から各画素となる対応点毎の魚眼カメラ１１から対象点までの距離を示す距離画像を算出する処理を示すものである。なお、図３のフローチャートでは、区画化の後に歪を除去する処理を行う場合を示している。フローチャートに示すように、一対の魚眼カメラ１１から１フレームずつの補正された画像が入力した場合に、区画化を行う（ステップＳ１）。区画化では、画像を複数の区画に分けるとともに各区画の解像度を下げる処理（例えば、縮小処理）を行うが、区画によって解像度を変更する。また、区画によって、一区画の面積を調整する。基本的に画像の中央部の区画で解像度が低く、面積が大きくなるようにし、それに対して画像の周縁部で区画の解像度を中央部より高く、区画の面積を中央部より小さくする。

【0034】

区画化の後に、各区画で歪の除去を行う（ステップＳ２）。なお、魚眼レンズによる画像の歪の除去方法は、既に確立された方法を用いる。
次に、各区画で対応点となる特徴点（特異点）を抽出する。特徴点としては、例えば、エッジ等の特異点を周知のエッジ検出で検出する。なお、対応点は、実空間の対象点に対応する画像上の点であり、二つの画像で同じ対象点に対応する点は対応点であり、両方の画像に実空間上の各点が写っていれば、対応点が存在することになり、上述のエピポーラ幾何等の方法を用いて、多くの対応点を探索することが好ましい。
次に、一対ずつの対応点の画像上の位置の違いと、魚眼カメラ１１間の距離に基づいて魚眼カメラ１１から対応点に対応する実空間上の対象点までの距離を算出する（ステップＳ４）。次に、求められた各対応点の距離を各画素の値とする距離画像を生成して出力する（ステップＳ５）。

【0035】

そして、この距離画像を監視に使用する。距離画像を画像認識して人を検出したり、人以外の生物や物品（車両等）を検出したりする。また、人に関しては、登録されている人物の顏の立体形状や写真等から人物の特定を行ったり、距離画像中で検出された人の立体形状、例えば、身長、体格、服装の形状等から子供と大人を区別したり、年齢を区別したり、男女を区別したりしてもよい。また、自動車や自動二輪車等の車両の車種ごとの形状を登録しておき、車両の検出と、車種の検出を行うものとしてもよい。

【0036】

本実施の形態の物体距離検出装置によれば、画角が例えば１８０度程度の魚眼カメラ１１を複数備えるステレオカメラで距離検出を行うので、例えば、実空間における各物体としての対象点までの距離を求め、距離画像を出力することができるが、画角が広いことから一フレームの画像における情報量が多く、距離の検出に必要な画像認識を含む演算処理の処理量が多くなり、演算処理回路の能力によっては処理に長い時間を必要とし、一フレームの処理時間が長く、動画の処理が難しくなる。また、魚眼カメラ１１の画像中に多くの距離算出可能な対象点がある。そして、情報量（対象点）が画像の中央部より多い画像の周縁部では、画像が中央部より歪んでおり、必ずしも解像度が高くない。一方、魚眼カメラ１１の画像には、空や天井、床や地面等の監視業務等において重要性の低い部分が多く映り込むことになる。そこで、歪が小さく解像度が高い部分や、重要度の低い部分を区分けし、この部分の解像度を下げて距離の算出を行うことで、距離の算出の精度を大きく低下させることなく、処理量を減らして処理時間を短縮することができる。これにより、複数の魚眼カメラ１１を有するステレオカメラで求めた距離画像を用いた監視装置における画像認識を円滑に行うことができる。

【0037】

ここで物体距離検出装置から出力される距離画像の各画素領域Ｄについて説明する。距離画像は、画像上の各点がステレオカメラからの距離で表されるものであり、本実施の形態では、距離の値に応じた色の濃淡の変化で距離画像が表されている。色の変化は、例えば、白黒のグラデーションや、他の色のグラデーションであってもよい。なお、距離画像で機械的に画像認識する場合には、画像上の各点を上述の距離を示す数値で表しても良い。図４に示す区画化された画像に対応する距離画像の一部として図６（ａ）に区画Ｋ１１の一部を示し、図６（ｂ）に区画Ｋ３３の一部を示す。一つの距離画像上に各区画Ｋ１１〜Ｋ３３が図４と同様に配置されている。そして、各区画Ｋ１１〜Ｋ３３によって解像度が異なるものとなっている。但し、図６に示すように、距離画像上において最小単位となる画素Ｐ（二重線および点線の両方で区切られた部分）の大きさは同じとなっている。画素Ｐは、例えば距離画像を表示するモニタの画素である。

【0038】

距離画像においては、画像が各画素領域Ｄ（二重線で区切られた部分）に分けられ、各画素領域Ｄは、１画素Ｐまたは複数画素Ｐから構成されている。前記画素領域Ｄ毎にステレオカメラから対応点（撮影対象）までの距離に応じた例えば白黒の濃淡が着けられており、距離画像は各画素領域Ｄの距離に応じた色（色の濃淡）で表されたものである。ここで、区画Ｋ１１の解像度は、区画Ｋ３３より低くなっているのに対応して、区画Ｋ１１の各画素領域Ｄの画素数が４なのに対して区画Ｋ３３の画素領域Ｄの画素数は２となっており、解像度の低い区画Ｋ１１の画素領域Ｄの方が解像度の高い区画Ｋ３３の画素領域Ｄより画素Ｐの数が多く、面積が広くなっている。一つの距離画像において、区画によって最小単位の画素の大きさを変える必要がなく、画素領域Ｄの画素Ｐの数を変更することで解像度の違いに対応することができ、例えば、解像度の異なる複数の区画の画像を一つのモニタ上に略同じ表示倍率で表示することができる。

【符号の説明】

【0039】

１１ 魚眼カメラ
１４ 画像解析部（距離画像算出部）
１６ 不審者検出部（距離画像認識部）
２１ 魚眼レンズユニット
２３ 撮像センサ
３１ 画像変換部（歪除去部）
３２ 画像選択部（区画化部：解像度変換部）
３３ 対応点選択部（対応点探索部）
３４ 距離算出部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】