特許 5872818 測位処理装置、測位処理方法、および画像処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5872818

(24)【登録日】2016年1月22日

(45)【発行日】2016年3月1日

(54)【発明の名称】測位処理装置、測位処理方法、および画像処理装置

(51)【国際特許分類】

   G01B 11/00 20060101AFI20160216BHJP

   G01C 3/06 20060101ALI20160216BHJP

   G06T 1/00 20060101ALI20160216BHJP

【ＦＩ】

   G01B11/00 H

   G01C3/06 110V

   G06T1/00 315

【請求項の数】19

【全頁数】28

(21)【出願番号】特願2011-175363(P2011-175363)

(22)【出願日】2011年8月10日

(65)【公開番号】特開2012-63350(P2012-63350A)

(43)【公開日】2012年3月29日

【審査請求日】2014年1月31日

(31)【優先権主張番号】特願2010-184599(P2010-184599)

(32)【優先日】2010年8月20日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】000005821

【氏名又は名称】パナソニック株式会社

(74)【代理人】

【識別番号】100109210

【弁理士】

【氏名又は名称】新居 広守

(72)【発明者】

【氏名】石上 智英

(72)【発明者】

【氏名】西村 明夫

(72)【発明者】

【氏名】奥山 哲郎

【審査官】 ▲うし▼田 真悟

(56)【参考文献】

【文献】 特開２００９−１３９２４６（ＪＰ，Ａ）

【文献】 特開２００９−２３７６５２（ＪＰ，Ａ）

【文献】 特開２００５−２４２４８８（ＪＰ，Ａ）

【文献】 特開２００７−０２４６４７（ＪＰ，Ａ）

【文献】 再公表特許第２００８／０５３６４９（ＪＰ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０１Ｂ １１／００−１１／３０

Ｇ０１Ｃ ３／０６

Ｇ０６Ｔ １／００

(57)【特許請求の範囲】

【請求項1】

互いに異なる視点から撮影された複数の入力画像に基づいて、測位対象の３次元位置を測定する測位処理装置であって、
各入力画像に対応する光学系に入射する光線の進行方向を示す光線ベクトルを各入力画像内の各画素に対応付けた光線情報を保存している光線情報保存部と、
前記光線情報保存部に保存されている前記光線情報を用いて、前記測位対象の３次元位置を測定する測位部とを備え、
前記測位部は、
前記光線情報を用いて、前記複数の入力画像に含まれる第１入力画像に対応する第１光学系の位置と、前記複数の入力画像に含まれる第２入力画像に対応する第２光学系の位置と、前記測位対象の位置とによって形成されるエピポーラ平面を計算するエピポーラ平面計算部と、
前記エピポーラ平面の法線ベクトルと、前記第１入力画像および前記第２入力画像の各々におけるエピポーラ線ベクトルとに基づいて、前記第１入力画像に対応する第１エピポーラ画像と、前記第２入力画像に対応する第２エピポーラ画像とを作成するエピポーラ画像作成部と、
前記第１エピポーラ画像内の前記測位対象が映っている画素である測位点に対応する、前記第２エピポーラ画像内の画素である対応点を計算する対応点計算部と、
前記光線情報を参照することにより、前記測位点に対応する光線ベクトルと前記対応点に対応する光線ベクトルとを取得し、取得した２つの光線ベクトルが交差する３次元位置を、前記測位対象の３次元位置として計算する測位点計算部とを備える
測位処理装置。

【請求項2】

前記エピポーラ平面計算部は、
前記光線情報を参照することにより、（１）前記第１入力画像内の前記測位点に対応する第１光線ベクトルと、（２）前記第１光線ベクトルと同じ方向を持つ光線ベクトルであって、前記第２入力画像内の画素に対応する光線ベクトルである第２光線ベクトルとを取得し、
前記第１光線ベクトルと前記第２光線ベクトルとを用いて前記エピポーラ平面を計算する
請求項１に記載の測位処理装置。

【請求項3】

前記エピポーラ画像作成部は、
前記第１光線ベクトルおよび前記第２光線ベクトルに直交するベクトルを、前記エピポーラ平面の法線ベクトルとして計算し、
前記第１光線ベクトルおよび前記法線ベクトルに直交するベクトルを第１エピポーラ線ベクトルとして計算し、
前記法線ベクトルと前記第１エピポーラ線ベクトルとを用いて、前記第１入力画像から前記第１エピポーラ画像を作成し、
前記第２光線ベクトルおよび前記法線ベクトルに直交するベクトルを第２エピポーラ線ベクトルとして計算し、
前記法線ベクトルと前記第２エピポーラ線ベクトルとを用いて、前記第２入力画像から前記第２エピポーラ画像を作成する
請求項２に記載の測位処理装置。

【請求項4】

前記エピポーラ画像作成部は、
前記第１光線ベクトルの方向を、前記法線ベクトルの方向と前記第１エピポーラ線ベクトルの方向とに予め定められた単位角度ずつ回転させて得られる各方向に対応する、前記第１入力画像内の画素の輝度値を用いて、前記第１エピポーラ画像を作成し、
前記第２光線ベクトルの方向を、前記法線ベクトルの方向と前記第２エピポーラ線ベクトルの方向とに前記単位角度ずつ回転させて得られる各方向に対応する、前記第２入力画像内の画素の輝度値を用いて、前記第２エピポーラ画像を作成する
請求項３に記載の測位処理装置。

【請求項5】

前記エピポーラ画像作成部は、
前記第１光線ベクトルを、前記法線ベクトルの方向と前記第１エピポーラ線ベクトルの方向とに、前記第１光線ベクトルと直交する平面との交点が等距離で移動するような角度で回転させて得られる各方向に対応する、前記第１入力画像内の画素の輝度値を用いて、前記第１エピポーラ画像を作成し、
前記第２光線ベクトルを、前記法線ベクトルの方向と前記第２エピポーラ線ベクトルの方向とに、前記第１のエピポーラ画像を作成するときと同じ角度で回転させて得られる各方向に対応する、前記第２入力画像内の画素の輝度値を用いて、前記第２エピポーラ画像を作成する
請求項３に記載の測位処理装置。

【請求項6】

前記複数の入力画像は、広範囲な周囲の光を反射可能な形状を有する複数の鏡と、前記複数の鏡で反射される光を撮像する１つ以上のカメラとを備える撮像装置によって撮影された画像から得られる
請求項１〜５のいずれか１項に記載の測位処理装置。

【請求項7】

前記複数の入力画像は、広範囲な周囲の光を撮影可能な広角レンズまたは魚眼レンズとカメラとの組を２組以上備える撮像装置によって撮影された画像から得られる
請求項１〜５のいずれか１項に記載の測位処理装置。

【請求項8】

前記光線情報保存部は、前記複数の入力画像に対応する複数の光学系において共通する基準点からの距離が互いに異なる２種類以上の光源が撮影された画像に基づいて、前記複数の入力画像内の少なくとも２つの画素に対応する前記光線ベクトルをそれぞれ計算し、計算した前記光線ベクトルを前記少なくとも２つの画素の各々に対応づけた前記光線情報を保存する
請求項１〜７のいずれか１項に記載の測位処理装置。

【請求項9】

前記光線情報保存部は、前記光線ベクトルを前記複数の入力画像内の特定画素に対応付けた前記光線情報を保存しており、前記特定画素以外の画素およびサブ画素の光線ベクトルを補間計算により計算する
請求項８に記載の測位処理装置。

【請求項10】

前記測位処理装置は、さらに、
前記複数の入力画像に含まれる少なくとも１つの入力画像から前記測位対象が映っている領域を囲む枠を測位枠として検出し、前記測位枠内部に含まれる複数の画素を測位点として出力する測位枠検出部を備え、
前記測位部は、前記測位枠検出部から出力された各測位点の３次元位置を測定し、
前記測位処理装置は、さらに、
前記測位部で測定された各測位点の３次元位置を統合し、測位結果として出力する測位点統合部を備える
請求項１〜９のいずれか１項に記載の測位処理装置。

【請求項11】

前記測位枠検出部は、人物、顔および特定物体の少なくとも１つの画像から抽出された特徴量が学習された学習データベースを参照することにより、前記少なくとも１つの入力画像の中から人物、顔および特定物体の少なくとも１つが映っている領域を、画像認識技術を用いて検出し、検出された領域を囲む枠を前記測位枠として検出する
請求項１０に記載の測位処理装置。

【請求項12】

前記測位点統合部は、複数の測位点の３次元位置の中央値または平均値を前記測位結果として出力する
請求項１０または１１に記載の測位処理装置。

【請求項13】

前記対応点計算部は、前記測位点と前記対応点との間の相関係数を用いて、前記測位点の信頼度を計算し、
前記測位点計算部は、前記測位点に対応する光線ベクトルと前記対応点に対応する光線ベクトルとの間の最小距離を用いて、前記測位点の信頼度を計算し、
前記測位点統合部は、前記測位点の信頼度を用いて、前記複数の測位点の３次元位置を重み付けして統合する
請求項１０または１１に記載の測位処理装置。

【請求項14】

前記測位枠検出部は、画像認識した際の学習データベースとの相関値を用いて、前記測位点の信頼度を計算する
請求項１３に記載の測位処理装置。

【請求項15】

前記測位処理装置は、集積回路として構成されている
請求項１に記載の測位処理装置。

【請求項16】

互いに異なる視点から撮影された複数の入力画像に基づいて、測位対象の３次元位置を測定する測位処理方法であって、
各入力画像に対応する光学系に入射する光線の進行方向を示す光線ベクトルを、各入力画像内の各画素に対応付けた光線情報を用いて、前記測位対象の３次元位置を測定する測位ステップを含み、
前記測位ステップは、
前記光線情報を用いて、前記複数の入力画像に含まれる第１入力画像に対応する第１光学系の位置と、前記複数の入力画像に含まれる第２入力画像に対応する第２光学系の位置と、前記測位対象の位置とによって形成されるエピポーラ平面を計算するエピポーラ平面計算ステップと、
前記エピポーラ平面の法線ベクトルと、前記第１入力画像および前記第２入力画像の各々におけるエピポーラ線ベクトルとに基づいて、前記第１入力画像に対応する第１エピポーラ画像と、前記第２入力画像に対応する第２エピポーラ画像とを作成するエピポーラ画像作成ステップと、
前記第１エピポーラ画像内の前記測位対象が映っている画素である測位点に対応する、前記第２エピポーラ画像内の画素である対応点を計算する対応点計算ステップと、
前記光線情報を参照することにより、前記測位点に対応する光線ベクトルと前記対応点に対応する光線ベクトルとを取得し、取得した２つの光線ベクトルが交差する３次元位置を、前記測位対象の３次元位置として計算する測位点計算ステップ部とを含む
測位処理方法。

【請求項17】

請求項１６に記載の測位処理方法をコンピュータに実行させるためのプログラム。

【請求項18】

魚眼レンズもしくは広角レンズを有するカメラ、または全方位カメラで撮像された入力画像に基づいて、前記入力画像の歪みを補正した画像を作成する画像処理装置であって、
前記入力画像に対応する光学系に入射する光線の進行方向を示す光線ベクトルを、前記入力画像内の各画素に対応付けた光線情報を保存している光線情報保存部と、
前記光線情報保存部から歪み補正後の画像の中心となる前記入力画像中の指定された画素に対応付けた光線ベクトルを取得し、予め決めておいた床面からの垂直ベクトル、および歪み補正後の画像の中心における光線ベクトルと直交するベクトルを求める歪み補正計算部と、
前記歪み補正後の画像の中心における光線ベクトルと、前記垂直ベクトルと、前記求められた前記垂直ベクトルおよび前記歪み補正後の画像の中心における光線ベクトルと直交するベクトルと、指定された解像度と、指定された画角とを用いて、前記入力画像の歪みを補正した前記歪み補正後の画像を作成する歪み補正画像作成部とを備え、
前記指定された解像度は、前記歪み補正後の画像の水平方向の解像度および垂直方向の解像度であり、
前記指定された画角は、前記歪み補正後の画像の水平方向の画角および垂直方向の画角であり、
前記歪み補正画像作成部は、
前記入力画像中の指定された画素の輝度値および、
前記光線ベクトルの方向を、前記垂直ベクトルと、前記垂直ベクトルおよび前記歪み補正後の画像の中心における光線ベクトルと直交するベクトルの方向とにそれぞれ、前記水平方向の画角を前記水平方向の解像度で割った単位角度、および前記垂直方向の画角を前記垂直方向の解像度で割った単位角度ずつ回転させて得られる各方向に対応する、光線ベクトルと対応付けた前記入力画像内の画素の輝度値を用いて、前記歪み補正後の画像を作成する
画像処理装置。

【請求項19】

前記画像処理装置は、集積回路として構成されている
請求項１８に記載の画像処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、互いに異なる視点から撮影された複数の撮影画像に基づいて、測位対象の位置を測定する測位処理装置および測位処理方法に関する。

【背景技術】

【0002】

不審者・不審荷物・不審車等を撮影する監視カメラ、あるいは移動体ロボットのナビゲーションシステムは、周囲３６０度の範囲に位置する物体の詳細な３次元位置情報が必要となる。

【0003】

３次元座標を取得する手段としては、撮影範囲が重複するように互いに異なる視点に配置されたカメラから得られる複数の撮影画像間で対応点を検出し、対応点間の視差量からカメラと物体との３次元距離を計算するステレオ視が一般的である。

【0004】

また、周囲３６０度へカメラ視野を広げるために、画角の広い魚眼レンズを用いた魚眼カメラや、放物面や双曲面鏡を組み合わせた複合鏡とカメラで構成された小型全方位カメラが近年登場してきた。

【0005】

このような全方位ステレオカメラは、撮影された画像が極座標系であるので、直交座標系で撮影された画像を扱う一般的なステレオ視の技術を用いて対応点を検出することが不可能である。

【0006】

小型全方位カメラで測位を実施する技術として、非特許文献１には、以下のような技術が開示されている。まず、カメラ内部パラメータ（放物面鏡の曲率、頂点の位置、および焦点等）を用いて、エピポーラ平面およびエピポーラ線を求めている。その後、エピポーラ線上を様々なウインドサイズで平滑化した画像の視差を統合するための視差検出フィルタを導入することで、対応点を計算し、視差量から全方位画像における測位を実現している。

【先行技術文献】

【非特許文献】

【0007】

【非特許文献1】佐川立昌、小嶋裕一郎、八木康史、“狭基線長ステレオのための視差検出フィルタ”、画像の認識・理解シンポジウム（ＭＩＲＵ２００７）、ｐｐ．ＩＳ−３−３１（２００７）

【発明の概要】

【発明が解決しようとする課題】

【0008】

しかしながら、非特許文献１の技術では、エピポーラ線を計算するために、カメラ内部パラメータをキャリブレーションにより正確に求める必要があった。さらに、カメラ内部パラメータを用いて、複雑な光学計算を行う必要があった。

【0009】

このため、防塵・防水用にアクリル製の半球型ドームを小型全方位カメラに取り付けた場合、ドームの各部における屈折率が正確に計算できないので、光学計算により正確な対応点が求められず、測位誤差が大きいという課題を有していた。

【0010】

そこで、本発明は、上記従来の課題を解決するものであって、互いに異なる視点から撮影された複数の撮影画像に基づいて測位対象の位置を測定する場合に、カメラ内部パラメータを用いなくても、簡易にかつ高精度に測位対象の位置を測定することができる測位処理装置および測位処理方法を提供することを目的とする。

【課題を解決するための手段】

【0011】

上記目的を達成するために、本発明の一態様に係る測位処理装置は、互いに異なる視点から撮影された複数の入力画像に基づいて、測位対象の３次元位置を測定する測位処理装置であって、各入力画像に対応する光学系に入射する光線の進行方向を示す光線ベクトルを各入力画像内の各画素に対応付けた光線情報を保存している光線情報保存部と、前記光線情報保存部に保存されている前記光線情報を用いて、前記測位対象の３次元位置を測定する測位部とを備え、前記測位部は、前記光線情報を用いて、前記複数の入力画像に含まれる第１入力画像に対応する第１光学系の位置と、前記複数の入力画像に含まれる第２入力画像に対応する第２光学系の位置と、前記測位対象の位置とによって形成されるエピポーラ平面を計算するエピポーラ平面計算部と、前記エピポーラ平面の法線ベクトルと、前記第１入力画像および前記第２入力画像の各々におけるエピポーラ線ベクトルとに基づいて、前記第１入力画像に対応する第１エピポーラ画像と、前記第２入力画像に対応する第２エピポーラ画像とを作成するエピポーラ画像作成部と、前記第１エピポーラ画像内の前記測位対象が映っている画素である測位点に対応する、前記第２エピポーラ画像内の画素である対応点を計算する対応点計算部と、前記光線情報を参照することにより、前記測位点に対応する光線ベクトルと前記対応点に対応する光線ベクトルとを取得し、取得した２つの光線ベクトルが交差する３次元位置を、前記測位対象の３次元位置として計算する測位点計算部とを備える。

【0012】

この構成によれば、各入力画像に対応する光学系に入射する光線の進行方向を示す光線ベクトルを、各入力画像内の各画素に対応付けた光線情報を用いて、測位対象の３次元位置を測定することができる。したがって、カメラ内部パラメータを用いなくても、簡易にかつ高精度に測位対象の位置を測定することが可能となる。

【0013】

また、本発明の一態様に係る画像処理装置は、入力画像の歪みを補正する画像処理装置であって、前記入力画像に対応する光学系に入射する光線の進行方向を示す光線ベクトルを、前記入力画像内の各画素に対応付けた光線情報を保存している光線情報保存部と、前記光線情報保存部から歪み補正後の画像の中心における光線ベクトルを取得し、予め決めておいた床面からの垂直ベクトル、および歪み補正後の画像の中心における光線ベクトルと直交するベクトルを求める歪み補正計算部と、前記歪み補正後の画像の中心における光線ベクトルと、前記垂直ベクトルと、前記求められた前記垂直ベクトルおよび前記歪み補正後の画像の中心における光線ベクトルと直交するベクトルとを用いて、前記入力画像の歪みを補正する歪み補正画像作成部とを備える。

【0014】

この構成によれば、各入力画像に対応する光学系に入射する光線の進行方向を示す光線ベクトルを、各入力画像内の各画素に対応付けた光線情報を用いて、入力画像の歪み補正をすることができる。したがって、カメラ内部パラメータを用いなくても、簡易にかつ高精度に入力画像の歪み補正をすることが可能となる。

【0015】

また、本発明は、このような特徴的な処理部を備える測位処理装置または画像処理装置として実現することができるだけでなく、測位処理装置または画像処理装置に含まれる特徴的な処理部をステップとする測位処理方法または画像処理方法として実現することもできる。また、測位処理方法または画像処理方法に含まれる特徴的な各ステップをコンピュータに実行させるコンピュータプログラムとして実現することもできる。そして、そのようなコンピュータプログラムを、ＣＤ−ＲＯＭ等のコンピュータ読取可能な記録媒体あるいはインターネット等の通信ネットワークを介して流通させることができるのは、言うまでもない。

【発明の効果】

【0016】

本発明によれば、互いに異なる視点から撮影された複数の撮影画像に基づいて測位対象の位置を測定する場合に、カメラ内部パラメータを用いなくても、簡易にかつ高精度に測位対象の位置を測定することができる。

【図面の簡単な説明】

【0017】

【図1】本発明の実施の形態１における測位処理装置の構成を示すブロック図

【図2】本発明の実施の形態１における撮像装置の一例を説明するための図

【図3】本発明の実施の形態１における光線情報の一例を説明するための図

【図4】本発明の実施の形態１における画素単位テーブルの一例を示す図

【図5】本発明の実施の形態１における光線情報を作成する方法の一例を説明するための図

【図6】本発明の実施の形態１における点光源計測結果テーブルの一例を示す図

【図7】本発明の実施の形態１における点光源と光線ベクトルとの関係を示す図

【図8A】本発明の実施の形態１における光線情報保存部の処理動作を示すフローチャート

【図8B】本発明の実施の形態１における光線情報保存部の処理動作を示すフローチャート

【図9】本発明の実施の形態１におけるエピポーラ平面計算部の処理動作を説明するための図

【図10A】本発明の実施の形態１におけるエピポーラ画像作成部の処理動作を説明するための図

【図10B】本発明の実施の形態１における測位処理装置の処理動作を示すフローチャート

【図11】本発明の実施の形態２における測位処理装置の構成を示すブロック図

【図12】本発明の実施の形態２における第１入力画像上の測位点の一例を示す図

【図13】本発明の実施の形態３における画像処理装置の構成を示すブロック図

【図14】本発明の実施の形態３に歪み補正画像作成部の処理動作を説明するための図

【発明を実施するための形態】

【0018】

以下本発明の実施の形態について、図面を参照しながら説明する。なお、以下で説明する実施の形態は、いずれも本発明の好ましい一具体例を示す。つまり、以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置及び接続形態、ステップ、ステップの順序などは、本発明の一例であり、本発明を限定する主旨ではない。本発明は、請求の範囲の記載によって限定される。したがって、以下の実施の形態における構成要素のうち、本発明の最上位概念を示す独立請求項に記載されていない構成要素は、本発明の課題を達成するために必ずしも必要ではないが、より好ましい形態を構成する構成要素として説明される。

【0019】

（実施の形態１）
図１は、本発明の実施の形態１における測位処理システムの構成を示すブロック図である。

【0020】

図１において、測位処理システムは、測位処理装置１００と測位点指定部１２１と測位結果表示部１２２とを備える。

【0021】

測位点指定部１２１は、互いに異なる視点から測位対象が撮影された第１入力画像１１１および第２入力画像１１２のうちの一方の画像上において、測位対象が位置する点（測位点）の画像座標を指定する。そして、測位点指定部１２１は、測位点の画像座標を測位処理装置１００が備えるエピポーラ平面計算部１０１へ送信する。

【0022】

測位結果表示部１２２は、測位処理装置１００によって測定された測位対象の３次元位置を示す情報を画面上に表示する。

【0023】

測位処理装置１００は、互いに異なる視点から撮影された複数の入力画像（ここでは、第１入力画像１１１および第２入力画像１１２が含まれる）に基づいて、測位対象の３次元位置を測定する。図１に示すように、測位処理装置１００は、測位部１１０と、光線情報保存部１０２とを備える。

【0024】

測位部１１０は、光線情報保存部１０２に保存されている光線情報を用いて、測位対象の３次元位置を測定する。具体的には、測位部１１０は、エピポーラ平面計算部１０１と、エピポーラ画像作成部１０３と、対応点計算部１０４と、測位点計算部１０５とを備える。

【0025】

エピポーラ平面計算部１０１は、光線情報を用いて、第１入力画像１１１に対応する第１光学系の位置と、第２入力画像１１２に対応する第２光学系の位置と、測位対象の位置とによって形成されるエピポーラ平面を計算する。具体的には、エピポーラ平面計算部１０１は、測位点指定部１２１によって指定された測位点の画像座標と、光線情報保存部１０２に保存されている光線情報とに基づいて、エピポーラ平面を計算する。そして、エピポーラ平面計算部１０１は、エピポーラ平面を示す情報をエピポーラ画像作成部１０３へ送る。

【0026】

エピポーラ画像作成部１０３は、エピポーラ平面の法線ベクトルと、第１入力画像１１１および第２入力画像１１２の各々におけるエピポーラ線ベクトルとに基づいて、第１入力画像１１１に対応する第１エピポーラ画像と、第２入力画像１１２に対応する第２エピポーラ画像とを作成する。具体的には、エピポーラ画像作成部１０３は、測位点指定部１２１によって指定された測位点の画像座標と、エピポーラ平面を示す情報と、第１入力画像１１１および第２入力画像１１２と、光線情報保存部１０２に保存されている光線情報とに基づいて、エピポーラ画像を作成する。そして、エピポーラ画像作成部１０３は、エピポーラ画像を対応点計算部１０４へ送信する。

【0027】

対応点計算部１０４は、エピポーラ画像作成部１０３によって生成されたエピポーラ画像に基づいて、測位点指定部１２１によって指定された測位点に対応する点であって、測位点を含む画像とは異なる視点から撮影された画像上の点である対応点の画像座標を計算する。具体的には、対応点計算部１０４は、第１エピポーラ画像内の測位対象が映っている画素である測位点に対応する、第２エピポーラ画像内の画素である対応点を計算する。そして、対応点計算部１０４は、対応点の画像座標を測位点計算部１０５へ送る。

【0028】

測位点計算部１０５は、測位点指定部１２１によって指定された測位点の画像座標と、対応点計算部１０４によって計算された対応点の画像座標と、光線情報保存部１０２に保存されている、測位点および対応点の各々の画像座標に対応する光線ベクトルに基づいて、測位対象の３次元位置を計算する。つまり、測位点計算部１０５は、測位点に対応する光線ベクトルと対応点に対応する光線ベクトルとが交差する３次元位置を、測位対象の３次元位置として計算する。そして、測位点計算部１０５は、計算した３次元位置を示す座標を測位結果表示部１２２へ送る。

【0029】

次に、互いに異なる視点から撮影された第１入力画像および第２入力画像を得るための撮像装置の一例を、図２を用いて簡単に説明する。

【0030】

図２は、本発明の実施の形態１における撮像装置の一例を説明するための図である。図２において、撮像装置は、カメラ２０１と、放物面鏡である主鏡２０２と、各々が放物面鏡である４つの副鏡（副鏡２０３を含む）と、防塵・防水用のアクリル製のドーム２０５とを備える。

【0031】

本実施の形態では、カメラ２０１と主鏡２０２とドーム２０５とによって第１光学系が構成されている。また、カメラ２０１と副鏡２０３とドーム２０５とによって第２光学系が構成されている。

【0032】

また、撮影画像２１１は、カメラ２０１で撮影された画像であり、主鏡２０２および副鏡２０３で反射した光によって形成される全方位画像を含む。

【0033】

主鏡画像２２２は、撮影画像２１１内で主鏡２０２が映る領域２１２を切り出した画像であり、図１における第１入力画像１１１に相当する。副鏡画像２２３は、撮影画像２１１内で副鏡２０３が映る領域２１３を切り出した画像であり、図１における第２入力画像１１２に相当する。主鏡画像２２２および副鏡画像２２３の各々には、測位対象２０４の像が含まれている。

【0034】

主鏡画像２２２および副鏡画像２２３は、例えば、カメラと接続されたコンピュータにおいて、画像処理等のプログラムを用いて撮影画像２１１から作成される。また、本実施の形態では、主鏡画像２２２内で測位対象２０４が映っている点が測位点２２４として指定される場合について説明する。

【0035】

なお、図２に示す撮像装置は、第１入力画像１１１および第２入力画像１１２を得るための撮像装置の一例であり、撮像装置は、必ずしもこのような構成である必要はない。例えば、撮像装置は、双曲面鏡とカメラとを含む全方位センサーが２台並べられた構成であってもよい。また、撮像装置は、魚眼カメラが２台並べられた構成であってもよい。つまり、撮像装置は、互いに異なる視点から複数の画像を撮影できれば、どのように構成されてもよい。

【0036】

次に、光線情報保存部１０２に保存されている光線情報ついて説明する。

【0037】

図３は、本発明の実施の形態１における光線情報の一例を説明するための図である。

【0038】

光線情報とは、光学系の外部から入射する光線の進行方向を、カメラ２０１で撮影された撮影画像２１１内の各画素に対応付けた情報である。光線情報は、例えば、図４に示す画素単位テーブル４０１のように、主鏡画像２２２および副鏡画像２２３内の画素を識別するための画素番号と、光線の進行方向を示す位置（Ｘ、Ｙ、Ｚ）および方向（Ｘ、Ｙ、Ｚ）とで表現される。

【0039】

ここで、光線の進行方向を光線ベクトルとも呼ぶ。また、位置を位置ベクトルとも呼ぶ。また、方向を方向ベクトルとも呼ぶ。光線ベクトルは、位置ベクトルと方向ベクトルとで構成され、主鏡画像２２２および副鏡画像２２３に含まれる各画素と対応関係がある。

【0040】

次に、光線情報を作成する方法の一例を説明する。

【0041】

図５は、本発明の実施の形態１における光線情報を作成する方法の一例を説明するための図である。

【0042】

図５に示すように、第１点光源５０３は、撮像装置のカメラ原点５００から３ｍ離れて設置されている。また、第２点光源５０４は、カメラ原点５００から１０ｍ離れて設置されている。この第１点光源５０３および第２点光源５０４が撮影された画像に基づいて、光線の進行方向を示す光線ベクトルが計算される。

【0043】

カメラ原点５００は、カメラ５０１の光軸とドーム５０２の天板との交点である。このカメラ原点５００は、複数の入力画像に対応する複数の光学系において共通する基準点に相当する。

【0044】

なお、本実施の形態では、光線情報を作成するための画像を撮影する際に、第１点光源５０３および第２点光源５０４の位置を変化させる代わりに、撮像装置の姿勢を変化させる。そこで、撮像装置の姿勢を変化させるための構成を以下に説明する。

【0045】

Ｒｏｌｌ回転台５０５は、その回転軸がカメラ２０１の光軸と一致するように設置されており、撮像装置をＲｏｌｌ方向に回転させる。Ｔｉｌｔ回転台５０６は、その回転軸がカメラ５０１の光軸（つまり、Ｒｏｌｌ回転台５０５の回転軸）と直交するように設置されており、Ｒｏｌｌ回転台５０５をＴｉｌｔ方向に回転させる。Ｒｏｌｌ回転台５０５およびＴｉｌｔ回転台５０６は、ステッピングモーターあるいはサーボモーター等が内蔵された回転ステージ等を用いて実現できる。

【0046】

以下において、Ｒｏｌｌ回転台５０５の回転軸をＲｏｌｌ回転軸と呼び、Ｔｉｌｔ回転台５０６の回転軸をＴｉｌｔ回転軸と呼ぶ。

【0047】

撮影画像５１１は、Ｒｏｌｌ回転台５０５およびＴｉｌｔ回転台５０６を回転させて撮影した時に得られる画像である。Ｒｏｌｌ回転台５０５を回転させた場合、撮影画像５１１上では、第１点光源５０３および第２点光源５０４の像は、Ｒｏｌｌ回転軸を中心として円状に移動する。また、Ｔｉｌｔ回転台５０６を回転させた場合、撮影画像５１１上では、第１点光源５０３および第２点光源５０４の像は、Ｒｏｌｌ回転軸からの距離（つまり、Ｒｏｌｌ回転における円の半径）が変化する。

【0048】

したがって、Ｒｏｌｌ回転台５０５およびＴｉｌｔ回転台５０６の回転を制御することで、撮影画像５１１上の任意の領域に、第１点光源５０３および第２点光源５０４の像を移動させることが可能である。

【0049】

図６は、本発明の実施の形態１における点光源計測結果テーブルの一例を示す図である。

【0050】

図６は、本発明の実施の形態１における点光源の計測結果を説明するための図である。点光源計測結果テーブル６０１は、ＲｏｌｌおよびＴｉｌｔの回転角度に対応づけて、第１点光源５０３および第２点光源５０４の像の画像座標を格納している。なお、点光源計測結果テーブル６０１には、主鏡画像および副鏡画像の各々について画像座標が格納されている。

【0051】

また、第１点光源５０３および第２点光源５０４の像の画像座標は、主鏡画像および副鏡画像内において高輝度領域を検出することにより計算される。この場合、撮像装置は、第１点光源５０３および第２点光源５０４を暗室で撮影することが好ましい。これにより、第１点光源５０３および第２点光源５０４の像を、輝度の閾値処理等の一般的な画像処理で簡単に検出することが可能となる。

【0052】

点光源計測結果テーブル６０２は、ＲｏｌｌおよびＴｉｌｔの回転角度に対応づけて、第１点光源５０３および第２点光源５０４の世界座標（３次元座標）を格納している。この点光源計測結果テーブル６０２は、点光源計測結果テーブル６０１に格納されているＲｏｌｌ角度およびＴｉｌｔ角度に応じた第１点光源５０３および第２点光源５０４の３次元座標を特定するためのテーブルである。

【0053】

この第１点光源５０３および第２点光源５０４の３次元座標は、図５のカメラ原点５００を原点とした３次元座標系における座標である。Ｒｏｌｌ回転行列をＲｒとし、Ｔｉｌｔ回転行列をＲｔとし、カメラ原点５００からＴｉｌｔ回転中心５０７までの平行移動をｔとし、Ｒｏｌｌ回転角度とＴｉｌｔ回転角度とが０度におけるカメラ原点から見た点光源の３次元座標をＰ₀とすると、点光源の３次元座標Ｐは、以下の式（１）で算出される。

【0054】

【数1】

【0055】

上記式（１）を利用して、点光源計測結果テーブル６０２が得られる。その結果、点光源計測結果テーブル６０１に格納されたすべての画像座標について、第１点光源５０３および第２点光源５０４の３次元座標が特定される。

【0056】

次に、図６の画素座標の点光源計測結果テーブル６０１内に存在しない画像座標における点光源の３次元座標を、点光源計測結果テーブル６０１、６０２を用いて、線形補完等の内分補完で計算する方法について説明する。つまり、光線情報保存部１０２が、光線ベクトルを複数の入力画像内の特定画素に対応付けた光線情報を保存している場合に、特定画素以外の画素およびサブ画素の光線ベクトルを補間計算により計算する方法について説明する。

【0057】

例えば、補完対象となる画像座標の周辺の画素座標ののうち点光源計測結果テーブル６０１内に存在する画像座標を探索する。続いて、補完対象となる画像座標と探索された画像座標との位置関係から補完係数を求める。そして、探索された画像座標に対応する点光源の３次元座標に補完係数を掛けて、補完対象の画像座標に対応する点光源の３次元座標を計算する。

【0058】

図７は、本発明の実施の形態１における点光源と光線ベクトルとの関係を示す図である。図７に示すように、各画像座標に対応する光線ベクトルは、第１点光源５０３と第２点光源５０４との３次元座標によって定義される。

【0059】

具体的には、位置ベクトル７０１は、第１点光源５０３の３次元座標で定義される。また、方向ベクトル７０２は、第１点光源５０３から第２点光源５０４までの３次元座標上の方向で定義される。そして、光線ベクトルは、位置ベクトル７０１と方向ベクトル７０２との組として定義される。

【0060】

この様にして得られる、撮影画像上の各画素に対応する光線ベクトルが、画素番号ごとに画素単位テーブル４０１に格納される。光線情報保存部１０２は、この画素単位テーブル４０１を主鏡画像および副鏡画像の各々について保存している。

【0061】

以上のように、光線情報保存部１０２は、複数の入力画像（ここでは、主鏡画像および副鏡画像）に対応する複数の光学系において共通する基準点からの距離が互いに異なる２種類以上の光源が撮影された画像に基づいて、複数の入力画像内の少なくとも２つの画素に対応する光線ベクトルをそれぞれ計算する。そして、光線情報保存部１０２は、計算した光線ベクトルを少なくとも２つの画素の各々に対応づけた光線情報を保存する。

【0062】

また、光線情報保存部１０２は、図６の点光源計測結果テーブル６０１、６０２も保存している。さらに、光線情報保存部１０２は、画像座標と光線ベクトル（位置ベクトルと方向ベクトル）を相互に変換する機能を持つ。図８Ａおよび図８Ｂを用いて、光線情報保存部１０２の処理動作について簡単に説明する。

【0063】

図８Ａおよび図８Ｂは、本発明の実施の形態１における光線情報保存部１０２の処理動作を示すフローチャートである。具体的には、図８Ａは、画像座標を光線ベクトルに変換する処理の流れを示す。また、図８Ｂは、光線ベクトルを画像座標に変換する処理の流れを示す。

【0064】

図８Ａにおいて、画像座標を光線ベクトルに変換する場合、光線情報保存部１０２は、互いに異なる視点から撮影された画像（図２の主鏡画像２２２および副鏡画像２２３など）を区別するための視点番号と、その視点番号に対応した画像の画像座標の入力を受け付ける（Ｓ８０１）。

【0065】

光線情報保存部１０２は、ステップＳ８０１で入力された視点番号に対応する画素単位テーブル４０１にアクセスする（Ｓ８０２）。

【0066】

光線情報保存部１０２は、ステップＳ８０１で入力された画像座標を画素番号に変換する。そして、光線情報保存部１０２は、画素番号に対応する光線ベクトルを画素単位テーブル４０１から取得し出力する（Ｓ８０３）。

【0067】

なお、光線情報保存部１０２は、サブピクセル単位で画像座標の入力を受け付けてもよい。この場合、隣接する画素間では滑らかに光線ベクトルが変化すると仮定すれば、光線情報保存部１０２は、Ｂｉ−ｌｉｎｅｒ補完等の一般的な線形補間によりサブピクセルに対応する光線ベクトルを求めてもよい。

【0068】

一方、図８Ｂにおいて、光線ベクトルを画像座標に変換する場合、まず、光線情報保存部１０２は、光線ベクトルに含まれる方向ベクトルと視点番号との入力を受け付ける（Ｓ８１１）。

【0069】

光線情報保存部１０２は、ステップＳ８１１で入力された方向ベクトルと視点番号とから、光線情報を作成するために点光源を撮影した際の条件であるＲｏｌｌとＴｉｌｔとのおよその回転角度を推定する（Ｓ８１２）。例えば、光線情報保存部１０２は、図６の点光源計測結果テーブル６０２入力された方向ベクトルに対応する第１点光源５０３および第２点光源５０４の３次元座標を探索することで、およその回転角度を簡単に推定できる。

【0070】

光線情報保存部１０２は、ステップＳ８１２で推定したＲｏｌｌおよびＴｉｌｔの回転角度から、ステップＳ８１１で入力された視点番号に対応する撮影画像上の探索範囲を限定する（Ｓ８１３）。例えば、光線情報保存部１０２は、図６の点光源計測結果テーブル６０１を参照することにより、ＲｏｌｌおよびＴｉｌｔの回転角度から画像座標が簡単に算出できるので、ある程度の角度の幅を持たせて画像上の探索範囲を設定できる。

【0071】

また、光線情報保存部１０２は、ＲｏｌｌおよびＴｉｌｔの回転角度から別の視点の画像座標も同時に参照することができる。そのため、光線情報保存部１０２は、ある視点番号における光線ベクトルから別の視点番号における光線ベクトルが存在する画像上の探索範囲も同じ仕組みで限定できる。

【0072】

光線情報保存部１０２は、ステップＳ８１３で限定された探索範囲内の画素毎に光線ベクトルの中から、ステップＳ８１１で入力された方向ベクトルと同じ向きをもつ方向ベクトルを探索する。そして、光線情報保存部１０２は、探索された方向ベクトルに対応する画像座標を出力する（Ｓ８１４）。

【0073】

例えば、光線情報保存部１０２は、２つのベクトルの内積を用いて、２つのベクトルの向きが一致するか否かを判定すればよい。具体的には、光線情報保存部１０２は、例えば、２つのベクトルの内積と２つのベクトルの長さの積とが一致する場合に、２つのベクトルの向きが一致すると判定すればよい。

【0074】

なお、光線情報保存部１０２は、探索範囲に含まれる各画素に対応する方向ベクトルの中から、入力された方向ベクトルと向きが一致する方向ベクトルを探索したが、サブピクセル単位で方向ベクトルを探索してもよい。この場合、隣接する画素間では滑らかに光線ベクトルが変化すると仮定すれば、光線情報保存部１０２は、Ｂｉ−ｌｉｎｅｒ補完等の一般的な線形補間によりサブピクセルに対応する光線ベクトルを求めてもよい。

【0075】

また、光線情報保存部１０２は、探索の高速化のために、探索範囲を４つの矩形領域に縦横等分割し、各矩形領域の中心位置における光線ベクトルの方向ベクトルを比較し、最も方向ベクトルが近い矩形領域内を次の探索領域として限定し、順次方向ベクトルを探索してもよい。

【0076】

次に、エピポーラ平面計算部１０１の処理動作について、図９を用いて説明する。

【0077】

図９は、本発明の実施の形態１におけるエピポーラ平面計算部１０１の処理動作を説明するための図である。図９において、視点位置９０１は、主鏡に反射した光を撮影する仮想カメラの位置である。また、視点位置９０２は、副鏡に反射した光を撮影する仮想カメラの位置である。また、測位対象９０３は、３次元位置を測定する対象である。また、無限遠点９０４は、視点位置９０１と測位対象９０３とを通る直線上の点であり、視点位置９０１から無限遠方に離れた点である。また、法線ベクトル９０５は、エピポーラ平面の法線を示す。また、光線ベクトル９０６は、主鏡画像における測位点９２３の画像座標に対応する光線ベクトルである。また、光線ベクトル９０７は、副鏡画像における副鏡無限遠点９２４の画像座標に対応する光線ベクトルである。

【0078】

主鏡エピポーラ画像９１１は、主鏡に反射した光を撮影する仮想カメラで撮影された画像である。また、副鏡エピポーラ画像９１２は、副鏡に反射した光を撮影する仮想カメラで撮影される画像である。また、測位点９１３は、主鏡エピポーラ画像９１１上で測位対象９０３が映る画素である。また、副鏡無限遠点９１４は副鏡エピポーラ画像９１２上で無限遠点９０４が映る画素である。また、対応点９１５は、副鏡エピポーラ画像９１２上で測位対象９０３が映る画素である。

【0079】

測位点９２３は３次元座標上の測位対象９０３が主鏡画像２２２に映る画素である。また、副鏡無限遠点９２４は無限遠点９０４が副鏡画像９２２上に映る画素である。

【0080】

ここで、無限遠点９０４は、視点位置９０１と測位対象９０３とを通る直線上の点であり、主鏡の仮想カメラの視点位置９０１から無限遠方に離れた点である。したがって、無限遠点９０４から主鏡の仮想カメラの視点位置９０１へ入射する光と、無限遠点９０４から副鏡の仮想カメラの視点位置９０２へ入射する光は平行である。したがって、３次元座標上の測位対象９０３と、主鏡の仮想カメラの視点位置９０１と、副鏡の仮想カメラの視点位置９０２とを通る平面はエピポーラ平面となる。

【0081】

ここで、主鏡エピポーラ画像上の測位点９１３は、主鏡画像上の測位点９２３と同じ点であり、測位点指定部１２１によって画像座標が指定される。そのため、エピポーラ平面計算部１０１は、光線情報保存部１０２から、図８ＡのステップＳ８０１〜Ｓ８０３に従って、主鏡エピポーラ画像上の測位点９１３に対応する光線ベクトル９０６を取り出すことができる。この光線ベクトル９０６は、主鏡の仮想カメラの視点位置９０１から測位対象９０３を通り、無限遠点９０４へ進行する光線を表す。

【0082】

一方、副鏡エピポーラ画像９１２上の副鏡無限遠点９１４を通る光線ベクトル９０７は、主鏡エピポーラ画像９１１上の測位点９１３を通る光線ベクトル９０６と同じ方向ベクトルを持つ。そのため、エピポーラ平面計算部１０１は、光線情報保存部１０２から、図８ＢのステップＳ８１１〜Ｓ８１４に従って、無限遠点の光線ベクトル９０７と、副鏡画像２２３上の副鏡無限遠点９２４の画像座標とを取り出すことができる。この副鏡無限遠点９２４の光線ベクトル９０７は、副鏡の仮想カメラの視点位置９０２から、副鏡エピポーラ画像９１２上の副鏡無限遠点９１４を通過する光線を表す。

【0083】

すなわち、エピポーラ平面計算部１０１は、測位点指定部１２１から入力される、主鏡画像９２１上の測位点９２３の座標と、測位点９２３に対応する光線ベクトル９０６と、測位点９２３の光線ベクトル９０６と同じ方向ベクトルを持つ副鏡無限遠点９２４の光線ベクトル９０７と、副鏡無限遠点９２４の座標とを求めることにより、エピポーラ平面を定義する。

【0084】

次に、エピポーラ画像作成部１０３の処理動作について、図１０Ａを用いて説明する。図１０Ａは、本発明の実施の形態１におけるエピポーラ画像作成部１０３の処理動作を説明するための図である。

【0085】

図１０Ａにおいて、光線ベクトル１００１〜１００５は、主鏡の光線ベクトルである。視点位置１００６は、主鏡の仮想カメラの視点位置である。測位対象１００７は、３次元座標上の測位点である。無限遠点１００８は、主鏡の仮想カメラの視点位置１００６から測位対象１００７を通る直線上の無限遠方に離れた点である。単位角度１００９は、単位角度θＥである。ここで、主鏡の光線ベクトル１００３は、３次元座標上の測位対象１００７を通り、第１光線ベクトルに相当する。

【0086】

主鏡画像２２２上の点１０１１〜１０１５は、主鏡の光線ベクトル１００１〜１００５に対応する主鏡画像２２２の画素である。

【0087】

主鏡エピポーラ画像１０２０は、主鏡の視点位置１００６から仮想カメラによって撮影された場合に得られる画像であり、第１エピポーラ画像に相当する。主鏡エピポーラ画像１０２０上の画素１０２１〜１０２５は、主鏡画像１０１０上の点１０１１〜１０１５と同じ画素であり、同じ輝度値を持つ。

【0088】

同様に、光線ベクトル１０３２は、無限遠点１００８を通る副鏡の光線ベクトルであり、第２光線ベクトルに相当する。副鏡無限遠点１０４１は、無限遠点１００８を通る副鏡の光線ベクトル１０３２に対応した副鏡画像１０４０上の点である。副鏡エピポーラ画像１０５０は、副鏡の視点位置１０３１から仮想カメラによって撮影された場合に得られる画像であり、第２エピポーラ画像に相当する。点１０５１は、副鏡エピポーラ画像１０５０上の点であり、副鏡画像１０４０上の副鏡無限遠点１０４１と同じ画素であり、同じ輝度を持つ。

【0089】

法線ベクトル１０６１は、エピポーラ平面の法線ベクトルである。主鏡エピポーラ線ベクトル１０６２は、主鏡のエピポーラ線を示すベクトルであり、第１エピポーラ線ベクトルに相当する。副鏡エピポーラ線ベクトル１０６３は、副鏡のエピポーラ線を示すベクトルであり、第２エピポーラ線ベクトルに相当する。

【0090】

エピポーラ画像作成部１０３は、エピポーラ平面計算部１０１から測位点１０１３の光線ベクトル１００３と副鏡無限遠点１０４１の光線ベクトル１０３２とを受け取る。そして、エピポーラ画像作成部１０３は、光線ベクトル１００３と光線ベクトル１０３２とに垂直なベクトルをエピポーラ平面の法線ベクトル１０６１として、ベクトルの外積等を利用して計算する。

【0091】

次に、エピポーラ画像作成部１０３は、測位点１０１３の光線ベクトル１００３とエピポーラ平面の法線ベクトル１０６１とに垂直なベクトルを主鏡エピポーラ線ベクトル１０６２として、ベクトルの外積等を利用して計算する。同様にして、エピポーラ画像作成部１０３は、副鏡無限遠点１０４１の光線ベクトル１０３２とエピポーラ平面の法線ベクトル１０６１とに垂直なベクトルを副鏡エピポーラ線ベクトル１０６３として、ベクトルの外積等を利用して計算する。

【0092】

主鏡エピポーラ線ベクトル１０６２が計算できると、主鏡エピポーラ画像１０２０の水平方向画素に対応した光線ベクトルが分かる。そこで、エピポーラ画像作成部１０３は、単位角度１００９毎に、光線ベクトル１００３を主鏡エピポーラ線ベクトル１０６２の方向に回転させて主鏡の光線ベクトル１００１〜１００５を作成する。次に、エピポーラ画像作成部１０３は、光線情報保存部１０２から、図８ＢのステップＳ８１１〜Ｓ８１４に従って、それぞれの光線ベクトルに対応する画素である、主鏡画像２２２上の点１０１１〜１０１５の座標を計算する。そして、エピポーラ画像作成部１０３は、主鏡エピポーラ画像１０２０上の対応する画素１０２１〜１０２５に点１０１１〜１０１５の輝度を設定する。

【0093】

同様にして、エピポーラ平面の法線ベクトル１０６１が計算できると、主鏡エピポーラ画像１０２０の垂直方向画素に対応した光線ベクトルが分かる。エピポーラ画像作成部１０３は、同様な手順で主鏡エピポーラ画像を作成できる。また、測位点の光線ベクトル１００３を副鏡無限遠点の光線ベクトル１０３２に、主鏡エピポーラ線ベクトル１０６２を副鏡エピポーラ線ベクトル１０６３に置き換えれば、エピポーラ画像作成部１０３は、同じ仕組みで副鏡エピポーラ画像１０５０を作成することができる。

【0094】

この時、主鏡エピポーラ画像１０２０と、副鏡エピポーラ画像１０５０とは、共通のエピポーラ平面の法線ベクトル１０６１を利用して作成されるため、エピポーラ画像上の垂直方向が一致する。同様に、主鏡エピポーラ線ベクトル１０６２と副鏡エピポーラ線ベクトル１０６３とは、同じエピポーラ平面上に存在し、同じ向きを持つため、エピポーラ画像上の水平方向が一致する。この時、エピポーラ画像の中心を通る水平画素は、エピポーラ線上の画素である。さらに、共通の単位角度１００９を利用するため、同じ大きさで測位対象１００７がエピポーラ画像上に映る。

【0095】

すなわち、エピポーラ画像作成部１０３は、エピポーラ平面計算部１０１から、測位点１０１３の光線ベクトル１００３と副鏡無限遠点１０４１の光線ベクトル１０３２とを受け取る。そして、エピポーラ画像作成部１０３は、エピポーラ平面の法線ベクトル１０６１と、主鏡エピポーラ線ベクトル１０６２と、副鏡エピポーラ線ベクトル１０６３とを計算する。エピポーラ画像作成部１０３は、単位角度１００９を用いて、測位点の光線ベクトル１００３と副鏡無限遠点の光線ベクトル１０３２とをエピポーラ平面の法線方向とエピポーラ線方向とに回転させる。そして、エピポーラ画像作成部１０３は、図１の光線情報保存部１０２を利用して、回転させた光線ベクトルに対応する主鏡画像１０１０または副鏡画像１０４０上の座標を求め、その座標における画素の輝度値を、エピポーラ画像上の画素の輝度値に設定することで、エピポーラ画像を生成する。

【0096】

また、単位角度１００９は任意に決定されればよく、主鏡エピポーラ画像１０２０の一画素が、主鏡画像１０１０の測位点付近の一画素に相当するように定義されてもよい。また単位角度１００９にエピポーラ画像の縦横画素数を掛けると、エピポーラ画像の視野角が求まるため、単位角度１００９は、任意の視野角とエピポーラ画像の解像度とから求められてもよい。

【0097】

さらに、測位点の光線ベクトル１００３を仮想カメラの視線ベクトルに、エピポーラ平面の法線ベクトル１０６１を仮想カメラの上方ベクトルに、単位角度θＥを、仮想カメラの解像度と視野角度から計算する。この計算により、エピポーラ画像作成部１０３と同じ仕組みを用いて、仮想カメラから見た任意領域における歪み補正した画像が生成できる。

【0098】

エピポーラ画像作成部１０３によってエピポーラ画像が作成された後、対応点計算部１０４は、一般的なステレオマッチングと同様に、主鏡画像上の測位点に対応する副鏡画像上の対応点を、テンプレートマッチング等を利用して求める。また、対応点を求める際、マッチングの相関係数等を測位点の信頼度に割り当てることも可能である。

【0099】

次に、測位点計算部１０５は、主鏡画像上の測位点に対応する主鏡の光線ベクトルと、副鏡画像上の対応点に対応する副鏡の光線ベクトルとを、光線情報保存部１０２から取り出す。そして、測位点計算部１０５は、２つの光線ベクトルが交差する点（もしくは、お互いに最も近づく点）を求める。最後に、測位点計算部１０５は、この２つの光線ベクトルが交差する点の３次元座標を、測位対象の３次元座標として測位結果表示部１２２に送る。

【0100】

また、測位点計算部１０５は、２つの光線ベクトルが互いに最も近づいたときの距離を、対応点計算部１０４で実行したマッチングの相関係数と合わせて、測位対象の３次元座標の信頼度として、測位結果表示部１２２に出力してもよい。

【0101】

以上の測位処理装置１００の処理動作をまとめると以下のようになる。

【0102】

図１０Ｂは、本発明の実施の形態１の測位処理装置１００の処理動作を示すフローチャートである。つまり、図１０Ｂは、測位対象の３次元位置を測定する測位ステップの処理の詳細を示す。

【0103】

まず、エピポーラ平面計算部１０１は、光線情報を参照することにより、（１）第１入力画像１１１内の測位点に対応する第１光線ベクトルと、（２）第１光線ベクトルと同じ方向を持つ光線ベクトルであって、第２入力画像１１２内の画素に対応する光線ベクトルである第２光線ベクトルとを取得する。そして、エピポーラ平面計算部１０１は、第１光線ベクトルと第２光線ベクトルとを用いて、エピポーラ平面を計算する（Ｓ１００１）。

【0104】

続いて、エピポーラ画像作成部１０３は、第１入力画像１１１から第１エピポーラ画像を作成し、第２入力画像１１２から第２エピポーラ画像を作成する（Ｓ１００２）。

【0105】

具体的には、エピポーラ画像作成部１０３は、第１光線ベクトルおよび第２光線ベクトルに直交するベクトルを、エピポーラ平面の法線ベクトルとして計算する。また、エピポーラ画像作成部１０３は、第１光線ベクトルおよび法線ベクトルに直交するベクトルを第１エピポーラ線ベクトルとして計算する。そして、エピポーラ画像作成部１０３は、法線ベクトルと第１エピポーラ線ベクトルとを用いて、第１入力画像１１１から第１エピポーラ画像を作成する。

【0106】

また、エピポーラ画像作成部１０３は、第２光線ベクトルおよび法線ベクトルに直交するベクトルを第２エピポーラ線ベクトルとして計算する。そして、エピポーラ画像作成部１０３は、法線ベクトルと第２エピポーラ線ベクトルとを用いて、第２入力画像１１２から第２エピポーラ画像を作成する。

【0107】

さらに具体的には、エピポーラ画像作成部１０３は、第１光線ベクトルの方向を、法線ベクトルの方向と第１エピポーラ線ベクトルの方向とに予め定められた単位角度ずつ回転させる。エピポーラ画像作成部１０３は、このように第１光線ベクトルの方向を回転させて得られる各方向に対応する、第１入力画像内の画素の輝度値を用いて、第１エピポーラ画像を作成する。

【0108】

また、エピポーラ画像作成部１０３は、第２光線ベクトルの方向を、法線ベクトルの方向と第２エピポーラ線ベクトルの方向とに上記単位角度ずつ回転させる。エピポーラ画像作成部１０３は、このように第２光線ベクトルの方向を回転させて得られる各方向に対応する、第２入力画像内の画素の輝度値を用いて、第２エピポーラ画像を作成する。

【0109】

そして、対応点計算部１０４は、第１エピポーラ画像内の前記測位対象が映っている画素である測位点に対応する、第２エピポーラ画像内の画素である対応点を計算する（Ｓ１００３）。

【0110】

最後に、測位点計算部１０５は、光線情報を参照することにより、測位点に対応する光線ベクトルと対応点に対応する光線ベクトルとを取得する。そして測位点計算部１０５は、取得した２つの光線ベクトルが交差する３次元位置を測位対象の３次元位置として計算する（Ｓ１００４）。

【0111】

以上、本発明の実施の形態１における測位処理装置１００について説明したが、本発明はこの実施の形態に限定されるものではない。

【0112】

例えば、図２において主鏡２０２および副鏡２０３は放物面鏡と説明したが、双曲面鏡あるいは半円球の曲面鏡等などであってもよく、広範囲な周囲の光を連続的に反射する鏡であればどのような形状であってもよい。この時、連続の定義としては、同一視点上の画像に対し、光線ベクトルの向きが一致する画素は１つであること（異なる画素で同じ方向を持つ光線ベクトルが存在しない）が条件である。

【0113】

また、本実施の形態では、撮像装置は、カメラ１台と複数の鏡とを備えていたが、広範囲な周囲の光を撮影可能な広角レンズまたは魚眼レンズを備えたカメラを２台以上備えてもよい。この時、図５のカメラ原点５００を、２台の魚眼カメラの中間点あるいは片方のカメラの光軸上に設置するなど、共通のカメラ原点が利用すされればよい。同様に、魚眼レンズでなく、一般のレンズを備えたステレオカメラでも同じ方式で測位できる。すなわち、測位処理装置１００は、互いに異なる視点の画像が２つ以上存在すれば、レンズあるいはカメラの構成に左右されず、同じ仕組みで測位対象の３次元位置を測定することが可能である。

【0114】

また、光線情報を作成する際、図５のＲｏｌｌやＴｉｌｔ回転台が利用されたが、必ずしもこれらの回転台が利用される必要はない。例えば、半径の異なる半球上のドームを２種類用意し、ドームの中心にカメラ原点を一致させるように設置した後、プロジェクタ等で半球上に輝点を投影させることで光線情報を作成してもよい。他にも、半球上のドーム自身にＬＥＤ等を点光源として埋め込むことにより、光線情報を作成してもよい。この時、測位精度を高めるためには、カメラ原点（＝ドーム中心）からの３次元座標を、それぞれの点光源に対し高精度に計算しておくことが好ましい。

【0115】

また、エピポーラ画像作成部１０３は、図１０Ａの単位角度θＥのように、等角度で光線ベクトルを回転させてエピポーラ画像を作成したが、必ずしもこのようにエピポーラ画像を作成する必要はない。例えば、エピポーラ画像作成部１０３は、等角度でなく、３次元座標上の平面（例えば、仮想カメラの光軸と垂直な平面）を等間隔に通過するように、光線ベクトルを回転させてもよい。

【0116】

具体的には、エピポーラ画像作成部１０３は、第１光線ベクトルを、法線ベクトルの方向と第１エピポーラ線ベクトルの方向とに、第１光線ベクトルと直交する平面との交点が等距離で移動するような角度で回転させてもよい。この場合、エピポーラ画像作成部１０３は、第２光線ベクトルを、法線ベクトルの方向と第２エピポーラ線ベクトルの方向とに、第１のエピポーラ画像を作成するときと同じ角度で回転させればよい。

【0117】

このように、互いに異なる視点間で共通の回転方式を用いてエピポーラ画像が作成されれば、各エピポーラ画像に映る測位対象が同じ大きさで同じ向きで映るので、対応点計算部１０４は、対応点を計算することができる。また、エピポーラ画像作成部１０３は、光線ベクトルを回転だけでなく、共通な量で移動させてもよい。

【0118】

また、エピポーラ画像の縦横幅は、任意に調整されてもよい。エピポーラ画像の縦幅は、光線情報の精度と対応点計算部１０４の方式に依存する。また、エピポーラ画像の横幅は、測位対象のカメラ原点からの最短距離に依存する。

【0119】

例えば、測位対象が無限遠方であれば、エピポーラ画像の中心画素に対応点が位置する。逆に測位対象がカメラ原点に近づくにつれ、エピポーラ画像の中心を通る水平画素上で、中心画素から離れた位置に対応点が位置することになる。

【0120】

また、対応点計算部１０４は、テンプレートマッチングにより対応点を計算したが、オプティカルフローや位相相関限定法等などを利用して、対応点を計算してもよい。また、対応点計算部１０４は、対応点を計算するために、エピポーラ画像を濃淡画像やカラー画像で扱ってもよく、さらに画像処理でエッジ画像等に変換した後、対応点を計算してもよい。

【0121】

また、光線情報は、図４の画素単位テーブル４０１のように、画素単位で作成されたが、必ずしもこのように作成される必要はない。例えば、メモリー容量を削減するために、光線情報は、２画素あるいは４画素等の単位で作成されてもよい。この場合、数画素間では滑らかに光線ベクトルが変化すると考え、中間画素の光線ベクトルは線形補完等で求められればよい。

【0122】

（実施の形態２）
次に、本発明の実施の形態２について説明する。

【0123】

図１１は、本発明の実施の形態２における測位処理装置１１００の構成を示すブロック図である。図１１において、図１と同じ構成要素については同じ符号を用い、説明を省略する。測位処理装置１１００は、測位枠検出部１１０１と、測位点統合部１１０２とを備える。

【0124】

測位枠検出部１１０１は、第１入力画像１１１（または第２入力画像１１２）が入力されると、パノラマ展開等で全方位画像の歪みを補正する。その後、測位枠検出部１１０１は、学習データベースを参照することにより、第１入力画像１１１の中から人物、顔および特定物体の少なくとも１つが映っている領域を、画像認識技術を用いて検出し、検出された領域を囲む枠を測位枠として自動的に検出する。

【0125】

ここで、学習データベースとは、人物、顔および特定物体の少なくとも１つの画像から抽出された特徴量が学習されたデータを保持しているデータベースである。

【0126】

最後に、測位枠検出部１１０１は、測位枠内の領域を、縦横に分割し、分割領域の頂点を測位点として、測位点指定部１２１に送る。つまり、測位枠検出部１１０１は、測位枠内部に含まれる複数の画素を測位点として出力する。

【0127】

図１２は、第１入力画像１１１上の測位点の一例を示す図である。測位枠検出部１１０１は、第１入力画像１１１をパノラマ展開した画像１２０１内に人物枠１２０２（測位枠）を検出すると、人物枠１２０２を縦横等分割する。そして、測位枠検出部１１０１は、人物枠１２０２内の交差点１２０３〜１２０６を順番に測位点として測位点指定部１２１に送る。

【0128】

測位点統合部１１０２は、測位点計算部１０５から出力される、図１２の人物枠内の交差点１２０３〜１２０６に対応する３次元座標上の測位点を受け取る。そして、測位点統合部１１０２は、カメラ原点からの距離で測位点をソートした後、測位点の３次元座標の中央値１２１１、あるいは中央値の周辺１２１２の平均値を、人物枠内の最終的な測位結果として、測位結果表示部１２２へ送る。

【0129】

以上の様に、測位処理装置１１００は、測位枠検出部１１０１および測位点統合部１１０２を備えることで、測位対象を点でなく平面として捉えて測位することができる。また、測位処理装置１１００は、複数の測位点から統計的な処理により測位誤差の大きな測位点を除き、精度の高い測位が実現できる。

【0130】

以上、本発明の実施の形態２における測位処理装置について説明したが、本発明はこの実施の形態に限定されるものではない。

【0131】

例えば、測位枠検出部１１０１は、人物枠１２０２内でエッジ検出を行い、エッジの強い画素を測位点として測位点指定部１２１に送信してもよい。これは、エッジの強い画素を測位点として利用すれば、対応点を計算する精度が高まるためである。

【0132】

また、測位枠検出部１１０１は、人物枠の事前知識を用いて背景の混入が少ない胸付近の領域を人物枠から求め、胸付近の領域に含まれる画素を測位点として選択してもよい。測位枠検出部１１０１は、例えば、人物枠検出に利用した人物の学習データにおける平均画像から胸付近の領域を求めることが可能である。

【0133】

また、測位枠検出部１１０１は、画像認識でなく、任意の画像処理を用いて測位枠を抽出してもよい。例えば、測位枠検出部１１０１は、背景差分等で背景と異なる領域が監視対象の人物・車・不審物だと仮定し、その領域を測位枠として自動検出してもよい。同様に、測位枠検出部１１０１は、フレーム間差分を用いてフレーム間の動く量が多い領域を測位枠として検出してもよい。

【0134】

また、測位点統合部１１０２は、カメラ原点からの距離で複数の測位点をソートして統計処理により最終的な測位点を出力したが、この方式以外を用いてもよい。例えば、測位点統合部１１０２は、測位点の信頼度で重み付けされた複数の測位点の３次元位置の平均を最終的な測位点として出力してもよい。この測位点の信頼度は、対応点計算部１０４によって計算される相関係数と、測位点計算部１０５によって計算される、２つの光線ベクトルが互いに最も近づいたときの距離との少なくとも一方に基づいて計算される。また、測位点の信頼度は、測位枠検出部１１０１の測位枠の信頼度（例えば、人物枠における枠の信頼度や、胸中心の信頼度等）に基づいて、計算されてもよい。

【0135】

（実施の形態３）
実施の形態１、２では、測位に関する一例を示していたが、実施の形態３では、光線情報を利用することで、全方位カメラ等の極座標系の画像から、実際に人間が目で見た画像と近い直交座標系の画像（つまり、歪み補正された画像）を生成する画像処理装置の一例を示す。この歪み補正された画像は、主に監視カメラ等で利用され、従来ではカメラの内部パラメータを利用して生成されたが、本実施の形態では、実施の形態１、２と同様に光線情報を利用することで生成される。これにより、防塵・防水用にアクリル製の半球型ドームを小型全方位カメラに取り付けた場合でも、カメラ内部パラメータを用いることなく、複雑な光学計算無しに高精度な歪み補正処理を実現することが可能である。

【0136】

図１３は、本発明の実施の形態３における画像処理装置１３００の構成を示すブロック図である。図１３において、図１と同じ構成要素については同じ符号を用い、説明を省略する。画像処理装置１３００は、歪み補正を実施する。画像処理装置１３００は、歪み補正計算部１３０２と、歪み補正画像作成部１３０３と、光線情報保存部１０２とを備える。また、画像処理装置１３００は、歪み補正指定部１３０１から入力を受け付け、歪み補正表示部１３０４に処理結果を出力する。

【0137】

歪み補正指定部１３０１は、歪み補正後の画像の中心位置と、水平垂直画角と、水平垂直解像度とを指定する。この時、歪み補正後の画像の中心位置は、歪み補正の対象となる、第１入力画像１１１内の画素が指定される。また、水平垂直画角は、一般的なズームに相当し、画角を広げるとより広範囲、画角を狭めるとより狭い範囲に歪み補正後の画像が生成されるため、用途に応じて適宜指定される。

【0138】

歪み補正計算部１３０２は、歪み補正後の画像を、縦方向が床面からの垂直ベクトルで、横方向が床面からの垂線と歪み補正後の画像の中心における光線ベクトルと直交するベクトルで、表現するために、必要なベクトルを計算する。まず、歪み補正計算部１３０２は、歪み補正指定部１３０１から指定される、歪み補正後の画像の中心における光線ベクトルを光線情報保存部１０２から取得する。次に、歪み補正計算部１３０２は、予め決めておいた床面からの垂直ベクトル、および歪み補正後の画像の中心における光線ベクトルと直交するベクトルを求める。

【0139】

歪み補正画像作成部１３０３は、歪み補正計算部１３０２から出力される、歪み補正後の画像の中心における光線ベクトルと、予め決めておいた床面からの垂直ベクトルと、これらの２つのベクトルと直交するベクトルと、水平垂直の解像度と、水平垂直の画角とから歪み補正後の画像を生成する。

【0140】

次に、図１４を用いて歪み補正画像作成部１３０３の処理動作を説明する。図１４は、本発明の実施の形態３における歪み補正画像作成部１３０３の処理動作を説明するための図である。

【0141】

図１４において、光線ベクトル１４０１〜１４０５は、光線ベクトルである。点１４０６は、３次元上で歪み補正後の中心が存在する点である。単位角度１４０７は、単位角度θＥである。また、光線ベクトル１４０３は、歪み補正後の画像の中心点を通る光線ベクトルである。

【0142】

入力画像１４１０は、歪み補正の対象となる画像であり、第１入力画像１１１に相当する。画素１４１１〜１４１５は、光線ベクトル１４０１〜１４０５に対応する画素であって、入力画像１４１０上の画素である。

【0143】

画像１４２０は、歪み補正後の画像である。画素１４２１〜１４２５は、入力画像１４１０上の対応する画素１４１１〜１４１５の輝度値が設定される画素である。

【0144】

また、垂直ベクトル１４３１は、床面と垂直なベクトルである。ベクトル１４３２は、歪み補正後の画像の中心点に対応する光線ベクトル１４０３と、垂直ベクトル１４３１とに直交するベクトルである。これらの垂直ベクトル１４３１およびベクトル１４３２とは、それぞれ歪み補正計算部１３０２から出力される。

【0145】

水平方向の単位角度１４０７は、水平方向の画角を水平方向の解像度で割ることにより計算される。また水平方向は、歪み補正計算部１３０２から出力される、歪み補正後の画像の中心点を通る光線ベクトル１４０３と、床面からの垂直ベクトル１４３１とに直交するベクトル１４３２を利用して計算される。

【0146】

これにより、光線ベクトル１４０１〜１４０５が計算により求まる。したがって、歪み補正画像作成部１３０３は、光線情報保存部１０２を参照して、光線ベクトル１４０１〜１４０５の各々と同じ方向ベクトルを持つ光線ベクトルに対応する画素を探索することで、光線ベクトル１４０１〜１４０５の各々に対応する入力画像１４１０上の各画素１４１１〜１４１５の輝度値を計算できる。その後、歪み補正画像作成部１３０３は、歪み補正後の画像１４２０の画素１４２１〜１４２５へ、対応する画素１４１１〜１４１５の輝度値を設定することにより、歪み補正後の画像を作成する。歪み補正画像作成部１３０３は、垂直方向の画素に関しても、予め決めておいた床面からの垂直ベクトル１４３１を利用することで同様な手順で輝度値を設定する。

【0147】

以上の手順により、画像処理装置１３００は、光線情報を利用することで歪み補正した画像を生成することが可能となる。

【0148】

以上、本発明の一態様に係る測位処理装置および画像処理装置について、実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したもの、あるいは異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。

【0149】

例えば、上記実施の形態１〜３における測位処理装置または画像処理装置が備える構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。

【0150】

システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｍｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などを含んで構成されるコンピュータシステムである。ＲＯＭには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。

【0151】

なお、ここでは、システムＬＳＩとしたが、集積度の違いにより、ＩＣ、ＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、あるいはＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

【0152】

さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。

【0153】

また、本発明は、このような特徴的な処理部を備える測位処理装置または画像処理装置として実現することができるだけでなく、測位処理装置または画像処理装置に含まれる特徴的な処理部をステップとする測位処理方法または画像処理方法として実現することもできる。また、測位処理方法または画像処理方法に含まれる特徴的な各ステップをコンピュータに実行させるコンピュータプログラムとして実現することもできる。そして、そのようなコンピュータプログラムを、ＣＤ−ＲＯＭ等のコンピュータ読取可能な記録媒体あるいはインターネット等の通信ネットワークを介して流通させることができるのは、言うまでもない。

【産業上の利用可能性】

【0154】

本発明に係る測位処理装置は、全方位の測位機能を有し、人物・車両・荷物等を含む広範囲の監視システム、および、歩行者あるいは車等を認識する移動体ロボットにおける全方位センサー等として有用である。また、測位処理装置は、大型ディスプレイの上部あるいは天井に設置され、広範囲の人物の位置あるいは姿勢を認識し、大型ディスプレイ内のコンテンツを操作するための全方位センサーとしての用途にも応用可能である。

【符号の説明】

【0155】

１００、１１００ 測位処理装置
１０１ エピポーラ平面計算部
１０２ 光線情報保存部
１０３ エピポーラ画像作成部
１０４ 対応点計算部
１０５ 測位点計算部
１１１ 第１入力画像
１１２ 第２入力画像
１２１ 測位点指定部
１２２ 測位結果表示部
２０１ カメラ
２０２ 主鏡
２０３ 副鏡
２０４、９０３、１００７ 測位対象
２０５ ドーム
２１１、５１１ 撮影画像
２２２、９２１、１０１０ 主鏡画像
２２３、９２２、１０４０ 副鏡画像
４０１ 画素単位テーブル
５００ カメラ原点
５０１ カメラ
５０２ ドーム
５０３ 第１点光源
５０４ 第２点光源
５０５ Ｒｏｌｌ回転台
５０６ Ｔｉｌｔ回転台
５０７ Ｔｉｌｔ回転中心
６０１、６０２ 点光源計測結果テーブル
７０１ 位置ベクトル
７０２ 方向ベクトル
９０１、９０２、１００６、１０３１ 視点位置
９０４、１００８ 無限遠点
９０５、１０６１ 法線ベクトル
９０６、９０７、１００１〜１００５、１０３２ 光線ベクトル
９１１、１０２０ 主鏡エピポーラ画像
９１２、１０５０ 副鏡エピポーラ画像
９１３、９２３ 測位点 ９１４、９２４ 副鏡無限遠点
９１５ 対応点
１０６２ 主鏡エピポーラ線ベクトル
１０６３ 副鏡エピポーラ線ベクトル
１１０１ 測位枠検出部
１１０２ 測位点統合部
１２０１ 画像
１２０２ 人物枠
１３００ 画像処理装置
１３０１ 補正指定部
１３０２ 補正計算部
１３０３ 補正画像作成部
１３０４ 補正表示部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8A】

【図8B】

【図9】

【図10A】

【図10B】

【図11】

【図12】

【図13】

【図14】