知財求人 - 知財ポータルサイト「IP Force」
特開2023-82965ステレオカメラ、ステレオカメラシステム、および配置方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023082965
(43)【公開日】2023-06-15
(54)【発明の名称】ステレオカメラ、ステレオカメラシステム、および配置方法
(51)【国際特許分類】
G01C 3/06 20060101AFI20230608BHJP
H04N 5/222 20060101ALI20230608BHJP
H04N 23/45 20230101ALI20230608BHJP
H04N 23/60 20230101ALI20230608BHJP
H04N 23/695 20230101ALI20230608BHJP
G03B 35/08 20210101ALN20230608BHJP
【ＦＩ】
G01C3/06 110V
H04N5/222 100
H04N5/225 800
H04N5/232 290
H04N5/232 990
G03B35/08
【審査請求】未請求
【請求項の数】12
【出願形態】ＯＬ
(21)【出願番号】P 2021197018
(22)【出願日】2021-12-03
(71)【出願人】
【識別番号】000005108
【氏名又は名称】株式会社日立製作所
(74)【代理人】
【識別番号】110002365
【氏名又は名称】弁理士法人サンネクスト国際特許事務所
(72)【発明者】
【氏名】今川 制時
【テーマコード（参考）】
2F112
2H059
5C122
【Ｆターム（参考）】
2F112AC02
2F112AC06
2F112BA03
2F112CA12
2F112DA32
2F112FA35
2H059AA10
2H059AA13
2H059AA18
5C122DA14
5C122EA54
5C122FA04
5C122FA18
5C122FH04
5C122FH06
5C122FH07
5C122GD01
5C122GD04
5C122GD06
(57)【要約】
【課題】遠距離化および広角化を実現し得るステレオカメラを提供する。
【解決手段】第１の回転機構の第１の回転軸と第２の回転機構の第２の回転軸との各々は、第１のカメラの第１の光軸と第２のカメラの第２の光軸との双方を含む平面に直行し、第１の回転軸は、第１の光軸と交差し、第２の回転軸は、第２の光軸と交差し、第１の回転軸および第１の光軸の交点から第１のカメラの第１の入射瞳位置までの距離と、第２の回転軸および第２の光軸の交点から第２のカメラの第２の入射瞳位置までの距離とが等しくなるようにした。
【選択図】図９
【解決手段】第１の回転機構の第１の回転軸と第２の回転機構の第２の回転軸との各々は、第１のカメラの第１の光軸と第２のカメラの第２の光軸との双方を含む平面に直行し、第１の回転軸は、第１の光軸と交差し、第２の回転軸は、第２の光軸と交差し、第１の回転軸および第１の光軸の交点から第１のカメラの第１の入射瞳位置までの距離と、第２の回転軸および第２の光軸の交点から第２のカメラの第２の入射瞳位置までの距離とが等しくなるようにした。
【選択図】図９
【特許請求の範囲】
【請求項1】
第１のカメラと、前記第１のカメラを回転させる第１の回転機構と、第２のカメラと、前記第２のカメラを回転させる第２の回転機構と、を含んで構成されるステレオカメラであって、
前記第１の回転機構の第１の回転軸と前記第２の回転機構の第２の回転軸との各々は、前記第１のカメラの第１の光軸と前記第２のカメラの第２の光軸との双方を含む平面に直行し、
前記第１の回転軸は、前記第１の光軸と交差し、前記第２の回転軸は、前記第２の光軸と交差し、
前記第１の回転軸および前記第１の光軸の交点から前記第１のカメラの第１の入射瞳位置までの距離と、前記第２の回転軸および前記第２の光軸の交点から前記第２のカメラの第２の入射瞳位置までの距離とが等しい、
ステレオカメラ。
前記第１の回転機構の第１の回転軸と前記第２の回転機構の第２の回転軸との各々は、前記第１のカメラの第１の光軸と前記第２のカメラの第２の光軸との双方を含む平面に直行し、
前記第１の回転軸は、前記第１の光軸と交差し、前記第２の回転軸は、前記第２の光軸と交差し、
前記第１の回転軸および前記第１の光軸の交点から前記第１のカメラの第１の入射瞳位置までの距離と、前記第２の回転軸および前記第２の光軸の交点から前記第２のカメラの第２の入射瞳位置までの距離とが等しい、
ステレオカメラ。
【請求項2】
請求項１に記載のステレオカメラであって、
前記第１の回転軸は、前記第１の入射瞳位置を通り、前記第２の回転軸は、前記第２の入射瞳位置を通る、
請求項１に記載のステレオカメラ。
前記第１の回転軸は、前記第１の入射瞳位置を通り、前記第２の回転軸は、前記第２の入射瞳位置を通る、
請求項１に記載のステレオカメラ。
【請求項3】
請求項１に記載のステレオカメラを用いるステレオカメラシステムであって、
前記第１の回転機構および前記第２の回転機構にコントローラ部から送られる回転角情報の回転角に基づいて、前記第１のカメラの第１の画像または前記第１の画像に画像処理を施した加工画像の少なくとも１つに補正処理を行い、前記回転角に基づいて、前記第２のカメラの第２の画像または前記第２の画像に画像処理を施した加工画像の少なくとも１つに補正処理を行う補正部を備える、
ステレオカメラシステム。
前記第１の回転機構および前記第２の回転機構にコントローラ部から送られる回転角情報の回転角に基づいて、前記第１のカメラの第１の画像または前記第１の画像に画像処理を施した加工画像の少なくとも１つに補正処理を行い、前記回転角に基づいて、前記第２のカメラの第２の画像または前記第２の画像に画像処理を施した加工画像の少なくとも１つに補正処理を行う補正部を備える、
ステレオカメラシステム。
【請求項4】
請求項３に記載のステレオカメラシステムであって、
前記補正部は、
前記第１の画像と前記第２の画像との各々について幾何補正を行う幾何補正部と、
前記幾何補正部により幾何補正が行われた第１の幾何補正画像および第２の幾何補正画像の各々について、前記回転角に基づいて画素値の座標変換を行う座標変換部と、
前記座標変換部により座標変換が行われた第１の座標変換画像と第２の座標変換画像とを比較して、画素値ごとの視差値を含む視差画像を生成する視差画像生成部と、
を備える、
ステレオカメラシステム。
前記補正部は、
前記第１の画像と前記第２の画像との各々について幾何補正を行う幾何補正部と、
前記幾何補正部により幾何補正が行われた第１の幾何補正画像および第２の幾何補正画像の各々について、前記回転角に基づいて画素値の座標変換を行う座標変換部と、
前記座標変換部により座標変換が行われた第１の座標変換画像と第２の座標変換画像とを比較して、画素値ごとの視差値を含む視差画像を生成する視差画像生成部と、
を備える、
ステレオカメラシステム。
【請求項5】
請求項３に記載のステレオカメラシステムであって、
前記補正部は、前記第１の画像について幾何補正と前記回転角に基づく画素値の座標変換とを行い、前記第２の画像について幾何補正と前記回転角に基づく画素値の座標変換とを行う、
ステレオカメラシステム。
前記補正部は、前記第１の画像について幾何補正と前記回転角に基づく画素値の座標変換とを行い、前記第２の画像について幾何補正と前記回転角に基づく画素値の座標変換とを行う、
ステレオカメラシステム。
【請求項6】
請求項４に記載のステレオカメラシステムであって、
前記座標変換部は、補正前の画像の各画素値をＢ（Ｕｂ，Ｖｂ）、前記補正前の画像の基準画素をＢ（Ｕｂ０，Ｖｂ０）、補正後の画像の各画素値をＡ（Ｕａ，Ｖａ）、前記補正後の画像の基準画素をＡ（Ｕａ０，Ｖａ０）、焦点距離をｆｃ、ｘ方向およびｙ方向の画素ピッチをｐｘ，ｐｙとするとき、基準角θ＝０からの回転角Δθに応じて、
Ｕａ＝ｆｃ・ｔａｎ（Δθ＋α）／ｐｘ＋Ｕａ０ ・・・（式１）
Ｖａ＝Ｖｂ－Ｖｂ０＋Ｖａ０ ・・・（式２）
α＝ａｔａｎ（（Ｕｂ－Ｕｂ０）・ｐｘ／ｆｃ） ・・・（式３）
に従って座標変換を行う、
ステレオカメラシステム。
前記座標変換部は、補正前の画像の各画素値をＢ（Ｕｂ，Ｖｂ）、前記補正前の画像の基準画素をＢ（Ｕｂ０，Ｖｂ０）、補正後の画像の各画素値をＡ（Ｕａ，Ｖａ）、前記補正後の画像の基準画素をＡ（Ｕａ０，Ｖａ０）、焦点距離をｆｃ、ｘ方向およびｙ方向の画素ピッチをｐｘ，ｐｙとするとき、基準角θ＝０からの回転角Δθに応じて、
Ｕａ＝ｆｃ・ｔａｎ（Δθ＋α）／ｐｘ＋Ｕａ０ ・・・（式１）
Ｖａ＝Ｖｂ－Ｖｂ０＋Ｖａ０ ・・・（式２）
α＝ａｔａｎ（（Ｕｂ－Ｕｂ０）・ｐｘ／ｆｃ） ・・・（式３）
に従って座標変換を行う、
ステレオカメラシステム。
【請求項7】
請求項１に記載のステレオカメラを用いるステレオカメラシステムであって、
前記第１の光軸および前記第２の光軸が、前記第１の入射瞳位置と前記第２の入射瞳位置とを含む直線と直交する回転角が基準角として設定され、
離散的な値の回転角を示す角度情報を、前記第１の回転機構および前記第２の回転機構に送るコントローラ部を備える、
ステレオカメラシステム。
前記第１の光軸および前記第２の光軸が、前記第１の入射瞳位置と前記第２の入射瞳位置とを含む直線と直交する回転角が基準角として設定され、
離散的な値の回転角を示す角度情報を、前記第１の回転機構および前記第２の回転機構に送るコントローラ部を備える、
ステレオカメラシステム。
【請求項8】
請求項３に記載のステレオカメラシステムであって、
前記補正部は、前記第１のカメラと前記第２のカメラとの少なくとも１つのカメラが用いられて基準角で基準の画像が取得され、前記カメラの第１の回転角で第１の画像が取得され、前記カメラの第２の回転角で第２の画像が取得される場合、前記基準の画像に基づいて前記第１の画像の補正画像に対する校正を行い、前記第１の画像の校正後の画像に基づいて前記第２の画像の補正画像に対する校正を行う、
ステレオカメラシステム。
前記補正部は、前記第１のカメラと前記第２のカメラとの少なくとも１つのカメラが用いられて基準角で基準の画像が取得され、前記カメラの第１の回転角で第１の画像が取得され、前記カメラの第２の回転角で第２の画像が取得される場合、前記基準の画像に基づいて前記第１の画像の補正画像に対する校正を行い、前記第１の画像の校正後の画像に基づいて前記第２の画像の補正画像に対する校正を行う、
ステレオカメラシステム。
【請求項9】
請求項８に記載のステレオカメラシステムであって、
前記校正に用いる画像を取得する第ｎの回転角と第ｎ＋１の回転角との角度差は、半画角以下である、
ステレオカメラシステム。
前記校正に用いる画像を取得する第ｎの回転角と第ｎ＋１の回転角との角度差は、半画角以下である、
ステレオカメラシステム。
【請求項10】
請求項８に記載のステレオカメラシステムであって、
前記補正部は、前記第１の画像と前記第２の画像との重複領域を用いて、前記第２の画像の補正画像が前記第１の画像の補正画像と一致するように各画素の補正式を校正するとともに、前記第２の画像の重複領域以外の領域を重複領域の校正結果から外挿して構成する、
ステレオカメラシステム。
前記補正部は、前記第１の画像と前記第２の画像との重複領域を用いて、前記第２の画像の補正画像が前記第１の画像の補正画像と一致するように各画素の補正式を校正するとともに、前記第２の画像の重複領域以外の領域を重複領域の校正結果から外挿して構成する、
ステレオカメラシステム。
【請求項11】
請求項１に記載のステレオカメラを用いるステレオカメラシステムであって、
前記第１の回転機構および前記第２の回転機構を任意の回転角に位置付ける際、前記第１のカメラの回転および前記第２のカメラの回転を一方向に行うコントローラ部を備える、
ステレオカメラシステム。
前記第１の回転機構および前記第２の回転機構を任意の回転角に位置付ける際、前記第１のカメラの回転および前記第２のカメラの回転を一方向に行うコントローラ部を備える、
ステレオカメラシステム。
【請求項12】
ステレオカメラにおけるカメラと回転機構との配置方法であって、
前記ステレオカメラは、第１のカメラと、前記第１のカメラを回転させる第１の回転機構と、第２のカメラと、前記第２のカメラを回転させる第２の回転機構と、を含んで構成され、
前記第１の回転機構の第１の回転軸と前記第２の回転機構の第２の回転軸との各々は、前記第１のカメラの第１の光軸と前記第２のカメラの第２の光軸との双方を含む平面に直行し、
前記第１の回転軸は、前記第１の光軸と交差し、前記第２の回転軸は、前記第２の光軸と交差し、
前記第１の回転軸および前記第１の光軸の交点から前記第１のカメラの第１の入射瞳位置までの距離と、前記第２の回転軸および前記第２の光軸の交点から前記第２のカメラの第２の入射瞳位置までの距離とが等しくなるように配置する、
配置方法。
前記ステレオカメラは、第１のカメラと、前記第１のカメラを回転させる第１の回転機構と、第２のカメラと、前記第２のカメラを回転させる第２の回転機構と、を含んで構成され、
前記第１の回転機構の第１の回転軸と前記第２の回転機構の第２の回転軸との各々は、前記第１のカメラの第１の光軸と前記第２のカメラの第２の光軸との双方を含む平面に直行し、
前記第１の回転軸は、前記第１の光軸と交差し、前記第２の回転軸は、前記第２の光軸と交差し、
前記第１の回転軸および前記第１の光軸の交点から前記第１のカメラの第１の入射瞳位置までの距離と、前記第２の回転軸および前記第２の光軸の交点から前記第２のカメラの第２の入射瞳位置までの距離とが等しくなるように配置する、
配置方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、概して、物体の検知、測距および／または識別を行うためのステレオカメラに関する。
【背景技術】
【0002】
近年、ズーム、パン、チルト等のカメラ設定を制御可能な機構を有するステレオカメラにおいて、少なくとも２つのカメラを有し、カメラの操作指示によりカメラのレンズ位置が変更された際に、カメラのカメラパラメータを推定する技術が開示されている（特許文献１参照）。
【0003】
また、撮像カメラを少なくとも一方向に回転させる回転機構を備えた画像取り込み装置であって、画像取り込み装置から出力される画像データはｆθ特性を有し、回転機構の回転中心は、光学系の略入射瞳中心にあることを特徴とする画像取り込み装置が開示されている（特許文献２参照）。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２０１７－１３５４９５号公報
【特許文献2】特開２００４－２８９３６７号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
カメラを用いた物体検知システムは、検知範囲の拡大要求に伴い、遠距離化、広角化が必要になっている。視認センサとして重要な役割を担うカメラでは、レンズの焦点距離を長くすることで遠距離化を実現できるが、撮像素子サイズはこれに比例するほどは大きくできないので、結果、画角は低下し、狭角化してしまう。逆に、広画角化するには、焦点距離を短くする必要があるため、結果、解像度が落ち、遠距離対応が困難となる。
【0006】
これに対応する方法として、魚眼レンズのような歪を有するレンズにより光軸付近では高解像度を、周辺では圧縮により広角化を実現する方法がある。しかしながら、魚眼レンズで用いられる射影方式、等距離射影（ｆ・θ）、等立体角射影（２ｆ・sin（θ/２））および正射影（ｆ・sinθ）は、ある程度の画角がないと十分な効果が得られない。
【0007】
一方、特許文献１および特許文献２のように、カメラの向きを機械的に変えるパン、チルト動作は、カメラの光学性能で遠距離性能を確保し、パンチルト動作によって広角化を実現する合理的な方法である。しかしながら、特許文献１および特許文献２には、全画角を同時に検知する必要がある場合については言及がなく、特許文献１および特許文献２に記載の技術では、遠距離化および広角化を実現することが困難である。
【0008】
本発明は、以上の点を考慮してなされたもので、遠距離化および広角化を実現し得るステレオカメラ等を提案しようとするものである。
【課題を解決するための手段】
【0009】
かかる課題を解決するため本発明においては、第１のカメラと、前記第１のカメラを回転させる第１の回転機構と、第２のカメラと、前記第２のカメラを回転させる第２の回転機構と、を含んで構成されるステレオカメラであって、前記第１の回転機構の第１の回転軸と前記第２の回転機構の第２の回転軸との各々は、前記第１のカメラの第１の光軸と前記第２のカメラの第２の光軸との双方を含む平面に直行し、前記第１の回転軸は、前記第１の光軸と交差し、前記第２の回転軸は、前記第２の光軸と交差し、前記第１の回転軸および前記第１の光軸の交点から前記第１のカメラの第１の入射瞳位置までの距離と、前記第２の回転軸および前記第２の光軸の交点から前記第２のカメラの第２の入射瞳位置までの距離とが等しくなるようにした。
【0010】
上記構成では、回転機構の回転軸から各カメラの入射瞳位置までの距離が一致するので、例えば、回転角情報を用いて画像の座標変換を行うことで、検知物の測距精度を確保しつつ、検知範囲の遠距離化および広角化を実現することができる。
【発明の効果】
【0011】
本発明によれば、遠距離化および広角化に対応するステレオカメラを実現することができる。上記以外の課題、構成、および効果は、以下の実施の形態の説明により明らかにされる。
【図面の簡単な説明】
【0012】
【図1】第１の実施の形態を説明するためのステレオカメラの一例を示す図である。
【図2】第１の実施の形態を説明するためのステレオカメラの一例を示す図である。
【図3】第１の実施の形態を説明するためのステレオカメラの一例を示す図である。
【図4】第１の実施の形態を説明するためのステレオカメラの一例を示す図である。
【図5】第１の実施の形態を説明するためのステレオカメラの一例を示す図である。
【図6】第１の実施の形態を説明するためのステレオカメラの一例を示す図である。
【図7】第１の実施の形態を説明するための測距誤差を示す図である。
【図8】第１の実施の形態による物体検知システムに係る構成の一例を示す図である。
【図9】第１の実施の形態によるカメラと回転機構との位置関係を示す図である。
【図10】第１の実施の形態による座標変換を説明するための図である。
【図11】第１の実施の形態による距離計算を説明するための図である。
【図12】第１の実施の形態による回転軸が入射瞳にない場合の不都合を説明するための図である。
【図13】第１の実施の形態による校正を説明するための図である。
【図14】第１の実施の形態による校正を説明するための図である。
【図15】第２の実施の形態によるカメラと回転機構との位置関係を示す図である。
【図16】第２の実施の形態による回転軸が入射瞳にない場合の不都合の解決方法を説明するための図である。
【図17】第２の実施の形態による座標変換を説明するための図である。
【発明を実施するための形態】
【0013】
（Ｉ）第１の実施の形態
以下、本発明の一実施の形態を詳述する。ただし、本発明は、実施の形態に限定されるものではない。
以下、本発明の一実施の形態を詳述する。ただし、本発明は、実施の形態に限定されるものではない。
【0014】
本実施の形態では、特に、遠距離、広ＦＯＶ（Field of view）の検知範囲を有し、かつ、高精度の測距性能を有するステレオカメラおよび当該ステレオカメラを用いたステレオカメラシステムについて説明する。
【0015】
本実施の形態に記載のステレオカメラシステムは、上記課題を解決する手段を複数含んでいる。その一例を挙げるならば、「ステレオカメラを構成するカメラ１およびカメラ２がそれぞれ撮影方向を変える回転機構を備え、各カメラの入射瞳位置をＰ１,Ｐ２とし、Ｐ１とＰ２を含む直線をＬとするとき、上記回転機構の回転軸Ｒ１，Ｒ２は、Ｐ１とＰ２とを通る直線Ｌと各カメラの光軸Ｏ１，Ｏ２とに直交し、かつ、互いに平行であること」を特徴とする。また、「上記回転機構の回転角θに基づいて、各カメラの撮影画像または当該撮影画像に画像処理を施した加工画像の少なくとも１つに補正処理を施すこと」を特徴とする。
【0016】
ステレオカメラの撮影方向を変える回転機構をカメラごとに有し、回転機構の回転軸を各カメラの入射瞳位置と一致させ、回転角情報を用いて画像の座標変換を行うことで、検知物の測距精度を確保しつつ、検知範囲の遠距離化および広角化と、省スペース化とを実現することができる。
【0017】
本明細書等における「第１」、「第２」、「第３」等の表記は、構成要素を識別するために付するものであり、必ずしも、数または順序を限定するものではない。また、構成要素の識別のための番号は、文脈毎に用いられ、１つの文脈で用いた番号が、他の文脈で必ずしも同一の構成を示すとは限らない。また、ある番号で識別された構成要素が、他の番号で識別された構成要素の機能を兼ねることを妨げるものではない。
【0018】
次に、本発明の実施の形態を図面に基づいて説明する。以下の記載および図面は、本発明を説明するための例示であって、説明の明確化のため、適宜、省略および簡略化がなされている。本発明は、他の種々の形態でも実施することが可能である。特に限定しない限り、各構成要素は、単数でも複数でも構わない。
【0019】
なお、以下の説明では、図面において同一要素については、同じ番号を付し、説明を適宜省略する。また、同種の要素を区別しないで説明する場合には、枝番を含む参照符号のうちの共通部分（枝番を除く部分）を使用し、同種の要素を区別して説明する場合は、枝番を含む参照符号を使用することがある。例えば、カメラを特に区別しないで説明する場合には、「カメラ４０１」と記載し、個々のカメラを区別して説明する場合には、「カメラ４０１－１」、「カメラ４０１－２」のように記載することがある。
【0020】
［カメラ毎に回転で省スペース化。斜めモデルは、測距誤差あり。］
一般的には、カメラの向きを変える方法ではいくつか不都合が生じる。通常のカメラの射影方式である中心射影（ｆ・ｔａｎθ）では、光軸から離れるほど像は大きく見える。例えば、カメラの画面の隅に立った人の幅は、カメラの正面に立った人の幅より画像上で太く見える。この点、等距離射影（ｆ・θ）を用いることで解決することができる。等距離射影を用いると、物体の像は、画角に拠らず等しくなるため、パン、チルトなどのカメラの向きを変えても同一物体の画像サイズを一定にすることができる。また、カメラの回転軸をカメラの入射瞳と一致させることで、カメラの向きを変えても物体との距離を正確に一定にすることができ、像サイズの画角による変動をより小さくすることができる。
一般的には、カメラの向きを変える方法ではいくつか不都合が生じる。通常のカメラの射影方式である中心射影（ｆ・ｔａｎθ）では、光軸から離れるほど像は大きく見える。例えば、カメラの画面の隅に立った人の幅は、カメラの正面に立った人の幅より画像上で太く見える。この点、等距離射影（ｆ・θ）を用いることで解決することができる。等距離射影を用いると、物体の像は、画角に拠らず等しくなるため、パン、チルトなどのカメラの向きを変えても同一物体の画像サイズを一定にすることができる。また、カメラの回転軸をカメラの入射瞳と一致させることで、カメラの向きを変えても物体との距離を正確に一定にすることができ、像サイズの画角による変動をより小さくすることができる。
【0021】
ここで、ステレオカメラにおいて撮影方向を変える場合、２つのカメラの相対位置および向きが正確に保たれている必要がある。このため、図１、図２、図３に示すように、ステレオカメラ１００全体の向きを変え、カメラ１０１同士の相対位置は維持する方が容易に広角化を実現できる。しかしながら、単眼カメラと異なり、ステレオカメラ１００の向きを変える場合、カメラ１０１およびカメラ１０１の固定機構が他の部材と干渉しない広いスペースを確保する必要がある。これは、カメラ１０１の必要回転角および基線長に応じて増大するので、特に遠距離対応で基線が長いステレオカメラ１００では、自動車、鉄道などの狭い運転席、運転室に設置するのは難しくなる。
【0022】
そこで、図４、図５、図６等に示すように、ステレオカメラ４００の各カメラ４０１が独立した回転軸を有する構造にすることで、装置の水平投影面積以上のスペースを設けることなく広角化を実現できる。しかしながら、この方法は、カメラ４０１の向きを傾けたときに測距結果に誤差が生じるという不都合がある。例えば、図５の場合を図７のように置き換えて考えると、カメラ４０１－１（カメラ１）およびカメラ４０１－２（カメラ２）の像サイズＩ１および像サイズＩ２は、それぞれ、
Ｉ１＝Ｏｂ／Ｌ１・ｆｃ ・・・式（１）
Ｉ２＝Ｏｂ／Ｌ２・ｆｃ＝Ｏｂ／（Ｌ１－Ｂ・ｓｉｎ（Δθ））・ｆｃ・・・式（２）
となる。
ここで、Ｏｂは、対象物体のサイズ、Ｌ１、Ｌ２は、それぞれカメラ１、カメラ２から対象物体までの距離、ｆｃは、カメラ１およびカメラ２の焦点距離、Ｂは、基線長、Δθは、カメラ１およびカメラ２の向き（回転角）である。両式からカメラ１とカメラ２とで得られる対象物体の像サイズが異なることが分かる。また、像サイズの比率も対象物体の距離によって異なるため、一方の画像を単純に拡大または縮小するだけでは測距誤差を生じてしまう。
Ｉ１＝Ｏｂ／Ｌ１・ｆｃ ・・・式（１）
Ｉ２＝Ｏｂ／Ｌ２・ｆｃ＝Ｏｂ／（Ｌ１－Ｂ・ｓｉｎ（Δθ））・ｆｃ・・・式（２）
となる。
ここで、Ｏｂは、対象物体のサイズ、Ｌ１、Ｌ２は、それぞれカメラ１、カメラ２から対象物体までの距離、ｆｃは、カメラ１およびカメラ２の焦点距離、Ｂは、基線長、Δθは、カメラ１およびカメラ２の向き（回転角）である。両式からカメラ１とカメラ２とで得られる対象物体の像サイズが異なることが分かる。また、像サイズの比率も対象物体の距離によって異なるため、一方の画像を単純に拡大または縮小するだけでは測距誤差を生じてしまう。
【0023】
本実施の形態では、ステレオカメラシステムの一例として、列車に搭載したステレオカメラおよび当該ステレオカメラを用いた物体検知システム８００を説明する。図８に物体検知システム８００の概略構成を示す。まず各ブロックの役割を説明する。符号８０１，８０２は、ステレオカメラを構成するカメラを示す。符号８１１，８１２は、カメラ８０１，８０２の撮影方向を変更する回転機構（ROTATION MECH.）を示す。符号８２０は、カメラ８０１，８０２の撮影タイミングおよび回転機構８１１，８１２の動作を制御するコントローラ部（CAMERA ＆ ANGLE CONTROLLER）を示す。符号８３０は、カメラ８０１，８０２が取得した画像に対し、画像歪、画像向き、画像サイズなどを補正する幾何補正部（GEOMETRIC CORRECTION）を示す。符号８４０は、回転機構８１１，８１２の回転角に基づいて、主に画素値の座標変換を行う座標変換部（COORDINATE CORRECTION）を示す。符号８５０は、幾何補正および座標変換を施した画像を用いて視差画像を生成する視差画像生成部（DISPARITY）を示す。符号８６０は、視差画像および元画像を用いて測距、画像解析、物体検知等を行う物体検知部（IMAGE ANALYSIS OBJECT DETECTION）を示す。
【0024】
物体検知システム８００の機能（コントローラ部８２０、幾何補正部８３０、座標変換部８４０、視差画像生成部８５０、物体検知部８６０等）は、例えば、プロセッサが補助記憶装置に格納されたプログラムを主記憶装置に読み出して実行すること（ソフトウェア）により実現されてもよいし、専用の回路等のハードウェアにより実現されてもよいし、ソフトウェアとハードウェアとが組み合わされて実現されてもよい。なお、物体検知システム８００の１つの機能は、複数の機能に分けられていてもよいし、複数の機能は、１つの機能にまとめられていてもよい。例えば、幾何補正部８３０、座標変換部８４０、および視差画像生成部８５０は、補正部とされてもよい。また、物体検知システム８００の機能の一部は、別の機能として設けられてもよいし、他の機能に含められていてもよい。例えば、幾何補正と座標変換とが同時に行われてもよい。付言するならば、カメラ８０１，８０２を備えるステレオカメラは、例えば、コントローラ部８２０、幾何補正部８３０、座標変換部８４０、および視差画像生成部８５０を備え、当該ステレオカメラと通信可能なコンピュータが物体検知部８６０を備えてもよい。また、例えば、カメラ８０１，８０２を備えるステレオカメラは、例えば、コントローラ部８２０を備え、当該ステレオカメラと通信可能なコンピュータが幾何補正部８３０、座標変換部８４０、視差画像生成部８５０、および物体検知部８６０を備えてもよい。また、物体検知システム８００の機能の一部は、物体検知システム８００と通信可能な他のコンピュータにより実現されてもよい。
【0025】
次に、各ブロックの関係について述べる。回転機構８１１，８１２は、コントローラ部８２０が指示する回転角で回転し、回転機構８１１，８１２の各々に固定されたカメラ８０１，８０２の撮影方向を変更する。カメラ８０１，８０２は、コントローラ部８２０が指示するタイミングで撮影を行い、取得した画像（画像データ）を幾何補正部８３０に送る。幾何補正部８３０に送られた各画像について、幾何補正部８３０は、レンズ歪補正、平行化処理などを含む幾何補正処理を行い、処理後の幾何補正画像を座標変換部８４０に送る。座標変換部８４０は、コントローラ部８２０から送られる回転角情報に基づいて、幾何補正部８３０から送られた幾何補正画像の座標変換を行い、座標変換画像を視差画像生成部８５０と物体検知部８６０とに送る。視差画像生成部８５０は、送られた各カメラ８０１，８０２の画像がベースとなった座標変換画像を用いて視差画像を生成し、生成した視差画像を物体検知部８６０に送る。物体検知部８６０は、送られた視差画像と座標変換画像とを用いて、測距、物体検知、物体識別などを行い、車両制御に必要な情報を図示しない後段のシステムに送る。例えば、後段のシステムがブレーキ制御システムである場合、ブレーキ機制御システムは、受け取った情報（例えば、軌道上に障害物を検知したことを示す情報）に基づいて、車両のブレーキ制御を行う。
【0026】
図９は、カメラ８０１，８０２と回転機構８１１，８１２との位置関係を示す図である。符号９０１，９０２は、各カメラ８０１，８０２のレンズを示す。なお、レンズ９０１，９０２は、カメラ８０１，８０２において、１以上設けられ、典型的には複数設けられるが、図９では、説明の便宜上、１つ示している。符号９１１，９１２は、各カメラ８０１，８０２の撮像素子を示す。符号９２１．９２２は、各カメラ８０１，８０２の入射瞳位置（入射瞳）を示す。符号９３１，９３２は、各レンズ９０１，９０２（カメラ８０１，８０２）の光軸を示す。符号９４１，９４２は、各回転機構８１１，８１２の回転軸を一点鎖線で示している。これらの回転軸９４１，９４２は、それぞれ入射瞳９２１，９２２を通り、各光軸９３１，９３２と直線Ｌに直交するように配置している。ここで、直線Ｌは、入射瞳９２１，９２２の両方を通る直線である。一般的にステレオカメラの両カメラの光軸は、平行になるように配置されるので、上記を言い換えると、回転軸９４１，９４２は、両光軸９３１，９３２を含む平面と直交し、かつ、各入射瞳９２１，９２２を通るように配置しているとも言える。
【0027】
また、回転角θは、光軸９３１，９３２が直線Ｌと直交する状態を基準（θ＝０ｄｅｇ）とし、以下、これを前提として説明する。
【0028】
［変換式］
次に、座標変換部８４０の詳細動作について図１０を用いて説明する。図１０は、カメラ８０１が回転角θ＝Δθの方向に向いたときの概略図であり、点線を用いてθ＝０のときのカメラ８０１の配置も示している。また、同図のカメラ８０１は、幾何補正後の中心射影モデルであり、ピンホールモデルと等価である。符号１００１は、レンズ９０１をモデル化したレンズを示す。図１０に示すように、基本的には、ピンホールモデルにおいては、ピンホール位置とカメラ８０１の入射瞳位置とが一致している。なお、カメラ８０２についても、カメラ８０１と同様であり、その説明は省略する。
次に、座標変換部８４０の詳細動作について図１０を用いて説明する。図１０は、カメラ８０１が回転角θ＝Δθの方向に向いたときの概略図であり、点線を用いてθ＝０のときのカメラ８０１の配置も示している。また、同図のカメラ８０１は、幾何補正後の中心射影モデルであり、ピンホールモデルと等価である。符号１００１は、レンズ９０１をモデル化したレンズを示す。図１０に示すように、基本的には、ピンホールモデルにおいては、ピンホール位置とカメラ８０１の入射瞳位置とが一致している。なお、カメラ８０２についても、カメラ８０１と同様であり、その説明は省略する。
【0029】
座標変換部８４０による座標変換は、ある方向から入射した光線が、カメラ８０１の回転角Δθのときに至る画素を画素Ｂ、回転角θ＝０のときに光線が至る画素を画素Ａとしたとき、実在する画素Ｂの値を仮想の画素Ａの値に変換する動作である。具体的には、変換前画像の各画素の座標をＢ（Ｕｂ，Ｖｂ）、変換前画像の基準画素（例えば、中心画素）の座標をＢ（Ｕｂ０，Ｖｂ０）、変換後画像（補正後画像）の各画素の画素をＡ（Ｕａ，Ｖａ）、変換後画像の基準画素（例えば、中心画素）の座標をＡ（Ｕａ０，Ｖａ０）、カメラ８０１の焦点距離をｆｃ、ｘ方向およびｙ方向の画素ピッチをｐｘ，ｐｙとするとき、変換後の座標は、変換前の座標と回転角Δθとを用いて、
Ｕａ＝ｆｃ・ｔａｎ（Δθ＋α）／ｐｘ＋Ｕａ０ ・・・式（３）
Ｖａ＝Ｖｂ－Ｖｂ０＋Ｖａ０ ・・・式（４）
α＝ａｔａｎ（（Ｕｂ－Ｕｂ０）・ｐｘ／ｆｃ） ・・・式（５）
と表せる。
Ｕａ＝ｆｃ・ｔａｎ（Δθ＋α）／ｐｘ＋Ｕａ０ ・・・式（３）
Ｖａ＝Ｖｂ－Ｖｂ０＋Ｖａ０ ・・・式（４）
α＝ａｔａｎ（（Ｕｂ－Ｕｂ０）・ｐｘ／ｆｃ） ・・・式（５）
と表せる。
【0030】
回転角θ＝０の場合は、画角（Δθ＋α）から入射する光線は、撮像素子９１１の範囲外に到達するので、撮像素子９１１は、その像を得ることができない。そこで、カメラ向きを回転角Δθ変更することで、同光線は、撮像素子９１１の範囲内に到達することになり、さらに結像した画素の座標によりαを得ることができるので、既知の回転角Δθを用いて、光線の入射角（Δθ＋α）を得て、回転角θ＝０の状態における光線の結像画素の座標を算出することができる。
【0031】
［変換で得られる視差と距離］
次に、図１１を用いて対象物体の距離計算の例を示す。ここで、対象物体は、点光源とし、カメラ８０１，８０２は、図示せず、各カメラ８０１，８０２の入射瞳９２１，９２２を黒丸で示している。回転角θ＝０である場合の光線の結像画素のＵ座標は、上記式より（Ｕａ－Ｕａ０）で表されるので、カメラ８０１，８０２の同座標を（Ｕａ１－Ｕａ１０）、（Ｕａ２－Ｕａ２０）で表すと、
（Ｕａ１－Ｕａ１０）＝ｔａｎ（Δθ＋α）・ｆｃ／ｐｘ ・・・式（６）
（Ｕａ２－Ｕａ２０）＝ｔａｎ（Δθ）・ｆｃ／ｐｘ ・・・式（７）
となる。ここで、
Ｙ／Ｌ＝ｔａｎ（Δθ） ・・・式（８）
（Ｂ＋Ｙ）／Ｌ＝ｔａｎ（Δθ＋α） ・・・式（９）
である。視差Ｄは、（Ｕａ１－Ｕａ１０）－（Ｕａ２－Ｕａ２０）であるので、上式より、
Ｄ＝Ｂ／Ｌ・ｆｃ／ｐｘ ・・・式（１０）
となる。この視差Ｄの実測値を用いて、光点の距離Ｌを得ることができる。
Ｌ＝Ｂ／Ｄ・ｆｃ／ｐｘ ・・・式（１１）
次に、図１１を用いて対象物体の距離計算の例を示す。ここで、対象物体は、点光源とし、カメラ８０１，８０２は、図示せず、各カメラ８０１，８０２の入射瞳９２１，９２２を黒丸で示している。回転角θ＝０である場合の光線の結像画素のＵ座標は、上記式より（Ｕａ－Ｕａ０）で表されるので、カメラ８０１，８０２の同座標を（Ｕａ１－Ｕａ１０）、（Ｕａ２－Ｕａ２０）で表すと、
（Ｕａ１－Ｕａ１０）＝ｔａｎ（Δθ＋α）・ｆｃ／ｐｘ ・・・式（６）
（Ｕａ２－Ｕａ２０）＝ｔａｎ（Δθ）・ｆｃ／ｐｘ ・・・式（７）
となる。ここで、
Ｙ／Ｌ＝ｔａｎ（Δθ） ・・・式（８）
（Ｂ＋Ｙ）／Ｌ＝ｔａｎ（Δθ＋α） ・・・式（９）
である。視差Ｄは、（Ｕａ１－Ｕａ１０）－（Ｕａ２－Ｕａ２０）であるので、上式より、
Ｄ＝Ｂ／Ｌ・ｆｃ／ｐｘ ・・・式（１０）
となる。この視差Ｄの実測値を用いて、光点の距離Ｌを得ることができる。
Ｌ＝Ｂ／Ｄ・ｆｃ／ｐｘ ・・・式（１１）
【0032】
［入射瞳＝回転軸でないと何が起こるか］
ここで、回転軸９４１が入射瞳９２１ではない場合に生じる不都合ついてカメラ８０１を用いて説明する。図１２は、回転軸９４１を撮像素子９１１上に設け、カメラ向きを回転角Δθとした場合の図である。一点鎖線は、カメラ８０１の回転角Δθの光軸９３１を示し、実太線は、撮像素子９１１の撮像面１２０１を示す。撮像面１２０１に結像した光点の像の座標と焦点距離とから光線方向βが算出できる。しかしながら、図１１の場合とは異なり、光線方向βを用いてもカメラ向きθ＝０状態における光線方向（Δθ＋α）は、算出できない。それは、対象物体が光線方向β上に存在することが分かっても、カメラ向きθ＝０状態における光線方向は、対象物の距離によってα０、α１など取りうる値が異なるためである。これは、カメラ向きθ＝０とΔθとにおけるピンホール位置が一致していないために生ずる。
ここで、回転軸９４１が入射瞳９２１ではない場合に生じる不都合ついてカメラ８０１を用いて説明する。図１２は、回転軸９４１を撮像素子９１１上に設け、カメラ向きを回転角Δθとした場合の図である。一点鎖線は、カメラ８０１の回転角Δθの光軸９３１を示し、実太線は、撮像素子９１１の撮像面１２０１を示す。撮像面１２０１に結像した光点の像の座標と焦点距離とから光線方向βが算出できる。しかしながら、図１１の場合とは異なり、光線方向βを用いてもカメラ向きθ＝０状態における光線方向（Δθ＋α）は、算出できない。それは、対象物体が光線方向β上に存在することが分かっても、カメラ向きθ＝０状態における光線方向は、対象物の距離によってα０、α１など取りうる値が異なるためである。これは、カメラ向きθ＝０とΔθとにおけるピンホール位置が一致していないために生ずる。
【0033】
［校正］
以上の視差および距離は、回転機構８１１，８１２が理想的に動作する場合に正確に得ることができるが、実際には機構的な回転誤差と、回転軸９４１，９４２の傾き、ガタなどで生じる機械的な誤差とがあり、これにより無視できない視差誤差および測距誤差が生じたり、そもそも視差が得られないなどの不具合が生じたりする。この場合、回転角Δθに応じた変換式の校正が必要になる。校正は、システム製造時に初期的な機械誤差に対応する初期校正と、経時変化などで発生する機械誤差に対応する経時校正とが必要になる。経時校正は、初期校正と同様の設備、方法を用いて目的を達成することができるが、営業中にバックグラウンドで校正動作を行うように動作してもよい。以下、初期校正と経時校正との方法について順に説明する。
以上の視差および距離は、回転機構８１１，８１２が理想的に動作する場合に正確に得ることができるが、実際には機構的な回転誤差と、回転軸９４１，９４２の傾き、ガタなどで生じる機械的な誤差とがあり、これにより無視できない視差誤差および測距誤差が生じたり、そもそも視差が得られないなどの不具合が生じたりする。この場合、回転角Δθに応じた変換式の校正が必要になる。校正は、システム製造時に初期的な機械誤差に対応する初期校正と、経時変化などで発生する機械誤差に対応する経時校正とが必要になる。経時校正は、初期校正と同様の設備、方法を用いて目的を達成することができるが、営業中にバックグラウンドで校正動作を行うように動作してもよい。以下、初期校正と経時校正との方法について順に説明する。
【0034】
［校正（初期、チャート有）］
回転角Δθに応じた変換式の初期校正の一例を図１３および図１４を用いて説明する。両図ともに紙面下側にステレオカメラ１３００、紙面上側にチャート１３０１，１３０２を示している。チャート１３０１，１３０２は、視差が得られるように全面に高コントラストの模様が配されていることが望ましい。例えば、チェッカーマーク、等間隔に配されたドットまたはドーナツ型のマーク、ランダム模様などがある。チャート１３０１，１３０２およびカメラ８０１，８０２間の距離は、ピントが合う程度に離れている、また、チャート１３０１，１３０２上の共通エリアを両カメラ８０１，８０２が撮影できる程度に離れていることが理想である。
回転角Δθに応じた変換式の初期校正の一例を図１３および図１４を用いて説明する。両図ともに紙面下側にステレオカメラ１３００、紙面上側にチャート１３０１，１３０２を示している。チャート１３０１，１３０２は、視差が得られるように全面に高コントラストの模様が配されていることが望ましい。例えば、チェッカーマーク、等間隔に配されたドットまたはドーナツ型のマーク、ランダム模様などがある。チャート１３０１，１３０２およびカメラ８０１，８０２間の距離は、ピントが合う程度に離れている、また、チャート１３０１，１３０２上の共通エリアを両カメラ８０１，８０２が撮影できる程度に離れていることが理想である。
【0035】
初めに図９で説明した直線Ｌと各カメラ８０１，８０２の光軸９３１，９３２が直交するようにカメラ８０１，８０２が向いている状態でチャート画像を取得する。このとき、例えば、図１３に示すエリアａ１は、カメラ８０１（左カメラ）の左側に映っており、エリアａ２は、同カメラ８０１の右側に映っている。
【0036】
次に、カメラ８０１，８０２の向きを半画角だけ変更し、図１４の状態にする。ここで、カメラ８０１，８０２の向きが理想的に動けば、図１４の状態で取得した画像の左半分であるエリアａ２を幾何および座標変換した画像は、図１３の状態で取得した先のエリアａ２を幾何変換した画像と一致するはずである。しかしながら、回転時の機械誤差がある場合には両画像は一致しないので、両画像の対応画素のズレ量を求め、ズレ量をなくすように校正を行う。画素ごとのズレ量は、両画像のブロックマッチング、特徴点マッチングなどによって得られるが、ズレ量が得られる場合、どの手段を用いてもよい。
【0037】
エリアａ３は、エリアａ２の校正を外挿することで校正が可能である。以降、順に半画角のｎ倍回転した画像の右半分の領域ａ（ｎ）と（ｎ＋１）倍回転した画像の左半分の領域ａ（ｎ＋１）とのズレ量を校正していく。エリアａ１の左側の領域も回転角を負側に変更することで校正を実施する。図１３および図１４の紙面右側のカメラ８０２も同様にして校正を実施することができる。以上の手順で初期校正を完了する。
【0038】
［校正（経時、チャート無）］
経時校正の方法も基本的には初期校正と同様に実施することができる。保守、整備などを行う整備場内では、専用チャートを設けたり、カメラ８０１，８０２の揺れを排除したりすることができ、ほぼ初期校正と同様の精度を実現できる。一方、営業中の車両で校正を行う場合には工夫が必要である。特にカメラ８０１，８０２に揺れが加わる場合には、校正に使用する画像の不一致が揺れによるものか機械誤差によるものか判断できない。したがって、利用者および荷物の車両への乗降車が無いとき、車両内で利用者および荷物の移動が発生しないとき、または同状況を検知して校正動作を行うことが望ましい。また、ブロックマッチング、特徴点マッチングなどに不向きな低コントラスト画像が含まれる環境を避け、一定以上のコントラスト画像が得られる条件を設けて校正情報を蓄積し、一定以上の情報を得たのちに校正を実行する仕組みを構築することが望ましい。
経時校正の方法も基本的には初期校正と同様に実施することができる。保守、整備などを行う整備場内では、専用チャートを設けたり、カメラ８０１，８０２の揺れを排除したりすることができ、ほぼ初期校正と同様の精度を実現できる。一方、営業中の車両で校正を行う場合には工夫が必要である。特にカメラ８０１，８０２に揺れが加わる場合には、校正に使用する画像の不一致が揺れによるものか機械誤差によるものか判断できない。したがって、利用者および荷物の車両への乗降車が無いとき、車両内で利用者および荷物の移動が発生しないとき、または同状況を検知して校正動作を行うことが望ましい。また、ブロックマッチング、特徴点マッチングなどに不向きな低コントラスト画像が含まれる環境を避け、一定以上のコントラスト画像が得られる条件を設けて校正情報を蓄積し、一定以上の情報を得たのちに校正を実行する仕組みを構築することが望ましい。
【0039】
［離散値］
上記校正方法を考慮すると、カメラ向き（回転角Δθ）は、離散的な値を有し、その角度毎に校正値を有することが望ましい。また、実際の撮影方向の変更動作も離散的に行い、その角度毎に校正値を適用することが望ましい。
上記校正方法を考慮すると、カメラ向き（回転角Δθ）は、離散的な値を有し、その角度毎に校正値を有することが望ましい。また、実際の撮影方向の変更動作も離散的に行い、その角度毎に校正値を適用することが望ましい。
【0040】
［校正は半画角単位でなくてもよい］
ただし、離散値は、上記のように、カメラ８０１，８０２の半画角と一致する必要はない。離散値を細かくするほど校正に時間を要するが、外挿の精度が高くなることが期待でき、実用時に高精度な測距を行える。逆に、離散間隔を大きくすると、校正時間を短縮できるが、外挿時の誤差が増大する懸念がある。
ただし、離散値は、上記のように、カメラ８０１，８０２の半画角と一致する必要はない。離散値を細かくするほど校正に時間を要するが、外挿の精度が高くなることが期待でき、実用時に高精度な測距を行える。逆に、離散間隔を大きくすると、校正時間を短縮できるが、外挿時の誤差が増大する懸念がある。
【0041】
［左右半分ペア以外の外挿部分は精度に疑義あり。全体で直線性、等間隔性を整える］
外挿による誤差が実害を及ぼす場合には、チャート１３０１，１３０２全域に直線模様、等間隔マーク、直交線などを配し、校正後の画像における直線性、等間隔性、直交性を確保するように校正を行ってもよい。これにより実用上の弊害を排除することができる。
外挿による誤差が実害を及ぼす場合には、チャート１３０１，１３０２全域に直線模様、等間隔マーク、直交線などを配し、校正後の画像における直線性、等間隔性、直交性を確保するように校正を行ってもよい。これにより実用上の弊害を排除することができる。
【0042】
［同方向から着地］
また、回転機構８１１，８１２の制御を工夫することで、回転時の機械誤差を低減することができる。つまり、コントローラ部８２０は、どの回転角で停止する場合も必ず一方向から動いて止まるように回転機構８１１，８１２を制御する。これにより、回転機構８１１，８１２のヒステリシスおよび回転機構８１１，８１２のガタを低減し、機械誤差を低減することができる。
また、回転機構８１１，８１２の制御を工夫することで、回転時の機械誤差を低減することができる。つまり、コントローラ部８２０は、どの回転角で停止する場合も必ず一方向から動いて止まるように回転機構８１１，８１２を制御する。これにより、回転機構８１１，８１２のヒステリシスおよび回転機構８１１，８１２のガタを低減し、機械誤差を低減することができる。
【0043】
［校正式］
ｘ方向の校正値をＫａ、ｙ方向の校正値をＫｂとするとき、
Ｕａ’＝Ｕａ＋Ｋａ ・・・式（１２）
Ｖａ’＝Ｖａ＋Ｋｂ ・・・式（１３）
となる。ここで、Ｕａ＝ｆｃ・ｔａｎ（Δθ＋α）／ｐｘ＋Ｕａ０である。Ｖａ＝Ｖｂ－Ｖｂ０＋Ｖａ０である。
ｘ方向の校正値をＫａ、ｙ方向の校正値をＫｂとするとき、
Ｕａ’＝Ｕａ＋Ｋａ ・・・式（１２）
Ｖａ’＝Ｖａ＋Ｋｂ ・・・式（１３）
となる。ここで、Ｕａ＝ｆｃ・ｔａｎ（Δθ＋α）／ｐｘ＋Ｕａ０である。Ｖａ＝Ｖｂ－Ｖｂ０＋Ｖａ０である。
【0044】
以上のように、カメラの向きを変更する回転軸が入射瞳を通り、かつ、各光軸および入射瞳を結ぶ線に直交するように配置し、両カメラの撮影画像に対して中心射影への幾何変換と、回転角情報に基づいた座標変換とを行うことで、高精度な測距性能を備えつつ、遠距離化、広画角化、および省スペース化を実現できるステレオカメラおよび当該ステレオカメラを用いた物体検知システムを提供することができる。
【0045】
（ＩＩ）第２の実施の形態
［入射瞳≠回転軸の例。ただし、左右カメラの回転角は一致させる］
第１の実施の形態では、各カメラ８０１，８０２の回転機構８１１，８１２の回転軸９４１，９４２がカメラ８０１，８０２の入射瞳９２１，９２２を通る構造としたが、これに限らずとも類似の効果を得ることができる。すなわち、図９では、回転軸９４１，９４２が入射瞳９２１，９２２を通過することとしたが、本実施の形態では、図１５のように回転軸９４１，９４２が入射瞳９２１，９２２を通らず、代わりに入射瞳９２１，９２２から等距離、等方向の光軸９３１，９３２上の点を通る構造としても精度よく測距を行うことができる。
［入射瞳≠回転軸の例。ただし、左右カメラの回転角は一致させる］
第１の実施の形態では、各カメラ８０１，８０２の回転機構８１１，８１２の回転軸９４１，９４２がカメラ８０１，８０２の入射瞳９２１，９２２を通る構造としたが、これに限らずとも類似の効果を得ることができる。すなわち、図９では、回転軸９４１，９４２が入射瞳９２１，９２２を通過することとしたが、本実施の形態では、図１５のように回転軸９４１，９４２が入射瞳９２１，９２２を通らず、代わりに入射瞳９２１，９２２から等距離、等方向の光軸９３１，９３２上の点を通る構造としても精度よく測距を行うことができる。
【0046】
物体検知システム８００の構成要素は、第１の実施の形態を説明した図８と同様であるので省略する。また、構成要素間の関連についても第１の実施の形態と同様なので省略する。第１の実施の形態と異なる点は、カメラ８０１，８０２が回転角Δθを向いたときに移動する入射瞳位置に対する考え方にある。つまり、第１の実施の形態では、図１２を用いて入射角βから入射角αは求められないことを示したが、本実施の形態ではステレオカメラ自身も入射瞳９２１，９２２と同じだけ動いたと仮定する。具体的には、図１６に示す通り、θ＝０のときカメラ８０１，８０２は、その光軸９３１，９３２が一点鎖線と重なる位置に配されているが、回転角Δθの向きを向いたとき、ステレオカメラは、紙面右方向にｆｃ・ｔａｎ（Δθ）、紙面下に（１－ｆｃ・ｃｏｓ（Δθ））だけシフトしたものと考える。このとき、カメラ８０１の向きとカメラ８０２の向きとは、等しい状態にある。
【0047】
このように考えると、図１７に示すようにカメラ８０１で結像した光点の座標から光線方向βおよびγが算出され、その値と回転角Δθとを用いて、図中の黒丸を入射瞳９２１，９２２、光軸９３１，９３２が太点線と一致するシフト後のステレオカメラにおける光点の結像画素の座標を得ることができる。ステレオカメラのシフト量は、算出した物体位置に対しては微小であるので、多くの場合、無視することができる。
【0048】
本実施の形態では、回転機構の回転軸が入射瞳を通らずとも、入射瞳から等しくシフトした位置を通り、両カメラ向きが等しくなるように制御することで、第１の実施の形態と同様の座標変換部を用いて正確な測距を行うことができる。したがって、広画角、遠距離化を実現し、かつ精度の高い測距性能を有するステレオカメラおよび当該ステレオカメラを用いた物体検知システムを提供することができる。
【0049】
以上のように、回転軸は、各カメラの光軸を含む平面に直交し、かつ各光軸を通る。さらに、各回転軸が光軸と交差する点は、等しく入射瞳からの距離ΔＸで示すことができる。ΔＸの値は、ゼロでもゼロ以外の値でも適切な補正をすることで誤差を低減することが可能であるが、前者はより簡便な計算で座標変換を行うことができる。しかしながら、一般的に回転軸は、被回転体の重心と近い方が機械誤差、安定性などの観点から有利な場合もある。この点から、ΔＸの範囲は、撮像素子の撮像面からレンズの最前面までとするのが妥当であるとも言える。
【0050】
（ＩＩＩ）付記
上述の実施の形態には、例えば、以下のような内容が含まれる。
上述の実施の形態には、例えば、以下のような内容が含まれる。
【0051】
上述の実施の形態においては、本発明を列車の物体検知システムに適用するようにした場合について述べたが、本発明はこれに限らず、作業者、製造機械などの作業主体がステレオカメラにおけるカメラと回転機構とを配置する配置方法、この他種々のシステム、装置、プログラムに広く適用することができる。
【0052】
また、上述の実施の形態において、プログラムの一部またはすべては、プログラムソースから、装置にインストールされてもよい。プログラムソースは、例えば、ネットワークで接続されたプログラム配布サーバまたはコンピュータが読み取り可能な記録媒体（例えば非一時的な記録媒体）であってもよい。また、上述の説明において、２以上のプログラムが１つのプログラムとして実現されてもよいし、１つのプログラムが２以上のプログラムとして実現されてもよい。
【0053】
上述した実施の形態は、例えば、以下の特徴的な構成を有する。
【0054】
（１）
第１のカメラ（例えば、カメラ８０１）と、上記第１のカメラを回転させる第１の回転機構（例えば、回転機構８１１）と、第２のカメラ（例えば、カメラ８０２）と、上記第２のカメラを回転させる第２の回転機構（例えば、回転機構８１２）と、を含んで構成されるステレオカメラ（例えば、ステレオカメラ１３００）であって、上記第１の回転機構の第１の回転軸（例えば、回転軸９４１）と上記第２の回転機構の第２の回転軸（例えば、回転軸９４２）との各々は、上記第１のカメラの第１の光軸（例えば、光軸９３１）と上記第２のカメラの第２の光軸（例えば、光軸９３２）との双方を含む平面に直行し、上記第１の回転軸は、上記第１の光軸と交差し、上記第２の回転軸は、上記第２の光軸と交差し、上記第１の回転軸および上記第１の光軸の交点から上記第１のカメラの第１の入射瞳位置（例えば、入射瞳９２１）までの距離と、上記第２の回転軸および上記第２の光軸の交点から上記第２のカメラの第２の入射瞳位置（例えば、入射瞳９２２）までの距離とが等しい。
第１のカメラ（例えば、カメラ８０１）と、上記第１のカメラを回転させる第１の回転機構（例えば、回転機構８１１）と、第２のカメラ（例えば、カメラ８０２）と、上記第２のカメラを回転させる第２の回転機構（例えば、回転機構８１２）と、を含んで構成されるステレオカメラ（例えば、ステレオカメラ１３００）であって、上記第１の回転機構の第１の回転軸（例えば、回転軸９４１）と上記第２の回転機構の第２の回転軸（例えば、回転軸９４２）との各々は、上記第１のカメラの第１の光軸（例えば、光軸９３１）と上記第２のカメラの第２の光軸（例えば、光軸９３２）との双方を含む平面に直行し、上記第１の回転軸は、上記第１の光軸と交差し、上記第２の回転軸は、上記第２の光軸と交差し、上記第１の回転軸および上記第１の光軸の交点から上記第１のカメラの第１の入射瞳位置（例えば、入射瞳９２１）までの距離と、上記第２の回転軸および上記第２の光軸の交点から上記第２のカメラの第２の入射瞳位置（例えば、入射瞳９２２）までの距離とが等しい。
【0055】
（２）
上記第１の回転軸は、上記第１の入射瞳位置を通り、上記第２の回転軸は、上記第２の入射瞳位置を通る（例えば、図９参照）。上記構成では、回転軸が入射瞳位置を通っているので、例えば、精度よく座標変換をすることができる。
上記第１の回転軸は、上記第１の入射瞳位置を通り、上記第２の回転軸は、上記第２の入射瞳位置を通る（例えば、図９参照）。上記構成では、回転軸が入射瞳位置を通っているので、例えば、精度よく座標変換をすることができる。
【0056】
（３）
上記ステレオカメラを用いるステレオカメラシステム（例えば、物体検知システム８００）であって、上記第１の回転機構および上記第２の回転機構にコントローラ部（例えば、コントローラ部８２０）から送られる回転角情報の回転角に基づいて、上記第１のカメラの第１の画像または上記第１の画像（例えば、カメラ８０１の撮影画像）に画像処理を施した加工画像（例えば、幾何補正画像）の少なくとも１つに補正処理（例えば、座標変換）を行い、上記回転角に基づいて、上記第２のカメラの第２の画像（例えば、カメラ８０１の撮影画像）または上記第２の画像に画像処理を施した加工画像（例えば、幾何補正画像）の少なくとも１つに補正処理（例えば、座標変換）を行う補正部（例えば、座標変換部８４０）を備える。
上記ステレオカメラを用いるステレオカメラシステム（例えば、物体検知システム８００）であって、上記第１の回転機構および上記第２の回転機構にコントローラ部（例えば、コントローラ部８２０）から送られる回転角情報の回転角に基づいて、上記第１のカメラの第１の画像または上記第１の画像（例えば、カメラ８０１の撮影画像）に画像処理を施した加工画像（例えば、幾何補正画像）の少なくとも１つに補正処理（例えば、座標変換）を行い、上記回転角に基づいて、上記第２のカメラの第２の画像（例えば、カメラ８０１の撮影画像）または上記第２の画像に画像処理を施した加工画像（例えば、幾何補正画像）の少なくとも１つに補正処理（例えば、座標変換）を行う補正部（例えば、座標変換部８４０）を備える。
【0057】
（４）
上記補正部は、上記第１の画像と上記第２の画像との各々について幾何補正を行う幾何補正部（例えば、幾何補正部８３０）と、上記幾何補正部により幾何補正が行われた第１の幾何補正画像および第２の幾何補正画像の各々について、上記回転角に基づいて画素値の座標変換を行う座標変換部（例えば、座標変換部８４０）と、上記座標変換部により座標変換が行われた第１の座標変換画像と第２の座標変換画像とを比較して、画素値ごとの視差値を含む視差画像を生成する視差画像生成部（例えば、視差画像生成部８５０）と、を備える。
上記補正部は、上記第１の画像と上記第２の画像との各々について幾何補正を行う幾何補正部（例えば、幾何補正部８３０）と、上記幾何補正部により幾何補正が行われた第１の幾何補正画像および第２の幾何補正画像の各々について、上記回転角に基づいて画素値の座標変換を行う座標変換部（例えば、座標変換部８４０）と、上記座標変換部により座標変換が行われた第１の座標変換画像と第２の座標変換画像とを比較して、画素値ごとの視差値を含む視差画像を生成する視差画像生成部（例えば、視差画像生成部８５０）と、を備える。
【0058】
（５）
上記補正部は、上記第１の画像について幾何補正と上記回転角に基づく画素値の座標変換とを行い、上記第２の画像について幾何補正と上記回転角に基づく画素値の座標変換とを行う。
上記補正部は、上記第１の画像について幾何補正と上記回転角に基づく画素値の座標変換とを行い、上記第２の画像について幾何補正と上記回転角に基づく画素値の座標変換とを行う。
【0059】
（６）
上記座標変換部は、補正前の画像の各画素値をＢ（Ｕｂ，Ｖｂ）、上記補正前の画像の基準画素をＢ（Ｕｂ０，Ｖｂ０）、補正後の画像の各画素値をＡ（Ｕａ，Ｖａ）、上記補正後の画像の基準画素をＡ（Ｕａ０，Ｖａ０）、焦点距離をｆｃ、ｘ方向およびｙ方向の画素ピッチをｐｘ，ｐｙとするとき、基準角θ＝０からの回転角Δθに応じて、
Ｕａ＝ｆｃ・ｔａｎ（Δθ＋α）／ｐｘ＋Ｕａ０ ・・・（式１）
Ｖａ＝Ｖｂ－Ｖｂ０＋Ｖａ０ ・・・（式２）
α＝ａｔａｎ（（Ｕｂ－Ｕｂ０）・ｐｘ／ｆｃ） ・・・（式３）
に従って座標変換を行う（例えば、図１０参照）。
上記座標変換部は、補正前の画像の各画素値をＢ（Ｕｂ，Ｖｂ）、上記補正前の画像の基準画素をＢ（Ｕｂ０，Ｖｂ０）、補正後の画像の各画素値をＡ（Ｕａ，Ｖａ）、上記補正後の画像の基準画素をＡ（Ｕａ０，Ｖａ０）、焦点距離をｆｃ、ｘ方向およびｙ方向の画素ピッチをｐｘ，ｐｙとするとき、基準角θ＝０からの回転角Δθに応じて、
Ｕａ＝ｆｃ・ｔａｎ（Δθ＋α）／ｐｘ＋Ｕａ０ ・・・（式１）
Ｖａ＝Ｖｂ－Ｖｂ０＋Ｖａ０ ・・・（式２）
α＝ａｔａｎ（（Ｕｂ－Ｕｂ０）・ｐｘ／ｆｃ） ・・・（式３）
に従って座標変換を行う（例えば、図１０参照）。
【0060】
（７）
上記第１の光軸および上記第２の光軸が、上記第１の入射瞳位置と上記第２の入射瞳位置とを含む直線と直交する回転角が基準角として設定され、上記ステレオカメラシステムは、離散的な値の回転角を示す角度情報を、上記第１の回転機構および上記第２の回転機構に送るコントローラ部（例えば、コントローラ部８２０）を備える。
上記第１の光軸および上記第２の光軸が、上記第１の入射瞳位置と上記第２の入射瞳位置とを含む直線と直交する回転角が基準角として設定され、上記ステレオカメラシステムは、離散的な値の回転角を示す角度情報を、上記第１の回転機構および上記第２の回転機構に送るコントローラ部（例えば、コントローラ部８２０）を備える。
【0061】
（８）
上記補正部は、上記第１のカメラと上記第２のカメラとの少なくとも１つのカメラが用いられて基準角で基準の画像が取得され、上記カメラの第１の回転角で第１の画像が取得され、上記カメラの第２の回転角で第２の画像が取得される場合、上記基準の画像に基づいて上記第１の画像の補正画像に対する校正を行い、上記第１の画像の校正後の画像に基づいて上記第２の画像の補正画像に対する校正を行う（例えば、図１３参照）。
上記補正部は、上記第１のカメラと上記第２のカメラとの少なくとも１つのカメラが用いられて基準角で基準の画像が取得され、上記カメラの第１の回転角で第１の画像が取得され、上記カメラの第２の回転角で第２の画像が取得される場合、上記基準の画像に基づいて上記第１の画像の補正画像に対する校正を行い、上記第１の画像の校正後の画像に基づいて上記第２の画像の補正画像に対する校正を行う（例えば、図１３参照）。
【0062】
（９）
上記校正に用いる画像を取得する第ｎの回転角と第ｎ＋１の回転角との角度差は、半画角以下である（例えば、図１３参照）。
上記校正に用いる画像を取得する第ｎの回転角と第ｎ＋１の回転角との角度差は、半画角以下である（例えば、図１３参照）。
【0063】
（１０）
上記補正部は、上記第１の画像と上記第２の画像との重複領域を用いて、上記第２の画像の補正画像が上記第１の画像の補正画像と一致するように各画素の補正式を校正するとともに、上記第２の画像の重複領域以外の領域を重複領域の校正結果から外挿して構成する（例えば、図１３参照）。
上記補正部は、上記第１の画像と上記第２の画像との重複領域を用いて、上記第２の画像の補正画像が上記第１の画像の補正画像と一致するように各画素の補正式を校正するとともに、上記第２の画像の重複領域以外の領域を重複領域の校正結果から外挿して構成する（例えば、図１３参照）。
【0064】
（１１）
上記ステレオカメラシステムは、上記第１の回転機構および上記第２の回転機構を任意の回転角に位置付ける際、上記第１のカメラの回転および上記第２のカメラの回転を一方向に行うコントローラ部（例えば、コントローラ部８２０）を備える。
上記ステレオカメラシステムは、上記第１の回転機構および上記第２の回転機構を任意の回転角に位置付ける際、上記第１のカメラの回転および上記第２のカメラの回転を一方向に行うコントローラ部（例えば、コントローラ部８２０）を備える。
【0065】
また上述した構成については、本発明の要旨を超えない範囲において、適宜に、変更したり、組み替えたり、組み合わせたり、省略したりしてもよい。
【0066】
「Ａ、Ｂ、およびＣのうちの少なくとも１つ」という形式におけるリストに含まれる項目は、（Ａ）、（Ｂ）、（Ｃ）、（ＡおよびＢ）、（ＡおよびＣ）、（ＢおよびＣ）または（Ａ、Ｂ、およびＣ）を意味することができると理解されたい。同様に、「Ａ、Ｂ、またはＣのうちの少なくとも１つ」の形式においてリストされた項目は、（Ａ）、（Ｂ）、（Ｃ）、（ＡおよびＢ）、（ＡおよびＣ）、（ＢおよびＣ）または（Ａ、Ｂ、およびＣ）を意味することができる。
【符号の説明】
【0067】
８００……物体検知システム、８０１……カメラ、８０２……カメラ、８１１……回転機構、８１２……回転機構、９２１……入射瞳（入射瞳位置）、９２２……入射瞳（入射瞳位置）、９３１……光軸、９３２……光軸、９４１……回転軸、９４２……回転軸。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】