▶ リコーインダストリアルソリューションズ株式会社の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022143387
(43)【公開日】2022-10-03
(54)【発明の名称】撮像装置およびプログラム
(51)【国際特許分類】
H04N 5/232 20060101AFI20220926BHJP
H04N 5/225 20060101ALI20220926BHJP
G03B 15/00 20210101ALI20220926BHJP
G03B 35/08 20210101ALI20220926BHJP
G03B 19/07 20210101ALI20220926BHJP
G06T 7/593 20170101ALI20220926BHJP
G06T 1/00 20060101ALI20220926BHJP
【ＦＩ】
H04N5/232
H04N5/225 800
G03B15/00 V
G03B15/00 Q
G03B35/08
G03B19/07
G06T7/593
G06T1/00 400M
【審査請求】未請求
【請求項の数】8
【出願形態】ＯＬ
(21)【出願番号】P 2021043866
(22)【出願日】2021-03-17
(71)【出願人】
【識別番号】514274487
【氏名又は名称】リコーインダストリアルソリューションズ株式会社
(74)【代理人】
【識別番号】100089118
【弁理士】
【氏名又は名称】酒井 宏明
(72)【発明者】
【氏名】廣藤 恭也
(72)【発明者】
【氏名】野村 康紘
【テーマコード（参考）】
2H054
2H059
5B047
5C122
5L096
【Ｆターム（参考）】
2H054AA01
2H054BB05
2H054BB07
2H054BB08
2H059AA09
2H059AA12
2H059CA00
5B047AA07
5B047AA19
5B047AB02
5B047BB04
5B047BC01
5B047BC05
5B047CA05
5B047CB22
5C122DA14
5C122EA06
5C122EA67
5C122FA18
5C122FB06
5C122FC02
5C122FC12
5C122FH11
5C122FH14
5C122GD01
5C122HA13
5C122HA35
5C122HA88
5C122HB01
5C122HB02
5C122HB05
5C122HB10
5L096AA06
5L096AA09
5L096BA04
5L096BA05
5L096BA08
5L096CA05
5L096CA14
5L096DA01
5L096DA02
5L096EA03
5L096EA35
5L096FA09
(57)【要約】
【課題】画角の異なる左右の撮像部で発生する走査タイミングのずれを軽減する。
【解決手段】ローリングシャッタ方式の撮像素子を有する第１撮像部と、前記第１撮像部と解像度が異なるローリングシャッタ方式の撮像素子を有する第２撮像部と、前記第１撮像部で撮像された第１撮像画像における任意の領域と前記第２撮像部で撮像された第２撮像画像における任意の領域とにおける、前記第１撮像部と前記第２撮像部との走査完了タイミングのずれである遅延時間分だけ、前記第１撮像部と前記第２撮像部とのいずれか一方について走査開始タイミングを遅延させる遅延指示部と、を備える。
【選択図】図１１
【解決手段】ローリングシャッタ方式の撮像素子を有する第１撮像部と、前記第１撮像部と解像度が異なるローリングシャッタ方式の撮像素子を有する第２撮像部と、前記第１撮像部で撮像された第１撮像画像における任意の領域と前記第２撮像部で撮像された第２撮像画像における任意の領域とにおける、前記第１撮像部と前記第２撮像部との走査完了タイミングのずれである遅延時間分だけ、前記第１撮像部と前記第２撮像部とのいずれか一方について走査開始タイミングを遅延させる遅延指示部と、を備える。
【選択図】図１１
【特許請求の範囲】
【請求項1】
ローリングシャッタ方式の撮像素子を有する第１撮像部と、
前記第１撮像部と解像度が異なるローリングシャッタ方式の撮像素子を有する第２撮像部と、
前記第１撮像部で撮像された第１撮像画像における任意の領域と前記第２撮像部で撮像された第２撮像画像における任意の領域とにおける、前記第１撮像部と前記第２撮像部との走査完了タイミングのずれである遅延時間分だけ、前記第１撮像部と前記第２撮像部とのいずれか一方について走査開始タイミングを遅延させる遅延指示部と、
を備えることを特徴とする撮像装置。
前記第１撮像部と解像度が異なるローリングシャッタ方式の撮像素子を有する第２撮像部と、
前記第１撮像部で撮像された第１撮像画像における任意の領域と前記第２撮像部で撮像された第２撮像画像における任意の領域とにおける、前記第１撮像部と前記第２撮像部との走査完了タイミングのずれである遅延時間分だけ、前記第１撮像部と前記第２撮像部とのいずれか一方について走査開始タイミングを遅延させる遅延指示部と、
を備えることを特徴とする撮像装置。
【請求項2】
前記第１撮像画像における任意の領域と前記第２撮像画像における任意の領域とは、同一の被写体が存在する領域である、
ことを特徴とする請求項１に記載の撮像装置。
ことを特徴とする請求項１に記載の撮像装置。
【請求項3】
前記第１撮像画像における任意の領域と前記第２撮像画像における任意の領域とは、前記第１撮像画像および前記第２撮像画像上で静止物体が移動する方向が収束する消失点が存在する領域である、
ことを特徴とする請求項１に記載の撮像装置。
ことを特徴とする請求項１に記載の撮像装置。
【請求項4】
前記第１撮像画像および前記第２撮像画像上で静止物体が移動する方向が収束する消失点を検出する消失点検出部を備える、
ことを特徴とする請求項３に記載の撮像装置。
ことを特徴とする請求項３に記載の撮像装置。
【請求項5】
ローリングシャッタ方式の撮像素子を有する第１撮像部と、
前記第１撮像部と解像度が異なるローリングシャッタ方式の撮像素子を有する第２撮像部と、
を備える撮像装置を制御するコンピュータを、
前記第１撮像部で撮像された第１撮像画像における任意の領域と、前記第２撮像部で撮像された第２撮像画像における任意の領域とにおける、前記第１撮像部と前記第２撮像部との走査完了タイミングのずれである遅延時間分だけ、前記第１撮像部と前記第２撮像部とのいずれか一方について走査開始タイミングを遅延させる遅延指示手段として機能させるためのプログラム。
前記第１撮像部と解像度が異なるローリングシャッタ方式の撮像素子を有する第２撮像部と、
を備える撮像装置を制御するコンピュータを、
前記第１撮像部で撮像された第１撮像画像における任意の領域と、前記第２撮像部で撮像された第２撮像画像における任意の領域とにおける、前記第１撮像部と前記第２撮像部との走査完了タイミングのずれである遅延時間分だけ、前記第１撮像部と前記第２撮像部とのいずれか一方について走査開始タイミングを遅延させる遅延指示手段として機能させるためのプログラム。
【請求項6】
前記第１撮像画像における任意の領域と前記第２撮像画像における任意の領域とは、同一の被写体が存在する領域である、
ことを特徴とする請求項５に記載のプログラム。
ことを特徴とする請求項５に記載のプログラム。
【請求項7】
前記第１撮像画像における任意の領域と前記第２撮像画像における任意の領域とは、前記第１撮像画像および前記第２撮像画像上で静止物体が移動する方向が収束する消失点が存在する領域である、
ことを特徴とする請求項５に記載のプログラム。
ことを特徴とする請求項５に記載のプログラム。
【請求項8】
前記第１撮像画像および前記第２撮像画像上で静止物体が移動する方向が収束する消失点を検出する消失点検出手段として前記コンピュータを機能させる、
ことを特徴とする請求項７に記載のプログラム。
ことを特徴とする請求項７に記載のプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像装置およびプログラムに関する。
【背景技術】
【0002】
従来、左右に２つのカメラを並べたステレオカメラは、自動車等の車両に搭載することで、車両から対象物までの距離情報の計測に用いられている。また、ステレオカメラは、距離情報の他に、車両周辺の様々な対象物の認識に用いられている。このようなステレオカメラは、車両の運転支援時の安全性の向上に寄与するものである。
【0003】
なお、対象物の認識は、距離情報が無くとも、１つのカメラで撮像した画像だけでも行える。そこで、ステレオカメラを広角カメラと狭角カメラという画角の異なるカメラで構成することが考えられている。このようなステレオカメラによれば、広角カメラで広い範囲の物体認識を行い、狭角カメラと広角カメラの撮像範囲が重なる部分で対象物への距離測定を行うことができる。
【0004】
特許文献１には、左右画像のトリミング位置のずれ量からずれを矯正するための垂直タイミングの遅延時間を算出し、垂直タイミング調整器に対して調整を指示することにより、垂直方向のずれが空間的に０に近づくように調整する技術が開示されている。このように調整することで、左右カメラ間でずれのない良品質な立体画像を得ることができる。
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、従来のような画角の異なるカメラを搭載した車載用ステレオカメラにおいて、シャッタ方式としてローリングシャッタ方式を採用した場合、車載用ステレオカメラの左右のカメラで走査タイミングがずれてしまうという問題がある。
【0006】
より詳細には、ローリングシャッタ方式は、センサ内の画素を順に走査する方式である。このため、左右のカメラの画角（走査する画素の量）が異なる場合、同時に走査を開始しても、走査中にタイミングのずれが生じてしまう。このように走査中にタイミングのずれが生じてしまうと、同じ対象物が左右で異なるタイミングで撮像されることになり、距離情報への誤差が発生することになる。
【0007】
本発明は、上記に鑑みてなされたものであって、画角の異なる左右の撮像部で発生する走査タイミングのずれを軽減することを目的とする。
【課題を解決するための手段】
【0008】
上述した課題を解決し、目的を達成するために、本発明は、ローリングシャッタ方式の撮像素子を有する第１撮像部と、前記第１撮像部と解像度が異なるローリングシャッタ方式の撮像素子を有する第２撮像部と、前記第１撮像部で撮像された第１撮像画像における任意の領域と前記第２撮像部で撮像された第２撮像画像における任意の領域とにおける、前記第１撮像部と前記第２撮像部との走査完了タイミングのずれである遅延時間分だけ、前記第１撮像部と前記第２撮像部とのいずれか一方について走査開始タイミングを遅延させる遅延指示部と、を備えることを特徴とする。
【発明の効果】
【0009】
本発明によれば、画角の異なる左右の撮像部で発生する走査タイミングのずれを軽減することができる、という効果を奏する。
【図面の簡単な説明】
【0010】
【発明を実施するための形態】
【0011】
以下に添付図面を参照して、撮像装置およびプログラムの実施の形態を詳細に説明する。
【0012】
（第１の実施の形態）
図１は、第１の実施の形態にかかる撮像装置１０の構成を示す概要平面図、図２は、第１撮像部１および第２撮像部２の構成を示す概要平面図である。ステレオ方式の撮像装置１０は、被写体を撮像するステレオカメラとしての第１撮像部１と、第２撮像部２とを有している。
図１は、第１の実施の形態にかかる撮像装置１０の構成を示す概要平面図、図２は、第１撮像部１および第２撮像部２の構成を示す概要平面図である。ステレオ方式の撮像装置１０は、被写体を撮像するステレオカメラとしての第１撮像部１と、第２撮像部２とを有している。
【0013】
第１撮像部１と第２撮像部２は、所定の間隔としての基線長Ｂ（例えば、６０ｍｍ）を空けて配置されている。撮像装置１０は、走査タイミングを同期して、第１撮像部１及び第２撮像部２により、同一の被写体を撮像することができる。
【0014】
図２に示すように、第１撮像部１および第２撮像部２は、光学レンズ８（８ａ、８ｂ）と、撮像素子９（９ａ、９ｂ）と、を備えている。第１撮像部１および第２撮像部２は、ステー部材１２によって基線長Ｂを空けて保持された状態で一体に固定されている。
【0015】
光学レンズ８ａは、例えば、焦点距離ｆ：２．５ｍｍのレンズである。光学レンズ８ｂは、例えば、焦点距離ｆ：５ｍｍのレンズである。
【0016】
第１撮像部１は、広角カメラである。第２撮像部２は、狭角カメラである。すなわち、第１撮像部１と第２撮像部２とは、解像度を異ならせることによって画角が異なるものであり、焦点距離も異なる。
【0017】
第１撮像部１の撮像素子９ａは、ローリングシャッタ方式の高解像度のＣＭＯＳイメージセンサである。撮像素子９ａは、ピクセルピッチｐｐを３μｍとする。ローリングシャッタ方式は、センサ内の画素を順に走査する方式である。
【0018】
第２撮像部２の撮像素子９ｂは、ローリングシャッタ方式の低解像度のＣＭＯＳイメージセンサである。撮像素子９ｂは、ピクセルピッチｐｐを３μｍとする。
【0019】
次に、制御系について説明する。
【0020】
撮像装置１０は、ＣＰＵ（Central Processing Unit）などの制御装置と、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）などの記憶装置と、制御プログラムを記憶するＨＤＤなどの外部記憶装置とを備えており、通常のコンピュータを利用したハードウェア構成となっている。
【0021】
撮像装置１０のＣＰＵは、制御プログラムを実行することにより、図３に示すような記憶部３と、補正部６と、視差算出部７と、遅延指示部５と、として機能する。
【0022】
なお、本実施形態の撮像装置１０で実行される制御プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態の撮像装置１０で実行される制御プログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
【0023】
また、本実施形態の撮像装置１０で実行される制御プログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。
【0024】
【0025】
記憶部３は、撮像画像１１と、補正画像１４と、視差画像１５と、遅延時間１７と、を記憶する。
【0026】
ここで、第１撮像部１が撮像した撮像画像を「第１撮像画像」という。また、第２撮像部２が撮像した撮像画像を「第２撮像画像」という。また、第１撮像画像及び第２撮像画像を区別しない場合は、単に「撮像画像」という。撮像画像１１は、第１撮像画像又は第２撮像画像である。
【0027】
補正部６は、第１撮像画像と第２撮像画像とが見かけ上同じ焦点距離で撮像した画像となるように倍率調整とトリミングを行い、第１撮像部１（第２撮像部２）の位置ずれに起因する第１撮像画像（第２撮像画像）の座標ずれを補正する。
【0028】
上述したように、広角カメラである第１撮像部１と狭角カメラである第２撮像部２とは、解像度を異ならせることによって画角が異なるものであり、焦点距離も異なる。そのため、後述する被写体に対する距離を求めるために焦点距離を合わせる必要がある。補正部６は、焦点距離を合わせるために、倍率調整およびトリミングを行う。
【0029】
図４は、補正部６における倍率調整とトリミングの一例を示す図である。図４においては、広角カメラである第１撮像部１が撮像した撮像画像を第１撮像画像１１－１、狭角カメラである第２撮像部２が撮像した撮像画像を第２撮像画像１１－２とする。
【0030】
図４においては、第１撮像部１の焦点距離をｆ１、第２撮像部２の焦点距離をｆ２とする。倍率は焦点距離の比率で求められることが知られており、第１撮像画像１１－１に対する第２撮像画像１１－２の倍率ｍは、（ｆ２／ｆ１）となる。そこで、補正部６は、第１撮像画像１１－１をｍ倍で拡大し、第２撮像画像１１－２のサイズＸ２，Ｙ２と同じサイズＸ１’，Ｙ１’にトリミングすることで、第２撮像画像１１－２と同じ倍率と画像サイズの第１補正画像１４－１を作成する。
【0031】
本実施形態においては、上述したように、第１撮像部１の光学レンズ８ａの焦点距離ｆ１は２．５ｍｍ、第２撮像部２の光学レンズ８ｂの焦点距離ｆ２は５ｍｍである。このような場合には、倍率調整およびトリミングによって、例えば撮像した画像の焦点距離を見かけ上下記のように合わせることになる。
第１撮像部１で撮像した画像の見かけ上の焦点距離：５ｍｍ
第２撮像部２で撮像した画像の見かけ上の焦点距離：５ｍｍ
第１撮像部１で撮像した画像の見かけ上の焦点距離：５ｍｍ
第２撮像部２で撮像した画像の見かけ上の焦点距離：５ｍｍ
【0032】
視差算出部７は、補正部６により第１撮像画像を補正した第１補正画像及び第２撮像画像から視差を算出する。そして、視差算出部７は、当該視差を利用して、撮像画像１１の座標の視差の情報を含む視差画像１５を生成する。具体的な視差算出方法は、周知の平行等位ステレオカメラと同様である。
【0033】
視差算出部７は、基準となる撮像画像から抽出される特徴点周辺の画像領域と、比較される撮像画像上で１画素単位に対応候補領域をずらしながら相関を計算し、相関最大値付近での相関値を放物線などで補間することにより、画素単位以下の精度で視差を算出する。本実施の形態の視差算出部７は、精度１／１０画素以下の視差画像１５を生成する。
【0034】
ここで、第１撮像部１及び第２撮像部２による撮像装置１０における距離計測原理について説明する。
【0035】
ここで、図５は撮像装置１０の距離計測例を示す図である。図５に示すように、第１撮像部１は、光学レンズ８ａの焦点距離ｆ、光学レンズ８ａの光学中心Ｏ０、撮像素子９ａの撮像面Ｓ０とし、Ｚ軸を光軸方向とする。第２撮像部２は、光学レンズ８ｂの焦点距離ｆ、光学レンズ８ｂの光学中心Ｏ１、撮像素子９ｂの撮像面Ｓ１とし、Ｚ軸を光軸方向とする。
【0036】
第１撮像部１及び第２撮像部２は、Ｘ軸に対して平行に、基線長Ｂ（例えば、６０ｍｍ）だけ離れた位置に配置される。
【0037】
被写体Ａは、第１撮像部１の光学中心Ｏ０から光軸方向に距離ｄだけ離れた位置にあるものとする。
【0038】
第１撮像部１は、被写体Ａに対して、直線Ａ－Ｏ０と撮像面Ｓ０の交点であるＰ０に像を結ぶ。一方、第２撮像部２は、被写体Ａに対して、直線Ａ－Ｏ１と撮像面Ｓ１の交点であるＰ１に像を結ぶ。
【0039】
ここで、第２撮像部２の光学中心Ｏ１を通り、直線Ａ－Ｏ０と平行な直線と、撮像面Ｓ１との交点をＰ０’とする。また、Ｐ０’とＰ１の距離をｐとする。視差算出部７は、同じ被写体Ａの像を第１撮像部１及び第２撮像部２で撮像した画像上での位置のずれ量である距離ｐを、視差として算出する。そして、視差算出部７は、当該視差を利用して、撮像画像１１の座標の視差の情報を含む視差画像１５を生成する。
【0040】
図５に示されるように、三角形Ａ－Ｏ０－Ｏ１と、三角形Ｏ１－Ｐ０’－Ｐ１は相似である。そのため、被写体Ａまでの距離ｄは、下記式のように、基線長Ｂ、焦点距離ｆ及び視差ｐから求めることができる。
ｄ＝Ｂ×ｆ／ｐ
ｄ＝Ｂ×ｆ／ｐ
【0041】
撮像装置１０は、上述の各部（第１撮像部１、第２撮像部２、記憶部３、補正部６及び視差算出部７）により、周期的に繰り返して撮像画像の撮像、補正及び視差計算を実行し、視差画像１５を生成し続ける。
【0042】
ところで、本実施形態のように、画角（走査する画素の量）の異なる第１撮像部１及び第２撮像部２を搭載した撮像装置１０において、シャッタ方式としてローリングシャッタ方式を採用した場合、同時に走査を開始しても、第１撮像部１及び第２撮像部２で走査中にタイミングのずれが生じてしまう、という問題がある。このように走査中にタイミングのずれが生じてしまうと、同じ被写体が左右で異なるタイミングで撮像されることになり、距離情報に誤差が発生することになる。
【0043】
ここで、画角の異なる第１撮像部１及び第２撮像部２を搭載した撮像装置１０において、シャッタ方式としてローリングシャッタ方式を採用した場合、距離情報に誤差が発生する例について説明する。
【0044】
ここで、図６はＺ軸を光軸方向として配置した場合における第１撮像部１及び第２撮像部２の水平画角の一例を示す図である。図６に示すように、Ｚ軸を光軸方向として配置した場合、広角カメラである第１撮像部１の水平画角は符号１ａで表され、狭角カメラである第２撮像部２の水平画角は符号２ａで表される。
【0045】
また、図７はＺ軸を光軸方向として配置した場合における第１撮像部１及び第２撮像部２の垂直画角の一例を示す図である。図７に示すように、Ｚ軸を光軸方向として配置した場合、広角カメラである第１撮像部１の垂直画角は符号１ｂで表され、狭角カメラである第２撮像部２の垂直画角は符号２ｂで表される。
【0046】
また、図８は第１撮像部１の撮像素子９ａ及び第２撮像部２の撮像素子９ｂにおける走査タイミングの差を例示的に示す図である。図８は、広角カメラである第１撮像部１の撮像素子９ａと、狭角カメラである第２撮像部２の撮像素子９ｂとの走査タイミングを合わせた場合における、被写体Ａに対する走査タイミングの差Δｔｖを説明するものである。
【0047】
ローリングシャッタ方式の撮像素子９（９ａ、９ｂ）は、画面上から画面下にかけて、ライン毎に画像の走査を行う。図８に示すように、第１撮像部１の撮像素子９ａにおいて被写体Ａまで走査する垂直ラインをｖ１とし、第２撮像部２の撮像素子９ｂにおいて被写体Ａまで走査する垂直ラインをｖ２とする。図８に示すように、被写体Ａまで走査する垂直ライン数は、ｖ１＞ｖ２となる。
【0048】
また、図８に示すように、第１撮像部１の撮像素子９ａにおけるライン当たりの走査時間をｔｈ１とし、第２撮像部２の撮像素子９ｂにおけるライン当たりの走査時間をｔｈ２とする。したがって、第１撮像部１の撮像素子９ａにおける被写体Ａまでの走査時間ｔｖ１は（ｔｈ１×ｖ１）で表され、第２撮像部２の撮像素子９ｂにおける被写体Ａまでの走査時間ｔｖ２は（ｔｈ２×ｖ２）で表される。
【0049】
すなわち、図８に示すように、第１撮像部１の撮像素子９ａにおけるライン当たりの走査時間ｔｈ１と、第２撮像部２の撮像素子９ｂにおけるライン当たりの走査時間ｔｈ２とが異なる場合、被写体Ａの走査タイミングにおいては、下記式（１）に示すような時間差Δｔｖが生じる。
Δｔｖ＝ｔｖ１－ｔｖ２＝（ｔｈ１×ｖ１）－（ｔｈ２×ｖ２） ・・（１）
Δｔｖ＝ｔｖ１－ｔｖ２＝（ｔｈ１×ｖ１）－（ｔｈ２×ｖ２） ・・（１）
【0050】
以下においては、ｔｈ１＜ｔｈ２となる場合を例に説明する。
【0051】
図９は、被写体Ａに対する前後ラインにおける走査タイミングの差を例示的に示す図である。図９は、広角カメラである第１撮像部１の撮像素子９ａと、狭角カメラである第２撮像部２の撮像素子９ｂとの走査タイミングを合わせた場合における、被写体Ａに対する前後ラインにおける走査タイミングの差を説明するものである。図９に示すように、第１撮像部１の撮像素子９ａにおけるライン当たりの走査時間ｔｈ１と、第２撮像部２の撮像素子９ｂにおけるライン当たりの走査時間ｔｈ２とが、ｔｈ１＜ｔｈ２の関係であるため、走査を進める毎に被写体Ａの走査タイミングの時間差Δｔｖが小さくなる。
【0052】
ここで、被写体Ａに対する走査タイミングが第１撮像部１と第２撮像部２とでずれている場合に発生する問題を説明する。
【0053】
図１０は、被写体Ａに対する走査タイミングが第１撮像部１と第２撮像部２とでずれている場合について示す図である。図１０は、第１撮像部１の撮像面Ｓ’０、第２撮像部２の撮像面Ｓ’１として、第１撮像部１が被写体Ａを撮像後、時間Δｔｈの間に、被写体Ａが左方向に距離ｇの移動をした場合、第２撮像部２は移動後の被写体Ａ２を撮像することを示している。そして、図１０に示すように、結果として、視差が大きくなり、実際の被写体Ａの距離より近い、被写体Ａ’の位置の距離ｄ’が求められる。
【0054】
なお、上述したように、焦点距離を合わせるトリミングを行った後の光学レンズ８（８ａ、８ｂ）の見かけ上の焦点距離ｆを５ｍｍ、第１撮像部１と第２撮像部２の間隔である基線長Ｂを６０ｍｍ、ピクセルピッチｐｐを３μｍとする。
【0055】
また、第１撮像部１の１ライン当たりの走査時間ｔｈ１を２０μｓ、被写体Ａまで走査するライン数ｔｖ１を４８０、第２撮像部２の１ライン当たりの走査時間ｔｈ２を５０μｓ、被写体Ａまで走査するライン数ｔｖ２を２４０とする。
【0056】
被写体Ａにおける走査タイミングの差Δｔｖは、上記式（１）から－２．４ｍｓとなる。
【0057】
ここで、被写体Ａまでの距離ｄを３０ｍ、被写体Ａが速度６０ｋｍ／ｈで左に移動している場合を想定する。
【0058】
第１撮像部１が被写体Ａを走査後、第２撮像部２が被写体Ａを撮像するまでの２．４ｍｓの間に、被写体Ａが移動する距離ｇは、
ｇ＝６０ｋｍ／ｈ×２．４ｍｓ＝０．０４ｍ
となる。
ｇ＝６０ｋｍ／ｈ×２．４ｍｓ＝０．０４ｍ
となる。
【0059】
ここで、距離ｇだけ移動したことによる視差の増分をＧとする。また、三角形Ａ－Ａ２－Ｏ１と三角形Ｏ１－Ｐ１－Ｐ１’は相似である。そのため、視差の増分Ｇは、下記式により、約２．２画素となる。
Ｇ＝（（（ｆ×ｇ）／ｄ））／ｐｐ
Ｇ＝（（（ｆ×ｇ）／ｄ））／ｐｐ
【0060】
ところで、本来の被写体Ａへの距離３０ｍに対する視差値ｐは、三角形Ａ－Ｏ０－Ｏ１と、三角形Ｏ１－Ｐ０’－Ｐ１が相似である関係から、Ｐ＝（（Ｂ×ｆ）／ｄ）／ｐｐとして、約３．３画素である。このため、視差値ｐ’は、約５．５画素となる。
【0061】
ここで、図１０に示すように、三角形Ａ’－Ｏ０－Ｏ１と、三角形Ｏ１－Ｐ０’－Ｐ１は相似である。そのため、ｄ’＝Ｂ×ｆ／（ｐ’×ｐｐ）であり、被写体Ａ’への距離ｄ’は約１８ｍとなる。
【0062】
つまり、撮像装置１０は、実際には距離３０ｍに存在している被写体Ａを、１８ｍの距離にあるように計測する。自車両が走行しており制動距離が仮に２０ｍであった場合において、撮像装置１０を設けた自動車の物体検出装置は、この結果のみから制動距離以内に物体が存在するため衝突すると予測する。すなわち、制御システムは、緊急制動又は回避等の操作が必要と判断してしまう可能性がある。
【0063】
しかしながら、通常、自動車の物体検出装置では、制御開始には複数回の衝突判定を必要とする等のマージンを設けている。そのため、上記の状況では必ずしも誤制御が発生するとは限らないが、ステレオカメラモジュール単体での信頼性が高い方が望ましいのは当然である。このように、広角カメラである第１撮像部１と狭角カメラである第２撮像部２との組み合わせによって、被写体が見かけ上、移動しているように見えてしまう問題が起こりうる。
【0064】
そこで、本実施形態においては、撮像装置１０は、走査タイミング調整を行うようにする。具体的には、図３に示すように、撮像装置１０は、遅延指示部５を備える。また、図３に示すように、撮像装置１０は、記憶部３に遅延時間１７を記憶する。
【0065】
遅延指示部５は、詳細は後述するが、記憶部３から遅延時間１７を読み出し、第１撮像部１および第２撮像部２の走査開始タイミングの遅延を撮像装置１０に指示する。
【0066】
ここで、図１１は第１撮像部１と第２撮像部２とでの被写体Ａに対する走査タイミングの差をゼロに近づける場合について示す図である。図１１においては、広角カメラである第１撮像部１の撮像素子９ａと狭角カメラである第２撮像部２の撮像素子９ｂで、被写体Ａにおける走査タイミングの差をゼロに近づけた場合の、走査開始タイミングの遅延時間Δｔｖを説明する。
【0067】
図８に示されるように、同じ走査タイミングで走査を開始した場合、被写体Ａを走査するまでの時間は、第１撮像部１の撮像素子９ａでは、
ｔｖ１＝ｔｈ１×ｖ１
第２撮像部２の撮像素子９ｂでは、
ｔｖ２＝ｔｈ２×ｖ２
となる。そして、第１撮像部１と第２撮像部２とでの被写体Ａに対する走査タイミングのずれΔｔｖは、
Δｔｖ＝ｔｖ１－ｔｖ２＝（ｔｈ１×ｖ１）－（ｔｈ２×ｖ２）
であることが分かる。
ｔｖ１＝ｔｈ１×ｖ１
第２撮像部２の撮像素子９ｂでは、
ｔｖ２＝ｔｈ２×ｖ２
となる。そして、第１撮像部１と第２撮像部２とでの被写体Ａに対する走査タイミングのずれΔｔｖは、
Δｔｖ＝ｔｖ１－ｔｖ２＝（ｔｈ１×ｖ１）－（ｔｈ２×ｖ２）
であることが分かる。
【0068】
したがって、図１１に示されるように、第１撮像部１の撮像素子９ａと第２撮像部２の撮像素子９ｂの走査開始タイミングをΔｔｖ分ずらすことで、被写体Ａの走査タイミングずれを軽減することができる。
【0069】
すなわち、撮像装置１０は、遅延時間１７として、第１撮像部１と第２撮像部２とでの被写体Ａに対する走査タイミングのずれΔｔｖを記憶部３に記憶する。
【0070】
そして、撮像装置１０の遅延指示部５は、記憶部３から遅延時間１７を読み出し、第１撮像部１および第２撮像部２の走査タイミングの遅延を指示する。
【0071】
図１２は、走査タイミングを遅延させた例を示す図である。図１２に示すように、撮像装置１０の遅延指示部５は、記憶部３から読み出した遅延時間１７である走査タイミングのずれΔｔｖに基づき、広角カメラである第１撮像部１の撮像素子９ａの走査タイミングと、狭角カメラの第２撮像部２の撮像素子９ｂの走査タイミングとの差がゼロに近づくように遅延させる。
【0072】
図１２に示す例によれば、第１撮像部１の撮像素子９ａにおけるライン当たりの走査時間ｔｈ１と、第２撮像部２の撮像素子９ｂにおけるライン当たりの走査時間ｔｈ２とが、ｔｈ１＜ｔｈ２の関係であるため、走査を進める毎に走査タイミングの差が大きくなる。しかしながら、図１２に示す例によれば、図９に示した例と比較して、被写体Ａの前後のラインの走査タイミングずれが軽減している。
【0073】
このように本実施形態によれば、解像度が異なる撮像素子を持つ広角カメラ（第１撮像部１）および狭角カメラ（第２撮像部２）の走査開始タイミングに際して、予め、左右の撮像素子の走査完了タイミングの差から、一方の撮像素子を走査完了タイミングのずれ時間分遅延させ、任意の領域（同一の被写体が存在する領域）で左右の撮像素子の走査するタイミングが同一となるように、撮像素子の走査開始トリガを変更する。これにより、画角の異なる左右の撮像部で発生する走査タイミングのずれを軽減することができる。
【0074】
なお、上記説明では、被写体Ａの場合を例にして説明したが、走査タイミングずれを軽減する対象を任意の領域に合わせてもよいことはいうまでもない。
【0075】
また、上記説明では、ｔｈ１＜ｔｈ２となる場合を例に説明したが、ｔｈ１＞ｔｈ２となる場合でも被写体Ａの走査タイミングにΔｔｖの時間差が生じ、第１撮像部１の撮像素子９ａと第２撮像部２の撮像素子９ｂの走査開始タイミングをΔｔｖ分ずらすことで、被写体Ａを走査タイミングのずれを軽減することができる。
【0076】
（第２の実施の形態）
次に、第２の実施形態について説明する。第１の実施形態では、撮像画像における任意の領域として同一の被写体が存在する領域を適用するようにしたが、第２の実施形態では、撮像画像における任意の領域として撮像画像上で静止物体が移動する方向が収束する消失点が存在する領域を適用する点が、第１の実施形態と異なる。以下、第２の実施形態の説明では、第１の実施形態と同一部分の説明については省略し、第１の実施形態と異なる箇所について説明する。
次に、第２の実施形態について説明する。第１の実施形態では、撮像画像における任意の領域として同一の被写体が存在する領域を適用するようにしたが、第２の実施形態では、撮像画像における任意の領域として撮像画像上で静止物体が移動する方向が収束する消失点が存在する領域を適用する点が、第１の実施形態と異なる。以下、第２の実施形態の説明では、第１の実施形態と同一部分の説明については省略し、第１の実施形態と異なる箇所について説明する。
【0077】
図１３は、第２の実施の形態にかかる撮像装置１０の制御系のハードウェア構成を示すブロック図である。図１３に示すように、撮像装置１０は、図３に示した撮像装置１０に対して、消失点の検出などを行う消失点検出部４をさらに備える。
【0078】
ここで、消失点について説明する。
【0079】
図１４は、消失点を例示的に示す図である。図１４に示す例は、広角カメラである第１撮像部１と狭角カメラである第２撮像部２とについて、光軸方向をＺ軸に対して俯角を付けて配置した場合を示すものである。この場合、広角カメラである第１撮像部１の垂直画角は符号１ｃで表され、狭角カメラである第２撮像部２の垂直画角は符号２ｃで表される。
【0080】
トラックなど車高の高い車両ではカメラ取付位置が高くなり、近方側の路面の映り込みが減ることから、図１４に示すように、俯角を付けることで路面が映り込むようにすることが考えられる。
【0081】
通常、車輌制御システムでの衝突判定は、進行方向の物体に対して行う。このため、図１４に示すように、撮像装置１０の進行方向Ｄ上に映る被写体Ａに対して、走査タイミングを合わせることが重要になる。
【0082】
図１４に示すように、撮像装置１０の進行方向Ｄ上に映る被写体Ａは、撮像画像上で静止物体が移動する方向が収束する消失点と同じ位置に映ることになる。そのため、撮像装置１０は、撮像画像上の消失点に走査タイミングを合わせるようにすればよい。
【0083】
消失点検出部４は、第１撮像部１が撮像した第１撮像画像１１－１と、第２撮像部２が撮像した第２撮像画像１１－２を読み出し、消失点を検出する。撮像画像からの消失点検出方法は、例えば、下記の文献に記載のような手法が知られている。
文献：山本宗・金子邦彦（2011）. 移動カメラ画像データベースからの消失点軌跡推定処理のMapReduceによる並列化,3-4.https://db-event.jpn.org/deim2011/proceedings/pdf/e9-2.pdf
文献：山本宗・金子邦彦（2011）. 移動カメラ画像データベースからの消失点軌跡推定処理のMapReduceによる並列化,3-4.https://db-event.jpn.org/deim2011/proceedings/pdf/e9-2.pdf
【0084】
そして、消失点検出部４は、第１撮像部１、第２撮像部２の撮像画像上の消失点における走査タイミングが一致する遅延時間を、記憶部３に対して遅延時間１７として書き込む。
【0085】
なお、上記説明では、撮像画像上の消失点を使用して車両進行方向を検出することを説明したが、これに限るものではなく、撮像画像上の消失点以外を使用して車両進行方向を検出するようにしてもよい。
【0086】
次に、消失点検出部４が消失点から遅延時間反映を行う処理について詳述する。
【0087】
図１５は、消失点から遅延時間反映を行う処理の流れを示すフローチャートである。図１５に示すように、消失点検出部４は、第１撮像部１が撮像した第１撮像画像１１－１を読み出し、消失点Ｆ１を検出する（ステップＳ１）。
【0088】
次に、消失点検出部４は、第２撮像部２が撮像した第２撮像画像１１－２を読み出し、消失点Ｆ２を検出する（ステップＳ２）。
【0089】
なお、第１撮像部１の消失点Ｆ１の検出と、第２撮像部２の消失点Ｆ２の検出とは、並列に処理してもよい。
【0090】
次に、消失点検出部４は、消失点Ｆ１の垂直ライン数ｖ１、消失点Ｆ２の垂直ライン数ｖ２から、走査タイミングの遅延時間Δｔｖを算出する（ステップＳ３）。
Δｔｖ＝ｔｖ１－ｔｖ２＝（ｔｈ１×ｖ１）－（ｔｈ２×ｖ２）
Δｔｖ＝ｔｖ１－ｔｖ２＝（ｔｈ１×ｖ１）－（ｔｈ２×ｖ２）
【0091】
そして、消失点検出部４は、走査タイミングの遅延時間Δｔｖを記憶部３に対して遅延時間１７として書き込む（ステップＳ４）。
【0092】
このように本実施形態によれば、解像度が異なる撮像素子を持つ広角カメラ（第１撮像部１）および狭角カメラ（第２撮像部２）の走査開始タイミングに際して、予め、左右の撮像素子の走査完了タイミングの差から、一方の撮像素子を走査完了タイミングのずれ時間分遅延させ、任意の領域（静止物体が移動する方向が収束する消失点が存在する領域）で左右の撮像素子の走査するタイミングが同一となるように、撮像素子の走査開始トリガを変更する。これにより、画角の異なる左右の撮像部で発生する走査タイミングのずれを軽減することができる。
【0093】
（実施例）
（自動車への適用例）
次に、上記各実施形態の撮像装置１０は、ロボット装置、自動車、飛行体又は船舶等の移動体に設けることができる。以下、移動体に対して撮像装置１０を適用した適用例を説明する。
（自動車への適用例）
次に、上記各実施形態の撮像装置１０は、ロボット装置、自動車、飛行体又は船舶等の移動体に設けることができる。以下、移動体に対して撮像装置１０を適用した適用例を説明する。
【0094】
まず、図１６は、自動車の物体検出装置に対して実施の形態の撮像装置１０を設けた例を示す図である。この図１６に示すように、撮像装置１０を備えた物体検出装置は、自動車のフロントガラス等に設けられ、進行方向前側の所定の撮像範囲の歩行者、道路標識、路面、先行車両、ガードレール等を撮像する。撮像装置１０は、上述のようにステレオカメラの構成を有しており、左目視界と右目視界の２つの画像を撮像する。
【0095】
図１７は、物体検出装置の概略的な構成を示す図である。物体検出装置は、撮像装置１０で撮像した２つの画像を車両ＥＣＵ（Engine Control Unit）５０に対して出力する。車両ＥＣＵ５０は、撮像装置１０からの各画像に基づいて視差画像を解析し、この解析結果に基づいて、例えば自動車のエンジン制御、制動制御、及び走行レーンキープアシスト、操舵アシスト等の制御を行う。
【0096】
図１８は、物体検出装置の構成を示す図である。この図１８に示すように、第１撮像部１および第２撮像部２を備えた撮像装置１０は、画像処理装置３０に接続される。第１撮像部１および第２撮像部２は、それぞれレンズ８ａ，８ｂ、撮像素子９ａ，９ｂ、及びセンサコントローラ２３ａ，２３ｂを備えている。センサコントローラ２３は、各撮像素子９ａ，９ｂの例えば露光制御、画像読み出し制御、外部回路との通信、及び画像データの送信制御等を行う。
【0097】
画像処理装置３０は、例えば図１７に示した車両ＥＣＵ５０内に設けられる。画像処理装置３０は、例えばデータバスライン３００、シリアルバスライン３０２、ＣＰＵ（Central Processing Unit）３０４、ＦＰＧＡ（Field-Programmable Gate Array）３０６、ＲＯＭ（Read Only Memory）３０８、ＲＡＭ（Random Access Memory）３１０、シリアルＩＦ（Interface）３１２、及びデータＩＦ（Interface）３１４を有する。
【0098】
撮像装置１０は、データバスライン３００及びシリアルバスライン３０２を介して画像処理装置３０と接続されている。ＣＰＵ３０４は、画像処理装置３０全体の動作を制御し、画像処理及び画像認識処理を実行する。第１撮像部１および第２撮像部２それぞれの撮像素子９ａ，９ｂで撮像された撮像画像は、データバスライン３００を介して画像処理装置３０のＲＡＭ３１０に書き込まれる。ＣＰＵ３０４又はＦＰＧＡ３０６からのセンサ露光値の変更制御データ、画像読み出しパラメータの変更制御データ、及び各種設定データ等は、シリアルバスライン３０２を介して送受信される。
【0099】
ＦＰＧＡ３０６は、ＲＡＭ３１０に保存された画像データに対してリアルタイム性が要求される処理である、例えばガンマ補正、ゆがみ補正（左右画像の平行化）、ブロックマッチングによる視差演算を行って上述の視差画像を生成し、ＲＡＭ３１０に再度書き込む。なお、視差画像は、物体の縦方向位置、横方向位置、及び、奥行方向位置が対応付けられた情報となっている。
【0100】
ＣＰＵ３０４は、撮像装置１０の各センサコントローラ２３ａ，２３ｂの制御、及び画像処理装置３０の全体的な制御を行う。ＣＰＵ３０４は、データＩＦ３１４を介して、例えば自車両のＣＡＮ（Controller Area Network）情報をパラメータ（車速、加速度、舵角、ヨーレート等）として取得する。
【0101】
先行車両、人間、ガードレール、路面等の物体の認識データである車両制御データは、シリアルＩＦ３１２を介して、車両ＥＣＵ５０に供給され、車両ＥＣＵ５０の制御機能として設けられた例えば自動ブレーキシステム又は走行アシストシステム等で用いられる。自動ブレーキシステムは、自動車のブレーキ制御を行う。また、走行アシストシステムは、自動車の走行レーンキープアシスト及び操舵アシスト等を行う。
【0102】
（飛行体への適用例）
次に、図１９及び図２０は、飛行体に対する実施の形態の撮像装置１０の設置例を示す図である。図１９は、実施の形態の撮像装置が設けられた飛行体の上面図を、図２０は、実施の形態の撮像装置が設けられた飛行体の正面図を示している。この図１９及び図２０に示すように、飛行体は、フレーム１０１、駆動装置１０２、回転翼１０３及び脚部１０４を有する遠隔操作可能な飛行体である。また、飛行体は、被写体となる対象物の静止画像又は動画像を撮像する撮像装置１０を有する。
次に、図１９及び図２０は、飛行体に対する実施の形態の撮像装置１０の設置例を示す図である。図１９は、実施の形態の撮像装置が設けられた飛行体の上面図を、図２０は、実施の形態の撮像装置が設けられた飛行体の正面図を示している。この図１９及び図２０に示すように、飛行体は、フレーム１０１、駆動装置１０２、回転翼１０３及び脚部１０４を有する遠隔操作可能な飛行体である。また、飛行体は、被写体となる対象物の静止画像又は動画像を撮像する撮像装置１０を有する。
【0103】
フレーム１０１は、例えば図１９に示すように、ウエブ部１０１ａと、ウエブ部１０１ａの両端部に配置されたフランジ部１０１ｂとが平面視においてＨ型の形状となるように配置されている。なお、フレーム１０１の形状はこの限りではない。例えば、フレーム１０１は、飛行体の中心から放射状に伸び、互いに直角をなすようにＸ字状に設けられた４本のアームを有する構成としてよい。また、フレーム１０１は、駆動装置１０２と回転翼１０３の数だけ中心から放射状にアームが伸びた構造等でもよい。
【0104】
駆動装置１０２は、回転翼１０３を回転させるモータである。一例として、駆動装置１０２としては、ブラシレスモータを用いることができる。駆動装置１０２は、２本のフランジ部１０１ｂの先端部にそれぞれ取り付けられ、回転翼１０３の回転軸と連結されている。各駆動装置１０２は、制御装置１００により、互いに独立して制御される。
【0105】
回転翼１０３は、各駆動装置１０２にそれぞれに取り付けられており、駆動装置１０２が駆動されることで回転する。回転翼１０３は、各駆動装置１０２の駆動が独立して制御されることで、その回転速度が調整される。なお、図１９には、飛行体は、４つの回転翼１０３を有することとして図示したが、回転翼１０３は、３つ以上であれば飛行体として安定した飛行が可能である。さらには、回転翼１０３は、４つ、６つ、８つのような偶数分設けることが好ましい。また、回転翼１０３は、図１９及び図２０に示すように、略同一平面上に複数の回転翼１０３を配置した形態に限定されるものではなく、略同一平面上に配置された複数の回転翼１０３が多段に積層される形態でもよい。
【0106】
脚部１０４は、フレーム１０１の略中央位置の下面と連結されている。脚部１０４は、下側部が逆Ｖ字形状に形成されており、飛行体が地面に着陸した際の衝撃等から飛行体を保護する。
【0107】
制御装置１００は、例えばフレーム１０１のウエブ部１０１ａ内に設けられている。制御装置１００は、目的に応じて飛行体に設けられた各種センサからの信号、及び、外部から送信される操作信号に応じて各駆動装置１０２等を制御する。
【0108】
また、制御装置１００は、各駆動装置１０２の駆動を独立して制御することで各回転翼１０３の回転速度を独立に制御し、飛行体の上昇、下降、前進、後退の他、ヨー軸（Ｚ軸）周りの回転、及び、空中へ移動してホバリング（停止飛行）等の動作を制御する。また、制御装置１００は、飛行体の姿勢を左右に傾けることで、前進及び後退と同様に飛行体を左右方向に移動制御する。
【0109】
撮像装置１０は、フレーム１０１のウエブ部１０１ａを介して伝達される振動を吸収するスペーサを介してウエブ部１０１ａ上に設けられている。これにより、フレーム１０１及びウエブ部１０１ａの振動が、構造物との間の距離の測定に与える影響を軽減することができる。また、後述するが、撮像装置１０の支持部材（筐体）は、繊維の方向を調整した炭素繊維強化プラスチック部材（ＣＦＲＰ：Carbon Fiber Reinforced Plastic）で形成されている。
【0110】
これにより、撮像装置１０は、風及び接触等の直接的な外的要因で加わる、例えば撓み、ねじれ、伸び等の外的負荷の影響を軽減するようになっている。このため、撮像装置１０は、上述のスペーサ及び繊維の方向を調整したＣＦＲＰにより、測定対象（物体）を高精度で測定可能となっている。
【0111】
このような撮像装置１０は、飛行体の周囲を撮像する。一例として、撮像装置１０は、撮像素子９を備えた、いわゆるステレオカメラ装置となっている。撮像装置１０は、フレーム１０１のウエブ部１０１ａに固定されている。撮像装置１０は、飛行体が地面と平行となる水平飛行時に光軸が水平になるように、ウエブ部１０１ａに設けられている。また、撮像装置１０は、撮像方向が、飛行体の前進方向に一致するように、ウエブ部１０１ａに設けられている。
【0112】
なお、撮像装置１０を複数設けることで、飛行体の周囲の全天球（３６０°）パノラマ画像を撮像可能としてもよい（全天球カメラ装置）。
【0113】
このように実施の形態の撮像装置１０は、自動車、飛行体等の移動体に設けることができる。また、工業用のロボット等にも適用可能である。いずれの場合も、上述と同様の効果を得ることができる。
【0114】
このような新規な実施の形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことも可能である。実施の形態及び実施の形態の変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【0115】
１ 第１撮像部
２ 第２撮像部
４ 消失点検出部
５ 遅延指示部
１０ 撮像装置
２ 第２撮像部
４ 消失点検出部
５ 遅延指示部
１０ 撮像装置
【先行技術文献】
【特許文献】
【0116】
【特許文献1】特許第５６８３０２５号公報
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】