特許 6161704 撮影装置、車両および画像補正方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6161704

(24)【登録日】2017年6月23日

(45)【発行日】2017年7月12日

(54)【発明の名称】撮影装置、車両および画像補正方法

(51)【国際特許分類】

   G01C 3/00 20060101AFI20170703BHJP

   G01C 3/06 20060101ALI20170703BHJP

   G01B 11/00 20060101ALI20170703BHJP

   H04N 5/225 20060101ALI20170703BHJP

   G05D 1/02 20060101ALI20170703BHJP

【ＦＩ】

   G01C3/00 120

   G01C3/06 110V

   G01B11/00 H

   H04N5/225

   G05D1/02

【請求項の数】11

【全頁数】27

(21)【出願番号】特願2015-532236(P2015-532236)

(86)(22)【出願日】2015年2月9日

(86)【国際出願番号】JP2015053563

(87)【国際公開番号】WO2015122389

(87)【国際公開日】20150820

【審査請求日】2015年6月30日

(31)【優先権主張番号】特願2014-24466(P2014-24466)

(32)【優先日】2014年2月12日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】000010076

【氏名又は名称】ヤマハ発動機株式会社

(74)【代理人】

【識別番号】100093056

【弁理士】

【氏名又は名称】杉谷 勉

(74)【代理人】

【識別番号】100142930

【弁理士】

【氏名又は名称】戸高 弘幸

(74)【代理人】

【識別番号】100175020

【弁理士】

【氏名又は名称】杉谷 知彦

(74)【代理人】

【識別番号】100180596

【弁理士】

【氏名又は名称】栗原 要

(72)【発明者】

【氏名】難波 直樹

【審査官】 ▲うし▼田 真悟

(56)【参考文献】

【文献】 特開２０１３−１８７５６４（ＪＰ，Ａ）

【文献】 特開２００１−２７２２１０（ＪＰ，Ａ）

【文献】 特開２０１３−１９０２８１（ＪＰ，Ａ）

【文献】 特開２００７−２５６０３０（ＪＰ，Ａ）

【文献】 特開２００８−３０４２４８（ＪＰ，Ａ）

【文献】 特開平１０−３４１４５８（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０１Ｃ ３／００− ３／０６

Ｇ０１Ｂ １１／００−１１／３０

Ｈ０４Ｎ ５／２２２−５／２５７

(57)【特許請求の範囲】

【請求項1】

撮影装置であって、
前記撮影装置は、
一対の画像センサと、
少なくともいずれかの前記画像センサによって撮影された画像を前記画像の横方向に横シフト量だけ平行移動させる画像補正部と、
前記画像センサのそれぞれが、第１マーカから光軸方向に離れている距離と第２マーカから光軸方向に離れている距離とが略等しい位置で、第１マーカおよび第２マーカを撮影した画像をそれぞれ調整用画像として、前記調整用画像に基づいて前記横シフト量を調整する横シフト量調整部と、
を備え、
前記横シフト量調整部は、
前記調整用画像の両方に基づいて前記第１マーカおよび前記第２マーカの少なくともいずれかに関する視差を計測し、視差の計測値を取得する測定部と、
前記第１マーカと前記第２マーカとの間の間隔と、前記調整用画像のいずれか一方とに基づいて、前記第１マーカおよび前記第２マーカに関する視差の理論値を算出する理論値計算部と、
前記視差の計測値と前記視差の理論値とに基づいて横方向調整量を算出する横方向調整量計算部と、
前記横方向調整量を用いて前記横シフト量を変更する横シフト量変更部と、
を備え、
前記調整用画像の少なくとも一方は、前記画像補正部による処理が行われた画像であり、
前記横シフト量変更部は、前記画像補正部によって使用された前記横シフト量に、前記横方向調整量を加減算し、
前記撮影装置は、さらに、前記横シフト量変更部によって横シフト量が変更された場合、変更後の横シフト量を使用して、前記画像補正部による処理が行われた前記調整用画像の元となる画像を再び補正する画像再補正部を備え、
前記理論値計算部は、前記第１マーカと前記第２マーカとの間の前記間隔と、いずれかの前記調整用画像に関連する光学中心、その調整用画像上における前記第１マーカの投影点、および、その調整用画像上における前記第２マーカの投影点を頂点とする三角形の内角とに基づいて、前記第１マーカ及び前記第２マーカと前記画像センサとの間の光軸方向における距離を計算し、前記距離に基づいて前記視差の理論値を算出する撮影装置。

【請求項2】

請求項１に記載の撮影装置において、
前記理論値計算部は、前記画像センサと前記第１マーカおよび前記第２マーカとの位置関係とに基づいて、前記第１マーカ及び前記第２マーカと前記画像センサとの間の光軸方向における距離を計算し、前記距離に基づいて前記視差の理論値を算出する撮影装置。

【請求項3】

請求項１または２に記載の撮影装置において、
前記横方向調整量計算部は、前記視差の計測値と前記視差の理論値との差が小さくなるように、前記横方向調整量を決定する撮影装置。

【請求項4】

請求項１から３のいずれかに記載の撮影装置において、
前記撮影装置は、さらに、画像上における前記第１マーカの投影点および前記第２マーカの投影点に基づいて、前記画像センサのそれぞれから得られた画像が調整用画像であるか否かを判定する調整用画像特定部を備えている撮影装置。

【請求項5】

請求項１から４のいずれかに記載の撮影装置において、
前記第１マーカと前記第２マーカとは、略同じ高さ位置に配置されている撮影装置。

【請求項6】

請求項１から５のいずれかに記載の撮影装置において、
前記画像補正部は、さらに、少なくともいずれかの前記画像センサによって撮影された画像を前記画像の縦方向に縦シフト量だけ平行移動させ、
前記撮影装置は、さらに、前記調整用画像に基づいて前記縦シフト量を調整する縦シフト量調整部を備える撮影装置。

【請求項7】

請求項１から６のいずれかに記載の撮影装置において、
前記画像補正部は、さらに、少なくともいずれかの前記画像センサによって撮影された画像を回転量だけ回転させ、
前記撮影装置は、さらに、前記調整用画像に基づいて前記回転量を調整する回転量調整部を備える撮影装置。

【請求項8】

車両であって、
前記車両は撮影装置を備え、
前記撮影装置は、
一対の画像センサと、
少なくともいずれかの前記画像センサによって撮影された画像を前記画像の横方向に横シフト量だけ平行移動させる画像補正部と、
前記画像センサのそれぞれが、第１マーカから光軸方向に離れている距離と第２マーカから光軸方向に離れている距離とが略等しい位置で、第１マーカおよび第２マーカを撮影した画像をそれぞれ調整用画像として、前記調整用画像に基づいて前記横シフト量を調整する横シフト量調整部と、
を備え、
前記横シフト量調整部は、
前記調整用画像の両方に基づいて前記第１マーカおよび前記第２マーカの少なくともいずれかに関する視差を計測し、視差の計測値を取得する測定部と、
前記第１マーカと前記第２マーカとの間の間隔と、前記調整用画像のいずれか一方とに基づいて、前記第１マーカおよび前記第２マーカに関する視差の理論値を算出する理論値計算部と、
前記視差の計測値と前記視差の理論値とに基づいて横方向調整量を算出する横方向調整量計算部と、
前記横方向調整量を用いて前記横シフト量を変更する横シフト量変更部と、
を備え、
前記第１マーカおよび前記第２マーカは車両の外部に設置されており、
前記第１マーカおよび前記第２マーカは走路を挟むように配置されており、
前記車両が前記走路を走行するとき、前記画像センサはそれぞれ、前記第１マーカおよび前記第２マーカを撮影する車両。

【請求項9】

請求項８に記載の車両において、
前記走路は予め決められており、
前記車両は前記走路を自律走行する車両。

【請求項10】

車両が走行しているときに、車両に搭載されている複数の画像センサが、車両の外部に設置されているマーカ群を撮影する過程と、
前記画像センサの少なくともいずれかから得られた画像を補正する過程と、
前記画像センサから得られ、マーカ群が投影されている画像を調整用画像として、前記調整用画像に基づいて前記画像を補正する過程で使用される補正パラメータを調整する過程と、
を備え、
前記マーカ群は第１マーカと第２マーカを含み、
前記第１マーカおよび前記第２マーカは直線的な走路を挟むように配置され、
前記補正パラメータは横シフト量であり、
前記画像を補正する過程は、前記画像を前記画像の横方向に前記横シフト量だけ平行移動させ、
前記第１マーカと前記第２マーカは互いに間隔をあけて配置され、
前記撮影する過程を実行するとき、前記画像センサと第１マーカとの間の光軸方向における距離と、前記画像センサと第２マーカとの間の光軸方向における距離とは略等しく、
前記補正パラメータを調整する過程は、
前記調整用画像の両方に基づいて前記第１マーカおよび前記第２マーカの少なくともいずれかに関する視差を計測し、視差の計測値を取得する過程と、
前記第１マーカと前記第２マーカとの間の前記間隔と、前記調整用画像のいずれか一方とに基づいて前記第１マーカおよび前記第２マーカに関する視差の理論値を算出する過程と、
前記視差の計測値と前記視差の理論値とに基づいて横方向調整量を算出する過程と、
前記横方向調整量を用いて前記横シフト量を変更する過程と、
を備えている画像補正方法。

【請求項11】

車両が走行しているときに、車両に搭載されている複数の画像センサが、車両の外部に設置されているマーカ群を撮影する過程と、
前記画像センサの少なくともいずれかから得られた画像を補正する過程と、
前記画像センサから得られ、マーカ群が投影されている画像を調整用画像として、前記調整用画像に基づいて前記画像を補正する過程で使用される補正パラメータを調整する過程と、
を備え、
前記マーカ群は第１マーカと第２マーカを含み、
前記第１マーカおよび前記第２マーカは直線的な走路を挟むように配置され、
前記複数の画像センサはステレオカメラを構成し、
前記補正パラメータは横シフト量であり、
前記画像を補正する過程は、前記画像を前記画像の横方向に前記横シフト量だけ平行移動させる画像補正方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮影装置、車両および画像補正方法に関する。

【背景技術】

【0002】

ステレオカメラは、複数のカメラを備える。各カメラは、所定の位置に所定の姿勢で設置される。各カメラは、ステレオ視による撮影を行う。各カメラから得られた画像は、画像処理部によって処理される。例えば、画像処理部は、カメラの内部パラメータおよび外部パラメータを用いて、画像の奥行き方向における情報を計算する。カメラの外部パラメータは、カメラの位置および姿勢によって規定される。

【0003】

ここで、カメラの位置および姿勢がずれることを適宜に「位置ずれ」という。位置ずれは、種々の原因によって起こる。例えば、カメラが衝撃や振動を受けると、位置ずれが起こり得る。「位置ずれ」が起こると、カメラの実際の位置および実際の姿勢が、外部パラメータが規定する位置および姿勢から乖離する。その結果、奥行き方向における情報に含まれる誤差が増大し、奥行き方向における情報の精度が低下する。

【0004】

位置ずれを解消するため、ステレオカメラのオペレータが、カメラの位置および姿勢を手動で調整してもよい。この手法によれば、カメラを正しい位置および正しい姿勢に戻すことができる。ただし、オペレータの手間がかかる。

【0005】

そこで、従来、画像を補正することによって位置ずれを打ち消す手法が検討されている。この手法は、例えば、以下の通りである。まず、カメラが格子状チャートなどのテストパターンを撮影する。画像処理部は、得られた画像に基づいて、画像を補正するための補正パラメータを調整する。具体的には、画像処理部は、画像を縦方向に平行移動するための補正パラメータと、画像を回転するための補正パラメータを調整する。画像処理部は、調整された補正パラメータを使用して画像を補正する（例えば、特許文献１、２参照）。この手法では、カメラの位置および姿勢を調整しなくてもよいので、オペレータの負担を減らすことができる。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２００４−１３２８７０号公報

【特許文献2】特開２０００−２８４３８９号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかしながら、このような構成を有する従来例の場合には、次のような問題がある。
従来例は、画像を横方向に平行移動するための補正パラメータを調整しない。よって、画像を補正しても、位置ずれに起因する誤差を十分に低減できない。

【0008】

また、従来例は、ステレオカメラの実稼働中に補正パラメータを調整しない。例えば、特許文献１は、補正パラメータを調整する手法のみを開示し、補正パラメータを調整するタイミングを一切開示していない。特許文献２は、ステレオカメラを搭載する自動車等が実稼働に入る前に、補正パラメータの調整を行うことを開示する。ここで、実稼働に入る前とは、例えば、車両が静止しているときである。

【0009】

本発明は、このような事情に鑑みてなされたものであって、画像を横方向に平行移動させるための補正パラメータを好適に調整できる撮影装置、車両および画像補正方法を提供することを目的とする。また、本発明は、画像センサを搭載する車両が実稼働しているときに、画像を補正するための補正パラメータを調整できる車両および画像補正方法を提供することを目的とする。

【課題を解決するための手段】

【0010】

本発明は、このような目的を達成するために、次のような構成をとる。
すなわち、本発明は、撮影装置であって、前記撮影装置は、一対の画像センサと、少なくともいずれかの前記画像センサによって撮影された画像を前記画像の横方向に横シフト量だけ平行移動させる画像補正部と、前記画像センサのそれぞれが、第１マーカから光軸方向に離れている距離と第２マーカから光軸方向に離れている距離とが略等しい位置で、第１マーカおよび第２マーカを撮影した画像をそれぞれ調整用画像として、前記調整用画像に基づいて前記横シフト量を調整する横シフト量調整部と、を備え、前記横シフト量調整部は、前記調整用画像の両方に基づいて前記第１マーカおよび前記第２マーカの少なくともいずれかに関する視差を計測し、視差の計測値を取得する測定部と、前記第１マーカと前記第２マーカとの間の間隔と、前記調整用画像のいずれか一方とに基づいて、前記第１マーカおよび前記第２マーカに関する視差の理論値を算出する理論値計算部と、前記視差の計測値と前記視差の理論値とに基づいて横方向調整量を算出する横方向調整量計算部と、前記横方向調整量を用いて前記横シフト量を変更する横シフト量変更部と、を備え、前記調整用画像の少なくとも一方は、前記画像補正部による処理が行われた画像であり、前記横シフト量変更部は、前記画像補正部によって使用された前記横シフト量に、前記横方向調整量を加減算し、前記撮影装置は、さらに、前記横シフト量変更部によって横シフト量が変更された場合、変更後の横シフト量を使用して、前記画像補正部による処理が行われた前記調整用画像の元となる画像を再び補正する画像再補正部を備え、前記理論値計算部は、前記第１マーカと前記第２マーカとの間の前記間隔と、いずれかの前記調整用画像に関連する光学中心、その調整用画像上における前記第１マーカの投影点、および、その調整用画像上における前記第２マーカの投影点を頂点とする三角形の内角とに基づいて、前記第１マーカ及び前記第２マーカと前記画像センサとの間の光軸方向における距離を計算し、前記距離に基づいて前記視差の理論値を算出する撮影装置である。

【0011】

［作用・効果］一対の画像センサは、ステレオカメラを構成する。各画像センサは、ステレオ視による撮影を行う。

【0012】

画像補正部は、横シフト量を使用して画像を補正する。横シフト量は、補正パラメータの１つである。画像補正部は、各画像センサから得られた画像を補正してもよいし、いずれかの画像センサから得られた画像のみを補正してもよい。

【0013】

横シフト量調整部は、各画像センサから得られた調整用画像に基づいて、横シフト量を調整する。

【0014】

調整用画像は、各画像センサが第１マーカおよび第２マーカを撮影した一対の画像である。なおかつ、調整用画像は、画像センサと第１マーカとの間の光軸方向における距離と画像センサと第２マーカとの間の光軸方向における距離とが略等しいときに、各画像センサが撮影した画像である。ここで、「略等しい」とは、各距離が厳密に等しいこと、および、横シフト量を調整できる程度に各距離が近似していることの両方を含む意味である。

【0015】

その結果、調整用画像には、第１マーカおよび第２マーカが投影される。なおかつ、調整用画像に投影された第１マーカの奥行き方向における情報と、調整用画像に投影された第２マーカの奥行き方向における情報とは、略等しい。

【0016】

横シフト量調整部は、測定部と理論値計算部と横方向調整量計算部と横シフト量変更部とを有する。測定部は、２つの調整用画像に基づいて、「視差の計測値」を取得する。理論値計算部は、１つの調整用画像に基づいて、「視差の理論値」を取得する。横方向調整量計算部は、「視差の計測値」と「視差の理論値」とに基づいて、横方向調整量を算出する。横シフト量変更部は、横方向調整量を用いて、横シフト量を変更する。

【0017】

このように、本発明によれば、横シフト量調整部を備えているので、横シフト量を好適に調整できる。これにより、画像補正部は画像を好適に補正できる。すなわち、各画像センサから得られた２つの画像の間における視差を好適に調整できる。よって、仮に画像センサの位置および姿勢がずれたとしても、撮影装置の精度および撮影装置の信頼性を好適に維持できる。

【0018】

さらに、理論値計算部は視差の理論値を精度良く算出できる。その結果、横方向調整量計算部は横方向調整量を適正に算出できる。

【0019】

また、前記横シフト量変更部は、横シフト量に横方向調整量を加減算した値を、新たな横シフト量として設定する。調整用画像の少なくとも一方が補正された画像である場合、本発明によって、適切に横シフト量を調整できる。

【0020】

上述した発明において、前記理論値計算部は、前記画像センサと前記第１マーカおよび前記第２マーカとの位置関係とに基づいて、前記第１マーカ及び前記第２マーカと前記画像センサとの間の光軸方向における距離を計算し、前記距離に基づいて前記視差の理論値を算出することが好ましい。理論値計算部は視差の理論値を精度良く算出できる。その結果、横方向調整量計算部は横方向調整量を適正に算出できる。

【0021】

上述した発明において、前記横方向調整量計算部は、前記視差の計測値と前記視差の理論値との差が小さくなるように、前記横方向調整量を決定することが好ましい。これによれば、各画像センサから得られた２つの画像の間における実際の視差を、視差の理論値に近づけることができる。その結果、画像の奥行き方向における情報の精度を好適に改善できる。

【0022】

上述した発明において、前記撮影装置は、さらに、画像上における前記第１マーカの投影点および前記第２マーカの投影点に基づいて、前記画像センサのそれぞれから得られた画像が調整用画像であるか否かを判定する調整用画像特定部を備えていることが好ましい。これによれば、調整用画像を好適に特定できる。

【0023】

上述した発明において、前記第１マーカと前記第２マーカとは、略同じ高さ位置に配置されていることが好ましい。これによれば、理論値計算部による処理を簡素化できる。また、調整用画像特定部による処理を簡素化できる。

【0024】

上述した発明において、前記画像補正部は、さらに、少なくともいずれかの前記画像センサによって撮影された画像を前記画像の縦方向に縦シフト量だけ平行移動させ、前記撮影装置は、さらに、前記調整用画像に基づいて前記縦シフト量を調整する縦シフト量調整部を備えることが好ましい。縦シフト量は、補正パラメータの１つである。撮影装置は縦シフト量調整部を備えているので、縦シフト量を好適に調整できる。よって、画像補正部は画像を一層適切に補正できる。

【0025】

上述した発明において、前記画像補正部は、さらに、少なくともいずれかの前記画像センサによって撮影された画像を回転量だけ回転させ、前記撮影装置は、さらに、前記調整用画像に基づいて前記回転量を調整する回転量調整部を備えることが好ましい。回転量は、補正パラメータの１つである。撮影装置は回転量調整部を備えているので、回転量を好適に調整できる。よって、画像補正部は画像を一層適切に補正できる。

【0026】

また、本発明は、車両であって、前記車両は撮影装置を備え、前記撮影装置は、一対の画像センサと、少なくともいずれかの前記画像センサによって撮影された画像を前記画像の横方向に横シフト量だけ平行移動させる画像補正部と、前記画像センサのそれぞれが、第１マーカから光軸方向に離れている距離と第２マーカから光軸方向に離れている距離とが略等しい位置で、第１マーカおよび第２マーカを撮影した画像をそれぞれ調整用画像として、前記調整用画像に基づいて前記横シフト量を調整する横シフト量調整部と、を備え、前記横シフト量調整部は、前記調整用画像の両方に基づいて前記第１マーカおよび前記第２マーカの少なくともいずれかに関する視差を計測し、視差の計測値を取得する測定部と、前記第１マーカと前記第２マーカとの間の間隔と、前記調整用画像のいずれか一方とに基づいて、前記第１マーカおよび前記第２マーカに関する視差の理論値を算出する理論値計算部と、前記視差の計測値と前記視差の理論値とに基づいて横方向調整量を算出する横方向調整量計算部と、前記横方向調整量を用いて前記横シフト量を変更する横シフト量変更部と、を備え、前記第１マーカおよび前記第２マーカは車両の外部に設置されており、前記第１マーカおよび前記第２マーカは走路を挟むように配置されており、前記車両が前記走路を走行するとき、前記画像センサはそれぞれ、前記第１マーカおよび前記第２マーカを撮影する車両である。

【0027】

［作用・効果］本発明によれば、車両は撮影装置を備えているので、車両の周囲の被写体を好適に検知できる。また、撮影装置の精度および信頼性は好適に維持されているので、車両の稼働率が低下することを好適に抑制できる。

【0028】

さらに、前記車両が走路を走行するとき、前記画像センサはそれぞれ、前記第１マーカおよび前記第２マーカを撮影する。これによれば、車両が実稼働しているときに、横シフト量を調整できる。よって、車両の稼働率を低下させることなく、撮影装置の精度を維持できる。

【0029】

上述した発明において、前記走路は予め決められており、前記車両は前記走路を自律走行することが好ましい。車両が予め決められた走路を走行するので、画像センサは、第１マーカおよび第２マーカを適切に撮影することができる。これにより、理論値計算部は「視差の理論値」を一層精度よく算出できる。

【0030】

また、本発明は、車両が走行しているときに、車両に搭載されている複数の画像センサが、車両の外部に設置されているマーカ群を撮影する過程と、前記画像センサの少なくともいずれかから得られた画像を補正する過程と、前記画像センサから得られ、マーカ群が投影されている画像を調整用画像として、前記調整用画像に基づいて前記画像を補正する過程で使用される補正パラメータを調整する過程と、を備え、前記マーカ群は第１マーカと第２マーカを含み、前記第１マーカおよび前記第２マーカは直線的な走路を挟むように配置され、前記補正パラメータは横シフト量であり、前記画像を補正する過程は、前記画像を前記画像の横方向に前記横シフト量だけ平行移動させ、前記第１マーカと前記第２マーカは互いに間隔をあけて配置され、前記撮影する過程を実行するとき、前記画像センサと第１マーカとの間の光軸方向における距離と、前記画像センサと第２マーカとの間の光軸方向における距離とは略等しく、前記補正パラメータを調整する過程は、前記調整用画像の両方に基づいて前記第１マーカおよび前記第２マーカの少なくともいずれかに関する視差を計測し、視差の計測値を取得する過程と、前記第１マーカと前記第２マーカとの間の前記間隔と、前記調整用画像のいずれか一方とに基づいて前記第１マーカおよび前記第２マーカに関する視差の理論値を算出する過程と、前記視差の計測値と前記視差の理論値とに基づいて横方向調整量を算出する過程と、前記横方向調整量を用いて前記横シフト量を変更する過程と、を備えている画像補正方法である。

【0031】

［作用・効果］撮影する過程は、車両の走行中にマーカ群を撮影する。補正する過程は、画像センサから得られた画像を補正する。調整する過程は、調整用画像に基づいて補正パラメータを調整する。このように、本発明によれば、車両を実稼働させつつ、画像を補正するための補正パラメータを適切に調整できる。

【0032】

撮影する過程では、各画像センサは、第１マーカおよび第２マーカから光軸方向に略等しい距離だけ離れた位置で、第１マーカおよび第２マーカを撮影する。ここで、「略等しい」とは、各距離が厳密に同じであること、および、横シフト量を調整できる程度に各距離が近似していることの両方を含む意味である。

【0033】

補正する過程は、横シフト量を使用して、画像を横方向に平行移動させる。

【0034】

補正パラメータを調整する過程は、調整用画像に基づいて横シフト量を調整する。補正パラメータを調整する過程は、さらに、視差の計測値を取得する過程と、視差の理論値を算出する過程と、横方向調整量を算出する過程と、横シフト量を変更する過程とを備える。このため、補正パラメータを調整する過程は、横シフト量を適切に調整できる。

【0035】

これにより、画像を補正する過程は、画像を適切に補正できる。その結果、各画像センサから得られた画像の間における視差を好適に調整できる。よって、仮に画像センサの位置および姿勢がずれたとしても、画像の奥行き方向における情報を精度良く得ることができる。

【0036】

また、本発明は、車両が走行しているときに、車両に搭載されている複数の画像センサが、車両の外部に設置されているマーカ群を撮影する過程と、前記画像センサの少なくともいずれかから得られた画像を補正する過程と、前記画像センサから得られ、マーカ群が投影されている画像を調整用画像として、前記調整用画像に基づいて前記画像を補正する過程で使用される補正パラメータを調整する過程と、を備え、前記マーカ群は第１マーカと第２マーカを含み、前記第１マーカおよび前記第２マーカは直線的な走路を挟むように配置され、前記複数の画像センサはステレオカメラを構成し、前記補正パラメータは横シフト量であり、前記画像を補正する過程は、前記画像を前記画像の横方向に前記横シフト量だけ平行移動させる画像補正方法である。

【0037】

［作用・効果］撮影する過程は、車両の走行中にマーカ群を撮影する。補正する過程は、画像センサから得られた画像を補正する。調整する過程は、調整用画像に基づいて補正パラメータを調整する。このように、本発明によれば、車両を実稼働させつつ、画像を補正するための補正パラメータを適切に調整できる。

【0038】

補正する過程は、横シフト量を使用して、画像を横方向に平行移動させる。

【0039】

なお、本明細書は、次のような検出装置および車両に係る発明も開示している。

【0040】

（１）上述した発明において、前記第１マーカと前記第２マーカとは、既知の間隔をあけて配置されていることが好ましい。

【0041】

前記（１）によれば、理論値計算部は、視差の理論値を好適に算出できる。

【0042】

（２）上述した発明において、前記画像センサのそれぞれは、各画像センサの光軸が互いに平行となるように、かつ、各画像センサから得られる画像の横軸が同軸となるように配置されていることが好ましい。

【0043】

前記（２）によれば、各画像センサによってステレオカメラを好適に構成できる。

【0044】

（３）上述した発明において、前記理論値計算部は、前記第１マーカと前記第２マーカとの間の前記間隔と、いずれかの前記調整用画像に関連する光学中心、その調整用画像上における前記第１マーカの投影点、および、その調整用画像上における前記第２マーカの投影点を頂点とする三角形の内角とに基づいて、前記第１マーカ及び前記第２マーカと前記画像センサとの間の光軸方向における距離を計算し、前記距離に基づいて前記視差の理論値を算出することが好ましい。

【0045】

前記（３）によれば、理論値計算部は視差の理論値を精度良く算出できる。その結果、横方向調整量計算部は横方向調整量を適正に算出できる。

【0046】

（４）上述した発明において、前記理論値計算部は、前記第１マーカと前記第２マーカとの間の前記間隔と、いずれかの前記調整用画像に関連する光学中心、その調整用画像上における前記第１マーカの投影点、および、その調整用画像上における前記第２マーカの投影点を頂点とする三角形の内角と、前記画像センサと前記第１マーカおよび前記第２マーカとの位置関係とに基づいて、前記第１マーカ及び前記第２マーカと前記画像センサとの間の光軸方向における距離を計算し、前記距離に基づいて前記視差の理論値を算出することが好ましい。

【0047】

前記（４）によれば、理論値計算部は視差の理論値を精度良く算出できる。その結果、横方向調整量計算部は横方向調整量を適正に算出できる。

【発明の効果】

【0048】

この発明に係る撮影装置、車両および画像補正方法によれば、画像を横方向に平行移動させるための補正パラメータを好適に調整できる。よって、撮影装置の信頼性を高めることができる。また、画像センサを搭載する車両が実稼働しているときに、画像を補正するための補正パラメータを調整できる。よって、車両の稼働率が低下することを防ぐことができる。

【図面の簡単な説明】

【0049】

【図1】実施例に係る車両の前面図である。

【図2】車両と走路の平面図である。

【図3】車両とマーカとの側面図である。

【図4】マーカの正面図である。

【図5】実施例に係る撮影装置の構成を示すブロック図である。

【図6】図６（ａ）、図６（ｂ）はそれぞれ、画像を模式的に例示する図である。

【図7】図７（ａ）、図７（ｂ）はそれぞれ、画像における投影点を模式的に例示する図である。

【図8】カメラとマーカとの間の光軸方向における距離を算出する手法の説明図である。

【図9】撮影装置の動作例を示すフローチャートである。

【図10】カメラとマーカとの間の光軸方向における距離を算出する手法の変形実施例を説明図である。

【図11】変形実施例に係る撮影装置の構成を示すブロック図である。

【発明を実施するための形態】

【0050】

以下、図面を参照して本発明の実施例を説明する。

【0051】

１．車両の概略構成
図１は、実施例に係る車両１の前面図であり、図２は、車両１と走路Ｔの平面図である。本実施例では、車両１は、ゴルフ場内を走行するゴルフカートである。ゴルフ場内には予め走路Ｔが敷設されている。車両１は、走路Ｔを自律走行する。車両１は、繰り返し、走路Ｔを走行する。車両１が走路Ｔを走行することは、車両１が実稼働することである。

【0052】

本明細書では、車両１が進む方向を「前方向Ｚｆ」と呼び、前方向とは反対の方向を「後方向Ｚｂ」と呼ぶ（図３参照）。ユーザーは、前方向Ｚｆを向いた姿勢で車両１に乗車する。以下の説明において、「右」、「左」、「上」および「下」はそれぞれ、車両１の乗車したユーザーにとっての「右」、「左」、「上」および「下」を意味する。また、前方向Ｚｆと後方向Ｚｂとを特に区別しない場合には、単に「前後方向Ｚ」と呼ぶ。さらに、左右方向を適宜に「横方向Ｘ」と呼ぶ。前後方向Ｚ、横方向Ｘおよび上下方向Ｙは、互いに直交する。

【0053】

車両１は、車両本体３と一対のカメラ１１Ｒ、１１Ｌとを備える。カメラ１１Ｒ、１１Ｌは、ステレオカメラを構成する。各カメラ１１Ｒ、１１Ｌは、車両本体３の前面に固定されている。

【0054】

各カメラ１１Ｒ、１１Ｌが「位置ずれ」していない場合、各カメラ１１Ｒ、１１Ｌの配置および姿勢は、いわゆる平行ステレオである。すなわち、カメラ１１Ｒの光軸ＡＲと左カメラ１１Ｌの光軸ＡＬは、互いに平行である。本実施例では、光軸ＡＲ、ＡＬはそれぞれ、前方向Ｚｆと平行である。また、各カメラ１１Ｒ、１１Ｌは、互いに所定の間隔距離（基線長）を空けて横方向Ｘに並ぶ。カメラ１１Ｒは、カメラ１１Ｌの右側方に配置されている。以下では、カメラ１１Ｒ、１１Ｌを、適宜に「右カメラ１１Ｒ」、「左カメラ１１Ｌ」と呼ぶ。

【0055】

カメラ１１Ｒ、１１Ｌは、ステレオ視による撮影を行う。各カメラ１１Ｒ、１１Ｌは、同じ被写体を同時に撮影できる。被写体は、例えば、地面、走路、樹木、障害物である。

【0056】

各カメラ１１Ｒ、１１Ｌは、例えば、可視光カメラである。各カメラ１１Ｒ、１１Ｌは、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサまたはＣＣＤ（Charge coupled Device）センサなどによって実現されている。カメラ１１Ｒ、１１Ｌは、本発明における画像センサの例である。

【0057】

図２に示すように、走路Ｔの近くには、マーカ群ＭＧが設置されている。マーカ群ＭＧは、２つのマーカＭ１、Ｍ２を含む。マーカＭ１、Ｍ２はそれぞれ、走路Ｔを挟むように配置されている。マーカＭ１とマーカＭ２との間の距離ＬＭは既知である。本明細書では、「距離ＬＭ」を適宜に「間隔ＬＭ」と記載する。

【0058】

図２および図３を参照する。図３は、車両１とマーカＭ１、Ｍ２との側面図である。本実施例では、車両１が走路Ｔ上の点Ｔａから点Ｔｂまでの区間Ｔａｂにあるとき、各カメラ１１Ｒ、１１Ｌはそれぞれ、マーカＭ１、Ｍ２の両方を撮影できる。以下では、区間Ｔａｂを適宜に「マーカ群撮影区間Ｔａｂ」と呼ぶ。

【0059】

マーカ群撮影区間Ｔａｂは直線的であるので、車両１がマーカ群撮影区間Ｔａｂにあるとき、光軸ＡＲ／ＡＬは実質的に一定である。図３に示すように、側面視において、光軸ＡＲ／ＡＬはマーカ群撮影区間Ｔａｂにおける路面と略平行である。

【0060】

ここで、車両１が区間Ｔａｂにあるときの光軸ＡＲ／ＡＬに対して略垂直な一平面を「平面Ｐ」とする。マーカＭ１、Ｍ２はそれぞれ、平面Ｐ上に位置するように配置されている。その結果、車両１がマーカ群撮影区間Ｔａｂにある場合、カメラ１１Ｒ、１１ＬがマーカＭ１から光軸方向ＡＲ／ＡＬに離れている距離と、カメラ１１Ｒ、１１ＬがマーカＭ２から光軸方向ＡＲ／ＡＬに離れている距離とが略等しい。

【0061】

より詳しく説明する。車両１がマーカ群撮影区間Ｔａｂにある場合、以下の関係が成立する。右カメラ１１ＲとマーカＭ１との間の光軸ＡＲ方向における距離Ｄ１Ｒと、右カメラ１１ＲとマーカＭ２との間の光軸ＡＲ方向における距離Ｄ２Ｒとは、略等しい。なおかつ、左カメラ１１ＬとマーカＭ１との間の光軸ＡＬ方向における距離Ｄ１Ｌと、左カメラ１１ＬとマーカＭ２との間の光軸ＡＬ方向における距離Ｄ２Ｌとは、略等しい。また、右カメラ１１Ｒと左カメラ１１Ｌとはステレオカメラを構成するので、距離Ｄ１Ｒ、Ｄ２Ｒと距離Ｄ１Ｌ、Ｄ２Ｌとは、略等しい。以下では、距離Ｄ１Ｒ、Ｄ２Ｒ、Ｄ１Ｌ、Ｄ２Ｌを特に区別しない場合には、単に「距離Ｄ」と記載する。距離Ｄは、カメラ１１Ｒ／１１Ｌと平面Ｐとの距離に相当する。なお、「光軸方向ＡＲ／ＡＬに離れている距離」、および、「光軸方向ＡＲ／ＡＬにおける距離」は、光軸方向ＡＲ／ＡＬの成分の距離を意味する。

【0062】

図４は、マーカＭ１、Ｍ２の正面図である。マーカＭ１、Ｍ２はそれぞれ、マーカ支持具１５の正面に表示されている。本実施例では、マーカＭ１とマーカＭ２とは、略同じ高さ位置に配置されている。マーカＭ１、Ｍ２は、本発明における第１マーカ、第２マーカの例である。

【0063】

２．撮影装置の構成
次に、撮影装置５の構成について説明する。図５は、撮影装置の構成を示すブロック図である。

【0064】

車両１は、撮影装置５を備えている。撮影装置５は、上述したカメラ１１Ｒ、１１Ｌのほかに、画像処理部１３を備えている。画像処理部１３は、右カメラ１１Ｒによって撮影された画像ＩＲと、左カメラ１１Ｌによって撮影された画像ＩＬとを処理する。なお、「画像ＩＲ」等は、画像処理部１３によって処理可能な画像情報を意味する。画像処理部１３は、例えば、中央演算処理装置（ＣＰＵ）と記憶部によって実現されている。

【0065】

図６（ａ）、（ｂ）は、一対の画像ＩＲ、ＩＬを模式的に例示する。「一対の画像ＩＲ、ＩＬ」とは、同時に撮影された画像ＩＲ、ＩＬの組み合わせという意味である。

【0066】

画像ＩＲ上の位置は、横軸ｕＲ、および、縦軸ｖＲからなる座標で表される。横軸ｕＲは画像ＩＲの横方向と平行であり、縦軸ｖＲは画像ＩＲの縦方向と平行である。画像中心ＯＲは、画像ＩＲと光軸ＡＲの交点に相当する。

【0067】

画像ＩＬ上の位置は、横軸ｕＬ、および、縦軸ｖＬからなる座標で表される。横軸ｕＬは画像ＩＬの横方向と平行であり、縦軸ｖＬは画像ＩＬの縦方向と平行である。画像中心ＯＬは、画像ＩＬと光軸ＡＬの交点に相当する。

【0068】

図６（ｂ）は、左カメラ１１Ｌが位置ずれしている場合を例示する。ただし、各カメラ１１Ｒ、１１Ｌが位置ずれしていなければ、横軸ｕＲと横軸ｕＬは同軸となり、縦軸ｖＲと縦軸ｖＬは平行となる。また、各カメラ１１Ｒ、１１Ｌが位置ずれしていなければ、横軸ｕＲ、ｕＬはそれぞれ、横方向Ｘと平行となり、縦軸ｖＲ、ｖＬはそれぞれ、上下方向Ｙと平行となる。さらに、各カメラ１１Ｒ、１１Ｌが位置ずれしていなければ、画像ＩＲ、ＩＬの間におけるマーカＭ１、Ｍ２に関する視差は、画像ＩＲ、ＩＬが撮影された時点における距離Ｄに対応する。

【0069】

図５を参照する。画像処理部１３は、補正パラメータ記憶部２１と、画像補正部２２と、画像記憶部２３と、画像再補正部２４と、調整用画像特定部２５と、撮影条件記憶部２６と、横シフト量調整部２７と、縦シフト量調整部２８と、回転量調整部２９とを有する。以下、各部２１乃至２９について説明する。

【0070】

補正パラメータ記憶部２１は、補正パラメータを記憶する。補正パラメータは、例えば、横シフト量Ｂｈ、縦シフト量Ｂｖおよび回転量Ｂｒである。図６（ｂ）に示すように、横シフト量Ｂｈは、横軸ｕＬ方向の移動量である。縦シフト量Ｂｖは、縦軸ｖＬ方向の移動量である。回転量Ｂｒは、回転方向の角度である。なお、回転の中心は、例えば、画像中心ＯＬである。補正パラメータＢｈ、Ｂｖ、Ｂｒは、適宜な形式で表される。例えば、補正マップや行列式によって、補正パラメータＢｈ、Ｂｖ、Ｂｒを表してもよい。

【0071】

画像補正部２２は、補正パラメータ記憶部２１に記憶される補正パラメータＢｈ、Ｂｖ、Ｂｒを使用して、画像ＩＬを補正する。具体的には、画像補正部２２は、画像ＩＬの横方向に横シフト量Ｂｈだけ画像ＩＬを平行移動させ、画像ＩＬの縦方向に縦シフト量Ｂｖだけ画像ＩＬを平行移動させ、画像中心ＯＬ回りに回転量Ｂｒだけ画像ＩＬを回転させる。

【0072】

補正によって、画像ＩＬ上の各位置（ｕＬ、ｖＬ）の画素は、例えば、新たな位置（ｕ+Δ、ｖＬ+Δ）に移動する。元の位置（ｕＬ、ｖＬ）の画素値は、新たな位置（ｕＬ+Δ、ｖＬ+Δ）の画素値を規定する。この補正の結果、画像ＩＬｃが生成される。

【0073】

画像記憶部２３は、画像ＩＬを記憶する。

【0074】

画像再補正部２４は、補正パラメータ記憶部２１に記憶される補正パラメータＢｈ、Ｂｖ、Ｂｒの少なくともいずれかが変更された場合、最新の補正パラメータＢｈ、Ｂｖ、Ｂｒを使用して、画像ＩＬを再び補正する。補正自体は、画像補正部２２が行う補正と同じである。

【0075】

調整用画像特定部２５は、一対の画像ＩＲ、ＩＬｃがそれぞれ調整用画像ＥＲ、ＥＬであるか否かを判定する。調整用画像特定部２５の具体的な処理を以下に例示する。

【0076】

図７（ａ）は、マーカＭ１、Ｍ２が画像ＩＲ上に投影された点である投影点ｍＲ１、ｍＲ２を模式的に示す図であり、図７（ｂ）はマーカＭ１、Ｍ２が画像ＩＬｃに上に投影された点である投影点ｍＬ１、ｍＬ２を模式的に示す図である。図７（ａ）に示すように、調整用画像特定部２５は、画像ＩＲに基づいて、画像ＩＲ上におけるマーカＭ１、Ｍ２の投影点ｍＲ１、ｍＲ２を検出する。図７（ｂ）に示すように、調整用画像特定部２５は、画像ＩＬｃに基づいて、画像ＩＬｃ上におけるマーカＭ１、Ｍ２の投影点ｍＬ１、ｍＬ２を検出する。投影点ｍＲ１、ｍＲ２、ｍＬ１、ｍＬ２を検出する際、調整用画像特定部２５は、例えば、マーカＭ１、Ｍ２に関するテンプレートを用いたテンプレートマッチングを行う。

【0077】

ここで、調整用画像特定部２５は、投影点ｍＲ１がマーカＭ１およびマーカＭ２のいずれの投影点であるか、を識別してもよいし、識別しなくてもよい。他の投影点ｍＲ２、ｍＬ１、ｍＬ２に関しても同様である。以下では、投影点ｍＲ１、ｍＲ２を特に区別しない場合には、「投影点ｍＲ」と記載し、投影点ｍＬ１、ｍＬ２を特に区別しない場合には、「投影点ｍＬ」と記載する。さらに、投影点ｍＲ、ｍＬを特に区別しない場合には、「投影点ｍ」と記載する。

【0078】

調整用画像特定部２５は、投影点ｍに基づいて、画像ＩＲ、ＩＬｃがそれぞれ調整用画像ＥＲ、ＥＬであるか否かを判定する。具体的には、投影点ｍの個数および各投影点ｍの位置に基づいて、判定処理を行う。

【0079】

例えば、調整用画像特定部２５は、投影点ｍが次の判定条件１乃至４を全て満たすか否かを判定する。
判定条件１：画像ＩＲの投影点ｍＲの個数が２個であること。
判定条件２：一方の投影点ｍＲ１の縦方向における位置ｖＲ１と、他方の投影点ｍＲ２の縦方向における位置ｖＲ２との差ΔｖＲが、閾値以下であること。
判定条件３：画像ＩＬの投影点ｍＬの個数が２個であること。
判定条件４：一方の投影点ｍＬ１の縦方向における位置ｖＬ１と、他方の投影点ｍＬ２の縦方向における位置ｖＬ２との差ΔｖＬが、閾値以下であること。

【0080】

閾値は、例えば、１０ピクセルである。そして、投影点ｍが判定条件１乃至４を満たすと判定した場合、調整用画像特定部２５は、画像ＩＲを調整用画像ＥＲと特定し、画像ＩＬｃを調整用画像ＥＬと特定する。そうでない場合には、画像ＩＲ、ＩＬを調整用画像ＥＲ、ＥＬと特定しない。

【0081】

撮影条件記憶部２６は、マーカＭ１、Ｍ２の間隔ＬＭに関する情報を記憶している。撮影条件記憶部２６は、さらに、右カメラ１１Ｒおよび左カメラ１１Ｌの内部パラメータおよび外部パラメータを記憶している。

【0082】

横シフト量調整部２７は、調整用画像ＥＲ、ＥＬに基づいて、補正パラメータ記憶部２１に記憶されている横シフト量Ｂｈを調整する。横シフト量調整部２７は、測定部３１と理論値計算部３２と横方向調整量計算部３３と横シフト量変更部３４とを有する。以下、各部３１乃至３４について説明する。

【0083】

測定部３１は、調整用画像ＥＲ、ＥＬに基づいてマーカＭ１、Ｍ２のいずれかに関する視差を計測し、視差の計測値Ｆｍを取得する。測定部３１の具体的な処理を以下に例示する。

【0084】

測定部３１は、調整用画像ＥＲの投影点ｍＲと調整用画像ＥＬの投影点ｍＬとの対応関係を特定する。対応関係を特定する際、測定部３１は、例えば、ステレオマッチングを行う。これにより、測定部３１は、投影点ｍＲ１と投影点ｍＬ１とが対応すること、および、投影点ｍＲ２と投影点ｍＬ２とが対応することを特定する。

【0085】

続いて、測定部３１は、いずれかの投影点ｍＲの横方向における位置と、この投影点ｍＲに対応する投影点ｍＬの横方向における位置との差を計測する。測定部３１は、計測された差を、マーカＭ１、Ｍ２のいずれかに関する視差の計測値Ｆｍとする。

【0086】

理論値計算部３２は、調整用画像ＥＲと間隔ＬＭとに基づいて、視差の理論値Ｆｔを算出する。視差の理論値Ｆｔは、右カメラ１１Ｒおよび左カメラ１１Ｌが位置ずれしていないと仮定したときに、得られるはずのマーカＭ１、Ｍ２に関する視差である。

【0087】

より詳しくは、理論値計算部３２は、調整用画像ＥＲと間隔ＬＭとに基づいて、カメラ１１Ｒと平面Ｐとの距離を推定する。この推定は、カメラ１１ＲとマーカＭ１、Ｍ２との間の光軸方向ＡＲにおける距離Ｄ１Ｒ、Ｄ２Ｒを計算することと同義であり、カメラ１１ＬとマーカＭ１、Ｍ２との間の光軸方向ＡＬにおける距離Ｄ１Ｌ、Ｄ２Ｌを計算することと同義である。言い換えれば、推定される距離は、「距離Ｄ」に相当する。そして、理論値計算部３２は、距離Ｄに基づいて視差の理論値Ｆｔを算出する。

【0088】

まず、図８を参照して、距離Ｄを推定する手法を説明する。図８は、調整用画像ＥＲをモデル化した図である。図８において、光軸ＡＲは、平面Ｐと点ＱＲで直交する。モデル化された調整用画像ＥＲは、光軸ＡＲと直交する平面上に位置する。言い換えれば、モデル化された調整用画像ＥＲは、平面Ｐと平行である。光軸方向ＡＲが調整用画像ＥＲと直交する点は、画像中心ＯＲに相当する。光軸方向ＡＲ上には、右カメラ１１Ｒの光学中心ＣＲが位置する。

【0089】

投影点ｍＲ１、ｍＲ２は調整用画像ＥＲ上にあり、マーカＭ１、Ｍ２は平面Ｐ上にある。マーカＭ１は、光学中心ＣＲと投影点ｍＲ１とを結ぶ線Ｊ１上に位置し、マーカＭ２は、光学中心ＣＲと投影点ｍＲ２とを結ぶ線Ｊ２上に位置する。光学中心ＣＲと投影点ｍＲ１と投影点ｍＲ２とを頂点とする三角形と、光学中心ＣＲとマーカＭ１とマーカＭ２とを頂点とする三角形とは、相似である。

【0090】

ここで、光学中心ＣＲを右カメラ１１Ｒの厳密な位置と見なして、距離Ｄを、光学中心ＣＲと平面Ｐ（点ＱＲ）との距離とする。また、光学中心ＣＲと調整用画像ＥＲ（画像中心ＯＲ）との距離を、「焦点距離ｄ」と規定する。さらに、投影点ｍＲ１と投影点ｍＲ２との距離を、「間隔Ｌｍ」と規定する。なお、マーカＭ１、Ｍ２との間隔ＬＭは実空間上における距離であるのに対し、間隔Ｌｍは調整用画像ＥＲ上における距離である。そうすると、間隔Ｌｍと間隔ＬＭとの比は、焦点距離ｄと距離Ｄとの比と等しい。すなわち、以下の関係式が成り立つ。

【0091】

Ｌｍ／ＬＭ＝ｄ／Ｄ ・・・（１）

【0092】

なお、間隔ＬＭは既知である。間隔Ｌｍは、調整用画像ＥＲ（投影点ｍＲ１、ｍＲ２）から与えられる。焦点距離ｄは、右カメラ１１Ｒの内部パラメータから与えられる。これら間隔ＬＭ、間隔Ｌｍ、および焦点距離ｄによって、距離Ｄが一義的に決まる。

【0093】

次に、理論値計算部３２の具体的な処理を以下に例示する。理論値計算部３２は、撮影条件記憶部２６から間隔ＬＭと右カメラ１１Ｒの内部パラメータを読み出す。理論値計算部３２は、右カメラ１１Ｒの内部パラメータに基づいて、焦点距離ｄを取得する。理論値計算部３２は、調整用画像ＥＲに基づいて、投影点ｍＲ１と投影点ｍＲ２との間の間隔Ｌｍを求める。理論値計算部３２は、間隔Ｌｍ、間隔ＬＭおよび焦点距離ｄを関係式（１）に代入して、距離Ｄを算出する。さらに、理論値計算部３２は、距離Ｄと、カメラ１１Ｒ、１１Ｌの内部パラメータおよび外部パラメータとに基づいて、マーカＭ１、Ｍ２に関する視差の理論値Ｆｔを算出する。

【0094】

横方向調整量計算部３３は、視差の計測値Ｆｍと視差の理論値Ｆｔとに基づいて横方向調整量Ｈｈを算出する。横方向調整量計算部３３は、視差の計測値Ｆｍが視差の理論値Ｆｔと等しくなるように、横方向調整量Ｈｈを決定することが好ましい。横方向調整量Ｈｈは、例えば、視差の計測値Ｆｍと視差の理論値Ｆｔとの差である。

【0095】

横シフト量変更部３４は、横方向調整量Ｈｈに基づいて横シフト量Ｂｈを変更する。本実施例では、横シフト量変更部３４は、補正パラメータ記憶部２１に記憶される横シフト量Ｂｈに、横方向調整量Ｈｈを加減算する。算出された値は、新たな横シフト量Ｂｈとして、補正パラメータ記憶部２１に記憶される。

【0096】

縦シフト量調整部２８は、調整用画像ＥＲ、ＥＬに基づいて縦シフト量Ｂｖを調整する。縦シフト量調整部２８は、縦方向調整量計算部３６と縦シフト量変更部３７とを有する。

【0097】

縦方向調整量計算部３６は、対応関係にある１組以上の投影点ｍＲ、点ｍＬに基づいて、縦方向調整量Ｈｖを算出する。縦方向調整量計算部３６は、投影点ｍＲの縦方向における位置と、投影点ｍＲと対応する投影点ｍＬの縦方向における位置とが等しくなるように、縦方向調整量Ｈｖを決定することが好ましい。投影点ｍＲ１と投影点ｍＬ１とが対応関係にある場合、縦方向調整量Ｈｖは、例えば、投影点ｍＲ１の縦方向における位置ｖＲ１と、投影点ｍＬ１の縦方向における位置ｖＬ１との差である。

【0098】

縦シフト量変更部３７は、縦方向調整量Ｈｖに基づいて縦シフト量Ｂｖを変更する。本実施例では、縦シフト量変更部３７は、補正パラメータ記憶部２１に記憶される縦シフト量Ｂｖに、縦方向調整量Ｈｖを加減算する。算出された値は、新たな縦シフト量Ｂｖとして、補正パラメータ記憶部２１に記憶される。

【0099】

回転量調整部２９は、調整用画像ＥＲ、ＥＬに基づいて回転量を調整する。回転量調整部２９は、回転方向調整量計算部３８と回転量変更部３９とを有する。

【0100】

回転方向調整量計算部３８は、対応関係にある２組以上の投影点ｍＲ、ｍＬに基づいて、回転方向調整量Ｈｒを算出する。図７を参照して、回転方向調整量計算部３８は、投影点ｍＲ１、ｍＲ２を結ぶ仮想線ＫＲの傾きと、投影点ｍＬ１、ｍＬ２を結ぶ仮想線ＫＬの傾きとが等しくなるように、回転方向調整量Ｈｒを決定することが好ましい。回転方向調整量Ｈｒは、例えば、仮想線ＫＲと仮想線ＫＬとのなす角度である。

【0101】

回転量変更部３９は、回転方向調整量Ｈｒに基づいて回転量Ｂｒを変更する。本実施例では、回転量変更部３９は、補正パラメータ記憶部２１に記憶される回転量Ｂｒに、回転方向調整量Ｈｒを加減算する。算出された値は、新たな回転量Ｂｒとして、補正パラメータ記憶部２１に記憶される。

【0102】

撮影装置５は、更に、画像ＩＲ、ＩＬｃを処理するステレオ処理部（不図示）を備えてもよい。例えば、ステレオ処理部は、画像ＩＲ、ＩＬｃに基づいて、画像ＩＲ、ＩＬｃの奥行き方向における情報を計算してもよい。例えば、ステレオ処理部は、画像ＩＲ、ＩＬｃに基づいて、光軸方向ＡＲ／ＡＬにおける被写体までの距離を計算してもよい。また、例えば、ステレオ処理部は、画像ＩＲ、ＩＬｃに基づいて、車両１の走行を妨げる障害物を検出してもよい。

【0103】

３．動作説明
次に、実施例に係る車両１の動作を説明する。図９は、撮影装置５の動作例を示すフローチャートである。以下の説明では、車両１が走路Ｔを走行しているものとする。すなわち、車両１が走行しているときに撮影装置５が実行する動作例を、以下に説明する。

【0104】

＜ステップＳ１＞ 撮影
右カメラ１１Ｒおよび左カメラ１１Ｌはそれぞれ、画像ＩＲ、ＩＬを撮影する。

【0105】

＜ステップＳ２＞ 画像の取込
画像処理部１３は、画像ＩＲ、ＩＬを取り込む。画像ＩＬは、画像記憶部２３に記憶される。

【0106】

＜ステップＳ３＞ 画像の補正
画像補正部２２は、補正パラメータ記憶部２１から最新の横シフト量Ｂｈ、縦シフト量Ｂｖ、回転量Ｂｒを読み出す。画像補正部２２は、読み出した補正パラメータＢｈ、Ｂｖ、Ｂｒを使用して画像ＩＬを補正する。これにより、画像補正部２２は、画像ＩＬｃを生成する。

【0107】

＜ステップＳ４＞ 画像が調整用画像か？
調整用画像特定部２５は、画像ＩＲに基づいて投影点ｍＲを検出する。調整用画像特定部２５は、画像ＩＬｃに基づいて、投影点ｍＬを検出する。調整用画像特定部２５は、投影点ｍＲ、ｍＬに基づいて、画像ＩＲ、ＩＬｃが調整用画像ＥＲ、ＥＬであるか否かを判定する。画像ＩＲ、ＩＬｃが調整用画像ＥＲ、ＥＬであると判定された場合、ステップＳ５に進む。そうでない場合、ステップＳ１に戻る。

【0108】

＜ステップＳ５＞ 調整量の算出
横シフト量調整部２７は、横方向調整量Ｈｈを算出する。具体的には、測定部３１は、調整用画像ＥＲ、ＥＬに基づいて視差の計測値Ｆｍを取得する。理論値計算部３２は、調整用画像ＥＲに基づいて視差の理論値Ｆｔを取得する。横方向調整量計算部３３は、視差の計測値Ｆｍと視差の理論値Ｆｔとに基づいて横方向調整量Ｈｈを算出する。

【0109】

上述した処理と並行して、縦方向調整量計算部３６は、調整用画像ＥＲ、ＥＬに基づいて縦方向調整量Ｈｖを算出する。回転方向調整量計算部３８は、調整用画像ＥＲ、ＥＬに基づいて回転方向調整量Ｈｒを算出する。

【0110】

＜ステップＳ６＞ 補正パラメータの変更
横シフト量変更部３４は、横方向調整量Ｈｈを用いて横シフト量Ｂｈを変更する。縦シフト量変更部３７は、縦方向調整量Ｈｖを用いて縦シフト量Ｂｖを変更する。回転量変更部３９は、回転方向調整量Ｈｒを用いて回転量Ｂｒを変更する。

【0111】

＜ステップＳ７＞ 画像の再補正
画像再補正部２４は、画像記憶部２３から画像ＩＬを読み出し、補正パラメータ記憶部２１から変更後の補正パラメータＢｈ、Ｂｖ、Ｂｒを読み出す。そして、画像再補正部２４は、補正パラメータＢｈ、Ｂｖ、Ｂｒを用いて、画像ＩＬを補正する。その後、ステップＳ１に戻る。

【0112】

このように、実施例によれば、撮影装置５は、横シフト量調整部２７を備えているので、横シフト量Ｂｈを好適に調整できる。よって、画像補正部２２は、適切な横シフト量Ｂｈを使用して画像ＩＬを横方向に平行移動できる。これにより、画像ＩＲ、ＩＬの視差に比べて、画像ＩＲ、ＩＬｃの視差は視差の理論値Ｆｔに近くなる。よって、仮にカメラ１１Ｒ、１１Ｌが位置ずれしているときであっても、画像ＩＲ、ＩＬｃに基づいて、被写体に関する奥行き方向における情報を精度良く得ることができる。このように、カメラ１１Ｒ、１１Ｌの位置および姿勢がずれている場合であっても、撮影装置５の精度および信頼性を好適に維持できる。その結果、車両１の稼働率が低下することを好適に防ぐことができる。

【0113】

特に、理論値計算部３２は、調整用画像ＥＲ、ＥＬの両方を使用せず、一方の調整用画像ＥＲを使用して、視差の理論値Ｆｔを算出する。この算出方法は、調整用画像ＥＲ、ＥＬの両方を使用する場合に比べて、カメラ１１Ｒ、１１Ｌの位置ずれの影響を受けにくい。よって、理論値計算部３２は、視差の理論値Ｆｔを精度よく取得できる。

【0114】

理論値計算部３２は、マーカＭ１、Ｍ２の間隔ＬＭと投影点ｍＲ１、ｍＲ２の間隔Ｌｍとの関係を利用して、カメラ１１Ｒ／１１ＬとマーカＭ１、Ｍ２との間の光軸方向ＡＲ／ＡＬにおける距離Ｄを算出する。これにより、理論値計算部３２は、視差の理論値Ｆｔを好適に算出できる。

【0115】

測定部３１は、画像ＩＲと画像ＩＬｃの間における実際の視差に相当する「視差の計測値Ｆｍ」を取得する。よって、横方向調整量計算部３３は、視差の計測値Ｆｍと視差の理論値Ｆｔとのずれを把握できる。その結果、横方向調整量計算部３３は、適切な横方向調整量Ｈｈを決定できる。特に、横方向調整量Ｈｈが、視差の計測値Ｆｍと視差の理論値Ｆｔとの差である場合、画像ＩＲと画像ＩＬｃの間における実際の視差を、視差の理論値Ｆｔに一致させることができる。

【0116】

また、横シフト量調整部２７は、横シフト量変更部３４を備えているので、補正パラメータ記憶部２１に記憶される横シフト量Ｂｈを好適に更新できる。本実施例では、調整用画像ＥＬは、画像補正部２２によって補正された画像ＩＬｃであるので、横シフト量変更部３４は、調整用画像ＥＬを生成するために用いられた横シフト量Ｂｈに、横方向調整量Ｈｈを加減算する。これにより、横シフト量を好適に調整できる。

【0117】

また、調整用画像特定部２５を備えているので、マーカＭ１、Ｍ２が適切に撮影された画像ＩＲ、ＩＬｃを好適に特定できる。

【0118】

また、縦シフト量調整部２８を備えているので、縦シフト量Ｂｈを好適に調整できる。よって、画像補正部２２は、一層適切に画像ＩＬを補正できる。

【0119】

また、回転量調整部２９を備えているので、回転量Ｂｒを好適に調整できる。よって、画像補正部２２は、一層適切に画像ＩＬを補正できる。

【0120】

また、走路Ｔのレイアウト、カメラ１１Ｒ、１１Ｌの光軸ＡＲ／ＡＬなどを考慮して、マーカＭ１、Ｍ２を適切に配置することによって、走路Ｔ上にマーカ群撮影区間Ｔａｂを好適に形成できる。これにより、調整用画像ＥＲ、ＥＬを好適に得ることができる。

【0121】

具体的には、直線的なマーカ群撮影区間Ｔａｂにおいて各カメラ１１Ｒ、１１ＬがマーカＭ１、Ｍ２の両方を撮影できるように、マーカＭ１、Ｍ２が設置されている。さらに、マーカ群撮影区間Ｔａｂにおけるカメラ１１Ｒ、１１Ｌの光軸ＡＲ／ＡＬに対して略垂直な平面Ｐ上に、マーカＭ１、Ｍ２が配置されている。ここで、「略垂直な」は、厳密に垂直であること、および、横シフト量Ｂｈを適切に調整できる程度に垂直に近いことの両方を含む意味である。

【0122】

このため、マーカ群撮影区間Ｔａｂでは、カメラ１１Ｒは、光軸方向ＡＲにおいて略同じ距離だけ離れている複数のマーカＭ１、Ｍ２を同時に撮影できる。ここで、「略同じ」は、厳密に等しいこと、および、横シフト量Ｂｈを適正に補正できる程度に近似していることの両方を含む意味である。よって、理論値計算部３２は、画像ＩＲに基づいて、距離Ｄを精度良く推定することができ、視差の理論値Ｆｔを精度良く算出できる。また、マーカ群撮影区間Ｔａｂでは、カメラ１１Ｌも、カメラ１１Ｒと同様にマーカＭ１、Ｍ２を撮影できる。よって、測定部３１は、画像ＩＲ、ＩＬｃに基づいて、視差の計測値Ｆｍを好適に取得できる。

【0123】

さらに、マーカＭ１、Ｍ２は、略同じ高さ位置に配置されている。これにより、理論値計算部３２が投影点ｍＲ１、ｍＲ２の間隔Ｌｍを算出する処理を簡素化できる。また、各投影点ｍの位置が判定条件２、４を満たすか否かを調整用画像特定部２５が判定する処理を簡素化できる。

【0124】

また、上述したマーカ群撮影区間Ｔａｂは走路Ｔの一部であるので、車両１が実稼働しているときに、カメラ１１Ｒ、１１ＬはマーカＭ１、Ｍ２を好適に撮影でき、画像処理部１３は補正パラメータＢｈ、Ｂｖ、Ｂｒを好適に調整できる。よって、車両１の稼働率を低下させることなく、撮影装置５の精度および信頼性を好適に維持できる。

【0125】

また、走路Ｔは予め決められているので、マーカＭ１、Ｍ２を予め適切な位置に設置できる。よって、各カメラ１１Ｒ、１１ＬはマーカＭ１、Ｍ２を適切に撮影できる。よって、画像処理部１３は補正パラメータＢｈ、Ｂｖ、Ｂｒを一層精度良く調整できる。

【0126】

本発明は、上記実施例のものに限らず、次のように変形実施することができる。

【0127】

（１）上述した実施例では、理論値計算部３２は、間隔ＬＭと間隔Ｌｍとに基づいて、距離Ｄを計算したが、これに限られない。例えば、理論値計算部３２は、三角測量の手法や幾何学を用いた手法によって、距離Ｄを算出してもよい。

【0128】

図１０を参照して、変形実施例に係る手法の一例として、三角測量の手法を用いて距離Ｄを推定する手法を説明する。図１０は、調整用画像ＥＲをモデル化した図である。なお、実施例と同じ構成については同符号を付すことで詳細な説明を省略する。

【0129】

図１０において、直線Ｊ３は、投影点ｍＲ１と投影点ｍＲ２とを結ぶ線である。直線Ｊ４は、マーカＭ１とマーカＭ２とを結ぶ線である。角度αは、直線Ｊ１と直線Ｊ３とのなす角度である。角度βは、直線Ｊ２と直線Ｊ３とのなす角度である。角度α、βはそれぞれ、光学中心ＣＲと投影点ｍＲ１と投影点ｍＲ２とを頂点とする三角形の内角に相当する。この三角形は、光学中心ＣＲとマーカＭ１とマーカＭ２とを頂点とする三角形と相似である。よって、角度αは、直線Ｊ１と直線Ｊ４とのなす角度と等しく、角度βは、直線Ｊ２と直線Ｊ４とのなす角度と等しい。

【0130】

ここで、点ＱＲ´は、光学中心ＣＲから直線Ｊ４上に垂直におろした点である。光学中心ＣＲと点ＱＲ´との距離を、「距離Ｄａ」と規定する。

【0131】

そうすると、距離Ｄａは、三角測量の手法を用いて、以下の式（２）によって表される。
Ｄａ＝ＬＭｓｉｎαｓｉｎβ／ｓｉｎ（α+β） ・・・（２）

【0132】

光学中心ＣＲと点ＱＲと点ＱＲ´とを頂点とする三角形は、直角三角形である。ここで、点ＱＲと点ＱＲ´との距離を、「距離Ｄｂ」と規定する。距離Ｄｂは、カメラ１１ＲとマーカＭ１、Ｍ２の位置関係によって計算される。比較的に単純な例としては、距離Ｄｂは、カメラ１１Ｒの高さと、マーカＭ１、Ｍ２の高さとの差である。比較的に複雑な例としては、距離Ｄｂは、カメラ１１Ｒの位置および角度と、マーカＭ１、Ｍ２の位置とを用いて算出される。

【0133】

三平方の定理に従って、距離Ｄは、以下の式（３）によって表される。

【数1】

【0134】

このような三角測量の手法を用いる場合、理論値計算部３２は、間隔ＬＭと、光学中心ＣＲと投影点ｍＲ１、ｍＲ２を頂点とする三角形の内角α、βとに基づいて、距離Ｄａを計算する。具体的には、理論値計算部３２は、撮影条件記憶部２６から間隔ＬＭと右カメラ１１Ｒの内部パラメータを読み出す。理論値計算部３２は、調整用画像ＥＲと内部パラメータに基づいて光学中心ＣＲおよび投影点ｍＲ１、ｍＲ２の相対的な位置関係を計算し、光学中心ＣＲおよび投影点ｍＲ１、ｍＲ２の相対的な位置関係に基づいて角度α、βを算出する。理論値計算部３２は、間隔ＬＭおよび角度α、βを関係式（２）に代入して、距離Ｄａを算出する。

【0135】

続いて、理論値計算部３２は、撮影条件記憶部２６から右カメラ１１Ｒの外部パラメータとマーカＭ１、Ｍ２の各位置を読み出す。なお、マーカＭ１、Ｍ２の各位置も、予め撮影条件記憶部２６に記憶されている。理論値計算部３２は、右カメラ１１Ｒの外部パラメータとマーカＭ１、Ｍ２の各位置に基づいて、距離Ｄｂを算出する。さらに、理論値計算部３２は、関係式（３）を用いて、距離Ｄを計算する。

【0136】

上述した変形実施例では、マーカＭ１、Ｍ２が略同じ高さ位置に配置されていることが、特に好ましい。また、側面視において、光軸ＡＲ／ＡＬはマーカ群撮影区間Ｔａｂにおける路面と略平行であることが、特に好ましい。理論値計算部３２が距離Ｄｂを簡易に算出できるからである。

【0137】

上述した変形実施例では、さらに、カメラ１１Ｒ／１１ＬがマーカＭ１、Ｍ２と略同じ高さ位置に配置されていることが、特に好ましい。これによれば、点ＱＲ´が点ＱＲと一致し、距離Ｄａは距離Ｄと等しい。よって、理論値計算部３２は、関係式（２）を用いて直接的に距離Ｄを取得でき、距離Ｄｂの計算を省略できる。

【0138】

（２）上述した実施例では、理論値計算部３２は、調整用画像ＥＲに基づいて視差の理論値Ｆｔを算出したが、これに限られない。例えば、理論値計算部３２は、調整用画像ＥＬに基づいて視差の理論値Ｆｔを算出してもよい。調整用画像ＥＬを用いても、視差の理論値Ｆｔを好適に算出できる。また、例えば、理論値計算部３２は、調整用画像ＥＲに基づいて視差の理論値ＦｔＲを算出し、かつ、調整用画像ＥＬに基づいて視差の理論値ＦｔＬを算出してもよい。この場合、理論値計算部３２は、さらに、視差の理論値ＦｔＲ、ＦｔＬに基づいて１つの視差の理論値Ｆｔを算出してもよい。これによれば、視差の理論値Ｆｔを一層精度よく算出できる。

【0139】

（３）上述した実施例では、測定部３１は、対応関係にある１組の投影点ｍＲ、ｍＬに基づいて、マーカＭ１、Ｍ２のいずれかに関する視差の計測値Ｆｍを取得したが、これに限られない。例えば、測定部３１は、対応関係にある２組の投影点ｍＲ、ｍＬに基づいて、マーカＭ１、Ｍ２の両方に関する視差の計測値Ｆｍを取得してもよい。この場合、測定部３１は、さらに、マーカＭ１に関する視差の計測値ＦｍとマーカＭ２に関する視差の計測値Ｆｍとに基づいて、１つの視差の計測値Ｆｍを算出してもよい。これによれば、視差の計測値Ｆｍを一層精度よく算出できる。

【0140】

（４）上述した実施例では、横方向調整量計算部３３は、視差の計測値Ｆｍが視差の理論値Ｆｔと等しくなるように、横方向調整量Ｈｈを決定したが、これに限られない。例えば、横方向調整量計算部３３は、視差の計測値Ｆｍと視差の理論値Ｆｔとの差が小さくなるように、横方向調整量Ｈｈを決定してもよい。この変形実施例によっても、横シフト量Ｂｈを好適に調整できる。

【0141】

同様に、縦方向調整量計算部３６は、投影点ｍＲの縦方向における位置と、投影点ｍＲと対応する投影点ｍＬの縦方向における位置とが等しくなるように、縦方向調整量Ｈｖを決定したが、これに限られない。例えば、縦方向調整量計算部３６は、投影点ｍＲの縦方向における位置と、投影点ｍＲと対応する投影点ｍＬの縦方向における位置との差が小さくなるように、縦方向調整量Ｈｖを決定してもよい。この変形実施例によっても、縦シフト量Ｂｖを好適に調整できる。

【0142】

回転方向調整量計算部３８は、仮想線ＫＲの傾きと仮想線ＫＬの傾きとが等しくなるように、回転方向調整量Ｈｒを決定したが、これに限られない。例えば、回転方向調整量計算部３８は、仮想線ＫＲの傾きと仮想線ＫＬの傾きとの差が小さくなるように、回転方向調整量Ｈｒを決定してもよい。この変形実施例によっても、回転量Ｂｒを好適に調整できる。

【0143】

（５）上述した実施例では、調整用画像ＥＲ、ＥＬが特定された場合には必ず、横シフト量調整部２７は横シフト量Ｂｈを変更したが、これに限られない。例えば、横シフト量調整部２７は、横方向調整量Ｈｈの値に応じて、選択的に横シフト量Ｂｈを変更してもよい。同様に、上述した実施例では、調整用画像ＥＲ、ＥＬが特定された場合には必ず、縦シフト量調整部２８は、縦シフト量Ｂｖを変更したが、これに限られない。例えば、縦シフト量調整部２８は、縦方向調整量Ｈｖの値に応じて、選択的に縦シフト量Ｂｖを変更してもよい。また、上述した実施例では、調整用画像ＥＲ、ＥＬが特定された場合には必ず、回転量調整部２９は、回転量Ｂｒを変更したが、これに限られない。例えば、回転量調整部２９は、回転方向調整量Ｈｒの値に応じて、選択的に回転量Ｂｒを変更してもよい。

【0144】

図１１を参照する。図１１は、変形実施例に係る撮影装置の構成を示すブロック図である。なお、上述の実施例と同じ構成については同符号を付すことで詳細な説明を省略する。

【0145】

横シフト量調整部２７は、さらに、横方向調整量判定部４１を備えている。横方向調整量判定部４１は、横方向調整量Ｈｈが所定の閾値以上であるか否かを判定する。横方向調整量Ｈｈが所定の閾値以上であると判定された場合、横シフト量変更部３４は、横シフト量Ｂｈを変更する。そうでない場合には、横シフト量変更部３４は、横シフト量Ｂｈを変更しない。

【0146】

同様に、縦シフト量調整部２８は、さらに、縦方向調整量判定部４２を備えている。縦方向調整量判定部４２は、縦方向調整量Ｈｖが所定の閾値以上であるか否かを判定する。縦方向調整量Ｈｖが所定の閾値以上であると判定された場合、縦シフト量変更部３７は、縦シフト量Ｂｖを変更する。そうでない場合には、縦シフト量変更部３７は、縦シフト量Ｂｖを変更しない。

【0147】

回転量調整部２９は、さらに、回転方向調整量判定部４３を備えている。回転方向調整量判定部４３は、回転方向調整量Ｈｒが所定の閾値以上であるか否かを判定する。回転方向調整量Ｈｒが所定の閾値以上であると判定された場合、回転量変更部３９は、回転量Ｂｒを変更する。そうでない場合には、回転量変更部３９は、回転量Ｂｒを変更しない。

【0148】

この変形実施例では、補正パラメータＢｈ、Ｂｖ、Ｂｒが個別に変更される。すなわち、結果的に、補正パラメータＢｈ、Ｂｖ、Ｂｒの全部が変更される可能性、補正パラメータＢｈ、Ｂｖ、Ｂｒの一部が変更される可能性、および、補正パラメータＢｈ、Ｂｖ、Ｂｒのいずれも変更されない可能性がそれぞれある。

【0149】

この変形実施例によれば、横シフト量Ｂｈが過敏に変動することを好適に防ぐことができる。その結果、画像補正部２２は、一層適切に画像ＩＬを補正できる。同様に、縦シフト量Ｂｖおよび回転量Ｂｒが過敏に変動することを好適に防ぐことができる。その結果、画像補正部２２は、さらに一層適切に画像ＩＬを補正できる。

【0150】

（６）上述した実施例では、画像補正部２２は、画像ＩＲ、ＩＬの一方を補正したが、これに限られない。例えば、画像ＩＲ、ＩＬの双方を補正してもよい。この場合、図１１に示すように、補正パラメータ記憶部２１は、画像ＩＲ用の補正パラメータＢｈＲ、ＢｖＲ、ＢｒＲと、画像ＩＬ用の補正パラメータＢｈＬ、ＢｖＬ、ＢｒＬとを記憶してもよい。これによれば、画像補正部２２は、画像ＩＲ、ＩＬをそれぞれ好適に補正できる。

【0151】

また、この変形実施例では、横シフト量調整部２７は、画像ＩＲ用の横シフト量ＢｈＲと、画像ＩＬ用の横シフト量ＢｈＬをそれぞれ調整してもよい。同様に、縦シフト量調整部２８は、縦シフト量ＢｖＲ、ＢｖＬをそれぞれ調整してもよい。回転量調整部２９は、回転量ＢｒＲ、ＢｒＬをそれぞれ調整してもよい。

【0152】

（７）上述した実施例では、画像補正部２２は、画像ＩＬを移動させる処理を行ったが、これに限られない。例えば、画像補正部２２は、画像ＩＬを移動させる処理に加えて、画像の歪み（Distortion）を補正してもよい。これによれば、画像ＩＬを一層好適に補正できる。

【0153】

（８）上述した実施例では、調整用画像ＥＲは画像補正部２２によって補正されていない画像ＩＲであり、調整用画像ＥＬは画像補正部２２によって補正された画像ＩＬｃであったが、これに限られない。例えば、調整用画像ＥＲが画像補正部２２によって補正された画像であり、調整用画像ＥＬが画像補正部２２によって補正されていない画像であってもよい。また、上述した実施例では、調整用画像ＥＲ、ＥＬの一方が画像補正部２２によって補正された画像ＩＬｃであったが、これに限られない。例えば、調整用画像ＥＲ、ＥＬの両方が画像補正部２２によって補正された画像であってもよい。これによっても、横シフト量調整部２７、縦シフト量調整部２８および回転量調整部２９はそれぞれ、補正パラメータＢｈ、Ｂｖ、Ｂｒを好適に調整できる。

【0154】

また、例えば、調整用画像ＥＲ、ＥＬの両方が画像補正部２２によって補正されていない画像であってもよい。具体的には、図１１に示すように、調整用画像特定部２５は、画像ＩＲ、ＩＬが調整用画像ＥＲ、ＥＬであるか否かを判定してもよい。この変形実施例では、横シフト量変更部３４は、横方向調整量Ｈｈを、新たな横シフト量Ｂｈとして設定することが好ましい。これにより、横方向調整量Ｈｈは、新たな横シフト量Ｂｈとして補正パラメータ記憶部２１に記憶される。同様に、縦シフト量変更部３７は、縦方向調整量Ｈｖを、新たな縦シフト量Ｂｖとして設定することが好ましい。回転量変更部３９は、回転方向調整量Ｈｒを、新たな回転量Ｂｒとして設定することが好ましい。これによれば、調整用画像ＥＲ、ＥＬの両方が補正されていない画像である場合に、補正パラメータＢｈ、Ｂｖ、Ｂｒをそれぞれ好適に調整できる。

【0155】

さらに、この変形実施例において、画像ＩＲ、ＩＬが調整用画像ＥＲ、ＥＬであると判定された場合、各調整部２７乃至２９がその調整用画像ＥＲ、ＥＬに基づいて補正パラメータＢｈ、Ｂｖ、Ｂｒを変更し、画像補正部２２が変更された補正パラメータＢｈ、Ｂｖ、Ｂｒを使用して、調整用画像ＥＲ、ＥＬであると判定された画像ＩＲ、ＩＬを補正してもよい。これによれば、実施例で説明した画像再補正部２４を省略することができる。

【0156】

（９）上述した実施例では、調整用画像特定部２５が用いる判定条件１乃至４を例示したが、判定条件は適宜に設計、選択することができる。

【0157】

例えば、調整用画像特定部２５は、判定条件１乃至４に加えて、以下に示す判定条件５を用いてもよい。
判定条件５：差ΔｖＲと差ΔｖＬとの間の差が、閾値以下であること。
ここで、差ΔｖＲは判定条件２に規定され、差ΔｖＬは判定条件４に規定される。

【0158】

また、調整用画像特定部２５は、以下に示す判定条件６乃至９を用いてもよい。
判定条件６：画像ＩＲの投影点ｍＲの個数が２個であること。
判定条件７：一方の投影点ｍＲ１が画像ＩＲの領域ＷＲ１にあり、他方の投影点ｍＲ２が画像ＩＲの領域ＷＲ２にあること。
判定条件８：画像ＩＬの投影点ｍＬの個数が２個であること。
判定条件９：一方の投影点ｍＬ１が画像ＩＬの領域ＷＬ１にあり、他方の投影点ｍＬ２が画像ＩＬの領域ＷＬ２にあること。

【0159】

ここで、各領域ＷＲ１、ＷＲ２はそれぞれ、横軸ｕＲの座標値および縦軸ｖＲの座標値によって規定される。同様に、各ＷＬ１、ＷＬ２はそれぞれ、横軸ｕＬの座標値および縦軸ｖＬの座標値によって規定される。このような変形実施例によっても、調整用画像特定部２５は、画像ＩＲ、ＩＬｃが調整用画像ＥＲ、ＥＬであるか否かを好適に判定できる。

【0160】

（１０）上述した実施例では、横シフト量調整部２７、縦シフト量調整部２８および回転量調整部２９を備えていたが、これに限られない。例えば、これら調整部２７乃至２９のいずれか１つまたは２つを省略してもよい。この変形実施例によっても、車両１が実稼働しているときに、画像処理部１３は補正パラメータＢｈ、Ｂｖ、Ｂｒの少なくとも１つを好適に調整できる。

【0161】

（１１）上述した実施例では、撮影装置５は、２台のカメラ１１Ｒ、１１Ｌを備えていたが、これに限られない。たとえば、撮影装置５は、３台以上のカメラ１１を備えてもよい。すなわち、３台以上のカメラ１１によってステレオカメラを構成してもよい。

【0162】

（１２）上述した実施例では、光軸ＡＲ、ＡＬはそれぞれ、前方向Ｚｆと平行であったが、これに限られない。すなわち、光軸ＡＲ、ＡＬは、前方向Ｚｆと平行でなくてもよい。

【0163】

（１３）上述した実施例では、マーカ群ＭＧは、２つのマーカＭ１、Ｍ２を備えていたが、これに限られない。マーカ群ＭＧは、３以上のマーカＭを備えてもよい。この変形実施例では、マーカＭを適宜な位置に配置してもよい。例えば、実施例で説明した平面Ｐ上に３以上のマーカＭを配置してもよい。また、例えば、平面Ｐ上に２以上のマーカＭを配置し、かつ、平面Ｐから外れた位置に他のマーカＭを配置してもよい。これによれば、横方向調整量Ｈｈ、縦方向調整量Ｈｖおよび回転方向調整量Ｈｒを一層適正に算出できる。

【0164】

（１４）上述した実施例において、車両１は、ゴルフカートであったが、これに限られない。車両１を種々の用途に適用してもよい。例えば、車両１は、農園内を走行するための車両であってもよい。また、車両１は、無人走行車であってもよい。

【0165】

（１５）上述した実施例では、マーカＭ１とマーカＭ２とは、略同じ高さ位置に配置されていたが、これに限られない。例えば、マーカＭ１、Ｍ２の少なくともいずれかの高さ位置を任意に変更してもよい。

【0166】

（１６）上述した実施例および上記（１）から（１５）で説明した各変形実施例については、さらに各構成を他の変形実施例の構成に置換または組み合わせるなどして適宜に変更してもよい。

【符号の説明】

【0167】

１ … 車両
１１Ｒ、１１Ｌ … カメラ（画像センサ）
５ … 撮影装置
１３ … 画像処理部
２１ … 補正パラメータ記憶部
２２ … 画像補正部
２３ … 画像記憶部
２４ … 画像再補正部
２５ … 調整用画像特定部
２６ … 撮影条件記憶部
２７ … 横シフト量調整部
２８ … 縦シフト量調整部
２９ … 回転量調整部
３１ … 測定部
３２ … 理論値計算部
３３ … 横方向調整量計算部
３４ … 横シフト量変更部
ＡＲ、ＡＬ … 光軸
Ｂｈ … 横シフト量
Ｂｖ … 縦シフト量
Ｂｒ … 回転量
Ｄ … 距離
ＥＲ、ＥＬ … 調整用画像
Ｆｍ … 視差の計測値
Ｆｔ … 視差の理論値
Ｈｈ … 横方向調整量
Ｈｖ … 縦方向調整量
Ｈｒ … 回転方向調整量
ＩＲ、ＩＬ、ＩＬｃ … 画像
ＬＭ … マーカの間隔
Ｌｍ … 投影点の間隔
ＭＧ … マーカ群
Ｍ１、Ｍ２ … マーカ（第１マーカ、第２マーカ）
ｍＲ１、ｍＲ２、ｍＬ１、ｍＬ２ … 投影点
Ｐ … 平面
Ｔ … 走路

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】