【解決手段】画角調整方法は、カメラ2による撮影領域に存在し、寸法及びカメラ2からの距離が既知であり基準長を判別可能な既存の物体をターゲットとして設定する工程と、カメラ2によって撮影された画像上で撮像されるマークのサイズを計算する工程と、計算されたサイズとなるようにマークを画像上に表示する工程と、画像上でターゲットの表示をマークに合わせるように、カメラ2の画角を調整する工程と、を含む。マークのサイズを計算する工程は、既知のデータであるカメラ2からターゲットまでの距離に基づいて、マークのサイズを計算する。
前記既存の物体をターゲットとして設定する工程では、前記物体が載置されている載置面の水平面に対する角度が既知である前記既存の物体をターゲットとして設定する請求項1に記載の画角調整方法。
前記既存の物体をターゲットとして設定する工程では、前記カメラのカメラ座標の中心と前記既存の物体の中心が一致している、または、前記既存の物体の中心とのずれ量が既知である当該既存の物体を前記ターゲットとして設定する請求項1又は2に記載の画角調整方法。
【発明を実施するための形態】
【0012】
以下、本発明の好適な実施形態について、図面を参照しながら詳細に説明する。なお、各図において同一部分又は相当部分には同一の符号を付し、重複する説明は省略する。
【0013】
まず、本実施形態に係る画角調整方法を適用可能な支障物検知装置(監視システム)について
図1及び
図2を参照して説明する。
【0014】
(支障物検知装置)
支障物検知装置1は、
図1に示されるように、例えば車両Mに搭載されて車両前方の対象物(例えば落下物B)を検出する。支障物検知装置1は、
図2に示されるように、カメラ2、3DLR(3次元レーザレーダ、3D Laser Radar)3、車輪速センサ4及び支障物検知ユニット5を備えている。
【0015】
支障物検知装置1は、検出された対象物を追跡し、追跡された対象物の中で判定条件を満たすものを支障物として判定する。「支障物」とは、車両Mの走行の妨げになるおそれがある対象物であり、当該対象物を回避するように走行を変更したり、停止して取り除くことが必要となるものである。
【0016】
カメラ2は、車両前方を撮影し、道路及び対象物等の画像情報(検出データ)を取得する。カメラ2で取得された画像情報は、支障物検知ユニット5に入力される。カメラ2は、近距離用カメラ2Aと、遠距離用カメラ2Bとを含む。近距離用カメラ2A及び遠距離用カメラ2Bは、例えば、車両の前後方向において同じ位置に配置され、車幅方向に並んで配置されている。なお、カメラ2のレンズの歪みの影響は十分に小さい。
【0017】
図3に示されるように、近距離用カメラ2Aは、車両前方の第1撮影領域R
2Aを撮影する。第1撮影領域R
2Aは、例えば、車両前方の地点P
1から地点P
3までの範囲である。遠距離用カメラ2Bは、車両前方の第2撮影領域R
2Bを撮影する。第2撮影領域R
2Bは、例えば、地点P
2から地点P
4までの範囲である。車両前方の数百mの範囲を含む。第2撮影領域R
2Bは、第1撮影領域R
2Aの一部を含むと共に、基準位置(車両Mの停車位置、カメラ2の設置位置)からの距離が第1撮影領域R
2A(地点P
3)よりも遠い領域を含んでいる。なお、第1撮影領域R
2A及び第2撮影領域R
2Bの両方に含まれる領域を共通領域R
2Cとする。共通領域R
2Cは、地点P
2から地点P
3までの領域を含む。また、第1撮影領域R
2Aと第2撮影領域R
2Bとは、隣接するように設定されていてもよい。このときの共通領域は、第1撮影領域R
2Aと第2撮影領域R
2Bとの境界となる。
【0018】
3DLR3は、車両前方にレーザを照射して、路上の対象物で反射した反射レーザを受信する。3DLR3で受信した反射レーザに関する情報は、支障物検知ユニット5に入力される。
【0019】
車輪速センサ4は、車両Mの車輪の回転角度に関する情報を取得するセンサである。車輪速センサ4は、例えばエンコーダを備え、このエンコーダは、車輪の回転パルスを計測する。車輪の回転パルスに関する信号は、支障物検知ユニット5に入力される。
【0020】
支障物検知ユニット5は、画像処理部6、3DLR処理部7、線形計算部8、統合処理部9及びシステム統括部10を備えている。支障物検知ユニット5は、演算処理を行うCPU、記憶部となるROM及びRAM、入力信号回路、出力信号回路、電源回路などを備える。
【0021】
システム統括部10は、支障物検知ユニット5の全体の制御を司り、画像処理部6、3DLR処理部7、線形計算部8及び統合処理部9のブロックの生成及び機能の停止を管理する。また、システム統括部10は、後述する表示部15、操作部16及び車両制御部17とのデータの入出力を管理する。
【0022】
画像処理部6は、カメラ2から入力したセンサデータについて画像処理を行う。画像処理部6は、画像処理として、例えば2値化処理を行い、対象物に関する情報、道路の白線に関する情報を検知する。また、カメラ2から入力したセンサデータには、対象物の色相に関する情報、対象物の明度に関する情報、対象物のサイズ(外形寸法)に関する情報、及び対象物の位置に関する情報が含まれる。
【0023】
また、画像処理部6は、センサデータに基づいて、対象物の位置(左右方向の位置、車両Mの進行方向における位置)、対象物のサイズ(幅方向のサイズ、高さ方向のサイズ)、対象物の色相及び明度を算出する。また、画像処理部6は、対象物の周囲の色相及び明度を算出する。
【0024】
画像処理部6は、画像内のピクセルサイズに対して、画角などのカメラパラメータ及び経路の線形情報を照合して、対象物の実際のサイズを算出し判定する。なお、画角とは、例えば、焦点距離f(
図6参照)、設置ピッチング角θ
1(
図7(a)参照)、設置パン角θ
2(
図7(b)参照)などを含む。
【0025】
3DLR処理部7は、3DLR3から入力したセンサデータについてデータ処理を行う。また、3DLRから入力したセンサデータには、対象物の位置(左右方向の位置、車両Mの進行方向における位置、上下方向の位置)が含まれる。
【0026】
3DLR処理部7は、センサデータに基づいて、対象物の位置(左右方向の位置、車両Mの進行方向における位置、上下方向の位置)を算出する。
【0027】
線形計算部8は、記憶部に記憶されている経路の線形情報と、車輪速センサ4で取得された車速とを用いて、車両Mの移動距離を算出する。「経路の線形情報」は、経路の起点となる位置からの距離に対応した経路の3次元の形状に関する情報であり、道路におけるカーブの水平方向の曲率に関する情報、坂道における上下方向の勾配に関する情報を含むものである。線形計算部8は、経路の線形情報及び車速に基づいて、車両Mの起点から位置を示す自車位置情報を算出する。
【0028】
統合処理部9は、複数のセンサから取得された対象物のセンサデータを統合する統合処理を行う。統合処理部9は、追跡処理及び支障物判定処理に適したデータとするために、時間的に異なる複数のセンサデータを時間的に連続するデータとして統合する。
【0029】
統合処理部9は、近距離用カメラ2A、遠距離用カメラ2B又は3DLR3で検知された対象物が支障物であるか否かを判定する。統合処理部9による処理結果は、システム統括部10に出力される。
【0030】
また、支障物検知ユニット5には、表示部15及び操作部16が電気的に接続されている。表示部15は、例えば、液晶表示装置であり、カメラ2で取得した画像を表示する。また、支障物検知ユニット5から出力された情報に基づいて、支障物である対象物を強調表示することで、運転者に報知する。
【0031】
また、操作部16は、例えば液晶表示装置のタッチパネルであり、運転者の操作入力に基づく信号をシステム統括部10に出力する。運転者は、例えば支障物ではないと確認された対象物について入力操作する際に、操作部16を操作する。
【0032】
また、支障物検知装置1には、車両Mの制御を司る車両制御部17が電気的に接続されている。車両制御部17には、例えば警報器18及びブレーキ19が電気的に接続されている。車両制御部17は、システム統括部10からの信号に基づいて、警報器18を制御して警報音を発することができる。また、車両制御部17は、システム統括部10からの信号に基づいて、ブレーキ19を作動させて、車両Mを減速させることができる。
【0033】
(画角調整方法;第1実施形態)
次に、近距離用カメラ2A及び遠距離用カメラ2Bを備えた支障物検知装置1におけるカメラ2の画角調整方法について説明する。
図4に示すフローチャートに沿って説明する。
図4は、画角調整方法の処理手順を示すフローチャートである。
図4に示す処理手順は、例えば、支障物検知装置1の使用前に実施される。例えば、出荷前において、工場内で画角調整方法を実施してもよく、屋外で実施してもよく、走行路上で実施してもよい。また、画角調整方法は車両Mの停止中に実施される。
【0034】
画角調整方法では、まず、作業者は車両M前方にターゲットT
Aを配置する工程を行う(ステップS1)。ターゲットT
Aは、
図5に示されるように、例えば、画面上で矩形の物体として表示されるものである。ターゲットT
Aは、矩形の物体として表示されるものに限定されず、例えば、三角形、円形、台形、線状など、その他の形状の物体として表示されるものでもよい。
【0035】
また、ターゲットT
Aは、
図3に示されるように、車両M前方の共通領域R
2C内に配置される。ターゲットT
Aは、近距離用カメラ2A及び遠距離用カメラ2Bの両方によって撮影可能な位置に配置される。近距離用カメラ2Aによる第1撮影領域R
2Aが、車両前方のS[m]以上4S[m]以下であり、遠距離用カメラ2Bによる第2撮影領域R
2Bが、車両前方の2S[m]以上8S[m]以下の場合には、共通領域R
2Cは、2S[m]以上4S[m]以下の範囲となる。なお、「S」は、任意の数値である。車両MからターゲットT
Aまでの距離L
TAは、例えば3S[m]である。距離L
TAは、例えばカメラ2(近距離用カメラ2A、遠距離用カメラ2B)からターゲットT
Aまでの距離でもよい。
【0036】
なお、ターゲットT
Aとしての物体を配置する代わりに、既存の物をターゲットT
Aとして用いることができる。例えば、道路近傍に配置された標識、道路上の白線、道路上の表示、その他の設置物などをターゲットとして使用してもよい。また、例えば、画像処理部において、車線の両側の白線を検出し、これらの白線に交差する仮想の直線を設定し、この仮想の直線をターゲットT
Aとして設定してもよい。
【0037】
次に、車両MからターゲットT
Aまでの距離を測定する工程を行う(ステップS2)。具体的には、3DLR3が車両前方にレーザを照射して、ターゲットT
Aで反射した反射レーザを受信する。3DLR処理部7は、3DLR3から入力したセンサデータについてデータ処理を行い、ターゲットT
Aの位置を検出する。これにより、車両MからターゲットT
Aまでの距離を測定する。なお、3DLR3を用いて、測定を行うにあたり、3DLRのキャリブレーションを行ってもよい。
【0038】
また、車両MからターゲットT
Aまでの距離L
TAを測定する工程は、3DLR3を用いて実施されるものに限定されず、その他のレーザレーダ、測距装置を用いてもよく、その他の方法により、距離L
TAを測定してもよい。また、車両MからターゲットT
Aまでの距離L
TAが既知である場合には、その値を用いることができる。
【0039】
次に、第1マークC
1の配置を計算する工程を行う(ステップS3)。第1マークC
1は、第1画像J
1上でのターゲットT
Aの表示目標を示すマークである。また、第1画像J
1とは、近距離用カメラ2Aを用いて撮影された画像である。第1マークC
1は、例えば、ターゲットT
Aの外形に対応した形状を成している。例えば、ターゲットT
Aの外形が矩形状である場合には、第1マークC
1は、ターゲットT
Aの外形に対応した矩形状の枠体とすることができる。第1マークC
1は、ターゲットT
Aの外形の一部に対応する形状でもよい。例えば、ターゲットT
Aが矩形状である場合には、この四隅に対応する位置に配置された4つの点でもよい。
【0040】
ステップS3では、例えば、支障物検知ユニット5の画像処理部6が演算処理を行う。
図6は、カメラの撮像素子とターゲットとの位置関係を示す図である。この場合のカメラは、近距離用カメラ2Aであり、撮像素子21及びレンズ22は、近距離用カメラ2Aの撮像素子21及びレンズ22である。
【0041】
図6に示されるように、焦点距離f[mm]、カメラ2(車両M)からターゲットT
Aまでの距離L
TA[mm]、撮像素子の素子サイズa[mm]、ターゲットT
Aの視野b[mm]は、以下の比例式(1)を満たす。
f:a=L
TA:b…(1)
【0042】
上記の比例式(1)において、焦点距離f及び素子サイズaは、既知である。カメラ2からターゲットT
Aまでの距離L
TAは、ステップS2で算出された値を用いることができる。これらの値(a、b、L
TA)を比例式(1)に代入して、視野bを算出することができる。
【0043】
このように比例式(1)を用いて、ターゲットTの位置の水平視野b
X[mm]、垂直視野b
Y[mm]を求めることができる。このとき、カメラの画像の解像度(例えばフルHD:水平1920[pixel]、垂直1080[pixel])は、既知である。そのため、ターゲットの位置における水平方向Xの分解能Gx(=1920/水平視野b
X)[pixel/mm]と、垂直方向Yの分解能G
Y(=1080/垂直視野b
Y)[pixel/mm]を求めることができる。
【0044】
ターゲットT
Aの実際のサイズ[mm]も既知であるため、画像処理部6は、上記の分解能Gx、G
Yを用いて、画像上に撮像される第1マークC
1のサイズ[pixel]を計算することができる。
【0045】
次に、第1画像J
1上に第1マークC
1を表示する工程を行う(ステップS4)。ステップS4では、ステップS3で計算された配置となるように第1マークC
1を第1画像J
1上に表示する。画像処理部6は、ステップS3で算出した第1マークC
1のサイズ(Tx、Ty)を適用して、
図5に示されるように、第1画像J
1上に、第1マークC
1を表示する。なお、第1マークC
1を表示する位置(画像上の表示位置(x、y))は、使用者が任意に設定することができる。例えば、画像の中央に、第1マークC
1が表示されるように、第1マークC
1の表示位置を決定してもよい。
【0046】
次に、近距離用カメラ2Aの画角を調整する工程を行う(ステップS5)。具体的には、第1画像J
1上において、表示された第1マークC
1とターゲットT
Aとが一致するように、近距離用カメラ2Aの画角を調整する。例えば、作業員が手動で近距離用カメラ2Aを操作して、近距離用カメラ2Aの画角を調整してもよく、支障物検知ユニット5から信号を出力してアクチュエータを駆動して自動で調整してもよい。
【0047】
ステップS5では、例えば、近距離用カメラ2Aの焦点距離f、近距離用カメラ2Aの設置ピッチング角θ
1、近距離用カメラ2Aの設置パン角θ
2を調整する。近距離用カメラ2Aのレンズ22の位置を移動させて、焦点距離fを変えることができる。
図7(a)は、近距離用カメラ2Aの設置ピッチング角θ
1を示す側面図である。
図7(a)に示されるように、例えば水平方向に延在する軸線Dと、近距離用カメラ2Aの光軸L
2とが交差する角度を設置ピッチング角θ
1とすることができる。例えば、近距離用カメラ2Aを支持する支持台を傾斜させることで、設置ピッチング角θ
1を調整することができる。
【0048】
図7(b)は、近距離用カメラ2Aの設置パン角θ
2を示す平面図である。
図7(b)に示されるように、例えば車両Mの前後方向に延在する軸線Eと、近距離用カメラ2Aの光軸L
2とが交差する角度を設置パン角θ
2とすることができる。例えば、近距離用カメラ2Aを支持する支持台を鉛直方向に延在する軸線回りに回転移動させることで、設置パン角θ
2を調整することができる。
【0049】
次に、第2マークC
2の配置を計算する工程を行う(ステップS6)。第2マークC
2は、第2画像J
2上でのターゲットT
Aの表示目標を示すマークである。また、第2画像J
2とは、遠距離用カメラ2Bを用いて撮影された画像である。第2マークC
2は、例えば、ターゲットT
Aの外形に対応した形状を成している。例えば、ターゲットT
Aの外形が矩形状である場合には、第2マークC
2は、ターゲットT
Aの外形に対応した矩形状の枠体とすることができる。第2マークC
2は、ターゲットT
Aの外形の一部に対応する形状でもよい。例えば、ターゲットT
Aが矩形状である場合には、この四隅に対応する位置に配置された4つの点でもよい。
【0050】
ステップS6では、例えば、支障物検知ユニット5の画像処理部6で演算処理を行う。ここでの処理は、ステップS3と同様の手順で遠距離用カメラ2Bについて実施することができる。そのため詳細な説明は省略する。
【0051】
次に、第2画像J
2上に第2マークC
2を表示する工程を行う(ステップS7)。ステップS7では、ステップS6で計算された配置となるように第2マークC
2を第2画像J
2上に表示する。画像処理部6は、ステップS6で算出した第2マークC
2のサイズ(Tx、Ty)を適用して、第2画像J
2上に、第2マークC
2を表示する。なお、第2マークC
2を表示する位置(画像上の表示位置(x、y))は、使用者が任意に設定することができる。例えば、画像の中央に、第2マークC
2が表示されるように、第2マークC
2の表示位置を決定してもよい。なお、
図5は、第1画像J
1及び第2画像J
2として例示しているが、第1画像J
1と第2画像J
2とは、異なる画像であり、各画像において、ターゲットT
A同士は、異なる大きさであり、第1マークC
1と第2マークC
2とは、異なる大きさとなる。
【0052】
次に、遠距離用カメラ2Bの画角を調整する工程を行う(ステップS8)。具体的には、第2画像J
2上において、表示された第2マークC
2とターゲットT
Aとが一致するように、遠距離用カメラ2Bの画角を調整する。例えば、作業員が手動で調整してもよく、支障物検知ユニット5から信号を出力してアクチュエータを駆動して自動で調整してもよい。
【0053】
ステップS8では、例えば、遠距離用カメラ2Bの焦点距離f、遠距離用カメラ2Bの設置ピッチング角θ
1、遠距離用カメラ2Bの設置パン角θ
2を調整する。遠距離用カメラ2Bのレンズ22の位置を移動させて、焦点距離fを変えることができる。また、例えば、遠距離用カメラ2Bを支持する支持台を傾斜させることで、設置ピッチング角θ
1を調整することができる。また、例えば、遠距離用カメラ2Bを支持する支持台を鉛直方向に延在する軸線回りに回転移動させることで、設置パン角θ
2を調整することができる。
【0054】
以上説明したように、この画角調整方法によれば、近距離用カメラ2Aによって撮影される第1撮影領域R
2Aと、遠距離用カメラ2Bによって撮影される第2撮影領域R
2Bとの両方に含まれる共通領域R
2CにターゲットT
Aを設定し、同一のターゲットT
Aを用いて、近距離用カメラ2Aにおける画角調整と、遠距離用カメラ2Bにおける画角調整とを行うことができる。これにより、近距離用カメラ2Aの画角調整で使用するターゲットT
Aと、遠距離用カメラ2Bの画角調整で使用するターゲットT
Aとを別々に配置する必要がなく、画角調整における手順を簡素化することができる。また、同一のターゲットT
Aを撮影することで、近距離用カメラ2Aで取得されたターゲットT
Aの画像データと、遠距離用カメラ2Bで取得されたターゲットT
Bの画像データとを容易に比較することができる。そのため、取得された画像データに基づく、対象物の検出精度の向上を図ることができる。
【0055】
例えば、近距離用カメラ2Aに対して1つのターゲットを準備し、遠距離用カメラ2Bに対して1つのターゲットを準備して、合計2つのターゲットを準備して、画角調整を行った場合には、それぞれのカメラに対してターゲットの設置場所が異なるため、それぞれで設置誤差が発生するおそれがある。この場合には、各カメラで異なるターゲットを撮影して画角調整を行っているため、それぞれのターゲットにおける設置誤差を含み、両方のカメラで同時に撮影される共通領域に存在する同一物体の検出位置がずれる可能性があり、画像処理部6における画像処理(物体検知)、統合処理部9における統合処理、判定処理等の精度に影響が出る可能性がある。
【0056】
これに対して、共通領域R
2Cに配置された同一のターゲットT
Aを用いて、近距離用カメラ2A及び遠距離用カメラ2Bの画角を調整する場合には、ターゲットT
Aの設置誤差として、共通の設置誤差が1つだけ生じることになる。また、同一のターゲットT
Aを見て、画角を調整することができるので、後段の画像処理による物体検知において、近距離用カメラ2Aと遠距離用カメラ2Bとの間で、同一物体の検出位置の差が小さくなる。
【0057】
(画角調整方法;第2実施形態)
次に、第2実施形態として、メインテナンス時における画角調整方法について説明する。メインテナンス時とは、例えば、支障物検知装置1を一定時間使用した後に実施される定期点検時などである。なお、メインテナンス時における画角調整方法の説明において、上記の画角調整方法と同様の説明は省略する。また、メインテナンス時における画角調整方法では、例えば、使用前に実行した画角調整方法と同じ位置に車両Mを配置し、同じ方向に車両Mを向け、同じ位置にターゲットT
Aを配置する。
【0058】
図4に示されるように、使用前における画角調整方法における手順と同様に、まず、ステップS1からS4の処理を行う。
【0059】
次に、
図8(a)に示されるように、第1画像J
1上でのターゲットT
Aと第1マークC
1との第1ずれ量を計測する工程を行う(ステップS21)。第1マークC
1の配置は、例えば、初回と同じである。第1ずれ量として、例えば、ターゲットT
Aの中心点と、第1マークC
1の中心点との位置のずれ量[mm]を計測してもよく、ターゲットT
Aの角部と、対応する第1マークC
1の角部との位置のずれ量を計測してもよく、その他の対応する位置同士のずれ量を計測してもよい。第1ずれ量の計測は、例えば、画像処理部6において演算処理を行うことで実施可能である。
【0060】
次に、第1ずれ量を記憶する工程を行う(ステップS22)。支障物検知ユニット5は、ステップS21で計測された第1ずれ量に関するデータを支障物検知ユニット5の記憶部に記憶する。
【0061】
次に、第1ずれ量が判定閾値以上であるか否かを判定する工程を行う(ステップS23)。支障物検知ユニット5は、第1ずれ量が判定閾値以上であるか否かを判定する判定部を含む。支障物検知ユニット5の判定部は、ステップS21で計測された第1ずれ量が判定閾値(第1判定閾値)以上であるか否かの判定を行う。この判定閾値は、近距離用カメラ2Aの画角調整が必要であるか否かを判定するための閾値であり、例えば、実験データ、過去のデータに基づいて決定することができる。
【0062】
ステップS23において、第1ずれ量が判定閾値以上である場合には(ステップS23;YES)、ステップS5に進み、近距離用カメラ2Aの画角を調整する工程を実施した後に、ステップS6に進む。一方、第1ずれ量が判定閾値未満である場合には(ステップS23;NO)、ステップS5の画角を調整する工程を実行せずに、ステップS6に進む。
【0063】
次に、
図4に示すステップS6、S7を実施した後、
図8(b)に示されるように、第2画像J
2上でのターゲットT
Aと第2マークC
2との第2ずれ量を計測する工程を行う(ステップS31)。第2ずれ量として、例えば、ターゲットT
Aの中心点と、第2マークC
2の中心点との位置のずれ量[mm]を計測してもよく、ターゲットT
Aの角部と、対応する第2マークC
2の角部との位置のずれ量を計測してもよく、その他の対応する位置同士のずれ量を計測してもよい。第2ずれ量の計測は、例えば、画像処理部6において演算処理を行うことで実施可能である。
【0064】
次に、第2ずれ量を記憶する工程を行う(ステップS32)。支障物検知ユニット5は、ステップS31で計測された第2ずれ量に関するデータを支障物検知ユニット5の記憶部に記憶する。
【0065】
次に、第2ずれ量が判定閾値以上であるか否かを判定する工程を行う(ステップS33)。支障物検知ユニット5は、第2ずれ量が判定閾値以上であるか否かを判定する判定部を含む。支障物検知ユニット5の判定部は、ステップS31で計測された第2ずれ量が判定閾値(第2判定閾値)以上であるか否かの判定を行う。この判定閾値は、遠距離用カメラ2Bの画角調整が必要であるか否かを判定するための閾値であり、例えば、実験データ、過去のデータに基づいて決定することができる。
【0066】
ステップS33において、第2ずれ量が判定閾値以上である場合には(ステップS33;YES)、ステップS8に進み、遠距離用カメラ2Bの画角を調整する工程を実施した後に、ステップS8に進む。一方、第2ずれ量が判定閾値未満である場合には(ステップS33;NO)、ステップS8の画角を調整する工程を実行せずに、終了する。
【0067】
このような画角調整方法によれば、第1ずれ量が判定閾値以上の場合にのみ、ステップS5において近距離用カメラ2Aの画角を調整することができ、第1ずれ量が判定閾値未満の場合には、近距離用カメラ2Aの画角調整を実施しないようにすることができる。これにより、例えば、第1ずれ量が判定閾値未満であり、わずかな場合には、画角調整を実施しないので、画角調整により第1ずれ量が大きく変化することを防止することができる。この場合には、記憶部に記憶された第1ずれ量を考慮して、後段の画像処理における物体検出を実行することができる。そのため、わずかな第1ずれ量を維持したまま、精度良く物体検出を行うことができる。不用な画角調整を行う必要がないので、手順の簡略化を図ることができる。
【0068】
また、第2ずれ量が判定閾値以上の場合にのみ、ステップS8において遠距離用カメラ2Bの画角を調整することができ、第2ずれ量が判定閾値未満の場合には、遠距離用カメラ2Bの画角調整を実施しないようにすることができる。これにより、例えば、第2ずれ量が判定閾値未満であり、わずかな場合には、画角調整を実施しないので、画角調整により第2ずれ量が大きく変化することを防止することができる。この場合には、記憶部に記憶された第2ずれ量を考慮して、後段の画像処理における物体検出を実行することができる。そのため、わずかな第2ずれ量を維持したまま、精度良く物体検出を行うことができる。不用な画角調整を行う必要がないので、手順の簡略化を図ることができる。
【0069】
(画角調整方法;第3実施形態)
次に、第3実施形態として、メインテナンス時における画角調整方法について説明する。なお、第3実施形態の説明において、上記の第1、第2実施形態と同様の説明は省略する。
【0070】
この画角調整方法では、初回(例えば使用前)の画角調整後において、第1画像J
1上のターゲットT
Aの位置、大きさ等のデータを記憶部に記憶させておく。同様に、初回の画角調整後において、第2画像J
2上のターゲットT
Aの位置、大きさ等のデータを記憶部に記憶させておく。
【0071】
そして、次回のメインテナンス時に画角調整方法を実施する際に、初回(前回)のデータと比較してずれ量K
1、K
2を検出すると共に、第1画像J
1上での第1ずれ量K
1と第2画像J
2上での第2ずれ量K
2とを比較する工程を行う。
【0072】
まず、
図9(a)に示された第2画像J
2上での第2ずれ量K
2と、
図9(b)に示された第1画像J
1上での第1ずれ量K
1との比較について説明する。
図9(a)は、遠距離用カメラ2Bで撮影された第2画像J
2であり、第2画像J
2上に表示されたターゲットT
A及び第2マークC
2を示す図である。
図9(b)は、近距離用カメラ2Aで撮影された第1画像J
1であり、第1画像J
1上に表示されたターゲットT
A及び第1マークC
1を示す図である。
【0073】
図9(a)において、第2マークC
2が表示される位置は、初回の画角調整後のターゲットT
Aの位置と同じであり、記憶部に記憶されたデータである。初回の画角調整後から一定期間の使用後のメインテナンス前において、近距離用カメラ2Aの画角に変化がない場合には、第2画像J
2上に表示されたターゲットT
Aと第2マークC
2と位置は一致する可能性が高い。
【0074】
図9(a)では、メインテナンス時の画角調整前のターゲットT
Aの表示位置は、初回の画角調整後の位置(第2マークC
2)からずれている。第2画像J
2上では、右斜め上方にずれている。このとき、第2画像J
2上において、第2ずれ量K
2を示す表示として、矢印を表示させてもよい。
【0075】
図9(b)において、第1マークC
1が表示される位置は、初回の画角調整後のターゲットT
Aの位置と同じであり、記憶部に記憶されたデータである。初回の画角調整後から一定期間の使用後のメインテナンス前において、近距離用カメラ2Aの画角に変化がない場合には、第1画像J
1上に表示されたターゲットT
Aと第1マークC
1と位置は一致する可能性が高い。
【0076】
図9(b)では、メインテナンス時の画角調整前のターゲットT
Aの表示位置は、初回の画角調整後の位置(第1マークC
1)からずれている。第1画像J
1上では、右斜め上方にずれている。このとき、第1画像J
1上において、第1ずれ量K
1を示す表示として、矢印を表示させてもよい。
【0077】
例えば、画像処理部6は、第1画像J
1上での第1ずれ量K
1と、第2画像J
2上での第2ずれ量K
2とを比較する。例えば、支障物検知ユニット5は、第1画像J
1上での第1ずれ量K
1の方向と、第2画像J
2上での第2ずれ量K
2の方向とが、一致しているか否かを判定する。
図9(a)、(b)に示す場合には、ずれ量K
1、K
2を示す矢印が向く方向が同じであるので、支障物検知ユニット5は、第1画像J
1上での第1ずれ量K
1の方向と、第2画像J
2上での第2ずれ量K
2の方向とが一致すると判定する。
【0078】
図9(a)、(b)に示されるように、ずれが同じ方向である場合に、近距離用カメラ2A及び遠距離用カメラ2Bにおいて、それぞれの設置ピッチング角及び設置パン角のずれの影響は小さく、今回の画角調整時の車両Mの設置位置、車両Mの向き等が、前回の画角調整時と比較してずれているおそれがある。この場合には、支障物検知ユニット5の判定部は、画角調整を行わないことを決定することができる。
【0079】
次に、
図9(c)に示された第2画像J
2上での第2ずれ量K
2と、
図9(d)に示された第1画像J
1上での第1ずれ量K
1との比較について説明する。
図9(c)は、遠距離用カメラ2Bで撮影された第2画像J
2であり、第2画像J
2上に表示されたターゲットT
A及び第2マークC
2を示す図である。
図9(b)は、近距離用カメラ2Aで撮影された第1画像J
1であり、第1画像J
1上に表示されたターゲットT
A及び第1マークC
1を示す図である。
【0080】
なお、
図9(c)は、
図9(a)と同一であるので、ここでの説明は省略する。
図9(d)において、第1マークC
1が表示される位置は、
図9(b)と同じである。
【0081】
図9(d)では、メインテナンス時の画角調整前のターゲットT
Aの表示位置は、初回の画角調整後の位置(第1マークC
1)からずれている。第1画像J
1上では、右斜め下方にずれている。このとき、第1画像J
1上において、第1ずれ量K
1を示す表示として、矢印を表示させてもよい。
【0082】
例えば、画像処理部6は、第1画像J
1上での第1ずれ量K
1と、第2画像J
2上での第2ずれ量K
2とを比較し、第1画像J
1上での第1ずれ量K
1の方向と、第2画像J
2上での第2ずれ量K
2の方向とが、一致しているか否かを判定する。
図9(c)、(d)に示す場合には、ずれ量K
1、K
2を示す矢印が向く方向が異なるので、支障物検知ユニット5は、第1画像J
1上での第1ずれ量K
1の方向と、第2画像J
2上での第2ずれ量K
2の方向とが一致しないと判定する。
【0083】
図9(c)、(d)に示されるように、ずれが異なる方向である場合に、近距離用カメラ2A及び遠距離用カメラ2Bの少なくとも一方において、設置ピッチング角及び設置パン角の少なくとも一方がずれている可能性がある。設置ピッチング角、設置パン角がずれる原因としては、車両Mの走行による振動の影響が考えられる。この場合には、支障物検知ユニット5の判定部は、画角調整を行うことを決定することができる。この場合には、近距離用カメラ2Aの画角を調整する工程(ステップS4)及び遠距離用カメラ2Bの画角を調整する工程(ステップS8)を実行する。
【0084】
また、例えば、第1画像J
1上での第1ずれ量K
1と、第2画像J
2上での第2ずれ量K
2とを比較する工程において、ずれ量K
1、K
2の大きさ(矢印の長さ)を比較してもよい。また、「第1画像J
1におけるターゲットT
Aの外形と第1マークC
1の外形との変化の倍率」と、「第2画像J
2におけるターゲットT
Bの外形と第2マークの外形との変化の倍率」とを比較してもよい。これにより、前回の画角調整時と比較して、カメラの画角がずれているのか、カメラの画角はずれていないが、その他の原因でずれが生じているのかを判定することができる。例えば、外形の変化の倍率が、第1画像J
1と第2画像J
2とで異なる場合には、車両Mの振動の影響により、焦点距離fの調整に問題が生じたおそれがある。
【0085】
(画角調整方法;変形例)
次に、
図10及び
図11を参照して変形例に係る支障物検知装置及び画角調整方法について説明する。なお、変形例の説明において、上記の第1〜第3実施形態と同様の説明は省略する。
【0086】
図10に示される変形例に係る支障物検知装置1が、
図2に示される上記実施形態の支障物検知装置1と違う点は、近距離用カメラ2A及び遠距離用カメラ2Bに代えて、1台のカメラ2を備える点、3DLRを備えていない点である。また、支障物検知装置1の支障物検知ユニット5は、3DLR処理部7を備えていない点で、支障物検知装置1の支障物検知ユニット5と異なっている。
【0087】
変形例に係る画角調整方法では、
図11に示されるように、作業者は、既存の物体をターゲットとして設定する(ステップS11)。この既存の物体は、カメラ2による撮影領域に存在するものである。この既存の物体の寸法(例えば高さ)は既知であり、カメラ2から既存の物体までの距離も既知である。この既存の物体は、基準長が分かる物体である。既存の物体の基準長とは、例えば、道路の幅、レールの幅である。
【0088】
また、ステップS11では、物体が載置されている載置面の水平面に対する角度が既知である既存の物体をターゲットとして設定する。例えば、物体の基準長の長手方向と水平方向と角度が既知である物体をターゲットとして設定する。物体が載置されている載置面の水平面に対する角度は、支障物検知装置1の記憶部に記憶されている。
【0089】
また、ステップS11では、カメラ2のカメラ座標の中心と既存の物体の中心とのずれ量が既知である当該既存の物体をターゲットとして設定する。なお、既存の物体の中心は、カメラ2のカメラ座標の中心と一致しているものでもよい。
【0090】
ステップ11では、例えば、作業者は、操作部16を用いて操作入力を行い、既存の物体を指定して、当該物体をターゲットとして設定する。支障物検知ユニット5は、操作部16から入力された情報に基づいて、既存の物体をターゲットとして認識する。
【0091】
次に、支障物検知ユニット5は、カメラ2からターゲットまでの距離を読み取る(ステップS12)。支障物検知ユニット5は、記憶部に記憶されているターゲットまでの距離に関するデータ(既知のデータ)を読み取る。
【0092】
次に、マークの配置を計算する工程を行う(ステップS13)。マークは、画像上でのターゲットの表示目標を示すマークである。ここでの画像は、カメラ2を用いて撮影された画像である。
【0093】
次に、画像上にマークを表示する工程を行う(ステップS14)。ステップS14では、ステップS13で計算された配置となるようにマークを画像上に表示する。画像処理部6は、ステップS13で算出したマークのサイズを適用して、画像上に、マークを表示する。
【0094】
次に、カメラ2の画角を調整する工程を行う(ステップS15)。具体的には、画像上において、表示されたマークとターゲットとが一致するように、カメラ2の画角を調整する。
【0095】
このような画角調整方法によれば、カメラ2の撮影領域に存在する既知の物体をターゲットとして設定し、このターゲットの既知のデータである寸法及びカメラ2からの距離を用いて、カメラ2の画角調整を行うことができる。これにより、ターゲットとなる物体をわざわざ配置する必要がなく、支障物検知装置における画角調整の手順の簡素化を図ることができる。
【0096】
また、既存の物体をターゲットとして設定する工程(ステップS11)では、物体が載置されている載置面の水平面に対する角度が既知である既存の物体をターゲットとして設定している。これにより、その後のマークの配置を計算する工程では、既知のデータであるカメラからターゲットまでの距離のみに基づいて、マークの配置を計算することができる。
【0097】
また、既存の物体をターゲットとして設定する工程(ステップS11)では、カメラ2のカメラ座標の中心とのずれ量が既知である当該既知の物体をターゲットとして設定している。これにより、カメラ座標の中心と、ターゲットとの中心のずれ量を計測する必要がない。または、既知である物体の中心のカメラ座標に対するずれ量に基づいて、支障物検知装置1における画角調整を行うことができる。
【0098】
本発明は、前述した実施形態に限定されず、本発明の要旨を逸脱しない範囲で下記のような種々の変形が可能である。
【0099】
例えば、上記実施形態の画角調整方法において、処理手順を適宜入れ替えて実行することもできる。上記実施形態では、
図4に示されるように、ステップS3〜S5を実行して近距離用カメラ2Aの画角を調整した後に、ステップS6〜S8を実行して遠距離用カメラ2Bの画角を調整しているが、ステップS6〜S8を実行して遠距離用カメラ2Bの画角を調整した後に、ステップS3〜S5を実行して近距離用カメラ2Aの画角を調整してもよい。
【0100】
また、ステップS3の第1マークC
1の配置を計算する工程及びステップS6の第2マークC2の配置を計算する工程を事前に実行し、計算結果を記憶部に記憶させておいてもよい。そして、ステップS4において、記憶部からデータを読み取り第1画像J
1上に第1マークC
1を表示し、同様にステップS7において、記憶部からデータを読み取り第2画像J
2上に第2マークC
2を表示してもよい。
【0101】
また、上記実施形態では、近距離用カメラ2A及び遠距離用カメラ2Bを備えた監視システムにおける画角調整方法について説明しているが、撮影領域が異なる3種類以上のカメラを備えた監視システムに画角調整方法を適用することもできる。この場合には、3種類以上のカメラのうちの任意の2台のカメラについて適用することができる。
【0102】
また、上記実施形態では、支障物検知システムを車両に搭載した場合について説明しているが、支障物検知システムを車両以外の移動体に搭載してもよい。例えば、ロボット、飛行機、船舶、鉄道などに、支障物検知システムを搭載してもよい。また、支障物検知システムは、移動体に搭載せずに、その他の場所や物に設置してもよい。例えば、工場、店舗、病院、空港、駅、走行路周辺の建築物などに、支障物検知システムを設置して、危険のおそれがある対象物を支障物として検知してもよい。なお、対象物は静止物に限定されず、移動する物、人、動物でもよい。また、支障物は、危険な対象物に限定されず、障害となる対象物、特定の条件に合致する対象物でもよい。