特開2020-198639(P2020-198639A)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社IHIの特許一覧

<>
  • 特開2020198639-画角調整方法 図000003
  • 特開2020198639-画角調整方法 図000004
  • 特開2020198639-画角調整方法 図000005
  • 特開2020198639-画角調整方法 図000006
  • 特開2020198639-画角調整方法 図000007
  • 特開2020198639-画角調整方法 図000008
  • 特開2020198639-画角調整方法 図000009
  • 特開2020198639-画角調整方法 図000010
  • 特開2020198639-画角調整方法 図000011
  • 特開2020198639-画角調整方法 図000012
  • 特開2020198639-画角調整方法 図000013
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】特開2020-198639(P2020-198639A)
(43)【公開日】2020年12月10日
(54)【発明の名称】画角調整方法
(51)【国際特許分類】
   H04N 5/232 20060101AFI20201113BHJP
   H04N 7/18 20060101ALI20201113BHJP
【FI】
   H04N5/232 960
   H04N7/18 J
   H04N5/232 990
【審査請求】有
【請求項の数】3
【出願形態】OL
【全頁数】19
(21)【出願番号】特願2020-146032(P2020-146032)
(22)【出願日】2020年8月31日
(62)【分割の表示】特願2017-33690(P2017-33690)の分割
【原出願日】2017年2月24日
(71)【出願人】
【識別番号】000000099
【氏名又は名称】株式会社IHI
(74)【代理人】
【識別番号】100088155
【弁理士】
【氏名又は名称】長谷川 芳樹
(74)【代理人】
【識別番号】100113435
【弁理士】
【氏名又は名称】黒木 義樹
(74)【代理人】
【識別番号】100170818
【弁理士】
【氏名又は名称】小松 秀輝
(74)【代理人】
【識別番号】100176245
【弁理士】
【氏名又は名称】安田 亮輔
(72)【発明者】
【氏名】園田 信一郎
(72)【発明者】
【氏名】渡辺 将旭
(72)【発明者】
【氏名】林 俊寛
(72)【発明者】
【氏名】大田 尚
【テーマコード(参考)】
5C054
5C122
【Fターム(参考)】
5C054CA04
5C054CC02
5C054CF06
5C054CF07
5C054CG06
5C054EA01
5C054EA05
5C054FA04
5C054FC03
5C054FC07
5C054FC12
5C054FC14
5C054FC15
5C054FD03
5C054FE09
5C054FE12
5C054FE19
5C054FE28
5C054FF02
5C054FF06
5C054HA30
5C122DA14
5C122EA66
5C122EA67
5C122FA01
5C122FA18
5C122FE05
5C122FH11
5C122FK23
5C122FK24
5C122FK37
5C122FK41
5C122GD06
5C122HA88
5C122HB01
5C122HB10
(57)【要約】
【課題】監視システムにおける画角調整の手順の簡素化を図る。
【解決手段】画角調整方法は、カメラ2による撮影領域に存在し、寸法及びカメラ2からの距離が既知であり基準長を判別可能な既存の物体をターゲットとして設定する工程と、カメラ2によって撮影された画像上で撮像されるマークのサイズを計算する工程と、計算されたサイズとなるようにマークを画像上に表示する工程と、画像上でターゲットの表示をマークに合わせるように、カメラ2の画角を調整する工程と、を含む。マークのサイズを計算する工程は、既知のデータであるカメラ2からターゲットまでの距離に基づいて、マークのサイズを計算する。
【選択図】図11
【特許請求の範囲】
【請求項1】
カメラを備えた監視システムにおける画角調整方法であって、
前記カメラによる撮影領域に存在し、寸法及び前記カメラからの距離が既知であり基準長を判別可能な既存の物体をターゲットとして設定する工程と、
前記カメラによって撮影された画像上で撮像されるマークのサイズを計算する工程と、
計算されたサイズとなるように前記マークを前記画像上に表示する工程と、
前記画像上で前記ターゲットの表示を前記マークに合わせるように、前記カメラの画角を調整する工程と、を含み、
前記マークのサイズを計算する工程は、既知のデータである前記カメラから前記ターゲットまでの距離に基づいて、前記マークのサイズを計算する画角調整方法。
【請求項2】
前記既存の物体をターゲットとして設定する工程では、前記物体が載置されている載置面の水平面に対する角度が既知である前記既存の物体をターゲットとして設定する請求項1に記載の画角調整方法。
【請求項3】
前記既存の物体をターゲットとして設定する工程では、前記カメラのカメラ座標の中心と前記既存の物体の中心が一致している、または、前記既存の物体の中心とのずれ量が既知である当該既存の物体を前記ターゲットとして設定する請求項1又は2に記載の画角調整方法。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、カメラを備えた監視システムにおける画角調整方法に関する。
【背景技術】
【0002】
例えば、監視カメラの設定方法として、3点のマーカーを検出して、監視エリアを設定する方法がある(例えば、特許文献1参照)。この設定方法では、監視対象水平面上に3点のマーカーを設定し、画像処理によりこれらのマーカーを検出している。この設定方法では、3点のマーカーの間隔及びカメラ高さの情報を利用してカメラパラメータの計算を行い、計算されたカメラパラメータを使用して監視エリアを設定している。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2001−204007号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、従来のように複数のマーカーを配置して、カメラの設定を行うと作業が煩雑であった。例えば、複数のカメラを備えるシステムにおいては、カメラごとにマーカーを設定する必要があった。
【0005】
本発明は、カメラを備えた監視システムにおける画角調整の手順の簡素化を図ることが可能な画角調整方法を提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明の画角調整方法は、カメラを備えた監視システムにおける画角調整方法であって、カメラによる撮影領域に存在し、寸法及びカメラからの距離が既知であり基準長を判別可能な既存の物体をターゲットとして設定する工程と、カメラによって撮影された画像上で撮像されるマークのサイズを計算する工程と、計算されたサイズとなるようにマークを画像上に表示する工程と、画像上でターゲットの表示をマークに合わせるように、カメラの画角を調整する工程と、を含み、マークのサイズを計算する工程は、既知のデータであるカメラからターゲットまでの距離に基づいて、マークのサイズを計算する。
【0007】
この画角調整方法では、カメラの撮影領域に存在する既知の物体をターゲットとして設定し、このターゲットの既知のデータである寸法及びカメラからの距離を用いて、カメラの画角調整を行うことができる。これにより、ターゲットとなる物体をわざわざ配置する必要がなく、監視システムにおける画角調整の手順の簡素化を図ることができる。
【0008】
また、既存の物体をターゲットとして設定する工程では、物体が載置されている載置面の水平面に対する角度が既知である既存の物体をターゲットとして設定する。これにより、マークの配置を計算する工程では、既知のデータであるカメラからターゲットまでの距離のみに基づいて、マークの配置を計算することができる。
【0009】
また、既存の物体をターゲットとして設定する工程では、カメラのカメラ座標の中心と既存の物体の中心が一致している、または、既存の物体の中心とのずれ量が既知である当該既存の物体をターゲットとして設定する。これにより、カメラ座標の中心と、ターゲットとの中心のずれ量を計測する必要がない。または、既知である物体の中心のカメラ座標に対するずれ量に基づいて、監視システムにおける画角調整を行うことができる。
【発明の効果】
【0010】
本発明によれば、近距離用カメラ及び遠距離用カメラを備えた監視システムにおいて、画角調整の手順の簡素化を図ることができる。また、本発明によれば、カメラを備えた監視システムにおいて、画角調整の手順の簡素化を図ることができる。
【図面の簡単な説明】
【0011】
図1】支障物検知装置を搭載する車両が高速道路を走行する状態を示す斜視図である。
図2】画角調整方法を適用可能な支障物検知装置を示すブロック構成図である。
図3】近距離用カメラによる撮影領域、遠距離用カメラによる撮影領域、及びターゲットの配置を示す概略側面図である。
図4】画角調整方法における処理手順を示すフローチャートである。
図5】画像上に表示されたターゲットとマークとを示す図である。
図6】カメラの撮像素子とターゲットとの位置関係を示す図である。
図7図7(a)は、カメラの設置ピッチング角を示す側面図である。図7(b)は、カメラの設置パン角を示す平面図である。
図8図8(a)は、メインテナンス時の近距離用カメラにおける画角調整方法の処理手順を示すフローチャートである。図8(b)は、メインテナンス時の遠距離用カメラにおける画角調整方法の処理手順を示すフローチャートである。
図9図9(a)、(c)は、第2画像上に表示されたターゲットT及び第2マークを示す図である。図9(b)、(d)は、第1画像上に表示されたターゲットT及び第1マークを示す図である。
図10】変形例に係る画角調整方法を適用可能な支障物検知装置を示すブロック構成図である。
図11】変形例に係る画角調整方法の処理手順を示すフローチャートである。
【発明を実施するための形態】
【0012】
以下、本発明の好適な実施形態について、図面を参照しながら詳細に説明する。なお、各図において同一部分又は相当部分には同一の符号を付し、重複する説明は省略する。
【0013】
まず、本実施形態に係る画角調整方法を適用可能な支障物検知装置(監視システム)について図1及び図2を参照して説明する。
【0014】
(支障物検知装置)
支障物検知装置1は、図1に示されるように、例えば車両Mに搭載されて車両前方の対象物(例えば落下物B)を検出する。支障物検知装置1は、図2に示されるように、カメラ2、3DLR(3次元レーザレーダ、3D Laser Radar)3、車輪速センサ4及び支障物検知ユニット5を備えている。
【0015】
支障物検知装置1は、検出された対象物を追跡し、追跡された対象物の中で判定条件を満たすものを支障物として判定する。「支障物」とは、車両Mの走行の妨げになるおそれがある対象物であり、当該対象物を回避するように走行を変更したり、停止して取り除くことが必要となるものである。
【0016】
カメラ2は、車両前方を撮影し、道路及び対象物等の画像情報(検出データ)を取得する。カメラ2で取得された画像情報は、支障物検知ユニット5に入力される。カメラ2は、近距離用カメラ2Aと、遠距離用カメラ2Bとを含む。近距離用カメラ2A及び遠距離用カメラ2Bは、例えば、車両の前後方向において同じ位置に配置され、車幅方向に並んで配置されている。なお、カメラ2のレンズの歪みの影響は十分に小さい。
【0017】
図3に示されるように、近距離用カメラ2Aは、車両前方の第1撮影領域R2Aを撮影する。第1撮影領域R2Aは、例えば、車両前方の地点Pから地点Pまでの範囲である。遠距離用カメラ2Bは、車両前方の第2撮影領域R2Bを撮影する。第2撮影領域R2Bは、例えば、地点Pから地点Pまでの範囲である。車両前方の数百mの範囲を含む。第2撮影領域R2Bは、第1撮影領域R2Aの一部を含むと共に、基準位置(車両Mの停車位置、カメラ2の設置位置)からの距離が第1撮影領域R2A(地点P)よりも遠い領域を含んでいる。なお、第1撮影領域R2A及び第2撮影領域R2Bの両方に含まれる領域を共通領域R2Cとする。共通領域R2Cは、地点Pから地点Pまでの領域を含む。また、第1撮影領域R2Aと第2撮影領域R2Bとは、隣接するように設定されていてもよい。このときの共通領域は、第1撮影領域R2Aと第2撮影領域R2Bとの境界となる。
【0018】
3DLR3は、車両前方にレーザを照射して、路上の対象物で反射した反射レーザを受信する。3DLR3で受信した反射レーザに関する情報は、支障物検知ユニット5に入力される。
【0019】
車輪速センサ4は、車両Mの車輪の回転角度に関する情報を取得するセンサである。車輪速センサ4は、例えばエンコーダを備え、このエンコーダは、車輪の回転パルスを計測する。車輪の回転パルスに関する信号は、支障物検知ユニット5に入力される。
【0020】
支障物検知ユニット5は、画像処理部6、3DLR処理部7、線形計算部8、統合処理部9及びシステム統括部10を備えている。支障物検知ユニット5は、演算処理を行うCPU、記憶部となるROM及びRAM、入力信号回路、出力信号回路、電源回路などを備える。
【0021】
システム統括部10は、支障物検知ユニット5の全体の制御を司り、画像処理部6、3DLR処理部7、線形計算部8及び統合処理部9のブロックの生成及び機能の停止を管理する。また、システム統括部10は、後述する表示部15、操作部16及び車両制御部17とのデータの入出力を管理する。
【0022】
画像処理部6は、カメラ2から入力したセンサデータについて画像処理を行う。画像処理部6は、画像処理として、例えば2値化処理を行い、対象物に関する情報、道路の白線に関する情報を検知する。また、カメラ2から入力したセンサデータには、対象物の色相に関する情報、対象物の明度に関する情報、対象物のサイズ(外形寸法)に関する情報、及び対象物の位置に関する情報が含まれる。
【0023】
また、画像処理部6は、センサデータに基づいて、対象物の位置(左右方向の位置、車両Mの進行方向における位置)、対象物のサイズ(幅方向のサイズ、高さ方向のサイズ)、対象物の色相及び明度を算出する。また、画像処理部6は、対象物の周囲の色相及び明度を算出する。
【0024】
画像処理部6は、画像内のピクセルサイズに対して、画角などのカメラパラメータ及び経路の線形情報を照合して、対象物の実際のサイズを算出し判定する。なお、画角とは、例えば、焦点距離f(図6参照)、設置ピッチング角θ図7(a)参照)、設置パン角θ図7(b)参照)などを含む。
【0025】
3DLR処理部7は、3DLR3から入力したセンサデータについてデータ処理を行う。また、3DLRから入力したセンサデータには、対象物の位置(左右方向の位置、車両Mの進行方向における位置、上下方向の位置)が含まれる。
【0026】
3DLR処理部7は、センサデータに基づいて、対象物の位置(左右方向の位置、車両Mの進行方向における位置、上下方向の位置)を算出する。
【0027】
線形計算部8は、記憶部に記憶されている経路の線形情報と、車輪速センサ4で取得された車速とを用いて、車両Mの移動距離を算出する。「経路の線形情報」は、経路の起点となる位置からの距離に対応した経路の3次元の形状に関する情報であり、道路におけるカーブの水平方向の曲率に関する情報、坂道における上下方向の勾配に関する情報を含むものである。線形計算部8は、経路の線形情報及び車速に基づいて、車両Mの起点から位置を示す自車位置情報を算出する。
【0028】
統合処理部9は、複数のセンサから取得された対象物のセンサデータを統合する統合処理を行う。統合処理部9は、追跡処理及び支障物判定処理に適したデータとするために、時間的に異なる複数のセンサデータを時間的に連続するデータとして統合する。
【0029】
統合処理部9は、近距離用カメラ2A、遠距離用カメラ2B又は3DLR3で検知された対象物が支障物であるか否かを判定する。統合処理部9による処理結果は、システム統括部10に出力される。
【0030】
また、支障物検知ユニット5には、表示部15及び操作部16が電気的に接続されている。表示部15は、例えば、液晶表示装置であり、カメラ2で取得した画像を表示する。また、支障物検知ユニット5から出力された情報に基づいて、支障物である対象物を強調表示することで、運転者に報知する。
【0031】
また、操作部16は、例えば液晶表示装置のタッチパネルであり、運転者の操作入力に基づく信号をシステム統括部10に出力する。運転者は、例えば支障物ではないと確認された対象物について入力操作する際に、操作部16を操作する。
【0032】
また、支障物検知装置1には、車両Mの制御を司る車両制御部17が電気的に接続されている。車両制御部17には、例えば警報器18及びブレーキ19が電気的に接続されている。車両制御部17は、システム統括部10からの信号に基づいて、警報器18を制御して警報音を発することができる。また、車両制御部17は、システム統括部10からの信号に基づいて、ブレーキ19を作動させて、車両Mを減速させることができる。
【0033】
(画角調整方法;第1実施形態)
次に、近距離用カメラ2A及び遠距離用カメラ2Bを備えた支障物検知装置1におけるカメラ2の画角調整方法について説明する。図4に示すフローチャートに沿って説明する。図4は、画角調整方法の処理手順を示すフローチャートである。図4に示す処理手順は、例えば、支障物検知装置1の使用前に実施される。例えば、出荷前において、工場内で画角調整方法を実施してもよく、屋外で実施してもよく、走行路上で実施してもよい。また、画角調整方法は車両Mの停止中に実施される。
【0034】
画角調整方法では、まず、作業者は車両M前方にターゲットTを配置する工程を行う(ステップS1)。ターゲットTは、図5に示されるように、例えば、画面上で矩形の物体として表示されるものである。ターゲットTは、矩形の物体として表示されるものに限定されず、例えば、三角形、円形、台形、線状など、その他の形状の物体として表示されるものでもよい。
【0035】
また、ターゲットTは、図3に示されるように、車両M前方の共通領域R2C内に配置される。ターゲットTは、近距離用カメラ2A及び遠距離用カメラ2Bの両方によって撮影可能な位置に配置される。近距離用カメラ2Aによる第1撮影領域R2Aが、車両前方のS[m]以上4S[m]以下であり、遠距離用カメラ2Bによる第2撮影領域R2Bが、車両前方の2S[m]以上8S[m]以下の場合には、共通領域R2Cは、2S[m]以上4S[m]以下の範囲となる。なお、「S」は、任意の数値である。車両MからターゲットTまでの距離LTAは、例えば3S[m]である。距離LTAは、例えばカメラ2(近距離用カメラ2A、遠距離用カメラ2B)からターゲットTまでの距離でもよい。
【0036】
なお、ターゲットTとしての物体を配置する代わりに、既存の物をターゲットTとして用いることができる。例えば、道路近傍に配置された標識、道路上の白線、道路上の表示、その他の設置物などをターゲットとして使用してもよい。また、例えば、画像処理部において、車線の両側の白線を検出し、これらの白線に交差する仮想の直線を設定し、この仮想の直線をターゲットTとして設定してもよい。
【0037】
次に、車両MからターゲットTまでの距離を測定する工程を行う(ステップS2)。具体的には、3DLR3が車両前方にレーザを照射して、ターゲットTで反射した反射レーザを受信する。3DLR処理部7は、3DLR3から入力したセンサデータについてデータ処理を行い、ターゲットTの位置を検出する。これにより、車両MからターゲットTまでの距離を測定する。なお、3DLR3を用いて、測定を行うにあたり、3DLRのキャリブレーションを行ってもよい。
【0038】
また、車両MからターゲットTまでの距離LTAを測定する工程は、3DLR3を用いて実施されるものに限定されず、その他のレーザレーダ、測距装置を用いてもよく、その他の方法により、距離LTAを測定してもよい。また、車両MからターゲットTまでの距離LTAが既知である場合には、その値を用いることができる。
【0039】
次に、第1マークCの配置を計算する工程を行う(ステップS3)。第1マークCは、第1画像J上でのターゲットTの表示目標を示すマークである。また、第1画像Jとは、近距離用カメラ2Aを用いて撮影された画像である。第1マークCは、例えば、ターゲットTの外形に対応した形状を成している。例えば、ターゲットTの外形が矩形状である場合には、第1マークCは、ターゲットTの外形に対応した矩形状の枠体とすることができる。第1マークCは、ターゲットTの外形の一部に対応する形状でもよい。例えば、ターゲットTが矩形状である場合には、この四隅に対応する位置に配置された4つの点でもよい。
【0040】
ステップS3では、例えば、支障物検知ユニット5の画像処理部6が演算処理を行う。図6は、カメラの撮像素子とターゲットとの位置関係を示す図である。この場合のカメラは、近距離用カメラ2Aであり、撮像素子21及びレンズ22は、近距離用カメラ2Aの撮像素子21及びレンズ22である。
【0041】
図6に示されるように、焦点距離f[mm]、カメラ2(車両M)からターゲットTまでの距離LTA[mm]、撮像素子の素子サイズa[mm]、ターゲットTの視野b[mm]は、以下の比例式(1)を満たす。
f:a=LTA:b…(1)
【0042】
上記の比例式(1)において、焦点距離f及び素子サイズaは、既知である。カメラ2からターゲットTまでの距離LTAは、ステップS2で算出された値を用いることができる。これらの値(a、b、LTA)を比例式(1)に代入して、視野bを算出することができる。
【0043】
このように比例式(1)を用いて、ターゲットTの位置の水平視野b[mm]、垂直視野b[mm]を求めることができる。このとき、カメラの画像の解像度(例えばフルHD:水平1920[pixel]、垂直1080[pixel])は、既知である。そのため、ターゲットの位置における水平方向Xの分解能Gx(=1920/水平視野b)[pixel/mm]と、垂直方向Yの分解能G(=1080/垂直視野b)[pixel/mm]を求めることができる。
【0044】
ターゲットTの実際のサイズ[mm]も既知であるため、画像処理部6は、上記の分解能Gx、Gを用いて、画像上に撮像される第1マークCのサイズ[pixel]を計算することができる。
【0045】
次に、第1画像J上に第1マークCを表示する工程を行う(ステップS4)。ステップS4では、ステップS3で計算された配置となるように第1マークCを第1画像J上に表示する。画像処理部6は、ステップS3で算出した第1マークCのサイズ(Tx、Ty)を適用して、図5に示されるように、第1画像J上に、第1マークCを表示する。なお、第1マークCを表示する位置(画像上の表示位置(x、y))は、使用者が任意に設定することができる。例えば、画像の中央に、第1マークCが表示されるように、第1マークCの表示位置を決定してもよい。
【0046】
次に、近距離用カメラ2Aの画角を調整する工程を行う(ステップS5)。具体的には、第1画像J上において、表示された第1マークCとターゲットTとが一致するように、近距離用カメラ2Aの画角を調整する。例えば、作業員が手動で近距離用カメラ2Aを操作して、近距離用カメラ2Aの画角を調整してもよく、支障物検知ユニット5から信号を出力してアクチュエータを駆動して自動で調整してもよい。
【0047】
ステップS5では、例えば、近距離用カメラ2Aの焦点距離f、近距離用カメラ2Aの設置ピッチング角θ、近距離用カメラ2Aの設置パン角θを調整する。近距離用カメラ2Aのレンズ22の位置を移動させて、焦点距離fを変えることができる。図7(a)は、近距離用カメラ2Aの設置ピッチング角θを示す側面図である。図7(a)に示されるように、例えば水平方向に延在する軸線Dと、近距離用カメラ2Aの光軸Lとが交差する角度を設置ピッチング角θとすることができる。例えば、近距離用カメラ2Aを支持する支持台を傾斜させることで、設置ピッチング角θを調整することができる。
【0048】
図7(b)は、近距離用カメラ2Aの設置パン角θを示す平面図である。図7(b)に示されるように、例えば車両Mの前後方向に延在する軸線Eと、近距離用カメラ2Aの光軸Lとが交差する角度を設置パン角θとすることができる。例えば、近距離用カメラ2Aを支持する支持台を鉛直方向に延在する軸線回りに回転移動させることで、設置パン角θを調整することができる。
【0049】
次に、第2マークCの配置を計算する工程を行う(ステップS6)。第2マークCは、第2画像J上でのターゲットTの表示目標を示すマークである。また、第2画像Jとは、遠距離用カメラ2Bを用いて撮影された画像である。第2マークCは、例えば、ターゲットTの外形に対応した形状を成している。例えば、ターゲットTの外形が矩形状である場合には、第2マークCは、ターゲットTの外形に対応した矩形状の枠体とすることができる。第2マークCは、ターゲットTの外形の一部に対応する形状でもよい。例えば、ターゲットTが矩形状である場合には、この四隅に対応する位置に配置された4つの点でもよい。
【0050】
ステップS6では、例えば、支障物検知ユニット5の画像処理部6で演算処理を行う。ここでの処理は、ステップS3と同様の手順で遠距離用カメラ2Bについて実施することができる。そのため詳細な説明は省略する。
【0051】
次に、第2画像J上に第2マークCを表示する工程を行う(ステップS7)。ステップS7では、ステップS6で計算された配置となるように第2マークCを第2画像J上に表示する。画像処理部6は、ステップS6で算出した第2マークCのサイズ(Tx、Ty)を適用して、第2画像J上に、第2マークCを表示する。なお、第2マークCを表示する位置(画像上の表示位置(x、y))は、使用者が任意に設定することができる。例えば、画像の中央に、第2マークCが表示されるように、第2マークCの表示位置を決定してもよい。なお、図5は、第1画像J及び第2画像Jとして例示しているが、第1画像Jと第2画像Jとは、異なる画像であり、各画像において、ターゲットT同士は、異なる大きさであり、第1マークCと第2マークCとは、異なる大きさとなる。
【0052】
次に、遠距離用カメラ2Bの画角を調整する工程を行う(ステップS8)。具体的には、第2画像J上において、表示された第2マークCとターゲットTとが一致するように、遠距離用カメラ2Bの画角を調整する。例えば、作業員が手動で調整してもよく、支障物検知ユニット5から信号を出力してアクチュエータを駆動して自動で調整してもよい。
【0053】
ステップS8では、例えば、遠距離用カメラ2Bの焦点距離f、遠距離用カメラ2Bの設置ピッチング角θ、遠距離用カメラ2Bの設置パン角θを調整する。遠距離用カメラ2Bのレンズ22の位置を移動させて、焦点距離fを変えることができる。また、例えば、遠距離用カメラ2Bを支持する支持台を傾斜させることで、設置ピッチング角θを調整することができる。また、例えば、遠距離用カメラ2Bを支持する支持台を鉛直方向に延在する軸線回りに回転移動させることで、設置パン角θを調整することができる。
【0054】
以上説明したように、この画角調整方法によれば、近距離用カメラ2Aによって撮影される第1撮影領域R2Aと、遠距離用カメラ2Bによって撮影される第2撮影領域R2Bとの両方に含まれる共通領域R2CにターゲットTを設定し、同一のターゲットTを用いて、近距離用カメラ2Aにおける画角調整と、遠距離用カメラ2Bにおける画角調整とを行うことができる。これにより、近距離用カメラ2Aの画角調整で使用するターゲットTと、遠距離用カメラ2Bの画角調整で使用するターゲットTとを別々に配置する必要がなく、画角調整における手順を簡素化することができる。また、同一のターゲットTを撮影することで、近距離用カメラ2Aで取得されたターゲットTの画像データと、遠距離用カメラ2Bで取得されたターゲットTの画像データとを容易に比較することができる。そのため、取得された画像データに基づく、対象物の検出精度の向上を図ることができる。
【0055】
例えば、近距離用カメラ2Aに対して1つのターゲットを準備し、遠距離用カメラ2Bに対して1つのターゲットを準備して、合計2つのターゲットを準備して、画角調整を行った場合には、それぞれのカメラに対してターゲットの設置場所が異なるため、それぞれで設置誤差が発生するおそれがある。この場合には、各カメラで異なるターゲットを撮影して画角調整を行っているため、それぞれのターゲットにおける設置誤差を含み、両方のカメラで同時に撮影される共通領域に存在する同一物体の検出位置がずれる可能性があり、画像処理部6における画像処理(物体検知)、統合処理部9における統合処理、判定処理等の精度に影響が出る可能性がある。
【0056】
これに対して、共通領域R2Cに配置された同一のターゲットTを用いて、近距離用カメラ2A及び遠距離用カメラ2Bの画角を調整する場合には、ターゲットTの設置誤差として、共通の設置誤差が1つだけ生じることになる。また、同一のターゲットTを見て、画角を調整することができるので、後段の画像処理による物体検知において、近距離用カメラ2Aと遠距離用カメラ2Bとの間で、同一物体の検出位置の差が小さくなる。
【0057】
(画角調整方法;第2実施形態)
次に、第2実施形態として、メインテナンス時における画角調整方法について説明する。メインテナンス時とは、例えば、支障物検知装置1を一定時間使用した後に実施される定期点検時などである。なお、メインテナンス時における画角調整方法の説明において、上記の画角調整方法と同様の説明は省略する。また、メインテナンス時における画角調整方法では、例えば、使用前に実行した画角調整方法と同じ位置に車両Mを配置し、同じ方向に車両Mを向け、同じ位置にターゲットTを配置する。
【0058】
図4に示されるように、使用前における画角調整方法における手順と同様に、まず、ステップS1からS4の処理を行う。
【0059】
次に、図8(a)に示されるように、第1画像J上でのターゲットTと第1マークCとの第1ずれ量を計測する工程を行う(ステップS21)。第1マークCの配置は、例えば、初回と同じである。第1ずれ量として、例えば、ターゲットTの中心点と、第1マークCの中心点との位置のずれ量[mm]を計測してもよく、ターゲットTの角部と、対応する第1マークCの角部との位置のずれ量を計測してもよく、その他の対応する位置同士のずれ量を計測してもよい。第1ずれ量の計測は、例えば、画像処理部6において演算処理を行うことで実施可能である。
【0060】
次に、第1ずれ量を記憶する工程を行う(ステップS22)。支障物検知ユニット5は、ステップS21で計測された第1ずれ量に関するデータを支障物検知ユニット5の記憶部に記憶する。
【0061】
次に、第1ずれ量が判定閾値以上であるか否かを判定する工程を行う(ステップS23)。支障物検知ユニット5は、第1ずれ量が判定閾値以上であるか否かを判定する判定部を含む。支障物検知ユニット5の判定部は、ステップS21で計測された第1ずれ量が判定閾値(第1判定閾値)以上であるか否かの判定を行う。この判定閾値は、近距離用カメラ2Aの画角調整が必要であるか否かを判定するための閾値であり、例えば、実験データ、過去のデータに基づいて決定することができる。
【0062】
ステップS23において、第1ずれ量が判定閾値以上である場合には(ステップS23;YES)、ステップS5に進み、近距離用カメラ2Aの画角を調整する工程を実施した後に、ステップS6に進む。一方、第1ずれ量が判定閾値未満である場合には(ステップS23;NO)、ステップS5の画角を調整する工程を実行せずに、ステップS6に進む。
【0063】
次に、図4に示すステップS6、S7を実施した後、図8(b)に示されるように、第2画像J上でのターゲットTと第2マークCとの第2ずれ量を計測する工程を行う(ステップS31)。第2ずれ量として、例えば、ターゲットTの中心点と、第2マークCの中心点との位置のずれ量[mm]を計測してもよく、ターゲットTの角部と、対応する第2マークCの角部との位置のずれ量を計測してもよく、その他の対応する位置同士のずれ量を計測してもよい。第2ずれ量の計測は、例えば、画像処理部6において演算処理を行うことで実施可能である。
【0064】
次に、第2ずれ量を記憶する工程を行う(ステップS32)。支障物検知ユニット5は、ステップS31で計測された第2ずれ量に関するデータを支障物検知ユニット5の記憶部に記憶する。
【0065】
次に、第2ずれ量が判定閾値以上であるか否かを判定する工程を行う(ステップS33)。支障物検知ユニット5は、第2ずれ量が判定閾値以上であるか否かを判定する判定部を含む。支障物検知ユニット5の判定部は、ステップS31で計測された第2ずれ量が判定閾値(第2判定閾値)以上であるか否かの判定を行う。この判定閾値は、遠距離用カメラ2Bの画角調整が必要であるか否かを判定するための閾値であり、例えば、実験データ、過去のデータに基づいて決定することができる。
【0066】
ステップS33において、第2ずれ量が判定閾値以上である場合には(ステップS33;YES)、ステップS8に進み、遠距離用カメラ2Bの画角を調整する工程を実施した後に、ステップS8に進む。一方、第2ずれ量が判定閾値未満である場合には(ステップS33;NO)、ステップS8の画角を調整する工程を実行せずに、終了する。
【0067】
このような画角調整方法によれば、第1ずれ量が判定閾値以上の場合にのみ、ステップS5において近距離用カメラ2Aの画角を調整することができ、第1ずれ量が判定閾値未満の場合には、近距離用カメラ2Aの画角調整を実施しないようにすることができる。これにより、例えば、第1ずれ量が判定閾値未満であり、わずかな場合には、画角調整を実施しないので、画角調整により第1ずれ量が大きく変化することを防止することができる。この場合には、記憶部に記憶された第1ずれ量を考慮して、後段の画像処理における物体検出を実行することができる。そのため、わずかな第1ずれ量を維持したまま、精度良く物体検出を行うことができる。不用な画角調整を行う必要がないので、手順の簡略化を図ることができる。
【0068】
また、第2ずれ量が判定閾値以上の場合にのみ、ステップS8において遠距離用カメラ2Bの画角を調整することができ、第2ずれ量が判定閾値未満の場合には、遠距離用カメラ2Bの画角調整を実施しないようにすることができる。これにより、例えば、第2ずれ量が判定閾値未満であり、わずかな場合には、画角調整を実施しないので、画角調整により第2ずれ量が大きく変化することを防止することができる。この場合には、記憶部に記憶された第2ずれ量を考慮して、後段の画像処理における物体検出を実行することができる。そのため、わずかな第2ずれ量を維持したまま、精度良く物体検出を行うことができる。不用な画角調整を行う必要がないので、手順の簡略化を図ることができる。
【0069】
(画角調整方法;第3実施形態)
次に、第3実施形態として、メインテナンス時における画角調整方法について説明する。なお、第3実施形態の説明において、上記の第1、第2実施形態と同様の説明は省略する。
【0070】
この画角調整方法では、初回(例えば使用前)の画角調整後において、第1画像J上のターゲットTの位置、大きさ等のデータを記憶部に記憶させておく。同様に、初回の画角調整後において、第2画像J上のターゲットTの位置、大きさ等のデータを記憶部に記憶させておく。
【0071】
そして、次回のメインテナンス時に画角調整方法を実施する際に、初回(前回)のデータと比較してずれ量K、Kを検出すると共に、第1画像J上での第1ずれ量Kと第2画像J上での第2ずれ量Kとを比較する工程を行う。
【0072】
まず、図9(a)に示された第2画像J上での第2ずれ量Kと、図9(b)に示された第1画像J上での第1ずれ量Kとの比較について説明する。図9(a)は、遠距離用カメラ2Bで撮影された第2画像Jであり、第2画像J上に表示されたターゲットT及び第2マークCを示す図である。図9(b)は、近距離用カメラ2Aで撮影された第1画像Jであり、第1画像J上に表示されたターゲットT及び第1マークCを示す図である。
【0073】
図9(a)において、第2マークCが表示される位置は、初回の画角調整後のターゲットTの位置と同じであり、記憶部に記憶されたデータである。初回の画角調整後から一定期間の使用後のメインテナンス前において、近距離用カメラ2Aの画角に変化がない場合には、第2画像J上に表示されたターゲットTと第2マークCと位置は一致する可能性が高い。
【0074】
図9(a)では、メインテナンス時の画角調整前のターゲットTの表示位置は、初回の画角調整後の位置(第2マークC)からずれている。第2画像J上では、右斜め上方にずれている。このとき、第2画像J上において、第2ずれ量Kを示す表示として、矢印を表示させてもよい。
【0075】
図9(b)において、第1マークCが表示される位置は、初回の画角調整後のターゲットTの位置と同じであり、記憶部に記憶されたデータである。初回の画角調整後から一定期間の使用後のメインテナンス前において、近距離用カメラ2Aの画角に変化がない場合には、第1画像J上に表示されたターゲットTと第1マークCと位置は一致する可能性が高い。
【0076】
図9(b)では、メインテナンス時の画角調整前のターゲットTの表示位置は、初回の画角調整後の位置(第1マークC)からずれている。第1画像J上では、右斜め上方にずれている。このとき、第1画像J上において、第1ずれ量Kを示す表示として、矢印を表示させてもよい。
【0077】
例えば、画像処理部6は、第1画像J上での第1ずれ量Kと、第2画像J上での第2ずれ量Kとを比較する。例えば、支障物検知ユニット5は、第1画像J上での第1ずれ量Kの方向と、第2画像J上での第2ずれ量Kの方向とが、一致しているか否かを判定する。図9(a)、(b)に示す場合には、ずれ量K、Kを示す矢印が向く方向が同じであるので、支障物検知ユニット5は、第1画像J上での第1ずれ量Kの方向と、第2画像J上での第2ずれ量Kの方向とが一致すると判定する。
【0078】
図9(a)、(b)に示されるように、ずれが同じ方向である場合に、近距離用カメラ2A及び遠距離用カメラ2Bにおいて、それぞれの設置ピッチング角及び設置パン角のずれの影響は小さく、今回の画角調整時の車両Mの設置位置、車両Mの向き等が、前回の画角調整時と比較してずれているおそれがある。この場合には、支障物検知ユニット5の判定部は、画角調整を行わないことを決定することができる。
【0079】
次に、図9(c)に示された第2画像J上での第2ずれ量Kと、図9(d)に示された第1画像J上での第1ずれ量Kとの比較について説明する。図9(c)は、遠距離用カメラ2Bで撮影された第2画像Jであり、第2画像J上に表示されたターゲットT及び第2マークCを示す図である。図9(b)は、近距離用カメラ2Aで撮影された第1画像Jであり、第1画像J上に表示されたターゲットT及び第1マークCを示す図である。
【0080】
なお、図9(c)は、図9(a)と同一であるので、ここでの説明は省略する。図9(d)において、第1マークCが表示される位置は、図9(b)と同じである。
【0081】
図9(d)では、メインテナンス時の画角調整前のターゲットTの表示位置は、初回の画角調整後の位置(第1マークC)からずれている。第1画像J上では、右斜め下方にずれている。このとき、第1画像J上において、第1ずれ量Kを示す表示として、矢印を表示させてもよい。
【0082】
例えば、画像処理部6は、第1画像J上での第1ずれ量Kと、第2画像J上での第2ずれ量Kとを比較し、第1画像J上での第1ずれ量Kの方向と、第2画像J上での第2ずれ量Kの方向とが、一致しているか否かを判定する。図9(c)、(d)に示す場合には、ずれ量K、Kを示す矢印が向く方向が異なるので、支障物検知ユニット5は、第1画像J上での第1ずれ量Kの方向と、第2画像J上での第2ずれ量Kの方向とが一致しないと判定する。
【0083】
図9(c)、(d)に示されるように、ずれが異なる方向である場合に、近距離用カメラ2A及び遠距離用カメラ2Bの少なくとも一方において、設置ピッチング角及び設置パン角の少なくとも一方がずれている可能性がある。設置ピッチング角、設置パン角がずれる原因としては、車両Mの走行による振動の影響が考えられる。この場合には、支障物検知ユニット5の判定部は、画角調整を行うことを決定することができる。この場合には、近距離用カメラ2Aの画角を調整する工程(ステップS4)及び遠距離用カメラ2Bの画角を調整する工程(ステップS8)を実行する。
【0084】
また、例えば、第1画像J上での第1ずれ量Kと、第2画像J上での第2ずれ量Kとを比較する工程において、ずれ量K、Kの大きさ(矢印の長さ)を比較してもよい。また、「第1画像JにおけるターゲットTの外形と第1マークCの外形との変化の倍率」と、「第2画像JにおけるターゲットTの外形と第2マークの外形との変化の倍率」とを比較してもよい。これにより、前回の画角調整時と比較して、カメラの画角がずれているのか、カメラの画角はずれていないが、その他の原因でずれが生じているのかを判定することができる。例えば、外形の変化の倍率が、第1画像Jと第2画像Jとで異なる場合には、車両Mの振動の影響により、焦点距離fの調整に問題が生じたおそれがある。
【0085】
(画角調整方法;変形例)
次に、図10及び図11を参照して変形例に係る支障物検知装置及び画角調整方法について説明する。なお、変形例の説明において、上記の第1〜第3実施形態と同様の説明は省略する。
【0086】
図10に示される変形例に係る支障物検知装置1が、図2に示される上記実施形態の支障物検知装置1と違う点は、近距離用カメラ2A及び遠距離用カメラ2Bに代えて、1台のカメラ2を備える点、3DLRを備えていない点である。また、支障物検知装置1の支障物検知ユニット5は、3DLR処理部7を備えていない点で、支障物検知装置1の支障物検知ユニット5と異なっている。
【0087】
変形例に係る画角調整方法では、図11に示されるように、作業者は、既存の物体をターゲットとして設定する(ステップS11)。この既存の物体は、カメラ2による撮影領域に存在するものである。この既存の物体の寸法(例えば高さ)は既知であり、カメラ2から既存の物体までの距離も既知である。この既存の物体は、基準長が分かる物体である。既存の物体の基準長とは、例えば、道路の幅、レールの幅である。
【0088】
また、ステップS11では、物体が載置されている載置面の水平面に対する角度が既知である既存の物体をターゲットとして設定する。例えば、物体の基準長の長手方向と水平方向と角度が既知である物体をターゲットとして設定する。物体が載置されている載置面の水平面に対する角度は、支障物検知装置1の記憶部に記憶されている。
【0089】
また、ステップS11では、カメラ2のカメラ座標の中心と既存の物体の中心とのずれ量が既知である当該既存の物体をターゲットとして設定する。なお、既存の物体の中心は、カメラ2のカメラ座標の中心と一致しているものでもよい。
【0090】
ステップ11では、例えば、作業者は、操作部16を用いて操作入力を行い、既存の物体を指定して、当該物体をターゲットとして設定する。支障物検知ユニット5は、操作部16から入力された情報に基づいて、既存の物体をターゲットとして認識する。
【0091】
次に、支障物検知ユニット5は、カメラ2からターゲットまでの距離を読み取る(ステップS12)。支障物検知ユニット5は、記憶部に記憶されているターゲットまでの距離に関するデータ(既知のデータ)を読み取る。
【0092】
次に、マークの配置を計算する工程を行う(ステップS13)。マークは、画像上でのターゲットの表示目標を示すマークである。ここでの画像は、カメラ2を用いて撮影された画像である。
【0093】
次に、画像上にマークを表示する工程を行う(ステップS14)。ステップS14では、ステップS13で計算された配置となるようにマークを画像上に表示する。画像処理部6は、ステップS13で算出したマークのサイズを適用して、画像上に、マークを表示する。
【0094】
次に、カメラ2の画角を調整する工程を行う(ステップS15)。具体的には、画像上において、表示されたマークとターゲットとが一致するように、カメラ2の画角を調整する。
【0095】
このような画角調整方法によれば、カメラ2の撮影領域に存在する既知の物体をターゲットとして設定し、このターゲットの既知のデータである寸法及びカメラ2からの距離を用いて、カメラ2の画角調整を行うことができる。これにより、ターゲットとなる物体をわざわざ配置する必要がなく、支障物検知装置における画角調整の手順の簡素化を図ることができる。
【0096】
また、既存の物体をターゲットとして設定する工程(ステップS11)では、物体が載置されている載置面の水平面に対する角度が既知である既存の物体をターゲットとして設定している。これにより、その後のマークの配置を計算する工程では、既知のデータであるカメラからターゲットまでの距離のみに基づいて、マークの配置を計算することができる。
【0097】
また、既存の物体をターゲットとして設定する工程(ステップS11)では、カメラ2のカメラ座標の中心とのずれ量が既知である当該既知の物体をターゲットとして設定している。これにより、カメラ座標の中心と、ターゲットとの中心のずれ量を計測する必要がない。または、既知である物体の中心のカメラ座標に対するずれ量に基づいて、支障物検知装置1における画角調整を行うことができる。
【0098】
本発明は、前述した実施形態に限定されず、本発明の要旨を逸脱しない範囲で下記のような種々の変形が可能である。
【0099】
例えば、上記実施形態の画角調整方法において、処理手順を適宜入れ替えて実行することもできる。上記実施形態では、図4に示されるように、ステップS3〜S5を実行して近距離用カメラ2Aの画角を調整した後に、ステップS6〜S8を実行して遠距離用カメラ2Bの画角を調整しているが、ステップS6〜S8を実行して遠距離用カメラ2Bの画角を調整した後に、ステップS3〜S5を実行して近距離用カメラ2Aの画角を調整してもよい。
【0100】
また、ステップS3の第1マークCの配置を計算する工程及びステップS6の第2マークC2の配置を計算する工程を事前に実行し、計算結果を記憶部に記憶させておいてもよい。そして、ステップS4において、記憶部からデータを読み取り第1画像J上に第1マークCを表示し、同様にステップS7において、記憶部からデータを読み取り第2画像J上に第2マークCを表示してもよい。
【0101】
また、上記実施形態では、近距離用カメラ2A及び遠距離用カメラ2Bを備えた監視システムにおける画角調整方法について説明しているが、撮影領域が異なる3種類以上のカメラを備えた監視システムに画角調整方法を適用することもできる。この場合には、3種類以上のカメラのうちの任意の2台のカメラについて適用することができる。
【0102】
また、上記実施形態では、支障物検知システムを車両に搭載した場合について説明しているが、支障物検知システムを車両以外の移動体に搭載してもよい。例えば、ロボット、飛行機、船舶、鉄道などに、支障物検知システムを搭載してもよい。また、支障物検知システムは、移動体に搭載せずに、その他の場所や物に設置してもよい。例えば、工場、店舗、病院、空港、駅、走行路周辺の建築物などに、支障物検知システムを設置して、危険のおそれがある対象物を支障物として検知してもよい。なお、対象物は静止物に限定されず、移動する物、人、動物でもよい。また、支障物は、危険な対象物に限定されず、障害となる対象物、特定の条件に合致する対象物でもよい。
【符号の説明】
【0103】
1 支障物検知装置(監視システム)
2 カメラ、
2A 近距離用カメラ
2B 遠距離用カメラ
3 3DLR(3次元レーザレーダ)
4 車輪速センサ
5 支障物検知ユニット
6 画像処理部
7 3DLR処理部
8 線形計算部
9 統合処理部
10 システム統括部
15 表示部
16 操作部
17 車両制御部
18 警報器
19 ブレーキ
21 撮像素子
22 レンズ
a 素子サイズ
b 視野
f 焦点距離
C1 第1マーク
C2 第2マーク
D 水平方向に延在する軸線
E 車両の前後方向に延在する軸線
第1画像
第2画像
第1ずれ量
第2ずれ量
光軸
TA 車両からターゲットまでの距離
M 車両
2A 第1撮影領域
2B 第2撮影領域
2C 共通領域
ターゲット
θ 設置ピッチング角
θ 設置パン角

図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11