(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-02-07
(45)【発行日】2022-02-16
(54)【発明の名称】警告装置
(51)【国際特許分類】
G08B 21/00 20060101AFI20220208BHJP
G01C 3/06 20060101ALI20220208BHJP
B66F 9/24 20060101ALI20220208BHJP
【FI】
G08B21/00 U
G01C3/06 110V
B66F9/24 Z
B66F9/24 L
(21)【出願番号】P 2018185310
(22)【出願日】2018-09-28
【審査請求日】2020-12-18
(73)【特許権者】
【識別番号】000003218
【氏名又は名称】株式会社豊田自動織機
(74)【代理人】
【識別番号】100105957
【氏名又は名称】恩田 誠
(74)【代理人】
【識別番号】100068755
【氏名又は名称】恩田 博宣
(72)【発明者】
【氏名】石▲崎▼ 将崇
(72)【発明者】
【氏名】三歩一 卓人
【審査官】大橋 達也
(56)【参考文献】
【文献】特開平07-102596(JP,A)
【文献】特開2017-024538(JP,A)
【文献】中国特許出願公開第109690639(CN,A)
【文献】国際公開第2018/042481(WO,A1)
【文献】特開2015-226301(JP,A)
【文献】米国特許出願公開第2016/0005286(US,A1)
【文献】特開2017-074191(JP,A)
【文献】実開昭62-038735(JP,U)
【文献】特開2006-236025(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G08B 21/00-25/00
G01C 3/00
B66F 9/24
E02F 9/24
H04N 7/18
(57)【特許請求の範囲】
【請求項1】
産業車両に搭載され、人物に対して警告を行う警告装置であって、
ステレオカメラと、
前記ステレオカメラによる撮像が行われる方向に向けて光を照射可能である発光部と、
前記ステレオカメラの画像から前記人物を検出する人物検出部と、
前記ステレオカメラの画像から各画素に視差が対応付けられた視差画像を取得する視差画像取得部と、
前記視差画像から前記人物の位置を検出する人物位置検出部と、
前記発光部の制御を行う発光制御部と、を備え、
前記発光制御部は、前記産業車両から前記人物までの距離が警告閾値未満の場合、前記発光部を点滅発光させ
、
前記発光部と、前記ステレオカメラとは、同一の筐体に収容されることでユニット化されており、
前記筐体は、
前記ステレオカメラを筐体外に露出させるための撮像孔が開口する撮像面と、
前記発光部を筐体外に露出させるための発光孔が開口する発光面と、を備え、
前記発光面は、前記撮像面に対して傾斜しており、
前記ステレオカメラは、前記撮像孔を介して前記筐体外を撮像可能に配置され、
前記発光部は、前記発光孔を介して前記筐体外に光を照射可能に配置され、
前記筐体は、前記撮像面よりも下方に前記発光面が位置するように前記産業車両に設置されている警告装置。
【請求項2】
産業車両に搭載され、人物に対して警告を行う警告装置であって、
ステレオカメラと、
前記ステレオカメラによる撮像が行われる方向に向けて光を照射可能である発光部と、
前記ステレオカメラの画像から前記人物を検出する人物検出部と、
前記ステレオカメラの画像から各画素に視差が対応付けられた視差画像を取得する視差画像取得部と、
前記視差画像から前記人物の位置を検出する人物位置検出部と、
前記発光部の制御を行う発光制御部と、を備え、
前記発光制御部は
、
前記産業車両から前記人物までの距離が警告閾値未満の場合、前記発光部を点滅発光させ
、
前記視差画像の特定の領域の視差数である有効視差数が閾値未満の場合、前記発光部を点灯させる警告装置。
【請求項3】
産業車両に搭載され、人物に対して警告を行う警告装置であって、
ステレオカメラと、
前記ステレオカメラによる撮像が行われる方向に向けて光を照射可能である
複数の発光部と、
前記ステレオカメラの画像から前記人物を検出する人物検出部と、
前記ステレオカメラの画像から各画素に視差が対応付けられた視差画像を取得する視差画像取得部と、
前記視差画像から前記人物の位置を検出する人物位置検出部と、
前記発光部の制御を行う発光制御部と、を備え、
前記複数の発光部は、水平方向に並んで設けられており、
前記発光部は、それぞれ、前記ステレオカメラの撮像可能範囲を複数に区分した範囲に対応付けられており、
前記発光制御部は、前記産業車両から前記人物までの距離が警告閾値未満の場合、
前記人物のいる前記範囲に対応した前記発光部を点滅発光させる警告装置。
【請求項4】
産業車両に搭載され、人物に対して警告を行う警告装置であって、
ステレオカメラと、
前記ステレオカメラによる撮像が行われる方向に向けて光を照射可能である
複数の発光部と、
前記ステレオカメラの画像から前記人物を検出する人物検出部と、
前記ステレオカメラの画像から各画素に視差が対応付けられた視差画像を取得する視差画像取得部と、
前記視差画像から前記人物の位置を検出する人物位置検出部と、
前記発光部の制御を行う発光制御部と、を備え、
前記複数の発光部は、水平方向に並んで設けられており、
前記発光制御部は、前記産業車両から前記人物までの距離が警告閾値未満の場合、
前記産業車両の操舵方向に位置する前記発光部を点滅発光させる警告装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、警告装置に関する。
【背景技術】
【0002】
警告装置を備える産業車両としては、例えば、特許文献1に記載されている。特許文献1に記載の警告装置は、カメラと、画像処理装置と、音による警告を行う音出力装置と、を備える。画像処理装置は、カメラの撮像により得られた画像から人物を検出する。人物が検出されると、音出力装置からの音が出力される。音出力装置は、産業車両の座席付近に設置され、搭乗者に対して警告を行う。これにより、産業車両の搭乗者は、周辺に人物が存在することを認識することができる。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、産業車両の周辺に人物が存在する場合、産業車両の周辺の人物に産業車両が近くにいることを認識させることが好ましい。
本発明の目的は、産業車両が近くにいることを産業車両の周辺の人物に認識させることができる警告装置を提供することにある。
【課題を解決するための手段】
【0005】
上記課題を解決する警告装置は、産業車両に搭載され、人物に対して警告を行う警告装置であって、ステレオカメラと、前記ステレオカメラによる撮像が行われる方向に向けて光を照射可能である発光部と、前記ステレオカメラの画像から前記人物を検出する人物検出部と、前記ステレオカメラの画像から各画素に視差が対応付けられた視差画像を取得する視差画像取得部と、前記視差画像から前記人物の位置を検出する人物位置検出部と、前記発光部の制御を行う発光制御部と、を備え、前記発光制御部は、前記産業車両から前記人物までの距離が警告閾値未満の場合、前記発光部を点滅発光させる。
【0006】
これによれば、視差画像から人物の位置が検出されることで、産業車両から人物までの距離を検出できる。発光制御部は、産業車両から人物までの距離が警告閾値未満の場合、発光部を点滅発光させるため、産業車両の周辺の人物に産業車両が近くにいることを認識させることができる。
【0007】
上記警告装置について、前記発光部と、前記ステレオカメラとは、同一の筐体に収容されることでユニット化されていてもよい。これによれば、発光部とステレオカメラとをユニット化された1つの部材として扱うことができる。このため、発光部とステレオカメラとの相対位置の調整を行いやすい。
【0008】
上記警告装置について、前記筐体は、前記ステレオカメラを筐体外に露出させるための撮像孔が開口する撮像面と、前記発光部を筐体外に露出させるための発光孔が開口する発光面と、を備え、前記発光面は、前記撮像面に対して傾斜しており、前記ステレオカメラは、前記撮像孔を介して前記筐体外を撮像可能に配置され、前記発光部は、前記発光孔を介して前記筐体外に光を照射可能に配置され、前記筐体は、前記撮像面よりも下方に前記発光面が位置するように前記産業車両に設置されていてもよい。これによれば、発光孔が、撮像孔よりも下方に配置されるので、発光部から照射された光がステレオカメラの画像に影響を及ぼすことを抑制することができる。
【0009】
上記警告装置について、前記発光部のうち前記筐体外に露出する露出面は、前記発光面よりも筐体の内側に配置されていてもよい。これによれば、発光部の光は、発光孔を通過して筐体外に照射されることになる。発光孔により発光部の光が拡がることを抑制できるため、発光部から照射された光がステレオカメラの画像に影響を及ぼすことを抑制することができる。
【0010】
上記警告装置について、前記発光制御部は、前記視差画像の特定の領域の視差数である有効視差数が閾値未満の場合、前記発光部を点灯させてもよい。これによれば、有効視差数が閾値未満の場合、産業車両の周辺環境を照らすことができる。有効視差数が閾値未満の場合、産業車両の周辺環境が暗所であり、視差を得にくい状態と考えられる。このような場合に発光部の点灯で周辺環境を照らすことで、視差を取得しやすくできる。
【0011】
上記警告装置について、前記発光部を複数備えていてもよい。これによれば、広範囲に亘って警告を行うことができる。
上記警告装置について、前記発光部は、水平方向に並んで設けられており、前記発光部は、それぞれ、前記ステレオカメラの撮像可能範囲を複数に区分した範囲に対応付けられており、前記発光制御部は、前記人物のいる前記範囲に対応した前記発光部を点滅発光させる。これによれば、人物の位置に応じた一部の発光部を点滅発光させて警告を行うことができる。
【0012】
上記警告装置について、前記発光部は、水平方向に並んで設けられており、前記発光制御部は、前記産業車両の操舵方向に位置する前記発光部を点滅発光させてもよい。これによれば、人物に対して産業車両の進行する方向を認識させることができる。
【0013】
上記警告装置について、前記発光制御部は、前記人物までの距離が近いほど前記発光部を点滅発光させる際の点滅速度を速くしてもよい。これによれば、産業車両と人物との位置が近いほど、人物に産業車両が近くにいることを認識させやすい。
【発明の効果】
【0014】
本発明によれば、産業車両が近くにいることを産業車両の周辺の人物に認識させることができる。
【図面の簡単な説明】
【0015】
【
図1】警告装置が搭載されるフォークリフトの側面図。
【
図2】フォークリフト、及び、警告装置の概略構成図。
【
図4】警告装置が行う警告処理を示すフローチャート。
【
図6】第1画像を基準画像として得られた視差画像を示す図。
【
図7】第1実施形態の発光警告判定を示すフローチャート。
【
図9】第2実施形態の発光警告判定を示すフローチャート。
【
図10】撮像可能範囲を複数に区分した範囲を示す模式図。
【発明を実施するための形態】
【0016】
(第1実施形態)
以下、警告装置の第1実施形態について説明する。
図1に示すように、フォークリフト10は、車体11と、車体11に設けられた荷役装置12と、を備える。なお、フォークリフト10は、自動で走行動作及び荷役動作が行われるものであってもよいし、搭乗者による操作によって走行動作及び荷役動作が行われるものであってもよい。
【0017】
図2に示すように、フォークリフト10は、メインコントローラ20と、走行用モータM1と、走行用モータM1を制御する走行制御装置23と、車速センサ24と、操舵角センサ25と、を備える。メインコントローラ20は、走行動作及び荷役動作に関する制御を行う。メインコントローラ20は、CPU21と、種々の制御を行うためのプログラムなどが記憶されたメモリ22と、を備える。
【0018】
メインコントローラ20のCPU21は、フォークリフト10の車速が目標速度となるように走行制御装置23に走行用モータM1の回転数の指令を与える。本実施形態の走行制御装置23は、モータドライバである。本実施形態の車速センサ24は、走行用モータM1の回転数を検出する回転数センサである。車速センサ24は、走行用モータM1の回転数を走行制御装置23に出力する。走行制御装置23は、メインコントローラ20からの指令に基づき、走行用モータM1の回転数が指令と一致するように走行用モータM1を制御する。操舵角センサ25は、操舵輪の舵角を検出し、検出結果をメインコントローラ20に出力する。
【0019】
産業車両としてのフォークリフト10には、フォークリフト10の周囲の人物に対して、フォークリフト10との距離が近いことを警告する警告装置30が搭載されている。警告装置30は、警告ユニット31と、画像処理部51と、発光制御部61と、を備える。
【0020】
図2及び
図3に示すように、警告ユニット31は、1つのステレオカメラ32と、3つの発光部35,36,37と、ステレオカメラ32及び各発光部35,36,37を収容する筐体41と、を備える。ステレオカメラ32と発光部35,36,37とは、筐体41に収容されることでユニット化されている。ステレオカメラ32は、2つのカメラ33,34を備える。カメラ33,34としては、例えば、CCDイメージセンサや、CMOSイメージセンサが用いられる。各カメラ33,34は、互いの光軸が平行となるように配置されている。発光部35,36,37は、光源やレンズを備える。光源としては、例えば、発光ダイオード、電球、蛍光灯などを用いることができるが、指向性を有する発光ダイオードを用いることが好ましい。
【0021】
図3に示すように、筐体41は、2つの撮像孔44が開口する撮像面42と、3つの発光孔45が開口する発光面43と、を備える。撮像面42及び発光面43は、それぞれ、筐体41の外面のうちの1つであり、互いに隣り合う面である。発光面43は、撮像面42に対して傾斜しており、発光面43と撮像面42とのなす角は、鈍角となっている。
【0022】
撮像孔44は、筐体41の内外を連通している。ステレオカメラ32は、各カメラ33,34のレンズと各撮像孔44とが向かい合うように筐体41に収容されている。これにより、ステレオカメラ32は、撮像孔44によって筐体41外に露出している。詳細にいえば、各カメラ33,34のレンズが筐体41外に露出している。また、ステレオカメラ32は、撮像孔44を介して筐体41外を撮像可能に配置されている。
【0023】
発光孔45は、発光部35,36,37と同数設けられている。発光孔45は、筐体41の内外を連通している。各発光孔45は、2つの撮像孔44同士の並ぶ方向と同一方向に並んで設けられている。各発光孔45は同一形状である。発光孔45は、四角形状の孔であり、発光面43から筐体41内に向けて徐々に開口面積が小さくなる。発光部35,36,37は、発光孔45と向かい合うように筐体41に収容されている。これにより、発光部35,36,37は、各発光孔45によって筐体41外に露出している。詳細にいえば、発光部35,36,37のレンズが筐体41外に露出している。また、発光部35,36,37のうち筐体41の外部に露出する露出面38は、発光面43よりも筐体41の内側に配置されている。従って、発光部35,36,37から筐体41外に照射される光は、発光面43よりも筐体41の内側から照射されることになる。
【0024】
警告ユニット31は、車体11の上部などフォークリフト10の上方からフォークリフト10の走行する路面をステレオカメラ32により鳥瞰できるように配置されている。なお、車体11とは、座席や走行に関する部材を備える基台や、座席の上部に設けられるヘッドガードを含む。警告ユニット31は、2つのカメラ33,34が水平方向に並ぶように配置されている。警告ユニット31は、各発光部35,36,37同士が水平方向に並ぶように配置されている。
【0025】
筐体41は、撮像面42よりも下方に発光面43が位置するように配置されている。発光孔45の向く方向は、撮像孔44の向く方向よりも下方である。発光孔45の中心軸は、撮像孔44の中心軸よりも下側に傾いている。
【0026】
警告ユニット31は、ステレオカメラ32及び各発光部35,36,37がフォークリフト10の後方を向くように配置されている。従って、ステレオカメラ32は、フォークリフト10の後方を撮像することになり、各発光部35,36,37はフォークリフト10の後方に光を照射することになる。
【0027】
画像処理部51及び発光制御部61は、筐体41に収容され、警告ユニット31の一部とされていてもよいし、筐体41外に配置され、警告ユニット31とは別体とされていてもよい。画像処理部51は、ステレオカメラ32によって撮像された画像から、人物の検出及び人物の位置の演算を行う。発光制御部61は、発光部35,36,37の制御を行う。発光制御部61は、発光部35,36,37の点灯、消灯及び点滅発光を行うことが可能である。画像処理部51及び発光制御部61は互いに接続され、互いに情報の取得が可能である。画像処理部51及びメインコントローラ20は互いに接続され、互いに情報の取得が可能である。なお、メインコントローラ20を発光制御部として機能させるようにしてもよい。即ち、メインコントローラ20により発光部35,36,37の制御が行われるようにしてもよい。
【0028】
画像処理部51は、CPU52と、RAM及びROM等からなる記憶部53と、を備える。記憶部53には、ステレオカメラ32によって撮像された画像から人物の検出や人物の位置を演算するための種々のプログラムが記憶されている。発光制御部61は、CPU62と、RAM及びROM等からなる記憶部63と、を備える。記憶部63には、発光部35,36,37を制御するための種々のプログラムが記憶されている。画像処理部51及び発光制御部61は、各種処理のうち少なくとも一部の処理を実行する専用のハードウェア、例えば、特定用途向け集積回路:ASICを備えていてもよい。画像処理部51及び発光制御部61は、コンピュータプログラムに従って動作する1つ以上のプロセッサ、ASIC等の1つ以上の専用のハードウェア回路、あるいは、それらの組み合わせを含む回路として構成し得る。プロセッサは、CPU、並びに、RAM及びROM等のメモリを含む。メモリは、処理をCPUに実行させるように構成されたプログラムコードまたは指令を格納している。メモリ、即ち、コンピュータ可読媒体は、汎用または専用のコンピュータでアクセスできるあらゆるものを含む。
【0029】
次に、画像処理部51及び発光制御部61の行う警告処理について説明する。警告処理は、フォークリフト10が起動状態のときに行われる。起動状態とは、フォークリフト10に走行動作及び荷役動作を行わせることが可能な状態である。
【0030】
図4に示すように、画像処理部51は、ステップS1において、ステレオカメラ32から画像を取得する。画像は、2つのカメラ33,34から取得する。2つのカメラ33,34のうち、一方を第1カメラ33、他方を第2カメラ34とする。第1カメラ33によって撮像された画像を第1画像、第2カメラ34によって撮像された画像を第2画像とすると、第1画像と第2画像では同一の人物が横方向にずれて写ることになる。詳細にいえば、同一の人物を撮像した場合、第1画像に写る人物と、第2画像に写る人物では、横方向の画素[px]にカメラ33,34間の距離に応じたずれが生じることになる。第1画像及び第2画像は、画素数が同じであり、例えば、640×480[px]=VGAの画像が用いられる。第1画像及び第2画像は、RGB形式の画像である。
【0031】
図4及び
図5に示すように、次に、ステップS2において、画像処理部51は、画像から人物を検出する。人物の検出は、画像のうち第1画像を用いて行われる。人物の検出は、画像から特徴量を抽出する特徴量抽出法により行われ、例えば、HOG:Histograms of Oriented Gradientsや、SIFT:Scale Invariant Feature Transformを用いて行われる。第1画像から人物が検出された場合、画像処理部51は、第1画像に写る人物の座標を記憶部53に一時的に記憶する。本実施形態では、人物の座標として、第1画像において人物により占有される横方向の画素数及び縦方向の画素数を把握できるように2点の座標を取得している。
【0032】
図5には、人物が写る第1画像I1の一例を示す。第1画像I1の横方向の座標をX座標とし、第1画像I1の縦方向の座標をY座標とする。X座標は横方向の画素位値を示し、Y座標は縦方向の画素位置を示す。第1画像I1のX座標は左ほど小さく、第1画像I1のY座標は上ほど小さい。
図5に示す例では、人物の座標(X,Y)として座標(100,150)と座標(200,350)が検出される。本実施形態において、画像処理部51が人物検出部として機能することになる。
【0033】
図4に示すように、次に、ステップS3において、画像処理部51は、人物が検出されたか否かを判定する。ステップS3の判定結果が否定の場合、画像処理部51は、ステップS4において位置演算フラグをオフにする。詳細にいえば、位置演算フラグがオフの場合にはオフを維持し、過去の制御周期で位置演算フラグがオンにされている場合には、位置演算フラグをオフにする。次に、ステップS5において、発光制御部61は、発光部35,36,37の点滅発光をオフにする。詳細に言えば、発光部35,36,37が点灯又は消灯している場合にはその状態を維持し、発光部35,36,37が点滅発光している場合には点滅発光をオフにする。
【0034】
ステップS3の判定結果が肯定の場合、画像処理部51は、ステップS6において位置演算フラグをオンにする。詳細にいえば、位置演算フラグがオフの場合には位置演算フラグをオンにし、過去の制御周期で位置演算フラグがオンにされている場合には、位置演算フラグをオンに維持する。
【0035】
ステップS7において、画像処理部51は、ステップS2~ステップS6による画像からの人物検出と並行して、画像から視差画像を生成するステレオ処理を行う。ステレオ処理とは、第1画像I1と第2画像とを比較し、各画像に写る同一特徴点について第1画像I1と第2画像の画素数の差である視差を算出することである。なお、特徴点とは、物体や人物のエッジなど、境目として認識可能な部分である。特徴点は、輝度情報などから検出することができる。
【0036】
画像処理部51は、各画像を一時的に格納するRAMを用いて、RGBからYCrCbへの変換を行う。なお、画像処理部51は、歪み補正、エッジ強調処理などを行ってもよい。画像処理部51は、第1画像I1の各画素と第2画像の各画素との類似度を比較して視差を算出する。なお、ステレオ処理としては、画素毎に視差を算出する手法を用いてもよいし、各画像を複数の画素を含むブロックに分割してブロック毎の視差を算出するブロックマッチング法を用いてもよい。各画素の類似度の比較には、例えば、SAD:Sum of Absolute Difference、SSD:Sum of Squared Differenceなどが用いられる。画像処理部51は、第1画像I1を基準画像、第2画像を比較画像として視差を算出する。画像処理部51は、第1画像I1の画素毎に、最も類似する第2画像の画素を抽出し、第1画像I1の画素と、当該画素に最も類似する画素の横方向の画素数の差を視差として算出する。
【0037】
図4及び
図6に示すように、ステップS8において、画像処理部51は、視差画像dpを生成する。視差画像dpの生成は、基準画像である第1画像I1の各画素にステップS7で取得された視差を対応付けることで行われる。なお、視差画像dpとは、必ずしも表示を要するものではなく、視差画像dpにおける各画素に視差が対応付けられたデータのことを示す。本実施形態では、画像処理部51が、視差画像取得部として機能しているといえる。
【0038】
図6には、第1画像I1と第2画像から得られた視差画像dpを示す。
図6に示す視差画像dpでは、視差の大小を濃淡で表現している。視差は、ステレオカメラ32に近い位置ほど大きくなり、ステレオカメラ32から離れるほど小さくなる。以下、視差画像dpの横方向の座標をX座標とし、視差画像dpの縦方向の座標をY座標とする。視差画像dpの座標は、第1画像I1の座標と一致している。視差画像dpの中心座標のX座標は、フォークリフト10の幅方向の中央に対応している。
【0039】
図4に示すように、画像処理部51は、第1画像I1に人物が存在するか否かの判断が行われ、かつ、視差画像dpが生成されると、ステップS9の処理を行う。ステップS9において、画像処理部51は、位置演算フラグがオンか否かを判定する。ステップS9の判定結果が否定の場合、画像処理部51は、処理を終了する。一方で、ステップS9の判定結果が肯定の場合、画像処理部51は、ステップS10の処理を行う。
【0040】
ステップS10において、画像処理部51は、人物の位置を演算する。まず、画像処理部51は、視差画像dp中の人物の座標を認識する。本実施形態では、視差画像dpを生成する際の基準画像と、人物の検出が行われる画像をともに第1画像I1としていることで、第1画像I1中の人物の座標と視差画像dp中の人物の座標とは同一座標となる。このため、ステップS2で記憶した人物の座標を視差画像dpに適用することで、視差画像dp中の人物の座標を認識することができる。
【0041】
次に、画像処理部51は、カメラ座標系における人物の位置を演算する。カメラ座標系は、光軸をZ軸とし、光軸に直交する2つの軸のそれぞれをX軸、Y軸とする3軸直交座標系である。カメラ座標系における人物の位置は、カメラ座標系におけるZ座標Zc、X座標Xc、Y座標Ycで表わすことができる。Z座標Zc、X座標Xc、及び、Y座標Ycは、それぞれ、以下の(1)式~(3)式を用いて算出することができる。
【0042】
【0043】
【0044】
【数3】
ここで、Bはステレオカメラ32の眼間距離=基線長[m]、fは焦点距離[m]、dは視差[px]である。xpは視差画像dp中の任意のX座標、x’は視差画像dpの中心X座標である。ypは視差画像dp中の任意のY座標、y’は視差画像dpの中心Y座標である。
【0045】
xpを視差画像dp中の人物のX座標、ypを視差画像dp中の人物のY座標、視差を人物の座標に対応付けられた視差とすることで、カメラ座標系における人物の位置が演算される。
【0046】
ここで、フォークリフト10の進行方向に延びる軸をY軸、鉛直方向に延びる軸をZ軸、Y軸及びZ軸に直交する軸をX軸とする3軸直交座標系での座標を実空間上での座標であるワールド座標とする。実空間上での人物の位置は、実空間上におけるX座標Xw、Y座標Yw、Z座標Zwで表わすことができる。
【0047】
画像処理部51は、以下の(4)式を用いてカメラ座標系をワールド座標系に変換する。
【0048】
【数4】
ここで、Hはワールド座標系におけるステレオカメラ32の取り付け高さであり、θはカメラ33,34の光軸と、水平面とがなす角+90°の角度である。
【0049】
ワールド座標変換で得られたワールド座標のうちX座標Xwは、フォークリフト10の左右方向に対するフォークリフト10から人物までの距離を示す。なお、左右とは、ステレオカメラ32が向いている方向を前とした場合の左右である。Y座標Ywは、フォークリフト10の進行方向に対するフォークリフト10から人物までの距離を示す。本実施形態において、画像処理部51が人物位置検出部として機能している。
【0050】
次に、画像処理部51及び発光制御部61は、ステップS20において、発光警告判定を行う。以下、発光警告判定について詳細に説明を行う。
図7及び
図8に示すように、ステップS21において、画像処理部51は、有効視差数を取得する。有効視差数とは、視差画像dpのうちの特定の領域Aに含まれる視差の数である。特定の領域Aとは、横方向の画素数が視差画像dpの横方向の画素数と同一であり、縦方向の画素数が視差画像dpの縦方向の画素数よりも少ない範囲である。領域A外の部分は、ステレオカメラ32から過剰に近い位置と、ステレオカメラ32から過剰に離れた部分である。領域Aは、フォークリフト10の進行に際して、人物の検出を行うべき範囲である。
【0051】
次に、ステップS22において、画像処理部51は、有効視差数が閾値未満か否かを判定する。閾値としては、例えば、領域A内の画素数のうちの半数の値が用いられ、領域A内の各画素のうち半分以上の画素に視差が対応付けられているか否かが判定されることになる。なお、閾値としては、視差画像dpから距離の算出を行うことが可能な数の有効視差数があればよく、適宜変更してもよい。
【0052】
ステップS22の判定結果が否定の場合、ステップS23において、発光部35,36,37の消灯が行われる。詳細にいえば、発光部35,36,37が点灯している場合には、発光部35,36,37の消灯が行われ、発光部35,36,37が消灯している場合には、発光部35,36,37の消灯が維持される。発光部35,36,37の消灯は、発光制御部61により行われる。
【0053】
ステップS22の判定結果が肯定の場合、ステップS24において、発光部35,36,37の点灯が行われる。詳細にいえば、発光部35,36,37が消灯している場合には、発光部35,36,37の点灯が行われ、発光部35,36,37が点灯している場合には、発光部35,36,37の点灯が維持される。発光部35,36,37の点灯は、発光制御部61により行われる。
【0054】
視差は、画像中の特徴点を用いて算出される。暗所では、特徴点を抽出しにくく、得られる視差の数が減少する。このため、有効視差数が閾値未満の場合には、発光部35,36,37を点灯させることで特徴点の抽出を行いやすくする。即ち、ステップS24で発光部35,36,37の点灯が行われると、次の制御周期から視差を取得しやすくなる。
【0055】
次に、画像処理部51は、ステップS25の処理を行う。ステップS25において、画像処理部51は、フォークリフト10から人物までの距離が警告閾値未満か否かを判定する。フォークリフト10から人物までの距離は、実空間上でのY座標Ywに対応している。画像処理部51は、Y座標Ywによりフォークリフト10から人物までの距離を把握することができる。なお、人物までの距離は、Y座標Yw及びX座標Xwの両方から把握してもよい。
【0056】
警告閾値は、フォークリフト10と人物との距離が過剰に近くなる前に人物に対して警告を行えるように設定されている。警告閾値は、フォークリフト10の使用される環境などに応じて設定される。ステップS25の判定結果が否定の場合、画像処理部51及び発光制御部61は処理を終了する。一方で、ステップS25の判定結果が肯定の場合、発光制御部61は、ステップS26の処理を行う。
【0057】
ステップS26において、発光部35,36,37の点滅発光が行われる。詳細にいえば、発光部35,36,37が点灯又は消灯している場合には点滅発光が行われ、発光部35,36,37が点滅発光していれば点滅発光が維持される。発光部35,36,37の点滅発光は、発光制御部61により行われる。発光制御部61は、全ての発光部35,36,37を一定の点滅速度で点滅発光させる。
【0058】
第1実施形態の作用について説明する。
画像処理部51により人物が検出され、フォークリフト10から人物までの距離が警告閾値未満になると、発光部35,36,37の点滅発光が行われる。点滅発光により人物への警告が行われることで、人物は、フォークリフト10が近付いていることを認識することができる。
【0059】
点滅発光や点灯により発光部35,36,37から光が照射され、この光が第1カメラ33のレンズ及び第2カメラ34のレンズに入り込むと、第1画像I1と第2画像に光による差が生じるおそれがある。すると、視差が正しく算出されないおそれがある。本実施形態では、ステレオカメラ32と発光部35,36,37との配置により、発光部35,36,37からの光が第1カメラ33のレンズ及び第2カメラ34のレンズに入り込むことを抑制している。
【0060】
発光部35,36,37の露出面38は、発光孔45よりも筐体41の内側に配置されている。このため、発光部35,36,37の光は、発光孔45を通過して照射されることになり、発光孔45によって光が拡がることが抑制されている。即ち、発光部35,36,37の光が発光孔45を通過するように発光部35,36,37を配置することで、発光孔45を絞りとして機能させている。
【0061】
また、発光面43は、撮像面42に対して斜めになっており、発光孔45は撮像孔44よりも下方を向いている。従って、発光部35,36,37からの光は、第1カメラ33のレンズ及び第2カメラ34のレンズから離れるように照射されることになり、第1カメラ33のレンズ及び第2カメラ34のレンズに光が入り込むことが抑制されている。
【0062】
第1実施形態の効果について説明する。
(1-1)発光制御部61は、フォークリフト10から人物までの距離が警告閾値未満の場合、発光部35,36,37を点滅発光させる。人物に対して警告を行うことで、周辺の人物にフォークリフト10が近くにいることを認識させることができる。
【0063】
また、発光部35,36,37は、フォークリフト10の周辺環境に光を照射することで視差を取得しやすくすることにも用いられる。発光部35,36,37を用いて警告を行うことで、周辺環境を照らすための部材と警告を行うための部材を兼用することができる。
【0064】
(1-2)発光部35,36,37とステレオカメラ32はユニット化されているため、1つの部材である警告ユニット31として扱うことができる。このため、発光部35,36,37とステレオカメラ32とを別々にフォークリフト10に設置する場合に比べて、両者の相対位置の調整を行いやすい。詳細にいえば、発光部35,36,37とステレオカメラ32を別々に設置する場合、発光部35,36,37からの光がステレオカメラ32に影響を与えにくいように相対位置を調整する必要がある。発光部35,36,37とステレオカメラ32とをユニット化することで、予め両者の相対位置は定まっているため、フォークリフト10に設置を行う際に相対位置の調整を行いやすい。
【0065】
(1-3)筐体41の発光面43は、撮像面42よりも下方に位置し、発光孔45の向く方向は、撮像孔44の向く方向よりも下方である。このため、発光部35,36,37から照射される光は、ステレオカメラ32から離れるように照射される。発光部35,36,37から照射された光がステレオカメラ32に到達しにくく、発光部35,36,37から照射された光がステレオカメラ32の画像に影響を及ぼすことを抑制することができる。
【0066】
(1-4)発光部35,36,37の露出面38は、発光面43よりも筐体41の内側に配置されている。発光部35,36,37の光は、発光孔45を通過して筐体41外に照射されることになる。発光孔45により発光部35,36,37の光が拡がることを抑制できるため、発光部35,36,37から照射された光がステレオカメラ32の画像に影響を及ぼすことを抑制することができる。
【0067】
(1-5)有効視差数が閾値未満の場合には、発光部35,36,37を点灯させている。発光部35,36,37が点灯することで、視差を取得しやすくなるため、視差の不足により人物の位置が検出できなかったり、視差の不足により人物の位置の検出精度が低下することを抑制できる。また、有効視差数が閾値未満の場合、搭乗者の視認性も悪いと考えられる。発光部35,36,37を点灯させることで、搭乗者により操作されるフォークリフト10では、周辺環境に対する搭乗者の視認性を向上させることができる。
【0068】
(1-6)発光部35,36,37は、複数設けられている。このため、発光部35,36,37が1つの場合に比べて、広範囲に亘って警告を行うことができる。
(1-7)発光部35,36,37によって警告を行っている。フォークリフト10の使用される環境は、工場内など騒音のする場所の場合もある。従って、音による警告を行う場合に比べて、環境に依存することなく人物への警告を行うことができる。
【0069】
(第2実施形態)
以下、警告装置の第2実施形態について説明する。なお、第1実施形態と同様の部分については、説明を省略する。
【0070】
図2に破線で示すように、第2実施形態の警告装置30は、照度センサ71を備える。照度センサ71は、例えば、ステレオカメラ32及び発光部35,36,37とともに筐体41に収容されることで警告ユニット31の一部を構成する。照度センサ71は、フォークリフト10の周辺の照度である環境照度を検出する。詳細にいえば、照度センサ71は、ステレオカメラ32による撮像が行われる環境の照度を検出する。
【0071】
第2実施形態の発光警告判定について作用とともに説明する。
図9に示すように、ステップS31において、発光制御部61は、照度センサ71から環境照度を取得する。次に、ステップS32において、発光制御部61は、照度センサ71から取得した環境照度が設定照度以下か否かを判定する。設定照度としては、周辺環境の照度が視差を十分に取得できる値か否かを判断できるように設定されている。なお、視差を十分に取得できる照度とは、例えば、第1実施形態における有効視差数が閾値以上となると予想される照度である。
【0072】
ステップS32の判定結果が否定の場合、発光制御部61は、ステップS33において、発光部35,36,37を消灯させる。ステップS32の判定結果が肯定の場合、ステップS34において、発光制御部61は、発光部35,36,37を点灯させる。第1実施形態では、有効視差数から発光部35,36,37を点灯するか消灯するかを判断していたのに対し、第2実施形態では環境照度から発光部35,36,37を点灯するか消灯するかが判断されることになる。
【0073】
次に、ステップS35において、発光制御部61は、画像処理部51から人物の位置を取得する。次に、ステップS36において、発光制御部61は、フォークリフト10から人物までの距離が警告閾値未満か否かを判定する。ステップS36の判定結果が否定の場合、発光制御部61は、処理を終了する。一方で、発光制御部61は、ステップS36の判定結果が肯定の場合、ステップS37の処理を行う。
【0074】
ステップS37において、発光制御部61は、人物の位置の判定を行う。
図10に示すように、ステレオカメラ32の撮像可能範囲IAは、3つの範囲IA1~IA3に区分されている。ステレオカメラ32の撮像可能範囲IAは、水平画角及び垂直画角により定まる。3つの範囲IA1~IA3は、撮像可能範囲IAを左右方向に区分した範囲であり、各範囲IA1~IA3の左右方向の寸法は同一である。なお、左右方向は、ワールド座標系におけるX座標Xwに対応する。
【0075】
3つの範囲IA1~IA3のうち左側を左範囲IA1、中央を中央範囲IA2、右側を右範囲IA3とする。左範囲IA1と中央範囲IA2との境となるワールド座標系でのX座標を-X、中央範囲IA2と右範囲IA3との境となるワールド座標系でのX座標をXとする。
【0076】
各範囲IA1~IA3は、3つの発光部35,36,37に対応している。3つの発光部35,36,37のうち左側の発光部35を左部35、中央の発光部36を中央部36、右側の発光部37を右部37とすると、中央部36は撮像可能範囲IAの左右方向の中心に対応して設けられている。左部35は、中央部36よりも左側に位置しているため、中央部36に比べて左範囲IA1に寄って設けられていることになる。同様に、右部37は、中央部36に比べて右範囲IA3に寄って設けられていることになる。左部35は左範囲IA1、中央部36は中央範囲IA2、右部37は右範囲IA3にそれぞれ対応付けられている。
【0077】
図9に示すように、ステップS37では、人物のX座標Xwが左範囲IA1、中央範囲IA2、右範囲IA3のうちいずれの範囲内に位置するかの判定が行われる。発光制御部61は、人物のX座標Xwが-X未満であれば、ステップS38において、左部35を点滅発光させる。人物のX座標Xwが-X未満の場合、人物は左範囲IA1にいる。従って、人物が左範囲IA1にいる場合には、左部35が点滅発光されることになる。
【0078】
発光制御部61は、人物のX座標Xwが-X以上、かつ、X以下であれば、ステップS39において、中央部36を点滅発光させる。人物のX座標Xwが-X以上、かつ、X以下の場合、人物は中央範囲IA2にいる。従って、人物が中央範囲IA2にいる場合には、中央部36が点滅発光されることになる。
【0079】
発光制御部61は、人物のX座標XwがXより大きければ、ステップS40において、右部37を点滅発光させる。人物のX座標XwがXより大きい場合、人物は右範囲IA3にいる。従って、人物が右範囲IA3にいる場合には、右部37が点滅発光されることになる。
【0080】
発光制御部61は、人物のいる方向に位置する発光部35,36,37を点滅発光させることで、人物に警告を行うことになる。この際、発光部35,36,37として指向性の高いものを用いることで、遠方まで警告を行うことができる。
【0081】
なお、人物が複数の範囲IA1~IA3に跨がって存在している場合や、複数の人物が別々の範囲IA1~IA3に存在している場合、複数の範囲IA1~IA3に対応して複数の発光部35,36,37が点滅発光することになる。また、ステップS37の判定により点滅発光が行われない発光部35,36,37は、ステップS33で消灯されていれば消灯、ステップS34で点灯されていれば点灯した状態に維持されている。
【0082】
第2実施形態の効果について説明する。
(2-1)発光制御部61は、人物のいる範囲に対応した発光部35,36,37を点滅発光させる。従って、人物の位置に応じた一部の発光部35,36,37を点滅発光させることが許容される。一部の発光部35,36,37を点滅発光させることができるため、点滅発光させている発光部35,36,37以外の発光部35,36,37を点灯又は消灯させることができる。全ての発光部35,36,37を点滅発光させる場合に比べて、特定の人物に対して警告を行いやすい。例えば、左範囲IA1に警告閾値よりも近くにいる人物が存在し、中央範囲IA2に警告閾値よりも離れた位置に人物が存在する場合に、左範囲IA1の人物に警告を行うことができる。
【0083】
各実施形態は、以下のように変更して実施することができる。各実施形態及び以下の変形例は、技術的に矛盾しない範囲で互いに組み合わせて実施することができる。
○第2実施形態において、3つの発光部35,36,37のうちいずれを点滅発光させるかは、人物のX座標ではなく、フォークリフト10の操舵方向によって判定されてもよい。発光制御部61は、画像処理部51を介して、メインコントローラ20から、操舵角センサ25の検出結果及び車速センサ24の値を取得する。発光制御部61は、フォークリフト10が直進する場合には中央部36、フォークリフト10が左折する場合には左部35、フォークリフト10が右折する場合には右部37をそれぞれ点滅発光させる。これにより、フォークリフト10の周辺にいる人物は、フォークリフト10が進行する方向を認識することができる。
【0084】
○各実施形態において、発光制御部61は、人物とフォークリフト10との距離が短いほど点滅発光をする際の点滅速度を速くしてもよい。発光制御部61は、画像処理部51から人物の位置を取得し、人物のY座標Ywを認識する。Y座標Ywは、フォークリフト10の進行方向に対するフォークリフト10から人物までの距離を示す。発光制御部61は、Y座標Ywの値が小さいほど点滅速度を速くする。これにより、フォークリフト10と人物との位置が近いほど、人物にフォークリフト10が近くにいることを認識させやすい。
【0085】
○各実施形態において、複数の発光部35,36,37の配置位置は、適宜変更してもよい。例えば、複数の発光部35,36,37を鉛直方向に並べてもよいし、水平方向に複数の発光部35,36,37を並べた列を鉛直方向に複数設けてもよい。
【0086】
○各実施形態において、水平方向に並ぶ発光部35,36,37の数を、2つにしてもよいし、4つ以上にしてもよい。第2実施形態では、発光部35,36,37の数に合わせて撮像可能範囲IAを区分する数を変更してもよい。例えば、発光部35,36,37の数が2つであれば、撮像可能範囲IAを2つに区分して2つの範囲としてもよい。
【0087】
○各実施形態において、警告装置30は、発光部35,36,37のいずれかのみを備えていてもよい。即ち、発光部は単数であってもよい。
○第2実施形態において、発光部が単数の場合、光の照射方向を変更することで、人物の位置に応じた警告をしてもよい。
【0088】
○第1実施形態において、有効視差数による発光部35,36,37の点灯判定を行わなくてもよい。有効視差数が閾値未満であっても、発光部35,36,37の点灯は行われないことになる。この場合、フォークリフト10は、暗所などの視差が取得しにくくなる箇所が少ない場所で用いられることが好ましい。
【0089】
同様に、第2実施形態において、環境照度による発光部35,36,37の点灯判定は行われなくてもよい。この場合、第2実施形態の警告装置30は、照度センサ71を備えていなくてもよい。
【0090】
○各実施形態において、発光部35,36,37のうち筐体41の外部に露出する露出面38は、発光面43と同一平面上に位置するようにしてもよい。また、露出面38は、発光面43よりも筐体41の外部に突出してもよい。
【0091】
○各実施形態において、筐体41の形状は適宜変更してもよい。例えば、撮像面42と発光面43とを同一面とし、ステレオカメラ32と発光部35,36,37とを同一面に露出させてもよいし、撮像面42と発光面43とが互いに隣り合っていなくてもよい。また、発光面43が撮像面42よりも上方に位置するようにしてもよい。この場合、発光部35,36,37の光が第1カメラ33のレンズ及び第2カメラ34のレンズに入り込まないように、筐体41に遮蔽物を設けてもよい。
【0092】
また、発光孔45の向く方向は、撮像孔44の向く方向よりも上方であってもよいし、同一方向であってもよい。
○各実施形態において、ステレオカメラ32と発光部35,36,37とをユニット化していなくてもよい。この場合、ステレオカメラ32と発光部35,36,37とは個別にフォークリフト10に設置される。
【0093】
○各実施形態において、発光部として、フォークリフト10に備えられるヘッドライトや、バックライトを用いてもよい。この場合、各発光部35,36,37は設けられなくてもよいし、設けられていてもよい。
【0094】
○各実施形態において、警告装置30は、フォークリフト10の周辺に人物がいる場合にフォークリフト10の搭乗者に警告を行う警告部を備えていてもよい。警告部としては、周辺の人物に警告を行う場合と同様に、発光部を用いてもよいし、音を発するブザーなどを用いてもよい。
【0095】
○各実施形態において、警告装置30は、発光部35,36,37の点滅発光による警告に加えて、文字やシンボルの表示、あるいは、音によって人物に警告を行ってもよい。
○各実施形態において、人物の検出は、視差画像dpを用いて行われてもよい。視差を用いることで、視差画像dp中の人物の輪郭を抽出することができる。この輪郭から人物の検出を行ってもよい。
【0096】
○各実施形態において、画像処理部51は、人物の位置を検出することに加えて、フォークリフト10の走行の妨げとなる障害物や、壁を検出するようにしてもよい。障害物や壁は、視差から検出することができる。
【0097】
○各実施形態において、カメラ座標系からワールド座標系への座標変換は、(4)式に代えて、テーブルデータによって行われてもよい。テーブルデータは、Y座標YcとZ座標Zcの組み合わせにY座標Ywを対応させたテーブルデータと、Y座標YcとZ座標Zcとの組み合わせにZ座標Zwを対応させたテーブルデータである。これらのテーブルデータを画像処理部51のROMなどに記憶しておくことで、カメラ座標系におけるY座標YcとZ座標Zcから、ワールド座標系におけるY座標Yw及びZ座標Zwを求めることができる。
【0098】
○各実施形態において、画像処理部51は、領域Aを定めず、視差画像dpの全体の視差数が予め設定された閾値未満か否かにより、発光部35,36,37を点灯させるかの判定を行ってもよい。
【0099】
○各実施形態において、視差画像取得部、人物検出部及び人物位置検出部、それぞれ、個別の制御装置によって構成されていてもよい。
○各実施形態において、画像処理部51と発光制御部61とを同一の制御装置としてもよい。
【0100】
○各実施形態において、第1カメラ33と第2カメラ34は、鉛直方向に並んで配置されていてもよい。
○各実施形態において、第1画像I1の画素数と第2画像の画素数とは異なっていてもよい。例えば、比較画像である第2画像の画素数を視差画像dpの画素数と同一とし、基準画像である第1画像I1の画素数を第2画像の画素数よりも多くしてもよい。
【0101】
○各実施形態において、ステレオカメラ32は、3つ以上のカメラを備えていてもよい。
○各実施形態において、フォークリフト10は、エンジンの駆動によって走行するものでもよい。この場合、走行制御装置は、エンジンへの燃料噴射量などを制御する装置となる。
【0102】
○各実施形態において、警告ユニット31は、ステレオカメラ32及び各発光部35,36,37がフォークリフト10の前方を向くように配置されていてもよい。この場合、フォークリフト10の前方にいる人物に対して警告が行われることになる。また、後方を向いて配置される警告ユニット31と、前方を向いて配置される警告ユニット31の両方をフォークリフト10に搭載してもよい。即ち、ステレオカメラ32及び発光部35,36,37の配置を変更することで、任意の方向の人物に対して警告を行うことが可能である。ステレオカメラ32及び各発光部35,36,37がフォークリフト10の前方を向くように警告ユニット31を設ける場合、例えば、荷役装置12の上部や車体11の上部に警告ユニット31は設けられる。
【0103】
○警告装置30は、建設機械、自動搬送車、トーイングトラクタなどの産業車両に搭載されてもよい。
【符号の説明】
【0104】
A…領域、IA…撮像可能範囲、IA1,IA2,IA3…範囲、10…フォークリフト(産業車両)、30…警告装置、32…ステレオカメラ、35,36,37…発光部、38…露出面、41…筐体、42…撮像面、43…発光面、44…撮像孔、45…発光孔、51…画像処理部(視差画像取得部、人物検出部及び人物位置検出部)、61…発光制御部。