(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-11-10
(45)【発行日】2022-11-18
(54)【発明の名称】作業機械
(51)【国際特許分類】
E02F 9/20 20060101AFI20221111BHJP
E02F 9/26 20060101ALI20221111BHJP
E02F 9/24 20060101ALI20221111BHJP
【ＦＩ】
E02F9/20 M
E02F9/26 B
E02F9/24 B
【請求項の数】
6
(21)【出願番号】P 2019141252
(22)【出願日】2019-07-31
(65)【公開番号】P2021025223
(43)【公開日】2021-02-22
【審査請求日】2021-12-17
(73)【特許権者】
【識別番号】000005522
【氏名又は名称】日立建機株式会社
(74)【代理人】
【識別番号】110001829
【氏名又は名称】弁理士法人開知
(72)【発明者】
【氏名】中村 哲司
(72)【発明者】
【氏名】坂本 博史
(72)【発明者】
【氏名】工藤 光輝
【審査官】彦田 克文
(56)【参考文献】
【文献】特開２０１０－１９８５１９（ＪＰ，Ａ）
【文献】特開２０１９－１０８７２２（ＪＰ，Ａ）
【文献】特開２０１６－２１９８６４（ＪＰ，Ａ）
【文献】特開２０１８－１２３６４６（ＪＰ，Ａ）
【文献】特開２０１６－００９３１６（ＪＰ，Ａ）
【文献】特開２０１７－０８５３７０（ＪＰ，Ａ）
【文献】特開２０１１－１５４５８０（ＪＰ，Ａ）
【文献】特開２０１１－１８０６８８（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｅ０２Ｆ ９／２０
Ｅ０２Ｆ ９／２６
Ｅ０２Ｆ ９／２４
(57)【特許請求の範囲】
【請求項1】
下部走行体と、前記下部走行体に対して旋回可能に設けられた上部旋回体と、
前記上部旋回体に取り付けられたフロント作業機と、
前記下部走行体、前記上部旋回体、及び、前記フロント作業機の動作状態を検出する車体状態検出装置と、
作業機械周辺の環境情報を取得する外界センサと、
前記外界センサが取得した環境情報を取り込み、取り込んだ環境情報に基づいて自車周囲の障害物の有無を判別するとともに判別した障害物の位置を認識し、認識した障害物の位置に係る情報を出力する制御装置とを備えた作業機械において、
前記制御装置は、前記車体状態検出装置の検出結果に基づいて、前記作業機械が掘削作業を実施しているか否かを判別し、判別結果に基づいて、外界センサの環境情報の取り込み条件、自車周囲の障害物の有無の判別条件、及び障害物の位置の認識条件の少なくとも何れか１つの条件を設定することを特徴とする作業機械。
【請求項2】
請求項１記載の作業機械において、前記車体状態検出装置は、前記フロント作業機にかかる負荷を検出し、
前記制御装置は、前記車体状態検出装置の検出結果である負荷が予め定めた閾値以上となったときに掘削作業中であると判別することを特徴とする作業機械。
【請求項3】
請求項２記載の作業機械において、前記車体状態検出装置は、前記上部旋回体の旋回速度を検出し、
前記制御装置は、前記作業機械が掘削作業中であると判別してから予め定めた時間内に前記旋回速度が予め定めた閾値以上となったときに運搬作業中であると判別し、前記取り込み条件、前記判別条件、及び前記認識条件の少なくとも何れか１つの条件を変更することを特徴とする作業機械。
【請求項4】
請求項２記載の作業機械において、前記車体状態検出装置は、前記フロント作業機の姿勢を検出し、
前記制御装置は、前記作業機械が掘削作業中であると判別してから予め定めた時間経過後に前記フロント作業機の動作量が予め定めた閾値以上となったときに放土作業中であると判別し、前記取り込み条件、前記判別条件、及び、前記認識条件の少なくとも何れか１つの条件を変更することを特徴とする作業機械。
【請求項5】
請求項１記載の作業機械において、前記外界センサは、画像を取得する１つ以上のカメラであって、
前記制御装置は、
前記カメラで取得した画像の予め定められた範囲における色または明るさの変化に関連する特徴量を抽出する画像処理を行い、抽出した特徴量と予め定められたテンプレートとを比較して障害物の有無、及び前記障害物の位置を算出し、
前記外界センサとしての前記カメラによる環境情報の取り込み条件として、カメラが取得した画像の取り込み周期、特徴量の抽出を行う画像処理範囲、及び前記テンプレートの何れか１つの条件の変更を行うことを特徴とする作業機械。
【請求項6】
請求項１記載の作業機械において、前記外界センサは、レーザーを走査し、レーザーを照射した地点までの距離を計測するとともに、レーザーを照射した地点の位置の集合である点群を取得する１つ以上のレーザーレーダーであって、
前記制御装置は、
前記レーザーレーダーで取得した点群の予め定められた範囲における近接する点群の位置関係に基づき点群の一部を立体物の要素として分別し、分別した点群と予め定められたテンプレートとを比較して障害物の有無を判別、及び前記障害物の点群における代表点のまでの距離を抽出し、
前記外界センサとしての前記レーザーレーダーによる環境情報の取り込み条件として、前記レーザーレーダーが取得した点群の取り込み範囲、取得した点群の分別処理における閾値、及び取得した点群の比較テンプレートの何れか１つの条件の変更を行うことを特徴とする作業機械。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、作業機械に関する。
【背景技術】
【0002】
油圧ショベルに代表される作業機械には、自機の周囲に存在する人または物体等の障害物を検出して作業機械の操作者への警報や作業機械の停止制御などを行うものがある。このような作業機械では、作業機械に取り付けたカメラやレーザーレーダーに代表される外界センサを用いて障害物の有無の判断や作業機械と障害物の位置関係を検出し、接触の可能性を判断して警報や停止制御などを行っている。
【0003】
このような周囲監視に係る技術として、例えば、特許文献１には、自車前方の状況を撮像する撮像手段と、前記撮像手段の出力から自車前方の障害物候補を検知する障害物候補検知手段と、自車の挙動情報を検知する自車挙動情報検知手段と、前記自車挙動情報検知手段の出力から自車のピッチ角を推定する自車ピッチ角推定手段と、前記自車ピッチ角推定手段の出力に応じて、前記障害物候補検知手段の処理領域を補正する障害物検知領域補正手段と、を備えた車両用外界認識装置において、自車のピッチ角の将来値を予測する将来ピッチ角予測手段と、前記将来ピッチ角予測手段の出力によりピッチ角変化が生じると予測される場合には、前記障害物候補検知手段から障害物候補の撮像領域を記憶する撮像領域記憶手段と、前記撮像領域記憶手段が記憶した時点の所定時間後に前記撮像手段が撮像した映像との相関関係を行い自車のピッチ角を検知する自車ピッチ角検知手段と、前記自車ピッチ角検知手段の出力と前記自車ピッチ角推定手段の出力の差から自車のピッチ角の誤差を算出する自車ピッチ角誤差算出手段と、前記自車ピッチ角誤差算出手段の出力に基づき、ピッチ角の２次的な補正量を算出し、前記障害物検知領域補正手段に反映する２次補正量算出手段と、を設けた車両用外界認識装置が開示されている。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２０１０－１９８５１９号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
ところで、作業機械に取り付けた外界センサを用いて障害物を検出する場合、外界センサから取得される結果は、作業機械が行う一連の作業における作業機械の挙動の影響を受けることが考えられる。例えば、作業機械の挙動によって外界センサの向きの変化や外界センサに加わる振動等が生じることにより、外界センサの出力結果が不安定になることが考えられる。
【0006】
上記従来技術においては、自車の挙動から推定したピッチ角に応じてカメラ画角内の障害物検知領域を補正する補正処理を行うことで、作業機械の挙動に応じて外界センサの出力結果を補正している。しかしながら、作業機械においては、ピッチ角に応じて外界センサの出力結果を補正するだけでは、作業機械の周囲の障害物の認識に不十分となることがある。例えば、作業機械の一つである油圧ショベルでは振動を伴う掘削後に旋回動作を行うように、異なる挙動を見せる様々な種類の作業を連続して行う場合がある。この場合、外界センサの出力結果は作業機械の作業状況により異なる影響を受けてしまうため、外界センサが出力した結果に対し、複数の異なる作業状況に応じてそれぞれ適切な補正処理を実施しなければ障害物を正しく認識できない可能性がある。
【0007】
本発明は上記に鑑みてなされたものであり、作業機械の作業状況毎に適した処理を実施することで自車両周囲の障害物を精度よく認識することができる作業機械を提供することを目的とする。
【課題を解決するための手段】
【0008】
本願は上記課題を解決する手段を複数含んでいるが、その一例を挙げるならば、下部走行体と、前記下部走行体に対して旋回可能に設けられた上部旋回体と、前記上部旋回体に取り付けられたフロント作業機と、前記下部走行体、前記上部旋回体、及び、前記フロント作業機の動作状態を検出する車体状態検出装置と、作業機械周辺の環境情報を取得する外界センサと、前記外界センサが取得した環境情報を取り込み、取り込んだ環境情報に基づいて自車周囲の障害物の有無を判別するとともに判別した障害物の位置を認識し、認識した障害物の位置に係る情報を出力する制御装置とを備えた作業機械において、前記制御装置は、前記車体状態検出装置の検出結果に基づいて、前記作業機械が掘削作業を実施しているか否かを判別し、判別結果に基づいて、外界センサの環境情報の取り込み条件、自車周囲の障害物の有無の判別条件、及び障害物の位置の認識条件の少なくとも何れか１つの条件を設定するものとする。
【発明の効果】
【0009】
本発明によれば、作業機械の作業状況毎に適した処理を実施することで自車両周囲の障害物を精度よく認識することができる。
【図面の簡単な説明】
【0010】
【図1】本発明に係る作業機械の一例である油圧ショベルの外観を模式的に示す側面図である。
【図2】第１の実施の形態に係るコントローラの処理機能を示す機能ブロック図である。
【図3】油圧ショベルの作業状況の一例を示す概観図である。
【図4】周囲障害物認識部の処理内容を示すフローチャートである。
【図5A】周囲障害物認識部の障害物判別部における障害物判別の一例として作業員判別の基本原理を説明する図である。
【図5B】周囲障害物認識部の障害物判別部における障害物判別の一例として作業員判別の基本原理を説明する図である。
【図5C】周囲障害物認識部の障害物判別部における障害物判別の一例として作業員判別の基本原理を説明する図である。
【図5D】周囲障害物認識部の障害物判別部における障害物判別の一例として作業員判別の基本原理を説明する図である。
【図5E】周囲障害物認識部の障害物判別部における障害物判別の一例として作業員判別の基本原理を説明する図である。
【図5F】周囲障害物認識部の障害物判別部における障害物判別の一例として作業員判別の基本原理を説明する図である。
【図6A】作業機械が作業を実施している最中のカメラ画像を模式的に示す図であり、停止中におけるカメラ画像を示す図である。
【図6B】作業機械が作業を実施している最中のカメラ画像を模式的に示す図であり、掘削作業中におけるカメラ画像を示す図である。
【図6C】作業機械が作業を実施している最中のカメラ画像を模式的に示す図であり、運搬作業中やリーチング作業中におけるカメラ画像を示す図である。
【図7A】作業中の作業機械に対する障害物の認識範囲の変更内容例を示す上面図である。
【図7B】作業中の作業機械に対する障害物の認識範囲の変更内容例を示す上面図である。
【図8A】作業状況判別部、障害物認識処理変更部、及び、周囲生涯物認識部の条件設定処理に係る処理内容を示すフローチャートである。
【図8B】作業状況判別部、障害物認識処理変更部、及び、周囲生涯物認識部の条件設定処理に係る処理内容を示すフローチャートである。
【図9】作業状況の判別に用いる油圧ショベルの姿勢と負荷の関係の一例を示す図である。
【図10】出力装置の一例としてモニタの出力画面を概略的に示す図である。
【図11】第２の本実施の形態に係るコントローラの処理機能を示す機能ブロック図である。
【図12】周囲障害物認識部の処理内容を示すフローチャートである。
【図13】周囲障害物認識部の障害物判別部における障害物判別の一例として作業員判別の基本原理を説明する図であり、停止中の様子を示す図である。
【図14A】周囲障害物認識部の障害物判別部における障害物判別の一例として作業員判別の基本原理を説明する図であり、掘削作業中の様子を示す図である。
【図14B】周囲障害物認識部の障害物判別部における障害物判別の一例として作業員判別の基本原理を説明する図であり、運搬作業中やリーチング作業中の様子を示す図である。
【図15A】作業状況判別部、障害物認識処理変更部、及び、周囲生涯物認識部の条件設定処理に係る処理内容を示すフローチャートである。
【図15B】作業状況判別部、障害物認識処理変更部、及び、周囲生涯物認識部の条件設定処理に係る処理内容を示すフローチャートである。
【図16】第３の実施の形態に係るコントローラの処理機能を示す機能ブロック図である。
【図17A】油圧ショベル１の作業状況の他の例を示す外観図であり、法面整形作業を示す図である。
【図17B】油圧ショベル１の作業状況の他の例を示す外観図であり、土羽打ち作業を示す図である。
【図17C】油圧ショベル１の作業状況の他の例を示す外観図であり、吊り荷作業を示す図である。
【発明を実施するための形態】
【0011】
以下、本発明の実施の形態を図面を参照しつつ説明する。
【0012】
なお、本実施の形態では、作業機械の一例として、作業装置（作業機）を備える油圧ショベルを例示して説明するが、例えば、ホイールローダなどのほか、ロードローラなどの道路機械やクレーンなどにも本発明を適用することが可能である。
【0013】
【0014】
図１は、本実施の形態に係る作業機械の一例である油圧ショベルの外観を模式的に示す側面図である。
【0015】
図１において、油圧ショベル１は、垂直方向にそれぞれ回動する複数の被駆動部材（ブーム１３、アーム１４、バケット（作業具）１５）を連結して構成された多関節型のフロント作業機１２と、車体を構成する上部旋回体１１および下部走行体１０とを備え、上部旋回体１１は下部走行体１０に対して旋回可能に設けられている。
【0016】
フロント作業機１２のブーム１３の基端は上部旋回体１１の前部に垂直方向に回動可能に支持されており、アーム１４の一端はブーム１３の先端に垂直方向に回動可能に支持されており、アーム１４の他端にはバケットリンク１５ａを介してバケット１５が垂直方向に回動可能に支持されている。
【0017】
ブーム１３、アーム１４、バケット１５、上部旋回体１１、および下部走行体１０は、油圧アクチュエータであるブームシリンダ１６、アームシリンダ１７、バケットシリンダ１８、旋回油圧モータ１９、および左右の走行油圧モータ１０ａ，１０ｂによりそれぞれ駆動される。なお、図１においては、左側の走行油圧モータ１０ａのみを図示し、右側の走行油圧モータ１０ｂはその符号を括弧書きで示して図示を省略する。走行油圧モータ１０ａ，１０ｂは、左右一対のクローラをそれぞれ駆動することで移動装置として機能する。
【0018】
上部旋回体１１の前部のフロント作業機１２の左側には、オペレータ（操作者）が搭乗する運転室２０が配置されている。運転室２０には、フロント作業機１２の油圧アクチュエータ１６～１８及び上部旋回体１１の旋回油圧モータ１９を操作するための操作信号を出力する操作レバー２２、下部走行体１０の左右の走行油圧モータ１０ａ，１０ｂを操作するための操作信号を出力する走行レバー（図示せず）、オペレータに車体情報などの各種情報を伝達するための出力装置であるモニタ２３、及び、ゲートロックレバー（図示せず）などが配置されている。
【0019】
フロント作業機１２のブーム１３、アーム１４、及びバケット１５の回動軸には姿勢検出装置であるブーム角度センサ２４、アーム角度センサ２５、及びバケット角度センサ２６がそれぞれ取り付けられている。ブーム角度センサ２４、アーム角度センサ２５、及びバケット角度センサ２６は、例えば、ブーム１３、アーム１４、及びバケット１５の回動軸における相対角度を検出するものである。ブーム角度センサ２４、アーム角度センサ２５、及びバケット角度センサ２６の検出結果（相対角度）から、例えば、車体座標系におけるブーム１３、アーム１４、及びバケット１５の回動角度を算出可能である。また、上部旋回体１１には、上部旋回体１１の旋回角速度を検出する旋回ジャイロスコープ２７と、上部旋回体１１の前後方向の傾斜角度を検出する傾斜センサ２８とが設けられている。
なお、ブーム角度センサ２４やアーム角度センサ２５、バケット角度センサ２６、旋回ジャイロスコープ２７、傾斜センサ２８には、慣性計測装置（ＩＭＵ：Inertial Measurement Unit）を用いても良い。
なお、ブーム角度センサ２４やアーム角度センサ２５、バケット角度センサ２６、旋回ジャイロスコープ２７、傾斜センサ２８には、慣性計測装置（ＩＭＵ：Inertial Measurement Unit）を用いても良い。
【0020】
ブームシリンダ１６には、負荷検出装置として、ブームシリンダ１６のボトム圧を検出するブームボトム圧センサ２９と、ロッド圧を検出するブームロッド圧センサ３０とが設けられている。同様に、アームシリンダ１７には、負荷検出装置として、アームシリンダ１７のボトム圧を検出するアームボトム圧センサ３１と、ロッド圧を検出するアームロッド圧センサ３２とが設けられている。
【0021】
上部旋回体１１には、上部旋回体１１の前方を撮像する前方カメラ３５、左側方を撮像する左側方カメラ３６、右側方を撮像する右側方カメラ３７、及び、後方を撮像する後方カメラ３８が設けられている。
【0022】
また、上部旋回体１１には、油圧ショベル１の全体の動作を制御するコントローラ（制御装置）２１が配置されている。コントローラ２１は、図示を省略するが、ハードウェア構成として、入力部と、プロセッサである中央処理装置（ＣＰＵ）と、記憶装置であるリードオンリーメモリ（ＲＯＭ）及びランダムアクセスメモリ（ＲＡＭ）と、出力部とを有している。入力部は、操作レバー２２からの信号、角度センサ２４～２６や旋回ジャイロスコープ２７、傾斜センサ２８からの信号、各カメラ３５～３８からの信号などを入力し、Ａ／Ｄ変換を行う。ＲＯＭは、後述する図４や図８Ａ，図８Ｂなどのフローチャートを実行するための制御プログラムと、当該フローチャートの実行に必要な各種情報等が記憶された記録媒体であり、ＣＰＵは、ＲＯＭに記憶された制御プログラムに従って入力部及びメモリから取り入れた信号に対して所定の演算処理を行う。出力部は、ＣＰＵでの演算結果に応じた出力用の信号を作成し、その信号をモニタ２３などに出力することで、車体周囲の障害物の位置情報や接触警報をモニタ２３の表示画面上に表示させる。なお、コントローラ２１は、記憶装置としてＲＯＭ及びＲＡＭという半導体メモリを例示したが、記憶装置であれば特に代替可能であり、例えばハードディスクドライブ等の磁気記憶装置を備えても良い。
【0023】
図２は、コントローラの処理機能を示す機能ブロック図である。
【0024】
図２において、コントローラ２１は、センサ２４～３２の検出結果に基づいて、油圧ショベル１が行っている作業状況を判別する作業状況判別部５０と、カメラ３５～３８で撮像された画像を取得して油圧ショベル１の周囲の障害物の有無を判別するとともにその位置を認識する周囲障害物認識部５１と、作業状況判別部５０の判別結果に基づいて周囲障害物認識部５１の処理で用いる各種情報を設定あるいは変更する障害物認識処理変更部５５と、作業状況判別部５０の判別結果と周囲障害物認識部５１の認識結果とに基づいて障害物との接触の可能性を判断するとともに警報を出力するか否か判定し、必要に応じて警報等を出力する警報出力部５６とを有している。
【0025】
周囲障害物認識部５１は、カメラ３５～３８から出力される画像を取得し、予め設定された複数の範囲の画像を切り出す処理を行う画像取得部５２と、画像取得部５２で切り出された複数の画像のそれぞれに対して色や明るさの変化に関連する特徴量を抽出し、抽出した特徴量と予め定められたテンプレートとを比較して障害物の有無を判別する障害物判別部５３と、障害物判別部５３の判別結果に基づいて障害物の位置を認識する障害物位置認識部５４とを有している。
【0026】
図３は、油圧ショベルの作業状況の一例を示す概観図である。
【0027】
図３においては、油圧ショベル１により溝成型作業を行う場合を例示している。溝成型作業では、油圧ショベル１は、地面を掘削してバケット１５の内部に土砂を充填する掘削作業と、掘削作業後に上部旋回体１１を旋回して集積土砂４の上にバケット１５を移動する運搬作業と、運搬作業後にバケット１５に充填された土砂を集積土砂４の上に放出する放土作業と、放土作業後に成型中の溝へバケット１５を移動するリーチング作業との４種類の作業を一連のサイクルとして繰り返し、溝を成型する。このとき、油圧ショベル１の周囲には作業員５ａ，５ｂや構造物６等の障害物が存在することがあり、運搬作業やリーチング作業に伴う上部旋回体１１の旋回動作時等に、カメラ３５～３８により周囲の障害物を常に監視し、接触の可能性がある場合に油圧ショベル１の操作者に対して警報を出力することで接触事故を防止している。
【0028】
【0029】
図４に示すステップＳ１００～Ｓ１１２の処理は、コントローラ２１において予め定められたサンプリング毎に実行される。また、ステップＳ１００～Ｓ１１２の処理は、複数のカメラ３６～３８からの画像データに対してそれぞれ行われる。
【0030】
図４において、コントローラ２１の周囲障害物認識部５１は、画像取得部５２において複数のカメラ３５～３８のうちの１つのカメラ（例えば、カメラ３５）からの画像データを取得し、予めコントローラ２１に設定されている範囲の画像を切り出して出力する（ステップＳ１００）。続いて、障害物判別部５３において画像を切り出して複数のリサイズ画像を生成する（ステップＳ１０１）。カメラ３５～３８の撮像画像の上部は、油圧ショベル１の遠方や標高が高い物体が撮像されており、油圧ショベル１がこのような位置の障害物と接触する可能性は低いので、処理能力向上の観点から障害物認識の対象外として除外するために画像の切り出すリサイズ処理を行う。リサイズ処理では、元の画像に対して、例えば、１／１．１、１／１．２、１／１．４、・・・のように予め定められた倍率となるような画像を複数生成する。
【0031】
続いて、リサイズ処理で生成された画像を順番に処理するため、複数のリサイズ画像から１つを選択し（ステップＳ１０２）、予め設定されている走査ウィンドウの大きさとなるように選択された画像の一部を切り出す（ステップＳ１０３）。なお、走査ウィンドウによる画像の切り出しは、選択された画像の端から端まで全ての範囲が対象となるように順番に行う。図５Ａ及び図５Ｂは、図３に示した立位の作業員５ａと歩行中の作業員５ｂとがそれぞれ写っている範囲に設定された走査ウィンドウで画像を切り出した様子を示している。
【0032】
続いて、ステップＳ１０３で切り出された画像に対し、予め設定されている大きさのセルに画像を分割する（ステップＳ１０４）。図５Ｃ及び図５Ｄに示すように、走査ウィンドウにより切り出された画像に対し、網目のように画像をセルに分割する。
【0033】
続いて、セルに分割された領域内のＨＯＧ（Histogram of Oriented Gradients）特徴量を算出する（ステップＳ１０５）。ＨＯＧ特徴量は、セル内の画素における輝度の勾配方向のヒストグラムを算出し、周囲の予め定められた範囲の複数のセルであるブロック内で正規化したものである。図５Ｅ及び図５Ｆは、ＨＯＧ特徴量を可視化したものであり、セルの輝度の勾配方向（角度）毎に線をプロットしており、線が太くなるほど度数が高いことを示している。図５Ｅ及び図５Ｆに示すように、ＨＯＧ特徴量は大まかな輪郭を輝度の勾配方向（角度）の度数として数値化したものとみることができる。
【0034】
続いて、ステップＳ１０５で算出されたＨＯＧ特徴量を用いて、障害物の識別を行う（ステップＳ１０６）。障害物の識別では、図５Ｅ及び図５Ｆに太枠で示したセルのように走査ウィンドウ内の予め設定されたセルのＨＯＧ特徴量を抽出し、障害物ごとに予め定められたテンプレートと比較することで、セルごとに障害物との適合度を算出する。そして、走査ウィンドウ内における適合度の合算を求める。
【0035】
続いて、ステップＳ１０６で合算した適合度が、各障害物のテンプレートごとに予め定められた閾値より大きいか否かを判定する（ステップＳ１０７）。図５Ｅ及び図５Ｆに示すように、立位の作業員と歩行中の作業員とのＨＯＧ特徴量はどちらも同じような傾向を示しており、作業員についてのテンプレートとの適合度の合算はどちらも大きいものとなり、どちらの走査ウィンドウにおいても人が存在すると認識することができる。なお、図５Ａ～図５Ｆにおいては、作業員５ａ，５ｂの識別方法を例示して説明しているが、識別する対象は作業員に限定されず、例えば、作業現場に存在する三角コーン等の道具等でもよく、その場合はステップＳ１０６及びステップＳ１０７において、識別対象に対して予め設定された複数のテンプレートとの比較を行えばよい。
【0036】
ステップＳ１０７での判定結果がＹＥＳの場合、すなわち、障害物があると判定された場合には、障害物が識別されたとして、障害物の種別、適合度、走査ウィンドウの位置、リサイズされた画像の大きさを一時データとして蓄積し（ステップＳ１０８）、ステップＳ１０９の処理に進む。また、ステップＳ１０７での判定結果がＮＯの場合、すなわち、傷害物が無いと判定された場合には、そのままステップＳ１０９に進む。
【0037】
続いて、ステップＳ１０９では、ステップＳ１０２で選択された、リサイズ画像に対し予め設定されている走査が全て完了しているか否かを判定し（ステップＳ１０９）、判定結果がＮＯの場合には、判定結果がＹＥＳになるまで、走査ウィンドウの位置をずらした後にステップＳ１０３～Ｓ１０８の処理を繰り返す。
【0038】
また、ステップＳ１０９での判定結果がＹＥＳの場合、すなわち、走査が完了している場合には、続いて、リサイズ処理で生成された複数の画像の全てに対して処理が完了しているか否か判定し（ステップＳ１１０）、判定結果がＮＯの場合には、判定結果がＹＥＳになるまで、処理の終了していない他のリサイズ画像を選択してステップＳ１０２～Ｓ１０９の処理を繰り返す。
【0039】
また、ステップＳ１１０での判定結果がＹＥＳの場合、すなわち、全てのリサイズ画像に対して処理が終了している場合には、ステップＳ１０８で蓄積された障害物の識別データを統合する（ステップＳ１１１）。ステップＳ１０４～Ｓ１０７における識別では、同一の障害物が異なる走査ウィンドウやリサイズ画像において識別される可能性がある。そこで、障害物の種別が等しく、かつ走査ウィンドウの位置が予め定められた距離以内で識別された結果が複数ある場合は、最も適合度が大きかった識別結果のみを残し、その他の識別結果は除去する。
【0040】
続いて、障害物位置認識部５４において、ステップＳ１１１で統合された障害物識別データから障害物の位置を抽出して出力する（ステップＳ１１２）。ステップＳ１１２では、障害物が識別された際の走査ウィンドウの位置に基づきカメラ３５～３８に対する障害物の方向を演算し、リサイズ画像の倍率に基づいてカメラ３５～３８に対する障害物の距離を演算し、方向と距離から障害物の位置を出力する。
【0041】
ステップＳ１１２において、障害物の位置情報を推定した後は、処理をステップＳ１００に戻し、再度画像の取得から障害物の識別を行い、油圧ショベル１の周囲の障害物の監視を続行する。
【0042】
なお、図４及び図５では、画像により物体認識の手法としてＨＯＧ特徴量を用いた手法を例示して説明したが、他の手法であってもよく、例えば、顔認識等に用いられるＨａａｒ－ｌｉｋｅ特徴量を用いた異なる認識手法を用いてもよい。
【0043】
図６Ａ～図６Ｃは、作業機械が作業を実施している最中のカメラ画像を模式的に示す図であり、図６Ａは停止中、図６Ｂは掘削作業中、図６Ｃは運搬作業中やリーチング作業中におけるカメラ画像をそれぞれ示している。また、図７Ａ及び図７Ｂは、作業中の作業機械に対する障害物の認識範囲の変更内容例を示す上面図であり、図７Ａは掘削作業や報土作業における認識範囲の例を、図７Ｂは運搬作業やリーチング作業における認識範囲の例をそれぞれ示している。
【0044】
【0045】
一方で、図６Ｂに示すように、油圧ショベル１が掘削作業を行っている最中は、掘削による負荷の影響で油圧ショベル１が上下に振動し、カメラ３５～３８で撮像した画像は上下にぶれたような画像となることが考えられる。この場合、図４及び図５で示したＨＯＧ特徴量による障害物の識別において、画像に対して左右方向の輝度の変化が不明瞭になり、ＨＯＧ特徴量のヒストグラムの度数が、停止時の撮像画像と比較し変化する。そのため、図４のステップＳ１０６，Ｓ１０７における障害物の識別が正しく実施できない可能性がある。
【0046】
さらに、図６Ｃに示すように、油圧ショベル１が運搬作業やリーチング作業を行っている最中は、上部旋回体の旋回の影響でカメラ３５～３８が横方向に高速に移動し、カメラ３５～３８で撮像した画像は、左右にぶれたような画像となることが考えられる。この場合、図４及び図５で示したＨＯＧ特徴量による障害物の識別において、画像に対し上下方向の輝度の変化が不明瞭になり、ＨＯＧ特徴量のヒストグラムの度数が、停止時の撮像画像と比較し変化する。そのため、図４のステップＳ１０６，Ｓ１０７における障害物の識別が正しく実施できない可能性がある。
【0047】
図４のステップＳ１０７における障害物識別における適合度の合算に対する閾値を下げることにより、障害物の認識の見逃しを低減できる可能性があるが、閾値を下げることにより誤認識が増えてしまう可能性が増える。そこで、本願発明においては、図６Ｂのような場合は上下方向の輝度変化を主として用いたＨＯＧ特徴量による障害物の識別を行い、図６Ｃのような場合は左右方向の輝度変化を主として用いたＨＯＧ特徴量による障害物の識別を行うように切り替えることで、作業機械の作業状況毎に適した処理を実施することができ、自車両周囲の障害物を精度よく認識することができる。
【0048】
【0049】
図７Ａに示すように、油圧ショベル１が掘削作業、または放土作業を実施している場合、上部旋回体１１は旋回しておらず、油圧ショベル１の操作者が旋回を指示する操作を実施してもフロント作業機１２が直ちに左右へ移動しないので、接触の可能性があると判定すべき領域は、フロント作業機１２の左右において認識範囲を大きくとり、その他の認識範囲は小さくとる。この場合、前方カメラ３５における認識範囲を拡大し、カメラ３６～３８の認識範囲は通常の領域とする。
【0050】
一方で、図７Ｂに示すように、油圧ショベル１が運搬作業、又はリーチング作業を実施している場合、上部旋回体１１が旋回しており、警報が出力され直ちに旋回の停止を指示しても上部旋回体１１の慣性のためにフロント作業機１２は移動し続けてしまうので、接触の可能性があると判定すべき領域は、フロント作業機１２の旋回方向において認識範囲を大きくとり、さらに、旋回方向の油圧ショベル１の側方の認識範囲も大きくとる。この場合、前方カメラ３５における旋回方向の認識範囲を拡大し、さらに旋回方向にある左側方カメラ３６の一部の認識範囲を拡大する。また、認識範囲を拡大した領域では、フロント作業機１２と障害物の接触の可能性が高く、より早期に警報を出力する必要があるため、カメラ３５～３７の取得画像を高速に取得する。
【0051】
図８Ａ及び図８Ｂは、作業状況判別部、障害物認識処理変更部、及び、周囲障害物認識部の条件設定処理に係る処理内容を示すフローチャートである。また、図９は、作業状況の判別に用いる油圧ショベルの姿勢と負荷の関係の一例を示す図である。
【0052】
作業状況判別部５０は、油圧ショベル１の作業状況を判別し、障害物認識処理変更部５５は、作業状況判別部５０での判別結果に基づいて、周囲障害物認識部５１（画像取得部５２、障害物判別部５３、障害物位置認識部５４）の外界センサの環境情報の取り込み条件、自車周囲の障害物の有無の判別条件、及び障害物の位置の認識条件の少なくとも何れか１つの条件を設定又は変更する。
【0053】
図８Ａ及び図８Ｂに示すステップＳ２００～Ｓ２３３の処理は、コントローラ２１において予め定められたサンプリング毎に実行される。また、コントローラ２１内のメモリには、油圧ショベル１の作業状況を示す変数が内部に保持されており、作業状況の初期状態（初期値）はリーチング作業である。
【0054】
図８Ａ及び図８Ｂにおいて、コントローラ２１の作業状況判別部５０は、まず、作業状況がリーチング作業であるか否かと、１サンプリング前のアームボトム圧センサ３１の出力が予めメモリに設定されている掘削開始閾値Ｐｔｈより小さいか否かと、現在のアームボトム圧センサ３１の出力が掘削開始閾値Ｐｔｈより大きいか否かとを判定する（ステップＳ２００～Ｓ２０２）。油圧ショベル１はアームシリンダ１７を押し出して掘削するため、図９に示すように、アームシリンダボトム圧は掘削している間に大きくなるので、アームボトム圧が掘削開始閾値Ｐｔｈより上回った場合に掘削作業を開始したと判断することができる。
【0055】
ステップＳ２００～Ｓ２０２の判定結果の何れか１つでもＮＯの場合、すなわち、掘削作業の開始が判定されなかった場合には、ステップＳ２０７の処理に進む。また、ステップＳ２００～２０２の判定結果が全てＹＥＳの場合、すなわち、掘削作業の開始が判定された場合には、作業状況判別部５０は、作業状況が掘削作業である旨をメモリに記憶させるとともに、障害物認識処理変更部５５に判定結果を出力し（ステップＳ２０３）、障害物認識処理変更部５５は、画像取得部５２に対して前方カメラ３５の画像取得レートを最大化し（ステップＳ２０４）、前方カメラ３５の認識範囲を最大化するように（ステップＳ２０５）、設定変更の指示を出力する。すなわち、図４のステップＳ１００において、前方カメラ３５の画像データ取得の頻度を高速化し、さらに画像の切り出し範囲を拡大する。
【0056】
続いて、障害物判別部５３に対して、障害物認識のテンプレートを掘削作業用に設定変更するように指示を出力する（ステップＳ２０６）。すなわち、図４のステップＳ１０６の障害物識別におけるＨＯＧ特徴量の比較テンプレートを上下方向の輝度変化を主体としたものに変更する。
【0057】
続いて、作業状況判別部５０はメモリに保持されている作業状況が掘削であるか否かと、１サンプリング前の旋回角速度センサ２７の出力の絶対値が予めメモリに設定されている旋回開始閾値Ｖｔｈより小さいか否かと、現在の旋回角速度センサ２７の出力の絶対値が旋回開始閾値Ｖｔｈより大きいか否かとを判定する（ステップＳ２０７～Ｓ２０９）。掘削作業が終了すると油圧ショベル１は旋回を開始するので、図９に示すように、旋回角速度が旋回開始閾値Ｖｔｈより上回ったことを判定することで掘削作業が終了し、運搬作業が開始されたと判断することができる。
【0058】
ステップＳ２０７～Ｓ２０９の判定結果の何れか１つでもＮＯの場合、すなわち、運搬作業の開始が判定されなかった場合には、図８ＢのステップＳ２１７の処理に進む。また、ステップＳ２０７～２０９の判定結果が全てＹＥＳの場合、すなわち、運搬作業の開始が判定された場合には、作業状況判別部５０は、作業状況が運搬作業である旨をメモリに記憶するとともに、障害物認識処理変更部５５に判定結果を出力し（ステップＳ２１０）、障害物認識処理変更部５５は、障害物判別部５３に対して、障害物認識のテンプレートを旋回用に設定変更するように指示を出力する（ステップＳ２１１）。すなわち、図４のステップＳ１０６の障害物識別におけるＨＯＧ特徴量の比較テンプレートを左右方向の輝度変化を主体としたものに変更する。
【0059】
続いて、作業状況判別部５０は、旋回角速度センサ２８の正負から旋回方向が左方向であるか否か（すなわち、左右のどちらであるか）を判定する（ステップＳ２１２）。
【0060】
ステップＳ２１２の判定結果がＹＥＳの場合、すなわち、旋回方向が左方向である場合には、障害物認識処理変更部５５を介して、画像取得部５２に対して、前方カメラ３５と左側方カメラ３６の画像取得レートを最大化するように設定変更の指示を出力し（ステップＳ２１３）、さらに、前方カメラ３５の左半分と左側方カメラ３６の右半分の認識範囲を最大化するように設定変更の指示を出力する（ステップＳ２１４）。すなわち、図４のステップＳ１００において、前方カメラ３５と左側方カメラ３６の画像データ取得の頻度を高速化し、さらに画像の切り出し範囲を変更する。
【0061】
また、ステップＳ２１２の判定結果がＮＯの場合、すなわち、旋回方向が右方向である場合には、障害物認識処理変更部５５を介して、画像取得部５２に対して、前方カメラ３５と右側方カメラ３７の画像取得レートを最大化するように設定変更の指示を出力し（ステップＳ２１５）、さらに、前方カメラ３５の右半分と右側方カメラ３７の左半分の認識範囲を最大化するように設定変更の指示を出力する（ステップＳ２１６）。すなわち、図４のステップＳ１００において、前方カメラ３５と右側方カメラ３７の画像データ取得の頻度を高速化し、さらに画像の切り出し範囲を変更する。
【0062】
続いて、コントローラ２１の作業状況判別部５０は、作業状況が運搬作業であるか否かと、１サンプリング前のバケット角度センサ２６の出力が予めメモリに設定されている放土開始閾値θｔｈより小さいか否かと、現在のバケット角度センサ２６の出力が放土開始閾値θｔｈより大きいか否かとを判定する（ステップＳ２１７～Ｓ２１９）。図９に示すように、油圧ショベル１は、放土作業時はバケット１５内の土砂を放出するようアーム１４とバケット１５の間を広げるため、バケット角度が大きくなるので、バケット角度が放土開始閾値θｔｈより上回ったことを判定することにより運搬作業を終了し、放土作業を開始したと判断することができる。
【0063】
ステップＳ２１７～Ｓ２１９の判定結果の何れか１つでもＮＯの場合、すなわち、放土作業の開始が判定されなかった場合には、ステップＳ２２４の処理に進む。また、ステップＳ２１７～２１９の判定結果が全てＹＥＳの場合、すなわち、放土作業の開始が判定された場合には、作業状況判別部５０は、作業状況が放土作業である旨をメモリに記憶するとともに、障害物認識処理変更部５５に判定結果を出力し（ステップＳ２２０）、障害物認識処理変更部５５は、画像取得部５２に対して前方カメラ３５の画像取得レートを最大化し（ステップＳ２２１）、前方カメラ３５の認識範囲を最大化するように（ステップＳ２２２）、設定変更の指示を出力する。すなわち、図４のステップＳ１００において、前方カメラ３５の画像データ取得の頻度を高速化し、さらに画像の切り出し範囲を拡大する。
【0064】
続いて、障害物判別部５３に対して、障害物認識のテンプレートを停止用に設定変更するように指示を出力する（ステップＳ２２３）。すなわち、図４のステップＳ１０６の障害物識別におけるＨＯＧ特徴量の比較テンプレートを停止状態における通常のものに変更する。
【0065】
続いて、作業状況判別部５０はメモリに保持されている作業状況が放土であるか否かと、１サンプリング前の旋回角速度センサ２７の出力の絶対値が予めメモリに設定されている旋回開始閾値Ｖｔｈより小さいか否かと、現在の旋回角速度センサ２７の出力の絶対値が旋回開始閾値Ｖｔｈより大きいか否かとを判定する（ステップＳ２２４～Ｓ２２６）。放土作業が終了すると油圧ショベル１は旋回を開始するので、図９に示すように、旋回角速度が旋回開始閾値Ｖｔｈより上回ったことを判定することで放土作業が終了し、リーチング作業が開始されたと判断することができる。
【0066】
ステップＳ２２４～Ｓ２２６の判定結果の何れか１つでもＮＯの場合、すなわち、リーチング作業の開始が判定されなかった場合には、図８ＡのステップＳ２００の処理に戻る。また、ステップＳ２２４～２２６の判定結果が全てＹＥＳの場合、すなわち、リーチング作業の開始が判定された場合には、作業状況判別部５０は、作業状況がリーチング作業である旨をメモリに記憶するとともに、障害物認識処理変更部５５に判定結果を出力し（ステップＳ２２７）、障害物認識処理変更部５５は、障害物判別部５３に対して、障害物認識のテンプレートを旋回用に設定変更するように指示を出力する（ステップＳ２２８）。すなわち、図４のステップＳ１０６の障害物識別におけるＨＯＧ特徴量の比較テンプレートを左右方向の輝度変化を主体としたものに変更する。
【0067】
続いて、作業状況判別部５０は、旋回角速度センサ２８の正負から旋回方向が左方向であるか否か（すなわち、左右のどちらであるか）を判定する（ステップＳ２２９）。
【0068】
ステップＳ２２９の判定結果がＹＥＳの場合、すなわち、旋回方向が左方向である場合には、障害物認識処理変更部５５を介して、画像取得部５２に対して、前方カメラ３５と左側方カメラ３６の画像取得レートを最大化するように設定変更の指示を出力し（ステップＳ２３０）、さらに、前方カメラ３５の左半分と左側方カメラ３６の右半分の認識範囲を最大化するように設定変更の指示を出力する（ステップＳ２３１）。すなわち、図４のステップＳ１００において、前方カメラ３５と左側方カメラ３６の画像データ取得の頻度を高速化し、さらに画像の切り出し範囲を変更する。
【0069】
また、ステップＳ２２９の判定結果がＮＯの場合、すなわち、旋回方向が右方向である場合には、障害物認識処理変更部５５を介して、画像取得部５２に対して、前方カメラ３５と右側方カメラ３７の画像取得レートを最大化するように設定変更の指示を出力し（ステップＳ２３２）、さらに、前方カメラ３５の右半分と右側方カメラ３７の左半分の認識範囲を最大化するように設定変更の指示を出力する（ステップＳ２３３）。すなわち、図４のステップＳ１００において、前方カメラ３５と右側方カメラ３７の画像データ取得の頻度を高速化し、さらに画像の切り出し範囲を変更する。
【0070】
図１０は、出力装置の一例としてモニタの出力画面を概略的に示す図である。
【0071】
警報出力部５６は、周囲障害物認識部５１から出力された障害物の位置情報に基づいて、図７に示す接触判定領域内に障害物があると判定した場合、モニタ２３上部に警告メッセージ９０を表示させる。また、モニタ２３の左半分に油圧ショベル１の上面図に対する障害物位置９１を表示させる。また、モニタ２３は右半分に後方カメラ３８の画像を表示させ、油圧ショベル１の操作者は警告と合わせて、後方カメラ３８の画像を確認して、油圧ショベル１の動作を制御する。このように作業機械の作業状況に基づいて障害物認識方法を変更することで、作業状況によって異なる作業機械の挙動に適した方法で障害物の識別と位置を出力し、障害物を正確に認識することができる。また、作業状況に応じて認識範囲や処理を限定するように構成しているため、コントローラ２１の処理負荷を軽減することができる。
【0072】
＜第２の実施の形態＞
本発明の第２の実施の形態を図１１～図１５Ａ，図１５Ｂを参照しつつ説明する。本実施の形態では、第１の実施の形態との相違点についてのみ説明するものとし、本実施の形態で用いる図面において第１の実施の形態と同様の部材には同じ符号を付し、説明を省略する。
本発明の第２の実施の形態を図１１～図１５Ａ，図１５Ｂを参照しつつ説明する。本実施の形態では、第１の実施の形態との相違点についてのみ説明するものとし、本実施の形態で用いる図面において第１の実施の形態と同様の部材には同じ符号を付し、説明を省略する。
【0073】
本実施の形態は、第１の実施の形態におけるカメラ３５～３８に代えて、ＬＩＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）３９～４２を用いる場合を例示するものである。
【0074】
図１１は、本実施の形態に係るコントローラの処理機能を示す機能ブロック図である。
【0075】
図１１において、油圧ショベル１は、所定の位置（例えば、第１の実施の形態におけるカメラ３５～３８に相当する位置）にそれぞれ、前方ＬＩＤＡＲ３９、左側方ＬＩＤＡＲ４０、右側方ＬＩＤＡＲ４１、及び後方ＬＩＤＡＲ４２を備えている。
【0076】
また、コントローラ２１Ａは、ＬＩＤＡＲ３９～４２の検出結果に基づいて、油圧ショベル１が行っている作業状況を判別する作業状況判別部５０と、カメラ３５～３８で撮像された画像を取得して油圧ショベル１の周囲の障害物の有無を判別するとともにその位置を認識する周囲障害物認識部５１Ａと、作業状況判別部５０の判別結果に基づいて周囲障害物認識部５１Ａの処理で用いる各種情報を設定あるいは変更する障害物認識処理変更部５５と、作業状況判別部５０の判別結果と周囲障害物認識部５１Ａの認識結果とに基づいて障害物との接触の可能性を判断するとともに警報を出力するか否か判定し、必要に応じて警報等を出力する警報出力部５６とを有している。
【0077】
ＬＩＤＡＲ３９～４２は、１つ以上のレーザーを走査し、レーザーが照射された地点までの距離を計測する。そして計測された複数の距離から位置に変換し、レーザー照射地点の位置の集合である点群を出力する。なお、第１の実施の形態におけるカメラ３５～３８に相当する位置に取り付けられたＬＩＤＡＲ３９～４２は、油圧ショベル１の前方方向をＸ、左側方方向をＹ、旋回中心をＺ軸としたＸＹＺ座標における、点群の位置を出力する。
【0078】
周囲障害物認識部５１Ａは、ＬＩＤＡＲ３９～４２から出力される点群の情報を取得し、取得した点群の情報から予め設定された複数の範囲を切り出す処理を行う点群取得部５７と、点群取得部５７で切り出された複数の範囲のそれぞれに対してグリッドを占有する点群を抽出し、抽出した点群と予め定められたテンプレートとを比較して障害物の有無を判別する障害物判別部５３と、障害物判別部５３の判別結果に基づいて障害物の位置を認識する障害物位置認識部５４とを有している。
【0079】
【0080】
図１２に示すステップＳ３００～Ｓ３０９の処理は、コントローラ２１Ａにおいて予め定められたサンプリング毎に実行される。また、ステップＳ３００～Ｓ３０９の処理は、複数のＬＩＤＡＲ３９～４２からの点群データに対してそれぞれ行われる。
【0081】
図１２において、コントローラ２１の周囲障害物認識部５１Ａは、点群取得部５７において、ＬＩＤＡＲ３９～４２からの点群を取得し、予めコントローラ２１に設定されている範囲の点群を切り出して出力する（ステップＳ３００）。ＬＩＤＡＲ３９～４２において油圧ショベル１の遠方を計測した点群は、障害物との接触の可能性が低く、処理能力の観点から障害物認識の対象外とする。
【0082】
続いて、障害物判別部５３は、図１３に示すようなＸＹ軸方向に予め定められた数で分割されているグリッドを用いて、ステップＳ１５０で出力された点群をグリッドと対応づける（ステップＳ３０１）。
【0083】
続いて、障害物の認識処理を行う走査グリッドを選択し（ステップＳ３０２）、グリッド内に存在する点群を抽出する（ステップＳ３０３）。なお、走査グリッドによる点群の抽出では、点群が存在する範囲の端から端までの全てのグリッドで行うように、走査グリッドを順番に選択する。
【0084】
続いて、グリッド内に存在するノイズ除去を行う（ステップＳ３０４）。図１３に示すように、走査グリッド内において、点群間の距離を計測し、予め定められている距離に他の点群が存在しない場合は、その点群をノイズとして判別し、除去する。
【0085】
続いて、グリッド内に存在する点群において、高さの絶対値が地面抽出閾値Ｇｔｈより大きい点群が存在するか否かを判定する（ステップＳ３０５）。油圧ショベル１の周囲の点群を計測した場合、図１３に示すように大部分の計測結果は一様な高さにある地面が計測され、障害物は地面に対しほぼ垂直方向に存在する点群として計測される。走査グリッド内の点群の高さの絶対値が地面抽出閾値Ｇｔｈよりも小さい場合はそのグリッド内の点群は地面であると推定することができ、また、地面抽出閾値Ｇｔｈよりも大きい場合には障害物があると推定することができるので、周囲障害物認識部５１では地面抽出閾値Ｇｔｈと点群の高さの絶対値とを比較することで障害物のみを抽出することができる。
【0086】
ステップＳ３０５での判定結果がＹＥＳの場合、すなわち、障害物があると判定された場合には、走査グリッドの位置と走査グリッド内の点群を障害物判定点群として一時データに蓄積し（ステップＳ３０６）、ステップＳ３０７の処理に進む。また、ステップＳ３０５での判定結果がＮＯの場合、すなわち、障害物が無いと判定された場合には、そのままステップＳ３０７の処理に進む。
【0087】
続いて、ステップＳ３０７では、取得した点群に対し予め設定されている走査が全て完了しているか否かを判定し（ステップＳ３０７）、判定結果がＮＯの場合には、判定結果がＹＥＳになるまで、走査グリッドの位置をずらした後にステップＳ３０２～ステップＳ３０６の処理を繰り返す。
【0088】
また、ステップＳ３０７での判定結果がＹＥＳの場合、すなわち、走査が完了している場合には、続いて、ステップＳ３０６において蓄積された障害物の点群データを統合する（ステップＳ３０８）。ステップＳ３０３～Ｓ３０５における識別では、走査グリッド内に存在する障害物の一部のみを識別している可能性がある。そこで、隣接する走査グリッドに障害物として識別された点群がある場合は、１つの障害物の点群としてマージする。そして、マージされた点群に対して、予め障害物の輪郭や大きさが設定されている比較テンプレートと比較し、最も適合する比較テンプレートの種類に応じて障害物の種別を分類する。例えば、図１３に示すように、障害物として判定された点群に対し最も適合する比較テンプレートが作業員識別用のものである場合には作業員が認識されたと判別する。
【0089】
続いて、障害物位置認識部５４において、ステップＳ３０８で統合された障害物識別データから障害物が識別された際の走査グリッドの位置を障害物の位置として抽出して出力する（ステップＳ３０９）。
【0090】
ステップＳ３０９において障害物の位置情報を推定した後は、処理をステップＳ３００に戻し、再度点群の取得から障害物の識別を行い、油圧ショベル１の周囲の障害物の監視を続行する。
【0091】
【0092】
図１４Ａ及び図１４Ｂは、周囲障害物認識部の障害物判別部における障害物判別の一例として作業員判別の基本原理を説明する図であり、図１４Ａは掘削作業中、図１４Ｂは運搬作業中やリーチング作業中の様子を示す図である。また、前述の図１３は作業機械の停止中の様子を示す図である。
【0093】
図１４Ａに示すように、油圧ショベル１の掘削作業中は、掘削による負荷の影響で油圧ショベル１が上下に振動しており、ＬＩＤＡＲ３９～４２が走査した際のレーザーの向きが影響を受け、ＬＩＤＡＲ３９～４２から取得した点群は上下にばらついた点群となることが考えられる。この場合、図１２のステップＳ３０５で示した地面判定において、地面抽出閾値外にあるとされる点群が存在してしまうことが考えられる。そのため、ステップＳ３０５における障害物の識別が正しく行われず、不要に障害物があると認識してしまう可能性がある。また，点群のばらつきにより、障害物の一部（例えば作業員の肩に該当する部分）が比較テンプレート外にあるとされる点群が存在してしまうことがある。そのため、ステップＳ３０５における障害物の識別において、比較テンプレートが存在せず，障害物を正しく認識できない可能性がある。
【0094】
さらに、図１４Ｂに示すように、油圧ショベル１が運搬作業やリーチング作業を行っている最中は、上部旋回体１１の旋回によりＬＩＤＡＲ３９～４２が横方向に移動しており、ある点群の位置を計測し次の点群を計測するまでにＬＩＤＡＲ３９～４２の位置が変化するので、ＬＩＤＡＲ３９～４２から取得した点群は横方向に歪んだ点群となることが考えられる。この場合、図１２のステップＳ１５９における障害物の識別において、比較テンプレートが存在せず、障害物を正しく認識できないことがある。
【0095】
そこで、本願発明においては、図１４Ａのような場合は地面抽出閾値の拡大を行い、また、図１４Ｂのような場合は横方向への歪み分を考慮した比較テンプレートを使用できるように切り替えることで、作業機械の作業状況毎に適した処理を実施することができ、自車両周囲の障害物を精度よく認識することができる。さらに、作業状況に応じて認識範囲を切り替えることでさらに精度よく自車両周囲の障害物を認識することができる。
【0096】
【0097】
作業状況判別部５０は、油圧ショベル１の作業状況を判別し、障害物認識処理変更部５５は、作業状況判別部５０での判別結果に基づいて、周囲障害物認識部５１Ａ（点群取得部５７、障害物判別部５３、障害物位置認識部５４）の外界センサの環境情報の取り込み条件、自車周囲の障害物の有無の判別条件、及び障害物の位置の認識条件の少なくとも何れか１つの条件を設定又は変更する。
【0098】
図１５Ａ及び図１５Ｂに示すステップＳ４００～Ｓ４２８の処理は、コントローラ２１Ａにおいて予め定められたサンプリング毎に実行される。また、コントローラ２１Ａ内のメモリには、油圧ショベル１の作業状況を示す変数が内部に保持されており、作業状況の初期状態（初期値）はリーチング作業である。
【0099】
図１５Ａ及び図１５Ｂにおいて、コントローラ２１Ａの作業状況判別部５０は、まず、作業状況がリーチング作業であるか否かと、１サンプリング前のアームボトム圧センサ３１の出力が予めメモリに設定されている掘削開始閾値Ｐｔｈより小さいか否かと、現在のアームボトム圧センサ３１の出力が掘削開始閾値Ｐｔｈより大きいか否かとを判定する（ステップＳ４００～Ｓ４０２）。
【0100】
ステップＳ４００～Ｓ４０２の判定結果の何れか１つでもＮＯの場合、すなわち、掘削作業の開始が判定されなかった場合には、ステップＳ４０７の処理に進む。また、ステップＳ４００～４０２の判定結果が全てＹＥＳの場合、すなわち、掘削作業の開始が判定された場合には、作業状況判別部５０は、作業状況が掘削作業である旨をメモリに記憶させるとともに、障害物認識処理変更部５５に判定結果を出力し（ステップＳ４０３）、障害物認識処理変更部５５は、点群取得部５７に対して前方ＬＩＤＡＲ３９の認識範囲を最大化するように、設定変更の指示を出力する（ステップＳ４０４）。すなわち、前方ＬＩＤＡＲ３９の点群の切り出し範囲を拡大する。
【0101】
続いて、障害物認識処理変更部５５は、障害物判別部５３に対して地面抽出閾値Ｇｔｈを通常よりも大きな値となるように設定変更する指示を出力し（ステップＳ４０５）、さらに、障害物認識のテンプレートを掘削作業用に設定変更するように指示を出力する（ステップＳ４０６）。すなわち、障害物識別における比較テンプレートを上下方向のばらつきを考慮したものに変更する。
【0102】
続いて、作業状況判別部５０はメモリに保持されている作業状況が掘削であるか否かと、１サンプリング前の旋回角速度センサ２７の出力の絶対値が予めメモリに設定されている旋回開始閾値Ｖｔｈより小さいか否かと、現在の旋回角速度センサ２７の出力の絶対値が旋回開始閾値Ｖｔｈより大きいか否かとを判定する（ステップＳ４０７～Ｓ４０９）。
【0103】
ステップＳ４０７～Ｓ４０９の判定結果の何れか１つでもＮＯの場合、すなわち、運搬作業の開始が判定されなかった場合には、図１５ＢのステップＳ４１５の処理に進む。また、ステップＳ４０７～４０９の判定結果が全てＹＥＳの場合、すなわち、運搬作業の開始が判定された場合には、作業状況判別部５０は、作業状況が運搬作業である旨をメモリに記憶するとともに、障害物認識処理変更部５５に判定結果を出力し（ステップＳ４１０）、障害物認識処理変更部５５は、障害物判別部５３に対して、障害物認識のテンプレートを旋回用に設定変更するように指示を出力する（ステップＳ４１１）。すなわち、障害物識別における比較テンプレートを左右方向の歪を考慮したものに変更する。
【0104】
続いて、作業状況判別部５０は、旋回角速度センサ２８の正負から旋回方向が左方向であるか否か（すなわち、左右のどちらであるか）を判定する（ステップＳ４１２）。
【0105】
ステップＳ４１２の判定結果がＹＥＳの場合、すなわち、旋回方向が左方向である場合には、障害物認識処理変更部５５を介して、点群取得部５７に対して、前方ＬＩＤＡＲ３９の左半分と左側方ＬＩＤＡＲ４０の右半分の認識範囲を最大化するように設定変更の指示を出力する（ステップＳ４１４）。すなわち、前方ＬＩＤＡＲ３９と左側方ＬＩＤＡＲ４０からの点群データに対する切り出し範囲を変更する。
【0106】
また、ステップＳ４１２の判定結果がＮＯの場合、すなわち、旋回方向が右方向である場合には、障害物認識処理変更部５５を介して、点群取得部５７に対して、前方ＬＩＤＡＲ３９の右半分と右側方ＬＩＤＡＲ４１の左半分の認識範囲を最大化するように設定変更の指示を出力する（ステップＳ４１４）。すなわち、前方ＬＩＤＡＲ３９と右側方ＬＩＤＡＲ４１からの点群データに対する切り出し範囲を変更する。
【0107】
続いて、コントローラ２１Ａの作業状況判別部５０は、作業状況が運搬作業であるか否かと、１サンプリング前のバケット角度センサ２６の出力が予めメモリに設定されている放土開始閾値θｔｈより小さいか否かと、現在のバケット角度センサ２６の出力が放土開始閾値θｔｈより大きいか否かとを判定する（ステップＳ４１５～Ｓ４１７）。
【0108】
ステップＳ４１５～Ｓ４１７の判定結果の何れか１つでもＮＯの場合、すなわち、放土作業の開始が判定されなかった場合には、ステップＳ４２１の処理に進む。また、ステップＳ４１５～４１７の判定結果が全てＹＥＳの場合、すなわち、放土作業の開始が判定された場合には、作業状況判別部５０は、作業状況が放土作業である旨をメモリに記憶するとともに、障害物認識処理変更部５５に判定結果を出力し（ステップＳ４１８）、障害物認識処理変更部５５は、点群取得部５７に対して前方ＬＩＤＡＲ３９の認識範囲を最大化するように、設定変更の指示を出力する（ステップＳ４１９）。すなわち、前方ＬＩＤＡＲ３９の点群の切り出し範囲を拡大する。
【0109】
続いて、障害物認識処理変更部５５は、障害物判別部５３に対して、障害物認識のテンプレートを停止用に設定変更するように指示を出力する（ステップＳ４２０）。すなわち、障害物識別における比較テンプレートを停止状態における通常のものに変更する。
【0110】
続いて、作業状況判別部５０はメモリに保持されている作業状況が放土であるか否かと、１サンプリング前の旋回角速度センサ２７の出力の絶対値が予めメモリに設定されている旋回開始閾値Ｖｔｈより小さいか否かと、現在の旋回角速度センサ２７の出力の絶対値が旋回開始閾値Ｖｔｈより大きいか否かとを判定する（ステップＳ４２１～Ｓ４２３）。
【0111】
ステップＳ４２１～Ｓ４２３の判定結果の何れか１つでもＮＯの場合、すなわち、リーチング作業の開始が判定されなかった場合には、図１５ＡのステップＳ４００の処理に戻る。また、ステップＳ４２１～４２３の判定結果が全てＹＥＳの場合、すなわち、リーチング作業の開始が判定された場合には、作業状況判別部５０は、作業状況がリーチング作業である旨をメモリに記憶するとともに、障害物認識処理変更部５５に判定結果を出力し（ステップＳ４２４）、障害物認識処理変更部５５は、障害物判別部５３に対して、障害物認識のテンプレートを旋回用に設定変更するように指示を出力する（ステップＳ４２５）。すなわち、障害物識別における比較テンプレートを左右方向の歪を考慮したものに変更する。
【0112】
続いて、作業状況判別部５０は、旋回角速度センサ２８の正負から旋回方向が左方向であるか否か（すなわち、左右のどちらであるか）を判定する（ステップＳ４２６）。
【0113】
ステップＳ４２６の判定結果がＹＥＳの場合、すなわち、旋回方向が左方向である場合には、障害物認識処理変更部５５を介して、点群取得部５７に対して、前方ＬＩＤＡＲ３９の左半分と左側方ＬＩＤＡＲ４０の右半分の認識範囲を最大化するように設定変更の指示を出力する（ステップＳ４２７）。すなわち、前方ＬＩＤＡＲ３９と左側方ＬＩＤＡＲ４０からの点群データに対する切り出し範囲を変更する。
【0114】
また、ステップＳ４２６の判定結果がＮＯの場合、すなわち、旋回方向が右方向である場合には、障害物認識処理変更部５５を介して、点群取得部５７に対して、前方ＬＩＤＡＲ３９の右半分と右側方ＬＩＤＡＲ４１の左半分の認識範囲を最大化するように設定変更の指示を出力する（ステップＳ４２８）。すなわち、前方ＬＩＤＡＲ３９と右側方ＬＩＤＡＲ４１からの点群データに対する切り出し範囲を変更する。
【0115】
その他の構成は第１の実施の形態と同様である。
【0116】
以上のように構成した本実施の形態においても第１の実施の形態と同様の効果を得ることができる。
【0117】
＜第３の実施の形態＞
本発明の第３の実施の形態を図１６を参照しつつ説明する。本実施の形態では、第１の実施の形態との相違点についてのみ説明するものとし、本実施の形態で用いる図面において第１の実施の形態と同様の部材には同じ符号を付し、説明を省略する。
本発明の第３の実施の形態を図１６を参照しつつ説明する。本実施の形態では、第１の実施の形態との相違点についてのみ説明するものとし、本実施の形態で用いる図面において第１の実施の形態と同様の部材には同じ符号を付し、説明を省略する。
【0118】
本実施の形態は、第１の実施の形態における周囲障害物認識部５１の出力を油圧ショベル１の停止制御や位置情報の送信に用いる場合を例示するものである。
【0119】
図１６は、本実施の形態に係るコントローラの処理機能を示す機能ブロック図である。
【0120】
図１６において、コントローラ２１Ｂは、作業状況判別部５０の作業状況判別結果と周囲障害物認識部５１の障害物認識結果に基づいて障害物との接触の可能性を判断し油圧ショベル１の停止信号を出力する停止制御部５８と、周囲障害物認識部５１の障害物認識結果に基づいて障害物の位置情報を出力する位置情報送信部５９とを有している。コントローラ２１Ｂは、停止制御部５８からの停止信号を油圧ショベル１の動作を制御している油圧制御部４３へ出力し、また位置情報送信部５９からの障害物の位置情報を外部通信機４４を介して、油圧ショベル１の外部に設けられた外部サーバ７に送信するように構成されている。
【0121】
その他の構成は第１の実施の形態と同様である。
【0122】
以上のように構成した本実施の形態においても第１の実施の形態と同様の効果を得ることができる。
【0123】
また、停止制御部５８によって油圧ショベル１を停止するように制御するので、油圧ショベル１の操作者が周囲障害物の認識に遅れてしまった場合も自動的に停止することができ、接触を回避することが出来る。また、位置情報送信部５９によって認識した周囲障害物の位置情報を外部サーバ７に送信するように構成したので、障害物の位置を油圧ショベル１以外の機械と共有することができる。例えば、カメラ３５～３８を有さないダンプトラックやロードローラ等の走行する機械に外部サーバ７を介して位置情報を送信することで、接触の警報や停止制御を油圧ショベル１と同様に行うことが出来る。さらに、外部サーバ７に複数の機械が接続し位置情報を蓄積することで、障害物の位置に関する統計処理を行うことができ、現場の不安全行為の多発地帯可視化や施工計画における機械や作業員の配置計画に用いることができる。
【0124】
＜付記＞
なお、本発明は上記の実施の形態に限定されるものではなく、その要旨を逸脱しない範囲内の様々な変形例や組み合わせが含まれる。また、本発明は、上記の実施の形態で説明した全ての構成を備えるものに限定されず、その構成の一部を削除したものも含まれる。また、上記の各構成、機能等は、それらの一部又は全部を、例えば集積回路で設計する等により実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。
なお、本発明は上記の実施の形態に限定されるものではなく、その要旨を逸脱しない範囲内の様々な変形例や組み合わせが含まれる。また、本発明は、上記の実施の形態で説明した全ての構成を備えるものに限定されず、その構成の一部を削除したものも含まれる。また、上記の各構成、機能等は、それらの一部又は全部を、例えば集積回路で設計する等により実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。
【0125】
例えば、本実施例の説明に用いた油圧ショベル１は、上部旋回体１１にブーム１３、アーム１４、及びバケット１５から構成されるフロント作業機１２を有する場合を例示して説明している、フロント作業機１２の構成はこれに限らず、例えば、リフティングマグネット機のような異なる形態の作業具を用いても良い。
【0126】
また、障害物の認識方法はカメラやＬＩＤＡＲを用いた方法に限定されるものではなく、距離を抽出できる手法であれば異なる方法であってもよく、例えば、ステレオカメラを用いた方法であってもよい。
【0127】
また、作業状況の判別方法は本実施例の内容に限定されるものではなく、例えば操作レバー２２の操作量に基づいて判断されてもよい。
【0128】
また、作業状況の分類は掘削作業、運搬作業、放土作業、リーチング作業に限定されるものではない。図１７Ａ～図１７Ｃは、油圧ショベル１の作業状況の他の例を示す外観図であり、図１７Ａは法面整形作業を、図１７Ｂはバケット１５を地面に叩きつけて地面の締固めを行う土羽打ち作業を、図１７Ｃはワイヤー等により重量物を吊るし運搬する吊り荷作業をそれぞれ示している。
【0129】
図１７Ａに示す法面整形作業における作業状況は、図３に示す溝成型作業と同様に掘削作業、運搬作業、放土作業、リーチング作業となるが、法面整形作業は仕上げ作業であり、掘削作業における掘削量が少ないため、掘削負荷による振動は小さい。そのため、計算負荷の低減等の観点から、例えば、法面整形作業において、図８ＡのステップＳ２００～Ｓ２０２相当の処理で掘削作業と判断した場合は、図８ＡのステップＳ２０６で設定又は変更するテンプレートを掘削用ではなく放土作業と同様な停止用に設定する。また、同様に、図１５ＡのステップＳ４００～Ｓ４０２相当の処理で掘削作業と判断した場合は、図１５ＡのステップＳ２０６で地面抽出閾値を変更しないように設定する。
【0130】
図１７Ｂに示す土羽打ちにおける作業状況は、ブーム１３を上げてバケット１５を持ち上げるか、ブーム１３を下ろしてバケット１５を地面に打ち付けるかの２パターンとなる。ブーム１３を上げている最中は油圧ショベル１の振動はなく、また旋回動作もないため、図３に示す溝成型作業における放土作業と同じ処理となるように周囲障害物認識部５１の処理を変更する。一方で、ブーム１３を下ろしてバケット１５を地面に打ち付ける際は、打ち付けた衝撃により油圧ショベル１が上下に振動するので、図３に示す溝成型作業における掘削作業と同じ処理となるように周囲障害物認識部５１の処理を変更する。
【0131】
図１７Ｃに示す吊り荷作業では、吊るされた荷物の運搬作業において、上部旋回体１１の慣性が大きくなる。そのため、警報出力部５６から警報が出力され、油圧ショベル１の操作者が旋回停止操作をした後の旋回量が多くなることが予想されるため、図８ＡのステップＳ２１４，Ｓ２１６や図８ＢのステップＳ２３１，Ｓ２３３、図１５ＡのステップＳ４１３，Ｓ４１４や図１５ＢのステップＳ４２７，Ｓ４２８において、側方カメラ３６，３７や側方ＬＩＤＡＲ４０，４１の認識範囲を通常より拡大するように周囲障害物認識部５１の処理を変更する。
【0132】
このように、油圧ショベル１が行う作業に応じて作業状況判別部５０と障害物認識処理変更部５５の処理内容を変更することで、多様な作業を行う作業機械において周囲の障害物をより高精度に認識できる。
【符号の説明】
【0133】
１…油圧ショベル、４…集積土砂、５ａ，５ｂ…作業員、６…構造物、７…外部サーバ、１０…下部走行体、１０ａ，１０ｂ…走行油圧モータ、１１…上部旋回体、１２…フロント作業機、１３…ブーム、１４…アーム、１５…バケット、１５ａ…バケットリンク、１６…ブームシリンダ、１７…アームシリンダ、１８…バケットシリンダ、１９…旋回油圧モータ、２０…運転室、２１，２１Ａ，２１Ｂ…コントローラ（制御装置）、２２…操作レバー、２３…モニタ、２４…ブーム角度センサ、２５…アーム角度センサ、２６…バケット角度センサ、２７…旋回ジャイロスコープ、２８…傾斜センサ、２９…ブームボトム圧センサ、３０…ブームロッド圧センサ、３１…アームボトム圧センサ、３２…アームロッド圧センサ、３５…前方カメラ、３６…左側方カメラ、３７…右側方カメラ、３８…後方カメラ、３９…前方ＬＩＤＡＲ、４０…左側方ＬＩＤＡＲ、４１…右側方ＬＩＤＡＲ、４２…後方ＬＩＤＡＲ、４３…油圧制御部、４４…外部通信機、５０…作業状況判別部、５１，５１Ａ…周囲障害物認識部、５２…画像取得部、５３…障害物判別部、５４…障害物位置認識部、５５…障害物認識処理変更部、５６…警報出力部、５７…点群取得部、５８…停止制御部、５９…位置情報送信部、９０…警告メッセージ、９１…障害物位置
【図1】
【図2】
【図3】
【図4】
【図5A】
【図5B】
【図5C】
【図5D】
【図5E】
【図5F】
【図6A】
【図6B】
【図6C】
【図7A】
【図7B】
【図8A】
【図8B】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14A】
【図14B】
【図15A】
【図15B】
【図16】
【図17A】
【図17B】
【図17C】