(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2025-07-02
(45)【発行日】2025-07-10
(54)【発明の名称】作業機械の物体検知システム
(51)【国際特許分類】
E02F 9/24 20060101AFI20250703BHJP
G01C 15/00 20060101ALI20250703BHJP
G01B 11/00 20060101ALI20250703BHJP
【FI】
E02F9/24 B
G01C15/00 104D
G01B11/00 H
(21)【出願番号】P 2021195437
(22)【出願日】2021-12-01
【審査請求日】2024-09-10
(73)【特許権者】
【識別番号】000005522
【氏名又は名称】日立建機株式会社
(74)【代理人】
【識別番号】110000442
【氏名又は名称】弁理士法人武和国際特許事務所
(72)【発明者】
【氏名】藤井 俊憲
(72)【発明者】
【氏名】齋藤 智之
(72)【発明者】
【氏名】黒坂 尚生
(72)【発明者】
【氏名】稲場 康彦
【審査官】山口 剛
(56)【参考文献】
【文献】特開2015-229836(JP,A)
【文献】特開2019-105105(JP,A)
【文献】特開平07-252863(JP,A)
【文献】特開2004-353281(JP,A)
【文献】特開2021-133904(JP,A)
【文献】米国特許出願公開第2016/0273195(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
E02F 9/24 - 9/26
G01B 11/00 - 11/30
(57)【特許請求の範囲】
【請求項1】
旋回機構を介して下部走行体に搭載される上部旋回体を備える作業機械の周囲に存在する物体を検知する作業機械の物体検知システムであって、
前記上部旋回体に設けられ、前記作業機械の周辺の地面を撮像領域として含み、当該撮像領域を撮像して撮像画像を生成する撮像装置と、
前記撮像装置の撮像領域に含まれる前記地面に向かって光を発するライトと、
前記撮像装置から取得した前記撮像画像に基づいて前記作業機械の周辺の物体を検知するコントローラと、を備え、
前記コントローラは、前記ライトから前記撮像領域に含まれる地面までの光路上に存在する前記物体の影が前記撮像画像に撮像されているかを前記撮像画像の画像特徴量に基づいて判定し、その判定結果に基づいて前記物体を検知する、
ことを特徴とする作業機械の物体検知システム。
【請求項2】
請求項1に記載の作業機械の物体検知システムにおいて、
前記上部旋回体の旋回動作、前記作業機械の前進動作または後退動作の何れかを入力する操作レバーを更に備え、
前記コントローラは、
前記操作レバーから前記旋回動作、前記前進動作、または前記後退動作の何れかの実行指示を示す操作信号が入力されたことを検知すると、前記ライトに対して点灯信号を送信する、
ことを特徴とする作業機械の物体検知システム。
【請求項3】
請求項2に記載の作業機械の物体検知システムにおいて、
前記コントローラによる判断結果を通知する通知装置と、
を更に備え、
前記ライトは、一つの前記撮像領域に含まれる地面に対して異なる角度から光を照射する複数のライトであって、 前記コントローラは、複数の前記ライトのうちいずれかのライトからの光路に基づいて、前記撮像画像から前記物体を検知すると、複数の前記ライトを一つずつ順次点滅させて各ライトが点灯する度に生成された前記撮像画像を取得し、複数の前記撮像画像に映り込んだ前記影の大きさを基に前記物体の大きさを推定し、その推定結果を前記通知装置に対して出力する、
ことを特徴とする作業機械の物体検知システム。
【請求項4】
請求項3に記載の作業機械の物体検知システムであって、
前記コントローラは、前記操作レバーからの前記操作信号に基づいて、当該操作信号が示す実行指示が前記旋回動作、前記前進動作、または前記後退動作の何れを指示しているかを判定し、
前記操作信号の前記実行指示の内容に従って前記作業機械が動作する方向に沿った順で複数の前記ライトを点灯させるための点灯信号を出力する、
ことを特徴とする作業機械の物体検知システム。
【請求項5】
請求項3に記載の作業機械の物体検知システムであって、
複数の前記ライトは、前記上部旋回体に上下方向に、または左右方向に並べて配置される、
ことを特徴とする作業機械の物体検知システム。
【請求項6】
請求項3に記載の作業機械の物体検知システムであって、
前記コントローラは、前記推定した物体の大きさと、通知要否の判断基準とする物体判定閾値とを比較し、前記物体の大きさが前記物体判定閾値以上の場合に前記操作レバーの操作を無効にする制御を行う、
ことを特徴とする作業機械の物体検知システム。
【請求項7】
請求項1に記載の作業機械の物体検知システムであって、
前記撮像装置は、前記上部旋回体の上方かつ後方に、前記作業機械の後方の地面を前記撮像領域として含む角度で取り付けられた後方撮像装置を含み、
前記ライトは、前記上部旋回体の下端部かつ前記上部旋回体の最後部よりも前方に取り付けられた後方ライトを含み、
前記後方ライトの取付角度は、前記後方ライトが発する光が前記後方の地面に達する角度であり、
前記後方ライトから前記後方の地面の間に存在する検知対象の物体の影は、前記後方の地面に投影され、前記撮像画像に前記影が撮像される、
ことを特徴とする作業機械の物体検知システム。
【請求項8】
請求項1に記載の作業機械の物体検知システムであって、
前記ライトは、光量及び波長を変更可能な調光ライトであり、
前記コントローラは、前記撮像画像の画像特徴量を基に周辺光の光量及び波長を解析し、前記物体の前記影と前記周辺光の下で撮像される地面像とのコントラスト比が、調光の要否を判断するためのコントラスト閾値未満の場合に、前記調光ライトの光量又は波長の少なくとも一方を変更する調光信号を前記調光ライトに対して出力する、
ことを特徴とする作業機械の物体検知システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、作業機械の物体検知システムに関する。
【背景技術】
【0002】
油圧ショベルなどの作業機械においては、その作業機械周辺に作業者や物体を検知した場合に車体動作を制限する検知システム技術が知られている。
【0003】
例えば特許文献1には、「旋回機構を介して下部走行体に搭載される上部旋回体を備える建設機械の周囲に存在する物体を検知する物体検知システムは、上部旋回体に取り付けられる走査型距離計測装置の出力に基づいて物体を検出する物体検出部を有し、走査型距離計測装置が発する光は、下部走行体と上部旋回体との間の隙間を通る。(要約抜粋)」との記載がある。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
検知システムにおいては、赤外線センサ、レーザースキャナなど、比較的高額な検知装置が用いられる。油圧ショベルなどの大きな作業機械においては、これらの検知装置を複数台配置し、死角を極力少なくしている。そのため、死角を補うため多数の装置を取り付けると多額のコストがかかる。
【0006】
また加えてこれら装置は稼働時に破損や汚損を防ぐために、車体上方に取り付けられることが多く、そのため作業機械近傍や車体直下においては死角が生まれやすい。そのため安価で効率的に死角を補えることが望まれる。
【0007】
特に上下方向の検知範囲が上部旋回体と下部走行体の間を通る平面に制限されると、上部旋回体に対して相対的に旋回移動する下部走行体を検知対象から除外することはできるものの、上部旋回体の下面よりも低い位置に作業者やその他の障害物が有る場合には検知することができないという課題がある。
【0008】
本発明は、上記実情に鑑みてなされたものであり、死角にある物体をより安価に検知できる作業機械の物体検知システムを提供することを目的とする。
【課題を解決するための手段】
【0009】
上記課題を解決するため、本発明は、旋回機構を介して下部走行体に搭載される上部旋回体を備える作業機械の周囲に存在する物体を検知する作業機械の物体検知システムであって、前記上部旋回体の上部に備えられ、前記作業機械の周辺の地面を撮像領域として含み、当該撮像領域を撮像して撮像画像を生成する撮像装置と、前記撮像装置の撮像領域に含まれる前記地面に向かって光を発するライトと、前記撮像装置に接続され、前記撮像装置から取得した前記撮像画像に基づいて前記作業機械の周辺の物体を検知するコントローラと、を備え、前記コントローラは、前記ライトから前記撮像領域に含まれる地面までの光路上に存在する前記物体の影が前記撮像画像に撮像されているかを前記撮像画像の画像特徴量に基づいて判定し、その判定結果に基づいて前記物体を検知する、ことを特徴とする。
【発明の効果】
【0010】
本発明によれば、死角にある物体をより安価に検知できる作業機械の物体検知システムを提供することができる。上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
【図面の簡単な説明】
【0011】
【
図3】油圧ショベルのハードウェア構成を示すブロック図。
【
図5】第1実施形態に係る作業機械の物体検知システムにおける検知範囲の説明図。
【
図6】第1実施形態に係る物体検知システムの処理の流れを示すフローチャート。
【
図7】第2実施形態に係る作業機械の物体検知システムにおける検知範囲の説明図(左右方向に配置)。
【
図8】第2実施形態に係る作業機械の物体検知システムにおける検知範囲の説明図(上下方向に配置)。
【
図10】第3実施形態に係る物体検知システムの処理の流れを示すフローチャート。
【発明を実施するための形態】
【0012】
以下、本発明の実施形態を図面に基づいて詳細に説明する。なお、実施形態を説明するための全図において、同一の機能を有する部材には同一又は関連する符号を付し、その繰り返しの説明は省略する。
【0013】
図1、
図2を参照して油圧ショベル10の外観について説明する。
図1は、油圧ショベル10の構成を示す上面図である。
図2は、油圧ショベル10の左側面図である。
【0014】
図1は、物体検知システム1が搭載された油圧ショベル10を示す。油圧ショベル10は、左クローラ11L、右クローラ11R(下部走行体に相当する)と、及び下部走行体に旋回機構を介して旋回自在に支持される上部旋回体12、上部旋回体12に取り付けられるキャブ13、及び上部旋回体12に取り付けられたフロント作業機械を備える。
【0015】
フロント作業機械は、上部旋回体12に対して上下揺動自在に支持されるブーム14、該ブーム14に上下揺動自在に支持されるアーム15(
図2参照)、該アーム15に揺動自在に支持されるバケット16を含む。
【0016】
また下部走行体を用いた前進動作、後退動作、上部旋回体12の旋回動作、及びブーム14、アーム15、バケット16の揺動動作を各々実施するために、油圧モータや油圧シリンダといったクチュエータ106(
図3参照)を備えている。油圧モータは旋回動作等のために備えられ、油圧シリンダはブーム14等の揺動動作のために備えられている。なお、ここでは油圧式を想定したがそれに拘るものでなく、例えば電動モータやリニアアクチュエータなど電動式でもよい。
【0017】
上部旋回体12の左後方の上側には、油圧ショベル10の左後方の地面22LB(
図2参照)を画角に含む左後方カメラ20LB(本発明の撮像装置に相当)が配置される。左後方カメラ20LBの撮像領域は符号21LBで示す。
【0018】
上部旋回体12において、左後方カメラ20LBが取り付けられた位置の下方には、撮像領域21LBに含まれる地面22LBに向かって光を発する左後方ライト25LB(
図2参照)が設けられる。左後方ライト25LBは、可視光から近赤外光までの波長の光を発光する。
【0019】
上部旋回体12の上部における中央後方には、油圧ショベル10の中央後方の地面22CB(
図5参照)を画角に含んで中央後方カメラ20CB(本発明の撮像装置に相当)が配置される。中央後方カメラ20CBの撮像領域は符号21CBで示す。
【0020】
上部旋回体12において、中央後方カメラ20CBが取り付けられた位置の下方には、撮像領域21CBに含まれる地面22CBに向かって光を発する中央後方ライト25CB(
図5参照)が設けられる。
【0021】
上部旋回体12の上部における右後方には、油圧ショベル10の右後方の地面を画角に含んで右後方カメラ20RB(本発明の撮像装置に相当)が配置される。右後方カメラ20RBの撮像領域は符号21RBで示す。
【0022】
上部旋回体12において、右後方カメラ20RBが取り付けられた位置の下方には、撮像領域21RBに含まれる地面に向かって光を発する右後方ライト25RB(
図5(d)参照)が設けられる。
【0023】
上部旋回体12の上部における右側には、油圧ショベル10の右側の地面を画角に含んで右カメラ20Rが配置される。右カメラ20Rの撮像領域は符号21Rで示す。
【0024】
上部旋回体12において、右カメラ20Rが取り付けられた位置の下方には、撮像領域21Rに含まれる地面に向かって光を発する右ライト25R(
図5(d)参照)が設けられる。
【0025】
左後方カメラ20LB、中央後方カメラ20CB、右後方カメラ20RB、右カメラ20Rは同一の構成でよく、配置位置によって名称を変えている。よって、どの位置に配置されているかを特に説明する必要がない場合は、単にカメラと称することがある。撮像領域、地面、ライトについても同様である。
【0026】
キャブ13には
図2に示す右レバー及び左レバーを含む操作レバー18が備えられる。右レバーの前後操作でブーム14の下げ、上げ、左右操作でバケット16の下げ、上げ、左レバーの前後操作でアーム15の押し出し、引き込み、左右操作で上部旋回体12の左旋回又は右旋回の実行指示を入力する。
【0027】
またキャブ13には、油圧ショベル10を制御するプロセッサ111が収容されるコントローラ110、物体検知の結果を通知する通知装置60が備えられる。通知装置60は、例えば、ディスプレイ、ブザー、警告灯である。
【0028】
図3は、油圧ショベル10のハードウェア構成を示すブロック図である。
【0029】
コントローラ110は、CPU(Central Processing Unit)等からなるプロセッサ111、RAM(Random Access Memory)112、ROM(Read Only Memory)113、ストレージ114、入力I/F115、出力I/F116を含みこれらがバス117を介して互いに接続される。
【0030】
ストレージ114は、データを不揮発に記憶できるデバイスであればよく、HDD(Hard Disk Drive)やSSD(Solid State Drive)など種類を問わない。
【0031】
入力I/F115には、操作レバー18、左後方カメラ20LB、中央後方カメラ20CB、右後方カメラ20RB、及び右カメラ20Rが接続される。
【0032】
出力I/F116には、左後方ライト25LB、中央後方ライト25CB、右後方ライト25RB、右ライト25R、及び通知装置60が接続される。
【0033】
また油圧ショベル10は、パイロットポンプ102、メインポンプ103、電磁比例弁104、制御弁105、クチュエータ106、動力源となるエンジン107、ECU(Engine Control Unit)108を備える。説明の便宜のため、電磁比例弁104、制御弁105、及びクチュエータ106がそれぞれ一つずつあるように記したが、実際には複数系統備えてもよい。
【0034】
操作レバー18の操作量に対応した電気信号に変換して出力するポテンショメ-タからの操作信号は、コントローラ110を介して電磁比例弁104を駆動し、この電磁比例弁104から出力したパイロット圧により制御弁105を駆動してクチュエータ106を動作させる。パイロットポンプ102は電磁比例弁104に圧油を、メインポンプ103は制御弁105に圧油を吐出する。
【0035】
出力I/F116は、電磁比例弁104に接続され、物体検知の結果、油圧ショベル10の旋回、前進、又は後退動作を停止させる場合は、電磁比例弁104に閉信号を出力する。さらに出力I/F116は、ECU108にも接続される。コントローラ110からECU108を介してエンジン107にエンジン回転数制御信号(回転数を落とす信号、又は停止信号を含む)が出力され、結果としてメインポンプ103の吐出量減、又は停止が実現する。旋回、前進、又は後退動作を行うときは、エンジン回転数制御信号として回転数を上げる信号を出力する。
【0036】
図4は、コントローラ110の機能構成を示すブロック図である。
【0037】
プロセッサ111は、操作信号判断部111a、ライト制御部111b、カメラ制御部111c、物体検知部111d、動作制御部111eの各部の機能を実行する。これら各部は、プロセッサ111が、物体検知プログラムをRAM112にロードして実行することにより実現する。
【0038】
ストレージ114は、影の大きさの判定に用いる物体判定閾値データを格納する。
【0039】
<第1実施形態>
第1実施形態は、1台のカメラに1台のライトを組み合わせた物体検知システムに係る実施形態である。
図5は、第1実施形態に係る作業機械の物体検知システム1における検知範囲の説明図である。
図5では、中央後方カメラ20CBの撮像領域21CBと中央後方ライト25CBとの位置関係を例にあげて説明する。
【0040】
図5(a)に示すように、中央後方カメラ20CBには、上部旋回体12の下部、かつ左クローラ11Lと右クローラ11Rとの間に死角領域29CBが生じる。
図5(a)では図示の便宜上、右クローラ11Rの図示を省略した状態で右側面視により死角領域29CBを図示している。
図5(b)、(c)も同様である。
【0041】
作業員91CB2は、撮像領域21CBに含まれるので中央後方カメラ20CBが撮像した撮像画像に映りこむ。よって、物体検知システム1により検知される。
【0042】
しかし、
図5(b)に示すように作業員91CB1が死角領域29CB内で低い姿勢で存在している場合は、作業員91CB1は撮像領域21CBには含まれないので中央後方カメラ20CBが撮像した撮像画像に映らない。
【0043】
そこで、中央後方ライト25CBは、作業員91CB1の影92CB1が、地面22CBに投影される位置と向きで上部旋回体12の下部に取り付けられる。すなわち、中央後方カメラ20CBの画角の外側から油圧ショベル10までの間の死角領域29CB、更に好ましくは上部旋回体12の下に生じる空間に存在する物体の影が、油圧ショベル10の後方の地面22CBに到達する角度で光を照射するように中央後方ライト25CBは上部旋回体12の下方に取り付けられる。
【0044】
図5(a)に示すように、死角領域29CBに何もない場合には、中央後方ライト25CBから地面22CBに向かう光路26CBを遮るものがないので、油圧ショベル10の後方の地面22CBに物体による影が映り込まず、画像特徴量の変化が少ない撮像画像が得られる。
【0045】
一方、
図5(b)に示すように、作業員91CB1が死角領域29CBにいる場合、光路26CBを作業員91CB1が遮るので、作業員91CB1の影92CB1が油圧ショベル10の後方の地面22CBに投影される。従って、
図5(a)と比べて画像特徴量の変化が大きい撮像画像が得られる。
【0046】
更に
図5(c)では、作業員91CB3が上部旋回体12の車体の下にもぐっている状態を示す。この場合は、
図5(b)に示す中央後方ライト25CBの取付位置では、光路26CB上に作業員が存在しないので影が生じない。そこで、中央後方ライト25CBの取付位置を上部旋回体12の下端部かつ上部旋回体12の最後部よりも前方に配置する。中央後方ライト25CBの取付角度は、中央後方ライト25CBが発する光が油圧ショベル10の後方の地面22CBに届く角度で取り付けられる。これにより、中央後方ライト25CBから油圧ショベル10の後方の地面22CBの間に存在する作業員91CB3の影92CB3が油圧ショベル10の後方の地面22CBに投影されて、
図5(a)と比べて画像特徴量の変化が大きい撮像画像が得られる。
【0047】
このように、油圧ショベル10の後方の地面22CBを撮像した撮像画像に影が映り込むと、影が撮像された領域とその周辺の領域とでは、撮像画像の輝度、彩度、明度といった画像特徴量が変化する。この画像特徴量の変化を基に影が映っているかを判定し、その判定結果に基づいて中央後方カメラ20CBの撮像領域21CBの外に存在する物体を検知する。
【0048】
図5(d)は、左後方ライト25LB、中央後方ライト25CB、右後方ライト25RB、右ライト25Rの取付位置を示す。
【0049】
左後方ライト25LB、中央後方ライト25CB、右後方ライト25RB、右ライト25Rのそれぞれは、上部旋回体12の下部に配置する。そして、油圧ショベル10の車体の下にもぐった作業員91CB1の影92CB1や、油圧ショベル10の右側面に近接して位置する作業員91Rの影92Rが、中央後方カメラ20CBや右カメラ20Rで捕捉できる向きで取り付けられる。
【0050】
図5では、主に中央後方カメラ20CBと中央後方ライト25CBとの位置関係を例にあげて説明したが、右後方カメラ20RB、左後方カメラ20LB、右カメラ20Rについても同様である。
【0051】
図6は、第1実施形態に係る物体検知システム1の処理の流れを示すフローチャートである。
【0052】
油圧ショベル10のエンジン107を始動するとコントローラ110の主電源が投入され、操作信号判断部111aは、操作レバー18から操作信号の取得を待機する。操作信号を取得しなければ(S01:No)、引き続き待機する。
【0053】
操作信号判断部111aは、取得した操作信号が示す動作を判断し、右旋回、左旋回、前進、又は後退の何れかの操作信号を取得したと判断すると(S01:Yes)、操作信号が示す動作内容をライト制御部111bに出力する。
【0054】
ライト制御部111bは、動作内容に従って、どのライトをどの順序で点灯させるかを決定する(S02)。
【0055】
例えば、これから右旋回をする場合は、右ライト25R、右後方ライト25RB、中央後方ライト25CB、左後方ライト25LBの順、左旋回をする場合は逆順、前進する場合は右後方ライト25RB、右ライト25Rの順に後ろから前に向かって、後退する場合は右ライト25R、右後方ライト25RBの順で前から後ろに向かって点灯して、油圧ショベル10の動作を予告する。
【0056】
ライト制御部111bは、点灯順に従って最初に点灯させるライトに対して点灯信号を出力し、ライトが点灯する(S03)。
【0057】
ライト制御部111bは、点灯したライトを示す情報をカメラ制御部111cに出力し、カメラ制御部111cが点灯したライトに対応するカメラで撮像し(S04)、撮像画像をコントローラ110に出力する。撮像後は、ライトは消灯する。
【0058】
ライト制御部111bは、S02で決定したライトを全て点灯していなければ(S05:No)、次のライトの点灯信号を出力する(S06)。その後、S04へ戻る。
【0059】
ライト制御部111bは、S02で決定したライトを全て点灯すると(S05:Yes)、物体検知部111dが撮像画像の被写体検出、及び画像特徴量に基づく画像解析を実行する(S07)。
【0060】
具体的には、物体検知部111dは、各カメラの撮像画像を取得し、撮像画像に対して被写体検出を行い、検出した被写体の物体認識処理を行い、撮像画像に人物や反射材、車などの物体が検知範囲に撮像されているかを判定する。物体が撮像されていると判定すると(S08:Yes)、通知装置60に物体を検知したことを示す通知情報を出力する。更に物体検知部111dは、物体を検知したことを示す情報を動作制御部111eに出力し、動作制御部111eから電磁比例弁104に閉信号を出力する(S09)。
【0061】
物体検知部111dは物体を検知しないと判定すると(S08:No)、撮像画像の画像特徴量を基に影が撮像されているかを判定する(S10)。画像解析の一例として、影がなければ撮像画像の輝度は比較的明るく、影が映っていれば撮像画像の輝度は下がるので、この画像特徴量を用いて影を捕捉し、死角領域の物体の存在を推定する。
【0062】
物体検知部111dは、影が映っていると判定すると(S10:Yes)、影の大きさと、動作停止の要否を判定するための物体判定閾値とを比較する(S11)。影の大きさが物体判定閾値以上であると判定すると(S11:Yes)、通知装置60に物体を検知したことを示す通知情報を出力する。更に物体検知部111dは、物体を検知したことを示す情報を動作制御部111eに出力し、動作制御部111eから電磁比例弁104に閉信号を出力する(S09)。
【0063】
「物体判定閾値」とは、検知対象とする大きさの物体の影の大きさを基に定めた閾値である。例えばパイロンは物体として検知せず、パイロンより大きい物体、例えば、腰をかがめて低い姿勢で作業をしている作業員は検知対象とする場合は、予め腰をかがめて低い姿勢で作業をしている作業員の影の長さを計測しておき、それを物体判定閾値としてストレージ114に記憶しておく。そして、ステップS11では、撮像画像に映った影の長さと物体判定閾値とを比較し、撮像画像に映った影の長さが物体判定閾値以上であれば、検知対象とする物体が存在していると判定する。
【0064】
物体検知部111dが、影が映っていないと判定した場合(S10:No)、又は影の大きさが物体判定閾値未満であると判定すると(S11:No)、動作制御部111eは電磁比例弁104に開信号を出力し油圧ショベル10が操作信号に従った動作を開始する(S12)。
【0065】
旋回、前進、又は後退動作を継続する場合は(S13:Yes)、S03へ戻り、次の点灯周期でライトの点灯を開始する。旋回、前進、又は後退動作を停止する場合は(S13:No)、一連の処理を終了する。
【0066】
本実施形態によれば、各カメラの死角領域からカメラの撮像領域内の地面に向けて光を照らすので、ライトから撮像領域内の地面に向かう光路上に物体がある場合に、撮像領域に映った影を捕捉することで死角領域の物体の存在を推定できる。
【0067】
更に影の大きさを基に、物体の大きさを推定し、例えば物体として検知したくないもの、例えばパイロンは除外し、油圧ショベルの車体にもぐった作業員等は検知することができるので誤検知を防ぎつつ死角領域の物体検知が行える。
【0068】
更に、撮像領域に地面を含み、これを基に被写体検出をしてカメラの検知範囲の物体の有無を判定するので、地面の凹凸を誤検知することを防ぎつつ、従来例では死角領域であった下部走行体付近の物体も検知範囲とすることができる。
【0069】
更に、レーザースキャナや赤外線装置に比べ、ライトとカメラは安価であるため、仮に破損しても安価に修理できる。
【0070】
なお、第1実施形態において、影の大きさから物体の大きさを推定することなく、撮像画像に影が映り込んだ場合は物体を検出したことを通知して動作を停止(S09)するように構成してもよい。その場合は、
図6においてステップS11を省略すればよい。
【0071】
<第2実施形態>
第2実施形態は、一台のカメラに対して複数のライトを配置し、影の大きさをより正確に検知する実施形態である。
【0072】
図7は、第2実施形態に係る作業機械の物体検知システムにおける検知範囲の説明図(左右方向に配置)である。
図7では中央後方カメラ20CBに対して3つのライト、中央後方ライト25CB1、25CB2、25CB3を上部旋回体12の左右方向に沿って配置する例について説明する。
【0073】
図7(a)に示すように、中央後方ライト25CB1、25CB2、25CB3は、上部旋回体12の後部に上部旋回体12の左から右に向かって並べて配置される。中央後方ライト25CB1、25CB2、25CB3の各々は、一つの中央後方カメラ20CBの撮像領域21CBに含まれる地面22CBに対して異なる角度から光を照射する位置及び角度で油圧ショベル10に取り付けられる。
【0074】
作業員91CB1は、油圧ショベル10の中央後方で低い姿勢で作業をしており、中央後方カメラ20CBの死角領域29CB(
図5参照)に位置しているものとする。
【0075】
図7(a)は中央後方ライト25CB1、25CB2、25CB3が全て消灯している状態を示す。この場合、作業員91CB1の影92CB1は地面に投影されていない。
【0076】
ここで、3つの中央後方ライト25CB1、25CB2、25CB3において最も左側に配置された中央後方ライト25CB1だけを点灯すると、中央後方ライト25CB1の光路26CB1を作業員91CB1が遮蔽するので、
図7(b)に示すように、影92CB1が投影される。
【0077】
次に3つの中央後方ライト25CB1、25CB2、25CB3において、中央に配置され中央後方ライト25CB2だけを点灯すると、中央後方ライト25CB2の光路26CB2を作業員91CB1が遮蔽するので、
図7(c)に示す位置に影92CB1が投影される。
【0078】
更に3つの中央後方ライト25CB1、25CB2、25CB3において最も右側に配置された中央後方ライト25CB3だけを点灯すると、中央後方ライト25CB3の光路26CB3を作業員91CB1が遮蔽するので、
図7(d)に示す位置に影92CB1が投影される。
【0079】
このように、中央後方カメラ20CBの撮像領域21CBを異なる角度から照らす3つの中央後方ライト25CB1、25CB2、25CB3を配置し、中央後方ライト25CB1、25CB2、25CB3を切り替えながら順次点灯、撮像、消灯、点灯、撮像、消灯を繰り返すと、同一の障害物の影の大きさや位置が変わるので、これを基に物体の大きさ、位置を推定できる。
【0080】
例えば第1実施形態と同様、パイロンは物体として検知せず、パイロンより大きい物体、例えば、腰をかがめて低い姿勢で作業をしている作業員は検知対象とする場合は、予め腰をかがめて低い姿勢で作業をしている作業員の影を、中央後方ライト25CB1、25CB2、25CB3を切り替えて撮像し、作業員の影の大きさを、各ライトに対応した物体判定閾値としてストレージ114に記憶しておく。そして、ステップS11では、各ライトを点灯して撮像した撮像画像に映った影の長さと、そのライトに対応した物体判定閾値とを物体判定閾値とを比較し、いずれか一つの撮像画像に映った影の長さが物体判定閾値以上であれば、検知対象とする物体が存在していると判定する。
【0081】
図7では、中央後方カメラ20CBと中央後方ライト25CB1、25CB2、25CB3との位置関係を例にあげて説明するが、左後方カメラ20LB、右後方カメラ20RB、右カメラ20Rについても同様である。
【0082】
図8は、第2実施形態に係る作業機械の物体検知システムにおける検知範囲の説明図(上下方向に配置)である。
図8では中央後方カメラ20CBに対して2つのライト、中央後方ライト25CB4、25CB5を上下に並べて配置する例について説明する。なお、
図8では図示の便宜上、右クローラ11Rの図示を省略した状態で右側面視により作業員91CB1を図示している。
【0083】
下段の中央後方ライト25CB4だけを点灯すると、光路26CB4を作業員91CB1が遮蔽するので、
図8(a)に示す位置に影92CB1が長さL_25CB4で投影される。
【0084】
上段の中央後方ライト25CB5だけを点灯すると、光路26CB5を作業員91CB1が遮蔽するので、
図8(b)に示す位置に影92CB1が長さL_25CB5で投影される。
【0085】
図8では、中央後方カメラ20CBと中央後方ライト25CB4、25CB5との位置関係を例にあげて説明したが、左後方カメラ20LB、右後方カメラ20RB、右カメラ20Rについても同様である。
【0086】
図7、
図8において、複数の中央後方ライト25CB1、25CB2、25CB3、25CB4、25CB5の点滅順を変化させて、油圧ショベル10の旋回動作、前進動作、又は後退動作の予告灯として用いてもよい。例えば、
図7の例において、操作レバー18が旋回動作の実行指示の入力操作を受け付けると、プロセッサ111が操作レバー18の操作信号を受信し、これに基づいて旋回方向、例えば右旋回であれば、中央後方ライト25CB3、25CB2、25CB1の順に点滅を繰り返すように点灯信号を出力してもよい。
【0087】
第2実施形態における物体検知システムの処理の流れは
図6で示した第1実施形態の処理の流れと同様であるので
図6のフローチャートを流用して、第1実施形態と異なる点についてのみ説明する。
【0088】
ステップS02の点灯順では、1台のカメラに対して設けられた複数のライトの各々について点灯順を決定する。
【0089】
また、ステップS11の影の大きさ判定では、1台のカメラに対して、異なる角度から光を照射するライトを点灯した状態で取得した各撮像画像に対して画像解析を行う。そして、一つ以上の撮像画像において、影の大きさが物体判定閾値以上であると判定されると(S11:Yes)、物体を検出したことを通知して動作を停止する(S09)。
【0090】
また、ステップS11においては、同一の物体の影を複数の方向から撮像するので、影の大きさから物体自体の大きさを推定し、検知対象の物体であるか否かを判定してもよい。例えば、
図8の例では、影の長さL_25CB4、L_25CB5と中央後方ライト25CB4、25CB5の取付角度を基に物体の高さを演算して、物体の大きさを推定してもよい。
【0091】
第2実施形態によれば、一台のカメラの撮像領域に対して複数のライトで光を照射してカメラの死角領域に潜む物体の検知を行えるので、より広い範囲で物体検知が行える。
【0092】
また、あるライトと作業員91CB1との相対位置や向きの関係では、偶然影が短く投影されることがあっても、他のライトでは作業員91CB1の影が相対的に長く投影されることで、物体検知の精度を向上させることができる。また、異なる撮像画像に映った影の長さから物体の大きさを推定することも可能となる。
【0093】
更にライトで影を作り出してその輝度差をカメラで捕捉して判定するため、多少ライトが汚損したとしても誤検知は少ない。また複数のライトを使用して、それらの光らせる順を変えて影を作ることで、一つのライトが汚損しても他のライトで補えるため、誤検知を減らせる。
【0094】
<第3実施形態>
第3実施形態は、死角領域を照らすライトとして調光ライトを用いる実施形態である。ここでいう「調光ライト」とは、光量及び波長を変更可能なライトである。
図9は、第3実施形態の処理内容を示す説明図である。
図9では、中央後方ライト25CBを例に挙げて説明するが、左後方カメラ20LB、右後方カメラ20RB、右カメラ20Rのそれぞれに対応して設けられるライトについても同様である。
【0095】
図9(a)は、日中の周辺光が比較的強い状況を示す。コントローラ110は、撮像画像において周辺光が強い中でも作業員91CB1の影と周辺光の下で撮像される地面の画像とのコントラスト比が良好となるように、中央後方ライト25CBの光量を上げる又は周辺光とは異なる色の光を出すために波長を変更する調光信号を出力する。
【0096】
一方夜間は周辺光が少ないかほぼない。そこで、
図9(b)に示すように、中央後方ライト25CBの光量を下げて消費電力を抑えて点灯させる。
【0097】
また夕方は周辺光が橙色から赤色に近くなる。そこで、
図9(c)に示すように、中央後方ライト25CBの光の波長を変更して、周辺光と区別しやすい色、例えば橙色から赤色の補色の光を発光する。これにより、周辺光に中央後方ライト25CBの光が紛れることを防ぎ、影が識別しやすくなる。
【0098】
図10は、第3実施形態に係る物体検知システムの処理の流れを示すフローチャートである。
図6に示した第1実施形態に係るフローチャートと同じステップには同一の符号を付し、重複説明を省略する。
【0099】
第3実施形態ではステップS04に続き、調光処理を追加する。具体的には、ステップS04に続き、調光シーケンスの開始判定ステップが実行される(S31)。調光シーケンスを開始する場合(S31:Yes)、物体検知部111dは、撮像画像の画像特徴量、例えば輝度、明度、彩度の分布(ヒストグラム)などを基に、周辺光の光量と波長を解析し(S32)、ライト制御部111bに出力する。ライト制御部111bには、解析結果に応じて、調光する。その後ステップS05へと進む。
【0100】
本実施形態では撮像画像を基に周辺光の解析を行ったが、油圧ショベル10が照度センサを備える場合は、ライト制御部111bが照度センサから照度データを取得して周辺光の光量を基にライトの光量を決定してもよい。
【0101】
または、RTC(Real Time Clock)をコントローラ110が搭載する場合は、ライト制御部111bがRTCから時刻データを取得し、時間に応じて日中は光量を上げ、夕方は橙色から赤色の補色を、夜間は省電力モードに切り替えてもよい。
【0102】
照度センサや時間を基に調光を行う場合は、調光シーケンスを開始判定(S31)はステップS04の後である必要はなく、S03よりも前の任意のタイミングでもよい。
【0103】
調光シーケンスは、一度実行すると次は数時間、例えば6時間に1回実行するように構成してもよい。
【0104】
第3実施形態によれば、周辺光の状況に応じて調光して影を撮像するので、周辺光の影響を抑制しつつ、死角領域に潜む物体の検知精度を向上させることができる。
【0105】
上記実施形態は、本発明を限定する趣旨ではなく、様々な変更態様も本発明に含まれる。例えば、カメラやライトの取付位置や数は上記に限定されない。
【0106】
また、一つのカメラに対して複数のライトを配置する例に代えて、照射角度が変えられるライトを一つ備えてもよい。
【符号の説明】
【0107】
1 :物体検知システム
10 :油圧ショベル
11L :左クローラ
11R :右クローラ
12 :上部旋回体
13 :キャブ
14 :ブーム
15 :アーム
16 :バケット
18 :操作レバー
20CB :中央後方カメラ
20LB :左後方カメラ
20R :右カメラ
20RB :右後方カメラ
21CB :撮像領域
21LB :撮像領域
21R :撮像領域
21RB :撮像領域
22CB :地面
22LB :地面
25CB :中央後方ライト
25CB1 :中央後方ライト
25CB2 :中央後方ライト
25CB3 :中央後方ライト
25CB4 :中央後方ライト
25CB5 :中央後方ライト
25LB :左後方ライト
25R :右ライト
25RB :右後方ライト
26CB :光路
26CB1 :光路
26CB2 :光路
26CB3 :光路
26CB4 :光路
26CB5 :光路
29CB :死角領域
60 :通知装置
91CB1 :作業員
91CB3 :作業員
91R :作業員
92CB1 :影
92CB3 :影
92R :影
102 :パイロットポンプ
103 :メインポンプ
104 :電磁比例弁
105 :制御弁
106 :アクチュエータ
107 :エンジン
108 :ECU
110 :コントローラ
111 :プロセッサ
111a :操作信号判断部
111b :ライト制御部
111c :カメラ制御部
111d :物体検知部
111e :動作制御部
112 :RAM
113 :ROM
114 :ストレージ
115 :入力I/F
116 :出力I/F
117 :バス