(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2025-09-05
(45)【発行日】2025-09-16
(54)【発明の名称】安全監視システムの制御方法及び安全監視システム
(51)【国際特許分類】
E02F 9/24 20060101AFI20250908BHJP
B60R 1/22 20220101ALI20250908BHJP
E02F 9/26 20060101ALI20250908BHJP
H04N 7/18 20060101ALI20250908BHJP
【FI】
E02F9/24 B
B60R1/22
E02F9/26 B
H04N7/18 J
(21)【出願番号】P 2021082536
(22)【出願日】2021-05-14
【審査請求日】2024-02-09
(73)【特許権者】
【識別番号】720001060
【氏名又は名称】ヤンマーホールディングス株式会社
(74)【代理人】
【識別番号】100167302
【氏名又は名称】種村 一幸
(74)【代理人】
【識別番号】100135817
【氏名又は名称】華山 浩伸
(74)【代理人】
【識別番号】100181869
【氏名又は名称】大久保 雄一
(74)【代理人】
【識別番号】100167830
【氏名又は名称】仲石 晴樹
(74)【代理人】
【識別番号】100168583
【氏名又は名称】前井 宏之
(72)【発明者】
【氏名】石川 喜久
(72)【発明者】
【氏名】村岡 宏之
(72)【発明者】
【氏名】長田 拡
(72)【発明者】
【氏名】松石 紘太朗
【審査官】松本 泰典
(56)【参考文献】
【文献】特開2017-030688(JP,A)
【文献】特開2020-092447(JP,A)
【文献】特開2017-046277(JP,A)
【文献】特開2020-051156(JP,A)
【文献】特開2015-210602(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
E02F 9/24
E02F 9/26
B60R 1/00
H04N 7/18
B60R 1/22
(57)【特許請求の範囲】
【請求項1】
建設機械の周囲の物体を検出する検出装置と、
撮影された前記建設機械の周囲の画像を表示する表示装置と、を備える安全監視システムの制御方法であって、
前記検出装置が前記物体を検出すると、前記周囲の画像の外周の少なくとも一部に縁取り加工を施した縁取り画像を表示するように前記表示装置を制御
し、
前記縁取り加工は、前記表示装置の表示部に表示される画面の上端及び下端に施されている、
安全監視システムの制御方法。
【請求項2】
前記検出装置が前記物体を検出すると、前記周囲の画像に警告表示を付加するように前記表示装置を制御する、請求項1に記載の安全監視システムの制御方法。
【請求項3】
前記検出装置は、前記物体までの距離を測定し、
前記検出装置によって測定された前記距離に応じて、前記縁取り加工の色及び前記警告表示の色を変更する、請求項2に記載の安全監視システムの制御方法。
【請求項4】
前記縁取り加工は、前記警告表示と同じ色を含む、請求項3に記載の安全監視システムの制御方法。
【請求項5】
前記警告表示は、前記周囲の画像に重畳表示される、請求項2から請求項4のいずれか1項に記載の安全監視システムの制御方法。
【請求項6】
前記物体が人であるか否かを判定する、請求項1から請求項5のいずれか1項に記載の安全監視システムの制御方法。
【請求項7】
前記建設機械は、下部
走行体と、
前記下部
走行体の上部に旋回可能に配置された上部旋回体と、を備え、
前記周囲の画像は、前記上部旋回体に設置されたカメラにて撮影された画像である、請求項1から
請求項6のいずれか1項に記載の安全監視システムの制御方法。
【請求項8】
建設機械の周囲の物体を検出する検出装置と、
撮影された前記建設機械の周囲の画像を表示する表示装置と、
前記検出装置及び前記表示装置を制御する制御装置と
を備え、
前記制御装置は、前記検出装置が前記物体を検出すると、前記周囲の画像の外周の少なくとも一部に縁取り加工を施した縁取り画像を表示するように前記表示装置を制御
し、
前記縁取り加工は、前記表示装置の表示部に表示される画面の上端及び下端に施されている、
安全監視システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、安全監視システムの制御方法及び安全監視システムに関する。
【背景技術】
【0002】
例えば、建設現場で使用される作業機械及び建設機械等では、カメラで周囲の障害物等を撮影し、撮影した撮影画像を表示装置に表示することで、操作者が安全を確認している。
【0003】
特許文献1の作業機械は、撮影画像に加え、距離センサーを用いて周囲の障害物又は人を検出し、距離センサーにより障害物が検出されると、周囲に人以外の障害物が存在することを表示装置に表示し、距離センサーにより人が検出されると、周囲に人が存在することを表示装置に表示する。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
例えば、操作者が建設機械を操作しながら表示装置を注視することができず、障害物又は人の存在に気づかないことがある。
【0006】
本発明は上記課題に鑑みてなされたものであり、その目的は、操作者が建設機械の周囲にある物体により容易に気づくことが可能な安全監視システムを提供することにある。
【課題を解決するための手段】
【0007】
本発明に係る安全監視システムは、検出装置と、表示装置と、制御装置とを備える。前記検出装置は、建設機械の周囲の物体を検出する。前記表示装置は、撮影された前記建設機械の周囲の画像を表示する。前記制御装置は、前記検出装置及び前記表示装置を制御する。前記制御装置は、前記検出装置が前記物体を検出すると、前記周囲の画像に縁取り加工を施した縁取り画像を表示するように前記表示装置を制御する。
【発明の効果】
【0008】
本発明によれば、操作者が建設機械の周囲にある物体により容易に気づくことが可能となる。
【図面の簡単な説明】
【0009】
【
図2】安全監視システムが搭載された作業車両を示すブロック図である。
【
図3】検出装置による物体の検出及び縁取り画像を示す図である。
【
図4】検出装置による物体との距離の検出と、距離に応じて表示部に表示される画面を示す図である。
【
図5】検出装置による人又は物の検出を示す図である。
【
図6】検出装置による人物の検出と、人物の距離に応じて表示部に表示される画面及び音出力部から出力される警告音を示す図である。
【
図7】安全監視システムが搭載された作業車両を上方から見た図である。
【
図11】本発明の実施形態に係る安全監視方法を示すフローチャートである。
【発明を実施するための形態】
【0010】
以下、本発明の実施形態について、図面を参照しながら説明する。なお、図中、同一又は相当部分については同一の参照符号を付して説明を繰り返さない。
【0011】
まず、
図1及び
図2を参照して、本発明の実施形態に係る安全監視システム1が搭載される作業車両100を説明する。
図1は、作業車両100の上部旋回体200を示す斜視図である。なお、
図1では、図面を見易くするために、上部旋回体200の屋根を省略している。
図2は、安全監視システム1が搭載された作業車両100を示すブロック図である。以下、作業車両100が油圧ショベルの場合を例に挙げて本実施形態を説明する。油圧ショベルは建設機械の一例である。安全監視システム1は、検出装置と、制御装置と、表示装置とを備える。
【0012】
図1に示すように、作業車両100は上部旋回体200を備える。上部旋回体200は、下部走行体400(後述の
図2)に対して旋回する。上部旋回体200は、油圧ポンプ600(後述の
図2)及び油圧モーター(不図示)によって駆動されて旋回する。上部旋回体200には、作業機300(後述の
図2)が取り付けられる。
【0013】
具体的には、上部旋回体200は、操縦室205と、座席210と、複数の操作レバー220と、配置部材230とを備える。
【0014】
操縦室205には、操作装置20、検出装置10、座席210、複数の操作レバー220、及び、配置部材230が配置される。座席210には、操作者が着座する。操作者は、作業車両100の操縦者である。複数の操作レバー220の各々は、操作者からの操作を受け付ける。操作レバー220は、作業車両100を操作するための操作部材である。
【0015】
操作装置20は、操作者からの操作を受け付けて、作業車両100の操作、作業車両100に対する各種情報の入力、及び、作業車両100に関する各種情報の表示を実行する。
【0016】
検出装置10は、作業車両100の周囲の状態を検出する。例えば、検出装置10は、作業車両100の周囲を撮影するカメラ12と、赤外線センサー14A、14B、14Cとを有する。検出装置10は、例えば、上部旋回体200において、座席210の後方に設けられる。
【0017】
例えば、座席210の後方に設けられた検出装置10において、カメラ12は、作業車両100の後方を撮影し、カメラ映像を生成する。
【0018】
赤外線センサー14A、14B、14Cは、例えば、TOF(Time Of Flight)センサーである。具体的には、赤外線センサー14A、14B、14Cは、赤外光を発光する。赤外線センサー14A、14B、14Cから出射された赤外光は、進行方向に物体があると、物体に反射される。物体に反射された反射赤外光は、赤外線センサー14A、14B、14Cに向かって進む。赤外線センサー14A、14B、14Cは、反射赤外光を受光する。赤外線センサー14A、14B、14Cは、赤外光の発光から反射赤外光の受光までの時間を測定し、測定した時間に基づいて、物体までの距離を測定する。
【0019】
操作装置20は、各種情報を表示するとともに、操作者からの押圧操作を受け付ける。また、操作装置20は、建設機械の周囲の画像を表示する。操作装置20は、表示部22と、複数の押しボタン24を備える。表示部22は、例えば、作業車両100の状態及びGUI(Graphical User Interface)等の作業車両100に関する各種情報を表示する。また、表示部22は、カメラ12によって撮影されたカメラ映像を表示する。カメラ映像は、建設機械の周囲の画像の一例である。
【0020】
表示部22は、表示装置の一例であり、例えば、液晶ディスプレイ、又は、有機エレクトロルミネッセンスディスプレイである。表示部22は、タッチパネルを備えていてもよい。この場合、各押しボタン24は、GUIのウィジェットとして表示部22に表示されてもよい。
【0021】
図2に示すように、作業車両100は、操作装置20及び上部旋回体200に加えて、作業機300と、下部走行体400と、ブレード(不図示)と、エンジン部500と、油圧ポンプ600と、コントロールバルブ700と、油タンク800とを更に備える。また、操作装置20は主制御装置30を更に備える。主制御装置30は、例えば、上部旋回体200の内部であって、操作装置20と異なる位置に配置される。主制御装置30は制御装置の一例である。
【0022】
作業機300は、作業を実行する。具体的には、作業機300は、バケット(不図示)と、アーム(不図示)と、ブーム(不図示)と、複数の油圧シリンダー(不図示)とを備える。
【0023】
下部走行体400の上部には、スイベルジョイント(不図示)を介して、上部旋回体200が配置される。下部走行体400は、走行する。具体的には、下部走行体400は、一対のクローラー(不図示)と、一対の油圧モーター(不図示)とを備える。
【0024】
エンジン部500は、エンジン501と、エンジン制御装置503とを備える。エンジン制御装置503は、エンジン501を制御する。エンジン制御装置503は、例えば、ECU(Electronic Control Unit)である。エンジン501には、燃料タンク(不図示)から燃料が供給される。
【0025】
エンジン501は、油圧ポンプ600を駆動する。その結果、油圧ポンプ600は、圧油をコントロールバルブ700に送り出す。圧油とは、圧力がかけられた油のことである。コントロールバルブ700は、各操作レバー220の操作に従って、圧油の流れを制御する。コントロールバルブ700は、上部旋回体200の油圧モーター、作業機300の各油圧シリンダー、下部走行体400の各油圧モーター、及び、ブレードを駆動する油圧シリンダー(不図示)に対して圧油を供給する。
【0026】
操作装置20は、表示制御装置26と、音出力部28とを更に備える。表示制御装置26は表示部22を制御する。表示制御装置26は、例えば、ECUである。音出力部28は音を出力する。音出力部28は、音声出力装置の一例であり、例えば、スピーカー又はブザーである。
【0027】
具体的には、表示制御装置26は、制御部261と、記憶部263とを備える。制御部261は、CPU(Central Processing Unit)のようなプロセッサーを含む。記憶部263は、記憶装置を含み、データ及びコンピュータープログラムを記憶する。具体的には、記憶部263は、半導体メモリーのような主記憶装置と、半導体メモリー、ソリッドステートドライブ、及び/又は、ハードディスクドライブのような補助記憶装置とを含む。記憶部263は、リムーバブルメディアを含んでいてもよい。記憶部263は、非一時的コンピューター読取可能記憶媒体の一例に相当する。
【0028】
制御部261は、表示部22に表示された画面の操作に応じて入力又は設定された各種情報を主制御装置30に出力する。
【0029】
制御部261は、表示制御部265を備える。具体的には、制御部261のプロセッサーは、記憶部263の記憶装置に記憶されたコンピュータープログラムを実行することで、表示制御部265として機能する。表示制御部265は、表示部22を制御する。例えば、表示制御部265は、押しボタン24A~24Fが押下されたか否かを示す操作情報(オン情報又はオフ情報)に応じて、表示部22に表示される画面を制御する。表示制御部265の詳細は後述する。
【0030】
主制御装置30は、検出装置10、操作装置20、及び、エンジン部500を制御する。主制御装置30は、例えば、ECUである。
【0031】
具体的には、主制御装置30は、制御部32と、記憶部34とを備える。制御部32は、CPUのようなプロセッサーを含む。記憶部34は、記憶装置を含み、データ及びコンピュータープログラムを記憶する。記憶部34のハードウェア構成は、例えば、記憶部263のハードウェア構成と同様である。
【0032】
制御部32は、表示制御装置26の制御部261から、表示部22に表示された画面の操作に応じて入力又は設定された各種情報を取得する。
【0033】
操作者は、表示部22に表示されたカメラ映像を見ることで、作業車両100の後方の状態を知ることができる。しかしながら、操作者が作業車両100を操作しながら表示部22を注視できず、表示部22に表示されたカメラ映像に含まれる物体に気づかないことがある。
【0034】
これに対して、本実施形態では、操作者が表示部22を注視できない場合においても、操作者が作業車両100の周囲にある物体に気づきやすくする。
【0035】
[物体の検出]
具体的には、主制御装置30は、検出装置10が物体を検出すると、カメラ映像に縁取り加工を施した縁取り画像を表示するように表示部22を制御する。
【0036】
次に、
図3を参照して、検出装置10による物体の検出及び縁取り画像について説明する。
図3は、検出装置10による物体の検出及び縁取り画像を示す図である。
【0037】
図3では、物体の一例として三角コーンR1が、赤外線センサー14A、14B、14Cによって総合的に検出される様子を、赤外線センサー14によって検出されるように、模式的に示している。各赤外線センサー14A、14B、14Cによる検出の詳細は、後述する。
【0038】
表示部22は、主制御装置30の制御により、カメラ12によって撮影されたカメラ映像を表示する。カメラ映像は、作業車両100の後方を示す画像である。カメラ映像には、作業車両100の後方に位置する三角コーンR1に対応するオブジェクトが含まれる。
【0039】
赤外線センサー14は、赤外光を発光する。赤外線センサー14から出射された赤外光は、三角コーンR1に到達して反射される。三角コーンR1に反射された反射赤外光は、赤外線センサー14に向かって進む。赤外線センサー14は、反射赤外光を受光する。
【0040】
赤外線センサー14は、反射赤外光を受光すると、赤外光の発光方向に物体が存在すると判定する。一方、赤外線センサー14は、反射赤外光が受光できないと、赤外光の発光方向に物体が存在しないと判定する。
【0041】
主制御装置30は、赤外線センサー14の判定結果を取得し、判定結果に応じて、カメラ映像に縁取り加工E1を施した縁取り画像V1を表示するように表示部22を制御する。言い換えると、赤外線センサー14が赤外光の発光方向に物体が存在すると判定すると、表示部22は、カメラ映像に縁取り加工E1を施した縁取り画像V1を表示する。
【0042】
このように、作業車両100の周囲(後方)に物体が存在する場合、表示部22の画面全体の表示が変化するため、操作者が物体に気づきやすい。
【0043】
また、例えば、主制御装置30は、赤外線センサー14が赤外光の発光方向に物体が存在すると判定すると、縁取り加工E1に加えて、警告表示M1をカメラ映像に付加するように表示部22を制御する。
【0044】
本実施形態において、縁取り加工の色及び警告表示の色が、物体までの距離に応じて変更されてもよい。
【0045】
次に、
図4を参照して、検出装置10による物体との距離の検出について説明する。
図4は、検出装置10による物体との距離の検出と、距離に応じて表示部22に表示される画面を示す図である。
【0046】
検出装置10は、物体までの距離を測定する。具体的には、
図4に示すように、赤外線センサー14は、赤外光を発光してから、三角コーンR1に反射された反射赤外光を受光するまでの時間を測定し、測定した時間に基づいて、三角コーンR1までの距離を算出する。
【0047】
主制御装置30は、赤外線センサー14によって測定された三角コーンR1までの距離を取得し、取得した距離に応じて、縁取り加工E1及び警告表示M1の色を決定する。
【0048】
例えば、作業車両100から、三角コーンR1がある距離L2より近くに設置されている場合、主制御装置30は、例えば「黄色」の警告表示M1をカメラ映像に付加するように表示部22を制御する。表示部22は、主制御装置30の制御により、「黄色」の警告表示M1が付加されたカメラ映像V2を表示する。
図4では、「黄色」をハッチングなしで示している。
【0049】
一方、例えば、作業車両100から、三角コーンR1が距離L2より短い距離L1より近くに設置されている場合、主制御装置30は、例えば、カメラ映像に「赤色」の縁取り加工E1を施し、更に「赤色」の警告表示M1を付加した縁取り画像V1を表示するように表示部22を制御する。
【0050】
なお、
図4では、作業車両100から、三角コーンR1がある距離L2より近くに設置されている場合、カメラ映像V2には、縁取り加工が施されないとしたが、例えば、「黄色」の縁取り加工が施されてもよい。
【0051】
このように、物体までの距離に応じて、表示部22に表示される画面が変化することで、より近くの物体に対して操作者が注意を払うようになる。
【0052】
[人の検出]
次に、
図5を参照して、検出装置10による人の検出について説明する。
図5は、検出装置10による人又は物の検出を示す図である。
図5では、赤外線センサー14A、14B、14Cによる人又は物の検出を詳細に説明する。
【0053】
赤外線センサー14A、14B、14Cは、それぞれ、同じ向きに異なる角度で赤外光を発光する。例えば、赤外線センサー14Aは、仰角(俯角)αで赤外光を発光し、赤外線センサー14Bは、仰角(俯角)βで赤外光を発光し、赤外線センサー14Cは、仰角(俯角)γで赤外光を発光する。なお、仰角(俯角)α<仰角(俯角)β<仰角(俯角)γとする。
【0054】
赤外線センサー14Aから仰角(俯角)αで出射された赤外光は、三角コーンR1、人物P1又は地面に到達して反射される。いずれかに反射された反射赤外光は、赤外線センサー14Aによって受光される。
【0055】
赤外線センサー14Aは、出射した赤外光の反射赤外光を受光するまでの時間に基づいて、赤外光の反射地点までの距離LAを算出する。赤外線センサー14Aは、更に、算出した距離LAと、仰角(俯角)αとに基づいて、赤外線センサー14Aと反射地点との間の距離Lを算出する。
【0056】
また、赤外線センサー14Aは、算出した距離LAと、仰角(俯角)αとに基づいて、赤外光の反射地点の地面からの高さを算出する。具体的には、赤外線センサー14Aは、算出した距離LAと、仰角(俯角)αとに基づいて、出射した赤外光が赤外線センサー14Aから下降した距離Haを算出する。赤外線センサー14Aは、算出した距離Haを赤外線センサー14Aに設定された高さHAから引くことで、赤外光の反射地点の地面からの高さを算出する。
【0057】
赤外線センサー14B、14Cは、赤外線センサー14Aと同様に、それぞれ、赤外線センサー14B、14Cと反射地点との間の距離LB、LCを算出する。赤外線センサー14Bは、距離LB及び仰角(俯角)βに基づいて距離Lと、反射地点の地面からの高さとを算出する。赤外線センサー14Cは、距離LB及び仰角(俯角)γに基づいて距離Lと、反射地点の地面からの高さとを算出する。
【0058】
例えば、赤外線センサー14A、14B、14Cは、算出した反射地点の地面からの高さがゼロより大きい場合、赤外線センサー14A、14B、14Cから距離L離れた位置に、物体が存在すると検出する。
【0059】
本実施形態において、赤外線センサー14A、14B、14Cは、反射赤外光の強度に基づいて、物体が人であるか否かを判定する。例えば、作業車両100が使用される建設現場では、人物P1は、赤外光の反射率が高い反射ベストW1を着用している。このため、人物P1(反射ベストW1)に反射された反射赤外光の強度は強くなる。一方、物(三角コーン等)に反射された反射赤外光の強度は、人物P1(反射ベストW1)に反射された場合と比べて弱くなる。
【0060】
赤外線センサー14A、14B、14Cは、受光した反射赤外光の強度を測定し、反射赤外光の強度が所定の強度より強い場合、赤外光を反射した物体が人であると判定する。一方、赤外線センサー14A、14B、14Cは、反射赤外光の強度が所定の強度より弱い場合、赤外光を反射した物体が物であると判定する。
【0061】
ここで、赤外線センサー14A、14B、14Cは、断続的に赤外光の発光と反射赤外光の受光とを繰り返し、反射赤外光を受光するごとに反射赤外光の強度を測定する。例えば、赤外線センサー14A、14B、14Cは、複数の反射赤外光の強度の平均(平均強度)を算出し、所定の強度より強い場合、赤外光を反射した物体が人であると判定する。
【0062】
また、例えば、三角コーンR1が反射ベストW1と同じ反射率を有する場合、赤外線センサー14A、14B、14Cは、赤外光を反射した三角コーンR1が人であると誤判定してしまう。
【0063】
これを防ぐため、赤外線センサー14A、14B、14Cは、反射赤外光の強度が所定の強度より強い場合であっても、反射赤外光の反射地点の地面からの高さが所定の高さより低い場合には、赤外光を反射した物体が物であると判定する。
【0064】
例えば、赤外線センサー14A、14B、14Cが人物P1を検出する場合と、赤外線センサー14A、14B、14Cが反射ベストW1と同じ反射率を有する三角コーンR1を検出する場合とを比較して説明する。なお、
図5では、人物P1と三角コーンR1とは、赤外線センサー14A、14B、14Cから距離L離れた同じ位置に位置するものとする。
【0065】
赤外線センサー14Aが人物P1を検出する場合、赤外線センサー14Aは、上述のように、反射地点までの距離Lと、反射地点の地面からの高さH1とをそれぞれ算出する。また、赤外線センサー14Aは、反射赤外光の強度が所定の強度より強いと判定する。赤外線センサー14Aは、反射赤外光の強度が所定の強度より強く、かつ反射地点の地面からの高さH1が所定の高さH0より高いため、赤外光を反射した物体が人であると判定する。
【0066】
一方、赤外線センサー14Bが三角コーンR1を検出する場合、赤外線センサー14Bは、上述の赤外線センサー14Aと同様、反射地点までの距離Lと、反射地点の地面からの高さH2とをそれぞれ算出する。また、赤外線センサー14Bは、反射赤外光の強度が所定の強度より強いと判定する。赤外線センサー14Bは、反射赤外光の強度が所定の強度より強く、かつ反射地点の地面からの高さH2が所定の高さH0より低いため、赤外光を反射した物体が物であると判定する。
【0067】
このように、反射赤外光の強度と赤外光を反射した物体の高さとに基づいて、赤外光を反射した物体が人であるか物であるかを判定することで、人と物とを誤判定する可能性を低減する。
【0068】
また、本実施形態において、赤外線センサー14によって人であると判定される反射赤外光の強度(閾値)は、人物P1の検出前と検出後とにおいて異なってもよい。
【0069】
例えば、人物P1の検出後、人物P1の位置及び角度等により、反射赤外光の強度が下がり、人物P1を物と誤判定する可能性がある。これを防ぐため、赤外線センサー14は、人物P1を検出すると、反射赤外光の閾値を引き下げる。
【0070】
これにより、人物P1の検出後においては、赤外線センサー14は、反射赤外光の強度が引き下げられた閾値を下回るまで、人物P1を人であると判定し続ける。従って、人物P1の検出後、人物P1を物と誤判定する可能性が低くなる。
【0071】
[警告音]
本実施形態において、検出装置10が人を検出すると、音出力部28が警告音を発してもよい。
【0072】
次に、
図6を参照して、本実施形態に係る安全監視システムにおいて出力される警告音について説明する。
図6は、検出装置10による人物P1の検出と、人物P1の距離に応じて表示部22に表示される画面及び音出力部28から出力される警告音を示す図である。
【0073】
図4に示した検出装置10による三角コーンR1の検出と同様、検出装置10が人物P1を検出すると、主制御装置30は、赤外線センサー14によって測定された人物P1までの距離を取得し、取得した距離に応じて、縁取り加工E1及び警告表示M1の色を決定する。
【0074】
例えば、作業車両100から、人物P1が距離L1より遠くであって距離L2より近くにいる場合、主制御装置30は、例えば「黄色」の警告表示M1をカメラ映像に付加するように表示部22を制御する。表示部22は、主制御装置30の制御により、「黄色」の警告表示M1が付加されたカメラ映像V2を表示する。
図6では、「黄色」をハッチングなしで示している。
【0075】
一方、例えば、作業車両100から、人物P1が距離L1より近くにいる場合、主制御装置30は、例えば、カメラ映像に「赤色」の縁取り加工E1を施し、更に「赤色」の警告表示M1を付加した縁取り画像V1を表示するように表示部22を制御する。
【0076】
また、主制御装置30は、人物P1が距離L1より近くにいる場合、警告音を出力するように、音出力部28を制御する。
【0077】
更に、主制御装置30は、検出装置10が検出した人物P1までの距離に応じて、警告音を変化させるよう音出力部28を制御する。例えば、
図6に示すように、主制御装置30は、検出装置10によって測定された人物P1までの距離が距離L1より近く、距離LSより遠い場合、断続音の警告音を出力するように、音出力部28を制御する。一方、主制御装置30は、人物P1までの距離が距離LSより近い場合、連続音の警告音を出力するように、音出力部28を制御する。
【0078】
本実施形態において、距離L1、L2、LSには、人物P1が作業車両100に近づく場合と、作業車両100から離れる場合とでヒステリシスが設けられる。言い換えると、例えば、カメラ映像V2に警告表示M1が付加されていない第1状態から、カメラ映像V2に警告表示M1が付加された第2状態に変化する距離と、第2状態から第1状態に変化する距離とが異なる。詳しくは、第2状態から第1状態に変化する距離が、第1状態から第2状態に変化する距離より長い。
【0079】
具体的には、例えば、距離L2が10mであって、距離L1が5mであって、距離LSが3mであるとする。例えば、赤外線センサー14が作業車両100から人物P1までの距離が10mを越えていると判定すると、表示部22に表示されるカメラ映像には、警告表示M1が付加されない。
【0080】
この状態において、人物P1が作業車両100に近づいて、赤外線センサー14が作業車両100から人物P1までの距離が10mであると判定すると、表示部22には、カメラ映像V2(警告表示M1が付加)が表示される。
【0081】
仮に、ヒステリシスが設けられない場合、この状態から人物P1が作業車両100から少しでも離れると、赤外線センサー14が作業車両100から人物P1までの距離が10mを越えていると判定して、表示部22には、警告表示M1が付加されないカメラ映像が表示される。また、更に少しでも人物P1が作業車両100に近づくと、表示部22には、カメラ映像V2(警告表示M1が付加)が表示される。
【0082】
このように、ヒステリシスを設けていないと、人物P1が距離L2の前後にいる場合、表示部22のカメラ映像が目まぐるしく変化し、操作者が作業車両100の周囲の状態を正確に把握できない恐れがある。
【0083】
そこで、作業車両100から10m以内にいる人物P1が、作業車両100から10mを越えて離れる場合、主制御装置30は、距離L2を11mに設定する。なお、距離L1、LSについても同様である。
【0084】
次に、
図7を参照して、本発明の実施形態に係る安全監視システム1Aについて説明する。
図7は、安全監視システム1Aが搭載された作業車両100を上方から見た図である。
【0085】
安全監視システム1Aは、検出装置10L、10B、10Rと、制御装置(主制御装置30)と、表示装置(表示部22)とを備える。検出装置10L、10B、10Rは、それぞれ、対応する方向の物体を検出する。具体的には、検出装置10Lは、例えば、上部旋回体200において、座席210の左側に設けられ、作業車両100の左側の状態を検出する。検出装置10Lは、作業車両100の左側を撮影するカメラ12Lと、赤外線センサー14Lとを有する。なお、検出装置10の有する複数の赤外線センサー14を、総称して赤外線センサー14Lと呼ぶ。カメラ12Lは、作業車両100の左側を撮影し、カメラ映像を生成する。赤外線センサー14Lは、作業車両100の左側に位置する三角コーンR1Lを検出し、三角コーンR1Lまでの距離を算出する。
【0086】
検出装置10Bは、例えば、上部旋回体200において、座席210の後方に設けられ、作業車両100の後方の状態を検出する。検出装置10Bは、作業車両100の後方を撮影するカメラ12Bと、赤外線センサー14Bとを有する。なお、検出装置10の有する複数の赤外線センサー14を、総称して赤外線センサー14Bと呼ぶ。カメラ12Bは、作業車両100の後方を撮影し、カメラ映像を生成する。赤外線センサー14Bは、作業車両100の後方に位置する三角コーンR1Bを検出し、三角コーンR1Bまでの距離を算出する。
【0087】
検出装置10Rは、例えば、上部旋回体200において、座席210の右側に設けられ、作業車両100の右側の状態を検出する。検出装置10Rは、作業車両100の右側を撮影するカメラ12Rと、赤外線センサー14Rとを有する。なお、検出装置10の有する複数の赤外線センサー14を、総称して赤外線センサー14Rと呼ぶ。カメラ12Rは、作業車両100の右側を撮影し、カメラ映像を生成する。赤外線センサー14Rは、作業車両100の右側に位置する三角コーンR1Rを検出し、三角コーンR1Rまでの距離を算出する。
【0088】
検出装置10L、10B、10Rのそれぞれの動作は、安全監視システム1における検出装置10の動作と同じである。
【0089】
表示部22は、主制御装置30の制御により、カメラ12L、12B、12Rによってそれぞれ撮影された方向ごとのカメラ映像を1画面に表示する。
【0090】
具体的には、主制御装置30は、カメラ12L、12B、12Rによってそれぞれ撮影されたカメラ映像を取得し、取得した各カメラ映像を1画面の中に並べて表示するよう表示部22を制御する。例えば、カメラ12Lによって撮影されたカメラ映像が表示部22における左上に表示され、カメラ12Bによって撮影されたカメラ映像が表示部22における下側中央に表示され、カメラ12Rによって撮影されたカメラ映像が表示部22における右上に表示される。
【0091】
また、主制御装置30は、検出装置10L、10B、10Rがそれぞれ三角コーンR1L、R1B、R1Rを検出した場合、三角コーンR1L、R1B、R1Rまでの距離に応じて、対応するカメラ映像に縁取り加工を施したり、警告表示を付加する。
【0092】
具体的には、例えば、検出装置10Lが三角コーンR1Lを検出し、三角コーンR1Lまでの距離が距離L1以上であって距離L2未満(
図4)である場合、主制御装置30は、カメラ12Lによって撮影されたカメラ映像に「黄色」の警告表示M1Lが付加されたカメラ映像V2Lを表示部22における左上に表示するように表示部22を制御する。
【0093】
また、例えば、検出装置10Bが三角コーンR1Bを検出し、三角コーンR1Bまでの距離が距離L1未満(
図4)である場合、主制御装置30は、例えば、カメラ12Bによって撮影されたカメラ映像に「赤色」の縁取り加工E1Bを施し、更に「赤色」の警告表示M1Bを付加した縁取り画像V1Bを表示部22における下側中央に表示するように表示部22を制御する。
【0094】
また、例えば、検出装置10Rが三角コーンR1Rを検出し、三角コーンR1Rまでの距離が距離L1以上であって距離L2未満(
図4)である場合、主制御装置30は、カメラ12Rによって撮影されたカメラ映像に「黄色」の警告表示M1Rが付加されたカメラ映像V2Rを表示部22における右上に表示するように表示部22を制御する。
【0095】
このように、複数の方向の物体を検出し、複数の方向の物体を1つの画面で確認可能にすることで、操作者が周囲を確認することがより簡単になる。
【0096】
次に、
図8及び
図9を参照して、本発明の実施形態に係る安全監視システム1Bについて説明する。
図8は、安全監視システム1Bを示す図である。
図9は、安全監視システム1Bを示すブロック図である。安全監視システム1Bは、検出装置10と、制御装置301と、表示装置201とを備える。
【0097】
検出装置10は、例えば、作業車両100に搭載される。作業車両100及び検出装置10は、安全監視システム1が搭載された作業車両100及び検出装置10と同じである。
【0098】
制御装置301は、例えば、作業車両100が使用される建設現場から離れた場所に設置されたサーバー、デスクトップ型パーソナルコンピューター又はノート型パーソナルコンピューター等である。制御装置301は、制御部321と、記憶部341とを備える。制御部321は、CPUのようなプロセッサーを含む。記憶部341は、記憶装置を含み、データ及びコンピュータープログラムを記憶する。記憶部341のハードウェア構成は、半導体メモリーのような主記憶装置と、半導体メモリー、ソリッドステートドライブ、及び/又は、ハードディスクドライブのような補助記憶装置とを含む。記憶部341は、リムーバブルメディアを含んでいてもよい。
【0099】
表示装置201は、例えば、制御装置301と同じ場所又は制御装置301と異なる場所に設置された液晶ディスプレイ、又は、有機エレクトロルミネッセンスディスプレイ等である。表示装置201は、表示部221と、制御部266と、記憶部267とを備える。
【0100】
表示部221は、例えば、作業車両100に設けられたカメラ12によって撮影されたカメラ映像を含む作業車両100に関する各種情報を表示する。
【0101】
記憶部267は、記憶装置を含み、データ及びコンピュータープログラムを記憶する。具体的には、記憶部263は、半導体メモリーのような主記憶装置と、半導体メモリー、ソリッドステートドライブ、及び/又は、ハードディスクドライブのような補助記憶装置とを含む。記憶部267は、リムーバブルメディアを含んでいてもよい。
【0102】
制御部266は、CPU(Central Processing Unit)のようなプロセッサーを含む。制御部266は、表示制御部268を備える。具体的には、制御部266のプロセッサーは、記憶部267の記憶装置に記憶されたコンピュータープログラムを実行することで、表示制御部268として機能する。表示制御部268は、表示部221を制御する。
【0103】
作業車両100、制御装置301及び表示装置201は、例えば、有線LAN(Local Area Network)及び無線LAN等のネットワークN1を介して、互いに情報を送受信する。
【0104】
例えば、作業車両100の主制御装置30は、検出装置10(カメラ12)によって撮影されたカメラ映像を示すカメラ映像データと、検出装置10(赤外線センサー14)の検出結果及び検出装置10(赤外線センサー14)が測定した物体までの距離とを制御装置301に送信する。
図8に示す例では、検出装置10が三角コーンR1を検出し、三角コーンR1までの距離が距離L1未満(
図4)であるとする。
【0105】
制御装置301の制御部321は、主制御装置30から送信されたカメラ映像データと、検出装置10(赤外線センサー14)の検出結果及び検出装置10(赤外線センサー14)が測定した物体までの距離とを受信する。
【0106】
制御部321は、受信したカメラ映像データと、検出装置10(赤外線センサー14)の検出結果及び検出装置10(赤外線センサー14)が測定した物体までの距離とに基づいて、カメラ映像データの示すカメラ映像に縁取り加工を施したり、警告表示を付加した加工カメラ映像データを生成する。
図8に示す例では、制御部321は、例えば、受信したカメラ映像に「赤色」の縁取り加工E3を施し、更に「赤色」の警告表示M3を付加した縁取り画像V3を含む加工カメラ映像データVDを生成する。
【0107】
制御部321は、生成した加工カメラ映像データVDを表示装置201に送信する。
【0108】
表示装置201の表示制御部268は、制御装置301から送信された加工カメラ映像データVDを受信する。表示制御部268は、受信した加工カメラ映像データVDの示すカメラ映像を表示するように表示部221を制御する。
図8に示す例では、表示制御部268は、縁取り画像V3を表示するように表示部221を制御する。
【0109】
このように、作業車両100が使用される建設現場から離れた場所で、作業車両100の周囲の状態の変化に気づきやすくすることで、建設現場において、より確実に安全監視をすることができる。
【0110】
なお、安全監視システム1Bにおける作業車両100は、例えば、
図7に示す安全監視システム1Aが搭載された作業車両100であってもよい。この場合、表示装置201には、
図7に示す表示部22に表示される画面と同じ画面が表示される。
【0111】
次に、
図10を参照して、本発明の実施形態に係る安全監視システム1Cについて説明する。
図10は、安全監視システム1Cを示す図である。安全監視システム1Bは、複数の検出装置10L、10B、10Rと、制御装置301と、複数の表示装置201L、201B、201Rとを備える。検出装置10L、10B、10Rは、
図7に示す安全監視システム1Aが搭載された作業車両100における検出装置10L、10B、10Rと同じである。制御装置301は、
図8及び
図9に示す制御装置301と同じである。表示装置201L、201B、201Rの各々は、
図8及び
図9に示す表示装置201と同じである。
【0112】
表示装置201L、201B、201Rは、それぞれ、作業車両100に設けられた対応するカメラ12によって撮影されたカメラ映像を含む作業車両100に関する各種情報を表示する。具体的には、表示装置201Lは、カメラ12Lによって撮影されたカメラ映像を含む作業車両100に関する各種情報を表示する。表示装置201Bは、カメラ12Bによって撮影されたカメラ映像を含む作業車両100に関する各種情報を表示する。表示装置201Rは、カメラ12Rによって撮影されたカメラ映像を含む作業車両100に関する各種情報を表示する。
【0113】
例えば、作業車両100の主制御装置30は、各検出装置10(カメラ12L、12B、12R)によって撮影されたカメラ映像を示すカメラ映像データと、各検出装置10(赤外線センサー14L、14B、14R)のそれぞれの検出結果及び各検出装置10(赤外線センサー14L、14B、14R)がそれぞれ測定した物体までの距離とを制御装置301に送信する。
図10に示す例では、検出装置10Lが三角コーンR1Lを検出し、三角コーンR1Lまでの距離が距離L1以上であって距離L2未満(
図4)であり、検出装置10Bが三角コーンR1Bを検出し、三角コーンR1Bまでの距離が距離L1未満(
図4)であり、検出装置10Rが三角コーンR1Rを検出し、三角コーンR1Rまでの距離が距離L1未満(
図4)であるとする。
【0114】
制御装置301の制御部321は、主制御装置30から送信された各カメラ映像データと、各検出装置10(赤外線センサー14L、14B、14R)のそれぞれの検出結果及び各検出装置10(赤外線センサー14L、14B、14R)がそれぞれ測定した物体までの距離とを受信する。
【0115】
制御部321は、受信した各カメラ映像データに、対応する検出装置10(赤外線センサー14)の検出結果及び検出装置10(赤外線センサー14)が測定した物体までの距離に基づいて、対応するカメラ映像データの示すカメラ映像に縁取り加工を施したり、警告表示を付加した加工カメラ映像データを生成する。
【0116】
図10に示す例では、制御部321は、例えば、受信した各カメラ映像データのうち、カメラ12Lによって撮影されたカメラ映像に「黄色」の警告表示M3Lを付加したカメラ映像V3Lを含む加工カメラ映像データVDLを生成する。
【0117】
また、制御部321は、例えば、受信した各カメラ映像データのうち、カメラ12Bによって撮影されたカメラ映像に「赤色」の縁取り加工E3Bを施し、更に「赤色」の警告表示M3Bを付加した縁取り画像V3Bを含む加工カメラ映像データVDBを生成する。
【0118】
また、制御部321は、受信した各カメラ映像データのうち、カメラ12Rによって撮影されたカメラ映像に「黄色」の警告表示M3Rを付加したカメラ映像V3Rを含む加工カメラ映像データVDRを生成する。
【0119】
制御部321は、生成した各加工カメラ映像データを、それぞれ対応する表示装置201L、201B、201Rに送信する。
【0120】
表示装置201Lの表示制御部268は、制御装置301から送信された加工カメラ映像データVDLを受信する。表示制御部268は、受信した加工カメラ映像データVDLの示すカメラ映像を表示するように表示部221を制御する。
図10に示す例では、表示制御部268は、カメラ映像V3Lを表示するように表示部221を制御する。
【0121】
表示装置201Bの表示制御部268は、制御装置301から送信された加工カメラ映像データVDBを受信する。表示制御部268は、受信した加工カメラ映像データVDBの示すカメラ映像を表示するように表示部221を制御する。
図10に示す例では、表示制御部268は、縁取り画像V3Bを表示するように表示部221を制御する。
【0122】
表示装置201Rの表示制御部268は、制御装置301から送信された加工カメラ映像データVDRを受信する。表示制御部268は、受信した加工カメラ映像データVDRの示すカメラ映像を表示するように表示部221を制御する。
図10に示す例では、表示制御部268は、カメラ映像V3Rを表示するように表示部221を制御する。
【0123】
このように、作業車両100が使用される建設現場から離れた場所で、複数の表示装置を用いて作業車両100の周囲を確認可能にすることで、例えば、作業車両100が遠隔操作される場合等において、より確実に安全監視をすることができる。
【0124】
次に、
図11を参照して、本発明の実施形態に係る安全監視方法について説明する。
図11は、本発明の実施形態に係る安全監視方法を示すフローチャートである。
【0125】
検出装置10(カメラ12)は、周囲のカメラ映像を撮影する(ステップS11)。
【0126】
検出装置10(赤外線センサー14)は、周囲の物体を検出する(ステップS12)。検出装置10が周囲の物体を検出しない場合(ステップS12でNo)、表示部22は、カメラ12によって撮影されたカメラ映像を表示する(ステップS22)。
【0127】
検出装置10が周囲の物体を検出した場合(ステップS12でYes)、赤外線センサー14は、検出した物体までの距離Lを測定する(ステップS13)。
【0128】
主制御装置30は、赤外線センサー14が測定した距離Lに応じて、カメラ映像に縁取り加工を施したり、警告表示を付加する。主制御装置30は、距離Lが距離L2(
図4)以上であるか否かを判定する(ステップS14)。
【0129】
距離Lが距離L2以上である場合(ステップS14でYes)、表示部22は、カメラ12によって撮影されたカメラ映像を表示する(ステップS22)。
【0130】
一方、距離Lが距離L2未満である場合(ステップS14でNo)、主制御装置30は、距離Lが距離L1(
図4)以上(かつ距離L2未満)であるか否かを判定する(ステップS15)。距離Lが距離L1(
図4)以上(かつ距離L2未満)である場合(ステップS15でYes)、主制御装置30は、例えば「黄色」の警告表示M1をカメラ映像に付加する(ステップS16)。表示部22は、「黄色」の警告表示M1が付加されたカメラ映像を表示する(ステップS22)。
【0131】
また、距離Lが距離L1未満である場合(ステップS15でNo)主制御装置30は、カメラ12によって撮影されたカメラ映像に「赤色」の縁取り加工E1を施し、更に「赤色」の警告表示M1を付加した縁取り画像V1を生成する(ステップS17)。
【0132】
更に、赤外線センサー14は、検出した物体からの反射赤外光の強度に基づいて、検出した物体が人であるか否かを判定する(ステップS18)。赤外線センサー14が検出した物体が人ではなく物である場合(ステップS18でNo)、表示部22は、縁取り画像V1を含むカメラ映像を表示する(ステップS22)。
【0133】
一方、赤外線センサー14が検出した物体が人である場合(ステップS18でYes)、主制御装置30は、距離Lが距離LS(
図6)以上(かつ距離L1未満)であるか否かを判定する(ステップS19)。
【0134】
距離Lが距離LS以上である場合(ステップS19でYes)、音出力部28は、断続音の警告音を出力する(ステップS20)。表示部22は、縁取り画像V1を含むカメラ映像を表示する(ステップS22)。
【0135】
一方、距離Lが距離LS未満である場合(ステップS19でNo)、音出力部28は、連続音の警告音を出力する(ステップS21)。表示部22は、縁取り画像V1を含むカメラ映像を表示する(ステップS22)。
【0136】
本実施形態において、赤外光を用いる赤外線センサー14によって物体が検出される構成としたが、これに限らず、例えば、カメラ映像を画像処理することで物体が検出される構成であってもよい。
【0137】
以上、図面(
図1~
図11)を参照しながら本発明の実施形態を説明した。但し、本発明は、上記の実施形態に限られるものではなく、その要旨を逸脱しない範囲で種々の態様において実施することが可能である。図面は、理解しやすくするために、それぞれの構成要素を主体に模式的に示しており、図示された各構成要素の厚み、長さ、個数等は、図面作成の都合上から実際とは異なる。また、上記の実施形態で示す各構成要素の材質や形状、寸法等は一例であって、特に限定されるものではなく、本発明の効果から実質的に逸脱しない範囲で種々の変更が可能である。
【産業上の利用可能性】
【0138】
本発明は、建設現場における建設機械及び作業車両等の分野に利用可能である。
【符号の説明】
【0139】
1、1A、1B、1C :安全監視システム
10、10B、10L、10R :検出装置
12、12B、12L、12R :カメラ
14、14A、14B、14C、14L、14R :赤外線センサー
20 :操作装置
22、221、221B、221L、221R :表示部
26、261 :表示制御装置
28 :音出力部
30 :主制御装置
32、266、321 :制御部
100 :作業車両
201、201B、201L、201R :表示装置
265、268 :表示制御部
301 :制御装置
E1、E1B、E3、E3B :縁取り加工
L、L1、L2、LA、LB、LC、LS :距離
M1、M1B、M1L、M1R、M3、M3B、M3L、M3R :警告表示
P1 :人物
R1、R1B、R1L、R1R :三角コーン
V1、V1B、V3、V3B :縁取り画像
V2、V2L、V2R、V3L、V3R :カメラ映像