(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-08-12
(45)【発行日】2022-08-22
(54)【発明の名称】作業機械のシステム及び方法
(51)【国際特許分類】
E02F 9/26 20060101AFI20220815BHJP
H04N 7/18 20060101ALI20220815BHJP
G01C 15/00 20060101ALI20220815BHJP
【FI】
E02F9/26 B
H04N7/18 J
G01C15/00 103A
(21)【出願番号】P 2019008902
(22)【出願日】2019-01-23
【審査請求日】2021-12-20
(73)【特許権者】
【識別番号】000001236
【氏名又は名称】株式会社小松製作所
(74)【代理人】
【識別番号】110000202
【氏名又は名称】新樹グローバル・アイピー特許業務法人
(72)【発明者】
【氏名】中沢 浩一
(72)【発明者】
【氏名】矢津田 修
【審査官】湯本 照基
(56)【参考文献】
【文献】特開2016-089389(JP,A)
【文献】特開2015-092401(JP,A)
【文献】特開2014-161087(JP,A)
【文献】特開2017-125790(JP,A)
【文献】特開2018-049014(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
E02F 9/26
H04N 7/18
G01C 15/00
(57)【特許請求の範囲】
【請求項1】
作業機を含む作業機械と、
前記作業機械に取り付けられ、レーザーと光検出器とを含み、前記作業機の少なくとも一部までの距離と、前記作業機械の周辺の対象までの距離とを計測するライダーと、
前記ライダーが計測した距離から、前記作業機の少なくとも一部と、前記作業機械の周辺の対象との位置を示す位置データを取得し、前記位置データに基づいて、前記作業機の少なくとも一部と前記作業機械の周辺の対象との位置を示す画像を生成するプロセッサと、
前記プロセッサからの信号に応じて前記画像を表示するディスプレイと、
を備えるシステム。
【請求項2】
前記作業機械は、前記作業機を支持する車体をさらに備え、
前記ライダーは、前記車体よりも前記作業機側に配置される、
請求項1に記載のシステム。
【請求項3】
前記ライダーは、回転軸を含み、前記回転軸回りに回転可能に設けられる、
請求項1に記載のシステム。
【請求項4】
前記回転軸は、前記作業機械の左右方向に沿って配置される、
請求項3に記載のシステム。
【請求項5】
前記画像は、前記作業機における複数の計測点と、前記作業機械の周辺の対象における複数の計測点とを示す点群で表される、
請求項1に記載のシステム。
【請求項6】
前記作業機は、ブレードを含み、
前記ライダーの計測範囲は、前記ブレードの上端を含む、
請求項1に記載のシステム。
【請求項7】
前記作業機は、ブレードを含み、
前記ライダーの計測範囲は、前記ブレードの少なくとも一部と、前記ブレードの前方に位置する対象とを含む、
請求項1に記載のシステム。
【請求項8】
前記作業機は、ブレードを含み、
前記作業機械は、前記ブレードを支持する車体をさらに備え、
前記ライダーの計測範囲は、前記車体の前面の少なくとも一部と、前記ブレードの少なくとも一部とを含む、
請求項1に記載のシステム。
【請求項9】
作業機を含む作業機械の周辺の地形、及び、前記作業機の位置をディスプレイに表示するためにプロセッサによって実行される方法であって、
ライダーによって、前記作業機の少なくとも一部までの距離と、前記作業機械の周辺の対象までの距離とを計測することと、
前記ライダーが計測した距離から、前記作業機の少なくとも一部と、前記作業機械の周辺の対象との位置を示す位置データを取得することと、
前記位置データに基づいて、前記作業機の少なくとも一部と前記作業機械の周辺の対象との位置を示す画像を生成することと、
前記画像を前記ディスプレイに表示すること、
を備える方法。
【請求項10】
前記作業機械は、前記作業機を支持する車体をさらに備え、
前記ライダーは、前記車体よりも前記作業機側に配置される、
請求項9に記載の方法。
【請求項11】
前記複数の計測点の位置を計測することは、前記ライダーを回転させながら前記作業機の少なくとも一部までの距離と、前記作業機械の周辺の対象までの距離とを計測することを含む、
請求項9に記載の方法。
【請求項12】
前記複数の計測点の位置を計測することは、前記作業機械の左右方向に沿う回転軸回りに前記ライダーを回転させながら、前記作業機の少なくとも一部までの距離と、前記作業機械の周辺の対象までの距離とを計測することを含む、
請求項9に記載の方法。
【請求項13】
前記画像は、前記作業機における複数の計測点と、前記作業機械の周辺の対象における複数の計測点とを示す点群で表される、
請求項9に記載の方法。
【請求項14】
前記作業機は、ブレードを含み、
前記ライダーの計測範囲は、前記ブレードの上端を含む、
請求項9に記載の方法。
【請求項15】
前記作業機は、ブレードを含み、
前記ライダーの計測範囲は、前記ブレードの少なくとも一部と、前記ブレードの前方に位置する対象とを含む、
請求項9に記載の方法。
【請求項16】
前記作業機は、ブレードを含み、
前記作業機械は、前記ブレードを支持する車体をさらに備え、
前記ライダーの計測範囲は、前記車体の前面の少なくとも一部と、前記ブレードの少なくとも一部とを含む、
請求項9に記載の方法。
【請求項17】
ライダーが計測した前記作業機の少なくとも一部までの距離と、前記作業機械の周辺の対象までの距離とを取得し、前記ライダーが計測した距離から、前記作業機の少なくとも一部と、前記作業機械の周辺の対象との位置を示す位置データを取得し、前記位置データに基づいて、前記作業機の少なくとも一部と前記作業機械の周辺の対象との位置を示す画像を生成するプロセッサと、
前記プロセッサからの信号に応じて前記画像を表示するディスプレイと、
を備えるシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、作業機械のシステム及び方法に関する。
【背景技術】
【0002】
従来、カメラによって撮影された作業機械の画像をディスプレイに表示する技術が知られている。例えば特許文献1に示されているように、作業機械に取り付けられた車載カメラによって、作業機械を含む作業機械の前後左右の視野が撮影され、ディスプレイに表示される。また、特許文献1では、作業機械の移動にあわせて自動的に移動するサイトカメラが設けられている。サイトカメラは、作業機械から離れた位置において、作業現場のより広い視野を撮影する。
【先行技術文献】
【特許文献】
【0003】
【文献】米国特許出願公開2014/0240506号
【発明の概要】
【発明が解決しようとする課題】
【0004】
上述した技術では、車載カメラによって撮影された画像がそのままディスプレイに表示される。その場合、起伏の大きい地形など、地形によっては、ディスプレイに表示される画像からは、作業機械と地形との位置関係を正確に認識することが困難なことがある。
【0005】
また、上述した技術のように、サイトカメラを用いれば作業現場のより広い視野を撮影することができる。しかし、その場合、サイトカメラを精度良く制御する必要があり、システムが複雑化する、或いは、システムのコストが増大するという問題がある。
【0006】
本開示の目的は、作業機械と作業機械の周辺の対象との位置関係を容易且つ精度良く認識することができるシステム及び方法を提供することにある。
【課題を解決するための手段】
【0007】
第1の態様に係るシステムは、作業機械と、ライダーと、プロセッサと、ディスプレイとを含む。作業機械は、作業機を含む。ライダーは、作業機械に取り付けられ、レーザーと光検出器とを含む。ライダーは、作業機の少なくとも一部までの距離と、作業機械の周辺の対象までの距離とを計測する。プロセッサは、ライダーが計測した距離から、位置データを取得する。位置データは、作業機の少なくとも一部と、作業機械の周辺の対象との位置を示す。プロセッサは、位置データに基づいて、作業機の少なくとも一部と作業機械の周辺の対象との位置を示す画像を生成する。ディスプレイは、プロセッサからの信号に応じて画像を表示する。
【0008】
第2の態様に係る方法は、作業機を含む作業機械の周辺の地形、及び、作業機の位置をディスプレイに表示するためにプロセッサによって実行される方法である。当該方法は、以下の処理を含む。第1の処理は、ライダーによって、作業機の少なくとも一部までの距離と、作業機械の周辺の対象までの距離とを計測することである。第2の処理は、ライダーが計測した距離から、位置データを取得することである。位置データは、作業機の少なくとも一部と、作業機械の周辺の対象との位置を示す。第3の処理は、位置データに基づいて、作業機の少なくとも一部と作業機械の周辺の対象との位置を示す画像を生成することである。第4の処理は、画像をディスプレイに表示することである。
【0009】
第3の態様に係るシステムは、プロセッサとディスプレイとを備える。プロセッサは、ライダーが計測した作業機の少なくとも一部までの距離と、作業機械の周辺の対象までの距離とを取得する。プロセッサは、ライダーが計測した距離から、位置データを取得する。位置データは、作業機の少なくとも一部と、作業機械の周辺の対象との位置を示す。プロセッサは、位置データに基づいて、作業機の少なくとも一部と作業機械の周辺の対象との位置を示す画像を生成する。ディスプレイは、プロセッサからの信号に応じて画像を表示する
【発明の効果】
【0010】
本開示では、ライダーが計測した距離から位置データが取得される。そして、位置データに基づいて、画像が生成されてディスプレイに表示される。画像は、作業機の少なくとも一部と作業機械の周辺の対象との位置を示す。そのため、作業機械と作業機械の周辺の対象との位置関係を容易且つ精度良く認識することができる。
【図面の簡単な説明】
【0011】
【
図1】実施形態に係る作業機械を示す側面図である。
【
図2】実施形態に係るシステムの構成を示すブロック図である。
【
図6】コントローラによって実行される処理を示すフローチャートである。
【
図8】変形例に係るシステムの構成を示すブロック図である。
【発明を実施するための形態】
【0012】
以下、図面を参照して、実施形態に係る作業機械のシステムについて説明する。
図1は、実施形態に係る作業機械1を示す側面図である。本実施形態において、作業機械1はブルドーザである。作業機械1は、車体2と、作業機3と、走行装置4とを含む。
【0013】
車体2は、エンジン室11を含む。エンジン室11の後方には、運転室12が配置されている。車体2の後部には、リッパ装置5が取り付けられている。走行装置4は、作業機械1を走行させるための装置である。走行装置4は、車体2の左右の側方に配置される一対の履帯13を含む。履帯13が駆動されることにより作業機械1が走行する。
【0014】
作業機3は、車体2の前方に配置されている。作業機3は、掘削、運土、或いは整地などの作業に用いられる。作業機3は、ブレード14と、リフトシリンダ15と、チルトシリンダ16と、アーム17とを有する。ブレード14は、アーム17を介して車体2に支持されている。ブレード14は、上下方向に動作可能に設けられている。チルトシリンダ16とリフトシリンダ15とは、後述する油圧ポンプ22から吐出された作動油によって駆動され、ブレード14の姿勢を変更する。
【0015】
図2は、実施形態に係るシステム100の構成を示すブロック図である。
図2に示すように、作業機械1は、エンジン21と、油圧ポンプ22と、動力伝達装置23と、制御弁24とを含む。エンジン21と、油圧ポンプ22と、動力伝達装置23とは、エンジン室11に配置されている。油圧ポンプ22は、エンジン21によって駆動され、作動油を吐出する。油圧ポンプ22から吐出された作動油は、リフトシリンダ15及びチルトシリンダ16に供給される。なお、
図2では、1つの油圧ポンプ22が図示されているが、複数の油圧ポンプが設けられてもよい。
【0016】
動力伝達装置23は、エンジン21の駆動力を走行装置4に伝達する。動力伝達装置23は、例えば、HST(Hydro Static Transmission)であってもよい。或いは、動力伝達装置23は、例えば、トルクコンバーター、或いは複数の変速ギアを有するトランスミッションであってもよい。
【0017】
制御弁24は、比例制御弁であり、入力される指令信号に応じて制御される。制御弁24は、リフトシリンダ15及びチルトシリンダ16などの油圧アクチュエータと、油圧ポンプ22との間に配置される。制御弁24は、油圧ポンプ22からリフトシリンダ15及びチルトシリンダ16に供給される作動油の流量を制御する。なお、制御弁24は、圧力比例制御弁であってもよい。或いは、制御弁24は、電磁比例制御弁であってもよい。
【0018】
システム100は、第1コントローラ31と、第2コントローラ32と、入力装置33と、通信装置34,35と、ディスプレイ36とを含む。第1コントローラ31と通信装置34とは、作業機械1に搭載されている。第2コントローラ32と、入力装置33と、通信装置34,35と、ディスプレイ36とは、作業機械1の外部に配置されている。例えば、第2コントローラ32と、入力装置33と、通信装置35と、ディスプレイ36とは、作業現場から離れたコントロールセンタ内に配置される。作業機械1は、作業機械1の外部の入力装置33によって遠隔操縦可能である。
【0019】
第1コントローラ31と第2コントローラ32とは、作業機械1を制御するようにプログラムされている。第1コントローラ31は、メモリ311とプロセッサ312とを含む。メモリ311は、例えばRAMなどの揮発性メモリと、ROM等の不揮発性メモリとを含む。メモリ311は、作業機械1を制御するためのプログラム及びデータを記憶している。プロセッサ312は、例えばCPU(Central Processing Unit)であり、プログラムに従って、作業機械1を制御するための処理を実行する。第1コントローラ31は、走行装置4、或いは動力伝達装置23を制御することで、作業機械1を走行させる。第1コントローラ31は、制御弁24を制御することで、作業機3を動作させる。
【0020】
第2コントローラ32は、メモリ321とプロセッサ322とを含む。メモリ321は、例えばRAMなどの揮発性メモリと、ROM等の不揮発性メモリとを含む。メモリ321は、作業機械1を制御するためのプログラム及びデータを記憶している。プロセッサ322は、例えばCPU(Central Processing Unit)であり、プログラムに従って、作業機械1を制御するための処理を実行する。第2コントローラ32は、入力装置33から操作信号を受信する。また、第2コントローラ32は、ディスプレイ36に信号を出力することで、後述する画像をディスプレイ36に表示させる。
【0021】
入力装置33は、オペレータによる操作を受け付け、操作に応じた操作信号を出力する。入力装置33は、第2コントローラ32に操作信号を出力する。入力装置33は、走行装置4及び/又は作業機3を操作するための操作レバー、ペダル、或いはスイッチ等の操作子を含む。入力装置33は、タッチパネルを含んでもよい。入力装置33の操作に応じて、作業機械1の前進及び後進などの走行が制御される。また、入力装置33の操作に応じて、作業機3の上昇及び下降などの動作が制御される。
【0022】
ディスプレイ36は、例えばCRT、LCD或いはOELDである。ただし、ディスプレイ36はこれらのディスプレイに限らず、他の種類のディスプレイであってもよい。ディスプレイ36は、第2コントローラ32からの信号に基づいて画像を表示する。
【0023】
第2コントローラ32は、第1コントローラ31と、通信装置34,35を介して無線により通信可能である。第2コントローラ32は、入力装置33からの操作信号を第1コントローラ31に送信する。第1コントローラ31は、操作信号に応じて、走行装置4及び/又は作業機3を制御する。
【0024】
システム100は、位置センサ36とライダー(Lidar,Light Detection and Ranging)37とを含む。位置センサ36とライダー37とは、作業機械1に搭載されている。位置センサ36は、GNSS(Global Navigation Satellite System)レシーバ38とIMU39とを含む。GNSSレシーバ38は、例えばGPS(Global Positioning System)用の受信機である。GNSSレシーバ38は、衛星より測位信号を受信し、測位信号により作業機械1の位置座標を示す車体位置データを取得する。第1コントローラ31は、GNSSレシーバ38から車体位置データを取得する。
【0025】
IMU39は、慣性計測装置(Inertial Measurement Unit)である。IMU39は、傾斜角データを取得する。傾斜角データは、車両前後方向の水平に対する角度(ピッチ角)、および車両横方向の水平に対する角度(ロール角)を含む。第1コントローラ31は、IMU39から傾斜角データを取得する。
【0026】
ライダー37は、作業機3の少なくとも一部、及び、作業機械1の周辺の対象の3次元形状を測定する。
図3は、作業機械1及びライダー37の拡大側面図である。
図4は、作業機械1及びライダー37の拡大正面図である。
図3及び
図4に示すように、ライダー37は、支持部材18を介して、車体2に取り付けられている。支持部材18は、車体2に取り付けられている、支持部材18は、車体2から、上方且つ前方に延びている。
【0027】
図5は、ライダー37の構成を示す模式図である。
図5に示すように、ライダー37は、取付部41と回転ヘッド42とを含む。取付部41は、支持部材18に取り付けられている。回転ヘッド42は、回転軸Ax1を含み、取付部41に対して回転軸Ax1回りに回転可能に支持されている。回転軸Ax1は、水平方向に沿って配置されている。回転軸Ax1は、作業機械1の左右方向に沿って配置されている。
【0028】
ライダー37は、モータ43と、レーザー44と、光検出器45とを含む。モータ43は、回転ヘッド42を回転軸Ax1回りに回転させる。レーザー44は、回転ヘッド42に設けられる。レーザー44は、レーザーダイオードなどの複数の発光素子441を含む。複数の発光素子441は、回転軸Ax1方向に並んで配置されている。なお、
図5では、複数の発光素子441の一部のみに符号441が付されている。
【0029】
光検出器45は、例えばフォトダイオード等の複数の受光素子451を含む。ライダー37は、レーザー44からレーザー光を照射して、光検出器45において、その反射光を検出する。それにより、ライダー37は、ライダー37から対象の計測点までの距離を測定する。なお、
図5では、複数の受光素子451の一部のみに符号451が付されている。
【0030】
ライダー37は、回転軸Ax1回りにレーザー44を回転させながら、所定周期で複数の計測点の位置の測定を行う。従って、ライダー37は、一定の回転角ごとに、計測点までの距離を測定する。ライダー37は、計測点データを出力する。計測点データは、各計測点について、どの素子によって測定されたかという情報と、どの回転角で測定されたかという情報、及び、各素子の位置関係の情報とを含む。
【0031】
図3に示すように、ライダー37は、作業機械1の前後方向において、車体2よりもブレード14側に配置される。ライダー37は、車体2の前面2aよりも前方に配置される。ライダー37は、作業機械1の左右方向に延びる回転軸Ax1回りに360度、回転ヘッド42を回転させて計測を行うことができる。従って、ライダー37の鉛直方向の視野角は、360度である。
図3及び
図4に示すように、ライダー37の水平方向の視野角は、ライダー37の鉛直方向の視野角よりも小さい。
【0032】
図3及び
図4では、ライダー37の計測範囲にハッチングを付している。
図3及び
図4に示すように、ライダー37の計測範囲は、ブレード14の少なくとも一部と、ブレード14の前方に位置する対象とを含む。また、ライダー37の計測範囲は、車体2の前面2aの少なくとも一部を含む。詳細には、ライダー37の計測範囲は、ブレード14の上端141を含む。ライダー37の計測範囲は、ブレード14の下端142を含む。ライダー37は、ブレード14における複数の計測点までの距離を計測する。また、ライダー37は、ブレード14の前方の対象における複数の計測点までの距離を計測する。
【0033】
本実施形態では、ライダー37が計測した計測点の位置に基づいて、ブレード14と、ブレード14の前方の対象とを示す画像が生成されて、ディスプレイ36に表示される。以下、画像を生成するために、第1コントローラ31と第2コントローラ32とによって実行される処理を説明する。
図6は、第1コントローラ31と第2コントローラ32とによって実行される処理を示すフローチャートである。
【0034】
図6に示すように、ステップS101では、第1コントローラ31は、計測点データを取得する。ここでは、第1コントローラ31は、回転ヘッド42を回転軸Ax1回りに回転させながら、ライダー37によって複数の計測点までの距離を測定する。それにより、第1コントローラ31は、計測点データを取得する。計測点データは、ブレード14と、ブレード14の前方の地形とに含まれる複数の計測点までの距離を含む。
【0035】
ステップS102では、第2コントローラ32は、位置データを取得する。ここでは、第2コントローラ32は、第1コントローラ31から計測点データを受信する。第2コントローラ32は、ライダー37と作業機械1との位置関係を示す情報を有している。第2コントローラ32は、計測点データから、ブレード14と、ブレード14の前方の地形を示す位置データを算出して取得する。なお、第2コントローラ32に代えて、第1コントローラ31が計測点データから位置データを算出して取得してもよい。その場合、第2コントローラ32は、第1コントローラ31から位置データを受信してもよい。
【0036】
ステップS103では、第2コントローラ32は、位置データに基づいて、ブレード14と、ブレード14の前方の対象とを示す画像50を生成する。
図7は、画像50の一例を示す図である。
図7に示すように、画像50は、複数の計測点を示す点群で表されている。画像50は、ブレード14と、ブレード14の前方の地形200を含む。また、画像50は、車体2の前面2a及び支持部材18を含む。なお、
図7では、画像50は、作業機械1及びその周辺を作業機械1の左前方の視点から見た画像である。しかし、第1コントローラ31、或いは第2コントローラ32は、画像50の視点を他の方向に切り換えることができる。
【0037】
ステップS104では、第2コントローラ32は、画像50を示す信号をディスプレイ36に出力する。それにより、ディスプレイ36は画像50を表示する。なお、画像50は、リアルタイムに更新され、動画として表示される。従って、作業機械1の走行中、或いは作業中に、作業機械1の周辺の変化に応じて画像50が変化して表示される。
【0038】
以上説明した本実施形態に係るシステム100では、ライダー37が計測した複数の計測点までの距離から、位置データが取得される。そして、位置データに基づいて、画像50が生成されてディスプレイ36に表示される。画像50は、作業機3の少なくとも一部と作業機械1の周辺の対象との位置を示す。そのため、ユーザーは、画像50により、作業機械1と作業機械1の周辺の対象との位置関係を容易且つ精度良く認識することができる。
【0039】
以上、本開示の実施形態について説明したが、本発明はこれらに限定されるものではなく、本発明の趣旨を逸脱しない限りにおいて種々の変更が可能である。
【0040】
作業機械1は、ブルドーザに限らず、ホイールローダ、モータグレーダ、油圧ショベル等の他の車両であってもよい。作業機械1は、電動モータで駆動される車両であってもよい。運転室12は、作業機械1から省略されてもよい。
【0041】
作業機械1は、遠隔操作ではなく、運転室内で操作されてもよい。
図8は、変形例に係る作業機械1の構成を示す図である。
図8に示すように、作業機械1は、作業機械1に搭載されたコントローラ30を含んでもよい。コントローラ30は、メモリ301とプロセッサ302とを含んでもよい。コントローラ30は、上述した第1コントローラ31及び第2コントローラ32と同様の構成であるため、詳細な説明を省略する。コントローラ30は、上述したステップS101からS104の処理を実行してもよい。この場合、入力装置33は、運転室内に配置されてもよい。
【0042】
第1コントローラ31は、一体に限らず、複数のコントローラに分かれていてもよい。第2コントローラ32は、一体に限らず、複数のコントローラに分かれていてもよい。コントローラ30は、一体に限らず、複数のコントローラに分かれていてもよい。
【0043】
ライダー37の構造、及び/又は、配置は、上記の実施形態の位置に限らず、変更されてもよい。例えば、ライダー37の回転軸Ax1は、鉛直方向に沿って配置されてもよい。或いは、ライダー37は、回転不能であってもよい。ライダー37は、作業機械1の前方に限らず、作業機械1の後方、或いは側方など他の方向を測定してもよい。ライダー37が測定する作業機械1の周辺の対象は、地形200に限らず、他の作業機械、建物、或いは人などを含んでもよい。
【産業上の利用可能性】
【0044】
本開示では、作業機械と作業機械の周辺の対象との位置関係を、画像により、容易且つ精度良く認識することができる。
【符号の説明】
【0045】
1 作業機械
2 車体
3 作業機
14 ブレード
36 ディスプレイ
37 ライダー
44 レーザー
45 光検出器
312 プロセッサ
Ax1 回転軸