特許 6891087 作業車両、表示装置、および障害判定方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6891087

(24)【登録日】2021年5月28日

(45)【発行日】2021年6月18日

(54)【発明の名称】作業車両、表示装置、および障害判定方法

(51)【国際特許分類】

   H04Q 9/00 20060101AFI20210607BHJP

   E02F 9/26 20060101ALI20210607BHJP

【ＦＩ】

   H04Q9/00 301B

   H04Q9/00 311K

   E02F9/26 A

【請求項の数】5

【全頁数】10

(21)【出願番号】特願2017-191293(P2017-191293)

(22)【出願日】2017年9月29日

(65)【公開番号】特開2019-68236(P2019-68236A)

(43)【公開日】2019年4月25日

【審査請求日】2020年3月2日

(73)【特許権者】

【識別番号】000001236

【氏名又は名称】株式会社小松製作所

(74)【代理人】

【識別番号】110001634

【氏名又は名称】特許業務法人 志賀国際特許事務所

(72)【発明者】

【氏名】皆川 真範

(72)【発明者】

【氏名】森永 淳

(72)【発明者】

【氏名】大山 康博

(72)【発明者】

【氏名】丁 ▲キ▼

【審査官】 木村 雅也

(56)【参考文献】

【文献】 特開２００８−１１１２６９（ＪＰ，Ａ）

【文献】 特開２０１２−１４２７８９（ＪＰ，Ａ）

【文献】 特開２０１６−０７２７２７（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｑ ９／００

Ｅ０２Ｆ ９／２６

(57)【特許請求の範囲】

【請求項1】

作業機と、
一定時間ごとに外観に既知の変化が生じる物体である変化物と、
前記作業機の少なくとも一部および前記変化物が写る範囲を撮像する撮像装置と、
前記撮像装置が撮像した画像を送信する送信装置と
を備える作業車両。

【請求項2】

外部から受信した操作信号に基づいて前記作業機を動作させる制御装置を備える
請求項１に記載の作業車両。

【請求項3】

前記変化物は、前記操作信号の受信の有無に関わらず前記変化が生じる
請求項２に記載の作業車両。

【請求項4】

作業機を備える作業車両を遠隔操作するための操作装置の操作の有無に関わらず少なくとも画像の送受信中に、前記作業車両に搭載された撮像装置が撮像した画像であって、前記作業機の少なくとも一部、および一定時間ごとに外観に既知の変化が生じる物体である変化物が写る画像を表示する表示装置。

【請求項5】

一定時間ごとに外観に既知の変化が生じる物体である変化物と、前記変化物が写る範囲を撮像する撮像装置とを備える作業車両から、前記撮像装置が撮像した画像を取得するステップと、
取得した前記画像が一定時間ごとに変化しているか否かを判定するステップと
を備える障害判定方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像を撮像し、当該画像を遠隔に送信する作業車両、表示装置、および障害判定方法に関する。

【背景技術】

【0002】

作業車両を遠隔操作する技術が知られている。作業車両を遠隔操作するためには、外部から作業車両の周囲の状況が認識可能である必要がある。そのため、遠隔操作される作業車両は、周囲の状況を撮像する撮像装置と撮像された画像を外部に送信する通信機を備える。これにより、オペレータは、作業車両から送信される画像を視認しながら操作を行うことができる。
なお、特許文献１には、回転灯をテレビカメラで撮影することで、コントロールルームのオペレータによる適切な制御を容易にする技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開平１０−２２６４８８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

オペレータは、画像の視認によって作業車両の状況を認識し、当該状況に基づいて作業車両を操作する。そのため、撮像装置、通信経路、および表示装置（画像系）のいずれかに障害が生じると、生産性が低下する可能性がある。
本発明の態様は、遠隔のオペレータに画像系の障害の有無を認識させることができる作業車両、表示装置、および障害判定方法を提供することを目的とする。

【課題を解決するための手段】

【0005】

本発明の第１の態様によれば、作業車両は、作業機と、一定時間ごとに外観に既知の変化が生じる物体である変化物と、前記作業機の少なくとも一部および前記変化物が写る範囲を撮像する撮像装置と、前記撮像装置が撮像した画像を送信する送信装置とを備える。

【発明の効果】

【0006】

上記態様によれば、作業車両は、遠隔のオペレータに画像系の障害の有無を認識させることができる。

【図面の簡単な説明】

【0007】

【図1】第１の実施形態に係る遠隔操作システムの構成を示す概略図である。

【図2】第１の実施形態に係る作業車両の外観図である。

【図3】第１の実施形態に係る作業車両の撮像装置が撮像する画像の例である。

【図4】第１の実施形態に係る遠隔運転室の表示装置に表示される画像の例である。

【図5】第１の実施形態に係る画像系の障害判定方法を示すフローチャートである。

【図6】他の実施形態に係る障害判定装置の構成を示す概略ブロック図である。

【発明を実施するための形態】

【0008】

〈第１の実施形態〉
《システム》
図１は、第１の実施形態に係る遠隔操作システムの構成を示す概略図である。
遠隔操作システム１は、遠隔操作により動作する作業車両１００と、遠隔運転室５００とを備える。作業車両１００は、作業現場（例えば、鉱山、採石場）に設けられる。遠隔運転室５００は、作業車両１００から離れた地点（例えば、市街、作業現場内）に設けられる。作業車両１００と遠隔運転室５００とは、インターネットなどのネットワークを介して接続される。
遠隔操作システム１は、遠隔運転室５００を用いて作業車両１００を操作するためのシステムである。

【0009】

作業車両１００は、遠隔運転室５００から受信する操作信号に従って動作する。
遠隔運転室５００は、オペレータの操作により、作業車両１００の操作を受け付け、操作信号を作業車両１００に送信する。

【0010】

《作業車両》
図２は、第１の実施形態に係る作業車両の外観図である。
第１の実施形態に係る作業車両１００は、油圧ショベルである。なお、他の実施形態に係る作業車両１００は、油圧ショベル以外の例えばホイールローダ、ブルドーザ等の作業車両であってもよい。
作業車両１００は、油圧により作動する作業機１１０と、作業機１１０を支持する旋回体１２０と、旋回体１２０を支持する走行体１３０とを備える。

【0011】

作業機１１０は、ブーム１１１と、アーム１１２と、バケット１１３を備える。

【0012】

ブーム１１１の基端部は、旋回体１２０にピンを介して取り付けられる。
アーム１１２は、ブーム１１１とバケット１１３とを連結する。アーム１１２の基端部は、ブーム１１１の先端部にピンを介して取り付けられる。
バケット１１３は、土砂などを掘削するための刃と掘削した土砂を搬送するための容器とを備える。バケット１１３の基端部は、アーム１１２の先端部にピンを介して取り付けられる。

【0013】

旋回体１２０には、運転室１２１が備えられる。
運転室１２１の前方には、モードランプ１２６が設けられる。モードランプ１２６は、複数のランプ（例えば、ＬＥＤ（Light Emitting Diode）など）を備え、作業車両１００の運転状態に応じて複数のランプのうち少なくとも１つが点滅する。各ランプの点滅のパターンはあらかじめ定められている。すなわち、ランプは、一定時間ごとに外観に既知の変化が生じる変化物の一例である。
モードランプ１２６は、例えば、運転席から外側に向かって左から順に、緑色に発行する第１ランプ、黄色に発行する第２ランプ、赤色に発行する第３ランプを備え、以下のような挙動をしてもよい。作業車両１００が有人運転状態である場合に、第１ランプが点滅する。作業車両１００が遠隔操作状態である場合に、第２ランプが点滅する。作業車両１００がエラー状態である場合に、第３ランプが点滅する。作業車両１００が有人運転と遠隔操作との切替中である場合に、すべてのランプが点滅する。作業車両１００がメンテナンス中である場合に、第１ランプと第２ランプとが点滅する。モードランプ１２６は、運転席５１０の前方のみならず、旋回体１２０の四隅に取り付けられていてもよい。また各ランプは、縦に並べて配置されてもよい。
これにより、作業車両１００の外にいる作業者は、作業車両１００の運転モードを認識することができる。作業車両１００が駆動している間、操作信号の有無に関わらず、常にモードランプ１２６の少なくとも１つのランプが点滅する。なお、モードランプ１２６が備えるランプは、光源の周りを回転する反射鏡によって光源が放つ光を反射させる回転灯であってもよい。

【0014】

図３は、第１の実施形態に係る作業車両の撮像装置が撮像する画像の例である。
運転室１２１の上部には、撮像装置１２２が設けられる。撮像装置１２２は、運転室１２１内の前方かつ上方に設置される。撮像装置１２２は、運転室１２１前面のフロントガラスを通して、運転室１２１の前方の画像（例えば、動画像）を撮像する。撮像装置１２２の例としては、例えばＣＣＤ（Charge Coupled Device）センサ、およびＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサを用いた撮像装置が挙げられる。撮像装置１２２は、作業機１１０、モードランプ１２６および運転室１２１の前方の作業対象が写る範囲を撮像する。つまり、撮像装置１２２が撮像する画像Ｐ１には、図３に示すように、作業機１１０、モードランプ１２６および運転室１２１の前方の作業対象範囲が写る。

【0015】

作業車両１００は、制御装置１２５を備える。
制御装置１２５は、図示しない画像符号化装置を備え、撮像装置１２２が撮像した画像を符号化する。制御装置１２５は、符号化された画像を、遠隔運転室５００に送信する。なお、画像符号化装置は、制御装置１２５と別個に設けられたものであってもよい。
制御装置１２５は、遠隔運転室５００から操作信号を受信する。制御装置１２５は、受信した操作信号に従って、作業機１１０、旋回体１２０、または走行体１３０を駆動させる。

【0016】

《遠隔運転室》
遠隔運転室５００は、運転席５１０、表示装置５２０、操作装置５３０、制御装置５４０を備える。
表示装置５２０は、運転席５１０の前方に配置される。表示装置５２０は、オペレータが運転席５１０に座ったときにオペレータの眼前に位置する。表示装置５２０は、図１に示すように、並べられたディスプレイ５２１、ディスプレイ５２２、ディスプレイ５２３、ディスプレイ５２４、ディスプレイ５２５によって構成される。なお、他の実施形態においては、表示装置５２０を構成するディスプレイの数はこれに限られない。例えば、表示装置５２０は１つのディスプレイによって構成されてもよい。また、表示装置５２０は、プロジェクタ等によって曲面や球面に画像を投影するものであってもよい。

【0017】

操作装置５３０は、運転席５１０の近傍に配置される。操作装置５３０は、オペレータが運転席５１０に座ったときにオペレータの操作可能な範囲内に位置する。操作装置５３０は、例えば電気式レバーおよび電気式ペダルを備える。

【0018】

図４は、第１の実施形態に係る遠隔運転室の表示装置に表示される画像の例である。
制御装置５４０は、作業車両１００から受信した画像のうち、撮像装置１２２が撮像した画像Ｐ１から、ディスプレイ５２１に表示させるための画像Ｐ１１、ディスプレイ５２２に表示させるための画像Ｐ１２、ディスプレイ５２３に表示させるための画像Ｐ１３、ディスプレイ５２４に表示させるための画像Ｐ１４、ディスプレイ５２５に表示させるための画像Ｐ１５をそれぞれ切り出す。このとき、制御装置５４０は、画像Ｐ１１から画像Ｐ１５の少なくとも１つにモードランプ１２６および作業機１１０の一部が写る部分が残るように切り出しを行う。図４に示す例では、制御装置５４０は、画像Ｐ１１にモードランプ１２６が写る部分が残るように切り出しを行う。

【0019】

制御装置５４０は、ディスプレイ５２１に画像Ｐ１１を表示させる。制御装置５４０は、ディスプレイ５２２に画像Ｐ１２を表示させる。制御装置５４０は、ディスプレイ５２３に画像Ｐ１３を表示させる。制御装置５４０は、ディスプレイ５２４に画像Ｐ１４を表示させる。制御装置５４０は、ディスプレイ５２５に画像Ｐ１５を表示させる。

【0020】

また、制御装置５４０は、図示しないバックカメラが撮像した画像や、車体情報（車体の傾斜状況など）を表す画像である画像Ｐ２を、画像Ｐ１１から画像Ｐ１５のいずれかに重畳して表示装置５２０の一部に表示させる。このとき、制御装置５４０は、撮像装置１２２が撮像した画像のうちモードランプ１２６が写らない部分に、図示しないバックカメラが撮像した画像や車体情報を表す画像を重畳させる。つまり、表示装置５２０には、常にモードランプ１２６の画像が表示される。図４に示す例では、制御装置５４０は、画像Ｐ２を、画像Ｐ１５に重畳させてディスプレイ５２５に表示させる。

【0021】

オペレータは、表示装置５２０に表示された作業車両１００の前景を視認しながら、操作装置５３０を操作する。制御装置５４０は、操作装置５３０の操作を表す操作信号を作業車両１００に送信する。

【0022】

《障害判定方法》
図５は、第１の実施形態に係る画像系の障害判定方法を示すフローチャートである。本実施形態において画像系とは、撮像装置１２２、制御装置１２５、制御装置５４０、および表示装置５２０を含む画像の伝達経路をいう。
上述の構成により、遠隔運転室５００の制御装置５４０は、作業車両１００の制御装置１２５からモードランプ１２６が写る画像Ｐ１１からＰ１５を取得し（ステップＳ１）、画像Ｐ１１からＰ１５を表示装置５２０に表示させる。オペレータは、表示装置５２０に表示された画像のうち、モードランプ１２６が表示される部分を視認し、表示された画像が一定時間ごとに変化しているか否かを判定する（ステップＳ２）。表示された画像が一定時間ごとに変化している場合（ステップＳ２：ＹＥＳ）、オペレータは、画像系の障害が発生していないと判定する（ステップＳ３）。他方、表示された画像が一定時間ごとに変化していない場合（ステップＳ２：ＹＥＳ）、オペレータは、画像系の障害が発生していると判定する（ステップＳ４）。

【0023】

《作用・効果》
上記構成により、表示装置５２０には、常にモードランプ１２６の画像が表示される。撮像装置１２２が撮像した画像は、画像系を経由して、表示装置５２０に到達する。画像系で障害が発生すると、画像の伝送が停止するため、表示装置５２０に表示される画像が更新されなくなる可能性がある。例えば、撮像装置１２２が動画像を撮像する場合、更新がされない間、表示装置５２０には、同じフレーム画像が表示され続ける。また例えば、撮像装置１２２が静止画像を連続撮像する場合、更新がされない間、表示装置５２０には、障害発生前に撮像された同じ静止画像が表示され続ける。
他方、作業機１１０が停止しているとき、または作業機１１０の移動量が極めて微小であるときにも、オペレータには表示装置５２０に表示される画像が止まったように見える。

【0024】

このとき、オペレータは、表示装置５２０に表示される画像のうち、モードランプ１２６が表示される部分を視認することで、画像系の障害により画像が停止してみえるのか、作業機１１０が停止しまたは移動量が微小であるために画像が停止してみえるのかを判断することができる。モードランプ１２６は、操作装置５３０の操作の有無に関わらず少なくとも画像の送受信中に外観が変化するため、オペレータは、作業機１１０が動いていなくても障害の有無を判断することができる。すなわち、本実施形態に係る作業車両１００は、遠隔のオペレータに画像系の障害の有無を認識させることができる。オペレータは、画像系に障害があると認識した場合、作業車両１００の操作を止め、障害の復旧を待機することができる。

【0025】

《比較例》
ここで、比較例として、撮像装置１２２がモードランプ１２６を撮像せず、制御装置１２５が、一定周期で変化するアニメーション画像を、撮像装置１２２が撮像した画像に合成する作業車両１００を考える。比較例に係る作業車両１００においては、画像系が正常であるとき、表示装置５２０に表示されるアニメーション画像は、一定周期で変化する。他方、画像系のうち制御装置１２５、制御装置５４０、または表示装置５２０に障害が発生している場合、アニメーション画像が停止するため、オペレータは、障害が発生していることを認識することができる。しかしながら、撮像装置１２２に障害が発生して、撮像装置１２２が同一の画像を出力し続ける場合には、当該同一の画像に制御装置１２５がアニメーション画像を合成してしまうため、画像系に障害が生じているにも関わらず、表示装置５２０に表示されるアニメーション画像は、一定周期で変化する。そのため、オペレータは、障害が発生していることを認識することができない。
これに対し、第１の実施形態に係る作業車両１００によれば、画像系のどこに障害が発生していても、モードランプ１２６の変化が止まるため、オペレータは、画像系の障害の有無を確実に認識することができる。

【0026】

〈他の実施形態〉
以上、図面を参照して一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、様々な設計変更等をすることが可能である。
例えば、上述した実施形態では、作業車両１００は、一定時間ごとに外観に既知の変化が生じる変化物としてモードランプ１２６を備えるが、これに限られない。例えば、他の実施形態に係る作業車両１００は、変化物として他のランプ、点滅灯、時計（特に秒針）、一定時間で既知の変化をする画像を表示するモニタなどを備えてもよい。これらの変化物を作業車両１００に追加して設ける場合、ピラーなど、視界を遮らない位置に設けることが好ましい。また、変化物は、少なくとも撮像装置１２２が撮像する画像の送受信中に外観に既知の変化が生じるものであればよい。すなわち、変化物は、画像を送受信がなされていない間、外観が変化しないものであってもよい。

【0027】

また、上述した実施形態に係るモードランプ１２６は、運転室１２１の前方に設置されるが、これに限られない。例えば、他の実施形態においては、変化物が撮像装置１２２の撮像範囲に含まれれば、運転室の内部に設置されていてもよい。また他の実施形態においては、作業車両１００がミラーを備え、当該ミラーで反射した変化物の像が撮像装置１２２の撮像範囲に含まれるものであってもよい。また、他の実施形態においては、車体で反射した変化物の像が撮像装置１２２の撮像範囲に含まれるものであってもよい。

【0028】

また、上述した実施形態に係る制御装置５４０は、モードランプ１２６が写る部分が残るように切り出しを行うことで画像Ｐ１１から画像Ｐ１５を生成するが、これに限られない。例えば、他の実施形態においては、モードランプ１２６が写る部分が残らないように切り出しを行うことで画像Ｐ１１からＰ１５を生成し、さらに画像Ｐ１からモードランプ１２６が写る領域を切り出し、これを画像Ｐ１１からＰ１５のいずれかに重畳させて表示してもよい。

【0029】

また、上述した実施形態では、オペレータが表示装置５２０に写るモードランプ１２６を視認することで障害の有無を判定するが、これに限られない。例えば、他の実施形態においては、コンピュータが画像Ｐ１のうちモードランプ１２６が写る個所の明度の変化量を監視することで、コンピュータが障害の有無を判定してもよい。

【0030】

図６は、他の実施形態に係る障害判定装置の構成を示す概略ブロック図である。
例えば、他の実施形態に係る遠隔操作システム１においては、遠隔運転室５００内に図６に示す障害判定装置９００を備え、障害判定装置９００が画像系の障害の有無を判定してもよい。
障害判定装置９００は、プロセッサ９１０、メインメモリ９２０、ストレージ９３０、インタフェース９４０、撮像装置９５０を備えるコンピュータである。ストレージ９３０は、プログラムｐを記憶する。プロセッサ９１０は、プログラムｐをストレージ９３０から読み出してメインメモリ９２０に展開し、プログラムｐに従った処理を実行する。障害判定装置９００は、インタフェース９４０を介して撮像装置９５０に接続される。
撮像装置９５０は、表示装置５２０に表示された画像のうち少なくともモードランプ１２６が写る個所を撮像する。

【0031】

ストレージ９３０の例としては、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ−ＲＯＭ（Digital Versatile Disc Read Only Memory）、半導体メモリ等が挙げられる。ストレージ９３０は、障害判定装置９００の共通通信線に直接接続された内部メディアであってもよいし、インタフェース９４０を介して障害判定装置９００に接続される外部メディアであってもよい。ストレージ９３０は、一時的でない有形の記憶媒体である。

【0032】

プロセッサ９１０は、プログラムｐの実行により、画像取得部９１１、明度特定部９１２、障害判定部９１３を備える。
画像取得部９１１は、撮像装置９５０から画像を取得する。
明度特定部９１２は、取得した画像のうちモードランプ１２６が写る個所の明度を特定する。
障害判定部９１３は、モードランプ１２６が写る個所の明度が一定時間ごとに変化しているか否かを判定することで、画像系の障害があるか否かを判定する。

【0033】

障害判定装置９００は、図５に示すフローチャートと同様の処理によって画像系の障害を判定する。すなわち、画像取得部９１１は、撮像装置９５０からモードランプ１２６が写る画像を取得する（ステップＳ１）。明度特定部９１２は、取得した画像のうち、モードランプ１２６が表示される部分の明度を特定する。障害判定部９１３は、明度が一定時間ごとに変化しているか否かを判定する（ステップＳ２）。明度が一定時間ごとに変化している場合（ステップＳ２：ＹＥＳ）、障害判定部９１３は、画像系の障害が発生していないと判定する（ステップＳ３）。他方、明度が一定時間ごとに変化していない場合（ステップＳ２：ＹＥＳ）、障害判定部９１３は、画像系の障害が発生していると判定する（ステップＳ４）。

【0034】

これにより、障害判定装置９００は、画像系の障害の有無を判定することができる。なお、他の実施形態においては制御装置５４０が受信した画像に基づいて上記の判定を行ってもよい。一方で、制御装置５４０が判定する場合、制御装置５４０と表示装置５２０との間に障害が発生している場合にこれを検知することができないため、障害判定装置９００のように、表示装置５２０に表示された画像に基づいて障害の判定を行うことが好ましい。

【符号の説明】

【0035】

１…遠隔操作システム １００…作業車両 １１０…作業機 １１１…ブーム １１２…アーム １１３…バケット １２０…旋回体 １２１…運転室 １２２…撮像装置 １２５…制御装置 １２６…モードランプ １３０…走行体 ５００…遠隔運転室 ５２０…表示装置 ５３０…操作装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】