特許 6885212 建設機械遠隔操作システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6885212

(24)【登録日】2021年5月17日

(45)【発行日】2021年6月9日

(54)【発明の名称】建設機械遠隔操作システム

(51)【国際特許分類】

   E02F 9/26 20060101AFI20210531BHJP

   E02F 9/20 20060101ALI20210531BHJP

   H04Q 9/00 20060101ALI20210531BHJP

【ＦＩ】

   E02F9/26 B

   E02F9/20 C

   H04Q9/00 301B

【請求項の数】9

【全頁数】17

(21)【出願番号】特願2017-120648(P2017-120648)

(22)【出願日】2017年6月20日

(65)【公開番号】特開2019-7139(P2019-7139A)

(43)【公開日】2019年1月17日

【審査請求日】2020年1月14日

(73)【特許権者】

【識別番号】000246273

【氏名又は名称】コベルコ建機株式会社

(74)【代理人】

【識別番号】110000800

【氏名又は名称】特許業務法人創成国際特許事務所

(72)【発明者】

【氏名】高村 玲央奈

(72)【発明者】

【氏名】田中 精一

【審査官】 深田 高義

(56)【参考文献】

【文献】 特開平０９−２１７３８２（ＪＰ，Ａ）

【文献】 特開２００５−３５４４７９（ＪＰ，Ａ）

【文献】 特開２００５−０７７７３１（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１４／０１８８３３３（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｅ０２Ｆ ９／２６

Ｅ０２Ｆ ９／２０

Ｈ０４Ｑ ９／００

(57)【特許請求の範囲】

【請求項1】

作業部が備えられ、前記作業部にて作業を実行する建設機械と、該建設機械を操作者が遠隔操作する操作部とからなる建設機械遠隔操作システムであって、
前記建設機械は、該建設機械周囲の画像情報を取得するカメラと、前記画像情報とは異なる前記建設機械周囲及び前記作業部の複数種類の非画像情報を取得するセンサ部と、前記画像情報及び前記非画像情報を前記操作部へ送信する情報送信部とを備え、
前記操作部は、前記情報送信部によって送信された前記画像情報及び前記非画像情報を受信する受信部と、受信した前記画像情報を表示する表示部と、複数種類の前記非画像情報に対するゲインを種類別に調整する調整部と、調整された前記非画像情報を出力する非画像情報出力部とを備え、
前記操作部は、前記操作者が入力する入力部を備え、
前記調整部は、前記入力部に入力された入力情報に基づいて、前記非画像情報の種類別の出力の要否の指定、及び前記非画像情報の種類別の出力レベルの指定、の一方又は両方により前記ゲインを調整することを特徴とすることを特徴とする建設機械遠隔操作システム。

【請求項2】

請求項１に記載の建設機械遠隔操作システムであって、
前記入力情報は、前記建設機械が行う作業内容であり、
前記調整部は、前記作業内容を認識して、認識された前記作業内容に応じて前記ゲインを変更する作業内容認識部を備えることを特徴とする建設機械遠隔操作システム。

【請求項3】

請求項２に記載の建設機械遠隔操作システムであって、
前記入力部は、前記操作部に設けられた操作レバーであり、
前記作業内容は、前記操作レバーの操作に応じて判別されることを特徴とする建設機械遠隔操作システム。

【請求項4】

請求項１から請求項３のいずれか１項記載の建設機械遠隔操作システムであって、
前記センサ部は、複数種類の前記非画像情報ごとに複数の異なったセンサを備えることを特徴とする建設機械遠隔操作システム。

【請求項5】

作業部が備えられ、前記作業部にて作業を実行する建設機械と、該建設機械を操作者が遠隔操作する操作部とからなる建設機械遠隔操作システムであって、
前記建設機械は、該建設機械周囲の画像情報を取得するカメラと、前記画像情報とは異なる前記建設機械周囲及び前記作業部の複数種類の非画像情報を取得するセンサ部と、前記画像情報及び前記非画像情報を前記操作部へ送信する情報送信部とを備え、
前記操作部は、前記情報送信部によって送信された前記画像情報及び前記非画像情報を受信する受信部と、受信した前記画像情報を表示する表示部と、複数種類の前記非画像情報に対するゲインを種類別に調整する調整部と、調整された前記非画像情報を出力する非画像情報出力部とを備え、
前記センサ部は、複数種類の前記非画像情報を取得する１つのセンサを備え、
前記調整部は、１つの前記センサによって取得された、複数の前記非画像情報を解析する情報解析部と、解析された複数の前記非画像情報を分離する非画像情報分離部とを備えることを特徴とすることを特徴とする建設機械遠隔操作システム。

【請求項6】

請求項１から請求項３のいずれか１項記載の建設機械遠隔操作システムであって、
前記センサ部は、複数種類の前記非画像情報を取得する１つのセンサを備え、
前記調整部は、１つの前記センサによって取得された、複数の前記非画像情報を解析する情報解析部と、解析された複数の前記非画像情報を分離する非画像情報分離部とを備えることを特徴とする建設機械遠隔操作システム。

【請求項7】

請求項１から請求項６のいずれか１項記載の建設機械遠隔操作システムであって、
前記操作部は、前記操作者が入力する入力部を備え、
前記非画像情報出力部は、前記入力部に入力された入力情報に基づいて、複数種類の前記非画像情報のそれぞれに対する出力形態を認識し、複数種類の前記非画像情報のそれぞれを認識された出力形態で出力することを特徴とする建設機械遠隔操作システム。

【請求項8】

請求項１に記載の建設機械遠隔操作システムであって、
前記入力部は、複数の前記非画像情報に対する出力の要否及び出力レベルの一方又は両方の複数の組合せのセットの中から任意の該組合せのセットを選択可能とすることを特徴とする建設機械遠隔操作システム。

【請求項9】

請求項８に記載の建設機械遠隔操作システムであって、
前記組合せのセットの情報を、外部のサーバに送信することで該外部のサーバに記憶させ、
該外部のサーバに記録された前記組合せのセットの情報が呼び出し可能であることを特徴とする建設機械遠隔操作システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、作業を実行する建設機械と、建設機械を操作者が遠隔操作する操作部とからなる建設機械遠隔操作システムに関する。

【背景技術】

【0002】

油圧ショベル等の建設機械による作業は、通常、操作者が建設機械の運転室に搭乗し、操作レバーを操作することで行われるが、人の立ち入りが好ましくない作業現場、例えば災害復旧現場などの作業現場では、遠隔操作技術が使用されることがある。

【0003】

このような作業現場での遠隔操作技術を使用したものとして、作業現場に無人の建設機械を配備し、作業現場から離れた遠隔地に設けた操作部から建設機械を遠隔操作する建設機械遠隔操作システムが提案されている（例えば、特許文献１及び特許文献２参照）。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００５−３５４４７９号公報

【特許文献2】特開平９−２１７３８２号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１の建設機械遠隔操作システムは、作業現場に配備した建設機械にマイクを設け、該マイクで集音した音を無線で作業現場から離れた遠隔地にある操作部のスピーカから流し、音を操作部内の操作者に伝えるものである。

【0006】

特許文献２の建設機械遠隔操作システムは、作業現場に配備した建設機械にひずみゲージ等からなる作業力検出器を設け、該作業力検出器で検出した作業力に応じて生じる振動を、作業現場から離れた遠隔地にある操作部の振動出力装置を介して操作者に伝えるものである。

【0007】

操作者は音や振動等を体感し、これらの音や振動等を考慮しながら建設機械を操作することで作業性を向上させることができる。ところで、操作者が、音や振動等を体感して臨場感をもって建設機械を操作するときには、操作者ごとに、掘削、荷吊り及び移動等の作業内容に応じて注目する音や振動等が異なる。また、操作者ごとに、これらの音や振動等の組み合わせで操作タイミングを判断している。

【0008】

このように、操作者ごとに感性が異なり個体差があるため、音や振動等を一律に出力して操作者に伝えていたのでは、作業性を向上させるための操作者ごとの最適な環境に合わせることが難しい。

【0009】

しかし、特許文献１及び特許文献２の建設機械遠隔操作システムでは、操作部内の音、振動等を一律に出力して操作者に伝えるため、作業内容に応じて操作者の好みに合わせて音や振動等を調整し、操作者ごとの最適な環境にすることができない。

【0010】

本発明は、以上の点に鑑み、操作部内の音や振動等の非画像情報の出力の要否及び非画像情報の出力レベルの強弱を、操作者の好みに合わせて調整できる建設機械遠隔操作システムを提供することを目的とする。

【課題を解決するための手段】

【0011】

[１]上記目的を達成するため、本発明の建設機械遠隔操作システムは、
作業を実行する建設機械と、該建設機械を操作者が遠隔操作する操作部とからなる建設機械遠隔操作システムであって、
前記建設機械は、該建設機械周囲及び作業部の画像情報を取得するカメラと、前記画像情報とは異なる前記建設機械周囲及び前記作業部の複数種類の非画像情報を取得するセンサ部と、前記画像情報及び前記非画像情報を前記操作部へ送信する情報送信部とを備え、
前記操作部は、前記情報送信部によって送信された前記画像情報及び前記非画像情報を受信する受信部と、受信した前記画像情報を表示する表示部と、複数種類の前記非画像情報に対するゲインを種類別に調整する調整部と、調整された前記非画像情報を出力する非画像情報出力部とを備えることを特徴とする。

【0012】

本発明によれば、建設機械のセンサ部で取得した非画像情報を情報送信部から操作部に送る。操作部の受信部で受信された非画像情報は、ゲインを種類別に調整する調整部で調整され、非画像情報出力部から出力される。操作部は、複数種類の非画像情報に対するゲインを種類別に調整する調整部を備えるので、操作部内の非画像情報の出力の要否及び非画像情報の出力レベルの強弱を、操作者の好みに合わせて調整することができる。

【0013】

[２]また、本発明においては、前記操作部は、前記操作者が入力する入力部を備え、
前記調整部は、前記入力部に入力された入力情報に基づいて、前記非画像情報の種類別の出力の要否の指定、及び前記非画像情報の種類別の出力レベルの指定、の一方又は両方により前記ゲインを調整することが好ましい。操作部は、操作者が入力する入力部を備えるので、非画像情報の出力の要否、及び非画像情報の出力レベルを、操作者が入力部に直接入力して調整することができる。

【0014】

[３]また、本発明においては、前記入力情報は、前記建設機械が行う作業内容であり、
前記調整部は、前記作業内容を認識して、認識された前記作業内容に応じて前記ゲインを変更する作業内容認識部を備えることが好ましい。建設機械が行う作業内容を認識して、認識された作業内容に応じてゲインを変更する作業内容認識部を備えるので、作業内容に適したゲインの変更を容易に行うことできる。

【0015】

[４]また、本発明においては、前記入力部は、前記操作部に設けられた操作レバーであり、前記作業内容は、前記操作レバーの操作に応じて判別されることが好ましい。操作レバーの操作に応じて作業内容が判別されるので、操作者が意識することなく作業内容に応じたゲインの変更がなされ、無意識に適切な非画像情報を得ることができる。

【0016】

[５]また、本発明においては、前記センサ部は、複数種類の前記非画像情報ごとに複数の異なったセンサを備えることが好ましい。複数種類の異なったセンサを備えるので、例えば、センサをエンジン音用マイク、アタッチメントの周辺音用マイク、振動センサ等とすることで、より複数種類の非画像情報を精度よく取得することができる。

【0017】

[６]また、本発明においては、前記センサ部は、複数種類の前記非画像情報を取得する１つのセンサを備え、前記調整部は、１つの前記センサによって取得された、複数の前記非画像情報を解析する情報解析部と、解析された複数の前記非画像情報を分離する非画像情報分離部とを備えることが好ましい。調整部は、１つのセンサによって取得された、複数の非画像情報を解析する情報解析部を有するので、複数の非画像情報を取得する場合でもセンサを１つにすることができる。さらに情報解析部に加えて、解析された複数の非画像情報を分離する非画像情報分離部を備えるので、例えば、１つのセンサをマイク装置とし、取得した音から、建設機械特有のエンジン音、油圧パイプ音、油圧リリース音等を解析・分離して、これらの音を別々に調整することができる。

【0018】

[７]また、本発明においては、前記操作部は、前記操作者が入力する入力部を備え、前記非画像情報出力部は、前記入力部に入力された入力情報に基づいて、複数種類の前記非画像情報のそれぞれに対する出力形態を認識し、複数種類の前記非画像情報のそれぞれを認識された出力形態で出力することが好ましい。操作者が入力部にどの出力形態にするかの入力情報を入力することで非画像情報の出力形態を選ぶことができるので、例えば、非画像情報としての音や匂いを、非画像情報出力部としての表示部からメータ表示する出力形態を選び、操作者が非画像情報を認識し易い環境を作ることができる。

【0019】

[８]また、本発明においては、前記入力部は、複数の前記非画像情報に対する出力の要否及び出力レベルの一方又は両方の複数の組合せのセットの中から任意の該組合せのセットを選択可能とすることが好ましい。操作者が任意の組合せのセットを選択することで、簡単に操作者の好みに応じた非画像情報を認識する環境を作ることができる。

【0020】

[９]また、本発明においては、前記組合せのセットの情報を、外部のサーバに送信することで該外部のサーバに記憶させ、該外部のサーバに記録された前記組合せのセットの情報が呼び出し可能であることが好ましい。該外部のサーバから記憶させた組合せの情報を呼び出すので、建設機械や操作部の場所を変えても、操作者が任意の組合せのセットの情報を呼び出して好みの非画像情報を認識する環境を作ることができる。

【図面の簡単な説明】

【0021】

【図1】第１実施形態の建設機械の構成を示す側面図。

【図2】第１実施形態の操作部の構成を示す平面図。

【図3】第１実施形態の構成を示すブロック図。

【図4】第１実施形態の入力部を説明する図。

【図5】第１実施形態の操作部のフローチャート。

【図6】第２実施形態の建設機械の構成を示す側面図。

【図7】第２実施形態の操作部の構成を示す平面図。

【図8】第２実施形態の構成を示すブロック図。

【図9】第２実施形態の操作部のフローチャート。

【図10】第３実施形態の操作部の構成を示す平面図。

【図11】第３実施形態の構成を示すブロック図。

【図12】第３実施形態の作業内容認識部の構成を説明する図。

【図13】第３実施形態の操作部のフローチャート。

【発明を実施するための形態】

【0022】

（第１実施形態）
図を参照して、本発明の第１実施形態の建設機械遠隔操作システム１を詳しく説明する。図１に示すように、建設機械遠隔操作システム１は、作業を実行する建設機械１０と、該建設機械１０を操作者２（図２参照）が遠隔操作する操作部５０とからなる。

【0023】

建設機械１０は、油圧ショベルであり、下部走行体１２と、下部走行体１２上に旋回軸１３を介して旋回可能に設けられた上部旋回体１４と、上部旋回体１４に設けられた作業装置１５とを備えている。上部旋回体１４の前横部にはキャブ１６が搭載され、上部旋回体１４の後部には機械室１７に配置されたエンジンやカウンタウエイト１８が搭載されている。

【0024】

上部走行体１４には、ブーム２１及びこのブーム２１を回動するブームシリンダ２２が回動可能に軸支されている。ブームシリンダ２２の先端部はピン２２ａを介してブーム２１に回動可能に連結されている。ブーム２１の先端には、アーム２３がアームシリンダ２４により回動されるように軸支されている。アーム２３には、先端アタッチメントであるバケット２５がリンク部２６を介してバケットシリンダ２７により回動されるように軸支されている。

【0025】

キャブ１６には、建設機械１０周囲の画像情報を取得する第１のカメラ２８が設けられ、上部旋回体１４の後部には、建設機械１０後方の画像情報を取得する第２のカメラ２９が設けられている。

【0026】

また、建設機械１０には、画像情報とは異なる建設機械１０周囲及び作業部３の複数種類の非画像情報を取得するセンサ部３０と、画像情報及び非画像情報を操作設備５０へ送信する情報送信部４０と、センサ部３０、第１のカメラ２８、第２のカメラ２９及び情報送信部４０を制御する制御部４１とを備えている。

【0027】

非画像情報は、音、振動、傾き、慣性及び匂いなどである。具体的には、非画像情報は、機械室１７のエンジンから生じる音、ブーム２１、アーム２３等の作業部３全体からの音及びバケット２５から生じる音等の音、キャブ１６に伝わる振動、水平面に対するキャブ１６の傾き、上部旋回体１４の旋回時に上部旋回体１４等に加わる慣性、建設機械１０及び建設機械１０周辺から生じる匂いの少なくともいずれか1つを含む。

【0028】

センサ部３０は、機械室１７に設けられ主にエンジン音を集音するエンジン音用マイク３１と、ブーム２１に設けられ主にブーム２１、アーム２３等の作業部３の構造体から発する音を集音する作業部周辺音用マイク３２と、アーム２３に設けられ主にバケット２５から生じる作業音を集音する先端アタッチメントの周辺音用マイク３３とを備えている。

【0029】

また、センサ部３０は、キャブ１６に設けられ該キャブ１６に伝わる振動を検知する振動センサ３４と、キャブ１６に設けられ水平面に対するキャブ１６の傾きを検知する傾斜センサ３５とを備えている。さらには、図示しないが、上部旋回体１４に設けられ旋回時に該上部旋回体１４に加わる慣性を検知する慣性センサや、キャブ１６に設けられ建設機械１０周囲の匂いを検知する匂いセンサ等を備えてもよい。

【0030】

図２に示すように、操作部５０は、操作者２が着座するシート５１と、該シート５１の前方に配置され建設機械１０（図１参照）を操作する操作レバー５２と、情報送信部４０（図１参照）によって送信された画像情報及び非画像情報を受信する受信部５３とを備えている。

【0031】

また、操作部５０は、操作者２の前方に配置され受信した画像情報を表示する表示部５４と、複数種類の非画像情報に対するゲインを種類別に調整する調整部５５と、調整された非画像情報を出力する非画像情報出力部６０と、操作レバー５２の近傍に配置され操作者２が出力レベル等を入力する入力部７０とを備えている。

【0032】

非画像情報出力部６０は、エンジン音を出力するエンジン音用スピーカ６１、ブーム２１、アーム２３等の作業部３全体からの音を出力する作業部周辺音用スピーカ６２と、アタッチメントであるバケット２５から生じる音を出力する先端アタッチメントの周辺音用スピーカ６３と、キャブ１６に伝わる振動を出力する振動出力装置６４と、水平面に対するキャブ１６の傾きを出力する傾き出力装置６５とを備えている。

【0033】

さらには、図示しないが、非画像情報出力部６０は、上部旋回体１４の旋回時に該上部旋回体１４に加わる慣性を出力する慣性出力装置や、建設機械１０周囲の匂いを任意成分の項目や数値で示す等で匂いをいわゆる見える化し出力する匂い出力装置等を備えても差し支えない。

【0034】

エンジン音用スピーカ６１は操作者２の後方に配置され、作業部周辺音用スピーカ６２及び周辺音用スピーカ６３は操作者２の前方に配置されている。また、振動出力装置６４及び傾き出力装置６５はシート５１及び操作レバー５２を含むシート周辺部５１ａに設けられている。なお、実施形態では、振動出力装置６４及び傾き出力装置６５をシート周辺部５１ａに設けて、シート５１及び操作レバー５２部分を同じ振動系の中に置くようにしたが、これに限定されず、振動出力装置６４及び傾き出力装置６５を操作部５０に設け、操作部５０全体を同じ振動系の中に置くようにしてもよい。

【0035】

次に構成をブロック図で説明する。図３に示すように、建設機械１０側では、センサ部３０のエンジン音用マイク３１、作業部周辺音用マイク３２、周辺音用マイク３３、振動センサ３４及び傾斜センサ３５が、情報送信部４０に接続されており、センサ部３０で取得した非画像情報は情報送信部４０に送られる。

【0036】

また、第１のカメラ２８及び第２のカメラ２９は、情報送信部４０に接続されており、第１のカメラ２８及び第２のカメラ２９で取得した画像情報は情報送信部４０に送られる。また、情報送信部４０には制御部４１が接続されており、制御部４１により情報送信部４０等が制御され、画像情報及び非画像情報は情報送信部４０から受信部５３に送信される。

【0037】

操作部５０側では、操作レバー５２、表示部５４及び調整部５５が、受信部５３に接続されており、非画像情報出力部６０のエンジン音用スピーカ６１、作業部周辺音用スピーカ６２、周辺音用スピーカ６３、振動出力装置６４及び傾き出力装置６５が、調整部５５に接続されている。調整部５５には、入力部７０も接続されている。

【0038】

入力部７０では、非画像情報の出力の要否、及び非画像情報の出力レベルの強弱を異ならせるスイッチ、つまみ等（図４参照）を備えている。受信部５３で受信した画像情報は表示部５４に送られる。また、受信部５３で受信した非画像情報は、調整部５５に送られる。調整部５５では、入力部７０に入力された入力情報に基づいて、複数種類の非画像情報に対するゲインを種類別に調整し、調整された非画像情報は非画像情報出力部６０に送られる。

【0039】

また、情報送信部４０と受信部５３とは、双方向通信が可能であり、操作レバー５２の操作に応じて発生する操作情報は、受信部５３に送られ、さらに受信部５３から情報送信部４０に送られて制御部４１を介して、建設機械１０の各部の動作が制御される。

【0040】

次に入力部７０について説明する。図４に示すように、入力部７０は、タッチパネルであり、エンジン音、先端アタッチメント周辺音、ブーム２１、アーム２３等の作業部３全体からの発生する音、振動及び傾き等からなる非画像情報の項目欄７１と、非画像情報の要否を変更するスイッチ欄７２と、非画像情報の出力レベルの強弱を異ならせるつまみ欄７３とを備えている。非画像情報の各項目では、スイッチ欄７２がチェックのＯＮ、ＯＦＦで出力の要否を切り替えることができ、つまみ欄７３のスライダー７４を任意の位置にスライドさせることで出力レベルをＭＩＮ（最小）からＭＡＸ（最大）までの間で選択することができる。

【0041】

入力部７０をタッチパネルとし、該タッチパネルの表示を制御するソフトウェアを変更することで、項目を増減させることや、スイッチ欄７２、つまみ欄７３等の形態を変更することができる。なお、実施形態では、入力部７０をタッチパネルとしたが、これに限定されず、物理的なつまみ等を使用してもよい。

【0042】

次に、以上に述べた操作部５０の作用をフローチャートに基づいて説明する。図５に示すように、ＳＴＥＰ１で、入力部７０の各項目でのゲインによる非画像情報の出力の要否、出力レベルの強弱を設定値として入力する。ＳＴＥＰ２で、調整部５５に出力の要否により非画像情報の各項目のうち必要となった出力対象が読み込まれる。ＳＴＥＰ３で、調整部５５に出力対象の非画像情報におけるゲインが読み込まれる。

【0043】

ＳＴＥＰ４で、調整部５５に受信部５３からの非画像情報が読み込まれる。ＳＴＥＰ５で、調整部５５での出力対象が選別される。ＳＴＥＰ６で、出力対象の強弱が調整される。ＳＴＥＰ７で、出力対象に選別され且つ強弱が調整された非画像情報が非画像情報出力部６０から出力される。

【0044】

操作部５０の受信部５３で受信された非画像情報は、ゲインを種類別に調整する調整部５５で調整され、非画像情報出力部から出力される。操作部５０は、複数種類の非画像情報に対するゲインを種類別に調整する調整部５５を備えるので、操作部内の非画像情報の出力の要否及び非画像情報の出力レベルの強弱を、操作者２の好みに合わせて調整することができる。

【0045】

さらに、操作部５０は、操作者２が入力する入力部７０を備えるので、非画像情報の出力の要否、及び非画像情報の出力レベルの強弱を、操作者２が入力部７０に直接入力して調整することができる。さらに、複数種類の異なったセンサ３１、３２、３３、３４、３５を備えるので、例えば、センサをエンジン音用マイク３１、アタッチメントの周辺音用マイク３３、振動センサ３４等とすることで、より複数種類の非画像情報を効率よく取得することができる。

【0046】

非画像情報出力部６０は、入力部７０に入力された入力情報に基づいて、複数種類の非画像情報のそれぞれに対する出力形態を認識し、複数種類の非画像情報のそれぞれを認識された出力形態で出力する。操作者２が入力部７０にどの出力形態にするかの入力情報を入力することで非画像情報の出力形態を選ぶことができるので、例えば、非画像情報としての音や匂いを、非画像情報出力部６０としての表示部５４からメータ表示する出力形態を選び、操作者２が非画像情報を認識し易い環境を作ることができる。

【0047】

入力部７０は、複数の非画像情報に対する出力の要否及び出力レベルの一方又は両方の複数の組合せのセットの中から任意の該組合せのセットを選択可能とする。操作者２が任意の組合せのセットを選択することで、簡単に操作者の好みに応じた非画像情報を認識する環境を作ることができる。組合せのセットの情報は、例えば操作部５０内の調整部５５や入力部７０などのローカル環境に記憶させて、入力部７０から選択することができる。

【0048】

組合せのセットの情報を、外部のサーバ（不図示）に送信することで該外部のサーバに記憶させ、該外部のサーバに記録された組合せのセットの情報が呼び出し可能である。具体的には、操作者２毎のユーザＩＤ、作業種類毎の作業ＩＤ、作業者２が所属するグループ毎のグループＩＤ等を設定し、これらのＩＤに基づいていわゆるクラウドと呼ばれる外部のサーバにアクセスして、組合せのセットの情報を送受信する。さらに、組合せのセットの情報は編集も可能である。このような構成とすることで、該外部のサーバから記憶させた組合せの情報を呼び出すので、建設機械や操作部の場所を変えても、操作者が任意の組合せのセットの情報を呼び出して好みの非画像情報を認識する環境を作ることができる。さらには、例えば、ＩＣカード、スマホ等のデバイスを使って、ここにユーザごとの組み合わせセット情報を記憶させ、これをショベル側で読み込むことでも、建設機械や操作部の場所によらず、操作者が好みの非画像情報を認識する環境を作ることができる。

【0049】

（第２実施形態）
次に、第２実施形態の建設機械遠隔操作システム１を図６〜図９に基づいて説明する。なお、第２実施形態の建設機械遠隔操作システム１において第１実施形態の建設機械遠隔操作システム１と同一の構成については第１実施形態と同じ符号を付して詳しい説明を省略する。

【0050】

図６に示すように、キャブ１６には、複数種類の非画像情報として、音を取得する１つのセンサ３６が備えられている。１つのセンサ３６は、マイク装置である（以下、１つのセンサ３６をマイク装置３６という）。詳細には、マイク装置３６は、マイクロホンアレーであり、複数のマイクロホンを用いた収音装置であると共に、空間中の特定方向の音源からの音を選択的に取り出したり、特定方向の音源の音を抑圧したり，音源の方向を推定したりすることができる。

【0051】

図７に示すように、非画像情報出力部６０は、操作者２の前方に配置される前側スピーカ６６と、操作者２の後方に配置される後側スピーカ６７とを備えている。調整部５５には、マイク装置３６によって取得された、複数の非画像情報である音を音源分離技術により分離し、解析する情報解析部５６と、解析された複数の非画像情報である音を分離する非画像情報分離部５７とを備えている。

【0052】

情報解析部５６により、マイク装置３６（図６参照）で集音された音が、ブーム２１、アーム２３等の作業部３全体からの音、アタッチメントであるバケット２５から生じる音、エンジン音等の音であると解析される。解析された音は、それぞれに分離されて複数の非画像情報としての音となる。

【0053】

前側スピーカ６６は、主に、ブーム２１、アーム２３等の作業部３全体からの音、アタッチメントであるバケット２５から生じる音等のように、建設機械１０の前側由来の音を出力する。後側スピーカ６７は、主に、エンジン音等のように、建設機械１０の後側由来の音を出力する。

【0054】

次に第２実施形態の構成をブロック図で説明する。図８に示すように、建設機械１０側では、マイク装置３６、振動センサ３４及び傾斜センサ３５が、情報送信部４０に接続されており、センサ部３０で取得した非画像情報は情報送信部４０に送られる。

【0055】

また、第１のカメラ２８及び第２のカメラ２９は、情報送信部４０に接続されており、第１のカメラ２８及び第２のカメラ２９で取得した画像情報は情報送信部４０に送られる。また、情報送信部４０には制御部４１が接続されており、制御部４１により情報送信部４０等が制御され、画像情報及び非画像情報は情報送信部４０から受信部５３に送信される。

【0056】

操作部５０側では、操作レバー５２、表示部５４及び調整部５５が、受信部５３に接続されており、非画像情報出力部６０の前側スピーカ６６、後側スピーカ６７、振動出力装置６４及び傾き出力装置６５が、調整部５５に接続されている。調整部５５には、入力部７０も接続されている。

【0057】

入力部７０では、非画像情報の出力の要否、及び非画像情報の出力レベルの強弱を異ならせるスイッチ、つまみ等（図４参照）を備えている。受信部５３で受信した画像情報は表示部５４に送られる。また、受信部５３で受信した非画像情報であるマイク装置３６で集音された音情報は、調整部５５に送られる。

【0058】

調整部５５では、マイク装置３６で集音された音情報が、ブーム２１、アーム２３等の作業部３全体からの音、アタッチメントであるバケット２５から生じる音、エンジン音等の音であると解析されて、それぞれに分離されて複数の非画像情報としての音となる。そして、入力部７０に入力された入力情報に基づいて、複数種類の非画像情報に対するゲインを種類別に調整し、調整された非画像情報が非画像情報出力部６０に送られる。前側スピーカ６６は、主に、ブーム２１、アーム２３等の作業部３全体からの音、アタッチメントであるバケット２５から生じる音を出力する。後側スピーカ６７は、主に、エンジン音を出力する。

【0059】

次に、以上に述べた第２実施形態の操作部５０の作用をフローチャートに基づいて説明する。図９に示すように、ＳＴＥＰ８で、入力部７０の各項目でのゲインによる非画像情報の出力の要否、出力レベルの強弱を設定値として入力する。ＳＴＥＰ９で、調整部５５に出力の要否により非画像情報の各項目のうち必要となった出力対象が読み込まれる。ＳＴＥＰ１０で、調整部５５に出力対象の非画像情報におけるゲインが読み込まれる。

【0060】

ＳＴＥＰ１１で、調整部５５に受信部５３からのマイク装置３６の音情報及び該音情報以外の非画像情報が読み込まれる。ＳＴＥＰ１２で、マイク装置３６で集音された音情報が、ブーム２１、アーム２３等の作業部３全体からの音、先端アタッチメントであるバケット２５から生じる音、エンジン音等の音に音源分離技術を用いて分離、解析されて複数の非画像情報としての音となる。ＳＴＥＰ１３で、調整部５５での出力対象が選別される。ＳＴＥＰ１４で、出力対象の強弱が調整される。ＳＴＥＰ１５で、出力対象に選ばれ且つ強弱が調整された非画像情報が非画像情報出力部６０から出力される。

【0061】

調整部５５は、１つのセンサによって取得された、複数の非画像情報を解析する情報解析部５６を有するので、複数の非画像情報を取得する場合でもセンサを１つにすることができる。さらに情報解析部５６に加えて、解析された複数の非画像情報を分離する非画像情報分離部５７を備えるので、例えば、１つのセンサをマイク装置３６とし、取得した音から、建設機械特有のエンジン音、油圧パイプ音、油圧リリーフ音等を解析・分離して、これらの音を別々に調整することができる。

【0062】

（第３実施形態）
次に、第３実施形態の建設機械遠隔操作システム１を図１０〜図１３に基づいて説明する。なお、第３実施形態の建設機械遠隔操作システム１において第１実施形態の建設機械遠隔操作システム１と同一の構成については第１実施形態と同じ符号を付して詳しい説明を省略する。

【0063】

図１０に示すように、操作部５０は、シート５１の前方に配置され建設機械１０（図１参照）を操作する操作レバー５２と、複数種類の非画像情報に対するゲインを種類別に調整する調整部５５と、調整された非画像情報を出力する非画像情報出力部６０とを備えている。

【0064】

調整部５５に送られる入力情報は、建設機械１０が行う作業内容である。調整部５５は、作業内容を認識して、認識された作業内容に応じてゲインを変更する作業内容認識部５８を備えている。作業内容は、操作レバー５２の操作に応じて判別される。

【0065】

次に第３実施形態の構成をブロック図で説明する。図１１に示すように、操作部５０側では、操作レバー５２、表示部５４及び調整部５５が、受信部５３に接続されており、非画像情報出力部６０のエンジン音用スピーカ６１、作業部周辺音用スピーカ６２、周辺音用スピーカ６３、振動出力装置６４及び傾き出力装置６５が、調整部５５に接続されている。さらに、調整部５５と操作レバー５２の間には、作業内容認識部５８が接続されている。

【0066】

作業内容認識部５８は、移動時、掘削時、荷吊り時等、予め登録された作業内容が選択できる形式ものと、操作レバー５２の操作に応じて作業内容を判別する形式のものがある。

【0067】

図１２に示すように、予め登録された作業内容が選択できる形式では、作業内容認識部５８は、例えばタッチパネルであり、移動時、掘削時、荷吊り時等、予め登録された作業内容が選択できるようになっている。例えば、掘削時を選択することでタッチパネルの掘削時の部分が選択中と分かるように表示される。なお、タッチパネル形式に限定されず、ボタン形式など、作業内容を選択できれば態様は問わない。

【0068】

作業内容認識部５８に搭載されたメモリ等に、作業内容に応じた各非画像情報の出力の要否、出力レベルの強弱の設定値をテーブルとして持たせ、このテーブルから作業内容に応じて設定値が引き出される。

【0069】

また、操作レバー５２の操作に応じて作業内容を判別する形式では、作業内容に応じて操作レバー５２の動作パターンが記憶されている。操作レバー５２を操作し、任意の動作パターンと認識することで作業内容が選択され、上述のテーブルから作業内容に応じた設定が引き出される。

【0070】

次に、以上に述べた第３実施形態の操作部５０の作用をフローチャートに基づいて説明する。図１３に示すように、ＳＴＥＰ１６で、作業内容認識部５８では、タッチパネルから作用内容を選択するか、又は操作レバー５２の動作パターンにより、作業内容が認識される。ＳＴＥＰ１７で、調整部５５では、認識された作業内容に応じてテーブルからゲインの設定値が読み込まれる。

【0071】

ＳＴＥＰ１８で、調整部５５では、出力の要否により非画像情報の各項目のうち必要となった出力対象が読み込まれる。ＳＴＥＰ１９で、調整部５５に出力対象の非画像情報におけるゲインが読み込まれる。

【0072】

ＳＴＥＰ２０で、調整部５５に受信部５３からの非画像情報が読み込まれる。ＳＴＥＰ２１で、調整部５５での出力対象が選別される。ＳＴＥＰ２２で、出力対象の強弱が調整される。ＳＴＥＰ２３で、出力対象に選別され且つ強弱が調整された非画像情報が非画像情報出力部６０から出力される。

【0073】

このように、建設機械１０が行う作業内容を認識して、認識された作業内容に応じてゲインを変更する作業内容認識部５８を備えるので、作業内容に適したゲインの変更を容易に行うことできる。さらに、操作レバー５２の操作に応じて作業内容が判別されるので、操作者２が意識することなく作業内容に応じたゲインの変更がなされ、無意識に適切な非画像情報を得ることができる。

【0074】

なお、第３実施形態では、作業内容認識部５８は、移動時、掘削時、荷吊り時等、予め登録された作業内容が選択できる形式のものと、操作レバー５２の操作に応じて作業内容を判別する形式のものとしたが、これに限定されない。

【0075】

例えば、建設機械遠隔操作システム１は、建設機械１０と操作部５０の他に、いわゆるクラウド等に無線で情報を記録できるようにし、任意の操作者２の建設機械１０に対する操作や、複数種類の非画像情報に対するゲインの調整を記録させ、離れた場所にある別の建設機械１０を使用した場合であっても、クラウドに記録された任意の操作者２の記録を引き出して使用するようにしても差し支えない。このようなクラウドを含めた構成にすることで、場所や建設機械１０にとらわれず、任意の操作者２にとって、最適な作業環境を提供することできる。

【符号の説明】

【0076】

１ 建設機械遠隔操作システム
２ 操作者
１０ 建設機械
２８ 第１のカメラ
２９ 第２のカメラ
３０ センサ部
３１ エンジン音用マイク
３２ 作業部周辺音用マイク
３３ 周辺音用マイク
３４ 振動センサ
３５ 傾斜センサ
３６ １つのセンサ（マイク装置）
４０ 情報送信部
５０ 操作部
５２ 操作レバー
５３ 受信部
５４ 表示部
５５ 調整部
５６ 情報解析部
５７ 非画像情報分離部
５８ 作業内容認識部
６０ 非画像情報出力部
６１ エンジン音用スピーカ
６２ 作業部周辺音用スピーカ
６３ 周辺音用スピーカ
６４ 振動出力装置
６５ 傾き出力装置
６６ 前側スピーカ
６７ 後側スピーカ
７０ 入力部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】