特許 7087737 フォークリフト用遠隔操作システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-06-13

(45)【発行日】2022-06-21

(54)【発明の名称】フォークリフト用遠隔操作システム

(51)【国際特許分類】

   B66F 9/24 20060101AFI20220614BHJP

【ＦＩ】

B66F9/24 L

【請求項の数】 3

(21)【出願番号】P 2018126751

(22)【出願日】2018-07-03

(65)【公開番号】P2020007059

(43)【公開日】2020-01-16

【審査請求日】2020-10-20

(73)【特許権者】

【識別番号】000003218

【氏名又は名称】株式会社豊田自動織機

(74)【代理人】

【識別番号】100105957

【弁理士】

【氏名又は名称】恩田 誠

(74)【代理人】

【識別番号】100068755

【弁理士】

【氏名又は名称】恩田 博宣

(72)【発明者】

【氏名】井上 順治

(72)【発明者】

【氏名】比嘉 孝治

【審査官】小川 悟史

(56)【参考文献】

【文献】特開２０１８－０７２９４５（ＪＰ，Ａ）

【文献】特開２００３－０３４４９６（ＪＰ，Ａ）

【文献】特開２００５－１０４６５２（ＪＰ，Ａ）

【文献】特開２００３－３４１９９６（ＪＰ，Ａ）

【文献】特開２００３－２１２４９５（ＪＰ，Ａ）

【文献】特開２００１－２５３６９９（ＪＰ，Ａ）

【文献】特開平０９－１７５７９８（ＪＰ，Ａ）

【文献】特開２００７－２６９４５２（ＪＰ，Ａ）

【文献】特開２０１４－１１５１８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ６６Ｆ ９／００－１１／０４

(57)【特許請求の範囲】

【請求項1】

機台に荷役装置を備えるとともに車両通信部を有するフォークリフトと、
前記車両通信部と無線通信を行う操作装置通信部を有し、前記フォークリフトの走行及び前記荷役装置による荷役を遠隔操作するのに用いられる遠隔操作装置と、を備えたフォークリフト用遠隔操作システムであって、
前記機台に取り付けられて前記フォークリフトの周囲を撮像する第１カメラ及び前記荷役装置に取り付けられて前記荷役装置における荷役対象領域を撮像する第２カメラを有するカメラと、
前記カメラにて撮像された画像からパレットの外形とパレット穴の位置を画像認識して、フォークのパレット穴への地切り可能差込位置に対する現在位置のずれ量を検知するずれ量検知部と、を備えることを特徴とするフォークリフト用遠隔操作システム。

【請求項2】

前記地切り可能差込位置に対する現在位置のずれ量を操作者に通知する通知部を更に備えることを特徴とする請求項１に記載のフォークリフト用遠隔操作システム。

【請求項3】

前記地切り可能差込位置に対する現在位置のずれ量を解消するように自動制御する自動制御部を更に備えることを特徴とする請求項１に記載のフォークリフト用遠隔操作システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、フォークリフト用遠隔操作システムに関するものである。

【背景技術】

【0002】

フォークリフトにおいて周囲の環境を把握すべくカメラを搭載することが行われている（例えば、特許文献１）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１４－１１５１８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、フォークリフト用遠隔操作システムにおいて、フォークリフトにカメラを搭載して画面を見て操作することになるが、遠隔操作用のカメラ画像からではフォークの差込量が把握しにくく、作業性が悪かった。

【0005】

本発明の目的は、フォーク差込の際の作業性向上を図ることが可能なフォークリフト用遠隔操作システムを提供することにある。

【課題を解決するための手段】

【0006】

請求項１に記載の発明では、機台に荷役装置を備えるとともに車両通信部を有するフォークリフトと、前記車両通信部と無線通信を行う操作装置通信部を有し、前記フォークリフトの走行及び前記荷役装置による荷役を遠隔操作するのに用いられる遠隔操作装置と、を備えたフォークリフト用遠隔操作システムであって、前記フォークリフトの周囲を撮像するカメラと、前記カメラにて撮像された画像から画像認識により、フォークのパレット穴への地切り可能差込位置に対する現在位置のずれ量を検知するずれ量検知部と、を備えることを要旨とする。

【0007】

請求項１に記載の発明によれば、ずれ量検知部によって、カメラにて撮像された画像から画像認識により、フォークのパレット穴への地切り可能差込位置に対する現在位置のずれ量が検知される。よって、フォーク差込の際の作業性向上を図ることが可能となる。

【0008】

請求項２に記載のように、請求項１に記載のフォークリフト用遠隔操作システムにおいて、前記地切り可能差込位置に対する現在位置のずれ量を操作者に通知する通知部を更に備えるとよい。

【0009】

請求項３に記載のように、請求項１に記載のフォークリフト用遠隔操作システムにおいて、前記地切り可能差込位置に対する現在位置のずれ量を解消するように自動制御する自動制御部を更に備えるとよい。

【発明の効果】

【0010】

本発明によれば、フォーク差込の際の作業性向上を図ることが可能となる。

【図面の簡単な説明】

【0011】

【図1】フォークリフト用遠隔操作システムの電気的構成を示すブロック図。

【図2】リーチ式フォークリフトの概略側面図。

【図3】リーチ式フォークリフトの概略平面図。

【図4】作業場でのリーチ式フォークリフトとパレットの状況を説明するための概略図。

【図5】リーチ式フォークリフトとパレットの関係を示す概略平面図。

【図6】リーチ式フォークリフトとパレットの関係を示す概略側面図。

【図7】作用を説明するためのフローチャート。

【図8】リーチ式フォークリフトとパレットの関係を示す概略平面図。

【図9】リーチ式フォークリフトとパレットの関係を示す概略側面図。

【発明を実施するための形態】

【0012】

以下、本発明を具体化した一実施形態を図面に従って説明する。
図１に示すように、フォークリフト用遠隔操作システム１０は、リーチ式フォークリフト２０と、リーチ式フォークリフト２０を遠隔操作するのに用いられる遠隔操作装置５０と、を備えている。リーチ式フォークリフト２０は、作業場に配置される。遠隔操作装置５０は、操作室に配置される。そして、遠隔操作装置５０を用いて操作室から、作業場のリーチ式フォークリフト２０を遠隔操作することができるようになっている。

【0013】

図４に示すように、作業場においては、棚６０が設置されている。棚６０は２段にわたりパレット６１及び荷物Ｗを配置することができる。つまり、下の段においてパレット６１に荷物Ｗが配置されるとともに、その上の段においてパレット６１に荷物Ｗが配置される。この状態から、操作者はリーチ式フォークリフト２０を遠隔操作して荷物を取りに行く。

【0014】

図４において、各パレット６１にはフォーク挿入用穴が形成されており、このフォーク挿入用穴にフォークが差し込まれる。
図２に示すように、リーチ式フォークリフト２０の機台２１には荷役装置２２が設けられている。荷役装置２２は前方へ延出している一対のリーチレグ２３を備える。各リーチレグ２３にはそれぞれ前輪２４が設けられている。つまり、機台２１の前側に左右一対の前輪２４が設けられている。また、機台２１の後ろ側には後輪２５が設けられている。本実施形態では、後輪２５が、操舵輪及び駆動輪となる。

【0015】

荷役装置２２は、２段式のマスト２６を備える。マスト２６は、アウタマスト２７と、インナマスト２８とを備える。荷役装置２２は、インナマスト２８に連結されたリフトシリンダ２９を備える。荷役装置２２は、マスト２６に連結されたリーチシリンダ３０を備える。インナマスト２８は、リフトシリンダ２９への作動油の給排によって昇降する。マスト２６は、リーチシリンダ３０への作動油の給排によってリーチレグ２３に沿って移動する。

【0016】

荷役装置２２は、一対のフォーク３１と、フォーク３１をマスト２６に固定するリフトブラケット３２とを備える。フォーク３１及びリフトブラケット３２は、インナマスト２８の昇降とともに昇降する。リーチ式フォークリフト２０は、後輪２５を駆動させる走行モータ３３を備える。

【0017】

リーチ式フォークリフト２０には各種のアクチュエータが備えられている。具体的には例えば、走行用アクチュエータとして、後輪２５を駆動させる走行モータ３３、図示しない操舵モータ等が挙げられる。走行用アクチュエータにより車輪が回転及び操舵される。また、荷役用アクチュエータとして、インナマスト２８に連結されたリフトシリンダ２９、マスト２６に連結されたリーチシリンダ３０、図示しないティルトシリンダ等が挙げられる。荷役用アクチュエータにより昇降、リーチ、ティルト等の荷役動作を行うことができる。

【0018】

図１に示すように、リーチ式フォークリフト２０は、車両通信部としての無線部４０と、制御部４１と、映像信号処理部４２と、カメラ４３ａ，４３ｂ，４３ｃ，４３ｄ，４３ｅ，４３ｆ，４３ｇ，４３ｈを有する。

【0019】

遠隔操作装置５０は、操作装置通信部としての無線部５１と、制御部５２と、操作部５３と、表示部（モニタ）５４と、映像信号処理部５５を有する。操作部５３における操作方式として、タッチパネル方式、マウス方式、ジョイスティック方式等が用いられる。

【0020】

無線部５１はリーチ式フォークリフト２０の無線部４０と無線通信を行うことができる。つまり、リーチ式フォークリフト２０の無線部４０と遠隔操作装置５０の無線部５１とは無線通信可能となっている。

【0021】

そして、遠隔操作装置５０において、操作部５３を用いて操作者が所望の操作を行うと制御部５２により操作内容が無線部５１を介してリーチ式フォークリフト２０側に送られる。リーチ式フォークリフト２０において、無線部４０で遠隔操作装置５０からの操作内容が受信され、制御部４１により遠隔操作装置５０側からの指示により走行系アクチュエータ（走行モータ３３、図示しない操舵モータ等）及び荷役系アクチュエータ（リフトシリンダ２９、リーチシリンダ３０、図示しないティルトシリンダ等）を駆動することができる。このように、制御部５２は、無線部５１、無線部４０及び制御部４１を介してリーチ式フォークリフト２０の走行及び荷役装置２２による荷役を遠隔操作することができるようになっている。

【0022】

一方、走行系のカメラ４３ａ，４３ｂ，４３ｃ，４３ｄは、図２，３に示すように設けられている。走行系のカメラ４３ａ，４３ｂ，４３ｃ，４３ｄは、リーチ式フォークリフト２０の機台２１に取り付けられている。走行系のカメラ４３ａ，４３ｂ，４３ｃ，４３ｄは、機台２１の周囲を撮像する。詳しくは、走行系のカメラ４３ａは、進行方向前方を撮像する。走行系のカメラ４３ｂは、後方を撮像する。走行系のカメラ４３ｃは、右方を撮像する。走行系のカメラ４３ｄは、左方を撮像する。

【0023】

荷役系のカメラ４３ｅ，４３ｆ，４３ｇ，４３ｈは、図２，３に示すように設けられている。荷役系のカメラ４３ｅ，４３ｆ，４３ｇ，４３ｈは、リーチ式フォークリフト２０の荷役装置２２に取り付けられている。荷役系のカメラ４３ｅ，４３ｆ，４３ｇ，４３ｈは、荷役装置２２における荷役対象領域を撮像する。詳しくは、荷役系のカメラ４３ｅは、リフトブラケット３２の右側の上部に取り付けられ、荷役装置２２における右側から前方を撮像する。荷役系のカメラ４３ｆは、リフトブラケット３２の左側の上部に取り付けられ、荷役装置２２における左側から前方を撮像する。荷役系のカメラ４３ｇは、インナマスト２８の上部に取り付けられ、前方下方を撮像する。荷役系のカメラ４３ｈは、右側のフォーク３１の先端部に埋め込まれており、フォーク３１の前方を撮像する。

【0024】

リーチ式フォークリフト２０において、カメラ４３ａ，４３ｂ，４３ｃ，４３ｄ，４３ｅ，４３ｆ，４３ｇ，４３ｈにより撮像された画像は制御部４１により映像信号処理部４２及び無線部４０を介して遠隔操作装置５０側に送られる。遠隔操作装置５０において、無線部５１でリーチ式フォークリフト２０からのカメラ画像が受信されて制御部５２により映像信号処理部５５を介して表示部５４で表示される。操作者は表示部５４におけるカメラ画像を見ながら操作することになる。

【0025】

次に、作用について説明する。
今、図５に示すリーチ式フォークリフト２０とパレット６１の関係を示す概略平面図、及び、図６に示すリーチ式フォークリフト２０とパレット６１の関係を示す概略側面図において、パレット６１の前面に対し所定の距離だけ離間した位置においてリーチ式フォークリフト２０が正対している。つまり、パレット６１の左右の穴６１ａに対し所定の距離だけ離間してリーチ式フォークリフト２０の左右のフォーク３１が位置しており、フォーク３１が前方に移動することにより左右のフォーク３１をパレット６１の左右の穴６１ａに差し込むことができる。

【0026】

図８，９に示すように、制御部５２は、カメラ画像から、線Ｌ１，Ｌ２，Ｌ３，Ｌ４，Ｌ５，Ｌ６を演算する。線Ｌ１は、図８の平面図においてパレット６１の前面となる線（パレット線）であり、線Ｌ２は、図８において左右のフォーク３１の先端を結ぶように延びる機台線であり、線Ｌ３は、図８において左のフォーク３１の中心から前方に延びるフォーク延長線であり、線Ｌ４は、図８において左のパレット穴６１ａの中心線であり、線Ｌ５は、図８においてフォーク３１のパレット穴６１ａへの地切り可能差込位置となる線（地切り可能線）である。なお、地切り可能差込位置とは、パレット６１を地切りするのに最低限必要な挿入量を確保できるフォーク３１の挿入位置である。線Ｌ６は、図９の側面図においてフォーク３１の高さ位置に相当するフォーク延長線であり、線Ｌ７は、図９においてパレット穴６１ａの高さ位置に相当する線（パレット線）である。

【0027】

制御部５２は、荷降ろしの際に、線Ｌ１，Ｌ２，Ｌ３，Ｌ４，Ｌ５，Ｌ６に基づいて、複数カメラで３次元計測し、その情報から操作者が見る画面から各種の情報を表示する。
図７に示すように、遠隔操作装置５０の制御部５２は、ステップＳ１００でカメラ画像からパレットを認識して、ステップＳ１０１において、図８に示すように、パレット線Ｌ１と機台線Ｌ２を比較する。制御部５２は、図７のステップＳ１０２でパレット線Ｌ１と機台線Ｌ２の差であるずれ量ΔＬ１を通知する。具体的には、表示部５４においてずれ量ΔＬ１を表示させる。遠隔操作装置５０の制御部５２はステップＳ１０３においてずれ量ΔＬ１が基準値内か否か判定してずれ量ΔＬ１が基準値内になるとステップＳ１０４で「マッチングＯＫ」を通知する。具体的には、表示部５４において「マッチングＯＫ」と表示させる。

【0028】

また、遠隔操作装置５０の制御部５２は、ステップＳ１０５において、図８に示すように、フォーク延長線Ｌ３とパレット穴（ポケット）の中心線Ｌ４を比較する。制御部５２は、図７のステップＳ１０６でフォーク延長線Ｌ３とパレット穴（ポケット）の線Ｌ４の差であるずれ量ΔＬ２を通知する。具体的には、表示部５４においてずれ量ΔＬ２を表示させる。遠隔操作装置５０の制御部５２はステップＳ１０７においてずれ量ΔＬ２が基準値内か否か判定してずれ量ΔＬ２が基準値内になるとステップＳ１０４で「マッチングＯＫ」を通知する。具体的には、表示部５４において「マッチングＯＫ」と表示させる。

【0029】

また、遠隔操作装置５０の制御部５２は、ステップＳ１０８において、図９に示すように、フォーク延長線Ｌ６とパレット穴（ポケット）の線（パレット線）Ｌ７を比較する。制御部５２は、図７のステップＳ１０９でフォーク延長線Ｌ６とパレット穴（ポケット）の線Ｌ７の差であるずれ量ΔＬ３を通知する。具体的には、表示部５４においてずれ量ΔＬ３を表示させる。遠隔操作装置５０の制御部５２はステップＳ１１０においてずれ量ΔＬ３が基準値内か否か判定してずれ量ΔＬ３が基準値内になるとステップＳ１０４で「マッチングＯＫ」を通知する。具体的には、表示部５４において「マッチングＯＫ」と表示させる。

【0030】

また、遠隔操作装置５０の制御部５２は、ステップＳ１１１において、図８に示すように、パレット線Ｌ１と地切り可能線Ｌ５を比較する。制御部５２は、図７のステップＳ１１２でパレット線Ｌ１と地切り可能線Ｌ５の差であるずれ量ΔＬ４を通知する。具体的には、表示部５４においてずれ量ΔＬ４を表示させる。遠隔操作装置５０の制御部５２はステップＳ１１３においてずれ量ΔＬ４が基準値内か否か判定してずれ量ΔＬ４が基準値内になるとステップＳ１０４で「マッチングＯＫ」を通知する。具体的には、表示部５４において「マッチングＯＫ」と表示させる。

【0031】

なお、ずれ量ΔＬ１，ΔＬ２，ΔＬ３，ΔＬ４が基準値内に到達したら数値で画面表示することにより通知するようにしてもよい。
このように、ずれ量検知部としての制御部５２は、カメラ４３ａ，４３ｂ，４３ｃ，４３ｄ，４３ｅ，４３ｆ，４３ｇ，４３ｈにて撮像された画像から画像認識により、フォーク３１のパレット穴６１ａへの地切り可能差込位置（地切り可能線Ｌ５）に対する現在位置のずれ量（ΔＬ４）を検知する。

【0032】

よって、容易にフォークの差込量を把握することができる。そして、操作者はずれ量を解消するように手動で操作する。
詳しく説明する。

【0033】

フォークリフトにカメラを搭載して画像を見て荷役作業の遠隔操作を行う際において、パレットとフォークが正対しているか分かりづらい。また、パレット穴とフォークの位置が合っているか分かりづらい（横方向及び高さ方向）。さらに、パレット（荷物）との距離感が分かりづらい。

【0034】

本実施形態においては、車両に搭載したカメラの画像から、パレットを外形、パレット穴（ポケット）の位置などの特徴点を捉え、画像認識させることにより、パレットとフォークに対しＸ，Ｙ，Ｚ方向の位置ずれ量と、位置ずれが解消したことを操作者に通知する。具体的には、ずれ量ΔＬ１，ΔＬ２，ΔＬ３，ΔＬ４を表示部５４で表示する。

【0035】

このような荷役支援による通知により、荷役作業の効率向上が図られる。
詳しくは、図８においてリーチ式フォークリフト２０の左右方向であるＸ及び前後方向であるＹ方向について、パレット線Ｌ１と機台線（Ｘ方向線）Ｌ２を比較して平行な状態（正対した状態）でのずれ量ΔＬ１を数値で画面表示することにより通知するとともに、ずれ量ΔＬ１が基準値内に到達したらマッチングＯＫを表示することにより通知する。また、図８においてフォーク延長線Ｌ３とパレット穴（ポケット）の中心線Ｌ４を比較してずれ量ΔＬ２を数値で画面表示することにより通知するとともに、ずれ量ΔＬ２が基準値内に到達したらマッチングＯＫを表示することにより通知する。

【0036】

図９においてリーチ式フォークリフト２０の上下方向であるＺ方向について、フォーク延長線Ｌ６とパレット線Ｌ７を比較してずれ量ΔＬ３を数値で画面表示することにより通知するとともに、ずれ量ΔＬ３が基準値内に到達したらマッチングＯＫを表示することにより通知する。

【0037】

図８においてリーチ式フォークリフト２０の前後方向であるＹ方向について、パレット線Ｌ１と地切り可能線Ｌ５を比較してずれ量ΔＬ４を数値で画面表示することにより通知するとともに、ずれ量ΔＬ４が基準値内に到達したらマッチングＯＫを表示することにより表示する。

【0038】

そのための構成としては、車両でのカメラ配置は、カメラ視点がカバーできる範囲に配置する。
このようにすることにより、画像を見て遠隔操作する場合において、操作性や作業効率が良くなる。

【0039】

上記実施形態によれば、以下のような効果を得ることができる。
（１）フォークリフト用遠隔操作システム１０の構成として、機台２１に荷役装置２２を備えるとともに車両通信部としての無線部４０を有するリーチ式フォークリフト２０と、車両通信部としての無線部４０と無線通信を行う操作装置通信部としての無線部５１を有し、リーチ式フォークリフト２０の走行及び荷役装置２２による荷役を遠隔操作するのに用いられる遠隔操作装置５０と、を備える。リーチ式フォークリフト２０の周囲を撮像するカメラ４３ａ，４３ｂ，４３ｃ，４３ｄ，４３ｅ，４３ｆ，４３ｇ，４３ｈと、カメラ４３ａ，４３ｂ，４３ｃ，４３ｄ，４３ｅ，４３ｆ，４３ｇ，４３ｈにて撮像された画像から画像認識により、フォーク３１のパレット穴６１ａへの地切り可能差込位置に対する現在位置のずれ量を検知するずれ量検知部としての制御部５２と、を備える。よって、容易にフォークの差込量を把握することが可能となり、フォーク差込の際の作業性向上を図ることが可能となる。

【0040】

（２）地切り可能差込位置（地切り可能線Ｌ５）に対する現在位置のずれ量（ΔＬ４）を操作者に通知する通知部としての制御部５２を更に備える。よって、容易にフォークの差込量を把握することができる。

【0041】

実施形態は前記に限定されるものではなく、例えば、次のように具体化してもよい。
○制御部５２は、地切り可能差込位置に対する現在位置のずれ量を、複数カメラ画像から俯瞰図（図８参照）を用いて操作者に通知するようにしてもよい。このように、操作者に通知する通知部は、複数カメラ画像から俯瞰図（図８参照）を用いて通知を行うことにより、容易にフォークの差込量を把握することができる。

【0042】

○ 位置ずれが解消したことの通知方法として、表示部５４の画面で範囲内になったら色が変わる（例えば、赤色に変わる）ことにより知らせてもよい。
○ 地切り可能差込位置に対する現在位置のずれ量の検知結果は表示部で表示させたが、音声で知らせてもよい。

【0043】

○ 図７の処理は遠隔操作装置５０の制御部５２が実行した。これに代わりリーチ式フォークリフト２０の制御部４１が行ってもよい。
○ずれ量を操作者に通知した後の処理として、ずれ量を解消すべく自動制御により正対位置からパレットにフォークを挿入するようにしてもよい。つまり、正対かつ、フォーク延長線Ｌ３がパレット穴（ポケット）６１ａに入った場合に、検出したパレット６１を操作者が選択すれば、自動制御（パレットに対するフォークの挿入）を開始する。具体的には、パレットを目標にフォーク高さ位置を調整するとともに、パレットを目標に収まるまでリーチアウトする。

【0044】

このように、地切り可能差込位置に対する現在位置のずれ量を解消するように自動制御する自動制御部としての制御部５２を更に備える。よって、フォーク差込の際の作業性向上を図ることが可能となる。

【0045】

○ インフラカメラを設置したシステム構成としてもよい。
○ フォークリフトはリーチ式フォークリフトであったが、これに限るものではなく、リーチ式フォークリフト以外のフォークリフトであってもよい。

【符号の説明】

【0046】

１０…フォークリフト用遠隔操作システム、２０…リーチ式フォークリフト、２１…機台、２２…荷役装置、３１…フォーク、４０…無線部、４３ａ，４３ｂ，４３ｃ，４３ｄ，４３ｅ，４３ｆ，４３ｇ，４３ｈ…カメラ、５０…遠隔操作装置、５１…無線部、５２…制御部、５４…表示部、６１ａ…パレット穴、Ｌ５…地切り可能線、ΔＬ４…ずれ量。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】