(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023108886
(43)【公開日】2023-08-07
(54)【発明の名称】荷役システム
(51)【国際特許分類】
B66F 9/07 20060101AFI20230731BHJP
B66F 9/24 20060101ALI20230731BHJP
【FI】
B66F9/07 S
B66F9/24 L
【審査請求】未請求
【請求項の数】9
【出願形態】OL
(21)【出願番号】P 2022010181
(22)【出願日】2022-01-26
(71)【出願人】
【識別番号】000002107
【氏名又は名称】住友重機械工業株式会社
(74)【代理人】
【識別番号】100090033
【弁理士】
【氏名又は名称】荒船 博司
(74)【代理人】
【識別番号】100093045
【弁理士】
【氏名又は名称】荒船 良男
(72)【発明者】
【氏名】佐藤 美徳
【テーマコード(参考)】
3F333
【Fターム(参考)】
3F333AA02
3F333DB10
3F333FA01
3F333FD14
3F333FE04
(57)【要約】
【課題】荷役作業の効率化を図る。
【解決手段】荷役システム1は、操作者により運転される荷役車両20と、制御サーバ30とを備える。荷役車両20の作業エリア10は、操作者が荷役車両20を走行させる走行エリア52と、操作者が遠隔から熟練者の補助を受けつつ荷役車両20に荷役を行わせる荷役エリア55とを含む。荷役車両20及び荷役エリア55の少なくとも一方には、荷役車両20を撮影する撮像手段が設けられ、制御サーバ30は、撮像手段が取得した画像情報に基づいて、荷役車両20が走行エリア52から荷役エリア55に進入したことを検知し、熟練者に報知する。
【選択図】
図1
【特許請求の範囲】
【請求項1】
操作者により運転される荷役車両と、制御手段と、を備え、
前記荷役車両の作業エリアは、前記操作者が前記荷役車両を走行させる第1領域と、前記操作者が遠隔から補助手段の補助を受けつつ前記荷役車両に荷役を行わせる第2領域と、を含み、
前記荷役車両及び前記第2領域の少なくとも一方には、前記荷役車両を撮影する撮像手段が設けられ、
前記制御手段は、前記撮像手段が取得した画像情報に基づいて、前記荷役車両が前記第1領域から前記第2領域に進入したことを検知し、前記補助手段に報知する、
荷役システム。
【請求項2】
前記補助手段は、前記操作者よりも前記荷役車両の操作に熟練した熟練者である、
請求項1に記載の荷役システム。
【請求項3】
前記制御手段は、前記熟練者と前記操作者の通話が可能な通信手段を備える、
請求項2に記載の荷役システム。
【請求項4】
前記制御手段は、前記熟練者が遠隔から前記荷役車両を操作可能な遠隔操作手段を備える、
請求項2又は請求項3に記載の荷役システム。
【請求項5】
個別の操作者に運転される複数の前記荷役車両を備え、
前記制御手段は、前記複数の荷役車両が互いに異なるタイミングで前記第2領域に進入するように、前記操作者に指示を出す、
請求項1から請求項4のいずれか一項に記載の荷役システム。
【請求項6】
前記第1領域は、2つの前記第2領域の間の領域であって、前記荷役車両が走行する領域である、
請求項1から請求項5のいずれか一項に記載の荷役システム。
【請求項7】
個別の操作者に運転される複数の前記荷役車両を備え、
前記制御手段は、
前記複数の荷役車両が、互いに異なるタイミングで前記2つの第2領域のうちの一方の第2領域に進入するとともに、
前記複数の荷役車両が、互いに異なるタイミングであり、かつ、前記一方の第2領域に進入するいずれのタイミングとも異なるタイミングで、他方の第2領域に進入するように、前記操作者に指示を出す、
請求項6に記載の荷役システム。
【請求項8】
前記荷役車両は、
孔部を有する荷役台の二次元画像を取得する2D撮像手段と、
前記荷役台の三次元画像を取得する3D撮像手段と、
前記二次元画像及び前記三次元画像の少なくとも一方に基づいて、前記荷役台の前記孔部を検出する検出手段と、
を備える、
請求項1から請求項7のいずれか一項に記載の荷役システム。
【請求項9】
前記検出手段は、前記三次元画像から前記荷役台の深度情報を取得し、当該深度情報に基づいて前記荷役台の位置及び姿勢を算出する、
請求項8に記載の荷役システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、荷役システムに関する。
【背景技術】
【0002】
一般に、フォークリフト等の荷役車両による荷役作業は、運転者(作業者)が各車両を個別に運転(操作)して行われる。
近年では無人車両の導入による作業の効率化なども提案されてきているが(例えば、特許文献1参照)、複雑な荷役作業等は未だに有人車両に頼らざるを得ない。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
本発明は、上記事情に鑑みてなされたもので、荷役作業の効率化を図ることを目的とする。
【課題を解決するための手段】
【0005】
本発明に係る荷役システムは、
操作者により運転される荷役車両と、制御手段と、を備え、
前記荷役車両の作業エリアは、前記操作者が前記荷役車両を走行させる第1領域と、前記操作者が遠隔から補助手段の補助を受けつつ前記荷役車両に荷役を行わせる第2領域と、を含み、
前記荷役車両及び前記第2領域の少なくとも一方には、前記荷役車両を撮影する撮像手段が設けられ、
前記制御手段は、前記撮像手段が取得した画像情報に基づいて、前記荷役車両が前記第1領域から前記第2領域に進入したことを検知し、前記補助手段に報知する構成とした。
【発明の効果】
【0006】
本発明によれば、荷役作業の効率化を図ることができる。
【図面の簡単な説明】
【0007】
【
図1】実施形態に係る荷役システムを示す図である。
【
図2】実施形態に係る荷役システムの概略の制御構成を示すブロック図である。
【
図3】実施形態に係る荷役処理の流れを示すフローチャートである。
【
図4】実施形態に係る荷役処理における複数の荷役車両の移動タイミングの一例を示すタイミングチャートである。
【
図5】実施形態に係る荷役処理におけるパレットの画像処理を説明するための図である。
【
図6】実施形態に係る荷役処理における複数の荷役車両の移動タイミングの他の例を示すタイミングチャートである。
【発明を実施するための形態】
【0008】
以下、本発明の実施形態について、図面を参照して詳細に説明する。
【0009】
[荷役システムの構成]
図1は、本実施形態に係る荷役システム1を示す図である。
この図に示すように、荷役システム1は、複数(本実施形態では3台)の荷役車両20により、作業エリア10において荷取エリア51の荷Lを駐車エリア54の複数の搬送車両(例えばトラック)Tに積み込むシステムである。本実施形態の荷Lは、特に限定はされないが、パレット(荷役台)70上に少なくとも1つの積み荷が載置されたものである。
【0010】
荷役システム1の作業エリア10は、荷取エリア51、走行エリア52、荷積みエリア53、駐車エリア54を含む。
このうち、荷取エリア51は、例えば倉庫などであって、多数の荷Lが収納・保管されたエリアである。本実施形態の荷取エリア51では、荷役車両20による荷取作業が行われる。
走行エリア52は、荷取エリア51と荷積みエリア53との間のエリア(荷取エリア51と荷積みエリア53を結ぶエリア)であって、荷役車両20が走行するエリアである。走行エリア52は、荷取エリア51及び荷積みエリア53と一部が重複していてもよい。
荷積みエリア53は、荷役車両20により、搬送車両Tの荷台に荷Lを積み込む荷積み作業が行われるエリアである。
駐車エリア54は、搬送車両Tが駐車されるエリアであり、荷積みエリア53と一部が重複している。
【0011】
作業エリア10のうち、荷取エリア51と荷積みエリア53は、荷役車両20による荷役が行われる荷役エリア55となっている。
本明細書において、荷役車両20による「荷役」とは、荷役車両20が荷Lに対して行う荷取り、荷積み、荷下ろし等をいい、本実施形態では荷役エリア55で行われる荷役車両20の動作をいう。また、荷役車両20による「荷役作業」とは、荷役に加えて、それに付随する荷役車両20の動作(荷役のための走行、荷Lの搬送等)を含む。
【0012】
また、荷役システム1の各エリア51~54は、複数の荷役車両20(第1荷役車両20a~第3荷役車両20c)に対応した複数(本実施形態では3つ)の作業ラインに分割されている。以下、各エリア51~54やその設備(後述の第1撮影カメラ61及び第2撮影カメラ62)に対し、各荷役車両20に対応した符号「a」~「c」を末尾に付して説明する場合がある。
なお、荷役システム1では、複数の搬送車両Tと、それに対して荷役を行う複数の荷役車両20とが対応付けられていればよく、各エリア51~54が複数の作業ラインに対応して区画されていなくともよい。例えば、1つの倉庫(荷取エリア51)から複数の搬送車両Tに荷Lが搬出されることとしてもよいし、複数の走行エリア52が互いに重複していてもよい。
【0013】
図2は、荷役システム1の概略の制御構成を示すブロック図である。
この図に示すように、荷役システム1は、第1撮影カメラ61と、第2撮影カメラ62と、複数の荷役車両20と、制御サーバ30とを備えている。
【0014】
第1撮影カメラ61は、各荷取エリア51に設けられ、当該荷取エリア51における荷役車両20の映像を取得して、制御サーバ30に出力する。ただし、第1撮影カメラ61は、取得した映像から複数のうちのいずれの荷役車両20かを検出可能であれば、荷取エリア51全体で一台だけであってもよい。
第2撮影カメラ62は、各荷積みエリア53に設けられ、当該荷積みエリア53における荷役車両20の映像を取得して、制御サーバ30に出力する。ただし、第2撮影カメラ62は、取得した映像から複数のうちのいずれの荷役車両20かを検出可能であれば、荷積エリア53全体で一台だけであってもよい。
【0015】
荷役車両20は、荷の搬送、荷の昇降及び荷の受渡し等が可能な車両であり、例えば軌条等を用いずに路上を走行できるフォークリフト等である。荷役車両20は、操作者(作業者)による直接搭乗した状態での手動運転(操作)と、遠隔からの遠隔運転(操作)とが可能に構成されている。荷役車両20に搭乗する操作者は、本実施形態では、荷役車両20の操作に熟練していない人間(初心者を含む)である。
具体的に、各荷役車両20は、駆動部21、操作部22、表示部28、位置計測装置23、撮影部24、通信部25、記憶部26、制御部27を備える。
【0016】
駆動部21は、荷役車両20の各種駆動源である走行モータ、操舵モータ及び荷役モータ(いずれも図示省略)を含む。走行モータは、車輪のうちの駆動輪を駆動する。操舵モータは、車輪のうちの操舵輪を回転(操舵動作)させる。荷役モータは、荷Lを保持する保持部(例えばフォーク)に昇降や傾倒等の各動作を行わせる駆動源である。
操作部22は、運転者が各種操作を行う操作手段である。操作部22は、例えばハンドルやペダル、荷役レバー(リフトレバー、チルトレバー、リーチレバーを含む)、各種ボタン等を含み、これらの操作内容に応じた操作信号を制御部27に出力する。
表示部28は、例えば液晶ディスプレイ、有機エレクトロルミネッセンスディスプレイその他のディスプレイである。表示部28は、制御部27から入力される表示信号に基づいて各種情報を表示する。
【0017】
位置計測装置23は、少なくとも走行エリア52における荷役車両20自身の位置を計測するものである。本実施形態の位置計測装置23は、光学センサを備えており、走行エリア52の各所に配置されたリフレクタ(マーカ)を光学センサで検出して、予め設定されているリフレクタの配置情報と照合することで、荷役車両20の位置を計測する。
ただし、位置計測装置23は、荷役車両20に搭載した各種センサにより当該荷役車両20の位置を計測できるものであればよく、上記の構成に限定されない。例えば、走行距離センサと走行方向を計測するセンサ(慣性計測装置等)とを用い、微少時間に走行した距離と方向とを逐次積算して位置を計測するものなどでもよい。
【0018】
撮影部24は、荷役車両20の前方の映像を撮影するものである。より詳しくは、撮影部24は、深度(距離)情報を含む画像を取得可能なものであり、本実施形態では、三次元の点群データを含む画像が得られるRGB-Dカメラ(デプスカメラ)である。つまり、撮影部24は、三次元情報とRGB画像(二次元画像)とが取得可能なものである。
なお、撮影部24は、撮影対象の二次元画像と、深度情報を含む三次元画像とを取得できるものであればよい。すなわち、撮影部24は、撮影対象の二次元画像を取得する手段と、三次元画像を取得する手段とを個別に備えるものであってもよい。
【0019】
通信部25は、制御サーバ30との間で各種情報を送受信可能な通信デバイスである。また、通信部25は、制御サーバ30との間で通話が可能となっている。
記憶部26は、RAM(Random Access Memory)やROM(Read Only Memory)等により構成されるメモリであり、各種のプログラム及びデータを記憶するとともに、制御部27の作業領域としても機能する。
制御部27は、CPU(Central Processing Unit)等により構成され、荷役車両20各部の動作を制御する。具体的に、制御部27は、操作部22の操作内容等に基づいて駆動部21を動作させたり、記憶部26に予め記憶されているプログラムを展開し、展開されたプログラムと協働して各種処理を実行したりする。
【0020】
制御サーバ30は、荷役システム1を中央制御するものである。制御サーバ30は、端末装置とクラウドサーバで構成されるものであってもよい。
具体的に、制御サーバ30は、操作部31、表示部32、遠隔操作部33、通信部34、記憶部36、制御部37を備える。
【0021】
操作部31は、操作者が制御サーバ30を動作させるための各種操作を行う操作手段であり、例えばマウスやキーボード等のポインティングデバイスを含む。
表示部32は、例えば液晶ディスプレイ、有機エレクトロルミネッセンスディスプレイその他のディスプレイである。表示部32は、制御部37から入力される表示信号に基づいて各種情報を表示し、本実施形態では、荷役車両20の撮影部24や、作業エリア10の第1撮影カメラ61及び第2撮影カメラ62で撮影された映像等を表示する。なお、表示部32は、操作部31の一部を兼ねるタッチパネルであってもよい。
【0022】
遠隔操作部33は、制御サーバ30から複数の荷役車両20を操作するためのものである。遠隔操作部33は、例えばハンドルやペダル、荷役レバー(リフトレバー、チルトレバー、リーチレバーを含む)、各種ボタン等を含み、これらの操作内容に応じた操作信号を制御部37に出力する。なお、遠隔操作部33は、複数の荷役車両20を遠隔操作できるものであればよく、例えば制御サーバ30から独立した構成であってもよい。また、遠隔操作部33は、タッチパネルやゲームコントローラ(主に十字キーとボタンで構成)を含むものでもよい。
【0023】
通信部34は、複数の荷役車両20との間で各種情報を送受信可能な通信デバイスである。また、通信部34は、複数の荷役車両20との間で通話が可能となっている。
記憶部36は、RAM(Random Access Memory)やROM(Read Only Memory)等により構成されるメモリであり、各種のプログラム及びデータを記憶するとともに、制御部37の作業領域としても機能する。
制御部37は、CPU(Central Processing Unit)等により構成され、制御サーバ30各部の動作を制御する。具体的に、制御部37は、操作部31の操作内容等に基づいて、記憶部36に予め記憶されているプログラムを展開し、展開されたプログラムと協働して各種処理を実行したりする。
【0024】
[荷役システムの動作]
続いて、複数の荷役車両20により荷取エリア51の荷Lを複数の搬送車両Tに積み込んで搬出する荷役処理を実行するときの荷役システム1の動作について説明する。
図3は、この荷役処理の流れを示すフローチャートであり、
図4は、荷役処理における複数の荷役車両20の移動タイミングの一例を示すタイミングチャートである。
荷役処理は、制御サーバ30の制御部37が記憶部36から該当するプログラムを読み出して展開することで実行される。この荷役処理は、搬送車両Tが駐車エリア54に停車したことが、第2撮影カメラ62等の検知手段によって検知されるか、搬送車両Tの運転手等の操作によって制御サーバ30に報知されるか等した場合に、実行されることとしてもよい。
ここでは、荷役車両20の操作経験の少ない操作者が個別に複数の荷役車両20を運転し、操作者よりも荷役車両20の操作に熟練した一人の熟練者が、制御サーバ室(監視室)で各操作者の作業内容を遠隔監視しているものとする。
【0025】
図3に示すように、荷役処理が実行されると、まず制御サーバ30の制御部37は、操作者又は熟練者の操作に基づいて、走行エリア52と荷役エリア55(荷取エリア51、荷積みエリア53)を設定する(ステップS1)。
このステップでは、操作者は、各荷役車両20について、対応する走行エリア52における荷取エリア51側と荷積みエリア53側との停止位置等を指定し、これら停止位置間の経路として荷役車両20の走行経路を設定する。
【0026】
次に、複数の荷役車両20での荷役作業が開始されると(ステップS2)、制御部37は、複数の荷役車両20が互いに異なるタイミングで荷役エリア55へ進入するように、各操作者に指示を出す(ステップS3)。
具体的に、制御部37は、各荷役車両20の位置や速度に基づいて荷役エリア55への進入タイミングを予測する。荷役車両20の位置や速度は、当該荷役車両20が位置計測装置23により自車位置を計測して制御サーバ30に送信した情報から得られる。そして、予測した進入タイミングが複数の荷役車両20で重なる場合、制御部37は、
図4に示すように、複数の荷役車両20がいずれの荷役エリア55にも互いに異なるタイミングで進入するように、該当する荷役車両20の操作者に対し、速度や経路、又は進入タイミングの変更についての指示内容を当該荷役車両20の表示部28に画像又は音声で出力させる(例えば「速度を**km以下に落とせ」、「**分後に荷取エリアに到着せよ」等)。
これにより、複数の荷役車両20は、荷役エリア55での荷役を互いに異なるタイミングで行う。したがって、荷役エリア55で操作者の操作をサポートする熟練者の負担を軽減できる。
【0027】
次に、
図3に示すように、制御部37は、いずれかの荷役車両20が走行エリア52から荷役エリア55(荷取エリア51、荷積みエリア53)に進入したか否かを判定する(ステップS4)。
ここでは、制御部37は、荷取エリア51に設置された第1撮影カメラ61と、荷積みエリア53に設置された第2撮影カメラ62とからの映像に基づいて、当該映像の画像処理(又は表示部32を通じた操作者の目視)により、各荷役車両20の荷取エリア51又は荷積みエリア53への進入を検知する。
そして、いずれの荷役車両20も荷役エリア55に進入していないと判定した場合(ステップS4;No)、制御部37は、当該ステップS4を繰り返す。
【0028】
また、ステップS4において、いずれかの荷役車両20が荷役エリア55に進入したと判定した場合(ステップS4;Yes)、制御部37は、荷役車両20が走行エリア52から荷役エリア55に進入したことを熟練者に報知する(ステップS5)。この報知態様は特に限定されず、例えば表示部32に報知画像(又は音声)を出力させてもよいし、熟練者の待機場所に設置した回転灯を点灯させたりしてもよい。
【0029】
次に、制御部37は、荷役車両20が進入した荷役エリア55のカメラ映像を表示部32に表示させる(ステップS6)。ここで表示させるカメラ映像(画像)は、荷役エリア55に設置された撮影カメラ61、62の撮影画像と、荷役車両20に搭載された撮影部24の撮影画像との少なくとも一方を含めばよい。
【0030】
そして、熟練者は、表示されたカメラ映像を見ながら必要に応じて操作者への補助を行い、操作者は、熟練者の補助を受けながら荷役エリア55での荷役を実行する(ステップS7)。
ここで、熟練者による操作者への「補助」とは、監視、アドバイス、遠隔操作の少なくとも1つを含む。具体的には、カメラ映像を通じた作業内容の監視や、通信部25、34を通じた操作者との通話(会話)による作業のアドバイス(助言)、遠隔操作部33による荷役車両20の遠隔操作である。このうち、遠隔操作は、操作者からの要請(又は熟練者の判断)により荷役車両20が手動操作から切り替えられ、熟練者がカメラ映像を見ながら遠隔操作部33を操作することで実行される。
【0031】
なお、荷取エリア51で荷取作業を行う場合に、パレット70の画像からその位置及び姿勢を算出して、荷取作業を補助してもよい。
具体的に、まず荷役車両20の制御部27は、操作者の操作に基づいて、撮影部24を動作させ、深度情報を含むパレット70の画像(三次元の点群データを含む画像)を取得する。つまり、ここでは、深度情報を含む三次元画像と、これに対応するRGB画像(二次元画像)とを取得する。取得した画像は記憶部26に記憶される。これにより、
図5(a)に示すようなパレット70の画像が得られる。なお、所定の撮影タイミングで定期的に荷役車両20前方の画像を取得し、その画像からパレット70を検出することとしてもよい。
次に、制御部27は、取得した画像(深度情報を含まないRGB画像(二次元画像))から、パレット70の側面71を含む部分を対象領域として抽出する。この抽出手法は、特に限定はされないが、例えば撮影された画像からパレット70の側面71が写っている領域を含む矩形の範囲の画像部分を特定して出力するように学習されたニューラルネットワークが利用される。これにより、パレット70の1つの側面71を囲う矩形の画像部分Gが抽出される。
次に、制御部27は、対象領域として抽出された画像部分Gから、局所点群を抽出する。つまり、このステップでは、画像部分G内の側面71に含まれる点群データが深度情報として抽出される。
次に、制御部27は、抽出した点群データから平面を抽出する。側面71に含まれる点群データに平面をフィッティングすることで、
図5(b)に示すように、パレット70の特徴部分として、側面71に対応した平面部分Gaが得られる。この平面部分Gaの向きにより、パレット70の姿勢が得られる。ここで、パレット70の「特徴部分」とは、フォークによるパレット70の保持に関係する部分をいう。
次に、制御部27は、側面71の画像部分Gから、2つの孔部72を抽出(検出)する。ここでは、画像部分Gのうち、点群データを含まない部分として、孔部72に対応する孔部領域Gbが抽出される。そして、制御部27は、得られた孔部領域Gbの位置を正として、必要に応じてパレット70全体の位置を算出して修正する。それから、制御部27は、各孔部領域Gbの位置(例えば中心位置等)を算出する。
そして、制御部27は、荷Lを保持する保持部(例えばフォーク)の孔部72への挿入可否を判定し、その結果を操作者に報知する。これにより、遠隔操作であっても、荷取作業をより容易に行うことができる。
なお、パレット70の側面71のうち、孔部72を画成する柱状部73を画像から抽出し、その間の部分として孔部72を求めてもよい。また、二次元画像と三次元画像は双方を使用しなくともよく、これらのうち少なくとも一方に基づいてパレット70の孔部72が検出されればよい。
【0032】
次に、
図3に示すように、制御部37は、操作者又は熟練者の操作に基づいて、ステップS7の荷役が終了したか否かを判定する(ステップS8)。
ここでは、制御部37は、例えば、操作者による操作部22への所定の終了操作等により、ステップS7の荷役が終了したことを検知する。
そして、ステップS7の荷役が終了しないと判定した場合(ステップS8;No)、制御部37は、当該ステップS8を繰り返す。
【0033】
また、ステップS8において、ステップS7の荷役が終了したと判定した場合(ステップS8;Yes)、制御部37は、荷役処理を終了させるか否かを判定する(ステップS9)。そして、終了させないと判定した場合には(ステップS9;No)、上述のステップS3へ処理を移行し、走行エリア52の走行と荷役エリア55の荷役とを繰り返す。
一方、例えば全ての荷Lが搬出された等により、荷役処理を終了させると判定した場合には(ステップS9;Yes)、制御部37は、荷役処理を終了させる。
【0034】
[本実施形態の技術的効果]
以上のように、本実施形態によれば、荷役車両20の作業エリア10は、操作者が荷役車両20を走行させる走行エリア52と、操作者が遠隔から熟練者の補助を受けつつ荷役車両20に荷役を行わせる荷役エリア55とを含み、荷役エリア55のカメラ映像に基づいて、荷役車両20が荷役エリア55に進入したことが検知され、熟練者に報知される。
つまり、単純に走行するだけの走行エリア52では操作者が荷役車両20を走行させ、相対的に作業難度の高い荷役エリア55では熟練者が操作者を補助する。また、荷役車両20の荷役エリア55への進入は熟練者に速やかに報知される。これにより、荷役エリア55での作業難度を緩和し、経験の浅い操作者を使用して効率的に作業を行うことができるため、熟練者が少ない場合でも質の高い作業を実行できる。したがって、従来に比べて荷役作業の効率化を図ることができる。
【0035】
また本実施形態によれば、熟練者による操作者への補助は、通話(アドバイス)や遠隔操作を含む。これにより、操作者が状況に応じた補助を受けることができるため、作業を効率的に実行することができ、また操作者の訓練にもなる。
【0036】
また本実施形態によれば、複数の荷役車両20が、いずれの荷役エリア55にも互いに異なるタイミングで進入するようにスケジューリングされる。すなわち、複数の荷役車両20は、互いに異なるタイミングで一方の荷役エリア55に進入するとともに、互いに異なるタイミングであり、かつ、一方の荷役エリア55に進入するいずれのタイミングとも異なるタイミングで他方の荷役エリア55に進入するように、操作者が指示を受ける。
これにより、複数の荷役エリア55で操作者を補助する熟練者は一人で足りる。つまり、熟練者一人で複数の荷役車両20による荷役作業の補助を行うことができる。
【0037】
また本実施形態によれば、パレット70の画像に基づいてパレット70の孔部72が検出されるので、荷取作業をより容易に行うことができる。
また、パレット70の二次元画像と三次元画像の少なくとも一方に基づいて、パレット70の孔部72が検出されるので、三次元データのみに基づく場合に比べ、演算処理のロバスト性を高めることができる。
【0038】
また本実施形態によれば、画像(三次元画像)からパレット70の深度情報(三次元点群データ)が取得され、RGB画像(二次元画像)から孔部72を含む対象領域が抽出される。そして、この対象領域の深度情報に基づいて、パレット70の位置及び姿勢が算出される。
これにより、取得された画像のうち、孔部72を含む対象領域についての三次元点群データの演算処理だけで、パレット70の位置及び姿勢を算出できる。したがって、取得した画像全体について三次元点群データの演算処理を行う場合に比べ、演算コストを低減し、演算レートを向上できる。
【0039】
[その他]
以上、本発明の実施形態について説明したが、本発明は上記の実施形態(変形例含む)に限られない。
例えば、上記実施形態では、荷役処理のステップS3において、複数の荷役車両20がいずれの荷役エリア55にも互いに異なるタイミングで進入するように移動をスケジューリングされることとした。しかし、複数の荷役車両20は、同種の荷役エリア55に対して互いに異なるタイミングで進入するように指示されればよい。つまり、
図6に示すように、異なる荷役車両20が、重複するタイミングで異なる荷役エリア55(荷取エリア51と荷積みエリア53)に進入してもよい。このような場合でも、荷取エリア51と荷積みエリア53での荷役の補助を異なる熟練者が行えばよく、つまり熟練者二人で複数の荷役車両20による荷役作業の補助を行うことができる。
さらに言えば、複数の荷役車両20は、重複するタイミングで荷役エリア55に進入してもよい。この場合、熟練者は、例えば先に進入した荷役車両20から順番に補助を行うなどすればよい。
【0040】
また、上記実施形態では、荷役処理のステップS4において、荷役車両20が走行エリア52から荷役エリア55に進入したことを、作業エリア10に設けた第1撮影カメラ61又は第2撮影カメラ62によって検知することとした。しかし、荷役エリア55への荷役車両20の進入は、作業エリア10に設けた他の検知手段(例えば光学センサ等)によって検知してもよいし、荷役車両20に設けた検知手段(例えば位置情報や距離情報等に基づく検知手段、又は撮影部24)が取得した情報に基づいて検知してもよいし、これらを併用してもよい。
【0041】
また、上記実施形態の荷役処理では、熟練者が遠隔(監視室)で待機して操作者の補助を行うこととしたが、熟練者は制御サーバ30から離れた荷役エリア55の付近で待機していてもよい。この場合、熟練者が行う操作者への補助には、操作者に代わって荷役車両20に搭乗して行う手動操作を含む。
【0042】
また、荷役エリア55での作業に、操作者が補助を受けずに単独で行うものを含んでもよい。例えば、荷積みエリア53での搬送車両Tへの荷役は熟練者による補助を受け、相対的に簡単な作業である設備側(荷取エリア51)での荷役は操作者が単独で(補助なしで)行ってもよい。
また、荷積みエリア53での荷役は、搬送車両Tと荷役車両20とが対応していなくともよい。例えば1台の搬送車両Tに対して複数の荷役車両20が荷役を行ってもよい。
【0043】
また、上記実施形態では、倉庫である荷取エリア51の荷Lを搬送し、荷積みエリア53で搬送車両Tに荷積みして搬出する荷役作業を行うこととした。しかし、荷役システム1が管理する荷役作業は、荷役エリア55で荷役が行われるものであればよく、例えば、搬送車両Tが積んできた荷Lを搬送し、倉庫(荷取エリア51)に荷下ろしして搬入する荷役作業等であってもよい。
【0044】
また、上記実施形態では、荷役車両20に搭乗する操作者が、(荷役エリア55での)荷役車両20の操作に熟練していない人間(初心者を含む)であるとしたが、補助を行う熟練者よりも相対的に当該操作に熟練していない者であればよい。換言すれば、熟練者は、搭乗する操作者よりも荷役エリア55での荷役車両20の操作に熟練している者(例えば作業スピートの早い者)であればよい。
【0045】
また、上記実施形態では、荷役エリア55における操作者による荷役車両20の操作を補助する補助手段として、熟練者を挙げて説明した。しかし、本発明に係る補助手段は、熟練者に限定されず、例えば人工知能(AI)等の情報処理手段を含む。すなわち、例えば制御サーバ30に搭載された情報処理手段が、画像処理等により荷役車両20の状況を認識し、通信部34や遠隔操作部33を通じて操作者を補助することとしてもよい。
【0046】
また、本発明に係る荷役車両は、遠隔からの補助が可能なものあれば、フォークリフトに限定されない。
また、本発明に係る荷役台は、荷が載置されるとともに荷役車両により保持されるものであれば、パレットに限定されず、すのこなどを含む。
その他、上記実施形態で示した細部は、発明の趣旨を逸脱しない範囲で適宜変更可能である。
【符号の説明】
【0047】
1 荷役システム
10 作業エリア
20 荷役車両
24 撮影部(撮像手段)
27 制御部
30 制御サーバ(制御手段)
31 操作部
32 表示部
33 遠隔操作部(遠隔操作手段)
34 通信部(通信手段)
37 制御部
52 走行エリア(第1領域)
55 荷役エリア(第2領域)
61 第1撮影カメラ(撮像手段)
62 第2撮影カメラ(撮像手段)
70 パレット(荷役台)
71 側面
72 孔部
73 柱状部
G 画像部分
Ga 平面部分
Gb 孔部領域
L 荷