特許 7057053 荷役システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2022-04-11

(45)【発行日】2022-04-19

(54)【発明の名称】荷役システム

(51)【国際特許分類】

   B66F 9/075 20060101AFI20220412BHJP

   B66F 9/24 20060101ALI20220412BHJP

【ＦＩ】

B66F9/075 J

B66F9/24 L

【請求項の数】 6

(21)【出願番号】P 2021045868

(22)【出願日】2021-03-19

【審査請求日】2021-03-24

(73)【特許権者】

【識別番号】000232807

【氏名又は名称】三菱ロジスネクスト株式会社

(74)【代理人】

【識別番号】110000475

【氏名又は名称】特許業務法人みのり特許事務所

(72)【発明者】

【氏名】寺尾 良平

【審査官】加藤 三慶

(56)【参考文献】

【文献】特開２００８－１４３７０１（ＪＰ，Ａ）

【文献】特開２０１８－１４７０５５（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１３／０１８１８２３（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１４／００１９００５（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０２０／０４１０９６３（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ６６Ｆ ９／００－ １１／０４

(57)【特許請求の範囲】

【請求項1】

収納棚に設置され、前記収納棚に隣接する第１通路を撮像し、第１画像を生成する設置カメラと、
前記収納棚に隣接し前記第１通路と交差する第２通路から前記収納棚、前記収納棚に収納された荷およびパレットまたはそのいずれかに向かって投影すべき第２画像を、前記第１画像から抽出する画像抽出部と、
荷役車と、
前記荷役車に設けられ、前記第２画像を前記第２通路から前記収納棚、前記荷および前記パレットまたはそのいずれかに向かって投影し、透過画像を前記収納棚、前記荷および前記パレットまたはそのいずれかに表示させるプロジェクタと、
前記荷役車に設けられ、表示された前記透過画像を撮像し、投影画像を生成する投影画像カメラと、
前記第２画像の各画素の各色成分の各輝度と、前記投影画像の各画素の各色成分の各輝度とに基づいて、前記第２画像の各画素の各色成分の各輝度の補正係数を出力する補正係数出力部と、
前記補正係数に基づいて、前記第２画像の各画素の各色成分の各輝度を補正する補正処理部と、を備え、
前記プロジェクタは、前記補正処理部によって補正された前記第２画像を投影する
ことを特徴とする荷役システム。

【請求項2】

前記補正係数出力部は、前記第２画像の各画素の各色成分の各輝度と、前記投影画像の各画素の各色成分の各輝度とが入力されると、前記第２画像の各画素の各色成分の補正係数を出力するよう学習された補正係数学習済みモデルを有する
ことを特徴とする請求項１に記載の荷役システム。

【請求項3】

前記荷役車の位置を検出する位置検出部をさらに備え、
前記画像抽出部は、前記荷役車の位置に基づいて、前記第１画像から前記第２画像を抽出する
ことを特徴とする請求項１または２に記載の荷役システム。

【請求項4】

前記位置検出部は、前記第１画像と前記荷役車の位置とが入力されると、前記第２画像を出力するように学習された画像抽出学習済みモデルを有する。
ことを特徴とする請求項３に記載の荷役システム。

【請求項5】

前記設置カメラおよび前記荷役車と通信可能なサーバをさらに備え、
前記サーバは、前記画像抽出部、前記補正係数出力部および前記補正処理部のいずれかまたは全てを有する
ことを特徴とする請求項１～４のいずれか１項に記載の荷役システム。

【請求項6】

前記荷役車は、前記画像抽出部、前記補正係数出力部および前記補正処理部のいずれかまたは全てを有する
ことを特徴とする請求項１～４のいずれか１項に記載の荷役システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、荷役車を備えた荷役システムに関する。

【背景技術】

【0002】

フォークリフトなどの荷役車は、収納棚が複数配置されたところで利用されることがある。この荷役車の運転者は、収納棚と収納棚との間の通路から移動するときには、その通路に交差する他の通路を往来する人や他の荷役車と衝突しないように細心の注意を払う必要がある。しかしながら、収納棚および収納棚に載置された荷によって他の通路への視界が遮られており、他の通路を往来する人や荷役車を確認することができない。

【0003】

そこで、例えば、特許文献１に開示のフォークリフト用安全装置では、フォークリフトに保安ランプを設け、保安ランプが照射するスポット光によってフォークリフトの接近を周辺の作業者に知らせ、荷役作業の安全性を高める。また、特許文献２に開示のフォークリフト安全装置では、音と光によって周辺の作業者に注意を喚起する。

【0004】

しかしながら、上記文献に記載の発明では、注意を喚起することはできても、運転者が走行の安全性を視覚的に確認することまではできなかった。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１８－１４９８２０号公報

【文献】特許第４６２３６３１号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

そこで、本発明が解決しようとする課題は、収納棚が配置された施設でも、荷役車の運転者が走行の安全性を視覚的に確認することができる荷役システムを提供することにある。

【課題を解決するための手段】

【0007】

上記課題を解決するために、本発明に係る荷役システムは、
収納棚に設置され、収納棚に隣接する第１通路を撮像し、第１画像を生成する設置カメラと、
収納棚に隣接し第１通路と交差する第２通路から収納棚、収納棚に収納された荷およびパレットまたはそのいずれかに向かって投影すべき第２画像を、第１画像から抽出する画像抽出部と、
荷役車と、
荷役車に設けられ、第２画像を第２通路から収納棚、荷およびパレットまたはそのいずれかに向かって投影し、透過画像を収納棚、荷およびパレットまたはそのいずれかに表示させるプロジェクタと、
荷役車に設けられ、表示された透過画像を撮像し、投影画像を生成する投影画像カメラと、
第２画像の各画素の各色成分の各輝度と、投影画像の各画素の各色成分の各輝度とに基づいて、第２画像の各画素の各色成分の各輝度の補正係数を出力する補正係数出力部と、
補正係数に基づいて、第２画像の各画素の各色成分の各輝度を補正する補正処理部と、を備え、
プロジェクタは、補正処理部によって補正された第２画像を投影する、ことを特徴とする。

【0008】

上記荷役システムは、例えば、
補正係数出力部が、第２画像の各画素の各色成分の各輝度と、投影画像の各画素の各色成分の各輝度とが入力されると、第２画像の各画素の各色成分の補正係数を出力するよう学習された補正係数学習済みモデルを有する。

【0009】

上記荷役システムは、好ましくは、
荷役車の位置を検出する位置検出部をさらに備え、
画像抽出部が、荷役車の位置に基づいて、第１画像から第２画像を抽出する。

【0010】

上記荷役システムは、例えば、
位置検出部が、第１画像と荷役車の位置とが入力されると、第２画像を出力するように学習された画像抽出学習済みモデルを有する。

【0011】

上記荷役システムは、例えば、
設置カメラおよび荷役車と通信可能なサーバをさらに備え、
サーバが、画像抽出部、補正係数出力部および補正処理部のいずれかまたは全てを有する。

【0012】

上記荷役システムは、例えば、
荷役車が、画像抽出部、補正係数出力部および補正処理部のいずれかまたは全てを有する。

【発明の効果】

【0013】

本発明の荷役車によれば、荷役車の運転者は、収納棚が配置された施設でも、走行の安全性を視覚的に確認することができる。

【図面の簡単な説明】

【0014】

【図1】本発明の一実施形態に係る荷役システムの概略全体図である。

【図2】設置カメラが生成した第１画像および画像抽出部が抽出した第２画像を示す図である。

【図3】図１に示された荷役車の側面図である。

【図4】図１に示された制御部の機能ブロック図である。

【図5】第２画像を投影され透過画像が表示された収納棚を示す図である。

【図6】修正された第２画像を投影され透過画像が表示された収納棚を示す図である。

【図7】本発明の別の実施形態に係る荷役システムの機能ブロック図である。

【発明を実施するための形態】

【0015】

以下、添付図を参照して、本発明の一実施形態に係る荷役システムＳについて説明する。図中のＸ軸は前後方向を示し、Ｙ軸は、左右方向を示し、Ｚ軸は、上下方向を示している。また、各軸は、互いに直交している。

【0016】

図１は、荷役システムＳの概略全体図である。荷役システムＳは、収納棚Ｑと、第１および第２通路と、設置カメラ１と、荷役車Ｃと、を備えている。

【0017】

収納棚Ｑは、棚板Ｑａと棚板Ｑａを支持するフレームＱｂとを有する。棚板Ｑａには、パレットＰ１が載置され、パレットＰ１には、荷Ｗ１が載置されている。収納棚Ｑは、例えば、施設内に配置されていてもよい。

【0018】

第１路面Ｒ１上の空間が第１通路であり、第２路面Ｒ２上の空間が第２通路である。第１および第２通路は、収納棚Ｑに隔てられ、互いに交差している。図１に示すように、第１通路では、通行人Ｍや他の荷役車が通行する通路でもよい。

【0019】

設置カメラ１は、本実施例では、２つのカメラ１ａ、１ｂによって構成されており、第１通路に隣接するフレームＱｂに配置されている。カメラ１ａ、１ｂは、第１通路を撮像するとともに第１画像Ｉ１ａ、Ｉ１ｂを生成する。第１画像Ｉ１は、第１画像Ｉ１ａ、Ｉ１ｂを含む画像である。図２は、カメラ１ａ、１ｂが生成した第１画像Ｉ１ａ、Ｉ１ｂを示している。本実施形態に係る設置カメラ１は、第１通路全体を撮像するように構成されているが単なる一例であって、例えば、第２通路と交差する交差点から遠く離れた場所を撮像しないよう構成されていてもよい。設置カメラ１によって生成された第１画像Ｉ１は、画像抽出部８１（図４参照）に出力される。

【0020】

荷役車Ｃは、図１および図３に示すように、車体２と、運転部３と、荷役装置４と、プロジェクタ６と、投影画像カメラ７と、制御部８と、を備えている。本実施形態では、荷役車Ｃは、有人のフォークリフトであるが単なる一例であって、例えば、有人無人兼用のフォークリフトであってもよい。

【0021】

車体２は、前後の車輪２０と、車体本体２１と、車体本体２１に設けられ上下に延在する４本のピラー２２と、ピラー２２上端に設けられ水平に延在するヘッドガード２３と、を有する。

【0022】

運転部３は、座席３０と、ハンドルやレバーなどを含む操作部３１を有している。運転者Ｄは、座席３０に座り操作部３１を操作して荷役車Ｃを運転するとともに荷役装置４を操作する。

【0023】

荷役装置４は、左右一対のマスト４０と、キャリッジ４２と、バックレスト４３と、左右一対のフォーク４４と、左右一対のリフトシリンダ４５と、を有している。マスト４０は、車体２の前方に設けられ上下に延在しており、キャリッジ４２は、マスト４０に昇降可能に連結されている。バックレスト４３およびフォーク４４は、キャリッジ４２に連結されており、キャリッジ４２は、リフトシリンダ４５によってマスト４０に沿って昇降させられる。

【0024】

荷役装置４は、フォーク４４によってパレットＰ２をすくい上げる。図１および図３に示すように、荷役車Ｃは、パレットＰ２とともにパレットＰ２に載置された荷Ｗ２を運搬する。図１に示された荷役車Ｃは、後方（矢印の方向）に向かって進んでいる。

【0025】

制御部８は、車体本体２１内に設けられており、図４に示すように、車体位置検出部８０と、画像抽出部８１と、補正係数出力部８２と、補正処理部８３と、を有する。

【0026】

車体位置検出部８０は、荷役車Ｃの位置を検出する。車体位置検出部８０は、公知の技術によって構成されていてもよい。車体位置検出部８０は、例えば、屋外では、ＧＰＳ信号を受信して荷役車Ｃの位置を検出し、屋内では、相対位置測位、および屋内の所定位置に設けられたマーカを読み取り位置を補正する位置補正方法を利用することにより、荷役車Ｃの位置を検出してもよい。車体位置検出部８０によって検出された荷役車Ｃの位置は、画像抽出部８１に出力される。

【0027】

画像抽出部８１は、画像抽出学習済みモデルを有する。画像抽出学習済みモデルは、第１画像Ｉ１と、荷役車Ｃの位置とが入力されると、プロジェクタ６が投影すべき画像（以下、「第２画像」という）Ｉ２を出力するよう予め学習させられている。

【0028】

画像抽出学習済みモデルは、例えば、ニューラルネットワークおよびディープラーニングによる教師あり学習によって、学習させられてもよい。具体的には、画像抽出学習済みモデルは、第１画像Ｉ１と、荷役車Ｃの位置とを入力データとし、第２画像Ｉ２を出力データとする組み合わせデータを教師データとして渡され、入力データと出力データとの相関関係を予め学習させられてもよい。この教師データとしての第２画像Ｉ２は、第２通路を走行中の荷役車Ｃの運転者Ｄが収納棚Ｑ、パレットＰ１および荷Ｗ１に投影された第２画像Ｉ２を見ると、まるで収納棚Ｑ、パレットＰ１および荷Ｗ１を透視して第１通路を見ているかのように錯覚するよう最適化されて生成されている。この画像抽出学習済みモデルの学習方法は、単なる一例であって、これに限定されるものではない。図２は、画像抽出部８１によって抽出された第２画像Ｉ２を示している。

【0029】

図３に示すように、プロジェクタ６は、ヘッドガードの下面に設けられており、図１に示すように、第２画像Ｉ２を収納棚Ｑ、パレットＰ１および荷Ｗ１に向かって投影し、透過画像Ｉ３を収納棚Ｑ、パレットＰ１および荷Ｗ１に表示させる。なお、プロジェクタ６の位置は、単なる一例であって、収納棚Ｑ、パレットＰ１および荷Ｗ１に向かって第２画像Ｉ２を適切に投影することができ、かつ、運転者Ｄや車体２が影となって投影を妨害される位置でなければ、特に限定されない。

【0030】

図５に示すように、収納棚Ｑ、パレットＰ１および荷Ｗ１に表示された透過画像Ｉ３は、第２画像Ｉ２と見た目上の色彩が異なる。これは、投影面が白一色のスクリーンとは異なることから投影面の反射特性が一定でないことや投影面自体の色の影響を受けているからである。また、収納棚Ｑ、パレットＰ１および荷Ｗ１は、汚れや剥がれが発生している場合があり、この場合にも透過画像Ｉ３の一部は、汚れや剥がれが発生している部分に表示される色がその他の面と異なって表示される。

【0031】

投影画像カメラ７は、ヘッドガード２３の下面においてプロジェクタ６に隣接して設けられており、収納棚Ｑ、パレットＰ１および荷Ｗ１に表示された透過画像Ｉ３を撮像し、投影画像Ｉ４を生成する。投影画像カメラ７の位置は、単なる一例であってこれに限定されない。投影画像Ｉ４は、補正係数出力部８２に出力される。

【0032】

補正係数出力部８２は、第２画像Ｉ２の各画素の各色成分の各輝度と、投影画像Ｉ４の各画素の各色成分の各輝度とに基づいて、第２画像Ｉ２の各画素の各色成分の各輝度の補正係数を出力する。本実施形態に係る補正係数出力部８２は、補正係数学習済みモデルを有している。出力された第２画像Ｉ２の各画素の各色成分の各輝度の補正係数は、補正処理部８３に出力される。

【0033】

補正係数学習済みモデルは、第２画像Ｉ２の各画素の各色成分の各輝度と、投影画像Ｉ４の各画素の各色成分の各輝度とが入力されると、第２画像Ｉ２の各画素の各色成分の各画素の補正係数を出力するよう予め学習させられている。補正係数学習済みモデルは、例えば、ニューラルネットワークおよびディープラーニングによる教師あり学習によって、学習させられてもよい。この場合、例えば、補正係数学習済みモデルは、投影画像Ｉ４の各画素の各色成分の各輝度と、第２画像Ｉ２の各画素の各色成分の各輝度との組み合わせを教師データとしてその相関関係を学習させられてもよい。

【0034】

補正処理部８３は、補正係数出力部８２から入力された補正係数に基づいて、第２画像Ｉ２の各画素の各色成分の各輝度を補正する。各画素の各色成分の各輝度が補正された第２画像Ｉ２は、プロジェクタ６に出力される。

【0035】

プロジェクタ６は、補正処理部８３によって補正された第２画像Ｉ２をあらためて収納棚Ｑ、パレットＰ１および荷Ｗ１に投影する。収納棚Ｑ、パレットＰ１および荷Ｗ１に表示された透過画像Ｉ３は、再び投影画像カメラ７によって撮像され、投影画像Ｉ４が生成される。さらに、補正係数出力部８２によってこの投影画像Ｉ４に対応する補正係数が出力され、補正処理部８３によって第２画像Ｉ２の各輝度が補正されプロジェクタ６に出力される。これら工程が繰り返されることにより、図６に示すように、より適切な透過画像Ｉ３が収納棚Ｑ、パレットＰ１および荷Ｗ１に表示される。これにより、運転者Ｄは、第２通路から第１通路を視覚的に確認できるので、収納棚Ｑが配置された施設でも走行の安全性を視覚的に確認することができる。

【0036】

以上、本発明の一実施形態に係る荷役システムＳについて説明したが、本発明に係る荷役システムＳは、これに限定されるものではない。例えば、本発明に係る荷役システムは、以下の変形例によって実施されてもよい。

【0037】

・補正係数出力部８２は、例えば、収納棚Ｑ、パレットＰ１および荷Ｗ１に対するプロジェクタ６の配光特性を取得し、この配光特性を用いて補正係数を出力してもよい。具体的には、制御部８は、配光特性を取得する配光特性取得部をさらに有する。プロジェクタ６は、第２画像Ｉ２を投影する前に１色からなる基準画像を収納棚Ｑ、パレットＰ１および荷Ｗ１に投影し、投影画像カメラ７は、この基準画像を撮像して投影画像Ｉ４を生成し、配光特性取得部に出力する。配光特性取得部は、投影画像Ｉ４の各画素の各色成分の各輝度を解析して正規化し、収納棚Ｑ、パレットＰ１および荷Ｗ１に対するプロジェクタ６の色成分ごとの配光特性を示す配向分布を作成する。補正係数出力部８２は、配光分布を用いて補正係数を出力する。これにより、収納棚Ｑ、パレットＰ１および荷Ｗ１の態様に適応された補正係数が出力される。

【0038】

・荷役車Ｃは、上記フォークリフトに限定されない。例えば、荷役車Ｃは、リーチ式フォークリフト、またはラムやスプレッダなどのアタッチメントが装備された荷役車でもよい。

【0039】

・設置カメラ１が有するカメラの数、プロジェクタ６が有するプロジェクタの数、投影画像カメラ７が有するカメラの数は、特に限定されない。設置カメラ１、プロジェクタ６および投影画像カメラ７はそれぞれ、複数のカメラによって撮像したり、複数のプロジェクタによって投影してもよい。

【0040】

・荷役システムＳは、設置カメラ１および荷役車Ｃと有線または無線で通信可能なサーバ１００をさらに備え、サーバ１００は、画像抽出部８１、補正係数出力部８２および補正処理部８３のいずれかまたは全てを有してもよい。図７に示すように、サーバ１００が画像抽出部８１、補正係数出力部８２および補正処理部８３のすべてを有する場合、設置カメラ１によって生成された第１画像Ｉ１は、サーバ１００の画像抽出部８１に出力され、サーバ１００の画像抽出部８１から抽出された第２画像Ｉ２は、荷役車Ｃのプロジェクタ６に出力される。そして、投影画像カメラ７によって生成された投影画像Ｉ４は、サーバ１００の補正係数出力部８２に出力され、サーバ１００の補正処理部８３によって補正された第２画像Ｉ２が荷役車Ｃのプロジェクタ６に出力される。この場合、荷役車Ｃは、画像抽出部８１、補正係数出力部８２および補正処理部８３を備えなくてもよい。

【符号の説明】

【0041】

Ｃ 荷役車
Ｄ 運転者
Ｗ１、Ｗ２ 荷
Ｐ１、Ｐ２ パレット
Ｒ１ 第１路面
Ｒ２ 第２路面
Ｉ１ 第１画像
Ｉ２ 第２画像
Ｉ３ 透過画像
１ 設置カメラ
２ 車体
２０ 車輪
２１ 車体本体
２２ ピラー
２３ ヘッドガード
３ 運転部
３０ 座席
３１ 操作部
４ 荷役装置
４０ マスト
４２ キャリッジ
４３ バックレスト
４４ フォーク
４５ リフトシリンダ
６ プロジェクタ
７ 投影画像カメラ
８ 制御部
８０ 車両位置検出部
８１ 画像抽出部
８２ 補正係数出力部
８３ 補正処理部

【要約】

【課題】収納棚が配置された施設でも、荷役車の運転者が走行の安全性を視覚的に確認することができる荷役システムを提供する。
【解決手段】荷役システムＳは、設置カメラ１と、荷役車Ｃと、を備える。設置カメラ１は、第１路面Ｒ１上の第１通路を撮像し、第１画像を生成する。荷役車Ｃは、第１画像から第２画像を抽出する画像抽出部と、第２画像を収納棚Ｑに投影し透過画像Ｉ３を表示させるプロジェクタと、収納棚Ｑに表示された透過画像Ｉ３から投影画像Ｉ４を生成する投影画像カメラと、第２画像の各画素の各色成分の各輝度と、投影画像Ｉ４の各画素の各色成分の各輝度とに基づいて、第２画像の各画素の各色成分の各輝度の補正係数を出力する補正係数出力部と、補正係数に基づいて第２画像の各画素の各色成分の各輝度を補正する補正処理部と、を備える。プロジェクタは、補正処理部によって補正された第２画像を収納棚Ｑに向かってあらためて投影する。
【選択図】図１

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】