特開 2023-177780 荷役車両及びその制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023177780

(43)【公開日】2023-12-14

(54)【発明の名称】荷役車両及びその制御方法

(51)【国際特許分類】

   B66F 9/24 20060101AFI20231207BHJP

【ＦＩ】

B66F9/24 Z

【審査請求】有

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2022090637

(22)【出願日】2022-06-03

(71)【出願人】

【識別番号】000232807

【氏名又は名称】三菱ロジスネクスト株式会社

(74)【代理人】

【識別番号】110000475

【氏名又は名称】弁理士法人みのり特許事務所

(72)【発明者】

【氏名】寺尾 良平

【テーマコード（参考）】

3F333

【Ｆターム（参考）】

3F333AA02

3F333AB13

3F333AE02

3F333CA30

3F333FA08

(57)【要約】

【課題】フォークリフトを運転するオペレータ以外の他の者に対しても荷役車両に関する情報を知らせることができるようにする。
【解決手段】オペレータＯが搭乗する荷役車両１であって、荷役車両１に関する情報Ｉを報知するための画像２００を投影する投影部２と、オペレータＯの視認性に基づいて、画像２００を路面Ｐ及び壁面Ｗのいずれに投影するかを決定する投影決定部４と、を備えている。荷役車両１は、さらに、路面Ｐ及び壁面Ｗを撮影する撮影部３を備え、投影決定部４は、撮影部３による撮影像を取得して決定する。
【選択図】図１

【特許請求の範囲】

【請求項1】

オペレータが搭乗する荷役車両であって、
前記荷役車両に関する情報を報知するための画像を投影する投影部と、
前記オペレータの視認性に基づいて、前記画像を路面及び壁面のいずれに投影するかを決定する投影決定部と、を備える
ことを特徴とする荷役車両。

【請求項2】

前記荷役車両は、さらに、前記路面及び壁面を撮影する撮影部を備え、
前記投影決定部は、前記撮影部による撮影像を取得して決定する
ことを特徴とする請求項１に記載の荷役車両。

【請求項3】

前記投影決定部は、
前記撮影像の色に関する色データ及び照度に関する照度データと、前記オペレータによる前記画像の視認性を示す視認性スコアとの間の関係に基づく教師データを収集する収集部と、
前記収集部に収集された前記教師データから機械学習を行い、前記機械学習により学習モデルを生成および記憶する学習モデル生成部と、
現時点の前記色データ及び前記照度データを所定時間ごとに取得する取得部と、
前記学習モデル生成部で生成された前記学習モデルに、前記取得部から取得される現時点の前記色データ及び前記照度データを入力することで、前記視認性スコアを前記学習モデルから取得する予測部と、
前記予測部によって取得される前記視認性スコアに基づいて、前記画像を前記路面及び壁面のいずれに投影するかを決定する決定部と、を備える
ことを特徴とする請求項２に記載の荷役車両。

【請求項4】

オペレータが搭乗する荷役車両の制御方法であって、
前記荷役車両は、
前記荷役車両に関する情報を前記オペレータに報知するための画像を投影する投影部を備え、
前記オペレータの視認性に基づいて、前記画像を路面及び壁面のいずれに投影するかを決定する投影決定ステップを含む
ことを特徴とする荷役車両の制御方法。

【請求項5】

さらに、前記路面及び壁面を撮影する撮影ステップを含み、
前記投影決定ステップは、前記撮影ステップによる撮影像を取得して決定する
ことを特徴とする請求項４に記載の荷役車両。

【請求項6】

さらに、前記撮影像の色に関する色データ及び照度に関する照度データと、前記オペレータによる前記画像の視認性を示す視認性スコアとの間の関係に基づく教師データを収集する収集ステップと、
前記収集ステップで収集された前記教師データから機械学習を行い、前記機械学習により学習モデルを生成および記憶する学習モデル生成ステップと、
現時点の前記色データ及び前記照度データを所定時間ごとに取得する取得ステップと、
前記学習モデル生成ステップで生成された前記学習モデルに、前記取得ステップから取得される現時点の前記色データ及び前記照度データを入力することで、前記視認性スコアを前記学習モデルから取得する予測ステップと、
前記予測ステップによって取得される前記視認性スコアに基づいて、前記画像を前記路面及び壁面のいずれに投影するかを決定する決定ステップと、を含む
ことを特徴とする請求項５に記載の荷役車両の制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、オペレータが搭乗する荷役車両及びその制御方法に関する。

【背景技術】

【0002】

一般的に、荷役車両であるフォークリフトは、オペレータが搭乗して走行運転及びフォーク操作を行うように構成されている。フォークリフトは、オペレータが搭乗する運転席に、モニタ装置が設けられており、モニタ装置に、フォークリフトに関する情報が表示されるようになっている（特許文献１等）。フォークリフトに関する情報、例えば、フォーク動作の情報、ライト照射状態の情報、荷役する荷物の情報、ブレーキ状態の情報などが、モニタ装置に表示される。

【0003】

ところで、オペレータはモニタ装置の表示を確認することでフォークリフトに関する情報を知ることができるが、フォークリフトの周囲で作業をしている作業者や、他のフォークリフトに搭乗しているオペレータなど、フォークリフトを操作しているオペレータ以外の他の者もフォークリフトに関する情報を知ることができれば、他の者がフォーク動作を把握して危険を回避したり、ライトの消し忘れやブレーキのかけ忘れをオペレータに知らせたりすることができる。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開平７－２４２４００号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

そこで、本発明が解決しようとする課題は、フォークリフトを操作しているオペレータ以外の他の者に対しても荷役車両に関する情報を知らせることができる荷役車両及びその制御方法を提供することである。

【課題を解決するための手段】

【0006】

上記の課題を解決するために、本発明に係る荷役車両は、オペレータが搭乗する荷役車両であって、荷役車両に関する情報を報知するための画像を投影する投影部と、オペレータの視認性に基づいて、画像を路面及び壁面のいずれに投影するかを決定する投影決定部と、を備えている。

【0007】

また、荷役車両は、さらに、路面及び壁面を撮影する撮影部を備えている。そして、投影決定部は、撮影部による撮影像を取得して決定することが望ましい。

【0008】

好ましくは、投影決定部は、撮影像の色に関する色データ及び照度に関する照度データと、オペレータによる画像の視認性を示す視認性スコアとの間の関係に基づく教師データを収集する収集部を備えている。さらに、投影決定部は、収集部に収集された教師データから機械学習を行い、機械学習により学習モデルを生成および記憶する学習モデル生成部と、現時点の色データ及び照度データを所定時間ごとに取得する取得部と、学習モデル生成部で生成された学習モデルに、取得部から取得される現時点の色データ及び照度データを入力することで、視認性スコアを学習モデルから取得する予測部と、予測部によって取得される視認性スコアに基づいて、画像を路面及び壁面のいずれに投影するかを決定する決定部と、を備えている。

【0009】

そして、本発明に係る荷役車両の制御方法は、オペレータが搭乗する荷役車両の制御方法であって、荷役車両は、荷役車両に関する情報をオペレータに報知するための画像を投影する投影部を備えている。そして、制御方法は、オペレータの視認性に基づいて、画像を路面及び壁面のいずれに投影するかを決定する投影決定ステップを含む。

【0010】

また、制御方法は、さらに、路面及び壁面を撮影する撮影ステップを含み、投影決定ステップは、撮影ステップによる撮影像を取得して決定することが好ましい。

【0011】

好ましくは、制御方法は、さらに、撮影像の色に関する色データ及び照度に関する照度データと、オペレータによる画像の視認性を示す視認性スコアとの間の関係に基づく教師データを収集する収集ステップを含んでいる。また、制御方法は、収集ステップで収集された教師データから機械学習を行い、機械学習により学習モデルを生成および記憶する学習モデル生成ステップと、現時点の色データ及び照度データを所定時間ごとに取得する取得ステップと、学習モデル生成ステップで生成された学習モデルに、取得ステップから取得される現時点の色データ及び照度データを入力することで、視認性スコアを学習モデルから取得する予測ステップと、予測ステップによって取得される視認性スコアに基づいて、画像を路面及び壁面のいずれに投影するかを決定する決定ステップと、を含む。

【発明の効果】

【0012】

本発明に係る荷役車両及びその制御方法は、上記構成を備えることによって、フォークリフトを操作しているオペレータ以外の他の者に対しても荷役車両に関する情報を知らせることができると共に、投影決定部が、オペレータの視認性に基づいて、路面又は壁面のいずれに投影するかを決定することで、荷役車両に関する情報を表現した画像を鮮明に投影することができる。

【図面の簡単な説明】

【0013】

【図1】フォークリフトを説明するための側面図である。

【図2】フォークリフトの構成を説明するためのブロック図である。

【図3】投影決定部の構成を説明するためのブロック図である。

【図4】投影決定部の制御方法を示すフローチャート図である。

【図5】フォークリフトから投影される画像を説明するための平面図である。

【発明を実施するための形態】

【0014】

以下、図面に基づいて、本発明に係る荷役車両及びその制御方法について説明する。

【0015】

図１のとおり、本実施形態では、荷役車両１は、カウンターウエイト式のフォークリフト１である。フォークリフト１は、オペレータＯが搭乗して操作するように構成されている。本実施形態では、フォークリフト１は、オペレータＯが操作することで、車体の走行、及びフォークの昇降を行うことができるように構成されている。

【0016】

図１及び図２の通り、フォークリフト１は、投影部２を備えている。投影部２は、オペレータＯや周囲の者に対して、フォークリフト１に関する情報Ｉを報知するための画像２００を投影するように構成されている。

【0017】

フォークリフト１に関する情報Ｉとは、例えば、フォーク動作の情報、ライト照射状態の情報、荷役する荷物の情報、ブレーキ状態の情報、操作レバー状態の情報などを含む。フォークリフト１は、情報Ｉを取得する情報取得部６を備えている。情報取得部６は、フォークを昇降するリフト装置、ライト、ブレーキ、フォークの荷重センサ等によって、これらの動作及び状態などを取得するように構成されている。

【0018】

図５（Ａ）の通り、例えば、フォークリフト１のフォークが上昇している間に、フォークが上昇中であることを表現した画像２００が投影部２から投影され、また、図５（Ｂ）の通り、フォークリフト１のフォークで持ち上げた荷物の重量が許容荷重を超えている場合、過積載であることを表現した画像２００が投影部２から投影されて、フォークリフト１に搭乗しているオペレータＯや、フォークリフト１の周囲で作業をしている作業者、他のフォークリフトに搭乗しているオペレータなど、フォークリフト１のオペレータＯ以外の他の者もフォークリフトに関する情報Ｉを知らせることができる。

【0019】

フォークリフト１のオペレータＯが、フォークリフト１のフォークが上昇中であることやフォークの現在位置を認識することで、フォークの状態及び位置を迅速かつ適切に把握することができる。また、フォークリフト１のオペレータＯ以外の他の者が、フォークリフト１のフォークが上昇中であることやフォークの現在位置を認識することで、作業したり歩行したりするときに注意喚起することができる。

【0020】

このように、フォークリフト１のオペレータＯに対して、フォークリフト１が持ち上げた荷物が過積載であると認識させることで、過積載とならないように荷物の量を調整することができる。また、フォークリフト１が過積載の荷物を搬送していることを、フォークリフト１のオペレータＯ以外の他の者にも知らせることで、他の者がオペレータＯに注意したり、管理監督者に報告したりすることができる。

【0021】

なお、図５の通り、画像２００は、フォークリフト１の前方、後方の路面Ｐに投影されているが、フォークリフト１の側方などに投影されてもよい。

【0022】

図１及び図２の通り、フォークリフト１は、路面Ｐ及び壁面Ｗを撮影する撮影部３を備えている。撮影部３は、例えば、ＣＣＤセンサ、ＣＭＯＳセンサ、イメージプロセッサ等を有するカメラでよく、撮影像を取得するよう構成されている。フォークリフト１は、水平方向の路面Ｐ上を走行する。壁面Ｗは垂直方向に設けられており、施設内の壁や、棚に収納された荷物の外表面等を含むものであって、画像２００を投影できる垂直面であればよい。

【0023】

フォークリフト１は、制御部５を備えている。制御部５は、情報取得部６及び投影部２に接続されており、情報取得部６によって取得された情報Ｉから、投影すべき画像２００を選択して、選択された画像２００が投影部２で投影される。例えば、フォークが昇降している間は、フォークの昇降を表現する画像２００が選択され、ライトを消し忘れている間は、ライトの消し忘れを表現する画像２００が選択され、過積載の荷物をフォークで運搬している間は、過積載を表現する画像２００が選択される。

【0024】

また、制御部５は、画像２００を路面Ｐ及び壁面Ｗのいずれに投影するかを決定する投影決定部４を備えている。投影決定部４は、オペレータＯの視認性に基づいて、画像２００を路面Ｐ又は壁面Ｗのいずれに投影するかを決定するよう構成されている。これにより、画像２００が鮮明に投影されるようになっている。

【0025】

図３の通り、投影決定部４は、教師データ４６を収集する収集部４０を備えている。教師データ４６は、撮影像の色に関する色データＤ１と、撮影像の照度に関する照度データＤ２とを含んでいる。撮影像の色に関する色データＤ１は、路面Ｐの色Ｃ１、壁面Ｗの色Ｃ２である。また、撮影像の照度に関する照度データＤ２は、路面Ｐの照度Ｃ３、壁面Ｗの照度Ｃ４である。

【0026】

投影決定部４は、収集部４０に収集された教師データ４６から機械学習を行い、機械学習により学習モデルを生成および記憶する学習モデル生成部４１を備える。本実施形態の学習モデル生成部４１は、教師あり学習を実施する。教師あり学習では、教師データ４６、すなわち、入力データＩＤと出力データＯＤとの組を大量に学習モデル生成部４１に入力する。

【0027】

入力データＩＤは、路面Ｐの色Ｃ１、壁面Ｗの色Ｃ２、路面Ｐの照度Ｃ３、壁面Ｗの照度Ｃ４を含んでいる。出力データＯＤは、視認性スコアである。路面Ｐと壁面Ｗのいずれに投影された画像２００の方がオペレータＯにとって視認性が良いかを示す視認性スコアとして、入力データＩＤを評価し、０から１０までの数値パラメータが設定される。

【0028】

視認性スコアの数値パラメータが高い、すなわち、オペレータＯによる画像２００の視認性が高いと判断される場合としては、例えば、（１）路面Ｐの色Ｃ１の所定割合以上が予め記憶された路面Ｐの色と同じ色である場合や、（２）路面Ｐの照度Ｃ３が所定照度以上である場合、（３）壁面Ｗの色Ｃ２の所定割合以上が予め記憶された壁面Ｗの色と同じ色である場合、（４）壁面Ｗの照度Ｃ４が所定照度以上である場合である。投影決定部４は、路面Ｐに関する上記（１）と（２）の数値パラメータと、壁面Ｗに関する上記（３）と（４）の数値パラメータと、に基づいて、路面Ｐ又は壁面Ｗのいずれに画像２００を投影するか決定する。

【0029】

視認性スコアは、（１）路面Ｐの色Ｃ１、（２）路面Ｐの照度Ｃ３、（３）壁面Ｗの色Ｃ２、（４）壁面Ｗの照度Ｃ４のいずれかの数値パラメータで設定されてもよいし、重み付け係数により加重平均された数値パラメータで設定されてもよい。

【0030】

なお、実際に、オペレータＯによる画像２００の視認性について、路面Ｐ及び壁面Ｗの色の大部分が元の色と同じであって照度が高いときに、オペレータＯは、投影された画像２００を視認しやすいことが多い。そのため、（１）路面Ｐの色Ｃ１、（２）路面Ｐの照度Ｃ３、（３）壁面Ｗの色Ｃ２、（４）壁面Ｗの照度Ｃ４と、オペレータＯの視認性との間に相関関係等の一定の関係が存在することは推認することができる。

【0031】

学習モデル生成部４１は、一般的なニューラルネットワーク等の機械学習アルゴリズムを用いる。学習モデル生成部４１は、相関関係を有する入力データＩＤと出力データＯＤを教師データ４６として機械学習を行うことにより、入力から出力を推定するモデル（学習モデル）、すなわち、入力データＩＤを入力すると、落下可能性スコアを出力するモデルを生成する。

【0032】

投影決定部４は、現時点の入力データＩＤを所定時間ごとに取得する取得部４５を備えている。上記の通り、入力データＩＤは、（１）路面Ｐの色Ｃ１、（２）路面Ｐの照度Ｃ３、（３）壁面Ｗの色Ｃ２、（４）壁面Ｗの照度Ｃ４である。取得部４５は、撮影部３による撮影像に基づいて、入力データＩＤを取得するように構成されている。入力データＩＤは、所定時間（例えば１分）ごとに取得される。

【0033】

投影決定部４は、学習モデル生成部４１で生成された学習モデルを、取得部４５から取得される現時点の入力データＩＤに適用することで、路面Ｐと壁面Ｗのいずれに投影された画像２００の方がオペレータＯにとって視認性が良いかを予測する予測部４２を備えている。

【0034】

投影決定部４は、決定部４３を備えており、決定部４３は、予測部４２によって予測された出力データＯＤに基づいて、路面Ｐと壁面Ｗのいずれに画像２００を投影するかを決定して、投影部２に決定信号を出力する。投影部２は、回転可能に構成されており、投影決定部４からの決定信号に基づいて、路面Ｐ又は壁面Ｗに向けて画像２００を投影するように構成されている。

【0035】

図４の通り、投影決定部４は、以下の制御方法を実行する。なお、重複説明を避けるため、既に説明した部分は省略する。

【0036】

収集部４０によって、教師データ４６を収集する（収集ステップ：Ｓ１）。そして、学習モデル生成部４１によって、収集ステップＳ１で収集部４０に収集された教師データ４６から機械学習を行い、機械学習により学習モデルを生成および記憶する（学習モデル生成ステップ：Ｓ２）。取得部４５によって、現時点の入力データＩＤを所定時間ごとに取得する（取得ステップ：Ｓ３）。

【0037】

予測部４２によって、学習モデル生成ステップＳ２で生成された学習モデルを、取得ステップＳ３で取得される現時点の入力データＩＤに適用することで、オペレータＯによる画像２００の視認性を予測する（予測ステップ：Ｓ４）。決定部４３によって、予測ステップＳ４によって予測された出力データＯＤに基づき、路面Ｐと壁面Ｗのいずれに画像２００を投影するかを決定し、投影部２に決定信号を出力する（決定ステップ：Ｓ５）。

【0038】

以上、本発明の好ましい実施形態を説明したが、本発明の構成はこれらの実施形態に限定されない。
例えば、撮影決定部４は、撮影部３による撮影像ではなく、例えば、路面Ｐ及び壁面Ｗに取り付けられた照度センサからの照度結果に基づいて、路面Ｐ又は壁面Ｗのいずれの照度が高いかを判定して、路面Ｐ又は壁面Ｗのいずれに投影するかを決定するよう構成されてもよい。
また、荷役車両１は、カウンターウエイト式フォークリフトに限らず、リーチ式フォークリフト、サイドフォークリフト、オーダーピッキングトラック、牽引車などであってもよい。

【0039】

本実施形態の効果を説明する。
荷役車両１に関する情報Ｉを表現した画像２００が、路面Ｐ又は壁面Ｗに投影されることで、荷役車両１に搭乗して操作するオペレータＯや、荷役車両１の周囲で作業している作業者、他の荷役車両１に搭乗しているオペレータＯなど、荷役車両１のオペレータＯ以外の者にも荷役車両１に関する情報Ｉを知らせることができる。
そして、投影決定部４が、オペレータＯの視認性に基づいて、路面Ｐ又は壁面Ｗのいずれに投影するかを決定することで、画像２００を鮮明に投影することができる。これにより、荷役車両１に搭乗して操作するオペレータＯや、荷役車両１の周囲で作業している作業者、他の荷役車両１に搭乗しているオペレータＯなどは、画像２００を視認しやすくなる。

【符号の説明】

【0040】

１ フォークリフト（荷役車両）
２ 投影部
３ 撮影部
４ 投影決定部
５ 制御部
４０ 収集部
４１ 学習モデル生成部
４２ 予測部
４３ 決定部
４５ 取得部
４６ 教師データ
２００ 画像
Ｐ 路面
Ｗ 壁面
Ｏ オペレータ
ＩＤ 入力データ
ＯＤ 出力データ

【図1】

【図2】

【図3】

【図4】

【図5】