(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024074642
(43)【公開日】2024-05-31
(54)【発明の名称】表示システム
(51)【国際特許分類】
B66F 9/075 20060101AFI20240524BHJP
B66F 9/24 20060101ALI20240524BHJP
【FI】
B66F9/075 J
B66F9/24 Z
【審査請求】未請求
【請求項の数】3
【出願形態】OL
(21)【出願番号】P 2022185934
(22)【出願日】2022-11-21
(71)【出願人】
【識別番号】000003218
【氏名又は名称】株式会社豊田自動織機
(74)【代理人】
【識別番号】100105957
【弁理士】
【氏名又は名称】恩田 誠
(74)【代理人】
【識別番号】100068755
【弁理士】
【氏名又は名称】恩田 博宣
(72)【発明者】
【氏名】西野 裕一
【テーマコード(参考)】
3F333
【Fターム(参考)】
3F333AA02
3F333AB13
3F333DB01
3F333FA11
3F333FA36
3F333FD03
3F333FD11
3F333FE05
(57)【要約】
【課題】荷物よりも前方の状況を確認しやすくすること。
【解決手段】表示システムは、カメラと、制御装置と、表示部と、を備える。カメラは、フォークに載せられた荷物と路面との間の空間からフォークリフトの前方を撮像するように配置されている。制御装置は、フォークに荷物が載せられており、かつ、フォークの揚高が低揚高閾値未満の場合、カメラによって撮像された画像のうち画像の上端から下方に向けた上方範囲を除外した抽出範囲を拡大して表示部に表示する。
【選択図】
図4
【特許請求の範囲】
【請求項1】
荷物が載せられるフォークと、
前記フォークの揚高を検出する揚高センサと、
前記フォークに前記荷物が載せられているか否かを判定するための積載センサと、を備えたフォークリフトの前方を表示する表示システムであって、
前記フォークに載せられた前記荷物と路面との間の空間から前記フォークリフトの前方を撮像するように配置されたカメラと、
前記カメラによって撮像された画像が表示される表示部と、
制御装置と、を備え、
前記制御装置は、前記フォークに前記荷物が載せられており、かつ、前記揚高が低揚高閾値未満の場合、前記画像の上端から下方に向けた上方範囲を前記画像から除外した抽出範囲を拡大して前記表示部に表示する、表示システム。
【請求項2】
前記制御装置は、前記揚高が高いほど前記抽出範囲の上端の位置を高くする、請求項1に記載の表示システム。
【請求項3】
前記制御装置は、前記画像の下端から上方に向けた下方範囲を除外した前記抽出範囲を拡大して前記表示部に表示する、請求項1又は請求項2に記載の表示システム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、表示システムに関する。
【背景技術】
【0002】
特許文献1に開示のフォークリフトは、カメラと、表示部と、制御装置と、フォークと、を備える。カメラで撮影された画像は、表示部に表示される。フォークリフトの操作者は、表示部に表示される画像を確認することによってフォークリフトの前方の状況を確認することができる。制御装置は、フォークの揚高に応じて撮影条件を変更する。これにより、フォークの揚高に応じた画像が表示部に表示される。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1では、フォークに荷物が載っている場合、カメラによって撮影された画像に当該荷物が入り込む。表示部には、フォークに積まれた荷物が表示されるため、フォークリフトの前方の状況を確認しにくい。
【課題を解決するための手段】
【0005】
上記課題を解決する表示システムは、荷物が載せられるフォークと、前記フォークの揚高を検出する揚高センサと、前記フォークに前記荷物が載せられているか否かを判定するための積載センサと、を備えたフォークリフトの前方を表示する表示システムであって、前記フォークに載せられた前記荷物と路面との間の空間から前記フォークリフトの前方を撮像するように配置されたカメラと、前記カメラによって撮像された画像が表示される表示部と、制御装置と、を備え、前記制御装置は、前記フォークに前記荷物が載せられており、かつ、前記揚高が低揚高閾値未満の場合、前記画像の上端から下方に向けた上方範囲を前記画像から除外した抽出範囲を拡大して前記表示部に表示する。
【0006】
フォークに荷物が載せられており、かつ、フォークの揚高が低揚高閾値未満の場合、カメラによって撮像された画像の上方範囲に荷物が写り込んでいる。この場合に上方範囲を含む画像を表示部に表示すると、表示部に荷物が表示されることによって、荷物よりも前方の状況を確認しにくい。フォークに荷物が載せられており、かつ、フォークの揚高が低揚高閾値未満の場合に制御装置が抽出範囲を拡大して表示部に表示することによって、表示部に占める荷物の割合が減り、荷物よりも前方の状況を確認しやすい。
【0007】
上記表示システムについて、前記制御装置は、前記揚高が高いほど前記抽出範囲の上端の位置を高くしてもよい。
上記表示システムについて、前記制御装置は、前記画像の下端から上方に向けた下方範囲を除外した前記抽出範囲を拡大して前記表示部に表示してもよい。
【発明の効果】
【0008】
本発明によれば、荷物よりも前方の状況を確認しやすくなる。
【図面の簡単な説明】
【0009】
【
図2】
図1のフォークリフトが備えるアウタマストの正面図である。
【
図4】
図3の制御装置が行う表示制御を示すフローチャートである。
【
図5】
図4の表示制御で画像から抽出される抽出範囲を示す図である。
【
図6】
図5の抽出範囲の上端とフォークの揚高との対応関係を示す図である。
【
図7】フォークの揚高が低揚高閾値以上のフォークリフトを示す側面図である。
【
図8】
図7のフォークリフトの表示部に表示される画像を示す図である。
【
図9】
図1のフォークリフトの表示部に表示される画像を示す図である。
【発明を実施するための形態】
【0010】
表示システムの一実施形態について説明する。
<フォークリフト>
図1に示すように、フォークリフト10は、カウンタ式である。フォークリフト10は、リーチ式であってもよい。フォークリフト10は、フォークリフト10に搭乗した操作者によって手動で動作する。フォークリフト10は、自動での動作と手動での動作とを切り替え可能に構成されていてもよい。以下の説明において、前後左右は、フォークリフト10を基準とした場合の前後左右である。フォークリフト10は、表示システムDSを備える。
【0011】
フォークリフト10は、車体11と、駆動輪12と、操舵輪13と、荷役装置14と、を備える。
荷役装置14は、車体11の前部に設けられている。荷役装置14は、マスト15を備える。マスト15は、アウタマスト21と、インナマスト17と、を備える。
【0012】
図2に示すように、アウタマスト21は、左右方向に互いに離れて2つ設けられている。荷役装置14は、アウタマスト21同士を連結するアウタマストバー22を備える。アウタマストバー22は、2つのアウタマスト21の下端同士を連結している。インナマスト17は、左右方向に互いに離れて2つ設けられている。インナマスト17は、アウタマスト21に対して昇降可能である。
【0013】
図1に示すように、荷役装置14は、リフトブラケット18を備える。リフトブラケット18は、インナマスト17に対して昇降可能に設けられている。
荷役装置14は、フォーク19を備える。フォーク19は、リフトブラケット18に取り付けられている。フォーク19は、リフトブラケット18とともに昇降する。フォーク19には、荷役対象となる荷物W1が載せられる。
【0014】
荷役装置14は、リフトシリンダ31を備える。リフトシリンダ31は、油圧シリンダである。リフトシリンダ31は、フォーク19を昇降させる。荷役装置14は、ティルトシリンダ32を備える。ティルトシリンダ32は、油圧シリンダである。ティルトシリンダ32は、フォーク19を傾動させる。
【0015】
図3に示すように、表示システムDSは、制御装置41を備える。制御装置41は、プロセッサ42と、記憶部43と、を備える。プロセッサ42としては、例えば、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、又はDSP(Digital Signal Processor)が用いられる。記憶部43は、RAM(Random Access Memory)及びROM(Read Only Memory)を含む。記憶部43には、フォークリフト10を動作させるためのプログラムが記憶されている。記憶部43は、処理をプロセッサ42に実行させるように構成されたプログラムコードまたは指令を格納しているといえる。記憶部43、すなわち、コンピュータ可読媒体は、汎用または専用のコンピュータでアクセスできるあらゆる利用可能な媒体を含む。制御装置41は、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等のハードウェア回路によって構成されていてもよい。処理回路である制御装置41は、コンピュータプログラムに従って動作する1つ以上のプロセッサ、ASICやFPGA等の1つ以上のハードウェア回路、或いは、それらの組み合わせを含み得る。
【0016】
フォークリフト10は、揚高センサ51を備える。揚高センサ51は、フォーク19の揚高を検出する。フォーク19の揚高は、路面からフォーク19までの高さである。揚高センサ51は、フォーク19の揚高に応じた電気信号を制御装置41に出力する。制御装置41は、揚高センサ51からの電気信号によりフォーク19の揚高を認識可能である。
【0017】
フォークリフト10は、荷重センサ52を備える。荷重センサ52は、フォーク19に載せられた荷物W1の重量に応じた電気信号を制御装置41に出力する。制御装置41は、荷重センサ52の電気信号により荷物W1の重量を認識可能である。荷重センサ52は、積載センサである。
【0018】
表示システムDSは、カメラ53を備える。カメラ53は、デジタルカメラである。カメラ53は、撮像素子を備える。撮像素子は、例えば、CCDイメージセンサ(Charge Coupled Device image sensor)、又はCMOSイメージセンサ(Complementary Metal Oxide Semiconductor image sensor)である。カメラ53は、フォーク19に荷物W1が載せられている状態で荷物W1と路面との間の空間からフォークリフト10の前方を撮像できるように配置されている。例えば、
図2に示すように、カメラ53は、アウタマストバー22に配置されている。
【0019】
表示システムDSは、表示部61を備える。表示部61は、フォークリフト10の操作者が視認可能な位置に設けられている。表示部61は、例えば、液晶ディスプレイ、又は有機エレクトロルミネッセンスディスプレイである。
【0020】
制御装置41は、表示部61の表示内容の更新を行う。制御装置41は、カメラ53の撮像によって得られた画像を表示部61に表示する。制御装置41が行う表示制御について説明する。表示制御は、所定の制御周期で繰り返し実行される。
【0021】
<表示制御>
図4に示すように、ステップS1において、制御装置41は、揚高センサ51からフォーク19の揚高を取得する。
【0022】
次に、ステップS2において、制御装置41は、荷重センサ52から荷重を取得する。
次に、ステップS3において、制御装置41は、フォークリフト10が荷物W1を保持しており、かつ、フォーク19の揚高が低揚高か否かを判定する。ステップS3の判定結果が否定の場合、制御装置41は、ステップS4の処理を行う。ステップS3の判定結果が肯定の場合、制御装置41は、ステップS5の処理を行う。
【0023】
制御装置41は、フォーク19に載せられた荷物W1の重量が積載判定閾値以上の場合、フォークリフト10が荷物W1を保持していると判定する。フォーク19に載せられた荷物W1の重量は、荷重センサ52の検出結果から認識できる。荷重センサ52は、フォーク19に荷物W1が載せられているか否かを判定するために設けられている。積載判定閾値は、予め定められた値である。積載判定閾値は、フォーク19に荷物W1が載せられていることを判定できる値に設定されている。例えば、積載判定閾値は、フォーク19に荷物W1が載せられていない状態で荷重センサ52によって検出される重量よりも若干高い値に設定される。これにより、フォーク19に荷物W1が載せられている場合に、フォークリフト10が荷物W1を保持していると判定される。
【0024】
制御装置41は、フォーク19の揚高が低揚高閾値未満の場合、フォーク19の揚高が低揚高であると判定する。フォーク19の揚高は、揚高センサ51の検出結果から認識できる。低揚高閾値は、予め定められた値である。フォーク19の揚高が低いほど、カメラ53の撮像範囲に占める荷物W1の割合が高くなる。低揚高閾値は、カメラ53の撮像範囲に占める荷物W1の割合が許容できるように設定される。低揚高閾値は、フォーク19に荷物W1が載せられている場合に、カメラ53の撮像範囲に荷物W1が入り込まなくなる揚高に設定されてもよい。
【0025】
ステップS4において、制御装置41は、通常表示を行う。通常表示は、カメラ53の撮像によって得られた画像の部分的な拡大を行うことなく表示部61に画像を表示することである。即ち、制御装置41は、カメラ53の撮像によって得られた画像の全体を表示部61に表示する。ステップS4の処理を終えると、制御装置41は、表示制御を終了する。
【0026】
ステップS5において、制御装置41は、抽出範囲の決定を行う。
図5に示すように、抽出範囲A1とは、カメラ53の撮像によって得られた画像IM1の一部である。本実施形態において、抽出範囲A1は、画像IM1と幅方向の寸法が同一であって画像IM1よりも高さ方向の寸法が短い範囲である。画像IM1の幅方向は、画像IM1の座標系でのX軸方向である。画像IM1の高さ方向は、画像IM1の座標系でのY軸方向である。
【0027】
画像IM1のうち画像IM1の上端E1から画像IM1の下方に向けた範囲を上方範囲A2とする。上方範囲A2は、画像IM1の上端E1から抽出範囲A1までの範囲である。上方範囲A2の下端は、抽出範囲A1の上端E11と同一位置である。
【0028】
画像IM1のうち画像IM1の下端E2から上方に向けた範囲を下方範囲A3とする。下方範囲A3は、画像IM1の下端E2から抽出範囲A1までの範囲である。下方範囲A3の上端は、抽出範囲A1の下端E12と同一位置である。
【0029】
図6に示すように、制御装置41は、フォーク19の揚高が低揚高閾値未満の場合、揚高が高いほど抽出範囲A1の上端E11の位置を高くする。これにより、フォーク19の揚高が低揚高閾値未満の場合、フォーク19の揚高が高いほど上方範囲A2の高さ方向の寸法が短くなる。フォーク19の揚高が低揚高閾値未満の場合、カメラ53の撮像範囲に荷物W1が入り込むことによって画像IM1には荷物W1が写り込んでいる。カメラ53は、荷物W1と路面との間からフォークリフト10の前方を撮像できるように配置されているため、荷物W1は画像IM1の上端E1から下方に向かう範囲に写り込むことになる。上方範囲A2は、画像IM1のうち荷物W1が写り込んでいると想定される範囲である。そして、フォーク19の揚高が高くなるほど、撮像範囲に占める荷物W1の割合が低くなる。このため、フォーク19の揚高が高くなるほど抽出範囲A1の上端E11の位置を高くすることによって、画像IM1に写り込む荷物W1の下端E22の位置が高いほど抽出範囲A1の上端E11の位置も高くなる。本実施形態において、画像IM1に写り込む荷物W1の下端E22よりも抽出範囲A1の上端E11が所定距離d1だけ上方に位置するように、抽出範囲A1の上端E11は設定される。所定距離d1は、マージンである。
【0030】
抽出範囲A1の下端E12は、一定の位置である。即ち、下方範囲A3は、一定の範囲である。抽出範囲A1の下端E12の位置は、例えば、フォーク19の長さによって定まる。フォーク19に荷物W1が載せられている場合、荷物W1の下方には路面が位置する。下方範囲A3は、画像IM1のうち路面が写り込んでいると想定される範囲である。
【0031】
図4に示すように、次に、ステップS6において、制御装置41は、拡大表示を行う。拡大表示は、画像IM1から上方範囲A2、及び下方範囲A3を除外した部分、即ち、抽出範囲A1を拡大して表示部61に表示することである。拡大表示では、画像IM1の全体を表示部61に表示する場合に比べて、抽出範囲A1が高さ方向に引き延ばされて表示される。ステップS6の処理を終えると、制御装置41は、表示制御を終了する。
【0032】
[本実施形態の作用]
図7に示すように、フォークリフト10が荷物W1を保持しており、かつ、フォーク19の揚高が低揚高閾値以上とする。この場合、制御装置41は、通常表示を行う。フォーク19の揚高が低揚高閾値以上であるため、カメラ53の撮像範囲に荷物W1が入り込まない。
【0033】
図8に示すように、フォークリフト10の前方に障害物M1が存在している場合、表示部61には、通常表示によって障害物M1が表示される。障害物M1は、人、及び人以外の物体を含む。表示部61には、荷物W1が表示されていないため、フォークリフト10の操作者は、表示部61を確認することによって荷物W1よりも前方の状況を確認することができる。
【0034】
図1に示すように、フォークリフト10が荷物W1を保持しており、かつ、フォーク19の揚高が低揚高とする。この場合、カメラ53によって撮像された画像IM1の上方範囲A2に荷物W1が写り込んでいる。この場合に通常表示を行うと、表示部61に荷物W1が表示されることによって、荷物W1よりも前方の状況を確認しにくい。例えば、荷物W1よりも前方に障害物M1が存在していたとしても、障害物M1を確認しにくい。本実施形態では、フォークリフト10が荷物W1を保持しており、かつ、フォーク19の揚高が低揚高の場合、制御装置41は、拡大表示を行う。
【0035】
図9に示すように、フォークリフト10の前方に障害物M1が存在している場合、表示部61には、拡大表示によって、荷物W1と路面との間から撮像することができる障害物M1が拡大して表示される。
図9に示す例であれば、荷物W1と路面との間から撮像された人の足が表示部61に拡大して表示される。
【0036】
[本実施形態の効果]
(1)制御装置41は、フォーク19に荷物W1が載せられており、かつ、フォーク19の揚高が低揚高の場合、拡大表示を行う。制御装置41が拡大表示を行うと、通常表示を行う場合に比べて、荷物W1よりも前方を撮像した部分が表示部61に占める割合が高くなる。表示部61に占める荷物W1の割合が減り、フォークリフト10の操作者は、荷物W1よりも前方の状況を確認しやすくなる。拡大表示を行った場合のアスペクト比は、画像IM1の全体を表示部61に表示する場合のアスペクト比と異なることになる。この結果、表示部61に表示される障害物M1の形状は、画像IM1の全体を表示部61に表示した場合の障害物M1の形状と異なることになるが、フォークリフト10の運用上、荷物W1の前方に障害物M1が存在するか否かを判断できればよい。このため、障害物M1の形状の変化は許容される。
【0037】
(2)制御装置41は、フォーク19の揚高が高いほど抽出範囲A1の上端E11を高くする。フォーク19の揚高が高くなるほど、撮像範囲に占める荷物W1の割合が低くなる。フォーク19の揚高が高いほど上方範囲A2の高さ方向の寸法を短くすることで、荷物W1と路面との間の範囲であって表示部61に表示される範囲を広くすることができる。フォークリフト10の操作者が、荷物W1よりも前方の状況を確認しやすくなる。
【0038】
(3)拡大表示では、上方範囲A2に加えて、下方範囲A3を除外した抽出範囲A1が拡大されて表示部61に表示される。下方範囲A3は、画像IM1のうち荷物W1の下方に位置する路面が写り込んでいると想定される範囲である。下方範囲A3を除外することで、荷物W1よりも前方を撮像した部分が表示部61に占める割合が高くなる。これにより、フォークリフト10の操作者が、荷物W1よりも前方の状況を確認しやすくなる。
【0039】
[変更例]
実施形態は、以下のように変更して実施することができる。実施形態及び以下の変更例は、技術的に矛盾しない範囲で互いに組み合わせて実施することができる。
【0040】
○制御装置41は、拡大表示を行う際に、画像IM1から上方範囲A2のみを除外した抽出範囲A1を表示部61に表示してもよい。即ち、制御装置41は、画像IM1から下方範囲A3を除外しなくてもよい。
【0041】
○制御装置41は、フォーク19の揚高によって抽出範囲A1の上端E11の位置を変更しなくてもよい。即ち、抽出範囲A1は、一定の範囲であってもよい。
○表示部61は、タッチパネルを備えていてもよい。この場合、ピンチイン操作やピンチアウト操作によって抽出範囲A1の上端E11の位置を変更できるようにしてもよい。
【0042】
○制御装置41は、フォーク19の揚高と抽出範囲A1の上端E11の位置との対応関係を複数保持してもよい。そして、制御装置41は、フォーク19の揚高が高いほど抽出範囲A1の上端E11の位置を高くする際に、選択された対応関係に応じて抽出範囲A1の上端E11の位置を定めてもよい。
【0043】
○積載センサとして、フォーク19に荷物W1が載せられているか否かによってオンとオフとが切り替わるスイッチを用いてもよい。積載センサとして、フォーク19の上方に対する距離を測定する距離計を用いてもよい。フォーク19に荷物W1が載せられると、距離計により測定される距離が短くなるため、制御装置41によってフォーク19に荷物W1が載せられているか否かを判定できる。
【0044】
○フォークリフト10は、荷物W1の下端の高さを検出できる装置を備えていてもよい。この種の装置は、例えば、カメラ、LIDAR(Laser Imaging Detection and Ranging)、又はミリ波レーダーである。制御装置41は、荷物W1の下端の高さに基づいて、荷物W1が表示部61に表示されないように上方範囲A2の高さ方向の寸法を設定してもよい。
【0045】
○フォークリフト10は、遠隔操作されるものであってもよい。この場合、操作者は、フォークリフト10から離れた遠隔地でフォークリフト10の操作を行う。操作者は、遠隔地に設けられた遠隔操作装置を操作する。遠隔操作装置としては、専用の装置を用いることもできるし、タブレット端末などの携帯通信端末を用いることもできる。遠隔操作装置は、フォークリフト10を操作する操作部と、通信装置と、端末制御装置と、端末表示部と、を備える。通信装置は、フォークリフト10と通信可能に構成されている。端末制御装置は、通信装置によって、カメラ53によって撮像された画像IM1を取得することができる。端末制御装置は、実施形態と同様の表示制御を行うことで端末表示部に画像IM1を表示する。この場合、端末制御装置が制御装置である。端末表示部が表示部である。フォークリフト10、及び遠隔操作装置が表示システムである。
【符号の説明】
【0046】
A1…抽出範囲、A2…上方範囲、A3…下方範囲、DS…表示システム、E1…上端、E2…下端、E11…上端、IM1…画像、W1…荷物、10…フォークリフト、19…フォーク、41…制御装置、51…揚高センサ、52…積載センサである荷重センサ、53…カメラ、61…表示部。