特許 6650498 表示制御装置、表示制御方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】6650498

(24)【登録日】2020年1月22日

(45)【発行日】2020年2月19日

(54)【発明の名称】表示制御装置、表示制御方法及びプログラム

(51)【国際特許分類】

   B66F 9/24 20060101AFI20200210BHJP

   H04N 7/18 20060101ALI20200210BHJP

   G06F 3/0346 20130101ALI20200210BHJP

【ＦＩ】

   B66F9/24 P

   H04N7/18 J

   G06F3/0346 426

【請求項の数】6

【全頁数】24

(21)【出願番号】特願2018-167009(P2018-167009)

(22)【出願日】2018年9月6日

【審査請求日】2018年9月7日

(73)【特許権者】

【識別番号】000232807

【氏名又は名称】三菱ロジスネクスト株式会社

(74)【代理人】

【識別番号】110001634

【氏名又は名称】特許業務法人 志賀国際特許事務所

(72)【発明者】

【氏名】大塚 誠

(72)【発明者】

【氏名】椎崎 弘司

(72)【発明者】

【氏名】木綿 啓介

(72)【発明者】

【氏名】安藤 彰

【審査官】 須山 直紀

(56)【参考文献】

【文献】 特開２００３−２４６５９７（ＪＰ，Ａ）

【文献】 特開２００７−０８４１６２（ＪＰ，Ａ）

【文献】 特開２０１５−２２７２２３（ＪＰ，Ａ）

【文献】 特開２０１３−０８６９５９（ＪＰ，Ａ）

【文献】 特開２０１７−１１０４９２（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１７／０２１２５１７（ＵＳ，Ａ１）

【文献】 特開平１１−２２２８８２（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｂ６６Ｆ ９／２４

Ｇ０６Ｆ ３／０３４６

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

フォークリフトの第１のフォークの先端部に設けられた撮像装置が撮像した撮像画像を取得する画像取得部と、
前記撮像画像における深度を取得する深度取得部と、
前記深度に基づいて、前記第１のフォークの先端部から前記撮像画像に写る障害物までの距離を特定する距離特定部と、
前記フォークリフトの運転者によるチルト操作に応じて生成された信号を検出したと判定した後に、前記距離特定部が算出した最も近い障害物までの最新の距離が所定の距離未満であると判定した場合に、前記第１のフォークの先端部から、前記撮像装置が撮像した撮像画像に写る障害物のうち最も近い障害物までの距離を表す第１画像を表示させ、前記運転者によるチルト操作に応じて生成された信号を検出しないと判定した場合、または、前記運転者によるチルト操作に応じて生成された信号を検出したと判定した後に、前記最も近い障害物までの最新の距離が所定の距離以上であると判定した場合に、前記第１のフォーク及び第２のフォークの傾きの程度、及び、前記第１のフォーク及び前記第２のフォークにおける荷物の有無を示す第２画像を表示させる表示制御部と、
を備える表示制御装置。

【請求項2】

前記距離と前記第１のフォークの先端部の位置とに応じた画像は、
前記距離の分だけ前記フォークリフトが前進したと仮定したときの前記第１のフォークの先端部の位置を含む画像であり、
前記表示制御部は、
前記第１のフォークの先端部の位置を含む画像を、前記撮像画像に重畳させて表示させる、
請求項１に記載の表示制御装置。

【請求項3】

前記距離と前記第１のフォークの先端部の位置とに応じた画像は、
前記距離の分だけ前記フォークリフトが前進したと仮定したときの前記フォークリフトの前記第１のフォークの先端部とは別の第２のフォークの先端部の位置を含む画像であり、
前記表示制御部は、
前記第２のフォークの先端部の位置を含む画像を、前記撮像画像に重畳させて表示させる、
請求項１または請求項２に記載の表示制御装置。

【請求項4】

前記表示制御部は、
前記フォークリフトに支持された荷役対象物の位置を含む画像を、前記撮像画像に重畳させて表示させる、
請求項１から請求項３の何れか一項に記載の表示制御装置。

【請求項5】

フォークリフトの第１のフォークの先端部に設けられた撮像装置が撮像した撮像画像を取得することと、
前記撮像画像における深度を取得することと、
前記深度に基づいて、前記第１のフォークの先端部から前記撮像画像に写る障害物までの距離を特定することと、
前記フォークリフトの運転者によるチルト操作に応じて生成された信号を検出したと判定した後に、算出した最も近い障害物までの最新の距離が所定の距離未満であると判定した場合に、前記第１のフォークの先端部から、前記撮像装置が撮像した撮像画像に写る障害物のうち最も近い障害物までの距離を表す第１画像を表示させ、前記運転者によるチルト操作に応じて生成された信号を検出しないと判定した場合、または、前記運転者によるチルト操作に応じて生成された信号を検出したと判定した後に、前記最も近い障害物までの最新の距離が所定の距離以上であると判定した場合に、前記第１のフォーク及び第２のフォークの傾きの程度、及び、前記第１のフォーク及び前記第２のフォークにおける荷物の有無を示す第２画像を表示させることと、
を含む表示制御方法。

【請求項6】

コンピュータに、
フォークリフトの第１のフォークの先端部に設けられた撮像装置が撮像した撮像画像を取得することと、
前記撮像画像における深度を取得することと、
前記深度に基づいて、前記第１のフォークの先端部から前記撮像画像に写る障害物までの距離を特定することと、
前記フォークリフトの運転者によるチルト操作に応じて生成された信号を検出したと判定した後に、算出した最も近い障害物までの最新の距離が所定の距離未満であると判定した場合に、前記第１のフォークの先端部から、前記撮像装置が撮像した撮像画像に写る障害物のうち最も近い障害物までの距離を表す第１画像を表示させ、前記運転者によるチルト操作に応じて生成された信号を検出しないと判定した場合、または、前記運転者によるチルト操作に応じて生成された信号を検出したと判定した後に、前記最も近い障害物までの最新の距離が所定の距離以上であると判定した場合に、前記第１のフォーク及び第２のフォークの傾きの程度、及び、前記第１のフォーク及び前記第２のフォークにおける荷物の有無を示す第２画像を表示させることと、
を実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、表示制御装置、表示制御方法及びプログラムに関する。

【背景技術】

【0002】

フォークリフトは、車両本体の前方に荷役対象物（以下、荷物と呼ぶ）を支持して昇降するフォークを備えており、例えば、一般的な乗用車に比べて、運転者が前方の状況を確認し難い車両の構成となっている。特に、荷物を支持してフォークリフトを前方に走行させる場合には、フォークリフトの前方に死角ができ易くなり、運転者は、フォークリフトから降りて前方を確認したり、運転者とは別にフォークリフトを誘導する誘導員を必要としたりすることもある。
そこで、フォークの先端部にカメラを設け、そのカメラが撮像した撮像画像を表示装置に表示させることによって、運転者が運転席に座ったままフォークリフトの前方を確認することのできる技術が考案されている（例えば、特許文献１、２）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００３−２４６５９７号公報

【特許文献2】特開２００６−０６２７８４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、フォークリフトを用いて荷役作業を行うときには、フォークリフトの前方の撮像画像を表示装置に表示させるだけではなく、荷役作業をよりし易くすることのできる技術が求められている。

【0005】

本発明は、上記の課題を解決することのできる表示制御装置、表示制御方法及びプログラムを提供することを目的としている。

【課題を解決するための手段】

【0006】

本発明の第１の態様によれば、表示制御装置は、フォークリフトの第１のフォークの先端部に設けられた撮像装置が撮像した撮像画像を取得する画像取得部と、前記撮像画像における深度を取得する深度取得部と、前記深度に基づいて、前記第１のフォークの先端部から前記撮像画像に写る障害物までの距離を特定する距離特定部と、前記フォークリフトの運転者によるチルト操作に応じて生成された信号を検出したと判定した後に、前記距離特定部が算出した最も近い障害物までの最新の距離が所定の距離未満であると判定した場合に、前記第１のフォークの先端部から、前記撮像装置が撮像した撮像画像に写る障害物のうち最も近い障害物までの距離を表す第１画像を表示させ、前記運転者によるチルト操作に応じて生成された信号を検出しないと判定した場合、または、前記運転者によるチルト操作に応じて生成された信号を検出したと判定した後に、前記最も近い障害物までの最新の距離が所定の距離以上であると判定した場合に、前記第１のフォーク及び第２のフォークの傾きの程度、及び、前記第１のフォーク及び前記第２のフォークにおける荷物の有無を示す第２画像を表示させる表示制御部と、を備える。

【0007】

本発明の第２の態様によれば、第１の態様における表示制御装置において、前記距離と前記第１のフォークの先端部の位置とに応じた画像は、前記距離の分だけ前記フォークリフトが前進したと仮定したときの前記第１のフォークの先端部の位置を含む画像であり、前記表示制御部は、前記第１のフォークの先端部の位置を含む画像を、前記撮像画像に重畳させて表示させるものであってもよい。

【0008】

本発明の第３の態様によれば、第１の態様または第２の態様における表示制御装置において、前記距離と前記第１のフォークの先端部の位置とに応じた画像は、前記距離の分だけ前記フォークリフトが前進したと仮定したときの前記フォークリフトの前記第１のフォークの先端部とは別の第２のフォークの先端部の位置を含む画像であり、前記表示制御部は、前記第２のフォークの先端部の位置を含む画像を、前記撮像画像に重畳させて表示させるものであってもよい。

【0009】

本発明の第４の態様によれば、第１の態様から第３の態様の何れか１つの表示制御装置において、前記表示制御部は、前記フォークリフトに支持された荷役対象物の位置を含む画像を、前記撮像画像に重畳させて表示させるものであってもよい。

【0010】

本発明の第５の態様によれば、表示制御方法は、フォークリフトの第１のフォークの先端部に設けられた撮像装置が撮像した撮像画像を取得することと、前記撮像画像における深度を取得することと、前記深度に基づいて、前記第１のフォークの先端部から前記撮像画像に写る障害物までの距離を特定することと、前記フォークリフトの運転者によるチルト操作に応じて生成された信号を検出したと判定した後に、算出した最も近い障害物までの最新の距離が所定の距離未満であると判定した場合に、前記第１のフォークの先端部から、前記撮像装置が撮像した撮像画像に写る障害物のうち最も近い障害物までの距離を表す第１画像を表示させ、前記運転者によるチルト操作に応じて生成された信号を検出しないと判定した場合、または、前記運転者によるチルト操作に応じて生成された信号を検出したと判定した後に、前記最も近い障害物までの最新の距離が所定の距離以上であると判定した場合に、前記第１のフォーク及び第２のフォークの傾きの程度、及び、前記第１のフォーク及び前記第２のフォークにおける荷物の有無を示す第２画像を表示させることと、を含む。

【0011】

本発明の第６の態様によれば、プログラムは、コンピュータに、フォークリフトの第１のフォークの先端部に設けられた撮像装置が撮像した撮像画像を取得することと、前記撮像画像における深度を取得することと、前記深度に基づいて、前記第１のフォークの先端部から前記撮像画像に写る障害物までの距離を特定することと、前記フォークリフトの運転者によるチルト操作に応じて生成された信号を検出したと判定した後に、算出した最も近い障害物までの最新の距離が所定の距離未満であると判定した場合に、前記第１のフォークの先端部から、前記撮像装置が撮像した撮像画像に写る障害物のうち最も近い障害物までの距離を表す第１画像を表示させ、前記運転者によるチルト操作に応じて生成された信号を検出しないと判定した場合、または、前記運転者によるチルト操作に応じて生成された信号を検出したと判定した後に、前記最も近い障害物までの最新の距離が所定の距離以上であると判定した場合に、前記第１のフォーク及び第２のフォークの傾きの程度、及び、前記第１のフォーク及び前記第２のフォークにおける荷物の有無を示す第２画像を表示させることと、を実行させる。

【発明の効果】

【0012】

本発明の実施形態による表示制御装置、表示制御方法及びプログラムによれば、荷役作業の操作がよりし易くなる。

【図面の簡単な説明】

【0013】

【図1】本発明の一実施形態によるフォークリフトの構成を示す第１の図である。

【図2】本発明の一実施形態によるフォークリフトの構成を示す第２の図である。

【図3】本発明の一実施形態による表示制御装置の構成を示す図である。

【図4】本発明の一実施形態において深度を取得する対象とする撮像画像内の所定の範囲の一例を示す図である。

【図5】本発明の一実施形態による表示制御装置が撮像画像に重畳させて表示装置に表示させる画像を説明するための第１の図である。

【図6】本発明の一実施形態による表示制御装置が撮像画像に重畳させて表示装置に表示させる画像を説明するための第２の図である。

【図7】本発明の一実施形態による記憶部が記憶する第１のデータテーブルを示す図である。

【図8】本発明の一実施形態による記憶部が記憶する第２のデータテーブルを示す図である。

【図9】本発明の一実施形態による表示制御装置の処理フローを示す図である。

【図10】本発明の一実施形態による表示制御装置の処理を説明するための第１の図である。

【図11】本発明の一実施形態による表示制御装置の処理を説明するための第２の図である。

【図12】本発明の一実施形態による表示制御装置の処理を説明するための第３の図である。

【図13】本発明の一実施形態による表示制御装置の処理を説明するための第４の図である。

【図14】本発明の一実施形態による表示制御装置の処理を説明するための第５の図である。

【図15】本発明の一実施形態による表示制御装置の処理を説明するための第６の図である。

【図16】本発明の一実施形態による表示制御装置の処理を説明するための第７の図である。

【図17】本発明の一実施形態による表示制御装置の処理を説明するための第８の図である。

【図18】本発明の一実施形態による表示制御装置の処理を説明するための第９の図である。

【図19】本発明の一実施形態による表示制御装置の処理を説明するための第１０の図である。

【図20】本発明の一実施形態による表示制御装置の処理を説明するための第１１の図である。

【図21】本発明の一実施形態による表示制御装置の処理を説明するための第１２の図である。

【図22】本発明の一実施形態による表示制御装置の処理を説明するための第１３の図である。

【図23】本発明の一実施形態による表示制御装置の処理を説明するための第１４の図である。

【図24】本発明の一実施形態による表示制御装置の処理を説明するための第１５の図である。

【図25】本発明の一実施形態による表示制御装置の処理を説明するための第１６の図である。

【図26】本発明の一実施形態による表示制御装置の処理を説明するための第１７の図である。

【図27】本発明の一実施形態による表示制御装置の処理を説明するための第１８の図である。

【図28】本発明の一実施形態による表示制御装置の処理を説明するための第１９の図である。

【図29】本発明の一実施形態による表示制御装置の処理を説明するための第２０の図である。

【図30】本発明の一実施形態による表示制御装置の処理を説明するための第２１の図である。

【図31】本発明の一実施形態による表示制御装置の処理を説明するための第２２の図である。

【図32】本発明の一実施形態による表示制御装置の処理を説明するための第２３の図である。

【図33】本発明の一実施形態による表示制御装置の処理を説明するための第２４の図である。

【図34】本発明の一実施形態による表示制御装置の処理を説明するための第２５の図である。

【図35】少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。

【発明を実施するための形態】

【0014】

＜実施形態＞
以下、本発明の一実施形態によるフォークリフト１に備えられる表示制御装置８０について説明する。
フォークリフト１は、図１に示すように、第１のフォーク１０、第２のフォーク２０を備える。また、フォークリフト１は、図２に示すように、撮像装置３０、傾斜センサ４０、荷重センサ５０、操作装置６０、表示装置７０、表示制御装置８０を備える。

【0015】

第１のフォーク１０及び第２のフォーク２０は、荷役対象物（以下、荷物と呼ぶ）を支持して昇降することができるフォークである。

【0016】

撮像装置３０は、フォークリフト１の第１のフォーク１０の先端部に設けられ、フォークリフト１の前方を撮像する装置である。なお、先端部とは、最先端の１点ではなく、最先端の周辺を含む。すなわち、撮像装置３０は、第１のフォーク１０の先端部の上などの第１のフォーク１０の先端部の周辺、第１のフォーク１０の内部などに設けられてよい。撮像装置３０は、複数のレンズを備える複眼カメラであり、同時刻に複数のレンズを介してフォークリフト１の前方を撮像する。
ここでは、撮像装置３０は、２つのレンズを備えるステレオカメラであるものとする。これら２つのレンズは、第１のフォーク１０の先端部に所定の間隔（例えば、７０〜８０ｍｍの間隔）を開けて設けられる。例えば、撮像装置３０は、第１のフォーク１０の先端部の内部に設けられる。また、例えば、撮像装置３０は、第１のフォーク１０の先端部の側部など、第１のフォーク１０の先端部の周辺のフォークリフト１の前方を撮像可能な位置に設けられる。このようにして、撮像装置３０は、同時刻に２つのレンズを介してフォークリフト１の前方を撮像し、所定の撮像タイミングごとに２つの撮像画像を生成する。

【0017】

傾斜センサ４０は、第１のフォーク１０及び第２のフォーク２０の傾きを検出するセンサである。傾きの基準（すなわち、傾き０度）は、例えば、第１のフォーク１０及び第２のフォーク２０が荷物を支持せず、チルト操作も行われていないときの傾きであり、このときの傾きを水平とする。

【0018】

荷重センサ５０は、第１のフォーク１０及び第２のフォーク２０の負荷、すなわち第１のフォーク１０及び第２のフォーク２０によって持ち上げられる荷物の重量を検出するセンサである。

【0019】

操作装置６０は、運転者がフォークリフト１の荷役作業を行うために操作する装置である。運転者が操作装置６０を操作することによって、フォークリフト１が走行したり、第１のフォーク１０とともに第２のフォーク２０を昇降させるリフト制御を行ったり、第１のフォーク１０及び第２のフォーク２０の基部を回動させて第１のフォーク１０及び第２のフォーク２０の先端部を上下方向に傾けるチルト制御が行われる。

【0020】

表示装置７０は、表示制御装置８０による制御に基づいて画像を表示する装置である。表示装置７０は、第１のフォーク１０の先端部から、撮像装置３０が撮像した撮像画像に写る障害物までの距離と、第１のフォーク１０の先端部の位置とに応じた画像を、撮像装置３０が撮像した撮像画像とともに表示する。表示装置７０は、例えば、ＨＵＤ（Ｈｅａｄ Ｕｐ Ｄｉｓｐｌａｙ）、モニター、スクリーンなどである。

【0021】

表示制御装置８０は、撮像装置３０が撮像した撮像画像を取得し、取得した撮像画像における深度を取得し、取得した深度に基づいて、第１のフォーク１０の先端部から撮像画像に写る障害物までの距離を特定する装置であって、特定した距離と第１のフォーク１０の先端部の位置とに応じた画像を、取得した撮像画像に重畳させて表示装置７０に表示させる装置である。

【0022】

表示制御装置８０は、図３に示すように、画像取得部８０１、深度取得部８０２、距離特定部８０３、表示制御部８０４、記憶部８０５を備える。

【0023】

画像取得部８０１は、フォークリフト１の第１のフォーク１０の先端部に設けられた撮像装置３０が撮像した撮像画像を取得する。

【0024】

深度取得部８０２は、撮像装置３０が撮像した撮像画像における深度を取得する。
例えば、撮像装置３０が撮像した撮像画像における深度は、第１のフォーク１０の先端部から（すなわち、撮像装置３０から）の深度であり、撮像装置３０が撮像した撮像画像における所定の範囲を少なくとも含む撮像画像についての深度である。つまり、深度取得部８０２は、撮像装置３０が撮像した撮像画像における所定の範囲を少なくとも含む撮像画像についての第１のフォーク１０の先端部からの深度を取得する。撮像装置３０が撮像した撮像画像における所定の範囲とは、フォークリフト１が前方へ直進した場合に、フォークリフト１が通過すると推定される領域の画像部分（すなわち、荷物や障害物などの物体が存在する場合にはフォークリフト１が衝突する可能性のある領域の画像部分）を含む範囲である。具体的には、フォークリフト１が２つのフォークを備え、前方に向かって右側のフォークが第１のフォーク１０であり、第１のフォーク１０が最も低い位置まで下がっている場合には、撮像装置３０が撮像した撮像画像における所定の範囲は、図４に示す撮像画像の中央Ｏ（すなわち、撮像装置３０のレンズが向いている撮像方向を示す撮像画像における位置Ｏ）の左上の枠Ａによって示される範囲である。この枠Ａは、所定の範囲を説明するための枠であり、表示装置７０には表示されない。なお、深度は、周知の技術を用いて算出すればよい。例えば、深度取得部８０２は、テンプレートマッチングを用いて、撮像装置３０が同時刻に２つのレンズを介してフォークリフト１の前方を撮像した２つの撮像画像上における同一対象物の位置ずれ（視差）を算出する。この位置ずれの程度（大きさ）は深度に応じた値である。そのため、深度取得部８０２は、その視差と周知の変換式とを用いて撮像画像における各画素の深度（すなわち、対象物の実空間上の位置に相当する奥行き方向の情報）を算出することができる。なお、本発明の実施形態における取得とは、他の機能部が算出した深度の結果を取得すること、または、自機能部が深度を算出した結果として深度を得ることのどちらであってもよい。
深度取得部８０２は、所定の撮像タイミングごと（例えば、１００ｍｓごとに）深度を取得する。

【0025】

距離特定部８０３は、撮像装置３０が撮像した撮像画像における深度に基づいて、第１のフォーク１０の先端部から、撮像装置３０が撮像した撮像画像に写る障害物までの距離を特定する。
具体的には、撮像装置３０が撮像した２つの撮像画像は、所定の撮像タイミングごとに、第１のフォーク１０の先端部に所定の間隔（例えば、７０〜８０ｍｍ程度の間隔）を開けて設けられる２つのレンズを介して撮像されて撮像画像である。そのため、距離特定部８０３は、各撮像タイミングに撮像した一対の撮像画像に対して三角測量技術を用いることで、深度取得部８０２が算出した視差の実際の距離を算出することができる。距離特定部８０３は、視差の実際の距離を算出すると、その視差に対応する深度が示す実際の距離を算出することができる。
なお、深度取得部８０２が算出した視差は、撮像画像における所定の範囲についての視差である。そのため、距離特定部８０３は、撮像装置３０が撮像した撮像画像の所定の範囲における深度に基づいて、所定の撮像タイミングごとに、第１のフォーク１０の先端部から（すなわち、撮像装置３０から）、撮像装置３０が撮像した撮像画像に写る障害物までの距離を算出することになる。

【0026】

表示制御部８０４は、第１のフォーク１０の先端部から、撮像装置３０が撮像した撮像画像に写る障害物までの距離と、第１のフォーク１０の先端部の位置とに応じた画像を、撮像装置３０が撮像した撮像画像に重畳させて表示装置７０に表示させる。第１のフォーク１０の先端部から、撮像装置３０が撮像した撮像画像に写る障害物までの距離と、第１のフォーク１０の先端部の位置とに応じた画像とは、例えば、図５に示す画像Ｍ１、Ｍ２、Ｍ３である。

【0027】

画像Ｍ１は、距離特定部８０３が算出した第１のフォーク１０の先端部から、撮像装置３０が撮像した撮像画像に写る障害物のうち最も近い障害物までの距離を表す画像である。

【0028】

画像Ｍ２は、距離特定部８０３が算出した第１のフォーク１０の先端部から、撮像装置３０が撮像した撮像画像に写る障害物までの距離に応じた奥行き方向の目盛りを表す画像である。画像Ｍ２には、第１のフォーク１０の先端部から、撮像装置３０が撮像した撮像画像に写る障害物までの間の所定の距離に相当する各目盛りが含まれる。

【0029】

画像Ｍ３は、距離特定部８０３が算出した最新の距離の分だけ（すなわち、画像Ｍ１によって示される距離の分だけ）フォークリフト１が前進したと仮定したときの第１のフォーク１０及び第２のフォーク２０の先端部の位置を含む画像である。
ただし、画像Ｍ３は、後述するように、フォークリフト１が荷物を支持していない状態で、第１のフォーク１０及び第２のフォーク２０の先端部がパレット内部を移動し、所定の距離以内に障害物が存在すると判定された場合には、第１のフォーク１０の先端部の位置のみを示す画像となる。

【0030】

また、表示制御部８０４は、第１のフォーク１０及び第２のフォーク２０の傾きの程度、及び、第１のフォーク１０及び第２のフォーク２０における荷物の有無を示す画像と、フォークリフト１に支持された荷物の位置を含む画像とを、撮像装置３０が撮像した撮像画像に重畳させて表示装置７０に表示させる。第１のフォーク１０及び第２のフォーク２０の傾きの程度、及び、第１のフォーク１０及び第２のフォーク２０における荷物の有無を示す画像とは、例えば、図５に示す画像Ｍ４である。また、フォークリフト１に支持された荷物の位置を含む画像とは、例えば、図６に示す画像Ｍ５である。

【0031】

画像Ｍ４は、画像Ｍ４ａ、画像Ｍ４ｂを含む。画像Ｍ４ａは、第１のフォーク１０及び第２のフォーク２０を表す画像である。画像Ｍ４ｂは、第１のフォーク１０及び第２のフォーク２０の傾斜角に対応する目盛りを表す画像である。画像Ｍ４ｂに示される目盛りのうち、水平な目盛りが基準となる傾斜角（０度）を表す。
また、画像Ｍ４は、画像Ｍ４ｃを含む。画像Ｍ４ｃは、フォークリフト１に支持された荷物（すなわち、第１のフォーク１０及び第２のフォーク２０によって支持された荷物）を表す画像である。

【0032】

画像Ｍ５は、フォークリフト１に支持された荷物の位置（荷物の外形）を示す画像である。画像Ｍ５は、荷物を所定の位置に置く直前の位置（例えば、荷物を下ろす操作を行うフォークリフト１の位置の手前０．５ｍの位置）にフォークリフト１が存在したときを想定した、その直前の位置からその所定の位置までの距離（この例では、０．５ｍ）だけ前進したときの荷物の位置を示す画像である。その直前の位置からその所定の位置までの距離は、固定値である。そのため、撮像装置３０がフォークリフト１の進行方向を中心に撮像するように、第１のフォーク１０の先端部に設けられている場合、第１のフォーク１０の先端部の表示装置７０における表示位置は、固定の位置となる。また、画像Ｍ５の表示装置７０における表示位置は、荷物の大きさによって決まる固定の位置となる。

【0033】

なお、図５、図６における四角い破線、Ｌ字型の破線、符号Ｍ１、Ｍ２、Ｍ３、Ｍ４、Ｍ４ａ、Ｍ４ｂ、Ｍ４ｃ、Ｍ５のそれぞれは、説明のために記載したものであり、実際には表示装置７０に表示されない。

【0034】

記憶部８０５は、表示制御装置８０が行う処理に必要な種々の情報を記憶する。例えば、記憶部８０５は、図７に示すように、第１のフォーク１０の先端部から、撮像装置３０が撮像した撮像画像に写る障害物までの距離（図７では「距離」と記載）と、それぞれの距離に応じた画像Ｍ１、Ｍ２、Ｍ３の画像データとを関連付けたデータテーブルＴＢＬ１を記憶する。また、記憶部８０５は、図８に示すように、傾斜センサ４０の検出値が示す傾斜角と、それぞれの傾斜角に応じた、荷物の画像を含む画像Ｍ４または荷物の画像を含まない画像Ｍ４の画像データとを関連付けたデータテーブルＴＢＬ２を記憶する。なお、図８では「荷物あり」と記載されているデータが荷物の画像を含む画像Ｍ４の画像データであり、「荷物なし」と記載されているデータが荷物の画像を含まない画像Ｍ４の画像データである。また、記憶部８０５は、フォークリフト１を一定の距離（例えば、０．５ｍ）の分だけ前進させたと仮定した場合のフォークリフト１に支持された荷物の位置を表す画像Ｍ５を記憶する。

【0035】

次に、表示制御装置８０が画像Ｍ１、Ｍ２、Ｍ３、Ｍ４、Ｍ５のそれぞれを表示装置７０に表示させる処理について説明する。
ここでは、図９に示す表示制御装置８０の処理フローについて説明する。
なお、表示制御装置８０は、所定の条件を満たしたと判断した場合、フォークリフト１に支持された荷物の位置を含む画像Ｍ５を、撮像装置３０が撮像した撮像画像に重畳させて表示装置７０に表示させる装置である。また、表示制御装置８０は、所定の条件を満たさないと判断した場合、所定のタイミングごとに、撮像装置３０が撮像した撮像画像に画像Ｍ１、Ｍ２、Ｍ３、Ｍ４を重畳させて表示装置７０に表示させる装置である。
所定の条件を満たしたと判定した場合とは、荷役作業において荷物を置く可能性が高い（近くに障害物の存在する可能性が高く、荷役作業において荷物を対象物に衝突させる可能性が高い）と判定される状況にあると表示制御部８０４が判定した場合である。具体的には、所定の条件を満たしたと判定した場合とは、運転者がチルト操作を行い、表示制御部８０４がその操作に応じて生成された信号を検出したと判定した後に、距離特定部８０３が算出した最も近い障害物までの最新の距離が所定の距離（例えば、１ｍ）未満であると表示制御部８０４が判定した場合である。また、所定の条件を満たしたと判定した場合とは、運転者が画像Ｍ５を表示させるボタンを押下し、表示制御部８０４がそのボタンの押下に応じて生成される信号を検出したと判定した場合である。また、所定の条件を満たしたと判定した場合とは、荷物を置く所定の位置の近辺に設けられた近距離通信用の特定の信号を検出したと表示制御部８０４が判定した場合である。また、所定の条件を満たしたと判定した場合とは、荷物を置く所定の位置の近辺に設けられた特定の画像を検出したと表示制御部８０４が判定した場合である。
また、画像取得部８０１は、所定の撮像タイミングごとに、フォークリフト１の第１のフォーク１０の先端部に設けられた撮像装置３０が撮像した撮像画像を取得し、深度取得部８０２は、画像取得部８０１が取得したそれぞれの撮像タイミングの撮像画像における深度を取得し、距離特定部８０３は、取得した深度に基づいて、第１のフォーク１０の先端部から、撮像装置３０が撮像した撮像画像に写る障害物までの距離を特定しているものとする。

【0036】

表示制御部８０４は、所定の条件を満たすか否かを判定する（ステップＳ１）。所定の条件とは、荷役作業において荷物を置く可能性が高いことを示す条件である。
表示制御部８０４は、所定の条件を満たさないと判定した場合（ステップＳ１においてＮＯ）、所定のタイミングごとに、距離特定部８０３から距離特定部８０３が特定した最も近い障害物までの最新の距離、傾斜センサ４０の検出値、荷重センサ５０の検出値を取得する（ステップＳ２）。
表示制御部８０４は、データテーブルＴＢＬ１において、取得した距離に関連付けられている画像Ｍ１、Ｍ２、Ｍ３を特定し（ステップＳ３）、特定した画像Ｍ１、Ｍ２、Ｍ３の画像データを取得する（ステップＳ４）。また、表示制御部８０４は、取得した荷重センサ５０の検出値が所定のしきい値以上であるか否かを判定する（ステップＳ５）。
表示制御部８０４は、荷重センサ５０の検出値が所定のしきい値以上であると判定した場合（ステップＳ５においてＹＥＳ）、データテーブルＴＢＬ２において、取得した傾斜センサ４０の検出値が示す傾斜角に関連付けられている画像Ｍ４のうち荷物の画像を含む画像Ｍ４の画像データを特定し（ステップＳ６）、特定した画像データを取得する（ステップＳ７）。

【0037】

また、表示制御部８０４は、荷重センサ５０の検出値が所定のしきい値未満であると判定した場合（ステップＳ５においてＮＯ）、データテーブルＴＢＬ２において、取得した傾斜センサ４０の検出値が示す傾斜角に関連付けられている画像Ｍ４のうち荷物の画像を含まない画像Ｍ４の画像データを特定し（ステップＳ８）、特定した画像データを取得する（ステップＳ９）。
そして、表示制御部８０４は、取得した画像Ｍ１、Ｍ２、Ｍ３、Ｍ４それぞれを、撮像装置３０が撮像した撮像画像に重畳させて表示装置７０の表示画面における所定の位置（例えば、画像Ｍ１を表示画面の右下の位置、画像Ｍ２を表示画面の中央からやや下の位置、画像Ｍ３を第１のフォーク１０の先端部が表示画面の中央に一致する位置、画像Ｍ４を表示画面の右側の位置）に表示させる（ステップＳ１０）。そして、表示制御部８０４は、ステップＳ１の処理に戻す。

【0038】

また、表示制御部８０４は、所定の条件を満たすと判定した場合（ステップＳ１においてＹＥＳ）、所定のタイミングごとに、距離特定部８０３から距離特定部８０３が特定した最も近い障害物までの最新の距離、傾斜センサ４０の検出値、荷重センサ５０の検出値を取得する（ステップＳ１１）。表示制御部８０４は、データテーブルＴＢＬ２において、取得した傾斜センサ４０の検出値が示す傾斜角に関連付けられている画像Ｍ４のうち荷物の画像を含む画像Ｍ４の画像データを特定し（ステップＳ１２）、特定した画像データを取得する（ステップＳ１３）。また、表示制御部８０４は、記憶部８０５が記憶する画像Ｍ５を取得する（ステップＳ１４）。
そして、表示制御部８０４は、取得した画像Ｍ４、Ｍ５それぞれを、撮像装置３０が撮像した撮像画像に重畳させて表示装置７０の表示画面における所定の位置（例えば、画像Ｍ４を表示画面の右側の位置、画像Ｍ５を表示画面の固定の位置）に表示させる（ステップＳ１５）。そして、表示制御部８０４は、ステップＳ１の処理に戻す。

【0039】

次に、フォークリフト１が行う一連の荷役作業において表示制御装置８０が表示装置７０に表示させる表示について、図１０〜図３４を用いて説明する。なお、図１０〜図３４における四角い破線、Ｌ字型の破線、符号Ｍ１、Ｍ２、Ｍ３、Ｍ４、Ｍ４ａ、Ｍ４ｂ、Ｍ４ｃ、Ｍ５のそれぞれは、説明のために記載したものであり、実際には表示装置７０に表示されない。
なお、表示制御部８０４は、図９に示す処理フローについて説明したように、所定の条件を満たさないと判断した場合には、所定のタイミングごとに、撮像装置３０が撮像した撮像画像に画像Ｍ１、Ｍ２、Ｍ３、Ｍ４を重畳させて表示装置７０に表示させ、所定の条件を満たしたと判断した場合には、所定のタイミングごとに、撮像装置３０が撮像した撮像画像に画像Ｍ４、Ｍ５を重畳させて表示装置７０に表示させる。

【0040】

運転者は、フォークリフト１を操作して、移動させる荷物が存在する位置に向かってフォークリフト１を走行させる。
表示制御部８０４は、所定の条件を満たさないと判断した場合には、所定のタイミングごとに、撮像装置３０が撮像した撮像画像に画像Ｍ１、Ｍ２、Ｍ３、Ｍ４を重畳させて表示装置７０に表示させる。図１０は、フォークリフト１が荷物に近づき、距離特定部８０３が算出した第１のフォーク１０の先端部から障害物までの最新の距離が２ｍである場合に、表示制御部８０４が表示装置７０に表示させる画像である。このとき、フォークリフト１は荷物を支持していないため、距離特定部８０３が算出した第１のフォーク１０の先端部から障害物までの最新の距離が２ｍである場合、表示制御部８０４は、図１０に示すように、その距離に応じた２ｍを示す画像Ｍ１、２ｍに相当する目盛りを示す画像Ｍ２、２ｍ先の第１のフォーク１０及び第２のフォーク２０の先端部の位置を示す画像Ｍ３、傾斜角が０度であり荷物を支持していないことを示す画像Ｍ４（画像Ｍ４ａ、画像Ｍ４ｂ）を、撮像装置３０が撮像した撮像画像である障害物（図１０の場合、荷物）及びその背景を含む画像に重畳させて表示装置７０に表示させる。

【0041】

図１１は、フォークリフト１が荷物にさらに近づき、距離特定部８０３が特定した第１のフォーク１０の先端部から障害物までの最新の距離が１ｍである場合に、表示制御部８０４が表示装置７０に表示させる画像である。このとき、フォークリフト１は荷物を支持していないため、距離特定部８０３が特定した第１のフォーク１０の先端部から障害物までの最新の距離が１ｍである場合、表示制御部８０４は、図１１に示すように、その距離に応じた１ｍを示す画像Ｍ１、１ｍに相当する目盛りを示す画像Ｍ２、１ｍ先の第１のフォーク１０及び第２のフォーク２０の先端部の位置を示す画像Ｍ３、傾斜角が０度であり荷物を支持していないことを示す画像Ｍ４（画像Ｍ４ａ、画像Ｍ４ｂ）を、撮像装置３０が撮像した撮像画像である障害物（図１１の場合、荷物）及びその背景を含む画像に重畳させて表示装置７０に表示させる。

【0042】

図１２は、フォークリフト１が荷物にさらに近づき、距離特定部８０３が特定した第１のフォーク１０の先端部から障害物までの最新の距離が所定のしきい値（例えば、１ｍ）以下となった場合に、表示制御部８０４が表示装置７０に表示させる画像である。このとき、フォークリフト１は荷物を支持していない。表示制御部８０４は、距離特定部８０３から最新の距離を取得し、取得した最新の距離が所定のしきい値以下であると判定し、かつ、荷重センサ５０の検出値が所定のしきい値未満であると判定して、図１２に示すように、第１のフォーク１０の先端部の位置を示す画像Ｍ３、傾斜角が０度であり荷物を支持していないことを示す画像Ｍ４（画像Ｍ４ａ、画像Ｍ４ｂ）を、撮像装置３０が撮像した撮像画像である障害物（図１２の場合、荷物）及びその背景を含む画像に重畳させて表示装置７０に表示させる。

【0043】

図１３は、フォークリフト１が荷物にさらに近づき、第１のフォーク１０及び第２のフォーク２０の先端部がパレット内部を移動し、所定の距離以内に障害物が存在すると判定した場合に、表示制御部８０４が表示装置７０に表示させる画像である。このとき、フォークリフト１は荷物を支持していない。表示制御部８０４は、距離特定部８０３から最新の距離を取得し、取得した最新の距離が所定のしきい値以下であると判定し、かつ、荷重センサ５０の検出値が所定のしきい値未満であると判定して、図１３に示すように、第１のフォーク１０の先端部の位置を示す画像Ｍ３、傾斜角が０度であり荷物を支持していないことを示す画像Ｍ４（画像Ｍ４ａ、画像Ｍ４ｂ）を、撮像装置３０が撮像した撮像画像である障害物（図１３の場合、パレット内部）及びその背景を含む画像に重畳させて表示装置７０に表示させる。

【0044】

図１４は、フォークリフト１が荷物にさらに近づき、第１のフォーク１０及び第２のフォーク２０の先端部がパレット内部を突き抜けたタイミングに、表示制御部８０４が表示装置７０に表示させる画像である。このとき、フォークリフト１は荷物を支持していない。しかしながら、第１のフォーク１０及び第２のフォーク２０の先端部がパレット内部を突き抜けようとしたタイミングでは、表示制御部８０４は、距離特定部８０３から取得した最新の距離が所定のしきい値を超えた距離（この例では１ｍ）であると判定する。そのため、表示制御部８０４は、図１４に示すように、最新の距離に応じた１ｍを示す画像Ｍ１、１ｍに相当する目盛りを示す画像Ｍ２、１ｍ先の第１のフォーク１０及び第２のフォーク２０の先端部の位置を示す画像Ｍ３、傾斜角が０度であり荷物を支持していないことを示す画像Ｍ４（画像Ｍ４ａ、画像Ｍ４ｂ）を、撮像装置３０が撮像した撮像画像である障害物（図１４の場合、荷物よりも奥に存在する障害物）及びその背景を含む画像に重畳させて表示装置７０に表示させる。
運転者は、この状態で、第１のフォーク１０及び第２のフォーク２０をリフトアップさせるリフト操作を行う。

【0045】

図１５は、第１のフォーク１０及び第２のフォーク２０の先端部がパレット内部を突き抜けた状態で、第１のフォーク１０及び第２のフォーク２０をリフトアップしている途中のタイミングに、表示制御部８０４が表示装置７０に表示させる画像である。ただし、第１のフォーク１０及び第２のフォーク２０は荷物を支持するところまでは上昇しておらず、荷重センサ５０の検出値は、所定のしきい値未満である。第１のフォーク１０及び第２のフォーク２０をリフトアップしているため、距離特定部８０３から取得した最新の距離が２ｍとなっている。表示制御部８０４は、図１５に示すように、最新の距離に応じた２ｍを示す画像Ｍ１、２ｍに相当する目盛りを示す画像Ｍ２、２ｍ先の第１のフォーク１０及び第２のフォーク２０の先端部の位置を示す画像Ｍ３、傾斜角が０度であり荷物を支持していないことを示す画像Ｍ４（画像Ｍ４ａ、画像Ｍ４ｂ）を、撮像装置３０が撮像した撮像画像である障害物（図１５の場合、荷物よりも奥に存在する障害物）及びその背景を含む画像に重畳させて表示装置７０に表示させる。

【0046】

図１６、図１７は、図１５と同様に、第１のフォーク１０及び第２のフォーク２０の先端部がパレット内部を突き抜けた状態で、第１のフォーク１０及び第２のフォーク２０をリフトアップしている途中のタイミングに、表示制御部８０４が表示装置７０に表示させる画像である。第１のフォーク１０及び第２のフォーク２０は荷物を支持するところまでは上昇しておらず、荷重センサ５０の検出値は、所定のしきい値未満である。第１のフォーク１０及び第２のフォーク２０をリフトアップしているため、図１６に対応するフォークリフト１の場合、表示制御部８０４が距離特定部８０３から取得した最新の距離は３ｍであり、図１７に対応するフォークリフト１の場合、表示制御部８０４が距離特定部８０３から取得した最新の距離は４ｍである。そのため、表示制御部８０４は、図１６に示すように、最新の距離に応じた３ｍを示す画像Ｍ１、３ｍに相当する目盛りを示す画像Ｍ２、３ｍ先の第１のフォーク１０及び第２のフォーク２０の先端部の位置を示す画像Ｍ３、傾斜角が０度であり荷物を支持していないことを示す画像Ｍ４（画像Ｍ４ａ、画像Ｍ４ｂ）を、撮像装置３０が撮像した撮像画像である障害物（図１６の場合、荷物よりも奥に存在する障害物）及びその背景を含む画像に重畳させて表示装置７０に表示させる。また、表示制御部８０４は、図１７に示すように、最新の距離に応じた４ｍを示す画像Ｍ１、４ｍに相当する目盛りを示す画像Ｍ２、４ｍ先の第１のフォーク１０及び第２のフォーク２０の先端部の位置を示す画像Ｍ３、傾斜角が０度であり荷物を支持していないことを示す画像Ｍ４（画像Ｍ４ａ、画像Ｍ４ｂ）を、撮像装置３０が撮像した撮像画像である障害物（図１７の場合、荷物よりも奥に存在する障害物）及びその背景を含む画像に重畳させて表示装置７０に表示させる。

【0047】

図１８は、第１のフォーク１０及び第２のフォーク２０の先端部がパレット内部を突き抜けた状態で、さらに第１のフォーク１０及び第２のフォーク２０をリフトアップし、第１のフォーク１０及び第２のフォーク２０が荷物を支持したタイミングに、表示制御部８０４が表示装置７０に表示させる画像である。第１のフォーク１０及び第２のフォーク２０は荷物を支持するところまでは上昇すると、荷重センサ５０の検出値は、所定のしきい値以上である。また、表示制御部８０４が距離特定部８０３から取得した最新の距離は４ｍである。そのため、表示制御部８０４は、図１８に示すように、最新の距離に応じた４ｍを示す画像Ｍ１、４ｍに相当する目盛りを示す画像Ｍ２、４ｍ先の第１のフォーク１０及び第２のフォーク２０の先端部の位置を示す画像Ｍ３、傾斜角が０度であり荷物を支持していることを示す画像Ｍ４（画像Ｍ４ａ、画像Ｍ４ｂ、画像Ｍ４ｃ）を、撮像装置３０が撮像した撮像画像である障害物（図１８の場合、荷物よりも奥に存在する障害物）及びその背景を含む画像に重畳させて表示装置７０に表示させる。

【0048】

運転者は、フォークリフト１が荷物を支持すると、操作装置６０に対してチルト操作を行う。第１のフォーク１０及び第２のフォーク２０は、運転者によるチルト操作に応じて傾く。
図１９は、第１のフォーク１０及び第２のフォーク２０がチルト操作によって傾いている途中のタイミングに、表示制御部８０４が表示装置７０に表示させる画像である。表示制御部８０４は、第１のフォーク１０及び第２のフォーク２０が傾きに応じた傾斜センサ４０の検出値を取得し、データテーブルＴＢＬ２において、その検出値に関連付けられた画像Ｍ４（画像Ｍ４ａ）を特定する。荷重センサ５０の検出値は、所定のしきい値以上である。また、表示制御部８０４が距離特定部８０３から取得した最新の距離は４ｍである。そのため、表示制御部８０４は、図１９に示すように、最新の距離に応じた４ｍを示す画像Ｍ１、４ｍに相当する目盛りを示す画像Ｍ２、４ｍ先の第１のフォーク１０及び第２のフォーク２０の先端部の位置を示す画像Ｍ３、０度から目盛り１つ分傾いた傾斜角で荷物を支持していることを示す画像Ｍ４（画像Ｍ４ａ、画像Ｍ４ｂ、画像Ｍ４ｃ）を、撮像装置３０が撮像した撮像画像である障害物（図１９の場合、荷物よりも奥に存在する障害物）及びその背景を含む画像に重畳させて表示装置７０に表示させる。

【0049】

図２０は、第１のフォーク１０及び第２のフォーク２０がチルト操作によってさらに傾いたタイミングに、表示制御部８０４が表示装置７０に表示させる画像である。表示制御部８０４は、第１のフォーク１０及び第２のフォーク２０が傾きに応じた傾斜センサ４０の検出値を取得し、データテーブルＴＢＬ２において、その検出値に関連付けられた画像Ｍ４（画像Ｍ４ａ）を特定する。荷重センサ５０の検出値は、所定のしきい値以上である。また、表示制御部８０４が距離特定部８０３から取得した最新の距離は４ｍである。そのため、表示制御部８０４は、図２０に示すように、最新の距離に応じた４ｍを示す画像Ｍ１、４ｍに相当する目盛りを示す画像Ｍ２、４ｍ先の第１のフォーク１０及び第２のフォーク２０の先端部の位置を示す画像Ｍ３、図１９に示す傾斜角よりも大きい目盛り２つ分の傾斜角で荷物を支持していることを示す画像Ｍ４（画像Ｍ４ａ、画像Ｍ４ｂ、画像Ｍ４ｃ）を、撮像装置３０が撮像した撮像画像である障害物（図２０の場合、荷物よりも奥に存在する障害物）及びその背景を含む画像に重畳させて表示装置７０に表示させる。

【0050】

ここで示す例では、荷物を置く位置は、前方の棚の上段であるものとする。運転者は、チルト操作を終えると、フォークリフト１を前進させる操作を行う。
図２１は、第１のフォーク１０及び第２のフォーク２０がチルト操作によって傾いたまま棚に近づく途中のタイミングに、表示制御部８０４が表示装置７０に表示させる画像である。表示制御部８０４が距離特定部８０３から取得した最新の距離は３ｍである。そのため、表示制御部８０４は、図２１に示すように、最新の距離に応じた３ｍを示す画像Ｍ１、３ｍに相当する目盛りを示す画像Ｍ２、３ｍ先の第１のフォーク１０及び第２のフォーク２０の先端部の位置を示す画像Ｍ３、目盛り２つ分の傾斜角で荷物を支持していることを示す画像Ｍ４（画像Ｍ４ａ、画像Ｍ４ｂ、画像Ｍ４ｃ）を、撮像装置３０が撮像した撮像画像である障害物（図２１の場合、荷物よりも奥に存在する障害物）及びその背景を含む画像に重畳させて表示装置７０に表示させる。

【0051】

図２２、図２３は、図２１に対応するフォークリフト１に比べて、棚の方向にさらに前進したタイミングに、表示制御部８０４が表示装置７０に表示させる画像である。図２２に対応するフォークリフト１の場合、表示制御部８０４が距離特定部８０３から取得した最新の距離は２ｍであり、図２３に対応するフォークリフト１の場合、表示制御部８０４が距離特定部８０３から取得した最新の距離は１ｍである。そのため、表示制御部８０４は、図２２に示すように、最新の距離に応じた２ｍを示す画像Ｍ１、２ｍに相当する目盛りを示す画像Ｍ２、２ｍ先の第１のフォーク１０及び第２のフォーク２０の先端部の位置を示す画像Ｍ３、目盛り２つ分の傾斜角で荷物を支持していることを示す画像Ｍ４（画像Ｍ４ａ、画像Ｍ４ｂ、画像Ｍ４ｃ）を、撮像装置３０が撮像した撮像画像である障害物（図２２の場合、荷物よりも奥に存在する障害物）及びその背景を含む画像に重畳させて表示装置７０に表示させる。また、表示制御部８０４は、図２３に示すように、最新の距離に応じた１ｍを示す画像Ｍ１、１ｍに相当する目盛りを示す画像Ｍ２、１ｍ先の第１のフォーク１０及び第２のフォーク２０の先端部の位置を示す画像Ｍ３、目盛り２つ分の傾斜角で荷物を支持していることを示す画像Ｍ４（画像Ｍ４ａ、画像Ｍ４ｂ、画像Ｍ４ｃ）を、撮像装置３０が撮像した撮像画像である障害物（図２３の場合、荷物よりも奥に存在する障害物）及びその背景を含む画像に重畳させて表示装置７０に表示させる。

【0052】

運転者は、フォークリフト１を棚の前まで移動させると、第１のフォーク１０及び第２のフォーク２０を棚の上段までリフトアップさせる前に、操作装置６０に対してチルト操作を行い、第１のフォーク１０及び第２のフォーク２０を水平にする。
図２４は、第１のフォーク１０及び第２のフォーク２０がチルト操作によって水平になったタイミングに、表示制御部８０４が表示装置７０に表示させる画像である。表示制御部８０４が距離特定部８０３から取得した最新の距離は１ｍである。そのため、表示制御部８０４は、図２４に示すように、最新の距離に応じた１ｍを示す画像Ｍ１、１ｍに相当する目盛りを示す画像Ｍ２、１ｍ先の第１のフォーク１０及び第２のフォーク２０の先端部の位置を示す画像Ｍ３、傾斜角が０度であり荷物を支持していることを示す画像Ｍ４（画像Ｍ４ａ、画像Ｍ４ｂ、画像Ｍ４ｃ）を、撮像装置３０が撮像した撮像画像である障害物（図２４の場合、荷物よりも奥に存在する障害物）及びその背景を含む画像に重畳させて表示装置７０に表示させる。

【0053】

運転者は、第１のフォーク１０及び第２のフォーク２０を水平になると、第１のフォーク１０及び第２のフォーク２０を棚の上段までリフトアップさせるリフト操作を行う。
図２５は、第１のフォーク１０及び第２のフォーク２０がリフト操作によって棚の上段まで上昇する途中のタイミングに、表示制御部８０４が表示装置７０に表示させる画像である。表示制御部８０４が距離特定部８０３から取得した最新の距離は１ｍである。そのため、表示制御部８０４は、図２５に示すように、最新の距離に応じた１ｍを示す画像Ｍ１、１ｍに相当する目盛りを示す画像Ｍ２、１ｍ先の第１のフォーク１０及び第２のフォーク２０の先端部の位置を示す画像Ｍ３、傾斜角が０度であり荷物を支持していることを示す画像Ｍ４（画像Ｍ４ａ、画像Ｍ４ｂ、画像Ｍ４ｃ）を、撮像装置３０が撮像した撮像画像である障害物（図２５の場合、荷物よりも奥に存在する障害物）及びその背景を含む画像に重畳させて表示装置７０に表示させる。

【0054】

第１のフォーク１０及び第２のフォーク２０がリフトアップしているときにも、表示制御部８０４は、図９の処理フローで説明したステップＳ１の処理により所定の条件を満たすか否かの判定を行っている。
図２６は、第１のフォーク１０及び第２のフォーク２０がリフト操作によって棚の上段まで上昇する途中で、ステップＳ１の処理により所定の条件を満たしたと判定したタイミングに、表示制御部８０４が表示装置７０に表示させる画像である。例えば、表示制御部８０４が運転者がチルト操作を行い、表示制御部８０４がその操作に応じて生成された信号を検出したと判定した後に、距離特定部８０３が算出した最も近い障害物までの最新の距離が所定の距離（例えば、１ｍ）未満であるか否かによって所定の条件を満たすか否かを判定している場合、荷物を支持している第１のフォーク１０及び第２のフォーク２０がリフトアップしているときに、表示制御部８０４が距離特定部８０３から取得した最新の距離が１ｍ未満であると、表示制御部８０４は、所定の条件を満たしたと判定する。そして、表示制御部８０４は、図９の処理フローで説明したステップＳ１１〜ステップＳ１５の処理を行う。そのため、表示制御部８０４は、図２６に示すように、傾斜角が０度であり荷物を支持していることを示す画像Ｍ４（画像Ｍ４ａ、画像Ｍ４ｂ、画像Ｍ４ｃ）、フォークリフト１に支持された荷物の位置（荷物の外形）を示す画像Ｍ５を、撮像装置３０が撮像した撮像画像である障害物（図２６の場合、荷物よりも奥に存在する障害物）及びその背景を含む画像に重畳させて表示装置７０に表示させる。

【0055】

図２７は、第１のフォーク１０及び第２のフォーク２０がリフト操作によって棚の上段まで上昇したタイミングに、表示制御部８０４が表示装置７０に表示させる画像である。表示制御部８０４が距離特定部８０３から取得した最新の距離が１ｍである。そのため、表示制御部８０４は、図２７に示すように、最新の距離に応じた１ｍを示す画像Ｍ１、１ｍに相当する目盛りを示す画像Ｍ２、１ｍ先の第１のフォーク１０及び第２のフォーク２０の先端部の位置を示す画像Ｍ３、傾斜角が０度であり荷物を支持していることを示す画像Ｍ４（画像Ｍ４ａ、画像Ｍ４ｂ、画像Ｍ４ｃ）を、撮像装置３０が撮像した撮像画像である障害物（図２７の場合、荷物よりも奥に存在する障害物）及びその背景を含む画像に重畳させて表示装置７０に表示させる。

【0056】

運転者は、フォークリフト１を前進させる操作を行い、荷物を棚の真上まで移動させる。
図２８は、第１のフォーク１０及び第２のフォーク２０がリフト操作によって棚の上段の真上まで移動したタイミングに、表示制御部８０４が表示装置７０に表示させる画像である。表示制御部８０４が距離特定部８０３から取得した最新の距離が１ｍである。そのため、表示制御部８０４は、図２８に示すように、最新の距離に応じた１ｍを示す画像Ｍ１、１ｍに相当する目盛りを示す画像Ｍ２、１ｍ先の第１のフォーク１０及び第２のフォーク２０の先端部の位置を示す画像Ｍ３、傾斜角が０度であり荷物を支持していることを示す画像Ｍ４（画像Ｍ４ａ、画像Ｍ４ｂ、画像Ｍ４ｃ）を、撮像装置３０が撮像した撮像画像である障害物（図２８の場合、荷物よりも奥に存在する障害物）及びその背景を含む画像に重畳させて表示装置７０に表示させる。

【0057】

運転者は、荷物を棚の真上まで移動させると、第１のフォーク１０及び第２のフォーク２０をリフトダウンさせるリフト操作を行い、荷物を棚に置く。
図２９は、第１のフォーク１０及び第２のフォーク２０がリフト操作によってリフトダウンし、荷物が棚に置かれたタイミングに、表示制御部８０４が表示装置７０に表示させる画像である。荷重センサ５０の検出値は、所定のしきい値未満である。また、表示制御部８０４が距離特定部８０３から取得した最新の距離が１ｍである。そのため、表示制御部８０４は、図２９に示すように、最新の距離に応じた１ｍを示す画像Ｍ１、１ｍに相当する目盛りを示す画像Ｍ２、１ｍ先の第１のフォーク１０及び第２のフォーク２０の先端部の位置を示す画像Ｍ３、傾斜角が０度であり荷物を支持していないことを示す画像Ｍ４（画像Ｍ４ａ、画像Ｍ４ｂ）を、撮像装置３０が撮像した撮像画像である障害物（図２９の場合、荷物よりも奥に存在する障害物）及びその背景を含む画像に重畳させて表示装置７０に表示させる。

【0058】

運転者は、荷物を棚に置くと、操作装置６０に対してフォークリフト１を後退させる操作を行い、第１のフォーク１０及び第２のフォーク２０をパレットから引き抜く。
図３０、図３１、図３２、図３３は、この操作が行われた各タイミングに、表示制御部８０４が表示装置７０に表示させる画像であり、図１１、図１２、図１３、図１４の表示を逆の順に表示させることに相当する。（ただし、第１のフォーク１０及び第２のフォーク２０の存在する位置（高さ）が異なる。）表示制御部８０４は、図３０に示すように、最新の距離に応じた１ｍを示す画像Ｍ１、１ｍに相当する目盛りを示す画像Ｍ２、１ｍ先の第１のフォーク１０及び第２のフォーク２０の先端部の位置を示す画像Ｍ３、傾斜角が０度であり荷物を支持していないことを示す画像Ｍ４（画像Ｍ４ａ、画像Ｍ４ｂ）を、撮像装置３０が撮像した撮像画像である障害物（図３０の場合、荷物よりも奥に存在する障害物）及びその背景を含む画像に重畳させて表示装置７０に表示させる。また、表示制御部８０４は、距離特定部８０３から最新の距離を取得し、取得した最新の距離が所定のしきい値以下であると判定し、かつ、荷重センサ５０の検出値が所定のしきい値未満であると判定して、図３１に示すように、第１のフォーク１０の先端部の位置を示す画像Ｍ３、傾斜角が０度であり荷物を支持していないことを示す画像Ｍ４（画像Ｍ４ａ、画像Ｍ４ｂ）を、撮像装置３０が撮像した撮像画像である障害物（図３１の場合、パレット内部）及びその背景を含む画像に重畳させて表示装置７０に表示させる。また、表示制御部８０４は、距離特定部８０３から最新の距離を取得し、取得した最新の距離が所定のしきい値以下であると判定し、かつ、荷重センサ５０の検出値が所定のしきい値未満であると判定して、図３２に示すように、第１のフォーク１０の先端部の位置を示す画像Ｍ３、傾斜角が０度であり荷物を支持していないことを示す画像Ｍ４（画像Ｍ４ａ、画像Ｍ４ｂ）を、撮像装置３０が撮像した撮像画像である障害物（図３２の場合、荷物）及びその背景を含む画像に重畳させて表示装置７０に表示させる。また、表示制御部８０４は、図３３に示すように、その距離に応じた３ｍを示す画像Ｍ１、３ｍに相当する目盛りを示す画像Ｍ２、３ｍ先の第１のフォーク１０及び第２のフォーク２０の先端部の位置を示す画像Ｍ３、傾斜角が０度であり荷物を支持していないことを示す画像Ｍ４（画像Ｍ４ａ、画像Ｍ４ｂ）を、撮像装置３０が撮像した撮像画像である障害物（図３３の場合、荷物）及びその背景を含む画像に重畳させて表示装置７０に表示させる。

【0059】

運転者は、第１のフォーク１０及び第２のフォーク２０をパレットから引き抜くと、操作装置６０に対して第１のフォーク１０及び第２のフォーク２０をリフトダウンする操作を行う。
図３４は、第１のフォーク１０及び第２のフォーク２０が最も低い位置まで下がったタイミングに、表示制御部８０４が表示装置７０に表示させる画像である。表示制御部８０４が距離特定部８０３から取得した最新の距離が１ｍである。そのため、表示制御部８０４は、図３４に示すように、最新の距離に応じた１ｍを示す画像Ｍ１、１ｍに相当する目盛りを示す画像Ｍ２、１ｍ先の第１のフォーク１０及び第２のフォーク２０の先端部の位置を示す画像Ｍ３、傾斜角が０度であり荷物を支持していないことを示す画像Ｍ４（画像Ｍ４ａ、画像Ｍ４ｂ）を、撮像装置３０が撮像した撮像画像である障害物（図３４の場合、荷物よりも奥に存在する障害物）及びその背景を含む画像に重畳させて表示装置７０に表示させる。

【0060】

以上、本発明の第１の実施形態によるフォークリフトについて説明した。
本発明の第１の実施形態によるフォークリフト１の表示制御装置８０において、画像取得部８０１は、フォークリフト１の第１のフォーク１０の先端部に設けられた撮像装置３０が撮像した撮像画像を取得する。深度取得部８０２は、前記撮像画像における深度を取得する。距離特定部８０３は、前記深度に基づいて、前記第１のフォーク１０の先端部から前記撮像画像に写る障害物までの距離を特定する。表示制御部８０４は、前記距離と前記第１のフォーク１０の先端部の位置とに応じた画像を、前記撮像画像に重畳させて表示させる。
こうすることで、表示制御装置８０は、フォークリフト１の前方の死角となる画像とともに、荷役作業の操作をサポートする画像Ｍ１、Ｍ２、Ｍ３、Ｍ４、Ｍ５などを表示装置７０に表示させることができる。その結果、表示制御装置８０により、運転者がフォークリフト１の荷役作業の操作をよりし易くなる。

【0061】

なお、本発明の実施形態における処理は、適切な処理が行われる範囲において、処理の順番が入れ替わってもよい。

【0062】

本発明の実施形態における記憶部８０５、その他の記憶装置のそれぞれは、適切な情報の送受信が行われる範囲においてどこに備えられていてもよい。また、記憶部８０５、その他の記憶装置のそれぞれは、適切な情報の送受信が行われる範囲において複数存在しデータを分散して記憶していてもよい。

【0063】

本発明の実施形態について説明したが、上述の撮像装置３０、操作装置６０、表示装置７０、表示制御装置８０、その他の制御装置は内部に、コンピュータシステムを有していてもよい。そして、上述した処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。コンピュータの具体例を以下に示す。
図３５は、少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
コンピュータ５は、図３５に示すように、ＣＰＵ６、メインメモリ７、ストレージ８、インターフェース９を備える。
例えば、上述の撮像装置３０、操作装置６０、表示装置７０、表示制御装置８０、その他の制御装置のそれぞれは、コンピュータ５に実装される。そして、上述した各処理部の動作は、プログラムの形式でストレージ８に記憶されている。ＣＰＵ６は、プログラムをストレージ８から読み出してメインメモリ７に展開し、当該プログラムに従って上記処理を実行する。また、ＣＰＵ６は、プログラムに従って、上述した各記憶部に対応する記憶領域をメインメモリ７に確保する。

【0064】

ストレージ８の例としては、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ−ＲＯＭ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、半導体メモリ等が挙げられる。ストレージ８は、コンピュータ５のバスに直接接続された内部メディアであってもよいし、インターフェース９または通信回線を介してコンピュータ５に接続される外部メディアであってもよい。また、このプログラムが通信回線によってコンピュータ５に配信される場合、配信を受けたコンピュータ５が当該プログラムをメインメモリ７に展開し、上記処理を実行してもよい。少なくとも１つの実施形態において、ストレージ８は、一時的でない有形の記憶媒体である。

【0065】

また、上記プログラムは、前述した機能の一部を実現してもよい。さらに、上記プログラムは、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるファイル、いわゆる差分ファイル（差分プログラム）であってもよい。

【0066】

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例であり、発明の範囲を限定しない。これらの実施形態は、発明の要旨を逸脱しない範囲で、種々の追加、省略、置き換え、変更を行ってよい。

【符号の説明】

【0067】

１・・・フォークリフト
５・・・コンピュータ
６・・・ＣＰＵ
７・・・メインメモリ
８・・・ストレージ
９・・・インターフェース
１０・・・第１のフォーク
２０・・・第２のフォーク
３０・・・撮像装置
４０・・・傾斜センサ
５０・・・荷重センサ
６０・・・操作装置
７０・・・表示装置
８０・・・表示制御装置
８０１・・・画像取得部
８０２・・・深度取得部
８０３・・・距離特定部
８０４・・・表示制御部
８０５・・・記憶部

【要約】

【課題】荷役作業の操作をよりし易くすることのできる表示制御装置を提供する。
【解決手段】表示制御装置は、フォークリフトの第１のフォークの先端部に設けられた撮像装置が撮像した撮像画像を取得する画像取得部と、前記撮像画像における深度を取得する深度取得部と、前記深度に基づいて、前記第１のフォークの先端部から前記撮像画像に写る障害物までの距離を特定する距離特定部と、前記距離と前記第１のフォークの先端部の位置とに応じた画像を、前記撮像画像に重畳させて表示させる表示制御部と、を備える。
【選択図】図３

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29】

【図30】

【図31】

【図32】

【図33】

【図34】

【図35】