ホーム > 特許ランキング > 住友重機械工業株式会社
知財求人 - 知財ポータルサイト「IP Force」
▶ 住友重機械工業株式会社の特許一覧 ▶ 住友ナコ マテリアル ハンドリング株式会社の特許一覧
特開2024-168050荷役支援装置、荷役車両、荷役支援方法及び荷役支援プログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024168050
(43)【公開日】2024-12-05
(54)【発明の名称】荷役支援装置、荷役車両、荷役支援方法及び荷役支援プログラム
(51)【国際特許分類】
B66F 9/24 20060101AFI20241128BHJP
【ＦＩ】
B66F9/24 L
【審査請求】未請求
【請求項の数】8
【出願形態】ＯＬ
(21)【出願番号】P 2023084443
(22)【出願日】2023-05-23
(71)【出願人】
【識別番号】000002107
【氏名又は名称】住友重機械工業株式会社
(71)【出願人】
【識別番号】000183222
【氏名又は名称】住友ナコ フォ－クリフト株式会社
(74)【代理人】
【識別番号】100090033
【弁理士】
【氏名又は名称】荒船 博司
(74)【代理人】
【識別番号】100093045
【弁理士】
【氏名又は名称】荒船 良男
(72)【発明者】
【氏名】佐藤 美徳
(72)【発明者】
【氏名】鈴木 雄士
【テーマコード（参考）】
3F333
【Ｆターム（参考）】
3F333AA02
3F333AB13
3F333AE02
3F333FD11
3F333FD14
3F333FE05
3F333FE09
(57)【要約】
【課題】好適に荷役作業の自動化を図る。
【解決手段】フォークリフト１は、フォーク１２の荷役対象を含む画像を取得する撮影部２４と、制御部２７と、を備えている。制御部２７は、撮影部２４が取得した画像に基づいて荷役対象を検出し、当該荷役対象の検出における、画像に基づく荷役対象の認識度合いを表す評価値を、表示部２３に表示させる。これにより、オペレータによる評価値の視認によって、画像に基づく荷役対象検出の健全性を確認しながら、安全に荷役作業を実行できる。したがって、安全性を担保しながら、好適に荷役作業の自動化を図ることができる。
【選択図】図３
【解決手段】フォークリフト１は、フォーク１２の荷役対象を含む画像を取得する撮影部２４と、制御部２７と、を備えている。制御部２７は、撮影部２４が取得した画像に基づいて荷役対象を検出し、当該荷役対象の検出における、画像に基づく荷役対象の認識度合いを表す評価値を、表示部２３に表示させる。これにより、オペレータによる評価値の視認によって、画像に基づく荷役対象検出の健全性を確認しながら、安全に荷役作業を実行できる。したがって、安全性を担保しながら、好適に荷役作業の自動化を図ることができる。
【選択図】図３
【特許請求の範囲】
【請求項1】
荷役作業部の荷役対象を含む画像を取得する撮影部と、
前記撮影部が取得した画像に基づいて、前記荷役対象を検出する検出部と、
前記検出部による前記荷役対象の検出における、前記画像に基づく前記荷役対象の認識度合いを表す評価値を表示部に表示させる表示制御部と、
を備える荷役支援装置。
前記撮影部が取得した画像に基づいて、前記荷役対象を検出する検出部と、
前記検出部による前記荷役対象の検出における、前記画像に基づく前記荷役対象の認識度合いを表す評価値を表示部に表示させる表示制御部と、
を備える荷役支援装置。
【請求項2】
前記評価値が正常か否かを判定する判定部と、
前記評価値が正常でないと前記判定部が判定した場合に、前記荷役作業部を有する荷役車両の動作を停止させる動作制御部と、
を備える、
請求項１に記載の荷役支援装置。
前記評価値が正常でないと前記判定部が判定した場合に、前記荷役作業部を有する荷役車両の動作を停止させる動作制御部と、
を備える、
請求項１に記載の荷役支援装置。
【請求項3】
前記検出部が検出した前記荷役対象を、その候補として前記表示部に表示させる第２表示制御部と、
オペレータの操作に基づいて、前記表示部に表示された前記荷役対象の候補のうちの１つを選択する選択部と、
を備える、
請求項１に記載の荷役支援装置。
オペレータの操作に基づいて、前記表示部に表示された前記荷役対象の候補のうちの１つを選択する選択部と、
を備える、
請求項１に記載の荷役支援装置。
【請求項4】
前記撮影部による前記画像の取得と、前記検出部による前記荷役対象の検出と、前記表示制御部による前記評価値の表示とは、前記荷役作業部を有する荷役車両が前記荷役対象に荷役作業を実行しているときに、逐次実行される、
請求項１に記載の荷役支援装置。
請求項１に記載の荷役支援装置。
【請求項5】
前記荷役作業部を有する荷役車両の動作を制御する動作制御部を備え、
前記動作制御部は、オペレータの操作に基づいて、前記荷役車両による前記荷役対象に対する荷役作業の開始、継続及び中断を実行する、
請求項１に記載の荷役支援装置。
前記動作制御部は、オペレータの操作に基づいて、前記荷役車両による前記荷役対象に対する荷役作業の開始、継続及び中断を実行する、
請求項１に記載の荷役支援装置。
【請求項6】
請求項１～５のいずれか一項に記載の荷役支援装置と、
前記荷役作業部と、
を備える荷役車両。
前記荷役作業部と、
を備える荷役車両。
【請求項7】
制御部が、
荷役作業部の荷役対象を含む画像を取得する撮影工程と、
前記撮影工程で取得した画像に基づいて、前記荷役対象を検出する検出工程と、
前記検出工程による前記荷役対象の検出における、前記画像に基づく前記荷役対象の認識度合いを表す評価値を表示部に表示させる表示制御工程と、
を実行する荷役支援方法。
荷役作業部の荷役対象を含む画像を取得する撮影工程と、
前記撮影工程で取得した画像に基づいて、前記荷役対象を検出する検出工程と、
前記検出工程による前記荷役対象の検出における、前記画像に基づく前記荷役対象の認識度合いを表す評価値を表示部に表示させる表示制御工程と、
を実行する荷役支援方法。
【請求項8】
コンピュータを、
荷役作業部の荷役対象を含む画像を取得する撮影部、
前記撮影部が取得した画像に基づいて、前記荷役対象を検出する検出部、
前記検出部による前記荷役対象の検出における、前記画像に基づく前記荷役対象の認識度合いを表す評価値を表示部に表示させる表示制御部、
として機能させる荷役支援プログラム。
荷役作業部の荷役対象を含む画像を取得する撮影部、
前記撮影部が取得した画像に基づいて、前記荷役対象を検出する検出部、
前記検出部による前記荷役対象の検出における、前記画像に基づく前記荷役対象の認識度合いを表す評価値を表示部に表示させる表示制御部、
として機能させる荷役支援プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、荷役支援装置、荷役車両、荷役支援方法及び荷役支援プログラムに関する。
【背景技術】
【0002】
近年、荷役作業を行うフォークリフト等の荷役車両では、自動（無人）運転化が進んでいる。例えば特許文献１に記載の技術では、フォークリフトが作業領域における自車の周囲を確認し、荷役作業を自律的に行っている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０２１－１８７６７２号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、荷役車両の自動化には、未だ技術的な課題が多い。
例えばパレットを計測して荷役作業を自動化する場合、光の影響等の計測状態によってはセンシングを好適に行えず、パレットを適正に認識できないおそれがある。パレットを適正に認識できていない状態で荷役作業が実行されてしまうと、車体や荷の破損等といった不具合が生じ得る。
例えばパレットを計測して荷役作業を自動化する場合、光の影響等の計測状態によってはセンシングを好適に行えず、パレットを適正に認識できないおそれがある。パレットを適正に認識できていない状態で荷役作業が実行されてしまうと、車体や荷の破損等といった不具合が生じ得る。
【0005】
本発明は、上記事情に鑑みてなされたもので、好適に荷役作業の自動化を図ることを目的とする。
【課題を解決するための手段】
【0006】
本発明に係る荷役支援装置は、
荷役作業部の荷役対象を含む画像を取得する撮影部と、
前記撮影部が取得した画像に基づいて、前記荷役対象を検出する検出部と、
前記検出部による前記荷役対象の検出における、前記画像に基づく前記荷役対象の認識度合いを表す評価値を表示部に表示させる表示制御部と、
を備える。
荷役作業部の荷役対象を含む画像を取得する撮影部と、
前記撮影部が取得した画像に基づいて、前記荷役対象を検出する検出部と、
前記検出部による前記荷役対象の検出における、前記画像に基づく前記荷役対象の認識度合いを表す評価値を表示部に表示させる表示制御部と、
を備える。
【発明の効果】
【0007】
本発明によれば、好適に荷役作業の自動化を図ることができる。
【図面の簡単な説明】
【0008】
【図1】実施形態に係るフォークリフトの荷棚への荷役作業（荷取り）時の側面図である。
【図2】実施形態に係るフォークリフトの概略の制御構成を示すブロック図である。
【図3】実施形態に係る荷取支援処理の手順を示すフローチャートである。
【図4】実施形態に係る荷取支援処理を説明するための図である。
【図5】実施形態に係るフォークリフトの荷棚への荷役作業（荷置き）時の側面図である。
【図6】実施形態に係る荷置支援処理の手順を示すフローチャートである。
【図7】実施形態に係る荷置支援処理を説明するための図である。
【図8】実施形態の変形例に係るフォークリフト及び遠隔操作装置の概略の制御構成を示すブロック図である。
【図9】実施形態の変形例に係るフォークリフト及び撮影部の概略の制御構成を示すブロック図である。
【発明を実施するための形態】
【0009】
以下、本発明の実施形態について、図面を参照して詳細に説明する。
【0010】
［フォークリフトの構成］
図１は、本実施形態に係るフォークリフト１の荷棚４０への荷役作業（荷取り）時の側面図である。
本実施形態に係るフォークリフト１は、本発明に係る荷役支援装置を具備することにより、荷棚４０に荷Ｌ（パレット３０）を置く荷置き作業又は荷棚４０から荷Ｌを取る荷取り作業を含む各種の荷役作業を好適に行う。フォークリフト１は、本発明に係る荷役車両の一例である。
以下、「荷Ｌ（パレット３０）を置く（又は取る）」とは、特に断りのない限り、荷棚４０の棚板４２に荷Ｌ（パレット３０）を置く（又は取る）ことをいう。
図１は、本実施形態に係るフォークリフト１の荷棚４０への荷役作業（荷取り）時の側面図である。
本実施形態に係るフォークリフト１は、本発明に係る荷役支援装置を具備することにより、荷棚４０に荷Ｌ（パレット３０）を置く荷置き作業又は荷棚４０から荷Ｌを取る荷取り作業を含む各種の荷役作業を好適に行う。フォークリフト１は、本発明に係る荷役車両の一例である。
以下、「荷Ｌ（パレット３０）を置く（又は取る）」とは、特に断りのない限り、荷棚４０の棚板４２に荷Ｌ（パレット３０）を置く（又は取る）ことをいう。
【0011】
具体的に、フォークリフト１の車体１０は、車両本体１１、フォーク１２、昇降体（リフト）１３、マスト１４、車輪１５を備える。マスト１４は車両本体１１の前方に設けられ、図示しない駆動源によって駆動されて車両本体１１の前後に傾斜する。昇降体１３は、図示しない駆動源によって駆動され、マスト１４に沿って昇降する。昇降体１３には、荷Ｌやパレット３０等を保持する左右一対のフォーク１２が取り付けられている。一対のフォーク１２は、マスト１４及び昇降体１３の駆動により、車両本体１１に対する傾斜及び昇降等が可能となっている。フォーク１２は、本発明に係る荷役作業部の一例である。
【0012】
パレット３０は、荷Ｌが載置される荷受台であり、２つのフォークポケット３２を側面３３に有する短矩形板状に形成されている（図４参照）。パレット３０は、２つのフォークポケット３２に一対のフォーク１２が挿入されることにより、フォークリフト１に保持される。
【0013】
図２は、フォークリフト１の概略の制御構成を示すブロック図である。
この図に示すように、フォークリフト１は、上記構成に加え、駆動部２１、操作部２２、表示部２３、撮影部２４、記憶部２６、制御部２７を備える。本発明に係る荷役支援装置は、少なくとも撮影部２４と制御部２７を含む。
この図に示すように、フォークリフト１は、上記構成に加え、駆動部２１、操作部２２、表示部２３、撮影部２４、記憶部２６、制御部２７を備える。本発明に係る荷役支援装置は、少なくとも撮影部２４と制御部２７を含む。
【0014】
駆動部２１は、フォークリフト１の各種駆動源である走行モータ、操舵モータ及び荷役モータ（いずれも図示省略）を含む。走行モータは、車輪１５のうちの駆動輪を駆動する。操舵モータは、車輪１５のうちの操舵輪を回転（操舵動作）させる。荷役モータは、昇降体１３の昇降とマスト１４の傾倒との各動作を行わせる駆動源である。
【0015】
操作部２２は、搭乗するオペレータ（運転者）が各種操作を行う操作手段である。操作部２２は、例えばハンドルやペダル、レバー、各種ボタン等を含み、これらの操作内容に応じた操作信号を制御部２７に出力する。
【0016】
表示部２３は、例えば液晶ディスプレイ、有機エレクトロルミネッセンスディスプレイその他のディスプレイであり、制御部２７から入力される表示信号に基づいて各種情報を表示する。なお、表示部２３は、操作部２２の一部を兼ねるタッチパネルであってもよいし、音声表示（出力）が可能なスピーカを含んでもよい。
【0017】
撮影部２４は、フォークリフト１の前方を撮影してその画像情報を取得し、取得した情報を制御部２７に出力する。本実施形態の撮影部２４は、昇降体１３の下部であって幅方向の中央部に配置され、前方向きに設置されている（図１参照）。
なお、撮影部２４が取得する画像種別等は特に限定されず、例えばＲＧＢ画像でもよい。また、撮影部２４は、光や音波を走査して反射波を検出することで二次元形状又は三次元形状を取得するスキャナ装置であってもよい。あるいは、撮影部２４は、距離情報（奥行き情報）を含む画像を取得可能なRGB-Dカメラ（デプスカメラ）、LiDAR（Light Detection And Ranging）、複眼カメラ等であってもよい。また、撮影部２４の位置は特に限定されず、例えば、昇降体１３の上部（撮影範囲がフォーク１２上の荷Ｌと大きく被らない位置）やフォーク１２の先端等でもよい。
なお、撮影部２４が取得する画像種別等は特に限定されず、例えばＲＧＢ画像でもよい。また、撮影部２４は、光や音波を走査して反射波を検出することで二次元形状又は三次元形状を取得するスキャナ装置であってもよい。あるいは、撮影部２４は、距離情報（奥行き情報）を含む画像を取得可能なRGB-Dカメラ（デプスカメラ）、LiDAR（Light Detection And Ranging）、複眼カメラ等であってもよい。また、撮影部２４の位置は特に限定されず、例えば、昇降体１３の上部（撮影範囲がフォーク１２上の荷Ｌと大きく被らない位置）やフォーク１２の先端等でもよい。
【0018】
記憶部２６は、例えばＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）等により構成されるメモリであり、各種のプログラム及びデータを記憶するとともに、制御部２７の作業領域としても機能する。
本実施形態の記憶部２６には、後述の荷取支援処理（図３参照）及び荷置支援処理（図６参照）を実行するための荷取支援プログラム２６０及び荷置支援プログラム２６１のほか、第１学習モデル２６２及び第２学習モデル２６３が予め記憶されている。
本実施形態の記憶部２６には、後述の荷取支援処理（図３参照）及び荷置支援処理（図６参照）を実行するための荷取支援プログラム２６０及び荷置支援プログラム２６１のほか、第１学習モデル２６２及び第２学習モデル２６３が予め記憶されている。
【0019】
第１学習モデル２６２は、画像からパレット３０を検出するためのものである。第１学習モデル２６２は、例えば、フォークポケット３２を有する側面３３（図４参照）等が付与された複数のパレット３０のサンプル画像を教師データとした機械学習により、予め作成されて記憶部２６に格納されている。
第２学習モデル２６３は、画像から荷棚４０の棚板４２を検出するためのものである。第２学習モデル２６３は、例えば、棚板４２の上面（棚面）４２ａ又は前面４２ｂ（図７参照）等が付与された複数の荷棚４０のサンプル画像を教師データとした機械学習により、予め作成されて記憶部２６に格納されている。
第１学習モデル２６２及び第２学習モデル２６３は、深層学習されたニューラルネットワークを有するＡＩ（Artificial Intelligence：人工知能）であってもよい。
第２学習モデル２６３は、画像から荷棚４０の棚板４２を検出するためのものである。第２学習モデル２６３は、例えば、棚板４２の上面（棚面）４２ａ又は前面４２ｂ（図７参照）等が付与された複数の荷棚４０のサンプル画像を教師データとした機械学習により、予め作成されて記憶部２６に格納されている。
第１学習モデル２６２及び第２学習モデル２６３は、深層学習されたニューラルネットワークを有するＡＩ（Artificial Intelligence：人工知能）であってもよい。
【0020】
制御部２７は、例えばＣＰＵ（Central Processing Unit）等により構成され、フォークリフト１各部の動作を制御する。具体的に、制御部２７は、操作部２２の操作内容に基づいて駆動部２１を動作させたり、記憶部２６に予め記憶されているプログラムを展開し、展開されたプログラムと協働して各種処理を実行したりする。
【0021】
【0022】
荷取支援処理は、荷役作業の一部を自動化してオペレータの操作を支援する処理である。具体的に、荷取支援処理は、フォークリフト１により荷棚４０から荷Ｌ（パレット）を取るときに、フォークリフト１がパレット３０を自動的に認識して荷取りを実行する処理である。この荷取支援処理は、オペレータ（運転者）の実行操作等に基づいて、フォークリフト１の制御部２７が記憶部２６から荷取支援プログラム２６０を読み出して展開することで実行される。
この荷取りでは、フォークリフト１が、パレット３０上に置かれた荷Ｌを荷棚４０の棚板４２上から取り出す。ここでは、フォークリフト１は、荷棚４０の前まで走行してきた状態であるものとする。
この荷取りでは、フォークリフト１が、パレット３０上に置かれた荷Ｌを荷棚４０の棚板４２上から取り出す。ここでは、フォークリフト１は、荷棚４０の前まで走行してきた状態であるものとする。
【0023】
図３に示すように、荷取支援処理が実行されると、まず制御部２７は、オペレータの操作に基づいて、車体前方の荷棚４０を撮影部２４で撮影する（ステップＳ１）。
このとき、制御部２７は、表示部２３をファインダーとして撮影部２４の映像を表示させておき、オペレータの実行操作に基づいて、そのときの撮影部２４の撮影範囲内の画像データを取得する。オペレータは、表示部２３を見ながら、フォーク１２の昇降等により撮影部２４を移動させ、荷役対象の荷Ｌとそのパレット３０を撮影部２４の撮影範囲内に収めた状態で撮影の実行操作を行う。制御部２７は、取得された画像データを記憶部２６に記憶させる。これにより、荷役対象の荷Ｌ（パレット３０）を含む画像（画像データ）が取得される。
このとき、制御部２７は、表示部２３をファインダーとして撮影部２４の映像を表示させておき、オペレータの実行操作に基づいて、そのときの撮影部２４の撮影範囲内の画像データを取得する。オペレータは、表示部２３を見ながら、フォーク１２の昇降等により撮影部２４を移動させ、荷役対象の荷Ｌとそのパレット３０を撮影部２４の撮影範囲内に収めた状態で撮影の実行操作を行う。制御部２７は、取得された画像データを記憶部２６に記憶させる。これにより、荷役対象の荷Ｌ（パレット３０）を含む画像（画像データ）が取得される。
【0024】
次に、制御部２７は、ステップＳ１で取得した画像データから、パレット３０を検出する（ステップＳ２）。
具体的に、制御部２７は、取得した荷棚４０の画像データを第１学習モデル２６２に入力し、当該画像データに含まれるパレット３０の画像部分を取得する。本実施形態では、図４（ａ）に示すように、パレット３０のうち、２つのフォークポケット３２を含む側面３３が検出される。
なお、パレット３０の検出手法は、画像データ（点群データ等を含む）を用いたものであれば特に限定されず、例えばスライディングウィンドウや深層学習での推論等による検出であってもよい。
具体的に、制御部２７は、取得した荷棚４０の画像データを第１学習モデル２６２に入力し、当該画像データに含まれるパレット３０の画像部分を取得する。本実施形態では、図４（ａ）に示すように、パレット３０のうち、２つのフォークポケット３２を含む側面３３が検出される。
なお、パレット３０の検出手法は、画像データ（点群データ等を含む）を用いたものであれば特に限定されず、例えばスライディングウィンドウや深層学習での推論等による検出であってもよい。
【0025】
次に、制御部２７は、オペレータの操作に基づいて、荷役対象のパレット３０を選択する（ステップＳ３）。
ここでは、制御部２７は、ステップＳ２で複数のパレット３０が検出されていた場合に、当該複数のパレット３０をその（荷役対象のものの）候補として表示部２３に表示させる。そして、制御部２７は、オペレータの操作に基づいて、表示されたパレット３０（の候補）のうちの１つを荷役対象のものとして選択する。このとき、制御部２７は、ステップＳ２で用いた画像と、パレット表示部２３ａ及び番号表示部２３ｂとを、表示部２３に表示させる。パレット表示部２３ａは、ステップＳ２で用いた画像上で、検出されたパレット３０（側面３３）を指示する部分である。番号表示部２３ｂは、ステップＳ２で用いた画像上に、パレット表示部２３ａをナンバリングした番号を表示する部分であり、対応するパレット表示部２３ａに隣接表示される。
なお、ステップＳ２で１つのパレット３０だけが検出されていた場合、制御部２７は、オペレータの操作に基づいて、当該１つのパレット３０が荷役対象であるかを確認してもよいし、当該ステップＳ３を省略してもよい。
また、荷役対象のパレット３０が検出されていなかった場合、制御部２７は、オペレータの操作に基づいて、ステップＳ１に戻って撮影をやり直してもよいし、処理を中断する等してもよい。
ここでは、制御部２７は、ステップＳ２で複数のパレット３０が検出されていた場合に、当該複数のパレット３０をその（荷役対象のものの）候補として表示部２３に表示させる。そして、制御部２７は、オペレータの操作に基づいて、表示されたパレット３０（の候補）のうちの１つを荷役対象のものとして選択する。このとき、制御部２７は、ステップＳ２で用いた画像と、パレット表示部２３ａ及び番号表示部２３ｂとを、表示部２３に表示させる。パレット表示部２３ａは、ステップＳ２で用いた画像上で、検出されたパレット３０（側面３３）を指示する部分である。番号表示部２３ｂは、ステップＳ２で用いた画像上に、パレット表示部２３ａをナンバリングした番号を表示する部分であり、対応するパレット表示部２３ａに隣接表示される。
なお、ステップＳ２で１つのパレット３０だけが検出されていた場合、制御部２７は、オペレータの操作に基づいて、当該１つのパレット３０が荷役対象であるかを確認してもよいし、当該ステップＳ３を省略してもよい。
また、荷役対象のパレット３０が検出されていなかった場合、制御部２７は、オペレータの操作に基づいて、ステップＳ１に戻って撮影をやり直してもよいし、処理を中断する等してもよい。
【0026】
次に、制御部２７は、ステップＳ３で選択された荷役対象のパレット３０を荷棚４０から荷取りする荷役作業（荷取り作業）を開始する（ステップＳ４）。
具体的に、この荷取り作業では、まず制御部２７は、最新のパレット３０の画像からフォークポケット３２を抽出し、その位置を特定する。そして、制御部２７は、駆動部２１を制御し、フォーク１２をフォークポケット３２に挿入する。
なお、当該荷役作業は、ステップＳ３でのパレット３０の選択後に、自動的に開始されてもよいし、オペレータによる開始操作を受け付けた後に開始してもよい。
具体的に、この荷取り作業では、まず制御部２７は、最新のパレット３０の画像からフォークポケット３２を抽出し、その位置を特定する。そして、制御部２７は、駆動部２１を制御し、フォーク１２をフォークポケット３２に挿入する。
なお、当該荷役作業は、ステップＳ３でのパレット３０の選択後に、自動的に開始されてもよいし、オペレータによる開始操作を受け付けた後に開始してもよい。
【0027】
次に、制御部２７は、荷取り作業の実行中に、撮影部２４によりパレット３０の画像データを取得し、当該画像に基づいて荷役対象のパレット３０を検出する（ステップＳ５）。
ここでは、上述したステップＳ１、Ｓ２と同様にして、パレット３０の撮影と検出が行われる。なお、ステップＳ４の作業開始の直後は、上記ステップＳ１、Ｓ２のデータを利用することで、当該ステップＳ５の処理を省いてもよい。
ここでは、上述したステップＳ１、Ｓ２と同様にして、パレット３０の撮影と検出が行われる。なお、ステップＳ４の作業開始の直後は、上記ステップＳ１、Ｓ２のデータを利用することで、当該ステップＳ５の処理を省いてもよい。
【0028】
次に、制御部２７は、パレット３０の検出における、画像データに基づくパレット３０の認識度合いを表す評価値を算出し、表示部２３に表示させる（ステップＳ６）。
この評価値としては、例えば、認識結果の信頼度スコアや、取得された点群量等を用いることができる。信頼度スコアとは、抽出した矩形の中に対象としている物体（ここではパレット３０）がどのくらいの確率で含まれているかを示す指標である。点群量とは、パレット３０の認識のために取得された点群量であり、例えば側面３３として認識された範囲内の点群量である。制御部２７は、評価値を算出（取得）し、例えば図４（ｂ）に示すように、当該評価値の時系列を表示部２３に表示させる。
またここでは、制御部２７は、パレット３０の認識に関する情報や作業ステータス（状態）を、評価値と併せて表示部２３に表示してもよい。パレット３０の認識に関する情報は、例えばパレット種やサイズ等である。作業ステータスは、開始指示待ち、自動運転中、中断中、完了等である。
このように、フォークリフト１の自動運転中には、評価値の時系列と作業ステータス等の情報が表示部２３に表示される。そのため、オペレータは、表示部２３を見ることで、評価値や作業ステータス等の情報を好適に認識できる。
この評価値としては、例えば、認識結果の信頼度スコアや、取得された点群量等を用いることができる。信頼度スコアとは、抽出した矩形の中に対象としている物体（ここではパレット３０）がどのくらいの確率で含まれているかを示す指標である。点群量とは、パレット３０の認識のために取得された点群量であり、例えば側面３３として認識された範囲内の点群量である。制御部２７は、評価値を算出（取得）し、例えば図４（ｂ）に示すように、当該評価値の時系列を表示部２３に表示させる。
またここでは、制御部２７は、パレット３０の認識に関する情報や作業ステータス（状態）を、評価値と併せて表示部２３に表示してもよい。パレット３０の認識に関する情報は、例えばパレット種やサイズ等である。作業ステータスは、開始指示待ち、自動運転中、中断中、完了等である。
このように、フォークリフト１の自動運転中には、評価値の時系列と作業ステータス等の情報が表示部２３に表示される。そのため、オペレータは、表示部２３を見ることで、評価値や作業ステータス等の情報を好適に認識できる。
【0029】
次に、制御部２７は、評価値が正常であるか否かを判定する（ステップＳ７）。
ここでは、制御部２７は、荷取り作業の実行中に、ステップＳ６で算出した評価値が、所定幅以上に大きく変動した場合や、予め設定された所定の閾値を下回った場合に、評価値が正常でないと判定する。これにより、例えば、点群量は不足していないか、パレット３０の側面３３を抽出するための点群は１つの面として適正に連なっているか等、画像に基づくパレット３０検出の健全性が判定される。評価値が大きく変動した場合は、そもそも判断した時点から認識結果が異なっていた可能性がある。評価値が閾値を下回る場合は、自動運転のための計測が正確でない可能性がある。
そして、評価値が正常であると判定した場合（ステップＳ７；Ｙｅｓ）、制御部２７は、後述のステップＳ９へ処理を移行する。
ここでは、制御部２７は、荷取り作業の実行中に、ステップＳ６で算出した評価値が、所定幅以上に大きく変動した場合や、予め設定された所定の閾値を下回った場合に、評価値が正常でないと判定する。これにより、例えば、点群量は不足していないか、パレット３０の側面３３を抽出するための点群は１つの面として適正に連なっているか等、画像に基づくパレット３０検出の健全性が判定される。評価値が大きく変動した場合は、そもそも判断した時点から認識結果が異なっていた可能性がある。評価値が閾値を下回る場合は、自動運転のための計測が正確でない可能性がある。
そして、評価値が正常であると判定した場合（ステップＳ７；Ｙｅｓ）、制御部２７は、後述のステップＳ９へ処理を移行する。
【0030】
一方、ステップＳ７において、評価値が正常でないと判定した場合（ステップＳ７；Ｎｏ）、制御部２７は、フォークリフト１（車体１０）の動作を停止させるとともに、異常の発生をオペレータに報知する（ステップＳ８）。
この場合の報知態様は特に限定されず、表示部２３に警告表示を行ってもよいし、図示しないスピーカから警告音声を出力してもよい。
そして、制御部２７は、オペレータの操作に基づいて、自動運転の中止（停止）又は継続を決定する（ステップＳ８ａ）。中止する場合には荷取支援処理を終了させる。
なお、オペレータは、荷取り作業の実行中に、操作部２２の操作等により、随時作業に介入して自動運転を中断（停止）又は継続等できるようにしてもよい。
この場合の報知態様は特に限定されず、表示部２３に警告表示を行ってもよいし、図示しないスピーカから警告音声を出力してもよい。
そして、制御部２７は、オペレータの操作に基づいて、自動運転の中止（停止）又は継続を決定する（ステップＳ８ａ）。中止する場合には荷取支援処理を終了させる。
なお、オペレータは、荷取り作業の実行中に、操作部２２の操作等により、随時作業に介入して自動運転を中断（停止）又は継続等できるようにしてもよい。
【0031】
次に、制御部２７は、ステップＳ４で開始した荷取り作業が完了したか否かを判定する（ステップＳ９）。
そして、荷取り作業が完了していないと判定した場合（ステップＳ９；Ｎｏ）、制御部２７は、上述のステップＳ５に処理を移行し、ステップＳ５～Ｓ９の処理を繰り返す。
これにより、車体１０が荷Ｌ（パレット３０）にアプローチする過程において、パレット３０の認識度合いを表す評価値が逐次更新され、当該評価値の表示部２３への表示とその正否判定とがリアルタイムに行われる。そのため、評価値の正否判定とオペレータによる視認によって、画像に基づくパレット３０検出の健全性を常に確認しながら、安全に荷役作業を実行できる。
そして、荷取り作業が完了していないと判定した場合（ステップＳ９；Ｎｏ）、制御部２７は、上述のステップＳ５に処理を移行し、ステップＳ５～Ｓ９の処理を繰り返す。
これにより、車体１０が荷Ｌ（パレット３０）にアプローチする過程において、パレット３０の認識度合いを表す評価値が逐次更新され、当該評価値の表示部２３への表示とその正否判定とがリアルタイムに行われる。そのため、評価値の正否判定とオペレータによる視認によって、画像に基づくパレット３０検出の健全性を常に確認しながら、安全に荷役作業を実行できる。
【0032】
ステップＳ９において、荷取り作業が完了したと判定した場合（ステップＳ９；Ｙｅｓ）、つまりフォーク１２をパレット３０のフォークポケット３２に挿入したと判定した場合には、制御部２７は、自動処理する他の作業を実行する（ステップＳ１０）。
例えば、制御部２７は、フォークポケット３２に挿入されたフォーク１２を上昇させてパレット３０及び荷Ｌを棚板４２から持ち上げた後、車体１０を所定の位置まで後退させる。その後、制御部２７は、荷取支援処理を終了させる。このとき、制御部２７は、「完了」の作業ステータスを表示部２３に表示させてもよい。
なお、自動処理する他の作業が特に設定されていない場合、ステップＳ１０は省略してもよい。
例えば、制御部２７は、フォークポケット３２に挿入されたフォーク１２を上昇させてパレット３０及び荷Ｌを棚板４２から持ち上げた後、車体１０を所定の位置まで後退させる。その後、制御部２７は、荷取支援処理を終了させる。このとき、制御部２７は、「完了」の作業ステータスを表示部２３に表示させてもよい。
なお、自動処理する他の作業が特に設定されていない場合、ステップＳ１０は省略してもよい。
【0033】
［荷置支援処理］
続いて、フォークリフト１が荷置支援処理を実行するときの動作について説明する。
図５は、フォークリフト１の荷棚４０への荷役作業（荷置き）時の側面図であり、図６は、荷置支援処理の手順を示すフローチャートであり、図７は、荷置支援処理を説明するための図である。
続いて、フォークリフト１が荷置支援処理を実行するときの動作について説明する。
図５は、フォークリフト１の荷棚４０への荷役作業（荷置き）時の側面図であり、図６は、荷置支援処理の手順を示すフローチャートであり、図７は、荷置支援処理を説明するための図である。
【0034】
荷置支援処理は、荷役作業の一部を自動化してオペレータの操作を支援する処理である。具体的に、荷置支援処理は、フォークリフト１により荷棚４０に荷Ｌ（パレット）を置くときに、フォークリフト１が荷棚４０を自動的に認識して荷置き（棚置き）を実行する処理である。この荷置支援処理は、オペレータ（運転者）の実行操作等に基づいて、フォークリフト１の制御部２７が記憶部２６から荷置支援プログラム２６１を読み出して展開することで実行される。
この荷置きでは、フォークリフト１が、フォーク１２で保持した荷Ｌ（パレット３０）を荷棚４０の棚板４２上に載置する。ここでは、図５に示すように、フォークリフト１は、フォーク１２で荷Ｌ（パレット３０）を保持したまま、当該荷Ｌ（パレット３０）を置くべき荷棚４０の荷置き先Ｐ（図７参照）の前まで走行してきた状態であるものとする。「荷置き先Ｐ」とは、所定の棚板４２の上面４２ａのうち、車体前方の所定範囲（例えば、パレット３０のサイズに対応する所定幅×所定奥行きの範囲）の領域をいい、高さ又は棚板４２の段数（何段目か）等の情報を含んでもよい。
この荷置きでは、フォークリフト１が、フォーク１２で保持した荷Ｌ（パレット３０）を荷棚４０の棚板４２上に載置する。ここでは、図５に示すように、フォークリフト１は、フォーク１２で荷Ｌ（パレット３０）を保持したまま、当該荷Ｌ（パレット３０）を置くべき荷棚４０の荷置き先Ｐ（図７参照）の前まで走行してきた状態であるものとする。「荷置き先Ｐ」とは、所定の棚板４２の上面４２ａのうち、車体前方の所定範囲（例えば、パレット３０のサイズに対応する所定幅×所定奥行きの範囲）の領域をいい、高さ又は棚板４２の段数（何段目か）等の情報を含んでもよい。
【0035】
図６に示すように、荷置支援処理が実行されると、まず制御部２７は、オペレータの操作に基づいて、車体前方の荷棚４０を撮影部２４で撮影する（ステップＴ１）。
このとき、制御部２７は、表示部２３をファインダーとして撮影部２４の映像を表示させておき、オペレータの実行操作に基づいて、そのときの撮影部２４の撮影範囲内の画像データを取得する。オペレータは、表示部２３を見ながら、フォーク１２の昇降等により撮影部２４を移動させ、図７に示すように、棚板４２の上面４２ａのうち荷役対象の荷置き先Ｐを含む領域を撮影部２４の撮影範囲内に収めた状態で、撮影の実行操作を行う。制御部２７は、取得された画像データを記憶部２６に記憶させる。これにより、荷役対象の荷置き先Ｐを含む画像（画像データ）が取得される。
このとき、制御部２７は、表示部２３をファインダーとして撮影部２４の映像を表示させておき、オペレータの実行操作に基づいて、そのときの撮影部２４の撮影範囲内の画像データを取得する。オペレータは、表示部２３を見ながら、フォーク１２の昇降等により撮影部２４を移動させ、図７に示すように、棚板４２の上面４２ａのうち荷役対象の荷置き先Ｐを含む領域を撮影部２４の撮影範囲内に収めた状態で、撮影の実行操作を行う。制御部２７は、取得された画像データを記憶部２６に記憶させる。これにより、荷役対象の荷置き先Ｐを含む画像（画像データ）が取得される。
【0036】
次に、制御部２７は、ステップＴ１で取得した画像データから、棚板４２（荷置き先Ｐ）を検出する（ステップＴ２）。
具体的に、制御部２７は、取得した荷棚４０の画像データを第２学習モデル２６３に入力し、当該画像データに含まれる棚板４２の上面４２ａの画像部分を取得する。本実施形態では、棚板４２のうち、略水平な上面４２ａ（の所定範囲）が、荷置き先Ｐとして検出される。
なお、荷置き先Ｐの検出手法は、画像データ（点群データ等を含む）を用いたものであれば特に限定されず、例えばデプスデータを三次元点群に展開して水平面を抽出する等してもよい。
具体的に、制御部２７は、取得した荷棚４０の画像データを第２学習モデル２６３に入力し、当該画像データに含まれる棚板４２の上面４２ａの画像部分を取得する。本実施形態では、棚板４２のうち、略水平な上面４２ａ（の所定範囲）が、荷置き先Ｐとして検出される。
なお、荷置き先Ｐの検出手法は、画像データ（点群データ等を含む）を用いたものであれば特に限定されず、例えばデプスデータを三次元点群に展開して水平面を抽出する等してもよい。
【0037】
次に、制御部２７は、オペレータの操作に基づいて、荷役対象の荷置き先Ｐを選択する（ステップＴ３）。
ここでは、制御部２７は、ステップＴ２において、荷置き先Ｐの候補として、複数の棚板４２の上面４２ａ（の所定範囲）が検出されていた場合に、オペレータの操作に基づいて、このうちいずれか１つを荷置き先Ｐとして選択する。
また、ステップＴ２で１つの上面４２ａだけが検出されていた場合、制御部２７は、オペレータの操作に基づいて、当該１つの上面４２ａが荷役対象の荷置き先Ｐであるかを確認してもよいし、当該ステップＴ３を省略してもよい。
なお、荷役対象の荷置き先Ｐ（上面４２ａ）が検出されていなかった場合、制御部２７は、オペレータの操作に基づいて、ステップＴ１に戻って撮影をやり直してもよいし、処理を中断する等してもよい。
ここでは、制御部２７は、ステップＴ２において、荷置き先Ｐの候補として、複数の棚板４２の上面４２ａ（の所定範囲）が検出されていた場合に、オペレータの操作に基づいて、このうちいずれか１つを荷置き先Ｐとして選択する。
また、ステップＴ２で１つの上面４２ａだけが検出されていた場合、制御部２７は、オペレータの操作に基づいて、当該１つの上面４２ａが荷役対象の荷置き先Ｐであるかを確認してもよいし、当該ステップＴ３を省略してもよい。
なお、荷役対象の荷置き先Ｐ（上面４２ａ）が検出されていなかった場合、制御部２７は、オペレータの操作に基づいて、ステップＴ１に戻って撮影をやり直してもよいし、処理を中断する等してもよい。
【0038】
次に、制御部２７は、ステップＴ３で選択された荷役対象の荷置き先Ｐに対して、保持している荷Ｌ（パレット３０）を置く荷役作業（荷置き作業）を開始する（ステップＴ４）。
具体的に、この荷置き作業では、制御部２７は、駆動部２１を制御し、車体１０を前進させつつフォーク１２を昇降させて、フォーク１２で保持した荷Ｌ（パレット３０）を荷置き先Ｐに載置する。
なお、当該荷役作業は、ステップＴ３での荷置き先Ｐの選択後に、自動的に開始されてもよいし、オペレータによる開始操作を受け付けた後に開始してもよい。
具体的に、この荷置き作業では、制御部２７は、駆動部２１を制御し、車体１０を前進させつつフォーク１２を昇降させて、フォーク１２で保持した荷Ｌ（パレット３０）を荷置き先Ｐに載置する。
なお、当該荷役作業は、ステップＴ３での荷置き先Ｐの選択後に、自動的に開始されてもよいし、オペレータによる開始操作を受け付けた後に開始してもよい。
【0039】
次に、制御部２７は、荷置き作業の実行中に、撮影部２４により荷棚４０の画像データを取得し、当該画像に基づいて荷役対象の荷置き先Ｐを検出する（ステップＴ５）。
ここでは、上述したステップＴ１、Ｔ２と同様にして、荷棚４０の撮影と荷置き先Ｐの検出が行われる。なお、ステップＴ４の作業開始の直後は、上記ステップＴ１、Ｔ２のデータを利用することで、当該ステップＴ５の処理を省いてもよい。
ここでは、上述したステップＴ１、Ｔ２と同様にして、荷棚４０の撮影と荷置き先Ｐの検出が行われる。なお、ステップＴ４の作業開始の直後は、上記ステップＴ１、Ｔ２のデータを利用することで、当該ステップＴ５の処理を省いてもよい。
【0040】
次に、制御部２７は、荷置き先Ｐの検出における、画像データに基づく荷置き先Ｐの認識度合いを表す評価値を算出し、表示部２３に表示させる（ステップＴ６）。
この評価値としては、例えば、評価値としては、上面４２ａの平面度、取得された点群量等を用いることができる。点群量とは、上面４２ａの認識のために取得された点群量である。制御部２７は、評価値を算出（取得）し、当該評価値の時系列を表示部２３に表示させる（図４（ｂ）参照）。
またここでは、制御部２７は、荷置き先Ｐの認識に関する情報や作業ステータス（状態）を、評価値と併せて表示部２３に表示してもよい。荷置き先Ｐの認識に関する情報は、例えば上面４２ａのサイズや平面度等である。作業ステータスは、開始指示待ち、自動運転中、中断中、完了等である。
このように、フォークリフト１の自動運転中には、評価値の時系列と作業ステータス等の情報が表示部２３に表示される。そのため、オペレータは、表示部２３を見ることで、評価値や作業ステータス等の情報を好適に認識できる。
この評価値としては、例えば、評価値としては、上面４２ａの平面度、取得された点群量等を用いることができる。点群量とは、上面４２ａの認識のために取得された点群量である。制御部２７は、評価値を算出（取得）し、当該評価値の時系列を表示部２３に表示させる（図４（ｂ）参照）。
またここでは、制御部２７は、荷置き先Ｐの認識に関する情報や作業ステータス（状態）を、評価値と併せて表示部２３に表示してもよい。荷置き先Ｐの認識に関する情報は、例えば上面４２ａのサイズや平面度等である。作業ステータスは、開始指示待ち、自動運転中、中断中、完了等である。
このように、フォークリフト１の自動運転中には、評価値の時系列と作業ステータス等の情報が表示部２３に表示される。そのため、オペレータは、表示部２３を見ることで、評価値や作業ステータス等の情報を好適に認識できる。
【0041】
次に、制御部２７は、評価値が正常であるか否かを判定する（ステップＴ７）。
ここでは、制御部２７は、荷置き作業の実行中に、ステップＴ６で算出した評価値が、所定幅以上に大きく変動した場合や、予め設定された所定の閾値を下回った場合に、評価値が正常でないと判定する。これにより、例えば、点群量は不足していないか、棚板４２の上面４２ａを抽出するための点群は１つの面として適正に連なっているか等、画像に基づく荷置き先Ｐ検出の健全性が判定される。評価値が大きく変動した場合は、そもそも判断した時点から認識結果が異なっていた可能性がある。評価値が閾値を下回る場合は、自動運転のための計測が正確でない可能性がある。
そして、評価値が正常である判定した場合（ステップＴ７；Ｙｅｓ）、制御部２７は、後述のステップＴ９へ処理を移行する。
ここでは、制御部２７は、荷置き作業の実行中に、ステップＴ６で算出した評価値が、所定幅以上に大きく変動した場合や、予め設定された所定の閾値を下回った場合に、評価値が正常でないと判定する。これにより、例えば、点群量は不足していないか、棚板４２の上面４２ａを抽出するための点群は１つの面として適正に連なっているか等、画像に基づく荷置き先Ｐ検出の健全性が判定される。評価値が大きく変動した場合は、そもそも判断した時点から認識結果が異なっていた可能性がある。評価値が閾値を下回る場合は、自動運転のための計測が正確でない可能性がある。
そして、評価値が正常である判定した場合（ステップＴ７；Ｙｅｓ）、制御部２７は、後述のステップＴ９へ処理を移行する。
【0042】
一方、ステップＴ７において、評価値が正常でないと判定した場合（ステップＴ７；Ｎｏ）、制御部２７は、フォークリフト１（車体１０）の動作を停止させるとともに、異常の発生をオペレータに報知する（ステップＴ８）。
この場合の報知態様は特に限定されず、表示部２３に警告表示を行ってもよいし、図示しないスピーカから警告音声を出力してもよい。
そして、制御部２７は、オペレータの操作に基づいて、自動運転の中止（停止）又は継続を決定する（ステップＴ８ａ）。中止する場合には荷置支援処理を終了させる。
なお、オペレータは、荷置き作業の実行中に、操作部２２の操作等により、随時作業に介入して自動運転を中断（停止）又は継続等できるようにしてもよい。
この場合の報知態様は特に限定されず、表示部２３に警告表示を行ってもよいし、図示しないスピーカから警告音声を出力してもよい。
そして、制御部２７は、オペレータの操作に基づいて、自動運転の中止（停止）又は継続を決定する（ステップＴ８ａ）。中止する場合には荷置支援処理を終了させる。
なお、オペレータは、荷置き作業の実行中に、操作部２２の操作等により、随時作業に介入して自動運転を中断（停止）又は継続等できるようにしてもよい。
【0043】
次に、制御部２７は、ステップＴ４で開始した荷置き作業が完了したか否かを判定する（ステップＴ９）。
そして、荷置き作業が完了していないと判定した場合（ステップＴ９；Ｎｏ）、制御部２７は、上述のステップＴ５に処理を移行し、ステップＴ５～Ｔ９の処理を繰り返す。
これにより、車体１０が荷置き先Ｐにアプローチする過程において、荷置き先Ｐの認識度合いを表す評価値が逐次更新され、当該評価値の表示部２３への表示とその正否判定とがリアルタイムに行われる。そのため、評価値の正否判定とオペレータによる視認によって、画像に基づくパレット３０検出の健全性を常に確認しながら、安全に荷役作業を実行できる。
そして、荷置き作業が完了していないと判定した場合（ステップＴ９；Ｎｏ）、制御部２７は、上述のステップＴ５に処理を移行し、ステップＴ５～Ｔ９の処理を繰り返す。
これにより、車体１０が荷置き先Ｐにアプローチする過程において、荷置き先Ｐの認識度合いを表す評価値が逐次更新され、当該評価値の表示部２３への表示とその正否判定とがリアルタイムに行われる。そのため、評価値の正否判定とオペレータによる視認によって、画像に基づくパレット３０検出の健全性を常に確認しながら、安全に荷役作業を実行できる。
【0044】
ステップＴ９において、荷置き作業が完了したと判定した場合（ステップＴ９；Ｙｅｓ）、つまり荷置き先Ｐにパレット３０を載置したと判定した場合には、制御部２７は、自動処理する他の作業を実行する（ステップＴ１０）。
例えば、制御部２７は、車体１０を後退させてフォーク１２をパレット３０（フォークポケット３２）から抜いた後、フォーク１２を下降させる。その後、制御部２７は、荷置支援処理を終了させる。このとき、制御部２７は、「完了」の作業ステータスを表示部２３に表示させてもよい。
なお、自動処理する他の作業が特に設定されていない場合、ステップＴ１０は省略してもよい。
例えば、制御部２７は、車体１０を後退させてフォーク１２をパレット３０（フォークポケット３２）から抜いた後、フォーク１２を下降させる。その後、制御部２７は、荷置支援処理を終了させる。このとき、制御部２７は、「完了」の作業ステータスを表示部２３に表示させてもよい。
なお、自動処理する他の作業が特に設定されていない場合、ステップＴ１０は省略してもよい。
【0045】
［本実施形態の技術的効果］
以上のように、本実施形態によれば、フォーク１２の荷役対象（パレット３０、荷置き先Ｐ等）を含む画像（画像データ）が撮影部２４により取得され、この画像に基づいて荷役対象が検出される。そして、この荷役対象の検出における、画像に基づく荷役対象の認識度合いを表す評価値が、表示部２３に表示される。
これにより、オペレータによる評価値の視認によって、画像に基づく荷役対象検出の健全性を確認しながら、安全に荷役作業を実行できる。したがって、安全性を担保しながら、好適に荷役作業の自動化を図ることができる。
ひいては、操作経験の浅いオペレータでも安全に作業を行うことができる。また、オペレータによる自動運転の監視により、自動化の際に実装する安全機器類の必要性を軽減でき、そのコストを低減できる。
以上のように、本実施形態によれば、フォーク１２の荷役対象（パレット３０、荷置き先Ｐ等）を含む画像（画像データ）が撮影部２４により取得され、この画像に基づいて荷役対象が検出される。そして、この荷役対象の検出における、画像に基づく荷役対象の認識度合いを表す評価値が、表示部２３に表示される。
これにより、オペレータによる評価値の視認によって、画像に基づく荷役対象検出の健全性を確認しながら、安全に荷役作業を実行できる。したがって、安全性を担保しながら、好適に荷役作業の自動化を図ることができる。
ひいては、操作経験の浅いオペレータでも安全に作業を行うことができる。また、オペレータによる自動運転の監視により、自動化の際に実装する安全機器類の必要性を軽減でき、そのコストを低減できる。
【0046】
また、本実施形態によれば、評価値が正常でないと判定された場合に、制御部２７がフォークリフト１の動作を停止させる。
これにより、荷役対象の検出エラーに起因する事故の発生を抑制できる。
これにより、荷役対象の検出エラーに起因する事故の発生を抑制できる。
【0047】
また、本実施形態によれば、検出部が検出した荷役対象がその候補として表示部２３に表示され、表示部２３に表示された荷役対象の候補のうちの１つが、オペレータの操作に基づいて選択される。
これにより、オペレータは簡便に荷役対象を選択できる。
これにより、オペレータは簡便に荷役対象を選択できる。
【0048】
また、本実施形態によれば、フォークリフト１が荷役対象に荷役作業を実行しているときに、画像の取得と荷役対象の検出と評価値の表示とが逐次実行される。
これにより、荷役作業の実行中に、画像に基づく荷役対象検出の健全性をリアルタイムで確認しながら、安全に荷役作業を実行できる。
これにより、荷役作業の実行中に、画像に基づく荷役対象検出の健全性をリアルタイムで確認しながら、安全に荷役作業を実行できる。
【0049】
また、本実施形態によれば、オペレータの操作に基づいて、フォークリフト１による荷役対象に対する荷役作業の開始、継続及び中断が実行される。
これにより、自動運転の実行や中断等をオペレータが判断できるため、より確実に安全性を担保できる。また、オペレータは、評価値の視認により自動運転の状態を監視できるため、荷役作業の開始，継続及び中断等の判断を下しやすい。
これにより、自動運転の実行や中断等をオペレータが判断できるため、より確実に安全性を担保できる。また、オペレータは、評価値の視認により自動運転の状態を監視できるため、荷役作業の開始，継続及び中断等の判断を下しやすい。
【0050】
［変形例１］
上記実施形態では、オペレータがフォークリフト１に搭乗することとしたが、オペレータはフォークリフト１を遠隔操作（遠隔操縦）してもよい。
具体的には、図８に示すように、オペレータは、例えば通信ネットワークＮＷを通じてフォークリフト１と通信可能な遠隔操作装置５０により、フォークリフト１を遠隔操作してもよい。遠隔操作装置５０は、オペレータが各種操作を行う操作部５２と、フォークリフト１からの映像等を含む各種情報を表示する表示部５３と、記憶部５６及び制御部５７とを備える。操作部５２及び表示部５３は、少なくとも上記実施形態における操作部２２及び表示部２３と同様に機能する。なお、フォークリフト１と遠隔操作装置５０での処理の分担度合いは特に限定されない。ただし、処理内容に必要なデータ（例えば、荷役対象検出用の学習モデルや各種プログラム等）を遠隔操作装置５０の記憶部５６に予め記憶させておく必要があるのは勿論である。
本発明は、荷取りや荷置き等の比較的に高い操縦技能を要する荷役作業を好適に自動化できるため、遠隔操作のフォークリフトにも好適に適用できる。
上記実施形態では、オペレータがフォークリフト１に搭乗することとしたが、オペレータはフォークリフト１を遠隔操作（遠隔操縦）してもよい。
具体的には、図８に示すように、オペレータは、例えば通信ネットワークＮＷを通じてフォークリフト１と通信可能な遠隔操作装置５０により、フォークリフト１を遠隔操作してもよい。遠隔操作装置５０は、オペレータが各種操作を行う操作部５２と、フォークリフト１からの映像等を含む各種情報を表示する表示部５３と、記憶部５６及び制御部５７とを備える。操作部５２及び表示部５３は、少なくとも上記実施形態における操作部２２及び表示部２３と同様に機能する。なお、フォークリフト１と遠隔操作装置５０での処理の分担度合いは特に限定されない。ただし、処理内容に必要なデータ（例えば、荷役対象検出用の学習モデルや各種プログラム等）を遠隔操作装置５０の記憶部５６に予め記憶させておく必要があるのは勿論である。
本発明は、荷取りや荷置き等の比較的に高い操縦技能を要する荷役作業を好適に自動化できるため、遠隔操作のフォークリフトにも好適に適用できる。
【0051】
［変形例２］
上記実施形態では、荷役対象の画像を取得する撮影部２４がフォークリフト１に搭載されることとした。しかし、当該撮影部は環境（設備）側に設置されていてもよい。
具体的には、図９に示すように、例えば荷棚４０の周辺に設置した撮影部６４により、荷役対象を含む画像を取得してもよい。この場合、撮影部６４は、例えば荷棚４０を前方斜め上方から撮影し、取得した画像（画像データ）を、通信ネットワークＮＷを通じてフォークリフト１に送信する。撮影部６４の装置種別や取得する画像種別等は、上記実施形態の撮影部２４と同様のものを適用できる。
上記実施形態では、荷役対象の画像を取得する撮影部２４がフォークリフト１に搭載されることとした。しかし、当該撮影部は環境（設備）側に設置されていてもよい。
具体的には、図９に示すように、例えば荷棚４０の周辺に設置した撮影部６４により、荷役対象を含む画像を取得してもよい。この場合、撮影部６４は、例えば荷棚４０を前方斜め上方から撮影し、取得した画像（画像データ）を、通信ネットワークＮＷを通じてフォークリフト１に送信する。撮影部６４の装置種別や取得する画像種別等は、上記実施形態の撮影部２４と同様のものを適用できる。
【0052】
［その他］
以上、本発明の実施形態について説明したが、本発明は上記の実施形態（変形例含む）に限られない。
例えば、荷取支援処理では、第１学習モデル２６２によりパレット３０を検出することとしたが、パレット３０上に載置される荷Ｌも一緒に検出できるようにしてもよい。これは、荷Ｌが定型物等の場合に有用である。
以上、本発明の実施形態について説明したが、本発明は上記の実施形態（変形例含む）に限られない。
例えば、荷取支援処理では、第１学習モデル２６２によりパレット３０を検出することとしたが、パレット３０上に載置される荷Ｌも一緒に検出できるようにしてもよい。これは、荷Ｌが定型物等の場合に有用である。
【0053】
また、上記実施形態の荷置支援処理では、荷置き先Ｐとして、棚板４２の上面４２ａを検出することとしたが、上面４２ａに代えて前面４２ｂ（図７参照）を検出してもよい。棚板４２（上面４２ａ）上が空いているのはオペレータが目視で確認すればよい。ただし、この場合は、第２学習モデル２６３により、画像から荷棚４０の前面４２ｂを検出する。
【0054】
また、上記実施形態では、荷役作業として、荷棚４０に対する荷取り及び荷置きを挙げて説明した。しかし、本発明に係る荷役作業は、画像により荷役対象（荷、パレット又は荷置き先）を検出可能であれば、荷棚に対するものに限定されず、例えば床に対する荷取り及び荷置き（平置き）等を含む。
【0055】
また、本発明に係る荷役車両は、荷役作業部を有して荷役対象に対する荷役作業を行うものであればフォークリフトに限定されず、例えば搬送車等を含む。
その他、上記実施形態で示した細部は、発明の趣旨を逸脱しない範囲で適宜変更可能である。
その他、上記実施形態で示した細部は、発明の趣旨を逸脱しない範囲で適宜変更可能である。
【符号の説明】
【0056】
１ フォークリフト（荷役車両）
１０ 車体
１２ フォーク（荷役作業部）
２２ 操作部
２３ 表示部
２３ａ パレット表示部
２３ｂ 番号表示部
２４ 撮影部
２６ 記憶部
２７ 制御部（検出部、表示制御部、判定部、動作制御部、第２表示制御部、選択部）
３０ パレット（荷役対象）
３２ フォークポケット
３３ 側面
４０ 荷棚
４２ 棚板
４２ａ 上面
４２ｂ 前面
５０ 遠隔操作装置
５２ 操作部
５３ 表示部
６４ 撮影部
２６０ 荷取支援プログラム
２６１ 荷置支援プログラム
２６２ 第１学習モデル
２６３ 第２学習モデル
Ｌ 荷
Ｐ 荷置き先（荷役対象）
１０ 車体
１２ フォーク（荷役作業部）
２２ 操作部
２３ 表示部
２３ａ パレット表示部
２３ｂ 番号表示部
２４ 撮影部
２６ 記憶部
２７ 制御部（検出部、表示制御部、判定部、動作制御部、第２表示制御部、選択部）
３０ パレット（荷役対象）
３２ フォークポケット
３３ 側面
４０ 荷棚
４２ 棚板
４２ａ 上面
４２ｂ 前面
５０ 遠隔操作装置
５２ 操作部
５３ 表示部
６４ 撮影部
２６０ 荷取支援プログラム
２６１ 荷置支援プログラム
２６２ 第１学習モデル
２６３ 第２学習モデル
Ｌ 荷
Ｐ 荷置き先（荷役対象）
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】