特開 2023-157654 産業車両の制御装置、産業車両の制御システム、及び産業車両の制御装置のプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023157654

(43)【公開日】2023-10-26

(54)【発明の名称】産業車両の制御装置、産業車両の制御システム、及び産業車両の制御装置のプログラム

(51)【国際特許分類】

   B66F 9/24 20060101AFI20231019BHJP

【ＦＩ】

B66F9/24 Z

B66F9/24 L

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2022067698

(22)【出願日】2022-04-15

(71)【出願人】

【識別番号】301021533

【氏名又は名称】国立研究開発法人産業技術総合研究所

(71)【出願人】

【識別番号】000003218

【氏名又は名称】株式会社豊田自動織機

(74)【代理人】

【識別番号】100088155

【弁理士】

【氏名又は名称】長谷川 芳樹

(74)【代理人】

【識別番号】100113435

【弁理士】

【氏名又は名称】黒木 義樹

(74)【代理人】

【識別番号】100124062

【弁理士】

【氏名又は名称】三上 敬史

(74)【代理人】

【識別番号】100148013

【弁理士】

【氏名又は名称】中山 浩光

(74)【代理人】

【識別番号】100162640

【弁理士】

【氏名又は名称】柳 康樹

(72)【発明者】

【氏名】チュウ ジョウヨン

(72)【発明者】

【氏名】河本 満

(72)【発明者】

【氏名】大隈 隆史

(72)【発明者】

【氏名】吉田 英一

(72)【発明者】

【氏名】小出 幸和

(72)【発明者】

【氏名】岡本 浩伸

【テーマコード（参考）】

3F333

【Ｆターム（参考）】

3F333AA02

3F333AB13

3F333AE02

3F333FA01

3F333FA08

3F333FD14

3F333FE04

(57)【要約】

【課題】産業車両の作業状態をより適切に推定することができる産業車両の制御装置、産業車両の制御システム、及び産業車両の制御装置のプログラムを提供する。
【解決手段】制御装置２０は、フォークリフト１の作業状態を推定する作業状態推定部３０を有する。ここで、作業状態推定部３０は、フォークリフト１に対する操作状態に関する操作情報の入力のみならず、及び荷物を撮影した撮影情報を入力される。作業状態推定部３０は、フォークリフト１の動作のみならず、撮像情報に基づいて荷物の荷姿が正常であるか、異常であるかを判定することが可能となる。従って、作業状態推定部３０は、荷姿が異常状態であるか否かの判定を行うと共に作業状態を出力する。これにより、作業状態推定部３０は、フォークリフト１自身の状態のみならず、荷姿の異常状態まで含んで作業状態を推定することができる。
【選択図】図４

【特許請求の範囲】

【請求項1】

産業車両の作業状態を推定する制御装置であって、
前記産業車両の前記作業状態を推定する作業状態推定部を有し、
前記作業状態推定部は、前記産業車両に対する操作状態に関する操作情報の入力、及び荷物を撮影した撮影情報を入力され、前記荷物の荷姿が異常状態であるか否かの判定を行うと共に前記作業状態を出力する、産業車両の制御装置。

【請求項2】

前記作業状態推定部は、機械学習によって設定した作業状態推定モデルに基づいて前記作業状態を推定可能であり、前記操作情報及び前記撮影情報に基づいて、前記作業状態を出力する、請求項１に記載の産業車両の制御装置。

【請求項3】

前記操作情報は、アクセル操作量、タイヤ角、リフト操作量、リーチ操作量、ティルト操作量の少なくともいずれかを含む、請求項１に記載の産業車両の制御装置。

【請求項4】

前記荷物を撮影した画像から機械学習を用いて前記画像の特徴ベクトルを取得する特徴ベクトル取得部を更に有し、
前記特徴ベクトル取得部は、機械学習モデルとしてＣＮＮを用い、
前記作業状態推定部は、前記特徴ベクトル取得部で取得された前記特徴ベクトルに基づいて前記作業状態を推定する、請求項１に記載の産業車両の制御装置。

【請求項5】

請求項１～４の何れか一項に記載の産業車両の制御装置を有する産業車両の制御システム。

【請求項6】

請求項１～４の何れか一項に記載の産業車両の制御装置に用いられる産業車両の制御装置のプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、産業車両の制御装置、産業車両の制御システム、及び産業車両の制御装置のプログラムに関するものである。

【背景技術】

【0002】

産業車両の制御装置として、例えば特許文献１に記載されているものが知られている。特許文献１に記載の産業車両の制御装置は、産業車両に対する操作情報に基づいて産業車両の作業状態を推定し、当該作業状態の推定結果に基づいて産業車両を制御する。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１９－１８９４３５号明細書

【発明の概要】

【発明が解決しようとする課題】

【0004】

ここで、産業車両の荷役対象となる荷物は、荷姿が荷役に適さない異常状態となることがある。例えば、荷物が正常にパレットに積載されていない状態だと、当該荷物を適切に荷役できない場合がある。しかしながら、上述の制御装置は、操作情報に基づいて産業車両の作業状態を推定するため、荷物の荷姿までは検出できない。従って、上述の制御装置は、荷姿の異常検出まで含んだ作業状態の推定を行うことができないという問題があった。従って、荷姿の異常状態まで含み、より適切に作業状態を推定することが求められていた。

【0005】

本発明の目的は、産業車両の作業状態をより適切に推定することができる産業車両の制御装置、産業車両の制御システム、及び産業車両の制御装置のプログラムを提供することである。

【課題を解決するための手段】

【0006】

本発明の一側面に係る産業車両の制御装置は、産業車両の作業状態を推定する制御装置であって、産業車両の作業状態を推定する作業状態推定部を有し、作業状態推定部は、産業車両に対する操作状態に関する操作情報の入力、及び荷物を撮影した撮影情報を入力され、荷物の荷姿が異常状態であるか否かの判定を行うと共に作業状態を出力する。

【0007】

産業車両の制御装置は、産業車両の作業状態を推定する作業状態推定部を有する。ここで、作業状態推定部は、産業車両に対する操作状態に関する操作情報の入力のみならず、及び荷物を撮影した撮影情報を入力される。作業状態推定部は、産業車両の動作のみならず、撮像情報に基づいて荷物の荷姿が正常であるか、異常であるかを判定することが可能となる。従って、作業状態推定部は、荷姿が異常状態であるか否かの判定を行うと共に作業状態を出力する。これにより、作業状態推定部は、産業車両自身の状態のみならず、荷姿の異常状態まで含んで作業状態を推定することができる。以上より、産業車両の作業状態をより適切に推定することができる。

【0008】

作業状態推定部は、機械学習によって設定した作業状態推定モデルに基づいて作業状態を推定可能であり、操作情報及び撮影情報に基づいて、作業状態を出力してよい。作業状態推定モデルは、過去の実際のデータに基づいて機械学習によって設定されたものであるため、荷姿の異常状態も含め、精度よく作業状態を推定することを可能とする。

【0009】

操作情報は、アクセル操作量、タイヤ角、リフト操作量、リーチ操作量、ティルト操作量の少なくともいずれかを含んでよい。これらのパラメータは、産業車両において作業者の意図を反映するパラメータである。作業状態推定部は、操作情報として、このようなパラメータを用いることで、適切な作業状態の推定を行う事ができる。

【0010】

産業車両の制御装置は、荷物を撮影した画像から機械学習を用いて特徴ベクトルを取得する特徴ベクトル取得部を更に有し、特徴ベクトル取得部は、機械学習モデルとしてＣＮＮを用い、作業状態推定部は、特徴ベクトル取得部で取得された特徴ベクトルに基づいて作業状態を推定してよい。特徴ベクトル取得部は、撮影情報を特徴ベクトルで示すことにより、作業状態推定部へ出力する情報量を低減することができる。また、特徴ベクトル取得部は、機械学習モデルとしてＣＮＮを用いることで、過去の実績に基づいて荷姿の異常状態を好適に反映した特徴ベクトルを取得することができる。

【発明の効果】

【0011】

本発明によれば、産業車両の作業状態をより適切に推定することができる産業車両の制御装置、産業車両の制御システム、及び産業車両の制御装置のプログラムを提供できる。

【図面の簡単な説明】

【0012】

【図1】本発明の実施形態に係る運転支援システムを示すブロック図である。

【図2】（ａ）はフォークリフトに対する撮影部の取り付け態様を示す斜視図であり、（ｂ）は撮影部の角度を説明するための模式図である。

【図3】フォークリフトの作業状態を説明するための図である。

【図4】作業状態取得部のブロック図である。

【図5】荷姿が異常状態であるときの様子を示す図である。

【図6】作業状態推定部及び特徴ベクトル取得部の機械学習時の様子を示す図である。

【図7】運転支援システムの処理内容を示すフローチャートである。

【発明を実施するための形態】

【0013】

以下、本発明の好適な実施形態について、図面を参照して詳細に説明する。なお、図面において、同一または同等の要素には同じ符号を付し、重複する説明を省略する。

【0014】

図１は、本発明の実施形態に係る制御装置２０を含む運転支援システム１００（産業車両の制御システム）を示すブロック図である。運転支援システム１００は、産業車両の遠隔操作を行うためのシステムである。図１に示すように、運転支援システム１００は、フォークリフト１（産業車両）と、遠隔操作装置２と、を備える。

【0015】

フォークリフト１は、運転制御部１１と、複数の撮影部１２と、を備える。運転制御部１１は、遠隔操作装置２からの指令信号を受信し、当該指令信号に基づいて運転制御、及び操舵制御を行う。複数の撮影部１２は、フォークリフト１の各部位に設けられ、フォークリフト１の周辺環境を撮影する。撮影部１２は、作業支援に用いられる支援情報として、撮影した映像を取得して、後述の表示制御部２２へ送信する。複数の撮影部１２の取り付け位置の例を、図２（ａ）に示す。撮影部１２は、フォークリフト１の車体の前端、幅方向の端部、天井などに設けられる。なお、図２（ｂ）に示すようにＸＹＺ座標を設定した場合、各箇所における撮影部１２は、Ｘ軸、Ｙ軸、Ｚ軸の各軸まわりに傾いた状態で設置されてよい。図２（ａ）では、八箇所に撮影部１２が設けられ、それぞれ異なる箇所の映像を取得する。

【0016】

図１に示すように、遠隔操作装置２は、記憶部１５と、操作部１６と、表示部１７と、操作情報取得部１８と、制御装置２０と、を備える。記憶部１５は、各種情報を記憶する装置である。操作部１６は、オペレータがフォークリフト１を遠隔操作するため操作を入力するためのユーザーインターフェースである。表示部１７は、映像を出力するためのユーザーインターフェースである。表示部１７は、互いに異なる映像を出力することができる第１領域Ｄ１、第２領域Ｄ２、及び第３領域Ｄ３を有している。

【0017】

操作情報取得部１８は、オペレータの操作対象（ここでは操作部１６）を操作している場合における、操作情報を取得する。操作情報取得部１８は、例えば、操作部１６の操作レバーに設けられたセンサ、または操作部１６の操作内容を示す信号に基づいて操作内容を検知する手段などによって構成される。

【0018】

制御装置２０は、遠隔操作装置２全体を制御する制御部である。制御装置２０は、遠隔操作装置２を統括的に管理するＥＣＵ[ElectronicControl Unit]を備えている。ＥＣＵは、ＣＰＵ[Central Processing Unit]、ＲＯＭ[Read Only Memory]、ＲＡＭ[Random Access Memory]、ＣＡＮ［Controller Area Network］、通信回路等を有する電子制御ユニットである。ＥＣＵでは、例えば、ＲＯＭに記憶されているプログラムをＲＡＭにロードし、ＲＡＭにロードされたプログラムをＣＰＵで実行することにより各種の機能を実現する。制御装置２０は、運転指令部２１と、表示制御部２２と、作業状態取得部２３と、視点情報取得部２６と、を備える。

【0019】

運転指令部２１は、操作部１６で入力された操作に基づく指令信号を生成して、運転制御部１１へ送信するユニットである。

【0020】

表示制御部２２は、表示部１７の表示内容を制御するユニットである。表示制御部２２は、オペレータの遠隔操作の作業を支援するための情報を表示部１７に表示させる。表示制御部２２は、記憶部１５のデータベースの情報を用いて表示部１７の第１領域Ｄ１、第２領域Ｄ２、及び第３領域Ｄ３の表示内容を制御する。また、表示制御部２２は、撮影部１２から取得した映像を作業状態取得部２３へ送信する。

【0021】

表示制御部２２は、視点情報取得部２６で取得された視点情報に基づいて、表示部１７に表示させる映像を選択する。第１領域Ｄ１及び第２領域Ｄ２は、特定の映像を大きく表示する大画面部であり、複数の撮影部１２の映像の中から、表示制御部２２が選択した撮影部１２の映像が表示される。第３領域Ｄ３は、複数の映像を小さく表示させる小画面部に該当し、フォークリフト１上の全ての撮影部１２からの映像を、周囲確認のための環境情報として表示する（図４も参照）。

【0022】

例えば、図３（ａ）は、フォークリフト１の作業状態を定義した表である。ここでは作業状態の一例として、「停止（Ｓｔｏｐ）」、「前進（Ｍｏｖｅ ｆｗｄ）」、「棚への接近（Ａｐｐｒｏａｃｈ）」、「調整（Ａｄｊｕｓｔ ｈｅａｄｉｎｇ）」、「荷役（Ｌｏａｄ／Ｕｎｌｏａｄ）」、「走行準備（Ｒｅｔｒｅａｔ）」、「後進（Ｍｏｖｅ ｒｅｖｅｒｓｅ）」というフォークリフト１の走行や、荷物の取り出し／荷降ろし作業に関する七つの状態について、荷物ありの状態（Ｌｏａｄ）と、荷物無しの状態（ＮｏＬｏａｄ）とで分けることで、合計１４個の作業状態を定義している。フォークリフト１の走行は、「停止（Ｓｔｏｐ）」、「前進（Ｍｏｖｅ ｆｗｄ）」、「棚への接近（Ａｐｐｒｏａｃｈ）」、「走行準備（Ｒｅｔｒｅａｔ）」、「後進（Ｍｏｖｅ ｒｅｖｅｒｓｅ）」が該当し、荷物の取り出し／荷降ろし作業は「調整（Ａｄｊｕｓｔ ｈｅａｄｉｎｇ）」、「荷役（Ｌｏａｄ／Ｕｎｌｏａｄ）」が該当する。各作業状態の定義や数は上記に限定されず、適宜変更可能である。また、フォークリフト１（産業車両）の走行に関するもののみで作業状態を定義してもよい。更に、荷物の有無に関わらず、荷物の荷姿が異常状態であることを示す「異常（Ａｎｏｍａｌｙ）」という作業状態を設定する。これにより、図３（ａ）では合計１５個の作業状態を定義している。図３（ｂ）は、フォークリフト１が棚ＳＦからの荷物の取り出し及び荷降ろしを行う際の、各作業状態を示した模式図である。なお、荷姿の異常状態である作業状態１５へは、図中の作業状態１～１４のどの状態からも状態遷移可能である。記憶部１５のデータベースでは、各作業状態と、作業状態において確認すべき箇所を映すことができる撮影部１２とが紐付けられている。従って、表示制御部２２は、オペレータが操作しているフォークリフト１の作業状態に合わせて、第１領域Ｄ１及び第２領域Ｄ２に、特に確認すべき箇所の映像を大画面で映すことができる。なお、運転支援のために表示制御部２２の制御によって表示部１７に表示された映像を「運転支援映像」と称する場合がある。

【0023】

運転支援映像の適切な切替タイミングに関して、オペレータによって個体差が存在する。また、フォークリフト１で行っている作業状態が遷移したら、表示部１７で表示すべき映像が切り替わる。当該事情に鑑みて、作業状態取得部２３、及び視点情報取得部２６は、運転支援映像をオペレータ個人に適合すると共に、作業状態の状態遷移に対応した処理を行う。

【0024】

作業状態取得部２３は、フォークリフト１で行っている作業状態を取得する。作業状態取得部２３は、操作情報取得部１８で取得された操作情報に基づいて、作業状態を取得する。作業状態取得部２３は、各作業状態へ状態遷移するときの遷移条件や遷移閾値などの推定指標を設定した作業状態推定モデルを用いて作業状態を取得する。作業状態取得部２３は、記憶部１５に記憶された作業状態推定モデルを取得してよい。作業状態取得部２３の詳細については、後述する。作業状態取得部２３は、取得した作業状態を視点情報取得部２６へ送信する。

【0025】

視点情報取得部２６は、作業状態取得部２３で取得された作業状態に基づいて、オペレータの視点を取得する。ここで、記憶部１５は、フォークリフト１の作業状態と、オペレータの視線に基づく視線情報とが紐付けられたデータベースを有する。従って、視点情報取得部２６は、フォークリフト１の作業状態とデータベースとを照合することで、作業状態に対応する視線情報を取得する。視点情報取得部２６は、取得した視点情報を表示制御部２２へ送信する。これにより、表示制御部２２は、視点情報に基づいて表示部１７へ表示される映像を制御し、フォークリフト１の作業状態、及びオペレータ個人に対して最適な映像を表示することができる。

【0026】

次に、図４を参照して、作業状態取得部２３の詳細な構成について説明する。図４は、作業状態取得部２３の構成を示すブロック図である。図４に示すように、作業状態取得部２３は、作業状態推定部３０と、特徴ベクトル取得部３１と、を備える。

【0027】

作業状態推定部３０は、機械学習を用いてフォークリフト１の作業状態を推定する。作業状態推定部３０は、現在の操作情報ｕ（ｔ）、及び現在の撮影情報である現在の特徴ベクトルｖ（ｔ）を入力されて、学習結果に基づいて、荷姿が異常状態であるか否かの判定を行うと共に、現在の作業状態ｘ（ｔ）を出力する。作業状態推定部３０は、機械学習モデルＭ１を有する。

【0028】

作業状態として、図３（a）に示す「１」～「１５」の分類が用いられる。操作情報は、アクセル操作量、タイヤ角、リフト操作量、リーチ操作量、ティルト操作量の少なくともいずれかを含む。アクセル操作量は、フォークリフト１のアクセルの操作量を示すパラメータであり、アクセル操作量が大きいほどフォークリフト１の車速が速いことを示す。タイヤ角は、フォークリフト１のタイヤの旋回角を示すパラメータであり、タイヤ角が大きいほど、フォークリフト１が大きく旋回することを示す。リフト操作量は、フォークリフト１のフォークをリフトする操作の操作量を示すパラメータであり、リフト操作量が大きいほど、大きくフォークをリフトすることを示す。リーチ操作量は、フォークリフト１のフォークを前方に延ばす操作の操作量を示すパラメータであり、リーチ操作量が大きいほど、大きくフォークを前方へ動かすことを意味する。ティルト操作量は、フォークリフト１のフォークを傾ける操作の操作量を示すパラメータであり、ティルト操作量が大きいほど、大きくフォークを傾けることを意味する。

【0029】

作業状態推定部３０は、各作業状態へ状態遷移するときの遷移条件や遷移閾値などの推定指標を設定した作業状態推定モデルと、入力された現在の操作情報ｕ（ｔ）とを照らし合わせることで、現在の作業状態ｘ（ｔ）を推定して出力する。作業状態推定モデルには、上述の操作情報のうち、どのパラメータがどの程度大きく（小さく）なったら、ある作業状態から他の作業状態へ遷移するかが設定されている。例えば、図３（ｂ）に示すように、「作業状態４」の「調整（Ａｄｊｕｓｔ ｈｅａｄｉｎｇ）」ではフォークリフト１が大きく旋回している状態であり、「作業状態５」の「荷役（Ｌｏａｄ）」ではフォークリフト１の車速が遅く徐行している状態である。従って、作業状態推定部３０は、アクセル操作量が大きく、且つタイヤ角が大きい状態から、各パラメータが所定の閾値を下回る状態となったら、「作業状態４から「作業状態５」へ遷移したものと推定できる。このような作業状態推定モデルは、機械学習によって、オペレータの過去の運転実績に基づいて、当該オペレータにとって最適な推定指標が設定される。なお、オペレータごとに個別の作業状態推定モデルが作成されてもよいし、個別のオペレータに限定されない作業状態推定モデルが作成されてもよい。作業状態推定モデルは記憶部１５に記憶されており、作業状態推定部３０は、必要なタイミングで、記憶部１５からオペレータに対応する適切な作業状態推定モデルを取得する。また、作業状態推定部３０は、特徴ベクトル取得部３１から入力された特徴ベクトルｖ（ｔ）を考慮することで、荷物の荷姿の異常状態（作業状態１５）も含めて、現在の作業状態ｘ（ｔ）を推定して出力することができる。荷姿の異常状態については、後述する。

【0030】

特徴ベクトル取得部３１は、荷物を撮影した画像から機械学習を用いて画像の特徴ベクトルを取得する。特徴ベクトル取得部３１は、フォークリフト１の撮影部１２で撮影された現在の画像Ｉ（ｔ）を表示制御部２２を介して取得する（図１参照）。特徴ベクトル取得部３１は、複数の撮影部１２の画像のうち、フォークリフト１の前方等、荷物の荷姿が映っている画像Ｉ（ｔ）を取得する。特徴ベクトル取得部３１は、現在の画像Ｉ（ｔ）を入力されて、学習結果に基づいて、現在の画像の特徴ベクトルｖ（ｔ）を作業状態推定部３０へ出力する。特徴ベクトル取得部３１は、機械学習モデルＭ２を有する。

【0031】

特徴ベクトル取得部３１は、画像（例えば１９２０×１０８０次元）から作業状態を推定するのに有効な特徴ベクトル（例えば１０２４次元）を抽出することができる抽出モデルと、入力された現在の画像Ｉ（ｔ）とを照らし合わせて画像解析を行うことで、現在の画像Ｉ（ｔ）の特徴ベクトルｖ（ｔ）を取得して出力する。このような抽出モデルは、機械学習によって、過去の運転実績に基づいて、最適な抽出方法が設定される。抽出モデルは記憶部１５に記憶されており、特徴ベクトル取得部３１は、必要なタイミングで、記憶部１５から抽出モデルを取得する。

【0032】

図５を参照して、荷物の荷姿が異常状態であることを推定するのに適した特徴ベクトルについて説明する。図５に示すように、パレット４０Ａの荷物４５Ａの上面と、パレット４０Ｂの荷物４５Ｂの上面には、荷物４５Ｆが架け渡されるように配置されている。このような荷姿の場合、フォークリフト１がパレット４０Ａまたはパレット４０Ｂをリフトしたときに、荷物４５Ｆが荷崩れを起こす可能性がある。従って、領域Ｅ１で示すように、複数の荷物４５の重なり具合を示す箇所の特徴ベクトルを抽出することが好ましい。また、パレット４０Ｄの荷物４５Ｄが、パレット４０Ｃに差し掛かっている。このような荷姿の場合、フォークリフト１がパレット４０Ｃをリフトしたときに荷物４５Ｄが荷崩れを起こす可能性がある。あるいは、パレット４０Ｄをリフトしたときに荷物４５Ｄが落下する可能性がある。従って、領域Ｅ２で示すように、あるパレットの荷物４５と、他のパレット４０との重なり具合を示す箇所の特徴ベクトルを抽出することが好ましい。また、パレット４０Ｅの荷物４５Ｅは、パレット４０Ｅからはみ出している。このような荷姿の場合、フォークリフト１がパレット４０Ｅをリフトしたときに荷物４５Ｅが落下する可能性がある。また、パレット４０Ｅの隣に他のパレット４０を降ろそうとした場合、当該パレット４０が荷物４５Ｅと衝突する可能性がある。従って、領域Ｅ３で示すように、荷物４５のパレット４０からのはみ出し具体を示す箇所の特徴ベクトルを抽出することが好ましい。

【0033】

なお、図５は、荷姿の異常状態の一例を示しているにすぎず、他の異常状態を検出できるような特徴ベクトルを抽出してよい。例えば、フォークリフト１が運んでいる最中の荷物が、パレットに対して大きくずれて配置されていたり、パレットからはみ出している場合は、荷姿の異常状態として特徴ベクトルを抽出してよい。また、荷物が配置される対象物は図５のようなパレットに限定されない。例えば、箱型のかごに四つ脚を設けたようなかごパレットを用いた場合の荷姿の異常状態を抽出してもよい。例えば、上側のかごパレットの四箇所の脚は、下側のかごパレットの上端側の四箇所の嵌まり部に嵌合する状態が正常状態とする。これに対し、いずれかの脚（例えば、四つのうちの一つ）が嵌まり部に嵌合できていなかったり（落下状態）、かごパレットの歪み等が原因で嵌合が不十分である場合などに、荷姿の異常状態として特徴ベクトルを抽出してよい。

【0034】

作業状態推定部３０は、特徴ベクトル取得部３１で取得された特徴ベクトルｖ（ｔ）に基づいて作業状態を推定することができる。作業状態推定部３０は、現在のフォークリフト１が「作業状態１」～「作業状態１４」（図３（ａ）参照）のどの状態であるかに関わらず、入力された特徴ベクトルｖ（ｔ）の結果のみに基づいて、荷姿の異常状態を判定してもよい。例えば、作業状態推定部３０は、入力された特徴ベクトルｖ（ｔ）の中に、図５の領域Ｅ１，Ｅ２，Ｅ３のような部分が存在している場合は、フォークリフト１が「作業状態１」～「作業状態１４」のどの作業状態であるかに関わらず、「作業状態１５」の荷姿の異常状態であると推定してよい。この場合は、特徴ベクトル取得部３１が画像から領域Ｅ１、Ｅ２、Ｅ３のような部分を抽出した時点で、荷姿の異常状態として取得し、作業状態推定部３０に対しては、「荷姿が異常状態である」ことを示す判定結果を撮像情報として出力してもよい。作業状態推定部３０は、特徴ベクトル取得部３１からの判定結果を示す撮像情報に基づいて、荷姿が異常状態であることを判定してよい。

【0035】

また、作業状態推定部３０は、現在のフォークリフト１が「作業状態１」～「作業状態１４」（図３（ａ）参照）のどの状態であるかと、入力された特徴ベクトルｖ（ｔ）とを両方考慮して、荷姿の異常状態を判定してもよい。例えば、作業状態推定部３０は、入力された特徴ベクトルｖ（ｔ）の中に、図５の領域Ｅ１，Ｅ２，Ｅ３のような部分が存在していても、フォークリフト１が「作業状態１」～「作業状態１４」のどの作業状態であるかによっては、荷姿の状態異常と判定しなくてもよい。例えば、画像中に領域Ｅ１，Ｅ２，Ｅ３のような部分が存在していても、フォークリフト１が、パレット４０Ａ～４０Ｅとは異なるパレット４０をリフトしようとしている場合は、荷姿が異常状態であると判定しなくともよい。また、パレット４０Ｅに関し、荷物４５Ｅが多少ずれていてもフォークリフト１での搬送を許容するが、他のパレット４０と荷物４５Ｅが衝突することは許容しない場合があってもよい。この場合、作業状態推定部３０は、フォークリフト１の作業状態がパレット４０Ｅをリフトする「作業状態５」であるときは、領域Ｅ３が抽出されても荷姿の異常状態とは判定せず、「作業状態５」であると推定する。一方、作業状態推定部３０は、フォークリフト１の作業状態がパレット４０Ｅの隣に他のパレットを積み付ける「作業状態１２」であるときは、領域Ｅ３が抽出されたら、荷姿の異常状態と判定し、「作業状態１５」であると推定する。

【0036】

図６（ａ）は、学習時における作業状態推定部３０の様子を示すブロック図である。図６（ａ）に示すように、作業状態推定部３０は、フォークリフト１に対する操作状態に関する操作情報の入力と、画像の特徴ベクトルの入力と、作業状態の正解データの入力により、機械学習を行う。図６（ａ）に示す機械学習の処理は、実際のフォークリフト１の遠隔操作が行われる前段階で、予め行われてよい。操作情報、特徴ベクトル及び正解データとして、予め準備されたデータが用いられる。例えば、実験室などで実際にフォークリフト１の運転を行い、ある時刻における操作情報及び画像の特徴ベクトルと、その時刻における実際の作業状態とを紐づけた状態で、データの取得を行う。このときの実際の作業状態が正解データとなる。

【0037】

作業状態推定部３０は、機械学習モデルＭ１としてＬＳＴＭ（Ｌｏｎｇ Ｓｈｏｒｔ Ｔｅｒｍ Ｍｅｍｏｒｙ）を用いてよい。このとき、作業状態推定部３０は、学習データとして、時系列ごとに取得された操作情報、及び時系列ごとに取得された画像の特徴ベクトルによって機械学習を行ってよい。時系列ごとに取得された操作情報、及び特徴ベクトルは、例えば、「時刻０」から「時刻Ｔ」までの所定間隔で取得された「操作情報ｕ（ｔ）、特徴ベクトルｖ（ｔ）及び正解作業状態ｙ（ｔ）」のデータ群によって構成される。作業状態推定部３０は、機械学習モデルＭ１として、時系列ごとに取得された操作情報に対応することができるＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ：再帰型ニューラルネットワーク）を用いてもよい。その他、作業状態推定部３０が取得できれば、機械学習モデルＭ１はＣＮＮに限定されない。

【0038】

図６（ｂ）は、学習時における特徴ベクトル取得部３１の様子を示すブロック図である。図６（ｂ）に示すように、特徴ベクトル取得部３１は、フォークリフト１の荷役対象となる荷物の画像の入力と、当該画像に対応する正解作業状態の入力により、作業状態推定部３０へ特徴ベクトルを出力する。そして、作業状態推定部３０は、当該特徴ベクトルに基づいて推定作業状態を出力する。特徴ベクトル取得部３１は、正解作業状態（ｙ（ｔ））と、推定作業状態（ｙ｀（ｔ））との誤差が小さくなるように機械学習モデルＭ２，Ｍ３を構築する。なお、作業状態推定部３０の機械学習モデルＭ３は、学習時のみ使用されるモデルである。学習が完了したら、特徴ベクトル取得部３１は、機械学習モデルＭ２を取り出し、作業状態取得部２３で使用する。図６（ｂ）に示す機械学習の処理は、実際のフォークリフト１の遠隔操作が行われる前段階で、予め行われてよい。画像、及び正解データとして、予め準備されたデータが用いられる。例えば、異常状態と判定し得る荷姿の画像を準備すると共に、当該画像の中で異常状態の特徴を分かりやすく示している箇所（例えば、図５の領域Ｅ１，Ｅ２，Ｅ３など）の特徴ベクトルを抽出する。このように抽出した特徴ベクトルを正解特徴ベクトルとする。

【0039】

特徴ベクトル取得部３１は、機械学習モデルＭ２としてＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ：畳み込みニューラルネットワーク）を用いてよい。ここで、特徴ベクトル取得部３１は、学習データとして、時系列ごとに取得された画像によって機械学習を行ってよいし、時系列となっていない画像によって機械学習を行ってもよい。例えば、荷姿の異常状態や正常状態の特徴を分かりやすく示している画像を多数準備することで学習を行ってもよい。例えば、学習データは、「パターン０」から「パターンＮ」までの複数の「画像Ｉ（ｉ）及び正解特徴ベクトルｚ（ｉ）」のデータ群によって構成される。その他、特徴ベクトル取得部３１が取得できれば、機械学習モデルＭ２はＣＮＮに限定されない。

【0040】

次に、図７を参照して、制御装置２０による運転支援方法を示す処理内容の一例について説明する。図７に示す処理は、表示部１７に運転支援映像が表示されており、且つ、オペレータが遠隔操作でフォークリフト１を操作しているときに行われる。図７に示すように、作業状態取得部２３は、操作情報取得部１８を介してオペレータによる操作情報を取得すると共に、表示制御部２２を介して荷姿の画像を取得する（ステップＳ１０）。次に、特徴ベクトル取得部は、ステップＳ１０で取得した画像に基づいて、特徴ベクトルを取得する（ステップＳ２０）。次に、作業状態推定部３０は、ステップＳ１０で取得した操作情報、及びステップＳ２０で取得した特徴ベクトルに基づいて、作業状態を推定する（ステップＳ３０）。次に、視点情報取得部２６は、ステップＳ３０で推定した作業状態に基づいて、視点情報を取得する（ステップＳ４０）。次に、表示制御部２２は、ステップＳ４０で取得された視点情報に基づいて、表示部１７で表示する運転支援映像を選択する（ステップＳ５０）。

【0041】

次に、本実施形態に係る制御装置２０の作用・効果について説明する。

【0042】

制御装置２０は、フォークリフト１の作業状態を推定する作業状態推定部３０を有する。ここで、作業状態推定部３０は、フォークリフト１に対する操作状態に関する操作情報の入力のみならず、及び荷物を撮影した撮影情報を入力される。作業状態推定部３０は、フォークリフト１の動作のみならず、撮像情報に基づいて荷物の荷姿が正常であるか、異常であるかを判定することが可能となる。従って、作業状態推定部３０は、荷姿が異常状態であるか否かの判定を行うと共に作業状態を出力する。これにより、作業状態推定部３０は、フォークリフト１自身の状態のみならず、荷姿の異常状態まで含んで作業状態を推定することができる。以上より、フォークリフト１の作業状態をより適切に推定することができる。

【0043】

作業状態推定部３０は、機械学習によって設定した作業状態推定モデルに基づいて作業状態を推定可能であり、操作情報及び撮影情報に基づいて、作業状態を出力してよい。作業状態推定モデルは、過去の実際のデータに基づいて機械学習によって設定されたものであるため、荷姿の異常状態も含め、精度よく作業状態を推定することを可能とする。

【0044】

操作情報は、アクセル操作量、タイヤ角、リフト操作量、リーチ操作量、ティルト操作量の少なくともいずれかを含んでよい。これらのパラメータは、フォークリフト１において作業者の意図を反映するパラメータである。作業状態推定部３０は、操作情報として、このようなパラメータを用いることで、適切な作業状態の推定を行う事ができる。

【0045】

制御装置２０は、荷物を撮影した画像から機械学習を用いて特徴ベクトルを取得する特徴ベクトル取得部３１を更に有し、特徴ベクトル取得部３１は、機械学習モデルとしてＣＮＮを用い、作業状態推定部３０は、特徴ベクトル取得部３１で取得された特徴ベクトルに基づいて作業状態を推定してよい。特徴ベクトル取得部３１は、撮影情報を特徴ベクトルで示すことにより、作業状態推定部３０へ出力する情報量を低減することができる。また、特徴ベクトル取得部３１は、機械学習モデルとしてＣＮＮを用いることで、過去の実績に基づいて荷姿の異常状態を好適に反映した特徴ベクトルを取得することができる。

【0046】

以上、本発明の好適な実施形態について幾つか説明してきたが、本発明は、上記実施形態に限定されるものではない。

【0047】

上述の実施形態では、運転支援システムは、遠隔操作時のオペレータの作業を支援していたが、産業車両を有人操作するときに支援を行ってもよい。また、オペレータが産業車両のシミュレーション運転を行うときの支援を行ってもよい。

【0048】

産業車両は、フォークリフトに限定されず、トーイングトラクター、スキッドステアローダーなどが採用されてもよい。

【0049】

上述の実施形態では、作業状態推定部３０及び特徴ベクトル取得部３１が機械学習を用いて処理をおこなっていたが、必ずしも機械学習を用いなくともよい。

【0050】

［形態１］
産業車両の作業状態を推定する制御装置であって、
前記産業車両の前記作業状態を推定する作業状態推定部を有し、
前記作業状態推定部は、前記産業車両に対する操作状態に関する操作情報の入力、及び荷物を撮影した撮影情報を入力され、前記荷物の荷姿が異常状態であるか否かの判定を行うと共に前記作業状態を出力する、産業車両の制御装置。
［形態２］
前記作業状態推定部は、機械学習によって設定した作業状態推定モデルに基づいて前記作業状態を推定可能であり、前記操作情報及び前記撮影情報に基づいて、前記作業状態を出力する、形態１に記載の産業車両の制御装置。
［形態３］
前記操作情報は、アクセル操作量、タイヤ角、リフト操作量、リーチ操作量、ティルト操作量の少なくともいずれかを含む、形態１又は２に記載の産業車両の制御装置。
［形態４］
前記荷物を撮影した画像から機械学習を用いて前記画像の特徴ベクトルを取得する特徴ベクトル取得部を更に有し、
前記特徴ベクトル取得部は、機械学習モデルとしてＣＮＮを用い、
前記作業状態推定部は、前記特徴ベクトル取得部で取得された前記特徴ベクトルに基づいて前記作業状態を推定する、形態１～３の何れか一項に記載の産業車両の制御装置。
［形態５］
形態１～４の何れか一項に記載の産業車両の制御装置を有する産業車両の制御システム。
［形態６］
形態１～４の何れか一項に記載の産業車両の制御装置に用いられる産業車両の制御装置のプログラム。

【符号の説明】

【0051】

１…フォークリフト、２０…制御装置、３０…作業状態推定部、３１…特徴ベクトル取得部、１００…運転支援システム（産業車両の制御システム）。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】