特開 2023-163604 荷役システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023163604

(43)【公開日】2023-11-10

(54)【発明の名称】荷役システム

(51)【国際特許分類】

   B66F 9/24 20060101AFI20231102BHJP

【ＦＩ】

B66F9/24 L

【審査請求】未請求

【請求項の数】3

【出願形態】ＯＬ

(21)【出願番号】P 2022074614

(22)【出願日】2022-04-28

(71)【出願人】

【識別番号】000003218

【氏名又は名称】株式会社豊田自動織機

(74)【代理人】

【識別番号】100105957

【弁理士】

【氏名又は名称】恩田 誠

(74)【代理人】

【識別番号】100068755

【弁理士】

【氏名又は名称】恩田 博宣

(72)【発明者】

【氏名】柿田 頼輝

【テーマコード（参考）】

3F333

【Ｆターム（参考）】

3F333AA02

3F333AB13

3F333AE02

3F333DB01

3F333FA25

3F333FD15

3F333FE04

3F333FE05

(57)【要約】

【課題】制御装置が荷役動作方向を決定できるようにすること。
【解決手段】荷役車両は、荷役装置と、外界センサと、制御装置と、を備える。外界センサは、３次元座標系の座標で物体の位置を検出する。制御装置は、物体の位置を表した点の集合である点群データから、荷役車両が搬送車両の左右のいずれに位置しているかを判定する。制御装置は、荷役車両が搬送車両の左右のいずれに位置しているかによって荷役動作方向を決定する。荷役動作方向は、荷役装置を動作させる方向であって荷役車両が搬送車両の左右のいずれに位置しているかによって異なる方向である。
【選択図】図５

【特許請求の範囲】

【請求項1】

３次元座標系の座標で物体の位置を検出する外界センサ、及び荷役装置を備える荷役車両と、
制御装置と、を備える荷役システムであって、
前記制御装置は、
前記物体の位置を表した点の集合である点群データから、前記荷役車両が搬送車両の左右のいずれに位置しているかを判定し、
前記荷役装置を動作させる方向であって前記荷役車両が前記搬送車両の左右のいずれに位置しているかによって異なる方向である荷役動作方向を、前記荷役車両が前記搬送車両の左右のいずれに位置しているかによって決定する、荷役システム。

【請求項2】

前記制御装置は、
前記点群データから前記搬送車両の側面図を作成し、
前記側面図から画像認識によって運転席を抽出し、
前記側面図での前記運転席の位置から前記荷役車両が前記搬送車両の左右のいずれに位置しているかを判定する、請求項１に記載の荷役システム。

【請求項3】

前記制御装置は、前記荷役車両の自己位置を推定し、
前記自己位置と前記搬送車両の停車位置との位置関係から、前記荷役車両が前記搬送車両の左右のいずれに位置しているかを判定する、請求項１に記載の荷役システム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、荷役システムに関する。

【背景技術】

【0002】

特許文献１に開示の荷役車両は、荷役装置を備える。荷役車両は、荷役作業を行う。荷役作業は、荷積み、及び荷取りを含む。荷積みでは、搬送車両に荷が積載される。荷取りでは、搬送車両に積載された荷が荷役車両によって取られる。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２１－１６０８６０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

荷役車両が搬送車両の左右のいずれに位置しているかによって荷役装置を動作させる方向が異なる場合がある。

【課題を解決するための手段】

【0005】

上記課題を解決する荷役システムは、３次元座標系の座標で物体の位置を検出する外界センサ、及び荷役装置を備える荷役車両と、制御装置と、を備える荷役システムであって、前記制御装置は、前記物体の位置を表した点の集合である点群データから、前記荷役車両が搬送車両の左右のいずれに位置しているかを判定し、前記荷役装置を動作させる方向であって前記荷役車両が前記搬送車両の左右のいずれに位置しているかによって異なる方向である荷役動作方向を、前記荷役車両が前記搬送車両の左右のいずれに位置しているかによって決定する。

【0006】

制御装置は、点群データから荷役車両が搬送車両の左右のいずれに位置しているかを判定する。荷役動作方向は、荷役車両が搬送車両の左右のいずれに位置しているかによって異なる。搬送車両の左右のいずれに荷役車両が位置しているかを判定することで、制御装置は、荷役動作方向を決定することができる。

【0007】

上記荷役システムについて、前記制御装置は、前記点群データから前記搬送車両の側面図を作成し、前記側面図から画像認識によって運転席を抽出し、前記側面図での前記運転席の位置から前記荷役車両が前記搬送車両の左右のいずれに位置しているかを判定してもよい。

【0008】

上記荷役システムについて、前記制御装置は、前記荷役車両の自己位置を推定し、前記自己位置と前記搬送車両の停車位置との位置関係から、前記荷役車両が前記搬送車両の左右のいずれに位置しているかを判定してもよい。

【発明の効果】

【0009】

本発明によれば、制御装置が荷役動作方向を決定することができる。

【図面の簡単な説明】

【0010】

【図1】荷役車両が運用される区域の模式図である。

【図2】搬送車両、及び荷役車両の斜視図である。

【図3】サイドシフト装置の斜視図である。

【図4】荷役車両の概略構成図である。

【図5】荷役動作方向決定制御を示すフローチャートである。

【図6】点群マップの模式図である。

【図7】側面図の模式図である。

【図8】作業エリアの模式図である。

【図9】変更例の荷役動作方向決定制御を示すフローチャートである。

【図10】停車位置の面積が広い場合における搬送車両と荷役車両との位置関係を示す図である。

【発明を実施するための形態】

【0011】

以下、荷役システムの一実施形態について説明する。
図１に示すように、区域Ａ１には、停車位置ＰＳ１が設定されている。停車位置ＰＳ１は、複数設定されている。停車位置ＰＳ１同士は、互いに間隔を空けて並んでいる。停車位置ＰＳ１には、搬送車両１０が停車する。停車位置ＰＳ１の面積は、停車位置ＰＳ１に停車する搬送車両１０を平面視した場合の搬送車両１０の面積よりも広い。停車位置ＰＳ１には、柱などの構造物が存在していない。区域Ａ１は、例えば、工場、港湾、空港、商業施設、及び公共施設等の場所の全体、あるいは、一部である。区域Ａ１では、荷役車両２０が運用されている。荷役車両２０は、荷積み及び荷取りを行う。荷積みは、パレットＰＡ１に置かれた荷Ｃ１を搬送車両１０に積載する作業である。荷取りは、搬送車両１０に積載された荷Ｃ１を搬送車両１０から取る作業である。以下の説明において、搬送車両１０の前後左右上下とは、搬送車両１０を基準とした場合の前後左右上下である。荷役車両２０の左右上下とは、荷役車両２０を基準とした場合の左右上下である。

【0012】

図２に示すように、搬送車両１０は、ウィングトラックである。搬送車両１０としては、平ボディのトラック等、どのような種類のトラックであってもよい。搬送車両１０は、運転席１１と、フロントパネル１２と、リヤドア１３と、荷台１４と、ウィングサイドパネル１６と、あおり１７と、を備える。

【0013】

運転席１１は、搬送車両１０の運転者が搭乗する位置である。フロントパネル１２は、運転席１１よりも搬送車両１０の後方に設けられている。フロントパネル１２は、運転席１１に隣り合って設けられている。リヤドア１３は、フロントパネル１２よりも搬送車両１０の後方に設けられている。フロントパネル１２とリヤドア１３は、搬送車両１０の前後方向に互いに間隔を空けて設けられている。荷台１４は、フロントパネル１２とリヤドア１３との間で、搬送車両１０の前後方向に延びている。荷台１４は、積載面１５を備える。積載面１５は、荷台１４の上面である。積載面１５には、パレットＰＡ１に置かれた荷Ｃ１が積載される。ウィングサイドパネル１６は、フロントパネル１２とリヤドア１３との間に設けられている。ウィングサイドパネル１６は、搬送車両１０の車幅方向の中心位置を中心として、搬送車両１０の上下方向に回転可能に設けられている。ウィングサイドパネル１６は、搬送車両１０の車幅方向の両側に１つずつ設けられている。あおり１７は、搬送車両１０の前後方向に延びるように設けられている。あおり１７は、荷台１４の縁であって搬送車両１０の前後方向に延びる縁に沿って設けられている。あおり１７は、搬送車両１０の車幅方向の両側に１つずつ設けられている。

【0014】

＜荷役車両＞
荷役車両２０は、車体２１と、駆動輪２２と、操舵輪２３と、荷役装置２４と、を備える。荷役装置２４は、車体２１の前部に設けられている。荷役装置２４は、マスト２５と、リフトシリンダ２８と、リフトブラケット２９と、２つのフォーク３０と、サイドシフト装置４０と、を備える。

【0015】

マスト２５は、アウタマスト２６と、インナマスト２７と、を備える。インナマスト２７は、アウタマスト２６に対して昇降可能に設けられている。リフトブラケット２９及びフォーク３０は、インナマスト２７とともに昇降する。リフトシリンダ２８は、インナマスト２７を昇降動作させる。リフトシリンダ２８は、油圧シリンダである。

【0016】

サイドシフト装置４０は、フォーク３０を荷役車両２０の左右方向に移動させるものである。サイドシフト装置４０は、２つのフォーク３０同士の間隔を維持した状態で、２つのフォーク３０を荷役車両２０の左右方向に移動させる。

【0017】

図３に示すように、サイドシフト装置４０は、リフトブラケット２９に取り付けられている。リフトブラケット２９は、２つのフィンガーバー３１，３２を備える。２つのフィンガーバー３１，３２は、荷役車両２０の上下方向に間隔を空けて設けられている。

【0018】

サイドシフト装置４０は、シフター４１と、シフトシリンダ４６と、を備える。
シフター４１は、２つのフィンガーバー３１，３２に対して荷役車両２０の左右に移動可能に設けられている。シフター４１は、２つのシフターバー４２，４３と、２つのシフターバー４２，４３を連結する２つの連結部材４４，４５と、を備える。２つのシフターバー４２，４３は、荷役車両２０の上下方向に間隔を空けて設けられている。２つの連結部材４４，４５は、荷役車両２０の左右方向に間隔を空けて設けられている。連結部材４４，４５は、シフターバー４２，４３の端部同士を連結している。シフターバー４２，４３には、フォーク３０が連結されている。

【0019】

シフトシリンダ４６は、油圧シリンダである。シフトシリンダ４６への作動油の給排によってシフター４１は荷役車両２０の左右方向に移動する。シフター４１とともにフォーク３０も荷役車両２０の左右方向に移動する。

【0020】

図４に示すように、荷役車両２０は、外界センサ５１と、制御装置５２と、補助記憶装置５５と、車両制御装置５６と、走行アクチュエータ５９と、荷役アクチュエータ６０と、通信装置６１と、を備える。荷役車両２０は、荷役システムである。

【0021】

外界センサ５１は、３次元座標系の座標で物体の位置を検出する。外界センサ５１は、荷役車両２０の上部に設けられている。例えば、外界センサ５１は、荷役車両２０のヘッドガードに設けられている。

【0022】

外界センサ５１としては、例えば、ミリ波レーダー、ステレオカメラ、ToF（Time of Flight）カメラ、及びLIDAR（Laser Imaging Detection and Ranging）を挙げることができる。本実施形態では、外界センサ５１としてLIDARを用いている。外界センサ５１は、周囲にレーザーを照射し、レーザーが当たった点から反射された反射光を受光することで点までの距離を導出する。レーザーが当たった点は、物体の表面の一部を表す。点の位置は、極座標系の座標で表すことができる。極座標系における点の座標は、直交座標系の座標に変換される。極座標系から直交座標系への変換は、外界センサ５１によって行われてもよいし、制御装置５２で行われてもよい。本実施形態では、外界センサ５１により極座標系から直交座標系への変換が行われているとする。外界センサ５１は、センサ座標系での点の座標を導出する。センサ座標系は、外界センサ５１を原点とする３軸直交座標系である。外界センサ５１は、レーザーを照射することにより得られた複数の点の座標を点群データとして制御装置５２に出力する。

【0023】

制御装置５２は、プロセッサ５３と、記憶部５４と、を備える。記憶部５４は、RAM（Random Access Memory）、及びROM（Read Only Memory）を含む。記憶部５４は、処理をプロセッサ５３に実行させるように構成されたプログラムコードまたは指令を格納している。記憶部５４、即ち、コンピュータ可読媒体は、汎用または専用のコンピュータでアクセスできるあらゆる利用可能な媒体を含む。制御装置５２は、ASIC（Application Specific Integrated Circuit）やFPGA（Field Programmable Gate Array）等のハードウェア回路によって構成されていてもよい。処理回路である制御装置５２は、コンピュータプログラムに従って動作する１つ以上のプロセッサ、ASICやFPGA等の１つ以上のハードウェア回路、或いは、それらの組み合わせを含み得る。

【0024】

補助記憶装置５５は、制御装置５２が読み取り可能な情報を記憶している。補助記憶装置５５としては、例えば、ハードディスクドライブ、及びソリッドステートドライブを挙げることができる。補助記憶装置５５は、環境地図Ｄ１を記憶している。補助記憶装置５５は、画像認識モデルＤ２を記憶している。

【0025】

環境地図Ｄ１とは、区域Ａ１に存在する物体の形状、区域Ａ１の広さ等、区域Ａ１の物理的構造に関する情報である。本実施形態において環境地図Ｄ１は、区域Ａ１の構造を地図座標系の座標で表したデータである。地図座標系は、３軸直交座標系である。地図座標系は、区域Ａ１の任意の一点を原点とする座標系である。地図座標系において水平方向は互いに直交するＸ軸及びＹ軸で規定される。Ｘ軸及びＹ軸で規定されるＸＹ平面は、水平面を表しているといえる。地図座標系において上下方向は、Ｘ軸及びＹ軸に直交するＺ軸で規定される。適宜、地図座標系の座標を地図座標と称する。地図座標系は、３次元の位置を表す３次元座標系である。

【0026】

制御装置５２は、荷役車両２０の自己位置を推定する。制御装置５２は、荷役車両２０の自己位置を車両制御装置５６に出力する。自己位置とは、環境地図Ｄ１上での荷役車両２０の位置である。自己位置とは、地図座標系での荷役車両２０の一点を示す座標である。荷役車両２０の一点は任意であるが、例えば、荷役車両２０の水平方向での中心位置を挙げることができる。

【0027】

自己位置の推定は、外界センサ５１の検出結果と環境地図Ｄ１とを照合することで行われる。制御装置５２は、点群データから得られたランドマークと同一形状のランドマークを環境地図Ｄ１から抽出する。制御装置５２は、環境地図Ｄ１からランドマークの位置を認識する。ランドマークの位置と荷役車両２０との位置関係は、外界センサ５１の検出結果から把握できる。従って、制御装置５２は、ランドマークの位置を認識することで、自己位置を推定することができる。ランドマークとは外界センサ５１により識別可能な特徴を有する物体である。ランドマークは、位置の変化しにくい物理的構造物である。ランドマークとしては、例えば、壁、及び柱を挙げることができる。自己位置の推定は、外界センサ５１を用いた自己位置の推定に、内界センサを用いたデッドレコニングを組み合わせて行われてもよい。自己位置の推定は、外界センサ５１を用いた自己位置の推定に、GNSS（Global Navigation Satellite System）衛星から送信される衛星信号を用いた自己位置推定を組み合わせて行われてもよい。

【0028】

車両制御装置５６は、例えば、制御装置５２と同様のハードウェア構成を備える。車両制御装置５６は、プロセッサ５７と、記憶部５８と、を備える。
走行アクチュエータ５９は、荷役車両２０を走行させるアクチュエータである。走行アクチュエータ５９は、例えば、駆動輪２２を回転させるモータ、及び操舵機構を含む。車両制御装置５６は、自己位置を把握しながら走行アクチュエータ５９を制御して荷役車両２０を走行させる。

【0029】

荷役アクチュエータ６０は、荷役車両２０に荷役を行わせるアクチュエータである。荷役アクチュエータ６０は、例えば、油圧機器に作動油を供給するポンプを駆動するモータ、及び作動油の供給を制御する制御弁を含む。油圧機器は、リフトシリンダ２８及びシフトシリンダ４６を含む。車両制御装置５６は、荷役アクチュエータ６０を制御することによってフォーク３０の昇降、及びフォーク３０のサイドシフトを行う。

【0030】

荷役車両２０は、車両制御装置５６によって走行アクチュエータ５９が制御されることによって自動で走行する。荷役車両２０は、車両制御装置５６によって荷役アクチュエータ６０が制御されることによって自動で荷役を行う。荷役車両２０は、自動運転フォークリフトである。

【0031】

通信装置６１は、無線LAN、Zigbee（登録商標）、LPWA（Low Power Wide Area）、又は移動通信システム等、任意の無線通信方式で通信を行うことが可能な通信機器である。通信装置６１は、無線信号を送受信可能である。通信装置６１は、受信した無線信号を復調したデータを車両制御装置５６に出力する。

【0032】

通信装置６１は、上位制御装置７１からの指令を受信する。上位制御装置７１は、例えば、区域Ａ１に設けられる。上位制御装置７１は、人によって入力された運行データを通信装置６１に送信する。運行データは、荷役車両２０に対する指令を含む。指令としては、例えば、荷役車両２０を進行させる指令、荷役車両２０に荷積みを開始させる指令、及び荷役車両２０に荷取りを開始させる指令を挙げることができる。車両制御装置５６は、上位制御装置７１からの指令に従って荷役車両２０の制御を行う。

【0033】

制御装置５２が行う荷役動作方向決定制御について説明する。荷役動作方向決定制御は、荷役動作方向を決定する制御である。荷役動作方向は、荷役装置２４を動作させる方向であって荷役車両２０が搬送車両１０の左右のいずれに位置しているかによって異なる方向である。荷役動作方向の一例としては、フォーク３０のサイドシフト方向を挙げることができる。荷役車両２０が荷積みを行う際には、搬送車両１０の前方から後方に向けて搬送車両１０の荷台１４に順次、荷Ｃ１を積載していく。荷Ｃ１は、運転席１１に近い位置から積載される。この際、荷台１４に積載される荷Ｃ１同士の間の隙間を小さくするために、サイドシフト装置４０によってフォーク３０のサイドシフトを行う。荷積みを行う場合であって荷役車両２０が搬送車両１０の右側に位置している場合、サイドシフト方向は荷役車両２０の右方向になる。荷積みを行う場合であって荷役車両２０が搬送車両１０の左側に位置している場合、サイドシフト方向は荷役車両２０の左方向になる。荷役車両２０が荷取りを行う際には、搬送車両１０の後方から前方に向けて搬送車両１０の荷台１４に積載された荷Ｃ１を順次、取っていく。荷Ｃ１同士の間の隙間が小さいと、隣り合う荷Ｃ１が干渉するおそれがあるため、荷Ｃ１同士の間の隙間を大きくするために、サイドシフト装置４０によってフォーク３０のサイドシフトを行う。荷取りを行う場合であって荷役車両２０が搬送車両１０の右側に位置している場合、サイドシフト方向は荷役車両２０の左方向になる。荷取りを行う場合であって荷役車両２０が搬送車両１０の左側に位置している場合、サイドシフト方向は荷役車両２０の右方向になる。

【0034】

荷役車両２０は、例えば、上位制御装置７１の指令に基づき、搬送車両１０に近付く。そして、荷役車両２０と搬送車両１０との離間距離が所定離間未満になると、荷役動作方向決定制御が開始される。所定離間距離は、例えば、外界センサ５１によって搬送車両１０が検出できる距離である。

【0035】

＜荷役動作方向決定制御＞
図５及び図６に示すように、ステップＳ１において、制御装置５２は、点群マップＰＭ１を作成する。点群マップＰＭ１は、外界センサ５１の検出結果から得られた点群データを重ね合わせることで得られる。制御装置５２は、荷役車両２０が移動しているときに外界センサ５１から複数回点群データを取得する。制御装置５２は、自己位置から点群データの各点Ｐ１の座標をセンサ座標系の座標から地図座標に変換する。制御装置５２によって推定された自己位置から、地図座標系におけるセンサ座標系の原点を認識できる。制御装置５２によって推定された自己位置から、地図座標系の座標軸とセンサ座標系の座標軸とのずれを認識できる。制御装置５２は、地図座標系におけるセンサ座標系の原点と、地図座標系の座標軸とセンサ座標系の座標軸とのずれと、に基づき点群データの各点Ｐ１をセンサ座標系の座標から地図座標に変換する。制御装置５２は、点群データを取得する度に、地図座標に変換された各点Ｐ１を重ね合わせることで点群マップＰＭ１を作成する。点群マップＰＭ１は、点群データの集合である。点群データの点Ｐ１に比べて、点群マップＰＭ１の点Ｐ１は密である。

【0036】

図６には、ステップＳ１の処理によって得られた点群マップＰＭ１を示す。点群マップＰＭ１に含まれる各点Ｐ１は、物体の地図座標を表している。説明の便宜上、点群マップＰＭ１に含まれる各点Ｐ１を第１点Ｐ１１、第２点Ｐ１２、第３点Ｐ１３及び第４点Ｐ１４に分類して説明を行う。第１点Ｐ１１は、あおり１７にレーザーが照射されることで得られた点Ｐ１である。第２点Ｐ１２は、運転席１１にレーザーが照射されることで得られた点Ｐ１である。第３点Ｐ１３は、積載面１５に積載されているパレットＰＡ１及び荷Ｃ１にレーザーが照射されることで得られた点Ｐ１である。第４点Ｐ１４は、第１点Ｐ１１、第２点Ｐ１２及び第３点Ｐ１３のいずれにも該当しない点Ｐ１である。

【0037】

図５及び図７に示すように、ステップＳ２において、制御装置５２は、点群マップＰＭ１から側面図ＩＭ１を作成する。点群マップＰＭ１は、点群データの集合であるため、側面図ＩＭ１は、点群データから作成されているといえる。側面図ＩＭ１は、点Ｐ１を搬送車両１０の車幅方向に投影した図である。これにより、点群マップＰＭ１を２次元にすることができるため、側面図ＩＭ１を画像データとして扱うことができる。側面図ＩＭ１を作成する際に制御装置５２が行う処理の一例を説明する。

【0038】

制御装置５２は、各点Ｐ１の法線ベクトルを算出する。法線ベクトルは、複数の点Ｐ１に囲まれる平面に対して垂直な方向に向けたベクトルである。法線ベクトルを導出する手法としては各点Ｐ１から曲面を求め、曲面から各点Ｐ１の法線ベクトルを導出する手法や、ベクトルの外積を用いる手法を挙げることができる。例えば、制御装置５２が、１つの点Ｐ１の法線ベクトルを求める場合、この点Ｐ１から所定範囲内に位置する２つの点Ｐ１のそれぞれに向かうベクトルの外積を求める。この外積が法線ベクトルである。

【0039】

制御装置５２は、法線ベクトルの向きが水平方向である点Ｐ１を抽出する。例えば、制御装置５２は、地図座標系のＸＹ平面に対する法線ベクトルの角度が予め定められた範囲となるか否かを判定する。法線ベクトルの向きが水平方向の場合、法線ベクトルは地図座標系のＸＹ平面に平行である。搬送車両１０の傾きや測定誤差を考慮した上で、法線ベクトルの向きが水平方向とみなせる点Ｐ１を抽出できるように、予め定められた範囲を設定している。

【0040】

制御装置５２は、法線ベクトルの向きが水平方向である点Ｐ１から平面方程式を導出する。平面方程式は、例えば、RANSAC（Random Sample Consensus）等のロバスト推定法や、最小二乗法を用いることで導出することができる。平面方程式で表される平面は、鉛直方向に拡がる面である。本実施形態の搬送車両１０であれば、あおり１７による第１点Ｐ１１によって平面を得ることができる。また、荷取りを行う際には、搬送車両１０にパレットＰＡ１及び荷Ｃ１が積載されているため、パレットＰＡ１や荷Ｃ１による第３点Ｐ１３によって平面を得ることができる。制御装置５２は、平面方程式で表される平面に垂直な方向に点Ｐ１を投影することで側面図ＩＭ１を作成する。

【0041】

次に、ステップＳ３において、制御装置５２は、側面図ＩＭ１から運転席１１を抽出することによって側面図ＩＭ１での運転席１１の位置を判定する。側面図ＩＭ１での運転席１１の位置は、画像座標系によって表すことができる。画像座標系は、側面図ＩＭ１の横方向をＸ軸、縦方向をＹ軸とする座標系である。運転席１１の位置の判定は、画像認識を用いて行われる。本実施形態では、画像認識モデルＤ２を用いて画像認識を行う場合について説明を行うが、画像認識は、パターンマッチングによって行われてもよい。

【0042】

画像認識モデルＤ２は、機械学習によって生成された学習済みモデルである。画像認識モデルＤ２は、領域単位で物体のクラスを判定することができるアルゴリズムを用いている。クラスとしては、「運転席」が設定されている。機械学習のアルゴリズムとしては、例えば、SSD(Single Shot Multibox Detector)、R-CNN(Regional Convolutional Neural Network)、fast R-CNN、faster R-CNN、及びYOLO(You Only Look Once)を挙げることができる。画像認識モデルＤ２は、教師データを用いた教師有り学習、あるいは、半教師有り学習によって生成されている。教師データとしては、クラスに該当する物体が含まれる画像データと、画像データ中の物体の位置と、ラベルと、を含むデータが用いられる。教師データは、例えば、画像データ中の物体を枠で囲み、画像データにラベルを付すことで生成することができる。本実施形態では、画像データ中の運転席１１を枠で囲み、当該画像データに「運転席」のラベルを付したものを教師データとすればよい。教師データとして用いる画像データは、側面図ＩＭ１と同様に点群マップＰＭ１から得られたものであってもよいし、撮像装置による撮像によって得られたものであってもよい。

【0043】

画像認識モデルＤ２は、入力された側面図ＩＭ１から運転席１１が含まれる領域を特定する。運転席１１が含まれる領域は、バウンディングボックスＢ１で表される。図７に示す例では、第２点Ｐ１２で表される運転席１１がバウンディングボックスＢ１で囲まれている。

【0044】

図５及び図８に示すように、ステップＳ４において、制御装置５２は、作業エリアＡ１１，Ａ１２を決定する。詳細にいえば、制御装置５２は、地図座標系において搬送車両１０を搬送車両１０の前後方向に通過する境界直線ＢＬ１を生成する。制御装置５２は、境界直線ＢＬ１を挟んだ両側を作業エリアＡ１１，Ａ１２と決定する。作業エリアＡ１１，Ａ１２は、例えば、予め定められた大きさのエリアである。作業エリアＡ１１，Ａ１２は、右作業エリアと、左作業エリアと、を含む。右作業エリアは、搬送車両１０の右の作業エリアＡ１１，Ａ１２である。左作業エリアは、搬送車両１０の左の作業エリアＡ１１，Ａ１２である。

【0045】

荷役車両２０が搬送車両１０の右に位置している場合、運転席１１は側面図ＩＭ１の右側に位置する。制御装置５２は、側面図ＩＭ１において画像座標系のＸ軸方向の中心位置よりも右に運転席１１が位置している場合、荷役車両２０が搬送車両１０の右に位置していると判定する。この場合、制御装置５２は、荷役車両２０の位置している作業エリアＡ１１，Ａ１２が右作業エリアであると判定できる。制御装置５２は、荷役車両２０の位置していない作業エリアＡ１１，Ａ１２が左作業エリアであると判定できる。

【0046】

荷役車両２０が搬送車両１０の左に位置している場合、運転席１１は側面図ＩＭ１の左側に位置する。制御装置５２は、側面図ＩＭ１において画像座標系のＸ軸方向の中心位置よりも左に運転席１１が位置している場合、荷役車両２０が搬送車両１０の左に位置していると判定する。この場合、制御装置５２は、荷役車両２０の位置している作業エリアＡ１１，Ａ１２が左作業エリアであると判定できる。制御装置５２は、荷役車両２０の位置していない作業エリアＡ１１，Ａ１２が右作業エリアであると判定できる。

【0047】

次に、ステップＳ５において、制御装置５２は、荷役動作方向を決定する。荷役動作方向として、サイドシフト方向を決定する場合を例に挙げて説明する。前述したように、荷役動作方向は、荷役車両２０が荷積みを行うか、荷取りを行うかによって異なる。荷役車両２０が右作業エリアで荷積みを行う場合、制御装置５２は、荷役動作方向を荷役車両２０の右方向と決定する。荷役車両２０が左作業エリアで荷積みを行う場合、制御装置５２は、荷役動作方向を荷役車両２０の左方向と決定する。荷役車両２０が右作業エリアで荷取りを行う場合、制御装置５２は、荷役動作方向を荷役車両２０の左方向と決定する。荷役車両２０が左作業エリアで荷取りを行う場合、制御装置５２は、荷役動作方向を荷役車両２０の右方向と決定する。

【0048】

ステップＳ５の処理を終えると、制御装置５２は、荷役動作方向決定制御を終了する。制御装置５２は、荷役動作方向決定制御で決定した荷役動作方向を車両制御装置５６に出力する。車両制御装置５６では、荷役動作方向に応じた制御が行われる。

【0049】

［本実施形態の効果］
（１）制御装置５２は、点群データから荷役車両２０が搬送車両１０の左右のいずれに位置しているかを判定する。制御装置５２は、荷役車両２０が搬送車両１０の左右のいずれに位置しているかによって荷役動作方向を決定することができる。

【0050】

（２）制御装置５２は、側面図ＩＭ１から画像認識によって運転席１１を抽出している。運転席１１の位置は、荷役車両２０が搬送車両１０の左右のいずれに位置しているかによって異なる。側面図ＩＭ１から運転席１１を抽出することによって、荷役車両２０が搬送車両１０の左右のいずれに位置しているかを判定することができる。

【0051】

（３）搬送車両１０の停車位置ＰＳ１が定まっており、かつ、搬送車両１０の停車向きが定まっている場合、制御装置５２は、自己位置から荷役車両２０が搬送車両１０の左右のいずれに位置しているかを判定できる。しかしながら、図１に示すように、２つの停車位置ＰＳ１同士の間に荷役車両２０が位置している場合、２つの搬送車両１０の一方を基準にした場合には右、他方を基準にした場合には左に荷役車両２０が位置する。このため、２つの停車位置ＰＳ１同士の間に荷役車両２０が位置している場合、荷役車両２０が搬送車両１０の左右のいずれに位置しているかを判定できない。これに対し、側面図ＩＭ１から画像認識によって運転席１１を抽出する場合、荷役車両２０が２つの停車位置ＰＳ１同士の間に位置している場合であっても、荷役車両２０が搬送車両１０の左右のいずれに位置しているかを判定できる。

【0052】

（４）車両制御装置５６は、上位制御装置７１からの指令に従って荷役車両２０の制御を行う。指令は、人によって入力された運行データに含まれる。仮に、荷役動作方向を制御装置５２によって決定しない場合、人が運行データを入力する際に、荷役動作方向を指定する必要がある。この際、人が荷役動作方向を誤って入力するおそれがある。これに対し、制御装置５２が荷役動作方向を決定することで、人が荷役動作方向を誤って入力することが防止される。人が荷役動作方向を誤って入力することによる荷役車両２０の誤動作を防止できる。また、運行データの作成工数を減らすことができる。

【0053】

（５）自己位置の推定に用いている外界センサ５１を用いて荷役車両２０が搬送車両１０の左右のいずれに位置しているかを判定することができる。荷役車両２０が搬送車両１０の左右のいずれに位置しているかを判定するための専用のセンサを用いる場合に比べて、部品点数を削減できる。

【0054】

［変更例］
実施形態は、以下のように変更して実施することができる。実施形態及び以下の変更例は、技術的に矛盾しない範囲で互いに組み合わせて実施することができる。

【0055】

○荷役動作方向決定制御は、自己位置と停車位置ＰＳ１との位置関係から荷役動作方向を決定する制御であってもよい。
図９に示すように、ステップＳ１１において、制御装置５２は、自己位置を推定する。自己位置の推定は、実施形態と同様の処理である。

【0056】

次に、ステップＳ１２において、制御装置５２は、自己位置と停車位置ＰＳ１との位置関係から、荷役動作方向を決定する。自己位置と停車位置ＰＳ１との位置関係から荷役動作方向を決定する場合、搬送車両１０の停車向きを定める必要がある。これにより、停車位置ＰＳ１に搬送車両１０が停車している場合に、自己位置が搬送車両１０の左右のいずれに該当するかを判定できる。制御装置５２は、自己位置から荷役車両２０が搬送車両１０の左右のいずれに位置しているかを判定できるといえる。そして、制御装置５２は、荷役車両２０が搬送車両１０の左右のいずれに位置しているかによって荷役動作方向を決定することができる。

【0057】

自己位置と停車位置ＰＳ１との位置関係から荷役動作方向を決定する場合、停車位置ＰＳ１の面積は狭くすることが好ましい。停車位置ＰＳ１の面積が広い場合、荷役車両２０の位置が同一の場合であっても、搬送車両１０の位置によって荷役車両２０が搬送車両１０の左右のいずれに位置するかが異なる場合がある。例えば、図１０に示すように、停車位置ＰＳ１のうち第１位置Ａ２に搬送車両１０が停車しており、当該搬送車両１０の右に荷役車両２０が位置しているとする。荷役車両２０の位置が同一の場合であって、停車位置ＰＳ１のうち第２位置Ａ３に搬送車両１０が停車したとする。第１位置Ａ２と第２位置Ａ３とは、荷役車両２０を挟んだ位置とする。この場合、第２位置Ａ３に停車している搬送車両１０の左に荷役車両２０が位置する。搬送車両１０の位置によって荷役車両２０が搬送車両１０の左右のいずれに位置するかが異ならないように、停車位置ＰＳ１の面積を設定することが好ましい。

【0058】

○画像認識モデルＤ２として、側面図ＩＭ１単位で物体のクラスを判定することができるアルゴリズムを用いてもよい。この場合、クラスとして「右向き」及び「左向き」を設定すればよい。機械学習のアルゴリズムとしては、例えば、CNN（Convolution Neural Network)を挙げることができる。教師データとしては、右向きの搬送車両１０が写る画像データに「右向き」のラベルを付したデータと、左向きの搬送車両１０が写る画像データに「左向き」のラベルを付したデータとを用いればよい。

【0059】

制御装置５２は、画像認識モデルＤ２に側面図ＩＭ１を入力することによって、側面図ＩＭ１に写る搬送車両１０が右向きか左向きかを判定する。荷役車両２０が搬送車両１０の右に位置している場合、側面図ＩＭ１の搬送車両１０は右向きに写る。荷役車両２０が搬送車両１０の左に位置している場合、側面図ＩＭ１の搬送車両１０は左向きに写る。従って、制御装置５２は、画像認識モデルＤ２の出力から、荷役車両２０が搬送車両１０の右に位置しているか、左に位置しているかを判定できる。

【0060】

○制御装置５２は、点群マップＰＭ１を作成しなくてもよい。この場合、制御装置５２は、外界センサ５１から取得した点群データを地図座標に変換して、ステップＳ２以降の処理を行う。即ち、制御装置５２は、複数の点群データを集合させた点群マップＰＭ１を作成せずに、単一の点群データから荷役車両２０が搬送車両１０の左右のいずれに位置しているかを判定してもよい。

【0061】

○荷役装置２４は、例えば、ロボットアームを備えているものであってもよい。この場合の荷役動作方向は、ロボットアームを動作させる方向であってもよい。例えば、ロボットアームによって荷Ｃ１を荷積みする方向を荷役動作方向としてもよい。

【0062】

○搬送車両１０は、搬送を行える車両であればよく、例えば、AGV（Automatic Guided Vehicle）やAMR（Autonomous Mobile Robot）であってもよい。この場合、制御装置５２は、画像認識モデルＤ２を用いて、搬送車両１０が右向きか左向きかを判定することによって、荷役車両２０が搬送車両１０の右に位置しているか、左に位置しているかを判定してもよい。制御装置５２は、自己位置から荷役車両２０が搬送車両１０の右に位置しているか、左に位置しているかを判定してもよい。

【0063】

○荷役動作方向決定制御の一部の処理を車両制御装置５６が行ってもよい。この場合、車両制御装置５６も制御装置といえる。
○荷役動作方向決定制御の一部の処理を上位制御装置７１が行ってもよい。この場合、上位制御装置７１も制御装置といえる。荷役動作方向決定制御の全部の処理を上位制御装置７１が行ってもよい。この場合、上位制御装置７１が制御装置である。このように、荷役動作方向決定制御の少なくとも一部の処理を上位制御装置７１に行わせる場合、荷役車両２０及び上位制御装置７１が荷役システムである。

【符号の説明】

【0064】

Ｐ１…点、１０…搬送車両、１１…運転席、２０…荷役システムである荷役車両、２４…荷役装置、５１…外界センサ、５２…制御装置。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】