IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社豊田中央研究所の特許一覧 ▶ 株式会社豊田自動織機の特許一覧

<>
  • 特許-軌道生成装置 図1
  • 特許-軌道生成装置 図2
  • 特許-軌道生成装置 図3
  • 特許-軌道生成装置 図4
  • 特許-軌道生成装置 図5
  • 特許-軌道生成装置 図6
  • 特許-軌道生成装置 図7
  • 特許-軌道生成装置 図8
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-02-14
(45)【発行日】2023-02-22
(54)【発明の名称】軌道生成装置
(51)【国際特許分類】
   G05D 1/02 20200101AFI20230215BHJP
【FI】
G05D1/02 H
【請求項の数】 8
(21)【出願番号】P 2019094477
(22)【出願日】2019-05-20
(65)【公開番号】P2020190814
(43)【公開日】2020-11-26
【審査請求日】2022-02-21
(73)【特許権者】
【識別番号】000003609
【氏名又は名称】株式会社豊田中央研究所
(73)【特許権者】
【識別番号】000003218
【氏名又は名称】株式会社豊田自動織機
(74)【代理人】
【識別番号】110000110
【氏名又は名称】弁理士法人 快友国際特許事務所
(72)【発明者】
【氏名】藤井 亮暢
(72)【発明者】
【氏名】田中 稔
(72)【発明者】
【氏名】津坂 祐司
(72)【発明者】
【氏名】一瀬 誠
【審査官】牧 初
(56)【参考文献】
【文献】特開2012-53837(JP,A)
【文献】特開2018-5709(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G05D 1/00- 1/12
G08G 1/00-99/00
B62D 41/00-67/00
G65G 63/00-63/06
B64F 1/00- 5/60
(57)【特許請求の範囲】
【請求項1】
移動体の、始点位置から搬送装置までの移動のための軌道を生成する軌道生成装置であって、
前記搬送装置は、第1方向に伸びる搬送経路部と、前記搬送経路部の端部に配置されている荷物出し入れ部と、を備えており、
前記第1方向と直交する方向であって水平方向に伸びる第2方向の正方向または負方向の何れに、前記移動体の前記始点位置が位置しているかを判定する判定部と、
移動体が備える環境センサの計測データに基づいて、前記搬送経路部の側面の位置および姿勢を示す計測データを取得する取得部と、
前記搬送装置の外形形状を示す外形データによって表される外形モデルであって予め用意された前記外形モデルと前記計測データとを用いて、前記移動体を基準とした前記搬送装置の位置および姿勢を推定する推定部と、
前記始点位置から前記荷物出し入れ部の前面まで移動するための目標軌道であって、前記荷物出し入れ部の前面において前記移動体の前面が向いている方向である移動体向きが前記第2方向と一致するような前記目標軌道を生成する軌道生成部と、
を備える、軌道生成装置。
【請求項2】
前記推定部は、前記外形モデルを前記計測データに重畳することで前記搬送装置の位置および姿勢を推定する、請求項1に記載の軌道生成装置。
【請求項3】
前記計測データは、前記移動体向きに対して前記搬送経路部の側面が有する所定角度を示すとともに、前記搬送経路部の基準位置を示すデータであり、
前記推定部は、
前記外形モデルの側面が前記移動体向きに対して有する角度が前記所定角度と一致するように前記外形モデルを回転させるとともに、
前記外形モデルの基準位置が前記計測データの基準位置と一致するように前記外形モデルを移動させることで、前記外形モデルを前記計測データに重畳する、
請求項2に記載の軌道生成装置。
【請求項4】
前記環境センサはレーザセンサであり、
前記計測データは前記レーザセンサで計測された点群データである、請求項1~3の何れか1項に記載の軌道生成装置。
【請求項5】
前記搬送装置は、
前記第2方向の正方向側の第1の側面に配置された第1のマーカと、
前記第2方向の負方向側の第2の側面に配置された第2のマーカと、
を備えており、
前記判定部は、
前記移動体が備えるカメラで撮像された画像内で検出されたマーカが前記第1のマーカである場合に、前記始点位置が前記第2方向の正方向に位置していると判定し、
前記画像内で検出されたマーカが前記第2のマーカである場合に、前記始点位置が前記第2方向の負方向に位置していると判定する、請求項1~4の何れか1項に記載の軌道生成装置。
【請求項6】
前記判定部は、前記移動体が備えるカメラで撮像した前記搬送装置の像が、第1テンプレート画像および第2テンプレート画像の何れにマッチングする度合いが高いかを判断し、
前記第1テンプレート画像は、前記第2方向の正方向側から前記搬送装置を予め撮像した画像であり、
前記第2テンプレート画像は、前記第2方向の負方向側から前記搬送装置を予め撮像した画像であり、
前記判定部は、
前記搬送装置の像が前記第1テンプレート画像にマッチングする度合いが高いと判断した場合に、前記始点位置が前記第2方向の正方向に位置していると判定し、
前記搬送装置の像が前記第2テンプレート画像にマッチングする度合いが高いと判断した場合に、前記始点位置が前記第2方向の負方向に位置していると判定する、
請求項1~4の何れか1項に記載の軌道生成装置。
【請求項7】
前記判定部は、
前記搬送装置から前記移動体に荷物を降ろす作業計画である場合に、前記始点位置が前記第2方向の正方向に位置していると判定し、
前記移動体から前記搬送装置へ荷物を積み込む作業計画である場合に、前記始点位置が前記第2方向の負方向に位置していると判定する、
請求項1~4の何れか1項に記載の軌道生成装置。
【請求項8】
請求項1~7の何れか1項に記載の軌道生成装置を備えた移動体。
【発明の詳細な説明】
【技術分野】
【0001】
本明細書に開示の技術は、軌道生成装置に関する。
【背景技術】
【0002】
荷物を自走により運搬する移動体(例:無人牽引車)が開発されている。荷物の出し入れ位置までの軌跡を生成するために、移動体を基準として、荷物の出し入れ位置を推定する必要がある。例えば特許文献1には、目的地に配置された標識をカメラを用いて認識する技術が開示されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2003-285288号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
カメラの認識精度は、レーザを用いる場合などに比して低い。よって、カメラによる標識認識では、目的地の位置・姿勢を高精度に推定することは困難である。
【課題を解決するための手段】
【0005】
本明細書に開示する軌道生成装置の一実施形態は、移動体の、始点位置から搬送装置までの移動のための軌道を生成する軌道生成装置である。搬送装置は、第1方向に伸びる搬送経路部と、搬送経路部の端部に配置されている荷物出し入れ部と、を備えている。軌道生成装置は、第1方向と直交する方向であって水平方向に伸びる第2方向の正方向または負方向の何れに、移動体の始点位置が位置しているかを判定する判定部を備える。軌道生成装置は、移動体が備える環境センサの計測データに基づいて、搬送経路部の側面の位置および姿勢を示す計測データを取得する取得部を備える。軌道生成装置は、搬送装置の外形形状を示す外形データによって表される外形モデルであって予め用意された外形モデルと計測データとを用いて、移動体を基準とした搬送装置の位置および姿勢を推定する推定部を備える。軌道生成装置は、始点位置から荷物出し入れ部の前面まで移動するための目標軌道であって、荷物出し入れ部の前面において移動体の前面が向いている方向である移動体向きが第2方向と一致するような目標軌道を生成する軌道生成部を備える。
【0006】
搬送装置は、第1方向に伸びる搬送経路部を備えている。また、移動体の始点位置が、第1方向と直交する第2方向の正方向または負方向に位置している。これにより取得部は、移動体が備える環境センサによって、搬送経路部の側面の位置および姿勢を計測することができる。そして取得した計測データと外形モデルとを用いて、搬送装置の位置および姿勢を推定することができる。カメラを用いる場合に比して、搬送装置の位置および姿勢を高精度に推定することが可能となる。
【0007】
推定部は、外形モデルを計測データに重畳することで搬送装置の位置および姿勢を推定してもよい。効果の詳細は実施例で説明する。
【0008】
計測データは、移動体向きに対して搬送経路部の側面が有する所定角度を示すとともに、搬送経路部の基準位置を示すデータであってもよい。推定部は、外形モデルの側面が移動体向きに対して有する角度が所定角度と一致するように外形モデルを回転させるとともに、外形モデルの基準位置が計測データの基準位置と一致するように外形モデルを移動させることで、外形モデルを計測データに重畳してもよい。効果の詳細は実施例で説明する。
【0009】
環境センサはレーザセンサであってもよい。計測データはレーザセンサで計測された点群データであってもよい。
【0010】
搬送装置は、第2方向の正方向側の第1の側面に配置された第1のマーカと、第2方向の負方向側の第2の側面に配置された第2のマーカと、を備えていてもよい。判定部は、移動体が備えるカメラで撮像された画像内で検出されたマーカが第1のマーカである場合に、始点位置が第2方向の正方向に位置していると判定してもよい。判定部は、画像内で検出されたマーカが第2のマーカである場合に、始点位置が第2方向の負方向に位置していると判定してもよい。効果の詳細は実施例で説明する。
【0011】
判定部は、移動体が備えるカメラで撮像した搬送装置の像が、第1テンプレート画像および第2テンプレート画像の何れにマッチングする度合いが高いかを判断してもよい。第1テンプレート画像は、第2方向の正方向側から搬送装置を予め撮像した画像であってもよい。第2テンプレート画像は、第2方向の負方向側から搬送装置を予め撮像した画像であってもよい。判定部は、搬送装置の像が第1テンプレート画像にマッチングする度合いが高いと判断した場合に、始点位置が第2方向の正方向に位置していると判定してもよい。判定部は、搬送装置の像が第2テンプレート画像にマッチングする度合いが高いと判断した場合に、始点位置が第2方向の負方向に位置していると判定してもよい。効果の詳細は実施例で説明する。
【0012】
判定部は、搬送装置から移動体に荷物を降ろす作業計画である場合に、始点位置が第2方向の正方向に位置していると判定してもよい。判定部は、移動体から搬送装置へ荷物を積み込む作業計画である場合に、始点位置が第2方向の負方向に位置していると判定してもよい。効果の詳細は実施例で説明する。
【0013】
上記の軌道生成装置を備えた移動体も、新規で有用である。
【図面の簡単な説明】
【0014】
図1】牽引車の構成を示すブロック図。
図2】軌道生成の具体例を示す図。
図3】軌道生成の具体例を示す図。
図4】外形モデルデータの一例を示す図。
図5】目標軌道の生成方法を示すフローチャート。
図6】搭降載器材の位置および姿勢の計測の様子を示す上面図。
図7】搭降載器材の測定データ例。
図8】外形モデルデータおよび環境センサによる計測データを重ね合わせた例を示す図。
【発明を実施するための形態】
【実施例1】
【0015】
(牽引車10の構成)
図1に、本実施例に係る牽引車10のブロック図を示す。牽引車10は、無人牽引車である。牽引車10は、車体20、演算装置30、環境センサ40、カメラ41を備えている。車体20は、操舵制御部21および駆動制御部22を備えている。操舵制御部21および駆動制御部22は、CPU等を備えたマイクロプロセッサによって構成されている。操舵制御部21は、不図示の操舵装置と通信可能に接続されており、牽引車10の進行方向を制御する。駆動制御部22は、不図示の駆動輪モータと通信可能に接続されており、牽引車10の走行速度を制御する。
【0016】
環境センサ40は、車体20に設置されている。本実施例では、環境センサ40は、2D-LiDARである。2D-LiDARは、水平方向にレーザ光を走査する測域センサである。環境センサ40は、車体20の前方に設定された設定空間内の物体と車体20との距離を計測する。これにより、牽引車10の前方の距離データを取得する。環境センサ40の高さは、搭降載器材15の側面が計測できる高さに設置する。環境センサ40で取得された距離データは、演算装置30の計測データ取得部32および位置姿勢推定部35に入力される。カメラ41は、車体20の前方を撮像する。カメラ41で撮像された画像データは、判定部31に入力される。
【0017】
演算装置30は、CPU等を備えたマイクロプロセッサによって構成されている。演算装置30は、判定部31、計測データ取得部32、外形モデル記憶部33、座標変換部34、位置姿勢推定部35、軌道生成部36、速度パターン生成部37、制御指令生成部38、を備える。判定部31~制御指令生成部38の内容については後述する。
【0018】
(概略説明)
本明細書で説明する技術は、航空機1へコンテナ(貨物)を搭降載するためのガイドレス無人牽引車の軌道生成に関する技術である。具体例を図2および図3に示す。図2は、航空機1の前方から牽引車10が接近する場合(すなわち航空機1に貨物を積み込む場合)を示す図である。
【0019】
牽引車10は、ドリー(被牽引車)11~14を牽引している。ドリー11~14の各々には、コンテナC1~C4が載置されている。航空機1の貨物室ドアの近傍には、搭降載器材(ハイリフトローダー)15が配置してある。搭降載器材15は、コンテナを航空機1に搭降載する器材である。
【0020】
搭降載器材15は、荷物出し入れ部15a、第1側面15b、第2側面15c、搬送経路部15dを備えている。搬送経路部15dは、方向y0に伸びている。搬送経路部15dは、コンテナを滑らせて移動させる経路である。搬送経路部15dの方向y0の正方向の端部には、荷物出し入れ部15aが配置されている。荷物出し入れ部15aは、ドリーとの間でコンテナを受け渡しする部位である。
【0021】
搭降載器材15は、搭降載器材座標系CS0を備えている。搭降載器材座標系CS0は、基準位置P0を基準とした、搭降載器材15の姿勢を表している。基準位置P0は任意の位置でよい。本実施例では、荷物出し入れ部15aの右隅部を基準位置P0としている。搭降載器材15の姿勢は、搬送経路部15dが伸びている方向である方向y0と、方向y0に垂直な方向x0とによって定められる。
【0022】
第1側面15bは、方向x0の正方向側における搭降載器材15の側面である。第1側面15bには、第1マーカM1が配置されている。第2側面15cは、方向x0の負方向側における搭降載器材15の側面である。第2側面15cには、第2マーカM2が配置されている。第1マーカM1および第2マーカM2は、固有IDを検出可能な視覚マーカ(例えばARマーカ)である。第1マーカM1および第2マーカM2は、マグネットシートにより貼付されている。
【0023】
牽引車10は、始点位置P1から停車位置P3まで移動する。始点位置座標系CS1は、始点位置P1における牽引車10の姿勢を表す。牽引車10の姿勢は、進行方向x1と、進行方向x1に垂直な垂直方向y1によって定められる。停車位置P3は、ドリー11が搭降載器材15の荷物出し入れ部15aに横付けされた状態になる位置である。このようにドリーを整列させた状態で停車位置P3に牽引車10を停車させるためには、始点位置P1から停車位置P3へ至る目標軌道TT(図2点線)を設定しなければならない。しかし、航空機1は決まった位置および姿勢で停車するとは限らない。従って、荷物の搭降載のたびに目標軌道TTを設定する必要がある。そのため、搭降載器材15の位置および姿勢を始点位置P1から正確に推定する必要が生じる。
【0024】
また図3は、航空機1の後方から牽引車10が接近する場合(すなわち航空機1から貨物を降ろす場合)を示す図である。なお、図3図2の差異点は、接近方向のみである。よって図3の各部の内容は図2と同様であるため、説明を省略する。
【0025】
(搭降載器材15の外形モデルデータの作成)
事前準備として、搭降載器材15の外形形状を示す外形モデルデータを用意し、外形モデル記憶部33に記憶させておく必要がある。第1のステップとして、搭降載器材15の3次元点群モデルを取得する。具体的には、3次元測量器を用いて搭降載器材15の形状を測量する。
【0026】
第2のステップとして、3次元点群モデルのダウンサンプリングを行う。第1のステップで得た3次元点群は点数が非常に多い(例:約43万点)ためである。ダウンサンプリングの一例を説明する。まず、所定間隔にダウンサンプリングする。本実施例では、4cm間隔でダウンサンプリングすることで、点数を約2万点まで減少させることができた。次に、後述するマッチング処理(ステップS70)に必要な箇所を残し、不要な部分を除去する。本実施例では、運転台と荷台部分(コンテナが滑って移動する面)を除去した。これにより、約1000点まで減少させることができた。
【0027】
第3のステップとして、3次元点群を2次元に圧縮する。具体的には、環境センサ40(2D-LiDAR)でレーザ光を走査する水平面で、3次元点群を輪切り形状に抜き出す。これにより、図4に示す、外形モデルデータMDが得られる。図4では、搭降載器材15を上方から見たときの外形モデルデータMDを示している。外形モデルデータMDは、任意座標系での位置座標値を有する。図4の上側の点群が第1側面15bに対応しており、下側の点群が第2側面15cに対応している。図4の左側が、荷物出し入れ部15aに対応している。外形モデルデータMDはデータサイズが圧縮されているため、後述するマッチング処理(ステップS70)での計算時間を短縮することができる。
【0028】
(目標軌道の生成方法)
図5のフローチャートを用いて、目標軌道TTの生成方法を説明する。図5のフローは、始点位置P1から停車位置P3まで牽引車10を移動させる指示が入力されたときに、開始される。
【0029】
ステップS10において、判定部31は、カメラ41によって搭降載器材15を撮像する。そして撮像した画像内から、第1マーカM1を示す第1のID情報、または、第2マーカM2を示す第2のID情報が検出されたか否かを判断する。検出されなかった場合(S10:NO)にはS10へ戻り、搭降載器材15の撮像からやり直される。検出された場合(S10:YES)には、S20へ進む。
【0030】
ステップS20において、判定部31は、牽引車10の始点位置P1の位置を判定する。ステップS10において第2のID情報が検出された場合には、図2に示すように、始点位置P1が搭降載器材15に対して方向x0の負方向(矢印Y2が示す航空機1の前方側)に位置していると判定する。一方、第1のID情報が検出された場合には、図3に示すように、始点位置P1が搭降載器材15に対して方向x0の正方向(矢印Y1が示す航空機1の後方側)に位置していると判定する。
【0031】
ステップS25において、計測データ取得部32は、搭降載器材15の位置および姿勢を、環境センサ40(2D-LiDAR)を用いて計測する。図6に、計測の様子を示す上面図を示す。図7に、測定データ例を示す。図7は、2D-LiDARの測定結果を上面図として示している。分りやすさのため、図7には、牽引車10を点線で記載している。図7に示すように、環境センサ40の計測データは、点群データである。点群データは、牽引車10を基準とした座標系である、始点位置座標系CS1での位置座標値を有している。
【0032】
ステップS30において、計測データ取得部32は、セグメンテーション処理を実行する。セグメンテーション処理は、ステップS25で取得した測定データにおいて、一定距離内に存在する計測点群を同一物体としてクラスタリングする処理である。図7の測定データ例では、領域R1および領域R2内の点群がクラスタリングされる。領域R1内の点群は、第2側面15cの測定データである。領域R2内の点群は、荷物出し入れ部15aの測定データである。
【0033】
ステップS40において計測データ取得部32は、得られたクラスタの中に、搬送経路部15dの側面の位置および姿勢を示す特定クラスタが存在するか否かを判断する。特定クラスタは、長さが所定サイズ以上であるクラスタである。また特定クラスタは、特定クラスタが伸びる方向と牽引車10の進行方向x1とが成す角度が、所定角度以上であるクラスタである。所定サイズは、搬送経路部15dの長さLE(図6参照)に基づいて定めればよい。例えば所定サイズは、長さLEの70%の長さとしてもよい。また所定角度は、例えば30度以上としてもよい。特定クラスタが存在しない場合(S40:NO)にはS10へ戻り、各処理がやり直される。一方、特定クラスタが存在する場合(S40:YES)には、S50へ進む。図7の測定データ例では、領域R1内のクラスタが、特定クラスタとして決定される。
【0034】
ステップS50において、計測データ取得部32は、特定クラスタの傾き角度および基準位置を求める。まず、特定クラスタに含まれる点群にフィッティングする直線SLを求める。直線SLを求める方法の一例としては、RANSAC(Random Sample Consensus)法が挙げられる。直線SLは、搭降載器材15の側面の直線形状を表している。直線SLが進行方向x1に対して有する傾き角度A1(図7参照)が、クラスタの傾き角度である。次に、特定クラスタの基準位置PEを決定する。基準位置PEは、領域R1内のクラスタの牽引車10側(図7の左側)の端点とされる。
【0035】
ステップS60において、座標変換部34は、外形モデル記憶部33に記憶されている外形モデルデータMD(図4)を、環境センサ40による計測データ(図7)と重ね合わせるように、座標変換する。すなわちステップS60では、ステップS70でマッチング処理を行う前処理として、両データを大まかに重ね合わせる処理が行われる。外形モデルデータMDで表される搭降載器材15の寸法と、環境センサ40による計測データで表される搭降載器材15の寸法とは、どちらも実測値であるため、等しい。よって、外形モデルデータMDの回転および平行移動により、両データの重ね合わせが可能である。
【0036】
まず、外形モデルデータMDの基準位置PDを決定する。基準位置PDは、特定クラスタの基準位置PE(図7)と対応する位置である。基準位置PDは、外形モデルデータMDにおける第2側面15cの、牽引車10側(図4の左側)の端点とされる。次に、外形モデルデータMDの第2側面15cが進行方向x1に対して有する傾きが、直線SLの傾き角度A1(図7)と同じになるように、外形モデルデータMDを回転させる。最後に、外形モデルデータMDの基準位置PDが、特定クラスタの基準位置PE(図7)に一致するように、外形モデルデータMDを平行移動させる。これにより、図8に示すように、外形モデルデータMDを、環境センサ40による計測データに重ねることができる。
【0037】
ステップS70において、位置姿勢推定部35は、外形モデルデータMDと環境センサ40による計測点群とのマッチング処理を行う。マッチング処理には、例えば、ICP(Iterative Closest Points)を用いることができるが、これ以外の手法を用いてもよい。マッチング処理により、図8に示す外形モデルデータMDの位置および姿勢が微調整される。これにより、環境センサ40による計測データと外形モデルデータMDとを、完全に一致するように重ね合わせることができる。換言すると、外形モデルデータMDの座標系を、任意座標系から始点位置座標系CS1に変換することができる。マッチング処理の終了後における、始点位置座標系CS1上の外形モデルデータMDの位置および姿勢が、搭降載器材15の位置および姿勢の推定結果となる。
【0038】
ステップS80において、軌道生成部36は、目標軌道TTを生成する。図2および図3に示すように、目標軌道TTは、始点位置P1を始点位置座標系CS1で示す姿勢で出発し、停車位置P3へ停車位置座標系CS3で示す停車姿勢で停止可能な軌道である。停車姿勢は、図2および図3に示すように、停車位置P3における牽引車10の進行方向x3が、荷物出し入れ部15aに平行な方向x0と一致するような姿勢である。
【0039】
ステップS90において、速度パターン生成部37は、目標軌道TTに基づいて速度パターンの設計を行う。ステップS100において、制御指令生成部38は、目標軌道TTと速度パターンに基づいて、停車位置P3まで牽引車10を移動するための制御指令値を算出する。生成された制御指令値は、操舵制御部21および駆動制御部22に入力され、牽引車10を停車位置P3に向かって移動させる。
【0040】
なお、牽引車10の走行中に図5のフローを実行することも可能である。例えば、停車位置P3へ向かって一定距離走行する度に、新たな始点位置P1を設定するとともに図5のフローを実行すればよい。これにより、牽引車10の走行中に、搭降載器材15の位置および姿勢の推定値を更新することができる。
【0041】
なお本実施例では、図2に示すように、始点位置P1が航空機1の前方に位置している場合における、目標軌道TTの生成フロー(図5)を説明した。しかし図3に示すように、始点位置P1が航空機1の後方に位置している場合においても、同様にして目標軌道TTの生成フローを実行することが可能である。
【0042】
(効果)
航空機1へコンテナを搭降載する牽引車10は、十数m先などの遠方に位置する搭降載器材15まで自走する必要がある。そのため、搭降載器材15の位置および姿勢を高精度に推定する必要がある。例えば、搭降載器材15に配置されたARマーカをカメラを用いて認識する方法では、搭降載器材15が遠方に位置するほど撮像されるマーカの像が小さくなるため、搭降載器材15の位置および姿勢を高精度に推定することが困難とある。本明細書に記載の技術では、レーザセンサ(2D-LiDAR)による計測データと、外形モデルデータMDとをマッチングすることができる(ステップS70)。レーザセンサを用いることにより、カメラを用いる場合に比して、搭降載器材15までの距離を正確に測定することができる。また外形モデルデータMDは、3次元測量をもとにして生成したデータであり、非常に精度が高いデータである。よって外形モデルデータMDを用いることにより、搭降載器材15の位置および姿勢を、カメラを用いる場合に比して高精度に推定することができる。
【0043】
搭降載器材15は、方向y0に伸びる搬送経路部15dを備えている。また、牽引車10の始点位置P1が、航空機1の前方または後方側に位置する、という特徴がある(図2および図3参照)。これにより、牽引車10が備える環境センサ40によって、搬送経路部15dの第1側面15bまたは第2側面15cの何れかを計測することができる。第1側面15bまたは第2側面15cの計測データは、図7の例に示すように、略直線の単純な形状である。よって単純な形状を用いてマッチング処理(ステップS70)を実行することができるため、マッチングの計算負担を低減することができる。牽引車10の走行中に、マッチング処理を行うことが可能となる。
【0044】
外形モデルデータMD(図4)と環境センサ40による計測データ(図7)との位置や姿勢が大きく異なる状態で、両データにマッチング処理(ステップS70)を実行すると、部分的に重なるだけなどの誤マッチングが発生する場合がある。本明細書に記載の技術では、外形モデルデータMDと環境センサ40による計測データとを大まかに重ね合わせる処理(ステップS60)を実行してから、両データにマッチング処理(ステップS70)を実行する。両データの位置や姿勢が近い状態でマッチング処理を実行できるため、誤マッチングを抑制することができる。
【0045】
航空機1に牽引車10が接近する場合には、前方から接近するパターン(図2)と、後方から接近するパターン(図3)とが存在する。本明細書に記載の技術では、前方から接近する場合に見える第2側面15cに第2マーカM2を配置し、後方から接近する場合に見える第1側面15bに第1マーカM1を配置することで、何れの方向から近接しているかを判定することができる(ステップS20)。搭降載器材15の位置および姿勢を正確に推定することが可能となる。
【実施例2】
【0046】
実施例2では、判定部31が、第1マーカM1および第2マーカM2を用いずに始点位置P1の位置を判定する場合を説明する。実施例1の内容と異なる部位についてのみ説明する。
【0047】
判定部31は、第1テンプレート画像および第2テンプレート画像を予め記憶している。第1テンプレート画像は、方向x0の正方向側(図3の矢印Y1が示す、航空機1の後方側)から搭降載器材15を予め撮像した画像である。第1テンプレート画像では、航空機1が左側、搭降載器材15が右側に写っている。また第1側面15bが写っている。第2テンプレート画像は、方向x0の負方向側(図2の矢印Y2が示す、航空機1の前方側)から搬送装置を予め撮像した画像である。第2テンプレート画像では、航空機1が右側、搭降載器材15が左側に写っている。また第2側面15cが写っている。
【0048】
ステップS10において、判定部31は、カメラ41によって搭降載器材15を撮像する。ステップS20において、判定部31は、撮像した搭降載器材15の像が、第1テンプレート画像および第2テンプレート画像の何れにマッチングする度合いが高いかを判断する。例えば画像認識技術を用いて、撮像した搭降載器材15の像に、第1側面15bと第2側面15cの何れが含まれているかを判断してもよい。また例えば、搭降載器材15と航空機1との左右の位置関係を判断してもよい。第1テンプレート画像にマッチングする度合いが高いと判断された場合には、始点位置P1が方向x0の正方向(図3の矢印Y1の方向)に位置していると判定される。 一方、第2テンプレート画像にマッチングする度合いが高いと判断された場合には、始点位置P1が方向x0の負方向(図2の矢印Y2の方向)に位置していると判定される。ステップS30以降の処理は、実施例1と同様である。
【0049】
なお、ステップS20における画像マッチング判定は、機械学習モデル(例:ニューラルネットワーク)を用いてもよい。この場合、搭降載器材15を様々な状況で撮影した教師画像データを多数用意しておけばよい。そして、正確な画像マッチング判定が行えるように、機械学習モデルを予め学習させておけばよい。
【0050】
(効果)
第1マーカM1や第2マーカM2を搭降載器材15に配置しておく必要がない。より簡易な構成で、搭降載器材15の位置および姿勢を正確に推定することが可能となる。
【実施例3】
【0051】
実施例3では、判定部31が、作業計画に関する情報に基づいて始点位置P1の位置を判定する場合を説明する。実施例1の内容と異なる部位についてのみ説明する。
【0052】
ステップS20において判定部31は、作業計画が、搭降載器材15から牽引車10に荷物を積み込む作業計画であるか、牽引車10から搭降載器材15へ荷物を降ろす作業計画であるかを判断する。この判断は、例えば、判定部31に入力される作業計画情報に基づいて行われてもよい。また例えば、牽引車10が牽引するドリーの総重量が重い場合には荷物を積み込む作業計画であり、軽い場合には荷物を降ろす作業計画であると判断してもよい。
【0053】
荷物を降ろす作業計画である場合には、始点位置P1が方向x0の正方向(図3の矢印Y1の方向)に位置していると判定される。荷物を降ろす場合には、航空機1の後方から牽引車10を接近させるためである。一方、荷物を積み込む作業計画である場合には、始点位置P1が方向x0の負方向(図2の矢印Y2の方向)に位置していると判定される。荷物を積み込む場合には、航空機1の前方から牽引車10を接近させるためである。ステップS30以降の処理は、実施例1と同様である。
【0054】
(効果)
カメラ41によって搭降載器材15を撮像することなく、判定部31で始点位置P1の位置を判定することができる。ステップS10の処理を省略することが可能となる。より簡易な構成で、搭降載器材15の位置および姿勢を正確に推定することが可能となる。
【0055】
以上、本明細書が開示する技術の実施例について詳細に説明したが、これらは例示に過ぎず、特許請求の範囲を限定するものではない。特許請求の範囲に記載の技術には、以上に例示した具体例を様々に変形、変更したものが含まれる。
【0056】
(変形例)
判定部31が始点位置P1の位置を判定する方法は、様々であってよい。例えば、牽引車10がターミナルの貨物積み降ろし場をスタートして、図2の始点位置P1または図3の始点位置P1まで移動する場合には、途中で経路が分岐する。その分岐方向が、航空機1の前方側であるか後方側であるかによって、始点位置P1を判定してもよい。また牽引車10は、地図上における自己位置を認識することで、始点位置P1を判定してもよい。
【0057】
ステップS60において、外形モデルデータMDを回転させる処理と平行移動させる処理との順番は問わない。
【0058】
外形モデルデータMDの生成方法は、3次元測量器を用いた方法に限られない。十分な精度が得られる方法であれば、何れの方法を用いてもよい。例えば、「Structure from Motion法」と呼ばれる、視点の違う複数枚の画像から被写体の3次元形状およびカメラの相対位置を復元する技術を用いてもよい。
【0059】
特定クラスタの基準位置PE(図7)や、外形モデルデータMDの基準位置PD(図4)は、端部に限られない。位置が明確であれば何れの位置であってもよい。
【0060】
第1マーカM1および第2マーカM2を搭降載器材15に配置する方法は、マグネットを用いる形態に限られず、様々な態様であってよい。搭降載器材15にマーカを直接印字してもよい。またマーカの配置数および配置位置は、牽引車10から確実に視認できる態様であれば、何れの数および位置であってもよい。
【0061】
本実施例では、環境センサ40として2D-LiDARを用いたが、各種のセンサを用いてもよい。例えば、3D-LiDARやTOF(Time of Flight)カメラであってもよい。
【0062】
外形モデルデータMDは、2次元に圧縮したデータに限られず、3次元データを用いることも可能である。
【0063】
本実施例では、牽引車10が空港での貨物運搬システムで用いられる場合を説明したが、この形態に限られない。本明細書に記載の技術は、荷物を牽引し所定の場所へ貨物を搭降載するシステムであれば、何れのシステムにも適用できる。
【0064】
本明細書または図面に説明した技術要素は、単独であるいは各種の組合せによって技術的有用性を発揮するものであり、出願時請求項記載の組合せに限定されるものではない。また、本明細書または図面に例示した技術は複数目的を同時に達成するものであり、そのうちの一つの目的を達成すること自体で技術的有用性を持つものである。
【0065】
牽引車10は、移動体の一例である。搭降載器材15は、搬送装置の一例である。演算装置30は、軌道生成装置の一例である。方向y0は、第1方向の一例である。方向x0は、第2方向の一例である。座標変換部34および位置姿勢推定部35は、推定部の一例である。進行方向x1は、移動体向きの一例である。傾き角度A1は、所定角度の一例である。基準位置PEは、搬送経路部の基準位置の一例である。基準位置PDは、外形モデルの基準位置の一例である。
【符号の説明】
【0066】
10:牽引車 15:搭降載器材 15a:荷物出し入れ部 15b:第1側面 15c:第2側面 15d:搬送経路部 31:判定部 32:計測データ取得部 33:外形モデル記憶部 34:座標変換部 35:位置姿勢推定部 36:軌道生成部 37:速度パターン生成部 38:制御指令生成部 40:環境センサ 41:カメラ M1:第1マーカ M2:第2マーカ P1:始点位置 P3:停車位置
図1
図2
図3
図4
図5
図6
図7
図8