IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社豊田自動織機の特許一覧

<>
  • 特許-位置姿勢推定装置 図1
  • 特許-位置姿勢推定装置 図2
  • 特許-位置姿勢推定装置 図3
  • 特許-位置姿勢推定装置 図4
  • 特許-位置姿勢推定装置 図5
  • 特許-位置姿勢推定装置 図6
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-05-01
(45)【発行日】2023-05-12
(54)【発明の名称】位置姿勢推定装置
(51)【国際特許分類】
   B66F 9/24 20060101AFI20230502BHJP
   G01B 11/00 20060101ALI20230502BHJP
   G01B 11/26 20060101ALI20230502BHJP
【FI】
B66F9/24 L
G01B11/00 Z
G01B11/26 Z
【請求項の数】 4
(21)【出願番号】P 2019167673
(22)【出願日】2019-09-13
(65)【公開番号】P2021042070
(43)【公開日】2021-03-18
【審査請求日】2021-12-14
(73)【特許権者】
【識別番号】000003218
【氏名又は名称】株式会社豊田自動織機
(74)【代理人】
【識別番号】100088155
【弁理士】
【氏名又は名称】長谷川 芳樹
(74)【代理人】
【識別番号】100113435
【弁理士】
【氏名又は名称】黒木 義樹
(74)【代理人】
【識別番号】100124062
【弁理士】
【氏名又は名称】三上 敬史
(74)【代理人】
【識別番号】100148013
【弁理士】
【氏名又は名称】中山 浩光
(72)【発明者】
【氏名】服部 晋悟
【審査官】吉川 直也
(56)【参考文献】
【文献】特開2017-151650(JP,A)
【文献】特開平02-110100(JP,A)
【文献】特開2016-210586(JP,A)
【文献】特開2018-158779(JP,A)
【文献】米国特許出願公開第2016/0090283(US,A1)
【文献】特開2019-028861(JP,A)
【文献】国際公開第2019/163378(WO,A1)
【文献】特開2019-142714(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
B66F 9/00- 9/24
G01B 11/00;11/26
(57)【特許請求の範囲】
【請求項1】
1対のフォークを有するフォークリフトに対する荷役対象のパレットの位置及び姿勢を推定する位置姿勢推定装置であって、
前記パレットに向けてレーザを照射し、レーザの反射光を受光することにより、前記パレットまでの距離を計測するレーザセンサと、
前記パレットを撮像する撮像部と、
前記撮像部の撮像画像データに基づいて、深層学習を利用した画像処理技術によって前記パレットを認識するパレット認識部と、
前記レーザセンサの計測点データのうち前記パレット認識部により認識されたパレットに対応する計測点データを抽出するデータ抽出部と、
前記データ抽出部により抽出された前記パレットに対応する計測点データに基づいて、前記パレットの前面の平面方程式を算出する平面方程式算出部と、
前記平面方程式算出部により算出された前記パレットの前面の平面方程式を用いて、前記パレットの位置及び姿勢を推定する推定演算部とを備え、
前記撮像部の撮像画像データは、前記レーザセンサの計測点データに比べて解像度が高く、
前記推定演算部は、前記パレットの姿勢として前記パレットのヨー角、ピッチ角及びロール角を計算する位置姿勢推定装置。
【請求項2】
前記パレットの前面の平面方程式に基づいて、前記パレットに設けられ前記1対のフォークが差し込まれる2つのフォーク穴を検知するフォーク穴検知部を更に備え、
前記推定演算部は、前記パレットの前面の平面方程式に基づいて、前記パレットのヨー角及びピッチ角を計算すると共に、前記フォーク穴検知部により検知された前記2つのフォーク穴の位置関係に基づいて、前記パレットのロール角を計算する請求項1記載の位置姿勢推定装置。
【請求項3】
前記推定演算部により位置及び姿勢が推定されたパレットの前面の寸法が予め定められた規定値と合致しているかどうかを判定する判定部を更に備える請求項1または2記載の位置姿勢推定装置。
【請求項4】
前記データ抽出部により抽出された前記パレットに対応する計測点データに対してフィルタリング処理を施すフィルタ部を更に備え、
前記平面方程式算出部は、前記フィルタ部により前記フィルタリング処理が施された前記パレットに対応する計測点データに基づいて、前記パレットの前面の平面方程式を算出する請求項1~の何れか一項記載の位置姿勢推定装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、位置姿勢推定装置に関する。
【背景技術】
【0002】
従来の位置姿勢推定装置としては、例えば特許文献1に記載されている技術が知られている。特許文献1に記載の位置姿勢推定装置は、物体との距離を測定する測距センサと、この測距センサの検出値に基づいて物体を認識する物体認識部と、測距センサの検出値に基づいて物体に存在する複数のポケットを検出し、フォークポケットのルールを用いて、2つのポケットをフォークポケットと判定するフォークポケット判定部と、パレットのルールを用いて、フォークポケットと判定された複数のポケットを備えた物体をパレットと判定するパレット判定部と、フォークポケット及びパレットの座標を算出する位置算出部とを備えている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2018-20881号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
上記従来技術においては、フォークポケット及びパレットのルールに基づいて、フォークポケット及びパレットの位置を推定することはできるが、パレットの姿勢を高精度に推定することができない。
【0005】
本発明の目的は、フォークリフトに対する荷役対象のパレットの位置及び姿勢を高精度に推定することができる位置姿勢推定装置を提供することである。
【課題を解決するための手段】
【0006】
本発明の一態様は、1対のフォークを有するフォークリフトに対する荷役対象のパレットの位置及び姿勢を推定する位置姿勢推定装置であって、パレットまでの距離を検出する距離検出部と、距離検出部の検出データに基づいて、パレットの前面の平面方程式を算出する平面方程式算出部と、平面方程式算出部により算出されたパレットの前面の平面方程式を用いて、パレットの位置及び姿勢を推定する推定演算部とを備え、推定演算部は、パレットの姿勢としてパレットのヨー角、ピッチ角及びロール角を計算する。
【0007】
このような位置姿勢推定装置においては、距離検出部によりパレットまでの距離が検出され、距離検出部の検出データに基づいてパレットの前面の平面方程式が算出される。そして、パレットの前面の平面方程式を用いてパレットの位置及び姿勢が推定される。このとき、パレットの姿勢として、パレットのヨー角、ピッチ角及びロール角が計算される。これにより、パレットの姿勢の推定精度が高くなる。このように荷役対象のパレットの位置だけでなく、荷役対象のパレットの姿勢も高精度に推定することができる。
【0008】
位置姿勢推定装置は、パレットの前面の平面方程式に基づいて、パレットに設けられ1対のフォークが差し込まれる2つのフォーク穴を検知するフォーク穴検知部を更に備え、推定演算部は、パレットの前面の平面方程式に基づいて、パレットのヨー角及びピッチ角を計算すると共に、フォーク穴検知部により検知された2つのフォーク穴の位置関係に基づいて、パレットのロール角を計算してもよい。
【0009】
このような構成では、パレットの前面の平面方程式に基づいて、パレットのヨー角及びピッチ角を計算することにより、パレットのヨー角及びピッチ角が簡単に且つ確実に求めることができる。また、2つのフォーク穴の位置関係に基づいて、パレットのロール角を計算することにより、パレットのロール角を簡単に且つ確実に求めることができる。
【0010】
位置姿勢推定装置は、パレットを撮像する撮像部と、撮像部の撮像画像データに基づいて、パレットを認識するパレット認識部と、距離検出部の検出データのうちパレット認識部により認識されたパレットに対応する検出データを抽出するデータ抽出部とを更に備え、平面方程式算出部は、データ抽出部により抽出された検出データに基づいて、パレットの前面の平面方程式を算出してもよい。
【0011】
このような構成では、撮像部の撮像画像データに基づいてパレットが認識され、距離検出部の検出データのうち認識されたパレットに対応する検出データが抽出される。撮像部の撮像画像データは、距離検出部の検出データに比べて解像度が高い。このため、パレットの認識精度が高くなる。従って、荷役対象のパレットの位置及び姿勢を更に高精度に推定することができる。また、パレットの位置及び姿勢の推定に要する時間を短縮することができる。
【0012】
位置姿勢推定装置は、推定演算部により位置及び姿勢が推定されたパレットの前面の寸法が予め定められた規定値と合致しているかどうかを判定する判定部を更に備えてもよい。
【0013】
このような構成では、位置及び姿勢が推定されたパレットの前面の寸法が規定値と合致しているかどうかを判定することにより、位置及び姿勢が推定されたパレットが荷役対象のパレットとして妥当であるかどうかが分かる。
【0014】
位置姿勢推定装置は、距離検出部の検出データに対してフィルタリング処理を施すフィルタ部を更に備え、平面方程式算出部は、フィルタ部によりフィルタリング処理が施された検出データに基づいて、パレットの前面の平面方程式を算出してもよい。
【0015】
このような構成では、距離検出部の検出データに対してフィルタリング処理を施すことにより、ノイズとなる検出データが除去された状態におけるパレットの前面の平面方程式が得られる。従って、荷役対象のパレットの位置及び姿勢を更に高精度に推定することができる。
【発明の効果】
【0016】
本発明によれば、フォークリフトに対する荷役対象のパレットの位置及び姿勢を高精度に推定することができる。
【図面の簡単な説明】
【0017】
図1】本発明の一実施形態に係る位置姿勢推定装置が搭載されたフォークリフトを荷役対象のパレットと共に示す概略平面図である。
図2】本発明の一実施形態に係る位置姿勢推定装置を備えた自動運転システムを示す概略構成図である。
図3図2に示されたコントローラにより実行される推定・制御処理手順の詳細を示すフローチャートである。
図4】レーザ計測点データの一例を概略的に示す図である。
図5】カメラの撮像画像データの一例を示す図である。
図6図2に示されたフィルタ部によりフィルタリング処理が施される前後のレーザ計測点データの一例を概略的に示す図である。
【発明を実施するための形態】
【0018】
以下、本発明の実施形態について図面を参照して詳細に説明する。
【0019】
図1は、本発明の一実施形態に係る位置姿勢推定装置が搭載されたフォークリフトを荷役対象のパレットと共に示す概略平面図である。図1において、フォークリフト1は、車体2と、この車体2の前側に配置され、荷役を行う荷役装置3とを備えている。荷役装置3は、車体2の前端部に取り付けられたマスト4と、このマスト4に昇降可能に取り付けられ、パレット5を持ち上げる1対のフォーク6とを有している。
【0020】
パレット5は、荷物を載せるための荷役台である。パレット5は、例えば平パレットである。パレット5は、平面視で四角形状を呈している。パレット5は、前面5aと、この前面5aと対向する後面5bと、前面5a及び後面5bと直交する2つの側面5cとを有している。前面5aは、フォーク6によりパレット5を持ち上げる際に、フォークリフト1と向き合う面である。パレット5には、1対のフォーク6が差し込まれる2つのフォーク穴7が設けられている。フォーク穴7は、パレット5の前面5aから後面5bまで延びている。フォーク穴7の形状は、正面視で矩形状である(図5参照)。
【0021】
図2は、本発明の一実施形態に係る位置姿勢推定装置を備えた自動運転システムを示す概略構成図である。図2において、自動運転システム10は、フォークリフト1の自動運転を実施するシステムである。自動運転システム10は、フォークリフト1に搭載されている。自動運転システム10は、レーザセンサ11と、カメラ12と、コントローラ13と、駆動部14と、通知部15とを備えている。
【0022】
レーザセンサ11は、荷役対象のパレット5までの距離を検出する距離検出部である。レーザセンサ11は、パレット5に向けてレーザを照射し、レーザの反射光を受光することにより、パレット5までの距離を計測する。レーザセンサ11は、3D(3次元)のレーザを照射する。カメラ12は、荷役対象のパレット5を撮像する撮像部である。
【0023】
駆動部14は、特に図示はしないが、例えば駆動輪を回転させる走行モータと、操舵輪を転舵させる操舵モータとを有している。通知部15は、例えば表示器または警報器等である。
【0024】
コントローラ13は、CPU、RAM、ROM及び入出力インターフェース等により構成されている。コントローラ13は、パレット認識部16と、データ抽出部17と、フィルタ部18と、平面方程式算出部19と、フォーク穴検知部20と、推定演算部21と、最終判定部22(判定部)と、制御部23とを有している。
【0025】
ここで、レーザセンサ11、カメラ12、パレット認識部16、データ抽出部17、フィルタ部18、平面方程式算出部19、フォーク穴検知部20、推定演算部21及び最終判定部22は、本実施形態の位置姿勢推定装置24を構成している。位置姿勢推定装置24は、フォークリフト1に対する荷役対象のパレット5の位置及び姿勢を推定する装置である。荷役対象のパレット5は、荷役装置3により荷役を開始しようとするパレットであり、フォークリフト1の前方に位置している。
【0026】
パレット認識部16は、カメラ12の撮像画像データに基づいて、パレット5を認識する。データ抽出部17は、レーザセンサ11の計測点データ(検出データ)のうちパレット認識部16により認識されたパレット5に対応する計測点データを抽出する。フィルタ部18は、データ抽出部17により抽出されたレーザセンサ11の計測点データに対してフィルタリング処理を施す。
【0027】
平面方程式算出部19は、フィルタ部18によりフィルタリング処理が施されたレーザセンサ11の計測点データに基づいて、パレット5の前面5aの平面方程式を算出する。フォーク穴検知部20は、平面方程式算出部19により算出されたパレット5の前面5aの平面方程式に基づいて、2つのフォーク穴7を検知する。
【0028】
推定演算部21は、パレット5の前面5aの平面方程式を用いて、パレット5の位置及び姿勢を推定する。このとき、推定演算部21は、パレット5の姿勢として、パレット5のヨー角、ピッチ角及びロール角を計算する。推定演算部21は、パレット5の前面5aの平面方程式に基づいて、パレット5のヨー角及びピッチ角を計算すると共に、フォーク穴検知部20により検知された2つのフォーク穴7の位置関係に基づいて、パレット5のロール角を計算する。
【0029】
最終判定部22は、推定演算部21により位置及び姿勢が推定されたパレット5の前面5aの寸法が予め定められた規定値と合致しているかどうかを最終的に判定する。
【0030】
制御部23は、推定演算部21により推定されたパレット5の位置及び姿勢に基づいて、フォークリフト1を荷役対象のパレット5の手前の近傍位置まで移動させるように駆動部14を制御する。
【0031】
図3は、コントローラ13により実行される推定・制御処理手順の詳細を示すフローチャートである。なお、本処理は、例えばフォークリフト1の自動運転の開始が指示されると、実行される。
【0032】
図3において、コントローラ13は、レーザセンサ11の計測点データ(以下、レーザ計測点データという)を取得する(手順S101)。図4は、レーザ計測点データの一例が概略的に示された図である。図4では、載置台26上にパレット5が3段で積み重ねられていると共にパレット5以外の複数の物体27が配置された状態についてのレーザ計測点データDL1が示されている。なお、レーザ計測点データL1上におけるパレット5については、便宜上実際のパレット5と同じ符号を付している。
【0033】
続いて、コントローラ13は、カメラ12の撮像画像データを取得する(手順S102)。図5は、カメラ12の撮像画像データの一例が示された図である。図5に示される撮像画像データDcでは、載置台26上に3段で積み重ねられた状態のパレット5が写っている。
【0034】
そして、コントローラ13は、カメラ12の撮像画像データに基づいて、ディープラーニング(深層学習)を利用した画像処理技術によってパレット5を認識する(手順S103)。
【0035】
ディープラーニングは、人工知能の要素技術の一つである。ディープラーニングとは、十分なデータ量があれば、人間の力なしに機械が自動的にデータから特徴を抽出してくれるディープニュートラルネットワークを用いた学習のことである。ディープラーニングは、入力層と出力層との間の中間層を多層にすることで情報伝達及び処理を増やし、特徴量の精度や汎用性を上げたり、予測精度を向上させることが可能となる。
【0036】
具体的には、コントローラ13は、図5に示されるように、撮像画像データDcにおいてパレット5を取り囲むような枠線Wを指定する。枠線Wは、ディープラーニングを利用した物体検知において、bounding boxと称される矩形の枠である。そして、コントローラ13は、枠線Wが指定された撮像画像データDcを学習データと比較することにより、パレット5を認識する。
【0037】
続いて、コントローラ13は、手順S101で取得されたレーザ計測点データのうち手順S103で認識されたパレット5に対応するレーザ計測点データを抽出する(手順S104)。これにより、図6(a)に示されるように、レーザ計測点データDL1のうち認識されたパレット5に対応するレーザ計測点を含むレーザ計測点データDL2が得られる。
【0038】
続いて、コントローラ13は、手順S104で抽出されたレーザ計測点データに対してフィルタリング処理を施す(手順S105)。このとき、点密度が所定量よりも低いレーザ計測点が除去される。これにより、図6(b)に示されるように、パレット5以外のノイズに相当するレーザ計測点が除去されたレーザ計測点データDL3が得られる。
【0039】
続いて、コントローラ13は、手順S105で得られたレーザ計測点データに基づいて、パレット5の前面5aの平面方程式を算出する(手順S106)。コントローラ13は、例えばRANSAC(Random SampleConsensus)等のロバスト推定法を用いて、レーザ計測点データにおける平面に相当するレーザ計測点以外のレーザ計測点を外れ値として除去することにより、パレット5の前面5aの平面方程式を求める。ロバスト推定は、計測値(ここではレーザ計測点)に含まれる外れ値の影響を抑えることを目的とした手法である。なお、ロバスト推定法の代わりに最小二乗法等を用いて、パレット5の前面5aの平面方程式を算出してもよい。
【0040】
続いて、コントローラ13は、手順S106で算出されたパレット5の前面5aの平面方程式に基づいて、2つのフォーク穴7を検知する(手順S107)。このとき、レーザ計測点データにおいて、レーザ計測点の点密度が高い領域がパレット5の前面5aとして検知され、レーザ計測点の点密度が低い2つの領域がフォーク穴7として検知される。
【0041】
続いて、コントローラ13は、パレット5の前面5aの平面方程式に基づいて、パレット5の位置とパレット5のヨー角及びピッチ角とを計算する(手順S108)。パレット5のヨー角は、パレット5の上下方向(高さ方向)を軸とした回転角度である。パレット5のピッチ角は、パレット5の左右方向(幅方向)を軸とした回転角度である。
【0042】
続いて、コントローラ13は、手順S107で検知された2つのフォーク穴7の位置関係に基づいて、パレット5のロール角を計算する(手順S109)。パレット5のロール角は、パレット5の前後方向(奥行方向)を軸とした回転角度である。具体的には、コントローラ13は、2つのフォーク穴7の中心位置を算出し、2つのフォーク穴7の中心位置の関係からパレット5のロール角を計算する。なお、パレット5の位置の推定演算も、2つのフォーク穴7の位置関係に基づいて行ってもよい。
【0043】
続いて、コントローラ13は、手順S108,S109で位置及び姿勢が推定されたパレット5の前面5aの各部の寸法が予め定められた規定値と合致しているかどうかを判定する(手順S110)。パレット5の前面5aの各部の寸法としては、パレット5の幅及び高さ、2つのフォーク穴7の寸法及び2つのフォーク穴7の中心間距離等がある。
【0044】
コントローラ13は、パレット5の前面5aの各部の寸法が規定値と合致していると判定されたときは、パレット5の位置及び姿勢に基づいて、フォークリフト1を荷役対象のパレット5の手前の近傍位置まで移動させるように駆動部14を制御する(手順S111)。コントローラ13は、パレット5の前面5aの各部の寸法が規定値と合致していないと判定されたときは、NGである旨を通知部15に通知する(手順S112)。
【0045】
ここで、パレット認識部16は、手順S102,S103を実行する。データ抽出部17は、手順S101,S104を実行する。フィルタ部18は、手順S105を実行する。平面方程式算出部19は、手順S106を実行する。フォーク穴検知部20は、手順S107を実行する。推定演算部21は、手順S108,S109を実行する。最終判定部22は、手順S110を実行する。制御部23は、手順S111,S112を実行する。
【0046】
以上のように本実施形態にあっては、レーザセンサ11によりパレット5までの距離が検出され、レーザセンサ11の計測点データに基づいてパレット5の前面5aの平面方程式が算出される。そして、パレット5の前面5aの平面方程式を用いてパレット5の位置及び姿勢が推定される。このとき、パレット5の姿勢として、パレット5のヨー角、ピッチ角及びロール角が計算される。これにより、パレット5の姿勢の推定精度が高くなる。このように荷役対象のパレット5の位置だけでなく、荷役対象のパレット5の姿勢も高精度に推定することができる。また、パレット5とフォークリフト1との間の距離が離れている場合でも、パレット5の前面5aにマーカを付けることなく、荷役対象のパレット5の位置及び姿勢を高精度に推定することができる。
【0047】
また、本実施形態では、パレット5の前面5aの平面方程式に基づいて、パレット5のヨー角及びピッチ角を計算することにより、パレット5のヨー角及びピッチ角を簡単に且つ確実に求めることができる。また、パレット5の前面5aの平面方程式に基づいて、2つのフォーク穴7を検知し、2つのフォーク穴7の位置関係に基づいて、パレット5のロール角を計算することにより、パレット5のロール角を簡単に且つ確実に求めることができる。
【0048】
また、本実施形態では、カメラ12の撮像画像データに基づいてパレット5が認識され、レーザセンサ11の計測点データのうち認識されたパレット5に対応する計測点データが抽出される。カメラ12の撮像画像データは、色情報を有すると共に、レーザセンサ11の計測点データに比べて解像度が高い。このため、パレット5の認識精度が高くなる。従って、荷役対象のパレット5の位置及び姿勢を更に高精度に推定することができる。また、パレット5の位置及び姿勢の推定に要する時間を短縮することができる。
【0049】
また、本実施形態では、位置及び姿勢が推定されたパレット5の前面5aの寸法が規定値と合致しているかどうかを判定することにより、位置及び姿勢が推定されたパレット5が荷役対象のパレット5として妥当であるかどうかが分かる。
【0050】
また、本実施形態では、レーザセンサ11の計測点データに対してフィルタリング処理を施すことにより、ノイズとなる計測点データが除去された状態のパレット5の前面5aの平面方程式が得られる。従って、荷役対象のパレット5の位置及び姿勢を更に高精度に推定することができる。
【0051】
なお、本発明は、上記実施形態には限定されない。例えば上記実施形態では、カメラ12の撮像画像データに基づいて、ディープラーニングを利用した画像処理技術によってパレット5が認識されているが、特にその形態には限られず、例えばテンプレートマッチングやパターンマッチング等を用いてパレット5を認識してもよい。
【0052】
また、上記実施形態では、カメラ12の撮像画像データに基づいてパレット5が認識され、レーザセンサ11の計測点データのうち認識されたパレット5に対応する計測点データに基づいて、パレット5の前面5aの平面方程式が算出されているが、特にその形態には限られず、例えばカメラ12の撮像画像データを用いずに、レーザセンサ11の計測点データのみに基づいて、パレット5の前面5aの平面方程式を算出してもよい。
【0053】
また、上記実施形態では、レーザを照射するレーザセンサ11によって、パレット5までの距離が検出されているが、パレット5までの距離を検出する距離検出部としては、特にレーザセンサ11には限られず、例えば赤外線を照射する赤外線センサ等を使用してもよい。
【符号の説明】
【0054】
1…フォークリフト、5…パレット、5a…前面、6…フォーク、7…フォーク穴、11…レーザセンサ(距離検出部)、12…カメラ(撮像部)、16…パレット認識部、17…データ抽出部、18…フィルタ部、19…平面方程式算出部、20…フォーク穴検知部、21…推定演算部、22…最終判定部(判定部)、24…位置姿勢推定装置。
図1
図2
図3
図4
図5
図6