特許 7236705 搬送装置の学習に使用する教師データの生成方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-03-02

(45)【発行日】2023-03-10

(54)【発明の名称】搬送装置の学習に使用する教師データの生成方法

(51)【国際特許分類】

   G06T 19/00 20110101AFI20230303BHJP

   G06V 10/774 20220101ALI20230303BHJP

【ＦＩ】

G06T19/00 A

G06V10/774

【請求項の数】 5

(21)【出願番号】P 2019192497

(22)【出願日】2019-10-23

(65)【公開番号】P2021068138

(43)【公開日】2021-04-30

【審査請求日】2022-03-23

(73)【特許権者】

【識別番号】000183222

【氏名又は名称】住友ナコ フォ－クリフト株式会社

(73)【特許権者】

【識別番号】305060567

【氏名又は名称】国立大学法人富山大学

(74)【代理人】

【識別番号】100105924

【弁理士】

【氏名又は名称】森下 賢樹

(74)【代理人】

【識別番号】100116274

【弁理士】

【氏名又は名称】富所 輝観夫

(72)【発明者】

【氏名】日南 敦史

(72)【発明者】

【氏名】鈴木 雄士

(72)【発明者】

【氏名】寺林 賢司

(72)【発明者】

【氏名】笹木 亮

【審査官】岡本 俊威

(56)【参考文献】

【文献】特開２０１７－１５１６５０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １５／００－１９／００

Ｇ０６Ｖ １０／７７－１０／７７８

(57)【特許請求の範囲】

【請求項1】

パレットを搬送する搬送装置の学習に使用する教師データの生成方法であって、
前記搬送装置は、
距離画像センサと、
（i）前記距離画像センサの出力にもとづいて画素値が距離を表す距離画像を取得可能であり、（ii）前記距離画像にもとづいて、パレットまたは前記パレットの特定部位である検出対象を特定できるように、前記教師データを利用して機械学習により構成された識別器を有する演算部と、
を備えるものであり、
前記生成方法は、
前記パレットの３次元モデルを生成するステップＡと、
３次元の仮想空間中に前記パレットの３次元モデルを配置し、前記パレットの３次元モデルと前記距離画像センサのモデルの相対位置を変化させながら、前記パレットを前記距離画像センサによって測定したときに得られるであろう仮想距離画像を生成するステップＢと、
前記仮想距離画像にもとづいた前記教師データを生成するステップＣと、
を備えることを特徴とする生成方法。

【請求項2】

前記ステップＣは、背景距離画像に前記仮想距離画像を重畳するステップを含むことを特徴とする請求項１に記載の生成方法。

【請求項3】

前記背景距離画像は、前記距離画像センサの実測により生成されることを特徴とする請求項２に記載の生成方法。

【請求項4】

前記ステップＢにおいて、計測対象までの距離、計測面の方向、計測対象の材質の少なくともひとつが前記距離画像センサの出力に与える影響を記述する誤差モデルにもとづいて、前記仮想距離画像が生成されることを特徴とする請求項１から３のいずれかに記載の生成方法。

【請求項5】

前記ステップＢにおいて、環境光、周囲温度の少なくともひとつが前記距離画像センサの出力に与える影響を記述する環境モデルにもとづいて、前記仮想距離画像が生成されることを特徴とする請求項１から４のいずれかに記載の生成方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、パレットを搬送対象とする搬送装置に関する。

【背景技術】

【0002】

フォークリフトなどの搬送装置は、予め決められた形状を有するパレットを搬送対象とする。パレットには、穴（フォークポケット）が設けられており、搬送装置には、フォークポケットに挿入可能なフォークが設けられる。

【0003】

搬送装置のオペレータは、フォークの高さを調節し、ステアリング操作を行いながら搬送装置を走行させて、フォークポケットにフォークを挿入する必要がある。

【0004】

ところが不慣れなオペレータにとって、フォークを、うまくフォークポケットに挿入することは容易でない。もし、フォークがフォークポケット以外の場所に衝突すると、パレット上の荷物が崩れるかもしれない。またフォークポケットにフォークが挿入されたとしても、フォークポケットの内壁にフォークがぶつかると、パレットがずれたり、フォークに好ましくない応力が加わるおそれがある。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１７－１５１６５０号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

本発明者らは、フォークリフトに、パレットの特定箇所を検出可能な検出装置を搭載することを検討した。検出装置は、画像を取得するセンサと、センサの出力画像にもとづいて特定箇所を検出可能に構成された識別器（あるいは分類器ともいう）を備える。識別器は、予め取得した教師データあるいは学習データにもとづいて、機械学習によって構成される。教師データは、典型的には、特定部位を含む画像データである。識別器に、十分な識別力を獲得させるためには、撮影方向や撮影距離を変えて撮影した膨大な数の教師データが必要となる。

【0007】

フォークリフトが搬送対象とするパレットの種類が多い場合、パレット毎に教師データを用意する必要があるため、学習に要するコストが跳ね上がる。特に、さまざまな種類のパレットについて、フォークリフトの使用環境下で、サービスマンやユーザ（以下、人間という）がパレットの画像を多数撮影し、教師データを生成することとすると、人間の労力が大きく、学習に必要なコストが非常に高くなることを意味する。

【0008】

本発明は係る課題に鑑みてなされたものであり、そのある態様の例示的な目的のひとつは、学習に必要な労力や時間を削減可能な技術の提供にある。

【課題を解決するための手段】

【0009】

本発明のある態様は、パレットを搬送する搬送装置の学習に使用する教師データの生成方法に関する。搬送装置は、距離画像センサと、（i）距離画像センサの出力にもとづいて画素値が距離を表す距離画像を取得可能であり、（ii）距離画像にもとづいて、パレットまたはパレットの特定部位である検出対象を特定できるように、教師データを利用して機械学習により構成された識別器を有する演算部と、を備える。教師データの生成方法は、以下の処理を含む。
ステップＡ） パレットの３次元モデルを生成する。
ステップＢ） ３次元の仮想空間中にパレットの３次元モデルを配置し、パレットの３次元モデルと距離画像センサのモデルの相対位置を変化させながら、パレットを距離画像センサによって測定したときに得られるであろう仮想距離画像を生成する。
ステップＣ） ステップＢで得られた仮想距離画像にもとづいた教師データを生成する。

【0010】

この搬送装置は、ＴＯＦ（Time Of Flight）センサ、ＬｉＤＡＲ（Light Detection and Ranging）、ステレオカメラやストラクチャドライトカメラなどの距離画像センサにより得られる３次元点群データを、２次元の距離画像にマッピングし、距離画像を入力とする識別器を構成することにより、パレットあるいはその部位の特定の精度を高めることができる。

【0011】

ここで、パレットの形状や材質は多岐にわたるところ、あらゆるパレットについて、あらゆる状況を想定して、パレットの実物を距離画像センサによって撮影し、識別器の学習に用いる教師データを用意することは容易ではない。この態様によれば、３次元モデルを活用することで教師データを効率的に生成でき、学習を効率化できる。

【0012】

ステップＣは、背景距離画像に仮想距離画像を重畳するステップを含んでもよい。パレットの仮想距離画像と、背景距離画像を重畳して教師データを生成することで、実際にパレットが使用される環境における識別率を改善できる。

【0013】

背景距離画像は、距離画像センサの実測により生成されてもよい。距離画像センサのセンシングは、環境光の影響を大きく受けるところ、背景については、実際の撮影画像を用いることにより、環境光の影響を考慮した教師データを生成できる。

【0014】

３次元の仮想空間中に背景となる物体の３次元モデルを配置して、背景の仮想距離画像を生成し、パレットの仮想距離画像と背景の仮想距離画像を重畳して教師データとしてもよい。

【0015】

あるいは、３次元の仮想空間中に、背景となる物体の３次元モデルとパレットの３次元モデルを配置して、それらを含む仮想距離画像を生成し、それを教師データとしてもよい。

【0016】

計測対象までの距離、計測面の方向、計測対象の材質の少なくともひとつが距離画像センサの出力に与える影響を記述する誤差モデルを生成しておき、ステップＢにおいて、距離画像センサのモデルと誤差モデルの組み合わせにもとづいて、仮想距離画像を生成してもよい。
計測対象の材質、計測面の方向、計測対象までの距離は、距離画像に影響を及ぼす。そこで誤差モデルを導入した計測モデルを生成することで、より実際の利用環境で撮影されるであろう距離画像に近い教師データを生成できる。

【0017】

環境光、周囲温度の少なくともひとつが距離画像センサの出力に与える影響を記述する環境モデルを生成しておき、ステップＢにおいて、距離画像センサのモデルと環境モデルの組み合わせにもとづいて、仮想距離画像を生成してもよい。
距離画像センサのセンシングは、応答速度、環境光、周囲温度をはじめとする環境の影響を大きく受ける可能性がある。そこで環境モデルを導入した計測モデルを生成することで、より実際の利用環境で撮影されるであろう距離画像に近い教師データを生成できる。

【0018】

検出対象は、パレットの穴と穴を区切る桁を含んでもよい。パレットには、さまざまな形状や構造が存在するところ、それらには穴と穴を区切る桁が共通して存在する。そこで、桁を検出対象とした識別器を搭載することで、さまざまなパレットについて、穴の位置を検出できる。

【0019】

演算部は、予め保持しているパレットの幾何学的な情報にもとづいて、穴の位置を特定してもよい。

【0020】

検出対象であるパレットまたはパレットの特定部位を特定した後に、その結果を利用して、距離画像にもとづいてパレットの穴を特定してもよい。元の距離画像から直接、パレットの穴を特定するように識別器を構成すると、精度が低下する場合がある。そこで、パレットあるいはパレットの特定部位を特定する識別器を構成し、さらにその結果をベースとして穴を特定する識別器を構成することにより、穴の識別精度を高めることができる。

【0021】

なお、以上の構成要素の任意の組み合わせや本発明の構成要素や表現を、方法、装置、システムなどの間で相互に置換したものもまた、本発明の態様として有効である。

【発明の効果】

【0022】

本発明によれば、学習に必要な労力や時間を削減できる。

【図面の簡単な説明】

【0023】

【図1】搬送装置の一態様であるフォークリフトの外観図を示す斜視図である。

【図2】フォークリフトの操縦席の一例を示す図である。

【図3】図３（ａ）～（ｈ）は、フォークリフトが搬送対象とするパレットを示す図である。

【図4】実施の形態に係るフォークリフトの機能ブロック図である。

【図5】図５（ａ）、（ｂ）は、距離画像センサの設置箇所を説明する図である。

【図6】距離画像の一例を示す図である。

【図7】図７（ａ）、（ｂ）は、検出対象である特定部位を模式的に示す図である。

【図8】図７（ａ）の特定部位の距離画像を示す図である。

【図9】識別器の学習に用いる教師データの生成のフローチャートである。

【図10】パレットおよび距離画像センサのモデルが配置される３次元の仮想空間を示す図である。

【図11】図１１（ａ）～（ｃ）は、背景距離画像にもとづく教師データの生成を説明する図である。

【発明を実施するための形態】

【0024】

以下、本発明を好適な実施の形態をもとに図面を参照しながら説明する。各図面に示される同一または同等の構成要素、部材、処理には、同一の符号を付するものとし、適宜重複した説明は省略する。また、実施の形態は、発明を限定するものではなく例示であって、実施の形態に記述されるすべての特徴やその組み合わせは、必ずしも発明の本質的なものであるとは限らない。

【0025】

図１は、搬送装置の一態様であるフォークリフトの外観図を示す斜視図である。フォークリフト６００は、車体（シャーシ）６０２、フォーク６０４、昇降体（リフト）６０６、マスト６０８、車輪６１０、６１２を備える。マスト６０８は車体６０２の前方に設けられる。昇降体６０６は、油圧アクチュエータ（図１に不図示）などの動力源によって駆動され、マスト６０８に沿って昇降する。昇降体６０６には、荷物を支持するためのフォーク６０４が取り付けられている。フォークリフト６００は、２本のフォーク６０４が図示しないパレットの穴（フォークポケット）に挿入された状態で、パレットを搬送する。

【0026】

図２は、フォークリフトの操縦席７００の一例を示す図である。操縦席７００は、イグニッションスイッチ７０２、ステアリングホイール７０４、リフトレバー７０６、アクセルペダル７０８、ブレーキペダル７１０、ダッシュボード７１４、前後進レバー７１２を備える。

【0027】

イグニッションスイッチ７０２は、フォークリフト６００の起動用のスイッチである。ステアリングホイール７０４は、フォークリフト６００の操舵を行うための操作手段である。リフトレバー７０６は、昇降体６０６を上下に移動させるための操作手段である。アクセルペダル７０８は、走行用の車輪の回転を制御する操作手段であり、オペレータが踏み込み量を調節することでフォークリフト６００の走行が制御される。オペレータがブレーキペダル７１０を踏み込むと、ブレーキがかかる。前後進レバー７１２は、フォークリフト６００の走行方向を、前進と後進で切りかえるためのレバーである。そのほか、図示しないインチングペダルが設けられてもよい。

【0028】

オペレータは、車体の位置制御に関して、ステアリングホイール７０４とアクセルペダル７０８、ブレーキペダル７１０を操作し、フォーク６０４の位置制御に関して、リフトレバー７０６を操作する必要がある。

【0029】

図３（ａ）～（ｈ）は、フォークリフト６００が搬送対象とするパレットを示す図である。パレット８００は、上板８０６、穴８０２、桁８０４を有する。パレット８００の形状は、ＪＩＳ規格により定められるほか、目的や用途に応じて多種多様な形状のものが存在する。図３（ａ）～（ｈ）はそれぞれ、ＪＩＳ規格でＳ２，ＳＵ２，ＤＰ４，Ｒ４，ＲＷ２，Ｄ２，ＤＵ２，Ｄ４と表記される。図３（ａ）～（ｈ）に示すように、一概にパレットといっても、さまざまな形状、構造が存在しており、不慣れなオペレータにとって、複数の操作入力手段（７０４，７０６，７０８，７１０，７０６）を正確に操作して、フォークポケットに正確にフォークを挿入することは容易でない。

【0030】

以下では、パレットの荷すくい動作を支援可能な構成について説明する。図４は、実施の形態に係るフォークリフト３００の機能ブロック図である。図４には、荷すくい動作の支援に関連するブロックのみが示され、その他のブロックは省略している。

【0031】

フォークリフト３００は、距離画像センサ３０２、カメラ３０３、通知手段３０４、コントローラ３１０を備える。距離画像センサ３０２は、フォークリフト前方３００に取り付けられ、車両前方の距離情報を取得する。その限りでないが距離画像センサ３０２としては、ＴｏＦカメラ、ＬｉＤＡＲ、ストラクチャードライト法を用いたセンサ、ステレオカメラなどを用いることができる。距離画像センサ３０２は、車両前方に位置する構造物や物品等の３次元点群データを含む測距データＤ１を生成する。

【0032】

図５（ａ）、（ｂ）は、距離画像センサ３０２の設置箇所を説明する図である。図５（ａ）は、上から見た図である。フォークを挿入すべき穴の位置を検出する必要があることから、左右方向に関して、距離画像センサ３０２は、２本のフォークの中央に配置することが好ましい。これにより、フォークをパレットに挿入する際に、距離画像センサ３０２によって、パレットを正面から撮影することが可能となる。特に、後述のように桁を含む特定部位を検出対象とする場合に、フォークの中央に距離画像センサ３０２を配置しておくことで、特定部位の距離画像をうまく撮影することができる。

【0033】

図５（ｂ）は横から見た図である。上下方向に関しては、３０２ｃで示すようにフォーク６０４と同じ高さとしてもよいが、それよりわずかに上側の位置３０２ａ（あるいは下側の位置３０２ｂ）に設けるとよい。これにより、パレット８００の上板８０６の上面Ｓ１（あるいは上板８０６の下面Ｓ２）を確実に捉えることが可能となるからである。また、この位置は、フォークの高さの最終的な調整の局面において、フォークやその他の車両構造物に遮蔽されにくいという利点もある。

【0034】

図４に戻る。カメラ３０３は、フォークリフト３００の前方を撮影する。カメラ３０３の撮影した画像データＤ３は、ディスプレイ３０６に表示される。なお図４においては、カメラ３０３と距離画像センサ３０２を別個の機能ブロックとして示すが、必ずしもハードウェアとして距離画像センサ３０２と独立していることを意味するものでなく、距離画像センサ３０２は、カメラ３０３を兼ねていてもよい。たとえば距離画像センサ３０２がＴＯＦカメラやステレオカメラである場合、それから１次的に得られる単眼画像（赤外線強度分布や可視光モノクロ画像、可視光カラー画像）を、画像データＤ３として用いることができる。

【0035】

コントローラ３１０は、フォークリフト３００を統合的に制御する。コントローラ３１０は、距離画像取得部３３０および識別器３４０を備える。距離画像取得部３３０は、点群データを含む測距データＤ１にもとづいて、距離画像Ｄ２を生成する。距離画像Ｄ２とは、縦横に複数ピクセルを有する画像データであって、画素値が距離を表すデータをいう。図６は、距離画像の一例を示す図である。なお、距離画像センサ３０２の出力が距離データである場合、距離画像取得部３３０の処理は簡略化され、あるいは省略される。

【0036】

図４に戻る。識別器３４０は、距離画像Ｄ２にもとづいて、パレットまたはパレットの特定部位を特定できるように、機械学習により構成される。

【0037】

処理部３５０は、識別器３４０の検出結果にもとづいて、パレットの穴の位置を特定する。そして検出した結果にもとづいて、通知手段３０４を制御し、オペレータに通知する。通知手段３０４は、ディスプレイ３０６やスピーカ３０８を含みうる。ディスプレイ３０６は、視覚的にパレットの穴の位置やその他の情報をオペレータに通知するために用いられる。スピーカ３０８は、オペレータに聴覚的にパレットの位置やその他の情報を通知するために用いることができる。通知手段３０４による通知については後述する。

【0038】

識別器３４０および処理部３５０は、演算処理装置（ＣＰＵ）やメモリを有するマイコン３２０と、マイコン３２０が実行するソフトウェアプログラムで構成することができる。さらに距離画像取得部３３０も、マイコン３２０の機能として実装することができる。したがって距離画像取得部３３０、識別器３４０、処理部３５０は、必ずしも別個のハードウェアとして認識されるものではなく、演算処理装置とソフトウェアプログラムの組み合わせにより実現される機能を表す。

【0039】

あるいは距離画像取得部３３０と識別器３４０を別個のハードウェアで構成してもよい。たとえば距離画像センサ３０２とマイコン３２０のインタフェースとして、ＦＰＧＡ（Field Programmable Gate Array）やＡＳＩＣ（Application Specific Integrated Circuit）などのハードウェア（チップ）が搭載される場合がある。この場合、距離画像取得部３３０の処理を、このハードウェアに実行させてもよい。

【0040】

以上がフォークリフト３００の構成である。このフォークリフト３００によれば、距離画像センサにより得られる距離画像を入力とする識別器を機械学習により構成することにより、パレットあるいはその部位の特定の精度を高めることができる。そして得られた検出結果を、搬送装置の動作に反映させ、あるいはオペレータに通知することにより、オペレータの操作を支援することができる。

【0041】

なお、パレットやその特定部位を検出する別の方法として、３次元点群データを用いて、特徴的な部位をパターンマッチングによって検出する方法も考えられる。ところがこの方法は、対象物を常に同じ方向から測定する必要があり、特徴的な部位の３次元点群データを高密度に精度よく測ることが難しいという問題点がある。

【0042】

続いて識別器３４０の具体例と、その学習について説明する。一実施例において、識別器３４０は、線形ＳＶＭ（Support Vector Machine）とＨＯＧ（Histograms of Oriented Gradients）特徴量の組み合わせで構成される。線形ＳＶＭは、入力が、２クラスのいずれかに属するかを判定可能な識別器として広く用いられる。一般的な画像処理の分野において、線形ＳＶＭの入力は、画素値が輝度である画像データであるが、本実施の形態では、距離画像を入力としたところが異なっている。

【0043】

線形ＳＶＭは、２個の穴のペアを直接検出するように学習することもできる。ただし、図３（ａ）～（ｈ）に示したように、穴の形状やサイズは、パレットの種類によってさまざまである。具体的には、穴の横幅は、パレットによって異なっている。またパレットは下板を有するものもあれば、有しないものもあり、したがって穴は下側が開放されている場合と閉じている場合がある。このことから、穴を直接的な識別対象として学習した識別器では、十分に高い識別率が得られない場合がある。

【0044】

そこで本発明者らは、さらなる識別率の改善のために、パレット８００の穴８０２と穴８０２を区切る桁８０４に着目し、桁８０４を含む一部分（特定部位）を検出対象として識別器３４０を構成することとした。桁８０４は、パレット８００の規格によらずに、パレットの必須の構成要素であり、検出対象として好適であり、高い識別率が期待できる。

【0045】

図７（ａ）、（ｂ）は、検出対象である特定部位８０１を模式的に示す図である。特定部位８０１は、上板８０６の一部と、下板８０８の一部と、桁８０４および２つの穴８０２を含む。この特定部位８０１は、向かい合わせの２個のコの字形状を含むものと把握できる。図８は、図７（ａ）の特定部位８０１の距離画像を示す図である。

【0046】

なお図３（ｂ）等に示すように、下板が存在しないパレットも存在する。そこで図７（ｂ）に示すように、下板８０８を除いたＴ字形状を特定部位８０１として識別器３４０を学習させてもよい。

【0047】

処理部３５０には、パレットの幾何学的な情報が保持されている。処理部３５０は、識別器３４０が特定した特定部位８０１の位置と、幾何学的な情報にもとづいて、演算処理によって、フォークを挿入すべき２個の穴の位置を特定することができる。たとえば、幾何学的な情報は、パレットのセンターの位置（座標）と、穴の位置の相対的な位置関係を含みうる。処理部３５０は、識別器３４０の出力にもとづいて、パレット８００のセンター位置を検出し、センター位置から、左右に所定量オフセットした位置を、フォークを挿入すべき穴の位置とすることができる。

【0048】

図７（ｃ）は、別のパレットの一部分を示す図である。パレットは、３個の（あるいはそれより多い）穴を有する場合もあり、その場合、１個のパレットが、２個の（あるいはそれより多い）桁を含み、１個のパレットについて、２個の特定部位８０１が隣接して検出される場合もありえる。この場合、２個の特定部位８０１のセンター（すなわち２個の桁８０４のセンター）を、パレット８００全体のセンター位置と判定してもよい。

【0049】

（識別器の学習）
続いて、識別器３４０の学習について説明する。

【0050】

図９は、識別器３４０の学習に用いる教師データの生成のフローチャートである。はじめに、パレット８００の３次元モデルＭｐが生成される（Ｓ１００）。パレットの３次元モデルＭｐは、パレットの３次元ＣＡＤデータに相当する。

【0051】

また距離画像センサ３０２のモデルＭｓが生成される（Ｓ１０２）。距離画像センサ３０２のモデルは、距離画像センサ３０２の画角や入出力特性を記述したものであり、画角、解像度、計測精度、温度、フレームレート、応答特性などを考慮して生成することができる。応答特性は、波長感度特性やトランジェントな応答特性を含みうる。

【0052】

パレット８００の３次元モデルＭｐと、距離画像センサ３０２のモデルＭｓが、計算機シミュレータの３次元の仮想空間中に配置される（Ｓ１０４）。その状態で距離画像センサ３０２のモデルＭｓの出力を、仮想距離画像Ｉ１として取得し（Ｓ１０６）、仮想距離画像Ｉ１にもとづいた教師データＩ２を生成する（Ｓ１０８）。

【0053】

処理Ｓ１０６～Ｓ１０８は、パレットと距離画像センサのモデルＭｐ，Ｍｓの相対的な位置関係を変化させながら繰り返される（Ｓ１１０）。

【0054】

図１０は、パレットおよび距離画像センサのモデルＭｐ，Ｍｓが配置される３次元の仮想空間９００を示す図である。ここでは距離画像センサ３０２のモデルＭｓが原点に配置されるものとする。破線は距離画像センサ３０２の視野を表す。図８のステップＳ１１０では、パレット８００のモデルＭｐの位置（ｘ、ｙ、ｚ）を変化させる。ステップＳ１１０においては、位置（ｘ，ｙ，ｚ）に加えて、姿勢（θｐ，θｙ，θｒ）を変化させてもよい。

【0055】

以上が、実施の形態に係る教師データの生成方法である。

【0056】

パレットの形状や材質は多岐にわたるところ、あらゆるパレットについて、あらゆる状況を想定して、パレットの実物を距離画像センサによって撮影し、識別器の学習に用いる教師データを用意することは容易ではない。この態様によれば、３次元モデルを活用することで教師データを効率的に生成でき、学習を効率化できる。

【0057】

（背景情報の追加）
図８の処理Ｓ１０６において、仮想距離画像Ｉ１に、背景距離画像Ｉ３を重畳して、教師データＩ２を生成することができる。

【0058】

図１１（ａ）～（ｃ）は、背景距離画像にもとづく教師データの生成を説明する図である。図１１（ａ）は、図１０において得られるパレット８００の仮想距離画像Ｉ１である。図１１（ｂ）は、背景距離画像Ｉ３を表す。背景距離画像Ｉ３としては、パレットが実際に使用される環境において、実際の距離画像センサ３０２により撮影された実際の背景の距離画像を用いるとよい。

【0059】

図１１（ａ）のパレットの仮想距離画像Ｉ１と、図１１（ｂ）の背景距離画像Ｉ３を合成すると、図１１（ｃ）の合成距離画像が得られる。この合成距離画像の一部あるいは全部を、教師データとして用いることができる。

【0060】

パレットの仮想距離画像Ｉ１と、背景距離画像Ｉ３を重畳して教師データを生成することで、実際にパレットが使用される環境における識別率を改善できる。

【0061】

なお、背景距離画像Ｉ３は、距離画像センサ３０２の実測により生成したものを用いてもよい。距離画像センサ３０２のセンシングは、環境光などの影響を大きく受けるところ、背景については、実際の撮影画像を用いることにより、環境光の影響を考慮した教師データを生成でき、識別率を改善する効果が期待される。

【0062】

あるいは、３次元の仮想空間中に背景となる物体の３次元モデルを配置して、距離画像センサ３０２のモデルＭｓを用いて、背景の仮想距離画像を生成し、パレットの仮想距離画像と背景の仮想距離画像を重畳して教師データとしてもよい。

【0063】

あるいは、３次元の仮想空間中に、背景となる物体の３次元モデルとパレットの３次元モデルを配置して、それらを含む仮想距離画像を生成し、その一部あるいは全部を教師データとしてもよい。

【0064】

（誤差モデル）
これまでの説明では、距離画像センサ３０２のモデルＭｓのみを考慮した計測モデルを説明したが、より正確な教師データを生成するために、誤差モデルＭ_ＥＲＲを導入するとよい。

【0065】

誤差モデルＭ_ＥＲＲは、（i）計測対象までの距離、（ii）計測面の方向、（iii）計測対象の材質の少なくともひとつが距離画像センサの出力に与える影響を記述するものである。距離画像センサの出力に与える影響は、計測対象までの距離、計測面の方向、計測対象の材質の順で大きいため、誤差モデルＭ_ＥＲＲは、少なくとも計測対象までの距離を考慮して作成するとよく、より好ましくは計測対象までの距離と、計測面の方向の両方を考慮して作成するとよく、さらに精度を高めたい場合は、３個すべてを考慮して作成するとよい。

【0066】

（i） 計測対象までの距離
距離画像センサの入出力特性を考える。理想的な距離画像センサでは、出力である距離画像の画素値ｐｖは、入力である距離ｄに対して線形に変化する。
ｐｖ＝ａ_１×ｄ …（１）

【0067】

しかしながら実際の距離画像センサでは、そのセンサの方式や、製品の種類により、傾きａ_１が異なる場合がある。あるいは、式（２）に示すように、非線形な項が含まれる場合や、オフセット項ａ_０が含まれる場合もある。
ｐｖ＝ａ_０＋ａ_１×ｄ＋ａ_２×ｄ^２＋・・・ …（２）
そこで誤差モデルＭ_ＥＲＲでは、距離画像センサと計測対象の距離ｄと、距離画像における画素値ｐｖの関係を記述する。

【0068】

（ii） 計測面の方向
式（２）で表される入出力特性は、計測面の方向に応じて変化する場合がある。たとえば距離画像センサ３０２の正面の物体に対しては、ある係数のセットＳ１［ａ_０，ａ_１，…］を有する入出力特性が得られているとする。この場合に、別の方向に対して、入出力特性が同じセットＳ１で記述できるとは限らず、別の係数のセットＳ２［ａ_０，ａ_１，…］を有する入出力特性が得られる場合がある。そこで誤差モデルＭ_ＥＲＲは、計測面の方向を考慮して作成するとよい。

【0069】

（iii） 材料
距離画像センサ３０２のセンシングの方式、使用波長などによって、同じ距離にある物体を同一の距離画像センサ３０２によって測定しても、物体の材料が異なると、距離画像センサ３０２の出力に基づく距離画像の画素値が同一にならない場合がある。

【0070】

ここでパレット８００の材料や表面の材質は、樹脂や木材、金属、あるいはそれら塗装したものなど多岐にわたる。この認識にもとづき、距離画像センサ３０２のモデルＭｓは、測定対象の材料（材質）の違いが、距離画像センサ３０２の出力に与える影響を考慮して生成されている。すなわち材料ごとに、距離画像センサ３０２の入出力特性を予め測定しておき、それを考慮した誤差モデルＭ_ＥＲＲを用意する。パレット８００のモデルＭｐは、パレット８００の部分ごとの、あるいは全体の材料が指定可能となっている。これにより、より正確な教師データを生成できる。

【0071】

（環境モデル）
計測モデルには、誤差モデルＭ_ＥＲＲに加えて、あるいはそれに代えて、環境モデルＭ_ＥＮＶを導入することができる。環境モデルＭ_ＥＮＶは、環境光、周囲温度の少なくともひとつが距離画像センサの出力に与える影響を記述するものである。

【0072】

多くの距離画像センサ３０２は、物体にプローブ光を照射し、その反射光を測定することにより、物体までの距離をセンシングするアクティブセンサである。ここで、距離画像センサ３０２が使用される環境に、プローブ光と同じ波長の環境光が存在すると、距離画像センサ３０２の出力にもとづく距離画像にノイズが重畳されることとなる。環境モデルＭ_ＥＮＶを導入すると、仮想距離画像Ｉ１に、環境光に依存するノイズを重畳することができ、教師データを、より実環境で得られる距離画像に近づけることができる。

【0073】

また周囲温度の影響によって、計測誤差が変化する。そこで環境モデルに、周囲温度が与える影響を記述するとよい。

【0074】

以上、本発明を実施例にもとづいて説明した。本発明は上記実施形態に限定されず、種々の設計変更が可能であり、様々な変形例が可能であること、またそうした変形例も本発明の範囲にあることは、当業者に理解されるところである。以下、こうした変形例を説明する。

【0075】

実施の形態では搬送装置としてフォークリフトを例に説明したが、本発明の適用はその限りでなく、ハンドリフト（ハンドパレット）やＡＧＶ（Automatic Guided Vehicle）、フォークローダー（フォーク付きのホイルローダー）など、パレットを取り扱うさまざまな搬送装置に適用することができる。

【符号の説明】

【0076】

６００ フォークリフト
６０２ 車体
６０４ フォーク
６０６ 昇降体
６０８ マスト
６１０ 前輪
６１２ 後輪
７００ 操縦席
７０２ イグニッションスイッチ
７０４ ステアリングホイール
７０６ リフトレバー
７０８ アクセルペダル
７１０ ブレーキペダル
７１２ 前後進レバー
７１４ ダッシュボード
３００ フォークリフト
３０２ 距離画像センサ
３０３ カメラ
３０４ 通知手段
３０６ ディスプレイ
３０８ スピーカ
３１０ コントローラ
３２０ マイコン
３３０ 距離画像取得部
３４０ 識別器
３５０ 処理部
３６０ パターンマッチング部
３６２ テンプレート画像生成部
Ｄ１ 測距データ
Ｄ２ 距離画像
Ｄ３ 画像データ
Ｄ４ 部分距離画像
Ｄ５ 位置情報
Ｄ６ テンプレート画像
８００ パレット
８０１ 特定部位
８０２ 穴
８０４ 桁

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】