▶ 住友ナコ マテリアル ハンドリング株式会社の特許一覧 ▶ 国立大学法人富山大学の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022152449
(43)【公開日】2022-10-12
(54)【発明の名称】搬送装置の学習に使用する教師データの生成方法
(51)【国際特許分類】
G06T 7/00 20170101AFI20221004BHJP
B66F 9/24 20060101ALI20221004BHJP
G06T 7/60 20170101ALI20221004BHJP
【ＦＩ】
G06T7/00 300F
B66F9/24 L
G06T7/60 150
【審査請求】未請求
【請求項の数】7
【出願形態】ＯＬ
(21)【出願番号】P 2021055228
(22)【出願日】2021-03-29
(71)【出願人】
【識別番号】000183222
【氏名又は名称】住友ナコ フォ－クリフト株式会社
(71)【出願人】
【識別番号】305060567
【氏名又は名称】国立大学法人富山大学
(74)【代理人】
【識別番号】100105924
【弁理士】
【氏名又は名称】森下 賢樹
(74)【代理人】
【識別番号】100116274
【弁理士】
【氏名又は名称】富所 輝観夫
(72)【発明者】
【氏名】日南 敦史
(72)【発明者】
【氏名】笹木 亮
(72)【発明者】
【氏名】寺林 賢司
(72)【発明者】
【氏名】浅野 良太
【テーマコード（参考）】
3F333
5L096
【Ｆターム（参考）】
3F333AA02
3F333AE02
3F333DB10
3F333FD20
3F333FE05
5L096AA09
5L096CA05
5L096DA02
5L096FA66
5L096FA67
5L096FA69
5L096JA11
5L096KA04
(57)【要約】
【課題】学習に必要な労力や時間を削減可能な技術を提供する。
【解決手段】パレットの３次元モデルを生成する（Ｓ１００）。そして３次元の仮想空間中にパレットの３次元モデルを配置し、パレットの３次元モデルと距離画像センサのモデルの相対位置を変化させながら、パレットを距離画像センサによって測定したときに得られるであろう仮想距離画像を生成する（Ｓ１０４）。そして仮想距離画像にもとづいた教師データを生成する（Ｓ１０８）。
【選択図】図９
【解決手段】パレットの３次元モデルを生成する（Ｓ１００）。そして３次元の仮想空間中にパレットの３次元モデルを配置し、パレットの３次元モデルと距離画像センサのモデルの相対位置を変化させながら、パレットを距離画像センサによって測定したときに得られるであろう仮想距離画像を生成する（Ｓ１０４）。そして仮想距離画像にもとづいた教師データを生成する（Ｓ１０８）。
【選択図】図９
【特許請求の範囲】
【請求項1】
パレットを搬送する搬送装置の学習に使用する教師データの生成方法であって、
前記搬送装置は、
光を照射して反射光を測定するアクティブ型の距離画像センサと、
（i）前記距離画像センサの出力にもとづいて画素値が距離を表す距離画像を取得可能であり、（ii）前記距離画像にもとづいて、パレットまたは前記パレットの特定部位である検出対象を特定できるように、前記教師データを利用して機械学習により構成された識別器を有する演算部と、
を備えるものであり、
前記生成方法は、
前記パレットの３次元モデルを生成するステップＡと、
３次元の仮想空間中に前記パレットの３次元モデルを配置し、前記パレットを前記距離画像センサによって測定したときに得られるであろう仮想距離画像を生成するステップＢ１と、
前記距離画像センサが受光するであろう前記反射光の強度分布を示す輝度画像を生成するステップＢ２と、
前記輝度画像にもとづいて、前記仮想距離画像を修正するステップＢ３と、
修正後の前記仮想距離画像にもとづいた前記教師データを生成するステップＣと、
を備えることを特徴とする生成方法。
前記搬送装置は、
光を照射して反射光を測定するアクティブ型の距離画像センサと、
（i）前記距離画像センサの出力にもとづいて画素値が距離を表す距離画像を取得可能であり、（ii）前記距離画像にもとづいて、パレットまたは前記パレットの特定部位である検出対象を特定できるように、前記教師データを利用して機械学習により構成された識別器を有する演算部と、
を備えるものであり、
前記生成方法は、
前記パレットの３次元モデルを生成するステップＡと、
３次元の仮想空間中に前記パレットの３次元モデルを配置し、前記パレットを前記距離画像センサによって測定したときに得られるであろう仮想距離画像を生成するステップＢ１と、
前記距離画像センサが受光するであろう前記反射光の強度分布を示す輝度画像を生成するステップＢ２と、
前記輝度画像にもとづいて、前記仮想距離画像を修正するステップＢ３と、
修正後の前記仮想距離画像にもとづいた前記教師データを生成するステップＣと、
を備えることを特徴とする生成方法。
【請求項2】
前記輝度画像は、計測対象による、拡散反射と鏡面反射を考慮して生成されることを特徴とする請求項１に記載の生成方法。
【請求項3】
前記ステップＢ３において、前記輝度画像の画素値にもとづいて、前記仮想距離画像の画素値に誤差を重畳することを特徴とする請求項１または２に記載の生成方法。
【請求項4】
前記ステップＢ３において、前記輝度画像の画素値にもとづいて、前記仮想距離画像の画素値を、欠損データに置換することを特徴とする請求項１から３のいずれかに記載の生成方法。
【請求項5】
パレットを搬送する搬送装置の学習に使用する教師データの生成方法であって、
前記搬送装置は、
光を照射して反射光を測定するアクティブ型の距離画像センサと、
（i）前記距離画像センサの出力にもとづいて画素値が距離を表す距離画像を取得可能であり、（ii）前記距離画像にもとづいて、パレットまたは前記パレットの特定部位である検出対象を特定できるように、前記教師データを利用して機械学習により構成された識別器を有する演算部と、
を備えるものであり、
前記生成方法は、
前記パレットの３次元モデルを生成するステップＡと、
３次元の仮想空間中に前記パレットの３次元モデルを配置し、前記パレットを前記距離画像センサによって測定したときに得られるであろう仮想距離画像を生成するステップＢ１と、
前記仮想空間中に存在するエッジを示すエッジ画像を生成するステップＢ２と、
前記エッジ画像にもとづいて、前記仮想距離画像を修正するステップＢ３と、
修正後の前記仮想距離画像にもとづいた前記教師データを生成するステップＣと、
を備えることを特徴とする生成方法。
前記搬送装置は、
光を照射して反射光を測定するアクティブ型の距離画像センサと、
（i）前記距離画像センサの出力にもとづいて画素値が距離を表す距離画像を取得可能であり、（ii）前記距離画像にもとづいて、パレットまたは前記パレットの特定部位である検出対象を特定できるように、前記教師データを利用して機械学習により構成された識別器を有する演算部と、
を備えるものであり、
前記生成方法は、
前記パレットの３次元モデルを生成するステップＡと、
３次元の仮想空間中に前記パレットの３次元モデルを配置し、前記パレットを前記距離画像センサによって測定したときに得られるであろう仮想距離画像を生成するステップＢ１と、
前記仮想空間中に存在するエッジを示すエッジ画像を生成するステップＢ２と、
前記エッジ画像にもとづいて、前記仮想距離画像を修正するステップＢ３と、
修正後の前記仮想距離画像にもとづいた前記教師データを生成するステップＣと、
を備えることを特徴とする生成方法。
【請求項6】
前記距離画像センサから物点までの距離ｚ、観測方向θ、測定面の方向φと、前記距離画像の画素値の誤差との関係を定義するステップＢ４と、
前記仮想距離画像を、前記関係にもとづいて補正するステップＢ５と、
をさらに備えることを特徴とする請求項１から５のいずれかに記載の生成方法。
前記仮想距離画像を、前記関係にもとづいて補正するステップＢ５と、
をさらに備えることを特徴とする請求項１から５のいずれかに記載の生成方法。
【請求項7】
前記関係は物点を含む表面の材質、および／または、色ごとに定義されることを特徴とする請求項６に記載の生成方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、パレットを搬送対象とする搬送装置に関する。
【背景技術】
【0002】
フォークリフトなどの搬送装置は、予め決められた形状を有するパレットを搬送対象とする。パレットには、穴（フォークポケット）が設けられており、搬送装置には、フォークポケットに挿入可能なフォークが設けられる。
【0003】
搬送装置のオペレータは、フォークの高さを調節し、ステアリング操作を行いながら搬送装置を走行させて、フォークポケットにフォークを挿入する必要がある。
【0004】
ところが不慣れなオペレータにとって、フォークを、うまくフォークポケットに挿入することは容易でない。もし、フォークがフォークポケット以外の場所に衝突すると、パレット上の荷物が崩れるかもしれない。またフォークポケットにフォークが挿入されたとしても、フォークポケットの内壁にフォークがぶつかると、パレットがずれたり、フォークに好ましくない応力が加わるおそれがある。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開２０１７－１５１６５０号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
本発明者らは、フォークリフトに、パレットの特定箇所を検出可能な検出装置を搭載することを検討した。検出装置は、画像を取得するセンサと、センサの出力画像にもとづいて特定箇所を検出可能に構成された識別器（あるいは分類器ともいう）を備える。識別器は、予め取得した教師データあるいは学習データにもとづいて、機械学習によって構成される。教師データは、典型的には、特定部位を含む画像データである。識別器に、十分な識別力を獲得させるためには、撮影方向や撮影距離を変えて撮影した膨大な数の教師データが必要となる。
【0007】
フォークリフトが搬送対象とするパレットの種類が多い場合、パレット毎に教師データを用意する必要があるため、学習に要するコストが跳ね上がる。特に、さまざまな種類のパレットについて、フォークリフトの使用環境下で、サービスマンやユーザ（以下、人間という）がパレットの画像を多数撮影し、教師データを生成することとすると、人間の労力が大きく、学習に必要なコストが非常に高くなることを意味する。
【0008】
本発明は係る課題に鑑みてなされたものであり、そのある態様の例示的な目的のひとつは、学習に必要な労力や時間を削減可能な技術の提供にある。
【課題を解決するための手段】
【0009】
本発明のある態様は、パレットを搬送する搬送装置の学習に使用する教師データの生成方法に関する。搬送装置は、光を照射して反射光を測定するアクティブ型の距離画像センサと、（i）距離画像センサの出力にもとづいて画素値が距離を表す距離画像を取得可能であり、（ii）距離画像にもとづいて、パレットまたはパレットの特定部位である検出対象を特定できるように、教師データを利用して機械学習により構成された識別器を有する演算部と、を備える。教師データの生成方法は、以下の処理を含む。
ステップＡ） パレットの３次元モデルを生成する。
ステップＢ１） ３次元の仮想空間中にパレットの３次元モデルを配置し、パレットを距離画像センサによって測定したときに得られるであろう仮想距離画像を生成する。
ステップＢ２） 距離画像センサが受光するであろう反射光の強度分布を示す輝度画像を生成する。
ステップＢ３） 輝度画像にもとづいて、仮想距離画像を修正する。
ステップＣ） 修正後の仮想距離画像にもとづいた教師データを生成する。
ステップＡ） パレットの３次元モデルを生成する。
ステップＢ１） ３次元の仮想空間中にパレットの３次元モデルを配置し、パレットを距離画像センサによって測定したときに得られるであろう仮想距離画像を生成する。
ステップＢ２） 距離画像センサが受光するであろう反射光の強度分布を示す輝度画像を生成する。
ステップＢ３） 輝度画像にもとづいて、仮想距離画像を修正する。
ステップＣ） 修正後の仮想距離画像にもとづいた教師データを生成する。
【0010】
この搬送装置は、ＴＯＦ（Time Of Flight）センサ、ＬｉＤＡＲ（Light Detection and Ranging）、ストラクチャドライトカメラなどの、アクティブ型の距離画像センサにより得られる３次元点群データを、２次元の距離画像にマッピングし、距離画像を入力とする識別器を構成することにより、パレットあるいはその部位の特定の精度を高めることができる。
【0011】
ここで、パレットの形状や材質は多岐にわたるところ、あらゆるパレットについて、あらゆる状況を想定して、パレットの実物を距離画像センサによって撮影し、識別器の学習に用いる教師データを用意することは容易ではない。この態様によれば、３次元モデルを活用することで教師データを効率的に生成でき、学習を効率化できる。
【0012】
本発明者らは、実際の距離画像センサによって生成される距離画像の精度は、距離画像センサの撮像素子／受光素子が受ける反射光の強度の影響を受けることを見いだした。そこで、ステップＢ２）において、仮想的な輝度画像を生成し、ステップＢ３）において、仮想距離画像に対して、輝度画像にもとづくノイズ（誤差）を重畳したり、あるいは仮想距離画像の一部の画素を欠損データと置換することにより、実際の距離画像センサが生成する距離画像に近い画像を生成することができる。
【0013】
輝度画像は、計測対象による、拡散反射と鏡面反射を考慮して生成されてもよい。
【0014】
ステップＢ３において、輝度画像の画素値にもとづいて、仮想距離画像の画素値に誤差を重畳してもよい。たとえば、輝度が極端に大きい領域あるいは輝度が極端に小さい領域は、輝度画像に画素値に応じた不確からしさを、仮想距離画像の画素値に重畳してもよい。
【0015】
誤差特性は、輝度画像の画素値と標準偏差の関係として定めてもよい。この場合、元の仮想距離画像の画素値を平均値および輝度画像の画素値にもとづく標準偏差を、乱数関数に与え、その結果得られる乱数を、補正後の仮想距離画像の画素値とすることができる。
【0016】
ステップＢ３において、輝度画像の画素値にもとづいて、仮想距離画像の画素値を、欠損データに置換してもよい。距離画像センサの種類によっては、それが生成する距離画像が、距離情報が得られなかったことを示す欠損データ（欠損値）を含む場合がある。本発明者らは、この欠損データが、物体のエッジにおいて頻繁に発生する傾向があることを認識した。また距離画像センサの撮像素子／受光素子に入射する反射光が弱すぎる箇所や反対に強すぎる箇所にも、欠損データが発生しうることを認識した。そこで、輝度画像を参照することで、欠損データが発生しうる箇所を推定し、仮想距離画像の画素値を、欠損データに置換することで、実際の距離画像に近い画像を生成できる。
【0017】
本開示の別の態様もまた、教師データの生成方法である。教師データの生成方法は、以下の処理を含む。
Ａ） パレットの３次元モデルを生成する。
Ｂ１） ３次元の仮想空間中にパレットの３次元モデルを配置し、パレットを距離画像センサによって測定したときに得られるであろう仮想距離画像を生成する。
Ｂ２） 仮想空間中に存在するエッジを示すエッジ画像を生成する。
Ｂ３） エッジ画像にもとづいて、仮想距離画像を修正する。
Ｃ） 修正後の仮想距離画像にもとづいた教師データを生成する。
Ａ） パレットの３次元モデルを生成する。
Ｂ１） ３次元の仮想空間中にパレットの３次元モデルを配置し、パレットを距離画像センサによって測定したときに得られるであろう仮想距離画像を生成する。
Ｂ２） 仮想空間中に存在するエッジを示すエッジ画像を生成する。
Ｂ３） エッジ画像にもとづいて、仮想距離画像を修正する。
Ｃ） 修正後の仮想距離画像にもとづいた教師データを生成する。
【0018】
欠損データは、物体のエッジにおいて頻繁に発生する傾向がある。そこでエッジの位置を計算し、仮想距離画像のエッジに対応する箇所を欠損データに置換することにより、実際の距離画像に近い画像を生成できる。
【0019】
教師データの生成方法は、以下の処理を含んでもよい。
Ｂ４） 距離画像センサから物点までの距離ｚ、観測方向θ、測定面の方向φと、距離画像の画素値ｄの誤差との関係を定義する。
Ｂ５） 仮想距離画像を、関係にもとづいて補正する。
本発明者らは、距離画像データの画素値は、距離画像センサと物点の距離ｚ、距離画像センサから物点を望む観測方向θ、測定面の方向φに応じた誤差を有することを認識した。具体的には、θが小さいほど、言い換えると、中心に近いほど画素値は正確である一方、中心から遠ざかるにしたがって、距離を示す画素値の誤差が大きくなる。また、物点までの距離が遠いほど、画素値は不正確となり、誤差が大きくなる。また測定面の方向φが、物点から距離画像センサに向かうベクトルからずれるほど、誤差は大きくなる。処理Ｂ４，Ｂ５によって、物点と距離画像センサの空間的な位置関係にもとづく誤差特性を加味した教師データを生成できる。
Ｂ４） 距離画像センサから物点までの距離ｚ、観測方向θ、測定面の方向φと、距離画像の画素値ｄの誤差との関係を定義する。
Ｂ５） 仮想距離画像を、関係にもとづいて補正する。
本発明者らは、距離画像データの画素値は、距離画像センサと物点の距離ｚ、距離画像センサから物点を望む観測方向θ、測定面の方向φに応じた誤差を有することを認識した。具体的には、θが小さいほど、言い換えると、中心に近いほど画素値は正確である一方、中心から遠ざかるにしたがって、距離を示す画素値の誤差が大きくなる。また、物点までの距離が遠いほど、画素値は不正確となり、誤差が大きくなる。また測定面の方向φが、物点から距離画像センサに向かうベクトルからずれるほど、誤差は大きくなる。処理Ｂ４，Ｂ５によって、物点と距離画像センサの空間的な位置関係にもとづく誤差特性を加味した教師データを生成できる。
【0020】
上記関係は物点を含む表面の材質、および／または、色ごとに定義されてもよい。これにより、より正確に、距離画像センサの誤差特性を表現できる。
【0021】
なお、以上の構成要素の任意の組み合わせや本発明の構成要素や表現を、方法、装置、システムなどの間で相互に置換したものもまた、本発明の態様として有効である。
【発明の効果】
【0022】
本発明によれば、学習に必要な労力や時間を削減できる。
【図面の簡単な説明】
【0023】
【図1】搬送装置の一態様であるフォークリフトの外観図を示す斜視図である。
【図2】フォークリフトの操縦席の一例を示す図である。
【図4】実施の形態に係るフォークリフトの機能ブロック図である。
【図6】距離画像の一例を示す図である。
【図9】識別器の学習に用いる教師データの生成のフローチャートである。
【図10】パレットおよび距離画像センサのモデルが配置される３次元の仮想空間を示す図である。
【図12】アクティブ型の距離画像センサを用いる場合の教師データの生成方法のフローチャートである。
【図13】ＩＲ輝度画像の生成を説明する図である。
【図15】ＩＲ輝度画像の画素値と、仮想距離画像に重畳する誤差の関係の一例を示す図である。
【図17】ＩＲ輝度画像の画素値と、欠損データの発生率の測定結果を示す図である。
【図18】距離画像センサと物点Ｐの位置関係を示す図である。
【発明を実施するための形態】
【0024】
以下、本発明を好適な実施の形態をもとに図面を参照しながら説明する。各図面に示される同一または同等の構成要素、部材、処理には、同一の符号を付するものとし、適宜重複した説明は省略する。また、実施の形態は、発明を限定するものではなく例示であって、実施の形態に記述されるすべての特徴やその組み合わせは、必ずしも発明の本質的なものであるとは限らない。
【0025】
図１は、搬送装置の一態様であるフォークリフトの外観図を示す斜視図である。フォークリフト６００は、車体（シャーシ）６０２、フォーク６０４、昇降体（リフト）６０６、マスト６０８、車輪６１０、６１２を備える。マスト６０８は車体６０２の前方に設けられる。昇降体６０６は、油圧アクチュエータ（図１に不図示）などの動力源によって駆動され、マスト６０８に沿って昇降する。昇降体６０６には、荷物を支持するためのフォーク６０４が取り付けられている。フォークリフト６００は、２本のフォーク６０４が図示しないパレットの穴（フォークポケット）に挿入された状態で、パレットを搬送する。
【0026】
図２は、フォークリフトの操縦席７００の一例を示す図である。操縦席７００は、イグニッションスイッチ７０２、ステアリングホイール７０４、リフトレバー７０６、アクセルペダル７０８、ブレーキペダル７１０、ダッシュボード７１４、前後進レバー７１２を備える。
【0027】
イグニッションスイッチ７０２は、フォークリフト６００の起動用のスイッチである。ステアリングホイール７０４は、フォークリフト６００の操舵を行うための操作手段である。リフトレバー７０６は、昇降体６０６を上下に移動させるための操作手段である。アクセルペダル７０８は、走行用の車輪の回転を制御する操作手段であり、オペレータが踏み込み量を調節することでフォークリフト６００の走行が制御される。オペレータがブレーキペダル７１０を踏み込むと、ブレーキがかかる。前後進レバー７１２は、フォークリフト６００の走行方向を、前進と後進で切りかえるためのレバーである。そのほか、図示しないインチングペダルが設けられてもよい。
【0028】
オペレータは、車体の位置制御に関して、ステアリングホイール７０４とアクセルペダル７０８、ブレーキペダル７１０を操作し、フォーク６０４の位置制御に関して、リフトレバー７０６を操作する必要がある。
【0029】
図３（ａ）～（ｈ）は、フォークリフト６００が搬送対象とするパレットを示す図である。パレット８００は、上板８０６、穴８０２、桁８０４を有する。パレット８００の形状は、ＪＩＳ規格により定められるほか、目的や用途に応じて多種多様な形状のものが存在する。図３（ａ）～（ｈ）はそれぞれ、ＪＩＳ規格でＳ２，ＳＵ２，ＤＰ４，Ｒ４，ＲＷ２，Ｄ２，ＤＵ２，Ｄ４と表記される。図３（ａ）～（ｈ）に示すように、一概にパレットといっても、さまざまな形状、構造が存在しており、不慣れなオペレータにとって、複数の操作入力手段（７０４，７０６，７０８，７１０，７０６）を正確に操作して、フォークポケットに正確にフォークを挿入することは容易でない。
【0030】
以下では、パレットの荷すくい動作を支援可能な構成について説明する。図４は、実施の形態に係るフォークリフト３００の機能ブロック図である。図４には、荷すくい動作の支援に関連するブロックのみが示され、その他のブロックは省略している。
【0031】
フォークリフト３００は、距離画像センサ３０２、カメラ３０３、通知手段３０４、コントローラ３１０を備える。距離画像センサ３０２は、フォークリフト３００の前方に取り付けられ、車両前方の距離情報を取得する。その限りでないが距離画像センサ３０２としては、ＴｏＦカメラ、ＬｉＤＡＲ、ストラクチャードライト法を用いたセンサ、ステレオカメラなどを用いることができる。距離画像センサ３０２は、車両前方に位置する構造物や物品等の３次元点群データを含む測距データＤ１を生成する。
【0032】
図５（ａ）、（ｂ）は、距離画像センサ３０２の設置箇所を説明する図である。図５（ａ）は、上から見た図である。フォークを挿入すべき穴の位置を検出する必要があることから、左右方向に関して、距離画像センサ３０２は、２本のフォークの中央に配置することが好ましい。これにより、フォークをパレットに挿入する際に、距離画像センサ３０２によって、パレットを正面から撮影することが可能となる。特に、後述のように桁を含む特定部位を検出対象とする場合に、フォークの中央に距離画像センサ３０２を配置しておくことで、特定部位の距離画像をうまく撮影することができる。
【0033】
図５（ｂ）は横から見た図である。上下方向に関しては、３０２ｃで示すようにフォーク６０４と同じ高さとしてもよいが、それよりわずかに上側の位置３０２ａ（あるいは下側の位置３０２ｂ）に設けるとよい。これにより、パレット８００の上板８０６の上面Ｓ１（あるいは上板８０６の下面Ｓ２）を確実に捉えることが可能となるからである。また、この位置は、フォークの高さの最終的な調整の局面において、フォークやその他の車両構造物に遮蔽されにくいという利点もある。
【0034】
図４に戻る。カメラ３０３は、フォークリフト３００の前方を撮影する。カメラ３０３の撮影した画像データＤ３は、ディスプレイ３０６に表示される。なお図４においては、カメラ３０３と距離画像センサ３０２を別個の機能ブロックとして示すが、必ずしもハードウェアとして距離画像センサ３０２と独立していることを意味するものでなく、距離画像センサ３０２は、カメラ３０３を兼ねていてもよい。たとえば距離画像センサ３０２がＴＯＦカメラやステレオカメラである場合、それから１次的に得られる単眼画像（赤外線強度分布や可視光モノクロ画像、可視光カラー画像）を、画像データＤ３として用いることができる。
【0035】
コントローラ３１０は、フォークリフト３００を統合的に制御する。コントローラ３１０は、距離画像取得部３３０および識別器３４０を備える。距離画像取得部３３０は、点群データを含む測距データＤ１にもとづいて、距離画像Ｄ２を生成する。距離画像Ｄ２とは、縦横に複数ピクセルを有する画像データであって、画素値が距離を表すデータをいう。図６は、距離画像の一例を示す図である。なお、距離画像センサ３０２の出力が距離データである場合、距離画像取得部３３０の処理は簡略化され、あるいは省略される。
【0036】
図４に戻る。識別器３４０は、距離画像Ｄ２にもとづいて、パレットまたはパレットの特定部位を特定できるように、機械学習により構成される。
【0037】
処理部３５０は、識別器３４０の検出結果にもとづいて、パレットの穴の位置を特定する。そして検出した結果にもとづいて、通知手段３０４を制御し、オペレータに通知する。通知手段３０４は、ディスプレイ３０６やスピーカ３０８を含みうる。ディスプレイ３０６は、視覚的にパレットの穴の位置やその他の情報をオペレータに通知するために用いられる。スピーカ３０８は、オペレータに聴覚的にパレットの位置やその他の情報を通知するために用いることができる。通知手段３０４による通知については後述する。
【0038】
識別器３４０および処理部３５０は、演算処理装置（ＣＰＵ）やメモリを有するマイコン３２０と、マイコン３２０が実行するソフトウェアプログラムで構成することができる。さらに距離画像取得部３３０も、マイコン３２０の機能として実装することができる。したがって距離画像取得部３３０、識別器３４０、処理部３５０は、必ずしも別個のハードウェアとして認識されるものではなく、演算処理装置とソフトウェアプログラムの組み合わせにより実現される機能を表す。
【0039】
あるいは距離画像取得部３３０と識別器３４０を別個のハードウェアで構成してもよい。たとえば距離画像センサ３０２とマイコン３２０のインタフェースとして、ＦＰＧＡ（Field Programmable Gate Array）やＡＳＩＣ（Application Specific Integrated Circuit）などのハードウェア（チップ）が搭載される場合がある。この場合、距離画像取得部３３０の処理を、このハードウェアに実行させてもよい。
【0040】
以上がフォークリフト３００の構成である。このフォークリフト３００によれば、距離画像センサにより得られる距離画像を入力とする識別器を機械学習により構成することにより、パレットあるいはその部位の特定の精度を高めることができる。そして得られた検出結果を、搬送装置の動作に反映させ、あるいはオペレータに通知することにより、オペレータの操作を支援することができる。
【0041】
なお、パレットやその特定部位を検出する別の方法として、３次元点群データを用いて、特徴的な部位をパターンマッチングによって検出する方法も考えられる。ところがこの方法は、対象物を常に同じ方向から測定する必要があり、特徴的な部位の３次元点群データを高密度に精度よく測ることが難しいという問題点がある。
【0042】
続いて識別器３４０の具体例と、その学習について説明する。一実施例において、識別器３４０は、線形ＳＶＭ（Support Vector Machine）とＨＯＧ（Histograms of Oriented Gradients）特徴量の組み合わせで構成される。線形ＳＶＭは、入力が、２クラスのいずれかに属するかを判定可能な識別器として広く用いられる。一般的な画像処理の分野において、線形ＳＶＭの入力は、画素値が輝度である画像データであるが、本実施の形態では、距離画像を入力としたところが異なっている。
【0043】
線形ＳＶＭは、２個の穴のペアを直接検出するように学習することもできる。ただし、図３（ａ）～（ｈ）に示したように、穴の形状やサイズは、パレットの種類によってさまざまである。具体的には、穴の横幅は、パレットによって異なっている。またパレットは下板を有するものもあれば、有しないものもあり、したがって穴は下側が開放されている場合と閉じている場合がある。このことから、穴を直接的な識別対象として学習した識別器では、十分に高い識別率が得られない場合がある。
【0044】
そこで本発明者らは、さらなる識別率の改善のために、パレット８００の穴８０２と穴８０２を区切る桁８０４に着目し、桁８０４を含む一部分（特定部位）を検出対象として識別器３４０を構成することとした。桁８０４は、パレット８００の規格によらずに、パレットの必須の構成要素であり、検出対象として好適であり、高い識別率が期待できる。
【0045】
図７（ａ）、（ｂ）は、検出対象である特定部位８０１を模式的に示す図である。特定部位８０１は、上板８０６の一部と、下板８０８の一部と、桁８０４および２つの穴８０２を含む。この特定部位８０１は、向かい合わせの２個のコの字形状を含むものと把握できる。図８は、図７（ａ）の特定部位８０１の距離画像を示す図である。
【0046】
【0047】
処理部３５０には、パレットの幾何学的な情報が保持されている。処理部３５０は、識別器３４０が特定した特定部位８０１の位置と、幾何学的な情報にもとづいて、演算処理によって、フォークを挿入すべき２個の穴の位置を特定することができる。たとえば、幾何学的な情報は、パレットのセンターの位置（座標）と、穴の位置の相対的な位置関係を含みうる。処理部３５０は、識別器３４０の出力にもとづいて、パレット８００のセンター位置を検出し、センター位置から、左右に所定量オフセットした位置を、フォークを挿入すべき穴の位置とすることができる。
【0048】
図７（ｃ）は、別のパレットの一部分を示す図である。パレットは、３個の（あるいはそれより多い）穴を有する場合もあり、その場合、１個のパレットが、２個の（あるいはそれより多い）桁を含み、１個のパレットについて、２個の特定部位８０１が隣接して検出される場合もありえる。この場合、２個の特定部位８０１のセンター（すなわち２個の桁８０４のセンター）を、パレット８００全体のセンター位置と判定してもよい。
【0049】
（識別器の学習）
続いて、識別器３４０の学習について説明する。
続いて、識別器３４０の学習について説明する。
【0050】
図９は、識別器３４０の学習に用いる教師データの生成のフローチャートである。はじめに、パレット８００の３次元モデルＭｐが生成される（Ｓ１００）。パレットの３次元モデルＭｐは、パレットの３次元ＣＡＤデータに相当する。
【0051】
また距離画像センサ３０２のモデルＭｓが生成される（Ｓ１０２）。距離画像センサ３０２のモデルは、距離画像センサ３０２の画角や入出力特性を記述したものであり、画角、解像度、計測精度、温度、フレームレート、応答特性などを考慮して生成することができる。応答特性は、波長感度特性やトランジェントな応答特性を含みうる。距離画像センサ３０２のモデルは、図１２以降を参照して説明するような、ＩＲ輝度画像、物体のエッジ、物点までの距離、観測方向、測定面の方向などにもとづく誤差や欠損を考慮したものとすることができる。
【0052】
パレット８００の３次元モデルＭｐと、距離画像センサ３０２のモデルＭｓが、計算機シミュレータの３次元の仮想空間中に配置される（Ｓ１０４）。その状態で距離画像センサ３０２のモデルＭｓの出力を、仮想距離画像Ｉ１として取得し（Ｓ１０６）、仮想距離画像Ｉ１にもとづいた教師データＩ２を生成する（Ｓ１０８）。
【0053】
処理Ｓ１０６～Ｓ１０８は、パレットと距離画像センサのモデルＭｐ，Ｍｓの相対的な位置関係を変化させながら繰り返される（Ｓ１１０）。
【0054】
図１０は、パレットおよび距離画像センサのモデルＭｐ，Ｍｓが配置される３次元の仮想空間９００を示す図である。ここでは距離画像センサ３０２のモデルＭｓが原点に配置されるものとする。破線は距離画像センサ３０２の視野を表す。図８のステップＳ１１０では、パレット８００のモデルＭｐの位置（ｘ、ｙ、ｚ）を変化させる。ステップＳ１１０においては、位置（ｘ，ｙ，ｚ）に加えて、姿勢（θｐ，θｙ，θｒ）を変化させてもよい。
【0055】
以上が、実施の形態に係る教師データの生成方法である。
【0056】
パレットの形状や材質は多岐にわたるところ、あらゆるパレットについて、あらゆる状況を想定して、パレットの実物を距離画像センサによって撮影し、識別器の学習に用いる教師データを用意することは容易ではない。この態様によれば、３次元モデルを活用することで教師データを効率的に生成でき、学習を効率化できる。
【0057】
（背景情報の追加）
図８の処理Ｓ１０６において、仮想距離画像Ｉ１に、背景距離画像Ｉ３を重畳して、教師データＩ２を生成してもよい。
図８の処理Ｓ１０６において、仮想距離画像Ｉ１に、背景距離画像Ｉ３を重畳して、教師データＩ２を生成してもよい。
【0058】
図１１（ａ）～（ｃ）は、背景距離画像にもとづく教師データの生成を説明する図である。図１１（ａ）は、図１０において得られるパレット８００の仮想距離画像Ｉ１である。図１１（ｂ）は、背景距離画像Ｉ３を表す。背景距離画像Ｉ３としては、パレットが実際に使用される環境において、実際の距離画像センサ３０２により撮影された実際の背景の距離画像を用いるとよい。
【0059】
図１１（ａ）のパレットの仮想距離画像Ｉ１と、図１１（ｂ）の背景距離画像Ｉ３を合成すると、図１１（ｃ）の合成距離画像が得られる。この合成距離画像の一部あるいは全部を、教師データとして用いることができる。
【0060】
パレットの仮想距離画像Ｉ１と、背景距離画像Ｉ３を重畳して教師データを生成することで、実際にパレットが使用される環境における識別率を改善できる。
【0061】
なお、背景距離画像Ｉ３は、距離画像センサ３０２の実測により生成したものを用いてもよい。距離画像センサ３０２のセンシングは、環境光などの影響を大きく受けるところ、背景については、実際の撮影画像を用いることにより、環境光の影響を考慮した教師データを生成でき、識別率を改善する効果が期待される。
【0062】
あるいは、３次元の仮想空間中に背景となる物体の３次元モデルを配置して、距離画像センサ３０２のモデルＭｓを用いて、背景の仮想距離画像を生成し、パレットの仮想距離画像と背景の仮想距離画像を重畳して教師データとしてもよい。
【0063】
あるいは、３次元の仮想空間中に、背景となる物体の３次元モデルとパレットの３次元モデルを配置して、それらを含む仮想距離画像を生成し、その一部あるいは全部を教師データとしてもよい。
【0064】
（誤差モデル）
これまでの説明では、距離画像センサ３０２のモデルＭｓのみを考慮した計測モデルを説明したが、より正確な教師データを生成するために、誤差モデルＭＥＲＲを導入するとよい。
これまでの説明では、距離画像センサ３０２のモデルＭｓのみを考慮した計測モデルを説明したが、より正確な教師データを生成するために、誤差モデルＭＥＲＲを導入するとよい。
【0065】
誤差モデルＭＥＲＲは、（i）計測対象までの距離、（ii）計測面の方向、（iii）計測対象の材質の少なくともひとつが距離画像センサの出力に与える影響を記述するものである。距離画像センサの出力に与える影響は、計測対象までの距離、計測面の方向、計測対象の材質の順で大きいため、誤差モデルＭＥＲＲは、少なくとも計測対象までの距離を考慮して作成するとよく、より好ましくは計測対象までの距離と、計測面の方向の両方を考慮して作成するとよく、さらに精度を高めたい場合は、３個すべてを考慮して作成するとよい。
【0066】
（i） 計測対象までの距離
距離画像センサの入出力特性を考える。理想的な距離画像センサでは、出力である距離画像の画素値ｐｖは、入力である距離ｄに対して線形に変化する。
ｐｖ＝ａ１×ｄ …（１）
距離画像センサの入出力特性を考える。理想的な距離画像センサでは、出力である距離画像の画素値ｐｖは、入力である距離ｄに対して線形に変化する。
ｐｖ＝ａ１×ｄ …（１）
【0067】
しかしながら実際の距離画像センサでは、そのセンサの方式や、製品の種類により、傾きａ１が異なる場合がある。あるいは、式（２）に示すように、非線形な項が含まれる場合や、オフセット項ａ０が含まれる場合もある。
ｐｖ＝ａ０＋ａ１×ｄ＋ａ２×ｄ２＋・・・ …（２）
そこで誤差モデルＭＥＲＲでは、距離画像センサと計測対象の距離ｄと、距離画像における画素値ｐｖの関係を記述する。
ｐｖ＝ａ０＋ａ１×ｄ＋ａ２×ｄ２＋・・・ …（２）
そこで誤差モデルＭＥＲＲでは、距離画像センサと計測対象の距離ｄと、距離画像における画素値ｐｖの関係を記述する。
【0068】
（ii） 計測面の方向
式（２）で表される入出力特性は、計測面の方向に応じて変化する場合がある。たとえば距離画像センサ３０２の正面の物体に対しては、ある係数のセットＳ１［ａ０，ａ１，…］を有する入出力特性が得られているとする。この場合に、別の方向に対して、入出力特性が同じセットＳ１で記述できるとは限らず、別の係数のセットＳ２［ａ０，ａ１，…］を有する入出力特性が得られる場合がある。そこで誤差モデルＭＥＲＲは、計測面の方向を考慮して作成するとよい。
式（２）で表される入出力特性は、計測面の方向に応じて変化する場合がある。たとえば距離画像センサ３０２の正面の物体に対しては、ある係数のセットＳ１［ａ０，ａ１，…］を有する入出力特性が得られているとする。この場合に、別の方向に対して、入出力特性が同じセットＳ１で記述できるとは限らず、別の係数のセットＳ２［ａ０，ａ１，…］を有する入出力特性が得られる場合がある。そこで誤差モデルＭＥＲＲは、計測面の方向を考慮して作成するとよい。
【0069】
（iii） 材料
距離画像センサ３０２のセンシングの方式、使用波長などによって、同じ距離にある物体を同一の距離画像センサ３０２によって測定しても、物体の材料が異なると、距離画像センサ３０２の出力に基づく距離画像の画素値が同一にならない場合がある。
距離画像センサ３０２のセンシングの方式、使用波長などによって、同じ距離にある物体を同一の距離画像センサ３０２によって測定しても、物体の材料が異なると、距離画像センサ３０２の出力に基づく距離画像の画素値が同一にならない場合がある。
【0070】
ここでパレット８００の材料や表面の材質は、樹脂や木材、金属、あるいはそれら塗装したものなど多岐にわたる。この認識にもとづき、距離画像センサ３０２のモデルＭｓは、測定対象の材料（材質）の違いが、距離画像センサ３０２の出力に与える影響を考慮して生成されている。すなわち材料ごとに、距離画像センサ３０２の入出力特性を予め測定しておき、それを考慮した誤差モデルＭＥＲＲを用意する。パレット８００のモデルＭｐは、パレット８００の部分ごとの、あるいは全体の材料が指定可能となっている。これにより、より正確な教師データを生成できる。
【0071】
（環境モデル）
計測モデルには、誤差モデルＭＥＲＲに加えて、あるいはそれに代えて、環境モデルＭＥＮＶを導入することができる。環境モデルＭＥＮＶは、環境光、周囲温度の少なくともひとつが距離画像センサの出力に与える影響を記述するものである。
計測モデルには、誤差モデルＭＥＲＲに加えて、あるいはそれに代えて、環境モデルＭＥＮＶを導入することができる。環境モデルＭＥＮＶは、環境光、周囲温度の少なくともひとつが距離画像センサの出力に与える影響を記述するものである。
【0072】
多くの距離画像センサ３０２は、物体に光を照射し、その反射光を測定することにより、物体までの距離をセンシングするアクティブセンサである。ここで、距離画像センサ３０２が使用される環境に、光と同じ波長の環境光が存在すると、距離画像センサ３０２の出力にもとづく距離画像にノイズが重畳されることとなる。環境モデルＭＥＮＶを導入すると、仮想距離画像Ｉ１に、環境光に依存するノイズを重畳することができ、教師データを、より実環境で得られる距離画像に近づけることができる。
【0073】
また周囲温度の影響によって、計測誤差が変化する。そこで環境モデルに、周囲温度が与える影響を記述するとよい。
【0074】
（アクティブ型の距離画像センサの誤差モデル）
距離画像センサ３０２として、赤外、近赤外光（以下、ＩＲ光という）を光として物体に照射し、ＩＲ反射光を測定するアクティブ型のセンサを用いる場合の教師データの生成について説明する。
距離画像センサ３０２として、赤外、近赤外光（以下、ＩＲ光という）を光として物体に照射し、ＩＲ反射光を測定するアクティブ型のセンサを用いる場合の教師データの生成について説明する。
【0075】
図１２は、アクティブ型の距離画像センサを用いる場合の教師データの生成方法のフローチャートである。このフローチャートは、図９のフローチャートに加えて、処理Ｓ１２０，Ｓ１２２を含む。なお、図１２には示さないが、教師データには背景画像を追加してもよい。
【0076】
処理Ｓ１２０では、距離画像センサ３０２が受光するであろうＩＲ反射光の強度分布（ＩＲ輝度分布）を示すＩＲ輝度画像Ｉ４を生成する。ＩＲ輝度画像Ｉ４の解像度は、距離画像センサ３０２の解像度（つまり、仮想距離画像Ｉ１の解像度）と同一としてもよいし、異なっていてもよいが、仮想距離画像Ｉ１の画素と、ＩＲ輝度画像Ｉ４の画素は対応付けが可能である。
【0077】
続く処理Ｓ１２２では、ＩＲ輝度画像Ｉ４にもとづいて、仮想距離画像Ｉ１を修正する。続く処理Ｓ１０８において、修正後の仮想距離画像Ｉ１’にもとづいた教師データＩ２が生成される。
【0078】
図１３は、ＩＲ輝度画像Ｉ４の生成を説明する図である。光源４００は、距離画像センサ３０２のＩＲ光を照射する光源に対応し、カメラ４０２は、距離画像センサ３０２の撮像素子や受光素子に対応する。
【0079】
カメラ４０２は、光源４００が放射した光のうち、物体ＯＢＪが反射した光を測定する。図１３では、光源４００とカメラ４０２は、異なる位置に設けられ、照明方向（ベクトル）Ｌｖと観測方向Ｖｖが異なる場合が示されているが、実際の距離画像センサ３０２では、光源４００とカメラ４０２は、実質的に同じ場所に、実質的に同じ方向を向いて配置されており、したがって照明方向Ｌｖと観測方向Ｖｖの向きはほぼ一致する。Ｎｖは、反射点における法線を向く法線ベクトルである。
【0080】
カメラ４０２が測定する反射光には、物体ＯＢＪによる拡散反射光と、鏡面反射光が含まれる。拡散反射光は、照射方向および観測方向に依存せず、等方的に発生する。カメラ４０２が観測する光強度は、カメラ４０２と物体ＯＢＪまでの距離ｒ、物体ＯＢＪの表面の拡散反射率ｋｄなどにもとづいて計算することができる。拡散反射率ｋｄは物体ＯＢＪの表面の材質などに応じて決まるものであり、パラメータとして与えられる。
【0081】
鏡面反射光は、観測方向Ｖｖが正反射方向（ベクトル）Ｒｖと一致するときに最も強くなり、観測方向Ｖｖが正反射方向Ｒｖから離れるに従って小さくなる。反射光の指向性は、表面粗さｎなどの反射面の表面性状と偏光特性に応じて定まる。反射光強度Ｉｓは、鏡面反射率ｋｓ、距離ｒ、物体ＯＢＪの表面粗さｎなどをパラメータとして計算することができる。
【0082】
ＩＲ輝度画像Ｉ４の生成は以下のように計算できる。
３次元の仮想空間中に配置されるパレット８００やその周辺の物体について、それぞれの反射特性を規定するパラメータ、具体的には、拡散反射率ｋｄ、鏡面反射率ｋｓ、表面粗さｎなどを与える。そして公知のシェーディング（レンダリング）の手法を用いて、距離画像センサ３０２の撮像素子が受けるＩＲ反射光の強度分布を計算し、ＩＲ輝度画像Ｉ４を生成する。
３次元の仮想空間中に配置されるパレット８００やその周辺の物体について、それぞれの反射特性を規定するパラメータ、具体的には、拡散反射率ｋｄ、鏡面反射率ｋｓ、表面粗さｎなどを与える。そして公知のシェーディング（レンダリング）の手法を用いて、距離画像センサ３０２の撮像素子が受けるＩＲ反射光の強度分布を計算し、ＩＲ輝度画像Ｉ４を生成する。
【0083】
図１４（ａ）～（ｃ）は、図１２のフローチャートにもとづく教師データの生成を示す図である。図１４（ａ）は、仮想の三次元空間に、パレット８００やその他の物体のモデルが配置される様子が示される。図１４（ｂ）の上段は、図１４（ａ）のモデルにもとづいて生成される誤差を含まない仮想距離画像Ｉ１を示している。図１４（ｃ）は、図１４（ａ）のモデルにもとづいて生成されるＩＲ輝度画像Ｉ４を示す。図１４（ｂ）の下段には、ＩＲ輝度画像Ｉ４にもとづく補正後の仮想距離画像Ｉ１’が示される。図１４（ｂ）の補正後の仮想距離画像Ｉ１’のある画素の画素値ｄと、図１４（ａ）の補正前の仮想距離画像Ｉ１の対応する画素値ｄ’の差分ｄ’－ｄは、ＩＲ輝度画像Ｉ４の対応する画素値αと相関を有している。
ｄ’－ｄ＝ｆ（α）
ｄ’－ｄ＝ｆ（α）
【0084】
以上が、アクティブセンサを用いる場合の教師データの生成方法である。続いてその利点を説明する。
【0085】
本発明者らは、実際の距離画像センサによって生成される距離画像の精度は、距離画像センサ３０２の撮像素子／受光素子が受ける反射光の強度の影響を受けることを見いだした。そこで、処理Ｓ１２０において、仮想的なＩＲ輝度画像を生成し、処理Ｓ１２２において、仮想距離画像Ｉ１に対して、ＩＲ輝度画像Ｉ４にもとづくノイズを重畳したり、あるいは仮想距離画像Ｉ１の一部の画素を欠損データと置換することにより、実際の距離画像センサが生成する距離画像に近い画像を生成することができる。
【0086】
続いて、ＩＲ輝度画像Ｉ４にもとづく、仮想距離画像Ｉ１の補正処理の具体例を説明する。
【0087】
（実施例１）
一実施例において、ＩＲ輝度画像Ｉ４の画素値にもとづいて、仮想距離画像Ｉ１の画素値に誤差を重畳してもよい。図１５は、ＩＲ輝度画像Ｉ４の画素値と、距離の誤差の関係の一例を示す図である。横軸はＩＲ輝度画像Ｉ４の画素値αであり、縦軸は距離の誤差δを標準偏差ＳＤで示したものである。
一実施例において、ＩＲ輝度画像Ｉ４の画素値にもとづいて、仮想距離画像Ｉ１の画素値に誤差を重畳してもよい。図１５は、ＩＲ輝度画像Ｉ４の画素値と、距離の誤差の関係の一例を示す図である。横軸はＩＲ輝度画像Ｉ４の画素値αであり、縦軸は距離の誤差δを標準偏差ＳＤで示したものである。
【0088】
プロットはある距離画像センサ３０２について得られた実測値を表し、実線はフィッティングした関数ｆ（α）を示す。
ＳＤ＝ｆ（α）＝１３１６α－０．９８＋０．８８
ＳＤ＝ｆ（α）＝１３１６α－０．９８＋０．８８
【0089】
一例として、ＩＲ輝度画像Ｉ４の画素値αが４００である場合、標準偏差ＳＤは５ｍｍである。つまり、ＩＲ輝度画像Ｉ４の画素値αが４００である画素について、仮想距離画像Ｉ１の画素値（距離）は、統計的に標準偏差が５ｍｍである正規分布に従った誤差を有することを意味する。
【0090】
この例では、ＩＲ反射光の強度が小さいほど、重畳される誤差が大きくなる。これは、ＩＲ反射光の輝度が小さいほど、言い換えると、物点までの距離が遠い場合や、物点の反射率が非常に低い場合などは、距離画像センサ３０２による測距が不正確であるものとして、大きな誤差が重畳される。
【0091】
仮想距離画像Ｉ１のある画素［ｘ，ｙ］に着目し、その画素値（つまり距離）がｄであるとする。ＩＲ輝度画像Ｉ４の同じ画素の画素値（つまり反射光強度）がαであるとき、補正後の仮想距離画像Ｉ１の同じ画素［ｘ，ｙ］の画素値ｄは、標準偏差ＳＤにもとづく統計的な誤差δを重畳することにより、以下のように補正される。
ｄ’＝ｄ＋δｄ
δｄの生成には、平均値および標準偏差を指定可能な乱数発生を用いればよい。
ｄ’＝ｄ＋δｄ
δｄの生成には、平均値および標準偏差を指定可能な乱数発生を用いればよい。
【0092】
図１６（ａ）、（ｂ）は、図１５の関係にもとづく仮想距離画像の補正を示す図である。図１６（ａ）、（ｂ）はそれぞれ、補正前、補正後の仮想距離画像のうち、パレット８００の桁８０４を含む中央部分を抜き出して示したものである。
【0093】
パレット８００の穴およびその周辺は、ＩＲ輝度画像Ｉ４の画素値が小さい。このようなＩＲ輝度画像Ｉ４の画素値が小さい部分については、仮想距離画像の画素値（距離）にノイズが重畳されることとなる。
【0094】
以上の処理により、実際の距離画像センサ３０２により測定される距離画像に近い教師データを得ることができる。
【0095】
なお、距離画像センサ３０２の測距方式によっては、ＩＲ反射光の強度が高すぎる場合にも、距離が不正確になる場合がある。この場合には、ＩＲ輝度画像Ｉ４の画素値が小さい部分のみでなく、ＩＲ輝度画像Ｉ４の画素値が大きい部分についても、仮想距離画像Ｉ１の画素値に誤差を重畳してもよい。つまり、関数ｆを修正すればよい。
【0096】
（実施例２）
ＩＲ輝度画像Ｉ４の画素値αにもとづいて、仮想距離画像Ｉ１の画素値ｄを、欠損データに置換してもよい。距離画像センサ３０２の種類によっては、それが生成する距離画像が、距離情報が得られなかったことを示す欠損データ（欠損値）を含む場合がある。
ＩＲ輝度画像Ｉ４の画素値αにもとづいて、仮想距離画像Ｉ１の画素値ｄを、欠損データに置換してもよい。距離画像センサ３０２の種類によっては、それが生成する距離画像が、距離情報が得られなかったことを示す欠損データ（欠損値）を含む場合がある。
【0097】
本発明者らは、欠損データが、物体のエッジにおいて頻繁に発生する傾向があることを認識した。また距離画像センサ３０２の撮像素子／受光素子に入射する反射光が弱すぎる箇所や反対に強すぎる箇所にも、欠損データが発生しうることを認識した。
【0098】
図１７は、ＩＲ輝度画像Ｉ４の画素値と、欠損データの発生率の測定結果を示す図である。図１７から、欠損データの発生確率は、ＩＲ輝度画像Ｉ４の画素値に依存すること、具体的には、ＩＲ輝度画像Ｉ４の画素値が小さい箇所、あるいは大きい箇所に置いて、欠損データの発生確率が高くなることが分かる。
【0099】
そこで実施例２では、ＩＲ輝度画像Ｉ４を参照し、画素値αにもとづいて欠損データが発生しうる箇所（画素）を推定し、仮想距離画像Ｉ１の当該画素の画素値を、欠損データに置換する。欠損データは、確率的に発生するため、欠損データに置換するかは、乱数などを用いて決定してもよい。なお、物体のエッジ部分では、必然的にＩＲ輝度画像Ｉ４の画素値は小さくなるため、実施例２では、物体のエッジにおいて生ずる欠損データも、表現できている。
【0100】
実施例２によれば、実際の距離画像に含まれる欠損データの発生をエミュレートでき、実際の距離画像に近い教師データを生成できる。
【0101】
（実施例３）
実施例３では、ＩＲ輝度画像Ｉ４にもとづいて欠損データを発生した。実施例３では、物体のエッジ（輪郭）を計算によって求め、仮想距離画像Ｉ１のうち、エッジに対応する部分の画素を、欠損データに置換する。
実施例３では、ＩＲ輝度画像Ｉ４にもとづいて欠損データを発生した。実施例３では、物体のエッジ（輪郭）を計算によって求め、仮想距離画像Ｉ１のうち、エッジに対応する部分の画素を、欠損データに置換する。
【0102】
たとえば、エッジの部分を示すエッジ画像Ｉ５を生成する。エッジ画像Ｉ５は、三次元のモデリングデータから容易に生成することができる。そして、仮想距離画像Ｉ１のうち、エッジ画像Ｉ５がエッジであることを示す画素については、その画素値を、所定の確率で欠損データに置換する。所定の確率は、実測データにもとづいて求めることができ、ある測距センサでは、８５％であった。
【0103】
実施例３によれば、実際の距離画像に含まれる欠損データの発生をエミュレートでき、実際の距離画像に近い教師データを生成できる。
【0104】
（実施例４）
図１８は、距離画像センサ３０２と物点Ｐの位置関係を示す図である。本発明者らは、距離画像センサ３０２が生成する距離画像の画素値（すなわち物点までの距離ｚ）は、物体ｚまでの距離、観測方向θ、測定面の方向φ、物体の材質に応じた誤差を有する傾向を見いだした。観測方向θは、距離画像センサ３０２から物点Ｐに向かうベクトルの向きである。測定面の方向φは、物点における法線ベクトルの向きである。
図１８は、距離画像センサ３０２と物点Ｐの位置関係を示す図である。本発明者らは、距離画像センサ３０２が生成する距離画像の画素値（すなわち物点までの距離ｚ）は、物体ｚまでの距離、観測方向θ、測定面の方向φ、物体の材質に応じた誤差を有する傾向を見いだした。観測方向θは、距離画像センサ３０２から物点Ｐに向かうベクトルの向きである。測定面の方向φは、物点における法線ベクトルの向きである。
【0105】
図１９（ａ）は、距離ｚと距離画像の画素値の誤差の測定結果を示す図であり、図１９（ｂ）は、観測方向θと距離画像の画素値誤差の測定結果を示す図である。図１９（ａ）、（ｂ）は、ある材質を測定するときの誤差であり、別の材質の場合には、別の誤差特性が得られる可能性があり、また表面の色が異なれば、別の誤差特性が得られる可能性もある。
【0106】
実施例４では、距離ｚ、方向θ、φを入力（引数）とし、誤差を出力とする関数σ（ｚ，θ，φ）を、材質の種類ごと（あるいは色ごと、あるいは材質と色の組み合わせごと）に定義しておく。なお、方向θ、φはベクトルデータであってもよい。そして、３次元モデルに基づいて、物点までの距離ｚおよび観測方向θ、測定面の方向φを計算し、関数σに入力し、誤差を生成する。
【0107】
実施例４によれば、実際の距離画像に含まれる誤差をエミュレートでき、実際の距離画像に近い教師データを生成できる。
【0108】
実施例１～実施例４で説明した誤差のモデリング手法は、任意の組み合わせで使用することができ、すべての実施例を組み合わせて、教師データを生成してもよい。
【0109】
以上、本発明を実施例にもとづいて説明した。本発明は上記実施形態に限定されず、種々の設計変更が可能であり、様々な変形例が可能であること、またそうした変形例も本発明の範囲にあることは、当業者に理解されるところである。以下、こうした変形例を説明する。
【0110】
実施の形態では搬送装置としてフォークリフトを例に説明したが、本発明の適用はその限りでなく、ハンドリフト（ハンドパレット）やＡＧＶ（Automatic Guided Vehicle）、フォークローダー（フォーク付きのホイルローダー）など、パレットを取り扱うさまざまな搬送装置に適用することができる。
【符号の説明】
【0111】
６００ フォークリフト
６０２ 車体
６０４ フォーク
６０６ 昇降体
６０８ マスト
６１０ 前輪
６１２ 後輪
７００ 操縦席
７０２ イグニッションスイッチ
７０４ ステアリングホイール
７０６ リフトレバー
７０８ アクセルペダル
７１０ ブレーキペダル
７１２ 前後進レバー
７１４ ダッシュボード
３００ フォークリフト
３０２ 距離画像センサ
３０３ カメラ
３０４ 通知手段
３０６ ディスプレイ
３０８ スピーカ
３１０ コントローラ
３２０ マイコン
３３０ 距離画像取得部
３４０ 識別器
３５０ 処理部
３６０ パターンマッチング部
３６２ テンプレート画像生成部
Ｄ１ 測距データ
Ｄ２ 距離画像
Ｄ３ 画像データ
Ｄ４ 部分距離画像
Ｄ５ 位置情報
Ｄ６ テンプレート画像
８００ パレット
８０１ 特定部位
８０２ 穴
８０４ 桁
６０２ 車体
６０４ フォーク
６０６ 昇降体
６０８ マスト
６１０ 前輪
６１２ 後輪
７００ 操縦席
７０２ イグニッションスイッチ
７０４ ステアリングホイール
７０６ リフトレバー
７０８ アクセルペダル
７１０ ブレーキペダル
７１２ 前後進レバー
７１４ ダッシュボード
３００ フォークリフト
３０２ 距離画像センサ
３０３ カメラ
３０４ 通知手段
３０６ ディスプレイ
３０８ スピーカ
３１０ コントローラ
３２０ マイコン
３３０ 距離画像取得部
３４０ 識別器
３５０ 処理部
３６０ パターンマッチング部
３６２ テンプレート画像生成部
Ｄ１ 測距データ
Ｄ２ 距離画像
Ｄ３ 画像データ
Ｄ４ 部分距離画像
Ｄ５ 位置情報
Ｄ６ テンプレート画像
８００ パレット
８０１ 特定部位
８０２ 穴
８０４ 桁
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】