特開 2024-6357 搬送装置の学習に使用する教師データの生成方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024006357

(43)【公開日】2024-01-17

(54)【発明の名称】搬送装置の学習に使用する教師データの生成方法

(51)【国際特許分類】

   G06V 10/774 20220101AFI20240110BHJP

   G06T 7/00 20170101ALI20240110BHJP

   G06T 19/00 20110101ALI20240110BHJP

   B66F 9/24 20060101ALI20240110BHJP

【ＦＩ】

G06V10/774

G06T7/00 350B

G06T19/00 A

B66F9/24 L

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2022107165

(22)【出願日】2022-07-01

(71)【出願人】

【識別番号】000183222

【氏名又は名称】住友ナコ フォ－クリフト株式会社

(71)【出願人】

【識別番号】305060567

【氏名又は名称】国立大学法人富山大学

(74)【代理人】

【識別番号】100105924

【弁理士】

【氏名又は名称】森下 賢樹

(74)【代理人】

【識別番号】100116274

【弁理士】

【氏名又は名称】富所 輝観夫

(72)【発明者】

【氏名】日南 敦史

(72)【発明者】

【氏名】笹木 亮

(72)【発明者】

【氏名】寺林 賢司

(72)【発明者】

【氏名】浅野 良太

【テーマコード（参考）】

3F333

5B050

5L096

【Ｆターム（参考）】

3F333AA02

3F333AB13

3F333AE02

3F333FD14

3F333FD15

3F333FE04

3F333FE05

5B050AA03

5B050BA06

5B050BA09

5B050BA13

5B050CA01

5B050DA04

5B050EA07

5B050EA19

5B050EA26

5B050FA02

5B050FA05

5L096AA09

5L096HA11

5L096KA04

(57)【要約】

【課題】学習に必要な労力や時間を削減可能な技術を提供する。
【解決手段】パレットの３次元モデルを生成する（Ｓ１００）。そして３次元の仮想空間中にパレットの３次元モデルを配置し、パレットの３次元モデルと距離画像センサのモデルの相対位置を変化させながら、パレットを距離画像センサによって測定したときに得られるであろう仮想距離画像を生成する（Ｓ１０４）。そして仮想距離画像にもとづいた教師データを生成する（Ｓ１０８）。
【選択図】図９

【特許請求の範囲】

【請求項1】

パレットを搬送する搬送装置の学習に使用する教師データの生成方法であって、
前記搬送装置は、
光を照射して反射光を測定するアクティブ型の距離画像センサと、
（i）前記距離画像センサの出力にもとづいて画素値が距離を表す距離画像を取得可能であり、（ii）前記距離画像にもとづいて、パレットまたは前記パレットの特定部位である検出対象を特定できるように、前記教師データを利用して機械学習により構成された識別器を有する演算部と、
を備えるものであり、
前記生成方法は、
前記パレットの３次元モデルを生成するステップと、
３次元の仮想空間中に前記パレットの３次元モデルを配置し、前記パレットを前記距離画像センサによって測定したときに得られるであろう仮想距離画像を生成するステップと、
前記距離画像センサが受光するであろう前記反射光の強度分布を示す仮想輝度画像を生成するステップと、
前記仮想輝度画像にもとづいて、前記仮想距離画像を修正するステップと、
修正後の前記仮想距離画像にもとづいた前記教師データを生成するステップと、を備え、
前記仮想輝度画像は、計測対象における拡散反射および鏡面反射の反射特性を示すパラメータを用いて生成され、
前記反射特性を示すパラメータの値は、実空間中に配置される前記計測対象を前記距離画像センサによって実測したときに得られる実測輝度画像を用いて決定されることを特徴とする生成方法。

【請求項2】

前記反射特性を示すパラメータは、前記計測対象の表面の材質、および／または、色ごとに決定されることを特徴とする請求項１に記載の生成方法。

【請求項3】

前記仮想距離画像を修正するステップは、前記仮想輝度画像の画素値にもとづいて、前記仮想距離画像の画素値に誤差を重畳することを含むことを特徴とする請求項１または２に記載の生成方法。

【請求項4】

パレットを搬送する搬送装置の学習に使用する教師データの生成方法であって、
前記搬送装置は、
光を照射して反射光を測定するアクティブ型の距離画像センサと、
（i）前記距離画像センサの出力にもとづいて画素値が距離を表す距離画像を取得可能であり、（ii）前記距離画像にもとづいて、パレットまたは前記パレットの特定部位である検出対象を特定できるように、前記教師データを利用して機械学習により構成された識別器を有する演算部と、
を備えるものであり、
前記生成方法は、
前記パレットの３次元モデルを生成するステップと、
３次元の仮想空間中に前記パレットの３次元モデルを配置し、前記パレットを前記距離画像センサによって測定したときに得られるであろう仮想距離画像を生成するステップと、
前記距離画像センサが受光するであろう前記反射光の強度分布を示す仮想輝度画像を生成するステップと、
前記仮想距離画像および前記仮想輝度画像を利用して生成される欠損データにもとづいて、前記仮想距離画像を修正するステップと、
修正後の前記仮想距離画像にもとづいた前記教師データを生成するステップと、を備えることを特徴とする生成方法。

【請求項5】

前記欠損データは、実空間中に配置される計測対象を前記距離画像センサによって実測したときに得られる実測距離画像および実測輝度画像を入力とする機械学習によって構成される欠損データ生成器によって生成されることを特徴とする請求項４に記載の生成方法。

【請求項6】

前記欠損データ生成器は、畳み込みニューラルネットワークを備え、畳み込みカーネルの中心のカーネル値を固定値とする制約条件下で実行される機械学習によって構成されることを特徴とする請求項５に記載の生成方法。

【請求項7】

前記固定値は、０であることを特徴とする請求項６に記載の生成方法。

【請求項8】

前記生成方法は、前記仮想輝度画像の画素値にもとづいて、前記仮想距離画像の画素値に誤差を重畳した誤差重畳距離画像を生成するステップをさらに備え、
前記欠損データは、前記誤差重畳距離画像を利用して生成され、
修正後の前記仮想距離画像は、前記誤差重畳距離画像の画素値を前記欠損データに置換することにより生成されることを特徴とする請求項４から７のいずれか一項に記載の生成方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、パレットを搬送対象とする搬送装置に関する。

【背景技術】

【0002】

フォークリフトなどの搬送装置は、予め決められた形状を有するパレットを搬送対象とする。パレットには、穴（フォークポケット）が設けられており、搬送装置には、フォークポケットに挿入可能なフォークが設けられる。

【0003】

搬送装置のオペレータは、フォークの高さを調節し、ステアリング操作を行いながら搬送装置を走行させて、フォークポケットにフォークを挿入する必要がある。

【0004】

ところが不慣れなオペレータにとって、フォークを、うまくフォークポケットに挿入することは容易でない。もし、フォークがフォークポケット以外の場所に衝突すると、パレット上の荷物が崩れるかもしれない。またフォークポケットにフォークが挿入されたとしても、フォークポケットの内壁にフォークがぶつかると、パレットがずれたり、フォークに好ましくない応力が加わったりするおそれがある。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１７－１５１６５０号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

本発明者らは、フォークリフトに、パレットの特定箇所を検出可能な検出装置を搭載することを検討した。検出装置は、画像を取得するセンサと、センサの出力画像にもとづいて特定箇所を検出可能に構成された識別器（あるいは分類器ともいう）を備える。識別器は、予め取得した教師データあるいは学習データにもとづいて、機械学習によって構成される。教師データは、典型的には、特定部位を含む画像データである。識別器に、十分な識別力を獲得させるためには、撮影方向や撮影距離を変えて撮影した膨大な数の教師データが必要となる。

【0007】

フォークリフトが搬送対象とするパレットの種類が多い場合、パレット毎に教師データを用意する必要があるため、学習に要するコストが跳ね上がる。特に、さまざまな種類のパレットについて、フォークリフトの使用環境下で、サービスマンやユーザ（以下、人間という）がパレットの画像を多数撮影し、教師データを生成することとすると、人間の労力が大きく、学習に必要なコストが非常に高くなることを意味する。

【0008】

本発明は係る課題に鑑みてなされたものであり、そのある態様の例示的な目的のひとつは、学習に必要な労力や時間を削減可能な技術の提供にある。

【課題を解決するための手段】

【0009】

本発明のある態様は、パレットを搬送する搬送装置の学習に使用する教師データの生成方法に関する。搬送装置は、光を照射して反射光を測定するアクティブ型の距離画像センサと、（i）距離画像センサの出力にもとづいて画素値が距離を表す距離画像を取得可能であり、（ii）距離画像にもとづいて、パレットまたはパレットの特定部位である検出対象を特定できるように、教師データを利用して機械学習により構成された識別器を有する演算部と、を備える。教師データの生成方法は、以下のステップを含む。
・パレットの３次元モデルを生成する。
・３次元の仮想空間中にパレットの３次元モデルを配置し、パレットを距離画像センサによって測定したときに得られるであろう仮想距離画像を生成する。
・距離画像センサが受光するであろう反射光の強度分布を示す仮想輝度画像を生成する。
・仮想輝度画像にもとづいて、仮想距離画像を修正する。
・修正後の仮想距離画像にもとづいた教師データを生成する。
仮想距離画像は、計測対象における拡散反射および鏡面反射の反射特性を示すパラメータを用いて生成され、反射特性を示すパラメータの値は、実空間中に配置される計測対象を距離画像センサによって実測したときに得られる実測輝度画像を用いて決定される。

【0010】

この搬送装置は、ＴＯＦ（Time Of Flight）センサ、ＬｉＤＡＲ（Light Detection and Ranging）、ストラクチャドライトカメラなどの、アクティブ型の距離画像センサにより得られる３次元点群データを、２次元の距離画像にマッピングし、距離画像を入力とする識別器を構成することにより、パレットあるいはその部位の特定の精度を高めることができる。

【0011】

ここで、パレットの形状や材質は多岐にわたるところ、あらゆるパレットについて、あらゆる状況を想定して、パレットの実物を距離画像センサによって撮影し、識別器の学習に用いる教師データを用意することは容易ではない。この態様によれば、３次元モデルを活用することで教師データを効率的に生成でき、学習を効率化できる。

【0012】

本発明者らは、実際の距離画像センサによって生成される距離画像の精度は、距離画像センサの撮像素子／受光素子が受ける反射光の強度の影響を受けることを見いだした。そこで、仮想輝度画像を生成し、仮想距離画像にもとづいて仮想距離画像を修正することにより、実際の距離画像センサが生成する実測距離画像に近い画像を生成できる。さらに、実際の距離画像センサによって計測したときに得られる実測輝度画像を用いて、計測対象の反射特性を示すパラメータの値を決定し、そのパラメータの値を用いて仮想輝度画像を生成することにより、仮想輝度画像の計算精度をさらに向上できる。

【0013】

反射特性を示すパラメータは、計測対象の表面の材質、および／または、色ごとに決定されてもよい。パレットの材質や色は多岐にわたるため、パレットの材質や色ごとに反射特性パラメータを決定しておくことにより、多種多様なパレットに対応した教師データを効率的に生成できる。

【0014】

仮想距離画像を修正するステップは、仮想輝度画像の画素値にもとづいて、仮想距離画像の画素値に誤差を重畳することを含んでもよい。たとえば、輝度が極端に大きい領域あるいは輝度が極端に小さい領域は、輝度画像に画素値に応じた不確からしさを、仮想距離画像の画素値に重畳してもよい。

【0015】

誤差特性は、輝度画像の画素値と標準偏差の関係として定めてもよい。この場合、元の仮想距離画像の画素値を平均値および輝度画像の画素値にもとづく標準偏差を、乱数関数に与え、その結果得られる乱数を、補正後の仮想距離画像の画素値とすることができる。

【0016】

本開示の別の態様もまた、教師データの生成方法である。教師データの生成方法は、以下のステップを含む。
・パレットの３次元モデルを生成する。
・３次元の仮想空間中にパレットの３次元モデルを配置し、パレットを距離画像センサによって測定したときに得られるであろう仮想距離画像を生成する。
・距離画像センサが受光するであろう反射光の強度分布を示す仮想輝度画像を生成する。
・仮想距離画像および仮想輝度画像を利用して生成される欠損データにもとづいて、仮想距離画像を修正する。
・修正後の仮想距離画像にもとづいた教師データを生成する。

【0017】

欠損データは、物体のエッジにおいて頻繁に発生する傾向があり、また、距離画像センサに入射する反射光が弱すぎる箇所や反対に強すぎる箇所において頻繁に発生する傾向がある。そこで、物体のエッジに相関する仮想距離画像と、反射光の強度に相関する仮想輝度画像との双方を利用して欠損データを生成することにより、いずれか一方のみを利用する場合に比べて欠損データの推定精度を向上できる。仮想距離画像において画素の欠損が推定される箇所を欠損データに置換することにより、実際の距離画像に近い画像を生成できる。

【0018】

欠損データは、実空間中に配置される計測対象を距離画像センサによって実測したときに得られる実測距離画像および実測輝度画像を入力とする機械学習によって構成される欠損データ生成器によって生成されてもよい。実測の距離画像および輝度画像を利用して機械学習することにより、欠損データの推定精度を向上できる。

【0019】

欠損データ生成器は、畳み込みニューラルネットワークを備え、畳み込みカーネルの中心のカーネル値を固定値とする制約条件下で実行される機械学習によって構成されてもよい。固定値は、０であってもよい。畳み込みカーネルの中心のカーネル値を固定することにより、実測の距離画像および輝度画像に含まれる画素の欠損の影響を低減することができ、欠損データの推定精度を向上できる。

【0020】

教師データの生成方法は、仮想輝度画像の画素値にもとづいて、仮想距離画像の画素値に誤差を重畳した誤差重畳距離画像を生成するステップをさらに備えてもよい。欠損データは、誤差重畳距離画像を利用して生成され、修正後の仮想距離画像は、誤差重畳距離画像の画素値を欠損データに置換することにより生成されてもよい。誤差重畳距離画像を利用して欠損データを生成することにより、欠損データの推定精度を向上できる。さらに、誤差重畳距離画像に欠損データを適用することにより、ノイズ（誤差）の影響と欠損の影響の双方が加味された実測の距離画像に近い仮想距離画像を生成できる。

【0021】

なお、以上の構成要素の任意の組み合わせや本発明の構成要素や表現を、方法、装置、システムなどの間で相互に置換したものもまた、本発明の態様として有効である。

【発明の効果】

【0022】

本発明によれば、学習に必要な労力や時間を削減できる。

【図面の簡単な説明】

【0023】

【図1】搬送装置の一態様であるフォークリフトの外観図を示す斜視図である。

【図2】フォークリフトの操縦席の一例を示す図である。

【図3】図３（ａ）～（ｈ）は、フォークリフトが搬送対象とするパレットを示す図である。

【図4】実施の形態に係るフォークリフトの機能ブロック図である。

【図5】図５（ａ）、（ｂ）は、距離画像センサの設置箇所を説明する図である。

【図6】距離画像の一例を示す図である。

【図7】図７（ａ）、（ｂ）は、検出対象である特定部位を模式的に示す図である。

【図8】図７（ａ）の特定部位の距離画像を示す図である。

【図9】識別器の学習に用いる教師データの生成のフローチャートである。

【図10】パレットおよび距離画像センサのモデルが配置される３次元の仮想空間を示す図である。

【図11】図１１（ａ）～（ｃ）は、背景距離画像にもとづく教師データの生成を説明する図である。

【図12】アクティブ型の距離画像センサを用いる場合の教師データの生成方法のフローチャートである。

【図13】ＩＲ輝度画像の生成を説明する図である。

【図14】図１４（ａ）～（ｃ）は、図１２のフローチャートにもとづく教師データの生成を示す図である

【図15】ＩＲ輝度画像の画素値と、仮想距離画像に重畳する誤差の関係の一例を示す図である。

【図16】図１６（ａ）、（ｂ）は、図１５の関係にもとづく仮想距離画像の補正を示す図である。

【図17】欠損データ生成器の入力画像および出力画像の一例を示す図である。

【図18】欠損データ生成器のネットワーク構造の一例を模式的に示す図である。

【図19】図１９（ａ）は、実測距離画像の一例を示す図であり、図１９（ｂ）は、仮想距離画像の一例を示す図である。

【図20】欠損データ生成器の畳み込み処理において使用する畳み込みカーネルを模式的に示す図である。

【図21】実施例３に係る教師データの生成方法のフロチャートである。

【発明を実施するための形態】

【0024】

以下、本発明を好適な実施の形態をもとに図面を参照しながら説明する。各図面に示される同一または同等の構成要素、部材、処理には、同一の符号を付するものとし、適宜重複した説明は省略する。また、実施の形態は、発明を限定するものではなく例示であって、実施の形態に記述されるすべての特徴やその組み合わせは、必ずしも発明の本質的なものであるとは限らない。

【0025】

図１は、搬送装置の一態様であるフォークリフトの外観図を示す斜視図である。フォークリフト６００は、車体（シャーシ）６０２、フォーク６０４、昇降体（リフト）６０６、マスト６０８、車輪６１０、６１２を備える。マスト６０８は車体６０２の前方に設けられる。昇降体６０６は、油圧アクチュエータ（図１に不図示）などの動力源によって駆動され、マスト６０８に沿って昇降する。昇降体６０６には、荷物を支持するためのフォーク６０４が取り付けられている。フォークリフト６００は、２本のフォーク６０４が図示しないパレットの穴（フォークポケット）に挿入された状態で、パレットを搬送する。

【0026】

図２は、フォークリフトの操縦席７００の一例を示す図である。操縦席７００は、イグニッションスイッチ７０２、ステアリングホイール７０４、リフトレバー７０６、アクセルペダル７０８、ブレーキペダル７１０、ダッシュボード７１４、前後進レバー７１２を備える。

【0027】

イグニッションスイッチ７０２は、フォークリフト６００の起動用のスイッチである。ステアリングホイール７０４は、フォークリフト６００の操舵を行うための操作手段である。リフトレバー７０６は、昇降体６０６を上下に移動させるための操作手段である。アクセルペダル７０８は、走行用の車輪の回転を制御する操作手段であり、オペレータが踏み込み量を調節することでフォークリフト６００の走行が制御される。オペレータがブレーキペダル７１０を踏み込むと、ブレーキがかかる。前後進レバー７１２は、フォークリフト６００の走行方向を、前進と後進で切りかえるためのレバーである。そのほか、図示しないインチングペダルが設けられてもよい。

【0028】

オペレータは、車体の位置制御に関して、ステアリングホイール７０４とアクセルペダル７０８、ブレーキペダル７１０を操作し、フォーク６０４の位置制御に関して、リフトレバー７０６を操作する必要がある。

【0029】

図３（ａ）～（ｈ）は、フォークリフト６００が搬送対象とするパレットを示す図である。パレット８００は、上板８０６、穴８０２、桁８０４を有する。パレット８００の形状は、ＪＩＳ規格により定められるほか、目的や用途に応じて多種多様な形状のものが存在する。図３（ａ）～（ｈ）はそれぞれ、ＪＩＳ規格でＳ２，ＳＵ２，ＤＰ４，Ｒ４，ＲＷ２，Ｄ２，ＤＵ２，Ｄ４と表記される。図３（ａ）～（ｈ）に示すように、一概にパレットといっても、さまざまな形状、構造が存在しており、不慣れなオペレータにとって、複数の操作入力手段（７０４，７０６，７０８，７１０，７０６）を正確に操作して、フォークポケットに正確にフォークを挿入することは容易でない。

【0030】

以下では、パレットの荷すくい動作を支援可能な構成について説明する。図４は、実施の形態に係るフォークリフト３００の機能ブロック図である。図４には、荷すくい動作の支援に関連するブロックのみが示され、その他のブロックは省略している。

【0031】

フォークリフト３００は、距離画像センサ３０２、カメラ３０３、通知手段３０４、コントローラ３１０を備える。距離画像センサ３０２は、フォークリフト３００の前方に取り付けられ、車両前方の距離情報を取得する。その限りでないが距離画像センサ３０２としては、ＴｏＦカメラ、ＬｉＤＡＲ、ストラクチャードライト法を用いたセンサ、ステレオカメラなどを用いることができる。距離画像センサ３０２は、車両前方に位置する構造物や物品等の３次元点群データを含む測距データＤ１を生成する。

【0032】

図５（ａ）、（ｂ）は、距離画像センサ３０２の設置箇所を説明する図である。図５（ａ）は、上から見た図である。フォークを挿入すべき穴の位置を検出する必要があることから、左右方向に関して、距離画像センサ３０２は、２本のフォークの中央に配置することが好ましい。これにより、フォークをパレットに挿入する際に、距離画像センサ３０２によって、パレットを正面から撮影することが可能となる。特に、後述のように桁を含む特定部位を検出対象とする場合に、フォークの中央に距離画像センサ３０２を配置しておくことで、特定部位の距離画像をうまく撮影することができる。

【0033】

図５（ｂ）は横から見た図である。上下方向に関しては、３０２ｃで示すようにフォーク６０４と同じ高さとしてもよいが、それよりわずかに上側の位置３０２ａ（あるいは下側の位置３０２ｂ）に設けるとよい。これにより、パレット８００の上板８０６の上面Ｓ１（あるいは上板８０６の下面Ｓ２）を確実に捉えることが可能となるからである。また、この位置は、フォークの高さの最終的な調整の局面において、フォークやその他の車両構造物に遮蔽されにくいという利点もある。

【0034】

図４に戻る。カメラ３０３は、フォークリフト３００の前方を撮影する。カメラ３０３の撮影した画像データＤ３は、ディスプレイ３０６に表示される。なお図４においては、カメラ３０３と距離画像センサ３０２を別個の機能ブロックとして示すが、必ずしもハードウェアとして距離画像センサ３０２と独立していることを意味するものでなく、距離画像センサ３０２は、カメラ３０３を兼ねていてもよい。たとえば距離画像センサ３０２がＴＯＦカメラやステレオカメラである場合、それから１次的に得られる単眼画像（赤外線強度分布や可視光モノクロ画像、可視光カラー画像）を、画像データＤ３として用いることができる。

【0035】

コントローラ３１０は、フォークリフト３００を統合的に制御する。コントローラ３１０は、距離画像取得部３３０および識別器３４０を備える。距離画像取得部３３０は、点群データを含む測距データＤ１にもとづいて、距離画像Ｄ２を生成する。距離画像Ｄ２とは、縦横に複数ピクセルを有する画像データであって、画素値が距離を表すデータをいう。図６は、距離画像の一例を示す図である。なお、距離画像センサ３０２の出力が距離データである場合、距離画像取得部３３０の処理は簡略化され、あるいは省略される。

【0036】

図４に戻る。識別器３４０は、距離画像Ｄ２にもとづいて、パレットまたはパレットの特定部位を特定できるように、機械学習により構成される。

【0037】

処理部３５０は、識別器３４０の検出結果にもとづいて、パレットの穴の位置を特定する。そして検出した結果にもとづいて、通知手段３０４を制御し、オペレータに通知する。通知手段３０４は、ディスプレイ３０６やスピーカ３０８を含みうる。ディスプレイ３０６は、視覚的にパレットの穴の位置やその他の情報をオペレータに通知するために用いられる。スピーカ３０８は、オペレータに聴覚的にパレットの位置やその他の情報を通知するために用いることができる。通知手段３０４による通知については後述する。

【0038】

識別器３４０および処理部３５０は、演算処理装置（ＣＰＵ）やメモリを有するマイコン３２０と、マイコン３２０が実行するソフトウェアプログラムで構成することができる。さらに距離画像取得部３３０も、マイコン３２０の機能として実装することができる。したがって距離画像取得部３３０、識別器３４０、処理部３５０は、必ずしも別個のハードウェアとして認識されるものではなく、演算処理装置とソフトウェアプログラムの組み合わせにより実現される機能を表す。

【0039】

あるいは距離画像取得部３３０と識別器３４０を別個のハードウェアで構成してもよい。たとえば距離画像センサ３０２とマイコン３２０のインタフェースとして、ＦＰＧＡ（Field Programmable Gate Array）やＡＳＩＣ（Application Specific Integrated Circuit）などのハードウェア（チップ）が搭載される場合がある。この場合、距離画像取得部３３０の処理を、このハードウェアに実行させてもよい。

【0040】

以上がフォークリフト３００の構成である。このフォークリフト３００によれば、距離画像センサにより得られる距離画像を入力とする識別器を機械学習により構成することにより、パレットあるいはその部位の特定の精度を高めることができる。そして得られた検出結果を、搬送装置の動作に反映させ、あるいはオペレータに通知することにより、オペレータの操作を支援することができる。

【0041】

なお、パレットやその特定部位を検出する別の方法として、３次元点群データを用いて、特徴的な部位をパターンマッチングによって検出する方法も考えられる。ところがこの方法は、対象物を常に同じ方向から測定する必要があり、特徴的な部位の３次元点群データを高密度に精度よく測ることが難しいという問題点がある。

【0042】

続いて識別器３４０の具体例と、その学習について説明する。一実施例において、識別器３４０は、線形ＳＶＭ（Support Vector Machine）とＨＯＧ（Histograms of Oriented Gradients）特徴量の組み合わせで構成される。線形ＳＶＭは、入力が、２クラスのいずれかに属するかを判定可能な識別器として広く用いられる。一般的な画像処理の分野において、線形ＳＶＭの入力は、画素値が輝度である画像データであるが、本実施の形態では、距離画像を入力としたところが異なっている。

【0043】

線形ＳＶＭは、２個の穴のペアを直接検出するように学習することもできる。ただし、図３（ａ）～（ｈ）に示したように、穴の形状やサイズは、パレットの種類によってさまざまである。具体的には、穴の横幅は、パレットによって異なっている。またパレットは下板を有するものもあれば、有しないものもあり、したがって穴は下側が開放されている場合と閉じている場合がある。このことから、穴を直接的な識別対象として学習した識別器では、十分に高い識別率が得られない場合がある。

【0044】

そこで本発明者らは、さらなる識別率の改善のために、パレット８００の穴８０２と穴８０２を区切る桁８０４に着目し、桁８０４を含む一部分（特定部位）を検出対象として識別器３４０を構成することとした。桁８０４は、パレット８００の規格によらずに、パレットの必須の構成要素であり、検出対象として好適であり、高い識別率が期待できる。

【0045】

図７（ａ）、（ｂ）は、検出対象である特定部位８０１を模式的に示す図である。特定部位８０１は、上板８０６の一部と、下板８０８の一部と、桁８０４および２つの穴８０２を含む。この特定部位８０１は、向かい合わせの２個のコの字形状を含むものと把握できる。図８は、図７（ａ）の特定部位８０１の距離画像を示す図である。

【0046】

なお図３（ｂ）等に示すように、下板が存在しないパレットも存在する。そこで図７（ｂ）に示すように、下板８０８を除いたＴ字形状を特定部位８０１として識別器３４０を学習させてもよい。

【0047】

処理部３５０には、パレットの幾何学的な情報が保持されている。処理部３５０は、識別器３４０が特定した特定部位８０１の位置と、幾何学的な情報にもとづいて、演算処理によって、フォークを挿入すべき２個の穴の位置を特定することができる。たとえば、幾何学的な情報は、パレットのセンターの位置（座標）と、穴の位置の相対的な位置関係を含みうる。処理部３５０は、識別器３４０の出力にもとづいて、パレット８００のセンター位置を検出し、センター位置から、左右に所定量オフセットした位置を、フォークを挿入すべき穴の位置とすることができる。

【0048】

図７（ｃ）は、別のパレットの一部分を示す図である。パレットは、３個の（あるいはそれより多い）穴を有する場合もあり、その場合、１個のパレットが、２個の（あるいはそれより多い）桁を含み、１個のパレットについて、２個の特定部位８０１が隣接して検出される場合もありえる。この場合、２個の特定部位８０１のセンター（すなわち２個の桁８０４のセンター）を、パレット８００全体のセンター位置と判定してもよい。

【0049】

（識別器の学習）
続いて、識別器３４０の学習について説明する。

【0050】

図９は、識別器３４０の学習に用いる教師データの生成のフローチャートである。はじめに、パレット８００の３次元モデルＭｐが生成される（Ｓ１００）。パレットの３次元モデルＭｐは、パレットの３次元ＣＡＤデータに相当する。

【0051】

また距離画像センサ３０２のモデルＭｓが生成される（Ｓ１０２）。距離画像センサ３０２のモデルは、距離画像センサ３０２の画角や入出力特性を記述したものであり、画角、解像度、計測精度、温度、フレームレート、応答特性などを考慮して生成することができる。応答特性は、波長感度特性やトランジェントな応答特性を含みうる。距離画像センサ３０２のモデルは、図１２以降を参照して説明するような、ＩＲ輝度画像、物体のエッジ、物点までの距離、観測方向、測定面の方向などにもとづく誤差や欠損を考慮したものとすることができる。

【0052】

パレット８００の３次元モデルＭｐと、距離画像センサ３０２のモデルＭｓが、計算機シミュレータの３次元の仮想空間中に配置される（Ｓ１０４）。その状態で距離画像センサ３０２のモデルＭｓの出力を、仮想距離画像Ｉ１として取得し（Ｓ１０６）、仮想距離画像Ｉ１にもとづいた教師データＩ２を生成する（Ｓ１０８）。

【0053】

処理Ｓ１０６～Ｓ１０８は、パレットと距離画像センサのモデルＭｐ，Ｍｓの相対的な位置関係を変化させながら繰り返される（Ｓ１１０）。

【0054】

図１０は、パレットおよび距離画像センサのモデルＭｐ，Ｍｓが配置される３次元の仮想空間９００を示す図である。ここでは距離画像センサ３０２のモデルＭｓが原点に配置されるものとする。破線は距離画像センサ３０２の視野を表す。図８のステップＳ１１０では、パレット８００のモデルＭｐの位置（ｘ、ｙ、ｚ）を変化させる。ステップＳ１１０においては、位置（ｘ，ｙ，ｚ）に加えて、姿勢（θｐ，θｙ，θｒ）を変化させてもよい。

【0055】

以上が、実施の形態に係る教師データの生成方法である。

【0056】

パレットの形状や材質は多岐にわたるところ、あらゆるパレットについて、あらゆる状況を想定して、パレットの実物を距離画像センサによって撮影し、識別器の学習に用いる教師データを用意することは容易ではない。この態様によれば、３次元モデルを活用することで教師データを効率的に生成でき、学習を効率化できる。

【0057】

（背景情報の追加）
図８の処理Ｓ１０６において、仮想距離画像Ｉ１に、背景距離画像Ｉ３を重畳して、教師データＩ２を生成してもよい。

【0058】

図１１（ａ）～（ｃ）は、背景距離画像にもとづく教師データの生成を説明する図である。図１１（ａ）は、図１０において得られるパレット８００の仮想距離画像Ｉ１である。図１１（ｂ）は、背景距離画像Ｉ３を表す。背景距離画像Ｉ３としては、パレットが実際に使用される環境において、実際の距離画像センサ３０２により撮影された実際の背景の距離画像を用いるとよい。

【0059】

図１１（ａ）のパレットの仮想距離画像Ｉ１と、図１１（ｂ）の背景距離画像Ｉ３を合成すると、図１１（ｃ）の合成距離画像が得られる。この合成距離画像の一部あるいは全部を、教師データとして用いることができる。

【0060】

パレットの仮想距離画像Ｉ１と、背景距離画像Ｉ３を重畳して教師データを生成することで、実際にパレットが使用される環境における識別率を改善できる。

【0061】

なお、背景距離画像Ｉ３は、距離画像センサ３０２の実測により生成したものを用いてもよい。距離画像センサ３０２のセンシングは、環境光などの影響を大きく受けるところ、背景については、実際の撮影画像を用いることにより、環境光の影響を考慮した教師データを生成でき、識別率を改善する効果が期待される。

【0062】

あるいは、３次元の仮想空間中に背景となる物体の３次元モデルを配置して、距離画像センサ３０２のモデルＭｓを用いて、背景の仮想距離画像を生成し、パレットの仮想距離画像と背景の仮想距離画像を重畳して教師データとしてもよい。

【0063】

あるいは、３次元の仮想空間中に、背景となる物体の３次元モデルとパレットの３次元モデルを配置して、それらを含む仮想距離画像を生成し、その一部あるいは全部を教師データとしてもよい。

【0064】

（誤差モデル）
これまでの説明では、距離画像センサ３０２のモデルＭｓのみを考慮した計測モデルを説明したが、より正確な教師データを生成するために、誤差モデルＭ_ＥＲＲを導入するとよい。

【0065】

誤差モデルＭ_ＥＲＲは、（i）計測対象までの距離、（ii）計測面の方向、（iii）計測対象の材質の少なくともひとつが距離画像センサの出力に与える影響を記述するものである。距離画像センサの出力に与える影響は、計測対象までの距離、計測面の方向、計測対象の材質の順で大きいため、誤差モデルＭ_ＥＲＲは、少なくとも計測対象までの距離を考慮して作成するとよく、より好ましくは計測対象までの距離と、計測面の方向の両方を考慮して作成するとよく、さらに精度を高めたい場合は、３個すべてを考慮して作成するとよい。

【0066】

（i） 計測対象までの距離
距離画像センサの入出力特性を考える。理想的な距離画像センサでは、出力である距離画像の画素値ｐｖは、入力である距離ｄに対して線形に変化する。
ｐｖ＝ａ_１×ｄ …（１）

【0067】

しかしながら実際の距離画像センサでは、そのセンサの方式や、製品の種類により、傾きａ_１が異なる場合がある。あるいは、式（２）に示すように、非線形な項が含まれる場合や、オフセット項ａ_０が含まれる場合もある。
ｐｖ＝ａ_０＋ａ_１×ｄ＋ａ_２×ｄ^２＋・・・ …（２）
そこで誤差モデルＭ_ＥＲＲでは、距離画像センサと計測対象の距離ｄと、距離画像における画素値ｐｖの関係を記述する。

【0068】

（ii） 計測面の方向
式（２）で表される入出力特性は、計測面の方向に応じて変化する場合がある。たとえば距離画像センサ３０２の正面の物体に対しては、ある係数のセットＳ１［ａ_０，ａ_１，…］を有する入出力特性が得られているとする。この場合に、別の方向に対して、入出力特性が同じセットＳ１で記述できるとは限らず、別の係数のセットＳ２［ａ_０，ａ_１，…］を有する入出力特性が得られる場合がある。そこで誤差モデルＭ_ＥＲＲは、計測面の方向を考慮して作成するとよい。

【0069】

（iii） 材料
距離画像センサ３０２のセンシングの方式、使用波長などによって、同じ距離にある物体を同一の距離画像センサ３０２によって測定しても、物体の材料が異なると、距離画像センサ３０２の出力に基づく距離画像の画素値が同一にならない場合がある。

【0070】

ここでパレット８００の材料や表面の材質は、樹脂や木材、金属、あるいはそれら塗装したものなど多岐にわたる。この認識にもとづき、距離画像センサ３０２のモデルＭｓは、測定対象の材料（材質）の違いが、距離画像センサ３０２の出力に与える影響を考慮して生成されている。すなわち材料ごとに、距離画像センサ３０２の入出力特性を予め測定しておき、それを考慮した誤差モデルＭ_ＥＲＲを用意する。パレット８００のモデルＭｐは、パレット８００の部分ごとの、あるいは全体の材料が指定可能となっている。これにより、より正確な教師データを生成できる。

【0071】

（環境モデル）
計測モデルには、誤差モデルＭ_ＥＲＲに加えて、あるいはそれに代えて、環境モデルＭ_ＥＮＶを導入することができる。環境モデルＭ_ＥＮＶは、環境光、周囲温度の少なくともひとつが距離画像センサの出力に与える影響を記述するものである。

【0072】

多くの距離画像センサ３０２は、物体に光を照射し、その反射光を測定することにより、物体までの距離をセンシングするアクティブセンサである。ここで、距離画像センサ３０２が使用される環境に、光と同じ波長の環境光が存在すると、距離画像センサ３０２の出力にもとづく距離画像にノイズが重畳されることとなる。環境モデルＭ_ＥＮＶを導入すると、仮想距離画像Ｉ１に、環境光に依存するノイズを重畳することができ、教師データを、より実環境で得られる距離画像に近づけることができる。

【0073】

また周囲温度の影響によって、計測誤差が変化する。そこで環境モデルに、周囲温度が与える影響を記述するとよい。

【0074】

（アクティブ型の距離画像センサの誤差モデル）
距離画像センサ３０２として、赤外、近赤外光（以下、ＩＲ光という）を光として物体に照射し、ＩＲ反射光を測定するアクティブ型のセンサを用いる場合の教師データの生成について説明する。

【0075】

図１２は、アクティブ型の距離画像センサを用いる場合の教師データの生成方法のフローチャートである。このフローチャートは、図９のフローチャートに加えて、処理Ｓ１２０，Ｓ１２２を含む。なお、図１２には示さないが、教師データには背景画像を追加してもよい。

【0076】

処理Ｓ１２０では、距離画像センサ３０２が受光するであろうＩＲ反射光の強度分布（ＩＲ輝度分布）を示すＩＲ輝度画像Ｉ４を生成する。ＩＲ輝度画像Ｉ４の解像度は、距離画像センサ３０２の解像度（つまり、仮想距離画像Ｉ１の解像度）と同一としてもよいし、異なっていてもよいが、仮想距離画像Ｉ１の画素と、ＩＲ輝度画像Ｉ４の画素は対応付けが可能である。

【0077】

続く処理Ｓ１２２では、ＩＲ輝度画像Ｉ４にもとづいて、仮想距離画像Ｉ１を修正する。続く処理Ｓ１０８において、修正後の仮想距離画像Ｉ１’にもとづいた教師データＩ２が生成される。

【0078】

図１３は、ＩＲ輝度画像Ｉ４の生成を説明する図である。光源４００は、距離画像センサ３０２のＩＲ光を照射する光源に対応し、カメラ４０２は、距離画像センサ３０２の撮像素子や受光素子に対応する。

【0079】

カメラ４０２は、光源４００が放射した光のうち、物体ＯＢＪが反射した光を測定する。図１３では、光源４００とカメラ４０２は、異なる位置に設けられ、照明方向（ベクトル）Ｌｖと観測方向Ｖｖが異なる場合が示されているが、実際の距離画像センサ３０２では、光源４００とカメラ４０２は、実質的に同じ場所に、実質的に同じ方向を向いて配置されており、したがって照明方向Ｌｖと観測方向Ｖｖの向きはほぼ一致する。Ｎｖは、反射点における法線を向く法線ベクトルである。

【0080】

カメラ４０２が測定する反射光には、物体ＯＢＪによる拡散反射光と、鏡面反射光が含まれる。拡散反射光は、照射方向および観測方向に依存せず、等方的に発生する。カメラ４０２が観測する拡散反射光強度Ｉｄは、カメラ４０２と物体ＯＢＪまでの距離ｒ、物体ＯＢＪの表面の拡散反射率ｋ_ｄなどにもとづいて計算することができる。拡散反射率ｋ_ｄは物体ＯＢＪの表面の材質などに応じて決まるものであり、パラメータとして与えられる。拡散反射光強度Ｉｄは、例えば、Ｉｄ＝（Ｎｖ・Ｌｖ）ｋ_ｄ・ＩＲ_０／ｒ^２と表すことができる。ここで、ＩＲ_０は、光源４００を点光源としたときの光源４００のＩＲ光強度である。

【0081】

鏡面反射光は、観測方向Ｖｖが正反射方向（ベクトル）Ｒｖと一致するときに最も強くなり、観測方向Ｖｖが正反射方向Ｒｖから離れるに従って小さくなる。反射光の指向性は、表面粗さｎなどの反射面の表面性状と偏光特性に応じて定まる。カメラ４０２が観測する鏡面反射光強度Ｉｓは、鏡面反射率ｋ_ｓ、距離ｒ、物体ＯＢＪの表面粗さｎなどをパラメータとして計算することができる。鏡面反射光強度Ｉｓは、例えば、Ｉｓ＝（Ｒｖ・Ｎｖ）ｋ_ｓ・ＩＲ_０／ｒ^２と表すことができる。

【0082】

ＩＲ輝度画像Ｉ４の生成は以下のように計算できる。
３次元の仮想空間中に配置されるパレット８００やその周辺の物体について、それぞれの反射特性を規定するパラメータ、具体的には、拡散反射率ｋ_ｄ、鏡面反射率ｋ_ｓ、表面粗さｎなどを与える。そして公知のシェーディング（レンダリング）の手法を用いて、距離画像センサ３０２の撮像素子が受けるＩＲ反射光の強度分布を計算し、ＩＲ輝度画像Ｉ４を生成する。例えば、画像センサ３０２の撮像素子の各画素ｉにおけるＩＲ輝度値Ｉ４ｉは、各画素ｉにおける拡散反射光強度Ｉｓｉと鏡面反射光強度Ｉｄｉの和によって計算され、Ｉ４ｉ＝Ｉｓｉ＋Ｉｄｉとなる。

【0083】

ＩＲ輝度画像Ｉ４の計算に用いる反射特性パラメータである拡散反射率ｋ_ｄ、鏡面反射率ｋ_ｓおよび表面粗さｎは、ＩＲ輝度画像の実測値Ｉ４^＊を用いて決定できる。ＩＲ輝度画像の実測値Ｉ４^＊は、例えば、計測対象とする物体ＯＢＪを平板とし、実空間中に平板を配置し、光源およびカメラを備えるアクティブ型の距離センサを平板と正対して配置することによって取得できる。パラメータｋ_ｄ、ｋ_ｓ、ｎは、ＩＲ輝度画像の計算値Ｉ４と実測値Ｉ４^＊の差分を表す誤差関数ｆを最小化する最適化計算によって決定できる。ここで、誤差関数ｆΔは、ＩＲ輝度画像の計算値Ｉ４および実測値Ｉ４^＊の画素ｉごとの差分Δｉを全画素について足し合わせたものである。例えば、差分Δｉ＝｜Ｉ４ｉ－Ｉ４ｉ^＊｜とし、誤差関数ｆΔ＝Σｉ｜Ｉ４ｉ－Ｉ４ｉ^＊｜とすることができる。最適化計算には、Simulated Annealing法などの公知の手法を適用できる。パラメータの制約条件として、０≦ｋ_ｄ≦１，０≦ｋ_ｓ≦１、０≦ｎ、０≦ＩＲ_０を用いることができる。

【0084】

実測値Ｉ４^＊との差分を表す誤差関数ｆΔを用いた最適化計算によって反射特性パラメータｋ_ｄ、ｋ_ｓ、ｎを決定することにより、文献値に基づいて反射特性パラメータを決定する場合や、実測値Ｉ４^＊を用いずに反射特性パラメータを決定する場合に比べて、ＩＲ輝度画像Ｉ４の計算精度を向上できる。反射特性パラメータｋ_ｄ、ｋ_ｓ、ｎは、物体ＯＢＪの材料や材質ごとに決定できる。３次元の仮想空間中に配置されるパレット８００やその周辺の物体の材料や材質が異なる場合、あらかじめ材料や材質ごとに決定しておいた反射特性パラメータを適用できる。

【0085】

図１４（ａ）～（ｃ）は、図１２のフローチャートにもとづく教師データの生成を示す図である。図１４（ａ）は、仮想の三次元空間に、パレット８００やその他の物体のモデルが配置される様子が示される。図１４（ｂ）の上段は、図１４（ａ）のモデルにもとづいて生成される誤差を含まない仮想距離画像Ｉ１を示している。図１４（ｃ）は、図１４（ａ）のモデルにもとづいて生成されるＩＲ輝度画像Ｉ４を示す。図１４（ｂ）の下段には、ＩＲ輝度画像Ｉ４にもとづく補正後の仮想距離画像Ｉ１’が示される。図１４（ｂ）の補正後の仮想距離画像Ｉ１’のある画素の画素値ｄと、図１４（ａ）の補正前の仮想距離画像Ｉ１の対応する画素値ｄ’の差分ｄ’－ｄは、ＩＲ輝度画像Ｉ４の対応する画素値αと相関を有している。
ｄ’－ｄ＝ｆ（α）

【0086】

以上が、アクティブセンサを用いる場合の教師データの生成方法である。続いてその利点を説明する。

【0087】

本発明者らは、実際の距離画像センサによって生成される距離画像の精度は、距離画像センサ３０２の撮像素子／受光素子が受ける反射光の強度の影響を受けることを見いだした。そこで、処理Ｓ１２０において、仮想的なＩＲ輝度画像を生成し、処理Ｓ１２２において、仮想距離画像Ｉ１に対して、ＩＲ輝度画像Ｉ４にもとづくノイズを重畳したり、あるいは仮想距離画像Ｉ１の一部の画素を欠損データと置換したりすることにより、実際の距離画像センサが生成する距離画像に近い画像を生成することができる。

【0088】

続いて、ＩＲ輝度画像Ｉ４にもとづく、仮想距離画像Ｉ１の補正処理の具体例を説明する。

【0089】

（実施例１）
一実施例において、ＩＲ輝度画像Ｉ４の画素値にもとづいて、仮想距離画像Ｉ１の画素値に誤差を重畳してもよい。図１５は、ＩＲ輝度画像Ｉ４の画素値と、距離の誤差の関係の一例を示す図である。横軸はＩＲ輝度画像Ｉ４の画素値αであり、縦軸は距離の誤差δを標準偏差ＳＤで示したものである。

【0090】

プロットはある距離画像センサ３０２について得られた実測値を表し、実線はフィッティングした関数ｆ（α）を示す。
ＳＤ＝ｆ（α）＝１３１６α^{－０．９８}＋０．８８

【0091】

一例として、ＩＲ輝度画像Ｉ４の画素値αが４００である場合、標準偏差ＳＤは５ｍｍである。つまり、ＩＲ輝度画像Ｉ４の画素値αが４００である画素について、仮想距離画像Ｉ１の画素値（距離）は、統計的に標準偏差が５ｍｍである正規分布に従った誤差を有することを意味する。

【0092】

この例では、ＩＲ反射光の強度が小さいほど、重畳される誤差が大きくなる。これは、ＩＲ反射光の輝度が小さいほど、言い換えると、物点までの距離が遠い場合や、物点の反射率が非常に低い場合などは、距離画像センサ３０２による測距が不正確であるものとして、大きな誤差が重畳される。

【0093】

仮想距離画像Ｉ１のある画素［ｘ，ｙ］に着目し、その画素値（つまり距離）がｄであるとする。ＩＲ輝度画像Ｉ４の同じ画素の画素値（つまり反射光強度）がαであるとき、補正後の仮想距離画像Ｉ１の同じ画素［ｘ，ｙ］の画素値ｄは、標準偏差ＳＤにもとづく統計的な誤差δを重畳することにより、以下のように補正される。
ｄ’＝ｄ＋δｄ
δｄの生成には、平均値および標準偏差を指定可能な乱数発生を用いればよい。

【0094】

図１６（ａ）、（ｂ）は、図１５の関係にもとづく仮想距離画像の補正を示す図である。図１６（ａ）、（ｂ）はそれぞれ、補正前、補正後の仮想距離画像のうち、パレット８００の桁８０４を含む中央部分を抜き出して示したものである。

【0095】

パレット８００の穴およびその周辺は、ＩＲ輝度画像Ｉ４の画素値が小さい。このようなＩＲ輝度画像Ｉ４の画素値が小さい部分については、仮想距離画像の画素値（距離）にノイズが重畳されることとなる。

【0096】

以上の処理により、実際の距離画像センサ３０２により測定される距離画像に近い教師データを得ることができる。実測値に基づくパラメータｋ_ｄ、ｋ_ｓ、ｎを用いて生成されたＩＲ輝度画像Ｉ４に基づいて誤差（ノイズ）を重畳することにより、実際の距離画像センサ３０２により測定される実測距離画像により近似した教師データを得ることができ、識別器の識別精度を向上できる。特に、材質や色が異なる多種多様なパレットについて個別のパラメータｋ_ｄ、ｋ_ｓ、ｎを適用して教師データを得ることにより、識別器の識別精度を向上できる。

【0097】

なお、距離画像センサ３０２の測距方式によっては、ＩＲ反射光の強度が高すぎる場合にも、距離が不正確になる場合がある。この場合には、ＩＲ輝度画像Ｉ４の画素値が小さい部分のみでなく、ＩＲ輝度画像Ｉ４の画素値が大きい部分についても、仮想距離画像Ｉ１の画素値に誤差を重畳してもよい。つまり、関数ｆを修正すればよい。

【0098】

（実施例２）
距離画像センサ３０２の種類によっては、それが生成する距離画像が、距離情報が得られなかったことを示す欠損データ（欠損値）を含む場合がある。本発明者らは、欠損データが、物体のエッジにおいて頻繁に発生する傾向があることを認識した。また距離画像センサ３０２の撮像素子／受光素子に入射する反射光が弱すぎる箇所や反対に強すぎる箇所にも、欠損データが発生しうることを認識した。

【0099】

そこで実施例２では、仮想距離画像Ｉ１およびＩＲ輝度画像Ｉ４（仮想輝度画像Ｉ４ともいう）に基づいて、欠損データが発生しうる箇所（画素）を推定し、仮想距離画像Ｉ１の当該画素の画素値を欠損データに置換する。例えば、仮想距離画像Ｉ１および仮想輝度画像Ｉ４を入力とし、欠損データを出力とする欠損データ生成器を機械学習により構成する。これにより、距離画像および輝度画像の双方を考慮した欠損データを生成でき、欠損データの推定精度を高めることができる。

【0100】

図１７は、欠損データ生成器４０８の入力画像および出力画像の一例を示す図である。欠損データ生成器４０８の入力画像は、仮想距離画像Ｉ１および仮想輝度画像Ｉ４である。欠損データ生成器４０８の出力画像は、欠損画像Ｉ５である。欠損画像Ｉ５は、欠損すると推定される画素の画素値を０とし、欠損しないと推定される画素の画素値を１としたモノクロ画像である。図１７の欠損画像Ｉ５では、視認性のために画像をモノクロ反転し、画素値が０で欠損する画素を白色、画素値が１で欠損していない画素を黒色としている。

【0101】

図１８は、欠損データ生成器４０８のネットワーク構造４１０の一例を模式的に示す図である。ネットワーク構造４１０は、入力層４１２と、特徴抽出層４１４と、分類層４１６と、出力層４１８とを備える。ネットワーク構造４１０は、いわゆるディープニューラルネットワーク（ＤＮＮ；Deep Neural Network）であり、特に畳み込み処理を利用する畳み込みニューラルネットワーク（ＣＮＮ；Convolutional Neural Network）である。

【0102】

入力層４１２は、仮想距離画像Ｉ１および仮想輝度画像Ｉ４を入力データとして受け付ける。入力層４１２は、仮想距離画像Ｉ１および仮想輝度画像Ｉ４の画像サイズに対応したデータサイズを有し、チャンネル数は２である。入力層４１２のデータサイズは特に限られないが、例えば、横４２４×縦５１２である。

【0103】

特徴抽出層４１４は、畳み込み処理によって画像の特徴量を抽出する。特徴抽出層４１４は、例えば、４回の畳み込み処理４２０，４２２，４２４，４２６によって特徴量を抽出するよう構成される。４回の畳み込み処理４２０～４２６のそれぞれでは、例えば、畳み込みカーネルのサイズを７×７とし、活性化関数としてＲｅＬＵ（Rectified Linear Unit）を用いることができる。特徴抽出層４１４で扱うデータサイズは、入力層４１２のデータサイズと同じであってもよく、プーリング処理を含まなくてもよい。特徴抽出層４１４のチャンネル数は特に限られないが、例えば３２である。

【0104】

分類層４１６は、特徴抽出層４１４によって抽出された特徴量に基づいて、各画素が欠損するか否かを分類する。分類層４１６は、複数（例えば３２）のチャンネルを全結合するための２回の畳み込み処理４２８，４３０と、画素の欠損確率を算出するためのソフトマックス処理４３２と、欠損確率に閾値を設定して画素が欠損するか否かを出力する分類処理４３４とを含む。

【0105】

出力層４１８は、欠損画像Ｉ５を出力データとして出力する。出力層４１８は、仮想距離画像Ｉ１および仮想輝度画像Ｉ４の画像サイズに対応したデータサイズを有し、チャンネル数は１である。

【0106】

つづいて、欠損データ生成器４０８の機械学習について説明する。欠損データ生成器４０８の学習時には、教師データとして、パレットの実物を距離画像センサによって実際に撮影した画像を利用する。例題データとして、距離画像センサの実測による実測距離画像Ｉ１ｒおよび実測輝度画像Ｉ４ｒを用いる。正解データとして、実測距離画像Ｉ１ｒにおいて画素値が欠損する（例えば距離が０である）画素の画素値を０とし、画素値が欠損していない（例えば距離が０ではないる）画素の画素値を１とした実測欠損画像Ｉ５ｒを用いる。

【0107】

欠損データ生成器４０８の学習に用いる実測距離画像Ｉ１ｒおよび実測輝度画像Ｉ４ｒは、実測によるため、欠損データ（欠損値）を含みうる。一方、欠損データ生成器４０８の入力に用いる仮想距離画像Ｉ１および仮想輝度画像Ｉ４は、物体の３次元モデルから生成されるため、欠損データを含まない。したがって、欠損データ生成器４０８の教師データと入力データの間には、欠損データの有無において乖離がある。

【0108】

図１９（ａ）は、実測距離画像Ｉ１ｒの一例を示す図であり、図１９（ｂ）は、仮想距離画像Ｉ１の一例を示す図である。図１９（ａ）の実測距離画像Ｉ１ｒは、欠損する画素の画素値が０となり、黒色に見える画素が多数含まれる。一方、図１９（ｂ）の仮想距離画像Ｉ１は、画素の欠損がないため、画素値が０となって黒色に見える画素が存在しない。

【0109】

欠損データ生成器４０８の教師データと入力データの間に乖離がある場合、欠損データ生成器４０８の学習後の推定精度が低下してしまう。そこで、欠損データ生成器４０８の学習時において、特徴抽出層４１４の畳み込み処理４２０～４２６において注目画素の重み付けを恣意的に下げるようにする。

【0110】

図２０は、欠損データ生成器４０８の畳み込み処理４２０～４２６において使用する畳み込みカーネル４４０を模式的に示す図である。図２０は、畳み込みカーネル４４０は、例えば７×７のサイズであり、７×７＝４９個のカーネル値ｗ１１～ｗ７７を有する。畳み込みカーネル４４０は、カーネルの中心４４２に位置する中心カーネル値ｗ４４が固定値とされる。固定値は例えば０である。中心４４２のカーネル値ｗ４４は、畳み込み処理の注目画素に乗算される。中心４４２以外のカーネル値は、畳み込み処理の注目画素の周辺画素に乗算される。中心４４２以外のカーネル値は、機械学習の過程において調整される。

【0111】

カーネル４４０の中心４４２のカーネル値を０に固定する制約条件を用いることにより、注目画素の画素値を無視し、周辺画素の画素値を用いて畳み込み処理を実行できる。これにより、学習時の実測距離画像Ｉ１ｒおよび実測輝度画像Ｉ４ｒに含まれる実測の欠損データが欠損画素の推定に与える影響を小さくし、周辺画素の情報から欠損画素を推定することが可能となる。その結果、欠損データを含まない仮想距離画像Ｉ１および仮想輝度画像Ｉ４を入力データとする場合であっても、欠損データ生成器４０８による欠損データの推定精度を高めることができる。

【0112】

中心４４２のカーネル値を０に固定した畳み込みカーネル４４０は、欠損データ生成器４０８の４回の畳み込み処理４２０～４２６の全てに使用されてもよいし、４回の畳み込み処理４２０～４２６の一部で使用されてもよい。中心４４２のカーネル値は、０ではなく、０に近い小さな値（例えば、０．１、０．０１、０．００１）としてもよい。

【0113】

欠損データ生成器４０８が生成した欠損画像Ｉ５は、仮想距離画像Ｉ１の修正に用いられる。欠損画像Ｉ５において欠損する画素は、仮想距離画像Ｉ１の画素値が０（例えば距離が０）となるように修正される。欠損画像Ｉ５において欠損していない画素は、仮想距離画像Ｉ１の画素値（例えば有限の距離）が修正されずにそのままとなる。これにより、欠損データが考慮された修正後の仮想距離画像Ｉ１’を生成できる。

【0114】

実施例２によれば、実際の距離画像に含まれる欠損データの発生をエミュレートでき、実際の距離画像に近い教師データを生成できる。

【0115】

（実施例３）
実施例３は、実施例１と実施例２を組み合わせたものであり、実施例２の欠損データ生成器４０８の入力として、実施例１の誤差（ノイズ）が重畳された仮想距離画像である誤差重畳距離画像を用いる。誤差重畳距離画像は、誤差（ノイズ）を含む点で、欠損データ生成器４０８の学習に使用する実測距離画像Ｉ１ｒにより近い。そのため、誤差重畳距離画像を入力とすることで、欠損データ生成器４０８による欠損データの推定精度を高めることができる。

【0116】

図２１は、実施例３に係る教師データの生成方法のフローチャートである。まず、パレット８００の３次元モデルＭｐと、距離画像センサ３０２のモデルＭｓが計算機シミュレータの３次元の仮想空間中に配置される（Ｓ２００）。ステップＳ２００は、上述のＳ１００～Ｓ１０４の処理と同様であってもよい。つづいて、距離画像センサ３０２のモデルＭｓの出力を、仮想距離画像Ｉ１として取得する（Ｓ２０２）。ステップＳ２０２は、上述のＳ１０６の処理と同様であってもよい。

【0117】

次に、実測値を用いて決定される反射特性パラメータを用いて、距離画像センサのモデルから仮想輝度画像Ｉ４を生成する（Ｓ２０４）。ステップＳ２０４は、上述のＳ１２０の処理と同様であってもよい。つづいて、仮想輝度画像Ｉ４の画素値に基づく誤差δを仮想距離画像Ｉ１の画素値に重畳した誤差重畳距離画像Ｉ１ｄを生成する（Ｓ２０６）。誤差重畳距離画像Ｉ１ｄは、実施例１と同様の方法によって生成できる。

【0118】

次に、仮想輝度画像Ｉ４と誤差重畳距離画像Ｉ１ｄにもとづいて画素の欠損を示す欠損データを生成する（Ｓ２０８）。ステップＳ２０８では、欠損データ生成器４０８に仮想輝度画像Ｉ４と誤差重畳距離画像Ｉ１ｄを入力することにより、欠損データ生成器４０８から欠損画像Ｉ５が生成される。つづいて、誤差重畳距離画像Ｉ１ｄの画素値を欠損データに置換して修正後の仮想距離画像Ｉ１’を生成する（Ｓ２１０）。最後に、修正後の仮想距離画像Ｉ１’にもとづいて教師データＩ２が生成される（Ｓ２１２）。ステップＳ２１２は、上述のＳ１０８と同様の処理であってもよい。

【0119】

図２１のフローにおいても、上述のＳ１１０と同様、パレットと距離画像センタの相対的な位置を変化させてＳ２０２～Ｓ２１２のステップを繰り返すことにより、多様な教師データを用意できる。さらに、パレットの材料や材質に応じて反射特性パラメータを変更してＳ２０２～Ｓ２１２のステップを繰り返すことにより、多種多様なパレットに対応した教師データを用意できる。

【0120】

以上、本発明を実施例にもとづいて説明した。本発明は上記実施形態に限定されず、種々の設計変更が可能であり、様々な変形例が可能であること、またそうした変形例も本発明の範囲にあることは、当業者に理解されるところである。以下、こうした変形例を説明する。

【0121】

実施の形態では搬送装置としてフォークリフトを例に説明したが、本発明の適用はその限りでなく、ハンドリフト（ハンドパレット）やＡＧＶ（Automatic Guided Vehicle）、フォークローダー（フォーク付きのホイルローダー）など、パレットを取り扱うさまざまな搬送装置に適用することができる。

【符号の説明】

【0122】

６００ フォークリフト
６０２ 車体
６０４ フォーク
６０６ 昇降体
６０８ マスト
６１０ 前輪
６１２ 後輪
７００ 操縦席
７０２ イグニッションスイッチ
７０４ ステアリングホイール
７０６ リフトレバー
７０８ アクセルペダル
７１０ ブレーキペダル
７１２ 前後進レバー
７１４ ダッシュボード
３００ フォークリフト
３０２ 距離画像センサ
３０３ カメラ
３０４ 通知手段
３０６ ディスプレイ
３０８ スピーカ
３１０ コントローラ
３２０ マイコン
３３０ 距離画像取得部
３４０ 識別器
３５０ 処理部
３６０ パターンマッチング部
３６２ テンプレート画像生成器
Ｄ１ 測距データ
Ｄ２ 距離画像
Ｄ３ 画像データ
Ｄ４ 部分距離画像
Ｄ５ 位置情報
Ｄ６ テンプレート画像
８００ パレット
８０１ 特定部位
８０２ 穴
８０４ 桁

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】