ホーム > 特許ランキング > 住友重機械工業株式会社
知財求人 - 知財ポータルサイト「IP Force」
特開2024-13690荷取支援装置、搬送装置、荷取支援方法及び荷取支援プログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024013690
(43)【公開日】2024-02-01
(54)【発明の名称】荷取支援装置、搬送装置、荷取支援方法及び荷取支援プログラム
(51)【国際特許分類】
B66F 9/24 20060101AFI20240125BHJP
G06T 7/00 20170101ALI20240125BHJP
G06T 7/70 20170101ALI20240125BHJP
G06V 10/82 20220101ALI20240125BHJP
【ＦＩ】
B66F9/24 L
G06T7/00 350B
G06T7/70 Z
G06V10/82
【審査請求】未請求
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2022115976
(22)【出願日】2022-07-21
(71)【出願人】
【識別番号】000002107
【氏名又は名称】住友重機械工業株式会社
(74)【代理人】
【識別番号】100090033
【弁理士】
【氏名又は名称】荒船 博司
(74)【代理人】
【識別番号】100093045
【弁理士】
【氏名又は名称】荒船 良男
(72)【発明者】
【氏名】佐藤 美徳
【テーマコード（参考）】
3F333
5L096
【Ｆターム（参考）】
3F333AA02
3F333AB13
3F333FA27
3F333FD14
3F333FE05
3F333FE09
5L096AA02
5L096AA06
5L096AA09
5L096BA04
5L096CA02
5L096FA59
5L096FA66
5L096FA67
5L096FA69
5L096GA51
5L096HA11
5L096KA04
(57)【要約】
【課題】学習モデルを用いて好適に荷取作業を支援する。
【解決手段】フォークリフト１は、パレット３０の３Ｄ－ＣＡＤデータ２６１を予め記憶する記憶部２６と、制御部２７とを備えている。制御部２７は、３Ｄ－ＣＡＤデータ２６１上でパレット３０の位置及び姿勢の少なくとも一方を変化させて生成した複数の合成画像ＣＤに、当該合成画像ＣＤにおけるパレット３０の側面３１のエッジ情報を付与し、複数の教師データＴＤを生成し、複数の教師データＴＤを機械学習させて学習モデル２６１を作成し、撮影部２４によりパレット３０の撮像画像Ｍを取得し、撮像画像Ｍを前記学習モデルに入力して撮影部２４に対するパレット３０の相対姿勢を求める。
【選択図】図３
【解決手段】フォークリフト１は、パレット３０の３Ｄ－ＣＡＤデータ２６１を予め記憶する記憶部２６と、制御部２７とを備えている。制御部２７は、３Ｄ－ＣＡＤデータ２６１上でパレット３０の位置及び姿勢の少なくとも一方を変化させて生成した複数の合成画像ＣＤに、当該合成画像ＣＤにおけるパレット３０の側面３１のエッジ情報を付与し、複数の教師データＴＤを生成し、複数の教師データＴＤを機械学習させて学習モデル２６１を作成し、撮影部２４によりパレット３０の撮像画像Ｍを取得し、撮像画像Ｍを前記学習モデルに入力して撮影部２４に対するパレット３０の相対姿勢を求める。
【選択図】図３
【特許請求の範囲】
【請求項1】
パレットの三次元形状データを予め記憶する記憶手段と、
前記三次元形状データ上で前記パレットの位置及び姿勢の少なくとも一方を変化させて生成した複数の合成画像に、当該合成画像における前記パレットの側面のエッジ情報を付与し、複数の教師データを生成するアノテーション手段と、
前記複数の教師データを機械学習させて学習モデルを作成する学習手段と、
パレットの撮像画像を取得する撮像手段と、
前記撮像画像を前記学習モデルに入力し、前記撮像手段に対する前記パレットの相対姿勢を求める演算手段と、
を備える荷取支援装置。
前記三次元形状データ上で前記パレットの位置及び姿勢の少なくとも一方を変化させて生成した複数の合成画像に、当該合成画像における前記パレットの側面のエッジ情報を付与し、複数の教師データを生成するアノテーション手段と、
前記複数の教師データを機械学習させて学習モデルを作成する学習手段と、
パレットの撮像画像を取得する撮像手段と、
前記撮像画像を前記学習モデルに入力し、前記撮像手段に対する前記パレットの相対姿勢を求める演算手段と、
を備える荷取支援装置。
【請求項2】
前記アノテーション手段は、前記三次元形状データ上で位置及び姿勢の少なくとも一方を変化させた前記パレットの画像に、荷取作業が行われる作業現場の写真を背景画像として組み合わせて、前記複数の合成画像を生成する、
請求項１に記載の荷取支援装置。
請求項１に記載の荷取支援装置。
【請求項3】
前記アノテーション手段は、前記三次元形状データ上で、前記パレットの位置及び姿勢の少なくとも一方を変化させるとともに、前記パレットの表面の画像特性を変化させて、前記複数の合成画像を生成する、
請求項１に記載の荷取支援装置。
請求項１に記載の荷取支援装置。
【請求項4】
前記アノテーション手段は、前記エッジ情報として、前記パレットの画像のうち前記側面の上側及び下側の縁部を抽出し、
前記演算手段は、前記側面の前記縁部に基づいて、前記撮像手段と前記側面とが正対しているか否かを判定する、
請求項１に記載の荷取支援装置。
前記演算手段は、前記側面の前記縁部に基づいて、前記撮像手段と前記側面とが正対しているか否かを判定する、
請求項１に記載の荷取支援装置。
【請求項5】
前記演算手段は、前記パレットの画像のうち前記撮像手段の左右方向に対応する方向に沿った直線と、前記縁部とのなす角度が所定の閾値よりも小さい場合に、前記撮像手段と前記側面とが正対していると判定する、
請求項４に記載の荷取支援装置。
請求項４に記載の荷取支援装置。
【請求項6】
前記撮像手段と前記側面とが正対していないと前記演算手段が判定した場合に当該判定結果を運転者に報知する報知手段を備える、
請求項４に記載の荷取支援装置。
請求項４に記載の荷取支援装置。
【請求項7】
前記パレットの撮像画像における深度情報を取得する取得手段を備え、
前記演算手段は、前記深度情報に基づいて、前記パレットの相対姿勢を求める、
請求項１に記載の荷取支援装置。
前記演算手段は、前記深度情報に基づいて、前記パレットの相対姿勢を求める、
請求項１に記載の荷取支援装置。
【請求項8】
請求項１から請求項７のいずれか一項に記載の荷取支援装置と、
前記パレットを保持する保持部と、を備える、
搬送装置。
前記パレットを保持する保持部と、を備える、
搬送装置。
【請求項9】
パレットの三次元形状データを予め記憶する記憶手段を備える荷取支援装置の制御手段が、
前記三次元形状データ上で前記パレットの位置及び姿勢の少なくとも一方を変化させて生成した複数の合成画像に、当該合成画像における前記パレットの側面のエッジ情報を付与し、複数の教師データを生成するアノテーション工程と、
前記複数の教師データを機械学習させて学習モデルを作成する学習工程と、
撮像手段によりパレットの撮像画像を取得する撮像工程と、
前記撮像画像を前記学習モデルに入力し、前記撮像手段に対する前記パレットの相対姿勢を求める演算工程と、
を実行する、
荷取支援方法。
前記三次元形状データ上で前記パレットの位置及び姿勢の少なくとも一方を変化させて生成した複数の合成画像に、当該合成画像における前記パレットの側面のエッジ情報を付与し、複数の教師データを生成するアノテーション工程と、
前記複数の教師データを機械学習させて学習モデルを作成する学習工程と、
撮像手段によりパレットの撮像画像を取得する撮像工程と、
前記撮像画像を前記学習モデルに入力し、前記撮像手段に対する前記パレットの相対姿勢を求める演算工程と、
を実行する、
荷取支援方法。
【請求項10】
コンピュータを、
三次元形状データ上でパレットの位置及び姿勢の少なくとも一方を変化させて生成した複数の合成画像に、当該合成画像における前記パレットの側面のエッジ情報を付与し、複数の教師データを生成するアノテーション手段、
前記複数の教師データを機械学習させて学習モデルを作成する学習手段、
パレットの撮像画像を取得する撮像手段、
前記撮像画像を前記学習モデルに入力し、前記撮像手段に対する前記パレットの相対姿勢を求める演算手段、
として機能させる、
荷取支援プログラム。
三次元形状データ上でパレットの位置及び姿勢の少なくとも一方を変化させて生成した複数の合成画像に、当該合成画像における前記パレットの側面のエッジ情報を付与し、複数の教師データを生成するアノテーション手段、
前記複数の教師データを機械学習させて学習モデルを作成する学習手段、
パレットの撮像画像を取得する撮像手段、
前記撮像画像を前記学習モデルに入力し、前記撮像手段に対する前記パレットの相対姿勢を求める演算手段、
として機能させる、
荷取支援プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、荷取支援装置、搬送装置、荷取支援方法及び荷取支援プログラムに関する。
【背景技術】
【0002】
従来、フォークリフトでの荷役作業では、運転者（作業者）が目視によりパレットの孔部（フォークポケット）を確認し、この孔部へのフォークの挿入可否を判断していた。そのため、特にパレットがフォークリフトから目視しづらい位置に置かれている場合などには、予測を頼りにフォークを挿入しなければならなかった。
【0003】
そこで、例えば特許文献１に記載の技術では、パレットの画像を教師データとして機械学習させた学習モデルを用い、孔部へのフォークの挿入可否を判断している。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特許第６６７６１９８号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、上記特許文献１に記載の技術では、十分な数量のパレット写真を準備しなければ、良好な精度が得られる学習モデルを構築することができない。
本発明は、このような事情に鑑みてなされたもので、学習モデルを用いて好適に荷取作業を支援することを目的とする。
本発明は、このような事情に鑑みてなされたもので、学習モデルを用いて好適に荷取作業を支援することを目的とする。
【課題を解決するための手段】
【0006】
本発明に係る荷取支援装置は、
パレットの三次元形状データを予め記憶する記憶手段と、
前記三次元形状データ上で前記パレットの位置及び姿勢の少なくとも一方を変化させて生成した複数の合成画像に、当該合成画像における前記パレットの側面のエッジ情報を付与し、複数の教師データを生成するアノテーション手段と、
前記複数の教師データを機械学習させて学習モデルを作成する学習手段と、
パレットの撮像画像を取得する撮像手段と、
前記撮像画像を前記学習モデルに入力し、前記撮像手段に対する前記パレットの相対姿勢を求める演算手段と、
を備える。
パレットの三次元形状データを予め記憶する記憶手段と、
前記三次元形状データ上で前記パレットの位置及び姿勢の少なくとも一方を変化させて生成した複数の合成画像に、当該合成画像における前記パレットの側面のエッジ情報を付与し、複数の教師データを生成するアノテーション手段と、
前記複数の教師データを機械学習させて学習モデルを作成する学習手段と、
パレットの撮像画像を取得する撮像手段と、
前記撮像画像を前記学習モデルに入力し、前記撮像手段に対する前記パレットの相対姿勢を求める演算手段と、
を備える。
【発明の効果】
【0007】
本発明によれば、学習モデルを用いて好適に荷取作業を支援することができる。
【図面の簡単な説明】
【0008】
【図1】実施形態に係るフォークリフトの外観を示す斜視図である。
【図2】実施形態に係るフォークリフトの概略の制御構成を示すブロック図である。
【図3】実施形態に係るモデル作成処理の手順を示すフローチャートである。
【図4】実施形態に係るモデル作成処理を説明するための図である。
【図5】実施形態に係る荷取支援処理の手順を示すフローチャートである。
【図6】実施形態に係る荷取支援処理を説明するための図である。
【図7】実施形態に係る荷取支援処理を説明するための図である。
【図8】実施形態に係る荷取支援処理を説明するための図である。
【図9】実施形態の変形例に係るフォークリフト及びモデル作成装置の概略の制御構成を示すブロック図である。
【発明を実施するための形態】
【0009】
以下、本発明の実施形態について、図面を参照して詳細に説明する。
【0010】
［フォークリフトの構成］
図１は、本実施形態に係るフォークリフト１の外観を示す斜視図である。
本実施形態に係るフォークリフト１は、本発明に係る搬送装置の一例であり、車体１１、フォーク１２、昇降体（リフト）１３、マスト１４、車輪１５を備える。マスト１４は車体１１の前方に設けられ、図示しない駆動源によって駆動されて車体１１の前後に傾斜する。昇降体１３は、図示しない駆動源によって駆動され、マスト１４に沿って昇降する。昇降体１３には、荷物やパレット３０などを保持する保持部としての一対のフォーク１２が取り付けられている。
パレット３０は、図４（ａ）に示すように、フォークリフト１の荷役（荷取）対象となる荷物が載置される台状のものである。パレット３０は、短矩形板状に形成され、一対のフォーク１２が挿入される２つの孔部（フォークポケット）３２を各側面３１に有する。各孔部３２は、パレット３０の四辺に沿って延在し、その前後又は左右の両側に位置する柱状部３３により画成される。
図１は、本実施形態に係るフォークリフト１の外観を示す斜視図である。
本実施形態に係るフォークリフト１は、本発明に係る搬送装置の一例であり、車体１１、フォーク１２、昇降体（リフト）１３、マスト１４、車輪１５を備える。マスト１４は車体１１の前方に設けられ、図示しない駆動源によって駆動されて車体１１の前後に傾斜する。昇降体１３は、図示しない駆動源によって駆動され、マスト１４に沿って昇降する。昇降体１３には、荷物やパレット３０などを保持する保持部としての一対のフォーク１２が取り付けられている。
パレット３０は、図４（ａ）に示すように、フォークリフト１の荷役（荷取）対象となる荷物が載置される台状のものである。パレット３０は、短矩形板状に形成され、一対のフォーク１２が挿入される２つの孔部（フォークポケット）３２を各側面３１に有する。各孔部３２は、パレット３０の四辺に沿って延在し、その前後又は左右の両側に位置する柱状部３３により画成される。
【0011】
図２は、フォークリフト１の概略の制御構成を示すブロック図である。
この図に示すように、フォークリフト１は、上記構成に加え、駆動部２１、操作部２２、表示部２３、撮影部２４、記憶部２６、制御部２７を備える。本発明に係る荷取支援装置は、少なくとも撮影部２４、記憶部２６、制御部２７を含んで構成される。
この図に示すように、フォークリフト１は、上記構成に加え、駆動部２１、操作部２２、表示部２３、撮影部２４、記憶部２６、制御部２７を備える。本発明に係る荷取支援装置は、少なくとも撮影部２４、記憶部２６、制御部２７を含んで構成される。
【0012】
駆動部２１は、フォークリフト１の各種駆動源である走行モータ、操舵モータ及び荷役モータ（いずれも図示省略）を含む。走行モータは、車輪１５のうちの駆動輪を駆動する。操舵モータは、車輪１５のうちの操舵輪を回転（操舵動作）させる。荷役モータは、昇降体１３の昇降とマスト１４の傾倒との各動作を行わせる駆動源である。
操作部２２は、オペレータ（運転者）が各種操作を行う操作手段である。操作部２２は、例えばハンドルやペダル、レバー、各種ボタン等を含み、これらの操作内容に応じた操作信号を制御部２７に出力する。
操作部２２は、オペレータ（運転者）が各種操作を行う操作手段である。操作部２２は、例えばハンドルやペダル、レバー、各種ボタン等を含み、これらの操作内容に応じた操作信号を制御部２７に出力する。
【0013】
表示部２３は、例えば液晶ディスプレイ、有機エレクトロルミネッセンスディスプレイその他のディスプレイであり、制御部２７から入力される表示信号に基づいて各種情報を表示する。なお、表示部２３は、操作部２２の一部を兼ねるタッチパネルであってもよいし、音声表示（出力）が可能なスピーカを含んでもよい。
撮影部２４は、所定の解像度を有するカメラであり、例えば昇降体１３又はマスト１４に前方向きに取り付けられ、フォークリフト１の前方を撮影する。
撮影部２４は、所定の解像度を有するカメラであり、例えば昇降体１３又はマスト１４に前方向きに取り付けられ、フォークリフト１の前方を撮影する。
【0014】
記憶部２６は、例えばＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）等を備えて構成されるメモリであり、各種のプログラム及びデータを記憶するとともに、制御部２７の作業領域としても機能する。
本実施形態の記憶部２６には、学習モデル２６１と、三次元ＣＡＤ（３Ｄ－ＣＡＤ）データ２６２と、背景画像２６３とが予め記憶されている。
学習モデル２６１は、パレット３０の撮像画像からその姿勢を判定するものであり、後述のモデル作成処理（図３参照）において機械学習により構築されて記憶部２６に格納される。学習モデル２６１は、深層学習されたニューラルネットワークを有するＡＩ（Artificial Intelligence：人工知能）であってもよい。
３Ｄ－ＣＡＤデータ２６２は、パレット３０の三次元形状情報（設計情報）である。種
類の異なる複数のパレット３０に関する複数の３Ｄ－ＣＡＤデータ２６２が記憶部２６に記憶されていてもよい。
背景画像２６３は、後述のモデル作成処理においてパレット３０の背景として使用する画像である。本実施形態では、背景画像２６３として、後述の荷取作業を行う作業現場（またはそれに似た場所）の少なくとも１つの写真データが格納されている。
さらに、本実施形態の記憶部２６には、後述のモデル作成処理を実行するためのモデル作成プログラム２６４と、後述の荷取支援処理（図５参照）を実行するための荷取支援プログラム２６５とが予め記憶されている。
本実施形態の記憶部２６には、学習モデル２６１と、三次元ＣＡＤ（３Ｄ－ＣＡＤ）データ２６２と、背景画像２６３とが予め記憶されている。
学習モデル２６１は、パレット３０の撮像画像からその姿勢を判定するものであり、後述のモデル作成処理（図３参照）において機械学習により構築されて記憶部２６に格納される。学習モデル２６１は、深層学習されたニューラルネットワークを有するＡＩ（Artificial Intelligence：人工知能）であってもよい。
３Ｄ－ＣＡＤデータ２６２は、パレット３０の三次元形状情報（設計情報）である。種
類の異なる複数のパレット３０に関する複数の３Ｄ－ＣＡＤデータ２６２が記憶部２６に記憶されていてもよい。
背景画像２６３は、後述のモデル作成処理においてパレット３０の背景として使用する画像である。本実施形態では、背景画像２６３として、後述の荷取作業を行う作業現場（またはそれに似た場所）の少なくとも１つの写真データが格納されている。
さらに、本実施形態の記憶部２６には、後述のモデル作成処理を実行するためのモデル作成プログラム２６４と、後述の荷取支援処理（図５参照）を実行するための荷取支援プログラム２６５とが予め記憶されている。
【0015】
制御部２７は、例えばＣＰＵ（Central Processing Unit）等を備えて構成され、フォークリフト１各部の動作を制御する。具体的に、制御部２７は、操作部２２の操作内容に基づいて駆動部２１を動作させたり、記憶部２６に予め記憶されているプログラムを展開し、展開されたプログラムと協働して各種処理を実行したりする。
【0016】
［モデル作成処理］
続いて、学習モデル２６１を作成するモデル作成処理について説明する。
図３は、モデル作成処理の手順を示すフローチャートであり、図４は、モデル作成処理を説明するための図であって、３Ｄ－ＣＡＤデータ２６２、背景画像２６３及び合成画像ＣＤの一例を示す図である。
モデル作成処理では、後述する荷取作業において、使用するパレット３０の姿勢を判定するための学習モデル２６１を作成する。このモデル作成処理は、制御部２７が、オペレータの操作に基づいて記憶部２６からモデル作成プログラム２６４を読み出して展開することで実行される。
続いて、学習モデル２６１を作成するモデル作成処理について説明する。
図３は、モデル作成処理の手順を示すフローチャートであり、図４は、モデル作成処理を説明するための図であって、３Ｄ－ＣＡＤデータ２６２、背景画像２６３及び合成画像ＣＤの一例を示す図である。
モデル作成処理では、後述する荷取作業において、使用するパレット３０の姿勢を判定するための学習モデル２６１を作成する。このモデル作成処理は、制御部２７が、オペレータの操作に基づいて記憶部２６からモデル作成プログラム２６４を読み出して展開することで実行される。
【0017】
図３に示すように、モデル作成処理が実行されると、まず制御部２７は、オペレータの操作に基づいて、パレット３０の３Ｄ－ＣＡＤデータ２６２とその背景画像２６３を選択する（ステップＳ１；図４（ａ）、（ｂ））。
本実施形態では、背景画像２６３として、後述の荷取作業を行う作業現場（またはそれに似た場所）の写真が選択される。なお、背景画像２６３は複数選択されてもよいし、選択されなくても（背景無しでも）よい。
本実施形態では、背景画像２６３として、後述の荷取作業を行う作業現場（またはそれに似た場所）の写真が選択される。なお、背景画像２６３は複数選択されてもよいし、選択されなくても（背景無しでも）よい。
【0018】
次に、制御部２７は、ステップＳ１で選択された３Ｄ－ＣＡＤデータ２６２と背景画像２６３を組み合わせて、複数の合成画像ＣＤを生成する（ステップＳ２；図４（ｃ））。
具体的に、制御部２７は、３Ｄ－ＣＡＤデータ２６２上でパレット３０の位置（背景に対する位置）及び姿勢の少なくとも一方を変化させつつ、背景画像２６３と組み合わせて、複数の合成画像ＣＤを生成する。背景画像２６３の向きや画像特性（明るさ等）を変化させてもよい。
このとき、バーチャル空間上で、パレット３０の色やテクスチャ、パレット３０への照明（パレット３０の陰影）などの画像特性についてパラメータを振って、合成画像ＣＤをさらに増やしてもよい。テクスチャとは、例えばパレット３０の質感、印字、汚れ等の表面性状である。
具体的に、制御部２７は、３Ｄ－ＣＡＤデータ２６２上でパレット３０の位置（背景に対する位置）及び姿勢の少なくとも一方を変化させつつ、背景画像２６３と組み合わせて、複数の合成画像ＣＤを生成する。背景画像２６３の向きや画像特性（明るさ等）を変化させてもよい。
このとき、バーチャル空間上で、パレット３０の色やテクスチャ、パレット３０への照明（パレット３０の陰影）などの画像特性についてパラメータを振って、合成画像ＣＤをさらに増やしてもよい。テクスチャとは、例えばパレット３０の質感、印字、汚れ等の表面性状である。
【0019】
次に、制御部２７は、ステップＳ２で生成した複数の合成画像ＣＤに、当該合成画像ＣＤにおけるパレット３０の側面３１のエッジ情報を付与し、学習モデル２６１を作成するための学習用データセット（複数の教師データＴＤ）を生成する（ステップＳ３）。
ここでは、制御部２７は、各合成画像ＣＤ（二次元画像）におけるパレット３０の１つの側面３１を含む矩形領域Ｇａ（図６（ｂ）参照）と、側面３１の上側及び下側のエッジＬａ、Ｌｂに関する情報（エッジ情報）とを、当該合成画像ＣＤに付与する（アノテーション）。エッジＬａは、側面３１のうち上端の直線状の縁部であり、エッジＬｂは下端の直線状の縁部である。矩形領域ＧａとエッジＬａ、Ｌｂの位置は、ステップＳ２の結果から求められる。具体的には、ステップＳ２で合成画像ＣＤを生成するときにバーチャル３Ｄ空間上の位置姿勢パラメータを指定するが、この際にその位置姿勢パラメータから画像上のどの位置にパレット３０の側面３１が位置するかが求められる。
なお、エッジ情報は、エッジＬａ、Ｌｂの少なくとも一方の情報を含めばよい。また、合成画像ＣＤに複数の側面３１が含まれる場合には、例えば、最もフォークリフト１の正対位置に近い（すなわち最も面積の大きい）状態の側面３１が抽出される（少なくとも矩形領域Ｇａに含まれる）こととすればよい。
ここでは、制御部２７は、各合成画像ＣＤ（二次元画像）におけるパレット３０の１つの側面３１を含む矩形領域Ｇａ（図６（ｂ）参照）と、側面３１の上側及び下側のエッジＬａ、Ｌｂに関する情報（エッジ情報）とを、当該合成画像ＣＤに付与する（アノテーション）。エッジＬａは、側面３１のうち上端の直線状の縁部であり、エッジＬｂは下端の直線状の縁部である。矩形領域ＧａとエッジＬａ、Ｌｂの位置は、ステップＳ２の結果から求められる。具体的には、ステップＳ２で合成画像ＣＤを生成するときにバーチャル３Ｄ空間上の位置姿勢パラメータを指定するが、この際にその位置姿勢パラメータから画像上のどの位置にパレット３０の側面３１が位置するかが求められる。
なお、エッジ情報は、エッジＬａ、Ｌｂの少なくとも一方の情報を含めばよい。また、合成画像ＣＤに複数の側面３１が含まれる場合には、例えば、最もフォークリフト１の正対位置に近い（すなわち最も面積の大きい）状態の側面３１が抽出される（少なくとも矩形領域Ｇａに含まれる）こととすればよい。
【0020】
次に、制御部２７は、ステップＳ３で生成した複数の教師データＴＤを、例えばニューラルネットワークを有するＡＩに機械学習させて、学習モデル２６１を作成する（ステップＳ４）。
こうして、学習モデル２６１が構築され、記憶部２６に格納される。
こうして、学習モデル２６１が構築され、記憶部２６に格納される。
【0021】
［荷取支援処理］
続いて、フォークリフト１がパレット３０にフォーク１２を挿入する際の荷取動作を支援する荷取支援処理について説明する。
この荷取動作では、パレット３０の画像に基づいてパレット３０の姿勢が求められ、その結果に基づいて、パレット３０の孔部３２へのフォーク１２の挿入が好適にアシストされる。
図５は、荷取支援処理の手順を示すフローチャートであり、図６～図８は、荷取支援処理を説明するための図である。
荷取支援処理は、学習モデル２６１を利用して、パレット３０の画像からパレット３０の相対姿勢を予測（判定）する処理である。この荷取支援処理は、制御部２７が、オペレータの操作に基づいて記憶部２６から荷取支援プログラム２６５を読み出して展開することで実行される。ここでは、フォークリフト１がパレット３０の前方まで走行してきた状態であるものとする。
続いて、フォークリフト１がパレット３０にフォーク１２を挿入する際の荷取動作を支援する荷取支援処理について説明する。
この荷取動作では、パレット３０の画像に基づいてパレット３０の姿勢が求められ、その結果に基づいて、パレット３０の孔部３２へのフォーク１２の挿入が好適にアシストされる。
図５は、荷取支援処理の手順を示すフローチャートであり、図６～図８は、荷取支援処理を説明するための図である。
荷取支援処理は、学習モデル２６１を利用して、パレット３０の画像からパレット３０の相対姿勢を予測（判定）する処理である。この荷取支援処理は、制御部２７が、オペレータの操作に基づいて記憶部２６から荷取支援プログラム２６５を読み出して展開することで実行される。ここでは、フォークリフト１がパレット３０の前方まで走行してきた状態であるものとする。
【0022】
図５に示すように、荷取支援処理が実行されると、まず制御部２７は、撮影部２４によりパレット３０の画像を取得する（ステップＴ１）。
このステップでは、制御部２７は、オペレータの操作に基づいて、撮影部２４を動作させて前方のパレット３０の画像を取得し、記憶部２６に記憶させる。これにより、例えば図６（ａ）に示すようなパレット３０の撮像画像Ｍが得られる。
なお、撮影タイミングはオペレータの操作に基づくものでなくともよく、例えば所定の撮影タイミングで定期的にフォークリフト１前方を撮影し、その画像からパレット３０を検出することとしてもよい。
このステップでは、制御部２７は、オペレータの操作に基づいて、撮影部２４を動作させて前方のパレット３０の画像を取得し、記憶部２６に記憶させる。これにより、例えば図６（ａ）に示すようなパレット３０の撮像画像Ｍが得られる。
なお、撮影タイミングはオペレータの操作に基づくものでなくともよく、例えば所定の撮影タイミングで定期的にフォークリフト１前方を撮影し、その画像からパレット３０を検出することとしてもよい。
【0023】
次に、制御部２７は、ステップＴ１で取得したパレット３０の撮像画像Ｍを学習モデル２６１に入力し、撮影部２４に対するパレット３０の相対姿勢を求める（ステップＴ２）。
具体的に、制御部２７は、例えば図６（ｂ）に示すように、撮像画像Ｍのうち、パレット３０の側面３１を全て含む矩形領域Ｇａと、当該側面３１の上下のエッジＬａ、Ｌｂとを抽出する。なお、矩形領域Ｇａは、撮像画像Ｍの一部であって、パレット３０の側面３１の一面全てを含む矩形範囲であればよく、例えばパレット３０全体を含む矩形範囲であってもよい。
具体的に、制御部２７は、例えば図６（ｂ）に示すように、撮像画像Ｍのうち、パレット３０の側面３１を全て含む矩形領域Ｇａと、当該側面３１の上下のエッジＬａ、Ｌｂとを抽出する。なお、矩形領域Ｇａは、撮像画像Ｍの一部であって、パレット３０の側面３１の一面全てを含む矩形範囲であればよく、例えばパレット３０全体を含む矩形範囲であってもよい。
【0024】
次に、制御部２７は、ステップＴ２で抽出された矩形領域Ｇａ及びエッジＬａ、Ｌｂに基づいて、撮影部２４（すなわちフォークリフト１）とパレット３０（の側面３１）とが正対しているか否かを判定する（ステップＴ３）。
具体的に、制御部２７は、矩形領域Ｇａの横線ＸとエッジＬａとの相対角度θａと、矩形領域Ｇａの横線ＸとエッジＬｂとの相対角度θｂとのうち、少なくとも一方を算出する
。矩形領域Ｇａの横線Ｘは、パレット３０の画像のうち、撮影部２４（フォークリフト１）の左右方向に対応する方向に沿った直線である。相対角度θａ、θｂは、図６（ｂ）、（ｃ）に示すように、撮影部２４とパレット３０とが正対するに連れて小さくなる（図６（ｃ）では相対角度θａ、θｂの図示を省略）。そこで、制御部２７は、相対角度θａ、θｂが所定の閾値よりも小さい場合に、撮影部２４とパレット３０が正対していると判定する。この判定条件は、相対角度θａ、θｂのいずれもが閾値よりも小さい場合としてもよいし、相対角度θａ、θｂの少なくともいずれか一方が閾値よりも小さい場合としてもよい。
また、相対角度θａ、θｂに基づく手法に代えて、上下のエッジＬａ、Ｌｂによって画成される側面３１部分の左右対称の度合いに基づいて、パレット３０との正対判定を行ってもよい。つまり、側面３１部分の左右対称の度合いが所定以上の場合に、撮影部２４とパレット３０が正対していると判定してもよい。より詳しくは、例えば、矩形領域ＧａとエッジＬａ、Ｌｂとの交点のＹ座標（画像の縦方向座標）が、左右で一致、もしくは左右の差が閾値以下の場合に、正対していると判定してもよい。あるいは、矩形領域ＧａのＸ方向（画像の横方向）の中心線から左右２つのエッジＥまでのＸ方向の距離が互いに等しい、もしくは当該距離の差が閾値以下の場合に、正対していると判定してもよい。
具体的に、制御部２７は、矩形領域Ｇａの横線ＸとエッジＬａとの相対角度θａと、矩形領域Ｇａの横線ＸとエッジＬｂとの相対角度θｂとのうち、少なくとも一方を算出する
。矩形領域Ｇａの横線Ｘは、パレット３０の画像のうち、撮影部２４（フォークリフト１）の左右方向に対応する方向に沿った直線である。相対角度θａ、θｂは、図６（ｂ）、（ｃ）に示すように、撮影部２４とパレット３０とが正対するに連れて小さくなる（図６（ｃ）では相対角度θａ、θｂの図示を省略）。そこで、制御部２７は、相対角度θａ、θｂが所定の閾値よりも小さい場合に、撮影部２４とパレット３０が正対していると判定する。この判定条件は、相対角度θａ、θｂのいずれもが閾値よりも小さい場合としてもよいし、相対角度θａ、θｂの少なくともいずれか一方が閾値よりも小さい場合としてもよい。
また、相対角度θａ、θｂに基づく手法に代えて、上下のエッジＬａ、Ｌｂによって画成される側面３１部分の左右対称の度合いに基づいて、パレット３０との正対判定を行ってもよい。つまり、側面３１部分の左右対称の度合いが所定以上の場合に、撮影部２４とパレット３０が正対していると判定してもよい。より詳しくは、例えば、矩形領域ＧａとエッジＬａ、Ｌｂとの交点のＹ座標（画像の縦方向座標）が、左右で一致、もしくは左右の差が閾値以下の場合に、正対していると判定してもよい。あるいは、矩形領域ＧａのＸ方向（画像の横方向）の中心線から左右２つのエッジＥまでのＸ方向の距離が互いに等しい、もしくは当該距離の差が閾値以下の場合に、正対していると判定してもよい。
【0025】
なお、撮影部２４による画像情報と併せて、その深度情報（奥行き情報）を取得した場合、さらに高精度にパレット３０の相対姿勢を算出できる。深度情報を得る構成は特に限定されず、例えば、撮影部２４とは別に（又は一体的に）ＴＯＦ（Time Of Flight）センサ等を設けてもよいし、撮影部２４として三次元の点群データを含む画像が得られるＲＧＢ－Ｄカメラ（デプスカメラ）等を用いてもよい。もしくは、パレット３０のサイズが既知であるため、撮影部２４の内部パラメータから、画像上のスケール（とアスペクト比）に基づいて距離を求めてもよい。
具体的に、撮像画像の深度情報を有する場合には、例えば図７（ａ）に示すように、上下のエッジＬａ、Ｌｂの間にある側面３１の領域（面が無い孔部３２を除く）から、少なくとも２つの点Ｐを任意に抽出し、各点Ｐの深度を含む三次元座標を取得する。そして、この少なくとも２つの点Ｐの三次元座標から、パレット３０の相対姿勢として、パレット３０の上面に垂直なヨー軸Ｙ回りの回転量を算出できる。この場合、３つ以上の点Ｐを抽出して側面３１の向きを求めてもよい。
あるいは、図７（ｂ）に示すように、上下のエッジＬａ、Ｌｂに間にある側面３１の領域（面が無い孔部３２を除く）から、部分領域ＡＲを少なくとも１箇所抽出し、この部分領域ＡＲの法線方向ＮＤを求める。そして、法線方向ＮＤから、パレット３０の相対姿勢として、パレット３０の上面に垂直なヨー軸Ｙ回りの回転量を算出してもよい。
あるいは、図８に示すように、柱状部３３と孔部３２との境界である上下に沿ったエッジＥを抽出する。そして、側面３１における左右方向のエッジＬａ、Ｌｂと、上下方向のエッジＥとの交点の三次元座標から、パレット３０の相対姿勢を求めてもよい。
具体的に、撮像画像の深度情報を有する場合には、例えば図７（ａ）に示すように、上下のエッジＬａ、Ｌｂの間にある側面３１の領域（面が無い孔部３２を除く）から、少なくとも２つの点Ｐを任意に抽出し、各点Ｐの深度を含む三次元座標を取得する。そして、この少なくとも２つの点Ｐの三次元座標から、パレット３０の相対姿勢として、パレット３０の上面に垂直なヨー軸Ｙ回りの回転量を算出できる。この場合、３つ以上の点Ｐを抽出して側面３１の向きを求めてもよい。
あるいは、図７（ｂ）に示すように、上下のエッジＬａ、Ｌｂに間にある側面３１の領域（面が無い孔部３２を除く）から、部分領域ＡＲを少なくとも１箇所抽出し、この部分領域ＡＲの法線方向ＮＤを求める。そして、法線方向ＮＤから、パレット３０の相対姿勢として、パレット３０の上面に垂直なヨー軸Ｙ回りの回転量を算出してもよい。
あるいは、図８に示すように、柱状部３３と孔部３２との境界である上下に沿ったエッジＥを抽出する。そして、側面３１における左右方向のエッジＬａ、Ｌｂと、上下方向のエッジＥとの交点の三次元座標から、パレット３０の相対姿勢を求めてもよい。
【0026】
ステップＴ３において、撮影部２４とパレット３０とが正対していると判定した場合（ステップＴ３；Ｙｅｓ）、制御部２７は、後述のステップＴ５へ処理を移行する。
なお、この場合には、撮影部２４（すなわちフォークリフト１）がパレット３０に正対していることをオペレータに報知（例えば表示部２３に「ＯＫ」と表示する等）してもよい。
なお、この場合には、撮影部２４（すなわちフォークリフト１）がパレット３０に正対していることをオペレータに報知（例えば表示部２３に「ＯＫ」と表示する等）してもよい。
【0027】
一方、ステップＴ３において、撮影部２４とパレット３０とが正対していないと判定した場合（ステップＴ３；Ｎｏ）、制御部２７は、撮影部２４（すなわちフォークリフト１）がパレット３０に正対していないことをオペレータに報知する（ステップＴ４）。
この場合の報知態様は特に限定されず、表示部２３に警告表示（例えば「パレットに正対していません！」等）を表示させてもよいし、図示しないスピーカに警告音を出力させたりしてもよい。
さらにこの場合、パレット３０に正対していない状態での荷取作業を防ぐため、フォークリフト１の前進動作を停止させる（規制する）等してもよい。
この場合の報知態様は特に限定されず、表示部２３に警告表示（例えば「パレットに正対していません！」等）を表示させてもよいし、図示しないスピーカに警告音を出力させたりしてもよい。
さらにこの場合、パレット３０に正対していない状態での荷取作業を防ぐため、フォークリフト１の前進動作を停止させる（規制する）等してもよい。
【0028】
次に、制御部２７は、荷取支援処理を終了させるか否かを判定し（ステップＴ５）、終了させないと判定した場合には（ステップＴ５；Ｎｏ）、上述のステップＴ１へ処理を移行する。
そして、例えば荷取作業の終了等により、荷取支援処理を終了させると判定した場合には（ステップＴ５；Ｙｅｓ）、制御部２７は、荷取支援処理を終了させる。
そして、例えば荷取作業の終了等により、荷取支援処理を終了させると判定した場合には（ステップＴ５；Ｙｅｓ）、制御部２７は、荷取支援処理を終了させる。
【0029】
［本実施形態の技術的効果］
以上のように、本実施形態によれば、３Ｄ－ＣＡＤデータ２６２上でパレット３０の位置及び姿勢の少なくとも一方を変化させて生成した複数の合成画像ＣＤに、当該合成画像ＣＤにおけるパレット３０の側面３１のエッジ情報を付与することで複数の教師データＴＤが生成され、この複数の教師データＴＤを機械学習させることで学習モデル２６１が作成される。そして、学習モデル２６１にパレット３０の撮像画像Ｍが入力されて、撮影部２４（フォークリフト１）に対するパレット３０の相対姿勢が求められる。
したがって、学習モデルの作成にあたり相当数のパレット写真を準備していた従来と異なり、３Ｄ－ＣＡＤデータ２６２さえあれば容易に複数の教師データＴＤを生成することができ、簡便に学習モデル２６１を作成することができる。したがって、学習モデルを用いて好適に荷取作業を支援することができる。
以上のように、本実施形態によれば、３Ｄ－ＣＡＤデータ２６２上でパレット３０の位置及び姿勢の少なくとも一方を変化させて生成した複数の合成画像ＣＤに、当該合成画像ＣＤにおけるパレット３０の側面３１のエッジ情報を付与することで複数の教師データＴＤが生成され、この複数の教師データＴＤを機械学習させることで学習モデル２６１が作成される。そして、学習モデル２６１にパレット３０の撮像画像Ｍが入力されて、撮影部２４（フォークリフト１）に対するパレット３０の相対姿勢が求められる。
したがって、学習モデルの作成にあたり相当数のパレット写真を準備していた従来と異なり、３Ｄ－ＣＡＤデータ２６２さえあれば容易に複数の教師データＴＤを生成することができ、簡便に学習モデル２６１を作成することができる。したがって、学習モデルを用いて好適に荷取作業を支援することができる。
【0030】
また、本実施形態によれば、合成画像ＣＤの生成では、３Ｄ－ＣＡＤデータ２６２上で位置及び姿勢の少なくとも一方を変化させたパレット３０の画像に、荷取作業が行われる作業現場の写真が、背景画像２６３として組み合わされる。
これにより、学習モデル２６１による撮像画像Ｍに対する予測精度（判定精度）を向上させることができる。
これにより、学習モデル２６１による撮像画像Ｍに対する予測精度（判定精度）を向上させることができる。
【0031】
また、本実施形態によれば、３Ｄ－ＣＡＤデータ２６２上で、パレット３０の位置及び姿勢の少なくとも一方を変化させるとともに、パレット３０の表面の画像特性を変化させて、複数の合成画像ＣＤが生成される。
これにより、さらに容易に多数の教師データＴＤを生成することができ、さらに簡便に学習モデル２６１を作成することができる。
これにより、さらに容易に多数の教師データＴＤを生成することができ、さらに簡便に学習モデル２６１を作成することができる。
【0032】
また、本実施形態によれば、フォークリフト１とパレット３０の側面３１とが正対していないと判定された場合に、当該判定結果が運転者に報知される。
これにより、運転者に状況を速やかに報知できる。
これにより、運転者に状況を速やかに報知できる。
【0033】
［その他］
以上、本発明の実施形態について説明したが、本発明は上記の実施形態に限られない。
例えば、上記実施形態では、荷取支援処理としてフォークリフト１とパレット３０との正対判定を行うこととしたが、これらが正対していると判定された場合に、孔部３２へのフォーク１２の挿入可否判定を行うこととしてもよい。
具体的には、例えば、現状のフォーク１２とパレット３０との相対的な位置・姿勢が表示部２３に図示される。そして、フォーク１２の挿入予測線（延長線）がパレット３０を適正に貫通しているか否かにより挿入可否が示される。すなわち、孔部３２へのフォーク１２の「挿入可否」とは、フォークリフト１を前進させることで、フォーク１２がパレット３０の孔部３２内に挿入されるか否かをいう。この「挿入可否」の判定は、フォーク１２の向きと孔部３２の向き（つまりパレット３０の姿勢）とが所定範囲内にあるか否かの判定を含んでもよいし、単にフォーク１２の先端が孔部３２（の開口部）内に入るかだけの判定でもよい。フォーク１２の挿入予測線は、フォーク１２を駆動する荷役モータのエンコーダ（又は所定のセンサ）からフォーク１２の高さ及びチルト角度（位置及び姿勢）を取得し、フォーク１２の延在方向を計算すればよい。
なお、算出結果の出力はここに例示したものに限定されない。例えば、フォーク１２がパレット３０の孔部３２に好適に挿入されない（フォーク１２の挿入予測線が孔部３２から外れる）算出結果であった場合に、フォーク１２の挿入予測線を孔部３２内に収めるためのフォークリフト１の向きやフォーク１２の高さ及び角度の各調整量を算出し、これを表示部２３に表示して調整を促してもよい。さらに、この調整の少なくとも一部が自動で行われるように駆動部２１を制御してもよい。
以上、本発明の実施形態について説明したが、本発明は上記の実施形態に限られない。
例えば、上記実施形態では、荷取支援処理としてフォークリフト１とパレット３０との正対判定を行うこととしたが、これらが正対していると判定された場合に、孔部３２へのフォーク１２の挿入可否判定を行うこととしてもよい。
具体的には、例えば、現状のフォーク１２とパレット３０との相対的な位置・姿勢が表示部２３に図示される。そして、フォーク１２の挿入予測線（延長線）がパレット３０を適正に貫通しているか否かにより挿入可否が示される。すなわち、孔部３２へのフォーク１２の「挿入可否」とは、フォークリフト１を前進させることで、フォーク１２がパレット３０の孔部３２内に挿入されるか否かをいう。この「挿入可否」の判定は、フォーク１２の向きと孔部３２の向き（つまりパレット３０の姿勢）とが所定範囲内にあるか否かの判定を含んでもよいし、単にフォーク１２の先端が孔部３２（の開口部）内に入るかだけの判定でもよい。フォーク１２の挿入予測線は、フォーク１２を駆動する荷役モータのエンコーダ（又は所定のセンサ）からフォーク１２の高さ及びチルト角度（位置及び姿勢）を取得し、フォーク１２の延在方向を計算すればよい。
なお、算出結果の出力はここに例示したものに限定されない。例えば、フォーク１２がパレット３０の孔部３２に好適に挿入されない（フォーク１２の挿入予測線が孔部３２から外れる）算出結果であった場合に、フォーク１２の挿入予測線を孔部３２内に収めるためのフォークリフト１の向きやフォーク１２の高さ及び角度の各調整量を算出し、これを表示部２３に表示して調整を促してもよい。さらに、この調整の少なくとも一部が自動で行われるように駆動部２１を制御してもよい。
【0034】
また、上記実施形態では、モデル作成処理において、パレット３０の合成画像ＣＤに対し、ラベルとして側面３１のエッジ情報が付与されることとしたが、加えてパレット３０の種類の情報を付与してもよい。これにより、荷取支援処理において撮像画像Ｍのパレット３０の種類も特定することができるため、パレット３０の種類と荷物との対応が判明していれば荷物の特定も可能になる。
【0035】
また、上記実施形態では、学習モデル２６１の作成にパレット３０の３Ｄ－ＣＡＤデータ２６２を使用することとした。しかし、学習モデル２６１の作成に必要なデータは、孔部３２の位置を含む外形形状が分かる三次元の形状データであればよく、必ずしも３Ｄ－ＣＡＤのデータでなくともよい。
【0036】
また、上記実施形態では、学習モデル２６１がフォークリフト１により作成されることとしたが、図９に示すように、学習モデル２６１の作成はフォークリフト１とは別体のモデル作成装置４によって行われてもよい。この場合、モデル作成装置４は、例えば操作部４２、表示部４３、記憶部４６及び制御部４７を備えるコンピュータであり、上記モデル作成処理を実行して学習モデル２６１を作成する。作成された学習モデル２６１は通信手段や記録媒体等を介してフォークリフト１の記憶部２６に格納される。
また、モデル作成処理を実行するモデル作成プログラム２６４と、荷取支援処理を実行する荷取支援プログラム２６５とは、これらの処理の実行態様に応じて、各処理を実行する構成要素に個別に格納されていてもよいし、一体的に構成されていてもよいし、互いに連携するように構成されていてもよい。
また、モデル作成処理を実行するモデル作成プログラム２６４と、荷取支援処理を実行する荷取支援プログラム２６５とは、これらの処理の実行態様に応じて、各処理を実行する構成要素に個別に格納されていてもよいし、一体的に構成されていてもよいし、互いに連携するように構成されていてもよい。
【0037】
また、上記実施形態では、荷取支援処理の全てがフォークリフト１上で実行されることとしたが、荷取支援処理の少なくとも一部が外部設備（例えば荷役作業場の管理室）で実行されることとしてもよい。例えば、外部設備とフォークリフト１に通信手段を設け、撮影した画像をフォークリフト１から外部設備の演算装置に送信して、この演算装置で算出した結果をフォークリフト１に送信することとしてもよい。
【0038】
また、本発明に係る搬送装置は、荷役台（パレット）を保持して搬送するものであればフォークリフトに限定されず、例えば荷を無人（自動）で搬送する無人搬送車（例えばＡＧＶ：Automated Guided Vehicle）などであってもよい。
その他、上記実施形態で示した細部は、発明の趣旨を逸脱しない範囲で適宜変更可能である。
その他、上記実施形態で示した細部は、発明の趣旨を逸脱しない範囲で適宜変更可能である。
【符号の説明】
【0039】
１ フォークリフト（搬送装置）
１２ フォーク（保持部）
２３ 表示部
２４ 撮影部（撮像手段）
２６ 記憶部（記憶手段）
２７ 制御部（アノテーション手段、学習手段、演算手段、報知手段、取得手段）
３０ パレット
３１ 側面
３２ 孔部
３３ 柱状部
２６１ 学習モデル
２６２ ３Ｄ－ＣＡＤデータ（三次元形状データ）
２６３ 背景画像
２６４ モデル作成プログラム
２６５ 荷取支援プログラム
ＡＲ 部分領域
ＣＤ 合成画像
Ｅ エッジ
Ｇａ 矩形領域
Ｌａ エッジ（縁部）
Ｌｂ エッジ（縁部）
Ｍ 撮像画像
ＮＤ 法線方向
Ｐ 点
ＴＤ 教師データ
Ｘ 横線（直線）
Ｙ ヨー軸
θａ 相対角度
θｂ 相対角度
１２ フォーク（保持部）
２３ 表示部
２４ 撮影部（撮像手段）
２６ 記憶部（記憶手段）
２７ 制御部（アノテーション手段、学習手段、演算手段、報知手段、取得手段）
３０ パレット
３１ 側面
３２ 孔部
３３ 柱状部
２６１ 学習モデル
２６２ ３Ｄ－ＣＡＤデータ（三次元形状データ）
２６３ 背景画像
２６４ モデル作成プログラム
２６５ 荷取支援プログラム
ＡＲ 部分領域
ＣＤ 合成画像
Ｅ エッジ
Ｇａ 矩形領域
Ｌａ エッジ（縁部）
Ｌｂ エッジ（縁部）
Ｍ 撮像画像
ＮＤ 法線方向
Ｐ 点
ＴＤ 教師データ
Ｘ 横線（直線）
Ｙ ヨー軸
θａ 相対角度
θｂ 相対角度
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】