特許 7351265 認識装置及び認識方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-09-19

(45)【発行日】2023-09-27

(54)【発明の名称】認識装置及び認識方法

(51)【国際特許分類】

   G01C 15/06 20060101AFI20230920BHJP

   G01C 15/00 20060101ALI20230920BHJP

   G01B 11/00 20060101ALN20230920BHJP

【ＦＩ】

G01C15/06 Z

G01C15/00 103Z

G01C15/00 104Z

G01B11/00 H

【請求項の数】 6

(21)【出願番号】P 2020110529

(22)【出願日】2020-06-26

(65)【公開番号】P2022007511

(43)【公開日】2022-01-13

【審査請求日】2022-09-16

【国等の委託研究の成果に係る記載事項】（出願人による申告）国立研究開発法人農業・食品産業技術総合研究機構生物系特定産業技術研究支援センター「革新的技術開発・緊急展開事業（うち人工知能未来農業創造プロジェクト）」、産業技術力強化法第１７条の適用を受けるもの

(73)【特許権者】

【識別番号】000003218

【氏名又は名称】株式会社豊田自動織機

(74)【代理人】

【識別番号】100088155

【弁理士】

【氏名又は名称】長谷川 芳樹

(74)【代理人】

【識別番号】100113435

【弁理士】

【氏名又は名称】黒木 義樹

(74)【代理人】

【識別番号】100124062

【弁理士】

【氏名又は名称】三上 敬史

(74)【代理人】

【識別番号】100148013

【弁理士】

【氏名又は名称】中山 浩光

(72)【発明者】

【氏名】三田 達也

【審査官】續山 浩二

(56)【参考文献】

【文献】特開２０１９－１２０５０２（ＪＰ，Ａ）

【文献】特開２０１７－０７８８７７（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１９／０１８７７２４（ＵＳ，Ａ１）

【文献】特開平１１－２７８７９９（ＪＰ，Ａ）

【文献】特開２００３－０２８６１４（ＪＰ，Ａ）

【文献】特開２０１７－１２７０５５（ＪＰ，Ａ）

【文献】国際公開第２０１９／２０９１６９（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０１９／０２４４３８８（ＵＳ，Ａ１）

【文献】特開２０１９－０３２５９９（ＪＰ，Ａ）

【文献】特開２０１７－０９２９４７（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１７／０１８８０１５（ＵＳ，Ａ１）

【文献】特開平０７－２５４０３７（ＪＰ，Ａ）

【文献】特表平１１－５０２３４８（ＪＰ，Ａ）

【文献】特開２０１１－０７０５６６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｃ １５／０６

Ｇ０１Ｃ １５／００

Ｇ０１Ｂ １１／００

(57)【特許請求の範囲】

【請求項1】

荷役対象物に取り付けられたマーカを認識する認識装置であって、
前記マーカを撮像し、撮像結果に基づく画像データを取得する撮像装置と、
前記画像データに基づいて前記マーカの３次元位置を推定する推定部と、を備え、
前記マーカは、円状部分と、前記円状部分と同心に前記円状部分を囲む円環状部分とを組み合わせてなる二重円パターンを少なくとも４つ含む組を有し、
前記推定部は、前記画像データから前記二重円パターンにおける前記円状部分の中心と前記円環状部分の中心とをそれぞれ抽出し、前記中心同士の間隔が所定値以上である二重円パターンを除外し、前記中心同士の間隔が所定値未満である二重円パターンのみを用いて前記マーカの３次元位置の推定を実行し、
前記推定部は、前記中心同士の間隔が所定値未満である二重円パターンの存在数をカウントし、前記存在数が４以上である場合に前記マーカの３次元位置の推定を実行し、前記存在数が４未満である場合に前記マーカの３次元位置の推定を中止する認識装置。

【請求項2】

前記推定部が前記マーカの３次元位置の推定を中止した場合に、その旨を外部に報知する報知部を更に備える請求項１記載の認識装置。

【請求項3】

前記マーカは、前記二重円パターンの組とは異なる補助パターンを有し、
前記推定部は、前記補助パターンの撮像結果に基づいて前記マーカまでの距離を検出する請求項１又は２記載の認識装置。

【請求項4】

荷役対象物に取り付けられたマーカを認識する認識方法であって、
前記マーカを撮像し、撮像結果に基づく画像データを取得する撮像ステップと、
前記画像データに基づいて前記マーカの３次元位置を推定する推定ステップと、を備え、
前記マーカは、円状部分と、前記円状部分と同心に前記円状部分を囲む円環状部分とを組み合わせてなる二重円パターンを少なくとも４つ含む組を有し、
前記推定ステップでは、前記画像データから前記二重円パターンにおける前記円状部分の中心と前記円環状部分の中心とをそれぞれ抽出し、前記中心同士の間隔が所定値以上である二重円パターンを除外し、前記中心同士の間隔が所定値未満である二重円パターンのみを用いて前記マーカの３次元位置の推定を実行し、
前記推定ステップでは、前記中心同士の間隔が所定値未満である二重円パターンの存在数をカウントし、前記存在数が４以上である場合に前記マーカの３次元位置の推定を実行し、前記存在数が４未満である場合に前記マーカの３次元位置の推定を中止する認識方法。

【請求項5】

前記推定ステップにおいて前記マーカの３次元位置の推定を中止した場合に、その旨を外部に報知する報知ステップを更に備える請求項４記載の認識方法。

【請求項6】

前記マーカは、前記二重円パターンの組とは異なる補助パターンを有し、
前記二重円パターンの組の撮像にあたって、前記補助パターンの撮像結果に基づいて前記マーカまでの距離を検出する請求項４又は５記載の認識方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、認識装置、認識方法、及びマーカに関する。

【背景技術】

【0002】

従来の位置検知装置としては、例えば特許文献１に記載の位置検出装置が知られている。この従来の位置検知装置は、マーカの撮影画像を取得する第１の撮像部と、第１の撮像部よりも長い焦点距離を有し、マーカの撮影画像を取得する第２の撮像部と、第１の撮像部及び第２の撮像部により取得された撮影画像において認識したマーカを用いて、移動体の位置を取得する位置取得部とを備えている。位置取得部は、第１の撮像部及び第２の撮像部の両方においてマーカの撮影画像が取得された場合には、第１の撮像部及び第２の撮像部により取得されたマーカの撮影画像のうち、精度の高い位置を取得できる撮影画像を用いて移動体の位置を取得する。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１９－１１７５８４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上述のような認識装置は、自動運転フォークリフトといった産業車両への適用が検討されている。自動運転フォークリフトでは、屋内外の任意の位置に置かれたパレットの荷取りが行われる。この場合、例えば白黒柄のマーカをパレットに取り付け、当該マーカを車両側の認識装置で認識することにより、マーカの３次元位置の推定を実施できる。

【0005】

しかしながら、上記パレットが屋内外の任意の位置に置かれることから、マーカに汚れ・摩耗・破損が生じたり、マーカが物体の陰になってしまうことが想定される。認識装置によるマーカの３次元位置の推定精度は、マーカを正しく認識できることが前提となっている。このため、上記のような要因によってマーカの一部又は全部の認識に異常が生じると、マーカの３次元位置の推定精度が低下してしまうおそれがある。

【0006】

本開示は、上記課題の解決のためになされたものであり、マーカに汚れ等の異常が生じた場合でもマーカの３次元位置の推定精度の低下を抑制できる認識装置、認識方法、及びマーカを提供することを目的とする。

【課題を解決するための手段】

【0007】

本開示の一側面に係る認識装置は、荷役対象物に取り付けられたマーカを認識する認識装置であって、マーカを撮像し、撮像結果に基づく画像データを取得する撮像装置と、画像データに基づいてマーカの３次元位置を推定する推定部と、を備え、マーカは、円状部分と、円状部分と同心に円状部分を囲む円環状部分とを組み合わせてなる二重円パターンを少なくとも４つ含む組を有し、推定部は、画像データから二重円パターンにおける円状部分の中心と円環状部分の中心とをそれぞれ抽出し、中心同士の間隔が所定値以上である二重円パターンを除外し、中心同士の間隔が所定値未満である二重円パターンのみを用いてマーカの３次元位置の推定を実行する。

【0008】

この認識装置では、円状部分と、円状部分と同心に円状部分を囲む円環状部分とを組み合わせてなる二重円パターンを少なくとも４つ含む組を有するマーカを撮像する。このマーカが正常である場合、二重円パターンを３次元空間で回転させた際に画像データ上の円状部分の中心と円環状部分の中心とが一致する。一方、このマーカに汚れ等の異常がある場合、二重円パターンを３次元空間で回転させた際に画像データ上の円状部分の中心と円環状部分の中心との間にずれが生じる。この認識装置では、円状部分の中心と円環状部分の中心との間隔に基づいてマーカに異常があるか否かを検出し、異常が認められる二重円パターンを除外してマーカの３次元位置の推定を実行する。したがって、マーカに汚れ等の異常が生じた場合でもマーカの３次元位置の推定精度の低下を抑制できる。

【0009】

推定部は、中心同士の間隔が所定値未満である二重円パターンの存在数をカウントし、存在数が４以上である場合にマーカの３次元位置の推定を実行し、存在数が４未満である場合にマーカの３次元位置の推定を中止してもよい。正常な二重円パターンが４つ以上存在する場合、画像データ上の二重円パターンの中心位置と既知の３次元空間の座標とに基づいてマーカの３次元位置を精度良く推定することが可能となる。また、正常な二重円パターンの存在数が４未満である場合にマーカの３次元位置の推定を中止することで、精度の低い推定結果の出力を防止できる。

【0010】

認識装置は、推定部がマーカの３次元位置の推定を中止した場合に、その旨を外部に報知する報知部を更に備えていてもよい。この場合、ユーザに向けてマーカの異常を速やかに把握させることができ、マーカの交換等を促すことができる。

【0011】

マーカは、二重円パターンの組とは異なる補助パターンを有し、推定部は、補助パターンの撮像結果に基づいてマーカまでの距離を検出してもよい。この場合、例えば補助パターンの撮像結果を利用してマーカまでの大まかな距離を検出しておくことで、二重円パターンの組の撮像が容易となる。

【0012】

本開示の一側面に係る認識方法は、荷役対象物に取り付けられたマーカを認識する認識方法であって、マーカを撮像し、撮像結果に基づく画像データを取得する撮像ステップと、画像データに基づいてマーカの３次元位置を推定する推定ステップと、を備え、マーカは、円状部分と、円状部分と同心に円状部分を囲む円環状部分とを組み合わせてなる二重円パターンを少なくとも４つ含む組を有し、推定ステップでは、画像データから二重円パターンにおける円状部分の中心と円環状部分の中心とをそれぞれ抽出し、中心同士の間隔が所定値以上である二重円パターンを除外し、中心同士の間隔が所定値未満である二重円パターンのみを用いてマーカの３次元位置の推定を実行する。

【0013】

この認識方法では、円状部分と、円状部分と同心に円状部分を囲む円環状部分とを組み合わせてなる二重円パターンを少なくとも４つ含む組を有するマーカを撮像する。このマーカが正常である場合、二重円パターンを３次元空間で回転させた際に画像データ上の円状部分の中心と円環状部分の中心とが一致する。一方、このマーカに汚れ等の異常がある場合、二重円パターンを３次元空間で回転させた際に画像データ上の円状部分の中心と円環状部分の中心との間にずれが生じる。この認識方法では、円状部分の中心と円環状部分の中心との間隔に基づいてマーカに異常があるか否かを検出し、異常が認められる二重円パターンを除外してマーカの３次元位置の推定を実行する。したがって、マーカに汚れ等の異常が生じた場合でもマーカの３次元位置の推定精度の低下を抑制できる。

【0014】

推定ステップでは、中心同士の間隔が所定値未満である二重円パターンの存在数をカウントし、存在数が４以上である場合にマーカの３次元位置の推定を実行し、存在数が４未満である場合にマーカの３次元位置の推定を中止してもよい。正常な二重円パターンが４つ以上存在する場合、画像データ上の二重円パターンの中心位置と既知の３次元空間の座標とに基づいてマーカの３次元位置を精度良く推定することが可能となる。また、正常な二重円パターンの存在数が４未満である場合にマーカの３次元位置の推定を中止することで、精度の低い推定結果の出力を防止できる。

【0015】

推定ステップにおいてマーカの３次元位置の推定を中止した場合に、その旨を外部に報知する報知ステップを更に備えていてもよい。この場合、ユーザに向けてマーカの異常を速やかに把握させることができ、マーカの交換等を促すことができる。

【0016】

マーカは、二重円パターンの組とは異なる補助パターンを有し、二重円パターンの組の撮像にあたって、補助パターンの撮像結果に基づいてマーカまでの距離を検出してもよい。この場合、例えば補助パターンの撮像結果を利用してマーカまでの大まかな距離を検出しておくことで、二重円パターンの組の撮像が容易となる。

【0017】

本開示の一側面に係るマーカは、荷役対象物に取り付けられるマーカであって、円状部分と、円状部分と同心に円状部分を囲む円環状部分とを組み合わせてなる二重円パターンを少なくとも４つ含む組を有する。

【0018】

このマーカが正常である場合、二重円パターンを３次元空間で回転させた際に２次元画像上の円状部分の中心と円環状部分の中心とが一致する。一方、このマーカに汚れ等の異常がある場合、二重円パターンを３次元空間で回転させた際に２次元画像上の円状部分の中心と円環状部分の中心との間にずれが生じる。したがって、このマーカを撮像した際の２次元画像上の円状部分の中心と円環状部分の中心との間隔に基づいて、マーカに汚れ等の異常があるか否かを判別することができる。

【0019】

二重円パターンの組において、少なくとも２つの二重円パターンが上下方向に配列されていてもよい。上下方向に配列された二重円パターンを有することで、ピッチ方向を含めたマーカの３次元位置の推定が可能となる。

【0020】

二重円パターンの組において、二重円パターンが上下方向及び左右方向にマトリクス状に配列されていてもよい。この場合、ピッチ方向及びヨー方向を含めたマーカの３次元位置の推定が可能となる。

【0021】

二重円パターンの組は、互いに離間した状態で左右一対に配置されていてもよい。これにより、マーカの３次元位置の推定精度の向上が図られる。

【0022】

左右一対の二重円パターンの組の間に二重円パターンの組とは異なる補助パターンを有していてもよい。この場合、例えば補助パターンの撮像結果を利用してマーカの大まかな位置を検出しておくことで、二重円パターンの組の撮像が容易となる。

【0023】

二重円パターンの組と補助パターンとは、互いに離間していてもよい。この場合、左右一対の二重円パターンの間隔を十分に保つことができ、マーカの３次元位置の推定精度の一層の向上が図られる。

【発明の効果】

【0024】

本開示によれば、マーカに汚れ等の異常が生じた場合でもマーカの３次元位置の推定精度の低下を抑制できる。

【図面の簡単な説明】

【0025】

【図1】本開示の一側面に係る認識装置を適用したフォークリフトを示す側面図である。

【図2】フォークリフトで取り扱う荷役対象物としてのパレットの一例を示す正面図である。

【図3】パレットに取り付けられるマーカの一例を示す正面図である。

【図4】マーカの作用を示す概略図である。

【図5】フォークリフトに搭載される認識装置のブロック図である。

【図6】撮像装置の配置構成の一例を示す斜視図である。

【図7】認識装置の動作の一例を示すフローチャートである。

【図8】マーカの変形例を示す正面図である。

【発明を実施するための形態】

【0026】

以下、図面を参照しながら、本開示の一側面に係る認識装置、認識方法、及びマーカの好適な実施形態について詳細に説明する。

【0027】

図１は、本開示の一側面に係る認識装置を適用したフォークリフトを示す側面図である。図１に示すように、フォークリフト１は、４体の車輪２ａを有する走行装置２と、走行装置２の前側に配置された荷役装置３と、荷役装置３で取り扱う荷役対象物としてのパレット３１に取り付けられたマーカ３５（図２及び図３参照）を認識する認識装置４（図５参照）とを備えている。このフォークリフト１は、マーカ３５の３次元位置を推定することにより、屋内外の任意の位置に置かれたパレット３１の荷取位置まで自動で走行する自動運転フォークリフトとして構成されている。

【0028】

走行装置２は、ヘッドガード１１ａを含むフレームによって構成された運転室１１を有している。運転室１１内には、リフトシリンダ１２の操作に用いるリフト操作レバー１３、ティルトシリンダ１４の操作に用いるティルト操作レバー１５、フォークリフト１の操舵のためのステアリング１６などが配置されている。本実施形態では、４体の車輪２ａのうち、前輪が駆動輪、後輪が操舵輪となっている。

【0029】

荷役装置３は、走行装置２の前部に取り付けられたマスト２１を有している。マスト２１には、リフトブラケット２２が昇降可能に支持されている。リフトブラケット２２には、後述するパレット３１を保持する左右一対のフォーク２３，２３が取り付けられている。また、リフトブラケット２２には、マストよりも前側に配置されたバックレスト２４が設けられている。バックレスト２４は、フォーク２３，２３で保持されたパレット３１が後方に変位することを防ぐ荷受け枠である。その他、荷役装置３には、フォーク２３を昇降させるリフトシリンダ１２、マスト２１を傾動させるティルトシリンダ１４などが配置されている。

【0030】

図２は、フォークリフトで取り扱う荷役対象物としてのパレットの一例を示す正面図である。図２の例では、パレット３１は、メッシュパレットであり、メッシュ状（網状）に構成されたパレット本体３２と、パレット本体３２の下部に取り付けられた４体の脚部３３とを有している。パレット３１の前面（正面）の下部には、当該パレット３１の左右方向に延びる長方形状のプレート３４が取り付けられている。このプレート３４には、認識装置４での認識対象となる２枚の位置検知用のマーカ３５が貼り付けられている。

【0031】

図３は、パレットに取り付けられるマーカの一例を示す正面図である。同図に示すように、マーカ３５は、プレート３４の形状に合わせた横長の長方形状をなしている。このマーカ３５は、左右一対の二重円パターンＰ１の組Ｋ，Ｋと、補助パターンＰ２とを有している。二重円パターンＰ１の組Ｋは、マーカ３５の左右方向の両端部にそれぞれ配置されている。二重円パターンＰ１の組Ｋは、少なくとも４つの二重円パターンＰ１を含んで構成されている。図３の例では、二重円パターンＰ１の組Ｋは、４つの二重円パターンＰ１を有しており、これらの二重円パターンＰ１は、上下方向及び左右方向に２×２のマトリクス状に配列されている。

【0032】

二重円パターンＰ１のそれぞれは、円状部分３６と、円状部分３６と同心に円状部分３６を囲む円環状部分３７とを組み合わせた形状となっている。円状部分３６及び円環状部分３７は、いずれもマーカ３５の正面視において真円である。円環状部分３７は、一定の幅を有しており、円状部分３６との間には、円環状部分３７の幅と同程度の間隔が設けられている。すなわち、円環状部分３７の内径と円状部分３６の直径との差は、円環状部分３７の外径と内径との差と同程度となっている。

【0033】

図４は、二重円パターンの作用を示す図である。図４（ａ）に示すように、二重円パターンＰ１では、円状部分３６及び円環状部分３７が同心となっている。したがって、マーカ３５の正面視において、円状部分３６の中心Ｆ１と円環状部分３７の中心Ｆ２とは、互いに一致した状態となっている。円状部分３６の中心Ｆ１及び円環状部分３７の中心Ｆ２は、当該円状部分３６及び円環状部分３７の円近似或いは楕円近似に基づいて定めることができる。

【0034】

二重円パターンＰ１が正常である場合、すなわち、二重円パターンＰ１に汚れ・摩耗・破損等が生じておらず、影がかかるなどの影響も受けていない場合、二重円パターンＰ１が３次元空間で回転した場合でも、図４（ｂ）に示すように、２次元画像上の円状部分３６の中心Ｆ１と円環状部分３７の中心Ｆ２とは、一致した状態を維持する。図４（ｂ）の例は、二重円パターンＰ１を左右方向に４５°及び上下方向に４５°回転させた場合の２次元画像上の形状を示している。この場合、円状部分３６及び円環状部分３７の形状は、いずれも真円から楕円に変化するが、これらの中心Ｆ１，Ｆ２は一致している。

【0035】

一方、二重円パターンＰ１が異常である場合、すなわち、二重円パターンＰ１に汚れ・摩耗・破損等が生じ、或いは影がかかるなどの影響を受けている場合、図４（ｃ）に示すように、２次元画像上の円状部分３６の中心Ｆ１と円環状部分３７の中心Ｆ２との間にずれが生じる。図４（ｃ）の例では、二重円パターンＰ１における円状部分３６の一部に欠けが生じており、円状部分３６の中心（一部が欠けた円状部分３６を近似した楕円Ｃの中心）Ｆ１と円環状部分３７の中心Ｆ２との間に欠けに起因するずれが生じている。二重円パターンＰ１が異常である場合、円状部分３６の中心Ｆ１と円環状部分３７の中心Ｆ２との間のずれは、二重円パターンＰ１が３次元空間で回転した場合でも維持される。

【0036】

補助パターンＰ２は、図３に示すように、二重円パターンＰ１の組Ｋと同程度の寸法の正方形状をなし、マーカ３５の左右方向の中央に配置されている。補助パターンＰ２は、二重円パターンＰ１とは異なる白黒柄のパターンを有している。左右の二重円パターンＰ１の組Ｋと補助パターンＰ２との間には、それぞれ無地部分３８が設けられている。これにより、二重円パターンＰ１の組Ｋと補助パターンＰ２とは、互いに離間した状態となっている。無地部分３８の形状・寸法に特に制限はないが、図３の例では、横長の長方形状となっている。無地部分３８の形状は、正方形状などの他の形状であってもよい。

【0037】

図５は、フォークリフトに搭載される認識装置のブロック図である。図５に示すように、認識装置４は、荷役装置３の前方を撮像する撮像装置４１と認識装置４等の動作を制御する制御部４２とを含んで構成されている。撮像装置４１と制御部４２とは、相互に情報通信可能に接続されている。

【0038】

撮像装置４１は、例えばＣＣＤカメラなどの二次元撮像素子を備えて構成されている。撮像装置４１は、カラー画像を取得するものであってもよく、モノクロ画像を取得するものであってもよい。撮像装置４１は、図６に示すように、リフトブラケット２２に取り付けられた矩形の取付板５０を介してフォークリフト１に固定されている。取付板５０は、左右のフォーク２３，２３間に位置し、撮像装置４１は、この取付板５０を介してリフトブラケット２２の車幅方向の中央に配置されている。撮像装置４１は、パレット３１に貼り付けられているマーカ３５を撮像し、マーカ３５の画像データを取得する。撮像装置４１は、取得した画像データを制御部４２に出力する。

【0039】

再び図５を参照し、制御部４２は、物理的な構成要素として、ＣＰＵ、ＲＡＭ、ＲＯＭ、及び入出力インターフェース等を備えている。制御部４２は、撮像装置４１で取得した画像データに基づいてマーカ３５の３次元位置を推定し、フォークリフト１がパレット３１の荷取位置に到達するように走行モータ４３及び操舵モータ４４を制御する。荷取位置とは、フォークリフト１の一対のフォーク２３，２３がパレット３１を荷取りすることが可能な位置である。走行モータ４３及び操舵モータ４４は、いずれも走行装置２を構成するモータである。走行モータ４３は、フォークリフト１の前側に配置された車輪２ａ（駆動輪）を回転させるモータである。操舵モータ４４は、フォークリフト１の後側に配置された車輪２ａ（操舵輪）を転舵させるモータである。

【0040】

制御部４２は、機能的な構成要素として、画像処理部４５と、推定部４６と、経路生成部４７と、駆動制御部４８とを備えている。画像処理部４５は、撮像装置４１から受け取ったマーカ３５の画像データを処理する部分である。画像処理部４５での画像処理としては、例えば二値化や特徴抽出などが挙げられる。画像処理部４５は、処理後の画像データを推定部４６に出力する。

【0041】

推定部４６は、画像処理部４５から受け取った画像データに基づいてマーカ３５の３次元位置を推定する部分である。推定部４６は、画像処理部４５から補助パターンＰ２についての画像データを受け取ると、当該画像データに基づいて、マーカ３５までの距離を大まかに検出する。マーカ３５までの距離の検出結果を示す情報は、撮像装置４１に出力され、撮像の焦点を二重円パターンＰ１に合わせるために用いられる。

【0042】

推定部４６は、画像処理部４５から二重円パターンＰ１の組Ｋについての画像データを受け取ると、まず、当該画像データから二重円パターンＰ１における円状部分３６の中心Ｆ１と円環状部分３７の中心Ｆ２とをそれぞれ抽出する。次に、推定部４６は、二重円パターンＰ１のそれぞれについて、円状部分３６の中心Ｆ１と円環状部分３７の中心Ｆ２との間隔を所定値と比較する。比較に用いる所定値は、例えば画像データの１ピクセルである。推定部４６は、中心Ｆ１，Ｆ２同士の間隔が１ピクセル未満である二重円パターンＰ１を正常と判定し、中心Ｆ１，Ｆ２同士の間隔が１ピクセル以上である二重円パターンＰ１を異常と判定する。

【0043】

二重円パターンＰ１の正常・異常を判定した後、推定部４６は、正常な二重円パターンＰ１の存在数を判断する。正常な二重円パターンＰ１の存在数が４以上である場合、推定部４６は、異常な二重円パターンＰ１を除外し、正常な二重円パターンＰ１のみを用いてマーカ３５の３次元位置の推定を実行する。マーカ３５の３次元位置の推定では、例えばＰＮＰ問題（Perspective-n-Points Problem）の解を得る処理を実行する。この処理では、撮像装置４１の内部パラメータ（焦点距離及びレンズ歪み）を用い、画像データ上の二重円パターンＰ１の中心位置と既知の３次元空間の座標とに基づいて、撮像装置４１の外部パラメータ（回転ベクトル及び並進ベクトル）を算出する。推定部４６は、算出した撮像装置４１の外部パラメータに基づいてマーカ３５の３次元位置の推定結果を示す結果情報を生成し、経路生成部４７に出力する。

【0044】

一方、正常な二重円パターンＰ１の存在数が４未満である場合、推定部４６は、マーカ３５の３次元位置の推定を中止する。この場合、推定部４６は、マーカ３５の３次元位置の推定を中止する旨の結果情報を生成し、報知部４９に出力する。報知部４９は、例えばランプやスピーカ、或いはモニタなどによって構成されている。報知部４９は、推定部４６からマーカ３５の３次元位置の推定を中止する旨の結果情報を受け取った場合に作動し、認識装置４がマーカ３５の３次元位置の推定を中止した旨を外部に報知する。

【0045】

経路生成部４７は、推定部４６から受け取った結果情報に基づいて、パレット３１の荷取位置までのフォークリフト１の走行経路に関する経路情報を生成し、駆動制御部４８に出力する。駆動制御部４８は、経路生成部４７から受け取った経路情報に基づいて走行装置２を制御する部分である。駆動制御部４８は、経路情報に従い、フォークリフト１がパレット３１の荷取位置に到達するように走行モータ４３及び操舵モータ４４を制御する。

【0046】

図７は、認識装置の動作の一例を示すフローチャートである。図７に示すように、認識装置４では、まず、マーカ３５における補助パターンＰ２の撮像が行われる（ステップＳ０１）。次に、補助パターンＰ２の撮像で得られた画像データに対して二値化等の処理が行われ（ステップＳ０２）、処理後の画像データに基づいて、マーカ３５までの大まかな距離の検出がなされる（ステップＳ０３）。

【0047】

続いて、ステップＳ０３で検出されたマーカ３５までの距離に基づいて撮像装置の焦点が調整され、マーカ３５における二重円パターンＰ１の組Ｋの撮像が行われる（ステップＳ０４）。次に、二重円パターンＰ１の組Ｋの撮像で得られた画像データに対して二値化等の処理が行われ（ステップＳ０５）、処理後の画像データから二重円パターンＰ１における円状部分３６の中心Ｆ１と円環状部分３７の中心Ｆ２とがそれぞれ抽出される（ステップＳ０６）。

【0048】

中心Ｆ１，Ｆ２の抽出の後、二重円パターンＰ１のそれぞれについて、円状部分３６の中心Ｆ１と円環状部分３７の中心Ｆ２との間隔と所定値との比較が行われる（ステップＳ０７）。この所定値との比較により、中心Ｆ１，Ｆ２同士の間隔が所定値未満である二重円パターンＰ１は正常と判定され、中心Ｆ１，Ｆ２同士の間隔が所定値以上である二重円パターンＰ１は異常と判定される。

【0049】

二重円パターンＰ１の正常・異常の判定がなされた後、正常な二重円パターンＰ１の存在数の判断がなされる（ステップＳ０８）。ステップＳ０８において、正常な二重円パターンＰ１の存在数が４以上であると判断された場合、異常な二重円パターンＰ１が除外され、正常な二重円パターンＰ１のみを用いてマーカ３５の３次元位置の推定が実行される（ステップＳ０９）。そして、マーカ３５の３次元位置の推定結果に基づいて、走行装置２の駆動制御が実行される（ステップＳ１０）。一方、ステップＳ０８において、正常な二重円パターンＰ１の存在数が４未満であると判断された場合、マーカ３５の３次元位置の推定が中止される（ステップＳ１１）。この場合、マーカ３５の３次元位置の推定を中止した旨が外部に報知され（ステップＳ１２）、走行装置２の駆動制御が実行されずに処理が終了する。

【0050】

以上説明したように、この認識装置４では、円状部分３６と、円状部分３６と同心に円状部分３６を囲む円環状部分３７とを組み合わせてなる二重円パターンＰ１を少なくとも４つ含む組Ｋを有するマーカ３５を撮像する。このマーカ３５が正常である場合、二重円パターンＰ１を３次元空間で回転させた際に画像データ上の円状部分３６の中心Ｆ１と円環状部分３７の中心Ｆ２とが一致する。一方、このマーカ３５に汚れ等の異常がある場合、二重円パターンＰ１を３次元空間で回転させた際に画像データ上の円状部分３６の中心Ｆ１と円環状部分３７の中心Ｆ２との間にずれが生じる。この認識装置４では、円状部分３６の中心Ｆ１と円環状部分３７の中心Ｆ２との間隔に基づいてマーカ３５に異常があるか否かを検出し、異常が認められる二重円パターンＰ１を除外してマーカ３５の３次元位置の推定を実行する。したがって、マーカ３５に汚れ等の異常が生じた場合でもマーカ３５の３次元位置の推定精度の低下を抑制できる。

【0051】

また、認識装置４では、中心Ｆ１，Ｆ２同士の間隔が所定値未満である二重円パターンＰ１の存在数をカウントし、存在数が４以上である場合にマーカ３５の３次元位置の推定を実行し、存在数が４未満である場合にマーカ３５の３次元位置の推定を中止する。正常な二重円パターンＰ１が４つ以上存在する場合、画像データ上の二重円パターンＰ１の中心位置と既知の３次元空間の座標とに基づいてマーカ３５の３次元位置を精度良く推定することが可能となる。また、正常な二重円パターンＰ１の存在数が４未満である場合にマーカ３５の３次元位置の推定を中止することで、精度の低い推定結果の出力を防止できる。

【0052】

また、認識装置４は、マーカ３５の３次元位置の推定を中止した場合に、その旨を外部に報知する報知部４９を更に備えている。この報知部４９により、ユーザに向けてマーカ３５の異常を速やかに把握させることができ、マーカ３５の交換等を促すことができる。

【0053】

また、認識装置４は、補助パターンＰ２の撮像結果に基づいてマーカ３５までの距離を検出する。このように、例えば補助パターンＰ２の撮像結果を利用してマーカ３５までの大まかな距離を検出しておくことで、二重円パターンＰ１の組Ｋの撮像が容易となる。

【0054】

また、本実施形態で用いられるマーカ３５では、二重円パターンＰ１の組において、二重円パターンＰ１が上下方向及び左右方向にマトリクス状に配列されている。このように、上下方向に配列された二重円パターンＰ１を有することで、ピッチ方向及びヨー方向を含めたマーカ３５の３次元位置の推定が可能となる。

【0055】

このマーカ３５では、二重円パターンＰ１の組が互いに離間した状態で左右一対に配置されている。これにより、マーカ３５の３次元位置の推定精度の向上が図られる。また、マーカ３５は、左右一対の二重円パターンＰ１の組Ｋの間に二重円パターンＰ１の組Ｋとは異なる補助パターンＰ２を有している。これにより、補助パターンＰ２の撮像結果を利用してマーカ３５の大まかな位置を検出することが可能となり、二重円パターンＰ１の組Ｋの撮像が容易となる。

【0056】

また、マーカ３５では、二重円パターンＰ１の組Ｋと補助パターンＰ２とは、互いに離間していてもよい。この場合、左右一対の二重円パターンＰ１の間隔を十分に保つことができ、マーカ３５の３次元位置の推定精度の一層の向上が図られる。

【0057】

本開示は、上記実施形態に限られるものではない。例えば上記実施形態では、二重円パターンＰ１の組Ｋにおいて、上下方向及び左右方向に２×２のマトリクス状に二重円パターンＰ１が配列されているが、マーカ３５の組Ｋには、少なくとも２つの二重円パターンＰ１が上下方向に配列されていればよい。例えば図８の例では、マーカ３５は、左右一対の二重円パターンＰ１の組Ｋを有しており、各組Ｋにおいて上下方向に２つの二重円パターンＰ１が配列されていることで、合計で４つの二重円パターンＰ１が配置されている。このようなマーカ３５においても上記実施形態と同様の効果を奏する。また、二重円パターンＰ１の組Ｋにおいて、５つ以上の二重円パターンＰ１が含まれていてもよい。

【0058】

また、マーカ３５において、左右の二重円パターンＰ１の組Ｋと補助パターンＰ２との間の無地部分３８は、必ずしも設けられていなくてもよく、左右の二重円パターンＰ１の組Ｋと補助パターンＰ２とが隙間無く隣接していてもよい。また、マーカ３５において、補助パターンＰ２は、必ずしも設けられていなくてもよく、二重円パターンＰ１の組Ｋのみでマーカ３５が構成されていてもよい。この場合、認識装置４において、補助パターンＰ２の撮像からマーカ３５の距離の検出までの処理（図７におけるステップＳ０１～ステップＳ０３）は、省略される。

【0059】

また、上記実施形態では、パレット３１にマーカ３５が取り付けられる例を示したが、マーカ３５が取り付けられる荷役対象物は、パレット３１に限られるものではない。例えばマーカ３５は、荷物自体に取り付けられていてもよい。

【符号の説明】

【0060】

４…認識装置、３１…パレット（荷役対象物）、３５…マーカ、３６…円状部分、３７…円環状部分、４１…撮像装置、４６…推定部、Ｆ１…円状部分の中心、Ｆ２…円環状部分の中心、Ｐ１…二重円パターン、Ｐ２…補助パターン、Ｋ…二重円パターンの組。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】