(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023179263
(43)【公開日】2023-12-19
(54)【発明の名称】認識装置、認識方法及び認識プログラム
(51)【国際特許分類】
B65G 1/137 20060101AFI20231212BHJP
G01B 11/00 20060101ALI20231212BHJP
【FI】
B65G1/137 B
G01B11/00 H
【審査請求】未請求
【請求項の数】5
【出願形態】OL
(21)【出願番号】P 2022092484
(22)【出願日】2022-06-07
(71)【出願人】
【識別番号】000006231
【氏名又は名称】株式会社村田製作所
(74)【代理人】
【識別番号】110000970
【氏名又は名称】弁理士法人 楓国際特許事務所
(72)【発明者】
【氏名】山野 貴博
(72)【発明者】
【氏名】▲う▼ 為
【テーマコード(参考)】
2F065
3F522
【Fターム(参考)】
2F065AA21
2F065AA51
2F065BB27
2F065FF04
2F065JJ19
2F065JJ26
3F522AA02
3F522BB22
3F522DD05
3F522DD22
3F522DD33
3F522EE15
3F522FF03
3F522FF12
3F522GG04
3F522GG48
3F522JJ02
3F522KK02
(57)【要約】
【課題】本発明の目的は、棚の構造を容易に特定できる認識装置及び認識方法を提供することである。
【解決手段】撮像装置から複数のマーカを含む画像データを取得する。画像データに基づいて、複数のマーカの内の2つ以上のマーカを2つ以上の認識マーカとして認識する。第1認識ステップにおいて認識した2つ以上の認識マーカの内の前後方向に並ぶ2つの認識マーカを通過する第1パース線を特定する。撮像装置のアイレベルを特定する。アイレベルと第1パース線との交点である消失点を特定する。第1認識ステップにおいて認識した2つ以上の認識マーカの内の1つの認識マーカと消失点とを通過する第2パース線を特定する。第2パース線上に位置し、かつ、第1認識ステップにおいて認識されていない1以上の未認識マーカの位置を認識する。
【選択図】
図2
【特許請求の範囲】
【請求項1】
撮像装置より左又は右において前後方向及び上下方向に行列状に配列された複数のマーカを認識する認識装置であって、
前記撮像装置から前記複数のマーカを含む画像データを取得する取得ステップと、
前記画像データに基づいて、前記複数のマーカの内の2つ以上のマーカを2つ以上の認識マーカとして認識する第1認識ステップと、
前記第1認識ステップにおいて認識した前記2つ以上の認識マーカの内の前後方向に並ぶ2つの認識マーカを通過する第1パース線を特定する第1パース線特定ステップと、
前記撮像装置のアイレベルを特定するアイレベル特定ステップと、
前記アイレベルと前記第1パース線との交点である消失点を特定する消失点特定ステップと、
前記第1認識ステップにおいて認識した前記2つ以上の認識マーカの内の1つの認識マーカと前記消失点とを通過する第2パース線を特定する第2パース線特定ステップと、
前記第2パース線上に位置し、かつ、前記第1認識ステップにおいて認識されていない1以上の未認識マーカの位置を認識する第2認識ステップと、
を実行する、
認識装置。
【請求項2】
iは、1以上の整数であり、
m及びnは、2以上の整数であり、
前記複数のマーカは、m行n列に配列されており、
前記第2認識ステップは、
第i列に前記認識マーカが位置する場合には、前記第i列を通過する第i列線を特定する列線特定ステップと、
前記第i列線と前記第2パース線との交点に前記未認識マーカが位置していると認識する位置認識ステップと、
を含んでいる、
請求項1に記載の認識装置。
【請求項3】
m及びnは、2以上の整数であり、
前記複数のマーカは、m行n列に配列されており、
第1行を通過する第3パース線を特定する第3パース線特定ステップと、
前記第1行より上を通過する第4パース線を特定する第4パース線特定ステップと、
前記第4パース線上に位置する仮想マーカを認識する第3認識ステップと、
を更に実行する請求項1又は請求項2に記載の認識装置。
【請求項4】
撮像装置より左又は右において前後方向及び上下方向に行列状に配列された複数のマーカを認識する認識方法であって、
前記撮像装置から前記複数のマーカを含む画像データを取得する取得ステップと、
前記画像データに基づいて、前記複数のマーカの内の2つ以上のマーカを2つ以上の認識マーカとして認識する第1認識ステップと、
前記第1認識ステップにおいて認識した前記2つ以上の認識マーカの内の少なくとも2つの認識マーカを通過する第1パース線を特定する第1パース線特定ステップと、
前記撮像装置のアイレベルを特定するアイレベル特定ステップと、
前記アイレベルと前記第1パース線との交点である消失点を特定する消失点特定ステップと、
前記第1認識ステップにおいて認識した前記2つ以上の認識マーカの内の1つの認識マーカと前記消失点とを通過する第2パース線を特定する第2パース線特定ステップと、
前記第2パース線上に位置し、かつ、前記第1認識ステップにおいて認識されていない1以上の未認識マーカの位置を認識する第2認識ステップと、
を認識装置に実行させる、
認識方法。
【請求項5】
撮像装置より左又は右において前後方向及び上下方向に行列状に配列された複数のマーカを認識装置に認識させる認識プログラムであって、
前記撮像装置から前記複数のマーカを含む画像データを取得する取得ステップと、
前記画像データに基づいて、前記複数のマーカの内の2つ以上のマーカを2つ以上の認識マーカとして認識する第1認識ステップと、
前記第1認識ステップにおいて認識した前記2つ以上の認識マーカの内の少なくとも2つの認識マーカを通過する第1パース線を特定する第1パース線特定ステップと、
前記撮像装置のアイレベルを特定するアイレベル特定ステップと、
前記アイレベルと前記第1パース線との交点である消失点を特定する消失点特定ステップと、
前記第1認識ステップにおいて認識した前記2つ以上の認識マーカの内の1つの認識マーカと前記消失点とを通過する第2パース線を特定する第2パース線特定ステップと、
前記第2パース線上に位置し、かつ、前記第1認識ステップにおいて認識されていない1以上の未認識マーカの位置を認識する第2認識ステップと、
を認識装置に実行させる、
認識プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、マーカを認識する認識装置、認識方法及び認識プログラムに関する。
【背景技術】
【0002】
従来の認識装置に関する発明としては、例えば、特許文献1に記載の計測システムが知られている。この計測システムでは、倉庫内に配置された棚のCADデータを用いて、棚の中の荷物領域の形状データを抽出する。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】国際公開第2017/175312号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、特許文献1に記載の計測システムにおいて、CADデータのような複雑なデータを使用することなく、棚の構造を容易に特定したいという要望がある。
【0005】
そこで、本発明の目的は、棚の構造を容易に特定できる認識装置、認識方法及び認識プログラムを提供することである。
【課題を解決するための手段】
【0006】
本発明の一形態に係る認識装置は、
撮像装置より左又は右において前後方向及び上下方向に行列状に配列された複数のマーカを認識する認識装置であって、
前記撮像装置から前記複数のマーカを含む画像データを取得する取得ステップと、
前記画像データに基づいて、前記複数のマーカの内の2つ以上のマーカを2つ以上の認識マーカとして認識する第1認識ステップと、
前記第1認識ステップにおいて認識した前記2つ以上の認識マーカの内の前後方向に並ぶ2つの認識マーカを通過する第1パース線を特定する第1パース線特定ステップと、
前記撮像装置のアイレベルを特定するアイレベル特定ステップと、
前記アイレベルと前記第1パース線との交点である消失点を特定する消失点特定ステップと、
前記第1認識ステップにおいて認識した前記2つ以上の認識マーカの内の1つの認識マーカと前記消失点とを通過する第2パース線を特定する第2パース線特定ステップと、
前記第2パース線上に位置し、かつ、前記第1認識ステップにおいて認識されていない1以上の未認識マーカの位置を認識する第2認識ステップと、
を実行する。
【発明の効果】
【0007】
本発明に係る認識装置、認識方法及び認識プログラムによれば、棚の構造を容易に特定できる。
【図面の簡単な説明】
【0008】
【
図2】
図2は、撮像装置12が生成した画像データである。
【
図3】
図3は、認識装置14が実行するフローチャートである。
【
図4】
図4は、撮像装置12が生成した画像データである。
【
図5】
図5は、撮像装置12が生成した画像データである。
【
図6】
図6は、撮像装置12が生成した画像データである。
【
図7】
図7は、撮像装置12が生成した画像データである。
【
図8】
図8は、認識装置14aが実行するフローチャートである。
【発明を実施するための形態】
【0009】
(実施形態)
[認識装置の構造]
以下に、本発明の実施形態に係る認識装置14の構造について図面を参照しながら説明する。
図1は、倉庫内の上面図である。
図2は、撮像装置12が生成した画像データである。
【0010】
本明細書において、自律走行車両10の前後方向を単に前後方向と呼ぶ。自律走行車両10の左右方向を単に左右方向と呼ぶ。自律走行車両10の上下方向を単に上下方向と呼ぶ。
【0011】
図1に示すように、倉庫には、3列の棚T1~T3が前後方向に延びている。棚T1~T3は、左から右へとこの順に並んでいる。棚T1~T3は、同じ構造を有するので、棚T1を例に挙げて説明する。棚T1は、
図2に示すように、前後方向及び上下方向に延びる複数本のフレームFが組み合わされることにより、格子構造を有している。これにより、棚T1は、長方形状の空間が上下方向及び前後方向に行列状に配列された構造を有している。そして、マーカM11,M21,M31,M41,M12,M22,M32,M42は、格子構造の格子点のそれぞれに位置している。これにより、マーカM11,M21,M31,M41,M12,M22,M32,M42は、撮像装置12より左において前後方向及び上下方向に行列状に配列されている。複数のマーカM11,M21,M31,M41,M12,M22,M32,M42は、m行n列に配列されている。本実施形態では、複数のマーカM11,M21,M31,M41,M12,M22,M32,M42は、4行2列に配列されている。
【0012】
ここで、マーカMmnと表記した場合に、mは、行を示す。nは、列を示す。m及びnは、2以上の整数である。なお、格子構造の交点には、マーカM11,M21,M31,M41,M12,M22,M32,M42以外の複数のマーカが配列されている。ただし、これらの複数のマーカについては説明を省略する。マーカM11,M21,M31,M41,M12,M22,M32,M42は、例えば、ARマーカやQRコード(登録商標)等である。従って、マーカM11,M21,M31,M41,M12,M22,M32,M42は、情報を含んでいる。
【0013】
なお、複数のマーカは、棚T2にも配列されている。すなわち、複数のマーカは、撮像装置12より右においても前後方向及び上下方向に行列状に配列されている。ただし、棚T2の複数のマーカは、棚T1の複数のマーカと同じであるので説明を省略する。なお、複数のマーカは、棚T3にも配列されている。
【0014】
自律走行車両10は、例えば、フォークリフトやAGV(Automatic Guided Vehicle)、掃除ロボット等である。自律走行車両10は、棚T1~T3に荷物を搬入する。また、自律走行車両10は、棚T1~T3から荷物を搬出する。自律走行車両10は、棚T1と棚T2との間を走行した後に、棚T2と棚T3との間を走行する。自律走行車両10は、撮像装置12及び認識装置14を備えている。
【0015】
撮像装置12は、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等の固体撮像装置である。撮像装置12は、
図1に示すように、自律走行車両10より左の領域、及び、自律走行車両10より右の領域を撮影している。
【0016】
認識装置14は、CPU(Central Processing Unit)やMPU(Micro Processor Unit)等の演算装置である。認識装置14は、撮像装置12より左及び右において前後方向及び上下方向に行列状に配列されたマーカM11,M21,M31,M41,M12,M22,M32,M42を認識する。以下に、認識装置14が行う動作について図面を参照しながら説明する。
図3は、認識装置14が実行するフローチャートである。
図4ないし
図6は、撮像装置12が生成した画像データである。認識装置14は、図示しない記憶装置が記憶しているプログラムを実行することにより、
図3のフローチャートを実行する。
【0017】
まず、認識装置14は、撮像装置12からマーカM11,M21,M31,M41,M12,M22,M32,M42を含む画像データを取得する(取得ステップ:ステップS1)。以下では、自律走行車両10より左の領域を撮像した画像データを例に挙げて説明する。
【0018】
次に、認識装置14は、
図2に示すように、画像データに基づいて、マーカM11,M21,M31,M41,M12,M22,M32,M42の内の2つ以上のマーカM11,M31,M41,M22,M32を2つ以上の認識マーカm11,m31,m41,m22,m32として認識する(第1認識ステップ:ステップS2)。換言すれば、認識装置14は、マーカM21,M12,M42を認識していない。認識装置14がマーカM21,M12,M42を認識していない理由は、例えば、マーカM21,M12,M42付近の照度が不足していることである。
【0019】
次に、認識装置14は、
図4に示すように、ステップS2(第1認識ステップ)において認識した2つ以上の認識マーカm11,m31,m41,m22,m32の内の前後方向に並ぶ2つの認識マーカm31,m32を通過する第1パース線PL1を特定する(第1パース線特定ステップ:ステップS3)。
【0020】
次に、認識装置14は、
図4に示すように、撮像装置12のアイレベルELを特定する(アイレベル特定ステップ:ステップS4)。なお、認識装置14は、画像データにおけるアイレベルELの位置を予め記憶していることにより撮像装置12のアイレベルELを特定してもよいし、画像データを解析することによりアイレベルELを特定してもよい。
【0021】
次に、認識装置14は、
図4に示すように、アイレベルELと第1パース線PL1との交点である消失点Oを特定する(消失点特定ステップ:ステップS5)。
【0022】
次に、認識装置14は、
図5に示すように、ステップS2(第1認識ステップ)において認識した2つ以上の認識マーカm11,m31,m41,m22,m32の内の1つの認識マーカm11と消失点Oとを通過する第2パース線PL21を特定する(第2パース線特定ステップ:ステップS6)。更に、認識装置14は、同じ動作を繰り返すことにより、第2パース線PL22,PL23も特定する。
【0023】
次に、第2パース線PL21上に位置し、かつ、ステップS2(第1認識ステップ)において認識されていない1以上の未認識マーカm21の位置を認識する(第2認識ステップ)。第2認識ステップは、以下の列線特定ステップ及び位置認識ステップを含んでいる。
【0024】
まず、認識装置14は、
図6に示すように、第2列(第i列)に認識マーカm22,m32が位置する場合には、第2列(第i列)を通過する第2列線L2(第i列線)を特定する(列線特定ステップ:S7)。第2列線L2は、上下方向に延びている。そして、認識装置14は、第2列線L2(第i列線)と第2パース線PL21との交点に未認識マーカm12が位置していると認識する(位置認識ステップ:ステップS8)。このように、第2列線L2がアイレベルELと直交しているので、認識装置14は、第2列線L2上の1つのマーカを認識できれば、第2列線L2上の他のマーカも認識できる。これにより、認識装置14は、マーカM12を認識する。
【0025】
なお、ステップS7,S8を繰り返すことにより、認識装置14は、第1列線L1(第i列線)と第2パース線PL22との交点に未認識マーカm21が位置していると認識する。また、認識装置14は、第2列線L2(第i列線)と第2パース線PL23との交点に未認識マーカm42が位置していると認識する。以上のステップS1~S8により、認識装置14は、マーカM11,M21,M31,M41,M12,M22,M32,M42を認識する。
【0026】
この後、認識装置14は、マーカM11,M21,M31,M41,M12,M22,M32,M42に含まれる情報に基づいて、棚T1の構造を特定する。なお、認識装置14は、自律走行車両10より右の領域を撮像した画像データに基づいて、棚T2の構造を特定する。ただし、棚T2の構造の特定の詳細は、棚T1の構造の特定の詳細と同じであるので説明を省略する。
【0027】
[効果]
認識装置14によれば、棚T1の構造を容易に特定できる。より詳細には、比較例に係る認識装置が未認識マーカm21,m12,m42の位置を認識するためには、消失点Oを特定すればよい。これにより、比較例に係る認識装置は、認識マーカm11,m31,m41,m22,m32の内の1つの認識マーカm11と消失点Oとを通過する第2パース線PL21を特定できる。そして、比較例に係る認識装置は、第2パース線PL21を用いて、未認識マーカm21の位置を認識することができる。比較例に係る認識装置は、このような消失点Oを特定するために、通常であれば、2本のパース線を特定し、2本のパース線の交点を消失点Oと特定する必要がある。この場合、比較例に係る認識装置は、2本のパース線を特定するために、4つの認識マーカを認識している必要がある。
【0028】
一方、認識装置14は、撮像装置12のアイレベルELを特定している。これにより、認識装置14は、アイレベルELと第1パース線PL1との交点を消失点Oと特定できる。従って、認識装置14は、1本の第1パース線PL1を特定することにより、消失点Oを特定できる。この場合、認識装置14は、1本のパース線を特定するために、2つの認識マーカm31,m32を認識すればよい。このように、認識装置14によれば、少ない認識マーカを認識することにより、未認識マーカの位置を認識できる。その結果、認識装置14は、棚T1の構造を容易に特定できる。
【0029】
認識装置14が画像データを解析することによりアイレベルELを特定する場合には、予め定められた取り付け位置及び角度に撮像装置12を取り付ける必要がない。そのため、撮像装置12の取り付け位置及び角度の自由度が高くなる。
【0030】
(変形例)
以下に変形例に係る認識装置14aについて図面を参照しながら説明する。倉庫内の上面図については、
図1を援用する。
図7は、撮像装置12が生成した画像データである。
図8は、認識装置14aが実行するフローチャートである。
【0031】
認識装置14aは、最も上に位置する第2パース線PL21より上に位置する仮想マーカM01,M02を特定する。仮想マーカM01,M02の位置には、実際にはマーカが存在しない。すなわち、認識装置14aは、仮想マーカM01,M02の位置にマーカが存在すると仮定している。認識装置14aがステップS1~S8に行う動作は、認識装置14がステップS1~S8に行う動作と同じであるので説明を省略する。
【0032】
認識装置14aは、第1行を通過する第2パース線PL21(第3パース線)を特定する(第3パース線特定ステップ:ステップS9)。次に、認識装置14aは、第1行より上を通過する第4パース線PL4を特定する(第4パース線特定ステップ:S10)。
【0033】
最後に、認識装置14aは、第4パース線PL4上に位置する仮想マーカM01,M02を認識する(第3認識ステップ:ステップS11)。具体的には、認識装置14aは、第1列線L1と第4パース線PL4との交点に仮想マーカM01が位置していると認識する。認識装置14aは、第2列線L2と第4パース線PL4との交点に仮想マーカM02が位置していると認識する。これにより、認識装置14aは、仮想マーカM01,M02及びマーカM11,M12を四隅とする空間が存在すると認識できる。
【0034】
(その他の実施形態)
本発明に係る認識装置は、認識装置14,14aに限らず、その要旨の範囲において変更可能である。なお、認識装置14の構造と認識装置14aの構造とを任意に組み合わせてもよい。
【0035】
なお、認識装置14,14aでは、画像データは、1点透視図法による映像を示している。しかしながら、画像データは、2点透視図法及び3点透視図法による映像を示していてもよい。2点透視図法の場合には、認識装置14,14aは、2つの消失点のそれぞれを
図3のフローチャートに従って特定する。3点透視図法の場合には、認識装置14,14aは、3つの消失点のそれぞれを
図3のフローチャートに従って特定する。
【0036】
なお、認識装置14,14aは、撮像装置12より左及び右において前後方向及び上下方向に行列状に配列された複数のマーカを認識している。しかしながら、認識装置14,14aは、撮像装置12より左又は右において前後方向及び上下方向に行列状に配列された複数のマーカを認識してもよい。この場合、認識装置14,14aは、例えば、撮像装置12より左において前後方向及び上下方向に行列状に配列された複数のマーカを認識した後に、認識した複数のマーカに基づいて、撮像装置12より右において前後方向及び上下方向に行列状に配列されたマーカの配置を推定してもよい。
【0037】
なお、取得ステップ、第1認識ステップ、第1パース線特定ステップ、アイレベル特定ステップ、消失点特定ステップ、第2パース線特定ステップ及び第2認識ステップの順序は、例示した順序に限らない。これらのステップの順序は、矛盾のない範囲で入れ替えてもよい。例えば、アイレベル特定ステップは、第1認識ステップの前に実行されてもよい。
【符号の説明】
【0038】
10:自律走行車両
12:撮像装置
14,14a:認識装置
EL:アイレベル
F:フレーム
L1:第1列線
L2:第2列線
M01,M02:仮想マーカ
M11,M21,M31,M41,M12,M22,M32,M42:マーカ
O:消失点
PL1:第1パース線
PL21~PL23:第2パース線
PL4:第4パース線
T1~T3:棚
m11,m22,m31,m32,m41:認識マーカ
m12,m21,m42:未認識マーカ