特許 7322800 認識装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-07-31

(45)【発行日】2023-08-08

(54)【発明の名称】認識装置

(51)【国際特許分類】

   G06T 7/90 20170101AFI20230801BHJP

   H04N 23/60 20230101ALI20230801BHJP

【ＦＩ】

G06T7/90 D

H04N23/60

【請求項の数】 3

(21)【出願番号】P 2020083196

(22)【出願日】2020-05-11

(65)【公開番号】P2021179667

(43)【公開日】2021-11-18

【審査請求日】2022-08-09

【国等の委託研究の成果に係る記載事項】（出願人による申告）国立研究開発法人農業・食品産業技術総合研究機構生物系特定産業技術研究支援センター「革新的技術開発・緊急展開事業（うち人工知能未来農業創造プロジェクト）」、産業技術力強化法第１７条の適用を受けるもの

(73)【特許権者】

【識別番号】000003218

【氏名又は名称】株式会社豊田自動織機

(74)【代理人】

【識別番号】100088155

【弁理士】

【氏名又は名称】長谷川 芳樹

(74)【代理人】

【識別番号】100113435

【弁理士】

【氏名又は名称】黒木 義樹

(74)【代理人】

【識別番号】100124062

【弁理士】

【氏名又は名称】三上 敬史

(74)【代理人】

【識別番号】100148013

【弁理士】

【氏名又は名称】中山 浩光

(72)【発明者】

【氏名】三田 達也

(72)【発明者】

【氏名】松尾 力

【審査官】千葉 久博

(56)【参考文献】

【文献】特開２０１９－５４４４９（ＪＰ，Ａ）

【文献】特開２０１２－２１６０２９（ＪＰ，Ａ）

【文献】特開２００４－２１３１２７（ＪＰ，Ａ）

【文献】特表２０１８－５２５７０７（ＪＰ，Ａ）

【文献】特表２００６－５１４３５６（ＪＰ，Ａ）

【文献】杉本真崇, 外4名，“地理情報システムのための車載カメラ映像からの道路標識の認識”，電子情報通信学会技術研究報告，日本，社団法人電子情報通信学会，2008年06月12日，第108巻, 第94号，p.13-18

【文献】石塚裕, 外1名，“Ｏｐｐｏｎｅｎｔ－Ｃｏｌｏｒフィルタを用いた道路交通標識認識システム”，電子情報通信学会技術研究報告，日本，社団法人電子情報通信学会，2004年03月11日，第103巻, 第737号，p.13-18

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／９０

Ｈ０４Ｎ ２３／６０

(57)【特許請求の範囲】

【請求項1】

２色からなる認識対象を認識する認識装置であって、
前記認識対象を撮像してＲＧＢカラー画像を取得するカラー用撮像部と、
前記カラー用撮像部により取得された前記ＲＧＢカラー画像を、色相、彩度及び明度を含む色空間における色相環上の対角の色に対応する画像に変換する画像変換部と、
前記画像変換部により変換された前記色空間における色相環上の対角の色に対応する画像に基づいて、前記色相環上の対角の色からなる色相画像を生成する色相画像生成部と、
前記色相画像生成部により生成された色相画像を用いて前記認識対象を認識する認識部とを備える認識装置。

【請求項2】

前記色相画像生成部により生成された前記色相画像をグレースケール化するグレースケール変換部を更に備え、
前記認識部は、前記グレースケール変換部によりグレースケール化して得られた画像に基づいて、前記認識対象を認識する請求項１記載の認識装置。

【請求項3】

前記認識対象は白黒２色からなる請求項１または２記載の認識装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、認識装置に関する。

【背景技術】

【0002】

従来の認識装置としては、例えば特許文献１に記載されているような技術が知られている。特許文献１に記載の認識装置は、撮像部によってＲＧＢによるカラー画像を取得し、ＲＧＢによるカラー画像を、色相、彩度及び明度の各成分情報を有するカラー画像に変換し、各成分情報を有するカラー画像から赤・青・黄の色相成分情報を有する色相画像を生成し、道路標識に原則として使用されていない緑に対応する色相値を色相環の０度の位置（基準値）にシフトし、道路標識を認識する。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００４－２１３１２７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、自動運転フォークリフトでは、屋内外の任意の位置に置かれたパレットの荷取りが行われる。この場合、例えば白黒のマーカ（認識対象）をパレットに取り付け、マーカをカメラで撮像して画像処理を行うことで、マーカを認識し、マーカの３次元位置を推定している。しかし、晴天の屋外下では、マーカの一部に影がかかると、マーカの白及び黒が不明瞭になるため、マーカの認識精度が低下する。

【0005】

本発明の目的は、屋外下における認識対象の認識精度を向上させることができる認識装置を提供することである。

【課題を解決するための手段】

【0006】

本発明の一態様は、２色からなる認識対象を認識する認識装置であって、認識対象を撮像してＲＧＢカラー画像を取得するカラー用撮像部と、カラー用撮像部により取得されたＲＧＢカラー画像を、色相、彩度及び明度を含む色空間における色相環上の対角の色に対応する画像に変換する画像変換部と、画像変換部により変換された色空間における色相環上の対角の色に対応する画像に基づいて、色相環上の対角の色からなる色相画像を生成する色相画像生成部と、色相画像生成部により生成された色相画像を用いて認識対象を認識する認識部とを備える。

【0007】

このような認識装置においては、カラー用撮像部によって２色からなる認識対象が撮像されて、ＲＧＢカラー画像が取得される。そして、ＲＧＢカラー画像が色相、彩度及び明度を含む色空間における色相環上の対角の色に対応する画像に変換され、その画像に基づいて、色相環上の対角の色からなる色相画像が生成される。そして、色相画像を用いて認識対象が認識される。ここで、色空間における色相は、影等による明暗の影響を受けにくい。このため、影等の影響を殆ど受けずに、認識対象の認識を行うことが可能となる。また、色相環上の対角の色からなる色相画像が生成されるため、影等に関わらず、２色の違いが鮮明な色相画像が得られる。これにより、屋外下における認識対象の認識精度が向上する。

【0008】

認識装置は、色相画像生成部により生成された色相画像をグレースケール化するグレースケール変換部を更に備え、認識部は、グレースケール変換部によりグレースケール化して得られた画像に基づいて、認識対象を認識してもよい。このような構成では、２色の違いがより鮮明な白黒画像が得られるため、認識対象の認識精度が更に向上する。

【0009】

認識対象は白黒２色からなってもよい。この場合には、安価な認識対象を容易に得ることができる。

【発明の効果】

【0010】

本発明によれば、屋外下における認識対象の認識精度を向上させることができる。

【図面の簡単な説明】

【0011】

【図1】本発明の一実施形態に係る認識装置を備えた走行制御装置の概略構成を示すブロック図である。

【図2】図１に示された走行制御装置が適用されるフォークリフトの前側部分の外観を示す斜視図である。

【図3】図２に示されたフォークリフトにより荷役が行われるメッシュパレットを示す正面図である。

【図4】図１に示された画像変換部により得られるＨＳＶ画像の一例を示す図である。

【図5】図１に示された色相画像生成部により得られる色相画像の一例を示す図である。

【図6】図１に示されたグレースケール変換部により得られる白黒画像の一例を示す図である。

【発明を実施するための形態】

【0012】

以下、本発明の実施形態について図面を参照して詳細に説明する。

【0013】

図１は、本発明の一実施形態に係る認識装置を備えた走行制御装置の概略構成を示すブロック図である。図１において、走行制御装置１は、フォークリフト２（図２参照）の自動走行を制御する装置である。

【0014】

フォークリフト２は、メッシュパレット３（図３参照）の荷役を行う産業車両である。フォークリフト２は、図２に示されるように、車体４と、この車体４の下部に回転可能に取り付けられた複数の車輪５と、車体４の前側に配置された荷役装置６とを備えている。車体４の前側に位置する車輪５は、駆動輪である。車体４の後側に位置する車輪５（図示せず）は、操舵輪である。荷役装置６は、車体４の前端部に連結されたマスト７と、このマスト７にリフトブラケット８を介して昇降可能に支持された１対のフォーク９とを有している。

【0015】

メッシュパレット３は、図３に示されるように、メッシュ状（網状）に構成されたパレット本体１０と、このパレット本体１０の下部に取り付けられた４つの脚部１１とを有している。メッシュパレット３の前面（正面）の下部には、メッシュパレット３の左右方向に延びるプレート１２が取り付けられている。

【0016】

プレート１２には、認識対象である２枚の位置検知用のマーカ１３が貼り付けられている。マーカ１３は、プレート１２の左右両端部に貼り付けられている。マーカ１３は、白黒模様からなっている。マーカ１３の形状は、四角形状である。なお、マーカ１３の数としては、特に２枚には限られず、１枚でもよい。この場合には、プレート１２の中央部にマーカ１３が貼り付けられる。

【0017】

図１に戻り、走行制御装置１は、カラーカメラ１５と、コントローラ１６と、走行モータ１７と、操舵モータ１８とを備えている。

【0018】

カラーカメラ１５は、メッシュパレット３に設けられたマーカ１３を撮像して、マーカ１３のＲＧＢカラー画像を取得するカラー用撮像部である。カラーカメラ１５は、図２に示されるように、リフトブラケット８の車幅方向の中央部に取付板１９を介して取り付けられている。

【0019】

コントローラ１６は、ＣＰＵ、ＲＡＭ、ＲＯＭ及び入出力インターフェース等により構成されている。コントローラ１６は、カラーカメラ１５により取得されたマーカ１３のＲＧＢカラー画像に基づいて、マーカ１３の３次元位置を推定し、フォークリフト２をメッシュパレット３の荷取り位置まで走行させるように走行モータ１７及び操舵モータ１８を制御する。メッシュパレット３の荷取り位置は、フォークリフト２のフォーク９がメッシュパレット３を荷取りすることが可能な位置である。

【0020】

走行モータ１７は、フォークリフト２の前側に配置された車輪５（駆動輪）を回転させるモータである。操舵モータ１８は、フォークリフト２の後側に配置された車輪５（操舵輪）を転舵させるモータである。

【0021】

コントローラ１６は、画像処理部２０と、画像変換部２１と、色相画像生成部２２と、グレースケール変換部２３と、マーカ認識部２４と、経路生成部２５と、駆動制御部２６とを有している。

【0022】

画像処理部２０は、カラーカメラ１５により取得されたＲＧＢカラー画像を画像処理する。ＲＧＢカラー画像の画像処理としては、ＲＧＢカラー画像の２値化及び特徴抽出等がある。

【0023】

画像変換部２１は、図４に示されるように、画像処理部２０により画像処理が行われたＲＧＢカラー画像を、色相（Hue）、彩度（Saturation・Chroma）及び明度（Value・Brightness)を含むＨＳＶ色空間における色相環上の対角の色に対応する画像であるＨＳＶ画像Ｚａに変換する。

【0024】

色相は、色の種類であり、０～３６０度の角度で表される。色相環上の対角の色としては、例えば赤と水色が用いられる。赤の色相は０度であり、水色の色相は１８０度である。なお、彩度は、色の鮮やかさであり、０～１００％で表される。明度は、色の明るさであり、０～１００％で表される。

【0025】

図４において、領域Ｒ１は、ＨＳＶ画像Ｚａの赤の部分のうち影が映っていない領域である。領域Ｒ１のＲＧＢ座標は、（２５５，０，０）で表される。領域Ｒ１＊は、ＨＳＶ画像Ｚａの赤の部分のうち影が映っている領域である。領域Ｒ１＊のＲＧＢ座標は、（１５１，０，０）で表される。領域ＬＢ１は、ＨＳＶ画像Ｚａの水色のうち影が映っていない領域である。領域ＬＢ１のＲＧＢ座標は、（０，２５５，２５５）で表される。領域ＬＢ１＊は、ＨＳＶ画像Ｚａの水色のうち影が映っている領域である。領域ＬＢ１＊のＲＧＢ座標は、（０，１２０，１２０）で表される。

【0026】

色相画像生成部２２は、図５に示されるように、画像変換部２１により変換されたＨＳＶ色空間における色相環上の対角の色に対応するＨＳＶ画像Ｚａに基づいて、色相環上の対角の色からなる色相画像Ｚｂを生成する。

【0027】

図５において、領域Ｒ２は、色相画像Ｚｂの赤の部分のうち影が映っていない領域である。領域Ｒ２の色相Ｈは、０度である。領域Ｒ２＊は、色相画像Ｚｂの赤の部分のうち影が映っている領域である。領域Ｒ２＊の色相Ｈも、０度である。領域ＬＢ２は、色相画像Ｚｂの水色のうち影が映っていない領域である。領域ＬＢ２の色相Ｈは、１８０度である。領域ＬＢ２＊は、色相画像Ｚｂの水色のうち影が映っている領域である。領域ＬＢ２＊の色相Ｈも、１８０度である。このように色相画像Ｚｂの色が同じであれば、影の有無に関わらず、色相Ｈは変化しない。

【0028】

グレースケール変換部２３は、図６に示されるように、色相画像生成部２２により生成された色相画像Ｚｂをグレースケール化して、白黒画像Ｚｃを取得する。このとき、色相画像Ｚｂは、赤が０となり、水色が２５５となるようにグレースケール化される。

【0029】

マーカ認識部２４は、グレースケール変換部２３によりグレースケール化して得られた白黒画像Ｚｃに基づいて、マーカ１３を認識する。そして、マーカ認識部２４は、フォークリフト２に対するマーカ１３の３次元位置を推定する。

【0030】

経路生成部２５は、マーカ認識部２４により推定されたフォークリフト２に対するマーカ１３の３次元位置に基づいて、メッシュパレット３の荷取り位置までのフォークリフト２の走行経路を生成する。

【0031】

駆動制御部２６は、経路生成部２５により生成された走行経路に従ってフォークリフト２をメッシュパレット３に向けて走行させるように走行モータ１７及び操舵モータ１８を制御する。

【0032】

ここで、カラーカメラ１５、コントローラ１６の画像処理部２０、画像変換部２１、色相画像生成部２２、グレースケール変換部２３及びマーカ認識部２４は、本実施形態の認識装置２７を構成している。認識装置２７は、白黒２色からなるマーカ１３を認識する装置である。

【0033】

ところで、白黒のマーカ１３をモノクロカメラで撮像し、その撮像画像を画像処理してマーカ１３を認識する場合には、以下の不具合が発生する。即ち、晴天の屋外下で荷役作業を行っているときに、マーカ１３の一部に影がかかると、マーカ１３の白部分及び黒部分が不明瞭となるため、マーカ１３の認識精度が低下してしまう。

【0034】

例えば、トラック上に置かれたメッシュパレット３の荷役を行う場合、フォークリフト２の後方からの日射があるときに、メッシュパレット３に設けられたマーカ１３に影が映ると、マーカ１３を認識できなくなる。また、メッシュパレット３のフックの影がマーカ１３に映っても、マーカ１３を認識できなくなる。

【0035】

そのような不具合に対し、本実施形態では、カラーカメラ１５によって２色からなるマーカ１３が撮像されて、ＲＧＢカラー画像が取得される。そして、ＲＧＢカラー画像が色相、彩度及び明度を含むＨＳＶ色空間における色相環上の対角の色に対応するＨＳＶ画像に変換され、そのＨＳＶ画像に基づいて、色相環上の対角の色からなる色相画像が生成される。そして、色相画像を用いてマーカ１３が認識される。ここで、色空間における色相は、影等による明暗の影響を受けにくい。このため、影等の影響を受けずに、マーカ１３の認識を行うことが可能となる。また、色相環上の対角の色からなる色相画像が生成されるため、影等に関わらず、２色の違いが鮮明な色相画像が得られる。これにより、屋外下におけるマーカ１３の認識精度が向上する。

【0036】

また、本実施形態では、色相画像をグレースケール化して得られた白黒画像に基づいて、マーカ１３が認識される。このように２色の違いがより鮮明な白黒画像が得られるため、マーカ１３の認識精度が更に向上する。

【0037】

また、本実施形態では、白黒２色からなるマーカ１３を用いることにより、安価なマーカ１３を容易に得ることができる。

【0038】

なお、本発明は、上記実施形態には限定されない。例えば上記実施形態では、ＨＳＶ色空間における色相環上の対角の色として、赤と水色が用いられるが、特にそのような形態には限られない。ＨＳＶ色空間における色相環上の対角の色として、紫と緑を用いてもよいし、或いは黄色と青を用いてもよい。

【0039】

また、上記実施形態では、色相画像をグレースケール化して得られた白黒画像に基づいて、マーカ１３が認識されているが、色相画像からマーカ１３の認識が可能であれば、特に色相画像をグレースケール化しなくてもよい。

【0040】

また、上記実施形態では、マーカ１３は白黒２色であるが、特にその形態には限られず、マーカ１３は有色２色であってもよいし、或いは白黒の何れか１色と有色１色との組み合わせであってもよい。なお、ここでの２色は、色の種類である色相が２つということである。

【0041】

また、上記実施形態では、マーカ１３はメッシュパレット３に取り付けられているが、マーカ１３が取り付けられるパレットとしては、特にメッシュパレット３には限られず、平パレットまたはボックスパレット等であってもよい。また、マーカ１３が取り付けられる対象は、特にパレットには限られない。

【0042】

また、上記実施形態の認識装置２７は、フォークリフト２に搭載されているが、本発明は、特にフォークリフト２には限られず、例えば他の産業車両や搬送台車等のような移動体にも適用可能である。

【0043】

また、上記実施形態の認識装置２７は、２色からなるマーカ１３が認識されているが、本発明は、特にマーカ１３には限られず、例えば道路標識等のような２色からなる認識対象であれば適用可能である。

【符号の説明】

【0044】

１３…マーカ（認識対象）、１５…カラーカメラ（カラー用撮像部）、２１…画像変換部、２２…色相画像生成部、２３…グレースケール変換部、２４…マーカ認識部（認識部）、２７…認識装置、Ｚａ…ＨＳＶ画像、Ｚｂ…色相画像、Ｚｃ…白黒画像。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】