特許 7489678 パレット検出装置およびパレット検出方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2024-05-16

(45)【発行日】2024-05-24

(54)【発明の名称】パレット検出装置およびパレット検出方法

(51)【国際特許分類】

   G06T 7/70 20170101AFI20240517BHJP

   B65G 1/137 20060101ALI20240517BHJP

【ＦＩ】

G06T7/70 A

B65G1/137 B

【請求項の数】 4

(21)【出願番号】P 2023074123

(22)【出願日】2023-04-28

【審査請求日】2023-04-28

(73)【特許権者】

【識別番号】502369573

【氏名又は名称】ユーピーアール株式会社

(74)【代理人】

【識別番号】100098394

【弁理士】

【氏名又は名称】山川 茂樹

(74)【代理人】

【識別番号】100153006

【弁理士】

【氏名又は名称】小池 勇三

(74)【代理人】

【識別番号】100121669

【弁理士】

【氏名又は名称】本山 泰

(72)【発明者】

【氏名】酒田 健治

(72)【発明者】

【氏名】中村 康久

(72)【発明者】

【氏名】小林 道明

(72)【発明者】

【氏名】永山 佳範

【審査官】真木 健彦

(56)【参考文献】

【文献】特許第７２１８０１８（ＪＰ，Ｂ１）

【文献】特開２０２１－０２４７１８（ＪＰ，Ａ）

【文献】特許第７１８５９５８（ＪＰ，Ｂ１）

【文献】特開２０２１－１６０８６０（ＪＰ，Ａ）

【文献】特開２０２１－０８８４４０（ＪＰ，Ａ）

【文献】国際公開第２０２０／１８９１５４（ＷＯ，Ａ１）

【文献】特開２０１５－２２５４５０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／７０

Ｇ０６Ｔ ７／００

Ｇ０１Ｂ １１／００

Ｂ６５Ｇ １／１３７

(57)【特許請求の範囲】

【請求項1】

左右の２つの区分に区分けされた荷台に積載されたパレットの画像を含む第１の画像情報を取得する撮像部と、
前記第１の画像情報の形状を幾何変換することにより、所定の形状を有する第２の画像情報を取得する画像処理部と、
前記第２の画像情報と予め登録された前記パレットの画像情報を比較することにより、前記第２の画像情報から前記パレットの画像を検出するパレット検出部と
を備え、
前記パレット検出部は、前記パレットの幅及び前記パレットの高さの少なくとも何れかの情報に基づいて、前記荷台における前記パレットの相対位置を判定し、
前記相対位置を用いて、前記荷台の前記２つの区分における前記撮像部に近い側の区分に積載された前記パレットの数を算出する
パレット検出装置。

【請求項2】

前記パレット検出部は、前記パレットの構成面の頂点座標を用いて、前記パレットの幅及び前記パレットの高さの少なくとも何れかの情報を算出する
請求項１に記載のパレット検出装置。

【請求項3】

パレットの画像を取得する撮像部と前記撮像部で取得した画像を画像処理する画像処理部と前記画像処理部で処理された画像から前記パレットの画像を検出するパレット検出部を備えたパレット検出装置において実行されるパレット検出方法であって、
前記撮像部が、左右の２つの区分に区分けされた荷台に積載されたパレットの画像を含む第１の画像情報を取得する画像取得ステップと、
前記画像処理部が、前記第１の画像情報の形状を幾何変換することにより、所定の形状を有する第２の画像情報を取得する画像処理ステップと、
前記パレット検出部が、前記第２の画像情報と予め登録された前記パレットの画像情報を比較することにより、前記第２の画像情報から前記パレットの画像を検出するパレット画像検出ステップと
を有し、
前記パレット画像検出ステップは、前記パレットの幅及び前記パレットの高さの少なくとも何れかの情報に基づいて、前記荷台における前記パレットの相対位置を判定し、
前記相対位置を用いて、前記荷台の前記２つの区分における前記撮像部に近い側の区分に積載された前記パレットの数を算出する
パレット検出方法。

【請求項4】

前記パレット画像検出ステップは、前記パレットの構成面の頂点座標を用いて、前記パレットの幅及び前記パレットの高さの少なくとも何れかの情報を算出する
請求項３に記載のパレット検出方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、荷台に設置されたパレットを検出するパレット検出技術に関する。

【背景技術】

【0002】

倉庫における荷物を管理する技術として、荷物やパレットに付与した識別コードを読み取ることにより、倉庫内の荷物やパレットの設置場所を管理する方法が提案されている。最近では、倉庫内を移動する搬送車やドローンに搭載したカメラを用いて、倉庫内の荷物やパレットの画像情報を取得することにより、倉庫内の荷物の点検や棚卸作業の負荷を低減する技術が提案されている。

【0003】

例えば、特許文献１、２では、倉庫内の荷物の画像を撮影するカメラが搭載されたロボットやドローンを用いたパレット検出システムが提案されている。ロボットやドローンに搭載されたカメラにより荷物や棚に設置されたバーコードを読み取ることにより荷物の種類や数の情報を取得することができる。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１９－５２７１７２号公報

【文献】特開２０１９－１６７１７７号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ここで、上述したような荷物やパレットに設置されたバーコードを読み取る技術では、比較的近距離でかつ正面方向から荷物やパレットの画像を取得する必要があるので、トラックの荷台等に設置された荷物やパレットを点検する場合には、正確に荷物やパレットを検出できない場合がある。トラックの荷台等に設置された荷物の搬入時や搬出時においては、倉庫に設置された荷物と比較して、より簡易な方法で迅速かつ正確に荷物やパレットの数を正確に把握できる技術が望まれている。

【0006】

本発明は、以上のような問題を解消するためになされたものであり、荷台に設置されたパレット数をより簡易な方法で迅速かつ正確に把握することができるパレット検出装置を提供することを目的とする。

【課題を解決するための手段】

【0007】

上述したような課題を解決するために、本発明のパレット検出装置は、荷台に積載されたパレットの画像を含む第１の画像情報を取得する撮像部と、前記第１の画像情報の形状を幾何変換することにより、所定の形状を有する第２の画像情報を取得する画像処理部と、前記第２の画像情報と予め登録された前記パレットの画像情報を比較することにより、前記第２の画像情報から前記パレットの画像を検出するパレット検出部とを備え、前記パレット検出部は、前記パレットの幅及び前記パレットの高さの少なくとも何れかの情報に基づいて、前記荷台における前記パレットの相対位置を判定する。

【0008】

また、前記パレット検出部は、前記パレットの構成面の頂点座標を用いて、前記パレットの幅及び前記パレットの高さの少なくとも何れかの情報を算出してもよい。

【0009】

上述したような課題を解決するために、本発明のパレット検出方法は、パレットの画像を取得する撮像部と前記撮像部で取得した画像を画像処理する画像処理部と前記画像処理部で処理された画像から前記パレットの画像を検出するパレット検出部を備えたパレット検出装置において実行されるパレット検出方法であって、前記撮像部が、荷台に積載されたパレットの画像を含む第１の画像情報を取得する画像取得ステップと、前記画像処理部が、前記第１の画像情報の形状を幾何変換することにより、所定の形状を有する第２の画像情報を取得する画像処理ステップと、前記パレット検出部が、前記第２の画像情報と予め登録された前記パレットの画像情報を比較することにより、前記第２の画像情報から前記パレットの画像を検出するパレット画像検出ステップとを有し、前記パレット画像検出ステップは、前記パレットの幅及び前記パレットの高さの少なくとも何れかの情報に基づいて、前記荷台における前記パレットの相対位置を判定する。

【0010】

また、前記パレット画像検出ステップは、前記パレットの構成面の頂点座標を用いて、前記パレットの幅及び前記パレットの高さの少なくとも何れかの情報を算出してもよい。

【発明の効果】

【0011】

本発明によれば、荷台に設置されたパレット数をより簡易な方法で迅速かつ正確に把握することができるパレット検出装置を提供することが可能となる。

【図面の簡単な説明】

【0012】

【図1】図１は、本発明の実施の形態のパレット検出装置を備えたシステム構成の一例である。

【図2】図２は、本発明の実施の形態のパレット検出装置を用いたパレット検出の一例を説明するための図である。

【図3】図３は、本発明の実施の形態のパレット検出装置の機能ブロックの一例である。

【図4】図４は、本発明の実施の形態の荷台画像の幾何変換を説明するための図である。

【図5】図５は、本発明の実施の形態のパレットの検出を説明するための図である。

【図6】図６は、本発明の実施の形態のパレット検出方法の動作フローの一例である。

【発明を実施するための形態】

【0013】

以下、本発明の実施の形態について図面を参照して説明する。尚、本発明は、様々な実施の形態で実施することが可能であり、以下に説明する発明の実施の形態に限定されるものではない。

【0014】

＜パレット検出システムの構成＞
図１は、本発明の実施の形態のパレット検出装置を備えたシステム構成の一例である。図１のパレット検出システムは、トラック１等の搬送車両の荷台に設置された荷物２が載置された状態のパレット３の画像を取得し、取得した画像を用いて荷台のパレット３の数を検出するパレット検出装置１０と、パレット検出装置１０において検出されたパレットの数を管理するパレット管理サーバ２０とから構成されている。

【0015】

図１のパレット検出システムは、パレット検出装置１０に搭載した撮像部で取得した画像情報と予め登録したパレットの画像情報を比較することにより、トラック１の荷台に積載されている荷物２が載置された状態のパレット３を検出するように構成されている。パレット３を検出した画像およびパレット３の検出結果は、必要に応じて、パレット管理サーバ２０に送信される。

【0016】

トラック１等の荷台に設置された荷物２の搬出時や搬入時において、搬送される荷物が積まれているかを把握するためには、トラック１等の荷台に設置された状態においてパレット３の数を検出する必要がある。そのため、倉庫に設置された荷物を確認する場合と比較して、時間的あるいは場所的な制約があるため、より簡易な方法で迅速かつ正確にパレット３の数を正確に把握する技術が求められている。本実施の形態のパレット検出装置１０は、パレット３の画像を含む荷物全体の画像を用いて、荷物２が複数載置されたパレット３の数を把握するように構成されている。

【0017】

パレット検出装置１０は、パレット３の画像を含む荷台全体の画像情報を取得し、予め保存しておいたパレットの画像情報と比較することにより、荷台全体の画像情報からパレットの画像を検出する。予め保存しておくパレットの画像情報としては、パレットの形状等のパレットの特徴を表すための情報が含まれる。

【0018】

パレット３の画像情報としては、パレット３の種別毎に撮影した画像を保存しておいてもよいし、多数のパレットの画像情報を用いて学習させた画像情報を用いてもよい。パレット３の画像情報を含む荷台全体の画像情報から、パレット３の色や形状等のパレットの特徴を表すための情報を検出することで、荷台におけるパレット３の種別と数を把握するようにしてもよい。

【0019】

＜荷台画像の幾何変換＞
トラック１等の荷台に設置された荷物の搬入時や搬出時においては、荷台の画像を撮影する撮影者の撮影位置が同じ位置とは限らないので、荷台画像を撮像するデジタルカメラやスマートホンと荷台の間の距離や角度が撮影者によって一定ではない。

【0020】

そのため、取得した荷台画像において、予め保存しておいたパレットの画像情報の検出ができず、パレット画像の検出精度が低下する場合がある。本実施の形態のパレット検出装置１０は、取得した荷台画像において幾何変換等の画像処理を行うことにより、パレット画像の検出精度を向上させるように構成されている。

【0021】

具体的には、荷台の画像を撮影する撮影者によってデジタルカメラやスマートホンと荷台の間の距離や角度が異なる場合、荷台画像の形状に歪が生じるので、取得した荷台画像（第１の画像情報）の形状を幾何変換することにより、撮影画像が所定の形状を有するように画像の歪を補正し、歪が補正された所定の形状を有する画像（第２の画像情報）を用いてパレットの画像情報の検出を行う。

【0022】

ここで、歪が補正された所定の形状を有する画像が所定の画角に対応していない場合には、必要に応じて撮像部のズームインあるいはズームアウトを行って、再度荷台画像の情報を取得し、取得した荷台画像において幾何変換等の画像処理を行って、歪が補正された所定の形状を有する画像を取得するようにしてもよい。

【0023】

このように、撮影画像が所定の形状を有するように画像の歪を補正し、所定の画角に対応する荷台画像を用いてパレットの画像情報と比較することで、補正後の荷台画像からパレットの画像情報を検出する際のパレットの画像情報の検出精度を向上させることができる。

【0024】

荷台画像の幾何変換の方法としては、例えば、台形の画像を長方形の画像に補正する台形補正が考えられるが、台形補正に限定されるものではない。台形補正に限らず、任意の形状の四角形の画像を所定の画角に対応する画像となるように画像変換を行えばよい。

【0025】

幾何変換によって必要な大きさの画像が得られた場合には、撮像部のズームインあるいはズームアウトを必ずしも行う必要はない。パレットの画像情報を検出するための所定の画角に対応する画像としては、所定の画角における画像サイズとほぼ同一の面積となるように、撮像部のズームインあるいはズームアウトを行うことや、画像サイズが所定の画角における所定の範囲内となるように、撮像部のズームインあるいはズームアウトを行うことが考えられる。予め学習しておいた荷台の画像情報に対応する画像の大きさとなるように、撮像部のズームインあるいはズームアウトを行うようにしてもよい。

【0026】

＜荷台におけるパレットの位置検出＞
図２は、本発明の実施の形態のパレット検出装置を用いたパレット検出の一例を説明するための図である。図２の例では、トラック１の荷台は、左右の２区分に区分けされた構造を有しており、区分けされた左右の区分はそれぞれパレット１枚分の奥行を有している。

【0027】

図２のような、左右の２区分に区分けされた構造を有するトラック１の荷台においては、左右の荷台のそれぞれの外側から取得した画像を用いてパレットの検出を行うことで、荷台全体におけるパレットの数を把握することが可能である。

【0028】

ここで、トラック１の左側のパレット検出装置＃１ からパレットを検出する場合には、荷台の右側の区分に載置されたパレット（図２のパレットＰ）が見える状態で荷台画像を取得した場合には、トラック１の荷台の右側のパレット検出装置＃２において検出すべきパレットＰを誤検出する場合がある。パレット検出装置＃１と＃２において、パレットＰを重複してカウントすることで、荷台のパレットの数を正確に把握することができない場合がある。そこで、本実施の形態のパレット検出装置は、図２のような奥行のある荷台にパレット３が配置されている場合において、荷台におけるパレットの位置を判定することで、パレットの数を正確に把握することができるように構成されている。

【0029】

＜パレット検出装置の構成＞
図３を用いて、パレット検出装置１０の構成を説明する。図３は、本発明の実施の形態のパレット検出装置の機能ブロックの一例である。

【0030】

パレット検出装置１０は、パレットの画像情報を含む荷台の画像情報を取得するための撮像部１１、撮像部１１で取得した画像の画像処理およびパレット検出を行うための中央処理部１２、パレット管理サーバ２０と情報を送受信するための無線部１８、各種情報等を保存するための記憶部１５、撮影者が情報を入力するための入力部１６、パレットの画像の検出状況を表示するための表示部１７を備える。

【0031】

パレット検出装置１０の撮像部は、パレットの画像を含む荷台全体の画像情報を取得するための撮像素子である。撮像部としては、荷台全体の画像情報からパレットの形状や大きさを検出するための汎用的なＲＧＢカメラを用いることができる。撮像部を備えたパレット検出装置１０としては、例えば、ＲＧＢカメラを搭載したデジタルカメラやスマートホン等を用いることができる。

【0032】

中央処理部１２は、撮像部１１で取得した画像の画像処理を行う画像処理部１３、およびパレットの検出を行うパレット検出部１４として機能する。パレット検出装置１０は、ＣＰＵ、メモリ、および外部機器と接続するためのインタフェースを備えたコンピュータにより構成することができる。

【0033】

記憶部１５には、取得した荷台の画像情報と比較するためのパレットの画像情報やパレットの検出結果を記憶することができる。パレットの画像情報としては、パレットの色や形状等のパレットの特徴を表すための情報が含まれる。パレットの画像情報として、複数のパレットの画像データを学習させた画像データを用いてもよい。

【0034】

＜パレットの検出方法＞
図４、５を用いて、本発明の実施の形態におけるパレットの検出方法を説明する。図４は、本発明の実施の形態の荷台画像の幾何変換を説明するための図であり、図５は、本発明の実施の形態のパレットの検出を説明するための図である。

【0035】

図４の例では、荷台における基準位置（ａ、ｂ、ｃ、ｄ）が長方形の画像（Ａ、Ｂ、Ｃ、Ｄ）となるように幾何変換を行っている。幾何変換を行った結果、荷物画像を検出するための画像の面積が、所定の画角における所定の範囲内となるような画像が得られている。

【0036】

図４では、撮像部１１で幾何変換することにより得られた荷台画像は、所定の画角における所定の範囲内となっており、パレット３の画像情報と比較し得る形状と大きさの画像となっている。この画像を用いて、パレット３の画像情報と比較することでパレット３の種類と数を特定することができる。

【0037】

ここで、撮像部１１により取得され幾何変換した画像が、パレット３の画像情報と比較し得る形状と大きさの画像となっていない場合には、撮像部１１において、必要に応じてズームインあるいはズームアウトを行って取得した画像を用いて、再度幾何変換を行ってもよい。

【0038】

図５は、パレットの相対位置を用いてパレット数を検出した結果の一例である。本実施の形態のパレット検出装置では、撮像部１１により取得された画像情報を幾何変換した画像を用いて、予め保存しておいたパレット３の画像情報と比較することで、荷台におけるパレット３を検出し、さらに、検出されたパレット３の構成面の頂点座標を用いて、パレット３の幅と高さを算出し、算出されたパレット３の幅と高さの情報を用いて、パレット３の相対的な位置を把握することで、手前側のパレット３の数を検出するように構成されている。

【0039】

本実施の形態では、パレット３の幅と高さ大小に応じて、パレット３を分類することで、パレット３の相対的な位置を把握することで、パレット３の重複した検出を排除する。例えば、パレット３の幅と高さを所定の閾値と比較して、パレット３の幅と高さが所定の閾値より大きいか小さいかに応じて、パレット３を分類し、所定の閾値より大きい幅と高さを有するパレット群を手前側のパレットと判定し、それ以外のパレットを奥側のパレットと判定すればよい。図５の例では、相対的に幅と高さが大きい手前側のパレット３の数は「８」であり、相対的に幅と高さが小さい奥側のパレット３の数は「３」である。

【0040】

なお、パレット３の相対的な位置を把握するためには、必ずしもパレット３の幅と高さの情報の両方を用いる必要はない。パレット３の幅と高さの情報の少なくとも何れかの情報を用いて、パレット３の相対的な位置を把握することができる。

【0041】

本実施の形態によれば、トラック１等の荷台の画像を撮影する撮影者によってデジタルカメラやスマートホンと荷台の間の距離や角度が一定ではない場合においても、取得した画像において幾何変換等の画像処理を行うことにより、トラック１等の荷台に設置された荷物におけるパレット画像の検出精度を向上させることができる。さらに、荷台におけるパレット３の幅及び高さの情報に基づいて、荷台におけるパレット３の相対位置を判定することで、重複したパレット３の検出を排除し、荷台におけるパレット３の数を正確に把握することができる。

【0042】

＜パレット検出装置の動作フロー＞
図６を用いて、パレット検出装置１０において実行されるパレット検出方法の動作を説明する。図６は、本発明の実施の形態におけるパレット検出方法の動作フローの一例である。

【0043】

パレット検出装置の撮像部は、パレットの画像を含む荷台の画像を取得する（Ｓ１－１：画像取得ステップ）。パレット検出装置の画像処理部は、取得した画像からパレットの画像を含む荷台領域を検出し（Ｓ１－２）、荷台領域の画像の形状が所定の形状になるように荷台画像の幾何変換を行う（Ｓ１－３：画像処理ステップ）。

【0044】

パレット検出装置のパレット検出部は、幾何変換後の荷台領域の画像と予め登録されたパレットの画像情報を比較することにより（Ｓ１－４）、荷台画像からパレットの画像を検出し、パレットの構成面の頂点座標を検出する（Ｓ１－５：パレット画像検出ステップ）。

【0045】

パレット検出装置のパレット検出部は、さらに、パレットの構成面の頂点座標を用いて、パレットの幅と高さを算出し（Ｓ１－６）、パレットの幅と高さの情報の少なくとも何れかの情報を用いて、パレットの相対的な位置を判定し、手前側のパレットの数を算出する（Ｓ１－７）。

【0046】

パレットを検出した画像およびパレットの検出結果は、必要に応じて、パレット管理サーバに送信される。パレットを検出した画像およびパレットの検出結果を検証することにより検出結果を検証し、検出結果が誤っている場合には、修正後の検出結果を用いてパレットの画像を学習させることで検出の精度向上を図るようにしてもよい。

【0047】

例えば、パレットを検出した画像およびパレットの検出結果をユーザが参照し、パレットでないものをパレットであると検出したような場合（誤検出）や、逆に、本来パレットであると検出すべき画像を検出しなかった場合（検出漏れ）があったと認定された場合には、誤検出された画像をパレット以外の画像として、検出漏れの画像をパレットの画像として学習させることで、検出の精度向上を図るようにしてもよい。

【0048】

このように、本実施の形態によれば、荷台に設置されたパレット数をより簡易な方法で迅速かつ正確に把握することができるパレット検出装置を提供することが可能となる。

【符号の説明】

【0049】

１…トラック、２…荷物、３…パレット、１０…パレット検出装置、１１…撮像部、１２…中央処理部、１３…画像処理部、１４…パレット検出部、１５…記憶部、１６…入力部、１７…表示部、２０…パレット管理サーバ。

【要約】

【課題】荷台に設置されたパレット数をより簡易な方法で迅速かつ正確に把握することができるパレット検出装置を提供する。
【解決手段】本発明のパレット検出装置１０は、荷台に積載されたパレットの画像を含む第１の画像情報を取得する撮像部１１と、第１の画像情報の形状を幾何変換することにより、所定の形状を有する第２の画像情報を取得する画像処理部１３と、第２の画像情報と予め登録されたパレットの画像情報を比較することにより、第２の画像情報からパレットの画像を検出するパレット検出部１４とを備え、パレット検出部１４は、パレットの幅及びパレットの高さの少なくとも何れかの情報に基づいて、荷台におけるパレットの相対位置を判定する。
【選択図】図３

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】