特開 2025-163868 パレット検出装置およびパレット検出方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2025163868

(43)【公開日】2025-10-30

(54)【発明の名称】パレット検出装置およびパレット検出方法

(51)【国際特許分類】

   G06Q 10/08 20240101AFI20251023BHJP

   G06T 7/00 20170101ALI20251023BHJP

【ＦＩ】

G06Q10/08

G06T7/00 300Z

【審査請求】有

【請求項の数】2

【出願形態】ＯＬ

(21)【出願番号】P 2024067462

(22)【出願日】2024-04-18

(11)【特許番号】

(45)【特許公報発行日】2025-06-20

(71)【出願人】

【識別番号】502369573

【氏名又は名称】ユーピーアール株式会社

(74)【代理人】

【識別番号】100098394

【弁理士】

【氏名又は名称】山川 茂樹

(74)【代理人】

【識別番号】100153006

【弁理士】

【氏名又は名称】小池 勇三

(74)【代理人】

【識別番号】100121669

【弁理士】

【氏名又は名称】本山 泰

(72)【発明者】

【氏名】酒田 健治

(72)【発明者】

【氏名】中村 康久

(72)【発明者】

【氏名】小林 道明

(72)【発明者】

【氏名】永山 佳範

【テーマコード（参考）】

5L010

5L096

【Ｆターム（参考）】

5L010AA16

5L096AA06

5L096BA04

5L096CA04

5L096DA02

5L096HA09

(57)【要約】

【課題】荷台に設置されたパレット数をより簡易な方法で迅速かつ正確に把握することができるパレット検出装置を提供する。
【解決手段】本発明のパレット検出装置１０は、トラック荷台に対して、角度の異なる２方向の位置から撮影した２つの画像情報を用いてパレット検出を行い、２つの画像情報の射影変換を行った画像情報において信頼性の高いパレット情報を判定し、信頼性の高いパレット情報に基づいて荷台に積載されたパレットの種別と枚数を把握する。
【選択図】図２

【特許請求の範囲】

【請求項1】

荷台に積載されたパレットの画像を異なる角度から撮像することにより、撮像角度の異なる第１の画像情報及び第２の画像情報を取得する撮像部と、
前記第１の画像情報及び前記第２の画像情報と、予め登録された前記パレットの画像情報を比較することにより、前記第１の画像情報及び前記第２の画像情報のぞれぞれの画像情報から前記パレットの画像情報を検出して、検出された前記パレットの種別情報、位置情報、サイズ情報、及びパレット検出の信頼性係数を含むパレット情報を取得するパレット検出部と、
前記第１の画像情報及び前記第２の画像情報のぞれぞれの画像情報を射影変換することにより、所定の形状を有する第３の画像情報及び第４の画像情報を取得し、射影変換に伴って変換された前記パレットの前記位置情報及び前記サイズ情報を取得する画像処理部と、
前記第３の画像情報及び前記第４の画像情報において、前記荷台における同一の位置に積載されている前記パレットの前記パレット情報から、前記信頼性係数が高い前記パレット情報を判定するパレット判定部と
を備えるパレット検出装置。

【請求項2】

前記パレット判定部は、前記第３の画像情報における前記パレットの前記位置情報及び前記サイズ情報と、前記第４の画像情報における前記パレットの前記位置情報及び前記サイズ情報との差に基づいて、前記パレットが前記荷台における同一の位置に積載されているかを判定する
請求項１に記載のパレット検出装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、荷台に設置されたパレットを検出するパレット検出技術に関する。

【背景技術】

【0002】

倉庫における荷物を管理する技術として、荷物やパレットに付与した識別コードを読み取ることにより、倉庫内の荷物やパレットの設置場所を管理する方法が提案されている。最近では、倉庫内を移動する搬送車やドローンに搭載したカメラを用いて、倉庫内の荷物やパレットの画像情報を取得することにより、倉庫内の荷物の点検や棚卸作業の負荷を低減する技術が提案されている。

【0003】

例えば、特許文献１、２では、倉庫内の荷物の画像を撮影するカメラが搭載されたロボットやドローンを用いたパレット検出システムが提案されている。ロボットやドローンに搭載されたカメラにより荷物や棚に設置されたバーコードを読み取ることにより荷物の種別や数の情報を取得することができる。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１９－５２７１７２号公報

【特許文献2】特開２０１９－１６７１７７号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ここで、上述したような荷物やパレットに設置されたバーコードを読み取る技術では、比較的近距離でかつ正面方向から荷物やパレットの画像を取得する必要があるので、トラックの荷台等に設置された荷物やパレットを点検する場合には、正確に荷物やパレットを検出できない場合がある。トラックの荷台等に設置された荷物の搬入時や搬出時においては、倉庫に設置された荷物と比較して、より簡易な方法で迅速かつ正確に荷物やパレットの数を正確に把握できる技術が望まれている。

【0006】

本発明は、以上のような問題を解消するためになされたものであり、荷台に設置されたパレット数をより簡易な方法で迅速かつ正確に把握することができるパレット検出装置を提供することを目的とする。

【課題を解決するための手段】

【0007】

上述したような課題を解決するために、本発明のパレット検出装置は、荷台に積載されたパレットの画像を異なる角度から撮像することにより、撮像角度の異なる第１の画像情報及び第２の画像情報を取得する撮像部と、前記第１の画像情報及び前記第２の画像情報と、予め登録された前記パレットの画像情報を比較することにより、前記第１の画像情報及び前記第２の画像情報のぞれぞれの画像情報から前記パレットの画像情報を検出して、検出された前記パレットの種別情報、位置情報、サイズ情報、及びパレット検出の信頼性係数を含むパレット情報を取得するパレット検出部と、前記第１の画像情報及び前記第２の画像情報のぞれぞれの画像情報を射影変換することにより、所定の形状を有する第３の画像情報及び第４の画像情報を取得し、射影変換に伴って変換された前記パレットの前記位置情報及び前記サイズ情報を取得する画像処理部と、前記第３の画像情報及び前記第４の画像情報において、前記荷台における同一の位置に積載されている前記パレットの前記パレット情報から、前記信頼性係数が高い前記パレット情報を判定するパレット判定部とを備える。

【0008】

また、前記パレット判定部は、前記第３の画像情報における前記パレットの前記位置情報及び前記サイズ情報と、前記第４の画像情報における前記パレットの前記位置情報及び前記サイズ情報との差に基づいて、前記パレットが前記荷台における同一の位置に積載されているかを判定してもよい。

【発明の効果】

【0009】

本発明によれば、荷台に設置されたパレット数をより簡易な方法で迅速かつ正確に把握することができるパレット検出装置を提供することが可能となる。

【図面の簡単な説明】

【0010】

【図1】図１は、本発明の実施の形態におけるパレット検出装置を備えたシステム構成の一例である。

【図2】図２は、本発明の実施の形態におけるパレット検出装置の機能ブロックの一例である。

【図3】図３は、本発明の実施の形態におけるパレット情報の検出方法を説明するための図である。

【図4】図４は、本発明の実施の形態におけるパレット情報の検出結果を説明するための図である。

【図5】図５は、本発明の実施の形態におけるパレット検出方法の動作フローの一例である。

【発明を実施するための形態】

【0011】

以下、本発明の実施の形態について図面を参照して説明する。尚、本発明は、様々な実施の形態で実施することが可能であり、以下に説明する発明の実施の形態に限定されるものではない。

【0012】

＜パレット検出システムの構成＞
図１は、本発明の実施の形態におけるパレット検出システムの構成の一例である。図１のパレット検出システムは、トラック１等の搬送車両の荷台に設置された荷物２が載置された状態のパレット３の画像を取得し、取得した画像を用いて荷台のパレット３を検出するパレット検出装置１０を備えている。

【0013】

図１のパレット検出システムは、パレット検出装置１０に搭載した撮像部で取得した画像情報と予め登録したパレットの画像情報を比較することにより、トラック１の荷台に積載されている荷物２が載置された状態のパレット３を検出するように構成されている。

【0014】

トラック１等の荷台に設置された荷物２の搬出時や搬入時においては、搬送される荷物が積まれているかを、トラック１等の荷台に設置された状態においてパレット３の数を検出する必要がある。そのため、倉庫に設置された荷物を確認する場合と比較して、時間的あるいは場所的な制約があるため、より簡易な方法で迅速かつ正確に荷物やパレットの数を正確に把握したいという要請がある。

【0015】

図１の構成例では、トラック１の荷台には、荷物２が複数載置されたパレット３が複数段積載された状態で配置されている。トラック１の荷台におけるパレット３の種別は１種別とは限らないので、トラック１の荷台の荷物全体の画像を取得することで、複数種別のパレットの種別と枚数を把握する必要がある。

【0016】

パレット検出装置１０は、パレット３の画像を含む荷台全体の画像情報を取得し、予め保存しておいたパレットの画像情報と比較することにより、荷台全体の画像情報からパレットの画像を検出する。予め保存しておくパレットの画像情報としては、パレットの色や形状等のパレットの特徴を表すための情報が含まれる。

【0017】

予め保存しておくパレットの画像情報としては、パレットの種別毎に撮影した画像を保存しておいてもよいし、多数のパレットの画像情報を用いて学習させた画像情報を用いてもよい。パレット３の画像情報を含む荷台全体の画像情報から、パレットの色や形状等のパレットの特徴を表す情報を検出することで、トラック１の荷台におけるパレットの種別と枚数を把握することができる。

【0018】

ここで、トラックの荷台に積載されたパレット種別、枚数をカメラによる撮影画像から自動検出する際、トラック荷台の正面からの撮影画像を取得できる場合は、予め準備した学習用画像を用いて機械学習を行った画像情報を用いることで比較的容易にパレットを検出することができる。しかし、トラックバースでは、撮影スペースが限られているためトラック荷台に対して十分な撮影距離を確保出来ない事も多く、その場合は、トラック荷台全体の画像を取得するためにトラック荷台を斜めから撮影する事になり、撮影位置から離れたパレットの検出精度が低下する場合がある。

【0019】

本実施の形態のパレット検出装置１０は、トラックの荷台に対して角度の異なる２方向の位置から撮影を行い、角度の異なる２方向の位置から撮影した画像情報を正面画像になるように射影変換を行い、射影変換を行った２枚の画像において検出されたパレット位置において、パレット検出の信頼性が高いパレット情報をパレット検出結果として採用するように構成されている。

【0020】

トラック荷台に対して、角度の異なる２方向の位置から撮影した２つの画像情報を用いてパレット検出を行うことで、トラックバースのように撮影スペースが限られた場合であっても、カメラ撮影画像を用いてパレット種別と枚数を正確に把握する事が可能となる。

【0021】

＜パレット検出装置の構成＞
図２を用いて、パレット検出装置１０の構成を説明する。図２は、本発明の実施の形態におけるパレット検出装置の機能ブロックの一例である。

【0022】

パレット検出装置１０は、パレットの画像情報を含む荷台の画像情報を取得するための撮像部１１、撮像部１１で取得した画像の画像処理およびパレット検出およびパレット判定を行うための中央処理部１２、各種情報等を保存するための記憶部１６、撮影者が情報を入力するための入力部１７、パレットの画像の検出状況を表示するための表示部１８を備える。

【0023】

撮像部１１は、パレット３の画像を含む荷台全体の画像情報を取得するための撮像素子である。撮像部１１としては、荷台全体の画像情報からパレットの色や形状を検出するための汎用的なＲＧＢカメラを用いることができる。撮像部を備えたパレット検出装置１０としては、例えば、ＲＧＢカメラを搭載したデジタルカメラやスマートホン等を用いることができる。

【0024】

中央処理部１２は、撮像部１１で取得した画像からパレットを検出するパレット検出部１３、取得した画像の射影変換等の画像処理を行う画像処理部１４、検出されたパレット情報から信頼性の高いパレット情報を判定するパレット判定部１５として機能する。パレット検出装置１０は、ＣＰＵ、メモリ、および外部機器と接続するためのインタフェースを備えたコンピュータにより構成することができる。

【0025】

記憶部１６には、取得した荷台の画像情報と比較するためのパレットの画像情報やパレットの種別情報、位置情報、サイズ情報、及びパレット検出の信頼性係数等のパレット情報を記憶することができる。パレットの画像情報としては、パレットの色や形状等のパレットの特徴を表すための情報が含まれる。

【0026】

＜パレット情報の検出＞
図３は、本発明の実施の形態におけるパレット情報の検出方法を説明するための図である。図３の例では、荷台に対して左右の異なる角度から荷台の画像情報（Ａ、Ｂ、Ｃ、Ｄ）を取得し、取得した画像情報におけるパレット検出を行うとともに画像情報の射影変換を行う。

【0027】

図３では、荷台に対して左右の異なる角度から荷台の画像情報（Ａ、Ｂ、Ｃ、Ｄ）を取得し、左画像情報（第１の画像情報）及び右画像情報（第２の画像情報）と、予め登録されたパレットの画像情報を比較することにより、左画像情報及び右画像情報のぞれぞれの画像情報からパレットの画像情報を検出して、検出されたパレットの種別情報、位置情報、サイズ情報、及びパレット検出の信頼性係数を含むパレット情報を取得する。

【0028】

図３に例示したように、荷台の画像情報を取得する角度は、荷台の正面方向から左側及び右側の角度から取得するのが望ましい。特に、撮影可能な荷台からの距離が短い場合には、撮影位置から離れるほどパレット検出の信頼性が低下することが想定されるので、荷台の正面方向から左側及び右側のそれぞれの撮影位置から荷台全体の画像を取得して、左右の撮影位置で取得した２つの画像情報を用いてパレット検出を行うことで、より信頼性の高いパレット情報を取得することが可能となる。

【0029】

パレットの種別情報は、予め登録したパレットの色や形状等のパレットの特徴に基づいて特定する。パレットの位置情報は、取得した画像情報におけるパレットの相対的なピクセル位置情報であり、図３の荷台の画像情報（Ａ、Ｂ、Ｃ、Ｄ）におけるＡを原点としたＸＹ座標で表すことができる。パレットのサイズ情報も同様にして、取得した画像情報における相対的なピクセルのサイズ情報として表すことができる。

【0030】

パレット検出の信頼性係数は、取得した画像情報と予め登録したパレットの画像情報を比較した際の「色」、「形状」、「画像コントラスト」等における近似度を数値化したものである。例えば、［信頼性係数＝１］の場合が最も信頼性が高く、［信頼性係数＝０］の場合が最も信頼性が高い。

【0031】

トラックバースのように荷台の撮影スペースが限られている場合には、荷台に対して正面位置ではなく、斜め方向から荷台を撮影するので、図３に例示したように、画像情報がひずんだ状態で取得される。このような画像情報においてパレット画像を検出した場合、撮影位置から離れるほどパレット検出の信頼性が低下することが想定される。

【0032】

本実施の形態では、図３に示すように、荷台に対して角度の異なる２方向の位置から撮影を行い、撮影した左画像情報（第１の画像情報）及び右画像情報（第２の画像情報）を正面画像になるように射影変換を行って、所定の形状を有する画像情報（第３の画像情報及び第４の画像情報）を取得する。

【0033】

この射影変換に伴って、左画像情報（第１の画像情報）及び右画像情報（第２の画像情報）において検出されたパレットの位置情報、サイズ情報は、画像情報の射影変換に伴って変換される。

【0034】

本実施の形態では、射影変換を行うことにより取得した、左画像情報及び右画像情報に対応する画像情報（第３の画像情報及び第４の画像情報）におけるパレット位置において、パレット検出の信頼性が高いパレット情報を判定し、信頼性の高いパレット情報に基づいて荷台に積載されたパレットの種別と枚数を把握する。

【0035】

＜パレット情報の判定＞
図４は、本発明の実施の形態におけるパレット情報の検出結果を説明するための図である。図４は、図３において射影変換を行った２つの画像情報におけるパレット位置におけるパレット情報を記載したものである。

【0036】

図４において、ｘ、ｙは、パレットの座標位置、ｗ、ｈは、パレットのサイズ（幅と高さ）を表し、Δ（ｘ、ｙ）は、左右の画像情報における座標位置間のユークリッド距離、Δ（ｗ、ｈ）は、左右の画像情報におけるパレット画像の面積比率を表す。パレットの座標位置（ｘ、ｙ）及びパレットサイズ（ｗ、ｈ）は、画像情報の射影変換に伴って変換されたものである。

【0037】

本実施の形態では、左右の画像情報におけるパレットの座標位置及びパレットのサイズの差に基づいて、同一のパレット位置のパレットであると判定することができる。例えば、Δ（ｘ、ｙ）とΔ（ｗ、ｈ）が所定の閾値以下の場合に、同一のパレット位置のパレットであると判定するように構成してもよい。

【0038】

本実施の形態では、図４における同一のパレット位置のパレット情報のパレット信頼性係数を比較して、信頼性係数が高いパレット情報を判定し、信頼性係数の高いパレット情報に基づいて荷台に積載されたパレットの種別と枚数を把握する。例えば、パレット位置［Ｘ０、Ｙ０］では、信頼性係数が高い左画像のパレット情報が採用される。他のパレット位置においても同様である。図４の例では、パレット種別「緑」のパレットが、「２枚」、パレット種別「橙」のパレットが、「６枚」、パレット種別「青」のパレットが「２枚」検出されている。

【0039】

＜パレット検出装置の動作フロー＞
図５を用いて、パレット検出装置１０におけるパレット検出動作を説明する。図５は、本発明の実施の形態におけるパレット検出方法の動作フローの一例である。

【0040】

パレット検出装置１０の撮像部１１は、荷台に積載されたパレットの画像を異なる角度から撮像することにより、撮像角度の異なる左画像情報及び右画像情報を取得する（Ｓ１－１）。

【0041】

パレット検出装置１０のパレット検出部１３は、左画像情報及び右画像情報と、予め登録されたパレットの画像情報を比較することにより、左画像情報及び右画像情報のぞれぞれの画像情報からパレットの画像情報を検出して、検出されたパレットの種別情報、位置情報、サイズ情報、及びパレット検出の信頼性係数を含むパレット情報を取得する（Ｓ１－２）。

【0042】

パレット検出装置１０の画像処理部１４は、左画像情報及び右画像情報のぞれぞれの画像情報を射影変換することにより、所定の形状を有する画像情報を取得し、射影変換に伴って変換されたパレットの位置情報及びサイズ情報を取得する（Ｓ１－３）。

【0043】

パレット検出装置１０のパレット判定部１５は、射影変換された画像情報の位置合わせを行い、射影変換された画像情報における同一のパレット位置に積載されているパレット情報から、信頼性係数が高いパレット情報を判定する（Ｓ１－４、Ｓ１－５）。

【0044】

本実施の形態によれば、トラック荷台に対して、角度の異なる２方向の位置から撮影した２つの画像情報を用いてパレット検出を行い、２つの画像情報の射影変換を行った画像情報において信頼性係数の高いパレット情報を判定し、信頼性係数の高いパレット情報に基づいて荷台に積載されたパレットの種別と枚数を把握するので、トラックバースのように撮影スペースが限られた場合であっても、カメラ撮影画像を用いて荷台に積載されたパレット種別と枚数を正確に検出する事が可能となる。

【符号の説明】

【0045】

１…トラック、２…荷物、３…パレット、１０…パレット検出装置、１１…撮像部、１２…中央処理部、１３…パレット検出部、１４…画像処理部、１５…パレット判定部、１６…記憶部、１７…入力部、１８…表示部。

【図1】

【図2】

【図3】

【図4】

【図5】