特表2024-536485 | 知財ポータル「IP Force」

知財求人 - 知財ポータルサイト「IP Force」

▶ シーエイチイーピー　テクノロジー　プロプライエタリー　リミテッドの特許一覧

特表2024-536485パレット検査システムおよび関連する方法

書誌要約請求の範囲詳細な説明課題実施例実施するための形態図面の説明

目に優しい文字サイズ小中大 PDF Top

< >

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-10-04

(54)【発明の名称】パレット検査システムおよび関連する方法

(51)【国際特許分類】

G06T 7/00 20170101AFI20240927BHJP

G01N 21/95 20060101ALI20240927BHJP

【ＦＩ】

G06T7/00 610Z

G06T7/00 350B

G01N21/95 Z

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024522130

(86)(22)【出願日】2022-10-12

(85)【翻訳文提出日】2024-04-11

(86)【国際出願番号】 US2022077936

(87)【国際公開番号】W WO2023064786

(87)【国際公開日】2023-04-20

(31)【優先権主張番号】63/262,452

(32)【優先日】2021-10-13

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】18/045,579

(32)【優先日】2022-10-11

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】509270351

【氏名又は名称】シーエイチイーピーテクノロジープロプライエタリーリミテッド

(74)【代理人】

【識別番号】110001243

【氏名又は名称】弁理士法人谷・阿部特許事務所

(72)【発明者】

【氏名】クリストファージェイ．ゲロウ

(72)【発明者】

【氏名】クーラムスームロ

(72)【発明者】

【氏名】セルジオコネホ

【テーマコード（参考）】

2G051

5L096

【Ｆターム（参考）】

2G051AA07

2G051AB20

2G051CA04

2G051CA07

2G051DA06

5L096AA02

5L096AA06

5L096BA03

5L096CA05

5L096DA01

5L096FA06

5L096FA16

5L096FA64

5L096FA69

5L096GA34

5L096GA51

5L096GA55

5L096HA11

5L096JA22

5L096KA04

5L096MA07

(57)【要約】

パレット検査システムは、検査されるべきパレットを移動させるためのコンベヤを含む。パレットは、トップデッキおよびボトムデッキであって、それらの間に位置する複数の離間したサポートブロックによって分離されたトップデッキおよびボトムデッキを含み、トップデッキおよびボトムデッキを複数のサポートブロックに固定するために釘が使用される。カメラは、パレットがコンベヤ上で移動する際にパレットの画像を生成するように配置される。プロセッサは、カメラに結合され、処理のために画像を受信する。処理は、画像に対して第１のアルゴリズムを実行して、画像において見えるサポートブロックを有する画像にタグを付けることと、タグを付けた画像に対して第２のアルゴリズムを実行して、露出した先端を有する釘を検出することとを含む。

【特許請求の範囲】

【請求項1】

パレット検査システムであって、
検査されるべきパレットを移動させるように構成されたコンベヤであって、前記パレットは、トップデッキおよびボトムデッキであって、それらの間に位置する複数の離間したサポートブロックによって分離されたトップデッキおよびボトムデッキを含み、前記トップデッキおよび前記ボトムデッキを前記複数のサポートブロックに固定するために釘が使用される、コンベヤと、
前記パレットが前記コンベヤ上で移動される際の前記パレットの画像を生成するように配置された複数のカメラと、
前記複数のカメラに結合され、かつ、処理のために前記画像を受信するように構成されたプロセッサと、を備え、前記処理は、
前記画像に対して第１のアルゴリズムを実行して、前記画像において見えるサポートブロックを有する前記画像にタグ付けすることと、
前記タグ付けされた画像に対して第２のアルゴリズムを実行して、露出した先端を有する釘を検出することと、を含む、パレット検査システム。

【請求項2】

前記複数のカメラの前に配置された第１のセンサと、前記複数のカメラの後に配置された第２のセンサとをさらに備え、前記プロセッサは、
前記第１のセンサが作動されることに応答して、前記パレットの画像の第１のセットを受信し、かつ、
前記第２のセンサが作動されることに応答して、前記パレットの画像の第２のセットを受信するように構成された、請求項１に記載のパレット検査システム。

【請求項3】

前記第１のセンサおよび前記第２のセンサは、光電センサを含む、請求項２に記載のパレット検査システム。

【請求項4】

前記第１のアルゴリズムおよび前記第２のアルゴリズムは、露出した先端を有する釘がリアルタイムで検出されるように、前記プロセッサによって実行される、請求項１に記載のパレット検査システム。

【請求項5】

前記複数のサポートブロックは、一対の外側の列とその間の中央の列とを形成するように離間され、前記外側の列は、コーナーサポートブロックを含み、個々のカメラは、前記列のうちの１つの前記サポートブロックに焦点が合わせられ、他の列における前記サポートブロックには焦点が合っていない、請求項１に記載のパレット検査システム。

【請求項6】

前記複数のカメラは、第１および第２のカメラセットに分割され、前記第１のカメラセットは、前記パレット検査システムステーションの入口に向けられており、前記第２のカメラセットは、前記パレット検査システムステーションの出口に向けられている、請求項１に記載のパレット検査システム。

【請求項7】

前記第１のカメラセットは、前記複数のサポートブロックの前面斜視を提供し、前記第２のカメラセットは、前記複数のサポートブロックの背面斜視を提供し、前記第１のカメラセットおよび前記第２のカメラセットは、個々のサポートブロックの全側面についての画像を集合的に提供する、請求項６に記載のパレット検査システム。

【請求項8】

前記第１のカメラセットは、前記コンベヤの各側面に隣接するカメラを含み、前記第２のカメラセットは、前記コンベヤの各側面に隣接するカメラを含む、請求項６に記載のパレット検査システム。

【請求項9】

個々のカメラは、カラーカメラとして構成される、請求項１に記載のパレット検査システム。

【請求項10】

前記第１のアルゴリズムは、画像分類アルゴリズムを含み、前記第２のアルゴリズムは物体検出アルゴリズムを含む、請求項１に記載のパレット検査システム。

【請求項11】

前記画像分類アルゴリズムは、個々の画像を、
焦点の合っているサポートブロックに対応するブロック画像、
焦点の合っていないサポートブロックに対応するノンブロック画像、または、
焦点の合っているサポートブロックまたは焦点の合っていないサポートブロックの何れにも対応しない背景画像のうちの１つとして、
前記ブロック画像が前記画像分類アルゴリズムによってタグ付けされていることを伴って、分類するように構成される、請求項１０に記載のパレット検査システム。

【請求項12】

前記物体検出アルゴリズムは、個々のブロック画像内の前記サポートブロックの周りに境界ボックスを配置し、かつ、露出した釘の先端が検出されることに応答して、前記露出した釘の先端の周りに境界ボックスを配置するように構成される、請求項１１に記載のパレット検査システム。

【請求項13】

前記物体検出アルゴリズムは、露出した先端を有する釘に加えて、他の釘欠陥を検出するように構成され、前記他の釘欠陥は前記プロセッサによって無視される、請求項１１に記載のパレット検査システム。

【請求項14】

パレット検査ステーションを動作させるための方法であって、
検査されるべきパレットを移動させるためにコンベヤを動作させることであって、前記パレットは、トップデッキおよびボトムデッキであって、それらの間に位置する複数の離間したサポートブロックによって分離されたトップデッキおよびボトムデッキを含み、前記トップデッキおよびボトムデッキを前記複数のサポートブロックに固定するために釘が使用される、前記動作させることと、
前記パレットが前記コンベヤ上で移動される際に前記パレットの画像を生成するように配置された複数のカメラを動作させることと、
処理のために前記画像を受信することであって、前記処理は、
前記画像に対して第１のアルゴリズムを実行して、前記画像において見えるサポートブロックを有する前記画像にタグ付けすることと、
前記タグ付けされた画像に対して第２のアルゴリズムを実行して、露出した先端を有する釘を検出することと、を含む、方法。

【請求項15】

前記パレット検査ステーションは、前記複数のカメラの前に配置された第１のセンサと、前記複数のカメラの後に配置された第２のセンサとをさらに備え、前記方法は、
前記第１のセンサが作動されることに応答して、前記パレットの画像の第１のセットを受信することと、
前記第２のセンサが作動されることに応答して、前記パレットの画像の第２のセットを受信することと、をさらに含む、請求項１４に記載の方法。

【請求項16】

前記複数のサポートブロックは、一対の外側の列とその間の中央の列とを形成するように離間され、前記外側の列は、コーナーサポートブロックを含み、個々のカメラは、前記列のうちの１つの前記サポートブロックに焦点が合わせられ、他の列における前記サポートブロックには焦点が合っていない、請求項１４に記載の方法。

【請求項17】

前記第１のアルゴリズムは、画像分類アルゴリズムを含み、前記第２のアルゴリズムは、物体検出アルゴリズムを含む、請求項１４に記載の方法。

【請求項18】

【請求項19】

前記物体検出アルゴリズムは、個々のブロック画像内の前記サポートブロックの周りに境界ボックスを配置し、かつ、露出した釘の先端が検出されることに応答して、前記露出した釘の先端の周りに境界ボックスを配置するように構成される、請求項１７に記載の方法。

【請求項20】

物体検出アルゴリズムを訓練するための方法であって、
突出した釘および他の釘欠陥を有するパレットの画像のデータベースを作成することと、
前記データベースにおいて検出されるべき異なるカテゴリを定義することと、
検出されるべき前記異なるカテゴリに対応するデータベースにおける前記画像に注釈を付けることと、
前記注釈を付けた画像と検出されるべき前記異なるカテゴリとの間のマッピングを生成する関数を学習するために機械学習を使用してモデルを訓練することと、
前記モデルからの出力データを分析することと、
前記分析された出力データに基づいて前記モデルを最適化することと、を含む、方法。

【請求項21】

検出されるべき前記定義された異なるカテゴリは、サポートブロック、突出した釘、部分的に見える釘、折り曲げ固定された釘、支えなしで立っている釘、および、分裂したサポートブロックのうちの少なくとも１つを含む、請求項２０に記載の方法。

【請求項22】

前記注釈を付けることは、前記画像に現れる定義されたカテゴリそれぞれの周りに個別の境界ボックスを配置することを含む、請求項２０に記載の方法。

【請求項23】

物体検出アルゴリズムを動作させるための方法であって、
検査されるべきパレットの画像を受信することと、
突出した釘を有するパレットの注釈付き画像と検出されるべき他の釘欠陥との間のマッピングを生成する関数を学習するように訓練された機械学習モデルを実行することであって、前記注釈付き画像は、検出されるべき異なるカテゴリに対応する、前記実行することと、
検出されるべき前記異なるカテゴリに対応する前記受信された画像内の位置によって物体を識別することと、
前記受信された画像において検出された前記カテゴリの信頼度値を提供することと、
前記信頼度値に基づいて、突出した釘を有する前記パレットを識別することと、を含む、方法。

【請求項24】

位置によって物体を識別することは、前記物体の周りに境界ボックスを配置することを含む、請求項２３に記載の方法。

【請求項25】

前記信頼度値を提供すると共に、検出されたカテゴリのそれぞれにラベルを付けることをさらに含む、請求項２３に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

［0002］本発明は、パレット検査に関し、より具体的には、パレットの釘欠陥を決定することに関する。

【背景技術】

【0002】

関連出願
［0001］本願は、２０２１年１０月１３日に出願された米国仮出願第６３／２６２，４５２号の利益を主張するものであり、その全体が参照により本明細書に組み込まれる。

【0003】

［0003］木製パレットは、製造および倉庫業務において必要とされる様々なバルク商品および機器を輸送するために使用される。大量生産業において、パレットプールは、片方向パレットよりも業界全体のコスト低減を提供する。

【0004】

［0004］バルク商品および機器が、プールされたパレットからオフロードされた後、パレットは、パレット検査および修理施設に戻される。修理が大規模すぎる場合、損傷したパレットは廃棄される。それ以外の場合、損傷が軽微な場合、パレットは、サービスに戻る前に修理され塗装される。

【発明の概要】

【0005】

［0005］パレット検査システムは、検査されるパレットを移動させるためのコンベヤを含む。パレットは、それらの間に配置された間隔をあけたサポートブロックによって分離されたトップデッキおよびボトムデッキを含み、トップデッキおよびボトムデッキをサポートブロックに固定するために釘が使用される。複数のカメラが、パレットがコンベヤ上で移動されている際にパレットの画像を生成するように配置される。プロセッサが、複数のカメラに結合され、処理のための画像を受信する。処理は、画像に対して第１のアルゴリズムを実行し、その中に見えるサポートブロックを有する画像にタグを付けることと、タグを付けられた画像に対して第２のアルゴリズムを実行し、先端が露出した釘を検出することとを含む。

【0006】

［0006］パレット検査システムは、複数のカメラの前に配置された第１のセンサと、複数のカメラの後ろ配置された第２のセンサとをさらに含み得る。プロセッサは、第１のセンサが作動されることに応答して、パレットの画像の第１のセットを受信し、第２のセンサが作動されることに応答して、パレットの画像の第２のセットを受信するように構成され得る。

【0007】

［0007］第１および第２のセンサは、光電センサを備える。第１および第２のアルゴリズムは、先端が露出した釘をリアルタイムで検出するように、プロセッサによって実行され得る。

【0008】

［0008］複数のサポートブロックは、一対の外側の列およびそれらの間の中央の列を形成するように離間され、外側の列は、コーナーサポートブロックを含む。個々のカメラは、列の１つのサポートブロックに焦点が合わせられ得、他の列のサポートブロックには焦点が合わされない場合がある。

【0009】

［0009］複数のカメラは、第１および第２のカメラセットに分割され得、第１のカメラセットは、パレット検査システムの入口に向けられ、第２のカメラセットは、パレット検査システムの出口に向けられる。

【0010】

［0010］第１のカメラセットは、複数のサポートブロックの前面斜視を提供し得、第２のカメラセットは、複数のサポートブロックの背面斜視を提供し得、第１および第２のカメラセットは、個々のサポートブロックのすべての側面についての画像を集合的に提供する。

【0011】

［0011］第１のカメラセットは、コンベヤの側面それぞれに隣接するカメラを含み得、第２のカメラセットは、コンベヤの側面それぞれに隣接するカメラを含み得る。各カメラは、カラーカメラとして構成され得る。

【0012】

［0012］第１のアルゴリズムは、画像分類アルゴリズムを含み得、第２のアルゴリズムは、物体検出アルゴリズムを含み得る。

【0013】

［0013］画像分類アルゴリズムは、各画像を、焦点の合っているサポートブロックに対応するブロック画像、焦点の合っていないサポートブロックに対応するノンブロック画像、または、焦点の合っていないサポートブロックまたは焦点の合っていないサポートブロックの何れにも対応しない背景画像のうちの１つとして分類するように構成され得る。ブロック画像は、画像分類アルゴリズムによってタグ付けされ得る。

【0014】

［0014］物体検出アルゴリズムは、個々のブロック画像内のサポートブロックの周りに境界ボックスを配置し、露出した釘先端が検出されることに応答して、露出した釘先端の周りに境界ボックスを配置するように構成され得る。

【0015】

［0015］物体検出アルゴリズムは、先端が露出した釘に加えて、他の釘欠陥を検出するように構成され得、その他の釘欠陥はプロセッサによって無視される。

【0016】

［0016］別の態様は、上述のようなパレットを製造するための方法を対象とする。方法は、コンベヤを操作して検査されるパレットを移動させることを含み、パレットは、それらの間に配置された複数の離間したサポートブロックによって分離されたトップデッキおよびボトムデッキを含み、トップデッキおよびボトムデッキを複数のサポートブロックに固定するために釘が使用される。方法は、パレットがコンベヤ上で移動されている際にパレットの画像を生成するように配置された複数のカメラを操作することと、処理のための画像を受信することとをさらに含む。処理は、画像に対して第１のアルゴリズムを実行し、その中に見えるサポートブロックを有する画像にタグを付けることと、タグを付けられた画像に対して第２のアルゴリズムを実行し、先端が露出した釘を検出することとを含み得る。

【0017】

［0017］別の態様は、上述のような物体検出アルゴリズムを訓練するための方法を対象とする。方法は、突出した釘および他の釘欠陥を有するパレットの画像のデータベースを作成することと、データベースにおいて検出される異なるカテゴリを定義することと、検出される異なるカテゴリに対応するデータベース内の画像に注釈を付けることとを含む。モデルは、機械学習を使用して訓練され、注釈付き画像と検出される異なるカテゴリとの間のマッピングを生成する関数を学習する。方法は、モデルからの出力データを分析することと、分析された出力データに基づいてモデルを最適化することとをさらに含む。

【0018】

［0018］さらに別の態様は、上述したような物体検出アルゴリズムを動作させるための方法を対象とする。方法は、検査されるパレットの画像を受信することと、突出した釘を有するパレットの注釈付き画像と検出される他の釘欠陥との間のマッピングを生成する関数を学習するように訓練された機械学習モデルを実行することとを含む。注釈付き画像は、検出される異なるカテゴリに対応する。方法は、検出される異なるカテゴリに対応する受信画像における位置によって物体を識別することと、受信画像において検出されたカテゴリの信頼度値を提供することと、信頼度値に基づいて、突出した釘を有するパレットを識別することとをさらに含む。

【図面の簡単な説明】

【0019】

【図1】［0019］図１は、本開示の様々な態様が実装され得る木製パレットの上面斜視図である。

【図2】［0020］図２は、図１に示した木製パレットの底面斜視図である。

【図3】［0021］図３は、突出した釘を有する図１に示される木製パレットの部分断面図である。

【図4】［0022］図４は、本開示の様々な態様が実装され得るパレット検査システムのブロック図である。

【図5】［0023］図５は、木製パレットにおいて突出した釘を検出するための、図４に示される突出釘検出ステーションのより詳細なブロック図である。

【図6】［0024］図６は、画像分類アルゴリズムによってブロック画像、ノンブロック画像、または背景画像として分類された、図５に示される突出釘検出ステーションによって生成された画像である。

【図7】［0024］図７は、画像分類アルゴリズムによってブロック画像、ノンブロック画像、または背景画像として分類された、図５に示される突出釘検出ステーションによって生成された画像である。

【図8】［0024］図８は、画像分類アルゴリズムによってブロック画像、ノンブロック画像、または背景画像として分類された、図５に示される突出釘検出ステーションによって生成された画像である。

【図9】［0025］図９は、木製パレットにおいて突出した釘を検出するために図５に示される突出釘検出ステーションによって使用される例示的な物体検出アルゴリズムのブロック図である。

【図10】［0026］図１０は、図９に示される物体検出アルゴリズムを訓練するためのフロー図である。

【図11】［0027］図１１は、図９に示される物体検出アルゴリズムを訓練するために使用される注釈付き画像である。

【図12】［0027］図１２は、図９に示される物体検出アルゴリズムを訓練するために使用される注釈付き画像である。

【図13】［0027］図１３は、図９に示される物体検出アルゴリズムを訓練するために使用される注釈付き画像である。

【図14】［0028］図１４は、図９に示される物体検出アルゴリズムを動作させるためのフロー図である。

【図15】［0029］図１５は、図９に示される物体検出アルゴリズムからの画像出力である。

【図16】［0029］図１６は、図９に示される物体検出アルゴリズムからの画像出力である。

【図17】［0029］図１７は、図９に示される物体検出アルゴリズムからの画像出力である。

【図18】［0030］図４に示されるパレット検査システムを動作させるためのフロー図である。

【発明を実施するための形態】

【0020】

［0031］本明細書は、例示的な実施形態が示される添付の図面を参照して行われる。しかしながら、多くの異なる実施形態が使用され得、したがって、本明細書は、本明細書に記載された特定の実施形態に限定されるものとして解釈されるべきではない。むしろ、これらの実施形態は、本開示が徹底的かつ完全なものとなるように提供される。同様の番号は、全体を通して同様の要素を指す。

【0021】

［0032］パレットの釘欠陥は、特に釘欠陥が突出した釘である場合に懸念される。突出した釘とは、釘の先端が露出した場合である。パレットのフォームファクターは影響を受けないが、欠陥を修正できるように、パレットの検査中に突出した釘を検出する必要がある。

【0022】

［0033］典型的には、作業者が手動でパレットを取り扱う際に、作業者の手が、パレット上の１つ以上のポケット内に位置する。パレットの各側面は、それらの間に配置されたサポートブロックによって分離されたトップデッキとボトムデッキとの間に形成されたポケットを有する。釘が突出しているポケットの中に手を入れると、作業者が怪我をする可能性がある。

【0023】

［0034］図１から図３を参照して、例示的な木製パレット１０が説明される。木製パレット１０は、木製パレット１０内の一般的な釘の配置に関する議論のためのものである。図示される木製パレット１０は、他の木製パレット構成が容易に利用可能であるため、限定的ではない。

【0024】

［0035］木製パレット１０は、ボトムデッキ２０、トップデッキ３０、および、ボトムデッキとトップデッキとの間に結合された複数の木製サポートブロック４０、４６を含む。サポートブロック４０、４６は、フォークリフトの先端のような持ち上げ部材（lifting member）を受け入れるために、ボトムおよびトップデッキ２０、３０の間にギャップ５０（すなわち、ポケット）を形成する。

【0025】

［0036］トップデッキ３０は、間隔をあけて配置された一対の木製エンドデッキボード３２と、エンドデッキボード３２の間に配置された木製中間デッキボード３４とを含む。また、トップデッキ３０内には、間隔をあけて配置された一対の木製コネクタボード３６と、木製中間コネクタボード３７とが含まれる。コネクタボード３６および中間コネクタボード３７は、エンドデッキボード３２および中間デッキボード３４と直交する。エンドデッキボード３２および中間デッキボード３４は、コネクタボード３６上に配置され、釘７０を介してサポートブロック４０、４６に直接結合される。

【0026】

［0037］ボトムデッキ２０は、トップデッキ３０のエンドデッキボード３２および中間デッキボード３４と同じ方向に配向されたボトムデッキボード２２、２６を含む。ボトムデッキボード２２、２６はまた、釘７０を介してサポートブロック４０、４６に直接結合される。

【0027】

［0038］サポートブロックは、コーナーサポートブロック４０と、コーナーサポートブロック４０の間のセンターサポートブロック４６とを含む。３列に配置された合計９つのサポートブロック４０、４６が存在する。外側の列はそれぞれ、一対のアウターサポートブロック４０および単一のセンターサポートブロック４６を含み、センター列はすべてのセンターサポートブロック４６を含む。サポートブロックの実際の数は、木製パレット１０の構成およびサイズに基づいて変化し得る。

【0028】

［0039］コーナーサポートブロック４０およびセンターサポートブロック４６は、それぞれ長方形状を有する。他の構成において、サポートブロック４０、４６のうちの１つまたは複数は、円形のような非長方形状を有し得る。

【0029】

［0040］木製パレット１０の部分断面図が、サポートブロック４０、４６内の釘７０の配置を示すために図３に提供される。木製パレット１０が形成される際、釘は、ボトムおよびトップデッキ２０、３０からサポートブロック４０、４６に入る。

【0030】

［0041］突出した釘８０は、釘作業者が釘７０を中心から外して配置し、先端７２が露出する場合に発生し得る。突出した釘８０は、釘７０が既存の釘の位置に打ち込まれ、既存の釘から跳ね返って先端７２が露出する場合にも発生する。また、木製パレット１０の磨耗や破損により、サポートブロック４０、４６の一部が破損し、釘の先端７２が露出する場合もある。突出した釘８０は、サポートブロック４０、４６から突出することに限定されない。突出した釘８０は、例えば、コネクタボード３６の１つから突出するように、パレット１０の他の領域またはエリアから突出することもある。

【0031】

［0042］木製パレット１０内の突出した釘８０を検出することはチャレンジングである。以下において詳細に説明するように、カメラは、検査中に個々の木製パレット１０の画像を収集するために使用される。画像は、処理のために処理ユニットに送信される。処理ユニットは、突出した釘８０を検出するように訓練された機械学習物体検出アルゴリズムを実行する。アルゴリズムがどのように訓練され実行されるかについても、以下において詳細に説明する。処理ユニットは、例えば、グラフィックスプロセシングユニット（ＧＰＵ）、セントラルプロセシングユニット（ＣＰＵ）、または、エッジコンピューティングデバイスであり得る。

【0032】

［0043］パレット検査システム１４０の概要は、図４を参照して説明される。異なる顧客からのプールされたパレット１０は、パレット１０をサービスに戻す前に、検査のためにパレットプーリング会社に返却され、必要に応じて修理される。

【0033】

［0044］検査の前に、パレット１０は、スタックインフィード１５２に提供される。スタックインフィード１５２は、ティッパー／アキュムレータ１５４に引き渡される前に、パレットの個々のスタックを整列する。ティッパー／アキュムレータ１５４は、例えば、間隔をあけたパレット１０の安定した流れをコンベヤに提供する。パレット１０がコンベヤ上で移動すると、それらは準備スクリーニングライン１５６を通過する。

【0034】

［0045］準備スクリーニングライン１５６において、個々のパレット１０は、人間のオペレータによって目視検査され、検査に影響を与え得る外れた破片またはゴミを除去する。必要に応じて、人間のオペレータもマイナーな修理を行うであろう。幾つかケースにおいて、ブロック１５８によって示されるように、パレット１０は、あまりにもひどく損傷している場合、準備スクリーニングライン１５６の間において廃棄され得る。

【0035】

［0046］準備スクリーニングライン１５６から、個々のパレット１０は、検査のために突出釘検出ステーション１４０に移動される。パレット１０は、パレット分類のために検査され、突出した釘８０を検出する。

【0036】

［0047］突出釘検出ステーション１６０によるパレット分類は、検査されているパレット１０が、パレット検査システム１４０を操作するパレットプーリング会社に属しているかどうかを決定することである。突出釘検出ステーション１６６内のカメラ１６２の第１のセットは、各パレット１０の上部および下部の画像を生成する。画像は、ビデオ画像または静止画像であり得る。画像は、カラーまたはモノクロであり得、処理ユニット１７０に提供される。処理ユニット１７０は、パレット分類１７２のための第１のアルゴリズムを実行する。第１のアルゴリズムは、例えば、機械学習（ＭＬ）画像分類アルゴリズムであり得る。

【0037】

［0048］画像分類アルゴリズムは、生成された画像データを、期待されたプロファイルと比較する。期待されたプロファイルは、パレット分類のために使用される。画像分類アルゴリズムは、パレット１０がパレットプーリング会社に属するかどうかについて、個々の画像にラベル付けまたはタグ付けする。例えば、パレット１０の７５枚の画像が生成され、かつ、これらの画像の大部分がパレットプーリング会社に属するものとしてタグ付けされた場合、パレット１０はそのように分類される。

【0038】

［0049］カメラ１６２の第１のセットに関連付けられた画像分類アルゴリズムはまた、隆起した釘、および、支えなしで立っている釘（free standing nails）といった、特定の明白な釘欠陥を検出し得る。隆起した釘では、釘の頭部がトップデッキの上に少しけ伸びる。隆起した釘は、パレットに配置された製品に潜在的に影響を与え得る。支えなしで立っている釘では、釘の頭部と本体は見えるが、先端は見えない。

【0039】

［0050］突出釘検出ステーション１６０による突出した釘の検出は、パレット１０において突出した釘８０を決定することである。突出釘検出ステーション１６０内のカメラ１６４の第２のセットは、個々のパレット１０の側面の画像を生成する。画像はカラーであり、処理ユニット１７０に提供される。代替的に、画像はモノクロであってもよい。処理ユニット１７０は、突出した釘８０を検出するために訓練された第２のアルゴリズムを実行する。第２のアルゴリズムは、例えば、機械学習（ＭＬ）物体検出アルゴリズムであり得る。

【0040】

［0051］パレットソートライン１８０は、突出釘検出ステーション１６０を出るときにパレット１０を受け入れる。パレットソートライン１８０は、処理ユニット１７０に問い合わせて、パレット分類を決定する。検査されたパレット１０がパレット検査システム１４０を操作するパレットプーリング会社に属していない場合、パレット１０は廃棄ライン１８２に送られる。

【0041】

［0052］図示された実施形態において、突出釘検出ステーション１６０は、カメラ１６２、１６４の第１および第２のセットを含む。代替の実施形態において、カメラは、パレット分類に使用されるカメラの同じセットが、突出した釘の検出にも使用されるように組み合わされ得る。つまり、カメラは相互排他的ではない。

【0042】

［0053］代替的に、検査されたパレット１０がパレット検査システム１４０を操作するパレットプーリング会社に属する場合、パレットソートライン１８０は、処理ユニット１７０に問い合わせて、パレット１０が良好であるか不良であるかを決定する。

【0043】

［0054］検査されたパレット１０が不良である場合、これは、パレットが修理を必要とし、修理ライン１８４に送られることを意味する。修理後、パレット１０は、サービスに戻される前に、塗装のために塗装ライン１８６に送られる。検査されたパレット１０が良好である場合、これは、パレットが修理を必要とせず、代わりにサービスに戻される前に塗装ライン１８６に送られることを意味する。

【0044】

［0055］図５を参照して、突出した釘７０を検出するための突出釘検出ステーション１６０の動作が説明される。コンベヤ１０５は、図示された矢印の方向に、突出釘検出ステーション１６０を通してパレット１０を移動させる。コンベヤ１０５は、突出釘検出ステーション１６０の入口に第１のセンサ１１０を含み、突出釘検出ステーション１６０の出口に第２のセンサ１１２を含む。他の実施形態では、単一のセンサが使用されてもよい。第１および第２のセンサ１１０、１１２は、例えば、光電センサとして構成され得る。各光電センサは、コンベヤ１０５の対向する側に送信機および受信機を含む。送信機は、可視または赤外線であり得る光信号を受信機に送信する。パレット１０は、光ビームが送信機から受信機に到達することをブロックされた場合に検出される。

【0045】

［0056］第１および第２のセンサ１１０、１１２からの出力は、コントローラ１３０に提供される。第１および第２のセンサ１１０、１１２から出力を受信したことに応答して、コントローラ１３０は、パレットがコンベヤ１０５上で移動されている際に、カメラ１６４の第２のセットをトリガするように構成される。カメラ１６４の第２のセットは、第１のカメラセット１６４（１）、１６４（２）および第２のカメラセット１６４（１）、１６４（２）に分割される。

【0046】

［0057］第１のカメラセット１６４（１）、１６４（２）のカメラは、第１のセンサ１１０によってトリガされる。第１のセンサ１１０がパレット１０の到着を検出することに応答して、パレット１０の経路における第１のストッパー１１１は、コンベヤ１０５の下に落とされ、パレット１０が突出釘検出ステーション１６０に入ることを許容する。パレット１０が突出釘検出ステーション１６０に入ると、コントローラ１３０は、第１のカメラセット１６４（１）、１６４（２）におけるカメラを作動またはトリガして、処理のために画像を処理ユニット１７０に提供する。

【0047】

［0058］第１のカメラセット１６４（１）、１６４（２）によって生成された画像は、パレット１０についてＧＰＵ１７０によって受信された全体的な画像のサブセットである。処理ユニット１７０によって受信された残りの画像は、第２のカメラセット１６４（３）、１６４（４）によって生成される。

【0048】

［0059］第１のカメラセット１６４（１）、１６４（２）のカメラは、サポートブロック４０、４６の前面斜視を見るように配置される。第２のカメラセット１６４（３）、１６４（４）のカメラは、サポートブロック４０、４６の背面斜視を見るように配置される。集合的に、組み合わされた画像は、個々のサポートブロック４０、４６のすべての側面である。

【0049】

［0060］第２のカメラセット１６４（３）、１６４（４）のカメラは、第２のセンサ１１２によってトリガされる。パレット１０が出ることを第２のセンサ１１２が検出することに応答して、パレット１０の経路内の第２のストッパー１１３が、コンベヤ１０５の下に落下され、パレット１０が突出釘検出ステーション１６０を出ることを許容する。パレット１０が突出釘検出ステーション１６０を出ると、コントローラ１３０は、第２のカメラセット１６４（３）、１６４（４）におけるカメラを作動またはトリガして、処理のために画像を処理ユニット１７０に提供する。

【0050】

［0061］２つの異なるトリガを有することは、サポートブロック４０、４６の画像の完全なセットが取得されることを保証する。第１および第２のカメラセット１６４（１）－１６４（４）が単一の光電センサによって同時にトリガされ、コンベヤ１０５が詰まってパレット１０が動かなくなった場合、サポートブロック４０、４６の背面斜視図上の画像は、処理ユニット１７０に提供されないであろう。

【0051】

［0062］第１のカメラセット１６４（１）、１６４（２）は６台のカメラを含み、第２のカメラセット１６４（３）、１６４（４）もまた、６台のカメラを含む。カメラの半分は、コンベヤ１０５の両側にある。１２台のカメラが使用されているが、他の実施形態において、異なる数のカメラが使用されてもよい。

【0052】

［0063］個々のパレット１０におけるサポートブロック４０、４６は、一対の外側の列およびそれらの間の中央の列を形成するように離間される。図示されたパレットは、個々行において３つのサポートブロック４０、４６を有する９つのサポートブロック４０、４６を含む。個々の列は、コンベヤ１０５と平行である。外側の列のそれぞれは、一対のコーナーサポートブロック４０およびセンターサポートブロック４６を含む。中央の列は、センターサポートブロック４６のみを含む。

【0053】

［0064］第１および第２のカメラセット１６４（１）－１６４（４）における個々のカメラは、サポートブロックの特定の列に焦点が合わせられる。例えば、カメラグループ１６４（１）は、３つのカメラを含む。第１のカメラは、カメラグループ１６４（１）に最も近いサポートブロック４０、４６の外側の列に焦点が合わせられる。第２のカメラは、サポートブロック４６の中央の列に焦点が合わせられる。第３のカメラは、カメラグループ１６４（１）から最も遠いサポートブロック４０、４６の外側の列に焦点が合わせられる。同様に、コンベヤ１０５の反対側のカメラグループ１６４（２）における個々のカメラは、サポートブロック４０、４６の特定の列に焦点が合わせられる。

【0054】

［0065］上述したように、第１のカメラセット１６４（１）、１６４（２）のカメラは、サポートブロック４０、４６の前面斜視を見るように配置される。典型的には、特定の行のサポートブロック４０、４６に焦点が合わせられている場合に、カメラグループ１６４（１）、１６４（２）の６つのカメラ間には遅延がある。

【0055】

［0066］個々のカメラに最も近いサポートブロック４０、４６の外側の列に焦点が合わせられた一対のカメラは、最初に焦点が合わせられる。この一対のカメラは、パレット１０の到着を検出する第１のセンサ１１０に応答して直ちにトリガされ得る。センターサポートブロック４６がカメラからさらに離れているため、次に、サポートブロック４６の中央の列に焦点が合わせられた一対のカメラが焦点を合わせる。結果的に、この一対のカメラは、例えば、画像を生成するためにコントローラ１３０によってトリガされる前に、２５ミリ秒遅延され得る。最も遠いサポートブロック４０、４６の外側の列に焦点が合わせられたカメラの対は、カメラから最も遠いため、中央の列のサポートブロック４６が焦点を合わせられた後に焦点が合わせられる。結果的に、この一対のカメラは、例えば、画像を生成するためにコントローラ１３０によってトリガされる前に、５０ミリ秒遅延され得る。カメラがトリガされて処理ユニット１７０に画像が提供されると、トリガは所定の期間継続する。所定の期間は、例えば、３から４秒の間であってよく、コンベヤ１０の速度に基づいて変化してもよい。

【0056】

［0067］第２のカメラセット１６４（３）、１６４（４）におけるカメラは、第１のカメラセット１６４（１）、１６４（２）におけるカメラと同様に構成される。第２のカメラセット１６４（３）、１６４（４）における個々のカメラは、同様に、サポートブロックの特定の列に焦点が合わせられる。上述のように、第２のカメラセット１６４（３）、１６４（４）のカメラは、サポートブロック４０、４６の背面斜視を見るように配置される。

【0057】

［0068］突出釘検出ステーション１６０からパレット１０が出ることを第２のセンサ１１２が検出することに応答して、コントローラ１３０は、個々のカメラに最も近いサポートブロック４０、４６の外側の列に焦点が合わせられた一対のカメラを直ちにトリガし得、サポートブロック４６の中央の列に焦点が合わせられたカメラの対、および、個々のカメラから最も遠いサポートブロック４０、４６の外側の列に焦点が合わせられたカメラの対のトリガを遅らせ得る。

【0058】

［0069］受信画像から突出した釘８０を検出する処理ユニット１７０の動作は、２ステップのプロセスである。第１のステップは、カメラのうちの１つが焦点を合わせられているサポートブロック４０、４６を有する画像を決定することである。第２のステップは、その中に焦点の合っているサポートブロック４０、４６を有する画像のみを、突出した釘８０について分析することである。

【0059】

［0070］焦点の合っているサポートブロックを有する画像を決定するための合理的な理由は、釘７０がサポートブロック４０、４６に打ち込まれるため、突出した釘８０がサポートブロック４０、４６に隣接するであろうということである。突出した釘８０のために分析される画像の数は、第１のステップによって大幅に減少する。

【0060】

［0071］個々のカメラは、パレット１０あたり約４０個の画像を生成し得る。１２台のカメラを使用すると、これはパレットあたり約４８０枚の画像に相当する。生成される画像の実際の数は可変であり、或る配備場所から別の配備場所によって変更可能である。処理ユニット１７０は、４８０枚の画像に対して第１のアルゴリズムを実行する。第１のアルゴリズムは、例えば、画像分類アルゴリズム１３２であり得る。画像分類アルゴリズム１３２は、人工知能（ＡＩ）および機械学習（ＭＬ）を使用して訓練され、それらの中において焦点の合っているサポートブロック４０、４６を有する画像を決定する。

【0061】

［0072］画像がその中に焦点の合っているサポートブロック４０、４６を有する場合、画像分類アルゴリズム１３２によってタグ付けされる。画像分類アルゴリズム１３２は、第２のセットのカメラ１６４によって処理ユニット１７０に提供される画像のプレフィルタとして機能する。

【0062】

［0073］タグ付き画像は、例えば、物体検出アルゴリズム１３４であり得る第２のアルゴリズムに提供される。タグ付けされていない画像は、物体検出アルゴリズム１３４に渡されない。一例として、４８０枚の画像のうち、画像の約半分から３分の１はタグ付けされないかもしれない。

【0063】

［0074］物体検出アルゴリズム１３４の実行は、画像分類アルゴリズム１３２の実行よりも計算的により広範である。物体検出アルゴリズム１３４によって実行される画像の数を減らすことは、突出した釘８０を決定するための全体的な処理を簡素化する。

【0064】

［0075］画像分類アルゴリズム１３２は、個々の画像をブロック画像、ノンブロック画像、または、背景画像として分類するように訓練される。ブロック画像は、焦点の合っているサポートブロック４０、４６に対応する。ノンブロック画像は、焦点がずれたサポートブロック４０、４６に対応する。背景画像は、焦点の合っているサポートブロック４０、４６、または、焦点が合っていないサポートブロック４０、４６の何れにも対応しない。

【0065】

［0076］図６－図８を参照して、突出釘検出ステーション１６０によって生成された画像であって画像分類アルゴリズム１３２によって分類された画像が説明される。図６の画像２００は、サポートブロック４０に焦点が合っているため、ブロック画像である。図７の画像２０２は、サポートブロック４０に焦点が合っていないため、ノンブロック画像である。図８の画像２０４は、焦点の合っている、または焦点の合っていないサポートブロックが見えないため、背景画像である。背景画像は、典型的には、パレット１０が最初に突出釘検出ステーション１６０に到着した時、および、パレット１０が突出釘検出ステーション１６０を出た時に生成される。

【0066】

［0077］画像分類アルゴリズム１３２は、パーセンテージを使用して個々の画像を分類する。分類パーセンテージは、パレット１０がコンベヤ１０５上で移動するにつれて変化する。分類パーセンテージは、個々の画像に対して表示され、合計１００％になる。パーセンテージ数は、画像分類アルゴリズム１３２によって、３つの可能な分類のそれぞれに割り当てられる。例えば、７５％のような閾値を超える分類パーセンテージに応答して、画像分類アルゴリズム１３２は、それに応じて画像を分類する。

【0067】

［0078］画像２００では、ブロック画像としての分類は１００％であるが、ノンブロック画像または背景画像としての分類はそれぞれ０％である。画像２０２では、９９．９５１１％としてノンブロック画像に分類されるのに対し、ブロック画像として分類されるのは０．０３３３％であり、背景画像として分類されるのは０．０１５６％である。画像２０４では、８２．７９６％として背景画像に分類されるのに対し、ノンブロック画像として分類されるのは１７．０８６７％であり、ブロック画像として分類されるのは０．１１７３％である。この画像２０４において、パレット１０は、突出釘検出ステーション１６０を出る際に部分的に見える。

【0068】

［0079］焦点の合っているサポートブロック４０、４６を有するタグ付き画像は、一般に、タグ付き画像２００と称される。これらの画像は、処理のために物体検出アルゴリズム１３４に渡される。画像にタグを付ける代わりに、物体検出アルゴリズム１３４は、タグ付き画像２００内の物体を見つけるように訓練される。配置される物体は、サポートブロックであり、サポートブロックと重なる目に見える釘である。目に見える釘７０は、突出した釘８０であってもよく、または釘の本体は見えるが先端は見えない釘７０であってもよい。

【0069】

［0080］以下において説明されるように、物体検出アルゴリズム１３４は、検出される幾つかの異なるカテゴリを含む注釈付き画像を使用して訓練され、個々のカテゴリは、検出され見つけられる特定のタイプの物体に対応する。異なるカテゴリを学習することによって、物体検出アルゴリズム１３４は、修正されるべき突出釘と、修正される必要のない他のタイプの釘欠陥とを区別することができる。異なるカテゴリは、物体検出アルゴリズム１３４にコンテキストの詳細を提供する。

【0070】

［0081］物体検出アルゴリズム１３４は、人工知能（ＡＩ）および機械学習（ＭＬ）に基づいて動作して、その中に焦点が合わせられたサポートブロック４０、４６を有する画像２００内の物体を決定し得る。一例において、物体検出アルゴリズム１３４は、図９に示されるように、シングルショット検出器（ＳＳＤ）２１０であり得る。他のタイプの物体検出器は、図示されたＳＳＤ２１０の代替として使用され得る。ＳＳＤ２１０では、画像２００の単一のショットのみを撮影して画像２００内の複数の物体を検出する。ＳＳＤ２１０は、突出する釘８０を検出するように修正されたオープンソースアルゴリズムである。

【0071】

［0082］ＳＳＤ２１０は、概して、ベースＶＧＧ－１６ネットワーク２１２、続いてマルチボックス畳み込み層２１４、２１６を有する。ベースＶＧＧ－１６ネットワーク２１２は、画像２００内の特徴を抽出するために使用される。畳み込み層２１４は、検出のためのものであり、畳み込み層２１６は、これらの層のサイズが漸進的に減少するため、複数のスケールでの物体検出を支援する。検出のための畳み込みモデルは、特徴層ごとに異なる。

【0072】

［0083］マルチボックス畳み込み層２１４、２１６は、ネットワークの後段からの複数の特徴マップに適用される。これは、複数のスケールで検出を実行するのに役立つ。画像２００内の境界ボックスの予測および異なる物体の信頼度は、１つによってではなく、複数のスケールを表す異なるサイズの複数の特徴マップによって行われる。

【0073】

［0084］突出した釘を検出する問題は、異なる方法で対処することが可能である。１つの方法は、以下において説明されるように、境界ボックスを使用して物体検出を使用することである。別の方法では、画素をセグメント化するセグメンテーションアプローチを使用して、画像内の突出した釘画素の輪郭を画定し得る。さらに別の方法では、アルゴリズムが、境界ボックスおよびセグメンテーション画素の両方を使用して領域を検出するように訓練され得る。

【0074】

［0085］ここで、図１０のフロー図２５０を参照して、物体検出アルゴリズム１３４の訓練について説明する。最初から（ブロック２５２）、突出した釘７０および他の釘欠陥を有するパレット１０の画像のデータベースがブロック２５４において作成される。パレット１０の数は、例えば、１００個以上のように、かなり大きくてもよい。個々のパレット１０についての全１２台のカメラからの画像が収集され、データベースに格納される。個々のパレット１０には、約４８０枚の画像が関連付けられる。

【0075】

［0086］検出されるべき異なるカテゴリは、ブロック２５６において定義される。これらのカテゴリには、サポートブロック、突出した釘、部分的に見える釘、折り曲げ固定された釘（clinched nails）、支えなしで立っている釘、および、破片（splinters）が含まれる。他のタイプのカテゴリは、物体検出アルゴリズム１３４が突出した釘８０を検出することを助けるように定義され得る。

【0076】

［0087］データベース内の画像は、ブロック２５８において注釈付けされて、検出されるべき異なるカテゴリを反映する。個々の画像は、手動でレビューされ、画像が物体検出アルゴリズム１３４によって検出されるカテゴリを有する場合、画像は境界ボックスで注釈付けされ、それに応じてラベル付けされる。

【0077】

［0088］注釈が付けられた例示的な画像は、図１１－図１３において提供される。緑色の境界ボックス２０２は、個々のサポートブロック４０、４６の周りに配置される。突出した釘８０には、赤色の境界ボックス２０４が使用される。検出された釘が突出した釘ではないことに応答して、黄色の境界ボックスが使用される。図１２において、例えば、黄色の境界ボックス２０６は、釘の本体は見えるが先端は見えない釘７０の周りに配置される。図１３のサポートブロック４０は分裂しており、一対の突出した釘８０が見える。

【0078】

［0089］分裂したサポートブロックの検出は役に立つ。時には、分裂したサポートブロックと着色された釘とを区別しにくいことがある。通常、釘は、灰色／ブロック色で表示される。しかしながら、分裂したサポートブロックが早期に検出されずにパレットが塗装に送られた場合、露出した釘はブロックと同じ色に塗装される。

【0079】

［0090］釘欠陥および分裂したサポートブロックを検出することに加えて、画像は、他のタイプの欠陥を識別するために注釈付けされ得る。画像は、例えば、パレット１０上に残るステッカーおよびストレッチ包装を検出するために注釈付けされ得る。通常、個々のパレット１０は、人間のオペレータによって目視検査され、検査に影響を与える可能性のある外れた破片またはゴミを除去する。ステッカーおよび収縮包装の検出を追加することは、個々のパレット１０の目視検査中に捕捉されない可能性のある領域を識別する助けになる。

【0080】

［0091］モデルは、機械学習を使用してブロック２６０において訓練され、注釈付き画像と、検出されるべき異なるカテゴリとの間のマッピングを生成する関数を学習する。幾つかの実施形態において、機械学習は、モデルを訓練するためのニューラルネットワークに基づき得る。他の実施形態において、ニューラルネットワークは、モデルを訓練するために使用されない。ニューラルネットワークベースのモデル／アルゴリズム、または、別のタイプの非ニューラルネットワークベースのモデル／アルゴリズムが使用され得るので、我々は単一または一組のアルゴリズムに限定されない。

【0081】

［0092］モデルからの出力データは、ブロック２６２において分析される。モデルは、分析された出力データに基づいて、ブロック２６４において最適化される。本方法は、ブロック２６６において終了する。

【0082】

［0093］ここで、図１４のフロー図３００を参照して、物体検出アルゴリズム１３４を操作することについて説明する。開始（ブロック３０２）から、検査されるべきパレット１０の画像がブロック３０４において受信される。画像は、画像分類アルゴリズム１３２によって、その中において焦点が合っているサポートブロック４０、４６を有するとしてタグ付けされた画像２００である。

【0083】

［0094］ブロック３０６において、方法は、突出した釘８０を有するパレット１０の注釈付き画像と、検出されるべき他の釘欠陥との間のマッピングを生成する関数を学習するように訓練された機械学習モデルを実行することを含む。注釈付き画像は、上述したように、検出されるべき異なるカテゴリに対応する。

【0084】

［0095］画像２００内において検出されるべき異なるカテゴリに対応する検出された物体は、ブロック３０８において位置によって識別される。境界ボックスは、識別された個々の物体の周りに配置される。検出された物体を有する例示的な画像は、図１５－図１７において提供される。

【0085】

［0096］図１５の画像３２０において、境界ボックス３３０は、サポートブロック４６の周りに配置される。木材の塊が取り除かれたにもかかわらず、サポートブロック４６が検出されている。突出した釘８０については、別個の境界ボックス３３２、３３４が使用される。同様に、図１６の画像３２２において、境界ボックス３３６は、分裂したサポートブロック４６の周りに配置される。突出した釘８０については、別個の境界ボックス３３８、３４０が使用される。

【0086】

［0097］別の例として、図１７の画像３２４において、境界ボックス３４２が、分裂したサポートブロック４６の周りに配置される。先端が露出している部分において一対の折り曲げ固定された釘７１が検出されている。この場合、境界ボックス３４４、３４６が、折り曲げ固定された釘７１の周りに配置される。釘７０の本体は画像３２４内において見えるが、釘の先端が露出していないため、この釘は無視される。

【0087】

［0098］個々の境界ボックスについて、画素単位の位置は、物体検出アルゴリズム１３４によって決定される。例えば、図１５の画像３２０は、１，０００画素×１，０００画素である。例えば、０，０座標は、画像３２０の左下である。サポートブロック４６の周りの境界ボックス３３０のｘ軸は２５０画素において始まり、かつ、境界ボックス３３０のｙ軸は１００画素において始まる。そして、境界ボックス３３０の幅および高さが決定される。

【0088】

［0099］同様に、突出した釘８０を示す境界ボックス３３４について、ｘ軸は７２０画素において始まり、かつ、境界ボックス３３４のｙ軸は１１０画素において始まる。そして、境界ボックス３３４の幅および高さが決定される。これは、境界ボックスごとに実施される。

【0089】

［00100］この方法は、受信された画像３２２、３２２、３２４において検出されたカテゴリについて、ブロック３１０において信頼度値を提供することをさらに含む。個々のサポートブロックの信頼度値は９９％である。信頼度値はまた、それに関連付けられた検出カテゴリを有する。作業「ブロック」は、サポートブロック４０、４６を示すために使用される。

【0090】

［00101］「突出した釘」ラベルおよび検出された個々の突出した釘の信頼度値もまた提供される。物体検出アルゴリズム１３４が個々の画像を文脈的に観察するように訓練されている場合、突出した釘８０は、典型的には高い信頼度値を有する。例において、信頼度値は、８７％から９９％の範囲である。画像３２４内の折り曲げ固定された釘７１に対しては、「折り曲げ固定された釘」ラベルおよび信頼度値が提供される。

【0091】

［00102］突出した釘８０を有するパレット１０は、ブロック３１２における信頼度値に基づいて識別される。信頼度値が７５％といった閾値を超える場合、個々の境界ボックスは、それに応じてラベル付けされる。

【0092】

［00103］別の態様は、上述したようにパレット検査システム１４０を動作させるための方法を対象とする。ここで、図１８のフロー図３５０を参照すると、開始（ブロック３５２）から、方法は、ブロック３５４においてコンベヤ１０５を動作させて検査されるべきパレット１０を移動させることを含む。上述したように、パレット１０は、間に位置する複数の離間したサポートブロック４０、４６によって分離された、トップデッキ３０とボトムデッキ２０とを含む。釘７０は、トップおよびボトムデッキ３０、２０をサポートブロック４０、４６に固定するために使用される。

【0093】

［00104］コンベヤ１０５に隣接して配置されたカメラ１６２、１６４は、パレット１０がコンベヤ１０５上で移動されている際にパレット１０の画像を生成するために、ブロック３５６において操作される。画像は、ブロック３５８において処理ユニット１７０によって処理のために受信される。

【0094】

［00105］処理は、ブロック３６０において第１のアルゴリズム１３２を画像に対して実行して、その中に見えるサポートブロック４０、４６を有する画像にタグを付けることを含む。ブロック３６２において、第２のアルゴリズム１３４がタグ付き画像に対して実行されて、露出した先端７２を有する釘７０を検出する。第１のアルゴリズム１３２は、画像分類アルゴリズムであり、第２のアルゴリズム１３４は、物体検出アルゴリズムである。

【0095】

［00106］多くの変形および他の実施形態が、前掲の記述および関連する図面に提示された教示の利益を有する当業者に思い浮かぶであろう。したがって、前掲の記述は、例示の実施形態に限定されず、変形および他の実施形態が、添付の特許請求の範囲内に含まれることが意図されることが理解される。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【手続補正書】

【提出日】2024-04-11

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

【請求項2】

【請求項3】

前記第１のセンサおよび前記第２のセンサは、光電センサを含む、請求項２に記載のパレット検査システム。

【請求項4】

【請求項5】

【請求項6】

前記複数のカメラは、第１および第２のカメラセットに分割され、前記第１のカメラセットは、パレット検査システムステーションの入口に向けられており、前記第２のカメラセットは、前記パレット検査システムステーションの出口に向けられている、請求項１に記載のパレット検査システム。

【請求項7】

【請求項8】

【請求項9】

個々のカメラは、カラーカメラとして構成される、請求項１に記載のパレット検査システム。

【請求項10】

【請求項11】

【請求項12】

【請求項13】

【請求項14】

パレット検査ステーションを動作させるための方法であって、
検査されるべきパレットを移動させるためにコンベヤを動作させることであって、前記パレットは、トップデッキおよびボトムデッキであって、それらの間に位置する複数の離間したサポートブロックによって分離されたトップデッキおよびボトムデッキを含み、前記トップデッキおよびボトムデッキを前記複数のサポートブロックに固定するために釘が使用される、前記動作させることと、
前記パレットが前記コンベヤ上で移動される際に前記パレットの画像を生成するように配置された複数のカメラを動作させることと、
処理のために前記画像を、プロセッサを介して受信することであって、前記処理は、
前記画像に対して第１のアルゴリズムを実行して、前記画像において見えるサポートブロックを有する前記画像にタグ付けすることと、
前記タグ付けされた画像に対して第２のアルゴリズムを実行して、露出した先端を有する釘を検出することと、を含む、方法。

【請求項15】

【請求項16】

【請求項17】

前記第１のアルゴリズムは、画像分類アルゴリズムを含み、前記第２のアルゴリズムは、物体検出アルゴリズムを含む、請求項１４に記載の方法。

【請求項18】

【請求項19】

【請求項20】

物体検出アルゴリズムを訓練するための方法であって、
突出した釘および他の釘欠陥を有するパレットの画像のデータベースを作成することと、
前記データベースにおいて検出されるべき異なるカテゴリを定義することと、
プロセッサを介して、検出されるべき前記異なるカテゴリに対応するデータベースにおける前記画像に注釈を付けることと、
前記プロセッサを介して、前記注釈を付けた画像と検出されるべき前記異なるカテゴリとの間のマッピングを生成する関数を学習するために機械学習を使用してモデルを訓練することと、
前記プロセッサを介して、前記モデルからの出力データを分析することと、
前記プロセッサを介して、前記分析された出力データに基づいて前記モデルを最適化することと、を含む、方法。

【請求項21】

【請求項22】

【請求項23】

物体検出アルゴリズムを動作させるための方法であって、
プロセッサを介して、検査されるべきパレットの画像を受信することと、
前記プロセッサを介して、突出した釘を有するパレットの注釈付き画像と検出されるべき他の釘欠陥との間のマッピングを生成する関数を学習するように訓練された機械学習モデルを実行することであって、前記注釈付き画像は、検出されるべき異なるカテゴリに対応する、前記実行することと、
前記プロセッサを介して、検出されるべき前記異なるカテゴリに対応する前記受信された画像内の位置によって物体を識別することと、
前記プロセッサを介して、前記受信された画像において検出された前記カテゴリの信頼度値を提供することと、
前記プロセッサを介して、前記信頼度値に基づいて、突出した釘を有する前記パレットを識別することと、を含む、方法。

【請求項24】

位置によって物体を識別することは、前記物体の周りに境界ボックスを配置することを含む、請求項２３に記載の方法。

【請求項25】

前記信頼度値を提供すると共に、検出されたカテゴリのそれぞれにラベルを付けることをさらに含む、請求項２３に記載の方法。

【手続補正2】

【補正対象書類名】明細書

【補正対象項目名】００３５

【補正方法】変更

【補正の内容】

【0035】

［0046］準備スクリーニングライン１５６から、個々のパレット１０は、検査のために突出釘検出ステーション１６０に移動される。パレット１０は、パレット分類のために検査され、突出した釘８０を検出する。

【手続補正3】

【補正対象書類名】明細書

【補正対象項目名】００３６

【補正方法】変更

【補正の内容】

【0036】

［0047］突出釘検出ステーション１６０によるパレット分類は、検査されているパレット１０が、パレット検査システム１４０を操作するパレットプーリング会社に属しているかどうかを決定することである。突出釘検出ステーション１６０内のカメラ１６２の第１のセットは、各パレット１０の上部および下部の画像を生成する。画像は、ビデオ画像または静止画像であり得る。画像は、カラーまたはモノクロであり得、処理ユニット１７０に提供される。処理ユニット１７０は、パレット分類１７２のための第１のアルゴリズムを実行する。第１のアルゴリズムは、例えば、機械学習（ＭＬ）画像分類アルゴリズムであり得る。

【手続補正4】

【補正対象書類名】明細書

【補正対象項目名】００５５

【補正方法】変更

【補正の内容】

【0055】

【手続補正5】

【補正対象書類名】明細書

【補正対象項目名】００７７

【補正方法】変更

【補正の内容】

【0077】

［0088］注釈が付けられた例示的な画像は、図１１－図１３において提供される。緑色の境界ボックス２０２ａは、個々のサポートブロック４０、４６の周りに配置される。突出した釘８０には、赤色の境界ボックス２０４ａが使用される。検出された釘が突出した釘ではないことに応答して、黄色の境界ボックスが使用される。図１２において、例えば、黄色の境界ボックス２０６は、釘の本体は見えるが先端は見えない釘７０の周りに配置される。図１３のサポートブロック４０は分裂しており、一対の突出した釘８０が見える。

【手続補正6】

【補正対象書類名】明細書

【補正対象項目名】００８９

【補正方法】変更

【補正の内容】

【0089】

［00100］この方法は、受信された画像３２０、３２２、３２４において検出されたカテゴリについて、ブロック３１０において信頼度値を提供することをさらに含む。個々のサポートブロックの信頼度値は９９％である。信頼度値はまた、それに関連付けられた検出カテゴリを有する。作業「ブロック」は、サポートブロック４０、４６を示すために使用される。

【手続補正7】

【補正対象書類名】図面

【補正対象項目名】図６

【補正方法】変更

【補正の内容】

【図6】