特開 2024-168743 結束棒材の本数計数装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024168743

(43)【公開日】2024-12-05

(54)【発明の名称】結束棒材の本数計数装置

(51)【国際特許分類】

   G06M 9/00 20060101AFI20241128BHJP

   G06T 7/00 20170101ALI20241128BHJP

   G06T 7/60 20170101ALI20241128BHJP

【ＦＩ】

G06M9/00 Z

G06T7/00 350C

G06T7/60 110

【審査請求】未請求

【請求項の数】3

【出願形態】ＯＬ

(21)【出願番号】P 2023085660

(22)【出願日】2023-05-24

(71)【出願人】

【識別番号】000003713

【氏名又は名称】大同特殊鋼株式会社

(74)【代理人】

【識別番号】100107700

【弁理士】

【氏名又は名称】守田 賢一

(72)【発明者】

【氏名】木全 謙太

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA06

5L096BA03

5L096CA02

5L096DA02

5L096FA02

5L096FA04

5L096FA16

5L096FA53

5L096FA59

5L096FA60

5L096FA65

5L096FA66

5L096GA51

5L096HA11

5L096KA04

5L096MA07

(57)【要約】      （修正有）

【課題】目視を要することなく棒材端面を正確に認識して確実な本数計測を自動で行うことが可能な結束棒材の本数計数装置を提供する。
【解決手段】結束された複数の棒材４を端面側から撮影した全体画像２ａを得るカメラ２と、得られた全体画像２ａより棒材４の各端面画像４ａを得る物体検出用ＡＩ部３１としてのMask R-CNNと、得られた各端面画像４ａにつき所定の特性値を検出して、これら特性値が許容値内にある端面画像４ａの数を棒材４の本数とする本数確認部３２とを備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

結束された複数の棒材を端面側から撮影した全体画像を得る撮像手段と、得られた全体画像より前記棒材の各端面画像を得る物体検出用ＡＩ部と、得られた各端面画像につき所定の特性値を検出して、これら特性値が許容値内にある端面画像の数を前記棒材の本数とする本数確認部とを備える結束棒材の本数計数装置。

【請求項2】

前記物体検出用ＡＩ部をMask R-CNNで構成した請求項１に記載の結束棒材の本数計数装置。

【請求項3】

前記特性値は、前記Mask R-CNNで生成された前記各端面画像内のマスク領域の面積、隣接するマスク領域との重心間距離およびマスク領域の重心－外周間の最小距離のうちの少なくとも一つ以上である請求項２に記載の結束棒材の本数計数装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、複数の棒材（線材を含む）をベルトや針金で束ねた結束棒材の本数を計数する本数計数装置に関するものである。

【背景技術】

【0002】

結束棒材の本数計数装置としては例えば特許文献１に示すものがある。ここでは、結束された複数の棒材の端面に照明光を当ててこれをカメラで撮影し、得られた撮影画像を所定の輝度閾値で二値化する。そして、二値化画像中の島状領域（ランド）の重心座標や最大半径、外周長等の特性値が所定範囲にあるものを正常ランド、すなわち棒材端面の画像であると判定して本数を計数する。上記閾値を適当に変更しつつ上記判定を繰り返して棒材の本数を計数し、計数された棒材の端面画像を上記二値化画像中から消去して、残った端面画像を目視により確認して計数する。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１２－１７３９０１

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、上記従来の装置では、負担は軽減されているとはいえ、目視による計数が必要である上に、実際の棒材端面は、ペンキ塗装や面切削ムラによる傾斜、ラベルの貼着の有無等によって輝度のバラツキが大きく、輝度の閾値のみから棒材端面を正確に識別することは困難であるという問題がある。

【0005】

そこで、本発明はこのような課題を解決するもので、目視を要することなく棒材端面を正確に認識して確実な本数計測を自動で行うことが可能な結束棒材の本数計数装置を提供することを目的とする。

【課題を解決するための手段】

【0006】

上記目的を達成するために、本発明では、結束された複数の棒材（４）を端面側から撮影した全体画像（２ａ）を得る撮像手段（２）と、得られた全体画像(２ａ)より前記棒材（４）の各端面画像（４ａ）を得る物体検出用ＡＩ部（３１）と、得られた各端面画像（４ａ）につき所定の特性値を検出して、これら特性値が許容値内にある端面画像（４ａ）の数を前記棒材（４）の本数とする本数確認部（３２）とを備える結束棒材の本数計数装置。

【0007】

前記物体検出用ＡＩ部（３１）はMask R-CNNで構成することができる。またこの場合の前記特性値は、前記Mask R-CNNで生成された前記各端面画像（４ａ）内のマスク領域（４４）の面積、隣接するマスク領域（４４）との重心間距離およびマスク領域（４４）の重心－外周間の最小距離のうちの少なくとも一つ以上とするのが良い。

【0008】

本発明によれば、棒材端面の輝度や形状のバラツキが大きい場合でも物体検出用ＡＩ部によって各棒材の端面画像を得ることができる。そして各端面画像につき所定の特性値を検出して、これら特性値が許容値内にある端面画像のみを実際の棒材の端面画像とするから、例えば端面に貼付されたラベルの端面画像は排除されて、正確に棒材の端面画像のみから棒材の本数が算出される

【0009】

上記カッコ内の符号は、後述する実施形態に記載の具体的手段との対応関係を参考的に示すものである。

【発明の効果】

【0010】

以上のように、本発明の結束棒材の本数計数装置によれば、目視を要することなく棒材端面を正確に認識して確実な本数計測を自動で行うことができる。

【図面の簡単な説明】

【0011】

【図1】本数計数装置の全体構成を示す図である。

【図2】結束された丸棒鋼の端面部斜視図である。

【図3】Mask R-CNNの概念的構成を示す図である。

【図4】Mask R-CNNの学習過程を示すフローチャートである。

【図5】訓練データの一例を示す図である。

【図6】本数計数装置の処理装置の処理手順を示すフローチャートである。

【図7】丸棒鋼の端面画像の一例を示す図である。

【発明を実施するための形態】

【0012】

なお、以下に説明する実施形態はあくまで一例であり、本発明の要旨を逸脱しない範囲で当業者が行う種々の設計的改良も本発明の範囲に含まれる。

【0013】

図１に本数計数装置Ｅの全体構成を示し、結束された複数の棒材（本実施形態では丸棒鋼）の端面を照明する照明装置１と、照明された複数の棒材を端面側から撮影して全体画像を得るカメラ２とを備え、全体画像データ２ａがカメラ２から処理装置３へ送られる。処理装置３はコンピュータを内蔵しており、以下に詳細を説明する物体検出用ＡＩ部３１と本数確認部３２とがコンピュータによって実現されている。

【0014】

物体検出用ＡＩ部３１では後述するように上記全体画像２ａから各棒材の端面画像を識別し、本数確認部３２では識別された端面画像につきその特性値を算出して、これら特性値が許容値内にある端面画像の数を算出して、結束された棒材の本数とする。

【0015】

ここで、図２には結束された棒材としての丸棒鋼４の端面部斜視図を示す。また、表１には丸棒鋼４の仕様の一例を示す。表１から明らかなように、丸棒鋼４の製品径や製品温度、製品長、結束される製品本数は様々であり、また製品端面は、熱処理条件やラベル貼付の有無、面取や面切削方法、ペンキ塗装色等の相違によって、その明暗や形状が多様に変化している。表２には、丸棒鋼４の熱処理の種類、ラベル貼付の有無や貼付数、面取や面切削の種類、ペンキ塗装の有無・塗装色の一例を示す。なお、図２に示す例では、丸棒鋼４の全て（全数）の端面にラベル４１が添付されている。

【0016】

【表1】

【0017】

【表2】

【0018】

このような丸棒鋼４の、結束された端面を撮影した全体画像２ａはその輝度が端面ごとに、あるいは同一端面内でも各部ごとに大きく変化するため、カメラの撮影画像を所定の輝度閾値で二値化して端面を識別する従来の方法ではその正確な識別が困難である。

【0019】

そこで、本数計数装置Ｅには上述のように、全体画像２ａから端面画像を識別するために物体検出用ＡI部３１が設けられており、物体検出用ＡＩ部３１は本実施形態では、Mask R-CNN（Convolutional Neural Network）である。

【0020】

Mask R-CNNの概念的構成を図３に示す。図３において、３１１は全体画像を入力する畳み込み層、３１２は畳み込み層３１１から出力される特徴マップ、３１３は特徴マップ上に物体領域を設定するリージョン・プロポーザル・ネットワーク（ＲＰＮ）、３１４は各物体領域における固定サイズの特徴マップ、３１５は全結合層、３１６はマスク生成層である。全体画像２ａを入力するとMask R-CNNより、後述するように、全体画像２ａ上にバウンディングボックスとそのクラス、およびマスク領域が表示された端面画像が得られる。

【0021】

なお、Mask R-CNNの学習は図４に示す過程で行われる。最初に必要数の訓練データを作成する（ステップ１０１）。訓練データの一例を図５に示す。訓練データは、全体画像２ａ内の各丸棒鋼の略円形の端面原画像４２ｂの外周を、複数のポイントとこれらを結ぶ直線からなるパラゴンバウンディングボックス４３で囲んだもので、各パラゴンバウンディングボックス４３内の端面原画像４３にはクラス「ｍａｒｕｂｏ」が付与される。

【0022】

図４のステップ１０２では、訓練データによって転移学習、すなわち既存の学習済みMask R-CNNのヘッド部（図３参照）の変更とそのパラメータの更新がなされ、続くステップ１０３で、バックボーン部、ＲＰＮを含む全体のパラメータが更新されて新たな学習済みMask R-CNN（物体検出用ＡＩ部３１）が用意される。

【0023】

本数計数装置Ｅの処理装置３の処理手順を図６のフローチャートで説明する。ステップ２０１で結束された複数の丸棒鋼４（図２）の端面を撮影して全体画像２ａを得る。次に、上流工程側から丸棒鋼４の製品寸法や結束予定本数等の製品情報を取得し（ステップ２０２）、それに基づいてステップ２０３で丸棒鋼４の端面（断面）面積、隣接する丸棒鋼４の重心（中心）間距離、重心－外周間の最小距離（半径）等の特性値を算出し、その許容値を設定する。

【0024】

ステップ２０４では、物体検出用ＡＩ部３１の学習済みMask R-CNNによって全体画像２ａから各丸棒鋼４の端面画像４ａを得る。端面画像４ａの一例を図７に示す。各端面画像４ａは、丸棒鋼４の端面に相当する略円形のマスク領域４４が矩形のバウンディングボックス４５で区画されており、各バウンディングボックス４５にはそのクラス「ｍａｒｕｂｏ」が確率表示されている。学習済みMask R-CNNによって、明暗や形状が種々に変化している丸棒鋼４の端面がマスク領域４４として確実に識別されている（インスタンスセグメンテーション）。

【0025】

ところで、丸棒鋼４の端面にラベル４１（図２）が添付されていると、Ｍａｓｋ Ｒ－ＣＮＮによって、図７に示すように、これら貼付ラベル４１が、矩形のバウンディングボックス４７で区画された略円形のマスク領域４８を有する端面画像４ｃとして誤認識されることがある。

【0026】

そこで、図６のステップ２０５では各端面画像４ａ，４ｃにつき、そのマスク領域４４，４８の面積、隣接するマスク領域４４,４８との重心間距離、およびマスク領域４４，４８の重心－外周間の最小距離等の特性値が、上記ステップ２０３で設定された許容値内にあるか否かを解析する。許容値を越えている場合には、そのマスク領域４８が属する端面画像４ｃは丸棒鋼４の端面に相当する端面画像４ａではないとしてその数の算出から除かれる。そして残った端面画像４ａの数を算出してこれを結束された丸棒鋼４の本数とする（ステップ２０６）。

【0027】

ステップ２０７では算出された丸棒鋼の本数を結束予定本数と比較して、一致している場合には正常とし、一致しない場合は異常としてその旨報知する。

【0028】

上記特性値はマスク領域４４，４８の面積、隣接するマスク領域４４,４８との重心間距離、およびマスク領域４４，４８の重心－外周間の最小距離の少なくとも一つ以上であれば良い。また棒材は丸棒鋼に限られない。

【符号の説明】

【0029】

２…カメラ（撮像手段）、２ａ…全体画像、３…処理装置、３１…物体検出用ＡＩ部、３２…本数確認部、４…丸棒鋼（棒材）、４ａ…端面画像。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】