特許 7575679 システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-22

(45)【発行日】2024-10-30

(54)【発明の名称】システム

(51)【国際特許分類】

   B25J 13/08 20060101AFI20241023BHJP

   G01B 11/00 20060101ALI20241023BHJP

【ＦＩ】

B25J13/08 A

G01B11/00 H

【請求項の数】 7

(21)【出願番号】P 2021023518

(22)【出願日】2021-02-17

(65)【公開番号】P2022125750

(43)【公開日】2022-08-29

【審査請求日】2023-10-19

(73)【特許権者】

【識別番号】000116655

【氏名又は名称】愛知製鋼株式会社

(74)【代理人】

【識別番号】100129654

【弁理士】

【氏名又は名称】大池 達也

(72)【発明者】

【氏名】岡田 大樹

(72)【発明者】

【氏名】杉本 稜太

(72)【発明者】

【氏名】村瀬 博典

【審査官】杉山 悟史

(56)【参考文献】

【文献】特許第５００３８４０（ＪＰ，Ｂ１）

【文献】特開２００５－１１１６０７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ２５Ｊ １／００ ～ ２１／０２

Ｇ０１Ｂ １１／００

(57)【特許請求の範囲】

【請求項1】

搬送中の一または複数のワークを検出するためのシステムであって、
一または複数のワークが移動する所定のエリア内の各位置の情報を含むエリア情報を時間的に連続して取得する取得部と、
該取得部により取得されたエリア情報のうち、所定の時間間隔を空けて連なる一連のエリア情報を構成する各エリア情報について、一または複数のワークが占有する候補領域をワーク毎に検出する領域検出部と、
前記一連のエリア情報について、一または複数のワークの移動を個別に追跡することでワークを検出する追跡部と、を有し、
該追跡部は、前記一連のエリア情報を構成する各エリア情報から検出された各候補領域について、取得時点が異なる他のエリア情報から検出された候補領域との間に重複が有るか無いかを判断すると共に、
互いに重複する候補領域に対していずれか一のワークを特定可能な識別情報をひも付け、当該互いに重複する候補領域を関連付けることにより、前記一連のエリア情報における一または複数のワークを個別に追跡し、
当該追跡部は、重複を有するいずれか２つの候補領域の検出元である各エリア情報の取得時点の時間的な差分が所定の閾値以内あるいは未満であることを条件として、当該いずれか２つの候補領域に対して同じ識別情報をひも付けるシステム。

【請求項2】

請求項１において、ひも付けられた識別情報が同じであるいずれか２つの候補領域の検出元である各エリア情報の取得時点によって時間的に挟まれており、かつ、同じ識別情報がひも付けられた候補領域が検出された他のエリア情報が属していない期間を特定すると共に、
当該期間内に取得されたいずれか他の一または複数のエリア情報が存在しており、かつ、当該他の一または複数のエリア情報から前記同じ識別情報がひも付けられた候補領域が未検出である場合に、当該他の一または複数のエリア情報について、前記同じ識別情報がひも付けられるべき候補領域の検出漏れが生じたと判定する検出漏れ判定部を備えるシステム。

【請求項3】

請求項１または２において、前記追跡部は、いずれかの識別情報がひも付けられた候補領域が初めて検出された後、同じ識別情報がひも付けられた候補領域が最後に検出されるまでの期間内のエリア情報の取得回数のうち、当該いずれかの識別情報がひも付けられた候補領域が検出されたエリア情報の取得回数、の比率に関する閾値処理により、当該識別情報に係るワークを追跡した結果が有効であるか無効であるかを判断するシステム。

【請求項4】

請求項１～３のいずれか１項において、前記エリア情報は、前記エリア内の各位置までの距離の情報を含む情報であるシステム。

【請求項5】

請求項４において、前記候補領域は、３次元的な領域であるシステム。

【請求項6】

請求項１～５のいずれか１項において、前記搬送中のワークは、製品を製造あるいは加工するための装置から搬送されて排出されるワークであるシステム。

【請求項7】

請求項６において、前記装置から全てのワークが搬送され排出されたことを検知し、ワークを排出するための搬送動作を停止させる回路を備えるシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、搬送中のワークを検出するシステムに関する。

【背景技術】

【0002】

従来より、例えば、ファクトリーオートメーション用途として、搬送中のワークを検出するシステムの提案がある（例えば、特許文献１参照。）。このシステムでは、搬送されてくるワークを取り出すため、搬送中のワークの検出が行われる。搬送中のワークを確実に検出できれば、ロボット等を利用してワークを速やかに取出しでき、このワークを利用する生産の効率を向上できる。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００５－１１１６０７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、前記従来のシステムでは、次のような問題がある。すなわち、実際には存在しないワークを誤って検出すれば、存在しないワークの取出しを試みるロボットの無駄な動作が生じるおそれがあり、また、実際に搬送中のワークの検出漏れが起きれば、取出しされずにそのまま搬送されてしまったワークを下流で回収する作業等が必要になり、生産あるいは作業の効率が損なわれるおそれがある。

【0005】

本発明は、前記従来の問題点に鑑みてなされたものであり、搬送中のワークを精度高く検出するシステムを提供しようとするものである。

【課題を解決するための手段】

【0006】

本発明は、搬送中の一または複数のワークを検出するためのシステムであって、
一または複数のワークが移動する所定のエリア内の各位置の情報を含むエリア情報を時間的に連続して取得する取得部と、
該取得部により取得されたエリア情報のうち、所定の時間間隔を空けて連なる一連のエリア情報を構成する各エリア情報について、一または複数のワークが占有する候補領域をワーク毎に検出する領域検出部と、
前記一連のエリア情報について、一または複数のワークの移動を個別に追跡することでワークを検出する追跡部と、を有し、
該追跡部は、前記一連のエリア情報を構成する各エリア情報から検出された各候補領域について、取得時点が異なる他のエリア情報から検出された候補領域との間に重複が有るか無いかを判断すると共に、
互いに重複する候補領域に対していずれか一のワークを特定可能な識別情報をひも付け、当該互いに重複する候補領域を関連付けることにより、前記一連のエリア情報における一または複数のワークを個別に追跡し、
当該追跡部は、重複を有するいずれか２つの候補領域の検出元である各エリア情報の取得時点の時間的な差分が所定の閾値以内あるいは未満であることを条件として、当該いずれか２つの候補領域に対して同じ識別情報をひも付けるシステムにある。

【発明の効果】

【0007】

本発明のシステムは、一連のエリア情報を構成する各エリア情報について、一または複数のワークの候補領域を検出する領域検出部と、一または複数のワークを個別に追跡することでワークを検出する追跡部と、の組合せに技術的特徴のひとつを有している。本発明のシステムにおける追跡部は、各エリア情報から検出された各候補領域について、取得時点が異なる他のエリア情報から検出された候補領域との間に重複が有るか無いかを判断する。そして、この追跡部は、互いに重複する候補領域に対してワークの識別情報をひも付け、当該互いに重複する候補領域を関連付ける。

【0008】

本発明のシステムは、一連のエリア情報においてワークの候補領域を互いに関連付けることで、ワークを精度高く検出可能な優れた特性のシステムである。

【図面の簡単な説明】

【0009】

【図1】実施例１における、ショットブラスト装置を示す説明図。

【図2】実施例１における、カメラの撮像エリアの説明図。

【図3】実施例１における、システムの構成図。

【図4】実施例１における、システムの動作の流れを示すフロー図。

【図5】実施例１における、候補領域を抽出する処理の説明図。

【図6】実施例１における、候補領域の追跡する処理の説明図。

【図7】実施例１における、候補領域を補間する処理の説明図。

【図8】実施例１における、誤抽出された候補領域を排除する処理の説明図。

【図9】実施例１における、他の適用例の説明図。

【図10】実施例２における、ワークの追跡結果を表す表。

【発明を実施するための形態】

【0010】

本発明において、エリア情報を取得する取得部としては、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などのイメージセンサや、ＴｏＦ（Time of Flight）カメラや、測距センサなどが考えられる。イメージセンサが取得部である場合、所定のエリアに相当する撮像エリア内の各位置の情報は、明るさや色の情報となる。ＴｏＦカメラや測距センサが取得部の場合、エリア内の各位置の情報には、距離情報が含まれる。

【0011】

一般的に、イメージセンサや、ＴｏＦカメラや、測距センサなどの取得部は、例えば３０～６０Ｈｚなどの周波数で、エリア情報に相当する撮像画像や距離画像等を取得する。一連のエリア情報は、取得部が時間的に連続して取得するエリア情報そのものであっても良く、例えば０．１秒毎などの間隔で抜き出された一部のエリア情報であっても良い。

【0012】

本発明の実施の形態につき、以下の実施例を用いて具体的に説明する。
（実施例１）
本例は、装置の一例であるショットブラスト装置５によって搬送されて排出（搬出）されるワーク１００を個別に追跡することでワーク１００を検出するシステム１に関する例である。このシステム１の内容について、図１～図９を用いて説明する。

【0013】

まず、システム１を適用するショットブラスト装置５の構成について説明する。なお、図１は、ショットブラスト装置５の筐体５００の手前側を一部カットし、内部構造を見えるようにした図である。ショットブラスト装置５は、例えば、直径１ｍｍ程度のスチール粒をワーク１００に向けて投射して、ワーク１００の表面のさびや汚れを落としたり、強度を高めるための表面処理を行う加工装置である。なお、ショットブラスト装置５は、投射物の投射機構や投射物の回収機構等を備えるが、図１ではこれらの機構の図示を省略している。

【0014】

ショットブラスト装置５は、箱状の筐体５００の内部に、ワーク１００を循環させるためのコンベア機構５０や、扉５２を開閉させる機構、等を備えている。コンベア機構５０は、略水平を呈する水平セクション５０１と、略鉛直部分を含む揚送セクション５０２と、の組合せによる断面Ｌ字状を呈するように形成されている。箱状の筐体５００の前面の上部には、ワーク１００の搬出完了を報知するための表示ランプ５６が設けられている。

【0015】

扉５２は、平板状をなし、鉛直方向に進退可能（昇降可能）である。また、ショットブラスト装置５の手前側には、ショットブラスト装置５から排出されたワーク１００が、そのまま滑り落ちる傾斜状のスロープ台５５が設けられている。このスロープ台５５は、後工程の装置に向けてワーク１００を供給可能なように構成されている。

【0016】

ショットブラスト装置５は、扉５２が下降して装置の前面が閉じている状態で、ワーク１００の加工を実行する。このとき、コンベア機構５０は、水平セクション５０１のワーク１００を揚送セクション５０２に送り出し、揚送セクション５０２がワーク１００を上方に運ぶように動作する。コンベア機構５０によって上方に運ばれたワーク１００は、重力の作用により、水平セクション５０１に向けて落下し、これにより、装置内部を循環する。このとき、図示しない投射機構からスチール粒などの投射物がワーク１００に向けて投射され、これにより、ワーク１００に表面加工が施される。

【0017】

扉５２が上昇すると、ショットブラスト装置５の前面が開口し、コンベア機構５０の水平セクション５０１と、スロープ台５５と、が若干の隙間を空けて連結された状態となる。ワーク１００の表面加工の後、装置の前面が開口している状態で、コンベア機構５０が逆向きに回転する。そうすると、揚送セクション５０２側からスロープ台５５側に向けてワーク１００が送り出されて搬出される。上記のごとく、スロープ台５５に搬出されたワーク１００は、重力の作用を利用して後工程の装置に搬送される。

【0018】

本例のシステム１（図２及び図３）は、ショットブラスト装置５の正面側に配設されたＴｏＦ（Time of Flight）カメラ１２と、メインユニット１０と、を含めて構成されたシステムである。メインユニット１０からは信号線１８が引き出されており、ショットブラスト装置５に接続されている。メインユニット１０は、この信号線１８を介して、ショットブラスト装置５が備える上記の表示ランプ５６の点灯状態を切り替える。

【0019】

ＴｏＦカメラ１２は、撮像エリア（エリア）１２Ａに向けて赤外光を照射し、赤外光の反射時間を計測することで、撮像エリア１２Ａ内の各点（各位置）の距離の情報を含む距離画像（エリア情報の一例）を取得するカメラである。このＴｏＦカメラ１２は、この距離画像を時間的に連続して取得する取得部の一例をなしている。ＴｏＦカメラのフレームレートは、３０フレーム毎秒、解像度は縦横、６４０ピクセル×４８０ピクセルである。

【0020】

本例のシステム１では、このＴｏＦカメラ１２の撮像エリア１２Ａとして、ショットブラスト装置５のコンベア機構５０の水平セクション５０１による搬送面５１１のほぼ全域が包含されるエリアが設定されている（図２）。撮像エリア１２Ａには、揚送セクション５０２の下部と、スロープ台５５の前縁部分と、が含まれる。この撮像エリア１２Ａは、ショットブラスト装置５がワーク１００を搬出する際、各ワーク１００が移動するエリアを包含するように設定されている。

【0021】

メインユニット１０は、図３のごとく、ＣＰＵ（Central Processing Unit）１０１、ＧＰＵ（Graphic Processing Unit）１０５を含む回路である。ＣＰＵ１０１、ＧＰＵ１０５には、それぞれ、ＲＯＭ、ＲＡＭなどのメモリデバイス１０２が接続されている。メインユニット１０には、ＴｏＦカメラ１２が接続されているほか、ショットブラスト装置５の表示ランプ５６の点灯状態を切り替えるための信号線１８が接続されている。なお、同図では、ＴｏＦカメラ１２や表示ランプ５６等との接続を可能にするＩ／Ｏ（Input/Output）回路の図示を省略している。

【0022】

ＧＰＵ１０５は、例えばＲＯＭから読み出したソフトウェアを実行することで、ＴｏＦカメラ１２による距離画像からワーク１００の候補領域を検出する処理を実行する。ＧＰＵ１０５は、ＴｏＦカメラ１２により取得されたエリア情報のうち、所定の時間間隔を空けて連なる一連の距離画像（エリア情報）を構成する各距離画像について、ワーク１００の候補領域を個別に検出する領域検出部としての機能を有する。

【0023】

ＧＰＵ１０５は、ディープラーニングを利用するＡＩ的な方法によって、ＴｏＦカメラ１２による各距離画像から候補領域を検出する。なお、このＡＩ的な方法については、後で概説する。ＧＰＵ１０５は、ＴｏＦカメラ１２から一定の周期で、時間的に連続して取得する距離画像を順次処理し、候補領域の検出結果を随時、ＣＰＵ１０１に入力する。なお、本例の候補領域は、距離画像中の２次元的なエリアである。

【0024】

ＣＰＵ１０１は、例えばＲＯＭから読み出したソフトウェアを実行することで、ＴｏＦカメラ１２による時間的に連続する一連の距離画像中の各ワーク１００を個別に追跡することでワーク１００を検出する追跡部としての機能を実現する。ＣＰＵ１０１は、ＧＰＵ１０５から入力された候補領域の検出結果を処理することで、各ワーク１００を個別に追跡する。また、ＣＰＵ１０１は、距離画像について候補領域の検出漏れが生じたか否かを判定する検出漏れ判定部としての機能を備えている。

【0025】

ＣＰＵ１０１は、ショットブラスト装置５からのワーク１００の排出が完了したか否かを判断し、完了に応じてショットブラスト装置５の表示ランプ５６を青色で点灯させる。例えば、ショットブラスト装置５を操作するオペレータ等は、表示ランプ５６が青色点灯した後、加工対象の新たなワーク１００を投入する作業を開始すると良い。表示ランプ５６が青色点灯した後であれば、加工済のワーク１００がショットブラスト装置５の内部に残っているおそれが少ない。

【0026】

例えばショットブラスト装置５のオペレータ等は、表示ランプ５６の点灯状態を確認するのみで良く、例えば目視等により装置の内部を確認する作業を行う必要性が少ない。本例のシステム１を適用した場合、ショットブラスト装置５による加工対象のワーク１００が多種類の場合であっても、いずれかの種類のワークに異種のワークが混入する状況を未然に回避できる。

【0027】

次に、本例のシステム１の動作の流れについて、図４のフロー図を参照して説明する。ここでは、メインユニット１０の動作（処理）を中心として、システム１の動作の内容を説明する。

【0028】

メインユニット１０は、ＴｏＦカメラ１２を制御して、一定の周期で距離画像を取得（撮像、撮影）する（Ｓ１０１）。ＴｏＦカメラ１２による時間的に連続する一連の距離画像は、随時、メインユニット１０のＧＰＵ１０５に取り込まれ（Ｓ１０２）、順次、候補領域を検出する処理が実行される（Ｓ１０３）。

【0029】

ステップＳ１０３では、図５のごとく、ＧＰＵ１０５のワークエリアにソフトウェア的に構築される畳込みニューラルネットワーク１０５Ｎに距離画像を適用して、その距離画像における候補領域が検出される。なお、候補領域の検出数は、１つでも２つ以上の複数であっても良い。本例のシステム１の目的は、加工済のワーク１００をショットブラスト装置５から排出（搬出）する際、装置内部に残材が無いことの確認である。候補領域の検出は、ワーク１００を排出する期間の終盤で実行すれば良く、排出する期間の終盤であれば、ワーク数はごく少数である。あるいは、ワーク数が十分に少なくなった状況を待って、以下に説明するステップＳ１０４以降の処理を実行することも良い。

【0030】

ＧＰＵ１０５は、距離画像を取り込む毎に候補領域を検出する処理を実行し、順次、候補領域の検出結果をＣＰＵ１０１に入力する。ＣＰＵ１０１は、時間的に連続する一連の距離画像を構成する各距離画像から検出された候補領域を記憶しており、候補領域の検出履歴に基づいて、候補領域のラベリング（Ｓ１０４）、ワーク１００を追跡する処理（Ｓ１０５）を実行する。

【0031】

ここで、候補領域をラベリングする処理（ステップＳ１０４）、及びワーク１００を追跡する処理（ステップＳ１０５）、の内容について、図６～図８を参照して説明する。メインユニット１０のＣＰＵ１０１は、過去の所定のフレーム数分の距離画像からの候補領域の検出結果を、例えばＲＡＭなどの記憶領域を利用して記憶している。

【0032】

例えば、図６～図８では、最新の時点ｔの距離画像Ｘｔ、及び時点ｔを基準として時間的に遡るｔ－１、ｔ－２、ｔ－３の３時点の距離画像（Ｘｔ－１、Ｘｔ－２、Ｘｔ－３）が、取得時点の古いものから順番に図中、左側から配列されている。なお、４つの時点の時間的な間隔は、ＴｏＦカメラ１２が距離画像を取得する間隔（フレームレートに対応する間隔）であっても良く、この間隔よりも時間的に長い間隔であっても良い。ただし、４つの時点の時間的な間隔は、等間隔であると良い。ＣＰＵ１０１は、各距離画像で検出された候補領域（Ａ、Ａ－１、Ａ－２、Ａ－３）の位置や大きさなどを記憶している。

【0033】

図６は、Ｘｔ－３からＸｔの各距離画像において、いずれか一のワーク１００に対する候補領域（Ａ－３、Ａ－２、Ａ－１、Ａ）が漏れなく検出された状況を例示している。ＣＰＵ１０１は、時間的に最も古い距離画像Ｘｔ－３で検出された候補領域Ａ－３と、３番目に古い距離画像Ｘｔ－２で検出された候補領域Ａ－２と、を比較する。具体的には、ＣＰＵ１０１は、撮像エリア１２Ａにおいて、２つの候補領域Ａ－３と候補領域Ａ－２とを重ね合わせた際に重複する領域が有るか無いかを調べる。ＣＰＵ１０１は、候補領域Ａ－３と候補領域Ａ－２との間に重複する領域が有る場合、これら２つの候補領域Ａ－３、Ａ－２に同じラベル（識別情報）をひも付け、これら２つの候補領域Ａ－３、Ａ－２を関連付ける。

【0034】

さらに、ＣＰＵ１０１は、時間的に３番目に古い距離画像Ｘｔ－２と、時間的に２番目に古い距離画像Ｘｔ－１と、について、上記と同様、候補領域Ａ－２と候補領域Ａ－１との比較を実行する。ＣＰＵ１０１は、既にラベルをひも付けた候補領域Ａ－２に対して、候補領域Ａ－１が重複していれば、候補領域Ａ－３と候補領域Ａ－２とにひも付けたものと同じラベルを、候補領域Ａ－１にひも付ける。

【0035】

さらに、ＣＰＵ１０１は、時間的に２番目に古い距離画像Ｘｔ－１と、最新（時間的に１番目に古い）の距離画像Ｘｔと、についても同様の処理を実行する。そうすると、距離画像Ｘｔ－３から距離画像Ｘｔに亘って、同じラベルがひも付けられた候補領域Ａ－３、Ａ－２、Ａ－１、Ａが特定される。ＣＰＵ１０１は、このように距離画像Ｘｔ－３から距離画像Ｘｔに亘って同じラベルがひも付けられた４つの候補領域Ａ－３、Ａ－２、Ａ－１、Ａについて、いずれか一のワーク１００に由来する候補領域として特定する。ＣＰＵ１０１は、このようにして、一連の距離画像において移動するワーク１００を個別に追跡することでワーク１００を検出する。

【0036】

一方、図７は、時間的に３番目に古い距離画像Ｘｔ－２について、図４中のステップＳ１０３で候補領域を検出できなかった場合の例示である。同図の場合、距離画像Ｘｔ－３と距離画像Ｘｔ－２とを比較する処理、及び距離画像Ｘｔ－２と距離画像Ｘｔ－１とを比較する処理では、距離画像Ｘｔ－２において候補領域が未検出であるため、候補領域が重複するか否かの判断が不可能である。

【0037】

図７の場合、ＣＰＵ１０１は、時間的に４番目に古い距離画像Ｘｔ－３と、時間的に２番目に古い距離画像Ｘｔ－１と、の間で、候補領域Ａ－３と候補領域Ａ－１とが重複しているか否かを判断する。ＣＰＵ１０１は、候補領域Ａ－３と候補領域Ａ－１とが重複している場合、これら２つの候補領域Ａ－３及びＡ－１に同じラベルをひも付ける。

【0038】

さらに、ＣＰＵ１０１は、ひも付けられたラベルが同じいずれか２つの候補領域Ａ－３及びＡ－１の検出元である各距離画像Ｘｔ－３及びＸｔ－１の取得時点（ｔ－３、ｔ－１）によって時間的に挟まれた期間（時点ｔ－３から時点ｔ－１に至る期間）を特定する。そして、ＣＰＵ１０１は、この期間内に取得されたいずれか他の一または複数の距離画像が存在しており、かつ、当該他の一または複数の距離画像から同じラベルがひも付けられた候補領域が未検出であるという条件が満たされるか否かを判断する。この条件が満たされる場合、検出漏れ判定手段としてのＣＰＵ１０１は、当該他の一または複数の距離画像について、同じラベルがひも付けられたはずの候補領域の検出漏れが生じたと判定する。なお、図７の例示の場合、上記の他の一または複数の距離画像は、時点ｔ－２の距離画像Ｘｔ－２のみである。図７の場合、ＣＰＵ１０１は、距離画像Ｘｔ－３から距離画像Ｘｔまでの一連の距離画像において、検出漏れと判定された距離画像Ｘｔ－２を挟みながら移動するワーク１００を追跡できたことで、ワーク１００を検出できたと判断する。

【0039】

また、図８は、時点ｔ－３から時点ｔまでの期間における一連の距離画像において、時点ｔ－２の距離画像Ｘｔ－２からのみ、候補領域Ａ－２が検出された場合の例示である。この場合、距離画像Ｘｔ－２に対して時間的に前後する他の距離画像からは、候補領域Ａ－２と位置的に重複する候補領域が検出されていない。このような場合、ＣＰＵ１０１は、距離画像Ｘｔ－２から検出された候補領域Ａ－２について、誤検出と判定して、その検出結果を無視する。

【0040】

以上のように、本例のシステム１によれば、装置から搬送されて排出されるワーク１００を個別に追跡することで各ワーク１００を検出でき、これにより、装置内部に残材が生じる状況を確実性高く回避できる。特に本例のシステム１では、ＡＩ的な手法により各距離画像から検出された候補領域の時間的な変位に着目して、異なる時点の距離画像から検出された候補領域を相互に関連付けることで、ワーク１００を追跡してワーク１００を検出している。このような候補領域の関連付けによれば、確実性高くワーク１００を追跡できる。

【0041】

なお、本例の構成においては、時間的に前後する２つの距離画像（エリア情報）から検出された候補領域間に重複があれば、それら候補領域に対して同じラベルをひも付けて関連付けている。これに加えて、同じラベルのひも付けによりいずれか２つの候補領域を関連付けるための条件として、候補領域の検出元の距離画像の取得時点の時間的な差分が、例えば０、５秒や１秒などの所定の閾値となる時間以内あるいは未満であるという条件を追加して設定することも良い。

【0042】

本例では、候補領域として、ＴｏＦカメラ１２の撮像エリア１２Ａ中の２次元的な領域を例示している。これに代えて、距離画像に基づいて、３次元的な領域を候補領域として検出することも良い。なお、３次元的な候補領域を特定するに当たっては、コンベア機構５０の水平セクション５０１の搬送面５１１にワーク１００が載置されているという知識を利用すると良い。この知識に基づけば、水平セクション５０１の搬送面５１１に底面が沿っているものとして、その底面を含む３次元的な候補領域を特定できる。距離画像から３次元的な候補領域を検出した際、異なる距離画像からそれぞれ検出された候補領域の重複の有無を判断する際、３次元的な候補領域間の３次元的な重複領域の有無を判断すると良い。

【0043】

本例では、一連の距離画像を構成する各距離画像を畳込みニューラルネットワーク（図５参照。）に適用し、ワーク１００の候補領域を検出している。これに代えて、エッジング処理や２値化処理やラベリング処理などの古典的な画像処理手法によって、各距離画像から候補領域を検出することも良い。

【0044】

なお、ショットブラスト装置５の動作を制御する機能の全部あるいは一部を、メインユニット１０に具備させることも良い。例えば、ショットブラスト装置５から全てのワーク１００が搬送され排出されたことを検知し、ワーク１００を排出するための搬送動作を停止させる回路を、メインユニット１０に含めると良い。この場合には、全てのワーク１００を排出した時点で、ショットブラスト装置５の動作を停止させることができ、消費エネルギーを低減できる。

【0045】

なお、本例のシステム１を、図９に示すごとく、ワーク１００を搬送するために特化されたコンベア装置５９に適用することも良い。同図の構成では、コンベア装置５９の搬送面を撮像できるようにＴｏＦカメラ１２が設けられている。ＴｏＦカメラ１２による撮像エリア１２Ａにより、検出開始位置を起点とした追跡区間が形成される。

【0046】

例えば、下請け工場から加工用のワーク１００を搬入する際の第１のコンベア装置５９と、加工済みのワーク１００を出荷エリアに向けて搬送するための第２のコンベア装置５９と、の両方に、本例のシステム１を適用する構成が考えられる。この場合、一連の距離画像において追跡されたワーク１００の個数を計数する計数部としての機能を、メインユニットに持たせることも良い。各コンベア装置５９で搬送中のワーク１００を追跡する際、ひも付けられたラベル数に基づいてワーク１００の個数を計数すれば、ワーク１００の搬入数と搬出数との対比が可能になる。ワーク１００の搬入数と搬出数とを対比すれば、歩留まりの特定やワーク１００の紛失検出等が可能になる。

【0047】

（実施例２）
本例は、実施例１の構成に基づいて、ワークを追跡した結果の有効性を判断する処理を追加した例である。この内容について、図１０を用いて説明する。
本例の構成では、０．１秒毎の距離画像について候補領域の検出処理を実行し、検出された候補領域に対して実施例１と同様、ラベルをひも付けている。さらに、同じラベルがひも付けられた候補領域が、０．１秒を超える時間を空けて隣り合う２つの時点の距離画像から検出され、かつ、その２つの時点の間隙に取得時点が属する距離画像から、そのラベルの候補領域が未検出の場合、検出漏れと判定する。

【0048】

図１０は、本例の構成によるワークの追跡結果を例示する図である。同図では、横方向に時間が規定されており、時点ｔが最新の距離画像の取得時点で、時点ｔ－２９が同図中に示された時点のうちで最古の距離画像の取得時点である。距離画像の取得周期は、０．１秒なので、時点ｔ－２９から時点ｔに至る経過時間は３．０秒となる。同図中の○印は、対応するラベルに係る候補領域が検出された距離画像であることを示している。△印は、対応するラベルに係る候補領域の検出漏れが生じたと判定された距離画像であることを示している。

【0049】

図１０では、タイミングをずらして３つのワークが追跡されている。ラベルＬ１は、時点ｔ－２０で追跡が完了したワークに対応している。同図中の〇印は、ラベルＬ１がひも付けられた候補領域が検出された距離画像の取得時点に付されている。△印は、ラベルＬ１の候補領域の検出漏れと判定された距離画像の取得時点に付されている。なお、追跡が完了したときの候補領域の位置が、コンベア機構の水平セクションの端部、スロープ台側の末端である場合、そのワークについて、ショットブラスト装置から排出されたと判断すると良い。

【0050】

図１０中、ラベルＬ３は、時点ｔ－１１の距離画像において初めて検出され、最新の時点ｔにおいて候補領域の検出が継続中のワークに対応している。ラベルＬ３のワークは、コンベア機構の水平セクションをスロープ台に向けて搬送途中のワークである可能性が高い。

【0051】

図１０中、ラベルＬ２は、時点ｔ－２９から時点ｔの期間内に、候補領域の検出が開始されて排出までが確認されたワークに対応している。このワークは、時点ｔ－２７で取得された距離画像で初めて候補領域が検出され、その後、取得時点ｔ－６で取得された距離画像にて最後に候補領域が検出されて、スロープ台への搬出が確認されたものである。

【0052】

本例の構成では、追跡部としてのＣＰＵ（メインユニット）が、図１０の各ラベルに係るワークを追跡した結果が有効であるか無効であるかの判断をする。ＣＰＵは、一連の距離画像（エリア情報）を構成する距離画像の取得回数のうち、ひも付けられたラベルが同じ候補領域が検出された距離画像の取得回数の比率に関する閾値処理により、上記の判断を実行する。

【0053】

例えば図１０中のラベルＬ２の場合、対応する候補領域が初めて検出された時点がｔ－２７の時点であり、最後に検出された時点、すなわち排出（搬出）が確認された時点がｔ－６の時点である。時点ｔ－２７から時点ｔ－６に至るまでの距離画像の取得回数は２２回である。その２２回の取得回数のうち、ラベルＬ２に係る候補領域が検出された距離画像（同図中の○印）の取得回数が１６回であるとすれば、上記の比率は、１６／２２≒０．７３となる。例えば、この比率が７０％以上あるいは超である場合、ラベルＬ２に係るワークの追跡結果を有効と判定できる。なお、比率に関する閾値は適宜、変更すると良い。

【0054】

ワークの移動の追跡結果の有効、無効を判定すれば、追跡結果を信頼するか否かの判断が可能となり、追跡結果を利用し易くなる。さらに、上記の比率を、追跡結果の信頼性の度合いを表す指標として利用することも良い。
なお、その他の構成及び作用効果については、実施例１と同様である。

【0055】

以上、実施例のごとく本発明の具体例を詳細に説明したが、これらの具体例は、特許請求の範囲に包含される技術の一例を開示しているにすぎない。言うまでもなく、具体例の構成や数値等によって、特許請求の範囲が限定的に解釈されるべきではない。特許請求の範囲は、公知技術や当業者の知識等を利用して前記具体例を多様に変形、変更あるいは適宜組み合わせた技術を包含している。

【符号の説明】

【0056】

１ システム
１０ メインユニット（領域検出部、追跡部、検出漏れ判定部）
１００ ワーク
１０１ ＣＰＵ
１０５ ＧＰＵ
１２ ＴｏＦカメラ（取得部）
５ ショットブラスト装置（装置）
５０ コンベア機構
５５ スロープ台
５６ 表示ランプ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】