特許 6989178 搬送物の追跡装置、搬送物の計数装置、搬送物の追跡方法、搬送物の計数方法、搬送物の追跡システム、および搬送物の計数システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6989178

(24)【登録日】2021年12月6日

(45)【発行日】2022年1月5日

(54)【発明の名称】搬送物の追跡装置、搬送物の計数装置、搬送物の追跡方法、搬送物の計数方法、搬送物の追跡システム、および搬送物の計数システム

(51)【国際特許分類】

   G06T 7/246 20170101AFI20211220BHJP

   G06T 7/00 20170101ALI20211220BHJP

   G06M 7/00 20060101ALI20211220BHJP

   B65G 43/08 20060101ALI20211220BHJP

【ＦＩ】

   G06T7/246

   G06T7/00 610Z

   G06M7/00 301A

   B65G43/08 C

【請求項の数】10

【全頁数】32

(21)【出願番号】特願2020-500259(P2020-500259)

(86)(22)【出願日】2018年9月14日

(86)【国際出願番号】JP2018034186

(87)【国際公開番号】WO2019159409

(87)【国際公開日】20190822

【審査請求日】2020年4月8日

(31)【優先権主張番号】特願2018-24150(P2018-24150)

(32)【優先日】2018年2月14日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】000232092

【氏名又は名称】ＮＥＣソリューションイノベータ株式会社

(74)【代理人】

【識別番号】100115255

【弁理士】

【氏名又は名称】辻丸 光一郎

(74)【代理人】

【識別番号】100201732

【弁理士】

【氏名又は名称】松縄 正登

(74)【代理人】

【識別番号】100154081

【弁理士】

【氏名又は名称】伊佐治 創

(74)【代理人】

【識別番号】100194515

【弁理士】

【氏名又は名称】南野 研人

(72)【発明者】

【氏名】田島 裕一郎

(72)【発明者】

【氏名】佐藤 精基

【審査官】 新井 則和

(56)【参考文献】

【文献】 特開２０１７−１８６１０６（ＪＰ，Ａ）

【文献】 特開２０１５−０６６２２７（ＪＰ，Ａ）

【文献】 特開２０１７−１０９１６１（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／００−７／９０

Ｇ０６Ｍ ７／００

Ｂ６５Ｇ ４３／０８

(57)【特許請求の範囲】

【請求項1】

搬送装置により搬送されている搬送物について、経時的にｎ枚の画像を取得する画像取得手段と、
前記ｎ枚の画像から選択されたｋ枚の検出対象画像について、前記搬送物を検出する検出手段と、
前記ｎ枚の画像のうち、ｋ枚目の検出対象画像より後に取得された画像において、前記ｋ枚目の検出対象画像で検出された搬送物を追跡する追跡手段とを含み、
前記検出手段におけるｋは、ｎより小さいことを特徴とする、搬送物の追跡装置。

【請求項2】

前記画像取得手段により、前記ｎ枚の画像のうち、ｍ枚目の画像を取得以後、前記ｋ枚の検出対象画像のうち、ｌ枚目の検出対象画像に対する検出を前記検出手段が実施しているかを判定する検出処理判定手段を含み、
前記検出処理判定手段により、前記検出手段による検出が実施されていないと判定された場合、
前記検出手段は、前記ｍ枚目の画像をｌ＋１枚目の検出対象画像として、前記搬送物を検出する、請求項１記載の追跡装置。

【請求項3】

前記追跡手段は、前記検出対象画像で検出された搬送物の位置情報を取得し、
前記追跡手段で得られた搬送物の位置情報に基づき、前記搬送物が誤検出物であるかを判定する誤検出判定手段を含む、請求項１または２記載の追跡装置。

【請求項4】

搬送装置により搬送されている搬送物について追跡する追跡手段と、
前記追跡された搬送物をカウントする計数手段とを含み、
前記追跡手段は、請求項１から３のいずれか一項に記載の搬送物の追跡装置であることを特徴とする、搬送物の計数装置。

【請求項5】

搬送装置により搬送されている搬送物について、経時的にｎ枚の画像を取得する画像取得工程と、
前記ｎ枚の画像から選択されたｋ枚の検出対象画像について、前記搬送物を検出する検出工程と、
前記ｎ枚の画像のうち、ｋ枚目の検出対象画像より後に取得された画像において、前記ｋ枚目の検出対象画像で検出された搬送物を追跡する追跡工程とを含み、
前記検出工程におけるｋは、ｎより小さいことを特徴とする、搬送物の追跡方法。

【請求項6】

搬送装置により搬送されている搬送物について追跡する追跡工程と、
前記追跡された搬送物をカウントする計数工程とを含み、
前記追跡工程は、請求項５記載の搬送物の追跡方法により実施されることを特徴とする、搬送物の計数方法。

【請求項7】

搬送装置により搬送されている搬送物について、経時的にｎ枚の画像を取得する画像取得処理と、
前記ｎ枚の画像から選択されたｋ枚の検出対象画像について、前記搬送物を検出する検出処理と、
前記ｎ枚の画像のうち、ｋ枚目の検出対象画像より後に取得された画像において、前記ｋ枚目の検出対象画像で検出された搬送物を追跡する追跡処理とをコンピュータ上で実行可能であり、
前記検出処理におけるｋは、ｎより小さいことを特徴とする、プログラム。

【請求項8】

搬送装置により搬送されている搬送物について、経時的にｎ枚の画像を取得する画像取得処理と、
前記ｎ枚の画像から選択されたｋ枚の検出対象画像について、前記搬送物を検出する検出処理と、
前記ｎ枚の画像のうち、ｋ枚目の検出対象画像より後に取得された画像において、前記ｋ枚目の検出対象画像で検出された搬送物を追跡する追跡処理と、
前記追跡された搬送物の数をカウントする計数処理とをコンピュータ上で実行可能であり、
前記検出処理におけるｋは、ｎより小さいことを特徴とする、プログラム。

【請求項9】

端末とサーバとを含み、
前記端末と前記サーバとは、システム外の通信回線網を介して、接続可能であり、
前記端末は、撮像装置を含み、
前記撮像装置は、搬送装置により搬送されている搬送物について、経時的にｎ枚の画像を撮像し、
前記サーバは、画像取得手段、検出手段、および追跡手段を含み、
前記画像取得手段は、前記搬送装置により搬送されている搬送物について、経時的にｎ枚の画像を取得し、
前記検出手段は、ｎ枚の画像のうち、ｋ枚の検出対象画像について、搬送物を検出し、
前記追跡手段は、ｎ枚の画像について、検出された搬送物を追跡し、
前記検出手段におけるｋは、ｎより小さいことを特徴とする、搬送物の追跡システム。

【請求項10】

端末とサーバとを含み、
前記端末と前記サーバとは、システム外の通信回線網を介して、接続可能であり、
前記端末は、撮像装置を含み、
前記撮像装置は、搬送装置により搬送されている搬送物について、経時的にｎ枚の画像を撮像し、
前記サーバは、画像取得手段、検出手段、追跡手段、および計数手段を含み、
前記画像取得手段は、前記搬送装置により搬送されている搬送物について、経時的にｎ枚の画像を取得し、
前記検出手段は、ｎ枚の画像のうち、ｋ枚の検出対象画像について、搬送物を検出し、
前記追跡手段は、前記ｎ枚の画像のうち、各検出対象画像より後に取得された画像において、前記各検出対象画像で検出された搬送物を追跡し、
前記計数手段は、前記追跡された搬送物の数を計数し、
前記検出手段におけるｋは、ｎより小さいことを特徴とする、搬送物の計数システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、搬送物の追跡装置、搬送物の計数装置、搬送物の追跡方法、搬送物の計数方法、搬送物の追跡システム、および搬送物の計数システムに関する。

【背景技術】

【0002】

工場等において、ベルトコンベア等の搬送装置上を移送される製品をカメラで撮像し、製品をモニタリングすることが行われている。

【発明の概要】

【発明が解決しようとする課題】

【0003】

本発明者らは、搬送装置上を搬送される搬送物を追跡する装置として、前記搬送物の画像を経時的に取得し、各画像における搬送物を検出し、各画像における同一の搬送物を対応付けすることにより、前記搬送物を検出および追跡可能な装置（以下、「参考例の装置」ともいう）を開発した。しかしながら、前記参考例の装置においては、各画像について検出を実施するため、検出および追跡処理に時間を要するという課題が生じた。また、この課題は、例えば、機械学習または深層学習により作製された学習モデルを用いて搬送物を検出する場合、特に顕著となった。

【0004】

そこで、本発明は、処理時間を短縮可能な搬送物の追跡装置および追跡方法の提供を目的とする。

【課題を解決するための手段】

【0005】

前記目的を達成するために、本発明の搬送物の追跡装置（以下、「追跡装置」ともいう）は、搬送装置により搬送されている搬送物について、経時的にｎ枚の画像を取得する画像取得手段と、
前記ｎ枚の画像から選択されたｋ枚の検出対象画像について、前記搬送物を検出する検出手段と、
前記ｎ枚の画像のうち、各検出対象画像より後に取得された画像において、前記各検出対象画像で検出された搬送物を追跡する追跡手段とを含み、
前記検出手段におけるｋは、ｎより小さいことを特徴とする。

【0006】

本発明の搬送物の計数装置（以下、「計数装置」ともいう）は、搬送装置により搬送されている搬送物について追跡する追跡手段と、
前記追跡された搬送物をカウントする計数手段とを含み、
前記追跡手段は、前記本発明の搬送物の追跡装置であることを特徴とする。

【0007】

本発明の搬送物の追跡方法（以下、「追跡方法」ともいう）は、搬送装置により搬送されている搬送物について、経時的にｎ枚の画像を取得する画像取得工程と、
前記ｎ枚の画像から選択されたｋ枚の検出対象画像について、前記搬送物を検出する検出工程と、
前記ｎ枚の画像のうち、各検出対象画像より後に取得された画像において、前記各検出対象画像で検出された搬送物を追跡する追跡工程とを含み、
前記検出工程におけるｋは、ｎより小さいことを特徴とする。

【0008】

本発明の搬送物の計数方法（以下、「計数方法」ともいう）は、搬送装置により搬送されている搬送物について追跡する追跡工程と、
前記追跡された搬送物をカウントする計数工程とを含み、
前記追跡工程は、前記本発明の搬送物の追跡方法であることを特徴とする。

【0009】

本発明のプログラムは、搬送装置により搬送されている搬送物について、経時的にｎ枚の画像を取得する画像取得処理と、
前記ｎ枚の画像から選択されたｋ枚の検出対象画像について、前記搬送物を検出する検出処理と、
前記ｎ枚の画像のうち、各検出対象画像より後に取得された画像において、前記各検出対象画像で検出された搬送物を追跡する追跡処理とをコンピュータ上で実行可能であり、
前記検出処理におけるｋは、ｎより小さいことを特徴とする。

【0010】

本発明のプログラムは、搬送装置により搬送されている搬送物について、経時的にｎ枚の画像を取得する画像取得処理と、
前記ｎ枚の画像から選択されたｋ枚の検出対象画像について、前記搬送物を検出する検出処理と、
前記ｎ枚の画像のうち、各検出対象画像より後に取得された画像において、前記各検出対象画像で検出された搬送物を追跡する追跡処理と、
前記追跡された搬送物の数をカウントする計数処理とをコンピュータ上で実行可能であり、
前記検出処理におけるｋは、ｎより小さいことを特徴とする。

【0011】

本発明の搬送物の追跡システム（以下、「追跡システム」ともいう）は、端末とサーバとを含み、
前記端末と前記サーバとは、システム外の通信回線網を介して、接続可能であり、
前記端末は、撮像装置を含み、
前記撮像装置は、搬送装置により搬送されている搬送物について、経時的にｎ枚の画像を撮像し、
前記サーバは、画像取得手段、検出手段、および追跡手段を含み、
前記画像取得手段は、前記搬送装置により搬送されている搬送物について、経時的にｎ枚の画像を取得し、
前記検出手段は、ｎ枚の画像のうち、ｋ枚の検出対象画像について、搬送物を検出し、
前記追跡手段は、前記ｎ枚の画像のうち、各検出対象画像より後に取得された画像において、前記各検出対象画像で検出された搬送物を追跡し、
前記検出手段におけるｋは、ｎより小さいことを特徴とする。

【0012】

本発明の搬送物の計数システム（以下、「計数システム」ともいう）は、端末とサーバとを含み、
前記端末と前記サーバとは、システム外の通信回線網を介して、接続可能であり、
前記端末は、撮像装置を含み、
前記撮像装置は、搬送装置により搬送されている搬送物について、経時的にｎ枚の画像を撮像し、
前記サーバは、画像取得手段、検出手段、追跡手段、および計数手段を含み、
前記画像取得手段は、前記搬送装置により搬送されている搬送物について、経時的にｎ枚の画像を取得し、
前記検出手段は、ｎ枚の画像のうち、ｋ枚の検出対象画像について、搬送物を検出し、
前記追跡手段は、前記ｎ枚の画像のうち、各検出対象画像より後に取得された画像において、前記各検出対象画像で検出された搬送物を追跡し、
前記計数手段は、前記追跡された搬送物の数を計数し、
前記検出手段におけるｋは、ｎより小さいことを特徴とする。

【発明の効果】

【0013】

本発明によれば、処理時間を短縮できる。

【図面の簡単な説明】

【0014】

【図1】図１は、実施形態１の追跡装置を示すブロック図である。

【図2】図２は、実施形態１の追跡装置のハードウェア構成の一例を示すブロック図である。

【図3】図３は、実施形態１の追跡方法およびプログラムを示すフローチャートである。

【図4】図４は、実施形態１の追跡装置の他の例を示すブロック図である。

【図5】図５は、実施形態１の追跡装置の他の例を示すブロック図である。

【図6】図６は、実施形態２の追跡装置の他の例を示すブロック図である。

【図7】図７は、実施形態２の追跡方法およびプログラムを示すフローチャートである。

【図8】図８は、実施形態２の追跡方法およびプログラムを示すフローチャートである。

【図9】図９は、追跡装置により取得される画像を示す図である。

【図10】図１０は、実施形態２の追跡方法において、一部の処理のタイムラインを示す図である。

【図11】図１１は、実施形態３の計数装置を示すブロック図である。

【図12】図１２は、実施形態３の計数方法およびプログラムを示すフローチャートである。

【図13】図１３は、実施形態４の選別装置を示すブロック図である。

【図14】図１４は、実施形態４の選別方法およびプログラムを示すフローチャートである。

【図15】図１５は、実施形態５の追跡システムを示すブロック図である。

【図16】図１６は、実施形態５の選別システムを示すブロック図である。

【発明を実施するための形態】

【0015】

本発明の実施形態について説明する。なお、本発明は、下記の実施形態によって何ら限定および制限されない。なお、以下の図１から図１６において、同一部分には、同一符号を付している。また、各実施形態および変形例の説明は、特に言及がない限り、互いの説明を援用できる。さらに、各実施形態および変形例の構成は、特に言及がない限り、互いに組合せ可能である。

【0016】

［実施形態１］
実施形態１は、本発明の追跡装置および追跡方法に関する。

【0017】

図１に、本実施形態における追跡装置のブロック図を示す。図１に示すように、本実施形態の追跡装置１０は、画像取得手段１１１、検出手段１１２、および追跡手段１１３を含む。図１に示すように、画像取得手段１１１、検出手段１１２、および追跡手段１１３は、ハードウェアであるデータ処理手段（データ処理装置）１１に組み込まれてもよく、ソフトウェアまたは前記ソフトウェアが組み込まれたハードウェアでもよい。データ処理手段１１は、ＣＰＵ等を備えてもよい。また、データ処理手段１１は、例えば、後述のＲＯＭ、ＲＡＭ等を備えてもよい。

【0018】

図２に、追跡装置１０のハードウェア構成のブロック図を例示する。追跡装置１０は、例えば、ＣＰＵ（中央処理装置）２０１、メモリ２０２、バス２０３、記憶装置２０４、入力装置２０６、ディスプレイ２０７、通信デバイス２０８等を有する。追跡装置１０の各部は、それぞれのインタフェース（Ｉ／Ｆ）により、バス２０３を介して接続されている。追跡装置１０のハードウェア構成は、例えば、後述の計数装置および選別装置のハードウェア構成としても採用できる。

【0019】

ＣＰＵ２０１は、例えば、コントローラ（システムコントローラ、Ｉ／Ｏコントローラ等）等により、他の構成と連携動作し、追跡装置１０の全体の制御を担う。追跡装置１０において、ＣＰＵ２０１により、例えば、本発明のプログラム２０５やその他のプログラムが実行され、また、各種情報の読み込みや書き込みが行われる。具体的には、例えば、ＣＰＵ２０１が、画像取得手段１１１、検出手段１１２、および追跡手段１１３として機能する。追跡装置１０は、演算装置として、ＣＰＵを備えるが、ＧＰＵ（Graphics Processing Unit）、ＡＰＵ（Accelerated Processing Unit）等の他の演算装置を備えてもよいし、ＣＰＵとこれらとの組合せを備えてもよい。なお、ＣＰＵ２０１は、例えば、後述する実施形態２〜４および変形例１〜５における記憶手段以外の各手段として機能する。

【0020】

メモリ２０２は、例えば、メインメモリを含む。前記メインメモリは、主記憶装置ともいう。ＣＰＵ２０１が処理を行う際には、例えば、後述する記憶装置２０４（補助記憶装置）に記憶されている本発明のプログラム２０５等の種々の動作プログラムを、メモリ２０２が読み込む。そして、ＣＰＵ２０１は、メモリ２０２からデータを読み出し、解読し、前記プログラムを実行する。前記メインメモリは、例えば、ＲＡＭ（ランダムアクセスメモリ）である。メモリ２０２は、例えば、さらに、ＲＯＭ（読み出し専用メモリ）を含む。

【0021】

バス２０３は、例えば、外部機器とも接続できる。前記外部機器は、例えば、外部記憶装置（外部データベース等）、プリンター等があげられる。追跡装置１０は、例えば、バス１０３に接続された通信デバイス２０８により、通信回線網に接続でき、通信回線網を介して、前記外部機器と接続することもできる。また、追跡装置１０は、通信デバイス２０８および通信回線網を介して、端末等にも接続できる。

【0022】

記憶装置２０４は、例えば、前記メインメモリ（主記憶装置）に対して、いわゆる補助記憶装置ともいう。前述のように、記憶装置２０４には、本発明のプログラム２０５を含む動作プログラムが格納されている。記憶装置２０４は、例えば、記憶媒体と、前記記憶媒体に読み書きするドライブとを含む。前記記憶媒体は、特に制限されず、例えば、内蔵型でも外付け型でもよく、ＨＤ（ハードディスク）、ＦＤ（フロッピー（登録商標）ディスク）、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＭＯ、ＤＶＤ、フラッシュメモリー、メモリーカード等があげられ、前記ドライブは、特に制限されない。記憶装置２０４は、例えば、前記記憶媒体と前記ドライブとが一体化されたハードディスクドライブ（ＨＤＤ）であってもよい。

【0023】

追跡装置１０は、例えば、さらに、入力装置２０６、ディスプレイ２０７を有する。入力装置２０６は、例えば、タッチパネル、トラックパッド、マウス等のポインティングデバイス；キーボード；カメラ、スキャナ等の撮像手段；ＩＣカードリーダ、磁気カードリーダ等のカードリーダ；マイク等の音声入力手段；等があげられる。ディスプレイ２０８は、例えば、ＬＥＤディスプレイ、液晶ディスプレイ等の表示装置があげられる。本実施形態１において、入力装置２０６とディスプレイ２０７とは、別個に構成されているが、入力装置２０６とディスプレイ２０７とは、タッチパネルディスプレイのように、一体として構成されてもよい。

【0024】

画像取得手段１１１は、検出手段１１２および追跡手段１１３と電気的に接続されている。画像取得手段１１１は、搬送装置により搬送されている搬送物について、経時的にｎ枚の画像を取得する。画像取得手段１１１は、例えば、ＣＰＵがあげられる。画像取得手段１１１がＣＰＵの場合、画像取得手段１１１は、例えば、装置内または装置外の撮像手段（撮像装置）、装置内または装置外の記憶手段等から前記ｎ枚の画像を経時的に取得する。画像取得手段１１１は、例えば、ｎ枚の画像について、撮像された順序に従って取得する。画像取得手段１１１は、例えば、前記ｎ枚の画像を経時的に撮像してもよい。この場合、画像取得手段１１１は、例えば、前記画像を撮像する撮像手段（撮像装置）があげられる。前記撮像手段は、例えば、スチルカメラ、ビデオカメラ、カメラ付の携帯電話、カメラ付のスマートフォン、カメラ付のタブレット端末等のカメラ付の携帯端末、ウェブカメラ付きのコンピュータ、カメラ付きのヘッドマウントディスプレイ等があげられる。前記記憶手段は、例えば、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、フラッシュメモリー、ハードディスク（ＨＤ）、光ディスク、フロッピー（登録商標）ディスク（ＦＤ）等があげられる。前記記憶手段は、装置内蔵型でもよいし、外部記憶装置のような外付け型でもよい。

【0025】

前記画像は、例えば、前記搬送装置が搬送物を搬送している際に、前記撮像手段で撮像することにより取得できる。このため、前記画像は、例えば、前記搬送物を含む画像および前記搬送物を含まない画像の一方を含んでもよいし、両方を含んでもよい。前記画像は、例えば、前記搬送装置の全体または一部を含む画像である。前記画像は、例えば、前記搬送物が搬送される搬送装置の一定箇所が撮像された画像でもよいし、異なる箇所が撮像された画像でもよい。すなわち、前記画像は、例えば、前記搬送物が搬送されるルート（搬送ルート）の一定箇所が撮像された画像でもよいし、異なる箇所が撮像された画像でもよい。前記画像が異なる箇所が撮像された画像である場合、各画像は、例えば、撮像された領域が部分的に重複するように撮像される。

【0026】

前記搬送装置は、例えば、接触型または非接触型の搬送装置があげられる。前記搬送装置は、例えば、ベルトコンベヤ等のコンベヤ、シューター、台車等があげられる。

【0027】

前記搬送物は、例えば、前記搬送装置により搬送される物である。前記搬送物は、特に制限されず、任意の物とできる。具体例として、前記搬送物は、例えば、原材料、仕掛品、半製品、製品、商品、貯蔵品等があげられる。本発明において、追跡される搬送物は、前記搬送物の全部でもよいし、一部でもよい。前記搬送物の一部を追跡する場合、前記追跡される搬送物は、例えば、対象物または追跡対象物ということもできる。前記搬送物が対象物を含む場合、前記対象物は、１種類でもよいし、複数種類でもよい。前記対象物は、例えば、良品、不良品等があげられる。

【0028】

前記画像を取得する頻度は、特に制限されず、その下限は、例えば、３ＦＰＳ（Flames Per Second）であり、好ましくは、１２ＦＰＳであり、より好ましくは、２０ＦＰＳであり、その上限は、特に制限されない。前記頻度の範囲は、例えば、１０〜１００ＦＰＳ、１０〜２０ＦＰＳ、６０〜１００ＦＰＳである。

【0029】

前記「ｎ」は、２以上の任意の正の整数であり、その上限は、特に制限されない。前記「ｎ枚」は、例えば、２枚（フレーム）以上であり、好ましくは、３枚以上であり、より好ましくは、５枚以上である。

【0030】

検出手段１１２は、画像取得手段１１１および追跡手段１１３と電気的に接続されている。検出手段１１２は、例えば、ＣＰＵがあげられる。検出手段１１２は、画像取得手段１１１により取得されたｎ枚の画像から選択されたｋ枚の検出対象画像について、前記搬送物を検出する。検出手段１１２は、例えば、画像取得手段１１１により取得された順序に従って、前記ｋ枚の検出対象画像について、前記搬送物を検出する。

【0031】

前記検出対象画像は、例えば、前記搬送物を検出するための画像である。前記検出対象画像は、前記ｎ枚の画像から選択することにより、取得することができる。前記検出対象画像の選択方法は、後述する。前記検出対象画像は、例えば、後述の追跡手段１１３による追跡に用いてもよい。

【0032】

前記「ｋ」は、ｎより小さければよく、より具体的には、ｎより小さい任意の正の整数である。すなわち、ｋは、１≦ｋ＜ｎを満たす任意の整数である。前記「ｋ枚」は、ｋが前述の数値範囲を満たせばよく、例えば、前記検出対象画像の選択方法に応じて適宜変更される。

【0033】

追跡手段１１３は、画像取得手段１１１および検出手段１１２と電気的に接続されている。検出手段１１３は、例えば、ＣＰＵがあげられる。追跡手段１１３は、画像取得手段１１１により取得されたｎ枚の画像のうち、各検出対象画像より後に取得された画像において、前記各検出対象画像で検出された搬送物（以下、「検出された搬送物」ともいう）を追跡する。追跡手段１１３は、例えば、画像取得手段１１１により取得された順序に従って、前記ｎ枚の検出対象画像について、前記搬送物を検出する。

【0034】

つぎに、図３に、本実施形態における追跡方法のフローチャートを示す。本実施形態の追跡方法は、例えば、図１の追跡装置１０を用いて、つぎのように実施する。図３に示すように、本実施形態の追跡方法は、Ｓ１ステップ（画像取得）、Ｓ２ステップ（検出）、およびＳ３ステップ（追跡）を含む。本実施形態において、Ｓ２ステップおよびＳ３ステップは、並列に実施されてもよいし、直列に実施されてもよい。

【0035】

まず、Ｓ１ステップでは、画像取得手段１１１により、前記搬送装置により搬送されている搬送物について、経時的にｎ枚の画像を取得する。前記撮像手段を用いて前記画像を取得する場合、前記撮像手段により搬送ルートを撮像し、画像取得手段１１１は、撮像された画像を前記画像として取得する。画像取得手段１１１が撮像手段である場合、画像取得手段１１１は、前記搬送ルートを撮像し、前記画像として取得する。前記データ記憶手段を用いて前記画像を取得する場合、画像取得手段１１１は、前記データ記憶手段（図示せず）に記憶された前記画像を読み出し、取得する。

【0036】

つぎに、Ｓ２ステップでは、検出手段１１２により、前記ｎ枚の画像から選択されたｋ枚の検出対象画像について、前記搬送物を検出する。すなわち、Ｓ２ステップでは、前記ｎ枚の画像のうち、一部の画像について、前記搬送物の検出を行なう。具体的には、まず、Ｓ２ステップでは、前記検出対象画像を選択する。前記検出対象画像は、例えば、検出手段１１２により、選択されてもよいし、他の手段により選択されてもよい。前記検出対象画像の選択方法は、特に制限されず、例えば、ｎ枚の画像において、所定枚数毎の画像を前記検出対象画像として選択してもよいし、所定時間毎の画像を前記検出対象画像として選択してもよい。前記所定枚数および前記所定時間は、例えば、検出手段１１２の前記検出対象画像の検出時間に応じて、適宜設定できる。つぎに、Ｓ２ステップでは、検出手段１１２により、例えば、前記検出対象画像における各搬送物の座標（例えば、中心座標）、大きさ（例えば、幅および長さ、または縦横サイズ（占める領域））等の搬送物の位置情報を検出する。そして、Ｓ２ステップでは、例えば、得られた搬送物の位置情報、確信度等の検出結果（検出情報）が、前記搬送物毎に対応する検出対象画像と関連付けられて出力される。前記検出結果は、例えば、各搬送物の検出回数を含んでもよい。前記確信度は、例えば、検出手段１１２により検出された搬送物が搬送物であることの確からしさ（可能性）である。また、Ｓ２ステップでは、検出手段１１２により、前記搬送物における対象物を検出してもよい。この場合、検出手段１１２は、例えば、前記搬送物において、前記対象物以外の搬送物を検出することにより、前記対象物を検出してもよい。Ｓ２ステップにおいて、検出手段１１２は、例えば、色に基づく識別、輪郭の抽出、テンプレートマッチング、前記搬送物または対象物を検出可能な学習モデル等を用いて、前記搬送物または対象物を検出できる。前記学習モデルは、例えば、前記搬送物または対象物について、機械学習または深層学習を実施することにより作製できる。また、前記対象物が２種類以上の場合、検出手段１１２は、例えば、いずれの対象物に該当するか分類してもよい。この場合、検出手段１１２は、例えば、検出された対象物の分類クラスを検出結果として出力してもよい。

【0037】

Ｓ３ステップでは、追跡手段１１３により、前記ｎ枚の画像のうち、各検出対象画像より後に取得された画像において、前記各検出対象画像で検出された搬送物を追跡する。すなわち、Ｓ３ステップでは、追跡手段１１３が、前記ｋ枚の検出対象画像のうち、ｐ枚目の検出対象画像で搬送物が検出された場合、前記ｎ枚の画像のうち、前記ｐ枚目の検出対象画像より後に取得（撮像）された画像において、前記ｐ枚目の検出対象画像で検出された搬送物を追跡する。追跡手段１１３は、例えば、前記ｐ枚目の検出対象画像より後に取得された画像の全部または一部において、前記ｐ枚目の検出対象画像で検出された搬送物を追跡する。前記「ｐ」は、ｋ以下の正の整数である。すなわち、ｐは、１≦ｐ≦ｋを満たす整数である。前記搬送物の追跡は、例えば、LucasKanade法、Horn-Schunk法等のオプティカルフロー推定により、実施できる。具体的には、前記搬送物の追跡は、例えば、前記搬送物を追跡する画像と、前記追跡する画像の１つ前に取得された画像と、前記１つ前に取得された画像において検出された搬送物の座標（例えば、中心座標）等の位置情報とに基づき、オプティカルフロー推定により、前記追跡に用いる画像における前記検出された搬送物の座標（例えば、中心座標）等の位置情報を算出することで実施できる。この場合、追跡手段１１３は、例えば、前記追跡に用いる画像において検出された搬送物の位置情報を追跡結果（追跡情報）として出力してもよい。また、検出手段１１２が前記検出結果を出力している場合、Ｓ３ステップでは、追跡手段１１３は、前記対応する搬送物について、前記検出結果および前記追跡結果を関連付けてもよい。

【0038】

以上説明したように、実施形態１の追跡装置および追跡方法によれば、前記ｎ枚の画像から選択されたｋ枚の検出対象画像において、前記搬送物を検出する。すなわち、実施形態１の追跡装置および追跡方法では、前記ｎ枚の画像の全ての画像ではなく、一部の画像において、前記搬送物を検出する。このため、実施形態１の追跡装置および追跡方法は、全ての画像において、前記搬送物を検出する参考例の装置と比較して、処理時間を短縮できる。

【0039】

本実施形態において、追跡装置１０は、データ処理手段１１から構成されるが、他の構成を含んでもよい。

【0040】

図４に示すように、本発明の追跡装置は、データ記憶手段を含んでもよい。図４は、実施形態１の追跡装置の他の例を示すブロック図である。図４に示すように、追跡装置２０は、追跡装置１０の構成に加え、画像記憶部１２１、検出情報記憶部１２２、および追跡情報記憶部１２３を含む。画像記憶部１２１は、画像取得手段１１１、検出手段１１２、および追跡手段１１３と、検出情報記憶部１２２は、検出手段１１２および追跡手段１１３と、追跡情報記憶部１２３は、追跡手段１１３と、それぞれ電気的に接続されている。画像記憶部１２１、検出情報記憶部１２２、および追跡情報記憶部１２３は、例えば、図４に示すようにハードウェアであるデータ記憶手段１２に組み込まれてもよい。データ記憶手段１２は、前述の記憶手段があげられ、具体例として、ＲＯＭ、ＲＡＭ等があげられる。追跡装置２０は、例えば、画像取得手段１１１が取得したｎ枚の画像を画像記憶部１２１に記憶させ、記憶された画像を検出手段１１２および追跡手段１１３に出力する。また、検出手段１１２の検出結果および検出対象画像を検出情報記憶部１２２に記憶させ、記憶された検出結果を追跡手段１１３に出力する。さらに、追跡手段１１３の追跡結果を追跡情報記憶部１２３に記憶させる。これらの点を除き、追跡装置２０は、追跡装置１０と同様の構成を有し、その説明を援用できる。

【0041】

つぎに、図５に示すように、本発明の追跡装置は、入力手段および出力手段の少なくとも一方を含んでもよい。図５は、実施形態１の追跡装置の他の例を示すブロック図である。図５に示すように、追跡装置３０は、追跡装置１０の構成に加え、入力手段１３および出力手段１４を含む。入力手段１３は、画像取得手段１１１と、出力手段１４は、画像取得手段１１１、検出手段１１２、および追跡手段１１３と、それぞれ、電気的に接続されている。入力手段１３は、例えば、画像取得の開始、停止等の情報を入力する。入力手段１３は、例えば、タッチパネル等のモニター、操作キー等の携帯端末に備わる通常の入力手段、キーボード、マウス等のコンピュータに備わる通常の入力手段、入力ファイルおよび他のコンピュータ等を用いることができる。出力手段１４は、例えば、画像取得手段１１１により取得されたｎ枚の画像、検出手段１１２の検出結果、ｋ枚の検出対象画像、追跡手段１１３の追跡結果等を出力する。出力手段１４は、例えば、映像により出力するモニター（例えば、液晶ディスプレイ（ＬＣＤ）、ブラウン管（ＣＲＴ）ディスプレイ等の各種画像表示装置等）等の表示手段、印刷により出力するプリンター、音声により出力するスピーカー等があげられる。出力手段１４が前記表示手段の場合、出力手段１４は、前記ｎ枚の画像、前記検出結果、前記検出対象画像、前記追跡結果を、前記表示手段に表示してもよい。入力手段１３および出力手段１４は、例えば、Ｉ／Ｏインターフェイスを介して、データ処理手段１１と電気的に接続してもよい。また、本発明の追跡装置は、例えば、さらに、ビデオコーデック、コントローラ（システムコントローラ、Ｉ／Ｏコントローラ等）を含んでもよい。これらの点を除き、追跡装置３０は、追跡装置１０と同様の構成を有し、その説明を援用できる。

【0042】

［変形例１］
変形例１は、本発明の追跡装置および追跡方法に関する。変形例１の追跡装置および追跡方法は、例えば、実施形態１の追跡装置および追跡方法の説明を援用できる。

【0043】

変形例１の追跡装置は、実施形態１の追跡装置に加えて、前記画像取得手段により、前記ｎ枚の画像のうち、ｍ枚目の画像を取得以後、前記ｋ枚の検出対象画像のうち、ｌ枚目の検出対象画像に対する検出を前記検出手段が実施しているかを判定する検出処理判定手段を含む。この場合、変形例１の追跡装置は、例えば、前記検出処理判定手段により、前記検出手段による検出が実施されていないと判定された場合、前記検出手段は、前記ｍ枚目の画像をｌ＋１枚目の検出対象画像として、前記搬送物を検出する。

【0044】

前記「ｍ」は、ｎ以下の正の整数である。すなわち、ｍは、１≦ｍ≦ｎを満たす整数である。また、前記「ｌ」は、ｋ−１以下の正の整数である。すなわち、ｌは、１≦ｌ≦ｋ−１を満たす整数である。

【0045】

前記検出処理判定手段は、例えば、前記画像取得手段および前記検出手段と電気的に接続されている。前記検出処理判定手段は、例えば、ＣＰＵがあげられる。

【0046】

変形例１の追跡方法は、実施形態１の追跡方法に加えて、前記画像取得工程において、前記ｎ枚の画像のうち、ｍ枚目の画像を取得以後、前記ｋ枚の検出対象画像のうち、ｌ枚目の検出対象画像に対する検出を前記検出工程が実施しているかを判定する検出処理判定工程を含む。この場合、変形例１の追跡方法は、例えば、前記検出処理判定工程において、前記検出工程による検出が実施されていないと判定された場合、前記検出工程において、前記ｍ枚目の画像をｌ＋１枚目の検出対象画像として、前記搬送物を検出する。

【0047】

変形例１の追跡方法は、例えば、変形例１の追跡装置を用いて実施できる。具体的には、まず、前記画像取得手段により、ｍ枚目の画像を取得する（画像取得工程）。つぎに、前記検出処理判定手段により、前記ｌ枚目の検出対象画像に対する検出を前記検出手段が実施しているかを判定する（検出処理判定工程）。具体的には、前記検出処理判定手段は、例えば、前記検出手段による処理が稼働しているかを、検出処理を実施するＣＰＵの稼働状況を確認することで判定する。そして、前記検出処理判定手段により、前記検出手段による検出が実施されていないと判定された場合、前記検出手段により、前記ｍ枚目の画像をｌ＋１枚目の検出対象画像として選択し、前記搬送物を検出する（検出工程）。他方、前記検出処理判定手段により、前記検出手段による検出が実施されていると判定された場合、前記検出手段による検出は実施しない。この場合、前記追跡手段により、前記ｍ枚目の画像において、前記検出された搬送物を追跡してもよい。これにより、変形例１の追跡装置および追跡方法は、例えば、前記検出処理を実施しない画像についても、前記検出された搬送物を追跡できるため、追跡の精度をより向上できる。

【0048】

また、変形例１の追跡装置が後述の対応付け手段を含む場合、前記検出処理判定手段は、例えば、前記ｌ枚目の検出対象画像の検出結果と、前記ｎ枚の画像のうち、前記ｌ枚目の検出対象画像のつぎの画像の追跡結果との対応付けを、前記対応付け手段が実施しているかを判定してもよい。この場合、前記検出処理判定手段により、前記検出手段による検出および前記対応付け手段による対応付けが実施されていないと判定された場合、前記検出手段は、前記ｍ枚目の画像をｌ＋１枚目の検出対象画像として、前記搬送物を検出することが好ましい。さらに、変形例１の追跡方法が後述の対応付け工程を含む場合、前記検出処理判定工程は、例えば、前記ｌ枚目の検出対象画像の検出結果と、前記ｎ枚の画像にうち、前記ｌ枚目の検出対象画像のつぎの画像の追跡結果との対応付けを、前記対応付け工程が実施しているかを判定してもよい。この場合、前記検出処理判定工程により、前記検出工程による検出および前記対応付け工程による対応付けが実施されていないと判定された場合、前記検出工程は、前記ｍ枚目の画像をｌ＋１枚目の検出対象画像として、前記搬送物を検出することが好ましい。

【0049】

以上説明したように、変形例１の追跡装置および追跡方法によれば、前記検出手段または検出工程における検出処理が実施されているかを判定し、前記検出処理が実施されていない場合、新たに所得したｍ枚目の画像について、検出処理を実施できる。このため、新たに取得した画像が検出処理されずに、作業待ちとなることを防止できる。したがって、変形例１の追跡装置および追跡方法によれば、処理時間をより短縮できる。

【0050】

［変形例２］
変形例２は、本発明の追跡装置および追跡方法に関する。変形例２の追跡装置および追跡方法は、例えば、実施形態１の追跡装置および追跡方法の説明を援用できる。

【0051】

変形例２の追跡装置は、実施形態１の追跡装置に加えて、前記検出手段が、前記搬送物の位置情報を取得し、前記追跡手段は、前記ｎ枚の画像のうち、ｊ枚目の画像と、ｊ−１枚目以前の画像と、前記ｊ−１枚目以前の画像における搬送物の位置情報とに基づき、前記ｊ枚目の画像における搬送物の位置情報を算出することにより、前記搬送物を追跡する。

【0052】

前記「ｊ」は、２以上、ｎ以下の正の整数である。すなわち、ｊは、２≦ｊ≦ｎを満たす整数である。

【0053】

変形例２の追跡方法は、実施形態１の追跡方法に加えて、前記検出工程において、前記搬送物の位置情報を取得し、前記追跡工程において、前記ｎ枚の画像のうち、ｊ枚目の画像と、ｊ−１枚目以前の画像と、前記ｊ−１枚目以前の画像における搬送物の位置情報とに基づき、前記ｊ枚目の画像における搬送物の位置情報を算出することにより、前記搬送物を追跡する。

【0054】

変形例２の追跡方法は、例えば、変形例２の追跡装置により実施できる。具体的には、まず、実施形態１と同様にして、１〜ｊ−１枚目の画像について、追跡を行なう。この際に、変形例２では、前記検出対象画像について、前記検出手段により搬送物を検出する際に、前記搬送物の位置情報を取得する（検出工程）。つぎに、実施形態１と同様にして、ｊ枚目の画像を取得する。前記ｊ枚目の画像が前記検出対象画像でない場合、前記検出手段による検出は実施しない。他方、前記ｊ枚目の画像が前記検出対象画像である場合、前記ｊ枚目の画像をｉ枚目の検出対象画像として選択し、検出手段による検出を実施し、前記ｉ枚目の検出対象画像における搬送物の位置情報を取得する（検出工程）。

【0055】

つぎに、前記ｊ枚目の画像における前記検出された搬送物について、追跡する（追跡工程）。具体的には、前記追跡手段により、前記ｊ枚目の画像と、前記ｊ−１枚目以前の画像と、前記ｊ−１枚目以前の画像における搬送物の位置情報とを取得する。そして、前記ｊ枚目の画像と、前記ｊ−１枚目以前の画像と、前記ｊ−１枚目以前の画像における搬送物の位置情報とに基づき、例えば、前記オプティカルフロー推定により、前記ｊ枚目の画像において検出された搬送物の位置情報を算出する。

【0056】

前記ｊ枚目の画像がｉ枚目の検出対象画像の場合、前記追跡工程において、前記追跡手段により、前記ｊ枚目の画像と、ｉ−１枚目以前の検出対象画像と、前記ｉ−１枚目以前の検出対象画像における搬送物の位置情報とに基づき、前記ｊ枚目の画像における搬送物の位置情報を算出することにより、前記搬送物の位置を追跡することが好ましい。前記ｉ−１枚目以前の検出対象画像は、ｉ−１枚目の検出対象画像を含むことが好ましい。これにより、ｉ−１枚目の検出対象画像において新たに検出された搬送物も追跡できるため、前記搬送物の追跡漏れを抑制でき、追跡の精度をより向上できる。前記検出工程および前記追跡工程における搬送物の位置情報は、前記搬送物の座標または中心座標が好ましい。

【0057】

前記「ｉ」は、２以上、ｋ以下の整数である。すなわち、ｉは、２≦ｉ≦ｋを満たす整数である。

【0058】

以上説明したように、変形例２の追跡装置および追跡方法によれば、前記ｊ枚目の画像と、前記ｊ−１枚目以前の画像と、前記ｊ−１枚目以前の画像における搬送物の位置情報とに基づき、前記ｊ枚目の画像における搬送物の位置情報を算出するため、前記追跡時の処理を低減できる。したがって、変形例２の追跡装置および追跡方法によれば、処理時間をより短縮できる。

【0059】

［変形例３］
変形例３は、本発明の追跡装置および追跡方法に関する。変形例３の追跡装置および追跡方法は、例えば、実施形態１の追跡装置および追跡方法の説明を援用できる。

【0060】

変形例３の追跡装置は、実施形態１の追跡装置に加えて、前記追跡手段が、前記検出対象画像で検出された搬送物の位置情報を取得し、前記追跡手段で得られた搬送物の位置情報に基づき、前記搬送物が誤検出物であるかを判定する誤検出判定手段を含む。

【0061】

前記誤検出判定手段は、例えば、前記検出手段および前記追跡手段と電気的に接続されている。前記誤検出判定手段は、例えば、ＣＰＵがあげられる。

【0062】

前記検出された搬送物の位置情報は、例えば、前記搬送物の座標または中心座標が好ましい。また、前記追跡手段で得られた搬送物の位置情報は、前記搬送物の座標または中心座標が好ましい。

【0063】

変形例３の追跡方法は、実施形態１の追跡方法に加えて、前記追跡工程において、前記検出対象画像で検出された搬送物の位置情報を取得し、前記追跡工程で得られた搬送物の位置情報に基づき、前記搬送物が誤検出物であるかを判定する誤検出判定工程を含む。

【0064】

変形例３の追跡方法は、例えば、変形例３の追跡装置により実施できる。具体的には、まず、実施形態１と同様にして、前記検出工程および前記追跡工程を実施する。この際に、変形例３では、前記検出対象画像で検出された搬送物について、前記追跡に用いる画像（例えば、変形例２におけるｊ枚目の画像）における搬送物の位置情報を算出することにより、取得する。つぎに、前記誤検出判定手段により、前記追跡工程において得られた搬送物の位置情報に基づき、前記搬送物が誤検出物であるかを判定する（誤検出判定工程）。具体的に、前記誤検出物の判定は、例えば、複数の画像間における前記検出された搬送物の位置の変化量に基づき、実施できる。具体例として、所定の画像数における、前記検出された搬送物の位置（例えば、座標または中心座標）の変化量が、所定の数値以下である場合、前記検出された搬送物は、誤検出物であると判定できる。また、各画像から算出された搬送物の平均移動ベクトルと、画像間（例えば、ｊ−１枚目の画像と、ｊ枚目の画像）の検出された搬送物の移動ベクトルとの乖離が、各画像から算出された搬送物の平均移動ベクトルの標準偏差以上の場合、前記検出された搬送物は、誤検出物であると判定してもよい。前記所定の数値は、例えば、１０ピクセル、５ピクセル、１ピクセルがあげられる。また、このような条件に設定することにより、変形例３は、前記誤検出物をより精度よく、検出できる。前記所定の画像数は、例えば、１〜１０フレーム、１〜５フレーム、１〜３フレームである。前記所定の数値は、例えば、前記画像により撮像される前記搬送装置の大きさ、前記搬送ルートの長さに応じて、適宜設定できる。前記誤検出物と判定された搬送物および前記搬送物に関連付けられた情報は、例えば、前記検出結果および追跡結果から削除することが好ましい。前記削除は、例えば、新たな検出対象画像（つぎの検出対象画像）における搬送物の検出に先立ち実施する。前記削除を、前記誤検出判定手段または誤検出判定工程とともに実施しない場合、前記誤検出判定手段または誤検出判定工程では、前記検出結果および追跡結果における搬送物および前記搬送物に関連付けられた情報に、削除フラグを付与する。

【0065】

以上説明したように、変形例３の追跡装置および追跡方法によれば、前記搬送物として誤検出された誤検出物かを判定できるため、不要な追跡処理の実施を低減できる。したがって、変形例３の追跡装置および追跡方法によれば、処理時間をより短縮できる。

【0066】

［変形例４］
変形例４は、本発明の追跡装置および追跡方法に関する。変形例４の追跡装置および追跡方法は、例えば、実施形態１の追跡装置および追跡方法の説明を援用できる。

【0067】

変形例４の追跡装置は、実施形態１の追跡装置に加えて、前記ｋ枚の検出対象画像のうち、ｈ枚目の検出対象画像における搬送物の検出結果と、前記ｎ枚の画像のうち、前記ｈ枚目の検出対象画像のつぎに取得された画像における搬送物の追跡結果に基づき、前記検出された搬送物と前記追跡された搬送物とのうち、同じ搬送物を対応づける対応付け手段を含む。

【0068】

前記対応付け手段は、例えば、前記検出手段および前記追跡手段と電気的に接続されている。前記対応付け手段は、例えば、ＣＰＵがあげられる。

【0069】

前記「ｈ」は、ｋ以下の正の整数である。すなわち、ｈは、１≦ｈ≦ｋを満たす整数である。

【0070】

変形例４の追跡方法は、実施形態１の追跡方法に加えて、前記ｋ枚の検出対象画像のうち、ｈ枚目の検出対象画像における搬送物の検出結果と、前記ｎ枚の画像のうち、前記ｈ枚目の検出対象画像のつぎに取得された画像における搬送物の追跡結果に基づき、前記検出された搬送物と前記追跡された搬送物とのうち、同じ搬送物を対応づける対応付け工程を含む。

【0071】

変形例４の追跡方法は、例えば、変形例４の追跡装置により実施できる。具体的には、前記対応付け手段により、ｈ枚目の検出対象画像における搬送物の検出結果を取得する。つぎに、前記対応付け手段により、前記ｎ枚の画像のうち、前記ｈ枚目の検出対象画像のつぎに取得された画像における搬送物の追跡結果を取得する。そして、前記対応付け手段は、例えば、前記検出結果における各搬送物の領域と、前記追跡結果における各搬送物の領域の重なりを算出することにより、同じ搬送物が存在するかを判定する。これにより、前記対応付け手段は、例えば、各搬送物の距離に基づき判定する場合と比較して、各画像における同じ搬送物をより正確に対応付けできる。そして、前記領域の重なりが存在する場合、前記重なりが生じている前記検出結果における搬送物と、前記追跡結果における搬送物とが、同じ搬送物であると判定し、同一の搬送物として関連付ける対応付けを実施する。また、前記検出結果および追跡結果において、複数の搬送物が存在する場合、前記対応付け手段は、例えば、下記のように対応付けする。具体的には、まず、前記検出結果における搬送物と、前記追跡結果における搬送物との全ての組合せについて、それぞれ、領域の重複率を算出する。前記追跡結果の搬送物の領域をＡとし、前記検出結果の搬送物の領域をＢとした場合、前記重複率は、例えば、前記追跡結果の搬送物の領域（Ａ）において、前記検出結果の搬送物が重複する領域の割合（Ａ∩Ｂ／Ａ）、前記検出結果の搬送物の領域（Ｂ）において、前記追跡結果の搬送物が重複する領域の割合（Ａ∩Ｂ／Ｂ）、前記追跡結果の搬送物の領域および前記検出結果の搬送物の領域の和集合（Ａ∪Ｂ）において、前記追跡結果の搬送物の領域と前記検出結果の搬送物の領域とが重複する領域（Ａ∩Ｂ）の割合（Ａ∩Ｂ／Ａ∪Ｂ）等があげられる。そして、算出された重複率において、重複率が高い組合せから順番に同一の搬送物として関連付ける対応付けを、繰り返し実施する。前記対応付け工程において、前記重複率に基づき対応付けを行なう場合、例えば、前記重複率が所定割合以下の搬送物については、対応付けを実施しなくてもよい。また、前記対応付け手段は、例えば、前記検出結果における各搬送物の座標（例えば、中心座標）と、前記追跡結果における各搬送物の座標（例えば、中心座標）との距離を算出することにより、同じ搬送物が存在するかを判定してもよい。この場合、前記対応付け手段は、例えば、前記距離が短い組合せから順番に同一の搬送物として関連付ける対応付けを、繰り返し実施する。

【0072】

以上説明したように、変形例４の追跡装置および追跡方法によれば、前記検出結果および前記追跡結果における同じ搬送物について、対応付けすることができる。このため、変形例４の追跡装置および追跡方法によれば、同じ搬送物について、別の搬送物であるとして、それぞれを追跡する必要がなくなり、処理時間をより短縮できる。

【0073】

［変形例５］
変形例５は、本発明の追跡装置および追跡方法に関する。変形例５の追跡装置および追跡方法は、例えば、実施形態１の追跡装置および追跡方法の説明を援用できる。

【0074】

変形例５の追跡装置は、実施形態１の追跡装置に加え、前記画像より前に取得された検出対象画像で検出された搬送物が存在するかを判定する搬送物判定手段を含み、前記搬送物判定手段が前記検出された搬送物が存在すると判定した場合、前記追跡手段は、追跡する。

【0075】

前記搬送物判定手段は、例えば、前記検出手段および前記追跡手段と電気的に接続されている。前記搬送物判定手段は、例えば、ＣＰＵがあげられる。

【0076】

変形例５の追跡方法は、実施形態１の追跡方法に加え、前記画像より前に取得された検出対象画像で検出された搬送物が存在するかを判定する搬送物判定工程を含み、前記搬送物判定工程において前記検出された搬送物が存在すると判定した場合、前記追跡工程は、追跡する。

【0077】

変形例５の追跡方法は、例えば、変形例５の追跡装置により実施できる。具体的には、前記搬送物判定手段により、ｑ枚目の画像より前に取得された検出対象画像で検出された搬送物の検出結果を取得する。そして、取得された搬送物の検出結果において、前記搬送物判定手段により、前記検出された搬送物が存在するかを判定する。そして、前記検出された搬送物が存在する場合、前記追跡手段による追跡工程を実施する。また、前記搬送物の検出結果に前述の削除フラグが付与されている場合、前記搬送物判定手段は、例えば、前記削除フラグが付与された搬送物は、検出されていないと判定してもよい。これにより、例えば、前記誤検出物の追跡を回避できるため、処理時間をより短縮できる。前記「ｑ」は、ｎ以下の正の整数である。すなわち、ｑは、１≦ｑ≦ｎを満たす整数である。

【0078】

以上説明したように、変形例５の追跡装置および追跡方法によれば、前記検出された搬送物が存在するかを判定する。このため、変形例５の追跡装置および追跡方法によれば前記検出された搬送物が存在しない場合、または追跡すべき搬送物が存在しない場合に、前記追跡工程を実施しなくてよいため、処理時間をより短縮できる。

【0079】

なお、変形例１〜５は、それぞれを単独で使用してもよいが、処理時間をより短縮、かつ追跡の精度をより向上できるため、複数を組合せて使用することが好ましく、全てを組合せ使用することがさらに好ましい。前記複数の組合せの場合、前記組合せは、特に制限されず、任意の組合せとできる。

【0080】

［実施形態２］
実施形態２は、本発明の追跡装置および追跡方法に関する。

【0081】

図６に、本実施形態における追跡装置のブロック図を示す。図６に示すように、本実施形態の追跡装置４０は、実施形態１の追跡装置１０に加え、検出処理判定手段１１４、搬送物判定手段１１５、誤検出判定手段１１６、および対応付け手段１１７を含む。図６に示すように、画像取得手段１１１、検出手段１１２、追跡手段１１３、検出処理判定手段１１４、搬送物判定手段１１５、誤検出判定手段１１６、および対応付け手段１１７は、例えば、ハードウェアであるデータ処理手段（データ処理装置）１１に組み込まれてもよく、ソフトウェアまたは前記ソフトウェアが組み込まれたハードウェアでもよい。データ処理手段１１は、ＣＰＵ等を備えてもよい。また、データ処理手段１１は、例えば、前述のＲＯＭ、ＲＡＭ等のデータ記憶手段を備えてもよい。この場合、各手段が、例えば、前記データ記憶手段における対応する記憶部と電気的に接続されている。

【0082】

また、本実施形態において、検出処理判定手段１１４は、画像取得手段１１１および検出手段１１２と、搬送物判定手段１１５は、検出手段１１２および追跡手段１１３と、誤検出判定手段１１６は、検出手段１１２および追跡手段１１３と、対応付け手段１１７は、検出手段１１２および追跡手段１１３と、それぞれ、電気的に接続されている。これらの点を除き、実施形態２の追跡装置４０の構成は、実施形態１の追跡装置１０の構成と同様であり、その説明を援用できる。また、検出処理判定手段１１４、搬送物判定手段１１５、誤検出判定手段１１６、および対応付け手段１１７の説明は、変形例１〜５の説明を援用できる。

【0083】

つぎに、図７および８に、本実施形態における追跡方法のフローチャートを示す。本実施形態の追跡方法は、例えば、図６の追跡装置４０を用いて、つぎのように実施する。図７に示すように、本実施形態の追跡方法は、Ｓ１ステップ（画像取得）、Ｓ４ステップ（検出処理判定）、Ｓ６ステップ（追跡データの更新）、Ｓ２’ステップ（検出／対応付け）、Ｓ７ステップ（搬送物判定）、Ｓ３ステップ（追跡）、Ｓ８ステップ（追跡データの追加）、およびＳ９ステップ（誤検出判定）から構成されるメインスレッドを含む。また、図８に示すように、Ｓ２’ステップは、Ｓ２ステップ（検出）、Ｓ１０ステップ（対応付け、同期）、およびＳ１１ステップ（検出結果の出力）から構成されるサブスレッドを含む。

【0084】

図９および１０を用いて、本実施形態の追跡方法についてより具体的に説明する。図９は、追跡装置４０により取得される画像を示す図である。また、図１０は、Ｓ２ステップ（検出）およびＳ１０ステップ（対応付け、同期）を含むＳ２’ステップと、Ｓ３ステップ（追跡）との処理のタイムラインを示す図である。

【0085】

（フレーム１）
まず、Ｓ１ステップにおいて、画像取得手段１１１により、フレーム１（１枚目の画像）を取得する。つぎに、検出処理判定手段１１４により、検出処理が実施されているかを判定する（Ｓ４）。フレーム１では、検出処理は実施されていないため、Ｎｏである場合に進む。つぎに、例えば、検出手段１１２により、検出結果および追跡結果が関連付けられた追跡データを更新する（Ｓ６）。フレーム１では、前記検出結果および前記追跡結果は存在しないため、追跡データの更新は行なわずに、Ｓ２’ステップに進み、サブスレッドを開始する。

【0086】

サブスレッドの開始後、Ｓ２ステップにおいて、検出手段１１２により、フレーム１を検出対象画像として選択し、フレーム１における対象物１ａおよび対象物２ａを検出する。検出手段１１２は、第１の対象物１および第２の対象物２を検出可能な学習モデルを用いて、第１の対象物１ａおよび第２の対象物２ａを検出する。そして、検出手段１１２による検出により、第１の対象物１ａについて、その中心座標、縦横サイズ（占める領域）、および確信度（第１の対象物１である可能性）が、フレーム１と関連付けられた検出結果として出力される。また、第２の対象物２ａについて、その中心座標、縦横サイズ（占める領域）等の位置情報、および確信度（第２の対象物２である可能性）が、フレーム１と関連付けられた検出結果として出力される。

【0087】

つぎに、Ｓ１０ステップでは、対応付け手段１１７により、検出された第１の対象物１ａおよび第２の対象物２ａと、フレーム１のつぎの画像の追跡結果における対象物とのうち、同じ搬送物を対応づける。フレーム１では、検出された第１の対象物１ａおよび第２の対象物２ａと比較可能な追跡データが存在しないため、対応付けは行なわず、Ｓ１１ステップに進む。Ｓ１１ステップでは、第１の対象物１ａおよび第２の対象物２ａの検出結果ならびにフレーム１を出力する。そして、サブスレッドを終了する。

【0088】

他方、Ｓ２’ステップにおけるＳ２ステップ、Ｓ１０ステップおよびＳ１１ステップと並行して、Ｓ７ステップを実施する。Ｓ７ステップでは、搬送物判定手段１１５により、前記検出された搬送物が存在するかを判定する。フレーム１では、フレーム１より前に検出された搬送物は存在しないため、Ｎｏである場合、すなわち、Ｓ１ステップに進む。

【0089】

（フレーム２−４）
つぎに、Ｓ１ステップにおいて、画像取得手段１１１により、フレーム２を取得する。そして、検出処理判定手段１１４により、検出処理が実施されているかを判定する（Ｓ４）。フレーム２では、図１０に示すように、フレーム１の検出処理が終了し、検出処理は実施されていないため、Ｎｏである場合に進む。つぎに、例えば、検出手段１１２により、追跡データを更新する（Ｓ６）。フレーム１において、第１の対象物１ａおよび第２の対象物２ａが検出され、第１の対象物１ａおよび第２の対象物２ａの検出結果が出力されている。そこで、Ｓ６ステップでは、これらを検出された対象物とし、フレーム１における第１の対象物１ａおよび第２の対象物２ａの位置情報および確信度を追跡データとして記録する。また、第１の対象物１ａについて、第１の対象物１としての検出回数を１回として記録し、第２の対象物２ａについて、第２の対象物２としての検出回数を１回として記録する。なお、前記確信度および検出回数は、対象物の種類毎にリスト化し、保持する。そして、Ｓ２’ステップに進み、サブスレッドを開始する。

【0090】

サブスレッドの開始後、まず、Ｓ２ステップにおいて、検出手段１１２により、フレーム２を検出対象画像として選択し、フレーム１で検出された第１の対象物１ａおよび第２の対象物２ａとともに、フレーム２における第１の対象物１ｂを検出する。これにより、検出手段１１２による検出により、第１の対象物１ａ、１ｂについて、その中心座標、縦横サイズ（占める領域）、および確信度（対象物１である可能性）が、フレーム２と関連付けられた検出結果として出力される。また、第２の対象物２ａについて、その中心座標、縦横サイズ（占める領域）等の位置情報、および確信度（対象物２である可能性）が、フレーム２と関連付けられた検出結果として出力される。

【0091】

つぎに、Ｓ１０ステップでは、対応付け手段１１７により、検出された第１の対象物１ａ、１ｂおよび第２の対象物２ａと、フレーム２のつぎの画像、すなわち、後述するフレーム３の追跡結果における対象物とのうち、同じ対象物について、同一の対象物として対応づける。具体的には、フレーム２において、実線または破線で示す第１の対象物１ａおよび第２の対象物２ａの各領域と、フレーム３において実線または破線で示す第１の対象物１ａおよび第２の対象物２ａの各領域との重複率を、全ての対象物の組合せで算出する。前記各領域は、各対象物の中心座標および縦横サイズから算出する。そして、算出された重複率において、重複率が高いものから順番に同一の対象物として関連付ける対応付けを繰り返し、実施する。まず、フレーム２における第２の対象物２ａとフレーム３における第２の対象物２ａとの重複率は、他の対象物の組合せの重複率より高いため、同じ対象物として関連付けすることにより、対応づける。また、フレーム２における第１の対象物１ａについても、同様にして、フレーム３における第１の対象物１ａと対応付けする。

【0092】

そして、Ｓ１１ステップでは、第１の対象物１ａ、１ｂおよび第２の対象物２ａの検出結果、フレーム２および３における第１の対象物１ａおよび第２の対象物２ａの対応関係ならびにフレーム２を出力する。そして、サブスレッドを終了する。

【0093】

他方、Ｓ２’ステップにおけるＳ２ステップ、Ｓ１０ステップおよびＳ１１ステップと並行して、Ｓ７ステップを実施する。Ｓ７ステップでは、搬送物判定手段１１５により、前記検出された搬送物が存在するかを判定する。前記検出された第１の対象物１ａおよび第２の対象物２ａが存在するため、Ｙｅｓである場合に進む。

【0094】

つぎに、Ｓ３ステップを実施する。ここで、フレーム２は、検出対象画像であるため、追跡手段１１３により、１つ前の検出対象画像であるフレーム１に基づき、第１の対象物１ａおよび第２の対象物２ａを追跡する。具体的には、Ｓ３ステップでは、第１の対象物１ａおよび第２の対象物２ａについて、フレーム１における第１の対象物１ａおよび第２の対象物２ａの中心座標ならびにフレーム１および２に基づき、オプティカルフロー推定により、フレーム２における第１の対象物１ａおよび第２の対象物２ａの中心座標を、それぞれ算出する。そして、Ｓ８ステップにおいて、例えば、追跡手段１１３により、算出された第１の対象物１ａおよび第２の対象物２ａの中心座標をフレーム２における対象物１ａ、２ａの位置情報として、第１の対象物１ａおよび第２の対象物２ａの位置情報に追加する。

【0095】

Ｓ９ステップでは、誤検出判定手段１１６により、第１の対象物１ａおよび第２の対象物２ａが誤検出物であるかを判定する。具体的には、第１の対象物１ａおよび第２の対象物２ａのそれぞれについて、所定のフレーム数における中心座標の変化量が、所定の数値以下であるかを判定する。第１の対象物１ａおよび第２の対象物２ａが前記条件を満たす場合、誤検出判定手段１１６により、該当する第１の対象物１ａおよび第２の対象物２ａの追跡データに、削除フラグが付与される。そして、削除フラグが付与された追跡データは、つぎのＳ６ステップ時に削除される。なお、本実施形態では、第１の対象物１ａおよび第２の対象物２ａは、前記条件を満たさないため、削除フラグを付与しない。

【0096】

Ｓ９ステップの終了後、Ｓ１ステップに進み、画像取得手段１１１によりフレーム３を取得する。そして、検出処理判定手段１１４により、検出処理が実施されているかを判定する（Ｓ４）。フレーム３では、図１０に示すように、フレーム２の検出処理が終了しておらず、検出処理は実施されているため、Ｙｅｓである場合に進む。そして、Ｓ３工程において、１つ前の検出対象画像に代えて、１つ前の画像であるフレーム２を用いる以外はフレーム２と同様にして、フレーム３に対して、Ｓ７、Ｓ３、Ｓ８およびＳ９ステップを実施する。

【0097】

フレーム３に対するＳ９ステップの終了後、Ｓ１ステップに進み、画像取得手段１１１によりフレーム４を取得する。そして、フレーム４に対して、フレーム３と同様にして、Ｓ４、Ｓ７、Ｓ３、Ｓ８およびＳ９ステップを実施する。Ｓ９ステップ後、Ｓ１ステップに進む。

【0098】

フレーム５以降の画像についても、フレーム２−４の追跡方法と同様にして、追跡を行ない、画像取得手段１１１による画像の取得が終了するまで繰り返す。これにより、対象物を含む搬送物を追跡することができる。

【0099】

なお、本実施形態の追跡方法では、Ｓ７ステップにおいて、Ｎｏの場合、および／またはＳ９ステップ後において、新たな画像が取得されているか判定してもよい。そして、Ｙｅｓの場合、すなわち、新たな画像が取得されている場合、Ｓ１ステップに進む。他方、Ｎｏの場合、すなわち、新たな画像が取得されていない場合、本実施形態の追跡方法を終了する。

【0100】

以上説明したように、実施形態２の追跡装置および追跡方法によれば、検出処理および追跡処理を並行して処理する。このため、実施形態２の追跡装置および追跡方法では、検出処理の実施時に、追跡処理を待機させる必要がない。このため、実施形態２の追跡装置および追跡方法は、変形例１〜５を組合せた装置と比較して、さらに処理時間を短縮できる。

【0101】

［実施形態３］
実施形態３は、本発明の計数装置および計数方法に関する。本実施形態の計数装置および計数方法は、例えば、前記追跡装置および追跡方法の説明を援用できる。

【0102】

図１１に、本実施形態における計数装置のブロック図を示す。図１１に示すように、本実施形態の計数装置５０は、実施形態１の追跡装置１０に加え、計数手段１１８を含む。図１１に示すように、画像取得手段１１１、検出手段１１２、追跡手段１１３、および計数手段１１８は、例えば、ハードウェアであるデータ処理手段（データ処理装置）１１に組み込まれてもよく、ソフトウェアまたは前記ソフトウェアが組み込まれたハードウェアでもよい。データ処理手段１１は、ＣＰＵ等を備えてもよい。また、データ処理手段１１は、例えば、前述のＲＯＭ、ＲＡＭ等のデータ記憶手段を備えてもよい。この場合、各手段が、例えば、前記データ記憶手段における対応する記憶部と電気的に接続されている。

【0103】

計数手段１１８は、追跡手段１１３と電気的に接続されている。計数手段１１８は、例えば、ＣＰＵがあげられる。計数手段１１８は、前記追跡された搬送物をカウントする。具体的には、追跡手段１１３が前記検出された搬送物の位置情報を取得している場合、計数手段１１８は、例えば、前記搬送物の位置情報に基づき、前記搬送物をカウントする。カウントに利用する搬送物の位置情報は、例えば、１以上の画像における搬送物の座標（例えば、中心座標）、２以上の画像における搬送物の座標を連結した軌跡等があげられる。

【0104】

つぎに、図１２に、本実施形態における計数方法のフローチャートを示す。本実施形態の計数方法は、例えば、図１１の計数装置５０を用いて、つぎのように実施する。図１２に示すように、本実施形態の計数方法は、実施形態１の追跡方法であるＳ１ステップ（画像取得）、Ｓ２ステップ（検出）、およびＳ３ステップ（追跡）に加え、Ｓ１２ステップ（計数）を含む。本実施形態において、Ｓ２ステップおよびＳ３ステップは、並列に実施されてもよいし、直列に実施されてもよい。

【0105】

まず、実施形態１の追跡方法と同様にして、Ｓ１−Ｓ３ステップを実施する。

【0106】

つぎに、Ｓ１２ステップでは、計数手段１１８により、追跡された搬送物をカウントする。具体的には、Ｓ１２ステップでは、計数手段１１８により、追跡された搬送物の位置情報が、前記搬送物をカウントする条件である計数条件を満たすかを判定する。前記計数条件は、例えば、前記搬送物の画像外への移動、前記搬送物の所定領域への移動、前記搬送物の軌跡の距離が所定距離を超える等があげられる。そして、計数手段１１８により、前記計数条件を満たしていると判定された搬送物について、カウントする。Ｓ１２ステップでは、前記カウント後、カウント済の搬送物の検出結果および追跡結果を、削除してもよい。また、前記実施形態２の追跡方法のように、追跡データを更新する工程を有する場合、カウント済の搬送物の検出結果および追跡結果に削除フラグを付与し、追跡データを更新する工程において、削除してもよい。これにより、同じ搬送物について、複数回カウントすることを防止できる。

【0107】

Ｓ１２ステップにおいて、前記搬送物が対象物を含む場合、前記対象物のみをカウントしてもよいし、前記対象物および対象物以外の搬送物をカウントしてもよい。また、前記搬送物が複数種類の対象物を含む場合、対象物毎にカウントしてもよい。前記対象物毎のカウントは、例えば、実施形態２の追跡方法における各対象物としての検出回数に基づき、実施できる。例えば、図９の第１の対象物１ａの第１の対象物１としての検出回数が７回、第２の対象物２としての検出回数が３回であり、対象物毎に検出回数が異なる場合、Ｓ１２ステップでは、第１の対象物１ａは、第１の対象物１であるとして、カウントする。また、例えば、図９の第１の対象物１ａの第１の対象物１としての検出回数が５回、第２の対象物２としての検出回数が５回であり、対象物毎の検出回数が同じ場合、例えば、さらに、前記追跡データにおける確信度に基づき、判断する。具体的には、第１の対象物１ａの前記追跡データに記録された確信度のうち、第１の対象物１の確信度および第２の対象物２の確信度の最高値を検出し、いずれが高いかを判定する。そして、第１の対象物１の確信度が、第２の対象物の確信度より高い場合、第１の対象物１ａは、第１の対象物１であるとして、カウントする。他方、第２の対象物２の確信度が、第１の対象物１の確信度より高い場合、第１の対象物１ａは、第２の対象物２であるとして、カウントする。本実施形態の計数装置が誤検出判定手段を含む場合、前記計数手段は、前記誤検出判定手段と電気的に接続されていることが好ましい。また、本実施形態の計数方法が誤検出判定工程を含む場合、前記計数工程は、前記誤検出判定工程の後に実施することが好ましい。

【0108】

以上説明したように、実施形態３の計数装置および計数方法は、それぞれ、実施形態１の追跡装置および追跡方法を含む。このため、実施形態３の計数装置および計数方法によれば、全ての画像において、前記搬送物を検出する参考例の装置を含む計数装置および計数方法と比較して、処理時間を短縮できる。

【0109】

本実施形態の計数装置において、例えば、同じ搬送物の検出回数を測定する検出回数測定手段を含み、前記搬送物の検出回数が所定回数以下の場合、前記計数手段は、前記検出回数が所定回数以下の搬送物をカウントしなくてもよい。また、本実施形態の計数方法において、例えば、同じ搬送物の検出回数を測定する検出回数測定工程を含み、前記搬送物の検出回数が所定回数以下の場合、前記計数工程は、前記検出回数が所定回数以下の搬送物をカウントしない。このような構成を採用することにより、例えば、前記検出工程において、検出手段１１２により、搬送物として誤検出された誤検出物のカウントを防止できるため、より正確に搬送物をカウントできる。また、前記検出回数測定手段または検出回数測定工程は、前述の誤検出判定手段または誤検出判定工程と組合せることが好ましい。これにより、誤検出物のカウントをより効果的に防止できるため、さらに正確に搬送物をカウントできる。

【0110】

［実施形態４］
実施形態４は、本発明の選別装置および選別方法に関する。本実施形態の選別装置および選別方法は、例えば、前記追跡装置および追跡方法の説明を援用できる。

【0111】

図１３に、本実施形態における選別装置のブロック図を示す。図１３に示すように、本実施形態の選別装置６０は、実施形態１の追跡装置１０に加え、選別手段１１９を含む。図１３に示すように、画像取得手段１１１、検出手段１１２、追跡手段１１３、および選別手段１１９は、例えば、ハードウェアであるデータ処理手段（データ処理装置）１１に組み込まれてもよく、ソフトウェアまたは前記ソフトウェアが組み込まれたハードウェアでもよい。データ処理手段１１は、ＣＰＵ等を備えてもよい。また、データ処理手段１１は、例えば、前述のＲＯＭ、ＲＡＭ等のデータ記憶手段を備えてもよい。この場合、各手段が、例えば、前記データ記憶手段における対応する記憶部と電気的に接続されている。

【0112】

選別手段１１９は、追跡手段１１３と電気的に接続されている。選別手段１１９は、例えば、ＣＰＵがあげられる。選別手段１１９は、前記追跡された搬送物における対象物を直接または間接的に選別する。前記間接的な選別であり、追跡手段１１３が前記検出された対象物の位置情報を取得している場合、選別手段１１９は、例えば、前記対象物の位置情報に基づき、装置内または装置外の選別装置により、前記対象物を選別する。前記選別に利用する搬送物の位置情報は、例えば、１以上の画像における搬送物の座標（例えば、中心座標）、２以上の画像における搬送物の座標を連結した軌跡等があげられる。前記選別装置は、例えば、複数種類の物を仕分け可能な仕分け装置、ロボットアーム等があげられる。前記直接的な選別であり、追跡手段１１３が前記検出された対象物の位置情報を取得している場合、選別手段１１９は、例えば、前記対象物の位置情報に基づき、前記追跡された搬送物における対象物を直接的に選別する。この場合、選別手段１１９は、例えば、前述の選別装置があげられる。

【0113】

つぎに、図１４に、本実施形態における選別方法のフローチャートを示す。本実施形態の選別方法は、例えば、図１３の選別装置６０を用いて、つぎのように実施する。図１４に示すように、本実施形態の選別方法は、実施形態１の追跡方法であるＳ１ステップ（画像取得）、Ｓ２ステップ（検出）、およびＳ３ステップ（追跡）に加え、Ｓ１３ステップ（選別）を含む。本実施形態において、Ｓ２ステップおよびＳ３ステップは、並列に実施されてもよいし、直列に実施されてもよい。

【0114】

まず、実施形態１の追跡方法と同様にして、Ｓ１−Ｓ３ステップを実施する。

【0115】

つぎに、Ｓ１３ステップでは、選別手段１１９により、追跡された搬送物における対象物を直接または間接的に選別する。具体的には、Ｓ１３ステップでは、選別手段１１９により、追跡された対象物および対象物以外の搬送物少なくとも一方の位置情報を取得する。そして、前記位置情報が前記対象物の位置情報の場合、Ｓ１３ステップでは、選別手段１１９により、例えば、前記対象物をより分けることにより、前記対象物を選別する。他方、前記位置情報が前記対象物以外の搬送物の位置情報の場合、Ｓ１３ステップでは、選別手段１１９により、例えば、前記対象物以外の搬送物を除去することにより、前記対象物を選別する。前記搬送物が複数種類の対象物を含む場合、複数種類の対象物と、前記対象物以外の搬送物とを選別してもよいし、さらに、複数種類の対象物について、それぞれ、選別してもよい。本実施形態の選別装置が誤検出判定手段を含む場合、前記選別手段は、前記誤検出判定手段と電気的に接続されていることが好ましい。また、本実施形態の選別方法が誤検出判定工程を含む場合、前記選別工程は、前記誤検出判定工程の後に実施することが好ましい。

【0116】

以上説明したように、実施形態４の選別装置および選別方法は、それぞれ、実施形態１の追跡装置および追跡方法を含む。このため、実施形態４の選別装置および選別方法によれば、全ての画像において、前記搬送物を検出する参考例の装置を含む選別装置および選別方法と比較して、処理時間を短縮できる。

【0117】

［実施形態５］
本実施形態のプログラムは、前述の追跡方法、計数方法、または選別方法を、コンピュータ上で実行可能なプログラムである。または、本実施形態のプログラムは、例えば、コンピュータ読み取り可能な記録媒体に記録されてもよい。前記記録媒体は、例えば、非一時的なコンピュータ可読記録媒体（non-transitory computer-readable storage medium）である。前記記録媒体は、特に制限されず、例えば、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、ハードディスク（ＨＤ）、光ディスク、フロッピー（登録商標）ディスク（ＦＤ）等があげられる。

【0118】

［実施形態６］
実施形態６は、本発明の追跡システムに関する。本発明の追跡システムは、例えば、前記追跡装置および追跡方法等の説明を援用できる。

【0119】

図１５に、本発明の追跡装置を用いた追跡システムの一例の構成を示す。図１５に示すように、本実施形態の追跡システムは、撮像装置３１ａ、３１ｂ、３１ｃと、通信インターフェイス３２ａ、３２ｂ、３２ｃと、サーバ３４とを備える。撮像装置３１ａは、通信インターフェイス３２ａに接続されている。撮像装置３１ａおよび通信インターフェイス３２ａは、場所Ｘに設置されている。撮像装置３１ｂは、通信インターフェイス３２ｂに接続されている。撮像装置３１ｂおよび通信インターフェイス３２ｂは、場所Ｙに設置されている。撮像装置３１ｃは、通信インターフェイス３２ｃに接続されている。撮像装置３１ｃおよび通信インターフェイス３２ｃは、場所Ｚに設置されている。そして、通信インターフェイス３２ａ、３２ｂ、３２ｃと、サーバ３４とが、通信回線網３３を介して接続されている。

【0120】

この追跡システムでは、サーバ３４側に、画像取得手段、検出手段、および追跡手段が格納される。また、前記追跡システムは、例えば、場所Ｘで撮像装置３１ａを用いて取得されたｎ枚の画像を、サーバ３４に送信し、サーバ３４側で、搬送物を追跡する。

【0121】

なお、本実施形態の追跡システムは、前述の実施形態および変形例の組合せに対応したものであってもよい。また、本実施形態の追跡システムは、例えば、クラウドコンピューティングに対応したものであってもよい。さらに、本実施形態の追跡システムは、通信インターフェイス３２ａ、３２ｂ、３２ｃと、サーバ３４とが、無線通信回線により接続されていてもよい。

【0122】

本実施形態の追跡システムによれば、搬送物を追跡する際のサーバでの処理時間を短縮できる。本実施形態の追跡システムによれば、撮像装置を現場に設置し、サーバ等は他の場所に設置して、オンラインにより搬送物を追跡できる。そのため、装置の設置に場所を取ることがなく、メンテナンスも容易である。また、各設置場所が離れている場合であっても、一箇所での集中管理や遠隔操作が可能となる。

【0123】

［実施形態７］
実施形態７は、本発明の計数システムに関する。本発明の計数システムは、例えば、前記追跡装置、追跡方法、計数装置、計数方法、および追跡システム等の説明を援用できる。

【0124】

本実施形態の計数システムは、実施形態６の追跡システムにおいて、サーバ３４内に、さらに計数手段が格納されている。そして、前記計数システムは、例えば、場所Ｘで計測画像取得手段３１１ａを用いて取得されたｎ枚の計測画像を、サーバ３４に送信し、サーバ３４側で、搬送物をカウントする。これらの点を除き、実施形態７の計数システムは、実施形態６の追跡システムの説明を援用できる。

【0125】

本実施形態の計数システムによれば、例えば、搬送物を追跡する際のサーバでの処理時間を短縮できる。このため、本実施形態の計数システムによれば、例えば、より短時間に搬送物を計数できる。本実施形態の計数システムによれば、撮像装置を現場に設置し、サーバ等は他の場所に設置して、オンラインにより搬送物をカウントできる。そのため、装置の設置に場所を取ることがなく、メンテナンスも容易である。また、各設置場所が離れている場合であっても、一箇所での集中管理や遠隔操作が可能となる。

【0126】

［実施形態８］
実施形態８は、本発明の選別システムに関する。本発明の選別システムは、例えば、前記追跡装置、追跡方法、選別装置、選別方法、および追跡システム等の説明を援用できる。

【0127】

図１６に、本発明の選別装置を用いた選別システムの一例の構成を示す。図１６に示すように、本実施形態の選別システムは、撮像装置３１ａ、３１ｂ、３１ｃと、選別装置３５ａ、３５ｂ、３５ｃと、通信インターフェイス３２ａ、３２ｂ、３２ｃと、サーバ３４とを備える。撮像装置３１ａおよび選別装置３５ａは、通信インターフェイス３２ａに接続されている。撮像装置３１ａ、選別装置３５ａ、および通信インターフェイス３２ａは、場所Ｘに設置されている。撮像装置３１ｂおよび選別装置３５ｂは、通信インターフェイス３２ｂに接続されている。撮像装置３１ｂ、選別装置３５ｂ、および通信インターフェイス３２ｂは、場所Ｙに設置されている。撮像装置３１ｃおよび選別装置３５ｃは、通信インターフェイス３２ｃに接続されている。撮像装置３１ｃ、選別装置３５ｃ、および通信インターフェイス３２ｃは、場所Ｚに設置されている。そして、通信インターフェイス３２ａ、３２ｂ、３２ｃと、サーバ３４とが、通信回線網３３を介して接続されている。

【0128】

この選別システムでは、サーバ３４側に、画像取得手段、検出手段、追跡手段、および選別手段が格納される。また、前記選別システムは、例えば、場所Ｘで撮像装置３１ａを用いて取得されたｎ枚の画像を、サーバ３４に送信し、サーバ３４側で、搬送物における対象物を追跡および選別する。また、サーバ３４が、例えば、選別される対象物の位置情報等を選別装置３５ａに送信し、選別装置３５ａが、前記選別される対象物を選別する。これらの点を除き、実施形態８の選別システムは、実施形態６の追跡システムの説明を援用できる。

【0129】

本実施形態の選別システムによれば、例えば、搬送物を追跡する際のサーバでの処理時間を短縮できる。このため、本実施形態の選別システムによれば、例えば、より短時間に搬送物における対象物を選別できる。また、本実施形態の選別システムによれば、撮像装置および選別装置を現場に設置し、サーバ等は他の場所に設置して、オンラインにより対象物を選別できる。そのため、装置の設置に場所を取ることがなく、メンテナンスも容易である。また、各設置場所が離れている場合であっても、一箇所での集中管理や遠隔操作が可能となる。

【0130】

以上、実施形態を参照して本発明を説明したが、本発明は、上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解しうる様々な変更をできる。

【0131】

＜付記＞
上記の実施形態および実施例の一部または全部は、以下の付記のように記載されうるが、以下には限られない。
（付記１）
搬送装置により搬送されている搬送物について、経時的にｎ枚の画像を取得する画像取得手段と、
前記ｎ枚の画像から選択されたｋ枚の検出対象画像について、前記搬送物を検出する検出手段と、
前記ｎ枚の画像のうち、ｋ枚目の検出対象画像より後に取得された画像において、前記ｋ枚目の検出対象画像で検出された搬送物を追跡する追跡手段とを含み、
前記検出手段におけるｋは、ｎより小さいことを特徴とする、搬送物の追跡装置。
（付記２）
前記画像取得手段により、前記ｎ枚の画像のうち、ｍ枚目の画像を取得以後、前記ｋ枚の検出対象画像のうち、ｌ枚目の検出対象画像に対する検出を前記検出手段が実施しているかを判定する検出処理判定手段を含み、
前記検出処理判定手段により、前記検出手段による検出が実施されていないと判定された場合、
前記検出手段は、前記ｍ枚目の画像をｌ＋１枚目の検出対象画像として、前記搬送物を検出する、付記１記載の追跡装置。
（付記３）
前記検出手段は、前記搬送物の位置情報を取得し、
前記追跡手段は、前記ｎ枚の画像のうち、ｊ枚目の画像と、ｊ−１枚目以前の画像と、前記ｊ−１枚目以前の画像における搬送物の位置情報とに基づき、前記ｊ枚目の画像における搬送物の位置情報を算出することにより、前記搬送物を追跡する、付記１または２記載の追跡装置。
（付記４）
前記ｊ枚目の画像がｉ枚目の検出対象画像の場合、前記追跡手段は、ｊ枚目の画像と、ｉ−１枚目以前の検出対象画像と、前記ｉ−１枚目以前の検出対象画像における搬送物の位置情報とに基づき、前記ｊ枚目の画像における搬送物の位置情報を算出することにより、前記搬送物の位置を追跡する、付記３記載の追跡装置。
（付記５）
前記追跡手段は、前記検出対象画像で検出された搬送物の位置情報を取得し、
前記追跡手段で得られた搬送物の位置情報に基づき、前記搬送物が誤検出物であるかを判定する誤検出判定手段を含む、付記１から４のいずれかに記載の追跡装置。
（付記６）
前記誤判定検出手段は、複数の画像間における前記検出された搬送物の位置の変化量に基づき、前記搬送物が誤検出物であるかを判定する、付記５記載の追跡装置。
（付記７）
前記ｋ枚の検出対象画像のうち、ｈ枚目の検出対象画像における搬送物の検出結果と、前記ｎ枚の画像のうち、前記ｈ枚目の検出対象画像のつぎに取得された画像における搬送物の追跡結果に基づき、前記検出された搬送物と前記追跡された搬送物とのうち、同じ搬送物を対応づける対応付け手段を含む、付記１から６のいずれかに記載の追跡装置。
（付記８）
前記画像より前に取得された検出対象画像で検出された搬送物が存在するかを判定する搬送物判定手段を含み、
前記搬送物判定手段が前記検出された搬送物が存在すると判定した場合、前記追跡手段は、追跡する、付記１から７のいずれかに記載の追跡装置。
（付記９）
前記検出手段による検出と、前記追跡手段による追跡とが、並列して実施される、付記１から８のいずれか一項に記載の追跡装置。
（付記１０）
前記検出手段は、前記搬送物を検出可能な学習モデルを用いて、前記搬送物を検出する、付記１から９のいずれかに記載の追跡装置。
（付記１１）
搬送装置により搬送されている搬送物について追跡する追跡手段と、
前記追跡された搬送物をカウントする計数手段とを含み、
前記追跡手段は、付記１から１０のいずれかに記載の搬送物の追跡装置であることを特徴とする、搬送物の計数装置。
（付記１２）
前記追跡手段は、前記検出対象画像で検出された搬送物の位置情報を取得し、
前記計数手段は、前記搬送物の位置情報に基づき、前記搬送物をカウントする、付記１１記載の計数装置。
（付記１３）
同じ搬送物の検出回数を測定する検出回数測定手段を含み、
前記搬送物の検出回数が所定回数以下の場合、前記計数手段は、前記検出回数が所定回数以下の搬送物をカウントしない、付記１１または１２記載の計数装置。
（付記１４）
搬送装置により搬送されている、対象物を含む搬送物について追跡する追跡手段と、
前記追跡された搬送物における対象物を選別する選別手段とを含み、
前記追跡手段は、付記１から１０のいずれかに記載の搬送物の追跡装置であることを特徴とする、搬送物の選別装置。
（付記１５）
搬送装置により搬送されている搬送物について、経時的にｎ枚の画像を取得する画像取得工程と、
前記ｎ枚の画像から選択されたｋ枚の検出対象画像について、前記搬送物を検出する検出工程と、
前記ｎ枚の画像のうち、ｋ枚目の検出対象画像より後に取得された画像において、前記ｋ枚目の検出対象画像で検出された搬送物を追跡する追跡工程とを含み、
前記検出工程におけるｋは、ｎより小さいことを特徴とする、搬送物の追跡方法。
（付記１６）
前記画像取得工程において、前記ｎ枚の画像のうち、ｍ枚目の画像を取得以後、前記ｋ枚の検出対象画像のうち、ｌ枚目の検出対象画像に対する検出を前記検出工程が実施しているかを判定する検出処理判定工程を含み、
前記検出処理判定工程において、前記検出工程による検出が実施されていないと判定された場合、
前記検出工程において、前記ｍ枚目の画像をｌ＋１枚目の検出対象画像として、前記搬送物を検出する、付記１５記載の追跡方法。
（付記１７）
前記検出工程において、前記搬送物の位置情報を取得し、
前記追跡工程において、前記ｎ枚の画像のうち、ｊ枚目の画像と、ｊ−１枚目以前の画像と、前記ｊ−１枚目以前の画像における搬送物の位置情報とに基づき、前記ｊ枚目の画像における搬送物の位置情報を算出することにより、前記搬送物を追跡する、付記１５または１６記載の追跡方法。
（付記１８）
前記ｊ枚目の画像がｉ枚目の検出対象画像の場合、前記追跡工程において、ｊ枚目の画像と、ｉ−１枚目以前の検出対象画像と、前記ｉ−１枚目以前の検出対象画像における搬送物の位置情報とに基づき、前記ｊ枚目の画像における搬送物の位置情報を算出することにより、前記搬送物の位置を追跡する、付記１７記載の追跡方法。
（付記１９）
前記追跡工程において、前記検出対象画像で検出された搬送物の位置情報を取得し、
前記追跡工程で得られた搬送物の位置情報に基づき、前記搬送物が誤検出物であるかを判定する誤検出判定工程を含む、付記１５から１８のいずれかに記載の追跡方法。
（付記２０）
前記誤判定検出工程において、複数の画像間における前記検出された搬送物の位置の変化量に基づき、前記搬送物が誤検出物であるかを判定する、付記１９記載の追跡方法。
（付記２１）
前記ｋ枚の検出対象画像のうち、ｈ枚目の検出対象画像における搬送物の検出結果と、前記ｎ枚の画像のうち、前記ｈ枚目の検出対象画像のつぎに取得された画像における搬送物の追跡結果に基づき、前記検出された搬送物と前記追跡された搬送物とのうち、同じ搬送物を対応づける対応付け工程を含む、付記１５から２０のいずれかに記載の追跡方法。
（付記２２）
前記画像より前に取得された検出対象画像で検出された搬送物が存在するかを判定する搬送物判定工程を含み、
前記搬送物判定工程において前記検出された搬送物が存在すると判定された場合、前記追跡工程は、追跡する、付記１５から２１のいずれかに記載の追跡方法。
（付記２３）
前記検出工程と、前記追跡工程とが、並列して実施される、付記１５から２２のいずれかに記載の追跡方法。
（付記２４）
前記検出工程において、前記搬送物を検出可能な学習モデルを用いて、前記搬送物を検出する、付記１５から２３のいずれかに記載の追跡方法。
（付記２５）
搬送装置により搬送されている搬送物について追跡する追跡工程と、
前記追跡された搬送物をカウントする計数工程とを含み、
前記追跡工程は、付記１５から２４のいずれかに記載の搬送物の追跡方法であることを特徴とする、搬送物の計数方法。
（付記２６）
前記追跡工程は、前記検出対象画像で検出された搬送物の位置情報を取得し、
前記計数工程は、前記搬送物の位置情報に基づき、前記搬送物をカウントする、付記２５記載の計数方法。
（付記２７）
同じ搬送物の検出回数を測定する検出回数測定工程を含み、
前記搬送物の検出回数が所定回数以下の場合、前記計数工程は、前記検出回数が所定回数以下の搬送物をカウントしない、付記２５または２６記載の計数方法。
（付記２８）
搬送装置により搬送されている、対象物を含む搬送物について追跡する追跡工程と、
前記追跡された搬送物における対象物を選別する選別工程とを含み、
前記追跡工程は、付記１５から２４のいずれかに記載の搬送物の追跡方法であることを特徴とする、搬送物の選別方法。
（付記２９）
搬送装置により搬送されている搬送物について、経時的にｎ枚の画像を取得する画像取得処理と、
前記ｎ枚の画像から選択されたｋ枚の検出対象画像について、前記搬送物を検出する検出処理と、
前記ｎ枚の画像のうち、ｋ枚目の検出対象画像より後に取得された画像において、前記ｋ枚目の検出対象画像で検出された搬送物を追跡する追跡処理とをコンピュータ上で実行可能であり、
前記検出処理におけるｋは、ｎより小さいことを特徴とする、プログラム。
（付記３０）
搬送装置により搬送されている搬送物について、経時的にｎ枚の画像を取得する画像取得処理と、
前記ｎ枚の画像から選択されたｋ枚の検出対象画像について、前記搬送物を検出する検出処理と、
前記ｎ枚の画像のうち、ｋ枚目の検出対象画像より後に取得された画像において、前記ｋ枚目の検出対象画像で検出された搬送物を追跡する追跡処理と、
前記追跡された搬送物の数をカウントする計数処理とをコンピュータ上で実行可能であり、
前記検出処理におけるｋは、ｎより小さいことを特徴とする、プログラム。
（付記３１）
搬送装置により搬送されている、対象物を含む搬送物について経時的にｎ枚の画像を取得する画像取得処理と、
前記ｎ枚の画像から選択されたｋ枚の検出対象画像について、前記搬送物を検出する検出処理と、
前記ｎ枚の画像のうち、ｋ枚目の検出対象画像より後に取得された画像において、前記ｋ枚目の検出対象画像で検出された搬送物を追跡する追跡処理と、
前記追跡された搬送物における対象物を選別する選別処理とをコンピュータ上で実行可能であり、
前記検出処理におけるｋは、ｎより小さいことを特徴とする、プログラム。
（付記３２）
付記２９から３１のいずれかに記載のプログラムを記録していることを特徴とする、コンピュータ読み取り可能な記録媒体。
（付記３３）
端末とサーバとを含み、
前記端末と前記サーバとは、システム外の通信回線網を介して、接続可能であり、
前記端末は、撮像装置を含み、
前記撮像装置は、搬送装置により搬送されている搬送物について、経時的にｎ枚の画像を撮像し、
前記サーバは、画像取得手段、検出手段、および追跡手段を含み、
前記画像取得手段は、前記搬送装置により搬送されている搬送物について、経時的にｎ枚の画像を取得し、
前記検出手段は、ｎ枚の画像のうち、ｋ枚の検出対象画像について、搬送物を検出し、
前記追跡手段は、ｎ枚の画像について、検出された搬送物を追跡し、
前記検出手段におけるｋは、ｎより小さいことを特徴とする、搬送物の追跡システム。
（付記３４）
端末とサーバとを含み、
前記端末と前記サーバとは、システム外の通信回線網を介して、接続可能であり、
前記端末は、撮像装置を含み、
前記撮像装置は、搬送装置により搬送されている搬送物について、経時的にｎ枚の画像を撮像し、
前記サーバは、画像取得手段、検出手段、追跡手段、および計数手段を含み、
前記画像取得手段は、前記搬送装置により搬送されている搬送物について、経時的にｎ枚の画像を取得し、
前記検出手段は、ｎ枚の画像のうち、ｋ枚の検出対象画像について、搬送物を検出し、
前記追跡手段は、前記ｎ枚の画像のうち、各検出対象画像より後に取得された画像において、前記各検出対象画像で検出された搬送物を追跡し、
前記計数手段は、前記追跡された搬送物の数を計数し、
前記検出手段におけるｋは、ｎより小さいことを特徴とする、搬送物の計数システム。
（付記３５）
端末とサーバとを含み、
前記端末と前記サーバとは、システム外の通信回線網を介して、接続可能であり、
前記端末は、撮像装置と選別装置とを含み、
前記撮像装置は、搬送装置により搬送されている、対象物を含む搬送物について、経時的にｎ枚の画像を撮像し、
前記選別手段は、追跡された搬送物における選別対象物を選別し、
前記サーバは、画像取得手段、検出手段、追跡手段、および選別手段を含み、
前記画像取得手段は、前記搬送装置により搬送されている、対象物を含む搬送物について、経時的にｎ枚の画像を取得し、
前記検出手段は、ｎ枚の画像のうち、ｋ枚の検出対象画像について、搬送物を検出し、
前記追跡手段は、前記ｎ枚の画像のうち、各検出対象画像より後に取得された画像において、前記各検出対象画像で検出された搬送物を追跡し、
前記検出手段におけるｋは、ｎより小さいことを特徴とする、搬送物の選別システム。

【産業上の利用可能性】

【0132】

以上説明したように、本発明によれば、処理時間を短縮できる。このため、本発明によれば、例えば、工場等において、製品等をリアルタイムに追跡することができる。このため、本発明は、製造業等において極めて有用である。

【0133】

この出願は、２０１８年２月１４日に出願された日本出願特願２０１８―０２４１５０を基礎とする優先権を主張し、その開示のすべてをここに取り込む。

【符号の説明】

【0134】

１、１ａ、１ｂ、１ｃ、１ｄ、１ｅ 第１の対象物
２、２ａ、２ｂ 第２の対象物
１０、２０、３０、４０ 追跡装置
１１ データ処理手段
１１１ 画像取得手段
１１２ 検出手段
１１３ 追跡手段
１１４ 検出処理判定手段
１１５ 搬送物判定手段
１１６ 誤検出判定手段
１１７ 対応付け手段
１１８ 計数手段
１１９ 選別手段
１２ データ記憶手段
１２１ 画像記憶部
１２２ 検出情報記憶部
１２３ 追跡情報記憶部
１３ 入力手段
１４ 出力手段
２０１ ＣＰＵ
２０２ メモリ
２０３ バス
２０４ 記憶装置
２０５ プログラム
２０６ 入力装置
２０７ ディスプレイ
２０８ 通信デバイス
３１ａ、３１ｂ、３１ｃ 撮像装置
３２ａ、３２ｂ、３２ｃ 通信インターフェイス
３５ａ、３５ｂ、３５ｃ 選別装置
３３ 通信回線網
３４ サーバ
５０ 計数装置
６０ 選別装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】