特開 2024-87561 映像記録システム、映像記録方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024087561

(43)【公開日】2024-07-01

(54)【発明の名称】映像記録システム、映像記録方法、及びプログラム

(51)【国際特許分類】

   G01N 21/84 20060101AFI20240624BHJP

【ＦＩ】

G01N21/84 D

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2022202450

(22)【出願日】2022-12-19

(71)【出願人】

【識別番号】000000572

【氏名又は名称】アンリツ株式会社

(74)【代理人】

【識別番号】110003694

【氏名又は名称】弁理士法人有我国際特許事務所

(72)【発明者】

【氏名】若松 大介

(72)【発明者】

【氏名】大友 崇裕

【テーマコード（参考）】

2G051

【Ｆターム（参考）】

2G051AA01

2G051AB20

2G051CA04

2G051DA06

2G051DA13

(57)【要約】

【課題】選別対象の物品が正常に選別されているか否かを目視で確認することを可能にする映像記録システム、映像記録方法、及びプログラムを提供する。
【解決手段】映像記録システムは、検査コンベアと選別コンベアを搬送される物品の動画を撮影する撮影装置４０と、撮影装置４０により撮影された動画を構成するフレーム画像に撮影時刻が記録された再構成動画を生成する映像処理部５２と、検査装置１０から出力された検査データを受信する検査データ受信部５３と、再構成動画から所定時間の切出動画を切り出す動画収録部５４と、検査装置１０から出力された特定の判定結果の判定時刻に基づいて、判定結果が特定の判定結果である物品を切出動画から検知する第１物品検知部５５と、第１物品検知部５５により検知された物品を特定する印を切出動画に重畳した編集動画を生成する動画編集部５９と、編集動画を表示する表示部７１と、を備える。
【選択図】図４

【特許請求の範囲】

【請求項1】

生産ライン（３）を構成する検査コンベア（１３）上を搬送される物品（Ｗ，Ｗ０）を検査して、前記物品が良品であるか不良品であるかの判定結果と判定時刻を含む検査データを出力する検査装置（１０）と、
前記検査装置から出力された前記判定結果が前記物品が不良品であることを示す異常判定であるときに、前記生産ラインを構成する選別コンベア（２１）上から前記判定結果が異常判定である前記物品を排除する選別動作を実行する選別機（２０）と、を備える物品検査システム（１）の動作を撮影記録する映像記録システム（２）であって、
前記検査コンベアと前記選別コンベアを搬送される前記物品の動画を撮影する撮影装置（４０）と、
前記撮影装置により撮影された前記動画を構成するフレーム画像の撮影時刻を各前記フレーム画像に記録し、前記撮影時刻を特定可能な複数の前記フレーム画像を時系列で再構成した再構成動画を生成する映像処理部（５２）と、
前記検査装置から出力された前記検査データを受信する検査データ受信部（５３）と、
複数の前記物品（Ｗ）が前記生産ラインを搬送される動作モード時に、前記検査データ受信部から切り出し指示が出力されたことを条件に、前記再構成動画から所定時間の切出動画を切り出す動画収録部（５４）と、
前記検査装置から出力された前記判定結果が特定の判定結果であるときに、前記特定の判定結果の前記判定時刻に基づいて、前記判定結果が前記特定の判定結果である前記物品を前記切出動画から検知する第１物品検知部（５５）と、
前記第１物品検知部により検知された前記物品を特定する印を前記切出動画に重畳した編集動画を生成する動画編集部（５９）と、
前記編集動画を表示する表示部（７１）と、を備え、
前記検査データ受信部は、前記検査装置から出力された前記特定の判定結果をトリガとして、前記動画収録部に対して前記切り出し指示を出力し、
前記所定時間は、前記検査装置から前記特定の判定結果が出力されたタイミングと、前記選別機による前記選別動作が終了するタイミングとを含む時間であることを特徴とする映像記録システム。

【請求項2】

１つの前記物品（Ｗ０）が前記生産ラインを搬送される動作モード時に、前記再構成動画において、前記検査コンベア上の特定の検知領域（１３ｂ）を通過した前記１つの前記物品を検知するとともに、前記１つの前記物品が最初に検知された前記フレーム画像の前記撮影時刻を取得する第２物品検知部（５６）と、
前記１つの前記物品について前記検査装置から出力された前記判定時刻と、前記１つの前記物品について前記第２物品検知部により取得された前記撮影時刻との時間差を取得する時間差取得部（５７）と、
前記１つの前記物品が前記生産ラインを複数回搬送されることにより、前記時間差取得部により複数回取得された前記時間差の平均値を平均時間差として算出する平均時間差計算部（５８）と、を更に備え、
前記第１物品検知部は、前記検査装置から出力された前記特定の判定結果の前記判定時刻に前記平均時間差を加算した時刻である加算時刻を算出し、前記加算時刻に最も近い前記撮影時刻以降の前記切出動画の複数の前記フレーム画像において、前記判定結果が前記特定の判定結果である前記物品を検知し、
前記動画編集部は、前記第１物品検知部により前記物品が検知された前記切出動画の複数の前記フレーム画像に、前記第１物品検知部により検知された前記物品を特定する前記印を重畳することを特徴とする請求項１に記載の映像記録システム。

【請求項3】

生産ライン（３）を構成する検査コンベア（１３）上を搬送される物品（Ｗ，Ｗ０）を検査して、前記物品が良品であるか不良品であるかの判定結果と判定時刻を含む検査データを出力する検査装置（１０）と、
前記検査装置から出力された前記判定結果が前記物品が不良品であることを示す異常判定であるときに、前記生産ラインを構成する選別コンベア（２１）上から前記判定結果が異常判定である前記物品を排除する選別動作を実行する選別機（２０）と、を備える物品検査システム（１）の動作を撮影記録する映像記録方法であって、
前記検査コンベアと前記選別コンベアを搬送される前記物品の動画を撮影する撮影ステップ（Ｓ６，Ｓ３３）と、
前記撮影ステップにより撮影された前記動画を構成するフレーム画像の撮影時刻を各前記フレーム画像に記録し、前記撮影時刻を特定可能な複数の前記フレーム画像を時系列で再構成した再構成動画を生成する映像処理ステップ（Ｓ７，Ｓ３４）と、
前記検査装置から出力された前記検査データを検査データ受信部（５３）で受信する検査データ受信ステップ（Ｓ５，Ｓ３２）と、
複数の前記物品（Ｗ）が前記生産ラインを搬送される動作モード時に、前記検査データ受信部から切り出し指示が出力されたことを条件に、前記再構成動画から所定時間の切出動画を切り出す動画収録ステップ（Ｓ９）と、
前記検査装置から出力された前記判定結果が特定の判定結果であるときに、前記特定の判定結果の前記判定時刻に基づいて、前記判定結果が前記特定の判定結果である前記物品を前記切出動画から検知する第１物品検知ステップ（Ｓ１０）と、
前記第１物品検知ステップにより検知された前記物品を特定する印を前記切出動画に重畳した編集動画を生成する動画編集ステップ（Ｓ１１）と、
前記編集動画を表示する表示ステップ（Ｓ１２）と、を含み、
前記検査データ受信部は、前記検査装置から出力された前記特定の判定結果をトリガとして、前記動画収録ステップに対して前記切り出し指示を出力し、
前記所定時間は、前記検査装置から前記特定の判定結果が出力されたタイミングと、前記選別機による前記選別動作が終了するタイミングとを含む時間であることを特徴とする映像記録方法。

【請求項4】

１つの前記物品（Ｗ０）が前記生産ラインを搬送される動作モード時に、前記再構成動画において、前記検査コンベア上の特定の検知領域（１３ｂ）を通過した前記１つの前記物品を検知するとともに、前記１つの前記物品が最初に検知された前記フレーム画像の前記撮影時刻を取得する第２物品検知ステップ（Ｓ３７）と、
前記１つの前記物品について前記検査装置から出力された前記判定時刻と、前記１つの前記物品について前記第２物品検知ステップにより取得された前記撮影時刻との時間差を取得する時間差取得ステップ（Ｓ３８）と、
前記１つの前記物品が前記生産ラインを複数回搬送されることにより、前記時間差取得ステップにより複数回取得された前記時間差の平均値を平均時間差として算出する平均時間差計算ステップ（Ｓ４０）と、を更に含み、
前記第１物品検知ステップは、前記検査装置から出力された前記特定の判定結果の前記判定時刻に前記平均時間差を加算した時刻である加算時刻を算出し、前記加算時刻に最も近い前記撮影時刻以降の前記切出動画の複数の前記フレーム画像において、前記判定結果が前記特定の判定結果である前記物品を検知し、
前記動画編集ステップは、前記第１物品検知ステップにより前記物品が検知された前記切出動画の複数の前記フレーム画像に、前記第１物品検知ステップにより検知された前記物品を特定する前記印を重畳することを特徴とする請求項３に記載の映像記録方法。

【請求項5】

請求項３に記載の前記撮影ステップ、前記映像処理ステップ、前記検査データ受信ステップ、前記動画収録ステップ、前記第１物品検知ステップ、前記動画編集ステップ、及び前記表示ステップと、請求項４に記載の前記第２物品検知ステップ、前記時間差取得ステップ、及び前記平均時間差計算ステップと、をコンピュータに実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、例えば食品や医薬品等の物品の品質を検査する物品検査システムの動作を記録する映像記録システム、映像記録方法、及びプログラムに関するものである。

【背景技術】

【0002】

従来、食品や医薬品を製造している工場では、物品に異常が無いか否かを検査する物品検査システムが導入されている。物品検査システムは、生産ライン上で順次搬送されてくる物品を検査する検査装置と、その後段にある選別機と、を備えており、検査装置で異常判定された物品（以下、「不良品」とも呼ぶ）を、選別機により生産ラインから排除するように構成されている。

【0003】

不良品を市場に流出させないために、当該物品が生産ラインから確実に排除されたことを確認したいという要求がある。そこで、カメラを設置して、検査装置で不良品を検知した時の映像（例えば、不良品検知の数秒前から数秒後までの映像）を記録し、不良品を生産ラインから排除する選別機上で、不良品が排除されたか否かを判定して、選別動作を確認する物品検査システムがある（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特許第３９７４０１５号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、生産ラインには、不良品の他に正常な物品（以下、「良品」とも呼ぶ）が同時に流れており、特許文献１に開示されたような従来の物品検査システムは、「物品を選別できているか否か」を確認できるが、「選別できている物品が不良品か否か」を確認できない。なぜなら、従来の物品検査システムは、不良品が正常に搬送されて選別機に到達する時刻の選別動作を記録しており、物品の搬送が乱れると画像又は映像に写っている物品が不良品であることを証明できないからである。そのため、異常と判定された回数と排除品の個数が一致していても、排除品の再検査結果が不良品ではなかった場合、選別機により排除された物品が不良品であることを、動画を確認しても明確にできないという問題があった。

【0006】

また、従来、投受光器を使用した選別動作の確認機能があるが、この機能も同様に選別対象である物品の判定結果を認識していないため、物品の搬送が乱れると選別ミスを正しく検知できず、不良品に対して選別機が動作したのかを追及できないという問題があった。

【0007】

本発明は、このような従来の課題を解決するためになされたものであって、選別対象の物品が正常に選別されているか否かを目視で確認することを可能にする映像記録システム、映像記録方法、及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0008】

上記課題を解決するために、本発明に係る映像記録システムは、生産ラインを構成する検査コンベア上を搬送される物品を検査して、前記物品が良品であるか不良品であるかの判定結果と判定時刻を含む検査データを出力する検査装置と、前記検査装置から出力された前記判定結果が前記物品が不良品であることを示す異常判定であるときに、前記生産ラインを構成する選別コンベア上から前記判定結果が異常判定である前記物品を排除する選別動作を実行する選別機と、を備える物品検査システムの動作を撮影記録する映像記録システムであって、前記検査コンベアと前記選別コンベアを搬送される前記物品の動画を撮影する撮影装置と、前記撮影装置により撮影された前記動画を構成するフレーム画像の撮影時刻を各前記フレーム画像に記録し、前記撮影時刻を特定可能な複数の前記フレーム画像を時系列で再構成した再構成動画を生成する映像処理部と、前記検査装置から出力された前記検査データを受信する検査データ受信部と、複数の前記物品が前記生産ラインを搬送される動作モード時に、前記検査データ受信部から切り出し指示が出力されたことを条件に、前記再構成動画から所定時間の切出動画を切り出す動画収録部と、前記検査装置から出力された前記判定結果が特定の判定結果であるときに、前記特定の判定結果の前記判定時刻に基づいて、前記判定結果が前記特定の判定結果である前記物品を前記切出動画から検知する第１物品検知部と、前記第１物品検知部により検知された前記物品を特定する印を前記切出動画に重畳した編集動画を生成する動画編集部と、前記編集動画を表示する表示部と、を備え、前記検査データ受信部は、前記検査装置から出力された前記特定の判定結果をトリガとして、前記動画収録部に対して前記切り出し指示を出力し、前記所定時間は、前記検査装置から前記特定の判定結果が出力されたタイミングと、前記選別機による前記選別動作が終了するタイミングとを含む時間である構成である。

【0009】

すなわち、本発明に係る映像記録システムは、検査コンベアと選別コンベアを搬送される複数の物品を、検査装置で異常判定が行われてから選別機の選別動作が完了するまで、１つの撮影装置で撮影するようになっている。さらに、本発明に係る映像記録システムは、検査コンベアと選別コンベアを搬送される複数の物品に特定の判定結果の物品を特定する印が重畳された動画を表示部に表示させるようになっている。

【0010】

これにより、本発明に係る映像記録システムは、動画内の複数の物品のうちのどれが特定の判定結果の物品であったのかを目視で特定可能に表示するため、選別機の選別動作に異常が発生したことをユーザが目視で確認する作業を効率化することができる。例えば、検査装置が選別動作の異常を検知できなかった場合であっても、本発明に係る映像記録システムにより、実際に選別機の選別動作に異常がなかったか否か、すなわち、選別対象の物品が正常に選別されているか否かをユーザが目視で確認することができる。また、本発明に係る映像記録システムは、動画内の特定の判定結果の物品に印を付加するため、特定の判定結果の物品の追跡性が向上し、不良品の市場流出リスク低減に貢献することができる。さらに、本発明に係る映像記録システムは、ユーザが選別機の選別動作を正確に把握することを可能にするため、生産ラインの運用やハンドリング改善に貢献することができる。

【0011】

また、本発明に係る映像記録システムは、１つの前記物品が前記生産ラインを搬送される動作モード時に、前記再構成動画において、前記検査コンベア上の特定の検知領域を通過した前記１つの前記物品を検知するとともに、前記１つの前記物品が最初に検知された前記フレーム画像の前記撮影時刻を取得する第２物品検知部と、前記１つの前記物品について前記検査装置から出力された前記判定時刻と、前記１つの前記物品について前記第２物品検知部により取得された前記撮影時刻との時間差を取得する時間差取得部と、前記１つの前記物品が前記生産ラインを複数回搬送されることにより、前記時間差取得部により複数回取得された前記時間差の平均値を平均時間差として算出する平均時間差計算部と、を更に備え、前記第１物品検知部は、前記検査装置から出力された前記特定の判定結果の前記判定時刻に前記平均時間差を加算した時刻である加算時刻を算出し、前記加算時刻に最も近い前記撮影時刻以降の前記切出動画の複数の前記フレーム画像において、前記判定結果が前記特定の判定結果である前記物品を検知し、前記動画編集部は、前記第１物品検知部により前記物品が検知された前記切出動画の複数の前記フレーム画像に、前記第１物品検知部により検知された前記物品を特定する前記印を重畳する構成であってもよい。

【0012】

この構成により、本発明に係る映像記録システムは、良否が不明である複数の物品の検査を開始する前に、物品検査システムによる異常判定の判定時刻と、映像記録システムにより検査コンベア上で特定の判定結果の物品が検知された撮影時刻との平均時間差を算出するようになっている。これにより、本発明に係る映像記録システムは、撮影装置により撮影された動画において、検査コンベアと選別コンベアを搬送される複数の物品の中から特定の判定結果の物品を特定することができる。また、本発明に係る映像記録システムは、選別機よりも手前の検査コンベア上で特定の判定結果の物品の検知を行うことによって、検査装置で異常判定が行われてから選別機の選別動作が完了するまでの動画内での特定の判定結果の物品の追跡性を向上させることができる。

【0013】

また、本発明に係る映像記録方法は、生産ラインを構成する検査コンベア上を搬送される物品を検査して、前記物品が良品であるか不良品であるかの判定結果と判定時刻を含む検査データを出力する検査装置と、前記検査装置から出力された前記判定結果が前記物品が不良品であることを示す異常判定であるときに、前記生産ラインを構成する選別コンベア上から前記判定結果が異常判定である前記物品を排除する選別動作を実行する選別機と、を備える物品検査システムの動作を撮影記録する映像記録方法であって、前記検査コンベアと前記選別コンベアを搬送される前記物品の動画を撮影する撮影ステップと、前記撮影ステップにより撮影された前記動画を構成するフレーム画像の撮影時刻を各前記フレーム画像に記録し、前記撮影時刻を特定可能な複数の前記フレーム画像を時系列で再構成した再構成動画を生成する映像処理ステップと、前記検査装置から出力された前記検査データを検査データ受信部で受信する検査データ受信ステップと、複数の前記物品が前記生産ラインを搬送される動作モード時に、前記検査データ受信部から切り出し指示が出力されたことを条件に、前記再構成動画から所定時間の切出動画を切り出す動画収録ステップと、前記検査装置から出力された前記判定結果が特定の判定結果であるときに、前記特定の判定結果の前記判定時刻に基づいて、前記判定結果が前記特定の判定結果である前記物品を前記切出動画から検知する第１物品検知ステップと、前記第１物品検知ステップにより検知された前記物品を特定する印を前記切出動画に重畳した編集動画を生成する動画編集ステップと、前記編集動画を表示する表示ステップと、を含み、前記検査データ受信部は、前記検査装置から出力された前記特定の判定結果をトリガとして、前記動画収録ステップに対して前記切り出し指示を出力し、前記所定時間は、前記検査装置から前記特定の判定結果が出力されたタイミングと、前記選別機による前記選別動作が終了するタイミングとを含む時間である構成である。

【0014】

また、本発明に係る映像記録方法は、１つの前記物品が前記生産ラインを搬送される動作モード時に、前記再構成動画において、前記検査コンベア上の特定の検知領域を通過した前記１つの前記物品を検知するとともに、前記１つの前記物品が最初に検知された前記フレーム画像の前記撮影時刻を取得する第２物品検知ステップと、前記１つの前記物品について前記検査装置から出力された前記判定時刻と、前記１つの前記物品について前記第２物品検知ステップにより取得された前記撮影時刻との時間差を取得する時間差取得ステップと、前記１つの前記物品が前記生産ラインを複数回搬送されることにより、前記時間差取得ステップにより複数回取得された前記時間差の平均値を平均時間差として算出する平均時間差計算ステップと、を更に含み、前記第１物品検知ステップは、前記検査装置から出力された前記特定の判定結果の前記判定時刻に前記平均時間差を加算した時刻である加算時刻を算出し、前記加算時刻に最も近い前記撮影時刻以降の前記切出動画の複数の前記フレーム画像において、前記判定結果が前記特定の判定結果である前記物品を検知し、前記動画編集ステップは、前記第１物品検知ステップにより前記物品が検知された前記切出動画の複数の前記フレーム画像に、前記第１物品検知ステップにより検知された前記物品を特定する前記印を重畳する構成であってもよい。

【0015】

また、本発明に係るプログラムは、上記の前記撮影ステップ、前記映像処理ステップ、前記検査データ受信ステップ、前記動画収録ステップ、前記第１物品検知ステップ、前記動画編集ステップ、及び前記表示ステップと、上記の前記第２物品検知ステップ、前記時間差取得ステップ、及び前記平均時間差計算ステップと、をコンピュータに実行させるためのプログラムである。

【発明の効果】

【0016】

本発明は、選別対象の物品が正常に選別されているか否かを目視で確認することを可能にする映像記録システム、映像記録方法、及びプログラムを提供するものである。

【図面の簡単な説明】

【0017】

【図1】本発明の実施形態に係る物品検査システムと、物品検査システムの動作を撮影記録する映像記録システムの構成を示す図である。

【図2】図１に示した物品検査システムの平面図である。

【図3】図１に示した物品検査システムから出力される検査データの一例を示す図である。

【図4】図１に示した映像記録システムが備える画像処理装置の構成を示すブロック図である。

【図5】図１に示した映像記録システムにより生成された編集動画において、ある物品が生産ラインを搬送される際の時間変化を模式的に示す図である。

【図6】本発明の実施形態に係る映像記録システムを用いる映像記録方法の処理を示すフローチャートである。

【図7】図６のフローチャートにおけるステップＳ３の準備モードの処理の詳細を示すフローチャートである。

【発明を実施するための形態】

【0018】

以下、本発明に係る映像記録システム、映像記録方法、及びプログラムの実施形態について、図面を用いて説明する。

【0019】

図１は、物品検査システム１と、物品検査システム１の動作を撮影記録する映像記録システム２の構成を示す図である。図２は、物品検査システム１の要部の構成を示す図である。図１に示すように、物品検査システム１は、品質状態に応じて物品Ｗを選別するものであり、検査装置１０と、選別機２０と、不良品収納ボックス３０と、を備える。

【0020】

検査装置１０としては、例えばＸ線による異物検出装置（Ｘ線検査装置）、磁界による金属検出装置、又は秤を用いた重量選別装置を挙げることができる。本実施形態では、検査装置１０が重量選別装置である場合を例に説明する。

【0021】

検査装置１０は、生産ライン３の一部を構成する搬入コンベア４の後端に設置され、搬入コンベア４から順次搬入されてくる物品Ｗの重量を計量することにより、物品Ｗが良品であるか不良品であるかを判定するようになっている。選別機２０は、検査装置１０による上記の判定結果に基づいて物品Ｗを選別するようになっている。良品として選別された物品Ｗは、そのまま生産ライン３を流れて工場外に出荷され、不良品として選別された物品Ｗは、不良品収納ボックス３０に収納されて、異物が混入しない状態で一定期間隔離される。なお、ここでいう物品Ｗとは、包装された生肉、魚、加工食品、医薬などの工場の生産ライン３で搬送されるものである。

【0022】

検査装置１０は、制御ボックス１１と、助走コンベア１２と、検査コンベア１３と、搬入センサ１５と、荷重センサ１６と、を備えている。助走コンベア１２と、検査コンベア１３は、生産ライン３の一部を構成する。

【0023】

制御ボックス１１は、検査装置１０全体の駆動を統括管理している。また、制御ボックス１１は、検査コンベア１３上を搬送される複数の物品Ｗ又は後述する１つの物品Ｗ０を検査して、物品Ｗ，Ｗ０が良品であるか不良品であるかの判定結果と判定時刻を含む検査データを出力するようになっている。

【0024】

図３は、制御ボックス１１から出力される検査データの一例を示す図である。図３における「日付時刻」と「判定結果」の列は、物品Ｗの良否の判定時刻と判定結果をそれぞれ示している。判定結果の「ＰＡＳＳ」は、物品Ｗが良品であることを示す正常判定を意味しており、判定結果の「ＦＡＩＬ」は、物品Ｗが不良品であることを示す異常判定を意味している。

【0025】

助走コンベア１２は、いわゆるベルトコンベアであり、搬入コンベア４から物品Ｗを受け取るように搬入コンベア４の下流側に隣接し、搬入コンベア４から順次送られてくる物品Ｗの搬入間隔を調整して検査コンベア１３に送り出す。

【0026】

検査コンベア１３は、助走コンベア１２から物品Ｗを受け取るように助走コンベア１２の下流側に隣接して配置されている。また、検査コンベア１３は、荷重センサ１６の上に載置されており、助走コンベア１２から送られてくる物品Ｗを荷重センサ１６に計量させるとともに、選別機２０に送り出している。なお、検査コンベア１３も助走コンベア１２と同様にベルトコンベアで構成されている。

【0027】

搬入センサ１５は、投光部２５ａと受光部２５ｂとから構成され、助走コンベア１２と検査コンベア１３との間に、投光部２５ａ及び受光部２５ｂが対向するようにして配置されている。受光部２５ｂは、投光部２５ａからの光を検知しており、物品Ｗが投光部２５ａからの光を遮光して受光部２５ｂが光を検知できなくなることで、物品Ｗの存在を検知する。搬入センサ１５は、物品Ｗの存在を検知すると、荷重センサ１６に搬入検知信号を出力する。搬入検知信号は、荷重センサ１６の計量開始のタイミングに利用される。

【0028】

荷重センサ１６は、検査コンベア１３上の物品Ｗを計量して計量信号を制御ボックス１１に出力する。また、荷重センサ１６は、搬入センサ１５から搬入検知信号を受けてから（搬入センサ１５が物品Ｗの存在を検知してから）所定時間Ｔ１の経過後に作動し、物品Ｗを計量し始める。本発明の実施形態における「所定時間Ｔ１」とは、物品Ｗが助走コンベア１２から検査コンベア１３に完全に乗り移り、荷重センサ１６からの計量信号が安定するまでに必要な時間である。

【0029】

選別機２０は、選別コンベア２１と、選別機構２２と、排除検知センサ２３と、を備えている。選別コンベア２１は、生産ライン３の一部を構成する。

【0030】

選別コンベア２１は、検査コンベア１３で計量された物品Ｗを受け取り、下流に設けた搬出トレイ（図示省略）に搬出するものであり、検査コンベア１３の下流側に隣接している。また、選別コンベア２１は、検査コンベア１３から受け取った物品Ｗを選別機構２２が選別可能な選別位置に搬送する。なお、選別コンベア２１は、助走コンベア１２及び検査コンベア１３と同様にベルトコンベアで構成されている。

【0031】

選別機構２２は、制御ボックス１１から出力された判定結果に応じて、選別コンベア２１上の物品Ｗ，Ｗ０に選別動作を実行するようになっている。例えば、制御ボックス１１から出力された判定結果が物品Ｗ，Ｗ０が不良品であることを示す異常判定であるときには、選別機構２２は、判定結果が異常判定である物品Ｗ，Ｗ０を選別コンベア２１上から不良品収納ボックス３０へ押し出して選別コンベア２１上から排除する選別動作を実行する。一方、制御ボックス１１から出力された判定結果が物品Ｗの正常を示す正常判定であるときには、選別機構２２は、判定結果が正常判定である物品Ｗ（良品）を引き続き選別コンベア２１で搬送させる選別動作を実行する。

【0032】

なお、選別機構２２は、物品Ｗ，Ｗ０を不良品収納ボックス３０へ押し出す押出方式に限らず、アームにより選別コンベア２１上の物品Ｗ，Ｗ０の流れる方向を変えて選別するフリッパ方式や、選別コンベア２１上の物品Ｗ，Ｗ０を下方へ落下させることにより選別するドロップアウト方式の選別機構を採用してもよい。また、機械的に選別する方式に限定されず、物品Ｗ，Ｗ０が軽いものであれば、圧縮エアにより物品Ｗ，Ｗ０を吹き飛ばすエアジェット方式を採用してもよい。

【0033】

排除検知センサ２３は、投光部２３ａと受光部２３ｂとから構成され、選別コンベア２１と不良品収納ボックス３０との間に、投光部２３ａ及び受光部２３ｂが対向するようにして配置されている。受光部２３ｂは、投光部２３ａからの光を検知しており、物品Ｗが投光部２３ａからの光を遮光して受光部２３ｂが光を検知できなくなることで、物品Ｗが生産ライン３から排除されたことを検知する。排除検知センサ２３は、物品Ｗの排除を検知すると、制御ボックス１１に排除検知信号を出力する。

【0034】

不良品収納ボックス３０は、選別機構２２により排除された不良品を収納するようになっている。不良品収納ボックス３０は、選別コンベア２１を挟んで選別機構２２の対向位置に配置されている。不良品収納ボックス３０は、上部に開口３１を有するボックス状に形成され、選別機構２２により押し出された被検査物Ｗが開口３１から内部に収納されるようになっている。

【0035】

制御ボックス１１は、荷重センサ１６から出力された計量信号に基づいて、物品Ｗの重量が許容重量範囲内にないと判定した場合には、物品Ｗは不良品であるとして、選別機構２２に対して駆動信号を出力する。選別機構２２は、制御ボックス１１から駆動信号を受けると、選別コンベア２１上の物品Ｗを押し出すようにして駆動し、不良品収納ボックス３０に物品Ｗを落下させる。一方、制御ボックス１１は、荷重センサ１６から出力された計量信号に基づいて、物品Ｗの重量が許容重量範囲内にあると判定した場合には、物品Ｗは良品であるとして、選別機構２２に対して駆動信号の出力を行なわない。

【0036】

制御ボックス１１は、正常判定を出力したときから、検査コンベア１３及び選別コンベア２１の搬送速度に応じた所定時間Ｔ２をタイムカウントした後に、排除検知センサ２３から排除検知信号を受信した場合には、選別機２０の選別動作に異常があったと判断する。一方、制御ボックス１１は、異常判定を出力したときから、検査コンベア１３及び選別コンベア２１の搬送速度に応じた所定時間Ｔ２をタイムカウントした後に、排除検知センサ２３から排除検知信号を受信しなかった場合にも、選別機２０の選別動作に異常があったと判断する。制御ボックス１１は、選別動作の異常を発生時刻に紐づけて記録するようになっている。

【0037】

以下、映像記録システム２の構成について説明する。映像記録システム２は、物品検査システム１の動作を撮影記録するものであり、図１及び図４に示すように、撮影装置４０と、表示部７１及び操作部７２を有する画像処理装置５０と、を備える。

【0038】

撮影装置４０は、検査コンベア１３と選別コンベア２１を搬送される複数の物品Ｗ又は１つの物品Ｗ０の動画を所定のフレームレートで撮影するものである。撮影装置４０としては、例えば、動画撮影が可能なビデオカメラやネットワークカメラなどを使用できる。

【0039】

撮影装置４０は、少なくとも図２に示す撮影範囲５を撮影するようになっている。撮影範囲５は、検査装置１０で良否の判定が行われてから選別機２０の選別動作が完了するまでに各物品Ｗ，Ｗ０が搬送される領域であればよく、例えば、検査コンベア１３の搬送路１３ａと、選別コンベア２１の搬送路２１ａと、選別機２０の少なくとも一部と、不良品収納ボックス３０の開口３１の少なくとも一部と、を含んだものとなっている。本発明は、１つの撮影装置４０で検査コンベア１３と選別コンベア２１を搬送される複数の物品Ｗ又は１つの物品Ｗ０を撮影することを特徴としている。

【0040】

なお、図１には、撮影装置４０が検査装置１０の後段側に配置された例を示したが、撮影装置４０は、撮影範囲５を撮影できるのであれば、検査装置１０の前段側などの任意の場所に配置されてもよい。

【0041】

検査装置１０と、撮影装置４０と、画像処理装置５０とは、互いにデータ通信可能なネットワーク７０を介して相互接続されている。図４に示すように、画像処理装置５０は、モード切替部５１と、映像処理部５２と、検査データ受信部５３と、動画収録部５４と、第１物品検知部５５と、第２物品検知部５６と、時間差取得部５７と、平均時間差計算部５８と、動画編集部５９と、切出動画フォルダ６０と、編集動画フォルダ６１と、を含む。

【0042】

モード切替部５１は、画像処理装置５０の動作モードを、良否が不明である複数の物品Ｗが検査コンベア１３と選別コンベア２１を搬送される検査モードと、１つの物品Ｗ０のみが検査コンベア１３と選別コンベア２１を搬送される準備モードと、の間で切り替えるものである。検査モードは、複数の物品Ｗの検査を検査装置１０が実行する際の動作モードである。準備モードは、後述する平均時間差を取得するための動作モードである。

【0043】

映像処理部５２は、撮影装置４０により撮影された物品Ｗ，Ｗ０の動画を受信し、受信した物品Ｗ，Ｗ０の動画を構成するフレーム画像のそれぞれに対して撮影装置４０による撮影時刻を記録し、撮影時刻を特定可能な各フレーム画像を蓄積するようになっている。さらに、映像処理部５２は、蓄積された複数のフレーム画像を時系列で再構成した再構成動画を生成する。映像処理部５２は、検査モード時に再構成動画を動画収録部５４に出力し、準備モード時に再構成動画を第２物品検知部５６に出力するようになっている。

【0044】

検査データ受信部５３は、検査装置１０の制御ボックス１１から出力された検査データを受信するようになっている。また、検査データ受信部５３は、制御ボックス１１から出力された検査データに含まれる特定の判定結果をトリガとして、動画収録部５４に対して切出動画の切り出し指示を出力するようになっている。

【0045】

動画収録部５４は、検査モード時に検査データ受信部５３から切り出し指示が出力されたことを条件に（契機に）、映像処理部５２から出力された再構成動画から所定時間Ｔ０の切出動画を切り出して、切出動画フォルダ６０に保存するようになっている。ここで、所定時間Ｔ０は、制御ボックス１１から特定の判定結果が出力されたタイミングと、選別機２０による選別動作が終了するタイミングとを含む時間であり、例えば、制御ボックス１１から特定の判定結果が出力されたタイミングの前後数秒程度の時間である。

【0046】

第２物品検知部５６は、準備モード時に映像処理部５２から出力された再構成動画において、検査コンベア１３上の特定の検知領域１３ｂ（図２参照）を通過した１つの物品Ｗ０を検知するとともに、１つの物品Ｗ０が最初に検知されたフレーム画像の撮影時刻を取得するようになっている。準備モード時には、搬入コンベア４に載置された１個の物品Ｗ０が、搬入コンベア４、助走コンベア１２、検査コンベア１３、及び選別コンベア２１を順次搬送される。準備モードでの１つの物品Ｗ０の搬送は、所定の繰り返し回数だけ複数回繰り返される。ここで、所定の繰り返し回数は、特に限定はないが、例えば５～１０回である。

【0047】

時間差取得部５７は、１つの物品Ｗ０について検査装置１０の制御ボックス１１から出力された判定時刻と、１つの物品Ｗ０について第２物品検知部５６により取得された撮影時刻との時間差を取得するようになっている。あるいは、時間差取得部５７は、１つの物品Ｗ０について搬入センサ１５から搬入検知信号が出力された時刻と、１つの物品Ｗ０について第２物品検知部５６により取得された撮影時刻との時間差を取得するものであってもよい。

【0048】

平均時間差計算部５８は、準備モードで１つの物品Ｗ０が生産ライン３を複数回搬送されることにより、時間差取得部５７により複数回取得された時間差の平均値を平均時間差として算出するようになっている。また、平均時間差計算部５８は、算出した平均時間差を設定ファイル６２に記録するようになっている。

【0049】

第１物品検知部５５は、切出動画フォルダ６０に保存された切出動画について、検査装置１０から出力された判定結果が特定の判定結果であるときに、特定の判定結果の判定時刻に設定ファイル６２から読み出した平均時間差を加算した時刻である加算時刻を算出し、加算時刻に最も近い撮影時刻以降の切出動画の複数のフレーム画像において、検査装置１０による判定結果が特定の判定結果である物品Ｗを検知するようになっている。ここで、特定の判定結果は正常判定又は異常判定のいずれかであり、例えば、ユーザによる操作部７２への操作入力によりあらかじめ設定される。加算時刻に最も近い撮影時刻のフレーム画像においては、検査装置１０による判定結果が特定の判定結果である物品Ｗが検査コンベア１３上で搬送されている状態が撮影されている。

【0050】

第１物品検知部５５と第２物品検知部５６における物品Ｗ，Ｗ０の検知は、公知の任意の動体検知技術を用いて行われればよい。第１物品検知部５５は、例えば、切出動画において時間的に連続する２つのフレーム画像ごとに差分画像を作成し、作成した差分画像の変化から、検査コンベア１３と選別コンベア２１で搬送される物品Ｗの輪郭を検知するようになっている。同様に、第２物品検知部５６は、準備モード時に映像処理部５２から出力された再構成動画において時間的に連続する２つのフレーム画像ごとに差分画像を作成し、作成した差分画像の変化から、検査コンベア１３上の特定の検知領域１３ｂを通過した物品Ｗ０の輪郭を検知するようになっている。

【0051】

動画編集部５９は、第１物品検知部５５により物品Ｗが検知された切出動画の複数のフレーム画像に、第１物品検知部５５により検知された物品Ｗを特定する印を重畳した編集動画を生成して編集動画フォルダ６１に保存するようになっている。

【0052】

図５は、動画編集部５９により生成された編集動画において、検査装置１０による判定結果が特定の判定結果である物品Ｗが生産ライン３を搬送される際の物品Ｗの位置の時間変化を模式的に示す図である。例えば、図５に示すように、検知された物品Ｗを特定する印は、検知された物品Ｗを囲む枠状の図形であってもよく、あるいは、円、楕円、四角形、三角形、星形などの任意の図形や、物品Ｗの重量などの製品情報を含む任意の文字情報などであってもよい。また、それらの印は、適宜色付けされていてもよい。例えば、検査装置１０による判定結果が特定の判定結果である物品が撮影範囲５に複数存在する場合には、それぞれの物品に異なる色付けが施されることが望ましい。

【0053】

表示部７１は、例えばＬＣＤ（Liquid Crystal Display）やＣＲＴ（Cathode Ray Tube）などの表示機器で構成され、編集動画フォルダ６１に保存された編集動画を表示するようになっている。さらに、表示部７１は、各種条件を設定するためのボタン、ソフトキー、プルダウンメニュー、テキストボックスなどの操作対象の表示を行うようになっている。

【0054】

操作部７２は、ユーザによる操作入力を受け付けるためのものであり、例えば表示部７１の表示画面に対応する入力面への接触操作による接触位置を検出するためのタッチセンサを備えるタッチパネルで構成される。あるいは、操作部７２は、キーボード又はマウスのような入力デバイスを含んで構成されてもよい。

【0055】

例えば、ユーザは、操作部７２への操作入力により、所望の時刻又は時間帯に撮影された編集動画を選択して、再生された編集動画を表示部７１上に表示させることができるようになっている。例えば、ユーザによる操作部７２への操作入力により、検査装置１０の制御ボックス１１に記録された選別機２０の選別動作の異常の発生時刻に撮影された編集動画が選択された場合には、選別機２０の選別動作の異常時の良品や不良品の搬送状況が表示部７１から目視で確認可能となる。また、ユーザによる操作部７２への操作入力により、モード切替部５１において画像処理装置５０の動作モードを選択することが可能である。

【0056】

画像処理装置５０は、例えばＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）などを含むコンピュータなどの制御装置で構成される。例えば、画像処理装置５０は、ＣＰＵ又はＧＰＵによる所定のプログラムの実行により、モード切替部５１、映像処理部５２、検査データ受信部５３、動画収録部５４、第１物品検知部５５、第２物品検知部５６、時間差取得部５７、平均時間差計算部５８、及び動画編集部５９の少なくとも一部をソフトウェア的に構成することが可能である。なお、上記のプログラムは、ＲＯＭ又はＨＤＤにあらかじめ格納されている。あるいは、上記のプログラムは、インストール可能な形式又は実行可能な形式でコンパクトディスク、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録された状態で提供又は配布されるものであってもよい。あるいは、上記のプログラムは、インターネット等のネットワークに接続されたコンピュータに格納され、ネットワーク経由でのダウンロードにより提供又は配布されるものであってもよい。

【0057】

以下、映像記録システム２を用いる映像記録方法について、図６及び図７のフローチャートを参照しながら、その処理の一例を説明する。図６及び図７のフローチャートにおける各ステップの処理は、画像処理装置５０を構成するコンピュータが上記のプログラムを実行することにより実現されるものである。

【0058】

まず、モード切替部５１は、画像処理装置５０の動作モードを切り替える（ステップＳ１）。モード切替部５１による動作モードの切り替えは、例えば、ユーザによる操作部７２への操作入力のタイミング、あらかじめ指定された時刻、又は、物品検査システム１の運転開始から数秒後などのタイミングで実行される。

【0059】

ステップＳ１でモード切替部５１により切り替えられた動作モードが準備モードである場合（ステップＳ２：ＹＥＳ）、画像処理装置５０は準備モードの処理を実行する（ステップＳ３）。

【0060】

ステップＳ１でモード切替部５１により切り替えられた動作モードが検査モードである場合（ステップＳ２：ＮＯ）、画像処理装置５０は検査モードの処理をステップＳ４以降で実行する。

【0061】

ステップＳ４において、生産ライン３は、複数の物品Ｗの搬送を開始する（ステップＳ４）。

【0062】

次に、検査データ受信部５３は、検査装置１０から出力された検査データの受信を開始する（検査データ受信ステップＳ５）。

【0063】

次に、撮影装置４０は、検査コンベア１３と選別コンベア２１を搬送される複数の物品Ｗの動画の撮影を開始する（撮影ステップＳ６）。

【0064】

次に、映像処理部５２は、撮影ステップＳ６で撮影装置４０により撮影された動画を構成するフレーム画像の撮影時刻を各フレーム画像に記録し、撮影時刻を特定可能な複数のフレーム画像を時系列で再構成した再構成動画の生成を開始する（映像処理ステップＳ７）。

【0065】

次に、検査データ受信部５３から切り出し指示が出力されると（ステップＳ８：ＹＥＳ）、動画収録部５４は、映像処理ステップＳ７で生成された再構成動画から所定時間Ｔ０の切出動画を切り出す（動画収録ステップＳ９）。

【0066】

次に、第１物品検知部５５は、検査装置１０から出力された特定の判定結果の判定時刻に基づいて、判定結果が特定の判定結果である物品Ｗを切出動画から検知する（第１物品検知ステップＳ１０）。例えば、第１物品検知部５５は、検査装置１０から出力された特定の判定結果の判定時刻に後述するステップＳ４０で得られた平均時間差を加算した時刻である加算時刻を算出し、加算時刻に最も近い撮影時刻以降の切出動画の複数のフレーム画像において、検査装置１０による判定結果が特定の判定結果である物品Ｗを検知する。

【0067】

次に、動画編集部５９は、第１物品検知ステップＳ１０により特定の判定結果の物品が検知された切出動画の複数のフレーム画像に、第１物品検知ステップＳ１０により検知された特定の判定結果の物品を特定する印を重畳した編集動画を生成する（動画編集ステップＳ１１）。

【0068】

次に、表示部７１は、動画編集ステップＳ１１で生成された編集動画を表示する（表示ステップＳ１２）。

【0069】

以下、図７のフローチャートを参照しながら、ステップＳ３の処理の詳細を説明する。

【0070】

生産ライン３は、１つの物品Ｗ０の搬送を開始する（ステップＳ３１）。

【0071】

次に、検査データ受信部５３は、検査装置１０から出力された検査データの受信を開始する（検査データ受信ステップＳ３２）。

【0072】

次に、撮影装置４０は、検査コンベア１３と選別コンベア２１を搬送される１つの物品Ｗ０の動画の撮影を開始する（撮影ステップＳ３３）。

【0073】

次に、映像処理部５２は、撮影ステップＳ３３で撮影装置４０により撮影された動画を構成するフレーム画像の撮影時刻を各フレーム画像に記録し、撮影時刻を特定可能な複数のフレーム画像を時系列で再構成した再構成動画の生成を開始する（映像処理ステップＳ３４）。

【0074】

次に、時間差取得部５７は、検査装置１０から出力された特定の判定結果の判定時刻を取得する（ステップＳ３５）。

【0075】

次に、１つの物品Ｗ０が検査コンベア１３上の特定の検知領域１３ｂを通過すると（ステップＳ３６：ＹＥＳ）、第２物品検知部５６は、映像処理ステップＳ３４で生成された再構成動画において、検査コンベア１３上の特定の検知領域１３ｂを通過した１つの物品Ｗ０を検知するとともに、１つの物品Ｗ０が最初に検知されたフレーム画像の撮影時刻を取得する（第２物品検知ステップＳ３７）。

【0076】

次に、時間差取得部５７は、１つの物品Ｗ０について検査装置１０から出力された判定時刻と、１つの物品Ｗ０について第２物品検知ステップＳ３７により取得された撮影時刻との時間差を取得する（時間差取得ステップＳ３８）。

【0077】

次に、１つの物品Ｗ０の生産ライン３での搬送回数が所定の繰り返し回数に到達すると（ステップＳ３９：ＹＥＳ）、平均時間差計算部５８は、時間差取得ステップＳ３８により複数回取得された時間差の平均値を平均時間差として算出する（平均時間差計算ステップＳ４０）。

【0078】

１つの物品Ｗ０の搬送回数が所定の繰り返し回数に到達していない場合には（ステップＳ３９：ＮＯ）、再びステップＳ３１以降の処理が実行される。

【0079】

以上説明したように、本実施形態に係る映像記録システム２は、検査コンベア１３と選別コンベア２１を搬送される複数の物品Ｗを、検査装置１０で特定の判定結果が出力されてから選別機２０の選別動作が完了するまで、１つの撮影装置４０で撮影するようになっている。さらに、本実施形態に係る映像記録システム２は、検査コンベア１３と選別コンベア２１を搬送される複数の物品Ｗに特定の判定結果の物品を特定する印が重畳された動画を表示部７１に表示させるようになっている。

【0080】

これにより、本実施形態に係る映像記録システム２は、動画内の複数の物品Ｗのうちのどれが特定の判定結果の物品であったのかを目視で特定可能に表示するため、選別機２０の選別動作に異常が発生したことをユーザが目視で確認する作業を効率化することができる。例えば、検査装置１０が選別動作の異常を検知できなかった場合であっても、本実施形態に係る映像記録システム２により、実際に選別機２０の選別動作に異常がなかったか否か、すなわち、選別対象の物品が正常に選別されているか否かをユーザが目視で確認することができる。また、本実施形態に係る映像記録システム２は、動画内の特定の判定結果の物品に印を付加するため、特定の判定結果の物品の追跡性が向上し、不良品の市場流出リスク低減に貢献することができる。さらに、本実施形態に係る映像記録システム２は、ユーザが選別機２０の選別動作を正確に把握することを可能にするため、生産ライン３の運用やハンドリング改善に貢献することができる。また、本実施形態に係る映像記録システム２は、例えば、１分当たりに１２０～１８０個の物品Ｗが搬送されるような高速の生産ライン３であっても、特定の判定結果の物品の追跡を行うことができる。

【0081】

また、本実施形態に係る映像記録システム２は、良否が不明である複数の物品Ｗの検査を開始する前に、物品検査システム１による特定の判定結果の判定時刻と、映像記録システム２により検査コンベア１３上で特定の判定結果の物品が検知された撮影時刻との平均時間差を算出するようになっている。これにより、本実施形態に係る映像記録システム２は、撮影装置４０により撮影された動画において、検査コンベア１３と選別コンベア２１を搬送される複数の物品Ｗの中から特定の判定結果の物品を特定することができる。また、本実施形態に係る映像記録システム２は、選別機２０よりも手前の検査コンベア１３上で特定の判定結果の物品の検知を行うことによって、検査装置１０で特定の判定結果が出力されてから選別機２０の選別動作が完了するまでの動画内での特定の判定結果の物品の追跡性を向上させることができる。

【符号の説明】

【0082】

１ 物品検査システム
２ 映像記録システム
３ 生産ライン
５ 撮影範囲
１０ 検査装置
１１ 制御ボックス
１３ 検査コンベア
１３ａ 搬送路
１３ｂ 検知領域
１５ 搬入センサ
２０ 選別機
２１ 選別コンベア
２１ａ 搬送路
２２ 選別機構
２３ 排除検知センサ
３０ 不良品収納ボックス
３１ 開口
４０ 撮影装置
５０ 画像処理装置
５１ モード切替部
５２ 映像処理部
５３ 検査データ受信部
５４ 動画収録部
５５ 第１物品検知部
５６ 第２物品検知部
５７ 時間差取得部
５８ 平均時間差計算部
５９ 動画編集部
６０ 切出動画フォルダ
６１ 編集動画フォルダ
６２ 設定ファイル
７０ ネットワーク
７１ 表示部
７２ 操作部
Ｗ，Ｗ０ 物品

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】