特開 2024-161829 検査装置、検査方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024161829

(43)【公開日】2024-11-20

(54)【発明の名称】検査装置、検査方法およびプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20241113BHJP

   G06T 7/73 20170101ALI20241113BHJP

   G06V 10/98 20220101ALI20241113BHJP

【ＦＩ】

G06T7/00 610C

G06T7/73

G06V10/98

【審査請求】未請求

【請求項の数】13

【出願形態】ＯＬ

(21)【出願番号】P 2023076898

(22)【出願日】2023-05-08

(71)【出願人】

【識別番号】314012076

【氏名又は名称】パナソニックＩＰマネジメント株式会社

(74)【代理人】

【識別番号】110002000

【氏名又は名称】弁理士法人栄光事務所

(72)【発明者】

【氏名】中山 正喜

(72)【発明者】

【氏名】寺門 正善

(72)【発明者】

【氏名】大谷 一真

(72)【発明者】

【氏名】山本 淳晴

(72)【発明者】

【氏名】中島 悠輔

(72)【発明者】

【氏名】菊地 拓朗

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096BA03

5L096DA03

5L096DA04

5L096FA69

5L096FA81

5L096GA08

(57)【要約】

【課題】対象物を高精度に検査する。
【解決手段】検査装置は、カメラによって検査対象が撮像された撮像画像から検査対象のケースを検出し、ケースの中から複数の物品を検出し、物品の位置および種類を認識し、定められた種類の物品が定められた位置に配置されている状態に係る情報を示すマスタデータを用いて、各物品の種類と位置とがマスタデータと一致するか否かを判定し、少なくとも１つの物品の種類と位置とがマスタデータと一致しないと判定した場合、通知デバイスにエラーであることを通知するプロセッサを備える。
【選択図】図４

【特許請求の範囲】

【請求項1】

カメラによって検査対象が撮像された撮像画像から前記検査対象のケースを検出し、
前記ケースの中から複数の物品を検出し、
前記物品の位置および種類を認識し、
定められた種類の前記物品が定められた位置に配置されている状態に係る情報を示すマスタデータを用いて、前記各物品の前記種類と前記位置とが前記マスタデータと一致するか否かを判定し、
少なくとも１つの前記物品の前記種類と前記位置とが前記マスタデータと一致しないと判定した場合、通知デバイスにエラーであることを通知するプロセッサを備える、
検査装置。

【請求項2】

前記プロセッサは、
前記複数の物品それぞれの前記撮像画像における座標を算出し、
認識された前記物品の前記種類の情報を座標順に並び替え、
前記マスタデータの前記物品の前記種類の情報の順番と一致しないと判定した場合、前記通知デバイスに前記エラーであることを通知する、
請求項１に記載の検査装置。

【請求項3】

前記プロセッサは、前記物品の種類が前記マスタデータと一致しないと判定された場合、入れ替えるべき種類の物品を前記通知デバイスに通知する、
請求項１に記載の検査装置。

【請求項4】

前記プロセッサは、前記物品の前記種類が前記マスタデータと一致しないと判定された場合、前記ケースの中の前記物品の位置を前記通知デバイスに通知する、
請求項１に記載の検査装置。

【請求項5】

前記プロセッサは、
検出された前記物品の前記マスタデータとの違いを数値として算出し、
前記数値に基づき前記物品の向きを推定し、
前記向きが前記マスタデータの示す定められた向きと異なる場合、前記通知デバイスに前記エラーであることを通知する、
請求項１に記載の検査装置。

【請求項6】

前記プロセッサは、
前記物品の数を算出し、
前記数が前記マスタデータの前記物品の数と一致しない場合、前記通知デバイスに前記エラーであることを通知する、
請求項１に記載の検査装置。

【請求項7】

前記通知デバイスは、ランプであり、
前記プロセッサは、前記数が前記マスタデータの前記物品の数と一致しないと判定される場合と、前記物品の前記種類と前記位置とが前記マスタデータと一致しないと判定される場合と、においてそれぞれ異なる色で前記ランプを光らせる、
請求項６に記載の検査装置。

【請求項8】

前記プロセッサは、前記撮像画像と前記エラーの内容とを前記通知デバイスに表示させる、
請求項１に記載の検査装置。

【請求項9】

前記プロセッサは、前記撮像画像と前記エラーの内容とを紐づけて保存する、
請求項１に記載の検査装置。

【請求項10】

前記エラーの内容は、前記撮像画像が撮像された時刻、前記物品の種類または前記物品の位置のうち少なくとも１つである、
請求項９に記載の検査装置。

【請求項11】

前記検査対象は、コンベアを流れる物であり、
前記プロセッサは、前記コンベアを流れる前記検査対象の前記ケースの外周の長さが所定の閾値以上の場合、前記ケースの中から前記物品を検出する、
請求項１に記載の検査装置。

【請求項12】

カメラによって検査対象が撮像された撮像画像から前記検査対象のケースを検出し、
前記ケースの中から複数の物品を検出し、
前記物品の位置および種類を認識し、
定められた種類の前記物品が定められた位置に配置されている状態に係る情報を示すマスタデータを用いて、前記各物品の前記種類と前記位置とが前記マスタデータと一致するか否かを判定し、
少なくとも１つの前記物品の前記種類と前記位置とが前記マスタデータと一致しないと判定される場合、通知デバイスにエラーであることを通知する、
検査方法。

【請求項13】

カメラによって検査対象が撮像された撮像画像から前記検査対象のケースを検出する処理と、
前記ケースの中から複数の物品を検出する処理と、
前記物品の位置および種類を認識する処理と、
定められた種類の前記物品が定められた位置に配置されている状態に係る情報を示すマスタデータを用いて、前記各物品の前記種類と前記位置とが前記マスタデータと一致するか否かを判定する処理と、
少なくとも１つの前記物品の前記種類と前記位置とが前記マスタデータと一致しないと判定される場合、通知デバイスにエラーであることを通知する処理と、をコンピュータに実行させる、
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、検査装置、検査方法およびプログラムに関する。

【背景技術】

【0002】

特許文献１には、商品の出荷検査を支援するための検品システムが開示されている。検品システムは、商品の現物重量を計量する計量手段と、商品の現物画像を撮影する撮影手段と、計量手段が計量した現物重量のデータと撮影手段が撮影した現物画像のデータとを取り込み、それらのデータを保存する制御手段と、を備える。検品システムは、商品の出荷指示内容を示す出荷指示情報に基づいて、該商品の出荷指示重量の情報と該商品の出荷指示見本画像の情報とを出力するためのデータを格納する上位格納手段と、を備える。検品システムは、商品を検品するための比較照合に供するために、制御手段から送信されたデータと上位格納手段から送信されたデータとを取り込み、現物重量と出荷指示重量とを並べて表示すると共に、現物画像と出荷指示見本画像とを並べて表示する表示手段と、を備える。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１４－２１０６４６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

商品をケースに詰める際、商品が正しく梱包されているか否かを確認する必要がある。例えば、商品が贈答品の場合には、商品の向き、数および種類をより厳密に梱包しなければならない。このため、出荷数が多い場合、検査者の作業の負荷が増大するという課題がある。

【0005】

特許文献１では、出荷商品の出荷指示見本画像とカメラによってリアルタイムに映し出された出荷商品の現物画像とを目視またはパソコンで照合し、現物画像が出荷指示見本画像と一致しているか否かの判定を人物（例えば、検査者）もしくはパソコンで行う。しかしながら、出荷指示見本画像の全体と現物画像の全体との照合の場合、各画像に含まれる商品それぞれの状態（各商品の向き、種類、数および位置等）まで検出するのが難しいという課題がある。

【0006】

本開示は、上述した従来の状況に鑑みて案出され、対象物を高精度に検査することを目的とする。

【課題を解決するための手段】

【0007】

本開示は、カメラによって検査対象が撮像された撮像画像から前記検査対象のケースを検出し、前記ケースの中から複数の物品を検出し、前記物品の位置および種類を認識し、定められた種類の前記物品が定められた位置に配置されている状態に係る情報を示すマスタデータを用いて、前記各物品の前記種類と前記位置とが前記マスタデータと一致するか否かを判定し、少なくとも１つの前記物品の前記種類と前記位置とが前記マスタデータと一致しないと判定した場合、通知デバイスにエラーであることを通知するプロセッサを備える、検査装置を提供する。

【0008】

また、本開示は、カメラによって検査対象が撮像された撮像画像から前記検査対象のケースを検出し、前記ケースの中から複数の物品を検出し、前記物品の位置および種類を認識し、定められた種類の前記物品が定められた位置に配置されている状態に係る情報を示すマスタデータを用いて、前記各物品の前記種類と前記位置とが前記マスタデータと一致するか否かを判定し、少なくとも１つの前記物品の前記種類と前記位置とが前記マスタデータと一致しないと判定される場合、通知デバイスにエラーであることを通知する、検査方法を提供する。

【0009】

また、本開示は、カメラによって検査対象が撮像された撮像画像から前記検査対象のケースを検出する処理と、前記ケースの中から複数の物品を検出する処理と、前記物品の位置および種類を認識する処理と、定められた種類の前記物品が定められた位置に配置されている状態に係る情報を示すマスタデータを用いて、前記各物品の前記種類と前記位置とが前記マスタデータと一致するか否かを判定する処理と、少なくとも１つの前記物品の前記種類と前記位置とが前記マスタデータと一致しないと判定される場合、通知デバイスにエラーであることを通知する処理と、をコンピュータに実行させる、プログラムを提供する。

【0010】

なお、これらの包括的または具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム、または、記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。

【発明の効果】

【0011】

本開示によれば、対象物を高精度に検査することができる。

【図面の簡単な説明】

【0012】

【図1】検査対象を検査する場面の一例を示す図

【図2】本実施の形態に係る検査システムのシステム構成図

【図3】各時刻の撮像データの一例を示す図

【図4】撮像画像から検出された検査対象の一例を示す図

【図5】物品の座標の算出方法の一例を説明する図

【図6】ケースの大きさの算出方法の一例を示す図

【図7】検査装置の実行する検査対象を検査する第１の処理のフローチャート

【図8】検査装置の実行する検査対象を検査する第２の処理のフローチャート

【図9】検査装置の実行する検査対象を検査する第３の処理のフローチャート

【図10】通知デバイスもしくは表示デバイスに表示される画面の第１の例を示す図

【図11】通知デバイスもしくは表示デバイスに表示される画面の第２の例を示す図

【図12】検査システムを利用した物品の個数の計測方法の一例を示す図

【発明を実施するための形態】

【0013】

以下、図面を適宜参照して、本開示に係る検査装置、検査方法およびプログラムを具体的に開示した実施の形態について、詳細に説明する。ただし、必要以上に詳細な説明は省略する場合がある。例えば、すでによく知られた事項の詳細説明および実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の記載の主題を限定することは意図されていない。

【0014】

図１を参照して、検査対象を検査する場面の一例を説明する。図１は、検査対象を検査する場面の一例を示す図である。

【0015】

レーンＬＡの上を検査対象ＯＢが流れている。レーンＬＡは、搬送機であり、例えばベルトコンベア、ローラコンベアまたはベルトチェーンコンベア等である。カメラ１２を用いてレーンＬＡの上を流れる検査対象ＯＢを撮像する。

【0016】

検査対象ＯＢは、例えば、ケースＢ１の中に複数の物品ＣＡが詰められている物である。ケースＢ１は、例えば、箱、袋またはかご等である。図１に示す物品ＣＡは、缶およびお菓子である。なお、物品ＣＡは缶およびお菓子に限られず、食品、化粧品、雑貨、食器、衣類または電気製品等の様々な物であってよい。また、図１に示すケースＢ１の中の複数の物品ＣＡは異なる形状の物であるが、異なる形状に限られず、同一の形状および大きさの物であってもよい。

【0017】

検査装置３０（図２参照）は、カメラ１２が検査対象ＯＢを撮像した撮像画像を用いて検査対象ＯＢが正しくケースＢ１に詰められているか判定する。検査装置３０の詳しい判定方法に関しては図７で説明する。

【0018】

検査装置３０は、物品ＣＡが正しくケースＢ１に詰められていない（例えば、物品ＣＡの数が足りない、物品ＣＡが誤った位置に置かれているまたは物品ＣＡの向きが誤った方向を向いている等）と判定した場合、通知デバイスに通知する。図１に示す例では、検査装置３０は、物品ＣＡが正しくケースＢ１に詰められていないと判定した場合、ランプＰＬを光らせて検査者ｈｍに報知する。

【0019】

次に、図２を参照して、本実施の形態に係る検査システム１のシステム構成図を説明する、図２は、本実施の形態に係る検査システム１のシステム構成図である。

【0020】

検査システム１は、例えば、工場等に設置され、物品がケースに正しく配置されているか否かを検査する目的で用いられる。

【0021】

検査システム１は、レーン監視装置１０，２０、検査装置３０および端末装置４０を含む。

【0022】

レーン監視装置１０は、複数のレーンＬＡのうちの１つに設置され、検査対象ＯＢを、カメラ１２を用いて撮像する。レーン監視装置の数は、２つに限られず、１つでもよいし、２つ以上の複数であってもよい。レーン監視装置１０は、照明１１、カメラ１２、通信Ｉ／Ｆ１３および通知デバイス１４を含む。

【0023】

照明１１は、レーンＬＡの上を流れる検査対象ＯＢを適切な照度で照らす。適切な照度とは、検査装置３０が撮像画像に映った検査対象ＯＢを解析できる程度に明るい照度である。照明１１は、例えば、ハロゲンランプ、Ｌｉｇｈｔ Ｅｍｉｔｔｅｄ Ｄｉｏｄｅまたは白熱電球等である。なお、照明１１は、レーン監視装置１０から省略されてもよい。

【0024】

カメラ１２は、レーンＬＡの上を流れる検査対象ＯＢを撮像する。カメラ１２は、少なくとも光学素子としてのレンズ（不図示）とイメージセンサ（不図示）とを有して構成される。レンズは、カメラ１２の撮像した領域の画角内からの対象物により反射された光を入射してイメージセンサの受光面（言い換えると、撮像面）に対象物の光学像を結像する。イメージセンサは、例えばＣｈａｒｇｅｄ Ｃｏｕｐｌｅｄ ＤｅｖｉｃｅあるいはＣｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒなどの固体撮像素子である。イメージセンサは、所定時間（例えば１／３０（秒））ごとに、レンズを介して撮像面に結像した光学像を電気信号に変換する。例えば、所定時間が１／３０（秒）である場合、カメラ１２のフレームレートは３０ｆｐｓとなる。また、カメラ１２は、上述した所定時間ごとに、電気信号に所定の信号処理を施すことで画像データ（映像データ）を生成してもよい。カメラ１２は、画像データ（映像データ）を通信Ｉ／Ｆ１３に出力する。なお、通信Ｉ／Ｆ１３がカメラ１２に含まれる場合、カメラ１２は画像データ（映像データ）を直接検査装置３０に出力する。以下、画像データおよび映像データのことを撮像データと称する。

【0025】

通信Ｉ／Ｆ１３は、レーン監視装置（例えば、レーン監視装置１０，２０）と検査装置３０との間で無線または有線で通信を行うインターフェース回路である。ここでＩ／Ｆは、インターフェースのことを表す。レーン監視装置１０と検査装置３０との間を有線で通信する場合、通信Ｉ／Ｆ１３は、例えば、Ｐｏｗｅｒ ｏｖｅｒ Ｅｔｈｅｒｎｅｔ（以下、「ＰｏＥ」と称する）ハブである。レーン監視装置１０と検査装置３０との通信は、ネットワークを介してもよい。通信Ｉ／Ｆ１３による通信方式は、例えば、Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ（以下、「ＷＡＮ」と称する）、Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ（以下、「ＬＡＮ」と称する）、Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ（以下、「ＬＴＥ」と称する）、５Ｇ等の移動体通信、電力線通信、近距離無線通信（例えばＢｌｕｅｔｏｏｔｈ（登録商標）通信）または携帯電話用の通信等である。通信Ｉ／Ｆ１３は、カメラ１２に含まれてもよい。

【0026】

通知デバイス１４は、検査装置３０が検査対象ＯＢを検査した結果を通知するデバイスである。通知デバイス１４は、例えば、パトランプ等のランプ、スピーカ、ディスプレイ、タッチパネルディスプレイまたはノートパソコン等である。通知デバイス１４がランプである場合、通知デバイス１４は、検査装置３０からの指示に基づき点灯または点滅する。通知デバイス１４は、検査装置３０からの指示内容に応じて異なる色で点灯または点滅してもよい。通知デバイス１４がスピーカの場合、通知デバイス１４は、検査装置３０からの指示に基づき警告音を鳴らすまたは指示内容に基づいたテキストを読み上げる等である。テキストは、例えば、「物品の数が足りません」、「物品の位置が異なります」または「物品の向きが異なります」等である。なお、テキストの例は一例でありこれらに限られない。通知デバイス１４がディスプレイ、タッチパネルディスプレイまたはノートパソコンの場合、通知デバイス１４は、検査装置３０からの指示内容を表示する（図１０，図１１参照）。なお、通知デバイス１４は、パトランプ等のランプ、スピーカ、ディスプレイ、タッチパネルディスプレイまたはノートパソコン等の２つ以上で構成されてもよい。

【0027】

レーン監視装置２０は、複数のレーンＬＡのうちの１つに設置され検査対象ＯＢを、カメラ１２を用いて撮像する。レーン監視装置２０は、照明１１、カメラ１２、通信Ｉ／Ｆ１３および通知デバイス１４を含む。

【0028】

検査装置３０は、レーン監視装置２０が撮像した撮像データを解析し検査対象ＯＢを（つまり、物品ＣＡがケースＢ１に正しく詰められた状態となっているか否かを）検査する。検査装置３０は、例えば、Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒである。検査装置３０は、通信Ｉ／Ｆ３１、プロセッサ３２、メモリ３３、データベース３４、表示デバイス３５および入力デバイス３６を含む。

【0029】

通信Ｉ／Ｆ３１は、検査装置３０と通信Ｉ／Ｆ１３との間で無線または有線で通信を行うインターフェース回路である。ここでＩ／Ｆは、インターフェースのことを表す。検査装置３０と通信Ｉ／Ｆ１３との間を有線で通信する場合、通信Ｉ／Ｆ３１は、例えば、ＰｏＥハブである。検査装置３０と通信Ｉ／Ｆ１３との通信は、ネットワークを介してもよい。通信Ｉ／Ｆ３１による通信方式は、例えば、ＷＡＮ、ＬＡＮ、ＬＴＥ、５Ｇ等の移動体通信、電力線通信、近距離無線通信（例えばＢｌｕｅｔｏｏｔｈ（登録商標）通信）または携帯電話用の通信等である。

【0030】

プロセッサ３２は、例えばＣｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ、Ｇｒａｐｈｉｃａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ等の電子デバイスのうち少なくとも１つが実装された半導体チップを用いられる。プロセッサ３２は、検査装置３０の全体的な動作を司るコントローラとして機能し、検査装置３０の各部の動作を統括するための制御処理、検査装置３０の各部との間のデータの入出力処理、データの演算処理および、データの記憶処理を行う。プロセッサ３２は、メモリ３３に記憶されたプログラムに従って動作する。なお、プロセッサ３２は、検査装置３０の起動時に外部のサーバ装置等からデータを読み込んで処理してもよい。プロセッサ３２は、動作時にメモリ３３を使用し、プロセッサ３２が生成または取得したデータをメモリ３３に一時的に保存する。プロセッサ３２は、レーン監視装置１０，２０から送信された撮像データを用いて検査対象ＯＢの検査を実行する（図７参照）。

【0031】

メモリ３３は、例えば、プロセッサ３２が行う各種の処理を規定したプログラムとそのプログラムの実行中に使用するデータとを格納するＲｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ（以下、「ＲＯＭ」と称する）と、プロセッサ３２が行う各種の処理を実行する際に用いるワークメモリとしてのＲａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（以下、「ＲＡＭ」と称する）と、を少なくとも有する。ＲＯＭには、プロセッサ３２が行う各種の処理を規定したプログラムとそのプログラムの実行中に使用するデータとが書き込まれている。ＲＡＭには、プロセッサ３２により生成あるいは取得されたデータもしくは情報（例えば、物品ＣＡの位置、種類または向き等の情報）が一時的に保存される。

【0032】

データベース３４は、マスタデータを保存する。マスタデータは、ユーザ（例えば、検査対象ＯＢの生産の責任者）によって検査対象ＯＢが予め定められた状態である場合の各種情報である。検査対象ＯＢの予め定められた状態とは、ケースＢ１内部の物品ＣＡの数、種類、位置、並び方または向きがユーザが定めた状態となっている状態（以下、正状態と称する）を指す。各種情報とは、例えば、正状態の撮像画像、数値データ、行列データまたは表データである。データベース３４は、レーン監視装置１０，２０から送られる各時刻の撮像データまたはプロセッサ３２の検査対象ＯＢを検査した結果等を保存してもよい。なお、データベース３４は、検査装置３０の外部に設けられてもよい。

【0033】

表示デバイス３５は、検査装置３０の実行した現在および過去の検査結果を表示するデバイスである。表示デバイス３５は、例えば、ディスプレイである。なお、表示デバイス３５と入力デバイス３６とはタッチパネルディスプレイのように一体に構成されてもよい。また、表示デバイス３５は、検査装置３０から省略されてもよい。

【0034】

入力デバイス３６は、ユーザが検査装置３０に対する指示を入力するデバイスである。入力デバイス３６は、例えば、キーボードまたはタッチパネルディスプレイ等である。入力デバイス３６は、検査装置３０から省略されてもよい。

【0035】

端末装置４０は、検査装置３０と通信可能に接続される。端末装置４０は、例えば、作業する検査者または検査装置３０の設置場所の管理人等が携帯する端末である。端末装置４０は、例えば、スマートフォンまたはＰｅｒｓｏｎａｌ Ｈａｎｄｙ－ｐｈｏｎｅ Ｓｙｓｔｅｍ（以下、「ＰＨＳ」と称する）等である。端末装置４０は、検査装置３０から送信されたデータ（例えば、エラーが発生している検査対象ＯＢの情報）等を表示する。なお、端末装置４０は、検査システム１から省略されてもよい。

【0036】

次に、図３を参照して、各時刻の撮像データの一例について説明する。図３は、各時刻の撮像データの一例を示す図である。

【0037】

図３は、撮像データの各時刻（時刻ｔ１，ｔ２，ｔ３）における１フレームを表す。時間は、時刻ｔ１から時刻ｔ３へ流れている。つまり、時刻ｔ２は、時刻ｔ１よりも後の時刻である。また、時刻ｔ３は、時刻ｔ２よりも後の時刻である。以下、各時刻での撮像データのフレームを撮像画像と称する。

【0038】

撮像画像Ｐ１は、撮像データの中で時刻ｔ１における撮像画像である。レーンＬＡの上を複数の検査対象が矢印の方向に流れており、撮像画像Ｐ１は、時刻ｔ１でのカメラ１２がレーンＬＡを撮像した様子を示す。撮像画像Ｐ１は、検査対象ＯＢ１の全体と検査対象ＯＢ２の一部とを含む。

【0039】

撮像画像Ｐ２は、撮像データの中で時刻ｔ２における撮像画像である。時刻ｔ２では、時刻ｔ１の時よりも、検査対象ＯＢ１および検査対象ＯＢ２がレーンＬＡの上を矢印の方向に進んでいる。また、時刻ｔ２では、検査対象ＯＢ３の一部がカメラ１２の撮像範囲に入り撮像画像Ｐ２に映し出される。撮像画像Ｐ２は、検査対象ＯＢ１，ＯＢ２の全体と、検査対象ＯＢ３の一部とを含む。

【0040】

撮像画像Ｐ３は、撮像データの中で時刻ｔ３における撮像画像である。時刻ｔ３では、時刻ｔ２の時よりも、検査対象ＯＢ１，ＯＢ２，ＯＢ３がレーンＬＡの上を矢印の方向に進んでいる。撮像画像Ｐ３は、検査対象ＯＢ１，ＯＢ２の全体と、検査対象ＯＢ３の一部とを含む。

【0041】

検査装置３０は、各時刻（例えば、時刻ｔ１，ｔ２，ｔ３）の撮像画像を解析しレーンＬＡの上を流れる検査対象ＯＢ（例えば、検査対象ＯＢ１，ＯＢ２，ＯＢ３）を検査する。

【0042】

次に、図４を参照して、撮像画像から検出された検査対象ＯＢの一例を説明する。図４は、撮像画像から検出された検査対象ＯＢの一例を示す図である。

【0043】

撮像画像Ｐ４は、検査対象ＯＢ１，ＯＢ２の全体と検査対象ＯＢ３の一部とを含む。一例として、検査対象（例えば、検査対象ＯＢ１，ＯＢ２，ＯＢ３）には、お菓子Ａが包装された袋（例えば、物品Ｃ１）１つと、お菓子Ｂが包装された小箱（例えば、物品Ｃ２，Ｃ３，Ｃ４）３つと、茶葉が包装された缶（例えば、物品Ｃ５，Ｃ６）が２つ梱包される。お菓子Ｂは、２種類の絵柄があり、猫のマークのお菓子が２つと、熊のマークのお菓子が１つである。なお、検査対象に梱包される物品は一例であり上述した例に限られない。

【0044】

プロセッサ３２は、画像認識等の公知の技術を用いて撮像画像Ｐ４の中からケースＢ１を検出する。プロセッサ３２は、検出したケースＢ１に対し、ケースＢ１が内部に含まれる枠ＦＢ１を設定する。プロセッサ３２は、撮像画像Ｐ４の中からケースＢ２を検出する。プロセッサ３２は、検出したケースＢ２に対し、ケースＢ２が内部に含まれる枠ＦＢ２を設定する。枠ＦＢ１，ＦＢ２は、例えば、四角形である。なお、物品に合わせて、図形を多角形など変形させてもよい

【0045】

また、プロセッサ３２は、撮像画像からケースＢ１の外枠を検出し、その検出したケースＢ１の外枠に対応する枠ＦＢ１を設定してもよい。プロセッサ３２は、枠ＦＢ１を、例えば、ケースＢ１の外枠の大きさと同じ大きさもしくは数％拡大した大きさとする。

【0046】

枠ＦＢ１，ＦＢ２の一部に、検出された対象（以下、検出対象と称する）に応じたラベリングが表示されてもよい。枠ＦＢ１，ＦＢ２には、検出対象がケースであることを示すテキスト（例えば、「ＢＯＸ」）が表示される。また、枠ＦＢ１，ＦＢ２の一部に、検出対象の確からしさを示す数値が表示されてもよい。確からしさとは、検出された対象（ここではケース）をマスタデータと比較した際の一致率である。例えば、ケースＢ１，Ｂ２が一部破損している場合、一致率は低下する。確からしさは、百分率で示され、枠ＦＢ１，ＦＢ２は１００％（つまり、ケースＢ１，Ｂ２に異常がない）を示す。なお、確からしさは、百分率に限られず段階評価等でもよい。プロセッサ３２は、確からしさを画像認識等の公知の技術を用いて算出する。

【0047】

プロセッサ３２は、画像認識等の公知の技術を用いて撮像画像の中からケースＢ１およびケースＢ２の中に配置されている物品それぞれを検出する。

【0048】

プロセッサ３２は、撮像画像の中からケースＢ１の中に配置されている物品Ｃ１を検出する。プロセッサ３２は、検出した物品Ｃ１に対し、物品Ｃ１が含まれる枠ＦＣ１を設定する。

【0049】

プロセッサ３２は、撮像画像の中からケースＢ１の中に配置されている物品Ｃ２を検出する。プロセッサ３２は、検出した物品Ｃ２に対し、物品Ｃ２が含まれる枠ＦＣ２を設定する。

【0050】

プロセッサ３２は、撮像画像の中からケースＢ１の中に配置されている物品Ｃ３を検出する。プロセッサ３２は、検出した物品Ｃ３に対し、物品Ｃ３が含まれる枠ＦＣ３を設定する。

【0051】

プロセッサ３２は、撮像画像の中からケースＢ１の中に配置されている物品Ｃ４を検出する。プロセッサ３２は、検出した物品Ｃ４に対し、物品Ｃ４が含まれる枠ＦＣ４を設定する。

【0052】

プロセッサ３２は、撮像画像の中からケースＢ１の中に配置されている物品Ｃ５を検出する。プロセッサ３２は、検出した物品Ｃ５に対し、物品Ｃ５が含まれる枠ＦＣ５を設定する。

【0053】

プロセッサ３２は、撮像画像の中からケースＢ１の中に配置されている物品Ｃ６を検出する。プロセッサ３２は、検出した物品Ｃ６に対し、物品Ｃ６が含まれる枠ＦＣ６を設定する。

【0054】

プロセッサ３２は、撮像画像の中からケースＢ２の中に配置されている物品Ｃ７を検出する。プロセッサ３２は、検出した物品Ｃ７に対し、物品Ｃ７が含まれる枠ＦＣ７を設定する。

【0055】

プロセッサ３２は、撮像画像の中からケースＢ２の中に配置されている物品Ｃ８を検出する。プロセッサ３２は、検出した物品Ｃ８に対し、物品Ｃ８が含まれる枠ＦＣ８を設定する。

【0056】

プロセッサ３２は、撮像画像の中からケースＢ２の中に配置されている物品Ｃ９を検出する。プロセッサ３２は、検出した物品Ｃ９に対し、物品Ｃ９が含まれる枠ＦＣ９を設定する。

【0057】

プロセッサ３２は、撮像画像の中からケースＢ２の中に配置されている物品Ｃ１０を検出する。プロセッサ３２は、検出した物品Ｃ１０に対し、物品Ｃ１０が含まれる枠ＦＣ１０を設定する。

【0058】

枠ＦＣ１，ＦＣ２，ＦＣ３，ＦＣ４，ＦＣ５，ＦＣ６は、例えば、四角形である。なお、枠ＦＣ１，ＦＣ２，ＦＣ３，ＦＣ４，ＦＣ５，ＦＣ６の形は四角形に限られず、物品に合わせて、図形を多角形など変形させてもよい。。

【0059】

枠ＦＣ１，ＦＣ２，ＦＣ３，ＦＣ４，ＦＣ５，ＦＣ６，ＦＣ７，ＦＣ８，ＦＣ９，ＦＣ１０の一部に、検出対象に応じたラベリングが表示されてもよい。枠ＦＣ１には、検出対象がお菓子Ａであることを示すテキスト（例えば、「Ａ」）が表示される。枠ＦＣ２，ＦＣ４，ＦＣ７，ＦＣ８には、検出対象が猫のマークのお菓子Ｂであることを示すテキスト（例えば、「Ｂ」）が表示される。枠ＦＣ３，ＦＣ９には、検査対象が熊のマークのお菓子Ｃであることを示すテキスト（例えば、「Ｃ」）が表示される。枠ＦＣ５，ＦＣ６，ＦＣ１０には、検出対象が茶葉の缶であることを示すテキスト（例えば、「Ｄ」）が表示される。

【0060】

また、枠ＦＣ１，ＦＣ２，ＦＣ３，ＦＣ４，ＦＣ５，ＦＣ６，ＦＣ７，ＦＣ８，ＦＣ９，ＦＣ１０の一部に、検出された対象（ここでは物品）の確からしさを示す数値が表示されてもよい。確からしさは、例えば、物品（例えば、物品Ｃ１，Ｃ２，Ｃ３，Ｃ４，Ｃ５，Ｃ６，Ｃ７，Ｃ８，Ｃ９，Ｃ１０）の向きが異なる場合（例えば、物品が上下逆である、斜めを向いているまたは後ろ向きである等）、一致率が低下する。例えば、物品Ｃ７は上下逆の状態でケースＢ２に詰められており、枠ＦＣ７に示される確からしさは「５０」となる。物品Ｃ１０はロゴが斜めを向いた状態でケースＢ２に詰められており、枠ＦＣ１０に示される確からしさは「７０」となる。このように、検査装置３０は、確からしさの数値に基づき物品の向きを推定することが可能である。

【0061】

また、物品Ｃ８と物品Ｃ９とは、ケースＢ２内部の定められた位置とは異なる位置に配置されている物品である。

【0062】

検査対象ＯＢ２は、定められた状態と異なる状態に配置されている物品（物品Ｃ７，Ｃ８，Ｃ９，Ｃ１０）が存在するため検査装置３０によって異常があるとして検出される。検査装置３０による異常の検出に関する詳しい処理は図７で説明する。

【0063】

検査対象ＯＢ３は、撮像画像Ｐ４にケースＢ３の一部しか映っていない状態である。そのためプロセッサ３２によって検出されないあるいは検出されても検出された対象（ここではケース）の確からしさを示す数値が低いため検査対象としない。検査対象がプロセッサ３２によって検出されるか否かについては図６で説明する。

【0064】

次に、図５を参照して、物品の座標の算出方法の一例を説明する。図５は、物品の座標の算出方法の一例を説明する図である。

【0065】

図５は、プロセッサ３２によって検出され、枠ＦＣ１が設定された物品Ｃ１を示す。

【0066】

プロセッサ３２は、画像認識等の公知の技術を用いて枠ＦＣ１の四隅の座標（座標ｋ１，ｋ２，ｋ３，ｋ４）を検出する。座標は、例えば、撮像画像に設定されたＸＹ軸に係るＸＹ座標である。プロセッサ３２は、座標ｋ１，ｋ２，ｋ３，ｋ４を用いて枠ＦＣ１の中点の座標（座標ｋ５）を算出する。プロセッサ３２は、算出した各物品の中点の座標を用いて、検出した各物品の情報（例えば、物品の種類または確からしさ等）を順番に並べる。

【0067】

次に、図６を参照して、ケースの大きさの算出方法の一例を説明する。図６は、ケースの大きさの算出方法の一例を示す図である。

【0068】

図６は、プロセッサ３２によって検出され、枠ＦＢ１が設定されたケースＢ１を示す。

【0069】

プロセッサ３２は、画像認識等の公知の技術を用いて枠ＦＢ１の四隅の座標（座標ｋ６，ｋ７，ｋ８，ｋ９）を検出する。プロセッサ３２は、座標ｋ６，ｋ７，ｋ８，ｋ９を用いて枠ＦＢ１の外周の長さを算出する。プロセッサ３２は、枠ＦＢ１の外周の長さが所定の閾値（例えば、ケースＢ１全体が撮像されているときの長さ）以上である場合にケースＢ１を検出し、所定の閾値未満の場合はケースＢ１を検出しない。なお、プロセッサ３２は、枠ＦＢ１の外周の長さに限られず、座標ｋ６から座標ｋ７の長さ（もしくは座標ｋ８から座標ｋ９の長さ）または枠ＦＢ１の面積を算出してもよい。

【0070】

次に、図７を参照して、検査装置３０の実行する検査対象ＯＢを検査する第１の処理のフローチャートを説明する。図７は、検査装置３０の実行する検査対象ＯＢを検査する第１の処理のフローチャートである。図７に係るフローチャートの各処理は、プロセッサ３２によって実行される。

【0071】

プロセッサ３２は、カメラ１２から検査対象ＯＢを撮像した撮像データを取得する（ステップＳｔ１００）。

【0072】

プロセッサ３２は、取得した撮像データの各時刻の撮像画像から物品とケースとを検出する（ステップＳｔ１０１）。プロセッサ３２が撮像画像から物品とケースとを検出する方法は画像認識等の公知の技術を用いた方法である。プロセッサ３２は、各物品の種類を認識する。プロセッサ３２は、ステップＳｔ１０１の処理においてケースの座標（図６参照）と各物品の座標（図５参照）を算出する。

【0073】

プロセッサ３２は、ケースの大きさ（例えば、ケースの外周の長さ）を算出する（図６参照）。プロセッサ３２は、ケースの大きさが所定の閾値以上であるか否かを判定する（ステップＳｔ１０２）。ケースの外周の長さを用いてステップＳｔ１０２の処理に係る判定を行う場合、プロセッサ３２は、ケースの外周の長さが所定の長さ以上であるか否かを判定する。

【0074】

プロセッサ３２は、ケースの大きさが所定の閾値未満であると判定した場合（ステップＳｔ１０２，ＮＯ）、プロセッサ３２の処理は終了する。

【0075】

プロセッサ３２は、ケースの大きさが所定の閾値以上であると判定した（つまり、ケースの全体が撮像画像に映っている）場合（ステップＳｔ１０２，ＹＥＳ）、ケースの座標の中に存在する物品の中点を算出する（物品の中点の算出方法は図５参照）。プロセッサ３２は、ステップＳｔ１０１の処理で認識した各物品の種類に係る情報を、算出した物品の中点の座標順に並べる（ステップＳｔ１０３）。以下、物品の中点の座標順に並べた各物品の種類に係る情報を作成データと称する。なお、撮像画像に複数のケースが検出された場合、プロセッサ３２はケースごとに各物品の種類に係る情報を中点の座標順に並べ替える。

【0076】

プロセッサ３２は、データベース３４からマスタデータを取得する。プロセッサ３２は、ステップＳｔ１０１の処理で検出した物品のデータとマスタデータとを比較して各物品の向き（つまり、確からしさ）を算出する（ステップＳｔ１０４）。プロセッサ３２は、例えば、マスタデータ（つまり、正状態における物品の向き）とどれくらい異なるかに応じて確からしさを算出する。プロセッサ３２は、確からしさを作成データに追加する。なお、プロセッサ３２は、ステップＳｔ１０３の処理よりも前に確からしさを算出し、物品の種類と確からしさとに係る情報を座標順に並べて作成データを生成してもよい。

【0077】

プロセッサ３２は、作成データとマスタデータとを比較して物品の個数が同じであるか否かを判定する（ステップＳｔ１０５）。

【0078】

プロセッサ３２は、作成データとマスタデータとを比較して物品の個数が違うと判定した場合（ステップＳｔ１０５，ＮＯ）、撮像画像をデータベース３４に記録する（ステップＳｔ１０６）。例えば、プロセッサ３２は、撮像画像が撮像された時間、撮像されたレーンＬＡの情報（例えば、複数レーンＬＡが存在する場合、どのレーンＬＡであるのかを示す情報）、検出された物品の個数または過不足の個数を撮像画像に紐づけてデータベース３４に記録してもよい。

【0079】

プロセッサ３２は、通知デバイス１４に警告に係る信号を出力する（ステップＳｔ１０７）。警告に係る信号とは、マスタデータと比較して検査対象に異常がある（つまりエラーである）ことを通知する信号である。ステップＳｔ１０７の処理における警告に係る信号とは、マスタデータと比較して物品の個数が異なることを通知する信号である。例えば、通知デバイス１４がランプである場合、プロセッサ３２はランプを点灯または点滅させる指示を出力する。通知デバイス１４が複数の色で点灯できるランプの場合、プロセッサ３２は、警告の内容に応じて異なる色でランプを点灯させてもよい。例えば、プロセッサ３２は、個数に係る警告としてランプを赤色で点灯させる。なお、ランプの色は一例であり赤色に限られない。通知デバイス１４がディスプレイである場合、プロセッサ３２は、「個数が足りません」、「個数が１個多いです」または「個数が異なります」等のメッセージを警告として通知デバイス１４に表示させてもよい。通知デバイス１４がスピーカの場合、プロセッサ３２は、「個数が足りません」、「個数が１個多いです」または「個数が異なります」等のメッセージを警告として通知デバイス１４に出力させてもよい。また、プロセッサ３２は、ビープ音（つまり警告音）を通知デバイス１４に出力させてもよい。プロセッサ３２は、通知デバイス１４への出力する警告として、ランプを点灯させる、ディスプレイに表示させる、スピーカに出力させるまたはランプを点灯させる等を複数組み合わせて実行してもよい。プロセッサ３２の処理は、ステップＳｔ１０７の処理の後ステップＳｔ１１４の処理に進む。なお、ステップＳｔ１０７の処理の警告を検査者が確認し、異常のある物品を正状態にした旨の信号を入力デバイス３６に検査者が入力した場合に、プロセッサ３２の処理は、ステップＳｔ１０７の処理の後ステップＳｔ１１４の処理に進むとしてもよい。「異常のある」とは、検査対象、ケースまたは物品が正状態と異なる状態であることを指す。

【0080】

プロセッサ３２は、作成データとマスタデータとを比較して物品の個数が同じであると判定した場合（ステップＳｔ１０５，ＹＥＳ）、作成データとマスタデータとを比較して物品の並びは同じであるか否かを判定する（ステップＳｔ１０８）。なお、プロセッサ３２は、ステップＳｔ１０５とステップＳｔ１０８の処理とを同時に行ってもよい。つまり、プロセッサ３２は、作成データとマスタデータとを比較して物品の並びが同じであるか否かを判定する際に、各物品の個数を数えるということである。プロセッサ３２は、作成データとマスタデータとを比較して物品の個数と物品の並びとの少なくとも一方が同じではないと判定した場合、撮像画像をデータベース３４に記録し、警告を出力する。プロセッサ３２は、警告を出力する際、物品の個数が異なる場合と、物品の並びが異なる場合とで異なる警告を出力してもよい。また、プロセッサ３２は、物品の個数および並びがどちらも異なる場合、物品の個数および並びがどちらも異なっている旨の警告を出力してもよい。

【0081】

プロセッサ３２は、作成データとマスタデータとを比較して物品の並びが異なると判定した場合（ステップＳｔ１０８，ＮＯ）、撮像画像をデータベース３４に記録する（ステップＳｔ１０９）。プロセッサ３２は、例えば、図４に示す撮像画像Ｐ４において検査対象ＯＢ２の中の物品Ｃ８と物品Ｃ９との並びが異なるような場合に、物品の並びが異なると判定する。

【0082】

プロセッサ３２は、通知デバイス１４に警告に係る信号を出力する（ステップＳｔ１１０）。ステップＳｔ１１０の処理における警告に係る信号とは、マスタデータと比較して物品の並びが異なることを通知する信号である。例えば、通知デバイス１４が複数の色で点灯できるランプの場合、プロセッサ３２は、例えば、並びに係る警告としてランプを黄色で点灯させる。なお、ランプの色は一例であり黄色に限られない。通知デバイス１４がディスプレイである場合、プロセッサ３２は、「並びが異なります」等のメッセージを警告として通知デバイス１４に表示させてもよい。通知デバイス１４がスピーカの場合、プロセッサ３２は、「並びが異なります」等のメッセージを警告として通知デバイス１４に出力させてもよい。また、プロセッサ３２は、ビープ音（つまり警告音）を通知デバイス１４に出力させてもよい。プロセッサ３２は通知デバイス１４への出力する警告として、ランプを点灯させる、ディスプレイに表示させる、スピーカに出力させるまたはランプを点灯させる等を複数組み合わせて実行してもよい。プロセッサ３２の処理は、ステップＳｔ１１０の処理の後ステップＳｔ１１４の処理に進む。なお、ステップＳｔ１１０の処理の警告を検査者が確認し、異常のある物品を正状態にした旨の信号を入力デバイス３６に検査者が入力した場合に、プロセッサ３２の処理は、ステップＳｔ１１０の処理の後ステップＳｔ１１４の処理に進むとしてもよい。

【0083】

プロセッサ３２は、ステップＳｔ１０４の処理で算出した向きに係る情報（つまり、確からしさ）に基づき、物品の向きが正しい向きであるか否かを判定する（ステップＳｔ１１１）。正しい向きとは、ユーザによって予め定められた向き（つまり、正状態における物品の向き）である。プロセッサ３２は、例えば、確からしさの値に応じで物品の向きが正しい向きであるか否かを判定する。

【0084】

プロセッサ３２は、物品の向きが正しい向きではないと判定した場合（ステップＳｔ１１１，ＮＯ）、撮像画像をデータベース３４に記録する（ステップＳｔ１１２）。プロセッサ３２は、例えば、図４に示す物品Ｃ７と物品Ｃ１０とのように向きが異なる場合に、物品の向きが正しい向きではないと判定する。

【0085】

プロセッサ３２は、通知デバイス１４に警告に係る信号を出力する（ステップＳｔ１１３）。ステップＳｔ１１３の処理における警告に係る信号とは、物品の向きが異なることを通知する信号である。例えば、通知デバイス１４が複数の色で点灯できるランプの場合、プロセッサ３２は、例えば、向きに係る警告としてランプを青色で点灯させる。なお、ランプの色は一例であり青色に限られない。通知デバイス１４がディスプレイである場合、プロセッサ３２は、「物品の向きが異なります」等のメッセージを警告として通知デバイス１４に表示させてもよい。通知デバイス１４がスピーカの場合、プロセッサ３２は、「物品の向きが異なります」等のメッセージを警告として通知デバイス１４に出力させてもよい。また、プロセッサ３２は、ビープ音（つまり警告音）を通知デバイス１４に出力させてもよい。プロセッサ３２は通知デバイス１４への出力する警告として、ランプを点灯させる、ディスプレイに表示させる、スピーカに出力させるまたはランプを点灯させる等を複数組み合わせて実行してもよい。プロセッサ３２の処理は、ステップＳｔ１１３の処理の後ステップＳｔ１１４の処理に進む。なお、ステップＳｔ１１３の処理の警告を検査者が、確認し異常のある物品を正状態にした旨の信号を入力デバイス３６に検査者が入力した場合に、プロセッサ３２の処理は、ステップＳｔ１１３の処理の後ステップＳｔ１１４の処理に進むとしてもよい。

【0086】

プロセッサ３２は、ステップＳｔ１０７，Ｓｔ１１０，Ｓｔ１１３の処理の後に、再びステップＳｔ１０５の処理に戻ってもよい。つまり、プロセッサ３２は、異常が検出された場合、検査者等によって物品が正しい状態となったか否かを再度判定してもよい。

【0087】

プロセッサ３２は、物品の向きが正しい向きであると判定した場合（ステップＳｔ１１１，ＹＥＳ）、検査対象を検査した結果を表示デバイス３５に表示する（ステップＳｔ１１４）。プロセッサ３２は、例えば、検査結果をテキスト（例えば、「正常です」、「異常があります」等）で表示してもよいし、検出に用いた撮像画像を表示してもよい。プロセッサ３２は、ステップＳｔ１０５，Ｓｔ１０８，Ｓｔ１１１の処理で異常が検出された場合、どの物品に異常があったかがわかるマーク等を撮像画像に重畳させて表示デバイス３５に表示してもよい。なお、物品を検出した際に設定される枠（例えば、図４の枠ＦＣ１等）は、撮像画像上の該当する位置に設定された後、撮像画像に重畳して表示される。ここで設定とは、例えば、撮像画像上の座標において、中心座標と枠の大きさとが数値的に設定されることをさす。重畳とは、表示デバイス３５に表示する際に、設定に応じて枠の形状を撮像画像上の該当する位置に表示することを示す。プロセッサ３２は、検出された異常の内容を表示デバイス３５に表示させてもよい。プロセッサ３２は、撮像画像、検査結果、時刻またはレーンＬＡの情報等を組合せて表示デバイス３５に表示させてもよい。なお、プロセッサ３２は、通知デバイス１４に結果を表示させてもよい。

【0088】

次に、図８を参照して、検査装置３０の実行する検査対象ＯＢを検査する第２の処理のフローチャートを説明する。図８は、検査装置３０の実行する検査対象ＯＢを検査する第２の処理のフローチャートである。図８に係るフローチャートの各処理は、プロセッサ３２によって実行される。図７と同一の処理に関しては同一符合を付記して説明を省略する。

【0089】

プロセッサ３２は、撮像画像の中からまずケースを検出する（ステップＳｔ２００）。プロセッサ３２は、ステップＳｔ２００の処理でケースの座標（図６参照）を算出する。

【0090】

プロセッサ３２は、ケースの大きさ（例えば、ケースの外周の長さ）を算出する（図６参照）。プロセッサ３２は、ケースの大きさが所定の閾値以上であるか否かを判定する（ステップＳｔ２０１）。ケースの外周の長さを用いてステップＳｔ２０１の処理に係る判定を行う場合、プロセッサ３２は、ケースの外周の長さが所定の長さ以上であるか否かを判定する。

【0091】

プロセッサ３２は、ケースの大きさが所定の閾値未満である場合（ステップＳｔ２０１，ＮＯ）、処理を終了する。

【0092】

プロセッサ３２は、ケースの大きさが所定の閾値以上である場合（ステップＳｔ２０１，ＹＥＳ）、ケースの座標の中に含まれる物品を検出する（ステップＳｔ２０２）。プロセッサ３２は、ステップＳｔ２０２の処理において物品の種類を認識する。プロセッサ３２はステップＳｔ２０２の処理において各物品の座標（図５参照）を算出する。以下の処理は、図７のフローチャートに係るステップＳｔ１０３以降の処理と同様なため説明を省略する。

【0093】

このように、プロセッサ３２は、まずケースを検出し、検出されたケースの中から物品を検出してもよい。これにより、検査装置３０は、レーンＬＡ上を流れている検査対象において、撮像画像の中からケースが一部写っていない検査対象の中の物品を検出し、誤って種類、向きまたは数が異なると判定してしまうのを防ぐことができる。つまり、検査装置３０は、検査対象の検査を高精度に行うことができる。また、検査装置３０は、検査対象の一部だけで異常があると判定する場合、当該検査対象の他の部分（つまり、撮像画像に含まれない部分）にも異常がある場合、通知デバイス１４に何度も警告を出力し、検査者の作業を増大させてしまう可能性がある。検査装置３０が検査対象に異常があると判定する度にレーンＬＡを停止させる場合、生産効率が落ちてしまう可能性がある。検査装置３０は、大きさが閾値以上のケースの中から物品を検出し検査を進めることで、同一検査対象において警告を何度も出力することを防ぎ、作業者の負担を低下させることができる。また、検査装置３０は、同一検査対象においてレーンＬＡを何度も停止させることを防ぎ、生産効率を向上させることができる。

【0094】

次に、図９を参照して、検査装置３０の実行する検査対象ＯＢを検査する第３の処理のフローチャートを説明する。図９は、検査装置３０の実行する検査対象ＯＢを検査する第３の処理のフローチャートである。図９に係るフローチャートの各処理は、プロセッサ３２によって実行される。図７と同一の処理に関しては同一符合を付記して説明を省略する。

【0095】

プロセッサ３２は、作成データとマスタデータとを比較して物品は正状態であるか否かを判定する（ステップＳｔ３００）。つまりプロセッサ３２は、作成データとマスタデータとを比較して、物品の数、並び方および向きが同じであるか否かを判定する。

【0096】

プロセッサ３２は、作成データとマスタデータとを比較して物品は正状態であると判定する場合（ステップＳｔ３００，ＹＥＳ）、プロセッサ３２の処理はステップＳｔ１１４の処理に進む。

【0097】

プロセッサ３２は、作成データとマスタデータとを比較して物品は正状態ではないと判定した場合（ステップＳｔ３００，ＮＯ）、撮像画像をデータベース３４に記録する（ステップＳｔ３０１）。

【0098】

プロセッサ３２は、通知デバイス１４にステップＳｔ３００の処理の判定結果に応じた警告を出力する（ステップＳｔ３０２）。例えば、通知デバイス１４が複数の色を有するランプの場合、プロセッサ３２は、物品の数が異なる場合、並びが異なる場合または向きが異なる場合のそれぞれにおいて異なる色でランプを点灯もしくは点滅させる。プロセッサ３２は、複数の種類（つまり、物品の数が異なる、並びが異なるまたは向きが異なる）の異常があると判定した場合、ランプを複数の色で順番もしくは同時に点灯もしくは点滅させてもよい。通知デバイス１４がディスプレイの場合、プロセッサ３２は、異常の内容に応じたテキストを表示させる。通知デバイス１４がスピーカの場合、プロセッサ３２は以上の内容に応じたテキストを出力させる。

【0099】

これにより、検査装置３０は、１つの検査対象の中の複数の物品に異常がある場合、１度の処理で当該検査対象の中の全ての異常を判定し、警告することができる。これにより、検査装置３０は、高効率に検査者に警告を通知することができ、生産効率を向上させることができる。

【0100】

なお、検査装置３０は、カメラ１２のフレームレートとケースの大きさとに応じて、一定期間で同一のエラー内容に対する警告は通知しないようにしてもよい。例えば、カメラ１２のフレームレートが３０ｆｐｓでフレームごとに検査するとケースがカメラ１２を通過する間に、同じエラーによる警告が頻発してしまい検査者にとって煩わしさとなってしまう。検査装置３０は、一定期間の間に、同一内容のエラーに対する警告を行わないようにすることで、警告が頻発することを防ぎ必要以上に検査者の作業を止めてしまうことを防ぐことができる。また、検査装置３０は、検出したケースの座標を追跡し、一度検出したケースに関するエラーに対する警告は行わないようにしてもよい。また、検査装置３０は、フレームレートを上げて、検知エリアをケースのサイズ以上かつケース２つ分のサイズ未満とすることで、１回の撮像するタイミングを１つの箱ごとに行うようにフレームレートおよび検知エリアのサイズを設定してもよい。

【0101】

次に、図１０を参照して、通知デバイス１４もしくは表示デバイス３５に表示される画面の第１の例を説明する。図１０は、通知デバイス１４もしくは表示デバイス３５に表示される画面の第１の例を示す図である。

【0102】

画面ＳＣ１は、通知デバイス１４もしくは表示デバイス３５に表示される画面の一例である。なお、通知デバイス１４もしくは表示デバイス３５に表示される画面は画面ＳＣ１に限られない。画面ＳＣ１は、画像ＩＭ１とリストＬｉ１とを含む。

【0103】

画像ＩＭ１は、検査装置３０の検査対象の検査の処理に用いた撮像画像である。画像ＩＭ１に表示される番号「１」は、リストＬｉ１の番号「１」と対応する番号である。つまり、画像ＩＭ１を用いた検査結果はリストＬｉ１の番号１に係る情報に対応する。

【0104】

リストＬｉ１は、検査装置３０の検査の処理で異常が発見された撮像画像のリストである。

【0105】

「日時」は、撮像画像が撮像された日時である。「日時」の欄には、例えば、「２０２２／１２／１５ １６：０３」のように日付と時刻とが表示される。

【0106】

「画像」は、撮像画像のファイル名を表す。

【0107】

「エラー内容」は、撮像画像で検出された異常の内容が表示される。例えば、番号１に対応するエラー内容は、「お菓子Ｂが上下反対」および「缶の向き」である。番号２に対応するエラー内容は、「不要な物品が入っている」である。ここで不要な物品とは、マスタデータにおいて、ケースの中に入っているべき物品以外の物品のことを指す。例えば、マスタデータにおいて、熊のマークのお菓子Ｂは１つのみであるが、熊のマークのお菓子Ｂが２つ入っている場合、１つの熊のマークのお菓子Ｂは不要な物品となる。番号３に対応するエラー内容は「お菓子Ａがない」である。「エラー内容」には、番号１のように撮像画像の中で検出された複数の異常の内容を表示してもよい。

【0108】

「レーン」は、検査システム１が設置される場所に複数のレーンＬＡが存在する場合、どのレーンＬＡにおいて撮像された撮像画像であるのかを表す。

【0109】

リストＬｉ１の各行をユーザによって選択操作されることで、各番号に対応する画像ＩＭ１が画面ＳＣ１に表示される。

【0110】

画面ＳＣ１には、対象のレーン（例えば、レーン１）に絞った内容が表示されてもよい。なお、この場合、他のレーン（例えば、レーン２）に関する画面についても作成される。

【0111】

このように、検査装置３０は、ユーザ（例えば、検査者、管理人または検査対象を売る店の従業員等）が過去に発生した検査対象の異常の内容を確認することを支援できる。例えば、検査対象ＯＢに不具合があったというクレームをユーザが顧客から受けた場合に、検査装置３０は、過去に発生した異常の内容を通知デバイス１４もしくは表示デバイス３５に表示させることができる。すなわち、検査装置３０は、ユーザが、過去の結果を参照し、どの工場のどのレーンで異常が発生したかを確認し、再発防止に努めることを、支援する。なお、異常が発生した場合に限られず、検査に用いた撮像画像に係る情報を全てデータベース３４に保存し、リストＬｉ１に表示させてもよい。その場合、リストＬｉ１は、異常が発生した場合と発生しなかった場合とで場合分けして絞り込み可能であってもよい。

【0112】

次に、図１１を参照して、通知デバイス１４もしくは表示デバイス３５に表示される画面の第２の例を説明する。図１１は、通知デバイス１４もしくは表示デバイス３５に表示される画面の第２の例を示す図である。

【0113】

画面ＳＣ２は、通知デバイス１４もしくは表示デバイス３５に表示される画面の一例である。通知デバイス１４もしくは表示デバイス３５に表示される画面は、画面ＳＣ２に限られない。画面ＳＣ２は、画像ＩＭ２とリストＬｉ２を含む。

【0114】

画像ＩＭ２は、検査装置３０の検査対象の検査の処理に用いた撮像画像である。画像ＩＭ２は、異常が検出された物品にマーク（例えば、四角形のマークＲ１，Ｒ２，Ｒ３，Ｒ４）を重畳して表示させる。各マークに数字を付記して画像ＩＭ２に重畳させてもよい。なお、各マークに付記するものは数字に限られず、アルファベットまたは記号でもよい。

【0115】

リストＬｉ２は、画像ＩＭ２に対して検査装置３０の検査の処理で発見された異常のリストである。

【0116】

「修正対象番号」は、発見された異常の内容に対応する番号である。例えば、修正対象番号１は、マークＲ１に対応する。修正対象番号２は、マークＲ２に対応する。修正対象番号３は、マークＲ３に対応する。修正対象番号４は、マークＲ４に対応する。

【0117】

「エラー内容」は、撮像画像で検出された異常の内容が表示される。例えば、修正対象番号１に対応するエラー内容は、「お菓子Ｂの向きが逆です」である。修正対象番号２に対応するエラー内容は、「不要な物品が入っています」である。修正対象番号３に対応するエラー内容は、「缶の向きが異なります」である。修正対象番号４に対応するエラー内容は、「お菓子Ｂの位置が異なります」である。

【0118】

「指示内容」は、検出された異常の内容に対して行うべき作業の指示内容が表示される。例えば、修正対象番号１に対するエラー内容は、「お菓子Ｂの向きを直してください」である。修正対象番号２に対応するエラー内容は、「正しい物品と交換してください」である。修正対象番号３に対応するエラー内容は、「缶の向きを直してください」である。修正対象番号４に対応するエラー内容は、「お菓子Ｂの位置を直してください」である。

【0119】

これにより、検査装置３０は、ユーザに対し検出された異常を報知し、検査対象の異常を正しい状態に直す作業を支援することができる。

【0120】

次に、図１２を参照して、検査システム１を利用した物品の個数の計測方法の一例を説明する。図１２は、検査システム１を利用した物品の個数の計測方法の一例を示す図である。前述したとおり、物品の個数の計測は物品の並びの正誤判定と一緒に処理してもよい。これは、物品の並びを確認するときに各物品の種類を検出するため、そのときに個数も数えておくことで可能である。

【0121】

プロセッサ３２は、エリアＧＡを通過した物品の数を計測する。これにより、検査装置３０は、ケースに詰められた物品の数をカウントすることができる。

【0122】

エリアＧＡを、ケース１つ分のサイズ以上でありかつケース２つ分のサイズ未満とすることで、エリアＧＡのなかにケース全体が含まれるケースを一つにすることができる。これにより、プロセッサ３２は、ケース全体を各ケースごとに検出することができる。また、撮像するフレームレート及びエリアＧＡのサイズあるいはどちらか一方を調整することで、ケースを追跡することなく同じケースを複数回カウントしてしまうことを防ぐことができます。詳しく説明すると、ケース全体を撮像した後、次のケースの全体を撮影するまでの間の撮影においてどちらのケースの全体をも含まない撮像画像が撮像されるようにする。これにより、ケースから次のケースに移動したかどうかを判断するトリガーとして、いづれのケース全体がエリアＧＡに含まれていない画像を使うことで、ケースを追跡して同一のケースかどうかを検証しなくてもケースが変わったことを認識することができます。つまり、プロセッサ３２は、ケースを追跡して同一のケースかどうかを検証する処理が不要となるため、ケースを撮像し物品の異常を検出するまでの一通りの処理を軽量化することができる。また、これにより、プロセッサ３２は、同じケースの物品を複数回数えてしまうことを防ぐことができ、エリアＧＡを通過した物品の個数を正確に計測することができる。

【0123】

プロセッサ３２は、ケースの中の物品が複数の種類である場合、各種類の物品のそれぞれの数を計測してもよい。例えば、プロセッサ３２は、エリアＧＡを物品が通過したらその都度個数をカウントする。これにより、検査装置３０は、ケースに詰められた物品を種類ごとに個数をカウントすることができる。これにより、検査装置３０は、検査者または検査装置３０が設置された場所の管理人等が、ケースに詰められた各種類の物品の個数を把握するのを支援することができる。

【0124】

（本開示のまとめ）
以上の実施の形態の記載により、下記技術が開示される。

【0125】

＜技術１＞
本実施の形態に係る検査装置（例えば、検査装置３０）は、カメラによって検査対象が撮像された撮像画像から検査対象のケースを検出し、ケースの中から複数の物品を検出し、物品の位置および種類を認識し、定められた種類の物品が定められた位置に配置されている状態に係る情報を示すマスタデータを用いて、各物品の種類と位置とがマスタデータと一致するか否かを判定し、少なくとも１つの物品の種類と位置とがマスタデータと一致しないと判定した場合、通知デバイスにエラーであることを通知するプロセッサ（例えば、プロセッサ３２）を備える。

【0126】

これにより、本実施の形態に係る検査装置は、ケースの中に含まれる複数の物品それぞれを検出し、各物品の種類と位置とがマスタデータと一致するか否か（つまり、正状態であるか否か）を判定することができる。これにより検査装置は、検査対象を高精度に検査することができ、検査者の検査対象を検査する作業を支援できる。

【0127】

＜技術２＞
技術１に記載の検査装置において、プロセッサは、複数の物品それぞれの撮像画像における座標を算出し、認識された物品の種類の情報を座標順に並び替え、マスタデータの物品の種類の情報の順番と一致しないと判定した場合、通知デバイスにエラーであることを通知する。

【0128】

これにより、本実施の形態に係る検査装置は、物品の並び方がマスタデータと一致するか否かを判定することができる。検査装置は、物品の並び方が異なる場合、エラーを報知し検査者の検査対象を検査する作業を支援することができる。例えば、ケースの中に含まれる物品の数が多い場合、検査者は全ての物品の並びを目視で確認しなければならず作業負荷が増大する。検査装置は、このようなケースの中に含まれる物品の数が多い場合、物品の並び方が異なる場合にエラーを報知することで、検査者の検査作業の負荷を軽減できる。

【0129】

＜技術３＞
技術１または技術２に記載の検査装置において、プロセッサは、物品の種類がマスタデータと一致しないと判定された場合、入れ替えるべき種類の物品を通知デバイスに通知する。

【0130】

これにより、本実施の形態に係る検査装置は、ケースに詰められた物品の種類が異なる場合、入れ替えるべき種類の物品を報知することができる。これにより、検査者は、容易に入れ替えるべき種類の物品を把握することができる。つまり、検査装置は、検査者の検査作業を支援できる。

【0131】

＜技術４＞
技術１から技術３のいずれか１つに記載の検査装置において、プロセッサは、物品の種類がマスタデータと一致しないと判定された場合、ケースの中の物品の位置を通知デバイスに通知する。

【0132】

これにより、本実施の形態に係る検査装置は、正状態と種類が異なる物品の位置を検査者が把握するのを支援できる。

【0133】

＜技術５＞
技術１から技術４のいずれか１つに記載の検査装置において、プロセッサは、検出された物品のマスタデータとの違いを数値として算出し、数値に基づき物品の向きを推定し、向きがマスタデータの示す定められた向きと異なる場合、通知デバイスにエラーであることを通知する。

【0134】

これにより、本実施の形態に係る検査装置は、物品の向きの違いを検知し検査者に報知することができる。検査装置は、物品の向きを算出された数値から推定することで検査対象の状態を高精度に検査できる。

【0135】

＜技術６＞
技術１から技術５のいずれか１つに記載の検査装置において、プロセッサは、物品の数を算出し、数がマスタデータの物品の数と一致しない場合、通知デバイスにエラーであることを通知する。

【0136】

これにより、本実施の形態に係る検査装置は、ケースの中の物品の数が異なる場合、検査者に報知し検査者の作業を支援できる。

【0137】

＜技術７＞
技術１から技術６のいずれか１つに記載の検査装置において、通知デバイスは、ランプであり、プロセッサは、数がマスタデータの物品の数と一致しないと判定される場合と、物品の種類と位置とがマスタデータと一致しないと判定される場合と、においてそれぞれ異なる色でランプを光らせる。

【0138】

これにより、本実施の形態に係る検査装置は、各エラーの内容に応じてランプを異なる色で光らせることで検査者に視覚的にエラーの内容を報知することができる。検査装置は、検査者がエラーの内容を簡単に把握することを支援できる。

【0139】

＜技術８＞
技術１から技術７のいずれか１つに記載の検査装置において、プロセッサは、撮像画像とエラーの内容とを通知デバイスに表示させる。

【0140】

これにより、本実施の形態に係る検査装置は、ユーザ（例えば、検査者または検査装置の設置場所の管理人等）が検出されたエラーの内容を視覚的に確認し、エラー内容を容易に解消することを支援できる。

【0141】

＜技術９＞
技術１から技術８のいずれか１つに記載の検査装置において、プロセッサは、撮像画像とエラーの内容とを紐づけて保存する。

【0142】

これにより、本実施の形態に係る検査装置は、ユーザが過去に発生したエラーの内容を参照することを支援できる。

【0143】

＜技術１０＞
技術１から技術９のいずれか１つに記載の検査装置において、エラーの内容は、撮像画像が撮像された時刻、物品の種類または物品の位置のうち少なくとも１つである。

【0144】

これにより、本実施の形態に係る検査装置は、エラーが発生した時刻、エラーが発生した物品の種類または位置をユーザが参照することを支援できる。

【0145】

＜技術１１＞
技術１から技術１０のいずれか１つに記載の検査装置において、検査対象は、コンベアを流れる物であり、プロセッサは、コンベアを流れる検査対象のケースの外周の長さが所定の閾値以上の場合、ケースの中から物品を検出する。

【0146】

これにより、本実施の形態に係る検査装置は、コンベアを流れる検査対象を高精度に検査することができ、検査者の検査対象を検査する作業を支援できる。

【0147】

以上、添付図面を参照しながら実施の形態について説明したが、本開示はかかる例に限定されない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても本開示の技術的範囲に属すると了解される。また、発明の趣旨を逸脱しない範囲において、上述した実施の形態における各構成要素を任意に組み合わせてもよい。

【産業上の利用可能性】

【0148】

本開示の技術は、対象物を高精度に検査する検査装置、検査方法およびプログラムとして有用である。

【符号の説明】

【0149】

１ 検査システム
１０，２０ レーン監視装置
１１ 照明
１２ カメラ
１３，３１ 通信Ｉ／Ｆ
１４ 通知デバイス
３０ 検査装置
３２ プロセッサ
３３ メモリ
３４ データベース
３５ 表示デバイス
３６ 入力デバイス
４０ 端末装置
ＬＡ レーン
Ｐ１，Ｐ２，Ｐ３，Ｐ４ 撮像画像
ＣＡ，Ｃ１，Ｃ２，Ｃ３，Ｃ４，Ｃ５，Ｃ６，Ｃ７，Ｃ８，Ｃ９，Ｃ１０ 物品
Ｂ１，Ｂ２，Ｂ３ ケース
ＯＢ，ＯＢ１，ＯＢ２，ＯＢ３ 検査対象
ＦＢ１，ＦＢ２，ＦＣ１，ＦＣ２，ＦＣ３，ＦＣ４，ＦＣ５，ＦＣ６，ＦＣ９，ＦＣ１０ 枠
ｔ１，ｔ２，ｔ３ 時刻
ｈｍ 検査者
ＰＬ ランプ
ｋ１，ｋ２，ｋ３，ｋ４，ｋ５，ｋ６，ｋ７，ｋ８，ｋ９ 座標
ＳＣ１，ＳＣ２ 画面
ＩＭ１，ＩＭ２ 画像
Ｌｉ１，Ｌｉ２ リスト
Ｒ１，Ｒ２，Ｒ３，Ｒ４ マーク
ＧＡ エリア

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】