特許 7485911 検品装置、検品方法、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-05-09

(45)【発行日】2024-05-17

(54)【発明の名称】検品装置、検品方法、プログラム

(51)【国際特許分類】

   B65G 1/137 20060101AFI20240510BHJP

   G06T 7/00 20170101ALI20240510BHJP

【ＦＩ】

B65G1/137 F

G06T7/00 300F

【請求項の数】 6

(21)【出願番号】P 2020057278

(22)【出願日】2020-03-27

(65)【公開番号】P2021155183

(43)【公開日】2021-10-07

【審査請求日】2023-02-08

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100149548

【弁理士】

【氏名又は名称】松沼 泰史

(74)【代理人】

【識別番号】100181135

【弁理士】

【氏名又は名称】橋本 隆史

(72)【発明者】

【氏名】秋山 隼哉

(72)【発明者】

【氏名】日高 康

【審査官】森林 宏和

(56)【参考文献】

【文献】特開２０１６－１８５８５２（ＪＰ，Ａ）

【文献】特開２０１９－０３４８１９（ＪＰ，Ａ）

【文献】特開２０１７－０８８３４５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ６５Ｇ １／００ － １／２０

Ｇ０６Ｔ ７／００ － ７／９０

(57)【特許請求の範囲】

【請求項1】

複数の検品対象を含む検品対象群から前記検品対象が取り出される前のタイミングに前記検品対象群を撮影した第一画像を取得する第一画像取得手段と、
前記検品対象のうち過去に登録した検品対象の画像に対応する登録済み検品対象を前記第一画像において認識してその検品対象の識別情報を特定する認識手段と、
前記検品対象群に含まれる検品対象の識別情報を含む伝票データを取得する伝票データ取得手段と、
取り出された検品対象の識別情報を取得する取り出し情報取得手段と、
前記伝票データに含まれる検品対象の識別情報と前記取り出された検品対象の識別情報とが一致した場合に、前記検品対象群から１つの検品対象が取り出されたと判定し、第二画像の取得を指示する画像取得判定手段と、
前記検品対象群から１つの検品対象が取り出された直後のタイミングに前記検品対象群を撮影した第二画像を取得する第二画像取得手段と、
前記第一画像と前記第二画像の差分を示す前記取り出された検品対象の画像を、当該検品対象の識別情報に紐づけて登録する登録手段と、
を備える検品装置。

【請求項2】

前記伝票データに含まれる検品対象のうち予め記憶する検品対象の画像と一致する画像を前記第一画像において特定し、当該第一画像において特定した検品対象の画像に当該検品対象の認識を行ったことを示す情報を重畳して表示する表示情報を表示装置に出力する表示手段と、
を備える請求項１に記載の検品装置。

【請求項3】

前記登録手段は、前記第一画像と前記第二画像の差分を示す前記取り出された検品対象の画像の特徴量に基づいて当該画像を登録するか否かを判定する
請求項１または請求項２の何れか一項に記載の検品装置。

【請求項4】

前記登録手段は、前記取り出された検品対象の識別情報に紐づいて登録される画像の数に基づいて、新たな前記取り出された検品対象の画像を登録するか否かを判定する
請求項１から請求項３の何れか一項に記載の検品装置。

【請求項5】

複数の検品対象を含む検品対象群から前記検品対象が取り出される前のタイミングに前記検品対象群を撮影した第一画像を取得し、
前記検品対象のうち過去に登録した検品対象の画像に対応する登録済み検品対象を前記第一画像において認識してその検品対象の識別情報を特定し、
前記検品対象群に含まれる検品対象の識別情報を含む伝票データを取得し、
取り出された検品対象の識別情報を取得し、
前記伝票データに含まれる検品対象の識別情報と前記取り出された検品対象の識別情報とが一致した場合に、前記検品対象群から１つの検品対象が取り出されたと判定し、第二画像の取得を指示し、
前記検品対象群から１つの検品対象が取り出された直後のタイミングに前記検品対象群を撮影した第二画像を取得し、
前記第一画像と前記第二画像の差分を示す前記取り出された検品対象の画像を、当該検品対象の識別情報に紐づけて登録する
検品方法。

【請求項6】

検品装置のコンピュータを、
複数の検品対象を含む検品対象群から前記検品対象が取り出される前のタイミングに前記検品対象群を撮影した第一画像を取得する第一画像取得手段、
前記検品対象のうち過去に登録した検品対象の画像に対応する登録済み検品対象を前記第一画像において認識してその検品対象の識別情報を特定する認識手段、
前記検品対象群に含まれる検品対象の識別情報を含む伝票データを取得する伝票データ取得手段、
取り出された検品対象の識別情報を取得する取り出し情報取得手段、
前記伝票データに含まれる検品対象の識別情報と前記取り出された検品対象の識別情報とが一致した場合に、前記検品対象群から１つの検品対象が取り出されたと判定し、第二画像の取得を指示する画像取得判定手段、
前記検品対象群から１つの検品対象が取り出された直後のタイミングに前記検品対象群を撮影した第二画像を取得する第二画像取得手段、
前記第一画像と前記第二画像の差分を示す前記取り出された検品対象の画像を、当該検品対象の識別情報に紐づけて登録する登録手段、
として機能させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、検品装置、検品方法、プログラムに関する。

【背景技術】

【0002】

検品する検品対象とその数が、伝票に記載されている検品対象とその数と相違がないかを確認する検品作業を多くの事業者が行っている。例えば、倉庫業や卸売業など物流業者は、取り扱う商品を出荷する過程や入荷する過程において、出荷または入荷する商品とその個数が、伝票に記載されている商品とその個数に一致するかを確認する。

【0003】

特許文献１には、商品マスタへの自動登録付きの検品システムの技術が開示されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１７－１７８５７４号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

上述のような商品などの対象物の検品において、より効率良く検品対象の画像をデータベースに登録することのできる技術が望まれている。

【0006】

そこでこの発明は、検品装置、検品方法、プログラムを提供することを目的としている。

【課題を解決するための手段】

【0007】

本発明の第１の態様によれば、検品装置は、複数の検品対象を含む検品対象群から前記検品対象が取り出される前のタイミングに前記検品対象群を撮影した第一画像を取得する第一画像取得手段と、前記検品対象のうち過去に登録した検品対象の画像に対応する登録済み検品対象を前記第一画像において認識してその検品対象の識別情報を特定する認識手段と、前記検品対象群から１つの検品対象が取り出された直後のタイミングに前記検品対象群を撮影した第二画像を取得する第二画像取得手段と、前記第一画像と前記第二画像の差分を示す前記取り出された検品対象の画像を、当該検品対象の識別情報に紐づけて登録する登録手段と、を備えることを特徴とする。

【0008】

本発明の第２の態様によれば、検品方法は、複数の検品対象を含む検品対象群から前記検品対象が取り出される前のタイミングに前記検品対象群を撮影した第一画像を取得し、前記検品対象のうち過去に登録した検品対象の画像に対応する登録済み検品対象を前記第一画像において認識してその検品対象の識別情報を特定し、前記検品対象群から１つの検品対象が取り出された直後のタイミングに前記検品対象群を撮影した第二画像を取得し、前記第一画像と前記第二画像の差分を示す前記取り出された検品対象の画像を、当該検品対象の識別情報に紐づけて登録することを特徴とする。

【0009】

本発明の第３の態様によれば、プログラムは、検品装置のコンピュータを、複数の検品対象を含む検品対象群から前記検品対象が取り出される前のタイミングに前記検品対象群を撮影した第一画像を取得する第一画像取得手段と、前記検品対象のうち過去に登録した検品対象の画像に対応する登録済み検品対象を前記第一画像において認識してその検品対象の識別情報を特定する認識手段と、前記検品対象群から１つの検品対象が取り出された直後のタイミングに前記検品対象群を撮影した第二画像を取得する第二画像取得手段と、前記第一画像と前記第二画像の差分を示す前記取り出された検品対象の画像を、当該検品対象の識別情報に紐づけて登録する登録手段と、として機能させることを特徴とする。

【発明の効果】

【0010】

本発明によれば、より効率良く検品対象の画像をデータベースに登録することができる。

【図面の簡単な説明】

【0011】

【図1】本実施形態による検品システムの構成を示すブロック図である。

【図2】本実施形態による検品装置のハードウェア構成を示す図である。

【図3】本実施形態による検品装置の機能ブロック図である。

【図4】本実施形態による検品処理における第一検品処理の概要を示す第一の図である。

【図5】本実施形態による検品処理における第二検品処理の概要を示す第二の図である。

【図6】本実施形態による検品装置の処理フローを示す第一の図である。

【図7】本実施形態による検品装置の処理フローを示す第二の図である。

【図8】本実施形態による検品装置の処理フローを示す第三の図である。

【図9】本実施形態による検品装置の処理フローを示す第四の図である。

【図10】本実施形態による検品装置の最小構成を示す図である。

【図11】本実施形態による最小構成の検品装置による処理フローを示す図である。

【発明を実施するための形態】

【0012】

以下、本発明の一実施形態による検品装置を備えた検品システムを図面を参照して説明する。
図１は同実施形態による検品システムの構成を示すブロック図である。
図１に示す通り、検品システム１は、検品装置１００と、撮影装置２０と、重量計測器３０と、表示装置４０と、入力装置５０とを備えている。検品装置１００は、コンピュータである。

【0013】

撮影装置２０は、検品対象群を撮影する例えばカメラである。重量計測器３０は、重量計測装置の一態様であり、検品対象群の重量を測定する。本実施形態においては、重量計測器３０には１つまたは複数の検品対象を示す検品対象群が置かれる。より具体的には、検品対象群６０は、例えば重量計測器３０に置かれた上面の開いたボックスやトレー等に置かれた１つまたは複数の検品対象である。

【0014】

図１において、撮影装置２０は、重量計測器３０の上に載せられた検品対象群を真上から撮影できるようにレンズを地面側に向けて支柱３０２に取り付けられている。支柱３０２は、土台３０１によって固定され、重量計測器３０は、土台３０１の上に設置されている。撮影装置２０の取り付け位置は、この図の例に限定されない。検品装置１００は、撮影装置２０と接続されており、撮影装置２０が撮影した検品対象群の画像（第一画像）を取得する。検品装置１００は、重量計測器３０と接続されており、重量計測器３０が測定した検品対象の重量を取得する。

【0015】

表示装置４０は、例えばディスプレイである。表示装置４０は、検品装置１００と接続されており、検品装置１００が生成した検品作業に必要な情報を表示する。入力装置５０は、キーボード、マウス、タッチパネル、あるいは任意のデータ読み取り手段（記憶媒体読み取り装置など）である。検品装置１００のユーザである作業者は、表示装置４０に表示される情報を参照しながら、入力装置５０を用いて検品装置１００を操作し、検品作業を行う。

【0016】

図２は検品装置のハードウェア構成を示す図である。
図２で示すように、検品装置１００は、ＣＰＵ（Central Processing Unit）１０１、ＲＯＭ（Read Only Memory）１０２、ＲＡＭ（Random Access Memory）１０３、データベース１０４、通信モジュール１０５等の各ハードウェアを備えたコンピュータである。

【0017】

図３は検品装置の機能ブロック図である。
検品装置１００のＣＰＵ１０１は検品処理プログラムを実行する。これにより、検品装置１００は、重量データ取得部１１、伝票データ取得部１２、画像取得判定部１３、画像取得部１４、認識部１５、取り出し情報取得部１６、登録部１７、表示部１８、の各機能を発揮する。

【0018】

重量データ取得部１１は、重量計測器３０から検品対象群の重量を少なくとも含む重量データを取得する。
伝票データ取得部１２は、検品対象群に含まれる検品対象（商品）の識別情報と、当該検品対象が検品対象群に含まれるべき個数とを少なくとも含む伝票データを取得する。

【0019】

画像取得判定部１３は、検品対象群から検品対象が取り出されるタイミングであると判定した場合に、検品対象群の画像を取得すると判定する。
画像取得部１４は、検品対象群の画像を取得する。
認識部１５は、検品対象のうち過去に登録した検品対象の画像に対応する登録済み検品対象を第一画像において認識してその検品対象の識別情報を特定する。
取り出し情報取得部１６は、取り出された検品対象の識別情報を取得する。

【0020】

登録部１７は、第一画像と前記第二画像の差分を示す取り出された検品対象の画像を、当該検品対象の識別情報に紐づけて登録する。この時、登録部１７は、第一画像と第二画像の差分を示す取り出された検品対象の画像の特徴量に基づいて当該画像を登録するか否かを判定してよい。または登録部１７は、取り出された検品対象の識別情報に紐づいて登録される画像の数に基づいて、新たな取り出された検品対象の画像を登録するか否かを判定してよい。

【0021】

表示部１８は、表示装置４０に表示情報を出力する表示処理を行う。表示部１８は、一例として、伝票データに含まれる検品対象のうち予め記憶する検品対象の画像と一致する画像を第一画像において特定し、当該第一画像において特定した検品対象の画像に当該検品対象を認識したことを示す情報を重畳して表示する表示情報を表示装置４０に出力する。

【0022】

次に、検品作業の大まかな流れについて説明する。
作業者は、１枚の伝票を所持する。この伝票は、伝票発行装置などから出力された伝票である。伝票には、検品作業の対象となる１つまたは複数の検品対象の商品の情報が含まれている。作業者は、入力装置５０のコードリーダに伝票に印字されているコード情報を読み込ませる。入力装置５０はコード情報を検出し、当該コード情報に含まれる伝票データを検品装置１００へ出力する。なお作業者は入力装置５０に備わるキーボード等を用いて手作業によりコード情報を入力し、入力装置５０はそのコード情報に含まれる伝票データを検品装置１００へ出力してもよい。検品装置１００は、伝票データを一時記憶する。

【0023】

その後、作業者は、検品対象の商品を商品棚などから取り出し、検品用コンテナに入れる。本実施形態において、検品用コンテナに含まれる１つまたは複数の検品対象の商品が検品対象群である。作業者は、検品用コンテナを重量計測器３０の上に置く。重量計測器３０の上に置かれた検品用コンテナには、作業者が誤って類似する商品を商品棚から取り出して入れている場合もある。１枚の伝票には、複数種類の商品の情報が含まれていることも多く、その場合、検品対象群には、複数種類の検品対象の商品が含まれることになる。作業者が検品用コンテナを重量計測器３０の上に置くと、重量計測器３０は、検品対象群６０の重量を測定し、測定した重量データを検品装置１００に送信する。検品装置１００は、重量データを一時的に記憶し、安定したことを検出すると、その安定した状態から重量データが減少したか否かを判定することができる。また撮影装置２０は、検品対象群を撮影した画像を検品装置１００へ送信する。

【0024】

なお、重量計測器３０は検品用コンテナの重量と検品対象群に含まれる検品対象の合計重量とを含む総重量から、検品用コンテナの重量を減じて、検品対象の合計重量を示す重量データを検品装置１００へ送信してよい。伝票にはバーコードや二次元コードなどのコード情報が印字されてよい。当該バーコードや二次元コードは、検品対象である商品の識別情報、数量などが含まれてよい。数量は出荷数量や入荷数量である。なお、伝票に印字されたコード情報が伝票の識別番号等を示し、そのようなコード情報を検品装置１０が入力装置５０から取得してもよい。この場合、検品装置１０はそのコード情報に紐づいてデータベース１０４等に記録されている検品対象となる商品の識別情報や数量を読み取って一時記憶してもよい。

【0025】

図４は検品処理における第一検品処理の概要を示す第一の図である。
図４で示すように、検品装置１００は、検品対象群を全て含む画像４１を取得する。画像４１には商品Ａ、商品Ｂ、商品Ｃが含まれているとする。検品装置１００は、画像４１を表示装置４０に表示する。また検品装置１００は画像４１を第一画像と設定し一時記憶する。検品装置１００は、画像４１において写る検品対象の商品のうち、過去に画像を登録し認識した商品Ａの範囲を、認識したことを示す色や情報を付与した画像４２を表示装置４０に表示する。検品装置１００は認識したことを示す色や情報を付与した画像４２を第一画像と設定し一時記憶する。これにより作業者は、検品装置１００が認識した検品対象の商品を確認することができる。作業者は、検品装置１００が認識していない商品Ｂを検品対象群から取り出して、その商品Ｂのコード情報を入力装置５０に読み込ませるか、商品Ｂのコード情報を入力装置５０に入力する操作を行い、検品完了ボックスにその商品Ｂを入れる。検品装置１００は、検品対象群から商品Ｂが取り出された直後のタイミングに検品対象群を撮影した画像４３を取得する。なお、取り出された直後のタイミングとは、検品対象群から１つの検品対象が取り出された時刻から、検品対象群から次の１つの検品対象が取り出される前の時刻までの間のタイミングと定義されてよい。検品装置１００は、画像４３を第二画像と設定し一時記憶する。検品装置１００は、商品Ｂが取り出された直後のタイミングで検品対象群の第二重量データを重量計測器３０から取得する。検品装置１００は、画像４２（第一画像）と画像４３（第二画像）の差分を算出し、その差分示す取り出された検品対象である商品Ｂと推定される画像を、当該商品Ｂの識別情報に紐づけて登録する。また検品装置１００は、第一重量データと第二重量データの差分を示す商品Ｂの推定重量と、商品Ｂと推定される画像を、当該商品Ｂの識別情報に紐づけて登録する。検品装置１００は、第二画像と設定した画像４３を第一画像へ設定変更して一時記憶する。検品装置１００は、第二重量データを第一重量データと設定変更して一時記憶する。

【0026】

また作業者は、検品装置１００が認識していない商品Ｃを検品対象群から取り出して、その商品Ｃのコード情報を入力装置５０に読み込ませるか、商品Ｃのコード情報を入力装置５０に入力する操作を行い、検品完了ボックスにその商品Ｃを入れる。検品装置１００は、検品対象群から商品Ｃが取り出された直後のタイミングに検品対象群を撮影した画像４４を取得する。検品装置１００は、画像４４を第二画像と設定し一時記憶する。検品装置１００は、商品Ｃが取り出された直後のタイミングで検品対象群の第二重量データを重量計測器３０から取得する。検品装置１００は、画像４３（第一画像）と画像４４（第二画像）の差分を算出し、その差分示す取り出された検品対象である商品Ｃと推定される画像を、当該商品Ｃの識別情報に紐づけて登録する。また検品装置１００は、第一重量データと第二重量データの差分を示す商品Ｃの推定重量と、商品Ｃと推定される画像を、当該商品Ｃの識別情報に紐づけて登録する。検品装置１００は、以降、検品作業が完了するまで同様の処理を繰り返す。

【0027】

これにより、検品装置１００は、作業者が検品作業を行っている間に、認識できなかった検品対象の商品の画像や重量を登録することができる。

【0028】

図５は検品処理における第二検品処理の概要を示す第二の図である。
図４を用いた説明は、検品処理において最初に取得した検品対象群の画像４１に含まれる検品対象のうち、検品装置１００が認識した登録済み検品対象では無い検品対象が作業者によって検品対象群から取り出された場合の例を示している。一方で、検品装置１００が認識した登録済み検品対象が最初に検品対象群から取り出された場合、以下の処理を行う。

【0029】

図５で示すように、検品装置１００は、検品対象群を全て含む画像５１を取得する。画像５１には商品Ａ、商品Ｂ、商品Ｃが含まれているとする。検品装置１００は、画像５１を表示装置４０に表示する。また検品装置１００は画像５１を第一画像と設定し一時記憶する。検品装置１００は、画像５１において写る検品対象の商品のうち、過去に画像を登録し認識した商品Ａの範囲を、認識したことを示す色や情報を付与した画像５２を表示装置４０に表示する。検品装置１００は認識したことを示す色や情報を付与した画像５２を第一画像と設定し一時記憶する。これにより作業者は、検品装置１００が認識した検品対象の商品を確認することができる。作業者は、検品装置１００が認識した商品Ａを検品対象群から取り出して、検品完了ボックスにその商品Ａを入れる。ここで、商品Ａは、既に検品装置１００において認識されているため、作業者は、商品Ａのコード情報を入力装置５０に読み込ませたり、商品Ｂのコード情報を入力装置５０に入力する操作を行ったりする必要はない。図４を用いて説明した検品処理では、商品のコード情報の取得を契機に検品対象群の撮影画像を取得しているが、一方、図５で示すように、作業者は、検品装置１００の認識した商品を検品対象群から取り出した場合に、その商品のコード情報を入力装置５０に入力しない。この場合、検品装置１００はコード情報を取得できないため、撮影画像を取得する契機が分からず、従って、図５において商品Ａが取り出された直後の画像５３が撮影されないこととなる。

【0030】

従って、検品装置１００は、コード情報の取得無しに、検品対象群から１つの商品が取り出されたことを検知する。例えば検品装置１００は、伝票データを入力装置５０から取得する前に、安定した状態の第一重量データが減少したことを検知したとする。この場合、検品装置１００は、安定した状態の第一重量データが減少し、その後、再度安定した状態となったことを検出した場合には、商品が取り出されたタイミングであると判定する。検品装置１００は、そのタイミングで、撮影装置２０に撮影指示信号を送信する。撮影装置２０は、撮影指示信号を受信すると、検品対象群６０を上から撮影し、その撮影により生成した画像５３を検品装置１００に送信する。検品装置１００は、安定した状態の第一重量データが減少し、その後、再度安定した状態となった重量データを第二重量データとして一時記憶する。

【0031】

検品装置１００は、検品対象群から商品Ａが取り出された直後のタイミングに検品対象群を撮影した画像５３を取得する。検品装置１００は、画像５３を第一画像と設定し一時記憶する。そしてその後に作業者が、検品装置１００が認識していない商品Ｂを検品対象群から取り出して、その商品Ｂのコード情報を入力装置５０に読み込ませるか、商品Ｂのコード情報を入力装置５０に入力する操作を行い、検品完了ボックスにその商品Ｂを入れる。検品装置１００は、検品対象群から商品Ｂが取り出された直後のタイミングに検品対象群を撮影した画像５４を取得する。検品装置１００は、画像５４を第二画像と設定し一時記憶する。検品装置１００は、画像５３（第一画像）と画像５４（第二画像）の差分を算出し、その差分示す取り出された検品対象である商品Ｂと推定される画像を、当該商品Ｂの識別情報に紐づけて登録する。また検品装置１００は、第一重量データと第二重量データの差分を示す商品Ｂの推定重量と、商品Ｂと推定される画像を、当該商品Ｂの識別情報に紐づけて登録する。検品装置１００は、以降、検品作業が完了するまで同様の処理を繰り返す。

【0032】

図６は検品装置の処理フローを示す第一の図である。
上述の図４、図５で示した検品装置１００の処理の詳細を以下に示す。
作業者は検品を行う場合、入力装置５０のコードリーダに伝票に印字されているコード情報を読み込ませるか、そのコード情報を入力装置５０に入力する操作を行う。入力装置５０はコード情報を検出し、当該コード情報に含まれる伝票データを検品装置１００へ出力する。作業者は入力装置５０に備わるキーボード等を用いて手作業によりコード情報を入力し、入力装置５０はそのコード情報に含まれる伝票データを検品装置１００へ出力してもよい。検品装置１００の伝票データ取得部１２は、伝票データを取得する（ステップＳ６００）。作業者は、検品対象の商品を１つまたは複数入れられた検品用コンテナを重量計測器３０に載置する。重量計測器３０は、重量データを検品装置１００へ出力する。検品装置１００の重量データ取得部１１は、重量データを取得する（ステップＳ６０１）。

【0033】

画像取得判定部１３は、重量データの取得を検知する。画像取得判定部１３は、重量データの取得を検知すると、撮影装置２０に撮影指示信号を送信する。撮影装置２０は、撮影指示信号を受信すると、検品対象群６０を上から撮影し、その撮影により生成した画像を検品装置１００に送信する。画像取得部１４は、撮影装置２０から画像４１を取得する（ステップＳ６０２）。画像取得部１４は、取得した画像を第一画像と設定し記憶する。表示部１８は、画像４１を表示装置４０に出力する（ステップＳ６０３）。表示部１８は、伝票データに基づいて、検品一覧テーブルを生成し、表示装置４０に出力する（ステップＳ６０４）。画像取得判定部１３は、重量データを取得したことを検知し、その重量の値が安定した状態の重量の値を第一重量と設定して記憶する（ステップＳ６０５）。

【0034】

認識部１５は、画像４１に写る各商品の特徴情報と、伝票データに含まれる商品ＩＤに基づいて画像マスタテーブルから取得した各商品の画像の特徴情報との比較に基づいて、画像４１に写る商品を認識する（ステップＳ６０６）。なお画像マスタテーブルに登録されている商品の画像は、登録済み検品対象の画像の一例である。複数の商品を含む画像４１の中から、特定の商品を認識する処理は公知の技術を用いてよい。一例としては、認識部１５は、複数の商品を含む画像４１において処理対象の画像内範囲を決定し、その画像内範囲の特徴情報と、商品の特徴情報とを比較して類似度を算出する。認識部１５は、類似度が閾値以上であれば、その画像内範囲は、商品を示す画像であると認識する。認識部１５は、複数の商品を含む画像４１において処理対象の画像内範囲をずらしながら、同様の認識処理を繰り返して、画像４１に写る商品を認識する。

【0035】

認識部１５は、画像４１に写る商品を認識と、その画像４１の中の認識した商品の範囲を特定する。認識部１５は、画像４１の中の認識した商品の範囲の画素を所定の色に変換し、画像４１の中の認識した商品の範囲に、その商品の商品ＩＤを重畳した変換後の画像４２を生成する。表示部１８は、変換後の画像４２を表示装置４０へ出力する（ステップＳ６０７）。表示装置４０は、変換後の画像４２を表示する。認識部１５は、変換後の画像４２を第一画像と設定し記憶する（ステップＳ６０８）。認識部１５は、伝票データに含まれる商品ＩＤが示す商品の個数検出し、その商品が個数分認識できたかを判定する。認識部１５は、商品ＩＤが示す商品が個数分認識できた場合には、その商品ＩＤの認識完了を表示部１８へ出力する。表示部１８は、認識した商品に認識完了フラグを付与した検品一覧テーブルを表示装置４０へ出力する（ステップＳ６０９）。表示装置４０は、検品が必要な数を認識した商品に認識完了フラグを付与した検品一覧テーブルを表示する。この表示は、検品対象の認識を行ったことを示す情報を重畳して表示する例の一態様である。これにより、作業者は、画像４２または、検品一覧テーブルを視認することで、検品対象群が示す検品対象の商品のうち、どの商品を検品装置１００が認識したかを判定することができる。図４で示すように、この処理において、検品装置１００が商品Ａを認識し、商品Ｂ、商品Ｃを認識しなかったとする。

【0036】

認識部１５は、伝票データに含まれる全ての商品を認識したかを判定する（ステップＳ６１０）。つまり認識部１５は、伝票データに含まれる全ての商品とその個数と、認識した商品とその個数が一致したかを判定する。認識部１５は、全ての商品を認識した場合には検品処理を終了すると判定する（ステップＳ６１１）。一方、認識部１５は、全ての商品を認識していない場合には、目視検品処理を行うと判定する（ステップＳ６１２）。この目視検品処理において、検品装置１００は、第一検品時処理または第二検品時処理の何れかを行う。そして、検品装置１００は、第一検品時処理または第二検品時処理が終了すると、ステップＳ６１０の判定を繰り返す。

【0037】

図７は検品装置の処理フローを示す第二の図である。
ステップＳ６１２で目視検品処理を行うと判定した場合、画像取得判定部１３は、入力装置５０の送信した商品のコード情報を取り出し情報取得部１６が取得したかを判定する（ステップＳ７０１）。画像取得判定部１３は、コード情報を取得した場合、商品の取り出し後のタイミングであると判定し、第一検品時処理を行う（ステップＳ７０２）。

【0038】

一方、画像取得判定部１３は、コード情報を取り出し情報取得部１６が取得していない場合、検品対象群から１つの商品が取り出されたかを判定する（ステップＳ７０４）。画像取得判定部１３は、第一重量の示す値が減少し、再度その値が安定した場合、商品が取り出されたと判定する。重量の値が安定するとは、重量の値の単位時間当たりの増減の幅が閾値未満になった場合である。従ってこの判定は、重量が減少した直後のタイミング、または、重量が減少した直後に当該重量の値の単位時間当たりの増減の幅が閾値未満になったタイミングの判定の一例である。

【0039】

または、画像取得判定部１３は、入力装置５０がタッチパネル等に表示する商品取り出しボタンの押下（第二画像の撮影指示）を検出し、そのボタンの押下信号を入力装置５０が検品装置１００に送信した場合に、商品が取り出されたと判定してもよい。この判定は、登録済み検品対象を取り出した後のユーザからの第二画像の撮影指示の入力を検知したタイミングの判定の一例である。

【0040】

画像取得判定部１３は、コード情報の取得が無い状態で、商品の取り出し後のタイミングであると判定した場合、第二検品時処理を行う（ステップＳ７０４）。画像取得判定部１３は、処理を終了するかを判定し（ステップＳ７０５）、終了しない場合には、表示部１８は、コード情報が示す商品ＩＤの商品に認識完了フラグを付与した更新後の検品一覧テーブルを表示装置４０へ出力する（ステップＳ７０６）。表示装置４０は、更新後の検品一覧テーブルを表示する。これにより、作業者は、取り出した商品の検品処理が完了したことを確認することができる。ステップＳ７０５の判定において終了すると判定した場合には、目視検品処理を終了する。

【0041】

（第一検品時処理）
図８は検品装置の処理フローを示す第三の図である。
ステップＳ７０２の第一検品時処理において、取り出し情報取得部１６は、作業者が検品のために検品対象群から取り出した商品のコード情報を取得する。取り出し情報取得部１６は、コード情報に含まれる商品ＩＤを特定する（ステップＳ８０１）。

【0042】

画像取得判定部１３は、取り出した商品のコード情報に含まれる商品ＩＤと、検品一覧テーブルに含まれる商品ＩＤとが一致しない場合、エラーを出力する。このエラーは、取り出した商品が検品対象ではないことを示す。画像取得判定部１３は、取り出した商品のコード情報に含まれる商品ＩＤが検品一覧テーブルにおいて全て認識完了フラグに紐づいて記録されている場合エラーを出力する。このエラーは、取り出した商品が検品対象ではあるが個数が伝票データで示す個数よりも多いことを示す。画像取得判定部１３は、取り出した商品のコード情報に含まれる商品ＩＤと、検品一覧テーブルに含まれる商品ＩＤとが一致した場合、以下の処理に進む。

【0043】

画像取得判定部１３が画像取得部１４に画像の取得を指示する。この指示は、伝票データに含まれる検品対象の識別情報と取り出された検品対象の識別情報とが一致した場合に、検品対象群から１つの検品対象が取り出されたと判定し、第二画像の取得を指示する態様の一例である。画像取得部１４は、撮影装置２０に撮影指示信号を送信する。撮影装置２０は、撮影指示信号を受信すると、検品対象群６０を上から撮影し、その撮影により生成した画像を検品装置１００に送信する。画像取得部１４は、撮影装置２０から画像４３を取得し、第二画像と設定して記憶する（ステップＳ８０２）。

【0044】

登録部１７は、第一画像と第二画像の各画素において差分が多い領域を商品の画像範囲として特定する。登録部１７は、その画像範囲の画像を、取り出した商品の商品画像として抽出する（ステップＳ８０３）。また登録部１７は、重量データ取得部１１に重量データの取得を指示する。重量データ取得部１１は商品が取り出された直後の重量データを取得する。登録部１７は新たに取得した重量データが示す重量を第二重量と設定し一時記憶する。登録部１７は、新たに取得した重量データが示す重量（第二重量）と、前回取得した重量データが示す重量（第一重量）との差を示す商品の重量を算出する（ステップＳ８０４）。登録部１７は、その算出した重量の値を第一重量と更新し、一時記憶する。

【0045】

登録部１７は、商品画像に所定の閾値以上の特徴量があるかを判定する（ステップＳ８０５）。登録部１７は、商品画像に閾値以上の特徴量が無い場合には、商品画像を登録しないと判定する（ステップＳ８０６）。特徴量はどのような画像に含まれる物のエッジを示す画素の数などであってよい。または特徴量は、それ以外の画像の特徴を示す情報であってもよい。登録部１７は、作業者が取り出した商品の商品ＩＤを取得し、その商品ＩＤに紐づいて画像マスタに記録されている商品画像が０枚か（未登録か）を判定する（ステップＳ８０７）。登録部１７は、未登録である場合、取り出した商品の商品ＩＤと、抽出した商品の商品画像と、商品の重量とを紐づけて画像マスタテーブルにその商品の商品画像として新規登録する（ステップＳ８０８）。

【0046】

登録部１７は、未登録でない場合、作業者が取り出した商品の商品ＩＤに紐づいて画像マスタに記録されている商品画像の数が閾値以上かを判定する（ステップＳ８０９）。登録部１７は、商品画像の数が閾値未満の場合には、商品画像を、画像マスタに記録されている当該商品の他の商品画像に紐づけて追加登録する（ステップＳ８１０）。

【0047】

登録部１７は、商品画像の数が閾値以上の場合には、商品画像を登録しないと判定する（ステップＳ８１１）。これにより一つの商品について必要数以上の多くの商品画像が登録されることを防ぐ。既に多くの商品画像が登録されている状況である場合、商品の置き方などにより検品装置１００が画像中から当該商品を認識できなかった可能性がある。または、登録部１７は、商品画像の数が閾値以上の場合には、検品装置１００が予め検出した当該商品の各商品画像のうちの出現数が低い画像と差し替えて、登録してもよい。出現数が低いとは、撮影装置２０から取得した画像において商品画像が示す商品の写る面が現れる頻度である。

【0048】

（第二検品時処理）
図９は検品装置の処理フローを示す第四の図である。
ステップＳ７０４の第二検品時処理において、まず画像取得判定部１３が画像取得部１４に画像の取得を指示する。この指示は、登録済み検品対象を取り出した後のユーザからの第二画像の撮影指示の入力に基づいて、検品対象群から１つの検品対象が取り出されたと判定し、第二画像の取得を指示する態様の一例である。またはこの指示は、重量が減少した直後のタイミング、または、重量が減少した直後に当該重量の値の単位時間当たりの増減の幅が閾値未満になったタイミングに基づいて、検品対象群から１つの検品対象が取り出されたと判定し、第二画像の取得を指示する態様の一例である。画像取得部１４は、撮影装置２０に撮影指示信号を送信する。撮影装置２０は、撮影指示信号を受信すると、検品対象群６０を上から撮影し、その撮影により生成した画像を検品装置１００に送信する。画像取得部１４は、撮影装置２０から画像５３を取得する（ステップＳ９０１）。画像取得部１４は、取得した画像５３を、検品対象群を示す最新の第一画像として一時記憶する（ステップＳ９０２）。

【0049】

上述の処理によれば、検品装置１００は、作業者が検品対象群から検品対象である商品を取り出すたびに、その商品を示す商品画像を画像マスタに記録するかを判定し、記録すると判定した場合には自動で商品を示す商品画像を登録することができる。また作業者が検品対象群から検品対象である商品を取り出した際に、その商品を示す商品画像を画像マスタに新たに記録すると判定した場合には、その商品の重量の情報を自動で登録することができる。これにより、より効率良く検品対象の画像をデータベースに登録することができる。

【0050】

図１０は検品装置の最小構成を示す図である。
図１１は最小構成の検品装置による処理フローを示す図である。
検品装置１００は、少なくとも、第一画像取得手段、認識手段、第二画像取得手段、登録手段、の各機能を発揮する。
第一画像取得手段は、複数の検品対象を含む検品対象群から検品対象が取り出される前のタイミングに検品対象群を撮影した第一画像を取得する（ステップＳ１００１）。
認識手段は、検品対象のうち過去に登録した検品対象の画像に対応する登録済み検品対象を第一画像において認識してその検品対象の識別情報を特定する（ステップＳ１００２）。
第二画像取得手段は、検品対象群から１つの検品対象が取り出された直後のタイミングに検品対象群を撮影した第二画像を取得する（ステップＳ１００３）。
登録手段は、第一画像と第二画像の差分を示す取り出された検品対象の画像を、当該検品対象の識別情報に紐づけて登録する（ステップＳ１００４）。

【0051】

上述の検品装置１００は、内部にコンピュータシステムを有している。そして、上述した各処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。

【0052】

また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

【符号の説明】

【0053】

１００・・・検品装置
１１・・・重量データ取得部（重量取得手段）
１２・・・伝票データ取得部（伝票データ取得手段）
１３・・・画像取得判定部（画像取得判定手段）
１４・・・画像取得部（第一画像取得手段、第二画像取得手段）
１５・・・認識部（認識手段）
１６・・・取り出し情報取得部（取り出し情報取得手段）
１７・・・登録部（登録手段）
１８・・・表示部
２０・・・撮影装置
３０・・・重量計測器
４０・・・表示装置
５０・・・入力装置
６０・・・検品対象群

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】