(58)【調査した分野】(Int.Cl.,DB名)
前記照合部が物品を一意に特定できない場合、前記表示制御部は、検品作業支援情報として、前記物品が写る前記検品対象画像上に、前記物品が一意に特定できないことを示す表示を行う、
請求項1から請求項6の何れか1項に記載の検品処理装置。
前記照合部は、前記検品対象画像と、前記検品物品を複数の方向から撮像して得られた画像のそれぞれとを照合することにより、前記物品が前記検品物品と一致するかを判定する
請求項1から請求項7の何れか1項に記載の検品処理装置。
【発明を実施するための形態】
【0013】
以下、本発明の一実施形態による検品処理装置を
図1〜
図12を参照して説明する。
図1は第一の実施形態による検品処理装置の最小構成を示す図である。
この図において、符号100は検品処理装置を表している。
図1に示す通り、検品処理装置100は、表示制御部105と、商品特定部109と、商品判定部110と、を少なくとも備えている。検品処理装置100は、例えばCPU(Central Processing Unit)を備えたコンピュータである。
商品特定部109は、1つまたは複数の検品商品の候補を撮像した検品対象画像と、商品を複数の方向から撮像して得られた各方向ごとのその商品の画像であって、予め登録されたマスタ画像とを照合し、検品対象画像に含まれる商品を特定する。
商品判定部110は、商品特定部109が特定した商品が、伝票データに含まれる商品か否かを判定する。
表示制御部105は、検品対象画像の商品上に、当該商品に対する商品判定部110による判定結果に基づく検品作業支援情報を付加した画像を表示する。例えば、商品判定部110が、商品特定部109によって特定された商品Aが伝票データに含まれていると判定した場合、表示制御部105は、検品対象画像の商品Aの上に、伝票データにおける商品Aの明細番号を付加した画像を生成し、検品処理装置100に接続されたディスプレイにその画像を表示する。
【0014】
図2は第一の実施形態による検品処理装置の構成の一例を示すブロック図である。
図2に示す通り、検品処理装置100は、制御判定部101と、商品画像取得部102と、画像バッファ部103、入力受付部104と、表示制御部105と、特徴量計算部106と、伝票データ保存部107と、照合部108と、商品特定部109と、商品判定部110と、特徴箇所特定部111と、伝票データ格納部112と、商品データ格納部113とを備えている。なお、伝票データに含まれる検品すべき商品を検品商品、検品すべき数量を検品数量、これに対して検品作業を行う作業員が検品商品の候補として商品棚から取り出した商品を検品対象商品と呼ぶ。
【0015】
制御判定部101は、他の機能部へ、情報の伝達や処理の指示を行う。
商品画像取得部102は、撮像装置に検品対象商品の撮像指示を行い、撮像装置から撮像装置が撮像した画像(検品対象画像)を取得する。
画像バッファ部103は、商品画像取得部102が取得した検品対象画像を格納する領域である。
入力受付部104は、検品作業員の入力操作を受け付ける。
特徴量計算部106は、商品画像取得部102が取得した画像の特徴量を、例えば図形特徴量を算出するなどの一般的な特徴量計算手法により計算する。
【0016】
伝票データ保存部107は、作業員が入力した検品作業の対象となる伝票データを伝票データ格納部112に記録する。
照合部108は、検品対象商品を撮像した検品対象画像の特徴量を用いて、その画像に写る商品を特定し、特定した商品が伝票データに含まれる検品商品と一致するかどうかを判定する。特に本実施形態における照合部108は、検品対象画像と照合する商品の種類を、伝票データに含まれる検品商品と検品商品に外観が類似する商品に限定することで照合処理の高速化を図る。なお、照合部108は、商品特定部109と、商品判定部110と、特徴箇所特定部111とを備えている。商品特定部109と、商品判定部110については、
図1を用いて説明したとおりである。
特徴箇所特定部111は、検品対象画像に写った商品について、その商品を特定することができる特徴のある箇所を特定する。特徴のある箇所とは、例えば、商品のある面の一部分の表示(商品名など)やある面の大部分を占める表示(模様など)である。
【0017】
伝票データ格納部112は、検品作業の対象となる出荷または入荷の伝票データに含まれる検品商品の商品名、検品数量などを格納するデータベースである。
商品データ格納部113は、商品ごとに、商品名、複数の方向からその商品を撮像したマスタ画像、マスタ画像の特徴量、単位重量、などを格納するデータベースである。
なお、制御判定部101、商品画像取得部102、入力受付部104、表示制御部105、特徴量計算部106、伝票データ保存部107、照合部108、商品特定部109、商品判定部110、特徴箇所特定部111の少なくとも一部は検品処理装置100の備えるCPUがハードディスクなどの記憶部からプログラムを読み出し実行することで備わる機能である。
【0018】
図3は、本発明の第一の実施形態による検品システムの一例を示す図である。
以下、
図3を用いて、本実施形態の検品システムの説明を行う。
この図において、符号1は検品システムを表している。
図3に示す通り、検品システム1は、検品処理装置100と、撮像装置200と、表示装置300と、入力装置400とを備えている。また、荷台301には1つまたは複数の検品対象商品(検品対象商品500)が置かれている。
【0019】
撮像装置200は、検品対象商品を撮像する例えばカメラである。
図3において、撮像装置200は、荷台301の上に載せられた検品対象商品を真上から撮像できるようにレンズを地面側に向けて支柱302に取り付けられている。支柱302は、荷台301によって固定されている。撮像装置200の取り付け位置は、この図の例に限定されない。検品処理装置100は、撮像装置200と接続されており、撮像装置200が撮像した検品対象商品の画像を取得する。
【0020】
表示装置300は、例えばディスプレイである。表示装置300は、検品処理装置100と接続されており、検品処理装置100が生成した検品作業に必要な情報を表示する。入力装置400は、キーボード、マウス、あるいは任意のデータ読み取り手段(記憶媒体読み取り装置など)である。作業員は、表示装置300に表示される情報を参照しながら、入力装置400を用いて検品処理装置100を操作し、検品作業を行う。
【0021】
次に、
図3を用いて検品作業の大まかな流れについて説明する。まず、作業員は、検品作業を行う対象の伝票に記載された検品対象商品を商品棚などから取り出し荷台301の上に置く。伝票データには、複数種類の商品が含まれていることも多く、その場合、検品対象商品500には、複数種類の商品が含まれることになる。このとき作業員は、検品対象商品がなるべく重ならないように荷台301の上に置く。また、作業員は、検品対象商品の特徴ある箇所が撮像されるように置く。作業員は、検品対象商品500を荷台301の上に置くと、検品処理装置100に自動検品処理の開始を指示する操作を行う。すると、検品処理装置100は撮像装置200に撮像指示信号を送信する。撮像指示信号を受信すると、撮像装置200は、検品対象商品500を撮像し、撮像した検品対象画像を検品処理装置100に送信する。
また、これらの処理と並行して、作業員は、伝票データ(検品商品の名称、検品数量など)を、入力装置400を用いて入力する。例えば、伝票データは電子化されたファイルで、作業員は、記憶媒体に格納されたそのファイルを、記憶媒体読取装置を介して検品処理装置100に入力する。なお、1枚の伝票に含まれる明細データや伝票番号などをまとめて伝票データと呼ぶ。
【0022】
すると、検品処理装置100は、伝票データに含まれた検品商品のそれぞれについて、検品商品と検品商品に外観が類似する商品のマスタ画像を取得する。そして、検品処理装置100は、商品のマスタ画像を使用して、撮像装置200が撮像した検品対象画像にどの商品が含まれているか特定する。次に検品処理装置100は、検品対象画像に写っていると特定した商品と、伝票データに含まれる検品商品とが一致するかどうかを判定する判定処理を行う。検品処理装置100は、伝票データに含まれる全ての検品商品について同様の判定処理を行う。この画像の照合による商品の特定と判定処理をまとめて検品処理とよぶ。
【0023】
検品処理装置100は、全ての検品商品についての検品処理結果を表示する検品確認画面の画像を生成して表示装置300に表示する。検品確認画面には、伝票データの明細一覧と検品対象画像とが表示される。例えば、検品処理の結果、検品対象画像から特定された商品Aが伝票データに含まれている場合、検品確認画面の伝票データの明細一覧では、商品Aの明細が消し込み表示される。消し込み表示とは、例えば、消し込む表示を行う明細行をグレーアウトして表示することをいう。また、検品確認画面の検品対象画像表示欄では、商品Aの画像上に伝票データにおける商品Aを含む明細データの明細番号が表示される。作業員は、表示装置300に表示された伝票データの明細一覧および検品対象画像表示欄に表示された情報を参照して荷台301に置かれた検品対象商品500が正しいかどうかを把握することができる。作業員は、過不足分する検品対象商品を荷台301に置いたり、減らしたりして検品作業を進める。以上の作業と検品処理の結果、伝票データに含まれる検品商品の全ての検品処理結果が正常となればその伝票データに対する検品作業は終了である。
【0024】
ところで、検品対象商品500が立体物の場合、検品対象商品の荷台301への搭載方法はさまざまである。例えば、商品Aが立方体形状であれば、その商品Aのどの面を上にして荷台301へ置くかについては6通りの方法が存在する。従って商品データ格納部113には、この商品Aについて、各面を撮像した6種類の照合用のマスタ画像を登録しておく必要がある。しかし、商品データ格納部113に商品Aの6面それぞれのマスタ画像を格納していたとしても必ずしも商品を特定できるとは限らない。何故ならば、商品Aに外観が類似する商品A´が存在し、商品Aと商品A´は5面がほぼ同じ外観で残りの1面のある部分でのみ両商品の判別が可能であるような場合が存在するためである。このような場合、作業員は、商品A´ではなく正しく商品Aを商品棚から取り出して、さらに商品Aの判別が可能な部分が写るように荷台301に置かなければならない。
【0025】
また、伝票データに商品Aの他に商品Bが含まれている場合、作業員は商品Bも荷台301へ置いて一度に照合処理を行う。この場合、商品Bを商品Aの横に置く場合もあれば、商品Bの上に商品Aを載せる場合もある。このとき商品Bを商品Aの特徴ある部分を隠すように載せた場合、やはり検品処理装置100は、商品Aを特定することができないことになる。このような場合、作業員は、商品Aの特徴ある箇所が撮像されるように商品Bを移動させ、その状態で撮像した検品対象画像を用いて、再度検品処理を行わなければならない。
【0026】
荷台301に置かれた検品対象商品が1〜2種類の商品であれば、作業員がそれらの商品の特徴ある部位が撮像されるように並べたり置き直したりすることも容易であるかもしれない。しかし、検品対象商品の種類が増えるにつれ、どの検品対象商品が正しい商品で置き直しなどの必要が無く、また、どの検品対象商品が置き直す必要がある商品か、あるいは、どの検品対象商品は誤った商品なので商品棚の正しい商品と取り替えなければならないかを把握するは大変になってくる。かといって1商品ずつ荷台301に置いて検品処理を行うと作業効率上問題がある。
【0027】
そこで、本実施形態の検品処理装置100は、複数商品を同時に検品可能とするうえで必要となる検品作業の支援情報を表示し、検品作業の利便性向上および作業効率の向上を図る。例えば、検品処理の結果、検品対象画像から伝票データには無い商品が特定された場合、検品処理装置100は、検品確認画面における検品対象画像表示欄の当該商品上に伝票データに含まれる商品と異なる商品であることを示す表示を行う。また、例えば、検品処理の結果、検品対象画像に一意に特定できない商品が検出された場合、検品処理装置100は、検品対象画像表示欄に、どの商品が一意に特定できないかを示す表示を行う。また、この場合、一意に特定できないとされた商品については、その商品のどの部位を撮像するようにすればその商品を特定することができるようになるかを教示する表示を行う。これらの検品作業支援情報によって作業員は、荷台301の商品を置き直したり、正しい商品と入れ替えたりして、効率よく検品作業を進めることができるようになる。
【0028】
図4は、本発明の第一の実施形態による照合処理の概要を説明する図である。
図4の下図は、商品データ格納部113に格納されている商品のマスタ画像を示している。図示するように商品データ格納部113には、各商品について、その商品を荷台301に置く場合の、全て置き方のパターンに対して撮像装置200が撮像する面のマスタ画像が格納されている。例えば商品Aのように立方体であれば、商品Aの上面、前側面、後側面、右側面、左側面、底面のマスタ画像が格納されている。また、商品Eのように円柱型の商品についても、上面、前側面、後側面、右側面、左側面、底面のマスタ画像が格納されている。このように商品の載置パターンに対応する全ての面のマスタ画像を有していることで、商品がどのように置かれたとしても照合処理を行うことができる。なお、商品データ格納部113には、各商品の各面を撮像したマスタ画像の特徴量が、予め所定の計算手法によって計算され、格納されていてもよい。以下の説明では、商品データ格納部113には、各商品の載置パターンに対応する全ての面のマスタ画像に基づく特徴量が格納されているものとする。
【0029】
図4の上図は、荷台301に商品A、商品D、商品E、商品Zが置かれている様子を示している。商品Aは右側面、商品Dは前側面、商品Eは上面、商品Zは底面が撮像装置200に向けられている。撮像装置200は、この様子を撮像すると、その検品対象画像を検品処理装置100に送信する。検品処理装置100では、商品画像取得部102が検品対象画像を画像バッファ部103に格納する。また、特徴量計算部106は、画像バッファ部103から検品対象画像を読み出して、所定の公知の計算手法により、この検品対象画像の特徴量を計算する。また、照合部108では、商品特定部109が、検品対象画像の特徴量と、
図4の下図で例示した複数方向から撮像した商品のマスタ画像の特徴量とを照合して検品対象画像に含まれる商品を特定する。具体的には、商品特定部109は、商品データ格納部113からまず商品A上面のマスタ画像の特徴量を読み出す。そして、商品特定部109は、検品対象画像について計算した特徴量分布をスキャンして、検品対象画像の特徴量分布に商品A上面画像の特徴量と合致する箇所があるかどうか検索する。合致するとは、特徴量の類似度が所定の閾値以上となることをいう。商品A上面の特徴量と合致する箇所があれば、商品特定部109は、検品対象画像に含まれる商品として、商品Aを特定する。現在、荷台301に置かれた商品Aは右側面が撮像されているので、商品特定部109は、検品対象画像の特徴量分布の中に商品A上面の特徴量パターンを見つけることはできない。次に商品特定部109は、商品データ格納部113から商品A前側面のマスタ画像の特徴量を読み出す。そして同様に商品特定部109は、検品対象画像について計算された特徴量分布をスキャンして、商品A前側面の特徴量と合致する箇所を探す処理を行う。この場合も商品特定部109は、商品A前側面の特徴量に合致する箇所を見つけることができない。商品特定部109は、以下同様にして、商品A〜商品Eについて格納された全ての面のマスタ画像に基づく特徴量それぞれについて、それらの特徴量と合致する箇所が検品対象画像の特徴量分布の中に存在するかどうかを検索する。そして商品特定部109は、検索できた商品について、その商品が検品対象画像に含まれる商品であると特定する。
図4の例では、商品特定部109は、商品A右側面マスタ画像の特徴量、商品D前側面マスタ画像の特徴量、商品E上面マスタ画像の特徴量を用いて検索した場合に、それらの特徴量を検索できることになる。従ってこの例では商品特定部109は、検品対象画像から、商品Aと商品Dと商品Eを特定することができる可能性がある。なお、ここで説明したある商品のマスタ画像に基づく特徴量を、検品対象画像の特徴量分布の中に探して商品を特定する処理を照合処理という。なお、照合処理を行って、ある商品の特徴量が複数検索できた場合、商品特定部109は、検索できた個数分その商品が写っていると判定する。
【0030】
ところで、
図4の例の場合、商品Aの右側面や商品Eの上面に特徴があれば、商品特定部109は、検品対象画像に写るのは商品Aおよび商品Eであると特定することはできる。しかしながら、例えば、商品Aと商品Bが類似していて、商品Aの右側面の特徴量と商品Bの右側面の特徴量がさほど変わらない場合には、商品特定部109は、検品対象画像に写るが商品Aか商品Bの何れであるかが判別できないことになる。従って、商品データ格納部113には、他の商品と判別できる特徴量が存在する部位が分かるような情報も格納されている。
図4下図の斜線部分は、特徴的な部位を示す情報が格納されていることを概念的に示したものである。
図4下図の例では、商品Eについては上面の画像に、他の商品と判別できる特徴が存在する。従って、商品特定部109は、
図4上図の検品対象画像から商品Eを特定することができる。一方、商品Aについては、上面の画像に特徴ある部位が存在するにもかかわらず、検品対象画像には商品Aの右側面の画像が含まれている。従って、このままでは、商品特定部109は、商品Aの右側面画像の照合結果によって、商品Aの可能性がある商品が含まれていることは認識できても、はっきりとその商品が商品Aであると特定することができない。このような場合、特徴箇所特定部111が、商品データ格納部113を参照して、商品Aの上面に特徴があることを認識する。さらに、特徴箇所特定部111は、現在、撮像されている商品Aの右側面と特徴箇所が存在する商品Aの上面との位置関係を特定する。表示制御部105は、特徴箇所特定部111による特定結果に基づいて、商品A上面を撮像装置200に向けるよう促す特徴箇所ガイド情報を表示する。作業員は、この表示を見て、商品Aの上面が撮像装置200に向くように商品Aを置き直す。その状態で再度照合処理を行えば、商品特定部109は、商品Aを特定することができる。なお、表示制御部105による特徴箇所ガイド情報の表示例については後述する。
【0031】
ところで、商品データ格納部113には、大量の商品に関するマスタ画像およびその特徴量の情報が格納されている。これら全ての商品の各面のマスタ画像一つ一つについて上述の照合処理を行うのは効率的ではない。従って本実施形態では、伝票データに含まれる商品とその商品に外観が類似する商品を抽出して、それらの商品についてのみ検品処理を行う。このように商品を限定することで検品処理の高速化を図ることができる。また、類似商品も検品処理の対象とすることで、荷台301に置かれた商品が伝票データに含まれる検品商品ではなく、それに類似する商品であるにもかかわらず、誤って検品商品であると誤認識することを防ぐことができる。商品データ格納部113には、どの商品が他のどの商品の外観と類似しているかを定義したグループ情報が格納されている。商品特定部109は、伝票データに含まれる検品対象商品を用いて、このグループ情報を参照し、検品商品と類似する商品を読み出す。そして商品特定部109は、検品商品とそれに類似する商品に限定して上述の検品処理を行う。次に検品処理装置100を用いた検品作業の処理の流れについて説明する。
【0032】
図5は、本発明の第一の実施形態による検品処理装置の処理フローを示す図である。
図6は、本発明の第一の実施形態による検品確認画面の一例を示す第一の図である。
図7は、本発明の第一の実施形態による検品確認画面の一例を示す第二の図である。
図8は、本発明の第一の実施形態による検品確認画面の一例を示す第三の図である。
荷台301には、
図4上図で例示したように検品対象商品が置かれているものとする。また、作業員は、検品処理装置100に対して検品確認画面の表示を指示する操作を入力する。検品処理装置100では表示制御部105が、検品確認画面の画像を生成し、表示装置300に検品確認画面を表示する。検品確認画面の詳細については後述する。
まず、作業員がある伝票データを検品処理装置100に入力する。例えば、作業員は、電子ファイル形式の伝票データを検品処理装置100に入力する。検品処理装置100では、入力受付部104がその入力操作を受け付け、伝票データ保存部107が入力された伝票データを取得する(ステップS10)。伝票データには、明細番号、商品名、検品数量が含まれている。伝票データの一例(伝票データα)を示す。
明細番号「1」、商品名「商品A」、検品数量「1」
明細番号「2」、商品名「商品C」、検品数量「1」
明細番号「3」、商品名「商品E」、検品数量「1」
伝票データ保存部107は、取得した伝票データを伝票データ格納部112に格納する。次に作業者は、検品確認画面に伝票番号を入力し、検品作業の対象となる伝票データを呼び出す。
【0033】
次に、制御判定部101は、呼び出した伝票データに含まれる検品商品の商品名を商品特定部109に出力し、照合処理に用いる商品(照合対象商品)の選択を指示する。商品特定部109は、商品データ格納部113から検品商品とそれに類似した外観を有する商品を選択する(ステップS11)。
【0034】
作業員は、入力した伝票データが記載された伝票や検品確認画面に表示された伝票データの明細一覧を参照して、検品対象商品を商品棚などから取り出し荷台301に置く。次に作業員は、検品処理装置100に検品処理の開始を指示する操作を行う。すると、入力受付部104がこの指示操作を受け付ける。すると、制御判定部101は、商品画像取得部102に撮像指示信号を出力する。商品画像取得部102は、撮像装置200に撮像指示を行い(ステップS12)、撮像装置200が検品対象商品500の画像を撮像する。商品画像取得部102は、撮像装置200が撮像した検品対象商品500の検品対象画像を取得し、画像バッファ部103に格納する。
【0035】
画像バッファ部103に検品対象画像が格納されると、制御判定部101は、特徴量計算部106に、格納した検品対象画像の特徴量を計算するように指示を行う。特徴量計算部106は、画像バッファ部103から検品対象画像を読み出して、所定の公知の特徴計算手法により特徴量を計算し、計算結果を制御判定部101に出力する。制御判定部101は、検品対象画像の特徴量をメモリに記録する。なお、この特徴量には、荷台301に置かれた全ての商品の特徴量が含まれている。
【0036】
次に制御判定部101は、商品特定部109に検品処理の開始を指示する。商品特定部109は、照合対象商品のマスタ画像に基づく特徴量を用いて検品処理を実行する(ステップS13)。具体的には、商品特定部109は、ステップS11で選択した照合対象商品の全ての載置パターンに対応するマスタ画像に基づく特徴量を次々に商品データ格納部113から読み出して、検品対象画像の特徴量分布と照合する。そして、商品特定部109は、検品対象画像に含まれる商品を特定する。次に商品特定部109は、特定した商品を商品判定部110に出力する。例えば、
図4の上図の例の場合、商品特定部109は、商品Dおよび商品Eを特定する。また、商品特定部109は、商品Aについて、一意に特定できないと判定する。また、商品特定部109は、商品Zについては、照合対象商品に含まれていないためその存在を認識することがない。商品判定部110は、伝票データ格納部112から伝票データを読み出して、読み出した伝票データに含まれる商品と、商品特定部109が特定したと商品を比較する。そして、商品判定部110は、商品特定部109が特定した商品が伝票データに含まれる商品であるかどうかを判定する。例えば、商品判定部110は、商品特定部109が特定した商品Eと上で例示した伝票データとを比較して商品Eは伝票データに含まれる(明細番号「3」の明細データ)と判定する。商品判定部110は、商品特定部109が商品Aについて一意に特定できないことについて、その物品が伝票データに含まれる物品であるかどうか不明と判定する。また、商品判定部110は、商品特定部109が特定した商品Dと上で例示した伝票データとを比較して商品Dは伝票データに無いと判定する。また、商品Zについては、商品特定部109にから照合処理の結果を通知されないので商品判定部110は何の判定もしない。商品判定部110は、すべての商品についての判定結果を制御判定部101に出力する。制御判定部101は、表示制御部105へその判定結果を出力し、検品確認画面の更新を指示する。
【0037】
表示制御部105は、判定結果に応じて検品確認画面の表示を更新する。例えば、特定した商品が伝票データに含まれる場合(ステップS14:伝票データに有り)、表示制御部105は、検品対象画像の特定された物品上に、伝票データにおけるその商品の明細番号を表示する(ステップS15)。また、表示制御部105は、伝票データの明細一覧においてその商品が含まれる明細データの消し込み表示を行う(ステップS16)。消し込み表示とは、その明細の商品に関して検品が完了したことを示す表示である。
【0038】
また、例えば、特定した商品が伝票データに含まれない場合(ステップS14:伝票データに無し)、表示制御部105は、検品対象画像に写る特定された商品上に、「誤」を表示する(ステップS17)。この表示は、当該商品が伝票データに含まれる商品と異なる商品であることを示す表示である。
【0039】
次に、
図6を用いて検品確認画面について説明する。
図6は、検品確認画面の一例を示す図である。図示するように、検品確認画面は、伝票番号入力欄61、伝票番号確定ボタン62、伝票データ表示欄63、メッセージ表示欄64、検品対象画像表示欄65、自動検品実行ボタン66、検品確定ボタン67、作業リセットボタン68、終了ボタン69を含む。表示制御部105は、伝票番号入力欄61に入力された伝票番号の伝票データを伝票データ格納部112から読み出して伝票データに含まれる明細の一覧を伝票データ表示欄63に表示する。また、表示制御部105は、画像バッファ部103に格納された検品対象画像を検品対象画像表示欄65に表示する。また、表示制御部105は、検品処理結果をメッセージ表示欄64に表示する。また、作業員が自動検品実行ボタン66を押下すると、商品特定部109などがステップS13の検品処理を行い、その結果に応じて表示制御部105が、伝票データ表示欄63、メッセージ表示欄64、検品対象画像表示欄65の表示を更新する。
【0040】
図6は、検品処理の結果、表示制御部105が更新した検品確認画面の一例である。
図6の例では、伝票データ表示欄63において、明細番号「1」〜「5」、「7」に対して消し込み表示されている。これは、明細番号「1」〜「5」、「7」に対応する「商品1」〜「商品5」、「商品7」が検品対象画像において特定され、さらに伝票データに含まれると判定されたことを示している。表示制御部105は、このように検品処理が成功した商品について伝票データ表示欄63での消し込み表示を行う。また、図示するように表示制御部105は、検品対象画像表示欄65に表示した画像において伝票データに含まれると判定された検品対象商品の上に、その商品に対応する明細番号を表示する。図中、「1」〜「5」、「7」の数字が表示されているのは、それぞれの位置に、その位置に表示された明細番号に対応する明細データに含まれる商品が写っていることを示している。作業員は、これらの検品作業支援情報の表示を見てどの商品の検品が正常に完了したかを把握することができる。なお、検品が正常に完了した商品について、明細データと同様、当該商品をグレーアウト表示する等の表示を行ってもよい。
【0041】
次に、明細番号「6」のデータについて説明する。伝票データ表示欄63において、表示制御部105は、明細番号「6」の行を消し込み表示していない。これは明細番号「6」の明細データに含まれる「商品6」が検品対象画像に含まれていないことを示している。また、検品対象画像表示欄65を見ると、「誤」の文字が表示された箇所がある。これは、商品特定部109が、当該位置に置かれた検品対象商品について特定した商品が、伝票データに含まれていない商品であることを示している。このように商品が一意に特定でき、かつその商品が伝票データに含まれてない場合、表示制御部105は、その商品の位置に「誤」を表示する。表示制御部105は、「誤」の文字を太字や目立つ色で表示する等の強調表示を行ってもよい。また、表示制御部105は、メッセージ表示欄64に伝票データに含まれていない商品が存在することを示すメッセージ(「リストにない商品が見つかりました」)を表示する。なお、伝票データに含まれてないことを示す表示の他の例としてその商品上に「×」を表示したりその商品の輪郭を強調する表示を行ったりといった方法でもよい。
【0042】
作業員は、これらの表示を見て、「誤」が表示された位置に置かれた検品対象商品が誤っていることを把握することができる。なお、「誤」が表示された位置に置かれた検品対象商品は、例えば「商品6」と外観が類似する商品である可能性がある。作業員が外観の似ている商品を商品棚から誤って取り出し、荷台301に置いた場合、商品特定部109は、ステップS11で選択した類似商品のマスタ画像の特徴量によって、この商品が「商品6」に類似する商品(例えば「商品6´」)であると特定する。商品判定部110は、「商品6´」と伝票データに含まれる検品商品(「商品6」)とを比較して「商品6´」が伝票データに含まれていないと判定する。この判定結果に基づいて、表示制御部105は、この商品上に「誤」を表示する。
この検品作業支援情報の表示により、作業員は、どの位置に置かれた商品が誤った商品であるかを把握することができる。作業員は、正しい商品を荷台301に置き直して、自動検品実行ボタン66を押下する。すると、商品特定部109が、再度、検品処理を行い、表示制御部105が検品処理結果に基づいて、検品確認画面を更新する。
【0043】
図5の処理フローに戻って、商品特定部109が商品を一意に特定することができなかった場合(ステップS14:不明)について説明する。その場合、商品判定部110はその商品が伝票データに含まれる検品商品であるかどうかが不明と判定し、表示制御部105は、伝票データに含まれる検品商品であるかどうかが不明とされた検品対象商品の上に、その商品が一意に特定できないことを示す「?」を表示する(ステップS18)。また、表示制御部105は、特徴箇所特定部111が特定した特徴箇所を示すガイド表示を行う(ステップS19)。なお、検品対象商品を一意に特定することができない場合とは、例えば、商品を特定するための特徴的な個所が検品対象画像に写っていないような場合が考えられる。
【0044】
ここで、
図7を用いて、商品を一意に特定することができなかった場合の表示例を具体的に説明する。
図7の例では、伝票データ表示欄63において、明細番号「1」〜「4」、「7」について消し込み表示されている。また、検品対象画像表示欄65では、明細番号「1」〜「4」、「7」に対応する「商品1」〜「商品4」、「商品7」の上に明細番号を示す「1」〜「4」、「7」の数字が表示されている。一方、商品を一意に特定することができない商品については、表示制御部105は、その商品の位置に「?」を表示する。また、表示制御部105は、その商品を特定するために必要な特徴ある箇所がどの位置に存在するかを示す特徴箇所ガイド情報を一意に特定できない商品上に表示する。破線71、破線72は、表示制御部105が表示した特徴箇所ガイド情報である。破線71は、商品どうしの重なりによって下に置かれた商品の特徴箇所が隠れることによって、下に置かれた商品が一意に特定できない旨を示す表示である。破線71は、特徴箇所の位置を示している。破線72は、撮像される側面に特徴箇所が写っていないことによって商品が一意に特定できない旨を示す表示である。破線72は、特徴箇所が含まれる側面を示している。特徴箇所特定部111は、商品特定部109によって商品が一意に特定はできないと判定されたときに用いられた画像がどの側面のマスタ画像であるかの情報と、商品データ格納部113が記憶する特徴的な箇所を示す情報とに基づいて、特徴箇所ガイド情報を表示する位置を特定する。表示制御部105は、その特定に従って特徴箇所の強調表示を行う。なお、特徴箇所が含まれる部位を強調する表示は、その部位を破線で囲む表示に限らない。例えば、その部位を目立つ色で表示したり、「この位置に特徴的な表示があります」といったメッセージとともに特徴箇所を指し示す吹き出し表示を行ったりといった方法でもよい。
【0045】
また、表示制御部105は、メッセージ表示欄64に一意に特定できない伝票データに含まれていない商品が存在することを示すメッセージ(「商品が一意に特定できませんでした。置き方を是正してください。」)を表示する。
作業員は、これらの表示を見て、一意に特定できない商品がどこに置かれた商品であって、その商品をどの向きに置き直せば特定できるようになるかを把握することができる。
【0046】
なお、作業員が誤って検品商品と類似しない商品を荷台301に載せてしまうことがある。そのような場合の表示例を
図8を用いて説明する。
図8の例では、伝票データ表示欄63において、明細番号「1」〜「6」について消し込み表示されている。また、検品対象画像表示欄65では、明細番号「1」〜「6」に対応する「商品1」〜「商品6」の上に明細番号を示す「1」〜「6」の数字が表示されている。また、メッセージ表示欄64には検品処理が完了したことを示すメッセージ(「検品処理が完了しました。」)が表示されている。
しかし、検品対象画像表示欄65には、「AAAA」と表示された商品が写っており、この商品については「誤」の表示や特徴箇所を指示する特徴箇所ガイド情報が表示されていない。
伝票データに含まれる検品商品およびそれに類似する商品以外が荷台301に置かれた場合、その商品は、上述の照合処理の対象とならない。そのため、そのような商品については、検品対象画像表示欄65において、何ら情報が付加されることなく、そのままの状態で表示されることになる。作業員は、検品対象画像表示欄65にそのまま表示されている商品を見つけると、その商品は余分な商品であると判断し、荷台301からその商品を取り除く。なお、本実施形態では、検品対象画像と照合する商品を、伝票データに含まれる検品商品とその検品商品に外観が類似する商品に限定しているので、外観が異なる商品を誤って置いてしまった場合には、何の支援情報も表示しないことにより、その商品の存在を速やかに作業員に通知することができる。
【0047】
ここで、伝票データが上記の伝票データαで、荷台301に置かれた商品が
図4上図、ステップS11で選択された照合対象商品および各商品の特徴箇所が
図4下図のようであったとする。すると、検品確認画面の表示は以下のようになる。まず、商品Aは、照合対象商品に含まれるが特徴箇所が写っていないので一意に特定することができず、検品対象画像表示欄65において特徴箇所ガイド情報が表示される。また、商品Eについては、照合対象商品であって特徴箇所が写っている。また、伝票データに含まれる検品商品である(明細番号「3」)。従って、検品対象画像表示欄65の商品E上には、明細番号「3」が表示される。また、商品Dについては、照合対象商品であって特徴箇所が写っている。しかし、伝票データに含まれない商品である。従って、検品対象画像表示欄65の商品E上には、明細番号「誤」が表示される。商品Zについては、照合対象商品に含まれていないので、照合処理自体が行われず検品対象画像表示欄65においてそのままの状態で表示される。伝票データ表示欄63に注目すると、検品が成功したのは、商品Eだけであるから、明細番号「3」の明細データだけが消し込み表示される。作業員は、これらの検品作業支援情報の表示を見て、商品Aの置き方が誤っていることを把握できる。また、商品Dについては、他の商品(「商品C」)と間違えて置いてあることを把握できる。また、商品Zについては、誤って置かれた商品であることを把握できる。
【0048】
図5の処理フローに戻る。表示制御部105が、検品確認画面の画像を更新し、表示装置300に表示すると、作業員は、伝票データに含まれる全ての検品対象商品について検品が完了したか否かの判定を行う(ステップS20)。つまり、検品確認画面において、伝票データ表示欄63の全ての明細データが消し込み表示されているかどうかを確認する。検品処理が完了していない場合(ステップS20;No)、作業員は、検品確認画面の表示を参照して、荷台301に置かれた検品対象商品500を調整する。例えば、上記の伝票データαの例の場合、作業員は、一意に特定できない商品Aについては向きを変更して置き直し、商品Dについては伝票データを確認して商品Cと入れ替える。また、不要な商品Zについては取り除く。そして作業員は、再度、自動検品実行ボタン66を押下する。すると、検品処理装置100は、ステップS12からの処理を繰り返す。
【0049】
なお、1つの伝票データに荷台301に置ききれない量の検品商品が含まれる場合がある。このような場合、現在荷台301に置いた検品対象商品に対する検品処理は完了していても、伝票データには未検品の明細データが残っている場合がある。このような状況に対して、本実施形態の検品確認画面を用いると検品作業を分割して行うことができる。例えば商品1〜商品10の10種類の検品対象商品が存在するとする。荷台301に1度に置くことができるのは5種類であるとする。この場合、作業員は5種類の商品を荷台301に置き検品処理を行う。5種類の検品が完了すると検品確定ボタン67を押下する。すると、表示制御部105は、伝票データ表示欄63において、検品が終了した5種類の商品が含まれた明細データの消し込み表示を保持する。作業員は、荷台301から確定した商品を取り除き、残りの5種類の検品対象商品を新たに荷台301に置いて自動検品実行ボタン66を押下し、全ての検品商品が検品完了となるまで検品作業を継続する。なお、作業リセットボタン68を押下すると、表示制御部105は、検品確認画面の検品作業支援情報を消去する。作業員は、検品作業をやり直すことができる。
【0050】
一方、検品処理が完了した場合(ステップS20;Yes)、本処理フローは終了する。作業員は、伝票番号入力欄61に新たな検品作業の検品内容が記載された伝票の伝票番号を入力して、検品作業を続けたり、他に伝票が無ければ終了ボタン69を押下して検品確認画面を終了させたりする。
【0051】
一般的な目視による検品では、1回の検品作業に数十秒かかることもある。商品の入れ替えや置き換えが発生した場合はさらに多くの時間がかかる場合もある。本実施形態によれば、荷台301に置かれた商品が正しいかどうかを数秒でチェックし、さらに商品の置き方の是正を支援する情報や伝票に無い誤った商品を表示する情報を提供することができる。これにより作業員は、検品中の商品に対して、どの商品が正しい、間違っている、もしくは、わからない、ということを瞬時に判断することができる。また、作業員はどの商品を入れ替えるべきか、あるいは商品の置き方をどのように是正すべきかを瞬時に判断することができる。また、作業員は商品の置き方を気にしなくて済むため、作業負荷が低減され、検品作業の効率化が実現できる。
なお、本実施形態の検品処理装置100は、多くの種類の商品をまとめて発送する物流センター(ネット通販など)や、見た目や名前が似ている商品を多く扱う店舗(調剤薬局など)に好適である。
【0052】
図9は、本発明の第一の実施形態による検品処理装置のハードウェア構成の一例を示すブロック図である。
図9に示す通り、検品処理装置100は、CPU901と、メモリ902と、ハードディスク等の記憶装置903と、ネットワーク接続用の通信IF904(通信インターフェース)とを含む、コンピュータ装置によって実現される。ただし、検品処理装置100の構成は、
図9に示すコンピュータ装置に限定されない。例えば、検品処理装置100は、通信IF904を介して外部に画像または重量データを送信し、外部で検品対象の商品の照合を行い、その結果を受信してもよい。
【0053】
なお、本実施形態において利用するブロック図は、ハードウェア単位の構成ではなく、機能単位のブロックを示している。これらの機能ブロックはハードウェアおよびソフトウェアの任意の組み合わせによって実現される。また、検品処理装置100は、物理的に結合した一つの装置により実現されてもよいし、物理的に分離した二つ以上の装置を有線または無線で接続し、これら複数の装置により実現されてもよい。
【0054】
なお、上述の検品処理装置100は内部にコンピュータを有している。そして、上述した検品処理装置100の各処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、CD−ROM、DVD−ROM、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしてもよい。
【0055】
また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。
【0056】
その他、本発明の趣旨を逸脱しない範囲で、上記した実施の形態における構成要素を周知の構成要素に置き換えることは適宜可能である。また、この発明の技術範囲は上記の実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲において種々の変更を加えることが可能である。なお、商品特定部109は物品特定部の一例であり、商品判定部110は物品判定部の一例である。また、検品商品は検品物品の一例であり、商品は物品の一例である。