特許 7207014 表示制御装置、表示制御プログラム及び検品システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-01-10

(45)【発行日】2023-01-18

(54)【発明の名称】表示制御装置、表示制御プログラム及び検品システム

(51)【国際特許分類】

   H04N 7/18 20060101AFI20230111BHJP

   B65G 61/00 20060101ALI20230111BHJP

【ＦＩ】

H04N7/18 B

B65G61/00 522

【請求項の数】 8

(21)【出願番号】P 2019036594

(22)【出願日】2019-02-28

(65)【公開番号】P2020141320

(43)【公開日】2020-09-03

【審査請求日】2021-11-09

(73)【特許権者】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(72)【発明者】

【氏名】角森 隆也

【審査官】益戸 宏

(56)【参考文献】

【文献】特開２０１２－０９９９７９（ＪＰ，Ａ）

【文献】国際公開第２０１８／０３７８９１（ＷＯ，Ａ１）

【文献】特開平１０－２７４６２７（ＪＰ，Ａ）

【文献】特開昭６２－２１７３８１（ＪＰ，Ａ）

【文献】米国特許出願公開第２０２２／００４４３７９（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１８

Ｂ６５Ｇ ６１／００

(57)【特許請求の範囲】

【請求項1】

各検品領域を撮影した各動画像を取得する動画像取得部と、
取得された各動画像に含まれるフレーム画像から今回抽出されたフレーム画像を、基準画像及び前回抽出されたフレーム画像と比較することで、前記各検品領域の現在の状態を判定する状態判定部と、
現在の状態が物品の検査が可能な状態にあると判定された検品領域について、対応するフレーム画像を、表示画面に表示する表示制御部と
を有する表示制御装置。

【請求項2】

前記状態判定部は、今回抽出されたフレーム画像が基準画像と異なっており、かつ、前回抽出されたフレーム画像と同じであると判定した場合、現在の状態が物品の検査が可能な状態にあると判定する、請求項１に記載の表示制御装置。

【請求項3】

前記状態判定部は、今回抽出されたフレーム画像が基準画像と同じであると判定した場合、現在の状態が物品の検査が可能な状態にないと判定する、請求項２に記載の表示制御装置。

【請求項4】

前記状態判定部は、今回抽出されたフレーム画像が基準画像と異なっており、かつ、前回抽出されたフレーム画像と異なっていると判定した場合、現在の状態が物品の検査が可能な状態にないと判定する、請求項２に記載の表示制御装置。

【請求項5】

前記状態判定部は、予め定められた領域の画素値を用いて、今回抽出されたフレーム画像と、基準画像及び前回抽出されたフレーム画像とを比較する、請求項１乃至４のいずれか１項に記載の表示制御装置。

【請求項6】

取得された各動画像に含まれるフレーム画像から、所定周期ごとにフレーム画像を抽出するフレーム画像抽出部を更に有する、請求項１に記載の表示制御装置。

【請求項7】

各検品領域を撮影した各動画像を取得し、
取得された各動画像に含まれるフレーム画像から今回抽出されたフレーム画像を、基準画像及び前回抽出されたフレーム画像と比較することで、前記各検品領域の現在の状態を判定し、
現在の状態が物品の検査が可能な状態にあると判定された検品領域について、対応するフレーム画像を、表示画面に表示する、
処理をコンピュータに実行させるための表示制御プログラム。

【請求項8】

各検品領域を撮影する複数の撮像装置と、
撮影された各動画像を処理する表示制御装置と、
前記各動画像に含まれるフレーム画像を表示する表示装置と、を有する検品システムであって、
前記複数の撮像装置により撮影された各検品領域の各動画像を取得する動画像取得部と、
取得された各動画像に含まれるフレーム画像から今回抽出されたフレーム画像を、基準画像及び前回抽出されたフレーム画像と比較することで、前記各検品領域の現在の状態を判定する状態判定部と、
現在の状態が物品の検査が可能な状態にあると判定された検品領域について、対応するフレーム画像を、前記表示装置に表示する表示制御部と
を有する検品システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、表示制御装置、表示制御プログラム及び検品システムに関する。

【背景技術】

【0002】

従来より、物流センタ等における検品シーンでは、検査者による目視検査が行われている。これは、検査対象となる物品が多岐にわたるうえ、日々変化するため、機械学習等による画像認識の適用が困難だからである。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１１－２０１６６３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

一方で、物流センタ等における検品シーンの場合、物品を搬送し検品領域に載置することで、検査者による検査が可能な状態になるまでに、一定程度の時間を要する。このため、検査者には、その間の待機時間が発生する。

【0005】

これに対して、検品作業における検査者の待機時間を削減することで、より効率的な検査を実現することができると考えられる。

【0006】

一つの側面では、物品を検査する際の検査効率を向上させることを目的としている。

【課題を解決するための手段】

【0007】

一態様によれば、表示制御装置は、
各検品領域を撮影した各動画像を取得する動画像取得部と、
取得された各動画像に含まれるフレーム画像から今回抽出されたフレーム画像を、基準画像及び前回抽出されたフレーム画像と比較することで、前記各検品領域の現在の状態を判定する状態判定部と、
現在の状態が物品の検査が可能な状態にあると判定された検品領域について、対応するフレーム画像を、表示画面に表示する表示制御部とを有する。

【発明の効果】

【0008】

物品を検査する際の検査効率を向上させることができる。

【図面の簡単な説明】

【0009】

【図1】第１の作業領域に配置された検品システムのシステム構成の一例を示す図である。

【図2】第２の作業領域に配置された検品システムのシステム構成の一例を示す図である。

【図3】待機時間の削減例を示す図である。

【図4】表示制御装置のハードウェア構成の一例を示す図である。

【図5】表示制御装置の機能構成の一例を示す図である。

【図6】表示制御装置の各部の処理の具体例を示す第１の図である。

【図7】表示制御装置の各部の処理の具体例を示す第２の図である。

【図8】表示制御装置の各部の処理の具体例を示す第３の図である。

【図9】表示制御処理の流れを示すフローチャートである。

【図10】表示画面の具体例を示す図である。

【発明を実施するための形態】

【0010】

以下、各実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省略する。

【0011】

［第１の実施形態］
＜検品システムのシステム構成＞
はじめに、物品を検査する検品システムのシステム構成について説明する。ここでは、物流センタにおいて、仕分け方法の異なる２種類の作業領域にそれぞれ配置された検品システムを例に挙げて説明する。

【0012】

（１）第１の作業領域に配置された検品システム
図１は、第１の作業領域に配置された検品システムのシステム構成の一例を示す図である。図１に示すように、第１の作業領域には、搬送装置１１１、１２１、１３１と、搬送ボックス１１２、１２２、１３２と、商品棚１１４、１２４、１３４とが配置されている。

【0013】

第１の作業領域の場合、搬送装置１１１上を、搬送ボックス１１２が搬送と停止とを繰り返しながら進むことで、商品棚１１４にある物品（商品Ａ、Ｂ、Ｃ、Ｄのいずれか１つまたは複数の物品）が、順次、搬送ボックス１１２に収容されていく。

【0014】

同様に、搬送装置１２１、１３１上を搬送ボックス１２２、１３２が搬送と停止とを繰り返しながら進むことで、商品棚１２４、１３４にある物品（商品Ａ、Ｂ、Ｃ、Ｄのいずれか１つまたは複数の物品）が、順次、搬送ボックス１２２、１３２に収容されていく。

【0015】

図１に示すように、第１の作業領域に配置された検品システム１００は、撮像装置１１３、１２３、１３３と、表示制御装置１４０と、表示装置１５０とを有する。

【0016】

撮像装置１１３は、搬送ボックス１１２が搬送された場合に連動して移動し、搬送ボックス１１２内を撮影する。つまり、搬送ボックス１１２内は、収容された物品を検査する検品領域（“検品領域Ｉ”）として機能する。撮像装置１１３は、検品領域Ｉを撮影することで得られる動画像を、表示制御装置１４０に送信する。

【0017】

同様に、撮像装置１２３、１３３は、搬送ボックス１２２、１３２が搬送された場合に連動して移動し、搬送ボックス１２２、１３２内を撮影する。つまり、搬送ボックス１２２、１３２内は、収容された物品を検査する検品領域（“検品領域ＩＩ”または“検品領域ＩＩＩ”）として機能する。撮像装置１２３、１３３は、検品領域ＩＩ、検品領域ＩＩＩを撮影することで得られる動画像を、表示制御装置１４０に送信する。

【0018】

表示制御装置１４０は、撮像装置１１３、１２３、１３３から送信された動画像に含まれるフレーム画像を処理し、検品領域Ｉ、ＩＩ、ＩＩＩの状態を判定する。また、表示制御装置１４０は、検品領域Ｉが、物品の検査が可能な状態にあると判定した場合、対応するフレーム画像を、表示装置１５０に送信する。同様に、表示制御装置１４０は、検品領域ＩＩが、物品の検査が可能な状態にあると判定した場合、対応するフレーム画像を、表示装置１５０に送信する。同様に、表示制御装置１４０は、検品領域ＩＩＩが、物品の検査が可能な状態にあると判定した場合、対応するフレーム画像を、表示装置１５０に送信する。

【0019】

更に、表示制御装置１４０は、表示装置１５０にフレーム画像を送信したことに応じて、表示装置１５０より、検品結果を受け取り、表示装置１５０に送信したフレーム画像と対応付けて出力する。

【0020】

表示装置１５０は、表示制御装置１４０より送信されたフレーム画像を、順次、表示する。図１の例は、表示装置１５０の表示画面が４つの分割画面に分割されている場合を示している。表示装置１５０は、表示制御装置１４０より送信されたフレーム画像を、いずれかの表示画面に表示する。

【0021】

このように、複数の検品領域Ｉ～ＩＩＩのフレーム画像を１つの表示装置１５０に集約して表示し、かつ、物品の検査が可能な状態にあると判定されたフレーム画像のみを、順次、表示することで、検査者１６０は効率的に物品の検査を行うことができる。

【0022】

また、表示装置１５０は、各分割画面にフレーム画像を表示したことに応じて、検査者１６０が、順次、入力した判定結果を受け付ける。表示装置１５０は、受け付けた判定結果を、各種情報と対応付けて、検品結果として表示制御装置１４０に送信する。

【0023】

（２）第２の作業領域に配置された検品システム
図２は、第２の作業領域に配置された検品システムのシステム構成の一例を示す図である。図２に示すように、第２の作業領域には、搬送装置２１１と、商品ボックス２１２＿１、２１２＿２と、出荷棚２１３とが配置されている。

【0024】

第２の作業領域の場合、搬送装置２１１上を商品ボックス２１２＿１、２１２＿２が、搬送と停止を繰り返しながら進むことで、出荷棚２１３の出荷ボックス２１３＿１～２１３＿３には、物品（商品Ａ、商品Ｂの一方または両方の物品）が、順次、収容されていく。

【0025】

図２に示すように、第２の作業領域に配置された検品システム２００は、撮像装置２１４＿１～２１４＿３と、表示制御装置２４０と、表示装置２５０とを有する。

【0026】

撮像装置２１４＿１は、出荷ボックス２１３＿１内を撮影する。つまり、出荷ボックス２１３＿１内は、収容された物品を検査する検品領域（“検品領域Ｉ”）として機能する。撮像装置２１４＿１は、検品領域Ｉを撮影することで得られる動画像を、表示制御装置２４０に送信する。

【0027】

同様に、撮像装置２１４＿２、２１４＿３は、出荷ボックス２１３＿２、２１３＿３内を撮影する。つまり、出荷ボックス２１３＿２、２１３＿３内は、収容された物品を検査する検品領域（“検品領域ＩＩ”または“検品領域ＩＩＩ”）として機能する。撮像装置２１４＿２、２１４＿３は、検品領域ＩＩ、検品領域ＩＩＩを撮影することで得られる動画像を、表示制御装置２４０に送信する。

【0028】

なお、表示制御装置２４０及び表示装置２５０は、表示制御装置１４０及び表示装置１５０と同様の処理を行うため、ここでは説明を省略する。

【0029】

＜待機時間の削減例＞
次に、検品システム１００、２００による、検品作業時の検査者の待機時間の削減例について説明する。図３は、待機時間の削減例を示す図である。図１及び図２で説明したとおり、検品システム１００、２００では、検査者１６０、２６０が、検品領域Ｉ～ＩＩＩに載置された物品について検査を行う。

【0030】

ここで、検品領域Ｉ～ＩＩＩにおいては、それぞれ、タイムテーブル３１１、３２１、３３１に示す処理順序で、作業が行われる。

【0031】

なお、タイムテーブル３１１における、“待機”処理とは、検品領域Ｉにおける作業のうち、検品領域Ｉに物品を載置するための搬送処理である。検品システム１００の場合、待機処理は、搬送ボックス１１２を、商品棚１１４のいずれかの商品ボックスの位置まで搬送する処理を指す。また、検品システム２００の場合、待機処理は、商品ボックス２１２＿１、２１２＿２のいずれかを、出荷棚２１３の出荷ボックス２１３＿１～２１３＿３のいずれかの位置まで搬送する処理を指す。

【0032】

また、タイムテーブル３１１における、“準備”処理とは、検品領域Ｉにおける作業のうち、検品領域Ｉに物品を載置するピッキング処理である。検品システム１００の場合、準備処理は、例えば、商品棚１１４の商品Ａを、搬送ボックス１１２内の検品領域Ｉに載置するピッキング処理を指す。また、検品システム２００の場合、準備処理は、例えば、商品ボックス２１２＿１の商品Ａを、出荷ボックス２１３＿１内に検品領域Ｉに載置するピッキング処理を指す。

【0033】

なお、タイムテーブル３２１、３３１における、“待機”処理、“準備”処理も同様である。

【0034】

このように、検品領域Ｉ～ＩＩＩにおいて行われる作業には、“待機処理”と“準備処理”とが含まれる。このため、検品領域Ｉ～ＩＩＩそれぞれにおける物品の検査を、検査者３１０、３２０、３３０が別々に担当したとすると、検査者３１０、３２０、３３０は、１の物品の検査を完了してから、次の物品の検査を開始するまで、一定時間、待機することになる。

【0035】

これに対して、検品システム１００、２００の場合、検品領域Ｉ～ＩＩＩのフレーム画像を１つの表示装置１５０に集約して表示し、１の検査者１６０、２６０が、物品の検査を行うため、待機時間を削減することができる（タイムテーブル３００参照）。また、表示装置１５０には、物品の検査が可能な状態にあると判定されたフレーム画像のみが表示されるため、検査者は、表示と同時に検査を行うことができ、待機時間を削減することができる。このように、検査者１６０、２６０は、効率的に検査を行うことができる。

【0036】

＜表示制御装置のハードウェア構成＞
図４は、表示制御装置のハードウェア構成の一例を示す図である。図４に示すように、表示制御装置１４０、２４０は、ＣＰＵ（Central Processing Unit）４０１、ＲＯＭ（Read Only Memory）４０２、ＲＡＭ（Random Access Memory）４０３を有する。ＣＰＵ４０１、ＲＯＭ４０２、ＲＡＭ４０３は、いわゆるコンピュータを形成する。

【0037】

また、表示制御装置１４０、２４０は、補助記憶部４０４、操作部４０５、Ｉ／Ｆ（Interface）部４０６、ドライブ部４０７を有する。なお、表示制御装置１４０、２４０の各ハードウェアは、バス４０８を介して相互に接続されている。

【0038】

ＣＰＵ４０１は、補助記憶部４０４にインストールされている各種プログラム（例えば、後述する表示制御プログラム等）を実行する演算デバイスである。

【0039】

ＲＯＭ４０２は、不揮発性メモリである。ＲＯＭ４０２は、補助記憶部４０４にインストールされている各種プログラムをＣＰＵ４０１が実行するために必要な各種プログラム、データ等を格納する主記憶デバイスとして機能する。具体的には、ＲＯＭ４０２はＢＩＯＳ（Basic Input/Output System）やＥＦＩ（Extensible Firmware Interface）等のブートプログラム等を格納する、主記憶デバイスとして機能する。

【0040】

ＲＡＭ４０３は、ＤＲＡＭ（Dynamic Random Access Memory）やＳＲＡＭ（Static Random Access Memory）等の揮発性メモリである。ＲＡＭ４０３は、補助記憶部４０４にインストールされている各種プログラムがＣＰＵ４０１によって実行される際に展開される作業領域を提供する、主記憶デバイスとして機能する。

【0041】

補助記憶部４０４は、各種プログラムや、各種プログラムが実行されることで取得される情報を格納する補助記憶デバイスである。

【0042】

操作部４０５は、表示制御装置１４０、２４０の管理者が表示制御装置１４０、２４０に対して各種指示を入力する入力デバイスである。Ｉ／Ｆ部４０６は、表示装置１５０、２５０と接続され、表示装置１５０、２５０との間で通信を行うための通信デバイスである。

【0043】

ドライブ部４０７は記録媒体４１０をセットするためのデバイスである。ここでいう記録媒体４１０には、ＣＤ－ＲＯＭ、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的あるいは磁気的に記録する媒体が含まれる。また、記録媒体４１０には、ＲＯＭ、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等が含まれていてもよい。

【0044】

なお、補助記憶部４０４にインストールされる各種プログラムは、例えば、配布された記録媒体４１０がドライブ部４０７にセットされ、該記録媒体４１０に記録された各種プログラムがドライブ部４０７により読み出されることでインストールされる。あるいは、補助記憶部４０４にインストールされる各種プログラムは、不図示のネットワークよりダウンロードされることでインストールされてもよい。

【0045】

＜表示制御装置の機能構成＞
次に、表示制御装置１４０、２４０の機能構成について説明する。図５は、表示制御装置の機能構成の一例を示す図である。上述したとおり、表示制御装置１４０、２４０には、表示制御プログラムがインストールされている。表示制御装置１４０、２４０は、当該表示制御プログラムを実行することで、動画像取得部５１０、フレーム画像抽出部５２０、状態判定部５３０、表示制御部５４０、検品結果受付部５５０、検品結果出力部５６０として機能する。

【0046】

動画像取得部５１０は、撮像装置１１３、１２３、１３３（または撮像装置２１４＿１～２１４＿３）から送信された動画像を取得する。

【0047】

フレーム画像抽出部５２０は、取得した動画像に含まれるフレーム画像を、所定の周期で抽出するフレーム画像抽出処理を実行し、抽出したフレーム画像を状態判定部５３０に通知する。

【0048】

状態判定部５３０は、フレーム画像抽出部５２０より通知されたフレーム画像を、基準画像格納部５７０に格納された基準画像と比較する比較処理を実行する。また、状態判定部５３０は、フレーム画像抽出部５２０より通知されたフレーム画像を、前回画像格納部５８０に格納された、前回通知（前回抽出）されたフレーム画像と比較する比較処理を実行する。更に、状態判定部５３０は、基準画像との比較結果と、前回通知されたフレーム画像との比較結果とに基づいて、検品領域Ｉ～ＩＩＩの状態をそれぞれ判定する判定処理を実行する。具体的には、状態判定部５３０は、検品領域Ｉ～ＩＩＩが物品の検査が可能な状態にあるか否かをそれぞれ判定する判定処理を実行する。

【0049】

そして、状態判定部５３０は、検品領域Ｉ～ＩＩＩのいずれかが物品の検査が可能な状態にあると判定した場合、対応するフレーム画像を、表示制御部５４０に通知する。

【0050】

表示制御部５４０は、状態判定部５３０よりフレーム画像が通知されると、表示装置１５０（または表示装置２５０）の各分割画面のうち、フレーム画像が表示されていない分割画面に、通知されたフレーム画像を表示する。

【0051】

検品結果受付部５５０は、通知されたフレーム画像が表示装置１５０（または表示装置２５０）に表示されたことに応じて表示装置１５０（または表示装置２５０）より送信された検品結果を受け付ける。検品結果出力部５６０は、検品結果受付部５５０が受け付けた検品結果を出力する。

【0052】

＜表示制御装置の各部の処理の具体例＞
次に、表示制御装置１４０、２４０の各部のうち、フレーム画像抽出部５２０、状態判定部５３０の処理の具体例について説明する。

【0053】

（１）フレーム画像抽出部によるフレーム画像抽出処理及び状態判定部による比較処理の具体例
はじめに、フレーム画像抽出部５２０によるフレーム画像抽出処理、及び、状態判定部５３０による比較処理の具体例について説明する。図６は、表示制御装置の各部の処理の具体例を示す第１の図である。

【0054】

図６の例は、撮像装置１１３が搬送ボックス１１２内を撮影した場合の、時刻Ｔ１、Ｔ２、Ｔ３における検品領域Ｉの状態の変化を示している。図６の例によれば、時刻Ｔ１において、検品領域Ｉには、物品が載置されていなかったところ、時刻Ｔ２では、検品領域Ｉに商品Ａの物品が載置され、時刻Ｔ３まで、商品Ａの物品が載置された状態が継続している。

【0055】

動画像６００は、時刻Ｔ１から時刻Ｔ３までの間に撮影された動画像の一例を示している。図６の例は、時刻Ｔ１から時刻Ｔ３の間に、３１枚のフレーム画像が撮影されたことを示している。

【0056】

上述したように、フレーム画像抽出部５２０では、動画像６００に含まれるフレーム画像を、所定の周期で抽出するフレーム画像抽出処理を実行する。図６の例は、フレーム画像抽出部５２０が、時刻Ｔ１に撮影された０番目のフレーム画像と、時刻Ｔ２に撮影された１５番目のフレーム画像と、時刻Ｔ３に撮影された３０番目のフレーム画像を抽出し、状態判定部５３０に通知した様子を示している。このように、所定の周期でフレーム画像を抽出することで、状態判定部５３０による判定処理に用いられるフレーム画像の数を削減することができる。

【0057】

また、上述したように、状態判定部５３０では、フレーム画像抽出部５２０より通知されたフレーム画像を、前回通知（前回抽出）されたフレーム画像と比較する比較処理を実行する。図６の例は、状態判定部５３０が、時刻Ｔ１に撮影されたフレーム画像６１０と、時刻Ｔ２に撮影されたフレーム画像６２０とを比較する様子を示している。また、図６の例は、状態判定部５３０が、時刻Ｔ２に撮影されたフレーム画像６２０と、時刻Ｔ３に撮影されたフレーム画像６３０とを比較する様子を示している。

【0058】

ここで、状態判定部５３０は、フレーム画像を比較する際、予め定められた領域に含まれる画素の画素値を比較する。図６のフレーム画像６１１、６２１、６３１において、太線で囲まれた領域は、画素値の比較に用いられる領域であることを示している。

【0059】

このように、フレーム画像の一部の領域を用いて比較処理を行うことで、状態判定部５３０によれば、比較処理を高速化することができる。

【0060】

（２）状態判定部による判定処理の具体例その１
次に、状態判定部５３０による判定処理の具体例について説明する。図７は、表示制御装置の各部の処理の具体例を示す第２の図であり、検品領域Ｉが物品の検査が可能な状態にあるか否かを状態判定部が判定する際の、検品領域Ｉの状態の変化のバリエーションを示す図である。ここでは、物品の検査が可能な状態にあると判定される変化のバリエーションについて説明する。

【0061】

このうち、図７（ａ）は、撮像装置１１３が検品領域Ｉの基準画像として搬送ボックス１１２内を撮影した際の検品領域Ｉの様子を示している。図７（ａ）に示すように、状態判定部５３０は、検品領域Ｉに物品が載置されていない状態で撮影されたフレーム画像を、検品領域Ｉの基準画像として用いる。

【0062】

図７（ｂ－１）は、時刻Ｔ１、Ｔ２、Ｔ３における検品領域Ｉの状態の変化の一例を示している。図７（ｂ－１）の例によれば、時刻Ｔ１において、検品領域Ｉには、物品が載置されていなかったところ、時刻Ｔ２では、検品領域Ｉに商品Ａの物品が載置され、時刻Ｔ３まで、検品領域Ｉに商品Ａの物品が載置された状態が継続している。

【0063】

ここで、上述したように、状態判定部５３０では、基準画像との比較結果と、前回通知されたフレーム画像との比較結果とに基づいて、現在の検品領域の状態を判定する。

【0064】

具体的には、現在の時刻Ｔ３において、状態判定部５３０では、
・今回通知（今回抽出）されたフレーム画像が、基準画像とは異なる、
・今回通知されたフレーム画像が、前回通知されたフレーム画像と同じである、
と判定し、時刻Ｔ３において検品領域Ｉが物品の検査が可能な状態にあると判定する。

【0065】

また、図７（ｂ－２）は、時刻Ｔ１、Ｔ２、Ｔ３における検品領域Ｉの状態の変化の他の一例を示している。図７（ｂ－２）の例によれば、時刻Ｔ１において、検品領域Ｉには、商品Ｂの物品が載置されており、時刻Ｔ２では、検品領域Ｉに商品Ｃの物品が載置され、時刻Ｔ３まで、検品領域Ｉに商品Ｂ、Ｃの物品が載置された状態が継続している。

【0066】

この場合、現在の時刻Ｔ３において、状態判定部５３０では、
・今回通知されたフレーム画像が、基準画像とは異なる、
・今回通知されたフレーム画像が、前回通知されたフレーム画像と同じである、
と判定し、時刻Ｔ３において検品領域Ｉが物品の検査が可能な状態にあると判定する。

【0067】

また、図７（ｂ－３）は、時刻Ｔ１、Ｔ２、Ｔ３における検品領域Ｉの状態の変化の他の一例を示している。図７（ｂ－３）の例によれば、時刻Ｔ１において、検品領域Ｉには、商品Ｂ、Ｃの物品が載置されており、時刻Ｔ２では、検品領域Ｉから商品Ｃの物品が取り除かれ、時刻Ｔ３まで、商品Ｂの物品のみが載置された状態が継続している。

【0068】

この場合、現在の時刻Ｔ３において、状態判定部５３０では、
・今回通知されたフレーム画像が、基準画像とは異なる、
・今回通知されたフレーム画像が、前回通知されたフレーム画像と同じである、
と判定し、時刻Ｔ３において検品領域Ｉが物品の検査が可能な状態にあると判定する。

【0069】

このように、状態判定部５３０では、
・今回通知されたフレーム画像が、基準画像とは異なる、
・今回通知されたフレーム画像が、前回通知されたフレーム画像と同じである、
と判定した場合に、検品領域が物品の検査が可能な状態にあると判定する。

【0070】

（３）状態判定部による処理の具体例その２
次に、状態判定部５３０による判定処理の他の具体例について説明する。図８は、表示制御装置の各部の処理の具体例を示す第３の図であり、検品領域Ｉが物品の検査が可能にあるか否かを状態判定部が判定する際の検品領域Ｉの状態の変化のバリエーションを示す図である。ここでは、物品の検査が可能な状態にないと判定される変化のバリエーションについて説明する。

【0071】

図８（ａ）は、撮像装置１１３が検品領域Ｉの基準画像として搬送ボックス１１２内を撮影した際の検品領域Ｉの様子を示しており、図７（ａ）と同じである。

【0072】

図８（ｂ－１）は、時刻Ｔ１、Ｔ２、Ｔ３における検品領域Ｉの状態の変化の一例を示している。図８（ｂ－１）の例によれば、時刻Ｔ１において、検品領域Ｉには、物品が載置されておらず、時刻Ｔ２、時刻Ｔ３においても、物品が載置されていない状態が継続している。

【0073】

この場合、現在の時刻Ｔ３において、状態判定部５３０では、
・今回通知されたフレーム画像が、基準画像と同じである、
・今回通知されたフレーム画像が、前回通知されたフレーム画像と同じである、
と判定し、時刻Ｔ３において検品領域Ｉが物品の検査が可能な状態にないと判定する。

【0074】

また、図８（ｂ－２）は、時刻Ｔ１、Ｔ２、Ｔ３における検品領域Ｉの状態の変化の他の一例を示している。図８（ｂ－２）の例によれば、時刻Ｔ１において、検品領域Ｉには、商品Ａの物品が載置されており、時刻Ｔ２でも、商品Ａの物品が載置されており、時刻Ｔ３において、商品Ａの物品が取り除かれている。

【0075】

この場合、現在の時刻Ｔ３において、状態判定部５３０では、
・今回通知されたフレーム画像が、基準画像と同じである、
・今回通知されたフレーム画像が、前回通知されたフレーム画像と異なる、
と判定し、時刻Ｔ３において検品領域Ｉが物品の検査が可能な状態にないと判定する。

【0076】

また、図８（ｂ－３）は、時刻Ｔ１、Ｔ２、Ｔ３における検品領域Ｉの状態の変化の他の一例を示している。図８（ｂ－３）の例によれば、時刻Ｔ１において、検品領域Ｉには、物品が載置されていなかったところ、時刻Ｔ２では、検品領域Ｉに商品Ａの物品が載置され、時刻Ｔ３では、商品Ａの物品の位置が移動している。

【0077】

この場合、現在の時刻Ｔ３において、状態判定部５３０では、
・今回通知されたフレーム画像が、基準画像と異なる、
・今回通知されたフレーム画像が、前回通知されたフレーム画像と異なる、
と判定し、時刻Ｔ３において検品領域Ｉが物品の検査が可能な状態にないと判定する。

【0078】

また、図８（ｂ－４）は、時刻Ｔ１、Ｔ２、Ｔ３における検品領域Ｉの状態の変化の他の一例を示している。図８（ｂ－４）の例によれば、時刻Ｔ１において、検品領域Ｉには、商品Ａの物品が載置されており、時刻Ｔ２、時刻Ｔ３でも、商品Ａの物品が載置された状態が継続している。

【0079】

この場合、現在の時刻Ｔ３において、状態判定部５３０では、
・今回通知されたフレーム画像が、基準画像と異なる、
・今回通知されたフレーム画像が、前回通知されたフレーム画像と同じである、
・時刻Ｔ２において既に物品の検査が可能な状態であると判定している、
と判定し、時刻Ｔ３において検品領域Ｉが物品の検査が可能な状態にないと判定する。

【0080】

このように、状態判定部５３０では、
・今回通知されたフレーム画像が基準画像と同じである、
場合、
または、
・今回通知されたフレーム画像が基準画像と異なる、かつ、
・今回通知されたフレーム画像が、前記通知されたフレーム画像と異なる、
場合、
または、
・今回通知されたフレーム画像が基準画像と異なる、かつ、
・今回通知されたフレーム画像が、前記通知されたフレーム画像と同じである、かつ、
・前回フレーム画像が通知された際に、既に、物品の検査が可能な状態にあると判定している、
場合に、検品領域が物品の検査が可能な状態にないと判定する。

【0081】

＜表示制御処理の流れ＞
次に、表示制御装置１４０、２４０による表示制御処理の流れについて説明する。図９は、表示制御装置による表示制御処理の流れを示すフローチャートである。

【0082】

ステップＳ９０１において、動画像取得部５１０は、撮像装置に対して動画像の撮影開始を指示し、撮像装置より送信される動画像の取得を開始する。

【0083】

ステップＳ９０２において、フレーム画像抽出部５２０は、所定の周期が経過したか否かを判定する。ステップＳ９０２において、所定の周期が経過していないと判定した場合には（ステップＳ９０２においてＮｏの場合には）、ステップＳ９０７に進む。一方、ステップＳ９０２において、所定の周期が経過したと判定した場合には（ステップＳ９０２においてＹｅｓの場合には）、ステップＳ９０３に進む。

【0084】

ステップＳ９０３において、フレーム画像抽出部５２０は、動画像よりフレーム画像を抽出し、状態判定部５３０に通知する。

【0085】

ステップＳ９０４において、状態判定部５３０は、フレーム画像抽出部５２０より通知されたフレーム画像を、基準画像と比較する。また、状態判定部５３０は、フレーム画像抽出部５２０より通知されたフレーム画像を、前回通知されたフレーム画像と比較する。

【0086】

ステップＳ９０５において、状態判定部５３０は、比較結果に基づいて、検品領域が物品の検査が可能な状態にあるか否かを判定する判定処理を実行する。なお、状態判定部５３０による判定処理の詳細は、既に説明済みであるため、ここでは説明を省略する。

【0087】

ステップＳ９０６において、表示制御部５４０は、状態判定部５３０において、物品の検査が可能な状態にあると判定されたフレーム画像を、表示装置に送信する。

【0088】

ステップＳ９０７において、動画像取得部５１０は、表示制御処理を継続するか否かを判定する。ステップＳ９０７において、継続すると判定した場合には（ステップＳ９０７においてＮｏの場合には）、ステップＳ９０２に戻る。一方、ステップＳ９０７において、終了すると判定した場合には（ステップＳ９０７においてＹｅｓの場合には）、表示制御処理を終了する。

【0089】

＜表示画面の具体例＞
次に、表示装置１５０、２５０に表示される表示画面の具体例について説明する。図１０は、表示画面の具体例を示す図であり、タイムテーブル３００に従って表示された表示画面を示している。

【0090】

図１０に示すように、表示装置１５０、２５０には、はじめに、検品領域ＩＩＩのフレーム画像が送信されるため、表示装置１５０、２５０では、分割画面１００１に、検品領域ＩＩＩのフレーム画像を表示する。

【0091】

分割画面１００１に、検品領域ＩＩＩのフレーム画像が表示されると、検査者１６０、２６０は、物品が正常であるか否かを判定する。検査者１６０、２６０は、正常であると判定した場合、分割画面１００１上で、指１０１０を矢印１０２０で示す方向に動かす。これにより、表示装置１５０、２５０では、分割画面１００１に表示されたフレーム画像に含まれる物品が正常であると判定し、検品結果を生成する。具体的には、表示装置１５０、２５０は、
・画面情報＝分割画面１００１を示す情報、
・検品領域＝検品領域ＩＩＩを示す情報、
・物品が正常であると判定された判定結果、
を含む検品結果を生成する。表示装置１５０、２５０は、生成した検品結果を、表示制御装置１４０、２４０に送信する。

【0092】

続いて、図１０に示すように、表示装置１５０、２５０には、検品領域ＩＩのフレーム画像及び検品領域Ｉのフレーム画像が送信されるため、表示装置１５０、２５０では、分割画面１００２、１００３に、検品領域ＩＩ及び検品領域Ｉのフレーム画像を表示する。

【0093】

なお、このとき、表示装置１５０、２５０では、分割画面１００１に表示していた、検品領域Ｉのフレーム画像を、消去する。

【0094】

分割画面１００２に、検品領域ＩＩのフレーム画像が表示されると、検査者１６０、２６０は、物品が正常であるか否かを判定する。検査者１６０、２６０は、異常であると判定した場合、分割画面１００２上で、指１０１０を矢印１０２１で示す方向に動かす。これにより、表示装置１５０、２５０では、分割画面１００２に表示されたフレーム画像に含まれる物品が異常であると判定し、検品結果を生成する。具体的には、表示装置１５０、２５０は、
・画面情報＝分割画面１００２を示す情報、
・検品領域＝検品領域ＩＩを示す情報、
・物品が異常であると判定された判定結果、
を含む検品結果を生成する。表示装置１５０、２５０は、生成した検品結果を、表示制御装置１４０、２４０に送信する。

【0095】

なお、このとき、表示装置１５０、２５０には、検品領域ＩＩＩのフレーム画像が送信されるため、表示装置１５０、２５０では、分割画面１００４に、検品領域ＩＩＩのフレーム画像を表示する。また、表示装置１５０、２５０では、分割画面１００２に表示していた、検品領域ＩＩのフレーム画像を、消去する。

【0096】

以上の説明から明らかなように、第１の実施形態に係る表示制御装置は、各検品領域を撮影した各動画像を取得し、各動画像に含まれるフレーム画像を、所定周期ごとに抽出する。また、第１の実施形態に係る表示制御装置は、抽出したフレーム画像を、基準画像及び前回抽出したフレーム画像と比較することで、検品領域の現在の状態を判定する。更に、第１の実施形態に係る表示制御装置は、現在の検品領域が物品の検査が可能な状態にあると判定した場合、対応するフレーム画像を、表示画面に表示する。

【0097】

このように、各検品領域のフレーム画像を集約して表示するとともに、物品の検査が可能な状態にあると判定したフレーム画像のみを表示することで、第１の実施形態に係る表示制御装置によれば、物品を検査する際の検査者の待機時間を削減することができる。この結果、第１の実施形態に係る表示制御装置によれば、検査者が物品を検査する際の検査効率を向上させることができる。

【0098】

［第２の実施形態］
上記第１の実施形態では、物流センタに検品システム１００を適用する場合について説明した。しかしながら、検品システム１００の適用先は、物流センタに限定されない。例えば、物品の製造ラインに検品システム１００を適用してもよい。

【0099】

上記第１の実施形態では、表示画面を４つの分割画面に分割するものとして説明したが、表示画面の分割数は４つに限定されない。また、表示装置が複数ある場合には、表示画面を分割しなくてもよい。

【0100】

また、上記第１の実施形態では、検査者が判定結果を入力する際に、矢印１０２０、１０２１で示す方向に指を動かすものとして説明したが、判定結果の入力方法はこれに限定されない。

【0101】

また、上記第１の実施形態において表示制御装置１４０、２４０が実現する機能の一部は、検品システム１００、２００内の他の装置において実現されてもよい。

【0102】

なお、開示の技術では、以下に記載する付記のような形態が考えられる。
（付記１）
各検品領域を撮影した各動画像を取得する動画像取得部と、
取得された各動画像に含まれるフレーム画像から今回抽出されたフレーム画像を、基準画像及び前回抽出されたフレーム画像と比較することで、前記各検品領域の現在の状態を判定する状態判定部と、
現在の状態が物品の検査が可能な状態にあると判定された検品領域について、対応するフレーム画像を、表示画面に表示する表示制御部と
を有する表示制御装置。
（付記２）
前記状態判定部は、今回抽出されたフレーム画像が基準画像と異なっており、かつ、前回抽出されたフレーム画像と同じであると判定した場合、現在の状態が物品の検査が可能な状態にあると判定する、付記１に記載の表示制御装置。
（付記３）
前記状態判定部は、今回抽出されたフレーム画像が基準画像と同じであると判定した場合、現在の状態が物品の検査が可能な状態にないと判定する、付記２に記載の表示制御装置。
（付記４）
前記状態判定部は、今回抽出されたフレーム画像が基準画像と異なっており、かつ、前回抽出されたフレーム画像と異なっていると判定した場合、現在の状態が物品の検査が可能な状態にないと判定する、付記２に記載の表示制御装置。
（付記５）
前記状態判定部は、予め定められた領域の画素値を用いて、今回抽出されたフレーム画像と、基準画像及び前回抽出されたフレーム画像とを比較する、付記１乃至４のいずれかの付記に記載の表示制御装置。
（付記６）
取得された各動画像に含まれるフレーム画像から、所定周期ごとにフレーム画像を抽出するフレーム画像抽出部を更に有する、付記１に記載の表示制御装置。
（付記７）
各検品領域を撮影した各動画像を取得し、
取得された各動画像に含まれるフレーム画像から今回抽出されたフレーム画像を、基準画像及び前回抽出されたフレーム画像と比較することで、前記各検品領域の現在の状態を判定し、
現在の状態が物品の検査が可能な状態にあると判定された検品領域について、対応するフレーム画像を、表示画面に表示する、
処理をコンピュータに実行させるための表示制御プログラム。
（付記８）
各検品領域を撮影する複数の撮像装置と、
撮影された各動画像を処理する表示制御装置と、
前記各動画像に含まれるフレーム画像を表示する表示装置と、を有する検品システムであって、
前記複数の撮像装置により撮影された各検品領域の各動画像を取得する動画像取得部と、
取得された各動画像に含まれるフレーム画像から今回抽出されたフレーム画像を、基準画像及び前回抽出されたフレーム画像と比較することで、前記各検品領域の現在の状態を判定する状態判定部と、
現在の状態が物品の検査が可能な状態にあると判定された検品領域について、対応するフレーム画像を、前記表示装置に表示する表示制御部と
を有する検品システム。
なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせ等、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。

【符号の説明】

【0103】

１００ ：検品システム
１１３、１２３、１３３ ：撮像装置
１４０ ：表示制御装置
１５０ ：表示装置
２１４＿１～２１４＿３ ：撮像装置
２４０ ：表示制御装置
２５０ ：表示装置
５１０ ：動画像取得部
５２０ ：フレーム画像抽出部
５３０ ：状態判定部
５４０ ：表示制御部
５５０ ：検品結果受付部
５６０ ：検品結果出力部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】