特許 7471878 映像処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-12

(45)【発行日】2024-04-22

(54)【発明の名称】映像処理装置

(51)【国際特許分類】

   G06Q 10/0635 20230101AFI20240415BHJP

   G06T 7/70 20170101ALI20240415BHJP

   G06T 7/20 20170101ALI20240415BHJP

   G05B 19/418 20060101ALI20240415BHJP

【ＦＩ】

G06Q10/0635

G06T7/70 Z

G06T7/20 300Z

G05B19/418 Z

【請求項の数】 4

(21)【出願番号】P 2020047813

(22)【出願日】2020-03-18

(65)【公開番号】P2021149422

(43)【公開日】2021-09-27

【審査請求日】2023-02-17

(73)【特許権者】

【識別番号】000003562

【氏名又は名称】東芝テック株式会社

(74)【代理人】

【識別番号】110003708

【氏名又は名称】弁理士法人鈴榮特許綜合事務所

(74)【代理人】

【識別番号】100108855

【弁理士】

【氏名又は名称】蔵田 昌俊

(74)【代理人】

【識別番号】100103034

【弁理士】

【氏名又は名称】野河 信久

(74)【代理人】

【識別番号】100179062

【弁理士】

【氏名又は名称】井上 正

(74)【代理人】

【識別番号】100075672

【弁理士】

【氏名又は名称】峰 隆司

(74)【代理人】

【識別番号】100153051

【弁理士】

【氏名又は名称】河野 直樹

(74)【代理人】

【識別番号】100162570

【弁理士】

【氏名又は名称】金子 早苗

(72)【発明者】

【氏名】竹野 唯志

【審査官】岡北 有平

(56)【参考文献】

【文献】国際公開第２０１９／０８７８７０（ＷＯ，Ａ１）

【文献】特開２０１８－０３９５９０（ＪＰ，Ａ）

【文献】特開２０１９－０３６１３２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｑ １０／００ － ９９／００

Ｇ０６Ｔ ７／７０

Ｇ０６Ｔ ７／２０

Ｇ０５Ｂ １９／４１８

(57)【特許請求の範囲】

【請求項1】

作業エリアを撮影範囲とするカメラが撮影した映像を取得するカメラインターフェースと、
前記カメラインターフェースにより取得した映像を記録するメモリと、
前記映像において作業対象として指示された指示位置と作業員が実際に作業した実作業位置とを特定し、前記指示位置と前記実作業位置とが一致しない場合に不適切作業であることを検出し、前記不適切作業が検出された場合に前記不適切作業と判定された作業の開始時刻を起点とする映像部分を前記メモリから抽出し、前記メモリから抽出した映像を報知映像として映像表示装置に表示させるプロセッサと、
を有する映像処理装置。

【請求項2】

前記プロセッサは、前記カメラインターフェースにより取得した映像において前記作業員の位置と姿勢とを検出し、前記検出した作業員の位置と姿勢とに基づいて前記実作業位置を特定する、
請求項１に記載の映像処理装置。

【請求項3】

前記プロセッサは、前記不適切作業が検出された場合に、前記メモリから抽出した映像に対して作業対象として指示された指示位置に第１のマーカーを重畳し、前記作業員が実際に作業した実作業位置に第２のマーカーを重畳した映像を前記報知映像として前記映像表示装置に表示させる、
請求項１又は２の何れか１項に記載の映像処理装置。

【請求項4】

前記作業員に指示する作業内容を示す作業指示情報を入力する入力インターフェースをさらに有し、
前記メモリから抽出した映像に対して、前記入力インターフェースにより入力した前記作業指示情報に基づく作業内容を示す情報をさらに重畳した映像を前記報知映像として前記映像表示装置に表示させる、
請求項１乃至３の何れか１項に記載の映像処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、映像処理装置に関する。

【背景技術】

【0002】

従来、物流センタ、倉庫あるいは店舗などでは、作業員が指定された物品（商品）を取り出して箱などの収納容器に納める作業を行っている。しかしながら、人的な作業は作業ミスを完全になくすことが難しい。例えば、物流センタ、倉庫あるいは大型の店舗等では、作業件数が多くなるため、作業員が注意深く作業を行っても作業ミスを完全になくすことは困難である。

【0003】

一方、作業員による作業の様子をカメラが常時撮影し、カメラが撮影した映像を録画する監視システムがある。従来の監視システムは、作業結果からミスが発覚した場合に録画した映像を見返す運用となっている。このため、従来の監視システムは、作業ミスが発生した場合、直ちにどの作業がどう不適切であるかを作業員に報知することができない。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１３－１７４９８０号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

上記した課題を解決するために、不適切作業の映像を直ぐに報知できる映像処理装置を提供する。

【課題を解決するための手段】

【0006】

実施形態によれば、映像処理装置は、カメラインターフェースとメモリとプロセッサとを有する。カメラインターフェースは、作業エリアを撮影範囲とするカメラが撮影した映像を取得する。メモリは、カメラインターフェースにより取得した映像を記録する。プロセッサは、映像において作業対象として指示された指示位置と作業員が実際に作業した実作業位置とを特定し、指示位置と実作業位置とが一致しない場合に不適切作業であることを検出し、不適切作業が検出された場合に不適切作業と判定された作業の開始時刻を起点とする映像部分をメモリから抽出し、メモリから抽出した映像を報知映像として映像表示装置に表示させる。

【図面の簡単な説明】

【0007】

【図1】図１は、実施形態に係る映像処理システムの構成例を概略的に示す図である。

【図2】図２は、実施形態に係る映像処理システムが適用される作業エリアの例を説明するための図である。

【図3】図３は、実施形態に係る映像処理装置の構成例を示すブロック図である。

【図4】図４は、実施形態に係る映像処理装置の動作例を説明するためのフローチャートである。

【図5】図５は、実施形態に係る映像処理装置が映像表示装置に表示させる報知映像の表示例を示す図である。

【発明を実施するための形態】

【0008】

以下、実施形態について、図面を参照して説明する。
まず、実施形態に係る映像処理システム１の構成について説明する。
図１は、実施形態に係る映像処理システム１の構成例を示す図である。
図１に示すように、映像処理システム１は、カメラ１０、映像処理装置１１、映像表示装置１２、作業指示装置１３、および、表示器１４などを有する。

【0009】

カメラ１０は、作業エリアの映像を撮影する。カメラ１０は、作業エリアにおいて作業員が作業を実行する様子を撮影できるように設置される。例えば、カメラ１０は、指定された物品を作業員が取り出す作業、および、作業員が取り出した物品を指定位置に移動させる作業を撮影するように設置される。カメラ１０は、１台で作業エリア全体を撮影するようにしても良いし、複数台で作業エリア全体を撮影するようにしても良い。

【0010】

映像処理装置１１は、カメラ１０が撮影した映像を処理する。映像処理装置１１は、カメラ１０が撮影した映像を保存しながら、カメラ１０が撮影した映像から不適切作業を検出する。映像処理装置１１は、カメラ１０により撮影した映像から作業員が実施した指示内容とは異なる作業を不適切作業として検出する。映像処理装置１１は、カメラ１０から取得する映像から不適切作業と判定した作業の様子を映した映像を抽出する。さらに、映像処理装置１１は、不適切作業と判定した作業の映像に対して不適切と判定した作業内容を示す情報を重畳した報知映像を生成する。

【0011】

映像表示装置１２は、映像処理装置１１から供給される映像を表示する。映像表示装置１２は、作業を実施する作業員又は作業を監視する監視員が目視できるように設置される。映像表示装置１２は、映像処理装置１１が生成する不適切な作業を報知する報知映像を表示する。また、映像表示装置１２は、警報音を出力するスピーカを具備し、報知映像と共に警報音を鳴らすようにしても良い。

【0012】

作業指示装置１３は、作業者に対して指示する作業内容を示す作業指示情報を出力する。例えば、作業指示装置１３は、配送管理あるいは受注管理などのシステムから取得する物品の配送（発注）情報に基づく作業内容を示す作業指示情報を生成する。作業指示装置１３は、作業を実施する作業員が目視可能な表示器１４に作業内容を示す作業指示情報を表示させる。表示器１４は、作業を実施する作業員が目視可能な表示画面を有するものであれば良い。例えば、表示器１４は、作業員が作業中に見やすい位置に設置される。また、表示器１４は、作業員の保持する携帯端末装置に設けても良い。

【0013】

また、作業指示装置１３は、作業内容を示す作業指示情報を用紙に印刷した作業指示書１５を発行させるものであっても良い。例えば、作業指示装置１３は、作業指示書１５は、プリンタに作業指示情報を用紙に印刷させることにより作業指示書１５を発行させる。また、作業指示装置１３は、作業指示書１５の発行を管理する管理装置へ作業指示情報を供給し、管理装置が作業指示書１５を発行させるようにしても良い。

【0014】

次に、映像処理システム１が映像による監視の対象とする作業エリアと作業内容とについて説明する。
図２は、映像処理システム１が映像による監視の対象とする作業エリアの例を説明するための図である。
図２に示すように、作業エリアには、ピッキングエリア２００とアソートエリア３００とがある。ピッキングエリア２００は、商品を取り出す作業（ピックアップ作業）を実施するエリアである。ピッキングエリア２００には、取り出し作業の対象となる商品（物品）が配置される。例えば、ピッキングエリア２００には商品が配置される棚が設置される。ピッキングエリア２００において、各商品が配置される位置は、予め設定されているものとする。ピッキングエリア２００において、作業員Ｏが指定された商品Ｐを取り出す位置（取り出し口）２０００（２００１、２００２、…）は、商品Ｐが配置される位置に基づいて特定される。

【0015】

アソートエリア３００は、取り出した商品を収納容器（箱、又は、カートなど）に入れる作業（アソート作業）を実施するエリアである。例えば、アソートエリア３００には、収納容器として、商品を入れた状態で配送先へ配送するための配送用の箱が配置される。また、アソートエリア３００に配置される箱は、コンベア等によって搬送されるようにしても良い。また、アソート作業は、収納容器としてのカートを作業員が移動させながらピックアップエリアに配置された指定の商品をカートに入れる作業であっても良い。この場合、アソートエリア３００は、作業員がカートに移動させるエリアとなる。

【0016】

アソートエリア３００にある収納容器は、配送先などによって個別に識別されるものとする。例えば、アソートエリア３００に置かれる配送用の箱は、配送先などによって個別に識別される。また、収納容器は、カメラ１０が撮影する映像において個別に識別される。アソートエリア３００において、作業員Ｏが指定された収納容器に商品Ｐを入れる位置（投入口）３０００（３００１、３００２、…）は、収納容器を識別することで特定される。

【0017】

図２に示すように、ピッキングエリア２００およびアソートエリア３００を撮影するカメラ１０（１０１、１０２）が設けられる。図２に示す例において、カメラ１０１はピッキングエリア２００を撮影するように設置され、カメラ１０２はアソートエリア３００を撮影するように設置される。図２は、カメラ１０が２台のカメラ１０１、カメラ１０２で構成される例を示す。ただし、カメラ１０は、１台のカメラで実現しても良いし、３台以上の複数のカメラで実現しても良い。

【0018】

また、図２に示す例では、作業員Ｏが視認可能な位置に映像表示装置１２が設置されている。映像表示装置１２は、映像処理装置１１から供給される映像を表示する。上述したように、映像処理装置１１は、カメラ１０１又は１０２が撮影した映像から不適切作業が行われた期間の映像を抽出する。映像処理装置１１は、不適切作業の映像に不適切と判定された作業内容を示す情報を重畳した報知映像を生成する。映像表示装置１２は、映像処理装置１１が生成する報知映像を表示するものである。

【0019】

次に、実施形態に係る映像処理システム１における映像処理装置１１の構成について説明する。
図３は、実施形態に係る映像処理システム１における映像処理装置１１の構成例を示すブロック図である。
図３に示すように、映像処理装置１１は、プロセッサ１１１、ＲＯＭ１１２、ＲＡＭ１１３、データメモリ１１４、カメラインターフェース（Ｉ／Ｆ）１１５、映像出力インターフェース（Ｉ／Ｆ）１１６、および、通信インターフェース（Ｉ／Ｆ）１１７を備える。

【0020】

プロセッサ１１１は、プログラムを実行することにより種々の処理を行う。プロセッサ１１１は、ＲＯＭ１１２又はデータメモリ１１４などに記憶されたプログラム（システムプログラム、アプリケーションプログラム又はファームウェア）を実行する。プロセッサ１１１は、例えば、ＣＰＵ、ＭＰＵ又はＤＳＰである。また、プロセッサ１１１は、ＣＰＵ、ＭＰＵ又はＤＳＰなどの複数を組み合わせたものであっても良い。

【0021】

ＲＯＭ１１２は、データの読み出しに用いられる不揮発性のメモリである。ＲＯＭ１１２は、プロセッサ１１１が実行するプログラムを記憶する。ＲＯＭ１１２は、プロセッサ１１１が各種の処理を行うために使用するデータ又は各種の設定値などを記憶する。
ＲＡＭ１１３は、データの読み書きに用いられるメモリである。例えば、ＲＡＭ１１３は、プロセッサ１１１が各種の処理を行う場合に一時的にデータを記憶するワーキングメモリとして利用される。

【0022】

データメモリ１１４は、書き換え可能な不揮発性のメモリである。データメモリ１１４は、各種のデータを保存する。データメモリ１１４は、プロセッサ１１１が実行するプログラムあるいは設定値を記憶しても良い。また、データメモリ１１４は、カメラ１０が撮影した映像を保存するメモリである。例えば、データメモリ１１４は、カメラ１０が所定のフレームレートで撮影する画像（映像）を時刻情報と共に映像データとして保存する。プロセッサ１１１は、データメモリ１１４が保存する映像（映像データ）のうち指定する時刻からの映像を読み出せる。

【0023】

カメラインターフェース１１５は、カメラ１０が撮影した映像を取得するためのインターフェースである。カメラインターフェース１１５は、カメラ１０が撮影した映像を取得するインターフェースであれば良い。例えば、カメラインターフェース１１５は、複数のカメラ１０とネットワークを介して接続するネットワークインターフェースであっても良い。カメラインターフェース１１５は、カメラ１０とシリアルに接続するインターフェースであっても良い。

【0024】

映像出力インターフェース１１６は、映像表示装置１２と通信するためのインターフェースである。映像出力インターフェース１１６は、映像表示装置１２に表示させる映像データを供給するインターフェースであれば良い。例えば、映像出力インターフェース１１６は、ネットワークを介して映像表示装置１２と通信するネットワークインターフェースであっても良い。映像出力インターフェース１１６は、映像表示装置１２とシリアルに接続するインターフェースであっても良い。

【0025】

通信インターフェース１１７は、作業指示装置１３と通信するためのインターフェースである。通信インターフェース１１７は、作業指示情報を取得する入力インターフェースである。例えば、通信インターフェース１１７は、ネットワークを介して作業指示装置１３と通信するネットワークインターフェースである。また、通信インターフェース１１７は、作業指示装置１３とシリアルに接続するインターフェースであっても良い。

【0026】

また、通信インターフェース１１７は、作業指示情報を取得する入力インターフェースであれば良く、作業指示装置１３と通信するインターフェースに限定されない。例えば、通信インターフェース１１７は、作業指示装置１３の代わりに、作業指示書１５に印刷した情報を管理する管理装置から作業指示情報を取得するようにしても良い。また、通信インターフェース１１７は、作業内容を印刷した作業指示書１５を読み取った画像から作業指示情報を読み取る装置に置き換えても良い。

【0027】

次に、実施形態に係る映像処理システム１における映像処理装置１１が実行する動作について説明する。
図４は、実施形態に係る映像処理システム１における映像処理装置１１が実行する動作例を説明するためのフローチャートである。
作業エリアにおいて、作業者は、表示器１４に表示された作業指示情報あるいは作業指示情報が印刷された作業指示書１５を見ることにより作業指示を認識する。作業指示情報は、作業者に指示する作業内容を示す情報である。表示器１４に表示する作業指示情報あるいは作業指示書１５に印刷する作業指示情報は、作業指示装置１３から出力される情報である。ここで、作業指示装置１３は、作業指示情報を映像処理装置１１にも供給するものとする。

【0028】

映像処理装置１１は、通信インターフェース１１７により作業指示装置１３から作業指示情報を取得する（ＡＣＴ１１）。映像処理装置１１のプロセッサ１１１は、通信インターフェース１１７により取得した作業指示情報をＲＡＭ１１３又はデータメモリ１１４に保存する。

【0029】

一方、カメラ１０は、作業者が作業を実施するピッキングエリアとアソートエリアとを含む作業エリアを撮影範囲とした映像を撮影する。カメラ１０は、撮影した映像の映像データを映像処理装置１１へ送信する。映像処理装置１１は、カメラインターフェース１１５によりカメラ１０から供給される映像データを取得する（ＡＣＴ１２）。プロセッサ１１１は、カメラインターフェース１１５により取得する映像データをＲＡＭ１１３にバッファリングした後、データメモリ１１４に記録する。データメモリ１１４は、カメラ１０が撮影する映像の映像データが蓄積される。

【0030】

カメラ１０が撮影した映像を取得すると、プロセッサ１１１は、取得した映像において作業員を検出する（ＡＣＴ１３）。映像中の作業員を検出すると、プロセッサ１１１は、取得した映像における作業員の位置および姿勢を検出する（ＡＣＴ１４）。例えば、プロセッサ１１１は、カメラ１０の撮影方向と撮影した映像中の作業員の位置とから作業エリアにおける作業員の位置を検出する。

【0031】

また、プロセッサ１１１は、映像中において検出された作業員の画像から作業員の姿勢を検出する。例えば、プロセッサ１１１は、検出した作業員の画像に対してＯｐｅｎ Ｐｏｓｅなどの姿勢推定技術を適用して作業員の姿勢を検出する。作業員の姿勢は、作業員が商品を取り出す作業を行っているか、又は、商品を投入する作業を実施しているか判定するために検出される。作業員は、手に持った商品を動かしてピックアップ作業、又は、アソート作業を実施するものとする。このため、プロセッサ１１１は、作業員の姿勢として作業員の手の位置あるいは手の動きなどを推定する。

【0032】

また、プロセッサ１１１は、カメラ１０から取得した映像においてピッキングエリアにおける各商品の取り出し口（取り出し位置）を検出する（ＡＣＴ１５）。例えば、プロセッサ１１１は、取得した映像からピンキングエリアの映像を検出する。ピッキングエリアの映像を検出すると、プロセッサ１１１は、ピッキングエリアの映像における各商品の取り出し口を検出する。例えば、プロセッサ１１１は、ＳＳＤ（Ｓｉｎｇｌｅ Ｓｈｏｔ ＭｕｌｔｉＢｏｘ Ｄｅｔｅｃｔｏｒ）などの物体検出技術を用いてピッキングエリアの映像における各商品の取り出し口を検出する。

【0033】

また、プロセッサ１１１は、取得した映像においてアソートエリアにおける商品の投入口（収納容器への商品の投入位置）を検出する（ＡＣＴ１６）。例えば、プロセッサ１１１は、取得した映像からアソートエリアの映像を検出する。アソートエリアの映像を検出すると、プロセッサ１１１は、アソートエリアの映像における各商品の投入口を検出する。例えば、プロセッサ１１１は、ＳＳＤなどの物体検出技術を用いてアソートエリアにおける収納容器（例えば、箱、カート）を検出し、収納容器の開口部を商品の投入口として検出する。

【0034】

なお、プロセッサ１１１は、作業員の姿勢などから作業員がピッキング作業を行っているかアソート作業を行っているかを判定しても良い。例えば、作業員がピッキング作業を行っていると判定した場合、プロセッサ１１１は、アソートエリアにおける商品の投入口を検出する処理を省略しても良い。また、作業員がアソート作業を行っていると判定した場合、プロセッサ１１１は、ピックアップエリアにおける商品の取り出し口を検出する処理を省略しても良い。

【0035】

映像における商品の取り出し口と商品の投入口とを検出すると、プロセッサ１１１は、作業指示情報によって作業が指示された位置（指示位置）を特定する（ＡＣＴ１７）。プロセッサ１１１は、取得した映像において、作業指示情報が作業対象として指定する商品の取り出し口と投入口とを作業の指示位置として特定する。例えば、プロセッサ１１１は、映像から検出した各商品の取り出し口から作業指示情報で指定された商品の取り出し口を特定する。また、プロセッサ１１１は、映像から検出した商品の投入口から作業指示情報で指定された商品の投入口を特定する。

【0036】

また、プロセッサ１１１は、映像において、作業員が実際に作業を行った位置（実作業位置）を特定する（ＡＣＴ１８）。例えば、プロセッサ１１１は、作業員の位置と姿勢とに基づき、実際に作業員が商品を取り出した位置（取り出し口）又は商品を投入した位置（投入口）を実作業位置として特定する。

【0037】

作業の指示位置と実作業位置を特定すると、プロセッサ１１１は、指示位置と実作業位置の関係性から作業員の行った作業が不適切作業であったか否かを判定する（ＡＣＴ１９）。プロセッサ１１１は、指示位置と実作業位置とが一致した場合、作業員が実施した作業が適切であったと判定する（ＡＣＴ１９、ＮＯ）。また、プロセッサ１１１は、指示位置と実作業位置とが一致しない場合、作業員が実施した作業が不適切作業であったと判定する（ＡＣＴ１９、ＹＥＳ）。

【0038】

作業員が実施した作業が不適切作業であったと判定した場合（ＡＣＴ１９、ＹＥＳ）、プロセッサ１１１は、不適切作業と判定された作業が実施された期間の映像を抽出する（ＡＣＴ２０）。プロセッサ１１１は、不適切作業と判定された作業が開始された時刻（不適切作業の開始時刻）を特定する。不適切作業の開始時刻を特定すると、プロセッサ１１１は、不適切作業の開始時刻を起点してデータメモリ１１４に保存した映像を切り出す。

【0039】

不適切作業の映像を抽出すると、プロセッサ１１１は、当該映像における作業の指示位置に第１のマーカーの画像を重畳する（ＡＣＴ２１）。第１のマーカーの画像を重畳すると、プロセッサ１１１は、第１のマーカーを重畳した映像における実作業位置に第２のマーカーの画像をさらに重畳する（ＡＣＴ２２）。

【0040】

第１および第２のマーカーを重畳すると、プロセッサ１１１は、第１および第２のマーカーを重畳した映像に作業内容を示す情報をさらに重畳する（ＡＣＴ２３）。映像に重畳する作業内容を示す情報は、不適切と判定された作業内容あるいは作業指示情報が示す作業内容である。例えば、作業内容を示す情報は、文字情報として表示するように不適切作業の映像に重畳される。

【0041】

プロセッサ１１１は、第１および第２のマーカーと作業内容を示す情報を重畳した映像を映像表示装置１２へ出力する（ＡＣＴ２４）。第１および第２のマーカーと作業内容を示す情報を重畳した映像は、不適切作業を報知するための報知映像である。プロセッサ１１１は、不適切作業を報知するための報知映像を映像表示装置１２に供給することで、映像表示装置１２に報知映像を表示させる。

【0042】

図５は、映像処理装置１１が映像表示装置１２に表示させる報知映像の表示例を示す図である。
図５に示すように、映像表示装置１２は、第１のマーカー５０１、第２のマーカー５０２、作業内容を示す情報５０３を重畳した報知映像を表示する。映像表示装置１２は、報知映像として、不適切と判定された作業の開始時刻からの映像が表示される。第１のマーカー５０１は、作業指示情報によって作業対象として指示された指示位置を示す。第２のマーカー５０２は、実施に作業員が作業を行った位置を示す実作業位置を示す。また、作業内容を示す情報５０３は、不適切と判定された作業内容又は実施すべきであった作業指示情報が示す作業内容を文字などで表示する。

【0043】

図５に示す表示例によれば、映像表示装置１２は、不適切作業の映像中において第１のマーカー５０１と第２のマーカー５０２とを異なる位置に表示する。この結果、本映像処理システム１では、指示位置と異なる位置に作業が行われたことを直感的に分かり易く報知できる。また、図５に示す表示例によれば、映像表示装置１２は、不適切作業の映像中において作業内容を示す情報５０３を表示する。この結果、本映像処理システム１では、不適切と判定された作業に関する情報を文字などでも報知することができる。

【0044】

なお、上述した動作例において、映像処理装置１１は、映像における各商品の取り出し口および投入口を映像解析によって検出するものとして説明した。ただし、映像処理装置１１は、映像解析以外の方法によって映像における各商品の取り出し口および投入口を検出しても良い。

【0045】

例えば、各商品の取り出し口が固定位置であれば、撮影範囲を固定したカメラ１０は、各商品の取り出し口を常に同じ位置で撮影する。この場合、データメモリ１１４には、カメラ１０が撮影する映像中における商品の取り出し口の位置を示す情報を予め保存しておくことができる。作業指示情報によって指定される商品の取り出し口は、データメモリ１１４に記憶した情報によって指定位置として特定できる。

【0046】

同様に、各商品の投入口の位置が固定あれば、撮影範囲を固定したカメラ１０は、各商品の投入口を常に同じ位置で撮影する。この場合、データメモリ１１４には、カメラ１０が撮影する映像中における商品の投入口の位置を示す情報を予め保存しておくこともできる。作業指示情報によって指定される商品の投入口は、データメモリ１１４に記憶した情報によって指定位置として特定できる。

【0047】

また、実作業位置は、各商品の取り出し口および各商品の投入口に対する作業員のアクセスを検知する検知センサ（例えば、近接センサ）の検知結果に基づいて特定できる。例えば、プロセッサ１１１は、検知センサによって作業員の接近を検知した商品の取り出し口又は投入口を実作業位置として特定する。また、上述したように、取り出し口および投入口の位置が固定であれば、データメモリ１１４には、取り出し口および投入口の位置を示す情報を保存しておくことができる。この場合、プロセッサ１１１は、実作業位置としての取り出し口又は投入口の映像における位置をデータメモリ１１４に保存した情報から特定できる。

【0048】

以上のように、本実施形態によれば、映像処理装置は、カメラが作業範囲を撮影対象範囲として撮影した映像をメモリに記録する。映像処理装置は、作業員が作業すべき対象の映像内にける指示位置を特定する。映像処理装置は、作業員が実際に作業した対象の映像内の実作業位置を特定する。映像処理装置は、前記指示位置と前記実作業位置とが一致しない場合に不適切作業を判定する。映像処理装置は、前記不適切作業と判定した作業の開始時刻を起点として前記メモリに記録された映像を抽出する。映像処理装置は、前記抽出した映像を映像表示装置に表示させる。

【0049】

以上の処理によって、映像処理装置は、不適切作業と判定された作業の様子を撮影した映像を映像表示装置に表示できる。この結果、作業員あるいは監視員は、不適切作業と判定された作業の様子を直ちに撮影で確認できる。

【0050】

また、映像処理装置は、不適切作業と判定した作業の開始時刻を起点として抽出した映像において指示位置に第１のマーカーを重畳し、実作業位置に第２のマーカーを重畳する。映像処理装置は、前記第１のマーカーおよび前記第２のマーカーを重畳した映像を映像表示装置に表示させる。これにより、映像処理装置は、作業対象として指示された指示位置と実際に作業が行われた実作業位置とを示す映像を映像表示装置に表示できる。この結果、作業員あるいは監視員は、不適切作業と判定された作業の内容を直感的に簡単に認識できる。

【0051】

また、映像処理装置は、作業員へ指示した作業指示情報を取得するインターフェースを具備する。映像処理装置は、不適切作業と判定された作業が発生した時点の作業指示内容を不適切作業の映像と共に表示する。これにより、映像処理装置は、不適切作業と判定された作業の様子を撮影した映像と共に不適切作業と判定された作業内容を映像表示装置に表示できる。この結果、作業員あるいは監視員は、不適切作業と判定された作業内容を正確に認識できる。

【0052】

なお、上述した実施形態では、装置内のメモリにプロセッサが実行するプログラムが予め記憶されている場合で説明をした。しかし、プロセッサが実行するプログラムは、ネットワークから装置にダウンロードしても良いし、記憶媒体から装置にインストールしてもよい。記憶媒体としては、プログラムを記憶でき、かつ装置が読み取り可能な記憶媒体であれば良い。また、予めインストールやダウンロードにより得る機能は、装置内部のＯＳ（オペレーティングシステム）等と協働して実現させるものであってもよい。

【0053】

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
以下、本願の出願当初の特許請求の範囲に記載した内容を付記する。
［１］
作業エリアを撮影範囲とするカメラが撮影した映像を取得するカメラインターフェースと、
前記カメラインターフェースにより取得した映像を記録するメモリと、
前記映像から作業員による不適切作業を検出し、前記不適切作業が検出された場合に前記不適切作業と判定された作業の開始時刻を起点とする映像部分を前記メモリから抽出し、前記メモリから抽出した映像を報知映像として映像表示装置に表示させるプロセッサと、
を有する映像処理装置。
［２］
前記プロセッサは、前記カメラインターフェースにより取得した映像において作業対象として指示された指示位置と前記作業員が実際に作業した実作業位置とを特定し、前記指示位置と前記実作業位置とが一致しない場合に不適切作業であることを検出する、
［１］に記載の映像処理装置。
［３］
前記プロセッサは、前記カメラインターフェースにより取得した映像において前記作業員の位置と姿勢とを検出し、前記検出した作業員の位置と姿勢とに基づいて前記実作業位置を特定する、
［２］に記載の映像処理装置。
［４］
前記プロセッサは、前記不適切作業が検出された場合に、前記メモリから抽出した映像に対して作業対象として指示された指示位置に第１のマーカーを重畳し、前記作業員が実際に作業した実作業位置に第２のマーカーを重畳した映像を前記報知映像として前記映像表示装置に表示させる、
［２］又は［３］の何れか１つに記載の映像処理装置。
［５］
前記作業員に指示する作業内容を示す作業指示情報を入力する入力インターフェースをさらに有し、
前記メモリから抽出した映像に対して、前記入力インターフェースにより入力した前記作業指示情報に基づく作業内容を示す情報をさらに重畳した映像を前記報知映像として前記映像表示装置に表示させる、
［１］乃至［４］の何れか１つに記載の映像処理装置。

【符号の説明】

【0054】

１…映像処理システム、１１…映像処理装置、１２…映像表示装置、１３…作業指示装置、１４…表示器、１５…作業指示書、１１１…プロセッサ、１１４…データメモリ、１１５…カメラインターフェース、１１６…映像出力インターフェース、１１７…通信インターフェース。

【図1】

【図2】

【図3】

【図4】

【図5】