知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-03-24
(45)【発行日】2023-04-03
(54)【発明の名称】画像処理装置
(51)【国際特許分類】
G06Q 10/087 20230101AFI20230327BHJP
G06T 7/254 20170101ALI20230327BHJP
G08B 13/196 20060101ALI20230327BHJP
G06Q 30/06 20230101ALI20230327BHJP
【ＦＩ】
G06Q10/087
G06T7/254 B
G08B13/196
G06Q30/06
【請求項の数】
2
(21)【出願番号】P 2018116156
(22)【出願日】2018-06-19
(65)【公開番号】P2019219853
(43)【公開日】2019-12-26
【審査請求日】2021-03-16
(73)【特許権者】
【識別番号】000003562
【氏名又は名称】東芝テック株式会社
(74)【代理人】
【識別番号】110003708
【氏名又は名称】弁理士法人鈴榮特許綜合事務所
(74)【代理人】
【識別番号】100108855
【弁理士】
【氏名又は名称】蔵田 昌俊
(74)【代理人】
【識別番号】100103034
【弁理士】
【氏名又は名称】野河 信久
(74)【代理人】
【識別番号】100075672
【弁理士】
【氏名又は名称】峰 隆司
(74)【代理人】
【識別番号】100153051
【弁理士】
【氏名又は名称】河野 直樹
(74)【代理人】
【識別番号】100179062
【弁理士】
【氏名又は名称】井上 正
(74)【代理人】
【氏名又は名称】鵜飼 健
(72)【発明者】
【氏名】山崎 景太
(72)【発明者】
【氏名】安永 真明
【審査官】緑川 隆
(56)【参考文献】
【文献】国際公開第２０１７／１６３８７９（ＷＯ，Ａ１）
【文献】特開２０１６－２２４８００（ＪＰ，Ａ）
【文献】特開２０１７－０２７５２９（ＪＰ，Ａ）
【文献】特開２００９－００９２３１（ＪＰ，Ａ）
【文献】特許第６３４２０３９（ＪＰ，Ｂ１）
【文献】国際公開第２０１７／１７５７０７（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｑ １０／００－９９／００
Ｇ０６Ｔ ７／２５４
Ｇ０８Ｂ １３／１９６
(57)【特許請求の範囲】
【請求項1】
第１の棚に向かい合うように設置される第２の棚における物品の配置位置を含む第１の撮影領域に向けて前記第１の棚に設置される第１のカメラが撮影する画像と、前記第１の棚における物品の配置位置を含む第２の撮影領域に向けて前記第２の棚に設置される第２のカメラが撮影する画像とを取得するインターフェースと、前記第１の撮影領域に人物を含まない状態で前記第１のカメラが撮影した画像を第１の保存画像とし、前記第２の撮影領域に人物を含まない状態で前記第２のカメラが撮影した画像を第２の保存画像として記憶するメモリと、
前記第１のカメラ又は前記第２のカメラが撮影した画像から顔を検出した場合、顔を検出した画像から顔情報を推定し、前記第１のカメラおよび前記第２のカメラが撮影した画像から顔が検出されなくなった後に前記第１のカメラが撮影する画像と前記第１の保存画像との第１の差分画像および前記第２のカメラが撮影する画像と前記第２の保存画像との第２の差分画像に対する物品認識処理に基づいて前記第１の棚および前記第２の棚における物品の変動を推定し、前記物品の変動の推定結果と前記顔情報の推定結果とを紐づけて前記メモリに保存するプロセッサと、
を有する画像処理装置。
【請求項2】
前記プロセッサは、前記顔情報の推定として顧客であるか店員であるかを推定し、前記顔情報の人物が顧客であると推定される場合には顧客行動情報として物品の変動の推定結果を保存し、前記顔情報の人物が店員であると推定する場合には店員行動情報として物品数の変動の推定結果を保存する、請求項１に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、画像処理装置に関する。
【背景技術】
【0002】
従来、店舗における商品の品薄や欠品等をカメラが撮影する画像によって監視する技術がある。例えば、カメラが単位時間ごとに撮影する撮影画像から人物等の動体を除去し、動体を除去した複数の撮像画像の差分によって商品の不足を検出する従来技術がある。
しかしながら、上述した従来技術では、どの人物がどの商品を変動させたかを判断できない。また、上記従来技術では、カメラが画像を撮影する間隔である単位時間の間は物品の品薄や欠品を検知できないという問題もある。
しかしながら、上述した従来技術では、どの人物がどの商品を変動させたかを判断できない。また、上記従来技術では、カメラが画像を撮影する間隔である単位時間の間は物品の品薄や欠品を検知できないという問題もある。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１７－１６２３７５号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
本発明は、上記した課題を解決するために、どの人物が物品の変動を引き起こしたことを推定することができる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【0005】
実施形態によれば、画像処理装置は、インターフェースとメモリとプロセッサとを有する。インターフェースは、第１の棚に向かい合うように設置される第２の棚における物品の配置位置を含む第１の撮影領域に向けて前記第１の棚に設置される第１のカメラが撮影する画像と、前記第１の棚における物品の配置位置を含む第２の撮影領域に向けて前記第２の棚に設置される第２のカメラが撮影する画像とを取得する。メモリは、前記第１の撮影領域に人物を含まない状態で前記第１のカメラが撮影した画像を第１の保存画像とし、前記第２の撮影領域に人物を含まない状態で前記第２のカメラが撮影した画像を第２の保存画像として記憶する。プロセッサは、前記第１のカメラ又は前記第２のカメラが撮影した画像から顔を検出した場合、顔を検出した画像から顔情報を推定し、前記第１のカメラおよび前記第２のカメラが撮影した画像から顔が検出されなくなった後に前記第１のカメラが撮影する画像と前記第１の保存画像との第１の差分画像および前記第２のカメラが撮影する画像と前記第２の保存画像との第２の差分画像に対する物品認識処理に基づいて前記第１の棚および前記第２の棚における物品の変動を推定し、前記物品の変動の推定結果と前記顔情報の推定結果とを紐づけて前記メモリに保存する。
【図面の簡単な説明】
【0006】
【発明を実施するための形態】
【0007】
以下、本実施形態について、図面を参照しながら説明する。
本実施形態に係る画像処理装置は、カメラが撮影する画像に基づいて物品（商品）の状態を監視する監視システムに用いられる。画像処理装置は、カメラの撮影領域における人物を検出し、人物が検出される前後の撮影画像の差分から欠品あるいは品薄などの物品の状態（変動）を検出する。
本実施形態に係る画像処理装置は、カメラが撮影する画像に基づいて物品（商品）の状態を監視する監視システムに用いられる。画像処理装置は、カメラの撮影領域における人物を検出し、人物が検出される前後の撮影画像の差分から欠品あるいは品薄などの物品の状態（変動）を検出する。
【0008】
以下、第１、第２及び第３の実施形態として画像処理装置を含む監視システムについて説明する。なお、以下の第１乃至第３の実施形態では、小売店等の店舗内において棚（配置位置）に陳列された商品としての物品の状態を監視することを想定した監視システムを説明するものとする。また、第１乃至第３の実施形態では、店舗内の物品Ａを変動させる人物としては顧客と店員とがいることを想定して説明するものとする。
【0009】
（第１の実施形態）
図１は、第１の実施形態に係る画像処理装置１を含む監視システムを概略的に説明するための図である。
図１に示すように、監視システムは、画像処理装置１と画像処理装置１に接続するカメラ２とを有する。画像処理装置１は、カメラ２が撮影する撮影画像を取得する。画像処理装置１は、カメラ２に対して画像の撮影などを指示する機能を有する。カメラ２は、物品Ａが配置される棚Ｓが撮影領域となるように設置される。
図１は、第１の実施形態に係る画像処理装置１を含む監視システムを概略的に説明するための図である。
図１に示すように、監視システムは、画像処理装置１と画像処理装置１に接続するカメラ２とを有する。画像処理装置１は、カメラ２が撮影する撮影画像を取得する。画像処理装置１は、カメラ２に対して画像の撮影などを指示する機能を有する。カメラ２は、物品Ａが配置される棚Ｓが撮影領域となるように設置される。
【0010】
第１の実施形態において、カメラ２は、物品Ａが配置される棚Ｓに正対して設置されるものとする。また、棚Ｓは、物品Ａの配置位置であり、人物が移動する領域（店舗）内に設置される。カメラ２は、棚Ｓに配置された物品Ａを手に取ることができる場所に現れた人物（物品Ｓにアクセス可能な人物）も撮影できるように設置するものとする。ここで、カメラ２が棚Ｓとともに撮影する人物には、棚Ｓに配置する物品Ａを管理する管理者（例えば店員）と物品Ａを手に取る利用者（例えば、店舗に訪れた顧客）とが含まれる。
【0011】
次に、第１の実施形態に係る画像処理装置１の構成について説明する。
図２は、第１の実施形態に係る画像処理装置１における制御系の構成例を示すブロック図である。
図２に示すように、画像処理装置１は、プロセッサ１１、メモリ１２、入力インターフェース（Ｉ／Ｆ）１３、表示Ｉ／Ｆ１４および操作Ｉ／Ｆ１５などを有する。
プロセッサ１１は、プログラムを実行することにより各種の処理を実行する。メモリ１２は、ＲＡＭなどの揮発性メモリ（ワーキングメモリ）、ＲＯＭなどの不揮発性メモリ（プログラムメモリ）、および、書換え可能な不揮発性メモリ（データメモリ）等を含む。
図２は、第１の実施形態に係る画像処理装置１における制御系の構成例を示すブロック図である。
図２に示すように、画像処理装置１は、プロセッサ１１、メモリ１２、入力インターフェース（Ｉ／Ｆ）１３、表示Ｉ／Ｆ１４および操作Ｉ／Ｆ１５などを有する。
プロセッサ１１は、プログラムを実行することにより各種の処理を実行する。メモリ１２は、ＲＡＭなどの揮発性メモリ（ワーキングメモリ）、ＲＯＭなどの不揮発性メモリ（プログラムメモリ）、および、書換え可能な不揮発性メモリ（データメモリ）等を含む。
【0012】
例えば、プロセッサ１１は、メモリ１２に記憶したプログラムを実行することで、人物検出処理、差分領域検出処理、物品認識処理などの後述する各処理を実現する。また、メモリ１２は、撮影画像、人物検出用情報および物品特定用情報などの情報を保持する。ここで、撮影画像は、カメラ２が撮影した画像である。また、人物検出用情報は、画像中に含まれる人物検出用の特徴量の閾値などの人物を画像から特定するための情報であるものとする。また、物品特定用情報は、画像中に含まれる局所特徴量などの物品を画像から特定するための情報であるものとする。
【0013】
入力Ｉ／Ｆ１３は、カメラ２に通信接続するためのインターフェースである。画像処理装置１は、カメラ２が撮影した撮影画像を入力Ｉ／Ｆ１３を介して入力する。表示Ｉ／Ｆ１４は、情報を表示するディスプレイ２１に通信接続するためのインターフェースである。操作Ｉ／Ｆ１５は、オペレータが操作指示を入力する操作装置２２に接続するためのインターフェースである。
【0014】
なお、各Ｉ／Ｆ１３～１５は、有線で通信接続するものであっても良いし、無線通信を行うものであっても良い。また、入力Ｉ／Ｆ１３には、外部装置の記憶部に設けられるデータベース（ＤＢ）２３が接続されるようにしても良い。ＤＢ２３は、撮影画像、人物検出用情報および物品特定用情報などの情報を記憶するようにしても良い。
【0015】
次に、第１の実施形態に係る画像処理装置１を含む監視システムの動作について説明する。
図３は、第１の実施形態に係る画像処理装置１の動作例を説明するためのフローチャートである。
まず、画像処理装置１のプロセッサ１１は、棚Ｓに正対する位置に設置したカメラ２により棚Ｓを撮影する（ＡＣＴ１１）。カメラ２は、品薄および欠品などの監視対象とする対象物としての物品を配置する領域としての棚Ｓを含む撮影領域を撮影する。ただし、ＡＣＴ１１において、プロセッサ１１は、棚Ｓを含む撮影領域に人物の存在しない状態で撮影した撮影画像をカメラ２から取得するものとする。
図３は、第１の実施形態に係る画像処理装置１の動作例を説明するためのフローチャートである。
まず、画像処理装置１のプロセッサ１１は、棚Ｓに正対する位置に設置したカメラ２により棚Ｓを撮影する（ＡＣＴ１１）。カメラ２は、品薄および欠品などの監視対象とする対象物としての物品を配置する領域としての棚Ｓを含む撮影領域を撮影する。ただし、ＡＣＴ１１において、プロセッサ１１は、棚Ｓを含む撮影領域に人物の存在しない状態で撮影した撮影画像をカメラ２から取得するものとする。
【0016】
なお、カメラ２の撮影領域に人物が存在する場合、撮影領域に人物が存在しなくなってからカメラ２による撮影を再度実行するようにしても良い。また、ＡＣＴ１１で画像を撮影した後、当該カメラ２の撮影位置および撮影領域にある棚Ｓは移動させないものとする。カメラ２あるいは棚Ｓの移動があった場合には、画像処理装置１のプロセッサ１１は、ＡＣＴ１１へ戻って処理を再び実行するようにしても良い。
【0017】
プロセッサ１１は、カメラ２から撮影画像を取得すると、カメラ２から取得した撮影画像を保存用の撮影画像（保存画像）としてメモリ１２に記憶する（ＡＣＴ１２）。ＡＣＴ１１において、カメラ２は撮影範囲内に人物が存在しない状態で棚Ｓを撮影している。このため、メモリ１２に記憶する保存画像は、人物が存在しない状態で棚Ｓを含む撮影領域を撮影した画像（人物が検出される前の撮影画像）となる。
【0018】
保存画像をメモリ１２の記憶した後、プロセッサ１１は、人物を検出するための画像をカメラ２で撮影する（ＡＣＴ１３）。例えば、プロセッサ１１は、カメラ２の撮影範囲内において人物を検出するために、所定の間隔（第１の間隔）でカメラ２による撮影を行う。ただし、カメラ２の撮影位置および棚Ｓの位置は動かさないものとしている。
【0019】
プロセッサ１１は、カメラ２が所定間隔ごとに撮影する撮影画像から人物を検出する（ＡＣＴ１４）。例えば、プロセッサ１１は、メモリ１２に保存した人物検出用情報を用いてカメラ２が撮影した撮影画像から人物を検出する。また、プロセッサ１１は、カメラ２の撮影画像に人物の全身が写っていなくても手または足などの人物の体の一部が写っていれば人物を検出したとして良い。
【0020】
例えば、人物検出の方法としては、勾配情報（ＨＯＧ：Ｈｉｓｔｏｇｒａｍ ｏｆ Ｇｒａｄｉｅｎｔｓ）の線形分離などの人物検出の手法を用いることができる。
また、人物を検出するだけであれば、カメラ２の撮影範囲を検知領域とする人物検知用のセンサを別途設けても良い。このような構成である場合、プロセッサ１１は、人物検知用のセンサが人物を検知すると、カメラ２で画像を撮影するようにしても良い。
また、人物を検出するだけであれば、カメラ２の撮影範囲を検知領域とする人物検知用のセンサを別途設けても良い。このような構成である場合、プロセッサ１１は、人物検知用のセンサが人物を検知すると、カメラ２で画像を撮影するようにしても良い。
【0021】
カメラ２の撮影画像から人物が検出されない場合（ＡＣＴ１４、ＮＯ）、プロセッサ１１は、ＡＣＴ１３へ戻り、カメラ２による撮影を繰り返す。また、カメラ２の撮影画像から人物を検出した場合（ＡＣＴ１４、ＹＥＳ）、プロセッサ１１は、検出した人物の人物情報を推定する人物推定処理を行う（ＡＣＴ１５）。例えば、プロセッサ１１は、撮影画像に対する画像処理によって検出した人物が顧客であるか店員であるかを推定する。また、プロセッサ１１は、検出した人物の年齢または性別などの情報も人物情報として推定するようにしても良い。人物推定処理は、特徴量の線形分離を用いた人物情報の推定などにより実現できる。
【0022】
撮影画像から検出した人物の人物情報を推定すると、プロセッサ１１は、撮影画像から推定した人物情報（推定情報）をメモリ１２に保存する（ＡＣＴ１６）。また、プロセッサ１１は、推定した人物情報とともに撮影画像を保存しても良い。人物情報とともに保存する撮影画像は、人物の写っている撮影画像全体でもよいし、人物として検出された領域の画像でもよい。また、プロセッサ１１は、人物推定処理を後で実行するものとし、人物情報として撮影画像あるいは人物として検出された領域の画像を保存するようにしても良い。ただし、プライバシを考慮して人物が検出された撮影画像（人物を含む画像）は保存しないようにしても良い。
【0023】
撮影画像から人物を検出した後、プロセッサ１１は、人物が検出されなくなるまで、カメラ２での撮影を繰り返し実行する（ＡＣＴ１７）。例えば、プロセッサ１１は、一旦検出した人物が不検出となるまでの間、所定の間隔（第２間隔）でカメラ２による撮影を繰り返す。カメラ２が撮影した撮影画像を取得すると、プロセッサ１１は、取得した撮影画像に対して人物の検出処理を実行する（ＡＣＴ１８）。
【0024】
人物が検出され続ける場合（ＡＣＴ１８、ＹＥＳ）、プロセッサ１１は、ＡＣＴ１５へ戻り、人物推定処理を実行する。ただし、プロセッサ１１は、一度検出した人物を追跡することにより、実行済みの人物に対してはＡＣＴ１５および１６の処理を省略しても良い。つまり、プロセッサ１１は、別の人物が新たに検出した場合にＡＣＴ１５および１６の処理を実行し、それ以外の場合はＡＣＴ１５および１６の処理を省略しても良い。
【0025】
人物が検出されなくなった場合（ＡＣＴ１８、ＮＯ）、プロセッサ１１は、撮影画像（人物検出後の撮影画像）と保存画像との差分を検出する差分検出処理を行う（ＡＣＴ１９）。すなわち、プロセッサ１１は、メモリ１２に保存してある人物検出前の撮影画像としての保存画像とカメラ２が撮影した人物検出後の撮影画像との差分領域の画像（差分画像）を取得する。プロセッサ１１は、例えば、ピクセルレベルでの画素変化が閾値以上ある箇所を取るなど手法を用いて差分領域の画像を取得するようにして良い。
【0026】
差分検出処理を実行すると、プロセッサ１１は、保存画像と撮影画像との差分領域の画像に対して物品を認識する物品認識処理を実行する（ＡＣＴ２０）。例えば、プロセッサ１１は、メモリ１２に保存している物品特定用情報を用いて物品認識処理を行う。プロセッサ１１は、差分画像に対する物品認識処理によって人物検出の前後で変動した物品を認識できる。
【0027】
物品認識処理を実行すると、プロセッサ１１は、差分領域の画像に対する物品認識の結果に基づいて棚Ｓにおける物品の変動（配置状態の変化）を推定する（ＡＣＴ２１）。例えば、プロセッサ１１は、棚Ｓにおける物品の画像領域の輝度変化、物品の画像領域の面積変化などを検出する画像処理によって物品の変動を判断しても良い。プロセッサ１１は、差分領域の画像に対する物品認識処理によって検出した人物が物品を移動させた結果を推定できる。
【0028】
なお、プロセッサ１１は、棚Ｓにおける物品の数が所定の閾値よりも少ない場合、表示Ｉ／Ｆ１４を通してディスプレイ２１に品薄などを報知する案内を表示しても良い。また、プロセッサ１１は、物品の変動を示すような差分領域の画像が得られない場合（人物の検出前後で変化がない場合）、ＡＣＴ２０－２４の処理を省略しても良い。
【0029】
物品の変動を推定すると、プロセッサ１１は、物品の変動を推定した期間において検出した人物に顧客が存在するかを確認する（ＡＣＴ２２）。プロセッサ１１は、人物が検出された画像に対する人物推定処理によって推定した人物情報に基づいて検出した人物に顧客が存在するかを判断する。
【0030】
上述した処理例では、プロセッサ１１は、ＡＣＴ１５において人物推定処理で検出された人物が顧客か店員かを推定し、その推定結果をメモリ１２に保存している。この場合、プロセッサ１１は、メモリ１２に保存した人物推定処理の結果に基づいて検出された人物に顧客が存在するか否かを確認する。
【0031】
また、人物が検出された撮影画像（または検出した人物の画像領域）をメモリ１２に保存している場合、プロセッサ１１は、メモリ１２が保存する画像から人物が顧客か店員かを推定すれば良い。人物が顧客か店員かを推定する方法は、特徴量の線形分離などを用いた推定処理で実施できる。
【0032】
検出した人物に顧客が存在する場合（ＡＣＴ２２、ＹＥＳ）、プロセッサ１１は、推定した物品の変動を示す情報を人物情報に紐づけて顧客行動情報としてメモリ１２に保存する（ＡＣＴ２３）。すなわち、プロセッサ１１は、顧客が検出された場合、ＡＣＴ２１で推定した物品の変動を示す情報とＡＣＴ１５で推定した人物情報とを対応づけた顧客行動情報をメモリ１２に保存する。
【0033】
例えば、検出した人物に顧客が存在する場合、プロセッサ１１は、棚Ｓにおける物品数が減少していれば、数が減少した物品を顧客が持ち去ったと推定できる。また、検出した人物に顧客が存在する場合、プロセッサ１１は、棚Ｓにおける物品数が増加していれば、所定の物品配置計画に基づいて当該物品の配置があっているか推定できる。これらの推定結果は、顧客行動情報としてメモリ１２に保存してもよい。また、メモリ１２に保存した情報は、表示Ｉ／Ｆ１４を通してユーザに閲覧可能な形でディスプレイ２１などに表示しても良い。
【0034】
検出した人物に顧客が存在しない場合（ＡＣＴ２２、ＮＯ）、プロセッサ１１は、店員行動情報として、推定した物品の変動を示す情報を人物情報に紐づけてメモリ１２に保存する（ＡＣＴ２３）。すなわち、プロセッサ１１は、顧客が検出されない場合、ＡＣＴ２１で推定した物品の変動が店員によるものと推定し、人物情報と対応づけた店員行動情報としてメモリ１２に保存する。
【0035】
例えば、検出した人物に顧客が存在しない場合、プロセッサ１１は、棚Ｓにおける物品数が減少していれば、数が減少した物品を店員が移動させたと推定できる。また、検出した人物に顧客が存在しない場合、プロセッサ１１は、棚Ｓにおける物品数が増加していれば、所定の物品配置計画に基づいて店員が移動させた物品の配置が正しいか推定できる。これらの推定結果は、店員行動情報としてメモリ１２に保存してもよい。また、メモリ１２に保存した情報は、表示Ｉ／Ｆ１４を通してユーザに閲覧可能な形でディスプレイ２１などに表示しても良い。
【0036】
顧客行動情報または店員行動情報をメモリ１２に保存すると、プロセッサ１１は、メモリ１２に記憶している保存用の撮影画像（保存画像）を更新する（ＡＣＴ２５）。プロセッサ１１は、人物が検出されなくなった状態の撮影画像をメモリ１２に保存している保存画像に置き換える。これにより、メモリ１２に保存される人物が検出される前に保存した保存画像は人物検出後にカメラ２が撮影した撮影画像に上書きされる。なお、プロセッサ１１は、メモリ１２に保存済みの保存画像に上書きせず、人物が検出されなくなった後の撮影画像を最新の保存画像としてメモリ１２に記憶して良い。保存画像の更新が終了すると、プロセッサ１１は、上記ＡＣＴ１３へ戻り、上述した処理を繰り返し実行する。
【0037】
上記のように第１の実施形態によれば、動線計測などでは実現できないような誰がどの物品を変動させたかを推定できる。店員が物品を変動させたことは、店員行動情報によって確認でき、顧客が物品を変動させたことは、顧客行動情報によって確認できる。例えば、店員行動情報によれば、担当者（店員）による物品の補充作業あるいは前出し作業の実施が正確にされているかを確認できる。また、顧客行動情報によれば、人物推定処理で推定できる範囲でどういった顧客がどの商品に興味を持ちやすいかが分かり、物品陳列の最適化に用いることができる。
【0038】
また、上述した第１の実施形態で得られる顧客行動情報によれば、顧客による物品数の変動と決済情報との比較によって正常な取引が実施されているかを確認でき、万引き防止などに用いることができる。さらに、顧客行動情報によれば、移動された物品を物品認識によって認識することで顧客が適切できない場所に物品を返却したことを検出でき、アラートを出力することが可能となる。
【0039】
（第２の実施形態）
図４は、第２の実施形態に係る画像処理装置４１を含む監視システムを概略的に説明するための図である。
図４に示すように、第２の実施形態に係る監視システムは、画像処理装置４１と物品撮影用カメラ（物品監視カメラ）４２と店内撮影用カメラ（人物監視カメラ）４３とを有する。画像処理装置４１は、物品撮影用カメラ４２と店内撮影用カメラ４３とに通信接続する。
図４は、第２の実施形態に係る画像処理装置４１を含む監視システムを概略的に説明するための図である。
図４に示すように、第２の実施形態に係る監視システムは、画像処理装置４１と物品撮影用カメラ（物品監視カメラ）４２と店内撮影用カメラ（人物監視カメラ）４３とを有する。画像処理装置４１は、物品撮影用カメラ４２と店内撮影用カメラ４３とに通信接続する。
【0040】
画像処理装置４１は、物品撮影用カメラ４２が撮影する撮影画像から物品の変動を推定する。また、画像処理装置４１は、店内撮影用カメラ４３が撮影する画像（監視映像）から人物を検出する。また、画像処理装置４１は、カメラ４３が撮影する画像から検出した人物の人物情報を推定する人物推定処理を行う機能を有する。
【0041】
第２の実施形態において、物品撮影用カメラ４２は、物品Ａが配置される棚Ｓが撮影範囲となるように設置される。例えば、カメラ４２は、物品Ａが配置される棚Ｓに正対して設置される。また、店内撮影用カメラ４３は、物品Ａが配置される棚Ｓの周囲にいる人物を撮影するように設置する。カメラ４３は、棚Ｓに配置された物品Ａに触ることができる位置にいる人物を撮影できるものであれば良く、例えば店舗内の天井などに設置される。また、カメラ４３は、棚Ｓが設置される店舗に設置されている既存の監視カメラであっても良い。
【0042】
次に、第２の実施形態に係る画像処理装置４１の構成について説明する。
図５は、第２の実施形態に係る画像処理装置４１における制御系の構成例を示すブロック図である。
図５に示すように、第２の実施形態に係る画像処理装置４１は、カメラ４３が接続される以外は第１の実施形態で説明した図２に示す画像処理装置１と同様な構成を有する。このため、図５に示す構成については、図２に示す構成と同様なものに同一符号を付して詳細な説明を省略するものとする。
図５は、第２の実施形態に係る画像処理装置４１における制御系の構成例を示すブロック図である。
図５に示すように、第２の実施形態に係る画像処理装置４１は、カメラ４３が接続される以外は第１の実施形態で説明した図２に示す画像処理装置１と同様な構成を有する。このため、図５に示す構成については、図２に示す構成と同様なものに同一符号を付して詳細な説明を省略するものとする。
【0043】
すなわち、第２の実施形態に係る画像処理装置４１は、入力Ｉ／Ｆ１３に物品撮影用カメラ４２と店内撮影用カメラ４３とが接続されることが図２に示す構成を異なっている。上述したように、物品撮影用カメラ４２は、棚Ｓに配置された物品Ａを撮影できるように撮影領域が設定される。店内撮影用カメラ４３は、例えば、撮影領域に店舗内に設置されている複数の棚を含み、かつ、各棚に配置された物品を手に取る人物が撮影領域内に入るように配置される。
【0044】
なお、画像処理装置４１は、物品撮影用カメラ４２を接続するためのインターフェースと店内撮影用カメラ４３に接続するためのインターフェースとをそれぞれ設けても良い。また、プロセッサ１１は、物品撮影用カメラ４２ではなく、店内撮影用カメラ４３が撮影する画像から人物を検出する機能と検出した人物の人物情報を推定する機能とを有する。
【0045】
次に、第２の実施形態に係る画像処理装置４１を含む監視システムの動作について説明する。
図６は、第２の実施形態に係る画像処理装置４１の動作例を説明するためのフローチャートである。
まず、画像処理装置４１のプロセッサ１１は、棚Ｓに正対する位置に設置した物品撮影用カメラ４２により棚Ｓを含む撮影領域を撮影する（ＡＣＴ３１）。ＡＣＴ３１において、プロセッサ１１は、人物の存在しない状態でカメラ４２が棚Ｓを含む撮影領域を撮影した撮影画像を取得する。
図６は、第２の実施形態に係る画像処理装置４１の動作例を説明するためのフローチャートである。
まず、画像処理装置４１のプロセッサ１１は、棚Ｓに正対する位置に設置した物品撮影用カメラ４２により棚Ｓを含む撮影領域を撮影する（ＡＣＴ３１）。ＡＣＴ３１において、プロセッサ１１は、人物の存在しない状態でカメラ４２が棚Ｓを含む撮影領域を撮影した撮影画像を取得する。
【0046】
なお、カメラ４２の撮影領域に人物が存在する場合、プロセッサ１１は、人物が存在しない状態になってから撮影を再度行うようにしても良い。また、ＡＣＴ３１で画像を撮影した後、カメラ４２および棚Ｓは移動させないものとする。カメラ４２あるいは棚Ｓの移動があった場合、プロセッサ１１は、ＡＣＴ３１へ戻って処理を再び実行するようにしても良い。
【0047】
プロセッサ１１は、カメラ４２から撮影画像を取得すると、カメラ４２から取得した撮影画像を保存用の画像（保存画像）としてメモリ１２に記憶する（ＡＣＴ３２）。メモリ１２に記憶する保存画像は、人物が存在しない状態で撮影した画像（人物検出前の撮影画像）である。
【0048】
保存画像をメモリ１２に記憶した後、プロセッサ１１は、人物を検出するために、棚Ｓ周辺のカメラ４２の撮影領域を含む監視映像を店内撮影用カメラ４３から取得する（ＡＣＴ３３）。プロセッサ１１は、棚Ｓに配置された物品に人物がアクセス可能な領域を含む撮影領域の監視映像をカメラ４３から取得する。例えば、物品撮影用カメラ４２が撮影する棚Ｓに配置した物品に対して人物がアクセス可能な領域（監視領域）を設定しておき、プロセッサ１１は、監視領域の監視映像をカメラ４３から取得する。ここでは、プロセッサ１１は、店内撮影用カメラ４３から監視領域の監視映像（カメラ４３が撮影する撮影画像）を所定間隔ごとに取得するものとする。
【0049】
すなわち、プロセッサ１１は、カメラ４３から所定間隔ごとに取得する監視領域の監視映像から人物を検出する（ＡＣＴ３４）。例えば、プロセッサ１１は、メモリ１２に保存した人物検出用情報を用いてカメラ４３から取得する監視映像から人物を検出する。また、プロセッサ１１は、カメラ４２から取得する撮影画像に人物の全身が写っていなくても手または足などの人物の体の一部が写っていれば人物を検出したとして良い。人物検出の方法としては、上述した勾配情報の線形分離などの人物検出の手法を用いることができる。
【0050】
カメラ４３から取得する監視領域の監視映像において人物が検出されない場合（ＡＣＴ３４、ＮＯ）、プロセッサ１１は、ＡＣＴ３３へ戻り、所定間隔ごとにカメラ４３から監視映像を取得する。
また、カメラ４３から取得する監視領域の監視映像において人物を検出した場合（ＡＣＴ３４、ＹＥＳ）、プロセッサ１１は、検出した人物の人物情報を推定する人物推定処理を行う（ＡＣＴ３５）。プロセッサ１１は、例えば、特徴量の線形分離を用いた人物情報の推定などによって人物推定処理を行う。また、プロセッサ１１は、人物推定処理において撮影画像に対する画像処理によって検出した人物が顧客であるか店員であるかを推定する。また、プロセッサ１１は、検出した人物の年齢または性別などの情報も人物情報として推定するようにしても良い。
また、カメラ４３から取得する監視領域の監視映像において人物を検出した場合（ＡＣＴ３４、ＹＥＳ）、プロセッサ１１は、検出した人物の人物情報を推定する人物推定処理を行う（ＡＣＴ３５）。プロセッサ１１は、例えば、特徴量の線形分離を用いた人物情報の推定などによって人物推定処理を行う。また、プロセッサ１１は、人物推定処理において撮影画像に対する画像処理によって検出した人物が顧客であるか店員であるかを推定する。また、プロセッサ１１は、検出した人物の年齢または性別などの情報も人物情報として推定するようにしても良い。
【0051】
人物が検出された画像から人物情報を推定すると、プロセッサ１１は、推定した人物情報（推定情報）をメモリ１２に保存する（ＡＣＴ３６）。ここで、プロセッサ１１は、推定した人物情報とともに撮影画像を保存しても良い。人物情報とともに保存する撮影画像は、人物の写っている撮影画像全体でもよいし、人物として検出された領域の画像でもよい。また、プロセッサ１１は、人物情報として、人物の写っている画像全体あるいは人物として検出された領域の画像を保存するようにして良い。ただし、プライバシを考慮して人物が検出された撮影画像（人物を含む画像）は保存しないようにしても良い。
【0052】
また、人物を検出した場合、プロセッサ１１は、人物が検出されなくなるまで、カメラ４３から監視領域の監視映像を取得する（ＡＣＴ３７）。例えば、プロセッサ１１は、一旦人物を検出した後、当該監視領域において人物が不検出となるまで、所定間隔（第２間隔）でカメラ４３から監視領域の監視映像を取得する。カメラ４３が撮影した監視領域の撮影画像を取得するごとに、プロセッサ１１は、取得した撮影画像に対して人物の検出処理を実行する（ＡＣＴ３８）。
【0053】
人物が検出され続ける場合（ＡＣＴ３８、ＹＥＳ）、プロセッサ１１は、ＡＣＴ３５へ戻り、人物推定処理を実行する。ただし、プロセッサ１１は、一度検出した人物を追跡することにより人物推定処理を実行済みの人物に対してはＡＣＴ３５および３６の処理を省略しても良い。つまり、プロセッサ１１は、別の人物を新たに検出した場合にＡＣＴ３５および３６の処理を実行し、それ以外の場合はＡＣＴ３５および３６の処理を省略しても良い。
【0054】
監視領域において人物が検出されなくなった場合（ＡＣＴ３８、ＮＯ）、プロセッサ１１は、物品撮影用カメラ４２により棚Ｓを撮影する（ＡＣＴ３９）。プロセッサ１１は、物品撮影用カメラ４２に応じて設定した監視領域において人物が検出されない状態で物品撮影用カメラ４２が撮影した撮影画像を取得する。
【0055】
人物が検出されなくなった後（人物検出後）に撮影した撮影画像を取得すると、プロセッサ１１は、当該撮影画像と保存画像との差分を検出する差分検出処理を行う（ＡＣＴ４０）。プロセッサ１１は、メモリ１２に保存してある人物検出前の撮影画像としての保存画像とカメラ４２が撮影した人物検出後の撮影画像との差分領域の画像（差分画像）を取得する。プロセッサ１１は、例えば、ピクセルレベルでの画素変化が閾値以上ある箇所を取るなど手法を用いて差分領域を取得するようにしても良い。
【0056】
差分検出処理を実行すると、プロセッサ１１は、保存画像と撮影画像との差分領域の画像に対して物品を認識する物品認識処理を実行する（ＡＣＴ４１）。例えば、プロセッサ１１は、メモリ１２に保存している物品特定用情報を用いて物品認識処理を行う。プロセッサ１１は、差分領域の画像に対する物品認識処理によって人物検出の前後で変動した物品を認識する。
【0057】
物品認識処理を実行すると、プロセッサ１１は、差分領域の画像に対する物品認識の結果に基づいて棚Ｓにおける物品の変動（配置状態の変化）を推定する（ＡＣＴ４２）。例えば、プロセッサ１１は、棚Ｓにおける物品の画像領域の輝度変化、物品の画像領域の面積変化などを検出する画像処理によって物品の変動を判断しても良い。プロセッサ１１は、差分領域の画像に対する物品認識処理によって検出した人物が物品を移動させた結果を推定できる。
【0058】
なお、プロセッサ１１は、棚Ｓにおける物品の数が所定の閾値よりも少ない場合、表示Ｉ／Ｆ１４を通してディスプレイ２１に当該物品の品薄などを報知する案内を表示しても良い。また、プロセッサ１１は、物品の変動を示すような差分領域の画像が得られない場合（人物検出の前後で変化がない場合）、ＡＣＴ４１－４５の処理を省略しても良い。
【0059】
物品の変動を推定すると、プロセッサ１１は、物品の変動を推定した期間において検出した人物に顧客が存在するかを確認する（ＡＣＴ４３）。プロセッサ１１は、人物が検出された画像に対する人物推定処理によって推定した人物情報に基づいて検出した人物に顧客が存在するかを判断する。
【0060】
上述した処理例では、プロセッサ１１は、ＡＣＴ３５において人物推定処理で検出された人物が顧客か店員かを推定し、その推定結果をメモリ１２に保存している。この場合、プロセッサ１１は、メモリ１２に保存した人物推定処理の結果に基づいて人物に顧客が存在するか否かを確認する。
ただし、人物が検出された撮影画像（または検出した人物の画像領域）をメモリ１２に保存している場合、プロセッサ１１は、人物が検出された画像から人物が顧客か店員かを推定するようにしても良い。人物が顧客か店員かを推定する方法は、特徴量の線形分離などを用いた推定処理で実施できる。
ただし、人物が検出された撮影画像（または検出した人物の画像領域）をメモリ１２に保存している場合、プロセッサ１１は、人物が検出された画像から人物が顧客か店員かを推定するようにしても良い。人物が顧客か店員かを推定する方法は、特徴量の線形分離などを用いた推定処理で実施できる。
【0061】
検出した人物に顧客が存在する場合（ＡＣＴ４３、ＹＥＳ）、プロセッサ１１は、推定した物品の変動を示す情報を人物情報に紐づけて顧客行動情報としてメモリ１２に保存する（ＡＣＴ４４）。すなわち、プロセッサ１１は、顧客が検出された場合、ＡＣＴ４２で推定した物品の変動が顧客によるものと判断する。この場合、プロセッサ１１は、ＡＣＴ４２で推定した物品の変動を示す情報とＡＣＴ３５で推定した人物情報とを対応づけた顧客行動情報をメモリ１２に保存する。
【0062】
例えば、検出した人物に顧客が存在する場合、プロセッサ１１は、棚Ｓにおける物品数が減少していれば、数が減少した物品を顧客が持ち去ったと推定できる。また、検出した人物に顧客が存在する場合、プロセッサ１１は、棚Ｓにおける物品数が増加していれば、所定の物品配置計画に基づいて当該物品の配置があっているか推定できる。これらの推定結果は、顧客行動情報としてメモリ１２に保存してもよい。また、メモリ１２に保存した情報は、表示Ｉ／Ｆ１４を通してユーザに閲覧可能な形でディスプレイ２１などに表示しても良い。
【0063】
検出した人物に顧客が存在しない場合（ＡＣＴ４３、ＮＯ）、プロセッサ１１は、店員行動情報として、推定した物品の変動を示す情報を人物情報に紐づけてメモリ１２に保存する（ＡＣＴ４４）。すなわち、プロセッサ１１は、顧客が検出されない場合、ＡＣＴ４２で推定した物品の変動が店員によるものと判断する。この場合、プロセッサ１１は、推定した物品の変動を示す情報とＡＣＴ３５で推定した人物情報と対応づけた店員行動情報をメモリ１２に保存する。
【0064】
例えば、検出した人物に顧客が存在しない場合、プロセッサ１１は、棚Ｓにおける物品数が減少していれば、数が減少した物品を店員が移動させたと推定できる。また、検出した人物に顧客が存在しない場合、プロセッサ１１は、棚Ｓにおける物品数が増加していれば、所定の物品配置計画に基づいて当該物品の配置があっているか推定できる。これらの推定結果は、店員行動情報としてメモリ１２に保存してもよい。また、メモリ１２に保存した情報は、表示Ｉ／Ｆ１４を通してユーザに閲覧可能な形でディスプレイ２１などに表示しても良い。
【0065】
顧客行動情報または店員行動情報をメモリ１２に保存すると、プロセッサ１１は、メモリ１２に記憶している保存用の撮影画像（保存画像）を更新する（ＡＣＴ４６）。プロセッサ１１は、人物が検出されなくなった状態で物品撮影用カメラ４２が撮影した撮影画像をメモリ１２に保存している保存画像に置き換える。これにより、メモリ１２に保存される人物検出前に保存した保存画像は人物検出後にカメラ２が撮影した撮影画像に上書きされる。
【0066】
なお、プロセッサ１１は、メモリ１２に保存済みの保存画像に上書きせず、人物が検出されなくなった後の撮影画像を最新の保存画像としてメモリ１２に記憶して良い。保存画像の更新が終了すると、プロセッサ１１は、上記ＡＣＴ３３へ戻り、上述した処理を繰り返し実行する。
【0067】
上述したように、第２の実施形態に係る監視システムでは、店内撮影する人物監視カメラを用いて棚にアクセス可能な人物を検出でき、検出した人物の人物情報を推定できる。人物監視カメラは人物を検出（監視）する目的で設置されるため、第２の実施形態では、棚にアクセス可能となっている人物を精度良く検出しやすい。また、人物監視カメラは、既存の監視カメラを用いることができるため、当該監視システムを設置するためのコストや手間を軽減できる。
【0068】
（第３の実施形態）
図７は、第３の実施形態に係る画像処理装置７１を含む監視システムを概略的に説明するための図である。
図７に示すように、第３の実施形態に係る監視システムは、画像処理装置７１と第１のカメラ７２と第２のカメラ７３とを含む。画像処理装置７１は、第１のカメラ７２と第２のカメラ７３とに接続する。
図７は、第３の実施形態に係る画像処理装置７１を含む監視システムを概略的に説明するための図である。
図７に示すように、第３の実施形態に係る監視システムは、画像処理装置７１と第１のカメラ７２と第２のカメラ７３とを含む。画像処理装置７１は、第１のカメラ７２と第２のカメラ７３とに接続する。
【0069】
画像処理装置７１は、カメラ４２が撮影する撮影画像から物品の状態を推定する。また、画像処理装置４１は、カメラ４３が撮影する画像から人物を検出する。また、画像処理装置４１は、カメラ４３が撮影する画像から検出した人物の人物情報を推定する人物推定処理を行う機能を有する。
【0070】
第３の実施形態において、第１のカメラ７２は、監視対象とする物品Ａが配置される棚Ｓが撮影範囲となるように設置される。例えば、第１のカメラ７２は、物品Ａが配置される棚Ｓに正対して設置される。第２のカメラ７３は、棚Ｓに向かって存在する人物を正面から撮影するように設置される。例えば、第２のカメラ７３は、第１のカメラ７２が撮影する棚Ｓ側から棚Ｓに配置される物品Ａにアクセス可能な人物が撮影範囲に入るように設置する。
【0071】
また、図７に示す構成例では、第１のカメラ７２と第２のカメラ７３とは、向かい合うように設置された２つの棚Ｓ、Ｓ´にそれぞれ設置される。第１のカメラ７２は、棚Ｓを撮影領域とし、当該撮影領域には棚Ｓに向かい合う棚Ｓ´の物品Ａ´にアクセス可能な人物が入るように設置する。また、第２のカメラ７３は、棚Ｓ´を撮影領域とし、当該撮影領域には棚Ｓ´に向かい合う棚Ｓの物品Ａにアクセス可能な人物が撮影領域に入るように設置する。
【0072】
例えば、棚Ｓに配置する物品Ａを監視対象とする場合、第１のカメラ７２が物品Ａを撮影するカメラとし、第２のカメラ７３が人物の顔を撮影するカメラとする。また、棚Ｓ´に配置する物品Ａ´を監視対象とする場合、第２のカメラ７３が物品Ａ´を撮影するカメラとし、第１のカメラ７２が人物の顔を撮影するカメラとする。なお、第１のカメラ７２および第２のカメラ７３は撮影領域が上述したような撮影領域となるようであれば、店舗の天井又は棚の奥等のどの位置に配置してもよいものとする。
【0073】
次に、第３の実施形態に係る画像処理装置７１の構成について説明する。
図８は、第３の実施形態に係る画像処理装置７１における制御系の構成例を示すブロック図である。
第３の実施形態に係る画像処理装置７１は、第１のカメラ７２および第２のカメラ７３が接続される以外は第１の実施形態で説明した図２に示す画像処理装置１と同様な構成を有する。このため、図８に示す構成については、図２に示す構成と同様なものに同一符号を付して詳細な説明を省略するものとする。
図８は、第３の実施形態に係る画像処理装置７１における制御系の構成例を示すブロック図である。
第３の実施形態に係る画像処理装置７１は、第１のカメラ７２および第２のカメラ７３が接続される以外は第１の実施形態で説明した図２に示す画像処理装置１と同様な構成を有する。このため、図８に示す構成については、図２に示す構成と同様なものに同一符号を付して詳細な説明を省略するものとする。
【0074】
すなわち、第６の実施形態に係る画像処理装置７１は、入力Ｉ／Ｆ１３に第１のカメラ７２と第２のカメラ７３とが接続される点が図２に示す構成を異なっている。ただし、画像処理装置７１は、第１のカメラ７２を接続するためのインターフェースと第２のカメラ７３に接続するためのインターフェースとをそれぞれ設けても良い。また、プロセッサ１１は撮影画像から人物または顔を検出する機能を有し、メモリ１２は顔検出処理に用いる顔検出用情報を保持するものとする。
【0075】
次に、第３の実施形態に係る画像処理装置７１を含む監視システムの動作について説明する。
図９は、第２の実施形態に係る画像処理装置７１の動作例を説明するためのフローチャートである。
まず、画像処理装置７１のプロセッサ１１は、第１のカメラ７２および第２のカメラ７３によりそれぞれ画像を撮影する（ＡＣＴ５１）。ここでは、第１のカメラ７２および第２のカメラ７３は、撮影領域に人物の存在しない状態で画像を撮影するものとする。プロセッサ１１は、第１のカメラ７２が撮影した第１の撮影画像（第１の保存画像）と第２のカメラ７３が撮影した第２の撮影画像（第２の保存画像）とをメモリ１２に記憶する（ＡＣＴ５２）。
図９は、第２の実施形態に係る画像処理装置７１の動作例を説明するためのフローチャートである。
まず、画像処理装置７１のプロセッサ１１は、第１のカメラ７２および第２のカメラ７３によりそれぞれ画像を撮影する（ＡＣＴ５１）。ここでは、第１のカメラ７２および第２のカメラ７３は、撮影領域に人物の存在しない状態で画像を撮影するものとする。プロセッサ１１は、第１のカメラ７２が撮影した第１の撮影画像（第１の保存画像）と第２のカメラ７３が撮影した第２の撮影画像（第２の保存画像）とをメモリ１２に記憶する（ＡＣＴ５２）。
【0076】
第１および第２の保存画像をメモリ１２に記憶した後、プロセッサ１１は、人物を検出するための画像をカメラ７２、７３で撮影する（ＡＣＴ５３）。例えば、プロセッサ１１は、撮影範囲内において人物を検出するために、所定の間隔（第１の間隔）でカメラ７２、７３による撮影を行う。プロセッサ１１は、第１のカメラ７２から人物検出用の第１の撮影画像を取得し、第２のカメラ７３から人物検出用の第２の撮影画像を取得する。ここでは、カメラ７２、７３の撮影位置および棚Ｓ、Ｓ´の位置は動かさないものとする。
【0077】
プロセッサ１１は、カメラ７２、７３から取得する人物検出用の第１および第２の撮影画像に対して人物検出処理と顔検出処理とを実行する（ＡＣＴ５４）。プロセッサ１１は、メモリ１２が記憶する顔検出情報を用いて撮影画像から人物の顔を検出する顔検出処理を実行する。顔検出の方法としては、例えば、Ｈａａｒ－ｌｉｋｅ特徴による多段フィルタなどの、顔検出の方法を用いることができる。また、プロセッサ１１は、メモリ１２が記憶する人物検出情報を用いて撮影画像から人物を検出する人物検出処理を実行する。人物検出の方法としては、第１の実施形態で説明した手法が適用できる。
【0078】
第１のカメラ７２および第２のカメラ７３の撮影画像から顔も人物も検出されない場合（ＡＣＴ５４、ＮＯ）、プロセッサ１１は、ＡＣＴ５３へ戻り、撮影を繰り返す。
第１のカメラ７２又は第２のカメラ７３の撮影画像から顔又は人物を検出した場合（ＡＣＴ５４、ＹＥＳ）、プロセッサ１１は、検出した顔の顔情報又は検出した人物の人物情報を推定する顔・人物推定処理を行う（ＡＣＴ５５）。例えば、プロセッサ１１は、撮影画像から顔を検出した場合、検出した顔の画像から顔情報を推定する。プロセッサ１１は、顔情報として、検出した顔の人物が顧客か店員かを推定する。また、プロセッサ１１は、検出した顔の画像から当該人物の年齢または性別なども顔情報として推定しても良い。また、顔情報は、撮影画像における顔の画像であっても良い。
第１のカメラ７２又は第２のカメラ７３の撮影画像から顔又は人物を検出した場合（ＡＣＴ５４、ＹＥＳ）、プロセッサ１１は、検出した顔の顔情報又は検出した人物の人物情報を推定する顔・人物推定処理を行う（ＡＣＴ５５）。例えば、プロセッサ１１は、撮影画像から顔を検出した場合、検出した顔の画像から顔情報を推定する。プロセッサ１１は、顔情報として、検出した顔の人物が顧客か店員かを推定する。また、プロセッサ１１は、検出した顔の画像から当該人物の年齢または性別なども顔情報として推定しても良い。また、顔情報は、撮影画像における顔の画像であっても良い。
【0079】
また、プロセッサ１１は、撮影画像から人物を検出した場合、検出した人物の画像から人物情報を推定する。プロセッサ１１は、人物情報として検出した人物が顧客か店員かを推定する。また、プロセッサ１１は、検出した人物の画像から当該人物の年齢または性別なども人物情報として推定しても良い。また、人物情報は、撮影画像または撮影画像における人物の画像であっても良い。
【0080】
撮影画像から顔情報又は人物情報を推定すると、プロセッサ１１は、撮影画像から推定した顔情報または人物情報（推定情報）をメモリ１２に保存する（ＡＣＴ５６）。プロセッサ１１は、推定した顔情報又は人物情報とともに撮影画像をメモリ１２に保存しても良い。また、顔情報又は人物情報としては、撮影画像全体、あるいは、顔又は人物として検出された領域の画像を保存しても良い。ただし、プライバシを考慮して顔又は人物が検出された撮影画像は保存しないようにしても良い。
【0081】
顔又は人物を検出した場合、プロセッサ１１は、顔又は人物が検出されなくなるまで、第１および第２のカメラ７２、７３での撮影を実行する（ＡＣＴ５７）。例えば、プロセッサ１１は、一旦検出した人物が不検出となるまでの間、所定の間隔（第２間隔）でカメラ７２、７３による撮影を繰り返す。カメラ７２、７３が撮影した撮影画像を取得すると、プロセッサ１１は、カメラ７２、７３が撮影した各撮影画像に対して顔検出処理および人物検出処理を実行する（ＡＣＴ５８）。
【0082】
顔又は人物が検出され続ける場合（ＡＣＴ５８、ＹＥＳ）、プロセッサ１１は、ＡＣＴ５５へ戻り、顔・人物推定処理を実行する。ただし、プロセッサ１１は、一度検出した人物を追跡することにより顔・人物推定処理を実行済みの人物に対してはＡＣＴ５５および５６の処理を省略しても良い。この場合、プロセッサ１１は、別の人物が新たに検出された顔又は人物を検出した撮影画像を対象としてＡＣＴ５５および５６の処理を実行する。
【0083】
顔又は人物が検出されなくなった場合（ＡＣＴ５８、ＮＯ）、プロセッサ１１は、第１および第２の撮影画像と第１および第２の保存画像との差分をそれぞれ検出する第１および第２の差分検出処理を行う（ＡＣＴ５９）。第１の差分検出処理は、第１の保存画像と第１のカメラ７２が撮影した第１の撮影画像との第１の差分領域の画像（第１の差分画像）を取得する処理である。第２の差分検出処理は、第２の保存画像と第２のカメラ７３が撮影した第２の撮影画像との第２の差分領域の画像（第２の差分画像）を取得する処理である。
【0084】
第１および第２の差分検出処理を実行すると、プロセッサ１１は、第１および第２の差分領域の画像に対してそれぞれ物品の状態を認識する物品認識処理を実行する（ＡＣＴ６０）。例えば、第１の差分画像は、第１のカメラ７２が撮影する棚Ｓにおける物品の変動を示す画像である。プロセッサ１１は、第１の差分画像に対する物品認識処理によって顔又は人物の検出前後で棚Ｓにおいて変動した物品を認識する。また、プロセッサ１１は、第２の差分画像に対する物品認識処理によって顔又は人物の検出前後で棚Ｓ´において変動した物品を認識する。
【0085】
物品認識処理を実行すると、プロセッサ１１は、第１および第２の差分画像に対する物品認識の結果に基づいて棚Ｓおよび棚Ｓ´における物品の変動（物品数の変化、配置位置の変化など）を推定する（ＡＣＴ６１）。例えば、プロセッサ１１は、物品の画像領域の輝度変化、物品の画像領域の面積変化などを検出する画像処理によって物品の変動を判断しても良い。
【0086】
なお、プロセッサ１１は、棚Ｓ又は棚Ｓ´における物品の数が所定の閾値よりも少ない場合、表示Ｉ／Ｆ１４を通してディスプレイ２１に物品の品薄を表示しても良い。また、プロセッサ１１は、物品の変動を示すような差分領域の画像が得られない場合（顔又は人物の検出前後で変化がない場合）、ＡＣＴ６０－６４の処理を省略しても良い。
【0087】
物品の変動を推定すると、プロセッサ１１は、物品の変動を推定した期間において検出した人物に顧客が存在するかを確認する（ＡＣＴ６２）。プロセッサ１１は、顔又は人物が検出された画像に対する顔・人物推定処理によって推定した顔情報又は人物情報に基づいて検出した人物に顧客が存在するかを判断する。
【0088】
上述した例では、プロセッサ１１は、ＡＣＴ５５において人物推定処理で検出された顔又は人物が顧客か店員かを推定し、その推定結果をメモリ１２に保存している。この場合、プロセッサ１１は、メモリ１２に保存した顔・人物推定処理の結果に基づいて検出された人物に顧客が存在するか否かを確認する。また、顔又は人物を検出した画像をメモリ１２に保存している場合、プロセッサ１１は、メモリ１２に保存されている画像から顧客か店員かを推定すれば良い。
【0089】
検出した顔又は人物に顧客が存在する場合（ＡＣＴ６２、ＹＥＳ）、プロセッサ１１は、推定した物品の変動を示す情報を顔情報又は人物情報に紐づけて顧客行動情報としてメモリ１２に保存する（ＡＣＴ６３）。プロセッサ１１は、顧客が検出された場合、ＡＣＴ６１で推定した物品の変動が顧客によるものと推定する。この場合、プロセッサ１１は、ＡＣＴ６１で推定した物品の変動を示す情報とＡＣＴ５５で推定した顔情報又は人物情報とを対応づけた顧客行動情報をメモリ１２に保存する。
【0090】
検出した人物に顧客が存在しない場合（ＡＣＴ６２、ＮＯ）、プロセッサ１１は、店員行動情報として、推定した物品の変動を示す情報を顔情報又は人物情報に紐づけてメモリ１２に保存する（ＡＣＴ６４）。プロセッサ１１は、顧客が検出されない場合、ＡＣＴ６１で推定した物品の変動が店員によるものと推定する。この場合、プロセッサ１１は、ＡＣＴ６１で推定した物品の変動を示す情報とＡＣＴ５５で推定した顔情報又は人物情報とを対応づけた店員行動情報をメモリ１２に保存する。
なお、メモリ１２に保存する顧客行動情報あるいは店員行動情報は、表示Ｉ／Ｆ１４を通してユーザに閲覧可能な形でディスプレイ２１などに表示しても良い。
なお、メモリ１２に保存する顧客行動情報あるいは店員行動情報は、表示Ｉ／Ｆ１４を通してユーザに閲覧可能な形でディスプレイ２１などに表示しても良い。
【0091】
顧客行動情報または店員行動情報をメモリ１２に保存すると、プロセッサ１１は、メモリ１２に記憶している保存用の撮影画像（保存画像）を更新する（ＡＣＴ６５）。プロセッサ１１は、顔および人物が検出されなくなった状態の撮影画像をメモリ１２に保存している保存画像に置き換える。これにより、メモリ１２に保存される人物が検出される前に保存した第１および第２の保存画像は人物検出後にカメラ７２、７３が撮影した第１および第２の撮影画像に上書きされる。
【0092】
なお、プロセッサ１１は、メモリ１２に保存済みの第１および第２の保存画像に上書きせず、人物が検出されなくなった後の第１および第２の撮影画像を最新の第１および第２の保存画像としてメモリ１２に記憶して良い。第１および第２の保存画像の更新が終了すると、プロセッサ１１は、上記ＡＣＴ５３へ戻り、上述した処理を繰り返し実行する。
【0093】
また、上述した処理例では、人物の顔から顧客か店員かを示す情報や年齢、性別などの情報を顔情報として特定するものとして説明したが、画像処理装置は、店員または顧客の顔画像を予めメモリ等に登録しておくことで、検出した顔の画像に対する顔認識処理で個人を特定することも可能となる。この場合、各個人ごとの行動情報として推定した物品の変動を示す情報をメモリに保存することも可能となる。
【0094】
上記のように第３の実施形態では、向かい合わせに配置された２つ棚にそれぞれ向かい合う棚を撮影するように２つのカメラを設置する。これにより、一方のカメラが棚に配置された物品を撮影でき、他方のカメラが棚に顔を向けている人物の顔を撮影できる。これにより、第３の実施形態によれば、棚に配置した物品にアクセスする人物の有無を単純に検出するだけでなく、当該人物の顔を検出することができる。この結果として、人物が顧客であるか店員であるかを高精度で推定でき、店員行動情報および顧客行動情報の精度を向上することも可能となる。
【0095】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
以下、本願の出願当初の特許請求の範囲に記載した内容を付記する。
［１］
物品を配置する配置位置を含む撮影領域を撮影するカメラから撮影画像を取得するインターフェースと、
前記撮影領域に人物を含まない状態で前記カメラが撮影した撮影画像を保存画像として記憶するメモリと、
前記撮影領域で検出された人物が前記撮影領域で検出されなくなった後に前記カメラが撮影する撮影画像と前記メモリが記憶する前記保存画像との差分領域の画像に対する物品認識処理に基づいて物品の変動を推定するプロセッサと、
を備える画像処理装置。
［２］
前記プロセッサは、前記カメラが前記撮影領域を撮影する撮影画像から人物を検出することにより前記撮影領域における人物を検出する、
［１］に記載の画像処理装置。
［３］
前記インターフェースは、さらに、前記カメラの前記撮影領域を含む監視領域を撮影する人物監視カメラから監視映像を取得し、
前記プロセッサは、前記人物監視カメラが撮影する監視映像から前記カメラの前記撮影領域における人物を検出する、
［１］又は［２］の何れか１つに記載の画像処理装置。
［４］
前記インターフェースは、さらに、前記物品の配置位置側から前記撮影領域を含む領域を撮影する第２のカメラから撮影画像を取得し、
前記プロセッサは、さらに、前記カメラの撮影画像または前記第２のカメラの撮影画像から前記撮影領域における人物の顔を検出し、前記撮影領域で検出された顔又は人物が前記撮影領域で検出されなくなった後に前記カメラが撮影する撮影画像と前記メモリが記憶する前記保存画像との差分領域の画像に対する物品認識処理に基づいて物品の変動を推定する、
［２］に記載の画像処理装置。
［５］
前記プロセッサは、前記撮影領域で検出された人物が顧客であるか店員であるかを推定し、前記人物が顧客であると推定される場合には顧客行動情報として物品の変動の推定結果を保存し、前記人物が店員であると推定する場合には店員行動情報として物品数の変動の推定結果を保存する、
［１］乃至［４］の何れか１つに記載の画像処理装置。
以下、本願の出願当初の特許請求の範囲に記載した内容を付記する。
［１］
物品を配置する配置位置を含む撮影領域を撮影するカメラから撮影画像を取得するインターフェースと、
前記撮影領域に人物を含まない状態で前記カメラが撮影した撮影画像を保存画像として記憶するメモリと、
前記撮影領域で検出された人物が前記撮影領域で検出されなくなった後に前記カメラが撮影する撮影画像と前記メモリが記憶する前記保存画像との差分領域の画像に対する物品認識処理に基づいて物品の変動を推定するプロセッサと、
を備える画像処理装置。
［２］
前記プロセッサは、前記カメラが前記撮影領域を撮影する撮影画像から人物を検出することにより前記撮影領域における人物を検出する、
［１］に記載の画像処理装置。
［３］
前記インターフェースは、さらに、前記カメラの前記撮影領域を含む監視領域を撮影する人物監視カメラから監視映像を取得し、
前記プロセッサは、前記人物監視カメラが撮影する監視映像から前記カメラの前記撮影領域における人物を検出する、
［１］又は［２］の何れか１つに記載の画像処理装置。
［４］
前記インターフェースは、さらに、前記物品の配置位置側から前記撮影領域を含む領域を撮影する第２のカメラから撮影画像を取得し、
前記プロセッサは、さらに、前記カメラの撮影画像または前記第２のカメラの撮影画像から前記撮影領域における人物の顔を検出し、前記撮影領域で検出された顔又は人物が前記撮影領域で検出されなくなった後に前記カメラが撮影する撮影画像と前記メモリが記憶する前記保存画像との差分領域の画像に対する物品認識処理に基づいて物品の変動を推定する、
［２］に記載の画像処理装置。
［５］
前記プロセッサは、前記撮影領域で検出された人物が顧客であるか店員であるかを推定し、前記人物が顧客であると推定される場合には顧客行動情報として物品の変動の推定結果を保存し、前記人物が店員であると推定する場合には店員行動情報として物品数の変動の推定結果を保存する、
［１］乃至［４］の何れか１つに記載の画像処理装置。
【符号の説明】
【0096】
１、４１、７１…画像処理装置、２、４２、７２…カメラ、１１…プロセッサ、１２…メモリ、１３…入力インターフェース、４２…物品撮影用カメラ（物品監視カメラ）、４３…店内撮影用カメラ（人物監視カメラ）、７２…第１のカメラ、７３…第２のカメラ。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
