特開 2021-174136 画像処理装置、画像処理システム、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2021-174136(P2021-174136A)

(43)【公開日】2021年11月1日

(54)【発明の名称】画像処理装置、画像処理システム、およびプログラム

(51)【国際特許分類】

   G06T 7/174 20170101AFI20211004BHJP

【ＦＩ】

   G06T7/174

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

【全頁数】15

(21)【出願番号】特願2020-75986(P2020-75986)

(22)【出願日】2020年4月22日

(71)【出願人】

【識別番号】304020498

【氏名又は名称】サクサ株式会社

(74)【代理人】

【識別番号】100166006

【弁理士】

【氏名又は名称】泉 通博

(74)【代理人】

【識別番号】100154070

【弁理士】

【氏名又は名称】久恒 京範

(74)【代理人】

【識別番号】100153280

【弁理士】

【氏名又は名称】寺川 賢祐

(72)【発明者】

【氏名】深井 伸晃

(72)【発明者】

【氏名】瀧川 修一

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA06

5L096DA01

5L096DA03

5L096GA08

5L096GA51

(57)【要約】

【課題】簡便な方法で人が保持している物体を特定できるようにする。
【解決手段】被検出者が含まれる撮像画像を撮像装置から取得する撮像画像取得部と、撮像画像と、撮像画像取得部が過去の所定の期間内に取得した撮像画像との差分を示す差分画像データを生成する画像生成部と、被検出者から放射される熱をサーモグラフィーカメラが画像化した熱分布画像データを取得する熱分布画像取得部と、差分画像データと熱分布画像データとを比較することにより、差分画像データのうち、熱分布画像データにおいて被検出者が発した熱に対応する領域に含まれていない領域の画像データを、被検出者が保持している保持物に対応する保持物画像データとして特定する特定部とを備える画像処理装置を提供する。
【選択図】図２

【特許請求の範囲】

【請求項1】

被検出者が含まれる撮像画像を撮像装置から取得する撮像画像取得部と、
前記撮像画像と、前記撮像画像取得部が過去の所定の期間内に取得した前記撮像画像との差分を示す差分画像データを生成する画像生成部と、
前記被検出者から放射される熱をサーモグラフィーカメラが画像化した熱分布画像データを取得する熱分布画像取得部と、
前記差分画像データと前記熱分布画像データとを比較することにより、前記差分画像データのうち、前記熱分布画像データにおいて前記被検出者が発した熱に対応する領域に含まれていない領域の画像データを、前記被検出者が保持している保持物に対応する保持物画像データとして特定する特定部と
を備える画像処理装置。

【請求項2】

前記差分画像データは、前記撮像画像から前記撮像装置が撮像する領域の背景画像を差し引いた背景除去画像を示す画像データである、請求項１に記載の画像処理装置。

【請求項3】

前記特定部は、
前記熱分布画像データにおいて予め定められた温度以上を示す領域を被検出者領域とする領域決定部と、
前記差分画像データにおいて前記被検出者領域に対応する画像データを除去した画像データを前記保持物画像データとして出力する被検出者除去部と
を有する、
請求項１または２に記載の画像処理装置。

【請求項4】

前記保持物画像データを画像解析する第１解析部と、
前記被検出者領域に対応する被検出者画像データを解析して、前記被検出者が前記保持物を保持している状態を推定する第２解析部と、
前記保持物画像データの解析結果と前記被検出者画像データの解析結果とに基づき、前記保持物が何であるかを推定する保持物推定部と
を更に備える、請求項３に記載の画像処理装置。

【請求項5】

前記被検出者が前記保持物を保持している状態の推定結果に基づき、異常を検知する検知部と、
異常が検知されたことに応じて、予め登録されている通知先に異常を通知する通知部と
を更に備える、請求項４に記載の画像処理装置。

【請求項6】

所定の領域を撮像して撮像画像を生成する撮像装置と、
前記所定の領域内の被写体から放射される熱を熱分布画像として画像化するサーモグラフィーカメラと、
前記撮像画像と前記熱分布画像とを取得し、前記撮像画像から前記被検出者が保持している保持物に対応する保持物画像データを特定する、請求項１から５のいずれか一項に記載の前記画像処理装置と
を備える、画像処理システム。

【請求項7】

異なる角度から前記被検出者を撮像してステレオ画像を生成する２つの前記撮像装置を有し、
前記サーモグラフィーカメラは、２つの前記撮像装置の間に配置されている、
請求項６に記載の画像処理システム。

【請求項8】

コンピュータにより実行されると、前記コンピュータを請求項１から５のいずれか一項に記載の前記画像処理装置として機能させる、プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、画像処理システム、およびプログラムに関する。

【背景技術】

【0002】

撮像装置が撮像した撮像画像を解析して、撮像画像内に含まれている物体を認識する技術が知られている。例えば、１つのフレームに含まれている複数の物体と、他のフレームに含まれている複数の物体とを比較して、同一の物体であるか否かを認識する技術が知られている（例えば、特許文献１を参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特許第４５００９９９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、撮像画像に含まれている１または複数の物体のうち、人が手にした物体、人が保持している物体等を認識することは困難であった。また、このような画像処理は、複雑な処理が必要となることがあり、より簡便な方法で処理できることが望まれていた。

【0005】

そこで、本発明はこれらの点に鑑みてなされたものであり、簡便な方法で人が保持している物体を特定できるようにすることを目的とする。

【課題を解決するための手段】

【0006】

本発明の第１の態様においては、被検出者が含まれる撮像画像を撮像装置から取得する撮像画像取得部と、前記撮像画像と、前記撮像画像取得部が過去の所定の期間内に取得した前記撮像画像との差分を示す差分画像データを生成する画像生成部と、前記被検出者から放射される熱をサーモグラフィーカメラが画像化した熱分布画像データを取得する熱分布画像取得部と、前記差分画像データと前記熱分布画像データとを比較することにより、前記差分画像データのうち、前記熱分布画像データにおいて前記被検出者が発した熱に対応する領域に含まれていない領域の画像データを、前記被検出者が保持している保持物に対応する保持物画像データとして特定する特定部とを備える画像処理装置を提供する。

【0007】

前記差分画像データは、前記撮像画像から前記撮像装置が撮像する領域の背景画像を差し引いた背景除去画像を示す画像データであってもよい。

【0008】

前記特定部は、前記熱分布画像データにおいて予め定められた温度以上を示す領域を被検出者領域とする領域決定部と、前記差分画像データにおいて前記被検出者領域に対応する画像データを除去した画像データを前記保持物画像データとして出力する被検出者除去部とを有してもよい。

【0009】

前記画像処理装置は、前記保持物画像データを画像解析する第１解析部と、前記被検出者領域に対応する被検出者画像データを解析して、前記被検出者が前記保持物を保持している状態を推定する第２解析部と、前記保持物画像データの解析結果と前記被検出者画像データの解析結果とに基づき、前記保持物が何であるかを推定する保持物推定部とを更に備えてもよい。

【0010】

前記画像処理装置は、前記被検出者が前記保持物を保持している状態の推定結果に基づき、異常を検知する検知部と、異常が検知されたことに応じて、予め登録されている通知先に異常を通知する通知部とを更に備えてもよい。

【0011】

本発明の第２の態様においては、所定の領域を撮像して撮像画像を生成する撮像装置と、前記所定の領域内の被写体から放射される熱を熱分布画像として画像化するサーモグラフィーカメラと、前記撮像画像と前記熱分布画像とを取得し、前記撮像画像から前記被検出者が保持している保持物に対応する保持物画像データを特定する、第１の態様の前記画像処理装置とを備える、画像処理システムを提供する。

【0012】

前記画像処理システムは、異なる角度から前記被検出者を撮像してステレオ画像を生成する２つの前記撮像装置を有し、前記サーモグラフィーカメラは、２つの前記撮像装置の間に配置されていてもよい。

【0013】

本発明の第３の態様においては、コンピュータにより実行されると、前記コンピュータを第１の態様の前記画像処理装置として機能させる、プログラムを提供する。

【発明の効果】

【0014】

本発明によれば、簡便な方法で人が保持している物体を特定できるという効果を奏する。

【図面の簡単な説明】

【0015】

【図1】本実施形態に係る画像処理システム１０の構成例を示す。

【図2】本実施形態に係る画像処理装置２００の構成例を示す。

【図3】本実施形態に係る画像処理装置２００の動作フローの一例を示す。

【図4】本実施形態に係る撮像画像取得部２１０が取得した背景画像の一例を示す。

【図5】本実施形態に係る撮像画像取得部２１０が取得した撮像画像の一例を示す。

【図6】本実施形態に係る熱分布画像取得部２２０が取得した熱分布画像データの一例を示す。

【図7】本実施形態に係る画像生成部２４０が生成した差分画像データの一例を示す。

【図8】本実施形態に係る被検出者除去部２５２が生成した保持物画像データの一例を示す。

【図9】本実施形態に係る画像処理装置２００の変形例を示す。

【発明を実施するための形態】

【0016】

＜画像処理システム１０の構成例＞
図１は、本実施形態に係る画像処理システム１０の構成例を示す。画像処理システム１０は、撮像装置およびサーモグラフィーカメラによる画像を解析することにより、撮像画像に含まれている物体のうち人が保持している物体を特定して、人が何を保持しているのかを推定する。

【0017】

なお、本実施形態においては、物体を保持する人を被検出者２０とする。また、被検出者２０が保持する物体を保持物３０とする。ここで、被検出者２０が保持物３０を保持する動作は、保持物３０を手に持った場合、保持物３０を手に持って保持した場合、保持物３０を身に付けた場合、保持物３０を被検出者２０が持っているカゴに入れた場合等を含む。画像処理システム１０は、撮像装置１１０と、サーモグラフィーカメラ１２０と、制御装置１３０と、画像処理装置２００と、表示装置３００とを備える。

【0018】

撮像装置１１０は、所定の領域を撮像して撮像画像を生成する。撮像装置１１０は、複数の静止画像または動画を撮像画像として生成する。撮像装置１１０は、撮像する領域を固定して撮像画像を生成することが望ましい。撮像装置１１０は、例えば、予め定められた位置に固定され、予め定められた領域を継続して撮像する。この場合、撮像装置１１０は、被検出者２０が通過することが予想される領域を予め定められた期間だけ継続して撮像することが望ましい。

【0019】

サーモグラフィーカメラ１２０は、所定の領域内の被写体から放射される熱を熱分布画像として画像化する。サーモグラフィーカメラ１２０は、撮像装置１１０が撮像する領域の少なくとも一部を含む領域を熱分布画像として出力する。サーモグラフィーカメラ１２０は、撮像装置１１０が撮像する領域の全部を含む領域を熱分布画像とするように設置されていることが望ましい。例えば、サーモグラフィーカメラ１２０が画像化した熱分布画像データの画角は、撮像装置１１０が撮像した撮像画像の画角とほとんど一致するように設置されている。サーモグラフィーカメラ１２０は、撮像装置１１０の近辺に固定され、予め定められた期間だけ継続して撮像することが望ましい。

【0020】

以上のように、撮像装置１１０およびサーモグラフィーカメラ１２０は、同一の期間に共通の領域を撮像する。このような撮像装置１１０およびサーモグラフィーカメラ１２０は、一例として、監視カメラとして機能する。図１は、商品を陳列している商品棚４０を含む領域を共通の領域としている例を示す。そして、商品棚４０の前を被検出者２０が通過すると、撮像装置１１０は、被検出者２０が含まれる撮像画像を出力する。また、サーモグラフィーカメラ１２０は、被検出者２０から放射される熱の熱分布を含む熱分布画像を出力する。

【0021】

制御装置１３０は、撮像装置１１０およびサーモグラフィーカメラ１２０を制御して、所定の領域を撮像させる。また、制御装置１３０は、撮像装置１１０およびサーモグラフィーカメラ１２０の撮像結果を画像処理装置２００に供給させてもよい。制御装置１３０は、画像処理装置２００に対して、撮像結果の取得タイミングを通知してもよい。制御装置１３０は、例えば、ＣＰＵ等である。制御装置１３０は、画像処理装置２００に含まれていてもよい。

【0022】

画像処理装置２００は、撮像画像と熱分布画像とを取得し、撮像画像および熱分布画像に基づいて、撮像画像から被検出者２０が保持している保持物３０に対応する保持物画像データを特定する。画像処理装置２００は、保持物画像データを解析することにより、保持物３０が何であるかを推定してもよい。画像処理装置２００は、例えば、保持物３０のカテゴリー、種類、製造会社、品名等の（以下、「品名等」という）場合がある。

【0023】

表示装置３００は、画像処理装置２００が特定した保持物画像データ、および／または、保持物３０の品名等の推定結果を表示する。表示装置３００は、一例として、撮像装置１１０が撮像した撮像画像と共に、保持物画像データ、および／または、保持物３０の品名等の推定結果を表示する。

【0024】

例えば、被検出者２０が商品棚４０から商品を手に取って保持した場合、画像処理装置２００は、被検出者２０が手にした商品に対応する保持物画像データを撮像画像の中から特定する。また、被検出者２０が物体を保持したまま商品棚４０の前を通過した場合、画像処理装置２００は、被検出者２０が保持した物体に対応する保持物画像データを撮像画像の中から特定する。このような画像処理装置２００について、次に説明する。

【0025】

＜画像処理装置２００の構成例＞
図２は、本実施形態に係る画像処理装置２００の構成例を示す。画像処理装置２００は、撮像画像取得部２１０と、熱分布画像取得部２２０と、記憶部２３０と、画像生成部２４０と、特定部２５０と、第１解析部２６０と、保持物推定部２７０とを備える。

【0026】

撮像画像取得部２１０は、被検出者２０が含まれる撮像画像を撮像装置１１０から取得する。撮像画像取得部２１０は、撮像装置１１０が撮像してデータベース等に記憶した撮像画像を、当該データベースから取得してもよい。撮像画像取得部２１０は、例えば、ネットワーク等を介して撮像画像を取得する。

【0027】

熱分布画像取得部２２０は、被検出者２０から放射される熱をサーモグラフィーカメラ１２０が画像化した熱分布画像データを取得する。熱分布画像取得部２２０は、サーモグラフィーカメラ１２０が画像化してデータベース等に記憶した熱分布画像データを、当該データベースから取得してもよい。熱分布画像取得部２２０は、例えば、ネットワーク等を介して熱分布画像データを取得する。

【0028】

記憶部２３０は、取得した撮像画像および熱分布画像データの情報を記憶する。また、記憶部２３０は、画像処理装置２００が動作の過程で生成する、または動作の過程で利用する、中間データ、算出結果、閾値、およびパラメータ等を記憶してもよい。記憶部２３０は、例えば、撮像画像および熱分布画像データを、撮像した時刻に対応付けて記憶する。記憶部２３０は、画像処理装置２００内の各部の要求に応じて、記憶したデータを要求元に供給してもよい。

【0029】

記憶部２３０は、コンピュータが画像処理装置２００として動作する場合、画像処理装置２００として機能するＯＳ（Operating System）、およびプログラムの情報を格納してもよい。また、記憶部２３０は、当該プログラムの実行時に参照されるデータベースを含む種々の情報を格納してもよい。例えば、コンピュータは、記憶部２３０に記憶されたプログラムを実行することによって、画像処理装置２００の撮像画像取得部２１０、熱分布画像取得部２２０、画像生成部２４０、特定部２５０、第１解析部２６０および保持物推定部２７０の少なくともいずれかとして機能する。また、コンピュータは、制御装置１３０の機能を更に有してもよい。

【0030】

記憶部２３０は、例えば、コンピュータ等のＢＩＯＳ（Basic Input Output System）等を格納するＲＯＭ（Read Only Memory）、および作業領域となるＲＡＭ（Random Access Memory）を含む。また、記憶部２３０は、ＨＤＤ（Hard Disk Drive）および／またはＳＳＤ（Solid State Drive）等の大容量記憶装置を含んでもよい。また、コンピュータは、ＧＰＵ（Graphics Processing Unit）等を更に備えてもよい。このようなコンピュータは、例えば、サーバ、パソコン（ＰＣ）、携帯型ＰＣ、タブレット型ＰＣ、スマートフォン等である。また、画像処理装置２００と表示装置３００とは一体化された装置であってもよい。

【0031】

画像生成部２４０は、撮像画像と、撮像画像取得部２１０が過去の所定の期間内に取得した撮像画像との差分を示す差分画像データを生成する。所定の期間内に撮像画像取得部２１０が取得する撮像画像は、例えば、撮像装置１１０が撮像する領域の背景画像である。この場合、差分画像データは、撮像画像から背景画像を差し引いた背景除去画像を示す画像データとなる。ここで、所定の期間は、被検出者２０が撮像範囲に滞在していないことが想定される時間に基づいて定められており、例えば、画像処理装置２００の初期設定等の期間である。

【0032】

なお、所定の期間において被検出者２０が撮像範囲に滞在していても、被検出者２０が移動していれば、画像生成部２４０が移動前の撮像画像と移動後の撮像画像との差分を算出することにより、背景除去画像を示す画像データを生成できる。この場合、所定の期間は、被検出者２０が撮像範囲に滞在していることが想定される時間に基づいて定められており、例えば、数秒程度以内の期間である。一例として、所定の期間は、５秒以内の期間である。

【0033】

なお、被検出者２０が立ち止まっている場合、所定の期間が経過しても差分のデータがほとんど零になってしまうことがある。この場合、画像生成部２４０は、所定の期間を延長して差分画像データを生成してもよい。また、画像生成部２４０は、所定の期間に取得された複数の撮像画像から複数の差分画像を生成し、複数の異なる差分画像を合成することで背景画像を生成してもよい。この場合、画像生成部２４０は、撮像画像と合成した背景画像との差分を示す差分画像データを生成する。

【0034】

以上のように、画像生成部２４０は、被検出者２０が含まれている撮像画像から背景画像を除去した画像を生成する。したがって、画像生成部２４０が生成した差分画像データは、被検出者２０と被検出者２０が保持する保持物３０とを示す画像データとなる。

【0035】

特定部２５０は、差分画像データと熱分布画像データとを比較することにより、被検出者２０が保持している保持物３０に対応する保持物画像データを特定する。特定部２５０は、例えば、差分画像データのうち、熱分布画像データにおいて被検出者２０が発した熱に対応する領域に含まれていない領域の画像データを、保持物画像データとして特定する。特定部２５０は、領域決定部２５１と、被検出者除去部２５２とを有する。

【0036】

領域決定部２５１は、熱分布画像データにおいて予め定められた温度以上を示す領域を被検出者領域とする。被検出者２０は、体温によって一定の温度範囲の分布を有する。また、背景および保持物３０等の被検出者２０以外の領域は、例えば、室温程度であり、被検出者２０の一定の温度範囲とは異なる温度となる。この場合、熱分布画像データにおいて、被検出者２０の体温に基づく予め定められた温度範囲を示す領域は、被検出者２０を示す領域となる。そこで、領域決定部２５１は、熱分布画像データの温度分布に基づいて、被検出者２０を示す領域を決定できる。

【0037】

被検出者除去部２５２は、差分画像データにおいて被検出者領域に対応する画像データを除去した画像データを保持物画像データとして出力する。差分画像データは、被検出者２０および保持物３０を示す画像データなので、被検出者除去部２５２が差分画像データから被検出者領域に対応する画像データを除去することにより、保持物３０を示す画像データを抽出することができる。

【0038】

第１解析部２６０は、保持物画像データを画像解析する。第１解析部２６０は、例えば、抽出された保持物画像データを画像解析することにより、保持物３０の特徴を抽出する。保持物画像データは、背景、被検出者２０等が除去されており、保持物３０の一部または全部を示す画像データとなっているので、既知の画像解析を施すことにより、保持物３０の特徴を容易に抽出できる。例えば、第１解析部２６０は、保持物３０の形状、色、材質、印字されている文字、表示、マーク等を抽出する。また、第１解析部２６０は、画像比較等を施して、既知の物品等と類似しているか否かを判定してもよい。

【0039】

保持物推定部２７０は、第１解析部２６０の解析結果に基づき、保持物画像データに対応する保持物３０のカテゴリー、種類、製造会社、品名等を推定する。第１解析部２６０および保持物推定部２７０は、ネットワークを介して接続されている外部のデータベース等に記憶されている情報を用いて、保持物３０の画像解析と推定を実行してもよい。なお、保持物３０の画像解析および推定に用いる技術は既知の技術でよく、ここでは詳細な説明を省略する。

【0040】

以上のように、本実施形態に係る画像処理装置２００は、撮像画像および熱分布画像に基づいて、被検出者２０が保持している保持物３０を撮像画像から特定して品名等を推定する。このような画像処理装置２００の処理動作について、次に説明する。

【0041】

＜画像処理装置２００の動作フローの一例＞
図３は、本実施形態に係る画像処理装置２００の動作フローの一例を示す。画像処理装置２００は、図３のＳ３１０からＳ３９０の動作を実行することにより、被検出者２０が保持している保持物３０の品名等を推定する。

【0042】

撮像画像取得部２１０は、所定の期間において撮像装置１１０が撮像した撮像画像を撮像装置１１０から取得する（Ｓ３１０）。なお、Ｓ３１０において撮像画像取得部２１０が取得する撮像画像は、背景画像である例を説明する。また、撮像装置１１０が背景画像を撮像した後に、制御装置１３０は、撮像装置１１０およびサーモグラフィーカメラ１２０による所定の領域の撮像を開始させているものとする。

【0043】

図４は、本実施形態に係る撮像画像取得部２１０が取得した背景画像の一例を示す。図４に示す背景画像は、商品棚４０と、商品棚４０に陳列されている複数の商品４１の一例を示す。

【0044】

そして、所定の領域内を被検出者２０が通過すると、撮像画像取得部２１０は、被検出者２０が含まれる撮像画像を撮像装置１１０から取得する（Ｓ３２０）。なお、Ｓ３２０において撮像画像取得部２１０が取得した撮像画像には、被検出者２０と被検出者２０が保持している保持物３０とが含まれている例を説明する。図５は、本実施形態に係る撮像画像取得部２１０が取得した撮像画像の一例を示す。

【0045】

次に、熱分布画像取得部２２０は、被検出者２０から放射される熱をサーモグラフィーカメラ１２０が画像化した熱分布画像データを取得する（Ｓ３３０）。熱分布画像取得部２２０が取得する熱分布画像データは、Ｓ３２０において撮像画像取得部２１０が取得した撮像画像を撮像装置１１０が撮像した時間とほぼ同時刻にサーモグラフィーカメラ１２０が画像化したデータであることが望ましい。

【0046】

図６は、本実施形態に係る熱分布画像取得部２２０が取得した熱分布画像データの一例を示す。図６に示す熱分布画像データは、被検出者２０の体温によって、被検出者２０の体の形状に対応する領域が一定の温度以上の分布を有する画像データとなっている例を示す。

【0047】

次に、画像生成部２４０は、撮像画像から背景画像を差し引いた差分画像データを生成する（Ｓ３４０）。画像生成部２４０は、例えば、図５に示す撮像画像の画像データのうち、図６に示す背景画像の画像データとほぼ一致するデータを差し引いて、差分画像データを生成する。図７は、本実施形態に係る画像生成部２４０が生成した差分画像データの一例を示す。差分画像データには、被検出者２０と保持物３０とが含まれている。なお、差分画像データにおいて、除去した背景画像に対応する領域のデータは、無くてもよく、これに代えて、零等の値が埋め込まれていてもよい。

【0048】

次に、特定部２５０は、被検出者２０が保持している保持物３０に対応する保持物画像データを特定する。領域決定部２５１は、熱分布画像データにおいて予め定められた温度以上を示す領域を被検出者領域と定める（Ｓ３５０）。領域決定部２５１は、熱分布画像データにおいて予め定められた温度範囲の領域を被検出者領域と決定してもよい。被検出者領域は、例えば、図６に示す被検出者２０の体の形状に対応する領域である。

【0049】

そして、被検出者除去部２５２は、差分画像データにおいて被検出者領域に対応する画像データを除去した画像データを保持物画像データとして出力する（Ｓ３６０）。被検出者除去部２５２は、例えば、図７に示す差分画像データにおいて、被検出者領域に対応する領域を差し引いて、図８に示す保持物画像データを生成する。このように、図８は、本実施形態に係る被検出者除去部２５２が生成した保持物画像データの一例を示す。なお、保持物画像データにおいて、差分画像データから除去した領域のデータは、無くてもよく、これに代えて、零等の値が埋め込まれていてもよい。

【0050】

次に、第１解析部２６０は、保持物画像データを画像解析する（Ｓ３７０）。第１解析部２６０は、保持物画像データのうち、データのある領域または零でない領域の画像データを解析する。次に、保持物推定部２７０は、第１解析部２６０の解析結果に基づき、保持物画像データに対応する保持物３０の品名等を推定する（Ｓ３８０）。

【0051】

画像処理装置２００は、保持物３０の推定動作を継続する場合（Ｓ３９０：Ｙｅｓ）、Ｓ３２０に戻り、次の撮像画像に対してＳ３２０からＳ３９０の動作を繰り返す。また、画像処理装置２００は、ユーザから動作停止の指示が入力された場合、予め定められた時間が経過した場合、予め定められた回数の推定動作を実行した場合等に、保持物３０の品名等の推定動作を停止する（Ｓ３９０：Ｎｏ）。

【0052】

以上のように、本実施形態の画像処理装置２００は、撮像画像に含まれている１または複数の物体のうち、人が手にした物体、人が保持している物体等を認識できる。ここで、画像処理装置２００は、撮像画像と熱分布画像とを比較することで被検出者２０が保持している保持物３０に対応するデータ領域を特定するので、複雑なデータ処理を用いることなく容易に保持物３０を特定して品名等を推定できる。

【0053】

なお、図３で説明した動作フローにおいて、撮像画像取得部２１０が取得する撮像画像と熱分布画像取得部２２０が取得する熱分布画像データには被検出者２０が含まれている例を説明したが、これに限定されることはない。例えば、画像処理システム１０が監視システムとして機能する場合、撮像装置１１０およびサーモグラフィーカメラ１２０は、静止画または動画を継続して撮像し、画像処理装置２００は、撮像した画像を順次取得してもよい。

【0054】

例えば、共通の領域内に被検出者２０が存在しない場合、Ｓ３４０において、画像生成部２４０が撮像画像から背景画像を差し引いて生成する差分画像データには、零以外の意味のあるデータがほとんどなくなる。また、熱分布画像データには一定の温度以上を示す領域が存在しないので、Ｓ３５０において、領域決定部２５１は被検出者領域を定めることができない。この場合、特定部２５０は、保持物画像データを出力しなくてよい。

【0055】

また、差分画像データが人物の形状および物体形状とは全く異なる場合、特定部２５０は、保持物画像データを出力しなくてよい。特定部２５０は、差分画像データをフィルタリング処理するフィルタを有し、人物形状および物体形状とは異なる形状のデータを除去してもよい。そして、画像処理装置２００は、第１解析部２６０および保持物推定部２７０の動作を省略してＳ３２０に戻り、次の撮像画像の処理に移行してよい。

【0056】

これに代えて、画像処理装置２００は、Ｓ３５０において、被検出者領域がほとんどない場合、以降の動作を省略してＳ３２０に戻り、次の撮像画像の処理に移行してもよい。また、画像処理装置２００は、Ｓ３４０において、差分画像データに零以外の意味のあるデータがほとんどない場合、以降の動作を省略してＳ３２０に戻り、次の撮像画像の処理に移行してもよい。これに代えて、画像処理装置２００は、Ｓ３３０において、熱分布画像データに一定の温度以上を示す領域がほとんど存在しない場合、以降の動作を省略してＳ３２０に戻り、次の撮像画像の処理に移行してもよい。

【0057】

また、共通の領域内に被検出者２０が存在しても、被検出者２０が保持物３０を保持していないこともある。この場合、Ｓ３６０において、被検出者除去部２５２が生成する保持物画像データには、零以外の意味のあるデータがほとんどなくなる。この場合、特定部２５０は、保持物画像データを出力しなくてよい。そして、画像処理装置２００は、第１解析部２６０および保持物推定部２７０の動作を省略してＳ３２０に戻り、次の撮像画像の処理に移行してよい。以上により、画像処理装置２００は、所定の領域の撮像を継続させつつ、保持物３０を保持した被検出者２０が所定の領域を通過した場合、または、被検出者２０が所定の領域で保持物３０を保持した場合に、保持物３０を特定して品名等を推定することができる。

【0058】

＜画像処理装置２００の変形例＞
図９は、本実施形態に係る画像処理装置２００の変形例を示す。本変形例の画像処理装置２００において、図２に示された本実施形態に係る画像処理装置２００の動作と略同一のものには同一の符号を付け、説明を省略する。変形例の画像処理装置２００は、第２解析部２６２と、検知部２８０と、通知部２９０とを更に備える。

【0059】

第２解析部２６２は、被検出者領域に対応する被検出者画像データを解析して、被検出者２０が保持物３０を保持している状態を推定する。領域決定部２５１が熱分布画像データにおいて被検出者２０に対応する被検出者領域を決定するので、被検出者除去部２５２は、差分画像データにおいて被検出者領域に対応する被検出者画像データを抽出することができる。言い換えると、被検出者除去部２５２は、差分画像データから除去したデータを被検出者画像データとして出力できる。

【0060】

そして、第２解析部２６２がこのような被検出者画像データを被検出者除去部２５２から受け取って解析することにより、例えば、保持物３０を保持している被検出者２０の姿勢、動き、保持物３０の持ち方等の特徴を抽出することができる。第２解析部２６２は、例えば、保持物３０を上から保持している状態、保持物３０を下から持ち上げている状態、保持物３０を両手で持っている状態、保持物３０をつまんでいる状態、保持物３０を抱えている状態等を抽出する。

【0061】

この場合、保持物推定部２７０は、第１解析部２６０による保持物画像データの解析結果と第２解析部２６２による被検出者画像データの解析結果とに基づき、保持物３０の品名等を推定する。例えば、第２解析部２６２による被検出者画像データの解析結果が、重量物を持っている被検出者２０の姿勢である場合、保持物推定部２７０は、重量物に合致する保持物３０の品名等を推定する。

【0062】

また、第１解析部２６０および第２解析部２６２は、時系列に並ぶ複数の保持物画像データおよび被検出者画像データをそれぞれ解析してもよい。例えば、第２解析部２６２は、被検出者２０が左手で第１の保持物３０を固定したまま右手で第２の保持物３０を徐々に第１の保持物３０に近づけてから手を放す動きを、被検出者画像データの特徴として抽出する。この場合、保持物推定部２７０は、例えば、第１の保持物３０としてカゴ等の商品を入れるための容器に合致する品名等を推定し、第２の保持物３０として店舗に陳列している商品に合致する品名等を推定する。

【0063】

以上のように、変形例の画像処理装置２００は、保持物３０を保持している被検出者２０の特徴も解析する。これにより、保持物推定部２７０は、より多くの特徴を用いて保持物３０を推定することができ、保持物３０の品名等の推定精度をより向上できる。また、保持物推定部２７０は、保持物３０を保持している被検出者２０の状態も推定できる。例えば、保持物推定部２７０は、被検出者２０が保持物３０を手に持っていること、保持物３０を体に身に付けていること、保持物３０をカバンの中に入れたこと、保持物３０を胸ポケットに入れたこと等を推定できる。

【0064】

検知部２８０は、被検出者２０が保持物３０を保持している状態の推定結果に基づき、異常を検知する。例えば、画像処理システム１０が店舗に設けられており、顧客を被検出者２０として監視している場合を考える。顧客が入店して商品を手に持つと、画像処理装置２００は、顧客が手にした商品が何であるかを推定できる。また、画像処理装置２００は、顧客が商品を手に持ったままの状態、顧客が商品を元に戻す動作、顧客が商品をカゴに入れる動作、顧客が商品をカバンの中に入れる動作等も推定できる。

【0065】

ここで、店舗が準備しているカゴではなく、顧客が手に持っているカバンの中に商品を入れる動作は、顧客の通常の動作とは異なる。そこで、検知部２８０は、保持物推定部２７０による被検出者２０の状態の推定結果にこのような異常が発生していることを検知する。例えば、記憶部２３０には、保持物推定部２７０の複数の推定結果が被検出者２０の正常動作または異常動作と対応付けられて予め記憶されていることが望ましい。これにより、検知部２８０は、保持物推定部２７０の推定結果に対応する動作が異常および正常のいずれであるかを検知できる。

【0066】

通知部２９０は、異常が検知されたことに応じて、予め登録されている通知先に異常を通知する。通知部２９０は、例えば、画像処理システム１０のユーザの端末、ユーザが契約している管理会社、警備会社等の端末等に以上を通知する。また、通知部２９０は、表示装置等に異常の発生を表示させてもよい。これに代えて、または、これに加えて、通知部２９０は、警報等を鳴らしてもよい。これにより、画像処理装置２００は、例えば、被検出者２０が店内で商品を万引きする状況を検出して店主等に通知することができる。

【0067】

以上の本実施形態に係る画像処理システム１０は、一例として、商品を販売する店舗に設けられている監視システムとして機能できる。この場合、撮像装置１１０およびサーモグラフィーカメラ１２０は、複数の領域を監視できるように、店舗内に複数配置されていることが望ましい。

【0068】

また、画像処理システム１０は、１つの監視領域に対して、異なる角度から被検出者２０を撮像してステレオ画像を生成する２つの撮像装置１１０を有していてもよい。これにより、撮像画像には被検出者２０と保持物３０とが立体的に写るので、画像処理装置２００による保持物３０の特定および推定の精度を向上させることができる。この場合、サーモグラフィーカメラ１２０は、２つの撮像装置１１０の間に配置されていることが望ましい。これにより、サーモグラフィーカメラ１２０が画像化した熱分布画像データの画角を、２つの撮像装置１１０が撮像した撮像画像の画角に合わせやすくすることができる。

【0069】

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の全部又は一部は、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を併せ持つ。

【符号の説明】

【0070】

１０ 画像処理システム
２０ 被検出者
３０ 保持物
４０ 商品棚
４１ 商品
１１０ 撮像装置
１２０ サーモグラフィーカメラ
１３０ 制御装置
２００ 画像処理装置
２１０ 撮像画像取得部
２２０ 熱分布画像取得部
２３０ 記憶部
２４０ 画像生成部
２５０ 特定部
２５１ 領域決定部
２５２ 被検出者除去部
２６０ 第１解析部
２６２ 第２解析部
２７０ 保持物推定部
２８０ 検知部
２９０ 通知部
３００ 表示装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】