知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024066766
(43)【公開日】2024-05-16
(54)【発明の名称】画像処理装置、及びそのプログラム、画像処理方法
(51)【国際特許分類】
G06V 10/46 20220101AFI20240509BHJP
G06T 7/60 20170101ALI20240509BHJP
【ＦＩ】
G06V10/46
G06T7/60 200
【審査請求】未請求
【請求項の数】6
【出願形態】ＯＬ
(21)【出願番号】P 2022176434
(22)【出願日】2022-11-02
(71)【出願人】
【識別番号】000003562
【氏名又は名称】東芝テック株式会社
(74)【代理人】
【識別番号】110003708
【氏名又は名称】弁理士法人鈴榮特許綜合事務所
(74)【代理人】
【識別番号】100108855
【弁理士】
【氏名又は名称】蔵田 昌俊
(74)【代理人】
【識別番号】100179062
【弁理士】
【氏名又は名称】井上 正
(74)【代理人】
【識別番号】100075672
【弁理士】
【氏名又は名称】峰 隆司
(74)【代理人】
【識別番号】100153051
【弁理士】
【氏名又は名称】河野 直樹
(74)【代理人】
【識別番号】100162570
【弁理士】
【氏名又は名称】金子 早苗
(72)【発明者】
【氏名】山崎 景太
(72)【発明者】
【氏名】竹野 唯志
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096AA06
5L096FA05
5L096FA09
5L096FA64
5L096FA67
(57)【要約】
【課題】１つのキーポイントから関連性のある他のキーポイントへの接続関係を複数割り当て可能とする。
【解決手段】画像処理装置は、取得手段と、特定手段と、演算手段と、選択手段と、認識手段とを備える。取得手段は、認識対象の物体が映し出された画像を取得する。特定手段は、取得した画像から物体に対して設定された２種類以上のキーポイントを特定する。演算手段は、異なる種類のキーポイント間を連結する組合せ毎にその組合せの評価値を算出する。選択手段は、キーポイント毎に評価値が大きい順に他のキーポイントとの組合せを２パターン以上選択する。認識手段は、キーポイント毎に選択された２パターン以上の他のキーポイントとの組合せを連結することで物体を認識する。
【選択図】 図３
【解決手段】画像処理装置は、取得手段と、特定手段と、演算手段と、選択手段と、認識手段とを備える。取得手段は、認識対象の物体が映し出された画像を取得する。特定手段は、取得した画像から物体に対して設定された２種類以上のキーポイントを特定する。演算手段は、異なる種類のキーポイント間を連結する組合せ毎にその組合せの評価値を算出する。選択手段は、キーポイント毎に評価値が大きい順に他のキーポイントとの組合せを２パターン以上選択する。認識手段は、キーポイント毎に選択された２パターン以上の他のキーポイントとの組合せを連結することで物体を認識する。
【選択図】 図３
【特許請求の範囲】
【請求項1】
認識対象の物体が映し出された画像を取得する取得手段と、
前記画像から前記物体に対して設定された２種類以上のキーポイントを特定する特定手段と、
異なる種類のキーポイント間を連結する組合せ毎にその組合せの評価値を算出する演算手段と、
前記キーポイント毎に前記評価値が大きい順に他のキーポイントとの組合せを２パターン以上選択する選択手段と、
前記キーポイント毎に選択された２パターン以上の他のキーポイントとの組合せを連結することで前記物体を認識する認識手段と、
を具備する画像処理装置。
前記画像から前記物体に対して設定された２種類以上のキーポイントを特定する特定手段と、
異なる種類のキーポイント間を連結する組合せ毎にその組合せの評価値を算出する演算手段と、
前記キーポイント毎に前記評価値が大きい順に他のキーポイントとの組合せを２パターン以上選択する選択手段と、
前記キーポイント毎に選択された２パターン以上の他のキーポイントとの組合せを連結することで前記物体を認識する認識手段と、
を具備する画像処理装置。
【請求項2】
前記認識手段による認識結果を出力する出力手段、
をさらに具備する請求項１記載の画像処理装置。
をさらに具備する請求項１記載の画像処理装置。
【請求項3】
前記演算手段は、組合せとなった前記キーポイント間のベクトル情報と経路長とに基づいて前記評価値を算出する、請求項１又は２記載の画像処理装置。
【請求項4】
前記特定手段は、矩形状の開口部を有する前記物体に対しては、前記開口部の四隅と四辺の中間点とをキーポイントとして特定し、
前記認識手段は、前記開口部を認識することで前記物体を認識する、請求項１又は２記載の画像処理装置。
前記認識手段は、前記開口部を認識することで前記物体を認識する、請求項１又は２記載の画像処理装置。
【請求項5】
認識対象の物体が映し出された画像から前記物体を認識する画像処理装置のコンピュータを、
前記画像を取得する取得手段、
前記画像から前記物体に対して設定された２種類以上のキーポイントを特定する特定手段、
異なる種類のキーポイント間を連結する組合せ毎にその組合せの評価値を算出する演算手段、
前記キーポイント毎に前記評価値が大きい順に他のキーポイントとの組合せを２パターン以上選択する選択手段、及び、
前記キーポイント毎に選択された２パターン以上の他のキーポイントとの組合せを連結することで前記物体を認識する認識手段、
として機能させるためのプログラム。
前記画像を取得する取得手段、
前記画像から前記物体に対して設定された２種類以上のキーポイントを特定する特定手段、
異なる種類のキーポイント間を連結する組合せ毎にその組合せの評価値を算出する演算手段、
前記キーポイント毎に前記評価値が大きい順に他のキーポイントとの組合せを２パターン以上選択する選択手段、及び、
前記キーポイント毎に選択された２パターン以上の他のキーポイントとの組合せを連結することで前記物体を認識する認識手段、
として機能させるためのプログラム。
【請求項6】
認識対象の物体が映し出された画像を処理する画像処理装置が、
前記画像から前記物体に対して設定された２種類以上のキーポイントを特定し、
異なる種類のキーポイント間を連結する組合せ毎にその組合せの評価値を算出し、
前記キーポイント毎に前記評価値が大きい順に他のキーポイントとの組合せを２パターン以上選択し、
前記キーポイント毎に選択された２パターン以上の他のキーポイントとの組合せを連結することで前記物体を認識する、画像処理方法。
前記画像から前記物体に対して設定された２種類以上のキーポイントを特定し、
異なる種類のキーポイント間を連結する組合せ毎にその組合せの評価値を算出し、
前記キーポイント毎に前記評価値が大きい順に他のキーポイントとの組合せを２パターン以上選択し、
前記キーポイント毎に選択された２パターン以上の他のキーポイントとの組合せを連結することで前記物体を認識する、画像処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、画像処理装置、及びそのプログラム、並びに画像処理方法に関する。
【背景技術】
【0002】
近年、深層学習の手法を利用してカメラで撮影された画像を処理することにより、その画像に写し出された人物の姿勢を推定する技術が公開されている。例えば、非特許文献１に開示されている“OpenPose”は、以下の第１乃至第３のステップにより人物の姿勢を推定する技術である。第１のステップは、画像に写し出された人物の頭、首、肩、肘、手首、手、腰、膝、足首等の特徴点いわゆるキーポイントの座標を推定する。第２のステップは、例えば頭は首に接続され、首は肩に接続され、肩は肘に接続され、というように、各キーポイントの関連性を基にキーポイント間の接続方向を表す方向ベクトルを算出する。第３のステップは、各キーポイントと各キーポイント間の方向ベクトルとを組み合わせて、人物の姿勢を推定する。
【0003】
このような技術を利用することにより、画像に２名以上の人物が映し出されている場合でも、各人物の姿勢をそれぞれ推定することができる。しかしながら従来の技術では、１つのキーポイントから関連性のある他のキーポイントへの方向ベクトルは、関連性のある他のキーポイントが複数存在していても１種類しか算出されない。例えば、人物Ａと人物Ｂとが握手をしているため、画像には人物Ａの手首と手及び人物Ｂの手首は映し出されているが、人物Ｂの手は人物Ａの手に隠されて映し出されていない場合を想定する。この場合、第１のステップでは、キーポイントとして、人物Ａの手首と手及び人物Ｂの手首の各座標とが推定される。第２のステップでは、手首と手との間に関連性があるため、例えば人物Ａの手首と人物Ａの手との間の方向ベクトルが算出される。しかしその場合には、人物Ａの手は、既に関連性のあるキーポイント、つまりは手首と結び付けられたため、その関連性のあるキーポイントと同じ種類の他のキーポイント、つまりは人物Ｂの手首との間は結び付けられない。その結果、人物Ｂの手首から先の姿勢を推定することはできない。
【先行技術文献】
【非特許文献】
【0004】
【非特許文献1】Z. Cao et al.,“OpenPose: Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields”,arXiv:1812.08008v2 [cs.CV],30 May 2019
【発明の概要】
【発明が解決しようとする課題】
【0005】
本発明の実施形態が解決しようとする課題は、１つのキーポイントから関連性のある他のキーポイントへの接続関係を複数割り当て可能な画像処理装置及びそのプログラム、並びに画像処理方法を提供しようとするものである。
【課題を解決するための手段】
【0006】
一実施形態において、画像処理装置は、取得手段と、特定手段と、演算手段と、選択手段と、認識手段とを備える。取得手段は、認識対象の物体が映し出された画像を取得する。特定手段は、取得した画像から物体に対して設定された２種類以上のキーポイントを特定する。演算手段は、異なる種類のキーポイント間を連結する組合せ毎にその組合せの評価値を算出する。選択手段は、キーポイント毎に評価値が大きい順に他のキーポイントとの組合せを２パターン以上選択する。認識手段は、キーポイント毎に選択された２パターン以上の他のキーポイントとの組合せを連結することで物体を認識する。
【図面の簡単な説明】
【0007】
【発明を実施するための形態】
【0008】
以下、１つのキーポイントから関連性のある他のキーポイントへの接続関係を複数割り当て可能な画像処理装置の実施形態について、図面を用いて説明する。
なお、本実施形態は、“OpenPose”の技術を応用して、１つのキーポイントから他のキーポイントへの接続関係を複数割り当てることを可能とすることで、セルフＰＯＳ端末の近傍に設けられたカメラで撮影された画像から、セルフＰＯＳ端末の籠受台に置かれた買物籠の開口部を検知するようにした画像処理装置を例示する。はじめに、図１を用いてセルフＰＯＳ端末１０の概要について説明する。
なお、本実施形態は、“OpenPose”の技術を応用して、１つのキーポイントから他のキーポイントへの接続関係を複数割り当てることを可能とすることで、セルフＰＯＳ端末の近傍に設けられたカメラで撮影された画像から、セルフＰＯＳ端末の籠受台に置かれた買物籠の開口部を検知するようにした画像処理装置を例示する。はじめに、図１を用いてセルフＰＯＳ端末１０の概要について説明する。
【0009】
図１は、セルフＰＯＳ端末１０の外観構成を示す模式図である。セルフＰＯＳ端末１０は、本体１０１と、該本体１０１の左右に配置された籠受台１０２及び袋詰台１０３とを備える。本体１０１に向かって右側に配置される籠受台１０２は、決済者である客が買上商品を収容した買物籠３０を載置するための台である。本体１０１に向かって左側に配置される袋詰台１０３は、客が買上商品を袋詰めするための台である。客は、袋詰台１０３に用意したレジ袋またはマイバッグ等に買上商品を収容する。図１において、袋詰台１０３は、その上部に支柱を介して一時置き台１０４を設けている。一時置き台１０４は、例えば、商品をレジ袋等に入れる前に一時的に載置するための台である。一時置き台１０４には、左右に離間させて２本の保持アーム１０５が設けられている。客は、これらの保持アーム１０５を用いて、レジ袋、マイバッグ等を開口した状態で袋詰台１０３の上に置くことが可能である。なお、籠受台１０２及び袋詰台１０３の取り付け位置は、左右が逆であってもよい。
【0010】
本体１０１は、タッチパネル１１、カードリーダ１２、プリンタ１３、スキャナ１４、ハンドスキャナ１５、現金処理機１６、パトランプ１７、スピーカ１８等を備える。
【0011】
タッチパネル１１は、ディスプレイに文字、記号、画像等からなる表示要素を表示可能な表示デバイスである。またタッチパネル１１は、ディスプレイに対するタッチ操作位置をセンサで検知し、その位置の表示要素が入力されたものとして処理する入力デバイスでもある。セルフＰＯＳ端末１０においては、客の操作を支援するための種々の画像がタッチパネル１１に表示される。
【0012】
カードリーダ１２は、クレジットカード、電子マネーカード、ポイントカード等のカード媒体に記録されたデータを読み取る入力デバイスである。カード媒体が磁気カードの場合、カードリーダ１２は磁気カードリーダである。カード媒体がＩＣカードの場合、カードリーダ１２は、ＩＣカードリーダである。セルフＰＯＳ端末１０は、カードリーダ１２として磁気カードリーダまたはＩＣカードリーダのいずれか一方を備えていてもよいし、両方を備えていてもよい。カードリーダ１２は、カードへのデータ書込み機能を有したカードリーダ・ライタであってもよい。
【0013】
プリンタ１３は、レシート用紙に買上レシート、クレジットカード伝票等に係るデータを印刷する出力デバイスである。プリンタ１３によって種々のデータが印刷されたレシート用紙は、カッタによりカットされて、レシート発行口から発行される。プリンタ１３は、例えばサーマルプリンタまたはドットインパクトプリンタ等によって実現される。
【0014】
スキャナ１４及びハンドスキャナ１５は、バーコード又は二次元コード等の機械可読コードを読み取る入力デバイスである。スキャナ１４は、読取窓（ガラス窓）に翳された機械可読コードを光学的に読み取る。ハンドスキャナ１５は、客によって手持ちで操作されるもので、機械可読コードに近接されることによりその機械可読コードを光学的に読み取る。
【0015】
現金処理機１６は、現金を処理する装置である。現金処理機１６は、紙幣投入口１６１、紙幣排出口１６２、硬貨投入口１６３及び硬貨排出口１６４を有する。現金処理機１６は、紙幣投入口１６１に投入された紙幣を処理する。現金処理機１６は、釣銭としての紙幣を紙幣排出口１６２から排出する。現金処理機１６は、硬貨投入口１６３に投入された硬貨を受け入れて処理する。現金処理機１６は、釣銭としての硬貨を硬貨排出口１６４から排出する。
【0016】
パトランプ１７は、セルフＰＯＳ端末１０に生じたアラート等を表示により報知するためのものである。パトランプ１７は、遠くからでも見えるように、鉛直方向に延びたポールの先端に取り付けられている。パトランプ１７は、発光部材と円筒とを含む。発光部材は、円筒の内部に、円筒と同軸に回転可能に取り付けられている。パトランプ１７は、動作すると、発光部材を発光させながら回転させることができる。
【0017】
スピーカ１８は、セルフＰＯＳ端末１０に生じたアラート等を音声により報知するためのものである。例えばスピーカ１８は、アラートの状態に応じたブザー音を発する。あるいはスピーカ１８は、アラートの状態に応じたメッセージの声を発する。
【0018】
本体１０１の上方部には、撮像装置としてのカメラ２０が取り付けられている。カメラ２０は、単眼カメラである。カメラ２０は、セルフＰＯＳ端末１０とそれを操作する決済者とを撮影するものである。図１に示すように、タッチパネル１１のディスプレイ、カードリーダ１２のカード挿入口、プリンタ１３のレシート発行口、スキャナ１４の読取窓及び現金処理機１６の紙幣投入口１６１、紙幣排出口１６２、硬貨投入口１６３及び硬貨排出口１６４は、本体１０１の１つの面（以下、正面とする）に配置されている。このため決済者は、本体１０１の正面と対峙するように立って、セルフＰＯＳ端末１０を操作する。カメラ２０は、セルフＰＯＳ端末１０とその正面に立つ決済者とを上方から撮影する。したがって、決済者の頭部、顔面、両肩、両腕、胸部、腹部等がカメラ２０によって撮影される。また、本体１０１を挟んで左右に配置された籠受台１０２及び袋詰台１０３を含むセルフＰＯＳ端末１０の上面もカメラ２０によって撮影される。したがって、籠受台１０２に買物籠３０が置かれると、その買物籠３０の開口部と、その買物籠３０に収容されている商品とがカメラ２０によって撮影される。
【0019】
カメラ２０は、画像処理装置４０に接続される。画像処理装置４０は、カメラ２０によって撮影された画像、すなわちカメラ画像を処理することにより、籠受台１０２に置かれている買物籠３０を認識する機能を有している。画像処理装置４０によって認識された買物籠３０の情報は、図示しない監視装置に提供される。監視装置は、例えばセルフＰＯＳ端末１０の正面に立った決済者の行動を監視するための装置である。そこで以下では、この買物籠３０の認識機能について詳細に説明する。
【0020】
先ず、本実施形態に係る買物籠３０の概要について、図２を用いて説明する。買物籠３０は、店が用意したものであり、すべて形状が同一である。買物籠３０は、収容体の一例である。
【0021】
図２は、買物籠３０の上面図である。買物籠３０は、長方形の底壁３１の各縁から４面の側壁３２１，３２２，３２３，３２４を外側に若干傾斜するように上方に立設することで、その内部に上面開口の収容部３３を形成している。そして、各側壁３２１，３２２，３２３，３２４の上端部３４１，３４２，３４３，３４４は、それぞれ隣接する側壁３２１，３２２，３２３，３２４の上端部３４１，３４２，３４３，３４４と接合して、略口状の開口部３５を形成する。すなわち開口部３５は、上端部３４１，３４２，３４３，３４４と、上端部３４１と上端部３４２との接合部である第１の隅３６１、上端部３４２と上端部３４３との接合部である第２の隅３６２、上端部３４３と上端部３４４との接合部である第３の隅３６３、及び、上端部３４４と上端部３４１との接合部である第４の隅３６４、の４隅とによって構成されている。画像処理装置４０は、買物籠３０の開口部３５を認識することによって、籠受台１０２に置かれた買物籠３０を認識する。
【0022】
なお、買物籠３０の開口部３５には、通常、コの字形の一対の取っ手が取り付けられているが、本実施形態では、説明の便宜上、取っ手については無視することとする。
【0023】
図３は、画像処理装置４０の要部回路構成を示すブロック図である。図示するように、画像処理装置４０は、プロセッサ４１、ＧＰＵ（Graphics Processing Unit）４２、ＲＯＭ（Read Only Memory）４３、ＲＡＭ（Random Access Memory）４４、補助記憶デバイス４５、カメラインターフェース４６、デバイスインターフェース４７、通信インターフェース４８及びシステム伝送路４９等を備える。システム伝送路４９は、アドレスバス、データバス、制御信号線等を含む。画像処理装置４０は、プロセッサ４１と、ＧＰＵ４２、ＲＯＭ４３、ＲＡＭ４４、補助記憶デバイス４５、カメラインターフェース４６、デバイスインターフェース４７及び通信インターフェース４８とをシステム伝送路４９で接続することにより、コンピュータを構成する。
【0024】
プロセッサ４１は、上記コンピュータの中枢部分に相当する。プロセッサ４１は、オペレーティングシステム又はアプリケーションプログラムに従って、画像処理装置４０としての各種の機能を実現するべく各部を制御する。プロセッサ４１は、例えばＣＰＵ（Central Processing Unit）である。
【0025】
ＧＰＵ４２は、プロセッサ４１が行う演算処理を補助するアクセラレータとして機能する演算装置である。画像処理装置４０において、ＧＰＵ４２は、主に画像処理の演算を高速に実行するために使用される。
【0026】
ＲＯＭ４３及びＲＡＭ４４は、上記コンピュータの主記憶部分に相当する。不揮発性のメモリ領域であるＲＯＭ４３は、オペレーティングシステム又はアプリケーションプログラムを記憶する。またＲＯＭ４３は、プロセッサ４１が各部を制御するための処理を実行する上で必要なデータを記憶する場合もある。揮発性のメモリ領域であるＲＡＭ４４は、データが適宜書き換えられるワークエリアとして使用される。またＲＡＭ４４は、アプリケーションプログラムを記憶したり、プロセッサ４１が各部を制御するための処理を実行する上で必要なデータを記憶したりする場合もある。
【0027】
補助記憶デバイス４５は、上記コンピュータの補助記憶部分に相当する。例えばＥＥＰＲＯＭ（Electric Erasable Programmable Read-Only Memory）、ＨＤＤ（Hard Disk Drive）、あるいはＳＳＤ（Solid State Drive）等が補助記憶デバイス４５となり得る。補助記憶デバイス４５は、プロセッサ４１又はＧＰＵ４２が各種の処理を行う上で使用するデータ、その処理によって作成されたデータ等を保存する。補助記憶デバイス４５は、上記のアプリケーションプログラムを記憶する場合もある。
【0028】
カメラインターフェース４６は、カメラ２０を接続する。カメラインターフェース４６は、カメラ２０によって撮影された画像データを随時取り込む。
【0029】
デバイスインターフェース４７は、入力デバイス５１と表示デバイス５２とを接続する。デバイスインターフェース４７は、入力デバイス５９から入力されるデータ信号を入力する機能と、表示デバイス５２に表示データを出力する機能とを有する。入力デバイス５１は、キーボード、ポインティングデバイス、タッチパネル等である。表示デバイス５２は、ディスプレイ、タッチパネル等である。
【0030】
通信インターフェース４８は、監視装置とデータ通信を行うための回路である。通信インターフェース４８は、監視装置以外の外部機器とデータ通信を行うことも可能である。
【0031】
かかる構成の画像処理装置４０は、例えば“OpenPose”等で利用されるディープニューラルネットワーク（ＤＮＮ：Deep Neural Network）を用いた機械学習により、カメラ画像から籠受台１０２に載置された買物籠３０を認識する。そのためプロセッサ４１は、取得手段４１１、特定手段４１２、演算手段４１３、選択手段４１４、認識手段４１５及び出力手段４１６としての機能を有する。
【0032】
取得手段４１１は、認識対象の物体が映し出された画像を取得する機能である。本実施形態において、認識対象の物体は、籠受台１０２に置かれた買物籠３０である。すなわち取得手段４１１は、カメラインターフェース４６を介して取り込んだカメラ２０による撮影画像から、籠受台１０２に置かれた買物籠３０が映し出された画像を取得する。
【0033】
特定手段４１２は、取得手段４１１により取得した画像から物体に対して設定された２種類以上のキーポイントを特定する機能である。認識対象の物体を買物籠３０とする本実施形態においては、図６に示すように買物籠３０の開口部３５を構成する４つの隅３６１，３６２，３６３，３６４と、図７に示すように同開口部３５を構成する４つの上端部３４１，３４２，３４３，３４４の各中間点３７１，３７２，３７３，３７４とをキーポイントと定義する。すなわち特定手段４１２は、買物籠３０が映し出された画像から、その買物籠３０の４つの隅３６１，３６２，３６３，３６４と、４つの中間点３７１，３７２，３７３，３７４とを特定する。すなわち特定手段４１２は、２種類以上のキーポイントをそれぞれ複数特定する。このような特定手段４１２は、取得手段４１１により取得した画像を“OpenPose”で用いるＤＮＮへの入力画像とし、ヒートマップのピーク値（極点）となる座標をキーポイントとして特定する深層学習の手法によって実現可能である。
【0034】
演算手段４１３は、異なる種類のキーポイント間を連結する組合せ毎にその組合せの評価値を算出する機能である。認識対象の物体が買物籠３０である場合、演算手段４１３は、第１の種類のキーポイントである４つの隅３６１，３６２，３６３，３６４と、第２の種類のキーポイントである４つの中間点３７１，３７２，３７３，３７４とをそれぞれ連結する１６通りの組合せ毎に、評価値を算出する。キーポイント間の組合せは、特定手段４１２で用いるＤＮＮの処理により、種類の異なるキーポイント間の画素同士を直線で接続し得る二次元単位ベクトルのベクトル場（ＰＡＦ：Part Affinity Field）を出力することによって求まる。評価値は、ヒートマップで割り出したキーポイント間のＰＡＦの積分値を、そのキーポイント間の経路長で除算した値である。
【0035】
選択手段４１４は、キーポイント毎に評価値が大きい順に他のキーポイントとの組合せを２パターン以上選択する機能である。例えば上端部３４１の第１の中間点３７１については、上端部３４１と上端部３４２とを連結した第１の隅３６１、上端部３４２と上端部３４３とを連結した第２の隅３６２、上端部３４３と上端部３４４とを連結した第３の隅３６３、上端部３４４と上端部３４１とを連結した第４の隅３６４の計４つのキーポイントをそれぞれ結ぶ４パターンがある。上端部３４２の第２の中間点３７２、上端部３４３の第３の中間点３７３、及び上端部３４４の第４の中間点３７４についても同様である。選択手段４１４は、これらの４パターンの中から評価値が大きい順に２パターン以上を選択する。このような選択手段４１４は、総当たりでキーポイント間の割当問題を解くハンガリアン法の手法を用いることで実現できる。
【0036】
認識手段４１５は、キーポイント毎に選択された２パターン以上の他のキーポイントとの組合せを連結することで物体を認識する機能である。認識対象の物体が買物籠３０である場合、キーポイント毎に選択された２パターン以上の他のキーポイントとの組合せを連結することで開口部３５が形成された場合、認識手段４１５は、籠受台１０２に置かれた買物籠３０を認識し得たと判定する。
【0037】
出力手段４１６は、認識手段４１５による認識結果を出力する機能である。出力手段４１６は、認識結果を監視装置に出力する。出力手段４１６は、認識結果を監視装置以外の装置に出力してもよい。あるいは出力手段４１６は、認識結果を表示デバイス５２に表示する場合も含む。
【0038】
このような取得手段４１１、特定手段４１２、演算手段４１３、選択手段４１４、認識手段４１５及び出力手段４１６としての機能は、プロセッサ４１が画像処理プログラムに従ってカメラ画像を深層学習の手法で処理することにより実現される。画像処理プログラムは、ＲＯＭ４３または補助記憶デバイス４５に記憶されるアプリケーションプログラムの一種である。画像処理プログラムをＲＯＭ４３または補助記憶デバイス４５にインストールする方法は特に限定されるものではない。リムーバブルな記録媒体に画像処理プログラムを記録して、あるいはネットワークを介した通信により画像処理プログラムを配信して、ＲＯＭ４３または補助記憶デバイス４５にインストールすることができる。記録媒体は、ＣＤ－ＲＯＭ，メモリカード等のようにプログラムを記憶でき、かつ装置が読み取り可能であれば、その形態は問わない。
【0039】
図４及び図５は、プロセッサ４１が画像処理プログラムにしたがって実行する情報処理の要部手順を示す流れ図である。プロセッサ４１がこの情報処理を実行することにより、画像処理装置４０は、籠受台１０２に置かれた買物籠３０を認識することができる。
【0040】
【0041】
プロセッサ４１は、先ず、ＡＣＴ１としてカメラインターフェース４６を介してカメラ画像を取得する。カメラ画像を取得すると、プロセッサ４１は、ＡＣＴ２としてそのカメラ画像から籠受台１０２に置かれた買物籠３０の開口部３５を構成する４つの隅３６１，３６２，３６３，３６４を検出する。例えばプロセッサ４１は、ＧＰＵ４２を活用して、カメラ画像について画素毎に開口部３５の第１の隅３６１，第２の隅３６２，第３の隅３６３又は第４の隅３６４である確率を求め、その確率の分布を示すヒートマップを取得する。
【0042】
プロセッサ４１は、ＡＣＴ３として買物籠３０の４つの隅３６１，３６２，３６３，３６４を示すヒートマップを検出し得たか否かを判定する。買物籠３０の４つの隅３６１，３６２，３６３，３６４を示すヒートマップを検出し得ない場合、プロセッサ４１は、ＡＣＴ３からＡＣＴ１３へと進む。プロセッサ４１は、ＡＣＴ１３として次のカメラ画像を取り込んでいるか否かを確認する。次のカメラ画像を取り込んでいる場合、プロセッサ４１は、ＡＣＴ１３からＡＣＴ１へと戻る。プロセッサ４１は、ＡＣＴ１以降の処理を前述したのと同様に実行する。したがってプロセッサ４１は、カメラ画像から籠受台１０２に置かれた買物籠３０の４つの隅３６１，３６２，３６３，３６４を示すヒートマップを検出し得るまで、カメラ画像を取得し続ける。
【0043】
カメラ画像から籠受台１０２に置かれた買物籠３０の４つの隅３６１，３６２，３６３，３６４を示すヒートマップを検出し得ると、プロセッサ４１は、ＡＣＴ３からＡＣＴ４へと進む。プロセッサ４１は、ＡＣＴ４として４つの隅３６１，３６２，３６３，３６４の各キーポイントを特定する。すなわちプロセッサ４１は、第１の隅３６１である確率の分布を示すヒートマップのピーク値に相当する画素の二次元座標（Ｘａ，Ｙａ）を第１の隅３６１のキーポイントとして特定する。同様にプロセッサ４１は、第２の隅３６２である確率の分布を示すヒートマップのピーク値に相当する画素の二次元座標（Ｘｂ，Ｙｂ）を第２の隅３６２のキーポイントとして特定する。プロセッサ４１は、第３の隅３６３である確率の分布を示すヒートマップのピーク値に相当する画素の二次元座標（Ｘｃ，Ｙｃ）を第３の隅３６３のキーポイントとして特定する。プロセッサ４１は、第４の隅３６４である確率の分布を示すヒートマップのピーク値に相当する画素の二次元座標（Ｘｄ，Ｙｄ）を第４の隅３６４のキーポイントとして特定する。
【0044】
第１乃至第４の隅３６１，３６２，３６３，３６４のキーポイントを特定し得ると、プロセッサ４１は、ＡＣＴ５へと進む。プロセッサ４１は、ＡＣＴ５として開口部３５を構成する４つの上端部３４１，３４２，３４３，３４４における各中間点３７１，３７２，３７３，３７４を検出する。例えばプロセッサ４１は、ＧＰＵ４２を活用して、カメラ画像について画素毎に開口部３５を構成する４つの上端部３４１，３４２，３４３，３４４の各中間点３７１，３７２，３７３，３７４である確率を求め、その確率の分布を示すヒートマップを取得する。すなわちプロセッサ４１は、第１の隅３６１と第２の隅３６２との間を連結する上端部３４２の中間点である確率の分布を示すヒートマップのピーク値を含む画素群を第２の中間点３７２として検出する。同様に、プロセッサ４１は、第２の隅３６２と第３の隅３６３との間を連結する上端部３４３の中間点である確率の分布を示すヒートマップのピーク値を含む画素群を第３の中間点３７３として検出する。プロセッサ４１は、第３の隅３６３と第４の隅３６４との間を連結する上端部３４４の中間点である確率の分布を示すヒートマップのピーク値を含む画素群を第４の中間点３７４として検出する。プロセッサ４１は第４の隅３６４と第１の隅３６１との間を連結する上端部３４１の中間点である確率の分布を示すヒートマップのピーク値を含む画素群を第１の中間点３７１として検出する。
【0045】
上端部３４１，３４２，３４３，３４４の各中間点３７１，３７２，３７３，３７４を検出し得ると、プロセッサ４１は、ＡＣＴ６へと進む。プロセッサ４１は、ＡＣＴ６として第１乃至第４の中間点３７１，３７２，３７３，３７４のピークポイントを特定する。すなわちプロセッサ４１は、第１の中間点３７１である確率の分布を示すヒートマップのピーク値に相当する画素の二次元座標（Ｘｅ，Ｙｅ）を第１の中間点３７１のキーポイントとして特定する。同様にプロセッサ４１は、第２の中間点３７２である確率の分布を示すヒートマップのピーク値に相当する画素の二次元座標（Ｘｆ，Ｙｆ）を第２の中間点３７２のキーポイントとして特定する。プロセッサ４１は、第３の中間点３７３である確率の分布を示すヒートマップのピーク値に相当する画素の二次元座標（Ｘｇ，Ｙｇ）を第３の中間点３７３のキーポイントとして特定する。プロセッサ４１は、第４の中間点３７４である確率の分布を示すヒートマップのピーク値に相当する画素の二次元座標（Ｘｈ，Ｙｈ）を第４の中間点３７４のキーポイントとして特定する。
【0046】
第１乃至第４の中間点３７１，３７２，３７３，３７４のキーポイントを特定し得ると、プロセッサ４１は、ＡＣＴ７へと進む。プロセッサ４１は、ＡＣＴ７としてＰＡＦ、つまりは種類の異なるキーポイント間の画素同士を直線で接続し得る二次元単位ベクトルのベクトル場を算出する。すなわちプロセッサ４１は、第１の中間点３７１から第１の隅３６１へと向かう方向ベクトルのＸ成分及びＹ成分と、第１の中間点３７１から第２の隅３６２へと向かう方向ベクトルのＸ成分及びＹ成分と、第１の中間点３７１から第３の隅３６３へと向かう方向ベクトルのＸ成分及びＹ成分と、第１の中間点３７１から第４の隅３６４へと向かう方向ベクトルのＸ成分及びＹ成分とを算出する。同様にプロセッサ４１は、第２の中間点３７２から第１の隅３６１へと向かう方向ベクトルのＸ成分及びＹ成分と、第２の中間点３７２から第２の隅３６２へと向かう方向ベクトルのＸ成分及びＹ成分と、第２の中間点３７２から第３の隅３６３へと向かう方向ベクトルのＸ成分及びＹ成分と、第２の中間点３７２から第４の隅３６４へと向かう方向ベクトルのＸ成分及びＹ成分とを算出する。第３の中間点３７３及び第４の中間点３７４についても同様である。
【0047】
ＰＡＦを算出し終えると、プロセッサ４１は、ＡＣＴ８へと進む。プロセッサ４１は、ＡＣＴ８として評価値Ａijを算出する。評価値Ａijは、第ｉ（１≦ｉ≦４）の隅３６ｉのピークポイントと第ｊ（１≦ｊ≦４）の中間点３７ｊのピークポイントとの間のＰＡＦの積分値を、両ピークポイント間の経路長で除算した値である。
【0048】
評価値Ａijを算出し終えると、プロセッサ４１は、ＡＣＴ９へと進む。プロセッサ４１は、ＡＣＴ９として評価値Ａijの行列を作成する。例えば、図７に示すように、第１乃至第４の中間点３７１，３７２，３７３，３７４を行とし、第１乃至第４の隅３６１，３６２，３６３，３６４を列とし、関連する評価値Ａijを行列の成分とする行列５０を作成する。
【0049】
行列５０を作成し終えると、プロセッサ４１は、ＡＣＴ１０へと進む。プロセッサ４１は、ＡＣＴ１０として物体認識処理を実行する。
【0050】
図５は、物体認識処理の具体的な手順を示す流れ図である。すなわちプロセッサ４１は、物体認識処理に入ると、先ず、ＡＣＴ２１として第１カウンタｒを初期値“１”とする。またプロセッサ４１は、ＡＣＴ２２として第２カウンタｎを初期値“１”とする。なお、第１カウンタｒ及び第２カウンタｎは、いずれもＲＡＭ４４に形成された加算カウンタの一種である。
【0051】
プロセッサ４１は、ＡＣＴ２３として行列５０に記述されている評価値Ａijを検索して値が最大の評価値Ａijを選択する。そしてプロセッサ４１は、ＡＣＴ２４としてその選択した評価値Ａｉｊの組合せとなる隅と中間点の情報をＲＡＭ４４で記憶する。例えば、行列５０の１行目における１列目の評価値Ａ11が最大値であると仮定すると、プロセッサ４１は、評価値Ａ11の組合せに係る情報、つまりは第１の中間点３７１のキーポイントとなる座標（Ｘｅ，Ｙｅ）と第１の隅３６１のキーポイントとなる座標（Ｘａ，Ｙａ）とを記憶する。
【0052】
次いでプロセッサ４１は、ＡＣＴ２５として最大の評価値Ａijを認識処理の対象から除外する。またプロセッサ４１は、ＡＣＴ２６として最大の評価値Ａijの行ｉと列ｊとを検索の候補外とする。そしてプロセッサ４１は、ＡＣＴ２７として第２カウンタｎを“１”だけカウントアップする。プロセッサ４１は、ＡＣＴ２８として第２カウンタｎが上限値Ｎを超えたか否かを確認する。上限値Ｎは、行列５０の行数及び列数のうち小さい方の数である。本実施形態では、行列の行数及び列数がいずれも“４”なので、上限値Ｎは“４”となる。
【0053】
第２カウンタｎが上限値Ｎを超えていない場合、プロセッサ４１は、ＡＣＴ２８からＡＣＴ２３に戻る。プロセッサ４１は、ＡＣＴ２３以降の処理を前述したのと同様に実行する。したがって、プロセッサ４１は、検索の候補外とした行ｉと列ｊを除いた評価値Ａｉｊの中で値が最大の評価値Ａijを選択する。そしてプロセッサ４１は、その選択した評価値Ａijの組合せとなる隅と中間点の情報をＲＡＭ４４で記憶する。例えば、行列５０の２行目における２列目の評価値Ａ22が最大値であると仮定すると、プロセッサ４１は、評価値Ａ22の組合せに係る情報、つまりは第２の中間点３７２のキーポイントとなる座標（Ｘｆ，Ｙｆ）と第２の隅３６２のキーポイントとなる座標（Ｘｂ，Ｙｂ）とを記憶する。
【0054】
その後、プロセッサ４１は、ＡＣＴ２３の処理で選択した評価値Ａijを認識処理の対象から除外し、評価値Ａijの行ｉと列ｊとを検索の候補外とする。そしてプロセッサ４１は、第２カウンタｎをカウントアップする。
【0055】
上限値Ｎが“４”の場合、この時点では第２カウンタｎが上限値Ｎを超えていない。したがってプロセッサ４１は、ＡＣＴ２８からＡＣＴ２３に戻る。プロセッサ４１は、ＡＣＴ２３以降の処理を前述したのと同様に実行する。すなわちプロセッサ４１は、検索の候補外とした行ｉと列ｊを除いた評価値Ａｉｊの中で値が最大の評価値Ａijを選択する。そしてプロセッサ４１は、その選択した評価値Ａijの組合せとなる隅と中間点の情報をＲＡＭ４４で記憶する。例えば、行列５０の３行目における３列目の評価値Ａ33が最大値であると仮定すると、プロセッサ４１は、評価値Ａ33の組合せに係る情報、つまりは第３の中間点３７３のキーポイントとなる座標（Ｘｇ，Ｙｇ）と第３の隅３６３のキーポイントとなる座標（Ｘｃ，Ｙｃ）とを記憶する。
【0056】
その後、プロセッサ４１は、ＡＣＴ２３の処理で選択した評価値Ａijを認識処理の対象から除外し、評価値Ａijの行ｉと列ｊとを検索の候補外とする。そしてプロセッサ４１は、第２カウンタｎをカウントアップする。
【0057】
上限値Ｎが“４”の場合、この時点でも第２カウンタｎが上限値Ｎを超えていない。したがってプロセッサ４１は、ＡＣＴ２８からＡＣＴ２３に戻る。プロセッサ４１は、ＡＣＴ２３以降の処理を前述したのと同様に実行する。すなわちプロセッサ４１は、検索の候補外とした行ｉと列ｊを除いた評価値Ａｉｊの中で値が最大の評価値Ａijを選択する。そしてプロセッサ４１は、その選択した評価値Ａijの組合せとなる隅と中間点の情報をＲＡＭ４４で記憶する。例えば、行列５０の４行目における４列目の評価値Ａ44が最大値であると仮定すると、プロセッサ４１は、評価値Ａ44の組合せに係る情報、つまりは第４の中間点３７４のキーポイントとなる座標（Ｘｈ，Ｙｈ）と第４の隅３６４のキーポイントとなる座標（Ｘｄ，Ｙｄ）とを記憶する。
【0058】
その後、プロセッサ４１は、ＡＣＴ２３の処理で選択した評価値Ａijを認識処理の対象から除外し、評価値Ａijの行ｉと列ｊとを検索の候補外とする。そしてプロセッサ４１は、第２カウンタｎをカウントアップする。
【0059】
上限値Ｎが“４”の場合、第２カウンタｎが上限値Ｎを超える。プロセッサ４１は、ＡＣＴ２８からＡＣＴ２９へと進む。プロセッサ４１は、ＡＣＴ２９として行列５０の全ての行ｉと列ｊとを検索の候補とする。そしてプロセッサ４１は、ＡＣＴ３０として第１カウンタｒを“１”だけカウントアップする。プロセッサ４１は、ＡＣＴ３１として第１カウンタｒが上限値Ｒを超えたか否かを確認する。上限値Ｒは、“２”以上の整数であればよい。本実施形態では、上限値Ｎを“２”とする。
【0060】
第１カウンタｒが上限値Ｒを超えていない場合、プロセッサ４１は、ＡＣＴ３１からＡＣＴ２２へと戻る。プロセッサ４１は、ＡＣＴ２２として第２カウンタｎを初期値“１”とする。その後、プロセッサ４１は、ＡＣＴ２３乃至ＡＣＴ２７の処理を、第２カウンタｎが上限値Ｎを超えるまで繰り返し実行する。ただし、ＡＣＴ２３においては、前回のＡＣＴ２５の処理で除外した最大の評価値Ａij以外の評価値Ａijの中で最大値を選択する。
【0061】
例えば評価値Ａ14が最大値となる場合、プロセッサ４１は、評価値Ａ14の組合せに係る情報、つまりは第１の中間点３７１のキーポイントとなる座標（Ｘｅ，Ｙｅ）と第４の隅３６４のキーポイントとなる座標（Ｘｄ，Ｙｄ）とを記憶する。
【0062】
次いで、例えば評価値Ａ21が最大値となる場合、プロセッサ４１は、評価値Ａ21の組合せに係る情報、つまりは第２の中間点３７２のキーポイントとなる座標（Ｘｆ，Ｙｆ）と第１の隅３６１のキーポイントとなる座標（Ｘａ，Ｙａ）とを記憶する。
【0063】
次いで、評価値Ａ32が最大値となる場合、プロセッサ４１は、評価値Ａ32の組合せに係る情報、つまりは第３の中間点３７３のキーポイントとなる座標（Ｘｇ，Ｙｇ）と第２の隅３６２のキーポイントとなる座標（Ｘｂ，Ｙｂ）と、を記憶する。
【0064】
次いで、評価値Ａ43が最大値となる場合、プロセッサ４１は、評価値Ａ43の組合せに係る情報、つまりは第４の中間点３７４のキーポイントとなる座標（Ｘｈ，Ｙｈ）と第３の隅３６３のキーポイントとなる座標（Ｘｃ，Ｙｃ）と、を記憶する。
【0065】
かくして、第２カウンタｎが上限値Ｎを超えると、プロセッサ４１は、ＡＣＴ２９乃至ＡＣＴ３１の処理を実行する。そしてＡＣＴ３１において、第１カウンタｒが上限値Ｒを超えると、プロセッサ４１は、ＡＣＴ３２へと進む。プロセッサ４１は、ＡＣＴ３２として、ＡＣＴ２４の処理で記憶した情報を基に、キーポイントとなる座標を連結する。すなわち本実施形態では、ＡＣＴ２４の処理で以下に示す第１乃至第８の情報を記憶している。
【0066】
・第１の情報…座標（Ｘｅ，Ｙｅ）と座標（Ｘａ，Ｙａ）
・第２の情報…座標（Ｘｅ，Ｙｅ）と座標（Ｘｄ，Ｙｄ）
・第３の情報…座標（Ｘｆ，Ｙｆ）と座標（Ｘｂ，Ｙｂ）
・第４の情報…座標（Ｘｆ，Ｙｆ）と座標（Ｘａ，Ｙａ）
・第５の情報…座標（Ｘｇ，Ｙｇ）と座標（Ｘｃ，Ｙｃ）
・第６の情報…座標（Ｘｇ，Ｙｇ）と座標（Ｘｂ，Ｙｂ）
・第７の情報…座標（Ｘｈ，Ｙｈ）と座標（Ｘｄ，Ｙｄ）
・第８の情報…座標（Ｘｈ，Ｙｈ）と座標（Ｘｃ，Ｙｃ）
したがって、プロセッサ４１は、図９において線分３８１として示すように、第１の中間点３７１のキーポイントとなる座標（Ｘｅ，Ｙｅ）と第１の隅３６１のキーポイントとなる座標（Ｘａ，Ｙａ）を連結する。またプロセッサ４１は、図９において線分３８２に示すように、第１の中間点３７１のキーポイントとなる座標（Ｘｅ，Ｙｅ）と第４の隅３６４のキーポイントとなる座標（Ｘｄ，Ｙｄ）を連結する。
・第２の情報…座標（Ｘｅ，Ｙｅ）と座標（Ｘｄ，Ｙｄ）
・第３の情報…座標（Ｘｆ，Ｙｆ）と座標（Ｘｂ，Ｙｂ）
・第４の情報…座標（Ｘｆ，Ｙｆ）と座標（Ｘａ，Ｙａ）
・第５の情報…座標（Ｘｇ，Ｙｇ）と座標（Ｘｃ，Ｙｃ）
・第６の情報…座標（Ｘｇ，Ｙｇ）と座標（Ｘｂ，Ｙｂ）
・第７の情報…座標（Ｘｈ，Ｙｈ）と座標（Ｘｄ，Ｙｄ）
・第８の情報…座標（Ｘｈ，Ｙｈ）と座標（Ｘｃ，Ｙｃ）
したがって、プロセッサ４１は、図９において線分３８１として示すように、第１の中間点３７１のキーポイントとなる座標（Ｘｅ，Ｙｅ）と第１の隅３６１のキーポイントとなる座標（Ｘａ，Ｙａ）を連結する。またプロセッサ４１は、図９において線分３８２に示すように、第１の中間点３７１のキーポイントとなる座標（Ｘｅ，Ｙｅ）と第４の隅３６４のキーポイントとなる座標（Ｘｄ，Ｙｄ）を連結する。
【0067】
同様に、プロセッサ４１は、図９において線分３８３として示すように、第２の中間点３７２のキーポイントとなる座標（Ｘｆ，Ｙｆ）と第２の隅３６２のキーポイントとなる座標（Ｘｂ，Ｙｂ）を連結する。またプロセッサ４１は、図９において線分３８４に示すように、第２の中間点３７２のキーポイントとなる座標（Ｘｆ，Ｙｆ）と第１の隅３６１のキーポイントとなる座標（Ｘａ，Ｙａ）を連結する。
【0068】
プロセッサ４１は、図９において線分３８５として示すように、第３の中間点３７３のキーポイントとなる座標（Ｘｇ，Ｙｇ）と第３の隅３６３のキーポイントとなる座標（Ｘｃ，Ｙｃ）を連結する。またプロセッサ４１は、図９において線分３８６に示すように、第３の中間点３７３のキーポイントとなる座標（Ｘｇ，Ｙｇ）と第２の隅３６２のキーポイントとなる座標（Ｘｂ，Ｙｂ）を連結する。
【0069】
プロセッサ４１は、図９において線分３８７として示すように、第４の中間点３７４のキーポイントとなる座標（Ｘｈ，Ｙｈ）と第４の隅３６４のキーポイントとなる座標（Ｘｄ，Ｙｄ）を連結する。またプロセッサ４１は、図９において線分３８８に示すように、第４の中間点３７４のキーポイントとなる座標（Ｘｈ，Ｙｈ）と第３の隅３６３のキーポイントとなる座標（Ｘｃ，Ｙｃ）を連結する。かくして、図９に示すように、８本の線分３８１，３８２，３８３，３８４，３８５，３８６，３８７，３８８によって、買物籠３０における開口部３５の領域が特定される。
【0070】
キーポイントとなる座標の連結を終えると、プロセッサ４１は、ＡＣＴ３３へと進む。プロセッサ４１は、ＡＣＴ３３として物体を特定し得たか否かを判定する。認識対象の物体である買物籠３０は、カメラ画像からその開口部３５を認識し得ることによって特定することができる。上述したように、開口部３５の領域が特定されると、プロセッサ４１は、物体を特定し得たと判定する。開口部３５の領域が特定できなかった場合には、プロセッサ４１は、物体を特定し得なかったと判定する。
【0071】
物体を特定し得た場合、プロセッサ４１は、ＡＣＴ３３からＡＣＴ３４へと進む。プロセッサ４１は、ＡＣＴ３４として認識成功を示す情報を記憶する。例えばプロセッサ４１は、ＲＡＭ４４に記憶される１ビットデータの判定フラグを“１”とする。これに対し、物体を特定し得なかった場合には、プロセッサ４１は、ＡＣＴ３３からＡＣＴ３５へと進む。プロセッサ４１は、ＡＣＴ３５として認識失敗を示す情報を記憶する。例えばプロセッサ４１は、上述した判定フラグを“０”とする。
【0072】
ＡＣＴ３４又はＡＣＴ３５の処理を終えると、プロセッサ４１は、物体認識処理を抜ける。図４の説明に戻る。
物体認識処理を抜けたプロセッサ４１は、ＡＣＴ１１へと進む。プロセッサ４１は、ＡＣＴ１１として物体の認識に成功したか否かを確認する。判定フラグが“１”の場合、プロセッサ４１は、物体の認識に成功したと判定する。判定フラグが“０の場合、プロセッサ４１は、物体の認識に失敗したと判定する。
物体認識処理を抜けたプロセッサ４１は、ＡＣＴ１１へと進む。プロセッサ４１は、ＡＣＴ１１として物体の認識に成功したか否かを確認する。判定フラグが“１”の場合、プロセッサ４１は、物体の認識に成功したと判定する。判定フラグが“０の場合、プロセッサ４１は、物体の認識に失敗したと判定する。
【0073】
物体の認識に成功した場合、プロセッサ４１は、ＡＣＴ１１からＡＣＴ１２へと進む。プロセッサ４１は、ＡＣＴ１２として認識結果を出力する。すなわちプロセッサ４１は、監視装置に対して籠受台１０２に買物籠３０が置かれたことを通知する。あるいはプロセッサ４１は、籠受台１０２に買物籠３０が置かれたことを表示デバイス５２に表示する。
【0074】
一方、物体の認識に失敗した場合には、プロセッサ４１は、ＡＣＴ１１からＡＣＴ１３へと進む。すなわち、カメラ画像から籠受台１０２に置かれた買物籠３０の開口部３５を構成する４つの隅３６１，３６２，３６３，３６４を検出し得たが、開口部３５の領域を特定できなかった場合、プロセッサ４１は、ＡＣＴ１３へと進む。プロセッサ４１は、ＡＣＴ１３として次のカメラ画像を取り込んでいるか否かを確認する。次のカメラ画像を取り込んでいる場合、プロセッサ４１は、ＡＣＴ１３からＡＣＴ１へと戻る。プロセッサ４１は、ＡＣＴ１以降の処理を前述したのと同様に実行する。
【0075】
ＡＣＴ１３において次のカメラ画像が取り込まれていなかった場合には、プロセッサ４１は、ＡＣＴ１３からＡＣＴ１４へと進む。プロセッサ４１は、ＡＣＴ１４として認識失敗を出力する。すなわちプロセッサ４１は、監視装置に対して買物籠３０の認識に失敗したことを通知する。あるいはプロセッサ４１は、買物籠３０の認識に失敗したことを表示デバイス５２に表示する。
【0076】
以上で、図４の流れ図に示した情報処理の説明を終了する。
ここに、プロセッサ４１は、図４のＡＣＴ１乃至ＡＣＴ３の処理により、取得手段４１１としての機能を実現する。プロセッサ４１は、図４のＡＣＴ４乃至ＡＣＴ６の処理により、特定手段４１２としての機能を実現する。プロセッサ４１は、図４のＡＣＴ７乃至ＡＣＴ８の処理により、演算手段４１３としての機能を実現する。プロセッサ４１は、図４のＡＣＴ９及び図５のＡＣＴ２１乃至ＡＣＴ２９の処理により、選択手段４１４としての機能を実現する。プロセッサ４１は、図５のＡＣＴ３０乃至ＡＣＴ３３の処理により、認識手段４１５としての機能を実現する。プロセッサ４１は、図４のＡＣＴ１２乃至ＡＣＴ１４の処理により、出力手段４１６としての機能を実現する。
ここに、プロセッサ４１は、図４のＡＣＴ１乃至ＡＣＴ３の処理により、取得手段４１１としての機能を実現する。プロセッサ４１は、図４のＡＣＴ４乃至ＡＣＴ６の処理により、特定手段４１２としての機能を実現する。プロセッサ４１は、図４のＡＣＴ７乃至ＡＣＴ８の処理により、演算手段４１３としての機能を実現する。プロセッサ４１は、図４のＡＣＴ９及び図５のＡＣＴ２１乃至ＡＣＴ２９の処理により、選択手段４１４としての機能を実現する。プロセッサ４１は、図５のＡＣＴ３０乃至ＡＣＴ３３の処理により、認識手段４１５としての機能を実現する。プロセッサ４１は、図４のＡＣＴ１２乃至ＡＣＴ１４の処理により、出力手段４１６としての機能を実現する。
【0077】
以上詳述したように、本実施形態によれば、１つのキーポイントから関連性のある他のキーポイントへの接続関係を複数割り当て可能な画像処理装置４０を提供することができる。このような画像処理装置４０により、セルフＰＯＳ端末１０の籠受台１０２に置かれた買物籠３０の開口部３５を検知することができる。
【0078】
以上、一実施形態について説明したが、かかる実施形態はこれに限定されるものではない。
【0079】
例えば前記実施形態では、略口状の開口部３５を検知することで、籠受台１０２に置かれた買物籠３０を認識する場合を例示したが、認識対象の物体はこれに限定されるものではない。形状の異なる開口部を有する収容体を認識対象の物体とすることも可能である。要は、１つのキーポイントから関連性のある他のキーポイントへの接続関係を２以上割り当てることで認識可能な物体の認識に適用することができる。
【0080】
前記実施形態では、ＡＣＴ９において、第１乃至第４の中間点３７１，３７２，３７３，３７４を行とし、第１乃至第４の隅３６１，３６２，３６３，３６４を列とし、関連する評価値Ａijを行列の成分とする行列５０を作成した。この点に関しては、第１乃至第４の隅３６１，３６２，３６３，３６４を行とし、第１乃至第４の中間点３７１，３７２，３７３，３７４を列とする行列を作成してもよい。
【0081】
この他、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態及びその変形は、発明の範囲に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【0082】
１０…セルフＰＯＳ端末、２０…カメラ、３０…買物籠、３５…開口部、４０…画像処理装置、４１…プロセッサ、４２…ＧＰＵ、４３…ＲＯＭ、４４…ＲＡＭ、４５…補助記憶デバイス、４６…カメラインターフェース、４７…デバイスインターフェース、４８…通信インターフェース、４９…システム伝送路、５１…入力デバイス、５２…表示デバイス、３６１～３６４…第１乃至第４の隅、３７１～３７４…第１乃至第４の中間点。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
