IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 東芝テック株式会社の特許一覧

特開2024-137263物品識別システム、登録システム及び情報処理プログラム
<>
  • 特開-物品識別システム、登録システム及び情報処理プログラム 図1
  • 特開-物品識別システム、登録システム及び情報処理プログラム 図2
  • 特開-物品識別システム、登録システム及び情報処理プログラム 図3
  • 特開-物品識別システム、登録システム及び情報処理プログラム 図4
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024137263
(43)【公開日】2024-10-07
(54)【発明の名称】物品識別システム、登録システム及び情報処理プログラム
(51)【国際特許分類】
   G06V 10/22 20220101AFI20240927BHJP
   G07G 1/00 20060101ALI20240927BHJP
   G06T 7/00 20170101ALI20240927BHJP
【FI】
G06V10/22
G07G1/00 311D
G06T7/00 300Z
【審査請求】未請求
【請求項の数】6
【出願形態】OL
(21)【出願番号】P 2023048720
(22)【出願日】2023-03-24
(71)【出願人】
【識別番号】000003562
【氏名又は名称】東芝テック株式会社
(74)【代理人】
【識別番号】110003708
【氏名又は名称】弁理士法人鈴榮特許綜合事務所
(72)【発明者】
【氏名】信岡 哲也
【テーマコード(参考)】
3E142
5L096
【Fターム(参考)】
3E142AA01
3E142CA20
3E142DA08
3E142EA02
3E142GA22
3E142KA08
5L096CA04
5L096DA02
5L096DA03
5L096FA12
5L096FA53
5L096FA69
5L096HA08
5L096HA11
5L096KA04
(57)【要約】
【課題】 画像に映った物品を、当該の画像に基づいて精度よく識別可能とする。
【解決手段】 実施形態の物品識別システムは、検出手段、物品検出手段、選定手段及び識別手段を備える。キーポイント検出手段は、予め定められた期間に少なくとも1つの撮影デバイスにより撮影された複数の画像のそれぞれについて、該当の画像に映り込んでいる手のキーポイントを検出する。物品検出手段は、キーポイント検出手段がキーポイントの検出対象とする複数の画像のそれぞれについて、該当の画像に映り込んでいる物品を検出する。選定手段は、物品検出手段により物品が検出されている画像のうちで、キーポイント検出手段により検出されたキーポイントの数がより少ない画像を選定する。識別手段は、選定手段により選定された画像のうちの物品検出手段により検出された物品が映り込んでいる領域の画像に基づいて当該物品を識別する。
【選択図】 図4
【特許請求の範囲】
【請求項1】
予め定められた期間に少なくとも1つの撮影デバイスにより撮影された複数の画像のそれぞれについて、該当の画像に映り込んでいる手のキーポイントを検出するキーポイント検出手段と、
前記キーポイント検出手段がキーポイントの検出対象とする複数の画像のそれぞれについて、該当の画像に映り込んでいる物品を検出する物品検出手段と、
前記物品検出手段により物品が検出されている画像のうちで、前記キーポイント検出手段により検出されたキーポイントの数がより少ない画像を選定する選定手段と、
前記選定手段により選定された画像のうちの前記物品検出手段により検出された物品が映り込んでいる領域の画像に基づいて当該物品を識別する識別手段と、
を具備した物品識別システム。
【請求項2】
前記キーポイント検出手段は、同じ領域を別々の方向から撮影する複数の撮影デバイスにより同時に撮影された複数の画像のそれぞれに関してキーポイントを検出し、
前記物品検出手段は、前記キーポイント検出手段がキーポイントの検出対象とするのと同一の複数の画像のそれぞれに関して物品を検出する、
請求項1に記載の物品識別システム。
【請求項3】
前記キーポイント検出手段により複数の画像のいずれかからキーポイントが検出されており、かつ前記物品検出手段により複数の画像のいずれからも物品が検出されない場合に、異常を報知するための報知動作を行う報知手段、
をさらに備える請求項1に記載の物品識別システム。
【請求項4】
前記識別手段は、前記選定手段により選定された画像のうちの前記物品検出手段により検出された物品が映り込んでいる領域の画像に表れた物品の外観の特徴に基づいて物品を識別する、
請求項1に記載の物品識別システム。
【請求項5】
購買予定の商品を収容する容器へと手で持たれて入れられる商品が映り込むように撮影する少なくとも1つの撮影デバイスと、
予め定められた期間に前記撮影デバイスにより撮影された複数の画像のそれぞれについて、該当の画像に映り込んでいる手のキーポイントを検出するキーポイント検出手段と、
前記キーポイント検出手段がキーポイントの検出対象とする複数の画像のそれぞれについて、該当の画像に映り込んでいる物品を検出する物品検出手段と、
前記物品検出手段により物品が検出されている画像のうちで、前記キーポイント検出手段により検出されたキーポイントの数がより少ない画像を選定する選定手段と、
前記選定手段により選定された画像のうちの前記物品検出手段により検出された物品が映り込んでいる領域の画像に基づいて当該物品がどの商品であるかを識別する識別手段と、
前記識別手段により識別された商品を購買予定の商品として登録する登録手段と、
を具備した登録システム。
【請求項6】
コンピュータを、
予め定められた期間に少なくとも1つの撮影デバイスにより撮影された複数の画像のそれぞれについて、該当の画像に映り込んでいる手のキーポイントを検出するキーポイント検出手段と、
前記キーポイント検出手段がキーポイントの検出対象とする複数の画像のそれぞれについて、該当の画像に映り込んでいる物品を検出する物品検出手段と、
前記物品検出手段により物品が検出されている画像のうちで、前記キーポイント検出手段により検出されたキーポイントの数がより少ない画像を選定する選定手段と、
前記選定手段により選定された画像のうちの前記物品検出手段により検出された物品が映り込んでいる領域の画像に基づいて当該物品を識別する識別手段と、
して機能させるための情報処理プログラム。

【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、物品識別システム、登録システム及び情報処理プログラムに関する。
【背景技術】
【0002】
陳列販売型の店舗において、客が買物カゴに入れた商品を、手に持たれた状態で買物カゴへと入れられつつある状態で撮影した画像から識別して、購買予定の商品として自動的に登録するようにした登録システムは既に提案されている。このような登録システムを用いたPOSシステムは、フリクションレスPOSシステムなどと称される場合もある。
しかしながら、客による商品の持ち方によっては、商品の多くが手で隠されて画像に映り込まずに、正しく識別できない恐れがあった。
このような事情から、画像に映った物品を、当該の画像に基づいて精度よく識別できることが望まれていた。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特表2020-530170号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
本発明が解決しようとする課題は、画像に映った物品を、当該の画像に基づいて精度よく識別できる物品識別システム、登録システム及び情報処理プログラムを提供することである。
【課題を解決するための手段】
【0005】
実施形態の物品識別システムは、検出手段、物品検出手段、選定手段及び識別手段を備える。キーポイント検出手段は、予め定められた期間に少なくとも1つの撮影デバイスにより撮影された複数の画像のそれぞれについて、該当の画像に映り込んでいる手のキーポイントを検出する。物品検出手段は、キーポイント検出手段がキーポイントの検出対象とする複数の画像のそれぞれについて、該当の画像に映り込んでいる物品を検出する。選定手段は、物品検出手段により物品が検出されている画像のうちで、キーポイント検出手段により検出されたキーポイントの数がより少ない画像を選定する。識別手段は、選定手段により選定された画像のうちの物品検出手段により検出された物品が映り込んでいる領域の画像に基づいて当該物品を識別する。
【図面の簡単な説明】
【0006】
図1】一実施形態に係る取引処理システムの概略構成と、カート端末の要部回路構成とを表すブロック図。
図2】カートへのカート端末の取り付け状況の一例を表す斜視図。
図3】登録処理のフローチャート。
図4】登録処理のフローチャート。
【発明を実施するための形態】
【0007】
以下、実施の形態の一例について図面を用いて説明する。
図1は本実施形態に係る取引処理システム1の概略構成と、カート端末100の要部回路構成とを表すブロック図である。
取引処理システム1は、カート端末100、会計機200、POSサーバ300及びアテンダント端末400を、通信ネットワーク2を介して通信可能として構成されている。
【0008】
通信ネットワーク2は、インターネット、VPN(virtual private network)、LAN(local area network)、公衆通信網、移動体通信網などを、単独又は適宜に組み合わせて用いることができる。通信ネットワーク2としては、一例として、インターネット及び移動体通信網が組み合わせて用いられる。
なお、カート端末100、会計機200、POSサーバ300及びアテンダント端末400は、それぞれ任意の数が取引処理システム1に含まれて構わないが、図1では1台ずつのみを表している。
【0009】
カート端末100は、店舗に備え付けのショッピングカート(以下、カートと称する)に取り付けられる情報処理端末である。カート端末100は、店舗で買物を行う客にカートとともに貸し出される。カート端末100は、客による操作を受けて、客が購買を予定する商品を購買商品として登録するための登録処理を実行する端末装置である。カート端末100は、後述するように、購買商品として登録する商品を画像に映った物体に関して認識する処理を実行する。つまりカート端末100は、物品識別システムとしての機能を備える。またカート端末100は、後述するように、認識した商品を購買商品として登録する処理を実行する。つまりカート端末100は、登録システムとしての機能を備える。
【0010】
会計機200は、店舗に設置され、カート端末100により登録された購買商品の代金の決済に関わる会計処理を実行する。会計機200は、会計処理に際して、操作者による操作を受ける。会計機200の操作者は、主として客である。店員が会計機200の操作者となる場合もある。
POSサーバ300は、カート端末100における登録処理及び会計機200における会計処理により処理される商品の売買取引を管理するための管理処理を実行する情報処理装置である。
アテンダント端末400は、店員により操作される情報処理端末である。アテンダント端末400は、取引処理システム1により処理される取引に関する店員の作業をサポートするための情報処理に関するユーザインタフェースのための端末装置である。店員の作業は例えば、処理中である取引の実施状況を監視し、適宜に客をサポートする作業である。
【0011】
カート端末100は、プロセッサ101、メイン記憶ユニット102、補助記憶ユニット103、タッチパネル104、サウンドユニット105、インタフェースユニット106、無線通信ユニット107及び伝送路108等を備える。プロセッサ101と、メイン記憶ユニット102、補助記憶ユニット103、タッチパネル104、インタフェースユニット106及び無線通信ユニット107とは、伝送路108を介して通信可能とされている。
【0012】
プロセッサ101、メイン記憶ユニット102及び補助記憶ユニット103を伝送路108で接続することによって、カート端末100としての機能を実現するための情報処理を行うコンピュータを構成する。
プロセッサ101は、上記コンピュータの中枢部分に相当する。プロセッサ101は、オペレーティングシステム及びアプリケーションプログラムなどの情報処理プログラムに従っての情報処理を実行する。
【0013】
メイン記憶ユニット102は、上記コンピュータの主記憶部分に相当する。メイン記憶ユニット102は、読み出し専用のメモリ領域と書き換え可能なメモリ領域とを含む。メイン記憶ユニット102は、読み出し専用のメモリ領域では上記の情報処理プログラムの一部を記憶する。またメイン記憶ユニット102は、プロセッサ101が各部を制御するための処理を実行する上で必要なデータを読み出し専用のメモリ領域又は書き換え可能なメモリ領域で記憶する場合もある。メイン記憶ユニット102は、書き換え可能なメモリ領域を、プロセッサ101によるワークエリアとして使用する。
【0014】
補助記憶ユニット103は、上記コンピュータの補助記憶部分に相当する。補助記憶ユニット103は、例えばEEPROM(electric erasable programmable read-only memory)、HDD(hard disc drive)、SSD(solid state drive)、あるいはその他の周知の各種の記憶デバイスを利用できる。補助記憶ユニット103は、プロセッサ101が各種の処理を行う上で使用するデータと、プロセッサ101での処理によって生成されたデータとを記憶する。補助記憶ユニット103は、上記の情報処理プログラムを記憶する場合もある。補助記憶ユニット103は、本実施形態では、情報処理プログラムの1つであるカート端末プログラムPRAを記憶する。カート端末プログラムPRAは、登録処理の手順について記述されたアプリケーションプログラムである。補助記憶ユニット103の記憶領域の一部は、取引データDAAを記憶する領域として利用される。取引データDAAは、一取引の内容を表すデータである。
【0015】
タッチパネル104は、操作者に対する情報提示のための画面を表示する。またタッチパネル104は、操作者による画面へのタッチ操作による指示を入力する。
サウンドユニット105は、各種の案内や警報のための音を出力する。サウンドユニットとしては、例えば音声合成デバイス及びブザーなどの周知の種々のサウンドデバイスを、単独又は組み合わせて用いることができる。
【0016】
インタフェースユニット106は、カメラ198,199などの外付け装置が接続される。インタフェースユニット106は、接続された外付け装置とのデータの授受をインタフェースする。インタフェースユニット106としては、既存のUSB(universal serial bus)コントローラ等を利用できる。カメラ198,199は、カートのカゴ部へと手に持った商品が入れられる様子をそれぞれ別の方向から撮影して画像を得る。そしてカメラ198,199はそれぞれ、撮影により得た画像を表した画像データを出力する。かくしてカメラ198,199は、いずれも撮影デバイスの一例である。
なおカメラ198,199は、撮影を一定周期で自動的に繰り返すのでも構わないし、プロセッサ101からの指示に応じて撮影を行うのでも構わない。
【0017】
無線通信ユニット107は、通信ネットワーク2を介したデータ通信を無線で行うための通信処理を実行する。無線通信ユニット107としては、例えば無線LAN用の既存の無線通信デバイスを用いることができる。なお、無線通信ユニット107に代えて、あるいは加えて、通信ネットワーク2に有線接続される通信ユニットが用いられてもよい。
伝送路108は、アドレスバス、データバス及び制御信号線等を含み、接続された各部の間で授受されるデータ及び制御信号を伝送する。
カート端末100の基本ハードウェアとしては、例えばタブレット型の情報処理装置のハードウェアを用いることが想定される。
【0018】
図2はカートへのカート端末100の取り付け状況の一例を表す斜視図である。
カート900は、キャスタ部910、ハンドルフレーム部920、カゴ部930、支持部940及びバッテリケース950を備えている。
キャスタ部910は、カート900を床面上で円滑に移動させるための4つの車輪911を有する。車輪911は、フレーム912に対して、鉛直方向の軸周りで回転可能な状態で取り付けられている。
【0019】
ハンドルフレーム部920は、一対の縦フレーム921,921及びハンドルバー922を含む。縦フレーム921,921は、キャスタ部910の2つの車輪の上方に立設される。ハンドルバー922は、縦フレーム921,921の上端を連結する。
カゴ部930は、ハンドルフレーム部920の中途部位から水平に向けて設けられる。カゴ部930は、情報が商品を入れることが可能に開口したカゴ状をなしており、客が購買を予定する商品を収容するための容器として機能する。カゴ部930のハンドルバー922から離れた側の上端部に、カメラ198,199が、カゴ部930の開口を側方から撮影することができる状態で取り付けられている。
【0020】
支持部940は、ポール941を含む。ポール941は、一方の縦フレーム921に、その先端がハンドルバー922よりも上方に位置するように取り付けられている。そして、このポール941の先端部に上述のカート端末100が取り付けられている。これにより支持部940は、カート端末100を図2に表す状態に支持する。
バッテリケース950は、ハンドルフレーム部920の下端側にて、縦フレーム921,921の間に取り付けられている。バッテリケース950は、カート端末100の外部電源として用いられるバッテリを収容する。
【0021】
次に以上のように構成された取引処理システム1の動作について説明する。なお、以下に説明する各種の処理の内容は一例であって、一部の処理の順序の変更、一部の処理の省略、あるいは別の処理の追加などは適宜に可能である。例えば、以下の説明では、本実施形態の特徴的な動作を分かり易く説明するために、一部の処理についての説明を省略している。例えば、何らかのエラーが発生した場合に、そのエラーに対処するための処理が行われる場合があるが、そのような処理については記載を省略している。
【0022】
客は、未使用状態となっているカート端末100で、利用開始のための予め定められた操作を行う。この操作が行われるとプロセッサ101は、カート端末プログラムPRAに基づく登録処理を開始する。
図3及び図4は登録処理のフローチャートである。
【0023】
図3中のACT11としてプロセッサ101は、対象の取引に関する新たな取引データDAAを生成する。つまりプロセッサ101は例えば、他の取引を識別するための取引コードとは異なる新たな取引コードを予め定められたルールに従って決定し、この取引コードを含み、購買商品に関する商品情報は含まない新たな取引データDAAを生成し、補助記憶ユニット103に記憶させる。
【0024】
ACT12としてプロセッサ101は、画像の取得タイミングとなったかを確認する。そしてプロセッサ101は、該当の事象を確認できないならばNOと判定し、ACT13へと進む。なお取得タイミングは例えば、ACT11からACT12へと進んだ直後のタイミングと、それ以降の一定の時間間隔毎のタイミングなどとすることが想定される。ただし、別のタイミングが取得タイミングとして定められても構わず、例えばカート端末プログラムPRAの作成者などによって適宜に定められる。ただし、取得タイミングは、カゴ部930へと入れられる商品がカメラ198,199の撮影範囲を通過する間に、少なくとも1回到来するように定められるべきである。
ACT13としてプロセッサ101は、会計が要求されたかを確認する。そしてプロセッサ101は、該当の事象を確認できないならばNOと判定し、ACT12へと戻る。
かくしてプロセッサ101は、ACT12及びACT13としては、取得タイミングとなるか、あるいは会計が要求されるのを待ち受ける。
【0025】
プロセッサ101は、取得タイミングとなると、ACT12にてYESと判定し、ACT21及びACT31へと進む。つまりプロセッサ101は、ACT12にてYESと判定すると、ACT21から始まる処理ルーチンと、ACT31から始まる処理ルーチンとを並行処理する状態に移行する。ただしプロセッサ101は、これらの処理ルーチンを、時分割で順次に実行するのでも構わない。
【0026】
ACT21としてプロセッサ101は、カメラ198が出力する画像データ(以下、第1の画像データと称する)を取得する。プロセッサ101は例えば、カメラ198が一定周期で撮影を繰り返しているのであれば、カメラ198が最も新しく行った撮影に応じて出力する第1の画像データを取得する。プロセッサ101は例えば、カメラ198がプロセッサ101からの指示に応じて撮影を行うのであれば、撮影をカメラ198に対して指示し、これに応じてカメラ198が撮影を行って出力する第1の画像データを取得する。そしてプロセッサ101は、取得した第1の画像データをメイン記憶ユニット102又は補助記憶ユニット103に保存する。
【0027】
ACT22としてプロセッサ101は、第1のキーポイント数を検出する。プロセッサ101は例えば、第1の画像データが表す画像(以下、第1の画像と称する)にて手が映り込んでいる領域の抽出を試みる。そしてプロセッサ101は、該当の領域を抽出できたならば、その映り込んでいる手のキーポイントをそれぞれ判定する。なお本実施形態においては、指の関節、指先及び手首をキーポイントとする。ただし、キーポイントは、関節のみとするなど、例えばカート端末プログラムPRAの作成者などにより適宜に定められて構わない。そしてプロセッサ101は、判定したキーポイントの数を第1のキーポイント数とする。プロセッサ101は、第1の画像に手が映り込んでいないならば、第1のキーポイント数を0とする。あるいはプロセッサ101は、第1の画像に手が映り込んでいるとしても、キーポイントを1つも判定できないならば、第1のキーポイント数を0とする。ここでのキーポイントの判定には、例えば画像認識に適した手法であるCNN(convolutional neural network)を利用した深層学習(deep learning)を利用する周知の方法等を用いることが可能であり、その方法は問わない。かくしてカート端末プログラムPRAに基づく情報処理をプロセッサ101が実行することによって、プロセッサ101を中枢部分とするコンピュータはキーポイント検出手段として機能する。
【0028】
ACT23としてプロセッサ101は、第1の商品領域を検出する。プロセッサ101は例えば、第1の画像にて商品が映り込んでいる領域の抽出を試みる。そしてプロセッサ101は、該当の領域を抽出できたならば、該当の領域を第1の商品領域とする。ここで抽出する領域の判定には、例えばCNNを利用した深層学習、あるいはグラフカット(graph cuts)を利用する周知の方法等を用いることが可能であり、その方法は問わない。本実施形態において購買商品とする商品は、客が手に持つことができるものであって、物品である。つまりプロセッサ101は上記の第1の商品領域の検出に際して、第1の画像に映り込んでいる物品としての商品を検出しているのである。かくしてカート端末プログラムPRAに基づく情報処理をプロセッサ101が実行することによって、プロセッサ101を中枢部分とするコンピュータは、物品検出手段として機能する。
【0029】
ACT31、ACT32及びACT33としてプロセッサ101は、ACT21~ACT33と同様な処理を、カメラ199が出力する画像データ(以下、第2の画像データと称する)を対象として行う。これによりプロセッサ101は、第2の画像データが表す画像(以下、第2の画像と称する)に映り込んだキーポイントの数を第2のキーポイント数とする。またプロセッサ101は、第2の画像にて商品が映り込んでいる領域としての第2の商品領域の抽出を試みる。
【0030】
客は、購買する商品を店舗内で探す。そして客は、購買する商品を売場から取り出し、カゴ部930に入れる。このときに手と商品とが、カメラ198,199の撮影範囲を通過し、第1の画像及び第2の画像に映り込むことになる。ただし、手の向き及び手と商品との位置関係によって、第1の画像及び第2の画像のそれぞれに映り込むキーポイントの数は様々である。第1の画像及び第2の画像のいずれか又は双方にキーポイントが映り込まない場合もある。また、第1の画像及び第2の画像のいずれか又は双方に商品が映り込まない場合もある。そして手と商品とが映り込んだ画像が第1の画像又は第2の画像として取得されれば、第1又は第2のキーポイント数が検出され、第1又は第2の商品領域が抽出されることになる。
【0031】
プロセッサ101は、ACT23及びACT33をともに終えると、図4中のACT41へと進む。
ACT41としてプロセッサ101は、第1の画像及び第2の画像のいずれかにおいてキーポイントを判定できたかを確認する。そしてプロセッサ101は、図3中のACT22又はACT32にてキーポイントを1つでも判定したならば、YESと判定して図4中のACT42へと進む。
【0032】
ACT42としてプロセッサ101は、第1の商品領域又は第2の商品領域を抽出できたかを確認する。そしてプロセッサ101は、図3中のACT23又はACT33にて第1の商品領域又は第2の商品領域を抽出したならば、YESと判定して図4中のACT43へと進む。
ACT43としてプロセッサ101は、図3中のACT22及びACT32にて検出した第1のキーポイント数及び第2のキーポイント数に基づいて第1の画像及び第2の画像のいずれかを、商品認識処理の対象とする画像(以下、対象画像と称する)として選定する。プロセッサ101は例えば、第1のキーポイント数が第2のキーポイント数よりも小さいならば、第1の画像を対象画像として選定する。プロセッサ101は例えば、第2のキーポイント数が第1のキーポイント数よりも小さいならば、第2の画像を対象画像として選定する。かくしてカート端末プログラムPRAに基づく情報処理をプロセッサ101が実行することによって、プロセッサ101を中枢部分とするコンピュータは選定手段として機能する。
【0033】
なおプロセッサ101は例えば、第1のキーポイント数と第2のキーポイント数とが同じであるならば、予め定められたルールに従って第1の画像及び第2の画像のいずれかを対象画像として選定する。ここでの選定のルールは、例えばカート端末プログラムPRAの作成者などによって適宜に定められてよい。一例としてプロセッサ101は、図3中のACT23で抽出した第1の商品領域のサイズがACT33で抽出した第2の商品領域のサイズよりも大きければ第1の画像を選定し、図3中のACT33で抽出した第2の商品領域のサイズがACT32で抽出した第1の商品領域のサイズよりも大きければ第2の画像を選定する。あるいはプロセッサ101は、第1の画像及び第2の画像の予め定められた一方を選定するのでも構わない。あるいはプロセッサ101は、第1の画像及び第2の画像の一方をランダムに選定するのでも構わない。
【0034】
さてプロセッサ101は、第1の画像及び第2の画像のいずれにおいてもキーポイントを判定できなかったならば、図4中のACT41にてNOと判定し、ACT44へと進む。
ACT44としてプロセッサ101は、第1の商品領域又は第2の商品領域を抽出できたかを確認する。そしてプロセッサ101は、図3中のACT23又はACT33にて第1の商品領域又は第2の商品領域を抽出したならば、YESと判定して図4中のACT45へと進む。
【0035】
ACT45としてプロセッサ101は、第1の画像及び第2の画像のいずれかを、第1の商品領域又は第2の商品領域の抽出状況に基づいて対象画像として選定する。プロセッサ101は例えば、図3中のACT23で抽出した第1の商品領域のサイズがACT33で抽出した第2の商品領域のサイズよりも大きければ第1の画像を選定し、図3中のACT33で抽出した第2の商品領域のサイズがACT32で抽出した第1の商品領域のサイズよりも大きければ第2の画像を選定する。ここでの対象画像の選定のルールは、例えばカート端末プログラムPRAの作成者などによって適宜に定められてよい。例えばプロセッサ101は、第1の画像及び第2の画像の予め定められた一方を選定するのでも構わない。あるいはプロセッサ101は、第1の画像及び第2の画像の一方をランダムに選定するのでも構わない。
【0036】
プロセッサ101は、ACT43又はACT45にて対象画像を選定し終えたならば、いずれの場合もACT46へと進む。
ACT46としてプロセッサ101は、識別処理を実行する。識別処理は、対象画像に基づき、当該対象画像に映り込んでいる商品を識別する処理である。この識別処理の手法については、例えば画像認識に適した手法であるCNNを利用した深層学習を利用する。あるいは、OCR(optical character recognition)又は特徴点マッチング等の手法を利用する等、その方法は問わない。かくしてカート端末プログラムPRAに基づく情報処理をプロセッサ101が実行することによって、プロセッサ101を中枢部分とするコンピュータは識別手段として機能する。
【0037】
ACT47としてプロセッサ101は、ACT46における識別に成功したかを確認する。そしてプロセッサ101は、識別に成功しているならばYESと判定し、ACT48へと進む。
ACT48としてプロセッサ101は、購買商品として登録するための候補となる商品(以下、候補商品と称する)が既に設定されているかを確認する。そしてプロセッサ101は、該当の事象を確認できないならばNOと判定し、ACT49へと進む。
ACT49としてプロセッサ101は、ACT46で識別された商品を候補商品に設定する。そしてプロセッサ101はこののち、図3中のACT12及びACT13の待ち受け状態に戻る。
【0038】
なおプロセッサ101は、ACT46で商品を識別できなかった場合には、ACT47にてNOと判定し、ACT48及びACT49をパスして図3中のACT12及びACT13の待ち受け状態に戻る。またプロセッサ101は、ACT46で識別に成功しているとしても、候補商品が既に設定されているならば、ACT48にてYESと判定し、ACT49をパスして図3中のACT12及びACT13の待ち受け状態に戻る。
【0039】
かくしてプロセッサ101は、客が購買しようとする商品をカゴ部930に入れようとして手と商品とがカメラ198,199の撮影範囲を通過する間、取得タイミングとなる毎に、ACT21~ACT23及びACT31~ACT33と、ACT41~ACT49とが繰り返され、最初にACT46にて識別できた商品が候補商品として設定される。
【0040】
そして、商品をカゴ部930に入れ終わり、手及び商品が第1の画像及び第2の画像に映り込まないようになると、第1の画像及び第2の画像のいずれからもキーポイントが判定できなくなり、かつ第1の商品領域及び第2の商品領域がいずれも抽出できなくなる。これに応じてプロセッサ101は、図4中のACT41及びACT44にていずれもNOと判定することとなり、ACT50へと進む。
【0041】
ACT50としてプロセッサ101は、候補商品が有るかを確認する。そして前述のようにACT49にて候補商品を設定済みであるならば、YESと判定してACT51へと進む。
ACT51としてプロセッサ101は、候補商品を購買商品として確定するための予め定められた確定条件が成立しているかを確認する。確定条件は、例えばカート端末プログラムPRAの作成者などにより適宜に定められて構わない。確定条件は、一例として、「連続する規定回数の取得タイミングにおいて、いずれもACT50にてYESと判定した場合。」のように定めることが想定される。そしてプロセッサ101は、確定条件が成立していないならばNOと判定し、図3中のACT12及びACT13の待ち受け状態に戻る。かくしてプロセッサ101は、候補商品が設定済みである状態で、手及び商品が第1の画像及び第2の画像に映り込まない状況となっても、確定条件が成立するまではACT21~ACT23及びACT31~ACT33の処理を取得タイミング毎に繰り返し実行する。そしてプロセッサ101は、確定条件が成立したならば、図4中のACT51にてYESと判定し、ACT52へと進む。
【0042】
ACT52としてプロセッサ101は、候補商品を購買商品として登録する。つまりプロセッサ101は例えば、候補商品の商品コードを購買商品の商品コードとして含むように取引データを更新する。そしてプロセッサ101はこののち、図3中のACT12及びACT13の待ち受け状態に戻る。かくしてカート端末プログラムPRAに基づく情報処理をプロセッサ101が実行することによって、プロセッサ101を中枢部分とするコンピュータは登録手段として機能する。
【0043】
なおプロセッサ101は、購買商品として登録し終えた商品の候補商品としての設定は解除する。このためプロセッサ101は、こののちに新たに手及び商品が第1の画像及び第2の画像に映り込むようになるまでは、ACT41及びACT44にていずれもNOと判定し、ACT50へと進むが、このACT50では候補商品があることを確認できないためにNOと判定し、ACT51及びACT52をパスして図3中のACT12及びACT13の待ち受け状態に戻る。
【0044】
客が、手で握り込んだ状態の商品をカゴ部930に入れようとし、その手が第1の画像及び第2の画像の少なくともいずれか一方に映り込んで、図3中のACT22又はACT32にてキーポイントを判定できたとしても、ACT23又はACT33にて第1の商品領域又は第2の商品領域を抽出できないことがある。
【0045】
プロセッサ101はこのような場合には、図4中のACT41にてYES、ACT42にてNOとそれぞれ判定し、ACT53へと進む。
ACT53としてプロセッサ101は、予め定められたアラート動作を実行する。アラート動作は、商品の持ち方が適正でない恐れがあることを客に報知するための動作である。プロセッサ101は例えば、カメラに写るように商品を持つように客に案内する案内画面を表示するようにタッチパネル104を制御する。あるいはプロセッサ101は例えば、カメラに写るように商品を持つように客に案内する音声メッセージを出力するようにサウンドユニット105を制御する。アラート動作は、例えばタッチパネル104の画面における点滅、あるいはサウンドユニット105での警報音の出力など、客が知覚可能な様々な動作のいずれであっても構わない。またプロセッサ101は、アラート動作として、複数種の動作を並行して実行するのでも構わない。アラート動作としてどのような動作を実行するかは、例えばカート端末プログラムPRAの作成者などにより適宜に定められて構わない。あるいは、アラート動作としてどのような動作を実行するかは、カート端末100の管理者などにより適宜に定められても構わない。そしてプロセッサ101はこののち、図3中のACT12及びACT13の待ち受け状態に戻る。かくしてカート端末プログラムPRAに基づく情報処理をプロセッサ101が実行することによって、プロセッサ101を中枢部分とするコンピュータは、タッチパネル104又はサウンドユニット105などとの協働によって報知手段としての機能を実現する。
【0046】
客は、購買商品の登録を終えたならば、会計の開始を指示するための予め定められた操作を例えばタッチパネル104にて行う。これに応じてプロセッサ101は、図3中のACT13にてYESと判定し、会計処理へと進む。会計処理は、例えば既存のカートPOSシステムで行われているのと同様の処理で構わず、その図示は省略する。例えばプロセッサ101は、取引データを会計機200に受け渡すための処理を会計処理として行う。あるいは、カート900に図示しない決済端末が取り付けられ、当該決済端末がカート端末100に接続されているならば、この決済端末を用いてのクレジット決済やコード決済などを行うための処理を会計処理として行うのでも構わない。
【0047】
以上のようにカート端末100は、第1の画像及び第2の画像のうちで、映り込んでいる手について検出されるキーポイントの数が小さい方の画像を対象画像として選定の上で、当該対象画像に映り込んでいる商品を当該対象画像に基づいて識別する。これにより、手と商品との位置関係が互いに異なる第1の画像及び第2の画像のうちで、手で隠されることなく、商品の外観の特徴がより良好に映り込んでいる画像を対象画像としての商品識別が行われることとなり、画像に映った物品を、当該の画像に基づいて精度よく識別できる。
【0048】
またカート端末100は、第1の画像及び第2の画像として、撮影方向が互いに異なる2つのカメラ198,199によりそれぞれ同タイミングで得られた画像を用いる。これにより、第1の画像と第2の画像とでは、映り込む手と商品との位置関係が大幅に異なる可能性が高く、商品の外観の特徴がより良好に映り込んだ画像を対象画像として選定できる可能性が高まる。
【0049】
またカート端末100は、第1の画像及び第2の画像のいずれかからキーポイントが検出できたものの、第1の商品領域及び第2の商品領域をいずれも抽出できない場合には、アラート動作を行い、異常を客に報知する。これにより、商品の持ち方が適正ではないことを客に認識させることができる。
【0050】
またカート端末100は、識別した商品を購買商品として登録するから、客はカゴ部930へと手で持った商品を入れて行くだけで、購買商品を登録して行くことができる。
【0051】
この実施形態は、次のような種々の変形実施が可能である。
3つ以上のカメラでそれぞれ得られた3つ以上の画像を対象画像の候補に含めても構わない。
【0052】
1つのカメラにより異なるタイミングで得られた複数の画像を、対象画像の候補に含めても構わない。
【0053】
プロセッサ101は図4中のACT42にてYESと判定した場合には、第1の画像及び第2の画像のそれぞれを対象画像としてそれぞれ識別処理を行うようにしても構わない。そして、それら2つの識別処理の結果に基づいて、商品を特定するのでも構わない。一例としては、識別処理の結果として確度が得られるのであれば、その確度がより大きい識別結果を採用することが考えられる。あるいは、例えば識別処理の結果として同じ商品に関してそれぞれ得られた確度の平均値に基づいて商品を特定するなどのように、複数の識別処理の結果を総合して商品を特定するのでも構わない。
【0054】
商品以外の物品の認識を行うのでも構わない。
【0055】
物品の認識結果は、取引処理のための購買登録には限らず、どのような用途で用いるのでも構わない。
【0056】
上記の実施形態においてプロセッサ101が実行している処理の一部を、POSサーバ300、あるいはその他の任意の1又は複数の情報処理装置に備えられたコンピュータにより実行するのでも構わない。例えば、カート端末100では、ユーザインタフェース動作のみを行い、購買商品の特定のための諸々の情報処理はPOSサーバ300に備えられたコンピュータにより実行されるのでも構わない。つまり、キーポイント検出手段、物品検出手段、選定手段、識別手段、登録手段、あるいは報知手段としての機能を実現するためのデバイス制御を行う手段のそれぞれは、取引処理システム1に含まれるカート端末100以外の任意の情報処理装置に備えられても構わないし、取引処理システム1に含まれる複数の情報処理装置に適宜に分散して設けられていても構わない。
【0057】
情報処理によりプロセッサ101が実現する各機能は、その一部又は全てをロジック回路などのようなプログラムに基づかない情報処理を実行するハードウェアにより実現することも可能である。また上記の各機能のそれぞれは、上記のロジック回路などのハードウェアにソフトウェア制御を組み合わせて実現することも可能である。
【0058】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【0059】
1…取引処理システム、2…通信ネットワーク、100…カート端末、101…プロセッサ、102…メイン記憶ユニット、103…補助記憶ユニット、104…タッチパネル、105…サウンドユニット、106…インタフェースユニット、107…無線通信ユニット、108…伝送路、198…カメラ、199…カメラ、200…会計機、300…POSサーバ、400…アテンダント端末、900…カート。
図1
図2
図3
図4