特許 7464156 登録装置、登録方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-01

(45)【発行日】2024-04-09

(54)【発明の名称】登録装置、登録方法及びプログラム

(51)【国際特許分類】

   G07G 1/01 20060101AFI20240402BHJP

   G07G 1/00 20060101ALI20240402BHJP

【ＦＩ】

G07G1/01 311

G07G1/00 311D

G07G1/01 301E

【請求項の数】 10

(21)【出願番号】P 2023007911

(22)【出願日】2023-01-23

(62)【分割の表示】P 2021160637の分割

【原出願日】2018-02-23

(65)【公開番号】P2023041760

(43)【公開日】2023-03-24

【審査請求日】2023-01-23

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100110928

【弁理士】

【氏名又は名称】速水 進治

(72)【発明者】

【氏名】白石 壮馬

(72)【発明者】

【氏名】岩元 浩太

(72)【発明者】

【氏名】横井 秀雄

(72)【発明者】

【氏名】高田 二徳

(72)【発明者】

【氏名】北川 恵美

【審査官】永安 真

(56)【参考文献】

【文献】特開２０１６－１７７４３３（ＪＰ，Ａ）

【文献】特開２００４－１２７０１３（ＪＰ，Ａ）

【文献】国際公開第２０１８／０１６２１４（ＷＯ，Ａ１）

【文献】特開２００７－２５５７６１（ＪＰ，Ａ）

【文献】特開２００９－０５８２３６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０７Ｇ １／００ － １／１４

(57)【特許請求の範囲】

【請求項1】

商品を載置する台の載置面を撮像した画像を取得する画像取得手段と、
前記画像に含まれる前記商品を認識する解析手段と、
認識された前記商品を会計対象として登録する登録手段と、
認識された前記商品のうち、大きさ違いの同種商品が存在する前記商品の名称を音声で出力し、大きさ違いの同種商品が存在しない前記商品の名称を音声で出力しない出力手段と、
を有する登録装置。

【請求項2】

請求項１に記載の登録装置において、
前記出力手段は、前記商品の名称を音声で出力している間、当該商品の載置位置を強調する情報を前記台に表示する登録装置。

【請求項3】

請求項１又は２に記載の登録装置において、
前記出力手段は、認識された前記商品が音声処理対象の商品か否かを判断し、認識された前記商品が音声処理対象の前記商品である場合、認識された前記商品の名称を音声で出力する登録装置。

【請求項4】

請求項３に記載の登録装置において、
前記出力手段は、認識された前記商品の中の認識結果の信頼度が基準値より低い前記商品を、前記音声処理対象の前記商品と判断する登録装置。

【請求項5】

請求項３に記載の登録装置において、
前記出力手段は、音声処理の対象とする前記商品を登録したリストに登録された前記商品を、前記音声処理対象の前記商品と判断する登録装置。

【請求項6】

請求項３に記載の登録装置において、
前記出力手段は、音声処理の対象としない前記商品を登録したリストに登録されていない前記商品を、前記音声処理対象の前記商品と判断する登録装置。

【請求項7】

請求項３に記載の登録装置において、
前記出力手段は、認識された前記商品の中の商品属性が所定の条件を満たす前記商品を、前記音声処理対象の前記商品と判断する登録装置。

【請求項8】

請求項１から７のいずれか１項に記載の登録装置において、
前記出力手段は、前記商品の中の第１の商品の名称を音声で出力している間に、前記商品の中の前記第１の商品と異なる他の商品が認識された場合、前記第１の商品の名称を音声で出力する処理を中断し、前記他の商品の名称を音声で出力する処理を開始する登録装置。

【請求項9】

コンピュータが、
商品を載置する台の載置面を撮像した画像を取得する画像取得工程と、
前記画像に含まれる前記商品を認識する解析工程と、
認識された前記商品を会計対象として登録する登録工程と、
認識された前記商品のうち、大きさ違いの同種商品が存在する前記商品の名称を音声で出力し、大きさ違いの同種商品が存在しない前記商品の名称を音声で出力しない出力工程と、
を実行する登録方法。

【請求項10】

コンピュータを、
商品を載置する台の載置面を撮像した画像を取得する画像取得手段、
前記画像に含まれる前記商品を認識する解析手段、
認識された前記商品を会計対象として登録する登録手段、
認識された前記商品のうち、大きさ違いの同種商品が存在する前記商品の名称を音声で出力し、大きさ違いの同種商品が存在しない前記商品の名称を音声で出力しない出力手段、
として機能させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、登録装置、登録方法及びプログラムに関する。

【背景技術】

【0002】

特許文献１には、画像解析で商品を認識して登録する商品登録装置が開示されている。

【0003】

特許文献２には、表示面上の実オブジェクトの情報に応じて表示面に表示される表示オブジェクトの表示領域を決定する表示制御装置が開示されている。当該表示制御装置は、食卓に置かれた食器の種別を認識し、種別に応じた表示エフェクトおよび音を出力することができる。

【0004】

特許文献３には、読取窓にかざされた１つの商品を撮像し、その画像を解析することで商品を認識し、認識した商品を登録するとともに、認識した商品の商品名を音声出力する情報処理装置が開示されている。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１６－６２５４５号公報

【文献】国際公開第２０１５／０９８１８９号

【文献】特開２０１４－１４９８６３号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

画像解析で商品を認識して登録する技術においては、店員や顧客が正しく認識されているか不安に感じる可能性がある。また、特許文献３に開示の技術のように、商品を１つずつ読取窓にかざす方法の場合、会計作業者の手間の観点では、各商品の商品コードをリーダに読み取らせる既存の方法と大きく変わらない。本発明は、商品の登録作業の手間を改善し、かつ、会計作業者が認識結果を把握できるようにすることを課題とする。

【課題を解決するための手段】

【0007】

本発明によれば、
商品を載置する台の載置面を撮像した画像を取得する画像取得手段と、
前記画像に含まれる前記商品を認識する解析手段と、
認識された前記商品を会計対象として登録する登録手段と、
認識された前記商品のうち、大きさ違いの同種商品が存在する前記商品の名称を音声で出力する出力手段と、
を有する登録装置が提供される。

【0008】

また、本発明によれば、
コンピュータが、
商品を載置する台の載置面を撮像した画像を取得する画像取得工程と、
前記画像に含まれる前記商品を認識する解析工程と、
認識された前記商品を会計対象として登録する登録工程と、
認識された前記商品のうち、大きさ違いの同種商品が存在する前記商品の名称を音声で出力する出力工程と、
を実行する登録方法が提供される。

【0009】

また、本発明によれば、
コンピュータを、
商品を載置する台の載置面を撮像した画像を取得する画像取得手段、
前記画像に含まれる前記商品を認識する解析手段、
認識された前記商品を会計対象として登録する登録手段、
認識された前記商品のうち、大きさ違いの同種商品が存在する前記商品の名称を音声で出力する出力手段、
として機能させるプログラムが提供される。

【発明の効果】

【0010】

本発明によれば、商品の登録作業の手間が改善され、また、会計作業者が認識結果を把握できるようになる。

【図面の簡単な説明】

【0011】

上述した目的、および、その他の目的、特徴および利点は、以下に述べる好適な実施の形態、および、それに付随する以下の図面によって、さらに明らかになる。

【0012】

【図1】本実施形態の登録装置のハードウエア構成の一例を示す図である。

【図2】本実施形態の登録装置の機能ブロック図の一例を示す図である。

【図3】本実施形態の登録装置を利用した会計処理で利用されるカメラと台の一例を模式的に示す図である。

【図4】本実施形態の登録装置の処理の流れの一例を示すフローチャートである。

【図5】本実施形態の登録装置により実現される台への情報表示の一例を模式的に示す図である。

【図6】本実施形態の登録装置により実現される台への情報表示の一例を模式的に示す図である。

【図7】本実施形態の登録装置の処理の流れの一例を示すフローチャートである。

【図8】ディスプレイに表示される情報の一例を模式的に示す図である。

【図9】ディスプレイに表示される情報の一例を模式的に示す図である。

【図10】本実施形態の登録装置により処理される情報の一例を模式的に示す図である。

【図11】本実施形態の登録装置により処理される情報の一例を模式的に示す図である。

【発明を実施するための形態】

【0013】

＜第１の実施形態＞
まず、本実施形態の登録装置の概要を説明する。本実施形態の登録装置は、商品を販売する店舗での会計処理に利用される。登録装置は、いわゆるＰＯＳ（point of sales）レジスターであってもよい。登録装置は、店員に操作されることを前提とした装置であってもよいし、顧客に操作されることを前提とした装置であってもよい。

【0014】

登録装置を利用した会計処理では、会計処理の対象の商品を載置するための台と、当該台の載置面を撮影するカメラとが用意される。会計処理において、会計作業者（店員、顧客等）は、会計対象の商品を台の載置面に載置する。登録装置は、カメラにより生成された画像を取得すると、画像を解析し、画像に含まれる商品を認識する。そして、登録装置は、認識した商品を会計対象の商品として登録する。また、登録装置は、認識した商品の名称を音声で出力する。

【0015】

認識した商品の名称を音声で出力する本実施形態の登録装置によれば、会計作業者は、登録装置から出力された音声に基づき、商品が認識されたこと、及び、認識結果を把握することができる。また、商品を載置される台を撮影した画像に含まれる商品を認識して登録する本実施形態の登録装置によれば、複数の商品を一度に台に載置し、商品認識させ、登録させることができる。結果、商品を１つずつ読取窓にかざして撮影させたり、１つずつ各商品に付されたコードをコードリーダで読み取らせたりする技術に比べて、作業効率が向上する。

【0016】

次に、本実施形態の登録装置の構成を詳細に説明する。まず、登録装置のハードウエア構成の一例について説明する。登録装置が備える機能は、任意のコンピュータのＣＰＵ（Central Processing Unit）、メモリ、メモリにロードされるプログラム、そのプログラムを格納するハードディスク等の記憶ユニット（あらかじめ装置を出荷する段階から格納されているプログラムのほか、ＣＤ（Compact Disc）等の記憶媒体やインターネット上のサーバ等からダウンロードされたプログラムをも格納できる）、ネットワーク接続用インターフェイスを中心にハードウエアとソフトウエアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。

【0017】

図１は、登録装置のハードウエア構成を例示するブロック図である。図１に示すように、登録装置は、プロセッサ１Ａ、メモリ２Ａ、入出力インターフェイス３Ａ、周辺回路４Ａ、バス５Ａを有する。周辺回路４Ａには、様々なモジュールが含まれる。なお、周辺回路４Ａを有さなくてもよい。

【0018】

バス５Ａは、プロセッサ１Ａ、メモリ２Ａ、周辺回路４Ａ及び入出力インターフェイス３Ａが相互にデータを送受信するためのデータ伝送路である。プロセッサ１Ａは、例えばＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）などの演算処理装置である。メモリ２Ａは、例えばＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）などのメモリである。入出力インターフェイス３Ａは、入力装置（例：キーボード、マウス、マイク等）、外部装置、外部サーバ、外部センサー等から情報を取得するためのインターフェイスや、出力装置（例：ディスプレイ、スピーカ、プリンター、メーラ等）、外部装置、外部サーバ等に情報を出力するためのインターフェイスなどを含む。プロセッサ１Ａは、各モジュールに指令を出し、それらの演算結果をもとに演算を行うことができる。

【0019】

図２に、登録装置１０の機能ブロック図の一例を示す。図示するように、登録装置１０は、画像取得部１１と、解析部１２と、出力部１３と、登録部１４とを有する。

【0020】

画像取得部１１は、商品を載置する台の載置面を撮影した画像を取得する。上述の通り、登録装置１０を利用した会計処理では、会計処理の対象の商品を載置するための台と、当該台の載置面を撮影するカメラとが用意される。画像取得部１１は、当該カメラにより生成された画像を取得する。カメラは動画像（複数の画像）を生成し、画像取得部１１は当該動画像をカメラから取得してもよい。

【0021】

図３に、台とカメラの一例を模式的に示す。図では、台１と、部材２と、支柱３と、カメラ４とが示されている。部材２は、台１の上面に位置し、台１の一部をなす。部材２の露出面が、商品を載置する載置面となる。なお、部材２はディスプレイであってもよいし、他の部材であってもよい。カメラ４は支柱３に取り付けられており、上方から部材２の露出面を撮影する。カメラ４により生成された画像は、有線及び／又は無線での通信により、不図示の登録装置１０に送信される。

【0022】

図２に戻り、解析部１２は、画像取得部１１により取得された画像を解析し、画像に含まれる商品を認識する。解析部１２は、パターンマッチング技術などを利用して、商品を認識することができる。

【0023】

例えば、解析部１２は、画像の二値化、輪郭線抽出等の技術を利用して画像に含まれる物体を検出する（物体検出）。その後、解析部１２は、検出した物体の画像に現れる外観の特徴（画像内の物体が存在する領域の特徴）と、予め登録されている複数の商品各々の外観の特徴（参照情報）とを照合することで、その物体がいずれの商品であるかを特定する（商品認識）。例えば、解析部１２は、その物体との外観の類似度が最も高い商品、又は、その物体との外観の類似度が最も高くかつ当該類似度が基準値以上の商品を特定してもよい。商品の外観の特徴は、色、表面の凹凸、形状等が例示されるが、これらに限定されない。

【0024】

登録部１４は、解析部１２により認識された商品を登録する。例えば、登録部１４は、解析部１２により認識された商品の商品情報を商品マスタから取得し、取得した商品情報の少なくとも一部を登録装置１０に登録する。商品情報は、価格、商品名、商品コード等を含む。

【0025】

出力部１３は、解析部１２により認識された商品の名称を音声で出力する。例えば、出力部１３は、解析部１２により認識された商品の名称（例：商品マスタから取得したもの）を取得すると、音声合成技術を利用して、その商品の名称の音声データを生成してもよい。そして、出力部１３は、生成した音声データを再生処理することで、商品の名称を音声で出力してもよい。

【0026】

その他、予め、商品毎に商品の名称の音声データが登録装置１０に登録されていてもよい。そして、出力部１３は、登録されている音声データの中から解析部１２により認識された商品の名称の音声データを取り出し、再生処理することで、商品の名称を音声で出力してもよい。

【0027】

次に、図４のフローチャートを用いて、本実施形態の登録装置１０の処理の流れの一例を説明する。

【0028】

処理がスタートされると、画像取得部１１はカメラからの画像の取得を開始する。そして、解析部１２は、画像の解析を開始する。

【0029】

解析部１２により商品が認識されると（Ｓ１０のＹｅｓ）、出力部１３は認識された商品の名称を音声で出力する（Ｓ１１）。また、Ｓ１１では、登録部１４は認識された商品を会計対象として登録する。その後、解析部１２により新たな商品が認識されると（Ｓ１２のＹｅｓ）、同様の処理を繰り返す（Ｓ１１）。

【0030】

解析部１２により新たな商品が認識されず（Ｓ１２のＮｏ）、精算処理の入力があった場合（Ｓ１３のＹｅｓ）、登録装置１０は精算処理を実行する（Ｓ１４）。例えば、登録装置１０は、それまでに登録された商品に基づき算出された支払合計金額の支払いとして、現金の入力を受付け、必要に応じて釣銭の出力やレシートの出力を行ってもよい。また、登録装置１０は、クレジットカードの入力を受付け、クレジット会社のシステムと通信し、決済処理を行ってもよい。また、登録装置１０は、精算処理のための情報（登録された商品を示す情報、支払合計金額等）を他の精算装置に送信してもよい。

【0031】

以上、認識した商品の名称を音声で出力する本実施形態の登録装置１０によれば、会計作業者は、登録装置１０から出力された音声に基づき、商品が認識されたこと、及び、認識結果を把握することができる。また、商品を載置される台を撮影した画像に含まれる商品を認識して登録する本実施形態の登録装置１０によれば、複数の商品を一度に台に載置し、商品認識させ、登録させることができる。結果、商品を１つずつ読取窓にかざして撮影させたり、１つずつ各商品に付されたコードをコードリーダで読み取らせたりする技術に比べて、作業効率が向上する。

【0032】

＜第２の実施形態＞
本実施形態の登録装置１０は、商品の名称を音声で出力している間、当該商品を強調表示する点で、第１の実施形態と異なる。以下、詳細に説明する。

【0033】

登録装置１０のハードウエア構成の一例は、第１の実施形態と同様である。

【0034】

登録装置１０の機能ブロック図の一例は、第１の実施形態同様、図２で示される。画像取得部１１、解析部１２及び登録部１４の構成は、第１の実施形態と同様である。

【0035】

出力部１３は、商品の名称を音声で出力している間、当該商品の載置位置を強調する情報を台に表示する。出力部１３のその他の構成は、第１の実施形態と同様である。

【0036】

例えば、出力部１３は、図５に示すように、名称を音声出力している商品の載置位置を内包するマークＭ（例：丸等）を表示してもよい。その他、出力部１３は、図６に示すように、名称を音声出力している商品の載置位置に近接する位置にマークＭ（例：丸等）を表示してもよい。なお、表示する情報はマークに限定されず、文字、数字、絵、キャラクター等、他の情報としてもよい。

【0037】

例えば図３に示すように台１の一部にディスプレイ（部材２）が設けられ、ディスプレイ（部材２）の表示面が載置面となっている場合、出力部１３は当該ディスプレイに、所定の商品の載置位置を強調する情報を表示させることができる。その他の例として、出力部１３は、投影装置を用いて、台の載置面に、所定の商品の載置位置を強調する情報を投影してもよい。

【0038】

なお、出力部１３は、「画像の座標」を「台の載置面を構成するディスプレイの表示領域の座標」に変換する変換ルールを予め保持しておく。そして、出力部１３は、画像内の物体の位置（座標）を当該変換ルールに基づきディスプレイの表示領域の座標に変換し、例えば変換した位置を囲むように、又は、その位置に近接して、所定の商品の載置位置を強調する情報を表示させる。

【0039】

同様に、出力部１３は、「画像の座標」を「投影装置の投影領域の座標」に変換する変換ルールを予め保持しておいてもよい。そして、出力部１３は、画像内の物体の位置（座標）を当該変換ルールに基づき投影装置の投影領域の座標に変換し、例えば変換した位置を囲むように、又は、その位置に近接して、所定の商品の載置位置を強調する情報を投影させてもよい。

【0040】

画像の座標は、画像内の任意の位置を原点とし、任意の方向をｘ軸方向及びｙ軸方向と定めた座標系で示される。ディスプレイの表示領域の座標は、表示領域内の任意の位置を原点とし、任意の方向をｘ軸方向及びｙ軸方向と定めた座標系で示される。投影装置の投影領域の座標は、投影領域内の任意の位置を原点とし、任意の方向をｘ軸方向及びｙ軸方向と定めた座標系で示される。

【0041】

本実施形態の登録装置１０の処理の流れの一例は、第１の実施形態と同様である。

【0042】

以上説明した本実施形態の登録装置１０によれば、第１の実施形態と同様な作用効果を実現できる。また、商品の名称を音声で出力している間、その商品を強調表示できる本実施形態の登録装置１０によれば、複数の商品が台に載置されている場合であっても、作業者は、どの商品に対する認識結果を出力しているのか直感的に把握できる。結果、認識結果が正しいかの確認を正確に行うことができる。

【0043】

＜第３の実施形態＞
本実施形態の登録装置１０は、認識されたすべての商品の名称を音声で出力するのでなく、一部の商品の名称を音声で出力する点で、第１及び第２の実施形態と異なる。以下、詳細に説明する。

【0044】

登録装置１０のハードウエア構成の一例は、第１及び第２の実施形態と同様である。

【0045】

登録装置１０の機能ブロック図の一例は、第１及び第２の実施形態同様、図２で示される。画像取得部１１、解析部１２及び登録部１４の構成は、第１及び第２の実施形態と同様である。

【0046】

出力部１３は、解析部１２により認識された商品が音声処理対象の商品か否かを判断する。そして、出力部１３は、解析部１２により認識された商品が音声処理対象の商品である場合、認識された商品の名称を音声で出力する。なお、解析部１２により認識された商品が音声処理対象の商品でない場合、出力部１３は認識された商品の名称を音声で出力しない。出力部１３のその他の構成は、第１及び第２の実施形態と同様である。

【0047】

例えば、予め、音声処理の対象とする商品を登録した第１のリスト（図１０参照）が生成され、登録装置１０又は登録装置１０と通信可能な外部装置内に記憶されていてもよい。そして、出力部１３は、解析部１２により認識された商品が第１のリストに登録されている場合、その商品は音声処理対象の商品であると判断してもよい。一方、解析部１２により認識された商品が第１のリストに登録されていない場合、出力部１３は、その商品は音声処理対象の商品でないと判断してもよい。

【0048】

その他、予め、音声処理の対象としない商品を登録した第２のリスト（図１１参照）が生成され、登録装置１０又は登録装置１０と通信可能な外部装置内に記憶されていてもよい。そして、出力部１３は、解析部１２により認識された商品が第２のリストに登録されていない場合、その商品は音声処理対象の商品であると判断してもよい。一方、解析部１２により認識された商品が第２のリストに登録されている場合、出力部１３は、その商品は音声処理対象の商品でないと判断してもよい。

【0049】

なお、第１のリスト及び第２のリストは予め店舗側で用意しておいてもよいし、登録装置１０の作業者がその都度生成できてもよい。ここで、登録装置１０の作業者がその都度リストを生成する処理の一例を説明する。

【0050】

例えば、登録装置１０の作業者が操作可能なタッチパネルディスプレイに、図８に示すようなボタンを表示してもよい。当該ボタンは「読み上げ対象選択」の文字が対応付けられている。そして、当該ボタンへのタッチ操作（例：タップ操作）を受付けると、図９に示す画面に遷移してもよい。図９に示す画面では、複数の商品カテゴリ各々に対応したボタンを表示している。当該ボタンへのタッチ操作（例：タップ操作）を受けつけると、そのボタンに対応した商品カテゴリが音声処理対象（読み上げ対象）として登録される。結果、第１のリストが生成される。なお、第２のリストの生成も、同様の手段で実現できる。このようにすれば、顧客毎のニーズに合わせて音声処理の対象とする商品を決定することができる。なお、ここで説明したタッチパネルディスプレイは、上述した部材２であってもよい。

【0051】

音声出力された商品の名称は、その商品を購入する顧客のみならず、他の顧客にも聞かれる可能性がある。そして、商品の中には、購入することを他の顧客に知られことが好ましくない商品も存在する。予め、商品毎に音声処理の対象とするか否かを定めておくことができる当該例によれば、他の顧客に知らせたくない情報が他の顧客に漏れる不都合を抑制できる。

【0052】

その他、出力部１３は、解析部１２により認識された商品の中の認識結果の信頼度が基準値より低い商品を、音声処理対象の商品と判断してもよい。この場合、出力部１３は、解析部１２により認識された商品の中の認識結果の信頼度が基準値以上の商品を、音声処理対象の商品と判断しない。信頼度は、パターンマッチングで算出された類似度（認識した商品と画像に含まれる物体との類似度）であってもよい。例えば、解析部１２が当該類似度を算出することができる。

【0053】

かかる場合、信頼度が低く、作業者による認識結果の正誤の確認等が望まれる商品を、音声で作業者に伝えることができる。

【0054】

その他、出力部１３は、解析部１２により認識された商品の中の商品属性が所定の条件を満たす商品を、音声処理対象の商品と判断してもよい。この場合、出力部１３は、解析部１２により認識された商品の中の商品属性が所定の条件を満たさない商品を、音声処理対象の商品と判断しない。

【0055】

所定の条件は、「高額商品であること（価格が基準値以上の商品であること）」であってもよい。高額商品は、商品認識のミスが大きな影響をもたらし得る。当該所定の条件の場合、商品認識のミスが大きな影響をもたらす可能性があり、作業者による認識結果の正誤の確認等が望まれる商品を、音声で作業者に伝えることができる。

【0056】

その他、所定の条件は、「大きさ（例：容量）違いの同種商品が存在すること」であってもよい。このような商品は、例えば、内容物は同じであるが、３５０ｍ缶、５００ｍｌ缶等の複数の大きさで販売される飲料などが該当する。このような大きさ違いの同種商品は外観のデザインが同一又は類似である可能性が高く、結果、画像解析での商品認識においてそれらを誤認識する可能性がある。当該所定の条件の場合、商品認識のミスが起きる可能性が比較的高く、作業者による認識結果の正誤の確認等が望まれる商品を、音声で作業者に伝えることができる。

【0057】

その他、所定の条件は「サイズが大きい商品であること（容積が基準位置以上の上品であること）」であってもよい。大きい商品は高額商品である可能性がある。そして、高額商品は、商品認識のミスが大きな影響をもたらし得る。当該所定の条件の場合、商品認識のミスが大きな影響をもたらす可能性があり、作業者による認識結果の正誤の確認等が望まれる商品を、音声で作業者に伝えることができる。

【0058】

次に、図７のフローチャートを用いて、本実施形態の登録装置１０の処理の流れの一例を説明する。

【0059】

処理がスタートされると、画像取得部１１はカメラからの画像の取得を開始する。そして、解析部１２は、画像の解析を開始する。

【0060】

解析部１２により商品が認識されると（Ｓ２０のＹｅｓ）、出力部１３は、解析部１２により認識された商品が音声処理対象の商品か否かを判断する（Ｓ２１）。

【0061】

音声処理対象の商品である場合（Ｓ２１のＹｅｓ）、出力部１３は認識された商品の名称を音声で出力し、登録部１４は認識された商品を会計対象として登録する（Ｓ２２）。

【0062】

一方、音声処理対象の商品でない場合（Ｓ２１のＮｏ）、登録部１４は認識された商品を会計対象として登録するが、出力部１３は認識された商品の名称を音声で出力しない（Ｓ２３）。

【0063】

その後、解析部１２により新たな商品が認識されると（Ｓ２４のＹｅｓ）、Ｓ２１に戻って同様の処理を繰り返す。

【0064】

解析部１２により新たな商品が認識されず（Ｓ２４のＮｏ）、精算処理の入力があった場合（Ｓ２５のＹｅｓ）、登録装置１０は精算処理を実行する（Ｓ２６）。例えば、登録装置１０は、それまでに登録された商品に基づき算出された支払合計金額の支払いとして、現金の入力を受付け、必要に応じて釣銭の出力やレシートの出力を行ってもよい。また、登録装置１０は、クレジットカードの入力を受付け、クレジット会社のシステムと通信し、決済処理を行ってもよい。また、登録装置１０は、精算処理のための情報（登録された商品を示す情報、支払合計金額等）を他の精算装置に送信してもよい。

【0065】

以上説明した本実施形態の登録装置１０によれば、第１及び第２の実施形態と同様な作用効果を実現できる。また、認識したすべての商品の名称を音声で出力するのでなく、一部の商品の名称を音声で出力する本実施形態の登録装置１０によれば、各種作用効果を実現できる。例えば、ある商品の購入を他の顧客に知られる不都合を抑制したり、作業者による認識結果の正誤の確認等が望まれる商品を音声で作業者に伝えたりできる。

【0066】

＜第４の実施形態＞
本実施形態の登録装置１０は、認識された商品の名称を音声で出力するタイミング等が具体化される点で、第１乃至第３の実施形態と異なる。以下、詳細に説明する。

【0067】

登録装置１０のハードウエア構成の一例は、第１乃至第３の実施形態と同様である。

【0068】

登録装置１０の機能ブロック図の一例は、第１乃至第３の実施形態同様、図２で示される。画像取得部１１、解析部１２及び登録部１４の構成は、第１乃至第３の実施形態と同様である。

【0069】

出力部１３は、各種態様で、解析部１２により認識された商品の名称を音声で出力することができる。出力部１３のその他の構成は、第１乃至第３の実施形態と同様である。

【0070】

「例１」
出力部１３は、解析部１２により認識された順に、商品の名称を音声で出力する。例えば、解析部１２により商品認識されたら、それに応じてその商品の名称を音声で出力してもよい。そして、出力部１３は、第１の商品の名称を音声で出力している間に、解析部１２により他の商品が認識された場合、それに応じて第１の商品の名称を音声で出力する処理を中断し、他の商品の名称を音声で出力する処理を開始する。

【0071】

商品の名称の全てを音声で出力しなくても、一部のみで、音声出力されている商品の名称を把握できる場合がある。それにも関わらず、商品の名称の全体を音声で出力すると、多くの時間を要してしまう。結果、それを煩わしく感じる顧客もいる。当該例によれば、新たな商品が台に載置されると、それに応じて次から次に音声で出力する商品の名称を切り替えることができる。すなわち、台に商品を載置するペースに合わせて、音声で出力する商品の名称を切り替えることができる。結果、作業者の作業ペースに合わせた音声出力が実現される。

【0072】

「例２」
出力部１３は、解析部１２により認識された順に、商品の名称を音声で出力する。例えば、解析部１２により商品認識されたら、それに応じてその商品の名称を音声で出力してもよい。そして、出力部１３は、第１の商品の名称を音声で出力している間に、解析部１２により他の商品が認識された場合、次のような処理を実行する。

【0073】

出力部１３は、解析部１２により他の商品が認識された時点で、第１の商品の名称の所定割合（例：５０％）以上を音声で出力済みである場合、他の商品が認識されたことに応じて第１の商品の名称を音声で出力する処理を中断し、他の商品の名称を音声で出力する処理を開始する。所定割合は、商品の名称の文字数で定義してもよいし、音声ファイルの長さで定義してもよい。

【0074】

一方、出力部１３は、解析部１２により他の商品が認識された時点で、第１の商品の名称の所定割合（例：５０％）以上を音声で出力済みでない場合、第１の商品の名称の所定割合（例：５０％）を音声で出力するまで、第１の商品の名称の音声出力を継続する。そして、第１の商品の名称の所定割合（例：５０％）を音声で出力した時点で第１の商品の名称を音声で出力する処理を中断し、他の商品の名称を音声で出力する処理を開始する。

【0075】

なお、上記所定割合は商品毎に予め定められ、商品毎に異なってもよい。

【0076】

例２によれば、例１と同様な作用効果を実現できる。また、所定割合以上の商品の名称の出力を確保することもできるので、商品の名称の音声出力を途中で中断したことにより、その商品の名称を把握できなくなる不都合を抑制できる。

【0077】

「例３」
出力部１３は、解析部１２により商品が認識されると、それに応じて、その商品の名称を音声で出力してもよい。かかる場合、商品が台に載置されてから商品の名称を音声で出力するまでのタイムロスを小さくすることができる。結果、顧客は、違和感なく作業を進めることができる。

【0078】

「例３」
出力部１３は、解析部１２により商品が認識されてから一定時間以上、解析部１２により新たな商品が認識されない場合、認識された商品の名称を音声で出力してもよい。かかる場合、顧客による載置が終わった後に音声出力を開始できる。すなわち、顧客が商品を載置する作業をしている間に音声を出力することを避けることができる。結果、載置作業に気を取られて、出力された音声の内容を確認できないという不都合を抑制できる。

【0079】

本実施形態の登録装置１０の処理の流れの一例は、第１乃至第３の実施形態と同様である。

【0080】

以上説明した本実施形態の登録装置１０によれば、第１乃至第３の実施形態と同様な作用効果を実現できる。また、認識された商品の名称を音声で出力するタイミングが特徴的な本実施形態の登録装置１０によれば、上述の通り、その態様に応じて様々な作用効果を実現できる。

【0081】

ここで、すべての実施形態に適用可能な変形例を説明する。登録装置１０は、出力部１３による「認識された商品の名称を音声で出力する処理」をＯＮ／ＯＦＦする切替部を有してもよい。切替部は、ユーザ入力に応じてＯＮ／ＯＦＦを切り替えることができる。認識された商品の名称が音声で出力されることを煩わしく思う顧客は、登録装置１０を操作し、ＯＦＦ設定にすることで、認識された商品の名称が音声で出力されることを回避できる。

【0082】

その他、購入することを他の顧客に知られたくない商品を台に載置する前に、顧客は登録装置１０を操作し、ＯＦＦ設定にすることができる。かかる場合、その商品の名称が音声で出力されることを回避できる。そして、その後、顧客は登録装置１０を操作し、ＯＮ設定にすることができる。結果、以降の認識結果を音声で確認することができる。このように、当該変形例によれば、ユーザフレンドリーな構成を実現できる。

【0083】

すべての実施形態に適用可能な他の変形例を説明する。解析部１２により、物体が台に載置されたことを認識されたが、その物体がいずれの商品であるかを特定されない場合（商品認識されない場合）、出力部１３はその旨を示す情報を出力してもよい。当該情報は、音声で出力されてもよいし、第２の実施形態で説明したものと同様な手法で台に表示されてもよいし、台の載置面を構成するディスプレイと異なるディスプレイへの表示で実現されてもよい。商品認識されない場合は、例えば、上述した類似度が基準値以上となる商品が存在しない場合であってもよい。

【0084】

出力部１３は、例えば、「認識できない商品があります」という情報を出力してもよい。この時、出力部１３は、商品認識できない物体を強調表示してもよい。強調表示の手法は、第２の実施形態で説明したものと同様であってもよい。このようにすれば、顧客は、商品認識できない商品があること、及び、その対象を容易に把握できる。

【0085】

また、出力部１３は、例えば、「備え付けのバーコードリーダで、認識できない商品のバーコードを読み取らせてください」等の、対応方法の案内を出力してもよい。このような当該変形例によれば、作業を効率的に進めることができるユーザフレンドリーな構成を実現できる。

【0086】

すべての実施形態に適用可能な他の変形例を説明する。出力部１３は、その時点で台に載置されており、かつ、解析部１２により商品認識された物体の数を示す情報を出力してもよい。当該情報は、音声で出力されてもよいし、第２の実施形態で説明したものと同様な手法で台に表示されてもよいし、台の載置面を構成するディスプレイと異なるディスプレイへの表示で実現されてもよい。このような当該変形例によれば、顧客が認識結果を把握できる。

【0087】

以下、参考形態の例を付記する。
１． 商品を載置する台の載置面を撮影した画像を取得する画像取得手段と、
前記画像に含まれる前記商品を認識する解析手段と、
認識された前記商品を会計対象として登録する登録手段と、
認識された前記商品の名称を音声で出力する出力手段と、
を有する登録装置。
２． １に記載の登録装置において、
前記出力手段は、前記商品の名称を音声で出力している間、当該商品の載置位置を強調する情報を前記台に表示する登録装置。
３． １又は２に記載の登録装置において、
前記出力手段は、認識された前記商品が音声処理対象の商品か否かを判断し、認識された前記商品が音声処理対象の前記商品である場合、認識された前記商品の名称を音声で出力する登録装置。
４． ３に記載の登録装置において、
前記出力手段は、認識された前記商品の中の認識結果の信頼度が基準値より低い前記商品を、前記音声処理対象の前記商品と判断する登録装置。
５． ３に記載の登録装置において、
前記出力手段は、音声処理の対象とする前記商品を登録したリストに登録された前記商品を、前記音声処理対象の前記商品と判断する登録装置。
６． ３に記載の登録装置において、
前記出力手段は、音声処理の対象としない前記商品を登録したリストに登録されていない前記商品を、前記音声処理対象の前記商品と判断する登録装置。
７． ３に記載の登録装置において、
前記出力手段は、認識された前記商品の中の商品属性が所定の条件を満たす前記商品を、前記音声処理対象の前記商品と判断する登録装置。
８． １から７のいずれかに記載の登録装置において、
前記出力手段は、第１の前記商品の名称を音声で出力している間に、他の前記商品が認識された場合、前記第１の商品の名称を音声で出力する処理を中断し、前記他の商品の名称を音声で出力する処理を開始する登録装置。
９． コンピュータが、
商品を載置する台の載置面を撮影した画像を取得する画像取得工程と、
前記画像に含まれる前記商品を認識する解析工程と、
認識された前記商品を会計対象として登録する登録工程と、
認識された前記商品の名称を音声で出力する出力工程と、
を実行する登録方法。
１０． コンピュータを、
商品を載置する台の載置面を撮影した画像を取得する画像取得手段、
前記画像に含まれる前記商品を認識する解析手段、
認識された前記商品を会計対象として登録する登録手段、
認識された前記商品の名称を音声で出力する出力手段、
として機能させるプログラム。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】