特開 2023-95098 電子機器、電子機器の制御方法、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023095098

(43)【公開日】2023-07-06

(54)【発明の名称】電子機器、電子機器の制御方法、プログラム

(51)【国際特許分類】

   G07G 1/00 20060101AFI20230629BHJP

   H04N 23/60 20230101ALI20230629BHJP

   G06K 19/06 20060101ALI20230629BHJP

【ＦＩ】

G07G1/00 331Z

H04N5/232

G06K19/06 112

G07G1/00 311D

【審査請求】未請求

【請求項の数】17

【出願形態】ＯＬ

(21)【出願番号】P 2021210782

(22)【出願日】2021-12-24

(71)【出願人】

【識別番号】390002761

【氏名又は名称】キヤノンマーケティングジャパン株式会社

(71)【出願人】

【識別番号】592135203

【氏名又は名称】キヤノンＩＴソリューションズ株式会社

(74)【代理人】

【識別番号】100189751

【弁理士】

【氏名又は名称】木村 友輔

(72)【発明者】

【氏名】布施 竜一

(72)【発明者】

【氏名】片岡 新

(72)【発明者】

【氏名】高見澤 亮

(72)【発明者】

【氏名】田路 賢太郎

(72)【発明者】

【氏名】関 悠一

【テーマコード（参考）】

3E142

5C122

【Ｆターム（参考）】

3E142AA01

3E142BA01

3E142CA12

3E142GA16

3E142GA32

3E142GA35

5C122FH12

5C122FK28

5C122GA34

5C122HA46

5C122HB01

5C122HB05

(57)【要約】

【課題】 画像からの対象物の検出結果を用いて、対象物をより容易に管理できる仕組みを提供する
【解決手段】 撮影された画像から複数の対象物についての検出処理を行うように制御する制御手段と、
前記検出処理で前記複数の対象物のうち少なくとも１つが検出された場合に、前記複数の対象物のそれぞれに対応するコード情報のうち、前記検出処理で検出された対象物に対応するコード情報を表示するように制御する表示制御手段と
を有する。
【選択図】 図５

【特許請求の範囲】

【請求項1】

撮影された画像から複数の対象物についての検出処理を行うように制御する制御手段と、
前記検出処理で前記複数の対象物のうち少なくとも１つが検出された場合に、前記複数の対象物のそれぞれに対応するコード情報のうち、前記検出処理で検出された対象物に対応するコード情報を表示するように制御する表示制御手段と
を有することを特徴とする電子機器。

【請求項2】

撮影された画像から対象物を検出する検出処理を行うように制御する制御手段と、
前記検出処理で検出された対象物に対応するインストアコードのコード情報を表示するように制御する表示制御手段と
を有することを特徴とする電子機器。

【請求項3】

前記コード情報は１次元コードまたは２次元コードのコード画像であることを特徴とする請求項１または２に記載の電子機器。

【請求項4】

前記コード情報はバーコードであることを特徴とする請求項３に記載の電子機器。

【請求項5】

前記コード情報は店舗、団体、事業者の少なくともいずれかが任意に付番できるコードの情報であることを特徴とする請求項１乃至４のいずれか１項に記載の電子機器。

【請求項6】

前記検出処理で前記複数の対象物のうち２以上の対象物が検出された場合、前記表示制御手段は、前記２以上の対象物にそれぞれ対応する２以上のコード情報を表示するように制御することを特徴とする請求項１乃至５のいずれか１項に記載の電子機器。

【請求項7】

前記表示制御手段は、前記検出処理で検出された前記２以上の対象物を被写体として含む画像を表示するとともに、前記２以上のコード情報を、表示された画像とは異なる位置に並べて表示するように制御することを特徴とする請求項６に記載の電子機器。

【請求項8】

前記検出処理で前記複数の対象物のうち同一の種類の対象物が複数検出された場合、前記表示制御手段は、検出された前記同一の種類の対象物の数に対応する複数のコード情報を表示するように制御することを特徴とする請求項６または７に記載の電子機器。

【請求項9】

前記複数のコード情報は互いに同一のコード情報であることを特徴とする請求項８に記載の電子機器。

【請求項10】

前記制御手段は、撮影手段で撮影されているライブビュー画像の動きが安定した場合に前記検出処理を行うように制御し、前記表示制御手段は、前記コード情報を前記ライブビュー画像の動きが安定しなくなるまで表示するように制御することを特徴とする請求項１乃至９のいずれか１項に記載の電子機器。

【請求項11】

コード情報に対応づけて対象物を検出するための情報を登録する登録処理を行う処理手段を更に有することを特徴とする請求項１乃至１１に記載の電子機器。

【請求項12】

前記検出処理は、学習済みモデルに撮影された画像を入力する処理を含むことを特徴とする請求項１乃至１１のいずれか１項に記載の電子機器。

【請求項13】

前記表示制御手段によって表示されたコード情報は、外部装置の読取部で読み取ることによって前記外部装置での処理に用いることが可能であることを特徴とする請求項１乃至１２のいずれか１項に記載の電子機器。

【請求項14】

前記外部装置はレジであり、前記処理は会計処理であることを特徴とする請求項１３に記載の電子機器。

【請求項15】

撮影された画像から複数の対象物についての検出処理を行うように制御する制御ステップと、
前記検出処理で前記複数の対象物のうち少なくとも１つが検出された場合に、前記複数の対象物のそれぞれに対応するコード情報のうち、前記検出処理で検出された対象物に対応するコード情報を表示するように制御する表示制御ステップと
を有することを特徴とする電子機器の制御方法。

【請求項16】

撮影された画像から対象物を検出する検出処理を行うように制御する制御ステップと、
前記検出処理で検出された対象物に対応するインストアコードのコード情報を表示するように制御する表示制御ステップと
を有することを特徴とする電子機器の制御方法。

【請求項17】

コンピュータを、請求項１乃至１４のいずれか１項に記載された電子機器の各手段として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像から対象物を検出することによって対象物を管理する技術に関する。

【背景技術】

【0002】

画像から対象物（例えば商品）を検出して自動的な処理をするシステムが知られている。

【0003】

特許文献１には、購入者が商品カートに収めた商品の画像情報を取得して商品清算装置に通知し、商品清算装置が画像認識により商品を認識し、商品カートに収められた各商品の合計価格の清算を受け付けることが提案されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００３－１８７３３号公報

【発明の開示】

【発明が解決しようとする課題】

【0005】

特許文献１の商品清算装置のように、既存のシステム（例えばレジ）と別のシステムを導入すると、システム構築が煩雑になる。例えば、店舗において、レジを用いて決済する商品と、画像認識を用いてレジを使わずに自動決済をする商品が混在すると、レジとは別に自動決済のためのシステムを導入する必要がある。そうすると、システムの導入費用や設置スペースなどのコストが増大する。また、決済方法が複数となり、商品の売り上げ管理などが煩雑になる。店舗での商品管理に限らず、工場での部品管理や物流における物品管理などでも同様である。

【0006】

そこで本発明は、画像からの対象物の検出結果を用いて、対象物をより容易に管理できる仕組みを提供することを目的とする。

【課題を解決するための手段】

【0007】

上記課題に鑑み、本発明の電子機器は、
撮影された画像から複数の対象物についての検出処理を行うように制御する制御手段と、
前記検出処理で前記複数の対象物のうち少なくとも１つが検出された場合に、前記複数の対象物のそれぞれに対応するコード情報のうち、前記検出処理で検出された対象物に対応するコード情報を表示するように制御する表示制御手段と
を有することを特徴とする。

【発明の効果】

【0008】

本発明によれば、画像からの対象物の検出結果を用いて、対象物をより容易に管理できる。

【図面の簡単な説明】

【0009】

【図1】本実施形態におけるシステム構成図である。

【図2】電子機器１００のハードウェア構成の一例を示すブロック図である。

【図3】商品認識アプリ処理のフローチャートである。

【図4】商品登録処理のフローチャートである。

【図5】商品認識アプリ処理における商品認識結果の表示例である。

【図6】商品登録処理における表示例である。

【図7】商品登録処理における表示例である

【図8】登録情報テーブルの例である。

【発明を実施するための形態】

【0010】

以下、図面を参照して、本発明の実施形態を詳細に説明する。

【0011】

図１は、本発明の実施形態におけるシステム構成の一例を示す図である。

【0012】

電子機器１００は、カメラ付きのタブレット端末などの電子機器である。レジ２００は店舗において会計を行うためのレジシステムであり、バーコード読取部２０１はレジ２００に接続されたバーコードリーダーである。商品４１～４５は本システムにおいて認識対象となる商品である。本実施形態における認識対象の商品はバーコードを記載した紙やシールなどが直接添付さえていない商品（例えば惣菜パン）を想定している。トレイ３０は商品をのせたトレイである。置き台２０はトレイ３０を載せるための台（載置台）であり、店のカウンターなどである。管理者１０は本システムを操作する人物（例えば店員）である。本システムでは、トレイに商品を載せた客（不図示）または作業者１０（例えば店員）は、商品４１～４５が載ったトレイ３０を置き台２０の上に載せて、電子機器１００に搭載されたカメラでトレイ３０および商品４１～４５を撮影する。その後、電子機器１００は、撮影された画像から商品４１～４５それぞれの商品種類（品目）を自動で認識し、認識した商品に対応するバーコードを電子機器１００の表示部に表示する。作業者１０はこのバーコードをバーコード読取部２０１で読取り、レジ２００にて決済（会計）を行う。セルフレジであればこの作業は客が行ってもよい。このようにして、既存のシステム（レジ２００）に対して、電子機器１００を導入するだけで、既存のシステム（レジ２００）を用いた決済及び商品管理が可能となる。

【0013】

図２に、本発明を適用可能な装置の一例としての電子機器１００の構成の一例を示す。電子機器１００は、タブレット端末やスマートフォン、パーソナルコンピュータ（以下、ＰＣ）などを用いて構成可能なものである。

【0014】

図２において、内部バス１５０に対してＣＰＵ１０１、メモリ１０２、不揮発性メモリ１０３、画像処理部１０４、ディスプレイ１０５、操作部１０６、記録媒体Ｉ／Ｆ１０７、外部Ｉ／Ｆ１０９、通信Ｉ／Ｆ１１０が接続されている。内部バス１５０に接続される各部は、内部バス１５０を介して互いにデータのやりとりを行うことができるようにされている。
メモリ１０２は、例えばＲＡＭ（半導体素子を利用した揮発性のメモリなど）からなる。ＣＰＵ１０１は、例えば不揮発性メモリ１０３に格納されるプログラムに従い、メモリ１０２をワークメモリとして用いて、電子機器１００の各部を制御する。不揮発性メモリ１０３には、画像データや音声データ、その他のデータ、ＣＰＵ１０１が動作するための各種プログラムなどが格納される。不揮発性メモリ１０３は例えばハードディスク（ＨＤ）やＲＯＭなどで構成される。

【0015】

画像処理部１０４は、ＣＰＵ１０１の制御に基づいて、不揮発性メモリ１０３や記録媒体１０８に格納された画像や、外部Ｉ／Ｆ１０９を介して取得した映像信号、通信Ｉ／Ｆ１１０を介して取得した画像、撮像された画像などに対して各種画像処理を施す。画像処理部１０４が行う画像処理には、Ａ／Ｄ変換処理、Ｄ／Ａ変換処理、画像データの符号化処理、圧縮処理、デコード処理、拡大／縮小処理（リサイズ）、ノイズ低減処理、色変換処理などが含まれる。画像処理部１０４は特定の画像処理を施すための専用の回路ブロックで構成しても良い。また、画像処理の種別によっては画像処理部１０４を用いずにＣＰＵ１０１がプログラムに従って画像処理を施すことも可能である。

【0016】

ディスプレイ１０５は、ＣＰＵ１０１の制御に基づいて、画像やＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を構成するＧＵＩ画面などを表示する。ＣＰＵ１０１は、プログラムに従い表示制御信号を生成し、ディスプレイ１０５に表示するための映像信号を生成してディスプレイ１０５に出力するように電子機器１００の各部を制御する。ディスプレイ１０５は出力された映像信号に基づいて映像を表示する。なお、電子機器１００自体が備える構成としてはディスプレイ１０５に表示させるための映像信号を出力するためのインターフェースまでとし、ディスプレイ１０５は外付けのモニタ（テレビなど）で構成してもよい。

【0017】

操作部１０６は、キーボードなどの文字情報入力デバイスや、マウスやタッチパネルといったポインティングデバイス、ボタン、ダイヤル、タッチセンサ、タッチパッドなどを含む、ユーザー操作を受け付けるための入力デバイス（受付デバイス）である。なお、タッチパネルは、ディスプレイ１０５に重ね合わせて平面的に構成され、接触された位置に応じた座標情報が出力されるようにした入力デバイスである。

【0018】

記録媒体Ｉ／Ｆ１０７は、メモリーカードやＣＤ、ＤＶＤといった記録媒体１０８が装着可能とされ、ＣＰＵ１０１の制御に基づき、装着された記録媒体１０８からのデータの読み出しや、当該記録媒体１０８に対するデータの書き込みを行う。外部Ｉ／Ｆ１０９は、外部機器と有線ケーブルや無線によって接続し、映像信号や音声信号の入出力を行うためのインターフェースである。通信Ｉ／Ｆ１１０は、外部機器やインターネット１１１などと通信して、ファイルやコマンドなどの各種データの送受信を行うためのインターフェースである。

【0019】

カメラ部１１２は、光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像素子（撮像センサー）等で構成されるカメラユニットである。カメラ部１１２には、ズームレンズやフォーカスレンズを含むレンズ群（撮影レンズ）、絞り機能を備えるシャッター、撮像素子、撮像素子から出力されるアナログ信号をデジタル信号に変換するＡ／Ｄ変換器、撮像系を覆って汚れや破損を防止するバリアを含む。画像処理部１０４は、カメラ部１１２で撮像して取得したデータに対し所定の画素補間、縮小といったリサイズ処理や色変換処理を行う。画像処理部１０４により得られた演算結果に基づいてＣＰＵ１０１が露光制御、測距制御、ＡＷＢ（オートホワイトバランス）処理を行う。カメラ部１１２で撮像され、画像処理部１０４で画像処理された表示用の画像データはディスプレイ１０５により表示される。カメラ部１１２で撮像され、Ａ／Ｄ変換器によって一度Ａ／Ｄ変換されメモリ１０２に蓄積されたデジタル信号をＤ／Ａ変換器でアナログ変換し、ディスプレイ１０５に逐次転送して表示することで、ライブビュー表示（ＬＶ表示）を行える。ライブビューは、静止画の撮影待機状態、動画の撮影待機状態、動画の記録時に表示可能であり、撮像された被写体像がほぼリアルタイムに表示される。ＣＰＵ１０１は、操作部１０６で行われたユーザー操作に基づく撮影準備指示に応じて、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ処理等の動作を開始するように、カメラ部１１２、画像処理部１０４を制御する。ＣＰＵ１０１は、撮影指示に応じて、本露光して撮像部素子からの信号を読み出し、撮像された画像を画像処理部１０４で画像処理して画像ファイルを生成し、記録媒体１０８に記録するまでの一連の撮影処理（本撮影）の動作を開始ように制御する。撮影指示は、操作部１０６に対するユーザー操作によって行うことができる。カメラ部１１２は、静止画及び動画の撮影が可能である。なお、電子機器１００自体が備える構成としてはカメラで撮影された画像を入力するためのインターフェースまでとし、カメラ部１１２は外付けのカメラで構成してもよい。

【0020】

図３は、電子機器１００における商品認識アプリにおける会計時の処理の一例を示すフローチャートである。このフローチャートにおける各処理はＣＰＵ１０１が不揮発性メモリ１０３に格納されたプログラムをメモリ１０２に展開して実行することにより実現される。電子機器１００にインストールされた本実施形態にかかるアプリケーションソフトウェア（商品認識アプリ）が起動されると図３の承認認識アプリ処理が開始される。

【0021】

Ｓ３０１では、ＣＰＵ１０１は、カメラ部１１２からの画像の取り込みを開始し、メモリ１０２にＬＶ表示用の画像（ＬＶ画像）を所定フレーム分、逐次保持し、ディスプレイ１０５におけるＬＶ表示を行う。

【0022】

Ｓ３０２では、ＣＰＵ１０１は、メモリ１０２に保持した画像に基づいて、トレイ３０が置き台２０に置かれたかどうか（カメラ部１１２の画角内に収まったか）を判定する。例えば、トレイと想定される直線成分の多い被写体が画角内に進入してきたことをもって、トレイ３０が新たに置かれたことを検出できる。置かれた場合はＳ３０３へ進み、、置かれていない場合はＳ３０４に進む。

【0023】

Ｓ３０３では、ＣＰＵ１０１は、メモリ１０２に保持した画像に基づいて、画像が安定したか（静止したか）否かを判定する。例えば前後のフレームの画像の輝度の変化量を計算し、画像が安定したか（トレイ３０が完全に停止したか）を判定する。また例えば、前後のフレームから検出した動きベクトルが所定値以下などの条件によって画像が安定したこと（動きの量が所定量以下である事）を検知してもよい。画像が安定している場合はＳ３０４に進み、安定していない場合はＳ３０８に進む。

【0024】

Ｓ３０４では、ＣＰＵ１０１は、不揮発性メモリ１０３に記憶され、メモリ１０２に保持した学習済みモデルに、メモリ１０２に保持したＬＶ画像（カメラ部１１２で撮影された画像）を入力し、トレイ３０の上に置かれた商品の種類（品目）を推論する。推論結果はメモリ１０２に保持する。この処理は、カメラ部１１２で撮影された画像を解析して、撮影された画像に、後述する商品登録処理で登録された登録済みの対象物（商品）が含まれているかの画像認識処理である。言い換えると、カメラ部１１２で撮影された画像から、複数の登録済みの対象物（商品）のそれぞれについて検出する処理である。これにより、例えば、カメラ部１１２で撮影した画像から「ロールパン」や「メロンパン」といった品目の商品を検出することができる。なお、Ｓ３０４における認識処理自体は、電子機器１００と通信可能な不図示の外部機器（例えばサーバ装置）で行うようにしてもよい。この場合、ＣＰＵ１０１は、カメラ部１１２で撮影された画像を外部機器に送信して認識処理を行わせるように制御する。そして、外部機器から認識結果（推論結果を）受信してメモリ１０２に記録する。

【0025】

Ｓ３０５では、ＣＰＵ１０１は、メモリ１０２に保持した商品の種類の推論結果を参照し、登録済みの複数の商品（対象物）のいずれかを検出したか否かを判定する。登録済みの複数の商品（対象物）のいずれかを検出した場合はＳ３０６に進み、そうでない場合、すなわち登録済みの複数の商品（対象物）のいずれも検出されなかった場合にはＳ３０７へ進む。

【0026】

Ｓ３０８では、ＣＰＵ１０１は、Ｓ３０６で検出された商品の品目に関連づけて記録した商品の識別情報（例えば商品コード、商品番号）を不揮発性メモリ１０３から読み出す。そして、読みだした識別情報に基づいてバーコードを生成し、そのバーコードの画像をディスプレイ１０５に表示する。識別情報は商品の品目（対象物の種別）に対応する情報であり、バーコードを生成するために必要な情報である。具体的には、後述する図８の登録情報テーブルから、商品に対応付けて記憶しているインストアコード用の先頭２桁の数字列、アイテムコード、チェックデジットを読み出し、これらを組み合わせた１３桁の数字列（商品コード）を表すバーコードを生成する。なお、チェックデジットは登録情報テーブルから読み出すのではなく、その手前の１２桁の数字列に基づいて算出するようにしてもよい。Ｓ３０６における表示例を図５に示す。

【0027】

図５は、ディスプレイ１０５における商品認識結果の表示例である。撮影画像５００はカメラ部１１２で撮影した画像であり、Ｓ３０４での検出対象となった静止画像である。なお、静止画像に代えて、カメラ部１１２で撮影しているＬＶ画像を表示するものとしてもよい。図示の例では、撮影画像５００には、商品５０１～５０４が含まれており、これらが検出されている。画像５００のうち商品が検出された部分にはそれぞれ、商品名を示す商品ラベルと、検出された対象を示す商品検出枠が表示される。例えば、商品５０１を囲う位置に、商品５０１が検出されたことを示す商品検出枠５０８が表示される。また、商品５０１が検出された位置に対応する位置（本実施形態では商品検出枠５０８の上部）に、商品５０１の商品名が表示される商品ラベル５０７が表示される。図示の商品ラベル５０７では便宜上「商品名１」としているが、実際には商品５０１の名前として例えば「ロールパン」と表示される。同様に商品５０２～５０４に対してもそれぞれ商品ラベルと商品検出枠が表示される。

【0028】

バーコード表示領域５１０は、撮影画像５００から検出（認識）された商品の名称とバーコードをまとめて（一覧で）表示する領域である。バーコード表示領域５１０には、認識した全商品の商品名とバーコードを一覧で表示する。バーコード５１１～５１４は、それぞれ、検出された商品５０１～５０４に対応するバーコードである。このバーコード５１１～５１４をバーコード読取部２０１で読み取ることで、商品を特定する情報がレジ２００に入力され、商品の名称や価格などの会計に必要な情報が取得できる。すなわち、通常のレジでの会計と同様の会計処理が可能となる。

【0029】

商品名５１５～５１８は、それぞれ、検出された商品５０１～５０４の名称である。便宜上、「商品名１」、「商品名２」と図示しているが、実際には例えば「ロールパン」、「メロンパン」といった商品名（品目を識別する情報）が表示される。

【0030】

バーコード表示領域５１０に、検出した複数の商品のバーコードをまとめて表示することで、バーコード読取部２０１での読取動作を行いやすくしている。バーコード５１１～５１４を、それぞれ撮影画像５００上の対応する商品の付近（例えばそれぞれの商品ラベルの位置）に表示してもよいが、こうするとバーコード読取部２０１を各バーコードの位置に移動して読み取る動作が必要となる。これはバーコード読取部２０１を動かす移動量が大きくなってしまうばかりか、画一的な動きではなくパンの配置によって異なる動きをしなければならず、素早い読取が行えない。そのため、作業者１０の作業負荷と会計処理に要する時間の増大を招いてしまう可能性がある。これに対し本実施形態では、撮影画像５００における検出された商品の付近ではなく、バーコード表示領域５１０に、検出された複数の商品にそれぞれ対応する複数のバーコードをまとめて表示する。このように表示することで、バーコード表示領域５１０内という限られた範囲内でバーコード読取部２０１を移動させればすべてのバーコードを読み取れるため、バーコード読取部２０１の移動距離を短くすることができる。また、複数のバーコードを整列して配置している（本実施形態では縦一列に並べて表示している）。そのため、バーコード読取部２０１を画一的な動きで動かすことで（本実施形態では縦に一回移動させるように動かすことで）全てのバーコードを読み取ることができる。このため、作業者１０は慣れた簡単な動きで素早くバーコードを読み取らせることが可能となり、作業負荷と会計処理に要する時間を削減することができる。

【0031】

さらに、撮影画像５００から同じ商品（同じ品目の商品、同一種類の商品）が複数検出された場合には、バーコード表示領域５１０には、検出した数だけの複数のバーコードを表示する。図示の例では、商品名２の商品（例えばメロンパン）が２つ検出されている（商品５０２と商品５０４が同じ品目の商品）。そのため、バーコード表示領域５１０には、商品名２のバーコードを２つ表示している（バーコード５１２と５１３）。従って、バーコード５１２と５１３は同じバーコード（同一のバーコード）である。このように表示することで、商品個数の入力をすることなく、バーコード読取部２０１で表示されたバーコードを順番に読み取っていくだけで検出された全ての商品と、正しい商品個数をレジ２００に入力することができる。すなわち、レジ２００で商品個数を入力する数値入力操作を省くことができる。従ってオペレーションを単純化でき、作業効率が向上する。

【0032】

Ｓ３０７では、ＣＰＵ１０１は、Ｓ３０３と同様に、画像が安定しているか否かを判定する。画像が安定している場合にはＳ３０７の処理を繰り返し、画像が安定しなくなった場合（画像の変化を検出した場合）にはＳ３０８に進む。画像に変化があった場合には、トレイ３０が抜かれた場合や、追加で商品（パン）がトレイ３０の上に置かれた場合、トレイ３０から商品（パン）が抜き取られた場合などがある。このような場合には再度、Ｓ３０４の画像認識処理を行う必要がある。逆に、画像に変化があるまでは画像認識処理を行わず、一度Ｓ３０６で表示したバーコードの表示を継続するため、画像認識処理による表示のバタつきを防止でき、作業者１０は安定してバーコードをバーコード読取部２０１で読み取らせることができる。

【0033】

Ｓ３０８では、ＣＰＵ１０１は、メモリ１０２に保持した画像に基づいて、トレイ３０が置き台２０から抜かれた（移動された）か否かを判定する。例えば、トレイ３０と想定される直線成分の多い被写体が画角内から出ていくように移動したことをもって、トレイ３０が抜かれたことを検出できる。抜かれた場合はＳ３０９に進み、抜かれていない場合はＳ３０３に進む。商品がトレイ３０に追加されたり抜き取られたりした場合には、Ｓ３０８でＮｏと判定され、Ｓ３０３で画像が安定するのを待ってからＳ３０４での画像認識処理を行う。これにより、置いたままのトレイ３０に商品が追加された状況または抜き取られた状況での商品を検出し、図５で説明した画面を更新することができる。また、Ｓ３０８でトレイ３０が抜かれたことを検知したことに応じて、バーコード表示領域５１０に表示されたバーコードを全て非表示とし、商品ラベル、商品検出枠を非表示とするように画面を更新してもよい。このようにすることで、正常な画像認識の処理が行われていることを作業者１０が認識できる。また、すでに会計処理が済んだ商品を再度会計してしまう（２重会計してしまう）といった誤操作も防止することができる。

【0034】

Ｓ３０９では、ＣＰＵ１０１は、商品登録モードに移行する指示操作があったか否かを判定する。例えば、ディスプレイ１０５に表示された登録モードへの切り替えアイコン（不図示）が操作されると、商品登録モードに移行する指示操作があったと判定する。商品登録モードに移行する指示操作があった場合はＳ３１０に進み、そうでない場合はＳ３１１に進む。

【0035】

Ｓ３１０では、ＣＰＵ１０１は、商品登録処理を行う。商品登録処理の詳細は図４を用いて後述する。

【0036】

Ｓ３１１では、ＣＰＵ１０１は、本実施形態にかかるアプリケーションソフトウェアを閉じる、電子機器１００の電源をオフにするといった終了イベントがあったか否かを判定する。終了イベントが無い場合にはＳ３０２に進み、終了イベントがあった場合には図３の処理を終了する。

【0037】

図８に、不揮発性メモリ１０３に記録された、商品の登録状況（登録内容）が記録された登録情報テーブル（単に登録情報とも称する）の例を示す。Ｓ３１０の商品登録処理によって、商品が登録情報テーブルに登録される。登録情報テーブルに登録された情報を用いて、Ｓ３０４の画像認識処理とＳ３０６のバーコードの表示が行われる。登録情報テーブルには、インストアコード用の先頭２桁の数字列、アイテムコード（１０桁の数字列）、チェックデジット（１桁の数字）、登録済みか否か、商品名、認識条件が関連付けて記憶されている。なお、図示の「－」はデータ無し（ＮＵＬＬ）を表す。本実施形態では登録情報は不揮発性メモリ１０３に記録されるものとして説明するが、電子機器１００と通信可能なサーバ装置や、取り外し可能な記録媒体１０８に記録するようにしてもよい。このようにすることで、１つの登録情報を複数の電子機器で共通して利用することが可能であり、複数のレジにそれぞれ対応する複数の電子機器で利用することが可能となる。

【0038】

インストアコードとは、店舗、団体、事業者の少なくともいずれかが任意に付番できるコードのことである。本実施形態では、商品登録処理で商品を登録する際は、２０～２９で始まる１３桁のＪＡＮコードであるインストアコードを登録する商品に対応付けて記憶するものとする。登録するコードをインストアコードとすることで、流通用のＪＡＮコードと重複してしまうことを防止することができる。

【0039】

図８の登録情報テーブルのうち、インストアコード用の先頭２桁の数字列は、インストアコードであることを示す２０～２９の数字列である。アイテムコードは、商品を識別するための番号である。チェックデジットは、数字列の誤りを検知するために付加される検査用の数字であり、２０～２９の２桁とアイテムコード１０桁の合計１２桁の数字列に基づいて定まる数値である。各行のインストアコード用の先頭２桁の数字列、アイテムコード（１０桁の数字列）、チェックデジット（１桁の数字）を組み合わせた１３桁の数字列が商品コード（インストアコード）である。すなわち、登録情報テーブルのうち、各行が１つの商品コード（イントアコード）に対応している。前述のＳ３０６では、登録済みの商品が検知された場合、その商品に対応づけられた、この１３桁の商品コードを表すバーコードが生成される。

【0040】

図８の登録情報テーブルのうち、登録済か否かを表す列の情報（登録済み情報）は、各行の商品コードに対して、商品が対応づけて登録されているか否かを示す。

【0041】

図８の登録情報テーブルのうち、商品名の列の情報は、各行の商品コードに対応づけて登録された商品の商品名である。

【0042】

図８の登録情報テーブルのうち、認識条件の列の情報は、各行の商品コードに対応付けて登録された商品を画像認識で検出するために必要な情報である。この情報は、学習済みモデルの情報や、商品の特徴量といった情報が記録される。この部分の情報量は多いため、登録情報テーブルに条件となるデータを直接記録するものに限らず、認識条件となるデータにアクセスするためのリンク情報や、認識条件となるデータを識別する（特定する）情報などであってもよい。前述の図３のＳ３０４の画像認識処理では、登録情報テーブルに登録された複数の商品について、この認識条件に基づいた検出処理を行う。

【0043】

図４に、商品登録処理のフローチャートを示す。この処理は、前述した図３のＳ３１０の詳細処理である。このフローチャートおける各処理は、ＣＰＵ１０１が不揮発性メモリ１０３に格納されたプログラムをメモリ１０２に展開して実行することにより実現される。この処理は、会計処理における検出対象（より詳しくはＳ３０４での認識対象）となる商品を登録する処理である。ユーザーは、新たな商品を管理対象（検出対象）に加える場合、本処理によって電子機器１００に商品を画像認識するための認識情報（認識条件）と、対応するバーコードを表示するための情報、商品名とを関連付けて記録する。それとともにユーザーは、レジ２００に新たな商品に関する情報を登録し、電子機器１００に表示されたバーコードを読み込んだ際に、その商品がレジ２００で特定できるようにする。

【0044】

Ｓ４０１では、ＣＰＵ１０１は、ディスプレイ１０５に商品名入力画面を表示する。図６（ａ）に、ディスプレイ１０５における商品名入力画面の表示例を示す。テキストボックス６０１は、これから新規に登録する商品の名前の入力をユーザーから受け付ける領域である。

【0045】

Ｓ４０２では、ＣＰＵ１０１は、ユーザーからの商品名入力操作を受け付ける。ユ―ザーはテキストボックス６０１をタッチで指定し、ソフトウェアキーボードなどからの文字入力により、任意の商品名称を入力することができる。図示の例では、ユーザー操作に応じて「カリカリカレーパン」と入力されている。入力された商品名はメモリ１０２に保持する。

【0046】

Ｓ４０３では、ＣＰＵ１０１は、次へボタン６０２が操作されたかを判定する。次へボタン６０２への操作が行われた場合はＳ４０４へ進み、そうでないはＳ４０２に進む。

【0047】

Ｓ４０４では、ＣＰＵ１０１は、メモリ１０２に保持している入力済みの商品名（Ｓ４０２で入力された商品名）と、登録情報テーブルに登録されている登録済みの商品名を比較し、登録済みの商品名と同じである（重複している）かどうかを判定する。重複している場合はＳ４０５に進み、重複していない場合はＳ４０４へ進む。

【0048】

Ｓ４０５では、ＣＰＵ１０１は、ディスプレイ１０５に商品名が重複している旨のエラーを表示し、Ｓ４０１で再度商品名入力画面を表示する。

【0049】

Ｓ４１０では、ＣＰＵ１０１は、インストアコードの空き番号を取得する。具体的には、ＣＰＵ１０１は、登録情報テーブルを参照し、登録済みの列が空きとなっている（すなわち未登録の）の行を検索し、未登録の行のインストアコードを１つ取得してメモリ１０２に保持する。なお、Ｓ４１０で採番する番号は、インストアコードを表す２０～２９の先頭二桁のうち、特定の２桁の数字（本実施形態では２９）で始まるインストアコードの番号を取得するものとする。このようにすることで、特定の２桁の数字（２９）で始まるインストアコードを本アプリケーションソフトで登録する商品のカテゴリ（本実施形態ではパン）のための番号とすることができる。そして、他の２桁の数字（例えば２８）で始まるインストアコードの番号は他のカテゴリ（例えば魚介類）のための番号とするといったような分類に活用でき、商品管理が容易となる。

【0050】

Ｓ４１１では、ＣＰＵ１０１は、Ｓ４１０で取得した未登録のインストアコードからバーコードを生成してディスプレイ１０５に表示する。図６（ｂ）にこの時のディスプレイ１０５における表示例を示す。登録対象番号６１１はＳ４１０で取得したインストアコードである。バーコード６１２はＳ４１０で取得したインストアコードから生成したバーコード画像を表示したものである。ユーザーは、バーコード６１２をレジ２００のバーコード読取部２０１で読み取り、レジ２００においてこのインストアコードに対して既に他の商品が登録済みでないかを確認する。バーコード６１２が表すインストアコードがレジ２００でも空き番号であることがわかればこのインストアコードは商品を新たに登録する対象として採用できると判断できる。例えば、バーコード６１２が表すインストアコードがレジ２００ですでに他の商品の番号として登録済みである場合には、このインストアコードは商品を新たに登録する対象として採用せず、別の番号を取得したほうがよいと判断できる。このように、後述す登録対象商品の撮影や学習の前に、登録対象番号の候補をバーコードとして表示するため、先にその登録対象番号がレジ２００においても空き番号となっているかを確認したうえで、その先の処理を行うことができる。従って無駄な手戻りを減らすことが可能となる。ここでいうその先の処理は、登録操作の一つであるＳ４３２で受け付ける撮影指示に応じたＳ４３４～Ｓ４３８の処理を含む（詳細は後述する）。なお、本実施形態では商品名の入力はＳ４１１でのバーコード表示の前に受け付けるものとしているが、登録対象番号の関連情報としての商品名の入力（Ｓ４０１～Ｓ４０５の処理）も、Ｓ４１１の後に行うようにしてもよい。

【0051】

Ｓ４１２では、ＣＰＵ１０１は、ボタン６１４がタッチ（操作）されたか否かを判定する。例えば、バーコード６１２が表すインストアコードをバーコード読取部２０１で読み取ったところ、空き番号でなかったことがわかった場合には、ユーザーは別のインストアコードを採番するべく、操作アイテムであるボタン６１４をタッチする。ボタン６１４がタッチされた場合には４１３に進み、そうでない場合にはＳ４１４に進む。

【0052】

Ｓ４１３では、Ｓ４１０ｄｅ取得し、登録対象番号６１１として表示していたインストアコードについて、登録情報テーブルの登録済みの列に登録済みである旨を記録し、Ｓ４１０に進んで、インストアコードの別の空き番号をあらためて取得する。このようにすることで、一度使用しないとされた番号は、登録済として記録されてＳ４１０での取得対象ではなくなるため、次回以降は自動では提示されなくなる。

【0053】

Ｓ４１４では、ＣＰＵ１０１は、詳細設定ボタン６１３がタッチされたか否かを判定する。詳細設定ボタン６１３は、提示された登録対象番号６１１ではなく、ユーザーが任意の番号を登録対象番号とするに番号を入力する画面を表示させるための操作アイテムである。詳細設定ボタン６１３がタッチされた場合はＳ４２０に進み、そうでない場合はＳ４１５に進む。

【0054】

Ｓ４１５では、ＣＰＵ１０１は、前へボタン６１５がタッチされたか否かを判定する。タッチされた場合はＳ４０１に進み、そうでない場合はＳ４１６へ進む。

【0055】

Ｓ４１６では、ＣＰＵ１０１は、次へボタン６１６がタッチされたか否かを判定する。次へボタン６１６は、表示された登録対象番号６１１を、これから登録する商品に対応づける登録対象番号として確定する指示を受け付ける操作アイテムである。次へボタン６１６がタッチされた場合はＳ４１７に進み、そうでない場合はＳ４１２に進む。

【0056】

Ｓ４１７では、ＣＰＵ１０１は、メモリ１０２に保持しているインストアコードを、登録対象の番号として確定する。具体的には、確定された番号として引き続き保持する。

【0057】

Ｓ４２０では、ＣＰＵ１０１は、ディスプレイ１０５に、詳細設定画面を表示する。図６（ｃ）に、ディスプレイ１０５における詳細設定画面の表示例を示す。

【0058】

図６（ｃ）は登録対象番号を、ユーザーが任意の値に設定するための画面である。

登録対象番号６１１はメモリ１０２に保持している登録対象番号を表示したラベルであり、バーコード６１２は登録対象番号をバーコード画像に変換して表示したものでる。入力フィールド６２１はインストアコードであることを示す２桁の数字列を入力する欄であり、ユーザーは入力フィールド６２１を選択してソフトウェアキーボードやプルダウンメニュから、２０～２９のうち任意の数字を入力することができる。入力フィールド６２２はアイテムコードを入力する欄であり、ユーザーは入力フィールド６２１を選択してソフトウェアキーボードを操作することにより、１０桁の任意の数字列を入力することができる。ＣＰＵ１０１は入力フィールド６２１と６２２に数字が入力されると、その組み合わせを含むインストアコードが既に登録済みとして記録されているか、登録情報テーブルを検索して確認する。登録済みとして記録されている（登録済みの列に登録済み旨が記録されている）場合には、メッセージ６２３を表示し、この番号が既に登録済みで使えない旨をユーザーに通知する。登録対象番号６２４は、入力フィールド６２１と６２２に入力された数字からなるインストアコードである。バーコード６２５は登録対象番号６２４をバーコードとして表示したものである。操作アイテムであるボタン６２６がタッチされると、入力フィールド６２１と６２２に入力された数字を含むインストアコードは破棄して、図６（ｂ）の画面に戻り、Ｓ４１０で取得したインストアコードを登録対象番号とした画面を表示する。操作アイテムである前へボタン６２７がタッチされると、Ｓ４０１に戻って図６（ａ）の画面が表示される。操作アイテムである次へボタン６２８がタッチされると、Ｓ４１７に進み、入力フィールド６２１と６２２に入力された数字とチェックデジットの組み合わせからなるインストアコードを登録対象番号として確定してメモリ１０２に保持する。入力フィールド６２１と６２２に入力された数字の組み合わせを含むインストアコードが既に登録済みでメッセージ６２３が表示されている状況では、次へボタン６２８は非アクティブ状態での表示となり、タッチ操作を受け付けないものとする。非アクティブ状態の次へボタン６２８がタッチされてもＳ４１７へ進まない。

【0059】

Ｓ４２１では、ＣＰＵ１０１はインストアコードであることを示す２桁の数字とアイテムコードの入力を受け付ける。すなわち、入力フィールド６２１と６２２への入力操作を受け付ける。入力された番号をメモリ１０２に保持する。

【0060】

Ｓ４２２では、ＣＰＵ１０１は、Ｓ４２１で入力された番号を含むインストアコードが、登録情報テーブルに登録済みとして記録されているか否かを判定する。登録済みである場合にはＳ４２３へ進み、そうでない場合、すなわち空き番号である場合にはＳ４２４に進む。

【0061】

Ｓ４２３では、ＣＰＵ１０１は、エラー表示としてディスプレイ１０５にメッセージ６２３を表示する。

【0062】

Ｓ４２４では、ＣＰＵ１０１は、Ｓ４２１で入力された番号を含むインストアコードに基づいて登録対象番号６２４とバーコード６２５とをディスプレイ１０５に表示する。

【0063】

Ｓ４２５では、ＣＰＵ１０１は、次へボタン６２８がタッチされたか否かを判定する。次へボタン６２８がタッチされた場合にはＳ４１７へ進み、そうでない場合にはＳ４２１へ進む。

【0064】

Ｓ４３０では、ＣＰＵ１０１は、メモリ１０２に保持する変数ｎを１に初期化する。変数ｎは、登録する商品の学習用の画像の毎数（撮影の回数）をカウントするための変数である。

【0065】

Ｓ４３１では、ＣＰＵ１０１は、登録する商品の学習用のｎ枚目の画像を取得するための撮影画面をディスプレイ１０５に表示する。この時の表示例を図６（ｄ）に示す。

【0066】

図６（ｄ）は、登録する商品を撮影する撮影画面の表示例である。画像６３１はカメラ部１１２で撮影されているライブビュー画像（ＬＶ画像）である。商品６３２は画像６３１に被写体として写っている登録対象の商品である。ガイド線６３３は商品を置く位置を示す補助線である。ユーザー（作業者１０）はガイド線が示す位置に登録したい商品が写るように電子機器１００フレーミングするか、固定設置された電子機器１００の固定された画角内におけるガイド線６３３が示す位置に登録したい商品を置く。表示アイテム６３５は、分母が商品の登録に必要な画像の枚数（撮影の回数）を示し、分子が次の撮影で得られる画像が何枚目か（次の撮影が何回目の撮影か）を示している。図示の例では合計１０枚の撮影が必要で、そのうち現在は１枚目の撮影のための撮影画面（次の撮影が１枚目の撮影）であることを示している。撮影ボタン６３４、前へボタン６３６、次へボタン６３７はそれぞれ、ユーザーがタッチ操作可能な操作アイテムである。次へボタン６３７は、商品の登録に必要な撮影の回数分の撮影（図示の例では１０回の撮影）が行われるとタッチ可能となり、それまではタッチしても反応しない非アクティブな状態で表示される。

【0067】

Ｓ４３２では、ＣＰＵ１０１は、撮影ボタン６３４がタッチされたか否かを判定する。撮影ボタン６３４がタッチされるとＳ４３４に進み、そうでない場合はＳ４３３へ進む。

【0068】

Ｓ４３３では、ＣＰＵ１０１は、前へボタン６３６がタッチされたか否かを判定し、タッチされた場合はＳ４１１へ進み、そうでない場合はＳ４３２へ進む。

【0069】

Ｓ４３４では、ＣＰＵ１０１は、カメラ部１１２による本撮影を行わせる。すなわち撮影制御を行う。本実施形態での本撮影は静止画撮影であるものとするが、動画の撮影であってもよい。

【0070】

Ｓ４３５では、ＣＰＵ１０１は、画像処理部１０４を用いて、Ｓ４３４での本撮影で撮影された画像に基づいた学習処理を行う。具体的には、撮影された画像のうち、ガイド線６３３が示す部分を抽出（トリミング）して学習モデルに入力し、学習結果として学習済みモデルを生成する。あるいは、撮影された画像のうち、ガイド線６３３が示す部分を抽出（トリミング）した画像から特徴量を抽出する。そして、ＣＰＵ１０１は、生成された学習済みモデルや抽出した特徴量を、図８で前述した登録情報テーブルのうち、メモリ１０２に保持している確定した登録対象番号のインストアコードに対応する行の認識条件として、不揮発性メモリ１０３に記録する。この情報が多いほど正確な画像認識が期待できる（認識精度が向上する）ため、学習は１枚の画像からだけではなく、複数の画像（本実施形態では１０枚）について行うものとしている。この記録制御によって、登録対象番号のインストアコードに対応付けて、登録操作の一種である撮影指示に応じて取得された、関連情報としての認識条件が記録される。

【0071】

Ｓ４３６では、ＣＰＵ１０１は、変数ｎが１であるか否かを判定する。ｎ＝１である場合にはＳ４３７へ進み、そうでない場合にはＳ４３８へ進む。メモリ１０２に保持している商品登録時の撮影枚数の値が１かどうかを判定する。１の場合はＳ４３７に進み、１でない場合はＳ４３８に進む。

【0072】

Ｓ４３７では、ＣＰＵ１０１は、メモリ１０２に保持している確定した登録対象番号を登録済みとして商品名と対応付けて不揮発性メモリ１０３に記録する。具体的には、登録情報テーブルにおけるメモリ１０２に保持している確定した登録対象番号のインストアコードに対応する行のうち、登録済みの列に「登録済」を示す情報を記録し、商品名の列に、メモリ１０２に保持しているＳ４０２で入力された商品名を記録する。こうして、新たな商品の商品名、インストアコード、認識条件が登録される。なお、Ｓ４３５の処理が少なくとも１回行われるまでは商品名と登録済みの旨の情報は記録しないようにしている。これは、商品名の入力や登録対象番号の確定の後に、学習処理を一回も行わないうちに処理を中断してしまった場合に、認識条件がなく実質的に商品の情報が未登録であるにもかかわらずインストアコードが登録済みとなってしまうことを防止するためである。

【0073】

Ｓ４３８では、ＣＰＵ１０１は、変数ｎがＮｍａｘと等しいか否かを判定する。Ｎｍａｘは、表示アイテム６３５に表示された分母であり、商品の登録に必要な画像の枚数として予め定められた数である。本実施形態では１０である。ｎ＝Ｎｍａｘでない場合はＳ４３９に進んで変数ｎを１つインクリメントし、Ｓ４３１へ進んで次の回の撮影の処理を行う。ｎ＝Ｎｍａｘである場合にはＳ４５０に進む。

【0074】

Ｓ４５０では、ＣＰＵ１０１は、メモリ１０２に保持する変数ｍを１に初期化する。変数ｍは、登録した商品を正しく検出するかを確認する回数をカウントするための変数である。

【0075】

Ｓ４５１では、ＣＰＵ１０１は、登録した商品を正しく認識するかを確認するためのｍ枚目の画像を取得するための確認画面をディスプレイ１０５に表示する。この時の表示例を図７（ａ）に示す。

【0076】

図７（ａ）は、登録した商品を正しく認識するかを確認するためのｍ枚目の画像を取得するための確認画面の表示例である。領域７０８は、認識した結果が正しいか否かと、認識した商品名を示すための表示領域である。図示の例では１枚目の確認の前なので認識結果と商品名は表示されていない。画像７０１はカメラ部１１２で撮影されているＬＶ画像である。商品７０２は、画像７０１に被写体として写っている確認したい商品（Ｓ４３４で撮影した商品と同じ個体や、同じ品目の別の個体）である。ガイド線７０３は商品を置く位置を示す補助線である。ユーザー（作業者１０）はガイド線が示す位置に確認したい商品が写るように電子機器１００フレーミングするか、固定設置された電子機器１００の固定された画角内におけるガイド線７０３が示す位置に確認したい商品を置く。表示アイテム７０５は、分母が商品の確認をする画像の枚数（撮影の回数）として予め定まった数を示し、分子が次の撮影で得られる確認用の画像が何枚目か（次の撮影が何回目の確認のための撮影か）を示している。図示の例では合計５枚の確認を行う予定であり、そのうち現在は１枚目の撮影のための撮影画面（次の撮影が１枚目の撮影）であることを示している。チェックボタン７０４、前へボタン７０６、次へボタン７０７はそれぞれ、ユーザーがタッチ操作可能な操作アイテムである。

【0077】

Ｓ４５２では、ＣＰＵ１０１は、前へボタン７０６がタッチされたか否かを判定し、タッチされた場合はＳ４３０に進み、そうでない場合はＳ４５３に進む。

【0078】

Ｓ４５３では、ＣＰＵ１０１は、チェックボタン７０４がタッチされたか否かを判定し、タッチされた場合はＳ４５４へ進み、そうでな場合はＳ４５２に戻る。

【0079】

Ｓ４５４では，ＣＰＵ１０１は、不揮発性メモリ１０３に記憶され、メモリ１０２に保持した学習済みモデルに、メモリ１０２に保持したＬＶ画像を入力し、トレイ３０の上に置かれた商品の種類（品目）を推論する。この処理は前述したＳ３０４の処理と同様であり、Ｓ４３５の学習処理で登録された認識条件を用いて行われる。また、推論に用いた画像（チェックボタン７０４がタッチされた際のＬＶ画像の１フレーム分の静止画像）はメモリ１０２に保持しておく。

【0080】

Ｓ４５６では、ＣＰＵ１０１は、メモリ１０２に保持した商品の種類の推論結果を参照し、登録済みの複数の商品（対象物）のうち、Ｓ４３７で記録した登録対象番号の商品を検出したか否かを判定する。登録対象番号の商品を検出した場合はＳ４６１に進み、そうでない場合、すなわち、登録済みのいずれの商品も検出されないか、登録済の商品が検出されたが、登録対象番号の商品と一致しない商品を検出した場合にはＳ４５７へ進む。

【0081】

Ｓ４５７では、ＣＰＵ１０１は、ディスプレイ１０５にＮＧ画面を表示する。この時の表示例を図７（ｂ）に示す。

【0082】

図７（ｂ）は、ディスプレイ１０５におけるＮＧ画面の表示例である。ＮＧ画面は、商品認識結果が登録内容と違っていた場合に出力する画面ある。なお、図７（ａ）と同じ表示要素については、図７（ａ）と同じ符号を付す。領域７０８には、「認識結果：ＮＧ」と表示され、商品認識結果が登録内容と違っていた旨が表示される。また、「商品名：激辛カレーパン」と表示され、ユーザーが登録した「カリカリジューシーカレーパン」とは異なる商品として検出されてしまっていることがわかるようになっている。画像７１１は、Ｓ４５４で画像認識処理に用いた画像であり、チェックボタン７０４がタッチされた際のＬＶ画像の１フレーム分の静止画像を表示したものである。商品７１２は、画像７１１に被写体として写っている確認したい商品（Ｓ４３４で撮影した商品と同じ個体や、同じ品目の別の個体）である。ガイダンス７１０は、画像７１１も登録対象番号の正しい画像（この例ではカリカリジューシーカレーパンの画像）として学習（特徴量抽出）に用いることで、認識精度の向上が期待できる旨をユーザーに通知する文章である。ガイダンス７１０は、追加登録ボタン７１４を押す（タッチする）ことで、画像７１１を用いた学習処理（特徴量抽出処理）を指示できることを示している。

【0083】

Ｓ４５８では、ＣＰＵ１０１は、追加登録ボタン７１４がタッチされたか否かを判定する。追加登録ボタン７１４がタッチされた場合にはＳ４５９に進み、そうでない場合にはＳ４６０へ進む。

【0084】

Ｓ４５９では、ＣＰＵ１０１は、メモリ１０２に保持しているチェックボタン７０４がタッチされた際のＬＶ画像の１フレーム分の静止画像（すなわち、ＮＧ判定された画像）のうち、ガイド線７０３が示す部分を抽出（トリミング）して学習モデルに入力する。こうして、学習済みモデルを生成する。あるいは、ガイド線７０３が示す部分を抽出（トリミング）した画像から特徴量を抽出する。そして、ＣＰＵ１０１は、生成された学習済みモデルや抽出した特徴量を、図８で前述した登録情報テーブルのうち、メモリ１０２に保持している確定した登録対象番号のインストアコードに対応する行の認識条件として、不揮発性メモリ１０３に記録する。この処理は、入力する画像以外はＳ４３５と同様の処理である。

【0085】

Ｓ４６０では、ＣＰＵ１０１は、前へボタン７０６がタッチされたか否かを判定し、タッチされた場合はＳ４５１へ進み、そうでない場合はＳ４５８へ進む。

【0086】

Ｓ４６１では、ＣＰＵ１０１は、ディスプレイ１０５に、正しく認識できた旨を示すＯＫ画面を所定時間（例えば３秒）、表示する。ＯＫ画面では、領域７０８に「認識結果：ＯＫ」と表示し、認識された商品名（この例では「カリカリジューシーカレーパン」）を表示する。

【0087】

Ｓ４６２では、ＣＰＵ１０１は、変数ｍがＭｍａｘと等しいか否かを判定する。Ｍｍａｘは、表示アイテム７０５に表示された分母であり、商品の確認をする画像の枚数（撮影の回数）として予め定まった数である。本実施形態では５である。ｍ＝Ｍｍａｘでない場合はＳ４６３に進んで変数ｍを１つインクリメントし、Ｓ４５１へ進んで次の回の撮影の処理を行う。ｍ＝Ｍｍａｘである場合にはＳ４６４に進む。

【0088】

Ｓ４６４では、ＣＰＵ１０１、ディスプレイ４６４に登録完了画面を表示する。この時の表示例を図７（ｃ）に示す。

【0089】

図７（ｃ）に、登録間完了画面の表示例を示す。商品名７２１は、登録対象番号に関連付けて登録した商品名であり、Ｓ４０２で入力された商品名である。商品画像７２２は登録された商品の画像であり、Ｓ４３４で撮影され、Ｓ４３５での学習処理に用いた画像の１つである。なお、この商品画像７２２はメモリ１０２に保持していたものであるが、登録情報テーブルの登録対象番号のインストアコードに対応付けて不揮発性メモリ１０３に記録しておいてもよい。バーコード７２３はＳ４１７で確定した登録対象番号に基づいて生成された、登録対象番号の情報をもつバーコードである。前へボタン７２４と完了ボタン７２５はそれぞれ操作アイテムである。ユーザー（作業者１０）は、ディスプレイ１０５に表示されたバーコード７２３をバーコード読取部２０１で読み取り、レジ２００にも同じインストアコードの商品を登録する。例えばレジ２００でインストアコードを新規登録する操作をしたうえでバーコード７２３を読みとり、レジ２００への登録対象となるインストアコードをレジ２００に入力する。バーコード７２３にはインストアコードの数字列自体も表示されるため、バーコード読取部２０１でのバーコード読取ではなく、表示された数字列を見てレジの数字キーを操作して登録対象のインストアコードを入力してもよい。そして作業者１０はレジ２００を操作して、入力されたインストアコードに対応付けて、商品名、商品カテゴリ、価格などの各種情報を登録する。こうすることで、会計時にバーコード７２３と同じバーコードを読み取ると、レジでの会計が行えるようになる。このように、図４の商品登録処理によれば、バーコードの読み取りを行う装置（レジ２００）とは別の装置（電子機器１００）で対象物に対応付けてコード情報（インストアコード）を登録する際に、登録対象のバーコードを表示する。従ってバーコードの読み取りを行う装置（レジ２００）にも、容易に連動して登録することができる。

【0090】

Ｓ４６５では、ＣＰＵ１０１は、完了ボタン７２５がタッチされたか否かを判定する。完了ボタン７２５がタッチされていない場合はＳ４６５で待機し、完了ボタン７２５がタッチされた場合には図４の商品登録処理を終了する。

【0091】

上述の商品登録処理によれば、登録対象のコード情報（インストアコード）に対応付けて対象物（商品）を検出するための認識条件を学習させ、コード情報に対応付けて認識条件を記録することができる。

【0092】

また、電子機器１００に対象物とコード情報とを対応付けて登録するだけでなく、コード情報を読み取る外部装置（レジ２００）においても、対象物に関する情報（価格や名称など）とコード情報を対応付けて登録する必要がある。これに対し本実施形態においては、商品登録処理における好適なタイミングで電子機器１００のディスプレイ１０５に、登録対象のコード情報のバーコードまたは数字列を表示するため、外部装置での登録作業も容易に行うことができる。電子機器１００とレジ２００が通信を行えず、登録情報テーブルを共有することができない構成であっても、本実施形態によれば、それぞれの装置で容易に連動した登録作業を行うことができる。

【0093】

以上説明した本実施形態によれば、撮影された画像からの対象物（例えば商品）の検出結果を用いて、対象物をより容易に管理することができる。なお、上記の実施形態では、対象物として店舗で会計される商品を例に説明したが、これに限るものではない。商品以外の対象物であっても、撮影された画像から検出することが可能で、バーコード（１次元コード）やＱＲコード（商標）（２次元コード）などのコード画像を表示し、表示されたコード画像を既存のシステムなどで読み取ることで管理できるものであれば適用可能である。例えば、対象物として、物流における配送物、郵送物、工場における原料、資材、部品などに適用可能である。

【0094】

なお、ＣＰＵ１０１が行うものとして説明した上述の各種制御は１つのハードウェアが行ってもよいし、複数のハードウェア（例えば、複数のプロセッサーや回路）が処理を分担することで、装置全体の制御を行ってもよい。

【0095】

また、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。

【0096】

また、上述した実施形態においては、本発明を電子機器１００に適用した場合を例にして説明したが、これはこの例に限定されず、撮影画像を取得可能な装置であれば適用可能である。すなわち、本発明はパーソナルコンピュータやＰＤＡ、携帯電話端末や携帯型の画像ビューワ、ゲーム機、電子ブックリーダーなどに適用可能である

【0097】

（他の実施形態）
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

【符号の説明】

【0098】

１００…電子機器 ２００…レジ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】