特許 7199858 電子機器、商品識別方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-12-23

(45)【発行日】2023-01-06

(54)【発明の名称】電子機器、商品識別方法及びプログラム

(51)【国際特許分類】

   G06Q 30/0601 20230101AFI20221226BHJP

【ＦＩ】

G06Q30/06 302

【請求項の数】 17

(21)【出願番号】P 2018133297

(22)【出願日】2018-07-13

(65)【公開番号】P2020013205

(43)【公開日】2020-01-23

【審査請求日】2021-06-22

(73)【特許権者】

【識別番号】398058588

【氏名又は名称】Ｄｙｎａｂｏｏｋ株式会社

(74)【代理人】

【識別番号】110001737

【氏名又は名称】弁理士法人スズエ国際特許事務所

(72)【発明者】

【氏名】荒井 隆宏

【審査官】原 忠

(56)【参考文献】

【文献】特開２０１３－２３５４７８（ＪＰ，Ａ）

【文献】特開２００７－２６４８９１（ＪＰ，Ａ）

【文献】特開２０１７－０４１２１６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｑ １０／００ － ９９／００

(57)【特許請求の範囲】

【請求項1】

カメラと、
前記カメラから出力された、複数の商品情報が掲載されている第１紙媒体の少なくとも一部に関する第１撮影信号に基づいて前記第１紙媒体を識別し、前記カメラから出力された、前記複数の商品情報の中の第１商品情報を少なくとも含む前記第１紙媒体内の一領域に関する第２撮影信号に基づいて前記第１商品情報を識別する識別手段と、
前記第１撮影信号又は前記第２撮影信号に基づいて前記第１紙媒体の画像を表示し、前記画像内で前記複数の商品情報を第１表示態様で表示する表示部と、を具備し、
前記識別手段は、
前記カメラと前記第１紙媒体との距離が所定値以下であり、かつ、前記第２撮影信号に含まれる前記第１商品情報の位置が前記第２撮影信号に対応する前記表示部の画面の中央である第１状態で所定時間が経過した場合、前記第１商品情報を選択し、前記表示部の画面の中央の前記第１商品情報に対応する商品を暫定注文リストに追加し、
前記所定時間が経過する前に前記カメラが前記第１紙媒体から前記所定値より離れた場合、前記表示部の画面の中央の前記第１商品情報に対応する商品を暫定注文リストに追加することなく、前記第１状態で前記所定時間が経過するか否かを判定し直す電子機器。

【請求項2】

前記識別手段は、複数の商品情報が掲載されている複数の第２紙媒体の夫々の第２特徴情報を記憶する第１メモリを具備し、
前記識別手段は、前記第１撮影信号から前記第１紙媒体の第１特徴情報を求め、前記第１特徴情報と前記第１メモリから読み出された前記複数の第２紙媒体の前記第２特徴情報とのパターンマッチングにより、前記複数の第２紙媒体の中で前記第１紙媒体に一致する１つの第２紙媒体を決定する請求項１記載の電子機器。

【請求項3】

前記識別手段は、前記複数の第２紙媒体の夫々に掲載されている前記複数の商品情報の位置情報を記憶する第２メモリを具備し、
前記識別手段は、前記第２撮影信号に含まれる前記第１商品情報の位置と、前記第２メモリに記憶されている前記複数の第２紙媒体の中で前記第１紙媒体に一致する１つの第２紙媒体の前記複数の商品情報の位置情報とに基づき、前記第１商品情報を識別する請求項２記載の電子機器。

【請求項4】

前記識別手段が識別した前記第１商品情報に関する第１商品をユーザに知らせる第１報知手段をさらに具備する請求項１乃至請求項３のいずれか一項記載の電子機器。

【請求項5】

前記第１報知手段は、テキストを表示する手段、音を発する手段又は振動手段を具備する請求項４記載の電子機器。

【請求項6】

前記識別手段が前記第１紙媒体の識別に成功した場合、識別成功を前記ユーザに知らせる第２報知手段をさらに具備する請求項４記載の電子機器。

【請求項7】

前記第２報知手段は、テキストを表示する手段、音を出力する手段又は振動手段を具備する請求項６記載の電子機器。

【請求項8】

前記識別手段は、前記第１紙媒体の少なくとも一部に関する前記第１撮影信号に基づく前記第１紙媒体の識別に失敗した場合、前記カメラから出力された新たな第１撮影信号に基づいて、前記第１紙媒体の識別を繰り返す請求項１乃至請求７のいずれか一記載の電子機器。

【請求項9】

前記第１紙媒体は、
異なる発行日を有し、夫々が複数ページからなる複数のカタログ、
異なる発行日を有し、夫々が表裏２ページからなる複数のチラシ、
異なる発行日を有し、夫々が単一ページからなる複数のチラシ、の少なくとも１つを含む請求項１乃至請求項８のいずれか一項記載の電子機器。

【請求項10】

前記複数の商品情報は夫々対応する複数の商品を識別する複数の商品番号を含み、
前記複数の商品番号は前記第１紙媒体内の予め決められている位置に印刷されている請求項９記載の電子機器。

【請求項11】

前記複数の商品情報は前記複数の商品の写真、名称及び価格をさらに含み、
前記複数の商品の写真、名称及び価格は前記第１紙媒体内の予め決められている位置に印刷されている請求項１０記載の電子機器。

【請求項12】

前記表示部は、前記第１紙媒体が識別されると、前記第１紙媒体の画像及び前記複数の商品番号を枠で囲まれた第２表示態様で表示する請求項１１記載の電子機器。

【請求項13】

前記表示部は、前記第１商品情報が識別されると、前記第１商品情報の商品番号を第３表示態様で表示する請求項１１記載の電子機器。

【請求項14】

前記第３表示態様は、前記第１商品情報の商品番号を特定色の枠で囲まれた状態で表示するものである請求項１３記載の電子機器。

【請求項15】

前記表示部は、前記第１商品情報が識別されると、前記第１商品情報の商品名と個数と合計金額をさらに表示する請求項１４記載の電子機器。

【請求項16】

カメラにより複数の商品情報が掲載されている第１紙媒体の少なくとも一部を撮影して得られた第１撮影信号に基づいて、コンピュータが、前記第１紙媒体を識別することと、
前記コンピュータが、前記複数の商品情報の中の第１商品情報を少なくとも含む前記第１紙媒体内の一領域を撮影して得られた第２撮影信号に基づいて前記第１商品情報を識別することと、
前記コンピュータが、前記第１撮影信号又は前記第２撮影信号に基づいて前記第１紙媒体の画像を表示部において表示させ、前記画像内で前記複数の商品情報を第１表示態様で表示部により表示させることと、
前記カメラと前記第１紙媒体との距離が所定値以下であり、かつ、前記第２撮影信号に含まれる前記第１商品情報の位置が前記第２撮影信号に対応する前記表示部の画面の中央である第１状態で所定時間が経過した場合、前記コンピュータが、前記第１商品情報を選択し、前記表示部の画面の中央の前記第１商品情報に対応する商品を暫定注文リストに追加することと、
前記所定時間が経過する前に前記カメラが前記第１紙媒体から前記所定値より離れた場合、前記コンピュータが、前記表示部の画面の中央の前記第１商品情報に対応する商品を暫定注文リストに追加することなく、前記第１状態で前記所定時間が経過するか否かを判定し直すことと、を具備する商品識別方法。

【請求項17】

コンピュータにより実行されるプログラムであって、前記プログラムは前記コンピュータに、
カメラにより複数の商品情報が掲載されている第１紙媒体の少なくとも一部を撮影して得られた第１撮影信号に基づいて前記第１紙媒体を識別することと、
前記複数の商品情報の中の第１商品情報を少なくとも含む前記第１紙媒体内の一領域を撮影して得られた第２撮影信号に基づいて前記第１商品情報を識別することと、
表示部において、前記第１撮影信号又は前記第２撮影信号に基づいて前記第１紙媒体の画像を表示させ、前記画像内で前記複数の商品情報を第１表示態様で表示させることと、
前記カメラと前記第１紙媒体との距離が所定値以下であり、かつ、前記第２撮影信号に含まれる前記第１商品情報の位置が前記第２撮影信号に対応する前記表示部の画面の中央である第１状態で所定時間が経過した場合、前記第１商品情報を選択し、前記表示部の画面の中央の前記第１商品情報に対応する商品を暫定注文リストに追加することと、
前記所定時間が経過する前に前記カメラが前記第１紙媒体から前記所定値より離れた場合、前記表示部の画面の中央の前記第１商品情報に対応する商品を暫定注文リストに追加することなく、前記第１状態で前記所定時間が経過するか否かを判定し直すことと、を実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態はチラシ又はカタログ等に掲載されている商品を電子的に識別する電子機器、商品識別方法及びプログラムに関する。

【背景技術】

【0002】

近年、Ｗｅｂカタログ等の電子コンテンツ上の商品を電子的に注文するネットショッピングが盛んになっている。しかし、一覧性において、電子コンテンツよりチラシ又はカタログ等の紙媒体の方が優れているので、電子コンテンツよりチラシ又はカタログの方が訴求効果は高い。そのため、チラシ又はカタログに掲載されている商品を電子的に注文するシステムが検討されている。

【0003】

チラシ又はカタログに掲載されている商品の注文方法としては、購買者が注文用紙に購入したい商品の品番コードや個数を記入して販売者に提出する手段が従来からある。この場合、販売者は提出された注文用紙に対し光学的読み取り（ＯＣＲ）技術等を利用して読み取りを行い、注文を電子的に受け付ける。しかし、読み取りミスによる注文失敗のリスクがある。また、販売者側で注文用紙を紛失するリスクもある。

【0004】

近年、電子システム上でユーザが直接入力する手段が充実されてきており、この手段であれば、上記のリスクを無くすことができる。電子コンテンツからの注文は当然ながら電子システム上で行うことが可能だが、チラシ又はカタログ等の商品の注文においても、スマートフォンのアプリケーションプログラムを用い、アプリケーションプログラムの画面上にテンキーを表示させ、テンキーから品番コードや個数を示す数字をキー入力して注文する方法がある。

【先行技術文献】

【特許文献】

【0005】

【文献】特開2011-227875号公報

【文献】米国特許第8896685号明細書

【文献】特開2017-041216号公報

【文献】特開2014-191600号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

チラシ又はカタログ等に掲載されている商品を電子的に注文する手段として従来からある、テンキーによる品番コードや個数を入力する手段では、入力に煩わしさを感じるので、利便性を感じにくい課題がある。
本発明の目的はチラシ又はカタログ等に掲載されている商品を電子的に選択できる手段として、少ない動作かつ直感的な操作で選択可能な電子機器、商品識別方法及びプログラムを提供することである。

【課題を解決するための手段】

【0007】

実施形態による電子機器は、カメラと、識別手段と、表示部とを具備する。前記表示部は、前記第１撮影信号又は前記第２撮影信号に基づいて前記第１紙媒体の画像を表示し、前記画像内で前記複数の商品情報を第１表示態様で表示する。前記識別手段は、前記カメラから出力された、複数の商品情報が掲載されている第１紙媒体の少なくとも一部に関する第１撮影信号に基づいて前記第１紙媒体を識別し、前記カメラから出力された、前記複数の商品情報の中の第１商品情報を少なくとも含む前記第１紙媒体内の一領域に関する第２撮影信号に基づいて前記第１商品情報を識別する。前記識別手段は、前記カメラと前記第１紙媒体との距離が所定値以下であり、かつ、前記第２撮影信号に含まれる前記第１商品情報の位置が前記第２撮影信号に対応する前記表示部の画面の中央である第１状態で所定時間が経過した場合、前記第１商品情報を選択し、前記表示部の画面の中央の前記第１商品情報に対応する商品を暫定注文リストに追加する。前記識別手段は、前記所定時間が経過する前に前記カメラが前記第１紙媒体から前記所定値より離れた場合、前記表示部の画面の中央の前記第１商品情報に対応する商品を暫定注文リストに追加することなく、前記第１状態で前記所定時間が経過するか否かを判定し直す。

【図面の簡単な説明】

【0008】

【図1】第１実施形態による注文システムの概略構成の一例を示すブロック図である。

【図2】カタログ１２のあるページの一例を示す図である。

【図3】電子機器１４の一例を示すブロック図である。

【図4】第１辞書データ（特徴情報）の一例を示す図である。

【図5】第２辞書データ（商品情報）の一例を示す図である。

【図6】商品情報内の申込番号の印刷領域の一例を示す図である。

【図7】カタログ識別処理の一例を示すフローチャートである。

【図8】カタログ識別完了をユーザに知らせるためのユーザインターフェースの一例を示す図である。

【図9】カタログ識別完了をユーザに知らせるためのユーザインターフェースの他の例を示す図である。

【図10】商品識別処理の一例を示すフローチャートである。

【図11】商品識別確定をユーザに知らせるためのユーザインターフェースの一例を示す図である。

【図12】暫定注文リスト２６Ａの一例を示す図である。

【図13】第２実施形態による商品識別時のユーザインターフェース画面の他の例を示す図である。

【図14】第３実施形態による注文システムの概略構成の一例を示す図である。

【図15】第４実施形態による注文システムの概略構成の一例を示す図である。

【図16】第４実施形態による注文システムにおける商品識別処理の一例を示すフローチャートである。

【図17】第５実施形態による注文システムの概略構成の一例を示す図である。

【発明を実施するための形態】

【0009】

以下、実施の形態について図面を参照して説明する。なお、開示はあくまで一例にすぎず、以下の実施形態に記載した内容により発明が限定されるものではない。当業者が容易に想到し得る変形は、当然に開示の範囲に含まれる。説明をより明確にするため、図面において、各部分のサイズ、形状等を実際の実施態様に対して変更して模式的に表す場合もある。複数の図面において、対応する要素には同じ参照数字を付して、詳細な説明を省略する場合もある。

【0010】

［注文システム構成］
図１は第１実施形態による注文システムの概略構成の一例を示すブロック図である。このシステムは、主に、ポータブルな電子機器１４、カタログサーバ１８及び注文サーバ２０を含む。電子機器１４は撮影機能と表示機能と通信機能等を備える。これらの機能を備える電子機器１４の一例としてはスマートフォン、タブレット、グラス型ウェアラブル機器、カメラ機器等があるが、これらに限らず、撮影機能と表示機能と通信機能等を別個のデバイス、例えばカメラ、ディスプレイ、無線機器等により実現し、これらを無線又はケーブルで接続するシステムでも良い。また、電子機器１４が通信機能を備えない場合、通信機能を備える機器、例えばパーソナルコンピュータに電子機器１４を無線又はケーブルで接続してもよい。実施形態の一例では、表示機能を用いてガイダンス表示、操作完了表示、アラート表示等が行われるが、画面上でのテキスト表示に代えて、スピーカからの合成音声や電子音の出力、電子機器１４の振動等により情報を出力する機能を設け、表示機能を省略しても良い。

【0011】

実施形態による注文システムはどのような業者のどのような商品の注文にも適用できるが、ここでは、紙媒体のカタログ１２を会員に配って、注文を受けた商品を会員の自宅まで配送するスーパーマーケット、デパートの例を説明する。図１は１つの電子機器１４しか示さないが、電子機器１４は会員（以下、ユーザとも称する）毎に用意され、多数の電子機器１４がネットワークに接続される。

【0012】

ユーザは電子機器１４を用いてカタログ１２を撮影すると、電子機器１４は、撮影した画像に対して画像認識処理を行い、注文商品を決定することができる。画像処理の対象を求めるために実際に静止画を撮影しても良いが、実施形態では、カメラ機能をオンにしてライブビュー画像を表示し、その間に特定の条件が満たされると、その時表示されている１枚の画像が処理対象とされる。大量の商品を販売する業者の場合、カタログ１２は、複数ページの冊子からなる。扱う商品は時間ともに変わっていくし、同じ商品でも価格が変わることがある。そのため、販売者は最新のカタログを随時（例えば、毎月曜日に）発行する。この場合、ユーザの手元には、異なる発行日の複数のカタログが存在する可能性がある。最新のカタログのみ有効であり、それ以外のカタログは有効期限が切れ、無効である。なお、カタログ１２の代わりに、片面１ページあるいは両面２ページの１枚もののチラシが用いられても良い。以下、カタログ１２はカタログとチラシの両方を意味するものとする。

【0013】

電子機器１４が無線又はケーブルによりネットワーク１６に接続される。販売者側のサーバの一例であるカタログサーバ１８と注文サーバ２０がネットワーク１６に接続される。カタログサーバ１８は、ユーザに配布されるカタログ１２の各ページの画像の特徴情報を示す第１辞書データ２２を格納するストレージと、カタログ１２の各ページの各商品の商品情報を示す第２辞書データ２４を格納するストレージを備える。特徴情報は画像のパターンマッチングが可能な情報であれば、何でも良い。例えば、特徴情報は、画像から抽出したエッジやコーナー等の特徴点を示す情報でも良い。

【0014】

なお、第１辞書データ２２と第２辞書データ２４は別々のストレージに格納されるのではなく、単一のストレージに格納されても良い。カタログサーバ１８は、新しいカタログ１２がユーザに配布されると、その都度、配布されたカタログ１２の第１辞書データ２２と第２辞書データ２４を多数の電子機器１４に配信する。ただし、第１辞書データ２２と第２辞書データ２４はともにページ毎のデータ構造を有する（第２辞書データ２４はさらに商品毎のデータ構造も有する）ので、第１辞書データ２２と第２辞書データ２４を合体させて単一の辞書データとしても良い。

【0015】

注文サーバ２０は各ユーザの注文状況を示す注文リスト２６を格納するストレージを備える。カタログサーバ１８と注文サーバ２０とが別々のストレージを備えるのではなく、単一のストレージを共用してもよい。各ユーザの電子機器１４からユーザ毎の注文リスト２６が注文サーバ２０に送信される。注文サーバ２０は注文リスト２６を受け取ると、決済処理をして、注文リスト２６を商品発送サーバ(図示せず)に送信し、商品が発送される。なお、カタログサーバ１８と注文サーバ２０と商品発送サーバが別々のサーバからなるのではなく、いくつかのサーバが単一のサーバからなってもよい。

【0016】

［カタログ１２の構成］
図２は、カタログ１２のあるページの一例を示す。カタログは食料品に限らず、日用雑貨、衣料品等多岐に亘っていても良いし、分野毎に異なるカタログとしてもよい。ページの上には、発行日とページ番号が記載されている。発行日に加えて／代えて号数が記載されていても良い。また、分野毎に異なるカタログの場合は、余白に分野が記載されていても良い。図２は商品「パン」に関するページを示す。基本的に１ページはｍ（縦）×ｎ（横）の区画を有し、１つの商品の商品情報が１つ又は複数の区画にほぼ割り当てられる。１ページの区画割は各ページで異なっていても良い。図２の例では、１ページは３行×３列の９個の区画を有し、１商品が１個又は２個の区画に割り当てられる。例えば、１行目の１列目の区画に酵母食パンの商品情報が印刷される。同様に、１行目の２、３列目の２個の区画にこだわりパニーニ、２行目の１列目の区画に食パン、２行目の２列目の区画にバケット、２、３行目の３列目の２個の区画にマーマレード、３行目の１列目の区画にクリームパン、３行目の２列目の区画にクロワッサンの商品情報が印刷される。

【0017】

商品情報は、商品を表す情報であれば、何でも良いが、写真、商品名、申込番号、価格、税込価格等からなることが多い。写真や価格、税込価格は必須ではなく、極端な場合、申込番号と商品名があれば良い。申込番号は商品毎に決められた所定の桁数のシリアル番号で良く、商品番号、品番とも称される。申込番号は目立つように、黒の下地に白で印刷されていても良い。商品の写真、商品名、価格等のサイズは商品毎に可変であるが、申込番号のサイズは全ての商品において統一しても良い。

【0018】

実施形態では、電子機器１４をカタログ１２にかざしてカタログ１２のライブビュー画像を表示することにより、商品を注文することができる。先ず、カタログ１２の少なくとも一部の画像情報を得て、第１辞書データとのパターンマッチングによりカタログ１２の発行日、ページ等を識別する。その後、希望の商品が画面の中央に位置するようにカタログ１２に対する電子機器１４の位置を調整し、画面中央の商品が選択される。図２の例では、区画は矩形の形状であり、ページが区画でぴったり分けられているので、区画の中心を画面の中心に一致させると、希望の商品を画面の中心に簡単に合わせることができる。

【0019】

しかし、カタログの中には、商品情報が印刷される区画が矩形ではなく任意形状の区画で、形状や大きさも商品毎に異なり、商品の写真が他の写真とオーバーラップしている場合もある。このような場合、カタログ上の商品情報の何処あるいは何を画面の中心に合わせるかについての目安が無いと、希望の商品を選択し難い場合がある。そのため、実施形態では、申込番号が画面の中央に位置するように電子機器１４をカタログ１２にかざすことにより、注文商品の決定が行われるように構成されている。注文用紙に記入して販売者に提出する従来手法のカタログには申込番号は必須であるので、そのカタログをそのまま実施形態に利用すれば、カタログ１２に本手法のための追加情報をわざわざ掲載する必要はない。

【0020】

なお、申込番号の代わりに、商品名、価格又は税込価格が画面の中心に位置するように電子機器１４をカタログ１２にかざしても良い。この場合、申込番号は記載されていなくても良い。
図２には図示していないが、商品の簡単な説明も商品情報に含めても良い。１つの商品情報のレイアウトも任意であり、商品毎に商品情報のレイアウトが異なっても良い。例えば、図２には示していないが、ある商品に関して、写真の上に商品名、価格、税込価格が印刷されても良いし、商品名、価格、税込価格の文字、数字のフォントサイズが揃っていなくても良い。商品毎に商品の品名、価格、税込価格の文字、数字のフォントサイズは異なっていても良い。

【0021】

［電子機器１４の構成］
図３は電子機器１４の一例を示すブロック図である。ここでは、電子機器１４はスマートフォン又はタブレット（以下、スマートフォンと称する）からなる例を説明する。
電子機器１４は、プロセッサ（ＣＰＵ）を含むシステムコントローラ４２を備える。主メモリ４４、ＢＩＯＳ－ＲＯＭ５０、ＨＤＤ又はＳＳＤからなるストレージデバイス５２、オーディオコーデック５４、グラフィクスコントローラ６２、タッチパネル７０、ＵＳＢ（登録商標）コネクタ７２、無線ＬＡＮデバイス７４、ブルートゥース（登録商標）デバイス７６、カメラ７８、バイブレータ８０、メモリカードコントローラ８２、エンベデッドコントローラ／キーボードコントローラ（ＥＣ／ＫＢＣ）８４等がシステムコントローラ４２に接続される。

【0022】

システムコントローラ４２はストレージデバイス５２から主メモリ４４にロードされる様々なプログラムを実行する。これらプログラムは、オペレーティングシステム（ＯＳ）４６、アプリケーションプログラムを含む。アプリケーションプログラムは、注文リスト作成プログラム４８、注文リスト送信プログラム４９を含む。システムコントローラ４２は不揮発性メモリであるＢＩＯＳ－ＲＯＭ５０に格納された基本入出力システム（ＢＩＯＳ）も実行する。ＢＩＯＳはハードウェア制御のためのシステムプログラムである。

【0023】

オーディオコーデック５４は、再生対象のデジタルのオーディオ信号をアナログのオーディオ信号に変換して、スピーカ６０に供給する。また、オーディオコーデック５４は、マイク５６から入力されるアナログのオーディオ信号をデジタル信号に変換する。オーディオ信号は、確認・アラート等に関する合成音声や電子音を含む。

【0024】

グラフィックスコントローラ６２は、電子機器１４のディスプレイモニタとして使用されるＬＣＤ（液晶表示器）６４を制御する。ＬＣＤ６４の画面上にタッチパネル（例えば静電容量式のタッチパネル）７０が重ねられ、タッチパネル７０は画面に指等が近接又は接触することを検出する。

【0025】

ＵＳＢコネクタ７２は、ＵＳＢケーブルを介して外部機器に接続され、外部機器と電子機器１４の間でデータが送受信される。外部機器として、ＩＥＥＥ８０２．３規格の有線ＬＡＮ通信によりネットワーク１６に接続される有線ＬＡＮデバイス７８を用いても良い。あるいは、外部機器の例としては、後述するバッテリ９２を充電する又は電子機器１４に電力を供給する電源装置もある。無線ＬＡＮデバイス７４は、ネットワーク２２との接続のためにＩＥＥＥ８０２．１１規格の無線ＬＡＮ通信を実行する。ブルートゥースデバイス７６は、外部機器との接続のためにブルートゥース規格の無線通信を実行する。このように、電子機器１４とネットワーク２２との接続は無線通信によってもよいし、有線通信によってもよい。

【0026】

カメラ７８は電子機器１４のカメラ機能がオンの場合、被写体の画像情報を出力し、ＬＣＤ６４でライブビュー画像が表示される。
バイブレータ８０は振動することにより、電子機器１４のユーザに予め決められた情報を知らせることができる。バイブレータ８０の振動周波数は可変であり、振動周波数を変えること又は振動回数を変えることに種々の情報を出力することができる。情報の例は、電子機器１４でカタログ１２を撮影して注文する際、注文準備が完了したことや注文が完了したこと等を含む。

【0027】

メモリカードコントローラ８２は、記憶媒体、例えばＳＤカード（登録商標）等のメモリカードにデータを書き込み、メモリカードからデータを読み出す。
ＥＣ／ＫＢＣ８４は電力管理コントローラであり、ワンチップマイクロコンピュータとして実現されていても良い。ＥＣ／ＫＢＣ８４は、電源スイッチ８６の操作に応じて電子機器１４をパワーオン又はパワーオフする機能を有する。パワーオン及びパワーオフの制御は、ＥＣ／ＫＢＣ８４と電源回路９０との協働動作によって実行される。ＥＣ／ＫＢＣ８４はオペレータ端末１２がパワーオフされている期間中も、バッテリ９２又はＵＳＢコネクタ７２を介する外部機器からの電力によって動作する。電源回路９０は、バッテリ９２からの電力又は外部機器からの電力を用いて、各コンポーネントへ供給すべき電力を生成する。

【0028】

［カタログ識別処理］
注文は、主にカタログ識別と商品識別の２つの処理を含む。なお、注文の前に本人認証が行われ、注文後に決済処理が行われるが、これらは本発明に直接関係しないので、これらの説明は省略する。
先ず、図４乃至図９を参照して、カタログ識別処理を説明する。カタログ識別処理はシステムコントローラ４２が注文リスト作成プログラム４８を実行することにより開始される。上述したように、カタログ１２には発行日が異なる版があり、最新版以外の画像情報では注文できないようになっている。そのため、最新版のカタログ１２であることを識別することが必要である。また、カタログ１２は複数ページの場合もあるので、カタログ１２のページを識別することも必要である。

【0029】

なお、電子機器１４にはカタログサーバ１８から最新版のカタログ１２の第１辞書データ２２と第２辞書データ２４が配信され、これらのデータはストレージデバイス５２に格納されているとする。配信された新しい辞書データは過去の辞書データに上書き（過去の辞書データが削除）され、現在有効である最新の辞書データのみが格納されても良いし、何号か前までの辞書データが別々に格納されても良い。

【0030】

第１辞書データ２２の一例を図４に示す。第１辞書データ２２は、発行日毎のページ毎の画像情報の特徴情報からなる。カタログサーバ１８は、例えば各ページのカタログ１２を撮影して得た各頁の画像情報からの特徴点を示す特徴情報を抽出し、第１辞書データ２２を生成する。

【0031】

第２辞書データ２４の一例を図５に示す。第２辞書データ２４は、発行日毎のページ毎の商品毎の商品情報のリストからなる。カタログサーバ１８は、各ページのカタログ１２を発行する際、元となる電子データから第２辞書データ２４を生成する。商品情報は、申込番号と、申込番号の印刷領域、商品名、価格、税込価格からなる。申込番号の印刷領域は、図６に示すように、ページの中心を原点とする２次元座標系における申込番号の印刷領域の左端、右端のｘ座標、上端、下端のｙ座標からなる。上述したように、申込番号の代わりに商品名、価格、税込価格を画面の中央に位置するように電子機器１４をカタログ１２にかざすことにより商品を選択する場合は、商品名、価格、税込価格の印刷領域の左端、右端のｘ座標、上端、下端のｙ座標が申込番号の印刷領域の代わりに第２辞書データ２４に含まれても良い。さらに、上述したように、図２に示すように、ページが矩形の区画でぴったり分けられているようなカタログの場合、申込番号の代わりにカタログ上の商品区画の左右上下の端部の座標が第２辞書データ２４に含まれても良い。

【0032】

図７のフローチャートを参照して、カタログ識別処理を説明する。
ブロック１０２で、ユーザは、カメラ４２がカタログ１２のあるページの少なくとも一部分を撮影するように電子機器１４をカタログ１２の上にかざすことにより、システムコントローラ４２は、カタログ１２のあるページの少なくとも一部分のライブビュー画像をＬＣＤ６４で表示させる。

【0033】

ブロック１０４で、システムコントローラ４２は、ＬＣＤ４６で表示されているライブビュー画像の画像情報を解析し、特徴点を抽出することにより、ライブビュー画像の特徴情報を求める。
ブロック１０６で、システムコントローラ４２は、ライブビュー画像の特徴情報とストレージデバイス５２に保存されている第１辞書データ２２の各ページの特徴情報のパターンマッチングを行い、ライブビュー画像の特徴情報と一致する特徴情報を含む第１辞書データ２２のページを探す。第１辞書データ２２はページ全体の特徴情報を含んでいるが、ページの一部分のライブビュー画像の特徴情報とのパターンマッチングでも一致するページを探すことができる場合がある。例えば、ライブビュー画像の対象であるページの一部分の画像が１つのページにしか存在しない場合は、ページの一部分のライブビュー画像の特徴情報に基づくパターンマッチングによっても一致するページを探すことができる。これ以外の場合は、ページ全体のライブビュー画像の特徴情報が必要な場合がある。

【0034】

ブロック１０８で、システムコントローラ４２は、パターンマッチングの結果、ライブビュー画像に一致する第１辞書データのページがあるか否か判定する。一致するページがあると判定された場合、ユーザが撮影しているカタログのページと当該一致するページがある、例えば、ユーザが撮影しているカタログのページは６月４日発行のカタログの１ページであると識別される。第１辞書データ２２は最新号のカタログのみならず過去のカタログの特徴情報を含む場合もあるので、ブロック１１２で、システムコントローラ４２は、一致するページが最新号のカタログのページであるか否か判定する。この判定によって、ユーザが過去のカタログを使って誤って注文しようとする誤操作を防ぐことができる。

【0035】

ブロック１１２で、一致するページが最新号のカタログのページでないと判定された場合、ブロック１１４で、システムコントローラ４２は、「このカタログの有効期間は終了しています。最新のカタログを使ってやり直して下さい。」のようなカタログ取り替えガイダンステキストをＬＣＤ６４で表示させる。システムコントローラ４２は、ブロック１１４で、テキスト表示に加えて又はテキスト表示に代えて、ガイダンスメッセージの合成音声をスピーカ６０から出力させる、所定の電子音をスピーカ６０から出力させる、又は所定の周波数で所定回数バイブレータ８０をオンし、電子機器１４を所定の周波数で所定回数振動させても良い。

【0036】

ユーザがカタログを最新号のカタログに取り替えた後、ブロック１０２以下の処理が繰り返される。
ブロック１１２で、一致するページが最新号のカタログのページであると判定された場合、ブロック１１６で、システムコントローラ４２は、一致するページ（例えば、６月４日発行のカタログの１ページ）を注文ページであると決定する。ブロック１１８で、カタログ識別完了（注文ページの決定）をユーザに知らせるために、システムコントローラ４２は、所定の周波数で一定時間バイブレータ８０をオンし、電子機器１４を所定の周波数で一定時間振動させる、又はガイダンスメッセージ又は報知音をスピーカ６０から出力させる。同様に、ブロック１２２でも、カタログ識別完了をユーザに認識させるために、システムコントローラ４２は、図８又は図９に示すように、ＬＣＤ６４で表示されているカタログのライブビュー画像内の申込番号の印刷領域の縁及びライブビュー画像の縁に第１色（例えば、青色）の枠を表示させる。図８は、カメラ４２がカタログ１２のページの一部分を撮影する場合のＬＣＤ６４の表示画像の一例を示す。図９は、カメラ４２がカタログ１２のページ全体を撮影する場合のＬＣＤ６４の表示画像の一例を示す。この後、図１０のフローチャートに示す商品識別処理に進む。なお、ブロック１１８とブロック１２２の順番はこの逆でも良い。

【0037】

ブロック１０８で、一致するページが無いと判断された場合、ブロック１０２以下の処理が繰り返される。
［商品識別処理］
図１０は、図７のブロック１２２に後続する商品識別処理を示すフローチャートである。
ブロック１３２で、システムコントローラ４２は、「購入したい商品の申込番号を画面の中央にしてスマートフォンをカタログから１０ｃｍほどの距離に近づけて下さい。」のような商品選択ガイダンステキストをＬＣＤ６４で表示させる。システムコントローラ４２は、ブロック１３２で、テキスト表示に加えて又はテキスト表示に代えて、ガイダンスメッセージの合成音声をスピーカ６０から出力させる、所定の電子音をスピーカ６０から出力させる、又は所定の周波数で所定回数バイブレータ８０をオンし、電子機器１４を所定の周波数で所定回数振動させても良い。

【0038】

システムコントローラ４２は、ブロック１０６でパターンマッチングによりライブビュー画像と一致する第１辞書データのページを検出すると、その時点でカメラ７８の撮影範囲の中心がカタログ１２の何処に位置しているかが分かる。その後、カメラ７８の構図が変わり、撮影範囲が変化しても、常に撮影範囲の中心がカタログ１２の何処に位置しているかを追跡している。そのため、商品選択のためにいずれかの商品をアップで撮影するブロック１３４においても、システムコントローラ４２は、申込番号の印刷領域が画面中央に位置するか否かを判定することができる。

【0039】

カタログ１２上の申込番号の印刷領域のサイズは既知であるので、ライブビュー画像上の申込番号の印刷領域の表示サイズから、カタログ平面からの高さを算出できる。ブロック１３４では、購入したい商品の申込番号を画面の中央にして、電子機器１４をカタログ１２から１０ｃｍ以下の距離に近づけたことが判定される。ここで、電子機器１４とカタログ１２との距離１０ｃｍは一例であり、他の任意の所定値でもよい。

【0040】

ブロック１３４で、購入したい商品の申込番号が画面の中央ではなく、電子機器１４がカタログ１２から１０ｃｍ以下でもないことが判定されると、ブロック１３６で、システムコントローラ４２は、検出中のカタログがライブビュー画面上で追跡されているか否か、すなわち撮影範囲の中心がカタログ１２の何処に位置しているかが追跡されているか否かを判定する。追跡されている場合、ブロック１３４の処理が繰り返され、他の商品が選択可能である。追跡されてない場合、図７のブロック１０２に戻り、カタログ識別処理が繰り返される。

【0041】

購入したい商品の申込番号を画面の中央に位置するようにして電子機器１４をカタログ１２から１０ｃｍ以下の距離に近づけると、ブロック１３４の判定結果がイエスとなり、ブロック１３８で、システムコントローラ４２は、商品選択をユーザに知らせるために、所定の周波数でバイブレータ８０を一定時間あるいは所定回数オンし、電子機器１４を所定の周波数で一定時間あるいは所定回数振動させる又は報知音をスピーカ６０から出力させる。システムコントローラ４２は、ブロック１３８で、報知音に加えて又は報知音に代えて、ガイダンスメッセージの合成音声をスピーカ６０から出力させても良い。

【0042】

システムコントローラ４２は、ブロック１４０で、この状態でかつカメラ７８の撮影構図が大きく変わらないよう静止させた状態で一定時間（例えば、０．５秒）が経過したか否か判定する。ブロック１４０の判定結果がノーの場合、すなわち一定時間が経過していない場合、システムコントローラ４２は、カメラ７８がカタログ１２から１０ｃｍより離れたかを判定する。カメラ７８がカタログ１２から１０ｃｍより離れていない場合、ブロック１４０の判定が繰り返される。カメラ７８がカタログ１２から一旦１０ｃｍより離れた場合、処理はブロック１３４に戻り、上述の商品識別処理が繰り返され、他の商品が選択可能である。ブロック１４０で一定時間の経過を判定するのは、ユーザが意図しない商品を選択した場合、その商品を注文しないようにするためである。一定時間が経過するまでは選択が確定しないようになっており、この間に申込番号枠を画面から外し、意図しない商品の注文を避けることができる。

【0043】

ブロック１４０で一定時間が経過したことが判定されると、ブロック１４２で、システムコントローラ４２は、画面中央に位置している申込番号に対応する商品を暫定注文リスト２６Ａ（後述する）に追加する。暫定注文リストはストレージデバイス５２に保存される。ブロック１４４で、システムコントローラ４２は、商品選択の確定、すなわち商品識別完了をユーザに知らせるために、画面中央に表示されている申込番号の印刷領域の縁及びライブビュー画像の縁の枠の色を第２色（例えば、赤色）に変え、注文商品名と合計金額をＬＣＤ６４で表示させる。この時のＬＣＤ６４の表示の一例を図１１の斜線部に示す。中央の申込番号００６の商品が選択されると、「申込番号００６のクロワッサンを注文リストに入れました」のようなテキストがカタログ画面の一番下の行に表示され、「計６１３円」のような合計金額がカタログ画面の一番上の行の右端に表示される。

【0044】

なお、商品を暫定注文リストに追加した後、図７に示すカタログ識別処理が再び行われる場合、注文済みの商品については、図７のブロック１２２でライブビュー画像内の申込番号の印刷領域の縁に表示される枠の色は、注文済みを示す第２色である。
ブロック１４６でも、システムコントローラ４２は、商品選択の確定をユーザに知らせるために、所定の周波数でバイブレータ８０を一定期間あるいは所定回数オンし、電子機器１４を所定の周波数で一定期間あるいは所定回数振動させる又は報知音をスピーカ６０から出力させる。システムコントローラ４２は、ブロック１４６で、報知音に加えて又は報知音に代えて、ガイダンスメッセージの合成音声をスピーカ６０から出力させても良い。

【0045】

ブロック１４８で、システムコントローラ４２は、カメラ７８がカタログ１２から１０ｃｍより離れたかを判定する。一旦カメラ７８がカタログ１２から離れた後は、処理はブロック１３４に戻り、上述の商品識別処理が繰り返され、他の商品が選択される。なお、同じ商品を２個以上注文したい場合は、上述した商品識別処理が同じ商品に関して繰り返されれば良い。カメラ７８がカタログ１２から１０ｃｍより離れない場合、処理は終了する。

【0046】

なお、購入したい商品の申込番号を画面の中央に位置する際の目安として、画面の中央に所定サイズの枠を表示し、その枠と申込番号の印刷領域が合致するように電子機器１４を動かしても良い。
［注文確定処理］
図１２はストレージデバイス５２に記憶されている暫定注文リスト２６Ａの一例を示す。この実施形態では、暫定注文リスト２６Ａが作成されても、自動的に注文が確定し、注文が販売者に送信されるものではない。カタログ１２が更新される前まで暫定注文リスト２６Ａの変更（追加、削除等）が可能である。

【0047】

注文リスト送信プログラム４９を実行すると、図１２に示すような暫定注文リスト２６Ａ（発行日とページは削除され、代わりに個数の右に＋ボタンと－ボタンが追加される）を表示しても良い。暫定注文リスト２６Ａが画面に収まらない場合はスクロールされる。＋ボタンと－ボタンをタッチすることにより、新たな注文の前に現在の注文個数や注文商品を変更することができる。個数を０にすることにより、その商品の注文自体をキャンセルすることができる。

【0048】

暫定注文リスト２６Ａの送信（注文確定）のために、図１２に示すような暫定注文リスト２６Ａが表示され、ユーザが注文確定操作をすると、暫定注文リスト２６Ａが注文サーバ２０に送信され、確定した注文リスト２６とされるように構成されても良い。なお、ユーザによる注文確定操作を必要とせず、所定の期日になったら自動的に注文が確定されるように構成されても良い。

【0049】

実施形態によれば、電子機器１４が備えるカメラ７８のカメラフレーム内にカタログ１２の少なくとも一部を配すると、カメラ７８から得られたカタログのライブビュー画像に基づいてカタログ１２が識別される。電子機器１４は、カタログ１２の各ページに掲載される商品の位置情報を示す商品情報を格納する第２辞書データ２４を記憶している。カタログ１２が識別されると、電子機器１４は、カメラ７８の撮影範囲の中心がカタログ１２の何処に位置しているかが分かる。その後、カメラ７８の撮影範囲の中心に購入したい商品を配すると、カメラ７８から得られたカタログのライブビュー画像に基づいて商品を識別することができる。

【0050】

このため、電子機器１４をカタログ１２にかざすだけで、商品選択、すなわち注文ができる。カタログ１２という紙媒体に掲載されている商品を少ない動作かつ直感的な操作で電子的に選択することができる。
［他の実施形態］
第１実施形態では、商品識別時は図１１に示すように、カタログ画像の上端及び／又は下端に合計金額と選択した商品名が表示される、すなわち選択結果のみが表示される。そして、注文の変更は別のユーザインターフェースで行われる。また、商品を複数個選択するためには、同じ動作を繰り返す必要がある。

【0051】

図１３は、第２実施形態における商品識別時のユーザインターフェース画面の例を示す。図１３では、図１１に示す情報に加えて図１２に示すような暫定注文リスト２６Ａ（発行日とページは削除され、代わりに個数の右に＋ボタンと－ボタンが追加される）が画像の上にオーバーラップして表示される。暫定注文リスト２６Ａの視認を妨害しないように、カタログ画像は低輝度で表示される。あるいは、カタログ画像の表示は停止して、暫定注文リスト２６Ａのみを表示しても良い。この状態で、＋ボタンをタッチすることにより、注文直後に注文個数を増やすこと又は他の商品を選択することができる。あるいは、－ボタンをタッチすることにより個数を０にすると、その商品の注文自体をキャンセルすることができる。

【0052】

図１３は、ブロック１１６で一致するページを決定した後、一致したページに対応する暫定注文リスト２６Ａが表示され、暫定注文リスト２６Ａ上で＋ボタンをタッチすることにより、食パンを追加選択した例を示す。食パンの選択時にも、図１０のブロック１４６と同様に、振動、音の出力により商品の選択をユーザに知らせてもよい。

【0053】

なお、図１３はライブビュー画像に基づいて１つの商品を選択した後のユーザインターフェース画面の他の例であるが、カタログ１２の識別後、１つの商品も選択していない時に、図１３のようなユーザインターフェース画面（この場合、全ての商品の個数は０である）を表示させても良い。ライブビュー画像はカタログの識別のために用いられるが、商品識別のためには用いられず、商品識別は全て暫定注文リスト上で＋ボタン、－ボタンをタッチすることにより行っても良い。

【0054】

第１、第２実施形態では、電子機器１４は撮影機能と表示機能と通信機能を備えるスマートフォンとしたが、他の電子機器を用いた実施形態を図１４に示す。
図１４は、撮影機能と通信機能を備えるが、表示機能は備えない電子機器としてペン型カメラ４０２を用いる第３実施形態を示す。ペン型カメラ４０２の電気的な構成は図３に示したブロック回路図と略同じであるが、ＬＣＤ６４、グラフィクスコントローラ６２、タッチパネル７０を備えない点が異なる。ペン型カメラ４０２は無線又はケーブルによりタッチパネル機能を有する外部ディスプレイ４０４に接続されても良い。図１４の実施形態は表示部が電子機器とは別体であるだけで、第１、第２実施形態と動作は同じである。

【0055】

すなわち、先ず、図１４（ａ）に示すようにカタログ１２のページ全体あるいは一部をペン型カメラ４０２で撮影すると、カタログ１２が識別される。その後、図１４（ｂ）に示すように、購入したい商品の申込番号を画面の中央に位置するようにカタログ１２のページの一部をペン型カメラ４０２で撮影すると、商品が識別され、注文決定テキストが外部ディスプレイ４０４で表示される。注文確定のための暫定注文リストも外部ディスプレイ４０４で表示される。

【0056】

なお、ペン型カメラ４０２はバイブレータ８０、スピーカ６０を備えるので、振動及び／又は音の発生により、カタログ識別完了、商品識別完了、アラート等の状況をユーザに伝えることができるので、外部ディスプレイ４０４は必須ではなく、ペン型カメラ４０２のみからなるシステムでも良い。ライブビュー画像が無いと、ペン型カメラ４０２の撮影範囲が判り難い場合があるが、全体を撮影する又は商品をアップで撮影する際のペン型カメラ４０２とカタログの距離が既知であるので、その距離に基づいて撮影範囲を認識することができる。

【0057】

さらに、電子機器１４として、撮影機能と表示機能と通信機能を備えるメガネ型ウェアラブル機器を用いても良い。メガネ型ウェアラブル機器は、スマートフォンと形態・外観は異なるが、撮影機能、表示機能、通信機能を備えるので、上述の実施形態と動作は同じである。

【0058】

メガネ型ウェアラブル機器のハンズフリー機能を利用すると、上述した動作とは異なる動作も可能である。図１５～図１６を参照して、上述の商品識別とは異なる商品識別を実施する第４実施形態を説明する。
図１５（ａ）に示すように、電子機器としてメガネ型のウェアラブル機器４１２を用いても良い。メガネ型のウェアラブル機器４１２は、テンプルにカメラ４１４を備え、視線上に表示部４１６を備え、通信機能も有する。カメラ４１４は第１実施形態のカメラ７８と等価であり、表示部４１６は第１実施形態のＬＣＤ６４と等価である。第１実施形態と同様に、カメラ４１４を用いてカタログ１２のあるページの少なくとも一部のライブビュー画像を得て、カタログ１２を識別する。カタログ識別処理のフローチャートは図７に示す第１実施形態と同じである。

【0059】

図１６のフローチャートを参照して第４実施形態の商品識別処理を説明する。ウェアラブル機器４１２を装着したユーザがカタログ１２を視野に入れるだけで、カメラ４１４はカタログ１２のライブビュー画像を出力する。第１実施形態と同様に、カメラ４１４を用いてカタログ１２のあるページの少なくとも一部のライブビュー画像を得て、カタログ１２を識別する。カタログ識別処理のフローチャートは図７に示す第１実施形態と同じである。

【0060】

カタログ１２の識別が完了（図７のブロック１２２）すると、ブロック３０２で、システムコントローラ４２は、識別したカタログ画像を第１画像として主メモリ４４に書き込む。ブロック３０４で、システムコントローラ４２は、「購入したい商品を指差して下さい。」のような商品選択ガイダンステキストを表示部４１６で表示させる。ウェアラブル機器４１２がスピーカを備えている場合、システムコントローラ４２は、ブロック３０４で、テキスト表示に加えて又はテキスト表示に代えて、ガイダンスメッセージの合成音声をスピーカから出力させる、所定の電子音をスピーカから出力させても良い。

【0061】

システム３０６で、システムコントローラ４２は、カタログ１２のライブビュー画像（第２画像）と主メモリ４４から読み出した第１画像とを比較する。
システムコントローラ４２は、システム３０６で、カタログ１２のライブビュー画像（第２画像）と主メモリ４４から読み出した第１画像とを比較し、システム３０８で、時間差のある第１画像と第２画像に差分があるか否か判定する。差分が無い場合、処理はブロック３０６に戻る。ブロック３０４で表示される商品選択ガイダンステキストに従って、図１５(ｂ)に示すように、購入したい商品をユーザが指２１８で指差すと、第１画像と第２画像に差分が生じる。

【0062】

第１画像と第２画像に差分がある場合、ブロック３１２で、システムコントローラ４２は、第２画像内の差分箇所に最も近い位置の申込番号を検索し、当該申込番号に対応する商品を暫定注文リスト２６Ａに追加する。
ブロック３１４で、システムコントローラ４２は、商品選択の確定、すなわち商品識別完了をユーザに知らせるために、申込番号の印刷領域の縁及びライブビュー画像の縁の枠の色を第２色（例えば、赤色）に変え、注文決定テキストと合計金額をＬＣＤ６４で表示させる。

【0063】

ブロック３１６で、システムコントローラ４２は、カメラ７８がカタログ１２から１０ｃｍより離れたかを判定する。一旦カメラ７８がカタログ１２から離れた後は、処理はブロック３０６に戻り、上述の商品識別処理が繰り返され、他の商品が選択される。なお、同じ商品を２個以上注文したい場合は、上述した商品識別処理が同じ商品に関して繰り返されれば良い。カメラ７８がカタログ１２から１０ｃｍより離れない場合、処理は終了する。

【0064】

図１７は、ウェアラブル機器４１２を利用する第５実施形態の商品識別処理を説明するための図である。図１７（ａ）はカタログ識別処理を示す図であり、カタログ識別処理は、図１７（ａ）に示す第４実施形態と同じである。第４実施形態の商品識別処理は、ブロック３０８に示すように、時間差のある第１画像と第２画像に差分が検出されるまで、商品を指差している必要がある。第５実施形態は、指差しの代わりに、図１７（ｂ）に示すように、カタログ１２上の購入したい商品をサインペン等で印（形状・大きさ・色は何でも良い）をつけることが要求される。印は単一の商品に限らず、複数の商品につけても良い。印をつける間、ユーザはウェアラブル機器４１２を装着していても、装着していなくても良い。

【0065】

図１７（ｃ）に示すように、購入したい商品にサインペン等で印がつけられたカタログ１２をカメラ４１４の視野に入れると、第４実施形態と同様に、サインペン等で印がつけられる前のカタログ識別時のカタログの第１画像と、印がつけられた後のカタログの第２画像との差分に基づいて商品が選択される。第５実施形態では、複数の商品が同時に選択されることも可能である。

【0066】

なお、第５実施形態はメガネ型ウェアラブル機器に限らず、スマートフォン、ペン型カメラ等の電子機器を用いても実現可能である。
上述の実施形態では、ユーザが電子機器を用いて紙媒体であるカタログのあるページの少なくとも一部の画像情報を電子機器に取り込みカタログを識別し、次に、ユーザが電子機器を用いてそのページ内の購入したい商品を再び撮影して商品を識別する。しかし、再撮影は紙媒体のカタログを対象とするのではなく、電子機器が取り込んだ画像情報をユーザがディスプレイに表示させ、画面上のカタログ画像内の購入したい商品を撮影して商品を識別するように構成しても良い。さらに、カタログを識別するためにユーザが電子機器を用いて紙媒体であるカタログを撮影する代わりに、販売者がカタログの画像情報をユーザに提供し、ディスプレイに表示されたカタログ画像をユーザが撮影しても良い。

【0067】

本実施形態による処理はコンピュータプログラムによって実現することができるので、このコンピュータプログラムを格納したコンピュータ読み取り可能な記憶媒体を通じてこのコンピュータプログラムをコンピュータにインストールして実行するだけで、本実施形態と同様の効果を容易に実現することができる。

【0068】

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に亘る構成要素を適宜組み合せてもよい。

【符号の説明】

【0069】

１２…カタログ、１４…電子機器、１６…ネットワーク、１８…カタログサーバ、２０…注文サーバ、２２…第１辞書データ（特徴情報）、２４…第２辞書データ（商品情報）、２６…注文リスト。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】