特許 6924662 情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6924662

(24)【登録日】2021年8月4日

(45)【発行日】2021年8月25日

(54)【発明の名称】情報処理装置

(51)【国際特許分類】

   G06Q 30/06 20120101AFI20210812BHJP

   G06F 3/0484 20130101ALI20210812BHJP

   G06T 19/00 20110101ALI20210812BHJP

【ＦＩ】

   G06Q30/06

   G06F3/0484 120

   G06T19/00 600

【請求項の数】2

【全頁数】12

(21)【出願番号】特願2017-185076(P2017-185076)

(22)【出願日】2017年9月26日

(65)【公開番号】特開2019-61453(P2019-61453A)

(43)【公開日】2019年4月18日

【審査請求日】2020年2月13日

(73)【特許権者】

【識別番号】392026693

【氏名又は名称】株式会社ＮＴＴドコモ

(74)【代理人】

【識別番号】110000752

【氏名又は名称】特許業務法人朝日特許事務所

(72)【発明者】

【氏名】中尾 直之

(72)【発明者】

【氏名】石田 邦臣

(72)【発明者】

【氏名】木村 美由紀

【審査官】 青柳 光代

(56)【参考文献】

【文献】 特開２０１４−０７１４９９（ＪＰ，Ａ）

【文献】 特開２０１２−２５６１８１（ＪＰ，Ａ）

【文献】 特表２０１６−５０３５３８（ＪＰ，Ａ）

【文献】 国際公開第２０１５／１４５５４４（ＷＯ，Ａ１）

【文献】 国際公開第２０１５／１５９６０１（ＷＯ，Ａ１）

【文献】 特開２０１７−０７６３３８（ＪＰ，Ａ）

【文献】 特開２０１４−０５６４１６（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｑ １０／００ − ９９／００

Ｇ１６Ｈ １０／００ − ８０／００

Ｇ０６Ｆ ３／０４８４

Ｇ０６Ｔ １９／００

(57)【特許請求の範囲】

【請求項1】

商品が陳列されていない陳列用領域を含む現実空間を撮像した画像において、当該現実空間における当該陳列用領域に商品画像を重畳表示させる第１表示制御部と、
現実空間において重畳表示された前記商品画像を、現実空間において商品を収容するための、各々のユーザに対応した収容領域に入れる第１の行為を行うと、現実空間において当該収容領域に記されているＩＤに基づいて、当該商品画像に対応する商品を注文するための処理を行う処理部と、
複数の前記商品画像を現実空間における前記収容領域に入れる前記第１の行為が行われた場合に、当該収容領域内に積まれた当該複数の商品画像を現実空間である当該収容領域に重畳表示させる第２表示制御部と
を備えることを特徴とする情報処理装置。

【請求項2】

前記処理部は、現実空間である前記収容領域に重畳表示された前記商品画像を、現実空間である前記収容領域から現実空間である前記収容領域の外へと取り出す第２の行為をユーザが行うと、現実空間において当該収容領域に記されているＩＤに基づいて、当該商品画像に対応する商品の注文を取り消すための処理を行う
ことを特徴とする請求項１記載の情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像画像に画像を重畳表示するための技術に関する。

【背景技術】

【0002】

いわゆるＡＲ（拡張現実）は、現実空間の撮像画像に対して情報の付加・削除・強調・減衰を行うことで、人間が見た現実の世界を拡張するものである。例えば特許文献１には、マネキンに服を着せたような合成画像や樅の木にクリスマスの飾り付けがされた合成画像を生成することが開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１０−１８７０５２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、例えばスーパーマーケットのような店舗で買い物を行う場合、ユーザは陳列された商品をカートに入れてレジまで運び、そこで会計手続きを行う、という手順が一般的である。本発明は、ユーザの眼の前に実際の商品が無くても、その商品を視認して注文できるような買い物の仕組みを提供する。

【課題を解決するための手段】

【0005】

上記課題を解決するため、本発明は、商品が陳列されていない陳列用領域を含む現実空間を撮像した画像において、当該現実空間における当該陳列用領域に商品画像を重畳表示させる第１表示制御部と、現実空間において重畳表示された前記商品画像を、現実空間において現実空間において商品を収容するための、各々のユーザに対応した収容領域に入れる第１の行為を行うと、現実空間において当該収容領域に記されているＩＤに基づいて、当該商品画像に対応する商品を注文するための処理を行う処理部と、複数の前記商品画像を現実空間における前記収容領域に入れる前記第１の行為が行われた場合に、当該収容領域内に積まれた当該複数の商品画像を現実空間である当該収容領域に重畳表示させる第２表示制御部とを備えることを特徴とする情報処理装置を提供する。

【0006】

前記処理部は、現実空間である前記収容領域に重畳表示された前記商品画像を、現実空間である前記収容領域から現実空間である前記収容領域の外へと取り出す第２の行為をユーザが行うと、現実空間において当該収容領域に記されているＩＤに基づいて、当該商品画像に対応する商品の注文を取り消すための処理を行うようにしてもよい。

【発明の効果】

【0015】

本発明によれば、ユーザの眼の前に実際の商品が無くても、その商品を視認して注文できるようになる。

【図面の簡単な説明】

【0016】

【図1】本発明の一実施形態に係る情報処理システムの構成を例示する図である。

【図2】撮像表示装置のハードウェア構成の一例を示すブロック図である。

【図3】情報処理装置のハードウェア構成の一例を示すブロック図である。

【図4】情報処理装置に記憶されている商品画像ＤＢの一例を示す図である。

【図5】情報処理システムの機能構成の一例を示すブロック図である。

【図6】情報処理システムの動作の一例を示すシーケンスチャートである。

【発明を実施するための形態】

【0017】

［構成］
図１は、本実施形態の情報処理システム１の一例を示す図である。情報処理システム１は、いわゆるＡＲ（拡張現実）を実現するための処理を行う情報処理装置１０と、画像の撮像及び表示を行う撮像表示装置２０と、これら情報処理装置１０及び撮像表示装置２０を通信可能に接続するネットワーク９０とを備えている。ネットワーク９０は、例えばＬＡＮ（Local Area Network）又はＷＡＮ（Wide Area Network）、若しくはこれらの組み合わせであり、有線区間又は無線区間を含んでいる。なお、図１には、情報処理装置１０及び撮像表示装置２０を１つずつ示しているが、これらはそれぞれ複数であってもよい。

【0018】

情報処理装置１０は、撮像表示装置２０によって撮像された現実空間の撮像画像を取得し、その現実空間に対して付加的な画像を重畳した状態で表示するよう、撮像表示装置２０を制御する。具体的には、情報処理装置１０は、ユーザがスーパーマーケット等の店舗で見ている、商品の無い陳列棚において様々な商品を示す商品画像を重畳した状態で撮像表示装置２０に表示させる。これにより、ユーザは自らの目の前に現実の商品が存在している場合と同様に、その大きさ、色又は質感等を確かめるなどの観察を行うことが可能となる。また、情報処理装置１０は、店舗において注文を記録し、その注文に応じた商品をユーザに提供し、その商品に関する代金の会計手続きを行うという一連の処理を行う注文処理システム（図示略）に接続されている。情報処理装置１０は、重畳表示された商品画像に対してユーザが第１の行為を行うと、その商品画像に対応する商品を注文するための処理を行う。ここで、商品を注文するための処理とは、情報処理装置１０が、ユーザの上記行為により選択された商品を注文処理システムに通知するなどの、ユーザに商品を提供して会計手続を行うための処理である。このように、情報処理システム１は、ＡＲ（拡張現実）の技術を用いて、商品がない陳列棚にあたかも商品が存在するかのようにユーザに見せ、さらにユーザの行為に応じて商品を選択して注文するための処理を行うようになっている。

【0019】

図２は、撮像表示装置２０のハードウェア構成を例示する図である。撮像表示装置２０は、例えばグラス型、ヘッドマウントディスプレイ型又はコンタクトレンズ型のウェアラブルコンピュータ、或いは、スマートフォン又はタブレットなどの携帯型コンピュータである。ＡＲを実現する装置には、現実空間の撮像画像を表示する表示面においてＡＲオブジェクトと呼ばれる付加的な画像を撮像画像に重畳して表示するタイプと、ユーザの眼の前に配置された光透過型の表示面において、ユーザから表示面を介して見える現実空間の所定の位置に重なる表示面上の位置にＡＲオブジェクトを表示するタイプとがあるが、撮像表示装置２０はいずれもタイプであってもよい。いずれにしろ、撮像表示装置２０は、ＡＲオブジェクトを現実空間に重畳表示する装置として機能する。

【0020】

撮像表示装置２０は、ＣＰＵ２０１（Central Processing Unit）、ＲＯＭ（Read Only Memory）２０２、ＲＡＭ（Random Access Memory）２０３、補助記憶装置２０４、通信ＩＦ２０５、撮像部２０６、表示部２０７及び操作部２０８を有する。

【0021】

ＣＰＵ２０１は、各種の演算を行うプロセッサである。ＲＯＭ２０２は、例えば撮像表示装置２０の起動に用いられるプログラム及びデータを記憶した不揮発性メモリである。ＲＡＭ２０３は、ＣＰＵ２０１がプログラムを実行する際のワークエリアとして機能する揮発性メモリである。補助記憶装置２０４は、例えばＨＤＤ（Hard Disk Drive）又はＳＳＤ（Solid State Drive）などの不揮発性の記憶装置であり、撮像表示装置２０において用いられるプログラム及びデータを記憶する。ＣＰＵ２０１がこのプログラムを実行することにより撮像表示装置２０はコンピュータ装置として機能し、後述する図５に示される機能が実現される。通信ＩＦ２０５は、所定の通信規格に従ってネットワーク９０を介した通信を行うためのインターフェースである。この通信規格は、無線通信の規格であってもよいし、有線通信の規格であってもよい。無線の場合、通信ＩＦ２０５は、例えばＬＴＥ（Long Term Evolution）又はＷｉ−Ｆｉ（登録商標）等の通信規格で動作するアンテナ及び通信回路を備えている。撮像部２０６はレンズ及び光学素子を含み、撮像した画像を示す撮像画像データを生成する。表示部２０７は、例えば液晶パネル及び液晶駆動回路などを含み、画像データに応じた画像を表示する。操作部２０８は、例えばキーやタッチセンサなどの操作子を含み、ユーザの操作を受け付けてその操作に応じた信号をＣＰＵ２０１に供給する。なお、撮像表示装置２０は、図２に例示した構成以外に、例えばＧＰＳ（Global Positioning System）ユニットや音声入出力部などの他の構成を含んでいてもよい。

【0022】

図３は、情報処理装置１０のハードウェア構成を例示する図である。情報処理装置１０は、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、補助記憶装置１０４、及び通信ＩＦ１０５を有するコンピュータ装置である。ＣＰＵ１０１は、各種の演算を行うプロセッサである。ＲＯＭ１０２は、例えば情報処理装置１０の起動に用いられるプログラム及びデータを記憶した不揮発性メモリである。ＲＡＭ１０３は、ＣＰＵ１０１がプログラムを実行する際のワークエリアとして機能する揮発性メモリある。補助記憶装置１０４は、例えばＨＤＤ又はＳＳＤなどの不揮発性の記憶装置であり、情報処理装置１０において用いられるプログラム及びデータを記憶する。ＣＰＵ１０１がこのプログラムを実行することにより、後述する図５に示される機能が実現される。通信ＩＦ１０５は、所定の通信規格に従ってネットワーク９０を介した通信を行うためのインターフェースである。情報処理装置１０は、図３に例示した構成以外に、例えば表示部や操作部などの他の構成を含んでいてもよい。

【0023】

補助記憶装置１０４は、店舗においてユーザに提供される商品を識別するための商品ＩＤと、その商品を表示する領域である陳列用領域を識別するための領域ＩＤと、その商品を示す商品画像を撮像表示装置２０において立体的に表示するための３Ｄの画像データと、その商品の在庫数とを含む商品画像データベース（以下、データベースをＤＢと省略する）を記憶している。図４は、商品画像ＤＢの一例を示す図である。例えば商品ＩＤ「A01」の商品が陳列される陳列用領域は領域ＩＤ「S01」の領域であり、その画像データは「D01.WRL」であり、その商品の在庫数は「１５」である。画像データは、ＡＲオブジェクトに相当する。この画像データには、商品がユーザに実際に提供されるときの大きさを示すサイズ情報が含まれている。

【0024】

図５は、情報処理システム１の機能構成の一例を示すブロック図である。図５に示すように、撮像表示装置２０においては、画像を撮像する撮像部２１と、情報処理装置１０による制御の下で画像データに応じた画像を表示する表示部２２という機能が実現される。

【0025】

情報処理装置１０においては、撮像表示装置２０から撮像画像を取得する取得部１１と、取得された撮像画像を認識する画像認識部１２と、陳列棚（以下、陳列用領域という）を含む現実空間が撮像された場合に画像認識部１２による画像認識結果に基づいて表示対象となる商品と表示領域となる陳列用領域とを特定する商品特定部１３と、撮像表示装置２０において撮像された現実空間に含まれる陳列棚に商品画像をその商品がユーザに提供されるときの大きさで重畳表示させる第１表示制御部１４１と、ユーザによる第１の行為が行われた場合に、撮像表示装置２０において商品の収容領域内に積まれた複数の商品画像を重畳表示させる第２表示制御部１４２と、その商品画像に対応する商品を注文するための処理を行う処理部１５という機能を実現する。第１表示制御部１４１は、現実空間における陳列用領域に、商品の在庫の数量に応じた数量の商品画像を重畳表示させる。第１表示制御部１４１及び第２表示制御部１４２は表示制御部１４として機能する。

【0026】

上述した第１の行為とは、現実空間において重畳表示されている商品画像を各々のユーザに対応した収容領域に対して移動させるという行為である。ここでいう収容領域とは、店舗で利用されるカートやユーザが持っている買い物かごやバッグなどである。つまり、第１の行為は、ユーザが重畳表示された商品画像に手を伸ばしてそれを掴み、そのままカート等の収容領域に手を移動させるという行為である。

【0027】

撮像表示装置２０において、撮像部２１はハードウェアとしての撮像部２０６及び通信ＩＦ２０５によって実現され、表示部２２はハードウェアとしての表示部２０７によって実現される。情報処理装置１０において、取得部１１はハードウェアとしての通信ＩＦ１０５によって実現され、画像認識部１２はハードウェアとしてのＣＰＵ１０１によって実現され、商品特定部１３はハードウェアとしてのＣＰＵ１０１によって実現され、表示制御部１４はハードウェアとしてのＣＰＵ１０１及び通信ＩＦ１０５によって実現され、処理部１５はハードウェアとしてのＣＰＵ１０１及び通信ＩＦ１０５によって実現される。

【0028】

［動作］
図６を参照して、情報処理システム１の動作例について説明する。まず、ユーザは、店舗に入ると店内に予め用意されたカートを持ち、撮像表示装置２０の撮像部２１を起動する。これにより、店内の複数の陳列用領域（陳列棚）を含む現実空間の撮像が開始される（ステップＳ１１）。

【0029】

それぞれの陳列用領域には、何も商品が陳列されていないが、いわゆるＡＲマーカーが記されている。ＡＲマーカーは、例えば各陳列用領域の領域ＩＤを含む情報が符号化された２次元マーカーである。撮像部２１は、このような陳列用領域及びそのＡＲマーカーを含む現実空間を撮像した撮像画像データを情報処理装置１０に送信する（ステップＳ１２）。

【0030】

情報処理装置１０の取得部１１が撮像画像データを取得すると、情報処理装置１０の画像認識部１２は、撮像画像データについて画像認識を行う（ステップＳ１３）。ここで行う画像認識は、主に、ＡＲマーカーの位置、向き及び大きさを認識するとともに、ＡＲマーカーにおいて符号化された情報を復号する処理を含む。

【0031】

情報処理装置１０の商品特定部１３は、画像認識部１２により復号された領域ＩＤに基づいて、表示領域となる陳列用領域を特定し、さらに、商品画像ＤＢを参照してその領域ＩＤに対応する商品画像の商品ＩＤ及び画像データを特定する（ステップＳ１４）。このとき、撮像表示装置２０の表示部２２において商品画像が表示される位置についても、ＡＲマーカーの位置、向き及び大きさのほか、例えば陳列用領域の大きさや形状をも画像認識部１２が認識し他結果に基づいて特定される。

【0032】

情報処理装置１０の第１表示制御部１４１は、商品特定部１３によって特定された商品の画像データ及びその商品の在庫数を補助記憶装置２０４から読み出す（ステップＳ１５）。第１表示制御部１４１は、読み出した画像データ及び在庫数を、その画像データの表示位置を指定して撮像表示装置２０に送信する（ステップＳ１６）。これにより、在庫数が示す数量で画像データに応じた商品画像を陳列用領域に重畳表示するよう、撮像表示装置２０に対する指示がなされる。

【0033】

撮像表示装置２０の表示部２２は、情報処理装置１０の表示制御部１４による制御に従い、画像データに応じた商品画像を在庫数が示す数量で陳列用領域に重畳して表示する（ステップＳ１７）。これにより、例えばユーザの眼の前に配置された光透過型の表示面において、ユーザから表示面を介して見える現実空間の陳列用領域に重なる表示面上の位置にＡＲオブジェクトである商品画像が表示される。このとき、表示される商品画像のサイズは画像データに含まれるサイズ情報によって規定されるが、そのときに実際に表示される商品画像のサイズは例えば撮像画像におけるＡＲマーカーの大きさを基準に決められる。また、それ以外にも例えば陳列用領域の大きさや形状を画像認識部１２が認識し、その認識した大きさや形状を基準にして、表示される商品画像のサイズが決められてもよい。

【0034】

ここで、ユーザが、現実空間において重畳表示されている商品画像を、各々のユーザに対応した収容領域（自身が持っているカート）に対して移動させるような行為（つまり商品を掴んでカートに入れるような行為）を行ったとする。ここで、各カートにはそのカートを識別するカートＩＤが符号化されたＡＲマーカーが記されている。撮像表示装置２０の撮像部２１は、その行為の前後の様子を撮像し（ステップＳ１８）、その動画像データを情報処理装置１０に送信する（ステップＳ１９）。

【0035】

情報処理装置１０の画像認識部１２は、撮像画像データについて画像認識を行う（ステップＳ２０）。ここで行う画像認識は、ステップＳ１２と同様の処理に加えて、カートのＡＲマーカーを復号する処理と、ユーザの手の姿勢の変化や移動の軌跡に基づいてユーザによってどの商品が選択されたかを特定する処理を含む。

【0036】

情報処理装置１０の処理部１５は、ユーザにより選択された商品の商品ＩＤを補助記憶装置２０４から読み出して、カートＩＤともに注文処理システムに通知するなどの、商品を注文するための処理を行う（ステップＳ２１）。また、処理部１５は、商品画像ＤＢにおいて在庫数から上記の注文数を減算する。これにより商品の注文手続が完了し、店舗のバックヤード等において、注文された商品が従業員によって用意される。

【0037】

撮像表示装置２０の第２表示制御部１４２は、注文された商品の画像データを補助記憶装置２０４から読み出し、読み出した画像データをその画像データの表示位置を指定して撮像表示装置２０に送信する（ステップＳ２２）。画像データの表示位置は、カートの底面から、それまでにそのカートにおいて注文された商品の数量の分だけ上方に離れた位置である。

【0038】

撮像表示装置２０の表示部２２は、カートに商品画像を重畳表示させる（ステップＳ２３）。これにより、ユーザが持つカート内においては、それまでに注文した全ての商品の商品画像が積まれている様子が重畳表示される。

【0039】

これらの処理が繰り返されて複数の商品が注文され、店舗においてそれら商品群が従業員によって用意されることになる。この後、ユーザは会計手続きを行うためのレジスタ設備に向かい、商品の代金を支払うなどの所定の手続きを行う。これに応じて、店舗の注文処理システムから情報処理装置１０に会計通知がなされ、情報処理装置１０において対応するカートに対応する商品の情報をリセットするなどの対応処理がなれる（ステップＳ２４）。そして、従業員によってカートごとに用意されていた商品がそのカートを使用していたユーザに提供される。

【0040】

以上説明した実施形態によれば、ＡＲ（拡張現実）の技術を用いて、商品がない陳列棚にあたかも商品が存在するかのようにユーザに見せ、さらにユーザの行為に応じて商品を選択して注文するための処理を行うことが可能となる。
さらに、ユーザが現実のカートに商品画像を入れる行為で注文がなされるから、通常の買い物時と同等の分かりやすい行為で買い物ができる。また、カートの中では商品が注文されるたびにその商品が積まれていく様子を表示するので、ユーザは買い物する商品群全てのボリュームを把握することができる。また、陳列用領域においては、商品の在庫状況に応じた数量で商品画像を表示するので、ユーザは在庫切れの商品を注文するという無駄な作業も発生しないし、商品画像の数量を観察することで商品の売れ行きの具合も推測することができる。

【0041】

［変形例］
本発明は、上述した実施形態に限定されない。上述した実施形態を以下のように変形してもよい。また、以下の２つ以上の変形例を組み合わせて実施してもよい。
［変形例１］
実施形態では、商品として、スーパーマーケット等で提供される商品の例を挙げたが、販売される商品はどのようなものであってもよい。また、ユーザの会計手続き後に直ちに商品が手渡しでユーザに提供されるのではなく、宅配等による商品の提供であってもよい。

【0042】

［変形例２］
第１表示制御部１４１は、陳列用領域に重畳表示させる商品画像を、領域ＩＤと固定的に対応づけるのではなく、条件に応じて異ならせるようにしてもよい。これにより、同一の陳列用領域のスペースを複数の商品販売に利用することができる。例えば、第１表示制御部１４１は、陳列用領域の前をユーザが通過する回数に応じて異なる商品画像をその陳列用領域に重畳表示させるようにしてもよい。具体的には、画像認識部が１のユーザの撮像表示装置２０が陳列用領域のＡＲマーカーを撮像した回数を認識し、第１表示制御部１４１は、その撮像回数に応じて異なる商品画像をその陳列用領域に重畳表示させる。陳列用領域の前をユーザが通過する回数と表示対象となる商品との対応関係は予め商品画像ＤＢに含まれている。これにより、陳列用領域の前を通るたびに異なる商品がその陳列用領域に表示されることになり、商品陳列のためのスペースが少なくて済む。

【0043】

また、第１表示制御部１４１は、同一の陳列用領域に、ユーザの属性（年齢、性別、趣味嗜好等）に応じて異なる商品画像を重畳表示させるようにしてもよい。具体的には、第１表示制御部１４１は、店舗会員カード等を撮像表示装置２０で撮像することによってユーザを識別し、そのユーザの属性に応じた商品を選択し、撮像表示装置２０においてその商品の商品画像に重畳表示する例が考えられる。ユーザの属性と表示対象となる商品との対応関係は予め商品画像ＤＢに含まれている。このように、表示する商品をユーザの属性に応じて異ならせることで、ユーザに適した商品販売が実現できる。

【0044】

［変形例３］
カート等の収容領域に入っている商品に対するユーザの行為でその商品の注文を取り消すようにしてもよい。具体的には、処理部１５は、収容領域に重畳表示された商品画像に対してユーザが第２の行為を行うと、その商品画像に対応する商品の注文を取り消すための処理を行う。ここでいう第２の行為とは、例えばカートから商品を取り出す行為、つまり、収容領域に重畳表示された商品画像をその収容領域外に取り出す行為である。これにより、通常の買い物時と同等の行為で注文の取り消しが可能となる。

【0045】

［変形例４］
第１表示制御部１４１は、ユーザに対する商品の推薦度に応じた表示態様で商品画像を重畳表示させるようにしてもよい。具体的には、第１表示制御部１４１は、店舗会員カード等を撮像表示装置２０で撮像することによってユーザを識別し、そのユーザの属性に応じた商品を選択し、その商品を推薦する推薦文を撮像表示装置２０において商品画像に重畳表示する例が考えられる。また、そのユーザの属性に適合する商品画像に対しては「○」という記号画像や目立つようなアニメーション動画像を重畳表示し、そうでない商品画像に対してはそのような画像を重畳表示しないという例が考えられる。これによりユーザに対する商品販売を促進することができる。

【0046】

［変形例５］
ユーザに対して提供される商品の大きさ又は量が複数とおり用意されている場合、ユーザ行為に応じて重畳表示された商品の大きさ又は量を変更するようにしてもよい。例えば表示制御部１４は、重畳表示された商品画像の大きさ又は量をユーザが変更する行為に応じて、その商品画像の大きさ又は量を変更して重畳表示させる。処理部１５は、その商品画像の商品をユーザの行為に応じて変更された大きさ又は量で注文するための処理を行う。例えばユーザが商品画像の端部を指でタッチして商品画像の中央に寄せるように指を移動させる。画像認識部１２はその指の移動軌跡を解析し、表示制御部１４はその指の動きに追随して商品画像を縮小して重畳表示させる。ユーザは自分が望むような大きさの商品となったときに、指の動きを止めて注文行為を行う。このときの縮小率が例えば８２％であり、ユーザに提供可能な商品の大きさの値が小サイズ６０％（通常の４割減のサイズ）、中サイズ８０％（通常の２割減のサイズ）、通常サイズ１００％（通常提供されるサイズ）、大サイズ１２０％（通常の２割増しのサイズ）であったときに、８２％に最も近い中サイズ８０％が選択され、その注文がなされる。同様に商品画像が拡大されると、その拡大率に最も近いサイズの商品が選択され、その注文がなされる。このようにすれば、ユーザは商品の大きさ又は量を確認しながらそのサイズ変更が可能となる。

【0047】

商品の大きさ又は量の変更は、その商品の一部だけであってもよい。ここでいう一部とは、例えば商品が料理である場合には、その料理に含まれる食材（例えば、弁当であれば、肉、魚、野菜、スープなどの各食材）などである。この場合、表示制御部１４は、重畳表示された商品画像のうちの一部の大きさ又は量をユーザが変更する行為に応じて、その商品画像の一部の大きさ又は量を変更して重畳表示させる。処理部１５は、その商品画像の商品の一部を、ユーザの行為に応じて変更された大きさ又は量に応じた量で注文するための処理を行う。このようにすれば、ユーザは商品の一部の大きさ又は量を確認しながらその一部のみのサイズ変更が可能となる。

【0048】

上記のような商品の大きさ又は量の変更に伴い、その商品の属性（例えば価格、カロリー、栄養成分量など）が変化する。そこで、表示制御部１４は、重畳表示された商品画像の大きさ又は量をユーザが変更する行為に応じて、その商品画像の大きさ又は量を変更して重畳表示させるとともに、その商品画像の商品の属性のうちその大きさ又は量の変更に伴って変更される属性を示す属性画像を、現実空間に重畳表示させる。これを実現するため、商品画像ＤＢには、商品ＩＤに対応づけて、商品の属性情報と、商品の大きさ又は量の変更に伴い属性情報の変更ルールとが記憶されている。これにより、ユーザは商品の大きさ又は量の変更に伴う属性の変更内容を知ることができる。

【0049】

［そのほかの変形例］
上記実施の形態の説明に用いたブロック図は、機能単位のブロックを示している。これらの機能ブロック（構成部）は、ハードウェア及び／又はソフトウェアの任意の組み合わせによって実現される。また、各機能ブロックの実現手段は特に限定されない。すなわち、各機能ブロックは、物理的及び／又は論理的に結合した１つの装置により実現されてもよいし、物理的及び／又は論理的に分離した２つ以上の装置を直接的及び／又は間接的に（例えば、有線及び／又は無線）で接続し、これら複数の装置により実現されてもよい。例えば、情報処理装置１０の機能の少なくとも一部が撮像表示装置２０に実装されてもよい。情報処理装置１０の機能の全部が撮像表示装置２０に実装された場合、撮像表示装置２０が本発明に係る情報処理装置として機能する。

【0050】

本明細書で説明した各態様／実施形態は、ＬＴＥ（Long Term Evolution）、ＬＴＥ−Ａ（LTE-Advanced）、ＳＵＰＥＲ ３Ｇ、ＩＭＴ−Ａｄｖａｎｃｅｄ、４Ｇ、５Ｇ、ＦＲＡ（Future Radio Access）、Ｗ−ＣＤＭＡ（登録商標）、ＧＳＭ（登録商標）、ＣＤＭＡ２０００、ＵＭＢ（Ultra Mobile Broadband）、ＩＥＥＥ ８０２．１１（Ｗｉ−Ｆｉ）、ＩＥＥＥ ８０２．１６（ＷｉＭＡＸ）、ＩＥＥＥ ８０２．２０、ＵＷＢ（Ultra-WideBand）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、その他の適切なシステムを利用するシステム及び／又はこれらに基づいて拡張された次世代システムに適用されてもよい。

【0051】

本明細書で説明した各態様／実施形態の処理手順、シーケンス、フローチャートなどは、矛盾の無い限り、順序を入れ替えてもよい。例えば、本明細書で説明した方法については、例示的な順序で様々なステップの要素を提示しており、提示した特定の順序に限定されない。
本明細書で説明した各態様／実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知（例えば、「Ｘであること」の通知）は、明示的に行うものに限られず、暗黙的（例えば、その所定の情報の通知を行わない）ことによって行われてもよい。

【0052】

本明細書で使用する「システム」及び「ネットワーク」という用語は、互換的に使用される。

【0053】

本明細書で説明した情報又はパラメータなどは、絶対値で表されてもよいし、所定の値からの相対値で表されてもよいし、対応する別の情報で表されてもよい。例えば、無線リソースはインデックスで指示されるものであってもよい。

【0054】

上述したパラメータに使用する名称はいかなる点においても限定的なものではない。さらに、これらのパラメータを使用する数式等は、本明細書で明示的に開示したものと異なる場合もある。様々なチャネル（例えば、ＰＵＣＣＨ、ＰＤＣＣＨなど）及び情報要素（例えば、ＴＰＣなど）は、あらゆる好適な名称によって識別できるので、これらの様々なチャネル及び情報要素に割り当てている様々な名称は、いかなる点においても限定的なものではない。

【0055】

本明細書で使用する「判定（determining）」、「決定（determining）」という用語は、多種多様な動作を包含する場合がある。「判定」、「決定」は、例えば、判定（judging）、計算（calculating）、算出（computing）、処理（processing）、導出（deriving）、調査（investigating）、探索（looking up）（例えば、テーブル、データベース又は別のデータ構造での探索）、確認（ascertaining） した事を「判定」「決定」したとみなす事などを含み得る。また、「判定」、「決定」は、受信（receiving） （例えば、情報を受信すること）、送信（transmitting）（例えば、情報を送信すること）、入力（input）、出力（output）、アクセス（accessing）（例えば、メモリ中のデータにアクセスすること）した事を「判定」「決定」したとみなす事などを含み得る。また、「判定」、「決定」は、解決（resolving）、選択（selecting）、選定（choosing）、確立（establishing）、比較（comparing）などした事を「判定」「決定」したとみなす事を含み得る。つまり、「判定」「決定」は、何らかの動作を「判定」「決定」したとみなす事を含み得る。

【0056】

本発明は、情報処理システム１において行われる処理のステップを備える情報処理方法として提供されてもよい。また、本発明は、撮像表示装置２０又は情報処理装置１０において実行されるプログラムとして提供されてもよい。かかるプログラムは、光ディスク等の記録媒体に記録した形態で提供されたり、インターネット等のネットワークを介して、コンピュータにダウンロードさせ、これをインストールして利用可能にするなどの形態で提供されたりすることが可能である。

【0057】

ソフトウェア、命令などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、同軸ケーブル、光ファイバケーブル、ツイストペア及びデジタル加入者回線（ＤＳＬ）などの有線技術及び／又は赤外線、無線及びマイクロ波などの無線技術を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び／又は無線技術は、伝送媒体の定義内に含まれる。

【0058】

本明細書で説明した情報、信号などは、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。

【0059】

本明細書で説明した用語及び／又は本明細書の理解に必要な用語については、同一の又は類似する意味を有する用語と置き換えてもよい。例えば、チャネル及び／又はシンボルは信号（シグナル）であってもよい。また、信号はメッセージであってもよい。また、コンポーネントキャリア（ＣＣ）は、キャリア周波数、セルなどと呼ばれてもよい。

【0060】

本明細書で使用する「第１」、「第２」などの呼称を使用した要素へのいかなる参照も、それらの要素の量又は順序を全般的に限定するものではない。これらの呼称は、２つ以上の要素間を区別する便利な方法として本明細書で使用され得る。したがって、第１及び第２要素への参照は、２つの要素のみがそこで採用され得ること、又は何らかの形で第１要素が第２要素に先行しなければならないことを意味しない。

【0061】

上記の各装置の構成における「手段」を、「部」、「回路」、「デバイス」等に置き換えてもよい。

【0062】

「含む（ｉｎｃｌｕｄｉｎｇ）」、「含んでいる（ｃｏｍｐｒｉｓｉｎｇ）」、及びそれらの変形が、本明細書或いは特許請求の範囲で使用されている限り、これら用語は、用語「備える」と同様に、包括的であることが意図される。さらに、本明細書或いは特許請求の範囲において使用されている用語「又は（or）」は、排他的論理和ではないことが意図される。

【0063】

本開示の全体において、例えば、英語でのa、an、及びtheのように、翻訳により冠詞が追加された場合、これらの冠詞は、文脈から明らかにそうではないことが示されていなければ、複数のものを含むものとする。

【0064】

以上、本発明について詳細に説明したが、当業者にとっては、本発明が本明細書中に説明した実施形態に限定されるものではないということは明らかである。本発明は、特許請求の範囲の記載により定まる本発明の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。したがって、本明細書の記載は、例示説明を目的とするものであり、本発明に対して何ら制限的な意味を有するものではない。

【符号の説明】

【0065】

１…情報処理システム、１０…情報処理装置、１１…取得部、１２…画像認識部、１３…商品特定部、１４…表示制御部、１４１…第１表示制御部、１４２…第２表示制御部、１５…処理部、２０…撮像表示装置、２１…撮像部、２２…表示部、９０…ネットワーク、１０１…ＣＰＵ、１０２…ＲＡＭ、１０３…ＲＯＭ、１０４…補助記憶装置、１０５…通信ＩＦ、２０１…ＣＰＵ、２０２…ＲＡＭ、２０３…ＲＯＭ、２０４…補助記憶装置、２０５…通信ＩＦ、２０６…撮像部、２０７…表示部、２０８…操作部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】