(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023099344
(43)【公開日】2023-07-12
(54)【発明の名称】拡張現実環境に関係付けられた購入を可能にするためのコンピュータ実装方法、コンピュータ可読媒体、ARデバイス及び拡張現実環境に関係付けられた購入を可能にするためのシステム
(51)【国際特許分類】
G06F 3/01 20060101AFI20230705BHJP
G06Q 30/06 20230101ALI20230705BHJP
【FI】
G06F3/01 510
G06F3/01 570
G06Q30/06
【審査請求】未請求
【請求項の数】15
【出願形態】OL
【外国語出願】
(21)【出願番号】P 2022211452
(22)【出願日】2022-12-28
(31)【優先権主張番号】63/295,239
(32)【優先日】2021-12-30
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】22153987
(32)【優先日】2022-01-28
(33)【優先権主張国・地域又は機関】EP
(71)【出願人】
【識別番号】523001430
【氏名又は名称】スーパータブ アーゲー
(74)【代理人】
【識別番号】100079108
【弁理士】
【氏名又は名称】稲葉 良幸
(74)【代理人】
【識別番号】100109346
【弁理士】
【氏名又は名称】大貫 敏史
(74)【代理人】
【識別番号】100117189
【弁理士】
【氏名又は名称】江口 昭彦
(74)【代理人】
【識別番号】100134120
【弁理士】
【氏名又は名称】内藤 和彦
(72)【発明者】
【氏名】エネ,コスミン-ガブリエル
(72)【発明者】
【氏名】エルニ,マルセル
(72)【発明者】
【氏名】ナイト,ジェシー
【テーマコード(参考)】
5E555
5L049
【Fターム(参考)】
5E555AA11
5E555AA12
5E555AA27
5E555BA02
5E555BB06
5E555BB38
5E555BC17
5E555BE17
5E555CA42
5E555CA44
5E555CA47
5E555CB64
5E555CB65
5E555CB66
5E555DA08
5E555DB53
5E555DB56
5E555EA22
5E555EA25
5E555FA00
5L049BB72
(57)【要約】 (修正有)
【課題】拡張現実(AR)環境に関係付けられた購入を可能にするためのシステム、方法及びコンピュータ可読媒体を提供する。
【解決手段】少なくとも1つのディスプレイと、少なくとも1つのセンサとを有するARデバイス110によるコンピュータ実装方法であって、拡張現実環境内で購入インセンティブを視覚化することと、少なくとも1つのセンサからの第1の信号に基づく、購入のために選択されたアイテムを示す選択データを取得することと、少なくとも1つのセンサからの第2の信号に基づく反応データを取得することと、反応データを評価して、購入を確定又はキャンセルすることと、選択されたアイテムに価格設定データ及び支払いデータを割り当てることと、購入を確定する場合、価格設定データ及び/又は支払いデータを支払いシステム140に送信することと、を含む。
【選択図】
図5
【特許請求の範囲】
【請求項1】
ARデバイス(110)及び/又はARバックエンド(120)によって提供される拡張現実環境に関係付けられた購入を可能にするためのコンピュータ実装方法であって、前記ARデバイス(110)は、少なくとも1つのディスプレイ(111)と、少なくとも1つのセンサ、好ましくはアイトラッカ(112)、位置センサ及び/又は慣性測定ユニット(113)とを有し、前記方法は、
- 特に前記ディスプレイ(111)を使用することにより、前記拡張現実環境内で購入インセンティブ(220)を視覚化するステップ、
- 前記少なくとも1つのセンサからの第1の信号(310)に基づく選択データ(315)を取得するステップであって、前記選択データ(315)は、購入のために選択されたアイテム(210)、特に仮想コンテンツアイテム及び/又は現実世界のアイテムを示す、ステップ、
- 前記少なくとも1つのセンサからの第2の信号(320)に基づく反応データ(325)を取得するステップであって、前記第2の信号(320)は、時間間隔中に連続的に得られる、ステップ、
- 前記反応データ(325)を評価して、前記選択されたアイテム(210)の前記購入を確定又はキャンセルするステップ、
- 特にデータベースルックアップを実施することにより、前記選択されたアイテム(210)に価格設定データ(330)及び支払いデータ(335)を割り当てるステップ、
- 前記購入が確定される場合、価格設定データ(330)及び/又は支払いデータ(335)を支払いシステム(140)に送信して、前記選択されたアイテム(210)の支払いを開始するステップ
を含む、コンピュータ実装方法。
【請求項2】
前記購入は、前記反応データ(325)の少なくとも一部が、
- 好ましくは前記アイトラッカ(112)のセンサ信号によって示される、前記拡張現実環境内の領域(230)へのユーザの視線、
- 好ましくは前記位置センサ及び/又は前記慣性測定ユニット(113)のセンサ信号によって示される、前記拡張現実環境内の領域におけるユーザの位置、及び/又は
- 好ましくは前記慣性測定ユニット(113)のセンサ信号によって示される、前記ユーザによる所定回数のうなずき
を示す場合に確定されることを特徴とする、請求項1に記載の方法。
【請求項3】
前記購入は、前記反応データ(325)の少なくとも一部が、好ましくは、前記慣性測定ユニット(113)のセンサ信号によって示される、前記ユーザによる所定回数の首振りを示す場合にキャンセルされることを特徴とする、請求項1又は2に記載の方法。
【請求項4】
- 特にプログレスバー(410)、カウントダウンタイマ、カラーコーディング及び/又はクロックにより、前記時間間隔中に前記拡張現実環境内における時間進行を視覚化するステップ
をさらに含むことを特徴とする、請求項1~3のいずれか一項、特に請求項2に記載の方法。
【請求項5】
- 前記第1の信号の少なくとも1つに反応して又は前記第1の信号の少なくとも1つによってトリガされて、前記時間間隔の開始時点を記憶すること、
- 前記時間間隔の終了時点を、好ましくは、前記終了時点と前記開始時点との間の差が、好ましくは、5秒以下の所定の定数に等しくなるように決定すること
をさらに含むことを特徴とする、請求項1~4のいずれか一項に記載の方法。
【請求項6】
前記時間進行を視覚化することは、
- 特に前記ディスプレイ(111)を使用して、前記時間間隔の前記開始時点で時間インジケータを表示するステップ、
- 好ましくは前記ARデバイス(110)のタイムユニットによって提供される時間の進行に従って前記時間インジケータを更新するステップ、
- 前記時間間隔の前記終了時点で前記時間インジケータを削除するステップ
の1つ又は複数を含むことを特徴とする、請求項1~5のいずれか一項、特に請求項4又は5に記載の方法。
【請求項7】
前記支払いシステム(140)は、ユーザからの支払い取引を実施するように適合され、それにより、支払いは、前記価格設定データ(300)によるアイテム価格と、前記ユーザに関連付けられた未決済の以前の債務の合計との総額が閾値金額を超える場合にのみ要求され、好ましくは、
取引ステータスインジケータは、前記拡張現実環境内に表示され、前記取引ステータスインジケータは、
- 前記選択されたアイテム(210)の前記価格設定データ(330)、
- 前記支払いシステム(140)が支払いを要求する前の前記閾値金額、
- 存在する場合、未決済の以前の債務
の少なくとも1つを示すことを特徴とする、請求項1~6のいずれか一項に記載の方法。
【請求項8】
ARデバイス(110)及び/又はARバックエンド(120)によって提供される拡張現実環境に関係付けられた購入を可能にするための、特に請求項1~7のいずれか一項に記載のコンピュータ実装方法であって、前記ARデバイス(110)は、少なくとも1つのディスプレイ(111)と、少なくとも1つのセンサ、好ましくはアイトラッカ、位置センサ及び/又は慣性測定ユニット(113)とを有し、前記方法は、
- モバイルデバイス(130)により、トリガ信号、特にオーディオ信号を受信するステップであって、前記トリガ信号は、ユーザの購入意思を示す、ステップ、
- 前記モバイルデバイス(130)により、特に前記ARデバイス(110)及び/又は前記ARバックエンド(120)に少なくとも1つのリクエストを送信することにより、前記購入意思に関係付けられた少なくとも1つのアイテム(210)を識別するステップ、
- 特にデータベースルックアップを実施することにより、前記識別されたアイテム(210)に価格設定データ(330)及び支払いデータ(335)を割り当てるステップ、
- 前記モバイルデバイス(130)により、価格設定データ(330)及び/又は支払いデータ(335)を支払いシステム(140)に送信して、前記選択されたアイテム(210)の支払いを開始するステップ
を含む、コンピュータ実装方法。
【請求項9】
前記購入意思に関係付けられた前記少なくとも1つのアイテム(210)の前記識別は、
- 前記モバイルデバイス(130)により、識別データ及び前記購入意思に関係付けられたデータを含むリクエストを前記ARデバイス(110)及び/又は前記ARバックエンド(120)に送信すること、
- 前記ARデバイス及び/又は前記ARバックエンドにより、前記拡張現実環境内のアバターに前記リクエストを関係付けることであって、前記アバターは、前記識別データに関連付けられる、関係付けること、
- 前記ARデバイス(110)及び/又は前記ARバックエンド(120)により、前記購入情報及び前記アバターの少なくとも1つの特性に関係付けられた前記データを使用して、少なくとも1つのアイテム(210)を決定すること
を含むことを特徴とする、請求項1~8のいずれか一項、特に請求項8に記載の方法。
【請求項10】
前記アバターの前記少なくとも1つの特性は、
- 好ましくはアイトラッカのセンサ信号によって示される、前記拡張現実環境内の領域(230)へのユーザの視線、及び/又は
- 好ましくは前記位置センサ及び/又は慣性測定ユニット(113)のセンサ信号によって示される、前記拡張現実環境内の領域におけるユーザの位置
に対応する、請求項1~9のいずれか一項、特に請求項8又は9に記載の方法。
【請求項11】
- 前記モバイルデバイス(130)により、前記識別されたアイテム(210)に関係付けられた説明データを前記ARデバイス(110)に送信するステップ、
- 前記ARデバイス(110)により、特に前記ディスプレイ(111)を使用することにより、前記説明データを視覚化するステップ、
- 前記ARデバイス(110)により、前記少なくとも1つのセンサからの第3の信号に基づく反応データ(325)を評価して、前記選択されたアイテム(210)の前記購入を確定又はキャンセルするステップ
をさらに含むことを特徴とする、請求項1~10のいずれか一項、特に請求項8~10のいずれか一項に記載の方法。
【請求項12】
少なくとも1つのプロセッサによって実行されると、請求項1~11のいずれか一項に記載の方法を前記少なくとも1つのプロセッサに実施させる命令を記憶するコンピュータ可読媒体。
【請求項13】
請求項12に記載のコンピュータ可読媒体を含むARデバイス(110)。
【請求項14】
拡張現実環境に関係付けられた購入を可能にするためのシステムであって、
- 少なくとも1つのディスプレイ(111)と、少なくとも1つのセンサ、好ましくはアイトラッカ(112)、位置センサ及び/又は慣性測定ユニット(113)とを有するARデバイス(110)、
- ARバックエンド(120)、
- 少なくとも1つの支払いシステム(140)
を含み、
拡張現実環境は、前記ARデバイス(110)及び/又は前記ARバックエンド(120)によって提供され、前記ARデバイス(110)は、特に前記ディスプレイ(111)を使用することにより、前記拡張現実環境内で購入インセンティブを視覚化するように構成され、及び前記ARバックエンド(120)は、
- 前記少なくとも1つのセンサからの第1の信号(310)に基づく選択データ(315)を取得することであって、前記選択データ(315)は、購入のために選択されたアイテム(210)を示す、取得すること、
- 前記少なくとも1つのセンサからの第2の信号(320)に基づく反応データ(325)を取得することであって、前記第2の信号(320)は、時間間隔中に連続的に得られる、取得すること、
- 前記反応データ(325)を評価して、前記選択されたアイテム(210)の前記購入を確定又はキャンセルすること、
- 特にデータベースルックアップを実施することにより、前記選択されたアイテム(210)に価格設定データ(330)及び支払いデータ(335)を割り当てること、
- 前記購入が確定される場合、価格設定データ(330)及び/又は支払いデータ(335)を支払いシステム(140)に送信して、前記選択されたアイテム(210)の支払いを開始すること
の少なくとも1つを行うように構成される、システム。
【請求項15】
- ユーザの購入意思を示すトリガ信号、特に音声信号を受信すること、
- 特に前記ARデバイス(110)及び/又は前記ARバックエンド(120)に少なくとも1つのリクエストを送信することにより、前記購入意思に関係付けられた少なくとも1つのアイテム(210)を識別すること、
- 特にデータベースルックアップを実施することにより、前記識別されたアイテム(210)に価格設定データ(330)及び支払いデータ(335)を割り当てること、
- 価格設定データ(330)及び/又は支払いデータ(335)を支払いシステム(140)に送信して、前記選択されたアイテム(210)の支払いを開始すること
の少なくとも1つを行うように構成されたモバイルデバイス(130)、特にスマートフォン又はスマートスピーカをさらに含むことを特徴とする、請求項14に記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
説明
本出願は、拡張現実環境に関係付けられた購入を可能にするためのコンピュータ実装方法、コンピュータ可読媒体、ARデバイス及び拡張現実環境に関係付けられた購入を可能にするためのシステムを対象とする。
【背景技術】
【0002】
仮想現実(VR)及び拡張現実(AR)は、最近10年間で大幅な発展を遂げてきた。仮想現実は、ユーザが、現実世界と同様であるか又は現実世界と全く異なり得るコンピュータ生成された仮想環境を体験し、その仮想環境と対話することができるようにする。仮想現実の中心的な特徴は、ユーザに没入感が引き起こされることであり、没入感とは、仮想環境内に物理的に存在しているとユーザが感じることとして定義され得る。拡張現実では、現実世界でのユーザの知覚が、コンピュータ生成された仮想コンテンツによって強化される。したがって、VR及びARの両方がユーザに仮想環境を提供する。しかし、VR及びARは、VRでの仮想環境がユーザの知覚において完全に現実世界から置き換わる一方、ARでの仮想環境が、通常、ユーザが知覚する現実世界の要素を取り込むという意味で異なる。
【0003】
仮想現実及び拡張現実の応用分野は、多岐にわたり、例えばエンターテインメント、ゲーム、ビジネス及び教育を含む。
【0004】
通常、VR及びARアプリケーションは、ユーザが仮想環境を知覚して対話できるようにする1つ又は複数の入力及び出力デバイスを有する特殊なハードウェアを必要とする。したがって、入力及び出力デバイスの数及び種類は、ユーザのための対話可能性を決定し、したがって没入感にとって重要である。
【0005】
本明細書での説明において、ARデバイスという用語は、ARアプリケーションの仮想環境をユーザに提示し、ユーザが前記仮想環境と対話できるように構成された任意のタイプのハードウェアに使用される。仮想環境は、本明細書でARバックエンドと呼ぶバックエンドコンポーネントによってさらに提供され得る。例えば、ARバックエンドは、資源集約型の計算を実施し、結果をARデバイスに提供するサーバであり得る。ARバックエンドは、ARデバイスに統合され得るか、又はARデバイスと通信可能に結合された外部コンポーネントであり得る。
【0006】
一般的に、ARデバイスは、ユーザの頭に装着され(ヘッドマウントデバイス、HMD)、ユーザの頭の動きに追従する。ヘッドマウントデバイスの一般的な形態は、眼鏡、ゴーグル、顔を完全に若しくは部分的に覆うヘルメット及びヘッドセットを含む。通常、これらのARデバイスは、少なくとも1つのセンサ(例えば、アイトラッカ、モーションセンサ、ジャイロセンサ、慣性測定ユニット、前面カメラ、触覚センサ)を有する1つ又は複数の入力デバイスを含み、ユーザの頭、視線、手、指、腕及び/又はポインティングデバイスの運動を検出することを可能にする。さらに、ARデバイスは、通常、ユーザが仮想環境を知覚できるようにする1つ又は複数の出力デバイス(例えば、ディスプレイ、スピーカ、フォースフィードバックアクチュエータ)を含む。
【0007】
多くのARアプリケーションでは、拡張現実環境の最中にアイテムを購入する機会がユーザに提供される。特に、拡張現実環境は、購入のためのいくつかのアイテムを提供する仮想市場を含み得る。これらのアイテムは、様々なタイプのものであり得る。アイテムは、仮想世界内で提供される物理的な商品及び/又はサービスであり得、現実世界で配送/提供することもできる(例えば、拡張現実環境が現実世界の店舗の仮想モデルを提供するとき)。購入は、そのアイテムのレンタルに関係付けることもできる。
【0008】
代替として、アイテムは、デジタルコンテンツであり得る。本明細書で使用するとき、デジタルコンテンツは、例えば、ビデオ、ビデオゲーム、画像、非代替性トークン(NFT)、ポッドキャスト、出版物、音楽及び仮想環境内で表示されるユーザに固有の(又は非固有の)デジタル画像、例えばユーザの関連する画像又はアバターを伴う又は伴わない仮想の衣類、アウターウェア、ヘッドウェア、フットウェア及びジュエリー並びにデジタル形式で通信される任意のコンテンツを含む。デジタルコンテンツの購入は、代替として、所定の期間又は無制限の期間にわたり、ローカル又はリモートコンテンツサーバからのデジタルコンテンツへのアクセス権を得ることを含み得る。
【0009】
拡張現実アプリケーションのユーザにとって、特に購入の確定及び/又は支払いデータの提供のために拡張現実体験を大幅に中断することなく、購入を行うことが非常に望ましい。この側面は、アイテムが低価格で提供されているときに特に重要である(例えば、0.01ユーロ~1.00ユーロ)。そのような購入に対する支払いは、マイクロペイメントと呼ばれる。1回のみのマイクロペイメントの場合、ユーザは、通常、労力が割りに合わないため、支払いデータを登録又は入力したがらない。
【0010】
他方で、1つの重要な側面は、ユーザが仮想環境内での購入決定についての完全な制御権を有することである。さらに、ほとんどのユーザは、自らのデータ、特にクレジットカード番号などの支払いデータの機密性が確実に保持されることを好むであろう。実際、ユーザが自らの支払いデータをARアプリケーションに提供したがらないことがあり得る。この場合、ARデバイス及び/又はARバックエンドは、ユーザに関連付けられた支払いシステムのインターフェースへのアクセス権を有さないか又は完全にはアクセス権を有さない。
【発明の概要】
【発明が解決しようとする課題】
【0011】
したがって、本発明の目的は、拡張現実環境に関係付けられた購入を可能にするためのコンピュータ実装方法及び対応するシステムを提供することである。さらに、本発明の目的は、ユーザが直感的に及び迅速に購入を行うことができるように、アイテムを購入するプロセスを拡張現実体験に実装することである。さらに、本発明の目的は、拡張現実環境を提供するARデバイス及び/又はARバックエンドが支払いシステムのインターフェースへのアクセス権を全く有さないか又は制限付きでのみ有する場合でも前記購入を可能にすることである。
【課題を解決するための手段】
【0012】
本発明の目的は、請求項1及び8のコンピュータ実装方法、請求項12のコンピュータ可読媒体、請求項13のARデバイス並びに請求項14のシステムによって解決される。
【0013】
特に、本発明の目的は、拡張現実環境に関係付けられた購入を可能にするためのコンピュータ実装方法によって解決される。ここで、拡張現実環境は、ARデバイス及び/又はARバックエンドによって提供され、ARデバイスは、少なくとも1つのディスプレイと、少なくとも1つのセンサ、好ましくはアイトラッカ、位置センサ及び/又は慣性測定ユニットとを有する。この方法は、
- 特にディスプレイを使用することにより、拡張現実環境内で購入インセンティブを視覚化するステップ、
- 少なくとも1つのセンサからの第1の信号に基づく選択データを取得するステップであって、選択データは、購入のために選択されたアイテム、特に仮想コンテンツアイテム及び/又は現実世界のアイテムを示す、ステップ、
- 少なくとも1つのセンサからの第2の信号に基づく反応データを取得するステップであって、第2の信号は、時間間隔中に連続的に得られる、ステップ、
- 反応データを評価して、選択されたアイテムの購入を確定又はキャンセルするステップ、
- 特にデータベースルックアップを実施することにより、選択されたアイテムに価格設定データ及び支払いデータを割り当てるステップ、
- 購入が確定される場合、価格設定データ及び/又は支払いデータを支払いシステムに送信して、選択されたアイテムの支払いを開始するステップ
を含む。
【0014】
本発明の核心的な側面は、ユーザが拡張現実体験の最中にありながら購入意思を表明し、確定又はキャンセルできることである。これは、ARデバイスの少なくとも1つのセンサからいくつかの信号を得て処理することによって実現される。したがって、この方法は、ユーザが拡張現実環境と対話するために行うアクションと同様又は同じである、購入のためにアイテムを選択し、及び/又は購入を確定/キャンセルするのに必要とされるユーザアクション(例えば、ジェスチャ及び動き)を選択することを可能にする。
【0015】
拡張現実環境で視覚化された購入インセンティブは、特定のアイテムが購入可能であることにユーザの注意を引き寄せる。単純な場合、購入インセンティブは、アイテム自体の視覚化であり得る。代替として、購入インセンティブは、購入アイコン(例えば、アイテムの近くに表示されるショッピングカートシンボル)又は拡張現実環境内の専用エリア(例えば、仮想チェックアウトエリア)であり得る。
【0016】
本方法によれば、アイテムを購入するかどうかのユーザの購入意思は、複数の段階で取得及び確定される。
【0017】
第1の段階では、潜在的購入のためにユーザによって選択されたアイテムを示す選択データが取得される。選択データは、ARデバイスの少なくとも1つのセンサからの第1の信号に基づく。特に、第1の信号は、ARデバイスのアイトラッカのセンサ信号であり得、拡張現実環境内のアイテムへのユーザの視線を示し得る。
【0018】
第2の段階では、少なくとも1つのセンサからの第2の信号に基づく反応データが取得される。第2の信号は、時間間隔中に連続的に得られることが好ましいが、必須ではない。例えば、第2の信号は、アイトラッカから取得され得、選択されたアイテムを所定の時間にわたってユーザが凝視し続けていることを示し得る。代替として、第2の信号は、慣性測定ユニットから取得され得、ユーザが専用エリア(例えば、チェックアウトエリア)に所定の時間にわたって留まっていることを示し得る。
【0019】
第3の段階では、選択されたアイテムの購入を確定又はキャンセルするために反応データが評価される。反応データの大部分(例えば、80%以上)が所望の特性を満たす場合、購入が確定され得る。
【0020】
次に、選択されたアイテムに価格設定データ及び支払いデータが割り当てられる。価格設定データは、アイテムに関連付けられた価格を含み得る。支払いデータは、支払いの受取人及びさらなる支払いモダリティ(例えば、支払い方法)を含み得る。価格設定データ及び/又は支払いデータを割り当てるステップは、データベースルックアップを実施することを含み得る。特に、選択されたアイテムを提供する販売者の製品データベースなど、リモートサーバ上のデータベースにおいて、選択されたアイテムの実際の価格をリクエストする必要があり得る。
【0021】
反応データの評価により購入の確定に至った場合、選択されたアイテムの支払いを開始するために、価格設定データ及び/又は支払いデータが支払いシステムに送信される。支払いシステムは、例えば、Apple Pay、Google Pay、法定通貨若しくは暗号通貨による支払い、第三者による残高の支払いの許可、そのような残高に対する未収の貸方の適用又はユーザの関連するモバイルデバイスなど、適切なデバイスでアクティブ化された電子ウォレットアプリケーションを介する支払いをユーザに提供し得る。
【0022】
支払いの開始は、現実世界での技術システムによって実施される1つ又は複数のアクションをトリガし得、アクションは、購入されたアイテムの配送及び/又は提供を準備し得る。
【0023】
一実施形態では、反応データの評価において、購入は、反応データの少なくとも一部が、
- 好ましくはアイトラッカのセンサ信号によって示される、拡張現実環境内の領域へのユーザの視線、
- 好ましくは位置センサ及び/又は慣性測定ユニットのセンサ信号によって示される、拡張現実環境内の領域におけるユーザの位置、及び/又は
- 好ましくは慣性測定ユニットのセンサ信号によって示される、ユーザによる所定回数のうなずき
を示す場合に確定され得る。
【0024】
特に反応データの少なくとも大部分(例えば、50%超、好ましくは75%超)が前記イベントを示す場合、購入を確定することができる。
【0025】
一実施形態では、購入は、反応データの少なくとも一部が、好ましくは、慣性測定ユニットのセンサ信号によって示される、ユーザによる所定回数の首振りを示す場合にキャンセルされ得る。
【0026】
最後の2つの実施形態は、ユーザが直感的に及び便利に購入を確定又はキャンセルできるようにする。ユーザのうなずきを検出するための必要条件として、上下角度の所定範囲内でのユーザの頭の動きが検出されることが好ましい。同様に、ユーザの首振りを検出するための必要条件として、左右角度の所定範囲内でのユーザの頭の動きが検出されることが好ましい。
【0027】
さらなる実施形態では、反応データは、購入を確定又は拒否するためのユーザの身体的ジェスチャを示し得る。身体的ジェスチャは、ARデバイスの1つ又は複数のセンサによってキャプチャすることができる。
【0028】
特に、身体的ジェスチャは、ARデバイスの専用部分、例えばデバイスの外面に設けられたタッチパッドを指でタップすることであり得る。特に、購入アクションを確定するために、短い期間内に2回続けて指をタップする必要があり得る。
【0029】
身体的ジェスチャの他の例は、ジャンプ、手信号、フィンガースナップなどを含む。身体的ジェスチャは、ARデバイスの音声及び/又はビデオセンサによっても検出され得る。
【0030】
一実施形態では、この方法は、
- 時間間隔中に拡張現実環境内における時間進行を視覚化するステップ
をさらに含む。
【0031】
一実施形態では、プログレスバー、カウントダウンタイマ、カラーコーディング(例えば、緑からオレンジ、赤に)及び/又はクロックにより、時間進行を視覚化することができる。
【0032】
時間進行の視覚化を実施するために、一実施形態では、この方法は、
- 第1の信号の少なくとも1つに反応して又は第1の信号の少なくとも1つによってトリガされて、時間間隔の開始時点を記憶するステップ、
- 時間間隔の終了時点を、好ましくは、終了時点と開始時点との間の差が、好ましくは、5秒以下の所定の定数に等しくなるように決定するステップ
をさらに含み得る。
【0033】
例えば、時間間隔は、開始時点及び終了時点によって定義することができる。開始時点は、購入インジケータへのユーザの視線を示す第1の信号によってトリガすることができる。終了時点は、終了時点が開始時点よりもt秒遅くなるように決定することができ、ここで、tは、任意の所定の定数であり、好ましくは5以下、例えば3である。
【0034】
一実施形態では、時間進行を視覚化するために、この方法は、
- 時間間隔の開始時点で時間インジケータを表示するステップ、
- 時間の進行に従って時間インジケータを更新するステップ、
- 時間間隔の終了時点で時間インジケータを削除するステップ
の1つ又は複数を含み得る。
【0035】
時間インジケータの表示は、好ましくは、ディスプレイを使用して実施される。時間に従って時間インジケータを更新するために、時間は、好ましくは、ARデバイスのタイムユニットによって取得される。
【0036】
本方法のさらなる実施形態は、ユーザが、支払いを即座にトリガすることなく、購入されたアイテムを消費することを可能にする。
【0037】
一実施形態では、支払いシステムは、ユーザからの支払い取引を実施するように適合され得、それにより、支払いは、価格設定データによるアイテム価格と、ユーザに関連付けられた未決済の以前の債務の合計との総額が閾値金額、例えば5ユーロを超える場合にのみ要求される。
【0038】
したがって、ユーザは、即座に消費し、しかし後に支払うことを可能にされる。より正確には、ユーザは、いくつかのマイクロペイメントを累積し、未決済の債務の合計金額が閾値金額を超える場合、対応する購入の支払いを行うことができる。これは、取引の労力-利益比率を向上させることができるため、ユーザにとって低価格でのアイテムの購入をより魅力的にする。さらに、全ての購入が支払い取引をトリガするわけではないため、支払い取引に必要とされる技術リソースをより効率的に使用することができる。そのような支払いシステムは、例えば、欧州特許第2476087号に記載されている。
【0039】
一実施形態では、取引ステータスインジケータが拡張現実環境内に表示され、取引ステータスインジケータは、
- 選択されたアイテムの価格設定データ、
- 支払いシステムが支払いを要求する前の閾値金額、
- 存在する場合、未決済の以前の債務
の少なくとも1つを示す。
【0040】
この実施形態により、ユーザは、購入決定に有用となり得る情報を提供される。特に、取引ステータスインジケータは、現在の購入が支払い取引をトリガするかどうかをユーザが読み取ることができるように構成され得る。
【0041】
本発明の目的は、ARデバイス及び/又はARバックエンドによって提供される拡張現実環境に関係付けられた購入を可能にするための、特に上述した方法のいずれかによるコンピュータ実装方法によってさらに解決される。ここで、ARデバイスは、少なくとも1つのディスプレイと、少なくとも1つのセンサ、好ましくはアイトラッカ、位置センサ及び/又は慣性測定ユニットとを有し、この方法は、
- モバイルデバイスにより、トリガ信号、特にオーディオ信号を受信するステップであって、トリガ信号は、ユーザの購入意思を示す、ステップ、
- モバイルデバイスにより、特にARデバイス及び/又はARバックエンドに少なくとも1つのリクエストを送信することにより、購入意思に関係付けられた少なくとも1つのアイテムを識別するステップ、
- 特にデータベースルックアップを実施することにより、識別されたアイテムに価格設定データ及び支払いデータを割り当てるステップ、
- モバイルデバイスにより、価格設定データ及び/又は支払いデータを支払いシステムに送信して、選択されたアイテムの支払いを開始するステップ
を含む。
【0042】
モバイルデバイスは、例えば、スマートフォン又はスマートスピーカであり得る。特に、モバイルデバイスは、ユーザの音声コマンドを受信することができるようにユーザの近くに置かれ得る。
【0043】
この実施形態の核心的な側面は、ARデバイス又はARバックエンドではなく、モバイルデバイスが支払いシステムとの通信に使用されることである。特に、この実施形態は、ARデバイス/ARバックエンドに支払いデータを提供したくないというユーザの望み又は好ましい支払いシステムがARデバイス/ARバックエンドによってサポートされておらず、ユーザが自らのモバイルデバイスに設定されている(場合により複数の)支払い方法の1つを使用したい状況に関する。
【0044】
さらに、この実施形態は、拡張現実環境に関係付けられた購入のための二要素認証を可能にする。ここでは、購入を開始するためにARデバイスが必要とされ、したがって認証の第1の構成要素として機能する。しかし、購入を完了するには、ユーザのモバイルデバイスによって実施されるアクションが必要となる。したがって、ユーザのモバイルデバイスは、認証の第2の構成要素として機能する。これにより、ユーザのための購入のセキュリティを向上させることができる。また、第1の認証は、ユーザが仮想現実世界にアクセスするために実施し、及び/又は購入が開始されるときにリクエストされる認証プロセスで見ることができる。一般に、本発明は、拡張現実環境内での購入のための多要素認証を可能にする。
【0045】
モバイルデバイスは、ユーザ及び/又はユーザアカウントに関する特性の証明も提供し得、特性は、購入プロセスを完了するために必要とされる。特に、モバイルデバイスは、ユーザの年齢、支払い能力(すなわち少なくとも1つの有効な支払い方法の提供)などの証明を提供することができる。
【0046】
それぞれのデバイスをユーザ(アカウント)に一意にマッピングすることは、ARデバイス(例えば、MACアドレスを使用する)と、モバイルデバイス(例えば、IMSIコード及び/又はMACアドレスを使用する)との両方で可能であることに留意されたい。
【0047】
さらに、上述した実施形態により、ユーザは、ARデバイスと支払いシステムとの間の信頼できない可能性がある通信チャネルではなく、モバイルデバイスと支払いシステムとの間に確立された信頼できる及び/又は安全な通信チャネルを使用することができる。特に、モバイルデバイスは、ARデバイスによってサポートされていないセキュアプロトコル(例えば、SSL、TLS)を介した支払いシステムとの通信をサポートし得る。したがって、支払いシステムとの通信のためにモバイルデバイスを使用することは、ユーザに関する支払い処理のセキュリティを向上させることができる。
【0048】
上述した方法によれば、モバイルデバイスは、ユーザの購入意思を示すトリガ信号を受信する。例えば、トリガ信号は、ユーザの音声コマンド「このアイテムを購入します」であり得る。
【0049】
次のステップでは、モバイルデバイスは、購入意思に関係付けられた少なくとも1つのアイテムを識別する。このステップは、ARデバイス及び/又はARバックエンドに少なくとも1つのリクエストを送信することを含み得る。
【0050】
購入意思に関係付けられたアイテムが特定された場合、特定されたアイテムに価格決定データ及び支払いデータが割り当てられる。価格設定データは、アイテムに関連付けられた価格を含み得る。支払いデータは、支払いの受取人及びさらなる支払いモダリティ(例えば、支払い方法)を含み得る。価格設定データ及び/又は支払いデータを割り当てるステップは、データベースルックアップを実施することを含み得る。特に、選択されたアイテムを提供する販売者の製品データベースなど、リモートサーバ上のデータベースにおいて、選択されたアイテムの実際の価格をリクエストする必要があり得る。
【0051】
最後に、モバイルデバイスにより、選択されたアイテムの支払いを開始するために、価格設定データ及び/又は支払いデータが支払いシステムに送信される。
【0052】
一実施形態では、購入意思に関係付けられた少なくとも1つのアイテムの識別は、
- モバイルデバイスにより、識別データ及び購入意思に関係付けられたデータを含むリクエストをARデバイス及び/又はARバックエンドに送信すること、
- ARデバイス及び/又はARバックエンドにより、拡張現実環境内のアバターにリクエストを関係付けることであって、アバターは、識別データに関連付けられる、関係付けること、
- ARデバイス及び/又はARバックエンドにより、購入情報及びアバターの少なくとも1つの特性に関係付けられたデータを使用して、少なくとも1つのアイテムを決定すること
を含む。
【0053】
識別データは、モバイルデバイスのユーザの識別子(例えば、ユーザアカウント名)及び/又はモバイルデバイス自体の識別子(例えば、MACアドレス)であり得る。特に、識別データは、モバイルデバイスのユーザを拡張現実環境内でのユーザの表現(本明細書ではアバターと呼ぶ)に関係付けるのに適したものにすべきである。
【0054】
別の観点から言うと、識別データ及びアバター(の特性)は、二要素認証の構成要素と見ることができる。拡張現実環境内でアバターによって開始された購入は、モバイルデバイスによって識別データが提供される場合にのみ完了することができる。したがって、購入を完了するには、仮想世界で得られた購入意思に加えて、ユーザによって制御される物理的な物体(モバイルデバイス)の特性が必要とされる。これにより、ユーザのための購入のセキュリティを向上させることができる。
【0055】
購入意思に関係付けられたデータは、受信されたトリガ信号を表す任意のデータ(例えば、受信された音声コマンドに基づく音声認識の結果)であり得る。
【0056】
一実施形態では、アバターの少なくとも1つの特性は、
- 好ましくはアイトラッカのセンサ信号によって示される、拡張現実環境内の領域へのユーザの視線、及び/又は
- 好ましくは位置センサ及び/又は慣性測定ユニットのセンサ信号によって示される、拡張現実環境内の領域におけるユーザの位置
に対応し得る。
【0057】
特に、アバターの特性は、購入意思に関係付けられたデータと組み合わせて、ユーザの購入意思に関係付けられたアイテムを決定することを可能にし得る。トリガ信号(すなわち購入意思に関係付けられたデータ)のみでは、この目的に十分でないことがあることに留意されたい。例えば、文脈情報のないユーザの音声コマンド「このアイテムを購入します」は、ユーザが購入したいアイテムを決定するには明らかに不十分である。しかし、拡張現実環境内のアイテムへのユーザの視線(より具体的にはユーザのアバターの視線)と一緒であれば、対象のアイテムを識別することができる。
【0058】
一実施形態では、トリガ信号は、音声信号であり、この方法は、音声信号の信憑性を検証するステップをさらに含む。これにより、権限のない人が音声コマンドを介して購入を開始することを防ぎ得る。
【0059】
一実施形態では、トリガ信号は、トリガフレーズ及び/又はモバイルデバイスのエイリアスを含む音声信号である。これは、複数のモバイルデバイスが音声コマンドに応答する場合、所望のモバイルデバイスにアドレスするのに役立ち得る。
【0060】
一実施形態では、この方法は、モバイルデバイスにより、複数の支払いシステムから1つの支払いシステムを選択するステップをさらに含む。この選択は、特に現在の購入に適した支払いシステムを選択するために、価格設定データ及び/又は支払いデータに従って行うことができる。
【0061】
一実施形態では、この方法は、
- モバイルデバイスにより、識別されたアイテムに関係付けられた説明データをARデバイスに送信するステップ、
- ARデバイスにより、特にディスプレイを使用することにより、説明データを視覚化するステップ、
- ARデバイスにより、少なくとも1つのセンサからの第3の信号に基づく反応データを評価して、選択されたアイテムの購入を確定又はキャンセルするステップ
をさらに含む。
【0062】
この実施形態によれば、ユーザは、モバイルデバイスによって識別されたアイテムが自らの実際の購入意思の対象物と一致するかどうかを検証することを可能にされる。反応データの評価は、請求項1に記載の方法に関連して上述したように、特にユーザの視線、うなずきなどを検出することによって実施することができる。
【0063】
本発明の目的は、少なくとも1つのプロセッサによって実行されると、上述した方法を少なくとも1つのプロセッサに実施させる命令を記憶するコンピュータ可読媒体によってさらに解決される。
【0064】
さらに、本発明の目的は、上述したコンピュータ可読媒体を含むARデバイスによって解決される。
【0065】
上述したコンピュータ可読媒体及びARデバイスの利点は、上述した方法と同様又は同一である。
【0066】
本発明の目的は、上記の方法の任意のものを実施するように構成されたシステムによってさらに解決される。
【0067】
特に、この目的は、拡張現実環境に関係付けられた購入を可能にするシステムであって、
- 少なくとも1つのディスプレイと、少なくとも1つのセンサ、好ましくはアイトラッカ、位置センサ及び/又は慣性測定ユニットとを有するARデバイスと、
- ARバックエンドと、
- 少なくとも1つの支払いシステムと
を含むシステムによって解決される。
【0068】
ここで、拡張現実環境は、ARデバイス及び/又はARバックエンドによって提供され、ARデバイスは、特にディスプレイを使用することにより、拡張現実環境内で購入インセンティブを視覚化するように構成される。さらに、ARバックエンドは、
- 少なくとも1つのセンサからの第1の信号に基づく選択データを取得することであって、選択データは、購入のために選択されたアイテムを示す、取得すること、
- 少なくとも1つのセンサからの第2の信号に基づく反応データを取得することであって、第2の信号は、時間間隔中に連続的に得られる、取得すること、
- 反応データを評価して、選択されたアイテムの購入を確定又はキャンセルすること、
- 特にデータベースルックアップを実施することにより、選択されたアイテムに価格設定データ及び支払いデータを割り当てること、
- 購入が確定される場合、価格設定データ及び/又は支払いデータを支払いシステムに送信して、選択されたアイテムの支払いを開始すること
の少なくとも1つを行うように構成される。
【0069】
一実施形態では、このシステムは、
- ユーザの購入意思を示すトリガ信号、特に音声信号を受信すること、
- 特にARデバイス及び/又はARバックエンドに少なくとも1つのリクエストを送信することにより、購入意思に関係付けられた少なくとも1つのアイテムを識別すること、
- 特にデータベースルックアップを実施することにより、識別されたアイテムに価格設定データ及び支払いデータを割り当てること、
- 価格設定データ及び/又は支払いデータを支払いシステムに送信して、選択されたアイテムの支払いを開始すること
の少なくとも1つを行うように構成されたモバイルデバイス、特にスマートフォン又はスマートスピーカをさらに含む。
【0070】
上述したシステムの利点は、上述した方法の利点と同様又は同一である。
【0071】
さらなる実施形態は、従属請求項によって示される。
【0072】
記載する全ての態様は、必要に応じて互いに組み合わされ得ることを明示的に指摘しておく。特に、デバイス及びシステムに関して述べる態様は、対応する方法に関しても開示され、逆も同様である。
【0073】
以下では、本発明の実施形態を図面に関して述べる。
【図面の簡単な説明】
【0074】
【
図2】拡張現実環境で提供される仮想衣料品店を示す。
【
図3】拡張現実環境に関係付けられた購入を可能にするための方法を述べる流れ図である。
【
図5】第2の実施形態による拡張現実環境に関係付けられた購入を可能にするための方法及びその方法を実施するためのシステムを示す。
【
図6】本開示のさらなる態様による、HMDによって作成され、そのようなHMDを装着するユーザに見える例示的な仮想イメージを示す。
【
図7】本開示のさらなる態様による、HMDによって作成され、そのようなHMDを装着するユーザに見える例示的な仮想イメージを示す。
【
図8】本開示のさらなる態様による、HMDによって作成され、そのようなHMDを装着するユーザに見える例示的な仮想イメージを示す。
【
図9】本開示のさらなる態様による、HMDによって作成され、そのようなHMDを装着するユーザに見える例示的な仮想イメージを示す。
【
図10】本開示のさらなる態様による、HMDによって作成され、そのようなHMDを装着するユーザに見える例示的な仮想イメージを示す。
【
図11】本開示のさらなる態様による、HMDによって作成され、そのようなHMDを装着するユーザに見える例示的な仮想イメージを示す。
【
図12】本開示のさらなる態様による、HMDによって作成され、そのようなHMDを装着するユーザに見える例示的な仮想イメージを示す。
【
図13】本開示のさらなる態様による、HMDによって作成され、そのようなHMDを装着するユーザに見える例示的な仮想イメージを示す。
【
図14】本開示のさらなる態様による、HMDによって作成され、そのようなHMDを装着するユーザに見える例示的な仮想イメージを示す。
【
図15】本開示のさらなる態様による、HMDによって作成され、そのようなHMDを装着するユーザに見える例示的な仮想イメージを示す。
【発明を実施するための形態】
【0075】
以下の説明において、同一の部分及び同一の効果を有する部分には同一の参照符号を用いる。
【0076】
図1は、ARデバイス110をその構成要素と共に示す。ARデバイス110は、ユーザの頭に取り付けることができ、ディスプレイ111、アイトラッカ112及び慣性測定ユニット113を含む。アイトラッカ112は、ユーザの視線を示すセンサ信号を提供するように構成される。慣性測定ユニット113は、加速度計及びジャイロスコープを含み、ユーザの位置及び/又は角速度を示すセンサ信号を提供するように構成される。
【0077】
典型的なARデバイスは、様々なさらなる内部構成要素(CPU、記憶ユニット、ネットワークユニットなど)及びセンサを含むことに留意されたい。しかし、簡単にするために、
図1のARデバイス100は、これらのユニットのいくつかのみを含む。
【0078】
図2は、
図1に関連して述べたARデバイス100によって提供される拡張現実環境を示す。この拡張現実環境により、ユーザは、仮想衣料品店200を見て回り、購入可能であり得るいくつかの衣類アイテムを見ることができる。ここでの例では、シャツ210及びズボン211、212が仮想衣料品店200の壁に掛かっている。シャツ210の下にショッピングカートシンボル220が表示され、シャツ210が購入可能であることを示す。
【0079】
ユーザは、
図2に示されているような仮想衣料品店200を自由に見て回ることを可能にされるが、ユーザの現在の視野は、視野230(
図2での破線の長方形を参照されたい)に制限される。換言すると、ユーザは、シャツ210及び対応するショッピングカートシンボル220を凝視する。
【0080】
図3は、
図1及び2に関連して述べた拡張現実環境からシャツ210の購入を可能にするための方法を述べる流れ図を示す。
【0081】
開始ステップS1では、ディスプレイ111を使用することにより、ショッピングカートシンボル220は、拡張現実環境での購入インセンティブとして視覚化される。このようにして、ユーザは、シャツ210を購入できることを知らされる。
【0082】
次に、第1の分析ステップS2では、アイトラッカ112の第1の信号310がARデバイス110によって分析される。この実施形態では、第1の信号310は、ユーザの視線がシャツ210に固定されていることを示す(
図2での視野230を参照されたい)。この挙動により、ユーザは、シャツ210の購入に関心があることを表明する。第1の分析ステップS2の結果として、潜在的購入のために選択されたアイテム、すなわちシャツ210を示す選択データ315が得られる。
【0083】
後続の第2の分析ステップS3では、アイトラッカ112からの第2の信号320がARデバイス110によって分析される。第2の信号320は、5秒の時間間隔中のユーザの視線を示し、この時間間隔は、第1の信号310に従い、ユーザがシャツ210を初めて凝視するというイベントによってトリガされる。時間間隔中、ディスプレイ111を使用して、拡張現実環境内における時間進行が視覚化される。このプロセスについては、
図4に関連して以下で述べる。時間進行を視覚化することにより、ユーザは、購入を確定するためにシャツ210をどの程度長く凝視しなければならないかを確認することができる。その結果、反応データ325が得られる。この実施形態によれば、反応データ325は、時間間隔中のユーザの視野のスナップショットを含む。
【0084】
次に、評価ステップS4では、シャツ210の購入を確定又はキャンセルするために、ARデバイス110によって反応データ325が評価される。この実施形態では、反応データ325からのスナップショットの大部分がシャツ210を含み、購入可能なアイテムが他にないため(例えば、
図2のシャツ210の隣のズボン)、購入が確定される。これに関連して、「大部分」という用語は、50~100%、好ましくは80~100%と定義することができる。代替として又は追加として、ユーザの視線が基準線から少なくとも所定の角度だけずれていることを反応データが示す場合、購入がキャンセルされ得、この基準線は、選択されたアイテム(シャツ210)に向けられている。
【0085】
シャツ210が購入されることが検出されて確定されると、データ収集ステップS5において、ARデバイス110により、支払い取引に必要とされるさらなる情報が得られる。特に、シャツ210の実際の価格は、シャツ210を提供する販売者の製品データベースにリクエストを送信することによって決定される。シャツ210の価格は、価格設定データ330として記憶されている。さらに、支払いの受取人を示す支払いデータ335が作成される。
【0086】
データ割当てステップS6では、購入の取引を準備するために、価格設定データ330及び支払いデータ335がシャツ210に割り当てられる。
【0087】
チェックステップS7では、ARデバイス110により、評価ステップS4で購入が確定されているかどうかがチェックされる。購入が確定されている場合、支払い送信ステップS8が実施され、そうでない場合、購入プロセスが終了される(終了ステップS9)。上述した実施形態によれば、購入が確定されており、したがって支払い送信ステップS8が実行される。
【0088】
支払い送信ステップS8では、価格設定データ330及び支払いデータ335がARデバイス110から支払いシステムに送信される。受信されたデータに基づいて、支払いシステムは、支払いを処理するために必要とされるさらなるステップ(例えば、クレジットカードへの請求)を実施する。
【0089】
図4は、
図3で述べた方法からの第2の分析ステップS3中の時間進行の視覚化を示す。この実施形態では、時間進行は、ユーザの視野230の下端部に表示される水平プログレスバー410によって視覚化される。プログレスバー410は、等しい長さのセグメントに分割されている。経過した時間は、黒いバーで視覚化され、バーの長さは、時間間隔がトリガされてから経過した時間の量に対応する。したがって、
図4のプログレスバー410は、時間の約半分が経過したことを示している。
【0090】
さらに、
図4は、「購入を確定するためにアイテムに視線を固定し続けてください」などの命令をユーザに提供する命令テキストフィールド420を示す。
【0091】
図5は、第2の実施形態による、
図1~4に関連して述べた拡張現実環境に関係付けられた購入を可能にするための方法を示す。さらに、
図5は、この方法を実施するためのシステムを示す。
【0092】
図5のシステムは、ユーザ500の頭に装着されたARデバイス110と、ARバックエンド120とを含む。ARデバイス110とARバックエンド120とは、通信可能に結合され、拡張現実環境をユーザ500に提供する。システムのさらなる構成要素は、ユーザ500のスマートフォン130、製品データベース150及び支払いシステム140である。スマートフォン130は、ARバックエンド120、製品データベース150及び支払いシステム140と通信可能に結合される。さらに、スマートフォン130は、ユーザ500から音声コマンドを受信するように構成される。
【0093】
この実施形態では、ARデバイス110もARバックエンド120も支払いシステム140に直接アクセスできないことに留意されたい。したがって、以下で述べる方法は、
図3に関連して述べた方法と異なり、支払いシステムとの通信がスマートフォン130によって実施される場合に関する。
【0094】
トリガステップS11では、スマートフォン130は、ユーザ500から音声コマンド「このシャツを購入します」を受信する。
【0095】
決定リクエストS12aでは、スマートフォン130は、ユーザ500が購入しようとしているアイテムを決定するために、ARバックエンド120にリクエストを送信する。リクエストの一部として、スマートフォン130は、受信された音声コマンドの音声処理されたバージョンと、スマートフォン130の識別子とを送信する。
【0096】
受信された識別子を使用して、ARバックエンド120は、そのリクエストをユーザ500及びユーザ500に関連付けられた拡張現実環境内のアバターに関係付ける。アバターが仮想衣料品店200内に位置し、ユーザの視線がシャツ210に向けられているため(
図2を参照されたい)、シャツ210がユーザの購入意思の対象として識別される。
【0097】
したがって、決定応答ステップS12bでは、シャツ210を説明するデータがARバックエンド120からスマートフォン130に送信される。
【0098】
したがって、中間結果として、スマートフォン130は、ARバックエンド120にリクエストすることにより、ユーザの音声コマンド「このシャツを購入します」をシャツ210に関係付けている。
【0099】
ルックアップリクエストS13aでは、スマートフォン130は、製品データベース150にリクエストを送信して、シャツ210の価格設定データ330及び支払いデータ335をリクエストする。ルックアップ応答ステップS13bでは、これらのデータが返される。
【0100】
最後に、取引ステップS14では、価格設定データ330及び支払いデータ335がスマートフォン130によって支払いシステム140に送信される。受信されたデータに基づいて、支払いシステム140は、支払いを処理するために必要とされるさらなるステップを実施する。
【0101】
本発明の核心から逸脱することなく、上述した実施形態に対する様々な修正形態が可能であることを当業者は十分に理解するであろう。
【0102】
本発明を拡張現実システムに関連して述べてきたが、上述した技術及び解決策を仮想現実システム及び設定にも適用できることは明らかである。
【0103】
図5の実施形態は、スマートフォンがユーザの購入意思に関係付けられたアイテムを識別した後、そのアイテムに関する説明データがARデバイスに送信されることによって強化することができる。次いで、ARデバイスは、識別されたアイテムを視覚化し、1つのアイテムの購入を確定するようにユーザに促す。ユーザの確定は、
図3の実施形態に関連して述べたようにして得ることができる。また、ARバックエンドは、(例えば、リクエストが曖昧な場合に)ユーザの購入意思に関係付けられた複数のアイテムを返し得る。この場合、ユーザによるさらなる選択/確定ステップが必要であり、同様に実施することができる。
【0104】
さらに、
図5の実施形態は、受信されたトリガ信号に基づいて、購入対象のアイテムをスマートフォンが(少なくとも部分的に)識別するように修正することができる。特に「このシャツを購入します」という音声信号を受信すると、スマートフォンは、ユーザの購入意思が衣類アイテムに関係していることを検出することができる。
【0105】
図5に基づく別の実施形態では、トリガ信号は、スマートフォンがアイテムを(少なくとも部分的に)識別できるようにする参照識別子を含む。特に、参照識別子は、製品番号であり得、及び/又はARデバイスのディスプレイを使用することによって拡張現実環境内でユーザに視覚化され得る。
【0106】
さらに、上述した実施形態は、単一の支払いシステムのみを含むが、本発明が複数の支払いシステムを組み込み得ることは明らかである。このようにして、様々な支払い方法(例えば、クレジットカード、暗号通貨)が様々な支払いシステムによって提供され得、そのうちの1つをユーザが選択することができる。代替として、この決定は、好ましくは、それぞれの購入に応じてARデバイス/ARバックエンド及び/又はモバイルデバイスによっても行われ得る。
【0107】
簡単にするために、上記の実施形態では、購入されたアイテムの配送及び/又は提供を準備するためのさらなるアクションは、トリガされない。しかし、いくつかの実施形態では、そのようなアクションは、現実世界での技術システムによって実施され、支払いの開始によってトリガされる。そのようなアクションの例として、以下のものが挙げられる。
- 特に自動倉庫内のロボットによる、購入されたアイテムの取出し、
- 特に製造機による、特にユーザ仕様に従った、購入されたアイテムの製造及び/又は構成、
- サーバからモバイルデバイスへの(購入された)デジタルコンテンツの転送及び/又はモバイルデバイスへのデジタルコンテンツの格納。
【0108】
以下では、本開示のさらなる態様を
図6~15に関して説明する。
【0109】
本開示によれば、本発明の方法は、潜在的購入又はレンタル取引のために、仮想若しくは拡張現実又はホログラフィック環境内において、現実又は仮想物体の選択を示すアクションをユーザが行うことから始まる。そのような指示及び選択は、例えば、選択対象のアイテムの領域内での所定の期間にわたるユーザの継続的な視線、ポインティングデバイスに関連付けられた信号、検出された所定の頭の動き、手、指及び/又は腕のジェスチャの少なくとも1つによって実施され得る。容易に理解されるように、本明細書で述べるHMDは、様々な形態であり得、限定はしないが、例えば眼鏡、ゴーグル、顔を完全に若しくは部分的に覆うヘルメット又は他の形態のヘッドギアであり、選択を行い及び/又は検出するための適切なセンサを含み、センサは、限定はしないが、例えば前面カメラ、HMD内のモーション及び/又はジャイロセンサ又は着用者の頭、手、指、腕及び/又はポインティングデバイスの動きを検出するためのHMDに関連付けられた外部デバイス並びに着用者の視線を検出するためのカメラ及び/又はセンサである。
【0110】
潜在的取引は、限定はしないが、物理的アイテム及びデジタルコンテンツを含む商品及び/又はサービスの購入又は所定の期間にわたるレンタルのためのものであり得る。本明細書で使用するとき、デジタルコンテンツは、例えば、ビデオ、ビデオゲーム、画像、非代替性トークン(NFT)、ポッドキャスト、出版物、音楽及び仮想環境内で表示されるユーザに固有の(又は非固有の)デジタル画像、例えばユーザの関連する画像又はアバターを伴う又は伴わない仮想の衣類、アウターウェア、ヘッドウェア、フットウェア及びジュエリー並びにデジタル形式で通信される任意のコンテンツを含む。さらに、そのような潜在的取引は、代替として、所定の期間又は無制限の期間にわたり、ローカル又はリモートコンテンツサーバからのデジタルコンテンツへのアクセス権を得ることであり得る。
【0111】
この購入指示に応答して、取引管理ソフトウェアモジュールは、ユーザが見ることができる有利な多機能仮想ツール(本明細書では「仮想取引管理ウィジェット」と呼ぶ)をHMDにレンダリングさせる。レンダリングされた仮想取引管理ウィジェットの1つの側面は、好ましくは、以下のものを示すことである:(a)選択されたアイテムの価格;(b)支払い決済要求をトリガする前に利用可能であり、繰延支払い債務に適用される所定の最大閾値金額;及び(c)以前の未決済の支払い債務。取引管理ウィジェットツールは、任意選択で、本明細書でさらに述べるように、未収貸方残高をさらに表示することができる。
【0112】
ユーザへの取引管理ウィジェットの提示後、ユーザによる第2のアクションが検出され、このアクションは、取引の次の段階を指示する。例えば、適切な金額の繰延支払い債務が利用可能であり、購入に適用される場合、所定の期間にわたって所定の左右又は上下角度範囲内でユーザの所定回数の首振り又はうなずきが検出されることにより、購入を続行するというユーザの意思が合図され得る。代替として、続行するというユーザの意思は、例えば、ユーザの視野の縁部(例えば、この目的のためにショッピングカートを表示する視野の隅)又はユーザの視野内の仮想アイコンに向かう視線運動、所定の期間内での事前設定された回数のまばたき、他の所定の頭、手、指及び/又は腕のジェスチャ、目の動き又は音声コマンドによって合図され得る。代替として、ユーザによるそのようなアクション及び対話は、購入が意図されていないこと又は直前に行われた購入を取り消すべきであることを示し得る(このアクションは、例えば、購入が取り消されることが意図されているかどうかをクエリする取引管理ウィジェット内又はその付近に現れる情報に応答して行われ得る)。
【0113】
音声コマンドの場合、HMD又はモバイルデバイスのオーディオユニットが、トリガフレーズ(例えば「LATERPAY this item」など)及び/又はモバイルデバイスのエイリアスの1つ又は複数を含む音声信号を認識するように動作可能であり得る。任意のトリガシステムを認識する前に、オーディオユニットは、好ましくは、ユーザによって認可された音声信号を認証/検証するように動作可能であり得る。
【0114】
完了された取引又は取り消された取引のいずれの場合にも、取引が行われた又は取り消されたことを確定するために、好ましくは追加の情報が取引管理ウィジェット内又はその付近に現れ得る。支払いシステムとの通信が利用可能でない場合(例えば、ユーザが拡張現実ゲームをオフラインでプレイしている間)、取引管理ウィジェットは、購入リクエストが送信されて支払いシステムによって承認される時点まで、繰延支払い購入が保留中であることを示し得(おそらく支払いシステムとの通信が単に遅延又は中断される場合に一時的にのみ)。代替として、例えばユーザが時間的に制約された取引状態にあるとみなされる状況では(例えば、ゲームアプリケーションでの「白熱したバトル」の最中に購入を行う)、リクエストは、拡張現実システムによって先延ばしされ得る。
【0115】
取引が完了された後、好ましくは取引管理ウィジェットが更新され、未決済の繰延支払い債務の新しい残高を示す。ユーザは、閾値(例えば、支払い取引に関する5.00ドルの閾値)に達するか又はそれを超える繰延支払い取引の合計金額に達すると、好ましくは、閾値に達したことを示す取引管理ウィジェットを提示され得、繰延支払い債務の全部又は一部を決済する目的で、取引管理ウィジェットを介して支払いシステムへのアクセス権を与えられる。閾値は、固定されているか、ある程度の柔軟性をユーザに与える(例えば、繰延支払いが合計で閾値の80%になったときに一部決済を要求するか、若しくはユーザの支払い履歴に基づいて閾値を超える超過支出を許す)こともできる。
【0116】
支払いシステムは、この決済に対して複数の支払いオプションをユーザに提供し得る。支払いオプションは、例えば、クレジットカード、Apple Pay、Google Pay、法定通貨若しくは暗号通貨による支払い、第三者による残高の支払いの許可、そのような残高に対する未収貸方の適用又はユーザの関連するモバイルデバイスなど、適切なデバイスでアクティブ化された電子ウォレットアプリケーションを介する支払いが含まれる。代替として、要求された時点でユーザが決済を実施できない場合、代替手段で支払い購入を行うことができる(例えば、ウォレットアプリケーションでの貸方残高又は第三者による残高の支払いの許可により)。別の代替形態として、繰延支払い手法は、ウォレット又は他の支払いアプリケーションを介して支払いが利用可能でないときにのみ二次的に使用することができる。
【0117】
代替として、システムは、第三者(例えば、ユーザの親)によって閾値金額が支払われること又は前払いされることを可能にし得る。この特徴は、例えば、有利なペアレンタルコントロール及び/又は監視メカニズムを提供することができる。例えば、親による前払いは、親の支払い手段を介して(例えば、親からの定期的なクレジットカード支払い補充命令によって)、合意により定期的に更新することができる。
【0118】
図6~15は、本開示の拡張現実システムに実装され得る繰延支払い方法の例示的な図を示す。
図6は、ユーザによって装着されたHMDによる仮想環境内に表示するための、取引管理ソフトウェアモジュールによって生成される取引管理ウィジェット多機能ツールの例示的な初期状態を示す。本開示の繰延支払い方法の態様によれば、ユーザは、有利には、取引管理ウィジェットと対話することができる。
図6では、取引管理ウィジェットは、「ゲージグラフ」のいずれの部分にも陰影が付けられていないこと及び任意選択で「0.00ドル」というテキストの表示により、決済されていない未払いの繰延支払いがないことを示す(0.00ドルの残高)。レンダリングされた取引管理ウィジェット及びその様々な例示的な状態のいくつかを、
図7~15に示されるユーザによる取引の例示的なシーケンスに関してより詳細に述べる。
【0119】
図7は、例えば、ユーザのアバターと共に使用するための、仮想環境内で表示される例示的な仮想シャツを示し、このシャツに関する潜在的取引、例えば購入、ライセンス又はレンタルにユーザが関心を持つ場合がある。ユーザは、例えば、HMDに関連付けられた前述のポインティングデバイス;手、指及び/又は腕のジェスチャ;及び/又は少なくとも所定の期間にわたって物体に向けられるユーザの視線の検出を含む様々な方法のいずれかを使用して、表示された仮想シャツを選択することができる。潜在的取引のためにそのようなシャツを選択すると、取引管理ウィジェットは、
図8に示されるようにHMDでの閲覧のために表示される。
図8において表示されている代表的な取引管理ウィジェットは、表示された仮想シャツの取引価格、すなわち1.76ドルを含み、ゲージグラフは、依然として未決済の未払いの繰延支払いがない(0.00ドル残高)ことを表示し、任意選択で仮想シャツに関する取引を確定するための命令を含む。
【0120】
次いで、ユーザが取引管理ウィジェットと対話して仮想シャツに関する取引を確定すると、取引管理ウィジェットの表示は、
図9に示されるように更新されて、仮想シャツの未決済の取引額1.76ドルについて確定された繰延支払い債務を表す。これは、左端から時計回りで、繰延支払い債務の許容総額5.00ドルのうちの1.76ドルを比率として表す点まで延びる例示的な黒い部分を用いてゲージグラフを表現することによって行われる。
【0121】
拡張現実システムによるユーザと取引管理ウィジェットとの対話の検出は、例えば、少なくとも所定の期間にわたる所定の上下角度範囲内又は範囲外でのユーザによる所定回数のうなずき、所定の期間内での少なくとも事前設定された回数のまばたき、所定の頭の動き、手、指及び/又は腕のジェスチャ、目の動き、ポインティングデバイスアクション及び/又は音声コマンドの少なくとも1つを検出するHMDに関連付けられたセンサの形態であり得る。ユーザは、取引管理ウィジェットとの上述した例示的な対話のうち、取引の確定に使用されない他の対話を使用して、そのような潜在的取引をキャンセルする又は取り消すことができる。
【0122】
取引管理ウィジェットとのユーザの対話の補助として、好ましくはユーザの視野内において、所定の時間間隔の開始時点から始まる追加の時間インジケータを表示することができる。時間インジケータは、例えば、プログレスバー、カウントダウンタイマ、カラーコーディング及び/又はクロックにより、時間間隔中の時間進行を示し得る。時間の進行に従う時間インジケータの更新は、好ましくは、HMD及び/又はモバイルデバイスのタイムユニットによって提供され得、タイムユニットは、時間間隔の終了時点で時間インジケータを除去するように動作可能でもあり得る。時間間隔は、好ましくは、例えば5秒などの所定の一定値に設定することができる。
【0123】
取引が完了された後又は代替としてキャンセルされたか若しくは取り消された後、取引管理ウィジェットは、適切な又は事前設定された期間後に消え、ユーザがその後の潜在的取引又は以前の取引に関する繰延支払い債務の許可された再呼び出しに関心を示したときに再び現れ得る。代替形態では、取引管理ウィジェットは、消えずに、表示された仮想環境の一領域に再配置され、及び/又はサイズを縮小されて、繰延支払い債務の現在の残高を継続的に表示することもできる。
【0124】
図10は、例示的な第2のアイテム、すなわち仮想ズボンを示し、このズボンは、HMDによって仮想環境内に表示され得、このズボンに関するユーザによる第2の潜在的取引、例えば購入、ライセンス又はレンタルにユーザが関心を持つ場合がある。ユーザは、例えば、HMDに関連付けられたポインティングデバイス;手、指及び/又は腕のジェスチャ;及び/又は少なくとも所定の期間にわたって物体に向けられるユーザの視線の検出を含む、
図7に関して上述した様々な方法のいずれかを使用して、表示された仮想ズボンを選択することができる。潜在的取引のために仮想ズボンを選択すると、取引管理ウィジェットは、
図11に示されるようにHMDによって仮想環境内に表示される。
図11に表示されている例示的な取引管理ウィジェットは、表示された仮想ズボンの取引価格、すなわち3.61ドルを含み、ゲージグラフは、依然として繰延支払い債務に関する残高1.76ドルを表示している。これは、繰延支払い債務の最大許容総額5.00ドルに対してそのような金額を比率として示す例示的な黒い部分を用いてゲージグラフを表現することによって行われる。また、
図11では、表示された取引管理ウィジェットは、任意選択で、仮想ズボンに関する取引を確定するための命令を含む。
【0125】
ユーザが取引管理ウィジェットと対話して仮想ズボンに関する取引を確定すると、取引管理ウィジェットの表示は、
図12に示されるように更新されて、未決済の取引総額5.37ドル、すなわち仮想シャツ及び仮想ズボンの取引に対して負っている累積の取引額に関する繰延支払い債務を表示し、黒い弧がゲージグラフにわたって完全に延びている。したがって、図示されるように、5.00ドルの閾値を超える0.37ドルの超過支出が見込まれている。5.37ドルの未決済の取引総額は、5.00ドルの最大許容繰延支払い債務総額を超えているため、
図12の取引管理ウィジェットは、さらに「5.00ドルに達しました」と表示し、「今すぐ支払う」という選択可能なオプションを表示して、ユーザが決済のために支払いシステムと容易に通信できるようにする。ユーザが「今すぐ支払う」オプションを選択しないか又は潜在的取引のキャンセルを示さない場合、仮想ズボンに関する取引は、完了されない。
【0126】
さらに、そのような繰延支払い債務が決済されない限り、取引管理ウィジェット及び/又は仮想若しくは拡張現実システムは、好ましくは、そのような支払い債務が決済されるまではユーザが支払いシステムへのアクセス権を付与されず、そのような支払いシステムによってサポートされている拡張若しくは仮想現実又はホログラフィックプラットフォーム、オペレーティングシステム若しくはウェブサイトのいずれを介しても、他の商品、サービス及びデジタルコンテンツに関する取引を始めることができない旨を示す視覚及び/又は聴覚アラートをユーザに提供し得る。
【0127】
再び
図12を参照すると、ユーザが「今すぐ支払う」の選択オプションを選択すると、例示的な取引管理ウィジェットは、
図13に示されるものに更新されて、決済のための例示的な選択可能な1つ又は複数のユーザ対話オプション、例えば「Apple Pay」を含む。Apple Pay支払いオプションを選択すると、ユーザは、5.37ドルの繰延支払い債務を支払うことができるようになる。そのような支払いオプションは、クレジットカード、Apple Pay(図示する)、Google Pay、法定通貨若しくは暗号通貨による支払い、第三者による残高の支払いの許可、そのような残高に対する未収の貸方の適用又はユーザの関連するモバイルデバイスなど、適切なデバイスでアクティブ化された電子ウォレットアプリケーションを介する支払いを含む、上述した1つ又は複数の支払いオプションを含み得ることを理解されたい。ユーザが5.37ドルの支払い債務を支払うと、取引管理ウィジェットは、更新されて、例えば
図14に示されるように、そのような支払いを反映又は確定することができる。
【0128】
本開示に従って取引管理ソフトウェアモジュールによってレンダリングされる取引管理ウィジェットの使用は、ユーザが繰延支払いで取引を迅速に実行できるようにするだけでなく、例えばユーザに提供されたか又はユーザが得たクレジット又は割引も反映し得、これは、ゲージグラフの対応するセグメントを異なる色、パターン若しくは陰影で描くか、又はそのようなセグメントの輪郭を異なる色、パターン若しくは陰影で強調表示することによって行われる。同様に、例えば仮想環境内での活動に使用するための、ユーザに提供されたか又はユーザが得たバウチャーも同じようにゲージグラフに反映され得、そのようなバウチャーを使用できる物理的又は仮想アイテム又はサービスに関するインジケータを伴うことも又は伴わないこともある。そのようなバウチャーは、限定はしないが、製品、ビデオゲームサービス及びイベントへのアクセスのための得られたクレジット及び/又は割引をさらに反映し得、そのようなイベントは、コンサート、演劇、スポーツイベント、博物館、美術館又は物理的若しくは仮想的な博物館若しくは動物園のツアーなどである。1つの特定の例は、例えば、サービスを受けること又はコンサート、スポーツイベント、演劇若しくはツアーに参加することを含め、製品及び/又は活動のために現実世界で使用可能な得られたクレジット又は割引のために、仮想環境での活動に使用するそのようなバウチャーを得ることを含む。
【0129】
図15は、保留中の繰延支払い債務を含む「ゲージグラフ」(1.76ドルの繰延支払い債務を表す)を有利に表示する取引管理ウィジェットを示し、保留中の繰延支払い債務は、オフラインで行われた購入に関して又は対応する確定された取引について繰延支払い債務が受け入れられるまでにかかる期間中、黒い弧から時計回りに延びる灰色の弧によって示される。図面における例示の取引管理ウィジェットは、ゲージグラフ及び米ドルでの金額の形で示されているが、これらは、例えば、バー、上昇線若しくは下降線など他の形状のインジケータ及び他の通貨での金額を含む代替のシンボルで表すこともできる。
【0130】
有利な独自の仮想取引管理ウィジェット多機能ツールを実装し、潜在的購入、レンタル又はアクセス取引のための仮想又は拡張現実環境内での現実又は仮想物体の選択に関してユーザがそのような画像インジケータと対話できるようにすることにより、本開示による取引システムは、ユーザ対話の制限を伴う繰延支払い債務を有するそのような取引の確定を含む迅速な取引を有益に可能にする。そのような取引システム及びそのための方法は、仮想環境内でのマイクロペイメント取引に特に有利である。
【0131】
本開示の様々な態様を例として図示及び説明してきたが、本明細書で述べる本発明は、それらに限定されず、本開示によって提案され、以下の例示的な特許請求の範囲内に示されるように、他の様々な形態で具現化され得ることを理解されたい。例えば、本開示は、仮想現実HMD及びシステムに関して、繰延支払い債務及びユーザ対話の制限を伴う迅速な取引を可能にするための取引システムの本発明による方法を述べるが、そのような発明は、拡張現実又はホログラフィシステムなどでさらに実装され得る。
【符号の説明】
【0132】
参照符号
110 ARデバイス
111 ディスプレイ
112 アイトラッカ
113 慣性測定ユニット
120 ARバックエンド
130 スマートフォン
140 支払いシステム
150 製品データベース
200 仮想衣料品店
210 シャツ
211、212 ズボン
220 ショッピングカートシンボル
230 視野
310 第1の信号
315 選択データ
320 第2の信号
325 反応データ
330 価格設定データ
335 支払いデータ
410 プログレスバー
420 命令テキストフィールド
500 ユーザ
S1 開始ステップ
S2 第1の分析ステップ
S3 第2の分析ステップ
S4 評価ステップ
S5 データ収集ステップ
S6 データ割当てステップ
S7 チェックステップ
S8 支払い送信ステップ
S9 終了ステップ
S11 トリガステップ
S12a 決定リクエスト
S12b 決定応答
S13a ルックアップリクエスト
S13b ルックアップ応答
S14 取引ステップ
【外国語明細書】