(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-04-13
(54)【発明の名称】冷蔵商品筐体のための可動式閉鎖システム
(51)【国際特許分類】
G06Q 30/06 20230101AFI20230406BHJP
A47F 5/00 20060101ALI20230406BHJP
A47F 3/04 20060101ALI20230406BHJP
【FI】
G06Q30/06
A47F5/00 Z
A47F3/04 D
【審査請求】未請求
【予備審査請求】有
(21)【出願番号】P 2022537894
(86)(22)【出願日】2021-01-13
(85)【翻訳文提出日】2022-08-16
(86)【国際出願番号】 US2021013247
(87)【国際公開番号】W WO2021150406
(87)【国際公開日】2021-07-29
(32)【優先日】2020-01-13
(33)【優先権主張国・地域又は機関】US
(32)【優先日】2020-05-14
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】520122839
【氏名又は名称】クーラー スクリーンズ インコーポレイテッド
(74)【代理人】
【識別番号】110002310
【氏名又は名称】弁理士法人あい特許事務所
(72)【発明者】
【氏名】アバキアン,アルセン
(72)【発明者】
【氏名】ドレイブンストット,ロバート イー.
【テーマコード(参考)】
3B110
3B118
5L049
【Fターム(参考)】
3B110AA07
3B110DA08
3B118DA31
5L049BB72
(57)【要約】
【課題】商品筐体の外部から内部にアクセス可能なスマートな可動式閉鎖システムを提供する。
【解決手段】スマートな可動式閉鎖システムは、小売業環境で腐りやすい消費財を保管するために、外部商品棚周囲温度よりも低い温度に維持するようになされた商品筐体内部に結合される。スマートな可動式閉鎖システムは、小売用製品ケースに保管されている1つまたはそれ以上の製品に対応するグラフィック・レンダリングを表示する電子コンポーネントを含む。加えて、閉鎖システム内の製品の在庫状況を判定し、判定された在庫状況に基づいて、グラフィック・レンダリングを制御するコントローラを含む。
【選択図】
図8
【特許請求の範囲】
【請求項1】
外部商品棚周囲温度よりも低い温度で維持されるようになされた商品筐体を必要とする小売業環境への設置のために構成されるスマートな可動式閉鎖システムであって、前記システムは、
それにアプリケーションがインストールされている顧客の無線通信機器と、
小売用製品ケースから所定の距離内に顧客の人間の姿を検出するように構成される顧客検出器と、
小売業環境での購入用に腐りやすい品物を保管する前記小売用製品ケースの内部保管容積と、
前記内部保管容積の視認を妨げる可動式扉と、
前記可動式扉に張り付けられているディスプレイデバイスであって、前記ディスプレイデバイスは前記内部保管容積の少なくとも棚割を表示するように構成され、前記棚割は欠品インジケータを備える、前記ディスプレイデバイスと、
前記小売用製品ケースの前記内部保管容積の1つまたはそれ以上の画像を取り込むために、前記可動式扉に設置されている光学センサと、
前記ディスプレイデバイスに通信可能に連結されているコントローラであって、前記コントローラは、前記顧客検出器による検出に応答して、顧客の前記無線通信デバイスで実行しているアプリケーションを通じて顧客と対話するように構成される、コントローラと、
前記内部保管容積の入力された棚割マッピングおよび複数の製品の明細を備えるデータストアであって、明細は前記複数の製品の各々の形状、色および寸法を含む、データストアと、
前記小売用製品ケースの近くの1つまたはそれ以上のプロセッサと、
コンピュータ可読命令を格納するメモリであって、前記1つまたはそれ以上のプロセッサで実行されたときに、前記1つまたはそれ以上のプロセッサに、
前記光学センサによって取り込まれた1つまたはそれ以上の画像を後処理して合成画像にすることと、
前記合成画像、前記入力された棚割マッピングおよび前記複数の製品の明細に基づいて、前記小売用製品ケース内の、前記複数の製品の中のある製品の在庫状態を判定することと、
前記判定された在庫状況に基づいて、前記ディスプレイデバイスに表示する広告を判定することであって、前記広告は、前記製品の前記在庫状況が欠品であるときに、欠品インジケータを備える、前記判定することと、
前記ディスプレイデバイスに表示するために前記広告を送信することと、
を行わせるコンピュータ可読命令を格納する、前記メモリと、
を備える、スマートな可動式閉鎖システム。
【請求項2】
前記入力された棚割マッピングは、
前記製品の指示と、
前記製品の指定場所の指示と、
を含む、請求項1に記載のスマートな可動式閉鎖システム。
【請求項3】
前記製品の前記在庫状況を判定することは、前記合成画像に基づいて、前記指定場所に製品が検出されないと判定することを含む、請求項2に記載のスマートな可動式閉鎖システム。
【請求項4】
前記光学センサは、前記可動式扉の動作中に複数の画像を取り込むように構成されて、前記動作は前記可動式扉が開くことおよび前記可動式扉が閉じることを含む、請求項3に記載のスマートな可動式閉鎖システム。
【請求項5】
前記広告は異なる製品に関連付けられているアートワークを含む、請求項3に記載のスマートな可動式閉鎖システム。
【請求項6】
前記1つまたはそれ以上のプロセッサで実行されたときに、前記1つまたはそれ以上のプロセッサに、前記製品が前記小売用製品ケース内にないことを指示するメッセージをコンピューティングデバイスに伝送させる、在庫トラッカを含む、請求項3に記載のスマートな可動式閉鎖システム。
【請求項7】
前記製品の前記在庫状況を判定することは、前記合成画像に基づいて、前記小売用製品ケースに保管されている製品を特定することを含み、さらに、
前記保管されている製品の場所、前記保管されている製品の形状、前記保管されている製品の色、前記保管されている製品の寸法、およびそれらの組合せ、から選択される少なくとも1つを判定することを含む、請求項2に記載のスマートな可動式閉鎖システム。
【請求項8】
前記広告は前記製品に関連付けられているアートワークを備えており、前記製品の前記在庫状況を判定することは、
前記保管されている製品の場所が前記指定場所に対応すると判定すること、
前記保管されている製品の形状が前記明細の前記製品の形状に対応すると判定すること、
前記保管されている製品の色が前記明細の前記製品の色に対応すると判定すること、ならびに、
前記保管されている製品の寸法が前記明細の前記製品の寸法に対応すると判定すること、およびその組合せ、
から選択される少なくとも1つに基づいて、前記製品が前記小売用製品ケースに存在すると判定することを含む、請求項7に記載のスマートな可動式閉鎖システム。
【請求項9】
前記製品の前記在庫状況を判定することは、
別の製品の形状が前記明細の前記製品の形状に対応しないと判定すること、
前記別の製品の色が前記明細の前記製品の色に対応しないと判定すること、
前記別の製品の寸法が前記明細の前記製品の寸法に対応しないと判定すること、およびその組合せ、
から選択される少なくとも1つに基づいて、前記小売用製品ケースの前記指定場所に前記別の製品が存在すると判定することを含む、請求項2に記載のスマートな可動式閉鎖システム。
【請求項10】
前記製品の前記在庫状況を判定することは、前記小売用製品ケース内の前記製品の数量を判定することを含む、請求項1に記載のスマートな可動式閉鎖システム。
【請求項11】
前記広告は、前記複数の製品に関連付けられているアートワークを備える棚割を備える、請求項1に記載のスマートな可動式閉鎖システム。
【請求項12】
コンピューティングデバイスから、前記入力された棚割マッピングを受信することをさらに含む、請求項1に記載のスマートな可動式閉鎖システム。
【請求項13】
前記データストアは前記小売業環境に配置されており、前記1つまたはそれ以上の画像は前記可動式扉の動作に基づいて取り込まれる、請求項1に記載のスマートな可動式閉鎖システム。
【請求項14】
前記顧客の人間の姿は人間の顔を含んでおり、前記コントローラは、
前記検出に応答して、前記小売用製品ケースのディスプレイにすでに出力されている第1グラフィック・レンダリング内にテキストメッセージを生成することと、
顧客が前記テキストメッセージに応答するときに通知を受信することと、
前記受信に応答して、顧客の前記無線通信デバイスで実行している前記アプリケーションを通じて顧客と対話することと、
顧客が応答するとき、前記アプリケーションを通じて顧客情報を受信することと、
前記顧客情報に基づいて、前記小売用製品ケースの前記ディスプレイの第2グラフィック・レンダリングをカスタマイズすることと、
を行うように構成される、請求項1に記載のスマートな可動式閉鎖システム。
【請求項15】
前記コントローラは、
前記顧客情報に基づいて、顧客が寄るであろう第2小売用製品ケースを予測することと、
前記第2小売用製品ケースに貯蔵されている製品について、前記小売用製品ケースの前記ディスプレイにグラフィック・レンダリングを表示することと、
を行うように構成される、請求項1に記載のスマートな可動式閉鎖システム。
【請求項16】
内部保管容積を備える小売用製品ケースに取り付けられている可動式扉に張り付けられているディスプレイ画面に広告コンテンツを生成するための方法であって、前記方法は、
前記内部保管容積の棚割マッピングおよび複数の製品の明細を判定することであって、前記明細は前記複数の製品の各々の形状、色および寸法を含む、前記判定することと、
前記可動式扉に設置されている光学センサによって取り込まれた1つまたはそれ以上の画像を後処理して合成画像にすることと、
前記合成画像、前記棚割マッピングおよび前記複数の製品の前記明細に基づいて、前記小売用製品ケース内の、前記複数の製品の中のある製品の在庫状況を判定することと、
前記判定された在庫状況に基づいて、前記ディスプレイ画面に表示する広告を判定することと、
前記ディスプレイ画面に表示するための広告を送信することと、
を含む、方法。
【請求項17】
前記棚割マッピングは、
前記製品の指示と、
前記製品の指定場所の指示と、
を含む、請求項16に記載の方法。
【請求項18】
前記製品の前記在庫状況を判定することは、前記合成画像に基づいて、前記指定場所に製品が検出されないと判定することを含み、
前記広告は、前記製品が欠品していることを指示する欠品インジケータを備える、
請求項17に記載の方法。
【請求項19】
内部保管容積を有する小売用製品ケースと、前記内部保管容積の視認を妨げる可動式扉と、前記可動式扉に張り付けられているディスプレイであって、前記内部保管容積の少なくとも棚割を表示するよう構成されているディスプレイと、前記可動式扉に張り付けられている光学センサとを備える冷蔵システムのコンピューティングプラットフォームであって、前記コンピューティングプラットフォームは、
1つまたはそれ以上のプロセッサと、
メモリであって、前記1つまたはそれ以上のプロセッサで実行されたときに、前記1つまたはそれ以上のプロセッサに、
前記内部保管容積の棚割マッピングおよび複数の製品の明細を判定することであって、前記明細は前記複数の製品の各々の形状、色および寸法を含む、前記判定すること、
前記可動式扉に設置されている光学センサによって取り込まれた1つまたはそれ以上の画像を後処理して合成画像にすること、
前記合成画像、前記入力された棚割マッピングおよび前記複数の製品の前記明細に基づいて、前記小売用製品ケース内の、前記複数の製品の中のある製品の在庫状況を判定すること、
前記判定された在庫状況に基づいて、前記ディスプレイ画面に表示する広告を判定すること、および
前記ディスプレイ画面に表示するための広告を送信すること、
を行わせるコンピュータ実行可能命令を格納している前記メモリと、
を備える、コンピューティングプラットフォーム。
【請求項20】
前記棚割マッピングは、
前記製品の指示と、
前記製品の指定場所の指示と、
を含む、請求項19に記載のコンピューティングプラットフォーム。
【請求項21】
前記製品の前記在庫状況を判定することは、
前記合成画像および前記複数の製品の前記明細に基づいて、信頼性スコアを計算することと、
前記信頼性スコアが閾値未満であるとき、前記製品が前記内部保管容積で欠品していると判定することであって、前記表示用の広告は前記製品が欠品であることを指示する欠品インジケータを備える、前記判定することと、
を含む、請求項20に記載のコンピューティングプラットフォーム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は商品筐体の外部から内部にアクセス可能なスマートな可動式閉鎖システムに関するものである。一般に、可動式構造物は、たとえば、小売業環境で腐りやすい消費財を保管するために、外部商品棚周囲温度よりも低い温度に維持するようになされた商品筐体内部に連結されている。可動式構造物のうち、特に、スマートな可動式閉鎖システムは、小売用製品ケースに保管されている1つまたはそれ以上の製品に対応するグラフィック・レンダリングを表示する電子コンポーネントを含んでいる。
【背景技術】
【0002】
ますます多くの人が品物をオンラインで購入するようになってきているが、実店舗の小売販売(たとえば、冷蔵システムで提供される)は、依然として実体的なものであり、事実、食料品店、ドラッグストアおよびコンビニエンスストアなどの一定の市場セグメントでは成長を見せている。実店舗での買い物の75パーセント以上は衝動買い(impulse purchasing)である。調査によると、衝動的な決定は店内のメッセージングに強い影響を受け、店内の衝動買いのほとんどは冷蔵庫および冷凍庫などの小売用製品ケースで起きることが分かっている。そのため、小売用製品ケースでの衝動買い行動の中断(disruption)は、日用消費財ブランドおよび小売業者の両者に多大な価値創設機会(value creation opportunity)を与えることができるであろう。
【発明の概要】
【0003】
以下の概要は、本発明の一定の特徴の簡単な概要を提示する。この概要は広範な概要ではなく、主要なまたは不可欠な要素を特定することを意図するものでもない。1つまたはそれ以上のコンピュータのシステムは、動作時にシステムにアクションを行わせるソフトウェア、ファームウェア、ハードウェア、またはそれらの組合せをシステムにインストールすることにより、特定の動作またはアクションを行うように構成されてもよい。1つまたはそれ以上のコンピュータプログラムは、データ処理装置によって実行されたときに、装置にアクションを行わせる命令を含むことにより、特定の動作またはアクションを行うように構成されてもよい。
【0004】
ある実施の形態では、外部商品棚周囲温度よりも低い(または高い)温度で維持されるようになされた商品筐体(または他の筐体)を必要とする小売(または非小売)環境に設置するために構成されるスマートな可動式閉鎖システムを含む。それらシステムは、小売業環境での購入のために腐りやすい品物を保管する小売用製品ケースの内部保管容積を含み、いくつかの実施の形態では、可動式扉が内部保管容積の視認を妨げるように構成されている。システムは、可動式扉に張り付けられているディスプレイデバイスも含み、ディスプレイデバイスは少なくとも内部保管容積の棚割を表示するように構成され、棚割は1つまたはそれ以上の製品の欠品を指示するメッセージまたはグラフィックを含んでもよい。システムは、カメラなど、小売用製品ケースの内部保管容積の1つまたはそれ以上の画像を取り込むために可動式扉に設置されている光学センサも含んでもよい。システムは、ディスプレイデバイスに通信可能に連結されているコントローラも含んでもよい。
【0005】
システムは、内部保管容積の入力された棚割マッピングおよび複数の製品の明細を格納するデータストアも含み、明細は複数の製品の1つまたはそれ以上の形状、色および/または寸法を含んでもよい。システムは、いくつかの実施の形態において、小売用製品ケースの近くに1つまたはそれ以上のプロセッサも含んでもよい。システムは、1つまたはそれ以上のプロセッサで実行されたときに、1つまたはそれ以上のプロセッサに本明細書で開示される1つまたはそれ以上のステップを行わせるコンピュータ可読命令を格納するメモリも含む。
【0006】
たとえば、方法ステップは、光学センサによって取り込まれる1つまたはそれ以上の画像を後処理して合成画像にするステップと、合成画像、入力された棚割マッピングおよび複数の製品の明細に基づいて、小売用製品ケース内の複数の製品のなかのある製品の在庫状況を判定するステップと、判定された在庫状況に基づいて、ディスプレイデバイス上に表示する広告を判定するステップであって、広告は製品が欠品の在庫状況の場合は欠品インジケータを含んでもよい、前記判定するステップと、コントローラに、ディスプレイデバイスに表示用の広告を送信するステップとを含んでもよい。1つまたはそれ以上の他のステップ(または異なるステップ)を、システムによって実行される前述の方法によって行ってもよい。
【0007】
本発明の他の実施の形態は、1つまたはそれ以上のコンピュータ記憶装置上に記録されて、方法のアクションを行うようにそれぞれ構成される対応するコンピュータシステム、装置およびコンピュータプログラムを含む。
【0008】
いくつかの実施の形態では、以下の特徴のうちの1以上を含んでもよい。入力された棚割マッピングが製品の指示と、製品の指定場所の指示とを含んでもよいスマートな可動式閉鎖システム。製品の在庫状況を判定することは、合成画像に基づいて、指定場所に製品が検出されないと判定することを含んでもよい。いくつかの実施の形態において、内側に向く光学センサは、可動式扉の動作中に複数の画像を取り込むように構成されてもよく、動作は可動式扉が開くことおよび可動式扉が閉じることを含んでもよい。
【0009】
システムは、1つまたはそれ以上のプロセッサによって実行されたときに、1つまたはそれ以上のプロセッサに製品が小売用製品ケースにないことを指示するメッセージをコンピュータデバイスに伝送させる在庫トラッカを含んでもよい。
【0010】
製品の在庫状況を判定することは、合成画像に基づいて、小売用製品ケースに保管されている製品を特定することと、さらに、保管されている製品の場所、保管されている製品の形状、保管されている製品の色、保管されている製品の寸法、およびそれらの組合せから選択される少なくとも1つを判定することを含んでもよい。
【0011】
製品の在庫状況を判定することは、保管されている製品の場所が指定場所に対応していると判定すること、保管されている製品の形状が明細にある製品の形状に対応していると判定すること、保管されている製品の色が明細にある製品の色に対応していると判定すること、保管されている製品の寸法が明細にある製品の寸法に対応していると判定すること、およびその組合せから選択される少なくとも1つに基づいて、小売用製品ケースに製品が存在すると判定することを含んでもよい。
【0012】
製品の在庫状況を判定することは、別の製品の形状が明細にある製品の形状に対応していないと判定すること、別の製品の色が明細にある製品の色に対応していないと判定すること、または別の製品の寸法が明細にある製品の寸法に対応していないと判定すること、から選択される少なくとも1つに基づいて、小売用製品ケースの指定場所に別の製品が存在すると判定することを含んでもよい。
【0013】
製品の在庫状況を判定することは、小売用製品ケースの製品の数量を判定することを含んでもよい。スマートな可動式閉鎖システムは、コンピューティングデバイスから、入力された棚割マッピングを受信することを含んでもよい。
【0014】
いくつかの実施の形態において、データストアが小売業環境に配置されていてもよく、1つまたはそれ以上の画像が可動式扉の動作(たとえば、開閉等)に基づいて取り込まれる。いくつかの実施の形態において、広告は製品に関連するアートワークを含んでもよい。広告は、複数の製品に関連するアートワークを含んでもよい棚割を含んでもよい。いくつかの実施の形態において、広告は異なる製品に関連するアートワークを含んでもよい。説明される技術の実施の形態は、ハードウェア、方法もしくはプロセス、またはコンピュータアクセス可能媒体上のコンピュータソフトウェアを含んでもよい。
【0015】
ある実施例では、内部保管容積を含んでもよい小売用製品ケースに装着されている可動式扉に張り付けられているディスプレイ画面上に広告コンテンツを生成する方法を含む。方法は、内部保管容積の棚割マッピングおよび複数の製品の明細を判定することも含んでもよく、明細は複数の製品のそれぞれの形状、色、および/または寸法を含んでもよい。方法は、可動式扉上(たとえば、上、内、または付近)に設置されている光学センサによって取り込まれた1つまたはそれ以上の画像を後処理して合成画像にすることも含む。
【0016】
方法は、(i)合成画像、(ii)棚割マッピング、および(iii)複数の製品の明細に基づいて、複数の製品の中から小売用製品ケース内のある製品の在庫状況を判定することも含む。方法は、判定された在庫状況に基づき、ディスプレイ画面上に表示用の広告を判定することも含んでもよい。方法は、ディスプレイ画面に表示用の広告を送信することも含む。
【0017】
本発明の他の実施の形態は、1つまたはそれ以上のコンピュータ記憶装置に記録されて、方法のアクションを行うようにそれぞれ構成される、対応するコンピュータシステム、装置、およびコンピュータプログラムを含む。
【0018】
ある実施例は、内部保管容積を有する小売用製品ケースを含んでもよい冷蔵システムのコンピューティングプラットフォームも含む。コンピューティングプラットフォームは、1つまたはそれ以上のプロセッサも含む。プラットフォームは、1つまたはそれ以上のプロセッサで実行されたときに、1つまたはそれ以上のプロセッサに、内部保管容積の棚割マッピングおよび複数の製品の明細を判定させることであって、明細は複数の製品のそれぞれの形状、色、および/または寸法を含んでもよい、判定することと、可動式扉に設置されている光学センサによって取り込まれた1つまたはそれ以上の画像を後処理して合成画像にすることと、合成画像、入力された棚割マッピングおよび複数の製品の明細に基づいて、小売用製品ケース内の複数の製品のなかのある製品の在庫状況を判定させることと、判定された在庫状況に基づいて、ディスプレイ画面上に表示する広告を判定させることと、ディスプレイ画面上に表示用の広告を送信することとを行わせるコンピュータ実行可能命令を格納するメモリも含む。
【0019】
本発明の他の実施の形態は、1つまたはそれ以上のコンピュータ記憶装置に記録されて、方法のアクションを行うようにそれぞれ構成される対応するコンピュータシステム、装置およびコンピュータプログラムを含む。
【0020】
本発明の実施の形態は、以下の特徴のうちの1以上を含んでもよい。冷蔵システムのコンピューティングプラットフォームは、内部保管容積を有する小売用製品ケースと、内部保管容積の視認を妨げる可動式扉と、可動式扉に張り付けられているディスプレイと、可動式扉に張り付けられている光学センサとを備えてもよい。いくつかの実施の形態において、ディスプレイは少なくとも内部保管容積の棚割を表示するように構成される。棚割マッピングは、製品の指示、および/または製品の指定場所の指示のうちの1以上を含んでもよい。製品の在庫状況を判定することは、合成画像および複数の製品の明細に基づいて信頼性スコアを計算すること、および/または信頼性スコアが閾値未満であるときに内部保管容積に製品が欠品していると判定することのうちの1以上を含んでもよい。説明される技術の実施の形態は、ハードウェア、方法もしくはプロセス、またはコンピュータアクセス可能な媒体上のコンピュータソフトウェアを含んでもよい。これらおよび他の特徴および利点は、以下により詳しく説明される。
【0021】
以下の概要は、一定の特徴の簡単な概要を提示する。概要は広範な概要ではなく、主要なまたは不可欠な要素を特定することを意図するものでもない。本明細書で開示される1つの実施の形態において、コンピューティングプラットフォームは1つまたはそれ以上の小売用製品ケースと、冷蔵システムの1つまたはそれ以上の小売用製品ケースのディスプレイ上にさまざまな広告(アド)を生成するコントローラとを備える。小売用製品ケースのそれぞれは、1つまたはそれ以上の小売用製品を貯蔵するための内部保管容積、その扉上のディスプレイ(画面)、および小売用製品ケースの近くに1つまたはそれ以上の顧客の存在を検出するための顧客検出器を含んでもよい。
【0022】
コントローラは、たとえば、1つまたはそれ以上の顧客によって見られるための広告を表示するために、通信チャネル(たとえば、無線チャネル)で小売用製品ケースのそれぞれと通信する。たとえば、コントローラは、小売用製品ケースにそのディスプレイ上に全画面広告を表示するよう指示するように構成されてもよい。全画面広告の表示は、デフォルト手順であってもよく、または顧客検出器によって(たとえば、顧客の)モーションまたは人間の姿が検出されないときに行われてもよい。(たとえば、顧客の)モーションまたは人間の姿が所定の距離内に検出されるとき、コントローラは、その後、全画面広告を終了して内部保管容積に配置されている製品の棚割を表示するよう、小売用製品ケースに指図してもよい。
【0023】
別の実施の形態において、小売用製品ケースの顧客検出器は、1つまたはそれ以上のカメラおよび近接センサを含んでもよい。1つまたはそれ以上のカメラおよび近接センサは、小売用製品ケースの扉前面に位置付けてもよい。
【0024】
別の実施の形態において、顧客がケースの扉の十分近くにいることが検出される場合、ケースのディスプレイに招待指示が表示されてもよい。たとえば、棚割の中央にクイックレスポンス(QR)コードが生成されてもよい。検出された顧客は、顧客が招待に応答してオプトインすることを望む場合、無線デバイスによりQRコード(登録商標)をスキャンすることができる。顧客がオプトインすると、コンピューティングプラットフォームは携帯アプリを介して顧客と対話してもよい。いくつかの実施の形態において、QRコード(登録商標)の代わりにまたはQRコード(登録商標)に加えて、顧客に招待を指示するために、QRコード(登録商標)以外の画像(たとえば、マシン検出可能なウォーターマーク付き画像)、Bluetooth(または他の短距離無線プロトコル)ビーコン、または他の仕組みを設けてもよい。
【0025】
別の実施の形態において、顧客がケースのディスプレイ上に表示される招待に応答してオプトインするとき、携帯アプリを通じて取得される顧客情報に従ってパーソナライズド広告が表示されてもよい。パーソナライズド広告は小売用製品ケースに貯蔵されている1つまたはそれ以上の製品の特別設定価格の指示であってもよい。
【0026】
別の実施の形態において、顧客が招待に応答してオプトインしないとき、コンピューティングプラットフォームは、一般化情報(たとえば、気象状態、気象予報、および現在または近く起こるイベント)に基づいて挿入される広告(たとえば、バナーアド、スポット広告、およびホットスポット)を用いて棚割を生成し続けてもよい。
【0027】
別の実施の形態において、コンピューティングプラットフォームは、小売用製品ケースに関係する広告のセットを(たとえば、クラウドコンピューティングサービスから)ダウンロードしてもよい。さらに、コンピューティングプラットフォームは、小売用製品ケースのディスプレイ上にダウンロードされた広告の1つを生成してもよい。ダウンロードされた広告のセットは、小売用製品ケースに貯蔵されている製品の種類に基づいてもよい。製品の種類は、ケースの識別からまたは小売用製品ケースによって提供される在庫情報から判定されてもよい。
【0028】
別の実施の形態において、コンピューティングプラットフォームは、ケースの近くの気象状態、日付、および/またはケースの近くの顧客に関する特徴を包含してもよいルールのセットに基づいて、小売用製品ケースのディスプレイ上に提示される広告を判定してもよい。たとえば、提示される広告は、顧客が20秒間飲料ケースのそばに立っている、屋外が98度Fである、および日付が7月4日の直前であることを理由に選択されてもよい。
【0029】
別の実施の形態において、コンピューティングプラットフォームは、小売用製品ケースのディスプレイ上に提示される広告の有効性の尺度を判定してもよい。たとえば、コンピューティングプラットフォームは、顧客が小売用製品ケースの決められた距離内にいるかどうか、および/または所定の人数を超える顧客が提示される広告を見ているかどうかを検出してもよい。
【0030】
別の実施の形態において、コンピューティングプラットフォームは、製品レベルでターゲティング広告を生成してもよい。たとえば、顧客検出器は、顧客が小売用製品ケースの棚割に表示される特定の製品を見ていることを検出してもよい。
【0031】
別の実施の形態において、第1小売用製品ケースに表示される広告は、第2小売用製品ケースに貯蔵されている製品を販促してもよい。たとえば、コンピューティングプラットフォームは、顧客情報に基づいて、顧客が第1小売用製品ケースで買い物をした後に第2小売用製品ケースで買い物をすると予測してもよい。
【図面の簡単な説明】
【0032】
前述の概要、および以下の例示的な実施の形態の詳細な説明は、添付の図面と合わせて読むとよりよく理解され、これらは例として含まれており、請求される発明に関する制限としてではない。
【
図1A】
図1A、
図1Bおよび
図1C(総称して「
図1」という)のうち
図1A は、1つまたはそれ以上の実施の形態による1つまたはそれ以上の小売用製品ケースをサポートするコンピューティングプラットフォームを示す。
【
図1B】
図1Bは、1つまたはそれ以上の実施の形態による1つまたはそれ以上の小売用製品ケースをサポートするコンピューティングプラットフォームを示す。
【
図1C】
図1Cは、1つまたはそれ以上の実施の形態による1つまたはそれ以上の小売用製品ケースをサポートするコンピューティングプラットフォームを示す。
【
図2】
図2は、1つの実施の形態による小売用製品ケースの扉の前面を示す。
【
図3】
図3は、1つの実施の形態による小売用製品ケースの扉の裏面を示す。
【
図4】
図4は、1つの実施の形態による小売用製品ケースを示す。
【
図5A】
図5Aおよび
図5Bは(総称して「
図5」という)のうち
図5Aは、1つまたはそれ以上の実施の形態による小売用製品ケースの扉の部分を示す。具体的には、
図5Aは小売用製品ケースの扉の一部分の断面を示す。
【
図5B】
図5Bは、1つまたはそれ以上の実施の形態による小売用製品ケースの扉の部分を示す。具体的には、
図5Bは小売用製品ケースの扉の一部分を示す。
【
図6】
図6は、1つの実施の形態による小売用製品ケースの扉上のカメラの例示的な配置を示す。
【
図7】
図7は、1つの実施の形態による扉が開いているときの小売用製品ケースのさまざまな図を示す。
【
図8】
図8は、1つの実施の形態による小売用製品ケースのディスプレイ画面上に表示することのできるさまざまな種類の広告を示す。
【
図9】
図9は、1つの実施の形態による小売用製品ケースの内部保管容積の棚割マッピングおよびさまざまな製品の明細を示す。
【
図10】
図10は、1つの実施の形態による判定された製品の在庫状況に基づいて小売用製品ケースのディスプレイ画面に表示されてもよいさまざまな広告を示す。
【
図11】
図11は、1つの実施の形態による1つまたはそれ以上の小売用製品ケースをサポートする広告用コンピュータシステムを示す。
【
図12】
図12は、1つの実施の形態による1つまたはそれ以上の小売用製品ケースをサポートするエッジコンピューティング装置を示す。
【
図13】
図13は、1つの実施の形態による広告用システムを構成するためのフローチャートを示す。
【
図14】
図14は、1つの実施の形態による小売用製品ケースの画面上に広告を生成するためのフローチャートを示す。
【
図15】
図15は、1つの実施の形態によるルールのセットから選択される広告を表示するためのフローチャートを示す。
【
図16】
図16は、1つの実施の形態による表示された広告の有効性レベルを判定するためのフローチャートを示す。
【
図17】
図17は、1つの実施の形態による製品レベルでターゲティング広告を生成するためのフローチャートを示す。
【
図18】
図18は、1つの実施の形態による第2小売用製品ケースに貯蔵されている製品のために第1小売用製品ケースで広告を表示するためのフローチャートを示す。
【
図19】
図19は、1つの実施の形態による小売用製品ケースに関連するディスプレイ画面に広告を判定および表示するためのフローチャートを示す。
【
図20】
図20は、1つの実施の形態による小売用製品ケースに関連するディスプレイ画面に広告を判定および表示するためのフローチャートを示す。
【発明を実施するための形態】
【0033】
実施の形態のいくつかの実施例により、スマートな可動式閉鎖システムを開示する。システムは、いくつかの実施の形態において、商品筐体の内部または商品筐体の外部の画像および/または他の媒体(たとえば、音声、映像、赤外線データ、または他の媒体)を取り込む電子コンポーネントを備えてもよい。さらに、システムは、いくつかの実施の形態において、他にもあるなかでも、商品筐体に保管されている1つまたはそれ以上の製品に対応するグラフィック・レンダリングまたは他の視覚的出力を表示する電子コンポーネントも備えてもよい。商品筐体は、たとえば、小売業環境で腐りやすい消費財を保管するために外部商品棚周囲温度よりも低い温度で維持されるようになされてもよい。このように、小売用製品ケースは小売業環境でユーザと対話するシステムを提供してもよい。
【0034】
コンピューティングプラットフォームは、小売用製品ケースの近くの顧客に関する情報、小売用製品ケースに貯蔵されている1つまたはそれ以上の製品、および小売用製品ケースの外部の一般化情報に基づいて、冷蔵システムの小売用製品ケースで表示されるコンテンツを生成する。
【0035】
いくつかの実施の形態の一実施例によると、コンピューティングプラットフォームは1つまたはそれ以上の小売用製品ケースで選択される広告(アド)を生成してもよい。小売用製品ケースは、1つまたはそれ以上の製品を貯蔵するための内部保管容積、ケースの扉上のディスプレイ、および小売用製品ケースの近くの顧客の存在を検出するための顧客検出器を含む。
【0036】
1つの実施の形態について、顧客が小売用製品ケースから所定の距離内に所在していると検出される場合、ケースのディスプレイに招待インジケータが表示される。顧客がオプトインするとき、携帯アプリを通じて取得されてもよい顧客情報に従ってパーソナライズド広告が表示されてもよい。パーソナライズド広告は小売用製品ケースに貯蔵されている1つまたはそれ以上の製品の特別設定価格も含んでもよい。1つの実施の形態について、表示される広告は、小売用製品ケースに貯蔵されている製品の在庫状況に基づいていてもよい。たとえば、ケースのディスプレイは、ケース内にもはや製品が用意されていないと検出したことに基づいて、欠品インジケータを表示してもよい。
【0037】
冷蔵庫はもっとも見過ごされ、もっとも販促されず、もっとも技術的に高度ではないものの1つかもしれず、小売店のもっともオペレーションが難しいセクションの1つかもしれない。従来の小売用製品ケース(たとえば、冷蔵庫、冷凍庫、自動販売機等)は、小売用製品ケースに保管されている製品を顧客が見ることができ、購入用に利用できるガラス板または扉を備えてもよい。しかし、保管されている製品は整然と提示されていないことがあり、保管されている製品が他の製品によって遮られていることもあるので、顧客はどの製品が購入可能であるかが容易に分からない。その上さらに、店の従業員は、その中に保管されている製品の見た目を保ち、在庫状態を把握し、またはそれらの品物を最新の状態にしておくために販促用タグおよび他のディスプレイ(価格設定および販促に関わるディスプレイなど)を設置したり交換したりする必要がしばしばあるだろう。
【0038】
前述した小売用製品ケースに対するこれらの従来のアプローチでは、食料品店の冷蔵庫および冷却装置は、ブランドが効果的な「その場での」広告および販促を行うのが難しい分野であろう。ブランドは、通例、小売店およびコンビニエンスストアの冷蔵庫/冷凍庫および/または冷却装置の棚で小売される製品を販促するのに、他の広告媒体(たとえば、印刷物、広告板、オンラインおよびテレビ広告など)に頼るであろう。
【0039】
さらに、前述したこれら従来のアプローチでは、広告活動は効果的および影響力があるとはいえないだろう。従来のアプローチの制約のために、市場浸透度は非常に小さかった。
【0040】
図1は、1つの実施の形態による1つまたはそれ以上の小売用製品ケースをサポートするコンピューティングプラットフォーム100を示す。コントローラ101と小売用製品ケース102および103とを備えるコンピューティングプラットフォーム100は、小売用製品ケースで保管されている製品に基づいて、小売用製品ケースの1つに、選択される広告を生成してもよい。
【0041】
小売用製品ケース102および103は冷蔵庫、冷凍庫、自動販売機などを備えてもよく、通例対応する内部容積にさまざまな種類の製品(たとえば、牛乳、冷凍食品、ビール、アイスクリームなど)を保管する。
【0042】
図1Aを参照すると、本明細書で開示されるシステムの1つの実施の形態において、エッジプロセッサ(コントローラ)101は、1つまたはそれ以上の基準、たとえば、小売用製品ケースの近くの顧客、小売用製品ケースで保管されている製品、および小売用製品ケースに特有ではない一般化情報(たとえば、気象状態)に基づいて選択される広告を表示するよう小売用製品ケース102または103に指示する。
【0043】
一方で、本明細書に開示されるシステムの他の実施の形態は、個々の買い物客/顧客の知識が一切なくても動作/機能し、システムは個人を絶対に特定しようとしない、すなわち、個人を特定できるまたは個人の特定に繋がる情報を絶対に収集または使用することはない「アイデンティティ・ブラインド」である。いくつかの実施の形態において、特徴の「アイデンティティ・ブラインド」セットを実行するかどうかの選択は、消費者がプライバシーを望む、および/または適用される法律が規定する国または州にシステムが所在するかどうかで判断してもよい。
【0044】
図1を参照すると、いくつかの実施の形態について、コントローラ101は有線または無線通信チャネル(たとえば、Wi-Fi、Bluetooth(R)、Zigbee(R)、など)を介して小売用製品ケースと通信してもよく、小売用製品ケースの近くにあっても、またはインターネットを通じて世界の任意の場所にあってもよい。
図1Bに図示されるように、いくつかの実施の形態において、コントローラ101は小売用製品ケース内のエッジコンピューティングデバイス110に内蔵/統合されてもよい。当然ながら、コンピューティングプラットフォーム100は、小売用製品ケース102,103に対応する1つまたはそれ以上のエッジプロセッサ101をクラウドコンピューティングサービス104に通信可能に接続するために、1つまたはそれ以上のルータ(たとえば、無線ルータ)を含んでもよい。あるシステム150では、無線ルータ(
図1Aには図示せず)を使用してエッジプロセッサ101をクラウドコンピューティングサービス104に接続してもよく、無線ルータは、小売用製品ケース102,103を含め小売場所の複数のインターネット・オブ・シングス(IoT)デバイスに共用無線ネットワークを提供してもよい。
【0045】
図1Bのシステム160を含む別の実施の形態において、エッジコンピューティングデバイス110は、小売店主が運用する共用無線ルータおよび/またはモデムを使用することなく、クラウドコンピューティングサービス104と接続するための無線ハードウェア(たとえば、LTE/5Gまたは他のセルラー規格)を備えてもよく、エッジコンピューティングデバイス110はエッジプロセッサ101およびデータストア111も備えてもよい。
【0046】
各小売用製品ケース102または103は、明示的に示していない関連コンポーネント(たとえば、センサ、カメラなど)のための共通の通信インターフェースにより無線チャネルをサポートしてもよい。しかし、いくつかの実施の形態は、コントローラ101を用いてインターネット・オブ・シングス(IoT)をサポートするさまざまなコンポーネントの各々について個別の無線通信チャネルを確立してもよい。
【0047】
いくつかの実施の形態において、小売用製品ケース102,103は、小売用製品ケース103のコストおよび複雑さを低減するために、エッジコンピューティングデバイス110を共有してもよい。このような実施の形態において、
図1Bに図示されるように、第1小売用製品ケース102のエッジコンピューティングデバイス110は、本書で説明するコンピューティングステップの1以上を処理する責任を負ってもよい。したがって、第2小売用製品ケース103は、製品の欠品の判定に関連するコンピューティング負荷を第1小売用製品ケース102のエッジコンピューティングデバイス110に分散してもよい。
【0048】
いくつかの実施の形態について、コントローラ101は追加のコンピューティング設備、たとえば、クラウドコンピューティングサービス104または1つまたはそれ以上のコンピュータサーバ(明示的に図示せず)と対話して、広告コンテンツを取得し、無線サービス105により無線デバイス106を介して顧客または従業員と対話してもよい。あるいは、無線デバイス106は小売場所で共用無線ルータ(
図1には図示せず)を通じて直接エッジプロセッサ101に接続してもよい。
図1Bは、無線デバイス106が短距離無線通信チャネル(たとえば、Wi-Fi、Bluetooth(R)、Zigbee(R)など)を使用して、小売用製品ケース102,103内またはその付近に常駐しているエッジコンピューティングデバイス110と通信可能に接続するタブレット、スマートフォン、ラップトップまたは他の携帯電子デバイスであってもよいコンピューティングプラットフォーム100の別のアーキテクチャを示す。
【0049】
いくつかの実施の形態について、
図1Bに図示されるように、エッジコンピューティングデバイス110は別のコンピューティングデバイス115と(たとえば、クラウドコンピューティングサービス104を介して)通信してもよい。コンピューティングデバイス115は専門家ユーザに関連付けられてもよく、エッジコンピューティングデバイス110の動作を制御および監視するために使用されてもよい。
図1Cに図示されるように、いくつかの実施の形態において、クラウドコンピューティングサービス104は中央データストア112を備えてもよく、これは
図9に関して本明細書でさらに説明される。
【0050】
図2は、1つの実施の形態による小売用製品ケース(たとえば、
図1に図示されるケース102および103)の扉230の前面
図231を示す。
【0051】
各小売用製品ケース102および103は扉230を有してもよい。ディスプレイ(画面)216が扉230に、1つまたはそれ以上の近接センサ(ヒートマップ)、画像センサ、人間の姿/特徴を検出するセンサまたはスキャナ、アイセンサ(虹彩追跡センサ)など、顧客検出ハードウェア218とともに取り付けられている。
【0052】
いくつかの実施の形態について、ディスプレイ216は、顧客によってインタラクティブである、すなわち対話的に操作できる1つまたはそれ以上のタッチゾーン232を有するLCDパネルを備える。アクセスパネル234をメディアプレーヤ236とともに扉230の底部の近くに位置付けてもよく、これはディスプレイコンテンツをディスプレイ216に提供する。保護パネル(明示的に図示せず)をディスプレイ216の上に取り付けてもよい。
【0053】
図3は、1つの実施の形態による小売用製品ケースの扉230の背面
図302を示す。カメラまたは他の種類のセンサ(すなわち、在庫追跡ハードウェア304)を扉230の裏面302に設けてもよく、小売用製品ケースに保管されている商品に向けてもよい。在庫追跡ハードウェア304は、コントローラ101によって、小売用製品ケース内の製品の在庫状況を追跡し続けるために使用されてもよい。
【0054】
図4は、1つの実施の形態による小売用製品ケース102を示す。各小売用製品ケース102は、小売用製品ケース102の扉のディスプレイなど、少なくとも1つのディスプレイ416を備える。
【0055】
複数の小売用製品ケース(小売用製品ケース102と同様)および関連ディスプレイは、小売店(たとえば、食料品店)の通路に並べて配列されてもよい。エッジプロセッサ(コントローラ)101(
図1に図示される)は、たとえば、顧客検出器418および/または在庫トラッカ420によって検出されるものに応じて、ディスプレイ416を操作するように構成されてもよい。
【0056】
いくつかの実施の形態について、顧客検出器418は、検出される物体が(たとえば、ショッピングカードではなく)人間(人)だと思われるときに、顧客を検出してもよい。顧客検出器418は、さらに、検出された人が従業員かどうかを(たとえば、従業員の制服または従業員のRFIDタグによって)判定してもよい。このような状況において、顧客検出器418は、小売用製品ケースのディスプレイが更新されないように従業員を無視してもよい。
【0057】
いくつかの実施の形態について、ディスプレイ416は、顧客がディスプレイを通して内部保管容積に保管されている製品を見るのを妨げる不透明なディスプレイを備える。ディスプレイ416は、たとえば、顧客が対話してもよいタッチ画面を備えてもよい。ディスプレイ416はディスプレイコントローラに関連付けられてもよい。
【0058】
各小売用製品ケース102は、さらに、任意または特定の個人(たとえば、顧客対従業員)、(たとえば、顧客の)モーション、人間の姿(たとえば、人間の形をした姿または顧客の標準的な顔)、熱等を検出できる顧客検出器418を備えてもよい(たとえば、顧客は、顧客検出器418によって検出される小売用製品ケースの近くの個人であってもよい)。いくつかの実施の形態について、顧客検出器は、近接センサ(たとえば、ヒートマップを介して)、画像センサ、人間の姿/特徴を検出するセンサ、スキャナ、アイセンサ(たとえば、虹彩追跡センサ)等のうちの1以上を利用してもよい。顧客検出器418に加えて、小売用製品ケース102は、小売用製品ケース102の中/周り/上の活動を検出するように構成される他のセンサ423を備えてもよい。
【0059】
例示のために顧客検出器418はさらなるステップをトリガ/起動するための入力として説明されてきたが(たとえば、
図8、符号802および804)、顧客検出器418は、次の例を含むがこれだけに制限されない1つまたはそれ以上の他のセンサ423によって代用および/または補足されてもよい。開いている扉を検出するように構成されるセンサ、ある位置から別の位置への扉の移動(たとえば、閉から開、または開から閉)、扉がバタンと閉められたかどうか、扉の移動の角速度、および同様なもの)を検出するように構成されるセンサ、在庫の変化を検出するための小売用製品ケース102の棚上の重量センサ、小売用製品ケース102の欠品製品を検出するように構成される光学センサ(たとえば、カメラ)、および/または他の種類のセンサ/カメラである。
【0060】
いくつかの実施の形態について、1つまたはそれ以上の画像センサ423は小売用製品ケース102の扉に取り付けられてもよい。1つまたはそれ以上の画像センサは20フィート以上の視野深度を有してもよく、たとえば、150度の検出能力をもつ170度の視野範囲を有してもよい。たとえば、検出能力は、人間/人の全体的な形または標準的な特徴が小売用製品ケース102の近くにいるかどうかを検出してもよい。コンピュータ可読命令が画像センサに関連して採用されて、買い物客の対話を監視し、メディアプレーヤ417を介してディスプレイ416に関係ある広告コンテンツを提供し、店内の広告エンゲージメントを追跡してもよい。
【0061】
コントローラ101(
図1に図示される)は、各画像センサを独立して制御するとともに、複数のディスプレイをまとめて制御して、単一画面および/または多重画面のコンテンツおよび対話を提供するように構成されてもよい。コントローラ101およびディスプレイ416は、バナー広告402および全画面広告401の両方がディスプレイ416に表示できるように構成されてもよい。コントローラ101はディスプレイ416での出力のために広告コンテンツをディスプレイコントローラに提供してもよい。
【0062】
各小売用製品ケース102は、さらに、たとえば、保管されている小売用製品を特定し、量化し、および/またはその他追跡するために、在庫トラッカ420を備えてもよい。いくつかの実施例において、在庫トラッカ420は、小売用製品ケース102の内部に配設されて、保管されている製品に向けてもよい追加のカメラおよび/またはセンサ423を利用してもよい。いくつかの実施例において、在庫トラッカ420は、カメラおよび/またはセンサによって取り込まれる画像および/または他のデータを後処理するために、プロセッサ、メモリおよび/またはコンピュータ可読命令を備えてもよい。いくつかの実施例において、プロセッサおよび/またはコンピュータ可読命令はコントローラ101に統合されてもよく、コントローラ101は保管されている小売用製品を特定し、量化し、および/またはその他追跡するために、画像/データの後処理および分析を行ってもよい。
【0063】
コントローラ101は、棚割(たとえば、
図8の広告801~805に図示される)を提供するために、各小売用製品ケース102のディスプレイ416を制御するように構成されてもよい。いくつかの実施例において、棚割は小売用製品ケース102の内部保管容積に物理的に収容されている小売用製品に関係付けてもよい。小売用製品は必ずしもディスプレイ416から見えなくてもよい。たとえば、小売用製品ケース102に保管されている製品は整然と配列されていなくてもよく、またはそこに保管されている他の製品によって見るのを防がれてもよい。しかし、棚割は、在庫トラッカ420によって提供される在庫情報に基づいて、内部保管容積内に保管されている小売用製品を(たとえば、顧客に)指示してもよい。その結果、表示される棚割は顧客に提示されるものを効果的に最適化してもよい。
【0064】
図1に図示されるように、コントローラ101は、有線イーサーネット、無線LAN、セルラーネットワークおよび同様なものを介して、インターネット、Bluetoothなどにより小売用製品ケース102とネットワーク化されてもよい。コントローラ101は、小売用製品ケース102のディスプレイ416を制御するように構成されてもよく、ならびにディスプレイ416からの情報(たとえば、タッチ画面の対話に関する情報)および顧客検出器418および在庫トラッカ420からの情報を含め、小売用製品ケース102からの情報を受信するように構成されてもよい。
【0065】
各小売用製品ケース102は、他にもあるなかでも、コントローラ101と小売用製品ケース102との間での情報のネットワーク化および転送ならびにディスプレイ416、顧客検出器418および在庫トラッカ420の制御、を促すように構成されてもよいインターフェース422も含んでもよい。
【0066】
いくつかの実施の形態について、コントローラ101は、1つまたはそれ以上のプロセッサ、メモリストレージ、ユーザインターフェースなどを有するサーバを備えてもよく、ディスプレイ416に何を表示するかを指図し、小売用製品ケース102から情報およびデータを受信するように構成されてもよい。加えて、コントローラ101は受信された情報およびデータに基づいて解析を行うように構成されてもよい。
【0067】
図4には明示的に示されていないが、小売用製品ケース102の実施の形態は、その内部容積内に製品を物理的に保管するために必要な他のコンポーネント(たとえば、冷却ユニットなど)を含んでもよい。
【0068】
本発明の実施の形態は、小売用製品ケース102の内部に置かれている製品の在庫を検出して、ディスプレイ416上に製品を指示している棚割を更新する自動化能力を提供する。在庫トラッカ420は、小売用製品ケース102の内部棚の写真を撮るように向けられているカメラを、スマートアルゴリズムを利用するソフトウェアとともに利用して、画像分析およびその後の解析を行ってもよい。たとえば、在庫トラッカ420は製品が小売用製品ケース102にあるかどうか、小売用製品ケース102内の製品の数量、製品が小売用製品ケース102内の正しい位置にあるかどうか、等を判定してもよい。たとえば、任意の品物が小売用製品ケース102内にない場合、コントローラ101はディスプレイ416上の情報を検出および更新して、消費者および店舗オペレータに案内するように構成される。
【0069】
図5Aおよび
図5Bは、小売用製品ケース102の扉230における1つまたはそれ以上のカメラ540の例示的な配置を示す。カメラ540は扉230の裏面302の縁に取り付けられてもよく、扉230が開かれるときに写真を撮ることが可能な角度で傾斜されているブラケット542に収納されてもよい。
【0070】
1つの実施の形態において、大きなエリアカバレッジを提供するので、広視野(FOV)カメラ(たとえば、180度FOV「魚眼」)を利用してもよい。広視野カメラによって生成される画像は、縁がひどく歪み、画像処理ステップで画像を「認識する」ソフトウェアの能力を制限することがある。1つの実施の形態において、120度FOVを有する超小型カメラを扉230のハンドル側の縁に沿って45度の角度を付けたハウジングに取り付けてもよい。
図5Aに図示されるように、カメラ540は、ディスプレイパネルアセンブリ544と扉230の機械的フレーム546との間の空のベゼル空間543の中に収容してもよい。
【0071】
任意の数のカメラ540を各小売用製品ケース102の各扉の内側に提供することができる。たとえば、
図5Bに図示されるように、3台のカメラ540を扉230の高さに沿って等距離に分布させて、棚空間(すなわち、小売用製品ケース14内部)の高さおよび幅の全カバレッジを考慮してもよい。3台のカメラは、扉230が約25度よりも大きい任意の角度で開いても、小売用製品ケースの棚の全体を取り込むであろう。いくつかの他の実施の形態において、使用されるカメラの種類および/またはカメラの仕様は、25度よりも大きいまたは小さい角度になってもよい。
【0072】
カメラ540は、扉の動作中(すなわち、扉230を開いているとき)にトリガさせて、画像を取り込んでもよい。カメラ540は1つまたはそれ以上のイベントに応答してトリガさせてもよい。たとえば、カメラ540は、動きの感知に基づいてトリガさせてもよい。カメラ540の少なくとも1台は動きを感知するのに使用してもよい。加えて、または代わりに、扉230の1つまたはそれ以上の加速度計548(
図5Bを参照)を扉の動きを感知するのに使用してもよい。たとえば、1つまたはそれ以上の加速度計548は扉が閉じていることを感知して、カメラ540をトリガしてもよい。カメラ540は扉230の揺動状態および位置によってトリガさせてもよい。たとえば、カメラ540は扉230が開いているときにトリガさせてもよい。
【0073】
カメラ540は、扉230が閉じているときにトリガさせてもよい。これは在庫トラッカ420が少なくともいくつかの例示的な状況において製品の在庫の正確な評価を出すことを可能にしてもよい。たとえば、小売用製品ケース102が1本の特定のソフトドリンクを有する場合、ディスプレイ416はソフトドリンクを含む棚割を表示してもよい。消費者が扉230を開けて小売用製品ケース102を取り出し、扉230を閉じる場合、在庫トラッカ420はソフトドリンクに関連付けられている記録を更新してもよく、次いで、ディスプレイ416がソフトドリンクは現在小売用製品ケース102で欠品していると指示する(たとえば、棚割上に)ように更新されてもよい。扉230が閉じられているときに画像を取り込むことにより、いくつかの実施の形態において、消費者が小売用製品ケース102にアクセスした後に、在庫トラッカ420が製品在庫を正確に更新することを可能になってもよい。
【0074】
扉の動作中に複数の画像が取り込まれてもよい。たとえば、1台のカメラ540が複数の画像を取り込んでもよい。たとえば、3台のカメラ540を使用するとき、第1写真は第1カメラで取り込んでもよく、第2写真は第2カメラで取り込んでもよく、第3写真は第3カメラで取り込んでもよい。あるいは、3台のカメラ540の各々が複数の画像を取り込んでもよい。このことは小売用製品ケースの内部の収納物に関して異なる位置/角度から画像を取り込むことを可能にしてもよい。
【0075】
さらに、他の実施の形態において、動画カメラを使用してもよい。動画カメラは扉の回転の開始位置から所定の終了位置まで多数のビデオフレームを取り込んでもよい。終了位置は設定された所定の位置、所定の範囲、または開始位置から所定の相対回転角度であってもよい。
【0076】
コントローラ(たとえば、在庫トラッカ420および/またはコントローラ101)は、さまざまな要因に基づいて、カメラ540の動作パラメータを調整してもよい。コントローラはカメラ540の露出、焦点位置、センサ利得/ISO速度、絞りのサイズ等を調整してもよい。1つの実施の形態において、コントローラは扉の回転速度に基づいて画像取り込みの頻度を変更してもよい。たとえば、コントローラは、扉がより高い回転速度で揺動しているという測定値をコントローラが受信する場合(たとえば、1つまたはそれ以上の加速度計548、または他のモーションセンサ)、取り込まれる画像の数を増やしてもよい。低光量状況では、コントローラは低光量に対応するために1つまたはそれ以上のカメラの動作パラメータを調整してもよい。他の実施の形態では、コントローラはカメラレンズの水分または結露を検出して、影響を受けるカメラの動作パラメータを修正してもよい。
【0077】
コントローラは取り込まれた画像に対して後処理を行ってもよい。コントローラは複数の画像を1つの合成画像にデジタルで結合する/つなぎ合わせるためのコンピュータ実行可能命令を実行してもよい。たとえば、コントローラは第1カメラからの複数の写真を第2カメラおよび第3カメラによって撮られた1つまたはそれ以上の写真と結合して1つの合成画像にしてもよい。いくつかの実施の形態において、合成画像は画像サイズを小さくするために後処理を受けてもよい。1つの実施の形態において、畳み込みニューラルネットワークなどのニューラルネットワークを使用する人工知能を使用して、小売用製品ケースの収納物のうち関係する部分の境界エッジを特定してもよい。境界エッジの外側の画像の領域はコントローラによって破棄してもよい。境界エッジの外側の領域は、小売用製品ケース102の内部保管容積の外側にある場所に対応してもよい。より小さな画像サイズはコントローラでのメモリ要件を減らすであろうし、コントローラからクラウド内の1つまたはそれ以上のリモートサーバへの画像の伝送に必要な帯域幅も削減するであろう。
【0078】
いくつかの実施の形態において、取り込まれた画像はぼけを低減するために後処理を受けてもよい。コントローラ内のぼけ軽減モジュールが、取り込まれた画像の部分のうち重複性のある部分を特定し、その重複部分から、ぼけ(および/または他の望ましくない画像特性)が低減される適切な部分を選択してもよい。コントローラは、ぼけ軽減モジュールによって特定された選択された部分をデジタルで結合する/つなぎ合わせることによって、合成画像を生成してもよい。
【0079】
図5Aに図示されるように、カメラ540は、カメラ540の回転がカメラ540をディスプレイパネルアセンブリ544の縁を過ぎて張り出すことになってもよいように位置付けてもよい。このような位置付けの少なくとも1つの利点は、カメラの視界が遮られないかもしれないことである。いくつかの実施の形態において、この配慮によりカメラ540の場所が蝶番軸から約28インチになるようにしてもよい。一方で、他の実施の形態では、カメラ540は蝶番軸から他の距離に配置されてもよい。
【0080】
一つの例示的な実施の形態において、カメラから棚までの距離は4インチとしてもよく、棚上の小売用製品は扉フレームに対して略中央になるようにしてもよい。カメラは約120度の対角FOVを有してもよく、カメラの薄い寸法の方向で視界がより広くなるように向けてもよい。カメラは扉のハンドル側付近に、扉内側のディスプレイ画面によってその視界が妨げられることなく、蝶番側に向かって45度傾けて位置付けてもよい。カメラから棚までの距離は、いくつかの実施の形態では、4インチ以外の値に設定してもよい。多様な厚さまたは寸法の扉・ケースアセンブリの他の実施の形態では、カメラは扉のハンドル側付近に、扉内側のディスプレイ画面によってその視界が妨げられることなく、蝶番側に向かって約40度傾けて位置付けてもよい。
【0081】
1つの実施の形態において、蝶番から28インチ以上離れて、扉の蝶番縁に向かって約50度回転して位置付けられている2台のカメラを使用して、小売用製品ケース102のすべての収納物を取り込んでもよい。別の実施の形態では、1つまたはそれ以上のカメラを扉の蝶番縁に向かって約30度から90度の回転角度に設置して、小売用製品ケース102の収納物の取り込みを最適化してもよい。カメラの回転角度は扉のサイズ寸法、扉の開口、および/または棚構成に基づいてもよい。1つの実施の形態において、1台のカメラを扉230の上縁から21インチのところに配置してもよく、他のカメラを扉230の下縁から21インチのところに配置してもよく、2台のカメラを互いに30インチ離してもよい。別の実施の形態において、カメラは扉に沿って垂直にほぼ等距離に位置付けて、小売用製品ケース102の収納物の画像取り込みを最適化してもよい。さまざまなカメラの場所および/または向きの配置は例示的なものにすぎず、他の実施の形態では、他の仕様を使用してカメラを配置および/または配向してもよい。
【0082】
図6は、小売用製品ケース102の扉230における例示的なカメラの位置を示す。カメラFOVは透明な角錐として示されている。
図14の実施の形態では、頂部カメラC
1および底部カメラC
3は扉フレームの上縁および下縁から約16.5インチのところに配置されている。中央カメラC
2は扉の縁の中央においてもよく、他の2つのカメラの各々から20インチであってもよい。扉203が小売用製品ケース102内部の棚上の製品に対して垂直方向に中心に置かれない実施の形態では、3台のカメラの1つまたはそれ以上の位置はそれに応じて上または下にずらしてもよい。カメラは、そのFOVが扉の内面をちょうどわずかに捕らえ損ねるような角度に置かれてもよい。蝶番は棚の縁に近いため、この位置付けはほぼすべての扉角度について場面の蝶番側をカメラ画像の縁に維持する。
【0083】
図7は、扉230が約44度または25度開いているとき、前面および頂部からの例示的な小売用製品ケースおよび扉230のさまざまな図を示す。カメラFOVは正射図で透明な角錐として、上面図では三角形として表される。棚の前面は「F」の印が付けられている。扉230が30度以上開いているとき、場面全体がFOVの中に収まる。扉の角度が25度まで減少すると、ハンドル側の場面の部分はカメラFOVの外側に移動し始めるであろう。当業者は、本明細書に開示される全体の精査後、本開示が前述の実施の形態で開示される特定の角度に制限されないことを認識するであろう。むしろ、角度および仕様は本開示の基本的な教唆に基づいて調整してもよい。
【0084】
図8は、1つの実施の形態による小売用製品ケース102のディスプレイ416に提示されてもよいさまざまな種類の広告801,802,803,804,805を示す。広告801は全画面広告を示すのに対し、広告802~805(それぞれ、バナーアド、ホットスポット、ラベル/タグおよびスポット広告に対応する)は、小売用製品ケース102の棚割内に挿入されるオファーを示す。たとえば、ディスプレイ広告は、ディスプレイ画面上の製品の画像の底部にラベルを、製品の画像の頂部にタグを含んでもよい。ラベルおよびタグは所定の動画アイコンのプールから選択されて起動されてもよい。たとえば、ディスプレイ広告のピザのネイティブ広告を熱々のピザの動画グラフィック・レンダリングに置き換えてもよい。特許の説明のために、
図8のディスプレイ416に表示される製品はブランド名のない標準的な画像として示されているが、実際の運用では、表示されるグラフィカル画像はブランド固有のものとなり、ブランドロゴ、名称、色および他の特色を含む。
【0085】
これから述べるように、いくつかの実施の形態では、挿入されるオファーは小売用製品ケース102の近くの顧客に基づいてカスタマイズされてもよい。
【0086】
広告802を参照して、顧客検出器418は、顧客が広告(たとえば、広告802)の領域851を見つめている(見ている)時を検出してもよい。その場合、領域851に示される1つまたはそれ以上の製品にターゲティングされる広告を画面416に表示してもよい。
【0087】
全画面広告801を参照すると、1つの広告が画面416の全体の面積を占めるかもしれないが、実施の形態は画面416に同時に表示されてもよい(異なる表示領域にある)複数の広告をサポートしてもよい。
【0088】
図9は、小売用製品ケース102の内部保管容積の入力された棚割マッピング902を示す。棚割マッピング902は、たとえば、(たとえば、コントローラ101に関連付けられている)データストア111に格納されてもよい。棚割マッピング902はクラウドサービス104、無線デバイス106、および/またはその組合せから受信されてもよい(たとえば、データストアに入力される)。
【0089】
たとえば、
図1Bに図示されるように、小売店の場所にいるユーザは携帯無線デバイス106を使用して、データストア111に格納されている棚割マッピング902を入力(たとえば、エンター、作成、更新、確認等)してもよい。ユーザは小売場所100の従業員であってもよく、またはそうでなければ、携帯デバイス106を使用してクラウドから以前にデータストア111にダウンロードされた棚割マッピング902を確認および更新することを許可されたユーザ(たとえば、ベンダー、製品サプライヤ、コンサルタント、許可された第三者、または他のユーザ)であってもよい。いくつかの実施の形態では、中央の本社が最初の棚割マッピング902を準備して、それをクラウドサービス104により1つまたはそれ以上の小売用製品ケース102に配布してもよい。
【0090】
棚割マッピング902は、小売用製品ケース102内に保管されている製品の製品インジケータ、および小売用製品ケース102内で、製品を保管する場所の対応する場所インジケータの一方または両方を備えてもよい。たとえば、棚割マッピング902は、製品P1が場所L1に保管されている、製品P2が場所L2に保管されている、等を指示してもよい。1つの実施の形態として
図8を参照すると、小売用製品ケース102上のデジタルディスプレイ416は803に図示されるデジタル棚割を表示してもよい。データストア111に保管されている場所L1の値は、一番上の棚のもっとも左の列/スポットが特定の種類の飲料の細いプラスチックボトルに指定されていることを指示してもよい。データストア111に格納されている棚割マッピング902の場所L1に対応して、製品P1の値は特定の寸法の細いプラスチックボトルの形を指示してもよい。一方で、一番上の棚のもっとも右の列を指示する場所L2については、製品P2の値は特定の寸法の同じ細いプラスチックボトルの形を指示してもよいが、そのボトルに特有の色の特色を含む。たとえば、データストア111内の製品P2は、特定の配色および特定の色の「Y」付きのラベルを指示してもよい。一方で、P1は特定の色の「X」付きのラベルを指示してもよい。
【0091】
したがって、場所は固有の棚(たとえば、一番上の棚、一番下の棚、一番下の棚よりも上の第3の棚等)および/または棚上の位置(たとえば、棚上のもっとも左の列/スポット、棚のほぼ中央)を含んでもよい。他の実施の形態において、場所は内側向きの1つまたはそれ以上のカメラによって取り込まれた、小売用製品ケース102の内部保管容積の前向き平面のx座標およびy座標であってもよい。たとえば、カメラによって生成される合成画像のもっとも左の一番下の角は、x-y平面の(0,0)座標であってもよい。いくつかの実施の形態において、z座標も、小売用製品ケース102の裏面に向かう方向で、内部保管容積の奥行きに対応する場所に組み込まれてもよい。システム170,160,150はカメラによって生成される合成画像を入力として受信し、本明細書で説明する方法ステップの1以上を使用して画像内で棚を検出してもよい。合成画像の生成は、多数のカメラアングルから重複する棚を特定および除去すること、棚の縁を特定すること、および同様なことを含んでもよい。
【0092】
1つの実施の形態において、システムは多様な状況における棚(たとえば、棚の縁)を特定するように訓練される。そのため、いくつかの実施の形態では、後の段階で、個別の訓練済みモデルが棚上の物体/製品を特定してもよい。いくつかの実施の形態において、画像での棚の検出は、棚割の製品画像寸法と組み合わせて使用して、物体自体の特定と組み合わせて製品がどこにあるかを特定してもよい。他の実施の形態では、小売用製品ケース102内の製品の場所は、詳細がより細かくても、またはより細かくなくてもよい。たとえば、場所は、どの小売用製品ケース102が製品を置いておくべきかの単なる識別でよく、具体的にそれが配置されるのがどの棚、棚の場所、および/または棚奥行きであるかでなくてもよい。製品インジケータは対応する場所インジケータによって索引付けされてもよい。製品インジケータは、いくつかの実施の形態では、在庫保管単位(SKU)識別子であってもよく、または製品の別の識別子であってもよい。
【0093】
データストア111は、入力された棚割マッピング902に加えて、小売用製品ケース102に保管されている製品の明細904を備えてもよい。明細904は、一小売業者および/またはすべて/ほとんどの小売業者によって貯蔵されているすべての製品に関連する明細を備えてもよい中央データストア112からダウンロードしてもよい。たとえば、小売店の場所のユーザが棚割マッピング902を入力するとき、エッジコンピューティングデバイス110は、中央データストア112から、棚割マッピング902に特定される製品に関連する明細をダウンロードし、それをローカルデータストア111に格納してもよい。1つの実施の形態において、説明904を備えるファイルは、ユーザによって、有線または無線通信プロトコル(たとえば、ユニバーサルシリアルバス(USB)プロトコル、ローカルエリアネットワーク(LAN)プロトコル、または米国電気電子学会(IEEE)802.11プロトコル)を使用して、ユーザによって、データストア111に手作業でロードされてもよい。
【0094】
少なくともいくつかの実施の形態において、ローカルデータストア111は、製品インジケータと、小売業者によって貯蔵されているすべての製品の部分集合に関連付けられている明細904とを備えてもよい(小売用製品ケース102に保管されている製品だけでなく)。製品の部分集合は小売用製品ケース102内の製品、小売用製品ケース102の近くに保管されているかもしれない他の製品、および/または小売用製品ケース102内に保管されている製品に関係するかもしれない(たとえば、同じカテゴリの)他の製品を備えてもよい。たとえば、小売用製品ケース102がソフトドリンクのボトルを備える場合、明細904はソフトドリンクのボトルに関連付けられている説明を備えても、ソフトドリンクの缶など、関連製品に関連付けられている明細をさらに備えてもよい。1つの実施の形態において、製品は複数のカテゴリ(たとえば、冷凍食品、肉、鶏肉、乳製品、肉)に分類されてもよい。小売用製品ケース102が特定のカテゴリの製品を貯蔵するために使用される場合、データストアは、特定のカテゴリ内のすべての製品に関連付けられている明細およびアイデンティティを備えてもよい。
【0095】
明細は、対応する製品の形状(たとえば、背の高いボトル、背の低いボトル、背の高い缶、ガラス瓶、プラスチックボトル、紙容器、背の低い缶、四角形の箱、長方形の箱、袋、不規則な形状、他の形状)、対応する製品パッケージの色(いくつかの実施の形態において、装飾的な要素および/またはロゴを含む)(たとえば、赤、オレンジ、黄、緑、青、赤の背景に白色の縞、青の背景に太字の白色の文字、赤い箱にピザの写真、その他)、対応する製品の寸法(たとえば、高さ6インチに直径約2インチ幅、厚さが不定の約12インチ×12インチの箱、厚さが1インチの約10インチ×10インチの箱、200画素×200画素の箱、その他)および/または同様なもののうち1以上を備えてもよい。たとえば、一番上の棚のもっとも左の列を指示する場所L1に対応して、製品P1の明細は第1寸法かつ赤の配色のボトル形状を指示してもよい。一番上の棚のもっとも右の列を指示する場所L2については、製品P2の明細は第2寸法かつ青の配色のボトル形状を指示してもよい。明細はクラウドサービス104、無線デバイス106から受信してもよく、またはインターフェース422を使用して入力されてもよい。
【0096】
データストア111は、小売用製品ケース102に保管されている製品または小売業者によって貯蔵されている製品の部分集合に関連付けられている広告コンテンツ(たとえば、アートワーク、マルチメディアコンテンツ)をさらに備えてもよい。たとえば、小売用製品ケース102が乳製品用である場合、データストア111は乳製品に関連付けられている広告コンテンツを備えてもよい。データストア111は、小売用製品ケース102の近くであってもよい他の小売用製品ケース(たとえば、小売用製品ケース103)に関連付けられている広告コンテンツ、または小売用製品ケース内の製品と同じカテゴリの製品に関連付けられている広告コンテンツをさらに備えてもよい。たとえば、小売用製品ケース102が乳製品用であり、近くに配置されている小売用製品ケース103が飲料(たとえば、ソフトドリンク、フルーツジュース)用である場合、データストア111は乳製品および飲料に関連付けられている広告コンテンツを備えてもよい。
【0097】
広告コンテンツは、小売業者によって貯蔵されているすべての製品に関連付けられている広告コンテンツを備えてもよい中央データストア112からダウンロードしてもよい。
図11を参照してさらに説明するように、コントローラ111に関連付けられているアドマネージャが1つの広告から多く(たとえば、数百の)広告まで多様な広告のセットをデータストア111にダウンロードするよう要求してもよい。他の実施の形態において、広告コンテンツは、ユーザが、有線または無線の通信プロトコル(たとえば、USBプロトコル、LANプロトコル、またはIEEE 802.11プロトコル)を使用して手作業でデータストアにロードしてもよい。
【0098】
中央データストア112は、新製品が導入されるとき、棚割マッピングが修正されるとき、および/または製品明細が変更されるときに、必ず更新されてもよい。中央データストア112はデータストア111に更新をプッシュしてもよい。更新は定期的(たとえば、週に1度、月に1度)であってもよく、または小売用製品ケース102に保管されている製品に関連する情報の変更もしくは棚割マッピング902の変更に応答して行ってもよい。ローカルキャッシュメモリをデータストア111に格納する少なくとも1つの利点は、小売用製品ケース102とリモートクラウドサービス104との接続性の一時的な損失が小売場所のシステム100の動作を止めないことである。エッジプロセッサ101は、小売場所の顧客に対する動作を中断することなく、動作し、後でリモートクラウドサービス104と同期してもよい。
【0099】
コントローラ(たとえば、エッジコンピューティングデバイス110)は、合成画像を生成するために、カメラによって取り込まれた1つまたはそれ以上の画像を後処理してもよい(前述したように)。合成画像、棚割マッピング902および製品の明細に基づいて、コントローラはその小売用製品ケース102内の製品の在庫状況を判定してもよい。製品の在庫状況を判定することは、入力された棚割マッピング102の製品が小売用製品ケース102に存在するかどうか、製品の数量、製品が棚割に指示された場所に配置されているかどうかを判定することを備えてもよい。
【0100】
コントローラは、判定された製品の在庫状況に基づいて、ディスプレイ416に表示する広告を判定してもよい。広告は、本明細書に説明される1つまたはそれ以上の手順に従い、たとえば、製品が小売用製品ケース102にないとの判定に基づいて、製品が欠品であることを指示してもよい。加えて、または代わりに、コントローラは、製品が小売用製品ケース102にないことを指示するメッセージを生成して(たとえば、従業員に関連付けられている無線デバイス106または別のコンピューティングデバイスに)伝送してもよい。広告は、本明細書に説明される1つまたはそれ以上の手順に従い、たとえば、製品が小売用製品ケース102にあるとの判定に基づいて、製品(たとえば、製品に関連付けられているアートワーク)を指示してもよい。
【0101】
コントローラは、合成画像の後処理に基づいて場所の占有を判定してもよい。コントローラは、たとえば、場所の占有を判定するためにエッジ検出アルゴリズムを使用してもよい。
【0102】
コントローラは、合成画像の後処理に基づいて、または他のセンサデータを使用して、小売用製品ケース102のある場所がどの製品も備えていないと判定してもよい。この判定に基づいて、コントローラは、棚割マッピング902の場所にマッピングされている製品が小売用製品ケース102にないと判定してもよい。たとえば、コントローラは、一番上の棚のもっとも左の列/スポット(たとえば、製品P1に指定されている場所L1)がどの製品も備えていないと判定してもよい。これに基づいて、コントローラは、製品P1が小売用製品ケース102にないと判定してもよい。コントローラは、小売用製品ケース102の製品の位置に何か埋め合わせるものを確保するために、場所L1の周辺の製品を探してもよい。コントローラが、場所L1にどの製品も備えていないと判定する場合、コントローラは、ディスプレイ416に表示する、製品P1が小売用製品ケース102に在庫がないことを指示する広告を生成してもよい。広告は、製品P1に関連付けられているラベル/タグの代わりに、製品P1が欠品していることを示すアートワークを指示してもよい。コントローラは、ディスプレイ416に関連付けられているディスプレイコントローラに広告を送信してもよい。ディスプレイコントローラはディスプレイ416に広告を出力してもよい。
【0103】
コントローラは、合成画像の後処理に基づいて、または他のセンサデータを使用して、小売用製品ケース102のある場所が保管製品を備えている(たとえば、場所が品物で占有されている)と判定してもよい。コントローラは、合成画像の後処理に基づいて、保管製品の他の属性(たとえば、形状、色、寸法等)をさらに判定してもよい。たとえば、後処理は、いくつかの実施の形態では、合成画像の製品によって占有される画素の数量およびカメラ位置から棚の既知の距離に基づいた、製品の寸法の判定を含んでもよい。たとえば、合成画像の箱の200画素×200画素の画像は、棚の所定の位置で10インチ×10インチの箱に対応してもよい。後処理ステップは、棚からの追加距離を考慮するために、画素単位の画像をスケーリングしてもよい。加えて、コントローラは、判定された保管製品の属性を、棚割マッピング902で場所にマッピングされる製品の明細と比較してもよい。コントローラは、判定された保管製品の属性が明細と一致する場合、製品が小売用製品ケース102にあると判定してもよい。コントローラは、判定された保管製品の属性が明細と一致しない場合、製品が小売用製品ケース102にないと判定してもよい。
【0104】
たとえば、コントローラは、合成画像の後処理に基づいて、または他のセンサデータを使用して、一番上の棚のもっとも左の列(たとえば、製品P1に指定される場所L1)が製品を備えることを検出してもよい。コントローラは、合成画像の後処理に基づいて、場所L1で検出された製品の他の属性をさらに判定してもよい。コントローラは、検出された製品の形状、検出された製品の色、および/または検出された製品の寸法を判定してもよい。コントローラは、検出された製品がボトル形状であると判定すること、検出された製品の色が赤であると判定すること、および/または検出された製品が第1寸法を有すると判定することに基づいて、場所L1で検出された製品が製品P1であると判定してもよい。コントローラは、たとえば、検出された製品がボトル形状であるかどうか、検出された製品の色が赤であるかどうか、および/または検出された製品が第1寸法を有するかどうかに関連付けられている個々の信頼性スコア(たとえば、確率測度)を判定してもよい。コントローラは、上記信頼性スコアに基づいて全体の信頼性スコアを生成し、検出された製品が製品P1であるかどうかを判定してもよい。たとえば、全体の信頼性スコアが閾値(たとえば、60%、70%または任意の他の値)よりも高い場合、コントローラは、検出された製品が製品P1であるかどうかを判定してもよい。
【0105】
判定に基づいて、コントローラは、ディスプレイ416に表示する、製品P1を指示する広告を生成してもよい。広告は製品P1のアートワーク(たとえば、製品P1に関連付けられているラベル/タグ)を指示してもよい。コントローラは、ディスプレイ416に関連付けられているディスプレイコントローラに広告を送信してもよい。ディスプレイコントローラはディスプレイ416に広告を出力してもよい。
【0106】
1つの実施の形態において、コントローラは、検出された製品の形状がボトル形状ではないと判定すること、検出された製品の色が赤ではないと判定すること、および/または検出された製品の寸法が第1寸法と等しくないと判定することに基づいて、一番上の棚のもっとも左の列で検出された製品がP1ではないと判定してもよい。たとえば、個々の信頼性スコアのいずれかが閾値(たとえば、60%、70%または任意の他の値)よりも低い場合、コントローラは、検出された製品が製品P1ではないと判定してもよい。たとえば、全体の信頼性スコアが閾値(たとえば、60%、70%または任意の他の値)よりも低い場合、コントローラは、検出された製品が製品P1ではないと判定してもよい。
【0107】
コントローラが、場所L1で検出された製品が製品P1ではない(たとえば、赤色ではない、および/または前述の第1寸法を有していない)と判定する場合、コントローラは、検出された製品の特定を試みてもよい。コントローラは、たとえば、検出された製品を特定するために、入力された棚割マッピング902に指示されている製品の明細をスキャンしてもよい(たとえば、それが他の場所に関連付けられているかもしれない)。コントローラは、たとえば、検出された製品がボトル形状であると判定すること、検出された製品の色が青であると判定すること、および/または検出された製品が第2寸法を有すると判定することに基づいて、検出された製品が製品P2であると判定してもよい。コントローラは、前述したように、個々の信頼性スコアおよび/または全体の信頼性スコアを使用してもよい。
【0108】
1つの実施の形態において、1つまたはそれ以上の機械学習アルゴリズム/モデルが実行している人工知能ネットワークが本明細書に開示されるシステムに含まれる。機械学習アルゴリズムのフレームワークは、(1)表現、(2)評価および(3)最適化のコンポーネントの1つまたはそれ以上のコンポーネントの組合せ、ときには3つのコンポーネントを含んでもよい。表現コンポーネントとは、1つまたはそれ以上の決定木、ルールのセット、インスタンス、グラフィカルモデル、ニューラルネットワーク、サポートベクトルマシン、モデルアンサンブル、および/またはその他としてを含むが、これだけに制限されない、さまざまな方法で知識を表現するためのステップを行うコンピューティングユニットをいう。評価コンポーネントは、正解率、予測と再現率、二乗誤差、尤度、事後確率、コスト、マージン、エントロピーkLダイバージェンス、および/またはその他としてを含むが、これだけに制限されない、仮説(たとえば、候補プログラム)を評価する方法を表現するためのステップを行うコンピューティングユニットをいう。最適化コンポーネントとは、組合せ最適化、凸最適化、制約付き最適化、および/またはその他を含むが、これだけに制限されない、さまざまな方法で候補プログラムを生成するステップを行うコンピューティングユニットをいう。いくつかの実施の形態において、前述の機械学習の機能性をさらに高め、補足するために、他のコンポーネントおよび/または前述のコンポーネントのサブコンポーネントがシステムに存在してもよい。
【0109】
前述の人工ニューラルネットワークは、意思決定を引き起こすように構成されてもよい。説明のために模式的な実施の形態として、人工ニューラルネットワークは入力される画像内の製品の特色を検出するように構成されてもよい。写真画像が入力としてニューラルネットワークに提供されてもよい。ニューラルネットワークのノードの層は、それぞれ、
図20のステップ2004,2006,2008に示される特定のステップを行うように構成されてもよい。多数のその後の層は、それぞれがさらに多くの特定のタスクを探しながら、さらにこの処理の精度を高め、各ノードはそのタスクの推進に必ずしも動作する必要のないある形態の処理を行う。人工ニューラルネットワークは、さらに、特定された製品の形状、色、寸法および/または他の特色が、特定の小売用製品ケース内の棚の特定の位置に配置されるようにサポートされる製品の製品明細と一致するかどうかを予測してもよい。予測は正しいことも正しくないこともあり、ニューラルネットワークは予測が正しいかまたは正しくないかに相応する信頼性値/スコアを生成してもよい。
【0110】
人工ニューラルネットワークのフィードバックシステムは、人工ニューラルネットワークが正しい決定をしたかどうかを判定するように構成されてもよい。フィードバックは正しい回答の指示および/または正しくない回答の指示および/または正しさの度合い(たとえば、パーセンテージ)を備えてもよい。たとえば、上記提供される製品明細認識の実施の形態において、フィードバックシステムは、製品が正しく特定されたかどうかを判定するように構成されてもよい。フィードバックシステムはすでに正しい回答を知っていてもよいので、フィードバックシステムは正しい決定をしたかどうかを指示することにより人工ニューラルネットワークを訓練できるようにする。フィードバックシステムは、コンピューティングマシン115の専門家ユーザなど、それが正しい決定をしたかどうかを人工ニューラルネットワーク700に伝える人間の入力を備えてもよい。フィードバックシステムはフィードバック(たとえば、前の出力が正しかったか正しくなかったかの指示)を人工ニューラルネットワークに提供してもよい。フィードバックシステムは、加えて、または代わりに、出力が格納されるようにデータストアに連結されていてもよい。フィードバックシステムは正しい回答をまったくもたなくてもよく、代わりに、フィードバックをさらなる処理に基づかせる。たとえば、フィードバックシステムは画像内の棚の製品を特定するようにプログラミングされているシステムを備えていてもよいので、フィードバックが人工ニューラルネットワークにその結果を手作業でプログラミングされた/キュレーションされたシステムのものと比較させるようにする。
【0111】
1つの実施の形態において、人工ニューラルネットワークは、学習してよりよい入力を提供するように動的に修正されてもよい。たとえば、前の入出力およびフィードバックシステムからのフィードバックに基づいて、人工ニューラルネットワークは自己修正してもよい。たとえば、ノードでの処理は変更してもよく、および/または接続は違うように重み付けされてもよい。前に提供された実施の形態に続いて、アルゴリズムに提供される写真がすべての製品ラベルが赤に見えるように色付けされたために、製品識別は正確でなかったかもしれない。このように、いくつかのノードは偽陽性を検出することがあり、信頼できないと見なされることがあり、その場合、そのノードへの接続は大幅に低く重み付けがされてもよい。加えて、または代わりに、ノードは画像を違うように処理するように再構成されてもよい。修正は人工ニューラルネットワークによる予測および/または推測であってもよいので、人工ニューラルネットワークはそのノードおよび接続を、仮説をテストするように変えるようにする。
【0112】
人工ニューラルネットワークは、設定された処理ノードの数または処理ノードのセット数をもつ必要はないが、その複雑さを増すまたは減らすことがある。たとえば、人工ニューラルネットワークは、1つまたはそれ以上の処理ノードが不必要であるか、または転用するべきだと判定し、それに基づいて処理ノードを破棄または再構成してもよい。別の実施の形態として、人工ニューラルネットワークは、入力の全部または一部のさらなる処理が必要であると判定し、それに基づいて追加の処理ノードおよび/または処理ノードのセットを追加してもよい。
【0113】
フィードバックシステムによって提供されるフィードバックは単なる補強(たとえば、出力が正しい、または正しくないとの指示を提供すること、機械学習アルゴリズムに多数のポイントを与えること、または同様なもの)であってもよく、または具体的なもの(たとえば、正しい出力を提供すること)であってもよい。
【0114】
人工ニューラルネットワークは、他の形態の機械学習にサポートまたは置換されてもよい。たとえば、人工ニューラルネットワークのノードの1以上は、決定木、相関ルールセット、論理プログラミング、回帰モデル、クラスタ分析メカニズム、ベイジアンネットワーク、命題式、生成モデル、および/または他のアルゴリズムもしくは意思決定の形態を実施してもよい。人工ニューラルネットワークは深層学習を引き起こしてもよい。
【0115】
1つの実施の形態において、機械学習アルゴリズムは、独自のコンピューティングシステム構造に依拠しても、ときにはレバレッジニューラルネットワークに依拠してもよい。このような構造は、従来のコンピュータシステムよりも著しく複雑であるが、機械学習を実施するのに有益である。たとえば、人工ニューラルネットワークは、脳のニューロンのように、学習および意思決定を引き起こすように動的に構成されていてもよい大きなノードのセットから構成されてもよい。ノードの各々は1つまたはそれ以上の他のノードに接続されていてもよい。接続はノードの出力を別のノードの入力に接続してもよい。接続は重み付け値と相関されていてもよい。たとえば、1つの接続は別のものよりも重要または有意であると重み付けされてもよく、それによって入力が人工ニューラルネットワークを横断するときにさらなる処理の程度に影響する。このような接続は、人工ニューラルネットワークが学習する、および/または動的に再構成されるように修正されてもよい。いくつかの人工ニューラルネットワークは非線形の処理を使用してもよいが、他の形態の非線形処理は本明細書に説明される特徴に従って機械学習アルゴリズムを実施するために使用してもよい。
【0116】
別の実施の形態において、訓練された畳み込みニューラルネットワーク(CNN)(順伝播型ネットワークの一例)は、入力データ(たとえば、人の写真)を畳み込み層(別名、隠れ層)に取り込み、畳み込み層の各々の入力データに一連の訓練済み重みまたはフィルタを適用する。第1畳み込み層の出力は活性化マップ(図示せず)であり、これが第2畳み込み層への入力となり、それに訓練済み重みまたはフィルタ(図示せず)が適用され、そこで次の畳み込み層の出力が第1層への入力データのさらに複雑な特徴を表す活性化マップになる。各畳み込み層の後、問題に非線形性を導入するために非線形層(図示せず)が適用され、非線形層は双曲線正接、シグモイドまたは正規化線形ユニットを含んでもよい。
【0117】
いくつかの場合において、非線形層の後に、ダウンサンプリング層とも呼ばれるプーリング層(図示せず)が適用されて、これは基本的に同じ長さのフィルタおよびストライドを取り、それを入力に適用し、フィルタが畳み込むどの部分領域でも最大数を出力する。プーリングの他の選択肢は、平均プーリングおよびL2ノルムプーリングである。プーリング層は入力ボリュームの空間次数を減らし、計算コストを減らし、過学習を抑制することになる。ネットワークの最後の層は全結合層であり、最終畳み込み層の出力を取得し、予測される数量を表すn次元の出力ベクトル、たとえば、画像分類の確率20%自動車、75%船、5%バスおよび0%自転車を出力する、すなわち、予測出力(O*)を出すが、たとえば、これはおそらく船の写真である。出力はネットワークによって予測されるスカラー値データポイント、たとえば、在庫品価格とすることができるであろう。以下により完全に説明するように、訓練済み重みは畳み込み層の各々について異なっていてもよい。
【0118】
この現実世界の予測/検出(たとえば、それは船である)を実現するために、ニューラルネットワークは既知のデータ入力または訓練事例で訓練して、訓練済みCNNを得る必要がある。CNNを訓練するために、多くの異なる訓練事例(たとえば、多くの船の写真)がモデルに入力される。ニューラルネットワークの当業者は、上記説明が本考察にある状況を提供するために、やや単純なCNNの考え方を提供するものであると完全に理解するであろう、また単独または他のニューラルネットワークと組み合わせた任意のCNNの適用も同様に適用可能であり、本明細書に説明されるいくつかの実施の形態の範囲内となることは完全に認識するであろう。
【0119】
1つの実施の形態において、畳み込み層は、畳み込み層n-1までは個々の隠れ畳み込み層として示され、最後のn番目の層は全結合層である。最終層は複数の全結合層であってもよいことは認識されるであろう。訓練事例が畳み込み層に入力され、非線形活性化関数(図示せず)およびn個分の重みが連続して訓練事例に適用され、そこで、任意の隠れ層の出力が次の層に入力されて、最後のn番目の全結合層nが出力を出すまで続く。出力または予測は訓練事例(たとえば、船の写真)に対して比較されて、出力または予測と訓練事例との差が得られる。差または損失が予め設定された損失よりも小さい場合(たとえば、出力または予測は、物体が船であることを予測する)、CNNは集束されて、訓練されたと見なされる。CNNが集束されなかった場合、誤差逆伝播法の技術を使用して、予測が既知の入力にどの程度近いかによって重みが更新される。当然ながら、誤差逆伝播法以外の方法を重みの調整に使用してもよい。第2訓練事例(たとえば、船の異なる写真)が入力されて、更新された重みでプロセスが再び繰り返されると、さらに再び更新されて、n番目の訓練事例(たとえば、n番目の船のn番目の写真)が入力されるまで続く。同じn個の訓練事例で、畳み込みニューラルネットワーク(CNN)が訓練され、または既知の入力について正しい出力に集束するまで、これが何度も繰り返される。CNNが訓練されてしまえば、重みは固定されて、訓練済みCNNで使用される。各畳み込み層および全結合層の各々について異なる重みがある。それから、本明細書で説明されるように、訓練済みCNNまたはモデルには画像データが与えられて、それが(たとえば、船)を予測/特定するのに訓練されていることを判定または予測する。任意の訓練済みモデル、CNN、RNN等はさらに訓練されてもよく、すなわち、追加の訓練事例または後で訓練事例として使用されるモデルによって出力される予測データを用いて、重みの修正が許されてもよい。機械学習モデルは「オフライン」で訓練することができ、たとえば、訓練済みモデルを使用/実行するプラットフォームとは別個の計算プラットフォームで一度訓練されてから、その後にそのプラットフォームに移転することができる。
【0120】
あるいは、本明細書で説明される実施の形態は、新たに取得された訓練データに基づいて、定期的または継続的に機械学習モデルを更新してもよい。この更新される訓練は別個の計算プラットフォームで行ってもよく、これが更新される訓練済みモデルをネットワーク接続により再訓練済みモデルを使用/実行するプラットフォームに送るか、または訓練/再訓練/更新プロセスは新たなデータが取得されるときにプラットフォーム自体で行ってもよい。CNNは固定アレイ(たとえば、写真、文字、言葉等)またはデータの時系列でデータに適用できる。たとえば、順番にされた測定データおよび他の因子データは、CNNを使用してモデル化することができる。いくつかの実施の形態はスキップ接続を用いた順伝播型CNNおよび混合ガウスモデル出力を利用して、予測される計算スコア、たとえば、計算スコア、重み、活動レベル、またはある心臓不規則性の確率分布を判定する。
【0121】
いくつかの実施の形態はニューラルネットワークの他の種類および構成を利用することができる。全結合層の数だけでなく、畳み込み層の数も増減させることができる。一般に、畳み込み層対全結合層の最適な数および割合は、所与のデータセットでどの構成が最高のパフォーマンスを出すかを判定することによって、実験的に設定することができる。全結合ネットワークはそのままで、畳み込み層の数は0まで減らすことができるであろう。畳み込みフィルタの数および各フィルタの幅も増減させることができる。いくつかの実施の形態では、ニューラルネットワークの出力は、一次時系列についての正確な予測に対応する、1つのスカラー値であってもよい。あるいは、ニューラルネットワークの出力は、各カテゴリが、当業者には容易に認識される任意の数の代替出力である、一次時系列値の特定の範囲またはクラスに対応する、ロジスティック回帰とすることができるであろう。
【0122】
一方で、いくつかの実施の形態において、混合ガウスモデル出力の使用は、ネットワークによく整形された確率分布を学習させて、限られた訓練データでの一般化を改善することが意図される。混合ガウスモデルのいくつかの実施の形態における多数の要素の使用は、モデルがマルチモーダルな確率分布を学習するのを可能にすることが意図される。異なるニューラルネットワークの結果を組み合わせるまたは総計する機械学習モデルも使用することができるであろうし、その場合、結果を組み合わせることができるであろう。
【0123】
コントローラが検出された製品が正しいかどうかを判定した後、判定に基づいて、コントローラは、ディスプレイ416に表示して、製品P2を指示する(および/または製品P1を指示しない)広告を生成してもよい。広告は製品P2のアートワーク(たとえば、製品P2に関連付けられているラベル/タグ)を指示してもよい。コントローラは広告をディスプレイ416に関連付けられているディスプレイコントローラに送信してもよい。ディスプレイコントローラは、ディスプレイ416の、内部保管容積の実際の場所に対応するディスプレイ416上の位置に広告を出力してもよい。たとえば、製品P2が、一番上の棚の、内部保管容積のもっとも左の位置に配置されている場合、ディスプレイコントローラはディスプレイ416の対応する画素位置に適切なアートワークグラフィックを出力する。加えて、または代わりに、コントローラは製品P2が製品P1に対応する場所L1にあるというメッセージを生成して、(たとえば、従業員に関連付けられている無線デバイス106または別のコンピューティングデバイスに)伝送してもよい。
【0124】
少なくともいくつかの実施の形態において、小売用製品ケース102内の製品を特定するための上記の手順は、コントローラが小売用製品ケース902に関連付けられている棚割マッピング902のみを処理する必要があるため、資源効率的であってもよい。たとえば、棚割マッピング902は小売用製品ケース102に関連付けられてもよく、小売用製品ケース902が保管するように構成されている製品に関連付けられている詳細のみを備えてもよい(小売業者が貯蔵する製品全体ではなく)。その結果、手順は比較的低いコンピューティング能力をもつエッジプロセッサによって遂行されてもよく、より高次に送信される必要はない。
【0125】
さらに、棚割マッピング902は場所によって索引付けされてもよいため、コントローラは保管されている製品の属性との比較のために製品明細を素早く検索してもよい。たとえば、コントローラは、製品が検出される場所を特定し、棚割マッピング902の場所に対応するエントリを単にスキャンするだけで、製品を特定し、製品が小売用製品ケースの正しい場所に貯蔵されているかどうかを判定する。
【0126】
コントローラは、小売用製品ケース102に保管されている製品を特定するために、機械学習アルゴリズムを使用してもよい。コントローラは保管されている製品を特定するために、機械学習アルゴリズムで保管されている製品の属性(たとえば、形状、色、寸法等)を使用してもよい。コントローラは、たとえば、コントローラが棚割マッピング902および製品の明細に基づいて製品を特定することができない場合に、機械学習アルゴリズムを使用してもよい。
【0127】
1つの実施の形態において、コントローラが製品を特定することができない場合、コントローラは通知を(たとえば、従業員に関連付けられている無線デバイス106または遠隔場所の専門家ユーザに関連付けられているコンピューティングデバイス115に)送信してもよい。通知は、従業員/専門家ユーザによる識別のために、特定されない製品の小売用製品ケース102のアイデンティティ、合成画像および/または属性(たとえば、形状、色、寸法等)を備えてもよい。従業員/専門家ユーザは、無線デバイス106/コンピューティングデバイス115を使用して製品を特定し、製品のアイデンティティを手作業でエンターしてもよい。無線デバイス106またはコンピューティングデバイス115は製品のアイデンティティをコントローラに送信してもよい。
【0128】
1つの実施の形態において、コントローラが製品を特定することができない場合、コントローラは判定された製品の属性を中央のクラウドベースの処理システム(たとえば、クラウドサービス104)に識別のために送信してもよい。製品の識別に基づいて(たとえば、従業員/専門家ユーザによる、またはクラウドベースの処理システムによる)、コントローラはデータストア111の棚割マッピング902を更新し、および/または製品に関連付けられているアートワークを含む広告を生成してもよい。コントローラは、たとえば、製品に関連付けられている情報(たとえば、製品インジケータ、場所インジケータ、明細等)を備える、棚割マッピング902に新たなエントリを追加してもよい。
【0129】
1つの実施の形態において、コントローラが画像内の製品を特定することができない場合、ユーザ(たとえば、従業員/専門家、または他の人間)は手作業で製品を特定して、製品のアイデンティティを選択してもよい。機械学習では、タスクはときどき教師なし学習または教師あり学習のいずれかとして大まかに分類されてもよい。教師なし学習では、機械学習アルゴリズムは、フィードバックなく、たとえば、人間の介入なく、任意の出力を生成させられる(たとえば、所望の通りにラベル付けさせられる)。機械学習アルゴリズムは自己学習(たとえば、過去の出力を観察)してもよいが、それ以外は、たとえば、人間のアドミニストレータからのフィードバックなく(またはほとんどなく)動作する。一方で、教師あり学習では、機械学習アルゴリズムはその出力に対してフィードバックが提供される。フィードバックは、能動学習、半教師あり学習、および/または強化学習を介してを含め、多様な方法で提供されてもよい。能動学習では、機械学習アルゴリズムはアドミニストレータからの回答を問い合わせることが許される。たとえば、機械学習アルゴリズムは人間の姿または標準的な人間の顔検出アルゴリズムで推測を行い、ピクチャ内の写真を特定するためにアドミニストレータに質問をして、推測とアドミニストレータの回答等を比較してもよい。半教師あり学習では、機械学習アルゴリズムはラベルなしデータとともに例示的なラベルのセットが提供される。たとえば、機械学習アルゴリズムはラベルありの標準的な人間の顔の700枚の写真と10,000枚の無作為のラベルなし写真とのデータセットが提供されてもよい。強化学習では、機械学習アルゴリズムは正しいラベルに対して報酬が与えられて、報酬が絶えず稼げるようになるまで条件を反復して観察することが許される。たとえば、正しく特定されるすべての標準的な人間の顔について、機械学習アルゴリズムはポイントおよび/または信頼性スコアが与えられてもよい(たとえば、「75%正しい」)。
【0130】
教師あり学習の基礎となるある理論は、帰納学習である。帰納学習では、データ表現は入力サンプルデータ(x)および関数の出力サンプル(f(x))として提供される。帰納学習の目標は、新たなデータ(x)の関数のよい近似を学習することであり、すなわち、将来の新たな入力サンプルの出力を推定することである。帰納学習は、(1)学習される関数が離散的である分類関数、(2)学習される関数が連続する回帰関数、および(3)関数の出力が確率である確率推定のさまざまな種類の関数で使用されてもよい。
【0131】
実務上、機械学習システムおよびその基礎となるコンポーネントは、データサイエンティストによって、機械学習システムを完成させる多数のステップを行うために微調整される。プロセスは、ときどき反復的であり、(1)ドメイン、事前知識および目標を理解すること、(2)データの統合、選択、クリーニングおよび前処理、(3)モデルを学習すること、(4)結果を解釈すること、および/または(5)発見された知識を統合してデプロイすることの一連のステップのルーピングを伴ってもよい。これは、さらに、機械学習システムで最適化できる可能性のある変数がほぼ無数であることを考えると、目標を洗練し、目標をより明確にするためにドメイン専門家と協議することを含んでもよい。一方で、データの統合、選択、クリーニングおよび/または前処理ステップの1以上は、機械学習システムでは古い格言「ゴミを入れるとゴミが出てくる」もまさしく優勢であるため、ときにもっとも時間のかかるものとなる可能性がある。
【0132】
1つの実施の形態において、AIシステムは、勾配ブースト決定木、オートエンコーダ、パーセプトロン、決定木、サポートベクターマシン、回帰、および/またはニューラルネットワークを含む無数の機械学習モデルのうちの1つを使用してもよい。ニューラルネットワークは、順伝播型ネットワーク、放射基底ネットワーク、回帰型ニューラルネットワーク、長期/短期記憶、ゲート付き回帰型ユニット、オートエンコーダ、変分オートエンコーダ、畳み込みネットワーク、残差ネットワーク、コホネンネットワークおよび/または他の種類を含む無数の種類のニューラルネットワークのいずれであってもよい。ニューラルネットワークの中間層は畳み込み層、プーリング層、高密度(全結合)層、および/または他の種類であってもよい。入力層は入力を中間層に渡してもよい。1つの実施の形態において、ニューラルネットワーク内の層はシグモイド関数、双曲線正接関数、正規化線形ユニット関数および/または他の関数などの活性化関数を使用してもよい。さらに、ニューラルネットワークは損失関数を含んでもよい。ニューラルネットワークを訓練するとき、出力層の出力を予測として使用してもよい。機械学習システムの出力データは、より高次の次元をもつデータへの二次元テーブル(行列など)の拡張である、多次元アレイとして表されてもよい。加えて、ニューラルネットワークを訓練用インスタンスのターゲット値と比較して誤差を判定してもよい。誤差はニューラルネットワークの各層の重みを更新するのに使用してもよい。ニューラルネットワークは重みを更新するのに勾配降下法を使用してもよい。あるいは、ニューラルネットワークは各層の重みを更新するのにオプティマイザを使用してもよい。たとえば、オプティマイザはさまざまな技術、または技術の組合せを使用して、各層の重みを更新してもよい。適切な場合、ニューラルネットワークは過学習を防ぐメカニズム―正則化(L1またはL2など)、ドロップアウト、および/または他の技術を含んでもよい。ニューラルネットワークは過学習を防ぐために使用される訓練用データの量も増やしてもよい。
【0133】
機械学習用のデータが作成されたら、最適化プロセスを使用して機械学習モデルを変換してもよい。1つの実施の形態において、クラウドサービス104を使用して小売用製品ケース102での画像取り込みを統合してもよく、その画像データを使用して、本明細書で説明される訓練済み畳み込みニューラルネットワーク(CNN)および他のモデルなどの新モデルを訓練・テストしてもよい。
【0134】
いくつかの実施の形態において、
図1Cに図示されるように、モデルはエッジコンピューティングデバイス上で小売場所の現場で実行してもよいが、計算集中訓練/再訓練はクラウドコンピューティングサービス104にオフロードされて、そこで行われてもよい。たとえば、柔軟なソリューションを提供するために、取り込まれた画像の一部分をクラウドにアップロードして、モデルをそこで訓練/更新できるようにしてもよい。モデルが更新および/または確認されたら、クラウドは実行のために新しいモデルバージョンを1つまたはそれ以上の小売場所の1つまたはそれ以上のエッジコンピューティングデバイス110に分散してもよい。当然ながら、エッジコンピューティングプロセッサ101の処理能力および速度が向上し、ローカルデータストア111の制約が改善するにつれて、オフサイト処理のためのクラウドコンピューティングサービス104の使用はさらに減少してもよい。1つの実施の形態において、小売場所100でのコンピューティングプラットフォームとクラウドコンピューティングサービス104との接続性の一時的な損失は、エッジコンピューティングデバイス110がエッジコントローラ101でモデルを適切に実行していて、ローカルデータストア111を使用している場合には、しばらくの間重大ではないだろう。その後、再接続時に、クラウドコンピューティングサービス104は小売場所100と同期し、データおよび他の情報を交換してもよい。
【0135】
モデルが訓練および更新されると、最適化プロセスを使用して機械学習モデルを変換してもよい。最適化プロセスは、(1)結果を予測するためにデータを訓練すること、(2)機械学習モデルのパフォーマンスを評価するための正確な尺度としての役割を果たす損失関数を定義すること、(3)勾配降下法アルゴリズムまたは他のアルゴリズムによるなど、損失関数を最小化すること、および/または(4)各ステップの計算のために機械学習アルゴリズムにデータセット全体を与える代わりに、データの部分集合が逐次サンプリングされる確率的勾配降下法(SGD)法を使用するなど、サンプリング方法を最適化すること、を含んでもよい。
【0136】
たとえば、コントローラは場所L1で検出される製品を特定することができなくてもよい。コントローラは検出された製品が三次元の箱形で、色が茶色であると判定してもよい。コントローラは、従業員に関連付けられている無線デバイス106に、特定されない製品の合成画像および判定された属性に関する通知を送信してもよい。従業員は製品を製品P3と特定してもよい。無線デバイスは製品P3の指示をコントローラに送信してもよく、これが、その後、棚割マッピング902を場所L1に製品P3を指示するように更新してもよい。コントローラは、さらに、製品P3が三次元の箱形で、色が茶色であることを指示するために、場所L1の製品P3の明細を含んでもよい。コントローラは、ディスプレイ416に表示する、製品P3を指示する広告を生成してもよい。
【0137】
1つの実施の形態において、コントローラは訓練手順に基づいて製品の明細を判定してもよい。たとえば、従業員は棚割マッピング902に基づいて小売用製品ケース102を貯蔵し、コントローラで訓練手順を初期化してもよい。コントローラは、合成画像および棚割マッピング902に基づいて、小売用製品ケース102に貯蔵されている製品の関連明細(たとえば、形状、色、寸法等)を判定してもよい。たとえば、コントローラは場所L1をスキャンして、場所L1に保管されている製品P1に関連付けられている明細を判定してもよい。
【0138】
製品の在庫状況を判定することは、小売用製品ケース102内の製品の数量(たとえば、製品のパッケージ数)を判定することを備えてもよい。1つの実施の形態において、小売用製品ケース内の製品のパッケージは互いの上に積み重ねられてもよく、コントローラは合成画像に対して画像処理アルゴリズムを使用し、さらに判定するべき製品の明細(たとえば、形状、寸法、色)を使用して、数量を判定してもよい。
【0139】
1つの実施の形態において、製品の第1パッケージは、パッケージの背後に置かれている製品の他のパッケージを覆い隠してもよい。第1パッケージの取り出しで次のパッケージが現れてもよい。コントローラは複数の合成画像を比較して、パッケージの配置/向きの微小な変化を判定し、第1パッケージが取り出されたかどうかを判定してもよい。たとえば、第1合成画像が第1の様式に向けられるパッケージを示し、次の合成画像が異なる様式に向けられるパッケージを示すとコントローラが判定する場合、コントローラはパッケージが取り出されたと判定してもよい。
【0140】
1つの実施の形態において、各パッケージは一意のSKU識別子と関連付けられていてもよく、コントローラは複数の合成画像を比較して、製品に関連付けられているSKU識別子を判定してもよい。コントローラが、第1合成画像が第1SKU識別子をもつ第1パッケージを示しており、次の合成画像が異なるSKU識別子をもつ第2パッケージを示していると判定する場合、コントローラは第1パッケージが取り出されたと判定してもよい。
【0141】
コントローラはパッケージが取り出された回数をカウントしてもよい。小売用製品ケース102に貯蔵されている最初のパッケージの数量およびカウントに基づき、コントローラは小売用製品ケースに残っている製品の数量を判定してもよい。最初のパッケージの数量は棚割マッピング902または製品の明細に指示されてもよい。最初の数量は小売用製品ケース102を貯蔵する従業員が入力してもよい。
【0142】
コントローラは、製品の数量を指示するメッセージを生成し、(たとえば、無線デバイス106または別のコンピューティングデバイス)に伝送してもよい。コントローラは、製品の数量の判定および数量が(たとえば、所定の)閾値数量未満であるとのさらなる判定に基づいて、製品貯蔵が低いと指示するメッセージを生成して伝送してもよい。各製品の閾値数量は製品に関連付けられている明細に含めてもよい。
【0143】
製品の在庫状況を判定することは、小売用製品ケース102内のパッケージの陳列時間を判定することを備えてもよい。製品の各パッケージが一意のSKU識別子に関連付けられている実施の形態では、コントローラは、合成画像および合成画像が取り込まれた時刻を使用して、特定のSKU識別子に対応するパッケージに関連付けられている陳列時間を判定してもよい。たとえば、第1合成画像(火曜日午後12:00時)が第1SKUをもつパッケージを示し、第2合成画像(午後9時)が第1SKUをもつ同じパッケージを示す場合、コントローラは、パッケージの陳列時間が9時間であると判定してもよい。1つの実施の形態において、コントローラは製品のカウントが減らない期間に等しいとものとして陳列時間を判定してもよい。コントローラは、たとえば、製品の陳列時間が閾値を超えた場合に、通知メッセージを生成して、(たとえば、無線デバイス106または別のコンピューティングデバイスに)伝送してもよい。上記実施の形態に関して、閾値が14日であると定められる場合、コントローラはパッケージの陳列時間が閾値を超えたことを指示する通知メッセージを伝送してもよい。各製品の閾値時間は製品に関連付けられている明細に含めてもよい。
【0144】
1つの実施の形態において、コントローラは合成画像を使用して、消費期限を判定してもよい(たとえば、製品のラベルに刻印されているとおり、またはSKUを使用して)。コントローラは、たとえば、製品がその消費期限を過ぎている場合、「生成する」を送信し、通知メッセージを(たとえば、無線デバイス106または別のコンピューティングデバイスに)伝送してもよい。
【0145】
コントローラは小売用製品ケース102と統合されてもよく、または近くに配置されてもよい(たとえば、小売用製品ケースを収容する小売店舗内)。これによりコントローラが本明細書で説明されるさまざまな手順を行うために外部の接続性(たとえば、クラウドベースのサービスとの)の必要が一切なくても動作することを可能にしてもよい。
【0146】
図10は、判定された小売用製品ケース102内の製品の在庫状況に基づいて、ディスプレイ416に表示してもよいさまざまな広告1004~1020を示す。コントローラは、製品1024が小売用製品ケース102に在庫がないと判定してもよい。広告1008に示されるように、コントローラは製品1024に関連付けられているラベル/タグに欠品通知(たとえば、標準化された欠品画像)をオーバーレイしてもよい。
【0147】
あるいは、広告1012に示されるように、コントローラは製品1024に関連付けられているラベル/タグに、異なる製品に関連付けられているラベル/タグをオーバーレイしてもよい。異なる製品および製品1024は同じブランドに関連付けられてもよく、または異なるブランドに関連付けられてもよい。
【0148】
異なるブランドに関連付けられているラベル/タグを表示するのを避けるために、小売用製品ケース102が特定の小売用製品ケースに特定の製品のグラフィックを表示させるまたは表示させないように、コンピューティングプラットフォーム100に制限ルールを設定することによって、製品1024に対応するブランドは製品1024に関連付けられているラベル/タグを保護してもよい。ルールに基づいて、広告グラフィックはブランドの別の製品に関連付けられているラベル/タグを表示するように構成されてもよい。たとえば、広告1016に示されるように、コントローラはブランドによって他の製品を広告するラベル/タグをオーバーレイしてもよい。ブランドは広告1008のすべてのラベル/タグを同様に保護するための契約を取り決めてもよい。
【0149】
あるいは、広告1020に示されるように、コントローラは販促に関連付けられているラベル/タグをオーバーレイしてもよい。たとえば、小売用製品ケース102を運営する小売業者は、小売業者が提供する別の製品に関連する販促に関連付けられているラベル/タグをオーバーレイしてもよい。
【0150】
図11は、1つの実施の形態による1つまたはそれ以上の小売用製品ケースをサポートする広告用コンピュータシステム1100を示す。
図11を参照すると、コンピュータシステム1100は、エッジプロセッサ(コントローラ)101、小売用製品ケース102~103、およびクラウドサービス104とのインターフェースを包含する。たとえば、いくつかの実施の形態について、コンポーネント1102~1105および1107はエッジプロセッサ101に実装されてもよく、コンポーネント1106および1108~1109は小売用製品ケース102~103に実装されてもよい。
【0151】
図11を参照すると、アドマネージャ1107はアドストレージ1104と対話して、クラウドサービス1101から広告コンテンツをダウンロードする。アドマネージャ1107は、アドストレージ1104を介してクラウドサービス1101から選択された広告コンテンツを要求してもよく(たとえば、製品の種類に基づいて、複数の広告に対応している)、複数の広告のうち1つを画面プレーヤ1108により画面(ディスプレイ)1109に表示するよう指図してもよい。前に述べたように、画面プレーヤ1108はメディアプレーヤ417を備えてもよく、小売用製品ケース102,103および/またはコントローラ101に実装してもよい。
【0152】
アドマネージャ1107は、1つの広告から多く(たとえば、数百の)広告まで多様な広告のセットを小売用製品ケース102のためにダウンロードするよう要求してもよい。要求は小売用製品ケース102に貯蔵されている製品の種類に基づいてもよい。たとえば、アドマネージャ1107によるこの要求は、在庫トラッカ420(
図4に図示されるとおり)から、またはケースの識別の指定の保管製品へのマッピングから受信される在庫状況に基づいてもよい。
【0153】
アドマネージャ1107は、扉センサ/カメラ1106(たとえば、
図2に図示されるように扉230に配置される)、第三者データモジュール11011および/または電話アプリサポートモジュール1103からのセンサ/カメラ情報に基づいて、ダウンロードされる広告の1つを選択してもよい。
【0154】
さらに詳細に述べるように、アド評価器1102は、扉センサ/カメラ1106および電話アプリサポートモジュール1103からの情報に基づいて、画面1109に提示される広告の有効性を判定してもよい。たとえば、扉画像センサ1106は顧客が表示される広告の特定の領域を見ていることを指示してもよく、および/または顧客が携帯アプリから有効性を指示してもよい。有効性のレベル(
図16のブロック1606~1610に示すとおり)は多数の方法で判定してもよい。たとえば、レベルは、顧客が表示される広告の製品を見つめている継続時間のさまざまな値にマッピングしてもよく、または携帯アプリを介した顧客の入力から直接取得されてもよい。
【0155】
クラウドサービスを使用して広告用コンピュータシステム1100が必要な追加のコンピュータ資源を提供してもよく、そうでなければ、コンピュータ資源はクラウドサービス1101によって提供されてもよい1つまたはそれ以上のコンピュータサーバによって提供されてもよい。たとえば、アドマネージャ1107、アド評価器1102、電話アプリサポート1103、および/または第三者データ11011はすべてクラウド1110に常駐していてもよい。さらに、前述のシステムはすべてをまとめて、または個別に、クラウドサービス1101と呼ばれてもよい。たとえば、ベンダーは、アドマネージャ1107がクラウド1110から広告コンテンツをダウンロードできるように、アドストレージ1104を通じてアドコンテンツを提供してもよい。アドマネージャ1107はクラウド1110から選択された広告コンテンツを要求して(たとえば、製品の種類に基づいて、複数の広告に対応している)、それを画面プレーヤ1108により画面(ディスプレイ)1109に表示してもよい。
図11のコンポーネントは個別に表示されているが、開示はそのように制限されるのではなく、1つまたはそれ以上のコンポーネントを融合および/または分岐してもよい。
【0156】
図12は、1つの実施の形態による1つまたはそれ以上の小売用製品ケース(たとえば、小売用製品ケース102および103)をサポートしてもよいエッジコンピューティング装置(コントローラ)1200を示す。コントローラ1200はコントローラ101に対応してもよい。
【0157】
コントローラ1200は、本明細書で述べるプロセス(たとえば、
図13~19にそれぞれ図示されるプロセス1300~1900)を実装してもよい処理デバイス1201を含んでもよい。処理デバイス1201はコントローラ1200およびその関連コンポーネントの全体的な動作を制御してもよい。処理デバイス1201はメモリデバイス1204からコンピュータ可読命令にアクセスし、これを実行してもよく、メモリデバイス1204は多様なコンピュータ可読媒体を想定してもよい。たとえば、コンピュータ可読媒体は、処理デバイス1201によってアクセスされてもよい任意の利用可能な媒体であってもよく、揮発性および不揮発性の媒体ならびに取り出し可能および取り出し不可能な媒体の両方を含んでもよい。制限ではなく例として、コンピュータ可読媒体はコンピュータ記憶媒体および通信媒体の組合せを備えてもよい。
【0158】
加えて、処理デバイス1201はクラウドインターフェース1203を介してクラウドサービスから広告コンテンツをダウンロードし、ダウンロードされたコンテンツをメモリデバイス1205に格納し、ダウンロードされたコンテンツ(たとえば、選択された広告)にメモリデバイス1205からアクセスし、画面インターフェース1206を介してディスプレイ416に広告コンテンツを提供してもよい。前に述べたように、
図4に図示するように、広告コンテンツはメディアプレーヤ417によりディスプレイ412に提示されてもよい。
【0159】
前に述べたように、コントローラ1200は、クラウドコンピューティングインターフェース1203を介してクラウドサービス1101から、広告コンテンツ(
図11に図示されるアドストレージ1104を介して)および第三者データ(第三者データモジュール1105を介して)を取得してもよい。加えて、コントローラ1200は無線通信を介して(たとえば、電話アプリサポートモジュール1103を介して)顧客と対話してもよく、クラウドコンピューティングインターフェース1203から広告評価(たとえば、アド評価1102を介して)を提供してもよい。
【0160】
コンピュータ記憶媒体は、コンピュータ可読命令、データ構造、プログラムモジュールまたは他のデータなど、情報の格納のための任意の方法または技術に実装される揮発性および非揮発性ならびに取り出し可能および取り出し不可能な媒体を含んでもよい。コンピュータ記憶媒体は、ランダムアクセスメモリ(RAM)、読み出し専用メモリ(ROM)、電子的に消去可能プログラム可能読み出し専用メモリ(EEPROM)、フラッシュメモリまたは他のメモリ技術、CD-ROM、デジタルバーサタイルディスク(DVD)もしくは他の光学ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージもしくは他の磁気記憶装置、または所望の情報を格納するために使用することができ、かつコンピューティングデバイスによってアクセスすることのできる任意の他の媒体を含むが、これだけに制限されない。
【0161】
通信媒体は、搬送波または他の転送メカニズムなどの変調データ信号内のコンピュータ可読命令、データ構造、プログラムモジュールまたは他のデータを含んでもよく、任意の情報配信媒体を含む。変調データ信号は、信号内の情報を符号化するように、その特性の1以上を設定または変更させる信号とすることができる。制限ではなく例として、通信媒体は、有線ネットワークまたは直接有線接続などの有線媒体、ならびに音響、RF、赤外線および他の無線媒体などの無線媒体を含んでもよい。
【0162】
処理デバイス1201は、また、インターフェース1202を通じて、顧客検出器418および在庫トラッカ420から画像センサデータを取得してもよい。処理デバイス1201はこのデータを使用して、小売用製品ケース102および小売用製品ケース102の現在の在庫に対する顧客の場所を判定してもよい(たとえば、顧客検出器418を介して)。
【0163】
コントローラ1200(メモリ1204からのコンピュータ可読命令を実行する)は、各小売用製品ケース102(
図4に図示されるとおり)のディスプレイ416を制御して、小売用製品ケース102の内部保管容積に物理的に収納されている製品に関する現行の価格情報を表示するように構成されてもよく、その場合価格設定はコントローラ1200によって判定してもよい。いくつかの実施の形態において、現行の価格情報および他の製品の詳細は小売場所の店舗の販売時点情報管理価格設定システムから受信されてもよい。この販売時点情報管理システムは有線または無線手段により小売用製品ケース102のコントローラ1200と通信して、小売用製品ケース102のディスプレイデバイス上のコンテンツを更新してもよい。他の実施の形態において、現行の価格情報および他の情報は、クラウドベースのサービスを通じて、小売店舗の小売用製品ケース102に伝送されてもよい。
【0164】
コントローラ1200は、インターフェース1202を通じて、顧客検出器418(
図4に図示するとおり)に提供された情報から顧客を検出するように構成されてもよく、顧客検出器418からの情報に基づいて画面インターフェース1206を介してディスプレイ3112に販促を表示するように構成されてもよい。
【0165】
コントローラ1200は、各小売用製品ケース102の在庫情報を(画像認識ソフトウェアとともに在庫トラッカ420を介して)効果的に取得してもよい。コントローラ1200は、クラウドインターフェース1203を介してデータを卸売業者に伝送し、および/または複数の小売用製品ケースの在庫に関係する在庫全体に関して格納するように構成されてもよい。たとえば、システム150(
図1Aに図示されるとおり)は、補充通知を発行し、マーチャンダイジング更新、価格設定管理、リアルタイム売上データ、および行動学的消費者解析を提供するように構成されてもよい。
【0166】
コントローラ1200は、顧客検出器418によって、顧客が小売用製品ケースの十分近くにいないときに(たとえば、
図14に図示されるブロック1404で)、ディスプレイ416に全画面広告を表示することを指示するよう構成されてもよい。たとえば、顧客が通路に近づいてきているが、検出される距離が所定の値よりも大きい場合、顧客はディスプレイ416の全画面広告を見てもよい。別の例として、顧客検出器418の能力内で顧客が検出されない場合、コントローラ1200はデフォルト手順に従ってディスプレイ416に全画面広告を表示するよう指図してもよい。本明細書で開示されるシステムに従う1つの実施の形態において、顧客検出器418は顧客が存在するかどうかを検出するためにモーションを使用してもよい。
【0167】
本明細書で開示されるシステムに従う他の実施の形態において、顧客検出器418はは人間の姿を検出することによって動作してもよい。たとえば、1つの実施の形態において、顧客検出器418は、標準的な人間の成人の顔が検出されるときにトリガするが、モーションが検出されただけではトリガしなくてもよい。このような実施の形態は偽陽性の数量を減らすだろう。たとえば、ペット、赤ちゃん、または風などの人間ではない動きは顧客検出器418をトリガしなくてもよい。いくつかの実施の形態において、人間の姿は個人情報を抹消されてもよく、人の特色を一意に特定することなく人間の姿のみが検出されてもよい。他の実施の形態では、画像センサ423を含むが、これだけに制限されない、本明細書で開示されるシステムの1つまたはそれ以上の他のコンポーネントと連動して顧客検出器418によって、他の詳細レベルが検出、取り込みおよび/またはフィルタリングされてもよい。
【0168】
1つの実施の形態として、モーションまたは人間の姿が小売用製品ケース102の20フィート以内に検出された場合(顧客検出器418が小売用製品ケース102の扉に取り付けられている場合)、コントローラ1200は全画面広告の表示を終了して、小売用製品ケース102内部に配置されている製品の棚割の表示に移行するように構成してもよい。バナー広告および値札もメモリ1205からロードして、棚割の表示と同時に表示してもよい。コントローラ1200は、また、マーチャンダイジング広告用オブジェクトおよび層を管理するように構成してもよい。
【0169】
コントローラ1200は、買い物客(たとえば、顧客)が小売用製品ケース102により近くに接近すると、ディスプレイ416上の広告コンテンツをその後で変更することができるように構成してもよい。たとえば、ディスプレイ416は、ラベル(たとえば、
図8に図示されるようにオーガニック、非遺伝子組み換えなど)およびタグ(たとえば、ローカルカードによるセール、地産、トレンド入りなど)を含むように変更してもよい。販促用のラベルおよびタグはコントローラ1200を介して起動してもよく、静的なアニメーションアイコンの所定のセットから選択してもよく、または商売およびマーケティングのニーズに基づき小売業者および/またはブランドによってカスタマイズしてもよい。
【0170】
本明細書に開示されるシステムの実施例による1つの実施の形態において、コントローラ1200は1つまたはそれ以上の消費者レビューソースを使用して(たとえば、
図11に図示するような第三者データ1105を使用して)顧客格付けスコア(たとえば、星1~5、トレンド入りまたはお気に入り)を組み込むよう構成してもよい。一方で、本明細書で開示されるシステムの他の実施の形態は、個々の買い物客/顧客の知識が一切なくても動作/機能し、システムは個人を絶対に特定しようとしない、すなわち、個人を特定できるまたは個人の特定に繋がる情報を絶対に収集または使用しない「アイデンティティ・ブラインド」である。いくつかの実施の形態において、特徴の「アイデンティティ・ブラインド」セットを実行するかどうかの選択は、消費者がプライバシーを望む、および/または適用される法律が規定する国または州にシステムが所在するかどうかで判断してもよい。
【0171】
コントローラ1200は、買い物客が所与の小売用製品ケース102の前に立つ、または長居すると、ディスプレイ416に出力されるコンテンツ(たとえば、グラフィック・レンダリング)が再び変わるように構成してもよい。いくつかの実施の形態において、コントローラ1200は顧客検出器418からの情報を使用して、性別、年齢、気分など、その特定の顧客に関してより多くのことを効果的に学習することができる。(あるいは、または組み合わせて、これから述べるように、顧客が表示される招待に応答してオプトインするとき、コントローラ1200は携帯アプリを通じて顧客情報を取得してもよい)。このような実施の形態では、コントローラ1200は検出された顧客情報を処理して、ディスプレイ416にその特定の顧客に提示する特定のまたはカスタマイズした広告を判定するように構成してもよい。広告コンテンツを買い物客の見える範囲内のすべての小売用製品ケースのディスプレイに提示されるのと並行して買い物客のデータを追跡することにより、小売業者は購買決定の瞬間に新たな影響を及ぼす機会を有し、そのため従来のアプローチに対して、マーケティング支出を最適化し、新たな収入源を生む。
【0172】
一方で、本明細書で開示されるシステムの他の実施の形態は、プライバシーおよびセキュリティ特徴が、技術プラットフォームおよびオペレーティングモデルに統合されて設計される。また、このような実施の形態は個々の買い物客/顧客の知識が一切なくても動作/機能し、システムは個人を絶対に特定しようとしない、すなわち個人を特定できるまたは個人の特定に繋がる情報を絶対に収集または使用しない。このような実施の形態では、「アイデンティティ・ブラインド」である小売消費者に安全なプラットフォームが提供される。いくつかの実施の形態において、特徴の「アイデンティティ・ブラインド」セットを実行するかどうかの選択は、消費者がプライバシーを望む、および/または適用される法律が規定する国または州にシステムが所在するかどうかで判断してもよい。コントローラ1200は、買い物客がディスプレイ416の前に立っている間(その特定の小売用製品ケース102の扉に取り付けられている画像センサによって検出されるとおり)、ニュース、天気、スポーツイベントなどに関係するリアルタイムデータに基づいて、関係ある条件付き広告がディスプレイ416に表示されるように構成してもよい。
【0173】
上記述べたように、コントローラ1200は在庫トラッカ420を介して小売用製品ケース102の在庫を追跡し続けるように構成してもよく、小売用製品ケース102の内部に1つまたはそれ以上のカメラおよび/またはセンサを備えてもよい。コントローラ1200が所与の製品が欠品であると判定したとき、コントローラ1200はディスプレイ416に表示されるコンテンツを修正してもよい。たとえば、欠品アートワークを表示してもよく、および/または広告を取り替えてもよい。
【0174】
これから述べるように、プロセス1300~1900(それぞれ
図13~
図19に図示されるとおり)は、1つまたはそれ以上の実施の形態の実施例に従い実行されてもよいプロセスのいくつかである。
図12を参照すると、処理デバイス1201はプロセス1300~1900を行うためのメモリデバイス1204からのコンピュータ可読命令を実行してもよい。
【0175】
図13は、1つの実施の形態による広告用コンピュータシステム1100をサポートするコンピューティングプラットフォーム100(
図1に図示されるとおり)を構成するためのフローチャート1300を示す。
【0176】
ブロック1301で、コントローラ1200は小売用製品ケース(たとえば、ケース102および103)発見し、これはコントローラ1200によってサポートされることになる。(小売用製品ケースは、コントローラが小売用製品ケースに表示される広告を制御するときに、コントローラによってサポートされる)。実施の形態は、センサおよびカメラを含む小売用製品ケースおよび関連デバイスの既知のリストを利用してもよく、または発見手順を使用してもよい(たとえば、センサおよびカメラを含むIoTデータストアを発見し、それを対応する小売用製品ケースに関連付けるため)。
【0177】
サポートされる小売用製品ケースが発見されるとき、ブロック1302で、コントローラ1200は所与の小売用製品ケース(たとえば、小売用製品ケース103)に保管されている製品の種類/製造者を判定する。たとえば、小売用製品ケースはその貯蔵製品のスキャンされた統一商品コードを報告してもよい。あるいは、または組み合わせて、コントローラ1200は各サポートされる小売用製品ケースと対応する貯蔵製品の種類との間のマッピングにアクセスしてもよい。ブロック1303で、コントローラ1200は所与の小売用製品ケースの保管されている製品に関係ある関連広告(これは広告セットということもある)をダウンロードしてもよい。
【0178】
ブロック1304で判定されるように、追加のサポートされる小売用製品ケースがある場合、次のサポートされる小売用製品ケースについてブロック1302~1303が繰り返されてもよい。
【0179】
関係ある広告のコンテンツがダウンロードされた後、コントローラ1200は、さまざまな基準に基づいて(たとえば、プロセス1400,1500,1600および1700によって判定されるとおり)、ダウンロードされた広告のうちの1つを表示するよう各小売用製品ケースに指図してもよい。
【0180】
図14は、1つの実施の形態による小売用製品ケースの画面に広告を生成するためのフローチャート1400を示す。始めに、ブロック1401で、小売用製品ケースのディスプレイに全画面広告が表示される。たとえば、前に述べたように、コントローラ1200は小売用製品ケース102に貯蔵されている製品に基づいて適切な広告を表示するよう小売用製品ケース102に指図してもよい。
【0181】
ブロック1402で、顧客が所定の範囲内にいると顧客検出器418(
図4に図示するとおり)が判定するとき、ブロック803で、コントローラ1200は小売用製品ケース102に貯蔵されている製品を反映する棚割を表示するよう小売用製品ケース102に指図してもよい。
【0182】
ブロック1404で、顧客が小売用製品ケース102さらに近くに接近している(所定の距離内、たとえば、12~15フィート内)と顧客検出器418が判定するとき、ブロック1405で、コントローラ1200は表示される棚割の中にオプトイン招待を生成してもよい。たとえば、招待はディスプレイの中央にクイックレスポンス(QR)コードを備えてもよい。顧客がオプトインすることを望む場合、顧客は顧客のスマートフォンによりQRコード(登録商標)をスキャンして、リンクを開くか、またはQRコード(登録商標)コードに関連付けられている携帯アプリをダウンロードすることができる。他の実施の形態では、QRコード(登録商標)に代えてまたは追加して、QRコード(登録商標)以外の画像(たとえば、マシン検出可能なウォーターマークをもつ画像)、Bluetooth(または他の短距離無線プロトコル)ビーコン、または他のメカニズムを、顧客に招待を指示するために提供してもよい。
【0183】
いくつかの実施の形態において、多数の招待を同時にそのユーザのデバイスに伝送して、どのメカニズムがもっともよいかを選択するための選択肢を顧客に提供してもよい。他の実施の形態では、指示される招待を順次伝送して、顧客が小売用製品ケース102から特定の距離の範囲にいるときに第1の方法(たとえば、無線ビーコン)が使用でき、顧客がケース102のより近くにいるときには第2の方法(たとえば、QRコード(登録商標))を使用できるようにしてもよい。前述の実施の形態の1つには12から15フィートの所定の距離の例を記載したが、開示はそれに制限されない。たとえば、顧客に招待を指示するために使用されるメカニズムに応じて、所定の距離は15フィートよりも大きい範囲であっても、12フィートよりも少ない範囲であってもよい。
【0184】
ブロック1406で判定されるように、顧客がオプトインするとき、コントローラ1200は、携帯アプリにより取得される顧客情報に基づいて、小売用製品ケース102のディスプレイにパーソナライズド広告を生成してもよい。(たとえば、顧客が提示されるQRコード(登録商標)をスキャンして携帯アプリの利用規約を承諾することによって招待を受け入れるときに顧客はオプトインする)。小売消費者に安全なプラットフォームに従い、顧客がオプトインするまで、システムは個人を特定できるまたは個人の特定に繋がる情報を絶対に収集または使用しない「アイデンティティ・ブラインド」のままであってもよい。小売消費者に安全なプラットフォームは、プライバシーおよびセキュリティ特徴が技術プラットフォームおよびオペレーティングモデルに統合されて設計されてもよい。このような実施の形態は個々の買い物客/顧客の知識が一切なくても動作/機能し、システムは個人を絶対に特定しようとしない。いくつかの実施の形態において、特徴の「アイデンティティ・ブラインド」セットを実行するかどうかの選択は、消費者がプライバシーを望む、および/または適用される法律が規定する国または州にシステムが所在するかどうかで判断してもよい。
【0185】
ブロック1409で、コントローラ1200は、小売用製品ケース102に貯蔵されている1つまたはそれ以上の製品について、顧客のスマートフォンを介して特別なオファーを生成してもよい。顧客検出器418が顧客の存在を検出し続ける間、ブロック1410でプロセス1400はこのモードを続ける。そうでなければ、プロセス1400はブロック1401に戻り、全画面広告が表示される。
【0186】
ブロック1406で判定されるように、顧客がオプトインしないとき、(顧客に特有ではない)一般化情報に基づき、ブロック1407で、表示される棚割の中に広告を挿入してもよい。例は、
図8の広告802~805、ならびに
図10の1008および1020として示されている。顧客が検出されている間、ブロック1408でプロセス1400はそのモードを続ける。そうでなければ、プロセス1400はブロック1401に戻る。
【0187】
プロセス1400がブロック1408または1410のいずれかからブロック1401に戻ると、ブロック1402でその後の顧客が顧客検出器418で検出されるとき、プロセス1400はブロック1403~1410を繰り返し実行する。
【0188】
図15は、1つの実施の形態によるルールのセットから選択される広告を表示するためのフローチャート1500を示す。コンピューティングプラットフォーム100は、気象状態、日付、および/またはケースの近くの顧客に関する特色を包含してもよいルールのセットに基づいて、ケースのディスプレイに提示される広告を判定する。たとえば、提示される広告は、顧客が20秒間飲料ケースのそばに立っている、屋外が98度Fである、および日付が7月3日である(すなわち、7月4日の直前)ことを理由に選択されてもよい。
【0189】
図15を参照すると、ルールのセット1505は、さまざまな要因に基づいて、広告のセット1504から表示する適切な広告を選択する。開示のさまざまな実施例による1つの実施の形態において、要因は顧客の特色1501、顧客の視認情報1502および/または一般化情報1503を含んでもよい。たとえば、顧客は自分がブロッコリが嫌いで、アイスクリームが好きであると携帯アプリにより表してもよい(たとえば、顧客がオプトインした後)。加えて、顧客検出器418は、顧客が表示される棚割のうちアイスクリーム製品が現れる特定の領域を見ていると指示してもよい。このような状況において、コンピューティングプラットフォーム100はアイスクリーム製品に向けた広告を開始してもよい。しかし、本明細書に開示されるシステムの他の実施の形態は、個々の買い物客/顧客の知識が一切なくても動作/機能するので、ルールのセット1505は「アイデンティティ・ブラインド」である。また、システムのその実施の形態は個人を絶対に特定しようとしない。すなわち、個人を特定できるまたは個人の特定に繋がる情報を絶対に収集または使用しない。いくつかの実施の形態において、特徴の「アイデンティティ・ブラインド」セットを実行するかどうかの選択は、消費者がプライバシーを望む、および/または適用される法律が規定する国または州にシステムが所在するかどうかで判断してもよい。
【0190】
ブロック1506で、コンピューティングプラットフォーム100が適切な広告を特定したとき、ブロック1507で、特定された広告が対応する小売用製品ケースに表示されてもよい。
【0191】
図16は、1つの実施の形態による表示される広告の有効性のレベルを判定するためのフローチャート1600を示す。コンピューティングプラットフォーム100は小売用製品ケースのディスプレイに提示される広告の有効性を評価する。たとえば、コンピューティングプラットフォーム100は、顧客が小売用製品ケースの決められた距離内にいるかどうか、および/または1つまたはそれ以上の顧客が提示される広告を見ているかどうかを検出してもよい。
【0192】
図16を参照すると、ブロック1601で、コンピューティングプラットフォーム100は情報を取得してもよい(たとえば、ケースから検出された顧客の距離、顧客が見ているディスプレイ領域の区画、および/または顧客が見ている場所)。
ブロック1602で、コンピューティングプラットフォーム100は、顧客が所定の距離内にいる(換言すると、小売用製品ケースの十分近くにいると見なされる)かどうかを判定する。距離内にいる場合、ブロック1604で、顧客検出器418は(たとえば、虹彩スキャニングセンサを介して)顧客の目の動きを追跡してもよく、目の動き情報に基づいて有効性のレベル(たとえば、成功尺度)を判定するためにコントローラ101に目の動き情報を提供する。
【0193】
ブロック1605,1606および1609で、コンピューティングプラットフォーム100は情報にアクセスして、ブロック1607,1608,1610および1611で有効性のレベルを判定してもよい。たとえば、顧客は、広告802のディスプレイ領域851をじっと見つめているかもしれない(
図8に図示するように)のに対して、複数の領域をざっと見ているかもしれない。有効性のレベルは多数の方法で測定してもよい。たとえば、顧客が表示される製品を見ている時間の量、または携帯アプリによる直接的な顧客の入力(顧客がオプトインした場合)によって測定してもよい。
【0194】
しかし、コンピューティングプラットフォーム100が有効性のレベルを判定できないとき、ブロック1603でプロセス1600は終了する。
【0195】
図17は、1つの実施の形態による製品レベルでターゲティング広告を生成するためのフローチャート1700を示す。コンピューティングプラットフォーム100は、小売用製品ケースのディスプレイに製品レベルにターゲティングされた広告を生成してもよい。たとえば、顧客検出器は、顧客が小売用製品ケースの棚割に表示されている特定の製品を見ていると検出してもよい。
【0196】
図17を参照すると、ブロック1701で、顧客検出器418は、検出された顧客が見ているディスプレイ領域を判定してもよい。たとえば、顧客は広告802の低めの領域851を見ているかもしれない。
【0197】
ブロック1702で、コンピューティングプラットフォーム100は検出されたディスプレイ領域に貯蔵されている1つまたはそれ以上の製品を特定してもよい。コンピューティングプラットフォーム100は多数の方法で1つまたはそれ以上の製品を特定してもよい。たとえば、コンピューティングプラットフォーム100は表示された棚割のさまざまな領域への製品のマッピングにアクセスしてもよい。あるいはまたは組み合わせて、コンピューティングプラットフォーム100は、在庫トラッカ420から小売用製品ケースの在庫製品に関する在庫情報を取得してもよい。
【0198】
ブロック1703で、コンピューティングプラットフォーム100は、ケースのディスプレイに、特定された製品に関する適切な広告を表示してもよい。
【0199】
図18は、1つの実施の形態による第2小売用製品ケースに貯蔵されている製品について、第1小売用製品ケースに広告を表示するためのフローチャート1800を示す。第1小売用製品ケース(たとえば、小売用製品ケース102)に表示される広告は、第2小売用製品ケース(たとえば、小売用製品ケース103)に貯蔵されている製品を販促してもよい。本明細書に開示されるシステムの1つの実施の形態において、コンピューティングプラットフォーム100は、顧客情報に基づいて、顧客が第1小売用製品ケースで買い物した後に、第2小売用製品ケースで買い物をするだろうと予測してもよい。
【0200】
一方で、本明細書に開示されるシステムの他の実施の形態は、個々の買い物客/顧客の知識が一切なくても動作/機能し、システムは絶対に個人を特定しようとしない、すなわち、個人を特定できるまたは個人の特定に繋がる情報を絶対に収集または使用しない「アイデンティティ・ブラインド」である。いくつかの実施の形態において、特徴の「アイデンティティ・ブラインド」セットを実行するかどうかの選択は、消費者がプライバシーを望む、および/または適用される法律が規定する国または州にシステムが所在するかどうかで判断してもよい。
【0201】
図18を参照すると、ブロック1801で、コンピューティングプラットフォーム100は、本明細書で開示されるシステムの1つの実施の形態において、第1小売用製品ケースの近くの顧客に関する顧客情報を取得してもよい。たとえば、コンピューティングプラットフォーム100は、顧客がオプトインするときには、携帯アプリから顧客の好きなものおよび嫌いなものに関する顧客情報を取得してもよい。前の例を続けると、顧客はブロッコリが嫌いだが、アイスクリームは大好きであるかもしれない。一方で、本明細書で開示するシステムの他の実施の形態は、プライバシーおよびセキュリティの特徴を技術プラットフォームおよびオペレーティングモデルに統合して設計される。このような実施の形態は、個々の買い物客/顧客の知識が一切なくても動作/機能し、システムは個人またはその好きなもの/嫌いなものを絶対に特定しようとしない、すなわち、個人を特定できるまたは個人の特定に繋がる情報を絶対に収集または使用しない。このような実施の形態では、「アイデンティティ・ブラインド」である小売消費者に安全なプラットフォームが提供される。いくつかの実施の形態において、特徴の「アイデンティティ・ブラインド」セットを実行するかどうかの選択は、消費者がプライバシーを望む、および/または適用される法律が規定する国または州にシステムが所在するかどうかで判断してもよい。
【0202】
ブロック1802で、コンピューティングプラットフォーム100は、顧客が第1製品ケースにいるかどうかを判定してもよい(たとえば、顧客検出器による検出を介して)。顧客が第1製品ケースにいる場合、コンピューティングプラットフォーム100は、ブロック1803で、顧客が通常、たとえば、アイスクリームが貯蔵されている第2製品ケースに行くかどうかを判定してもよい。例を続けると、ブロック1804で、コンピューティングプラットフォーム100は、第2小売用製品ケースに貯蔵されている特定される製品(たとえば、アイスクリーム)について、第1小売用製品ケースに広告を生成してもよい。
【0203】
図19は、1つの実施の形態による、小売用製品ケースに関連付けられているディスプレイに広告を判定して表示するためのフローチャート1900を示す。ブロック1902で、コントローラ(たとえば、エッジコンピューティングデバイス101は、小売用製品ケースを制御するためのプロセッサおよび回路系統を備える)は、(たとえば、ユーザ入力に基づき、またはクラウドコンピューティングサービスから)小売用製品ケース(たとえば、小売用製品ケース102)に関連付けられている棚割マッピングと、小売用製品ケースに関連付けられている製品の明細とを受信してもよい。コントローラはデータストア111に棚割マッピングおよび明細を格納してもよい。たとえば、棚割マッピングは、小売用製品ケースの一番上の棚がボトル形で、色が赤で、第1寸法を有する飲料に対応すると指示してもよい。ブロック1904で、コンピューティングプラットフォーム100は、小売用製品ケースの1つまたはそれ以上のカメラによって取り込まれた1つまたはそれ以上の画像に基づいて、合成画像を判定してもよい。
【0204】
ステップ1906で、コントローラは小売用製品ケースの特定の場所(たとえば、一番上の棚)に製品が配置されているかどうかを判定してもよい。コントローラはこの判定を行うために合成画像を使用してもよい。コントローラが一番上の棚に製品が配置されていないと判定する場合、コントローラは小売用製品ケースに飲料の在庫がないと判定してもよい(ステップ1918で)。ステップ1920で、コントローラは、飲料の在庫がないと判定したことに基づき、表示用の第1広告を判定してもよい。第1広告は、たとえば、飲料が欠品であることを指示するアートワークを備えてもよい。コントローラは、第1広告を、ディスプレイデバイスへの表示用に、ディスプレイコントローラに送信してもよい。
【0205】
例を続けると、製品が一番上の棚に保管されているとコントローラが判定する場合、コントローラは、合成画像に基づいて、保管されている製品の属性を判定してもよい。コントローラは判定された属性を飲料の明細と比較してもよい。ステップ1908で、コントローラは保管されている製品がボトル形かどうかを判定してもよい。ステップ1910で、コントローラは保管されている製品の色が赤であるかどうかを判定してもよい。ステップ1912で、コントローラは保管されている製品が第1寸法かどうかを判定してもよい。コントローラはステップ1908~1912を異なる順番で行ってもよく、またはステップ1908~1912の1以上を省略してもよい。1つの実施の形態において、合成画像はぼけていてもよく、コントローラは上記比較に対するぼけの影響を軽減するために1つまたはそれ以上の後処理ステップを行ってもよい。
【0206】
ステップ1908~1912の各々で、コントローラは、保管されている製品の属性が飲料の明細に対応するかどうかに関連付けられている対応する信頼性スコア(たとえば、確率、1~10の値でより高い値がより高い信頼性を表す)を判定してもよい。たとえば、コントローラは、保管されている製品がボトル形かどうかに関連付けられている信頼性スコア、保管されている製品の色が赤かどうかに関連付けられている信頼性スコア、および/または保管されている製品が第1寸法を有するかどうかに関連付けられている信頼性スコアを判定してもよい。判定された信頼性スコアに基づいて、コントローラは、保管されている製品の属性が飲料の明細に一致しているかどうかの確率に対応する総合的な1つの信頼性スコアを判定してもよい。総合的な信頼性スコアが閾値(たとえば、60%、70%または他の適切な値)よりも高い場合、コントローラは、保管されている製品が飲料であり、その飲料が小売用製品ケースに在庫があると判定してもよい(たとえば、ステップ1914で)。ステップ1916で、コントローラは、飲料の在庫があると判定したことに基づいて、表示用の第2広告を判定してもよい。第2広告は、たとえば、飲料に関連付けられているアートワークを備えてもよい。コントローラは、ディスプレイデバイスへの表示のために、第2広告をディスプレイコントローラに送信してもよい。
【0207】
例を続けると、コントローラがステップ1908~1912に基づいて、一番上の棚に保管されている製品の形状、色および/または寸法が飲料の形状、色および寸法と一致しないと判定する場合、コントローラは保管されている製品の特定を試みてもよい。たとえば、コントローラは保管されている製品を特定するために、製品の明細(たとえば、データストア111に格納されている)をスキャンしてもよい(
図20でさらに説明するとおり)。ステップ1922で、コントローラは保管されている製品が第2飲料であると判定してもよい。ステップ1924で、コントローラは、保管されている製品が第2飲料であると判定したことに基づいて、表示用の第3広告を判定してもよい。第3広告は、たとえば、第2飲料に関連付けられているアートワークを備えてもよい。コントローラは、ディスプレイデバイスへの表示のために、第2広告をディスプレイコントローラに送信してもよい。
【0208】
図20は、1つの実施の形態による、小売用製品ケースに関連付けられているディスプレイに広告を判定して表示するためのフローチャート2000を示す。コントローラは、たとえば、コントローラがステップ1908~1902に基づいて一番上の棚に保管されている製品の形状、色および/または寸法が飲料の形状、色および寸法と一致しないと判定する場合、
図20の方法を行ってもよい。ステップ2002で、コントローラはデータストア111内の他の製品の明細をスキャンして、他の製品に関連付けられている形状、色および寸法を判定してもよい。上記例を続けると、データストア111は、ボトル形で、色が青で、第2寸法を有する第2飲料の明細を備えてもよい。
【0209】
コントローラは、合成画像に基づいて、保管されている製品の属性を判定してもよい。コントローラは、判定された属性を第2飲料の明細と比較してもよい。ステップ2004で、コントローラは保管されている製品がボトル形かどうかを判定してもよい。ステップ2006で、コントローラは保管されている製品の色が青かどうかを判定してもよい。ステップ2008で、コントローラは保管されている製品が第2寸法を有するかどうかを判定してもよい。コントローラはステップ2004~2008を異なる順番で行ってもよく、またはステップ2004~2008の1以上を省略してもよい。コントローラは、保管されている製品の属性が第2飲料の明細に一致するかどうかの確率に対応する総合的な信頼性スコアを判定してもよい(たとえば、
図19を参照して上記説明するとおり)。総合的な信頼性スコアが閾値(たとえば、60%、70%または任意の他の値)よりも高い場合、コントローラは保管されている製品が第2飲料で、第2飲料が小売用製品ケースに在庫があると判定してもよい。ステップ2010で、コントローラは、第2飲料の在庫があると判定したことに基づいて、表示用の広告を判定してもよい。広告は、たとえば、第2飲料に関連付けられているアートワークを備えてもよい。コントローラは、ディスプレイデバイスへの表示のために、広告をディスプレイコントローラに送信してもよい。
【0210】
例を続けると、コントローラがステップ2004~2008に基づいて、一番上の棚に保管されている製品の形状、色および/または寸法が棚割マッピングに指示されるいずれの製品の形状、色および寸法にも一致しないと判定する場合、コントローラは、ステップ1916で、通知を(たとえば、無線デバイス106または小売業者の仕入れ担当者にアクセス可能にしてもよい別のコンピューティングデバイスに)送信してもよい。通知は、特定されない製品が小売用製品ケースにあると指示してもよい。
【0211】
本明細書に開示する1つまたはそれ以上の実施例による多くの例示的な実施の形態を以下に列挙する。以下に列挙する実施の形態の多くは他の実施の形態から従属として説明しているが、従属性はそのように制限されない。
【0212】
たとえば、実施の形態3項(以下)は実施の形態2項(以下)の特徴を組み込むと明示的に説明しているが、開示はそのように制限されない。たとえば、実施の形態3項は前の実施の形態(すなわち、実施の形態1項、実施の形態2項、および/または他の適切な実施の形態)の任意の1以上に従属してもよい。また、実施の形態2項~14項に記載の任意の1以上は、単独でまたは他の実施の形態との組合せで、実施の形態1項に組み込んでもよいことは本開示によって想定される。同様に、実施の形態1項、15項、18項および/または32項に記載のいずれも、実施の形態2項~14項、16項~17項、19項~31項および/または33項~34項に述べられる特徴の1以上と組み合わせてもよい。加えて、実施の形態1項、15項、18項および/または32項に記載の特徴の任意の1以上を組み合わせてもよいことは本開示によって想定される。また、実施の形態1項~34項に記載の特徴の任意の1以上を組み合わせることができることは本開示によって想定される。
【0213】
実施の形態1項。外部商品棚周囲温度よりも低い温度に維持するようになされた商品筐体を必要とする小売業環境への設置のために構成されるスマートな可動式閉鎖システムであって、システムは、
小売業環境での購入用に腐りやすい品物を保管する小売用製品ケースの内部保管容積と、
内部保管容積の視認を妨げる可動式扉と、
可動式扉に張り付けられているディスプレイデバイスであって、ディスプレイデバイスは内部保管容積の少なくとも棚割を表示するように構成され、棚割は欠品インジケータを備える、ディスプレイデバイスと、
小売用製品ケースの内部保管容積の1つまたはそれ以上の画像を取り込むために、可動式扉に設置されている光学センサと、
ディスプレイデバイスに通信可能に連結されているコントローラと、
内部保管容積の入力された棚割マッピングおよび複数の製品の明細を備えるデータストアであって、明細は複数の製品の各々の形状、色および寸法を備える、データストアと、
小売用製品ケースの近くの1つまたはそれ以上のプロセッサと、
1つまたはそれ以上のプロセッサによって実行されたときに、1つまたはそれ以上のプロセッサに、
光学センサによって取り込まれた1つまたはそれ以上の画像を後処理して合成画像にすることと、
合成画像、入力された棚割マッピングおよび複数の製品の明細に基づいて、小売用製品ケース内の、複数の製品の中のある製品の在庫状況を判定することと、
判定された在庫状況に基づいて、ディスプレイデバイスに表示する広告を判定することであって、広告は製品の在庫状況が欠品のときに欠品インジケータを備える、判定することと、
ディスプレイデバイスに表示するために、広告をコントローラに送信することと、
を行わせるコンピュータ可読命令を格納するメモリと、
を備える、スマートな可動式閉鎖システム。
【0214】
実施の形態2項。入力された棚割マッピングは、
製品の指示と、
製品の指定場所の指示と、
を備える、実施の形態1項に記載のスマートな可動式閉鎖システム。
【0215】
実施の形態3項。製品の在庫状況を判定することは、合成画像に基づいて、指定場所に製品が検出されないと判定することを備える、実施の形態2項に記載のスマートな可動式閉鎖システム。
【0216】
実施の形態4項。光学センサは可動式扉の動作中に複数の画像を取り込むように構成され、動作は可動式扉が開くことおよび可動式扉が閉じることを備える、実施の形態3項に記載のスマートな可動式閉鎖システム。
【0217】
実施の形態5項。広告は異なる製品に関連付けられているアートワークを備える、実施の形態3項に記載のスマートな可動式閉鎖システム。
【0218】
実施の形態6項。1つまたはそれ以上のプロセッサで実行されたときに、1つまたはそれ以上のプロセッサに、製品が小売用製品ケース内にないことを指示するメッセージをコンピューティングデバイスに伝送させる、在庫トラッカ、実施の形態3項に記載のスマートな可動式閉鎖システム。
【0219】
実施の形態7項。製品の在庫状況を判定することは、合成画像に基づいて、小売用製品ケースに保管されている製品を特定することを備え、さらに、
保管されている製品の場所、
保管されている製品の形状、
保管されている製品の色、
保管されている製品の寸法、およびその組合せ、
から選択される少なくとも1つを判定することを備える、実施の形態2のスマートな可動式閉鎖システム。
【0220】
実施の形態8項。製品の在庫状況を判定することは、
保管されている製品の場所が指定場所に対応すると判定すること、
保管されている製品の形状が明細内の製品の形状に対応すると判定すること、
保管されている製品の色が明細内の製品の色に対応すると判定すること、
保管されている製品の寸法が明細内の製品の寸法に対応すると判定すること、およびその組合せ、
から選択される少なくとも1つに基づいて、製品が小売用製品ケースに存在すると判定することを備える、実施の形態7項に記載のスマートな可動式閉鎖システム。
【0221】
実施の形態9項。製品の在庫状況を判定することは、
別の製品の形状が明細内の製品の形状に対応しないと判定すること、
別の製品の色が明細内の製品の色に対応しないと判定すること、ならびに、
別の製品の寸法が明細内の製品の寸法に対応しないと判定すること、およびその組合せ
から選択される少なくとも1つに基づいて、小売用製品ケースの指定場所に別の製品が存在すると判定することを備える、実施の形態2項に記載のスマートな可動式閉鎖システム。
【0222】
実施の形態10項。広告は製品に関連付けられているアートワークを備える、実施の形態7項に記載のスマートな可動式閉鎖システム。
【0223】
実施の形態11項。製品の在庫状況を判定することは、小売用製品ケース内の製品の数量を判定することを備える、実施の形態1項に記載のスマートな可動式閉鎖システム。
【0224】
実施の形態12項。広告は、複数の製品に関連付けられているアートワークを備える棚割を備える、実施の形態1項に記載のスマートな可動式閉鎖システム。
【0225】
実施の形態13項。コンピューティングデバイスから、入力された棚割マッピングを受信することをさらに備える、実施の形態1項に記載のスマートな可動式閉鎖システム。
【0226】
実施の形態14項。データストアは小売業環境に配置されており、1つまたはそれ以上の画像は可動式扉の動作に基づいて取り込まれる、実施の形態1項に記載のスマートな可動式閉鎖システム。
【0227】
実施の形態15項。外部商品棚周囲温度よりも低い温度に維持するようになされた商品筐体を必要とする小売業環境への設置のために構成されるスマートな可動式閉鎖システムであって、システムは、
それにアプリケーションがインストールされている、顧客の無線通信デバイスと、
内部保管容積、
内部保管容積の視認を妨げる可動式扉、
可動式扉に張り付けられている第1ディスプレイであって、内部保管容積の少なくとも棚割を表示するように構成される第1ディスプレイ、および、
顧客を検出するように構成される顧客検出器、
を含む第1小売用製品ケースと、
1つまたはそれ以上のプロセッサ、および、
1つまたはそれ以上のプロセッサで実行されたときに、コントローラに、
顧客検出器によって、第1小売用製品ケースから所定の距離内に顧客の人間の姿を検出すること、および、
検出に応答して、顧客の無線通信デバイスで実行するアプリケーションを通じて顧客と対話すること、
を行わせるコントローラ命令を格納するメモリ、
を備えるコントローラと、
を備える、スマートな可動式閉鎖システム。
【0228】
実施の形態16項。顧客の人間の姿は人間の顔を備えており、コントローラ命令は、1つまたはそれ以上のプロセッサで実行されたときに、コントローラにさらに、
検出に応答して、第1小売用製品ケースの第1ディスプレイにすでに出力されている第1グラフィック・レンダリング内にテキストメッセージを生成することと、
顧客がテキストメッセージに応答するときに通知を受信することと、
受信に応答して、顧客の無線通信デバイスで実行しているアプリケーションを通じて顧客と対話することと、
顧客が応答するとき、アプリケーションを通じて顧客情報を受信することと、
顧客情報に基づいて、第1小売用製品ケースの第1ディスプレイ上の第2グラフィック・レンダリングをカスタマイズすることと、
を行わせる、実施の形態15項に記載のスマートな可動式閉鎖システム。
【0229】
実施の形態17項。コントローラ命令は、1つまたはそれ以上のプロセッサで実行されたときに、さらにコントローラに、
顧客情報に基づいて、顧客が寄るであろう第2小売用製品ケースを予測することと、
第2小売用製品ケースに貯蔵されている製品について、第1小売用製品ケースの第1ディスプレイに第3グラフィック・レンダリングを表示することと、
を行わせる、実施の形態15項に記載のスマートな可動式閉鎖システム。
【0230】
実施の形態18項。冷蔵システムのコンピューティングプラットフォームであって、
内部保管容積、
内部保管容積の視認を妨げる可動式扉、
可動式扉に張り付けられている第1ディスプレイであって、内部保管容積の少なくとも棚割を表示するように構成される第1ディスプレイ、および
顧客検出器
を含む第1小売用製品ケースと、
1つまたはそれ以上のプロセッサ、および、
1つまたはそれ以上のプロセッサで実行されたときに、コントローラに、
通信チャネルにより第1小売用製品ケースとの通信を確立すること、
第1小売用製品ケースに全画面広告を表示するよう命令すること、
第1小売用製品ケースから、第1小売用製品ケースから第1の所定の距離内の顧客検出器による顧客の検出の指示を受信すること、
第1小売用製品ケースに、指示の受信後、全画面項目を終了して、内部保管容積に配置されている製品の棚割を表示するよう命令すること、
を行わせるコントローラ命令を格納しているメモリ、
を備えるコントローラと、
を備える冷蔵システムのコンピューティングプラットフォーム。
【0231】
実施の形態19項。第1ディスプレイが不透明なディスプレイを備える、実施の形態18のコントローラプラットフォーム。
【0232】
実施の形態20項。第1小売用製品ケースが、
顧客検出器を介して、第1小売用製品ケースの近くの顧客に関する第1センサ情報を受信することであって、第1センサ情報は顧客の目の動きに関する目の動き情報を備える、受信することと、
顧客に関する第1センサ情報をコントローラに送信することであって、コントローラ命令は、1つまたはそれ以上のプロセッサで実行されたときに、コントローラに、
受信した顧客に関する第1センサ情報から、顧客に関する顧客情報を判定することと、
顧客情報に基づいて、顧客に適切な広告を選択することと、
顧客情報に基づいて、第1小売用製品ケースに選択された広告を第1ディスプレイに表示するよう指示することと、
目の動き情報に基づいて、選択された広告の成功尺度を判定することと、
を行わせる、送信することと、
を行うように構成される、実施の形態18項に記載のコンピューティングプラットフォーム。
【0233】
実施の形態21項。第1小売用製品ケースは、第1位置から第2位置までの可動式扉の動きを検出するように構成されるセンサをさらに含み、コントローラ命令は、1つまたはそれ以上のプロセッサで実行されたときに、コントローラに、
第1小売用製品ケースに、第1ディスプレイへの棚割の表示を終了するよう命令すること、
を行わせる、実施の形態18項に記載のコンピューティングプラットフォーム。
【0234】
実施の形態22項。第1小売用製品ケースは、
顧客検出器を介して、選択された広告を見ている顧客数を判定することと、
コントローラに対して、選択された広告を見ている顧客数に関する情報を送信することと、を行うように構成され、
コントローラ命令は、1つまたはそれ以上のプロセッサで実行されたときに、コントローラに、
第1小売用製品ケースから、選択された広告を見ている顧客数に関する情報を受信することと、
顧客数に基づいて、選択された広告の有効性のレベルを判定することと、
を行わせる、実施の形態20項に記載のコンピューティングプラットフォーム。
【0235】
実施の形態23項。第1小売用製品ケースは、
顧客検出器を介して、第1小売用製品ケースの近くの顧客に見られている棚割の領域に関する第2センサ情報を受信することと、
顧客に関する第1センサ情報をコントローラに送信すること、を行うように構成され、
コントローラ命令は、1つまたはそれ以上のプロセッサで実行されたときに、コントローラに、
第1小売用製品ケースから、棚割の領域に関する第2センサ情報を受信することと、
棚割の領域に基づいて、顧客に見られている棚割の製品を特定することと、を行わせ、
顧客に適切な広告を選択することは、さらに、顧客に見られている棚割で特定された製品に基づいており、
第1小売用製品ケースに、選択された広告を第1ディスプレイに表示するよう命令することは、さらに、特定された製品に基づく、
実施の形態20項に記載のコンピューティングプラットフォーム。
【0236】
実施の形態24項。第1小売用製品ケースは、
顧客検出器を介して、顧客が第1ディスプレイの前にいることを指示するリアルタイムデータを受信することと、
コントローラにリアルタイムデータを提供することと、を行うように構成されており、
コントローラ命令は、1つまたはそれ以上のプロセッサで実行されたときに、コントローラに、
第1小売用製品ケースから、リアルタイムデータを受信することと、
リアルタイムデータに基づいて、顧客のための条件付き広告を判定することと、
第1小売用製品ケースに、リアルタイムデータに基づいて第1ディスプレイに条件付き広告を表示するよう命令することと、を行わせる、
実施の形態20項に記載のコンピューティングプラットフォーム。
【0237】
実施の形態25項。条件付き広告を判定することは、さらにコントローラによってアクセスされるルールのセットに基づいており、コントローラ命令は、1つまたはそれ以上のプロセッサで実行されたときに、コントローラに、
リアルタイムデータから顧客が第2の所定の距離内にいる継続時間、および第1小売用製品ケースの近くの気象状態を判定すること、
を行わせる、実施の形態24項に記載のコンピューティングプラットフォーム。
【0238】
実施の形態26項。さらに第2小売用製品ケースを備えており、
コントローラ命令は、1つまたはそれ以上のプロセッサで実行されたときに、コントローラに、
第1小売用製品ケースに保管されている第1製品タイプ、および第2小売用製品ケースに保管されている第2製品タイプを判定することであって、第1製品タイプが第2製品タイプとは異なる、判定することと、
第1製品タイプに関連付けられている第1ファイルセット、および第2製品タイプに関連付けられている第2ファイルセットをダウンロードすることであって、第1ファイルセットは第1複数のファイルを含み、第2ファイルセットは第2複数のファイルを含む、第1ファイルセットまたは第2ファイルセットの各ファイルは関連広告に対応する、ダウンロードすることと、
第1ファイルセットから、第1小売用製品ケースの第1ディスプレイに第1広告を開始することと、
第2ファイルセットから、第2小売用製品ケースの第2ディスプレイに第2広告を開始することであって、第2広告は第1広告とは異なる、開始することと、
を行わせる、実施の形態20項に記載のコンピューティングプラットフォーム。
【0239】
実施の形態27項。コントローラ命令は、1つまたはそれ以上のプロセッサで実行されたときに、コントローラに、
第1小売用製品ケースの第1識別情報に基づいて第1製品タイプを判定することと、
第2小売用製品ケースの第2識別情報に基づいて第2製品タイプを判定することと、
を行わせる、実施の形態26項に記載のコンピューティングプラットフォーム。
【0240】
実施の形態28項。第1製品タイプを判定することは、さらに第1小売用製品ケースから取得される第1在庫情報に基づき、第2製品タイプを判定することは、さらに第2小売用製品ケースから取得される第2在庫情報に基づく、実施の形態26項に記載のコンピューティングプラットフォーム。
【0241】
実施の形態29項。さらに第2小売用製品ケースを備えており、
第2小売用製品ケースはさらに、
第2小売用製品ケースの顧客検出器を介して、顧客が第3の所定の距離内にいることの指示を受信することと、
顧客が第3の所定の距離内にいることの指示をコントローラに送信することと、を行うように構成されており、
コントローラ命令は、1つまたはそれ以上のプロセッサで実行されたときに、コントローラに、
第2小売用製品ケースから、顧客が第3の所定の距離内にいることの指示を受信することと、
第1小売用製品ケースの第1ディスプレイにオプトイン招待指示を生成することと、
第1小売用製品ケースに、第1小売用製品ケースの第1ディスプレイにオプトイン招待指示を表示するよう命令することと、
第1小売用製品ケースから、顧客が通信デバイスにより招待指示をスキャンすることによって、顧客がオプトインを選択したとの通知を受信することと、を行わせ、
第小売用製品ケースは、さらに、
第1小売用製品ケースの第1ディスプレイにオプトイン招待指示を表示すること、
顧客が通信デバイスにより招待指示をスキャンすることによって、顧客がオプトインを選択したとの指示を受信することと、
顧客が通信デバイスにより招待指示をスキャンすることによって、顧客がオプトインを選択したとの通知をコントローラに送信することと、
通信デバイスで実行しているアプリケーションを通じて顧客と対話することと、
を行うように構成される、実施の形態20項に記載のコンピューティングプラットフォーム。
【0242】
実施の形態30項。コントローラ命令は、1つまたはそれ以上のプロセッサによって実行されたときに、コントローラに、
通知によって指示されるように、顧客がオプトインするとき、アプリケーションを通じて取得される顧客情報に基づいて、第1小売用製品ケースの第1ディスプレイに表示される広告を顧客に合わせてカスタマイズすることを行わせ、
カスタマイズされた表示広告は、顧客に対してカスタマイズされた価格設定を含む、実施の形態29項に記載のコンピューティングプラットフォーム。
【0243】
実施の形態31項。コントローラ命令は、1つまたはそれ以上のプロセッサによって実行されたときに、コントローラに、
顧客が寄るであろう第3小売用製品ケースを予測することと、
第3小売用製品ケースに貯蔵されている製品に合わせて、表示広告をカスタマイズすることと、
顧客が招待指示に応答してオプトインしないとき、一般化情報に基づいて棚割を生成し続けることと、
を行わせる、実施の形態29項に記載のコンピューティングプラットフォーム。
【0244】
実施の形態32項。小売用製品ケースに取り付けられている可動式扉に張り付けられているディスプレイ画面に広告コンテンツを生成するための方法であって、方法は、
第1小売用製品ケースのディスプレイ画面に第1広告を表示することと、
第1小売用製品ケースから所定の距離内で顧客の人間の姿を検出することと、
検出に応答して、第1小売用製品ケースに、第1広告を終了させて、ディスプレイ画面に、第1小売用製品ケースの内部保管容積に配置されている製品の棚割を表示するよう命令することと、を備えており、
第1小売用製品ケースの内部保管容積に配置されている製品は、可動式扉によって視認を妨げられている、方法。
【0245】
実施の形態33項。顧客の人間の姿は人間の顔を備えており、方法はさらに、
検出に応答して、第1小売用製品ケースのディスプレイにオプトイン招待指示を生成することと、
第1小売用製品ケースの通信インターフェースによって、顧客がオプトインするときに通知を受信することと、
受信に応答して、顧客の通信デバイスで実行しているアプリケーションを通じて顧客と対話することと、
顧客に対応する好みに基づいて、第1小売用製品ケースのディスプレイに第2広告をカスタマイズすること、を備える、実施の形態32項に記載の方法。
【0246】
実施の形態34項。顧客が寄るであろう第2小売用製品ケースを予測することと、
第2小売用製品ケースに貯蔵されている製品について、第1小売用製品ケースのディスプレイに第3広告を表示することと、
をさらに備える、実施の形態33項に記載の方法。
【0247】
いくつかの実施の形態において、それに命令を格納している非一時的コンピュータ可読媒体が開示される。開示の1つまたはそれ以上の実施例は、コンピュータ可読媒体に格納されている1つまたはそれ以上のプログラムモジュールなど、本明細書に説明される動作を行うために1つまたはそれ以上のコンピュータまたは他のデバイスによって実行されるコンピュータ使用可能データまたはコンピュータ実行可能命令に具現化されてもよい。
【0248】
一般に、プログラムモジュールは、コンピュータまたは他のデータ処理デバイスの1つまたはそれ以上のプロセッサで実行されたときに、特定のタスクを行う、または特定の抽象データタイプを実装するルーティン、プログラム、オブジェクト、コンポーネント、データ構造および同様なものを含む。コンピュータ実行可能命令は、ハードディスク、光学ディスク、取り出し可能記憶媒体、ソリッドステートメモリ、RAMおよび同様なものなど、コンピュータ可読媒体にコンピュータ可読命令として格納されてもよい。プログラムモジュールの機能性は、さまざまな実施の形態で望まれるように、組合せても、または分散させてもよい。加えて、機能性は、集積回路、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、および同様なものなど、ファームウェアまたはハードウェア同等物に全体的または部分的に具現されてもよい。開示の1つまたはそれ以上の実施例をより効果的に実施するために特定のデータ構造を使用してもよく、そのようなデータ構造は本明細書で説明されるコンピュータ実行可能命令およびコンピュータ使用可能データの範囲内にあると想定される。
【0249】
本明細書で説明されるさまざまな実施例は、方法、装置、またはコンピュータ実行可能命令を格納する1つまたはそれ以上のコンピュータ可読媒体として具現されてもよい。したがって、これらの実施例は、全体がハードウェアの実施の形態、全体がソフトウェアの実施の形態、全体がファームウェアの実施の形態、またはソフトウェア、ハードウェアおよびファームウェアの実施例を任意の組み合わせで組み合わせた実施の形態の形態を取ってもよい。加えて、本明細書に説明されるデータまたはイベントを表すさまざまな信号は、金属線、光ファイバ、または無線伝送媒体(たとえば、空気または空間)などの信号伝達媒体を通して伝わる光または電磁波の形態で、送信元と宛先との間に転送されてもよい。一般に、1つまたはそれ以上のコンピュータ可読媒体は、1つまたはそれ以上の非一時的コンピュータ可読媒体であってもよく、および/またはそれを含んでもよい。
【0250】
本明細書で説明されるように、さまざまな方法および行為は、1つまたはそれ以上のコンピューティングサーバおよび1つまたはそれ以上のネットワークにわたって有効であってもよい。機能性は、任意の方法で分散されてもよく、または1つのコンピューティングデバイス(たとえば、サーバ、クライアントコンピュータおよび同様なもの)に配置されてもよい。たとえば、代替実施の形態において、上記述べたコンピューティングシステムのうちの1以上を1つのコンピューティングシステムにまとめてもよく、各コンピューティングシステムのさまざまな機能を1つのコンピューティングシステムで行ってもよい。このような構成において、上記述べたコンピューティングシステム間の通信のいずれかおよび/またはすべては、1つのコンピューティングシステムによってアクセスされ、移動され、修正され、更新され、および/またはその他使用されるデータに対応してもよい。
【0251】
開示の実施例は、その例示的な実施の形態に関して説明してきた。添付の特許請求の範囲の範囲および精神内の多数の他の実施の形態、修正および変型が、本開示の精査から当業者には思いつくであろう。たとえば、例示的な図面に記載されるステップの1以上は述べられる順番以外で行ってもよく、1つまたはそれ以上の記載されるステップは開示の実施例により任意であってもよい。
関連出願のクロスリファレンス
第一に、本出願は、2020年1月13日に出願された米国特許出願第16/741,581号(弁理士整理番号009036.00007)の一部継続であり、同出願は2019年12月17日に出願されてWO2020/131881号として公開された国際特許出願第PCT/US2019/066869号(弁理士整理番号009036.00009)の優先出願日の利益を主張する一部継続であり、同出願は2018年12月17日に出願されて2019年4月25日に米国特許出願公開第US2019/0122263号として公開された米国特許出願第16/222,643号の優先出願日の利益を主張する一部継続である。
【0252】
第二に、本出願は、2020年5月14日に出願された米国特許出願第15/931,971号(弁理士整理番号009036.00013)の優先出願日の利益を主張する一部継続であり、同出願は、2020年1月13日に出願された米国特許出願16/741,581号(弁理士整理番号009036.00007)の優先出願日の利益を主張する一部継続であり、同出願は、2019年12月17日に出願されてWO2020/131881号として公開された国際特許出願第PCT/US2019/066869号(弁理士整理番号009036.00009)の優先出願日の利益を主張する一部継続であり、同出願は、2018年12月17日に出願されて2019年4月25日に米国特許出願公開第US2019/0122263号として公開された米国特許出願第16/222,643号の優先出願日の利益を主張する一部継続であり、また2020年1月13日に出願された米国特許出願16/741,581号(弁理士整理番号009036.00007)は、2018年8月9日に出願された2019年2月14日にWO2019/032893号として公開された国際特許出願PCT/US2018/046103号の優先出願日の利益を主張する一部継続でもあり、同出願は、2017年8月10日に出願された米国特許出願第15/674,198号の優先出願日の利益を主張する一部継続であり、また2020年1月13日に出願された米国特許出願16/741,581号(弁理士整理番号009036.00007)は、2017年8月10日に出願された米国特許出願第15/674,198号の優先出願日の利益を主張する一部継続特許出願でもある。また、前述の出願のすべてはその全体が本明細書に援用される。
【手続補正書】
【提出日】2021-11-11
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
外部商品棚周囲温度よりも低い温度で維持されるようになされた商品筐体を必要とする小売業環境への設置のために構成されるスマートな可動式閉鎖システムであって、前記システムは、
それにアプリケーションがインストールされている顧客の無線通信機器と、
小売用製品ケースから所定の距離内に顧客の人間の姿を検出するように構成される顧客検出器と、
小売業環境での購入用に腐りやすい品物を保管する前記小売用製品ケースの内部保管容積と、
前記内部保管容積の視認を妨げる可動式扉と、
前記可動式扉に張り付けられてい
る、前記小売用製品ケースの前記内部保管容積の視認を妨げるための透明でないディスプレイデバイスであって、前記ディスプレイデバイスは前記内部保管容積の少なくとも棚割を表示するように構成され、前記棚割は欠品インジケータを備える、前記ディスプレイデバイスと、
前記小売用製品ケースの前記内部保管容積の1つまたはそれ以上の画像を取り込むために、前記可動式扉に設置されている光学センサと、
前記ディスプレイデバイスに通信可能に連結されているコントローラであって、前記コントローラは、前記顧客検出器による検出に応答して、顧客の前記無線通信デバイスで実行しているアプリケーションを通じて顧客と対話するように構成される、コントローラと、
前記内部保管容積の入力された棚割マッピングおよび複数の製品の明細を備えるデータストアであって、明細は前記複数の製品の各々の形状、色および寸法を含む、データストアと、
前記小売用製品ケースの近くの1つまたはそれ以上のプロセッサと、
コンピュータ可読命令を格納するメモリであって、前記1つまたはそれ以上のプロセッサで実行されたときに、前記1つまたはそれ以上のプロセッサに、
前記光学センサによって取り込まれた1つまたはそれ以上の画像を後処理して合成画像にすることと、
前記合成画像、前記入力された棚割マッピングおよび前記複数の製品の明細に基づいて、前記小売用製品ケース内の、前記複数の製品の中のある製品の在庫状態を判定することと、
前記判定された在庫状況に基づいて、前記ディスプレイデバイスに表示する広告を判定することであって、前記広告は、前記製品の前記在庫状況が欠品であるときに、欠品インジケータを備える、前記判定することと、
前記ディスプレイデバイスに表示するために前記広告を送信することと、
を行わせるコンピュータ可読命令を格納する、前記メモリと、
を備える、スマートな可動式閉鎖システム。
【請求項2】
前記入力された棚割マッピングは、
前記製品の指示と、
前記製品の指定場所の指示と、
を含む、請求項1に記載のスマートな可動式閉鎖システム。
【請求項3】
前記製品の前記在庫状況を判定することは、前記合成画像に基づいて、前記指定場所に製品が検出されないと判定することを含む、請求項2に記載のスマートな可動式閉鎖システム。
【請求項4】
前記光学センサは、前記可動式扉の動作中に複数の画像を取り込むように構成されて、前記動作は前記可動式扉が開くことおよび前記可動式扉が閉じることを含む、請求項3に記載のスマートな可動式閉鎖システム。
【請求項5】
前記広告は異なる製品に関連付けられているアートワークを含む、請求項3に記載のスマートな可動式閉鎖システム。
【請求項6】
前記1つまたはそれ以上のプロセッサで実行されたときに、前記1つまたはそれ以上のプロセッサに、前記製品が前記小売用製品ケース内にないことを指示するメッセージをコンピューティングデバイスに伝送させる、在庫トラッカを含む、請求項3に記載のスマートな可動式閉鎖システム。
【請求項7】
前記製品の前記在庫状況を判定することは、前記合成画像に基づいて、前記小売用製品ケースに保管されている製品を特定することを含み、さらに、
前記保管されている製品の場所、前記保管されている製品の形状、前記保管されている製品の色、前記保管されている製品の寸法、およびそれらの組合せ、から選択される少なくとも1つを判定することを含む、請求項2に記載のスマートな可動式閉鎖システム。
【請求項8】
前記広告は前記製品に関連付けられているアートワークを備えており、前記製品の前記在庫状況を判定することは、
前記保管されている製品の場所が前記指定場所に対応すると判定すること、
前記保管されている製品の形状が前記明細の前記製品の形状に対応すると判定すること、
前記保管されている製品の色が前記明細の前記製品の色に対応すると判定すること、ならびに、
前記保管されている製品の寸法が前記明細の前記製品の寸法に対応すると判定すること、およびその組合せ、
から選択される少なくとも1つに基づいて、前記製品が前記小売用製品ケースに存在すると判定することを含む、請求項7に記載のスマートな可動式閉鎖システム。
【請求項9】
前記製品の前記在庫状況を判定することは、
別の製品の形状が前記明細の前記製品の形状に対応しないと判定すること、
前記別の製品の色が前記明細の前記製品の色に対応しないと判定すること、
前記別の製品の寸法が前記明細の前記製品の寸法に対応しないと判定すること、およびその組合せ、
から選択される少なくとも1つに基づいて、前記小売用製品ケースの前記指定場所に前記別の製品が存在すると判定することを含む、請求項2に記載のスマートな可動式閉鎖システム。
【請求項10】
前記製品の前記在庫状況を判定することは、前記小売用製品ケース内の前記製品の数量を判定することを含む、請求項1に記載のスマートな可動式閉鎖システム。
【請求項11】
前記広告は、前記複数の製品に関連付けられているアートワークを備える棚割を備える、請求項1に記載のスマートな可動式閉鎖システム。
【請求項12】
コンピューティングデバイスから、前記入力された棚割マッピングを受信することをさらに含む、請求項1に記載のスマートな可動式閉鎖システム。
【請求項13】
前記データストアは前記小売業環境に配置されており、前記1つまたはそれ以上の画像は前記可動式扉の動作に基づいて取り込まれる、請求項1に記載のスマートな可動式閉鎖システム。
【請求項14】
前記顧客の人間の姿は人間の顔を含んでおり、前記コントローラは、
前記検出に応答して、前記小売用製品ケースのディスプレイにすでに出力されている第1グラフィック・レンダリング内にテキストメッセージを生成することと、
顧客が前記テキストメッセージに応答するときに通知を受信することと、
前記受信に応答して、顧客の前記無線通信デバイスで実行している前記アプリケーションを通じて顧客と対話することと、
顧客が応答するとき、前記アプリケーションを通じて顧客情報を受信することと、
前記顧客情報に基づいて、前記小売用製品ケースの前記ディスプレイの第2グラフィック・レンダリングをカスタマイズすることと、
を行うように構成される、請求項1に記載のスマートな可動式閉鎖システム。
【請求項15】
前記コントローラは、
前記顧客情報に基づいて、顧客が寄るであろう第2小売用製品ケースを予測することと、
前記第2小売用製品ケースに貯蔵されている製品について、前記小売用製品ケースの前記ディスプレイにグラフィック・レンダリングを表示することと、
を行うように構成される、請求項1に記載のスマートな可動式閉鎖システム。
【請求項16】
内部保管容積を備える小売用製品ケースに取り付けられている可動式扉に張り付けられている
、前記小売用製品ケースの前記内部保管容積の視認を妨げるための透明でないディスプレイ画面に広告コンテンツを生成するための方法であって、前記方法は、
前記内部保管容積の棚割マッピングおよび複数の製品の明細を判定することであって、前記明細は前記複数の製品の各々の形状、色および寸法を含む、前記判定することと、
前記可動式扉に設置されている光学センサによって取り込まれた1つまたはそれ以上の画像を後処理して合成画像にすることと、
前記合成画像、前記棚割マッピングおよび前記複数の製品の前記明細に基づいて、前記小売用製品ケース内の、前記複数の製品の中のある製品の在庫状況を判定することと、
前記判定された在庫状況に基づいて、前記ディスプレイ画面に表示する広告を判定することと、
前記ディスプレイ画面に表示するための広告を送信することと、
を含む、方法。
【請求項17】
前記棚割マッピングは、
前記製品の指示と、
前記製品の指定場所の指示と、
を含む、請求項16に記載の方法。
【請求項18】
前記製品の前記在庫状況を判定することは、前記合成画像に基づいて、前記指定場所に製品が検出されないと判定することを含み、
前記広告は、前記製品が欠品していることを指示する欠品インジケータを備える、
請求項17に記載の方法。
【請求項19】
内部保管容積を有する小売用製品ケースと、前記内部保管容積の視認を妨げる可動式扉と、前記可動式扉に張り付けられている
、前記小売用製品ケースの前記内部保管容積の視認を妨げるための透明でないディスプレイであって、前記内部保管容積の少なくとも棚割を表示するよう構成されているディスプレイと、前記可動式扉に張り付けられている光学センサとを備える冷蔵システムのコンピューティングプラットフォームであって、前記コンピューティングプラットフォームは、
1つまたはそれ以上のプロセッサと、
メモリであって、前記1つまたはそれ以上のプロセッサで実行されたときに、前記1つまたはそれ以上のプロセッサに、
前記内部保管容積の棚割マッピングおよび複数の製品の明細を判定することであって、前記明細は前記複数の製品の各々の形状、色および寸法を含む、前記判定すること、
前記可動式扉に設置されている光学センサによって取り込まれた1つまたはそれ以上の画像を後処理して合成画像にすること、
前記合成画像、前記入力された棚割マッピングおよび前記複数の製品の前記明細に基づいて、前記小売用製品ケース内の、前記複数の製品の中のある製品の在庫状況を判定すること、
前記判定された在庫状況に基づいて、前記ディスプレイ画面に表示する広告を判定すること、および
前記ディスプレイ画面に表示するための広告を送信すること、
を行わせるコンピュータ実行可能命令を格納している前記メモリと、
を備える、コンピューティングプラットフォーム。
【請求項20】
前記棚割マッピングは、
前記製品の指示と、
前記製品の指定場所の指示と、
を含む、請求項19に記載のコンピューティングプラットフォーム。
【請求項21】
前記製品の前記在庫状況を判定することは、
前記合成画像および前記複数の製品の前記明細に基づいて、信頼性スコアを計算することと、
前記信頼性スコアが閾値未満であるとき、前記製品が前記内部保管容積で欠品していると判定することであって、前記表示用の広告は前記製品が欠品であることを指示する欠品インジケータを備える、前記判定することと、
を含む、請求項20に記載のコンピューティングプラットフォーム。
【国際調査報告】