特許 7096443 自律型小売店舗向けの適応型スマートシェルフ

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-06-27

(45)【発行日】2022-07-05

(54)【発明の名称】自律型小売店舗向けの適応型スマートシェルフ

(51)【国際特許分類】

   G06Q 30/06 20120101AFI20220628BHJP

   A47F 11/04 20060101ALI20220628BHJP

【ＦＩ】

G06Q30/06

A47F11/04

【請求項の数】 20

(21)【出願番号】P 2021544957

(86)(22)【出願日】2019-10-08

(65)【公表番号】

(43)【公表日】2022-01-11

(86)【国際出願番号】 IB2019058569

(87)【国際公開番号】W WO2020079529

(87)【国際公開日】2020-04-23

【審査請求日】2021-04-13

(31)【優先権主張番号】62/748,073

(32)【優先日】2018-10-19

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】16/254,152

(32)【優先日】2019-01-22

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】518072210

【氏名又は名称】エバーシーン リミテッド

【氏名又は名称原語表記】Ｅｖｅｒｓｅｅｎ Ｌｉｍｉｔｅｄ

【住所又は居所原語表記】４ｔｈ Ｆｌｏｏｒ， Ｔｈｅ Ａｔｒｉｕｍ， Ｂｌａｃｋｐｏｏｌ Ｒｅｔａｉｌ Ｐａｒｋ， Ｂｌａｃｋｐｏｏｌ， Ｃｏｒｋ， Ｉｒｅｌａｎｄ

(74)【代理人】

【識別番号】110001243

【氏名又は名称】特許業務法人 谷・阿部特許事務所

(72)【発明者】

【氏名】ディヌ セレス

(72)【発明者】

【氏名】アレクサ ミロシェヴィッチ

(72)【発明者】

【氏名】ネマーニャ ヤンコヴィッチ

(72)【発明者】

【氏名】オヴィドゥーユ パルヴ

【審査官】関 博文

(56)【参考文献】

【文献】米国特許出願公開第２０１８／０１１４１８３（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１５／００４９９０４（ＵＳ，Ａ１）

【文献】特許第５１９８７８９（ＪＰ，Ｂ２）

【文献】特開２００８－１９４１２０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｑ １０／００－９９／００

Ａ４７Ｆ １１／０４

(57)【特許請求の範囲】

【請求項1】

自律型小売店舗の水平棚の１つまたは複数の視野をキャプチャするためのイメージングアレンジメントであって、
前記水平棚の背面部に配置されたイメージセンサと、
前記水平棚の上部に取り付けられたトップミラーであって、前記イメージセンサが前記水平棚の上の１つまたは複数の製品の上面からの視野をキャプチャすることを可能にする前記トップミラーと、
前記水平棚の正面上部に取り付けられたフロントミラーと、
前記水平棚の背面上部に取り付けられたバックミラーであって、前記フロントミラーに対して予め定義された角度で傾斜しており、前記フロントミラーおよび前記バックミラーは、前記イメージセンサが前記水平棚の１つ以上の製品の、正面からの視野をキャプチャすることを可能とする、前記バックミラーと、
を備えるイメージングアレンジメント。

【請求項2】

前記トップミラー、前記フロントミラーおよび前記バックミラーのそれぞれが平面ミラーである、請求項１に記載のイメージングアレンジメント。

【請求項3】

前記バックミラーは平面ミラーであり、前記トップミラーおよび前記フロントミラーのそれぞれは、凸面ミラーである、請求項１に記載のイメージングアレンジメント。

【請求項4】

前記イメージセンサは、カメラを含み、前記水平棚の１つまたは複数の画像をキャプチャして処理し、前記処理された画像を、通信ネットワークを介して１つまたは複数のリモートデバイスに送信するように構成されている、請求項１に記載のイメージングアレンジメント。

【請求項5】

前記上面から視野では、前記水平棚に保管された１つまたは複数の前記製品の計数が可能であり、前記正面からの視野では、前記水平棚に保管された１つまたは複数の前記製品の識別が可能である、請求項１に記載のイメージングアレンジメント。

【請求項6】

前記フロントミラー、前記バックミラーおよび前記トップミラーのそれぞれは、前記水平棚に固定して取り付けられた固定ミラーである、請求項１に記載のイメージングアレンジメント。

【請求項7】

前記フロントミラー、前記バックミラーおよび前記トップミラーのそれぞれは、前記水平棚に移動可能に取り付けられた動的ミラーである、請求項１に記載のイメージングアレンジメント。

【請求項8】

前記動的ミラーは、前記水平棚の上の１つまたは複数の前記製品の現在の位置に基づいて、予め定義された角度だけ自動的に回転し、予め定義された距離だけ水平方向に平行移動するように構成されている、請求項７に記載のイメージングアレンジメント。

【請求項9】

前記バックミラーは、前記水平棚の前に立つユーザーの顔をキャプチャするために、対応する長手方向の軸に沿って長さが長くなっている拡張平面ミラーである、請求項１に記載のイメージングアレンジメント。

【請求項10】

自律型小売店舗用の適応型スマートシェルフであって、
前記適応型スマートシェルフの背面部に取り付けられたイメージセンサと、
前記適応型スマートシェルフの上部に取り付けられたトップミラーであって、前記イメージセンサが、前記適応型スマートシェルフに保管された１つまたは複数以上の製品の上面からの視野をキャプチャすることを可能にする前記トップミラーと、
前記適応型スマートシェルフの正面上部に取り付けられたフロントミラーと、
前記適応型スマートシェルフの背面上部に取り付けられたバックミラーであって、前記バックミラーは、前記フロントミラーに対して予め定義された角度で傾斜しており、前記フロントミラーおよび前記バックミラーは、前記イメージセンサが、前記適応型スマートシェルフの上の１つまたは複数の製品の正面からの視野をキャプチャすることを可能にする、前記バックミラーと、
を備え、
前記フロントミラー、前記トップミラーおよび前記バックミラーのそれぞれは、前記適応型スマートシェルフに移動可能に取り付けられた動的ミラーであり、前記適応型スマートシェルフの上に存在する１つまたは複数の製品の現在の位置に基づいて、予め定義された角度だけ自動的に回転し、予め定義された距離だけ水平方向に平行移動するように構成されている、
適応型スマートシェルフ。

【請求項11】

前記トップミラー、前記フロントミラーおよび前記バックミラーのそれぞれは平面ミラーである、請求項１０に記載の適応型スマートシェルフ。

【請求項12】

前記バックミラーは平面ミラーであり、前記トップミラーおよび前記フロントミラーのそれぞれは、凸面ミラーである、請求項１０に記載の適応型スマートシェルフ。

【請求項13】

前記イメージセンサは、カメラを含み、水平棚の１つまたは複数の画像をキャプチャして処理し、前記処理された画像を、通信ネットワークを介して１つまたは複数のリモートデバイスに送信するように構成されている、請求項１０に記載の適応型スマートシェルフ。

【請求項14】

前記上面からの視野では、水平棚に保管された１つまたは複数の前記製品の計数が可能であり、正面からの視野では、前記水平棚に保管された１つまたは複数の前記製品の識別が可能である、請求項１０に記載の適応型スマートシェルフ。

【請求項15】

前記動的ミラーは、１つまたは複数の人工知能（ＡＩ）アルゴリズムを実行することによって、対応する前記動的ミラーのアライメントおよび位置の自動調整を可能にする電子スマートデバイスに結合されている、請求項１０に記載の適応型スマートシェルフ。

【請求項16】

前記バックミラーは、水平棚の前に立つユーザーの顔をキャプチャするために、対応する長手方向軸に沿って長さが長くなっている拡張平面ミラーである、請求項１０に記載の適応型スマートシェルフ。

【請求項17】

自律型小売店舗において背中合わせに設置された第１および第２の水平棚の１つまたは複数の画像をキャプチャするためのイメージングアレンジメントであって、
前記第１および第２の水平棚の共通の背面部に配置されたイメージセンサと、
前記第１および第２の水平棚のための第１および第２のミラーアレンジメントと、
を備え、
前記第１および第２のミラーアレンジメントのそれぞれは、
対応する水平棚の上部に取り付けられ、前記イメージセンサが対応する前記水平棚の上の１つまたは複数の製品の上面からの視野をキャプチャすること可能にするトップミラーと、
前記対応する水平棚の正面上部に取り付けられたフロントミラーと、
前記対応する水平棚の背面上部に取り付けられ、前記フロントミラーに対して予め定義された角度で傾斜したバックミラーであって、前記フロントミラーおよび前記バックミラーは、前記イメージセンサが、対応する前記水平棚の上の１つまたは複数の前記製品の正面からの視野をキャプチャすることを可能とする、前記バックミラーと、
を備えるイメージングアレンジメント。

【請求項18】

前記トップミラー、前記フロントミラーおよび前記バックミラーのそれぞれが平面ミラーである、請求項１７に記載のイメージングアレンジメント。

【請求項19】

前記バックミラーは平面ミラーであり、前記トップミラーと前記フロントミラーのそれぞれは、凸面ミラーである、請求項1７に記載のイメージングアレンジメント。

【請求項20】

前記フロントミラー、前記トップミラーおよび前記バックミラーのそれぞれは、対応する前記水平棚に移動可能に取り付けられた動的ミラーであり、対応する前記水平棚の上の１つまたは複数の前記製品の現在の位置に基づいて、予め定義された角度だけ自動的に回転し、予め定義された距離だけ水平方向に平行移動するように構成されている、請求項１７に記載のイメージングアレンジメント。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、概して自律型小売店舗に関し、より具体的には、キャッシャーレスの店舗で使用される棚における自動チェックアウトに関する。

【背景技術】

【0002】

小売業界では、自律型店舗は大きな進歩をしている。自律型店舗は、人工知能（ＡＩ）、センサーフュージョン、コンピュータビジョンなどの高度な技術を組み合わせて、買い物客にユニークな「チェックアウトフリー」の体験を提供している。

【0003】

典型的な自律型店舗では、店舗は特定の棚から購入された製品の信号を自動的に拾うことができるよう、多様なカメラが店舗の棚の中に設置され得、正しい顧客に請求する。請求書は、顧客のスマートフォン上で実行される店舗のアプリケーションを通じて、ユーザーに提示され得る。

【0004】

しかし、自律型店舗に関連する大きな欠点は、製品の有用なキャプチャを得るために、多数のカメラが使用されるという点である。棚に設置されているカメラの数が多ければ多いほど、その棚に何個の製品があり、どの製品が顧客に取られたかという情報がより正確になる。また、現在のシステムでは、カメラは顧客から完全に見ることができ、ユーザーがカメラに手を付ける可能性もある。これにより、全体のセットアップが非効率になり、高コストになり、作業が煩雑で、エラーが発生しやすくなる。

【0005】

上記の観点から、上述の制限を克服し、コスト効率が高く、セットアップが容易で、エラーが発生しにくい自律型店舗に対するニーズが挙がっている。

【発明の概要】

【0006】

本開示の第１の様相によれば、自律型小売店舗の水平棚の１つまたは複数の視野をキャプチャするためのイメージングアレンジメントが提供される。このイメージングアレンジメントは、水平棚の背面部に配置されたイメージセンサを含み得る。イメージングアレンジメントは、水平棚の上部に取り付けられたトップミラーをさらに含んでもよく、イメージセンサが水平棚上の１つまたは複数の製品の上面からの視野をキャプチャできるようにしてもよい。イメージングアレンジメントは、水平棚の正面上部に取り付けられたフロントミラーをさらに含むことができる。イメージングアレンジメントは、水平棚の背面上部に取り付けられたバックミラーをさらに含んでもよく、このフロントミラーおよびバックミラーは、イメージセンサが水平棚上の１つまたは複数の製品の正面からの視野をキャプチャすることを可能にする。

【0007】

本開示の第２の様相によれば、自律型小売店舗に対して適応型スマートシェルフが提供される。この適応型スマートシェルフは、その背面部に取り付けられたイメージセンサを含むことができる。適応型スマートシェルフは、その上部に取り付けられたトップミラーをさらに含み、イメージセンサが、適応型スマートシェルフの上に保管された１つまたは複数の製品の上からの視野をキャプチャできるようにしてもよい。適応型スマートシェルフは、その正面上部に取り付けられたフロントミラーと、その背面上部に取り付けられたバックミラーとをさらに含むことができ、バックミラーは、フロントミラーに対して予め定義された角度で傾斜しており、フロントミラーおよびバックミラーは、イメージセンサが適応型スマートシェルフの１つまたは複数の製品の正面からの視野をキャプチャすることを可能にする。フロントミラー、トップミラーおよびバックミラーのそれぞれは、移動可能に取り付けられた動的ミラーであり、適応型スマートシェルフの上の１つまたは複数の製品の現在の位置に基づいて、予め定義された角度に対して自動的に回転し、予め定義された距離に対して水平方向に平行移動するように構成されている。

【0008】

本開示の第３の様相によれば、自律型小売店舗において背中合わせに配置された第１および第２の水平棚の１つまたは複数の視野をキャプチャするためのイメージングアレンジメントが提供される。このイメージングアレンジメントは、第１および第２の水平棚の共通の背面部に配置されたイメージセンサと、第１および第２の水平棚のそれぞれに対する第１および第２のミラーアレンジメントを含むことができる。この第１および第２ミラーアレンジメントのそれぞれは、対応する水平棚の上部に取り付けられ、イメージセンサが対応する水平棚上の１つまたは複数の製品の上からの視野をキャプチャすることを可能にするトップミラーと、対応する水平棚の正面上部に取り付けられたフロントミラーと、対応する水平棚の背面上部に取り付けられ、フロントミラーに対して予め定義された角度で傾斜したバックミラーを含み、フロントミラーおよびバックミラーは、イメージセンサが対応する水平棚上の１つまたは複数の製品の正面からの視野をキャプチャすることを可能にする。

【0009】

本開示の一実施形態では、棚ごとのカメラの数を水平棚ごとに１台に削減すことで、先行技術の課題を実質上、または少なくとも部分的に解決する（１つの縦型棚に４～５本の水平棚があると仮定する）。この設定において注目すべき視野は、製品の上からの視野と正面からの視野である。上からの視野は計数および手の動きの検出に、正面からの視野は棚の上の商品を検出するだけでなく、初期位置から誤って置かれた品目を検出する機構として用いられる。また、このアプローチの利点は、１台のカメラのみで製品の２視野を得ることができ、多様な空間配置に及んで、製品にどのような挙動があったかを判断するのに十分な画像を得ることである。もう１つの利点は、カメラの位置がユーザーから完全に隠れていることである。これは、人間の行動に対するシステムのロバスト性を高めており、人間がカメラに到達できないことを意味する。

【0010】

本開示のさらなる実施形態では、カメラの代わりにミラーを用いることによってユーザーの顔をキャプチャし、顔認証技術を用いてユーザーの顔を認識することで、棚の前で人が行動しているかを判断し、その情報によって特定の人のカートを更新することを容易にする。さらに、本実施形態では、棚の上の製品の量に応じてフロントミラーを調整できる機構を提供する。

【0011】

本開示の特徴は、添付の特許請求の範囲によって定義される本開示の範囲から逸脱することなく、様々な組み合わせで組み合わせることが可能であることが理解されるであろう。

【図面の簡単な説明】

【0012】

上記の概要、および例示的な実施形態の以下の詳細な説明は、添付の図面と併せて読むと、よりよく理解される。本開示を説明する目的で、本開示の例示的な構造が図面に示されている。しかし、本開示は、本明細書に開示された特定の方法および手段に限定されない。さらに、当業者であれば、図面が縮尺通りではないことを理解するであろう。可能な限り、同様の要素は同一の符号で示されている。

【0013】

【図1】本開示の一実施形態による、自律型小売店舗の縦型棚構造物の棚をキャプチャするための第１のイメージングアレンジメントのシミュレーション図である。

【図2】本開示の一実施形態による、自律型小売店舗の縦型棚構造物の棚をキャプチャするための第２のイメージングアレンジメントのシミュレーション図である。

【図3】本開示の一実施形態による、第２のイメージングアレンジメントの遠近図である

【図4A】本開示の一実施形態による、自律型小売店舗の棚の第１および第２のイメージングアレンジメントのうちの１つの固定ミラーを示す図である。

【図4B】本開示の一実施形態による、自律型小売店舗の棚の第１および第２のイメージングアレンジメントのうちの１つの動的ミラーを示す図である。

【図5】本開示の一実施形態による、自律型小売店舗の棚の前に立つユーザーの顔をキャプチャするように構成された第３のイメージングアレンジメントを示す図である。

【図6】本開示の一実施形態による、図５の例示的な第３のイメージングアレンジメントを示す図である。

【図7】本開示の一実施形態による、背中合わせに置かれた２つの水平棚の視野をキャプチャするための第４のイメージングアレンジメントを示す。

【0014】

添付の図面において、下線付きの符号は、下線付きの符号が配置されているアイテム、または下線付きの符号が隣接しているアイテムを表すために用いられている。下線付きでない符号は、下線付きでない符号とアイテムとを結ぶ線によって識別されるアイテムに関するものである。符号が下線付きでなく矢印が付いている場合、この下線付きでない符号は、矢印が指し示す一般的なアイテムを示すために使用される。

【発明を実施するための形態】

【0015】

以下の詳細な説明は、本開示の一実施形態およびそれらを実施することができる方法を示すものである。本開示を実施するための最良の形態を開示したが、当業者であれば、本開示を実施または実行するための他の実施形態も可能であることを認識するであろう。

【0016】

図１は、本開示の一実施形態による、自律型小売店舗の縦型棚構造物１０４の水平棚１０２をキャプチャするための、第１のイメージングアレンジメント１００のシミュレーション図である。

【0017】

自律型小売店舗は、集中管理下にある多数の売場を同一建物内に有する大規模な小売組織と言える。それは、１つの屋根の下で多種多様な商品を扱う小売施設である。１つの自律型小売店舗は、製品を陳列するために並んで配置された、いくつかの多様な縦型棚を含んでもよく、各縦型棚は４～５枚の棚を含んでもよい。ここでは、縦型棚構造物１０４のそのような棚１０２が図示されている。棚１０２は、ユーザーが１つまたは複数の製品を自分で購入できるように、１つまたは複数の製品を含んでもよい。しかし、それらの製品は簡潔のため、ここでは示されていない。例示的な実施形態では、棚１０２は、幅が１ｍ、深さが４０ｃｍである。

【0018】

第１のイメージングアレンジメント１００は、棚１０２の底部背面側に配置されたイメージセンサ１０６を含む。１つの例では、棚１０２の背面からのイメージセンサ１０６のオフセットは、約８ｃｍである。イメージセンサ１０６の例は、スマートカメラを含んでいてもよく、このカメラは、１つまたは複数の画像をキャプチャして処理するように構成されており、処理された画像を、通信ネットワークを介して離れたリモートデバイスに送信するように構成されている。通信ネットワークは、本開示の範囲を制限することなく、任意の適切な有線ネットワーク、無線ネットワーク、これらの組み合わせ、または任意の他の従来のネットワークとすることができる。いくつかの例は、ローカルエリアネットワーク（ＬＡＮ）、無線ＬＡＮ接続、インターネット接続、ポイントツーポイント接続、または他のネットワーク接続およびそれらの組み合わせを含んでもよい。

【0019】

第１のイメージングアレンジメント１００は、棚１０２の１つまたは複数の視野をイメージセンサ１０６に提供するために、その中に取り付けられたフロント平面ミラー１０８ａ、トップ平面ミラー１０８ｂ、バック平面ミラー１０８ｃをさらに含む。本開示の一実施形態では、トップ平面ミラー１０８ｂは、棚１０２の底面に対して平行に配置された平坦なミラーであり、イメージセンサ１０６が棚１０２の上からの視野をキャプチャすることを可能にする。棚１０２内の製品の上からの視野は、イメージセンサ１０６から来て、トップ平面ミラー１０８ｂから跳ね返る第１の光線群１１０ａによって表されることができる。

【0020】

さらに、フロント平面ミラー１０８ａとバック平面ミラー１０８ｃは、イメージセンサ１０６が棚１０２の正面からの視野をキャプチャするため、予め定義された角度で設置されている。したがって、正面からの視野は、２つの角度のついたミラー１０８ａと１０８ｃの組み合わせを用いることによって得られ、第２の光線群１１２が正面からの視野の画像を表す。

【0021】

本開示の例示的な実施形態では、フロント平面ミラー１０８ａの寸法は６０×８ｃｍ、トップ平面ミラー１０８ｂの寸法は６０×１５ｃｍ、バック平面ミラー１０８ｃの寸法は６０×１０ｃｍである。

【0022】

様々な実施形態において、棚１０２の上からの視野は、棚１０２に保管されている製品の計数や、オペレーター／ユーザーの手の動きの検出を可能とし、棚１０２の正面からの視野は、棚１０２に保管されている製品の検出を可能とするため、同様に初期位置から誤って置かれた品目を検出することも可能となる。

【0023】

図１は単に一例にすぎない。当業者であれば、本明細書の実施形態の多くの変形、代替、および変更を認識するであろう。

【0024】

図２は、本開示の一実施形態による、自律型小売店舗の縦型棚構造物２０４の棚２０２をキャプチャするための第２のイメージングアレンジメント２００のシミュレーション図である。

【0025】

第２のイメージングアレンジメント２００は、棚２０２の底部背面側に配置されたイメージセンサ２０６と、イメージセンサ２０６に棚２０２の１つまたは複数の視野を提供するために取り付けられたトップ凸面ミラー２０８ａ、フロント凸面ミラー２０８ｂ、およびバック平面ミラー２０８ｃを含む。また、トップ凸面ミラー２０８ａ、フロント凸面ミラー２０８ｂ、バック平面ミラー２０８ｃによってなされる光線の反射も示されている。

【0026】

本開示の一実施形態では、トップ凸面ミラー２０８ａは、イメージセンサ２０６が棚２０２に保管されている製品の上からの視野をキャプチャすることを可能にする。さらに、バック平面ミラー２０８ｃとフロント凸面ミラー２０８ｂとの組み合わせは、イメージセンサ２０６が棚２０２に保管されている製品の正面からの視野をキャプチャすることを可能にする。上からの視野は、棚２０２に保管されている製品の計数や、オペレーター／ユーザーの手の動きの検出を可能とし、正面からの視野は、棚２０２に保管されている製品の検出を可能とするため、初期位置から誤って置かれた品目を検出することも可能となる。

【0027】

第１のイメージングアレンジメント１００に対し、第２のイメージングアレンジメント２００の利点は、ミラーの寸法が小さいために第２のイメージングアレンジメント２００が占めるスペースが少なく、製品あたりの良いピクセル値を供給し、ＦＯＶ（Field of View）が大きいことであるが、第２のイメージングアレンジメント２００を用いて生成された画像の後処理は、やや高いレベルにあり、それに関わる全体的なコストと労力は増加する。

【0028】

例示的な実施形態では、第２のイメージングアレンジメント２００のミラーの仕様は、
１．平面バックミラー２０８ｃの幅ｗ＝６００ｍｍ、高さｈ＝１５０ｍｍ
２．フロント凸面ミラー２０８ｂの焦点距離ｆ＝６００ｍｍ、直径Ｄ＝６００ｍｍ
３．トップ凸面ミラー２０８ａの焦点距離ｆ＝２５０ｍｍ、直径Ｄ＝２５０ｍｍ
である。

【0029】

図２は単に一例にすぎない。当業者であれば、本明細書の実施形態の多くの変形、代替、および変更を認識するであろう。

【0030】

図３を参照して、自律型店舗の棚２０２における第２のイメージングアレンジメント２００の遠近図３００が明確に示されている。遠近図では、第２のイメージングアレンジメント２００は、棚２０２の底面に面している棚２０２の上部に取り付けられていることが示されている。ここで示されるように、トップ凸面ミラー２０８ａとバック平面ミラー２０８ｃとは並んで配置されており、一方、フロント凸面ミラー２０８ｂは、棚２０２の正面上部に配置されている。

【0031】

図１および図２に戻って、第１のミラーアレンジメント２００および第２のミラーアレンジメント３００は、１台のカメラのみを背面側に配置し、３つの平面／凹面ミラーを配置することによって、対応する棚１０２および２０２の製品の上および正面からの視野を得ることを容易にし、それによって、棚ごとのカメラの数を削減するだけでなく、ユーザーからカメラを隠すことができる。これは、人間がイメージングアレンジメントに対応するカメラおよびマルウェアにアクセスすることを不可能とするため、第１のミラーアレンジメント２００および第２のミラーアレンジメント３００が、人間の行動に対してより高いロバスト性を示すこととなる。

【0032】

図４Ａは、本開示の一実施形態による、自律型小売店舗の棚４０２の第１のイメージングアレンジメント１００および第２のイメージングアレンジメント２００のうちの１つの固定ミラー４００を示している。固定ミラー４００は、対応するバックミラーと組み合わせて棚４０２の正面からの視野をキャプチャするように構成されたフロント固定ミラーとしてもよく、その限定された視野により、棚４０２上の限定された数の製品４０４を検出してもよい。一例では、固定ミラー４００は、並んでいる第１の製品の数個にしか及んでいない可能性があり、換言すれば、ユーザーが１列の製品ラインにおける製品の２５％以上、例えば３つのボトルを取った場合、固定フロントミラー４０２は気づかないままであり、どの製品が特定のレーンにあるかを検出できない可能性がある。図中の矢印４０６は、対応するバックミラー（図示せず）から反射された入力光線を表している。

【0033】

図４Ｂは、本開示の一実施形態による、棚４０２の第１のイメージングアレンジメント１００および第２のイメージングアレンジメント２００のうちの１つの動的ミラー４０８を示している。動的ミラー４０８は、対応するバックミラーと組み合わせて棚４０２の正面からの視野を動的にキャプチャするように構成されたフロント可動ミラーとすることができる。

【0034】

本開示の一実施形態において、動的ミラー４０８は、レーンに残された第１の製品を指すようにその向きを動的に変更するように構成される。動的ミラー４０８は、電子スマートデバイス４１０によって容易にされる２つの自由度、換言すれば、回転と並進を有するように構成される。電子スマートデバイス４１０は、動的ミラー４０８と結びつけられ、動的ミラー４０８が所定の角度だけ回転したり、対応するバックミラーに向かって水平方向に移動したりすることを可能にする。電子スマートデバイス４１０は、ミラー４０８の現在の位置に関するフィードバック、ミラー４０８に対する異常な動作（誰かが力で押したり回転させたりすること）の潜在的な情報に基づいて、また、ＡＩ技術を用いて棚に残された製品の位置を検出することに基づいて、動的ミラー４０８の自動回転／平行移動を可能にする。このように、電子スマートデバイス４１０からの入力に基づいて、動的ミラー４０８は、非標準的な状況において自己調整することが可能である。

【0035】

本開示の一実施形態において、棚４０２用のイメージングアレンジメントの各ミラーは、対応するミラーの配置および位置を自動的に調整するために、ＡＩアルゴリズムによって実行される動的調整機構が備え付けられてもよい。また、製品検出のための高品質な画像を得るために、多様なミラーで特定の要因が満たされてもよい。このように、棚４０２は、ユーザーのニーズや棚４０２上の製品の現在の設定に合わせて、十分スマートに自身を調整する。ミラー調整は、多様な要素に依存する。ミラーからの上から見下ろした視野を使用した製品の計数や、バックミラーとフロントミラーの反射の組み合わせによって得られる正面からの視野を使用した製品検出など、棚の製品の状態を決定するいくつかの要因がある。ミラー調整アルゴリズムに対する入力は、棚の各ラインにおける現在の製品の数である。入力された棚の状態および製品の数は経時的に追跡されることができ、それに応じてミラーを調整することができる。棚の第１の製品を指すフロントミラーの位置と角度は、ミラーの角度を棚の特定の点に一致させる、予め定義されたＬＵＴによって指定される。ミラー調整後、画像がぼやけているかどうかが検出される。ぶれが検出された場合は、製品検出アルゴリズムに適した画像にするため、ぶれ補正アルゴリズムが実行される。ミラー調整アルゴリズムは、正面から見て製品が写っていないことを示すアラートが発生する度に実行される。

【0036】

図４Ａおよび図４Ｂは単に一例に過ぎない。当業者であれば、本明細書の実施形態の多くの変形、代替、および変更を認識するであろう。

【0037】

図５は、本開示の一実施形態による、自律型小売店舗の棚５０４の前に立つユーザー５０２の顔をキャプチャするように構成された、第３のイメージングアレンジメント５００を示す図である。ユーザーは、オペレーター、または店舗の従業員であってもよいし、１つまたは複数の製品を購入するために店舗に来た顧客であってもよい。

【0038】

第３のイメージングアレンジメント５００は、棚５０４の底部背面側に配置されたカメラなどのイメージセンサ５０６と、棚５０４の正面に配置されたフロントミラー５０８と、棚５０４の背面に配置された拡張バックミラー５１０とを含む。なお、トップミラーは、ユーザー５０２の顔をキャプチャする役割はないので、ここでは図示しない。

【0039】

本開示の一実施形態において、拡張バックミラー５１０は、拡張バックミラー５１０を介してイメージセンサ５０６にユーザー５０２の顔を提供するように、対応する長手方向軸に沿って長さが長くなっている。イメージセンサ５０６が拡張バックミラー５１０の方を向くと、棚５０４に置かれた製品の正面からの視野がキャプチャされる。そして、拡張バックミラー５１０を用いてイメージセンサ５０６がキャプチャした画像を、顔認証技術を用いて処理し、キャプチャした画像からユーザー５０２の顔を抽出する。

【0040】

図６は、図５の拡張バックミラー５１０に類似した、例示的なバックミラー６０２を示している。図示されるように、例示的なバックミラー６０２は、対応する長手方向軸に沿って長さが長くなっている。バックミラー６０２は、対応する棚に保管されている製品６０４の正面からの視野をキャプチャするため、および／または、ユーザー／オペレーター６０６の画像をキャプチャするために使用されることができる。

【0041】

このように、第３のイメージングアレンジメント５００の拡張バック平面ミラー５１０は、棚５０４に追加のカメラを使用することなく、ユーザー５０２の顔認証を容易にし、それによって、関係する全体的なコストを削減できる。

【0042】

図５および図６は単に一例に過ぎない。当業者であれば、本明細書の実施形態の多くの変形、代替、および変更を認識するであろう。

【0043】

本開示の一実施形態において、第３のイメージングアレンジメント５００は、棚５０４の裏面下部にイメージセンサ５０６を含み、複数のカメラを組み合わせることでより多くの範囲を得るために、フロントミラー５０８およびバックミラー５１０の交換品としてカメラグリッドを含んでもよい。フロントミラー５０８、およびバックミラー５１０の交換のために使用されるカメラの一例は、携帯電話サイズのカメラであり、これは所定のＦＯＶ（Field of View）および画像解像度を提供する。携帯電話サイズのカメラでミラーを交換する利点は、ミラー５０８および５１０の製造に多くの時間が掛かり得、また、特定のミラー品質のためにミラーの正確な仕様を得ることが困難になることである。

【0044】

図７は、本開示の様々な実施形態による、背中合わせに配置された２つの縦型棚構造物７０４ａおよび７０４ｂの水平バーの視野をキャプチャするための第４のイメージングアレンジメント７０２を示す。

【0045】

第４のイメージングアレンジメント７０２は、背中合わせに配置された２つの棚７０４ａ、７０４ｂの２本の水平バーの上からの視野と正面からの視野を得るための単一のカメラ７０６を含む。第４のイメージングアレンジメント７０２の利点は、１台のカメラ７０４の使用で、２つの縦型棚構造物７０４ａ、７０４ｂの製品の２つの部分をカバーできることである。これにより、自律型店舗に必要なカメラの総数を減らすことができるので、煩雑さがなく、費用対効果に優れている。

【0046】

図７は単に一例に過ぎない。当業者であれば、本明細書の実施形態の多くの変形、代替、および変更を認識するであろう。

【0047】

前記で説明した本開示の実施形態への変更は、添付の請求項で定義される本開示の範囲から逸脱することなく可能である。本開示を説明および請求するために使用される「含まれる」、「備える」、「組み入れる」、「から構成される」、「有する」、「である」などの表現は、非排他的な方法で解釈されることを意図しており、すなわち、明示的に説明されていない項目、構成要素、または要素も存在することを許容している。また、単数形への言及は、複数形にも関係すると解釈される。

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図5】

【図6】

【図7】