ホーム > 特許ランキング > 株式会社ＳＥｔｅｃｈ
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024093750
(43)【公開日】2024-07-09
(54)【発明の名称】商品陳列棚
(51)【国際特許分類】
A47F 5/00 20060101AFI20240702BHJP
G06K 7/10 20060101ALI20240702BHJP
G06T 7/254 20170101ALI20240702BHJP
G06Q 30/06 20230101ALI20240702BHJP
【ＦＩ】
A47F5/00 Z
G06K7/10 372
G06K7/10 412
G06T7/254 Z
G06Q30/06
【審査請求】有
【請求項の数】2
【出願形態】ＯＬ
(21)【出願番号】P 2022210316
(22)【出願日】2022-12-27
(11)【特許番号】
(45)【特許公報発行日】2023-11-09
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＱＲコード
(71)【出願人】
【識別番号】717007860
【氏名又は名称】株式会社ＳＥｔｅｃｈ
(72)【発明者】
【氏名】関根 弘一
【テーマコード（参考）】
3B118
5L030
5L049
5L096
【Ｆターム（参考）】
3B118AA11
3B118DA31
5L030BB72
5L049BB72
5L096AA06
5L096BA02
5L096BA18
5L096CA05
5L096CA16
5L096DA02
5L096FA06
5L096GA06
5L096GA10
5L096GA51
5L096HA02
(57)【要約】 （修正有）
【課題】多数のカメラを用いた膨大な画像情報を処理して、顧客の消費行動、不正行動を観察や、店舗の無人化を図るのではなく、簡便な処理で消費行動、不正防止、無人店舗化を実現する商品陳列棚を提供する。
【解決手段】商品陳列棚にリニアセンサを用いたカメラを設置し、商品陳列棚の前面の平面をモニターし、商品陳列棚から商品の出入りに伴う作業が発生した場合に、商品陳列棚と紐付けることにより簡易化された商品コードをセンシングする商品陳列棚を提供する。この簡易化された商品コードを商品のピックアップの際にセンシングする。
【選択図】なし
【解決手段】商品陳列棚にリニアセンサを用いたカメラを設置し、商品陳列棚の前面の平面をモニターし、商品陳列棚から商品の出入りに伴う作業が発生した場合に、商品陳列棚と紐付けることにより簡易化された商品コードをセンシングする商品陳列棚を提供する。この簡易化された商品コードを商品のピックアップの際にセンシングする。
【選択図】なし
【特許請求の範囲】
【請求項1】
商品陳列棚にリニアセンサを用いたカメラを設置し、該カメラを用いて、商品陳列棚の前面の平面をモニターし、商品の出入りをセンシングするセンシング手段と、
前記商品に該商品の情報が印字された商品ラベルを付与する手段と、
商品の出入りに伴う作業発生時に、前記カメラを用いて、前記商品ラベルに付与された商品の情報の一部を取得する手段と、
を有することを特徴とする商品陳列棚。
前記商品に該商品の情報が印字された商品ラベルを付与する手段と、
商品の出入りに伴う作業発生時に、前記カメラを用いて、前記商品ラベルに付与された商品の情報の一部を取得する手段と、
を有することを特徴とする商品陳列棚。
【請求項2】
前記商品に該商品の情報が印字された商品ラベルを付与する手段としては、商品に直接印字するか、印字したシールを貼り付けるか、いずれかの組み合わせであるか、を特徴とする請求項１に記載の商品陳列棚。
【請求項3】
前記商品の出入りに伴う作業の発生時に、前記カメラを用いて、前記商品ラベルに付与された商品の情報の一部を取得する手段としては、商品の商品ラベルに付与された商品の情報の一部が、前記カメラでセンシング出来る箇所に、少なくても１つ付与されている、ことを特徴とする請求項１に記載の商品陳列棚。
【請求項4】
前記カメラを用いて、前記商品ラベルに付与された商品の情報の一部を取得する手段としては、前記商品の出入りに伴う作業を行う顧客が、商品の商品ラベルに付与された商品の情報の一部を、商品の出入りに伴う作業中に、前記カメラでセンシング出来る位置にかざす、ことを特徴とする請求項１に記載の商品陳列棚。
【請求項5】
商品の出入りに伴う作業の発生時に、前記センシング手段の出力信号から商品ラベルに付与された商品の情報の一部を取得する手段としては、前記センシング手段としてのリニアセンサの画素出力データを、ライン出力毎に時系列的に並べることで、商品ラベル画像データを取得して行う、ことを特徴とする請求項１に記載の商品陳列棚。
【請求項6】
前記センシング手段の出力信号から取得された、商品の情報の一部としては、商品に対応したバーコードであることを特徴とする請求項１に記載の商品陳列棚。
【請求項7】
前記センシング手段の出力信号から取得された、商品の情報の一部としては、商品に対応したＱＲコードであることを特徴とする請求項１に記載の商品陳列棚。
【請求項8】
前記センシング手段の出力信号から取得された、商品の情報の一部としては、前記センシング手段で検知する商品陳列棚情報を加えることにより、商品ラベルに付与された商品の情報の一部を簡易化し、該簡易化した商品情報の一部と、該商品陳列棚情報から、商品ラベルに付与された本来の商品の情報の一部を取得する手段を有した、ことを特徴とする請求項１に記載の商品陳列棚。
【請求項9】
商品の出入りに伴う作業の発生時に、前記センシング手段の出力信号から商品ラベルに付与された商品の情報の一部を取得する手段としては、センシング手段としてのリニアセンサを用いたカメラを、前記商品陳列棚に少なくとも２つ設置し、商品の出入りに伴う作業の発生領域を欠落なくカバーさせることで、商品に出入りに伴う作業の検知の欠落を防止した、ことを特徴とする請求項１に記載の商品陳列棚。
【請求項10】
商品の出入りに伴う作業の発生時に、前記センシング手段の出力信号から商品ラベルに付与された商品の情報の一部を取得する手段としては、センシング手段としてのリニアセンサを用いたカメラを、前記商品陳列棚に少なくとも２つ設置し、商品の出入りに伴う作業の発生領域を異なる少なくとも２つの方向から同一商品をセンシングし、商品ラベルに付与された商品の情報の一部を取得する、ことを特徴とする請求項１に記載の商品陳列棚。
【請求項11】
商品の出入りに伴う作業の発生時に、前記センシング手段の出力信号から商品ラベルに付与された商品の情報の一部を取得する手段として、少なくとも２つ設置したリニアセンサを用いたカメラを互いに連携させ、動きのセンシングを行った結果を他のカメラに反映させ、動作はするも信号を出力しない状態や電源OFFの状態に移行させることで、システムの消費電力を低減したり、処理する情報量を減らしたり、することを特徴とする請求項１０に記載の商品陳列棚。
【請求項12】
商品陳列棚に設置され、商品陳列棚の前面の出入り部分を、リニアセンサを用いたカメラで、商品陳列棚前面の平面をモニターし、商品の出入りをセンシングするセンシング手段において、商品の出入りに伴う作業の非発生時のリニアセンサの出力信号を抑えるために、
リニアセンサを用いたカメラでモニターする商品陳列棚前面の平面部であり、かつ商品陳列棚の縁部の位置に、カメラに対向する様に非反射領域を設置する、ことを特徴とする請求項１に記載の商品陳列棚。
リニアセンサを用いたカメラでモニターする商品陳列棚前面の平面部であり、かつ商品陳列棚の縁部の位置に、カメラに対向する様に非反射領域を設置する、ことを特徴とする請求項１に記載の商品陳列棚。
【請求項13】
前記商品の出入りに伴う作業の発生時を把握する手段としては、前記センシング手段のカメラの用いられているリニアセンサの、光電変換するタイミングの異なるライン間の出力信号を用い、その画素対応の差分データを取得することで動き検知し、前記商品の出入りに伴う作業の発生するタイミング及び領域を把握する、ことを特徴とする請求項１に記載の商品陳列棚。
【請求項14】
商品の出入りに伴う作業の発生時に前記センシング手段の出力信号から、前記商品ラベルに付与された商品の情報の一部を取得した情報と、別の手法にて取得した売り場を周回する顧客の情報と、該顧客がレジにて会計する際の情報と、を紐付けする、ことを特徴とする請求項１に記載の商品陳列棚。
【請求項15】
商品の出入りに伴う作業の発生時に前記センシング手段の出力信号から、前記商品ラベルに付与された商品の情報の一部を取得した情報と、該作業を行った顧客が使用している店内カゴの商品の出し入れをセンシングして得られた商品に対応した情報と、該顧客がレジにて会計する際の情報と、を紐付けすることを特徴とする請求項１に記載の商品陳列棚。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、顧客購買行動を把握する装置の提供に関し、商品陳列棚にセンサを設置し、商品に付与されたラベル情報を読み取り、商品ピックアップ段階で商品と代金を把握し、小売り店舗内の顧客の購買動作を判断する。店舗の無人化、省人化に寄与させると共に、手に取り戻された商品を識別し、分析して売り上げ増進施策に寄与させ、更には万引き防止に寄与させることも可能にする商品陳列棚に関する。
【背景技術】
【0002】
小売店舗においては、顧客の購買行動を把握し顧客の好みに合致した商品をタイムリーに提供することが、売り上げ増進に繋がるものである。現状、商店主等の長年の経験に基づく勘や、日頃の顧客購買行動の観察に頼るところが大であり、一種のノウハウともなっている。
またPOSシステムはレジでの売り上げ情報を分析し、結果として売れ筋を見極めるもので、手に取って戻すといった顧客の商品関心度調査にはなっていない。
またPOSシステムはレジでの売り上げ情報を分析し、結果として売れ筋を見極めるもので、手に取って戻すといった顧客の商品関心度調査にはなっていない。
【0003】
一方、このような顧客の購買行動情報を、先進の技術を駆使して収集し、購買実績の向上に役立てようとの試みがなされている。
例えば、特許文献１には、店舗内で顧客が使用するカートにバーコードリーダーを設置し、カート内の重量センサとの連携で商品のピックアップや返却を把握する手段が開示されている。
例えば、特許文献１には、店舗内で顧客が使用するカートにバーコードリーダーを設置し、カート内の重量センサとの連携で商品のピックアップや返却を把握する手段が開示されている。
【0004】
また、特許文献２には、商品に固体識別用のＩＣチップを取り付け、顧客が商品を手に取ったか否かの情報と、顧客の移動情報、顧客の滞留時間に関する情報を併せて取得することによって、顧客が商品を手にしたが結局購入しなかった商品を特定して分析する発明が開示されている。
【0005】
更に特許文献３には、物品管理棚の棚の区画毎に物品の有無を検知するセンサを設け、物品の在庫状況をリアルタイムで掴む物品管理棚が開示されている。
【0006】
一方、特許文献４には、商品陳列棚の棚上部にエリアセンサで構成されたカメラを設け、顧客の身体の一部が進入した棚の段位置と各段の商品位置に所定時間以上存在した時、段上の収納物にアクセスしたと見做すシステムが開示されている。
【0007】
特許文献５は、物品管理棚に関するもので、識別情報体（物品）の情報を読み取る、情報読み取り機が物品管理棚毎に設置された物品管理装置が開示されている。
【0008】
しかしながら、以上説明したような従来の方法やシステムでは、夫々次のような問題点や、不満足な点が指摘されている。
特許文献１では、顧客が商品をカートに入れる際にはバーコード読み取りを都度行う必要があり、またバーコードで読み取った商品の棚への返却時にもバーコード読み取り装置を行う必要があり、顧客に余計な作業を強いていた。
特許文献１では、顧客が商品をカートに入れる際にはバーコード読み取りを都度行う必要があり、またバーコードで読み取った商品の棚への返却時にもバーコード読み取り装置を行う必要があり、顧客に余計な作業を強いていた。
【0009】
特許文献２に記載の手段も、顧客の移動情報と滞留時間を検出するために、各顧客特有のＩＣカードを携帯する必要があって、ＩＣカードを所持しない顧客に対する情報収集は不可能であり、限られた範囲での顧客購買行動分析手段に留まるものであった。
【0010】
特許文献３は、物品管理棚の棚の区画毎に物品の有無を検知するセンサを設けられており、小売り店舗で商品が沢山陳列されている場合には現実的でない。
【0011】
特許文献４記載の手段も、エリアセンサのカメラ画像情報から位置と、人体の一部を見極める画像処理が必要となり、複雑なシステムを商品陳列棚に設置する必要が有る。また常に撮像している必要が有り、顧客にも棚毎にカメラで見張られているというストレスを与える。
【0012】
特許文献５記載の手段も、棚毎にバーコードリーダーを設け、物品をピックアップした後に、バーコードを読み取る手間が必要な物品管理装置で、小売店舗への導入は顧客に読み取り作業を強いるので、現実的でない。物品管理棚から物体をピックアップした後に、情報読み取り機で読み取る余計な手間が生じる。最近はやりの無人レジでは、顧客にカゴから商品を一品ごとにバーコードを読ませる手法が一般的であり、レジの係員の手間を顧客に強いているに過ぎないし、レジで初めて情報が上がり、棚からピックアップし戻した場合のような、顧客の関心に関しての情報は取得できない。
【0013】
本発明は、かかる課題に鑑みてなされたものであり、小売店舗内において、顧客が商品ピックアップという普通の動作を行うことで、商品に付与された情報を、情報ラベルから読み取ることを可能にする手段を提供する。商品を手に取って戻した場合でも把握が可能となる。
【0014】
本発明によれば、不特定多数の顧客の購買行動を正確に且つ自動的にデータベースとして蓄積可能な顧客動作分析システムに役立つ商品陳列棚を提供できる。また監視カメラの顧客の動線と組み合わせることで、万引き防止の精度を高めることも可能になり、将来的に無人化店舗の実現にも貢献できる。
また、この商品陳列棚で得られた顧客の動作情報に基づいて、棚又は商品に接触した顧客数、棚にある商品の陳列数、等の詳細なデータを収集することが可能になり、店舗での大幅な省人化、販売促進に有用な商品配置や店舗内レイアウト等の販売促進支援情報を提供できる。
また、この商品陳列棚で得られた顧客の動作情報に基づいて、棚又は商品に接触した顧客数、棚にある商品の陳列数、等の詳細なデータを収集することが可能になり、店舗での大幅な省人化、販売促進に有用な商品配置や店舗内レイアウト等の販売促進支援情報を提供できる。
【先行技術文献】
【特許文献】
【0015】
【特許文献1】特開平９－１３２１４６
【特許文献2】特開２００４－３４８６８１
【特許文献3】特許第３１７２７４３号
【特許文献4】特許第４９７２４９１号
【特許文献5】特開平７－３１５５２４号
【発明の概要】
【発明が解決しようとする課題】
【0016】
特許文献１、２、３に示す従来の顧客購買行動把握方法では、商品にＩＣチップやICタグを付加する必要があり、余計な作業が必要であった。また特許文献４では顧客の行動を画像処理する必要があり、演算規模が大きくなり消費電力も増大していた。
少子高齢化の影響で人手不足が深刻になり、技能実習制度での外国人の拡充も、コロナ禍や円安の影響で人数が減り、人手不足は解消には至っていない。また無人店舗の様な小売りの無人化も実験的には導入されているが、カメラやＡＩカメラを用いた画像処理がメインになっており、死角を無くすため、多数のカメラを設置し、エリアセンサからのリアルタイムの膨大な画像処理が必要となった。
現行の小売り店舗ではPOSシステムを活用し、会計時に売上傾向を掴むのが一般的で、商品陳列棚から、顧客が商品を手に取り、元に戻した場合には、現行のPOSシステムでは把握できない。顧客の商品への関心度を把握するには、店頭での調査員やカメラによる観察か、アイトラッキングと呼ばれる機器を装着して頂き、視線の追跡を行う必要が有った。
少子高齢化の影響で人手不足が深刻になり、技能実習制度での外国人の拡充も、コロナ禍や円安の影響で人数が減り、人手不足は解消には至っていない。また無人店舗の様な小売りの無人化も実験的には導入されているが、カメラやＡＩカメラを用いた画像処理がメインになっており、死角を無くすため、多数のカメラを設置し、エリアセンサからのリアルタイムの膨大な画像処理が必要となった。
現行の小売り店舗ではPOSシステムを活用し、会計時に売上傾向を掴むのが一般的で、商品陳列棚から、顧客が商品を手に取り、元に戻した場合には、現行のPOSシステムでは把握できない。顧客の商品への関心度を把握するには、店頭での調査員やカメラによる観察か、アイトラッキングと呼ばれる機器を装着して頂き、視線の追跡を行う必要が有った。
【課題を解決するための手段】
【0017】
上記課題を解決するため、商品陳列棚にリニアイメージセンサ（以下リニアセンサと略す）を用いたカメラを設置し、商品陳列棚の前面の平面をモニターし、商品陳列棚から商品の出入りに伴う作業が発生した場合に、商品に関する情報を取得する商品陳列棚を提供する。リニアセンサを用いることで、エリアセンサを用いた通常のカメラの様に円形状のレンズを使う必要が無くなり、平担なレンズ（シリンドリカルレンズと呼ばれる）を用いたリニアセンサカメラでは、通常のカメラで見張られているというストレスから解放される。
【0018】
リニアセンサカメラの別の良い点は、静止物体は画にならないことである。即ち本提案の様に、商品陳列棚の前面の平面しか見ず、顧客の手の動きしかモニター出来ないリニアセンサカメラでは、商品陳列棚の下方にカメラがあり、上方を見上げる配置でも画は撮れず、見られているというストレスを与えない。
【0019】
従来のエリアセンサを使ったカメラシステムでは、膨大な画像情報からリアルタイムで顧客の動きを抽出し、手元の動きからどの商品を掴んだかを把握する必要があった。しかし本発明の商品陳列棚では膨大な画像情報を扱わず、演算負荷が大幅に軽くなる。また商品を手に取り元に戻す作業も把握でき、現行のPOSシステムではできなかった、顧客の購入意欲調査を簡単に行うことが出来る。
【0020】
商品陳列棚から商品を手に取り、店内のカゴに入れることが把握できるため、会計時の情報と照合することで万引き防止に繋がり、無人店舗化の実現も容易になる。
特徴はリニアセンサカメラを用いていることで、商品陳列棚から商品がピックアップされたり、商品が棚に戻されたりした時だけの情報を取得し、かつ後述するマスキング処理を行うと、商品の出入りが発生した領域だけの情報を取得することもできる。これらピンポイントの情報取得が可能となることで、画像処理する情報量を大幅に削減できることである。このため簡便なシステムで無人店舗が構築できて、少子高齢化に寄与できる。
特徴はリニアセンサカメラを用いていることで、商品陳列棚から商品がピックアップされたり、商品が棚に戻されたりした時だけの情報を取得し、かつ後述するマスキング処理を行うと、商品の出入りが発生した領域だけの情報を取得することもできる。これらピンポイントの情報取得が可能となることで、画像処理する情報量を大幅に削減できることである。このため簡便なシステムで無人店舗が構築できて、少子高齢化に寄与できる。
【発明の効果】
【0021】
本発明によれば、商品陳列棚から商品の出入りに伴う作業が発生した場合に情報を絞って処理することで、演算負荷が大幅に軽くなる。また商品を手に取り元に戻す作業も把握でき、顧客の購入意欲調査を簡単に行うことが出来る。
【0022】
商品陳列棚の前面の平面をモニターすることで死角を無くし、顧客の店内の移動ルートと組み合わせる事により万引き防止の簡便なシステムを提供でき、無人店舗化の実現も容易になる。
【図面の簡単な説明】
【0023】
【図1】本発明の第１実施形態で、リニアセンサカメラを用いた商品陳列棚の構成を示す図。
【図2】本発明の第２実施形態で、ショーケースタイプの商品陳列棚に適用した構成を示す図。
【図3】商品陳列棚に陳列される商品パック形状の商品と、それに付与される商品ラベルの形状図。
【図4】第１実施形態の商品陳列棚に陳列される缶形状の商品と、それに付与される商品ラベルの形状図。商品ラベルは商品に商品に貼り付けタイプと印刷されるタイプがあることも示す。
【図5】第２実施形態の商品陳列棚に陳列される商品パック形状の商品と、それに付与される商品ラベルの形状図。
【図6】第１実施形態と２実施形態の商品陳列棚に陳列される商品パック形状の商品と、それに共用で付与される商品ラベルの形状図。
【図9】第１実施形態の商品陳列棚に陳列される商品パック形状の商品を顧客の手で掴んで引き出した際の再生画像。商品ラベルに付与されるリニアセンサカメラで判読可能なバーコード。引き出し速度が変わった場合の再生画像。
【図10】第１実施形態の商品陳列棚に陳列される缶形状の商品を顧客の手で掴んで引き出した際の再生画像。商品ラベルに付与されるリニアセンサカメラで判読可能なバーコード。顧客が缶形状の商品を掴んだ際の斜視図。
【図11】第１実施形態の商品陳列棚に陳列される商品パック形状の商品を顧客の手で掴んで引き出した際の再生画像。商品ラベルに付与されるリニアセンサカメラで判読可能なバーコード。商品陳列棚情報を加えることにより、商品ラベルに付与されるリニアセンサカメラで判読可能な簡易化されたバーコード。判読可能なデザイン化されたバーコード。
【図12】第１実施形態の商品陳列棚に陳列される商品パック形状の商品を顧客の手で掴んで引き出した際の再生画像。商品ラベルに付与されるリニアセンサカメラで判読可能なＱＲコード。商品陳列棚情報を加えることにより、商品ラベルに付与されるリニアセンサカメラで判読可能な簡易化されたＱＲコード。
【図13】本発明の第３実施形態で、ショーケースタイプの商品陳列棚に適用した別の構成図。 複数カメラを連携させ、情報量をさらに削減する方法を説明する図。
【図14】本発明の第４実施形態で、ショーケースタイプの商品陳列棚に適用した更に別の構成図。
【図15】第４実施形態の商品陳列棚に陳列される商品パック形状の商品ラベルに付与されるリニアセンサカメラで判読可能な、簡易化されたバーコードと簡易化されたＱＲコード。
【図16】本発明の第５実施形態で、背景光の影響を軽減する方法を示した商品陳列棚の説明図。
【図18】本発明の第６実施形態で、ライン記録を用いて取得した画素差分絶対値信号を基に、マスキング信号を発生させ、作業の発生するタイミングと、作業画像のみを把握する構成図。
【図21】本発明の第７実施形態で、ラインメモリを用いて画素差分絶対値信号を取得する構成図。
【図31】本発明の第８実施形態で、例えば第１の実施形態の商品陳列棚が複数個配置され、レジが配置され、複数の顧客が売り場にいる場合の、実際の売り場の説明図。
【図32】本発明の第９実施形態で、本発明の第８実施形態に加えて、店内カゴの情報を取得する方法の１例を示した店内カゴの構造の説明図。
【図33】本発明の第７実施形態で、ラインメモリとしてＣＣＤレジスタを活用した動作説明図。
【図34】本発明の第７実施形態で、ラインメモリとしてＣＭＯＳリニアセンサを活用した動作説明図。
【発明を実施するための形態】
【0024】
本発明の実施形態としては、幾つかの選択ケースが可能である。そのケースとしては、１）リニアセンサカメラを用いて商品の出入りに伴う作業をモニターする際に、商品情報の一部を取得する商品陳列棚のケース。２）商品陳列棚がショーケースタイプであるケース。３）ショーケースタイプの商品陳列棚を複数のリニアセンサカメラでモニターし、カメラ間を連携するケース。４）ショーケースタイプの商品陳列棚をリニアセンサカメラで斜め上方からモニターし、商品パックの商品情報の一部の配置にマージンを上げるケース。５）リニアセンサカメラで発生作業をモニターするに当たり、背景の出力を抑制するため、背景に対応する商品陳列棚の縁部に非反射板を設置するケース。６）作業が発生しない場合と、作業が発生した場合のリニアセンサのライン画素信号出力を比較し、作業の発生したタイミングと、作業画像のみを把握するケース。７）リニアセンサの隣接するライン画素信号出力を比較し、作業の発生したタイミングと、作業画像のみを把握するケース。８）作業の発生時に取得した商品情報と、売り場を周回する顧客の情報と、該顧客のレジでの会計情報とを紐付けるケース、９）商品の出入りに伴う作業をモニターする機構を店内カゴにも付加し、この店内カゴ情報も加えて、作業の発生時に取得した商品情報と、売り場を周回する顧客の情報と、該顧客のレジでの会計情報とに紐付けるケースとがある。
【0025】
本発明の実施形態に係る商品陳列棚は、上記のように幾つかのケースが可能であるので、それぞれのケースで図面を参照しながら説明する。請求項も各ケースに概略関連付けられるが、各請求項に該当するケースと対応する図面に付いて後述する。
【0026】
以下の説明では、実施形態１のリニアセンサカメラを設置した商品陳列棚のケースを用い、本発明の個々の要素であるリニアセンサ、リニアセンサカメラ、陳列棚に配置された商品、商品の出入りに伴う作業を行う手、リニアセンサでの再生画像につき説明を行う。
以下説明内において同一部分には同一の符号及び処理名を付し、最初にその詳細な説明をし、重複する同一部分の説明は省略する。
以下説明内において同一部分には同一の符号及び処理名を付し、最初にその詳細な説明をし、重複する同一部分の説明は省略する。
【0027】
＜商品陳列棚の実施形態１＞
図１（ａ）に本発明の実施形態１に係る商品陳列棚の全体構成例を示す。商品陳列棚１は高さの異なる複数の陳列棚２、２’、２”、２”’で構成され、棚の上には商品３、３’、３”、３”’が配置されており、商品陳列棚１の前面の上方部には、商品陳列棚１の前面部分を観察するリニアセンサカメラ４が設置されている。商品陳列棚１の前面には、商品の出入りに伴う作業を行う顧客の手５が示されている。各商品３、３’、３”、３”’には商品情報の一部を表示する簡易化コード６、６’、６”、６”’が付与されている。
図１（ａ）に本発明の実施形態１に係る商品陳列棚の全体構成例を示す。商品陳列棚１は高さの異なる複数の陳列棚２、２’、２”、２”’で構成され、棚の上には商品３、３’、３”、３”’が配置されており、商品陳列棚１の前面の上方部には、商品陳列棚１の前面部分を観察するリニアセンサカメラ４が設置されている。商品陳列棚１の前面には、商品の出入りに伴う作業を行う顧客の手５が示されている。各商品３、３’、３”、３”’には商品情報の一部を表示する簡易化コード６、６’、６”、６”’が付与されている。
【0028】
図１（ｂ）には商品３の構造を示す。商品３には簡易化コード６が付与されているが、一般的には商品情報に対応したバーコード７と商品情報９が記載された商品ラベル１０が商品３に貼り付いている。一般的にバーコードはレジに設置されているバーコードリーダーでスキャンされ商品情報を読み取る。この読み取りは、店内カゴから商品をピックアップしバーコードリーダーにかざしたり、商品のバーコードを探してバーコードリーダーでスキャンしたりするのが一般的で、この作業を店員が行っていたが、最近流行のセルフレジでは顧客にやらせるケースが増えている。
【0029】
本発明では顧客が商品３を商品陳列棚１からピックアップする毎にリニアセンサカメラ４で商品情報の一部を取得することを特徴としている。商品ラベル１０にある商品情報の一部のバーコード７を直接読み取っても良いが、バーコードリーダーの様にバーコード７を読み取りし易い位置にかざす作業は行われないので、リニアセンサカメラ４の解像度が高める為に、画素数の多いリニアセンサを使用し、合焦点位置にするためのオートフォーカス機構を導入する必要がある。因みに１００００画素程度の多画素リニアセンサで１ｍの範囲をモニターすると、１０画素/mmの分解能になり、一般的なバーコードの細線の間隔0.3mmは十分カバーできる。
【0030】
図１（ｂ）に示す商品構造では、一般的なバーコードリーダーに使用されるリニアセンサの画素数は１０００～１５００画素程度であるが、この画素数で読み取るために、間隔を数倍程度広げた拡大バーコード８を設置する必要が有る。この拡大バーコード８では商品ラベル１０に占める面積が大きくなる欠点が生じる。
【0031】
本発明で特徴的なことは、各商品陳列棚１にリニアセンサカメラ４が設置されていることである。即ち商品陳列棚情報がカメラ毎にあり、同一の商品陳列棚１に陳列されている商品３の種類は、店舗にある商品種類に比べると大幅に少なくなる。
【0032】
即ち、商品がどの商品陳列棚に配置したかは事前にわかっており、同一商品陳列棚の商品が区別できれば良いので、バーコード情報は大幅に少なくて済む。これを簡易化コード６と呼ぶ。即ち画素数の少ないリニアセンサカメラで、読み取りができるように間隔を広げた拡大バーコード８でもバーコードの本数を減らすことができ、簡易化コード６のサイズは、通常のバーコード７と比べても大きくならない。このイメージを図１（ｃ）の商品ラベルに示した。
勿論、簡易化バーコード６には、本来の位置に陳列されていたかを確認するために、商品陳列棚情報を追加しておいても良い。
勿論、簡易化バーコード６には、本来の位置に陳列されていたかを確認するために、商品陳列棚情報を追加しておいても良い。
【0033】
図１（ｄ）にはリニアセンサカメラ４の構造を示す。リニアセンサカメラ４はリニアセンサ１１をカメラ筐体１２底面の基板に配置し、カメラ筐体１２の前面に装着されたレンズ１３で、被写体の像をリニアセンサ１１に結像する。リニアセンサ１１は基板の電極配線部分（図示せず）に金属線１４で電気的に結合されている。
【0034】
＜商品陳列棚の実施形態２＞
図２（ａ）に本発明の実施形態２に係るショーケースタイプの商品陳列棚の全体構成例を示す。図２（ａ）は商品陳列棚１の斜視図であり、図２（ｂ）はその側面図を示す。図１（ａ）同様に、商品陳列棚１は高さの異なる複数の陳列棚２、２’より構成され、各棚の上には商品３、３’‥が配置され、商品毎に簡易化コード６、６’‥が付与されている。図２（ａ）では、複数のリニアセンサカメラ４１，４２でショーケースタイプの商品陳列棚１の上面部分を観察している。商品陳列棚１の前面には、商品の出入りに伴う作業を行う顧客の手５が示されている。
図２（ａ）に本発明の実施形態２に係るショーケースタイプの商品陳列棚の全体構成例を示す。図２（ａ）は商品陳列棚１の斜視図であり、図２（ｂ）はその側面図を示す。図１（ａ）同様に、商品陳列棚１は高さの異なる複数の陳列棚２、２’より構成され、各棚の上には商品３、３’‥が配置され、商品毎に簡易化コード６、６’‥が付与されている。図２（ａ）では、複数のリニアセンサカメラ４１，４２でショーケースタイプの商品陳列棚１の上面部分を観察している。商品陳列棚１の前面には、商品の出入りに伴う作業を行う顧客の手５が示されている。
【0035】
図２（ａ）には、複数のリニアセンサカメラ４１，４２での観察領域を破線で示しているが、図２（ｂ）に示す様に、リニアセンサカメラ故に上下方向に幅を持たず、ショーケースタイプの商品陳列棚１の上面部分と言っても、上面の平面部分を観察している。ショーケースタイプの商品陳列棚１の横幅は広いので、複数のリニアセンサカメラ４１，４２でカバーしているが、図１（ａ）に示す商品陳列棚１でも、幅が広い場合には複数のリニアセンサカメラ４１，４２‥が必要になる。このようにして、顧客の手５で行われる商品の出入りに伴う作業の発生領域を欠落なくカバーすることができる。
【0036】
＜実施形態１及び２の商品陳列棚での商品情報の一部の読み取り方法＞
実施形態１及び２の商品陳列棚で、商品に付与された商品ラベルから商品情報の一部を読み取る手法に付き、以降に図３～図１２を用いて説明する。ここで言う商品情報の一部とは、商品ラベルに付与された商品に関する情報全てを読み取るのではなく、一般的な店舗のレジにてバーコードリーダーにより行われている情報収集であり、広義のバーコード内容の情報である。
実施形態１及び２の商品陳列棚で、商品に付与された商品ラベルから商品情報の一部を読み取る手法に付き、以降に図３～図１２を用いて説明する。ここで言う商品情報の一部とは、商品ラベルに付与された商品に関する情報全てを読み取るのではなく、一般的な店舗のレジにてバーコードリーダーにより行われている情報収集であり、広義のバーコード内容の情報である。
【0037】
商品３に付与された通常のバーコード７の内容を、本発明の商品陳列棚１で、多画素のリニアセンサやオートフォーカス機能を有したリニアセンサカメラ４を用いて読み取るか、拡大バーコード８を低画素のリニアセンサカメラ４を用いて読み取るかすれば、商品陳列棚１でバーコードの内容が把握できる。ここで「広義の」と注釈をつけた理由は、本発明の特徴である、各商品陳列棚１にリニアセンサカメラ４が対応していること、商品陳列棚１から商品のピックアップの度にリニアセンサカメラ４で読み取ることから、通常のレジで行われているバーコード７の内容の全ての読み取りは不要で、商品が陳列されている商品陳列棚情報を活用して、棚の中での商品種類を読み取ればよい。即ち簡易化コードの読み取りだけでも、商品陳列棚情報と組み合わせれば、元のバーコード７の情報が再生できることから、「広義の」と注釈をつけた。
【0038】
次に幾つかの商品形状と商品ラベルに付き、実施形態１及び２の商品陳列棚のリニアセンサカメラ４での読み取り方法に付き説明する。
図３に一般的な商品パック形状をした商品３を示した。図３（ａ）、（ｂ）は商品パック３の側面図と上面図である。商品パック３の上面には商品ラベル１０が貼り付けられおり、商品ラベル１０の例を図３（ｃ）、（ｄ）に示す。図３（ｃ）に示す商品ラベルＡには商品情報９と一般的なバーコード７が商品ラベル１０に付与されている。商品情報９としては、商品名、製造日、消費期限、原産地、製造地、製造会社名等の商品に関する情報が記載されており、そのうちの一部がバーコードに付与されている。
同様に、図３（ｄ）に示す商品ラベルＢには商品情報９の他に、一般的なバーコード７と拡大バーコード８が付与されている。
図３に一般的な商品パック形状をした商品３を示した。図３（ａ）、（ｂ）は商品パック３の側面図と上面図である。商品パック３の上面には商品ラベル１０が貼り付けられおり、商品ラベル１０の例を図３（ｃ）、（ｄ）に示す。図３（ｃ）に示す商品ラベルＡには商品情報９と一般的なバーコード７が商品ラベル１０に付与されている。商品情報９としては、商品名、製造日、消費期限、原産地、製造地、製造会社名等の商品に関する情報が記載されており、そのうちの一部がバーコードに付与されている。
同様に、図３（ｄ）に示す商品ラベルＢには商品情報９の他に、一般的なバーコード７と拡大バーコード８が付与されている。
【0039】
図４には缶形状をした商品３を示す。図４（ａ）、（ｂ）は商品缶３の奥から見た側面図（奥側面図）と、上面図をそれぞれ示す。図４（ａ）では、陳列棚の奥方向の商品缶３の側面に商品ラベル１０が貼り付けられ、商品ラベル１０には商品情報９の他に、一般的なバーコード７と拡大バーコード８が付与されている。また商品缶３の上面にも一般的なバーコード７と拡大バーコード８が付与されている。一般的なバーコード７と拡大バーコード８の付与方法は、リニアセンサカメラ４の性能で決まり、多画素のリニアセンサやオートフォーカス機能を有したリニアセンサカメラ４では、一般的なバーコード７、拡大バーコード８、簡易化コード６の全てが読み取り可能だが、低画素のリニアセンサカメラ４では拡大バーコード８、簡易化コード６のみ読み取る。
【0040】
図４（ｃ）は商品缶３の奥斜視図である。奥斜視図とは、商品陳列棚１の奥方向から見た（図２（ｂ）のカメラ４の側から見た）斜視図のことであり、正に図２のカメラ目線に相当する。同様に、図４（ｃ）に示す商品缶３には商品情報９の他に、一般的なバーコード７と拡大バーコード８が付与されているので、商品陳列棚１のリニアセンサカメラ４の性能（低画素or高画素）を選ばないが、カメラ性能に合わせて、バーコードはどちらか一方だけでも良い。
【0041】
図２の商品陳列棚１のカメラ４からは、図４に示す商品缶３の側面図や上面にあるバーコードが読めるが、図１の商品陳列棚１のカメラ４からは、商品缶３の上面にあるバーコードしか読めない。
図３に示す商品パック３の商品ラベル１０は、図１及び図２の商品陳列棚１のカメラ４のいずれも読むことができる。
図３に示す商品パック３の商品ラベル１０は、図１及び図２の商品陳列棚１のカメラ４のいずれも読むことができる。
【0042】
図５（ａ）、（ｂ）は商品パック３の奥側面図と上面図である。図５（ｃ）に示す商品ラベル１０には、拡大バーコード８が付与されている。この商品ラベル１０は貼り方に特徴があり、商品ラベル１０の商品情報９は商品パック３の上面に貼られ、商品ラベル１０の拡大バーコード８は商品パック３の奥側面に貼られる。商品パック３の蓋部分の傾斜角を利用し、図２の商品陳列棚のカメラ目線に拡大バーコード８を向け、少しでも読み取り易くする工夫に付き説明した。但し、図１の商品陳列棚のカメラ目線では蓋の傾斜部のバーコード８を読み取る必要が有る。
【0043】
図６（ａ）、（ｂ）は商品パック３の奥側面図と上面図である。図６（ｃ）に示す商品ラベル１０には、拡大バーコード８が２つ付与されている。この商品ラベル１０の貼り方も図５と同様であり、商品ラベル１０の商品情報９と拡大バーコード８は商品パック３の上面に貼られ、商品ラベル１０の拡大バーコード８は商品パック３の奥側面に貼られる。拡大バーコードが２つ有ることにより、図１や図２の商品陳列棚のカメラ目線のどちらでも読み取り易くなる。
【0044】
次にリニアセンサカメラ４での画像作成方法に付き、図７、８で説明する。図１（ａ）に示した商品陳列棚１の側面図を図７に示す。商品陳列棚１の前面の上部には、商品陳列棚１の前面部分を観察するリニアセンサカメラ４が設置されている。商品陳列棚１の前面には、商品の出入りに伴う作業を行う顧客の手５が示されている。リニアセンサカメラ４は画素１０が直線状に配置されているため、撮影できる範囲は、商品陳列棚１の前面の平面に限定される。
【0045】
この平面を、ｔ=Ｔ０のタイミングでリニアセンサカメラ４から延びる破線で示す。ｔ=Ｔ０のタイミングでは顧客の手５は、この平面には未だ到達していない。商品陳列棚１の商品を取ろうと、顧客の手５は近づいてくるが、ここでは説明の都度上、リニアセンサカメラ４から延びる破線に、顧客の手５のどの部位がクロスするか（リニアセンサカメラ４で撮影できる部位）を、タイミングｔ=Ｔ０、ｔ=Ｔ１、ｔ=Ｔ２、ｔ=Ｔ３、ｔ=Ｔ４で示す。
【0046】
図７では、顧客の手５のどの部位をリニアセンサカメラ４で撮影できるかを、タイミングｔ=Ｔ０、ｔ=Ｔ１、ｔ=Ｔ２、ｔ=Ｔ３、ｔ=Ｔ４で示した。それぞれのタイミングでのリニアセンサカメラ４からの画素出力信号を図８（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）に示す。ここで画素信号出力とは、図１（ｄ）のリニアセンサ１１の画素列の出力であり、横軸は画素位置、縦軸は各画素位置での画素信号出力を示す。
【0047】
リニアセンサカメラ４の特徴としては、動きが無いと背景の一定した出力になり、ここでは便宜上ゼロとした（図８（ａ）参照）。動きが有ると（ここでは顧客の手５の動き）リニアセンサカメラ４の出力には変化が生じる。手の動きに対応し、ｔ=Ｔ０のタイミングのリニアセンサカメラ４から延びる破線で示される平面で撮影を行い、この平面をよぎる顧客の手５の部位に対応し、画素出力波形には変化が生じる。（図８（ｂ）、（ｃ）、（ｄ）、（ｅ）参照）。
【0048】
リニアセンサカメラ４の画素信号出力を、時系列的に並べると顧客の手５の再生画像が得られる。図８には、顧客の手５の部位に対応した画素出力波形から得られた再生画像を示す。ここで顧客の手５の動きの速度により、再生画像は伸び縮みするが、人の手の縦横比（長さと幅）はほぼ一定なので、再生画像の補正は容易に行える。また顧客５の手が商品陳列棚１の商品３を掴んで出て来ても、即ち商品陳列棚１から離れる方向に移動しても、再生画像は容易に得られ、商品の再生画像も得られ、人の手の縦横比で補正すれば、顧客の手５の動きの速度での商品外形の歪みは、手５で商品３を掴んで一緒に（同じ速度で）出てくるので、簡単に補正可能である。
画像補正は人の手の縦横比で行わなくても、商品形状で行っても良いし、バーコードの形状や、後に出てくるＱＲコードの形状で行っても良い。
画像補正は人の手の縦横比で行わなくても、商品形状で行っても良いし、バーコードの形状や、後に出てくるＱＲコードの形状で行っても良い。
【0049】
次に上記リニアセンサカメラ４での画像作成方法を踏まえて、商品パックや商品缶を掴んで取り出す際の再生画像（戻す際も同じ画像となるが）に付き、それぞれ図９、図１０を用いて説明する。
図９（ａ）は商品パック３を顧客の手５で掴んで引き出す際（戻す際も同じ）の再生画像である。リニアセンサカメラなので、移動しないと画像にならない。商品パック３の上面には拡大バーコード８と商品情報９が付与された商品ラベル１０が貼り付いている。この際商品ラベル１０は、商品パック３の奥側上面（カメラ４側）に、顧客の手５（指）で隠されない位置に貼り付け、陳列する工夫が必要である。
商品パック３を通常の速度と、遅い速度で引き出す際の、商品ラベル１０と顧客の手５の再生画像のイメージを図９（ｂ）、（ｃ）に示す。図示していないが、早い場合には伸びた再生画像になる。
図９（ａ）は商品パック３を顧客の手５で掴んで引き出す際（戻す際も同じ）の再生画像である。リニアセンサカメラなので、移動しないと画像にならない。商品パック３の上面には拡大バーコード８と商品情報９が付与された商品ラベル１０が貼り付いている。この際商品ラベル１０は、商品パック３の奥側上面（カメラ４側）に、顧客の手５（指）で隠されない位置に貼り付け、陳列する工夫が必要である。
商品パック３を通常の速度と、遅い速度で引き出す際の、商品ラベル１０と顧客の手５の再生画像のイメージを図９（ｂ）、（ｃ）に示す。図示していないが、早い場合には伸びた再生画像になる。
【0050】
図１０（ａ）は缶形状をした商品３を顧客の手５’（掴んだ手を上から見たイメージでハイフンを付けた）で掴んで、引き出す際（戻す際も同じ）の再生画像である。同じくリニアセンサカメラなので、移動しないと画像にならない。商品缶３の上面には拡大バーコード８が記載されている。拡大バーコード８は直接印刷しても良いし、商品ラベル１０を貼り付いても良い。商品缶３は円柱形状が多いので陳列棚２上で回転し、拡大バーコード８の配列方向が引き出し方向になるケースの再生画像を図１０（ｂ）に示す。
図１０（ｃ）は商品缶３を掴んで引き出す際の斜視図を示す。商品缶３の側壁にある商品ラベル１０は、顧客の手５により覆われ、商品情報９や拡大バーコード８が判読不能になり、商品缶３の上面にある拡大バーコード８でのみ判読可能となる。
図１０（ｃ）は商品缶３を掴んで引き出す際の斜視図を示す。商品缶３の側壁にある商品ラベル１０は、顧客の手５により覆われ、商品情報９や拡大バーコード８が判読不能になり、商品缶３の上面にある拡大バーコード８でのみ判読可能となる。
【0051】
商品缶３の再生画像の補正は、バーコードの形状で行っても良いし、商品缶３の断面が円形であることから行っても良い。またバーコードの白黒ピッチは所定のルールに則って形成されるので、補正しなくても判読が出来る。
図１０（ａ）の様に拡大バーコード８の配列方向がリニアセンサカメラ４のリニアセンサ１１の画素の配列方向と同じであれば、拡大バーコード８の配列を認識したタイミングで読み取りができるが、
図１０（ｂ）の様に拡大バーコード８の配列方向がリニアセンサカメラ４のリニアセンサ１１の画素の配列方向と違う場合には、引き出しが進み拡大バーコード８の最後のコードを認識したタイミングで読み取りが完了する。
図１０（ａ）の様に拡大バーコード８の配列方向がリニアセンサカメラ４のリニアセンサ１１の画素の配列方向と同じであれば、拡大バーコード８の配列を認識したタイミングで読み取りができるが、
図１０（ｂ）の様に拡大バーコード８の配列方向がリニアセンサカメラ４のリニアセンサ１１の画素の配列方向と違う場合には、引き出しが進み拡大バーコード８の最後のコードを認識したタイミングで読み取りが完了する。
【0052】
商品を識別するコードとしては、バーコードのみならずＱＲコードもある。これらを区別するために、以下の説明では添え字として、バーコードは１をＱＲコードは２を付与することとする。図１１（ａ）は、商品パック３を顧客の手５で掴んで引き出す際の再生画像で、商品パック３の上面の商品ラベル１０には、商品情報９、バーコード７の他に、拡大バーコード８１を追加したケースで示しているが、拡大バーコード８１は面積を占め商品ラベル１０が大きくなるのが欠点である。
【0053】
一般的には図１１（ｂ）の左図の商品ラベルＢの様に、商品情報９とバーコード７の他に、簡易化バーコード６１を付与した商品ラベル１０で良い。簡易化バーコード６１と記したのは、拡大バーコード８１から商品陳列棚情報を活用して情報量を落とした、バーコードのケースを簡易化コード６として今まで説明してきたが、以降ではＱＲコードのケースと区別して簡易バーコード６１と称す。同様にバーコードとＱＲコードは一般サイズではバーコード７１、ＱＲコード７２となり、拡大サイズでは拡大バーコード８１、拡大ＱＲコード８２、簡易化サイズでは簡易化バーコード６１、簡易化ＱＲコード６２となる。
拡大バーコード８１、拡大ＱＲコード８２を総称し拡大コード８と称し、簡易化バーコード６１、簡易化ＱＲコード６２を総称し簡易化コード６と以下称することとする。これで行くと、通常サイズのバーコードは７１、ＱＲコードは７２となるが、図面では通常サイズはバーコードのみであり、バーコード７と記す。
拡大バーコード８１、拡大ＱＲコード８２を総称し拡大コード８と称し、簡易化バーコード６１、簡易化ＱＲコード６２を総称し簡易化コード６と以下称することとする。これで行くと、通常サイズのバーコードは７１、ＱＲコードは７２となるが、図面では通常サイズはバーコードのみであり、バーコード７と記す。
【0054】
簡易化バーコード６１に商品陳列棚情報が含まれる場合、もしくは商品陳列棚情報が含まれなくても、商品が本来の商品陳列棚に陳列される信頼性が上がり、レジでバーコードスキャナーを通さなくなった場合には、図１１（ｂ）の右図の様にバーコード７を省略して、商品情報９と簡易化バーコード６１のみ商品ラベル１０に付与すれば良い。
【0055】
拡大バーコード８１が面積を占めて生じる違和感対策としては、図１１（ｃ）の商品ラベルＣに示す様に、バーコードの形状にデザイン性を持たせた、デザインバーコード（特開２００６－１２７０２５）を採用しても良い。図１１（ｃ）は波型のデザインで違和感を抑えた拡大デザインバーコード８０を示している。
【0056】
商品を識別するコードとしては、バーコードのみならずＱＲコードもある。図１２（ａ）は、商品パック３を顧客の手５で掴んで引き出す際の再生画像で、商品パック３の上面の商品ラベル１０には、商品情報９の他に、拡大ＱＲコード８２を付与したケースを示している。拡大ＱＲコード８２は拡大バーコード８１と同様に、商品ラベル１０が大きくなるのが欠点である。
【0057】
対策としては図１２（ｂ）の商品ラベルＤの様に、商品情報９の他に、簡易化ＱＲコード６２を付与した商品ラベル１０で良い。ＱＲコードは２次元コードで情報量が増えているので、小さな面積の簡易化ＱＲコード６２で済む可能性が有る。またＱＲコードの３コーナーに正方形状の位置検出用パターン（ファインダパターンと呼ばれる）が３個（マイクロＱＲコードでは１個）配置されており、ラインセンサカメラ４の欠点である引き出し速度による再生画像の歪の補正に活用できる。
【0058】
＜商品陳列棚の実施形態３＞
図１３（ａ）に本発明の実施形態３に係るショーケースタイプの商品陳列棚の側面図を示す。図２（ａ）同様に、商品陳列棚１は高さの異なる複数の陳列棚２より構成され、各棚の上には商品３が配置されている。図示していないが商品毎に簡易化コード６が付与され、’を付した個々区別はしない。図中、図１３（ａ）では、複数のリニアセンサカメラ４１，４２で異なる角度から、ショーケースタイプの商品陳列棚１を観察している。商品陳列棚１の前面には、商品の出入りに伴う作業を行う顧客の手５が示される。
図１３（ａ）では簡易化コード６で説明したが、バーコード７１、拡大バーコード８１でも、ＱＲコード７２、拡大ＱＲコード８２でも良い。
図１３（ａ）に本発明の実施形態３に係るショーケースタイプの商品陳列棚の側面図を示す。図２（ａ）同様に、商品陳列棚１は高さの異なる複数の陳列棚２より構成され、各棚の上には商品３が配置されている。図示していないが商品毎に簡易化コード６が付与され、’を付した個々区別はしない。図中、図１３（ａ）では、複数のリニアセンサカメラ４１，４２で異なる角度から、ショーケースタイプの商品陳列棚１を観察している。商品陳列棚１の前面には、商品の出入りに伴う作業を行う顧客の手５が示される。
図１３（ａ）では簡易化コード６で説明したが、バーコード７１、拡大バーコード８１でも、ＱＲコード７２、拡大ＱＲコード８２でも良い。
【0059】
図１３（ａ）の複数のリニアセンサカメラ４１，４２で異なる角度から商品３を観察することは、ラベル面に対し垂直方向に近い観察方向を選択でき、商品ラベル１０のコード６の読み取りが、より正確になる利点が生ずる。
更に、これらの複数のリニアセンサカメラ４１，４２を連携させることにより、省エネモードの読み取りが可能になる利点も生ずる。これを図１３（ｂ）～図１３（ｅ）を用いて説明する。
更に、これらの複数のリニアセンサカメラ４１，４２を連携させることにより、省エネモードの読み取りが可能になる利点も生ずる。これを図１３（ｂ）～図１３（ｅ）を用いて説明する。
【0060】
図１３（ａ）では、商品を取り出そうと延び始めた顧客の手５は、リニアセンサカメラ４２が観察しているショーケースタイプの商品陳列棚１の手前の垂直面（図中縦の破線）を横切っていない状態である。
図１３（ｂ）では、商品を取り出そうと延び始めた顧客の手５が、リニアセンサカメラ４２の観察している面を横切って、かつリニアセンサカメラ４１が観察しているショーケースタイプの商品陳列棚１の上面（図中斜めの破線）は未だ横切っていない状態を示している。
図１３（ｃ）では、商品を取り出そうと延び始めた顧客の手５が、リニアセンサカメラ４２の観察している垂直面を横切って、かつリニアセンサカメラ４１の観察している上面も横切って、商品３を掴もうとしている状態を示している。
図１３（ｂ）では、商品を取り出そうと延び始めた顧客の手５が、リニアセンサカメラ４２の観察している面を横切って、かつリニアセンサカメラ４１が観察しているショーケースタイプの商品陳列棚１の上面（図中斜めの破線）は未だ横切っていない状態を示している。
図１３（ｃ）では、商品を取り出そうと延び始めた顧客の手５が、リニアセンサカメラ４２の観察している垂直面を横切って、かつリニアセンサカメラ４１の観察している上面も横切って、商品３を掴もうとしている状態を示している。
【0061】
図１３（ｄ）では、商品３を掴んだ顧客の手５の引き出しモードに対応し、リニアセンサカメラ４１の観察している上面には商品３がまだ横切っていて、リニアセンサカメラ４２の観察している垂直面には商品を掴んだ手５が横切っている状態を示している。
図１３（ｅ）では、商品３の引き出しモードの最終段階に対応し、リニアセンサカメラ４１の観察している上面からは、商品３は取り出され既に横切っていて、リニアセンサカメラ４２の観察している垂直面には商品３がまだ横切っている状態を示している。
図１３（ｅ）では、商品３の引き出しモードの最終段階に対応し、リニアセンサカメラ４１の観察している上面からは、商品３は取り出され既に横切っていて、リニアセンサカメラ４２の観察している垂直面には商品３がまだ横切っている状態を示している。
【0062】
図１３（ａ）の複数のリニアセンサカメラ４１，４２で異なる角度から商品３を観察することは、ラベル面に対し垂直方向に近い観察方向を選択でき、商品ラベル１０の簡易化コード６の読み取りが、より正確になるということを、図１３（ｄ）、図１３（ｅ）を用いて説明する。
図１３（ｄ）では、顧客の手５で掴まれた商品３の上面よりも側面が、破線で示したリニアセンサカメラ４１のカメラ目線と垂直に近い方向で読み取り易くなっている。逆に、図１３（ｅ）では、顧客の手５で掴まれた商品３の側面よりも上面が、破線で示したリニアセンサカメラ４２のカメラ目線と垂直に近い方向で読み取り易くなっている。より垂直に近い方向から読み取った方が、正確な読み取りが出来る。
図１３（ｄ）では、顧客の手５で掴まれた商品３の上面よりも側面が、破線で示したリニアセンサカメラ４１のカメラ目線と垂直に近い方向で読み取り易くなっている。逆に、図１３（ｅ）では、顧客の手５で掴まれた商品３の側面よりも上面が、破線で示したリニアセンサカメラ４２のカメラ目線と垂直に近い方向で読み取り易くなっている。より垂直に近い方向から読み取った方が、正確な読み取りが出来る。
【0063】
後述するが、リニアセンサカメラ４では読み出しライン間の比較をすることにより、容易に動き検知の有無と、動き発生個所の特定が出来る。動きが発生していない状態では、リニアセンサカメラ４からの信号は処理する必要が無い。即ちリニアセンサカメラは動作するが、信号処理をしない状態にできる。以下ではこの状態をスタンバイ状態と呼ぶ。リニアセンサカメラ４内で動き検知を行えば、リニアセンサカメラ４からは信号を出さなくて良く、スタンバイ状態のリニアセンサカメラ４になる。以下の説明では動き検知はリニアセンサカメラ４内で行うケースで説明し、スタンバイ状態は信号を出さず、動きを検知し信号を出す状態をＯＮ状態と称す。リニアセンサカメラ４内のリニアセンサ１１が動いていない状態（動き検知も行わず、信号も出ない）はＯＦＦ状態と称す。
この特徴を活かし、複数のリニアセンサカメラ４１，４２の連携の仕方を、個々の状態に対応し図１３（ａ）～図１３（ｅ）を用いて次に説明する。
この特徴を活かし、複数のリニアセンサカメラ４１，４２の連携の仕方を、個々の状態に対応し図１３（ａ）～図１３（ｅ）を用いて次に説明する。
【0064】
図１３（ａ）では、商品を取り出そうと延び始めた顧客の手５は、リニアセンサカメラ４２が観察しているショーケースタイプの商品陳列棚１の手前の垂直面（図中縦の破線）を横切っていない状態であるので、リニアセンサカメラ４１，４２共にスタンバイ状態である。
図１３（ｂ）では、商品を取り出そうと延び始めた顧客の手５が、リニアセンサカメラ４２の観察している面を横切ったので動きを検知し、リニアセンサカメラ４２はＯＮ状態になる。一方リニアセンサカメラ４１では、未だ動きを検知していないのでスタンバイ状態のままである。
図１３（ｃ）では、リニアセンサカメラ４２はＯＮ状態が続き、商品を取り出そうとしている顧客の手（腕）５を観察しているが、リニアセンサカメラ４１も動きを検知しＯＮ状態になり、商品３を掴もうとしている顧客の手５を観察する。
図１３（ｂ）では、商品を取り出そうと延び始めた顧客の手５が、リニアセンサカメラ４２の観察している面を横切ったので動きを検知し、リニアセンサカメラ４２はＯＮ状態になる。一方リニアセンサカメラ４１では、未だ動きを検知していないのでスタンバイ状態のままである。
図１３（ｃ）では、リニアセンサカメラ４２はＯＮ状態が続き、商品を取り出そうとしている顧客の手（腕）５を観察しているが、リニアセンサカメラ４１も動きを検知しＯＮ状態になり、商品３を掴もうとしている顧客の手５を観察する。
【0065】
図１３（ｄ）では、リニアセンサカメラ４１、４２共にＯＮ状態が続き、商品３を掴んだ顧客の手５の引き出しを観察している。リニアセンサカメラ４１は商品３がまだ横切っていているので、ＯＮ状態が続いているが、直後に起こる商品３の引き出しが完了すると、スタンバイ状態に移行する。
図１３（ｅ）の商品の引き出しの最終段階では、リニアセンサカメラ４１の観察している上面からは、商品３は取り出され動きが無いのでスタンバイ状態だが、リニアセンサカメラ４２の観察している垂直面には商品３がまだ横切っているので、ＯＮ状態が続いているが、直後に起こる商品３の引き出しが完了すると、スタンバイ状態に移行する。
図１３（ｅ）の商品の引き出しの最終段階では、リニアセンサカメラ４１の観察している上面からは、商品３は取り出され動きが無いのでスタンバイ状態だが、リニアセンサカメラ４２の観察している垂直面には商品３がまだ横切っているので、ＯＮ状態が続いているが、直後に起こる商品３の引き出しが完了すると、スタンバイ状態に移行する。
【0066】
次に省エネモードの読み取りが可能になる、リニアセンサカメラ４１，４２を連携に付いて説明する。ポイントは、リニアセンサカメラ４２が観察している垂直面を顧客の手５が通過してから、リニアセンサカメラ４１が観察しているショーケースタイプの商品陳列棚１の上面に侵入してくることである。即ち、リニアセンサカメラ４２のスタンバイ状態（動きが無い状態）では、リニアセンサカメラ４１では動きが無く、ＯＦＦ状態に出来ることである。リニアセンサカメラ４２がＯＮ状態（動き有る状態）で、初めてリニアセンサカメラ４１はスタンバイ状態にすれば良い。即ちリニアセンサカメラ４１，４２間を連携することにより省エネが図れる。
【0067】
上記動作では、リニアセンサカメラ４２は顧客の手５の挿入開始から動作を検知し、顧客の手５の観察が始まるが、商品を取り出す観察であれば、顧客の手５が商品３を掴んで引き抜く状態（図１３（ｅ））の観察だけで良い。リニアセンサカメラ４１での観察が完了してから、リニアセンサカメラ４２で商品３を掴んだ顧客の手５の引き抜きが始まるので、それまではリニアセンサカメラ４１からリニアセンサカメラ４２へ制御信号（図２５でカメラ制御信号３４に該当する）を送り、リニアセンサカメラ４２から信号を出力させないようにしても良い。このようにカメラ間を連携させることにより、スタンバイ状態化による信号情報量削減に加えて、更に商品３の引き出し画像だけを出力させることで、取り出しに伴う余分な情報量も削減できる。
【0068】
但し、顧客が商品３を手に取って商品棚に返却する場合も想定されるので、その場合には顧客の手の挿入時から信号を出力させる必要が有る。このようにケースバイケースでカメラ連携のシステムの構築が必要である。
【0069】
リニアセンサカメラ４２は顧客が店内に居る際にはスタンバイ状態（動きが無い状態）にし、いつでも顧客の手の侵入を検知しておく必要が有る。店内の顧客の動線が別の方法で分かれば、商品陳列棚１付近に顧客がいない時にはＯＦＦ状態にすることが出来るし、動線を求めなくても、人感センサ（図示せず）で顧客を検知した際にＯＦＦ状態からスタンバイ状態にすることもできる。
【0070】
＜商品陳列棚の実施形態４＞
図１４に本発明の実施形態４に係るショーケースタイプの商品陳列棚の側面図を示す。図１３（ａ）と同様に、商品陳列棚１は高さの異なる複数の陳列棚２より構成され、各棚の上には商品３が配置されている。図示していないが商品毎に簡易化コード６が付与され、’を付した個々区別はしない。図１３（ａ）と異なり、図１４では単一のリニアセンサカメラ４で、ショーケースタイプの商品陳列棚１を観察している。商品陳列棚１の前面には、商品の出入りに伴う作業を行う顧客の手５が示される。
図１４に本発明の実施形態４に係るショーケースタイプの商品陳列棚の側面図を示す。図１３（ａ）と同様に、商品陳列棚１は高さの異なる複数の陳列棚２より構成され、各棚の上には商品３が配置されている。図示していないが商品毎に簡易化コード６が付与され、’を付した個々区別はしない。図１３（ａ）と異なり、図１４では単一のリニアセンサカメラ４で、ショーケースタイプの商品陳列棚１を観察している。商品陳列棚１の前面には、商品の出入りに伴う作業を行う顧客の手５が示される。
【0071】
図１４では、単一のリニアセンサカメラ４の破線で示す観察面が、商品３の角を見る方向から観察していることが特徴である。このため商品ラベル１０が商品の奥側面でも天面でもどちらに貼ってあっても、斜め方向からになるが観察することができる。読み取りを簡易化コード６にすれば、斜め方向からでも読み取り易くなっている。
簡易化コード６でも、商品３を傾けて引き出されると、傾ける方向にもよるが判読できないケースが出てくる。この対策を次に説明する。
簡易化コード６でも、商品３を傾けて引き出されると、傾ける方向にもよるが判読できないケースが出てくる。この対策を次に説明する。
【0072】
図１５（ａ）～（ｄ）には商品パック３に貼り付けられた商品ラベル、簡易化コードを示す。図１５（ａ）は商品パック３の上面図であり、商品パック３の上面に商品ラベル１０が貼られている。図１５（ａ）に示す商品ラベル１０には、商品情報９の他に簡易化バーコード６１が付与されている。図１５（ｂ）は商品パック３の奥側面図であり、商品パック３の奥側面に簡易化バーコード６１が貼られている。
同様に図１５（ｃ）では商品パック３の上面に、商品情報９の他に簡易化ＱＲコード６２が付与されている商品ラベル１０が貼られている。図１５（ｄ）は商品パック３の奥側面には簡易化ＱＲコード６２が貼られている。
同様に図１５（ｃ）では商品パック３の上面に、商品情報９の他に簡易化ＱＲコード６２が付与されている商品ラベル１０が貼られている。図１５（ｄ）は商品パック３の奥側面には簡易化ＱＲコード６２が貼られている。
【0073】
図１５（ａ）～（ｄ）に示す様に、商品パック３の２面に簡易化ＱＲコード６２が貼られていると、商品３を傾いて引き出されても、単一のリニアセンサカメラ４で簡易化コード６の観察はできる。
また、顧客が商品を傾ける方向は、意識しなければ通常は決まっているので、簡易化コード６の貼り付ける面を片方にできる。
また、顧客が商品を傾ける方向は、意識しなければ通常は決まっているので、簡易化コード６の貼り付ける面を片方にできる。
【0074】
上記説明は、顧客が商品を取り出す際に意識しなくても、商品情報の一部である簡易化コード６を読み取るために、貼り付け位置や、貼り付け面の複数化、リニアセンサカメラ４の複数化等の工夫に付き説明してきた。顧客が商品を取り出す際に、商品陳列棚１に付属したリニアセンサカメラ４でセンシング出来る位置に、商品情報の一部をかざす作業を意識的に行うようにすれば、商品の情報の一部の取得は簡便になる。後述する無人店舗への応用の一環で、半無人化店舗の様に、簡易化コード６の読み取りが正常に行われ、正常な読み取りの顧客はレジを通さないルートに誘導され、レジ待ちのストレスから解放されるインセンティブが与えられると、簡易化コードをかざす作業を最初は意識的に行い、癖が付いてくると無意識で行いシステム精度が向上していくことが期待される。正常に読み取った場合、顧客に現行レジで実施している音で知らせることで、更に精度の向上が期待される。
勿論、無意識で読み取りを行うためには、簡易化コード６が商品のピックアップの際に何処に付いているかが直感的に分かる必要があり、商品の天面に無ければ、奥側側面に付いているとかの工夫が必要である。読み取りはピックアップ中に行われることが重要であり、ピックアップと読み取りが別作業では定着しない。
勿論、無意識で読み取りを行うためには、簡易化コード６が商品のピックアップの際に何処に付いているかが直感的に分かる必要があり、商品の天面に無ければ、奥側側面に付いているとかの工夫が必要である。読み取りはピックアップ中に行われることが重要であり、ピックアップと読み取りが別作業では定着しない。
【0075】
＜商品陳列棚の実施形態５＞
図８の説明では、動きが無いと背景の一定した出力になり、背景を便宜上ゼロとしてきたが（図８（ａ）参照）。実際の売り場では、店内の照明光にて背景がゼロになることはなく、実際にはこの背景光が重畳されたリニアセンサカメラ４の画素信号出力になる。この背景光の出力を抑制した構成の商品陳列棚１を本発明の実施形態５に係る商品陳列棚１として、図１６に説明する。
図８の説明では、動きが無いと背景の一定した出力になり、背景を便宜上ゼロとしてきたが（図８（ａ）参照）。実際の売り場では、店内の照明光にて背景がゼロになることはなく、実際にはこの背景光が重畳されたリニアセンサカメラ４の画素信号出力になる。この背景光の出力を抑制した構成の商品陳列棚１を本発明の実施形態５に係る商品陳列棚１として、図１６に説明する。
【0076】
図１６に本発明の実施形態５に係る商品陳列棚の全体構成例を示す。図１(ａ)と同様に、商品陳列棚１は高さの異なる複数の陳列棚２、２’、２”、２”’で構成され、棚の上には商品３、３’、３”、３”’が配置されており、商品陳列棚１の前面の上方部には、商品陳列棚１の前面部分を観察するリニアセンサカメラ４が設置されている。商品陳列棚１の前面には、商品の出入りに伴う作業を行う顧客の手５が示されている。各商品３、３’、３”、３”’には商品情報の一部を表示する簡易化コード６、６’、６”、６”’（図示されていない）が付与されている。
図１６の実施形態５に係る商品陳列棚の図１（ａ）と異なる点は、カメラ４でモニターする商品陳列棚１の前面の平面部上にあり、かつ商品陳列棚１の前面の縁部の位置に、カメラに対向する様に非反射板１５を設置することである。図１６では、非反射板を１５とし、非反射板の裏面を１５’と表現した。
図１６の実施形態５に係る商品陳列棚の図１（ａ）と異なる点は、カメラ４でモニターする商品陳列棚１の前面の平面部上にあり、かつ商品陳列棚１の前面の縁部の位置に、カメラに対向する様に非反射板１５を設置することである。図１６では、非反射板を１５とし、非反射板の裏面を１５’と表現した。
【0077】
図１６の商品陳列棚１では、リニアセンサカメラ４の背景光の画素信号出力の波形としては、店内の照明光が有っても、この非反射板１５を撮影するため、顧客の手５が無い背景光は抑制でき、図８の様に背景を便宜上ゼロとできる。この非反射板１５の効果に付き、図１７（ａ）～（ｅ）を用いて説明する。図１７の左半分は非反射板１５未設置の場合の、リニアセンサカメラ４の画素出力であり、右半分は非反射板１５を設置した場合の、リニアセンサカメラ４の画素出力である。
顧客の手の動きを捉える短い期間では、背景は静止し背景光は一定パターンと考えられる。従って、図７のｔ=Ｔ０のタイミングのリニアセンサカメラ４から延びる破線で示される平面で撮影を行い、この平面をよぎる顧客の手５の部位に対応し、実際のリニアセンサカメラ４の画素出力信号としては、図１７（ｂ）、（ｃ）、（ｄ）、（ｅ）に示された出力波形の様になる。
顧客の手の動きを捉える短い期間では、背景は静止し背景光は一定パターンと考えられる。従って、図７のｔ=Ｔ０のタイミングのリニアセンサカメラ４から延びる破線で示される平面で撮影を行い、この平面をよぎる顧客の手５の部位に対応し、実際のリニアセンサカメラ４の画素出力信号としては、図１７（ｂ）、（ｃ）、（ｄ）、（ｅ）に示された出力波形の様になる。
【0078】
ここで注意すべきは、顧客の手５に相当した位置にある画素信号出力の大きさは、静止した背景の出力波形に重畳されるのではなく、顧客の手５により手の位置にある背景の画素信号出力が遮られ、手に対応した背景の画素信号出力は一旦ゼロになり、顧客の手５の部位に相当した画素信号出力が現れることである。このことを、図１７（ｂ）、（ｃ）、（ｄ）、（ｅ）の非反射板未設置時（左半分）の画素出力波形では点線を使って表現している。
【0079】
、背景の画素信号出力は抑えられる。図１６の商品陳列棚１では、リニアセンサカメラ４の背景光の画素信号出力の波形としては、店内の照明光が有っても、この非反射板１５を撮影するため、顧客の手５が無い背景光は抑制でき、図１７（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）の非反射板設置時（右半分）の画素出力波形では背景を便宜上ゼロとできる。後述するマスキング画素出力でも背景抑止ができ併記した。
【0080】
＜商品陳列棚の実施形態６＞
図１（ａ）に示される、本発明の実施形態１の商品陳列棚１のケースにおいて、図１６に示す実施形態５の非反射板１５を用いなくても、背景の影響を無くす方法を図１８で説明する。
図１８はリニアセンサカメラ４の出力から信号処理して、顧客の手５に相当する箇所のみを抽出し、背景出力をゼロにする信号処理回路を示す。本方式によるリニアセンサカメラ４の信号処理方法を用いた商品陳列棚１を、本発明の実施形態６に係る商品陳列棚１とする。
図１（ａ）に示される、本発明の実施形態１の商品陳列棚１のケースにおいて、図１６に示す実施形態５の非反射板１５を用いなくても、背景の影響を無くす方法を図１８で説明する。
図１８はリニアセンサカメラ４の出力から信号処理して、顧客の手５に相当する箇所のみを抽出し、背景出力をゼロにする信号処理回路を示す。本方式によるリニアセンサカメラ４の信号処理方法を用いた商品陳列棚１を、本発明の実施形態６に係る商品陳列棚１とする。
【0081】
図１８に示す信号処理回路は、被写体の像をレンズ１３でカメラ筐体１２内のリニアセンサ１１に結像し、得られた画素信号出力１６をリニアセンサカメラ４より出力する。出力された画素信号出力１６より、ライン差分処理部１７にて画素差分絶対値２２を得る（正確には画素差分絶対値信号出力であるが、以下の説明では信号出力は略す）。
【0082】
次にライン差分処理部１７の構成を説明する。画素信号出力１６の一部は、スイッチ回路１８を経てライン記憶部１９へ取り込まれる。ライン記憶部１９から出てくる一部の画素信号出力１６（ライン記憶部出力と称す）は、差分回路２０で現在の画素信号出力１６との差分が取られ、絶対値回路２１を経て画素差分絶対値２２が得られる。
【0083】
ここで一部の画素信号出力１６（ライン記憶部出力）とは、図９（ａ）のｔ=Ｔ０のタイミングのリニアセンサカメラ４の背景光の画素信号出力の波形である。スイッチ回路１８では、顧客の手５の出力が出て来ない背景光の画素信号出力１６を記憶する場合に、スイッチをＯＮにし、ライン記憶部１９に取り込み、顧客の手５の出力がされている画素信号出力１６は、スイッチをＯＦＦにし、ライン記憶部１９には取り込まない。この様にして差分回路２０で、背景光の除去が出来る。
差分回路２０では、比較するライン間の画素信号出力の大小関係で、正負の出力になる。このため差分回路の出力を絶対値回路２１に入れて画素差分絶対値２２を得る。
差分回路２０では、比較するライン間の画素信号出力の大小関係で、正負の出力になる。このため差分回路の出力を絶対値回路２１に入れて画素差分絶対値２２を得る。
【0084】
ライン差分処理部１７で得られた画素差分絶対値２２は、マスキング信号発生部２３に入力される。マスキング信号発生部２３は、顧客の手５の動きの発生しているタイミングと、それに対応した画素出力タイミングを抽出するためのマスキング信号２６を発生する回路である。
【0085】
次にマスキング信号発生部２３の構成を説明する。画素差分絶対値２２は、マスキング信号発生回路２５で閾値２４と比較され、マスキング信号２６が得られる。マスキング信号発生部２３の出力であるマスキング信号２６は、更にマスキング回路２７にて、リニアセンサカメラ４からの出力である画素信号出力１６から、顧客の手５の動きにのみに対応した、マスキング画素出力２８を得る。
【0086】
この際にライン差分処理部１７と、マスキング信号発生部２３との演算処理時間により、顧客の手５の動きのみを画素信号出力１６から抽出するのに不具合が生じる場合には、この演算時間に相当した時間だけ、画素信号出力１６を遅延回路２９で遅延させ、マスキング回路２７でマスキング画素出力を得れば良い。
【0087】
図１８に示すライン差分、マスキングの手法に付き、各信号波形を基に図１９を用いて説明する。顧客の手５の位置タイミングとしては、図１７（ａ）、（ｂ）、（ｄ）で示した、ｔ=Ｔ０、ｔ=Ｔ１、ｔ=Ｔ３のケースである。
まず背景画像に相当するｔ=Ｔ０のタイミングでは、図１９（ａ）に示した様に、リニアセンサカメラ４の背景光の画素信号出力１６の波形が、顧客の手５の出力が無く、スイッチ回路がＯＮになっているため、ライン記憶部１９に取り込まれる。このライン記憶部出力は、図１９（ｂ）、（ｄ）に示したｔ=Ｔ０のタイミングの出力である。この波形はライン記憶部１９で記憶されているので、他のタイミングでも背景画像として出てくる。図１９（ｂ）、（ｄ）ではライン記憶部出力と表現している。
まず背景画像に相当するｔ=Ｔ０のタイミングでは、図１９（ａ）に示した様に、リニアセンサカメラ４の背景光の画素信号出力１６の波形が、顧客の手５の出力が無く、スイッチ回路がＯＮになっているため、ライン記憶部１９に取り込まれる。このライン記憶部出力は、図１９（ｂ）、（ｄ）に示したｔ=Ｔ０のタイミングの出力である。この波形はライン記憶部１９で記憶されているので、他のタイミングでも背景画像として出てくる。図１９（ｂ）、（ｄ）ではライン記憶部出力と表現している。
【0088】
次に顧客の手５が図１７のｔ=Ｔ１のタイミングに来ると、図１７（ｂ）に示す波形になり、図１９（ｂ’）にその画素信号出力を示す。このタイミングｔ=Ｔ１で、差分回路２０では、この画素信号出力と、ｔ=Ｔ０のタイミングの図１９（ｂ）で示した背景画像に相当したライン記憶部出力との減算が行われ、絶対値回路２１を経ると、図１９（ｂ”）で示されるｔ=Ｔ１のタイミングでの画素差分絶対値２２が得られる。
ｔ=Ｔ０以降、ｔ=Ｔ１以前のタイミングで、顧客の手５が認識されない場合は、画素信号出力は図１９（ｂ）と同じ波形で、差分回路２０及び絶対値回路２１を経た画素差分絶対値２２は、ゼロのままである。
ｔ=Ｔ０以降、ｔ=Ｔ１以前のタイミングで、顧客の手５が認識されない場合は、画素信号出力は図１９（ｂ）と同じ波形で、差分回路２０及び絶対値回路２１を経た画素差分絶対値２２は、ゼロのままである。
【0089】
このタイミングｔ=Ｔ１で、画素差分絶対値２２は、マスキング信号発生部２３で、閾値２４と比べられ２値化が行われ、画素差分絶対値出力値が閾値２４を超えた場合には１、超えない場合には０が割り振られ、マスキング信号が得られる。図１９（ｂ”’）にｔ=Ｔ１のタイミングでのマスキング信号を示す。
【0090】
このマスキング信号２６が１になっている期間は、顧客の手５の動きの発生しているタイミングと、顧客の手５の位置に対応する画素出力タイミングに相当し、画素信号出力１６からマスキングすべき期間である。即ち、マスキング信号２６が発生している（１になっている）タイミングの画素信号出力１６は、顧客の手５の動きのみを見ていることに相当し、マスキング画素出力２８として図１９（ｂ””）に示す。これは図８（ｂ）に示した、背景が無い場合のｔ=Ｔ１のタイミングでの顧客の手５の信号である。
【0091】
これと同様なシーケンスで、顧客の手５が図８のｔ=Ｔ３のタイミングでは図１７（ｄ）と同じく、図１９（ｄ’）の様な画素信号出力になる。このタイミングｔ=Ｔ３で、差分回路２０では、この画素信号出力と、ｔ=Ｔ０のタイミングの図１２（ｄ）の背景画像に相当したライン記憶部出力との減算が行われ、絶対値回路２１を経ると、図１９（ｄ”）で示されるｔ=Ｔ３のタイミングでの画素差分絶対値２２が得られる。同様にマスキング信号は図１９（ｄ”’）に示され、マスキング画素出力２８としては図１９（ｄ””）に示され、図８（ｄ）に示した、背景が無い場合のｔ=Ｔ３のタイミングでの顧客の手５の信号である。
【0092】
以上はタイミングｔ=Ｔ０、ｔ=Ｔ１、ｔ=Ｔ３に付いて説明したが、他のタイミングも含め、図８で示すタイミングｔ=Ｔ０、ｔ=Ｔ１、ｔ=Ｔ２、ｔ=Ｔ３、ｔ=Ｔ４に対応した、図１７（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）の左半分に示す非反射板１５を設置していない画素信号出力の波形に対し、画素差分絶対値とマスキング信号がどの様になるかを、図２０（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）に示した。
【0093】
＜商品陳列棚の実施形態７＞
図１（ａ）に示される、本発明の実施形態１の商品陳列棚１のケースにおいて、図１６に示す実施形態５の非反射板１５を用いなくても、背景の影響を無くす別の方法を図２１で説明する。
図２１はリニアセンサカメラ４の出力から信号処理して、顧客の手５に相当する箇所のみを抽出し、背景出力をゼロにする信号処理回路を示す。本方式によるリニアセンサカメラ４の信号処理方法を用いた商品陳列棚１を、本発明の実施形態７に係る商品陳列棚１とする。
図１（ａ）に示される、本発明の実施形態１の商品陳列棚１のケースにおいて、図１６に示す実施形態５の非反射板１５を用いなくても、背景の影響を無くす別の方法を図２１で説明する。
図２１はリニアセンサカメラ４の出力から信号処理して、顧客の手５に相当する箇所のみを抽出し、背景出力をゼロにする信号処理回路を示す。本方式によるリニアセンサカメラ４の信号処理方法を用いた商品陳列棚１を、本発明の実施形態７に係る商品陳列棚１とする。
【0094】
図２１に示す信号処理回路は、被写体の像をレンズ１３でカメラ筐体１２内のリニアセンサ１１に結像し、得られた画素信号出力１６をリニアセンサカメラ４より出力する。出力された画素信号出力１６より、ライン差分処理部１７にて画素差分絶対値２２を得る。
【0095】
図１８と異なる点はライン差分処理部１７の構成である。画素信号出力１６は、ラインメモリ３０へ取り込まれる。ラインメモリ３０から出てくる画素信号出力１６は１ライン前のライン出力であり、差分回路２０で現時点の画素信号出力１６との差分が取られ、絶対値回路２１を経て画素差分絶対値２２が得られる。１ラインに相当する時間は、リニアセンサ７のサイクルタイム（１ライン読み出しに掛かる時間）で、以降の図面ではΔｔと記す。即ち、差分回路２０では隣接ライン間の差分が取られる。
図２１のライン差分処理部１７には、ライン記憶部１９の代わりにラインメモリ３０が有るのと、図１８に有ったスイッチ回路１８が無い。
図２１のライン差分処理部１７には、ライン記憶部１９の代わりにラインメモリ３０が有るのと、図１８に有ったスイッチ回路１８が無い。
【0096】
勿論、ラインメモリ３０が１ライン遅延に相当するラインメモリでなくても良く、２ライン相当の遅延を生じさせ、１ライン飛ばしの差分を取っても良い。このライン遅延量は顧客の手５の出し入れの速度と、リニアセンサ７のサイクルタイムの兼ね合いで決まる。システムの簡便さからラインメモリの遅延時間は通常サイクルタイムの整数倍にするのが一般的であるが、以降は１ラインの遅延（Δｔ）に相当する隣接ライン間の差分のケースで説明する。
【0097】
図２１に示すライン差分の手法に付き、各信号波形を基に図２２を用いて説明する。顧客の手５の位置のタイミングとしては、簡素化するため、まずは背景光が無いケースである、図８（ａ）、（ｂ）、（ｄ）で示した、ｔ=Ｔ０、ｔ=Ｔ１、ｔ=Ｔ３のケースで説明する。
まずｔ=Ｔ０のタイミングでは、図２２（ａ）に示した様に、リニアセンサカメラ４の画素信号出力１６の波形には顧客の手５の出力が無い。その時にラインメモリ３０から出てくる、１ライン前（Ｔ０-Δｔ）の画素信号出力の波形も、図２２（ａ’）に示した様に顧客の手５の出力が無い。差分回路２０で両者の差分を取ってもゼロで、絶対値回路２１を経ても画素差分絶対値２２は、図２２（ａ”）の様にゼロのままである。
まずｔ=Ｔ０のタイミングでは、図２２（ａ）に示した様に、リニアセンサカメラ４の画素信号出力１６の波形には顧客の手５の出力が無い。その時にラインメモリ３０から出てくる、１ライン前（Ｔ０-Δｔ）の画素信号出力の波形も、図２２（ａ’）に示した様に顧客の手５の出力が無い。差分回路２０で両者の差分を取ってもゼロで、絶対値回路２１を経ても画素差分絶対値２２は、図２２（ａ”）の様にゼロのままである。
【0098】
次にｔ=Ｔ１のタイミングでは、図２２（ｂ）に示した様に、画素信号出力１６の波形には顧客の手５の出力が現れる。その時にラインメモリ３０から出てくる、１ライン前（Ｔ０-Δｔ）の画素信号出力の波形にも、図２２（ｂ’）に示した様に顧客の手５の出力が現れている。両者は顧客の手５の差し込み位置により微妙に波形が異なり、一般的に手の出力の輪郭部分に差が現れる。このため差分回路２０で両者の差分を取ると、この輪郭部分に微分波形の様な出力が現れる。絶対値回路２１を経ると画素差分絶対値２２は、図２２（ｂ”）の様になる。これは画素信号出力の微分波形の様な形状をしている。
【0099】
これと同様なシーケンスで、顧客の手５が図７のｔ=Ｔ３のタイミングに来ると、図２２（ｄ）に示した様に顧客の手５全体の出力が現れている。その時にラインメモリ３０から出てくる、１ライン前（Ｔ３-Δｔ）の波形も、図２２（ｄ’）に示した様に顧客の手５全体の出力で、両者は微妙に異なっている。差分回路２０で両者の差分を取ると、この場合には輪郭部分以外に、指の間の部分も微妙に出現する。絶対値回路２１を経ると画素差分絶対値２２は、図２２（ｄ”）の様になる。
【0100】
図２２では簡素化するため背景光が無いケースで説明したが、次に図１７（ｂ）、（ｄ）の左半分で示した、ｔ=Ｔ１、ｔ=Ｔ３の背景光の有るケースで説明する。
ｔ=Ｔ１のタイミングでは、図２３（ｂ）に示した様に、画素信号出力１６の波形には顧客の手５の出力が現れる。その時にラインメモリ３０から出てくる、１ライン前（Ｔ１-Δｔ）の画素信号出力の波形にも、図２３（ｂ’）に示した様に顧客の手５の出力が現れ、両者は微妙に波形が異なる。このため差分回路２０で両者の差分を取ると、背景光の領域は同じなので消え、手の輪郭部分に微分波形の様な出力が現れ、絶対値回路２１を経ると画素差分絶対値２２は、図２３（ｂ”）の様になる。これは図２２（ｂ”）に示す背景光が無い場合と類似している。
ｔ=Ｔ１のタイミングでは、図２３（ｂ）に示した様に、画素信号出力１６の波形には顧客の手５の出力が現れる。その時にラインメモリ３０から出てくる、１ライン前（Ｔ１-Δｔ）の画素信号出力の波形にも、図２３（ｂ’）に示した様に顧客の手５の出力が現れ、両者は微妙に波形が異なる。このため差分回路２０で両者の差分を取ると、背景光の領域は同じなので消え、手の輪郭部分に微分波形の様な出力が現れ、絶対値回路２１を経ると画素差分絶対値２２は、図２３（ｂ”）の様になる。これは図２２（ｂ”）に示す背景光が無い場合と類似している。
【0101】
同様なシーケンスで、ｔ=Ｔ３のタイミングでは、図２３（ｄ）に示した様に手全体が現れて、ラインメモリ３０から出てくる、１ライン前（Ｔ３-Δｔ）の波形も、図２３（ｄ’）に示した様に手全体の出力で、両者は微妙に異なっている。差分回路２０で両者の差分を取ると、輪郭部分以外に、指の間の部分も微妙に出現し、画素差分絶対値２２は、図２３（ｄ”）の様になる。図２２（ｄ”）の背景光が無い場合と類似している。
【0102】
以上はタイミングｔ=Ｔ１、ｔ=Ｔ３に付いて説明したが、他のタイミングも含め、図７で示すタイミングｔ=Ｔ０、ｔ=Ｔ１、ｔ=Ｔ２、ｔ=Ｔ３、ｔ=Ｔ４に対応した、図１７（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）の左半分に示す画素信号出力１６の波形に対し、画素差分絶対値２２がどの様になるかを、図２４（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）に示した。
【0103】
図２５は本発明の実施形態７に係る商品陳列棚１のリニアセンサカメラ４の出力から信号処理して、顧客の手５に相当する箇所のみ抽出し、背景出力をゼロにする信号処理回路を示す。画素差分処理部１７に付いては、図２１に関する説明で済んでいるので、マスキング信号発生部２３の説明を行う。
【0104】
画素差分処理部１７において画素差分絶対値２２は、顧客の手５の動きの発生しているタイミングと、１ライン前のタイミングの差分を取ることで得られる。マスキング信号発生部２３では、この画素差分絶対値２２を基に、顧客の手５の動きの発生しているタイミング（動きの発生時期と、発生場所に相当した画素の出力タイミングの両方の意味が有る）と、それに対応した画素出力タイミングを抽出するためのマスキング信号２６を発生する。
【0105】
次にマスキング信号発生部２３の構成を説明する。画素差分絶対値２２からは、動き輪郭端部判定部３１にて、顧客の手５の外側の輪郭部を抽出する。図２３（ｄ”）で説明した様に、差分回路２０からは、手の輪郭部分以外に、指の間の部分も出現し、画素差分絶対値２２は複雑な波形になる。
動き輪郭端部判定部３１では画素差分絶対値波形の経過を追いかけることで、顧客の手５の外側の輪郭部を抽出することが出来る。
動き輪郭端部判定部３１では画素差分絶対値波形の経過を追いかけることで、顧客の手５の外側の輪郭部を抽出することが出来る。
【0106】
その方法を説明するが、前提としては、リニアセンサカメラ４で見張る商品陳列棚１の前面の平面に、顧客の手５が侵入し抜き出るまでの間は、一連の動きとして捉えられることである。一般的に顧客の手は商品陳列棚１の商品３を掴むために、手を挿入し商品を掴んで抜き取るのを一連の動きとして行うため、この前提は成立する（陳列棚の商品を掴んだまま、陳列棚の中で止まることは無いし、手以外のもの（頭とか足とか）を挿入することは無いので）。
【0107】
顧客の手５の先端からリニアセンサカメラ４に捉えられ、徐々に手の幅に拡大して行く。図８（ｃ）に示す様に途中指の間の部分も登場するが、手の幅の内側に留まっており、手の外側の輪郭を辿って行ける。図８（ｄ）に示す様に過渡的に親指と手の隙間が生じ、新たな動体と区別が出来ないが、図８（ｅ）に示す様に連結され一体物との認識が出来る。
顧客の手５の大きさは、リニアセンサカメラ４で観察している商品陳列棚１の大きさと比べても小さいものなので、手の付近に生じた新たな動体（指先）は手に帰属するという判断基準を設ければ、手の一番外側の輪郭判定（動き輪郭端部判定）が容易になる。
顧客の手５の大きさは、リニアセンサカメラ４で観察している商品陳列棚１の大きさと比べても小さいものなので、手の付近に生じた新たな動体（指先）は手に帰属するという判断基準を設ければ、手の一番外側の輪郭判定（動き輪郭端部判定）が容易になる。
【0108】
この様に動き輪郭端部判定部３１にて得られた、顧客の手５の外側輪郭に相当する、動き輪郭端部情報３２は、マスキング信号発生回路２５で閾値３３（図１８の閾値とは異なり区別した）と比較され、マスキング信号２６が得られる。マスキング信号発生部２３の出力であるマスキング信号２６は、更にマスキング回路２７にて、リニアセンサカメラ４からの出力である画素信号出力１６から、顧客の手５の動きにのみに対応した、マスキング画素出力２８を得る。
【0109】
図２５に示す画素差分処理、マスキングの手法に付き、各信号波形を基に図２６を用い説明する。顧客の手５の位置のタイミングとしては、図１７（ｂ）、（ｄ）左半分で示した、ｔ=Ｔ１、ｔ=Ｔ３のケースであり、図２４（ｂ）、（ｄ）で示した画素信号出力、画素差分絶対値と対応する。
【0110】
顧客の手５がｔ=Ｔ１のタイミングに来ると、図２６（ｂ）に示す画素差分絶対値波形になる。この際の動き輪郭端部情報３２は図２６（ｂ’）の様になる。動き輪郭端部情報３２は一つの動体の輪郭の端部であり、２つで対になっており、対になった２つで一つの動体の領域が決まる。
動き輪郭端部情報３２はマスキング信号発生回路２５で閾値３３と比べられ、マスキング領域設定と２値化が行われる。このマスキング領域とは一つの動体の領域のことである。動き輪郭端部情報３２が閾値３３を超えてマスキングすべき領域と認識された場合には１、それ以外は０が割り振られ、マスキング信号２６が得られる。図２６（ｂ’）の動き輪郭端部情報３２を基に得られたマスキング信号２６は図２６（ｂ”’）の様になる。
動き輪郭端部情報３２はマスキング信号発生回路２５で閾値３３と比べられ、マスキング領域設定と２値化が行われる。このマスキング領域とは一つの動体の領域のことである。動き輪郭端部情報３２が閾値３３を超えてマスキングすべき領域と認識された場合には１、それ以外は０が割り振られ、マスキング信号２６が得られる。図２６（ｂ’）の動き輪郭端部情報３２を基に得られたマスキング信号２６は図２６（ｂ”’）の様になる。
【0111】
このマスキング信号２６が１になっている期間は、顧客の手５の動きの発生しているタイミングと、顧客の手５の位置に対応する画素出力タイミングに相当し、画素信号出力１６からマスキングすべき（出力すべき）期間である。即ち、マスキング信号２６が発生している（１になっている）タイミングの画素信号出力１６は、顧客の手５の動きのみを見ていることに相当する。
図２６（ｂ”’）で示されるマスキング信号２６と画素信号出力１６よりマスキング回路２７で得られたマスキング画素出力２８を図２６（ｂ””）に示す。これは背景が無い場合の、ｔ=Ｔ１のタイミングでの画素信号出力である図８（ｂ）に相当する。
図２６（ｂ”’）で示されるマスキング信号２６と画素信号出力１６よりマスキング回路２７で得られたマスキング画素出力２８を図２６（ｂ””）に示す。これは背景が無い場合の、ｔ=Ｔ１のタイミングでの画素信号出力である図８（ｂ）に相当する。
【0112】
これと同様なシーケンスで、顧客の手５が図２のｔ=Ｔ３のタイミングでは、図２４（ｄ）と同じ図２６（ｄ）の画素差分絶対値になり、動き輪郭端部情報３２は、指の間の部分は端部ではないと判断されて削除され、図２６（ｄ’）の様になる。この際には親指とその他の指の隙間は指間とは未だ判断されず、親指は新規動体出現と判断されている。親指の付け根部分のタイミングで両者が同じ動体と判断される。図２６（ｄ’）の動き輪郭端部情報３２を基に得られたマスキング信号２６は図２６（ｄ”’）の様になる。
図２６（ｄ”’）で示されるマスキング信号２６と画素信号出力１６よりマスキング回路２７で得られたマスキング画素出力２８を図２６（ｄ””）に示す。これは背景が無い場合の、ｔ=Ｔ３のタイミングでの画素信号出力である図８（ｄ）に相当する。
図２６（ｄ”’）で示されるマスキング信号２６と画素信号出力１６よりマスキング回路２７で得られたマスキング画素出力２８を図２６（ｄ””）に示す。これは背景が無い場合の、ｔ=Ｔ３のタイミングでの画素信号出力である図８（ｄ）に相当する。
【0113】
ここで、指の間の隙間の判断は、顧客の手５の先端の指先から決まる最初の端部情報を基に、この端部より指の太さに相当した近傍に発生した新たな動体は、他の指先と定義すると一つの手として認識される。これを更に拡大して、手の幅に相当した近傍に生じた新たな動体（指先）は、手に帰属するという判断基準を設ければ、図２６（ｄ”’）で新規動体出現と判断された親指でも、新規動体出現とは判断されず、手の一番外側の輪郭判定が容易になる。これが段落番号１０７で触れた判断基準である。
【0114】
以上はタイミングｔ=Ｔ１、ｔ=Ｔ３に付いて説明したが、他のタイミングも含め、図７で示すタイミングｔ=Ｔ０、ｔ=Ｔ１、ｔ=Ｔ２、ｔ=Ｔ３、ｔ=Ｔ４に対応した、図１７（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）左半分に示す画素信号出力１６の波形に対し、画素差分絶対値２２がどの様になるかを、図２４（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）に示しているが、これを基に、動き輪郭端部情報３２とマスキング信号２６がどの様になるかを、図２７（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）に示した。
実施形態７で得られた図２７（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）に示すマスキング信号２６は、実施形態６で得られた、図２０（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）に示すマスキング信号２６と、同じである。
実施形態７で得られた図２７（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）に示すマスキング信号２６は、実施形態６で得られた、図２０（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）に示すマスキング信号２６と、同じである。
【0115】
図７で示すタイミングｔ=Ｔ０、ｔ=Ｔ１、ｔ=Ｔ２、ｔ=Ｔ３、ｔ=Ｔ４に対応した図１７（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）左半分に示す画素信号出力１６の波形と、図２７（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）に示すマスキング信号２６の波形を基に、マスキング回路２７で得られたマスキング画素出力２８は、それぞれのタイミングで図２８（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）となる。図には元の画素信号出力１６の波形も入れた。
またタイミングｔ=Ｔ０、ｔ=Ｔ１、ｔ=Ｔ２、ｔ=Ｔ３、ｔ=Ｔ４は、顧客の手５の破線の部位に対応する。
実施形態７で得られた図２７（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）に示すマスキング信号２６と、実施形態６で得られた、図２０（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）に示すマスキング信号２６は同じであるので、図１９ではマスキング画素出力２８はｔ=Ｔ１、ｔ=Ｔ３しか示さなかったが、図２５のマスキング回路２７で得られたマスキング画素出力２８は、図１８で示したマスキング回路２７で得られたマスキング画素出力２８は、図２８（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）と同じになる。
またタイミングｔ=Ｔ０、ｔ=Ｔ１、ｔ=Ｔ２、ｔ=Ｔ３、ｔ=Ｔ４は、顧客の手５の破線の部位に対応する。
実施形態７で得られた図２７（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）に示すマスキング信号２６と、実施形態６で得られた、図２０（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）に示すマスキング信号２６は同じであるので、図１９ではマスキング画素出力２８はｔ=Ｔ１、ｔ=Ｔ３しか示さなかったが、図２５のマスキング回路２７で得られたマスキング画素出力２８は、図１８で示したマスキング回路２７で得られたマスキング画素出力２８は、図２８（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）と同じになる。
【0116】
段落番号１１３で、手の幅に相当した近傍に生じた新たな動体（指先）は、手に帰属するという判断基準を設けたケースに付いて図２９で説明する。図７で示すタイミングｔ=Ｔ０、ｔ=Ｔ１、ｔ=Ｔ２、ｔ=Ｔ３、ｔ=Ｔ４に対応した、図１７（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）左半分に示す画素信号出力１６の波形に対し、画素差分絶対値２２がどの様になるかは、図２４（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）に示しているが、これを図２９（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）に再度示す。画素差分絶対値２２波形より動き輪郭端部判定部３１で、新規判断基準にて端部と判断された動き輪郭端部情報３２の波形としては、各タイミングで図２９（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）の左側に示される画素差分絶対値の波形で幾つかある微分波形の内、両端にある微分波形である。
【0117】
動き輪郭端部判定部３１で、新規判断基準にて得られた動き輪郭端部情報３２の波形に基づいて、マスキング信号発生回路２５で、閾値３３を超えた時点から１と判断されるマスキング信号２６としては、図２９（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）の中央に示したマスキング信号波形である。マスキング信号波形は顧客の手５の大きさに対応する。
【0118】
図７で示すタイミングｔ=Ｔ０、ｔ=Ｔ１、ｔ=Ｔ２、ｔ=Ｔ３、ｔ=Ｔ４に対応した図１７（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）左半分に示す画素信号出力１６の波形と、図２９（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）に示すマスキング信号２６の波形を基に、マスキング回路２７で得られたマスキング画素出力２８は、それぞれのタイミングで図２９（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）となる。この波形と、図２８（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）で示すマスキング画素出力２８の波形とを比較すると、タイミングｔ=Ｔ３に対応する、図２９（ｄ）、図２８（ｄ）に違いが生じている。
即ち、新規判定基準で得られたマスキング信号２６の波形では、指の間は顧客の手５の一部として認識され、画像として採択されるためマスキング信号は１となる。このため、図２９（ｄ）のマスキング画素出力２８には、指の間の領域に背景画像が登場する。これが図２７（ｄ）の指の間もマスキング信号ゼロ、として得られた図２８（ｄ）に示したマスキング画素出力２８とは異なる。
即ち、新規判定基準で得られたマスキング信号２６の波形では、指の間は顧客の手５の一部として認識され、画像として採択されるためマスキング信号は１となる。このため、図２９（ｄ）のマスキング画素出力２８には、指の間の領域に背景画像が登場する。これが図２７（ｄ）の指の間もマスキング信号ゼロ、として得られた図２８（ｄ）に示したマスキング画素出力２８とは異なる。
【0119】
図２５のマスキング回路２７には、カメラ制御信号３４が追加されている。これは複数カメラで連携を図る際に、マスキング画素出力２８を出すか出さないかを制御する信号であり、他のカメラからカメラ制御信号３４を出力し、本カメラを制御する。
【0120】
ここで言うマスキングとは、一般的に使われるデータを隠す意味ではなく、データ以外を隠し、データを強調し露出させる、という意味で本明細書では使っている。本願は無駄な背景を隠して余計なデータ処理を無くし、本質的なデータ（顧客の手５、商品３）を抽出し、信号処理の簡素化が目的である。
即ち図２５に示すマスキング回路２７において、マスキング信号が１か０かにより、画素信号出力１６を出すか、出さないかを決め、ほぼ背景が消えた動体の画像に対応したマスキング画素出力２８を出力し、情報量を大幅に削減し商品陳列棚１のシステム負荷を軽減している。
即ち図２５に示すマスキング回路２７において、マスキング信号が１か０かにより、画素信号出力１６を出すか、出さないかを決め、ほぼ背景が消えた動体の画像に対応したマスキング画素出力２８を出力し、情報量を大幅に削減し商品陳列棚１のシステム負荷を軽減している。
【0121】
図１８のスイッチ回路１８のスイッチ回路の機能につき、マスキング信号２６を基に図３０を用い、もう少し具体的に説明する。図３０でマスキング信号２６は判定部３５を経由して、スイッチ回路の制御をしている。マスキング信号２６は波形として、１ラインの中に１と０があり、マスキング回路２７を経てマスキング画素出力２８として、画素単位で処理し背景を消して動体のみ出力する様にしている。
【0122】
スイッチ回路１８ではライン単位で記憶するので、１ラインの中に１と０があるマスキング信号２６から、１ラインのマスキング信号２６の中に、マスキング信号が１を含むか否かをライン毎に判定する。即ち、マスキング信号が常に０の場合のラインは０とし、マスキング信号が１になるタイミングが少しでも含まれる場合のラインは１とする。ライン記憶部１９には静止状態の背景ラインを記憶させたいので、判定部３５で、０のラインはスイッチ回路をONとしてライン記憶させ、１のラインはスイッチ回路をOFFとしてライン記憶させない。
【0123】
この動作は毎回行う必要はなく、背景光の変化は少ないので、判定部３５にタイマーを設置し、定期的（例えば１０分に１回程度）に背景光のライン記憶を行えば良い。ライン記憶を行う場合に動きがあれば、ラインは１となりスイッチ回路はOFFとなって取り込まれず、取り込むべき背景光の際は、動きが無いのでラインは０となりスイッチ回路はONとなって取り込まれる。スタート時のみスイッチ回路１８をONにして、動きのない背景光の強制取り込みを行う必要が有る。
【0124】
図３０のマスキング回路２７にも、カメラ制御信号３４が追加されている。これは複数カメラで連携を図る際に、マスキング画素出力２８を出すか出さないかを制御する信号であり、他のカメラからカメラ制御信号３４を出力し、本カメラを制御する。カメラ制御信号３４は第７実施だけでなく、第６の実施例でも有効である。
【0125】
＜商品陳列棚の実施形態８＞
以上説明した本発明の実施形態に係る商品陳列棚１が複数個配置された実際の店舗において、図３１で説明する様に、その店舗が顧客の店舗内の移動ルートを監視カメラで追尾する情報を有し、顧客が会計時にレジでの売り上げ情報も有する場合には、商品陳列棚１での顧客対応のデータ、この顧客の追尾データと、この顧客の売り上げデータとを組み合わせる事により、システム精度を上げることが出来る。これは万引き等の不正の防止や、無人店舗のシステムが提供できる。
このシステムを構築する商品陳列棚１を、本発明の実施形態８に係る商品陳列棚１とする。
以上説明した本発明の実施形態に係る商品陳列棚１が複数個配置された実際の店舗において、図３１で説明する様に、その店舗が顧客の店舗内の移動ルートを監視カメラで追尾する情報を有し、顧客が会計時にレジでの売り上げ情報も有する場合には、商品陳列棚１での顧客対応のデータ、この顧客の追尾データと、この顧客の売り上げデータとを組み合わせる事により、システム精度を上げることが出来る。これは万引き等の不正の防止や、無人店舗のシステムが提供できる。
このシステムを構築する商品陳列棚１を、本発明の実施形態８に係る商品陳列棚１とする。
【0126】
図３１に示す店舗では、本発明の実施形態１の図５（ｂ）に示す上面図の商品陳列棚１が、背中合わせに２台配置されたセット（例えば（１，１）と（２，１））の６セット（３セット×２列）が配置されている。
顧客Ｅは、店内に設置された監視カメラ（図示せず）で、移動ルートが時刻付きで把握されている。他の顧客Ａ，Ｂ，Ｃ，Ｄはそれぞれ（１，３）、（２，１）、（３，２）、（４，１）の商品陳列棚１で商品に対する対応をしている。顧客Ｅの移動ルートを図２４のフリーハンド破線で示す。ここでは（１，２）と（２，３）の商品陳列棚１に立ち寄って、レジの位置まで来たことが分かる。
顧客Ｅは、店内に設置された監視カメラ（図示せず）で、移動ルートが時刻付きで把握されている。他の顧客Ａ，Ｂ，Ｃ，Ｄはそれぞれ（１，３）、（２，１）、（３，２）、（４，１）の商品陳列棚１で商品に対する対応をしている。顧客Ｅの移動ルートを図２４のフリーハンド破線で示す。ここでは（１，２）と（２，３）の商品陳列棚１に立ち寄って、レジの位置まで来たことが分かる。
【0127】
図３１の店舗では、商品陳列棚１での顧客対応のデータ、顧客の位置追尾データと、顧客の売り上げデータが取得されるが、ここで重要な事は、これらのデータを時刻で同期を取ることである。即ち、本発明の商品陳列棚１で取得した顧客のデータは、何時に、どの様な簡易化コードの商品を取ったか、どの様な簡易化コードの商品は戻したか、と言った商品陳列棚１で行われるローカルな情報に過ぎない。しかし時刻が有ることにより、顧客の紐付けが出来て、その顧客はどの様な移動ルートで商品陳列棚１まで来て、商品陳列棚１に付随してあるカメラ４でどの様な簡易化コードの商品を取得したか、該当する顧客のレジでの売り上げデータは幾らであったか、を組み合わせる事により、システム精度を上げることが出来る。
【0128】
即ち、顧客Eがレジまで辿り着いた際には、顧客が店内カゴに入れた商品はどの様なもので、合計金額が幾らになるかが把握されており、レジでは商品に付いた通常のバーコードを読み取り、金額が合っているか確認作業になる。金額合致した場合、合致しなかった場合の情報が蓄積されていくと、カメラ４でどの様に読み取られた場合に正常かが分かり、正常な読み取りの顧客はレジを通らないルートに誘導し、レジ待ちのストレスから解放することが出来る。
これをアピールポイントとして、顧客に商品のピックアップの際には、簡易化コードをカメラ４で読み取り易い方向に向ける意識付けをさせることにより、レジフリーのルートに誘導して、会計を簡便化することにより、レジのストレスを解消した無人店舗のシステムが実現できる。
これをアピールポイントとして、顧客に商品のピックアップの際には、簡易化コードをカメラ４で読み取り易い方向に向ける意識付けをさせることにより、レジフリーのルートに誘導して、会計を簡便化することにより、レジのストレスを解消した無人店舗のシステムが実現できる。
【0129】
正常な読み取りが行われなかった場合にはレジを通すルートに誘導される。これは万引き等の不正の防止にも役立つ。ピックアップ時に上手く読めない場合、会計金額が多くなる場合が普通だが、万引きの際にピックアップ時に読めた商品の合計が、会計金額より小さくなると万引きが疑わしい。
【0130】
＜商品陳列棚の実施形態９＞
本発明の実施形態に係る商品陳列棚１が複数個配置された実際の店舗において、図３１で説明した様に、システム精度を上げて、万引き等の不正の防止や、無人店舗のシステムが提供できる。更にシステムの精度を上げるため、図３２で説明する様に、店内カゴ３６の商品３の出入りをセンシングして得られた商品に対応した情報を追加する。この情報を店内カゴデータと呼ぶ。この店内カゴデータを活用したシステムを構築する商品陳列棚１を、本発明の実施形態９に係る商品陳列棚１とする。
本発明の実施形態に係る商品陳列棚１が複数個配置された実際の店舗において、図３１で説明した様に、システム精度を上げて、万引き等の不正の防止や、無人店舗のシステムが提供できる。更にシステムの精度を上げるため、図３２で説明する様に、店内カゴ３６の商品３の出入りをセンシングして得られた商品に対応した情報を追加する。この情報を店内カゴデータと呼ぶ。この店内カゴデータを活用したシステムを構築する商品陳列棚１を、本発明の実施形態９に係る商品陳列棚１とする。
【0131】
この店内カゴデータの取得方法としては、リニアセンサカメラ（カメラ４’）を店内カゴ３６に設け、商品に対応した簡易化コードを読み取らせて店内カゴデータを取得しても良い。店内カゴの上面の平面をモニターし、商品の出入りをセンシングする際に簡易化コードを読み取る。この店内カゴデータを、商品陳列棚１での顧客対応のデータ、この顧客の追尾データ、この顧客の売り上げデータと、組み合わせる事により、システム精度を更に上げることが出来る。店内カゴの位置情報をビーコン等の手法で求めると、顧客の追尾データは必ずしも必要ではない。これは万引き等の不正の防止や、無人店舗のシステムが提供できる。
【0132】
図３２に示される実施形態９に係る商品陳列棚１とセットで使用される店内カゴ３６の正面図、上面図、側面図を、図３２（ａ）、（ｂ）、（ｃ）にそれぞれ示す。店内カゴ３６は通常の店舗で使用されるカゴで、その上縁部にはリニアセンサカメラ（カメラ４’（カゴ）と記す）が設置されている。店内カゴ３６内には商品３が入っており、商品３の出入の作業を行う顧客の手５が上方にある。図３２（ｄ）は商品３を手にした顧客の手５を示しており、リニアセンサカメラ４の画素信号出力を、時系列的に並べると顧客の手５と商品３の再生画像が得られ、どの商品を何個入れたかが分かるが、店内カゴ３６に商品を入れる際に簡易化コードも読み取らせる必要がある。
【0133】
図３２（ｃ）に示した商品陳列棚１の側面図で、顧客の手５が示されている。図３２（ａ）、（ｂ）、（ｃ）に示しているが、店内カゴ３６の上縁部にあるリニアセンサカメラ４’（商品陳列棚１のリニアセンサカメラ４と区別し’を付した）は店内カゴ３６の入り口の平面を、リニアセンサカメラ４’から延びる破線の様にモニターしている。店内カゴ３６のリニアセンサカメラ４’は、手による死角を避けるため２台設けても良い。
【0134】
店内カゴ３６のリニアセンサカメラ４’で得られた店内カゴデータは、店内カゴの中にある商品と対応しており、前述したように、商品陳列棚１での顧客対応のデータ、この顧客の追尾データ、この顧客の売り上げデータと、組み合わせる事により、システム精度を更に上げることができる。これは万引き等の不正の防止や、無人店舗のシステムが提供できる。
【0135】
＜他の変形例１＞
本発明は幾つかのケースに付き説明してきたが、更に細かな変形が可能である。例えば図２１に示す信号処理回路では、リニアセンサカメラ４より出力された画素信号出力１６は、ラインメモリ３０を使って、１ライン前のライン出力とのライン差分を行っていたが、ラインメモリ３０を用いなくても図３３（ａ）に示すリニアセンサの構造で、ＣＣＤレジスタ３７をラインメモリ３０の代替として使用することができる。
本発明は幾つかのケースに付き説明してきたが、更に細かな変形が可能である。例えば図２１に示す信号処理回路では、リニアセンサカメラ４より出力された画素信号出力１６は、ラインメモリ３０を使って、１ライン前のライン出力とのライン差分を行っていたが、ラインメモリ３０を用いなくても図３３（ａ）に示すリニアセンサの構造で、ＣＣＤレジスタ３７をラインメモリ３０の代替として使用することができる。
【0136】
図３３（ａ）には、ＣＣＤリニアセンサであるリニアセンサ１１の構造を示す。リニアセンサ１１は半導体基板上に構成され、中央に光電変換ユニットである画素３７が、直線状に配置されており、画素列の両側にはＣＣＤレジスタ３８、３８’が配置されている。画素３７とＣＣＤレジスタ３８、３８’間には、画素にて光電変換で生じた信号電荷の、ＣＣＤレジスタ３８、３８’への転送を制御する、シフト電極３９，３９’がそれぞれ設けられている。ＣＣＤレジスタ３８、３８’への転送された信号電荷は、出力回路４０の方向に転送され、出力回路４０では信号電荷は信号電圧に変換され、電極４１より外部に画素信号出力として出力される。電極４１が金属線９で、基板の電極配線部分（図示せず）に電気的に結合される。
【0137】
図３３（ａ）では、画素列の両側にはＣＣＤレジスタ３８、３８’が配置されているリニアセンサ１１に付いて説明したが、勿論ＣＣＤレジスタが片側一本だけの構造でも良く、更にＣＣＤリニアセンサでなく、ＣＭＯＳリニアセンサであっても良い。
【0138】
次にこの方法に付き説明する。図３３（ａ）で偶数番目の画素３７で光電変換され蓄積された電荷は、シフト電極３９が開くとＣＣＤレジスタ３８に転送され、ＣＣＤレジスタ３８を出力回路４０方向に転送され、出力回路４０で信号電圧に変換され外部に出力される。同様にして、奇数番目の画素３７で光電変換され蓄積された電荷は、シフト電極３９’が開くとＣＣＤレジスタ３８’に転送され、ＣＣＤレジスタ３８’を出力回路４０方向に転送され、出力回路４０で信号電圧に変換され同様に外部に出力される。通常のリニアセンサ１１では、ＣＣＤレジスタ３８、３８’は交互に画素出力を排出し、画素３７の配列に従って出力される。
【0139】
ＣＣＤレジスタ３８’に転送された奇数番目の画素３７の信号電荷をＣＣＤレジスタ３８’のみ停止し、ラインメモリとして使う。ＣＣＤレジスタ３８に転送された偶数番目の画素３７の信号電荷をＣＣＤレジスタ３８は駆動し出力回路より捨て去る。次のライン期間で、シフト電極３９’は開けずにＣＣＤレジスタ３８’への画素からの電荷転送を行わず、シフト電極３９のみ開け偶数番目の画素３７の信号電荷をＣＣＤレジスタ３８へ転送する。この後、ＣＣＤレジスタ３８、３８’を駆動すると、ＣＣＤレジスタ３８、３８’より偶数番目、奇数番目の画素出力が交互に出てくるが、奇数番目の画素は１ライン前の画素出力であり、偶数番目の画素出力は現在のラインの画素出力である。
【0140】
奇数番目、偶数番目の画素出力が交互に出てくるので、両者の差分を取るとライン差分が簡単に求まる。厳密には同じ位置の画素比較ではないが、隣接位置にある画素出力の比較なので、ライン差分と考えて問題ない。
またシフト電極３９’、３９は開けないことが定期的に発生するため、ダミー画素信号として出力回路より捨て去ることが必要になり、連続してライン差分を取ることは出来ないが、本発明の応用では、手の動きはリニアセンサ１１の動作サイクルに比べたらゆっくりした動きなので、実用上問題ない。
またシフト電極３９’、３９は開けないことが定期的に発生するため、ダミー画素信号として出力回路より捨て去ることが必要になり、連続してライン差分を取ることは出来ないが、本発明の応用では、手の動きはリニアセンサ１１の動作サイクルに比べたらゆっくりした動きなので、実用上問題ない。
【0141】
＜他の変形例２＞
図３３（ｂ）、（ｃ）を用いて別の方法に付き説明する。まず図３３（ｂ）で、光電変換され蓄積された電荷は、シフト電極３９’が開くとＣＣＤレジスタ３８’に、全ての画素３７から転送される。この際に、シフト電極３９は開かないので、ＣＣＤレジスタ３８へは転送されない。転送された電荷はＣＣＤレジスタ３８’で１ラインに相当する期間は停止する。次に図３３（ｃ）で、この１ラインの期間内に、光電変換され蓄積された電荷は、シフト電極３９が開くとＣＣＤレジスタ３８に、全ての画素３７から転送される。この際に、シフト電極３９’は開かないので、ＣＣＤレジスタ３８’へは転送されない。
図３３（ｂ）、（ｃ）を用いて別の方法に付き説明する。まず図３３（ｂ）で、光電変換され蓄積された電荷は、シフト電極３９’が開くとＣＣＤレジスタ３８’に、全ての画素３７から転送される。この際に、シフト電極３９は開かないので、ＣＣＤレジスタ３８へは転送されない。転送された電荷はＣＣＤレジスタ３８’で１ラインに相当する期間は停止する。次に図３３（ｃ）で、この１ラインの期間内に、光電変換され蓄積された電荷は、シフト電極３９が開くとＣＣＤレジスタ３８に、全ての画素３７から転送される。この際に、シフト電極３９’は開かないので、ＣＣＤレジスタ３８’へは転送されない。
【0142】
次にそれぞれのＣＣＤレジスタ３８、３８’内の、全ての画素３７に対応した電荷は出力回路４０方向に転送され、出力回路４０で信号電圧に変換され外部に出力される。ＣＣＤレジスタ３８、３８’は交互に画素出力を排出し、画素３７の配列に従って出力される。ここで、図３３（ａ）の駆動と異なるのは、画素３７の画素出力は１ライン前の信号と現在の信号が同じ画素位置に対応し出力されることである。
勿論この場合は、ＣＣＤレジスタ３８、３８’には全ての画素を転送できるだけの転送段数が必要になるが、隣接する２画素をＣＣＤレジスタ３８、３８’で合体するモードにすれば、図３３（ａ）のＣＣＤレジスタ３８、３８’の転送段数で済む。
勿論この場合は、ＣＣＤレジスタ３８、３８’には全ての画素を転送できるだけの転送段数が必要になるが、隣接する２画素をＣＣＤレジスタ３８、３８’で合体するモードにすれば、図３３（ａ）のＣＣＤレジスタ３８、３８’の転送段数で済む。
【0143】
１ライン期間だけ光電変換のタイミングの異なる２ラインの全画素出力が交互に出てくるので、両者の差分を取るとライン差分が簡単に求まる。全画素読み出しなので、厳密に同じ位置の画素比較であり、ライン差分である。ＣＣＤレジスタの片側（２つの例では共にＣＣＤレジスタ３８’）で１ラインの遅延を行うので、ＣＣＤレジスタ３８’は図２１や図２５に示したラインメモリ３０と考えられる。請求項でラインメモリと称するのは、このＣＣＤレジスタも含むものとする。
ＣＣＤレジスタ３８に転送された全ての画素３７の信号電荷を１ラインの期間停止するので、ＣＣＤレジスタ３８はラインメモリとして使う。全ての画素３７は毎回読み出されているので、ダミー画素として捨てる必要が無いため、連続してライン差分を取ることが出来る。
ＣＣＤレジスタ３８に転送された全ての画素３７の信号電荷を１ラインの期間停止するので、ＣＣＤレジスタ３８はラインメモリとして使う。全ての画素３７は毎回読み出されているので、ダミー画素として捨てる必要が無いため、連続してライン差分を取ることが出来る。
【0144】
＜他の変形例３＞
変形例１，２では、ラインメモリ３０を用いずに、リニアセンサ１１をＣＣＤタイプのセンサを用いることで、ＣＣＤレジスタ３８をラインメモリ３０の代替として使用することが出来ることを説明した。
本発明は、リニアセンサ１１をＣＭＯＳタイプのセンサを用いた、ＣＭＯＳリニアセンサをラインメモリ３０の代替として使用することも出来、次にそれを説明する。
変形例１，２では、ラインメモリ３０を用いずに、リニアセンサ１１をＣＣＤタイプのセンサを用いることで、ＣＣＤレジスタ３８をラインメモリ３０の代替として使用することが出来ることを説明した。
本発明は、リニアセンサ１１をＣＭＯＳタイプのセンサを用いた、ＣＭＯＳリニアセンサをラインメモリ３０の代替として使用することも出来、次にそれを説明する。
【0145】
まず図３４でＣＭＯＳリニアセンサの構造を説明する。直線的に並んだ画素３７に沿ってＣＭＯＳシフトレジスタ４２が配置されており、画素３７の信号電荷は各画素に繋がったスイッチングゲート４３を順次開くことで、信号線４４に連結されていく。信号線４４の端部には出力回路４５があり、画素の信号電荷を信号電圧の形で外部に出力させる。各画素の光電変換時間と出力されるタイミングは画素に付随したスイッチングゲート４３の開閉で決まり、これはＣＭＯＳシフトレジスタ４２で制御される。
【0146】
次に図３４のＣＭＯＳリニアセンサでラインメモリ３０の代替動作を行う方法に付き説明する。ポイントは画素列３７の奇数画素と偶数画素で露光時間を２倍変えることである。便宜的に奇数画素では２ラインに相当した光電変換（偶数画素より１ライン早く光電変換を開始する）を行い、偶数画素では１ラインに相当した光電変換を行う。奇数画素と偶数画素は順次信号線４４を経由して出力回路４５から出てくるが、隣接する奇数画素から偶数画素の引き算を行うと、残りは１ライン前の奇数画素の出力である。ここで同一ラインの隣接しあう奇数画素と偶数画素の出力は同じとした。即ち図３３（ａ）で示した段落番号１３８、１３９で説明した奇数画素は１ライン前の画素出力と同じ状態になる。
【0147】
隣接する奇数画素から偶数画素の引き算を行い得られた１ライン前の奇数画素の出力は、図２１のラインメモリ３０を経た出力と同じになる。今のラインの画素出力である偶数画素の出力と差分を取ることでライン差分が得られる。奇数画素と偶数画素のスイッチングゲート４３の制御はＣＭＯＳシフトレジスタ４２でどの様なパルスを生み出すかを制御すれば良い。この様にして、ＣＭＯＳリニアセンサでもラインメモリ３０の代替が出来る。ラインメモリと称するのは、このＣＭＯＳリニアセンサも含むものとする。
【0148】
＜他の変形例４＞
本発明の商品陳列棚に使用されるリニアセンサカメラでの観察アイテムは、商品陳列棚の前面の平面で、商品の出入りの作業をする顧客の手５の動きを見ているに過ぎない。この動きはしょっちゅう発生する事象でなく、顧客が商品を手に取るタイミングでしか発生しない。従って店内の監視カメラの動作と異なり、発生間隔は１～１０分程度である。従って常にリニアセンサカメラを駆動させる必要が無い。また商品陳列棚に複数のリニアセンサカメラで見張っている場合には、普段は１台だけ稼働させ、商品を手にしそうになったら他のカメラを駆動させれば良い。
本発明の商品陳列棚に使用されるリニアセンサカメラでの観察アイテムは、商品陳列棚の前面の平面で、商品の出入りの作業をする顧客の手５の動きを見ているに過ぎない。この動きはしょっちゅう発生する事象でなく、顧客が商品を手に取るタイミングでしか発生しない。従って店内の監視カメラの動作と異なり、発生間隔は１～１０分程度である。従って常にリニアセンサカメラを駆動させる必要が無い。また商品陳列棚に複数のリニアセンサカメラで見張っている場合には、普段は１台だけ稼働させ、商品を手にしそうになったら他のカメラを駆動させれば良い。
【0149】
また図３１に示す様に顧客の移動ルートを把握している場合には、商品陳列棚に近づくか、商品に手を伸ばした時にリニアセンサカメラの駆動を始め、他の時は非動作で省エネをしても良い。店内のこのような省エネの工夫は通常に行われるものであり、請求項には触れない。
【0150】
＜請求項と実施形態と対応する図面の関連性＞
請求項１‥本発明の第１、２、３、４実施形態で、図１、２、１３、１４に対応する。
請求項２‥本発明の商品ラベルの付与方法で、図３、４に対応する。
請求項３‥本発明の商品ラベル、商品情報の一部の付与位置で、図３，図４、図５，図６、図１０、図１５に対応する。
請求項４‥商品情報の一部の読み落とし防止方法で、、図１、２、１３、１４、図３１に対応する。
請求項５‥本発明の商品情報の一部を取得する方法で、図７、図８、図９、図１０に対応する。
請求項６‥本発明の商品情報の一部がバーコードで、図１１（ａ）、図１１（ｃ）に対応する。
請求項７‥本発明の商品情報の一部がＱＲコードで、図１２（ａ）に対応する。
請求項８‥本発明の商品情報の一部が商品陳列棚情報活用で簡易化されたコードで、図１１（ｂ）、図１２（ｂ）、図１、図２、図１４、図１５に対応する。
請求項９‥本発明の第２実施形態による、商品陳列棚の商品の商品ラベルの読み落とし防止方法で、図２に対応する。
請求項１０‥本発明の第３実施形態による、２方向から観察する商品ラベルの読み落とし防止方法で、図１３（ａ）に対応する。
請求項１１‥カメラ間の連携を図ってシステムの消費電力や情報量を削減する方法で、図１３（ｂ）～（ｅ）、図２５、図３０に対応する。
請求項１２‥本発明の第５実施形態で、図１６、図１７に対応する。
請求項１３‥本発明の第６、７実施形態で、図１８、図１９、図２０、図２１、図２２、図２３、図２４、図２５、図２６、図２７、図２８、図２９、図３０、図３３、図３４に対応する。
請求項１４‥本発明の第８実施形態で、図３１に対応する。
請求項１５‥本発明の第９実施形態で、図３２に対応する。
請求項１‥本発明の第１、２、３、４実施形態で、図１、２、１３、１４に対応する。
請求項２‥本発明の商品ラベルの付与方法で、図３、４に対応する。
請求項３‥本発明の商品ラベル、商品情報の一部の付与位置で、図３，図４、図５，図６、図１０、図１５に対応する。
請求項４‥商品情報の一部の読み落とし防止方法で、、図１、２、１３、１４、図３１に対応する。
請求項５‥本発明の商品情報の一部を取得する方法で、図７、図８、図９、図１０に対応する。
請求項６‥本発明の商品情報の一部がバーコードで、図１１（ａ）、図１１（ｃ）に対応する。
請求項７‥本発明の商品情報の一部がＱＲコードで、図１２（ａ）に対応する。
請求項８‥本発明の商品情報の一部が商品陳列棚情報活用で簡易化されたコードで、図１１（ｂ）、図１２（ｂ）、図１、図２、図１４、図１５に対応する。
請求項９‥本発明の第２実施形態による、商品陳列棚の商品の商品ラベルの読み落とし防止方法で、図２に対応する。
請求項１０‥本発明の第３実施形態による、２方向から観察する商品ラベルの読み落とし防止方法で、図１３（ａ）に対応する。
請求項１１‥カメラ間の連携を図ってシステムの消費電力や情報量を削減する方法で、図１３（ｂ）～（ｅ）、図２５、図３０に対応する。
請求項１２‥本発明の第５実施形態で、図１６、図１７に対応する。
請求項１３‥本発明の第６、７実施形態で、図１８、図１９、図２０、図２１、図２２、図２３、図２４、図２５、図２６、図２７、図２８、図２９、図３０、図３３、図３４に対応する。
請求項１４‥本発明の第８実施形態で、図３１に対応する。
請求項１５‥本発明の第９実施形態で、図３２に対応する。
【符号の説明】
【0151】
１ 商品陳列棚
２、２’、２”、２”’ 陳列棚
３、３’、３”、３”’ 商品
４、４１、４２、４’ リニアセンサカメラ
５ 顧客の手
６ 簡易化コード
６１ 簡易化バーコード
６２ 簡易化ＱＲコード
７ バーコード
８、８’、８１、 拡大バーコード
８0 拡大デザインバーコード
８２ 拡大ＱＲコード
９ 商品情報
１０ 商品ラベル
１１ リニアセンサ
１２ カメラ筐体
１３ レンズ
１４ 金属線
１５、１５’ 非反射板
１６ 画素信号出力
１７ ライン差分処理部
１８ スイッチ回路
１９ ライン記憶部
２０ 差分回路
２１ 絶対値回路
２２ 画素差分絶対値
２３ マスキング信号発生部
２４ 閾値（画素差分絶対値）
２５ マスキング信号発生回路
２６ マスキング信号
２７ マスキング回路
２８ マスキング画素出力
２９ 遅延回路
３０ ラインメモリ
３１ 動き輪郭端部判定部
３２ 動き輪郭端部情報
３３ 閾値（動き輪郭端部情報）
３４ カメラ制御信号
３５ 判定部（スイッチ回路）
３６ 店内カゴ
３７ 画素
３８、３８’ ＣＣＤレジスタ
３９、３９’ シフト電極
４０ 出力回路（ＣＣＤ）
４１ 電極
４２ ＣＭＯＳシフトレジスタ
４３ スイッチングゲート
４４ 信号線
４５ 出力回路（ＣＭＯＳ）
２、２’、２”、２”’ 陳列棚
３、３’、３”、３”’ 商品
４、４１、４２、４’ リニアセンサカメラ
５ 顧客の手
６ 簡易化コード
６１ 簡易化バーコード
６２ 簡易化ＱＲコード
７ バーコード
８、８’、８１、 拡大バーコード
８0 拡大デザインバーコード
８２ 拡大ＱＲコード
９ 商品情報
１０ 商品ラベル
１１ リニアセンサ
１２ カメラ筐体
１３ レンズ
１４ 金属線
１５、１５’ 非反射板
１６ 画素信号出力
１７ ライン差分処理部
１８ スイッチ回路
１９ ライン記憶部
２０ 差分回路
２１ 絶対値回路
２２ 画素差分絶対値
２３ マスキング信号発生部
２４ 閾値（画素差分絶対値）
２５ マスキング信号発生回路
２６ マスキング信号
２７ マスキング回路
２８ マスキング画素出力
２９ 遅延回路
３０ ラインメモリ
３１ 動き輪郭端部判定部
３２ 動き輪郭端部情報
３３ 閾値（動き輪郭端部情報）
３４ カメラ制御信号
３５ 判定部（スイッチ回路）
３６ 店内カゴ
３７ 画素
３８、３８’ ＣＣＤレジスタ
３９、３９’ シフト電極
４０ 出力回路（ＣＣＤ）
４１ 電極
４２ ＣＭＯＳシフトレジスタ
４３ スイッチングゲート
４４ 信号線
４５ 出力回路（ＣＭＯＳ）
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
【手続補正書】
【提出日】2023-07-14
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
商品陳列棚にリニアセンサを用いたカメラを設置し、該カメラを用いて、商品陳列棚の前面の平面をモニターし、商品の出入りをセンシングするセンシング手段と、
前記個々のセンシング手段の情報と、カメラが設置されている前記個々の商品陳列棚の情報とを紐付ける手段と、
前記個々の商品陳列棚の情報と、陳列されている個々の商品の情報とを紐付ける手段と、
前記個々の商品を識別するために、商品に商品コードを付与する手段と、
商品の情報が、陳列されている商品陳列棚、及びセンシング手段と紐付けられていることを利用し、商品に付与された商品コードの情報を簡易化する手段と、
商品の出入りに伴う作業発生時に、前記センシング手段で、前記簡易化された商品コードをセンシングする手段と、
を有することを特徴とする商品陳列棚。
前記個々のセンシング手段の情報と、カメラが設置されている前記個々の商品陳列棚の情報とを紐付ける手段と、
前記個々の商品陳列棚の情報と、陳列されている個々の商品の情報とを紐付ける手段と、
前記個々の商品を識別するために、商品に商品コードを付与する手段と、
商品の情報が、陳列されている商品陳列棚、及びセンシング手段と紐付けられていることを利用し、商品に付与された商品コードの情報を簡易化する手段と、
商品の出入りに伴う作業発生時に、前記センシング手段で、前記簡易化された商品コードをセンシングする手段と、
を有することを特徴とする商品陳列棚。
【請求項2】
前記カメラを用いて、前記簡易化された商品コードをセンシングする手段としては、前記商品の出入りに伴う作業を行う顧客が、商品の出入りに伴う一連の作業中に、商品に付与された簡易化された商品コードを、前記センシング手段でセンシング出来る位置にかざす、ことを特徴とする請求項１に記載の商品陳列棚。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】００３１
【補正方法】変更
【補正の内容】
【0031】
本発明で特徴的なことは、各商品陳列棚１にリニアセンサカメラ４が設置されていることである。即ち商品陳列棚情報がカメラ毎にあり、カメラで撮影されたセンシング情報は、どの商品陳列棚に対応しているかは紐付けられている。
同一の商品陳列棚１に陳列されている商品３の種類は、店舗にある商品種類に比べると大幅に少なくなる。
同一の商品陳列棚１に陳列されている商品３の種類は、店舗にある商品種類に比べると大幅に少なくなる。