ホーム > 特許ランキング > 株式会社ＳＥｔｅｃｈ
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2023-12-11
(45)【発行日】2023-12-19
(54)【発明の名称】商品陳列棚
(51)【国際特許分類】
G06Q 30/06 20230101AFI20231212BHJP
G08B 13/196 20060101ALI20231212BHJP
H04N 23/90 20230101ALI20231212BHJP
H04N 23/60 20230101ALI20231212BHJP
A47F 5/00 20060101ALI20231212BHJP
【ＦＩ】
G06Q30/06
G08B13/196
H04N23/90
H04N23/60 500
A47F5/00 Z
【請求項の数】
5
(21)【出願番号】P 2022182219
(22)【出願日】2022-11-15
【審査請求日】2022-11-15
【早期審査対象出願】
(73)【特許権者】
【識別番号】717007860
【氏名又は名称】株式会社ＳＥｔｅｃｈ
(72)【発明者】
【氏名】関根 弘一
【審査官】永野 一郎
(56)【参考文献】
【文献】米国特許出願公開第２０２１／００５６５６８（ＵＳ，Ａ１）
【文献】特開２０１６－１８６７９３（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１８／０２４７４０４（ＵＳ，Ａ１）
【文献】特開２０１５－０４１１９４（ＪＰ，Ａ）
【文献】特開２０１８－１１５０７２（ＪＰ，Ａ）
【文献】特開２０１５－１４８５６５（ＪＰ，Ａ）
【文献】特開２０２２－０２１６９１（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｑ １０／００－９９／００
Ａ４７Ｆ ５／００
Ｇ０８Ｂ １３／１９６
Ｈ０４Ｎ ２３／９０
Ｈ０４Ｎ ２３／６０
(57)【特許請求の範囲】
【請求項1】
商品が陳列された商品陳列棚の前面の縁部に、画素がライン状に配列されたリニアセンサを用いたカメラを設置し、商品陳列棚の前面の平面をカメラの撮像面にし、商品陳列棚の前面を通過する商品の出入りをセンシングするセンシング手段と、前記商品の出入りが発生した際に、前記センシング手段のリニアセンサを用いたカメラの出力信号を時系列的に並べることにより、商品の画像情報を取得する画像取得手段と、
前記センシング手段のリニアセンサの、以前の光電変換するタイミングのライン出力信号を、ライン記憶部に一時保存し、この保存されたライン出力信号と、現光電変換のタイミングで出力されるライン出力信号と、撮像面の同一個所に対応した画素どうしで差分比較する手段と、
差分比較されて得られた画素差分データの絶対値をとり、画素差分絶対値データを得る手段と、
画素差分絶対値データと、閾値とを比較して得られた、２値化されたマスキング信号を得る手段と、
２値化されたマスキング信号と、リニアセンサの画素信号出力とから、マスキング信号が１である個所の画素信号出力のみを、商品の出入りに伴う作業の発生している領域の画像として出力する手段と、
を有することを特徴とする商品陳列棚。
【請求項2】
以前の光電変換するタイミングのライン出力信号としては、商品の出入りに伴う作業の非発生時のタイミングのライン出力信号である、ことを特徴とする請求項１に記載の商品陳列棚。【請求項3】
商品の出入りに伴う作業の非発生時のタイミング判定に、２値化されたマスキング信号を活用し、マスキング信号が全て０であるラインを、商品の出入りに伴う作業が非発生のタイミングと判定し、このライン出力信号を、ライン記憶部に一時保存する、ことを特徴とする請求項２に記載の商品陳列棚。【請求項4】
以前の光電変換するタイミングとしては、リニアセンサの隣接するライン間の時間差に相当する、直前のライン出力信号である、ことを特徴とする請求項１に記載の商品陳列棚。【請求項5】
画素差分絶対値から、動体の外側輪郭の情報に対応する動き輪郭端部情報を経て、閾値と比較して得られた、２値化されたマスキング信号を得る、ことを特徴とする請求項４に記載の商品陳列棚。【発明の詳細な説明】
【技術分野】
【0001】
本発明は、顧客購買行動を把握する装置の提供に関し、商品陳列棚にセンサを設置し、小売り店舗内の顧客の購買動作を判断すると共に、それらの情報を活用し、購入された商品と代金を把握し店舗の無人化、省人化に寄与させると共に、手に取り戻された商品を識別し、分析して売り上げ増進施策に寄与させ、更には万引き防止に寄与させることも可能にする商品陳列棚に関する。
【背景技術】
【0002】
小売店舗においては、顧客の購買行動を把握し顧客の好みに合致した商品をタイムリーに提供することが、売り上げ増進に繋がるものである。現状、商店主等の長年の経験に基づく勘や、日頃の顧客購買行動の観察に頼るところが大であり、一種のノウハウともなっている。
またPOSシステムはレジでの売り上げ情報を分析し、結果として売れ筋を見極めるもので、手に取って戻すといった顧客の商品関心度調査にはなっていない。
またPOSシステムはレジでの売り上げ情報を分析し、結果として売れ筋を見極めるもので、手に取って戻すといった顧客の商品関心度調査にはなっていない。
【0003】
一方、このような顧客の購買行動情報を、先進の技術を駆使して収集し、購買実績の向上に役立てようとの試みがなされている。
例えば、特許文献１には、店舗内の画像情報から顧客の位置情報を算出して顧客移動情報を収集し、商品に取り付けられた受発信装置から商品の位置情報を算出して、商品移動情報を収集して、顧客移動情報と商品移動情報、及び購買した商品情報に基づいて、特定の顧客が店舗に入ってから出るまでの商品選択行動を収集する手段が開示されている。
例えば、特許文献１には、店舗内の画像情報から顧客の位置情報を算出して顧客移動情報を収集し、商品に取り付けられた受発信装置から商品の位置情報を算出して、商品移動情報を収集して、顧客移動情報と商品移動情報、及び購買した商品情報に基づいて、特定の顧客が店舗に入ってから出るまでの商品選択行動を収集する手段が開示されている。
【0004】
また、特許文献２には、商品に固体識別用のＩＣチップを取り付け、顧客が商品を手に取ったか否かの情報と、顧客の移動情報、顧客の滞留時間に関する情報を併せて取得することによって、顧客が商品を手にしたが結局購入しなかった商品を特定して分析する発明が開示されている。
【0005】
更に特許文献３には、商品にＩＣチップ（ＩＣタグ）を取り付けるとともに、店内各所に配置した非接触型のＩＣチップ読み取り装置により、接近したＩＣタグの保有情報を読み取って、その結果を店内の情報端末装置で収集する技術が開示されている。
【0006】
一方、特許文献４には、商品陳列棚の棚上部にエリアセンサで構成されたカメラを設け、顧客の身体の一部が進入した棚の段位置と各段の商品位置に所定時間以上存在した時、段上の収納物にアクセスしたと見做すシステムが開示されている。
【0007】
特許文献５は、購買行動情報とは異なるが、光学式タッチパネルの原理に付き、複数の受光素子でタッチした位置を検出する方法に付き示されている。
【0008】
しかしながら、以上説明したような従来の方法やシステムでは、夫々次のような問題点や、不満足な点が指摘されている。
特許文献１では、商品に受発信装置を取り付ける必要があり、そのためのコストアップと手間がかかる上、特定の顧客の情報しか収集できず、真に役に立つ情報の収集とは言い難い。
特許文献１では、商品に受発信装置を取り付ける必要があり、そのためのコストアップと手間がかかる上、特定の顧客の情報しか収集できず、真に役に立つ情報の収集とは言い難い。
【0009】
特許文献２に記載の手段も、顧客の移動情報と滞留時間を検出するために、各顧客特有のＩＣカードを携帯する必要があって、ＩＣカードを所持しない顧客に対する情報収集は不可能であり、限られた範囲での顧客購買行動分析手段に留まるものであった。
【0010】
特許文献３においても、ＩＣチップ（ＩＣタグ）を取り付けるとともに、店内各所に配置した非接触型のＩＣチップ読み取り装置により、接近したＩＣタグの保有情報を読み取って、その結果を店内の情報端末装置で収集するものであるので、商品にＩＣタグを付加する必要があって、そのための備品費用や作業工数によるコストアップが回避できない。
【0011】
特許文献４記載の発明が本願に最も近いが、エリアセンサのカメラ画像情報から位置と、人体の一部を見極める画像処理が必要となり、陳列棚の各段の棚を斜め上から
外形が通常のカメラと同じで、見下ろすようにエリアセンサのカメラを設置するので、目障りになる他、画像情報を処理する複雑なシステムを商品陳列棚に設置する必要が有る。また常に撮像している必要が有り、顧客にも棚毎にカメラで見張られているというストレスを与える。
特許文献６記載の発明は購買行動とは関係がないが、タッチ位置を検知する機能のみである。
外形が通常のカメラと同じで、見下ろすようにエリアセンサのカメラを設置するので、目障りになる他、画像情報を処理する複雑なシステムを商品陳列棚に設置する必要が有る。また常に撮像している必要が有り、顧客にも棚毎にカメラで見張られているというストレスを与える。
特許文献６記載の発明は購買行動とは関係がないが、タッチ位置を検知する機能のみである。
【0012】
本発明は、かかる課題に鑑みてなされたものであり、ＩＣタグ等を使用することなく、小売店舗内における顧客の行動をカメラで撮影した画像を分析する必要もなく、また人体の一部を見極める画像処理も不要にする。商品陳列棚に設置したリニアセンサカメラで陳列棚前面の平面を見張ることで、顧客が何を幾つ手に取って、戻したかどうかを把握することが可能となる。
【0013】
不特定多数の顧客の購買行動を正確に且つ自動的にデータベースとして蓄積可能な顧客動作分析システムに役立つ商品陳列棚を提供できる。また監視カメラの顧客の動線と組み合わせることで、万引き防止の精度を高めることも可能になり、将来的に無人化店舗の実現にも貢献できる。
また、この商品陳列棚で得られた顧客の動作情報に基づいて、棚又は商品に接触した顧客数、棚にある商品の陳列数、等の詳細なデータを収集することが可能になり、店舗での大幅な省人化、販売促進に有用な商品配置や店舗内レイアウト等の販売促進支援情報を提供できる。
また、この商品陳列棚で得られた顧客の動作情報に基づいて、棚又は商品に接触した顧客数、棚にある商品の陳列数、等の詳細なデータを収集することが可能になり、店舗での大幅な省人化、販売促進に有用な商品配置や店舗内レイアウト等の販売促進支援情報を提供できる。
【先行技術文献】
【特許文献】
【0014】
【文献】特開平１１－１７５５９７
【文献】特開２００４－３４８６８１
【文献】特開２００６－３１８１９１
【文献】特許第４９７２４９１号
【文献】特許第５０２５５５２号
【発明の概要】
【発明が解決しようとする課題】
【0015】
特許文献１、２、３に示す従来の顧客購買行動把握方法では、商品にＩＣチップやICタグを付加する必要があり、余計な作業が必要であった。また特許文献４では顧客の行動を画像処理する必要があり、演算規模が大きくなり消費電力も増大していた。
少子高齢化の影響で人手不足が深刻になり、技能実習制度での外国人の拡充も、コロナ禍や円安の影響で人数が減り、人手不足は解消には至っていない。また無人店舗の様な小売りの無人化も実験的には導入されているが、カメラやＡＩカメラを用いた画像処理がメインになっており、死角を無くすため、多数のカメラを設置し、膨大な画像処理が必要となった。
少子高齢化の影響で人手不足が深刻になり、技能実習制度での外国人の拡充も、コロナ禍や円安の影響で人数が減り、人手不足は解消には至っていない。また無人店舗の様な小売りの無人化も実験的には導入されているが、カメラやＡＩカメラを用いた画像処理がメインになっており、死角を無くすため、多数のカメラを設置し、膨大な画像処理が必要となった。
【0016】
現行の小売り店舗ではPOSシステムを活用し、会計時に売上傾向を掴むのが一般的で、商品陳列棚から、顧客が商品を手に取り、元に戻した場合には、現行のPOSシステムでは把握できない。顧客の商品への関心度を把握するには、店頭での調査員やカメラによる観察か、アイトラッキングと呼ばれる機器を装着して頂き、視線の追跡を行う必要が有った。
【課題を解決するための手段】
【0017】
上記課題を解決するため、商品陳列棚にリニアイメージセンサ（以下リニアセンサと略す）を用いたカメラを設置し、商品陳列棚の前面の平面をモニターし、商品陳列棚から商品の出入りに伴う作業が発生した場合に、商品に関する情報を取得する商品陳列棚を提供する。リニアセンサを用いることで、エリアセンサを用いた通常のカメラの様に円形状のレンズを使う必要が無くなり、平担なレンズ（シリンドリカルレンズと呼ばれる）を用いたリニアセンサカメラでは、通常のカメラで見張られているというストレスから解放される。
【0018】
リニアセンサカメラの別の良い点は、静止物体は画にならないことである。即ち本提案の様に、商品陳列棚の前面の平面しか見ず、顧客の手の動きしかモニター出来ないリニアセンサカメラでは、商品陳列棚の下方にカメラがあり、上方を見上げる配置でも画は撮れず、見られているというストレスを与えない。
【0019】
従来のエリアセンサを使ったカメラシステムでは、膨大な画像情報からリアルタイムで顧客の動きを抽出し、手元の動きからどの商品を掴んだかを把握する必要があった。しかし本発明の商品陳列棚では膨大な画像情報を扱わず、演算負荷が大幅に軽くなる。また商品を手に取り元に戻す作業も把握でき、現行のPOSシステムでは出来なかった、顧客の購入意欲調査を簡単に行うことが出来る。
【0020】
商品陳列棚から商品を手に取り、店内のカゴに入れることが把握できるため、会計時の情報と照合することで万引き防止に繋がり、無人店舗化の実現も容易になる。
特徴はリニアセンサカメラを用いていることで、商品陳列棚から商品がピックアップされたり、商品が棚に戻されたり、した時だけ情報を取得することで、画像処理する情報量を大幅に削減できることである。このため簡便なシステムで無人店舗が構築できて、少子高齢化に寄与できる。
特徴はリニアセンサカメラを用いていることで、商品陳列棚から商品がピックアップされたり、商品が棚に戻されたり、した時だけ情報を取得することで、画像処理する情報量を大幅に削減できることである。このため簡便なシステムで無人店舗が構築できて、少子高齢化に寄与できる。
【発明の効果】
【0021】
本発明によれば、商品陳列棚から商品の出入りに伴う作業が発生した場合に情報を絞って処理することで、演算負荷が大幅に軽くなる。また商品を手に取り元に戻す作業も把握でき、顧客の購入意欲調査を簡単に行うことが出来る。
【0022】
商品陳列棚の前面の平面をモニターすることで死角を無くし、顧客の店内の移動ルートと組み合わせる事により万引き防止の簡便なシステムを提供でき、無人店舗化の実現も容易になる。
【図面の簡単な説明】
【0023】
【図1】本発明の第１実施形態で、リニアセンサカメラを用いた商品陳列棚の構成を示す図。
【図4】本発明の第２実施形態で、作業が発生した棚位置から商品情報を取得する構成図。
【図11】本発明の第４実施形態で、ライン記録を用いて取得した画素差分絶対値信号を基に、マスキング信号を発生させ、作業の発生するタイミングと、作業画像のみを把握する構成図。
【図14】本発明の第５実施形態で、ラインメモリを用いて画素差分絶対値信号を取得する構成図。
【図24】本発明の第７実施形態で、例えば第６の実施形態の商品陳列棚が複数個配置され、レジが配置され、複数の顧客が売り場にいる場合の、実際の売り場の説明図。
【図25】本発明の第８実施形態で、本発明の第７実施形態に加えて、店内カゴの情報を取得する方法の１例を示した店内カゴの構造の説明図。
【図26】本発明の第５実施形態で、ラインメモリとしてＣＣＤレジスタを活用した動作説明図。
【図27】本発明の第５実施形態で、ラインメモリとしてＣＭＯＳリニアセンサを活用した動作説明図。
【発明を実施するための形態】
【0024】
本発明の実施形態としては、幾つかの選択ケースが可能である。そのケースとしては、１）リニアセンサカメラを用いて商品の出入りに伴う作業をモニターする商品陳列棚のケース。２）複数のリニアセンサカメラを用いて作業が発生した棚位置を特定し、この棚位置に該当する商品情報を取得するケース。３）リニアセンサカメラで発生作業をモニターするに当たり、背景の出力を抑制するため、背景に対応する商品陳列棚の縁部に非反射板を設置するケース。４）作業が発生しない場合と、作業が発生した場合のリニアセンサのライン画素信号出力を比較し、作業の発生したタイミングと、作業画像のみを把握するケース。５）リニアセンサの隣接するライン画素信号出力を比較し、作業の発生したタイミングと、作業画像のみを把握するケース。６）複数のリニアセンサカメラを用いて作業が発生した棚位置を特定し、かつ商品画像データから商品情報を取得するケース。７）作業の発生時に取得した商品情報と、売り場を周回する顧客の情報と、該顧客のレジでの会計情報とを紐付けるケース、８）商品の出入りに伴う作業をモニターする機構を店内カゴにも付加し、この店内カゴ情報も加えて、作業の発生時に取得した商品情報と、売り場を周回する顧客の情報と、該顧客のレジでの会計情報とに紐付けるケースとがある。
【0025】
本発明の実施形態に係る商品陳列棚は、上記のように幾つかのケースが可能であるので、それぞれのケースで図面を参照しながら説明する。請求項も各ケースに該当しているが、各請求項に該当するケースと対応する図面に付いて後述する。
【0026】
以下の説明では、実施形態１のリニアセンサカメラを設置した商品陳列棚のケースを用い、本発明の個々の要素であるリニアセンサ、リニアセンサカメラ、陳列棚に配置された商品、商品の出入りに伴う作業を行う手、リニアセンサでの再生画像につき説明を行う。
以下説明内において同一部分には同一の符号及び処理名を付し、最初にその詳細な説明をし、重複する同一部分の説明は省略する。
以下説明内において同一部分には同一の符号及び処理名を付し、最初にその詳細な説明をし、重複する同一部分の説明は省略する。
【0027】
＜商品陳列棚の実施形態１＞
図１（ａ）に本発明の実施形態１に係る商品陳列棚の全体構成例を示す。商品陳列棚１は高さの異なる複数の陳列棚２、２’、２”、２”’で構成され、棚の上には商品３、３’、３”、３”’が配置されており、商品陳列棚１の前面の上縁部には、商品陳列棚１の前面部分を観察するリニアセンサカメラ４が設置されている。商品陳列棚１の前面には、商品の出入りに伴う作業を行う顧客の手５が示されている。
図１（ａ）に本発明の実施形態１に係る商品陳列棚の全体構成例を示す。商品陳列棚１は高さの異なる複数の陳列棚２、２’、２”、２”’で構成され、棚の上には商品３、３’、３”、３”’が配置されており、商品陳列棚１の前面の上縁部には、商品陳列棚１の前面部分を観察するリニアセンサカメラ４が設置されている。商品陳列棚１の前面には、商品の出入りに伴う作業を行う顧客の手５が示されている。
【0028】
図１（ｂ）には、リニアセンサカメラ４の構造を示す。リニアセンサカメラ４はカメラ筐体６の底面の基板にリニアセンサ７を配置し、カメラ筐体６の前面に装着されたレンズ８で、被写体の像をリニアセンサ７に結像する。リニアセンサ７は基板の電極配線部分（図示せず）に金属線９で電気的に結合されている。
【0029】
図１（ｃ）には、ＣＣＤリニアセンサであるリニアセンサ７の構造を示す。リニアセンサ７は半導体基板上に構成され、中央に光電変換ユニットである画素１０が、直線状に配置されており、画素列の両側にはＣＣＤレジスタ１１、１１’が配置されている。画素１０とＣＣＤレジスタ１１、１１’間には、画素にて光電変換で生じた信号電荷の、ＣＣＤレジスタ１１、１１’への転送を制御する、シフト電極１２，１２’がそれぞれ設けられている。ＣＣＤレジスタ１１、１１’への転送された信号電荷は、出力回路１３の方向に転送され、出力回路１３では信号電荷は信号電圧に変換され、電極１４より外部に画素信号出力として出力される。この電極１４が金属線９で、基板の電極配線部分（図示せず）に電気的に結合される。
【0030】
図１（ｃ）では、画素列の両側にはＣＣＤレジスタ１１、１１’が配置されているリニアセンサ７に付いて説明したが、勿論ＣＣＤレジスタが片側一本だけの構造でも良く、更にＣＣＤリニアセンサでなく、ＣＭＯＳリニアセンサであっても良い。
【0031】
図１（ａ）に示した商品陳列棚１の側面図を図２に示す。商品陳列棚１の前面の上縁部には、商品陳列棚１の前面部分を観察するリニアセンサカメラ４が設置されている。商品陳列棚１の前面には、商品の出入りに伴う作業を行う顧客の手５が示されている。リニアセンサカメラ４は画素１０が直線状に配置されているため、撮影できる範囲は、商品陳列棚１の前面の平面に限定される。
【0032】
この平面を、ｔ=Ｔ０のタイミングでリニアセンサカメラ４から延びる破線で示す。ｔ=Ｔ０のタイミングでは顧客の手５は、この平面には未だ到達していない。商品陳列棚１の商品を取ろうと、顧客の手５は近づいてくるが、ここでは説明の都度上、リニアセンサカメラ４から延びる破線に、顧客の手５のどの部位がクロスするか（リニアセンサカメラ４で撮影できる部位）を、タイミングｔ=Ｔ０、ｔ=Ｔ１、ｔ=Ｔ２、ｔ=Ｔ３、ｔ=Ｔ４で示す。
【0033】
図２では、顧客の手５のどの部位をリニアセンサカメラ４で撮影できるかを、タイミングｔ=Ｔ０、ｔ=Ｔ１、ｔ=Ｔ２、ｔ=Ｔ３、ｔ=Ｔ４で示した。それぞれのタイミングでのリニアセンサカメラ４からの画素出力信号を図３（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）に示す。ここで画素信号出力とは、図１（ｃ）のリニアセンサ７の画素列の出力であり、横軸は画素位置、縦軸は各画素位置での画素信号出力を示す。
【0034】
画素信号出力は、リニアセンサ７の全ての画素を読み出し、前後に空送りのあるリニアセンサの１ラインに相当した信号出力のことを表現し、ライン毎の同期が取れている。以降の説明で出てくる画素差分とは、このライン間で同期をとった差分であり、同じ位置にある画素間の差分を意味する。
【0035】
リニアセンサカメラ４の特徴としては、動きが無いと背景の一定した出力になり、ここでは便宜上ゼロとした（図３（ａ）参照）。動きが有ると（ここでは顧客の手５の動き）リニアセンサカメラ４の出力には変化が生じる。手の動きに対応し、ｔ=Ｔ０のタイミングのリニアセンサカメラ４から延びる破線で示される平面で撮影を行い、この平面をよぎる顧客の手５の部位に対応し、画素出力波形には変化が生じる。（図３（ｂ）、（ｃ）、（ｄ）、（ｅ）参照）。
【0036】
リニアセンサカメラ４の画素信号出力を、時系列的に並べると顧客の手５の再生画像が得られる。図３には、顧客の手５の部位に対応した画素出力波形から得られた再生画像を示す。ここで顧客の手５の動きの速度により、再生画像は伸び縮みするが、人の手の縦横比（長さと幅）はほぼ一定なので、再生画像の補正は容易に行える。また顧客５の手が商品陳列棚１の商品３を掴んで出て来ても、即ち商品陳列棚１から離れる方向に移動しても、再生画像は容易に得られ、商品の再生画像も得られ、人の手の縦横比で補正すれば、顧客の手５の動きの速度での商品外形の歪みは、手５で商品３を掴んで一緒に（同じ速度で）出てくるので、簡単に補正可能である。
【0037】
＜商品陳列棚の実施形態２＞
図４に本発明の実施形態２に係る商品陳列棚の全体構成例を示す。図１（ａ）同様に、商品陳列棚１は高さの異なる複数の陳列棚２、２’、２”、２”’より構成され、各棚の上には商品３、３’、３”、３”’が配置され、商品陳列棚１の前面には、商品の出入りに伴う作業を行う顧客の手５が示されている。
図１（ａ）と異なる点は、商品陳列棚１の前面の縁部に、商品陳列棚１の前面部分を観察するリニアセンサカメラ４が複数個設置されていることである。商品陳列棚１の前面には、商品の出入りに伴う作業を行う顧客の手５が示されている。図４では４つのリニアセンサカメラ４（カメラ１～４で示される）が、商品陳列棚１の４隅に配置された例を示している。
図４に本発明の実施形態２に係る商品陳列棚の全体構成例を示す。図１（ａ）同様に、商品陳列棚１は高さの異なる複数の陳列棚２、２’、２”、２”’より構成され、各棚の上には商品３、３’、３”、３”’が配置され、商品陳列棚１の前面には、商品の出入りに伴う作業を行う顧客の手５が示されている。
図１（ａ）と異なる点は、商品陳列棚１の前面の縁部に、商品陳列棚１の前面部分を観察するリニアセンサカメラ４が複数個設置されていることである。商品陳列棚１の前面には、商品の出入りに伴う作業を行う顧客の手５が示されている。図４では４つのリニアセンサカメラ４（カメラ１～４で示される）が、商品陳列棚１の４隅に配置された例を示している。
【0038】
図４に示される実施形態２に係る商品陳列棚１の正面図、上面図、側面図を、図５（ａ）、（ｂ）、（ｃ）にそれぞれ示す。陳列棚２、２’、２”、２”’と商品３、３’、３”、３”’、及びリニアセンサカメラ４（カメラ１～４）も、図４と同様に示される。
それぞれに、商品の出入りに伴う作業を行う顧客の手５が示されているが、図５（ａ）の破線で示されるように、カメラ１～４の（レンズの光軸方向に対応する法線方向の）向きに対して、異なる方向で顧客の手５は撮影されている。
それぞれに、商品の出入りに伴う作業を行う顧客の手５が示されているが、図５（ａ）の破線で示されるように、カメラ１～４の（レンズの光軸方向に対応する法線方向の）向きに対して、異なる方向で顧客の手５は撮影されている。
【0039】
図５（ｃ）に示した商品陳列棚１の側面図で、顧客の手５が示されている。図６で改めて示すように、商品陳列棚１の上縁部と下縁部にあるリニアセンサカメラ４で、商品陳列棚１の前面の平面をモニターおり、この平面をリニアセンサカメラ４から延びる破線で示されている。商品陳列棚１の商品を取ろうと、顧客の手５は近づいてくるが、図７（ａ）に示す、ｔ=Ｔ０のタイミングでは、破線で示される顧客の手５’はこの平面には未だ到達していない。このため、カメラ１～４の画素出力波形は出て来ない。
一方、図７（ｂ）に示す、ｔ=Ｔ１のタイミングでは、実線で示される顧客の手５の先端部はこの平面に到達する。このため、カメラ１～４の法線方向の向きと、顧客の手５の先端部との方向のズレに対応した画素位置に、顧客の手５の先端部に対応した画素出力が出現する。
一方、図７（ｂ）に示す、ｔ=Ｔ１のタイミングでは、実線で示される顧客の手５の先端部はこの平面に到達する。このため、カメラ１～４の法線方向の向きと、顧客の手５の先端部との方向のズレに対応した画素位置に、顧客の手５の先端部に対応した画素出力が出現する。
【0040】
図８（ａ）を用いて、更に具体的に説明すると、商品陳列棚１の４隅にあるリニアセンサカメラ４は、カメラ１～４で示されるように、顧客の手５の方向を向いている。顧客の手５の先端部分を見る角度はカメラ１～４で異なる。図ではカメラ１とカメラ２から見た顧客の手５の先端部分の方向が、商品陳列棚１の上面縁部とのなす角度を、それぞれθ１、θ２で示している。
【0041】
通常リニアセンサカメラ４の光軸方向に相当する法線方向から来る光は、リニアセンサ７の画素列の中央付近に集光する様に組み立てられる。このため、カメラの正面から左側にある被写体（カメラ１のケース）は画素列の前側に画素出力が出現し、カメラの正面から右側にある被写体（カメラ２のケース）では画素列の後側に出現するようになる。但しリニアセンサの向きを逆にすると前後も逆になる。
図８（ｂ）にカメラ１～４の画素信号出力波形を示すが、顧客の手５の先端部分に対応した画素出力の出現位置は、前側、後側に対応し、カメラ１ではL１、カメラ２ではＬ２と、L１<Ｌ２となる。
図８（ｂ）にカメラ１～４の画素信号出力波形を示すが、顧客の手５の先端部分に対応した画素出力の出現位置は、前側、後側に対応し、カメラ１ではL１、カメラ２ではＬ２と、L１<Ｌ２となる。
【0042】
図８（ａ）の角度θ１、θ２を決める、顧客の手５の先端部分に対応した画素出力の出現位置は、図８（ｂ）に示されるカメラ１，２のそれぞれL１、Ｌ２に対応し求まる。角度θ１、θ２から顧客の手５の先端部分の位置は、３角測量の原理でユニークに求まる。カメラ３，４を活用することにより、更に先端部分の位置精度が高まる。
【0043】
図８（ａ）に示す３角測量の原理で、ユニークに求まった顧客の手５の先端部分の位置から、商品陳列棚１の陳列棚２、２’、２”、２”’の内、どの高さの陳列棚に手を伸ばし（図では陳列棚２’）、端から何番目のどの商品を掴もうとしたか（図では３’）が判明する。
ここで、位置から商品を判明させるためには、どの高さの陳列棚２の、端から何番目の位置に、何の商品３を陳列したかを、事前（例えば商品の陳列の際）に紐付けしておく必要が有る。
ここで、位置から商品を判明させるためには、どの高さの陳列棚２の、端から何番目の位置に、何の商品３を陳列したかを、事前（例えば商品の陳列の際）に紐付けしておく必要が有る。
【0044】
図３に示したように、リニアセンサカメラ４の画素信号出力を、時系列的に並べると顧客の手５の再生画像が得られる。顧客の手５が商品陳列棚１の商品３を掴んで出て来た際に、商品３を判読することはできるが、顧客の手５での商品３の掴み方により、商品ラベルが見えず判定が困難な場合も有り、正確性を高める上で、位置と商品の紐付けが望ましい。
一方、商品の個数に付いては、再生画像で判明するが、商品３の掴み方により、本数が見えにくい場合も有り、複数個のリニアセンサカメラ４での再生画像で精度が上がる。更に精度を上げるには、各陳列棚２、又は商品陳列棚１に重量センサを配置し、重量の変化から商品３の商品名、個数を判定して精度を上げることもできる。
一方、商品の個数に付いては、再生画像で判明するが、商品３の掴み方により、本数が見えにくい場合も有り、複数個のリニアセンサカメラ４での再生画像で精度が上がる。更に精度を上げるには、各陳列棚２、又は商品陳列棚１に重量センサを配置し、重量の変化から商品３の商品名、個数を判定して精度を上げることもできる。
【0045】
＜商品陳列棚の実施形態３＞
図３の説明では、動きが無いと背景の一定した出力になり、背景を便宜上ゼロとしてきたが（図３（ａ）参照）。実際の売り場では、店内の照明光にて背景がゼロになることはなく、実際には、図９（ａ）の様なリニアセンサカメラ４の背景光の画素信号出力の波形となる。
但し背景は静止しており、顧客の手の動きを捉える短い期間では、一定パターンと考えられる。従って、図２のｔ=Ｔ０のタイミングのリニアセンサカメラ４から延びる破線で示される平面で撮影を行い、この平面をよぎる顧客の手５の部位に対応し、実際のリニアセンサカメラ４の画素出力信号としては、図９（ｂ）、（ｃ）、（ｄ）、（ｅ）に示された出力波形の様になる。
図３の説明では、動きが無いと背景の一定した出力になり、背景を便宜上ゼロとしてきたが（図３（ａ）参照）。実際の売り場では、店内の照明光にて背景がゼロになることはなく、実際には、図９（ａ）の様なリニアセンサカメラ４の背景光の画素信号出力の波形となる。
但し背景は静止しており、顧客の手の動きを捉える短い期間では、一定パターンと考えられる。従って、図２のｔ=Ｔ０のタイミングのリニアセンサカメラ４から延びる破線で示される平面で撮影を行い、この平面をよぎる顧客の手５の部位に対応し、実際のリニアセンサカメラ４の画素出力信号としては、図９（ｂ）、（ｃ）、（ｄ）、（ｅ）に示された出力波形の様になる。
【0046】
ここで注意すべきは、顧客の手５に相当した位置にある画素信号出力の大きさは、静止した背景の出力波形に重畳されるのではなく、顧客の手５により手の位置にある背景の画素信号出力が遮られ、手に対応した背景の画素信号出力はゼロになり、顧客の手５の部位に相当した画素信号出力が現れることである。このことを、図９（ｂ）、（ｃ）、（ｄ）、（ｅ）では点線を使って表現している。
【0047】
図９（ａ）の様な、リニアセンサカメラ４の背景光の画素信号出力の波形を抑制するための工夫を、図１０に、本発明の実施形態３に係る商品陳列棚として、その全体構成例を示す。図４の商品陳列棚１を例にとり、高さの異なる複数の陳列棚２、２’、２”、２”’、各棚の上には商品３、３’、３”、３”’、リニアセンサカメラ４（カメラ１～４）、顧客の手５は図４と同じである。
図４と異なる点は、カメラ１～４でモニターする商品陳列棚１の前面の平面部上にあり、かつ商品陳列棚１の前面の縁部の位置に、カメラに対向する様に非反射板１５を設置することである。図１０では、非反射板を１５とし、非反射板の裏面を１５’と表現した。
図４と異なる点は、カメラ１～４でモニターする商品陳列棚１の前面の平面部上にあり、かつ商品陳列棚１の前面の縁部の位置に、カメラに対向する様に非反射板１５を設置することである。図１０では、非反射板を１５とし、非反射板の裏面を１５’と表現した。
【0048】
図１０の商品陳列棚１では、リニアセンサカメラ４（カメラ１～４）の背景光の画素信号出力の波形としては、店内の照明光が有っても、この非反射板１５を撮影するため、顧客の手５が無い背景光は抑制でき、図３の様に、背景を便宜上ゼロとできる。この構成を、本発明の実施形態３に係る商品陳列棚１とする。
【0049】
＜商品陳列棚の実施形態４＞
図１（ａ）に示される、リニアセンサカメラ４が１台の場合である本発明の実施形態１の商品陳列棚１のケースにおいて、非反射板１５を用いなくても、背景の影響を無くす方法を図１１で説明する。
図１１はリニアセンサカメラ４の出力から信号処理して、顧客の手５に相当する箇所のみを抽出し、背景出力をゼロにする信号処理回路を示す。本方式によるリニアセンサカメラ４の信号処理方法を用いた商品陳列棚１を、本発明の実施形態４に係る商品陳列棚１とする。
図１（ａ）に示される、リニアセンサカメラ４が１台の場合である本発明の実施形態１の商品陳列棚１のケースにおいて、非反射板１５を用いなくても、背景の影響を無くす方法を図１１で説明する。
図１１はリニアセンサカメラ４の出力から信号処理して、顧客の手５に相当する箇所のみを抽出し、背景出力をゼロにする信号処理回路を示す。本方式によるリニアセンサカメラ４の信号処理方法を用いた商品陳列棚１を、本発明の実施形態４に係る商品陳列棚１とする。
【0050】
図１１に示す信号処理回路は、被写体の像をレンズ８でカメラ筐体６内のリニアセンサに結像し、得られた画素信号出力１６をリニアセンサカメラ４より出力する。出力された画素信号出力１６より、ライン差分処理部１７にて画素差分絶対値２２を得る（正確には画素差分絶対値信号出力であるが、以下の説明では信号出力は略す）。
【0051】
次にライン差分処理部１７の構成を説明する。画素信号出力１６の一部は、スイッチ回路１８を経てライン記憶部１９へ取り込まれる。ライン記憶部１９から出てくる一部の画素信号出力１６（ライン記憶部出力と称す）は、差分回路２０で画素信号出力１６との差分が取られ、絶対値回路２１を経て画素差分絶対値２２が得られる。
【0052】
ここで一部の画素信号出力１６（ライン記憶部出力）とは、図９（ａ）のｔ=Ｔ０のタイミングのリニアセンサカメラ４の背景光の画素信号出力の波形である。スイッチ回路１８では、顧客の手５の出力が出て来ない背景光の画素信号出力１６を記憶する場合に、スイッチをＯＮにし、ライン記憶部１９に取り込み、顧客の手５の出力がされている画素信号出力１６は、スイッチをＯＦＦにし、ライン記憶部１９には取り込まない。この様にして差分回路２０で、背景光の除去が出来る。
差分回路２０では、比較するライン間の画素信号出力の大小関係で、正負の出力になる。このため差分回路の出力を絶対値回路２１に入れて画素差分絶対値２２を得る。
差分回路２０では、比較するライン間の画素信号出力の大小関係で、正負の出力になる。このため差分回路の出力を絶対値回路２１に入れて画素差分絶対値２２を得る。
【0053】
ライン差分処理部１７で得られた、画素差分絶対値２２は、マスキング信号発生部２３に入力される。マスキング信号発生部２３では、顧客の手５の動きの発生しているタイミングと、それに対応した画素出力タイミングを抽出するためのマスキング信号２６を発生する回路である。
【0054】
次にマスキング信号発生部２３の構成を説明する。画素差分絶対値２２は、マスキング信号発生回路２５で閾値２４と比較され、２値化されてマスキング信号２６が得られる。マスキング信号発生部２３の出力であるマスキング信号２６は、更にマスキング回路２７にて、リニアセンサカメラ４からの出力である画素信号出力１６から、顧客の手５の動きにのみに対応した、マスキング画素出力２８を得る。
【0055】
この際にライン差分処理部１７と、マスキング信号発生部２３との演算処理時間により、顧客の手５の動きのみを画素信号出力１６から抽出するのに、不具合が生じる場合には、この演算時間に相当した時間だけ、画素信号出力１６を遅延回路２９で遅延させ、マスキング回路２７でマスキング画素出力を得れば良い。
【0056】
図１１に示すライン差分、マスキングの手法に付き、各信号波形を基に図１２を用いて説明する。顧客の手５の位置のタイミングとしては、図９（ａ）、（ｂ）、（ｄ）で示した、ｔ=Ｔ０、ｔ=Ｔ１、ｔ=Ｔ３のケースである。
まず背景画像に相当するｔ=Ｔ０のタイミングでは、図９（ａ）に示した様に、リニアセンサカメラ４の背景光の画素信号出力１６の波形が、顧客の手５の出力が無く、スイッチ回路がＯＮになっているため、ライン記憶部１９に取り込まれる。このライン記憶部出力は、図１２（ｂ）、（ｄ）に示したｔ=Ｔ０のタイミングの出力である。この波形はライン記憶部１９で記憶されているので、他のタイミングでも背景画像として出てくる。図１２（ｂ）、（ｄ）ではライン記憶部出力と表現している。
まず背景画像に相当するｔ=Ｔ０のタイミングでは、図９（ａ）に示した様に、リニアセンサカメラ４の背景光の画素信号出力１６の波形が、顧客の手５の出力が無く、スイッチ回路がＯＮになっているため、ライン記憶部１９に取り込まれる。このライン記憶部出力は、図１２（ｂ）、（ｄ）に示したｔ=Ｔ０のタイミングの出力である。この波形はライン記憶部１９で記憶されているので、他のタイミングでも背景画像として出てくる。図１２（ｂ）、（ｄ）ではライン記憶部出力と表現している。
【0057】
次に顧客の手５が図２のｔ=Ｔ１のタイミングに来ると、図９（ｂ）に示す波形になり、図１２（ｂ’）にその画素信号出力を示す。このタイミングｔ=Ｔ１で、差分回路２０では、この画素信号出力と、ｔ=Ｔ０のタイミングの図１２（ｂ）で示した背景画像に相当したライン記憶部出力との減算が行われ、絶対値回路２１を経ると、図１２（ｂ”）で示されるｔ=Ｔ１のタイミングでの画素差分絶対値２２が得られる。
ｔ=Ｔ０以降、ｔ=Ｔ１以前のタイミングで、顧客の手５が認識されない場合は、画素信号出力は図１２（ｂ）と同じ波形で、差分回路２０及び絶対値回路２１を経た画素差分絶対値２２は、ゼロのままである。
ｔ=Ｔ０以降、ｔ=Ｔ１以前のタイミングで、顧客の手５が認識されない場合は、画素信号出力は図１２（ｂ）と同じ波形で、差分回路２０及び絶対値回路２１を経た画素差分絶対値２２は、ゼロのままである。
【0058】
このタイミングｔ=Ｔ１で、画素差分絶対値２２は、マスキング信号発生部２３で、閾値２４と比べられ２値化が行われ、画素差分絶対値出力値が閾値２４を超えた場合には１、超えない場合には０が割り振られ、マスキング信号が得られる。図１２（ｂ”’）にｔ=Ｔ１のタイミングでのマスキング信号を示す。
【0059】
このマスキング信号２６が１になっている期間は、顧客の手５の動きの発生しているタイミングと、顧客の手５の位置に対応する画素出力タイミングに相当し、画素信号出力１６からマスキングすべき期間である。
即ち、マスキング信号２６が発生している（１になっている）タイミングの画素信号出力１６は、顧客の手５の動きのみを見ていることに相当し、マスキング画素出力２８として図１２（ｂ””）に示す。これは図３（ｂ）に示した、背景が無い場合のｔ=Ｔ１のタイミングでの顧客の手５の信号である。
即ち、マスキング信号２６が発生している（１になっている）タイミングの画素信号出力１６は、顧客の手５の動きのみを見ていることに相当し、マスキング画素出力２８として図１２（ｂ””）に示す。これは図３（ｂ）に示した、背景が無い場合のｔ=Ｔ１のタイミングでの顧客の手５の信号である。
【0060】
これと同様なシーケンスで、顧客の手５が図２のｔ=Ｔ３のタイミングでは図９（ｄ）と同じく、図１２（ｄ’）の様な画素信号出力になる。このタイミングｔ=Ｔ３で、差分回路２０では、この画素信号出力と、ｔ=Ｔ０のタイミングの図１２（ｄ）の背景画像に相当したライン記憶部出力との減算が行われ、絶対値回路２１を経ると、図１２（ｄ”）で示されるｔ=Ｔ３のタイミングでの画素差分絶対値２２が得られる。同様にマスキング信号は図１２（ｄ”’）に示され、マスキング画素出力２８としては図１２（ｄ””）に示され、図３（ｄ）に示した、背景が無い場合のｔ=Ｔ３のタイミングでの顧客の手５の信号である。
【0061】
以上はタイミングｔ=Ｔ０、ｔ=Ｔ１、ｔ=Ｔ３に付いて説明したが、他のタイミングも含め、図２で示すタイミングｔ=Ｔ０、ｔ=Ｔ１、ｔ=Ｔ２、ｔ=Ｔ３、ｔ=Ｔ４に対応した、図９（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）に示す画素信号出力の波形に対し、画素差分絶対値とマスキング信号がどの様になるかを、図１３（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）に示した。
【0062】
＜商品陳列棚の実施形態５＞
図１（ａ）に示される、リニアセンサカメラ４が１台の場合である本発明の実施形態１の商品陳列棚１のケースにおいて、非反射板１５を用いなくても、背景の影響を無くす別の方法を図１４で説明する。
図１４はリニアセンサカメラ４の出力から信号処理して、顧客の手５に相当する箇所のみを抽出し、背景出力をゼロにする信号処理回路を示す。本方式によるリニアセンサカメラ４の信号処理方法を用いた商品陳列棚１を、本発明の実施形態５に係る商品陳列棚１とする。
図１（ａ）に示される、リニアセンサカメラ４が１台の場合である本発明の実施形態１の商品陳列棚１のケースにおいて、非反射板１５を用いなくても、背景の影響を無くす別の方法を図１４で説明する。
図１４はリニアセンサカメラ４の出力から信号処理して、顧客の手５に相当する箇所のみを抽出し、背景出力をゼロにする信号処理回路を示す。本方式によるリニアセンサカメラ４の信号処理方法を用いた商品陳列棚１を、本発明の実施形態５に係る商品陳列棚１とする。
【0063】
図１４に示す信号処理回路は、被写体の像をレンズ８でカメラ筐体６内のリニアセンサに結像し、得られた画素信号出力１６をリニアセンサカメラ４より出力する。出力された画素信号出力１６より、ライン差分処理部１７にて画素差分絶対値２２を得る。
【0064】
図１１と異なる点はライン差分処理部１７の構成である。画素信号出力１６は、ラインメモリ３０へ取り込まれる。ラインメモリ３０から出てくる画素信号出力１６は１ライン前のライン出力であり、差分回路２０で現時点の画素信号出力１６との差分が取られ、絶対値回路２１を経て画素差分絶対値２２が得られる。１ラインに相当する時間は、リニアセンサ７のサイクルタイム（１ライン読み出しに掛かる時間）で、以降の図面ではΔｔと記す。即ち、差分回路２０では隣接ライン間の差分が取られる。
図１４のライン差分処理部１７には、ライン記憶部１９の代わりにラインメモリ３０が有るのと、図１１に有ったスイッチ回路１８が無い。
ラインメモリ３０から出てくる画素信号出力は１ライン前のライン出力であることから、ラインメモリ３０は１ラインに相当する時間分だけ、遅延させる機能を持つアナログ遅延回路の機能を有する。このためラインメモリと称したが、背景光の画素信号出力１６を１ライン出力として記憶している。ライン記憶部１９と、名称は違うが、１ライン出力を記憶することに関して機能は同じである。このことから、ラインメモリ３０をライン記憶部１９と言い換えることもできる。
図１４のライン差分処理部１７には、ライン記憶部１９の代わりにラインメモリ３０が有るのと、図１１に有ったスイッチ回路１８が無い。
ラインメモリ３０から出てくる画素信号出力は１ライン前のライン出力であることから、ラインメモリ３０は１ラインに相当する時間分だけ、遅延させる機能を持つアナログ遅延回路の機能を有する。このためラインメモリと称したが、背景光の画素信号出力１６を１ライン出力として記憶している。ライン記憶部１９と、名称は違うが、１ライン出力を記憶することに関して機能は同じである。このことから、ラインメモリ３０をライン記憶部１９と言い換えることもできる。
【0065】
勿論、ラインメモリ３０が１ライン遅延に相当するラインメモリでなくても良く、２ライン相当の遅延を生じさせ、１ライン飛ばしの差分を取っても良い。このライン遅延量は顧客の手５の出し入れの速度と、リニアセンサ７のサイクルタイムの兼ね合いで決まる。システムの簡便さからラインメモリの遅延時間は通常サイクルタイムの整数倍にするのが一般的であるが、以降は１ラインの遅延（Δｔ）に相当する隣接ライン間の差分のケースで説明する。
【0066】
図１４に示すライン差分の手法に付き、各信号波形を基に図１５を用いて説明する。顧客の手５の位置のタイミングとしては、簡素化するため、まずは背景光が無いケースである、図３（ａ）、（ｂ）、（ｄ）で示した、ｔ=Ｔ０、ｔ=Ｔ１、ｔ=Ｔ３のケースで説明する。
まずｔ=Ｔ０のタイミングでは、図１５（ａ）に示した様に、リニアセンサカメラ４の画素信号出力１６の波形には顧客の手５の出力が無い。その時にラインメモリ３０から出てくる、１ライン前（Ｔ０-Δｔ）の画素信号出力の波形も、図１５（ａ’）に示した様に顧客の手５の出力が無い。差分回路２０で両者の差分を取ってもゼロで、絶対値回路２１を経ても画素差分絶対値２２は、図１５（ａ”）の様にゼロのままである。
まずｔ=Ｔ０のタイミングでは、図１５（ａ）に示した様に、リニアセンサカメラ４の画素信号出力１６の波形には顧客の手５の出力が無い。その時にラインメモリ３０から出てくる、１ライン前（Ｔ０-Δｔ）の画素信号出力の波形も、図１５（ａ’）に示した様に顧客の手５の出力が無い。差分回路２０で両者の差分を取ってもゼロで、絶対値回路２１を経ても画素差分絶対値２２は、図１５（ａ”）の様にゼロのままである。
【0067】
次にｔ=Ｔ１のタイミングでは、図１５（ｂ）に示した様に、画素信号出力１６の波形には顧客の手５の出力が現れる。その時にラインメモリ３０から出てくる、１ライン前（Ｔ０-Δｔ）の画素信号出力の波形にも、図１５（ｂ’）に示した様に顧客の手５の出力が現れている。両者は顧客の手５の差し込み位置により微妙に波形が異なり、一般的に手の出力の輪郭部分に差が現れる。このため差分回路２０で両者の差分を取ると、この輪郭部分に微分波形の様な出力が現れる。絶対値回路２１を経ると画素差分絶対値２２は、図１５（ｂ”）の様になる。これは画素信号出力の微分波形の様な形状をしている。
【0068】
これと同様なシーケンスで、顧客の手５が図２のｔ=Ｔ３のタイミングに来ると、図１５（ｄ）に示した様に顧客の手５全体の出力が現れている。その時にラインメモリ３０から出てくる、１ライン前（Ｔ３-Δｔ）の波形も、図１５（ｄ’）に示した様に顧客の手５全体の出力で、両者は微妙に異なっている。差分回路２０で両者の差分を取ると、この場合には輪郭部分以外に、指の間の部分も微妙に出現する。絶対値回路２１を経ると画素差分絶対値２２は、図１５（ｄ”）の様になる。
【0069】
図１５では簡素化するため背景光が無いケースで説明したが、次に図９（ｂ）、（ｄ）で示した、ｔ=Ｔ１、ｔ=Ｔ３の背景光の有るケースで説明する。
ｔ=Ｔ１のタイミングでは、図１６（ｂ）に示した様に、画素信号出力１６の波形には顧客の手５の出力が現れる。その時にラインメモリ３０から出てくる、１ライン前（Ｔ０-Δｔ）の画素信号出力の波形にも、図１６（ｂ’）に示した様に顧客の手５の出力が現れ、両者は微妙に波形が異なる。このため差分回路２０で両者の差分を取ると、背景光の領域は同じなので消え、手の輪郭部分に微分波形の様な出力が現れ、絶対値回路２１を経ると画素差分絶対値２２は、図１６（ｂ”）の様になる。これは図１５（ｂ”）に示す背景光が無い場合と類似している。
ｔ=Ｔ１のタイミングでは、図１６（ｂ）に示した様に、画素信号出力１６の波形には顧客の手５の出力が現れる。その時にラインメモリ３０から出てくる、１ライン前（Ｔ０-Δｔ）の画素信号出力の波形にも、図１６（ｂ’）に示した様に顧客の手５の出力が現れ、両者は微妙に波形が異なる。このため差分回路２０で両者の差分を取ると、背景光の領域は同じなので消え、手の輪郭部分に微分波形の様な出力が現れ、絶対値回路２１を経ると画素差分絶対値２２は、図１６（ｂ”）の様になる。これは図１５（ｂ”）に示す背景光が無い場合と類似している。
【0070】
同様なシーケンスで、ｔ=Ｔ３のタイミングでは、図１６（ｄ）に示した様に手全体が現れて、ラインメモリ３０から出てくる、１ライン前（Ｔ３-Δｔ）の波形も、図１６（ｄ’）に示した様に手全体の出力で、両者は微妙に異なっている。差分回路２０で両者の差分を取ると、輪郭部分以外に、指の間の部分も微妙に出現し、画素差分絶対値２２は、図１６（ｄ”）の様になる。図１５（ｄ”）の背景光が無い場合と類似している。
【0071】
以上はタイミングｔ=Ｔ１、ｔ=Ｔ３に付いて説明したが、他のタイミングも含め、図２で示すタイミングｔ=Ｔ０、ｔ=Ｔ１、ｔ=Ｔ２、ｔ=Ｔ３、ｔ=Ｔ４に対応した、図９（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）に示す画素信号出力１６の波形に対し、画素差分絶対値２２がどの様になるかを、図１７（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）に示した。
【0072】
図１８は本発明の実施形態５に係る商品陳列棚１のリニアセンサカメラ４の出力から信号処理して、顧客の手５に相当する箇所のみ抽出し、背景出力をゼロにする信号処理回路を示す。画素差分処理部１７に付いては、図１４に関する説明で済んでいるので、マスキング信号発生部２３の説明を行う。
【0073】
画素差分処理部１７において画素差分絶対値２２は、顧客の手５の動きの発生しているタイミングと、１ライン前のタイミングの差分を取ることで得られる。マスキング信号発生部２３では、この画素差分絶対値２２を基に、顧客の手５の動きの発生しているタイミング（動きの発生時期と、発生場所に相当した画素の出力タイミングの両方の意味が有る）と、それに対応した画素出力タイミングを抽出するためのマスキング信号２６を発生する。
【0074】
次にマスキング信号発生部２３の構成を説明する。画素差分絶対値２２からは、動き輪郭端部判定部３１にて、顧客の手５の外側の輪郭部を抽出する。図１６（ｄ”）で説明した様に、差分回路２０からは、手の輪郭部分以外に、指の間の部分も出現し、画素差分絶対値２２は複雑な波形になる。
動き輪郭端部判定部３１では画素差分絶対値波形の経過を追いかけることで、顧客の手５の外側の輪郭部を抽出することが出来る。
動き輪郭端部判定部３１では画素差分絶対値波形の経過を追いかけることで、顧客の手５の外側の輪郭部を抽出することが出来る。
【0075】
その方法を説明するが、前提としては、リニアセンサカメラ４で見張る商品陳列棚１の前面の平面に、顧客の手５が侵入し抜き出るまでの間は、一連の動きとして捉えられることである。一般的に顧客の手は商品陳列棚１の商品３を掴むために、手を挿入し商品を掴んで抜き取るのを一連の動きとして行うため、この前提は成立する（陳列棚の商品を掴んだまま、陳列棚の中で止まることは無いし、手以外のもの（頭とか足とか）を挿入することは無いので）。
【0076】
顧客の手５の先端からリニアセンサカメラ４に捉えられ、徐々に手の幅に拡大して行く。図３（ｃ）に示す様に途中指の間の部分も登場するが、手の幅の内側に留まっており、手の外側の輪郭を辿って行ける。図３（ｄ）に示す様に過渡的に親指と手の隙間が生じ、新たな動体と区別が出来ないが、図３（ｅ）に示す様に連結され一体物との認識が出来る。
顧客の手５の大きさは、リニアセンサカメラ４で観察している商品陳列棚１の大きさと比べても小さいものなので、手の付近に生じた新たな動体（指先）は手に帰属するという判断基準を設ければ、手の一番外側の輪郭判定（動き輪郭端部判定）が容易になる。
顧客の手５の大きさは、リニアセンサカメラ４で観察している商品陳列棚１の大きさと比べても小さいものなので、手の付近に生じた新たな動体（指先）は手に帰属するという判断基準を設ければ、手の一番外側の輪郭判定（動き輪郭端部判定）が容易になる。
【0077】
この様に動き輪郭端部判定部３１にて得られた、顧客の手５の外側輪郭に相当する、動き輪郭端部情報３２は、マスキング信号発生回路２５で閾値３３（図１１の閾値とは異なり区別した）と比較され、マスキング信号２６が得られる。マスキング信号発生部２３の出力であるマスキング信号２６は、更にマスキング回路２７にて、リニアセンサカメラ４からの出力である画素信号出力１６から、顧客の手５の動きにのみに対応した、マスキング画素出力２８を得る。
【0078】
図１８に示す画素差分処理、マスキングの手法に付き、各信号波形を基に図１９を用い説明する。顧客の手５の位置のタイミングとしては、図９（ｂ）、（ｄ）で示した、ｔ=Ｔ１、ｔ=Ｔ３のケースであり、図１７（ｂ）、（ｄ）で示した画素信号出力、画素差分絶対値と対応する。
【0079】
顧客の手５がｔ=Ｔ１のタイミングに来ると、図１９（ｂ）に示す画素差分絶対値波形になる。この際の動き輪郭端部情報３２は図１９（ｂ’）の様になる。動き輪郭端部情報３２は一つの動体の輪郭の端部であり、２つで対になっており、対になった２つで一つの動体の領域が決まる。
動き輪郭端部情報３２はマスキング信号発生回路２５で閾値３３と比べられ、マスキング領域設定と２値化が行われる。このマスキング領域とは一つの動体の領域のことである。動き輪郭端部情報３２が閾値３３を超えてマスキングすべき領域と認識された場合には１、それ以外は０が割り振られ、マスキング信号２６が得られる。図１９（ｂ’）の動き輪郭端部情報３２を基に得られたマスキング信号２６は図１９（ｂ”’）の様になる。
動き輪郭端部情報３２はマスキング信号発生回路２５で閾値３３と比べられ、マスキング領域設定と２値化が行われる。このマスキング領域とは一つの動体の領域のことである。動き輪郭端部情報３２が閾値３３を超えてマスキングすべき領域と認識された場合には１、それ以外は０が割り振られ、マスキング信号２６が得られる。図１９（ｂ’）の動き輪郭端部情報３２を基に得られたマスキング信号２６は図１９（ｂ”’）の様になる。
【0080】
このマスキング信号２６が１になっている期間は、顧客の手５の動きの発生しているタイミングと、顧客の手５の位置に対応する画素出力タイミングに相当し、画素信号出力１６からマスキングすべき期間である。即ち、マスキング信号２６が発生している（１になっている）タイミングの画素信号出力１６は、顧客の手５の動きのみを見ていることに相当する。
図１９（ｂ”’）で示されるマスキング信号２６と画素信号出力１６よりマスキング回路２７で得られたマスキング画素出力２８を図１９（ｂ””）に示す。これは背景が無い場合の、ｔ=Ｔ１のタイミングでの画素信号出力である図３（ｂ）に相当する。
図１９（ｂ”’）で示されるマスキング信号２６と画素信号出力１６よりマスキング回路２７で得られたマスキング画素出力２８を図１９（ｂ””）に示す。これは背景が無い場合の、ｔ=Ｔ１のタイミングでの画素信号出力である図３（ｂ）に相当する。
【0081】
これと同様なシーケンスで、顧客の手５が図２のｔ=Ｔ３のタイミングでは、図１７（ｄ）と同じ図１９（ｄ）の画素差分絶対値になり、動き輪郭端部情報３２は、指の間の部分は端部ではないと判断されて削除され、図１９（ｄ’）の様になる。この際には親指とその他の指の隙間は指間とは未だ判断されず、親指は新規動体出現と判断されている。親指の付け根部分のタイミングで両者が同じ動体と判断される。図１９（ｄ’）の動き輪郭端部情報３２を基に得られたマスキング信号２６は図１９（ｄ”’）の様になる。
図１９（ｄ”’）で示されるマスキング信号２６と画素信号出力１６よりマスキング回路２７で得られたマスキング画素出力２８を図１９（ｄ””）に示す。これは背景が無い場合の、ｔ=Ｔ３のタイミングでの画素信号出力である図３（ｄ）に相当する。
図１９（ｄ”’）で示されるマスキング信号２６と画素信号出力１６よりマスキング回路２７で得られたマスキング画素出力２８を図１９（ｄ””）に示す。これは背景が無い場合の、ｔ=Ｔ３のタイミングでの画素信号出力である図３（ｄ）に相当する。
【0082】
ここで、指の間の隙間の判断は、顧客の手５の先端の指先から決まる最初の端部情報を基に、この端部より指の太さに相当した近傍に発生した新たな動体は、他の指先と定義すると一つの手として認識される。これを更に拡大して、手の幅に相当した近傍に生じた新たな動体（指先）は、手に帰属するという判断基準を設ければ、図１９（ｄ”’）で新規動体出現と判断された親指でも、新規動体出現とは判断されず、手の一番外側の輪郭判定が容易になる。これが段落番号７６で触れた判断基準である。
【0083】
以上はタイミングｔ=Ｔ１、ｔ=Ｔ３に付いて説明したが、他のタイミングも含め、図２で示すタイミングｔ=Ｔ０、ｔ=Ｔ１、ｔ=Ｔ２、ｔ=Ｔ３、ｔ=Ｔ４に対応した、図９（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）に示す画素信号出力１６の波形に対し、画素差分絶対値２２がどの様になるかは、図１７（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）に示しているが、これを基に、動き輪郭端部情報３２とマスキング信号２６がどの様になるかを、図２０（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）に示した。
【0084】
図２で示すタイミングｔ=Ｔ０、ｔ=Ｔ１、ｔ=Ｔ２、ｔ=Ｔ３、ｔ=Ｔ４に対応した図９（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）に示す画素信号出力１６の波形と、図２０（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）に示すマスキング信号２６の波形を基に、マスキング回路２７で得られたマスキング画素出力２８は、それぞれのタイミングで図２１（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）となる。図には元の画素信号出力１６の波形も入れた。
またタイミングｔ=Ｔ０、ｔ=Ｔ１、ｔ=Ｔ２、ｔ=Ｔ３、ｔ=Ｔ４は、顧客の手５の破線の部位に対応する。
またタイミングｔ=Ｔ０、ｔ=Ｔ１、ｔ=Ｔ２、ｔ=Ｔ３、ｔ=Ｔ４は、顧客の手５の破線の部位に対応する。
【0085】
段落番号８２で、手の幅に相当した近傍に生じた新たな動体（指先）は、手に帰属するという判断基準を設けたケースに付いて図２２で説明する。図２で示すタイミングｔ=Ｔ０、ｔ=Ｔ１、ｔ=Ｔ２、ｔ=Ｔ３、ｔ=Ｔ４に対応した、図９（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）に示す画素信号出力１６の波形に対し、画素差分絶対値２２がどの様になるかは、図１７（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）に示しているが、これを図２２（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）に再度示す。画素差分絶対値２２波形より動き輪郭端部判定部３１で、新規判断基準にて端部と判断された動き輪郭端部情報３２の波形としては、各タイミングで図２２（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）の左側に示される画素差分絶対値の波形で幾つかある微分波形の内、両端にある微分波形である。
【0086】
動き輪郭端部判定部３１で、新規判断基準にて得られた動き輪郭端部情報３２の波形に基づいて、マスキング信号発生回路２５で、閾値３３を超えた時点から１と判断されるマスキング信号２６としては、図２２（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）の中央に示したマスキング信号波形である。マスキング信号波形は顧客の手５の大きさに対応する。
【0087】
図２で示すタイミングｔ=Ｔ０、ｔ=Ｔ１、ｔ=Ｔ２、ｔ=Ｔ３、ｔ=Ｔ４に対応した図９（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）に示す画素信号出力１６の波形と、図２２（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）に示すマスキング信号２６の波形を基に、マスキング回路２７で得られたマスキング画素出力２８は、それぞれのタイミングで図２２（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）となる。この波形と、図２１（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）で示すマスキング画素出力２８の波形とを比較すると、タイミングｔ=Ｔ３に対応する、図２２（ｄ）、図２１（ｄ）に違いが生じている。即ち、新規判定基準で得られたマスキング信号２６の波形では、指の間は顧客の手５の一部として認識され、画像として採択されるためマスキング信号は１となる。このため、図２２（ｄ）のマスキング画素出力２８には、指の間の領域に背景画像が登場する。これが図２０（ｄ）の指の間もマスキング信号ゼロ、として得られた図２１（ｄ）に示したマスキング画素出力２８とは異なる。
【0088】
＜商品陳列棚の実施形態６＞
図１１に示される、本発明の実施形態４に係る商品陳列棚１に使用される、リニアセンサカメラ４の画像信号出力から顧客の手５に相当する箇所のみを抽出し、背景出力をゼロにする信号処理方法のカメラを複数個、商品陳列棚１の隅に配置し、商品陳列棚１の前面で商品の出入りに伴う作業を行う顧客の手５を観察する商品陳列棚１を、本発明の実施形態６に係る商品陳列棚１とする。
図１１に示される、本発明の実施形態４に係る商品陳列棚１に使用される、リニアセンサカメラ４の画像信号出力から顧客の手５に相当する箇所のみを抽出し、背景出力をゼロにする信号処理方法のカメラを複数個、商品陳列棚１の隅に配置し、商品陳列棚１の前面で商品の出入りに伴う作業を行う顧客の手５を観察する商品陳列棚１を、本発明の実施形態６に係る商品陳列棚１とする。
【0089】
図１１に示す信号処理回路を持つ４つのリニアセンサカメラ４（カメラ１～４で示される）が図２３に示されている。このリニアセンサカメラ４は、本発明の実施形態２に係る構成の商品陳列棚１の前面の縁部に、商品陳列棚１の前面部分を観察する。各リニアセンサカメラ４（カメラ１～４）から出力される画素信号出力１６は、ライン差分処理部１７とマスキング信号発生部２３、マスキング回路２７を経て、マスキング画素出力が、カメラ１～４に対応し出力される。
【0090】
図２３に示す信号処理回路で新たに追加された点として、マスキング回路２７において、マスキング信号が１か０かにより、画素信号出力１６を出す（ONと記載）か、出さない（OFFと記載）かを決める。としているが、これは今までの説明してきた波形に対応している。
ここで言うマスキングとは、一般的に使われるデータを隠す意味ではなく、データ以外を隠し、データを強調し露出させる、という意味で本明細書では使っている。本願は無駄な背景を隠して余計なデータ処理を無くし、本質的なデータ（顧客の手５、商品３）を抽出し、信号処理の簡素化が目的である。
ここで言うマスキングとは、一般的に使われるデータを隠す意味ではなく、データ以外を隠し、データを強調し露出させる、という意味で本明細書では使っている。本願は無駄な背景を隠して余計なデータ処理を無くし、本質的なデータ（顧客の手５、商品３）を抽出し、信号処理の簡素化が目的である。
【0091】
またスイッチ回路１８のスイッチの仕方があいまいな説明であったが、マスキング信号が０の時には、顧客の手５の動きが無く、背景光に対応するので、スイッチ回路はONとしてライン記憶させ、マスキング信号が１の時には、顧客の手５の動きが有り、取り込むべき顧客の手５の動きに相当するので、スイッチ回路はOFFとしてライン記憶させない。
【0092】
マスキング信号は波形として、１ラインの中にも１と０があるが、ここで言うマスキング信号が０や１と言うのは、１ラインのマスキング信号の中に、マスキング信号が常に０の場合には０と言い、マスキング信号が１になるタイミングが少しでも含まれる場合には１と言う。また背景光の変化は少ないので、定期的（例えば１０分に１回程度）に背景光のライン記憶を行えば良い。
【0093】
マスキング画素出力２８をカメラ毎（カメラ１～４）に区別するため、便宜的にマスキング画素信号１～４と称することとする。マスキング画素信号１～４からは、図８で説明した様に、３角測量の原理で、ユニークに求まった顧客の手５の先端部分の位置から、商品陳列棚１の陳列棚２、２’、２”、２”’の内、どの高さの陳列棚に手を伸ばし（図では陳列棚２’）、端から何番目のどの商品を掴もうとしたか（図では３’）が判明する。この際、位置から商品を判明させるためには、どの高さの端から何番目の位置に何の商品を陳列したかを、事前把握しておく必要が有る。これを図２３では商品位置算出部と呼んでいる。
【0094】
マスキング画素信号１～４を時系列的に並べると、カメラ１～４で見た顧客の手５の再生画像が得られる。顧客の手５が商品陳列棚１の商品３を掴んで出て来た際に、商品３を判読することはできるが、顧客の手５での商品３の掴み方により、商品ラベルが見えず判定が困難な場合も有り、正確性を高める上で、位置と商品の紐付けが望ましい。また商品の個数に付いては、再生画像で判明するが、商品３の掴み方により、本数が見えにくい場合も有り、複数個のリニアセンサカメラ４での再生画像で精度が上がる。これを図２３では商品画像処理部と呼んでいる。
【0095】
＜商品陳列棚の実施形態７＞
以上説明した本発明の実施形態に係る商品陳列棚１が複数個配置された実際の店舗において、図２４で説明する様に、その店舗が顧客の店舗内の移動ルートを監視カメラで追尾する情報を有し、顧客が会計時にレジでの売り上げ情報も有する場合には、商品陳列棚１での顧客対応のデータ、この顧客の追尾データと、この顧客の売り上げデータとを組み合わせる事により、システム精度を上げることが出来る。これは万引き等の不正の防止や、無人店舗のシステムが提供できる。
このシステムを構築する商品陳列棚１を、本発明の実施形態７に係る商品陳列棚１とする。
以上説明した本発明の実施形態に係る商品陳列棚１が複数個配置された実際の店舗において、図２４で説明する様に、その店舗が顧客の店舗内の移動ルートを監視カメラで追尾する情報を有し、顧客が会計時にレジでの売り上げ情報も有する場合には、商品陳列棚１での顧客対応のデータ、この顧客の追尾データと、この顧客の売り上げデータとを組み合わせる事により、システム精度を上げることが出来る。これは万引き等の不正の防止や、無人店舗のシステムが提供できる。
このシステムを構築する商品陳列棚１を、本発明の実施形態７に係る商品陳列棚１とする。
【0096】
図２４に示す店舗では、本発明の実施形態２の図５（ｂ）に示す上面図の商品陳列棚１が、背中合わせに２台配置されたセット（例えば（１，１）と（２，１））の６セット（３セット×２列）が配置されている。
顧客Ｅは、店内に設置された監視カメラ（図示せず）で、移動ルートが時刻付きで把握されている。他の顧客Ａ，Ｂ，Ｃ，Ｄはそれぞれ（１，３）、（２，１）、（３，２）、（４，１）の商品陳列棚１で商品に対する作業をしている。顧客Ｅの移動ルートを図２４のフリーハンド破線で示す。ここでは（１，２）と（２，３）の商品陳列棚１に立ち寄って、レジの位置まで来たことが分かる。
顧客Ｅは、店内に設置された監視カメラ（図示せず）で、移動ルートが時刻付きで把握されている。他の顧客Ａ，Ｂ，Ｃ，Ｄはそれぞれ（１，３）、（２，１）、（３，２）、（４，１）の商品陳列棚１で商品に対する作業をしている。顧客Ｅの移動ルートを図２４のフリーハンド破線で示す。ここでは（１，２）と（２，３）の商品陳列棚１に立ち寄って、レジの位置まで来たことが分かる。
【0097】
図２４の店舗では、商品陳列棚１での顧客対応のデータ、顧客の位置追尾データと、顧客の売り上げデータが取得されるが、ここで重要な事は、これらのデータを時刻で同期を取ることである。即ち、本発明の商品陳列棚１で取得した顧客のデータは、何時に、どの棚位置のどの様な商品を何個取ったか、その内何個を戻したか、と言った商品陳列棚１で行われるローカルな情報に過ぎない。しかし時刻が有ることにより、顧客の紐付けが出来て、その顧客はどの様な移動ルートで商品陳列棚まで来たか、該当する顧客のレジでの売り上げデータは幾らであったか、を組み合わせる事により、システム精度を上げることが出来る。これは万引き等の不正の防止や、無人店舗のシステムが提供できる。
【0098】
＜商品陳列棚の実施形態８＞
本発明の実施形態に係る商品陳列棚１が複数個配置された実際の店舗において、図２４で説明した様に、システム精度を上げて、万引き等の不正の防止や、無人店舗のシステムが提供できる。
更にシステムの精度を上げるため、店内カゴの商品の出入りをセンシングして得られた商品に対応した情報を追加する。この情報を店内カゴデータと呼ぶ。
この店内カゴデータの取得方法としては、通常のエリアセンサのカメラを店内カゴに設け、画像処理で商品に対応した店内カゴデータを取得しても良い。この店内カゴデータを、商品陳列棚１での顧客対応のデータ、この顧客の追尾データ、この顧客の売り上げデータと、組み合わせる事により、システム精度を更に上げることが出来る。店内カゴデータを中心にすれば、顧客の追尾データは必ずしも必要ではない。これは万引き等の不正の防止や、無人店舗のシステムが提供できる。このシステムを構築する商品陳列棚１を、本発明の実施形態８に係る商品陳列棚１とする。
本発明の実施形態に係る商品陳列棚１が複数個配置された実際の店舗において、図２４で説明した様に、システム精度を上げて、万引き等の不正の防止や、無人店舗のシステムが提供できる。
更にシステムの精度を上げるため、店内カゴの商品の出入りをセンシングして得られた商品に対応した情報を追加する。この情報を店内カゴデータと呼ぶ。
この店内カゴデータの取得方法としては、通常のエリアセンサのカメラを店内カゴに設け、画像処理で商品に対応した店内カゴデータを取得しても良い。この店内カゴデータを、商品陳列棚１での顧客対応のデータ、この顧客の追尾データ、この顧客の売り上げデータと、組み合わせる事により、システム精度を更に上げることが出来る。店内カゴデータを中心にすれば、顧客の追尾データは必ずしも必要ではない。これは万引き等の不正の防止や、無人店舗のシステムが提供できる。このシステムを構築する商品陳列棚１を、本発明の実施形態８に係る商品陳列棚１とする。
【0099】
この店内カゴデータの取得方法としては、商品陳列棚１に付与したセンシング手段を活用しても良い。具体的には商品の出し入れを行う店内カゴの上面の縁部に、リニアセンサを用いたカメラを設置し、店内カゴの上面の平面をモニターし、商品の出入りをセンシングして得られた商品に対応した情報を追加する。
【0100】
図２５に示される実施形態８に係る商品陳列棚１とセットで使用される店内カゴ３４の正面図、上面図、側面図を、図２５（ａ）、（ｂ）、（ｃ）にそれぞれ示す。店内カゴ３４は通常の店舗で使用されるカゴで、その上縁部にはリニアセンサカメラ４（カメラ４（カゴ）と記す）が設置されている。店内カゴ３４内には商品３が入っており、商品３の出入の作業を行う顧客の手５が上方にある。図２５（ｄ）は商品３を手にした顧客の手５を示しており、リニアセンサカメラ４の画素信号出力を、時系列的に並べると顧客の手５と商品３の再生画像が得られ、どの商品を何個入れたかが分かが、これは商品陳列棚１のリニアセンサカメラ４の動作原理と同じである。
【0101】
図２５（ｃ）に示した商品陳列棚１の側面図で、顧客の手５が示されている。図２５（ａ）、（ｂ）、（ｃ）に示しているが、店内カゴ３４の上縁部にあるリニアセンサカメラ４は店内カゴ３４の入り口の平面を、リニアセンサカメラ４から延びる破線の様にモニターしている。店内カゴ３４のリニアセンサカメラ４は位置を特定する訳ではないので１台で良く、手による死角を避けるため２台設けても良い。
【0102】
店内カゴ３４のリニアセンサカメラ４で得られた店内カゴデータは、店内カゴの中にある商品と対応しており、前述したように、商品陳列棚１での顧客対応のデータ、この顧客の追尾データ、この顧客の売り上げデータと、組み合わせる事により、システム精度を更に上げることが出来る。これは万引き等の不正の防止や、無人店舗のシステムが提供できる。
【0103】
＜他の変形例１＞
本発明は幾つかのケースに付き説明してきたが、更に細かな変形は可能である。例えば図１４に示す信号処理回路では、リニアセンサカメラ４より出力された画素信号出力１６は、ラインメモリ３０を使って、１ライン前のライン出力とのライン差分を行っていたが、ラインメモリ３０を用いなくても図１（ｃ）に示すリニアセンサの構造で、ＣＣＤレジスタ１１をラインメモリ３０の代替として使用することが出来る。
本発明は幾つかのケースに付き説明してきたが、更に細かな変形は可能である。例えば図１４に示す信号処理回路では、リニアセンサカメラ４より出力された画素信号出力１６は、ラインメモリ３０を使って、１ライン前のライン出力とのライン差分を行っていたが、ラインメモリ３０を用いなくても図１（ｃ）に示すリニアセンサの構造で、ＣＣＤレジスタ１１をラインメモリ３０の代替として使用することが出来る。
【0104】
次にこの方法に付き説明する。図１（ｃ）で偶数番目の画素１０で光電変換され蓄積された電荷は、シフト電極１２が開くとＣＣＤレジスタ１１に転送され、ＣＣＤレジスタ１１を出力回路１３方向に転送され、出力回路１３で信号電圧に変換され外部に出力される。同様にして、奇数番目の画素１０で光電変換され蓄積された電荷は、シフト電極１２’が開くとＣＣＤレジスタ１１’に転送され、ＣＣＤレジスタ１１’を出力回路１３方向に転送され、出力回路１３で信号電圧に変換され同様に外部に出力される。通常のリニアセンサ７では、ＣＣＤレジスタ１１、１１’は交互に画素出力を排出し、画素１０の配列に従って出力される。
【0105】
ＣＣＤレジスタ１１’に転送された奇数番目の画素１０の信号電荷をＣＣＤレジスタ１１’のみ停止し、ラインメモリとして使う。ＣＣＤレジスタ１１に転送された偶数番目の画素１０の信号電荷をＣＣＤレジスタ１１は駆動し出力回路より捨て去る。次のライン期間で、シフト電極１２’は開けずにＣＣＤレジスタ１１’への画素からの電荷転送を行わず、シフト電極１２のみ開け偶数番目の画素１０の信号電荷をＣＣＤレジスタ１１へ転送する。この後、ＣＣＤレジスタ１１、１１’を駆動すると、ＣＣＤレジスタ１１、１１’より偶数番目、奇数番目の画素出力が交互に出てくるが、奇数番目の画素は１ライン前の画素出力であり、偶数番目の画素出力は現在のラインの画素出力である。
【0106】
奇数番目、偶数番目の画素出力が交互に出てくるので、両者の差分を取るとライン差分が簡単に求まる。厳密には同じ位置の画素比較ではないが、隣接位置にある画素出力の比較なので、ライン差分と考えて問題ない。
またシフト電極１２’、１２は開けないことが定期的に発生するため、ダミー画素信号として出力回路より捨て去ることが必要になり、連続してライン差分を取ることは出来ないが、本発明の応用では、手の動きはリニアセンサ７の動作サイクルに比べたらゆっくりした動きなので、実用上問題ない。
またシフト電極１２’、１２は開けないことが定期的に発生するため、ダミー画素信号として出力回路より捨て去ることが必要になり、連続してライン差分を取ることは出来ないが、本発明の応用では、手の動きはリニアセンサ７の動作サイクルに比べたらゆっくりした動きなので、実用上問題ない。
【0107】
＜他の変形例２＞
図２６（ａ）、（ｂ）を用いて別の方法に付き説明する。まず図２６（ａ）で、光電変換され蓄積された電荷は、シフト電極１２’が開くとＣＣＤレジスタ１１’に、全ての画素１０から転送される。この際に、シフト電極１２は開かないので、ＣＣＤレジスタ１１へは転送されない。転送された電荷はＣＣＤレジスタ１１’で１ラインに相当する期間は停止する。次に図２６（ｂ）で、この１ラインの期間内に、光電変換され蓄積された電荷は、シフト電極１２が開くとＣＣＤレジスタ１１に、全ての画素１０から転送される。この際に、シフト電極１２’は開かないので、ＣＣＤレジスタ１１’へは転送されない。
図２６（ａ）、（ｂ）を用いて別の方法に付き説明する。まず図２６（ａ）で、光電変換され蓄積された電荷は、シフト電極１２’が開くとＣＣＤレジスタ１１’に、全ての画素１０から転送される。この際に、シフト電極１２は開かないので、ＣＣＤレジスタ１１へは転送されない。転送された電荷はＣＣＤレジスタ１１’で１ラインに相当する期間は停止する。次に図２６（ｂ）で、この１ラインの期間内に、光電変換され蓄積された電荷は、シフト電極１２が開くとＣＣＤレジスタ１１に、全ての画素１０から転送される。この際に、シフト電極１２’は開かないので、ＣＣＤレジスタ１１’へは転送されない。
【0108】
次にそれぞれのＣＣＤレジスタ１１、１１’内の、全ての画素１０に対応した電荷は出力回路１３方向に転送され、出力回路１３で信号電圧に変換され外部に出力される。ＣＣＤレジスタ１１、１１’は交互に画素出力を排出し、画素１０の配列に従って出力される。ここで、図１（ｃ）の駆動と異なるのは、画素１０の画素出力は１ライン前の信号と現在の信号が同じ画素位置に対応し出力されることである。
勿論この場合は、ＣＣＤレジスタ１１、１１’には全ての画素を転送できるだけの転送段数が必要になるが、隣接する２画素をＣＣＤレジスタ１１、１１’で合体するモードにすれば、図１（ｃ）のＣＣＤレジスタ１１、１１’の転送段数で済む。
勿論この場合は、ＣＣＤレジスタ１１、１１’には全ての画素を転送できるだけの転送段数が必要になるが、隣接する２画素をＣＣＤレジスタ１１、１１’で合体するモードにすれば、図１（ｃ）のＣＣＤレジスタ１１、１１’の転送段数で済む。
【0109】
１ライン期間だけ光電変換のタイミングの異なる２ラインの全画素出力が交互に出てくるので、両者の差分を取るとライン差分が簡単に求まる。全画素読み出しなので、厳密に同じ位置の画素比較であり、ライン差分である。ＣＣＤレジスタの片側（２つの例では共にＣＣＤレジスタ１１’）で１ラインの遅延を行うので、ＣＣＤレジスタ１１’は図１４や図１８に示したラインメモリ３０と考えられる。請求項でラインメモリと称するのは、このＣＣＤレジスタも含むものとする。
ＣＣＤレジスタ１１に転送された全ての画素１０の信号電荷を１ラインの期間停止するので、ＣＣＤレジスタ１１はラインメモリとして使う。全ての画素１０は毎回読み出されているので、ダミー画素として捨てる必要が無いため、連続してライン差分を取ることが出来る。
ＣＣＤレジスタ１１に転送された全ての画素１０の信号電荷を１ラインの期間停止するので、ＣＣＤレジスタ１１はラインメモリとして使う。全ての画素１０は毎回読み出されているので、ダミー画素として捨てる必要が無いため、連続してライン差分を取ることが出来る。
【0110】
＜他の変形例３＞
変形例１，２では、ラインメモリ３０を用いずに、リニアセンサ７をＣＣＤタイプのセンサを用いることで、ＣＣＤレジスタ１１をラインメモリ３０の代替として使用することが出来ることを説明した。
本発明は、リニアセンサ７をＣＭＯＳタイプのセンサを用いた、ＣＭＯＳリニアセンサをラインメモリ３０の代替として使用することも出来、次にそれを説明する。
変形例１，２では、ラインメモリ３０を用いずに、リニアセンサ７をＣＣＤタイプのセンサを用いることで、ＣＣＤレジスタ１１をラインメモリ３０の代替として使用することが出来ることを説明した。
本発明は、リニアセンサ７をＣＭＯＳタイプのセンサを用いた、ＣＭＯＳリニアセンサをラインメモリ３０の代替として使用することも出来、次にそれを説明する。
【0111】
まず図２７でＣＭＯＳリニアセンサの構造を説明する。直線的に並んだ画素１０に沿ってＣＭＯＳシフトレジスタ３５が配置されており、画素１０の信号電荷は各画素に繋がったスイッチングゲート３６を順次開くことで、信号線３７に連結されていく。信号線３７の端部には出力回路３８があり、画素の信号電荷を信号電圧の形で外部に出力させる。各画素の光電変換時間と出力されるタイミングは画素に付随したスイッチングゲート３６の開閉で決まり、これはＣＭＯＳシフトレジスタ３５で制御される。
【0112】
次に図２７のＣＭＯＳリニアセンサでラインメモリ３０の代替動作を行う方法に付き説明する。ポイントは画素列１０の奇数画素と偶数画素で露光時間を２倍変えることである。便宜的に奇数画素では２ラインに相当した光電変換（偶数画素より１ライン早く光電変換を開始する）を行い、偶数画素では１ラインに相当した光電変換を行う。奇数画素と偶数画素は順次信号線３７を経由して出力回路３８から出てくるが、隣接する奇数画素から偶数画素の引き算を行うと、残りは１ライン前の奇数画素の出力である。ここで同一ラインの隣接しあう奇数画素と偶数画素の出力は同じとした。即ち図１（ｃ）で示した段落番号１０４、１０５で説明した奇数画素は１ライン前の画素出力と同じ状態になる。
【0113】
隣接する奇数画素から偶数画素の引き算を行い得られた１ライン前の奇数画素の出力は、図１４のラインメモリ３０を経た出力と同じになる。今のラインの画素出力である偶数画素の出力と差分を取ることでライン差分が得られる。奇数画素と偶数画素のスイッチングゲート３６の制御はＣＭＯＳシフトレジスタ３５でどの様なパルスを生み出すかを制御すれば良い。この様にして、ＣＭＯＳリニアセンサでもラインメモリ３０の代替が出来る。請求項でラインメモリと称するのは、このＣＭＯＳリニアセンサも含むものとする。
【0114】
＜他の変形例４＞
本発明の商品陳列棚に使用されるリニアセンサカメラでの観察アイテムは、商品陳列棚の前面の平面で、商品の出入りの作業をする顧客の手５の動きを見ているに過ぎない。この動きはしょっちゅう発生する事象でなく、顧客が商品を手に取るタイミングでしか発生しない。従って店内の監視カメラの動作と異なり、発生間隔は１～１０分程度である。従って常にリニアセンサカメラを駆動させる必要が無い。また商品陳列棚に複数のリニアセンサカメラで見張っている場合には、普段は１台だけ稼働させ、商品を手にしそうになったら他のカメラを駆動させれば良い。
本発明の商品陳列棚に使用されるリニアセンサカメラでの観察アイテムは、商品陳列棚の前面の平面で、商品の出入りの作業をする顧客の手５の動きを見ているに過ぎない。この動きはしょっちゅう発生する事象でなく、顧客が商品を手に取るタイミングでしか発生しない。従って店内の監視カメラの動作と異なり、発生間隔は１～１０分程度である。従って常にリニアセンサカメラを駆動させる必要が無い。また商品陳列棚に複数のリニアセンサカメラで見張っている場合には、普段は１台だけ稼働させ、商品を手にしそうになったら他のカメラを駆動させれば良い。
【0115】
また図２４に示す様に顧客の移動ルートを把握している場合には、商品陳列棚に近づくか、商品に手を伸ばした時にリニアセンサカメラの駆動を始め、他の時は非動作で省エネをしても良い。店内のこのような省エネの工夫は通常に行われるものであり、請求項には触れない。
【0116】
＜請求項と実施形態と対応する図面の関連性＞
請求項１‥本発明の第１実施形態で、図１に対応する。
請求項２‥本発明の第１実施形態で、図２、３に対応する。
請求項３‥本発明の第１実施形態で、図２、３に対応する。
請求項４‥本発明の第２実施形態で、図４～８に対応する。
請求項５‥本発明の第３実施形態で、図９、１０に対応する。
請求項６‥本発明の第４実施形態で、図１１、１２、１４、１８に対応する。
請求項７‥本発明の第４実施形態で、図１１、１２に対応する。
請求項８‥本発明の第４実施形態で、図１１～１３に対応する。
請求項９‥本発明の第５実施形態で、図１４～１７、２６，２７に対応する。
請求項１０‥本発明の第５実施形態で、図１８～２２に対応する。
請求項１１‥本発明の第６実施形態で、図２３に対応する。
請求項１２‥本発明の第６実施形態で、図２３に対応する。
請求項１３‥本発明の第７実施形態で、図２４に対応する。
請求項１４‥本発明の第８実施形態で、図２５に対応する。
請求項１‥本発明の第１実施形態で、図１に対応する。
請求項２‥本発明の第１実施形態で、図２、３に対応する。
請求項３‥本発明の第１実施形態で、図２、３に対応する。
請求項４‥本発明の第２実施形態で、図４～８に対応する。
請求項５‥本発明の第３実施形態で、図９、１０に対応する。
請求項６‥本発明の第４実施形態で、図１１、１２、１４、１８に対応する。
請求項７‥本発明の第４実施形態で、図１１、１２に対応する。
請求項８‥本発明の第４実施形態で、図１１～１３に対応する。
請求項９‥本発明の第５実施形態で、図１４～１７、２６，２７に対応する。
請求項１０‥本発明の第５実施形態で、図１８～２２に対応する。
請求項１１‥本発明の第６実施形態で、図２３に対応する。
請求項１２‥本発明の第６実施形態で、図２３に対応する。
請求項１３‥本発明の第７実施形態で、図２４に対応する。
請求項１４‥本発明の第８実施形態で、図２５に対応する。
【符号の説明】
【0117】
１ 商品陳列棚
２、２’、２”、２”’ 陳列棚
３、３’、３”、３”’ 商品
４ リニアセンサカメラ
５ 顧客の手
６ カメラ筐体
７ リニアセンサ
８ レンズ
９ 金属線
１０ 画素
１１、１１’ ＣＣＤレジスタ
１２、１２’ シフト電極
１３ 出力回路
１４ 電極
１５、１５’ 非反射板
１６ 画素信号出力
１７ ライン差分処理部
１８ スイッチ回路
１９ ライン記憶部
２０ 差分回路
２１ 絶対値回路
２２ 画素差分絶対値
２３ マスキング信号発生部
２４ 閾値
２５ マスキング信号発生回路
２６ マスキング信号
２７ マスキング回路
２８ マスキング画素出力
２９ 遅延回路
３０ ラインメモリ
３１ 動き輪郭端部判定部
３２ 動き輪郭端部情報
３３ 閾値
３４ 店内カゴ
３５ ＣＭＯＳシフトレジスタ
３６ スイッチングゲート
３７ 信号線
３８ 出力回路
２、２’、２”、２”’ 陳列棚
３、３’、３”、３”’ 商品
４ リニアセンサカメラ
５ 顧客の手
６ カメラ筐体
７ リニアセンサ
８ レンズ
９ 金属線
１０ 画素
１１、１１’ ＣＣＤレジスタ
１２、１２’ シフト電極
１３ 出力回路
１４ 電極
１５、１５’ 非反射板
１６ 画素信号出力
１７ ライン差分処理部
１８ スイッチ回路
１９ ライン記憶部
２０ 差分回路
２１ 絶対値回路
２２ 画素差分絶対値
２３ マスキング信号発生部
２４ 閾値
２５ マスキング信号発生回路
２６ マスキング信号
２７ マスキング回路
２８ マスキング画素出力
２９ 遅延回路
３０ ラインメモリ
３１ 動き輪郭端部判定部
３２ 動き輪郭端部情報
３３ 閾値
３４ 店内カゴ
３５ ＣＭＯＳシフトレジスタ
３６ スイッチングゲート
３７ 信号線
３８ 出力回路
【要約】
【課題】
多数のカメラを用いた膨大な画像情報を処理して、顧客の消費行動、不正行動を観察や、店舗の無人化を図るのではなく、簡便な処理で消費行動、不正防止、無人店舗化を実現する商品陳列棚を提供する。
【解決手段】
商品陳列棚にリニアセンサを用いたカメラを設置し、商品陳列棚の前面の平面をモニターし、商品陳列棚から商品の出入りに伴う作業が発生した場合に、商品の出入りに伴う作業の発生している領域の画像のみを出力することで、商品のピックアップに伴う情報を大幅に削減し、無人店舗化を実現する商品陳列棚を提供する。
【選択図】 図１１
多数のカメラを用いた膨大な画像情報を処理して、顧客の消費行動、不正行動を観察や、店舗の無人化を図るのではなく、簡便な処理で消費行動、不正防止、無人店舗化を実現する商品陳列棚を提供する。
【解決手段】
商品陳列棚にリニアセンサを用いたカメラを設置し、商品陳列棚の前面の平面をモニターし、商品陳列棚から商品の出入りに伴う作業が発生した場合に、商品の出入りに伴う作業の発生している領域の画像のみを出力することで、商品のピックアップに伴う情報を大幅に削減し、無人店舗化を実現する商品陳列棚を提供する。
【選択図】 図１１
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】