(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-02-10
(45)【発行日】2023-02-20
(54)【発明の名称】情報処理システム
(51)【国際特許分類】
G07G 1/00 20060101AFI20230213BHJP
【ＦＩ】
G07G1/00 311D
【請求項の数】
13
(21)【出願番号】P 2021565702
(86)(22)【出願日】2020-12-21
(86)【国際出願番号】 JP2020047765
(87)【国際公開番号】W WO2021125357
(87)【国際公開日】2021-06-24
【審査請求日】2022-01-11
(31)【優先権主張番号】P 2019229737
(32)【優先日】2019-12-19
(33)【優先権主張国・地域又は機関】JP
【早期審査対象出願】
【前置審査】
(73)【特許権者】
【識別番号】519454110
【氏名又は名称】株式会社ＴＯＵＣＨ ＴＯ ＧＯ
(74)【代理人】
【識別番号】100126000
【弁理士】
【氏名又は名称】岩池 満
(74)【代理人】
【識別番号】100154748
【弁理士】
【氏名又は名称】菅沼 和弘
(72)【発明者】
【氏名】阿久津 智紀
(72)【発明者】
【氏名】波川 敏也
(72)【発明者】
【氏名】川端 英揮
【審査官】永安 真
(56)【参考文献】
【文献】特開２０１７－１５７２１６（ＪＰ，Ａ）
【文献】特開２０１９－２０８６２７（ＪＰ，Ａ）
【文献】国際公開第２０１８／１１７９５５（ＷＯ，Ａ１）
【文献】特開２００３－１８７０２６（ＪＰ，Ａ）
【文献】特開２０１２－１０４０６２（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０７Ｇ １／００ － １／１４
(57)【特許請求の範囲】
【請求項1】
店舗内に入店した客が移動して商品を購入する際に利用される情報処理システムにおいて、前記店舗内の人又は当該人と共に移動する物体を移動物体として、当該移動物体を追跡する移動物体追跡手段と、
前記店舗内の前記人は、前記客と店員のうち何れなのかを識別する識別手段と、
重量センサーを用いる所定の手法で、前記店舗内の棚に配置された１以上の商品に対して、変化が生じた商品及び商品の個数の双方を特定する商品特定手段と、
前記識別手段により前記店舗内の前記人は前記客であると識別された場合、特定された前記商品と、所定の位置関係にある前記移動物体とを紐づけ、その紐づけが失われた場合、所定の情報を出力する紐づけ手段と、
を備える情報処理システム。
【請求項2】
前記識別手段により前記店舗内の前記人は前記客であると識別された場合、特定された前記商品の情報から確定された精算金額を提示する提示手段、をさらに備える請求項１に記載の情報処理システム。
【請求項3】
前記識別手段により前記店舗内の前記人は前記客であると識別された場合、前記移動物体に対する精算として、前記移動物体と紐づけされた前記商品に関する精算の処理を行う精算手段、をさらに備える請求項１又は２に記載の情報処理システム。
【請求項4】
前記移動物体に関する情報を取得する取得手段、をさらに備える請求項１乃至３のうちいずれか１項に記載の情報処理システム。
【請求項5】
前記移動物体追跡手段は、追跡対象の前記移動物体と紐づく前記商品が、当該移動物体とは異なる人に対して受け渡された場合、その旨を認識して、当該移動物体とは異なる当該人を新たな移動物体として特定して、当該新たな移動物体を追跡対象とし、前記紐づけ手段は、前記識別手段により前記異なる人は前記客であると識別された場合、受け渡された前記商品と、前記新たな移動物体とを紐づける、
請求項１乃至４のうちいずれか１項に記載の情報処理システム。
【請求項6】
前記商品が売買制限商品であって、前記客が売買制限の対象の可能性がある場合、所定のエラー状態である旨を提示する第１エラー提示手段をさらに備える、請求項１乃至５のうちいずれか１項に記載の情報処理システム。
【請求項7】
前記紐づけ手段は、さらに、前記識別手段により前記店舗内の前記人は前記客であると識別された場合、前記商品特定手段による前記商品及び商品の個数の双方の特定の試みに失敗した前記商品を、前記移動物体と紐づけ、前記商品特定手段による前記商品及び商品の個数の双方の特定の試みが失敗した場合、所定のエラー状態である旨を提示する第２エラー提示手段をさらに備える
請求項１乃至６のうちいずれか１項に記載の情報処理システム。
【請求項8】
前記棚の前記商品の在庫数が所定要件を満たした場合には、その旨を通知する補充通知手段を備え、前記店舗の全体の前記商品の在庫数が所定要件を満たした場合に、自動発注の実行を制御する在庫補充手段、
をさらに備える、
請求項１に記載の情報処理システム。
【請求項9】
前記人の属性を推定する属性推定手段、をさらに備える、
請求項１乃至８のうちいずれか１項に記載の情報処理システム。
【請求項10】
前記移動物体追跡手段は、さらに、追跡している際の前記移動物体の移動の経路を示す履歴情報を登録する、請求項１乃至９のうちいずれか１項に記載の情報処理システム。
【請求項11】
前記客は、店舗の中で前記商品を購入するために移動し、前記店舗の中の人数によって、新たな客の入店の許可又は禁止を制御する入店制御手段、
をさらに備える、
請求項１乃至１０のうちいずれか１項に記載の情報処理システム。
【請求項12】
前記入店制御手段の制御により前記新たな客の入店が禁止されている際に、その旨を報知する入店制御報知手段、をさらに備える
請求項１１に記載の情報処理システム。
【請求項13】
前記提示手段は、さらに、複数の前記移動物体のうち、前記識別手段により前記店舗内の前記人は前記客であると識別されたという条件を含む所定条件を満たす１以上の前記移動物体の夫々と紐付けされた前記商品の情報から確定された精算金額を提示する、
請求項２に記載の情報処理システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理システムに関する。
【背景技術】
【0002】
従来より、コンビニエンスストア、スーパーマーケットやショッピングセンター、各種の量販店等の商店では、購入者が商品棚から商品を取り、ショッピングカートや買い物カゴに入れて商店の出口付近に設けられたレジまで運び、セルフキャッシュレジスターにより商品の代金の精算を行っている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２００１－７６２６１号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、レジでショッピングカートや買い物カゴに入っている商品を精算する場合には、セルフレジであっても商品の夫々のバーコードの読み取りが発生してしまうため、レジ待ちの列を解消することはできず、購入者は長時間レジ待ちをすることになる。
また、購入者が商店で購入したい商品を購入するときに、他にも多数の購入者がいる場合には、購入者は買い物を諦めてしまう場合が存在する。
したがって、上記のような事情を考慮すると、購入者が商店に陳列されている商品を購入する際に、商品の代金の精算の自動化及び商品の代金の精算にかかる時間の短縮を図ることができるシステムが要求されている。
さらにまた、従来の店舗では買い物客やレジ担当者による万引き等の不正も問題となっており、このような不正防止が可能になるシステムも要求されている。
また、購入者が商店で購入したい商品を購入するときに、他にも多数の購入者がいる場合には、購入者は買い物を諦めてしまう場合が存在する。
したがって、上記のような事情を考慮すると、購入者が商店に陳列されている商品を購入する際に、商品の代金の精算の自動化及び商品の代金の精算にかかる時間の短縮を図ることができるシステムが要求されている。
さらにまた、従来の店舗では買い物客やレジ担当者による万引き等の不正も問題となっており、このような不正防止が可能になるシステムも要求されている。
【0005】
本発明は、このような状況に鑑みてなされたものであり、
購入者が商店に陳列されている商品を購入する際に、商品の代金の精算の自動化、商品の代金の精算にかかる時間の短縮及び購入者やレジ担当者による不正防止を図ることを目的とする。
購入者が商店に陳列されている商品を購入する際に、商品の代金の精算の自動化、商品の代金の精算にかかる時間の短縮及び購入者やレジ担当者による不正防止を図ることを目的とする。
【課題を解決するための手段】
【0006】
上記目的を達成するため、本発明の一態様の情報処理システムは、
人が移動して商品を購入する際に利用される情報処理システムにおいて、
前記人又は当該人と共に移動する物体を移動物体として、当該移動物体を追跡する移動物体追跡手段と、
重量センサー、及びカメラのうち少なくとも一方を用いる所定の手法で、商品を特定する商品特定手段と、
特定された前記商品と、所定の位置関係にある前記移動物体とを紐づける紐づけ手段と、
を備える。
人が移動して商品を購入する際に利用される情報処理システムにおいて、
前記人又は当該人と共に移動する物体を移動物体として、当該移動物体を追跡する移動物体追跡手段と、
重量センサー、及びカメラのうち少なくとも一方を用いる所定の手法で、商品を特定する商品特定手段と、
特定された前記商品と、所定の位置関係にある前記移動物体とを紐づける紐づけ手段と、
を備える。
【発明の効果】
【0007】
本発明によれば、購入者が商店に陳列されている商品を購入する際に、商品の代金の精算の自動化、商品の代金の精算にかかる時間の短縮及び購入者やレジ担当者による不正防止を図ることができる。
【図面の簡単な説明】
【0008】
【図1】本発明の一実施形態に係る情報処理システムの要点を示した図である。
【図5】本発明の情報処理システムの第１の実施形態に係る構成のうち、サーバのハードウェア構成を示すブロック図である。
【図6】本発明の情報処理システムの第１の実施形態に係る構成のうち、売場装置のハードウェア構成を示すブロック図である。
【図7】本発明の情報処理システムの第１の実施形態に係る構成のうち、精算ゲートのハードウェア構成を示すブロック図である。
【図15】本発明の情報処理システムの第２の実施形態に係る構成のうち、売場装置のハードウェア構成を示すブロック図である。
【発明を実施するための形態】
【0009】
［第１の実施形態］
以下、本発明の第１の実施形態に係る情報処理システムの概要について説明する。
本発明の第１の実施形態に係る情報処理システムは、商品を自動精算するシステムとして適用される。
以下、本発明の第１の実施形態に係る情報処理システムの概要について説明する。
本発明の第１の実施形態に係る情報処理システムは、商品を自動精算するシステムとして適用される。
【0010】
図１は、本発明の第１の実施形態に係る情報処理システムの要点を示した図である。
図１の「実施店舗」欄には、本発明の一実施形態の実施店舗が記載されている。
ただし、この実施店舗は、あくまで例示に過ぎず、本発明の一実施形態の適用先は特に限定されない。
図１の「精算場所」欄には、本発明の一実施形態において、買い物客が精算を行う場所が記載されている。本発明の一実施形態における精算場所は、精算ゲートを例示している。精算ゲートは、物体から商品として既に特定されたものをレジ台に置かずに、その商品を精算する機能を有している。
図１の「概要」欄には、本発明の一実施形態の概要が記載されている。
図１の「詳細」欄には、本発明の一実施形態の詳細が記載されている。
図１の「実施店舗」欄には、本発明の一実施形態の実施店舗が記載されている。
ただし、この実施店舗は、あくまで例示に過ぎず、本発明の一実施形態の適用先は特に限定されない。
図１の「精算場所」欄には、本発明の一実施形態において、買い物客が精算を行う場所が記載されている。本発明の一実施形態における精算場所は、精算ゲートを例示している。精算ゲートは、物体から商品として既に特定されたものをレジ台に置かずに、その商品を精算する機能を有している。
図１の「概要」欄には、本発明の一実施形態の概要が記載されている。
図１の「詳細」欄には、本発明の一実施形態の詳細が記載されている。
【0011】
ここで、店舗において販売されている商品がどのような商品か特定される前のものを「物体」と呼ぶ。なお、商品ではないものの、例えば買い物客が持参する私物等も「物体」となる。そして、「物体」が商品として特定されたものを「商品」と呼ぶ。したがって、「商品」とは、店頭において販売されているものを意味する。
また、本発明の一実施形態に係る情報処理システムは、物体を測定対象とする１台以上のセンシングデバイスを備える。センシングデバイスとしては、画像センサー（カメラ等）の他、重量センサー、３Ｄセンサー（ＴＯＦセンサー、ステレオカメラ、ＬＩＤＡＲセンサー等）温度センサー、距離センサー、赤外線を活用したセンサー等種々のものを採用できる。
また、本発明の一実施形態に係る情報処理システムは、物体を測定対象とする１台以上のセンシングデバイスを備える。センシングデバイスとしては、画像センサー（カメラ等）の他、重量センサー、３Ｄセンサー（ＴＯＦセンサー、ステレオカメラ、ＬＩＤＡＲセンサー等）温度センサー、距離センサー、赤外線を活用したセンサー等種々のものを採用できる。
【0012】
上述のセンシングデバイスのうち、カメラ等の画像センサーにより撮像された画像を、以下「撮像画像」と呼ぶ。さらに、物体を被写体として含む撮像画像を、以下「物体撮像画像」と呼ぶ。一方、商品を被写体として含む撮像画像を、以下「商品撮像画像」と呼ぶ。
また、本明細書では、商品撮像画像及び物体撮像画像に対して各種画像処理を施す場合、実際にはデータの形態で取り扱うが、以下においては説明の便宜上、データは省略して説明する。
ここで、物体撮像画像及び商品撮像画像としては、例えば、商品を個別に切り出した画像、商品のロゴの画像、商品のバーコードの画像、商品のラベルの画像、商品の棚全体の撮像画像、店舗内を天井等から撮像した店舗内の画像等を用いることができる。
また、本明細書では、商品撮像画像及び物体撮像画像に対して各種画像処理を施す場合、実際にはデータの形態で取り扱うが、以下においては説明の便宜上、データは省略して説明する。
ここで、物体撮像画像及び商品撮像画像としては、例えば、商品を個別に切り出した画像、商品のロゴの画像、商品のバーコードの画像、商品のラベルの画像、商品の棚全体の撮像画像、店舗内を天井等から撮像した店舗内の画像等を用いることができる。
【0013】
さらに、本発明の一実施形態に係る情報処理システムでは、商品を精算する際に、商品として特定できなかった物体や、売買制限されている商品について、目検者により商品の特定や売買制限の判定が行われてもよい。具体的には例えば、物体あるいは商品に関する情報が、目検用端末に送信される。そして、目検者により商品の特定や売買制限の判定（売買制限を解除するか否かの判定等）が行われ、目検用端末から判定結果が送信される。このとき、売買制限商品の売買制限の解除は、判定の結果を受けて店員がその場で対応してもよいし、システムとして目検の結果を採用してもよい。また、目検者による目検結果が適宜参照されて、商品が特定され、精算が行われてもよいものとする。
【0014】
図２は、図１の情報処理システムのハイブリッドチェックシステム（目検）のフローの概要を表す模式図である。
図２に示すように、（１）店舗内（売場内）で商品の認識、及び商品の特定が行われ、（２）商品として特定できない物体、又は売買制限商品であると判定されると、（３）これらの物体あるいは商品に関する関連情報が目検用端末に送信される。ここで、物体あるいは商品に関する関連情報としては、各種センシングデバイスにより得られる情報が該当する。具体例として例えば、物体撮像画像、商品撮像画像、認識結果のログ、商品候補リスト、物体撮像画像が撮像された位置情報、重量センサーにより検知された重量情報、棚等の什器の位置情報、棚に陳列されている商品の位置情報、店舗内で商品あるいは買い物客を追跡するための情報、上述のセンシングデバイスから得られる３Ｄ情報（３Ｄデータ、ポイントクラウド等）、温度情報、距離情報、赤外線の検知情報等が含まれる。
ここで関連情報として物体撮像画像が採用される場合は、複数フレームの物体撮像画像が目検用端末に送信されてもよい。そして、（４）目検用端末において目検の依頼（目検対象に関する関連情報の受信）が報知され、（５）目検者が目検を実行する。これにより、店舗内において商品として特定できない物体が商品として一意に特定したり、売買制限商品の売買制限を解除したりすることができる。さらに、（６）目検者による目検結果（商品の特定結果あるいは売買制限の判定結果等）が売場内に設置された売場装置に送信され、（７）売場装置において、目検結果が参照される。このとき、売場装置において、売買制限商品である旨を報知することも可能である。
目検を経ても商品不特定との結果が返されたときや、売買制限商品の売買制限の解除判定に資する情報が不十分なとき等は、売場装置等において画面表示等で購入者に知らせる構成としてもよいし、音声で案内をする構成としてもよい。具体的に考えられるケースとしては、（Ａ）商品不特定となった際に、購入者へ商品の取り直し（棚からの取り直し、カゴへの入れ直し）を依頼する、（Ｂ）売買制限の解除判定に用いる購入者の顔や身分証明書等の撮像画像が不鮮明な際に、画像の撮り直しを依頼する、（Ｃ）購入者への売場装置等の使用方法のガイドを行う等がある。また他に考えられるケースとして、（Ｄ）商品不特定となった際に、該当する可能性の高い商品の候補を購入者に提示し、画面上で該当する商品を選択するように依頼する等がある。さらにまた、（Ｅ）商品不特定となった際に、購入者に対してバーコードリーダー等で、商品を特定する情報を読み取るよう依頼をする、等も想定される。
音声案内をする際には、予め録音された音声を流してもよい。また、売場装置等に備え付けられたマイクロフォンとスピーカーを介して、購入者と目検者等が通話する構成としてもよい。
このようなフローが実行される情報処理システムの実施形態は、具体的には、以下のような情報処理システムとして実現することができる。
図２に示すように、（１）店舗内（売場内）で商品の認識、及び商品の特定が行われ、（２）商品として特定できない物体、又は売買制限商品であると判定されると、（３）これらの物体あるいは商品に関する関連情報が目検用端末に送信される。ここで、物体あるいは商品に関する関連情報としては、各種センシングデバイスにより得られる情報が該当する。具体例として例えば、物体撮像画像、商品撮像画像、認識結果のログ、商品候補リスト、物体撮像画像が撮像された位置情報、重量センサーにより検知された重量情報、棚等の什器の位置情報、棚に陳列されている商品の位置情報、店舗内で商品あるいは買い物客を追跡するための情報、上述のセンシングデバイスから得られる３Ｄ情報（３Ｄデータ、ポイントクラウド等）、温度情報、距離情報、赤外線の検知情報等が含まれる。
ここで関連情報として物体撮像画像が採用される場合は、複数フレームの物体撮像画像が目検用端末に送信されてもよい。そして、（４）目検用端末において目検の依頼（目検対象に関する関連情報の受信）が報知され、（５）目検者が目検を実行する。これにより、店舗内において商品として特定できない物体が商品として一意に特定したり、売買制限商品の売買制限を解除したりすることができる。さらに、（６）目検者による目検結果（商品の特定結果あるいは売買制限の判定結果等）が売場内に設置された売場装置に送信され、（７）売場装置において、目検結果が参照される。このとき、売場装置において、売買制限商品である旨を報知することも可能である。
目検を経ても商品不特定との結果が返されたときや、売買制限商品の売買制限の解除判定に資する情報が不十分なとき等は、売場装置等において画面表示等で購入者に知らせる構成としてもよいし、音声で案内をする構成としてもよい。具体的に考えられるケースとしては、（Ａ）商品不特定となった際に、購入者へ商品の取り直し（棚からの取り直し、カゴへの入れ直し）を依頼する、（Ｂ）売買制限の解除判定に用いる購入者の顔や身分証明書等の撮像画像が不鮮明な際に、画像の撮り直しを依頼する、（Ｃ）購入者への売場装置等の使用方法のガイドを行う等がある。また他に考えられるケースとして、（Ｄ）商品不特定となった際に、該当する可能性の高い商品の候補を購入者に提示し、画面上で該当する商品を選択するように依頼する等がある。さらにまた、（Ｅ）商品不特定となった際に、購入者に対してバーコードリーダー等で、商品を特定する情報を読み取るよう依頼をする、等も想定される。
音声案内をする際には、予め録音された音声を流してもよい。また、売場装置等に備え付けられたマイクロフォンとスピーカーを介して、購入者と目検者等が通話する構成としてもよい。
このようなフローが実行される情報処理システムの実施形態は、具体的には、以下のような情報処理システムとして実現することができる。
【0015】
本発明の一実施形態に係る情報処理システムは、スーパーマーケット等の小売店舗に対して適用される。具体的には、買い物客や、スーパーマーケットに置かれた買い物カゴ及びカートだけでなく、買い物客のマイバッグやレジ袋等を含めたカゴ類と買い物客とを移動物体Ｍｏとして認識して追跡する。そして、棚から物体が取られた段階で商品を認識及び特定し、さらにその特定された商品と移動物体とを紐づけ、商品がレジ端末に置かれなくてもレジゲートにて自動精算できるようにする。またこのとき、設定された条件に応じて、棚から取られた物体は、売場に設置されたカメラ等を一例とするセンシングデバイスと、ネットワークとを介して接続された目検用端末とにおいて、目検者によって確認されてもよい。そして、本発明の一実施形態の情報処理システムは、この確認結果（目検結果）もさらに参照して、商品を特定するようにしてもよい。
【0016】
以下、本発明の一実施形態について、夫々図面を参照して説明する。
なおここでは説明の便宜上、以下、移動物体Ｍｏは買い物客であるとして説明する。また、精算ゲート５－１乃至５－３を含む通路４４が精算エリア４５とする。
なおここでは説明の便宜上、以下、移動物体Ｍｏは買い物客であるとして説明する。また、精算ゲート５－１乃至５－３を含む通路４４が精算エリア４５とする。
【0017】
図３は、図１の情報処理システムを採用するスーパーマーケットのレイアウト例を示す図である。
本発明の一実施形態の情報処理システムは、図３に示すようなスーパーマーケット等の店舗４０に対して適用される。本発明の一実施形態の情報処理システムは、商品がレジ台に置かれることなく精算ゲート５－１乃至５－３を通過するだけで自動精算できるようになされている。
本発明の一実施形態の情報処理システムは、図３に示すようなスーパーマーケット等の店舗４０に対して適用される。本発明の一実施形態の情報処理システムは、商品がレジ台に置かれることなく精算ゲート５－１乃至５－３を通過するだけで自動精算できるようになされている。
【0018】
店舗４０において、入口４１には、買い物カゴやショッピングカート等（採番せず）が置かれている。出口４２の手前には、精算ゲート５－１乃至５－３と店員Ｍｔが操作する精算レジ６とが設置されている。また、入口４１から出口４２までの間に、商品を陳列する複数の棚ラック４３が設置されている。棚ラック４３においては、鉛直方向に複数の棚が、所定の間隔をあけて並べられ、複数の棚の夫々には各種商品が陳列される。以下、棚と棚との間を「棚内」とも記述する。水平方向に向き合った棚ラック４３と棚ラック４３との間が通路４４とされる。
【0019】
移動物体Ｍｏは、入口４１から入店し、買い物カゴを取って、ショッピングカートを押して、あるいは、持参したマイバッグを持って通路４４を進む。移動物体Ｍｏは、棚内の商品を取って通路４４を進む。移動物体Ｍｏは、購入したい商品を全て取ると、精算エリア４５へ進み、精算する。
通路４４や精算エリア４５等において、店員Ｍｔが見回り等をしている。店員Ｍｔは、情報端末９ａを所持している。情報端末９ａは、スマートフォン等の携帯型情報処理端末であり、店内の状態を表示する機能、店内で発生したエラー状態を表示する機能、遠隔操作機能等を備えている。
通路４４や精算エリア４５等において、店員Ｍｔが見回り等をしている。店員Ｍｔは、情報端末９ａを所持している。情報端末９ａは、スマートフォン等の携帯型情報処理端末であり、店内の状態を表示する機能、店内で発生したエラー状態を表示する機能、遠隔操作機能等を備えている。
【0020】
図３において、雲形で描かれた線図の内側には、店舗４０内でなく、店舗４０外や店舗４０のバックヤードの様子が描画されている。店舗４０外や店舗のバックヤードには、サーバ１（図５）が設置されている。店舗外やバックヤードでは、店員Ｍｔが大型モニターの画面（図示せず）や情報端末９ｂの画面を通じて店舗４０内を監視することができる。
【0021】
入口４１から出口４２までの間の通路４４の天井には、センシングデバイスの一例として複数の天井カメラ３１０が設置されている。
また、各棚ラック４３内の各棚の複数個所の夫々には、センシングデバイスの他の例として棚カメラ３１１が設置されている。棚カメラ３１１は、棚内や棚内の商品、その他所定領域を撮像する。また、棚カメラ３１１は、棚内の所定領域内に移動物体Ｍｏの手等が進入した場合や、棚内から物体が取られた場合に、その手や棚内の物体等を物体撮像画像として撮像する。また、本実施形態において用いられるカメラは、３Ｄ画像、あるいは２Ｄ画像が取得できるカメラ、魚眼カメラ等に代表される広角を撮像できるカメラ等が採用される。
さらに、各棚ラック４３内の各棚の複数個所の夫々には、センシングデバイスの他の例として重量センサー３１２が設置されている。重量センサー３１２は、商品が置かれ得る棚の重量を検知する。従って、重量センサー３１２により検知された重量の変化の違いから、棚からの商品の入出を検知する。
なおここで、天井及び各棚ラックに設置されているセンシングデバイスとして、カメラ及び重量センサーはあくまで一例であり、これに限定されない。例えば、３Ｄセンサー、温度センサー、距離センサー、赤外線を活用したセンサー等を含む各種各様のセンシングデバイスを設置することができる。また、重量センサーを始めとするこれらのセンシングデバイスは、商品が置かれ得る棚１つに対し、複数個設置されてもよい。
また、各棚ラック４３内の各棚の複数個所の夫々には、センシングデバイスの他の例として棚カメラ３１１が設置されている。棚カメラ３１１は、棚内や棚内の商品、その他所定領域を撮像する。また、棚カメラ３１１は、棚内の所定領域内に移動物体Ｍｏの手等が進入した場合や、棚内から物体が取られた場合に、その手や棚内の物体等を物体撮像画像として撮像する。また、本実施形態において用いられるカメラは、３Ｄ画像、あるいは２Ｄ画像が取得できるカメラ、魚眼カメラ等に代表される広角を撮像できるカメラ等が採用される。
さらに、各棚ラック４３内の各棚の複数個所の夫々には、センシングデバイスの他の例として重量センサー３１２が設置されている。重量センサー３１２は、商品が置かれ得る棚の重量を検知する。従って、重量センサー３１２により検知された重量の変化の違いから、棚からの商品の入出を検知する。
なおここで、天井及び各棚ラックに設置されているセンシングデバイスとして、カメラ及び重量センサーはあくまで一例であり、これに限定されない。例えば、３Ｄセンサー、温度センサー、距離センサー、赤外線を活用したセンサー等を含む各種各様のセンシングデバイスを設置することができる。また、重量センサーを始めとするこれらのセンシングデバイスは、商品が置かれ得る棚１つに対し、複数個設置されてもよい。
【0022】
図４は、図１の情報処理システムの構成を示す構成図である。
本発明の情報処理システムの一実施形態としての情報処理システムは、図４に示すような構成を有している。
情報処理システムは、サーバ１と、売場装置３と、ｎ台（ｎは任意の整数）の精算ゲート５－１乃至５－ｎと、目検用端末Ｑとを有している。
サーバ１と、売場装置３と、精算ゲート５－１乃至５－ｎと、目検用端末Ｑとの夫々は、インターネット（Ｉｎｔｅｒｎｅｔ）回線等のネットワークＮを介して相互に接続されている。
なお、説明の便宜上、図４のサーバ１は、１台しか描画されていないが、実際には複数台の場合もある。
また、以下、精算ゲート５－１乃至５－ｎを個々に区別する必要がない場合、これらをまとめて「精算ゲート５」と呼ぶ。
本発明の情報処理システムの一実施形態としての情報処理システムは、図４に示すような構成を有している。
情報処理システムは、サーバ１と、売場装置３と、ｎ台（ｎは任意の整数）の精算ゲート５－１乃至５－ｎと、目検用端末Ｑとを有している。
サーバ１と、売場装置３と、精算ゲート５－１乃至５－ｎと、目検用端末Ｑとの夫々は、インターネット（Ｉｎｔｅｒｎｅｔ）回線等のネットワークＮを介して相互に接続されている。
なお、説明の便宜上、図４のサーバ１は、１台しか描画されていないが、実際には複数台の場合もある。
また、以下、精算ゲート５－１乃至５－ｎを個々に区別する必要がない場合、これらをまとめて「精算ゲート５」と呼ぶ。
【0023】
サーバ１は、売場装置３、精算ゲート５、目検用端末Ｑの各動作を管理すべく、各処理を実行する。
図５は、本発明の情報処理システムの第１の実施形態に係る構成のうち、サーバのハードウェア構成を示すブロック図である。 サーバ１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０３と、バス１０４と、入出力インターフェース１０５と、出力部１０６と、入力部１０７と、記憶部１０８と、通信部１０９と、ドライブ１１０と、を備えている。
図５は、本発明の情報処理システムの第１の実施形態に係る構成のうち、サーバのハードウェア構成を示すブロック図である。 サーバ１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０３と、バス１０４と、入出力インターフェース１０５と、出力部１０６と、入力部１０７と、記憶部１０８と、通信部１０９と、ドライブ１１０と、を備えている。
【0024】
ＣＰＵ１０１は、ＲＯＭ１０２に記憶されているプログラム、又は、記憶部１０８からＲＡＭ１０３にロードされたプログラムに従って各種の処理を実行する。
ＲＡＭ１０３には、ＣＰＵ１０１が各種の処理を実行する上において必要なデータ等も適宜記憶される。
ＲＡＭ１０３には、ＣＰＵ１０１が各種の処理を実行する上において必要なデータ等も適宜記憶される。
【0025】
ＣＰＵ１０１、ＲＯＭ１０２及びＲＡＭ１０３は、バス１０４を介して相互に接続されている。このバス１０４には、また、入出力インターフェース１０５も接続されている。入出力インターフェース１０５には、出力部１０６、入力部１０７、記憶部１０８、通信部１０９及びドライブ１１０が接続されている。
【0026】
出力部１０６は、ディスプレイやスピーカー等で構成され、各種情報を画像や音声として出力する。
入力部１０７は、キーボードやマウス等で構成され、各種情報を入力する。
入力部１０７は、キーボードやマウス等で構成され、各種情報を入力する。
【0027】
記憶部１０８は、ハードディスクやＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、各種データを記憶する。
通信部１０９は、図４に示すように、インターネット回線を含むネットワークＮを介して売場装置３及び精算ゲート５との間で通信を行う。
通信部１０９は、図４に示すように、インターネット回線を含むネットワークＮを介して売場装置３及び精算ゲート５との間で通信を行う。
【0028】
ドライブ１１０には、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリ等よりなるリムーバブルメディア１２０が適宜装着される。ドライブ１１０によってリムーバブルメディア１２０から読み出されたプログラムは、必要に応じて記憶部１０８にインストールされる。
また、リムーバブルメディア１２０は、記憶部１０８に記憶されている各種データも、記憶部１０８と同様に記憶することができる。
また、リムーバブルメディア１２０は、記憶部１０８に記憶されている各種データも、記憶部１０８と同様に記憶することができる。
【0029】
図６は、本発明の情報処理システムの第１の実施形態に係る構成のうち、売場装置のハードウェア構成を示すブロック図である。
【0030】
したがって、売場装置３は、ＣＰＵ３０１と、ＲＯＭ３０２と、ＲＡＭ３０３と、バス３０４と、入出力インターフェース３０５と、天井カメラ３１０と、棚カメラ３１１と、重量センサー３１２と、情報端末９と、通信部３１５とを備えている。
【0031】
売場装置３のＣＰＵ３０１、ＲＯＭ３０２、ＲＡＭ３０３、バス３０４、入出力インターフェース３０５、通信部３１５は、図５に示したサーバ１のこれらと同様に構成される。
【0032】
天井カメラ３１０、棚カメラ３１１、及び重量センサー３１２は、ネットワークと接続されている。例えば、ＰｏＥ接続（Ｐｏｗｅｒ ｏｖｅｒ Ｅｔｈｅｒｎｅｔ）や、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ケーブルによって接続されてもよい。
【0033】
情報端末９は、遠隔操作部３９０や表示部３９１等を備えているスマートフォンやタブレット等の情報機器である。遠隔操作部３９０は、システム処理異常のようなエラー状態等を遠隔操作で解消する機能を備えている。表示部３９１は、エラー状態や移動物体Ｍｏ等を表示する画面を備えている。また、情報端末９は、エラー状態を通知する音声発生部（図示せず）を備えている。
【0034】
ここで、本発明の一実施形態でのエラー状態は、種々の状況下で発生する。例えば、システム処理において異常が発生した場合や、棚商品認識において商品を特定できなかった場合、不特定の物体や売買制限商品が紐づいている移動物体Ｍｏがゲート５を通過しようとした場合、精算していない移動物体Ｍｏが退店しようとしている場合等がある。
【0035】
売場装置３にはネットワークＮを介して精算ゲート５が接続されている。
精算ゲート５は、精算機５ａを備えた精算ゲート５－１、電子マネー等を利用する精算ゲート５－２、通過するだけで精算できる精算ゲート５－３に区分されている。
有人の精算レジ６以外の精算ゲート５－１乃至５－３には、常時閉じている開閉部材（採番せず）が備えられていてもよい。
精算ゲート５は、精算機５ａを備えた精算ゲート５－１、電子マネー等を利用する精算ゲート５－２、通過するだけで精算できる精算ゲート５－３に区分されている。
有人の精算レジ６以外の精算ゲート５－１乃至５－３には、常時閉じている開閉部材（採番せず）が備えられていてもよい。
【0036】
精算機５ａを備えた精算ゲート５－１においては、購入商品の金額の合計が算出される。そして、決済する人は、出口４２側に設置された精算機５ａにて精算することができる。
精算機５ａは、精算ゲート５－１よりも出口４２側に設置されている。そして精算機５ａは、現金、クレジットカード、電子マネー、ポイント支払い、商品券や仮想通貨、プリペイドカード、バーコードやＱＲコード（登録商標）等の識別情報、社員証、アプリ情報等で支払いができる決算手段を備えている。
精算機５ａは、精算ゲート５－１よりも出口４２側に設置されている。そして精算機５ａは、現金、クレジットカード、電子マネー、ポイント支払い、商品券や仮想通貨、プリペイドカード、バーコードやＱＲコード（登録商標）等の識別情報、社員証、アプリ情報等で支払いができる決算手段を備えている。
【0037】
電子マネー等を利用する精算ゲート５－２においては、決済する人は、ゲート本体に備えられたカード読取部（図示しない）に各種カードをかざして電子マネー等の情報を読み取らせることにより精算できる。電子マネー等には、決済可能なＩＣカードだけでなく、クレジットカード、いわゆるポイントカード、プリペイドカード等の狭義のカードだけでなく、例えばバーコードやＱＲコード（登録商標）を表示できる情報携帯端末も含まれるが、ここでは便宜上、各種カードとして説明する。
即ち、決済する人が、この精算ゲート５－２の精算エリア４５に進入し、各種カードを、カード読取部にかざすと、後述する移動物体Ｍｏに紐づく商品情報が読み出され、精算及び決済が完了する。そして、決済する人は、精算ゲート５－２を通過可能となる。
即ち、決済する人が、この精算ゲート５－２の精算エリア４５に進入し、各種カードを、カード読取部にかざすと、後述する移動物体Ｍｏに紐づく商品情報が読み出され、精算及び決済が完了する。そして、決済する人は、精算ゲート５－２を通過可能となる。
【0038】
精算ゲート５－３においては、入口４１や通路４４等において個人情報が取得された移動物体Ｍｏが、精算ゲート５－３を通過するのみで、精算及び決済が完了する。即ち、決済する人は、現金を支払う、カードを読み取らせる等せずに、精算及び決済が完了することができる。
なお、有人の精算レジ６は、店員Ｍｔが商品の価格を個々に入力し、精算する。
なお、有人の精算レジ６は、店員Ｍｔが商品の価格を個々に入力し、精算する。
【0039】
図７は、本発明の情報処理システムの第１の実施形態に係る構成のうち、精算ゲートのハードウェア構成を示すブロック図である。精算ゲート５は、ＣＰＵ５０１と、ＲＯＭ５０２と、ＲＡＭ５０３と、バス５０４と、入出力インターフェース５０５と、入力部５０６と、出力部５０７と、記憶部５０８と、通信部５０９とを備えている。
【0040】
精算ゲート５のＣＰＵ５０１、ＲＯＭ５０２、ＲＡＭ５０３、バス５０４、入出力インターフェース５０５、記憶部５０８、通信部５０９は、図５に示したサーバ１のこれらと同様に構成されている。
【0041】
入力部５０６は、例えば精算ゲート５－１においては、ゲート本体に備えられた精算ボタンである。また、電子マネーを利用する精算ゲート５－２や、通過するだけで精算できる精算ゲート５－３においては、各種カードや各種識別情報等の情報を検知する情報読取部である。
【0042】
出力部５０７は、精算ゲート５－１乃至５－３に備えられた開閉部材（図示せず）を開閉する信号を出力する。また、精算機５ａを備えた精算ゲート５－１は、精算機５ａに精算する金額や商品名等を出力する。
【0043】
コードスキャナ部５１０は、精算ゲート５－１乃至５－３に備えられる。移動物体Ｍｏにいずれの商品か特定できない物体（不特定の物体）が紐づいている場合、移動物体Ｍｏは、バーコードリーダー（図示せず）等を用いて商品の識別情報を読み取り、商品を特定することができる。
【0044】
【0045】
サーバ１は、ＣＰＵ１０１と、記憶部１０８と、エラー表示部１５１と、エラー解除部１５２とを備えている。
サーバ１のＣＰＵ１０１においては、個人情報及び商品情報等を管理するＤＢ管理部１４１が機能する。ＤＢ管理部１４１は精算ゲートの夫々に備える構成としてもよい。
サーバ１のＣＰＵ１０１は、エラー判定部１５０を備えている。
サーバ１の記憶部１０８の一領域には、商品ＤＢ１３１と、位置情報管理ＤＢ１３２とが設けられている。
商品ＤＢ１３１は、商品に関する情報を記憶するＤＢ（Ｄａｔａ Ｂａｓｅ）である。位置情報管理ＤＢ１３２は、移動物体Ｍｏの位置を管理する。
サーバ１のＣＰＵ１０１においては、個人情報及び商品情報等を管理するＤＢ管理部１４１が機能する。ＤＢ管理部１４１は精算ゲートの夫々に備える構成としてもよい。
サーバ１のＣＰＵ１０１は、エラー判定部１５０を備えている。
サーバ１の記憶部１０８の一領域には、商品ＤＢ１３１と、位置情報管理ＤＢ１３２とが設けられている。
商品ＤＢ１３１は、商品に関する情報を記憶するＤＢ（Ｄａｔａ Ｂａｓｅ）である。位置情報管理ＤＢ１３２は、移動物体Ｍｏの位置を管理する。
【0046】
目検用端末ＱのＣＰＵ４０１においては、画像表示制御部４１１と、目検結果送信部４１２とが機能する。
【0047】
目検用端末Ｑにおいて、画像表示制御部４１１は、売場装置３、又は精算ゲート５から目検の依頼が行われた場合に、売場装置、又は精算ゲート５から送信された物体あるいは商品に関する関連情報を出力部４０６に出力する。
目検結果送信部４１２は、出力部４０６に出力された物体あるいは商品に関する関連情報等について、目検者が入力部４０７を介して入力した目検結果（商品の特定結果あるいは売買制限商品の判定結果等）を、目検を依頼した売場装置３、又は精算ゲート５に送信する。
目検結果送信部４１２は、出力部４０６に出力された物体あるいは商品に関する関連情報等について、目検者が入力部４０７を介して入力した目検結果（商品の特定結果あるいは売買制限商品の判定結果等）を、目検を依頼した売場装置３、又は精算ゲート５に送信する。
【0048】
売場装置３のＣＰＵ３０１においては、個人認証部３２０と、移動物体追跡部３３０と、位置情報管理部３４０と、棚商品認識部３６０と、売買制限商品判定部３８０と、目検結果取得部３０１ａとが機能する。
【0049】
個人認証部３２０は、個人情報取得部３２１によって取得された移動物体Ｍｏの個人情報から、サーバ１のＤＢ管理部１４１において登録されている移動物体Ｍｏが誰であるかを個人認証する。なお、個人認証部３２０と個人情報取得部３２１は、入口４１に備えてもよい。
個人情報取得部３２１は、移動物体ＭｏのＩＣカードやスマートフォン、タブレット等の携帯情報端末をタッチする読取装置や、指紋や静脈、虹彩等の生体情報を読み取る読取装置等が採用される。
個人情報取得部３２１は、移動物体ＭｏのＩＣカードやスマートフォン、タブレット等の携帯情報端末をタッチする読取装置や、指紋や静脈、虹彩等の生体情報を読み取る読取装置等が採用される。
【0050】
ここで個人情報には、例えば、氏名や性別、生年月日、住所、電話番号といった個人を特定できる情報だけでなく、指紋や静脈、虹彩等の生体情報、クレジットカード番号や銀行口座番号といった金融に関する情報等のプライバシーに関する情報、当該移動物体Ｍｏの購買履歴も含まれる。
なお、入店時に個人認証できなかった場合は、個人認証部３２０は、買い物中においてカメラ等から得られた移動物体Ｍｏの画像に基づいて個人認証してもよい。
またここで取得された個人情報は、売買制限（解除含む）や購買分析にも活用される。
なお、入店時に個人認証できなかった場合は、個人認証部３２０は、買い物中においてカメラ等から得られた移動物体Ｍｏの画像に基づいて個人認証してもよい。
またここで取得された個人情報は、売買制限（解除含む）や購買分析にも活用される。
【0051】
【0052】
センシングデバイスとして天井カメラ３１０を用いた場合、移動物体追跡部３３０は、図９に示すように、天井カメラによる移動物体発見部３３０２と、天井カメラによる移動物体領域定義部３３０４と、天井カメラによる移動物体領域追跡部３３０５と、グルーピング部３３０８と、血縁関係判定部３３０９と、天井カメラによる移動物体領域間受け渡し認識部３３１１と、天井カメラによる受け渡された物体認識部３３１２と、天井カメラによる受け渡された商品特定部３３１３とが機能する。
天井カメラによる移動物体発見部３３０２は、天井カメラ３１０によって撮像された撮像画像に基づく状態空間モデル（ベイジアンフィルタ等）を用いて移動物体Ｍｏを発見する。
天井カメラによる移動物体領域定義部３３０４は、天井カメラによる移動物体発見部３３０２により発見された移動物体Ｍｏの領域を移動物体領域として定義する。天井カメラによる移動物体領域定義部３３０４は、移動物体Ｍｏを中心として、変化のあった領域を連続的に見つけることで、移動物体領域を定義する。即ち、天井カメラによる移動物体領域定義部３３０４は、発見した移動物体Ｍｏと、その移動物体Ｍｏ及びその移動物体Ｍｏの周辺のうち一定の範囲内を移動物体領域として定義する。
天井カメラによる移動物体発見部３３０２は、天井カメラ３１０によって撮像された撮像画像に基づく状態空間モデル（ベイジアンフィルタ等）を用いて移動物体Ｍｏを発見する。
天井カメラによる移動物体領域定義部３３０４は、天井カメラによる移動物体発見部３３０２により発見された移動物体Ｍｏの領域を移動物体領域として定義する。天井カメラによる移動物体領域定義部３３０４は、移動物体Ｍｏを中心として、変化のあった領域を連続的に見つけることで、移動物体領域を定義する。即ち、天井カメラによる移動物体領域定義部３３０４は、発見した移動物体Ｍｏと、その移動物体Ｍｏ及びその移動物体Ｍｏの周辺のうち一定の範囲内を移動物体領域として定義する。
【0053】
ここで、人を中心とした領域を人領域と呼ぶと、人領域は移動物体領域の下位概念となる。
また、カゴ類を中心とした領域をカゴ領域と呼ぶと、カゴ領域は移動物体領域の下位概念となる。
また、カートを中心とした領域をカート領域と呼ぶと、カート領域は移動物体領域の下位概念となる。
また、カゴ類を中心とした領域をカゴ領域と呼ぶと、カゴ領域は移動物体領域の下位概念となる。
また、カートを中心とした領域をカート領域と呼ぶと、カート領域は移動物体領域の下位概念となる。
【0054】
移動物体Ｍｏが人である場合、人を上側から見た場合の骨格モデルを当てはめることで、おおよそのポーズを推定し、実際に得られた映像での人領域と比較することで、移動物体Ｍｏたる人を明確に定義してもよい。
あるいは、人の３Ｄデータから、頭、肩、腕、手、足等の各パーツを推定することで、人領域を精度高く認識することもできる。さらには、ディープラーニングを用いて、撮像画像や３Ｄデータ等から、例えば人領域、カゴ領域、カート領域を推定してもよい。
あるいは、人の３Ｄデータから、頭、肩、腕、手、足等の各パーツを推定することで、人領域を精度高く認識することもできる。さらには、ディープラーニングを用いて、撮像画像や３Ｄデータ等から、例えば人領域、カゴ領域、カート領域を推定してもよい。
【0055】
天井カメラによる移動物体領域追跡部３３０５は、移動物体Ｍｏの移動を追跡する。例えば、天井カメラによる移動物体領域追跡部３３０５は、移動物体Ｍｏの特徴データ（色や形状等）を収集することによっても、移動物体Ｍｏの移動を追跡する。
あるいは、天井カメラによる移動物体領域追跡部３３０５は、ベイジアンフィルタ、高速フーリエ変換、ＴＬＤ（Ｔｒａｃｋｉｎｇ－Ｌｅａｒｎｉｎｇ－Ｄｅｔｅｃｔｉｏｎ）等の画像内における物体追跡の技術を用いて、移動物体Ｍｏの移動を追跡する。
ここでいずれにしても、天井カメラ３１０からの映像では、天井カメラ３１０に正対していない移動物体Ｍｏが角度をもって（斜め方向から）撮像されるため、位置情報を正確に取得できないおそれがある。したがって、撮像画像に対してキャリブレーションによる補正をかけることで、正対しているように撮像することも考えられる。しかし、このような補正をかけても、高い精度で移動物体Ｍｏの位置情報を取得できないことがあり得る。
あるいは、天井カメラによる移動物体領域追跡部３３０５は、ベイジアンフィルタ、高速フーリエ変換、ＴＬＤ（Ｔｒａｃｋｉｎｇ－Ｌｅａｒｎｉｎｇ－Ｄｅｔｅｃｔｉｏｎ）等の画像内における物体追跡の技術を用いて、移動物体Ｍｏの移動を追跡する。
ここでいずれにしても、天井カメラ３１０からの映像では、天井カメラ３１０に正対していない移動物体Ｍｏが角度をもって（斜め方向から）撮像されるため、位置情報を正確に取得できないおそれがある。したがって、撮像画像に対してキャリブレーションによる補正をかけることで、正対しているように撮像することも考えられる。しかし、このような補正をかけても、高い精度で移動物体Ｍｏの位置情報を取得できないことがあり得る。
【0056】
そこで、天井カメラによる移動物体領域追跡部３３０５は、距離センサー等を用いて移動物体Ｍｏの高さ情報を取得することで、精度の高い位置情報を取得することができる。このようにして天井カメラによる移動物体領域追跡部３３０５は、移動物体Ｍｏを追跡し続けてもよい。
【0057】
また本実施形態においては、移動物体Ｍｏの発見、定義、追跡には、天井カメラにより得られる情報が用いられたが、特に限定されない。例えば、３Ｄセンサー等を一例とする各種各様のセンシングデバイスにより得られる情報、即ち、３Ｄデータや、画像データ等の時系列データが、移動物体Ｍｏの発見、定義、追跡に用いられてもよい。
【0058】
グルーピング部３３０８は、家族や友人等の複数人で来店した場合において、その複数人をグルーピングする。
即ち、グルーピング部３３０８は、複数の移動物体Ｍｏにおける位置情報（例えば重なり、くっついている等の距離感）、また、移動方向（ベクトル）等の情報を用い、複数の移動物体Ｍｏをグルーピングしてもよい。
また、グルーピング部３３０８は、人領域とカゴ領域、カート領域を紐づけてもよい。
このようにグルーピング部３３０８が機能することにより、例えば精算ゲート５において、複数の移動物体Ｍｏに紐づく商品情報を、まとめて精算することができる。
即ち、グルーピング部３３０８は、複数の移動物体Ｍｏにおける位置情報（例えば重なり、くっついている等の距離感）、また、移動方向（ベクトル）等の情報を用い、複数の移動物体Ｍｏをグルーピングしてもよい。
また、グルーピング部３３０８は、人領域とカゴ領域、カート領域を紐づけてもよい。
このようにグルーピング部３３０８が機能することにより、例えば精算ゲート５において、複数の移動物体Ｍｏに紐づく商品情報を、まとめて精算することができる。
【0059】
血縁関係判定部３３０９は、顔認証手法を用い、親子関係や兄弟関係等を見分ける。血縁関係判定部は、グルーピング部の機能を補助する。血縁関係判定部は、ディープラーニングの顔認識手法を用いて顔の類似度を判定し、血縁関係を推定してもよい。
【0060】
ここで、移動物体Ｍｏから移動物体Ｍｏへの商品の受け渡しが発生した場合について説明する。
【0061】
センシングデバイスとして、天井カメラ３１０を用いた場合、天井カメラによる移動物体領域間受け渡し認識部３３１１は、移動物体Ｍｏから移動物体Ｍｏへ物体が受け渡されたことを認識し、受け渡した／渡された移動物体Ｍｏを特定し、各移動物体Ｍｏに紐づく商品リストを読み込む。
【0062】
そして、天井カメラによる受け渡された物体認識部３３１２は、その後、受け渡しが認識された時点の撮像画像から物体の領域を定義する。
さらに、天井カメラによる受け渡された商品特定部が受け渡された物体が、物体領域定義後の画像から、読み込まれた受け渡しを行った移動物体Ｍｏに紐づく商品リストのうちいずれの商品かを特定し、天井カメラによる移動物体領域間受け渡し認識部３３１１で特定した各移動物体Ｍｏと、受け渡しで特定された商品を紐づけ、夫々の商品のリストを更新する。
天井カメラによる移動物体領域間受け渡し認識部３３１１は、ディープラーニング等の物体認識手法を用いて、移動物体Ｍｏの動きを分析し、受け渡し認識してもよく、受け渡しの際に人領域の中の手を認識してもよく、受け渡しの認識は人領域（手を含んでも良い）間の重なりを認識してもよい。
さらに、天井カメラによる受け渡された商品特定部が受け渡された物体が、物体領域定義後の画像から、読み込まれた受け渡しを行った移動物体Ｍｏに紐づく商品リストのうちいずれの商品かを特定し、天井カメラによる移動物体領域間受け渡し認識部３３１１で特定した各移動物体Ｍｏと、受け渡しで特定された商品を紐づけ、夫々の商品のリストを更新する。
天井カメラによる移動物体領域間受け渡し認識部３３１１は、ディープラーニング等の物体認識手法を用いて、移動物体Ｍｏの動きを分析し、受け渡し認識してもよく、受け渡しの際に人領域の中の手を認識してもよく、受け渡しの認識は人領域（手を含んでも良い）間の重なりを認識してもよい。
【0063】
その後天井カメラによる受け渡された物体認識部３３１２が、受け渡しが認識された時点の撮像画像から物体の領域を定義する。
【0064】
さらに、天井カメラによる受け渡された商品特定部３３１３が、天井カメラによる受け渡された物体認識部３３１２により、認識された物体が、読み込まれた移動物体Ｍｏ（受け渡しを行った人）に紐づく商品リストのうちいずれの商品かを特定し、天井カメラによる移動物体領域間受け渡し認識部３３１１で特定した各移動物体Ｍｏと、天井カメラによる受け渡された商品特定部３３１３で特定された商品を紐づけ、各移動物体Ｍｏの商品のリストを更新する。
【0065】
天井カメラによる受け渡された物体認識部３３１２は、天井カメラをズーム可能なカメラにし、受け渡しが行われたと推定される箇所をズームアップし、物体の領域定義をしてもよい。
またここで、天井カメラによる移動物体領域間受け渡し認識部３３１１、天井カメラによる受け渡された物体認識部３３１２、天井カメラによる受け渡された商品特定部３３１３においては、天井カメラの代わりに、他のセンシングデバイスが用いられてもよく、例えば一例として広範囲を撮像可能なカメラ等が採用されてもよい。
またここで、天井カメラによる移動物体領域間受け渡し認識部３３１１、天井カメラによる受け渡された物体認識部３３１２、天井カメラによる受け渡された商品特定部３３１３においては、天井カメラの代わりに、他のセンシングデバイスが用いられてもよく、例えば一例として広範囲を撮像可能なカメラ等が採用されてもよい。
【0066】
一般的に、カメラは、撮影対象までの距離が長いほど広範囲を撮影すること可能になる。即ち、カメラを店舗の天井に設置した場合、天井が低い店舗においては１台のカメラで撮影できる範囲は狭い範囲に限定される。そのため、店舗全体を撮影する場合は多くのカメラを設置する必要がある。
そこで、１台のカメラで可能な限り広範囲を撮影するため、例えば以下の工夫がなされてもよい。即ち、撮影対象が映る鏡を天井に設置し、カメラのレンズを天井の鏡に向けた状態で壁に設置する。そして撮影対象である物体や移動物体Ｍｏを鏡に映し、その鏡に映った物体や移動物体Ｍｏをカメラで撮影する。以上の工夫により、カメラと撮影対象の距離を見かけ上長く確保することができるため、１台のカメラでより広範囲を撮影することが可能になる。
そこで、１台のカメラで可能な限り広範囲を撮影するため、例えば以下の工夫がなされてもよい。即ち、撮影対象が映る鏡を天井に設置し、カメラのレンズを天井の鏡に向けた状態で壁に設置する。そして撮影対象である物体や移動物体Ｍｏを鏡に映し、その鏡に映った物体や移動物体Ｍｏをカメラで撮影する。以上の工夫により、カメラと撮影対象の距離を見かけ上長く確保することができるため、１台のカメラでより広範囲を撮影することが可能になる。
【0067】
図１０は、本発明の情報処理システムの第１の実施形態に係る構成のうち、図６の売場装置に備えられた位置情報管理部の詳細な機能的構成例を示す機能ブロック図である。
センシングデバイスとして、天井カメラ３１０を用いた場合、位置情報管理部３４０においては、カメラ間情報受け渡し部３４１と、各カメラの位置定義部３４２と、移動物体表示部３４３とが機能する。
カメラ間情報受け渡し部３４１は、各天井カメラ３１０に撮像された画像情報を他の天井カメラ３１０に撮像された画像情報と共有するようにすることにより、移動物体Ｍｏがある天井カメラ３１０の撮像画像から別の天井カメラ３１０に撮像されるようになっても、移動物体領域を追跡し続けることができる。
センシングデバイスとして、天井カメラ３１０を用いた場合、位置情報管理部３４０においては、カメラ間情報受け渡し部３４１と、各カメラの位置定義部３４２と、移動物体表示部３４３とが機能する。
カメラ間情報受け渡し部３４１は、各天井カメラ３１０に撮像された画像情報を他の天井カメラ３１０に撮像された画像情報と共有するようにすることにより、移動物体Ｍｏがある天井カメラ３１０の撮像画像から別の天井カメラ３１０に撮像されるようになっても、移動物体領域を追跡し続けることができる。
【0068】
カメラ間情報受け渡し部３４１は、例えば、天井カメラ３１０に撮像されて得られた情報を統括するサーバ１を通じて、商品ＤＢ１３１を含め、記憶部１０８上において天井カメラ３１０間で情報をやり取りする。
他の例として、天井カメラ３１０の台数が多いことに鑑み、カメラ間情報受け渡し部３４１は、サーバ１を通じることなく各天井カメラ３１０で撮像された画像を各天井カメラ３１０間で例えばＰ２Ｐによって受け渡すようにしてもよい。
他の例として、天井カメラ３１０の台数が多いことに鑑み、カメラ間情報受け渡し部３４１は、サーバ１を通じることなく各天井カメラ３１０で撮像された画像を各天井カメラ３１０間で例えばＰ２Ｐによって受け渡すようにしてもよい。
【0069】
各カメラの位置定義部３４２は、各天井カメラ３１０が店内のどこを映しているかの位置情報を定義する。即ち、各カメラの位置定義部３４２は、カメラ間情報受け渡し部３４１によって別々の天井カメラ３１０に撮像された移動物体が店舗内のどこに位置しているかを把握する。
この各カメラの位置定義部３４２は、各天井カメラ３１０の撮像画像を合成し、１枚の店舗マップを作成する。また、この各カメラの位置定義部３４２は、各天井カメラ３１０、棚カメラ３１１の座標を店舗マップ上の座標に置き換える。また、各カメラの位置定義部３４２は、各天井カメラ３１０によって撮像された撮像画像について、透視変換により、計算上、店舗内床面に正対した撮像画像となるように補正する。
この各カメラの位置定義部３４２は、各天井カメラ３１０の撮像画像を合成し、１枚の店舗マップを作成する。また、この各カメラの位置定義部３４２は、各天井カメラ３１０、棚カメラ３１１の座標を店舗マップ上の座標に置き換える。また、各カメラの位置定義部３４２は、各天井カメラ３１０によって撮像された撮像画像について、透視変換により、計算上、店舗内床面に正対した撮像画像となるように補正する。
【0070】
移動物体表示部３４３は、各カメラの位置定義部３４２によって写されている位置情報として、店舗３０内の移動物体Ｍｏを表示する。移動物体表示部３４３は、店員Ｍｔが保持する情報端末９、あるいは店舗のバックヤードの画面等として採用されてもよい。
なおこのようにして得られた移動物体Ｍｏの位置情報は、位置情報管理ＤＢ１３２やメモリ等で管理される。なお、移動物体Ｍｏの位置情報、即ち、人の行動履歴に関する情報から、人の興味、関心等を推測することができる。このため、位置情報管理ＤＢ１３２やメモリ等で管理された移動物体Ｍｏの位置情報を、マーケティング分析等に活用することもできる。
なおこのようにして得られた移動物体Ｍｏの位置情報は、位置情報管理ＤＢ１３２やメモリ等で管理される。なお、移動物体Ｍｏの位置情報、即ち、人の行動履歴に関する情報から、人の興味、関心等を推測することができる。このため、位置情報管理ＤＢ１３２やメモリ等で管理された移動物体Ｍｏの位置情報を、マーケティング分析等に活用することもできる。
【0071】
図１１は、本発明の情報処理システムの第１の実施形態に係る構成のうち、図６の売場装置に備えられた棚商品認識部の詳細な機能的構成例を示す機能ブロック図である。
棚商品認識部３６０は、図１１に示す物体認識部３６０２と、商品特定部３６０３と、移動物体と商品紐づけ部３６０４と、移動物体と紐づく商品リスト管理部３６０６と、物体入出検知部３６０８と、商品不特定判定部３６０９と、ラベル認識部３６１０と、値引きシール認識部３６１１と、を備えている。
センシングデバイスとして、棚カメラ３１１又は重量センサー３１２を用いる場合、棚商品認識部３６０は、棚カメラ３１１、重量センサー３１２とネットワークＮを通じ、他のカメラやパーソナルコンピュータと連携される。
棚商品認識部３６０は、図１１に示す物体認識部３６０２と、商品特定部３６０３と、移動物体と商品紐づけ部３６０４と、移動物体と紐づく商品リスト管理部３６０６と、物体入出検知部３６０８と、商品不特定判定部３６０９と、ラベル認識部３６１０と、値引きシール認識部３６１１と、を備えている。
センシングデバイスとして、棚カメラ３１１又は重量センサー３１２を用いる場合、棚商品認識部３６０は、棚カメラ３１１、重量センサー３１２とネットワークＮを通じ、他のカメラやパーソナルコンピュータと連携される。
【0072】
センシングデバイスとして棚カメラ３１１を用いる場合、物体認識部３６０２は、物体が棚内から取られた、又は物体が棚内に置かれた（戻された）画像の前後の画像を比較し、商品特定の対象となる画像領域を定義する（領域定義）。
即ち、物体認識部３６０２は、物体が棚内から取られた又は棚に置かれる前の物体撮像画像と、物体が棚内から取られた又は棚に置かれた後の物体撮像画像の変化前後の物体撮像画像を比較し、変化のあった画像領域を特定する。物体認識部３６０２は、画像領域を特定する際にＲＧＢデータ夫々で変化を確認する。
即ち、物体認識部３６０２は、物体が棚内から取られた又は棚に置かれる前の物体撮像画像と、物体が棚内から取られた又は棚に置かれた後の物体撮像画像の変化前後の物体撮像画像を比較し、変化のあった画像領域を特定する。物体認識部３６０２は、画像領域を特定する際にＲＧＢデータ夫々で変化を確認する。
【0073】
一方、センシングデバイスとして重量センサー３１２を用いる場合、物体認識部３６０２は、その重量の変化を確認し、例えば、重量が減少した場合には物体が棚内から取られたと検出し、一方重量が増加した場合には物体が棚内に置かれた（戻された）と検出する。
【0074】
また、物体認識部３６０２は、棚カメラ３１１を用いる場合には、物体入出検知部３６０８をトリガーに、物体が棚内から取られた又は棚に置かれた前の物体撮像画像と、物体が棚内から取られた又は棚に置かれた後の物体撮像画像の変化前後の比較とは別の方法を用い、１枚の物体撮像画像のみから物体の領域を定義してもよい。またここで、物体の色データが同じであるため、入出等の変化があっても変化がなかったと判定されないようにするため、物体認識部３６０２は、物体の影を利用することによっても領域を定義してもよい。
【0075】
そして、このようにして認識された物体が棚内から取られた又は棚に置かれたことに関する情報は、商品特定部３６０３に引き渡される。
また上述の例では、棚内から取られた又は棚に置かれたことを認識するには、カメラや重量センサーが用いられたが、これに限定されない。例えば、３Ｄセンサーをはじめとする各種センシングデバイスから取得した情報を基に、棚内から取られた又は棚に置かれたことを認識してもよい。
また上述の例では、棚内から取られた又は棚に置かれたことを認識するには、カメラや重量センサーが用いられたが、これに限定されない。例えば、３Ｄセンサーをはじめとする各種センシングデバイスから取得した情報を基に、棚内から取られた又は棚に置かれたことを認識してもよい。
【0076】
商品特定部３６０３は、物体認識部３６０２によって認識された棚内の物体がいずれの商品であるかを特定する。
【0077】
センシングデバイスとして棚カメラ３１１を用いる場合、商品特定部３６０３は、特定物体認識、一般物体認識、ディープラーニング（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）等の画像処理手法により、商品候補をリストアップする。このリストアップされた商品候補を「商品候補リストＳ」と呼ぶ。その後、商品特定部３６０３は、検証機能を発揮させることで、商品を高い精度で特定する。
【0078】
検証機能は前述の商品候補をリストアップする手法と異なる手法によって「商品候補リストＰ」をリストアップする。商品候補リストＳ、Ｐの結果をマッチングさせて、所定の閾値を超える場合、商品を特定する。
「商品候補リスト」のリストアップ手法として、例えば、存在が認識された物体から得られる物体の画像情報と、商品ＤＢ１３１やメモリ上に保持されている画像情報とマッチングさせる方法により実現されてもよい。即ち、両画像の特徴情報が一致する（閾値を超える）と、物体認識部３６０２によって存在が認識された物体が、商品ＤＢ１３１に登録されている商品であると認識し、商品特定部３６０３は、その商品ＤＢ１３１に登録された商品であると特定する。このように、ディープラーニングにより、商品候補を作成し、その後、検証機能を発揮させることで、商品を高い精度で特定する。
「商品候補リスト」のリストアップ手法として、例えば、存在が認識された物体から得られる物体の画像情報と、商品ＤＢ１３１やメモリ上に保持されている画像情報とマッチングさせる方法により実現されてもよい。即ち、両画像の特徴情報が一致する（閾値を超える）と、物体認識部３６０２によって存在が認識された物体が、商品ＤＢ１３１に登録されている商品であると認識し、商品特定部３６０３は、その商品ＤＢ１３１に登録された商品であると特定する。このように、ディープラーニングにより、商品候補を作成し、その後、検証機能を発揮させることで、商品を高い精度で特定する。
【0079】
また、商品特定部３６０３は、棚カメラ３１１によって撮像された撮像画像の１フレームで商品を特定せず、他のセンシングデバイスとして、例えば天井カメラ３１０によって撮像された撮像画像も駆使し、複数の撮像画像にわたって商品を特定してもよい。
【0080】
一方、センシングデバイスとして重量センサー３１２が用いられる場合は、商品ごとの重量が記録された「商品ごとの重量リスト」、又は商品が設置される棚の位置が記録された「商品ごとの位置情報リスト」が予め用意されている。
商品特定部３６０３は、「商品ごとの重量リスト」を用いる場合には、それと、棚内の重量の変化量と、をマッチングさせて、例えば、所定の閾値を超える場合に、商品又はその商品の個数を特定する。また、「商品ごとの重量リスト」に記録された商品ごとの重量及びマッチングにおける閾値は、統計分析や、ディープラーニング等の手法により定められてもよい。これにより、商品の重量にばらつきがある場合でも、高い精度で商品を特定することができるようになる。
また一方、商品特定部３６０３は、「商品ごとの位置情報リスト」を用いる場合には、それと、重量の変化があった棚の位置に関する情報とに基づいて、商品を特定する。
さらにまた、商品特定部３６０３は、「商品ごとの重量リスト」、及び「商品ごとの位置情報リスト」を組み合わせてマッチングに用いることにより、商品及び商品の個数の双方を特定してもよい。
商品特定部３６０３は、「商品ごとの重量リスト」を用いる場合には、それと、棚内の重量の変化量と、をマッチングさせて、例えば、所定の閾値を超える場合に、商品又はその商品の個数を特定する。また、「商品ごとの重量リスト」に記録された商品ごとの重量及びマッチングにおける閾値は、統計分析や、ディープラーニング等の手法により定められてもよい。これにより、商品の重量にばらつきがある場合でも、高い精度で商品を特定することができるようになる。
また一方、商品特定部３６０３は、「商品ごとの位置情報リスト」を用いる場合には、それと、重量の変化があった棚の位置に関する情報とに基づいて、商品を特定する。
さらにまた、商品特定部３６０３は、「商品ごとの重量リスト」、及び「商品ごとの位置情報リスト」を組み合わせてマッチングに用いることにより、商品及び商品の個数の双方を特定してもよい。
【0081】
また上述の例では、商品の特定には、カメラや重量センサーにより得られた情報が用いられたが、これらの情報に限定されない。即ち、その他のセンシングデバイスにより取得した情報を基に商品を特定してもよい。
また、それらの中から任意の１手法を採用してもよいし、複数の手法を組み合わせて採用してもよい。具体的には例えば、棚カメラ３１１から得られる商品の画像情報、重量センサー３１２から得られる商品の重量情報及び位置情報を組み合わせて商品を特定してもよい。このとき、マッチングにおける閾値は任意に定められてもよく、その閾値は、例えば、購入履歴、時間、場所、人の嗜好等の情報を参照してもよい。
さらにまた、複数のニューラルネットワークによるディープラーニングにより取得した情報と、他のセンシングデバイスにより取得した情報と、夫々任意に設定した閾値とを組み合わせて、任意のマッチングのアルゴリズムを作成してもよい。
このように、複数の手法を組み合わせた場合、夫々の手法による特定の精度が補完され、より高い精度で商品の特定をすることができるようになる。
また、それらの中から任意の１手法を採用してもよいし、複数の手法を組み合わせて採用してもよい。具体的には例えば、棚カメラ３１１から得られる商品の画像情報、重量センサー３１２から得られる商品の重量情報及び位置情報を組み合わせて商品を特定してもよい。このとき、マッチングにおける閾値は任意に定められてもよく、その閾値は、例えば、購入履歴、時間、場所、人の嗜好等の情報を参照してもよい。
さらにまた、複数のニューラルネットワークによるディープラーニングにより取得した情報と、他のセンシングデバイスにより取得した情報と、夫々任意に設定した閾値とを組み合わせて、任意のマッチングのアルゴリズムを作成してもよい。
このように、複数の手法を組み合わせた場合、夫々の手法による特定の精度が補完され、より高い精度で商品の特定をすることができるようになる。
【0082】
ここで、商品特定部３６０３において商品が不特定とされる場合について説明する。
例えば、センシングデバイスとして棚カメラ３１１を用いる場合、商品特定部３６０３は、物体が棚から取られた画像と物体が棚に置かれた画像とが類似する特徴点数を特定する。例えば、両画像に撮像された物体のサイズを特定したうえで比較し、色違いを特定したうえで色を比較し、両物体が類似しているかどうかを決定する。特徴点数が少ないと、商品不特定としてよい。
一方、センシングデバイスとして重量センサー３１２を用いる場合、商品特定部３６０３は例えば、商品の入出前後の重量の変化が、その位置情報と紐づく商品の重量との閾値を外れる場合に、商品不特定としてもよい。
さらには、上述した複数のニューラルネットワークによるディープラーニングにより取得した情報や、複数のセンシングデバイスにより得られる情報を組み合わせて作成した任意のマッチングアルゴリズムを用い、例えば、得られた結果が全て所定の閾値を超えた場合には商品特定とし、超えていない場合には商品不特定とするという構成にしてもよい。
例えば、センシングデバイスとして棚カメラ３１１を用いる場合、商品特定部３６０３は、物体が棚から取られた画像と物体が棚に置かれた画像とが類似する特徴点数を特定する。例えば、両画像に撮像された物体のサイズを特定したうえで比較し、色違いを特定したうえで色を比較し、両物体が類似しているかどうかを決定する。特徴点数が少ないと、商品不特定としてよい。
一方、センシングデバイスとして重量センサー３１２を用いる場合、商品特定部３６０３は例えば、商品の入出前後の重量の変化が、その位置情報と紐づく商品の重量との閾値を外れる場合に、商品不特定としてもよい。
さらには、上述した複数のニューラルネットワークによるディープラーニングにより取得した情報や、複数のセンシングデバイスにより得られる情報を組み合わせて作成した任意のマッチングアルゴリズムを用い、例えば、得られた結果が全て所定の閾値を超えた場合には商品特定とし、超えていない場合には商品不特定とするという構成にしてもよい。
【0083】
移動物体と商品紐づけ部３６０４は、商品特定部３６０３によって特定された商品の商品情報と移動物体Ｍｏとを紐づける。この前提として、移動物体Ｍｏの発見、定義、追跡に、天井カメラ３１０や棚カメラ３１１が用いられる場合、１台の棚カメラ３１１が撮像する所定エリア内に、１人の移動物体Ｍｏのみが存在する場合であれば、当該移動物体ＭｏのＩＤを特定することで、移動物体Ｍｏと商品情報とを紐づける。
【0084】
別の前提として、１台の棚カメラ３１１が撮像する所定エリア内に複数人の移動物体Ｍｏが存在する場合であれば、後述の棚カメラ又は天井カメラによる物体入出検知部が移動物体Ｍｏ内への物体の入出を検知した結果、棚内から取られた物体が入った移動物体Ｍｏを特定し、当該移動物体Ｍｏと商品情報とを紐づける。
さらに別の前提として、１台の棚カメラ３１１が撮像する所定エリア内に移動物体Ｍｏが１つも存在しないとされる場合であれば、少なくとも１台以上の棚カメラ３１１によって、移動物体Ｍｏへの入出を検知し、その移動物体Ｍｏを特定したうえで、その特定された移動物体Ｍｏと商品情報とを紐づける。
またここでも、移動物体Ｍｏの発見、定義、追跡には、天井カメラ３１０及び棚カメラ３１１に限定されず、各種各様のセンシングデバイスを用いることができる。
具体例としては例えば、３Ｄセンサーから得られた３Ｄデータから頭、肩、腕、手、足等の各パーツを推定することで、移動物体Ｍｏの高さ方向の情報を得ることができる。即ち、移動物体Ｍｏ同士の腕や手の重なっていた場合も、高い精度で移動物体Ｍｏを追跡することができ、商品との紐づけを高い精度で行うことができるようになる。
さらに別の前提として、１台の棚カメラ３１１が撮像する所定エリア内に移動物体Ｍｏが１つも存在しないとされる場合であれば、少なくとも１台以上の棚カメラ３１１によって、移動物体Ｍｏへの入出を検知し、その移動物体Ｍｏを特定したうえで、その特定された移動物体Ｍｏと商品情報とを紐づける。
またここでも、移動物体Ｍｏの発見、定義、追跡には、天井カメラ３１０及び棚カメラ３１１に限定されず、各種各様のセンシングデバイスを用いることができる。
具体例としては例えば、３Ｄセンサーから得られた３Ｄデータから頭、肩、腕、手、足等の各パーツを推定することで、移動物体Ｍｏの高さ方向の情報を得ることができる。即ち、移動物体Ｍｏ同士の腕や手の重なっていた場合も、高い精度で移動物体Ｍｏを追跡することができ、商品との紐づけを高い精度で行うことができるようになる。
【0085】
移動物体と紐づく商品リスト管理部３６０７は、精算までの間、移動物体Ｍｏと特定された商品とを紐づける商品リストを管理し続ける。即ち、移動物体と紐づく商品リスト管理部３６０７は、位置情報管理ＤＢ１３２等を活用し、移動物体ＭｏのＩＤに紐づく商品のリストを常に管理し続ける。
物体が棚内から取られた際、移動物体と紐づく商品リスト管理部３６０６は、取得された商品数分加算される。反対に、商品が棚内に戻された際、移動物体と紐づく商品リスト管理部３６０７は、戻された商品数分を減算する。
物体が棚内から取られた際、移動物体と紐づく商品リスト管理部３６０６は、取得された商品数分加算される。反対に、商品が棚内に戻された際、移動物体と紐づく商品リスト管理部３６０７は、戻された商品数分を減算する。
【0086】
物体入出検知部３６０８は、棚内へ物体が進入したことを検知することで、物体認識部３６０２の発動のトリガーとすることができる。
センシングデバイスとして棚カメラ３１１を用いる場合、物体入出検知部３６０８は、棚内への物体の進入を、例えば各棚カメラ３１１の撮像画像に設定した「進入検知領域」における画像データの変化から検知する。また、物体入出検知部３６０８は、入ってきた物体を画像内で追跡することで、物体が領域外に退出したことも検知する。
センシングデバイスとして棚カメラ３１１を用いる場合、物体入出検知部３６０８は、棚内への物体の進入を、例えば各棚カメラ３１１の撮像画像に設定した「進入検知領域」における画像データの変化から検知する。また、物体入出検知部３６０８は、入ってきた物体を画像内で追跡することで、物体が領域外に退出したことも検知する。
【0087】
物体を追跡するために、物体入出検知部３６０８は、棚内の進入検知領域にパーティクルフィルタをまく。複数の移動物体Ｍｏが同時に手を伸ばした場合のように、複数の移動物体Ｍｏを同時に追跡できるようにするため、１つ目の物体が進入後に、前記「進入検知領域」に再度、パーティクルをまき、次の物体の進入に備える。
ただし、同じ領域に複数の物体が進入しないことを前提とすれば、物体入出検知部３６０８は、既に物体が存在する領域にかかる進入検知領域にはパーティクルをまかない。
ただし、同じ領域に複数の物体が進入しないことを前提とすれば、物体入出検知部３６０８は、既に物体が存在する領域にかかる進入検知領域にはパーティクルをまかない。
【0088】
物体入出検知部３６０８は、所定領域において、一定の尤度を持つパーティクルの占める割合が閾値以上の場合は「物体入」と判定し、一定の尤度を持つパーティクルが閾値未満の場合は「物体出」と判定する。
一度になるべく少ない量の物体の領域が推定されるように、物体入出検知部は、商品が進入される都度、入出を検知する。
変化前後の画像は、推定領域で利用できるようにサーバ１の記憶部１０８に記憶される。
物体入出検知部３６０８は、上述の例以外に、物体の撮像画像から得られるスペクトル（波長）データから物体入出を検知してもよい。さらに、棚内への物体の進入を検知するセンシングデバイスとしては、上述の棚カメラに限定されず、各種各様のセンシングデバイスを用いることができる。例えば、画像センサー（カメラ等）の他、重量センサー、３Ｄセンサー、温度センサー、距離センサー、赤外線を活用したセンサー、圧力センサー、エチレンガスセンサー等種々のものを採用することができる。
一度になるべく少ない量の物体の領域が推定されるように、物体入出検知部は、商品が進入される都度、入出を検知する。
変化前後の画像は、推定領域で利用できるようにサーバ１の記憶部１０８に記憶される。
物体入出検知部３６０８は、上述の例以外に、物体の撮像画像から得られるスペクトル（波長）データから物体入出を検知してもよい。さらに、棚内への物体の進入を検知するセンシングデバイスとしては、上述の棚カメラに限定されず、各種各様のセンシングデバイスを用いることができる。例えば、画像センサー（カメラ等）の他、重量センサー、３Ｄセンサー、温度センサー、距離センサー、赤外線を活用したセンサー、圧力センサー、エチレンガスセンサー等種々のものを採用することができる。
【0089】
商品不特定判定部３６０９は、商品特定部３６０３によって商品を特定できなかったことを棚から物体を取った移動物体Ｍｏと紐づける。
【0090】
ラベル認識部３６１０は、商品特定部３６０３によって特定された商品に応じて、貼付されたラベルを認識する。ラベル認識部３６１０は、画像認識や文字認識の手法を駆使し、ラベルに記載された文字、バーコード等を含む多次元コードを読み取り、商品特定を補完する。
【0091】
値引きシール認識部３６１１は、商品特定部３６０３によって特定された商品に応じて、貼付された値引きシールを認識する。値引きシール認識部３６１１は、画像認識や文字認識の手法を駆使し、商品に貼付された値引きシールの値引き額や割引率を特定する。値引きシール認識部３６１１は、商品特定部の処理中に実行される。
【0092】
なお本実施形態においては、特定の物体について目検用端末Ｑによる目検が行われる特定物体目検モードと、全ての物体について目検用端末Ｑによる目検が行われる全物体目検モードとが設定可能となっている。
特定物体目検モードに設定されている場合、商品特定部３６０３は、商品不特定とされた物体に関する、各種センシングデバイスにより得られる関連情報を、目検結果取得部３０１ａを介して目検用端末Ｑに送信する。一方、全物体目検モードに設定されている場合、商品特定部３６０３は、商品の特定結果及び特定された商品の関連情報と、商品不特定とされた物体の関連情報等とを目検結果取得部３０１ａを介して目検用端末Ｑに送信する。
そして、商品特定部３６０３は、目検結果取得部３０１ａが目検用端末Ｑから取得した目検結果に基づいて、商品の特定を行う。具体的には、商品特定部３６０３によって特定された商品については、目検結果により特定結果が承認、又は修正された場合、商品特定部３６０３は、目検結果が示す内容に従って、商品の特定を行う。また、商品特定部３６０３によって商品不特定とされた物体については、商品特定部３６０３は、その物体を目検結果が示す商品として特定する。なお、商品特定部３６０３が目検による商品の特定を依頼する場合、ラベル認識部３６１０による商品特定の補完を経た後に、依頼を行うことにしてもよい。この場合、ラベル認識部３６１０による商品特定の補完の結果、商品が特定されたものを除外して、目検による商品の特定を行うことができる。
特定物体目検モードに設定されている場合、商品特定部３６０３は、商品不特定とされた物体に関する、各種センシングデバイスにより得られる関連情報を、目検結果取得部３０１ａを介して目検用端末Ｑに送信する。一方、全物体目検モードに設定されている場合、商品特定部３６０３は、商品の特定結果及び特定された商品の関連情報と、商品不特定とされた物体の関連情報等とを目検結果取得部３０１ａを介して目検用端末Ｑに送信する。
そして、商品特定部３６０３は、目検結果取得部３０１ａが目検用端末Ｑから取得した目検結果に基づいて、商品の特定を行う。具体的には、商品特定部３６０３によって特定された商品については、目検結果により特定結果が承認、又は修正された場合、商品特定部３６０３は、目検結果が示す内容に従って、商品の特定を行う。また、商品特定部３６０３によって商品不特定とされた物体については、商品特定部３６０３は、その物体を目検結果が示す商品として特定する。なお、商品特定部３６０３が目検による商品の特定を依頼する場合、ラベル認識部３６１０による商品特定の補完を経た後に、依頼を行うことにしてもよい。この場合、ラベル認識部３６１０による商品特定の補完の結果、商品が特定されたものを除外して、目検による商品の特定を行うことができる。
【0093】
また、本情報処理システムは、売買制限商品判定部３８０と、遠隔操作部３９０と、を備える。
売買制限商品判定部３８０は、特定された商品が売買制限商品であるか否かを判定する。
なお、売買制限商品としては、（Ａ）タバコ、酒類等のような一定の年齢に達しないと購入できない商品、（Ｂ）消費期限切れや賞味期限切れの商品、（Ｃ）アレルギー成分を含むため、体質によって、摂取すべきでない商品、（Ｄ）ハラル食品以外の商品等、宗教による制限のある商品、が該当する。
即ち、売買制限商品判定部３８０は、ＤＢ情報から、特定された商品が酒類、タバコ類の年齢制限による売買制限商品と判定する。また、売買制限商品判定部３８０は、文字認識等を活用し、当該商品が消費期限や賞味期限切れによる売買制限商品と判定する。また、売買制限商品判定部３８０は、個人認証により得られた個人情報と紐づけ、当該商品が買い物客に対しアレルギー、ハラル食品以外等の売買制限商品と判定する。
売買制限商品判定部３８０は、売買制限商品を検知すると、その情報をエラー表示部１５１に表示されるようにする。
本実施形態において、売買制限商品判定部３８０は、売買制限商品に該当する商品の関連情報を、目検結果取得部３０１ａを介して目検用端末Ｑに送信してもよい。このとき、売買制限商品判定部３８０は、売買制限商品の種別に応じて、買い物客に関する情報（顔画像、個人情報等）を、目検結果取得部３０１ａを介して目検用端末Ｑに適宜送信する。
そして、売買制限商品判定部３８０は、目検結果取得部３０１ａが目検用端末Ｑから取得した目検結果に基づいて、売買制限商品の販売が許可されるか否か（売買制限が解除されたか否か）を判定することができる。
売買制限商品判定部３８０は、特定された商品が売買制限商品であるか否かを判定する。
なお、売買制限商品としては、（Ａ）タバコ、酒類等のような一定の年齢に達しないと購入できない商品、（Ｂ）消費期限切れや賞味期限切れの商品、（Ｃ）アレルギー成分を含むため、体質によって、摂取すべきでない商品、（Ｄ）ハラル食品以外の商品等、宗教による制限のある商品、が該当する。
即ち、売買制限商品判定部３８０は、ＤＢ情報から、特定された商品が酒類、タバコ類の年齢制限による売買制限商品と判定する。また、売買制限商品判定部３８０は、文字認識等を活用し、当該商品が消費期限や賞味期限切れによる売買制限商品と判定する。また、売買制限商品判定部３８０は、個人認証により得られた個人情報と紐づけ、当該商品が買い物客に対しアレルギー、ハラル食品以外等の売買制限商品と判定する。
売買制限商品判定部３８０は、売買制限商品を検知すると、その情報をエラー表示部１５１に表示されるようにする。
本実施形態において、売買制限商品判定部３８０は、売買制限商品に該当する商品の関連情報を、目検結果取得部３０１ａを介して目検用端末Ｑに送信してもよい。このとき、売買制限商品判定部３８０は、売買制限商品の種別に応じて、買い物客に関する情報（顔画像、個人情報等）を、目検結果取得部３０１ａを介して目検用端末Ｑに適宜送信する。
そして、売買制限商品判定部３８０は、目検結果取得部３０１ａが目検用端末Ｑから取得した目検結果に基づいて、売買制限商品の販売が許可されるか否か（売買制限が解除されたか否か）を判定することができる。
【0094】
遠隔操作部３９０は、システム処理異常、商品不特定又は売買制限等のエラー状態の通知を受けた場合、遠隔操作でエラー状態を解消する。センシングデバイスとし、天井カメラ３１０や棚カメラ３１１を用いる場合、エラー状態を検知した天井カメラ３１０、棚カメラ３１１や精算ゲート５は、エラー状態である旨をネットワークＮを経由し、店内又は店外の遠隔操作用の情報端末９ａ，９ｂやサーバ１に通知する。そして、当該エラー状態を検知したときの物体あるいは商品に関する関連情報を、同様にネットワークＮを経由し、店内又は店外の遠隔操作用の情報端末９ａ，９ｂやサーバ１に通知する。これらの装置の操作により、エラー状態を解消することができるが、当然、店内の有人レジにてエラー状態を解除してもよく、店員Ｍｔ等がエラー状態の発生している場に赴きエラー状態を解除してもよい。
【0095】
目検結果取得部３０１ａは、センシングデバイスにより得られる物体あるいは商品に関する関連情報を目検用端末Ｑに送信することにより、目検による商品の特定を依頼し、この依頼に応じて目検用端末Ｑから送信された目検結果を取得する。目検結果取得部３０１ａは、取得した目検結果（商品の特定結果）を棚商品認識部３６０に出力する。また、目検結果取得部３０１ａは、売買制限商品に該当する商品の商品撮像画像を目検用端末Ｑに送信することにより、目検による売買制限商品の判定を依頼し、目検用端末Ｑから送信された目検結果を取得する。このとき、目検結果取得部３０１ａは、移動物体Ｍｏに関する情報（顔画像、個人情報等）を、適宜、目検用端末Ｑに送信する。目検結果取得部３０１ａは、取得した目検結果（売買制限商品の判定結果）を売買制限商品判定部３８０に出力する。
【0096】
精算ゲート５のＣＰＵ５０１においては、図７に示すように、精算部５３５と、入力制御部５３６と、出力制御部５３７と、が機能する。
【0097】
精算部５３５においては、追跡された移動物体Ｍｏが、精算エリア４５に進入したときに、１以上の移動物体Ｍｏに紐づく商品情報（商品のリスト）が通信部５０９を介してサーバ１から入力され、精算金額及び精算対象商品が確定する。
入力制御部５３６は、ゲート本体に備えられた精算ボタンや、情報読取部等の入力部５０６からの信号を入力する。
出力制御部５３７は、出力部５０７に精算金額を表示させたり、精算機５ａに情報を出力したり、開閉部材を開閉させたりする。
入力制御部５３６は、ゲート本体に備えられた精算ボタンや、情報読取部等の入力部５０６からの信号を入力する。
出力制御部５３７は、出力部５０７に精算金額を表示させたり、精算機５ａに情報を出力したり、開閉部材を開閉させたりする。
【0098】
ここで精算エリア４５に進入した移動物体Ｍｏが１人である場合、侵入した移動物体Ｍｏに紐づく商品情報を基に、精算金額や精算対象商品が確定する。
一方、精算エリア４５に進入した移動物体Ｍｏが複数人である場合、侵入した複数人の移動物体Ｍｏに紐づく商品情報を基に、精算金額や精算対象商品を確定する。即ち、複数人の精算金額や精算対象商品がまとめて確定する。具体的には例えば、父親が財布を持って決済する場合において、同伴者である母親と子供に紐づく商品情報（商品のリスト）をもまとめて確定し（グルーピング）、父親が決済できるようすることもできる。
一方、精算エリア４５に進入した移動物体Ｍｏが複数人である場合、侵入した複数人の移動物体Ｍｏに紐づく商品情報を基に、精算金額や精算対象商品を確定する。即ち、複数人の精算金額や精算対象商品がまとめて確定する。具体的には例えば、父親が財布を持って決済する場合において、同伴者である母親と子供に紐づく商品情報（商品のリスト）をもまとめて確定し（グルーピング）、父親が決済できるようすることもできる。
【0099】
精算機５ａを備えた精算ゲート５－１は、商品金額の合計を算出し、精算する装置である。
この精算ゲート５－１にあっては、決済する人が精算エリア４５に侵入すると、この侵入がトリガーとなって移動物体Ｍｏに紐づく商品情報が読み出され、精算金額が確定し、精算ゲート５－１を通過可能となる。ここで、開閉部材が備えられている場合は、開閉部材が開く。そして、決済する人が精算機５ａによって決済すると、退店可能となる。
または、精算ゲート５－１に精算ボタン（図示せず）を設置し、決済する人がその精算ボタンを押下することによって、移動物体Ｍｏに紐づく商品情報が読み出され、精算金額が確定し、精算ゲート５－１を通過できるようにしてもよい。
この精算ゲート５－１にあっては、決済する人が精算エリア４５に侵入すると、この侵入がトリガーとなって移動物体Ｍｏに紐づく商品情報が読み出され、精算金額が確定し、精算ゲート５－１を通過可能となる。ここで、開閉部材が備えられている場合は、開閉部材が開く。そして、決済する人が精算機５ａによって決済すると、退店可能となる。
または、精算ゲート５－１に精算ボタン（図示せず）を設置し、決済する人がその精算ボタンを押下することによって、移動物体Ｍｏに紐づく商品情報が読み出され、精算金額が確定し、精算ゲート５－１を通過できるようにしてもよい。
【0100】
ただし、例えば、精算対象商品が年齢制限商品であり、年齢確認ができていないといったエラー状態となった場合は、情報端末９ａ、情報端末９ｂやエラー表示部１５１にエラー状態の旨が提示される。その際、精算ゲート５－１は、開閉部材を閉じたままにする等し、通過不可の状態を維持する。精算ゲート５－１は、音や光等の手段によって、エラー状態である旨を提示してもよい。店員Ｍｔが年齢を確認する等、制限を解除できる状態となると、店員Ｍｔの操作によってエラー解除部１５２の操作により、制限が解除され、精算ゲート５－１は通過可能な状態となる。なお、制限の解除は、遠隔操作によって実現することもできる。
【0101】
移動物体Ｍｏにいずれの商品か特定できない物体（不特定の物体）が紐づいている場合は、情報端末９ａ、情報端末９ｂやエラー表示部１５１にエラー状態の旨が提示される。その際、精算ゲート５－１は、開閉部材を閉じたままにする等し、通過不可の状態を維持する。精算ゲート５－１は、音や光等の手段によって、エラー状態である旨を提示してもよい。
また、商品不特定との結果が返された場合は、売場装置等において画面表示等で購入者に知らせる構成としてもよいし、音声で案内をする構成としてもよい。具体的に考えられるケースとしては、（Ａ）商品不特定となった際に、購入者へ商品の取り直し（棚からの取り直し、カゴへの入れ直し）を依頼する、（Ｂ）購入者への売場装置等の使用方法のガイドを行う等がある。さらにまた、（Ｃ）商品として特定される可能性の高い商品の候補を購入者に提示し、画面上で該当する商品を選択するように依頼する、（Ｄ）購入者へバーコードリーダー等を用いて商品を特定するよう依頼をする、（Ｅ）購入者へ商品の一覧を表示し、購入者に商品を特定するよう依頼する、等がある。
なお、この不特定の物体を、有人の精算レジ６において、店員Ｍｔが対応し、商品を特定してもよい。
また、商品不特定との結果が返された場合は、売場装置等において画面表示等で購入者に知らせる構成としてもよいし、音声で案内をする構成としてもよい。具体的に考えられるケースとしては、（Ａ）商品不特定となった際に、購入者へ商品の取り直し（棚からの取り直し、カゴへの入れ直し）を依頼する、（Ｂ）購入者への売場装置等の使用方法のガイドを行う等がある。さらにまた、（Ｃ）商品として特定される可能性の高い商品の候補を購入者に提示し、画面上で該当する商品を選択するように依頼する、（Ｄ）購入者へバーコードリーダー等を用いて商品を特定するよう依頼をする、（Ｅ）購入者へ商品の一覧を表示し、購入者に商品を特定するよう依頼する、等がある。
なお、この不特定の物体を、有人の精算レジ６において、店員Ｍｔが対応し、商品を特定してもよい。
【0102】
また、電子マネーを用いた精算ゲート５－２においては、決済する人が、この精算ゲート５－２の精算エリア４５に進入し、バーコードやＱＲコード（登録商標）を含む各種カードを、カード読取部にかざすと、移動物体Ｍｏに紐づく商品情報が読み出され、精算及び決済が完了する。そして、決済する人は、精算ゲート５－２を通過可能となる。
精算対象商品が売買制限商品であったり、移動物体Ｍｏに不特定の物体が紐づいている場合は、上述の精算ゲート５－１と同じ動作となる。
精算対象商品が売買制限商品であったり、移動物体Ｍｏに不特定の物体が紐づいている場合は、上述の精算ゲート５－１と同じ動作となる。
【0103】
また、精算ゲート５－３においては、追跡された移動物体Ｍｏが個人認証済みであり、決済の情報が特定されている必要がある。
精算ゲート５－３は、決済する人が精算ゲート５－３の精算エリア４５に進入すると、エラーがない限り、自動精算されて、精算ゲート５－３を通過可能となる。
精算対象商品が売買制限商品であったり、移動物体Ｍｏに不特定の物体が紐づいている場合は、上述の精算ゲート５－１と同じ動作となる。
精算ゲート５－３は、決済する人が精算ゲート５－３の精算エリア４５に進入すると、エラーがない限り、自動精算されて、精算ゲート５－３を通過可能となる。
精算対象商品が売買制限商品であったり、移動物体Ｍｏに不特定の物体が紐づいている場合は、上述の精算ゲート５－１と同じ動作となる。
【0104】
ここで、一旦精算エリア４５に進入した決済する人が、精算が完了する前に精算エリア４５から退いた場合、確定されて読み出された移動物体Ｍｏに紐づく商品情報は、キャンセルされる。そして、決済する人が、精算エリア４５から退いた後、再度精算エリア４５に進入した場合、移動物体Ｍｏに紐づく商品情報が再度読み込まれ、精算金額や精算対象商品が確定する。
即ち、決済する人が一旦精算エリアから退き、商品を追加購入したり、商品を棚に戻した後、再度精算エリアに侵入した場合でも、移動物体Ｍｏに紐づく商品情報は更新されて確定されることになる。
またここで商品情報の読み取りのトリガーとしては、（１）決済する人が精算エリア４５に進入したとき、商品情報が自動的に読み込まれる、（２）決済する人が精算ゲート５－１に設置された精算ボタンを押下することによって、商品情報が読み込まれるケースがある。
また、移動物体Ｍｏに紐づく商品情報が破棄される際のトリガーとしては、（１）決済する人が精算エリア４５から退いたとき、商品情報が自動的に破棄される、（２）決済する人が精算ゲートに設置されたキャンセルボタン（図示せず）を押下することによって、読み込まれた商品情報が破棄される、（３）決済する人が所定の時間までに決済処理をしない場合、タイムアウトとして、商品情報が自動的に破棄される、等がある。
即ち、決済する人が一旦精算エリアから退き、商品を追加購入したり、商品を棚に戻した後、再度精算エリアに侵入した場合でも、移動物体Ｍｏに紐づく商品情報は更新されて確定されることになる。
またここで商品情報の読み取りのトリガーとしては、（１）決済する人が精算エリア４５に進入したとき、商品情報が自動的に読み込まれる、（２）決済する人が精算ゲート５－１に設置された精算ボタンを押下することによって、商品情報が読み込まれるケースがある。
また、移動物体Ｍｏに紐づく商品情報が破棄される際のトリガーとしては、（１）決済する人が精算エリア４５から退いたとき、商品情報が自動的に破棄される、（２）決済する人が精算ゲートに設置されたキャンセルボタン（図示せず）を押下することによって、読み込まれた商品情報が破棄される、（３）決済する人が所定の時間までに決済処理をしない場合、タイムアウトとして、商品情報が自動的に破棄される、等がある。
【0105】
次に、本実施形態の情報処理システムにおける商品の精算方法について、図１２を参照して説明する。
図１２及び図１３は、本発明の情報処理システムの第１の実施形態に係る構成のうち、図８のサーバと売場装置と精算ゲートと目検用端末とが実行する自動精算処理を説明するフローチャートである。
図１２及び図１３は、本発明の情報処理システムの第１の実施形態に係る構成のうち、図８のサーバと売場装置と精算ゲートと目検用端末とが実行する自動精算処理を説明するフローチャートである。
【0106】
なおここでは説明の便宜上、センシングデバイスとして、移動物体Ｍｏの発見、領域定義、追跡には天井カメラを、物体入出検知には棚カメラを、そして、物体の認識には、棚カメラ及び重量センサーを用いるものとして説明するが、これに限定されない。上述の通り、ここでも各種各様のセンシングデバイスを採用ことができるものとする。
ステップＳ４０１において、移動物体Ｍｏが店舗４０（図３）の入口４１から店内に入店すると、入口４１付近に設置された天井カメラ３１０がその移動物体Ｍｏの撮像を開始する。移動物体Ｍｏが例えばカゴやカートを手にし、通路４４を進むと奥の天井カメラ３１０がその移動物体Ｍｏの撮像を開始する。このようにして複数の天井カメラ３１０が移動物体Ｍｏ、カゴ、カートを含む店舗３０内全体を常時撮像する。なお、ステップＳ４０１の前に、個人認証部３２０が移動物体Ｍｏである買い物客の個人認証し、移動物体Ｍｏの個人情報を取得してもよい。
ステップＳ４０１において、移動物体Ｍｏが店舗４０（図３）の入口４１から店内に入店すると、入口４１付近に設置された天井カメラ３１０がその移動物体Ｍｏの撮像を開始する。移動物体Ｍｏが例えばカゴやカートを手にし、通路４４を進むと奥の天井カメラ３１０がその移動物体Ｍｏの撮像を開始する。このようにして複数の天井カメラ３１０が移動物体Ｍｏ、カゴ、カートを含む店舗３０内全体を常時撮像する。なお、ステップＳ４０１の前に、個人認証部３２０が移動物体Ｍｏである買い物客の個人認証し、移動物体Ｍｏの個人情報を取得してもよい。
【0107】
ステップＳ４０２において、天井カメラによる移動物体発見部３３０２が移動物体Ｍｏを発見し、個別のＩＤを採番する。ＩＤは、退店又は精算完了等の特定のタイミングまで使い続けられる。なお、このタイミングで個人認証部３２０が買い物客の個人認証をし、移動物体Ｍｏの個人情報を取得してもよい。さらに、グルーピング部３３０８が複数の移動物体Ｍｏを１つのまとまりとして、グルーピングしてもよく、血縁関係判定部３３０９が複数の移動物体Ｍｏの血縁関係を判定し、グルーピング部３３０８の補完をしてもよい。
【0108】
ステップＳ４０３において、天井カメラによる移動物体領域定義部３３０４が天井カメラによる移動物体発見部３３０２によって発見した移動物体Ｍｏを含む所定の領域を定義する。また、天井カメラ３１０によって撮像されている範囲内で移動物体Ｍｏが移動したときに、移動後の移動物体Ｍｏの領域の位置を改めて定義する。位置情報は移動物体ＭｏのＩＤと紐づけて位置情報管理ＤＢ１３２やメモリ等で管理され、領域定義ごとに更新される。この定義された位置は、別の天井カメラ３１０において撮像されている位置でも認識される。
【0109】
ステップＳ４０４において、天井カメラによる移動物体領域追跡部３３０５がある天井カメラ３１０によって撮像されている撮像画像内で移動物体Ｍｏが移動する位置を推定する。さらに、移動物体領域定義部３３０４が移動したと推定される位置に対し、移動物体Ｍｏの領域を定義し、位置情報管理ＤＢ１３２やメモリ上に記憶されている移動物体Ｍｏの位置情報を更新する。
【0110】
ステップＳ４０５において、物体入出検知部３６０８は、棚カメラ３１１により移動物体Ｍｏの手等の物体が棚内に入ったこと及び出たこと、又は棚内の重量が変化したことを検知する。この検知がトリガーとなって、物体認識部３６０２が発動する。棚内への物体の進入は、各棚カメラ３１１に設定された進入検知領域における画像データが変化したかどうかにより検知する。
なお、物体入出検知部３６０８は、棚カメラ３１１による撮像により、棚内に進入した移動物体Ｍｏの手等物体を追跡し続けることで物体が棚内から退出したことを検知する。
なお、物体入出検知部３６０８は、棚カメラ３１１による撮像により、棚内に進入した移動物体Ｍｏの手等物体を追跡し続けることで物体が棚内から退出したことを検知する。
【0111】
ステップＳ４０６において、物体入出検知部３６０８発動をトリガーとし、物体認識部３６０２は、棚カメラ３１１を用いる場合には、物体が取られた画像又は物体が置かれた画像の前後の画像を比較し、商品特定の対象となる画像領域を定義する。
またステップＳ４０６において、重量センサー３１２を用いる場合には、その重量の変化を確認し、例えば、重量が減少した場合には物体が棚内から取られたと検出し、一方重量が増加した場合には物体が棚内に置かれた（戻された）と検出する。
また、ステップＳ４０６に際して、天井カメラによる物体取得認識部が棚内等から移動物体Ｍｏが物体を取得したことを認識してもよい。
またステップＳ４０６において、重量センサー３１２を用いる場合には、その重量の変化を確認し、例えば、重量が減少した場合には物体が棚内から取られたと検出し、一方重量が増加した場合には物体が棚内に置かれた（戻された）と検出する。
また、ステップＳ４０６に際して、天井カメラによる物体取得認識部が棚内等から移動物体Ｍｏが物体を取得したことを認識してもよい。
【0112】
ステップＳ４０７において、商品特定部３６０３が、物体がいずれの商品であるかを特定する。
商品特定部３６０３は、物体認識部３６０２により定義された物体について、棚カメラ３１１を用いる場合には、特定物体認識、一般物体認識、ディープラーニング等の画像処理手法により、商品候補をリストアップする。このリストアップされた商品候補を「商品候補リストＳ」と呼ぶ。その後、商品特定部３６０３は、検証機能を発揮させ、商品を高い精度で特定する。
また、ステップＳ４０７において、重量センサー３１２が用いられる場合には、商品ごとの重量が記録された「商品ごとの重量リスト」、又は商品が設置される棚の位置が記録された「商品ごとの位置情報リスト」が予め用意されている。
商品特定部３６０３は、「商品ごとの重量リスト」、「商品ごとの位置情報リスト」に基づいて商品を特定する。
また、ステップＳ４０７に際して、ラベル認識部が、特定された商品に応じて紐づけされたラベルを認識してもよい。
また、ステップＳ４０７に際して、値引きシール認識部が、特定された商品に応じて、貼付された値引きシールを認識してもよい。
また、ステップＳ４０７に際して、天井カメラによる商品特定部が、天井カメラによる物体取得認識部が取得した物体領域について、いずれの商品かを特定してもよい。
商品特定部３６０３は、物体認識部３６０２により定義された物体について、棚カメラ３１１を用いる場合には、特定物体認識、一般物体認識、ディープラーニング等の画像処理手法により、商品候補をリストアップする。このリストアップされた商品候補を「商品候補リストＳ」と呼ぶ。その後、商品特定部３６０３は、検証機能を発揮させ、商品を高い精度で特定する。
また、ステップＳ４０７において、重量センサー３１２が用いられる場合には、商品ごとの重量が記録された「商品ごとの重量リスト」、又は商品が設置される棚の位置が記録された「商品ごとの位置情報リスト」が予め用意されている。
商品特定部３６０３は、「商品ごとの重量リスト」、「商品ごとの位置情報リスト」に基づいて商品を特定する。
また、ステップＳ４０７に際して、ラベル認識部が、特定された商品に応じて紐づけされたラベルを認識してもよい。
また、ステップＳ４０７に際して、値引きシール認識部が、特定された商品に応じて、貼付された値引きシールを認識してもよい。
また、ステップＳ４０７に際して、天井カメラによる商品特定部が、天井カメラによる物体取得認識部が取得した物体領域について、いずれの商品かを特定してもよい。
【0113】
ステップＳ４０８において、商品特定部３６０３は、特定物体目検モード、又は全物体目検モードのいずれに設定されているか判定する。
特定物体目検モードに設定されている場合、処理はステップＳ４０９に進む。
また、全物体目検モードに設定されている場合、処理はステップＳ４１０に進む。
ステップＳ４１０において、目検結果取得部３０１ａは、対象となる物体について、目検用端末Ｑにおける目検（商品の特定）を依頼し、その目検結果を取得する。
ステップＳ４０９の後、処理はステップＳ４１１に進む。
ステップＳ４１０において、商品特定部３６０３は、追加された１個の物体がいずれの商品であるか特定できないものであるかどうか判定する。商品特定部３６０３がいずれの商品であるか特定できないものである場合（ステップＳ４１０においてＹＥＳ）は、処理はステップＳ４０９に進む。
特定物体目検モードに設定されている場合、処理はステップＳ４０９に進む。
また、全物体目検モードに設定されている場合、処理はステップＳ４１０に進む。
ステップＳ４１０において、目検結果取得部３０１ａは、対象となる物体について、目検用端末Ｑにおける目検（商品の特定）を依頼し、その目検結果を取得する。
ステップＳ４０９の後、処理はステップＳ４１１に進む。
ステップＳ４１０において、商品特定部３６０３は、追加された１個の物体がいずれの商品であるか特定できないものであるかどうか判定する。商品特定部３６０３がいずれの商品であるか特定できないものである場合（ステップＳ４１０においてＹＥＳ）は、処理はステップＳ４０９に進む。
【0114】
ステップＳ４１０において商品特定部３６０３がいずれの商品であるか特定できた場合（ステップＳ４１０においてＮＯ）は、商品特定部３６０３は、サーバ１の記憶部に保持された商品名や価格、売買制限商品である等の情報を含めて商品を特定する。これにより、処理はステップＳ４１１に進む。特定された商品情報は、出力部５０７に出力されてもよい。
また、ステップＳ４１０において、商品特定部３６０３がいずれの商品であるか特定できなかった場合は、例えば、売場装置３に備え付けられた図示しない表示部の画面表示や、図示しないスピーカーによる音声案内等で、購入者へ商品の棚からの取り直しを依頼する構成としてもよい。さらに、売場装置３備え付けられた図示しないマイクロフォンを介して、購入者と目検者等が通話する構成としてもよい。また例えば、精算ゲート５の出力部５０７等に、いずれかの商品であるか特定できなかった旨の表示をさせたり、該当する可能性の高い商品の候補を購入者に提示し、画面上で該当する商品を選択するように依頼してもよい。あるいは、購入者へバーコードリーダー等を用いて商品を特定するよう依頼をしたり、購入者へ商品の一覧を表示し、購入者に商品を特定するよう依頼してもよい。
また、ステップＳ４１０において、商品特定部３６０３がいずれの商品であるか特定できなかった場合は、例えば、売場装置３に備え付けられた図示しない表示部の画面表示や、図示しないスピーカーによる音声案内等で、購入者へ商品の棚からの取り直しを依頼する構成としてもよい。さらに、売場装置３備え付けられた図示しないマイクロフォンを介して、購入者と目検者等が通話する構成としてもよい。また例えば、精算ゲート５の出力部５０７等に、いずれかの商品であるか特定できなかった旨の表示をさせたり、該当する可能性の高い商品の候補を購入者に提示し、画面上で該当する商品を選択するように依頼してもよい。あるいは、購入者へバーコードリーダー等を用いて商品を特定するよう依頼をしたり、購入者へ商品の一覧を表示し、購入者に商品を特定するよう依頼してもよい。
【0115】
ステップＳ４１１において、売買制限商品判定部３８０は、商品特定部３６０３によって特定された商品が、年齢確認が必要とされる商品であるかどうかを判定する。
【0116】
ステップＳ４１１において、商品特定部３６０３によって特定された商品が、年齢確認が必要とされる商品であると判定された場合は、即ちＹＥＳと判定された場合、処理はステップＳ４１２に進む。
ステップＳ４１１において、商品特定部３６０３によって特定された商品が、年齢確認が必要とされる商品でないと判定された場合は、即ちＮＯと判定された場合、処理はステップＳ４１７に進む。
ステップＳ４１２において、出力制御部５３７は、精算ゲート５の出力部５０７に年齢確認のための画面を表示させる。ただし、移動物体Ｍｏの個人情報が取得され、ここで年齢確認する必要がない場合は、ステップＳ４１２はスキップされ、処理はステップＳ４１６に進む。ここで、移動物体Ｍｏの年齢認証に問題があるときは、精算ゲート５に備え付けられた図示しないスピーカーと図示しないマイクロフォンを介して、購入者と目検者等が通話する構成としてもよい。
ステップＳ４１３において、目検結果取得部３０１ａは、対象となる商品について、目検用端末Ｑにおける目検（売買制限商品の判定）を依頼し、その目検結果を取得する。
ステップＳ４１４において、売買制限商品判定部３８０は、売買制限を解除する指示を受け付けたか否かを判定する。売買制限商品の売買制限の解除は、判定の結果を受けて店員がその場で対応する、もしくはシステムとして目検の結果を採用する、いずれかの方法で行う。ここではシステムとして目検の結果を採用する場合について説明する。
ステップＳ４１１において、商品特定部３６０３によって特定された商品が、年齢確認が必要とされる商品でないと判定された場合は、即ちＮＯと判定された場合、処理はステップＳ４１７に進む。
ステップＳ４１２において、出力制御部５３７は、精算ゲート５の出力部５０７に年齢確認のための画面を表示させる。ただし、移動物体Ｍｏの個人情報が取得され、ここで年齢確認する必要がない場合は、ステップＳ４１２はスキップされ、処理はステップＳ４１６に進む。ここで、移動物体Ｍｏの年齢認証に問題があるときは、精算ゲート５に備え付けられた図示しないスピーカーと図示しないマイクロフォンを介して、購入者と目検者等が通話する構成としてもよい。
ステップＳ４１３において、目検結果取得部３０１ａは、対象となる商品について、目検用端末Ｑにおける目検（売買制限商品の判定）を依頼し、その目検結果を取得する。
ステップＳ４１４において、売買制限商品判定部３８０は、売買制限を解除する指示を受け付けたか否かを判定する。売買制限商品の売買制限の解除は、判定の結果を受けて店員がその場で対応する、もしくはシステムとして目検の結果を採用する、いずれかの方法で行う。ここではシステムとして目検の結果を採用する場合について説明する。
【0117】
ステップＳ４１４において売買制限を解除する指示を受け付けていないと判定された場合は、処理はステップＳ４１５に進む。
ステップＳ４１４において売買制限を解除する解除指示を受け付けたと判定されると、即ちＹＥＳと判定されると、処理はステップＳ４１６に進む。
ステップＳ４１５において、目検用端末Ｑの目検結果送信部４１２は、目検結果によっても売買制限が解除されなかった旨の警告を送信する。この警告を受信することにより、例えば、精算ゲート５の出力制御部５３７は、目検結果によっても売買制限が解除されなかった旨の警告を、出力部５０７を介して提示する。ステップＳ４１６の後、処理は終了し、精算が中止となる。
ステップＳ４１６において、売買制限商品判定部３８０は、売買制限を解除する。
このようにしてステップＳ４１６が終了されるか、又はステップＳ４１１において年齢制限商品でないと判定された場合（ＮＯであると判定された場合）、処理はステップＳ４１７に進む。
ステップＳ４１４において売買制限を解除する解除指示を受け付けたと判定されると、即ちＹＥＳと判定されると、処理はステップＳ４１６に進む。
ステップＳ４１５において、目検用端末Ｑの目検結果送信部４１２は、目検結果によっても売買制限が解除されなかった旨の警告を送信する。この警告を受信することにより、例えば、精算ゲート５の出力制御部５３７は、目検結果によっても売買制限が解除されなかった旨の警告を、出力部５０７を介して提示する。ステップＳ４１６の後、処理は終了し、精算が中止となる。
ステップＳ４１６において、売買制限商品判定部３８０は、売買制限を解除する。
このようにしてステップＳ４１６が終了されるか、又はステップＳ４１１において年齢制限商品でないと判定された場合（ＮＯであると判定された場合）、処理はステップＳ４１７に進む。
【0118】
ステップＳ４１７において、移動物体Ｍｏと商品紐づけ部３５４が、移動物体Ｍｏと特定された商品を紐づける。
ステップＳ４１８において、移動物体と紐づく商品リスト管理部３６０６が、移動物体Ｍｏと紐づく商品リストを精算まで管理し続ける。
ステップＳ４１９において、移動物体Ｍｏに紐づく商品情報に基づき、精算ゲート５が精算乃至決済する。
なお、ステップＳ４１９までの途中、又はステップＳ４１９の際に、エラー表示部１５１、情報端末９ａ、情報端末９ｂや精算ゲート５の出力部５０７が、何かしらのエラー状態を店員等に通知してもよい。
また、ステップＳ４１９において、売買制限商品が移動物体Ｍｏに紐づいている場合、ゲートを開けずに閉じたままとし、エラー状態を表示してもよい。
ステップＳ４１８において、移動物体と紐づく商品リスト管理部３６０６が、移動物体Ｍｏと紐づく商品リストを精算まで管理し続ける。
ステップＳ４１９において、移動物体Ｍｏに紐づく商品情報に基づき、精算ゲート５が精算乃至決済する。
なお、ステップＳ４１９までの途中、又はステップＳ４１９の際に、エラー表示部１５１、情報端末９ａ、情報端末９ｂや精算ゲート５の出力部５０７が、何かしらのエラー状態を店員等に通知してもよい。
また、ステップＳ４１９において、売買制限商品が移動物体Ｍｏに紐づいている場合、ゲートを開けずに閉じたままとし、エラー状態を表示してもよい。
【0119】
本実施形態において、移動物体Ｍｏの追跡において想定されるエラーには、例えばセンシングデバイスとして天井カメラ３１０を用いた場合、以下の場合がある。（Ａ）移動物体Ｍｏが店舗４０の入口４１から入店した際に、天井カメラによる移動物体発見部３３０２が移動物体を検出できなかった場合、（Ｂ）天井カメラによる移動物体領域追跡部３３０５が追跡中の移動物体Ｍｏを見失った場合、（Ｃ）二つ以上の異なる移動物体Ｍｏの夫々に紐づけられたＩＤが追跡途中に入れ替わった場合、等が含まれる（当然これらに限定されない）。
【0120】
各エラー状態に応じ、本実施形態が採用するシステムが、以下の例を含む、種々の対応を行うことができる。
（Ａ）天井カメラ３１０により撮像された移動物体Ｍｏを被写体として含む画像を目検用端末Ｑに送信し、目検による移動物体Ｍｏの検出を依頼する。目検者が移動物体Ｍｏを検出した場合は、新たな移動物体Ｍｏを定義の上、ＩＤを発番して、天井カメラによる移動物体領域追跡部３３０５による追跡を開始する。目検者が移動物体Ｍｏを検出できなかった場合は、その旨を店員に報知する。
（Ｂ）位置情報管理ＤＢ１３２に登録されているどのＩＤとも紐づけられていない移動物体Ｍｏが認められた場合、その移動物体Ｍｏの撮像画像と、紐づけられるべきＩＤ候補のリストが目検用端末Ｑに送信される。目検者は、過去の移動物体ＭｏとＩＤとの紐づけ情報に基づいて、最も適切なＩＤを当該移動物体Ｍｏに紐づけ、天井カメラによる移動物体領域追跡部３３０５による再追跡を開始する。何らかの理由で再追跡が開始できなかった場合は、その旨が店員に報知される。
また、移動物体Ｍｏとの紐づけを失ったＩＤが検出された場合には、当該ＩＤと、どのＩＤとも紐づけられていない移動物体Ｍｏの撮像画像のリストが目検用端末Ｑに送信される。目検者は、過去の移動物体ＭｏとＩＤとの紐づけ情報に基づいて、当該ＩＤに移動物体Ｍｏを紐づけることを試み、紐づけが成功した場合は、天井カメラによる移動物体領域追跡部３３０５による再追跡を開始する。何らかの理由で再追跡の開始が失敗した場合は、その旨が店員に報知される。
（Ｃ）夫々の移動物体Ｍｏの画像リストと、夫々の移動物体Ｍｏに紐づけられるべきＩＤのリストが目検用端末Ｑに送信される。目検者は、過去の移動物体ＭｏとＩＤとの紐づけ情報に基づいて、最も適切に、ＩＤを移動物体Ｍｏに割り振ることを試みる。ＩＤを移動物体Ｍｏに適切に割り振ることができた場合は天井カメラによる移動物体領域追跡部３３０５による再追跡を開始する。ＩＤを移動物体Ｍｏに適切に割り振ることができない場合は、割り振りを諦め、紐づけが入れ替わったままの旨を店員に報知する。
（Ｄ）移動物体Ｍｏに対するＩＤの割り振りが不可能である場合には、移動物体Ｍｏに対し、バーコードリーダー等で商品を特定する情報を読み取るよう依頼する。あるいは、移動物体Ｍｏに対し、自ら画面操作等を行いて商品を特定するよう依頼する。
（Ａ）天井カメラ３１０により撮像された移動物体Ｍｏを被写体として含む画像を目検用端末Ｑに送信し、目検による移動物体Ｍｏの検出を依頼する。目検者が移動物体Ｍｏを検出した場合は、新たな移動物体Ｍｏを定義の上、ＩＤを発番して、天井カメラによる移動物体領域追跡部３３０５による追跡を開始する。目検者が移動物体Ｍｏを検出できなかった場合は、その旨を店員に報知する。
（Ｂ）位置情報管理ＤＢ１３２に登録されているどのＩＤとも紐づけられていない移動物体Ｍｏが認められた場合、その移動物体Ｍｏの撮像画像と、紐づけられるべきＩＤ候補のリストが目検用端末Ｑに送信される。目検者は、過去の移動物体ＭｏとＩＤとの紐づけ情報に基づいて、最も適切なＩＤを当該移動物体Ｍｏに紐づけ、天井カメラによる移動物体領域追跡部３３０５による再追跡を開始する。何らかの理由で再追跡が開始できなかった場合は、その旨が店員に報知される。
また、移動物体Ｍｏとの紐づけを失ったＩＤが検出された場合には、当該ＩＤと、どのＩＤとも紐づけられていない移動物体Ｍｏの撮像画像のリストが目検用端末Ｑに送信される。目検者は、過去の移動物体ＭｏとＩＤとの紐づけ情報に基づいて、当該ＩＤに移動物体Ｍｏを紐づけることを試み、紐づけが成功した場合は、天井カメラによる移動物体領域追跡部３３０５による再追跡を開始する。何らかの理由で再追跡の開始が失敗した場合は、その旨が店員に報知される。
（Ｃ）夫々の移動物体Ｍｏの画像リストと、夫々の移動物体Ｍｏに紐づけられるべきＩＤのリストが目検用端末Ｑに送信される。目検者は、過去の移動物体ＭｏとＩＤとの紐づけ情報に基づいて、最も適切に、ＩＤを移動物体Ｍｏに割り振ることを試みる。ＩＤを移動物体Ｍｏに適切に割り振ることができた場合は天井カメラによる移動物体領域追跡部３３０５による再追跡を開始する。ＩＤを移動物体Ｍｏに適切に割り振ることができない場合は、割り振りを諦め、紐づけが入れ替わったままの旨を店員に報知する。
（Ｄ）移動物体Ｍｏに対するＩＤの割り振りが不可能である場合には、移動物体Ｍｏに対し、バーコードリーダー等で商品を特定する情報を読み取るよう依頼する。あるいは、移動物体Ｍｏに対し、自ら画面操作等を行いて商品を特定するよう依頼する。
【0121】
［第２の実施形態］
以上、第１の実施形態においては物体の入出の検知及び商品の特定に用いるセンシングデバイスとしてカメラを採用することを前提で説明したが、上述したように採用可能なセンシングデバイスはカメラに限定されない。
第２の実施形態においては、物体の入出の検知及び商品の特定に用いるセンシングデバイスとして重量センサーを採用する例について具体的に説明する。
以上、第１の実施形態においては物体の入出の検知及び商品の特定に用いるセンシングデバイスとしてカメラを採用することを前提で説明したが、上述したように採用可能なセンシングデバイスはカメラに限定されない。
第２の実施形態においては、物体の入出の検知及び商品の特定に用いるセンシングデバイスとして重量センサーを採用する例について具体的に説明する。
【0122】
【0123】
店舗４０の入口４１には入店ゲート４１ａ及び表示装置４１ｂが設置されている。
表示装置４１ｂには、店舗４０内に存在する人の数が表示される。そして入店ゲート４１ａには、ロック機能及び解除機能が備えられている。
店舗４０内に存在する人の数が所定の閾値以下である場合、新たな買い物客としての移動物体Ｍｏは、入店ゲート４１ａを通過して入店することができる。一方で、店舗４０内に存在する人の数が所定以上である場合、店舗４０内の人の数が所定未満になるまで、新たな買い物客としての移動物体Ｍｏは（ロック機能により）入店が禁止される。
表示装置４１ｂには、店舗４０内に存在する人の数が表示される。そして入店ゲート４１ａには、ロック機能及び解除機能が備えられている。
店舗４０内に存在する人の数が所定の閾値以下である場合、新たな買い物客としての移動物体Ｍｏは、入店ゲート４１ａを通過して入店することができる。一方で、店舗４０内に存在する人の数が所定以上である場合、店舗４０内の人の数が所定未満になるまで、新たな買い物客としての移動物体Ｍｏは（ロック機能により）入店が禁止される。
【0124】
入店が許可されると移動物体Ｍｏは、入口４１から入店し、通路４４を進む。移動物体Ｍｏは、購入する商品を手に取ると、精算エリア４５へ進み、決済を完了し、退店する。
移動物体Ｍｏは、手にしたカゴやマイバッグに商品を投入してもよいが、本実施形態では、移動物体Ｍｏは、商品を直接手に所持した状態で精算エリア４５へ進むことを前提として以下説明する。
移動物体Ｍｏは、手にしたカゴやマイバッグに商品を投入してもよいが、本実施形態では、移動物体Ｍｏは、商品を直接手に所持した状態で精算エリア４５へ進むことを前提として以下説明する。
【0125】
入口４１から出口４２までの間の通路４４の天井には、複数の天井カメラ３１０が設置されている。
また商品が置かれ得る棚ラック４３の複数個所の夫々には、重量センサー３１２が設置されている。重量センサー３１２は、商品が置かれ得る棚の重量を検知する。これにより重量センサー３１２により検知された重量の変化から、棚からの物体の入出が検知され、入出した商品及び入出した当該商品の個数が特定される。
重量センサー３１２は、商品が置かれ得る棚１つに対し複数個設置されてもよい。これにより例えば棚の手前（例えば賞味期限が古い商品が置かれた場所）に設置された重量センサー３１２により重量の変化が検知された場合は、賞味期限が古い商品が入出し、一方で棚の奥（例えば賞味期限が新しい商品が置かれた場所）に設置された重量センサー３１２により重量の変化が検知された場合には、賞味期限が新しい商品が入出したことが特定され得る。
また重量センサー３１２は、棚ラック４３の下に設置されてもよい。これにより棚全体の重量の変化が検知される。あるいは、商品が置かれ得る棚の夫々及び棚ラック４３の夫々に重量センサー３１２が設置されてもよい。商品が置かれ得る棚及び棚ラック４３の夫々における重量の変化を検知することで、棚から入出した商品及び当該個数の特定の精度を向上させることができる。
また商品が置かれ得る棚ラック４３の複数個所の夫々には、重量センサー３１２が設置されている。重量センサー３１２は、商品が置かれ得る棚の重量を検知する。これにより重量センサー３１２により検知された重量の変化から、棚からの物体の入出が検知され、入出した商品及び入出した当該商品の個数が特定される。
重量センサー３１２は、商品が置かれ得る棚１つに対し複数個設置されてもよい。これにより例えば棚の手前（例えば賞味期限が古い商品が置かれた場所）に設置された重量センサー３１２により重量の変化が検知された場合は、賞味期限が古い商品が入出し、一方で棚の奥（例えば賞味期限が新しい商品が置かれた場所）に設置された重量センサー３１２により重量の変化が検知された場合には、賞味期限が新しい商品が入出したことが特定され得る。
また重量センサー３１２は、棚ラック４３の下に設置されてもよい。これにより棚全体の重量の変化が検知される。あるいは、商品が置かれ得る棚の夫々及び棚ラック４３の夫々に重量センサー３１２が設置されてもよい。商品が置かれ得る棚及び棚ラック４３の夫々における重量の変化を検知することで、棚から入出した商品及び当該個数の特定の精度を向上させることができる。
【0126】
棚ラック４３内の各棚の複数個所の夫々には、重量センサー３１２だけでなく棚カメラ３１１が設置されていてもよい。棚カメラ３１１は、棚内や棚内の商品、その他所定領域を撮像することで、棚内からの物体の入出や商品の特定を補完する。
具体的には例えば、棚から物体が持ち去られた後、当該物体が別の棚に戻された場合、移動物体Ｍｏには本来所持していない物体が紐づいた状態（誤認識された状態）となる。このような場合に、棚カメラ３１１により取得された撮像画像により物体の入出及び商品の特定が補完されることで、精算の精度を向上させることができるようになる。
一方で、棚カメラ３１１により取得された撮像画像のみに基づいて物体の入出や商品の特定を行う場合、例えばカメラでは見えない棚奥からの物体の入出の検知や、重なっている物体や乱雑に置かれている物体の入出検知や商品の特定をすることは困難である。
このように重量センサー３１２及び棚カメラ３１１といった１以上のセンシングデバイスから取得される情報を適宜組み合わせて採用することにより、商品の特定精度を向上させることができるようになる。なおこのとき棚カメラ３１１は必ずしも棚に設置される必要はなく、例えば天井等に設置されていてもよい。
具体的には例えば、棚から物体が持ち去られた後、当該物体が別の棚に戻された場合、移動物体Ｍｏには本来所持していない物体が紐づいた状態（誤認識された状態）となる。このような場合に、棚カメラ３１１により取得された撮像画像により物体の入出及び商品の特定が補完されることで、精算の精度を向上させることができるようになる。
一方で、棚カメラ３１１により取得された撮像画像のみに基づいて物体の入出や商品の特定を行う場合、例えばカメラでは見えない棚奥からの物体の入出の検知や、重なっている物体や乱雑に置かれている物体の入出検知や商品の特定をすることは困難である。
このように重量センサー３１２及び棚カメラ３１１といった１以上のセンシングデバイスから取得される情報を適宜組み合わせて採用することにより、商品の特定精度を向上させることができるようになる。なおこのとき棚カメラ３１１は必ずしも棚に設置される必要はなく、例えば天井等に設置されていてもよい。
【0127】
精算エリア４５には、精算機５ａを備えた精算ゲート５－４が設置されている。本実施形態では精算機５ａは、精算ゲート５－４より入口４１側に設置されることを前提として説明するがこれに限定されず、設置される場所は任意でよい。
本実施形態において、精算機５ａにはタッチパネルディスプレイ、カメラ、決済端末（現金釣銭機含む）、音声入力装置、読取機、バーコードリーダー、スピーカー、プリンター、ＮＷ機器、モーションキャプチャーシステム等が備えられている。
本実施形態において、精算機５ａにはタッチパネルディスプレイ、カメラ、決済端末（現金釣銭機含む）、音声入力装置、読取機、バーコードリーダー、スピーカー、プリンター、ＮＷ機器、モーションキャプチャーシステム等が備えられている。
【0128】
移動物体Ｍｏが商品を所持した状態で精算エリア４５に侵入すると、移動物体Ｍｏは例えば以下のような態様で決済を完了し、精算ゲート５－４を通過して退店することができる。
例えば、（１）商品を所持した移動物体Ｍｏが精算エリア４５に侵入すると、その侵入がトリガーとなり、精算機５ａのタッチパネルディスプレイに当該移動物体Ｍｏに紐づく商品の商品リストが表示される。移動物体Ｍｏは、タッチパネルディスプレイに表示される商品リストを確認し、商品リストと所持した商品とが一致していることを確認する。表示された商品リストの内容と自身が購入したい商品とが一致した場合、決済処理が開始される。即ち例えば、移動物体Ｍｏは、タッチパネルディスプレイを操作することにより支払いの方法を選択し、選択した支払い方法により決済を完了し、精算ゲート５－４を通過して退店する。
また例えば、（２）商品を所持した移動物体Ｍｏが精算エリア４５に侵入し、バーコードやＱＲコード（登録商標）や各種ＩＣカード等を精算機５ａの読取機にかざすと、移動物体Ｍｏに紐づく商品リストが読み出され、タッチパネルディスプレイに表示される。移動物体Ｍｏがタッチパネルディスプレイに表示される商品リストと自身が所持している商品とが一致していることを確認し所定の操作をすると自動的に決済が完了し、移動物体Ｍｏは精算ゲート５－４を通過して退店する。
また例えば、（３）個人認証済みの移動物体Ｍｏが精算エリア４５に侵入すると、その侵入がトリガーとなり、タッチパネルディスプレイに移動物体Ｍｏに紐づく商品の商品リストが表示される。移動物体Ｍｏが、商品リストと自身が購入したい商品とが一致していることを確認すると、自動的に決済が完了し、移動物体Ｍｏは、精算ゲート５－４を通過して退店する。
このように移動物体Ｍｏが購入する商品を所持して精算エリア５４に侵入するだけで、自動的に精算が行われ所定の手法により決済を完了させることができる。これにより移動物体Ｍｏは、店員Ｍｔ等の人を介さずに買い物を完了させることができるようになる。
例えば、（１）商品を所持した移動物体Ｍｏが精算エリア４５に侵入すると、その侵入がトリガーとなり、精算機５ａのタッチパネルディスプレイに当該移動物体Ｍｏに紐づく商品の商品リストが表示される。移動物体Ｍｏは、タッチパネルディスプレイに表示される商品リストを確認し、商品リストと所持した商品とが一致していることを確認する。表示された商品リストの内容と自身が購入したい商品とが一致した場合、決済処理が開始される。即ち例えば、移動物体Ｍｏは、タッチパネルディスプレイを操作することにより支払いの方法を選択し、選択した支払い方法により決済を完了し、精算ゲート５－４を通過して退店する。
また例えば、（２）商品を所持した移動物体Ｍｏが精算エリア４５に侵入し、バーコードやＱＲコード（登録商標）や各種ＩＣカード等を精算機５ａの読取機にかざすと、移動物体Ｍｏに紐づく商品リストが読み出され、タッチパネルディスプレイに表示される。移動物体Ｍｏがタッチパネルディスプレイに表示される商品リストと自身が所持している商品とが一致していることを確認し所定の操作をすると自動的に決済が完了し、移動物体Ｍｏは精算ゲート５－４を通過して退店する。
また例えば、（３）個人認証済みの移動物体Ｍｏが精算エリア４５に侵入すると、その侵入がトリガーとなり、タッチパネルディスプレイに移動物体Ｍｏに紐づく商品の商品リストが表示される。移動物体Ｍｏが、商品リストと自身が購入したい商品とが一致していることを確認すると、自動的に決済が完了し、移動物体Ｍｏは、精算ゲート５－４を通過して退店する。
このように移動物体Ｍｏが購入する商品を所持して精算エリア５４に侵入するだけで、自動的に精算が行われ所定の手法により決済を完了させることができる。これにより移動物体Ｍｏは、店員Ｍｔ等の人を介さずに買い物を完了させることができるようになる。
【0129】
また複数の移動物体Ｍｏが精算エリア４５に侵入した場合、精算機５ａのタッチパネルディスプレイには、複数の移動物体Ｍｏの夫々の精算をまとめて行うか否かを選択させるためのボタンが表示される。移動物体Ｍｏは表示されたボタンを押下することにより、精算を一括して行うか否かを選択することができる。
【0130】
また商品を所持していない移動物体Ｍｏが精算エリア４５に侵入した場合、当該移動物体Ｍｏには商品が紐づいていない為、精算機５ａのタッチパネルディスプレイに商品リストは表示されない。このような場合には移動物体Ｍｏは、決済を行うことなく精算ゲート５－４を通過して退店することができる。また精算ゲート５－４は、ゲートを通過する移動物体Ｍｏが、商品を購入することなく通過する旨を音声や光等で報知してもよい。
【0131】
さらにまた精算レジ６よりも入口４１側には精算ゲート５－５が設置されている。移動物体Ｍｏが手にした自動精算の対象とならない商品は、精算レジ６において店員により精算処理を受ける。
【0132】
本発明の情報処理装置の第２の実施形態に係るサーバを含む情報処理システムの構成図については、図４に示す本発明の情報処理システムの第１の実施形態に係るサーバを含む情報処理システムの構成と基本的に同様の構成を有する。したがって、本発明の情報処理システムの第２の実施形態に係るサーバを含む情報処理システムの構成図についての説明は省略する。
【0133】
また本発明の情報処理システムの第２の実施形態に係るサーバを含む情報処理システムのうち、サーバ１、精算ゲート５のハードウェア構成については、図５及び図７に示すサーバ１、精算ゲート５のハードウェア構成と基本的に同様の構成を有する。
【0134】
図１５は、本発明の情報処理システムの第２の実施形態に係る構成のうち、売場装置のハードウェア構成を示すブロック図である。
売場装置３は、ＣＰＵ３０１と、ＲＯＭ３０２と、ＲＡＭ３０３と、バス３０４と、入出力インターフェース３０５と、天井カメラ３１０と、棚カメラ３１１と、重量センサー３１２と、出力部３１３と、通信部３１５と、個人情報取得部３２１と、情報端末９とを備える。また情報端末９は、遠隔操作部３９０と表示部３９１と入力部３９２とを備える。
売場装置３は、ＣＰＵ３０１と、ＲＯＭ３０２と、ＲＡＭ３０３と、バス３０４と、入出力インターフェース３０５と、天井カメラ３１０と、棚カメラ３１１と、重量センサー３１２と、出力部３１３と、通信部３１５と、個人情報取得部３２１と、情報端末９とを備える。また情報端末９は、遠隔操作部３９０と表示部３９１と入力部３９２とを備える。
【0135】
売場装置３のＲＯＭ３０２、ＲＡＭ３０３、バス３０４、入出力インターフェース３０５、天井カメラ３１０、棚カメラ３１１、重量センサー３１２、通信部３１５の夫々は、図６に示す売場装置３のハードウェア構成と基本的に同様に構成を有する。
出力部３１３は例えばデジタルサイネージが表示されるディスプレイ、スピーカー等から構成され、例えば店舗４０内に存在する人の数を表示する。
個人情報取得部３２１は、読取機等の各種装置から構成され、移動物体Ｍｏの個人情報を取得する。
情報端末９は、パーソナルコンピュータ、スマートフォンやタブレット等の情報機器から構成される。情報端末９において、遠隔操作部３９０、表示部３９１は、図６における情報端末９におけるブロックの夫々と基本的に同様の機能を有している。入力部３９２は例えばキーボード、ボタン等で構成され、エラー解除や、売買制限解除等の入力を行う。
出力部３１３は例えばデジタルサイネージが表示されるディスプレイ、スピーカー等から構成され、例えば店舗４０内に存在する人の数を表示する。
個人情報取得部３２１は、読取機等の各種装置から構成され、移動物体Ｍｏの個人情報を取得する。
情報端末９は、パーソナルコンピュータ、スマートフォンやタブレット等の情報機器から構成される。情報端末９において、遠隔操作部３９０、表示部３９１は、図６における情報端末９におけるブロックの夫々と基本的に同様の機能を有している。入力部３９２は例えばキーボード、ボタン等で構成され、エラー解除や、売買制限解除等の入力を行う。
【0136】
【0137】
図１６は、本発明の情報処理システムの第２の実施形態に係る構成のうち、図５のサーバと図６の売場装置と図７の精算ゲートと目検用端末の機能構成の一例を示す機能ブロック図である。
また図１７は、本発明の情報処理システムの第２の実施形態に係る構成のうち、図１６の売場装置に備えられた棚商品認識部の詳細な機能的構成例を示す機能ブロック図である。
また図１７は、本発明の情報処理システムの第２の実施形態に係る構成のうち、図１６の売場装置に備えられた棚商品認識部の詳細な機能的構成例を示す機能ブロック図である。
【0138】
図１６において、サーバ１は、ＣＰＵ１０１と、記憶部１０８と、エラー表示部１５１と、エラー解除部１５２、通信部１０９とを備える。
サーバ１を構成する機能ブロックの夫々は図８のサーバ１の対応する機能ブロックの夫々と基本的に同様の機能と構成を有するためここでは説明は省略する。
サーバ１を構成する機能ブロックの夫々は図８のサーバ１の対応する機能ブロックの夫々と基本的に同様の機能と構成を有するためここでは説明は省略する。
【0139】
目検用端末Ｑは、ＣＰＵ４０１、出力部４０６、入力部４０７、通信部４０９を備える。目検用端末Ｑにおける出力部４０６、入力部４０７、通信部４０９の夫々は図８の目検用端末Ｑの対応する機能ブロックの夫々と基本的に同様の機能と構成を有する。
したがって以下においては、図８の目検用端末Ｑとは異なる機能と構成についてのみ説明する。
したがって以下においては、図８の目検用端末Ｑとは異なる機能と構成についてのみ説明する。
【0140】
ＣＰＵ４０１において、情報提示制御部４２１は、売場装置３、又は精算ゲート５から送信された物体、商品、移動物体Ｍｏに関する情報を出力部４０６に出力する制御を実行する。具体的には例えば、（１）移動物体Ｍｏより目検の依頼がなされた場合に、情報提示制御部４２１は、売場装置３、精算ゲート５から送信された物体、商品に関する情報を、オペレータにより操作されるモニター等の画面に出力する制御を実行することで提示する。また例えば、（２）移動物体Ｍｏに売買制限商品が紐づいている場合であって、移動物体Ｍｏにより売買制限の解除を要求する旨の入力がなされた場合には、情報提示制御部４２１は、売場装置３、精算ゲート５から送信された移動物体Ｍｏに関する画像、音声等の情報をモニターやスピーカー等に出力する制御を実行することで提示する。さらに例えば、（３）精算ゲート５－４や精算機５ａの操作方法に関する問い合わせや、決済処理全般に関する問合せが移動物体Ｍｏからなされた場合に、情報提示制御部４２１は、精算ゲート５から送信された移動物体Ｍｏに関する画像、音声等といった情報をモニター等の画面やスピーカー等に出力する制御を実行することで提示する。
【0141】
結果送信制御部４２２は、物体、商品、移動物体Ｍｏに関する情報について、オペレータにより入力された結果を売場装置３、精算ゲート５に送信する制御を実行する。具体的には例えば、（１）移動物体Ｍｏより目検の依頼がなされた場合に、結果送信制御部４２２は、オペレータによる目検結果（商品の特定結果等）を売場装置３や精算ゲート５に送信する制御を実行する。また例えば、（２）移動物体Ｍｏに売買制限商品が紐づいている場合に、結果送信制御部４２２は、オペレータによる売買制限解除の判定結果等を売場装置３や精算ゲート５に送信する制御を実行する。また例えば、（３）結果送信制御部４２２は、精算ゲート５－４や精算機５ａの操作方法や、決済処理に関する説明等の支援情報を、精算機５ａのディスプレイやスピーカー等を介して送信する制御を実行する。あるいは結果送信制御部４２２は、リモートデスクトップ等の操作を実行することで支援情報を提示してもよい。
【0142】
なお本実施形態において、物体、商品、及び移動物体Ｍｏに関する情報、オペレータにより入力される情報は、目検用端末Ｑを介して入出力される構成を前提として説明したがこの構成に限定されない。即ち例えば、売場装置３の情報端末９の表示部３９１、入力部３９２において上述した情報が入出力されてもよい。
【0143】
また精算ゲート５は、ＣＰＵ５０１、入力部５０６、出力部５０７、通信部５０９を備える。精算ゲート５の夫々の機能ブロックは、図８の精算ゲート５の対応する機能ブロックの夫々と基本的に同様の機能と構成を有する。
【0144】
売場装置３は、ＣＰＵ３０１、天井カメラ３１０、棚カメラ３１１、重量センサー３１２、通信部３１５、個人情報取得部３２１、情報端末９が機能する。
ＣＰＵ３０１においては、個人認証部３２０と、移動物体追跡部３３０と、位置情報管理部３４０と、入店制御部３５０と、棚商品認識部３６０と、売買制限商品判定部３８０と、オペレーション受付部３０１ｃと、オペレーション結果取得部３０１ｄとが機能する。
またＣＰＵ３０１の棚商品認識部３６０は、図１７に示す検知部３６０２ａと、商品特定部３６０３ａと、移動物体と商品紐づけ部３６０４と、移動物体と紐づく商品リスト管理部３６０６と、商品不特定判定部３６０９と、ラベル認識部３６１０と、値引きシール認識部３６１１と、在庫情報更新部３６１２とを備えている。
売場装置３の構成のうち、天井カメラ３１０、棚カメラ３１１、重量センサー３１２、通信部３１５は、図８の売場装置３の対応する機能ブロックの夫々と基本的に同様の機能と構成を有する。
またＣＰＵ３０１の棚商品認識部３６０のうち、移動物体と商品紐づけ部３６０４と、移動物体と紐づく商品リスト管理部３６０６と、商品不特定判定部３６０９と、ラベル認識部３６１０と、値引きシール認識部３６１１は、図９の棚商品認識部３６０において対応する機能ブロックの夫々と基本的に同様の機能と構成を有する。
またＣＰＵ３０１のうち、売買制限商品判定部３８０は、図８の売場装置３のＣＰＵ３０１において対応する機能ブロックと基本的に同様の機能と構成を有する。
したがって以下においては、図８の売場装置３とは異なる機能と構成についてのみ説明する。
ＣＰＵ３０１においては、個人認証部３２０と、移動物体追跡部３３０と、位置情報管理部３４０と、入店制御部３５０と、棚商品認識部３６０と、売買制限商品判定部３８０と、オペレーション受付部３０１ｃと、オペレーション結果取得部３０１ｄとが機能する。
またＣＰＵ３０１の棚商品認識部３６０は、図１７に示す検知部３６０２ａと、商品特定部３６０３ａと、移動物体と商品紐づけ部３６０４と、移動物体と紐づく商品リスト管理部３６０６と、商品不特定判定部３６０９と、ラベル認識部３６１０と、値引きシール認識部３６１１と、在庫情報更新部３６１２とを備えている。
売場装置３の構成のうち、天井カメラ３１０、棚カメラ３１１、重量センサー３１２、通信部３１５は、図８の売場装置３の対応する機能ブロックの夫々と基本的に同様の機能と構成を有する。
またＣＰＵ３０１の棚商品認識部３６０のうち、移動物体と商品紐づけ部３６０４と、移動物体と紐づく商品リスト管理部３６０６と、商品不特定判定部３６０９と、ラベル認識部３６１０と、値引きシール認識部３６１１は、図９の棚商品認識部３６０において対応する機能ブロックの夫々と基本的に同様の機能と構成を有する。
またＣＰＵ３０１のうち、売買制限商品判定部３８０は、図８の売場装置３のＣＰＵ３０１において対応する機能ブロックと基本的に同様の機能と構成を有する。
したがって以下においては、図８の売場装置３とは異なる機能と構成についてのみ説明する。
【0145】
個人情報取得部３２１は、移動物体Ｍｏの生体情報を一例とする個人情報を取得する。具体的には例えば、個人情報取得部３２１は、入店ゲート４１ａの一部に設置された読取機に対して移動物体Ｍｏの個人情報が含まれるＩＣカードや携帯端末に表示されたアプリの一画面がかざされる、移動物体Ｍｏ自身の顔が映される、移動物体Ｍｏの瞳や手がかざされる等といった所定の操作がなされることにより、移動物体Ｍｏの個人情報を取得する。
【0146】
個人認証部３２０は、取得された個人情報から、移動物体Ｍｏの氏名、性別、生年月日、ハラル、金融に関する情報等を特定する。これにより例えば移動物体Ｍｏに年齢制限商品が紐づいた場合には、移動物体Ｍｏに対し年齢確認を要求することができるようになる。また例えば移動物体Ｍｏの金融情報が特定されることにより、移動物体Ｍｏは、購入する商品を手に所持して精算エリア４５に進むだけで決済を自動的に完了させることが可能になる。
また例えば移動物体Ｍｏの過去の購買履歴や電子メールアドレス等も特定されるため、移動物体Ｍｏを対象としたおすすめ情報や、移動物体Ｍｏが手に所持している商品に関する情報をリアルタイムに移動物体Ｍｏのスマートフォンに提示させることが可能になる。また商品購入後の領収書をスマートフォンに提示させることでペーパレス化を実現することもできる。さらにまた、移動物体Ｍｏの購買履歴と個人情報とが紐づいて管理されるため、これらの情報をマーケティング情報として有効に活用させることができる。
また例えば移動物体Ｍｏの過去の購買履歴や電子メールアドレス等も特定されるため、移動物体Ｍｏを対象としたおすすめ情報や、移動物体Ｍｏが手に所持している商品に関する情報をリアルタイムに移動物体Ｍｏのスマートフォンに提示させることが可能になる。また商品購入後の領収書をスマートフォンに提示させることでペーパレス化を実現することもできる。さらにまた、移動物体Ｍｏの購買履歴と個人情報とが紐づいて管理されるため、これらの情報をマーケティング情報として有効に活用させることができる。
【0147】
入店制御部３５０は、店舗４０内に存在する人の数が所定の閾値未満になるように制御する処理を実行する。例えば店舗４０内に存在する人の数を２０人未満に維持する必要がある場合、入店制御部３５０は、店舗４０内に存在する人が２０人になるまで新たな買い物客の入店を許可し、２０人以上になった場合には、新たな買い物客の入店を禁止する。
入店制御部３５０は、新たな買い物客の入店を許可する場合には、表示装置４１ｂ等に入店を許可する旨を提示し、入店ゲート４１ａの開閉部材を開く（ロック解除）処理を実行する。一方で新たな買い物客の入店を禁止する場合には、入店制御部３５０は、表示装置４１ｂ等に入店を禁止する旨を提示し、入店ゲート４１ａの開閉部材を閉じる（ロック）処理を実行する。
このとき入店制御部３５０は、表示装置４１ｂ等に備えられたスピーカー等から音や光で入店可否を報知させる制御を実行してもよい。これにより店舗４０内に存在する人の数を一定以下に維持することができるため、人同士の接触による感染症等を防止することができるようになる。
入店制御部３５０は、新たな買い物客の入店を許可する場合には、表示装置４１ｂ等に入店を許可する旨を提示し、入店ゲート４１ａの開閉部材を開く（ロック解除）処理を実行する。一方で新たな買い物客の入店を禁止する場合には、入店制御部３５０は、表示装置４１ｂ等に入店を禁止する旨を提示し、入店ゲート４１ａの開閉部材を閉じる（ロック）処理を実行する。
このとき入店制御部３５０は、表示装置４１ｂ等に備えられたスピーカー等から音や光で入店可否を報知させる制御を実行してもよい。これにより店舗４０内に存在する人の数を一定以下に維持することができるため、人同士の接触による感染症等を防止することができるようになる。
【0148】
センシングデバイスとして重量センサー３１２が採用される場合には、棚商品認識部３６０においては、検知部３６０２ａと、商品特定部３６０３ａとが機能する。
【0149】
検知部３６０２ａは、重量センサー３１２により検出された重量の変化と当該重量センサー３１２が設置された棚内の位置情報を確認する。具体的には例えば、検知部３６０２ａは、棚Ａの重量が減少するように変化した場合には減少した重量分の物体が棚Ａから持ち去られたと認識し、一方で棚Ｂの重量が増加するように変化した場合には、棚Ｂに増加した重量分の物体が棚内に置かれた（戻された）と認識する。
このようにして認識された物体が棚内から持ち去られた又は棚に置かれたことに関する情報は、商品特定部３６０３に引き渡される。
このようにして認識された物体が棚内から持ち去られた又は棚に置かれたことに関する情報は、商品特定部３６０３に引き渡される。
【0150】
商品特定部３６０３ａは、重量のデータ及び位置情報のデータに基づいて、検知部３６０２ａによって認識された物体がいずれの商品であるか、またその個数を特定する。
【0151】
在庫情報更新部３６１２は、店員により棚内に商品が置かれたり、棚内から持ち去られたりした場合に、その置かれた（持ち去られた）商品と、当該商品の個数とを特定し、商品の在庫情報として商品ＤＢの情報に記憶させる処理を実行する。
【0152】
オペレーション受付部３０１ｃは、移動物体Ｍｏよりオペレーションの依頼を受け付けると、移動物体Ｍｏ、物体、商品等に関する情報を目検用端末Ｑに送信する。
具体的には例えば、（１）商品不特定判定部３６０９において商品が不特定と判定されている場合、オペレーション受付部３０１ｃは、移動物体Ｍｏから目検の依頼がなされると、重量センサー３１２によって取得された当該物体の重量のデータ及び位置情報を目検用端末Ｑに送信する制御を実行する。またこのとき、天井カメラ３１０や棚カメラ３１１によって得られた撮像画像が目検用端末Ｑに送信されてもよい。
また例えば、（２）売買制限商品判定部３８０において、特定された商品が売買制限商品であると判定された場合、オペレーション受付部３０１ｃは、移動物体Ｍｏから売買制限の解除の依頼を受け付けると、当該商品の関連情報を目検用端末Ｑに送信する制御を実行する。
具体的には例えば、（１）商品不特定判定部３６０９において商品が不特定と判定されている場合、オペレーション受付部３０１ｃは、移動物体Ｍｏから目検の依頼がなされると、重量センサー３１２によって取得された当該物体の重量のデータ及び位置情報を目検用端末Ｑに送信する制御を実行する。またこのとき、天井カメラ３１０や棚カメラ３１１によって得られた撮像画像が目検用端末Ｑに送信されてもよい。
また例えば、（２）売買制限商品判定部３８０において、特定された商品が売買制限商品であると判定された場合、オペレーション受付部３０１ｃは、移動物体Ｍｏから売買制限の解除の依頼を受け付けると、当該商品の関連情報を目検用端末Ｑに送信する制御を実行する。
【0153】
オペレーション結果取得部３０１ｄは、目検用端末Ｑよりオペレーションの結果を取得する。即ち例えば、（１）オペレータの目検により特定された商品に関する情報や、（２）オペレータによる売買制限の解除の判定結果等の情報を取得する。
【0154】
【0155】
ステップＳ７０１において、入店制御部３５０は、店舗４０内に存在する人の数が所定の閾値以下であるか否かを判定する。
【0156】
ステップＳ７０１において、店舗４０内に存在する人の数が所定の閾値以上であると判定された場合、処理はステップＳ７０１を繰り返す。
【0157】
これに対して、ステップＳ７０１において、店舗４０内に存在する移動物体Ｍｏの数が所定の閾値未満であると判定された場合は、処理はステップＳ７０２に進む。
ステップＳ７０２において、移動物体Ｍｏが入口４１から店内に入店すると、天井カメラ３１０が移動物体Ｍｏの撮像を開始する。
ステップＳ７０２において、移動物体Ｍｏが入口４１から店内に入店すると、天井カメラ３１０が移動物体Ｍｏの撮像を開始する。
【0158】
ステップＳ７０３において、天井カメラによる移動物体発見部３３０２が移動物体Ｍｏを発見する。天井カメラによる移動物体領域定義部３３０４は、移動物体発見部３３０２により発見された移動物体Ｍｏを含む所定の領域を移動物体領域として定義する。
【0159】
ステップＳ７０４において、天井カメラによる移動物体領域追跡部３３０５は、移動物体Ｍｏが移動する位置を推定する。さらに、移動物体領域定義部３３０４が移動した場合には、移動後の移動物体Ｍｏの領域が改めて定義され、位置情報管理ＤＢ１３２やメモリ上に記憶されている移動物体Ｍｏの位置情報を更新する。
【0160】
ステップＳ７０５において、天井カメラによる移動物体発見部３３０２は、移動物体Ｍｏの個別のＩＤを取得する。
移動物体ＭｏのＩＤは、移動物体Ｍｏの位置（座標）情報と紐づけて位置情報管理ＤＢ１３２やメモリ等で管理され、移動物体Ｍｏを含む所定の領域が定義されるごとに更新される。この定義された座標は、別の天井カメラ３１０において撮像されている位置でも認識される。
なお本実施形態では、移動物体Ｍｏの領域の定義がなされた後に、ＩＤが発番され、移動物体ＭｏとＩＤとが紐づけられるものとして説明しているが、移動物体領域の定義とＩＤの発番及び紐付けの順は特にこれに限定されず任意でよい。
移動物体ＭｏのＩＤは、移動物体Ｍｏの位置（座標）情報と紐づけて位置情報管理ＤＢ１３２やメモリ等で管理され、移動物体Ｍｏを含む所定の領域が定義されるごとに更新される。この定義された座標は、別の天井カメラ３１０において撮像されている位置でも認識される。
なお本実施形態では、移動物体Ｍｏの領域の定義がなされた後に、ＩＤが発番され、移動物体ＭｏとＩＤとが紐づけられるものとして説明しているが、移動物体領域の定義とＩＤの発番及び紐付けの順は特にこれに限定されず任意でよい。
【0161】
ステップＳ７０６において、検知部３６０２ａは、重量センサー３１２により取得された重量データの変化より、棚内から物体が持ち去られた（戻された）ことを認識する。
【0162】
ステップＳ７０７において、商品特定部３６０３ａは、棚内から持ち去れた（戻された）物体を特定する。即ち商品特定部３６０３ａは、物体が置かれた所定の棚の夫々に設置されている重量センサー３１２の位置情報から物体を特定し、重量データの変化量から物体の個数を特定する。つまり重量センサー３１２により取得した重量データと、予め記憶されている商品情報のうち重量データとをマッチングさせることにより商品の個数を特定し、商品情報のうち陳列位置のデータから商品名を特定する。
ここで商品情報には、商品名、価格、ＪＡＮコード、商品画像、商品の重量、商品サイズ、陳列位置、値引き情報、返金、売上集計、表示が少なくとも含まれ、これらの商品情報は、サーバ１の商品ＤＢ１３１に記憶される。
ここで商品情報には、商品名、価格、ＪＡＮコード、商品画像、商品の重量、商品サイズ、陳列位置、値引き情報、返金、売上集計、表示が少なくとも含まれ、これらの商品情報は、サーバ１の商品ＤＢ１３１に記憶される。
【0163】
ステップＳ７０８において、移動物体と商品紐づけ部３６０４は、移動物体Ｍｏと特定された商品とを紐づける。
また商品不特定判定部３６０９は、特定されなかった商品と移動物体Ｍｏとを紐づける。
また商品不特定判定部３６０９は、特定されなかった商品と移動物体Ｍｏとを紐づける。
【0164】
ステップＳ７０９において、移動物体と紐づく商品リスト管理部３６０６が、移動物体Ｍｏと紐づく商品リストを精算まで管理する。
【0165】
ステップＳ７１０において、精算ゲート５の出力制御部５３７は、移動物体Ｍｏが精算エリア４５に侵入したことをトリガーとして、移動物体Ｍｏに紐づく商品リストを表示する制御を実行する。具体的には例えば、精算機５ａのタッチパネルディスプレイに表示された商品リストを参照し、移動物体Ｍｏは、自身が購入する商品の特定が全てなされているか否かを確認する。
商品リストの修正が必要であると判断さえた場合、移動物体Ｍｏは商品リストの修正をすることができる。
商品リストの修正が必要であると判断さえた場合、移動物体Ｍｏは商品リストの修正をすることができる。
【0166】
ステップＳ７１１において、オペレーション受付部３０１ｃは、移動物体Ｍｏ自身の操作による修正依頼が受け付けられたか否かを判定する。
【0167】
ステップＳ７１１において、移動物体Ｍｏ自身による商品リストの修正の依頼が受け付けられたと判定された場合には、処理はステップＳ７１２に進む。
ステップＳ７１２において、移動物体Ｍｏは自身の操作により商品リストの修正を行う。具体的には例えば、移動物体Ｍｏが購入する商品と、商品リストに表示された商品との間に個数の過不足がある場合、移動物体Ｍｏは、精算機５ａのタッチパネルディスプレイの図示せぬボタンを押下することにより個数を修正してもよい。また例えば、特定できなかった商品や間違った商品が商品リストに表示されている場合には、移動物体Ｍｏは、商品に貼付されたバーコードの読み取り等により商品リストの修正を試みてもよい。さらにまた移動物体Ｍｏは、タッチパネルディスプレイに表示された商品候補から正しい商品を選択することにより商品の特定を試みてもよいし、商品ＤＢ１３１に記憶されている全ての商品の商品情報から検索して特定してもよい。
このようにして商品リストの修正が完了すると、移動物体と紐づく商品リスト管理部３６０６は商品リストを更新し、処理はステップＳ７１１に戻され、それ以降の処理が繰り返される。
ステップＳ７１２において、移動物体Ｍｏは自身の操作により商品リストの修正を行う。具体的には例えば、移動物体Ｍｏが購入する商品と、商品リストに表示された商品との間に個数の過不足がある場合、移動物体Ｍｏは、精算機５ａのタッチパネルディスプレイの図示せぬボタンを押下することにより個数を修正してもよい。また例えば、特定できなかった商品や間違った商品が商品リストに表示されている場合には、移動物体Ｍｏは、商品に貼付されたバーコードの読み取り等により商品リストの修正を試みてもよい。さらにまた移動物体Ｍｏは、タッチパネルディスプレイに表示された商品候補から正しい商品を選択することにより商品の特定を試みてもよいし、商品ＤＢ１３１に記憶されている全ての商品の商品情報から検索して特定してもよい。
このようにして商品リストの修正が完了すると、移動物体と紐づく商品リスト管理部３６０６は商品リストを更新し、処理はステップＳ７１１に戻され、それ以降の処理が繰り返される。
【0168】
これに対して、ステップＳ７１１において、移動物体Ｍｏ自身による商品リストの修正の依頼が無いと判定された場合は、処理はステップＳ７１３に進む。
【0169】
ステップＳ７１３において、オペレーション受付部３０１ｃは、移動物体Ｍｏより目検の依頼が受け付けられたか否かを判定する。
【0170】
ステップＳ７１３において目検の依頼が受け付けられたと判定された場合、処理はステップＳ７１４に進む。
ステップＳ７１４において、売場装置３のオペレーション結果取得部３０１ｄは、オペレータによる目検の結果を取得する。
具体的には例えば、ステップＳ７１３において移動物体Ｍｏから目検の要求が受け付けられたと判定された場合、図示せぬオペレータは目検を行う。目検の方法は特に限定されず、オペレータは、物体、商品等関する情報（例えば重量のデータやカメラにより取得された画像情報）に基づいて目検を行ってもよいし、精算機５ａに備えられたカメラ等を介して物体の画像を確認してもよい。
そして目検用端末Ｑの結果送信制御部４２２は、売場装置３、精算ゲート５に目検結果を送信する制御を実行する。
オペレーション結果取得部３０１ｄによりオペレータによる目検の結果が取得されると、移動物体と紐づく商品リスト管理部３６０６が商品リストを更新し、処理はステップＳ７１３に戻され、それ以降の処理が繰り返される。
ステップＳ７１４において、売場装置３のオペレーション結果取得部３０１ｄは、オペレータによる目検の結果を取得する。
具体的には例えば、ステップＳ７１３において移動物体Ｍｏから目検の要求が受け付けられたと判定された場合、図示せぬオペレータは目検を行う。目検の方法は特に限定されず、オペレータは、物体、商品等関する情報（例えば重量のデータやカメラにより取得された画像情報）に基づいて目検を行ってもよいし、精算機５ａに備えられたカメラ等を介して物体の画像を確認してもよい。
そして目検用端末Ｑの結果送信制御部４２２は、売場装置３、精算ゲート５に目検結果を送信する制御を実行する。
オペレーション結果取得部３０１ｄによりオペレータによる目検の結果が取得されると、移動物体と紐づく商品リスト管理部３６０６が商品リストを更新し、処理はステップＳ７１３に戻され、それ以降の処理が繰り返される。
【0171】
これに対して、ステップＳ７１３において、目検の依頼が受け付けられなかったと判定された場合、処理はステップＳ７１５に進む。
【0172】
ステップ７１５において、売買制限商品判定部３８０は、商品特定部３６０３によって特定された商品が、売買制限が必要とされる商品であるかどうかを判定する。
売買制限商品判定部３８０は、例えば特定された商品が年齢制限商品であると判定した場合、処理はステップＳ７１６に進む。
売買制限商品判定部３８０は、例えば特定された商品が年齢制限商品であると判定した場合、処理はステップＳ７１６に進む。
【0173】
ステップ７１６において、オペレーション受付部３０１ｃは、移動物体Ｍｏ自身の操作により売買制限の解除の依頼を受け付けたか否かを判定する。即ち例えば、精算機５ａのタッチパネルディスプレイに表示される「２０歳以上ですか」等の表示に対して移動物体ＭｏによりＯＫボタンの押下がなされることで、オペレーション受付部３０１ｃは移動物体Ｍｏ自身から売買制限の解除の依頼を受け付ける。
オペレーション受付部３０１ｃは、移動物体Ｍｏから売買制限の解除の依頼を受け付けると、移動物体Ｍｏ、商品等関する情報を目検用端末Ｑに送信する制御を実行する。
オペレーション受付部３０１ｃは、移動物体Ｍｏから売買制限の解除の依頼を受け付けると、移動物体Ｍｏ、商品等関する情報を目検用端末Ｑに送信する制御を実行する。
【0174】
ステップ７１７において、オペレーション結果取得部３０１ｄは、オペレータによる年齢確認の結果を取得する。具体的には例えば、オペレータは移動物体Ｍｏの顔や声、商品の情報を確認し、移動物体Ｍｏが２０歳以上であるか否かを判定する。なおこのとき、オペレータは、タッチパネルディスプレイ、スピーカー等を介して移動物体Ｍｏに対し、年齢確認ができる免許証等をカメラに向けて提示するよう通知してもよい。
【0175】
オペレーション結果取得部３０１ｄにおいて、移動物体Ｍｏ自身及びオペレータの夫々により年齢確認がなされたことが確認されると、処理はステップＳ７１８に進む。
ステップ７１８において、移動物体と紐づく商品リスト管理部３６０６は商品リストを更新し、売買制限商品判定部３８０は売買制限を解除する。
ステップ７１８において、移動物体と紐づく商品リスト管理部３６０６は商品リストを更新し、売買制限商品判定部３８０は売買制限を解除する。
【0176】
一方でステップＳ７１６及びステップＳ７１７において、移動物体Ｍｏ自身あるいはオペレータにより、年齢確認がなされなかった場合には、処理はステップＳ７１９に進む。
ステップＳ７１９において、売買制限商品判定部３８０は、警告を送信し、自動精算処理を中止する。
ステップＳ７１９において、売買制限商品判定部３８０は、警告を送信し、自動精算処理を中止する。
【0177】
ステップＳ７２０において、移動物体Ｍｏは決済を完了する。決済が完了すると、ゲートが開き、移動物体Ｍｏは退店する。なお移動物体Ｍｏが個人認証済みである場合には、上述した年齢確認は必ずしも実行されてなくてもよく、移動物体Ｍｏは決済を完了させることですぐに退店することができる。
移動物体Ｍｏが退店すると天井カメラによる移動物体領域追跡部３３０５により店舗４０内の人の位置情報が更新され、入店制御部３５０により新たな買い物客の入店が許可される。
移動物体Ｍｏが退店すると天井カメラによる移動物体領域追跡部３３０５により店舗４０内の人の位置情報が更新され、入店制御部３５０により新たな買い物客の入店が許可される。
【0178】
〔他の実施形態〕
本発明は、上述の実施形態に限定されるものでなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
本発明は、上述の実施形態に限定されるものでなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
【0179】
さらに例えば、本情報処理システムは、棚在庫管理機能を備えてもよい。棚在庫管理機能は、店員判別手段と在庫情報更新手段とを備える。
店員判別手段は、店員と買い物客とを判別する。例えば、店員判別部は、店員を識別できる物理的なマーカーを帽子や服等、店員が身に着けているものに付与する。この物理的なマーカーを天井カメラ及び棚カメラが撮像することで、店員を判別する。
店員判別手段は、店員と買い物客とを判別する。例えば、店員判別部は、店員を識別できる物理的なマーカーを帽子や服等、店員が身に着けているものに付与する。この物理的なマーカーを天井カメラ及び棚カメラが撮像することで、店員を判別する。
【0180】
また、店員判別手段は、店舗のバックヤード等の所定のエリアに設けられたボタンを備えてもよい。この店員判別手段は所定のエリアに存在する店員にボタンを押されることでその店員にＩＤを採番する。さらにまた、店員判別手段としては、店員が、店舗のバックヤード等の所定のエリアを通過する、又は所定のエリアに侵入することでその店員にＩＤが採番されてもよい。
なお、店員判別部は、店員と認識した人物の領域を天井カメラが追跡し続ける。
なお、店員判別部は、店員と認識した人物の領域を天井カメラが追跡し続ける。
【0181】
そして、在庫情報の更新手段は、店員が棚に商品を補充した場合（加算）又は取り出したり廃棄したりした場合（減算）に、物体認識部及び商品特定部を駆使し、棚の在庫情報をサーバの商品ＤＢにおいて更新する。
在庫情報の更新手段は、商品が購入された場合に、当該商品が存在する棚の在庫及び店舗全体の在庫情報を更新する。
在庫情報の更新手段は、棚の在庫及び店舗全体の在庫情報を管理し、在庫数が閾値を下回ると、遠隔操作部に通知する、又は自動発注する。
在庫情報の更新手段は、商品が購入された場合に、当該商品が存在する棚の在庫及び店舗全体の在庫情報を更新する。
在庫情報の更新手段は、棚の在庫及び店舗全体の在庫情報を管理し、在庫数が閾値を下回ると、遠隔操作部に通知する、又は自動発注する。
【0182】
また、本発明は、買い物客の属性推定機能を備えてもよい。買い物客の属性推定機能は、買い物客の大まかな年齢や年代、性別等の属性を例えば顔認識から推定する。買い物客の属性推定機能は、本実施形態においては、売場装置や精算ゲート等に備えられる。
また、本発明は、購買情報や買い物客の属性情報や個人情報をＰＯＳシステムに連携する。購買情報とは例えば、購入した商品名、金額等の情報、商品の位置、買い物客の移動履歴、あるいは購入には至らなかったが棚から入出が行われた商品に関するデータが含まれる。また、買い物客の属性情報とは例えば、上述の買い物客の属性推定機能にて得られる情報が含まれる。
また、本発明は、購買情報や買い物客の属性情報や個人情報をＰＯＳシステムに連携する。購買情報とは例えば、購入した商品名、金額等の情報、商品の位置、買い物客の移動履歴、あるいは購入には至らなかったが棚から入出が行われた商品に関するデータが含まれる。また、買い物客の属性情報とは例えば、上述の買い物客の属性推定機能にて得られる情報が含まれる。
【0183】
買い物客の属性推定機能は、例えば売買制限商品判定部と連携されてもよい。この買い物客の属性推定機能は、属性を推定した結果、買い物客が明らかに年齢確認を必要としない３０歳代以上であれば、売買制限商品判定部が年齢確認をしないように制御してもよい。
【0184】
ここで上述の実施形態に関する課題について補足する。
上述の実施形態における情報処理システムでの商品の特定手法として、ディープラーニングを用いた画像認識を一例として挙げた。しかし、ディープラーニングは、商品を特定できなかったとき、もしくは誤認識したときに再学習をさせる必要があり、その際には正解商品の画像を人の手で与える必要があり、多大な手間がかかる。
上述の実施形態における情報処理システムでの商品の特定手法として、ディープラーニングを用いた画像認識を一例として挙げた。しかし、ディープラーニングは、商品を特定できなかったとき、もしくは誤認識したときに再学習をさせる必要があり、その際には正解商品の画像を人の手で与える必要があり、多大な手間がかかる。
【0185】
上述の課題の解決方法として、本発明の情報処理システムは、商品購入時に、目検者の目視による確認や、バーコードスキャン等を行い、商品の特定を修正する機能と、商品の特定の修正が行われた際に、正解商品画像及び必要な情報（修正後の商品番号や特定のコード等）を紐づけて記録する機能と、前記正解商品画像及び必要な情報をもとに、ディープラーニングの学習を自動で実行する機能と、学習結果を自動で同情報処理システムに配備する機能と、を実装することにより、上記の一連のディープラーニングの再学習処理の自動化を実現できる。
ここで、学習結果の配備とは、商品の特定に用いることができるよう、学習の結果に基づいて、同情報処理システムの、例えばディープラーニングのモデル等を更新する処理を指す。
上記の再学習処理は、例えば商品特定の失敗等の所定の条件をトリガーとして開始される構成としてもよいし、担当者による明示の操作、例えばボタンの押下等をトリガーとして開始される構成としてもよい。
ここで、学習結果の配備とは、商品の特定に用いることができるよう、学習の結果に基づいて、同情報処理システムの、例えばディープラーニングのモデル等を更新する処理を指す。
上記の再学習処理は、例えば商品特定の失敗等の所定の条件をトリガーとして開始される構成としてもよいし、担当者による明示の操作、例えばボタンの押下等をトリガーとして開始される構成としてもよい。
【0186】
上記のようなディープラーニングの再学習処理によれば、ディープラーニングの再学習にかかる煩雑な作業を簡略化し人手を削減できると共に、商品の特定精度が向上し続ける情報処理システムを提供することができる。
【0187】
また、上述の実施形態において、物体を商品として特定する場合に適用される画像認識手法として、例えばＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）を用いた物体認識、特徴点や特徴量を用いた物体認識、商品のロゴの形状認識、文字認識（ＡＩを用いた文字形状の認識、ＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ）を用いた文字の認識等）を採用することが可能である。
【0188】
また、画像認識手法に加えて上述した重量認識（重量センサを用いた物体の重量認識）の他に、バーコードやＱＲコード（登録商標）等の識別情報のスキャンによる商品認識（赤外線センサーあるいは画像読み取り等によるバーコードやＱＲコード（登録商標）等のスキャン）、ＲＦＩＤ等の電子的に記録された識別情報の読み取りによる商品認識の１つ、又は複数の認識手法を組み合わせて、物体を商品としての特定することが可能である。この場合、各特定手法による物体の特定結果をスコア化し、その物体をスコアが最も高い商品であると推定すること等が可能である。
さらに、上記の重量認識、バーコードやＱＲコード（登録商標）等の識別情報のスキャンによる商品認識、電子的に記録された識別情報の読み取りによる商品認識等の特定手法は、画像認識手法と組み合わせずに、１つ、又は複数を組み合わせて、物体を商品として認識することが可能である。
さらに、上記の重量認識、バーコードやＱＲコード（登録商標）等の識別情報のスキャンによる商品認識、電子的に記録された識別情報の読み取りによる商品認識等の特定手法は、画像認識手法と組み合わせずに、１つ、又は複数を組み合わせて、物体を商品として認識することが可能である。
【0189】
上述の各実施形態において、物体、又は商品の目検を目検用端末Ｑによって行うことにしたが、これに限られない。即ち、目検者による目検を精算ゲート５等の他の装置によって行うことにしてもよい。
また、上述の各実施形態において、１つの店舗、又は１つの精算ゲート５ごとに１つの目検用端末Ｑを備えることや、複数の店舗、又は複数の精算ゲートごとに１つの目検用端末Ｑを備えることが可能である。
また、上述の各実施形態において、１つの店舗、又は１つの精算ゲート５ごとに１つの目検用端末Ｑを備えることや、複数の店舗、又は複数の精算ゲートごとに１つの目検用端末Ｑを備えることが可能である。
【0190】
また、上述の実施形態におけるハイブリッドチェックシステム（目検）は必ずしも商品特定のみに用いられるわけではない。即ち、例えば、商品が（Ａ）タバコ、酒類等のような一定の年齢に達しないと購入できない商品、（Ｂ）消費期限切れや賞味期限切れの商品、（Ｃ）アレルギー成分を含むため、体質によって、摂取すべきでない商品、（Ｄ）ハラル食品以外の商品等、宗教による制限のある商品、であるか否か等の判定にも利用可能である。
【0191】
上述の実施形態では、入店ゲート４１ａ、精算ゲート５－４及び精算ゲート５－５においては、フラッパー式のゲートが採用されるが特にこの方式に限定されない。即ち例えばホログラムで表示されるゲートが採用されてもよい。入店ゲート４１ａ、精算ゲート５－４、及び精算ゲート５－５の夫々は、例えば音声や光により人の通過の可否を報知してもよい。
【0192】
商品情報は、商品ＤＢ１３１において記憶され、リアルタイムに更新される。また商品情報は、店舗毎、複数店舗毎、レジ毎、あるいは日次毎、月次毎、年次毎に管理することができる。
【0193】
上述の実施形態では、各情報処理装置における記憶部はハードディスクやＤＲＡＭ等で構成されるとして説明したがこれに限定されない。例えばＳＳＤなどの外部記憶装置が用いられてもよい。
【0194】
上述の実施形態では、特定できなかった商品や間違った商品が商品リストに表示されている場合、移動物体Ｍｏはバーコードの読み取り等により商品リストの修正を試みてもよいと説明したが、移動物体Ｍｏは所持する全ての商品をバーコードの読み取りによって特定してもよい。
【0195】
上述の実施形態において、移動物体Ｍｏの発見には撮像画像に基づく状態空間モデルが採用されたが、この方法に限定されない。即ち例えば、３次元点群データ、２Ｄ画像、距離データ、温度データ、赤外線量、光データ等の各センシングデバイスから取得される各種データが移動物体Ｍｏの発見のために採用されてもよい。
【0196】
上述の実施形態においては、発見された移動物体Ｍｏを中心として変化のある領域を連続的に見つけることにより移動物体Ｍｏの領域を定義したが、特にこの方法に限定されない。即ち例えば、３次元点群データから移動物体Ｍｏを発見し、ＩＣＰアルゴリズムを用いて移動物体Ｍｏの位置座標を特定し、移動物体領域を定義してもよい。
また移動物体Ｍｏが人である場合には、３次元点群データを初めとして２Ｄ画像、距離データ、温度データ、赤外線量、光データなどの各センシングから取得できるデータを用い、移動物体Ｍｏの領域を定義してもよい。またディープラーニングを併用することによって移動物体Ｍｏの領域を推定してもよい。
また移動物体Ｍｏが人である場合には、３次元点群データを初めとして２Ｄ画像、距離データ、温度データ、赤外線量、光データなどの各センシングから取得できるデータを用い、移動物体Ｍｏの領域を定義してもよい。またディープラーニングを併用することによって移動物体Ｍｏの領域を推定してもよい。
【0197】
上述の実施形態では、移動物体Ｍｏの追跡には、特徴データの収集による追跡やベイジアンフィルタ等の物体追跡の技術が採用されることを前提として説明したが、特にこれらの方法に限定されない。即ち例えば、位置情報の最適解を用いて移動物体Ｍｏを追跡してもよい。また時系列の位置情報をもとに、ノイズ判定のうえ、移動物体Ｍｏを推定し、追跡してもよい。
【0198】
上述の実施形態では、各天井カメラ３１０により撮像された撮像画像を合成することにより、各カメラが店舗内のどこを映しているのか、カメラの位置情報を定義したが、この方法に限定されない。即ち例えば、ＩＣＰアルゴリズムを用いた座標変換により、カメラごとの位置情報を店舗全体の（複数カメラを統合した）位置情報に座標変換して、カメラの位置情報を定義してもよい。
【0199】
上述の実施形態においては、複数の移動物体Ｍｏの位置情報や移動方向等の情報を用いて移動物体Ｍｏをグルーピングすることを前提として説明したが、グルーピングに用いられる情報はこれらに限定されない。即ち例えば、個人情報取得部３２１において取得される生体情報等に基づいてグルーピングされてもよい。
【0200】
また上述の実施形態においては、顔認証手法により複数の移動物体Ｍｏの血縁関係が判定されると説明したが、血縁関係の判定に用いられる情報はこれらに限定されない。即ち例えば、個人情報取得部３２１において取得される各種情報に基づいて血縁関係が判定されてもよい。
【0201】
また上述の実施形態において、移動物体Ｍｏから他の移動物体Ｍｏへ物体が受け渡される場合において、物体を受け渡す（される）前後のカゴやカートの中を、差分認識等を行うことにより認識し、商品を特定してもよい。
【0202】
上述の実施形態では、１台のカメラにて広範囲を撮影するため、撮影対象が映る鏡を天井に設置し、天井カメラ３１０や棚カメラ３１１により鏡に映った撮影対象を撮像する方法について説明したが、カメラの位置は壁に限定されない。例えば棚や天井等にカメラが設置されていてもよい。
【0203】
上述の実施形態においては、店員Ｍｔが所持する情報端末９、あるいはバックヤードの画面等に移動物体Ｍｏの位置情報が表示されるものとして説明したが、表示される端末はこれらに限定されない。インターネットに接続されることにより図示せぬサービス提供者、システム担当者等が所持する端末等に移動物体Ｍｏの位置情報が表示されてもよい。
【0204】
上述の実施形態では、センシングデバイスとして棚カメラ３１１を用いる場合、特定物体認識、一般物体認識、ディープラーニング等の画像処理手法により商品の候補をリストアップし、リストアップされた商品候補について、さらに別のリストとマッチングさせることにより検証し、商品を特定することを前提として説明したが、ここでいう検証は必ずしも必須の要素ではない。即ち、特定物体認識等の画像処理手法によりリストアップされた商品の候補を、特定された商品として扱ってもよい。
【0205】
上述の実施形態では、棚内から物体が持ち去られたタイミングで物体の入出が認識され、商品としての特定が試みられることを前提として説明したが、認識、特定のタイミングはこれに限定されず任意でよい。即ち例えば、棚内から物体が持ち去られると物体の入出が認識され、認識された物体と移動物体Ｍｏとの紐づけがなされ、移動物体Ｍｏが精算エリア４５に侵入したことをトリガーとして商品の特定がなされてもよい。これにより物体の入出が認識された後、商品として特定されるまでの間に時間的猶予ができるため、例えば複数手法により商品の特定をすることができるようになる等、商品の特定精度を向上させることができる。
【0206】
上述の実施形態では、画像認識により商品を特定できなかった場合には、目検者、オペレータの目視による確認や、バーコードの読み取り等により入力される必要情報と正解の商品画像とを紐づけて記録することでディープラーニングの学習処理を自動化できるが、正解のラベルとして採用できるのは商品画像に限定されない。即ち例えば、画像以外の商品を特定する情報（例えば重量センサーでの認識結果）を正解として必要情報と紐付け、学習処理を実行してもよい。これによりディープラーニングの再学習処理の精度を向上させることができる。
【0207】
また、本発明は、上述のＣＰＵによる画像処理をＧＰＵ（Ｇｒａｐｈｉｃ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）による処理としてもよい。
また、図示したハードウェア構成やブロック図は、本発明の目的を達成するための例示に過ぎず、本発明は図示された例に限定されない。
また、図８乃至図１１、図１６、図１７の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能がシステムに備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図８乃至図１１、図１６、図１７の例に限定されず、任意でよい。
また、機能ブロックの存在場所は、図示されたものに限定されず、任意でよい。例えば、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらを組み合わせで構成してもよい。各機能ブロックの処理をソフトウェアにより実行される場合には、そのソフトウェアを構成するプログラムがコンピュータ等にネットワークや記録媒体からインストールされる。
また、図示したハードウェア構成やブロック図は、本発明の目的を達成するための例示に過ぎず、本発明は図示された例に限定されない。
また、図８乃至図１１、図１６、図１７の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能がシステムに備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図８乃至図１１、図１６、図１７の例に限定されず、任意でよい。
また、機能ブロックの存在場所は、図示されたものに限定されず、任意でよい。例えば、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらを組み合わせで構成してもよい。各機能ブロックの処理をソフトウェアにより実行される場合には、そのソフトウェアを構成するプログラムがコンピュータ等にネットワークや記録媒体からインストールされる。
【0208】
コンピュータは、専用のハードウェアに組み込まれるコンピュータであってもよいし、スマートフォンやパーソナルコンピュータであってもよい。
【0209】
またコンピュータは例えばクラウド上のサーバ等であってもよい。
【0210】
このようなプログラムを含む記録媒体は、ユーザ等にプログラムを提供するために装置本体とは別に配布される図示せぬリムーバブルメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザ等に提供される記録媒体等で構成される。
【0211】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくても、並列的あるいは個別に実行される処理をも含むものである。
また、本明細書において、システムの用語は、複数の装置や複数の手段等により構成される全体的な装置を意味するものである。
また、本明細書において、システムの用語は、複数の装置や複数の手段等により構成される全体的な装置を意味するものである。
【0212】
以上まとめると、本発明が適用される情報処理システムは、次のような構成を取れば足り、各種各様な実施形態を取ることができる。
即ち、情報処理システムは、
人が移動して商品を購入する際に利用される情報処理システムにおいて、
前記人又は当該人と共に移動する物体を移動物体として、当該移動物体を追跡する移動物体追跡手段（例えば、天井カメラによる移動物体領域追跡部３３０５）と、
重量センサー、及びカメラのうち少なくとも一方を用いる所定の手法で、商品及び商品の個数の双方を特定する商品特定手段（例えば、商品特定部３６０３）と、
特定された前記商品と、所定の位置関係にある前記移動物体とを紐づける紐づけ手段（例えば、移動物体と商品紐づけ部３６０４）と、
を備える。
これにより、購入者が商店に陳列されている商品を購入する際に、商品の代金の精算の自動化、商品の代金の精算にかかる時間の短縮及び買い物客やレジ担当者による不正防止を図ることが可能な情報処理システムを提供することができる。
即ち、情報処理システムは、
人が移動して商品を購入する際に利用される情報処理システムにおいて、
前記人又は当該人と共に移動する物体を移動物体として、当該移動物体を追跡する移動物体追跡手段（例えば、天井カメラによる移動物体領域追跡部３３０５）と、
重量センサー、及びカメラのうち少なくとも一方を用いる所定の手法で、商品及び商品の個数の双方を特定する商品特定手段（例えば、商品特定部３６０３）と、
特定された前記商品と、所定の位置関係にある前記移動物体とを紐づける紐づけ手段（例えば、移動物体と商品紐づけ部３６０４）と、
を備える。
これにより、購入者が商店に陳列されている商品を購入する際に、商品の代金の精算の自動化、商品の代金の精算にかかる時間の短縮及び買い物客やレジ担当者による不正防止を図ることが可能な情報処理システムを提供することができる。
【0213】
また情報処理システムは、
特定された前記商品の情報から確定された精算金額を提示する提示手段（例えば、出力制御部５３７）をさらに備える。
これにより購入者は、提示された精算金額に基づいて商品の精算を無人で試みることができる。
特定された前記商品の情報から確定された精算金額を提示する提示手段（例えば、出力制御部５３７）をさらに備える。
これにより購入者は、提示された精算金額に基づいて商品の精算を無人で試みることができる。
【0214】
また情報処理システムは、
前記移動物体に対する精算として、前記移動物体と紐づけされた前記商品に関する精算の処理を行う精算手段（例えば、精算部５３５）、
をさらに備える。
これにより購入者は、精算エリアに侵入しただけで自身が購入する商品の精算を行うことができる。
前記移動物体に対する精算として、前記移動物体と紐づけされた前記商品に関する精算の処理を行う精算手段（例えば、精算部５３５）、
をさらに備える。
これにより購入者は、精算エリアに侵入しただけで自身が購入する商品の精算を行うことができる。
【0215】
また情報処理システムは、
前記移動物体に関する情報を取得する取得手段（例えば、個人情報取得部３２１）をさらに備える。
これにより購入者は、例えば現金やクレジットカード等を取り出すことなく、精算ゲートを通過するだけで商品の精算を完了させることができる。
前記移動物体に関する情報を取得する取得手段（例えば、個人情報取得部３２１）をさらに備える。
これにより購入者は、例えば現金やクレジットカード等を取り出すことなく、精算ゲートを通過するだけで商品の精算を完了させることができる。
【0216】
また前記移動物体追跡手段は、追跡対象の前記移動物体と紐づく前記商品が、当該移動物体とは異なる人に対して受け渡された場合、その旨を認識して（例えば、天井カメラによる受け渡された物体認識部３３１２）、当該移動物体とは異なる当該人を新たな移動物体として特定して、当該新たな移動物体を追跡対象とし、前記紐づけ手段（例えば、移動物体と商品紐づけ部３６０４）は、受け渡された前記商品と、前記新たな移動物体とを紐づける。
これにより移動物体Ｍｏ同士で物体の受け渡しが行われた場合でも、移動物体Ｍｏの夫々お商品リストが更新されるため、自動精算の精度をさらに向上させることができる。
これにより移動物体Ｍｏ同士で物体の受け渡しが行われた場合でも、移動物体Ｍｏの夫々お商品リストが更新されるため、自動精算の精度をさらに向上させることができる。
【0217】
また情報処理システムは、
前記商品が売買制限商品であって、前記人が売買制限の対象の可能性がある場合、所定のエラー状態である旨を提示する第１エラー提示手段（例えば、エラー表示部１５１）をさらに備える。
これにより店員Ｍｔやオペレータは、売買制限商品の購入希望者に対し、年齢確認を行ったり、アレルギー商品であることを通知することができるようになる。
前記商品が売買制限商品であって、前記人が売買制限の対象の可能性がある場合、所定のエラー状態である旨を提示する第１エラー提示手段（例えば、エラー表示部１５１）をさらに備える。
これにより店員Ｍｔやオペレータは、売買制限商品の購入希望者に対し、年齢確認を行ったり、アレルギー商品であることを通知することができるようになる。
【0218】
また前記紐づけ手段は、さらに、前記商品特定手段による前記商品及び商品の個数の双方の特定の試みに失敗した前記商品を、前記移動物体と紐づけ（例えば、商品不特定判定部３６０９）、
前記商品特定手段による前記商品及び商品の個数の双方の特定の試みが失敗した場合、所定のエラー状態である旨を提示する第２エラー提示手段（例えば、エラー表示部１５１）をさらに備える。
これにより店員Ｍｔやオペレータは、特定の試みに失敗した商品について、購入者に対し、自身による修正やオペレータの目検による修正等の提案を行うことができる。
前記商品特定手段による前記商品及び商品の個数の双方の特定の試みが失敗した場合、所定のエラー状態である旨を提示する第２エラー提示手段（例えば、エラー表示部１５１）をさらに備える。
これにより店員Ｍｔやオペレータは、特定の試みに失敗した商品について、購入者に対し、自身による修正やオペレータの目検による修正等の提案を行うことができる。
【0219】
また前記移動物体追跡手段は、店員が存在する店舗において移動する前記人を前記移動物体として、当該移動物体を追跡し、
前記店員と前記移動物体とを判別する店員判別手段（例えば、店員判別手段）、をさらに備える。
これにより店員と購入者たる移動物体Ｍｏとを分けて追跡することができるため、店員の在庫管理作業に係る物体の入出と、移動物体Ｍｏによる物体の入出とを分けて認識することができる。そのため、商品管理の精度を向上させることができる。
前記店員と前記移動物体とを判別する店員判別手段（例えば、店員判別手段）、をさらに備える。
これにより店員と購入者たる移動物体Ｍｏとを分けて追跡することができるため、店員の在庫管理作業に係る物体の入出と、移動物体Ｍｏによる物体の入出とを分けて認識することができる。そのため、商品管理の精度を向上させることができる。
【0220】
また情報処理システムは、１以上の前記商品は店舗の棚を含む所定の置場に配置されおり、前記置場及び前記店舗の全体の夫々の前記商品の在庫を管理し、所定の商品が購入された場合に、当該所定の商品が存在する前記置場及び前記店舗の全体の夫々の在庫を更新する在庫情報更新手段（例えば、在庫情報更新部３６１２）、
を備える。
これにより店舗内の棚卸作業といった管理業務を自動化することができるようになる。
を備える。
これにより店舗内の棚卸作業といった管理業務を自動化することができるようになる。
【0221】
また前記置場の前記商品の在庫数が所定要件を満たした場合には、その旨を通知する補充通知手段（例えば、在庫情報更新部３６１２）を備え、
前記店舗の全体の前記商品の在庫数が所定要件を満たした場合に、自動発注の実行を制御する在庫補充手段（例えば、在庫情報更新部３６１２）、
をさらに備える。
これにより商品の在庫が自動で発注される為、管理業務を短時間、低コストで確実に行うことができるようになる。
前記店舗の全体の前記商品の在庫数が所定要件を満たした場合に、自動発注の実行を制御する在庫補充手段（例えば、在庫情報更新部３６１２）、
をさらに備える。
これにより商品の在庫が自動で発注される為、管理業務を短時間、低コストで確実に行うことができるようになる。
【0222】
また情報処理システムは、
前記人の属性を推定する属性推定手段（例えば、属性推定機能）をさらに備える。
これにより例えば所定の属性ごとの購入者の購入履歴に関する情報をマーケティング等に活用することができる。
前記人の属性を推定する属性推定手段（例えば、属性推定機能）をさらに備える。
これにより例えば所定の属性ごとの購入者の購入履歴に関する情報をマーケティング等に活用することができる。
【0223】
また前記移動物体追跡手段は、さらに、追跡している際の前記移動物体の移動の経路を示す履歴情報を登録する（例えば、移動物体領域定義部３３０４、位置情報管理ＤＢ１３２）。
これにより移動物体Ｍｏの行動パターンを把握することができるので、登録された履歴情報をマーケティング等に活用することができる。
これにより移動物体Ｍｏの行動パターンを把握することができるので、登録された履歴情報をマーケティング等に活用することができる。
【0224】
また前記商品特定手段は、前記商品を被写体に含む画像に対して、目検者が目視による確認をする前記所定手法を第１手法として用いて、当該商品及び商品の個数の双方を特定することを試みた結果を取得する第１特定手段（例えば、オペレーション結果取得部３０１ｄ）と、
前記所定の手法のうち前記第１手法とは異なる第２手法を用いて、前記商品及び商品の個数の双方を特定することを試みる第２特定手段（例えば、商品特定部３６０３ａ）と、を備え、
前記第１特定手段と前記第２特定手段のうち、少なくとも一方の結果に基づいて前記商品を特定する。
これにより商品の特定精度を向上させることができる。
前記所定の手法のうち前記第１手法とは異なる第２手法を用いて、前記商品及び商品の個数の双方を特定することを試みる第２特定手段（例えば、商品特定部３６０３ａ）と、を備え、
前記第１特定手段と前記第２特定手段のうち、少なくとも一方の結果に基づいて前記商品を特定する。
これにより商品の特定精度を向上させることができる。
【0225】
また前記人は、店舗の中で前記商品を購入するために移動し、
前記店舗の中の人数によって、新たな人の入店の許可又は禁止を制御する入店制御手段（入店制御部３５０）をさらに備える。
これにより店舗内の人の密度を所定以下に制御することができるので飛沫やエアロゾルによる感染症等を防止することができる。
前記店舗の中の人数によって、新たな人の入店の許可又は禁止を制御する入店制御手段（入店制御部３５０）をさらに備える。
これにより店舗内の人の密度を所定以下に制御することができるので飛沫やエアロゾルによる感染症等を防止することができる。
【0226】
また情報処理システムは、
前記入店制御手段の制御により前記新たな人の入店が禁止されている際に、その旨を報知する入店制御報知手段（例えば、出力部３１３）を備える。
これにより移動物体Ｍｏは入店が禁止されている間待機することができるので店舗内の人の密度を所定以下で維持することができるようになる。
前記入店制御手段の制御により前記新たな人の入店が禁止されている際に、その旨を報知する入店制御報知手段（例えば、出力部３１３）を備える。
これにより移動物体Ｍｏは入店が禁止されている間待機することができるので店舗内の人の密度を所定以下で維持することができるようになる。
【0227】
また前記提示手段は、さらに、
複数の前記移動物体のうち、所定条件を満たす１以上の前記移動物体の夫々と紐付けされた前記商品の情報から確定された精算金額を提示（例えば、出力制御部５３７）する。
これにより複数の移動物体Ｍｏに紐づく商品情報を、まとめて精算することができる。
複数の前記移動物体のうち、所定条件を満たす１以上の前記移動物体の夫々と紐付けされた前記商品の情報から確定された精算金額を提示（例えば、出力制御部５３７）する。
これにより複数の移動物体Ｍｏに紐づく商品情報を、まとめて精算することができる。
【符号の説明】
【0228】
１・・・サーバ
３・・・売場装置
５ａ・・・精算機
５－１，５－２，５－３・・・精算ゲート
４０・・・店舗
４１，４２・・・出入口
４３・・・棚ラック
４４・・・通路
１０１，３０１，４０１，５０１・・・ＣＰＵ
１０８・・・記憶部
１０９，３１５，５０９・・・通信部
１３１・・・商品ＤＢ
１４１・・・ＤＢ管理部
１５１・・・エラー表示部
３１０・・・天井カメラ
３１１・・・棚カメラ
３１２・・・重量センサー
３２０・・・個人認証部
３３０・・・移動物体追跡部
３３０２・・・天井カメラによる移動物体発見部
３３０４・・・天井カメラによる移動物体領域追跡部
３３０５・・・天井カメラによる移動物体領域定義部
３３０８・・・グルーピング部
３３０９・・・血縁関係判定部
３４０・・・位置情報管理部
３４１・・・カメラ間情報受け渡し部
３４２・・・各カメラの位置定義部
３６０・・・棚商品認識部
３６０２・・・物体認識部
３６０３・・・商品特定部
３６０９・・・商品不特定判定部
３６１０・・・ラベル認識部
３８０・・・売買制限商品判定部
３９０・・・遠隔操作部
Ｍｏ・・・移動物体
３・・・売場装置
５ａ・・・精算機
５－１，５－２，５－３・・・精算ゲート
４０・・・店舗
４１，４２・・・出入口
４３・・・棚ラック
４４・・・通路
１０１，３０１，４０１，５０１・・・ＣＰＵ
１０８・・・記憶部
１０９，３１５，５０９・・・通信部
１３１・・・商品ＤＢ
１４１・・・ＤＢ管理部
１５１・・・エラー表示部
３１０・・・天井カメラ
３１１・・・棚カメラ
３１２・・・重量センサー
３２０・・・個人認証部
３３０・・・移動物体追跡部
３３０２・・・天井カメラによる移動物体発見部
３３０４・・・天井カメラによる移動物体領域追跡部
３３０５・・・天井カメラによる移動物体領域定義部
３３０８・・・グルーピング部
３３０９・・・血縁関係判定部
３４０・・・位置情報管理部
３４１・・・カメラ間情報受け渡し部
３４２・・・各カメラの位置定義部
３６０・・・棚商品認識部
３６０２・・・物体認識部
３６０３・・・商品特定部
３６０９・・・商品不特定判定部
３６１０・・・ラベル認識部
３８０・・・売買制限商品判定部
３９０・・・遠隔操作部
Ｍｏ・・・移動物体
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】