(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023181782
(43)【公開日】2023-12-25
(54)【発明の名称】推定システム、学習システム、推定方法、学習方法、プログラム
(51)【国際特許分類】
G01H 17/00 20060101AFI20231218BHJP
【FI】
G01H17/00 Z
【審査請求】未請求
【請求項の数】10
【出願形態】OL
(21)【出願番号】P 2022095122
(22)【出願日】2022-06-13
(71)【出願人】
【識別番号】000003193
【氏名又は名称】TOPPANホールディングス株式会社
(74)【代理人】
【識別番号】100149548
【弁理士】
【氏名又は名称】松沼 泰史
(74)【代理人】
【識別番号】100139686
【弁理士】
【氏名又は名称】鈴木 史朗
(74)【代理人】
【識別番号】100169764
【弁理士】
【氏名又は名称】清水 雄一郎
(74)【代理人】
【識別番号】100147267
【弁理士】
【氏名又は名称】大槻 真紀子
(72)【発明者】
【氏名】吉野 弘一
【テーマコード(参考)】
2G064
【Fターム(参考)】
2G064AA11
2G064AB02
2G064BA02
2G064BD02
2G064DD02
(57)【要約】
【課題】高さ方向におけるいずれの位置に操作がなされたかを把握することができる推定システムを提供する。
【解決手段】高さ方向に棚板が複数段設けられる什器のいずれかの位置に振動ユニットが設けられ、前記什器におけるいずれかの棚板に対して物体が置かれるまたは取り出す操作が行われたことに応じて生じる振動が印加されることに応じて前記振動ユニットが振動することにより、前記操作に応じて生じる振動の持続時間または強度の少なくともいずれか一方が変化された振動を検出するセンサから得られるセンサ情報を取得するセンサ情報取得部と、前記センサ情報と前記操作された什器における位置との関係を学習した学習済みモデルに前記取得されたセンサ情報を入力して、前記操作された什器における高さ方向における位置を含む位置情報を得る推定部と、を有する。
【選択図】
図1
【特許請求の範囲】
【請求項1】
高さ方向に棚板が複数段設けられる什器のいずれかの位置に振動ユニットが設けられ、前記什器におけるいずれかの棚板に対して物体が置かれるまたは取り出す操作が行われたことに応じて生じる振動が印加されることに応じて前記振動ユニットが振動することにより、前記操作に応じて生じる振動の持続時間または強度の少なくともいずれか一方が変化された振動を検出するセンサから得られるセンサ情報を取得するセンサ情報取得部と、
前記センサ情報と前記操作された什器における位置との関係を学習した学習済みモデルに前記取得されたセンサ情報を入力して、前記操作された什器における高さ方向における位置を含む位置情報を得る推定部と、
を有する推定システム。
【請求項2】
前記振動ユニットの数は、1つまたは複数であり、前記什器に対して任意の位置に取り付けられる
請求項1に記載の推定システム。
【請求項3】
振動ユニットは、前記振動の持続時間の延長と前記振動の強度の上昇とのうち少なくともいずれか一方の特性を有する第1ユニットと、前記振動の持続時間の短縮と前記振動の強度の低下とのうち少なくともいずれか一方の特性を有する第2ユニットとが組み合わされることで、前記操作に応じて生じる振動の持続時間または強度の少なくともいずれか一方を変化させる特性を編集可能である
請求項2に記載の推定システム。
【請求項4】
前記振動ユニットは、
特性が異なる複数種類の第1ユニットのうちの少なくともいずれか1つと、
特性が異なる複数種類の第2ユニットのうちの少なくともいずれか1つと、
が組み合わされる
請求項3に記載の推定システム。
【請求項5】
前記センサは、重量センサであり、
前記推定システムは、前記操作が行われる前と後においてそれぞれ得られる前記重量センサの検出結果から、前記什器の重量の差を求める重量算出部
を有する請求項1から請求項3のうちいずれか1項に記載の推定システム。
【請求項6】
高さ方向に棚板が複数段設けられる什器のいずれかの位置に振動ユニットが設けられ、前記什器におけるいずれかの棚板に対して物体が置かれるまたは取り出す操作が行われたことに応じて生じる振動が印加されることに応じて前記振動ユニットが振動することにより、前記操作に応じて生じる振動の持続時間または強度の少なくともいずれか一方が変化された振動を検出するセンサから得られるセンサ情報と、前記操作された什器における高さ方向における位置を含む位置情報とを取得する学習データ取得部と、
前記取得された学習データを用いて前記センサ情報と前記位置情報との関係を学習した学習済みモデルを生成する学習部と、
を有する学習システム。
【請求項7】
高さ方向に棚板が複数段設けられる什器のいずれかの位置に振動ユニットが設けられ、前記什器におけるいずれかの棚板に対して物体が置かれるまたは取り出す操作が行われたことに応じて生じる振動が印加されることに応じて前記振動ユニットが振動することにより、前記操作に応じて生じる振動の持続時間または強度の少なくともいずれか一方が変化された振動を検出するセンサから得られるセンサ情報を取得し、
前記センサ情報と前記操作された什器における位置との関係を学習した学習済みモデルに前記取得されたセンサ情報を入力して、前記操作された什器における高さ方向における位置を含む位置情報を得る
推定方法。
【請求項8】
高さ方向に棚板が複数段設けられる什器のいずれかの位置に振動ユニットが設けられ、前記什器におけるいずれかの棚板に対して物体が置かれるまたは取り出す操作が行われたことに応じて生じる振動が印加されることに応じて前記振動ユニットが振動することにより、前記操作に応じて生じる振動の持続時間または強度の少なくともいずれか一方が変化された振動を検出するセンサから得られるセンサ情報と、前記操作された什器における高さ方向における位置を含む位置情報とを取得し、
前記取得された学習データを用いて前記センサ情報と前記位置情報との関係を学習した学習済みモデルを生成する
学習方法。
【請求項9】
高さ方向に棚板が複数段設けられる什器のいずれかの位置に振動ユニットが設けられ、前記什器におけるいずれかの棚板に対して物体が置かれるまたは取り出す操作が行われたことに応じて生じる振動が印加されることに応じて前記振動ユニットが振動することにより、前記操作に応じて生じる振動の持続時間または強度の少なくともいずれか一方が変化された振動を検出するセンサから得られるセンサ情報を取得し、
前記センサ情報と前記操作された什器における位置との関係を学習した学習済みモデルに前記取得されたセンサ情報を入力して、前記操作された什器における高さ方向における位置を含む位置情報を得る
ことをコンピュータに実行させるプログラム。
【請求項10】
高さ方向に棚板が複数段設けられる什器のいずれかの位置に振動ユニットが設けられ、前記什器におけるいずれかの棚板に対して物体が置かれるまたは取り出す操作が行われたことに応じて生じる振動が印加されることに応じて前記振動ユニットが振動することにより、前記操作に応じて生じる振動の持続時間または強度の少なくともいずれか一方が変化された振動を検出するセンサから得られるセンサ情報と、前記操作された什器における高さ方向における位置を含む位置情報とを取得し、
前記取得された学習データを用いて前記センサ情報と前記位置情報との関係を学習した学習済みモデルを生成する
ことをコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、推定システム、学習システム、推定方法、学習方法、プログラムに関する。
【背景技術】
【0002】
近年、スマートシェルフシステムの利用が検討されている。スマートシェルフシステムは、店舗における商品管理や、倉庫における商品の在庫管理等の場面において、商品棚の棚板の上に、商品が置かれる操作、あるいは商品が取り出される操作が行われたことに応じて、その操作された位置と、操作内容(置くまたは取る)を検出することができる。このようなスマートシェルフシステムに対する要望は高まってきている。
また、スマートホーム文脈においても、自然に生活行動を把握し、適切な情報提示を可能にするスマートシェルフの要望がある。
【0003】
スマートシェルフを広く展開させるためには、導入コストの低さと幅広い対象什器への適用が求められる。シンプルかつ既成什器に取り付けられる構成仕様が求められる。
非特許文献1では、カメラを用いずに、荷重センサを利用することで、机の上に対する動作を推定する技術が開示されている。
【先行技術文献】
【非特許文献】
【0004】
【非特許文献1】今井淳南、村尾和哉、寺田努、塚本昌彦、「荷重センサを用いた机上動作の認識システムの設計と実装」、マルチメディア、分散協調とモバイルシンポジウム2013論文集、2013年、P1180-P1187
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、棚や机などの平面上における位置を推定することができつつあるが、棚には棚板が複数段あるものもあり、この場合、高さ方向におけるどの位置に対する操作が行われているかについて推定することができていない。
【0006】
本発明は、このような事情に鑑みてなされたもので、その目的は、高さ方向におけるいずれの位置に操作がなされたかを把握することができる推定システム、学習システム、推定方法、学習方法、プログラムを提供することにある。
【課題を解決するための手段】
【0007】
上述した課題を解決するために、本発明の一態様は、高さ方向に棚板が複数段設けられる什器のいずれかの位置に振動ユニットが設けられ、前記什器におけるいずれかの棚板に対して物体が置かれるまたは取り出す操作が行われたことに応じて生じる振動が印加されることに応じて前記振動ユニットが振動することにより、前記操作に応じて生じる振動の持続時間または強度の少なくともいずれか一方が変化された振動を検出するセンサから得られるセンサ情報を取得するセンサ情報取得部と、前記センサ情報と前記操作された什器における位置との関係を学習した学習済みモデルに前記取得されたセンサ情報を入力して、前記操作された什器における高さ方向における位置を含む位置情報を得る推定部と、を有する推定システムである。
【0008】
また、本発明の一態様は、高さ方向に棚板が複数段設けられる什器のいずれかの位置に振動ユニットが設けられ、前記什器におけるいずれかの棚板に対して物体が置かれるまたは取り出す操作が行われたことに応じて生じる振動が印加されることに応じて前記振動ユニットが振動することにより、前記操作に応じて生じる振動の持続時間または強度の少なくともいずれか一方が変化された振動を検出するセンサから得られるセンサ情報と、前記操作された什器における高さ方向における位置を含む位置情報とを取得する学習データ取得部と、前記取得された学習データを用いて前記センサ情報と前記位置情報との関係を学習した学習済みモデルを生成する学習部と、を有する学習システムである。
【0009】
また、本発明の一態様は、高さ方向に棚板が複数段設けられる什器のいずれかの位置に振動ユニットが設けられ、前記什器におけるいずれかの棚板に対して物体が置かれるまたは取り出す操作が行われたことに応じて生じる振動が印加されることに応じて前記振動ユニットが振動することにより、前記操作に応じて生じる振動の持続時間または強度の少なくともいずれか一方が変化された振動を検出するセンサから得られるセンサ情報を取得し、前記センサ情報と前記操作された什器における位置との関係を学習した学習済みモデルに前記取得されたセンサ情報を入力して、前記操作された什器における高さ方向における位置を含む位置情報を得る推定方法である。
【0010】
また、本発明の一態様は、高さ方向に棚板が複数段設けられる什器のいずれかの位置に振動ユニットが設けられ、前記什器におけるいずれかの棚板に対して物体が置かれるまたは取り出す操作が行われたことに応じて生じる振動が印加されることに応じて前記振動ユニットが振動することにより、前記操作に応じて生じる振動の持続時間または強度の少なくともいずれか一方が変化された振動を検出するセンサから得られるセンサ情報と、前記操作された什器における高さ方向における位置を含む位置情報とを取得し、前記取得された学習データを用いて前記センサ情報と前記位置情報との関係を学習した学習済みモデルを生成する学習方法である。
【0011】
また、本発明の一態様は、高さ方向に棚板が複数段設けられる什器のいずれかの位置に振動ユニットが設けられ、前記什器におけるいずれかの棚板に対して物体が置かれるまたは取り出す操作が行われたことに応じて生じる振動が印加されることに応じて前記振動ユニットが振動することにより、前記操作に応じて生じる振動の持続時間または強度の少なくともいずれか一方が変化された振動を検出するセンサから得られるセンサ情報を取得し、前記センサ情報と前記操作された什器における位置との関係を学習した学習済みモデルに前記取得されたセンサ情報を入力して、前記操作された什器における高さ方向における位置を含む位置情報を得ることをコンピュータに実行させるプログラムである。
【0012】
また、本発明の一態様は、高さ方向に棚板が複数段設けられる什器のいずれかの位置に振動ユニットが設けられ、前記什器におけるいずれかの棚板に対して物体が置かれるまたは取り出す操作が行われたことに応じて生じる振動が印加されることに応じて前記振動ユニットが振動することにより、前記操作に応じて生じる振動の持続時間または強度の少なくともいずれか一方が変化された振動を検出するセンサから得られるセンサ情報と、前記操作された什器における高さ方向における位置を含む位置情報とを取得し、前記取得された学習データを用いて前記センサ情報と前記位置情報との関係を学習した学習済みモデルを生成することをコンピュータに実行させるプログラムである。
【発明の効果】
【0013】
以上説明したように、この発明によれば、高さ方向におけるいずれの位置に操作がなされたかについて把握することができる。
【図面の簡単な説明】
【0014】
【
図1】この発明の一実施形態による推定システムに用いられる什器の一例を示す斜視図である。
【
図2A】振動ユニット25aと振動ユニット25bとが棚Tに取り付けられた場合を表す斜視図である。
【
図2B】振動ユニット25a、振動ユニット25bを側面から見た場合を表す側面図である。
【
図3B】渦部材250を側面からみた側面図である。
【
図4】振動ユニットの振動特性の一例を示す波形図である。
【
図5A】振動ユニットの他の例における斜視図である。
【
図5B】振動ユニット35の振動可能な方向を説明する図である。
【
図5C】
図5Aにおける振動ユニット35のA-A線における内部構造を説明する断面図である。
【
図5D】
図5Cとは別の構成における、振動ユニット36の内部構造を説明する断面図である。
【
図5E】
図5Cとは別の構成における、振動ユニット37の内部構造を説明する断面図である。
【
図5F】複数の振動ユニットを連結させた場合の断面を表す断面図である。
【
図5G】複数の振動ユニットを連結させた場合の断面を表す断面図である。
【
図6】管理システムSの機能を説明する概略ブロック図である。
【
図7】本実施形態に係る学習システム40の機能構成の一例を示すブロック図である。
【
図8】本実施形態に係る推定システム50の機能構成の一例を示すブロック図である。
【
図9】棚に振動ユニットが設けられていない場合におけるシミュレーション結果を画像として表した図である。
【
図10】棚に振動ユニットが設けられた場合のシミュレーション結果を画像として表した図である。
【
図11】管理システムSの処理の流れ説明する図である。
【
図12】本実施形態に係る振動発生位置推定システム4の動作の一例を示すフローチャートである。
【
図13】推定結果がユーザ端末2または表示装置6の表示画面に表示された一例を示す図である。
【
図14】センサ装置によって検出された検出結果を表すグラフである。
【発明を実施するための形態】
【0015】
以下、本発明の一実施形態による推定システムについて図面を参照して説明する。
図1は、この発明の一実施形態による推定システムに用いられる什器の一例を示す斜視図である。
棚Tは、什器の一例であり、下段、中段、上段の3段の棚板を有する。
棚板11aは下段、棚板11bは中段、棚板11cは上段として、それぞれ上面に物体を載せることが可能である。棚Tの四隅には、支柱12a、支柱12b、支柱12c、支柱12dが設けられており、これらの支柱に対して棚板11a、棚板11b、棚板11cが取り付けられている。
棚板11aの下面において、支柱12aに対応する位置には、センサ14aが設けられ、支柱12bに対応する位置には、センサ14bが設けられ、支柱12dに対応する位置には、センサ14dが設けられる。これにより、センサ14a、センサ14b、センサ14cは、それぞれ、支柱と床面との間に位置する。以下、センサ14a、センサ14b、センサ14cを特に識別しない場合には、単にセンサ14と称する場合がある。
【0016】
センサ14a、センサ14b、センサ14cは、それぞれ、棚Tに印加された力を検出する。これらセンサ14a、センサ14b、センサ14cは、例えば、棚Tに印加された力によって生じた振動を検出することで、棚Tに印加された力を検出する。センサ14a、センサ14b、センサ14cは、検出した情報(以下、「センサ情報」とも称される)を振動発生位置推定システム4(後述する)へ送信する。ここで、棚Tは、いずれかの棚板に物体が載置されるか、棚板から物品が取り出される操作が行われた場合、その操作によって生じる振動は、棚の底部に伝搬するようになっている。センサ14は、この振動を検出する。
【0017】
センサ14a、センサ14b、センサ14cは、例えば、振動センサ、荷重センサ、圧力センサ、又は加速度センサなどのうちいずれか1つのセンサである。振動センサは、棚Tに印加された力の発生を振動の変化により検出する。荷重センサは、棚Tに印加された力を振動の変化により検出する。圧力センサは、棚Tに印加された力を圧力の変化により検出する。加速度センサは、棚Tに印加された力を加速度の変化により検出する。
ここで、棚Tに印加される力は、棚Tのうちいずれかの棚板に対して物体(例えば、物体18a、物体18b)を載置する操作と、棚Tのうちいずれかの棚板に載置された物体を取り出す操作とのうち少なくともいずれか一方の操作が行われたことに応じて生じる。よって、センサ14a、センサ14b、センサ14cは、それぞれ、棚Tに対する操作に応じた振動を検出する。
【0018】
センサ情報は、任意の次元数の情報である。当該次元数は、センサ装置3の種類や数に応じて決定する。例えば、1軸のセンサ装置3を2つ設ける場合、センサ情報の次元数は2次元(1軸×2つ)である。また、例えば、2軸のセンサ装置3を3つ設ける場合、センサ情報の次元数は6次元(2軸×3つ)である。
【0019】
振動ユニット15aは、棚板11bの下面において支柱12aの近傍に取り付けられ、振動ユニット15bは、棚板11bの下面において支柱12dの近傍に取り付けられる。
振動ユニット15cは、棚板11cの下面において支柱12aの近傍に取り付けられ、振動ユニット15dは、棚板11cの下面において支柱12dの近傍に取り付けられる。
振動ユニット15a、15b、15c、15dは、特に識別しない場合には単に振動ユニット15と称する場合がある。
振動ユニット15は、什器(例えば棚T)におけるいずれかの棚板に対して物体が置かれるまたは取り出す操作が行われたことに応じて生じる振動が印加されることに応じて振動する。振動ユニット15は、振動することによって、棚Tに対する操作によって生じる振動を増幅させることができる。すなわち、振動ユニット15は、棚Tに対する操作によって生じる振動を強調させることができる。このような振動ユニット15は、振動を発生させることができるものであればよい。
【0020】
この図において、棚板11bの上面に物体18aが載置され、棚板11cの上面には物体18bが載置された様子が示されている。利用者Uは、棚板11a、棚板11b、棚板11cのいずれかに対して、物体の操作を行うことができる。物体の操作とは、物体を棚板に載置する操作と、棚板に載せられた物体を取り出す操作との少なくともいずれか一方である。
棚板11a、棚板11b、棚板11cには、複数種類の物体のうち任意の物体を載置してもよいし、各棚板のそれぞれに載置可能な物体の種類が予め定められていてもよい。
また、棚板11a、棚板11b、棚板11cのうち、1つの棚板に対して載置する物体が1つのみであってもよいし、複数であってもよい。
【0021】
図2は、振動ユニット15の他の構成例を示す図である。
図2Aは、振動ユニット25aと振動ユニット25bとが棚Tに取り付けられた場合を表す斜視図、
図2Bは、振動ユニット25a、振動ユニット25bを側面から見た場合を表す側面図である。
図2A及び
図2Bにおいて、振動ユニット25a、振動ユニット25bは、ベース部材20に対して一体的に設けられている。ベース部材20の高さは、棚Tの下段から上段までの高さに対応した高さである。ベース部材20は、例えば、棚Tの背板として棚Tに取り付けられていてもよい。
【0022】
振動ユニット25aには、渦部材25a1が設けられている。ここでは、ベース部材220に渦巻き状の溝を形成することで、渦部材25a1が形成される。ここでは、ベース部材20の一方の主面(表面)からもう一方の主面(裏面)まで貫通するように溝が形成されており、渦部材25a1は、外部から振動が加えられることにより、一方の主面ともう一方の主面とを通る方向(水平方向)に、渦部材25a1の渦の中心部が振動することができ、また、ベース部材20の高さ方向(垂直方向)に、渦部材25a1の渦の中心部が振動することができる。すなわち、渦部材25a1及び他の渦部材は、外部から印加される振動に応じて、3次元空間において任意の方向(3次元方向)に振動することが可能となっている。ここでは、渦部材25a1の径方向における中心部には、重りが取り付けられていてもよく、この重りの重さを変更することに応じて、渦部材25a1の振動特性を変更することができる。このような重りは、渦部材25a1だけでなく、他の渦部材に対しても取り付けることができる。
【0023】
また、振動ユニット25aには、渦部材25a1の中心とベース部材20とを連結する連結部材25a3が設けられている。連結部材25a3の一方の端部は、ベース部材20のうち渦部材25a1の外周近傍の位置に取り付けられ、連結部材25a3のもう一方の端部は、渦部材25a1の中心部に取り付けピン25a2によって連結されている。
振動ユニット25aは、渦部材25a1の中心部とベース部材20とが連結部材25a3によって連結されていることにより、連結されていない場合に比べて、渦部材25a1の振動が減衰しやすくなっている。この連結部材25a3は、必要に応じて設けられればよく、渦部材25a1の振動を減衰しない場合には設けられなくてもよい。また、連結部材25a3の素材や太さ、長さ等を変更することで、減衰の度合いが高く(減衰しやすい)なるようにしてもよいし、減衰の度合いが低く(減衰しにくい)なるようにしてもよい。
【0024】
振動ユニット25bは、第1ユニット251bと、第2ユニット252bとが組み合わされることで構成されている。
第1ユニット251bは、振動の持続時間の延長と振動の強度の上昇とのうち少なくともいずれか一方の特性を有する。
第2ユニット252bは、振動の持続時間の短縮と振動の強度の低下とのうち少なくともいずれか一方の特性を有する。
第1ユニット251bと、第2ユニット252bとが組み合わされることで、棚Tに対する操作に応じて生じる振動の持続時間または強度の少なくともいずれか一方を変化させる特性を編集することが可能である。
例えば、振動ユニット25bは、特性が異なる複数種類の第1ユニットのうち、いずれかの種類の第1ユニットと、特性が異なる複数種類の第2ユニットのうち、いずれかの種類の第2ユニットとを組み合わせることで構成される。
【0025】
例えば、第1ユニットが、振動の持続時間を大きく延長する特性と、振動の強度を大きくする特性とを有するものであり、第2ユニットが、振動の持続時間を少し短縮する特性と、振動の強度についてはほとんど影響を及ぼさない特性を有するものである場合、これらが組み合わされると、第1ユニットが有する振動の持続時間を少し短縮するが、振動の強度はそのままである特性となるように編集された振動ユニットを得ることができる。
また、例えば、第1ユニットが、振動の持続時間を多少延長する特性と、振動の強度を大きくする特性とを有するものであり、第2ユニットが、振動の持続時間についてはあまり影響を及ぼさないが、振動の強度については少し低減させる特性を有するものである場合、これらが組み合わされると、第1ユニットが有する振動の持続時間はあまり変わらないが、振動の強度は少し低減させる特性となるように編集された振動ユニットを得ることができる。
【0026】
ここで、第1ユニット251bの渦部材251b1と、第2ユニット252bの渦部材252b1とについて、それぞれの中心部が連結部材25b3によって連結されている。連結部材25b3の一方の端部は、渦部材251b1の中心部に取り付けピン251b2によって連結され、連結部材25b3のもう一方の端部は、渦部材252b1の中心部に取り付けピン252b2によって連結される。
このような渦部材25a1、251b1、252b1は、ベース部材20そのものに対して切削加工することでベース部材20と一体的に作製してもよいし、3Dプリンタによって作製してもよい。従って、渦部材を用いる場合、コイルばねを用いる場合に比べて、加工や作製がしやすいメリットがある。
ここでは2つの渦部材が連結される場合について図示されているが、3つ以上を連結するようにしてもよい。
【0027】
図3は、渦部材250(渦部材25a1、渦部材251b1、渦部材252b1)の構成を示す図である。
図3Aは、渦部材250を平面視した平面図であり、
図3Bは、渦部材250を側面からみた側面図である。
渦部材250は、中心点257の近傍に始端255があり、当該始端255から終端256まで径が次第に大きくなる螺旋形状(代数螺旋形状)であり、始端255から終端256まで略同一の幅tに形成されるとともに、厚さがWに形成される。また、渦部材250の径方向において、螺旋形状において隣接する渦の中心どうしの距離Pは、等間隔となるように形成されている。始端255の幅方向のうち、渦の中心点257に近い方の側部と中心点257との距離は、da/2に設定され、中心点257と終端256との距離は、do/2に設定されている。
【0028】
ここで、渦部材250を作製する場合、板状部材に対して直接加工して溝を形成することで渦部材250として作成することができ、加工が容易である。また、渦部材250において、幅t、距離P、距離da/2、距離do/2、厚さW等、始端255と中心点257とを結ぶ線と終端256と中心点257とを結ぶ線との角度、加工対象の板状部材の素材に応じた弾性変形のし易さ等を変数とし、少なくともいずれか1つを任意に変更することによって、振動特性を変更することができる。また、これらのうち少なくともいずれか1つを変更するにあたり、渦部材250が振動したときの周波数をシミュレーションすることで、渦部材250の振動特性(弾力性)を任意に設計することができる。このため、渦部材250の振動特性の設計がしやすい。
このように、弾性部材として、渦形状の弾性体を用いることで、設計と作製がしやすいメリットがある。
【0029】
このような渦部材を用いた振動ユニットが設けられる場所は、棚の背板だけでなく、棚の側板、支柱、棚板等のうち少なくともいずれか1つに設けられるようにしてもよい。ここでは、渦部材を用いた振動ユニットが棚に設けられる場合、渦部材が振動する際に、棚のいずれかの部位や、棚に載置される物体等に当接しないように、離間して設ける、あるいは、渦部材にカバーを設けるようにしてもよい。
【0030】
図4は、振動ユニットの振動特性の一例を示す波形図である。
図4において、縦軸は信号の強度を表し、横軸は時間を表す。
符号400は、複数種類の振動ユニットのうち、振動の強度と振動の持続時間とがそれぞれ平均的な特性の場合の波形図である。
符号410は、複数種類の振動ユニットのうち、振動の強度は平均的であるが、振動の持続時間が短縮されるように減衰させる振動特性を有する場合の波形図である。
そして、符号400に示す振動特性を有する振動ユニットを第1ユニットとし、符号410に示す振動特性を有する振動ユニットを第2ユニットとして、これらを連結させることで、組み合わせ振動ユニットを得ることができる。
符号420は、このような第1ユニットと第2ユニットとを含む組み合わせ振動ユニットの振動特性を示す図である。この場合における組み合わせ振動ユニットは、第1ユニットの振動と第2ユニットの振動とがそれぞれ合成されることで、時刻t0から時刻t1までの区間よりも後の区間である、時刻t1から時刻t2の区間において、共振状態となり、これにより振幅が大きくなり、時刻t2を経過すると振幅が小さくなり、時刻t3において振動がほぼ停止する。また、振動の持続時間については、第2ユニットに比べて第1ユニットの方が振動の持続時間が長いが、第1ユニットに比べて組み合わせ振動ユニットの方が振動の持続時間がより長くなっている。
このようにして、異なる特性の振動ユニットを組み合わせることで、振動を編集することができる、新たな特性の振動ユニットを得ることができる。
【0031】
ここで、棚の全体の重さ、棚板の数、支柱の数、支柱の幅や厚さ、棚板に対する支柱の取り付け位置等の棚の特性によっては、棚板に物体を置いたとしても、いずれの段の棚板に物体が置かれたかを識別できない程度の振動の検出結果しか得られない場合がある。これに対し、上述したように、振動の強度と振動の持続時間との特性に応じて連成振動を編集することで、棚の特性や、物体の重さ等に応じた、高さ方向における位置が検出しやすくなる振動特性が得られる組み合わせを作製することができる。また、例えば、比較的軽い物体が棚板に載置されても、高さ方向におけるいずれの位置に載置されたかを検出しやすくすることができる。
【0032】
また、棚の段が10段、20段などの多数の段がある場合であっても、棚の段をそれぞれ識別しやすいように、第1ユニットと第2ユニットを任意に組み合わせ、組み合わせ振動ユニットにおける連成振動のバリエーションを増やすことができる。これにより、棚板の段に応じた個別の連成振動を有する組み合わせ振動ユニットを任意に作製し、棚の任意の位置に取り付けることができる。組み合わせユニットを棚に取り付ける場合には、接着してもよいし、ネジによって取り付けるようにしてもよい。
また、例えば、棚板が10段ある棚においては、異なる10タイプの組み合わせ振動ユニットを作製し、10段の段毎に1つずつ設けるようにしてもよい。組み合わせ振動ユニットは、棚板の上面側に設けてもよいし、下面側に設けてもよい。また、組み合わせ振動ユニットは、棚板の面上のいずれの位置(手前側、奥側、右側、左側、中央)に設けるようにしてもよい。また、組み合わせ振動ユニットは、棚板ではなく、支柱に設けるようにしてもよい。また、組み合わせユニットは、各段にそれぞれ設けるようにしてもよいし、上側の5段に設置し、下側の5段には設置しないようにしてもよいし、1段おきに設置したり、いくつかの任意の段に設けるようにしてもよい。
【0033】
組み合わせユニットあるいは振動ユニットは、棚の構造(段数、支柱の数、棚板に対する支柱の取り付け位置など)、棚を構成する材質、載置される物体の性質によっては、最適な取り付け位置が異なるが、振動発生位置推定システム4(後述する)が高さ方向における位置の識別がしやすくなるような振動が生じる位置に取り付けられることが好ましい。例えば、振動ユニットは、棚のいずれの位置に配置してもよいが、棚の上方(例えば、天板、支柱の上部、側板の上部、背面の上部等のうちいずれか)に設置することで、センサ装置から、操作に応じた高さ方向における位置が識別しやすくなるような検出結果を得ることができる場合がある。
【0034】
なお、ここでは、振動ユニットを連結させた上で棚に設ける場合について説明したが、棚に対して行われた操作に応じて生じる振動を変化させることができれば、振動ユニットを連結せずに、単体の振動ユニットを個別に棚に設けるようにしてもよい。特に、操作に応じて生じる振動を変化させる場合、その振動の特徴が強調されるような変化を与えられることが望ましい。振動の特徴を強調する場合、例えば、振幅が全体的より大きくなる場合、振動の持続時間が延長される場合、振動に含まれる特定の周波数成分の振幅が大きくなる場合、振動に含まれる特定の周波数成分の振幅が小さくなる場合、特定の周波数成分の振動の持続時間がより短縮される場合などであってもよい。このようにして、高さ方向におけるいずれかの位置に対して操作がなされると、その操作がなされた位置に対する各振動ユニットの相対的な位置や棚の特性等の影響も受けつつ、操作され高さ方向における位置に応じて、センサ14に伝達される振動の強度と振動の持続時間とが特徴的な振動となってセンサによって検出される。これにより、高さ方向におけるいずれの位置に操作が行われたかについて、識別することができる。
【0035】
図5は、振動ユニットの他の例を示す図である。
図5Aは、振動ユニットの他の例における斜視図である。
振動ユニット35の外観形状は、略立方体である。振動ユニット35内部には、バネ等の弾性体が設けられており、振動ユニット35の外部から振動が加えられたことに応じて、振動ユニット35の内部のバネが振動する。振動ユニット35の外周面のうち一面にはスライドスイッチ351が設けられている。スライドスイッチ351は、スライドさせることにより、振動ユニット35の内部の弾性体が振動可能な状態と振動をさせない状態とを選択的に切り替えることができる。
【0036】
図5Bは、振動ユニット35の振動可能な方向を説明する図である。振動ユニット35は、外部から振動が加えられることに応じて、上下方向、左右方向、正面側と背面側とのそれぞれ合計6つの方向に振動することが可能である。ここでは、印加される振動によっては、斜め方向にも振動することもできる。
【0037】
図5Cは、
図5Aにおける振動ユニット35のA-A線における内部構造を説明する断面図である。
振動ユニット35の内部には、重り35aが収容されており、上下方向、左右方向、正面側と背面側とのそれぞれに、ばねを介してベース部材に取り付けられている。例えば、重り35aは、上方向において、ばね35b1を介してベース部材35c1に取り付けられ、左方向において、ばね35b2を介してベース部材35c2に取り付けられる。重り35aの形状は、略球状である。ばね35b1、35b2は、例えば、コイルばねである。ベース部材35c1、35c2は、それぞれ、内周面に接着または粘着されることで固定される。これにより、重り35aは、6方向の任意の方向や、斜め方向に振動することが可能である。
このような振動ユニット35は、単体で用いることができ、また、第1ユニットとして第2ユニットと組み合わせて用いることもできる。
また、振動ユニット36は、重り35aがばねに連結されているため、棚Tに対する操作が行われたことに応じて生じる振動を受けて当該重り35aが振動することにより、棚Tに対する操作によって生じる振動を増幅(強調)させることができる。これにより、操作によって生じる振動をより特徴的な振動特性としてセンサ14によって検出することができ、棚Tの平面方向だけではなく、高さ方向における位置も振動発生位置推定システム4(後述する)によって識別することが可能となる。
【0038】
図5Dは、
図5Cとは別の構成における、振動ユニット36の内部構造を説明する断面図である。
図5Cでは、振動ユニット35においてコイルばねが用いられていたが、
図5Dでは、振動ユニット36において格子ばねが用いられる。
振動ユニット36の内部には、重り36aが収容されており、上下方向、左右方向、正面側と背面側とのそれぞれに、格子ばねを介してベース部材に取り付けられている。例えば、重り36aは、上方向において、格子ばね36b1を介してベース部材36c1に取り付けられ、左方向において、格子ばね36b2を介してベース部材36c2に取り付けられる。重り36aの形状は、略立方体である。ベース部材36c1、36c2は、それぞれ、内周面に接着または粘着されることで固定される。これにより、重り36aは、6方向の任意の方向や、斜め方向に振動することが可能である。
このような振動ユニット36は、単体で用いることができ、また、第1ユニットとして第2ユニットと組み合わせて用いることもできる。
【0039】
図5Eは、
図5Cとは別の構成における、振動ユニット37の内部構造を説明する断面図である。
図5Cでは、振動ユニット35においてコイルばねが用いられていたが、
図5Eでは、振動ユニット37においてダンパーが用いられる。
振動ユニット37の内部には、ダンパーが収容されており、上下方向、左右方向、正面側と背面側とのそれぞれに、ベース部材を介して取り付けられている。
例えば、この
図5Eでは、ダンパー37a、ダンパー37b、ダンパー37c、ダンパー37dが図示されている。ダンパー37aは、ベース部材38aを介して右側面の内周面に取り付けられ、左右方向における振動を減衰させる。ダンパー37bは、ベース部材38bを介して上側面の内周面に取り付けられ、上下方向における振動を減衰させる。
ダンパー37cは、ベース部材38cを介して左側面の内周面に取り付けられ、左右方向における振動を減衰させる。ダンパー37dは、ベース部材38dを介して下側面の内周面に取り付けられ、上下方向における振動を減衰させる。
ベース部材38a、38b、38c、38dは、それぞれ、内周面に接着または粘着されることで固定される。これにより、重り36aは、6方向の任意の方向や、斜め方向に振動することが可能である。
振動ユニット37には、複数のダンパーが設けられている場合について説明したが、振動ユニット37に、1つのダンパーのみ設けるようにしてもよい。
このような振動ユニット37は、単体で用いることができ、また、第2ユニットとして第1ユニットと組み合わせて用いることもできる。また、振動ユニット37を複数連結するようにしてもよい。
【0040】
図5Fは、複数の振動ユニットを連結させた場合の断面を表す断面図である。
この図において、複数の振動ユニット35Aの1つの外周面と、振動ユニット35Bの1つの外周面とが接着または粘着されることで連結されている。振動ユニット35Aと振動ユニット35Bの固有振動特性は同じであってもよいし、異なるものであってもよい。振動ユニット35Aと振動ユニット35Bが連結されることで、2つの振動ユニットが連結された、組み合わせ振動ユニットとしての振動特性を編集することができる。振動ユニット35Aと振動ユニット35Bの固有振動特性を異ならせる場合、重りの重量を異なるものにしてもよいし、ばねの長さ、ばねの硬さを変えることで、異なるばね定数となるようにしてもよい。
外部から印加される振動によって、それぞれの重りが振動し、外部から印加される振動によっては共振状態が発生する。例えば、連結された方向への振動について共振状態となる。これにより、棚に対する取り付け位置において、外部から印加される振動とは別に、連結された振動ユニットからの振動を印加することができる。
この図においては、2つの振動ユニットが連結された場合について図示されているが、3つ以上の振動ユニットを連結させるようにしてもよい。
【0041】
図5Gは、複数の振動ユニットを連結させた場合の断面を表す断面図である。
この図において、複数の振動ユニット35の1つの外周面と、振動ユニット37Aの1つの外周面とが接着または粘着されることで連結されている。振動ユニット35は、重りがコイルばねを介して内周面に取り付けられており、振動ユニット37Aは、左右方向(ここでは連結方向)に対する振動を減衰させるダンパーが取り付けられている。振動ユニット35と振動ユニット37Aが連結されることで、2つの振動ユニットが連結された、組み合わせの振動ユニットとしての振動特性が編集されている。
外部から印加される振動によって、重りが振動するが、ダンパーも駆動するため、重りの振動を減衰させるようにダンパーが駆動する。これにより、振動ユニット35と振動ユニット37Aとの組み合わせに応じた振動特性に基づく振動が、棚に対する取り付け位置において、外部から印加される振動とは別に、印加される。
この図において、1つの振動ユニット35と1つの振動ユニット37Aとが連結される場合について説明したが、振動ユニット35と振動ユニット37Aとの少なくともいずれか一方を複数にして連結するようにしてもよい。
【0042】
上述した振動ユニット15、25、35、36、37、35A、35B、37Aは、什器に対して予め組み込まれていてもよいし、什器の振動特性や、什器に置く物品の重さや、置く位置等に応じて、後から取り付けるようにしてもよい。後から取り付ける場合には、什器に対する操作を検出しやすくなるような(優位に検出することができるような)振動ユニットを選択して取り付けることができる。また、什器の棚板の段数の変更や、棚板の設置位置の変更があった場合であっても、その変更に応じて、振動ユニットの位置を変更したり、異なる振動ユニットに付け替えたりするようにしてもよい。
また、什器に対して取り付けられる振動ユニットの位置は任意の位置に取り付けることができる。そのため、例えば、棚Tから物品を取り出す、物品を置く等の操作を行う場合に、邪魔にならない位置に取り付けることができる。例えば、振動ユニットを棚板の裏面に取り付ける場合には、振動ユニットを棚板の上面に設けなくてもよいため、棚板に対して載置可能な領域を確保することができ、置く操作及び取り出す操作をすることができる領域を広く確保でき、操作性を向上させることができる。
また、振動ユニットを棚板の奥側に設ける場合には、商品を棚板の手前側から取り出す操作や、商品を棚板の手前側から入れて置く操作をする場合において、動線を避けて設置することができるため、操作性を向上させることができる。
また、棚板Tの正面側から視認されにくい位置に振動ユニットを設ける場合には、振動ユニットを棚に取り付けたとしても、意匠性が損なわれないようにすることもできる。
【0043】
図6は、管理システムSの機能を説明する概略ブロック図である。
この実施形態においては、管理システムSがスマートシェルフシステムである例について説明する。なお、スマートシェルフシステムにおける陳列棚は、什器の一例である。当該陳列棚は、複数段の棚板を有する棚である。また、スマートシェルフシステムにおける商品は、什器に置かれる物体及び什器から取り出される物体の一例である。
ここで、陳列棚は、
図1に示す棚Tであってもよい。また、陳列棚には、振動ユニットが設けられる。振動ユニットは、上述の振動ユニット15、25、35、36、37、35A、35B、37A等のうち少なくともいずれか1つを用いることができる。
【0044】
管理システムSは、ユーザ端末2、センサ装置3、振動発生位置推定システム4、商品管理システム5、及び表示装置6を備える。ユーザ端末2と振動発生位置推定システム4は、通信可能に接続される。センサ装置3と振動発生位置推定システム4は、通信可能に接続される。振動発生位置推定システム4と商品管理システム5は、通信可能に接続される。商品管理システム5と表示装置6は、通信可能に接続される。
【0045】
ユーザ端末2は、ユーザが操作する端末である。ユーザ端末2は、例えば、PC(パーソナルコンピュータ)、スマートフォン、タブレット端末などである。ユーザは、ユーザ端末2にインストールされたアプリケーションやWEBブラウザなどを用いて、各種情報の入力や確認を行う。
【0046】
例えば、ユーザは、ユーザ端末2を操作して、振動発生位置推定システム4が機械学習に用いる学習データを入力する。当該学習データを用いた機械学習により、陳列棚に所定の力が加えられた際に振動が発生した位置(以下、「振動発生位置」とも称される)を推定するために用いられる学習済みモデルが生成される。振動発生位置は、所定の力が加えられた位置でもある。所定の力は、例えば、陳列棚に対して商品を置いた際に陳列棚に加わる力、又は、陳列棚から商品を離した際に陳列棚に加わる力である。
また、ユーザは、ユーザ端末2を操作して、振動発生位置推定システム4による振動発生位置の推定結果を確認することもできる。
【0047】
センサ装置3は、陳列棚に印加された力を検出する。このセンサ装置3は、例えば、上述のセンサ14を用いることができる。センサ装置3は、検出結果をセンサ情報として振動発生位置推定システム4へ送信する。
【0048】
振動発生位置推定システム4は、学習システム40と推定システム50とを含む。
学習システム40は、学習済みモデルを生成するシステムである。学習システム40は、例えば、サーバ装置やPCなどによって実現される。
学習システム40は、ユーザ端末2から受信する学習データを用いて学習済みモデルを生成する。また、学習システム40は、推定システム50から受信するセンサ情報を学習済みモデルに入力し、出力される振動発生位置を示す位置情報を推定システム50へ送信する。
【0049】
推定システム50は、陳列棚において振動が発生した位置を推定するシステムである。推定システム50は、例えば、サーバ装置やPCなどによって実現される。
推定システム50は、学習システム40が生成した学習済みモデルを用いて振動発生位置を推定する。具体的に、推定システム50は、センサ装置3からセンサ情報を取得して学習システム40へ送信し、学習済みモデルから出力される位置情報を学習システム40から受信して振動発生位置を推定する。
推定システム50は、推定結果をユーザ端末2や商品管理システム5へ送信する。
【0050】
商品管理システム5は、商品を管理するシステムである。例えば、商品管理システム5は、陳列棚に陳列された商品の在庫管理や、顧客が手に取った商品に関する商品説明や関連広告を表示装置6に表示する。商品管理システム5は、例えば、商品の位置情報と、在庫情報と、商品説明と、関連広告とを対応付けた商品情報を有する。商品管理システム5は、推定システム50から受信した推定結果が示す位置情報に基づき、当該位置情報に対応付けられた在庫情報を更新したり、商品説明や関連広告を商品情報から取得して表示装置6に表示したりする。
【0051】
表示装置6は、各種情報を表示する表示装置である。表示装置6は、例えば、液晶ディスプレイ、プラズマディスプレイ、有機EL(Organic Electro-Luminescence)ディスプレイ、サイネージディスプレイ等である。また、表示装置6は、ディスプレイに限定されず、例えばプロジェクタであってもよい。プロジェクタの場合、プロジェクタからスクリーンや壁面等にコンテンツを投影することで各種情報を表示する。
表示装置6は、例えば、顧客向けの情報を表示するために店舗に設けられる。表示装置6は、商品管理システム5から受信する商品説明や関連広告を顧客向けの情報として表示する。
【0052】
図7は、本実施形態に係る学習システム40の機能構成の一例を示すブロック図である。
図7に示すように、学習システム40は、通信部401、記憶部402、学習データ取得部403、学習部404、出力処理部405、制御部406を備える。
【0053】
通信部110は、各種情報の送受信を行う機能を有する。例えば、通信部110は、ユーザ端末2から学習データを受信する。また、通信部110は、推定システム50からセンサ情報を受信する。また、通信部110は、学習済みモデルから出力される振動発生位置の位置情報を推定システム50へ送信する。
なお、通信部110による通信は、無線通信であってもよいし、有線通信であってもよいし、無線通信及び有線通信の組み合わせであってもよい。
【0054】
記憶部402は、各種情報を記憶する機能を有する。
記憶部402は、学習データを記憶する記憶領域と、学習済みモデルを記憶する記憶領域とを備える。
学習データは、陳列棚における任意の位置に所定の力を加えた際に振動が発生した位置を示す位置情報と、当該振動が変動された振動に対応するセンサ情報とを1つのセットとしたデータである。
当該学習データは、ユーザによって予め測定等を行うことで準備される。ユーザは、陳列棚の形状(例えば棚数)やアプリケーションに認識させたい位置に応じて、学習データの位置情報を設定する。位置情報は、例えば、複数の棚板のうちのどの棚板であるかを示す情報Lと、棚板の表面における2次元座標(x、y)とによって(x、y、L)として与えられる。なお、位置情報は、陳列棚における3次元座標(x、y、z)として与えられてもよい。ここでは、高さ方向における位置としては、何段目の棚板であるかを識別する情報をLとして用いてもよいし、棚の底部を基準とした高さをzとして用いてもよい。
ユーザは、設定した位置情報が示す位置に対して物体を置く、または物体を取り出す等の操作を行い、その時のセンサ情報をセンサ装置3に検出させる。ユーザは、設定した位置情報とセンサ装置3が検出したセンサ情報を1つの学習データとして取得する。ユーザは、取得した学習データをユーザ端末2へ入力して学習システム40へ送信させる。これにより、高さ方向の情報を含む位置情報と、検出された振動との関係を学習データとして学習させることができる。学習データのデータ数が多い程、学習済みモデルの出力結果の精度を向上することできる。
【0055】
学習済みモデル記憶領域には、学習済みモデルが記憶される。
【0056】
記憶部402は、記憶媒体、例えば、HDD(Hard Disk Drive)、SSD(Solid State Drive)、フラッシュメモリ、EEPROM(Electrically Erasable Programmable Read Only Memory)、RAM(Random Access read/write Memory)、ROM(Read Only Memory)、またはこれらの記憶媒体の任意の組み合わせによって構成される。
【0057】
学習データ取得部403は、学習データを取得する。例えば、学習データ取得部403は、高さ方向に棚板が複数段設けられる什器のいずれかの位置に振動ユニットが設けられ、什器におけるいずれかの棚板に対して物体が置かれるまたは取り出す操作が行われたことに応じて生じる振動が印加されることに応じて振動ユニットが振動することにより、操作に応じて生じる振動の持続時間または強度の少なくともいずれか一方が変化された振動を検出するセンサから得られるセンサ情報と、操作された什器における高さ方向における位置を含む位置情報とを取得する。学習データ取得部403は、操作に応じて生じる振動の持続時間と強度との両方が変化された振動が検出された結果を含むセンサ情報を取得するようにしてもよい。
学習データ取得部403は、ユーザ端末2から送信された学習データを、通信部110を介して取得し、記憶部402の学習データ記憶領域に書き込んで記憶させる。
【0058】
学習部404は、取得された学習データを用いてセンサ情報と位置情報との関係を学習した学習済みモデルを生成する。例えば、学習部404は、学習データ取得部403によって取得された学習データを用いた機械学習によって学習済みモデルを生成する。具体的に、学習部404は、学習データ取得部403によって取得された学習データを用いてセンサ情報と位置情報との関係を機械学習し、センサ情報が入力された場合に位置情報を出力する学習済みモデルを生成する。
学習部404は、生成した学習済みモデルを記憶部402の学習済みモデル記憶領域に書き込んで、記憶させる。
【0059】
学習部404は、学習データを用いて、深層学習(ディープラーニング)によるニューラルネットワークモデルに機械学習させる。ニューラルネットワークモデルは、例えば、時系列信号の入力に適しているRNN(Recurrent Neural Network)の一種であるLSTM(Long Short-Term Memory)である。
なお、学習部404は、学習データをモデルに入力する前に、学習データに対して標準化や正規化などの前処理を行ってもよい。
【0060】
出力処理部405は、各種情報の出力を制御する機能を有する。例えば、出力処理部405は、学習済みモデルから得られる出力結果を推定システム50へ通信部110を介して送信させる。
【0061】
制御部406は、学習システム40の動作全般を制御する。制御部406は、例えば、学習システム40がハードウェアとして備えるCPU(Central Processing Unit)にプログラムを実行させることによって実現される。
【0062】
図8は、本実施形態に係る推定システム50の機能構成の一例を示すブロック図である。
推定システム50は、通信部501、記憶部502、センサ情報取得部503、推定部504、重量算出部505、出力処理部506、制御部507を備える。
【0063】
通信部501は、各種情報を送受信する。例えば、通信部501は、センサ装置3からセンサ情報を受信する。また、通信部501は、センサ情報を学習システム40へ送信する。また、通信部501は、学習システム40から振動発生位置の位置情報を受信する。また、通信部501は、振動発生位置の推定結果をユーザ端末2又は商品管理システム5へ送信する。
なお、通信部501による通信は、無線通信であってもよいし、有線通信であってもよいし、無線通信及び有線通信の組み合わせであってもよい。
【0064】
記憶部502は、記憶媒体、例えば、HDD、SSD、フラッシュメモリ、EEPROM、RAM、ROM、またはこれらの記憶媒体の任意の組み合わせによって構成される。
【0065】
センサ情報取得部503は、センサ情報を取得する。センサ情報取得部503は、高さ方向に棚板が複数段設けられる什器のいずれかの位置に振動ユニットが設けられ、什器におけるいずれかの棚板に対して物体が置かれるまたは取り出す操作が行われたことに応じて生じる振動が印加されることに応じて振動ユニットが振動することにより、操作に応じて生じる振動の持続時間または強度の少なくともいずれか一方が変化された振動を検出するセンサから得られるセンサ情報を取得する。
センサ情報取得部503は、操作に応じて生じる振動の持続時間と強度との両方が変化された振動を検出してもよい。この場合、センサ情報取得部503は、操作に応じて生じる振動の持続時間と強度との両方が変化された振動を検出することで、持続時間内の連続的な振動強度変化量パターンを検出することができる。すなわち、センサ情報取得部503は、持続時間内において強度の変化を変化量パターンとして検出するようにしてもよい。
例えば、センサ情報取得部503は、通信部501がセンサ装置3から受信したセンサ情報を取得する。このセンサ情報は、振動が検出された結果だけでなく、重量を検出した検出結果を含むようにしてもよい。センサ情報取得部503が、重量を検出した結果を取得する場合には、後述する重量算出部505において、重量の差の算出をすることができる。
【0066】
推定部504は、振動発生位置を推定する。例えば、推定部504は、学習済みモデルを用いて、振動発生位置を推定する。推定部504は、センサ情報と操作された什器における位置との関係を学習した学習済みモデルに、取得されたセンサ情報を入力して、操作された什器における高さ方向における位置を含む位置情報を得ることで、操作された什器における位置を推定する。
具体的に、推定部504は、センサ情報取得部503によって取得されたセンサ情報を通信部210から学習システム40へ送信し、記憶部402に記憶された学習済みモデルに入力させる。推定部504は、通信部501を介して、学習済みモデルから出力される位置情報を学習システム40から取得する。そして、推定部504は、取得した出力結果が示す位置情報に基づき、振動発生位置を推定する。具体的に、推定部504は、取得した出力結果が示す位置情報が示す位置を振動発生位置であると推定する。
【0067】
重量算出部505は、操作が行われる前と後においてそれぞれ得られる重量センサの検出結果から、什器の重量の差を求める。
【0068】
出力処理部506は、各種情報の出力を制御する機能を有する。例えば、出力処理部506は、推定部504による推定結果をユーザ端末2又は商品管理システム5へ通信部501に送信させる。
【0069】
制御部507は、推定システム50の動作全般を制御する機能を有する。制御部507は、例えば、推定システム50がハードウェアとして備えるCPUにプログラムを実行させることによって実現される。
【0070】
図9、
図10は、棚に物体を載置した場合に当該棚に伝搬する振動をシミュレーションによって計算した計算結果を画像として表した図である。
図9は、棚に振動ユニットが設けられていない場合におけるシミュレーション結果を表し、
図10は、棚に振動ユニットが設けられた場合のシミュレーション結果を表す。
ここでは、棚に対する操作が行われた場合における振動特性変化をFEM(Finite Element Method)解析した結果を示す。
【0071】
図9では、振動ユニットが設けられていない棚において一番上の棚板の上面の略中央の位置Aに物体を載置した場合についてFEM解析をした結果が示されている。その結果、棚の最下部に伝搬した振動は、平面上において加振点を中心にして線対称の関係となるように伝搬している。
これに対し、
図10における棚は、
図9における棚と形状や構造は同じであるが、振動ユニットが設けられている点において異なる。ここでは渦部材である振動ユニットを、棚の4つの支柱のそれぞれについて、縦方向に2、横方向に12並ぶように配置した場合であって、
図9と同様の位置Aに物体を載置した場合についてFEM解析をした結果が示されている。その結果、棚の最下部に伝搬した振動は、
図9における伝搬状況とは異なる伝搬状況を示す結果が得られた(符号B)。
【0072】
このように、振動ユニットがない場合に比べて、振動ユニットが設けられた場合における、センサによって検出される振動の検出結果が異なる。ここでは、単独での振動ユニットを棚に設けるようにしてもよいし、複数の振動ユニットの組み合わせることで振動特性を編集し、棚に設けるようにしてもよい。そして、操作された、高さ方向における位置が識別しやすくなるように振動ユニットの振動特性を編集したり、棚に対する取り付け位置を任意に変えたりすることで、設計の高い自由度を持ちつつ、操作された、高さ方向における位置を検出することができる。高さ方向における位置の識別のし易さは、例えば、操作する対象の段が異なる場合に、FEM解析の結果についても差異の度合いが高いほど、識別し易い。そのため、予めFEM解析によって種々の条件を変更し、解析結果を確認することで、高さ方向における位置の識別のし易さを検討することができる。
【0073】
このように、振動ユニットを取り付けることで、水平方向だけでなく、高さ方向における位置についても、振動発生位置推定システム4において学習済みモデルを用いて分類しやすくなり、高さ方向における位置の識別精度が向上する。すなわち、学習済みモデルを用いてセンサ装置の検出結果を基に、方向におけるいずれの位置であるかを分類するが、学習済みモデルの分類パターンをより明確にするために、振動ユニットが用いられている。
【0074】
図11は、管理システムSの処理の流れ説明する図、
図12は、本実施形態に係る振動発生位置推定システム4の動作の一例を示すフローチャートである。
《学習フェーズ》
まず、操作者は、棚Tのいずれかの棚板に対して物体を置く、または棚Tのいずれかの棚板に載置された物体を取り出す。これにより、棚Tに対して力が印加され、棚Tに振動が伝搬する。振動ユニットは、棚Tに生じた振動を受けて振動する(
図11:ステップS10)。センサ装置は、棚Tに対する操作に応じて印加された振動と、振動ユニットによって発生された振動とを含む振動を検出する(
図11:ステップS11)。
【0075】
一方、操作者は、ユーザ装置から、棚Tに対して操作が行われた段数を示す操作位置データを入力する。学習システム40の制御部406は、センサ装置から出力される検出結果と、ユーザ装置に入力された操作位置データを通信部401を取得し、記憶部402に書き込む(
図11:ステップS12)。
ここでは、棚Tに対して操作が複数回行われる。操作者は、棚Tに対する操作を行う毎に、その操作が行われた高さ方向の位置を操作位置データとしてユーザ装置から入力する。これにより、棚Tに対する操作が行われる毎に、センサ装置から出力される検出結果と、操作位置データとの組み合わせが学習システム40によって取得され、制御部406によって記憶部402に学習データとして書き込まれる。
【0076】
学習システム40の学習データ取得部131は、記憶部402に学習データが一定程度の量が書き込まれると、記憶部402から学習データを読み出す(
図11:ステップS13,
図12:ステップS101)。
学習部404は、学習データが読み出されると、学習データを用いた機械学習を行い、学習済みモデルを生成する(
図11:ステップS14,
図12:ステップS102)。
【0077】
学習部404は、生成した学習済みモデルを記憶部402の学習済みモデル記憶領域に書き込んで記憶させる(
図11:ステップS15,
図12:ステップS103)。
【0078】
《実行フェーズ》
学習済みモデルが生成されると、推定システム50は、位置情報の推定処理を行うことができる。
ここでは、棚Tに対して物体を置く操作、または棚Tに載置された物体を取り出す操作が行われると、センサ装置は、棚Tに対して行われた操作と振動ユニットによって生じた振動に応じた検出結果をセンサ情報として出力する。
推定システム50のセンサ情報取得部503は、センサ装置から出力される、センサ情報を取得する(
図12:ステップS104)。具体的に、センサ情報取得部503は、センサ装置3によって検出されて推定システム50の通信部210が受信したセンサ情報を取得する。
次いで、推定システム50の推定部232は、センサ情報を学習システム40へ送信する(
図12:ステップS105)。具体的に、推定部504は、センサ情報取得部503によって取得されたセンサ情報を通信部210から学習システム40へ送信し、学習済みモデルへ入力させる。
【0079】
次いで、学習システム40の制御部130は、学習済みモデルへセンサ情報を入力する(
図11:ステップS16,
図12:ステップS106)。具体的に、制御部130は、通信部110が推定システム50から受信したセンサ情報を記憶部402に記憶された学習済みモデルへ入力する。
次いで、制御部130は、学習済みモデルからの出力結果を通信部110から推定システム50へ送信させる(
図12:ステップS107)。
【0080】
次いで、推定システム50の通信部210は、学習システム40から送信された出力結果を受信する(
図12:ステップS108)。
次いで、推定部232は、出力結果に基づき振動発生位置を推定する(
図11:ステップS17,
図12ステップS109)。具体的に、推定部232は、出力結果の位置情報が示す位置を振動発生位置と推定する。
次いで、推定システム50の出力処理部233は、推定結果を出力する(
図11:ステップS18,
図12ステップS110)。具体的に、出力処理部233は、推定結果を通信部210からユーザ端末2又は商品管理システム5へ送信する。
【0081】
図13は、推定結果がユーザ端末2または表示装置6の表示画面に表示された一例を示す図である。
表示画面には、棚Tの棚板11a、11b、11cが表示されるとともに、棚板11aの下面側に3つのセンサ14が配置された様子が表示される。そして、推定結果として、水平方向における座標が推定されるとともに、高さ方向における位置が推定された推定結果が得られると、表示画面には、推定結果に応じた位置に物体18を表す図形が表示される。ここでは、高さ方向における推定された位置が上から2段目に物体18が載置されたと推定された場合には、棚板11bの上面側に物体18を表す図形が表示される。ここでは、物体18が表示される、水平方向における位置は、推定結果として得られた水平方向における位置に基づいて表示される。
【0082】
また、物体18が棚板の上から取り出された場合には、その取り出された位置が推定された結果に基づいて、表示されていた物体18の図形が非表示となる。これにより、取り出された物体18が載置されていないことを画面上において把握可能となる。
なお、物体18が棚Tに置かれたか、棚Tから取り出されたかについては、重量算出部505が、センサ装置から得られる重量の検出結果に基づいて、操作が行われる前の重量の検出結果と、操作が行われた後の重量の検出結果との差を求める。推定部504は、操作前後において重量が減っている場合には、物品を取りだしたと推定し、操作前後において重量が増えている場合には、物品が置かれたと推定することができる。
【0083】
このような推定結果が表示装置6に表示させることで、例えば、商品棚をカメラで撮像することなく、商品陳列棚に載置されている商品が何であるか、また、どの段の棚板に商品が置かれているかを、表示装置6に表示することができる。これにより、例えば顧客または店員は、直接商品棚を確認しなくても、また、商品棚から離れた位置にいたとしても、表示装置6の表示画面上において商品の陳列状況を確認することができる。
また、表示装置6を、店舗のバックヤード等のように店員が業務を行うエリアに設置した場合には、商品棚に商品の補充が必要であるか否かを確認することができる。また、管理対象が商品棚ではなく、倉庫の棚である場合、店員は、在庫状況を表示装置6の表示画面を確認することで把握することができる。
【0084】
以上説明した実施形態において、スマートシェルフシステムは、店舗に設けられる場合について説明したが、一般家庭や、公共施設等の各種施設に設けるようにしてもよい。例えば、棚にシャンプー、液体石けん等の液体を収容可能なポンプ式の容器を棚に置くようすることができる。この場合、利用者がポンプ式の容器のポンプ部を押して液体洗剤を出す操作をすると、この操作に応じて生じる振動を検出することができる。これにより、棚のどの段に載置された容器に対して操作されたかを識別することができる。また、ポンプ部を押すことで液体洗剤が排出されると、容器に対する操作が行われる前後における重量をそれぞれ検出し、差を求めることで、容器に収容された液体の使用量を求めることができる。この場合、操作された高さ方向の位置を含む位置情報を表示装置に表示するだけでなく、算出された使用量に液体の残量を表示装置に表示するようにしてもよい。この場合、表示装置は、棚の近傍に設置するようにしてもよい。これにより、ポンプ式の容器を利用した際に、残量を確認しやすい。
ここでは、センサ装置3が重量センサである場合には、高さ方向における位置を検出可能な情報を取得することができるだけでなく、新たなセンサを追加することなく、重量の差(使用量)を検出することができる。
【0085】
以上説明した実施形態によれば、例えば、
図1に示すように、上段、中段、下段の3段の棚板を有する棚であって、最上段の棚板下面に、
図5Fに示す振動ユニット35Aと振動ユニット35Bとの組み合わせ振動ユニットを設け、中段の棚板下面に
図5Gに示す振動ユニット35と振動ユニット37Aとの組み合わせ振動ユニットを設ける場合には、上段の棚板に対する物品の操作がなされると、上段の棚板下面に設けられた振動ユニットに振動が伝わり、この振動ユニットが振動する。これにより、棚全体の振動を上段の棚板を起点として強めつつ振動を持続させ、その振動を棚の底部に設けられたセンサ装置によって検出することができる。
【0086】
また、中段の棚板に対する物品の操作がなされると、中段の棚板下面に設けられた振動ユニットに振動が伝わり、この振動ユニットが振動する。ここでは、振動ユニット37Aとしてダンパーが設けられているため、棚全体の振動を抑えるように作用する。
このように、振動ユニットの特性の相違や、振動ユニットを取り付ける位置によって、センサ装置によって検出される振動は、棚板の高さ方向の位置(段)によって異ならせることができる。これにより、高さ方向における位置が識別しやすくなるように学習システム40において学習することができ、高さ方向における位置を識別しやすくすることができる。
【0087】
例えば、横軸を振幅の最大値、横軸を振動の持続時間としてグラフに表し、センサ装置によって検出された検出結果に基づいてプロットすると、例えば
図14のように表すことができる。この検出結果をクラスタリングすることで、いずれの段に対する操作であるかを識別するようにしてもよい。
【0088】
なお上述した実施形態において、棚において対象物を載置または取り出す対象の面は、平滑な面でもよいが、微少な凹凸形状を形成したり、あるいは、粗面化するようにしてもよい。これにより、操作が行われた際に生じる振動を大きくすることができる。
【0089】
上述した実施形態における学習システム40、推定システム50をそれぞれコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、FPGA(Field Programmable Gate Array)等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。
【0090】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【0091】
2…ユーザ端末、3…センサ装置、4…振動発生位置推定システム、5…商品管理システム、6…表示装置、11a,11b,11c…棚板、12a,12b,12c,12d…支柱、14,14a,14b,14c,14d…センサ、15,15a,15b,15c,15d…振動ユニット、18,18a,18b…物体、20,35c1,35c2…ベース部材、25,25a,25b,35,35A,35B,36…振動ユニット、25a1,251b1,250, 252b1…渦部材、25a3,25b3…連結部材、36c1,36c2,38a,38b,38c,38d,220…ベース部材、37,37A…振動ユニット、37a,37b,37c,37d…ダンパー、251b…第1ユニット、251b2,25a2,252b2…ピン、252b…第2ユニット、255…始端、256…終端、257…中心点、351…スライドスイッチ、40…学習システム、50…推定システム、403…学習データ取得部、401,501…通信部、402,502…記憶部、403…学習データ取得部、404…学習部、405,506…出力処理部、406,507…制御部、503…センサ情報取得部、504…推定部、505…重量算出部、T…棚,S…管理システム