特許 7598902 情報処理装置、情報処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-04

(45)【発行日】2024-12-12

(54)【発明の名称】情報処理装置、情報処理方法及びプログラム

(51)【国際特許分類】

   G06Q 30/06 20230101AFI20241205BHJP

   A47F 5/00 20060101ALI20241205BHJP

   G06Q 10/087 20230101ALI20241205BHJP

   G07G 1/12 20060101ALI20241205BHJP

   G07G 1/14 20060101ALI20241205BHJP

【ＦＩ】

G06Q30/06

A47F5/00 Z

G06Q10/087

G07G1/12 321Q

G07G1/14

【請求項の数】 10

(21)【出願番号】P 2022123067

(22)【出願日】2022-08-02

(65)【公開番号】P2024020698

(43)【公開日】2024-02-15

【審査請求日】2022-08-25

【審判番号】

【審判請求日】2023-05-09

【新規性喪失の例外の表示】特許法第３０条第２項適用 令和３年１０月１４日、令和３年１０月１５日 株式会社セブン＆アイ・ホールディングスが、ヨークベニマル片平店にて、長坂知明、山田仁志及び三好利昇が発明した情報処理装置を使用した実証試験を行った。 令和３年１０月２６日 株式会社セブン＆アイ・ホールディングスが、ヨークベニマル台新店にて、長坂知明、山田仁志及び三好利昇が発明した情報処理装置を使用した実証試験を行った。 令和３年１１月１２日、令和３年１１月１３日、令和３年１２月１４日、令和３年１２月１５日 株式会社セブン＆アイ・ホールディングスが、ヨークベニマル田彦西店にて、長坂知明、山田仁志及び三好利昇が発明した情報処理装置を使用した実証試験を行った。 令和４年７月２６日 株式会社セブン＆アイ・ホールディングスが、ヨークベニマル金屋店にて、長坂知明、山田仁志及び三好利昇が発明した情報処理装置を使用した実証試験を行った。

【早期審査対象出願】

(73)【特許権者】

【識別番号】508342998

【氏名又は名称】株式会社セブン＆アイ・ホールディングス

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(74)【代理人】

【識別番号】100139066

【弁理士】

【氏名又は名称】伊藤 健太郎

(72)【発明者】

【氏名】長坂 知明

(72)【発明者】

【氏名】山田 仁志

(72)【発明者】

【氏名】三好 利昇

【合議体】

【審判長】柿崎 拓

【審判官】関口 哲生

【審判官】永冨 宏之

(56)【参考文献】

【文献】特開２０２０－１８４３５６（ＪＰ，Ａ）

【文献】特開２０１４－４８７５２（ＪＰ，Ａ）

【文献】特開２０１９－５５８２８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

B60Q30/06

A47F5/00

(57)【特許請求の範囲】

【請求項1】

棚に陳列された商品に対応して、当該棚に設置された複数の値札の各値札にカメラを任意の順序で向けることで取得した複数の画像を用いて、前記複数の値札の陳列位置を登録する情報処理装置であって、
前記カメラが取得した画像から値札を検出する検出部と、
前記検出部において値札を検出する度に、当該値札の陳列位置を推定する陳列位置推定処理を実行し、検出した値札の陳列位置推定処理によって他の推定済みの値札の陳列位置を再計算する推定部であって、前記陳列位置推定処理は、前記カメラ及び所定の情報を取得するセンサが取得した情報に基づく空間認識情報を用いて、検出した値札の位置座標を取得し、前記他の推定済みの値札の位置座標に基づいて棚段を推定し、推定された棚段に属する複数の値札間の左右の相対位置に基づいて左右陳列位置を推定する、推定部と、
前記検出した値札の陳列位置と前記再計算された前記他の推定済みの値札に関する更新された陳列位置とを出力する出力部と、
を備える情報処理装置。

【請求項2】

前記検出した値札に対応する商品を特定する商品特定部をさらに備え、
前記出力部は、前記推定された陳列位置と前記商品特定部が特定した商品の情報とを陳列マスタに登録する、
請求項１に記載の情報処理装置。

【請求項3】

棚の識別情報に基づいて処理対象の棚を特定し、特定した棚の棚情報を取得する棚特定部をさらに備え、
前記出力部は、前記特定した棚に関連付けて前記陳列位置と前記商品の情報とを登録する、
請求項２に記載の情報処理装置。

【請求項4】

前記陳列マスタに登録されている陳列情報を編集する編集部をさらに備える、請求項３に記載の情報処理装置。

【請求項5】

前記検出部は、前記値札に含まれる商品名情報及び／又はコード情報を取得し、
前記商品特定部は、前記商品名情報及び／又はコード情報と商品に関する情報を記憶する商品マスタとを照合して、前記商品を特定する、
請求項３に記載の情報処理装置。

【請求項6】

前記出力部は、前記推定部が推定した前記複数の値札の陳列位置を示す画面を表示部に表示することを含む、請求項１に記載の情報処理装置。

【請求項7】

前記検出部が検出した複数の値札をクラスタリングして、陳列位置を推定するクラスタリング部をさらに備える、請求項１に記載の情報処理装置。

【請求項8】

前記カメラが取得した画像において、前記検出した値札の位置に基づいて、前記検出した値札に対応する商品を推定し、前記推定した商品と同じ商品を前記画像から識別してフェイス数をカウントするフェイス数推定部をさらに備え、
前記出力部は、前記フェイス数をさらに出力する、請求項１に記載の情報処理装置。

【請求項9】

棚に陳列された商品に対応して、当該棚に設置された複数の値札の各値札にカメラを任意の順序で向けることで取得した複数の画像を用いて、前記複数の値札の陳列位置を登録する情報処理装置が実行する方法であって、
前記カメラが取得した画像から値札を検出することと、
値札を検出する度に、当該値札の陳列位置を推定する陳列位置推定処理を実行し、検出した値札の陳列位置推定処理によって他の推定済みの値札の陳列位置を再計算することであって、前記陳列位置推定処理は、前記カメラ及び所定の情報を取得するセンサが取得した情報に基づく空間認識情報を用いて、検出した値札の位置座標を取得し、前記他の推定済みの値札の位置座標に基づいて棚段を推定し、推定された棚段に属する複数の値札間の左右の相対位置に基づいて左右陳列位置を推定する、ことと、
前記検出した値札の陳列位置と前記再計算された前記他の推定済みの値札に関する更新された陳列位置とを出力することと
を含む方法。

【請求項10】

棚に陳列された商品に対応して、当該棚に設置された複数の値札の各値札にカメラを任意の順序で向けることで取得した複数の画像を用いて、前記複数の値札の陳列位置を登録する１又は複数のコンピュータに、
前記カメラが取得した画像から値札を検出することと、
値札を検出する度に、当該値札の陳列位置を推定する陳列位置推定処理を実行し、検出した値札の陳列位置推定処理によって他の推定済みの値札の陳列位置を再計算することであって、前記陳列位置推定処理は、前記カメラ及び所定の情報を取得するセンサが取得した情報に基づく空間認識情報を用いて、検出した値札の位置座標を取得し、前記他の推定済みの値札の位置座標に基づいて棚段を推定し、推定された棚段に属する複数の値札間の左右の相対位置に基づいて左右陳列位置を推定する、ことと、
前記検出した値札の陳列位置と前記再計算された前記他の推定済みの値札に関する更新された陳列位置とを出力することと
を実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、情報処理方法及びプログラムに関する。

【背景技術】

【0002】

例えばコンビニエンスストアやスーパー等の店舗では、商品の販売場所をデータ登録する陳列登録業務を行っている。従来、陳列登録業務は、例えば棚の左下から順に等、予め決められた順序で作業者が商品又は値札を専用の読み取り装置で読み取り、読み取り装置からの情報を受信したサーバにおいて、読み取った順で商品が登録されることにより行われていた。

【0003】

従来の業務では、例えば作業者が予め決められた順序と異なる順序で商品等の読み取りを行った場合、誤ったデータが登録されてしまうことになる。また、読み取り中に１つでも商品の読み取りを忘れてしまうと、初めから登録作業をやり直す必要があった。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２００４－３０４０７号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１には、店舗内の陳列什器における商品を陳列する範囲に対して陳列範囲識別情報１３を発行し、従業員が商品を陳列する際に、当該商品を陳列する陳列範囲に付された陳列範囲識別情報１３をバーコードリーダで読み取り、次に商品に付された商品識別情報をバーコードリーダで読み取り、陳列範囲と商品とを対応付けることで陳列登録を行うシステムが記載されている。

【0006】

特許文献１に記載の技術によれば、従業員は予め決められた順序ではなく、任意の順序で陳列範囲と商品とを対応付けることができる。しかしながら、陳列範囲に対して陳列範囲識別情報を発行する作業、発行した陳列範囲識別情報を登録する作業が別途必要であり、また、陳列範囲と商品との対応付けの際には、陳列範囲識別情報１３のバーコードと商品識別情報のバーコードとをそれぞれ読み取る手間が発生していた。

【0007】

さらに、商品に付された商品識別情報を読み取る場合、誤った位置に配置された商品を読み取ってしまうおそれや、売り切れた商品の読み取りが行われないおそれがある等、信頼性の高い陳列登録を行うことができなかった。

【0008】

そこで、本発明は、任意の順序で検出した値札について陳列登録業務を行うことが可能な情報処理装置、情報処理方法及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0009】

本発明の一態様に係る情報処理装置は、複数の画像を含む情報から値札を検出する検出部と、検出した複数の値札の相対位置に基づいて、複数の値札の陳列位置を推定する推定部と、推定した結果を出力する出力部と、を備える。

【0010】

この態様によれば、情報処理装置は、検出した複数の値札の相対位置に基づいて、任意の順序で検出した値札について陳列登録業務を行うことができる。

【0011】

上記情報処理装置において、推定部は、検出部が検出した値札の位置情報を取得する取得部と、複数の値札の位置情報から求められる相対位置に基づいて、複数の値札の陳列位置を推定する陳列位置推定部と、を備えてもよい。この態様によれば、情報処理装置は、検出された値札の位置情報を用いて複数の値札の陳列位置を推定することができるので、陳列範囲や棚に関する詳細な事前設定を要することなく、陳列情報を登録することができる。

【0012】

上記情報処理装置において、陳列位置推定部は、複数の値札の位置情報に基づいて、少なくとも複数の値札間の上下左右の相対関係を示す陳列位置を推定してもよい。この態様によれば、情報処理装置は、陳列位置として、複数の値札間の上下左右の相対関係を示すことができる。

【0013】

上記情報処理装置において、陳列位置推定部は、複数の値札間の上下の相対距離と閾値とに基づいて棚段を推定し、推定された棚段に属する複数の値札間の左右の相対位置に基づいて左右陳列位置を推定してもよい。この態様によれば、情報処理装置は、複数の値札間の上下の相対距離と閾値とを用いて、最小限の情報により高精度な棚段の推定を行うことができる。

【0014】

上記情報処理装置において、画像を撮影するカメラ及び／又は所定の情報を取得するセンサが取得した情報に基づいて、空間認識を行う空間認識部をさらに備え、取得部は、空間認識部が得た空間認識情報を用いて、検出した値札の画像座標を位置情報に変換してもよい。この態様によれば、情報処理装置は、当該情報処理装置が備えるカメラ及び／又はセンサを利用して正確な値札の位置情報を取得することができる。

【0015】

上記情報処理装置において、検出した値札に対応する商品を特定する商品特定部をさらに備え、出力部は、推定された陳列位置と商品特定部が特定した商品の情報とを陳列マスタに登録してもよい。この態様によれば、情報処理装置は、陳列位置と商品の情報とを関連付けた陳列マスタを登録することができる。

【0016】

上記情報処理装置において、棚の識別情報に基づいて処理対象の棚を特定し、特定した棚の棚情報を取得する棚特定部をさらに備え、出力部は、特定した棚に関連付けて陳列位置と商品の情報とを登録してもよい。この態様によれば、情報処理装置は、複数の棚について、陳列情報を登録することができる。

【0017】

上記情報処理装置において、陳列マスタに登録されている陳列情報を編集する編集部をさらに備えてもよい。この態様によれば、情報処理装置のユーザは、必要に応じて適宜陳列情報を編集することができる。

【0018】

上記情報処理装置において、検出部は、値札に含まれる商品名情報及び／又はコード情報を取得し、商品特定部は、商品名情報及び／又はコード情報と商品に関する情報を記憶する商品マスタとを照合して、商品を特定してもよい。この態様によれば、情報処理装置は、商品マスタの情報と照合しながらより正確な商品の特定を行うことができる。

【0019】

上記情報処理装置において、出力部は、推定部が推定した複数の値札の陳列位置を示す画面を表示部に表示してもよい。この態様によれば、情報処理装置のユーザは、陳列登録の処理結果を確認しながら、確実に陳列登録業務を進めていくことができる。

【0020】

上記情報処理装置において、検出部が検出した複数の値札をクラスタリングして、陳列位置を推定するクラスタリング部をさらに備えてもよい。この態様によれば、情報処理装置は、推定部による陳列位置の推定がうまく機能しない場合であっても、陳列位置を推定することができる。

【0021】

上記情報処理装置において、推定部は、検出部において値札を検出する度に、当該値札の陳列位置を推定する陳列位置推定処理を実行し、検出した値札の陳列位置推定処理によって他の推定済みの値札の陳列位置を再計算し、出力部は、検出した値札の陳列位置と再計算された他の推定済みの値札に関する更新された陳列位置とを出力してもよい。この態様によれば、情報処理装置のユーザは、リアルタイムで陳列登録の処理結果を確認しながら、確実に陳列登録業務を進めていくことができる。

【0022】

上記情報処理装置において、出力部は、フェイス数をさらに出力してもよい。この態様によれば、情報処理装置は、陳列情報にフェイス数も含めて管理することができる。

【0023】

上記情報処理装置において、陳列位置は、少なくとも複数の値札間の上下左右の相対関係を示してもよい。この態様によれば、情報処理装置は、陳列位置として、複数の値札間の上下左右の相対関係を示すことができる。

【0024】

本発明の他の態様に係る方法は、複数の画像を含む情報から値札を検出することと、検出した複数の値札の相対位置に基づいて、複数の値札の陳列位置を推定することと、推定した結果を出力することとを含む。

【0025】

本発明の他の態様に係るプログラムは、１又は複数のコンピュータに、複数の画像を含む情報から値札を検出することと、検出した複数の値札の相対位置に基づいて、複数の値札の陳列位置を推定することと、推定した結果を出力することとを実行させる。

【発明の効果】

【0026】

本発明によれば、任意の順序で検出した値札について陳列登録業務を行うことが可能な情報処理装置、情報処理方法及びプログラムを提供することができる。

【図面の簡単な説明】

【0027】

【図1】本発明の一実施形態に係る情報処理装置を含むシステム構成を示す図である。

【図2】本発明の一実施形態に係る情報処理装置のブロック図である。

【図3】棚に設置された値札と値札に対応する商品のフェイス数とを示す図である。

【図4】本発明の一実施形態に係る情報処理装置の陳列情報登録処理を示すフローチャートである。

【図5】本発明の一実施形態に係る情報処理装置の陳列位置推定処理を示すフローチャートである。

【図6】本発明の一実施形態に係る情報処理装置のクラスタリング陳列位置推定処理を示すフローチャートである。

【図7】棚に設置された値札を示す図である。

【図8】表示部に表示される画面例を示す図である。

【発明を実施するための形態】

【0028】

添付図面を参照して、本発明の実施形態について説明する。なお、以下の実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。また、本発明は、その要旨を逸脱しない限り、さまざまな変形が可能である。さらに、当業者であれば、以下に述べる各要素を均等なものに置換した実施形態を採用することが可能であり、係る実施形態も本発明の範囲に含まれる。

【0029】

（概要）
図１を用いて、本発明の概要について説明する。図１は、本発明の一実施形態に係る情報処理装置を含むシステム構成を示す図である。システムは、情報処理装置１００とデータベース２００とを備え、ネットワークＮを介して相互に通信可能に接続されている。情報処理装置１００として、例えば、タブレット端末やスマートフォンを用いることができる。

【0030】

情報処理装置１００は、例えばコンビニエンスストアやスーパー等の店舗において、棚に設置された値札を検出し、検出した値札の位置を商品の位置として陳列情報を作成する装置である。値札には、バーコードや商品名などが含まれており、情報処理装置１００は、検出した値札内のバーコードや商品名とデータベース２００の商品マスタ２１０とを照合して値札に対応する商品を特定し、特定した商品と陳列位置とをデータベース２００の陳列マスタ２２０に登録する。

【0031】

陳列位置とは、少なくとも複数の値札間の上下左右の相対関係を示す情報であり、本実施形態では、ある棚の何段目の棚段で、同一の棚段の複数の値札のうち端から何番目の位置であるかを含む。

【0032】

なお、図１では情報処理装置１００とデータベース２００とを別々に示しているが、データベース２００の一部又は全部のデータを情報処理装置１００に含めるようにしてもよい。

【0033】

（機能構成）
図２は、本発明の一実施形態に係る情報処理装置のブロック図である。なお、図２では、単一の情報処理装置１００を想定し、必要な構成の一例を示しているが、情報処理装置１００を、複数のコンピュータシステムによる多機能の分散システムの一部として構成することもできる。例えば、情報処理装置１００の一部の機能をデータベース２００、又はデータベース２００と通信可能な他の情報処理装置に含めてもよい。

【0034】

情報処理装置１００は、操作部１１０と、制御部１２０と、記憶部１４０と、撮影部１５０と通信部１６０と表示部１７０とセンサ部１８０とを備えている。

【0035】

操作部１１０は、情報処理装置１００のユーザからの操作を受け付けるように構成され、タッチパネルやボタン等によって実現することができる。

【0036】

制御部１２０は、プロセッサに相当するＣＰＵやＭＰＵ等の演算処理部１２１及びＲＡＭ等のメモリ１２２を備えている。演算処理部１２１（プロセッサ）は、各種入力に基づき、記憶部１４０に記録されたプログラムをメモリ１２２に展開して実行することで、演算処理部１２１における後述する機能及び処理を実現する。このプログラムは、ＣＤ－ＲＯＭ等のコンピュータ読み取り可能な非一時的な記録媒体に記憶され、若しくはネットワークを介して配布され、コンピュータにインストールされるものであってもよい。メモリ１２２は、演算処理部１２１（プロセッサ）によるプログラム実行に必要なワークメモリとして機能する。

【0037】

記憶部１４０は、ハードディスク等の記憶装置によって構成され、制御部１２０における処理の実行に必要な各種プログラムや、各種プログラムの実行に必要なデータ等を記録しておくものである。本実施形態では、記憶部１４０は、学習済モデル１４１を有している。

【0038】

学習済モデル１４１には、値札の検出に用いる学習済モデルが保存される。本実施形態では、学習済モデル１４１には、画像を入力データとして受け取り、値札の構成要素である値札要素の領域を出力する学習済モデルが保存される。学習済モデルとは、任意の機械学習アルゴリズムによる機械学習モデルに対して、事前に適切な学習データを用いて学習を行ったモデルである。ただし、学習済モデルは、それ以上の学習を行わないものではなく、追加学習を行うこともできる。

【0039】

撮影部１５０は、画像を取得するように構成され、カメラによって実現することができる。

【0040】

通信部１６０は、情報処理装置１００をネットワークＮに接続するように構成される。例えば、通信部１６０は、ＬＡＮカード、アナログモデム、ＩＳＤＮモデム等、及びこれらをシステムバス等の伝送路を介して処理部と接続するためのインタフェースから実現することができる。

【0041】

表示部１７０は、各種の画面を表示するとともに、撮影部１５０が取得した画像を表示するように構成され、例えば、タッチパネルを有するディスプレイ等の一般的な表示デバイスによって実現することができる。

【0042】

センサ部１８０は、情報処理装置１００の周辺環境に関する様々な情報を収集し、電気信号に変換して出力するように構成され、例えば、ＬｉＤＡＲ（Light Detection and Ranging）センサ、加速度センサ、ジャイロスコープ、地磁気センサ等によって実現することができる。

【0043】

さらに、図２に示すように、演算処理部１２１は、機能部として、棚特定部１２３、空間認識部１２４、値札認識部１２５、値札位置登録部１２６、商品特定部１２７、陳列位置推定部１２８、フェイス数推定部１２９、陳列情報登録部１３０、出力部１３１、クラスタリング部１３２及び編集部１３３を備えている。

【0044】

棚特定部１２３は、棚の識別情報に基づいて処理対象の棚を特定し、特定した棚の棚情報を取得する。本実施形態では、棚特定部１２３は、棚に付されているコード情報を、撮影部１５０を用いて読み取り、読み取られたコード情報に対応する棚情報をデータベース２００の棚マスタ２３０（図示せず）から取得する。コード情報は一次元のコード情報であってもよいし、二次元のコード情報であってもよい。

【0045】

また、本実施形態では、棚特定部１２３は、コード情報を撮影部１５０で読み取って棚を特定しているが、別の実施形態では、ビーコン装置から発信されるビーコンをセンサ部１８０で受信して読み取ったり、棚の画像から得られる画像特徴量を撮影部１５０で読み取るなど、他の情報を棚の識別情報として用いて棚を特定してもよい。

【0046】

棚マスタ２３０には、棚の情報が保存されている。一実施形態では、棚マスタ２３０には、棚ＩＤ、棚の段数、棚の高さ、閾値等が登録されている。閾値には、後述の陳列位置推定部１２８が上下陳列位置を推定する際に用いる値が保存される。本実施形態では、閾値には、棚板の厚さと値札の高さとに基づいて２つの値札が同一棚段にある場合の閾値として±１０ｃｍを設定する。なお、本実施形態では、閾値として同一棚段にある場合の閾値を設定したが、別の実施形態では、同一棚段にない、すなわち上下関係にある場合の閾値を設定してもよい。また、本実施形態では、棚に対して閾値を設定したが、別の実施形態では、棚段ごとに閾値を設定してもよい。

【0047】

空間認識部１２４は、撮影部１５０及びセンサ部１８０が取得した情報に基づいて、空間認識を行う。本実施形態では、空間認識部１２４は、ＳＬＡＭ（Simultaneous Localization and Mapping）アルゴリズムを用いて、撮影部１５０が撮影した画像を解析して環境地図を作成するとともに、センサ部１８０が取得したセンサ情報を用いて環境地図の座標軸における自己位置を推定する。本実施形態では、空間認識部１２４はＳＬＡＭアルゴリズムを用いて空間認識を行うが、ＳＬＡＭアルゴリズムは一例であり、別の実施形態では、他の任意のアルゴリズムを用いて空間認識を行ってもよい。また、情報処理装置１００の機種等によって利用できるセンサ部１８０は異なるが、利用可能なセンサに応じて空間認識を行えばよい。

【0048】

値札認識部１２５は、画像から値札を検出し、値札上に表示されている情報を認識する。本実施形態では、値札認識部１２５は、撮影部１５０から画像を取得して、画像内の値札を検出する。まず初めに、値札認識部１２５は、画像を学習済モデル１４１に入力して、値札を構成する値札要素の領域を取得する。学習済モデル１４１は、値札要素として、値札カード、バーコード、商品名、価格の領域を出力する。次に、値札認識部１２５は、各値札要素の領域に対して、認識処理を行い、値札要素に対応するバーコード、商品名等の情報を取得する。なお、本実施形態では、値札認識部１２５は学習済モデルを用いて値札の検出を行うが、学習済モデルは一例であり、別の実施形態では、他の任意の数理モデルを用いて値札を検出してもよい。

【0049】

値札位置登録部１２６は、値札認識部１２５が検出した値札のワールド座標上でのポーズ情報をアンカーとして登録する。ワールド座標とは、３次元空間における値札の座標であり、ポーズ情報には、値札の位置と向きに関する情報が含まれる。本実施形態では、値札位置登録部１２６は、空間認識部１２４が得た空間認識情報を用いて、値札認識部１２５が検出した値札の画像座標をワールド座標に変換し、変換したワールド座標上でのポーズ情報をアンカーとして登録する。

【0050】

商品特定部１２７は、値札認識部１２５が認識した情報とデータベース２００の商品マスタ２１０とを照合して、値札に対応する商品を特定する。本実施形態では、商品特定部１２７は、値札認識部１２５が認識したバーコード又は商品名の情報に基づいて、商品マスタ２１０から値札に対応する商品を特定する。

【0051】

商品マスタ２１０には、商品の情報が保存されている。一実施形態では、商品マスタ２１０には、商品ＩＤ、商品名、価格等が登録されている。

【0052】

陳列位置推定部１２８は、値札認識部１２５が認識した値札の陳列位置を推定する。前述したように、陳列位置とは、少なくとも複数の値札間の上下左右の相対関係を示す情報であり、本実施形態では、ある棚の下から何段目の棚段（上下陳列位置）で、同一の棚段の複数の値札のうち端から何番目の位置（左右陳列位置）であるかを含む。陳列位置推定部１２８は、値札位置登録部１２６が得た各値札のワールド座標に基づいて、ある値札について、他の値札に対する相対位置を推定する。一実施形態では、陳列位置推定部１２８は、１つ目の値札のワールド座標を原点として、２つ目以降の値札について、原点からの上下の相対距離と閾値とに基づいて棚段（上下陳列位置）を推定し、さらに、推定された棚段に属する複数の値札の左右の相対位置に基づいて左右陳列位置を推定する。

【0053】

フェイス数推定部１２９は、値札に対応する商品のフェイス数を推定する。フェイス数とは、棚に左右方向に並べられた同一商品の数である。本実施形態では、フェイス数推定部１２９は、画像において、値札の重心から上方向に最も近い商品を値札に対応する商品と推定し、推定した商品と同じ商品を画像から識別してフェイス数をカウントする。本実施形態では、フェイス数推定部１２９は、１段分のフェイス数をカウントし、上に重なっている商品についてはフェイス数のカウントから除外するものとする。例えば、図３の例では、値札Ａに対応する商品のフェイス数は２であり、上に重なっている商品Ｘについてはカウントから除外されている。

【0054】

陳列情報登録部１３０は、陳列情報を登録する。本実施形態では、陳列情報登録部１３０は、棚の識別情報に関連付けて、陳列位置と商品の情報とフェイス数とを含む陳列情報をデータベース２００の陳列マスタ２２０に登録する。また、陳列情報登録部１３０は、後述のクラスタリング部１３２の陳列位置推定の処理結果に基づいて、陳列マスタを更新する。

【0055】

出力部１３１は、陳列登録処理で使用する各種画面を表示部１７０に出力する。本実施形態では、出力部１３１は、登録済みの陳列情報について陳列位置を示す画面を表示部１７０に出力する。また、出力部１３１は、陳列登録処理の結果を通信部１６０に出力してもよい。

【0056】

クラスタリング部１３２は、検出した複数の値札をクラスタリングして、陳列位置を推定する。本実施形態では、クラスタリング部１３２は、ある棚について全ての値札を検出した後、棚情報の棚段数をクラスタ数としてクラスタリングを行い、各クラスタを各棚段とみなして上下陳列位置を推定し、同一の棚段に属する複数の値札の左右の相対位置に基づいて左右陳列位置を推定する。

【0057】

編集部１３３は、登録済みの陳列情報を編集する。本実施形態では、編集部１３３は、棚の識別番号を受信することに応答して、受信した棚の識別番号に関連付けられた陳列マスタ２２０の陳列情報について、陳列位置を示す画面の出力を出力部１３１に依頼する。その後、編集部１３３は、任意の陳列情報に対する編集指示を受信することに応答して、編集指示に基づいて陳列マスタ２２０を更新する。

【0058】

（陳列情報登録処理）
図４を参照して、本発明の実施形態に係る情報処理装置の陳列情報登録処理を詳細に説明する。本実施形態では、図４で説明される陳列情報登録処理を行う前に、データベース２００の商品マスタ２１０及び棚マスタ２３０に各種情報が保存されているものとする。また、情報処理装置１００の学習済モデル１４１には学習済モデルが格納されているものとする。

【0059】

なお、図４に示す処理は、例えば、情報処理装置１００のユーザが操作部１１０を介して陳列情報登録処理を実行するための指示を入力することで実行される。例えば、ユーザは陳列情報登録アプリケーションを起動することによって陳列情報登録処理を実行するための指示を入力し、アプリケーションが起動されると、撮影部１５０が起動して画像を連続的に読み込み始める。本実施形態では、図７に示す棚に設置された値札について陳列情報登録を行う。

【0060】

ステップＳ４０１において、処理対象の棚を特定する。本実施形態では、例えば、棚のコード情報の読み取りを促すテキストが表示部１７０に表示されることによりユーザが棚に付されているコード情報（図示せず）に撮影部１５０を向けると、情報処理装置１００の棚特定部１２３は、棚特定部１２３は、棚に付されているコード情報を読み取り、読み取られたコード情報に対応する棚情報をデータベース２００の棚マスタ２３０から取得する。ここでは、棚特定部１２３は、棚ＩＤ「００Ａ」、棚の段数「４」、棚の高さ「４０ｃｍ」、閾値「±１０ｃｍ」を取得したものとする。一実施形態では、棚特定部１２３は、棚の特定が完了した旨や特定した棚情報を表示部１７０に表示してもよい。

【0061】

ステップＳ４０２において、センサ情報を取得する。本実施形態では、情報処理装置１００の空間認識部１２４は、センサ部１８０からセンサ情報を取得する。

【0062】

続いてステップＳ４０３において、空間認識を行う。本実施形態では、空間認識部１２４は、ＳＬＡＭ（Simultaneous Localization and Mapping）アルゴリズムを用いて、撮影部１５０が撮影した画像を解析して環境地図を作成するとともに、センサ部１８０が取得したセンサ情報を用いて環境地図の座標軸における自己位置を推定する。本実施形態では、ＳＬＡＭアルゴリズムを用いて空間認識を行うが、別の実施形態では、他の任意のアルゴリズムを用いて空間認識を行ってもよい。

【0063】

ステップＳ４０４において、値札を検出する。本実施形態では、情報処理装置１００の値札認識部１２５は、撮影部１５０から取得した画像を学習済モデル１４１に入力して、値札を構成する値札要素の領域を取得する。前述したように、学習済モデル１４１は、値札要素として、値札カード、バーコード、商品名、価格の領域を出力する。ここでは、例えば、棚を特定した後、値札の検出を促すテキストが表示部１７０に表示されることによりユーザが図７の値札１に撮影部１５０を向け、値札認識部１２５は、図７の値札１に対応する値札カード、バーコード、商品名、価格の領域を取得したものとする。

【0064】

ステップＳ４０５において、値札認識部１２５は、画像内に値札があるか否かを判定し、値札がないと判定される場合（Ｓ４０５：ＮＯ）、処理はステップＳ４０２に戻る。一方、ステップＳ４０５において値札があると判定される場合（Ｓ４０５：ＹＥＳ）、処理はステップＳ４０６に進む。ここでは、値札があると判定され、ステップＳ４０６に進んだものとする。

【0065】

ステップＳ４０６において、値札を認識する。本実施形態では、値札認識部１２５は、各値札要素の領域に対して、認識処理を行い、値札要素に対応する情報を取得する。ここでは、値札認識部１２５は、値札１に対応するバーコード情報、商品名情報、価格情報を取得したものとする。

【0066】

ステップＳ４０７において、検出した値札のアンカー登録を行う。本実施形態では、情報処理装置１００の値札位置登録部１２６は、値札認識部１２５が検出した値札のワールド座標上でのポーズ情報をアンカーとして登録する。具体的には、値札位置登録部１２６は、空間認識部１２４が得た空間認識情報を用いて、値札認識部１２５が検出した値札の画像座標をワールド座標に変換し、変換したワールド座標上でのポーズ情報をアンカーとして登録する。

【0067】

ステップＳ４０８において、商品を特定する。本実施形態では、情報処理装置１００の商品特定部１２７は、値札認識部１２５が認識した情報とデータベース２００の商品マスタ２１０とを照合して、値札に対応する商品を特定する。ここでは、商品特定部１２７は、値札認識部１２５が認識したバーコード情報と商品マスタ２１０の商品ＩＤとを照合して、値札に対応する商品１を特定したものとする。

【0068】

ステップＳ４０９において、陳列位置を推定する。陳列位置推定処理について、図５を参照しながら詳細に説明する。本実施形態では、情報処理装置１００の陳列位置推定部１２８は、値札認識部１２５が認識した値札の陳列位置を推定する。ステップＳ５０１において、陳列位置推定部１２８は、処理対象の値札について、アンカー登録したワールド座標を取得する。

【0069】

ステップＳ５０２において、陳列位置推定部１２８は、処理対象の値札が１つ目であるか否かを判定する。１つ目の値札であると判定される場合（Ｓ５０２：ＹＥＳ）、処理はステップＳ５０３に進む。ここでは、処理対象の値札が１つ目の値札であると判定され、Ｓ５０３に進んだものとする。

【0070】

ステップＳ５０３において、原点座標を登録する。本実施形態では、陳列位置推定部１２８は、ステップＳ５０１で取得したワールド座標を原点座標として登録する。続いてステップＳ５０４において、陳列位置推定部１２８は、処理対象の値札の陳列位置を下から１段目の左端とみなし（陳列位置：１－１）、図４のフローに戻る。

【0071】

ステップＳ４１０において、フェイス数を推定する。本実施形態では、情報処理装置１００のフェイス数推定部１２９は、画像において、値札の重心から上方向に最も近い商品を値札に対応する商品と推定し、推定した商品と同じ商品を画像から識別してフェイス数をカウントする。ここでは、フェイス数推定部１２９は、フェイス数を３と推定したものとする。

【0072】

ステップＳ４１１において、陳列情報を登録する。本実施形態では、情報処理装置１００の陳列情報登録部１３０は、棚の識別情報に関連付けて、陳列位置と商品の情報とフェイス数とを含む陳列情報をデータベース２００の陳列マスタ２２０に登録する。ここでは、陳列情報登録部１３０は、棚ＩＤ「００Ａ」に関連付けて、陳列位置「１－１」、商品の情報「商品１」、フェイス数「３」を含む陳列情報を登録したものとする。

【0073】

ステップＳ４１２において、表示画面を更新する。本実施形態では、情報処理装置１００の出力部１３１は、登録済みの陳列情報について陳列位置を示す画面を表示部１７０に出力する。ここでは、図８（Ａ）に示す画面が表示されたものとする。

【0074】

ステップＳ４１３において、情報処理装置１００は、陳列登録の完了指示を受信したか否かを判定し、完了指示を受信したと判定される場合（Ｓ４１３：ＹＥＳ）、処理はステップＳ４１４に進む。一方、ステップＳ４１３において完了指示を受信していないと判定される場合（Ｓ４１３：ＮＯ）、処理はステップＳ４０２に戻る。ここでは、完了指示を受信していないと判定され、ステップＳ４０２に戻ったものとする。

【0075】

ユーザは、図７の値札１に続き、値札２、値札３に撮影部１５０を向けて、ステップＳ４０２～ステップＳ４１３を繰り返すことにより、ステップＳ４１２において、図８（Ａ）→図８（Ｂ）→図８（Ｃ）の順で更新された表示画面が表示されるものとする。その後ユーザが値札４に撮影部１５０を向けて、ステップＳ４０２～ステップＳ４０８が実行されたものとする。

【0076】

再び図５を参照して、陳列位置推定処理について詳細に説明する。ステップＳ５０１において、陳列位置推定部１２８は、処理対象の値札について、アンカー登録したワールド座標を取得する。ここでは、陳列位置推定部１２８は、値札４のワールド座標を取得したものとする。

【0077】

ステップＳ５０２において、陳列位置推定部１２８は、処理対象の値札が１つ目であるか否かを判定する。ここでは、処理対象の値札が１つ目の値札でないと判定され（Ｓ５０２：ＮＯ）、Ｓ５０５に進んだものとする。

【0078】

ステップＳ５０５において、陳列位置推定部１２８は、原点からの上下の相対距離を算出する。ここでは、陳列位置推定部１２８は、値札１のワールド座標からの上下の相対距離「マイナス４３ｃｍ」を算出したものとする。

【0079】

ステップＳ５０６において、陳列位置推定部１２８は、原点からの上下の相対距離と閾値とに基づいて棚段（上下陳列位置）を推定する。なお、閾値については、ステップＳ４０１において取得された閾値「±１０ｃｍ」を用いる。ここでは、原点からの上下の相対距離「マイナス４３ｃｍ」と２つの値札が同一棚段にある場合の閾値「±１０ｃｍ」とに基づいて、値札４は値札１の下の段であると推定される。

【0080】

ステップＳ５０７において、陳列位置推定部１２８は、推定された棚段に属する複数の値札の左右の相対位置に基づいて左右陳列位置を推定する。ここでは、陳列位置推定部１２８は、推定された棚段に属する他の値札は存在しないので、左端であると推定したものとする（陳列位置：１－１）。

【0081】

ステップＳ５０８において、陳列位置推定部１２８は、他の値札の再計算が必要であるか否かを判定する。再計算が必要でないと判定される場合（Ｓ５０８：ＮＯ）、処理は図４のフローに戻る。ここでは、再計算が必要であると判定され（Ｓ５０８：ＹＥＳ）、Ｓ５０９に進んだものとする。

【0082】

ステップＳ５０９において、陳列位置推定部１２８は、他の値札の陳列位置を再計算する。ここでは、陳列位置推定部１２８は、値札１、値札２、値札３の上下陳列位置をプラス１し、それぞれ、値札１（陳列位置：２－１）、値札２（陳列位置：２－２）、値札３（陳列位置：２－３）に再計算したものとする。

【0083】

その後、処理は図４のフローに戻り、ステップＳ４１０において、値札４についてフェイス数の推定を行い、ステップＳ４１１において、陳列情報を登録する。ここでは、陳列情報登録部１３０は、棚ＩＤ「００Ａ」に関連付けて、陳列位置「１－１」、商品の情報「商品４」、フェイス数「３」を含む陳列情報を登録すると共に、再計算した値札１、値札２、値札３に関する陳列情報を更新する。

【0084】

その後、ステップＳ４１２において、図８（Ｄ）に示す画面が表示されたものとする。ユーザは図７の値札４に続き、値札５に撮影部１５０を向けてステップＳ４０２～ステップＳ４１１が実行され、ステップＳ４１２において、図８（Ｅ）に示す画面が表示される。ユーザは値札５に続き値札６に撮影部１５０を向けてステップＳ４０２～ステップＳ４８が実行されたものとする。値札６に関する陳列位置推定処理について、再度図５を参照して詳細に説明する。

【0085】

ステップＳ５０１において、陳列位置推定部１２８は、処理対象の値札６について、アンカー登録したワールド座標を取得する。

【0086】

ステップＳ５０２において、陳列位置推定部１２８は、処理対象の値札が１つ目の値札でないと判定し（Ｓ５０２：ＮＯ）、処理はＳ５０５に進む。

【0087】

ステップＳ５０５において、陳列位置推定部１２８は、値札１のワールド座標からの上下の相対距離「マイナス８５ｃｍ」を算出したものとする。

【0088】

ステップＳ５０６において、陳列位置推定部１２８は、原点からの上下の相対距離と閾値とに基づいて棚段（上下陳列位置）を推定する。ここでは、原点からの上下の相対距離「マイナス８５ｃｍ」と２つの値札が同一棚段にある場合の閾値「±１０ｃｍ」とに基づいて、値札６は値札１の下の段であると推定される。

【0089】

ここで、既に陳列位置推定された値札のうち、原点からみて、処理対象の値札と同一上下方向の他の棚段の値札が存在する場合、他の棚段の値札からの上下の相対距離と閾値とに基づいて棚段を推定する。ここでは、他の棚段の値札（値札５）からの上下の相対距離「４２ｃｍ」と２つの値札が同一棚段にある場合の閾値「±１０ｃｍ」とに基づいて、値札６は値札５の下の段であると推定される。

【0090】

ステップＳ５０７において、陳列位置推定部１２８は、推定された棚段に属する複数の値札の左右の相対位置に基づいて左右陳列位置を推定する。ここでは、陳列位置推定部１２８は、推定された棚段に属する他の値札は存在しないので、左端であると推定したものとする（陳列位置：１－１）。

【0091】

ステップＳ５０９において、陳列位置推定部１２８は、再計算が必要であると判定し（Ｓ５０８：ＹＥＳ）、Ｓ５０９で他の値札の陳列位置が再計算される。ここでは、陳列位置推定部１２８は、値札１、値札２、値札３、値札４、値札５の上下陳列位置をプラス１し、それぞれ、値札１（陳列位置：３－１）、値札２（陳列位置：３－２）、値札３（陳列位置：３－３）、値札５（２－１）、値札４（２－２）に再計算したものとする。

【0092】

図４のフローに戻りステップＳ４１０～ステップＳ４１３が実行され、ユーザが値札７～値札１０に撮影部１５０を向けて、ステップＳ４０２～ステップＳ４１３が繰り返されることにより、陳列情報登録処理が進められる。値札１０に関するステップＳ４１２において、図８（Ｆ）に示す画面が表示された後、例えば、ユーザが操作部１１０を介して陳列登録の完了指示を入力したものとする。

【0093】

ステップＳ４１３において、完了指示を受信したと判定され（Ｓ４１３：ＹＥＳ）、処理はステップＳ４１４に進む。ステップＳ４１４において、クラスタリングによる陳列位置推定を行う。クラスタリングによる陳列位置推定処理について、図６を参照しながら詳細に説明する。本実施形態では、情報処理装置１００のクラスタリング部１３２は、検出した複数の値札をクラスタリングして、陳列位置を推定する。

【0094】

ステップＳ６０１において、クラスタリング部１３２は、検出された全ての値札のワールド座標を取得する。ここでは、クラスタリング部は、値札１～値札１０の計１０個の値札のワールド座標を取得したものとする。

【0095】

ステップＳ６０２において、クラスタリング部１３２は、既知の棚段数を取得する。ここでは、クラスタリング部１３２は、棚段数「４」を取得したものとする。

【0096】

ステップＳ６０３において、クラスタリング部１３２は、棚段数をクラスタ数として値札のワールド座標についてクラスタリングを行う。ここでは、１０個のワールド座標が４つのクラスタに分類されたものとする。

【0097】

ステップＳ６０４において、クラスタリング部１３２は、各クラスタを各棚段とみなして上下陳列位置を推定する。ここでは、クラスタリング部１３２は、クラスタ１（値札１０、値札９）を１段目、クラスタ２（値札６、値札７、値札８）を２段目、クラスタ３（値札５、値札４）を３段目、クラスタ４（値札１、値札２、値札３）を４段目と推定する。

【0098】

ステップＳ６０５において、クラスタリング部１３２は、同一の棚段に属する複数の値札の左右の相対位置に基づいて左右陳列位置を推定し、処理は図４のフローに戻る。

【0099】

ステップＳ４１５において、陳列マスタを更新する。本実施形態では、陳列情報登録部１３０は、クラスタリング部１３２の陳列位置推定の処理結果に基づいて、陳列マスタ２２０を更新する。

【0100】

なお、本実施形態では、棚特定部１２３が棚に付されているコード情報を読み取って棚を特定する例について説明したが、別の実施形態では、情報処理装置１００のユーザに棚の識別番号を入力させ、入力された棚の識別番号から棚を特定するようにしてもよい。

【0101】

なお、本実施形態では、図５において上下陳列位置を推定する処理について例示しているが、単なる一例にすぎず、情報処理装置１００は、値札のワールド座標と閾値とを用いて、他の任意のステップで上下陳列位置を推定することができる。例えば、棚に関連付けられた閾値に代えて所定の閾値を用いてもよいし、ワールド座標、閾値に加えて他の棚情報（棚の高さ）等を用いてもよい。

【0102】

また、本実施形態では、フェイス数推定部１２９がフェイス数を推定する例について説明したが、別の実施形態では、情報処理装置１００のユーザにフェイス数の入力を求めるようにしてもよい。

【0103】

また、本実施形態では、陳列登録完了後にクラスタリング部１３２が陳列位置を推定する例について説明したが、クラスタリング部１３２による陳列位置推定処理は任意の処理であり、本処理を省略してもよいし、例えば、閾値が未設定の場合や陳列位置推定部１２８による陳列位置の推定精度が悪い等、所定の条件下で実行するようにしてもよい。

【0104】

（陳列情報編集処理）
最後に、本発明の実施形態に係る情報処理装置の陳列情報編集処理を説明する。本実施形態では、陳列情報編集処理を行う前に、データベース２００の陳列マスタ２２０及び棚マスタ２３０に各種情報が保存されているものとする。なお、陳列情報編集処理は、例えば、情報処理装置１００のユーザが操作部１１０を介して陳列情報編集処理を実行するための指示を入力することで実行される。

【0105】

Ｓ１において、情報処理装置１００の編集部１３３は、編集部１３３は、棚の識別番号を受信する。ここでは、編集部１３３は、棚ＩＤ「００Ａ」を受信したものとする。Ｓ２において、受信した棚の識別番号に関連付けられた陳列マスタ２２０の陳列情報について、陳列位置を示す画面の出力を出力部１３１に依頼する。

【0106】

Ｓ３において、出力部１３１は、編集部１３３の依頼に基づいて陳列位置を示す画面を出力する。ここでは、図８（Ｆ）に示す画面が表示されたものとする。Ｓ４において、編集部１３３は、任意の陳列情報に対する編集指示を受信することに応答して、編集指示に基づいて陳列マスタ２２０を更新する。

【0107】

なお、本実施形態では、情報処理装置１００を用いてユーザが陳列情報編集処理を行う例について説明したが、別の実施形態では、データベース２００に接続可能な他の情報処理装置（図示せず）を用いて陳列情報編集処理を行ってもよい。

【0108】

以上、本実施形態によれば、情報処理装置１００は、任意の順序で検出した値札について陳列登録業務を行うことができる。任意の順序で撮影部１５０を値札に向けるだけで陳列情報を登録することができるので、陳列登録業務の作業負荷を軽減しながら、正確な情報を登録することができる。

【0109】

また、本実施形態では、検出された値札の情報が即座に表示部１７０に表示されるので、ユーザは陳列登録の処理結果を確認しながら、確実に陳列登録業務を進めていくことができる。

【0110】

さらに、本実施形態では、検出された値札のワールド座標と閾値とを用いて上下左右の陳列位置を推定することができるので、陳列範囲や棚に関する詳細な事前設定を要することなく、陳列情報を登録することができる。

【符号の説明】

【0111】

１００…情報処理装置、１１０…操作部、１２０…制御部、１２１…演算処理部、１２２…メモリ、１２３…棚特定部、１２４…空間認識部、１２５…値札認識部（検出部）、１２６…値札位置登録部（取得部、推定部）、１２７…商品特定部、１２８…陳列位置推定部（推定部）、１２９…フェイス数推定部、１３０…陳列情報登録部（出力部）、１３１…出力部、１３２…クラスタリング部、１３３…編集部、１４０…記憶部、１４１……学習済モデル、１５０…撮影部、１６０…通信部、１７０…表示部、１８０…センサ部、２００…データベース、２１０…商品マスタ、２２０…陳列マスタ、２３０…棚マスタ、Ｎ…ネットワーク

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】