特開 2024-172654 移動体および撮像画像の取得方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024172654

(43)【公開日】2024-12-12

(54)【発明の名称】移動体および撮像画像の取得方法

(51)【国際特許分類】

   H04N 23/61 20230101AFI20241205BHJP

   G06Q 30/06 20230101ALI20241205BHJP

   H04N 7/18 20060101ALI20241205BHJP

   H04N 23/60 20230101ALI20241205BHJP

   H04N 23/695 20230101ALI20241205BHJP

【ＦＩ】

H04N23/61

G06Q30/06

H04N7/18 E

H04N23/60 300

H04N23/695

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2023090508

(22)【出願日】2023-05-31

(71)【出願人】

【識別番号】314012076

【氏名又は名称】パナソニックＩＰマネジメント株式会社

(74)【代理人】

【識別番号】110002000

【氏名又は名称】弁理士法人栄光事務所

(72)【発明者】

【氏名】牧 直史

(72)【発明者】

【氏名】児玉 宣貴

(72)【発明者】

【氏名】松尾 正治郎

(72)【発明者】

【氏名】松本 宏之

【テーマコード（参考）】

5C054

5C122

5L030

5L049

【Ｆターム（参考）】

5C054CA04

5C054CC02

5C054CF06

5C054CF07

5C054CG03

5C054FC12

5C054FC15

5C054HA05

5C054HA19

5C122DA27

5C122FH11

5C122GA34

5C122GC52

5C122GD06

5C122GD11

5C122HB01

5L030BB72

5L049BB72

(57)【要約】

【課題】商品の陳列状態の監視を支援可能な撮像画像を取得する。
【解決手段】移動体は、レール上を移動する移動体であって、レール上で移動体を移動させる駆動部と、商品が陳列される商品陳列部を撮像するカメラと、カメラにより撮像された撮像画像から商品陳列部と、商品陳列部と対向する棚板とをそれぞれ検出する検出部と、商品陳列部と棚板とが検出された撮像画像を出力する出力部と、を備える。
【選択図】図４

【特許請求の範囲】

【請求項1】

レール上を移動する移動体であって、
前記レール上で前記移動体を移動させる駆動部と、
商品が陳列される商品陳列部を撮像するカメラと、
前記カメラにより撮像された撮像画像から前記商品陳列部と、前記商品陳列部に対向する棚板とをそれぞれ検出する検出部と、
前記商品陳列部と前記棚板とが検出された撮像画像を出力する出力部と、を備える、
移動体。

【請求項2】

前記検出部は、前記商品陳列部の前面をさらに検出し、前記商品陳列部の前面が前記カメラの画角の下端で撮像されているか否かをさらに判定し、
前記出力部は、前記商品陳列部の前面が前記画角の下端で撮像されていると判定された撮像画像を出力する、
請求項１に記載の移動体。

【請求項3】

前記商品陳列部および前記棚板が検出された第１撮像位置を、前記商品陳列部ごとに記録する記録部、をさらに備える、
請求項１に記載の移動体。

【請求項4】

前記カメラは、チルト回転可能であって、
前記検出部は、前記商品陳列部と前記棚板とが検出された第１撮像位置よりも高い第２撮像位置において、前記商品陳列部と前記棚板とを撮像可能な前記カメラのチルト角度を算出し、
前記駆動部は、前記第２撮像位置に前記移動体を移動させて、前記カメラを前記チルト角度に調整し、
前記カメラは、前記チルト角度で前記商品陳列部を撮像し、
前記出力部は、撮像された撮像画像を出力する、
請求項１に記載の移動体。

【請求項5】

前記検出部は、前記撮像画像に基づいて、前記商品陳列部の板厚と、前記商品陳列部と前記棚板との間の陳列高さとを算出し、前記板厚と前記陳列高さとに基づいて、前記第２撮像位置を決定する、
請求項４に記載の移動体。

【請求項6】

前記第２撮像位置と前記チルト角度とを対応づけて前記商品陳列部ごとに記録する記録部、をさらに備える、
請求項４に記載の移動体。

【請求項7】

レール上を移動する移動体が行う撮像画像の取得方法であって、
前記レール上で前記移動体を移動させて、商品が陳列される商品陳列部を撮像し、
撮像された撮像画像から前記商品陳列部と、前記商品陳列部と対向する棚板とをそれぞれ検出し、
前記商品陳列部と前記棚板とが検出された撮像画像を出力する、
撮像画像の取得方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、移動体および撮像画像の取得方法に関する。

【背景技術】

【0002】

特許文献１には、商品配置エリア内の商品が欠品状態にあるかを判断する商品管理サーバーが開示されている。商品管理サーバーは、撮像手段により撮像された商品配置エリアの画像および商品配置エリアに陳列される商品の種類に基づいて、商品パラメータおよび配置エリアが欠品状態か否かの基準となる欠品閾値を記憶し、画像に含まれる商品配置エリアの大きさと商品パラメータから商品の欠品率を算出し、欠品閾値と比較することで商品配置エリア内の商品が欠品状態であるかを判断する。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２２－１３９４１３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、上述した商品管理サーバーの撮像部は、予め決まった商品配置エリアを撮像可能に設置されており、例えば撮像部が移動して複数の商品配置エリアのそれぞれの撮像を想定したものではなかった。

【0005】

本開示は、上述した従来の事情に鑑みて案出され、商品の陳列状態の監視を支援可能な撮像画像を取得する移動体および撮像画像の取得方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

本開示は、レール上を移動する移動体であって、前記レール上で前記移動体を移動させる駆動部と、商品が陳列される商品陳列部を撮像するカメラと、前記カメラにより撮像された撮像画像から前記商品陳列部と、前記商品陳列部と対向する棚板とをそれぞれ検出する検出部と、前記商品陳列部と前記棚板とが検出された撮像画像を出力する出力部と、を備える、移動体を提供する。

【0007】

また、本開示は、レール上を移動する移動体が行う撮像画像の取得方法であって、前記レール上で前記移動体を移動させて、商品が陳列される商品陳列部を撮像し、撮像された撮像画像から前記商品陳列部と、前記商品陳列部と対向する棚板とをそれぞれ検出し、前記商品陳列部と前記棚板とが検出された撮像画像を出力する、撮像画像の取得方法を提供する。

【発明の効果】

【0008】

本開示によれば、商品の陳列状態の監視を支援可能な撮像画像を取得できる。

【図面の簡単な説明】

【0009】

【図1】実施の形態に係る棚前移動ロボットシステムのユースケース例を示す図

【図2】移動ロボットの一例を示す外観図

【図3】実施の形態に係る移動ロボットの内部構成例を示すブロック図

【図4】実施の形態に係る移動ロボットの動作手順例を示すフローチャート

【図5】実施の形態に係る移動ロボットの動作手順例を示すフローチャート

【図6】移動ロボットの撮像位置の一例を説明する図

【図7】第１の撮像方法による撮像処理の一例を示す図

【図8】第２の撮像方法による撮像処理の一例を示す図

【図9】第２の撮像方法による撮像処理の一例を示す図

【発明を実施するための形態】

【0010】

以下、適宜図面を参照しながら、本開示に係る移動体および撮像画像の取得方法を具体的に開示した各実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。

【0011】

なお、以降の説明において、Ｚ方向を上下方向あるいは垂直方向、Ｙ方向を水平方向、Ｘ方向を前後方向と称することがある。

【0012】

まず、図１を参照して、実施の形態に係る棚前移動ロボットシステム１００の全体構成と、移動ロボットＲＢの外観について説明する。図１は、実施の形態に係る棚前移動ロボットシステム１００のユースケース例を示す図である。

【0013】

実施の形態に係る棚前移動ロボットシステム１００は、レールＲＬ（図６参照）と、移動ロボットＲＢ（移動体の一例，図２参照）と、を含んで構成される。棚前移動ロボットシステム１００は、撮像対象である商品棚ＳＨ２と対向配置された商品棚ＳＨ１に設置されたレールＲＬ上を、カメラＣＭを有する移動ロボットＲＢが移動する。棚前移動ロボットシステム１００は、レールＲＬ上の複数の撮像位置Ｐ１１，Ｐ１２，Ｐ１３，…，Ｐ１ｎ，Ｐ２１，Ｐ２２，Ｐ２３，…，Ｐ２ｎ，Ｐ３１，Ｐ３２，Ｐ３３，…，Ｐ３ｎ，Ｐｍ１，Ｐｍ２，Ｐｍ３，…，Ｐｍｎのそれぞれで商品棚ＳＨ２が有する複数の商品陳列部のそれぞれを撮像し、撮像された撮像画像を外部端末（不図示）に送信する。棚前移動ロボットシステム１００は、撮像された撮像画像を外部端末に送信することで、商品あるいは商品の在庫管理を行う管理者による商品管理を支援する。なお、変数「ｍ」，「ｎ」は、１以上の整数である。

【0014】

なお、ここでいう外部端末は、移動ロボットＲＢとの間で無線通信可能に接続され、カメラＣＭにより撮像された撮像画像を表示可能な端末である。外部端末は、例えば、各商品棚の商品を管理する人物により管理されるＰｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ（以降、「ＰＣ」と称する）、ノートＰＣ、タブレット端末あるいはスマートフォン等により実現される。

【0015】

なお、図１に示す棚前移動ロボットシステム１００は、一例として商品棚ＳＨ１に設けられる例を示すが、これに限定されず、例えば壁、天井等に設置されてもよい。

【0016】

図６に示すように、レールＲＬは、少なくとも１本の水平レールと、少なくとも１本の垂直レールと、少なくとも１つの交点レールと、少なくとも１つの第１電極ＰＷと、を含む。

【0017】

なお、図６に示すレールＲＬは、（ｍ－１）本の水平レールＨＲＬ１，ＨＲＬ２，ＨＲＬ３，…，ＨＲＬ（ｍ－１）のそれぞれと、ｍ本の垂直レールＶＲＬ１，ＶＲＬ２，ＶＲＬ３，…，ＶＲＬｍのそれぞれと、ｍ個の交点レールＰＴＬ１，ＰＴＬ２，ＰＴＬ３，…，ＰＴＬｍと、１つの第１電極ＰＷとを含む例について説明する。

【0018】

各種レール（水平レールＨＲＬ１～ＨＲＬ（ｍ－１）のそれぞれ、垂直レールＶＲＬ１～ＶＲＬｍのそれぞれ、および交点レールＰＴＬ１～ＰＴＬｍのそれぞれ）は、所謂カーテンレール等の汎用的なレールを切断，加工することで製造されてもよいし、他の金属板を切断，加工することで製造されてもよい。

【0019】

水平レールＨＲＬ１～ＨＲＬ（ｍ－１）のそれぞれは、１枚の金属板の両端部がそれぞれ略Ｌ字状に折り加工されて形成される。水平レールＨＲＬ１～ＨＲＬ（ｍ－１）のそれぞれは、折り加工された両端部により形成される内部空間を有し、この内部空間に移動ロボットＲＢの摺動部（不図示）を摺動可能に収容することで、移動ロボットＲＢの移動を実現可能にする。

【0020】

垂直レールＶＲＬ１～ＶＲＬｍのそれぞれは、１枚の金属板の両端部がそれぞれ略Ｌ字状に折り加工されて形成される。垂直レールＶＲＬ１～ＶＲＬｍのそれぞれは、折り加工された両端部により形成される内部空間を有し、この内部空間に移動ロボットＲＢの摺動部（不図示）を摺動可能に収容することで、移動ロボットＲＢの移動を実現可能にする。

【0021】

交点レールＰＴＬ１～ＰＴＬｍのそれぞれは、１枚の金属板の両端部がそれぞれ略Ｌ字状に折り加工されて形成される。交点レールＰＴＬ１～ＰＴＬｍのそれぞれは、折り加工された両端部により形成される内部空間を有し、この内部空間に移動ロボットＲＢの摺動部（不図示）を摺動可能に収容することで、移動ロボットＲＢの移動を実現可能にする。

【0022】

また、交点レールＰＴＬ１～ＰＴＬｍのそれぞれは、移動ロボットＲＢの摺動部（不図示）の回転により回動され、移動ロボットＲＢの移動先である水平レールまたは垂直レールのいずれか一方に接続される。これにより、交点レールＰＴＬ１～ＰＴＬｍのそれぞれは、連続する２本の水平レール（例えば、水平レールＨＲＬ１，ＨＲＬ２等）の間、または隣り合う垂直レール（例えば、垂直レールＶＲＬ２等）と水平レール（例えば、水平レールＨＲＬ１，ＨＲＬ２等）との間で移動ロボットＲＢを移動可能にする。

【0023】

第１電極ＰＷは、いずれかの水平レールに設けられ、移動ロボットＲＢの電池１１Ａに充電される電力を供給する。なお、第１電極ＰＷは、水平レールに限定されず、いずれかの垂直レールに設けられてもよい。

【0024】

図２および図３のそれぞれを参照して、移動ロボットＲＢについて説明する。図２は、移動ロボットＲＢの一例を示す外観図である。図３は、実施の形態に係る移動ロボットＲＢの内部構成例を示すブロック図である。なお、図２に示す移動ロボットＲＢの外観および持３に示す内部構成は、一例であってこれに限定されないことは言うまでもない。

【0025】

移動ロボットＲＢは、事前に設定された移動経路に基づいて、第１モータＭＴ１の駆動によって水平レールＨＲＬ１～ＨＲＬ（ｍ－１）のそれぞれ、垂直レールＶＲＬ１～ＶＲＬｍのそれぞれ、および交点レールＰＴＬ１～ＰＴＬｍのそれぞれに沿って移動する。

【0026】

移動ロボットＲＢは、交点レール上で第２モータＭＴ２を駆動させて交点レールを回転させる。移動ロボットＲＢは、交点レールを回転させることで交点レールの接続先を水平レールと垂直レールとの間で切り替え、切り替えにより接続された水平レールまたは垂直レールへの移動を実現する。

【0027】

移動ロボットＲＢは、筐体の開口に配置されたカメラＣＭにより、商品棚ＳＨ２が有する複数の商品陳列部ＳＨ２１，ＳＨ２２，ＳＨ２３，…，ＳＨ２ｎのそれぞれを第１の撮像方法または第２の撮像方法で撮像し、撮像された撮像画像を外部端末（不図示）に送信する。

【0028】

なお、ここでいう第１の撮像方法は、カメラＣＭをチルト回転させず、決まった角度から各商品陳列部ＳＨ２１～ＳＨ２ｎを撮像する方法である。本開示では、カメラＣＭの光軸ＯＡと、商品陳列部ＳＨ２１～ＳＨ２ｎの表面とが略水平になる角度で各商品陳列部ＳＨ２１～ＳＨ２ｎを撮像する例について説明する。このような場合、移動ロボットＲＢは、後述する第３モータＭＴ３および第３モータエンコーダＥＮＣ３のそれぞれが省略されてよい。また、ここでいう第２の撮像方法は、カメラＣＭをチルト回転させて各商品陳列部ＳＨ２１～ＳＨ２ｎを撮像する方法である。

【0029】

移動ロボットＲＢは、無線通信部１０と、アンテナＡｎｔと、電池１１Ａと，電源電圧変換部１１Ｂと、メモリ１２と、制御部２０と、カメラＣＭと、レール交点検出用端子ＰＧと、第１モータＭＴ１と、第１モータエンコーダＥＮＣ１と、第２モータＭＴ２と、第２モータエンコーダＥＮＣ２と、第３モータＭＴ３と、第３モータエンコーダＥＮＣ３とを含む。

【0030】

移動ロボットＲＢは、無線通信部１０と、アンテナＡｎｔと、制御部２０と、メモリ１２と、カメラＣＭと、レール交点検出用端子ＰＧと、エンコーダ１５と、第１モータＭＴ１と、第２モータＭＴ２と、電源部１６と、を含む。

【0031】

無線通信部１０は、外部端末（不図示）との間で無線通信によるデータの送受信を実行する。なお、無線通信部１０は、ルータ（不図示）等を介して、外部端末との間でデータの送受信を実行してもよい。無線通信部１０は、外部端末から送信された電気信号（制御指令）を制御部２０に出力する。また、無線通信部１０は、制御部２０から出力された撮像画像を外部端末に送信する。

【0032】

アンテナＡｎｔは、無線通信部１０から出力された電気信号を電波に変換して送信可能なアンテナである。また、アンテナＡｎｔは、例えば外部端末（不図示）から送信された信号を受信可能である。

【0033】

メモリ１２は、例えば制御部２０の動作を規定したプログラムおよびデータを格納するＲｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ（以降、「ＲＯＭ」と称する）１２Ａと、制御部２０の各処理を実行する際に用いられるワークメモリとしてのＲａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（以降、「ＲＡＭ」と称する）１２Ｂとを有する。ＲＯＭ１２Ａには、制御部２０の動作を規定するプログラムが書き込まれている。ＲＡＭ１２Ｂには、制御部２０により生成あるいは取得されたデータもしくは情報が一時的に保存される。

【0034】

メモリ１２は、充電位置である初期位置Ａ０の位置情報、各商品陳列部を撮像するための撮像位置Ｐ１１～Ｐｍｎの位置情報、すべての撮像位置Ｐ１１～Ｐｍｎをそれぞれ撮像するための移動経路（撮像順番）の情報等を記憶してもよい。また、メモリ１２は、カメラＣＭと商品棚ＳＨ２との間の棚間距離Ｆ、および商品陳列部の奥行き方向の長さである棚奥行Ｅ等の情報が予め記録されていてもよい。

【0035】

制御部２０（検出部および出力部の一例）は、例えばＣｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（ＣＰＵ）、Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ（ＤＳＰ）またはＦｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ（ＦＰＧＡ）を用いて構成され、制御部２０の各部の動作を制御する。制御部２０は、電池１１Ａに蓄電された電力を供給され、メモリ１２と協働して、各種の処理および制御を統括的に行う。具体的には、制御部２０は、メモリ１２に保持されたプログラムおよびデータを参照し、そのプログラムを実行することにより、制御部２０の各部の機能を実現する。

【0036】

ここでいう各部は、カメラ制御部２１、レール交点検出部２２、第１モータ制御部２３Ａ、第１パルス信号カウント部２３Ｂ、第２モータ制御部２４Ａ、第２パルス信号カウント部２４Ｂ、第３モータ制御部２５Ａ、第３パルス信号カウント部２５Ｂ、移動距離算出部２６、チルト角度算出部２７等である。なお、第３モータ制御部２５Ａ、第３パルス信号カウント部２５Ｂ、およびチルト角度算出部２７のそれぞれは、必須でなく、例えば第１の撮像方法を実行する移動ロボットＲＢである場合には省略されてよい。

【0037】

制御部２０は、カメラＣＭをチルト回転させずに撮像する第１の撮像方法、またはカメラＣＭをチルト回転させて撮像する第２の撮像方法により商品陳列部ＳＨ２１～ＳＨ２ｎのそれぞれを撮像する。なお、第１の撮像方法または第２の撮像方法は、事前に管理者等により任意に設定可能であってよい。

【0038】

カメラ制御部２１は、第２パルス信号カウント部２４Ｂから出力された制御指令に基づいて、カメラＣＭに撮像処理を実行させる。カメラ制御部２１は、カメラＣＭから出力された撮像画像を制御部２０に出力したり、無線通信部１０に出力して、外部端末に送信させたりする。

【0039】

レール交点検出部２２は、レール交点検出用端子ＰＧから出力された信号レベルを検出する。レール交点検出部２２は、検出された信号レベルの情報を移動距離算出部２６あるいは第２モータ制御部２４Ａに出力する。

【0040】

第１モータ制御部２３Ａ（駆動部の一例）は、ＲＯＭ１２Ａに格納されたプログラムに基づき、第１モータＭＴ１の回転駆動制御を実行し、移動ロボットＲＢをレールＲＬ上で移動させる。

【0041】

第１パルス信号カウント部２３Ｂは、第１モータＭＴ１の回転角度（回転量）を検出可能な第１モータエンコーダＥＮＣ１から出力されたパルス信号を取得する。第１パルス信号カウント部２３Ｂは、取得されたパルス信号の信号数の情報を移動距離算出部２６に出力する。

【0042】

第２モータ制御部２４Ａ（駆動部の一例）は、ＲＯＭ１２Ａに格納されたプログラムに基づき、第２モータＭＴ２の回転駆動制御を実行し、交点レールＰＴＬ１～ＰＴＬｍのそれぞれの接続先を切り替える。

【0043】

第２パルス信号カウント部２４Ｂは、第２モータＭＴ２の回転角度（回転量）を検出可能な第２モータエンコーダＥＮＣ２から出力されたパルス信号を取得する。第２パルス信号カウント部２４Ｂは、取得されたパルス信号の信号数に基づいて、対応する交点レールの回転角度（回転量）を算出し、算出された回転角度に基づく交点レールの接続先の切り替え完了と、パルス信号の有無に基づく第２モータＭＴ２の回転停止とを検出する。

【0044】

第３モータ制御部２５Ａ（駆動部の一例）は、ＲＯＭ１２Ａに格納されたプログラムに基づき、第３モータＭＴ３の回転駆動制御を実行し、カメラＣＭのチルト角度を調整する。

【0045】

第３パルス信号カウント部２５Ｂは、第３モータＭＴ３の回転角度（回転量）を検出可能な第３モータエンコーダＥＮＣ３から出力されたパルス信号を取得する。第３パルス信号カウント部２５Ｂは、取得されたパルス信号の信号数の情報をチルト角度算出部２７に出力する。

【0046】

移動距離算出部２６は、レール交点検出部２２から出力された信号レベルの情報、あるいは第１パルス信号カウント部２３Ｂから出力されたパルス信号の信号数の情報を取得する。

【0047】

移動距離算出部２６は、取得された信号レベルの情報に基づいて、移動ロボットＲＢの現在位置が交点レール上であるか否かを判定する。また、移動距離算出部２６は、取得されたパルス信号の信号数に基づいて、移動ロボットＲＢの移動距離を算出する。移動距離算出部２６は、算出された移動距離に基づいて、移動ロボットＲＢの現在位置を算出する。移動距離算出部２６は、算出された移動ロボットＲＢの移動距離または現在位置の情報を制御部２０に出力する。

【0048】

チルト角度算出部２７は、第３パルス信号カウント部２５Ｂから出力されたパルス信号の信号数の情報に基づいて、商品陳列部を撮像するカメラＣＭのチルト角度を算出する。チルト角度算出部２７は、算出されたチルト角度の情報を制御部２０に出力する。

【0049】

カメラＣＭは、少なくともイメージセンサ（不図示）とレンズＣＭＡとを有して構成される。イメージセンサは、例えばＣｈａｒｇｅｄ－Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ（ＣＣＤ）またはＣｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ（ＣＭＯＳ）の固体撮像素子であり、撮像面に結像した光学像を電気信号に変換する。カメラＣＭは、カメラ制御部２１から出力された制御指令に基づいて、撮像処理を実行し、撮像された撮像画像を制御部２０に出力する。

【0050】

レール交点検出用端子ＰＧは、交点レールＰＴＬ１～ＰＴＬｍのそれぞれに設けられた少なくとも１つの電極（不図示）を検出するための接触式センサである。

【0051】

第１モータＭＴ１は、第１モータ制御部２３Ａにより制御されて、移動ロボットＲＢの水平方向または垂直方向への移動を実現する。

【0052】

第１モータエンコーダＥＮＣ１は、第１モータＭＴ１の回転角度に対応する数のパルス信号を生成し、第１パルス信号カウント部２３Ｂに出力する。

【0053】

第２モータＭＴ２は、第２モータ制御部２４Ａにより制御されて、交点レールＰＴＬ１～ＰＴＬｍの回転、つまり、交点レールＰＴＬ１～ＰＴＬｍの接続先、つまり、移動ロボットＲＢの移動先であるレールを水平レールＨＲＬ１～ＨＲＬ（ｍ－１）と、垂直レールＶＲＬ１～ＶＲＬｍとの間で切り替える。

【0054】

第２モータエンコーダＥＮＣ２は、第２モータＭＴ２の回転角度に対応する数のパルス信号を生成し、第２パルス信号カウント部２４Ｂに出力する。

【0055】

第３モータＭＴ３は、第３モータ制御部２５Ａにより制御されて、チルト軸ＴＬ０（図１，図９参照）を回転中心としてカメラＣＭのチルト回転を実現する。

【0056】

第３モータエンコーダＥＮＣ３は、第３モータＭＴ３の回転角度に対応する数のパルス信号を生成し、第３パルス信号カウント部２５Ｂに出力する。

【0057】

次に、図４～図６のそれぞれを参照して、移動ロボットＲＢの撮像処理例について説明する。図４および図５は、実施の形態に係る移動ロボットＲＢの動作手順例を示すフローチャートである。図６は、移動ロボットＲＢの撮像位置の一例を説明する図である。

【0058】

ここでは、移動ロボットＲＢが初期位置Ａ０から移動し、ｍ本の垂直レールＶＲＬ１～ＶＲＬｍ上の各撮像位置（撮像位置Ｐ１１～Ｐｍｎまたは撮像位置Ｐ１１´～Ｐｍｎ´）から各商品陳列部を撮像する例について説明する。なお、図６に示す各撮像位置Ｐ１１～Ｐｍｎ，Ｐ１１´～Ｐｍｎ´は一例であって、これに限定されないことは言うまでもない。また、図６の説明では、第１の撮像方法による撮像位置と、第２の撮像方法による撮像位置との違いを分かりやすくするために、第１の撮像方法による撮像位置を符号「Ｐ１１」～「Ｐｎｍ」、第２の撮像方法による撮像位置を符号「Ｐ１１´」～「Ｐｍｎ´」で便宜的に示す。

【0059】

例えば、移動ロボットＲＢは、垂直レールＶＲＬ１上においてｎ個の商品陳列部のそれぞれをｎ箇所の撮像位置Ｐ１１～Ｐ１ｎまたは撮像位置Ｐ１１´～Ｐ１ｎ´から撮像し、垂直レールＶＲＬ２上においてｎ個の商品陳列部のそれぞれをｎ箇所の撮像位置Ｐ２１～Ｐ２ｎまたは撮像位置Ｐ２１´～Ｐ２ｎ´から撮像し、垂直レールＶＲＬ３上においてｎ個の商品陳列部のそれぞれをｎ箇所の撮像位置Ｐ３１～Ｐ３ｎまたは撮像位置Ｐ３１´～Ｐ３ｎ´を撮像し、垂直レールＶＲＬｍ上においてｎ個の商品陳列部のそれぞれをｎ箇所の撮像位置Ｐｍ１～Ｐｍｎまたは撮像位置Ｐｍ１´～Ｐｍｎ´から撮像する。なお、商品陳列部の数および位置と、撮像位置および撮像位置の数とは、垂直レールごとに異なってよいことは言うまでもない。

【0060】

制御部２０は、外部端末から送信された制御指令に基づいて、後述するステップＳｔ１７またはステップＳｔ１８で制御部２０により修正され、メモリ１２に記録された各撮像位置Ｐ１１～Ｐｍｎ，Ｐ１１´～Ｐｍｎ´の情報をリセット（削除）する。制御部２０は、撮像位置情報をリセット（削除）した後、移動ロボットＲＢの移動先を最初の商品陳列部を撮像するための撮像位置Ｐ１１（ｘ，ｙ）＝（１，１）および値Ｗ＝０（ゼロ）に設定する（Ｓｔ１１）。

【0061】

ここで、撮像位置Ｐｘｙ（ｘ，ｙ）は、商品棚ＳＨ２が有する各商品陳列部のそれぞれを撮像するための位置情報を示す。値Ｗは、「Ｗ＝０（ゼロ）」の場合、ステップＳｔ１７またはステップＳｔ１８で制御部２０により修正された撮像位置がメモリ１２に記録済みでないことを示し、「Ｗ＝１」の場合にはステップＳｔ１７またはステップＳｔ１８で制御部２０により修正された撮像位置がメモリ１２に記録済みであることを示す。

【0062】

制御部２０は、外部端末から送信された制御指令に基づいて、１番目の撮像位置Ｐ１１（１，１）への移動開始のトリガの入力があるか否かを判定する（Ｓｔ１２）。

【0063】

制御部２０は、ステップＳｔ１２の処理において、１番目の撮像位置Ｐ１１（ｘ，ｙ）＝（１，１）への移動開始のトリガの入力があると判定した場合（Ｓｔ１２，ＹＥＳ）、第１モータ制御部２３Ａにより第１モータＭＴ１を駆動させて、交点レール位置Ａ１への移動を開始する。制御部２０は、レール交点検出部２２により交点レール位置Ａ１が検出された場合、第２モータ制御部２４Ａにより第２モータＭＴ２を駆動させて、交点レール位置Ａ１の接続先を水平レールＨＲＬ１から垂直レールＶＲＬ１に切り替える（Ｓｔ１３）。

【0064】

一方、制御部２０は、ステップＳｔ１２の処理において、１番目の撮像位置Ｐ１１（１，１）への移動開始のトリガの入力がないと判定した場合（Ｓｔ１２，ＮＯ）、ステップＳｔ１２の処理に戻る。

【0065】

＜第１の撮像方法＞
まず、第１の撮像方法により商品陳列部ＳＨ２１を撮像する場合の撮像手順例（ステップＳｔ１４～ステップＳｔ２１Ａ）について説明する。なお、図４～図５に示す移動ロボットＲＢの動作手順において、第１の撮像方法で撮像する場合、移動ロボットＲＢは、ステップＴＬに示すチルト角度調整処理を省略する。

【0066】

制御部２０は、現在の値Ｗが「Ｗ＝０（ゼロ）」であるか否かを判定する（Ｓｔ１４）。

【0067】

制御部２０は、ステップＳｔ１４の処理において、現在の値Ｗが「Ｗ＝０（ゼロ）」であると判定した場合（Ｓｔ１４，ＹＥＳ）、撮像を開始させる制御指令を生成して、カメラＣＭに出力する。制御部２０は、第１モータ制御部２３Ａにより第１モータＭＴ１を駆動させて、撮像位置Ｐ１１（１，１）への移動を開始し、撮像位置Ｐ１１（１，１）に向かって移動しながら、カメラＣＭから出力された撮像画像のそれぞれを順次取得する（Ｓｔ１６）。

【0068】

制御部２０は、取得された撮像画像のそれぞれを順次画像処理して、商品陳列部ＳＨ２１の上下方向に位置する棚板前面ＳＨ２０Ａ，ＳＨ２１Ａをそれぞれ検出する。具体的に、制御部２０は、撮像画像から商品陳列部ＳＨ２１の上端を示す棚板ＳＨ２０の棚板前面ＳＨ２０Ａ（棚板の一例）を検出した状態で、かつ、商品陳列部ＳＨ２１の下端を示す棚板前面ＳＨ２１Ａ（商品陳列部の前面の一例）を検出したか否かを判定する。制御部２０は、移動距離算出部２６から棚板前面ＳＨ２０Ａ，ＳＨ２１Ａのそれぞれが検出されたタイミングにおける移動ロボットＲＢの位置情報を取得する。制御部２０は、取得された移動ロボットＲＢの位置情報と、商品陳列部ＳＨ２１の識別情報とを対応付けて、撮像位置Ｐ１１に対応する商品陳列部の撮像位置情報としてメモリ１２に記録させる（Ｓｔ１７）。これにより、制御部２０は、再度撮像位置がリセットされるまでの間、商品陳列部ＳＨ２１の撮像位置Ｐ１１をステップＳｔ１７で取得された移動ロボットＲＢの位置情報に変更（修正）する。

【0069】

制御部２０は、ステップＳｔ１７で記録した撮像位置Ｐ１１の位置で撮像された撮像画像を取得する（Ｓｔ２１Ａ）。制御部２０は、撮像された撮像画像と、商品陳列部ＳＨ２１を識別可能な識別情報（例えば、各商品陳列部に割りてられた番号、ＩＤ等）とを対応付けて無線通信部１０に出力し、外部端末に送信させる（Ｓｔ２２）。

【0070】

なお、本開示では、移動ロボットＲＢは、上下方向（Ｚ方向）において下方向に下降しながら各撮像位置Ｐ１１～Ｐｍｎを撮像する。よって、制御部２０は、撮像画像から商品陳列部ＳＨ２１の上端を示す棚板前面ＳＨ２０Ａを検出した状態で、かつ、下端を示す棚板前面ＳＨ２１Ａを検出したか否かを判定するが、逆であってもよい。

【0071】

一方、制御部２０は、ステップＳｔ１４の処理において、現在の値Ｗが「Ｗ＝０（ゼロ）」でないと判定した場合（Ｓｔ１４，ＮＯ）、メモリ１２に記録された撮像位置Ｐ１１の撮像位置情報を取得する。制御部２０は、第１モータ制御部２３Ａにより第１モータＭＴ１を駆動させて、取得された撮像位置Ｐ１１の撮像位置情報が示す撮像位置まで移動した後（Ｓｔ１５）、撮像を要求する制御指令を生成して、カメラＣＭに出力する。カメラＣＭは、商品陳列部ＳＨ２１（図７または図９参照）を撮像する（Ｓｔ２１Ａ）。制御部２０は、カメラＣＭから出力された撮像画像と、商品陳列部ＳＨ２１の識別情報とを対応付けて無線通信部１０に出力し、外部端末に送信させる（Ｓｔ２２）。

【0072】

＜第２の撮像方法＞
次に、第２の撮像方法により商品陳列部ＳＨ２１を撮像する場合の撮像手順例（ステップＳｔ１４～ステップＳｔ２１Ａ）について説明する。なお、ステップＳｔ１４～ステップＳｔ１７の処理はそれぞれ同様であるため、説明を省略する。

【0073】

制御部２０は、商品陳列部ＳＨ２１の棚板前面ＳＨ２０Ａ，ＳＨ２１Ａのそれぞれが検出されたタイミングで撮像された撮像画像に基づいて、棚板前面ＳＨ２０Ａと棚板前面ＳＨ２１Ａとの間の陳列高さＤと、棚板前面ＳＨ２１Ａの表面（つまり、商品陳列部ＳＨ２１の表面）を基準とするカメラＣＭの光軸高さＨと、棚板前面ＳＨ２１Ａの板厚Ｇとを推定する。制御部２０は、推定された陳列高さＤと、光軸高さＨと、板厚Ｇと、棚奥行Ｅと、棚間距離Ｆと、に基づいて、商品陳列部ＳＨ２１を撮像するための撮像位置の修正値Ｊ（図９参照）と、修正された撮像位置におけるカメラＣＭのチルト角度θ（図９参照）とを算出する（Ｓｔ１８）。制御部２０は、修正値Ｊに基づいて修正された撮像位置Ｐ１１´（１，１）の位置情報と、チルト角度θの情報と、商品陳列部ＳＨ２１の識別情報とを対応付けて、撮像位置Ｐ１１の撮像位置情報としてメモリ１２に記録する（Ｓｔ１８）。これにより、制御部２０は、再度撮像位置がリセットされるまでの間、商品陳列部ＳＨ２１の撮像位置Ｐ１１をステップＳｔ１８で取得された撮像位置Ｐ１１´に変更（修正）する。

【0074】

制御部２０は、第１モータ制御部２３Ａにより第１モータＭＴ１を駆動させて、修正後の撮像位置Ｐ１１´の位置に移動する（Ｓｔ１９）。制御部２０は、第３モータ制御部２５Ａにより第３モータＭＴ３を駆動させて、カメラＣＭを算出されたチルト角度まで回転させる（Ｓｔ２０）。制御部２０は、カメラＣＭのチルト角度調整後に撮像を要求する制御指令を生成してカメラＣＭに出力し、カメラＣＭにより撮像された撮像画像を取得する（Ｓｔ２１Ｂ）。制御部２０は、撮像された撮像画像と、商品陳列部ＳＨ２１の識別情報とを対応付けて無線通信部１０に出力し、外部端末に送信させる（Ｓｔ２２）。

【0075】

一方、制御部２０は、ステップＳｔ１４の処理において、現在の値Ｗが「Ｗ＝０（ゼロ）」でないと判定した場合（Ｓｔ１４，ＮＯ）、メモリ１２に記録された撮像位置Ｐ１１の撮像位置情報として、撮像位置Ｐ１１（１，１）の撮像位置情報およびチルト角度θの情報のそれぞれを取得する。制御部２０は、第１モータ制御部２３Ａにより第１モータＭＴ１を駆動させて、取得された撮像位置Ｐ１１（つまり、撮像位置Ｐ１１´）まで移動した後、第２モータ制御部２４Ａにより第２モータＭＴ２を駆動させて、カメラＣＭをチルト角度θまで回転させる。制御部２０は、撮像を要求する制御指令を生成して、チルト角度調整後にカメラＣＭに出力する。カメラＣＭは、商品陳列部ＳＨ２１（図７または図９参照）を撮像する（Ｓｔ２１Ｂ）。制御部２０は、カメラＣＭから出力された撮像画像と、商品陳列部ＳＨ２１の識別情報とを対応付けて無線通信部１０に出力し、外部端末に送信させる（Ｓｔ２２）。

【0076】

制御部２０は、撮像画像の送信が完了したか否かを判定する（Ｓｔ２３）。

【0077】

制御部２０は、ステップＳｔ２３の処理において、撮像画像の送信が完了したと判定した場合（Ｓｔ２３，ＹＥＳ）、現在の撮像位置Ｐｘｙ（ｘ，ｙ）の値ｙが「ｙ＝ｎ」であるか否か、つまり、現在撮像している１列（つまり、垂直レールＶＲＬ１～ＶＲＬｍ）で商品陳列部の撮像が完了したか否かを判定する（Ｓｔ２４）。具体的に、現在の撮像位置Ｐｘｙ（ｘ，ｙ）の値ｘが「ｘ＝１」である場合、制御部２０は、「ｘ＝１」に対応する垂直レールＶＲＬ１に設定されたすべての撮像位置Ｐ１１～Ｐ１ｎのそれぞれで撮像が完了したか否かを判定する。

【0078】

一方、制御部２０は、ステップＳｔ２３の処理において、撮像画像の送信が完了していないと判定した場合（Ｓｔ２３，ＮＯ）、ステップＳｔ２２の処理に戻る。

【0079】

制御部２０は、ステップＳｔ２４の処理において、現在の撮像位置Ｐｘｙにおいて「ｙ＝ｎ」であると判定した場合（Ｓｔ２４，ＹＥＳ）、次の移動先である交点レールを特定する値ｙを「ｙ＝１」に設定する（Ｓｔ２５）。

【0080】

一方、制御部２０は、ステップＳｔ２４の処理において、現在の撮像位置Ｐｘｙにおいて「ｙ＝ｎ」でないと判定した場合（Ｓｔ２４，ＮＯ）、値ｙをインクリメント（ｙ＋１）して次の撮像位置Ｐｘｙの設定を実行し（Ｓｔ２６）、ステップＳｔ１４の処理に戻って次の撮像位置Ｐｘｙの撮像を実行する。

【0081】

制御部２０は、次の移動先である交点レールを特定する値ｙを「ｙ＝１」に設定した後（Ｓｔ２５）、第１モータ制御部２３Ａにより第１モータＭＴ１を駆動させて、現在の値ｘに対応する交点レール位置Ａｘ（ｘ，１）に移動を開始する（Ｓｔ２７）。制御部２０は、レール交点検出部２２により交点レール位置Ａｘ（ｘ，１）が検出された場合、第２モータ制御部２４Ａにより第２モータＭＴ２を駆動させて、交点レールの接続先を垂直レールから水平レールに切り替える（Ｓｔ２８）。

【0082】

制御部２０は、現在の撮像位置Ｐｘｙの値ｘが「ｘ＝ｍ」であるか否か、つまり、レールＲＬが有するすべての垂直レールＶＲＬ１～ＶＲＬｍで商品陳列部の撮像が完了したか否かを判定する（Ｓｔ２９）。具体的に、制御部２０は、すべての撮像位置Ｐ１１～Ｐｍｎまたはすべての撮像位置Ｐ１１´～Ｐｍｎ´のそれぞれで撮像が完了したか否かを判定する。

【0083】

制御部２０は、ステップＳｔ２９の処理において、現在の撮像位置Ｐｘｙの値ｘが「ｘ＝ｍ」であると判定した場合（Ｓｔ２９，ＹＥＳ）、値ｘを「ｘ＝１」、かつ、値Ｗを「Ｗ＝１」にそれぞれ設定する（Ｓｔ３０）。

【0084】

一方、制御部２０は、ステップＳｔ２９の処理において、現在の撮像位置Ｐｘｙの値ｘが「ｘ＝ｍ」でないと判定した場合（Ｓｔ２９，ＮＯ）、値ｘをインクリメント（ｘ＋１）して次に撮像される垂直レールに移動するための交点レール位置Ａｘの設定を実行し（Ｓｔ３１）、ステップＳｔ１３の処理に戻って次の交点レール位置Ａｘへの移動を開始する。

【0085】

制御部２０は、第１モータ制御部２３Ａにより第１モータＭＴ１を駆動させて、現在の値ｘに対応する交点レール位置Ａ１（ｘ，１）に移動を開始する（Ｓｔ３２）。

【0086】

以上により、実施の形態における移動ロボットＲＢは、商品陳列部ＳＨ２１～ＳＨ２ｎのそれぞれの撮像に適した撮像位置の算出と、算出された商品陳列部ＳＨ２１～ＳＨ２ｎのそれぞれの撮像に適した位置で撮像された撮像画像の取得とを実現できる。これにより、移動ロボットＲＢは、管理者による複数の商品陳列部ＳＨ２１～ＳＨ２ｎのそれぞれにおける商品の欠品管理を支援できる。

【0087】

また、実施の形態における移動ロボットＲＢは、管理者が要望するタイミング、あるいは定期的に値Ｗをリセット、つまり、メモリ１２に記録された各商品陳列部ＳＨ２１～ＳＨ２ｎを撮像するための撮像位置情報を調整できる。これにより、移動ロボットＲＢは、商品棚ＳＨ２が有する商品陳列部のレイアウト変更がある場合であっても、変更後の商品陳列部のそれぞれに適した位置で撮像された撮像画像を取得できる。

【0088】

なお、商品陳列部の数の変更がある場合、移動ロボットＲＢは、外部端末による各垂直レールＶＲＬ１～ＶＲＬｍで撮像すべき商品陳列部の数（つまり、値ｎ）の入力を受け付けてよい。移動ロボットＲＢは、入力された商品陳列部の数（つまり、値ｎ）に基づいて、対応する垂直レールＶＲＬ１～ＶＲＬｍにおける少なくとも１つの商品陳列部の撮像位置の再算出と、再算出された撮像位置での撮像とを実行する。

【0089】

次に、図７を参照して、第１の撮像方法について説明する。図７は、第１の撮像方法による撮像処理の一例を示す図である。ここでは、商品陳列部ＳＨ２１を撮像する例について具体例を用いて説明し、他の商品陳列部については省略する。

【0090】

制御部２０は、ステップＳｔ１６の処理で、予め設定された撮像位置Ｐ１１（１，１）に向かって移動（降下）しながらカメラＣＭによる商品棚ＳＨ２の撮像を実行する。

【0091】

撮像画像ＩＭＧ１は、撮像位置Ｐ１１（１，１）の上方で撮像された撮像画像である。撮像画像ＩＭＧ１は、商品陳列部ＳＨ２１の上端である棚板ＳＨ２０のみがカメラＣＭの画角ＡＲ１内に含まれて撮像された撮像画像である。制御部２０は、撮像画像ＩＭＧ１から商品陳列部ＳＨ２１の下端である棚板前面ＳＨ２１Ａを検出しないと判定し、撮像位置Ｐ１１（１，１）に向かって下降しながら商品陳列部ＳＨ２１の撮像を継続する。

【0092】

撮像画像ＩＭＧ２は、撮像位置Ｐ１１（１，１）の近傍であって、撮像画像ＩＭＧ１が撮像された撮像位置よりも撮像位置Ｐ１１（１，１）に近い撮像位置で撮像された撮像画像である。また、撮像画像ＩＭＧ２は、棚板ＳＨ２０の棚板前面ＳＨ２０Ａと、棚板前面ＳＨ２１ＡとがカメラＣＭの画角ＡＲ１内に含まれて撮像された撮像画像である。制御部２０は、撮像画像ＩＭＧ２から棚板ＳＨ２０の棚板前面ＳＨ２０Ａと、棚板前面ＳＨ２１Ａとを検出したと判定し、現在の移動ロボットＲＢの位置を撮像位置Ｐ１１（１，１）の撮像位置情報としてメモリ１２に記録する。

【0093】

これにより、移動ロボットＲＢは、商品陳列部ＳＨ２１の全域が撮像された撮像画像ＩＭＧ２を取得できる。

【0094】

次に、図８および図９のそれぞれを参照して、第２の撮像方法について説明する。図８および図９は、第２の撮像方法による撮像処理の一例を示す図である。ここでは、商品陳列部ＳＨ２１を撮像する例について具体例を用いて説明し、他の商品陳列部については省略する。

【0095】

撮像画像ＩＭＧ３は、撮像位置Ｐ１１（１，１）で撮像された撮像画像であり、棚板ＳＨ２０の棚板前面ＳＨ２０Ａと、棚板前面ＳＨ２１ＡとがカメラＣＭの画角ＡＲ１内に含まれている。しかし、このような場合、カメラＣＭの光軸ＯＡと、商品陳列部ＳＨ２１とは略平行となるため、撮像画像ＩＭＧ３は、撮像画像ＩＭＧ３に占める紙面上下方向、つまり、商品陳列部ＳＨ２１の奥行方向（前後方向）における画素数Ｅ１がより少なく、商品陳列部ＳＨ２１の奥行方向（前後方向）における解像度が低下した画像となる。よって、撮像画像ＩＭＧ３を用いて商品の充填率または欠品率を推定する場合、推定可能な商品の充填率または欠品率の推定精度が低下しやすい。

【0096】

そこで、制御部２０は、撮像画像ＩＭＧ３から棚板前面ＳＨ２０Ａ，ＳＨ２１Ａのそれぞれを検出し、検出された棚板前面ＳＨ２０Ａと棚板前面ＳＨ２１Ａとの間の画素数に基づいて、商品陳列部ＳＨ２１の陳列高さＤと、棚板前面ＳＨ２１Ａの表面を基準とするカメラＣＭの光軸高さＨと、棚板前面ＳＨ２１Ａの板厚Ｇとをそれぞれ推定する。

【0097】

具体的に、制御部２０は、メモリ１２に記録された棚間距離Ｆと、カメラＣＭの画角ＡＲ１と、検出された棚板前面ＳＨ２０Ａと棚板前面ＳＨ２１Ａとの間の画素数に基づいて、商品陳列部ＳＨ２１の陳列高さＤを推定する。制御部２０は、撮像画像から検出された棚板前面ＳＨ２１Ａの画素数にもとづいて、板厚Ｇを推定する。

【0098】

ここで、棚板前面ＳＨ２１Ａの下面と、カメラＣＭの画角ＡＲ１の下端とが同じ高さである場合、光軸高さＨと板厚Ｇとを足し合わせた距離（＝Ｈ＋Ｇ）は、上下方向におけるカメラＣＭの画角ＡＲ１の略半分の位置になる。制御部２０は、撮像画像の上下方向に含まれる画素数の半分から板厚Ｇの画素数を差し引いた画素数に基づいて、光軸高さＨを推定する。

【0099】

また、制御部２０は、予めメモリ１２に記録されたカメラＣＭのイメージセンサ（不図示）と商品棚ＳＨ２との間である棚間距離Ｆ、および商品陳列部ＳＨ２１の奥行き方向の長さである棚奥行Ｅとを取得する。

【0100】

制御部２０は、推定された陳列高さＤと、棚間距離Ｆおよび棚奥行Ｅとを、関係式Ｉ／（Ｆ＋Ｅ）＝Ｄ／Ｅに適用して、距離Ｉを算出する。ここでいう距離Ｉは、商品陳列部ＳＨ２１の表面と、チルト軸ＴＬ０と、チルト回転後のカメラＣＭのレンズ（不図示）との交点位置との間の距離である。

【0101】

制御部２０は、算出された距離Ｉと推定された光軸高さＨとの差分（Ｉ－Ｈ＝Ｊ）に基づいて、撮像位置の修正値Ｊを算出する。また、制御部２０は、陳列高さＤと、棚奥行Ｅとに基づいて、商品陳列部ＳＨ２１の表面を基準（＝０（ゼロ）°）とするカメラＣＭのチルト角度θを算出する。

【0102】

制御部２０は、撮像画像ＩＭＧ３が撮像された撮像位置を、算出された修正値Ｊで位置情報を修正した修正後の撮像位置Ｐ１１´と、カメラＣＭのチルト角度θと、商品陳列部ＳＨ２１の識別情報とを対応付けてメモリ１２に記録する。

【0103】

制御部２０は、撮像画像ＩＭＧ３を撮像した撮像位置から修正値Ｊだけ上方に移動した撮像位置に移動した後、カメラＣＭのチルト角度をチルト角度θに調整して、商品陳列部ＳＨ２１を撮像する。

【0104】

撮像画像ＩＭＧ４は、図９に示す修正後の撮像位置で撮像された撮像画像である。撮像画像ＩＭＧ４に写る商品陳列部ＳＨ２１の奥行方向（前後方向）の画素数Ｅ２は、撮像画像ＩＭＧ３の商品陳列部ＳＨ２１の奥行方向（前後方向）の画素数Ｅ１よりも大きい。つまり、撮像画像ＩＭＧ４に写る商品陳列部ＳＨ２１の商品欠品エリアＡＲ２１１，ＡＲ２１２，ＡＲ２１３のそれぞれに含まれる画素数は、撮像画像ＩＭＧ３に写る商品陳列部ＳＨ２１の商品欠品エリアＡＲ２１１，ＡＲ２１２，ＡＲ２１３のそれぞれに含まれる画素数よりも多い。

【0105】

これにより、実施の形態における移動ロボットＲＢは、商品陳列部ＳＨ２１の奥行方向（前後方向）における解像度がより高く、商品の充填率または欠品率の推定により適した撮像画像ＩＭＧ４を撮像（取得）できる。

【0106】

なお、移動ロボットＲＢは、各商品陳列部の棚間距離Ｆ、棚奥行Ｅのそれぞれがメモリ１２に記録されず、未知である場合には、上下方向において異なる撮像位置で商品陳列部を撮像する。移動ロボットＲＢは、撮像された複数の撮像画像に基づいて、商品陳列部の棚間距離Ｆ、棚奥行Ｅのそれぞれを算出してもよい。

【0107】

以上により、実施の形態に係る移動ロボットＲＢは、レールＲＬ上を移動する移動体であって、レールＲＬ上で移動体を移動させる第１モータ制御部２３Ａ、第２モータ制御部２４Ａあるいは第３モータ制御部２５Ａ（駆動部の一例）と、商品が陳列される商品陳列部ＳＨ２１～ＳＨ２ｎを撮像するカメラＣＭと、カメラＣＭにより撮像された撮像画像から商品陳列部ＳＨ２１～ＳＨ２ｎと、商品陳列部ＳＨ２１～ＳＨ２ｎと対向する棚板とをそれぞれ検出する制御部２０（検出部の一例）と、商品陳列部ＳＨ２１～ＳＨ２ｎと棚板とが検出された撮像画像を出力する制御部２０（出力部の一例）と、を備える。

【0108】

これにより、実施の形態に係る移動ロボットＲＢは、各商品陳列部ＳＨ２１～ＳＨ２ｎのそれぞれに陳列された商品の陳列状態の監視を支援可能な撮像画像を取得できる。

【0109】

また、実施の形態に係る移動ロボットＲＢの制御部２０は、商品陳列部ＳＨ２１～ＳＨ２ｎの棚板前面（前面の一例）をさらに検出し、商品陳列部ＳＨ２１～ＳＨ２ｎの棚板前面がカメラＣＭの画角ＡＲ１の下端で撮像されているか否かをさらに判定する。制御部２０は、商品陳列部ＳＨ２１～ＳＨ２ｎの棚板前面が画角ＡＲ１の下端で撮像されていると判定された撮像画像を出力する。これにより、実施の形態に係る移動ロボットＲＢは、各商品陳列部ＳＨ２１～ＳＨ２ｎのそれぞれに陳列された商品の陳列状態の監視を支援可能な撮像画像を取得できる。

【0110】

また、実施の形態に係る移動ロボットＲＢの商品陳列部ＳＨ２１～ＳＨ２ｎおよび棚板が検出された第１撮像位置を、商品陳列部ＳＨ２１～ＳＨ２ｎごとに記録するメモリ１２（記録部の一例）、をさらに備える。これにより、実施の形態に係る移動ロボットＲＢは、次回の商品陳列部ＳＨ２１～ＳＨ２ｎのそれぞれの撮像において、各商品陳列部ＳＨ２１～ＳＨ２ｎのそれぞれを撮像するための撮像位置の算出処理を省略できる。

【0111】

また、実施の形態に係る移動ロボットＲＢのカメラＣＭは、チルト回転可能である。制御部２０は、商品陳列部ＳＨ２１～ＳＨ２ｎと棚板とが検出された第１撮像位置よりも高い第２撮像位置において、商品陳列部ＳＨ２１～ＳＨ２ｎと棚板とを撮像可能なカメラＣＭのチルト角度θを算出し、第３モータ制御部２５Ａは、第２撮像位置に移動体を移動させ、カメラＣＭをチルト角度に調整する。カメラＣＭは、チルト角度で商品陳列部ＳＨ２１～ＳＨ２ｎを撮像する。制御部２０は、撮像された撮像画像を出力する。これにより、実施の形態に係る移動ロボットＲＢは、各商品陳列部ＳＨ２１～ＳＨ２ｎのそれぞれを撮像可能な撮像位置およびチルト角度を算出できる。

【0112】

また、実施の形態に係る移動ロボットＲＢの制御部２０は、撮像画像に基づいて、商品陳列部ＳＨ２１～ＳＨ２ｎの板厚Ｇと、商品陳列部ＳＨ２１～ＳＨ２ｎと棚板との間の陳列高さＤとを算出し、板厚Ｇと陳列高さＤとに基づいて、第２撮像位置を決定する。これにより、実施の形態に係る移動ロボットＲＢは、各商品陳列部ＳＨ２１～ＳＨ２ｎのそれぞれを撮像可能な撮像位置を算出できる。

【0113】

また、実施の形態に係る移動ロボットＲＢの第２撮像位置とチルト角度θとを対応づけて商品陳列部ＳＨ２１～ＳＨ２ｎごとに記録するメモリ１２（記録部の一例）、をさらに備える。これにより、実施の形態に係る移動ロボットＲＢは、次回の商品陳列部ＳＨ２１～ＳＨ２ｎのそれぞれの撮像において、各商品陳列部ＳＨ２１～ＳＨ２ｎのそれぞれを撮像するための撮像位置の算出処理を省略できる。

【0114】

以上、添付図面を参照しながら各種の実施の形態について説明したが、本開示はかかる例に限定されない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても本開示の技術的範囲に属すると了解される。また、発明の趣旨を逸脱しない範囲において、上述した各種の実施の形態における各構成要素を任意に組み合わせてもよい。

【産業上の利用可能性】

【0115】

本開示は、商品の陳列状態の監視を支援可能な撮像画像を取得する移動体および撮像画像の取得方法として有用である。

【符号の説明】

【0116】

１０ 無線通信部
１１ プロセッサ
１１Ａ 電池
１２ メモリ
１２Ａ ＲＯＭ
１２Ｂ ＲＡＭ
１３ カメラ
２０ 制御部
Ａｎｔ アンテナ
ＡＲ１ 画角
ＨＲＬ１，ＨＲＬ２，ＨＲＬ３，ＨＲＬ（ｍ－１） 水平レール
ＭＴ１ 第１モータ
ＭＴ２ 第２モータ
ＭＴ３ 第３モータ
Ｐ１１，Ｐ１２，Ｐ１ｎ，Ｐ２１，Ｐ２２，Ｐ２ｎ，Ｐ３１，Ｐ３２，Ｐ３ｎ，Ｐｍ１，Ｐｍ２，Ｐｍｎ 撮像位置
ＰＴＬ１，ＰＴＬ２，ＰＴＬ３，ＰＴＬｍ 交点レール
ＰＷ 第１電極
ＲＢ 移動ロボット
ＳＨ１，ＳＨ２ 商品棚
ＶＲＬ１，ＶＲＬ２，ＶＲＬ３，ＶＲＬｍ 垂直レール

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】