特許 7590857 商品ピックアップ装置および商品ピックアップシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-19

(45)【発行日】2024-11-27

(54)【発明の名称】商品ピックアップ装置および商品ピックアップシステム

(51)【国際特許分類】

   B65G 1/137 20060101AFI20241120BHJP

   G07G 1/00 20060101ALI20241120BHJP

【ＦＩ】

B65G1/137 G

G07G1/00 311D

【請求項の数】 3

(21)【出願番号】P 2020199260

(22)【出願日】2020-12-01

(65)【公開番号】P2022087366

(43)【公開日】2022-06-13

【審査請求日】2023-10-20

(73)【特許権者】

【識別番号】000003562

【氏名又は名称】東芝テック株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】星野 直樹

(72)【発明者】

【氏名】角田 真結子

(72)【発明者】

【氏名】小西 正太

(72)【発明者】

【氏名】大熊 裕美子

(72)【発明者】

【氏名】廣井 幹也

【審査官】加藤 三慶

(56)【参考文献】

【文献】特開２０２０－１５２５３４（ＪＰ，Ａ）

【文献】特開２０１４－０８８２３４（ＪＰ，Ａ）

【文献】特開平１１－０４３２１１（ＪＰ，Ａ）

【文献】特開平０７－２８５６２２（ＪＰ，Ａ）

【文献】特開２０１０－２８０４６８（ＪＰ，Ａ）

【文献】米国特許第１０２６６１９６（ＵＳ，Ｂ１）

【文献】米国特許出願公開第２０２０／０２７５０５９（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ６５Ｇ １／１３７

Ｇ０６Ｑ １０／０８

Ｇ０６Ｑ ３０／０６

Ｇ０７Ｇ １／００

(57)【特許請求の範囲】

【請求項1】

ピックアップされた商品を、注文毎に区別して収容する複数の容器を備える収容部を有する商品ピックアップ装置であって、
前記商品ピックアップ装置の現在位置を測位する測位部と、
ピックアップすべき商品とその個数とに係る情報を、前記容器毎に取得するとともに、前記商品を漏れなくピックアップするために移動する経路情報を取得する取得部と、
前記収容部を撮像した画像に基づいて、ピックアップされた商品が、正しい容器に投入されたことと、投入された商品の商品情報とを検出する検出部と、
複数の前記容器の各々に設置された案内灯のうち、次にピックアックする商品を投入する容器に設置された案内灯を、前記商品をピックアップする前に点灯させるとともに、前記現在位置と、前記経路情報と、ピックアップが完了した商品と、次にピックアップする商品と、ピックアップが完了していない商品とを識別して表示する表示部と、
を備える商品ピックアップ装置。

【請求項2】

前記検出部は、
前記収容部の外縁部に、当該収容部の内側向きに備えられた複数の撮像装置が、それぞれ時系列で撮像した複数の画像の中から、ピックアップされた商品が前記収容部に投入されたことと、前記商品を特定する特徴量または当該商品に付されたコードシンボルと、を検出する、
請求項１に記載の商品ピックアップ装置。

【請求項3】

商品の注文を受け付けて、ピックアップすべき商品とその個数とに係る情報、および前記商品を漏れなくピックアップするために移動する経路情報を生成して、商品ピックアップ装置に送信するサーバ装置と、
前記サーバ装置から、ピックアップすべき商品とその個数とに係る情報を、自身が備える、前記商品を注文毎に区別して収容する複数の容器毎に取得するとともに、複数の前記容器を備える収容部を撮像した画像に基づいて、ピックアップされた商品が正しい容器に投入されたことと、投入された商品の商品情報とを検出して、複数の前記容器の各々に設置された案内灯のうち、次にピックアックする商品を投入する容器に設置された案内灯を、当該商品をピックアップする前に点灯させるとともに、前記商品ピックアップ装置の現在位置と、前記経路情報と、ピックアップが完了した商品と、次にピックアップする商品と、ピックアップが完了していない商品とを識別して表示する商品ピックアップ装置と、
を備える商品ピックアップシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施の形態は、商品ピックアップ装置および商品ピックアップシステムに関する。

【背景技術】

【0002】

スーパーマーケットやコンビニエンスストア等の店舗において買い物を行う際に、客が購入する商品を注文して、店舗の担当者が注文された商品を集める、即ちピッキングして、ピッキングされた商品を客に発送する購入形態が提案されている。

【0003】

例えば、特許文献１には、物品が正しい位置に投入されたかを判定する仕分装置が提案されている。

【0004】

しかしながら、特許文献１に開示された仕分装置によると、投入された物品の重量に基づいて、当該物品が所定の仕分位置に投入されたかを判定しているため、店舗で取り扱っている商品のように、重い物品と軽い物品が混在している場合には、これら全ての物品がカゴ等の収容部に収容されたことを確実に識別するのは困難であった。より具体的には、１０ｋｇの米袋がカゴに収容されたことと、数十ｇの菓子がカゴに収容されたこととを、同じ重量センサによって識別するのは困難であった。

【発明の概要】

【発明が解決しようとする課題】

【0005】

本発明が解決しようとする課題は、注文された商品がピックアップされたことを確実に認識できる商品ピックアップ装置および商品ピックアップシステムを提供することである。

【課題を解決するための手段】

【0006】

実施の形態の商品ピックアップ装置は、ピックアップされた商品を、注文毎に区別して収容する複数の容器を備える収容部を有して、測位部と、取得部と、検出部と、表示部とを備える。測位部は、商品ピックアップ装置の現在位置を測位する。取得部は、ピックアップすべき商品とその個数とに係る情報を、容器毎に取得するとともに、商品を漏れなくピックアップするために移動する経路情報を取得する。検出部は、収容部を撮像した画像に基づいて、ピックアップされた商品が、正しい容器に投入されたことと、投入された商品の商品情報とを検出する。表示部は、複数の容器の各々に設置された案内灯のうち、次にピックアックする商品を投入する容器に設置された案内灯を、商品をピックアップする前に点灯させるとともに、現在位置と、経路情報と、ピックアップが完了した商品と、次にピックアップする商品と、ピックアップが完了していない商品とを識別して表示する。

【図面の簡単な説明】

【0007】

【図1】図１は、商品ピックアップシステムのシステム構成の一例を示すシステムブロック図である。

【図2】図２は、商品ピックアップ装置の一例であるカートの全体斜視図である。

【図3】図３は、カートに設置されたカメラの機能を説明する図である。

【図4】図４は、カートに設置されたカメラが撮像した画像から、商品の投入を検出する方法を説明する図である。

【図5】図５は、カートの表示デバイスに表示される情報の一例を示す図である。

【図6】図６は、サーバ装置のハードウエア構成の一例を示すハードウエアブロック図である。

【図7】図７は、カートのハードウエア構成の一例を示すハードウエアブロック図である。

【図8】図８は、サーバ装置の機能構成の一例を示す機能ブロック図である。

【図9】図９は、カートの機能構成の一例を示す機能ブロック図である。

【図10】図１０は、第１の実施の形態の商品ピックアップシステムが行う処理の流れの一例を示すフローチャートである。

【図11】図１１は、カートが備える商品投入検出部が行う処理の流れの一例を示すフローチャートである。

【図12】図１２は、第２の実施の形態のカートが備える、商品画像送信機能について説明する図である。

【図13】図１３は、第２の実施の形態のサーバ装置の機能構成の一例を示す機能ブロック図である。

【図14】図１４は、第２の実施の形態のカートの機能構成の一例を示す機能ブロック図である。

【図15】図１５は、第２の実施の形態の商品ピックアップシステムが行う処理の流れの一例を示すフローチャートである。

【図16】図１６は、第２の実施の形態のカートが備える商品投入検出部および商品画像選択部が行う処理の流れの一例を示すフローチャートである。

【発明を実施するための形態】

【0008】

（第１の実施の形態）
本発明の第１の実施の形態である商品ピックアップシステム１０について説明する。

【0009】

（商品ピックアップシステムの全体構成）
まず、図１を用いて、商品ピックアップシステム１０の全体構成を説明する。図１は、第１の実施の形態の商品ピックアップシステムのシステム構成の一例を示すシステムブロック図である。

【0010】

商品ピックアップシステム１０は、カート２０と、サーバ装置５０と、携帯端末７０とを備える。カート２０は、店員に押されて、店内またはバックヤード内を移動する。カート２０は、店員がピックアップした、客に注文された商品を収容するカゴを備える（詳しくは図２参照）。なお、図１には１台のカート２０のみを図示したが、カート２０は複数台あっても構わない。そして、各カート２０には、個々のカートを識別する固有の識別番号が付与されている。なお、カート２０は、本開示における商品ピックアップ装置の一例である。

【0011】

サーバ装置５０は、スマートフォンやタブレット端末、パソコン等の客の携帯端末７０からインターネット７２を介して、商品の注文を受け付ける。また、サーバ装置５０は、客から受け付けた注文に基づいて、ピックアップすべき商品とその個数とを含む商品ピックアップ情報を生成する。さらに、サーバ装置５０は、生成した商品ピックアップ情報を、カート２０に送信する。なお、商品ピックアップ情報は、注文された全て商品を効率よくピックアップするための移動経路を示す経路情報（ピックアップ経路情報）を含んでもよい。

【0012】

店内には、サーバ装置５０と接続された複数の無線通信ユニット６０が設置されている。サーバ装置５０は、最も通信状態がよい無線通信ユニット６０を介して、カート２０に商品ピックアップ情報とピックアップ経路情報とを送信する。

【0013】

カート２０を搬送する店員（ピッカー）は、商品の陳列棚からピックアップすべき商品を取り出して、カート２０に収容する。そして、カート２０は、収容された商品を検出して、正しい商品が収容されたかを判定する。なお、カート２０の構成について、詳しくは後述する（図２参照）。

【0014】

（カートの全体構成）
次に、図２を用いて、カート２０の全体構成を説明する。図２は、商品ピックアップ装置の一例であるカートの全体斜視図である。

【0015】

カート２０は、フレーム２１を主要構成部材として、当該フレーム２１に、持ち手２２とキャスター２３とが取り付けられた構成を有する。キャスター２３は、小型の車輪であって、持ち手２２に加える力の向きに応じて、自由に向き、即ちカート２０の進行方向を変える。ピッカーは、持ち手２２を把持して、キャスター２３によって進行方向を変えながら、店内でカート２０を移動させる。

【0016】

フレーム２１の上部には、容器設置フレーム２４が設けられて、フレーム２１の下部には、容器設置フレーム２５が設けられている。容器設置フレーム２４は、２つの異なるバッグ３１１，３１２をそれぞれ取り外し可能に設置することができる枠部材である。容器設置フレーム２５は、２つの異なるカゴ３１３，３１４をそれぞれ取り外し可能に設置することができる枠部材である。ピッカーは、バッグ３１１，３１２、およびカゴ３１３，３１４に、それぞれ異なる注文に対応する商品を区別して収容する。なお、図２の例では、容器設置フレーム２４にバッグ３１１，３１２を設置して、容器設置フレーム２５にカゴ３１３，３１４を設置した例を示したが、この例に限定されるものではない。即ち、容器設置フレーム２４，２５に全てバッグを設置してもよいし、全てカゴを設置してもよい。バッグ３１１，３１２およびカゴ３１３，３１４は、本開示における容器および収容部３１の一例である。

【0017】

持ち手２２には、表示デバイス２６が設置されている。表示デバイス２６は、例えば液晶パネルまたは有機ＥＬパネル等を備え、画像情報を表示する。表示デバイス２６には、ピックアップすべき商品リストや商品を効率よくピックアップするために移動する経路等が表示される（詳しくは図５参照）。また、表示デバイス２６の表示面には、当該表示面に積層された状態でタッチパネル２７が設置されている。表示デバイス２６は、ピッカーの操作入力を受け付ける。表示デバイス２６は、例えば、タブレット端末やスマートフォンなどの携帯端末であってもよい。

【0018】

表示デバイス２６の筐体の内部には、ＧＰＳ（Global Positioning System）受信機３２が設置されている。ＧＰＳ受信機３２は、ＧＰＳ衛星から出力されているＧＰＳ信号を受信することによって、自己位置を特定するための測位を行い、店内におけるカート２０の現在位置および進行方向を特定する。なお、カート２０の現在位置を特定する方法は、ＧＰＳ測位に限定されるものではない。例えば、複数の無線通信ユニット６０との間で通信を行って、各無線通信ユニット６０から受信した信号の強度に基づいて、カート２０の自己位置を特定してもよい。また、店内に設置した複数のビーコンポストから出力される基準信号を受信することによって、カート２０の自己位置を特定してもよい。

【0019】

容器設置フレーム２４と容器設置フレーム２５には、カゴ３１３，２１４またはバッグ３１１，３１２の内側に向けて、複数のカメラ２８（２８１，２８２，２８３，２８４）と複数の照明用ＬＥＤ（Light Emitting Diode）２９（２９１，２９２，２９３，２９４）が設置される。より具体的には、バッグ３１１が設置される位置には、４台のカメラ２８１と４個の照明用ＬＥＤ２９１が設置される。４台のカメラ２８１は、それぞれ、Ｚ軸方向の等しい高さの位置に、Ｘ軸およびＹ軸に沿って略水平に設置される。なお、カメラ２８１の設置位置について、詳しくは後述する（図３参照）。４台のカメラ２８１は、バッグ３１１に商品が投入される際に商品が通過すると予想される領域を、異なる４方向から撮像する。なお、図２において、照明用ＬＥＤ２９１の具体的な設置位置は明示していないが、照明用ＬＥＤ２９１は、カメラ２８１の近傍に設置されて、少なくともカメラ２８１の撮像範囲を照明する。なお、カメラ２８は、本開示における撮像装置の一例である。

【0020】

同様に、バッグ３１２の設置位置には、４台のカメラ２８２と４個の照明用ＬＥＤ２９２がそれぞれ設置される。また、カゴ３１３の設置位置には、４台のカメラ２８３と４個の照明用ＬＥＤ２９３がそれぞれ設置される。そして、カゴ３１４の設置位置には、４台のカメラ２８４と４個の照明用ＬＥＤ２９４がそれぞれ設置される。

【0021】

また、容器設置フレーム２４と容器設置フレーム２５には、カート２０を移動させるピッカーから視認可能な位置に、案内灯３０（３０１，３０２，３０３，３０４）が設置される。案内灯３０１は、次にピックアップする商品の投入位置がバッグ３１１であることを示すインジケータである。案内灯３０２は、次にピックアップする商品の投入位置がバッグ３１２であることを示すインジケータである。案内灯３０３は、次にピックアップする商品の投入位置がカゴ３１３であることを示すインジケータである。そして、案内灯３０４は、次にピックアップする商品の投入位置がカゴ３１４であることを示すインジケータである。

【0022】

なお、次にピックアップする商品は、前記したピックアップ経路情報に沿ってカート２０を移動させたときに、最も近い位置にある商品が選択される。そして、カート２０は、当該商品の収容位置に対応する案内灯３０を点灯させる。なお、案内灯３０の点灯は、正しい商品が所定の位置に投入されたことを検出されたことを契機に消灯する。そして、カート２０は、次にピックアップすべき商品の収容位置に対応する案内灯３０を点灯させる。

【0023】

（商品投入の検出方法および投入された商品の認識方法）
次に、図３と図４を用いて、カート２０が、商品の投入を検出する方法、および投入された商品を認識する方法を説明する。図３は、カートに設置されたカメラの機能を説明する図である。図４は、カートに設置されたカメラが撮像した画像から、商品の投入を検出する方法を説明する図である。

【0024】

図３の上段は、カート２０の容器設置フレーム２４にバッグ３１１が取り付けられた状態を示すＹＺ断面図である。容器設置フレーム２４の内側の４面には、それぞれ前記したカメラ２８１が設置されている。図３には、４台のカメラ２８１のうち３台のみを図示する。対向する位置にあるカメラ２８１は、同じ高さ位置に、観測範囲が互いに向き合うように設置される。また、各カメラ２８１は同じ視野角θを有する。なお、図示は省略するが、カメラ２８１の近傍には、少なくとも視野角θの範囲を照明する照明用ＬＥＤ２９１が設置されている。

【0025】

図３の中段は、バッグ３１１に生鮮食料品７３を投入している状態の一例を示す図である。各カメラ２８１は、カート２０から出力される外部同期信号に基づいて、同時刻に画像を撮像する。この撮像動作は、商品の投入の有無に関わらず、連続して実行される。これによって、同時刻に４枚の画像が撮像される。カート２０は、撮像した４枚の画像の各々に対して、商品が投入された可能性があるかを判定して、投入された商品を特定する商品投入判定処理を行う。商品投入判定処理について、詳しくは後述する（図４参照）。なお、商品が投入される際の商品の速度は一定ではない。したがって、撮像した画像にブレが発生するのを抑制するために、なるべく速いシャッター速度で撮像を行うのが望ましい。そして、速いシャッター速度で撮像を行うと画像が暗くなるため、照明用ＬＥＤ２９４を点灯させることによって、画像の明るさを確保する。なお、照明用ＬＥＤ２９４は、少なくとも撮像の瞬間のみ点灯させればよい。

【0026】

商品投入判定処理によって、商品が投入された可能性があると判定された場合に、カート２０は、続いてオブジェクト認識を行う。画像の中に含まれる商品を認識するオブジェクト認識は、一般物体認識（generic object recognition）とも呼ばれる。一般物体認識で用いられる各種認識技術については、下記の文献に詳しく解説されているため、説明は省略する。

【0027】

柳井 啓司、“一般物体認識の現状と今後”、情報処理学会論文誌、Ｖｏｌ．４８、Ｎｏ．ＳＩＧ１６ [令和２年１１月１８日検索]、インターネット<URL: https://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf>

【0028】

Jamie Shottonら、“Semantic Texton Forests for Image Categorization and Segmentation”、[令和２年１１月１８日検索]、インターネット<URL: http://mi.eng.cam.ac.uk/~cipolla/publications/inproceedings/2008-CVPR-semantic-texton-forests.pdf>

【0029】

また、オブジェクト認識は、撮像された画像の中に、バーコードや２次元コード等のコードシンボルが写っているかの認識を行う。そして、コードシンボルが写っていた場合は、そのコードシンボルを読み取る。

【0030】

そして、図３の中段の例において、カート２０は、商品の投入を検出するのに続いて、投入された商品が生鮮食料品７３であることを認識する。

【0031】

図３の下段は、バッグ３１１にバーコードが付された商品７４を投入している状態の一例を示す図である。この場合も、カート２０は、前記したのと同じ処理を行う。そして、カート２０は、商品の投入を検出するのに続いて、投入された商品に付されたバーコード７５を読み取る。そして、カート２０は、読み取ったバーコード７５に記録されたコード情報を商品マスタＭ（図６参照）と照合することによって、投入された商品が商品７４であると認識する。

【0032】

次に、図４を用いて、商品投入判定処理の方法を説明する。図４の上段は、カメラ２８１が時刻ｔに撮像した画像Ｉ（ｔ）の一例を示す。図４の中段は、カメラ２８１がΔｔ秒後、すなわち時刻ｔ＋Δｔに撮像した画像Ｉ（ｔ＋Δｔ）の一例を示す。

【0033】

カート２０は、画像Ｉ（ｔ＋Δｔ）から画像Ｉ（ｔ）を差し引く差分演算を行う。差分演算によって、図４の下段に示す差分画像Ｊ（ｔ＋Δｔ）が得られる。

【0034】

カート２０に商品が投入された場合、商品はカメラ２８１の観測範囲を通過するため、一般に、差分画像Ｊ（ｔ＋Δｔ）の中には、商品の領域が出現する。差分画像Ｊ（ｔ＋Δｔ）は、明るさが画素値に変換された、所謂濃淡画像である。カート２０は、差分画像Ｊ（ｔ＋Δｔ）を所定の閾値で２値化することによって、２値画像に変換する。そして、カート２０は、２値画像が有する領域の面積が所定の値を超えた場合に、Δｔ秒間に画像の明るさが大きく変化した、即ち、商品が投入された可能性があると判断する。

【0035】

差分画像Ｊ（ｔ＋Δｔ）によって商品が投入された可能性があると判定された場合、画像Ｉ（ｔ＋Δｔ）には商品が写っていると考えられるため、カート２０は、画像Ｉ（ｔ＋Δｔ）に対してオブジェクト認識を行うことによって、投入された商品を認識する。また、商品にバーコード等のコードシンボルが付されている場合は、当該コードシンボルに記録されたコード情報を読に取る。

【0036】

なお、以上の説明は、１台のカメラ２８１が撮像した画像に対する処理の流れを説明したものである。実際は、同じ処理が、４台のカメラ２８１がそれぞれ撮像した４組の画像に対して実行される。そして、４台のカメラ２８１がそれぞれ撮像した４組の画像のうち、１組の画像に対してのみ商品が投入された可能性があると判定された場合に、カート２０は、当該１組の画像のみに対してオブジェクト認識を実行する。一方、複数組の画像に対して商品が投入された可能性があると判定された場合には、カート２０は、複数組の画像の各々に対してオブジェクト認識を実行する。そして、例えば、最も信頼度が高い認識結果を出力した画像に対する認識結果に基づいて、投入された商品と認識する。

【0037】

（カートの表示デバイスに表示される情報）
次に、図５を用いて、カート２０の表示デバイス２６に表示される情報の内容を説明する。図５は、カートの表示デバイスに表示される情報の一例を示す図である。

【0038】

カート２０の表示デバイス２６には、図５に示す商品リスト３４と、店内地図８０とが表示される。商品リスト３４は、複数の収容部３１（バッグ３１１，３１２とカゴ３１３，３１４）のそれぞれに投入すべき商品のリストである。なお、各収容部３１に対応する商品リスト３４は、持ち手２２を握っている店員（ピッカー）から見て、収容部３１の配置と一致するように整列して表示される。より具体的には、左上に表示される商品リスト３４１は、持ち手２２を握っている店員から見て左上に位置するバッグ３１１に投入すべき商品のリストである。右上に表示される商品リスト３４２は、持ち手２２を握っている店員から見て右上に位置するバッグ３１２に投入すべき商品のリストである。左下に表示される商品リスト３４３は、持ち手２２を握っている店員から見て左下に位置するカゴ３１３に投入すべき商品のリストである。そして、右下に表示される商品リスト３４４は、持ち手２２を握っている店員から見て右下に位置するカゴ３１４に投入すべき商品のリストである。このように収容部３１の配置状態と商品リストの配置状態とを一致させることによって、店員は、ピックアップした商品の投入位置を容易に判断することができる。

【0039】

また、店内地図８０は、店内の通路および商品棚のレイアウトを示す。

【0040】

各商品リスト３４（３４１，３４２，３４３，３４４）には、注文番号３５と、ピッキング完了目標時刻３６とが表示される。注文番号３５は、商品の注文番号である。なお、注文番号３５の代わりに、顧客を一意に特定する情報を表示してもよい。ピッキング完了目標時刻３６は、商品のピックアップを完了すべき目標時刻である。なお、表示デバイス２６の上段には、現在時刻８８が表示されるため、店員は、ピッキング完了目標時刻３６と現在時刻８８とを参照しながら、ピッキング完了目標時刻３６に遅れないように、商品のピックアップを遂行する。

【0041】

また、各商品リスト３４（３４１，３４２，３４３，３４４）には、ピックアップすべき商品が整列した状態で表示される。整列順は限定されるものではないが、本実施の形態では、カート２０の現在位置から、後述するピックアップ経路情報８３に沿って移動した際に、ピックアップされる順に商品を整列させて表示する。

【0042】

そして、各商品を示すリストは、ピッキングの進捗状態に応じたハッチングが付与された状態、またはピッキングの進捗状態に応じた色付けがなされた状態で表示される。例えば、図５において、ピッキング状態３７が示すハッチングが付された商品は、既にピッキング済みの商品であることを示す。ピッキング状態３８が示すハッチングが付された商品は、次にピッキングすべき商品であることを示す。また、ピッキング状態３９が示すハッチングが付された商品は、まだピッキングされていない商品であることを示す。

【0043】

店内地図８０には、更に、現在位置８２と、ピックアップ経路情報８３と、商品個数８４，８５，８６とが表示される。

【0044】

現在位置８２は、カート２０の現在位置および進行方向を示すアイコンである。なお、カート２０の現在位置と進行方向は、カート２０が備えるＧＰＳ受信機３２（図７参照）によって検出される。

【0045】

ピックアップ経路情報８３は、注文された全ての商品を効率よくピックアップして、ピックアップした商品をラッシュアップシェルフ８７まで搬送するための移動経路を示す情報である。なお、図５に示す例では、画面を見やすくするために、現在位置８２に至る、既に通過したピックアップ経路情報８３は、表示形態を点線に変更して表示している。

【0046】

商品個数８４，８５，８６は、その位置においてピックアップすべき商品の個数を示すアイコンである。なお、商品個数８４，８５，８６は、ピッキングの進捗状態に応じた表示形態を有するのが望ましい。例えば、図５に示す商品個数８４は、既にピッキングされた商品の位置と個数とを示す。商品個数８５は、次にピッキングすべき商品の位置と個数とを示す。また、商品個数８６は、まだピッキングされていない商品の位置と個数とを示す。

【0047】

（サーバ装置のハードウエア構成）
次に、図６を用いて、サーバ装置５０のハードウエア構成を説明する。図６は、サーバ装置のハードウエア構成の一例を示すハードウエアブロック図である。

【0048】

サーバ装置５０は、制御部５１と、記憶部５２と、入出力コントローラ５４と、通信インタフェース５７とを備える。

【0049】

制御部５１は、ＣＰＵ（Central Processing Unit）５１１と、ＲＯＭ（Read Only Memory）５１２と、ＲＡＭ（Random Access Memory）５１３とを備えた一般的なコンピュータの構成を有する。ＣＰＵ５１１は、ＲＯＭ５１２と後述する記憶部５２に記憶された各種プログラムやデータファイル等を読み出して、ＲＡＭ５１３に展開する。ＣＰＵ５１１は、ＲＡＭ５１３に展開された各種プログラムやデータファイル等に従って動作することによって、サーバ装置５０の全体の制御を司る。

【0050】

制御部５１は、内部バス５３を介して、記憶部５２と、入出力コントローラ５４と、通信インタフェース５７と、それぞれ接続される。

【0051】

記憶部５２は、電源を切っても記憶情報を保持する。記憶部５２は、例えばＨＤＤ（Hard Disk Drive）である。また、ＨＤＤの代わりに、フラッシュメモリ等の不揮発性メモリを備えてもよい。記憶部５２は、制御プログラムＱを含むプログラム等を記憶する。制御プログラムＱは、サーバ装置５０が備える機能を発揮させるためのプログラムである。

【0052】

なお、制御プログラムＱは、ＲＯＭ５１２に予め組み込まれて提供されてもよい。また、制御プログラムＱは、制御部５１にインストール可能な形式又は実行可能な形式のファイルで、ＣＤ－ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ、ＤＶＤ（Digital Versatile Disc）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。さらに、制御プログラムＱを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、制御プログラムＱを、インターネット等のネットワーク経由で提供または配布するように構成してもよい。

【0053】

記憶部５２は、更に、商品マスタＭと、店内地図データＳと、顧客データＣと、注文データＲとを記憶する。

【0054】

商品マスタＭは、商品コードに対応させて、商品の名称、単価等の商品情報を格納したマスタファイルである。なお、商品マスタＭは、店舗に入荷する商品に応じて随時更新される。

【0055】

店内地図データＳは、店舗のレイアウトと商品のレイアウト位置（棚割りデータ）とを含む情報である。店舗のレイアウトは、店舗内の通路の位置および形状を含む、いわゆる地図データである。商品のレイアウト位置は、商品が配置された座標位置と当該商品の商品情報（例えば商品コード）とが関連付けられた情報である。店内地図データＳのフォーマットは問わないが、例えば、カーナビゲーションシステムで利用されている道路地図と同様のフォーマット（通路をリンクとノードで表現したデータ）が使用される。

【0056】

顧客データＣは、予め登録された、客の識別番号等を含むデータである。

【0057】

注文データＲは、客の識別番号と、購入する商品名と個数とを含む注文情報である。なお、注文データＲの取得方法は問わない。即ち、サーバ装置５０は、客のスマートフォンからインターネット７２を介して注文データＲを取得してもよいし、客のパソコンからインターネット７２を介して注文データＲを取得してもよい。また、サーバ装置５０は、店舗を訪れた客が、サーバ装置５０の表示デバイス５５を見ながらタッチパネル５６を用いて入力した注文データＲを取得してもよい。

【0058】

入出力コントローラ５４は、制御部５１と、入出力機器である表示デバイス５５と、タッチパネル５６とを接続する。

【0059】

表示デバイス５５は、サーバ装置５０が出力する各種情報を表示する。表示デバイス５５は、例えば液晶ディスプレイや有機ＥＬディスプレイである。

【0060】

タッチパネル５６は、表示デバイス５５の表示面に重畳するように設置されて、サーバ装置５０に対して、押下位置に応じた操作情報を入力する。

【0061】

通信インタフェース５７は、無線通信ユニット６０を介して、サーバ装置５０とカート２０との間で各種情報の送受信を行う。また、通信インタフェース５７は、携帯端末７０との間で各種情報の送受信を行う。

【0062】

（カートのハードウエア構成）
次に、図７を用いて、カート２０のハードウエア構成を説明する。図７は、カートのハードウエア構成の一例を示すハードウエアブロック図である。

【0063】

カート２０は、制御部４１と、記憶部４２と、入出力コントローラ４４と、通信インタフェース４５とを備える。

【0064】

制御部４１は、ＣＰＵ４１１と、ＲＯＭ４１２と、ＲＡＭ４１３とを備えた一般的なコンピュータの構成を有する。ＣＰＵ４１１は、ＲＯＭ４１２と後述する記憶部４２に記憶された各種プログラムやデータファイル等を読み出して、ＲＡＭ４１３に展開する。ＣＰＵ４１１は、ＲＡＭ４１３に展開された各種プログラムやデータファイル等に従って動作することによって、カート２０の全体の制御を司る。

【0065】

制御部４１は、内部バス４３を介して、記憶部４２と、入出力コントローラ４４と、通信インタフェース４５と、それぞれ接続される。

【0066】

記憶部４２は、電源を切っても記憶情報を保持する。記憶部４２は、例えばＨＤＤである。また、ＨＤＤの代わりに、フラッシュメモリ等の不揮発性メモリを備えてもよい。記憶部４２は、制御プログラムＰを含むプログラム等を記憶する。制御プログラムＰは、カート２０が備える機能を発揮させるためのプログラムである。

【0067】

なお、制御プログラムＰは、ＲＯＭ４１２に予め組み込まれて提供されてもよい。また、制御プログラムＰは、制御部４１にインストール可能な形式又は実行可能な形式のファイルで、ＣＤ－ＲＯＭ、フレキシブルディスク、ＣＤ－Ｒ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。さらに、制御プログラムＰを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、制御プログラムＰを、インターネット等のネットワーク経由で提供または配布するように構成してもよい。

【0068】

記憶部４２は、更に、商品ピックアップ情報Ｔを記憶する。商品ピックアップ情報Ｔは、サーバ装置５０から送信された、ピックアップすべき商品の商品情報と個数とを含む。なお、記憶部４２は、商品ピックアップ情報Ｔの他に、商品をピックアップするための移動経路を示す経路情報（ピックアップ経路情報８３）を記憶してもよい。

【0069】

入出力コントローラ４４は、制御部４１と、入出力機器である表示デバイス２６と、タッチパネル２７と、カメラ２８と、照明用ＬＥＤ２９と、案内灯３０と、ＧＰＳ受信機３２とを接続する。

【0070】

表示デバイス２６は、カート２０が出力する各種情報（例えば、図５に示した商品リストや店内地図等）を表示する。表示デバイス２６は、例えば液晶ディスプレイや有機ＥＬディスプレイである。

【0071】

タッチパネル２７は、表示デバイス２６の表示面に重畳するように設置されて、カート２０に対して、押下位置に応じた操作情報を入力する。

【0072】

カメラ２８は、前記したように（図２参照）、容器設置フレーム２４，２５に複数設置されて、投入される商品の画像を撮像する。なお、カメラ２８は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の固体撮像素子を用いたカメラである。

【0073】

照明用ＬＥＤ２９は、カメラ２８の近傍に設置されて、少なくともカメラ２８の視野角θの範囲を照明する。

【0074】

案内灯３０は、容器設置フレーム２４，２５に設置されて、前記したように（図２参照）、次にピッキングする商品の投入位置を示すインジケータである。

【0075】

ＧＰＳ受信機３２は、ＧＰＳ信号を受信する受信機である。カート２０は、ＧＰＳ受信機３２が受信したＧＰＳ信号に基づいて、自身の現在位置を測位する。

【0076】

通信インタフェース４５は、サーバ装置５０との間で各種情報の送受信を行う。

【0077】

（サーバ装置の機能構成）
次に、図８を用いて、サーバ装置５０の機能構成を説明する。図８は、サーバ装置の機能構成の一例を示す機能ブロック図である。

【0078】

サーバ装置５０の制御部５１は、制御プログラムＱをＲＡＭ５１３に展開して動作させることによって、図８に示す注文受付部５２１と、商品ピックアップ情報生成部５２２と、ピックアップ経路情報生成部５２３と、情報送信部５２４と、ピッキング進捗状態取得部５２５と、表示制御部５２６と、操作制御部５２７とを機能部として実現する。

【0079】

注文受付部５２１は、携帯端末７０から、商品を注文した顧客情報と、ピックアップすべき商品とその個数とに係る情報、即ち注文情報とを取得する。なお、注文受付部５２１は、店舗に来店した客が、サーバ装置５０のタッチパネル５６を操作することによって入力した注文情報を取得するものであってもよい。

【0080】

商品ピックアップ情報生成部５２２は、注文受付部５２１が取得した注文情報に基づいて、ピックアップすべき商品とその個数とを含む商品ピックアップ情報Ｔを生成する。

【0081】

ピックアップ経路情報生成部５２３は、注文情報が含む商品を漏れなくピックアップするために移動する、図５で説明したピックアップ経路情報８３を生成する。

【0082】

情報送信部５２４は、商品ピックアップ情報生成部５２２が生成した商品ピックアップ情報Ｔと、ピックアップ経路情報生成部５２３が生成したピックアップ経路情報８３とを、カート２０に送信する。なお、カート２０は、一般に複数台用意されているため、情報送信部５２４は、カート２０を一意に特定する識別番号と、商品ピックアップ情報Ｔと、ピックアップ経路情報８３とをカート２０に送信する。また、情報送信部５２４は、全ての商品のピックアップが完了したことを示す情報をサーバ装置５０に送信する。

【0083】

ピッキング進捗状態取得部５２５は、カート２０から、ピッキングの進捗状態、即ち、注文情報が含む商品のうち、ピッキングが完了した商品とピッキングが完了していない商品とを識別した情報を取得する。

【0084】

表示制御部５２６は、表示デバイス５５に、サーバ装置５０が生成した各種情報を表示させる。

【0085】

操作制御部５２７は、タッチパネル５６から取得した操作情報に基づいて、サーバ装置５０の動作を制御する。

【0086】

（カートの機能構成）
次に、図９を用いて、カート２０の機能構成を説明する。図９は、カートの機能構成の一例を示す機能ブロック図である。

【0087】

カート２０の制御部４１は、制御プログラムＰをＲＡＭ４１３に展開して動作させることによって、図９に示す商品ピックアップ情報取得部４２１と、ピックアップ経路情報取得部４２２と、容器設定受付部４２３と、測位処理部４２４と、商品投入検出部４２５と、ピッキング進捗状態確認部４２６と、表示制御部４２７と、操作制御部４２８とを機能部として実現する。

【0088】

商品ピックアップ情報取得部４２１は、サーバ装置５０から、商品を注文した顧客情報とピックアップすべき商品とその個数とに係る情報、即ち商品ピックアップ情報Ｔを取得する。なお、商品ピックアップ情報取得部４２１は、本開示における取得部の一例である。

【0089】

ピックアップ経路情報取得部４２２は、サーバ装置５０から、ピックアップ経路情報生成部５２３が生成したピックアップ経路情報８３を取得する。

【0090】

容器設定受付部４２３は、カート２０が備える複数の収容部（バッグ３１１，３１２およびカゴ３１３，３１４）のいずれに、どの客から注文された商品を投入するかを示す情報を受け付ける。なお、具体的な収容位置は、カート２０を搬送する店員（ピッカー）が、表示デバイス２６に表示された収容部のレイアウトを示す絵柄（非図示）を見ながら、タッチパネル２７に対して収容位置を指し示す動作を行うことによって設定される。

【0091】

測位処理部４２４は、カート２０の現在位置を測位する。なお、測位処理部４２４は、本開示における測位部の一例である。

【0092】

商品投入検出部４２５は、バッグ３１１，３１２およびカゴ３１３，３１４（収容部）を撮像した画像に基づいて、ピックアップされた商品が当該収容部に投入されたことと、投入された商品の商品情報とを検出する。なお、商品投入検出部４２５は、本開示における検出部の一例である。

【0093】

ピッキング進捗状態確認部４２６は、商品ピックアップ情報Ｔと、商品投入検出部４２５の検出結果とを参照することによって、ピッキングがどこまで完了したかを確認する。

【0094】

表示制御部４２７は、表示デバイス２６に、ピックアップが完了した商品と、次にピックアップする商品と、ピックアップが完了していない商品とを識別して表示する。また、表示制御部４２７は、表示デバイス２６に、ピックアップ経路情報８３と、ピックアップされる商品の位置を示す情報とを表示する。また、表示制御部４２７は、案内灯３０１の点灯および消灯を制御する。なお、表示制御部４２７は、本開示における表示部の一例である。

【0095】

操作制御部４２８は、タッチパネル２７から取得した操作情報に基づいて、カート２０の動作を制御する。

【0096】

（商品ピックアップシステムが行う処理の流れ）
次に、図１０を用いて、商品ピックアップシステム１０が行う処理の流れを説明する。図１０は、第１の実施の形態の商品ピックアップシステムが行う処理の流れの一例を示すフローチャートである。

【0097】

（サーバ装置が行う処理の流れ）
まず、サーバ装置５０が行う処理の流れを説明する。注文受付部５２１は、携帯端末７０から客の注文、即ち、客の識別番号と、購入する商品名と個数とを含む注文データＲを受け付ける（ステップＳ１１）。

【0098】

商品ピックアップ情報生成部５２２は、商品ピックアップ情報Ｔを生成する（ステップＳ１２）。

【0099】

ピックアップ経路情報生成部５２３は、商品をピックアップするための移動経路を示すピックアップ経路情報８３を生成する（ステップＳ１３）。

【0100】

情報送信部５２４は、商品ピックアップ情報Ｔとピックアップ経路情報８３とをカート２０に送信する（ステップＳ１４）。

【0101】

ピッキング進捗状態取得部５２５は、全ての商品のピックアップが完了したかを判定する（ステップＳ１５）。全ての商品のピックアップが完了したと判定される（ステップＳ１５：Ｙｅｓ）と、サーバ装置５０は、図１０の処理を終了する。一方、全ての商品のピックアップが完了したと判定されない（ステップＳ１５：Ｎｏ）とステップＳ１５の判定を繰り返す。

【0102】

（カートが行う処理の流れ）
次に、カート２０が行う処理の流れを説明する。商品ピックアップ情報取得部４２１は、サーバ装置５０から商品ピックアップ情報Ｔを取得する。また、ピックアップ経路情報取得部４２２は、サーバ装置５０からピックアップ経路情報８３を取得する（ステップＳ２１）。

【0103】

容器設定受付部４２３は、容器の設定を受け付けたかを判定する（ステップＳ２２）。容器の設定を受け付けたと判定される（ステップＳ２２：Ｙｅｓ）とステップＳ２３に進む。一方、容器の設定を受け付けたと判定されない（ステップＳ２２：Ｎｏ）とステップＳ２２の判定を繰り返す。

【0104】

ステップＳ２２において、容器の設定を受け付けたと判定されると、表示制御部４２７は、表示デバイス２６に、ピックアップすべき商品リストとピックアップ経路とを表示する（ステップＳ２３）。

【0105】

測位処理部４２４は、カート２０の現在位置を測位する（ステップＳ２４）。

【0106】

表示制御部４２７は、表示デバイス２６に、カート２０の現在位置を表示する（ステップＳ２５）。

【0107】

表示制御部４２７は、次にピックアップする商品の投入位置を示す案内灯３０１を点灯させる（ステップＳ２６）。

【0108】

商品投入検出部４２５は、商品が、収容部３１のいずれ（バッグ３１１，３１２およびカゴ３１３，３１４）に投入されたかの判定と、投入された商品の特定とを行う商品投入検出処理を行う（ステップＳ２７）。なお、商品投入検出処理の詳細な流れは後述する（図１１参照）。

【0109】

商品投入検出部４２５は、商品の投入を検出したかを判定する（ステップＳ２８）。商品の投入を検出したと判定される（ステップＳ２８：Ｙｅｓ）とステップＳ２９に進む。一方、商品の投入を検出したと判定されない（ステップＳ２８：Ｎｏ）とステップＳ２４に戻る。

【0110】

ステップＳ２８において、商品の投入を検出したと判定されると、商品投入検出部４２５は、正しい商品が正しい収容部３１に投入されたかを判定する（ステップＳ２９）。正しい商品が正しい収容部３１に投入されたと判定される（ステップＳ２９：Ｙｅｓ）とステップＳ３０に進む。一方、正しい商品が正しい収容部３１に投入されたと判定されない（ステップＳ２９：Ｎｏ）とステップＳ３１に進む。

【0111】

ステップＳ２９において、正しい商品が正しい収容部３１に投入されたと判定されると、表示制御部４２７は、表示デバイス２６に表示された商品リストとピックアップ経路とを更新する（ステップＳ３０）。

【0112】

ピッキング進捗状態確認部４２６は、全ての商品がピッキングされたかを確認する（ステップＳ３２）。全ての商品がピッキングされたと確認される（ステップＳ３２：Ｙｅｓ）とステップＳ３３に進む。一方、全ての商品がピッキングされたと確認されない（ステップＳ３２：Ｎｏ）とステップＳ２４に戻って、前記した処理を繰り返す。

【0113】

ステップＳ３２において、全ての商品がピッキングされたと確認されると、ピッキング進捗状態確認部４２６は、全ての商品のピックアップが完了したことを示す情報をサーバ装置５０に送信する（ステップＳ３３）。その後、カート２０は、図１０の処理を終了する。

【0114】

ステップＳ２９に戻り、ステップＳ２９において、正しい商品が正しい収容部３１に投入されたと判定されないと、表示制御部４２７は、表示デバイス２６に、投入位置と投入した商品の確認を促す警告表示を行う（ステップＳ３１）。その後、ステップＳ２４に戻る。

【0115】

（商品投入検出処理の流れ）
次に、図１１を用いて、図１０のステップＳ２７で行われる商品投入検出処理の流れを説明する。図１１は、カートが備える商品投入検出部が行う処理の流れの一例を示すフローチャートである。

【0116】

商品投入検出部４２５は、カメラ２８によって画像を撮像する（ステップＳ４１）。

【0117】

商品投入検出部４２５は、カメラ２８が撮像した画像の中に移動物体があるかを判定する（ステップＳ４２）。カメラ２８が撮像した画像の中に移動物体があると判定される（ステップＳ４２：Ｙｅｓ）とステップＳ４３に進む。一方、カメラ２８が撮像した画像の中に移動物体があると判定されない（ステップＳ４２：Ｎｏ）と、メインルーチン（図１０のフローチャート）に戻る。

【0118】

ステップＳ４２において、カメラ２８が撮像した画像の中に移動物体があると判定されると、商品投入検出部４２５は、画像Ｉ（ｔ＋Δｔ）に対してオブジェクト認識処理を実行する（ステップＳ４３）。

【0119】

続いて、商品投入検出部４２５は、商品が特定されたかを判定する。商品が特定されたと判定される（ステップＳ４４：Ｙｅｓ）と、メインルーチンに戻る。一方、商品が特定されたと判定されない（ステップＳ４４：Ｎｏ）と、ステップＳ４５に進む。

【0120】

ステップＳ４４において、商品が特定されたと判定されないと、商品投入検出部４２５は、画像Ｉ（ｔ＋Δｔ）の中からコードシンボルを検出したかを判定する（ステップＳ４５）。画像Ｉ（ｔ＋Δｔ）の中からコードシンボルを検出したと判定される（ステップＳ４５：Ｙｅｓ）とステップＳ４６に進む。一方、画像Ｉ（ｔ＋Δｔ）の中からコードシンボルを検出したと判定されない（ステップＳ４５：Ｎｏ）と、メインルーチンに戻る。

【0121】

ステップＳ４５において、画像Ｉ（ｔ＋Δｔ）の中からコードシンボルを検出したと判定されると、商品投入検出部４２５は、検出されたコードシンボルに記録されたコード情報を読み取る（ステップＳ４６）。その後、メインルーチンに戻る。

【0122】

以上説明したように、第１の実施の形態のカート２０（商品ピックアップ装置）において、商品ピックアップ情報取得部４２１（取得部）は、ピックアップすべき商品とその個数とに係る情報を取得する。商品投入検出部４２５（検出部）は、収容部３１を撮像した画像に基づいて、ピックアップされた商品が当該収容部３１に投入されたことと、投入された商品の商品情報とを検出する。そして、表示制御部４２７（表示部）は、ピックアップが完了した商品と、次にピックアップする商品と、ピックアップが完了していない商品とを識別して表示する。したがって、注文された商品がピックアップされたことを確実に認識することができる。

【0123】

また、第１の実施の形態のカート２０において、収容部３１は、商品を注文毎に区別して収容する複数のバッグ３１１，３１２（容器）および複数のカゴ３１３，３１４（容器）を備えて、商品ピックアップ情報取得部４２１（取得部）は、ピックアップすべき商品とその個数とに係る情報を、前記容器毎に取得して、商品投入検出部４２５（検出部）は、ピックアップされた商品が正しい容器に投入されたことと、投入された商品の商品情報とを検出する。したがって、ピックアップされた商品が投入された容器を識別して認識することができる。

【0124】

また、第１の実施の形態のカート２０は、当該カート２０の現在位置を測位する測位処理部４２４（測位部）を更に備えて、商品ピックアップ情報取得部４２１（取得部）は、商品を漏れなくピックアップするために移動するピックアップ経路情報８３（経路情報）を取得して、表示制御部４２７（表示部）は、測位処理部４２４が測位したカート２０の現在位置と、商品ピックアップ情報取得部４２１が取得したピックアップ経路情報８３とを表示する。したがって、ピックアップ経路情報８３に沿って移動しながら商品をピックアップすることによって、全ての商品を効率よくピックアップすることができる。

【0125】

また、第１の実施の形態のカート２０において、商品投入検出部４２５（検出部）は、収容部３１の外縁部に、当該収容部３１の内側向きに備えられた複数のカメラ２８（撮像装置）が、それぞれ時系列で撮像した複数の画像の中から、ピックアップされた商品が収容部３１に投入されたことと、商品を特定する特徴量、または当該商品に付されたコードシンボルとを検出する。そのため、異なる複数の方向から商品の投入が監視されることによって、少なくとも１方向から撮像した画像に商品が写っていれば、当該商品を認識することができる。したがって、商品の持ち方によらずに、商品の投入と商品の種類とを確実に認識することができる。

【0126】

また、第１の実施の形態の商品ピックアップシステム１０において、サーバ装置５０は、商品の注文を受け付けて、ピックアップすべき商品とその個数とに係る情報を生成して、カート２０に送信する。そして、カート２０（商品ピックアップ装置）は、サーバ装置５０から、ピックアップすべき商品とその個数とに係る情報を取得するとともに、ピックアップされた商品を収容する収容部３１を撮像した画像に基づいて、ピックアップされた商品が、収容部３１に投入されたことと、投入された商品の商品情報とを検出して、ピックアップが完了した商品と、次にピックアップする商品と、ピックアップが完了していない商品とを識別して表示する。したがって、注文された商品がピックアップされたことを確実に認識することができる。

【0127】

（第２の実施の形態）
次に、本発明の第２の実施の形態である商品ピックアップシステム１００（非図示）について説明する。商品ピックアップシステム１００は、第１の実施の形態で説明したサーバ装置５０およびカート２０に代わって、サーバ装置５００およびカート２００を備える。そして、商品ピックアップシステム１００は、商品ピックアップシステム１０が備える機能に加えて、客が写真の送付を希望した商品について、ピックアップされた商品の写真を送付する機能を備える。

【0128】

なお、サーバ装置５００のハードウエア構成は、第１の実施の形態で説明したサーバ装置５０のハードウエア構成（図６参照）と同じである。また、カート２００のハードウエア構成は、第１の実施の形態で説明したカート２０のハードウエア構成（図７参照）と同じである。そのため、以降の説明は、第１の実施の形態で使用したのと同じ符号を用いて行う。

【0129】

図１２は、第２の実施の形態のカートが備える、商品画像送信機能について説明する図である。客は商品を注文する際に、写真を送付して欲しい商品には、その旨の情報を付して注文を行う。サーバ装置５００は客の注文を受け付けて、写真の送付が希望された商品に対して、写真送付が必要な旨の情報が付された商品ピックアップ情報Ｔを生成する。

【0130】

カート２００は、表示デバイス２６に、ピックアップすべき商品リストを表示する際に、写真送付が必要な商品には、図１２に示す写真アイコン９０を付して表示する。

【0131】

そして、カート２００は、写真アイコン９０が付された商品が、収容部３１に投入されたことを検出した際に、撮像した画像９２を表示デバイス２６に表示するとともに、客に写真を送付したことを示すメッセージ９３を表示する。その後、カート２００は、表示デバイス２６に表示された写真アイコン９０の表示形態を、写真の送付が完了したことを示す写真送付済アイコン９１に変化させる。

【0132】

なお、カート２００が備えるカメラ２８は、１つの収容部３１につき４台ずつ設置されている。したがって、カメラ２８は１つの商品の画像を４方向から撮像することができる。そのため、カート２００は、写真の送付が必要な商品について、４方向から撮像した画像の中から、商品が最もよく写っている画像を選択して客に送信する。

【0133】

（サーバ装置の機能構成）
次に、図１３を用いて、サーバ装置５００の機能構成を説明する。図１３は、第２の実施の形態のサーバ装置の機能構成の一例を示す機能ブロック図である。

【0134】

サーバ装置５００の制御部５１は、制御プログラムＱをＲＡＭ５１３に展開して動作させることによって、図１３に示す各機能部を実現する。より具体的には、サーバ装置５００の制御部５１は、注文受付部５２８と、商品ピックアップ情報生成部５２２と、ピックアップ経路情報生成部５２３と、情報送信部５２４と、ピッキング進捗状態取得部５２５と、商品画像受信部５２９と、商品画像送信部５３０と、表示制御部５２６と、操作制御部５２７とを機能部として実現する。このうち、商品ピックアップ情報生成部５２２と、ピックアップ経路情報生成部５２３と、情報送信部５２４と、ピッキング進捗状態取得部５２５と、表示制御部５２６と、操作制御部５２７とは、第１の実施の形態で説明したサーバ装置５０が備える機能部と同じ作用を実現する。

【0135】

そして、サーバ装置５００の制御部５１は、注文受付部５２１に代わって注文受付部５２８を備える。注文受付部５２８は、携帯端末７０から、商品を注文した顧客情報と、ピックアップすべき商品とその個数とに係る情報、即ち注文情報と、画像の送付を希望する商品を指定する情報とを取得する。

【0136】

商品画像受信部５２９は、カート２００から、客が指定した商品の画像と、当該画像に写っている商品を一意に特定する情報（例えば商品コード）とを受信する。

【0137】

商品画像送信部５３０は、客の携帯端末７０に、客から指定された商品の画像を送信する。

【0138】

（カートの機能構成）
次に、図１４を用いて、カート２００の機能構成を説明する。図１４は、第２の実施の形態のカートの機能構成の一例を示す機能ブロック図である。

【0139】

カート２００の制御部４１は、制御プログラムＰをＲＡＭ４１３に展開して動作させることによって、図１４に示す各機能部を実現する。より具体的には、カート２００の制御部４１は、商品ピックアップ情報取得部４２１と、ピックアップ経路情報取得部４２２と、容器設定受付部４２３と、測位処理部４２４と、商品投入検出部４２５と、商品画像選択部４３０と、商品画像送信部４３１と、ピッキング進捗状態確認部４２６と、表示制御部４２７と、操作制御部４２８とを機能部として実現する。このうち、商品ピックアップ情報取得部４２１と、ピックアップ経路情報取得部４２２と、容器設定受付部４２３と、測位処理部４２４と、商品投入検出部４２５と、ピッキング進捗状態確認部４２６と、表示制御部４２７と、操作制御部４２８とは、第１の実施の形態で説明したカート２０が備える機能部と同じ作用を実現する。

【0140】

商品画像選択部４３０は、客から指定された商品を撮像した画像の中から、客に送信する画像を選択する。商品画像選択部４３０は、例えば、商品投入検出部４２５が複数の方向から撮像した商品の中から、当該商品が最もよく写った画像を選択する。商品が最もよく写っている画像は、例えば、商品が最も大きく写っている、商品が最も明るく写っている、商品が最も鮮明に写っている等の評価基準に基づいて選択される。

【0141】

商品画像送信部４３１は、商品画像選択部４３０が選択した画像を、当該画像に写っている商品を一意に特定する情報（例えば商品コード）とともに、サーバ装置５００に送信する。

【0142】

（商品ピックアップシステムが行う処理の流れ）
次に、図１５を用いて、商品ピックアップシステム１００が行う処理の流れを説明する。図１５は、第２の実施の形態の商品ピックアップシステムが行う処理の流れの一例を示すフローチャートである。

【0143】

（サーバ装置が行う処理の流れ）
まず、サーバ装置５００が行う処理の流れを説明する。注文受付部５２８は、携帯端末７０から客の注文、即ち、客の識別番号と、購入する商品名と個数とを含む注文データＲと、画像の送付を希望する商品を指定する情報とを受け付ける（ステップＳ５１）。

【0144】

商品ピックアップ情報生成部５２２は、商品ピックアップ情報Ｔを生成する（ステップＳ５２）。なお、商品ピックアップ情報Ｔは、ピックアップすべき商品の商品情報と個数と、画像の送付を希望する商品を指定する情報とを含む。

【0145】

ピックアップ経路情報生成部５２３は、商品をピックアップするための移動経路を示すピックアップ経路情報８３を生成する（ステップＳ５３）。

【0146】

情報送信部５２４は、商品ピックアップ情報Ｔとピックアップ経路情報８３とをカート２００に送信する（ステップＳ５４）。

【0147】

商品画像受信部５２９は、カート２００から、客が指定した商品の画像を受信したかを判定する（ステップＳ５５）。客が指定した商品の画像を受信したと判定される（ステップＳ５５：Ｙｅｓ）とステップＳ５６に進む。一方、客が指定した商品の画像を受信したと判定されない（ステップＳ５５：Ｎｏ）とステップＳ５７に進む。

【0148】

ステップＳ５５において、客が指定した商品の画像を受信したと判定されると、商品画像送信部５３０は、受信した画像を客の携帯端末７０に送信する（ステップＳ５６）。

【0149】

ピッキング進捗状態取得部５２５は、全ての商品のピックアップが完了したかを判定する（ステップＳ５７）。全ての商品のピックアップが完了したと判定される（ステップＳ５７：Ｙｅｓ）と、サーバ装置５００は、図１５の処理を終了する。一方、全ての商品のピックアップが完了したと判定されない（ステップＳ５７：Ｎｏ）とステップＳ５５に戻る。

【0150】

（カートが行う処理の流れ）
次に、カート２００が行う処理の流れを説明する。商品ピックアップ情報取得部４２１は、サーバ装置５００から商品ピックアップ情報Ｔを取得する。なお、商品ピックアップ情報Ｔは、ピックアップすべき商品の商品情報と個数と、画像の送付を希望する商品を指定する情報とを含む。また、ピックアップ経路情報取得部４２２は、サーバ装置５００からピックアップ経路情報８３を取得する（ステップＳ６１）。

【0151】

ステップＳ６２からステップＳ６６までの処理の流れは、図１０で説明したステップＳ２２からステップＳ２６までの処理の流れと同じであるため、説明は省略する。

【0152】

続いて、商品投入検出部４２５と商品画像選択部４３０とは、商品が、収容部３１のいずれ（バッグ３１１，３１２およびカゴ３１３，３１４）に投入されたかの判定と、投入された商品の特定と、客に送付する画像の選択とを行う商品投入検出処理を行う（ステップＳ６７）。なお、商品投入検出処理の詳細な流れは後述する（図１６参照）。

【0153】

その後に行う、ステップＳ６８，Ｓ６９，Ｓ７０，Ｓ７１の各処理は、図１０で説明したステップＳ２８，Ｓ２９，Ｓ３０，Ｓ３１の処理とそれぞれ同じであるため、説明は省略する。

【0154】

ステップＳ６９に続いて、商品画像送信部４３１は、客に送信する画像があるかを判定する（ステップＳ７２）。客に送信する画像があると判定される（ステップＳ７２：Ｙｅｓ）とステップＳ７３に進む。一方、客に送信する画像があると判定されない（ステップＳ７２：Ｎｏ）とステップＳ７４に進む。

【0155】

ステップＳ７２において、客に送信する画像があると判定されると、商品画像送信部４３１は、商品の画像をサーバ装置５００に送信する（ステップＳ７３）。

【0156】

その後、ピッキング進捗状態確認部４２６は、全ての商品がピッキングされたかを確認する（ステップＳ７４）。全ての商品がピッキングされたと確認される（ステップＳ７４：Ｙｅｓ）とステップＳ７５に進む。一方、全ての商品がピッキングされたと確認されない（ステップＳ７４：Ｎｏ）とステップＳ６４に戻って、前記した処理を繰り返す。

【0157】

ステップＳ７４において、全ての商品がピッキングされたと確認されると、ピッキング進捗状態確認部４２６は、全ての商品のピックアップが完了したことを示す情報をサーバ装置５０に送信する（ステップＳ７５）。その後、カート２００は、図１５の処理を終了する。

【0158】

（商品投入検出処理の流れ）
次に、図１６を用いて、図１５のステップＳ６８で行われる商品投入検出処理の流れを説明する。図１６は、カートが備える商品投入検出部および商品画像選択部が行う処理の流れの一例を示すフローチャートである。

【0159】

図１６における、ステップＳ８１からステップＳ８６の各処理は、図１１で説明したステップＳ４１からステップＳ４６の各処理とそれぞれ同じであるため、説明は省略する。

【0160】

ステップＳ４４において商品を特定したと判定されるか、または、ステップＳ８６に続いて、商品画像送信部４３１は、特定された商品が、客に画像を送信すべき商品であるかを判定する（ステップＳ８７）。客に画像を送信すべき商品であると判定される（ステップＳ８７：Ｙｅｓ）とステップＳ８８に進む。一方、客に画像を送信すべき商品であると判定されない（ステップＳ８７：Ｎｏ）と、メインルーチン（図１５のフローチャート）に戻る。

【0161】

ステップＳ８７において、客に画像を送信すべき商品であると判定されると、商品画像選択部４３０は、商品投入検出部４２５が複数の方向から撮像した画像の中から、サーバ装置５００に送信する画像を選択する（ステップＳ８８）。その後、メインルーチン（図１５のフローチャート）に戻る。

【0162】

以上説明したように、第２の実施の形態のカート２００（商品ピックアップ装置）において、商品投入検出部４２５（検出部）は、収容部３１を異なる方向から撮像した画像に基づいて、商品が当該収容部３１に投入されたことと、投入された商品の商品情報とを検出する。そして、商品画像選択部４３０は、異なる方向から撮像された複数の画像の中から、商品が最もよく写った画像を選択する。そして、商品画像送信部４３１は、商品画像選択部４３０が選択した画像と、当該画像に写っている商品を一意に特定する情報とをサーバ装置５００に送信する。したがって、商品を注文した客に、ピックアップされた商品の画像を送信することができるため、客は、自身に配送される商品を予め確認することができる。

【0163】

以上、本発明の実施形態を説明したが、この実施形態は例示であり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0164】

１０，１００…商品ピックアップシステム、２０，２００…カート（商品ピックアップ装置）、２６…表示デバイス、２８，２８１，２８２，２８３，２８４…カメラ（撮像装置）、２９，２９１，２９２，２９３，２９４…照明用ＬＥＤ、３０，３０１，３０２，３０３，３０４…案内灯、３１…収容部、３４，３４１，３４２，３４３，３４４…商品リスト、３５…注文番号、３７，３８，３９…ピッキング状態、５０，５００…サーバ装置、６０…無線通信ユニット、７０…携帯端末、７２…インターネット、７３…生鮮食料品、７４…商品、７５…バーコード、８０…店内地図、８３…ピックアップ経路情報（経路情報）、８４，８５，８６…商品個数、８７…ラッシュアップシェルフ、８８…現在時刻、３１１，３１２…バッグ（容器，収容部）、３１３，３１４…カゴ（容器，収容部）、４２１…商品ピックアップ情報取得部（取得部）、４２２…ピックアップ経路情報取得部、４２３…容器設定受付部、４２４…測位処理部（測位部）、４２５…商品投入検出部（検出部）、４２６…ピッキング進捗状態確認部、４２７…表示制御部（表示部）、４２８…操作制御部、４３０…商品画像選択部、４３１…商品画像送信部、５２１，５２８…注文受付部、５２２…商品ピックアップ情報生成部、５２３…ピックアップ経路情報生成部、５２４…情報送信部、５２５…ピッキング進捗状態取得部、５２６…表示制御部、５２７…操作制御部、５２９…商品画像受信部、５３０…商品画像送信部、Ｉ（ｔ），Ｉ（ｔ＋Δｔ）…画像、Ｊ（ｔ＋Δｔ）…差分画像、Ｃ…顧客データ、Ｍ…商品マスタ、Ｐ，Ｑ…制御プログラム、Ｒ…注文データ、Ｓ…店内地図データ、Ｔ…商品ピックアップ情報

【先行技術文献】

【特許文献】

【0165】

【文献】特開２０２０－１５２５３４号公報

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】