知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024132726
(43)【公開日】2024-10-01
(54)【発明の名称】自動販売機および自動販売機システム
(51)【国際特許分類】
G07F 9/00 20060101AFI20240920BHJP
G07F 9/02 20060101ALI20240920BHJP
【ＦＩ】
G07F9/00 107C
G07F9/02 105
【審査請求】未請求
【請求項の数】16
【出願形態】ＯＬ
(21)【出願番号】P 2023043618
(22)【出願日】2023-03-17
(71)【出願人】
【識別番号】000005234
【氏名又は名称】富士電機株式会社
(74)【代理人】
【識別番号】100104433
【弁理士】
【氏名又は名称】宮園 博一
(74)【代理人】
【識別番号】100172362
【弁理士】
【氏名又は名称】田中 達哉
(72)【発明者】
【氏名】真鍋 章
(72)【発明者】
【氏名】堀口 剛史
(72)【発明者】
【氏名】神谷 圭亮
(72)【発明者】
【氏名】▲高▼橋 洋輔
【テーマコード（参考）】
3E044
【Ｆターム（参考）】
3E044AA01
3E044CA02
3E044CC01
3E044DD05
3E044EA08
3E044EA09
3E044FB05
(57)【要約】
【課題】購入された商品がコラムから搬出されない販売不具合の発生を抑制することが可能な自動販売機および自動販売機システムを提供する。
【解決手段】この自動販売機１００は、商品８０を収納する複数のコラム５を含む収納庫１と、収納庫１を撮影する撮影部２と、撮影部２により撮影されたコラム５の画像に基づいて、コラム５と商品８０との対応関係を判定するかまたは商品８０の姿勢を判定する制御部１０と、を備える。
【選択図】図１
【解決手段】この自動販売機１００は、商品８０を収納する複数のコラム５を含む収納庫１と、収納庫１を撮影する撮影部２と、撮影部２により撮影されたコラム５の画像に基づいて、コラム５と商品８０との対応関係を判定するかまたは商品８０の姿勢を判定する制御部１０と、を備える。
【選択図】図１
【特許請求の範囲】
【請求項1】
商品を収納する複数のコラムを含む収納庫と、
前記収納庫を撮影する撮影部と、
前記撮影部により撮影された前記コラムの画像に基づいて、前記コラムと前記商品との対応関係を判定するかまたは前記商品の姿勢を判定する制御部と、を備える、自動販売機。
前記収納庫を撮影する撮影部と、
前記撮影部により撮影された前記コラムの画像に基づいて、前記コラムと前記商品との対応関係を判定するかまたは前記商品の姿勢を判定する制御部と、を備える、自動販売機。
【請求項2】
前記制御部は、少なくとも前記判定結果が否定的な場合に、ユーザに前記判定結果が否定的な旨を通知する、請求項１に記載の自動販売機。
【請求項3】
前記制御部は、前記コラムと前記商品の寸法とが対応付けられたコラム商品対応情報と、前記コラムの画像とに基づいて、前記商品に対して設置されている前記コラムの良否を判定する、請求項１または２に記載の自動販売機。
【請求項4】
前記制御部は、前記コラム商品対応情報と、前記撮影部により撮影された、商品配置前の前記コラムの画像である商品配置前画像と、商品販売時の前記コラムおよび前記コラムに収納された前記商品の画像である商品販売時画像とに基づいて、設置されている前記コラムの良否を判定する、請求項３に記載の自動販売機。
【請求項5】
前記制御部は、前記商品配置前画像および前記商品販売時画像に基づいて、前記コラムに関するコラム情報および前記商品の寸法に関する商品寸法情報を取得するとともに、前記コラム商品対応情報と、取得された前記コラム情報および前記商品寸法情報とに基づいて、設置されている前記コラムの良否を判定する、請求項４に記載の自動販売機。
【請求項6】
前記収納庫は、左右方向に隣接する前記コラムを仕切る仕切り板と、螺旋状に巻回され、前後方向に延びるスパイラル部材とを含み、
前記コラム商品対応情報および前記コラム情報は、１つの前記コラムに配置される前記スパイラル部材の数、前記スパイラル部材の螺旋のピッチ、および、前記コラムを仕切る前記仕切り板の間隔、の情報のうちの少なくとも１つを含む、請求項５に記載の自動販売機。
前記コラム商品対応情報および前記コラム情報は、１つの前記コラムに配置される前記スパイラル部材の数、前記スパイラル部材の螺旋のピッチ、および、前記コラムを仕切る前記仕切り板の間隔、の情報のうちの少なくとも１つを含む、請求項５に記載の自動販売機。
【請求項7】
前記制御部は、１つの前記コラムに配置される前記スパイラル部材の数が複数である場合に、前記商品販売時画像に基づいて、さらに複数の前記スパイラル部材の各々の先端部の位置情報を取得するとともに、取得された前記先端部の位置情報に基づいて、前記先端部同士の位置関係の良否をさらに判定する、請求項６に記載の自動販売機。
【請求項8】
前記制御部は、前記撮影部により撮影された商品販売時の前記コラムおよび前記コラムに収納された前記商品の画像である商品販売時画像に基づく収納された前記商品の姿勢に関する収納姿勢情報と、正常な商品の姿勢に関する正常姿勢情報とを取得するとともに、取得された前記収納姿勢情報および前記正常姿勢情報に基づいて、前記コラムにおける前記商品の姿勢の良否を判定する、請求項１または２に記載の自動販売機。
【請求項9】
前記制御部は、
前記商品販売時画像に基づいて、前記商品の形状に関する商品形状情報を取得し、取得された前記商品形状情報と前記商品販売時画像とに基づいて前記収納姿勢情報を取得するとともに、前記収納姿勢情報に基づいて前記正常姿勢情報を取得し、
取得された前記収納姿勢情報と前記正常姿勢情報とに基づいて、前記コラムにおける商品の姿勢の良否を判定する、請求項８に記載の自動販売機。
前記商品販売時画像に基づいて、前記商品の形状に関する商品形状情報を取得し、取得された前記商品形状情報と前記商品販売時画像とに基づいて前記収納姿勢情報を取得するとともに、前記収納姿勢情報に基づいて前記正常姿勢情報を取得し、
取得された前記収納姿勢情報と前記正常姿勢情報とに基づいて、前記コラムにおける商品の姿勢の良否を判定する、請求項８に記載の自動販売機。
【請求項10】
前記制御部は、取得された前記収納姿勢情報と前記正常姿勢情報との差分を取得するともに、取得された前記差分が予め設定された閾値を超える場合に、前記商品の姿勢を不良と判定する、請求項９に記載の自動販売機。
【請求項11】
前記制御部は、前記判定結果として前記商品の姿勢が不良と判定した場合に、前記コラムにおける前記商品の販売を停止させる制御を行う、請求項８に記載の自動販売機。
【請求項12】
前記制御部は、前記撮影部により撮影された商品配置前の前記コラムの画像である商品配置前画像における複数の部分に関する配置前部分情報と、前記撮影部により撮影された商品販売時の前記コラムの画像である商品販売時画像における前記複数部分に対応する部分に関する販売時部分情報とに基づいて、前記商品販売時画像を補正するとともに、前記商品配置前画像と、補正された前記商品販売時画像とに基づいて、前記コラムにおける前記商品の有無をさらに判定する、請求項１または２に記載の自動販売機。
【請求項13】
前記制御部は、
複数の前記コラムの各々に付与された識別表示に対応する複数の画像を取得し、
前記商品配置前画像において前記複数の画像を検出するとともに、検出した前記複数の画像に関する第１配置情報を前記配置前部分情報として取得し、前記商品販売時画像において前記複数の画像を検出するとともに、検出した前記複数の画像に関する第２配置情報を前記販売時部分情報として取得し、前記第１配置情報と前記第２配置情報とに基づいて、前記商品販売時画像を補正し、
前記商品配置前画像と、補正された前記商品販売時画像とに基づいて、前記コラムにおける前記商品の有無を判定する、請求項１２に記載の自動販売機。
複数の前記コラムの各々に付与された識別表示に対応する複数の画像を取得し、
前記商品配置前画像において前記複数の画像を検出するとともに、検出した前記複数の画像に関する第１配置情報を前記配置前部分情報として取得し、前記商品販売時画像において前記複数の画像を検出するとともに、検出した前記複数の画像に関する第２配置情報を前記販売時部分情報として取得し、前記第１配置情報と前記第２配置情報とに基づいて、前記商品販売時画像を補正し、
前記商品配置前画像と、補正された前記商品販売時画像とに基づいて、前記コラムにおける前記商品の有無を判定する、請求項１２に記載の自動販売機。
【請求項14】
前記制御部は、
前記第１配置情報として、前記商品配置前画像において検出した前記複数の画像に基づく位置情報および角度情報を取得し、前記第２配置情報として、前記商品販売時画像において検出した前記複数の画像に基づく位置情報および角度情報を取得するとともに、前記第１配置情報と前記第２配置情報とに基づいて、前記商品販売時画像を補正し、
前記商品配置前画像と、補正された前記商品販売時画像とに基づいて、前記コラムにおける前記商品の有無を判定する、請求項１３に記載の自動販売機。
前記第１配置情報として、前記商品配置前画像において検出した前記複数の画像に基づく位置情報および角度情報を取得し、前記第２配置情報として、前記商品販売時画像において検出した前記複数の画像に基づく位置情報および角度情報を取得するとともに、前記第１配置情報と前記第２配置情報とに基づいて、前記商品販売時画像を補正し、
前記商品配置前画像と、補正された前記商品販売時画像とに基づいて、前記コラムにおける前記商品の有無を判定する、請求項１３に記載の自動販売機。
【請求項15】
前記商品販売時画像において前記販売時部分情報が取得されない場合に、前記制御部は、ユーザに前記撮影部が異常である旨を通知する、請求項１２に記載の自動販売機。
【請求項16】
商品を収納する複数のコラムが設けられた収納庫を含む自動販売機と、前記自動販売機と通信可能な表示装置とを備え、
前記自動販売機は、
前記収納庫を撮影する撮影部と、
前記撮影部により撮影された前記コラムの画像に基づいて、前記コラムと前記商品との対応関係を判定するかまたは前記商品の姿勢を判定するとともに、少なくとも前記判定結果が否定的な場合に、前記表示装置に前記判定結果が否定的な旨を通知する制御部と、を備え、
前記表示装置は、前記制御部から通知された前記判定結果を表示する、自動販売機システム。
前記自動販売機は、
前記収納庫を撮影する撮影部と、
前記撮影部により撮影された前記コラムの画像に基づいて、前記コラムと前記商品との対応関係を判定するかまたは前記商品の姿勢を判定するとともに、少なくとも前記判定結果が否定的な場合に、前記表示装置に前記判定結果が否定的な旨を通知する制御部と、を備え、
前記表示装置は、前記制御部から通知された前記判定結果を表示する、自動販売機システム。
【発明の詳細な説明】
【技術分野】
【0001】
この発明は、自動販売機および自動販売機システムに関し、特に、商品を収納する複数のコラムを含む収納庫と、収納庫を撮影する撮影部とを備える自動販売機および自動販売機システムに関する。
【背景技術】
【0002】
従来、商品を収納する複数のコラムを含む収納庫と、収納庫を撮影する撮影部とを備える自動販売機が知られている（たとえば、特許文献１参照）。
【0003】
上記特許文献１には、商品が載置される複数のコラムが配置された収納庫と、撮影部を含む判定部材検知部と、売り切れ判定部と、を備える自動販売機が開示されている。上記特許文献１には、撮影部は、コラムに設けられた売り切れ判定部材を検知することが開示されている。また、上記特許文献１には、売り切れ判定部は、撮影部による売り切れ判定部材の検知結果に基づいてコラム毎に商品が売り切れているか否かを判定することが開示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２０２０－２１３６７号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
上記特許文献１には開示されていないが、ユーザにより設置されたコラムが商品に対して狭すぎることや、商品がコラムに対して傾いた状態により配置されていることなどに起因して、商品購入者により購入された商品がコラムから商品の取出口まで搬出されない販売不具合が発生する可能性がある。販売不具合が発生した場合、商品購入者は商品を購入したにもかかわらず、商品を受け取ることができない。そのため、購入された商品がコラムから搬出されない販売不具合の発生を抑制することが可能な自動販売機が望まれている。
【0006】
この発明は、上記のような課題を解決するためになされたものであり、この発明の１つの目的は、購入された商品がコラムから搬出されない販売不具合の発生を抑制することが可能な自動販売機および自動販売機システムを提供することである。
【課題を解決するための手段】
【0007】
上記目的を達成するために、この発明の第１の局面による自動販売機は、商品を収納する複数のコラムを含む収納庫と、収納庫を撮影する撮影部と、撮影部により撮影されたコラムの画像に基づいて、コラムと商品との対応関係を判定するかまたは商品の姿勢を判定する制御部と、を備える。
【0008】
この発明の第１の局面による自動販売機では、上記のように、制御部は、撮影部により撮影されたコラムの画像に基づいて、コラムと商品との対応関係を判定するかまたは商品の姿勢を判定する。これにより、制御部は、コラムと商品との対応関係を、撮影部により撮影されたコラムの画像に基づいて判定することができる。または、制御部は、商品の姿勢を、撮影部により撮影されたコラムの画像に基づいて判定することができる。その結果、制御部による判定結果に基づいて、商品に対して設置されているコラムの修正、コラムにおける商品の姿勢の修正、または、コラムと商品との対応関係が不良と判定されたコラムまたは商品の姿勢が不良と判定されたコラムにおける商品の販売停止などを行うことができる。したがって、購入された商品がコラムから搬出されない販売不具合の発生を抑制することができる。
【0009】
上記第１の局面による自動販売機において、好ましくは、制御部は、少なくとも判定結果が否定的な場合に、ユーザに判定結果が否定的な旨を通知する。このように構成すれば、コラムと商品との対応関係の判定結果が否定的であるか、または商品の姿勢の判定結果が否定的である場合に、否定的な判定結果をユーザが認識することができる。これにより、否定的な判定結果の通知に基づいて、ユーザは、商品に対して設置されているコラムの修正、または、コラムにおける商品の姿勢の修正などを速やかに実行することができる。その結果、商品の販売機会の損失を抑制することができる。ここで、本明細書において、ユーザとは、自動販売機の管理者、自動販売機のコラム設置者および自動販売機への商品充填者のうちの少なくともいずれかを意味する。
【0010】
上記第１の局面による自動販売機において、好ましくは、制御部は、コラムと商品の寸法とが対応付けられたコラム商品対応情報と、コラムの画像とに基づいて、商品に対して設置されているコラムの良否を判定する。このように構成すれば、コラムと商品との対応関係を、コラムと商品の寸法とが対応付けられたコラム商品対応情報と、コラムの画像とに基づいて判定することができるため、商品に対して設置されているコラムの良否を容易に判定することができる。その結果、制御部による判定結果に基づいて、商品に対して設置されているコラムの修正や、コラムと商品との対応関係が不良と判定されたコラムにおける商品の販売停止などを行うことができる。したがって、購入された商品がコラムから搬出されない販売不具合の発生をより抑制することができる。
【0011】
この場合、好ましくは、制御部は、コラム商品対応情報と、撮影部により撮影された、商品配置前のコラムの画像である商品配置前画像と、商品販売時のコラムおよびコラムに収納された商品の画像である商品販売時画像とに基づいて、設置されているコラムの良否を判定する。このように構成すれば、コラムと商品との対応関係を、商品配置前のコラムの画像である商品配置前画像と、商品販売時のコラムおよびコラムに収納された商品の画像である商品販売時画像とに基づいて判定することができる。これにより、商品配置前画像と商品販売時画像とに基づいて、現在設置されているコラムの良否を判定することができる。その結果、商品に対して設置されているコラムの良否を精度良く判定することができる。
【0012】
上記制御部がコラム商品対応情報と商品配置前画像と商品販売時画像とに基づいてコラムの良否を判定する構成において、好ましくは、制御部は、商品配置前画像および商品販売時画像に基づいて、コラムに関するコラム情報および商品の寸法に関する商品寸法情報を取得するとともに、コラム商品対応情報と、取得されたコラム情報および商品寸法情報とに基づいて、設置されているコラムの良否を判定する。このように構成すれば、コラムと商品との対応関係を、コラムに関するコラム情報および商品の寸法に関する商品寸法情報に基づいて判定することができる。これにより、コラム情報と商品寸法情報とに基づいて現在設置されているコラムの良否を判定することができる。その結果、商品に対して設置されているコラムの良否をより精度良く判定することができる。
【0013】
この場合、好ましくは、収納庫は、左右方向に隣接するコラムを仕切る仕切り板と、螺旋状に巻回され、前後方向に延びるスパイラル部材とを含み、コラム商品対応情報およびコラム情報は、１つのコラムに配置されるスパイラル部材の数、スパイラル部材の螺旋のピッチ、および、コラムを仕切る仕切り板の間隔、の情報のうちの少なくとも１つを含む。このように構成すれば、コラム商品対応情報およびコラム情報には、上記情報のうちの少なくとも１つが含まれる。これにより、コラム商品対応情報およびコラム情報に含まれる上記情報のうちの少なくとも１つに基づいて、現在設置されているコラムの良否を判定することができる。その結果、コラムの良否をより一層精度良く判定することができる。
【0014】
上記コラム商品対応情報およびコラム情報が上記の情報のうちの少なくとも１つを含む構成において、好ましくは、制御部は、１つのコラムに配置されるスパイラル部材の数が複数である場合に、商品販売時画像に基づいて、さらに複数のスパイラル部材の各々の先端部の位置情報を取得するとともに、取得された先端部の位置情報に基づいて、先端部同士の位置関係の良否をさらに判定する。このように構成すれば、制御部は、複数のスパイラル部材の各々の先端部の位置関係の良否をさらに判定することができる。これにより、判定結果が否定的であると判定された場合に、スパイラル部材の先端部の位置の修正などを行うことができるため、複数のスパイラル部材の各々の先端部の位置が揃っていないことに起因する商品の搬出不良を抑制することができる。その結果、商品の販売機会の損失をより抑制することができる。
【0015】
上記第１の局面による自動販売機において、好ましくは、制御部は、撮影部により撮影された商品販売時のコラムおよびコラムに収納された商品の画像である商品販売時画像に基づく収納された商品の姿勢に関する収納姿勢情報と、正常な商品の姿勢に関する正常姿勢情報とを取得するとともに、取得された収納姿勢情報および正常姿勢情報に基づいて、コラムにおける商品の姿勢の良否を判定する。このように構成すれば、コラムにおける商品の姿勢を、取得された収納姿勢情報および正常姿勢情報に基づいて判定することができるため、収納姿勢情報のみに基づいてコラムにおける商品の姿勢の良否を判定する場合と比べて、コラムにおける商品の姿勢の良否を容易に判定することができる。その結果、制御部による判定結果に基づいて、コラムにおける商品の姿勢の修正や、商品の姿勢が不良と判定されたコラムにおける商品の販売停止などを行うことができる。したがって、購入された商品がコラムから搬出されない販売不具合の発生をより抑制することができる。
【0016】
この場合、好ましくは、制御部は、商品販売時画像に基づいて、商品の形状に関する商品形状情報を取得し、取得された商品形状情報と商品販売時画像とに基づいて収納姿勢情報を取得するとともに、収納姿勢情報に基づいて正常姿勢情報を取得し、取得された収納姿勢情報と正常姿勢情報とに基づいて、コラムにおける商品の姿勢の良否を判定する。このように構成すれば、商品販売時画像に基づいて取得した商品形状情報と、商品販売時画像とに基づいて収納姿勢情報を取得することができるため、商品の形状に応じた収納姿勢情報を取得することができるとともに、商品の形状に応じた収納姿勢情報に基づいて正常姿勢情報を取得することができる。その結果、収納姿勢情報と正常姿勢情報とに基づいて、コラムにおける商品の姿勢の良否を判定することができる。したがって、商品の形状に応じたコラムにおける商品の姿勢の良否を精度良く判定することができる。
【0017】
上記制御部が商品形状情報と商品販売時画像とに基づいて収納姿勢情報を取得するとともに収納姿勢情報に基づいて正常姿勢情報を取得する構成において、好ましくは、制御部は、取得された収納姿勢情報と正常姿勢情報との差分を取得するともに、取得された差分が予め設定された閾値を超える場合に、商品の姿勢を不良と判定する。このように構成すれば、取得された差分が予め設定された閾値を超える場合に商品の姿勢を不良と判定することができる。これにより、商品の形状に応じたコラムにおける商品の姿勢の良否をより精度良く判定することができる。
【0018】
上記制御部が収納姿勢情報および正常姿勢情報に基づいてコラムにおける商品の姿勢の良否を判定する構成において、好ましくは、制御部は、判定結果として商品の姿勢が不良と判定した場合に、コラムにおける商品の販売を停止させる制御を行う。このように構成すれば、判定結果として商品の姿勢が不良と判定されたコラムにおける商品の販売を停止させることができる。その結果、購入された商品がコラムから搬出されない販売不具合の発生を確実に抑制することができる。
【0019】
上記第１の局面による自動販売機において、好ましくは、制御部は、撮影部により撮影された商品配置前のコラムの画像である商品配置前画像における複数の部分に関する配置前部分情報と、撮影部により撮影された商品販売時のコラムの画像である商品販売時画像における複数部分に対応する部分に関する販売時部分情報とに基づいて、商品販売時画像を補正するとともに、商品配置前画像と、補正された商品販売時画像とに基づいて、コラムにおける商品の有無をさらに判定する。このように構成すれば、商品配置前画像における複数の部分に関する配置前部分情報と、商品販売時画像における複数部分に対応する部分に関する販売時部分情報とに基づいて、商品販売時画像を補正することができるため、商品配置前画像および商品販売時画像における１つの部分に基づいて商品販売時画像を補正する場合と比べて、撮影部の位置ずれに起因する商品配置前画像と商品販売時画像との位置ずれを適切に補正することができる。その結果、商品配置前画像および商品販売時画像の撮影の際に撮影部の位置ずれが生じている場合であっても、制御部は、商品配置前画像と、補正された商品販売時画像とに基づいて、コラムにおける商品の有無を精度良く判定することができる。したがって、コラムにおける商品の売り切れ判定の精度を向上させることができる。
【0020】
この場合、好ましくは、制御部は、複数のコラムの各々に付与された識別表示に対応する複数の画像を取得し、商品配置前画像において複数の画像を検出するとともに、検出した複数の画像に関する第１配置情報を配置前部分情報として取得し、商品販売時画像において複数の画像を検出するとともに、検出した複数の画像に関する第２配置情報を販売時部分情報として取得し、第１配置情報と第２配置情報とに基づいて、商品販売時画像を補正し、商品配置前画像と、補正された商品販売時画像とに基づいて、コラムにおける商品の有無を判定する。このように構成すれば、識別表示に対応する複数の画像を検出することにより取得した第１配置情報および第２配置情報に基づいて商品販売時画像を補正することができるため、撮影部の位置ずれに起因する商品配置前画像と商品販売時画像との位置ずれを適切に補正することができる。その結果、商品配置前画像および商品販売時画像の撮影の際に撮影部の位置ずれが生じている場合であっても、制御部は、商品配置前画像と、補正された商品販売時画像とに基づいて、コラムにおける商品の有無をより精度良く判定することができる。したがって、コラムにおける商品の売り切れ判定の精度をより向上させることができる。
【0021】
上記制御部が第１配置情報と第２配置情報とに基づいて商品販売時画像を補正する構成において、好ましくは、制御部は、第１配置情報として、商品配置前画像において検出した複数の画像に基づく位置情報および角度情報を取得し、第２配置情報として、商品販売時画像において検出した複数の画像に基づく位置情報および角度情報を取得するとともに、第１配置情報と第２配置情報とに基づいて、商品販売時画像を補正し、商品配置前画像と、補正された商品販売時画像とに基づいて、コラムにおける商品の有無を判定する。このように構成すれば、角度情報を含む第１配置情報および第２配置情報に基づいて、商品販売時画像を補正することができるため、商品配置前画像および商品販売時画像の回転方向の複雑な位置ずれを適切に補正することができる。その結果、商品配置前画像および商品販売時画像の撮影の際に撮影部の複雑な位置ずれが生じている場合であっても、制御部は、商品配置前画像と、補正された商品販売時画像とに基づいて、コラムにおける商品の有無をより一層精度良く判定することができる。
【0022】
上記制御部が配置前部分情報と販売時部分情報とに基づいて商品販売時画像を補正する構成において、好ましくは、商品販売時画像において販売時部分情報が取得されない場合に、制御部は、ユーザに撮影部が異常である旨を通知する。このように構成すれば、撮影部が異常である旨の通知に基づいて、ユーザは撮影部の異常を認識することができるため、撮影部の不具合の修正を速やかに実行することができる。その結果、商品の販売機会の損失を抑制することができる。
【0023】
この発明の第２の局面による自動販売機システムは、商品を収納する複数のコラムが設けられた収納庫を含む自動販売機と、自動販売機と通信可能な表示装置とを備え、自動販売機は、収納庫を撮影する撮影部と、撮影部により撮影されたコラムの画像に基づいて、コラムと商品との対応関係を判定するかまたは商品の姿勢を判定するとともに、少なくとも判定結果が否定的な場合に、表示装置に判定結果が否定的な旨を通知する制御部と、を備え、表示装置は、制御部から通知された判定結果を表示する。
【0024】
この発明の第２の局面による自動販売機システムでは、上記第１の局面と同様に、制御部は、撮影部により撮影されたコラムの画像に基づいて、コラムと商品との対応関係を判定するかまたは商品の姿勢を判定する。これにより、制御部は、コラムと商品との対応関係を、撮影部により撮影されたコラムの画像に基づいて判定することができる。または、制御部は、商品の姿勢を、撮影部により撮影されたコラムの画像に基づいて判定することができる。その結果、表示部に表示された制御部による判定結果に基づいて、ユーザは、商品に対して設置されているコラムの修正、コラムにおける商品の姿勢の修正、または、コラムと商品との対応関係が不良と判定されたコラムまたは商品の姿勢が不良と判定されたコラムにおける商品の販売停止などを行うことができる。したがって、購入された商品がコラムから搬出されない販売不具合の発生を抑制することができる。
【発明の効果】
【0025】
本発明によれば、上記のように、購入された商品がコラムから搬出されない販売不具合の発生を抑制することが可能な自動販売機および自動販売機システムを提供することができる。
【図面の簡単な説明】
【0026】
【図1】第１実施形態による自動販売機を含む自動販売機システムの構成を示すブロック図である。
【図2】自動販売機の一例を示した模式図である。
【図3】商品配置前画像の一例を示した模式図である。
【図4】商品販売時画像の一例を示した模式図である。
【図5】コラム情報の一例を説明するための説明図である。
【図6】商品寸法情報の一例を説明するための説明図である。
【図7】コラム商品対応情報の一例を説明するための説明図である。
【図8】判定部によるコラムの良否の判定結果の一例を説明するための説明図である。
【図9】判定部による判定結果が良である場合の表示部への表示例を説明するための説明図である。
【図10】コラムの良否の判定結果が不良である場合の表示部への表示例を説明するための説明図である。
【図11】コラムの良否の判定処理について説明するためのフローチャートである。
【図12】箱形状における収納姿勢形状を説明するための模式図である。
【図13】第１容器形状における収納姿勢形状を説明するための模式図である。
【図14】第２容器形状における収納姿勢形状を説明するための模式図である。
【図15】箱形状における正常姿勢形状を説明するための模式図である。
【図16】第１容器形状における正常姿勢形状を説明するための模式図である。
【図17】第２容器形状における正常姿勢形状を説明するための模式図である。
【図18】商品の姿勢の良否判定結果が不良である場合の表示部への表示例を説明するための説明図である。
【図19】商品の姿勢の良否の判定処理について説明するためのフローチャートである。
【図20】第２実施形態による自動販売機を含む自動販売機システムの構成を示すブロック図である。
【図21】特徴量分布の模式図である。
【図22】商品無し画像を説明するための模式図である。
【図23】商品販売時画像の補正を説明するための商品配置前画像の一例を示した模式図である。
【図24】商品販売時画像の補正を説明するための商品販売時画像の一例を示した模式図である。
【図25】補正された商品販売時画像の一例を示した模式図である。
【図26】商品の有無の判定処理について説明するためのフローチャートである。
【図27】第１配置情報の取得処理について説明するためのフローチャートである。
【図28】第２配置情報の取得処理について説明するためのフローチャートである。
【発明を実施するための形態】
【0027】
以下、本発明を具体化した実施形態を図面に基づいて説明する。
【0028】
【0029】
図１に示すように、自動販売機システム２００は、自動販売機１００と、端末装置９０とを備えている。自動販売機１００と、端末装置９０とは、通信ネットワーク９５を介して通信可能である。なお、端末装置９０は、特許請求の範囲に記載した「表示装置」の一例である。
【0030】
（自動販売機の構成）
自動販売機１００は、ハードウェアとして、収納庫１と、撮影部２と、自動販売機側制御部１０と、記憶部３０と、自動販売機側通信部３と、搬送部４とを含む。また、図２に示すように、自動販売機１００は、筐体１０１と、扉１０２とを含む。筐体１０１の内部には、収納庫１が配置されている。自動販売機側制御部１０は、特許請求の範囲に記載した「制御部」の一例である。
自動販売機１００は、ハードウェアとして、収納庫１と、撮影部２と、自動販売機側制御部１０と、記憶部３０と、自動販売機側通信部３と、搬送部４とを含む。また、図２に示すように、自動販売機１００は、筐体１０１と、扉１０２とを含む。筐体１０１の内部には、収納庫１が配置されている。自動販売機側制御部１０は、特許請求の範囲に記載した「制御部」の一例である。
【0031】
図３に示すように、収納庫１は、内部に商品８０が配置される、区画された複数のコラム５を有している。収納庫１は、左右方向に隣接するコラム５を仕切る仕切り板６と、仕切られた複数のコラム５の各々に１つまたは複数配置されたスパイラル部材７とを含む。第１実施形態において、スパイラル部材７は、仕切り板６により仕切られた複数のコラム５の各々に１つまたは２つ設けられている。
【0032】
複数のスパイラル部材７が配置されているコラム５では、コラム５の左右方向の間隔を調整するため、配置された仕切り板６を左右方向のいずれかに移動可能なように構成されている。第１実施形態では、スパイラル部材７が２つ配置されているコラム５において、配置された仕切り板６を移動させる調整を行うことにより、コラム５の左右方向の幅が広い幅広のコラム５、コラム５の左右方向の幅が狭い幅狭のコラム５、および、幅広のコラム５より幅が狭く、幅狭のコラム５より幅が広い標準のコラム５、のいずれかのコラム５として設置することができる。
【0033】
図２に示すように、スパイラル部材７は、螺旋状に巻回され、コラム５の前後方向に延びるように配置されている。スパイラル部材７は、コラム５に配置された商品８０を搬送部４に搬出するために設けられている。
【0034】
撮影部２は、商品配置前のコラム５の画像である商品配置前画像２０（図３参照）と、商品販売時のコラム５およびコラム５に収納された商品８０の画像である商品販売時画像２１（図４参照）とを撮影するように構成されている。撮影部２は、２つのカメラを含んでいる。撮影部２は、搬送部４に配置されている。具体的には、搬送部４の左右両端部の各々における回転しない部分に１つずつ配置されている。撮影部２は、２つのカメラに基づいて、コラム５に関するコラム情報３２および商品８０の寸法に関する商品寸法情報３３を取得することが可能なように構成されている。なお、撮影部２は、２つのカメラではなく、１つのステレオカメラであっても良い。
【0035】
撮影部２は、ユーザによるコラム５の設置後、ユーザによるコラム５への商品８０の配置前に、商品配置前画像２０を撮影する。具体的には、コラム５設置後、商品配置前に自動販売機１００の扉１０２が閉められた状態において、ユーザによるリモコン（図示せず）の入力操作に基づいて、撮影部２は商品配置前画像２０を撮影する。
【0036】
また、撮影部２は、ユーザによるコラム５への商品８０の配置後に、商品販売時画像２１を撮影する。具体的には、ユーザによる商品配置後に自動販売機１００の扉１０２が閉められたことによりドアスイッチがオンとなったことに基づいて、撮影部２は商品販売時画像２１を撮影する。また、撮影部２は、商品購入者による商品８０の購入後に、商品販売時画像２１を撮影する。具体的には、商品購入者による商品８０の購入に基づいて、撮影部２は商品販売時画像２１を撮影する。
【0037】
図１に示すように、自動販売機側制御部１０は、ソフトウェア（ソフトウェアプログラム）として、判定部１１と、コラム情報取得部１２と、商品外形取得部１３と、画像処理部１４と、商品形状取得部１５と、動作制御部１６と、を含む。自動販売機側制御部１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、または、画像処理用に構成されたＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）などを含んでいる。なお、判定部１１、コラム情報取得部１２、商品外形取得部１３、画像処理部１４、商品形状取得部１５商品外形取得部１３および動作制御部１６を含む自動販売機側制御部１０は、特許請求の範囲の「制御部」の一例である。
【0038】
判定部１１は、コラム５と商品８０の寸法とが対応付けられた後述するコラム商品対応情報３１と、商品配置前画像２０および商品販売時画像２１とに基づいて、商品８０に対して設置されているコラム５の良否を判定するように構成されている。また、判定部１１は、後述する収納姿勢情報３５および正常姿勢情報３６に基づいて、コラム５における商品８０の姿勢の良否を判定するように構成されている。判定部１１による、コラム５の良否の判定、および、コラム５における商品８０の姿勢の良否の判定については、後述する。
【0039】
コラム情報取得部１２は、商品配置前画像２０に基づいて、コラム５に関するコラム情報３２を取得するように構成されている。コラム情報取得部１２は、一例として、図５に示すように、１つのコラム５に配置されるスパイラル部材７の数、スパイラル部材７の螺旋のピッチ、および、コラム５を仕切る仕切り板６の間隔、の情報を取得する。コラム情報取得部１２は、撮影部２に含まれる２つのカメラの視差に基づいて、コラム５に設置された仕切り板６およびスパイラル部材７までの距離を取得するとともに、取得した距離に基づいて、仕切り板６およびスパイラル部材７の位置および寸法を取得する。コラム情報取得部１２は、撮影部２により商品配置前画像２０が撮影された場合に、撮影された商品配置前画像２０に基づいて、コラム情報３２を取得する。
【0040】
商品外形取得部１３は、商品販売時画像２１に基づいて、商品８０の寸法に関する商品寸法情報３３を取得するように構成されている。商品外形取得部１３は、複数のコラム５毎に、コラム５の最前面に配置された商品８０の商品寸法情報３３を取得する。商品外形取得部１３は、一例として、図６に示すように、商品８０の幅方向の寸法の情報、商品８０の高さ方向の寸法の情報、および、商品８０の奥行方向の寸法の情報を取得する。商品外形取得部１３は、撮影部２に含まれる２つのカメラの視差に基づいて、コラム５の最前面に配置された商品８０に関する距離を取得するとともに、取得した距離に基づいて、商品８０の寸法に関する情報を取得する。また、商品外形取得部１３は、商品形状取得部１５により取得された商品形状情報３４と、撮影部２により撮影された商品販売時画像２１とに基づいて、商品８０の輪郭の頂点座標の情報などを含む収納姿勢情報３５を取得する。商品外形取得部１３による収納姿勢情報３５の取得の詳細は、後述する。商品外形取得部１３は、上記距離に基づく商品８０の寸法に関する情報と、収納姿勢情報３５とに基づいて、商品８０の商品寸法情報３３を取得する。
【0041】
また、商品外形取得部１３は、取得された収納姿勢情報３５に基づいて正常姿勢情報３６を取得するように構成されている。
【0042】
商品外形取得部１３は、ユーザによる商品配置後に自動販売機１００の扉１０２が閉められたことによりドアスイッチがオンとなったことに基づいて撮影部２により商品販売時画像２１が撮影された場合に、撮影された商品販売時画像２１に基づいて、商品寸法情報３３を取得する。
【0043】
また、商品外形取得部１３は、１つのコラム５に配置されるスパイラル部材７の数が複数である場合に、商品販売時画像２１に基づいて、さらに複数のスパイラル部材７の各々の先端部７ａの位置情報を取得する。商品外形取得部１３は、図６に示すように、先端部７ａの位置情報として、複数のスパイラル部材７の各々の先端部７ａの位置（図４参照）が揃っている良か、または、先端部７ａの位置が揃っていない不良かに関する情報を取得する。ここで、複数のスパイラル部材７の各々の先端部７ａの位置が揃っているとは、複数のスパイラル部材７の各々の先端部７ａの位置が、コラム５の上下方向に延びる中心線に対して線対象の位置に配置されていることを意味する。
【0044】
商品形状取得部１５は、商品販売時画像２１に基づいて、商品８０の形状に関する商品形状情報３４を取得するように構成されている。商品形状取得部１５は、第１学習済みモデル３７を用いて、コラム５の最前面に配置された商品８０の商品形状情報３４を取得するように構成されている。具体的には、商品形状取得部１５は、第１学習済みモデル３７に対して、入力画像であるコラム５毎の商品販売時画像２１を入力し、出力結果であるコラム５の最前面に配置された商品８０の商品形状情報３４を取得する。
【0045】
商品形状取得部１５は、ユーザによる商品配置後に自動販売機１００の扉１０２が閉められたことに基づいて撮影部２により商品販売時画像２１が撮影された場合に、撮影された商品販売時画像２１に基づいて、商品形状情報３４を取得する。また、商品形状取得部１５は、商品購入者による商品８０の購入に基づいて撮影部２により商品販売時画像２１が撮影された場合に、撮影された商品販売時画像２１に基づいて、商品形状情報３４を取得する。
【0046】
画像処理部１４は、撮影部２により撮影された商品販売時画像２１から、商品８０が販売されたコラム５に対応する領域を切り出す処理を行うように構成されている。具体的には、画像処理部１４は、上下方向の２段の各々に配置された複数のコラム５がまとめて撮影された商品販売時画像２１（図４参照）から、商品８０が販売されたコラム５に対応する領域を抽出した抽出画像７０（図１２参照）を生成する。また、画像処理部１４は、ユーザによるコラム５への商品８０の配置後に撮影部２により撮影された商品販売時画像２１から、コラム５毎の領域を切り出す処理を行うことにより、抽出画像７０を生成するように構成されている。
【0047】
動作制御部１６は、自動販売機１００の販売動作を制御するように構成されている。動作制御部１６は、商品購入者により商品選択ボタン（不図示）が操作されたことに基づいて、選択された商品８０を搬送部４に搬出させるようにスパイラル部材７を制御するように構成されている。また、動作制御部１６は、選択された商品８０が配置されているコラム５に搬送部４を移動させる制御を行うように構成されている。動作制御部１６は、商品８０が搬出された搬送部４を取出口１０３（図２参照）まで移動させる制御を行うように構成されている。
【0048】
動作制御部１６は、判定部１１により商品８０の姿勢が不良と判定された場合に、商品８０の姿勢が不良であると判定されたコラム５における商品８０の販売を停止させる制御を行うように構成されている。また、自動販売機側通信部３によりユーザによる特定のコラム５における商品８０の販売を停止させる販売停止命令を取得した場合に、販売停止命令に係る特定のコラム５における商品８０の販売を停止させる制御を行うように構成されている。これらの場合、動作制御部１６は、商品８０の姿勢が不良であると判定されたコラム５、または、販売停止命令に係る特定のコラム５を選択する操作入力を受け付けないように構成されている。
【0049】
記憶部３０は、揮発性記憶装置および不揮発性記憶装置を含んで構成される。記憶部３０には、撮影部２により撮影された、商品配置前画像２０と、商品販売時画像２１とが記憶されている。また、記憶部３０には、コラム商品対応情報３１と、コラム情報取得部１２により取得されたコラム情報３２と、商品外形取得部１３により取得された商品寸法情報３３とが記憶されている。また、記憶部３０には、商品形状取得部１５により取得された商品形状情報３４と、商品外形取得部１３により取得された収納姿勢情報３５および正常姿勢情報３６とが記憶されている。また、記憶部３０には、商品形状情報３４を取得するための第１学習済みモデル３７が記憶されている。また、記憶部３０には、自動販売機側制御部１０が実行する各種プログラム３８が記憶されている。
【0050】
自動販売機側通信部３は、端末装置９０との間において通信を行う。
【0051】
搬送部４は、コラム５から搬出された商品８０を取出口１０３に搬送する。搬送部４は、上方が開口したバケットである。搬送部４は、上下方向に移動する。搬送部４は、取出口１０３の近傍で回転することにより商品８０を取出口１０３に搬出する。
【0052】
（端末装置の構成）
端末装置９０は、操作部９１と、表示部９２と、端末装置側通信部９３と、端末装置側制御部９４とを備える。端末装置９０は、たとえば、ユーザが使用するコンピュータである。
端末装置９０は、操作部９１と、表示部９２と、端末装置側通信部９３と、端末装置側制御部９４とを備える。端末装置９０は、たとえば、ユーザが使用するコンピュータである。
【0053】
操作部９１は、端末装置９０への操作の入力を受け付ける。操作部９１は、たとえば、キーボード、マウス、表示部９２に設けられたタッチパネルなどである。
【0054】
表示部９２は、自動販売機１００の判定部１１における判定結果や、端末装置９０の操作のための情報を表示する。表示部９２は、たとえば、液晶ディスプレイや有機ＥＬディスプレイなどである。
【0055】
端末装置側通信部９３は、自動販売機１００との間において通信を行う。
【0056】
端末装置側制御部９４は、端末装置９０の動作制御を行う。端末装置側制御部９４は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などを含んでいる。
【0057】
（コラムの良否の判定）
判定部１１による、設置されているコラム５の良否の判定について説明する。
判定部１１による、設置されているコラム５の良否の判定について説明する。
【0058】
判定部１１は、上述したように、コラム商品対応情報３１と、コラム情報３２および商品寸法情報３３とに基づいて、設置されているコラム５の良否を判定するように構成されている。
【0059】
図５に示すように、コラム情報３２は、コラム情報取得部１２により、商品配置前画像２０に基づいて複数のコラム５毎に取得される。コラム情報取得部１２は、１つのコラム５に配置されたスパイラル部材７の数の情報として、スパイラル部材７の数が１つまたは２つのいずれであるかの情報を取得する。スパイラル部材７の数が１つである場合には、シングルとの情報を取得し、スパイラル部材７の数が２つである場合には、ダブルとの情報を取得する。また、コラム情報取得部１２は、スパイラル部材７の螺旋のピッチの情報として、スパイラル部材７の巻き数の情報を取得する。スパイラル部材７の巻き数は、スパイラル部材７に収納可能な商品数である。また、コラム情報取得部１２は、コラム５を仕切る仕切り板６の間隔の情報として、幅広のコラム５、幅狭のコラム５、または、標準のコラム５のいずれのコラム５であるかの情報を取得する。
【0060】
コラム情報取得部１２により取得されたコラム情報３２は、記憶部３０にデータテーブルとして記憶される。コラム情報３２の一例として、コラム位置：１－２において、スパイラル部材７の数：ダブル、スパイラル部材７のピッチ：５、および、仕切り板６の間隔：幅広、が記憶されている。
【0061】
図６に示すように、商品寸法情報３３は、商品外形取得部１３により、商品販売時画像２１に基づいて複数のコラム５毎に取得される。商品外形取得部１３により取得された商品寸法情報３３は、記憶部３０にデータテーブルとして記憶される。商品寸法情報３３の一例として、コラム位置：１－２において、商品８０の幅方向の寸法：１１０ｍｍ、商品８０の高さ方向の寸法：１００、商品８０の奥行方向の寸法：８０、および、スパイラルの先端部７ａの位置：良、が記憶されている。
【0062】
図７に示すように、コラム商品対応情報３１は、予め記憶部３０にデータテーブルとして記憶されている。コラム商品対応情報３１は、自動販売機１００で販売されうる商品８０の寸法に対する、商品８０を配置するために設置されるコラム５の最適な組み合わせの情報である。コラム商品対応情報３１には、商品８０の幅方向の寸法の情報、商品８０の高さ方向の寸法の情報、および、商品８０の奥行方向の寸法の情報の組み合わせ毎に、設置される最適なコラム５としての、スパイラル部材７の数の情報、スパイラル部材７の巻き数の情報、および、仕切り板６の間隔の情報が対応付けられている。
【0063】
一例として、商品８０の幅方向の寸法：１３２ｍｍ～１６４ｍｍ、商品８０の高さ方向の寸法：３０ｍｍ～１６０ｍｍ、商品８０の奥行方向の寸法：５６ｍｍ～８７ｍｍの商品８０に対して設置される最適なコラム５として、スパイラル部材７の数：ダブル、スパイラル部材７のピッチ：５、仕切り板６の間隔：幅広、が対応付けられている。
【0064】
判定部１１は、コラム商品対応情報３１と、コラム情報３２および商品寸法情報３３とを比較する。図８は、判定部１１による判定結果の一例である。図８に示すように、コラム位置１－２、コラム位置５－６、および、コラム位置１０において設置されているコラム５が不良であると判定されているとともに、コラム位置１－２、コラム位置５－６、および、コラム位置１０以外において設置されているコラム５が良であると判定されている。
【0065】
具体的には、コラム位置１－２は、配置されている商品８０の幅方向の寸法から仕切り板６の間隔：標準、が適切であるのに対して、設置されているコラム５は、仕切り板６の間隔：幅広、であるため、コラム位置１－２は不良であると判定されている。また、コラム位置５－６は、スパイラルの先端部７ａの位置：不良、であるため、コラム位置５－６は不良であると判定されている。また、コラム位置１０は、配置されている商品８０の奥行方向の寸法からスパイラル部材７の巻き数：５、が適切であるのに対して、設置されているコラム５は、スパイラル部材７の巻き数：１０、であるため、コラム位置１０は不良であると判定されている。
【0066】
判定部１１による判定結果は、自動販売機側通信部３により、端末装置９０に通知される。図９は、判定部１１による判定結果がすべてのコラム５において肯定的である場合における、端末装置９０の表示部９２に表示される判定結果である。すなわち、判定部１１による判定結果がすべてのコラム５において良である。この場合、表示部９２に、「棚設定状態：良」と表示される。
【0067】
これに対して、図１０は、判定部１１による判定結果が否定的である場合における、端末装置９０の表示部９２に表示される判定結果である。すなわち、判定部１１による判定結果が一部またはすべてのコラム５において不良である。図１０に示す一例では、コラム位置１－２、コラム位置５－６、および、コラム位置１０において設置されているコラム５が不良であるとの判定結果に基づいて、コラム位置１－２、コラム位置５－６、および、コラム位置１０に関する表示欄に色（ハッチングにより図示）が付されている。この場合、表示部９２に、「棚設定状態：不良」と表示される。
【0068】
なお、判定部１１による判定結果が否定的である場合に、ユーザによる操作部９１における販売停止命令の入力に基づいて、端末装置側通信部９３を介して、動作制御部１６により、否定的な判定結果に該当するコラム５における商品８０の販売を停止させても良い。これにより、否定的な判定結果に該当するコラム５において、購入された商品８０がコラム５から搬出されない販売不具合の発生を回避することができる。
【0069】
（コラムの良否の判定処理）
図１１を参照して、第１実施形態による、撮影部２、自動販売機側制御部１０（判定部１１、コラム情報取得部１２、商品外形取得部１３）、および、自動販売機側通信部３による、設置されているコラム５の良否の判定処理について説明する。なお、処理ステップの順番は、互いに矛盾しない限りにおいて、前後を入れ替えたり同時に実行させたりすることができる。
図１１を参照して、第１実施形態による、撮影部２、自動販売機側制御部１０（判定部１１、コラム情報取得部１２、商品外形取得部１３）、および、自動販売機側通信部３による、設置されているコラム５の良否の判定処理について説明する。なお、処理ステップの順番は、互いに矛盾しない限りにおいて、前後を入れ替えたり同時に実行させたりすることができる。
【0070】
ステップＳ１において、撮影部２は、ユーザによるコラム５の設置後、ユーザによるコラム５への商品８０の配置前に、商品配置前画像２０を撮影する。その後、処理はステップＳ２に進む。
【0071】
ステップＳ２において、コラム情報取得部１２は、撮影部２により撮影された商品配置前画像２０に基づいて、複数のコラム５毎に、コラム情報３２として、１つのコラム５に配置されるスパイラル部材７の数の情報、スパイラル部材７の螺旋のピッチの情報、および、コラム５を仕切る仕切り板６の間隔の情報を取得する。取得されたコラム情報３２は、記憶部３０に記憶される。その後、処理はステップＳ３に進む。
【0072】
ステップＳ３において、撮影部２は、ユーザによるコラム５への商品８０の配置後に、商品販売時画像２１を撮影する。その後、処理はステップＳ４に進む。
【0073】
ステップＳ４において、商品外形取得部１３は、撮影部２により撮影された商品販売時画像２１と、商品形状取得部１５により取得された商品形状情報３４に基づいて取得された収納姿勢情報３５とに基づいて、複数のコラム５毎に、商品寸法情報３３として、商品８０の幅方向の寸法の情報、商品８０の高さ方向の寸法の情報、および、商品８０の奥行方向の寸法の情報を取得する。また、商品外形取得部１３は、１つのコラム５に配置されるスパイラル部材７の数が複数である場合に、商品販売時画像２１に基づいて、複数のスパイラル部材７の各々の先端部７ａの位置情報を取得する。取得された商品寸法情報３３および先端部７ａの位置情報は、記憶部３０に記憶される。その後、処理はステップＳ５に進む。
【0074】
ステップＳ５において、判定部１１は、記憶部３０に記憶された、コラム商品対応情報３１と、コラム情報３２、商品寸法情報３３および先端部７ａの位置情報とに基づいて、設置されているコラム５の良否を判定する。判定部１１は、すべてのコラム５において良（肯定的）と判定した場合（ステップＳ５においてＹｅｓ）、処理はステップＳ６に進み、判定部１１は、一部またはすべてのコラム５において不良（否定的）と判定した場合（ステップＳ５においてＮｏ）、処理はステップＳ７に進む。
【0075】
ステップＳ６において、判定部１１は、自動販売機側通信部３を介して、端末装置９０に判定結果が肯定的な旨を通知する。端末装置９０は、表示部９２に、肯定的な判定結果に関する情報を表示する。その後、処理は終了する。
【0076】
ステップＳ７において、判定部１１は、自動販売機側通信部３を介して、端末装置９０に判定結果が否定的な旨を通知する。端末装置９０は、表示部９２に、否定的な判定結果に関する情報を表示する。その後、処理は終了する。
【0077】
（コラムにおける商品の姿勢の良否の判定）
次に、判定部１１による、コラム５における商品８０の姿勢の良否を判定について説明する。
次に、判定部１１による、コラム５における商品８０の姿勢の良否を判定について説明する。
【0078】
上述したように、図１に示すように、商品形状取得部１５は、商品販売時画像２１に基づいて商品形状情報３４を取得するように構成されている。また、上述したように、商品外形取得部１３は、商品形状情報３４と商品販売時画像２１とに基づいて収納姿勢情報３５を取得するように構成されている。また、商品外形取得部１３は、収納姿勢情報３５に基づいて正常姿勢情報３６を取得するように構成されている。また、判定部１１は、収納姿勢情報３５と正常姿勢情報３６とに基づいて、コラム５における商品８０の姿勢の良否を判定するように構成されている。なお、コラム５における商品８０の姿勢の良否を判定においても、設置されているコラム５の良否の判定において用いられる、商品外形取得部１３により取得された収納姿勢情報３５と同じ収納姿勢情報３５が用いられる。
【0079】
商品形状取得部１５は、記憶部３０に記憶された第１学習済みモデル３７を用いて、予め分類された商品８０の形状に関する商品形状情報３４を取得する。商品形状取得部１５は、第１学習済みモデル３７に対して、商品販売時画像２１に対して画像処理部１４により生成された抽出画像７０を入力し、出力結果として商品８０の商品形状情報３４を取得する。
【0080】
第１学習済みモデル３７は、作成された複数の学習データセットを教師データとして機械学習を行うことにより作成される。第１学習済みモデル３７の機械学習法として、全層畳み込みニューラルネットワーク（ＦｕｌｌｙＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｔｗｏｒｋｓ；ＦＣＮ）、ニューラルネットワーク、サポートベクターマシン（ＳＶＭ）、ブースティング等の任意の手法を用いることができる。しかしながら、第１学習済みモデル３７の作成方法は特に限定されない。
【0081】
第１実施形態において、商品形状情報３４として、たとえば、コラム５の最前面に配置された商品８０の形状が、箱形状であるとの情報、第１容器形状であるとの情報、または、第２容器形状であるとの情報、のいずれかの情報が取得される。図１２に示すように、箱形状であるとの情報とは、商品８０が矩形の箱形状を有しているとの情報のことである。図１３に示すように、第１容器形状であるとの情報とは、商品８０が底部を有する略円錐状の容器８１および略円形の蓋８２を含むとともに、コラム５の前面側に蓋８２の表面が配置されるように商品８０が収納されている商品形状を有しているとの情報のことである。図１４に示すように、第２容器形状であるとの情報とは、商品８０が底部を有する略円錐状の容器８１および略円形の蓋８２を含むとともに、コラム５の前面側に容器８１の側面が配置されるように商品８０が収納されている商品形状を有しているとの情報のことである。
【0082】
商品外形取得部１３は、撮影部２により撮影された商品販売時画像２１と、記憶部３０に記憶された商品配置前画像２０に基づく抽出画像７０とを比較し、背景差分法を用いて、商品販売時画像２１に基づく抽出画像７０において商品８０の領域を抽出する。商品外形取得部１３は、商品形状取得部１５により取得された商品形状情報３４と、抽出画像７０において抽出した商品８０の領域と基づいて、商品販売時画像２１における商品８０の輪郭を検出するとともに、商品輪郭の検出結果に基づいて、たとえば、輪郭の頂点座標の情報や、輪郭の辺の水平方向に対する角度の情報や、輪郭の中心座標の情報である収納姿勢情報３５を取得する。すなわち、商品外形取得部１３は、抽出画像７０におけるコラム５に収納された商品８０の現在の姿勢に関する収納姿勢情報３５を取得する。
【0083】
第１実施形態において、図１２に示すように、商品形状情報３４として箱形状であるとの情報が取得された場合に、商品外形取得部１３は、収納姿勢情報３５として、抽出画像７０における、商品８０の矩形状の輪郭の左上頂点座標Ｐ１の情報、商品８０の矩形状の輪郭の右下頂点座標Ｐ２の情報、および、商品８０の矩形状の輪郭の底辺の水平方向に対する角度θ１の情報を取得する。また、図１３に示すように、商品形状情報３４として第１容器形状であるとの情報が取得された場合に、商品外形取得部１３は、収納姿勢情報３５として、抽出画像７０における、商品８０の略円形の蓋８２の輪郭の中心座標Ｐ３の情報、および、商品８０の略円形の蓋８２の輪郭の縦横比の情報を取得する。また、図１４に示すように、商品形状情報３４として第２容器形状であるとの情報が取得された場合に、商品外形取得部１３は、収納姿勢情報３５として、抽出画像７０における、商品８０の容器８１の側面視における台形形状の輪郭の左上頂点座標Ｐ４の情報、商品８０の容器８１の側面視における台形形状の輪郭の右下頂点座標Ｐ５の情報、商品８０の容器８１の側面視における台形形状の輪郭の中心線の水平方向に対する角度θ２の情報、および、商品８０の容器８１の側面視における台形形状の輪郭の上底及び下底の長さ比の情報を取得する。
【0084】
図１に示すように、商品外形取得部１３により取得された収納姿勢情報３５は、記憶部３０に記憶される。
【0085】
また、商品外形取得部１３は、取得された収納姿勢情報３５と、商品形状取得部１５により取得された商品形状情報３４とに基づいて、正常な姿勢８３でコラム５に収納されている場合の商品８０の輪郭を算出するとともに、正常な姿勢８３における商品輪郭の検出結果に基づいて、たとえば、輪郭の頂点座標の情報や、輪郭の辺の水平方向に対する角度の情報や、輪郭の中心座標の情報である正常姿勢情報３６を取得する。すなわち、商品外形取得部１３は、抽出画像７０におけるコラム５に収納された商品８０の正常な姿勢８３に関する正常姿勢情報３６を取得する。
【0086】
第１実施形態において、商品外形取得部１３は、図１５に示すように、商品形状情報３４として箱形状であるとの情報が取得された場合に、収納姿勢情報３５に基づく辺長さ情報から正常な姿勢８３でコラム５に収納されている場合の商品８０の輪郭を算出するとともに、正常な姿勢８３における商品輪郭の検出結果に基づいて、正常姿勢情報３６を取得する。説明の便宜上、商品８０の正常な姿勢８３をハッチングにより図示している。正常姿勢情報３６として、正常な姿勢８３における、商品８０の矩形状の輪郭の左上頂点座標Ｐ６の情報、および、商品８０の矩形状の輪郭の右下頂点座標Ｐ７の情報を取得する。
【0087】
また、商品外形取得部１３は、図１６に示すように、商品形状情報３４として第１容器形状であるとの情報が取得された場合に、収納姿勢情報３５に基づいて蓋８２の楕円形状を検出するとともに、検出した楕円形状の長軸の長さ情報を取得する。そして、商品外形取得部１３は、長軸の長さ情報から正常な姿勢８３でコラム５に収納されている場合の商品８０の蓋８２の輪郭を算出するとともに、正常な姿勢８３における商品輪郭の検出結果に基づいて、正常姿勢情報３６を取得する。説明の便宜上、商品８０の正常な姿勢８３をハッチングにより図示している。正常姿勢情報３６として、正常な姿勢８３における、商品８０の略円形の蓋８２の輪郭の中心座標Ｐ８の情報を取得する。
【0088】
また、商品外形取得部１３は、図１７に示すように、商品形状情報３４として第２容器形状であるとの情報が取得された場合に、収納姿勢情報３５に基づいて商品８０の容器８１の側面視における台形形状を検出するとともに、検出した台形形状の上底および下底の長さ比から商品８０の上下方向を決定する。そして、商品外形取得部１３は、正常な姿勢８３でコラム５に収納されている場合の商品８０の容器８１の側面視における台形形状の輪郭を算出するとともに、正常な姿勢８３における商品輪郭の検出結果に基づいて、正常姿勢情報３６を取得する。説明の便宜上、商品８０の正常な姿勢８３をハッチングにより図示している。正常姿勢情報３６として、正常な姿勢８３における、商品８０の容器８１の側面視における台形形状の輪郭の右上頂点座標Ｐ９の情報、および、商品８０の容器８１の側面視における台形形状の輪郭の左下頂点座標Ｐ１０の情報を取得する。
【0089】
図１に示すように、商品外形取得部１３により取得された正常姿勢情報３６は、記憶部３０に記憶される。
【0090】
判定部１１は、収納姿勢情報３５と正常姿勢情報３６との差分を取得する。そして、判定部１１は、取得された差分が予め設定された閾値以下の場合に、商品８０の姿勢を良と判定するとともに、取得された差分が予め設定された閾値を超える場合に、商品８０の姿勢を不良と判定する。
【0091】
判定部１１は、ユーザによるコラム５への商品８０の配置後に、撮影部２により撮影された商品販売時画像２１に基づいて、複数のコラム５の各々に対して、コラム５における商品８０の姿勢の良否の判定を実行する。また、判定部１１は、商品購入者による商品８０の購入後に、撮影部２により撮影された商品販売時画像２１に基づいて、商品８０が販売されたコラム５に対して、コラム５における商品８０の姿勢の良否の判定を実行する。
【0092】
判定部１１による判定結果は、自動販売機側通信部３により、端末装置９０に通知される。判定部１１により商品８０の姿勢が良と判定された場合、端末装置９０の表示部９２に、商品８０の姿勢が良である旨が表示される。
【0093】
図１９は、判定部１１により商品８０の姿勢が不良と判定された場合における、端末装置９０の表示部９２に表示される判定結果の一例である。この場合、表示部９２に、「判定結果：ＮＧ」と表示される。また、表示部９２に、抽出画像７０に正常姿勢情報３６に基づく商品８０の輪郭が重畳された重畳画像が表示されるとともに、「枠にあうように修正して下さい」とのメッセージが表示される。
【0094】
また、判定部１１による不良の判定結果に基づいて、動作制御部１６（図１参照）は、不良の判定結果に該当するコラム５における商品８０の販売を停止させる制御を行う。これにより、不良の判定結果に該当するコラム５において、購入された商品８０がコラム５から搬出されない販売不具合の発生を回避することができる。
【0095】
（コラムにおける商品の姿勢の良否の判定処理）
図１９を参照して、第１実施形態による、撮影部２、自動販売機側制御部１０（判定部１１、商品形状取得部１５、商品外形取得部１３、画像処理部１４）、および、自動販売機側通信部３による、コラム５における商品８０の姿勢の良否の判定処理について説明する。なお、処理ステップの順番は、互いに矛盾しない限りにおいて、前後を入れ替えたり同時に実行させたりすることができる。
図１９を参照して、第１実施形態による、撮影部２、自動販売機側制御部１０（判定部１１、商品形状取得部１５、商品外形取得部１３、画像処理部１４）、および、自動販売機側通信部３による、コラム５における商品８０の姿勢の良否の判定処理について説明する。なお、処理ステップの順番は、互いに矛盾しない限りにおいて、前後を入れ替えたり同時に実行させたりすることができる。
【0096】
ステップＳ１１において、撮影部２は、ユーザによるコラム５の設置後、ユーザによるコラム５への商品８０の配置前に、商品配置前画像２０を撮影する。その後、処理はステップＳ１２に進む。
【0097】
ステップＳ１２において、撮影部２は、ユーザによるコラム５への商品８０の配置後、および、商品購入者による商品８０の購入後に、商品販売時画像２１を撮影する。その後、処理はステップＳ１３に進む。
【0098】
ステップＳ１３において、画像処理部１４は、ユーザによるコラム５への商品８０の配置後、および、商品購入者による商品８０の購入後に、撮影部２により撮影された商品販売時画像２１に基づいて、抽出画像７０を生成する。その後、処理はステップＳ１４に進む。
【0099】
ステップＳ１４において、商品形状取得部１５は、記憶部３０に記憶された第１学習済みモデル３７に対して、画像処理部１４により生成された抽出画像７０を入力し、出力結果として商品８０の商品形状情報３４を取得する。その後、処理はステップＳ１５に進む。
【0100】
ステップＳ１５において、商品外形取得部１３は、商品形状取得部１５により取得された商品形状情報３４と抽出画像７０とに基づいて収納姿勢情報３５を取得する。取得された収納姿勢情報３５は、記憶部３０に記憶される。その後、処理はステップＳ１６に進む。
【0101】
ステップＳ１６において、商品外形取得部１３は、取得された収納姿勢情報３５と、商品形状取得部１５により取得された商品形状情報３４とに基づいて、正常姿勢情報３６を取得する。取得された正常姿勢情報３６は、記憶部３０に記憶される。その後、処理はステップＳ１７に進む。
【0102】
ステップＳ１７において、判定部１１は、記憶部３０に記憶された、収納姿勢情報３５と正常姿勢情報３６とに基づいて、コラム５における商品８０の姿勢の良否を判定する。具体的には、判定部１１は、収納姿勢情報３５と正常姿勢情報３６との差分を取得するとともに、取得された差分が予め設定された閾値以下の場合に、商品８０の姿勢を良と判定し、取得された差分が予め設定された閾値を超える場合に、商品８０の姿勢を不良と判定する。判定部１１は、コラム５における商品８０の姿勢を良（肯定的）と判定した場合（ステップＳ１７においてＹｅｓ）、処理はステップＳ１８に進み、判定部１１は、コラム５における商品８０の姿勢を不良（否定的）と判定した場合（ステップＳ１７においてＮｏ）、処理はステップＳ１９に進む。
【0103】
ステップＳ１８において、判定部１１は、自動販売機側通信部３を介して、端末装置９０に判定結果が肯定的な旨を通知する。端末装置９０は、表示部９２に、肯定的な判定結果に関する情報を表示する。その後、処理は終了する。
【0104】
ステップＳ１９において、判定部１１は、自動販売機側通信部３を介して、端末装置９０に判定結果が否定的な旨を通知する。端末装置９０は、表示部９２に、否定的な判定結果に関する情報、および、抽出画像７０に正常姿勢情報３６に基づく商品８０の輪郭が重畳された重畳画像を表示する。その後、処理はステップＳ２０に進む。
【0105】
ステップＳ２０において、動作制御部１６は、不良の判定結果に該当するコラム５における商品８０の販売を停止させる制御を行う。その後、処理は終了する。
【0106】
（第１実施形態の効果）
第１実施形態では、以下のような効果を得ることができる。
第１実施形態では、以下のような効果を得ることができる。
【0107】
第１実施形態では、上記のように、判定部１１は、撮影部２により撮影されたコラム５の画像に基づいて、コラム５と商品８０との対応関係を判定するかまたは商品８０の姿勢を判定する。これにより、判定部１１は、コラム５と商品８０との対応関係を、撮影部２により撮影されたコラム５の画像に基づいて判定することができる。または、判定部１１は、商品８０の姿勢を、撮影部２により撮影されたコラム５の画像に基づいて判定することができる。その結果、判定部１１による判定結果に基づいて、商品８０に対して設置されているコラム５の修正、コラム５における商品８０の姿勢の修正、または、コラム５と商品８０との対応関係が不良と判定されたコラム５または商品８０の姿勢が不良と判定されたコラム５における商品８０の販売停止などを行うことができる。したがって、購入された商品８０がコラム５から搬出されない販売不具合の発生を抑制することができる。
【0108】
また、第１実施形態では、上記のように、判定部１１は、少なくとも判定結果が否定的な場合に、ユーザに判定結果が否定的な旨を通知する。これにより、コラム５と商品８０との対応関係の判定結果が否定的であるか、または商品８０の姿勢の判定結果が否定的である場合に、否定的な判定結果をユーザが認識することができる。そのため、否定的な判定結果の通知に基づいて、ユーザは、商品８０に対して設置されているコラム５の修正、または、コラム５における商品８０の姿勢の修正などを速やかに実行することができる。その結果、商品８０の販売機会の損失を抑制することができる。
【0109】
また、第１実施形態では、上記のように、判定部１１は、コラム５と商品８０の寸法とが対応付けられたコラム商品対応情報３１と、コラム５の画像とに基づいて、商品８０に対して設置されているコラム５の良否を判定する。これにより、コラム５と商品８０との対応関係を、コラム５と商品８０の寸法とが対応付けられたコラム商品対応情報３１と、コラム５の画像とに基づいて判定することができるため、商品８０に対して設置されているコラム５の良否を容易に判定することができる。その結果、判定部１１による判定結果に基づいて、商品８０に対して設置されているコラム５の修正や、コラム５と商品８０との対応関係が不良と判定されたコラム５における商品８０の販売停止などを行うことができる。したがって、購入された商品８０がコラム５から搬出されない販売不具合の発生をより抑制することができる。
【0110】
また、第１実施形態では、上記のように、判定部１１は、コラム商品対応情報３１と、撮影部２により撮影された、商品配置前のコラム５の画像である商品配置前画像２０と、商品販売時のコラム５およびコラム５に収納された商品８０の画像である商品販売時画像２１とに基づいて、設置されているコラム５の良否を判定する。これにより、コラム５と商品８０との対応関係を、商品配置前のコラム５の画像である商品配置前画像２０と、商品販売時のコラム５およびコラム５に収納された商品８０の画像である商品販売時画像２１とに基づいて判定することができる。よって、商品配置前画像２０と商品販売時画像２１とに基づいて、現在設置されているコラム５の良否を判定することができる。その結果、商品８０に対して設置されているコラム５の良否を精度良く判定することができる。
【0111】
また、第１実施形態では、上記のように、判定部１１は、商品配置前画像２０および商品販売時画像２１に基づいて、コラム５に関するコラム情報３２および商品８０の寸法に関する商品寸法情報３３を取得するとともに、コラム商品対応情報３１と、取得されたコラム情報３２および商品寸法情報３３とに基づいて、設置されているコラム５の良否を判定する。これにより、コラム５と商品８０との対応関係を、コラム５に関するコラム情報３２および商品８０の寸法に関する商品寸法情報３３に基づいて判定することができる。よって、コラム情報３２と商品寸法情報３３とに基づいて現在設置されているコラム５の良否を判定することができる。その結果、商品８０に対して設置されているコラム５の良否をより精度良く判定することができる。
【0112】
また、第１実施形態では、上記のように、収納庫１は、左右方向に隣接するコラム５を仕切る仕切り板６と、螺旋状に巻回され、前後方向に延びるスパイラル部材７とを含み、コラム商品対応情報３１およびコラム情報３２は、１つのコラム５に配置されるスパイラル部材７の数、スパイラル部材７の螺旋のピッチ、および、コラム５を仕切る仕切り板６の間隔、の情報を含む。これにより、コラム商品対応情報３１およびコラム情報３２には、上記情報が含まれるため、コラム商品対応情報３１およびコラム情報３２に含まれる上記情報に基づいて、現在設置されているコラム５の良否を判定することができる。その結果、判定部１１は、コラム５の良否をより一層精度良く判定することができる。
【0113】
また、第１実施形態では、上記のように、商品外形取得部１３は、１つのコラム５に配置されるスパイラル部材７の数が複数である場合に、商品販売時画像２１に基づいて、さらに複数のスパイラル部材７の各々の先端部７ａの位置情報を取得するとともに、取得された先端部７ａの位置情報に基づいて、先端部７ａ同士の位置関係の良否をさらに判定する。これにより、商品外形取得部１３は、複数のスパイラル部材７の各々の先端部７ａの位置関係の良否をさらに判定することができる。よって、判定部１１により判定結果が否定的であると判定された場合に、スパイラル部材７の先端部７ａの位置の修正などを行うことができるため、複数のスパイラル部材７の各々の先端部７ａの位置が揃っていないことに起因する商品８０の搬出不良を抑制することができる。その結果、商品８０の販売機会の損失をより抑制することができる。
【0114】
また、第１実施形態では、上記のように、判定部１１は、撮影部２により撮影された商品販売時のコラム５およびコラム５に収納された商品８０の画像である商品販売時画像２１に基づく収納された商品８０の姿勢に関する収納姿勢情報３５と、正常な商品８０の姿勢に関する正常姿勢情報３６とを取得するとともに、取得された収納姿勢情報３５および正常姿勢情報３６に基づいて、コラム５における商品８０の姿勢の良否を判定する。これにより、コラム５における商品８０の姿勢を、取得された収納姿勢情報３５および正常姿勢情報３６に基づいて判定することができるため、収納姿勢情報３５のみに基づいてコラム５における商品８０の姿勢の良否を判定する場合と比べて、コラム５における商品８０の姿勢の良否を容易に判定することができる。その結果、判定部１１による判定結果に基づいて、コラム５における商品８０の姿勢の修正や、商品８０の姿勢が不良と判定されたコラム５における商品８０の販売停止などを行うことができる。したがって、購入された商品８０がコラム５から搬出されない販売不具合の発生をより抑制することができる。
【0115】
また、第１実施形態では、上記のように、商品形状取得部１５は、商品販売時画像２１に基づいて、商品８０の形状に関する商品形状情報３４を取得し、商品外形取得部１３は、取得された商品形状情報３４と商品販売時画像２１とに基づいて収納姿勢情報３５を取得するとともに、収納姿勢情報３５に基づいて正常姿勢情報３６を取得し、判定部１１は、取得された収納姿勢情報３５と正常姿勢情報３６とに基づいて、コラム５における商品８０の姿勢の良否を判定する。これにより、商品外形取得部１３は、商品販売時画像２１に基づいて取得した商品形状情報３４と、商品販売時画像２１とに基づいて収納姿勢情報３５を取得することができるため、商品８０の形状に応じた収納姿勢情報３５を取得することができるとともに、商品８０の形状に応じた収納姿勢情報３５に基づいて正常姿勢情報３６を取得することができる。その結果、収納姿勢情報３５と正常姿勢情報３６とに基づいて、コラム５における商品８０の姿勢の良否を判定することができる。したがって、商品８０の形状に応じたコラム５における商品８０の姿勢の良否を精度良く判定することができる。
【0116】
また、第１実施形態では、上記のように、判定部１１は、取得された収納姿勢情報３５と正常姿勢情報３６との差分を取得するともに、取得された差分が予め設定された閾値を超える場合に、商品８０の姿勢を不良と判定する。これにより、取得された差分が予め設定された閾値を超える場合に商品８０の姿勢を不良と判定することができる。したがって、商品８０の形状に応じたコラム５における商品８０の姿勢の良否をより精度良く判定することができる。
【0117】
また、第１実施形態では、上記のように、判定部１１が判定結果として商品８０の姿勢が不良と判定した場合に、動作制御部１６は、コラム５における商品８０の販売を停止させる制御を行う。これにより、判定結果として商品８０の姿勢が不良と判定されたコラム５における商品８０の販売を停止させることができる。その結果、購入された商品８０がコラム５から搬出されない販売不具合の発生を確実に抑制することができる。
【0118】
［第２実施形態］
（自動販売機の構成）
次に、図２０～図２５を参照して、第２実施形態による自動販売機システム２１０の構成の構成について説明する。第２実施形態では、第１実施形態と異なり、画像処理部１４は、撮影部２により撮影された商品配置前画像２０における配置前部分情報と、商品販売時画像２１における販売時部分情報とに基づいて、商品販売時画像２１を補正するとともに、判定部１１はコラム５における商品８０の有無をさらに判定するように構成されている。なお、図中において、上記第１実施形態による自動販売機システム２００と同様の構成の部分には、同一の符号を付している。
（自動販売機の構成）
次に、図２０～図２５を参照して、第２実施形態による自動販売機システム２１０の構成の構成について説明する。第２実施形態では、第１実施形態と異なり、画像処理部１４は、撮影部２により撮影された商品配置前画像２０における配置前部分情報と、商品販売時画像２１における販売時部分情報とに基づいて、商品販売時画像２１を補正するとともに、判定部１１はコラム５における商品８０の有無をさらに判定するように構成されている。なお、図中において、上記第１実施形態による自動販売機システム２００と同様の構成の部分には、同一の符号を付している。
【0119】
図２０に示すように、自動販売機側制御部１０は、ソフトウェア（ソフトウェアプログラム）として、判定部１１と、コラム情報取得部１２と、商品外形取得部１３と、画像処理部１４と、商品形状取得部１５と、動作制御部１６と、特徴量抽出部１７とを含む。なお、判定部１１、コラム情報取得部１２、商品外形取得部１３、画像処理部１４、商品形状取得部１５、動作制御部１６および特徴量抽出部１７を含む自動販売機側制御部１０は、特許請求の範囲の「制御部」の一例である。
【0120】
また、記憶部３０には、第２学習済みモデル４１と、基準パターン画像２３と、商品無し画像２２とがさらに記憶されている。第２学習済みモデル４１は、機械学習により作成された学習済みモデルである。基準パターン画像２３は、複数のコラム５の各々の近傍に配置され、複数のコラム５の各々に付与されたコラム番号を示すコラム番号プレート８（図３および図４参照）を含むパターン画像である。商品無し画像２２は、商品配置前画像２０における１つのコラム５だけを含む範囲の画像である。
【0121】
特徴量抽出部１７は、記憶部３０に記憶された第２学習済みモデル４１を用いて、記憶部３０に記憶された商品無し画像２２から特徴点として特徴点を数値化した複数の特徴量を抽出し、特徴量分布５０（図２１参照）を取得するように構成されている。特徴量とは、商品８０が配置される収納庫１の明るさなどを数値化したものである。
【0122】
図２２に示すように、商品配置前画像２０において、複数のコラム５がまとめて撮影されるように撮影範囲Ｒが設定されている。商品無し画像２２は、商品配置前画像２０における撮影範囲Ｒ内の複数のコラム５のうち１つのコラム５だけを含むように商品無し画像２２の範囲Ａが設定されている。
【0123】
撮影部２は、商品配置前画像２０を撮影する。第２実施形態において、撮影部２が、商品配置前画像２０を撮影するタイミングは、製造工場からの自動販売機１１０の出荷時または自動販売機１１０の設置時である。また、撮影部２は、自動販売機１１０の稼動中に商品販売時画像２１を撮影する。
【0124】
画像処理部１４は、複数のコラム５の各々のコラム番号プレート８（図３および図４参照）の基準パターン画像２３（図２０参照）を取得する。画像処理部１４は、図２３に示すように、商品配置前画像２０において複数のコラム番号プレート８の番号パターン画像２４を検出するとともに、検出した複数のコラム番号プレート８の番号パターン画像２４に関する第１配置情報３９（図２０参照）を配置前部分情報として取得する。第２実施形態において、画像処理部１４は、商品配置前画像２０において２つの番号パターン画像２４を検出するとともに、検出した２つの番号パターン画像２４に関する第１配置情報３９を取得する。
【0125】
また、画像処理部１４は、図２４に示すように、商品販売時画像２１において複数のコラム番号プレート８の番号パターン画像２４を検出するとともに、検出した複数のコラム番号プレート８の番号パターン画像２４に関する第２配置情報４０（図２０参照）を販売時部分情報として取得する。第２実施形態において、画像処理部１４は、商品販売時画像２１において２つの番号パターン画像２４を検出するとともに、検出した２つの番号パターン画像２４に関する第２配置情報４０を取得する。そして、画像処理部１４は、図２５に示すように、第１配置情報３９（図２０参照）と第２配置情報４０（図２０参照）とに基づいて、商品販売時画像２１を補正することにより、補正した商品販売時画像２５を取得する。
【0126】
画像処理部１４は、第１配置情報３９（図２０参照）として、商品配置前画像２０において検出した２つの番号パターン画像２４に基づく位置情報および角度情報を取得する。また、画像処理部１４は、第２配置情報４０（図２０参照）として、商品販売時画像２１において検出した２つの番号パターン画像２４に基づく位置情報および角度情報を取得する。
【0127】
画像処理部１４により第２配置情報４０（図２０参照）が取得されない場合、画像処理部１４は、自動販売機側通信部３（図２０参照）を介して、端末装置９０に対して、撮影部２の異常を通知する。この場合、端末装置９０の表示部９２に、撮影部２が異常である旨の情報が表示される。
【0128】
図２０に示すように、判定部１１は、特徴量抽出部１７において抽出された特徴量と、撮影部２により撮影された商品販売時画像２１から抽出された特徴点を数値化した特徴量とを比較して、収納庫１の商品８０の有無を判定するように構成されている。具体的には、判定部１１は、機械学習により作成された第２学習済みモデル４１（図２０参照）を用いて商品販売時画像２１から抽出された特徴点を数値化した特徴量を計算するように構成されている。また、判定部１１は、商品販売時画像２１から抽出された特徴点を数値化した特徴量が特徴量分布５０（図２１参照）に基づいて設定される商品無しの範囲内である場合に商品無しと判定するように構成されている。商品販売時画像２１から抽出された特徴点を数値化した特徴量が特徴量分布５０に基づいて設定される商品無しの範囲外である場合は、判定部１１は、商品有りと判定するように構成されている。
【0129】
（第１配置情報および第２配置情報の取得）
図２３を参照して、画像処理部１４による第１配置情報３９の取得について説明する。
図２３を参照して、画像処理部１４による第１配置情報３９の取得について説明する。
【0130】
画像処理部１４は、一例として、予め選択された、複数のコラム５の各々に付与されたコラム番号のうちの２つのコラム番号を取得するとともに、記憶部３０に記憶されている、取得された２つのコラム番号の各々のコラム番号プレート８に対応する第１の基準パターン画像２３（図２０参照）および第２の基準パターン画像２３（図２０参照）を取得する。第２実施形態において、第１の基準パターン画像２３は、下段左端部に配置されたコラム番号プレート８の基準パターン画像２３である。また、第２の基準パターン画像２３は、下段右端部に配置されたコラム番号プレート８の基準パターン画像２３である。
【0131】
画像処理部１４は、記憶部３０に記憶された商品配置前画像２０において、取得された第１の基準パターン画像２３（図２０参照）および第２の基準パターン画像２３（図２０参照）についての各々のパターンマッチングを行うことにより、商品配置前画像２０における、第１の基準パターン画像２３および第２の基準パターン画像２３に対応する、第１の番号パターン画像２４ａおよび第２の番号パターン画像２４ｂを検出する。そして、画像処理部１４は、検出した第１の番号パターン画像２４ａおよび第２の番号パターン画像２４ｂに基づいて、第１配置情報３９を取得する。画像処理部１４は、第１配置情報３９として、検出した第１の番号パターン画像２４ａの座標Ｐ１１、および、検出した第１の番号パターン画像２４ａと検出した第２の番号パターン画像２４ｂとを結ぶ線と画像水平方向とのなす角度θ３を取得する。画像処理部１４により取得された第１配置情報３９は、記憶部３０に記憶される。
【0132】
次に、図２４を参照して、画像処理部１４による第２配置情報４０の取得について説明する。
【0133】
画像処理部１４は、一例として、商品販売時画像２１において、第１配置情報３９の取得時に選択された２つのコラム番号が配置された位置と対応する位置にある２つのコラム番号を取得するとともに、記憶部３０に記憶されている、取得された２つのコラム番号の各々のコラム番号プレート８に対応する第３の基準パターン画像２３（図２０参照）および第４の基準パターン画像２３（図２０参照）を取得する。第２実施形態において、第３の基準パターン画像２３は、下段左端部に配置されたコラム番号プレート８のパターン画像である。また、第４の基準パターン画像２３は、下段右端部に配置されたコラム番号プレート８のパターン画像である。
【0134】
画像処理部１４は、記憶部３０に記憶された商品販売時画像２１において、取得された第３の基準パターン画像２３（図２０参照）および第４の基準パターン画像２３（図２０参照）についての各々のパターンマッチングを行うことにより、商品販売時画像２１における、第３の基準パターン画像２３および第４の基準パターン画像２３に対応する、第３の番号パターン画像２４ｃおよび第４の番号パターン画像２４ｄを検出する。そして、画像処理部１４は、検出した第３の番号パターン画像２４ｃおよび第４の番号パターン画像２４ｄに基づいて、第２配置情報４０を取得する。画像処理部１４は、第２配置情報４０として、検出した第３の番号パターン画像２４ｃの座標Ｐ１２、および、検出した第３の番号パターン画像２４ｃと検出した第４の番号パターン画像２４ｄとを結ぶ線と画像水平方向とのなす角度θ４を取得する。画像処理部１４により取得された第２配置情報４０は、記憶部３０に記憶される。
【0135】
ここで、商品販売時画像２１は、商品８０が販売されたコラム５を含む画像である。そのため、販売された商品８０によっては、商品販売時画像２１に写り込む上下方向の２段に含まれる複数のコラム５と、商品配置前画像２０に写り込む上下方向の２段に含まれる複数のコラム５とが異なる場合がある。しかしながら、商品販売時画像２１における第３の基準パターン画像２３および第４の基準パターンの位置関係と、商品配置前画像２０における、第１の基準パターン画像２３および第２の基準パターンの位置関係とは、互いに対応している。すなわち、商品販売時画像２１に写り込むコラム５と、商品配置前画像２０に写り込むコラム５とが異なる場合であっても、商品販売時画像２１における第３の基準パターン画像２３および第４の基準パターンの位置関係と、商品配置前画像２０における、第１の基準パターン画像２３および第２の基準パターンの位置関係とは、同様である。そのため、第２配置情報４０と第１配置情報３９とに基づいて、商品販売時画像２１を補正することができる。
【0136】
なお、画像処理部１４による第２配置情報４０の取得において、商品販売時画像２１において、パターンマッチングを行う探索領域が予め設定されている。予め設定された探索領域において第３の番号パターン画像２４ｃおよび第４の番号パターン画像２４ｄが画像処理部１４により検出されない場合、または、予め設定された探索領域において画像処理部１４により検出された第３の番号パターン画像２４ｃおよび第４の番号パターン画像２４ｄと、第３の基準パターン画像２３（図２０参照）および第４の基準パターン画像２３（図２０参照）の類似度が予め設定された閾値未満である場合、画像処理部１４は、自動販売機側通信部３を介して、端末装置９０に対して、撮影部２の異常を通知する。撮影部２の異常とは、たとえば、撮影部２の位置ずれが過大であることに起因する異常や、撮影部２のカメラのレンズが曇っていることに起因する異常などである。
【0137】
画像処理部１４により撮影部２の異常が通知される場合に、動作制御部１６（図２０参照）は、自動販売機１１０における商品８０の販売を停止させる制御を行うように構成されている。この場合、動作制御部１６は、自動販売機１１０に対する商品購入者による操作入力を受け付けないように構成されている。
【0138】
（商品販売時画像の補正）
図２５に示すように、画像処理部１４は、記憶部３０に記憶された第１配置情報３９と、記憶部３０に記憶された第２配置情報４０とが等しくなるように、商品販売時画像を補正する。具体的には、画像処理部１４は、第１配置情報３９に含まれる、検出した第１の番号パターン画像２４ａの座標Ｐ１１（図２３参照）、および、検出した第１の番号パターン画像２４ａと検出した第２の番号パターン画像２４ｂとを結ぶ線と画像水平方向とのなす角度θ３（図２３参照）と、第２配置情報４０に含まれる、検出した第３の番号パターン画像２４ｃの座標Ｐ１２（図２４参照）、および、検出した第３の番号パターン画像２４ｃと検出した第４の番号パターン画像２４ｄとを結ぶ線と画像水平方向とのなす角度θ４（図２４参照）とが一致するように、商品販売時画像２１に対して回転および並行移動の画像処理を行うことにより、商品販売時画像２１を補正する。補正された商品販売時画像２５は、記憶部３０に記憶される。
図２５に示すように、画像処理部１４は、記憶部３０に記憶された第１配置情報３９と、記憶部３０に記憶された第２配置情報４０とが等しくなるように、商品販売時画像を補正する。具体的には、画像処理部１４は、第１配置情報３９に含まれる、検出した第１の番号パターン画像２４ａの座標Ｐ１１（図２３参照）、および、検出した第１の番号パターン画像２４ａと検出した第２の番号パターン画像２４ｂとを結ぶ線と画像水平方向とのなす角度θ３（図２３参照）と、第２配置情報４０に含まれる、検出した第３の番号パターン画像２４ｃの座標Ｐ１２（図２４参照）、および、検出した第３の番号パターン画像２４ｃと検出した第４の番号パターン画像２４ｄとを結ぶ線と画像水平方向とのなす角度θ４（図２４参照）とが一致するように、商品販売時画像２１に対して回転および並行移動の画像処理を行うことにより、商品販売時画像２１を補正する。補正された商品販売時画像２５は、記憶部３０に記憶される。
【0139】
（特徴量分布の作成）
図２１は、特徴量分布５０を二次元で表した図である。特徴量抽出部１７（図２０参照）は、商品無し画像２２から特徴量分布５０を作成するように構成されている。特徴量抽出部１７は、自動販売機１１０の商品８０が商品購入者によって選択された場合に、特徴量分布５０を取得するように構成されている。特徴量抽出部１７は、複数の特徴量を抽出する複数の商品無し画像２２として、収納庫１において商品８０が配置された位置と、商品販売時画像２１が撮影された時間帯と、商品販売時画像２１が撮影された自動販売機１１０の設置された場所とを含む、商品販売時画像２１が撮影された複数の撮影条件のうち少なくとも１つと略同じ撮影条件で撮影された複数の商品無し画像２２が用いられる。商品８０が配置された位置とは、たとえば同じようにコラム５に番号が付されている自動販売機１１０の場合は、同じ番号のコラム５を撮影した画像である。時間帯とは、たとえば、午前中、午後、夕方などである。また、商品販売時画像２１が撮影された自動販売機１１０の設置された場所とは、屋内または屋外である。
図２１は、特徴量分布５０を二次元で表した図である。特徴量抽出部１７（図２０参照）は、商品無し画像２２から特徴量分布５０を作成するように構成されている。特徴量抽出部１７は、自動販売機１１０の商品８０が商品購入者によって選択された場合に、特徴量分布５０を取得するように構成されている。特徴量抽出部１７は、複数の特徴量を抽出する複数の商品無し画像２２として、収納庫１において商品８０が配置された位置と、商品販売時画像２１が撮影された時間帯と、商品販売時画像２１が撮影された自動販売機１１０の設置された場所とを含む、商品販売時画像２１が撮影された複数の撮影条件のうち少なくとも１つと略同じ撮影条件で撮影された複数の商品無し画像２２が用いられる。商品８０が配置された位置とは、たとえば同じようにコラム５に番号が付されている自動販売機１１０の場合は、同じ番号のコラム５を撮影した画像である。時間帯とは、たとえば、午前中、午後、夕方などである。また、商品販売時画像２１が撮影された自動販売機１１０の設置された場所とは、屋内または屋外である。
【0140】
特徴量分布５０の作成には、機械学習が用いられる。第２実施形態では、ＰａＤｉＭ（Ｐａｔｃｈ Ｄｉｓｔｒｉｂｕｔｉｏｎ Ｍｏｄｅｌｉｎｇ）が用いられる。ＰａＤｉＭは、機械学習された学習済みモデルを用いて特徴量を抽出し、分布を作成し、作成した分布と評価対象との距離を計算する方法である。第２実施形態では、分布は、特徴量分布５０であり、評価対象は、商品販売時画像２１である。また、第２実施形態では、特徴量抽出部１７と判定部１１とにＰａＤｉＭが用いられている。特徴量抽出部１７が、機械学習された第２学習済みモデル４１（図２０参照）を用いて特徴量を抽出し、分布を作成する動作までを行うとともに、判定部１１が作成した分布と評価対象との距離を計算する動作を行う。
【0141】
第２実施形態では、特徴量抽出部１７は、ＰａＤｉＭを用いて商品無し画像２２の複数の特徴点から百次元の特徴量分布５０を計算により取得するように構成されている。
【0142】
判定部１１は、図２１の楕円で示された特徴量分布５０に基づいて設定される範囲を商品無しと判定する範囲とし、商品無しと判定する範囲内に商品販売時画像２１の特徴量が含まれる場合に、商品無しと判定し、範囲外に販売時画像の特徴量が含まれる場合に商品有りと判定するように構成されている。具体的には、判定部１１は、ＰａＤｉＭを用いて商品販売時画像２１の特徴点から特徴量を計算し、特徴量分布５０との距離が閾値を超えている場合に、商品無しと判定する範囲外であるとして商品有りと判断し、閾値以下の場合に商品無しと判定する範囲内であるとして、商品無しと判断するように構成されている。
【0143】
（コラムにおける商品の有無の判定処理）
図２６～図２８を参照して、第２実施形態による、撮影部２、自動販売機側制御部１０（判定部１１、画像処理部１４、特徴量抽出部１７）、および、自動販売機側通信部３による、コラム５における商品８０の有無の判定処理について説明する。なお、処理ステップの順番は、互いに矛盾しない限りにおいて、前後を入れ替えたり同時に実行させたりすることができる。
図２６～図２８を参照して、第２実施形態による、撮影部２、自動販売機側制御部１０（判定部１１、画像処理部１４、特徴量抽出部１７）、および、自動販売機側通信部３による、コラム５における商品８０の有無の判定処理について説明する。なお、処理ステップの順番は、互いに矛盾しない限りにおいて、前後を入れ替えたり同時に実行させたりすることができる。
【0144】
図２６のステップＳ３１において、画像処理部１４は、第１配置情報３９として、商品配置前画像２０において検出した２つの番号パターン画像２４に基づく位置情報および角度情報を取得する。その後、処理はステップＳ３２に進む。
【0145】
ステップＳ３２において、自動販売機側制御部１０は、商品購入者による商品８０選択ボタンの入力を受け付ける。その後、処理はステップＳ３３に進む。
【0146】
ステップＳ３３において、特徴量抽出部１７は、商品無し画像２２から特徴量分布５０を作成する。その後、処理はステップＳ３４に進む。
【0147】
ステップＳ３４において、動作制御部１６は、選択された商品８０を搬送部４に搬出し、搬送部４により取出口１０３に搬送する。その後、処理はステップＳ３５に進む。
【0148】
ステップＳ３５において、撮影部２は、選択された商品８０が配置されていたコラム５を含む商品販売時画像２１を撮影する。その後、処理はステップＳ３６に進む。
【0149】
ステップＳ３６において、画像処理部１４は、第２配置情報４０として、商品販売時画像２１において検出した２つの番号パターン画像２４に基づく位置情報および角度情報を取得するとともに、取得した第１配置画像および第２配置情報４０に基づいて、撮影部２により撮影された商品販売時画像２１を補正する。その後、処理はステップＳ３７に進む。
【0150】
ステップＳ３７において、判定部１１は、補正された商品販売時画像２５の特徴点を数値化した特徴量を抽出し、特徴量分布５０と補正された商品販売時画像２５の特徴量とを比較して、選択された商品８０が配置されていたコラム５における商品８０の有無を判定する。判定部１１は、コラム５において商品有りと判定した場合（ステップＳ３７においてＹｅｓ）、処理はステップＳ３２に進み、判定部１１は、コラム５において商品無しと判定した場合（ステップＳ３７においてＮｏ）、処理はステップＳ３８に進む。
【0151】
ステップＳ３８において、動作制御部１６は、商品無しの判定結果に該当するコラム５における商品８０の販売を停止させる制御を行う。その後、処理は終了する。
【0152】
次に、図２６のステップＳ３１における画像処理部１４による第１配置情報取得処理の流れを説明する。
【0153】
図２７のステップＳ３１１において、画像処理部１４は、予め選択された、複数のコラム５の各々に付与されたコラム番号のうちの２つのコラム番号を取得するとともに、記憶部３０に記憶されている、取得された２つのコラム番号の各々のコラム番号プレート８に対応する第１の基準パターン画像２３および第２の基準パターン画像２３を取得する。その後、処理はＳ３１２に進む。
【0154】
ステップＳ３１２において、画像処理部１４は、商品配置前画像２０において、取得された第１の基準パターン画像２３および第２の基準パターン画像２３についての各々のパターンマッチングを行うことにより、商品配置前画像２０における第１の番号パターン画像２４ａおよび第２の番号パターン画像２４ｂを検出するとともに、検出した第１の番号パターン画像２４ａおよび第２の番号パターン画像２４ｂに基づいて、第１配置情報３９を取得する。その後、処理はＳ３１３に進む。
【0155】
ステップＳ３１３において、画像処理部１４は、取得した第１配置情報３９を記憶部３０に保存する。その後、処理は図２６のＳ３２に進む。
【0156】
次に、図２６のステップＳ３６における画像処理部１４による第２配置情報取得および商品販売時画像２１の補正の処理の流れを説明する。
【0157】
図２８のステップＳ３６１において、画像処理部１４は、商品販売時画像２１において、第１配置情報３９の取得時に選択された２つのコラム番号が配置された位置と対応する位置にある２つのコラム番号を取得するとともに、記憶部３０に記憶されている、取得された２つのコラム番号の各々のコラム番号プレート８に対応する第３の基準パターン画像２３および第４の基準パターン画像２３を取得する。その後、処理はＳ３６２に進む。
【0158】
ステップＳ３６２において、画像処理部１４は、商品販売時画像２１において、取得された第３の基準パターン画像２３および第４の基準パターン画像２３についての各々のパターンマッチングを行うことにより、商品販売時画像２１における第３の番号パターン画像２４ｃおよび第４の番号パターン画像２４ｄを検出する。画像処理部１４は、第３の番号パターン画像２４ｃおよび第４の番号パターン画像２４ｄを検出した場合（ステップＳ３６２においてＹｅｓ）、処理はステップＳ３６３に進み、画像処理部１４は、第３の番号パターン画像２４ｃおよび第４の番号パターン画像２４ｄを検出しない場合（ステップＳ３６２においてＮｏ）、処理はステップＳ３６６に進む。
【0159】
ステップＳ３６３において、画像処理部１４は、検出された第３の番号パターン画像２４ｃおよび第４の番号パターン画像２４ｄと、第３の基準パターン画像２３および第４の基準パターン画像２３の類似度が予め設定された閾値以上であるか否かを判定する。画像処理部１４は、類似度が予め設定された閾値以上であると判定した場合（ステップＳ３６３においてＹｅｓ）、処理はステップＳ３６４に進み、画像処理部１４は、類似度が予め設定された閾値未満であると判定した場合（ステップＳ３６３においてＮｏ）、処理はステップＳ３６６に進む。
【0160】
ステップＳ３６４において、画像処理部１４は、検出した第３の番号パターン画像２４ｃおよび第４の番号パターン画像２４ｄに基づいて、第２配置情報４０を取得するとともに、取得した第２配置情報４０を記憶部３０に保存する。その後、処理はＳ３６５に進む。
【0161】
ステップＳ３６５において、画像処理部１４は、記憶部３０に記憶された第１配置情報３９と、記憶部３０に記憶された第２配置情報４０とに基づいて、撮影部２により撮影された商品販売時画像２１を補正するとともに、補正した商品販売時画像２５を記憶部３０に保存する。その後、処理は図２６のＳ３７に進む。
【0162】
ステップＳ３６６において、画像処理部１４は、自動販売機側通信部３を介して、端末装置９０に対して、撮影部２の異常を通知する。その後、処理はＳ３６７に進む。
【0163】
ステップＳ３６７において、動作制御部１６は、自動販売機１００における商品８０の販売を停止させる制御を行う。その後、処理は終了する。
【0164】
なお、第２実施形態のその他の構成は、上記第１実施形態と同様である。
【0165】
（第２実施形態の効果）
第２実施形態では、以下のような効果を得ることができる。
第２実施形態では、以下のような効果を得ることができる。
【0166】
第２実施形態では、上記のように、画像処理部１４は、撮影部２により撮影された商品８０配置前のコラム５の画像である商品配置前画像２０における２つの部分に関する配置前部分情報と、撮影部２により撮影された商品８０販売時のコラム５の画像である商品販売時画像２１における２つの部分に対応する部分に関する販売時部分情報とに基づいて、商品販売時画像２１を補正するとともに、判定部１１は、商品配置前画像２０と、補正された商品販売時画像２５とに基づいて、コラム５における商品８０の有無をさらに判定する。これにより、商品配置前画像２０における２つの部分に関する配置前部分情報と、商品販売時画像２１における２つの部分に対応する部分に関する販売時部分情報とに基づいて、商品販売時画像２１を補正することができるため、商品配置前画像２０および商品販売時画像２１における１つの部分に基づいて商品販売時画像２１を補正する場合と比べて、撮影部２の位置ずれに起因する商品配置前画像２０と商品販売時画像２１との位置ずれを適切に補正することができる。その結果、商品配置前画像２０および商品販売時画像２１の撮影の際に撮影部２の位置ずれが生じている場合であっても、判定部１１は、商品配置前画像２０と、補正された商品販売時画像２５とに基づいて、コラム５における商品８０の有無を精度良く判定することができる。したがって、コラム５における商品８０の売り切れ判定の精度を向上させることができる。
【0167】
また、第２実施形態では、上記のように、画像処理部１４は、２つのコラム番号プレート８に対応する第１の基準パターン画像２３および第２の基準パターン画像２３を取得し、商品配置前画像２０において第１の番号パターン画像２４ａおよび第２の番号パターン画像２４ｂを検出するとともに、検出した第１の番号パターン画像２４ａおよび第２の番号パターン画像２４ｂに関する第１配置情報３９を配置前部分情報として取得し、商品販売時画像２１において第３の番号パターン画像２４ｃおよび第４の番号パターン画像２４ｄを検出するとともに、検出した第３の番号パターン画像２４ｃおよび第４の番号パターン画像２４ｄに関する第２配置情報４０を販売時部分情報として取得し、第１配置情報３９と第２配置情報４０とに基づいて、商品販売時画像２１を補正し、商品配置前画像２０と、補正された商品販売時画像２５とに基づいて、コラム５における商品８０の有無を判定する。これにより、コラム番号プレート８に対応する番号パターン画像２４を検出することにより取得した第１配置情報３９および第２配置情報４０に基づいて商品販売時画像２１を補正することができるため、撮影部２の位置ずれに起因する商品配置前画像２０と商品販売時画像２１との位置ずれを適切に補正することができる。その結果、商品配置前画像２０および商品販売時画像２１の撮影の際に撮影部２の位置ずれが生じている場合であっても、判定部１１は、商品配置前画像２０と、補正された商品販売時画像２５とに基づいて、コラム５における商品８０の有無をより精度良く判定することができる。したがって、コラム５における商品８０の売り切れ判定の精度をより向上させることができる。
【0168】
また、第２実施形態では、上記のように、画像処理部１４は、第１配置情報３９として、商品配置前画像２０において検出した第１の番号パターン画像２４ａおよび第２の番号パターン画像２４ｂに基づく位置情報および角度情報を取得し、第２配置情報４０として、商品販売時画像２１において検出した第３の番号パターン画像２４ｃおよび第４の番号パターン画像２４ｄに基づく位置情報および角度情報を取得するとともに、第１配置情報３９と第２配置情報４０とに基づいて、商品販売時画像２１を補正し、商品配置前画像２０と、補正された商品販売時画像２５とに基づいて、コラム５における商品８０の有無を判定する。これにより、角度情報を含む第１配置情報３９および第２配置情報４０に基づいて、商品販売時画像２１を補正することができるため、商品配置前画像２０および商品販売時画像２１の回転方向の複雑な位置ずれを適切に補正することができる。その結果、商品配置前画像２０および商品販売時画像２１の撮影の際に撮影部２の複雑な位置ずれが生じている場合であっても、判定部１１は、商品配置前画像２０と、補正された商品販売時画像２５とに基づいて、コラム５における商品８０の有無をより一層精度良く判定することができる。
【0169】
また、第２実施形態では、上記のように、商品販売時画像２１において販売時部分情報が取得されない場合に、画像処理部１４部は、ユーザに撮影部２が異常である旨を通知する。これにより、撮影部２が異常である旨の通知に基づいて、ユーザは撮影部２の異常を認識することができるため、撮影部２の不具合の修正を速やかに実行することができる。その結果、商品８０の販売機会の損失を抑制することができる。
【0170】
なお、第２実施形態のその他の効果は、上記第１実施形態と同様である。
【0171】
（変形例）
今回開示された実施形態は、全ての点で例示であり制限的なものではないと考えられるべきである。本発明の範囲は上記実施形態の説明ではなく特許請求の範囲によって示され、さらに特許請求の範囲と均等の意味および範囲内での全ての変更（変形例）が含まれる。
今回開示された実施形態は、全ての点で例示であり制限的なものではないと考えられるべきである。本発明の範囲は上記実施形態の説明ではなく特許請求の範囲によって示され、さらに特許請求の範囲と均等の意味および範囲内での全ての変更（変形例）が含まれる。
【0172】
たとえば、上記第１実施形態では、コラム商品対応情報におけるコラムに関する情報およびコラム情報として、１つのコラムに配置されるスパイラル部材の数の情報、スパイラル部材の螺旋のピッチの情報、および、コラムを仕切る仕切り板の間隔の情報の例を示したが、本発明はこれに限られない。本発明では、たとえば、コラムに関する情報およびコラム情報は、上記情報うちの少なくとも１つの情報だけでも良いし、コラムに関する他の情報が追加された情報であっても良い。
【0173】
また、上記第１実施形態では、コラム商品対応情報における商品の寸法に関する情報および商品寸法情報として、商品の幅方向の寸法の情報、商品の高さ方向の寸法の情報、および、商品の奥行方向の寸法の情報の例を示したが、本発明はこれに限られない。本発明では、たとえば、商品の寸法に関する情報および商品寸法情報は、上記情報うちの少なくとも１つの情報だけでも良いし、商品の寸法に関する他の情報が追加された情報であっても良い。
【0174】
また、上記第１実施形態では、スパイラル部材の各々の先端部の位置情報を取得するとともに、取得された先端部の位置情報に基づいて先端部同士の位置関係の良否をさらに判定する例を示したが、本発明はこれに限られない。本発明では、先端部の位置情報を取得しなくても良いし、先端部同士の位置関係の良否を判定しなくても良い。
【0175】
また、上記第１実施形態では、記憶部にコラム商品対応情報が記憶されている例を示したが、本発明はこれに限られない。本発明では、たとえば、サーバなどに記憶されたコラム商品対応情報を、自動販売機側通信部を介して取得しても良い。
【0176】
また、上記第１実施形態では、商品形状情報として箱形状、第１容器形状および第２容器形状の例を示したが、本発明はこれに限られない。本発明では、商品形状情報として他の商品形状の例が追加されていても良い。
【0177】
また、上記第１実施形態では、収納姿勢情報および正常姿勢情報として、輪郭の頂点座標の情報や、輪郭の辺の水平方向に対する角度の情報や、輪郭の中心座標の情報などの例を示したが、本発明はこれに限られない。本発明では、収納姿勢情報および正常姿勢情報として他の情報が追加されていても良い。
【0178】
また、上記第１実施形態では、商品形状取得部は第１学習済みモデルを用いて商品形状情報を取得する例を示したが、本発明はこれに限られない。本発明では、学習済みモデルを用いないソフトウェアプログラムを用いて商品形状情報を取得しても良い。
【0179】
また、上記第１実施形態では、商品外形取得部は、背景差分法を用いて商品の領域を抽出する例を示したが、本発明はこれに限られない。本発明では、他の公知の手法を用いて商品の領域を抽出しても良い。
【0180】
また、上記第１実施形態および第２実施形態では、商品販売時画像は、上下方向の２段の各々に配置された複数のコラムがまとめて撮影された画像である例を示したが、本発明はこれに限られない。本発明では、商品販売時画像は、複数のコラム毎の画像であっても良いし、１段または上下方向の３段以上の各々に配置された複数のコラムがまとめて撮影された画像であっても良い。
【0181】
また、上記第１実施形態および第２実施形態では、撮影部が搬送部に配置される例を示したが、本発明はこれに限られない。本発明では、たとえば、撮影部は、扉に配置されてもよい。この場合、複数の撮影部が配置されてもよい。
【0182】
また、上記第２実施形態では、画像処理部は、商品配置前画像において２つの番号パターン画像を検出し、検出した２つの番号パターン画像に関する第１配置情報を取得するとともに、商品販売時画像において２つの番号パターン画像を検出し、検出した２つの番号パターン画像に関する第２配置情報を取得する例を示したが、本発明はこれに限られない。本発明では、たとえば、３つ以上の番号パターン画像を検出し、検出した３つ以上の番号パターン画像に関する第１配置情報および第２配置情報を取得しても良い。
【0183】
また、上記第２実施形態では、コラム番号プレートのパターン画像に基づいてパターンマッチングを行う例を示したが、本発明はこれに限られない。本発明では、たとえば、コラム番号プレートのフレーム部分や、コラム番号プレート以外の対象物などのパターン画像に基づいてパターンマッチングを行っても良い。
【0184】
また、上記第２実施形態では、第２学習済みモデルの作成における機械学習としてＰａＤｉＭを用いる例を示したが、本発明はこれに限られない。本発明では、たとえば、第２学習済みモデルの作成における機械学習としてディープラーニングが用いられていても良い。
【符号の説明】
【0185】
１ 収納庫
２ 撮影部
５ コラム
６ 仕切り板
７ スパイラル部材
７ａ 先端部
１０ 制御部（自動販売機側制御部）
２０ 商品配置前画像
２１ 商品販売時画像
３１ コラム商品対応情報
３２ コラム情報
３３ 商品寸法情報
３４ 商品形状情報
３５ 収納姿勢情報
３６ 正常姿勢情報
３９ 第１配置情報
４０ 第２配置情報
８０ 商品
９０ 表示装置（端末装置）
１００、１１０ 自動販売機
２００、２１０ 自動販売機システム
２ 撮影部
５ コラム
６ 仕切り板
７ スパイラル部材
７ａ 先端部
１０ 制御部（自動販売機側制御部）
２０ 商品配置前画像
２１ 商品販売時画像
３１ コラム商品対応情報
３２ コラム情報
３３ 商品寸法情報
３４ 商品形状情報
３５ 収納姿勢情報
３６ 正常姿勢情報
３９ 第１配置情報
４０ 第２配置情報
８０ 商品
９０ 表示装置（端末装置）
１００、１１０ 自動販売機
２００、２１０ 自動販売機システム
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】