(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0017】
図1乃至
図7はこの実施の形態に係る飲料提供装置、飲料提供用容器の識別装置を示す。
【0018】
[飲料提供装置の構成]
まず、この実施の形態の飲料提供装置の及び構成について説明する。
【0019】
図1に示す、この実施の形態の飲料提供装置100は、飲料提供装置100の載置台141に載置された「容器」としての飲料容器4の種類及びサイズを認識する。そして、飲料提供装置100は、判定した飲料容器4の種類及びサイズに応じた飲料を飲料容器4に提供する処理を実行する。
【0020】
以下の説明では、一例として、コーヒーが注がれるカップ状の飲料容器4が紙カップ(不透明のカップ)であるかプラスチックカップ(透明のカップ)であるか判定し、飲料容器に対応する飲料を提供する処理について説明する。
【0021】
なお、判定の対象となる不透明の飲料容器4は紙以外の材質、たとえば不透明のプラスチック、木、陶器、セラミック等であってもよい。また、不透明の飲料容器4は表面の光沢感が低く、照明装置2で照らして撮影装置3で撮影したとき、撮影画像の飲料容器4上に照明装置2の光の映り込みがおきないものが望ましい。
【0022】
一方、判定の対象となる透明の飲料容器4はプラスチック以外の材質、たとえばガラス製等であってもよいし、プラスチックの場合は塩化ビニル、ポリエチレン、ポリスチレン等、どのような樹脂素材でできていてもよい。また、透明の飲料容器4は半透明であってもよい。また、判定の対象となる飲料容器4は、表面の光沢感が高くても低くてもよい。また、透明の飲料容器4は、照明装置2で照らして撮影装置3で撮影したとき、撮影画像の飲料容器4上に照明装置2の光の映り込みがおきてもおきなくてもよい。
【0023】
また、この実施の形態において判定の対象となる飲料容器4は、物理的に「透明」「不透明」でなくても、照明装置2で照らして撮影装置3で撮影したときの光の反射位置や反射状態が相違すれば、判定対象とすることができる。たとえば、この実施の形態において、表面が鏡面状で物理的に不透明な飲料容器4と、表面が非鏡面状で物理的に不透明な飲料容器4とを判定対象とすることも可能である。
【0024】
図1は、飲料提供装置100の一実施例を示す図である。
図1を参照して、本発明の飲料提供装置100が、飲料容器の構成の概要について説明する。
【0025】
図1に示す、この実施の形態の飲料提供装置100は、飲料を購入する者であるユーザ(図示せず。以下単に「ユーザ」と称する。)等に飲料容器4に入れた飲料を提供するための装置である。飲料提供装置100は、ユーザ等が手動で飲料容器4を載置台141に載置し、ユーザ等の操作により載置台141上の飲料容器4に飲料を注ぐ機能を有する。
【0026】
飲料提供装置100は、表示装置110と、第1選択ボタン121〜第4選択ボタン124と、収容部130と、載置台141と、ガイド142と、提供口150と、撮影穴160と、提供処理装置1と、照明装置2と、撮影装置3とを備える。提供口150は、飲料供給部の一例である。照明装置2は、照明部の一例である。撮影装置3は、撮影部の一例である。
【0027】
表示装置110は、画像や動画などを用いて、広告、宣伝、及び操作画面などの各種情報を表示する。また、表示装置110は、タッチパネルを備え、コーヒーに加える砂糖及びミルクの量の調整や、コーヒーの濃さの選択などを受け付けてもよい。
【0028】
第1選択ボタン121〜第4選択ボタン124は、ユーザが提供を受けるため飲料の種類とサイズを表示するためのボタンである。第1ボタン121〜第4ボタン124は、それぞれLED等の照明装置(図示せず)が内蔵されている。そして、第1ボタン121〜第4ボタン124は、提供処理装置1が認識した飲料容器4の種類及びサイズに対応するものの照明装置(図示せず)が点灯し、載置台141に載置された飲料容器4の種類及びサイズをユーザに通知するようになっている。
【0029】
この実施の形態において、第1選択ボタン121は、紙カップを用いる普通のサイズのホットコーヒーSHに対応するボタンであり、普通の分量のホットコーヒーを提供することを表示する。第2選択ボタン122は、紙カップを用いる大きいサイズのホットコーヒーLHに対応するボタンであり、分量の多いホットコーヒーを提供することを表示する。第3選択ボタン123は、プラスチックカップを用いる普通のサイズのアイスコーヒーSCに対応するボタンであり、普通の分量のアイスコーヒーを提供することを表示する。第4選択ボタン124は、プラスチックカップを用いる大きいサイズのアイスコーヒーLCに対応するボタンであり、分量の少ないアイスコーヒーを提供することを表示する。ここで「普通のサイズ」とは、大きいサイズよりも小さいサイズのことをいう。また「普通の分量」とは、提供する飲料の「分量の多い」ものよりも少ない分量であることを示す。
【0030】
なお、第1選択ボタン121〜第4選択ボタン124は、タッチパネル式の選択ボタンの機能を併有してもよい。そして、ユーザが第1選択ボタン121〜第4選択ボタン124のうち所望のボタンを押下げたとき、載置台141に載置された飲料容器4の種類及びサイズを受け付けるように構成してもよい。また、提供処理装置1は、ユーザに選択された種類及びサイズに応じて、飲料容器4に飲料を注いで提供する処理を実行する。以下の説明では、第1選択ボタン121〜第4選択ボタン124は、照明装置(図示せず)の点灯により載置台141に載置された飲料容器4の種類及びサイズの通知のみを実行し、押下による飲料容器4の種類及びサイズの選択は行わないものとする。
【0031】
収容部130は、飲料提供装置100の前面に設けられた、飲料容器4を配設する前面が開口された略箱形の空間であり、収容部130の底面にはユーザが飲料容器4を載置する「載置位置」としての載置台141が設けられている。なお、収容部130には、載置台に飲料容器4が載置されたことを検出する位置センサ(図示せず)が配設されていることが望ましい。
【0032】
載置台141は、ユーザが飲料容器4を載置する台である。
【0033】
ガイド142は、例えば、平面視略「コ」の字型の形状で載置台141の上に設けられた突起状の部材であり、飲料容器4がガイド142で囲まれる載置位置に置かれるように誘導する機能を果たす。したがって、ユーザは、ガイド142に沿って飲料容器4を載置台141に載置することにより、飲料容器4を所定の載置位置に載置することができる。以下の説明では、ガイド142で囲まれる載置位置のことを、単に「載置位置」という。なお、ガイド142は、飲料容器4を載置台141の所定位置に載置するために適した形状であればどのような形状でもよい。たとえばガイド142が平面視略「へ」の字状や平面視略逆「U」の字状等であってもよい。
【0034】
提供口150は、飲料提供装置100が飲料容器4に飲料を提供するときに用いられる注ぎ口である。すなわち、飲料提供装置100は、提供処理装置1が認識した飲料容器4に対応する種類の飲料をサイズに応じた量だけ、提供口150から飲料容器4に注いで提供する。
【0035】
撮影穴160は、飲料提供装置100の筐体内部に配置された撮影装置3が、収容部130内の画像を撮影するために設けられた穴である。
【0036】
照明装置2は、たとえばLEDや白熱電球等の各種の発光装置であり、
図1に示すように、撮影装置3の上方から斜め下向きに飲料容器4を照らす位置に設置される。これにより、照明装置2は、飲料容器4が撮影装置3の撮影画像に含まれるとき、紙カップの飲料容器4の表面形状に対応する双曲線hbの画像及び弓型bmの画像が抽出されるように飲料容器4を照らす。双曲線hbは、「特徴画像」及び「第1特徴画像」の一例である。弓型bmは、「特徴画像」及び「第2特徴画像」の一例である。
【0037】
なお、
図1において、DL1とDL2とは、照明装置2から照射される光の光束の状態と方向を模式的に示しており、特定の方向として、たとえば照明装置2からDL1とDL2との間の斜め下方の方向に光を当てることを示している。また、双曲線hbの及び弓型bmは、紙カップが照明装置2から照射されることにより反射される光を示している。
【0038】
撮影装置3は、たとえばCCDカメラ等の撮影装置であり、
図1に示すように、載置台141の載置位置に置かれた飲料容器4を含む撮影領域を水平方向から撮影する。
【0039】
なお、
図1において、照明装置2は撮影装置3の上方に設置し、照明装置2は飲料容器4の斜め上方から光を照射し、撮影装置3は飲料容器4の側面から撮影したが、これに限定されない。すなわち、上述する「特徴画像」としての双曲線hbの画像及び弓型bmの画像などが、飲料容器4が不透明か透明化を適切に判定できる画像として取得できれば、照明装置2が飲料容器4に光を当てる特定の方向や、撮影装置3の撮影位置はどのような位置であってもよい。たとえば、照明装置2が撮影装置3の下方に配設されてもよいし、照明装置2が飲料容器4の左側側方、撮影装置3が飲料容器4の奥側側方に配設されてもよい。また、上述以外のどのような位置に照明装置2と撮影装置3が配設されていてもよい。
【0040】
照明装置2は、例えば、図示しない光センサにより、載置位置に飲料容器4が載置されたと判定されたときに、点灯し、飲料容器4を照射するように構成してもよい。また、撮影装置3は、例えば、図示しない光センサにより、載置位置に飲料容器4が載置されたと判定されたときに、照明装置2が点灯したあと、撮影を開始してもよい。また、照明装置2と撮影装置3とは、光センサにより、載置位置から飲料容器4が取り除かれたと判定されたときに、それぞれ照射と撮影とを停止してもよい。
【0041】
[飲料提供装置の制御用構成の機能ブロック]
図2は、この実施の形態の飲料提供装置100に内蔵された、飲料提供装置100の制御用構成200の一実施例を示すブロック図である。この制御用構成200は、飲料提供装置100の各種の機能の制御を行うための構成を模式的に示したものである。
【0042】
図2に示すとおり、制御用構成200は、制御回路201、記憶装置202、読取装置203、記憶媒体204、通信インターフェース(I/F)205、ネットワーク206、入出力インターフェース(I/F)207、入力装置208、表示制御装置209、検出装置210、照明制御装置211、撮影制御装置212、バス213を備えている。これらの各構成201〜213は、ハードウェアのみによって実現されてもよいし、ハードウェアとプログラムの協働で実現されてもよいし、プログラムの演算処理のみで実現されてもよい。
【0043】
制御回路201は、たとえばCPUのような、プログラムの実行等により各種の演算処理を行うプロセッサである。そして、制御回路201は、例えば、後述する制御部10として機能する。
【0044】
記憶装置202は、RAMのような制御回路201の演算処理の処理領域として機能する構成や、ROMやEEPROMのようにデータやプログラム等を記憶する記憶手段としての機能を奏する。記憶装置202は、飲料提供装置100の制御や機能実現に必要なデータやプログラムを記憶してもよい。そして、記憶装置202は、例えば、後述する記憶部20として機能する。
【0045】
読取装置203は、制御回路201の命令等により、記憶媒体204に記憶されたデータやプログラムを読み出す機能を奏する。記憶媒体204は、たとえば磁気ディスク等の大容量の記憶媒体であり、飲料提供装置100の制御や機能実現に必要なデータやプログラムを記録する非一時的記録媒体である。
【0046】
通信インターフェース205は、飲料提供装置100の内部と外部との通信に必要な各種の処理(データの変換や通信方式に即したデータ通信の実現など)を行う。ネットワーク206は、たとえばインターネットやWANなど、多くの通信端末が接続され、通信端末同士のデータ通信を実現するための通信媒体である。入出力インターフェース207は、飲料提供装置100の内部のそれぞれの機能手段同士のデータや信号の入出力のために必要な各種の処理を行う。
【0047】
入力装置208は、ユーザによって飲料提供装置100に入力された信号等(たとえばユーザが特定の選択ボタン(図示せず)を選択した信号など)の入力を受けつけて必要な各種処理を行う。表示制御装置209は、制御回路201の演算処理の結果等に基づいて、各種表示装置に必要な表示を行わせる(たとえば第1選択ボタン121〜第4選択ボタン124を点灯させる。)。
【0048】
検出装置210は、ユーザやセンサの機能等によって飲料提供装置100に入力された信号等(たとえばユーザが特定のセンサ(図示せず)の検出信号など)の入力を受けつけて必要な各種処理を行う。照明制御装置211は、照明装置2のオンオフや光量調整等の点灯制御を行う。撮影制御装置212は撮影装置3に撮影を行わせたり、撮影の結果得られた撮影画像を取得するための各種処理を行う。バス213は、制御用構成200の機能手段をバス接続して相互にデータや信号を交信させる機能を奏する。
【0049】
[提供処理装置の機能ブロック]
図3は、この実施の形態の飲料提供装置100に内蔵された、「飲料提供用容器の識別装置」としての提供処理装置1の機能ブロック図である。この提供処理装置1は、
図2に示す制御用構成200の機能によって主として実現される機能手段であって、飲料提供装置100において載置台141に載置された飲料容器4が不透明か透明かを判定するための機能を奏する。なお、
図3において、提供処理装置1を構成する照明装置2は記載を省略してある。
【0050】
図3に示すとおり、提供処理装置1は、制御部10と、記憶部20とを備えている。制御部10は、取得部11、生成部12、抽出部13、判定部14、提供部15を備える。記憶部20は、検索情報21と閾値情報22とを記憶している。
【0051】
そして、提供処理装置1は、飲料容器4が載置位置に載置されたとき、飲料容器4を含む撮影画像を撮影する撮影装置3と接続される。なお、実際には、提供処理装置1は、
図2に示す撮影制御装置212を介して撮影装置3に接続される。
【0052】
制御部10は、取得部11、生成部12、抽出部13、判定部14、提供部15の機能に基づいて、載置台141に載置された飲料容器4が不透明か透明かを判定する。
【0053】
取得部11は、撮影装置3から撮影画像を取得する。取得部11は、例えば、図示しない飲料容器4が載置位置に載置されたか否かと、飲料容器のサイズとを判定する光センサの検出結果を取得する。そして、取得部11は、光センサの検出結果が載置位置に飲料容器4が載置されたことを示すとき、照明装置2を点灯させて撮影装置3から撮影画像を取得してもよい。
【0054】
生成部12は、取得部11が取得した撮影画像に所定の処理を施して、後述する抽出部13や判定部14での判定に適した画像である「調整画像」を形成する。この実施の形態では、生成部12は撮影画像に2値化処理を施して「調整画像」としての二値画像を生成する。
【0055】
抽出部13は、撮影画像から検索画像と相関のある領域を探索することにより、飲料容器4が不透明か透明かを判定するために必要な、予め設定された所定の画像を抽出する。具体的には、抽出部13は、検索画像(
図4参照。詳しくは後述する。)を用いて、撮影画像の二値画像に対してテンプレートマッチングを行う。テンプレートマッチングの結果、抽出部13は、撮影画像の二値画像から、検索画像に近似した画像を抽出する(以下、抽出された画像を「抽出画像」と称する。)。
【0056】
判定部14は、抽出部13の抽出した「抽出画像」について所定の判定を行い、飲料容器4の種類、すなわち、飲料容器4が紙カップ(不透明)かプラスチックカップ(透明)かを判定する。あわせて、判定部14は、飲料容器4のサイズ、すなわち、大きいサイズか普通のサイズかも判定する。
【0057】
提供部15は、判定部14が判定したカップの種類及びサイズに応じて、飲料提供装置100から飲料容器4に飲料を提供させる処理を実行する。
【0058】
記憶部20は、飲料容器4が不透明か透明かを判定するために必要な情報を記憶する。記憶部20は、1又は複数の検索情報21を記憶する(詳しくは後述の[原理1]で説明する。)。
【0059】
記憶部20は、例えば、テンプレートマッチングで用いる閾値を含む閾値情報22を記憶する。閾値は、飲料容器4としての、大きいサイズの紙カップの検索情報21と、普通のサイズの紙カップの撮影画像(図示せず)を二値化した画像との相関よりも低く、かつ紙カップ(不透明)とプラスチックカップ(透明)との相関よりも高く設定することが好ましい。これにより、判定部14は、飲料容器4のサイズに係らず、飲料容器4が紙カップ(不透明)であるのか、プラスチックカップ(透明)であるのかを判定することができる。
【0060】
[判定の原理]
以下、この実施の形態の飲料提供装置100および提供処理装置1における、飲料容器4が不透明であるか透明であるかについての、所定の判定の原理を説明する。なお、以下の原理では、飲料容器4が、飲料容器4は、側面と上端の開口部の縁との間に段差を設けた逆円錐台形状である場合を中心に説明するが、飲料容器4の形状はこの形状のみに限定されるものではなく、例えば略円筒形状や、略多角柱形状の飲料容器4であってもよい。
【0061】
[原理1・撮影画像から調整画像の生成]
提供処理装置1の生成部12は、撮影装置3で撮影された撮影画像に所定の処理を行って調整画像を生成する。この実施の形態では、所定の処理として、抽出部13や判定部14での処理負荷を軽減させる等の目的により、撮影画像の色を白色と黒色の二値に変換する。以下の説明では、二値化された撮影画像のことを、単に二値画像という。ただし、ここで提供処理装置1が行う画像処理は、後述するテンプレートマッチングに適した画像を形成できるものなら二値化以外のどのような処理であってもよい。たとえば、撮影画像の輝度を変化させて撮影画像を二値画像に近似した状態にする等、撮影画像にコントラスト調整を行ったコントラスト調整画像を生成してもよい。
【0062】
[原理2・テンプレートマッチング]
そして、提供処理装置1の抽出部13は、記憶部20に記憶しているテンプレート用の検索情報21を用いて、生成部12が生成した二値画像とのテンプレートマッチングを行う。検索情報21は、「比較形状の情報」及び「第1、第2の比較形状の情報」を含む。
【0063】
図4は、この実施の形態で用いられる検索情報21を模式的に示す図である。この検索情報21は、所定の形状の紙カップの飲料容器4の表面形状に対応する検索画像を記憶する。この実施の形態では、検索情報21には、例えば、
図4に示すように、大きいサイズの紙カップの特徴を示す二値画像が含まれる。
【0064】
図4に示す検索情報21は、大きいサイズの紙カップ(不透明の飲料容器4)の撮影画像の二値画像にほぼ一致する形状及び大きさの画像情報である。検索情報21は、撮影画像の二値画像と同様の二値画像として形成されている。検索情報21は、紙カップ(不透明の飲料容器4)の側面に照明装置2で光を当てて撮影装置3で撮影したときに、紙カップの側面の光の反射の形状に対応する「比較形状の情報」及び「第1の比較形状の情報」としての略双曲線状の形状である双曲線部HBの画像を含む。双曲線部HBは、少なくとも一部に略面状の曲線部分を有する。また、検索情報21は、同様に撮影装置3で撮影したときに、紙カップの上端の縁部分の光の反射の形状に対応する、「比較形状の情報」及び「第2の比較形状の情報」としての略線状の形状(細長い形状)である弓型部BMの画像を含む。弓型部BMの画像は、少なくとも一部に略弓型の曲線部分を有する。なお、検索情報21は、二値画像に替えて、前述のコントラスト調整画像によって生成されてもよい。
【0065】
抽出部13は、検索情報21の双曲線部HBの画像と弓型部BMの画像とを用いて、生成部12が生成した二値画像とのテンプレートマッチングを行う。
【0066】
具体的には、例えば、抽出部13は、撮影画像の二値画像を複数のブロックに分け、ブロック毎に双曲線部HBの画像や弓型部BMの画像を照合する。そして、抽出部13は、撮影画像の二値画像中に、双曲線部HBの画像や弓型部BMの画像に近似した部分があれば、その部分を抽出し、「特徴画像」とする。この、「特徴画像」として抽出される部分は、二値画像の白色の部分であって、照明装置2の光が飲料容器4に反射した部分や、外乱光が撮影装置3に入った部分等にほぼ対応する。
【0067】
[原理3・判定その1:透明・不透明の判定]
提供処理装置1の判定部14は、「特徴画像」との対比結果に基づいて、撮影画像に係る飲料容器4が紙カップ(不透明)かプラスチックカップ(透明)かの判定を行う。
【0068】
判定部14は、それぞれの「特徴画像」と、双曲線部HBの画像や弓型部BMの画像との近似状況を所定の基準に基づいて数値化した「相関値」を算出する。例えば、それぞれの「特徴画像」と、双曲線部HBの画像や弓型部BMの画像との形状の一致度、縦横の長さの一致度、縦横比の一致度等の一致状況を数値化して「相関値」とする。一致状況の数値化は、例えば、閾値情報22に含まれる数値化テーブル(数値化するパラメータや、一致度ごとに設定されたスコア等を記録したテーブル。図示せず。)等を用いることが考えられる。しかし、他のどのような方法によって数値化を行ってもよい。
【0069】
ここで、飲料容器4が紙カップ(不透明)かプラスチックカップ(透明)かによる「相関値」の違いについて説明する。
【0070】
図5は、この実施の形態における載置台141への飲料容器4の載置状態(上段)と、載置状態ごとの撮影画像を二値画像化したもの(下段)とを模式的に示した図である。同図の(A)は載置台141に飲料容器4が載置されていない場合である。図の(B)は、載置台141に普通のサイズのプラスチックカップ(透明)の飲料容器4(同図の飲料容器4a)が載置された場合である。図の(C)は、載置台141に大きいサイズのプラスチックカップ(透明)の飲料容器4(同図の飲料容器4b)が載置された場合である。図の(D)は、載置台141に普通のサイズの紙カップ(不透明)の飲料容器4(同図の飲料容器4c)が載置された場合である。図の(E)は、載置台141に大きいサイズの紙カップ(不透明)の飲料容器4(同図の飲料容器4d)が載置された場合である。
【0071】
図5の(A)においては、抽出画像41o,42o,43oには双曲線部HBの画像や弓型部BMの画像と近似した部分は存在しない。これは、載置台141上に飲料容器4が存在しないためである。
【0072】
図5の(B)(C)においても、抽出画像41a,42a,43a、抽出画像41b,42b,43bには双曲線部HBの画像や弓型部BMの画像と近似した部分は存在しない。これは、載置台141上に存在する飲料容器4(同図の飲料容器4a,4b)がプラスチックカップであって透明であることと飲料容器4内に氷が入っていることが原因である。即ち、飲料容器4は透明なので、照明装置2の光は飲料容器4を透過したり、飲料容器4の表面で反射して外乱を起こすためである。また、飲料容器4の内部の氷も透明であり、飲料容器4と同様の作用を起こすためである。
【0073】
一方、
図5の(D)(E)においては、抽出画像41c,42c,43c、抽出画像41d,42d,43dに双曲線部HBの画像や弓型部BMの画像と近似した部分が存在する。具体的には、抽出画像41c、抽出画像41dには双曲線hbの画像と弓型bmの画像が存在し、双曲線hbの画像の形状及び大きさは双曲線部HBに近似する。これは、載置台141上に存在する飲料容器4(同図の飲料容器4c,4d)が紙カップであって不透明であり、飲料容器4の照明装置2の光が照射された位置の形状や大きさがほぼそのまま撮影画像中に映るからである。
【0074】
これにより、
図5の(D)(E)は「相関値」が大きな値となり、
図5の(A)(B)(C)は「相関値」が小さな値となる。そのため、判定部14は、載置台141に飲料容器4が載置された状態で、「相関値」の大小を検証する。この検証で、判定部14は、(B)(C)の飲料容器4(同図の飲料容器4a,4b)がプラスチックカップ(透明)で、(D)(E)の飲料容器4(同図の飲料容器4c,4d)紙カップ(不透明)であると判定できる。
【0075】
この実施の形態では、二値画像に含まれる双曲線hbの画像及び弓型bmの画像の少なくとも一方が、双曲線部HBの画像及び弓型部BMの画像の少なくとも一方と閾値以上の相関があるとき、判定部14は載置台141に紙カップが載置されたと判定する。
【0076】
また、判定部14は、二値画像に含まれる双曲線hbの画像及び弓型bmの画像と、検索情報21に含まれる双曲線部HBの画像及び弓型部BMの画像とがいずれも閾値未満の相関であるとき、載置台141にプラスチックカップが載置されたと判定する。
【0077】
なお、
図5においては、2値化の結果、弓型bmの画像が略矩形の形状になったものとして示されているが、これは例示であり、2値化の結果、弓型bmの画像が弓型部BMと同様の略弓形に形成されてもよい。これは後述する
図6の弓型bmの画像も同様である。
【0078】
[原理4・大小の判定]
図6の(a)は、載置台141に大きいサイズの紙カップ(不透明)の飲料容器4が載置された場合(
図5の(E)と同じ状態)の二値画像の模式図である。
図6の(b)は、載置台141に普通のサイズの紙カップ(不透明)の飲料容器4が載置された場合(
図5の(D)と同じ状態)の二値画像の模式図である。
【0079】
図6に示すとおり、(a)に示す双曲線hbの画像の縦方向長さL1と、(b)に示す双曲線hbの画像の縦方向長さL2は相違する。これらを、判定部14が1つの双曲線部HBの画像に基づいて判定する場合は、閾値情報22の一致の場合の数値の範囲を大きな数値幅に設定し、(a)(b)双方について、飲料容器4が紙カップと判定するようにする。また、判定部14は、一致の範囲の数値幅を、(a)の大きいサイズと(b)の普通のサイズとに区分できるように区分けするようにも設定できる。
【0080】
また、判定部14が複数の双曲線部HBの画像(たとえば、大きいサイズの双曲線部HBの画像と、普通のサイズの双曲線部HBの画像)を用いる場合は、閾値情報22の一致の場合の数値の範囲を小さな数値幅に設定することが望ましい。
【0081】
なお、プラスチックカップ(透明)の飲料容器4(
図5の(B)(C)の飲料容器4a,4b参照)の大小まで判別するためには、収容部130に飲料容器4の高さ検出センサ(図示せず)等を設け、その検出結果を用いることも考えられる。
【0082】
[原理5・飲料の提供]
そして、提供処理装置1の提供部15は、判定したカップの種類及びサイズに応じて、飲料提供装置100から飲料容器4に飲料を提供させる処理を実行する。なお、提供処理装置1は、図示しない光センサを用いて、カップのサイズを判定してもよい。一例として、飲料提供装置100は、飲料容器4が載置位置に載置されたとき、普通のサイズと大きいサイズとのどちらも検出される低い位置にある第一光センサと、大きいサイズのみが検出される第二光センサとを設ける。そして、提供処理装置1は、第一光センサと、第二光センサとが同時に飲料容器4を検出したとき、大きいサイズのカップが載置位置に載置されたと判定する。また、提供処理装置1は、第一センサのみが飲料容器4を検出したとき、普通のサイズのカップが載置位置に載置されたと判定する。
【0083】
以上のように、飲料提供装置100は、紙カップ(不透明)の飲料容器4の撮影画像を二値化したとき、紙カップの形状と光の照射位置に対応する双曲線hbの画像及び弓型bmの画像の二値画像が生成されるように、照明装置2の位置を調整して飲料容器4を照らす。これにより、飲料提供装置100は、紙カップ(不透明)な飲料容器4の特徴を示す二値画像を用いてテンプレートマッチングを行い、飲料容器4が紙カップ(不透明)であるかプラスチックカップ(透明)であるかを精度良く判定することができる。したがって、飲料容器4は、対象の認識精度を向上することができる。
【0084】
[処理手順]
図7は、この実施の形態に係る飲料提供装置100及び提供処理装置1における飲料提供のための処理手順を示すフローチャートである。以下、同図に基づいてこの実施の形態の処理手順について説明する。
【0085】
まず、飲料を購入するユーザが飲料提供装置100の載置台141に飲料容器4を載置する。飲料提供装置100の位置センサ(図示せず)が飲料容器の載置を検出すると(素ステップS101の“Yes”)、検出装置210に検出信号を送る。検出装置210は、制御回路201(制御部10)に検出信号を出力する。
【0086】
制御部10が検出装置210から検出信号を受けると、制御部10は、照明制御装置211に照明装置2を点灯させる制御を行わせる(照明手順、点灯制御手順)。さらに、制御部10は、撮影制御装置212に撮影装置3を用いて飲料容器4を撮影させて撮影画像を取得する制御を行わせる(撮影手順、撮影制御手順)。
【0087】
撮影制御装置212が撮影装置3の撮影した飲料容器4の撮影画像を取得すると、取得部11は、この撮影画像を取得する(ステップS102)。
【0088】
次に、生成部12は、取得部11が取得した撮影画像に2値化処理を施して二値画像を生成する(ステップS103)。
【0089】
次に、抽出部13は、撮影画像の二値画像に対し、検索画像を用いたテンプレートマッチングを行う(ステップS104、抽出手順)。具体的には、抽出部13は、撮影画像の二値画像に対し、記憶部20に記録された検索情報21の双曲線部HBの画像や弓型部BMの画像を照合させる。そして、抽出部13は、飲料容器4の側面の表面形状に対応する双曲線hbの画像と、飲料容器開口部の縁の表面形状に対応する弓型bmの画像に近似した画像を含む抽出画像を抽出する。
【0090】
判定部14は、抽出部13の抽出画像をについて所定の判定を行う。具体的には、抽出画像から上記[原理3]に記載の方法で「相関値」を算出し、閾値情報22と対比する。「相関値」が閾値情報22以上である場合は(ステップS105の“Yes”)、判定部14は、載置台141に紙カップ(不透明)の飲料容器4が載置されたと判定する(ステップS106、判定手順)。「相関値」が閾値情報22以上である場合は(ステップS105の“No”)、判定部14は、載置台141にプラスチックカップ(透明)の飲料容器4が載置されたと判定する(ステップS107、判判定手順)。なお、ステップS106,S107では、載置台141に載置された飲料容器4が大きいサイズか普通のサイズかについても判定される。
【0091】
ステップS106,S107の判定ののち、表示制御装置209は、第1選択ボタン121〜第4選択ボタン124のうち、判定部14が判定した飲料容器4に対応するものを点灯させる。また、提供部15は、判定部14が判定した飲料容器4の種類及び大きさに対応する飲料を、提供口150から飲料容器4に注ぐ。
【0092】
[この実施の形態の作用効果]
以上、この実施の形態においては、照明装置2の光と飲料容器4の立体形状及び表面の状態との相関に依存して形成される双曲線hbの画像や弓型bmの画像を抽出することで、飲料容器4が不透明な場合と透明な場合とで、明らかに相違する双曲線hbの画像や弓型bmを抽出できる。そして、抽出した双曲線hbの画像や弓型bmを、飲料容器4の外形と同一の形状又は相似の形状とは相違する形状である双曲線部HBの画像や弓型部BMの画像とを対比することにより、容器が透明か不透明かを高い確度で判定できる。これにより、飲料容器4の種類を簡易かつ確実に識別し、内容物の種類に適合した飲料容器4で飲料を提供できる。
【0093】
この実施の形態においては、飲料容器4の少なくとも一部に光が当たることで得られる双曲線hbの画像や弓型bmの画像と、少なくとも一部に曲線部分を有する所定の二次元形状の情報としての双曲線部HBの画像や弓型部BMとを対比することにより、容器の形状の特徴的な部分に特定の方向から光を当てて少なくとも一部に曲線部分を有する所定の二次元画像の形成の状況を、判定の基準にできる。そのため、立体的形状に光を当てて二次元画像上に表れる特徴的な曲線部分を含む形状の有無で、容器が透明か不透明かを判定できる。
【0094】
この実施の形態においては、逆円錐台形状の不透明な飲料容器4の側面又は縁部に光を当てて特徴的に表れる双曲線hbの画像や弓型bmの画像の有無で容器が透明か不透明かを判定できる。
【0095】
この実施の形態においては、逆円錐台形状の不透明な飲料容器4の側面又は縁部に光を当てて特徴的に表れる双曲線hbの画像や弓型bmの画像のうちの少なくとも何れか一方の有無で容器が透明か不透明かを判定できる。
【0096】
この実施の形態においては、飲料容器4に対して上方から斜め下向きに容器を照らし、飲料容器4に対して水平方向から撮影することにより、少なくとも一部に曲線部分を有する所定の二次元形状の情報としての双曲線hbの画像や弓型bmを容易に形成し、判定に用いることができる。
【0097】
この実施の形態においては、記憶された比較形状の情報の画像である検索情報21の双曲線部HBの画像と弓型部BMの画像を用い、撮影画像から検索情報21の双曲線部HBの画像と弓型部BMの画像と相関のある領域を探索することで双曲線hbの画像や弓型bmの画像を抽出することにより、簡易かつ確実に飲料容器4が透明か不透明かを判定できる。
【0098】
この実施の形態においては、二値画像、及び/又は、コントラスト調整画像を用いて、簡易かつ確実に飲料容器4が透明か不透明かを判定できる。
【0099】
なお、この実施の形態においては、「容器」は飲料容器4としたが、これに限定されるものではなく、たとえば、食品用容器、穀物用容器、肥料用容器、飼料用容器、塗料用容器、化学品用容器等、内容物が液体、固体、粉体等に限定されず、複数種類の容器によって提供される、どのようなものに適用されてもよい。
【0100】
上記実施の形態においては、飲料容器4は上端に縁部が形成され、飲料容器4の撮影画像の2値化により弓型bmの画像が形成され、弓型部BMと対比が行われる構成としたが、上端に縁部が形成されていない飲料容器4であってもよい。この場合、検索情報21に弓型部BMが含まれない構成であってもよい。
【0101】
上記実施の形態においては、検索情報21は双曲線部HBの画像や弓型部BMの画像を有し、判定部14がこれらの画像とのテンプレートマッチングにより判定する構成としたが、判定部14がテンプレートマッチングによらずに判定を行う構成ともできる。たとえば、判定部14は飲料容器4の縦方向や横方向の長さの数値情報や、縦横比の数値情報等を備え、二値画像とこれらの数値との対比で判定を行う構成とすることも可能である。
【0102】
なお、上記実施の形態は本発明の例示であり、本発明がこの実施の形態のみに限定されるものではないことは、いうまでもない。