【実施例】
【0014】
図1は、本発明の実施の形態における画像処理装置を有する自動販売機を示す図であって、
図2は、本発明の実施の形態における画像処理装置を適用して構成したブロック図である。なお、この画像処理装置は、防犯用に設けられた撮像装置で撮像した画像に対して画像処理を行うほか、所定の画像に対しても行うことが可能である。
【0015】
図1において、自動販売機は、対価の支払いにより容器に内包された飲料(缶飲料、ペットボトル飲料等)の払い出しや所定のサービスの提供を行うことが可能である。例えば、硬貨や紙幣のほか電子マネーなどの通貨により支払いが行われると、選択された種類の飲料を下部に設けられた排出口より排出されるほか、ディスプレイ等の表示部110に所定の情報(地図情報、飲食店情報、イベント情報等)を表示させて情報提供を行う。
【0016】
この自動販売機には、CCDカメラやCMOSセンサー等の撮像装置(撮像機、撮影機)(以下、「撮像部101」と称する)が搭載されており、所定の撮像条件(撮像開始条件)の成立によって撮像設定情報に基づいて撮像部101が自動販売機でサービスの提供を受ける人物を含む撮像対象(撮像物)の撮像を行う。撮像対象は、人物のみであっても良いが、この人物のほか背景を含む。
【0017】
また、所定の撮像条件は、人物がサービスの享受を指示したことのほか、任意の人物が撮像可能な撮像範囲に一定時間継続して位置したこととすることも可能である。
【0018】
さらに、撮像設定情報は、撮像部101が撮像対象を撮像する際に用いられる設定情報であって、CCDカメラやCMOSセンサー等の感度(ゲイン)やCCDカメラやCMOSセンサー等に入射される光量を調整する露光時間など等によって構成される。
【0019】
上記の撮像条件が成立して予め指定された撮像設定情報(初期撮像設定情報)に基づき撮像部101が撮像対象を撮像すると、表示部110にその撮像対象に対する撮像画像を表示することが可能である。なお、撮像した画像を必ずしも表示部110に表示する必要はない。
【0020】
図2では、撮像ユニット100、表示部110が示されている。この撮像ユニット100は、撮像対象を撮像することによってその撮像対象の撮像情報(後述する「色調データ」が該当)を取得して、その撮像情報に基づく最適な撮像設定情報を用いて撮像対象を撮像するユニットである。なお、この撮像対象に人物が含まれている場合、その人物の顔部分(以下、単に「顔」と称する)の撮像情報を含む顔情報を取得し、人物の顔の認識精度を高めるために顔情報を元に新たに設定した撮像設定情報を用いて撮像対象を撮像する。このときの顔は、人物より認識する認識対象であるほか、どのような属性情報を有する人物であるかを推定(特定)する属性推定対象(属性特定対象)でもある。このときの属性情報(単に、「属性」とも称する)とは、人物に関する情報であって、人種、年齢、性別等によって表される。
【0021】
この撮像ユニット100は、人物等を含む撮像対象を撮像するレンズや撮像素子等からなる撮像部101(上記の「撮像装置」が該当)、撮像部101で撮像対象を撮像した撮像画像を所定のタイミングでサンプリングした画像信号に対して所定の信号処理を行う信号処理部102、画像信号に対して画像処理を行う画像処理部103を具備して構成されている。
【0022】
撮像部101では、各種フィルタを介してアレイ配列された撮像素子それぞれで撮像対象の入力信号を読み出し、読み出した入力信号を信号処理部102へと送出する。
【0023】
信号処理部102は、サンプリング処理部102a、ジェネレータ102b、レジスタ102c、調整部102dを具備して構成される。
【0024】
撮像部101によって読み出した信号はサンプリング処理部102aに入力され、このサンプリング処理部102aは、撮像部101から信号が入力された状態と入力されていない状態とから、入力された信号の内容(撮像画像)を明確にするサンプリング処理を行って調整部102dへと信号を送信する。このサンプリング処理部102aは、信号レベルの低い入力信号によるノイズを最大限除去することが可能である。このサンプリング処理部102aは、ジェネレータ102bからのクロック信号(パルス)を受け付けることでそのクロック信号に基づく処理タイミングにサンプリング処理を行う。
【0025】
ジェネレータ102bは、所定の信号処理用のクロック信号を生成することが可能であって、このクロック信号をサンプリング処理部102aに送信するほか、撮像部101に送信することとしてもよい。この場合、サンプリング処理部102aにおいて行われるサンプリング処理および撮像部101において行われる撮像処理が、このクロック信号に基づくタイミングで処理されることとなる。このときのクロック信号を「33ms(ミリ秒)」とすると、「1秒間(1000ms)」当たり「30フレーム」の画像が撮像部101によって撮像されることとなる。
【0026】
サンプリング処理部102aにおいてサンプリング処理が行われた信号(各フレーム単位の信号)は調整部102dに入力され、この調整部102dは、サンプリング処理部102aから信号を受け付けることによって、その信号をもとに撮像設定情報が不適切であることで撮像画像が適切でないと判断する場合にその撮像設定情報の少なくとも一部を調整する処理を行うことで信号レベルを一定のレベルに保つ処理を行う。この調整部102dでは、調整処理が行われると、調整された調整後の撮像設定情報をレジスタ102cへと記憶する。なお、撮像画像が適切でないと判断しない場合(撮像画像が適切である場合)には撮像設定情報の少なくとも一部を調整する処理を行わないこととしてもよい。
【0027】
このほか、調整部102dでは、以下に示すような画像処理部103において行われる画像処理によってレジスタ102cで記憶する顔情報(認識できた顔の位置座標、顔位置座標の明るさ情報)を元に撮像設定情報の調整確認処理を行うことも可能である。すなわち、撮像設定情報は、認識した顔から人物の属性情報の推定する際に撮像部101が用いる情報である。また、レジスタ102cに各種情報を記憶していない場合、撮像設定情報の調整確認処理を行わない。
【0028】
撮像部101は、このレジスタ102cにおいて記憶している撮像設定情報に基づいて撮像対象の撮像を行うものである。
【0029】
このような信号処理を行うと、信号処理部102は、撮像画像を画像処理部103へと送信する。
【0030】
画像処理部103では、受信した撮像画像を元にその撮像画像から撮像対象に人物の顔が含まれているかの「顔認識処理」を行う。顔認識処理は、顔を認識する処理であって、撮像対象に人物(認識した顔を有する人物)が含まれていることを識別する処理である。あくまでも顔認識処理は、人物が撮像画像に含まれていることを認識する処理である。この顔認識処理は、例えば、撮像画像を複数の矩形領域に分けて矩形領域間の明度差を元に顔の特徴を把握することが可能であるほか、3次元モデルを形成することで顔の器官(目、鼻、口等)を検出して顔を認識する方法がある。
【0031】
このように顔認識処理が行われて顔認識すると、画像処理部103は、認識した顔の位置座標を特定する処理を行う。このとき複数の顔が認識できた場合にはそれぞれの顔の位置座標を特定する。また、顔認識が行われて顔の位置座標が特定されると、画像処理部103では、その顔の位置座標に該当する画素(ピクセル)の色調データを取得する。この色調データは、撮像設定情報を決定するために用いられる撮像情報であって、例えば、明度(明るさ情報)や彩度によって表される。以下では、「明るさ情報」をもとに説明する。
【0032】
この明るさ情報(色調データの一例、以下同様。)は、撮像画像をグレースケール画像としたときに1画素当たり1バイト(8ビット)で表され、画像の濃淡を256階調で表したものである。このとき、最も濃い状態を「0階調」とし、最も薄い状態を「255階調」としている。
【0033】
続いて、画像処理部103では、各画素の濃淡を算出し、算出した各画素の濃淡から画像全体の平均値を計算する。この平均値を撮像画像の明るさ情報とする。すなわち、画像処理部103において顔認識が行われて顔位置座標が特定されている場合には、この顔位置座標の明るさ情報を算出することとなるのに対して、画像処理部103において顔認識ができない場合には、この撮像画像全体の明るさ情報を算出する。
【0034】
このように、明るさ情報が算出されると、画像処理部103は、この明るさ情報をレジスタ102cへと記憶するほか、顔認識処理によって顔が認識できた場合には認識した顔がある顔位置座標(顔位置情報)をレジスタ102cへと記憶する。すなわち、画像処理部1034における顔認識処理において顔が認識できた場合、レジスタ102cには、顔認識ができたこと、認識できた顔の位置座標、顔位置座標の明るさ情報を顔情報として記憶した状態となる。それに対して、顔が認識できない場合には顔が認識できないこと、撮像画像全体の明るさ情報を記憶した状態となる。なお、レジスタ102cには初期値として「顔が認識できないこと(顔認識フラグ=OFF)」を記憶している。このときの顔位置情報とは、顔全体の位置情報や顔を構成する器官(目、鼻、口等)ごとの位置情報および形状情報のほか、各器官間の位置関係に関する情報をも含むこととしてもよい。
【0035】
このようにレジスタ102cにおいて所定のフレーム数分の明るさ情報が記憶されると、調整部102dは、これらの明るさ情報をもとに(広い概念では顔情報をもとに)撮像設定情報の調整確認処理を行う。
【0036】
この調整確認処理は、色調データである明るさ情報が、認識した顔から人物の属性情報の推定することが可能であると指定されている有効範囲内となるように撮像装置が用いる撮像設定情報を変更する処理である。より具体的には、調整確認処理は、
図7に示すような撮像設定情報変更テーブルを用いて明るさ情報であるゲイン、露光時間等の撮像設定情報を、所定の変更幅で変更する処理である。
【0037】
このことから、所定の変更幅で、明るさ情報であるゲイン、露光時間等の撮像設定情報を変更していき、明るさ情報が、指定されている有効範囲内となったときに、認識した顔の顔情報をもとに人物の属性情報を推定することが可能となったことで撮像処理を終了する撮像終了条件が成立したと判断する。調整確認処理の詳細については
図5および
図6に示し、後述する。
【0038】
また、所定のフレーム数とは、例えば、任意の複数のフレーム数とすることができるほか、クロック信号に基づく時間に撮像した複数のフレーム数とすることができる。なお、複数のフレーム数分の明るさ情報がレジスタ102cに記憶されたことによって調整部102dが調整確認処理を行うこととしているが、これに限定されることなく、単一のフレームの明るさ情報が記憶されたときに調整部102dが調整確認処理を行うこととしてもよい。つまり、撮像した単一のフレーム毎に調整確認処理を行うこととなる。
【0039】
図3は、本発明の実施の形態における画像処理装置において画像処理の状態を表す図である。
【0040】
図3において、
図3(a)は、所定のフレーム数分の撮像画像のうち1フレーム分を示した撮像画像を示す図であって、この撮像画像においては顔認識処理によって適切に顔を認識することができない撮像画像を示している。
図3(b)は、
図3(a)に示す撮像画像を用いて顔認識処理を行って、顔位置座標を抽出した状態を示す図である。
【0041】
図3(c)は、
図3(b)に示すような顔の色調データ(明るさ情報)を算出してその算出した色調データを用いて撮像設定情報(ゲイン、露光時間)を設定後、その撮像設定情報を用いて撮像部が撮像対象を撮像した撮像画像を示す図である。
図3(c)に示す撮像画像は、
図3(a)に示す撮像画像と比べて撮像画像全体が、顔部分の色調データを用いて設定された撮像設定情報によって顔認識の可能性を高めた状態を示している。
【0042】
図4は、本発明の実施の形態における画像処理装置において行われる画像処理の流れを示すフローチャートである。
【0043】
図4において、画像処理装置の一例である画像処理部は、撮像開始条件が成立すること等によって処理が開始されると、まず、初期化処理を行う(S401)。この初期化処理は、レジスタに記憶している情報を初期状態とする処理である。
【0044】
初期化処理(S401)が行われると、続いて、画像処理部は、撮像装置を用いて人物を含む撮像対象を撮像する処理を行う(S402)。撮像対象が撮像されると、画像処理部は、その撮像した撮像画像に含まれる人物から顔部分を認識する処理を行う(S403)。
【0045】
続いて、画像処理部は、この顔認識処理において顔認識できたか否かを判断する(S404)。顔認識処理において顔認識ができたと判断する場合(S404でYES)、画像処理部は、認識した顔に関する情報(顔情報)を取得する処理を行う(S405)。このときの顔情報は、認識した顔から人物の属性情報を推定するために必要な情報であって、顔部分の色調データや顔の位置座標等が該当する。
【0046】
このようにして顔情報を取得すると、画像処理部は、顔情報を保存する処理を行う(S406)。これによって、撮像した撮像画像に対する顔情報が保存された状態となる。フレーム単位で撮像対象を撮像する場合にはフレーム単位で顔情報が保存された状態となる。
【0047】
続いて、所定フレーム数分の顔情報を保存しているか否かを判断し(S407)、所定フレーム数分の顔情報を保存していると判断する場合(S407でYES)、画像処理部は、続いて、人物の属性情報の推定の終了に伴う撮像終了条件が成立したか否かを判断する(S411)。これに対して、所定フレーム数分の顔情報を保存していると判断しない場合(S407でNO)、画像処理部は、「調整確認処理1」を行う(S408)。所定フレーム数が単一のフレームである場合にはフレームごとにこれらの処理を行う。
【0048】
この「調整確認処理1」は、
図5に示すような処理であって、顔情報に含まれる色調データに基づいて新たな撮像設定情報を算出する処理である。
【0049】
次に、顔認識処理において顔認識できたか否かを判断する処理(S404)において、顔認識処理において顔認識ができたと判断しない場合(S404でNO)、画像処理部は、撮像画像の撮像対象全体から色調データを取得する処理を行い(S409)、「調整確認処理2」を行う(S411)。
【0050】
この「調整確認処理2」は、
図6に示すような処理であって、撮像画像全体の色調データに基づいて新たな撮像設定情報を算出する処理である。
【0051】
このようにして、調整確認処理1が行われた場合、調整確認処理2が行われた場合、所定フレーム数分の顔画像を保存していない場合、これらいずれの場合において画像処理部は、人物の属性情報の推定の終了に伴う撮像終了条件が成立したか否かを判断する(S411)。この撮像終了条件は、人物の属性情報の推定に必要な処理が完了したこと等である。すなわち、人物の属性情報の推定を行うための適切な撮像設定情報が設定されたことを示す。
【0052】
図5は、
図4において示す「調整確認処理1」の詳細な流れを示すフローチャートである。この「調整確認処理1」では、顔情報の一部である色調データから撮像画像全体を撮像する撮像設定情報を算出する処理である。
【0053】
図5において、画像処理部は、顔認識処理によって認識した顔部分の各ピクセルからそれぞれ顔情報の一部である色調データを取得する(S501)。この色調データは、上記に示すように階調値によって指定される。
【0054】
色調データを取得すると、画像処理部は、各ピクセルの色調データから撮像画像全体の「平均色調データ」を算出する(S502)。この「平均色調データ」が顔部分の明るさ情報として示されることとなる。
【0055】
続いて、画像処理部は、この「平均色調データ」、すなわち、顔部分の明るさ情報が、所定の有効範囲内にあって人物の属性情報の推定に必要な有効範囲内にあるか否かを判断する(S503)。「平均色調データ」が所定の範囲内にあると判断する場合(S503でYES)、画像処理部は、処理を終了する。これに対して、所定の範囲内に「平均色調データ」があると判断しない場合(S503でNO)、画像処理部は、続いて、撮像設定情報(ゲイン、露光時間)を所定の変更幅だけ変更して新たな撮像設定情報を算出する(S504)。そして、画像処理部は、この撮像設定情報をレジスタに保存(登録)する(S505)。
【0056】
図6は、
図4において示す「調整確認処理2」の詳細な流れを示すフローチャートである。この「調整確認処理2」では、撮像画像全体の色調データから撮像画像全体を撮像する撮像設定情報を算出する処理である。
【0057】
図6において、画像処理部は、撮像画像全体の各ピクセルからそれぞれ色調データを取得する(S601)。
【0058】
色調データを取得すると、画像処理部は、各ピクセルの色調データから撮像画像全体の「平均色調データ」を算出する(S602)。この「平均色調データ」が顔部分の明るさ情報として示されることとなる。
【0059】
続いて、画像処理部は、この「平均色調データ」、すなわち、顔部分の明るさ情報が、所定の有効範囲内にあって人物の属性情報の推定に必要な有効範囲内にあるか否かを判断する(S603)。この「平均色調データ」が所定の範囲内にあると判断する場合(S603でYES)、画像処理部は、処理を終了する。これに対して、所定の範囲内に「平均色調データ」があると判断しない場合(S603でNO)、画像処理部は、続いて、撮像設定情報(ゲイン、露光時間)を所定の変更幅だけ変更して新たな撮像設定情報を算出する(S604)。そして、画像処理部は、この撮像設定情報をレジスタに保存(登録)する(S605)。
【0060】
このように、
図5および
図6に示すような各調整確認処理によって最適な撮像設定情報がレジスタに保存された状態となり、この撮像設定情報を用いて人物の属性情報を推定することが可能となる。
【0061】
図7は、本発明の実施の形態における画像処理装置において用いられる撮像設定情報変更テーブルを示す図である。
【0062】
図7において、撮像設定情報変更テーブルは、撮像設定情報項目名称70、優先度71、設定範囲72、変更幅73によって構成されている。
【0063】
撮像設定情報項目名称70は、撮像設定情報を構成する項目である。また、優先度71は、撮像設定情報項目名称70のいずれかを変更する場合に優先する項目を指定する情報であって、設定範囲72は、撮像設定情報を構成する各項目が取り得る範囲の値を示し、変更幅73は、撮像設定情報を構成する各項目を変更していく変更幅である。
【0064】
図7では、撮像設定情報項目名称70として、「ゲイン(感度)」、「露光時間(シャッタースピード)」が示されており、優先度71として、「ゲイン(感度)」に対して「高(1)」、「露光時間(シャッタースピード)」に対して「低(0)」が示されている。このことから、「ゲイン(感度)」が「露光時間(シャッタースピード)」よりも優先して変更されていくことを示している。
【0065】
このときの変更幅が変更幅73において示されるように、「ゲイン(感度)」が「5」の変更幅で変更されていき、「露光時間(シャッタースピード)」が「500」の変更幅で変更されていくことを示している。そして、設定範囲72には、「ゲイン(感度)」、「露光時間(シャッタースピード)」の取り得る設定範囲が示されており、「ゲイン(感度)」は「0−255」の範囲であって、「露光時間(シャッタースピード)」は「0−65535」の範囲である。
【0066】
以上のことから、撮像対象を撮像した撮像画像において、顔認識したとき、認識した顔の顔情報(色調データ(特に、明るさ情報))が所定の範囲内にない場合、「ゲイン(感度)」を優先して「5」の変更幅で変更し、その後、「露光時間(シャッタースピード)」を「500」の変更幅で変更していく。この「ゲイン(感度)」と「露光時間(シャッタースピード)」とを交互に変更していくようにしてもよいし、一方のみを変更していくことで、顔の顔情報(色調データ(特に、明るさ情報))を所定の範囲内となるようにしてもよい。
【0067】
このように、撮像設定情報である「ゲイン(感度)」、「露光時間(シャッタースピード)」を変更することで人物の属性情報を推定するための適切な明るさ情報を得ることが可能となる。
【0068】
以上に示す実施の形態は、本発明の実施の一形態であって、これらの実施例に限定することなく、その要旨を変更しない範囲内で適宜変形して実施できるものである。