(58)【調査した分野】(Int.Cl.,DB名)
色素が含有されると共に透光性を有する食材を被験体に咀嚼させることで得られる複数の咬断片の表面積に基づき、前記被験体の咀嚼能力を推定する咀嚼能力推定装置であって、
撮像手段が前記複数の咬断片を撮像することで得られる撮像画像の色情報に基づき、前記複数の咬断片ごとに、咬断片の領域面積及び推定高さを含む特徴量を算出する特徴量算出手段と、
前記特徴量に基づき前記表面積を算出する咀嚼能力推定手段と、を備える、
ことを特徴とする咀嚼能力推定装置。
色素が含有されると共に透光性を有する食材を被験体に咀嚼させることで得られる複数の咬断片の表面積に基づき、前記被験体の咀嚼能力を推定する咀嚼能力推定方法であって、
前記複数の咬断片を撮像して撮像画像を取得するステップと、
前記撮像画像の色情報に基づき、前記複数の咬断片ごとに、咬断片の領域面積及び推定高さを含む特徴量を算出するステップと、
前記特徴量に基づき前記表面積を算出するステップと、を備える、
ことを特徴とする咀嚼能力推定方法。
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献1〜4に開示された手法では、攪拌装置や成分分析装置などの特別な装置が必要となるため、簡易に咀嚼能力を推定するという点では改善の余地がある。また、装置を用いずに、評価者が目視によって、咀嚼後のグミゼリーがどれくらい細分化されているかを判断してスコア化する手法(スコア法)も存在する。このスコア法でも、ある程度の精度で咀嚼能力を推定できることが分かっているが、評価者による差が生じてしまう。
【0006】
本発明は、上記実情に鑑みてなされたものであり、簡易に、良好な精度で咀嚼能力を推定することができる咀嚼能力推定装置、咀嚼能力推定方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0007】
上記目的を達成するため、本発明の第1の観点に係る咀嚼能力推定装置は、
色素が含有されると共に透光性を有する食材を被験体に咀嚼させることで得られる複数の咬断片の表面積に基づき、前記被験体の咀嚼能力を推定する咀嚼能力推定装置であって、
撮像手段が前記複数の咬断片を撮像することで得られる撮像画像の色情報に基づき、前記複数の咬断片ごとに、咬断片の領域面積及び推定高さを含む特徴量を算出する特徴量算出手段と、
前記特徴量に基づき前記表面積を算出する咀嚼能力推定手段と、を備える。
【0008】
前記咀嚼能力推定装置は、前記撮像画像から前記複数の咬断片の各々を抽出した抽出画像を生成する抽出画像生成手段をさらに備え、
前記特徴量算出手段は、前記抽出画像の色情報に基づき、前記推定高さを算出してもよい。
【0009】
前記特徴量算出手段は、前記色素の吸光度がピーク値をとる波長帯域に対応した色以外の色に関する色情報に基づき、前記推定高さを算出してもよい。
【0010】
前記特徴量算出手段は、前記撮像画像の色情報として、赤色に対応する色座標値と緑色に対応する色座標値との差に基づき、前記推定高さを算出してもよい。
【0011】
前記食材は、前記色素としてカロチン色素と、マリーゴールド色素と、パプリカ色素との少なくともいずれかを用いたグミゼリーであり、
前記特徴量算出手段は、前記色素の吸光度がピーク値をとる波長帯域に対応した青色以外の色に関する色情報に基づき、前記推定高さを算出してもよい。
【0012】
上記目的を達成するため、本発明の第2の観点に係る咀嚼能力推定方法は、
色素が含有されると共に透光性を有する食材を被験体に咀嚼させることで得られる複数の咬断片の表面積に基づき、前記被験体の咀嚼能力を推定する咀嚼能力推定方法であって、
前記複数の咬断片を撮像して撮像画像を取得するステップと、
前記撮像画像の色情報に基づき、前記複数の咬断片ごとに、咬断片の領域面積及び推定高さを含む特徴量を算出するステップと、
前記特徴量に基づき前記表面積を算出するステップと、を備える。
【0013】
上記目的を達成するため、本発明の第3の観点に係るプログラムは、
色素が含有されると共に透光性を有する食材を被験体に咀嚼させることで得られる複数の咬断片が写された撮像画像を解析するためのプログラムであって、
コンピュータに、
前記撮像画像の色情報に基づき、前記複数の咬断片ごとに、咬断片の領域面積及び推定高さを含む特徴量を算出する処理と、
前記特徴量に基づき前記複数の咬断片の表面積を算出する処理と、
を実行させる。
【発明の効果】
【0014】
本発明によれば、簡易に、良好な精度で咀嚼能力を推定することができる。
【発明を実施するための形態】
【0016】
本発明の一実施形態を、図面を参照して説明する。
【0017】
図1に示す咀嚼能力推定装置100は、規格化されたグミゼリーを被験者に咀嚼させることで得られる複数の咬断片F(
図2(a)参照)の表面積を算出し、算出した表面積を被験者の咀嚼能力として推定する。なお、「グミゼリー」とは、ゼラチンを含む食品であって、咀嚼により複数の咬断片に細分化することが可能なものをいう。例えば、グミゼリーは、ゼラチン、糖、水、所定の色素などを成分として形成される。
【0018】
咀嚼能力推定装置100を用いた咀嚼能力推定方法では、まず、カロチン色素入りのグミゼリー(20×20×10mm、約5.5g)を被験者に30回咀嚼させた後、ケース9(
図2(a)参照)に回収する。そして、咀嚼能力推定装置100により、ケース9内に収容された咀嚼後のグミゼリーの咬断片Fを撮像して得られる撮像画像P1を解析することで、咀嚼後のグミゼリーの表面積を算出する。
ケース9は、グミゼリーの大きさに合わせて規格化されたものであり、矩形の底面部を有し、開口した箱状に形成されている。ケース9は、例えばプラスティック等の樹脂により白色に形成されている。
図2(a)に示すように、ケース9の底面部の四隅には、画像解析サイズを調整するためのマーカ9a〜9dが設けられている。
以下では、まず、咀嚼能力推定装置100の構成について説明した後、咀嚼能力推定装置100を用いた咀嚼能力推定方法について詳細に述べる。
【0019】
咀嚼能力推定装置100は、
図1に示すように、撮像装置10と、画像解析装置20と、を備える。
【0020】
撮像装置10は、例えば、デジタルカメラから構成され、レンズ部11と、撮像素子12と、撮像制御部13と、メモリ部14と、を備える。
【0021】
レンズ部11は、所定数のレンズを有し、被写体(主に咬断片F)の像を撮像素子12へ結像させる。また、レンズ部11は、撮像制御部13の制御により、図示しないレンズ駆動部を介してフォーカス、ズーム動作が可能となっている。
【0022】
撮像素子12は、例えば、RGBフィルタがベイヤー配列されたCCD(Charge Coupled Device)やCMOS(Complementary MOS)等から構成されている。撮像素子12は、異なる3つの波長帯域(RGB)の光をそれぞれ透過させるフィルタを介して入射される被写体像を表す光を電気信号に変換することで、被写体の画像(撮像画像P1)のRGBのアナログデータを取得する。この実施形態に係る咀嚼能力推定方法においては、撮像画像P1は、
図2(a)に示すように、ケース9とその内部に収容されたグミゼリーの複数の咬断片Fとが写った画像となる。
【0023】
撮像制御部13は、CPU(Central Processing Unit)等から構成され、メモリ部14に格納されている動作プログラムを実行して、撮像装置10の各部の動作を制御する。また、撮像制御部13は、撮像素子12が取得した撮像画像P1のアナログデータを、A/D(Analog/Digital)変換してデジタルデータを生成し、生成したデジタルデータに対し必要に応じて、ホワイトバランス調整、ノイズ除去などの公知の画像処理を実行する。撮像画像P1のデジタルデータ(画像データ)は、メモリ部14に保存される。なお、撮像制御部13は、画像解析装置20の制御部21と、図示しないI/F(インターフェース)や、有線又は無線による通信手段を介して通信可能に構成されている。メモリ部14は、ROM(Read Only Memory)やRAM(Random Access Memory)等から構成され、動作プログラムや、撮像画像P1の画像データを記憶する。
【0024】
画像解析装置20は、例えば、パーソナルコンピュータから構成され、制御部21と、記憶部22と、表示部23と、を備える。
【0025】
制御部21は、CPU等から構成され、記憶部22に格納されている動作プログラムを実行して、画像解析装置20の各部の動作を制御する。また、制御部21は、撮像装置10から前記のI/Fや通信手段を介して、撮像画像P1の画像データを取得し、取得した撮像画像P1に対して画像処理を実行する。
【0026】
記憶部22は、ROMやRAM等から構成されている。記憶部22のROMには、各種の動作プログラム(後述の咀嚼能力推定処理を実行するためのプログラムPGを含む)のデータ、後述の特徴量を算出するための数式に関するデータ、後述の咀嚼能力決定テーブルTAのデータなどが予め記憶されている。記憶部22のRAMは、各種演算結果を示すデータや、撮像装置10から取得した撮像画像P1の画像データなどを一時的に記憶する。
【0027】
表示部23は、液晶ディスプレイ(LCD:Liquid Crystal Display)、有機ELディスプレイ(OELD:Organic ElectroLuminescence Display)等から構成され、制御部21の制御の下で所定の画像を表示する。例えば、表示部23は、咀嚼能力推定結果を示す画像などを表示する。なお、表示部23は、後述の咀嚼能力推定処理の実行に合わせて、
図2(a)〜(c)に示す撮像画像P1、規格化画像P2、抽出画像P3を表示してもよい。
【0028】
制御部21は、機能部として、規格化部21aと、抽出画像生成部21bと、特徴量算出部21cと、咀嚼能力推定部21dと、を備える。
【0029】
規格化部21aは、
図2(a)に示すように、ケース9とその内部に収容されたグミゼリーの複数の咬断片Fとが写った撮像画像P1の画像データから、マーカ9a〜9dの各位置を検出し、検出した各位置に基づき解析サイズを調整した、
図2(b)に示すような、規格化画像P2の画像データを生成する。例えば、規格化部21aは、パターンマッチング等の手法により、マーカ9a〜9dの各位置を検出し、検出した各位置に基づき、撮像画像P1をトリミングして規格化画像P2(例えば、縦830px、横1250px)を生成する。規格化部21aは、画像のサイズ調整に併せて画像の歪みなどを補正してもよい。マーカ9a〜9dの検出手法、画像サイズの調整手法、歪みの補正手法は、適宜、公知の手法を採用することができる。なお、ケース9にマーカ9a〜9dを設けず、規格化部21aは、撮像装置10が有する距離センサが取得した被写体までの距離情報と、予め記憶部22のROMに記憶させたケース9の大きさに関するデータとに基づいて、画像サイズを調整した規格化画像P2を生成してもよい。
【0030】
抽出画像生成部21bは、規格化部21aが生成した規格化画像P2の画像データから、複数の咬断片Fそれぞれの領域を抽出した(複数の咬断片Fそれぞれを示す画像を抽出した)、
図2(c)に示すような、抽出画像P3の画像データを生成する。併せて、抽出画像生成部21bは、生成した抽出画像P3において、領域を抽出した咬断片Fの各々に、1、2、3、…i(i:咬断片Fの数)というように、所定の順序でラベリングを行う。
【0031】
具体的には、抽出画像生成部21bは、規格化画像P2を構成する画像群のRGBデータ(RGB表色系における(R,G,B)の値)のうちブルー(B)の値に基づいて、各咬断片Fの領域を抽出する。「B」の値を用いる理由は、後に述べる。例えば、抽出画像生成部21bは、注目画素の「B」の値と、注目画素に隣接する隣接画素の「B」の値との差分値が、予め定めた閾値を超える画素を抽出することで、各咬断片Fの輪郭(エッジ)を抽出し、抽出画像P3を生成する。なお、各咬断片Fのエッジ抽出手法は、任意であり、1次微分をする時に注目画素の近傍の画素に重み付けをするエッジ抽出フィルタを用いて各咬断片Fの領域を抽出し、抽出画像P3を生成してもよい。例えば、エッジ抽出フィルタとして、9画素(3×3画素)における注目画素(中央画素)の4つの近傍画素(上下左右の画素)の重みをそれぞれ−1としたラプラシアンフィルタ(4近傍)を用いた場合、抽出画像生成部21bは、各画素の「B」の値により4近傍の差分を取り、その差分値が所定の閾値を超える画素を抽出することで、各咬断片Fの輪郭(エッジ)を抽出すればよい。その他、エッジ抽出フィルタとして、8つの近傍画素に重み付けをしたラプラシアンフィルタ(8近傍)や、グラディエントフィルタ(Robertsフィルタ、Prewittフィルタ、Sobelフィルタ等)などの他の公知のエッジ抽出フィルタを用いてもよい。当該エッジ抽出フィルタを用いた演算を行うためのデータは、予め記憶部22のROMに格納されていればよい。
【0032】
ここで、抽出画像P3を生成する際に、規格化画像P2を構成する画素のブルー(B)の値を用いる理由を、
図3を参照して説明する。
図3は、βカロチン(溶液)の吸光度スペクトル(吸光度の波長依存性)を示すグラフである。なお、本実施形態で使用するカロチン色素入りのグミゼリーにおいては、βカロチンの色が支配的となる。
【0033】
図3を参照すると分かるように、βカロチンの吸光度は、青色(概ね波長帯域435nm〜495nm。なお、CIE(国際照明委員会)表色系では435.8nm)に相当するときにピーク値をとる。したがって、規格化画像P2を構成する画素群においては、咬断片Fが無い領域(つまり、ケース9の底面部が写った領域)から、咬断片Fが有る領域に差し掛かると、画素値(RGBデータ)の「B」成分が急激に低下することになる。こうした理由から、抽出画像生成部21bは、規格化画像P2を構成する各画素のブルー(B)の値の変化に基づいて、各咬断片Fの輪郭(エッジ)を抽出し、複数の咬断片Fそれぞれの領域を示す抽出画像P3の画像データを生成する。
【0034】
特徴量算出部21cは、抽出画像P3においてラベリングされた複数の咬断片F毎に、特徴量を算出する。ラベリングされた複数の咬断片Fのうち任意の1つを咬断片Fiとすれば、特徴量算出部21cは、咬断片Fiの画像を構成する画素群のRGBデータ(RGB表色系における(R,G,B)の値)のうち、各画素におけるRの値からGの値を減じることで、各画素に対応した位置における咬断片Fiの推定高さを表す高さ情報「c」(c=R−G)を特徴量として算出する。なお、RGBデータの値を述べる際に使用するRは、後述の表面積を示す記号R(表面積R。下記(数2)の(c2))とは別のものを指すことに留意されたい。
【0035】
ここで、高さ情報「c」が咬断片Fiの推定高さを表す理由を、
図3及び
図4(a)を参照して説明する。
【0036】
図3に示すように、赤色に相当する波長帯域(概ね620nm以上。なお、CIE表色系では700nm)では、グミゼリーに含まれるβカロチンの吸光度は、ほぼ0(ゼロ)に近くなる。つまりは、ケース9内の咬断片Fiが有る領域と無い領域とで、画素値の「R」成分はほぼ変化せず、一定と見做せることになる。一方、緑色に相当する波長帯域(概ね495nm〜570nm。なお、CIE表色系では546.1nm)では、カロチンの吸光度はピーク値と0(ゼロ)との間の所定値をとることがわかる。
続いて、説明の理解を容易にするために、咬断片Fiに白色光を当てた場合を考える。白色光を仮想上、完全な白と考えると、当該白は、(R,G,B)=(W,W,W)(各色の明度を8ビットで表した場合は、W=255)で表すことができる。また、グミゼリーの咬断片Fiで光が吸収されることによる、RGBに対応した各波長に対応した明度の減少分をA
R、A
G、A
Bとすれば、
図4(a)に示すように、咬断片Fiの画素データは、(R,G,B)=(W−A
R,W−A
G,W−A
B)と表すことができる。
前記のように赤色(R)に対応する波長帯域では、カロチンの吸光度はほぼ0(ゼロ)であるため、A
R=0と見做せる。そうすると、位置Eにおける画素データは、(R,G,B)=(W−A
R,W−A
G,W−A
B)≒(W,W−A
G,W−A
B)と近似して表せる。ここで、Rの値からGの値を減じると、R−G=W−(W−A
G)=A
Gとなる。吸光度は、試料の光路長と試料濃度に比例するため、規格化されたカロチン入りのグミゼリーを用いた場合は、当該グミゼリーの咬断片Fiの位置Eにおける高さをhとすれば、kを係数として、A
G=k・hと表せる。これにより、高さ情報cは、c=R−G=k・hとなり、咬断片Fiの推定高さを表すことが分かる。
【0037】
以上のようにして、特徴量算出部21cは、咬断片Fiを表す画像を構成する各画素において、高さ情報cを算出する。なお、特徴量算出部21cは、咬断片Fiを表す画像を構成する画素群の全てにおいて、高さ情報cを算出しなくともよい。例えば、当該画素群を分割し、その分割数に対応した分だけ、高さ情報cを算出するなどしてもよい。
【0038】
また、特徴量算出部21cは、抽出画像生成部21bが抽出した咬断片Fiのエッジに囲まれる領域の面積(領域面積)Aiを算出する。領域面積Aiは、概ね、ケース9の底面の法線方向N(
図4(a)参照)における、咬断片Fiの正射影の部分の面積(つまり、法線方向Nにおける咬断片Fiの凹凸は考慮されていない面積)を表すことになる。また、特徴量算出部21cは、咬断片Fiの画像を構成する画素毎に算出した高さ情報cの偏差σiを算出する。そして、特徴量算出部21cは、算出した領域面積Aiと偏差σiとを乗算することで、咬断片Fiの表面積Ri(法線方向Nにおける咬断片Fiの凹凸が考慮された表面積)を算出する。
このように、特徴量算出部21cは、任意の1の咬断片Fiにつき、高さ情報cに加え、下記(数1)に示すように、領域面積Ai、偏差σi、表面積Riを算出する。
【0040】
特徴量算出部21cは、抽出画像生成部21bが抽出画像P3においてラベリングした数iだけ(つまり、複数の咬断片Fごとに)、特徴量として、高さ情報c、領域面積Ai、偏差σi、表面積Riを算出する。そして、特徴量算出部21cは、下記(数2)の(c2)式に示すように、表面積Riの総和を演算し、複数の咬断片Fの合計の表面積Rを算出する。なお、特徴量算出部21cは、領域面積Aiの総和を演算して複数の咬断片Fの合計の領域面積A(下記(数2)の(a2)式を参照)を求め、各咬断片Fiの領域面積Aiの比率(Ai/A)を考慮した偏差σiの総和を演算して複数の咬断片Fの偏差Cd(下記(数2)の(b2)式を参照)を求めた後に、AとCdを乗算することで複数の咬断片Fの合計の表面積Rを算出してもよく、表面積Rを算出することができれば演算の順序は任意である。
【0042】
図1に戻って、制御部21の咀嚼能力推定部21dは、特徴量算出部21cが算出した、複数の咬断片Fの合計の表面積Rに基づいて、咀嚼能力を推定する。例えば、咀嚼能力推定部21dは、実験により求めた所定の回帰式と、表面積Rと領域面積Aの2つのパラメータを用いて咀嚼能力を推定する(重回帰による推定)。なお、咀嚼能力推定部21dは、所定の回帰式と表面積Rから咀嚼能力を推定してもよい(単回帰による推定)。例えば、単回帰による推定の場合は、咀嚼能力推定部21dは、
図4(b)に示すような咀嚼能力決定テーブルTAを参照して、咀嚼能力を決定すればよい。咀嚼能力決定テーブルTAは、記憶部22のROM内に予め記憶され、表面積Rの数値範囲と、咀嚼能力Ab(数値に限らず、優劣を示すランクであってもよい)とを関連付けて構成されている。このような咀嚼能力決定テーブルTAを参照することで、咀嚼能力推定部21dは、特徴量算出部21cが算出した表面積Rに対応した咀嚼能力Abを決定してもよい。
【0043】
咀嚼能力推定装置100の構成は以上である。続いて、咀嚼能力推定装置100を用いた咀嚼能力推定方法、及び、咀嚼能力推定処理の一例を説明する。
【0044】
まず、被験者に、規格化されたカロチン色素入りのグミゼリー(20×20×10mm、約5.5g)を被験者に30回咀嚼させた後、咀嚼後のグミゼリーの咬断片Fをケース9に回収する。続いて、ケース9内に収容された咀嚼後のグミゼリーの咬断片Fを撮像装置10により撮像する。
【0045】
画像解析装置20の制御部21は、図示しない操作部(キーボード、タッチパネル等)になされた所定の操作を受け付けたことに応じて、
図5に示す咀嚼能力推定処理を開始し、撮像装置10から撮像画像P1を取得する(ステップS1)。
【0046】
続いて、制御部21の規格化部21aは、撮像画像P1(
図2(a))に写ったマーカ9a〜9dの各位置を検出し、検出した各位置に基づいて規格化画像P2(
図2(b))を生成する(ステップS2)。
【0047】
続いて、抽出画像生成部21bは、規格化部21aが生成した規格化画像P2から、複数の咬断片Fそれぞれの領域を抽出した抽出画像P3(
図2(c))を生成する。併せて、抽出画像生成部21bは、生成した抽出画像P3において、領域を抽出した咬断片Fの各々に所定の順序でラベリングを行う(ステップS3)。
【0048】
続いて、特徴量算出部21cは、抽出画像生成部21bが生成した抽出画像P3に基づいて各種の特徴量を算出する(ステップS4)。具体的には、特徴量算出部21cは、任意の1の咬断片Fiにつき特徴量として、高さ情報c(c=R−G)に加え、領域面積Ai、偏差σi、表面積Ri(上記(数1)の(a1)、(b1)、(c1)参照)を算出する。特徴量算出部21cは、抽出画像P3においてラベリングした数iだけ(複数の咬断片Fごとに)、このような特徴量を算出する。そして、特徴量算出部21cは、表面積Riの総和を演算し、複数の咬断片Fの合計の表面積R(上記(数2)の(c2)式を参照)を求める。
【0049】
続いて、咀嚼能力推定部21dは、特徴量算出部21cが算出した、複数の咬断片Fの合計の表面積Rに基づいて、咀嚼能力を推定する(ステップS5)。なお、咀嚼能力推定部21dは、特徴量算出部21cが算出した表面積Rをそのまま咀嚼能力として評価してもよいし、記憶部22のROM内に予め記憶された咀嚼能力決定テーブルTAを参照して、咀嚼能力を決定してもよい。
【0050】
そして、制御部21は、咀嚼能力推定部21dが推定(決定)した咀嚼能力を示す画像を、表示部23に表示させ(ステップS6)、咀嚼能力推定処理を終了する。なお、
図6に示したグラフは、本実施形態に係る咀嚼能力推定処理により導かれた咀嚼能力の推定値(縦軸)と、従来の機器分析法(攪拌装置や成分分析装置などの特別な装置を用いた手法)により導かれた推定値(横軸)との相関関係を表したものである。当該グラフにおいて、本実施形態の咀嚼能力推定処理により導かれた推定値は、表面積Rと領域面積Aの2つのパラメータを用いた重回帰による推定結果である。
図6に示すように、相関係数rの二乗で表される決定係数r
2は0.845になっており、本実施形態に係る咀嚼能力推定処理・方法によっても、従来の特別な装置を用いた手法により導かれる咀嚼能力の推定値と遜色ない精度で、咀嚼能力が推定できることが分かる。
【0051】
本発明は以上の実施形態及び図面によって限定されるものではない。本発明の要旨を変更しない範囲で、適宜、変更(構成要素の削除も含む)を加えることが可能である。以下に種々の変形例を説明する。
【0052】
(変形例)
以上の実施形態では、特徴量算出部21cが任意の1の咬断片Fiにつき、高さ情報c、領域面積Ai、偏差σi、表面積Riを特徴量として求め、これらの特徴量に基づいて複数の咬断片Fの合計の表面積Rや領域面積Aを算出した例を説明したが、これに限られない。
【0053】
例えば、特徴量算出部21cは、複数の咬断片Fの合計の表面積Rや領域面積Aに加え、側面積S(下記(数4)の(h2))を算出し、表面積Rと側面積Sを加算した値を咀嚼能力推定に用いても良い。この場合、特徴量算出部21cは、抽出画像生成部21bが抽出した咬断片Fiのエッジに基づき咬断片Fiの周囲長Li(下記(数3)の(d1))を求める。また、咬断片Fiを示す画像を構成する画素群における高さ情報cの平均としての色平均ci(下記(数3)の(g1)では、ciに上線を付したもの)を求める。そして、周囲長Liと色平均ciとを乗算することで、咬断片Fiの側面積Si(下記(数3)の(h1))を求め、この側面積Siの総和を演算することで、複数の咬断片Fの合計の側面積Sを算出すればよい。
【0054】
また、その他の特徴量として、特徴量算出部21cは、咬断片Fiの領域面積Aiから等価直径Di(下記(数3)の(e1))を求めたり、咬断片Fiの領域面積Ai及び周囲長Liから円形度Ci(下記(数3)の(f1))を求めたりしてもよい。そして、下記(数4)の(e2)式に示すように、各咬断片Fiの領域面積Aiの比率(Ai/A)を考慮した等価直径Diの総和を演算することで、複数の咬断片Fの等価直径Dを求めても良い。また、下記(数4)の(f2)式に示すように、各咬断片Fiの領域面積Aiの比率(Ai/A)を考慮した円形度Ciの総和を演算することで、複数の咬断片Fの円形度Cを求めてもよい。また、周囲長Liの総和L(下記(数4)の(d2))や、下記(数4)の(g2)式に示すように、各咬断片Fiの領域面積Aiの比率(Ai/A)を考慮した色平均ciの総和Cmを求めてもよい。
このように算出可能な周囲長L、等価直径D、円形度C、色平均Cm、側面積Sのうち、少なくともいずれかを表面積Rと組み合わせることで、咀嚼能力を推定してもよい。
【0057】
以上では、咀嚼対象の食材として、カロチン色素入りのグミゼリーを用いた例を示したが、これに限られない。以下、
図7以降に示した、他の色素(溶液)の吸光度スペクトルを参照し、様々な色素入りのグミゼリーにおいて本発明が適用可能であることを説明する。
【0058】
図7に示すように、マリーゴールド色素の吸光度は、青色に相当する波長帯域でピーク値をとり、赤色に相当する波長帯域ではほぼ0(ゼロ)に近くなっており、
図3に示すβカロチンの吸光度特性と同様の傾向を有する。また、
図8(a)に示すように、パプリカ色素の吸光度特性は、赤色に相当する波長帯域での吸光度が、カロチン色素(βカロチン)やマリーゴールド色素に比べて高いものの、両色素と概ね同様の傾向を有する。
したがって、マリーゴールド色素やパプリカ色素入りのグミゼリー、あるいは、カロチン色素とマリーゴールド色素とパプリカ色素のうち、二以上の色素が含有されたグミゼリーにおいても、上記実施形態と同様な手法で、各種特徴量の算出や、咀嚼能力の推定ができる。なお、
図8(a)に示すように、パプリカ色素の吸光度特性は、緑色に対応する波長帯域においても吸光度が高いため、パプリカ色素入りのグミゼリーを咀嚼対象に用いた場合、抽出画像生成部21bは、規格化画像P2を構成する画像群のRGBデータのうちグリーン(G)の値に基づいて、各咬断片Fの領域を抽出してもよい。
【0059】
図8(b)に示すように、紫コーン(紫トウモロコシ)色素の吸光度は、緑色に相当する波長帯域でピーク値をとり、赤色に相当する波長帯域ではほぼ0(ゼロ)に近くなっている。そして、青色に相当する波長帯域で、吸光度は所定値をとることがわかる。したがって、紫コーン色素入りのグミゼリー咀嚼対象に用いた場合は、抽出画像生成部21bは、規格化画像P2を構成する画像群のRGBデータのうちグリーン(G)の値に基づいて、各咬断片Fの領域を抽出することができる。また、この場合は、特徴量算出部21cは、咬断片Fiの画像を構成する画素群のRGBデータのうち、各画素におけるRの値からBの値を減じることで、各画素に対応した位置における咬断片Fiの推定高さを表す高さ情報「c」(c=R−B)を特徴量として算出すればよい。
【0060】
図9(a)に示すベニバナ色素の吸光度特性では、可視光領域に吸光度のピークが明確には見出せないものの、赤や緑に比べて、青色に相当する波長帯域における吸光度が高い。よって、ベニバナ色素入りのグミゼリー咀嚼対象に用いた場合は、抽出画像生成部21bは、規格化画像P2を構成する画像群のRGBデータのうちブルー(B)の値に基づいて咬断片Fの領域を抽出する、又は、公知のエッジ抽出手法により咬断片Fの領域を抽出すればよい。また、この場合は、特徴量算出部21cは、高さ情報cを、R又はGの値からBの値を減じることで算出すればよい(c=R−B、又はc=G−B)。
【0061】
図9(b)に示す赤キャベツ色素の吸光度特性では、可視光領域では、緑色に相当する波長帯域で吸光度のピークが見出せる。よって、赤キャベツ色素入りのグミゼリー咀嚼対象に用いた場合は、抽出画像生成部21bは、規格化画像P2を構成する画像群のRGBデータのうちグリーン(G)の値に基づいて咬断片Fの領域を抽出すればよい。また、赤キャベツ色素の吸光度特性では、吸光度が0(ゼロ)に近い波長帯域が見出せないものの、青色に比べると、赤色の波長帯域の吸光度は低い。したがって、咬断片Fiの推定高さの精度が低くなる可能性もあるが、特徴量算出部21cは、高さ情報cを、Rの値からBの値を減じることで算出すればよい(c=R−B)。
【0062】
また、色素が含有されると共に透光性を有する食材は、グミゼリーに限られない。咀嚼によって複数の咬断片を得られ、咬断片を撮像した撮像画像P1の色情報(RGBデータなど)に基づいて表面積Rを算出することができれば、キャンディー、ガム、キャラメルなどの食材を用いることも可能である。また、色素も、前記のように、高さ情報cを算出可能な吸光度の波長特性を有するものであれば、上記の例に限られず、他の天然着色料や、合成着色料を用いることも可能である。また、ケース9の形状・大きさ・材質も、咀嚼後の食材の咬断片に係る撮像画像P1の色情報(RGBデータなど)に基づいて表面積Rを算出することができる限りにおいては、適宜変更可能である。また、咀嚼能力を推定する対象は人(被験者)に限られず、動物であってもよい。
【0063】
また、カロチン入りのグミゼリーを用いた上記の実施形態では、RGBデータのうち「B」の値に基づいて各咬断片Fの領域を抽出した例を示したが、「G」の値や、「B」及び「G」の値に基づいて、各咬断片Fの領域を抽出してもよい。また、上記の実施形態における高さ情報c(c=R−G)の算出手法も適宜変更可能である。特徴量算出部21cは、咬断片Fを示す画像を構成する任意の画素のRGBデータのうち、「R」から「B」を減じることで、高さ情報cを求めてもよい(c=R−B)。また、特徴量算出部21cは、規格化画像P2と抽出画像P3の双方のRGBデータに基づいて、高さ情報cを算出してもよい。こうした場合、例えば、特徴量算出部21cは、抽出画像P3に基づいて咬断片Fが無い領域を判別し、当該判別した領域に対応する規格化画像P2の任意の画素の「G」の値(G0とする)を取得し、当該G0の値と、抽出画像P3(咬断片Fを示す画像)を構成する画素のGの値との差分から高さ情報cを求めても良い(c=G0−G)。ただし、簡潔な処理で、咬断片Fの高さを良好に推定するには、高さ情報cを、c=R−Gとして算出することが好ましい。カロチン以外の色素を用いた食材においても、同様な考え方で、高さ情報cの算出手法は、適宜変更可能である。
【0064】
以上では、RGBデータを用いて特徴量を算出する例を示したが、これに限られない。例えば、国際照明委員会で規格化されているXYZ(Yxy)色度座標を用いても良い。この場合、制御部21は、予め記憶部22のROM内に格納した所定の変換行列式にRGBデータを乗算することで、XYZ色度値を求めればよい。この場合、XはRに、YはGに、ZはBにそれぞれ対応することを考慮して、上記の特徴量などを算出すればよい。例えば、咀嚼対象としてカロチン入りのグミゼリーを用いた場合、高さ情報を「c=R−G」としたが、XYZ色度座標を用いた場合は「c=X−Y」として求めればよい。また、CMYK形式のデータに基づいて特徴量などを算出してもよい。例えば、RGB形式では「c=R−G」で表せた高さ情報を、原理的には、C=1−R、M=1−G、Y=1−Bであることを考慮して、CMYK形式では「c=M−C」として算出することもできる。このように、色座標のデータ形式はRGBデータに限られず任意である。また、各色の明度の何ビットで表すかなども任意である。
【0065】
以上に説明した各処理を実行する動作プログラム(プログラムPG)は、記憶部22に予め記憶されているものとしたが、着脱自在の記録媒体により配布・提供されてもよい。また、プログラムPGは、画像解析装置20と接続された他の機器からダウンロードされるものであってもよい。また、画像解析装置20は、他の機器と電気通信ネットワークなどを介して各種データの交換を行うことによりプログラムPGに従う各処理を実行してもよい。
【0066】
また、以上では、咀嚼能力推定装置100において、撮像装置10がデジタルカメラから構成され、画像解析装置20がパーソナルコンピュータから構成される例を説明したが、これに限られない。咀嚼能力推定装置100は、上記で説明した撮像装置10及び画像解析装置20と同様の機能を有するスマートフォンや、タブレットであってもよい。こうした場合、プログラムPGは、アプリ(アプリケーションソフト)として提供されてもよい。
【0067】
(1)以上に説明した咀嚼能力推定装置100は、グミゼリー(色素が含有されると共に透光性を有する食材の一例)を被験者(被験体の一例)に咀嚼させることで得られる複数の咬断片Fの表面積に基づき、被験者の咀嚼能力を推定する。咀嚼能力推定装置100は、撮像装置10(撮像手段の一例)が複数の咬断片Fを撮像することで得られる撮像画像P1(撮像画像P1を加工後の規格化画像P2、抽出画像P3も含む)の色情報(RGBデータや、XYZデータなど)に基づき、複数の咬断片Fごとに、咬断片の領域面積Ai及び推定高さcを含む特徴量を算出する特徴量算出手段(特徴量算出部21c)と、特徴量に基づき表面積Ri(R)を算出する咀嚼能力推定手段(咀嚼能力推定部21d)と、を備える。
このように、咀嚼能力推定装置100は、攪拌装置や成分分析装置などの特別な装置を必要としないため、簡易に咀嚼能力を推定することができる。また、
図6を参照して説明したように、良好な精度で咀嚼能力を推定することができる。
【0068】
(2)咀嚼能力推定装置100は、撮像画像P1から複数の咬断片Fの各々を抽出した抽出画像P3を生成する抽出画像生成手段(抽出画像生成部21b)をさらに備え、特徴量算出手段は、抽出画像P3の色情報に基づき、推定高さcを算出してもよい。
【0069】
(3)特徴量算出手段は、色素の吸光度がピーク値をとる波長帯域に対応した色(例えば、カロチンの場合は青)以外の色に関する色情報に基づき、推定高さcを算出してもよい。
【0070】
(4)特徴量算出手段は、撮像画像P1(撮像画像P1を加工後の規格化画像P2、抽出画像P3も含む)の色情報として、赤色に対応する色座標値(例えば、RGB形式の場合は「R」の値、XYZ形式の場合は「X」の値)と緑色に対応する色座標値(例えば、RGB形式の場合は「G」の値、XYZ形式の場合は「Y」の値)との差に基づき、推定高さcを算出してもよい。
【0071】
(5)食材は、前記色素としてカロチン色素と、マリーゴールド色素と、パプリカ色素との少なくともいずれかを用いたグミゼリーであり、特徴量算出手段は、色素の吸光度がピーク値をとる波長帯域に対応した青色以外の色に関する色情報に基づき、推定高さcを算出してもよい。
【0072】
(6)また、以上に説明した咀嚼能力推定方法は、グミゼリー(色素が含有されると共に透光性を有する食材の一例)を被験者(被験体の一例)に咀嚼させることで得られる複数の咬断片Fの表面積に基づき、被験者の咀嚼能力を推定する。咀嚼能力推定方法は、複数の咬断片Fを撮像して撮像画像P1を取得するステップと、撮像画像P1(撮像画像P1を加工後の規格化画像P2、抽出画像P3も含む)の色情報(RGBデータや、XYZデータなど)に基づき、複数の咬断片Fごとに、咬断片の領域面積Ai及び推定高さcを含む特徴量を算出するステップと、特徴量に基づき表面積Ri(R)を算出するステップと、を備える。
(7)また、以上に説明したプログラムPGは、グミゼリー(色素が含有されると共に透光性を有する食材の一例)を被験者(被験体の一例)に咀嚼させることで得られる複数の咬断片Fが写された撮像画像P1を解析するためのプログラムである。プログラムPGは、コンピュータに、撮像画像P1(撮像画像P1を加工後の規格化画像P2、抽出画像P3も含む)の色情報(RGBデータや、XYZデータなど)に基づき、複数の咬断片Fごとに、咬断片の領域面積Ai及び推定高さcを含む特徴量を算出する処理と、特徴量に基づき複数の咬断片Fの表面積Ri(R)を算出する処理と、を実行させる。
このような咀嚼能力推定方法やプログラムPGによれば、攪拌装置や成分分析装置などの特別な装置を必要としないため、簡易に咀嚼能力を推定することができる。また、
図6を参照して説明したように、良好な精度で咀嚼能力を推定することができる。
【0073】
以上の説明では、本発明の理解を容易にするために、公知の技術的事項の説明を適宜省略した。