(58)【調査した分野】(Int.Cl.,DB名)
被写体をデジタル撮影することで生成した画素データの集合である画像データを用いて前記被写体中の物体を評価するために、前記画像データに対して処理を実行する画像処理方法において、
前記画像データを二値化処理することで前記被写体中の物体を抽出するステップと、
前記画像データに、所定間隔で互いに平行な複数の第1仮想線を設定するステップと、
前記画像データに、所定間隔で互いに平行で、前記第1仮想線と交差する複数の第2仮想線を設定するステップと、
抽出された前記物体と前記第1仮想線とが交差する交差幅が所定幅以下の場合には、前記物体の交差部分の画素データを反転させるステップと
抽出された前記物体と前記第2仮想線とが交差する交差幅が所定幅以下の場合には、前記物体の交差部分の画素データを反転させるステップと、
前記物体の大きさが所定の大きさよりも小さい場合に、その物体の画素データを反転させるステップと
を有する画像処理方法。
前記分断の閾値としての前記幅と、前記第1仮想線と前記第2仮想線とで形成されるメッシュの対角線の長さとの積として得られる面積を、前記ノイズと判定する閾値としている請求項3に記載の粒子計測装置。
【背景技術】
【0002】
本発明者らは、歯科治療の効果の確認方法のひとつとして、咀嚼能力を評価することを検討していた。すなわち、被験者には、適宜の食品を咀嚼してもらい、咀嚼によって噛み砕かれて粒子状となった食品の大きさの分布に基づいて咀嚼能力を評価しようとしていた。咀嚼によって粒子状にかみ砕かれた食品を「食塊粒子」と呼んでいる。
【0003】
食品を咀嚼した際には、食品と唾液とが混ざり合うために、そのままでは食塊粒子同士が結合した状態となるので、食塊粒子の大きさを評価することは困難である。そこで、咀嚼物を適宜の界面活性剤等を用いて洗浄することで唾液成分を除去し、個々の食塊粒子に分離させている。さらに、食塊粒子は適量の水あるいは分散媒と混ぜ合わせて食塊粒子の分散溶液とし、この分散溶液をシャーレ等の平皿に薄く広がらせることで、個々の食塊粒子を分散させて、識別しやすくしている(例えば、特許文献1参照。)。
【0004】
食塊粒子の大きさの計測は、平皿内で食塊粒子を分散させて、この状態をデジタルカメラで撮影して画像データを生成し、この画像データに対して適宜の画像処理を実行することで個々の食塊粒子を識別して、各食塊粒子の大きさを計測している。
【0005】
食塊粒子の識別は、画像データを二値化処理することで容易に行うことができる。すなわち、画像データを二値化処理することで、食塊粒子部分の画素を「白」、それ以外の画素を「黒」として、食塊粒子を識別可能としている。そして、識別された食塊粒子を構成している画素数をカウントすることで食塊粒子の大きさを計測している。
【0006】
食塊粒子の大きさを計測した後、以下の手順によって咀嚼能力を評価している。
【0007】
まず、食塊粒子を大きい順に並べ、次いで、この並び順を横軸(x軸)とし、食塊粒子の大きさを縦軸(y軸)としたグラフを作成している。このグラフに対して右肩下がりの近似直線を特定し、この近似直線のy軸切片の値と傾きの値を用いて咀嚼能力を評価している。
【0008】
上記の評価方法では、十分に小さい食塊粒子は、前記近似直線の傾きの特定に寄与しない。しかも、十分に小さい食塊粒子は、十分に咀嚼されていることを示している。そこで、所定の大きさよりも小さい食塊粒子は評価対象外としている。
【0009】
特に、所定の大きさよりも小さい食塊粒子はノイズであると認識させることで、画像データに対するノイズ除去処理によって除去している。より具体的には、ノイズ除去処理では、ノイズとして判定された画素を「白」から「黒」に反転させており、咀嚼能力の評価に必要となる大きさの食塊粒子だけを選択している。
【発明の概要】
【発明が解決しようとする課題】
【0011】
食塊粒子が文字通り粒状であれば、画像データを二値化処理することで評価対象の食塊粒子を抽出することができる。しかしながら、咀嚼される食品として、例えば魚を用いた場合には、咀嚼によって繊維状の食塊粒子が生じやすく、この繊維状の食塊粒子が正確な食塊粒子の抽出を妨げるという問題があった。
【0012】
すなわち、繊維状の食塊粒子が隣り合った食塊粒子にまたがった状態となっていると、画像データを二値化した際に、隣り合った食塊粒子と繊維状の食塊粒子とが一体化されてしまい、食塊粒子の大きさを実際よりも大きく評価するおそれがあった。
【0013】
そこで、繊維状の食塊粒子が他の食塊粒子と重ならないように、食塊粒子を十分に分散させればよいが、そのためには、シャーレに薄く広がらせる分散溶液に分散させる咀嚼物の量を減らす必要があった。咀嚼物の量を減らすと咀嚼物のサンプリングに起因した誤差の影響が大きくなるため、咀嚼物の量を減らすことは現実的ではなかった。
【0014】
しかも、繊維状の食塊粒子の場合には、面積自体は比較的大きい一方で、変形自在であることから、比較的大きい形状であっても嚥下に問題が生じることがなく、粒状の食塊粒子と同等の判定をすることは適切とは言えなかった。
【0015】
このような現状に鑑み、本発明者らは、画像処理において繊維状の食塊粒子の取り扱いを調整することで、繊維状の食塊粒子の影響を低減させるべく研究開発を行って、本発明を成すに至ったものである。
【課題を解決するための手段】
【0016】
本発明の画像処理方法では、被写体をデジタル撮影することで生成した画素データの集合である画像データを用いて被写体中の物体を評価するために、画像データに対して所定の処理を実行する画像処理方法において、以下の1)〜6)のステップを有する画像処理方法とした。
1)画像データを二値化処理することで被写体中の物体を抽出するステップ、
2)画像データに、所定間隔で互いに平行な複数の第1仮想線を設定するステップ、
3)画像データに、所定間隔で互いに平行で、第1仮想線と交差する複数の第2仮想線を設定するステップ、
4)抽出された物体と第1仮想線とが交差する交差幅が所定幅以下の場合には、物体の交差部分の画素データを反転させるステップ、
5)抽出された物体と第2仮想線とが交差する交差幅が所定幅以下の場合には、物体の交差部分の画素データを反転させるステップ、
6)物体の大きさが所定の大きさよりも小さい場合に、その物体の画素データを反転させるステップ。
【0017】
また、本発明の粒子計測装置では、それぞれ大きさの異なる種々の粒子が分散している分散溶液を平皿に入れてデジタル撮影することで画像データを作成する画像データ作成部と、この画像データ作成部で作成した画像データを用いて各粒子の大きさを計測する計測部とを有する粒子計測装置において、計測部に、ノイズ除去処理実行手段と分断処理実行手段とを設けることとした。
【0018】
ノイズ除去処理実行手段は、粒子の大きさが所定の大きさよりも小さい場合に、当該粒子をノイズと判定し、粒子としては扱わないこととするノイズ除去処理を実行することとしている。さらに、分断処理実行手段は、繊維状に延伸した形状を有する粒子を所定の長さに分断して、それぞれを別個の粒子とするとともに、分断後の大きさをノイズ除去処理手段においてノイズと判定される大きさとすることとしている。
【0019】
さらに、分断処理実行手段は、画像データ作成部で作成した画像データに対して、所定間隔で互いに平行な複数の第1仮想線と、この第1仮想線とそれぞれ交差するとともに所定間隔で互いに平行な複数の第2仮想線を設定して、第1仮想線または第2仮想線と交差する粒子の交差部分の幅が所定の幅よりも小さい場合に、当該交差部分で粒子を分断することにも特徴を有する。
【0020】
さらには、分断の閾値としての幅と、第1仮想線と第2仮想線とで形成されるメッシュの対角線の長さとの積として得られる面積を、ノイズと判定する閾値としていることにも特徴を有する。
【発明の効果】
【0021】
本発明によれば、所定の太さよりも細い繊維状となっている物体を所定長さに分断することで、計測等の対象物ではなくノイズとして扱うことができる。特に、分断する際には、ノイズと判定される大きさに分断することで、ノイズ除去処理等の画像処理によって一括的に除去することができる。
【0022】
これにより、粒子計測装置では、計測対象とすべき粒子を正しく認識することができ、粒子の誤認識による計測精度の低下を防止できる。
【発明を実施するための形態】
【0024】
本発明の画像処理方法及び粒子計測装置では、画像データを用いた粒子計測において、計測不良の原因となる繊維状の物体を所定長さに分断する処理を実行することで、計測不良の発生を抑制するものである。さらに、分断された物体であって、計測対象とする必要のない物体はノイズとして画像処理で一括的に除去することで、処理速度の向上を図ることもできる。
【0025】
以下において、計測対象の物体は食塊粒子として具体的に説明するが、食塊粒子に限定するものではなく、画像データを用いて同様の計測を実行する場合に、本発明を用いることができる。
【0026】
本発明の粒子計測装置は、
図1に概略模式図で示す粒子分布の計測装置として利用している装置である。すなわち、本発明の粒子計測装置は、計測した粒子の大きさのデータを用いて大きさの分布を評価する粒子分布の計測装置として利用している。
【0027】
粒子計測装置では、被写体を平皿10に入れてデジタル撮影することで画像データを作成する画像データ作成部20と、この画像データ作成部20で作成した画像データを用いて各粒子の大きさを計測する計測部30とを備えている。被写体は食塊粒子であって、それぞれ大きさの異なる種々の粒子となっており、水あるいは適宜の分散媒に分散させた分散溶液として、平皿10内に貯留させている。
【0028】
平皿10は、透明なガラス製等のシャーレであることが望ましく、できれば平面視矩形状であることが望ましい。
【0029】
画像データ作成部20は、具体的にはデジタルカメラであって、所定のタイミングで平皿10内の分散溶液をデジタル撮影することで、画素データの集合である画像データを生成している。
【0030】
ここで、「デジタル撮影」とは、いわゆるCCD(Charge Coupled Device)やCMOS(Complementary Metal Ooxide Semiconductor)等の固体撮像素子を用いて被写体を撮影することである。画像データ作成部20では、適宜のフォーマットの画像データを生成して、出力することとしている。
【0031】
画像データ作成部20は、
図1に示すように、矩形体状としたケーシング11の天井部に配設し、ケーシング11内の所定位置に配置させた平皿10を撮影可能としている。
【0032】
ケーシング11は、画像データ作成部20によるデジタル撮影のための遮光体である。ケーシング11の内部には、上下方向のほぼ中央に水平状に平台11aを設けて、この平台11aの上面に平皿10を載置することとしている。特に、平台11aは、一方側を蝶番11bを介してケーシング11の内側に装着し、他方側をアクチュエータ11cで上下に揺動させることとしている。アクチュエータ11cは、ケーシング11の内側に設けた取付台11dに装着して、アクチュエータ11cのロッドrの先端を平台11aの下面に装着し、ロッドrを進退駆動させることで平台11aを揺動可能としている。
【0033】
上述の平台11aを揺動させる機構は、平皿10内の分散溶液を撹拌するためのものである。すなわち、分散溶液において食塊粒子の分散状態が好ましくない場合には、アクチュエータ11cを駆動させて平台11aを揺動させることで分散溶液を撹拌し、分散溶液中の食塊粒子を好ましい分散状態としている。
【0034】
平台11aには、平皿10が載置される部分に開口hを設けている。さらに、ケーシング11を構成している側壁の内側面であって、平台11aの上方位置には照明装置としてのライト11eを設けるとともに、平台11aの下方位置にも照明装置としてのライト11eを設けている。各ライト11eは、平皿10に対して斜め方向から、かつ上下方向から光を照射することで、画像データ作成部20によるデジタル撮影において被写体の影の映り込みを抑制でき、食塊粒子の大きさの誤検出を抑制している。
【0035】
計測部30はパーソナルコンピュータで構成し、画像データ作成部20で作成された画像データを取り込み、後述するプログラムを実行することで各食塊粒子の大きさを計測し、さらに、食塊粒子の大きさの分布データを生成している。
【0036】
計測部30は、画像データ作成部20と適宜の信号配線を介して接続し、画像データ作成部20から出力された画像データを逐次取り込み可能としている。また、計測部30は、アクチュエータ11cとも適宜の信号配線を介して接続し、計測部30からの命令信号に基づいてアクチュエータ11cを駆動させている。
【0037】
本実施形態では、計測部30はパーソナルコンピュータとして説明するが、後述するプログラムを実行可能とした専用の演算処理部で計測部30を構成してもよく、この演算処理部と、画像データ作成部20と、ケーシング11とを一体化して、粒子計測装置、あるいは粒子分布計測装置としてもよい。あるいは、カメラ付きのいわゆるスマートフォンに計測部30として機能させるアプリケーションプログラムをインストールしておいて、このスマートフォンを上述したケーシング11の天井部に載置することで粒子分布計測装置としてもよい。
【0038】
以下において、
図2のフローチャートに基づいて、計測部30が実行する粒子計測プログラムについて説明する。
【0039】
計測部30では、画像データ作成部20から出力された画像データを所定のディスプレイに逐次表示して、平皿10内の食塊粒子が好適な分散状態となっているかを確認可能としている。平皿10内の食塊粒子が好適な分散状態となっていない場合には、計測部30からアクチュエータ11cを駆動させる信号を出力してアクチュエータ11cを駆動させて、分散溶液をかき混ぜることで好ましい分散状態を生じさせている。
【0040】
平皿10内の食塊粒子が好適な分散状態となっている場合には、画像データを表示させているディスプレイに表示された「計測」ボタンを選択することで、計測部30では粒子計測プログラムに基づいて、以下の処理を実行する。
【0041】
まず、計測部30は、「計測」ボタンが選択されたタイミングでディスプレイに表示していた画像データを計測対象画像データとして設定する(ステップS1)。ここで、計測対象画像データは、カラー画像データとしている。
【0042】
次いで、計測部30は、計測対象画像データに対して二値化処理を実行し、被写体中の物体を抽出する(ステップS2)。ここで、実際の二値化処理では、食塊粒子部分の画素は「白」とし、それ以外の画素は「黒」としているが、以下に示す
図3〜5ではその反転画像を示しているものとし、
図3〜5を用いた以下の説明では、食塊粒子部分の画素を「黒」とし、それ以外の画素は「白」として説明する。なお、
図3〜5では、説明の便宜上、食塊粒子をデフォルメしており、実際の食塊粒子をそのまま示しているわけではない。
図3は、二値化処理された状態を示している。
図5は、
図4にいて示されている円Sで囲まれた領域を拡大した拡大図である。
【0043】
二値化処理後、計測部30は、計測対象画像データにおいて、
図4に示すように、所定間隔で互いに平行な複数の第1仮想線v1を設定する(ステップS3)。ここで、
図5に示すように、各第1仮想線v1は、3画素幅の線として設定しているが、第1仮想線v1の幅は、適宜としてよい。
【0044】
次いで、計測部30は、計測対象画像データにおいて、
図4に示すように、所定間隔で互いに平行で、第1仮想線v1と交差する複数の第2仮想線v2を設定する(ステップS4)。ここで、
図5に示すように、各第2仮想線v1も、3画素幅の線として設定している。
【0045】
図4及び
図5に示すように、第1仮想線v1と第2仮想線v2は必ずしも直交している必要はなく、所定の角度で交差させてもよい。また、第1仮想線v1の配設間隔と、第2仮想線v2の配設間隔を同じとする必要はなく、第1仮想線v1と第2仮想線v2とで形成されるメッシュが、例えば長方形となっていてもよい。
【0046】
図4及び
図5において、第1食塊粒子R1と第2食塊粒子R2は細い繊維状となっている食塊粒子であり、第3食塊粒子R3は太い繊維状となっている食塊粒子であり、第4食塊粒子R4は粒状となっている食塊粒子である。
【0047】
第1仮想線v1及び第2仮想線v2の設定後、計測部30は、各第1仮想線v1に沿ってスキャニングして(ステップS5)、第1仮想線v1が食塊粒子と交差する部分、すなわち第1仮想線v1が食塊粒子と重なる部分を抽出する。つまり、第1仮想線v1に沿ってスキャニングすることで、「黒」の画素の部分を特定する。
【0048】
計測部30は、第1仮想線v1が食塊粒子と交差する部分が見つかった場合に(ステップS6:YES)、第1仮想線v1と食塊粒子との交差幅を検出して、この交差幅が閾値である所定幅より大きい場合には(ステップS7:NO)、ステップS5に戻って次の交差する部分の抽出を行う。具体的に言えば、第1仮想線v1に沿って連続する「黒」の画素を検出して、「黒」の画素の連続数が所定の数より大きい場合が、第1仮想線v1と食塊粒子との交差幅が閾値よりも大きい状態である。
【0049】
一方、第1仮想線v1と食塊粒子との交差幅が閾値である所定幅以下の場合(ステップS7:YES)、具体的に言えば、第1仮想線v1に沿って連続する「黒」の画素の連続数が所定の数以下である場合には、計測部30は、「黒」の画素の画素データを反転させて「白」の画素としている(ステップS8)。
【0050】
このように第1仮想線v1上の画素データを反転させることで、
図5に示すように、細い繊維状の食塊粒子である第1食塊粒子R1と第2食塊粒子R2では分断を生じさせている。一方、太い繊維状の食塊粒子である第3食塊粒子R3と、粒状となっている第4食塊粒子R4では、分断を生じさせてはいない。
【0051】
ここで、分断の実施・不実施を判定するために用いている閾値は、咀嚼能力の判定に影響を与えない繊維状の食塊粒子の太さであって、経験に基づいて決定している。特に、繊維状の食塊粒子は、第1仮想線v1と直角以外の角度でも交差するため、この角度も考慮して閾値を決定している。
【0052】
計測部30は、第1仮想線v1に沿ってのスキャニングが終了すると(ステップS6:NO)、各第2仮想線v2に沿ってスキャニングして(ステップS9)、第2仮想線v2が食塊粒子と交差する部分、すなわち第2仮想線v2が食塊粒子と重なる部分を抽出する。つまり、第2仮想線v2に沿ってスキャニングすることで、「黒」の画素の部分を特定する。
【0053】
計測部30は、第2仮想線v2が食塊粒子と交差する部分が見つかった場合に(ステップS10:YES)、第2仮想線v2と食塊粒子との交差幅を検出して、この交差幅が閾値である所定幅より大きい場合には(ステップS11:NO)、ステップS9に戻って次の交差する部分の抽出を行う。具体的に言えば、第2仮想線v2に沿って連続する「黒」の画素を検出して、「黒」の画素の連続数が所定の数より大きい場合が、第2仮想線v2と食塊粒子との交差幅が閾値よりも大きい状態である。
【0054】
一方、第2仮想線v2と食塊粒子との交差幅が閾値である所定幅以下の場合(ステップS11:YES)、具体的に言えば、第2仮想線v2に沿って連続する「黒」の画素の連続数が所定の数以下である場合には、計測部30は、「黒」の画素の画素データを反転させて「白」の画素としている(ステップS12)。
【0055】
このように第2仮想線v2上の画素データを反転させることで、
図5に示すように、細い繊維状の食塊粒子である第1食塊粒子R1と第2食塊粒子R2では分断を生じさせている。一方、太い繊維状の食塊粒子である第3食塊粒子R3では、分断を生じさせてはいない。
【0056】
計測部30は、第2仮想線v2に沿ってのスキャニングが終了すると(ステップS10:NO)、ノイズ除去処理を実行する(ステップS13)。
【0057】
ノイズ除去処理は、計測対象画像データの全体に対して行ってもよいが、本実施形態では、第1仮想線v1と第2仮想線v2とで形成されるメッシュごとで行っている。特に、メッシュごと行う場合には、第1仮想線v1または第2仮想線v2を横断している食塊粒子は明らかにノイズではないため、ノイズ判定の対象から除外でき、判定対象を絞ることができる。一方、計測対象画像データの全体に対してノイズ除去処理を実行する場合には、食塊粒子の大きさを計測する計測処理とノイズ除去処理とを組み合わせて実行することもできる。
【0058】
第1仮想線v1と第2仮想線v2とで形成されるメッシュごとにノイズ除去を行う場合には、まず、1つのメッシュ内で第1仮想線v1及び第2仮想線v2と接していない「黒」の画素の集団を検出する。次いで、検出した集団の画素の数をカウントして、画素の数がノイズ閾値よりも小さい場合にはノイズと判定して、「黒」の画素の画素データを反転させて「白」の画素とすることで、ノイズ除去を行っている。
【0059】
一方、集団の画素の数がノイズ閾値以上の場合には、その集団は食塊粒子であると判定している。
【0060】
特に、第1仮想線v1及び第2仮想線v2で分断された食塊粒子は、ノイズであって、画素データを反転させることで食塊粒子としては扱わないこととしている。
【0061】
このように、第1仮想線v1及び第2仮想線v2で分断された食塊粒子をノイズと判定させるノイズ閾値は、第1仮想線v1または第2仮想線v2と食塊粒子との交差幅の閾値(以下において、説明の便宜上、「交差幅閾値」と呼ぶ)を用いて、以下のように決定している。
【0062】
すなわち、交差幅閾値をHとし、第1仮想線v1と第2仮想線v2とで形成される四角形のメッシュの対角線の長さをLとし、その積L×Hとして表される面積をノイズ閾値としている。ここで、第1仮想線v1と第2仮想線v2とで形成するメッシュが、例えば平行四辺形であった場合には、2本の対角線のうち、長い方の対角線を用いる。
【0063】
交差幅閾値Hは、経験に基づいて所定の値を選択的に決定するものであるため、ノイズ閾値は、実質的に、第1仮想線v1及び第2仮想線v2の配設間隔で決定されることとなっている。
【0064】
特に、第1仮想線v1及び第2仮想線v2で分断される食塊粒子は、通常、第1仮想線v1と第2仮想線v2とで形成される四角形のメッシュのサイズでは直線状となっていることから、メッシュを横切る場合の最大長はメッシュの対角線上を通る場合である。したがって、メッシュの対角線の長さを用いて、ノイズ閾値を決定しており、これにより第1仮想線v1及び第2仮想線v2で分断された食塊粒子を確実にノイズとして判定できる。なお、第1仮想線v1及び第2仮想線v2の配設間隔を大きくしすぎると、メッシュ内の食塊粒子までノイズと判定するおそれがあるため、メッシュ内の食塊粒子のサイズとの兼ね合いで第1仮想線v1及び第2仮想線v2の配設間隔を決定している。
【0065】
計測部30によってステップS5からステップS12まで実行されることが分断処理実行手段であり、計測部30によってステップS13が実行されることがノイズ除去処理実行手段である。
【0066】
計測部30は、ノイズ除去処理後、咀嚼能力計測処理を実行する(ステップS14)。具体的には、計測部30は、計測対象画像データに対して食塊粒子の検出を行い、検出された食塊粒子を構成している「黒」の画素の数をカウントすることで大きさを計測している。
【0067】
計測部30は、計測対象画像データ中の全ての食塊粒子の大きさの計測が完了すると、食塊粒子を大きい順に並べ、この並び順を横軸(x軸)とし、食塊粒子の大きさを縦軸(y軸)としたグラフのデータを作成するとともに、このグラフに対して右肩下がりの近似直線を特定して、この近似直線のy軸切片の値と傾きの値を特定している。このy軸切片の値と傾きの値を、咀嚼能力を判定するための基礎データとしている。
【0068】
計測部30は、特定したy軸切片の値と傾きの値に基づいて、咀嚼能力を例えば優・良・可・不可のように判定を行うようにしてもよい。
【0069】
計測部30は、咀嚼能力計測処理の終了後、粒子計測プログラムを終了している。