【文献】
虹彩メラノサイトの死後変化に関する電子顕微鏡的研究,あたらしい眼科,日本,メディカル葵出版,1987年 9月30日,Vol. 4, No. 9,pp. 1309-1312
【文献】
Study on detection method for fish freshness based on computer vision,Computer Engineering and design,中国,中国航天科工集団第二研究院706所,2013年10月,Vol. 34, No. 10,pp. 3562-3567
【文献】
近藤直,鮮魚および肥育牛の目を用いた食品情報,食品と容器,日本,缶詰技術研究会,2018年 7月 1日,第59巻、第7号,第422−427頁
【文献】
Fish freshness estimation using eye image processing under white and UV lightings,Proceedings of SPIE,SPIE,2017年 5月 1日,Vol. 10217,pp. 1-12,doi: 10.1117/12.2260622
(58)【調査した分野】(Int.Cl.,DB名)
前記決定ステップでは、前記紫外線画像から水晶体部の輝度値を抽出して、前記虹彩部の輝度値を前記水晶体部の輝度値を用いて正規化してなる鮮度指標値に応じて前記決定を行う
請求項2記載の鮮度情報出力方法。
前記決定ステップにおける前記鮮度指標値は、前記虹彩部の輝度値と前記水晶体部の輝度値との差、前記差を前記水晶体部の輝度値で除した値、又は、前記虹彩部の輝度値の前記水晶体部の輝度値に対する比である
請求項3記載の鮮度情報出力方法。
前記決定ステップにおける前記鮮度指標値は、前記紫外線画像から抽出した前記虹彩部の輝度値と前記赤外線画像から抽出した前記虹彩部の輝度値との差、前記差を前記赤外線画像から抽出した前記虹彩部の輝度値で除した値、又は、前記紫外線画像から抽出した前記虹彩部の輝度値の、前記赤外線画像から抽出した前記虹彩部の輝度値に対する比である
請求項5記載の鮮度情報出力方法。
紫外光が照射された魚の虹彩部の輝度を示す情報を取得する取得部と、当該情報に基づいて決定した当該魚の鮮度を示す鮮度情報を出力する出力部とを有する鮮度情報出力装置。
【発明を実施するための形態】
【0016】
魚を侵襲せずに短時間に魚の鮮度情報を出力すべく、従来と異なり魚の眼の虹彩部の輝度(紫外線領域での輝度)の経時変化に着目した手法を用いた本開示に係る鮮度情報出力方法は、紫外光が照射された魚の虹彩部の輝度を示す情報を取得し、前記情報に基づいて前記魚の鮮度を示す鮮度情報を出力する鮮度情報出力方法である。この出力は、鮮度の決定結果の出力であり、実験結果から得られたデータや、実験に基づき構築された理論的考察から得られたデータ等に基づき、鮮度を特定された結果が出力されることになる。これにより、紫外光照射により得られた魚眼の輝度測定(画像撮影等)により得られる魚眼の虹彩部の輝度を用いて鮮度を特定するので、魚を肉片にする必要がなく、透明度が高くない魚の鮮度情報の出力も可能となる。
【0017】
なお、上記輝度を示す情報は、画像の単位面積あたりの明るさを示す指標であり、輝度値は、たとえば得られた画像を輝度計などで測定した値を輝度値(例えばカンデラ値)としてもよいし、画像データにおける画素ごとの明るさを8ビット、あるいは16ビット階調により表現した情報を輝度値としてもよい。
【0018】
また、カラー画像の場合は、RGBそれぞれの階調を輝度値として扱っても良いし、RGBの輝度値の重みを施して加算した値を輝度値として扱っても良い。
【0019】
以下実施例では、8ビット階調で表現したものを輝度値として記載しているが、他のビットで表現された階調で置き換えても良いし、輝度計で測定された輝度値で置き換えても良い。
【0020】
ここで、例えば、前記鮮度情報出力方法は、前記紫外光が照射された前記魚の眼の紫外線画像を撮影する撮影ステップと、前記紫外線画像から虹彩部の輝度値を抽出して、前記虹彩部の輝度値に基づいて前記魚の鮮度を決定して前記鮮度情報を出力する決定ステップとを含むこととしてもよい。これにより、カメラ等の撮影手段を用いて比較的容易に、魚を侵襲せず短時間で魚の鮮度を決定することができる。
【0021】
また、前記決定ステップでは、前記紫外線画像から水晶体部の輝度値を抽出して、前記虹彩部の輝度値を前記水晶体部の輝度値を用いて正規化してなる鮮度指標値に応じて前記決定を行うこととしてもよい。また、前記決定ステップにおける前記鮮度指標値は、前記虹彩部の輝度値と前記水晶体部の輝度値との差、前記差を前記水晶体部の輝度値で除した値、又は、前記虹彩部の輝度値の前記水晶体部の輝度値に対する比であることとしてもよい。これらにより、魚の個体差や撮影条件の差等の影響を抑えて魚の鮮度を決定することができる。
【0022】
また、前記撮影ステップでは、紫外光の照射による前記紫外線画像の撮影及び赤外光の照射による前記魚の眼の赤外線画像の撮影を行い、前記決定ステップでは、前記紫外線画像から抽出した前記虹彩部の輝度値を前記赤外線画像から抽出した前記虹彩部の輝度値を用いて正規化してなる鮮度指標値に応じて前記決定を行うこととしてもよい。また、前記決定ステップにおける前記鮮度指標値は、前記紫外線画像から抽出した前記虹彩部の輝度値と前記赤外線画像から抽出した前記虹彩部の輝度値との差、前記差を前記赤外線画像から抽出した前記虹彩部の輝度値で除した値、又は、前記紫外線画像から抽出した前記虹彩部の輝度値の、前記赤外線画像から抽出した前記虹彩部の輝度値に対する比であることとしてもよい。これらによっても、魚の個体差や撮影条件の差等の影響を抑えて魚の鮮度を決定することができる。
【0023】
また、前記決定ステップでは、複数の異なる鮮度情報の内容それぞれと鮮度指標値の範囲とを対応付けて予め定められた決定用情報を参照して、前記決定を行うこととしてもよい。これにより、実験結果を活用して決定用情報を定めて適切に魚の鮮度を決定することができる。
【0024】
また、前記鮮度情報は、魚の死後の経過時間により表され、前記決定用情報は、魚の死後の経過時間が長い程、高い鮮度指標値の範囲と対応付けられた情報であることとしてもよい。これにより、適切に魚の鮮度を決定することができる。
【0025】
また、前記決定ステップは、(a)前記紫外線画像からエッジ部分を検出するステップと、(b)前記検出されたエッジ部分から、2重円のパターンに類似する部分を検出するステップを含み、前記2重円は第1円と、前記第1円の半径より大きい半径を有する第2円を含み、前記第1円の円内領域は前記水晶体部を含み、前記第1円の円弧と前記第2円の円弧の間の領域は前記虹彩部を含んでもよい。これにより、紫外線画像から水晶体部と虹彩部と特定できる。
【0026】
また、本に係る鮮度情報出力装置は、紫外光が照射された魚の虹彩部の輝度を示す情報を取得する取得部と、当該情報に基づいて決定した当該魚の鮮度を示す鮮度情報を出力する出力部とを有する鮮度情報出力装置である。虹彩部の輝度の情報は、魚を侵襲せずに短時間に取得することができるため、この装置のユーザは、魚を損なうことなく、迅速に魚の鮮度情報を出力できるようになる。
【0027】
ここで、例えば、前記鮮度情報出力装置は、紫外光を照射する紫外光照射部と、携帯情報機器とを備え、前記携帯情報機器は、前記紫外光照射部により紫外光の照射がなされたときの画像を撮影する撮影部と、前記撮影部により撮影された画像から抽出した虹彩部の輝度値に基づいて前記魚の鮮度を決定し当該決定結果を示す情報を表示する決定部とを有することとしてもよい。これにより、スマートフォン等の携帯情報機器を用いてユーザは様々な場所において魚の鮮度を知ることができるようになる。
【0028】
なお、これらの包括的又は具体的な各種態様には、装置、システム、方法、集積回路、コンピュータプログラム、コンピュータで読み取り可能な記録媒体等の1つ又は複数の組合せが含まれる。
【0029】
以下、実施の形態について、図面を参照しながら説明する。ここで示す実施の形態は、いずれも本開示の一具体例を示すものである。従って、以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置及び接続形態、並びに、ステップ(工程)及びステップの順序等は、一例であって本開示を限定するものではない。以下の実施の形態における構成要素のうち、本開示の最上位概念を示す独立請求項に記載されていない構成要素については、任意に付加可能な構成要素である。また、各図は、模式図であり、必ずしも厳密に図示されたものではない。
【0030】
本実施の形態では、特に、魚の眼の紫外線画像の画像解析を行うことにより魚眼の輝度に基づいて魚の鮮度を決定する鮮度情報出力方法を実行する、一態様としての鮮度情報出力装置について説明する。
【0031】
(実施形態1)
以下、本開示の一実施態様としての鮮度情報出力装置100について、適宜図面を用いて説明する。
【0032】
(構成)
図1は、実施形態1に係る鮮度情報出力装置100の機能ブロック図である。同図に示すように、鮮度情報出力装置100は、機能的な構成要素として撮影部1及び決定部2を有する。ここで、撮影部1は、魚(試料)9を撮影して魚眼を含む画像を生成する機能を担う。また、決定部2は、撮影部1により生成された画像に基づいて魚9の鮮度を決定しその決定結果を出力する機能を有し、魚眼の虹彩部及び水晶体部の各部分に対応する画像データを抽出する解析部3と、その画像データから所定の指標値(以下、「鮮度指標値A」という。)を算定する算定部4とを含む。また、決定部2は、鮮度指標値Aに応じて魚の鮮度を決定するための決定用情報8を蓄積している。
【0033】
図2は、実施形態1に係る鮮度情報出力装置100のハードウェア構成図である。同図に示すように、鮮度情報出力装置100は、紫外線光源10、紫外線カメラ11、試料設置部19、コンピュータ14及びディスプレイ15を備える。ここで、コンピュータ14は、メモリ、プロセッサ、入力装置、機器接続用インタフェース等を備え、メモリに格納された制御プログラムをプロセッサが実行することにより、決定部2の機能を実現するための装置として働く。なお、コンピュータ14は、メモリ(主記憶装置)以外にハードディスク装置等の補助記憶装置を備えていてもよい。
【0034】
撮影部1の機能は、試料設置部19に設置された魚9に対して紫外線光源10から紫外線(紫外光)を照射し、魚9からの反射光を紫外線カメラ11で受光して魚眼を含む画像を生成することで実現される。試料設置部19は、魚眼の撮影が可能なように魚体を安定して設置できる部材(例えばトレイ)である。
【0035】
紫外線光源10は、紫外線帯域(例えば300nm〜400nmの波長帯域)の波長を含む光源である。紫外線カメラ11は、上記紫外線領域の波長の光を受光することで、画像を撮影する。
【0036】
また決定部2の機能は、コンピュータ14及びディスプレイ15により実現される。即ち、機器接続用インタフェース等を介して紫外線カメラ11で撮影された魚眼を含む画像を取得し、画像を解析して鮮度指標値Aを算定し、この鮮度指標値Aに基づいて魚の鮮度を決定しその結果を表す情報をディスプレイ15に表示することで実現される。魚の鮮度の決定にはコンピュータ14のメモリ等の記憶装置に蓄積された決定用情報8が用いられる。なお、画像を解析する処理として、コンピュータ14では、画像から魚眼部分を抽出する処理、魚眼の虹彩部及び水晶体部を区別する処理、各部の平均輝度値を算出してその差異に基づき鮮度指標値Aを算定する処理等が実行される。
【0037】
(動作)
図3は、鮮度情報出力装置100の動作を示すフローチャートである。
【0038】
以下、上述の構成を備える鮮度情報出力装置100の動作について、
図3のフローチャートに沿って、
図4〜
図9Bに基づき各手順の解説を加えながら説明する。
【0039】
魚9が試料設置部19に設置されている状態で、撮影部1は、紫外線光源10を発光させ紫外線カメラ11で魚を撮影することにより魚眼を含む画像(紫外線画像)を生成する(処理ステップS1)。この生成される画像は、2次元画像空間を構成する各画素位置における画像データ(輝度値)の集合体である。輝度値は、例えば8ビットデータ(256階調)で表現される。なお、魚の鮮度の決定の精度を高めるために、例えば、紫外線カメラ11の光軸の向き、画角、生成する画像サイズ等を調整して、魚眼全体及びその周辺部分の解像度を高くするように撮影(設定)することが、ある程度有効となる。
【0040】
次に、決定部2は、撮影部1により生成された画像を取得し、解析部3により、その画像から魚眼の虹彩部及び水晶体部の画像データを抽出する(処理ステップS2)。虹彩部及び水晶体部の画像データの抽出は、どのような方法で実現してもよいが、例えば、次のような方法で行ってもよい。
【0041】
即ち、まず、魚眼を含む魚の画像に対して1次微分フィルタを適用し、画像のデータ値(輝度値)の空間的勾配が急峻(例えば所定閾値より急峻)な部分、つまりコントラストが強く変化している部分(所謂エッジ部分)を表す画像を得る。このエッジ部分の中から、魚眼部分とその周辺部分との境界線と、魚眼部分における虹彩部分と水晶体部分との境界線とを表す2重円のパターンに最も類似する部分(2重円のパターンに相当する位置)をパターンマッチング等により検出する。そして、検出された2重円のパターンに相当する位置を用いて、撮影された画像について、2重円のパターンにおける内側の円内部を水晶体部と特定し、2重円のパターンにおける内側の円と外側の円との間の部分を虹彩部と特定する。
図4に示すように虹彩は水晶体の周りに存在し、虹彩部は、魚眼における虹彩の部分であり、水晶体部は魚眼における水晶体の部分である。
【0042】
なお、パターンマッチングについては、1次微分フィルタの適用で得られたエッジ部分が形成する境界線から円弧が特定される場合には、その円弧から円の中心を算定し、その中心を有する同心円を2重円のパターンとの当てはめ候補として、行ってもよい。ここで、エッジ部分から円の中心を算定する方法について、
図5を用いて説明する。まず、取得した画像(
図5の例では魚の死後20分経過時点の紫外線画像)に対して、1次微分フィルタの適用で得られたエッジ部分(輝度の空間的勾配が大きい部分)を接続して得られる1以上の断続的な曲線を計算する。そして各曲線上の点について接線(
図5中の破線)を計算し、その点を通りその接線に対して垂直となる法線(
図5中の実線)を計算する。この法線の計算を各点に対して実施し、法線が重なる部分を円の中心(魚眼の中心座標)として算定する。魚眼は、人間の眼球とは異なり、まつ毛やまぶたが存在しないため、この方法で画像上の魚眼の中心を特定することができる。また、2重円のパターン等により魚眼内の虹彩部と水晶体部とを区別するに際して、輝度分布に基づき虹彩部と水晶体部とに所定量以上の輝度差分(各領域の平均輝度値の差分)があるように境界を定めて区別してもよい。
【0043】
解析部3により、魚眼の虹彩部及び水晶体部の画像データが抽出されると、決定部2における算定部4は、抽出された虹彩部の平均輝度値及び水晶体部の平均輝度値に基づいて、魚の鮮度評価のための鮮度指標値Aを算定する(処理ステップS3)。ここで、虹彩部の平均輝度値は、画像における虹彩部を構成する各画素の輝度値についての平均値であり、水晶体部の平均輝度値は、画像における水晶体部を構成する各画素の輝度値についての平均値である。但し、虹彩部の平均輝度値の算出の基礎とする部分は、必ずしも虹彩部全域でなくてもよく、例えば虹彩部と水晶体部との間の境界からの所定の領域を除外した残りの部分であってもよい。同様に、水晶体部の平均輝度値の算出の基礎とする部分は、必ずしも水晶体部全域でなくてもよく、例えば虹彩部と水晶体部との間の境界に近い部分を除外した残りの部分であってもよい。
【0044】
例えば、輝度値が、所定の上限閾値以上もしくは所定の下限閾値以下の部分を除外した残りの部分であってもよい。同様に水晶体部の平均輝度値の算出の基礎とする部分についても、必ずしも水晶体全域でなくてもよく、所定の上限下限閾値以外の輝度値を示す部分を除外した残りの部分であってもよい。
【0045】
鮮度指標値Aは、虹彩部の平均輝度値を、水晶体部の平均輝度値を用いて正規化したものであり、例えば、虹彩部の平均輝度値から水晶体部の平均輝度値を減算した値(虹彩部及び水晶体部の平均輝度値の差)である。また、鮮度指標値Aは、例えば、虹彩部及び水晶体部の平均輝度値の差を水晶体部の平均輝度値で除した値でもよく、虹彩部の平均輝度値の水晶体部の平均輝度値に対する比でもよい。ここで、本発明者らによる魚を用いた実験の結果を示す
図6〜8を用いて、鮮度指標値Aの基礎となる虹彩部及び水晶体部の輝度について説明する。
【0046】
図6は、常温(気温20℃)、湿度100%の保存環境で保存された魚について、紫外線カメラで撮影して得られた魚眼の画像を示す。同図では、魚の死後20分経過時、死後4時間経過時及び死後7時間経過時の各時点で撮影された画像を並べて示している。同図に示されるように、死後4時間以降においては魚眼の中で虹彩部のみが時間経過に従い白く変色してくる。
【0047】
図7は、常温(気温20℃)、湿度100%の保存環境で保存された魚についての魚眼の虹彩部の輝度及び水晶体部の輝度についての時間的変化を示すグラフである。死後6時間以降においては時間経過に伴う水晶体部分の輝度の変化が少ないのに対し、虹彩部分の輝度は時間経過に伴って上昇する傾向がある。なお、本発明者らの実験により、魚種が異なれば、時間経過に対する輝度の変化の上昇度合いは異なり得ることが判明している。また、本発明者らの実験により、同種の魚においては魚の個体差により輝度の絶対値は異なる場合もあるが虹彩部が時間経過に伴って白く変色している度合いは、どの個体も類似していることが判明している。
【0048】
図8は、常温(気温20℃)、湿度100%の保存環境で保存された複数(4体)の魚についての虹彩部の平均輝度値と水晶体部の平均輝度値との差の時間的変化を示すグラフである。魚の個体が異なっても、平均輝度値の差は、いずれも時間経過に対して同程度の上昇傾向を示す。この平均輝度値の差は、虹彩部の平均輝度値を水晶体部の平均輝度値を用いて正規化したものである。この正規化により、画像に現れる、魚の個体差の影響をある程度取り除くことができる。なお、この魚の個体差の影響には、魚眼自体の明るさの相違以外にも、魚の形状やサイズの個体差等から生じ得る撮影距離等の撮影条件の相違の影響も含まれる。このように、虹彩部の平均輝度値を水晶体部の平均輝度値を用いて正規化したものである鮮度指標値Aは、魚の死後の時間経過と相関を有する有効な指標となる。
【0049】
算定部4により鮮度指標値Aが算定されると、決定部2は、その鮮度指標値Aに応じて、決定用情報8に基づいて魚の鮮度を決定し、決定結果を示す情報を出力する(処理ステップS4)。この決定用情報8は、例えば、鮮度を死後の経過時間で表現する場合において、鮮度指標値Aと死後の経過時間との対応を示す数式やテーブルである。この場合、魚の鮮度の決定は、この決定用情報8を参照して、鮮度指標値Aに応じて死後の経過時間を特定することにより実現される。なお、決定用情報8(例えば鮮度指標値Aと死後の経過時間との対応を示す数式又はテーブル)は、
図8のグラフやその他の実験結果に基づいて予め作成しておくことができる。
【0050】
図9Aに、決定用情報8の例としての、鮮度指標値Aとして虹彩部の平均輝度値と水晶体部の平均輝度値との差を用いた場合における鮮度指標値Aの範囲と常温での死後の経過時間とを対応付けたテーブルを示す。このテーブルは、輝度差を用いた鮮度指標値Aが大きくなるにつれて死後の経過時間が長くなるような対応関係を示している。即ち、このテーブルでは、魚の死後の経過時間が長い程、大きな鮮度指標値Aの範囲と対応付けられている。このテーブルの例によれば、魚が常温で保存されていたという前提では、魚について算定された鮮度指標値Aが例えば100以下であれば「死後6時間未満」という比較的高い鮮度が決定されることになる。また、算定された鮮度指標値Aが例えば140、150等であれば、決定部2は、「死後12時間以上18時間未満」という比較的低い鮮度を決定することになる。なお、鮮度指標値Aとして、虹彩部の平均輝度値と水晶体部の平均輝度値との差を水晶体部の平均輝度値で除した値又は虹彩部の平均輝度値の水晶体部の平均輝度値に対する比を用いる場合にも、それぞれに応じたテーブルを作成して、決定に利用すればよい。
【0051】
本実施形態では、鮮度情報として、
図9Aに示す死後経過時間を用いたが、
図9Bに示すように、鮮度情報として、高鮮度(生食可能)、やや高鮮度(加熱食可能)、やや低鮮度(加熱食可能)、低鮮度(食不可)などの鮮度度合いを示す情報を用いても良い。
【0052】
また、魚を撮影して鮮度を適切に決定するためには、決定用情報8を、その魚の種別や保存状況(温度、湿度等)に適したテーブルとして実現するとよい。例えば、予め各魚種の魚について各種保存状況で時間経過に応じた鮮度指標値Aを測定して、魚種別、保存状況別の複数のテーブルを作成してコンピュータ14のメモリ等に格納しておき、撮影対象の魚や保存状況に合わせてテーブルを適宜選択して利用してもよい。この場合、撮影対象の魚の魚種や保存状況については、鮮度情報出力装置100のユーザが魚の撮影の際等に、コンピュータ14に入力装置を介して入力することとしてもよく、決定部2は、その入力に応じてテーブルを選択することとしてもよい。これにより、魚体の透明度が高い魚種であっても透明度が低い魚種であっても魚種別のテーブルを作成しておけば鮮度決定が可能となる。
【0053】
なお、決定部2による決定結果を示す情報の出力は、例えば、「死後12時間以上18時間未満」等と魚の死後の経過時間を示す情報をディスプレイ15に表示することにより実現される。これにより、鮮度情報出力装置100のユーザは、魚の鮮度を認知することができるようになる。
【0054】
このように、鮮度情報出力装置100は、紫外線カメラ11で魚の眼及びその周辺を撮影し、撮影により得られた画像を用いて、コンピュータ14で魚眼の虹彩部の平均輝度値等に基づいて魚の鮮度を決定するので、魚を侵襲せずに短時間に魚の鮮度を決定できる。
【0055】
なお、上述した解析部3は、取得した魚眼を含む画像に対して、例えば1次微分フィルタを適用することで、虹彩部と水晶体部との境界を検出することとした。しかし、魚の死後の経過時間が短い場合には、1次微分フィルタを用いて境界を検出することが困難となる場合がある。例えば、
図10における(a)のように、魚の死後7時間経過時点の画像に対して1次微分フィルタを適用(輝度の空間的勾配の急峻な部分を抽出)した場合には、抽出されたエッジ部分を境界として虹彩部と水晶体部との各領域を区別することができる。一方、
図10における(b)のように、魚の死後20分経過時点の画像に対して1次微分フィルタを適用した場合には、抽出されたエッジ部分が、円ではなくその一部の円弧でしかないものとなり得る。この場合において、円弧が極めて短いならば、円の中心の算定精度が極めて低くなり、虹彩部と水晶体部との区別は困難となる。従って、得られた円弧の長さが所定閾値より短い場合(例えば
図5を用いて説明した方法で求めた中心を有する円の円周の長さの4分の1未満より短い場合等)は、虹彩部と水晶体部との境界の検出が困難なので、鮮度指標値Aを特定の値に指定することとしてもよい。この鮮度指標値Aを特定の値に指定することが決定されれば、算定部4による鮮度指標値Aの算定は省略され、指定された鮮度指標値Aに基づいて決定部2により鮮度の決定がなされる。例えば、虹彩部の平均輝度値と水晶体部の平均輝度値との差を鮮度指標値Aとする場合においては、虹彩部と水晶体部との境界の検出が困難であれば鮮度指標値Aをゼロ(又はゼロに近い所定値)と指定する(看做す)こととしてもよい。虹彩部及び水晶体部の平均輝度値の差を水晶体部の平均輝度値で除した値を鮮度指標値Aとする場合においても、虹彩部と水晶体部との境界の検出が困難であれば鮮度指標値Aをゼロ(又はゼロに近い所定値)と指定する(看做す)こととしてもよい。また、虹彩部の平均輝度値の水晶体部の平均輝度値に対する比を鮮度指標値Aとする場合においては、虹彩部と水晶体部との境界の検出が困難であれば鮮度指標値Aを1(又は1に近い所定値)と指定する(看做す)こととしてもよい。
【0056】
(実施例)
以下、鮮度情報出力装置100を、携帯可能なスマートフォン(携帯情報機器)101に含ませるよう具体化した例について説明する。
【0057】
図11は、鮮度情報出力装置100を具体化したスマートフォン101のイメージ図である。同図に示すスマートフォン101は内部に、コンピュータ14を備えている。また、同図の(a)に示すディスプレイ15は、スマートフォン101の筐体表面に実装された液晶ディスプレイ(又は例えば有機ELディスプレイ等)である。また、同図の(b)に示す紫外線カメラ11はスマートフォン101の筐体に実装されたカメラであり、紫外線光源10は、カメラ周辺に実装された紫外線LED(Light Emitting Diode)である。このスマートフォン101は、カメラを魚9の眼に近付けて利用され、ユーザの操作に応じて紫外線LEDから紫外線を魚眼に対して照射し、その反射光をカメラ(イメージセンサ)で受光することで画像(紫外線画像)を生成する。また、スマートフォン101のメモリ及びプロセッサ等であるコンピュータ14が解析部3及び算定部4を含む決定部2として機能し、魚眼を含む画像に基づいて、魚の鮮度(死後の経過時間等)を決定して決定結果を示す情報を液晶ディスプレイに表示する。なお、スマートフォン101は生成した画像も液晶ディスプレイに表示するように構成されている。これにより、ユーザは魚眼が撮影されていることを確認でき、更に、魚の鮮度を認識できる。
【0058】
なお、
図12に示すように、スマートフォン101から紫外線LEDを除いて構成されるスマートフォン101aに、魚眼に紫外光を照射するための紫外線LEDを有するアダプタ102を装着して、スマートフォン101aのカメラで魚眼を撮影するようにしてもよい。この場合、アダプタ102は、スマートフォン101aに具体化された鮮度情報出力装置100の撮影部1の機能の一部を切り出してなる紫外光照射部(紫外光の照射を担う部分)として機能する。
図13は、スマートフォン101aに装着するアダプタ102についての概略図である。同図に示すように、アダプタ102は筒状の形状で、筒の内壁には、紫外線光源10としての紫外線LEDが配置されている。また、
図14に示すように、アダプタ102は、スマートフォン101aの外部インタフェース部と接続し、外部インタフェース部を介してスマートフォン101aからアダプタ102への制御信号及び電力の供給がなされる。また、スマートフォン101aのカメラのイメージセンサは、従来一般にスマートフォンのカメラに用いられる波長300nm〜800nm程度を受光可能なものでよく、アダプタ102の紫外線LEDは波長300nm〜400nmの範囲内の近紫外線を発するものであれば適切に紫外線画像が撮影される。そして、スマートフォン101aへのユーザ操作に応じてスマートフォン101aからアダプタ102に制御信号が出されこれに応じてアダプタ102は紫外光照射を行い、スマートフォン101aではカメラで撮影がなされ、魚の画像及び魚の鮮度を示す情報が液晶ディスプレイに表示される。
【0059】
図15は、鮮度情報出力装置100を具体化したスマートフォン101a及びアダプタ102におけるスマートフォン101aの動作例を示すフローチャートである。ユーザがスマートフォン101aにおいて魚の鮮度情報出力用のアプリ(プログラム)の起動のための操作をすると
図15の動作が開始される。
【0060】
ユーザが魚の眼にアダプタ102を当ててスマートフォン101aのカメラで魚眼を撮影する操作を行うと、スマートフォン101aからアダプタ102の紫外線LEDの照射のための制御信号が発され、カメラで撮影がなされる(処理ステップS11)。
【0061】
続いて、スマートフォン101aは、撮影された画像から輝度変化が大きい部分(輝度の空間的勾配が急峻な所謂エッジ部分)を抽出し(処理ステップS12)、抽出したエッジ部分から魚眼の中心座標を計算する(処理ステップS13)。
【0062】
次に、スマートフォン101aは、画像中の魚眼領域において虹彩部と水晶体部とを区別できるか否かを判定し(処理ステップS14)、区別できるならば、虹彩部の輝度値と水晶体部の輝度値とを抽出する(処理ステップS15)。なお、画像中の魚眼領域は、抽出した中心座標に基づき魚眼と照合するために予め準備した2重円のパターン(輝度パターン)を用いたパターンマッチング等により求められる。魚眼が2重円のパターンに合致する等、虹彩側から水晶体側への輝度変化が十分であって虹彩部と水晶体部との境界が特定できる場合には、虹彩部と水晶体部との区別ができることになる。そして、抽出された虹彩部の輝度値と水晶体部の輝度値との差である鮮度指標値Aを算出し(処理ステップS16)、決定用情報8としてのテーブル(
図9参照)に基づいて魚の死後の経過時間を特定して魚の鮮度を示す情報として表示する(処理ステップS17)。
【0063】
また、処理ステップS14において、虹彩部と水晶体部とを区別できない場合には、テーブル(
図9参照)における短期間を表す死後の経過時間を表示する(処理ステップS18)。この虹彩部と水晶体部とが区別できないときにおいて、鮮度指標値Aをゼロと看做してテーブルから鮮度指標値Aに応じた死後の経過時間を求めて表示してもよい。
【0064】
このようにして、スマートフォン101aにより魚眼を撮影することで、ユーザは、スマートフォン101aの液晶ディスプレイを見て、魚の鮮度(死後の経過時間)を知ることができるようになる。
【0065】
(実施形態2)
以下、本開示の一実施態様としての鮮度情報出力装置200について、適宜図面を用いて説明する。鮮度情報出力装置200は、実施形態1に係る鮮度情報出力装置100の一部を変形したものであり、鮮度情報出力装置100と同一の構成要素については適宜説明を省略する。
【0066】
(構成)
図16は、実施形態2に係る鮮度情報出力装置200の機能ブロック図である。同図に示すように、鮮度情報出力装置200は、機能的な構成要素として撮影部1a及び決定部2aを有する。ここで、撮影部1aは、実施形態1で示した撮影部1と同様に魚(試料)を撮影して魚眼を含む画像を生成する機能を担うが、撮影部1とは異なり、紫外線画像だけではなく赤外線画像をも生成する。また、決定部2aは、撮影部1aにより生成された紫外線画像及び赤外線画像に基づいて魚の鮮度を決定しその決定結果を出力する機能を有し、紫外線画像及び赤外線画像から魚眼の虹彩部に対応する各画像データを抽出する解析部3aと、それらの画像データから特定の指標値(以下、「鮮度指標値B」という。)を算定する算定部4aとを含む。また、決定部2aは、鮮度指標値Bに応じて魚の鮮度を決定するための決定用情報8aを蓄積している。
【0067】
図17は、実施形態2に係る鮮度情報出力装置200のハードウェア構成図である。同図に示すように、鮮度情報出力装置200は、実施形態1に係る鮮度情報出力装置100と同一の、紫外線光源10、紫外線カメラ11、ディスプレイ15及び試料設置部19に加え、実施形態1に係るコンピュータ14の機能動作を変更してなるコンピュータ24、赤外線光源20及び赤外線カメラ21を備える。このコンピュータ24は、コンピュータ14と同様にメモリ、プロセッサ、入力装置、機器接続用インタフェース等を備え、メモリ内の実施形態1とは異なる制御プログラムをプロセッサが実行することにより、決定部2aの機能を実現するための装置として働く。
【0068】
撮影部1aの機能は、試料設置部19に設置された魚を紫外線カメラ11及び赤外線カメラ21により撮影することで魚眼を含む紫外線画像及び赤外線画像を生成することで実現される。この紫外線画像は、魚に紫外線光源10から紫外線を照射し、魚からの反射光を紫外線カメラ11で受光することで生成される。また、赤外線画像は、魚に対して赤外線光源20から赤外線(赤外光)を照射し、魚からの反射光を赤外線カメラ21で受光することで生成される。
【0069】
赤外線光源20は赤外線帯域(例えば700nm〜1000nmの波長帯域)の波長を含む光源であり、赤外線カメラ21は、上記赤外線領域の波長の光を受光することで、画像を撮影する。
【0070】
また決定部2aの機能は、コンピュータ24及びディスプレイ15により実現される。即ち、機器接続用インタフェース等を介して紫外線カメラ11及び赤外線カメラ21で撮影された魚眼を含む画像を取得し、画像を解析して鮮度指標値Bを算定し、算定結果に基づいて魚の鮮度を決定し決定結果をディスプレイ15に表示することで実現される。なお、魚の鮮度の決定にはコンピュータ24のメモリ等の記憶装置に蓄積された決定用情報8aが用いられる。
【0071】
(動作)
以下、上述の構成を備える鮮度情報出力装置200の動作について、
図18のフローチャートに沿って、
図19〜
図22に基づき各手順の解説を加えながら説明する。
【0072】
図18は、鮮度情報出力装置200の動作を示すフローチャートである。
【0073】
撮影部1aは、紫外線光源10を発光させ紫外線カメラ11で魚を撮影することにより魚眼を含む紫外線画像を生成し、赤外線光源20を発光させ赤外線カメラ21で魚を撮影することにより魚眼を含む赤外線画像を生成する(処理ステップS61)。この生成される紫外線画像及び赤外線画像は、いずれも2次元画像空間を構成する各画素位置における画像データ(輝度値)の集合体である。輝度値は、例えば8ビットデータ(256階調)で表現される。なお、魚の鮮度の決定の精度を高めるために、例えば、紫外線カメラ11及び赤外線カメラ21の光軸の向き、画角、生成する画像サイズ等を調整して、魚眼全体及びその周辺部分の解像度を高くするように撮影(設定)することが、ある程度有効となる。
【0074】
次に、決定部2aは、撮影部1aにより生成された紫外線画像及び赤外線画像を取得し、解析部3aにより、それらの画像から魚眼の虹彩部の画像データを抽出する(処理ステップS62)。虹彩部の画像データの抽出は、どのような方法で実現してもよいが、例えば、実施形態1で示した方法で行ってもよい。
【0075】
解析部3aにより、紫外線画像及び赤外線画像における魚眼の虹彩部の画像データが抽出されると、算定部4aは、抽出された両画像における虹彩部の平均輝度値に基づいて、魚の鮮度評価のための鮮度指標値Bを算定する(処理ステップS63)。ここで、虹彩部の平均輝度値は、画像における虹彩部を構成する各画素の輝度値についての平均値である。鮮度指標値Bは、紫外線画像での虹彩部の平均輝度値を、赤外線画像での虹彩部の平均輝度値を用いて正規化したものであり、例えば、紫外線画像の虹彩部の平均輝度値から赤外線画像の虹彩部の平均輝度値を減算した値(両虹彩部の平均輝度値の差)である。また、鮮度指標値Bは、例えば、両虹彩部の平均輝度値の差を赤外線画像における虹彩部の平均輝度値で除した値でもよく、紫外線画像における虹彩部の平均輝度値の赤外線画像における虹彩部の平均輝度値に対する比でもよい。ここで、魚を用いた実験の結果を示す
図19〜21を用いて、鮮度指標値Bの基礎となる紫外線画像及び赤外線画像における虹彩部の輝度について説明する。
【0076】
図19は、常温(気温20℃)、湿度100%の保存環境で保存された魚について、赤外線カメラで撮影して得られた魚眼の画像を示す。同図では、魚の死後20分経過時、死後4時間経過時及び死後7時間経過時の各時点で撮影された画像を並べて示している。
図6に示した紫外線画像では、死後4時間以降においては魚眼の虹彩部が時間経過に従い白く変色していたが、
図19の赤外線画像では、虹彩部にもそれ以外の魚眼部分にも時間経過による顕著な輝度変化は現れていない。
【0077】
図20は、常温(気温20℃)、湿度100%の保存環境で保存された魚についての紫外線画像及び赤外線画像のそれぞれにおける虹彩部の輝度の時間的変化を示すグラフである。同図に示すように、紫外線画像における虹彩部の輝度が時間経過に伴い顕著に変化するのに対し、赤外線画像における虹彩部分の輝度は時間経過に伴う変化が少ない。
【0078】
図21は、常温(気温20℃)、湿度100%の保存環境で保存された複数(4体)の魚についての紫外線画像における虹彩部の平均輝度値と赤外線画像における虹彩部の平均輝度値との差の時間的変化を示すグラフである。魚の個体が異なっても、両画像間での平均輝度値の差は、いずれも時間経過に対して同程度の上昇傾向を示す。この両画像間の平均輝度値の差は、紫外線画像における虹彩部の平均輝度値を赤外線画像における虹彩部の平均輝度値を用いて正規化したものである。この正規化により、画像に現れる、魚の個体差の影響をある程度取り除くことができる。なお、この魚の個体差の影響には、魚眼自体の明るさの相違以外にも、魚の形状やサイズの個体差等から生じ得る撮影距離等の撮影条件の相違の影響も含まれる。このように、紫外線画像における虹彩部の平均輝度値を赤外線画像における虹彩部の平均輝度値を用いて正規化したものである鮮度指標値Bは、魚の死後の時間経過と相関を有する有効な指標となる。
【0079】
算定部4aにより鮮度指標値Bが算定されると、決定部2aは、その鮮度指標値Bに応じて、決定用情報8aに基づいて魚の鮮度を決定し、決定結果を示す情報を出力する(処理ステップS64)。この決定用情報8aは、例えば、鮮度を死後の経過時間で表現する場合において、鮮度指標値Bと死後の経過時間との対応を示す数式やテーブルである。この場合、魚の鮮度の決定は、この決定用情報8aを参照して、鮮度指標値Bに応じて死後の経過時間を特定することにより実現される。なお、決定用情報8a(例えば鮮度指標値Bと死後の経過時間との対応を示す数式又はテーブル)は、実験結果に基づいて予め作成しておくことができる。
【0080】
図22Aに、決定用情報8aの例としての、鮮度指標値Bとして紫外線画像における虹彩部の平均輝度値と赤外線画像における虹彩部の平均輝度値との差を用いた場合における鮮度指標値Bの範囲と常温での死後の経過時間とを対応付けたテーブルを示す。このテーブルは、輝度差を用いた鮮度指標値Bが大きくなるにつれて死後の経過時間が長くなるような対応関係を示している。即ち、このテーブルでは、魚の死後の経過時間が長い程、大きな鮮度指標値Bの範囲と対応付けられている。このテーブルの例によれば、魚が常温で保存されていたという前提では、魚について算定された鮮度指標値Bが例えば30以下であれば「死後8時間未満」という比較的高い鮮度が決定されることになる。また、算定された鮮度指標値Bが例えば90、100等であれば、決定部2aは、「死後14時間以上24時間未満」という比較的低い鮮度を決定することになる。なお、鮮度指標値Bとして、紫外線画像及び赤外線画像の両虹彩部の平均輝度値の差を赤外線画像における虹彩部の平均輝度値で除した値又は紫外線画像における虹彩部の平均輝度値の赤外線画像における虹彩部の平均輝度値に対する比を用いる場合にも、それぞれに応じたテーブルを作成して、決定に利用すればよい。また、実施形態1と同様に、魚を撮影して鮮度を適切に決定するためには、決定用情報8aを、その魚の種別や保存状況(温度、湿度等)に適したテーブルとして実現するとよい。例えば、予め各魚種の魚について各種保存状況で時間経過に応じた鮮度指標値Bを測定して、魚種別、保存状況別の複数のテーブルを作成してコンピュータ24のメモリ等に格納しておき、撮影対象の魚や保存状況に合わせてテーブルを適宜選択して利用してもよい。この場合、撮影対象の魚の魚種や保存状況については、鮮度情報出力装置200のユーザが魚の撮影の際等に、コンピュータ24に入力装置を介して入力することとしてもよく、決定部2aは、その入力に応じてテーブルを選択することとしてもよい。
【0081】
なお、決定部2aによる決定結果を示す情報の出力は、例えば、「死後14時間以上24時間未満」等と魚の死後の経過時間を示す情報をディスプレイ15に表示することにより実現される。これにより、鮮度情報出力200のユーザは、魚の鮮度を認知することができるようになる。
【0082】
なお、上述した解析部3aは、取得した魚眼を含む紫外線画像及び赤外線画像から虹彩部の画像データを抽出することとしたが、魚眼から虹彩部を区別することが困難な場合もあるため、虹彩部を含む魚眼全体の画像データを抽出することとしてもよい。この場合には、算定部4aは、抽出された紫外線画像における魚眼全体の平均輝度値を虹彩部の平均輝度値と看做し、抽出された赤外線画像における魚眼全体の平均輝度値を虹彩部の平均輝度値と看做して、鮮度指標値Bを算定することとしてもよい。ここで、各画像における魚眼全体の平均輝度値は、各画像中の魚眼を構成する各画素の輝度値についての平均値である。
【0083】
このように、鮮度情報出力200は、紫外線カメラ11及び赤外線カメラ21で魚眼を含む紫外線画像及び赤外線画像を取得し、コンピュータ24で各画像の虹彩部の平均輝度値等に基づいて魚の鮮度を決定するので、魚を侵襲せずに短時間に魚の鮮度を決定できる。
【0084】
本実施形態では、鮮度情報として、
図22Aに示す死後経過時間を用いたが、
図22Bに示すように、鮮度情報として、高鮮度(生食可能)、やや高鮮度(加熱食可能)、やや低鮮度(加熱食可能)、低鮮度(食不可)などの鮮度度合いを示す情報を用いても良い。
【0085】
(他の実施形態)
以上、鮮度情報出力装置の各実施形態について説明したが、上述した各実施形態は一例にすぎず、各種の変更が可能であることは言うまでもない。
【0086】
例えば、実施形態1、2での魚眼の撮影において、ハレーション等による撮影画像の歪みを軽減するために偏光フィルタを利用することとしてもよい。
【0087】
また、実施形態1、2では虹彩部の平均輝度値及び水晶体部の平均輝度値を鮮度指標値の算定の基礎としたが、必ず正確な平均である必要はなく、虹彩部の輝度を示す輝度値及び水晶体部の輝度を示す輝度値を鮮度指標値の算定の基礎としてもよい。
【0088】
また、実施形態1では魚眼の虹彩部の輝度値を正規化してなる鮮度指標値Aを算定して、魚の死後の経過時間が長い程大きな鮮度指標値Aの範囲と対応付けられたテーブルに基づいて、算定結果に応じた死後の経過時間の決定を行ったが、正規化を省略してもよい。即ち、虹彩部の輝度値と魚の死後の経過時間とを輝度値が高い程死後の経過時間が長いように対応付けたテーブルに基づいて、紫外線画像から得られた魚眼の虹彩部の輝度値に応じて、死後の経過時間を決定してもよい。
【0089】
また、実施形態1、2において、魚の鮮度の決定結果を示す情報の出力をディスプレイ15への表示により実現する例を示したが、ディスプレイ15への表示に代えてプロジェクタにより投影された画面に表示することとしてもよい。また、鮮度の決定結果を示す情報の出力を、鮮度を表す情報を印刷すること、鮮度を表す情報の音声を発生させること、鮮度を表す情報を他の機器へと送信すること等といった表示以外の手段により実現してもよい。
【0090】
また、実施形態1、2では、魚の鮮度を死後の経過時間で表現する例を示したが、経過時間を入力することとして、鮮度を保存状況による表現形式のものとして決定することとしてもよい。例えば、上述した魚種別、保存状況別の複数のテーブルと、入力された経過時間と、算定された鮮度指標値(鮮度指標値A、鮮度指標値B)とに基づいて保存状況(例えば保存温度)を決定することとしてもよい。また、魚の鮮度を、「非常に新鮮」、「概ね新鮮」、「普通」、「鮮度が悪い」等といった鮮度の程度で表現することとしてもよいし、鮮度自体を数値で表現してもよい。即ち、鮮度の決定は、異なる鮮度を表す複数の内容(値、文字列、画像その他の情報)それぞれと鮮度指標値の範囲それぞれとを対応付けた決定用情報を用いて、魚眼の画像から算定された鮮度指標値に応じて鮮度を表す内容を特定することにより実現してもよい。
【0091】
また、実施形態2で示す鮮度情報出力装置200についても、実施形態1の実施例で示したようなスマートフォンへの応用をしてもよい。そしてこの場合、撮影部から紫外光照射部のみならず赤外光照射部(赤外線光源としての赤外線LED)を切り出してアダプタに実装させ、スマートフォンからの制御により順次各LEDを発光させて紫外線画像及び赤外線画像を撮影することとしてもよい。
【0092】
また、上述した処理手順(
図3、
図15又は
図18に示す処理等)の全部又は一部は、各種機器の機構及び回路(ハードウェア)のみにより実行されても、ソフトウェアにより実行されてもよい。なお、ソフトウェアによる処理の実行は、機器に含まれるプロセッサがメモリに記憶された制御プログラムを実行することにより実現されるものである。また、その制御プログラムを記録媒体に記録して頒布や流通させてもよい。例えば、頒布された制御プログラムを機器にインストールして、機器のプロセッサに実行させることで、機器に処理手順(
図3、
図5又は
図18に示す処理等)を行わせることが可能となる。
【0093】
また、鮮度情報出力装置100及び鮮度情報出力装置200が主として1台のコンピュータ14(コンピュータ24)により構成される例を示したが、鮮度情報出力装置は、複数の装置(機器やコンピュータ等)により構成されることとしてもよい。この複数の装置は通信を行うことで連携して魚の鮮度を決定する機能を実現することができる。
【0094】
また、鮮度情報出力装置は、
図23に示すように、紫外光が照射された魚の虹彩部の輝度を示す情報(例えば紫外線画像)を取得する取得部301と、当該情報に基づいて決定した当該魚の鮮度を示す鮮度情報を出力する出力部302とを有する構成としてもよい。なお、取得部301及び出力部302は、例えば上述したコンピュータ14(
図2参照)で実現され、取得部301は、例えば決定部2(
図1参照)の機能を紫外線画像の入力側と決定結果の出力側とに2分した場合における入力側の少なくとも一部に相当し、出力部302は出力側の少なくとも一部に相当する。なお、出力部302は、ディスプレイ15(
図2参照)を含んで実現されるものとしてもよい。
【0095】
その他、上述した各実施形態に対して当業者が当然に思いつく各種変形を施して得られる形態、又は、各実施形態で示した構成要素及び機能を任意に組み合わせることで実現される形態も本開示の範囲に含まれる。