(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-06-25
(45)【発行日】2024-07-03
(54)【発明の名称】肉の骨の判別装置等の判別装置及び肉の骨判別方法等の判別方法、ならびに肉の骨判別プログラム等の判別プログラム
(51)【国際特許分類】
G01N 21/27 20060101AFI20240626BHJP
G06T 7/00 20170101ALI20240626BHJP
G01N 21/33 20060101ALI20240626BHJP
G01N 21/892 20060101ALI20240626BHJP
A22C 17/00 20060101ALI20240626BHJP
【FI】
G01N21/27 A
G06T7/00 350C
G01N21/33
G01N21/892 Z
A22C17/00
(21)【出願番号】P 2019231162
(22)【出願日】2019-12-23
【審査請求日】2022-10-19
(31)【優先権主張番号】P 2018241565
(32)【優先日】2018-12-25
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】500409127
【氏名又は名称】株式会社大道産業
(74)【代理人】
【識別番号】100086184
【氏名又は名称】安原 正義
(74)【代理人】
【識別番号】100102015
【氏名又は名称】大澤 健一
(72)【発明者】
【氏名】坂田 浩一
【審査官】田中 洋介
(56)【参考文献】
【文献】特開2018-066649(JP,A)
【文献】特開2018-189560(JP,A)
【文献】国際公開第2017/132171(WO,A1)
【文献】特開2018-185552(JP,A)
【文献】特開2018-064501(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G01N 21/00-21/958
JSTPlus/JSTChina/JST7580(JDreamIII)
(57)【特許請求の範囲】
【請求項1】
暗所で、
肉の切断面に紫外光を照射して該紫外光の反射光を取り入れ紫外光画像を得る紫外光撮影部と、
肉の切断面に紫色光を照射して該紫色光の反射光を取り入れ紫色光画像を得る紫色光撮影部と、
肉の切断面に青色光を照射して該青色光の反射光を取り入れ青色光画像を得る青色光撮影部と、
から得られる、画像データから抽出対象物
である骨を抽出するにあたり、肉の切断面の骨部を判別する肉の
骨判別装置であって、
前記画像データを区分分割する区分分割手段と、
ディープラーニングの手法による前記抽出対象物の特徴量の機械学習結果を有し、前記機械学習結果に基づいて、前記区分分割手段により分割された前記画像データの前記区分ごとに、前記区分が前記抽出対象物である確率を算出する画像識別手段と、
前記画像識別手段により算出された、前記区分ごとの前記抽出対象物である確率を画素値に変換する識別結果変換手段と、
前記識別結果変換手段により変換された前記画素値を有する画像に画像処理を行う画像処理手段と
を備え
、
紫外線照射をしたときは、白く見える箇所を骨と判断し、紫色可視光照射をしたときは、白黄色に見える箇所を骨と判断し、青色可視光照射をしたときは、黄色に見える箇所を骨と判断することを特徴とする肉の骨判別装置。
【請求項2】
前記画像処理手段は、前記区分分割手段により分割された前記画像データに画像処理を行い、
前記画像識別手段は、前記画像処理手段により画像処理された前記画像データに対して、前記画像データの前記区分ごとに、前記抽出対象物である
骨の確率を算出することを特徴とする請求項1に記載の肉の骨判別装置。
【請求項3】
紫外光撮影部にオレンジあるいは黄色のフィルターを通して画像を得ることを特徴とする請求項1又は請求項2のいずれかに記載の肉の
骨判別装置。
【請求項4】
青色光撮影部にオレンジあるいは黄色のフィルターを通して画像を得ることを特徴とする請求項1又は請求項2又は請求項3のいずれかに記載の肉の
骨判別装置。
【請求項5】
暗所で、
肉の切断面に紫外光を照射して該紫外光の反射光を取り入れ紫外光画像を得る紫外光撮影部と、
肉の切断面に紫色光を照射して該紫色光の反射光を取り入れ紫色光画像を得る紫色光撮影部と、
肉の切断面に青色光を照射して該青色光の反射光を取り入れ青色光画像を得る青色光撮影部と、
から得られる、
画像データから抽出対象物
である骨を抽出するにあたり、肉の切断面の骨部を判別する肉の
骨判別方法であって、
前記画像データを区分分割する区分分割ステップと、
ディープラーニングの手法による前記抽出対象物の特徴量の機械学習結果に基づいて、前記区分分割ステップの処理により分割された前記画像データの前記区分ごとに、前記区分が前記抽出対象物である確率を算出する画像識別ステップと、
前記画像識別ステップの処理により算出された、前記区分ごとの前記抽出対象物である確率を画素値に変換する識別結果変換ステップと、
前記識別結果変換ステップの処理により変換された前記画素値を有する画像に画像処理を行う画像処理ステップと
紫外線照射をしたときは、白く見える箇所を骨と判断し、紫色可視光照射をしたときは、白黄色に見える箇所を骨と判断し、青色可視光照射をしたときは、黄色に見える箇所を骨と判断する判断ステップ、
を含むことを特徴とする肉の
骨判別方法。
【請求項6】
紫色光撮影部にオレンジあるいは黄色のフィルターを通して画像を得ることを特徴とする請求項5記載の肉の
骨判別方法。
【請求項7】
青色光撮影部にオレンジあるいは黄色のフィルターを通して画像を得ることを特徴とする請求項5又は請求項6のいずれかに記載の肉の
骨判別方法。
【請求項8】
暗所で、
肉の切断面に紫外光を照射して該紫外光の反射光を取り入れ紫外光画像を得る紫外光撮影部と、
肉の切断面に紫色光を照射して該紫色光の反射光を取り入れ紫色光画像を得る紫色光撮影部と、
肉の切断面に青色光を照射して該青色光の反射光を取り入れ青色光画像を得る青色光撮影部と、
から得られる、
画像データから抽出対象物
である骨を抽出するにあたり、肉の切断面の骨部を判別する肉の
骨判別処理をコンピュータに実行させるためのプログラムであって、
前記画像データを区分分割する区分分割ステップと、
ディープラーニングの手法による前記抽出対象物の特徴量の機械学習結果に基づいて、前記区分分割ステップの処理により分割された前記画像データの前記区分ごとに、前記区分が前記抽出対象物である確率を算出する画像識別ステップと、
前記画像識別ステップの処理により算出された、前記区分ごとの前記抽出対象物である確率を画素値に変換する識別結果変換ステップと、
前記識別結果変換ステップの処理により変換された前記画素値を有する画像に画像処理を行う画像処理ステップと、
紫外線照射をしたときは、白く見える箇所を骨と判断し、紫色可視光照射をしたときは、白黄色に見える箇所を骨と判断し、青色可視光照射をしたときは、黄色に見える箇所を骨と判断する判断ステップ、
を含むことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、肉のブロックを切り分けたとき、骨と軟骨を見分ける、肉の骨判別装置等の判別装置及び肉の骨の判別方法等の判別方法、ならびに肉の骨の判別プログラム等の判別プログラムに係る。
【背景技術】
【0002】
肉のブロックを切り分けたとき、骨と軟骨を見分ける肉の切断面の骨と肉との判別装置及び判別方法としては、X線を利用して位置情報を得る技術、あるいは赤外線と可視光とを併用した技術が知られている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2018-64501号公報
【文献】特開2018-66649号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1「食肉の骨部判別装置及び食肉の骨部判別方法」記載の発明は、「食肉の切断面の骨部を検出する骨位置検出装置であって、前記切断面に波長が1100nm乃至1700nmの赤外光を照射して該赤外光の反射光を取り入れ第1画像を得る第1撮影部12と、前記切断面に可視光を照射して該可視光の反射光を取り入れ第2画像を得る第2撮影部18と、前記第1画像と前記第2画像とを減算処理して前記骨部の領域を識別表示した差分画像を得る減算部と、を備える。」。そして、「食肉切断面の骨部の自動判別を可能にする。」とされる。
【0005】
特許文献2「食肉の骨部判別装置及び食肉の骨部判別方法」記載の発明は、「食肉の切断面の骨部を検出する骨部判別装置10であって、前記切断面に可視光を照射し該可視光の反射光で第1画像を得る第1撮影部16と、前記切断面に波長が1100nm乃至1700nmの赤外光を照射し、該赤外光の反射光で第2画像を得る第2撮影部22と、前記切断面の赤身部、骨部及び脂肪部における前記反射光の輝度値の差に基づいて前記第1画像を二値化処理し、前記脂肪部の領域を抽出する第1二値化処理部と、前記切断面の前記赤身部、前記骨部及び前記脂肪部における前記反射光の輝度値の差によって前記第2画像を二値化処理し、前記骨部及び前記脂肪部の領域を抽出する第2値化処理部と、前記第1二値化処理部で抽出した前記脂肪部の領域と前記第2二値化処理部で抽出した前記脂肪部及び前記骨部の領域とを差分して前記骨部の領域を抽出する骨部抽出部と、を備える。」そして、「食肉切断面の骨部の自動判別を可能にする。」とされる。
【0006】
「食肉切断面の3つの構成要素である赤身部、骨部及び脂肪部は、含水率及び脂肪含有率等が夫々異なる。他方、波長1100nm~1700nm(以下「波長A」とも言う。
)の赤外光は、例えば、1450nm付近を中心として水吸収能のピークを有する。これらの違いによって、食肉切断面に赤外光又は可視光を照射した場合、赤身部、骨部及び脂肪部ごとに反射光の輝度値は異なる。」、
「上記第1画像及び上記第2画像の赤身部及び脂肪部の反射光の輝度値は同一であり、骨部の反射光の輝度値は異なるため、上記減算部において、第1画像と第2画像とを減算処理すると、骨部のみを識別表示した差分画像を得ることができる。」、
【0007】
「これによって、食肉の切断面又はその近傍に存在する骨部の自動判別が可能になる。
また、得られた骨部の位置情報を脱骨装置に用いることで、食肉切断面上又は食肉切断面近傍に存在する骨部の自動脱骨が可能になる。
ここで、「食肉切断面近傍に存在する骨部」とは、切断面からの距離が幾つかの実施形態によって骨部を識別可能な距離にある骨部を意味する。」とされる(特許文献1[0007])
【0008】
特許文献1、同2記載発明は、赤外線又は可視光を利用して、肉のブロックを切り分けたとき、骨と軟骨を見分ける、肉の切断面又はその近傍に存在する骨部の自動判別を可能とするものである。
しかしながら、後工程での輝度などを特徴づけする画像処理などが必要になり、そこで人間の目を使った調整が必要になり、二値値化、周縁明瞭化処理、「赤外光を照射して該赤外光の反射光を取り入れ第1画像を得る第1撮影部と、前記切断面に可視光を照射して該可視光の反射光を取り入れ第2画像を得る第2撮影部と、前記第1画像と前記第2画像とを減算処理して前記骨部の領域を識別表示した差分画像を得る減算部」も必要とするなど、作業が複雑化する課題を有する。
【0009】
他方、発明者は、第1実施例関係で、以下知見した。
1.肉のブロックを切り分けたとき、骨と軟骨を見分けるのに、紫外線(波長10 - 400 nm)、紫色の可視光(波長380 - 450 nm)、青色の可視光(波長450 - 495 nm)を照射することが有効である。
2.紫外線(波長10 - 400 nm)では、骨が白に見える。骨の周りの、筋膜の部分が紫色の豹紋状アメーバ状にみえる。
3.紫色可視光(波長380 - 450 nm)では、骨は白黄色にみえる。骨の周りの、筋膜の部分が薄紫色の豹紋状アメーバ状にみえる。
4.青色可視光(波長450 - 495 nm)では、骨は黄色にみえる。骨の周りの、筋膜の部分は、検出可能な色形ともない。
【0010】
5.フィルターについて
紫色可視光及び青色可視光は、オレンジあるいは黄色あるいはフィルターを通してみるとはっきり見え、骨が他と識別容易となる。
6.氷の影響について
肉は冷凍してある。紫色、青色の可視光は氷の影響を受けにくい。しかし、紫外線は、氷の影響を受け、照射すると乱反射をする。それで、暗闇の中で、例えば、青色、紫色、赤外線の順で照射し、得られた画像を重ね合わせすることで、骨と軟骨を見分けるのに有効である。
7.作業環境について
作業は、暗所で行うのが望ましい。暗所でないと骨の発光する光がとても弱いのでコンピュータで輝度を処理して2値化したり、エッジ処理(周縁明瞭化処理)が必須となる。
【0011】
他方、発明者は、更に、以下知見した。
第2実施例関係
海藻類であるもずくに黄色の釣糸が入っている。釣糸の蛍光発光はつよい。
(1)可視光(波長 400 nm-700 nm)と紫外線(波長 10 - 400 nm)を併用して照射する。
釣糸は蛍光発光して見える。隙間から見える下地となるコンベアの白地は見える。
(2)紫外線(波長 10 - 400 nm)を照射する。
釣糸は見える。
可視光のみの照射では、釣糸は光りにくい。
【0012】
第3実施例関係
海藻類であるもずくに緑色の釣糸が入っている。釣糸の蛍光発光は微弱である。
(1)可視光(波長 400 nm-700 nm)と紫外線(波長 10 - 400 nm)を併用して照射する。
釣糸は見える。漁網の破片は見える。
(2)紫外線(波長 10 - 400 nm)を照射する。
釣糸は見えない。
可視光のみの照射では、釣糸は光りにくい。
【0013】
第4実施例関係
海藻類であるもずくに茶色の釣糸が入っている。茶色の釣糸は、蛍光発光がある。
(1)可視光(波長 400 nm-700 nm)と紫外線(波長 10 - 400 nm)を併用して照射する。
釣糸は見える。
(2)紫外線(波長 10 - 400 nm)を照射する。
釣糸はかすかに見える。
可視光のみの照射では、釣糸は光りにくい。
【0014】
第5実施例関係
海藻類であるもずくにエビが入っている。蛍光発光がある。
(1)可視光(波長 400 nm-700 nm)と紫外線(波長 10 - 400 nm)を併用して照射する。
エビは見える。隙間から見える下地となるコンベアの白地が見える。
(2)紫外線(波長 10 - 400 nm)を照射する。
エビ、隙間、は見えない。
可視光のみの照射では、エビは光にくい。
【0015】
第6実施例関係
海藻類であるもずくに魚が入っている。魚は蛍光発光がある。
(1)可視光(波長 400 nm-700 nm)と紫外線(波長 10 - 400 nm)を併用して照射する。
魚は見える。隙間から見える下地となるコンベアの白地は見える。
(2)紫外線(波長 10 - 400 nm)を照射する。
魚は薄く見える。隙間は、見えない。
可視光のみの照射では、魚は光りにくい。
【0016】
第7実施例関係
海藻類であるもずくに貝が入っている。貝は蛍光発光がある。
(1)可視光(波長 400 nm-700 nm)と紫外線(波長 10 - 400 nm)を併用して照射する。
貝は見える。隙間から見える下地となるコンベアの白地は見える。
(2)紫外線(波長 10 - 400 nm)を照射する。
貝は薄く見える。隙間は、見えない。
可視光のみの照射では、貝は光りにくい。
【0017】
第8実施例関係
海藻類であるもずくに異種海藻が入っている。異種海藻は、蛍光発光がある。
(1)可視光(波長 400 nm-700 nm)と紫外線(波長 10 - 400 nm)を併用して照射する。
異種海藻は見える。
(2)紫外線(波長 10 - 400 nm)を照射する。
異種海藻は薄く見える。
可視光のみの照射では、異種海藻は光りにくい。
【0018】
第9実施例関係
根野菜であるもやしに根腐れ部位が入っている。根腐れ部位は、蛍光発光はない。
(1)可視光(波長 400 nm-700 nm)を照射する。
根腐れ部位は見える。
(2)可視光(赤のみ)(波長 620-750 nm)を照射する。蛍光発光するものが無いため赤色可視光を照射した。
根腐れ部位は薄く見える。
【0019】
第10実施例関係
根野菜であるもやしに黒変した傷み部位が入っている。傷み部位に蛍光発光はない。
(1)可視光(波長 400 nm-700 nm)を照射する。
傷み部位は見える。茎は見える。
(2)可視光(赤のみ)(波長 620-750 nm)を照射する。蛍光発光するものが無いため赤色可視光を照射した。
黒変した傷み部位は薄く見える。
【0020】
第11実施例関係
根野菜であるもやしに黒変した傷み部位が入っている。黒変した傷み部位は、蛍光発光はない。
(1)可視光(波長 400 nm-700 nm)を照射する。
傷み部位は見える。茎は見える。
(2)可視光(赤のみ)(波長 620-750 nm)を照射する。蛍光発光するものが無いため赤色可視光を照射した。
黒変した傷み部位は薄く見える。茎はぼんやり映る。
【0021】
第12実施例関係
乾燥海藻類である乾燥海苔にカーボン漁網が入っている。漁網は、蛍光発光はない。
(1)近赤外線(波長 0.7 - 2.5 μm)を照射する。
カーボン漁網は見える。
横から近赤外線光を当てた。
(2)近赤外線光以外の光を当てた。
【0022】
第13実施例関係
乾燥海藻類である乾燥わかめにカーボン漁網が入っている。カーボン漁網は、蛍光発光はない。
(1)近赤外線(波長 0.7 - 2.5 μm)を照射する。
カーボン漁網は見える。側面から近赤外線を照射したため、側面は白色に映り見やすくなる。
横から近赤外線光を当てた。
(2)近赤外線光以外の光を当てた。
【0023】
第14実施例関係
蕎麦麺に極小羽虫が入っている。蛍光発光はない。
(1)近赤外線(波長 0.7 - 2.5 μm)を照射する。
極小羽虫は見える。
横から近赤外線光を当てた。側面から近赤外線を照射したため、側面は白色に映り見やすくなる。
(2)白色光を照射した。
【0024】
第15実施例関係
透明ビニル入り豚肉こまぎれに透明ビニルが入っている。透明ビニルは、蛍光発光はない。乱反射はある。
(1)可視光(波長 400 nm-700 nm)を照射する。透明ビニルは乱反射あり。
(2)可視光(赤のみ)(波長 620-750 nm)を照射する。蛍光発光するものが無いため赤色可視光を照射した。
【0025】
第16実施例関係
透明ビニル入り豚肉こまぎれに透明ビニルが入っている。透明ビニルの蛍光発光はない。乱反射はある。
(1)可視光(波長 400 nm-700 nm)を照射する。透明ビニル袋の乱反射あり。
(2)可視光(赤のみ)(波長 620-750 nm)を照射する。蛍光発光するものが無いため赤色可視光を照射した。
【0026】
第17実施例関係
透明ビニル入り豚肉こまぎれに透明ビニルが入っている。透明ビニルは、蛍光発光はない。乱反射はある。
(1)可視光(波長 400 nm-700 nm)を照射する。乱反射あり。
(2)可視光(赤のみ)(波長 620-750 nm)を照射する。蛍光発光するものが無いため赤色可視光を照射した。
【0027】
第18実施例関係
揚げ物の衣の剥がれまたは凍結部位が混在した揚げ物であるコロッケである。
(1)可視光(青色光のみ)(波長450 - 495 nm)を照射した。
(2)可視光(赤色光のみ)(波長 620-750 nm)を照射した。
(3)可視光(白色光)を照射した。
(4)可視光(緑色光のみ)(波長 495-570 nm)を照射した。
【0028】
第19実施例関係
揚げ物の衣の剥がれまたは凍結部位が混在した揚げ物であるクリームコロッケである。
(1)可視光(青色光のみ)(波長450 - 495 nm)を照射した。
(2)可視光(赤色光のみ)(波長 620-750 nm)を照射した。
(3)可視光(白色光)を照射した。
(4)可視光(緑色光のみ)(波長 495-570 nm)を照射した。
【0029】
第20実施例関係
揚げ物の衣の剥がれまたは凍結部位が混在した揚げ物であるフライドチキンである。
(1)可視光(青色光のみ)(波長450 - 495 nm)を照射した。
(2)可視光(赤色光のみ)(波長 620-750 nm)を照射した。
(3)可視光(緑色光のみ)(波長 495-570 nm)を照射した。
(4)可視光(青プラス白色)を照射した。
【0030】
それぞれ、異なる光をあてることで、検出部位の精度を上げることが可能となった。
【課題を解決するための手段】
【0031】
この発明は、
暗所で、
肉の切断面に紫外光を照射して該紫外光の反射光を取り入れ紫外光画像を得る紫外光撮影部と、
肉の切断面に紫色光を照射して該紫色光の反射光を取り入れ紫色光画像を得る紫色光撮影部と、
肉の切断面に青色光を照射して該青色光の反射光を取り入れ青色光画像を得る青色光撮影部と、
から得られる、画像データから抽出対象物である骨を抽出するにあたり、肉の切断面の骨部を判別する肉の骨判別装置であって、
前記画像データを区分分割する区分分割手段と、
ディープラーニングの手法による前記抽出対象物の特徴量の機械学習結果を有し、前記機械学習結果に基づいて、前記区分分割手段により分割された前記画像データの前記区分ごとに、前記区分が前記抽出対象物である確率を算出する画像識別手段と、
前記画像識別手段により算出された、前記区分ごとの前記抽出対象物である確率を画素値に変換する識別結果変換手段と、
前記識別結果変換手段により変換された前記画素値を有する画像に画像処理を行う画像処理手段と
を備え、
紫外線照射をしたときは、白く見える箇所を骨と判断し、紫色可視光照射をしたときは、白黄色に見える箇所を骨と判断し、青色可視光照射をしたときは、黄色に見える箇所を骨と判断することを特徴とする肉の骨判別装置、
からなる。
【0032】
この発明は、更に、
前記画像処理手段は、前記区分分割手段により分割された前記画像データに画像処理を行い、
前記画像識別手段は、前記画像処理手段により画像処理された前記画像データに対して、前記画像データの前記区分ごとに、前記抽出対象物である骨の確率を算出することを特徴とする肉の骨判別装置、からなる。
【0033】
この発明は、更に、
紫外光撮影部にオレンジあるいは黄色のフィルターを通して画像を得ることを特徴とする肉の骨判別装置、からなる。
【0034】
この発明は、更に、
青色光撮影部にオレンジあるいは黄色のフィルターを通して画像を得ることを特徴とする肉の骨判別装置、からなる。
【0035】
この発明は、
暗所で、
肉の切断面に紫外光を照射して該紫外光の反射光を取り入れ紫外光画像を得る紫外光撮影部と、
肉の切断面に紫色光を照射して該紫色光の反射光を取り入れ紫色光画像を得る紫色光撮影部と、
肉の切断面に青色光を照射して該青色光の反射光を取り入れ青色光画像を得る青色光撮影部と、
から得られる、
画像データから抽出対象物である骨を抽出するにあたり、肉の切断面の骨部を判別する肉の骨判別方法であって、
前記画像データを区分分割する区分分割ステップと、
ディープラーニングの手法による前記抽出対象物の特徴量の機械学習結果に基づいて、前記区分分割ステップの処理により分割された前記画像データの前記区分ごとに、前記区分が前記抽出対象物である確率を算出する画像識別ステップと、
前記画像識別ステップの処理により算出された、前記区分ごとの前記抽出対象物である確率を画素値に変換する識別結果変換ステップと、
前記識別結果変換ステップの処理により変換された前記画素値を有する画像に画像処理を行う画像処理ステップと
紫外線照射をしたときは、白く見える箇所を骨と判断し、紫色可視光照射をしたときは、白黄色に見える箇所を骨と判断し、青色可視光照射をしたときは、黄色に見える箇所を骨と判断する判断ステップ、
を含むことを特徴とする肉の骨判別方法、からなる。
【0036】
この発明は、更に、
紫色光撮影部にオレンジあるいは黄色のフィルターを通して画像を得ることを特徴とする肉の骨判別方法、からなる。
【0037】
この発明は、更に、
青色光撮影部にオレンジあるいは黄色のフィルターを通して画像を得ることを特徴とする肉の骨判別方法、からなる。
【0038】
この発明は、
暗所で、
肉の切断面に紫外光を照射して該紫外光の反射光を取り入れ紫外光画像を得る紫外光撮影部と、
肉の切断面に紫色光を照射して該紫色光の反射光を取り入れ紫色光画像を得る紫色光撮影部と、
肉の切断面に青色光を照射して該青色光の反射光を取り入れ青色光画像を得る青色光撮影部と、
から得られる、
画像データから抽出対象物である骨を抽出するにあたり、肉の切断面の骨部を判別する肉の骨判別処理をコンピュータに実行させるためのプログラムであって、
前記画像データを区分分割する区分分割ステップと、
ディープラーニングの手法による前記抽出対象物の特徴量の機械学習結果に基づいて、前記区分分割ステップの処理により分割された前記画像データの前記区分ごとに、前記区分が前記抽出対象物である確率を算出する画像識別ステップと、
前記画像識別ステップの処理により算出された、前記区分ごとの前記抽出対象物である確率を画素値に変換する識別結果変換ステップと、
前記識別結果変換ステップの処理により変換された前記画素値を有する画像に画像処理を行う画像処理ステップと、
紫外線照射をしたときは、白く見える箇所を骨と判断し、紫色可視光照射をしたときは、白黄色に見える箇所を骨と判断し、青色可視光照射をしたときは、黄色に見える箇所を骨と判断する判断ステップ、
を含むことを特徴とするプログラム、からなる。
【発明の効果】
【0063】
紫外線光、紫色の可視光、青色の可視光の照射を利用して、肉のブロックを切り分けたとき、肉の切断面又はその近傍に存在する骨部の判別を可能とするものである。
釣り糸またはえびまたは魚または貝または異種海藻が混在した海藻類において、釣り糸またはえびまたは魚または貝または異種海藻の判別を可能とするものである。
根腐れ部位または傷み部位が混在したもやし等の根野菜において、根腐れ部位または傷み部位の判別を可能とするものである。
カーボン漁網が混在した乾燥海藻類等の乾燥海苔または乾燥わかめにおいて、カーボン漁網の判別を可能とするものである。
極小羽虫が混在した蕎麦において、極小羽虫の判別を可能とするものである。
透明ビニルが混在した豚肉こまぎれにおいて、透明ビニルの判別を可能とするものである。
揚げ物の衣の剥がれまたは凍結部位が混在した揚げ物において、揚げ物の衣の剥がれまたは凍結部位の判別を可能とするものである。
【図面の簡単な説明】
【0064】
【
図1】この発明の実施の形態である第1実施例の使用状態の正面図である。
【
図2】この発明の実施の形態である第1実施例の可視光を照射した肉のブロックを切り分けたときの骨と軟骨が併存する切断面図である。
【
図3】この発明の実施の形態である第1実施例の紫色可視光を照射した肉のブロックを切り分けたときの骨と軟骨が併存する切断面図である。
【
図4】この発明の実施の形態である第1実施例の紫色可視光を照射した肉のブロックを切り分けたときの骨と軟骨が併存する切断面図である。
【
図5】この発明の実施の形態である第1実施例の紫色可視光を照射した肉のブロックを切り分けたときの骨と軟骨が併存する切断面図である。
【
図6】この発明の実施の形態である第1実施例の紫色可視光を照射した肉のブロックを切り分けたときの骨と軟骨が併存する切断面図である。
【
図7】この発明の実施の形態である第1実施例の紫色可視光を照射した肉のブロックを切り分けたときの骨と軟骨が併存する切断面図である。
【
図8】この発明の実施の形態である第1実施例の紫色可視光を照射した肉のブロックを切り分けたときの骨と軟骨が併存する切断面図である。
【
図9】この発明の実施の形態である第1実施例の紫色可視光を照射した肉のブロックを切り分けたときの骨と軟骨が併存する切断面図である。
【
図10】この発明の実施の形態である第1実施例の肉のブロックの紫筋膜の切断面の概念図である。
【
図11】この発明の実施の形態である第1実施例の画像解析装置が有する機能について説明するための機能ブロック図である。
【
図12】この発明の実施の形態である第1実施例の画像解析処理について説明するためのフローチャートである。
【
図13】この発明の実施の形態である第1実施例の画像識別処理について説明するためのフローチャートである。
【
図14】この発明の実施の形態である第1実施例のディープラーニングの手法を用いた抽出対象物である肉のブロックを切り分けたときの肉の切断面についての学習結果を有している識別器による処理について説明するための図である。
【
図15】この発明の実施の形態である第1実施例の紫外線、紫色可視光、青色の可視光を照射した肉のブロックを切り分けたときの骨と軟骨が併存する切断面の肉部位の見え方をあらわす図である。
【
図16】この発明の実施の形態である第2実施例の紫外線および可視光を照射した釣り糸(黄色)が混在した海藻類であるもずくの見え方をあらわす図である。
【
図17】この発明の実施の形態である第2実施例の紫外線を照射した釣り糸(黄色)が混在した海藻類であるもずくの見え方をあらわす図である。
【
図18】この発明の実施の形態である第3実施例の紫外線および可視光を照射した釣り糸(緑色)が混在した海藻類であるもずくの見え方をあらわす図である。
【
図19】この発明の実施の形態である第3実施例の紫外線を照射した釣り糸(緑色)が混在した海藻類であるもずくの見え方をあらわす図である。
【
図20】この発明の実施の形態である第4実施例の紫外線および可視光を照射した釣り糸(茶色)が混在した海藻類であるもずくの見え方をあらわす図である。
【
図21】この発明の実施の形態である第4実施例の紫外線を照射した釣り糸(茶色)が混在した海藻類であるもずくの見え方をあらわす図である。
【
図22】この発明の実施の形態である第5実施例の紫外線および可視光を照射したエビが混在した海藻類であるもずくの見え方をあらわす図である。
【
図23】この発明の実施の形態である第5実施例の紫外線を照射したエビが混在した海藻類であるもずくの見え方をあらわす図である。
【
図24】この発明の実施の形態である第6実施例の紫外線および可視光を照射した魚が混在した海藻類であるもずくの見え方をあらわす図である。
【
図25】この発明の実施の形態である第6実施例の紫外線を照射した魚が混在した海藻類であるもずくの見え方をあらわす図である。
【
図26】この発明の実施の形態である第7実施例の紫外線および可視光を照射した貝が混在した海藻類であるもずくの見え方をあらわす図である。
【
図27】この発明の実施の形態である第7実施例の紫外線を照射した貝が混在した海藻類であるもずくの見え方をあらわす図である。
【
図28】この発明の実施の形態である第8実施例の紫外線および可視光を照射した異種海藻が混在した海藻類であるもずくの見え方をあらわす図である。
【
図29】この発明の実施の形態である第8実施例の紫外線を照射した異種海藻が混在した海藻類であるもずくの見え方をあらわす図である。
【
図30】この発明の実施の形態である第9実施例の可視光を照射した根腐れ部位を有する根野菜であるもやしの見え方をあらわす図である。
【
図31】この発明の実施の形態である第9実施例の可視光(赤色光のみ)を照射した根腐れ部位を有する根野菜であるもやしの見え方をあらわす図である。
【
図32】この発明の実施の形態である第10実施例の可視光を照射した傷み部位を有する根野菜であるもやしの見え方をあらわす図である。
【
図33】この発明の実施の形態である第10実施例の可視光(赤色光のみ)を照射した傷み部位を有するもやしの見え方をあらわす図である。
【
図34】この発明の実施の形態である第11実施例の可視光を照射した傷み部位を有する根野菜であるもやしの見え方をあらわす図である。
【
図35】この発明の実施の形態である第11実施例の可視光(赤色光のみ)を照射した傷み部位を有する根野菜であるもやしの見え方をあらわす図である。
【
図36】この発明の実施の形態である第12実施例の近赤外線光を照射したカーボン漁網が混在した乾燥海藻類である乾燥海苔の見え方をあらわす図である。
【
図37】この発明の実施の形態である第12実施例の近赤外線光を照射したカーボン漁網が混在した乾燥海藻類の見え方をあらわす図である。
【
図38】この発明の実施の形態である第12実施例の近赤外線光を照射したカーボン漁網が混在した乾燥海藻類である乾燥海苔の見え方をあらわす図である。
【
図39】この発明の実施の形態である第12実施例の近赤外線光を照射したカーボン漁網が混在した乾燥海藻類である乾燥海苔の見え方をあらわす図である。
【
図40】この発明の実施の形態である第12実施例の近赤外線光を照射したカーボン漁網が混在した乾燥海藻類である乾燥海苔の見え方をあらわす図である。
【
図41】この発明の実施の形態である第12実施例の近赤外線光を照射したカーボン漁網が混在した乾燥海藻類である乾燥海苔の見え方をあらわす図である。
【
図42】この発明の実施の形態である第13実施例の近赤外線光を照射したカーボン漁網が混在した乾燥海藻類である乾燥わかめの見え方をあらわす図である。
【
図43】この発明の実施の形態である第13実施例の近赤外線光を照射したカーボン漁網が混在した乾燥海藻類である乾燥わかめの見え方をあらわす図である。
【
図44】この発明の実施の形態である第13実施例の近赤外線光を照射したカーボン漁網が混在した乾燥海藻類である乾燥わかめの見え方をあらわす図である。
【
図45】この発明の実施の形態である第13実施例の近赤外線光を照射したカーボン漁網が混在した乾燥海藻類である乾燥わかめの見え方をあらわす図である。
【
図46】この発明の実施の形態である第14実施例の近赤外線光を照射した極小羽虫が混在した蕎麦の見え方をあらわす図である。
【
図47】この発明の実施の形態である第14実施例の近赤外線光を照射した極小羽虫が混在した蕎麦の見え方をあらわす図である。
【
図48】この発明の実施の形態である第14実施例の近赤外線光を照射した極小羽虫が混在した蕎麦の見え方をあらわす図である。
【
図49】この発明の実施の形態である第14実施例の近赤外線光を照射した極小羽虫が混在した蕎麦の見え方をあらわす図である。
【
図50】この発明の実施の形態である第15実施例の可視光を照射した豚肉こまぎれと透明ビニールの見え方をあらわす図である。
【
図51】この発明の実施の形態である第15実施例の可視光(赤色光のみ)を照射した豚肉こまぎれと透明ビニールの見え方をあらわす図である。
【
図52】この発明の実施の形態である第16実施例の可視光を照射した豚肉こまぎれと透明ビニールの見え方をあらわす図である。
【
図53】この発明の実施の形態である第16実施例の可視光(赤色光のみ)を照射した豚肉こまぎれと透明ビニールの見え方をあらわす図である。
【
図54】この発明の実施の形態である第17実施例の可視光を照射した豚肉こまぎれと透明ビニールの見え方をあらわす図である。
【
図55】この発明の実施の形態である第17実施例の可視光(赤色光のみ)を照射した豚肉こまぎれと透明ビニールの見え方をあらわす図である。
【
図56】この発明の実施の形態である第18実施例の可視光(青色光のみ)を照射した揚げ物コロッケと揚げ物の衣の剥がれまたは凍結部位の見え方をあらわす図である。
【
図57】この発明の実施の形態である第18実施例の可視光(赤色光のみ)を照射した揚げ物コロッケと揚げ物の衣の剥がれまたは凍結部位の見え方をあらわす図である。
【
図58】この発明の実施の形態である第18実施例の可視光(白色光のみ)を照射した揚げ物コロッケと揚げ物の衣の剥がれまたは凍結部位の見え方をあらわす図である。
【
図59】この発明の実施の形態である第18実施例の可視光(緑色光のみ)を照射した揚げ物コロッケと揚げ物の衣の剥がれまたは凍結部位の見え方をあらわす図である。
【
図60】この発明の実施の形態である第19実施例の可視光(青色光のみ)を照射した揚げ物クリームコロッケと揚げ物の衣の剥がれまたは凍結部位の見え方をあらわす図である。
【
図61】この発明の実施の形態である第19実施例の可視光(赤色光のみ)を照射した揚げ物クリームコロッケと揚げ物の衣の剥がれまたは凍結部位の見え方をあらわす図である。
【
図62】この発明の実施の形態である第19実施例の可視光(白色光のみ)を照射した揚げ物クリームコロッケと揚げ物の衣の剥がれまたは凍結部位の見え方をあらわす図である。
【
図63】この発明の実施の形態である第19実施例の可視光(緑色光のみ)を照射した揚げ物クリームコロッケと揚げ物の衣の剥がれまたは凍結部位の見え方をあらわす図である。
【
図64】この発明の実施の形態である第20実施例の可視光(青色光のみ)を照射した揚げ物フライドチキンと揚げ物の衣の剥がれまたは凍結部位の見え方をあらわす図である。
【
図65】この発明の実施の形態である第20実施例の可視光(赤色光のみ)を照射した揚げ物フライドチキンと揚げ物の衣の剥がれまたは凍結部位の見え方をあらわす図である。
【
図66】この発明の実施の形態である第20実施例の可視光(緑色光のみ)を照射した揚げ物フライドチキンと揚げ物の衣の剥がれまたは凍結部位の見え方をあらわす図である。
【
図67】この発明の実施の形態である第20実施例の可視光(青色光のみ)を照射した揚げ物フライドチキンと揚げ物の衣の剥がれまたは凍結部位の見え方をあらわす図である。
【発明を実施するための形態】
【0065】
以下、本発明の一実施の形態の第1実施例の画像解析装置について、
図1~
図15に基づき説明する。
図11は、画像解析装置1が有する機能について説明するための機能ブロック図である。
【0066】
画像解析装置1は、照射部11、画像データ取得部21、操作入力情報取得部12、画像データ分割処理部13、画像識別処理部14、識別結果変換処理部15、画像処理部16、出力処理部17、および、記憶部18を有する。
照射部11は、紫外光撮影部を構成する紫外線光照射部111、紫色光撮影部を構成する紫色光照射部112、青色光撮影部を構成する青色光照射部113からなる。この実施の形態では、紫色光照射部112では紫色可視光(910nm)を使用した。青色光照射部113では、この実施の形態では、青色可視光(950nm)を使用した。
画像データ取得部21は、紫外光撮影部を構成する紫外線光用画像データ取得部211、紫色光用画像データ取得部212、青色光用画像データ取得部213を有する。
紫外光撮影部、紫色光撮影部、青色光撮影部を成す画像データ取得部21は、照射部11からの反射光を受光する。221は、フィルターである。フィルター221は、オレンジあるいは黄色のフィルターからなる。
【0067】
画像データ取得部21は、例えば、デジタルスチルカメラ、ラインセンサカメラ等により撮像された、検査対象物の画像データを取得し、画像データ分割処理部13に供給する。
図3乃至
図9に図示する紫色光で受光した画像、および青色光で受光した画像、赤外線光で受光された画像を重ね合わせた画像を得る。
【0068】
肉のブロックを切り分けたとき、骨と軟骨を見分ける、紫外線と、紫色可視光線および青色視光線を併用して骨を検知する装置及び方法肉の骨判別装置及び肉の骨判別方法、ならびに肉の骨判別プログラムの実施の形態について、説明する。
この発明の実施の形態である紫色可視光を照射した肉のブロックを切り分けたときの骨と軟骨が併存する切断面図である
図3乃至
図9において、A、B、C、Dは、硬骨、Eは軟骨である。Fは、筋繊維の束である。Gは、筋内膜である。Hは、筋周膜である。
この発明の実施の形態である紫筋膜の切断面の概念図である
図10において、Fは、筋繊維の束である。Gは、筋内膜である。Hは、筋周膜である。Iは、筋上膜である。
図2は、自然光を照射し、フィルターを掛けることなく受光した、肉のブロックWを切り分けたときの硬骨A、B、C、Dと軟骨Eが併存する切断面である。硬骨A、硬骨B、
硬骨C、硬骨D、軟骨Eが白く見える。
【0069】
(1)LED紫外線と、紫色可視光線および青色視光線3色を使用した時の肉部位の見え方について
【0070】
紫外線(波長 10 - 400 nm)
図15に図示するように、紫外線受光には透過フィルターは使用しない。紫外線では、氷は、白く帯状に見える。赤身は、赤黒く見えるが形状は検出可能な特徴がない。脂肪は、白色に見えるが形状は検出可能な特徴がない。硬骨A、B、C、Dは、白色で浮島状に見える。軟骨Eは、白色で浮島状に見える。筋(すじ)は、白色の筋状に見える。筋膜は、紫色でアメーバ状に見える。筋膜の断面は豹紋柄になる。
筋膜の近傍、側面に軟骨Eはある。筋膜の存在が判ることで、軟骨Eの位置が判る。
【0071】
紫色(波長380 - 450 nm)
図15に図示するように、この発明の実施の形態である紫色可視光を照射した肉のブロックを切り分けたときの硬骨A、B、C、Dと軟骨Eが併存する切断面図である
図3乃至
図9において、脂肪は、白色に見えるが形状は検出可能な特徴がない。硬骨A、B、C、Dは、白黄色で浮島状に見える。軟骨Eは、薄白色で浮島状に見える。筋(すじ)は、白黄色の筋状に見える。筋膜は、紫色でアメーバ状に見える。
この実施の形態では、紫色可視光(910nm)を使用したが、紫色可視光の受光には、黄色もしくは、橙色のフィルターを使用する。紫色可視光では、氷は、色形とも検出可能な特徴がない。赤身は、赤黒く見えるが形状は検出可能な特徴がない。
【0072】
青色(波長450 - 495 nm)
図15に図示するように、この実施の形態では、青色可視光(950nm)を使用したが、青色可視光の受光には、黄色もしくは、橙色のフィルターを使用する。
青色可視光では、氷は、色形とも検出可能な特徴がない。赤身は、赤黒く見えるが形は検出可能な特徴がない。脂肪は、白色に見えるが形状は検出可能な特徴がない。硬骨A、B、C、Dは、黄色で浮島状に見える。軟骨Eは、薄白色で浮島状に見える。筋(すじ)は、黄色の筋状に見えるは、色形とも検出可能な特徴がない。
【0073】
(2)硬骨の検出の仕方
紫外線光、紫色光、青色光いずれも浮き島のように小さい点として検出されるため色と形状をAIに学習させることが出来る(写真参照)。
【0074】
(3)軟骨の検出の仕方
紫外線光、紫色光、青色光いずれも浮き島のように小さい点として検出されるが、紫外線光と紫色光で検出される筋膜が近傍にあることで硬骨A、B、C、Dと区別ができ、筋膜の近傍には軟骨がある可能性が高いとAIに学習させることが出来る。
【0075】
(4)筋の検出の仕方
紫外線光、紫色光、青色光いずれもすじ状に分布して検出されるため色と形状をAIに学習させることが出来る。
紫外線光、紫色光、青色光の画像を重ね合わせる。
硬骨A、B、C、D、軟骨Eと色が同じであるためAIを用いて形状によって識別させる。
【0076】
(5)筋膜の検出の仕方
紫外線光、紫色光によって紫色で豹紋柄のアメーバのような形状で検出されるため色と形状をAIに学習させることが出来る。
筋膜は筋肉から骨を脱骨したさいの断面として露わになっている。そのため骨の位置と密接な関係があり、筋膜の位置をAIに学習させることで硬骨A、B、C、D、軟骨Eの位置検出の参考にすることが出来る。下図の筋肉の構造をみるとたしかに豹紋に検出できるのも納得できる。
【0077】
(6)検出のためのその他の注意点
3種類のLEDを使用して骨を検出するためには必ず暗所で作業を行う必要がある。周囲が明るい状況では不可能。昼白色のLEDを併用したり蛍光灯下で検出しようとすると骨の発光色が非常に弱く、骨だと分かる発光に強弱が付きすぎてしまう。そのため後工程での輝度などを特徴づけする画像処理などが必要になってしまい、そこで人間の目を使った調整が必要になってしまう。二値化は、不要である。
ディープラーニングを用いたAIに学習させる方法をとらないと色と形状を用いた骨の検出が困難であるので必ずディープラーニングを用いたAIを使用する必要がある。
人工知能 (AI) の一部であるディープラーニングは、人間と同じように、コンピューターがrawデータから新しい概念を習得できるようにするものである。ディープラーニングシステムでは、特定のイメージをそれぞれ数千通り確認すると、その違いを特定できる。
【0078】
氷の影響について
肉は冷凍してある。紫色光、青色光は氷の影響を受けにくい。紫外線光は、氷の影響を受け、乱反射をする。
暗闇の中で、青色光、紫色光、紫外線光の順で照射する。青色光、紫色光、それぞれの画像をオレンジあるいは黄色あるいは、オレンジのフィルターを通してみるとはっきり見える。
得られた画像を重ね合わせ、AIで判断する。
【0079】
赤外線、特に遠赤外線(波長がおよそ4 - 1000 μm)を肉に照射すると、肉の部分が見やすい。
近赤外線は、波長がおよそ0.7 - 2.5 μm
中赤外線は、波長がおよそ2.5 - 4 μm
遠赤外線は、波長がおよそ4 - 1000 μm
とされる。
本発明では、赤外線を併用してもよい。
図3乃至
図9に図示する紫色光で受光した画像および青色光で受光した画像、赤外線光で受光された画像を得て、重ね合わせた画像を得る。
【0080】
操作入力情報取得部12は、入力部2から入力される、ユーザの操作入力を取得し、画像データ分割処理部13、画像識別処理部14、識別結果変換処理部15、画像処理部16、および、出力処理部17の各部に、ユーザの操作入力に対応する情報を供給する。
【0081】
画像データ分割処理部13は、画像データ取得部21から供給された
図3乃至
図9に図示する紫色光で受光した画像および青色光で受光した画像、赤外線光で受光された画像を重ね合わせた画像についての画像データを区分分割し、所定の大きさの正方形のセルとして、画像識別処理部14、または、画像処理部16に供給する。
画像データ分割処理部13により分割されるセルの大きさは、ユーザにより指定可能である。画像データ分割処理部13は、区分分割手段に対応する。また、セルは、区分分割手段により分割された区分に対応する。なお、セルは、画像データ分割処理部13により分割された区分に対応する所定の大きさの画像領域であり、縦横同画素数数からなる画素の正方形の領域で構成しても、縦横のサイズの異なる長方形の領域で構成されるようにしてもよい。
【0082】
画像識別処理部14は、ディープラーニング(Deep learning)の手法を用いた抽出対象物の学習結果を有しており、供給された画像データから抽出対象物の特徴量を発見する。例えば、肉のブロックを切り分けたとき生ずる、硬骨A、B、C、Dと軟骨Eが併存する多くの画像から、ディープラーニングの手法を用いた肉のブロックを切り分けたとき生ずる、併存する硬骨A、B、C、Dと軟骨Eを見分ける特徴量の学習を行った画像識別処理部14は、供給された画像データから抽出対象物である骨を識別することが可能である。
【0083】
ディープラーニングは、人間の脳の神経細胞のネットワーク(ニューラルネットワーク)を模倣したものであり、ニューラルネットワーク(多層ネットワーク)の層を深くすることによって、画像や音声などに含まれる特徴量を学習結果に基づいて発見することが可能な情報処理技術である。
従来の、画像や音声等の認識・識別技術では、ユーザが特徴量を設定し、その後、その特徴量を基に分類アルゴリズムにかけて、抽出対象物が分類されていたが、ディープラーニングを用いて、画像識別処理部14に機械学習を行わせることにより、ユーザによる特徴量の設定を必要とすることなく、抽出対象物を抽出することが可能である。画像識別処理部14は、画像データ分割処理部13、または、画像処理部16から供給された画像データを構成するそれぞれのセルが抽出対象物である確率を算出し、識別結果変換処理部15に供給する。画像識別処理部14は、画像識別手段に対応する。
【0084】
識別結果変換処理部15は、画像識別処理部14から供給された、画像データを構成するそれぞれのセルが抽出対象物である確率を後述する方法によって画素値に変換し、各セルをその変換された画素値に応じた画像データを生成し、画像処理部16に供給する。識別結果変換処理部15は、例えば、トーンカーブ(または、ルックアップテーブル)を参照し、それぞれのセルが対象物である確率(0%から100%)を、0から255の値を有する画素値に変換する。例えば、抽出対象物であるセルの確率が100%であった場合にはトーンカーブに基づいて画素値を255に変換する。識別結果変換処理部15は、識別結果変換手段に対応する。
【0085】
画像処理部16は、識別結果変換処理部15から供給された、各セルの画素値が抽出対象物である確率を示す画像データに対して、または、画像データ分割処理部13から供給された、区分分割されたセル画像データに対して、例えば、閾値などを用いたノイズ除去、肉のブロックを切り分けたとき生ずる、併存する硬骨A、B、C、Dと軟骨Eを見分ける処理者の知見、膨張処理、クロージング処理、骨格線抽出処理などを反映した画像処理を実行し、処理後の画像データを、画像識別処理部14、または、出力処理部17に供給する。画像処理部16は、画像処理手段に対応する。
【0086】
ここで、画像データ分割処理部13によりセルに分割された画像データは、画像識別処理部14および画像処理部16のうちのどちらで先に処理をされるものであっても構わない。また、画像データ分割処理部13によりセルに分割された画像データは、画像識別処理部14または画像処理部16において、複数回処理されるものであっても構わない。画像解析装置1においては、入力部2により入力されたユーザの操作入力に基づいて、入力される画像データおよび抽出対象物の特徴に適するように、画像識別処理部14および画像処理部16における処理の順序および回数を設定することが可能である。
【0087】
出力処理部17は、画像処理部16から供給された処理後の画像データを、出力部3に供給して出力させたり、記憶部18に供給して記憶させる。また、出力処理部17は、記憶部18に記憶されている処理後の画像データを読み出し、出力部3に供給して出力させる。
【0088】
記憶部18は、内蔵された記憶媒体、または、装着されたリムーバブル記憶媒体に、出力処理部17から供給された処理後の画像データを記憶する。
【0089】
画像解析装置1においては、画像識別処理部14において識別された、画像データを構成するそれぞれのセルが抽出対象物である確率を、識別結果変換処理部15において、画像データに変換し、その画像データを処理することにより、抽出対象物を検出することができる。したがって、異なる時期に撮影した画像の全体的な輝度等が異なる場合であっても、解析結果はその影響を受けることがなく、同部分の経時変化を比較する場合に用いて好適である。
【0090】
次に、
図12のフローチャートを参照して、画像解析装置1が実行する処理の一例として、肉のブロックを切り分けたとき生ずる、硬骨A、B、C、Dと軟骨Eが併存する肉のブロックの多くの画像から、ディープラーニングの手法を用いた肉のブロックを切り分けたとき生ずる、硬骨A、B、C、Dと軟骨Eが併存する肉のブロックの特徴量の学習を行った画像識別処理部14を備える画像解析装置1が実行する画像解析処理1について説明する。
【0091】
ステップS1において、画像データ取得部21は、例えば、
図11に示されるような、解析する対象となる画像データを取得し、画像データ分割処理部13に供給する。
【0092】
ステップS2において、画像データ分割処理部13は、解析する画像データを区分分割し、画像識別処理部14に供給する。区分分割された1セルの大きさは、解析する画像データの種類や抽出対象物によってユーザが設定可能であってもよい。1つのセルは、解析する画像データを、例えば、縦64画素×横64画素のように正方形で構成されるようにしてもよいし、縦横のサイズの異なる長方形で構成されるようにしてもよい。また、1つのセルは、例えば、実際の肉のブロックを切り分けたとき生ずる、硬骨A、B、C、Dと軟骨Eが併存する肉のブロックの1cm四方を1セルにしてもよいし、5cm四方を1セルにしてもよい。単位画素あたりの画像解像度を自由に設定することが可能である。
【0093】
ステップS3において、
図13を用いて後述する画像識別処理が実行される。
【0094】
ステップS4において、識別結果変換処理部15は、画像識別処理による識別結果、すなわち、画像識別処理部14により算出された、それぞれのセルが抽出対象物である確率を、例えば、トーンカーブに基づいて、画素値に変換し、画像処理部16に供給する。
【0095】
ステップS5において、
図14を用いて後述する従来型画像処理1が実行される。
【0096】
ステップS6において、出力処理部17は、画像処理部16から供給された処理後の画像解析結果を記憶部18に供給する。記憶部18は、供給された画像解析結果を記憶する。また、出力処理部17は、画像処理部16から供給された処理後の画像解析結果を出力部3に供給して出力させ、処理が終了される。
【0097】
このような処理により、画像データを構成するそれぞれのセルが抽出対象物である確率が、画像データに変換され、その画像データを用いて、抽出対象物が検出されるので、画像の全体的な輝度等が異なる場合であっても、解析結果はその影響を受けることがない。
また、このようにして得られた対象物の抽出結果には、例えば、肉のブロックを切り分けたとき生ずる、硬骨A、B、C、Dと軟骨Eが併存する肉のブロックの骨と紛らわしい部分が骨とともに抽出されてしまうことがなく、目視の確認に近い解析結果を得ることが可能となる。
【0098】
次に、
図13のフローチャートを参照して、
図12のステップS3において実行される画像識別処理について説明する。
【0099】
ステップS11において、画像識別処理部14は、操作入力情報取得部12から供給されるユーザの操作入力に基づいて、識別するべきターゲットの指定を受ける。ここでは、画像識別処理部14は、識別するべきターゲットとして、骨の指定を受ける。
【0100】
ステップS12において、画像識別処理部14は、学習結果に基づいて、ターゲットの識別処理を実行する。
【0101】
ステップS13において、画像識別処理部14は、ステップS12の処理による識別結果に基づいて、セルごとに、ターゲットに含まれる画素の画素値が抽出対象である確率を算出して、識別結果変換処理部15に供給し、処理は、
図12のステップS4に戻る。
【0102】
このような処理により、画像識別処理部14は、ディープラーニングの手法を用いて、例えば、肉のブロックを切り分けたとき生ずる、硬骨A、B、C、Dと軟骨Eが併存する
肉のブロックの多くの画像から得た特徴量の学習結果に基づいて、ユーザによる特徴量の設定を必要とすることなく、骨と紛らわしい部分等に対応する部分を排除して、抽出対象物を抽出することが可能である。
【0103】
次に、
図14のフローチャートを参照して、
図12のステップS5において実行される従来型画像処理1について説明する。
【0104】
ステップS21において、画像処理部16は、識別結果変換処理部15から供給された画素値を有するセル画像データ、すなわち、セル画像の画素値が抽出対象物である確率を示す画像データに対して、所定の閾値以下の画素値を有するセル画像の画素値を0とする。識別結果変換処理部15から供給された画像データが、肉のブロックを切り分けたとき生ずる、硬骨A、B、C、Dと軟骨Eが併存する肉のブロックの中で骨の存在する確率が高いセルが画素値の高いドットで示され、肉のブロックを切り分けたとき生ずる、硬骨A、B、C、Dと軟骨Eが併存する肉のブロックの中で骨の存在する確率が低いセルが画素値の低いドットで示されている画像データである。
【0105】
画素値の70%を閾値として、それ以下の画素値を有するセルについては、画素値を0とした場合、例えば、肉のブロックを切り分けたとき生ずる、硬骨A、B、C、Dと軟骨Eが併存する肉のブロックの中で存在する骨の特徴と近い特徴を有している骨と紛らわしい部分によるノイズ成分がある程度除去された画像データが得られる。
【0106】
ステップS22において、画像処理部16は、ステップS21の処理により画素値ありとなったドットの面積を広げる膨張処理を実行する。この処理により、
図3乃至
図9等の画像のうち、肉のブロックを切り分けたとき生ずる、硬骨A、B、C、Dと軟骨Eが併存する肉のブロックの中で存在する骨が途切れているように検出されている部分が、表される。
【0107】
ステップS23において、画像処理部16は、ステップS22の処理により得られた画像データから、連続している画素の長さを検出し、所定の閾値以下の長さとなる成分を除去する。この処理により、
図3乃至
図9等の画像データのうち、骨と紛らわしい部分や、ステップS21の処理によって削除できなかったノイズ成分が除去された画像データを得ることができる。
【0108】
ステップS24において、画像処理部16は、ステップS23の処理により得られた画像データのエッジ部分を滑らかにするクロージング処理を実行する。この処理により、
図3乃至
図9等に示された画像データから、画像データを得ることができる。
【0109】
ステップS25において、画像処理部16は、ステップS24の処理により得られた画像データに対して、骨格線抽出処理を実行することにより、ステップS22の膨張処理により膨張された、肉のブロックを切り分けたとき生ずる、硬骨A、B、C、Dと軟骨Eが併存する肉のブロックの中で存在する骨に近い形状に戻して、画像データを得ることができる。
【0110】
ステップS26において、画像処理部16は、ステップS25の処理により得られた画像データの連続している画素の長さを検出し、所定の閾値以下の長さとなる成分を除去する。この処理により、画像データのうち、骨と紛らわしい部分や、ステップS21およびステップS23の処理によって削除できなかったノイズ成分が除去され、
図13に示されるような画像データを得ることができる。ステップS26の処理の終了後、処理は、
図12のステップS6に戻る。
【0111】
このような処理により、画像処理部16は、識別結果変換処理部15から供給され、各ドットの画素値が抽出対象物である確率を示す画像データに対して、従来行われていた画像処理をさらに行うことにより、ディープラーニングの手法を用いた抽出対象物の学習結果を有している識別器による画像識別結果よりも精度良く、検出するべき対象物を抽出することが可能となる。
【0112】
これに対して、抽出結果を出力可能な識別器と同等の能力を有する画像識別処理部14を用いて検出された、それぞれのセルが抽出対象物である確率を、識別結果変換処理部15により画像データに変換し、肉のブロックを切り分けたとき生ずる、硬骨A、B、C、Dと軟骨Eが併存する肉のブロックの中で存在する骨に関する知見を反映した画像処理機能を有する画像処理部16によって処理した場合、肉のブロックを切り分けたとき生ずる、硬骨A、B、C、Dと軟骨Eが併存する肉のブロックの中で存在する骨に近いノイズ成分が除去された抽出結果を得ることが可能となる。このようにして、画像解析装置1を用いて、目視の確認に近い解析結果を得ることが可能となる。
【0113】
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【0114】
図16、
図17に図示する、第2実施例について説明する。第2実施例では、海藻類であるもずく16-1に黄色の釣糸16-2が入っている。釣糸16-2の蛍光発光はつよい。
(1)第2実施例の
図16に図示する状態では、可視光(波長 400 nm-700 nm)と紫外線(波長 10 - 400 nm)を併用して照射する。
釣糸16-2は蛍光発光して見える。16-3は、隙間から見える下地となるコンベアの白地である。
(2)第2実施例の
図17に図示する状態では、紫外線(波長 10 - 400 nm)を照射する。
釣糸16-2は見える。コンベアの白地16-3は、見えない。
可視光のみの照射では、釣糸16-2は光りにくい。
【0115】
第2実施例では、
図16乃至
図17に図示する可視光と紫外線で受光した画像、および紫外線で受光された複数の画像を重ね合わせた画像を得る。これら画像を重ね合わせ、AIを用いて形状によって識別させる。
複数の画像から、ディープラーニングの手法を用いた、海藻類であるもずく16-1に黄色の釣糸16-2が入り、隙間16-3が映った状態の特徴量の学習を行った画像識別処理部14による画像解析装置1が実行する画像解析処理を、第1実施例と同様に処理する。第1実施例における「肉の骨判別」の代わりに、海藻類であるもずく16-1と黄色の釣糸16-2の判別を[0065]乃至[0113]にしたがっておこなう。第1実施例を構成する紫外光撮影部を構成する紫外線光照射部111、紫色光撮影部構成する紫色光照射部112、青色光撮影部を構成する青色光照射部113の代わりに、可視光撮影部、紫外光撮影部を設ける。
【0116】
図18、
図19に図示する、第3実施例について説明する。第3実施例では、海藻類であるもずく18-1に緑色の釣糸18-2が入っている。釣糸18-2の蛍光発光は微弱である。
(1)第3実施例の
図18に図示する状態では、可視光(波長 400 nm-700 nm)と紫外線(波長 10 - 400 nm)を併用して照射する。
釣糸18-2は見える。18-3は、漁網の破片である。
(2)第3実施例の
図19に図示する状態では、紫外線(波長 10 - 400 nm)を照射する。
釣糸18-2は見えない。
可視光のみの照射では、釣糸18-2は光りにくい。
【0117】
第3実施例では、
図18、
図19に図示する可視光と紫外線で受光した画像、および紫外線で受光された複数の画像を重ね合わせた画像を得る。これら画像を重ね合わせ、AIを用いて形状によって識別させる。
複数の画像から、ディープラーニングの手法を用いた、海藻類であるもずく18-1に緑色の釣糸18-2が入った状態の特徴量の学習を行った画像識別処理部14による画像解析装置1が実行する画像解析処理を、第1実施例と同様に処理する。第1実施例における「肉の骨判別」の代わりに、海藻類であるもずく18-1と緑色の釣糸18-2の判別を[0065]乃至[0113]にしたがっておこなう。第1実施例を構成する紫外光撮影部を構成する紫外線光照射部111、紫色光撮影部構成する紫色光照射部112、青色光撮影部を構成する青色光照射部113の代わりに、可視光撮影部、紫外光撮影部を設ける。
【0118】
図20、
図21に図示する、第4実施例について説明する。第4実施例では、海藻類であるもずく20-1に茶色の釣糸20-2が入っている。茶色の釣糸20-2は、蛍光発光がある。
(1)第4実施例の
図20に図示する状態では、可視光(波長 400 nm-700 nm)と紫外線(波長 10 - 400 nm)を併用して照射する。
釣糸20-2は見える。
(2)第4実施例の
図21に図示する状態では、紫外線(波長 10 - 400 nm)を照射する。
釣糸20-2はかすかに見える。
可視光のみの照射では、釣糸20-2は光りにくい。
【0119】
第4実施例では、
図20、
図21に図示する可視光と紫外線で受光した画像、および紫外線で受光された複数の画像を重ね合わせた画像を得る。これら画像を重ね合わせ、AIを用いて形状によって識別させる。
複数の画像から、ディープラーニングの手法を用いた、海藻類であるもずく20-1に茶色の釣糸20-2が入った状態の特徴量の学習を行った画像識別処理部14による画像解析装置1が実行する画像解析処理を、第1実施例と同様に処理する。第1実施例における「肉の骨判別」の代わりに、もずく20-1と茶色の釣糸20-2の判別を[0065]乃至[0113]にしたがっておこなう。第1実施例を構成する紫外光撮影部を構成する紫外線光照射部111、紫色光撮影部構成する紫色光照射部112、青色光撮影部を構成する青色光照射部113の代わりに、可視光撮影部、紫外光撮影部を設ける。
【0120】
図22、
図23に図示する、第5実施例について説明する。第5実施例では、海藻類であるもずく22-1にエビ22-2が入っている。海藻類であるもずくは、蛍光発光がある。
(1)第5実施例の
図22に図示する状態では、可視光(波長 400 nm-700 nm)と紫外線(波長 10 - 400 nm)を併用して照射する。
エビ22-2は見える。22-3は、隙間から見える下地となるコンベアの白地である。
(2)第5実施例の
図23に図示する状態では、紫外線(波長 10 - 400 nm)を照射する。
エビ22-2、隙間22-3は、見えない。
可視光のみの照射では、エビ22-2は光りにくい。
【0121】
第5実施例では、
図22、
図23に図示する可視光と紫外線で受光した画像、および紫外線で受光された複数の画像を重ね合わせた画像を得る。これら画像を重ね合わせ、AIを用いて形状によって識別させる。
複数の画像から、ディープラーニングの手法を用いた、海藻類であるもずく22-1にエビ22-2が入り、隙間22-3が映った状態の特徴量の学習を行った画像識別処理部14による画像解析装置1が実行する画像解析処理を、第1実施例と同様に処理する。第1実施例における「肉の骨判別」の代わりに、海藻類であるもずく22-1とエビ22-2の判別を[0065]乃至[0113]にしたがっておこなう。第1実施例を構成する紫外光撮影部を構成する紫外線光照射部111、紫色光撮影部構成する紫色光照射部112、青色光撮影部を構成する青色光照射部113の代わりに、可視光撮影部、紫外光撮影部を設ける。
【0122】
図24、
図25に図示する、第6実施例について説明する。第6実施例では、海藻類であるもずく24-1に魚24-2が入っている。魚24-2は、蛍光発光がある。
(1)第6実施例の
図24に図示する状態では、可視光(波長 400 nm-700 nm)と紫外線(波長 10 - 400 nm)を併用して照射する。
魚24-2は見える。24-3は、隙間から見える下地となるコンベアの白地である。
(2)第6実施例の
図25に図示する状態では、紫外線(波長 10 - 400 nm)を照射する。
魚24-2は薄く見える。隙間24-3は、見えない。
可視光のみの照射では、魚24-2は光りにくい。
【0123】
第6実施例では、
図24、
図25に図示する可視光と紫外線で受光した画像、および紫外線で受光された複数の画像を重ね合わせた画像を得る。これら画像を重ね合わせ、AIを用いて形状によって識別させる。
複数の画像から、ディープラーニングの手法を用いた、海藻類であるもずく24-1に魚24-2が入り、隙間24-3が映った状態の特徴量の学習を行った画像識別処理部14による画像解析装置1が実行する画像解析処理を、第1実施例と同様に処理する。第1実施例における「肉の骨判別」の代わりに、海藻類であるもずく24-1と魚24-2の判別を[0065]乃至[0113]にしたがっておこなう。第1実施例を構成する紫外光撮影部を構成する紫外線光照射部111、紫色光撮影部構成する紫色光照射部112、青色光撮影部を構成する青色光照射部113の代わりに、可視光撮影部、紫外光撮影部を設ける。
【0124】
図26、
図27に図示する、第7実施例について説明する。第7実施例では、もずく26-1に貝26-2が入っている。貝26-2は、蛍光発光がある。
(1)第7実施例の
図26に図示する状態では、可視光(波長 400 nm-700 nm)と紫外線(波長 10 - 400 nm)を併用して照射する。
貝26-2は見える。26-3、26-4は、隙間から見える下地となるコンベアの白地である。
(2)第7実施例の
図27に図示する状態では、紫外線(波長 10 - 400nm)を照射する。
貝26-2は薄く見える。隙間26-3、26-4は、見えない。
可視光のみの照射では、貝26-2は光りにくい。
【0125】
第7実施例では、
図26、
図27に図示する可視光と紫外線で受光した画像、および紫外線で受光された複数の画像を重ね合わせた画像を得る。これら画像を重ね合わせ、AIを用いて形状によって識別させる。
複数の画像から、ディープラーニングの手法を用いた、海藻類であるもずく26-1に貝26-2が入り、隙間26-3、26-4が映った状態の特徴量の学習を行った画像識別処理部14による画像解析装置1が実行する画像解析処理を、第1実施例と同様に処理する。第1実施例における「肉の骨判別」の代わりに、もずく26-1と貝26-2の判別を[0065]乃至[0113]にしたがっておこなう。第1実施例を構成する紫外光撮影部を構成する紫外線光照射部111、紫色光撮影部構成する紫色光照射部112、青色光撮影部を構成する青色光照射部113の代わりに、可視光撮影部、紫外光撮影部を設ける。
【0126】
図28、
図29に図示する、第8実施例について説明する。第8実施例では、もずく28-1に異種海藻28-2が入っている。異種海藻28-2は、蛍光発光がある。
(1)第8実施例の
図28に図示する状態では、可視光(波長 400 nm-700 nm)と紫外線(波長 10 - 400 nm)を併用して照射する。
異種海藻28-2は見える。
(2)第8実施例の
図29に図示する状態では、紫外線(波長 10 - 400 nm)を照射する。
異種海藻28-2は薄く見える。
可視光のみの照射では、異種海藻28-2は光りにくい。
【0127】
第8実施例では、
図28、
図29に図示する可視光と紫外線で受光した画像、および紫外線で受光された複数の画像を重ね合わせた画像を得る。これら画像を重ね合わせ、AIを用いて形状によって識別させる。
複数の画像から、ディープラーニングの手法を用いた、海藻類であるもずく28-1に異種海藻28-2が入った状態の特徴量の学習を行った画像識別処理部14による画像解析装置1が実行する画像解析処理を、第1実施例と同様に処理する。第1実施例における「肉の骨判別」の代わりに、海藻類であるもずく28-1と異種海藻28-2の判別を[0065]乃至[0113]にしたがっておこなう。第1実施例を構成する紫外光撮影部を構成する紫外線光照射部111、紫色光撮影部構成する紫色光照射部112、青色光撮影部を構成する青色光照射部113の代わりに、可視光撮影部、紫外光撮影部を設ける。
【0128】
図30、
図31に図示する、第9実施例について説明する。第9実施例では、根野菜であるもやし30-1に根腐れ部位30-2が入っている。根腐れ部位30-2は、蛍光発光はない。
(1)第9実施例の
図30に図示する状態では、可視光(波長 400 nm-700 nm)を照射する。
根腐れ部位30-2は見える。
(2)第9実施例の
図31に図示する状態では、可視光(赤のみ)(波長 620-750 nm)を照射する。蛍光発光するものが無いため赤色可視光を照射した。
根腐れ部位30-2は薄く見える。
【0129】
第9実施例では、
図30、
図31に図示する可視光で受光した画像、およびと可視光(赤のみ)で受光された複数の画像を重ね合わせた画像を得る。これら画像を重ね合わせ、AIを用いて形状によって識別させる。
複数の画像から、ディープラーニングの手法を用いた、根野菜であるもやし30-1に根腐れ部位30-2が入った状態の特徴量の学習を行った画像識別処理部14による画像解析装置1が実行する画像解析処理を、第1実施例と同様に処理する。第1実施例における「肉の骨判別」の代わりに、根野菜であるもやし30-1と根腐れ部位30-2の判別を[0065]乃至[0113]にしたがっておこなう。第1実施例を構成する紫外光撮影部を構成する紫外線光照射部111、紫色光撮影部構成する紫色光照射部112、青色光撮影部を構成する青色光照射部113の代わりに、可視光撮影部、可視光(赤のみ)撮影部を設ける。
【0130】
図32、
図33に図示する、第10実施例について説明する。第10実施例では、根野菜である根野菜であるもやし32-1に黒変した傷み部位32-2が入っている。傷み部位32-2に蛍光発光はない。
(1)第10実施例の
図32に図示する状態では、可視光(波長 400 nm-700 nm)を照射する。
傷み部位32-2は見える。32-3は茎である。
(2)第10実施例の
図33に図示する状態では、可視光(赤のみ)(波長 620-750 nm)を照射する。蛍光発光するものが無いため赤色可視光を照射した。
黒変した傷み部位32-2は薄く見える。
【0131】
第10実施例では、
図32、
図33に図示する可視光で受光した画像、およびと可視光(赤のみ)で受光された複数の画像を重ね合わせた画像を得る。これら画像を重ね合わせ、AIを用いて形状によって識別させる。
複数の画像から、ディープラーニングの手法を用いた、根野菜であるもやし32-1に黒変した傷み部位32-2が入り、茎32-3が映った状態の特徴量の学習を行った画像識別処理部14による画像解析装置1が実行する画像解析処理を、第1実施例と同様に処理する。第1実施例における「肉の骨判別」の代わりに、根野菜であるもやし32-1と黒変した傷み部位32-2の判別を[0065]乃至[0113]にしたがっておこなう。第1実施例を構成する紫外光撮影部を構成する紫外線光照射部111、紫色光撮影部構成する紫色光照射部112、青色光撮影部を構成する青色光照射部113の代わりに、可視光撮影部、可視光(赤のみ)撮影部を設ける。
【0132】
図34、
図35に図示する、第11実施例について説明する。第11実施例では、根野菜であるもやし34-1に黒変した傷み部位34-2が入っている。黒変した傷み部位34-2は、蛍光発光はない。
(1)第11実施例の
図34に図示する状態では、可視光(波長 400 nm-700 nm)を照射する。
傷み部位34-2は見える。34-3は茎である。
(2)第11実施例の
図35に図示する状態では、可視光(赤のみ)(波長 620-750 nm)を照射する。蛍光発光するものが無いため赤色可視光を照射した。
黒変した傷み部位34-2は薄く見える。茎34-3はぼんやり映る。
【0133】
第11実施例では、
図34、
図35に図示する可視光で受光した画像、およびと可視光(赤のみ)で受光された複数の画像を重ね合わせた画像を得る。これら画像を重ね合わせ、AIを用いて形状によって識別させる。
複数の画像から、ディープラーニングの手法を用いた、根野菜であるもやし34-1に黒変した傷み部位34-2が入り、茎34-3が映った状態の特徴量の学習を行った画像識別処理部14による画像解析装置1が実行する画像解析処理を、第1実施例と同様に処理する。第1実施例における「肉の骨判別」の代わりに、根野菜であるもやし34-1と黒変した傷み部位34-2の判別を[0065]乃至[0113]にしたがっておこなう。第1実施例を構成する紫外光撮影部を構成する紫外線光照射部111、紫色光撮影部構成する紫色光照射部112、青色光撮影部を構成する青色光照射部113の代わりに、可視光撮影部、可視光(赤のみ)撮影部を設ける。
【0134】
図36、
図37、
図38、
図39、
図40、
図41に図示する、第12実施例について説明する。第12実施例では、乾燥海藻類である乾燥海苔36-1にカーボン漁網36-2、36-3が入っている。漁網36-2、36-3は、蛍光発光はない。
(1)第12実施例の
図36乃至
図41に図示する状態では、近赤外線(波長 0.7 - 2.5 μm)を照射する。
カーボン漁網36-2は見える。
(2)
図36、
図37、
図39、
図40、
図41に図示する第12実施例では、横から近赤外線光を当てた。横から近赤外線を照射したため、側面は白色に映り見やすくなる。
【0135】
第12実施例では、
図36乃至
図41に図示する近赤外線光または、近赤外線光以外の可視光で受光した画像で受光された複数の画像を重ね合わせた画像を得る。これら画像を重ね合わせ、AIを用いて形状によって識別させる。
複数の画像から、ディープラーニングの手法を用いた、乾燥海藻類である乾燥海苔36-1にカーボン漁網36-2、36-3が入っている状態の特徴量の学習を行った画像識別処理部14による画像解析装置1が実行する画像解析処理を、第1実施例と同様に処理する。第1実施例における「肉の骨判別」の代わりに、乾燥海藻類である乾燥海苔36-1とカーボン漁網36-2、36-3の判別を[0065]乃至[0113]にしたがっておこなう。第1実施例を構成する紫外光撮影部を構成する紫外線光照射部111、紫色光撮影部構成する紫色光照射部112、青色光撮影部を構成する青色光照射部113の代わりに、近赤外線光撮影部、近赤外線光以外の可視光撮影部を設ける。
【0136】
図42、
図43、
図44、
図45に図示する、第13実施例について説明する。第13実施例では、乾燥海藻類である乾燥わかめ42-1にカーボン漁網42-2が入っている。カーボン漁網42-2は、蛍光発光はない。
(1)第13実施例の
図36乃至
図41に図示する状態では、近赤外線光(波長 0.7 - 2.5 μm)を照射する。
カーボン漁網42-2は見える。側面42-3から近赤外線光を照射したため、側面42-3は白色に映り見やすくなる。
(2)
図43、
図44、
図45に図示する実施例では、横から近赤外線光を当てた。
【0137】
第13実施例では、
図42乃至
図45に図示する近赤外線または可視光で受光した画像で受光された複数の画像を重ね合わせた画像を得る。これら画像を重ね合わせ、AIを用いて形状によって識別させる。
複数の画像から、ディープラーニングの手法を用いた、乾燥海藻類である乾燥わかめ42-1にカーボン漁網42-2が入っている状態の特徴量の学習を行った画像識別処理部14による画像解析装置1が実行する画像解析処理を、第1実施例と同様に処理する。第1実施例における「肉の骨判別」の代わりに、乾燥海藻類である乾燥わかめ42-1とカーボン漁網42-2の判別を[0065]乃至[0113]にしたがっておこなう。第1実施例を構成する紫外光撮影部を構成する紫外線光照射部111、紫色光撮影部構成する紫色光照射部112、青色光撮影部を構成する青色光照射部113の代わりに、近赤外線光撮影部、近赤外線光以外の可視光撮影部を設ける。
【0138】
図46、
図47、
図48、
図49に図示する、第14実施例について説明する。第14実施例では、蕎麦麺46-1に極小羽虫46-2、46-3、46-4、46-5が入っている。蛍光発光はない。
(1)第14実施例の
図46乃至
図49に図示する状態では、近赤外線光(波長 0.7 - 2.5 μm)を照射する。
極小羽虫46-2は見える。
図46乃至
図49に図示する第14実施例では、横から近赤外線光を当てた。側面から近赤外線光を照射したため、側面は白色に映り見やすくなる。
(2)白色光を照射した(図示せず)。
【0139】
第14実施例では、
図46乃至
図49に図示する近赤外線光または、可視光および白色光で受光した画像で受光された複数の画像を重ね合わせた画像を得る。これら画像を重ね合わせ、AIを用いて形状によって識別させる。
複数の画像から、ディープラーニングの手法を用いた、蕎麦麺46-1に極小羽虫46-2が入っている状態の特徴量の学習を行った画像識別処理部14による画像解析装置1が実行する画像解析処理を、第1実施例と同様に処理する。第1実施例における「肉の骨判別」の代わりに、蕎麦麺46-1と極小羽虫46-2、46-3、46-4、46-5の判別を[0065]乃至[0113]にしたがっておこなう。第1実施例を構成する紫外光撮影部を構成する紫外線光照射部111、紫色光撮影部構成する紫色光照射部112、青色光撮影部を構成する青色光照射部113の代わりに、近赤外線光撮影部、近赤外線光以外の可視光撮影部を設ける。
【0140】
図50、
図51に図示する、第15実施例について説明する。第15実施例では、透明ビニル入り豚肉こまぎれ50-1に透明ビニル50-2が入っている。透明ビニル50-2は、蛍光発光はない。乱反射はある。50-4は透明ビニル袋である。
(1)第15実施例の
図50に図示する状態では、可視光(波長 400 nm-700 nm)を照射する。透明ビニル袋50-4の乱反射50-3あり。
(2)第15実施例の
図51に図示する状態では、可視光(赤のみ)(波長 620-750 nm)を照射する。蛍光発光するものが無いため赤色可視光を照射した。
【0141】
第15実施例では、
図50、
図51に図示する可視光で受光した画像、および可視光(赤のみ)で受光された複数の画像を重ね合わせた画像を得る。これら画像を重ね合わせ、AIを用いて形状によって識別させる。
複数の画像から、ディープラーニングの手法を用いた、透明ビニル入り豚肉こまぎれ50-1に透明ビニル50-2が入った状態の特徴量の学習を行った画像識別処理部14による画像解析装置1が実行する画像解析処理を、第1実施例と同様に処理する。第1実施例における「肉の骨判別」の代わりに、透明ビニル入り豚肉こまぎれ50-1と透明ビニル50-2の判別を[0065]乃至[0113]にしたがっておこなう。第1実施例を構成する紫外光撮影部を構成する紫外線光照射部111、紫色光撮影部構成する紫色光照射部112、青色光撮影部を構成する青色光照射部113の代わりに、可視光撮影部、可視光(赤のみ)撮影部を設ける。
【0142】
図52、
図53に図示する、第16実施例について説明する。第16実施例では、透明ビニル入り豚肉こまぎれ52-1に透明ビニル52-2が入っている。透明ビニル52-2の蛍光発光はない。乱反射はある。52-4は透明ビニル袋である。
(1)第16実施例の
図52に図示する状態では、可視光(波長 400 nm-700 nm)を照射する。透明ビニル袋52-4の乱反射52-3あり。
(2)第16実施例の
図53に図示する状態では、可視光(赤のみ)(波長 620-750 nm)を照射する。蛍光発光するものが無いため赤色可視光を照射した。
【0143】
第16実施例では、
図52、
図53に図示する可視光で受光した画像、およびと可視光(赤のみ)で受光された複数の画像を重ね合わせた画像を得る。これら画像を重ね合わせ、AIを用いて形状によって識別させる。
複数の画像から、ディープラーニングの手法を用いた、透明ビニル入り豚肉こまぎれ52-1に透明ビニルが入った状態の特徴量の学習を行った画像識別処理部14による画像解析装置1が実行する画像解析処理を、第1実施例と同様に処理する。第1実施例における「肉の骨判別」の代わりに、透明ビニル入り豚肉こまぎれ52-1と透明ビニル52-2の判別を[0065]乃至[0113]にしたがっておこなう。第1実施例を構成する紫外光撮影部を構成する紫外線光照射部111、紫色光撮影部構成する紫色光照射部112、青色光撮影部を構成する青色光照射部113の代わりに、可視光撮影部、可視光(赤のみ)撮影部を設ける。
【0144】
図54、
図55に図示する、第17実施例について説明する。第17実施例では、透明ビニル入り豚肉こまぎれ54-1に透明ビニル54-2が入っている。透明ビニル54-2は、蛍光発光はない。乱反射はある。54-4は透明ビニル袋である。
(1)第17実施例の
図52に図示する状態では、可視光(波長 400 nm-700 nm)を照射する。透明ビニル袋54-4の乱反射54-3あり。
(2)第17実施例の
図55に図示する状態では、可視光(赤のみ)(波長 620-750 nm)を照射する。蛍光発光するものが無いため赤色可視光を照射した。
【0145】
第17実施例では、
図54、
図55に図示する可視光で受光した画像、および可視光(赤のみ)で受光された複数の画像を重ね合わせた画像を得る。これら画像を重ね合わせ、AIを用いて形状によって識別させる。
複数の画像から、ディープラーニングの手法を用いた、透明ビニル入り豚肉こまぎれ54-1に透明ビニルが入った状態の特徴量の学習を行った画像識別処理部14による画像解析装置1が実行する画像解析処理を、第1実施例と同様に処理する。第1実施例における「肉の骨判別」の代わりに、透明ビニル入り豚肉こまぎれ54-1と透明ビニル54-2の判別を[0065]乃至[0113]にしたがっておこなう。第1実施例を構成する紫外光撮影部を構成する紫外線光照射部111、紫色光撮影部構成する紫色光照射部112、青色光撮影部を構成する青色光照射部113の代わりに、可視光撮影部、可視光(赤のみ)撮影部を設ける。
【0146】
図56乃至
図59に図示する、第18実施例について説明する。第18実施例では、揚げ物の衣の剥がれまたは凍結部位56-2が混在した揚げ物であるコロッケ56-1である。
第18実施例の
図56に図示する状態では、揚げ物の衣の剥がれまたは凍結部位56-2を、有する揚げ物であるコロッケ56-1に可視光(青色光のみ)(波長450 - 495 nm)を照射した。
第18実施例の
図57に図示する状態では、揚げ物の衣の剥がれまたは凍結部位56-2を、有する揚げ物であるコロッケ56-1に可視光(赤色光のみ)(波長 620-750 nm)を照射した。
第18実施例の
図58に図示する状態では、揚げ物の衣の剥がれまたは凍結部位56-2を、有する揚げ物であるコロッケ56-1に可視光(白色光)を照射した。
第18実施例の
図59に図示する状態では、揚げ物の衣の剥がれまたは凍結部位56-2を、有する揚げ物であるコロッケ56-1に可視光(緑色光のみ)(波長 495-570 nm)を照射した。
コロッケ56-1(ポテトコロッケ)の場合は白色光プラス赤色光で衣の剥がれまたは凍結部位56-2がきれいに確認できる。
【0147】
第18実施例では、
図56乃至
図59に図示する可視光で受光した複数の画像を重ね合わせた画像を得る。これら画像を重ね合わせ、AIを用いて形状によって識別させる。
複数の画像から、ディープラーニングの手法を用いた、揚げ物の衣の剥がれまたは凍結部位56-2が混在した揚げ物であるコロッケ56-1状態の特徴量の学習を行った画像識別処理部14による画像解析装置1が実行する画像解析処理を、第1実施例と同様に処理する。
第1実施例における「肉の骨判別」の代わりに、揚げ物であるコロッケ56-1と揚げ物の衣の剥がれまたは凍結部位56-2との判別を[0065]乃至[0113]にしたがっておこなう。第1実施例を構成する紫外光撮影部を構成する紫外線光照射部111、紫色光撮影部構成する紫色光照射部112、青色光撮影部を構成する青色光照射部113の代わりに、可視光(青色光のみ)撮影部、可視光(赤色光のみ)撮影部、可視光(白色光)撮影部、可視光(緑色光のみ)撮影部を設ける。
【0148】
図60乃至
図63に図示する、第19実施例について説明する。第19実施例では、揚げ物の衣の剥がれまたは凍結部位60-2が混在した揚げ物であるクリームコロッケ60-1である。
第19実施例の
図60に図示する状態では、揚げ物の衣の剥がれまたは凍結部位60-2を、有する揚げ物であるクリームコロッケ60-1に可視光(青色光のみ)(波長450 - 495 nm)を照射した。
第19実施例の
図61に図示する状態では、揚げ物の衣の剥がれまたは凍結部位60-2を、有する揚げ物であるクリームコロッケ60-1に可視光(赤色光のみ)(波長 620-750 nm)を照射した。
【0149】
第19実施例の
図62に図示する状態では、揚げ物の衣の剥がれまたは凍結部位60-2を、有する揚げ物であるクリームコロッケ60-1に可視光(白色光)を照射した。
第19実施例の
図63に図示する状態では、揚げ物の衣の剥がれまたは凍結部位60-2を、有する揚げ物であるクリームコロッケ60-1に可視光(緑色光のみ)(波長 495-570 nm)を照射した。
クリームコロッケ60-1の場合は白色光プラス赤色光で衣の剥がれまたは凍結部位60-2がきれいに確認できる。
【0150】
第19実施例では、
図60乃至
図63に図示する可視光で受光した複数の画像を重ね合わせた画像を得る。これら画像を重ね合わせ、AIを用いて形状によって識別させる。
複数の画像から、ディープラーニングの手法を用いた、揚げ物の衣の剥がれまたは凍結部位60-2が混在した揚げ物であるクリームコロッケ60-1状態の特徴量の学習を行った画像識別処理部14による画像解析装置1が実行する画像解析処理を、第1実施例と同様に処理する。第1実施例における「肉の骨判別」の代わりに、揚げ物であるクリームコロッケ60-1と揚げ物の衣の剥がれまたは凍結部位60-2との判別を[0065]乃至[0113]にしたがっておこなう。第1実施例を構成する紫外光撮影部を構成する紫外線光照射部111、紫色光撮影部構成する紫色光照射部112、青色光撮影部を構成する青色光照射部113の代わりに、可視光(青色光のみ)撮影部、可視光(赤色光のみ)撮影部、可視光(白色光)撮影部、可視光(緑色光のみ)撮影部を設ける。
【0151】
図64乃至
図67に図示する、第20実施例について説明する。第20実施例では、揚げ物の衣の剥がれまたは凍結部位64-2が混在した揚げ物であるフライドチキン64-1である。
第20実施例の
図64に図示する状態では、揚げ物の衣の剥がれまたは凍結部位64-2を、有する揚げ物であるフライドチキン64-1に可視光(青色光のみ)(波長450 - 495 nm)を照射した。
第20実施例の
図65に図示する状態では、揚げ物の衣の剥がれまたは凍結部位64-2を、有する揚げ物であるフライドチキン64-1に可視光(赤色光のみ)(波長 620-750 nm)を照射した。
【0152】
第20実施例の
図66に図示する状態では、揚げ物の衣の剥がれまたは凍結部位64-2を、有する揚げ物であるフライドチキン64-1に可視光(緑色光のみ)(波長 495-570 nm)を照射した。
第20実施例の
図67に図示する状態では、揚げ物の衣の剥がれまたは凍結部位64-2を、有する揚げ物であるフライドチキン64-1に可視光(青プラス白色)を照射した。
フライドチキン64-1の場合は白色光プラス赤色光で衣の剥がれまたは凍結部位64-2がきれいに確認できる。
【0153】
第20実施例では、
図64乃至
図67に図示する可視光で受光した複数の画像を重ね合わせた画像を得る。これら画像を重ね合わせ、AIを用いて形状によって識別させる。
複数の画像から、ディープラーニングの手法を用いた、揚げ物の衣の剥がれまたは凍結部位64-2が混在した揚げ物であるフライドチキン64-1状態の特徴量の学習を行った画像識別処理部14による画像解析装置1が実行する画像解析処理を、第1実施例と同様に処理する。第1実施例における「肉の骨判別」の代わりに、揚げ物であるクリームコロッケ60-1と揚げ物の衣の剥がれまたは凍結部位64-2との判別を[0065]乃至[0113]にしたがっておこなう。第1実施例を構成する紫外光撮影部を構成する紫外線光照射部111、紫色光撮影部構成する紫色光照射部112、青色光撮影部を構成する青色光照射部113の代わりに、可視光(青色光のみ)撮影部、可視光(赤色光のみ)撮影部、可視光(緑色光のみ)撮影部、可視光(青プラス白色)撮影部を設ける。
【0154】
コロッケの衣が剥がれている部分を検出するにあたり、クリームコロッケ、ポテトコロッケ同じ揚げ物であるにもかかわらず、剥がれている部分に反応する色は白色すなわち可視光とどれかもう一つ別の可視色を使用する。
クリームコロッケの場合は 白+緑で衣の剥がれ部位がきれいに確認できる。ポテトコロッケの場合は 白+赤で衣の剥がれ部位がきれいに確認できる。フライドチキンの場合は 白+青で衣の剥がれ部位がきれいに確認できる。
このように揚げ物の剥離した部位を探す際に特徴抽出が可能な光を照射し、その結果2画面をAIに学習させることにより、揚げ物の剥離した部位を検出する精度を上げることが出来る。
【符号の説明】
【0155】
1 画像解析装置
2 入力部
3 出力部
11 照射部
111 紫外線光照射部
112 紫色光照射部
113 青色光照射部
12 操作入力情報取得部
13 画像データ分割処理部
14 画像識別処理部
15 識別結果変換処理部
16 画像処理部
17 出力処理部
18 記憶部
21 画像データ取得部
A 硬骨
B 硬骨
C 硬骨
D 硬骨
E 軟骨
F 筋繊維の束
G 筋内膜
H 筋周膜
16-1 もずく
16-2 釣糸(黄色)
18-1 もずく
18-2 釣糸(緑色)
20-1 もずく
20-2 釣糸(茶色)
22-1 もずく
22-2 エビ
24-1 もずく
24-2 魚
26-1 もずく
26-2 貝
28-1 もずく
28-2 異種海藻
30-1 もやし
30-2 根腐れ部位
32-1 もやし
32-2 黒変した傷み部位もやし
34-1 もやし
34-2 黒変した傷み部位
36-1 乾燥海苔
36-2 カーボン漁網
36-3 カーボン漁網
42-1 乾燥わかめ
42-2 カーボン漁網
46-1 蕎麦麺
46-2 極小羽虫
46-3 極小羽虫
46-4 極小羽虫
46-5 極小羽虫
50-1 透明ビニル入り豚肉こまぎれ
50-2 透明ビニル
50-3 乱反射
50-4 透明ビニル袋
52-1 透明ビニル入り豚肉こまぎれ
52-2 透明ビニル
52-3 乱反射
52-4 透明ビニル袋
54-1 透明ビニル入り豚肉こまぎれ
54-2 透明ビニル
54-3 乱反射
54-4 透明ビニル袋
56-1 揚げ物であるコロッケ
56-2 揚げ物の衣の剥がれまたは凍結部位
60-1 クリームコロッケ
60-2 揚げ物の衣の剥がれまたは凍結部位
64-1 フライドチキン
64-2 揚げ物の衣の剥がれまたは凍結部位