(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-11-24
(45)【発行日】2023-12-04
(54)【発明の名称】食品検査補助システム、食品検査補助装置、およびコンピュータプログラム
(51)【国際特許分類】
G01N 21/89 20060101AFI20231127BHJP
G01N 21/64 20060101ALI20231127BHJP
【FI】
G01N21/89 K
G01N21/64 Z
(21)【出願番号】P 2022192930
(22)【出願日】2022-12-01
(62)【分割の表示】P 2019516024の分割
【原出願日】2019-01-31
【審査請求日】2022-12-01
(31)【優先権主張番号】P 2018015921
(32)【優先日】2018-01-31
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】505126610
【氏名又は名称】株式会社ニチレイフーズ
(74)【代理人】
【識別番号】100126099
【氏名又は名称】反町 洋
(74)【代理人】
【識別番号】100118876
【氏名又は名称】鈴木 順生
(72)【発明者】
【氏名】吾郷 友亮
(72)【発明者】
【氏名】塚本 真也
(72)【発明者】
【氏名】間宮 稔
【審査官】井上 徹
(56)【参考文献】
【文献】米国特許第7460227(US,B1)
【文献】特開2012-7952(JP,A)
【文献】国際公開第2008/102148(WO,A1)
【文献】国際公開第2014/079448(WO,A1)
【文献】国際公開第95/021375(WO,A1)
【文献】米国特許第4631413(US,A)
【文献】国際公開第2017/174768(WO,A1)
【文献】特開昭60-40939(JP,A)
【文献】特開2009-115613(JP,A)
【文献】特開2006-177890(JP,A)
【文献】特開2017-211325(JP,A)
【文献】特表2017-534057(JP,A)
【文献】米国特許出願公開第2005/0014460(US,A1)
【文献】米国特許出願公開第2008/0253648(US,A1)
【文献】米国特許出願公開第2003/0098409(US,A1)
【文献】米国特許第6587575(US,B1)
【文献】茶薗 明,“我が国の食鳥検査法の概要とその対応策”,日本家禽学会誌,1991年11月,第28巻,第6号,PP.340-352
【文献】“Automated Chicken Inspection”,Agricultural Research,1998年05月,Vol.46,No,5,PP. 4-5
(58)【調査した分野】(Int.Cl.,DB名)
G01N 21/84-G01N 21/958
G01N 21/62-G01N 21/74
G01N 33/00-G01N 33/46
A22C 5/00-A22C 29/04
G01B 11/00-G01B 11/30
B07C 1/00-B07C 99/00
JSTPlus/JMEDPlus/JST7580(JDreamIII)
IEEE Xplore
(57)【特許請求の範囲】
【請求項1】
搬送路により鶏肉を搬送する搬送装置と、
前記搬送路を搬送され、撮影領域内を通過する前記鶏肉に紫外線を照射し、発生した蛍光を、グリーンフィルタを通して検出することにより、前記鶏肉の撮影画像を取得するセンシング装置と、
撮影画像と異物の位置または領域とを対応づけたデータを学習データとして機械学習により構築されたモデルへ前記センシング装置により取得された前記撮影画像を入力して、前記モデルから前記鶏肉の一部に付いている羽根の検出処理を行う検出処理部と、
前記検出処理の出力情報に基づいて、前記鶏肉の検査補助情報を生成する補助情報生成部と、
前記検査補助情報を表示する情報出力装置と、
を備えた食品検査補助システム。
【請求項2】
前記検査補助情報は、検出された前記羽根のサイズ、および形状の少なくとも1つに関する情報をさらに含む
請求項1に記載の食品検査補助システム。
【請求項3】
前記補助情報生成部は、検出された前記羽根の位置を特定する情報を含む前記検出処理の出力情報に基づいて、前記検査補助情報を生成し、
前記情報出力装置は、前記撮影画像に含まれる前記羽根の位置に対応付けられた前記検査補助情報を含む画像を表示する、
請求項1または2に記載の食品検査補助システム。
【請求項4】
前記検出処理部は、前記グリーンフィルタを介して撮影された撮影画像の画素値を閾値と比較して、前記画素値が前記閾値以上であることを示す第1ビットと、前記画素値が前記閾値未満であることを示す第2ビットとのいずれかを有する複数の画素を含む二値化画像を生成し、前記二値化画像に基づき前記羽根を検出する
請求項1~3のいずれか一項に記載の食品検査補助システム。
【請求項5】
前記情報出力装置は、前記鶏肉の検査が行われる検査区間における前記搬送路の少なくとも一部を含む所定の投影方向に前記検査補助情報を投影することにより、前記検査区間を搬送される前記鶏肉または前記検査区間における前記搬送路に前記検査補助情報を表示するプロジェクタを含む
請求項1~4のいずれか一項に記載の食品検査補助システム。
【請求項6】
前記情報出力装置は、前記検査補助情報を表示するディスプレイを含む
請求項1~4のいずれか一項に記載の食品検査補助システム。
【請求項7】
前記紫外線は、スペクトルにおける波長のピークが365以上400nm以下の範囲内にある
請求項1~
6のいずれか一項に記載の食品検査補助システム。
【請求項8】
搬送装置によって搬送路上を搬送され、撮影領域内を通過する鶏肉に紫外線を照射し、発生した蛍光を、グリーンフィルタを通して検出するセンシング装置から、前記鶏肉の撮影画像を取得し、撮影画像と異物の位置または領域とを対応づけたデータを学習データとして機械学習により構築されたモデルへ、前記センシング装置から取得された前記撮影画像を入力して、前記モデルから前記鶏肉の一部に付いている羽根の検出処理を行う検出処理部
を備えた食品検査補助装置。
【請求項9】
前記検出処理の出力情報に基づいて、前記鶏肉の検査補助情報を生成する補助情報生成部をさらに備えた
請求項
8に記載の食品検査補助装置。
【請求項10】
前記検査補助情報を表示するよう制御する制御部をさらに備えた、
請求項
9に記載の食品検査補助装置。
【請求項11】
搬送装置によって搬送路上を搬送され、撮影領域内を通過する鶏肉に紫外線を照射し、発生した蛍光を、グリーンフィルタを通して検出するセンシング装置から、前記鶏肉の撮影画像を取得するステップと、
撮影画像と異物の位置または領域とを対応づけたデータを学習データとして機械学習により構築されたモデルへ、前記センシング装置から取得された前記撮影画像を入力して、前記モデルから前記鶏肉の一部に付いている羽根の検出処理を行うステップと
をコンピュータに実行させるためのコンピュー
タプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、食品検査補助システム、食品検査補助装置、およびコンピュータプログラムに関する。
【背景技術】
【0002】
食品の生産工程では、原材料の加工時前の選別作業において、原材料からの異物や欠陥の除去が行われている。例えば、鶏肉を使った加工食品の生産では、原材料の選別作業において骨、羽根などの異物や、血合いなどの欠陥を除去することが行われている。作業ミスを減らし、選別作業を高速化することが望まれるが、作業人員を増やすと、生産コストが高くなってしまう。
【0003】
食品の生産工程では、高精度の検査を補助するX線検査装置などの装置の導入が進められている。X線検査装置を用いた選別作業では、例えばX線画像で原材料中に硬骨が混入していることが確認されたら、X線画像と原材料を見比べながら、作業者が目視や触手により硬骨を探し、見つけた硬骨を除去する。しかしながら、硬骨の位置を探すのに時間を要する場合や、硬骨を見落とす場合があり、能率や精度に問題がある。また、硬骨以外に、羽根や血合いなども除去する必要があり、これらについても高精度かつ効率的に検出することが必要である。
【先行技術文献】
【特許文献】
【0004】
【文献】特開2017-142133号公報
【文献】特開2007-286041号公報
【文献】特開2005-233636号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
本発明の実施形態は、食品の正確かつ迅速な検査を実現する、食品検査補助システム、食品検査補助装置、およびコンピュータプログラムを提供する。
【課題を解決するための手段】
【0006】
本発明の実施形態に係る食品検査補助システムは、搬送路により鶏肉を搬送する搬送装置と、前記搬送路を搬送され、撮影領域内を通過する前記鶏肉に紫外線を照射し、発生した蛍光を、グリーンフィルタを通して検出することにより、前記鶏肉の撮影画像を取得するセンシング装置と、前記撮影画像に基づいて、前記鶏肉の一部に付いている羽根の検出処理を行う検出処理部と、前記検出処理の出力情報に基づいて、前記鶏肉の検査補助情報を生成する補助情報生成部と、前記検査補助情報を表示する情報出力装置と、を備える。
【図面の簡単な説明】
【0007】
【
図1】第1の実施形態に係る食品検査補助システムの一例を示す図。
【
図3】カラーフィルタを通さずに得られた画像、ブルーフィルタを通して得られた画像、グリーンフィルタを通して得られた画像の例を示す図。
【
図5】第1の実施形態に係るシステムの具体例を示す図。
【
図6】第1の実施形態に係る動作の一例のフローチャート。
【
図7】第2の実施形態に係る鶏肉を撮影した画像の例を示す図。
【
図9】第2の実施形態に係る画像処理の具体例を示す図。
【
図10】第2の実施形態の変形例に係るカメラにより撮影された画像の例を示す図。
【
図11】第2の実施形態及びその変形例に係る二値化画像の例をそれぞれ示す図。
【
図12】第3の実施形態に係る食品検査補助システムの一例を示す図。
【
図13】撮影装置による連続撮影およびプロジェクタによる連続投影を表す図。
【
図15】連続投影される複数の検査補助情報の例を示す図。
【
図16】第3の実施形態に係る動作の一例のフローチャート。
【
図17】第4の実施形態に係る食品検査補助システムの一例を示す図。
【
図19】第4の実施形態に係る動作の一例のフローチャート。
【発明を実施するための形態】
【0008】
以下では、図面を参照しながら、本発明の実施形態について説明する。図面において同一の構成要素は、同じ番号を付し、説明は、適宜省略する。
【0009】
(第1の実施形態)
図1は、第1の実施形態に係る食品検査補助システム(以下、システム)の構成例を示す図である。
図1のシステムは、食品検査補助装置(以下、検査補助装置)1と、センシング装置である撮影装置2と、情報出力装置であるディスプレイ3と、搬送装置4とを備えている。
【0010】
図1のシステムにおいて、搬送装置4により検査対象とする食品(検査対象食品)が一定の速度で、紙面に沿って右方向に搬送されている。食品の搬送元側を上流側、搬送方向側を下流側と呼ぶ。上流側では、作業者による手作業またはマシンにより搬送装置4に食品が、一定時間間隔または任意の時間間隔で置かれる。食品が撮影装置2の筐体内の撮影領域に入ったことがセンサ23により検出されると、カメラ32で食品を撮影する。図では食品22が撮影される状況が示されている。1つの食品に対して撮影は1回でもよいし、複数回連続して(例えば1秒間に10回など)撮影してもよい。連続撮影する場合、撮影の間も、食品は搬送経路を移動していることから、撮影領域内で少しずつ食品の位置が移動した撮影画像が得られる。
【0011】
撮影装置2の出力情報である撮影画像は検査補助装置1に送られ、検査補助装置1で撮影画像に基づき異物または欠陥の検出処理が行われる。具体的には、撮影画像に各種画像処理を行った後、画像処理された画像に基づき、異物または欠陥の検出処理を行う。なお、異物または欠陥を有する食品を不良品、異物および欠陥のない食品のことを良品と呼ぶ場合がある。
【0012】
検査対象とする食品の例としては、鶏肉、豚肉、牛肉、羊肉、魚介類、野菜、果物、穀物、飲料、調味料などがあるが、食品の種類については特に問わない。鶏肉、豚肉、牛肉、魚介類などの食肉の場合、未加熱である生の食肉を検査対象としてもよいし、加熱後の食肉を検査対象としてもよい。食品は未加工の原材料であってもよいし、生の切り身であってもよいし、何らかの加工が施されたものであってもよい。すなわち、食品の加工の程度についても特に限定しない。
【0013】
第1の実施形態では、鶏肉の生の切り身を検査対象とし、異物として羽根の検出を行う場合を例に説明する。異物として、羽根以外のもの(例えば硬骨、軟骨、木片、飼料など)を検出対象としてもよい。
【0014】
システムは、画像から異物(羽根)を検出した場合、羽根の位置を特定し、特定した位置を表す情報を含む検査補助情報を生成する。特定した位置を表す情報の一例として、特定した位置を指示するデータがある。本実施形態では、そのようなデータとして、検出された羽根を囲む枠データ(例えば矩形の枠データ)を生成する。システムは撮影画像に、生成した枠データを配置する。これにより、撮影画像に含まれる羽根が枠データにより囲まれた画像が生成される。これを検査補助情報とする。特定した位置を指示するデータは枠データに限定されず、特定した位置を示す矢印のデータでもよいし、その他の形態のデータでもよい。
【0015】
システムでは、撮影装置2の下流側に、食品の検査を行う検査区間が、搬送装置4の搬送経路に沿って設けられている。検査区間の近傍にはディスプレイ3が配置されている。ディスプレイ3は、作業者に情報を表示する情報出力装置の一例である。情報出力装置の他の例としては、情報を投影する投影装置がある。投影装置の例として、情報を光により投影するプロジェクタや、情報を光ビームにより投影するビーム投影器などがある。プロジェクタやビーム投影器を用いた実施形態は後述する。
【0016】
ディスプレイ3は、検査区間で作業者が検査を行う際に、作業者がディスプレイ3の画面3aを視認できる位置に設置されている。例えば、作業者が図の紙面の手前側に位置する場合、ディスプレイ3は搬送装置4を挟んで紙面の奥側に設置され、その画面が作業者に向けられる。
【0017】
作業者は検査区間に搬送された(現れた)食品を検査する。検査は一例として目視または触手またはこれらの両方で行う。検査補助装置1は、検査区間に食品が搬送されるタイミング、すなわち、検査区間に食品が現れるタイミングに合わせて、ディスプレイ3に検査補助情報を表示する。換言すれば、検査区間に食品が現れる前までは、検査補助情報を表示しない。作業者から見ると、検査区間に食品が現れるのに同期して、ディスプレイ3に検査補助情報が表示される。図には、ディスプレイ3に異物(羽根)を枠データ5で囲んだ画像が表示されている。
【0018】
作業者は、表示された検査補助情報を見ながら、搬送されている食品の検査を行う。具体的に、枠データ5から羽根の位置を把握し、当該枠データ5に対応する位置およびその付近から羽根を探し、見つけた羽根を除去する。作業者は除去した羽根を、例えば所定のケースに廃棄する。検査中も、食品が作業者の前を少しずつ移動しているため、作業者は、効率よく羽根を除去する必要がある。本実施形態では、ディスプレイ3に表示された検査補助情報を参照することで、作業者は羽根の位置を高速に特定でき、効率的に羽根を除去できる。
【0019】
システムは、検査補助情報を、食品が検査区間に存在する間表示し続けてもよいし、検査区間に入ってから一定時間表示してもよい。また、食品を複数回撮影(連続撮影)した場合は、複数の撮影画像に対して生成された複数の検査補助情報を、食品が検査区間に入ってから、検査区間を出るまでの間に、連続表示(例えば一定時間間隔で表示)してもよい。これにより、搬送される食品と同期した動画像として、検査補助情報を見ることができる。食品が移動するのに合わせて、ディスプレイ3に表示される検査補助情報に含まれる枠データ5も移動しているように見える。このため、作業者はより効率的に羽根を探すことができる。
【0020】
以下、
図1のシステムの各構成要素について詳細に説明する。
【0021】
搬送装置4は、上流側で作業者またはマシン等により投入された食品を下流側に搬送する装置である。搬送装置4として、例えばベルトコンベヤ、チェーンコンベヤ、ローラコンベヤ、メッシュコンベヤ、グラビティコンベヤなど各種のコンベヤ装置を用いることができる。コンベヤ装置は一例であり、その他の搬送手段を使って食品を搬送してもよい。なお、
図1の例では、食品が左から右に向かって搬送されているが、食品が搬送される方向については特に限定しない。
【0022】
搬送装置4の検査区間の入口には搬送路の片側または両側にセンサ24が配置されている。センサ24は、食品の通過を検出する。具体的に、センサ24は、食品が検査区間まで搬送されたことを検出する。センサ24は、食品の通過を検出すると検出信号を制御部13に出力する。センサ24の例としては、レーザセンサ、赤外線センサ、超音波センサ、各種の光電センサ、画像センサ、重量センサなどが挙げられるが、センサの種類については特に問わない。
【0023】
搬送装置4の検査区間の下流には回収装置4aが配置されている。回収装置4aは検査を経た食品を回収する。搬送装置4が、食品検査補助装置1に電気的に接続され、食品検査補助装置1から搬送装置4を制御してもよい。例えば、搬送速度、動作のオン・オフ等を制御してもよい。本実施形態では搬送装置4は一定の速度で搬送を行うとするが、作業者が、搬送装置4に対して設けられた操作部を操作して、オン・オフや速度を調整可能にしてもよい。なお、回収装置4aに食品を回収せずに、そのまま次の工程(例えば調理工程)に搬送してもよい。
【0024】
撮影装置2は、筐体内の撮影領域に搬送された食品を光源で照らし、撮影する。撮影装置2で撮影された画像のデータは、検査補助装置1に送られ、画像記憶部11に保存される。撮影装置2と検査補助装置1の間のインタフェースとして、Ethernet、無線LAN、PCI Express、USB、UART、SPI、SDIO、シリアルポート、Bluetooth(登録商標)などを用いることができる。これらのインタフェースは例であり、その他の方式によるものを用いることを妨げるものではない。
【0025】
図2は、撮影装置2の断面図である。撮影装置2は、1つまたは複数の照明部31と、カメラ32と、フィルタ33と、センサ23とを備えている。撮影装置2は、略直方体形状の筐体を有し、筐体の搬送装置4に面した下部には、食品が通過するための開口部34が形成されている。撮影装置2は、搬送装置4の一部区間を上方から覆っている。筐体の側面の一部またはすべてには壁が形成されている。また、筐体の上部には天井が形成されている。天井や壁により、撮影領域に外部の光源からの赤外線、可視光などが入り込むのを抑制できる。これにより、撮影装置2は所望の光源からの光を選択的に撮影対象の食品に投影できる。
【0026】
なお、撮影装置2は天井または壁またはこれらの両方を備えていなくてもよい。例えば、撮影装置2が暗室に設置されているのであれば、外部の光源からの影響が少ないため、遮光用の天井および壁を省略できる。天井および壁の材質の例としては、ステンレス鋼、アルミニウム、樹脂などがあるが、材質については特に問わない。図の例では、搬送路の真上から撮影しているが、斜め上から撮影してもよいし、複数の方向から撮影してもよい。
【0027】
撮影装置2の筐体内下部に、1つまたは複数の照明部31が設置されている。照明部31は、紫外線を放射する装置である。鶏の羽根に紫外線を照射すると、蛍光が発生するため、羽根の検出が可能となる。照明部31は、撮影装置2の下方の撮影領域に紫外線を照射する。図の例では2つの照明部31が配置されている。一例として、2つの照明部31は、紙面に垂直な方向に延びる直方体状の形状を有する。ただし、形状はこれに限られない。例えば照明部31の形状は、円柱状でもよい。また、照明部31が1つで、リング状に形成されていてもよい。
【0028】
照明部31における光源の例としては、紫外線LED、ブラックライト、各種の蛍光ランプなどがあるが、種類については特に問わない。鶏の羽根を検出する場合、光源として、スペクトルにおける波長のピークが365以上400nm以下の範囲内にある紫外線光源を用いることが好ましい。一例として、スペクトルに波長375nmのピークがある紫外線光源を使うことができる。ただし、光源のスペクトルについては特に問わない。紫外線成分だけでなく、可視光成分も含む光源を用いてもよい。
【0029】
使用する光源の種類は、検査対象とする食品の種類、検出対象とする異物または欠陥の種類などに応じて決定すればよい。例えば異物として骨(硬骨または軟骨)を検出する場合には、X線を用いることができる。一般に、物質に対して電磁波を照射すると、物質の種類によって異なる反応が得られる。例えば、物質によって吸収する電磁波、反射する電磁波、蛍光が発生する電磁波の波長(周波数)は異なる。そこで、検査対象とする食品、検出対象とする異物または欠陥に対して分光蛍光スペクトル分析を行い、強い反応を示す電磁波の波長を調べることができる。分光蛍光スペクトル分析は例えば、分光蛍光光度計を使うことによって行うことができる。
【0030】
カメラ32は、照明部31から放射された紫外線が照射された食品を撮影する。カメラ32の内部には、例えばCMOSイメージセンサやCCDイメージセンサが実装されており、撮影対象の食品に係る色情報を含むカラー画像を得ることができる。これらの撮像素子は例であり、異なるデバイスを使って撮像を行ってもよい。カメラ32のレンズは固定焦点レンズであってもよいし、ズームレンズであってもよく、レンズの種類について特に限定しない。カメラ32が撮影する画像に係る解像度の例としては、フルHD(1920×1080ピクセル)があるが、撮影される画像の解像度については特に限定しない。
【0031】
カメラ32の前面にはフィルタ33が設けられている。カメラ32は、照明部31から紫外線を放射された食品から発生する蛍光を、フィルタ33を介して検出する。フィルタ33は、カメラ32によって撮影される画像によって異物の識別を容易にするために備えられる。異物として鶏の羽根を検出する場合、フィルタ33としてグリーンフィルタを用いることで、羽根の検出が容易になる。つまり、羽根のある箇所が鮮明に現れ、鶏肉の他の部位との識別がしやくなる。グリーンフィルタは、緑色の波長域の波長(例えば波長520nm近傍の電磁波)を通過させ、他の波長域を遮断するフィルタである。本実施形態では異物として羽根の検出を行うため、フィルタ33としてグリーンフィルタを用いる場合を想定する。
【0032】
図3(A)は、カラーフィルタを通さずに撮影された鶏肉の画像の例を示している。
図3(A)の楕円で囲まれた範囲内に羽根の一部がある。
図3(A)を見ると羽根のある箇所に、色がやや薄い筋があるものの、不鮮明である。
図3(B)は、ブルーフィルタを通して得られた画像の例を示している。
図3(B)でも、白い楕円に囲まれた範囲内に羽根の一部がある。羽根の周囲の輝度は抑制されているが、羽根のある箇所の輝度も低下しており、羽根がぼやけている。
図3(C)は、グリーンフィルタを通して撮影された画像の例を示している。白い楕円に囲まれた範囲内に羽根がある。
図3(C)の画像では羽根のある箇所が鮮明に現れており、鶏肉の他の部位との識別がしやくなっている。これらのことからも、グリーンフィルタを通して画像の撮影を行うことで、羽根を識別が容易になることが分かる。
【0033】
センサ23は、搬送装置4によって、撮影装置2の筐体内に食品が搬送されたことを検出する。具体的には、撮影装置2内の撮影領域に食品が入ったことを検出する。センサ23は、紙面に垂直な方向に、搬送される食品とは異なる位置に配置されており、食品の通過を妨げないようになっている。センサ23の例としては、レーザセンサ、赤外線センサ、超音波センサ、各種の光電センサ、画像センサ、重量センサなどが挙げられるが、センサの種類については特に問わない。
【0034】
ディスプレイ3は、画像やテキスト等の情報を、画面3aに表示する情報出力装置である。ディスプレイ3は、検査補助装置1と有線または無線で接続されている。検査補助装置1およびディスプレイ3間のインタフェースは、無線LAN、PCI Express、USB、UART、SPI、SDIO、シリアルポート、Bluetooth、Ethernet、などを使うことができる。これらのインタフェースは例であり、その他の方式のものを使ってもよい。ディスプレイ3として、例えば、LCD(液晶ディスプレイ)、CRT(ブラウン管)、有機EL(有機エレクトロルミネッセンス)ディスプレイなどを使うことができるが、その他の種類の装置を使ってもよい。ディスプレイ3は、検査を行っている作業者が検査中に画面3aを視認できる位置および向きに配置されている。例えば、作業者から見て、搬送装置4を挟んで正面、斜め上、斜め左、斜め右または斜め下に、ディスプレイ3の画面3aが位置してもよい。
【0035】
検査補助装置1は、撮影装置2で撮影された画像の画像処理、異物または欠陥の検出処理、検出した異物または欠陥の位置を特定する情報を含む検査補助情報の生成処理、検査補助情報を作業者に表示する際の表示タイミング制御などを行う。検査補助装置1は、一例として、1以上のCPU(中央処理装置)、記憶部、通信部を備え、OS(オペレーティングシステム)とアプリケーションが動作する計算機などの情報処理装置である。検査補助装置1の一部または全部の機能を、FPGA、ASICなどの半導体回路やGPU(Graphics Processing Unit)によって実現してもよい。検査補助装置1は、物理的な計算機であってもよいし、仮想計算機(Virtual Machine:VM)、コンテナ(container)またはこれらの組み合わせにより実現されるものであってもよい。1つ以上の物理計算機、仮想計算機、コンテナに検査補助装置1の機能を分担させてもよい。可用性の向上や負荷分散のために検査補助装置1の台数を増やした構成を用いることも排除されない。
【0036】
検査補助装置1は、画像記憶部11、画像処理部12、制御部13、検出処理部14、および補助情報生成部15を備えている。
【0037】
制御部13は、撮影装置2のセンサ23から検出信号を受信すると、撮影装置2のカメラ32に撮影の指示信号を送信する。すなわち、制御部13は、食品がカメラ32の撮影アングル(撮影領域)内に入ったタイミングでカメラ32に撮影を指示する。これにより、搬送される食品の自動的な撮影が行われる。
【0038】
画像記憶部11は、撮影装置2のカメラ32により撮影された画像を保存する記憶領域を備える。画像記憶部11は、SRAM、DRAMなどの揮発性メモリでも、NAND、MRAM、FRAMなどの不揮発性メモリでもよい。また光ディスク、ハードディスク、SSDなどのストレージ装置でもよい。画像記憶部11は、検査補助装置1に内蔵されていてもよいし、検査補助装置1の外部の記憶装置であってもよい。また、画像記憶部11は、SDメモリカード、USBメモリなどの取り外し可能な記憶媒体であってもよい。
【0039】
画像処理部12は、撮影された食品の画像に対して画像処理を行う。羽根を検出する場合、グリーンフィルタを用いることで、撮影画像における羽根が他の箇所よりも鮮明になる。本画像処理では、羽根をさらに強調する処理を行う。画像処理の例として、HSV色空間へ変換、RGB空間への変換、またはグレースケールへの変換などがあるが、特定の方法に限定されない。画像処理部12は、画像処理された画像を画像記憶部11に保存する。なお、保存される画像には識別子が付与されてもよい。識別子は、一定値ずつ値が大きくなる番号でもよいし、時刻でもよいし、その他の基準で決めても良い。画像処理部12は、制御部13に画像処理された画像の識別子、または当該画像が格納されている領域のアドレス情報を通知してもよい。グリーンフィルタを用いて撮影した画像に画像処理を行わないことも可能である。その場合、画像処理部12を設けなくてもよい。
【0040】
制御部13は、画像記憶部11に保存された画像処理された画像について、異物または欠陥の検出処理を検出処理部14に要求する。制御部13が、画像処理された画像を画像記憶部11から読み出し、読み出した画像を検出処理部14に提供してもよいし、検出処理部14が画像記憶部11から画像処理された画像を直接読み出してもよい。この場合、制御部13が、検出処理部14に画像処理された画像の識別子、または当該画像が格納されている領域のアドレス情報を通知する。ここでは制御部13を介して画像処理された画像を検出処理部14に提供したが、画像処理部12が画像処理の実行後、検出処理部14に画像処理された画像を提供してもよい。
【0041】
検出処理部14は、画像処理された画像に基づき、異物または欠陥の検出処理を行う。ここでは羽根の検出処理を行う。なお、画像は複数のピクセルからなり、各ピクセルは一定範囲内の値を有する。例えば1つのピクセルが8ビットの情報で表現されている場合、ピクセルの値は0~255の256階調を有する。検出処理部14は、画像処理された画像に対して、エッジ検出により、羽根を特定する。具体的には、まず画像処理された画像を、閾値で二値化する。すなわち、閾値以上のピクセル値は1,閾値未満のピクセル値は0として、二値化画像を生成する。1と0の関係は逆でもよい。二値化により羽根の全部もしくは大部分が1、それ以外の部分の全部または大部分が0となる。1が固まっている領域を羽根領域として検出する。
【0042】
図4(A)に、画像処理された画像を閾値で二値化して得られた二値化画像の例を示す。黒のドットが1のピクセルに対応し、それ以外のピクセルは0のピクセルに対応する。画像の右側に、値が1のピクセル群の短い長さの領域30がある。この領域30が羽根領域に対応する。領域30内の全部が値1のピクセルの場合もあるが、一部値が0のピクセルがあってもよい。領域30の特定は、例えばクラスタリングを用いて行うことができる。例えば画像上で隣接するピクセル間の距離が一定範囲内にある値1のピクセル群を同じグループに分類していき、一定数以上のピクセルを含むグループを羽根領域として特定する。ここでは羽根領域は1つであるが、複数の羽根領域が特定される場合もある。クラスタリングの手法は何でもよい。またクラスタリング以外の手法を用いて領域検出を行ってもよい。
【0043】
補助情報生成部15は、検出処理部14により特定された羽根の位置を表す情報を生成する。そのような情報の例として、羽根の位置を指示するデータがある。本実施形態では、羽根の位置を指示するデータとして、羽根を囲む枠データを生成するが、羽を指し示す矢印のデータなど、他の形態のデータを生成してもよい。羽根を囲む枠は、例えば、羽根に外接する矩形でもよいし、羽根を囲む星形でもよいし、その他の形でもよい。枠の色は、画像処理前の撮影画像(グリーンフィルタを介して撮影した画像)に対してコントラストが高い色であることが望ましい。補助情報生成部15は、生成した枠データの座標を保持しておく。
【0044】
補助情報生成部15は、撮影画像に対して、生成した枠データを、上記保持しておいた座標に配置する。このようにして得た画像(補助画像)は、検査補助情報の一例に相当する。枠データを撮影画像に重ねて2層構造の画像としてもよいし、枠データに対応する位置のピクセルの値を枠データの値で更新してもよい。これにより撮影画像の羽根を枠データで囲んだ画像が得られる。なお、スケール変換により二値化画像のサイズが撮影画像と異なることとなっている場合は、スケールを逆変換して、枠データを撮影画像に配置すればよい。
【0045】
補助情報生成部15は、撮影画像に対して枠データ以外の情報を配置してもよい。例えば、羽根を異物として検出していることから、羽根を表す文字もしくは記号を、枠データの近傍に配置してもよい。例えば「hane」の文字データを、枠データの近傍に配置してもよい。また、検出された羽根領域のサイズを表すデータを、枠データの近傍に配置してもよい。サイズは、羽根領域の横または縦の少なくとも一方のサイズでもよいし、羽根領域の面積(ピクセル数)でもよいし、大・中・小などのサイズのカテゴリでもよい。また、特定された羽根領域の個数を表すデータを配置してもよい。例えば、羽根領域が2つ特定された場合は、「2」を撮影画像に配置してもよい。この場合、枠データも2つ存在する。ここで述べた以外の情報を配置してもよい。
【0046】
図4(B)に、補助情報生成部15が生成した検査補助情報の例を示す。グリーンフィルタを介して撮影した画像に、太い白線の枠データが配置され、近傍に「hane」の文字データが配置されている。
【0047】
制御部13は、補助情報生成部15によって生成された検査補助情報を受け取り、内部のバッファまたは画像記憶部11に格納する。制御部13は、検査対象となった食品が検査区間を通過するタイミングで、検査補助情報を表示するように、検査補助情報の表示タイミングを制御する。具体的には、制御部13は、センサ24から検出信号を受信すると、生成された検査補助情報を内部のバッファまたは画像記憶部11から読み出し、読み出した検査補助情報をディスプレイ3に送信する。ディスプレイ3は、制御部13から受信した検査補助情報を表示する。制御部13は、検査補助情報の送信から一定時間後(例えば検査区間の長さを搬送速度で除算した時間の経過後)、検査補助情報の表示を停止する停止指示信号もしくは待機用の画像をディスプレイ3に送信する。待機用の画像は、作業者が次の検査対象となる食品が検査区間に来るまで待っている間に表示しておく画像である。制御部13は、食品が連続撮影されたことにより複数の検査補助情報が生成された場合は、これらの検査補助情報を連続して(一定の時間間隔で)ディスプレイ3に出力する。ディスプレイ3は、これらの検査補助情報を動画像として連続表示する。検査区間の終了位置付近にセンサを配置し、当該センサが食品を検出した場合に、検出信号を制御部13に送信し、制御部13が、検出信号に基づき、停止指示信号または待機用の画像をディスプレイ3に送信してもよい。
【0048】
制御部13は、複数の食品について順次生成された複数の検査補助情報のうち、今回表示する検査補助情報をどのようにして特定するかは任意の方法を用いればよい。例えば、まだ表示していない検査補助情報のうち最も古い検査補助情報を、表示すべき検査補助情報としてもよい。この場合、表示済みの検査補助情報と、まだ表示されていない検査補助情報を識別するフラグを設定してもよい。あるいは、表示されていない検査補助情報を先入れ先出しバッファで管理してもよい。
【0049】
他の方法として、撮影装置2で撮影対象となる食品が代わるごとに1ずつ大きくなるシーケンス番号を、当該食品に対して生成された検査補助情報に付与する。また、センサ24で食品が検出されるごとに、1ずつ大きくなるシーケンス番号を生成する。センサ24で検出された際に生成されるシーケンス番号に値が一致する検査補助情報を、今回表示すべき検査補助情報として特定する。
【0050】
なお、検査区間に食品があるときに、次の検査対象となる食品がまだ撮影領域に搬送されていないような緩やかな間隔で食品が搬送される場合は、直前に生成した検査補助情報を表示するようにしてもよい。
【0051】
ディスプレイ3は、制御部13から検査補助情報を受信し、受信した検査補助情報(
図4(B)参照)を画面3aに表示する。ディスプレイ3は制御部13から停止指示信号を受信した場合は、検査補助情報の表示を停止する。待機用の画像を受信した場合は、待機用の画像を表示する。
【0052】
図5(A)および
図5(B)はシステムの具体的な構成例を示す。
図5(A)は、システムの側面図である。
図5(B)は、システムの平面図である。前述した
図1では紙面に向かって左側が上流側、右側が下流側であったが、
図5(A)および
図5(B)では、紙面に向かって右側が上流側、左側が上流側となっている。
図5(A)には撮影装置2、搬送装置4、回収装置4a、ディスプレイ3、食品21が示されている。
図5(B)には、撮影装置2、搬送装置4、回収装置4a、ディスプレイ3、食品21、センサ23、センサ24、検査補助装置1、作業者27が示されている。以下、
図5(A)および
図5(B)を用いて、システムを用いて食品検査の流れを説明する。
【0053】
搬送装置4のコンベヤベルト上に上流側で配置された食品(鶏肉)21が撮影装置2へ搬送される。食品21は、撮影装置2の筐体の下方の撮影領域に入ると、センサ23により検出され、撮影装置2の筐体内のカメラにより撮影される。撮影後、食品21は撮影装置2の筐体から出て、下流側に搬送される。一方、撮影された画像は検査補助装置1に送られ、検査補助装置1は画像に基づき羽根の検出を行い、検出した羽根の位置を特定する情報を含む検査補助情報(ここでは鶏肉の画像に羽根の位置を表す矩形の枠データ5を重ねた補助画像)を生成する。
【0054】
撮影装置2の筐体から出た食品21がセンサ24により検出されると、検査補助装置1は、上記の生成した検査補助情報をディスプレイ3に出力する。ディスプレイ3は、搬送装置4の一方の側面に沿って、床に対して画面が垂直になるように、アーム部材28によって支持されている。ディスプレイ3は、検査補助装置1から入力された検査補助情報を画面3aに表示する。一方、作業者27は、検査区間に搬送されてきた食品21を、目視または触手またはこれらの両方で検査する。なお、検査の際、食品21は搬送装置4に載せたままでもよいし、食品21を搬送装置4から手で持ち上げてもよい。作業者27は、ディスプレイ3に表示された検査補助情報を参照し、枠データ5の位置および大きさを確認しつつ、食品21から羽根を探す。作業者は、見つけた羽根を除去する。羽根が除去された後、食品は搬送装置4によって検査区間の下流側に搬送され、回収装置4aによって回収される。
【0055】
図6は、本発明の実施形態に係る動作の一例のフローチャートである。検査対象となる食品が撮影装置2の撮影領域に入ったことをセンサ23が検出すると(ステップS101)、センサ23は検出信号を制御部13に送る。制御部13はカメラ32に撮影の指示信号を出力する。カメラ32は、グリーンフィルタを介して食品を撮影し、制御部13は、撮影画像を画像記憶部11に格納する(S102)。画像処理部12は、撮影画像を画像処理する(S103)。
【0056】
検出処理部14は、画像処理後の画像に基づき、エッジ検出を用いて、異物の検出処理を行う(S104)。ここでは、異物として羽根の検出処理を行う。具体的には、まず、まず画像処理された画像を、閾値で二値化し、二値化画像を生成する。二値化画像に基づき、1(または0)のピクセル領域を羽根の領域として特定する。
【0057】
補助情報生成部15は、特定された羽根の領域を表す情報を生成する(S105)。例えば、羽根を囲む枠データを生成し、枠データを撮影画像に配置した画像(検査補助情報)を生成する。
【0058】
制御部13は、生成された検査補助情報を受け取り、食品が検査区間を搬送されるタイミングで、検査補助情報をディスプレイ3に表示する(S106)。表示すべき検査補助情報が複数存在する場合は、連続してこれらの検査補助情報を出力することで、これらの検査補助情報を順次切り替えながら表示する。これにより搬送路上の食品の移動に合わせて、ディスプレイ3に表示される食品および検査補助情報も、動画像として移動して見える。
【0059】
本実施形態では、二値化画像に対してエッジ検出により異物の領域を特定したが、別の方法を用いてもよい。例えば、撮影画像または画像処理後の画像をモデルの入力とし、モデルから、異物の位置または領域の情報を出力させてもよい。この場合、サンプルとなる画像(撮影画像または画像処理後の画像)と、異物の位置または領域とを対応づけたデータを、学習データとして用いて、機械学習によりモデルを構築する。モデルの例としては、ニューラルネットワークがある。
【0060】
本実施形態では、食品が検査区間に搬送されたことをセンサ24により検出したが、別の方法で検出してもよい。例えば、食品の搬送速度と、食品の撮影位置(またはセンサ23の検出位置)から検査区間までの距離に基づいて、食品が検査区間に現れるタイミングを計算してもよい。食品が検査区間に搬送されるまでの時間に基づいて、食品が検査区間に搬送されたことを検出するものである限り、どのような方法を用いてもかまわない。
【0061】
本実施形態によれば、食品原材料の正確かつ迅速な検査を実現し、高品質な食品の生産およびコストの抑制を図ることができる。
【0062】
(変形例1)
第1の実施形態では、二値化画像を用いて羽根の領域を特定したが、食品が良品の場合には、羽根が存在せず、羽根の領域が見つからない。その場合、補助情報生成部15は、羽根が存在しない(食品は良品である)ことを示す情報を検査補助情報として生成する。例えば、「NO Hane」または「GOOD」の文字データを生成する。作業者は、この情報をディスプレイ3で確認することで、検査対象となる食品に羽根は存在しないと判断できるため、羽根を探す作業を省略できる。
【0063】
(変形例2)
変形例1の拡張として、検査補助装置1は、羽根が検出された場合は不良品、検出されなかった場合は良品と判断し、不良品か良品かを表す情報を、検査補助情報として生成してもよい。作業者は、良品の情報が表示された食品のみを回収装置4aに回収し、不良品と判断された食品は、搬送装置4から取り上げて、別の容器に回収する。良品か不良品かで食品を自動的に仕分ける仕分け装置を、搬送装置4に対して設置し、仕分け装置が自動的に仕分けを行ってもよい。この場合、仕分け装置は、検査補助装置1から良品か不良品かの判定結果情報を受信し、受信した判定結果情報に基づいて仕分けを行う。
【0064】
(第2の実施形態)
第2の実施形態では、食品から欠陥として血合いを検出する。血合いは食肉における打ち身などに起因する着色や血の固まりだけでなく、色、風味などが他の部位とは異なる着色部位なども含む。また、欠陥の他の例として、欠け、亀裂、ねじれなど形状に関するものがある。システム構成は基本的には第1の実施形態と同じである。以下、第1の実施形態との差分を説明する。
【0065】
図7に、本実施形態に係る鶏肉を撮影した画像の例を示している。丸で囲まれた部位に血合いが含まれている。本実施形態では、このような血合いを、食品(鶏肉)の欠陥として検出する。
【0066】
図8は、本実施形態に係る撮影装置51の断面図である。本実施形態では
図1の撮影装置2に代えて、撮影装置51を用いる。
【0067】
撮影装置51は、1つまたは複数の照明部52と、偏光板53と、カメラ55と、偏光板56と、センサ23を備えている。撮影装置51は、略直方体形状の筐体を有し、筐体の搬送装置4に面した下部には、食品が通過するための開口部54が形成されている。筐体の具体的な構成については第1の実施形態と同様であるため説明を省略する。
【0068】
照明部52は、例えば白色LEDによる照明装置である。複数の照明部52が設けられており、左右の照明部52は紙面に沿って垂直方向に延びる形を有する。中央の照明部52は、紙面に沿って左右に延びる形の照明部が、紙面に沿って垂直方向に1つまたは複数、間隔を開けて配置されている。この間隔を通過する光をカメラ55が偏光板56を介して撮影する。
【0069】
白色LEDは、一例であり、これとは異なる色のLEDを光源として使ってもよい。例えば、赤色、緑色、青色など複数の色のLEDを組み合わせて光源を構成してもよい。また、エレクトロルミノセンスランプ、HIDランプ、蛍光灯、白熱灯など、その他の光源を使ってもよい。使用する光源の種類は、検出対象の食品や異物の種類に応じて決めることができる。光源は可視光を放射するものに限らず、赤外線や紫外線などを放射するものであってもよいし、複数の波長に係る光源の組み合わせ(マルチ波長)であってもよい。
【0070】
照明部52の前面には偏光板53が設けられている。偏光板53は例えば直線偏光板である。偏光板53を設けることで、搬送装置4の表面や食品の水分や油脂による光の乱反射が抑制され、カメラ55における食品の正確な撮影に寄与する。偏光板53を設けない構成も可能である。
【0071】
カメラ55は、照明部52から照射された光線に照らされた食品を撮影する。カメラ55の前面にも偏光板56が設けられている。偏光板56は例えば、カメラレンズ用の偏光フィルタである。偏光板53を通して撮影を行うことにより、水分、油脂などの光沢に由来する乱反射やテカリなどが抑制された画像を得ることができる。偏光板56を設けない構成も可能である。
【0072】
画像処理部12は、撮影装置51の出力情報である撮影画像内のピクセルにおける赤、緑、青(RGB)の各色の輝度を抽出して色毎の画像を得る。そして、赤(R)の画像から緑(G)の画像のピクセル値をピクセルごとに減算した画像を生成する。このようにして生成した画像を、第1の実施形態と同様に、閾値を用いて二値化処理し、二値化画像を生成する。
【0073】
図9は、画像処理の具体例を示す。撮影画像61を、Rの画像62と、Gの画像63と、Bの画像64とに分離する。Rの画像62のピクセル値からGの画像63のピクセル値を減算した画像(R-G画像)を生成する。生成した画像を二値化処理して二値化画像65を生成する。撮影画像61はカラー画像であり、画像62~64は、それぞれRGBに係る輝度の大きさを表現したグレースケールの画像となっている。二値化画像65において、ピクセル値が閾値以上のピクセルが白色、閾値未満のピクセルが黒色になっている。ピクセル値が閾値以上のピクセルの領域が、血合いの部位に対応する。
【0074】
検出処理部14は、二値化画像65に対して第1の実施形態と同様にエッジ検出を行うことで、血合いの領域(二値化画像65の白色の領域)を特定できる。
【0075】
なお、上記の画像処理は一例であり、他の画像処理を行ってもよい。例えば撮影画像に対して赤色と緑色を強調する処理を行い、その後で、処理後の撮影画像を、R画像、G場画像、B画像に分離してもよい。その他、減算後の画像(R-G画像)の変換(例えばHSV色空間への変換)を行い、変換後の画像から赤の成分のみを抽出した画像を生成してもよい。R-G画像を変換せずに、R-G画像から赤の成分のみを抽出した画像を生成してもよい。なお、撮影映像に何ら画像処理を行わず、撮影画像をそのまま二値化処理することも排除されない。
【0076】
補助情報生成部15は、第1の実施形態と同様に、血合いの位置を特定する情報を含む検査補助情報を生成する。例えば、血合いの領域を囲む枠データを二値化画像に基づき生成し、生成した枠データを撮影映像に配置する。枠データの近傍に、「chiai」などの文字データを配置してもよい。このようにして生成した画像(補助画像)を、検査補助情報としてディスプレイ3に表示する。表示のタイミング制御は、第1の実施形態と同様である。作業者は、ディスプレイ3に表示された検査補助情報の枠データを参照して血合いの位置を確認しながら、検査区間に搬入された食品を検査する。血合いを見つけたら、所定の器具を利用して、血合いを除去する。あるいは、作業者は血合いを確認し、血合いの程度が、許容可能な程度のもの(小さいなど)であればそのまま食品を回収装置4aに回収させ、許容できない程度のものであれば、所定のケースに収容し、別途、血合いを除去する作業を別工程で行ってもよい。血合いが検出された鶏肉について、その他の方法で対処してもよい。
【0077】
(変形例)
上述の第2の実施形態では、画像処理としてR-G画像を生成し、R-G画像から二値化画像を生成した(
図9参照)。本変形例では、カラー画像に加えて赤外線(INFRARED)画像を撮影し、赤外線画像のピクセル値からG画像のピクセル値を減算した画像を生成する。赤外線画像の具体例として近赤外線(NEAR INFRARED)画像がある。近赤外線は、一例として波長が760nm~1000nmの電磁波である。本変形例では、近赤外線画像を撮影し、近赤外線画像のピクセル値からG画像のピクセル値を減算した画像(NIR-G画像)を生成する。さらにNIR-G画像を二値化処理して二値化画像を生成する。この二値化画像を用いて異物または欠陥の検出を行う。これにより、色の濃い血合い(例えば黒みの強い血合い)の検出精度を高めることができる。
【0078】
本変形例ではカメラ55として、カラー画像と近赤外線画像とを撮影可能なカメラを用いる。そのようなカメラの例として、RGBカメラと赤外線カメラの両方を用いてもよい。あるいは、マルチスペクトルカメラ、または、撮影可能な波長の数がより多いハイパースペクトルカメラを用いてもよい。カメラの構成、台数、種類については特に限定しない。RGBカメラと赤外線カメラの両方を用いる場合、撮影は同時に行っても、順番に行ってもよい。後者の場合、後段の画像処理部12では、画像の減算処理を行う際、画像の位置合わせを行ってもよい。
【0079】
カメラ55で撮影された食品(鶏肉)のカラー画像と近赤外線画像は、画像記憶部11に送られる。画像記憶部11は、カラー画像と近赤外線画像を内部に格納する。画像処理部12は、画像記憶部11からカラー画像を読み出し、カラー画像から赤、緑、青(RGB)の各色の輝度を抽出してR画像(赤色画像)131、G画像(緑色画像)132及びB画像(青色画像)133を生成する。
【0080】
図10に、画像処理部12により生成されたR画像131、G画像132及びB画像133の例を示す。また、同図に、画像記憶部11に格納された近赤外線画像134の例を示す。これらの画像131~134では、ピクセルごとに、対応する波長の電磁波の強度がグレースケールの階調(輝度)で表示されている。強度が大きいほど、ピクセルは明るく表示されている。強度が小さいほど、ピクセルは暗く表示されている。画像131~134のいずれにおいても、肉の部分が周囲より明るく浮き出ている。ここでは、黒みの強い血合いのみあるサンプルを用いている。
【0081】
画像処理部12は、近赤外線画像134からG画像132のピクセル値をピクセルごとに減算した画像(NIR-G画像)、すなわち近赤外線画像134とG画像132との差分画像を生成する。画像処理部12は、NIR-G画像を二値化処理して二値化画像(NIR-G二値化画像)135を生成する。二値化処理の詳細は前述した通りである。
【0082】
図11の上側に、画像処理部12により生成されたNIR-G二値化画像135の例を示す。また、
図11の下側に、R画像131からG画像132のピクセル値をピクセルごとに減算した画像(R-G画像)を二値化処理して得られる二値化画像(R-G二値化画像)136の例を示す。R-G画像は、R画像131とG画像132との差分画像に相当する。R-G二値化画像136は、NIR-G二値化画像135と対比するために示したものであり、本変形例においてR-G二値化画像136を生成することは必須ではない。
【0083】
NIR-G二値化画像135及びR-G二値化画像136において、ピクセル値が閾値以上のピクセルが白色、閾値未満のピクセルが黒色になっている。ピクセル値が閾値以上のピクセルの領域が、血合いの部位に対応する。
【0084】
図11下側のR-G二値化画像136を参照すると、丸で囲った領域139において黒みの強い血合いの箇所のピクセルが検出されているものの、丸で囲った領域138に示すように、現実には血合いの存在しない箇所にノイズ成分が多く現れている。これは、黒みの強い血合いを検出するために、R-G二値化画像136を生成する際に用いる閾値を低くしていることによる。
【0085】
これに対して、
図11上側のNIR-G二値化画像135では、丸で囲った領域137において黒みの強い血合いの箇所のピクセルを検出しつつも、R-G二値化画像136の領域138に対応する領域において、ノイズ成分がさほど現れていない。これは、NIR-G画像では黒い血合いの箇所を強調できるため、NIR-G二値化画像135の生成の際の閾値を、R-G二値化画像136のように下げる必要がないためである。すなわち、NIR-G二値化画像135では、R-G二値化画像136よりも閾値を高くしている。このように、NIR-G二値化画像135を用いることで、ノイズ成分の低減と、黒みの強い血合いの検出精度の改善を両立できる。
【0086】
本変形例において、近赤外線画像の代わりに、他の画像を用いてもよい。例えば近赤外線以外の他赤外線(遠赤外線など)の画像、紫外線画像又は3次元画像を用いてもよい。他近赤外線の画像は、一例として、他赤外線に感度を有するセンサを備えたカメラを用いて撮影できる。紫外線画像は、一例として、紫外線に感度を有するセンサを備えたカメラを用いて撮影できる。3次元画像は、一例として、3Dカメラを用いて撮影することができる。
【0087】
また、本変形例では、近赤外線画像とG画像との演算(減算)を行ったが、演算対象とする画像の組合せは近赤外線画像とG画像の組に限定されない。すなわち、検出したい異物または欠陥を精度良く検出できる限り、任意の種類の画像の組を演算対象にできる。例えば、近赤外線画像、他赤外線の画像、紫外線画像、3次元画像、R画像、G画像、およびB画像の中から選択した2つ以上の画像を演算対象にできる。演算の種類は、減算に限定されず、加算、減算、乗算、除算、または、これらを組合せたものでもよい。また、演算を行う前に、画像に重み係数を乗じてもよい。
【0088】
第1の実施形態の各変形例は、本実施形態に対しても同様に適用される。
【0089】
(第3の実施形態)
第1および第2の実施形態では、検査補助情報を出力する情報出力装置としてディスプレイ3を用いたが、第3の実施形態では投影装置の一例であるプロジェクタを用いて、検査補助情報を、搬送される食品または搬送路に投影する。以下、本実施形態について詳細に説明する。
【0090】
図12は、第3の実施形態に係る食品検査補助システムの一例を示す。
図1のディスプレイ3がプロジェクタ71に代わっている。プロジェクタ71は、検査区間内に搬送路の上方に設けられており、搬送面に向けて検査補助情報を投影する。それ以外の構成については、基本的に第1の実施形態と同様である。以下では、第1の実施形態からの変更または拡張された部分を中心に説明する。
【0091】
図13(A)は、撮影装置2による連続撮影の例を表している。搬送装置4により鶏肉(食品)21が搬送されており、撮影装置2内の撮影領域81に入ると、一定時間間隔で、複数回撮影(静止画の連写)が行われる。図では時刻t11、時刻t12、時刻t13で、計3回行われる例が示されている。複数回の撮影が行われている間も食品は移動しているため、撮影画像における食品の位置は少しずつ搬送方向に移動する。ここでは3回撮影しているが、1秒間に10回など、撮影の回数およびレートは任意に定めることができる。
【0092】
図14は、連続撮影された画像の例を示す。
図14(A)が時刻t11での1回目の撮影画像91、
図14(B)が時刻t12での2回目の撮影画像92、
図14(C)が時刻t13での3回目の撮影画像93を示す。撮影画像91~93で撮影対象である食品が少しずつ搬送方向に移動している。
【0093】
撮影装置2は、連続撮影した複数の撮影画像を検査補助装置1に送る。検査補助装置1は第1の実施形態と同様にして、複数の撮影画像に対する複数の検査補助情報を生成する。各検査補助情報は、ここでは、第1の実施形態と同様、各撮影画像に枠データを配置したものとする。
【0094】
制御部13は、センサ24から食品の検出信号を受信すると、複数の検査補助情報が連続して(例えば一定時間間隔で)投影されるようプロジェクタ71を制御する。制御部13は、プロジェクタ71に複数の検査補助情報を一定時間間隔で出力する。プロジェクタ71は、制御部13から入力される複数の検査補助情報を一定時間間隔で順番に搬送路に対して投影する。プロジェクタ71の照射領域は、一例として、撮影装置2の撮影領域と同じサイズである。
【0095】
図13(B)にプロジェクタ71による投影の例を示す。搬送装置4により撮影装置2の筐体から出た鶏肉(食品)21が搬送され、プロジェクタ71の投影領域82に入ると、これに合わせて、プロジェクタ71から一定時間間隔で、複数の検査補助情報が投影される。
図15に、連続投影される複数の検査補助情報の例を示す。
図15(A)が時刻t21で1回目に投影される検査補助情報101、
図15(B)が時刻t21で2回目に投影される検査補助情報102、
図15(C)が時刻t23で3回目に撮影される検査補助情報103を示す。それぞれ、
図14(A)~
図14(C)の撮影画像に対応している。検査補助情報101~103内で食品が少しずつ搬送方向に移動しており、枠データ75もこれに合わせて同じだけ搬送方向に移動している。
図15(A)~
図15(B)の検査補助情報が順番に投影されると、
図13(B)に示すように、搬送される食品に検査補助情報(食品画像および枠データ)が食品に重なるように投影される。プロジェクタ71の撮影が行われている間も食品は移動しているが、時刻t21、時刻t22、時刻t23で投影される検査補助情報に含まれる食品および枠も同じ速度で移動しているため、検査補助情報に含まれる食品および枠の画像は、食品の移動に拘わらず、食品の位置に合致するように投影される。したがって、搬送される食品に投影されている枠の中には異物(羽根)が含まれることとなる。作業者は食品に投影されている枠内に羽根があると分かるため、容易に羽根を特定できる。
【0096】
図16は、本発明の実施形態に係る動作の一例のフローチャートである。検査対象となる食品が撮影装置2の撮影領域に入ったことをセンサ23が検出すると(ステップS201)、センサ23は検出信号を制御部13に送る。制御部13はカメラ32に撮影の指示信号を出力する。カメラ32は、グリーンフィルタを介して食品を一定時間間隔で複数回撮影(連続撮影)し、制御部13は、複数の撮影画像を画像記憶部11に格納する(S202)。画像処理部12は、各撮影画像を画像処理する。具体的には、各撮影画像を画像処理した画像を生成する(S203)。
【0097】
検出処理部14は、画像処理された画像に基づき、エッジ検出を用いて、異物の検出処理を行う(S204)。ここでは、異物として羽根の検出処理を行う。具体的には、まず検出処理部14は、画像処理された画像を、閾値で二値化し、二値化画像を生成する。二値化画像に基づき、1(または0)のピクセル領域を羽根領域として特定する。
【0098】
補助情報生成部15は、特定された羽根領域の位置を表す情報を生成する(S205)。例えば、羽根を囲む枠データを生成し、枠データを撮影画像に配置した画像(検査補助情報)を生成する。
【0099】
制御部13は、複数の撮影画像に対して生成された複数の検査補助情報を受け取り、検査対象となった食品が検査区間を通過するタイミングで、複数の検査補助情報をプロジェクタ71に一定時間間隔で順番に出力する。これにより、複数の検査補助情報が一定時間間隔で搬送路を搬送される食品に投影される(S206)。これにより搬送路上の食品の移動に合わせて、投影される検査補助情報に含まれる枠データの位置を移動させることができるため、作業者は食品の異物(羽根)に投影される枠を途切れることなく、確認しつづけることができる。よって、作業者は、羽根を容易に特定し、除去できる。
【0100】
本実施形態では、カメラ32の撮影領域(撮影方向)およびプロジェクタ71の投影領域(投影方向)は固定であったが、食品を連続撮影する場合、カメラ32の向きを移動させながら、食品を撮影してもよい。同様に、プロジェクタ71の投影方向を移動させながら、複数の検査補助情報を順次投影してもよい。これにより、アングルが狭いカメラおよび照射角の狭いプロジェクタを用いることができる。
【0101】
本実施形態では、撮影画像に枠データを配置した画像を検査補助情報として食品に投影したが、枠データのみを含む画像(鶏肉を含まない画像)を、検査補助情報として生成し、食品に投影してもよい。
【0102】
本実施形態では、食品に検査補助情報を投影したが、搬送路に投影してもよい。例えば、搬送される食品の近傍(例えば右側、左側、上側、または下側など)の搬送路部分に、検査補助情報を投影してもよい。この場合も、搬送される食品に同期して、投影される情報の位置も移動する。これにより作業者は、搬送される食品の近傍に表示された検査補助情報を見ながら、検査を行うことができる。
【0103】
本実施形態では、情報出力装置として情報を光により投影するプロジェクタを用いたが、光ビームにより情報を投影するビーム投影器を用いてもよい。ビーム投影器を用いる場合、検出された異物の位置に対して光ビームを投影してもよい。また、異物を囲むように、投影するビームを移動させてもよい。いずれの場合も、搬送される食品に同期して、投影されるビームの投影位置も移動する。このように光ビームを投影することも、検査補助情報の表示の一形態である。
【0104】
第1の実施形態をベースに異物(羽根)を検出する場合を例に本実施形態をしたが、第2の実施形態のように欠陥(血合い等)を検出する場合にも本実施形態と同様の実施が可能である。
【0105】
(第4の実施形態)
第1~第3の実施形態では、撮影画像に基づき食品の異物または欠陥の検出処理を行い、検出結果に応じた検査補助情報を生成および表示した。これに対して、本実施形態では食品の特性情報を測定し、測定した特性情報に応じた検査補助情報を生成および表示する。これ以外については基本的にこれまでの実施形態と同様である。
【0106】
図17に、本実施形態に係る食品検査補助システムの一例を示す。第3の実施形態で用いた
図12における撮影装置2が3次元カメラ(3Dカメラ)112に置換され、検出処理部14が測定処理部111に置換されている。
図12と同じ名称の要素には同一の符号を付してある。以下、第3の実施形態から変更および拡張された点を中心に説明する。
【0107】
3Dカメラ112は、検査対象の食品を撮影する。3Dカメラ112はセンシング装置の一例である。3Dカメラ112は、食品のカラーと深度を測定し、3Dカメラ112の出力情報である3D画像を撮影画像として取得する。3D画像は、ピクセルごとのカラー情報と深度を含む。深度は、一例として、赤外線を照射するLEDと、反射した赤外線を受光するセンサとを用いて測定できる。センサ23が食品122を検出すると、センサ23が検出信号を制御部13に出力する。検出信号を受信した制御部13が3Dカメラ112に撮影の指示信号を出力し、3Dカメラ112が撮影を行う。撮影回数は、1回または複数回である。以下の説明では複数回撮影する(連続撮影する)場合を想定する。
【0108】
画像処理部12は、3D画像に前処理を行う。例えばノイズ成分を減らす処理(平均化)、コントラスト調整、濃淡調整などを行う。前処理を行わない構成も可能である。
【0109】
測定処理部111は、3D画像に基づき、食品の特性情報を測定する。例えば食品の重量を測定する。3D画像に基づき食品の体積を測定し、体積に食品(鶏肉)の平均密度を掛け合わせることで、重量を算出する。鶏肉の平均密度は、事前に測定処理部111に与えておくか、測定処理部111からアクセス可能なメモリ等の記憶部に格納しておく。重量以外に、鶏肉のサイズ(縦・横・高さの少なくとも1つ)を測定してもよい。また、鶏肉の脂肪比率を計算してもよい。例えば、輝度が一定値以上のピクセルの箇所(鶏肉の白っぽい部分)は深さ方向にすべて脂肪部分とみなし、鶏肉の全体の体積と脂肪部分の体積との比率から脂肪比率を計算する。なお、本実施形態では3Dカメラを使って食品の特性情報を測定しているが、可視光または紫外線などを用いて測定を行うことも可能である。また、3Dカメラで無く、センシング装置である重量センサを搬送装置4に配置し、重量センサで鶏肉の重量を検出してもよい。
【0110】
補助情報生成部15は、測定処理部111で測定された食品の特性情報に基づき、検査補助情報を生成する。具体的には、3次元画像、または深度情報を除いた2次元画像における鶏肉の位置に食品の特性情報を配置した(重ねた画像)を生成する。または、鶏肉と同じ位置に特性情報を配置した、鶏肉の画像が入っていない画像を生成してもよい。
【0111】
制御部13は、複数の撮影画像(3D画像)に対して生成された複数の検査補助情報を受け取る。制御部13は、センサ24から食品121の検出信号を受信すると、複数の検査補助情報が一定時間間隔で投影されるようプロジェクタ71を制御する。制御部13は、プロジェクタ71に複数の検査補助情報を一定時間間隔で出力する。プロジェクタ71は、制御部13から入力される複数の検査補助情報を一定時間間隔で順番に搬送路に対して投影する。プロジェクタ71の照射領域は、一例として、撮影装置2の撮影領域と同じサイズである。
【0112】
図18にプロジェクタ71による投影の例を示す。搬送装置4により鶏肉(食品)121が搬送され、プロジェクタ71の投影領域82に入ると、これに合わせて、プロジェクタ71から一定時間間隔で、複数の検査補助情報が投影される。第3の実施形態と同様に、搬送される食品に検査補助情報(食品の特性情報が含まれる)が食品に重なるように投影される。図の例では「398グラム」の文字データが、検査対象となる鶏肉121に投影されている。プロジェクタ71の撮影が行われている間も食品121は移動しているが、時刻t31、時刻t32、時刻t33で投影される検査補助情報に含まれる特性情報もこれに合わせるように移動し、特性情報は、食品の移動に拘わらず、食品に重なるように投影される。作業者は食品に投影されている重量の値を確認することで、鶏肉の重量が仕様で定められた範囲内にあるかを判断する。仕様に定められた範囲内にあるときは、その鶏肉は適性であるとして、そのまま回収装置4aに回収させる。仕様範囲外にあるときは、その鶏肉を搬送路から手で取り上げ、別途用意したケースに収容する。図の例では、仕様範囲内のため、作業者は問題ないと判断し、鶏肉121を見送っている。ケースに収容された鶏肉は後工程で、重量調整を行い、仕様範囲内にされる。あるいは、逆に仕様範囲内の鶏肉を取り上げて別途用意したケースに収容し、仕様範囲外の鶏肉を回収装置4aに回収させてもよい。
【0113】
図19は、本発明の実施形態に係る動作の一例のフローチャートである。検査対象となる食品が撮影装置2の撮影領域に入ったことをセンサ23が検出すると(ステップS301)、センサ23は検出信号を制御部13に送る。制御部13は3Dカメラ112に撮影の指示信号を出力する。3Dカメラ112は、一定時間間隔で複数回撮影(連続撮影)し、制御部13は、複数の撮影画像(3D画像)を画像記憶部11に格納する(S302)。画像処理部12は、各撮影画像に画像処理(ノイズ成分低減処理など)をする(S303)。
【0114】
検出処理部14は、画像処理された画像に基づき、食品の特性情報を測定する(S304)。例えば、食品の重量、サイズ、および脂肪比率のうち少なくとも1つを測定する。
【0115】
補助情報生成部15は、測定した特性情報を含む検査補助情報を生成する(S305)。
【0116】
制御部13は、複数の撮影画像に対して生成された複数の検査補助情報を受け取り、検査対象となった食品が検査区間を搬送されるタイミングで、複数の検査補助情報をプロジェクタ71に一定時間間隔で順番に出力する(S306)。プロジェクタ71は、複数の検査補助情報を一定時間間隔で投影する(同S306)。これにより搬送路上の食品の移動に合わせて、投影される検査補助情報に含まれる特性情報の位置を移動させることができるため、これらの特性情報が、搬送される食品の移動に合わせて、食品に投影される。作業者は食品に投影される情報(重量情報等)を途切れることなく、確認しつづけることができる。第3の実施形態で述べた各種の拡張例や変形例は、本実施形態にも適用可能である。
【0117】
本発明のいくつかの実施形態を説明したが、これらの実施形態は例として提示したものであり、発明の範囲の限定することは意図していない、これらの実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【0118】
<付記>
[項目1]
食品を搬送する搬送装置と、
搬送される前記食品をセンシングするセンシング装置と、
前記センシング装置の出力情報に基づいて、前記食品の検査補助情報を生成する補助情報生成部と、
前記検査補助情報を表示する情報出力装置と、
搬送される前記食品の検査が行われる検査区間へ前記食品が搬送されるまでの時間に基づき、前記検査補助情報を表示するタイミングを制御する制御部と、
を備えた食品検査補助システム。
[項目2]
前記制御部は、前記食品が前記検査区間を搬送されるタイミングで前記検査補助情報を表示するよう制御する
項目1に記載の食品検査補助システム。
[項目3]
前記制御部は、前記検査区間を搬送される前記食品の移動と同期して、前記検査補助情報の表示位置を移動させる
項目2に記載の食品検査補助システム。
[項目4]
前記センシング装置は、搬送される前記食品を撮影し、
前記センシング装置の撮影画像に基づき、異物または欠陥の検出処理を行う検出処理部を備え、
前記補助情報生成部は、検出された異物または欠陥の位置を特定する情報を含む前記検査補助情報を生成する
項目1ないし3のいずれか一項に記載の食品検査補助システム。
[項目5]
前記補助情報生成部は、前記検出された異物または欠陥の位置を特定する情報として、前記検出された異物または欠陥の位置を指示するデータを生成し、前記検出された異物または欠陥の位置に対して前記データを配置した画像を含む前記検査補助情報を生成する
項目4に記載の食品検査補助システム。
[項目6]
前記検査補助情報は、前記検出された異物または欠陥のサイズ、および形状の少なくとも1つに関する情報をさらに含む
項目4または5に記載の食品検査補助システム。
[項目7]
前記センシング装置は、前記食品に紫外線を照射し、発生した蛍光をグリーンフィルタを通して検出することにより、前記食品を撮影する
項目4ないし6のいずれか一項に記載の食品検査補助システム。
[項目8]
前記検出処理部は、前記グリーンフィルタを介して撮影された画像に基づき二値化画像を生成し、前記二値化画像に基づき前記異物または前記欠陥を検出する
項目7に記載の食品検査補助システム。
[項目9]
前記撮影画像は、カラー画像を含み、
前記検出処理部は、前記カラー画像に含まれる赤色画像と緑色画像との差分画像を生成し、前記差分画像に基づいて、前記異物または前記欠陥を検出する
項目4ないし6のいずれか一項に記載の食品検査補助システム。
[項目10]
前記撮影画像は、赤外線画像と、カラー画像とを含み、
前記検出処理部は、前記赤外線画像と、前記カラー画像に含まれる緑色画像との差分画像を生成し、前記差分画像に基づいて、前記異物または前記欠陥を検出する
項目4ないし6のいずれか一項に記載の食品検査補助システム。
[項目11]
前記センシング装置は、前記食品の特性情報を検出し、前記検査補助情報は、前記特性情報を含み、前記特性情報は、前記食品の重量、サイズおよび脂肪比率のうちの少なくとも1つを含む
項目1ないし10のいずれか一項に記載の食品検査補助システム。
[項目12]
前記情報出力装置は、前記検査補助情報を画面に表示するディスプレイである
項目1ないし10のいずれか一項に記載の食品検査補助システム。
[項目13]
前記情報出力装置は、前記検査区間における搬送路または前記検査区間を搬送される前記食品に対して、前記検査補助情報を投影して表示する投影装置である
項目1ないし10のいずれか一項に記載の食品検査補助システム。
[項目14]
前記センシング装置は、前記食品を連続撮影して複数の撮影画像を取得し、
前記制御部は、前記複数の撮影画像に対応して得られた複数の前記検査補助情報を連続して表示するよう制御する
項目1ないし13のいずれか一項に記載の食品検査補助システム。
[項目15]
前記食品の通過を検出するセンサを備え、
前記制御部は、前記センサにより前記食品が検出されたときに、前記検査補助情報を表示するよう制御する
項目1ないし14のいずれか一項に記載の食品検査補助システム。
[項目16]
搬送装置によって搬送される食品をセンシングするセンシング装置の出力情報を取得し、前記出力情報に基づいて、前記食品の検査補助情報を生成する補助情報生成部と、
前記検査補助情報を表示する情報出力装置の表示タイミングを、搬送される前記食品の検査が行われる検査区間へ前記食品が搬送されるまでの時間に基づき、制御する制御部と、
を備えた食品検査補助装置。
[項目17]
搬送装置によって搬送される食品をセンシングするセンシング装置の出力情報を取得するステップと、
前記出力情報に基づいて、前記食品の検査補助情報を生成するステップと、
前記検査補助情報を表示する情報出力装置の表示タイミングを、搬送される前記食品の検査が行われる検査区間へ前記食品が搬送されるまでの時間に基づき制御するステップと
をコンピュータに実行させるためのコンピュープログラム。
【符号の説明】
【0119】
1 食品検査補助装置
2 撮影装置
3 ディスプレイ
4 搬送装置
4a 回収装置
5 枠データ
11 画像記憶部
12 画像処理部
13 制御部
14 検出処理部
15 補助情報生成部
21、122,121 鶏肉(食品)
21a 異物(羽根)
23、24 センサ
27 作業者
28 アーム部材
30 領域
31、52 照明部
32、55 カメラ
33 フィルタ
34、54 開口部
53、56 偏光板
71:プロジェクタ
82:投影領域
111:測定処理部
112:3Dカメラ