特開 2024-24495 固体撮像装置及び固体撮像システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024024495

(43)【公開日】2024-02-22

(54)【発明の名称】固体撮像装置及び固体撮像システム

(51)【国際特許分類】

   G01N 21/359 20140101AFI20240215BHJP

   G01N 21/88 20060101ALI20240215BHJP

   G01N 33/02 20060101ALI20240215BHJP

   H01L 27/146 20060101ALI20240215BHJP

   G01N 21/3554 20140101ALI20240215BHJP

   G01N 21/27 20060101ALI20240215BHJP

【ＦＩ】

G01N21/359

G01N21/88 J

G01N33/02

H01L27/146 A

H01L27/146 F

G01N21/3554

G01N21/27 A

【審査請求】未請求

【請求項の数】13

【出願形態】ＯＬ

(21)【出願番号】P 2022127350

(22)【出願日】2022-08-09

(71)【出願人】

【識別番号】316005926

【氏名又は名称】ソニーセミコンダクタソリューションズ株式会社

(74)【代理人】

【識別番号】100120031

【弁理士】

【氏名又は名称】宮嶋 学

(72)【発明者】

【氏名】横山 友輔

【テーマコード（参考）】

2G051

2G059

4M118

【Ｆターム（参考）】

2G051AA90

2G051AB01

2G051CA03

2G051CB01

2G051EB10

2G059AA01

2G059AA05

2G059BB11

2G059CC09

2G059EE01

2G059EE02

2G059FF01

2G059GG03

2G059HH01

2G059HH02

2G059KK03

2G059KK04

2G059MM05

4M118AB01

4M118AB03

4M118AB10

4M118BA04

4M118FA06

4M118HA31

4M118HA33

(57)【要約】

【課題】外観データとともに水分含有量に関する情報を取得する。
【解決手段】固体撮像装置は、撮像素子と、処理回路と、を備える。前記撮像素子は、可視光を受光する可視光受光素子と、少なくとも短波長赤外帯域の赤外光を受光する赤外光受光素子と、を単一の画素アレイにおいて有する。前記処理回路は、前記撮像素子が取得したデータから、可視領域における乾燥済み食品の像を示す第 1 画像と、赤外領域における前記前記乾燥済み食品の像を示す第 2 画像と、を生成し、生成した前記第 1 画像及び前記第 2 画像から、前記乾燥済み食品を検査する。
【選択図】図１

【特許請求の範囲】

【請求項1】

可視光を受光する可視光受光素子と、少なくとも短波長赤外帯域の赤外光を受光する赤外光受光素子と、を単一の画素アレイにおいて有する、撮像素子と、
前記撮像素子が取得したデータから、可視領域における乾燥済み食品の像を示す第 1 画像と、赤外領域における前記乾燥済み食品の像を示す第 2 画像と、を生成し、生成した前記第 1 画像及び前記第 2 画像から、前記乾燥済み食品を検査する、処理回路と、
を備える固体撮像装置。

【請求項2】

前記処理回路は、少なくとも前記第 2 画像から、前記乾燥済み食品の水分の含有量を検出する、
請求項1に記載の固体撮像装置。

【請求項3】

前記処理回路は、前記水分の含有量を所定しきい値と比較し、前記水分の含有量が前記所定しきい値よりも高い前記乾燥済み食品を再乾燥工程する対象であることを通知する、
請求項2に記載の固体撮像装置。

【請求項4】

前記処理回路は、前記水分の含有量に基づいて、前記再乾燥工程の乾燥時間を算出する、
請求項3に記載の固体撮像装置。

【請求項5】

前記処理回路は、前記乾燥済み食品の水分の含有量を、学習済みモデルを用いて推論する、
請求項2に記載の固体撮像装置。

【請求項6】

前記処理回路は、少なくとも前記第 2 画像から、前記乾燥済み食品のタンパク質の含有量を検出する、
請求項1に記載の固体撮像装置。

【請求項7】

前記処理回路は、前記乾燥済み食品のタンパク質の含有量を、学習済みモデルを用いて推論する、
請求項6に記載の固体撮像装置。

【請求項8】

前記処理回路は、少なくとも前記第 1 画像から、前記乾燥済み食品の外観における不良を検出する、
請求項1に記載の固体撮像装置。

【請求項9】

前記処理回路は、前記第 1 画像から、前記乾燥済み食品に付着した異物を検出する、
請求項8に記載の固体撮像装置。

【請求項10】

前記処理回路は、前記第 1 画像から、前記乾燥済み食品の色味の悪化を検出する、
請求項8に記載の固体撮像装置。

【請求項11】

前記処理回路は、前記乾燥済み食品の外観検査を、学習済みモデルを用いて実行する、
請求項8に記載の固体撮像装置。

【請求項12】

前記処理回路は、学習済みモデルを用いて、前記第 1 画像及び前記第 2 画像に基づいて、前記乾燥済み食品を検査する、
請求項1に記載の固体撮像装置。

【請求項13】

少なくとも短波長赤外帯域の光を含む赤外光を射出する、赤外光源と、
請求項1に記載の固体撮像装置と、
を備え、
前記撮像素子は、前記赤外光源から射出され、前記乾燥済み食品において反射又は透過した光を前記赤外光受光素子で受光する、
固体撮像システム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、固体撮像装置及び固体撮像システムに関する。

【背景技術】

【0002】

近赤外帯域の撮像が可能なイメージセンサにおいては、水の吸収を示す波長帯を利用して、可視光では見分けることが困難な水分の検出を実現することができる。この特性を利用して、乾燥食品等の乾燥した物品を製造する工程においては、近赤外帯域の光を受光できるラインセンサを用いて物品に残存する水分の検知が行われている。

【0003】

しかしながら、例えば、乾燥食品の品質検査工程においては、綿密な水分管理が行われているとともに、乾燥その他による外観異常発生の検知もする必要があり、熟練者によりこの検知とともに、水分が残存しているか否かの判断がされている。この結果、検査効率や判断の属人性といった課題がある。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開2016-017932号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

そこで、本開示では、外観データとともに水分含有量に関する情報を取得する固体撮像装置を提供する。

【課題を解決するための手段】

【0006】

一実施形態によれば、固体撮像装置は、撮像素子と、処理回路と、を備える。前記撮像素子は、可視光を受光する可視光受光素子と、少なくとも短波長赤外帯域の赤外光を受光する赤外光受光素子と、を単一の画素アレイにおいて有する。前記処理回路は、前記撮像素子が取得したデータから、可視領域における乾燥済み食品の像を示す第 1 画像と、赤外領域における前記前記乾燥済み食品の像を示す第 2 画像と、を生成し、生成した前記第 1 画像及び前記第 2 画像から、前記乾燥済み食品を検査する。

【0007】

前記処理回路は、少なくとも前記第 2 画像から、前記乾燥済み食品の水分の含有量を検出してもよい。

【0008】

前記処理回路は、前記水分の含有量を所定しきい値と比較し、前記水分の含有量が前記所定しきい値よりも高い前記乾燥済み食品を再乾燥工程する対象であることを通知してもよい。

【0009】

前記処理回路は、前記水分の含有量に基づいて、前記再乾燥工程の乾燥時間を算出してもよい。

【0010】

前記処理回路は、前記乾燥済み食品の水分の含有量を、学習済みモデルを用いて推論してもよい。

【0011】

前記処理回路は、少なくとも前記第 2 画像から、前記乾燥済み食品のタンパク質の含有量を検出してもよい。

【0012】

前記処理回路は、前記乾燥済み食品のタンパク質の含有量を、学習済みモデルを用いて推論してもよい。

【0013】

前記処理回路は、少なくとも前記第 1 画像から、前記乾燥済み食品の外観における不良を検出してもよい。

【0014】

前記処理回路は、前記第 1 画像から、前記乾燥済み食品に付着した異物を検出してもよい。

【0015】

前記処理回路は、前記第 1 画像から、前記乾燥済み食品の色味の悪化を検出してもよい。

【0016】

前記処理回路は、前記乾燥済み食品の外観検査を、学習済みモデルを用いて実行してもよい。

【0017】

前記処理回路は、学習済みモデルを用いて、前記第 1 画像及び前記第 2 画像に基づいて、前記乾燥済み食品を検査してもよい。

【0018】

一実施形態によれば、固体撮像システムは、赤外光源と、固体撮像装置と、を備える。前記赤外光源は、少なくとも短波長赤外帯域を含む赤外光を射出する。前記固体撮像装置は、上記のいずれかに記載の固体撮像装置である。前記撮像素子は、前記赤外光源から射出され、前記乾燥済み食品において反射又は透過した光を前記赤外光受光素子で受光する。

【図面の簡単な説明】

【0019】

【図1】一実施形態に係る固体撮像装置の一例を模式的に示す図。

【図2】一実施形態に係る固体撮像装置の画素アレイの一例を模式的に示す図。

【図3】一実施形態に係る固体撮像装置の処理の一例を示すフローチャート。

【図4】一実施形態に係る撮影するエリアの一例を示す図。

【図5】一実施形態に係る第 1 画像及び第 2 画像の一例を示す図。

【図6】一実施形態に係る画像の一例を示す図。

【図7】一実施形態に係る固体撮像システムの一例を模式的に示す図。

【発明を実施するための形態】

【0020】

以下、図面を参照して本開示における実施形態の説明をする。図面は、説明のために用いるものであり、実際の装置における各部の構成の形状、サイズ、又は、他の構成とのサイズの比等が図に示されている通りである必要はない。また、図面は、簡略化して書かれているため、図に書かれている以外にも実装上必要な構成は、適切に備えるものとする。

【0021】

図1は、一実施形態に係る固体撮像装置の一例を模式的に示す図である。固体撮像装置 10 は、画素アレイ 100 と、制御回路 102 と、水平駆動回路 104 と、垂直駆動回路 106 と、信号処理回路 108 と、処理回路 110 と、を備える。固体撮像装置 10 は、例えば、同じ範囲にある物体の可視光像である第 1 画像と、赤外光像である第 2 画像と、を取得し、これらの画像を適切に処理する装置である。

【0022】

画素アレイ 100 は、受光素子を有する受光画素が 2 次元のアレイ状に配列される領域である。受光画素は、それぞれが画素回路と接続される。受光素子は、入射された光の強度に応じた信号を光電変換により出力し、画素回路は、受光素子から出力された信号を適切に画素ごとの信号に変換して出力する。画素アレイ 100 を介して物体の反射光等を取得することで、固体撮像装置 10 は、エリアセンサとして動作することができる。

【0023】

制御回路 102 は、固体撮像装置 10 の信号取得の制御をする回路である。制御回路 102 は、水平駆動回路 104 及び垂直駆動回路 106 により画素アレイ 100 内において光電変換により得られた信号を信号処理回路 108 へと出力する制御をする。なお、制御回路 102 は、信号処理回路 108 にも接続されていてもよい。

【0024】

水平駆動回路 104 は、制御回路 102 からの制御にしたがい、画素アレイ 100 のラインを選択し、当該ラインに属する受光画素から信号が出力される駆動をする。

【0025】

垂直駆動回路 106 は、制御回路 102 からの制御にしたがい、水平駆動回路 104 により選択されているラインに属する受光画素のから適切なタイミングでカラムに属する受光画素を駆動させて、信号を出力する制御をする。

【0026】

信号処理回路 108 は、それぞれの受光画素が出力するアナログ信号を適切に信号処理して出力する。信号処理回路 108 は、例えば、カラムごとに AD (Analog to Digital) 変換するカラム ADC (Analog to Digital Converter) を備え、受光画素から出力されるアナログ信号をデジタル信号に変換して出力してもよい。信号処理回路 108 は、その他適切な回路により、デジタル信号を、例えば、画像信号に変換して出力する。

【0027】

処理回路 110 は、信号処理回路 108 から出力される画像データに対して適切な処理を実行する。処理回路 110 は、例えば、画像データに対して画像処理をしてもよいし、ルールベースの手法による分類、又は、学習済みモデルを用いた分類等の情報処理を実行する。

【0028】

なお、図示していないが、固体撮像装置 10 は、記憶回路を備えていてもよい。記憶回路は、例えば、信号処理回路 108 又は処理回路 110 における画像データを適宜格納することができる。また、信号処理回路 108 又は処理回路 110 の少なくとも一部の処理が、ソフトウェアによる情報処理がハードウェア資源を用いて具体的に実現される場合には、このソフトウェアによる情報処理に必要となるプログラム、実行ファイル等を格納してもよい。この場合、信号処理回路 108 又は処理回路 110 の少なくとも一部の処理は、それぞれの回路が記憶回路に格納されているプログラム等を参照することで実現されてもよい。

【0029】

図1においては、処理回路 110 は、固体撮像装置 10 の内部に備えられているが、これに限定されるものではない。例えば、固体撮像装置 10 の外部において、この処理回路 110 が備えられていてもよい。例えば、固体撮像装置 10 は、画素アレイ 100 、制御回路 102 、水平駆動回路 104 、垂直駆動回路 106 、信号処理回路 108 及び処理回路 110 が同一の半導体チップに形成されてもよいし、少なくとも一部の構成が別の半導体チップに形成されていてもよい。

【0030】

同一の半導体チップに形成される場合、これらの構成は、積層された半導体層に形成され、マイクロバンプ、ビアホール等の任意の手法で層間が電気的に接続されてもよい。積層して形成される場合、半導体チップは、個々の層がそれぞれに形成された後に CoC (Chip on Chip) 、 CoW (Chip on Wafer) 又は WoW (Wafer on Wafer) といった任意の手法で積層されてもよいし、 1 つの基板上に順次必要な構成が形成されてもよい。

【0031】

図2は、一実施形態に係る画素アレイ 100 における画素の配列の限定されない一例を示す図である。 R は、赤、 G は、緑、 B は、青、 IR は、赤外の受光をする素子が備えられていることをそれぞれ意味する。この図2は、画素の配列としてもよいし、画素内における分割された光電変換領域 (分割画素) の配列としてもよい。

【0032】

画素アレイ 100 は、一例として、図2に示すようにベイヤ配列の一部の受光素子を、赤外光を受光できる受光素子としてもよい。元となる配列は、ベイヤ配列でなくてもよいし、 RGB の三原色以外の光を受光する受光素子が備えられていてもよい。

【0033】

ここで、 IR で示される受光素子領域においては、少なくとも短波赤外 (SWIR: Short Wavelength Infra Red) の帯域を受光できる形態であってもよい。また、別の例として、 SWIR を受光する素子の他に、近赤外 (NIR: Near Infra Red) の帯域の光を受光可能な受光素子が備えられていてもよい。

【0034】

それぞれの色の帯域を受光する受光素子は、例えば、受光素子の入射面側にカラーフィルタを備える形態であってもよいし、有機光電変換素子で形成される形態であってもよい。すなわち、それぞれの受光素子において受光する帯域の指定は、任意の手法で実装されていてもよい。

【0035】

また、画素としては、上記のように可視光帯域及び赤外光帯域の光を受光するとしたが、他の種類の情報を取得する画素の配置を排除するものではない。画素アレイ 100 は、限定されないいくつかの例として、任意の偏光状態を取得できる画素、像面位相差を取得できる画素、 ToF (Time of Flight) 情報を取得できる画素、イベント情報を検出できる画素、プラズモンフィルタを用いる画素等を少なくとも一部に備えていてもよい。

【0036】

画素アレイ 100 において、例えば図2に示す受光素子の配置にすることで、固体撮像装置 10 は、同じ対象の情報について可視光帯域及び赤外光帯域の画像を生成することができる。すなわち、固体撮像装置 10 は、同じ対象について可視光帯域における像である第 1 画像と、赤外光帯域における像である第 2 画像と、を取得することができる。

【0037】

すなわち、固体撮像装置 10 は、同じ領域を可視光帯域と赤外光帯域において撮像するエリアセンサとして動作する。上記のように、第 1 画像及び第 2 画像の座標は、基本的にはズレが発生しないため、固体撮像装置 10 は、同じ対象の可視の情報と赤外の情報とを同じ座標において取得することができる。

【0038】

以下においては、限定されない一例として乾燥食品 (乾燥済み食品) の画像を取得し、情報処理をすることについて説明するが、本開示に係る固体撮像装置 10 は、乾燥食品のみに適用されるものではなく、任意の対象に対して、同様の処理を実行することが可能である。また、一例として第 2 画像として SWIR 帯域の画像を取得するが、目的に合わせてこの帯域を変更することも可能である。

【0039】

信号処理回路 108 により取得された第 1 画像及び第 2 画像のデータは、処理回路 110 へと送信され、処理回路 110 は、これらの画像に対して任意の処理を実現することができる。

【0040】

図3は、一実施形態に係る固体撮像装置 10 の処理を示すフローチャートである。

【0041】

固体撮像装置 10 は、画素アレイ 100 が受光できる領域における可視光帯域の光と、赤外光帯域の光とを信号に変換し、出力する (S100) 。固体撮像装置 10 は、例えば、乾燥食品における乾燥処理後の食品が存在する領域を撮影し、乾燥済み食品において反射又は透過した光を画素アレイ 100 内の受光素子において受光し、画素ごとの光を出力する。

【0042】

信号処理回路 108 は、画素回路から出力されたアナログ信号をデジタル信号に変換し、可視光帯域の受光信号に対して適切な処理をすることで、第 1 画像を生成する (S102) 。信号処理回路 108 は、例えば、図2における R 、 G 及び B の波長域に対応する受光素子から取得した信号に基づいて、これらの出力を適切に混合し、可視光帯域における画像である第 1 画像を取得する。

【0043】

処理回路 110 は、信号処理回路 108 が生成した第 1 画像に対する処理を実行する (S104) 。この処理は、例えば、乾燥済み食品の外観を検査する処理である。処理回路 110 は、例えば、第 1 画像に示される乾燥済み食品の外観において不良が発生していないかを、取得した色情報に基づいて検査する。

【0044】

処理回路 110 は、例えば、第 1 画像を参照することで、乾燥済み食品に付着した異物を検出し、及び／又は、乾燥済み食品の色味の劣化若しくは悪化を検出することができる。処理回路 110 は、例えば、異物、色味の劣化又は悪化が検出された乾燥済み食品については、再度の検査をするようにユーザ等に通知することができる。また、処理回路 110 の出力に基づいて、固体撮像装置 10 の外部の不良品の排除モジュール等は、例えば、工場のレーンにおいて異物、劣化又は悪化が検出された乾燥済み食品を自動的に排除又はユーザによる再検査を実行する形態としてもよい。

【0045】

上記の処理と並行して、固体撮像装置 10 は、 SWIR 帯域の画像である第 2 画像の取得処理及び第 2 画像に対する処理を実行してもよい。これらは、並行に実行するのではなく、例えば、第 1 画像の処理が終了した後に第 2 画像の処理をしてもよいし、第 2 画像の処理を終了した後に第 1 画像の処理をしてもよい。

【0046】

信号処理回路 108 は、画素回路から出力されたアナログ信号をデジタル信号に変換し、 SWIR 帯域の受光信号に対して適切な処理をすることで、第 2 画像を生成する (S106) 。信号処理回路 108 は、例えば、図2における IR の波長域に対応する受光素子から取得した信号に基づいて、これらの出力から、 SWIR 帯域における画像である第 2 画像を取得する。

【0047】

処理回路 110 は、信号処理回路 108 が生成した第 2 画像に対する処理を実行する (S108) 。この処理は、例えば、乾燥済み食品の水分含有量を検査する処理である。 SWIR 帯域の光は、水分 (水) に吸収される特性がある。このため、処理回路 110 は、例えば、第 2 画像を参照することで、乾燥済み食品の水分の含有量を検出することができる。

【0048】

処理回路 110 は、例えば、第 2 画像を参照することで、乾燥済み食品の水分の含有量を所定しきい値と比較し、水分の含有量が所定しきい値よりも高い場合には、当該乾燥済み食品を再乾燥するようにユーザに通知してもよいし、外部の再乾燥工程実行モジュール等において、例えば、工場のレーン等から再乾燥が必要な乾燥済み食品について自動的に再乾燥工程が実行されるように処理してもよい。

【0049】

所定しきい値は、 1 つである必要はなく、複数のしきい値が備えられていてもよい。また、水分の含有量を連続的な値として取得してもよい。

【0050】

処理回路 110 は、乾燥済み食品の水分含有量から再乾燥工程の有無を判定するとともに、さらに、当該乾燥済み食品の再乾燥工程における乾燥時間を算出して出力してもよい。上記の一例として示したように水分の含有量をしきい値で判定する場合には、処理回路 110 は、判定された範囲における乾燥時間を設定してもよいし、連続的な値として取得する場合には、この連続的な値に対する乾燥時間を算出してもよい。

【0051】

別の例として、処理回路 110 は、取得した第 2 画像から、 SWIR 帯域の光に吸収する成分を検出してもよい。処理回路 110 は、例えば、乾燥済み食品のタンパク質の含有量を第 2 画像から取得することができる。処理回路 110 は、このタンパク質の含有量から、乾燥済み食品の水分の含有量を推論することも可能である。

【0052】

以上のように、本実施形態に係る固体撮像装置 10 によれば、同一の領域に存在する対象について、可視光帯域の第 1 画像と、 SWIR 帯域の第 2 画像とを同じタイミング (又は静止している物体に対しては異なるタイミングでもよい。) で取得することができる。このため、光軸あわせ等の固体撮像装置 10 に関する処理を実行する必要なく、同じ座標を用いて、可視光帯域と SWIR 帯域においてそれぞれの情報を用いた適切な処理をすることができる。

【0053】

上述した限定されない例のように、固体撮像装置 10 によれば、可視光の画像において可視光に適した欠陥等の検知をするとともに、 SWIR の画像において乾燥している物体の水分の含有量等の情報を取得することができる。 SWIR の特性を用いて、この他の例としては、固体撮像装置 10 は、 SWIR 帯域の光を透過する樹脂を用いた物体の内部を非破壊的に外観と同じタイミングで検査することも可能である。

【0054】

また、受光する赤外光の帯域は、 SWIR に限定されず、さらに NIR の帯域の光を受光する受光素子が備えられてもよい。また、 SWIR 帯域において、複数の波長領域の光をそれぞれ受光する受光素子が備えられてもよい。このような場合、赤外光の帯域において、異なる特性を有する画像から、異なる特性に関する欠陥等を検出することも可能となる。例えば、 NIR の帯域において、水分を含有している領域における外観検査でも発見できない異物を検出するとともに、 SWIR の帯域において、水分の含有量の検出をすることもできる。

【0055】

上記の実施形態においては、全体的な処理の流れについて説明したが、以下、処理回路 110 による検査の工程についてより具体的に説明する。

【0056】

処理回路 110 は、第 2 画像から、乾燥食品の種類ごとの水分の含有量を取得することもできる。処理回路 110 は、例えば、固体撮像装置 10 が撮影の対象とする食品の種類に関するデータを事前に受信し、食品の種類に基づいて、データシート等から水分の含有量と、色の濃さとの関係を示すデータを抽出し、このデータに基づいて、第 2 画像から水分の含有量を検出してもよい。

【0057】

処理回路 110 は、第 1 画像に対する判定処理について、学習済みのモデルを用いて実行することができる。この学習済みモデルは、例えば、人間が目視にて判定した良品及び不良品のラベルが付された対象となる食品の画像 (可視光画像) を教師データとすることで、機械学習により訓練されたモデルである。このラベルは、良／不良だけではなく、不良なし、異物付着あり、色味不良あり、といった複数のラベル付けがされていてもよい。

【0058】

このモデルは、任意の機械学習方法により訓練されてもよい。このモデルは、画像ごとに不良があるか否かを判定 (分類) してもよいし、画像内の一部の領域 (対象食品) について不良があるか否かを判定してもよい。

【0059】

すなわち、本開示における固体撮像装置 10 によれば、複数の対象を撮影し、撮影された複数の画像に対して種々の検査を同じタイミングで実現することも可能である。この場合、不良が発生していると判定された対象については、座標又はアドレスを参照することで、第 1 画像及び第 2 画像においてそれぞれどの対象に不良が発生したの情報を取得することができる。

【0060】

図4は、撮影するエリアの一例を示す図である。図中の丸が対象の物体を示す。固体撮像装置 10 は、このような複数の対象を含む画像について、第 1 画像と第 2 画像と、を取得する。

【0061】

図5は、上記の図4に対して、第 1 画像及び第 2 画像の例を示す図である。左の図が第 1 画像の例を示し、右の図が第 2 画像の例を示す。

【0062】

処理回路 110 は、例えば、第 1 画像において斜線で示される対象に外観不良があると検出され、第 2 画像において横線で示される対象に水分を検出したとする。このように、本開示における固体撮像装置 10 では、第 1 画像及び第 2 画像のそれぞれにおいて、不良がある対象を、対象ごとに検出することが可能である。

【0063】

図6は、第 2 画像における不良と判定された対象を、第 1 画像に反映した画像を示す図である。処理回路 110 は、図5のようにそれぞれの画像において判定された不良のある対象を、 1 つの画像に集約 (合成) することもできる。処理回路 110 は、例えば、第 1 画像に、第 2 画像において不良と判定された対象についてマーキングをすることで、外観不良がある対象と、水分を含有している対象とを同じ画像上に示すこともできる。

【0064】

図6においては、処理回路 110 は、一例として、第 1 画像及び第 2 画像の双方で不良と判定された画像については、それぞれの画像における不良判定された対象とは異なるマーキングをしている。同一の光学系を用いて同一の画素アレイ 100 に備えられる画素を用いて情報を取得しているため、固体撮像装置 10 によれば、このような画像の合成も容易に達成することができる。なお、例えば表示装置において表示出力する場合、マーキングは、対象の色変更、対象の点滅、対象の周りを丸で囲む、等により示すこともできるし、対象に対して文字情報として「外観不良」「水分含有量：多」等と表示することもできる。

【0065】

また、モデルは、適切に判定ができるのであれば、任意の形態であってよく、限定されない例として、 MLP (Multi-Layer Perceptron) 又は少なくとも一部に畳み込み層を備える形態であってもよい。

【0066】

また、第 2 画像については、色の濃さで判別できることが多いため、処理回路 110 は、ルールベースに基づいた判定をしてもよいし、第 2 画像についても上記と同様に別途学習した学習済みモデルを用いてもよい。すなわち、処理回路 110 は、第 2 画像に対する水分含有量 (含有の有無を含む) 、及び／又は、タンパク質の含有量 (含有の有無を含む) を、学習済みモデルを用いて判定又は推論してもよい。

【0067】

上記においては、学習済みモデルは、第 1 画像又は第 2 画像のいずれかを入力するものであったが、これに限定されるものではない。学習済みモデルは、例えば、第 1 画像及び第 2 画像のデータを入力層から入力し、入力した双方の画像の情報から乾燥済み食品等の対象の検査 (外観検査、水分含有量等検査の双方の検査) をする形態であってもよい。

【0068】

この場合、信号処理回路 108 は、それぞれの画素回路から出力された色 (IR 帯域含む) ごとのデジタルデータを出力し、処理回路 110 は、信号処理回路 108 から出力された色ごとのデータを学習済みモデルに入力できる形態とすることもできる。

【0069】

固体撮像装置 10 は、人間が対象を感知することができる状態、例えば、太陽光、蛍光灯等の光が対象に照射されている状態で撮影することで第 1 画像を適切に取得することができる。一方で、所望の赤外光の帯域の光が対象に照射されているか否かは不明である。そこで、固体撮像装置 10 は、少なくとも赤外光の帯域の光を射出する光源とともに固体撮像システムを形成してもよい。

【0070】

図7は、一実施形態に係る固体撮像システムを模式的に示す図である。固体撮像システム 1 は、少なくとも、固体撮像装置 10 と、赤外光源 20 と、を備える。固体撮像システム 1 は、さらに、可視光源 22 を備えてもよい。

【0071】

赤外光源 20 は、例えば、赤外光を対象に照射する光源である。この赤外光源 20 は、例えば、固体撮像装置 10 において画像を生成することができる SWIR 帯域の波長を含む光を照射する光源である。固体撮像装置 10 において、 NIR 帯域の波長の情報が SWIR 帯域の波長と併せて取得することが可能である場合、当該 NIR 帯域の波長を含む光源であってもよいし、別途 NIR 帯域の波長に対応する光源が備えられてもよい。また、固体撮像装置 10 において、複数の SWIR 帯域を別々に取得可能である場合には、これらの全ての帯域の波長の光を含む光源であってもよい。

【0072】

固体撮像システム 1 は、検査の対象となる食品等に赤外光源 20 を用いて赤外光を照射することで、固体撮像装置 10 において望ましい波長帯域における光を受光して画像を生成することが可能となる。

【0073】

なお、上記のように固体撮像システム 1 は、さらに、可視光源 22 を備えていてもよい。可視光源 22 は、固体撮像装置 10 において適切な第 1 画像が取得できる帯域の波長を含む光源である。

【0074】

図7の固体撮像システム 1 によれば、固体撮像装置 10 において望ましい波長帯域の光に基づいた画像を生成することが可能となる。この結果、固体撮像システム 1 によれば、上記の固体撮像装置 10 における検査を精度よく実現することが可能となる。

【0075】

前述した実施形態は、以下のような形態としてもよい。

【0076】

(1)
可視光を受光する可視光受光素子と、少なくとも短波長赤外帯域の赤外光を受光する赤外光受光素子と、を単一の画素アレイにおいて有する、撮像素子と、
前記撮像素子が取得したデータから、可視領域における乾燥済み食品の像を示す第 1 画像と、赤外領域における前記前記乾燥済み食品の像を示す第 2 画像と、を生成し、生成した前記第 1 画像及び前記第 2 画像から、前記乾燥済み食品を検査する、処理回路と、
を備える固体撮像装置。

【0077】

(2)
前記処理回路は、少なくとも前記第 2 画像から、前記乾燥済み食品の水分の含有量を検出する、
(1)に記載の固体撮像装置。

【0078】

(3)
前記処理回路は、前記水分の含有量を所定しきい値と比較し、前記水分の含有量が前記所定しきい値よりも高い前記乾燥済み食品を再乾燥工程する対象であることを通知する、
(2)に記載の固体撮像装置。

【0079】

(4)
前記処理回路は、前記水分の含有量に基づいて、前記再乾燥工程の乾燥時間を算出する、
(3)に記載の固体撮像装置。

【0080】

(5)
前記処理回路は、前記乾燥済み食品の水分の含有量を、学習済みモデルを用いて推論する、
(2)から(4)のいずれかに記載の固体撮像装置。

【0081】

(6)
前記処理回路は、少なくとも前記第 2 画像から、前記乾燥済み食品のタンパク質の含有量を検出する、
(1)から(5)のいずれかに記載の固体撮像装置。

【0082】

(7)
前記処理回路は、前記乾燥済み食品のタンパク質の含有量を、学習済みモデルを用いて推論する、
(6)に記載の固体撮像装置。

【0083】

(8)
前記処理回路は、少なくとも前記第 1 画像から、前記乾燥済み食品の外観における不良を検出する、
(1)から(7)のいずれかに記載の固体撮像装置。

【0084】

(9)
前記処理回路は、前記第 1 画像から、前記乾燥済み食品に付着した異物を検出する、
(8)に記載の固体撮像装置。

【0085】

(10)
前記処理回路は、前記第 1 画像から、前記乾燥済み食品の色味の悪化を検出する、
(8)又は(9)に記載の固体撮像装置。

【0086】

(11)
前記処理回路は、前記乾燥済み食品の外観検査を、学習済みモデルを用いて実行する、
(8)から(10)のいずれかに記載の固体撮像装置。

【0087】

(12)
前記処理回路は、学習済みモデルを用いて、前記第 1 画像及び前記第 2 画像に基づいて、前記乾燥済み食品を検査する、
(1)から(11)のいずれかに記載の固体撮像装置。

【0088】

(13)
少なくとも短波長赤外帯域を含む赤外光を射出する、赤外光源と、
(1)から(12)のいずれかに記載の固体撮像装置と、
を備え、
前記撮像素子は、前記赤外光源から射出され、前記乾燥済み食品において反射又は透過した光を前記赤外光受光素子で受光する、
固体撮像システム。

【0089】

本開示の態様は、前述した実施形態に限定されるものではなく、想到しうる種々の変形も含むものであり、本開示の効果も前述の内容に限定されるものではない。各実施形態における構成要素は、適切に組み合わされて適用されてもよい。すなわち、特許請求の範囲に規定された内容及びその均等物から導き出される本開示の概念的な思想と趣旨を逸脱しない範囲で種々の追加、変更及び部分的削除が可能である。

【符号の説明】

【0090】

1: 固体撮像システム、
10: 固体撮像装置、
100: 画素アレイ、
102: 制御回路、
104: 水平駆動回路、
106: 垂直駆動回路、
108: 信号処理回路、
110: 処理回路、
20: 赤外光源、
22: 可視光源

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】