(58)【調査した分野】(Int.Cl.,DB名)
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献1〜特許文献3は、いずれも農産物の色を判断要素として用いる。
例えば、特許文献1は、イチゴの赤色と白色の画像から着色率を判別して収穫の是非の判断をする。また、特許文献2は、イチゴの赤色(着色)部分とピンク色(中間着色)部分のそれぞれがイチゴ全体に占める割合や位置を高精度に特定する。これらは、農産物の成長が本来有する可視光域の色を判断要素とする。
一方で、特許文献4は、紫外光が照射された農産物を撮影した蛍光画像の各画素における色相値および彩度値を算出し、算出された蛍光画像の各画素における色相値および彩度値に基づいて、農産物の変質または変質の予兆の有無を評価する。つまり、特許文献4は、可視光域外(非可視光)の電磁波に基づいて農産物の品質を判断する。
【0006】
農産物の現場においては、特許文献1などのように農産物の成長を評価するのに加えて、特許文献4の変質のように農産物の損傷を評価する必要がある。この要求を満足するには、例えば特許文献2の装置による評価と特許文献4の装置による評価を個別に行えばよいが、二段階の検査をするのでは作業効率が劣る。
【0007】
以上より、本発明は、評価したい複数の波長の画像データを容易に生成できる情報処理装置を提供することを目的とする。
【課題を解決するための手段】
【0008】
本発明の情報処理装置は、撮影された画像を取得する取得部と、取得部で取得した画像から所定のフォーマットの画像データを生成する画像フォーマット生成部と、を備える。
本発明における所定のフォーマットは、ヘッダ領域とデータ領域を備え、ヘッダ領域は、波長の下限値と上限値からなる波長域情報と、波長域情報の登録数情報と、を含み、データ領域は、波長域情報及び登録数情報に従ったデータを含む、ことを特徴とする。
【0009】
本発明における波長域情報及び登録数情報は、画像フォーマット生成部に設定することができる。
【0010】
本発明におけるフォーマットによる画像データは、可視光域及び非可視光域の一方又は双方から選択される複数の波長域情報を含む、ことができる。
具体的には、複数の波長域情報のそれぞれは、可視光域から選択される波長の下限値と上限値とすることができるし、非可視光域から選択される波長の下限値と上限値とすることができる。
【0011】
より具体的には、可視光域においては、XYZ表色系に対応するX,Y,Zのそれぞれの波長域情報を画像データとして含むことができる。
また、非可視光域においては、赤外線の波長域を複数、例えば2つに区分して、区分されたそれぞれの波長域を画像データとして含むことができる。非可視光域としては、赤外線に限るものでなく、紫外線を対象とすることができる。
また、本発明は、可視光域と非可視光域を組み合わせて複数の波長域情報とすることもできる。例えば、XYZ表色系に対応するX,Y,Zのそれぞれの波長域と赤外線の波長域の情報を画像データとして含むことができる。
【0012】
本発明における情報処理装置は、フォーマットによる画像データに基づいて画像を表示する画像表示部を備えることができる。
この画像表示部は、波長域情報から選択される特定の波長に対応する画像を表示する、ことができる。
また、この画像表示部は、複数の波長域情報のそれぞれに対応する複数の画像を並べて表示させるか、または、重ねて表示させる、こともできる。
本発明において、可視光域の画像を表示させる場合、XYZ表色系に基づくことが好ましい。
【発明の効果】
【0013】
本発明の情報処理装置は、画像データのフォーマットにおけるヘッダ領域が、波長の下限値と波長の上限値からなる波長域情報と、波長域の登録数情報と、を含むので、波長域情報を特定することにより、複数の波長の画像データを容易に生成できる。
【発明を実施するための形態】
【0015】
以下、添付図面を参照しながら、本発明の実施形態について説明する。
本実施形態に係る情報処理装置1は、複数の異なる波長域の光に基づいて画像データを生成する。生成される画像データは可視光域のデータと非可視光域のデータを含む。また、可視光域の画像データは、XYZ表色系に基づいており、可視光については人の色域に等しい色域をもつ画像を表示させることができる。
以下、情報処理装置1の構成を説明した後に、情報処理装置1で扱われる画像データのフォーマットを説明する。
【0016】
情報処理装置1は、
図1に示すように、撮影部2で撮影された画像を取得する取得部11と、取得部11が取得した画像に基づいて画像データを生成する生成部12と、生成部12で生成された画像データを記憶する記憶部13と、生成部12で生成された画像データに基づいて所定の評価を行う評価部14と、入力部15と、を備える。生成部12で生成された画像データは、画像表示部4に表示させることができる。情報処理装置1は、必要なプログラムを備えるPC(Personal Computer)で実現できる。
記憶部13は、画像データを蓄積することにより、後に利用できるようにする。評価部14は閾値となる画像データと新たに生成された画像データとを比較することにより、新たに生成された画像データの適否を評価するのに用いることができる。また、入力部15は、情報処理装置1に対する処理を指示したり、波長域情報を入力したりする部位であり、キーボードを用いることができる。
【0017】
図1に示される情報処理装置1は、情報処理装置1と撮影部2が個別に示されているが、本実施形態においては情報処理装置1と撮影部2は、一つの筐体の中に設けて一体をなすこともできるし、それぞれを個別の筐体に設けることもできる。
【0018】
本実施形態は、生成部12で生成される画像データのフォーマットに特徴を有する。このデータフォーマットは、
図2に示すように、一つのフレームFがヘッダ領域Hとデータ領域Dを備えている。なお、フレームFがヘッダ領域H及びデータ領域D以外の要素を備えてもよい。
【0019】
[ヘッダ領域H]
ヘッダ領域Hは、
図2に示すように、画像サイズH1、画像幅H2、波長域情報の登録数情報H3、波長の下限値(波長min.)H4、波長の上限値(波長max.)H5及びビット長H6を含む。
画像サイズH1は、横の画素(ピクセル)の数と縦の画素(ピクセル)の数の積として表される。
【0020】
次に、画像幅H2は、画像のラスター方向(横方向)のデータ数である。例えば、16ビット分解の登録された波長域情報が3つあったとすれば、画像幅H2はラスター方向の画素数と登録されている各波長域のビット長の合計値との積で表される。
【0021】
次に、本実施形態の画像データは、焦点を当てて取得したい光の波長域情報を含む。波長域情報は、
図2に示すように、波長の下限値(波長min.)H4と波長の上限値(波長max.)H5の対により特定される。本実施形態は、単数又は複数の下限値と上限値の対を保持する。
図2における波長域情報の登録数は、画像データの中に含まれるこの下限値と上限値の対からなる波長域情報の数である。なお、下限値と上限値は一致する値であってもよく、この場合の波長域情報は、特定の波長の値となる。
【0022】
図3(a),(b)に波長域情報の登録数と登録された波長域情報の例を示す。
図3(a)は、波長域情報の登録数が「2」の例を示しており、登録されている2つの波長域情報は、♯1と♯2である。なお、波長の単位はnmであるが、
図3(a),(b)は単位の記載が省略されている。
【0023】
図3(a)の♯1は、波長の下限値(波長min.)が510(nm)であり、波長の上限値(波長max.)が530(nm)である。可視光である緑の光の波長は495〜570nmであるが、♯1は緑の波長の中で510〜530nmの波長域を特定している。なお、510〜530nmの値に格別な意味はないが、例えば緑の中で特に510〜530nmの波長域を観察し、評価したい場合にこの値が採用される。♯2も同様である。
【0024】
図3(a)の♯2は、波長の下限値(波長min.)が1100(nm)であり、波長の上限値(波長max.)が1200(nm)である。これは近赤外線の波長域である約700〜2500nmの範囲に含まれるが、♯2は近赤外線の波長域の中で1100〜1200nmの波長域を特定している。
【0025】
図3(b)は、波長域情報の登録数が「3」の例を示しており、登録されている3つの波長域情報は、♯1、♯2及び♯3である。
具体的な説明は省くが、♯1と♯2はそれぞれ可視光の緑、赤の中の特定の波長域を示しており、♯3は紫外線の中の特定の波長域を示している。
【0026】
情報処理装置1のユーザは、波長域情報の登録数と波長域情報を情報処理装置1に設定する。つまり、ユーザは、観察、評価したい波長域情報を選択し、選択された波長域情報と波長域情報の登録数を入力部15から入力すると、記憶部13に登録される。
生成部12は、取得部11を介して画像データを取得すると、記憶部13に記憶されている波長域情報の登録数と波長域情報を参照して、画像データを生成する。
【0027】
次に、ビット長H6は、一つのピクセルのビット数で表され、本実施形態においてXYZ表色系を用いる場合には、X,Y,Zが1バイト(8ビット)ずつを構成する。ただし、これはあくまで一例であり、8ビットより大きい10ビットや12ビットなどが用いられることもある。したがって、X,Y,Zがそれぞれ10ビットの場合には、ビット長H6は30ビットとなる。
このビット長H6と画像サイズH1及び波長域情報の登録数の積により、当該画像データの量が特定される。
【0028】
[データ領域D]
次に、データ領域Dについて
図2を参照して説明する。
データ領域Dは、撮影された画像の画素の単位で構成される。
図2の例は、画素が1番目からn番目まであり、1番目の画素における画像データが「データ♯1」として示され、2番目の画素における画像データが「データ♯2」として示され、最後のn番目の画素における画像データが「データ♯n」として示されている。
【0029】
それぞれの「データ♯n」は、
図2に示すように、「Xn」、「Yn」、「Zn」及び「IRn」を含む。
ここで、情報処理装置1は、一例として可視光と近赤外線を処理の対象にしており、かつ、可視光はXYZ表色系に基づいて表現される。
図2における「Xn」、「Yn」及び「Zn」は、XYZ表色系におけるX軸、Y軸及びZ軸における強度を特定する。また、「IRn」は、近赤外線の強度を示している。
【0030】
XYZ表色系は、1931年に行われた国際照明委員会(Commission Internationa1e de l'Eclairage 、CIE)で承認された標準表色系であり、人間の視覚に近い表色系であるとされている。特に、本実施形態は、撮影された画像をXYZ表色系の三刺激値として生成するXYZカメラを用い、XYZ表色系で表された正確な色情報を利用して色を再現する。
図7に、xy色度図αの外形とR(赤),G(緑),B(青)の三原色を頂点にしたカラートライアングルβの外形を重ねて示す。馬蹄形のxy色度図αの方が三原色を頂点にしたカラートライアングルβよりも表現できる色の範囲が広い。したがって、XYZカメラを用いて画像を生成することにより、RGB表色系では表現しきれない色を含む画像を得ることができる。なお、
図7は色を除いて示してある。
【0031】
次に、情報処理装置1と撮影部2が一体となったXYZカメラ3Aを、
図4を参照して説明する。
XYZカメラ3Aは、可視光域について国際照明委員会(CIE)によるXYZ表色系で規定された等色関数に対応する。
XYZカメラ3Aは、
図4に示すように、物体からの分光情報を取得する画像取得部20と、画像取得部20により取得された分光情報に基づいて、前述したファイルフォーマットに従った画像データを出力する情報処理部30と、を備える。
【0032】
画像取得部20は、鏡筒21の内部に設けられるレンズ22と、レンズ22を通過した光束を4つの光路に分けるプリズム23R,23G、23B,23IRと、23R,23G、23B,23IRにより4つに分けられた光学像のそれぞれを受光して電気信号に変換する撮像素子25R,25G,25B,25IRと、を備える。
プリズム23Rと撮像素子25R、プリズム23Gと撮像素子25G、プリズム23Bと撮像素子25Bの3つの光学系のそれぞれの分光感度がX,Y,Z等色関数に対応する。
撮像素子には、例えばCCD(Charge-Coupled Device:電荷結合素子)、CMOS(Complementary Metal Oxide Semiconductor:相補型金属酸化膜半導体)を用いることができる。
【0033】
プリズム23Rは、
図4に示すように、レンズ22を通過した光線の中からR(赤)の光を抽出し、他の光線から分光する。
プリズム23Gは、
図4に示すように、レンズ22を通過した光線の中からG(緑)の光を抽出し、他の光線から分光する。
プリズム23Bは、
図4に示すように、レンズ22を通過した光線の中からB(青)の光を抽出し、他の光線から分光する。
プリズム23IRは、
図4に示すように、レンズ22を通過した光線の中から近赤外線(IR)を抽出し、他の光線から分離する。
【0034】
プリズム23Rで分けられたR(赤)の光線は撮像素子25Rに照射され、R(赤)の光線に対応する強度の電気信号となって、第一信号処理部31に出力される。
プリズム23Gで分けられたG(緑)の光線は撮像素子25Gに照射され、G(緑)の光線に対応する強度の電気信号となって、第一信号処理部31に出力される。
プリズム23Bで分けられたB(青)の光線は撮像素子25Bに照射され、B(青)の光線に対応する強度の電気信号となって、第一信号処理部31に出力される。
プリズム23Bで分けられた近赤外線(IR)の光線は撮像素子25IRに照射され、近赤外線(IR)の光線に対応する強度の電気信号となって、第二信号処理部33に出力される。
【0035】
次に、情報処理部30は、第一信号処理部31と、第二信号処理部33と、第一信号処理部31及び第二信号処理部33のそれぞれで処理されたXYZ信号(第一信号)S1と近赤外線信号(第二信号)S2を処理することで、前述したファイルフォーマットに従う画像データを生成する画像フォーマット生成部35と、を備える。この画像フォーマット生成部35が前述した情報処理装置1の生成部12に対応する。
【0036】
第一信号処理部31は、撮像素子25Rから出力される電気信号R、撮像素子25Gから出力される電気信号G及び撮像素子25Bから出力される電気信号Bを取得して、画素欠陥補正、シェーディング補正、レンズ収差補正、ホワイトクリップ、デジタルゲイン・ホワイトバランス、カラーマトリクス処理、ガンマ補正及びノイズリダクションを順に行う。
第一信号処理部31は、以上の処理を行って生成したXYZ信号S1を画像フォーマット生成部35に向けて出力する。なお、第一信号処理部31が行う処理のそれぞれは公知であるので、ここでの説明を省略する。また、以上の一連の処理は一例にすぎず、他の処理を加えたり、一部の処理を省いたりすることができる。
【0037】
次に、第二信号処理部33は、撮像素子25IRから出力される電気信号IRを取得して、画素欠陥補正、シェーディング補正、レンズ収差補正、ホワイトクリップ、デジタルゲイン、ガンマ補正及びノイズリダクションを順に行う。
第二信号処理部33は、以上の処理を行って生成した近赤外線信号S2を画像フォーマット生成部35に向けて出力する。なお、また、以上の一連の処理は一例にすぎず、他の処理を加えたり、一部の処理を省いたりすることができる。
【0038】
画像フォーマット生成部35は、第一信号処理部31から取得するXYZ信号S1と第二信号処理部33から取得する近赤外線信号S2を用いて、上述したヘッダ領域Hとデータ領域Dを備えるフォーマットの画像データを生成する。
画像フォーマット生成部35には、予め波長域情報と波長域情報の登録数からなる波長データが設定される。波長データは、固定値とすることもできるし、用途に応じて設定を変更することもできる。
生成された画像データは画像表示部4に向けて出力され、画像表示部4に所定の画像が表示される。画像表示部4としては、例えばLCD(Liquid Crystal Display:液晶ディスプレイ)を用いることができる。
【0039】
[XYZカメラ3Aの使用例]
XYZカメラ3Aを用いて被写体であるイチゴを検査することを想定する。
イチゴは果肉が弱く損傷し易いことが知られているが、この損傷が生じた初期の軽微な段階には肉眼では損傷を確認することは難しい。ところが、非特許文献1に記載されるように、近赤外線を使用することで、人間の目で確認できない、イチゴの軽微な損傷を検出することができる。
図8(a)は、近赤外線カメラを用いて取得したイチゴの画像を示すが、損傷している部位を円で囲っている。なお、
図8(b)は損傷が生じていないイチゴを近赤外線カメラで撮影した画像である。
【0040】
また、よく知られているように、現行のRGBカメラが表現できるのは、
図7において、カラートライアングルβで囲まれる範囲の色である。一方で人の目が認識できるのは
図7の馬蹄形で示されるxy色度図αの範囲であるから、一般的なRGBカメラで撮影された画像では、本来は色の差が大きかった測色値も縮退し、差がほとんどなくなることもある。したがって、例えば、人の目では違いを見分けることのできる緑(G)の茎と葉の色をRGBカメラだと見分けることができない。
ところが、XYZカメラ3Aは人の目と等価な感度を有するので、本来の色の差も人の目と同じように見分けることができる。
【0041】
以上の通りであるから、XYZカメラ3Aを用いることにより、イチゴの軽微な損傷を検出することができると同時に、イチゴの実にも緑の部分があることを識別し、葉と茎を別の色として認識できる。これは、イチゴに限らず、農産物の検査、収穫などの作業に広く適用できる。
【0042】
[XYZカメラ3Aの変形例(XYZカメラ3B)]
以上で説明したXYZカメラ3Aは、カメラの筐体内に画像フォーマット生成部35を備えているが、本発明はこれに限らず、画像フォーマット生成部35をカメラの外部に設けることもできる。
つまり、
図5に示すXYZカメラ3Bのように、画像フォーマット生成部35を外部に設けるとともに、XYZカメラ3Bは1系統の信号処理部34を備える。信号処理部34は、撮像素子25RからのR(赤)に対応する電気信号、撮像素子25GからのG(緑)に対応する電気信号、撮像素子25BからのB(青)に対応する強度の電気信号、及び、撮像素子25Aからの近赤外線(IR)に対応する電気信号を受ける。そして、信号処理部34は、第一信号処理部31と第二信号処理部33と同様の処理を施して、画像フォーマット生成部35に処理された画像信号を送る。
画像フォーマット生成部35は、
図2に示すフォーマットに従った画像データを生成するとともに画像表示部4に向けて出力する。
【0043】
また、カメラの外部に画像フォーマット生成部35を設ける場合に、
図6に示すXYZカメラ3Cのように、信号処理部として第一信号処理部31と第二信号処理部33を設けることもできる。
【0044】
画像フォーマット生成部35で生成された画像データを画像表示部4に表示させるには、以下の形態を採用できる。
形態1:任意の一つの波長のデータを選択して、このデータに基づく画像を画像表示部4に全画面表示させることができる。例えば近赤外線に該当する一つの波長のデータを選択して、
図8(a)に示すイチゴの画像を全画面表示させる。
【0045】
形態2:任意の波長のデータ中から複数、例えば二つを選択して、このデータに基づく二つの画像を並べて表示させることができる。
例えば近赤外線に該当する一つの波長のデータを選択するとともに、赤に該当する一つの波長のデータを選択して、
図8(a)と
図8(b)に示す二つのイチゴの画像を並べて表示させる。
【0046】
形態3:任意の波長のデータ中から複数、例えば二つを選択して、このデータに基づく二つの画像を重ね表示させることができる。
例えば近赤外線に該当する一つの波長のデータを選択するとともに、赤に該当する一つの波長のデータを選択して、
図8(a)と
図8(b)に示す二つのイチゴの画像を重ねて表示させる。
【0047】
[効 果]
以上説明したように、本実施形態の情報処理装置1は、画像データのフォーマットに波長域情報を含むので、評価したい波長域が予め特定された画像データを煩雑な処理を行うことなく生成できる。したがって、情報処理装置1によれば農産物を検査、収穫する作業を迅速に行うことができる。
また、情報処理装置1は、波長域の設定を変更できるので、用途に応じた適切な波長域情報を画像フォーマット生成部35に設定することにより、必要な波長域の画像だけを表示させることができるしたがって、情報処理装置1によれば、農産物の検査、収穫の作業を適切にかつ迅速に行うことができる。
【0048】
以上、本発明を好ましい実施形態に基づいて説明したが、本発明の主旨を逸脱しない限り、上記実施形態で挙げた構成を取捨選択したり、他の構成に適宜変更したりすることが可能である。
例えば、以上説明したヘッダ領域Hにおける波長の下限値(波長min.)H4と波長の上限値(波長max.)H5は、異なる値であることが一般的ではあるが、下限値(波長min.)H4と上限値(波長max.)H5が一致してもよい。
【0049】
また、以上の実施形態は本発明の一例として可視光と非可視光として近赤外線の組み合わせの例を示したが、本発明はこれに限定されない。つまり本発明は、可視光域及び非可視光域の一方又は双方から選択される複数の波長域情報を含み、可視光域だけから複数の波長域情報を含むことができるし、非可視光域だけから複数の波長域情報を含むことができる。可視光域だけから複数の波長域情報を含む場合には、XYZ表色系に基づく3つの波長域情報を特定すれば、可視光すべてを表現できる。非可視光域だけから複数の波長域情報を含む場合には、例えば近赤外線を700〜900nmと900〜1400nmというように2つの波長域情報に区分することができる。また、赤外線を、近赤外線と中赤外線の2つの波長域情報に区分することができる。
また、本発明は、可視光域と非可視光域のそれぞれから波長域情報を含むことができるが、可視光域については、XYZ表色系に基づく3つの波長域情報を特定し、非可視光域については赤外線を全域(800〜1400nm)として特定してもよいし、上記のように区分して特定してもよい。非可視光域については、赤外線に限らず、紫外線の領域の波長域情報を含むことができる。
【0050】
さらに、カメラ3A,3B,3Cは、プリズムを用いて分光しているが、本発明はこれに限らず、カラーフィルタを用いることもできる。このカラーフィルタは、XYZ表色系の等色関数に基づいた分光透過率が異なる複数のカラーフィルタから構成される。