【文献】
城殿清澄 ほか,近赤外領域の分光反射特性を利用した物体識別,電子情報通信学会2009年総合大会講演論文集 情報・システム2,2009年 3月 4日,情報・システム講演論文集2,Page 101
(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0009】
(本発明の基礎となった知見)
本発明者らは、従来の技術において、以下の問題が生じることを見いだした。
【0010】
近年、画像処理により、撮影された物体を推定する技術が開発されている。
【0011】
非特許文献1では、入射光をプリズムで3つに分光し、分光したそれぞれの光と撮像素子(イメージセンサ)の間に狭帯域のバンドパスフィルタを設置し、3つの撮像素子で撮像する。バンドパスフィルタは、870nm,970nm,1050nmである。870nmのバンドパスフィルタを有する撮像素子で撮像された画素(x,y)の画素値をi(x,y)、970nmのバンドパスフィルタを有する撮像素子で撮像された画素(x,y)の画素値をj(x,y)、1050nmのバンドパスフィルタを有する撮像素子で撮像された画素(x,y)の画素値をk(x,y)とし、
f1(x,y)=i(x,y)/j(x,y)
f2(x,y)=k(x,y)/j(x,y)
で定義される相対反射率f1(x,y)、f2(x,y)を求める。素材により、f1,f2で表される特徴量の分布に偏りが見られるので、これを利用して、アスファルト、植物、空、服などの物体の推定を行う。
【0012】
このように、非特許文献1では赤外光を利用することで物体の推定を実現している。
【0013】
しかしながら、非特許文献1に示す装置では、プリズムと、バンドパスフィルタ、そして、3つの撮像素子が必要となる。複数の赤外光光源(波長が異なるもの)が必要なことや、プリズムやバンドパスフィルタ、そして3つの撮像素子が必要なことは、機器の大型化を引き起こす。
【0014】
このような問題を解決するために、本発明の一態様にかかる推定装置は、赤外光が物体で反射された反射光を用いる推定装置であって、赤外光の波長領域で第1の分光感度特性を有する第1の画素と、赤外光の波長領域で第1の分光感度特性と異なる第2の分光感度特性を有する第2の画素を含む単一のイメージセンサーと、反射光の第1の画素の出力値である第1出力値と、反射光の第2の画素の出力値である第2出力値に基づいて物体の色または素材の少なくとも一方を推定する推定部を含む。
【0015】
これにより単一のイメージセンサーで物体の色または素材の少なくとも一方を推定することができる。すなわち、機器の大型化などを引き起こさずに物体の色または素材の少なくとも一方を推定することができる。
【0016】
また、例えば、赤外光を発光する単一赤外光光源を含むようにしてもよい。
【0017】
これにより機器の大型化を引き起こさずに物体の色または素材の少なくとも一方を推定することができる。
【0018】
また、例えば、第1の分光感度特性は波長が長くなると増加し、第2の分光感度特性は波長が長くなると減少するようにしてもよい。
【0019】
これにより単一のイメージセンサーと単一赤外光光源で物体の色または素材の少なくとも一方を推定することができる。
【0020】
また、例えば、推定装置は第1出力値と第2出力値の比に対応する物体の色と素材を示すデータと、第1出力値と第2出力値の比を算出する比率計算部とをさらに含み、推定部は算出された比とデータに基づいて物体の色または素材の少なくとも一方を推定するようにしてもよい。
【0021】
これにより、推定に際して、光源、物体、イメージセンサー間の距離に起因する各画素の出力値の変動を吸収することができる。
【0022】
また、例えば、イメージセンサーはベイヤー構造を有し、第1の画素は青色を通過する光学カラーフィルターを含み、第2の画素は赤色を通過する光学カラーフィルターを含むようにしてもよい。
【0023】
これにより機器の大型化を引き起こさずに物体の色または素材の少なくとも一方を推定することができる。
【0024】
また、例えば、特定の波長領域の赤外光を通過させるバンドパスフィルターを含むようにしてもよい。
【0025】
これにより外乱光の影響を低減することができる。
【0026】
また、例えば、第1の赤外光光源と、第2の赤外光光源を含み、赤外光は第1の赤外光であり、第1の赤外光は第1の赤外光光源から発光され、反射光は第1の反射光であり、第2の赤外光は第2の赤外光光源から発光され、第1の赤外光の最大照度を示す波長と第2の赤外光の最大照度を示す波長が異なるようにしてもよい。
【0027】
また、例えば、推定装置はさらに第1の比と第2の比を算出する比率計算部を含み、推定部は第1の比と第2の比に基づいて物体の色または素材の少なくとも一方を推定し、第1の比は第1出力値と第2出力値の比であり、第1の画素は、第2の赤外光の波長領域で第3の分光感度特性を有し、第2の画素は、第2の赤外光の波長領域で第4の分光感度特性を有し、第3の分光感度特性は第4の分光感度特性とは異なり、第2の比は第2の赤外光が物体で反射された第2の反射光の第1の画素の出力値である第3出力値と、第2の反射光の第2の画素の出力値である第4出力値の比であるようにしてもよい。
【0028】
これにより物体の色または素材の少なくとも一方の推定精度を向上することができる。
【0029】
また、例えば、第1の赤外光光源の発光中心波長は870nmであり、第2の赤外光光源の発光中心波長は950nmであり、推定対象の物体は人間の肌であるようにしてもよい。
【0030】
これにより人間の肌推定の精度を向上することができる。
【0031】
なお、これらの全般的または具体的な態様は、方法、システム、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なCD−ROMなどの記録媒体で実現されてもよく、方法、システム、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
【0032】
以下、本発明の実施の形態について、図面を参照しながら具体的に説明する。
【0033】
なお、以下で説明する実施の形態は、いずれも本発明の包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
【0034】
また、以下の説明では、同一の構成要素には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明を省略する場合がある。
【0035】
(実施の形態)
図1は、本発明の一実施の形態の推定装置のハードウエア構成例を示す図である。推定装置100は赤外画像を撮像するイメージセンサーなどの撮像デバイス101、特定の波長の赤外線を照射するLED(Light Emitting Diode)等の赤外照明などの光源102、カメラやディスプレイなどの外部入出力を接続するI/O(Input/Output)103、システム全体を制御するCPU(Central Processing Unit)104、主に画像処理などの信号処理を行うDSP(Digital Signal Processor)105、メモリ106、結果を表示する表示デバイス107を含む。なお、撮像デバイス101は、可視光の影響を抑制するための可視光カットフィルタを備えていてもよい。可視光カットフィルタを備えている場合は、可視光による外乱影響が小さくなるため、明るい環境であっても推定装置100を良好に動作させることが可能となる。
図1では、物体の色または素材の少なくとも一方の推定は、CPU104とDSP105が協調して、または、どちらかで実現される。なお、推定処理の処理負荷を軽減するために専用のASIC(Application Specific Integrated Circuit)や書き換え可能なハードウェアデバイスであるFPGA(Field Programmable Gate Array)などを用いて推定処理を実現してもよい。
【0036】
図2は、本発明の一実施の形態における推定装置の機能構成例を示すブロック図である。
図1との対応関係は次のようになる。
【0037】
入力部201は撮像デバイス101とI/O103を含む。
【0038】
比率計算部202と推定部203はCPU104またはDSP105で実行されるプログラムを含む。
【0039】
特性データベース204はメモリ106に記録されたデータを含む。
【0040】
出力部205はI/O103に接続された表示デバイス107を含む。
【0041】
推定装置100は、入力された赤外画像から撮影された物体の色または素材の少なくとも一方を推定し、テキストデータや音、マーカー、あるいは赤外画像への着色や、赤外画像の信号レベルの変更などによりユーザに結果を提示してもよい。以下、処理について、詳しく説明を行う。
【0042】
<撮像デバイスの分光感度特性>
撮像デバイス101はベイヤー配列のカラーイメージセンサーとしてもよい。
図3はベイヤー配列のカラーイメージセンサー301の構成図である。ベイヤー配列のカラーイメージセンサー301には、赤色、緑色、青色のいずれかに対して強い感度を持つ画素が規則的に配置されている。2×2画素中に赤色の光に強い感度を示す画素であるR画素が1画素、青色の光に強い感度を示す画素であるB画素が1画素、緑色の光に強い感度を示す画素であるG画素が2画素含まれる。またG画素は2×2画素の水平方向と垂直方向に1つずつ含まれる。
図3において、RはR画素、BはB画素、GはG画素を示す。R画素の感度、G画素の感度、B画素の感度は、各画素に配置されるカラーフィルターにより調整されており、例えば
図4のような分光感度特性を持つ。
【0043】
図4はB画素が備えるカラーフィルターの分光感度特性401、G画素が備えるカラーフィルターの分光感度特性402、R画素が備えるカラーフィルターの分光感度特性403を示す。波長750nmから右側が近赤外となるが、本発明では、この部分の波長を利用する。
図4の波長領域404は波長が750〜850nmであるが、この波長領域404でB画素が備えるカラーフィルターの分光感度特性、G画素が備えるカラーフィルターの分光感度特性、R画素が備えるカラーフィルターの分光感度特性が異なる。特に、750〜850nm近辺においては、B画素が備えるカラーフィルターの分光感度特性は、R画素が備えるカラーフィルターの分光感度特性と大きく異なる。750〜850nm近辺においては、B画素が備えるカラーフィルターの分光感度特性は増加傾向を示し、R画素が備えるカラーフィルターの分光感度特性は減少傾向を示す。本実施の形態では、各カラーフィルターの750〜850nmの波長域の分光感度特性の違いを利用する。
【0044】
なお、本実施の形態では、カラーイメージセンサーは原色(赤、緑、青)光に強い感度を示すものとしたが、重要となるのは赤外部の分光感度特性であるため、補色(シアン、マゼンタ、イエロー)の光に強い感度を示すカラーイメージセンサーや、あるいはそのほかの色の光に強い感度を示すカラーイメージセンサーであっても同様の効果が期待できる。本発明の実施の形態で示された発明の効果と同等の効果を得るには、特定の波長域において、最低限2つの異なる分光感度特性を備える画素が配置されていればよい。
【0045】
図8は、イメージセンサーの配列の一例を示す図で、赤外の分光感度特性の異なるP画素とQ画素が配置された例である。
図8において、PはP画素、QはQ画素を示す。このような構成でも本実施の形態で示された発明と同様の効果を得ることが期待できる。
【0046】
また、本実施の形態では、750〜850nmのカラーフィルターの特性を利用するが、例えば850〜950nmの領域で異なる分光感度特性を持つようにカラーフィルターを構成すれば、850〜950nmの波長領域を利用することもできる。この場合は、850〜950nmの領域で特徴的な分光反射特性を持つ素材を良好に判別することができる。この850〜950nmでの判定を行う場合、例えば、人間の肌と衣服、髪の毛の判別を良好に行うことができる。
【0047】
<赤外線LEDの分光照度特性>
図5は、830nmを中心とした赤外線LEDの照度特性501を示す。一般的な光源では、特定の波長の光源といっても
図5のようにある程度の波長幅を持つ。
図5の例では、830nmを中心として、緩やかに照度が落ち、±50nmほどの波長幅を持つ。このように、赤外線LED光源では、光源自身が一定幅の波長領域の赤外線を照射する。
【0048】
本実施の形態では、このように一定波長の幅を持つ赤外光光源の特徴を利用する。本実施の形態では、光源として赤外線LEDを示したが、一定幅を持つ光源であれば他の赤外光光源を利用してもよい。また、カラーイメージセンサー側にバンドパスフィルタを設け、特定の波長領域の赤外光、すなわち、一定幅の波長を有する光のみ通過させるようにしてもよい。これによりカラーイメージセンサーの画素からの出力値は、外乱光の影響を小さくすることができる。
【0049】
<物体の分光反射特性>
図6は、サンプル物体の分光反射特性601を含む。さらに、
図6は
図4で示したB画素が備えるカラーフィルターの分光感度特性401、G画素が備えるカラーフィルターの分光感度特性402、R画素が備えるカラーフィルターの分光感度特性403、
図5で示した赤外線LEDの照度特性501を含む。分光反射特性601が示すように、この物体は、750〜850nmの領域で反射率が減少する特性を持つ。この物体に、赤外線LEDの照度特性501を示す赤外光を照射すると、物体は分光反射特性601に従ってこの赤外光を反射する。反射光を受光したB画素からはB画素が備えるカラーフィルターの分光感度特性401に従った出力が得られる。反射光を受光したG画素からはG画素が備えるカラーフィルターの分光感度特性402に従った出力が得られる。反射光を受光したR画素からはR画素が備えるカラーフィルターの分光感度特性403に従った出力が得られる。このとき、B画素が備えるカラーフィルターの750〜850nmの領域の分光感度特性401、G画素が備えるカラーフィルターの750〜850nmの領域の分光感度特性402、R画素が備えるカラーフィルターの750〜850nmの領域の分光感度特性403が異なるため、B画素からの出力値、G画素からの出力値、R画素からの出力値は異なる値となる。このB画素、G画素、R画素の分光感度特性の違いを利用することで、波長領域404における物体の分光反射特性の傾きを推定する。
【0050】
図7A、
図7B、
図7C、
図7Dは、物体の分光感度特性の傾きの推定例を示すものである。
図7A、
図7B、
図7C、
図7Dでは、簡単のために赤色に強い感度を示す画素であるR画素の分光感度特性1011、青色に強い感度を示す画素であるB画素の分光感度特性1012、ある特定の色Xに強い感度を示す画素であるX画素の分光感度特性1013、物体の分光反射特性1601、物体の分光反射特性1602は線形に表現しているがこれらの特性は線形である必要はない。また、照明光となる赤外線LEDの照度特性はここでは波長に依存しないとして説明するが、赤外線LEDの照度特性を加味した場合でも同様の結果が期待できる。
【0051】
物体の分光反射特性が特定の波長範囲で単調増加する例を示す
図7Aと、物体の分光反射特性が特定の波長範囲で単調減少する例を示す
図7Bを用いて、物体の分光反射特性の傾き推定の例を説明する。
【0052】
図7Aは物体の分光反射特性1601、R画素の分光感度特性1011、B画素の分光感度特性1012、R画素の出力特性701、B画素の出力特性702を示す。750〜850nmの波長域においては、R画素の分光感度特性1011は単調減少、B画素の分光感度特性1012は単調増加の特性をもつとする。また、物体の分光反射特性1601は、単調増加であるとする。R画素の出力特性701は物体の分光反射特性1601とR画素の分光感度特性1011を加味したものとなる。B画素の出力特性702は物体の分光反射特性1601とB画素の分光感度特性1012を加味したものとなる。このとき、750〜850nmの帯域に対するR画素の出力値はR画素の出力特性701を750〜850nmの区間で積分したものになる。同様に750〜850nmの帯域に対するB画素の出力値はB画素の出力特性702を750〜850nmの区間で積分したものになる。図から明らかなように、B画素の出力特性702の750〜850nmの区間での積分値は、R画素の出力特性701の750〜850nmの区間での積分値より大きくなる。
【0053】
図7Bは物体の分光反射特性1602、R画素の分光感度特性1011、B画素の分光感度特性1012、R画素の出力特性1021、B画素の出力特性1022を示す。750〜850nmの波長域においては、R画素の分光感度特性1011は単調減少、B画素の分光感度特性1012は単調増加の特性をもつとする。また、物体の分光反射特性1602は、単調減少であるとする。R画素の出力特性1021は物体の分光反射特性1602とR画素の分光感度特性1011を加味したものとなる。B画素の出力特性1022は物体の分光反射特性1602とB画素の分光感度特性1012を加味したものとなる。このとき、750〜850nmの帯域に対するR画素の出力値はR画素の出力特性1021を750〜850nmの区間で積分したものになる。同様に750〜850nmの帯域に対するB画素の出力値はB画素の出力特性1022を750〜850nmの区間で積分したものになる。図から明らかなように、B画素の出力特性1022の750〜850nmの区間での積分値は、R画素の出力特性1021の750〜850nmの区間での積分値より小さくなる。
【0054】
以上のように、イメージセンサーのR画素の出力値、B画素の出力値の大小関係より、物体の分光反射特性が、特定の赤外領域に対して、増加方向なのか、減少方向なのかを推定することができる。
【0055】
図7Cは物体の分光反射特性1601、R画素の分光感度特性1011、X画素の分光感度特性1013、R画素の出力特性701、X画素の出力特性1032を示す。
【0056】
図7Dは物体の分光反射特性1602、R画素の分光感度特性1011、X画素の分光感度特性1013、R画素の出力特性1021、X画素の出力特性1042を示す。
【0057】
図7C、
図7Dのようにセンサーの分光感度特性がどちらも単調減少(あるいは、単調増加)であっても、各画素の値を用いて比較することにより、物体の分光反射特性を推定することが可能になる。
【0058】
また、ここでは例をあげて説明しないが、センサーの分光感度特性がどちらも単調増加であっても、各画素の値を比較することにより、物体の分光反射特性を推定することが可能になることは明らかである。
【0059】
このように、少なくとも、イメージセンサーが備える2種類の画素のカラーフィルターの分光感度特性が異なれば、それにより物体の分光反射特性を推定することができる。そして、あらかじめ分光反射特性と、物体の色と素材の対応テーブルを作成しておけば、推定した分光反射特性とこの対応テーブルを用いて、物体の色または素材の少なくとも一方の推定を行うことが可能になる。なお、使用する2種のイメージセンサーの分光感度特性は、
図7A,
図7Bに示したように、一方のイメージセンサーの分光感度特性は波長に対して増加方向であり、他方のイメージセンサーの分光感度特性は波長に対して減少方向であるように異なることが望ましい。しかし、
図7C,
図7Dに示すように使用する2種のイメージセンサーの両方の分光感度特性が波長に対して、減少傾向であっても、分光感度特性の傾きが異なれば分光感度特性の推定は可能である。
【0060】
また、図示しないが、使用する2種のイメージセンサーの両方の分光感度特性が波長に対して、増加傾向であっても、分光感度特性の傾きが異なれば分光感度特性の推定は可能である。
【0061】
また、例では2種の画素種(R画素とB画素、あるいは、R画素とX画素)の画素値だけを利用したが、3種の画素種(例えば、R画素、B画素、G画素)の画素値を用いることで、より正確な推定が可能となる。また、上記の例では画素の出力値の大小関係を比較するように説明したが、例えば、R画素出力値/G画素出力値、R画素出力値/B画素出力値、B画素出力値/G画素出力値といった比率により物体の色または素材の少なくとも一方の推定をおこなってもよい。各画素における受光強度は光源、物体、イメージセンサー間の距離に起因して変動する。しかし、比率で推定することで、推定に際して、この距離の変動による各画素の出力値の変動を吸収することができる。
【0062】
なお、本実施の形態では、原色(赤,緑,青)の光に強い感度を示すカラーイメージセンサーを例に説明したが、補色(シアン、マゼンタ、イエロー)の光に強い感度を示すカラーイメージセンサーであっても、2種の画素の分光感度特性が、増加方向と減少方向の差があるなどの上記で説明したような赤外領域で同等の特性を持てば本実施の形態と同様の推定を行うことができる。このように、一般的なイメージセンサーのフィルタ特性を利用、または、赤外線波長領域の特性に手を加えることで赤外単一光源による物体の色または素材の少なくとも一方の推定を実現することができる。
【0063】
<処理フロー>
以下、処理フローについて説明する。
図9は、本発明の一実施の形態の推定の処理の一例を示すフローチャートである。
【0064】
まず、注目画素位置の座標を(0,0)に初期化する(S901)。
【0065】
次に画素位置に対する画素処理を行い、画素位置の画素に対する結果を出力する(S902)。
【0066】
すべての画素に対して処理が完了しているかどうかチェックし(S903)、すべての画素に対して処理が完了している場合は処理を終了する。
【0067】
また、処理する画素が残っている場合には、注目画素の位置を更新しS902の処理を繰り返す(S904)。
【0068】
図10は画素処理S902の一例を示すフローチャートである。
【0069】
画素処理では、まず注目画素周辺の画素を用いて、R画素の出力、G画素の出力、B画素の出力に個別にローパスフィルタ処理を行う(S1001)。このローパスフィルタ処理は、撮像した画像のノイズの影響を抑えるためのもので、十分な照度を得られており、ノイズの影響が少ない場合には省略可能である。
【0070】
次に、ローパスフィルタ処理の結果の正規化処理を行う(S1002)。正規化処理は、R画素の分光感度、G画素の分光感度、Bの分光感度の差を補正するものである。この正規化は特定の波長領域における物体の分光反射特性が波長に依存しないとした場合にR画素の分光感度、G画素の分光感度、Bの分光感度が同じになるようにする。これは例えば、以下に述べる方法により実現できる。
【0071】
まず、推定装置100を製造する際に基準光を撮像デバイス101に照射して、各画素の出力を得る。そして、その出力値の基準値からのずれを補正するための補正値の一覧を示すルックアップテーブルを作成する。作成されたルックアップテーブルをメモリ106に保持させる。そして、物体の色または素材の少なくとも一方を推定する時には、作成されたルックアップテーブルを参照して、各画素の出力値に応じた補正値を得て、その補正値で各画素の出力値を補正する。
【0072】
なお、
図7A、
図7B、
図7C、
図7Dに示す例では、この正規化処理は行われていなかったが、これは、例えば、
図7A、
図7Bに示す分光感度特性の場合、波長に依存しない分光反射特性を持つ物体に対するR画素の出力値とB画素の出力値がほぼ同じで、感度差の影響が少なかったからである。このように、感度差の影響が少ない場合は、正規化処理をスキップ可能である。
【0073】
次に、R画素の出力値、G画素の出力値、B画素の出力値の比率を計算する(S1003)。比率計算の結果としては、例えば、(R画素の出力値)/(G画素の出力値)だけ、(R画素の出力値)/(B画素の出力値)だけ、(B画素の出力値)/(G画素の出力値)だけといったものや、これらを2つ以上組み合わせたものが考えられる。
【0074】
推定処理では、これらの比率を用いて物体の色または素材の少なくとも一方の推定を行う(S1004)。物体の色または素材の少なくとも一方の推定は、例えば1倍より比率が大きい、または、小さいといった大小比較により求める方法と、特性データベース204にあらかじめ用意されたテーブルを参照して行う方法などがある。このテーブルを使用する方法については後述する。
【0075】
出力結果処理(S1005)では、推定結果に基づき、彩色(着色)や画素値の変更(例えば。特定の物体の素材が存在する画素以外は表示しない)、あるいはテキストデータやマーカー表示などにより結果を出力する。例えば、彩色を行った場合には、推定結果に基づき赤外線画像がカラー表示される。
【0076】
なお、特性データベース204が、
図11に示すようなあらかじめ用意されたテーブル1701を保持してもよい。
【0077】
テーブル1701は画素の出力値の比率の組み合わせ〔Ai,Bi,Ci〕=〔(R画素の出力値)/(G画素の出力値),(G画素の出力値)/B画素の出力値),(B画素の出力値)/(R画素の出力値)〕に対応する物体の色と素材を示す。ただし、iは自然数でテーブルに含まれる比率の組み合わせの個数である。このデータ数が多ければ多いほど(iが大きいほど)推定の精度が向上する。
【0078】
比率計算部202は、入力部201から注目画素および注目画素の近辺の画素のR画素の出力値、G画素の出力値、B画素の出力値を得る。そして、比率計算部202は、例えば、3つの比、すなわち(R画素の出力値)/(G画素の出力値),(G画素の出力値)/B画素の出力値),(B画素の出力値)/(R画素の出力値)を算出する。
【0079】
推定部203は比率計算部202が算出した比率の組み合わせである〔D,E,F〕=〔(R画素の出力値)/(G画素の出力値),(R画素の出力値)/(B画素の出力値),(B画素の出力値)/(G画素の出力値)〕をインデックスとして、似た比率の組をテーブル1701よりあいまい検索して、もっとも近い比率の組み合わせに対応する物体の色と素材を推定結果として出力する。なお、物体の色のみを推定結果としても出力してもよい。また、物体の素材のみを推定結果として出力してもよい。あいまい検索は、例えば、
(Ai−D)×(Ai−D)+(Bi−E)×(Bi−E)+(Ci−F)×(Ci−F)
をすべてのiについて算出し、この値がもっとも小さい場合のiを決定(この場合のiをjとする)し、テーブル1701を参照して〔Aj,Bj,Cj〕に対応する色と素材を推定結果とする。
【0080】
また、テーブル1701は、色と素材に代えて色を保持し、色の推定のみをおこなってもよい。最も近い比率の組み合わせが複数ある場合には、それらに対応する色を補間して推定結果としてもよい。例えば、最も近い比率の組み合わせが2つあり、それらに対応する色が青と赤である場合、推定結果は青と赤の中間の色である紫であるとしてもよい。
【0081】
また、テーブル1701は、色と素材に代えて特定の素材である確率(例えば人間の肌である確率)を保持し、特定の素材である確率を推定するようにしてもよい。最も近い比率の組み合わせが複数ある場合には、それらに対応する確率を補間して推定結果としてもよい。例えば、最も近い比率の組み合わせが2つあり、それらに対応する比率が90%と70%である場合、推定結果は80%としてもよい。
【0082】
上記推定結果をユーザに提示を行ってもよい。
【0083】
以上のように本発明の一実施の形態によれば、単一の赤外光光源と単一のイメージセンサーのみを利用して、物体の色または素材の少なくとも一方の推定を行うことが可能となる。
【0084】
なお、本実施の形態では、1つの赤外光光源と1つのイメージセンサーのみを利用する例を示したが、2つの赤外光光源を利用する場合も考えることができる。この場合は、第1の赤外光光源の波長領域での物体の分光反射特性の傾きと、第2の赤外光光源の波長領域での物体の分光反射特性の傾きを測定することができ、従来例で2つの光源を用いて物体の1つの分光反射特性の傾きを推定する場合と比較して、より多くの情報を得ることが可能である。これにより推定精度を高めることができる。
【0085】
また、さらに赤外光光源を増やすことも可能であるが、この場合も同様に従来例に比べてより多くの情報を収集することが可能となり、推定精度を向上させることが可能となる。2つの赤外光光源を利用する場合について、以下に説明する。
【0086】
第1の赤外光光源の発光中心波長(最大照度を示す波長)を870nm、第2の赤外光光源の発光中心波長(最大照度を示す波長)を950nmとし、物体が人間の肌かどうかを判定することを考える。
【0087】
870nm近辺において人の肌の分光反射特性は波長が増加すると減少する。また、950nm近辺において人の肌の分光反射特性は波長が増加すると減少する。
【0088】
イメージセンサーはY画素とZ画素を備えるとする。Y画素の分光特性は870nm近辺において、波長が増加すると、増加するものとする。Y画素の分光特性は950nm近辺において、波長が増加すると、増加するものとする。
【0089】
また、Z画素の分光特性は870nm近辺において、波長が増加すると、減少するものとする。Z画素の分光特性は950nm近辺において、波長が増加すると、減少するものとする。また、Y画素の出力と、Z画素の出力は正規化されているとする。
【0090】
測定においては、まず、第2の赤外光光源を発光させずに、第1の赤外光光源を発光させ、物体からの反射光を受光したY画素の出力をY1、Z画素の出力をZ1とする。Y1/Z1が1より小さいと物体の分光反射特性は870nm近辺で波長が増加すると減少しているとわかる。この判定を第1の判定とする。
【0091】
次に、第1の赤外光光源を発光させずに、第2の赤外光光源を発光させ、物体からの反射光を受光したY画素の出力をY2、Z画素の出力をZ2とする。Y2/Z2が1より小さいと物体の分光反射特性は950nm近辺で波長が増加すると減少しているとわかる。この判定を第2の判定とする。
【0092】
そして、第1の判定で物体の分光反射特性が減少しており、かつ、第2の判定で物体の分光反射特性が減少しているときに物体が人間の肌と判定する。すなわち、物体が人間の肌かどうかの判定を、4つの情報を用いて行う。
【0093】
この4つの情報を用いる推定は、2つの情報を用いる推定、例えば、第1赤外光光源で撮影したY画素の画素値と、第2赤外光光源で撮影したY画素の画素値の差分のみを用いて行う推定に比べて、情報量が多いので推定精度が向上する。
【0094】
(その他変形例)
なお、本発明を上記実施の形態に基づいて説明してきたが、本発明は、上記の実施の形態に限定されないのはもちろんである。以下のような場合も本発明に含まれる。
【0095】
(1)本発明の推定装置は、具体的には、マイクロプロセッサ、ROM、RAM、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムである。RAMまたはハードディスクユニットには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
【0096】
(2)上記の装置を構成する構成要素の一部または全部は、1個のシステムLSI(Large Scale Integrated Circuit:大規模集積回路)から構成されているとしてもよい。システムLSIは、複数の構成部を1個のチップ上に集積して製造された超多機能LSIであり、具体的には、マイクロプロセッサ、ROM、RAMなどを含んで構成されるコンピュータシステムである。RAMには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、システムLSIは、その機能を達成する。
【0097】
(3)上記の装置を構成する構成要素の一部または全部は、各装置に脱着可能なICカードまたは単体のモジュールから構成されているとしてもよい。ICカードまたはモジュールは、マイクロプロセッサ、ROM、RAMなどから構成されるコンピュータシステムである。ICカードまたはモジュールは、上記の超多機能LSIを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、ICカードまたはモジュールは、その機能を達成する。このICカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。
【0098】
(4)本発明は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、コンピュータプログラムからなるデジタル信号であるとしてもよい。
【0099】
また、本発明は、コンピュータプログラムまたはデジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、CD−ROM、MO、DVD、DVD−ROM、DVD−RAM、BD(Blu−ray(登録商標) Disc)、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されているデジタル信号であるとしてもよい。また、本発明は、コンピュータプログラムまたはデジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。
【0100】
また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、メモリは、上記コンピュータプログラムを記憶しており、マイクロプロセッサは、コンピュータプログラムにしたがって動作するとしてもよい。
【0101】
また、プログラムまたはデジタル信号を記録媒体に記録して移送することにより、またはプログラムまたはデジタル信号をネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
【0102】
(5)上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。