(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022163879
(43)【公開日】2022-10-27
(54)【発明の名称】光センシング装置
(51)【国際特許分類】
G01B 11/24 20060101AFI20221020BHJP
G01C 3/06 20060101ALI20221020BHJP
A61B 5/02 20060101ALI20221020BHJP
A61B 5/022 20060101ALI20221020BHJP
A61B 5/0245 20060101ALI20221020BHJP
【ＦＩ】
G01B11/24 Z
G01C3/06 120Q
G01C3/06 140
A61B5/02 310Z
A61B5/022 400F
A61B5/0245 200
【審査請求】未請求
【請求項の数】7
【出願形態】ＯＬ
(21)【出願番号】P 2021068986
(22)【出願日】2021-04-15
(71)【出願人】
【識別番号】510064440
【氏名又は名称】株式会社ナノルクス
(74)【代理人】
【識別番号】100173646
【弁理士】
【氏名又は名称】大森 桂子
(72)【発明者】
【氏名】角 博文
(72)【発明者】
【氏名】祖父江 基史
【テーマコード（参考）】
2F065
2F112
4C017
【Ｆターム（参考）】
2F065AA06
2F065AA53
2F065CC16
2F065DD04
2F065FF01
2F065FF31
2F065GG23
2F065HH14
2F065JJ03
2F065JJ05
2F065JJ08
2F065JJ26
2F065LL21
2F112AD01
2F112BA06
2F112CA12
2F112CA20
2F112DA02
2F112DA19
2F112DA21
2F112DA28
2F112FA03
2F112FA21
4C017AA08
4C017AA09
4C017AA10
4C017AB06
4C017AC28
4C017BC11
4C017BC16
4C017BD05
4C017FF15
4C017FF17
(57)【要約】
【課題】近赤外光を用いて高精度に計測することが可能な光センシング装置を提供すること。
【解決手段】検出波長が異なる２種以上の近赤外光検出画素を有するイメージセンサ２１を備え、検出対象１から発せられた中心波長が異なる２以上の近赤外光を検出する光検出部２と、光検出部２で検出した近赤外光に基づく信号を処理して検出対象１の情報を得る信号処理部３を備える光センシング装置１０により、検出対象１の三次元距離情報、定性分析、脈波検出などを行う。
を有する
【選択図】図１
【解決手段】検出波長が異なる２種以上の近赤外光検出画素を有するイメージセンサ２１を備え、検出対象１から発せられた中心波長が異なる２以上の近赤外光を検出する光検出部２と、光検出部２で検出した近赤外光に基づく信号を処理して検出対象１の情報を得る信号処理部３を備える光センシング装置１０により、検出対象１の三次元距離情報、定性分析、脈波検出などを行う。
を有する
【選択図】図１
【特許請求の範囲】
【請求項1】
検出波長が異なる２種以上の近赤外光検出画素を有するイメージセンサを備え、検出対象から発せられた中心波長が異なる２以上の近赤外光を検出する光検出部と、
前記光検出部で検出した近赤外光に基づく信号を処理し、前記検出対象の情報を得る信号処理部と
を有する光センシング装置。
前記光検出部で検出した近赤外光に基づく信号を処理し、前記検出対象の情報を得る信号処理部と
を有する光センシング装置。
【請求項2】
中心波長が異なる第１～第３の近赤外光を、それぞれ異なる方向から、前記検出対象に向けて照射する近赤外光照射部を有し、
前記光検出部は、前記検出対象で反射した前記第１～第３の近赤外光を検出し、
前記信号処理部は、前記第１～第３の近赤外光に基づく信号を処理し、前記検出対象の三次元距離情報を求める
請求項１に記載の光センシング装置。
前記光検出部は、前記検出対象で反射した前記第１～第３の近赤外光を検出し、
前記信号処理部は、前記第１～第３の近赤外光に基づく信号を処理し、前記検出対象の三次元距離情報を求める
請求項１に記載の光センシング装置。
【請求項3】
中心波長が異なる第１～第４の近赤外光を、それぞれ異なる方向から、前記検出対象に向けて照射する近赤外光照射部を有し、
前記光検出部は、前記検出対象で反射した前記第１～第４の近赤外光を検出し、
前記信号処理部は、前記第１～第４の近赤外光に基づく信号を処理し、前記検出対象の三次元距離情報を求める
請求項１に記載の光センシング装置。
前記光検出部は、前記検出対象で反射した前記第１～第４の近赤外光を検出し、
前記信号処理部は、前記第１～第４の近赤外光に基づく信号を処理し、前記検出対象の三次元距離情報を求める
請求項１に記載の光センシング装置。
【請求項4】
前記近赤外光照射部は、タイミングをずらして各近赤外光を照射する請求項２又は３に記載の光センシング装置。
【請求項5】
中心波長が異なる第１～第３の近赤外光を含む照明光を、前記検出対象に向けて照射する近赤外光照射部を有し、
前記光検出部は、前記検出対象で反射した前記第１～第３の近赤外光を検出し、
前記信号処理部は、前記光検出部で検出された前記第１～第３の近赤外光に基づく信号を処理し、特定物質に任意の色を付した前記検出対象のカラー画像を生成する
請求項１に記載の光センシング装置。
前記光検出部は、前記検出対象で反射した前記第１～第３の近赤外光を検出し、
前記信号処理部は、前記光検出部で検出された前記第１～第３の近赤外光に基づく信号を処理し、特定物質に任意の色を付した前記検出対象のカラー画像を生成する
請求項１に記載の光センシング装置。
【請求項6】
前記検出対象の近赤外光画像から脈拍又は血圧に関する情報を取得する脈波情報抽出部を有し、
前記光検出部は、２以上の近赤外光を連続的に検出し、
前記信号処理部は、前記近赤外光に基づく連続画像又は動画を生成し、
前記脈波情報抽出部は、前記連続画像又は前記動画に含まれる前記検出対象の顔領域から脈波信号を抽出し、抽出された脈波信号の中から任意の値以上の信号を利用して前記検出対象の脈波特徴量を求める
請求項１に記載の光センシング装置。
前記光検出部は、２以上の近赤外光を連続的に検出し、
前記信号処理部は、前記近赤外光に基づく連続画像又は動画を生成し、
前記脈波情報抽出部は、前記連続画像又は前記動画に含まれる前記検出対象の顔領域から脈波信号を抽出し、抽出された脈波信号の中から任意の値以上の信号を利用して前記検出対象の脈波特徴量を求める
請求項１に記載の光センシング装置。
【請求項7】
前記脈波情報抽出部は、前記検出対象の顔領域から高輝度領域を選択し、前記高輝度領域から前記脈波信号を抽出する請求項６に記載の光センシング装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、近赤外光を利用した光センシング装置に関する。
【背景技術】
【0002】
近年、様々な分野で、赤外光を用いた光センシング技術の利用が進んでいる。例えば、ヘルスケア分野では、対象者に近赤外光を照射し、その反射光を検出することにより脈波などの生体情報を取得する装置が提案されている（例えば、特許文献１，２参照。）。特許文献１の生体情報計測装置では、対象者の顔の近赤外線画像から推定した脈拍数と、対象者の顔に遠赤外線を照射して検出した皮膚温度から、対象者のストレス状態を推定している。また、特許文献２に記載の脈波検出装置では、複数波長の赤外光を照射しながら対象者の動画を撮影し、対象者の体表面の赤外線ごとの輝度を組み合わせることにより取得した体表面の色度相当成分を用いて対象者の脈波を取得している。
【0003】
一方、３次元計測の分野でも近赤外光の利用が検討されている。従来の三次元計測装置としては、例えば、参照面上の遠視野像がライン形状のライン光をデバイス表面から直接出射する光放射構造と、ライン光を偏向角θが異なる方向に掃引する光掃引構造を備えるビーム偏向デバイスと、参照面上に、ライン光を時間的に掃引し、ライン光の送出時間と偏向角に基づいてストラクチャードライトを生成する光掃引コントローラを有するものがある（特許文献３参照）。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２０１９－１９８５３１号公報
【特許文献2】特開２０２０－１６２８７２号公報
【特許文献3】特開２０１９－７４３６１号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献１に記載の脈波計測技術は、単一の近赤外光を用いているため、情報量が少ないという課題がある。また、特許文献２に記載の脈波計測技術は、リニアマトリクスの行列演算による色度を算出するアルゴリズムを行うことで脈派の検出を行うが、この値は従来可視光による線形性から算出するものであるため、近赤外光で行うと対象者の状態によっては行列演算のリニアリティに非線形性が現れ、結果としてエラーが大きくなって脈波が検出できなくなる虞がある。
【0006】
一方、特許文献３に記載の三次元計測技術は、ライン状のライトを掃引タイプであるが、光の照射が一方向であるため、例えば照射される物体が複雑な形をしていると物体の複雑な形状の影に隠れて、正確な形状把握ができないことがある。このように前述した従来の光センシング装置は、可視光を用いた光センシング装置の延長に過ぎず、近赤外光の特性を利用した新たな光センシング装置が望まれている。
【0007】
そこで、本発明は、近赤外光を用いて高精度に計測することが可能な光センシング装置を提供することを目的とする。
【課題を解決するための手段】
【0008】
本発明者は、同一素子上に、検出波長が異なる２種以上の近赤外光検出画素を設け、中心波長が異なる２以上の近赤外光を同時に検出可能なイメージセンサを開発し、提案している（特許第６４１０２０３号、特許第６４４８８４２号、特許第６６００８００号、特開２０２０－０６１６３０号公報など）。そして、本発明者は、この新たなイメージセンサを用い、複数波長の近赤外光を検出することで、従来の光センシング装置では得られなかった情報を取得できることを見いだし、本発明に至った。
【0009】
即ち、本発明に係る光センシング装置は、検出波長が異なる２種以上の近赤外光検出画素を有するイメージセンサを備え、検出対象から発せられた中心波長が異なる２以上の近赤外光を検出する光検出部と、前記光検出部で検出した近赤外光に基づく信号を処理し、前記検出対象の情報を得る信号処理部とを有する。
本発明の光センシング装置は、例えば中心波長が異なる第１～第３の近赤外光を、それぞれ異なる方向から、前記検出対象に向けて照射する近赤外光照射部を有し、前記光検出部において前記検出対象で反射した前記第１～第３の近赤外光を検出し、前記信号処理部において前記第１～第３の近赤外光に基づく信号を処理し、前記検出対象の三次元距離情報を求めてもよい。
又は、例えば中心波長が異なる第１～第４の近赤外光を、それぞれ異なる方向から、前記検出対象に向けて照射する近赤外光照射部を有し、前記光検出部において前記検出対象で反射した前記第１～第４の近赤外光を検出し、前記信号処理部において前記第１～第４の近赤外光に基づく信号を処理して前記検出対象の三次元距離情報を求めてもよい。
これらの光センシング装置では、前記近赤外光照射部がタイミングをずらして各近赤外光を照射してもよい。
又は、本発明の光センシング装置は、例えば中心波長が異なる第１～第３の近赤外光を含む照明光を、前記検出対象に向けて照射する近赤外光照射部を有し、前記光検出部において前記検出対象で反射した前記第１～第３の近赤外光を検出し、前記信号処理部において前記光検出部で検出された前記第１～第３の近赤外光に基づく信号を処理し、特定物質に任意の色を付した前記検出対象のカラー画像を生成してもよい。
又は、本発明の光センシング装置は、例えば前記検出対象の近赤外画像から脈拍又は血圧に関する情報を取得する脈波情報抽出部を有し、前記光検出部において２以上の近赤外光を連続的に検出し、前記信号処理部において前記近赤外光に基づく連続画像又は動画を生成し、前記脈波情報抽出部において前記連続画像又は前記動画に含まれる前記検出対象の顔領域から脈波信号を抽出し、抽出された脈波信号の中から任意の値以上の信号を利用して前記検出対象の脈波特徴量を求めることもできる。
その場合、前記脈波情報抽出部において前記検出対象の顔領域から高輝度領域を選択し、前記高輝度領域から前記脈波信号を抽出してもよい。
本発明の光センシング装置は、例えば中心波長が異なる第１～第３の近赤外光を、それぞれ異なる方向から、前記検出対象に向けて照射する近赤外光照射部を有し、前記光検出部において前記検出対象で反射した前記第１～第３の近赤外光を検出し、前記信号処理部において前記第１～第３の近赤外光に基づく信号を処理し、前記検出対象の三次元距離情報を求めてもよい。
又は、例えば中心波長が異なる第１～第４の近赤外光を、それぞれ異なる方向から、前記検出対象に向けて照射する近赤外光照射部を有し、前記光検出部において前記検出対象で反射した前記第１～第４の近赤外光を検出し、前記信号処理部において前記第１～第４の近赤外光に基づく信号を処理して前記検出対象の三次元距離情報を求めてもよい。
これらの光センシング装置では、前記近赤外光照射部がタイミングをずらして各近赤外光を照射してもよい。
又は、本発明の光センシング装置は、例えば中心波長が異なる第１～第３の近赤外光を含む照明光を、前記検出対象に向けて照射する近赤外光照射部を有し、前記光検出部において前記検出対象で反射した前記第１～第３の近赤外光を検出し、前記信号処理部において前記光検出部で検出された前記第１～第３の近赤外光に基づく信号を処理し、特定物質に任意の色を付した前記検出対象のカラー画像を生成してもよい。
又は、本発明の光センシング装置は、例えば前記検出対象の近赤外画像から脈拍又は血圧に関する情報を取得する脈波情報抽出部を有し、前記光検出部において２以上の近赤外光を連続的に検出し、前記信号処理部において前記近赤外光に基づく連続画像又は動画を生成し、前記脈波情報抽出部において前記連続画像又は前記動画に含まれる前記検出対象の顔領域から脈波信号を抽出し、抽出された脈波信号の中から任意の値以上の信号を利用して前記検出対象の脈波特徴量を求めることもできる。
その場合、前記脈波情報抽出部において前記検出対象の顔領域から高輝度領域を選択し、前記高輝度領域から前記脈波信号を抽出してもよい。
【発明の効果】
【0010】
本発明によれば、検出波長が異なる２種以上の近赤外光検出画素を有するイメージセンサにより、波長が異なる複数の近赤外光を検出し、その検出データから検出対象の情報を得ているため、三次元形状や脈波、特定の物質の有無などを高精度に計測することができる。
【図面の簡単な説明】
【0011】
【図1】本発明の第１の実施形態の三次元計測装置をＴＯＦ方式の三次元計測に用いる場合の構成例を示す模式図である。
【図3】本発明の第１の実施形態の三次元計測装置をＴＯＦ方式の三次元計測に用いる場合の他の構成例を示す模式図である。
【図5】波長毎にタイミングをずらして照射する場合の発光パターンを示す図である。
【図6】本発明の第１の実施形態の三次元計測装置をｉＴＯＦ方式の三次元計測に用いる場合の他の構成例を示す模式図である。
【図7】横軸に波長、縦軸に透過率をとって、各液体の分光透過率の周波数特性を示す図である。
【図8】アスファルト上の氷を撮影した写真であり、Ａは可視光画像、Ｂはカラー赤外光画像である。
【図9】赤外光画像から脈波特徴量を抽出する工程を示すフローチャートである。
【発明を実施するための形態】
【0012】
以下、本発明を実施するための形態について、添付の図面を参照して、詳細に説明する。なお、本発明は、以下に説明する実施形態に限定されるものではない。
【0013】
（第１の実施形態）
先ず、本発明の第１の実施形態に係る三次元計測装置について説明する。本実施形態の三次元測定装置は、少なくとも、検出対象から発せられた中心波長が異なる２以上の近赤外光を検出する光検出部と、光検出部で検出した近赤外光に基づく信号を処理し、検出対象の情報を得る信号処理部とを有し、光検出部には検出波長が異なる２種以上の近赤外光検出画素を備えるイメージセンサが設けられている。
先ず、本発明の第１の実施形態に係る三次元計測装置について説明する。本実施形態の三次元測定装置は、少なくとも、検出対象から発せられた中心波長が異なる２以上の近赤外光を検出する光検出部と、光検出部で検出した近赤外光に基づく信号を処理し、検出対象の情報を得る信号処理部とを有し、光検出部には検出波長が異なる２種以上の近赤外光検出画素を備えるイメージセンサが設けられている。
【0014】
本実施形態の三次元計測装置は、例えばＴＯＦ（Time of Flight）方式の三次元計測に用いることができる。図１は本実施形態の三次元計測装置をＴＯＦ方式の三次元計測に用いる場合の構成例を示す模式図である。ＴＯＦ方式の三次元計測を行う場合は、例えば、図１に示す三次元計測装置１０のように、発光波長が異なる３つの光源４１～４３を備える近赤外光照射部４を設け、各光源４１～４３から検出対象１に向けて中心波長が異なる近赤外光ＮＩＲ１，ＮＩＲ２，ＮＩＲ３を出射する。
【0015】
これにより、検出対象１には、近赤外光ＮＩＲ１，ＮＩＲ２，ＮＩＲ３がそれぞれ異なる方向から照射される。なお、各光源４１～４３から出射される近赤外光ＮＩＲ１，ＮＩＲ２，ＮＩＲ３の波長は特に限定されるものではなく、光検出部２の性能や検出対象１の種類に応じて適宜選択することができるが、例えばＮＩＲ１を中心波長８００ｎｍ、ＮＩＲ２を中心波長８７０ｎｍ、ＮＩＲ３を中心波長９００ｎｍとすることができる。
【0016】
また、光検出部２には、検出波長が異なる３種の近赤外光検出画素を備えるイメージセンサ２１を設ける。そして、検出対象１で反射された近赤外光ＮＩＲ１，ＮＩＲ２，ＮＩＲ３を光検出部２のイメージセンサ２１で検出する。図２はイメージセンサ２１の構成を模式的に示す断面図である。光検出部２に設けられるイメージセンサ２１は、中心波長が異なる３種の近赤外光ＮＩＲ１，ＮＩＲ２，ＮＩＲ３を、個別に検出できればよく、例えば図２に示すように、光電変換層２１０上に、第１の近赤外光ＮＩＲ１のみを透過する第１バンドパスフィルタ領域２２１と、第２の近赤外光ＮＩＲ２のみを透過する第２バンドパスフィルタ領域２２２と、第３の近赤外光ＮＩＲ３のみを透過する第３バンドパスフィルタ領域２２３を備える光学フィルタ層２２０が形成されているものを用いることができる。
【0017】
ここで、光電変換層２１０は、入射した光を電気信号として検出するものであり、シリコンなどの基板に複数の光電変換部が形成された構成となっている。光電変換層２１０の構造は、特に限定されるものではなく、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）構造などを採用することができる。また、光学フィルタ層２２０は、例えば、厚さ方向中央に位置する中間層と、中間層の光入射側及び光出射側にそれぞれ形成された誘電体積層膜により構成されており、誘電体積層膜は、誘電材料からなる第１誘電体層と、第１誘電体層よりも屈折率が高い誘電材料からなる第２誘電体層が交互に積層され、中間層の厚さがフィルタ領域毎に異なる構造を採用することができる（例えばＰＣＴ／ＪＰ２０２１／００４６００参照）。
【0018】
そして、信号処理部３において光検出部２で検出された３種の近赤外光ＮＩＲ１，ＮＩＲ２，ＮＩＲ３に基づく信号を処理し、検出対象１の三次元距離情報を得る。１フレームで３方向から照射された近赤外線光ＮＩＲ１，ＮＩＲ２，ＮＩＲ３による輝度画像を同時に取得できるため、それぞれの法線を高速で計算することにより検出対象１について精密な３次元の状態を得ることができる。具体的には、距離の計測点Ｐｉ＝（ｘｉ，ｙｉ，ｚｉ）Ｔの画像上での座標を（ｕｉ，ｖｉ）とし、法線が求められているピクセル（ｕ，ｖ）において、ピクセル並列処理により３次元座標Ｘ＝（ｘ，ｙ，ｚ）Ｔを復元する。
【0019】
ここで、計測点Ｐｉ及び３次元座標Ｘにおけるｘ座標及びｙ座標は、ｕ，ｙ，ｚとカメラパラメータである光軸中心ｃｘ，ｃｙ及び焦点距離ｆｘ，ｆｙを用いて、下記数式１で表される。
【0020】
【数1】
【0021】
検出対象１の表面が滑らかであり、３次元座標Ｘが計測点Ｐｉに十分に近いと仮定すると、３次元座標Ｘは計測点Ｐｉの接平面上に存在する。この状態を、計測点Ｐｉにおける法線Ｎｐ＝（ｎｘ，ｎｙ，ｎｚ）Ｔを用いて表すと、下記数式２となる。
【0022】
【数2】
【0023】
そして、上記数式１及び上記数式２から下記数式３が求められ、本実施形態の三次元計測装置１０では、下記数式３を用いて検出対象１までの距離を求める。
【0024】
【数3】
【0025】
更に、図１に示す三次元計測装置１０では、検出対象１に基準光７ａを照射するＴＯＦ用光源５と、基準光７ａが照射された対象物１からの反射光７ｂを検出するＴＯＦカメラ６を設け、基準光７ａの照射から反射光７ｂの検出までの時間から検出対象１までの距離を求める。その際、基準光７ａとしては、例えば可視光や近赤外線光ＮＩＲ１，ＮＩＲ２，ＮＩＲ３とは異なる波長の近赤外光を用いることができる。
【0026】
図１に示す三次元計測装置１０は、検出対象１に、中心波長が異なる３種の近赤外光ＮＩＲ１，ＮＩＲ２，ＮＩＲ３をそれぞれ異なる方向から照射、即ち３波長の近赤外光を３方向から照射し、検出対象１で反射した近赤外光ＮＩＲ１，ＮＩＲ２，ＮＩＲ３を、イメージセンサ２１の各検出画素で検出するため、近赤外光ＮＩＲ１，ＮＩＲ２，ＮＩＲ３による検出対象１の輝度画像の各ピクセルに応じた法線の計測点を高精細に求めることができる。
【0027】
そして、近赤外光による輝度画像から求めた法線の計測点と、各計測点をＴＯＦカメラ６で撮像して計測した検出対象１との距離から、検出対象１の表面状態を把握することができる。本実施形態の三次元計測装置１０では、全ての画素について法線計測を行っているため、３方向からの法線輝度情報を蜜に取得することができる。そして、この密の法線輝度情報と、ＴＯＦカメラ６により得た疎な距離情報とを組み合わせることにより、検出対象１の表面を高精度に計測することができる。
【0028】
従来、複数波長の近赤外光を用いる場合は、検出波長毎にイメージセンサを準備し、距離測定用の２台のステレオカメラなど組み合わせて計測装置や計測システムが構成されていたが、本実施形態の三次元計測装置では、複数波長を検出可能なイメージセンサとＴＯＦカメラを用いているため、従来よりもシンプルな装置又はシステム構成で、高精度の計測が可能となる。
【0029】
なお、図１には、近赤外光を検出する光検出部とは別に、距離測定用のＴＯＦカメラを備える構成を示しているが、本発明はこれに限定されるものではなく、光検出部のイメージセンサに距離計測用の画素を設けてもよい。図３は本実施形態の三次元計測装置をＴＯＦ方式の三次元計測に用いる場合の他の構成例を示す模式図である。図３に示す三次元計測装置１１は、光検出部２に、検出波長が異なる３種の近赤外光検出画素と、距離計測用の画素を備えるイメージセンサ２２を設け、検出対象１で反射された近赤外光ＮＩＲ１，ＮＩＲ２，ＮＩＲ３と共に、基準光７ａの反射光７ｂを、光検出部２のイメージセンサ２２で検出する。
【0030】
図４はイメージセンサ２２の構成を模式的に示す断面図である。光検出部２に設けられるイメージセンサ２２は、中心波長が異なる３種の近赤外光ＮＩＲ１，ＮＩＲ２，ＮＩＲ３と、基準光７ａの反射光７ｂを、個別に検出できればよく、例えば図４に示すように、光電変換層２１０上に、第１の近赤外光ＮＩＲ１のみを透過する第１バンドパスフィルタ領域２３１と、第２の近赤外光ＮＩＲ２のみを透過する第２バンドパスフィルタ領域２３２と、第３の近赤外光ＮＩＲ３のみを透過する第３バンドパスフィルタ領域２３３と、基準光のみを透過する第４バンドパスフィルタ領域２３４を備える光学フィルタ層２３０が形成されているものを用いることができる。なお、光電変換層２１０は、図２に示すイメージセンサ２１と同様の構成とすることができる。
【0031】
そして、信号処理部３において光検出部２で検出された３種の近赤外光ＮＩＲ１，ＮＩＲ２，ＮＩＲ３に基づく信号を処理して検出対象１の三次元距離情報を得ると共に、反射光７ｂに基づく信号から検出対象１との距離情報を算出する。図２示す三次元計測装置１１のように同一チップ上に近赤外光検出画素と、距離計測用のＴＯＦ検出画素を設けることにより、１台のカメラで高精度の三次元計測が可能となる。
【0032】
図１，３に示す三次元計測装置１０，１１は、３種の近赤外光ＮＩＲ１，ＮＩＲ２，ＮＩＲ３を、それぞれタイミングをずらして照射することで、ＤＴＯＦ（Direct Time of Flight）方式の計測を行うこともできる。図５は波長毎にタイミングをずらして照射する場合の発光パターンを示す図である。例えば中心波長が８００ｎｍ、８７０ｎｍ及び９４０ｎｍの３種の近赤外光を用いて計測を行う場合は、図５に示すように、各近赤外光を一定の間隔を空けて順次パルス照射し、そのタイムオブフライト（ＴＯＦ）の演算を行う。
【0033】
光源４１～４３から各近赤外光ＮＩＲ１，ＮＩＲ２，ＮＩＲ３を出射するタイミングは、例えばリングオシレータなどの遅延回路を用いることによりずらすことができる。また、近赤外光ＮＩＲ１，ＮＩＲ２，ＮＩＲ３のそれぞれのタイミングを正確にずらすためには、例えばディレイラインによるＴＤＣを用いて光源４１～４３の発光のタイミングをずらして同期させればよい。
【0034】
ＤＴＯＦ（Direct Time of Flight）方式で、検出対象１にタイミングをずらして３種の近赤外光をパルス照射して計測することで、単一波長のパルス光での計測においてパルス幅を１／３にした場合と同様の効果が得られる。具体的には、３種の近赤外光を用いて計測すれば、単一波長で計測したＴＯＦ結果の１／３の距離まで計測でき、３倍の密な距離精度を実現することができる。その結果、従来の方法に比べて、計測精度を向上させることができる。
【0035】
更に、本実施形態の三次元計測装置は、反射光を蓄積して発光との位相差を検出することで距離を測定するｉＴＯＦ（indirect Time of Flight）方式の計測を行うこともできる。ｉＴＯＦ方式は、前述したＤＴＯＦ方式とは異なり、反射光を蓄積して発光との位相差を検出することで検出対象との距離を求める計測方法である。
【0036】
図６は本実施形態の三次元計測装置をｉＴＯＦ方式の三次元計測に用いる場合の他の構成例を示す模式図である。図６に示す三次元計測装置１２では、近赤外光照射部４の光源４１～４４から、中心波長が異なる４種の近赤外光ＮＩＲ１，ＮＩＲ２，ＮＩＲ３，ＮＩＲ４を、それぞれ異なる方向から検出対象１に照射し、光検出部２において検出対象１で反射した近赤外光ＮＩＲ１，ＮＩＲ２，ＮＩＲ３，ＮＩＲ４を検出する。そして、信号処理部３において近赤外光ＮＩＲ１，ＮＩＲ２，ＮＩＲ３，ＮＩＲ４に基づく信号を処理し、検出対象１の三次元距離情報を求める。
【0037】
その際、タイミングをずらして４種の近赤外光ＮＩＲ１，ＮＩＲ２，ＮＩＲ３，ＮＩＲ４を照射し、検出部２のｉＴＯＦセンサで受光する。検出部２に設けられるｉＴＯＦセンサは、例えば公知の２タップセンサに、近赤外光ＮＩＲ１、近赤外光ＮＩＲ２、近赤外光ＮＩＲ３及び近赤外光ＮＩＲ４のいずれかを透過する光学フィルタを積層することで実現することができる。これにより、より高精細な対象面に対しての距離情報が得られる。
【0038】
以上詳述したように、本実施形態の三次元計測装置は、中心波長が異なる３種又は４種の近赤外光を、それぞれ異なる方向から検出対象に照射し、光検出部において検出対象で反射した３種又は４種の近赤外光を検出しているため、従来よりも多くの距離情報を取得することができる。その結果、検出対象の三次元距離情報を高精度に求めることができる。
【0039】
（第２の実施形態）
次に、本発明の第２の実施形態に係る定性分析装置について説明する。本実施形態の定性分析装置は、中心波長が異なる３種の近赤外光を含む照明光を、検出対象に向けて照射する近赤外光照射部と、検出対象で反射した３種の近赤外光を検出する光検出部と、光検出部で検出された３種の近赤外光に基づく信号を処理して特定物質に任意の色を付した検出対象のカラー画像を生成する信号処理部を有する。本実施形態の定性分析装置の光検出部には、例えば図２に示すイメージセンサ２１のような中心波長が異なる３種の近赤外光ＮＩＲ１，ＮＩＲ２，ＮＩＲ３を個別に検出できるイメージセンサが設けられている。
次に、本発明の第２の実施形態に係る定性分析装置について説明する。本実施形態の定性分析装置は、中心波長が異なる３種の近赤外光を含む照明光を、検出対象に向けて照射する近赤外光照射部と、検出対象で反射した３種の近赤外光を検出する光検出部と、光検出部で検出された３種の近赤外光に基づく信号を処理して特定物質に任意の色を付した検出対象のカラー画像を生成する信号処理部を有する。本実施形態の定性分析装置の光検出部には、例えば図２に示すイメージセンサ２１のような中心波長が異なる３種の近赤外光ＮＩＲ１，ＮＩＲ２，ＮＩＲ３を個別に検出できるイメージセンサが設けられている。
【0040】
本実施形態の定性分析装置では、検出対象１が近赤外領域の特定波長に吸収を有する場合、信号処理部で生成する画像に特定の色を付して表示する。例えば、灯油、ベンジン、水及び日本酒は、可視光では全て透明であるため目視では判別できないが、水の分子は近赤外領域に吸収をもつため、本実施形態の定性分析装置により撮像し、中心波長が異なる３種の近赤外光によるカラー画像を生成すると、水及び日本酒は、近赤外領域に吸収をもたない灯油やベンジンとは異なる色で表示される。
【0041】
図７は横軸に波長、縦軸に透過率をとって、各液体の分光透過率の周波数特性を示す図である。図７に示すように、イオン交換水は９４０ｎｍ付近で透過率が大きく低下し、９４０ｎｍにおける透過率は、ワイン、純米酒、泡盛の順に高くなる。即ち、アルコール度数が高いものほど、９４０ｎｍの吸収は小さくなる。この特性を利用すれば、水を含むか否かだけでなく、酒の種類も区別することが可能となる。
【0042】
図８はアスファルト上の氷を撮影した写真であり、図８Ａは可視光画像、図８Ｂはカラー赤外光画像である。また、道路が凍結している場合、図８Ａに示す可視光画像では氷の有無を判別しにくいが、図８Ｂに示すカラー赤外光画像では、氷が近赤外領域の特定波長に吸収をもつため、赤色で表示される。これにより、凍結の有無を容易に判別することが可能となる。
【0043】
検出対象で反射された近赤外光や検出対象から発せられる近赤外光から、検出対象のカラー画像を生成する方法は、例えば特許第５８７４１１６号に記載された方法を用いることができる。また、本実施形態では、可視光と同様に、波長が異なる３種の近赤外光を用いてカラー画像を生成する場合を例に説明したが、本発明はこれに限定されるものではなく、例えば２種の近赤外光を用いて画像を生成し、特定波長に吸収がある場合に任意の色を付すようにしてもよい。
【0044】
例えば、水は９４０ｎｍあたりに吸収を有する。このため、近赤外光ＮＩＲ３を９４０ｎｍとすれば、イメージセンサは近赤外光ＮＩＲ３よりも近赤外光ＮＩＲ１，ＮＩＲ２を多く検出することとなる。そこで、近赤外光ＮＩＲ１又は近赤外光ＮＩＲ２に基づく信号のゲインを高くしたり、それぞれの色情報の感度を高くできるようリニアマトリクスの調整を行ったりすることで、水又は水を含む試料の画像では赤色が強調され、水を含まない試料と区別することができる。一方、氷と水を区別する場合は、水よりも氷のほうが９４０ｎｍの吸収が大きいため、前述したゲインや感度を調整する信号処理を行うことで、水と氷で色を変えたり、色の濃さを変えたりすることができる。
【0045】
本実施形態の定性分析装置は、中心波長が異なる複数の近赤外光を検出対象に照射し、光検出部において検出対象で反射した近赤外光を検出して、カラー画像を生成しているため、近赤外領域に吸収を有する物質と近赤外領域に吸収のない物質、或いは、同じ領域に吸収をもつ物質でもその吸収度に応じて、視覚的に判別することが可能となる。
【0046】
（第３の実施形態）
次に、本発明の第３の実施形態に係る脈波計測装置について説明する。本実施形態の脈波計測装置は、中心波長が異なる２以上の近赤外光を含む照明光を対象者に照射する近赤外光照射部と、対象者で反射した近赤外光を連続的に検出する近赤外光検出部と、光検出部で検出した近赤外光に基づく信号を処理して対象者の連続画像又は動画を生成する信号処理部と、対象者の近赤外光画像から脈拍又は血圧に関する情報を取得する脈波情報抽出部を備える。この脈波計測装置では、光検出部に、検出波長が異なる２種以上の近赤外光検出画素を有するイメージセンサが設けられている。
次に、本発明の第３の実施形態に係る脈波計測装置について説明する。本実施形態の脈波計測装置は、中心波長が異なる２以上の近赤外光を含む照明光を対象者に照射する近赤外光照射部と、対象者で反射した近赤外光を連続的に検出する近赤外光検出部と、光検出部で検出した近赤外光に基づく信号を処理して対象者の連続画像又は動画を生成する信号処理部と、対象者の近赤外光画像から脈拍又は血圧に関する情報を取得する脈波情報抽出部を備える。この脈波計測装置では、光検出部に、検出波長が異なる２種以上の近赤外光検出画素を有するイメージセンサが設けられている。
【0047】
また、脈波情報抽出部では、連続画像又は動画に含まれる対象者の顔領域から脈波信号を抽出し、抽出された脈波信号の中から任意の値以上の信号を利用して対象者の脈波特徴量を求める。図９は赤外光画像から脈波特徴量を抽出する工程を示すフローチャートである。脈波情報抽出部では、図９に示すように、信号処理部から出力された近赤外光画像の信号を処理し、対象者の顔領域を抽出する。
【0048】
次に、対象者の顔領域から高輝度領域を選択し、高輝度領域から脈波信号を抽出する。脈波信号は、各周波数成分の輝度値ヒストグラムから抽出することができる。また、例えば、波長が異なる２つの近赤外光成分について、その比率、差分、対数（Ｌｏｇ）の変化から脈波信号を抽出してもよい。その後、ノイズリダクションやデトレンドなどの特徴量波形補正処理を行うことにより、抽出した脈波の波形補正を行う。
【0049】
そして、補正処理後の脈波信号の中から任意の値以上の信号を利用して対象者の脈波特徴量を求める。ここで、脈波特徴量としては、脈拍数、脈拍変動及び血圧などが挙げられる。血圧は、例えば脈波の主波と反射波を検出し、それらの強度、間隔及び形状などから推定することができる。又は、脈波の交流及び直流成分を抽出し、血管抵抗を推定し、その値を血流から血圧を推定してもよい。
【0050】
本実施形態の脈波計測装置は、眩しくない近赤外線のみを用いて計測を行うため、非接触、非侵襲かつ非感知で脈拍数、脈拍変動及び血圧などの脈波特徴量を検出することができる。その結果、これまで眩しい可視光では設置が困難であった夜間睡眠中の患者や運転中の運転手などの脈波情報を取得できるようになることに加え、中心波長が異なる２以上の近赤外光を活用することで、高精度の計測を実現することが可能となる。
【符号の説明】
【0051】
１ 検出対象
２ 光検出部
３ 信号処理部
４ 近赤外光照射部
５ ＴＯＦ用光源
６ ＴＯＦカメラ
７ａ 基準光
７ｂ 基準光の反射光
１０～１２ 三次元計測装置
２１、２２ イメージセンサ
４１～４４ 光源
２１０ 光電変換層
２２０、２３０ 光学フィルタ層
２２１～２２３、２３１～２３４ バンドパスフィルタ領域
２ 光検出部
３ 信号処理部
４ 近赤外光照射部
５ ＴＯＦ用光源
６ ＴＯＦカメラ
７ａ 基準光
７ｂ 基準光の反射光
１０～１２ 三次元計測装置
２１、２２ イメージセンサ
４１～４４ 光源
２１０ 光電変換層
２２０、２３０ 光学フィルタ層
２２１～２２３、２３１～２３４ バンドパスフィルタ領域
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】