特許 6435278 画像処理装置、撮像装置、画像処理方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6435278

(24)【登録日】2018年11月16日

(45)【発行日】2018年12月5日

(54)【発明の名称】画像処理装置、撮像装置、画像処理方法およびプログラム

(51)【国際特許分類】

   A61B 5/0245 20060101AFI20181126BHJP

   A61B 5/022 20060101ALI20181126BHJP

   A61B 5/1455 20060101ALI20181126BHJP

【ＦＩ】

   A61B5/0245 AZDM

   A61B5/022 A

   A61B5/1455

【請求項の数】13

【全頁数】21

(21)【出願番号】特願2015-559339(P2015-559339)

(86)(22)【出願日】2015年4月8日

(86)【国際出願番号】JP2015061005

(87)【国際公開番号】WO2016162980

(87)【国際公開日】20161013

【審査請求日】2018年1月16日

【国等の委託研究の成果に係る記載事項】（出願人による申告）平成２６年度、総務省戦略的情報通信研究開発推進事業「次世代ヒューマンセンシングに向けたＲＧＢ−Ｘイメージングシステムの研究開発」に係る委託研究、産業技術力強化法第１９条の適用を受ける特許出願

(73)【特許権者】

【識別番号】000000376

【氏名又は名称】オリンパス株式会社

(74)【代理人】

【識別番号】100089118

【弁理士】

【氏名又は名称】酒井 宏明

(72)【発明者】

【氏名】菊地 直

【審査官】 伊知地 和之

(56)【参考文献】

【文献】 特開２０１１−１４３１５４（ＪＰ，Ａ）

【文献】 特開平１−２８０４４２（ＪＰ，Ａ）

【文献】 特開２０１１−１４７４６９（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ６１Ｂ １／００ − １／３２

Ａ６１Ｂ ５／００ − ５／０１

Ａ６１Ｂ ５／０２ − ５／０３

Ａ６１Ｂ ９／００ − １０／０６

(57)【特許請求の範囲】

【請求項1】

原色の波長帯域より狭い波長帯域を有し、可視光帯域に透過スペクトルの最大値を有する狭帯域光を透過させる第１狭帯域フィルタと、原色の波長帯域より狭い波長帯域を有し、前記狭帯域フィルタと異なる可視光帯域に透過スペクトルの最大値を有する狭帯域光を透過させる第２狭帯域フィルタと、非可視光帯域に透過スペクトルの最大値を有する狭帯域光を透過させる第３狭帯域フィルタと、を用いて所定の配列パターンを形成し、該配列パターンを形成する個々の狭帯域フィルタが複数の画素のいずれかに対応する位置に配置された撮像素子によって生成された画像データを取得する取得部と、
前記撮像素子が前記画像データを生成した際の環境下における前記非可視光帯域の光量が閾値より大きいか否かを判定する判定部と、
前記判定部によって前記非可視光帯域の光量が前記閾値以上であると判定された場合、前記画像データに対応する画像において前記第３狭帯域フィルタが配置された画素の位置に対応する画素値および前記第２狭帯域フィルタが配置された画素の位置に対応する画素値を用いて被写体のバイタル情報を生成する一方、前記判定部によって前記非可視光帯域の光量が前記閾値以上でないと判定された場合、前記画像データに対応する画像における前記第１狭帯域フィルタが配置された画素の位置に対応する画素値および前記第２狭帯域フィルタが配置された画素の位置に対応する画素値を用いて被写体のバイタル情報を生成する生成部と、
を備えたことを特徴とする画像処理装置。

【請求項2】

前記判定部は、前記データに対応する画像における前記第３狭帯域フィルタが配置された画像の位置に対応する画素値に基づいて、前記非可視光帯域の光量が前記閾値より大きいか否かを判定することを特徴とする請求項１に記載の画像処理装置。

【請求項3】

当該画像処理装置の周囲における前記非可視光帯域の光を検出する検出部をさらに備え、
前記判定部は、前記検出部が検出した検出結果に基づいて、前記非可視光帯域の光量が前記閾値より大きいか否かを判定することを特徴とする請求項１に記載の画像処理装置。

【請求項4】

前記撮像素子は、赤色の波長帯域の光、緑色の波長帯域の光および青色の波長帯域の光のいずれか１つを透過する広帯域フィルタと、前記第１狭帯域フィルタと、前記第２狭帯域フィルタと、前記第３狭帯域フィルタと、を用いて所定の配列パターンを形成し、該配列パターンを形成する個々のフィルタが複数の画素のいずれかに対応する位置に配置されていることを特徴とする請求項１〜３のいずれか一つに記載の画像処理装置。

【請求項5】

前記判定部は、前記画像データに対応する画像を複数の領域に分割し、該複数の領域それぞれに対して前記非可視光帯域の成分が前記閾値より大きいか否かを判定し、
前記生成部は、前記複数の領域それぞれの前記バイタル情報を生成することを特徴とする請求項１〜４のいずれか一つに記載の画像処理装置。

【請求項6】

前記判定部は、前記画像データに対応する画像の一部である部分領域に対して、前記非可視光帯域の成分が前記閾値より大きいか否かを判定し、
前記生成部は、前記部分領域に対して前記バイタル情報を生成することを特徴とする請求項１〜４のいずれか一つに記載の画像処理装置。

【請求項7】

前記画像データに対応する画像に含まれる被写体の顔を検出する顔検出部をさらに備え、
前記判定部は、前記顔検出部が検出した前記顔を含む領域に対して、前記非可視光帯域の成分が前記閾値より大きいか否かを判定することを特徴とする請求項６に記載の画像処理装置。

【請求項8】

前記第１狭帯域フィルタは、緑色の波長帯域の一部に含まれる狭帯域光を透過し、
前記第２狭帯域フィルタは、赤色の波長帯域の一部に含まれる狭帯域光を透過し、
前記第３狭帯域フィルタは、近赤外の波長帯域の一部に含まれる狭帯域光を透過することを特徴とする請求項１〜７のいずれか一つに記載の画像処理装置。

【請求項9】

前記第１狭帯域フィルタは、波長帯域が４９０〜５５０ｎｍに含まれる狭帯域光を透過し、
前記第２狭帯域フィルタは、波長帯域が６２０〜７００ｎｍに含まれる狭帯域光を透過し、
前記第３狭帯域フィルタは、波長帯域が８００〜１０００ｎｍに含まれる狭帯域光を透過することを特徴とする請求項８に記載の画像処理装置。

【請求項10】

前記バイタル情報は、酸素飽和度、心拍および血圧のいずれかであることを特徴とする請求項１〜９のいずれか一つに記載の画像処理装置。

【請求項11】

請求項１〜１０のいずれか一つに記載の画像処理装置と、
前記撮像素子と、
を備えたことを特徴とする撮像装置。

【請求項12】

画像処理装置が実行する画像処理方法であって、
原色の波長帯域より狭い波長帯域を有し、可視光帯域に透過スペクトルの最大値を有する狭帯域光を透過させる第１狭帯域フィルタと、原色の波長帯域より狭い波長帯域を有し、前記狭帯域フィルタと異なる可視光帯域に透過スペクトルの最大値を有する狭帯域光を透過させる第２狭帯域フィルタと、非可視光帯域に透過スペクトルの最大値を有する狭帯域光を透過させる第３狭帯域フィルタと、を用いて所定の配列パターンを形成し、該配列パターンを形成する個々の狭帯域フィルタが複数の画素のいずれかに対応する位置に配置された撮像素子によって生成された画像データを取得する取得ステップと、
前記撮像素子が前記画像データを生成した際の環境下における前記非可視光帯域の光量が閾値より大きいか否かを判定する判定ステップと、
前記判定ステップによって前記非可視光帯域の成分が前記閾値以上であると判定された場合、前記画像データに対応する画像における前記第３狭帯域フィルタが配置された画素の位置に対応する画素値および前記第２狭帯域フィルタが配置された画素の位置に対応する画素値を用いて被写体のバイタル情報を生成する一方、前記判定ステップによって前記非可視光帯域の光量が前記閾値以上でないと判定された場合、前記画像データに対応する画像における前記第１狭帯域フィルタが配置された画素の位置に対応する画素値および前記第２狭帯域フィルタが配置された画素の位置に対応する画素値を用いて被写体のバイタル情報を生成する生成ステップと、
を含むことを特徴とする画像処理方法。

【請求項13】

原色の波長帯域より狭い波長帯域を有し、可視光帯域に透過スペクトルの最大値を有する狭帯域光を透過させる第１狭帯域フィルタと、原色の波長帯域より狭い波長帯域を有し、前記狭帯域フィルタと異なる可視光帯域に透過スペクトルの最大値を有する狭帯域光を透過させる第２狭帯域フィルタと、非可視光帯域に透過スペクトルの最大値を有する狭帯域光を透過させる第３狭帯域フィルタと、を用いて所定の配列パターンを形成し、該配列パターンを形成する個々の狭帯域フィルタが複数の画素のいずれかに対応する位置に配置された撮像素子によって生成された画像データを取得する取得ステップと、
前記撮像素子が前記画像データを生成した際の環境下における前記非可視光帯域の光量が閾値より大きいか否かを判定する判定ステップと、
前記判定ステップによって前記非可視光帯域の成分が前記閾値以上であると判定された場合、前記画像データに対応する画像における前記第３狭帯域フィルタが配置された画素の位置に対応する画素値および前記第２狭帯域フィルタが配置された画素の位置に対応する画素値を用いて被写体のバイタル情報を生成する一方、前記判定ステップによって前記非可視光帯域の光量が前記閾値以上でないと判定された場合、前記画像データに対応する画像における前記第１狭帯域フィルタが配置された画素の位置に対応する画素値および前記第２狭帯域フィルタが配置された画素の位置に対応する画素値を用いて被写体のバイタル情報を生成する生成ステップと、
を画像処理装置に実行させることを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像データに基づいて生体等のバイタル情報を生成する画像処理装置、撮像装置、画像処理方法およびプログラムに関する。

【背景技術】

【0002】

従来、医療分野および健康分野において、人間の健康状態を把握するための情報として、心拍数、酸素飽和度および血圧等のバイタル情報を用いて、被写体の健康状態を把握している。例えば、赤色の光および近赤外の光それぞれを照射した生体をイメージセンサによって撮像し、このイメージセンサによって生成された画像データに基づいて、生体の酸素飽和度を算出する技術が知られている（特許文献１参照）。この技術によれば、イメージセンサによって生成された画像データに応じて算出した生体による光の吸収度合いと、この光の吸収度合いの時間変化とに基づいて、生体の酸素飽和度を算出する。

【0003】

また、被写体の負担を軽減するため、被写体の顔領域に赤色の光および近赤外の光それぞれを照射し、被写体の顔を撮像した動画データの時間変化から被写体のバイタル情報を生成する技術が知られている（特許文献２参照）。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１３−１１８９７８号公報

【特許文献2】特開平９−２６２２１３号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、上述した特許文献１,２では、赤色の光および近赤外の光それぞれを照射する光源を必要とするため、装置が大型化するという問題点があった。

【0006】

本発明は、上記に鑑みてなされたものであって、小型化を図ることができる画像処理装置、撮像装置、画像処理方法およびプログラムを提供することを目的とする。

【課題を解決するための手段】

【0007】

上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、原色の波長帯域より狭い波長帯域を有し、可視光帯域に透過スペクトルの最大値を有する狭帯域光を透過させる第１狭帯域フィルタと、原色の波長帯域より狭い波長帯域を有し、前記狭帯域フィルタと異なる可視光帯域に透過スペクトルの最大値を有する狭帯域光を透過させる第２狭帯域フィルタと、非可視光帯域に透過スペクトルの最大値を有する狭帯域光を透過させる第３狭帯域フィルタと、を用いて所定の配列パターンを形成し、該配列パターンを形成する個々の狭帯域フィルタが複数の画素のいずれかに対応する位置に配置された撮像素子によって生成された画像データを取得する取得部と、前記撮像素子が前記画像データを生成した際の環境下における前記非可視光帯域の光量が閾値より大きいか否かを判定する判定部と、前記判定部によって前記非可視光帯域の光量が前記閾値以上であると判定された場合、前記画像データに対応する画像において前記第３狭帯域フィルタが配置された画素の位置に対応する画素値および前記第２狭帯域フィルタが配置された画素の位置に対応する画素値を用いて被写体のバイタル情報を生成する一方、前記判定部によって前記非可視光帯域の光量が前記閾値以上でないと判定された場合、前記画像データに対応する画像における前記第１狭帯域フィルタが配置された画素の位置に対応する画素値および前記第２狭帯域フィルタが配置された画素の位置に対応する画素値を用いて被写体のバイタル情報を生成する生成部と、を備えたことを特徴とする。

【0008】

また、本発明に係る画像処理装置は、上記発明において、前記判定部は、前記データに対応する画像における前記第３狭帯域フィルタが配置された画像の位置に対応する画素値に基づいて、前記非可視光帯域の光量が前記閾値より大きいか否かを判定することを特徴とする。

【0009】

また、本発明に係る画像処理装置は、上記発明において、当該画像処理装置の周囲における前記非可視光帯域の光を検出する検出部をさらに備え、前記判定部は、前記検出部が検出した検出結果に基づいて、前記非可視光帯域の光量が前記閾値より大きいか否かを判定することを特徴とする。

【0010】

また、本発明に係る画像処理装置は、上記発明において、前記撮像素子は、赤色の波長帯域の光、緑色の波長帯域の光および青色の波長帯域の光のいずれか１つを透過する広帯域フィルタと、前記第１狭帯域フィルタと、前記第２狭帯域フィルタと、前記第３狭帯域フィルタと、を用いて所定の配列パターンを形成し、該配列パターンを形成する個々のフィルタが複数の画素のいずれかに対応する位置に配置されていることを特徴とする。

【0011】

また、本発明に係る画像処理装置は、上記発明において、前記判定部は、前記画像を複数の領域に分割し、該複数の領域それぞれに対して前記非可視光帯域の成分が前記閾値より大きいか否かを判定し、前記生成部は、前記複数の領域それぞれの前記バイタル情報を生成することを特徴とする。

【0012】

また、本発明に係る画像処理装置は、上記発明において、前記判定部は、前記画像データに対応する画像の一部である部分領域に対して、前記非可視光帯域の成分が前記閾値より大きいか否かを判定し、前記生成部は、前記部分領域に対して前記バイタル情報を生成することを特徴とする。

【0013】

また、本発明に係る画像処理装置は、上記発明において、前記画像データに対応する画像に含まれる被写体の顔を検出する顔検出部をさらに備え、前記判定部は、前記顔検出部が検出した前記顔を含む領域に対して、前記非可視光帯域の成分が前記閾値より大きいか否かを判定することを特徴とする。

【0014】

また、本発明に係る画像処理装置は、上記発明において、前記第１狭帯域フィルタは、緑色の波長帯域の一部に含まれる狭帯域光を透過し、前記第２狭帯域フィルタは、赤色の波長帯域の一部に含まれる狭帯域光を透過し、前記第３狭帯域フィルタは、近赤外の波長帯域の一部に含まれる狭帯域光を透過することを特徴とする。

【0015】

また、本発明に係る画像処理装置は、上記発明において、前記第１狭帯域フィルタは、波長帯域が４９０〜５５０ｎｍに含まれる狭帯域光を透過し、前記第２狭帯域フィルタは、波長帯域が６２０〜７００ｎｍに含まれる狭帯域光を透過し、前記第３狭帯域フィルタは、波長帯域が８００〜１０００ｎｍに含まれる狭帯域光を透過することを特徴とする。

【0016】

また、本発明に係る画像処理装置は、上記発明において、前記バイタル情報は、酸素飽和度、心拍および血圧のいずれかであることを特徴とする。

【0017】

また、本発明に係る撮像装置は、上記の画像処理装置と、前記撮像素子と、を備えたことを特徴とする。

【0018】

また、本発明に係る画像処理方法は、画像処理装置が実行する画像処理方法であって、原色の波長帯域より狭い波長帯域を有し、可視光帯域に透過スペクトルの最大値を有する狭帯域光を透過させる第１狭帯域フィルタと、原色の波長帯域より狭い波長帯域を有し、前記狭帯域フィルタと異なる可視光帯域に透過スペクトルの最大値を有する狭帯域光を透過させる第２狭帯域フィルタと、非可視光帯域に透過スペクトルの最大値を有する狭帯域光を透過させる第３狭帯域フィルタと、を用いて所定の配列パターンを形成し、該配列パターンを形成する個々の狭帯域フィルタが複数の画素のいずれかに対応する位置に配置された撮像素子によって生成された画像データを取得する取得ステップと、前記撮像素子が前記画像データを生成した際の環境下における前記非可視光帯域の光量が閾値より大きいか否かを判定する判定ステップと、前記判定ステップによって前記非可視光帯域の成分が前記閾値以上であると判定された場合、前記画像データに対応する画像における前記第３狭帯域フィルタが配置された画素の位置に対応する画素値および前記第２狭帯域フィルタが配置された画素の位置に対応する画素値を用いて被写体のバイタル情報を生成する一方、前記判定ステップによって前記非可視光帯域の光量が前記閾値以上でないと判定された場合、前記画像データに対応する画像における前記第１狭帯域フィルタが配置された画素の位置に対応する画素値および前記第２狭帯域フィルタが配置された画素の位置に対応する画素値を用いて被写体のバイタル情報を生成する生成ステップと、を含むことを特徴とする。

【0019】

また、本発明に係るプログラムは、原色の波長帯域より狭い波長帯域を有し、可視光帯域に透過スペクトルの最大値を有する狭帯域光を透過させる第１狭帯域フィルタと、原色の波長帯域より狭い波長帯域を有し、前記狭帯域フィルタと異なる可視光帯域に透過スペクトルの最大値を有する狭帯域光を透過させる第２狭帯域フィルタと、非可視光帯域に透過スペクトルの最大値を有する狭帯域光を透過させる第３狭帯域フィルタと、を用いて所定の配列パターンを形成し、該配列パターンを形成する個々の狭帯域フィルタが複数の画素のいずれかに対応する位置に配置された撮像素子によって生成された画像データを取得する取得ステップと、前記撮像素子が前記画像データを生成した際の環境下における前記非可視光帯域の光量が閾値より大きいか否かを判定する判定ステップと、前記判定ステップによって前記非可視光帯域の成分が前記閾値以上であると判定された場合、前記画像データに対応する画像における前記第３狭帯域フィルタが配置された画素の位置に対応する画素値および前記第２狭帯域フィルタが配置された画素の位置に対応する画素値を用いて被写体のバイタル情報を生成する一方、前記判定ステップによって前記非可視光帯域の光量が前記閾値以上でないと判定された場合、前記画像データに対応する画像における前記第１狭帯域フィルタが配置された画素の位置に対応する画素値および前記第２狭帯域フィルタが配置された画素の位置に対応する画素値を用いて被写体のバイタル情報を生成する生成ステップと、を画像処理装置に実行させることを特徴とする。

【発明の効果】

【0020】

本発明によれば、小型化を図ることができるという効果を奏する。

【図面の簡単な説明】

【0021】

【図1】図１は、本発明の実施の形態１に係る撮像装置の概略構成を示すブロック図である。

【図2】図２は、本発明の実施の形態１に係る撮像素子に設けられたフィルタアレイの構成を模式的に示す図である。

【図3】図３は、本発明の実施の形態１に係る撮像素子に設けられたフィルタアレイを構成する各フィルタの分光感度特性の一例を示す図である。

【図4】図４は、本発明の実施の形態１に係る画像処理部が実行する処理の概要を示すフローチャートである。

【図5】図５は、図４の光源情報判定処理の概要を示すフローチャートである。

【図6】図６は、図４のバイタル情報生成用フィルタ選択処理の概要を示すフローチャートである。

【図7】図７は、ヘモグロビンの吸収特性を示す図である。

【図8】図８は、図４のバイタル情報生成処理の概要を示すフローチャートである。

【図9】図９は、本発明の実施の形態１に係る撮像部が生成したＲＡＷ画像データに対応する画像の一例を示す図である。

【図10】図１０は、本発明の実施の形態１に係る画像処理部の選択部が選択した狭帯域フィルタに対応する画素の画素値の時系列変動を模式的に示す図である。

【図11】図１１は、本発明の実施の形態２に係る撮像素子のフィルタアレイの構成を模式的に示す図である。

【図12】図１２は、本発明の実施の形態２に係る撮像素子に設けられたフィルタアレイを構成する各フィルタの分光感度特性の一例を示す図である。

【図13】図１３は、本発明の実施の形態２に係る画像処理部が実行する光源情報判定処理の概要を示すフローチャートである。

【図14】図１４は、本発明の実施の形態２に係る撮像部が生成したＲＡＷ画像データに対応する画像の一例を示す図である。

【図15】図１５は、本発明の実施の形態３に係る撮像装置の機能構成を示すブロック図である。

【図16】図１６は、本発明の実施の形態４に係る撮像装置の機能構成を示すブロック図である。

【図17】図１７は、光源スペクトルと感度との関係を示す図である。

【発明を実施するための形態】

【0022】

以下、本発明を実施するための形態を図面とともに詳細に説明する。なお、以下の実施の形態により本発明が限定されるものではない。また、以下の説明において参照する各図は、本発明の内容を理解でき得る程度に形状、大きさ、および位置関係を概略的に示してあるに過ぎない。即ち、本発明は、各図で例示された形状、大きさ、および位置関係のみに限定されるものではない。また、同一の構成には同一の符号を付して説明する。

【0023】

（実施の形態１）
〔撮像装置の構成〕
図１は、本発明の実施の形態１に係る撮像装置の概略構成を示すブロック図である。図１に示す撮像装置１は、被写体を撮像し、被写体のＲＡＷ画像データを生成する撮像部２と、撮像部２が生成したＲＡＷ画像データを取得し、取得したＲＡＷ画像データに対して所定の処理を行う画像処理部３と、画像処理部３が処理を行ったＲＡＷ画像データに対応する画像を表示する表示部４と、を備える。なお、本実施の形態１では、画像処理部３が画像処理装置として機能する。また、本実施の形態１では、撮像部２、画像処理部３および表示部４は、有線または無線によって双方向に通信可能に接続されている。

【0024】

〔撮像部の構成〕
まず、撮像部２の構成について説明する。
撮像部２は、光学系２１と、撮像素子２２と、Ａ／Ｄ変換部２３と、を備える。

【0025】

光学系２１は、一または複数のレンズ、例えばフォーカスレンズやズームレンズ、絞りおよびシャッタ等を用いて構成され、被写体像を撮像素子２２の受光面に結像する。

【0026】

撮像素子２２は、光学系２１が受光面に結像した被写体像を受光して光電変換を行うことによって、ＲＡＷ画像データを生成する。撮像素子２２は、格子状に配置された複数の画素がそれぞれ受光した光を光電変換し、電気信号を生成するＣＭＯＳ（Complementary Metal Oxide Semiconductor）を用いて構成される。また、撮像素子２２は、原色の波長帯域の光を透過する複数の広帯域フィルタと、この広帯域フィルタを透過する光の波長帯域より狭い狭帯域の光を透過させる複数の狭帯域フィルタと、を含むフィルタアレイ（ＣＦＡ）を有する。

【0027】

図２は、フィルタアレイの構成を模式的に示す図である。図２に示すフィルタアレイ２２１は、撮像素子２２を構成する各画素の受光面に配置され、緑色の光（４９５〜５７０ｎｍ）を透過する広帯域フィルタＣ１、青色の光（４５０〜４９５ｎｍ）を透過する広帯域フィルタＣ２と、赤色の光（６２０〜７５０ｎｍ）を透過する広帯域フィルタＣ３と、緑色の波長帯域の一部に最大値を有し、緑色の波長帯域より狭い光の成分を透過する狭帯域フィルタＣ４（第１狭帯域フィルタ）と、赤色の波長帯域の一部に最大値を有し、赤色の波長帯域より狭い光の成分を透過する狭帯域フィルタＣ５（第２狭帯域フィルタ）と、近赤外の光の成分を透過する狭帯域フィルタＣ６（第３狭帯域フィルタ）と、を用いて構成される。フィルタアレイ２２１は、広帯域フィルタＣ１、広帯域フィルタＣ２および広帯域フィルタＣ２を合わせた数が狭帯域フィルタＣ４、狭帯域フィルタＣ５および狭帯域フィルタＣ６を合わせた数より多い。具体的には、フィルタアレイ２２１は、一つの狭帯域フィルタを基準に見た場合、右に３つ画素を進んだ後に、下に１つ進んだ画素の位置に配置される。より具体的には、フィルタアレイ２２１は、図２の左上端にある狭帯域フィルタＣ４を基準に見た場合、右に広帯域フィルタＣ１、広帯域フィルタＣ３、広帯域フィルタＣ１の順で進んだ後に、下段の画素に狭帯域フィルタＣ５が設けられている。

【0028】

図３は、フィルタアレイ２２１を構成する各フィルタの分光感度特性の一例を示す図である。なお、図３において、横軸が波長を示し、縦軸が透過率を示す。図３において、曲線ＬＣ１が広帯域フィルタＣ１の透過率を示し、曲線ＬＣ２が広帯域フィルタＣ２の透過率を示し、曲線ＬＣ３が広帯域フィルタＣ３の透過率を示し、曲線ＬＣ４が狭帯域フィルタＣ４の透過率を示し、曲線ＬＣ５が狭帯域フィルタＣ５の透過率を示し、曲線ＬＣ６が狭帯域フィルタＣ６の透過率を示す。

【0029】

図３に示すように、狭帯域フィルタＣ４は、緑色の波長帯域の一部に含まれる狭帯域光を透過する。具体的には、狭帯域フィルタＣ４は、波長帯域が４９０〜５５０ｎｍに含まれる狭帯域光を透過する。より好ましくは、狭帯域フィルタＣ４は、５２０ｎｍの光を透過する。また、狭帯域フィルタＣ５は、赤色の波長帯域の一部に含まれる狭帯域光を透過する。具体的には、狭帯域フィルタＣ５は、波長帯域が６２０〜７００ｎｍに含まれる狭帯域光を透過する。より好ましくは、狭帯域フィルタＣ５は、６６０ｎｍの光を透過する。さらに、狭帯域フィルタＣ６は、近赤外の波長帯域の一部に含まれる狭帯域光を透過する。具体的には、狭帯域フィルタＣ６は、波長帯域が８００〜１０００ｎｍに含まれる狭帯域光を透過する。より好ましくは、狭帯域フィルタＣ６は、９４０ｎｍの光を透過する。なお、本実施の形態１では、狭帯域フィルタＣ４が透過する透過スペクトルを５２０ｎｍ、狭帯域フィルタＣ５が透過する透過スペクトルを６６０ｎｍ、狭帯域フィルタＣ６が透過する透過スペクトルを９４０ｎｍとして説明する。

【0030】

図１に戻り、撮像部２の構成の説明を続ける。
Ａ／Ｄ変換部２３は、撮像素子２２が生成したアナログのＲＡＷ画像データをデジタルに変換する。

【0031】

〔画像処理部の構成〕
次に、画像処理部３の構成について説明する。
画像処理部３は、取得部３１と、判定部３２と、選択部３３と、生成部３４と、顔検出部３５と、を有する。

【0032】

取得部３１は、撮像部２から撮像素子２２によって生成されたＲＡＷ画像データを取得し、取得したＲＡＷ画像データを判定部３２、生成部３４および顔検出部３５それぞれに出力する。

【0033】

判定部３２は、撮像素子２２が画像データを生成した際の環境下における非可視光帯域の光量が閾値より大きいか否かを判定する。具体的には、判定部３２は、取得部３１が撮像部２から取得したＲＡＷ画像データに近赤外情報が含まれているか否かを判定する。例えば、判定部３２は、取得部３１が撮像部２から取得したＲＡＷ画像データに対応する画像において狭帯域フィルタＣ６が配置された画素の位置に対応する対応する画素の画素値を抽出後、この抽出した狭帯域フィルタＣ６に対応する画素の画素値の平均値を算出し、算出した平均値が閾値より大きいか否かを判定することによって、撮像素子２２が画像データを生成した際の環境下における非可視光帯域の光量（近赤外情報）が閾値より大きいか否かを判定する。

【0034】

選択部３３は、判定部３２の判定結果に基づいて、生成部３４がバイタル情報を生成する際に用いる狭帯域フィルタを選択する。具体的には、選択部３３は、判定部３２がＲＡＷ画像データに近赤外情報が十分に含まれていると判定した場合、生成部３４がバイタル情報生成に用いる狭帯域フィルタ（バンド）として狭帯域フィルタＣ６を選択する一方、判定部３２がＲＡＷ画像データに近赤外情報が十分に含まれていないと判定した場合、生成部３４がバイタル情報生成に用いる狭帯域フィルタとして狭帯域フィルタＣ４を選択する。

【0035】

生成部３４は、選択部３３の選択結果、取得部３１が撮像部２から取得したＲＡＷ画像データおよび顔検出部３５の検出結果に基づいて、ＲＡＷ画像データに対応するＲＡＷ画像に含まれる被写体の顔を含む顔領域のバイタル情報を生成する。ここで、バイタル情報とは、酸素飽和度、心拍および血圧のいずれかである。具体的には、生成部３４は、判定部３２によって非可視光帯域の成分が閾値以上であると判定された場合、撮像素子２２によって生成されたＲＡＷ画像データに対応する画像において狭帯域フィルタＣ４が配置された画素の位置に対応する画素値および狭帯域フィルタＣ５が配置された画素の位置に対応する画素値を用いて被写体のバイタル情報を生成する一方、判定部３２によって非可視光帯域の光量が閾値以上でないと判定された場合、撮像素子２２によって生成された画像データに対応する画像における狭帯域フィルタＣ４が配置された画素の位置に対応する画素値および狭帯域フィルタＣ５が配置された画素の位置に対応する画素値を用いて被写体のバイタル情報を生成する。

【0036】

顔検出部３５は、取得部３１から入力されたＲＡＷ画像データに対応する画像に含まれる被写体の顔を含む領域を、周知のパターンマッチング等を用いて検出し、この検出結果を生成部３４へ出力する。

【0037】

〔表示部の構成〕
次に、表示部４の構成について説明する。
表示部４は、画像処理部３が処理を施した画像データに対応する画像を表示する。表示部４は、有機ＥＬ（Electro Luminescence）や液晶等の表示パネルや表示駆動ドライバ等を用いて構成される。

【0038】

このように構成された撮像装置１は、撮像部２で被写体を撮像して被写体のＲＡＷ画像データを生成し、画像処理部３が撮像部２によって生成されたＲＡＷ画像データを用いて被写体のバイタル情報を生成し、表示部４が画像処理部３によって生成された被写体のバイタル情報を表示する。これにより、ユーザは、バイタル情報を直感的に把握することができる。

【0039】

〔画像処理部の処理〕
次に、画像処理部３が実行する処理について説明する。図４は、画像処理部３が実行する処理の概要を示すフローチャートである。

【0040】

図４に示すように、まず、取得部３１は、撮像部２からＲＡＷ画像データを取得する（ステップＳ１０１）。

【0041】

続いて、判定部３２は、取得部３１が撮像部２から取得したＲＡＷ画像データに基づいて、近赤外情報が十分に含まれているか否かを判定する光源情報判定処理を実行する（ステップＳ１０２）。

【0042】

〔光源情報判定処理の概要〕
図５は、上述したステップＳ１０２の光源情報判定処理の概要を示すフローチャートである。

【0043】

図５に示すように、判定部３２は、取得部３１が撮像部２から取得したＲＡＷ画像データから狭帯域フィルタＣ６に対応する画素の画素値を抽出し（ステップＳ２０１）、判定部３２は、ＲＡＷ画像データに対応する画像全体の平均値Ａｖｅ＿Ｃ６を算出する（ステップＳ２０２）。ここで、平均値Ａｖｅ＿Ｃ６とは、ＲＡＷ画像データから狭帯域フィルタＣ６に対応する各画素の画素値を加算して平均した値である。

【0044】

その後、判定部３２は、ステップＳ２０２で算出した平均値Ａｖｅ＿Ｃ６が閾値Ｔｈ＿ＩＬＬより大きいか否かを判定する（ステップＳ２０３）。ここで、閾値Ｔｈ＿ＩＬＬとは、予め実験等によって算出された値である。平均値Ａｖｅ＿Ｃ６が閾値Ｔｈ＿ＩＬＬより大きい場合（ステップＳ２０３：Ｙｅｓ）、判定部３２は、ＲＡＷ画像データに近赤外情報が十分に含まれていると判定する（ステップＳ２０４）。ステップＳ２０４の後、画像処理部３は、図４のメインルーチンへ戻る。

【0045】

ステップＳ２０３において、平均値Ａｖｅ＿Ｃ６が閾値Ｔｈ＿ＩＬＬ以下の場合（ステップＳ２０３：Ｎｏ）、判定部３２は、ＲＡＷ画像データに近赤外情報が十分に含まれていないと判定する（ステップＳ２０５）。ステップＳ２０５の後、画像処理部３は、図４のメインルーチンへ戻る。

【0046】

図４に戻り、ステップＳ１０３以降の説明を続ける。
ステップＳ１０３において、選択部３３は、判定部３２の判定結果に基づいて、バイタル情報を生成するためのフィルタを選択するバイタル情報生成用フィルタ選択処理を実行する。

【0047】

〔バイタル情報生成用フィルタ選択処理の概要〕
図６は、上述したステップＳ１０３のバイタル情報生成用フィルタ選択処理の概要を示すフローチャートである。

【0048】

図６に示すように、選択部３３は、判定部３２がＲＡＷ画像データに近赤外情報が十分に含まれていると判定したと場合（ステップＳ３０１：Ｙｅｓ）、生成部３４がバイタル情報生成に用いる狭帯域フィルタとして狭帯域フィルタＣ６を選択する（ステップＳ３０２）。ステップＳ３０２の後、画像処理部３は、図４のメインルーチンへ戻る。

【0049】

ステップＳ３０１において、選択部３３は、判定部３２がＲＡＷ画像データに近赤外情報が十分に含まれていない判定した場合（ステップＳ３０１：Ｎｏ）、生成部３４がバイタル情報生成に用いる狭帯域フィルタとして狭帯域フィルタＣ４を選択する（ステップＳ３０３）。ステップＳ３０３の後、画像処理部３は、図４のメインルーチンへ戻る。

【0050】

ここで、バイタル情報生成に用いるフィルタの波長帯域について詳細に説明する。図７は、ヘモグロビンの吸収特性を示す図である。図７において、横軸が波長（ｎｍ）を示し、縦軸がモル吸収係数（ｃｍ^-１／ｍ）を示す。また、図７において、曲線Ｌ１が還元ヘモグロビンのモル吸収係数を示し、曲線Ｌ２が酸化ヘモグロビンのモル吸収係数を示す。また、図７において、直線Ｂ１が狭帯域フィルタＣ４に対応する波長帯域を示し、直線Ｂ２が狭帯域フィルタＣ５に対応する波長帯域を示し、直線Ｂ３が狭帯域フィルタＣ６に対応する波長帯域を示す。

【0051】

血液中のヘモグロビンには、酸素と結合していない還元ヘモグロビン（Ｈｂ）および酸素と結合している酸化ヘモグロビン（ＨｂＯ₂）の２種類がある。本実施の形態１で用いるバイタル情報の１つには、血液中の全てのヘモグロビンにおける酸化ヘモグロビンの割合を示す酸素飽和度（ＳＰＯ₂）がある。この酸素飽和度は、以下の式（１）によって算出される。
ＳＰＯ₂＝（Ｃ（（ＨｂＯ₂）／（Ｃ（ＨｂＯ₂）＋（Ｃ（Ｈｂ））））×１００・・・（１）
ここで、Ｃ（（ＨｂＯ₂）は、酸化ヘモグロビンの濃度を示し、（Ｃ（Ｈｂ））は、還元ヘモグロビンの濃度を示す。

【0052】

本実施の形態１においては、酸化ヘモグロビンおよび還元ヘモグロビンそれぞれの波長毎の吸収特性の違いを利用する。即ち、図７に示すように、本実施の形態１では、酸化ヘモグロビンおよび還元ヘモグロビンそれぞれの吸収特性の差が大きい波長６６０ｎｍと、酸化ヘモグロビンおよび還元ヘモグロビンそれぞれの吸収特性の差が小さい波長９４０ｎｍまたは波長５２０ｎｍとを用いることによって、後述する生成部３４がバイタル情報として酸素飽和度を算出する（なお、酸素飽和度の原理的な方法は、特許文献１を参照。また、非接触による酸素飽和度の方法（画像データを用いて間接的に推定する方法）は、Lingqin Kong et al. ,“Non−contact detection of oxygen saturation based on visible light imaging device using ambient light”, Optics Express, Vol. 21, Issue 15, pp. 17464− 17471 (2013)を参照）。このため、選択部３３は、判定部３２がＲＡＷ画像データに近赤外情報が十分に含まれていると判定している場合、生成部３４がバイタル情報生成に用いるフィルタとして狭帯域フィルタＣ６を選択する一方、判定部３２がＲＡＷ画像データに近赤外情報が十分に含まれていないと判定した場合、生成部３４がバイタル情報生成に用いるフィルタとして狭帯域フィルタＣ４を選択する。

【0053】

図４に戻り、ステップＳ１０４以降の説明を続ける。
ステップＳ１０４において、生成部３４は、選択部３３の選択結果と取得部３１が撮像部２から取得したＲＡＷ画像データとに基づいて、ＲＡＷ画像データに対応するＲＡＷ画像に含まれる被写体の顔を含む顔領域のバイタル情報を生成するバイタル情報生成処理を実行する。

【0054】

〔バイタル情報生成処理の概要〕
図８は、上述したステップＳ１０４のバイタル情報生成処理の概要を示すフローチャートである。

【0055】

図８に示すように、顔検出部３５は、取得部３１が撮像部２から取得したＲＡＷ画像データに対応するＲＡＷ画像に含まれる被写体の顔を含む顔領域を検出する（ステップＳ４０１）。具体的には、図９に示すように、顔検出部３５は、ＲＡＷ画像データに含まれる広帯域フィルタＣ１〜Ｃ３それぞれの画素値の画像データに対応する広帯域画像Ｐ１（カラー画像）に対して、周知のパターンマッチング等の技術を用いて被写体Ａ１の顔を含む顔領域Ｒ１を検出する。

【0056】

続いて、生成部３４は、上述したステップＳ１０３で選択部３３が選択した狭帯域フィルタに対応する画素の画素値と狭帯域フィルタＣ５に対応する画素の画素値との比率の時系列変動データを算出する（ステップＳ４０２）。

【0057】

図１０は、上述したステップＳ１０３で選択部３３が選択した狭帯域フィルタに対応する画素の画素値の時系列変動を模式的に示す図であり、例えば狭帯域フィルタＣ５に対応する画素の画素値の時系列変動を模式的に示す図である。図１０において、横軸が時間を示し、縦軸が比率を示す。また、折れ線Ｌ３は、選択部３３が選択した狭帯域フィルタＣ５に対応する画素を全て加算した画素値の時系列変動を示す。

【0058】

ここで、生成部３４が時系列変動データを用いる理由は、上述した２つの波長を観察することによって生成部３４が酸素飽和度を算出することができるが、バイタル情報として特に有効なのが動脈血の酸素飽和度である。生体には、血液以外の組織層、動脈層および静脈層が存在する。これらの組織層のうち動脈層は、短時間で厚みが変化するが、皮膚や肉等の組織や静脈層は、短時間で厚みが変化しない。このため、生成部３４は、選択部３３が選択した狭帯域フィルタに対応する画素の画素値を全て加算した値（例えば図１０を参照）と狭帯域フィルタＣ５に対応する画素の画素値を全て加算した値との比率の時系列データの変動成分を検出することによって、動脈血のみの成分を検出する。即ち、生成部３４は、選択部３３が選択した狭帯域フィルタに対応する画素の画素値を全て加算した値と狭帯域フィルタＣ５に対応する画素の画素値を全て加算した値との比率の時系列データの変動成分に基づいて、動脈血の酸素飽和度を算出する。

【0059】

ステップＳ４０３において、生成部３４は、上述したステップＳ４０２で算出した時系列変動データに基づいて、バイタル情報を算出する。なお、生成部３４は、酸素飽和度に限らず、時系列データの変動成分から算出できる心拍数、複数箇所の心拍数を算出し、その時間差から血圧と相関の高い脈波伝播速度の算出、および予め設定された時系列データとの比較による感情やストレス（McDuff, S. Gontarek, R. W. Picard, “Improvements in Remote Cardio-Pulmonary Measurement Using a Five Band Digital Camera”, IEEE Transactions on Biomedical Engineering, （2014）を参照。）等を含む複数のバイタル情報を生成してもよい。また、生成部３４は、ステップＳ４０３で生成したバイタル情報を表示部４へ出力する。これにより、ユーザは、バイタル情報を直感的に把握することができる。ステップＳ４０３の後、画像処理部３は、図４のメインルーチンへ戻り、本処理を終了する。

【0060】

以上説明した本発明の実施の形態１によれば、生成部３４が判定部３２によってＲＡＷ画像データに非可視光領域の光量に対応する近赤外情報が十分に含まれていると判定された場合、狭帯域フィルタＣ５が配置された画素の画素値および狭帯域フィルタＣ６が配置された画素の画素値を用いて被写体のバイタル情報を生成する一方、判定部３２によって非可視光帯域の光量に対応する近赤外情報が十分に含まれていないと判定された場合、狭帯域フィルタＣ５が配置された画素の画素値および狭帯域フィルタＣ４が配置された画素の画素値を用いて被写体のバイタル情報を生成する。これにより、非可視光を照射する光源を設けなくてもよいので、装置の小型化を図ることができる。

【0061】

また、本発明の実施の形態１によれば、生成部３４が撮像素子２２によって生成されたＲＡＷ画像データに基づいて、被写体のバイタル情報を生成することによって、デジタルサイネージのような屋外での計測および不特定多数の被写体を対象とするような利用シーンにおいて特定の波長帯域の光を正確に照射する必要がないので、簡易に被写体のバイタル情報を生成することができる。

【0062】

さらに、本発明の実施の形態１によれば、生成部３４が狭帯域フィルタＣ６を含むフィルタアレイ２２１を有する撮像素子２２によって生成されたＲＡＷ画像データに基づいて、被写体のバイタル情報を生成するので、非可視光を照射することなく、非接触でバイタル情報を取得する場合に高精度で取得することができる。

【0063】

さらにまた、本発明の実施の形態１によれば、被写体の計測時の環境下によって近赤外情報が十分に得られない場合、例えば蛍光灯のように近赤外成分が十分に含まれていない光源の環境下で計測を行った場合であっても、生成部３４が狭帯域フィルタＣ４に対応する画素の画素値を用いて被写体のバイタル情報を生成するので、高精度なバイタル情報を得ることができる。

【0064】

また、本発明の実施の形態１によれば、非可視光を照射しない場合であっても、撮影時の光源の環境下に応じて、選択部３３が適切な狭帯域フィルタを選択し、生成部３４が選択部３３によって選択された狭帯域フィルタに対応する画素の画素値を用いてバイタル情報を生成するので、高精度なバイタル情報を得ることができる。

【0065】

なお、本発明の実施の形態１では、顔検出部３５が周知技術を用いて被写体の顔の表情（例えば笑顔や）を検出してもよい。この場合、生成部３４は、顔検出部３５が検出した顔の表情と選択部３３によって選択された狭帯域フィルタが配置された画素の画素値とを用いて、被写体のバイタル情報を生成してもよい。

【0066】

（実施の形態２）
次に、本発明の実施の形態２について説明する。本実施の形態２に係る撮像装置は、上述した実施の形態１に係る撮像素子２２と構成が異なる。具体的には、本実施の形態２に係る撮像素子は、カラーフィルタが狭帯域フィルタのみによって形成されている。さらに、本実施の形態２に係る撮像装置は、判定部が行う光源情報判定処理が異なる。このため、以下においては、本実施の形態２に係る撮像素子の構成を説明後、本実施の形態２に係る判定部が行う光源情報判定処理について説明する。なお、以下において、上述した実施の形態１に係る撮像装置１と同一の構成には同一の符号を付して説明を省略する。

【0067】

図１１は、本実施の形態２に係る撮像素子のフィルタアレイの構成を模式的に示す図である。図１２は、フィルタアレイを構成する各フィルタの分光感度特性の一例を示す図である。なお、図１２において、横軸が波長を示し、縦軸が透過率を示す。

【0068】

図１１および図１２に示すように、フィルタアレイ２２１ａは、撮像素子２２を構成する各画素の受光面に配置され、狭帯域フィルタＣ４〜Ｃ６を用いて構成される。フィルタアレイ２２１ａは、狭帯域フィルタＣ５の数が狭帯域フィルタＣ４および狭帯域フィルタＣ６の数より多く、狭帯域フィルタＣ４の数と狭帯域フィルタＣ６の数とが同じである。

【0069】

〔光源情報判定処理の概要〕
次に、画像処理部３が実行する光源情報判定処理について説明する。図１３は、光源情報判定処理の概要を示すフローチャートである。

【0070】

図１３に示すように、まず、顔検出部３５は、取得部３１が撮像部２から取得したＲＡＷ画像データに対応するＲＡＷ画像に対して、周知のパターンマッチング等の技術を用いて被写体の顔が含まれる顔領域を検出する。具体的には、図１４に示す場合、顔検出部３５は、顔領域Ｒ１０,Ｒ１１を検出する（ステップＳ５０１）。

【0071】

続いて、判定部３２は、顔検出部３５によって検出された各顔領域の狭帯域フィルタＣ６に対応する画素の画素値を抽出する（ステップＳ５０２）。

【0072】

その後、判定部３２は、顔検出部３５によって検出された各顔領域の平均値Ａｖｅ＿Ｃ６を算出する（ステップＳ５０３）。

【0073】

続いて、判定部３２は、ステップＳ５０３で算出した各顔領域の平均値Ａｖｅ＿Ｃ６が閾値Ｔｈ＿ＩＬＬより大きいか否かを判定する（ステップＳ５０４）。平均値Ａｖｅ＿Ｃ６が閾値Ｔｈ＿ＩＬＬより大きい場合（ステップＳ５０４：Ｙｅｓ）、判定部３２は、顔領域に近赤外情報が十分に含まれていると判定する（ステップＳ５０５）。これに対して、ステップＳ５０３で算出した顔領域の平均値Ａｖｅ＿Ｃ６が閾値Ｔｈ＿ＩＬＬ以下の場合（ステップＳ５０４：Ｎｏ）、判定部３２は、顔領域に近赤外情報が十分に含まれていないと判定する（ステップＳ５０６）。

【0074】

ステップＳ５０５またはステップＳ５０６の後、顔検出部３５が検出した全ての顔領域に対して判定部３２による判定が終了した場合（ステップＳ５０７：Ｙｅｓ）、画像処理部３は、図４のメインルーチンへ戻る。これに対して、顔検出部３５が検出した全ての顔領域に対して判定部３２による判定が終了していない場合（ステップＳ５０７：Ｎｏ）、画像処理部３は、ステップＳ５０４へ戻る。

【0075】

以上説明した本発明の実施の形態２によれば、上述した実施の形態１と同様の効果を有するうえ、広帯域フィルタＣ１〜Ｃ３を省略しているので、安価にすることができる。

【0076】

さらに、本発明の実施の形態２によれば、フィルタアレイ２２１ａを狭帯域フィルタＣ４〜Ｃ６のみで構成しているので、バイタル情報を高精度に生成することができる。

【0077】

なお、本発明の実施の形態２では、判定部３２が顔検出部３５によって検出された顔領域に対して近赤外情報が十分に含まれているか否かを判定していたが、ＲＡＷ画像を所定の領域毎、例えばＲＡＷ画像を４分割した領域毎に近赤外情報が十分に含まれているか否かの判定を行ってもよい。

【0078】

（実施の形態３）
次に、本発明の実施の形態３について説明する。本実施の形態３に係る撮像装置は、上述した実施の形態１と構成が異なる。具体的には、上述した実施の形態１に係る撮像装置は、撮像部２が生成したＲＡＷ画像データに基づいて、近赤外の情報が十分に含まれているか否かを判定したが、本実施の形態３に係る撮像装置は、近赤外の情報を検出するセンサをさらに備える。このため、以下においては、本実施の形態３に係る撮像装置の構成を説明後、本実施の形態３が実行する処理について説明する。なお、上述した実施の形態１に係る撮像装置１と同一の構成には同一の符号を付して説明を省略する。

【0079】

〔撮像装置の構成〕
図１５は、本実施の形態３に係る撮像装置の機能構成を示すブロック図である。図１５に示す撮像装置１ａは、上述した実施の形態１に係る撮像装置１の構成に加えて、検出部５をさらに備える。また、撮像装置１ａは、上述した実施の形態１に係る画像処理部３に換えて、画像処理部３ａを備える。

【0080】

検出部５は、光源から照射された光を受光して所定の波長帯域の強度を検出し、この検出結果を判定部３２ａへ出力する。

【0081】

画像処理部３ａは、上述した実施の形態１に係る画像処理部３における判定部３２に換えて、判定部３２ａを有する。判定部３２ａは、検出部５から入力された検出結果に基づいて、撮像部２が生成したＲＡＷ画像データに近赤外情報が十分に含まれているか否かを判定する。

【0082】

このように構成された撮像装置１ａは、上述した実施の形態１と同様の処理（図４を参照）を実行する。

【0083】

以上説明した本発明の実施の形態３によれば、判定部３２ａが検出部５の検出結果に基づいて、撮像部２によって生成されたＲＡＷ画像データに近赤外情報が十分に含まれているか否かを判定するので、高精度に光源情報を判定することができる。

【0084】

（実施の形態４）
次に、本発明の実施の形態４について説明する。本実施の形態４は、上述した実施の形態３と構成が異なる。具体的には、本実施の形態４は、判定部が検出部の検出結果または撮像部が生成したＲＡＷ画像データに基づいて、近赤外情報が十分に含まれているか否かを判定する。このため、以下においては、本実施の形態４の構成について説明する。なお、上述した実施の形態３に係る撮像装置１ａと同一の構成には同一の符号を付して説明を省略する。

【0085】

図１６は、本実施の形態４に係る撮像装置の機能構成を示すブロック図である。図１６に示す撮像装置１ｂは、上述した画像処理部３ａに換えて、画像処理部３ｂを有する。画像処理部３ｂは、上述した画像処理部３ａの構成に加えて、切替部３６をさらに有する。

【0086】

切替部３６は、生成部３４の制御のもと、判定部３２ｂに入力されるデータを、取得部３１が撮像部２から取得したＲＡＷ画像データおよび検出部５の検出結果のどちらか一方に切り替える。例えば、切替部３６は、判定部３２ｂがＲＡＷ画像データに近赤外情報が十分に含まれていないと判定した場合、切替部３６を駆動させて検出部５の検出結果を判定部３２ｂに入力させる。

【0087】

以上説明した本発明の実施の形態４によれば、判定部３２ｂが検出部５の検出結果または取得部３１が撮像部２から取得したＲＡＷ画像データに基づいて、撮像部２によって生成されたＲＡＷ画像データに近赤外情報が十分に含まれているか否かを判定するので、高精度に光源情報を判定することができる。

【0088】

（その他の実施の形態）
上述した実施の形態１〜４では、生成部３４が狭帯域フィルタＣ４に対応する画素の画素値および狭帯域フィルタＣ６に対応する画素の画素値のいずれか一方を用いてバイタル情報を生成していたが、例えばハロゲン光源のように可視光波長帯域および近赤外波長帯域に感度を有する光源の場合、狭帯域フィルタＣ４に対応する画素の画素値および狭帯域フィルタＣ６に対応する画素の画素値それぞれを用いてバイタル情報を生成してもよい。

【0089】

図１７は、光源スペクトルと感度との関係を示す図である。図１７において、横軸が波長（ｎｍ）を示し、縦軸が輝度（Ｗ／ｍ²）を示す。また、図１７において、曲線Ｌ１０が蛍光灯（その１）の輝度分布を示し、曲線Ｌ１１が蛍光灯（その２）の輝度分布を示し、曲線Ｌ１２がハロゲン光源の輝度分布を示す。

【0090】

図１７の曲線Ｌ１２に示すように、ハロゲン光源は、可視光波長帯域および近赤外波長帯域に感度を有する。このため、生成部３４は、狭帯域フィルタＣ４に対応する画素の画素値を用いて生成したバイタル情報と狭帯域フィルタＣ６に対応する画素の画素値を用いて生成したバイタル情報とを比較し、信頼度が高い方のバイタル情報を表示部４に出力する。ここで、信頼度とは、撮像部２が連続的に生成した複数のフレーム間でのバイタル情報の安定性、例えば変化率である。これにより、バイタル情報の精度をより向上させることができる。

【0091】

また、本発明では、生成部３４がＲＡＷ画像データに対応する画像全体に対して、同一の狭帯域フィルタを用いてバイタル情報を生成していたが、例えば画像を所定の領域毎または顔検出部３５が検出した顔領域毎に用いる狭帯域フィルタを選択してバイタル情報を生成してもよい。

【0092】

本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。例えば、本発明の説明に用いた撮像装置以外にも、携帯電話やスマートフォンにおける撮像素子を備えた携帯機器やウエアラブル機器、ビデオカメラ、内視鏡、監視カメラ、顕微鏡のような光学機器を通して被写体を撮影する撮像装置等、被写体を撮像可能ないずれの機器にも適用できる。

【0093】

また、本明細書において、前述の各動作フローチャートの説明において、便宜上「まず」、「次に」、「続いて」、「その後」等を用いて動作を説明しているが、この順で動作を実施することが必須であることを意味するものではない。

【0094】

また、上述した実施の形態における画像処理装置による各処理の手法、即ち、各フローチャートに示す処理は、いずれもＣＰＵ等の制御部に実行させることができるプログラムとして記憶させておくこともできる。この他、メモリカード（ＲＯＭカード、ＲＡＭカード等）、磁気ディスク、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の外部記憶装置の記憶媒体に格納して配布することができる。そして、ＣＰＵ等の制御部は、この外部記憶装置の記憶媒体に記憶されたプログラムを読み込み、この読み込んだプログラムによって動作が制御されることにより、上述した処理を実行することができる。

【0095】

また、本発明は、上述した実施の形態および変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上述した実施の形態に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、上述した実施の形態および変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、各実施の形態および変形例で説明した構成要素を適宜組み合わせてもよい。

【0096】

また、明細書または図面において、少なくとも一度、より広義または同義な異なる用語とともに記載された用語は、明細書または図面のいかなる箇所においても、その異なる用語に置き換えることができる。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。

【符号の説明】

【0097】

１,１ａ,１ｂ 撮像装置
２ 撮像部
３,３ａ,３ｂ 画像処理部
４ 表示部
５ 検出部
２１ 光学系
２２ 撮像素子
２３ Ａ／Ｄ変換部
３１ 取得部
３２,３２ａ,３２ｂ 判定部
３３ 選択部
３４ 生成部
３５ 顔検出部
３６ 切替部
２２１,２２１ａ フィルタアレイ
Ｃ１,Ｃ２,Ｃ３ 広帯域フィルタ
Ｃ４,Ｃ５,Ｃ６ 狭帯域フィルタ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】