IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

<>
  • -測定装置、測定方法及びプログラム 図1
  • -測定装置、測定方法及びプログラム 図2
  • -測定装置、測定方法及びプログラム 図3
  • -測定装置、測定方法及びプログラム 図4
  • -測定装置、測定方法及びプログラム 図5
  • -測定装置、測定方法及びプログラム 図6
  • -測定装置、測定方法及びプログラム 図7
  • -測定装置、測定方法及びプログラム 図8
  • -測定装置、測定方法及びプログラム 図9
  • -測定装置、測定方法及びプログラム 図10
  • -測定装置、測定方法及びプログラム 図11
  • -測定装置、測定方法及びプログラム 図12
  • -測定装置、測定方法及びプログラム 図13
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2025028386
(43)【公開日】2025-03-03
(54)【発明の名称】測定装置、測定方法及びプログラム
(51)【国際特許分類】
   A61B 5/02 20060101AFI20250221BHJP
   A61B 5/0245 20060101ALI20250221BHJP
【FI】
A61B5/02 310Z
A61B5/0245 100Z
【審査請求】有
【請求項の数】9
【出願形態】OL
(21)【出願番号】P 2023133182
(22)【出願日】2023-08-18
(71)【出願人】
【識別番号】000005049
【氏名又は名称】シャープ株式会社
(74)【代理人】
【識別番号】100147304
【弁理士】
【氏名又は名称】井上 知哉
(74)【代理人】
【識別番号】100148493
【弁理士】
【氏名又は名称】加藤 浩二
(72)【発明者】
【氏名】中野 あずさ
(72)【発明者】
【氏名】富澤 亮太
(72)【発明者】
【氏名】中島 健
(72)【発明者】
【氏名】岸部 祥典
【テーマコード(参考)】
4C017
【Fターム(参考)】
4C017AA02
4C017AA08
4C017AA09
4C017AA10
4C017AB03
4C017AB06
4C017AC27
4C017BC11
4C017BC17
4C017FF15
(57)【要約】
【課題】生体情報を取得することに適した明るさで生体の表面を撮像できる測定装置を提供する。
【解決手段】測定装置は、生体を撮像して動画像を取得する撮像部と、前記動画像を構成する各画像から前記生体の像を含む関心領域における画素の画素値の代表値を算出する画素値算出部と、前記代表値が所定範囲内となるように、最適フレームレートと、前記代表値とに基づいて露光時間と感度とを設定する撮像制御部と、を備え、前記撮像部は、前記最適フレームレートと前記露光時間と前記感度とで前記生体を撮像する。
【選択図】図2
【特許請求の範囲】
【請求項1】
生体を撮像して動画像を取得する撮像部と、
前記動画像を構成する各画像から前記生体の像を含む関心領域における画素の画素値の代表値を算出する画素値算出部と、
前記代表値が所定範囲内となるように、最適フレームレートと、前記代表値とに基づいて露光時間と感度とを設定する撮像制御部と、
を備え、
前記撮像部は、前記最適フレームレートと前記露光時間と前記感度とで前記生体を撮像する
測定装置。
【請求項2】
前記撮像制御部は、
前記代表値が前記所定範囲より小さく、前記露光時間が前記最適フレームレートから決定される撮影時間間隔以上である場合、前記感度を調整し、
前記代表値が前記所定範囲より小さく、前記露光時間が前記撮影時間間隔より短い場合、前記露光時間を調整する
請求項1に記載の測定装置。
【請求項3】
前記撮像制御部は、
前記代表値が前記所定範囲より大きく、前記感度が感度下限値以下である場合、前記露光時間を調整し、
前記代表値が前記所定範囲より大きく、前記感度が前記感度下限値より大きい場合、前記感度を調整する
請求項1に記載の測定装置。
【請求項4】
前記露光時間を調整することは、前記最適フレームレートから算出される複数の露光時間候補のいずれかを選択して前記露光時間を設定することである
請求項2又は3に記載の測定装置。
【請求項5】
前記撮像制御部は、前記最適フレームレートから決定される前記撮影時間間隔以下であるように前記露光時間を設定する
請求項1に記載の測定装置。
【請求項6】
前記感度を調整することは、前記代表値が前記所定範囲より小さく、前記露光時間が前記撮影時間間隔以上であり、前記感度が感度上限値より小さい場合、前記感度より大きい新たな感度を設定することを含む
請求項2に記載の測定装置。
【請求項7】
前記感度を調整することは、前記代表値が前記所定範囲より大きく、前記感度が前記感度下限値より大きい場合、前記感度より小さい新たな感度を設定することを含む
請求項3に記載の測定装置。
【請求項8】
生体を撮像して動画像を取得する工程と、
前記動画像を構成する各画像から前記生体の像を含む関心領域における画素の画素値の代表値を算出する工程と、
前記代表値が所定範囲内となるように、最適フレームレートと、前記代表値とに基づいて露光時間と感度とを設定する工程と、
を備え、
前記動画像を取得する工程において、前記最適フレームレートと前記露光時間と前記感度とで前記生体を撮像する
測定方法。
【請求項9】
コンピュータに、
生体を撮像して動画像を取得する機能と、
前記動画像を構成する各画像から前記生体の像を含む関心領域における画素の画素値の代表値を算出する機能と、
前記代表値が所定範囲内となるように、最適フレームレートと、前記代表値とに基づいて露光時間と感度とを設定する機能と、
前記代表値の時間変化から脈波信号を算出する機能と、
を実行させ、
前記動画像を取得する機能において、前記最適フレームレートと前記露光時間と前記感度とで前記生体を撮像する
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、測定装置、測定方法及びプログラムに関する。
【背景技術】
【0002】
特許文献1は、接続先の基地局に対応付けられた周波数情報を、自装置が存在する場所における周波数情報とみなし、カメラのフリッカ制御を行うカメラ付き移動通信端末装置を開示する。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2006-094370号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
生体の表面を撮像することにより生体情報を取得する場合、撮像処理を行う端末装置が安定に動作することが保証される最大のフレームレートであり、且つ生体情報を取得することに適した明るさで生体の表面を撮像することが望ましい。しかし、光源が接続する電源の周波数に由来して、光源の明るさが周期的に変化し、周期的なノイズであるフリッカを観測してしまう場合がある。そこで、生体情報を取得することに適した明るさで生体の表面を撮像するために、フリッカを低減するように露光時間を制御するとともに、感度を調整することが望ましい。そこで、本開示の一態様は、生体情報を取得することに適した明るさで生体の表面を撮像できる測定装置、測定方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0005】
本開示の一形態に係る測定装置は、生体を撮像して動画像を取得する撮像部と、前記動画像を構成する各画像から前記生体の像を含む関心領域における画素の画素値の代表値を算出する画素値算出部と、前記代表値が所定範囲内となるように、最適フレームレートと、前記代表値とに基づいて露光時間と感度とを設定する撮像制御部と、を備え、前記撮像部は、前記最適フレームレートと前記露光時間と前記感度とで前記生体を撮像する。
【0006】
本開示の一形態に係る測定方法は、生体を撮像して動画像を取得する工程と、前記動画像を構成する各画像から前記生体の像を含む関心領域における画素の画素値の代表値を算出する工程と、前記代表値が所定範囲内となるように、最適フレームレートと、前記代表値とに基づいて露光時間と感度とを設定する工程と、を備え、前記動画像を取得する工程において、前記最適フレームレートと前記露光時間と前記感度とで前記生体を撮像する。
【0007】
本開示の一形態に係るプログラムは、コンピュータに、生体を撮像して動画像を取得する機能と、前記動画像を構成する各画像から前記生体の像を含む関心領域における画素の画素値の代表値を算出する機能と、前記代表値が所定範囲内となるように、最適フレームレートと、前記代表値とに基づいて露光時間と感度とを設定する機能と、前記代表値の時間変化から脈波信号を算出する機能と、を実行させ、前記動画像を取得する機能において、前記最適フレームレートと前記露光時間と前記感度とで前記生体を撮像する。
【図面の簡単な説明】
【0008】
図1】測定装置の使用態様の一例を示す図である。
図2】測定装置の構成の一例を示すブロック図である。
図3】フリッカ関連情報の一例を示す図である。
図4】第一実施形態に係る測定装置の動作の一例を示すフローチャートである。
図5】撮像パラメータを調整する処理の一例を示すフローチャートである。
図6図5に続く撮像パラメータを調整する処理の一例を示すフローチャートである。
図7】第二実施形態に係る測定装置の構成の一例を示すブロック図である。
図8】フレームレートテーブルの一例を示す図である。
図9】第二実施形態に係る測定装置の動作の一例を示すフローチャートである。
図10】第三実施形態に係る測定装置の構成の一例を示すブロック図である。
図11】第三実施形態に係る測定装置の動作の一例を示すフローチャートである。
図12図11に続く測定装置の動作の一例を示すフローチャートである。
図13】第三実施形態の変形例に係る測定装置の構成の一例を示すブロック図である。
【発明を実施するための形態】
【0009】
(第一実施形態)
図1図6を参照して、第一実施形態について説明する。なお、図面については、同一又は同等の要素には同一の符号を付し、重複する説明は省略する。
【0010】
図1は、測定装置100の使用態様の一例を示す図である。図1に例示するように、測定装置100は、撮像部101を備える。
【0011】
測定装置100は、撮像部101によって取得された画像から脈波を示す脈波信号を算出する。例えば、測定装置100は、PC(Personal Computer)、スマートフォン、タブレット端末、脈波推定専用端末等である。本明細書において、脈波とは、体表の同一の位置に関して、画像に含まれる画素の画素値を示す時系列の信号から算出される、血管の容積の変化を示す時系列の信号である。本明細書において、画素値は、画像に含まれる画素の明るさを示す情報であって、例えば、R(Red)、G(Green)、B(Blue)ごとの画素の画素値または画素の輝度値である。
【0012】
例えば、撮像部101は、CCD(Charged Coupled Device)、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサによって構成される。撮像部101は、RGB(Red Green Blue)のフィルタを含むカメラ用のイメージセンサによって構成されてもよい。
【0013】
図2は、測定装置100の構成の一例を示すブロック図である。測定装置100は、撮像部101と、記憶部201と、制御部202とを備える。
【0014】
撮像部101は、生体102を撮像して動画像を取得する。具体的には、撮像部101は、撮像部101に対向する生体102を撮像し、生体102の体表の像を含む画像から構成される動画像を取得する。例えば、体表の像は、生体102の額の像、頬の像、指先の像、手首の像、手のひらの像等である。
【0015】
記憶部201は、各種データ、プログラム等を記録可能な記録媒体であり、例えば、ハードディスク、SSD(Solid State Drive)、半導体メモリ等により構成される。記憶部201には、フリッカ関連情報211(図3参照)と、最適フレームレート212とが記憶される。
【0016】
制御部202は、記憶部201に格納されるプログラム及びデータに従って、各種処理を実行する。制御部202は、例えば、CPU(Central Processing Unit)等のプロセッサによって実現される。制御部202は、画素値算出部203と、撮像制御部204と、脈波算出部205と、バイタル指標算出部206と、出力部207とを備える。
【0017】
画素値算出部203は、動画像214を構成する各画像から、生体102の像を含む関心領域の画素値の代表値215を算出する。
【0018】
撮像制御部204は、代表値215が所定範囲内となるように、最適フレームレート212と代表値215とに基づいて露光時間と感度とを設定する。撮像制御部204は、最適フレームレートから決定される撮影時間間隔以下であるように露光時間を設定する。そして、撮像制御部204は、設定した露光時間と、設定した感度とを含む撮像パラメータ213を決定する。撮像制御部204は、最適フレームレート212と撮像パラメータ213に含まれる露光時間と感度とで、生体102を撮像するように、撮像部101を制御して動画像214を取得する。
【0019】
脈波算出部205は、代表値215の時間変化から脈波信号216を算出する。
【0020】
バイタル指標算出部206は、脈波信号216から、生体102のバイタル指標を算出する。例えば、生体102のバイタル指標は、血圧に関する指標、及び脈拍数に関する指標等を含む。
【0021】
出力部207は、生体102に通知する情報を出力する。具体的には、出力部207は、バイタル指標算出部206によって算出されたバイタル指標を出力する。また、撮像部101が適切に撮影できない場合、出力部207は、適切に生体102を撮像できないことを通知するメッセージを出力する。
【0022】
図3は、フリッカ関連情報211の一例を示す図である。フリッカ関連情報211は、フリッカの有無と、フリッカの周波数fqとを示す。フリッカとは、光源の周期的な明るさの変化である。フリッカが発生した場合、撮像部101によって取得される画像に含まれる画素の画素値が周期的に変化する。
【0023】
図3に例示するフリッカ関連情報211は、フリッカが有ることを示す。さらに、図3に例示するフリッカ関連情報211は、フリッカの周波数fqが120Hzであることを示す。例えば、フリッカ関連情報211によって示されるフリッカの周波数fqは、照明に応じた値である。例えば、日本の場合、60Hzの電源を使用する西日本では、120Hzである周波数のフリッカが発生し、50Hzの電源を使用する東日本では100Hzの周波数のフリッカが発生し得る。なお、フリッカ関連情報211は、フリッカが無いことを示す場合、フリッカの周波数fqを示さなくてもよい。
【0024】
図4は、本実施形態に係る測定装置100の動作の一例を示すフローチャートである。本例では、測定装置100が起動した場合、制御部202は、図4に例示するステップS401の処理を開始する。制御部202がステップS401の処理を開始する時点において、記憶部201には、フリッカ関連情報211が記憶されているものとする。
【0025】
ステップS401において撮像制御部204は、フリッカが有るか否かを判定する。具体的には、フリッカ関連情報211によってフリッカが有ることが示される場合、撮像制御部204は、フリッカが有ると判定する。一方、フリッカ関連情報211によってフリッカが無いことが示される場合、撮像制御部204は、フリッカが無いと判定する。
【0026】
ステップS401においてフリッカが無いと判定された場合、ステップS402において撮像制御部204は、所定フレームレートを、最適フレームレート212として決定する。例えば、所定フレームレートは、60fps(Frames per second)である。そして、制御部202は、処理をステップS404に移行する。
【0027】
一方、ステップS401においてフリッカが有ると判定された場合、ステップS403において撮像制御部204は、フリッカの周波数fqに基づいて最適フレームレート212を決定する。具体的には、撮像制御部204は、ステップS401においてフリッカが有ると判定された場合、フリッカ関連情報211によって示されるフリッカの周波数fqに基づいて、最適フレームレート212を決定する。そして、制御部202は、処理をステップS404に移行する。
【0028】
撮像制御部204は、フリッカの周波数fqに基づいて、撮像パラメータ213に含まれる露光時間を決定する。具体的には、撮像制御部204は、撮像パラメータ213に含まれる露光時間を、N/fq秒に決定する。Nは正の整数である。例えば、フリッカの周波数fqが120Hzである場合、撮像制御部204は、撮像パラメータ213に含まれる露光時間を、1/120秒に変更する。また、例えば、フリッカの周波数fqが100Hzである場合、撮像制御部204は、撮像パラメータ213に含まれる露光時間を、1/100秒に変更する。
【0029】
ステップS404において撮像制御部204は、撮像部101が、最適フレームレート212と、撮像パラメータ213に含まれる露光時間と、撮像パラメータ213に含まれる感度とで、生体102を撮像するように、撮像部101を制御して動画像214を取得する。そして、撮像部101は、動画像214を構成する各画像を画素値算出部203に出力する。
【0030】
ステップS405において画素値算出部203は、動画像214を構成する各画像について、関心領域を決定する。関心領域は、動画像214を構成する画像のうちの体表の領域の一部であって、複数の画素を含む領域である。例えば、動画像214を構成する画像が生体102の顔領域を含む場合、関心領域は頬部分、額部分、又は眉間部分を含む。関心領域の個数は、1つでもよいし、複数でもよい。関心領域の形状は、直線で囲まれた多角形でもよいし、曲線で囲まれた形状でもよい。または、関心領域は、直線と曲線とで構成される閉領域であってもよい。
【0031】
ステップS406において画素値算出部203は、動画像214を構成する各画像について、ステップS405で決定された関心領域の画素値の代表値215を算出する。例えば、代表値215は、関心領域の各画素の画素値の平均値、中央値または最頻値である。また、撮像部101が、RGBのフィルタを含むカメラ用のイメージセンサによって構成される場合、画素値算出部203は、R、G、Bの夫々について画素値の代表値を算出してもよい。
【0032】
ステップS407において撮像制御部204は、最適フレームレート212と、代表値215とに基づいて、撮像パラメータ213を調整する処理を実行する。具体的には、撮像制御部204は、代表値215が所定範囲内となるように、最適フレームレート212と、代表値215とに基づいて、撮像パラメータ213に含まれる露光時間と、撮像パラメータ213に含まれる感度とを調整する。撮像パラメータ213を調整する処理の詳細は、図5図6を参照して後述する。
【0033】
ステップS408において撮像制御部204は、撮像部101が所定時間、生体102を撮像したか否かを判定する。ステップS409において撮像部101が所定時間、生体102を撮像していない場合、制御部202は、処理をステップS404に戻す。これにより、撮像制御部204は、所定時間内に、ステップS407で撮像パラメータ213を調整する処理を繰り返して、撮像部101を制御して動画像214を取得する。
【0034】
一方、ステップS408において撮像部101が所定時間、生体102を撮像した場合、ステップS409において脈波算出部205は、代表値215の時間変化から脈波信号216を算出する。具体的には、脈波算出部205は、体表の領域において同一の位置に対応する代表値215の時間変化から、脈波信号216を算出する。例えば、脈波算出部205は、主成分分析、独立成分分析等の多変量解析により代表値215の時間変化を示す信号を処理し、処理された結果を脈波信号216として算出する。代表値の時間変化は、血管の容積の変化の情報を含む。
【0035】
ステップS410においてバイタル指標算出部206は、脈波信号216から、測定対象のバイタル指標を算出する。例えば、測定対象のバイタル指標の種別が血圧である場合、バイタル指標算出部206は、脈波信号216の立ち上がり角度に基づいて最高血圧を算出する。また、例えば、測定対象のバイタル指標の種別が脈拍数である場合、バイタル指標算出部206は、脈波信号216のピーク数に基づいて脈拍数を算出する。
【0036】
次に、図5図6を参照して、撮像パラメータ213を調整する処理について詳細に説明する。図5図6は、撮像パラメータ213を調整する処理の一例を示すフローチャートである。
【0037】
ステップS501において撮像制御部204は、図4に例示するステップS406で算出された代表値215が、所定範囲内であるか否かを判定する。例えば、撮像制御部204は、図4に例示するステップS406において算出された、動画像214を構成する複数のフレームの画像それぞれについての代表値215が、所定範囲内であるか否かを判定する。
【0038】
または、撮像制御部204は、図4に例示するステップS406において算出された、動画像214を構成する複数のフレームの画像それぞれについての代表値215の平均値が、所定範囲内であるか否かを判定してもよい。または、撮像制御部204は、ステップS406において算出された、動画像214を構成する複数のフレームの画像それぞれについての代表値215のうち、選択された一のフレームの画像についての代表値215が、所定範囲内であるか否かを判定してもよい。
【0039】
ステップS401において代表値215が所定範囲内である場合、制御部202は、撮像パラメータを調整せず、図4に例示するステップS408に移行する。一方、ステップS501において代表値215が所定範囲より大きい場合、制御部202は、図6に例示するステップS601に移行する。
【0040】
ステップS501において代表値215が所定範囲より小さい場合、ステップS502において撮像制御部204は、撮像パラメータ213に含まれる露光時間を延長可能であるか否かを判定する。撮像パラメータ213に含まれる露光時間が、最適フレームレート212から決定される撮影時間間隔より短い場合、撮像制御部204は、露光時間を延長可能であると判定する。例えば、最適フレームレート212が60fpsである場合、露光時間が1/60秒よりも短い場合、撮像制御部204は、露光時間を延長可能であると判定する。一方、撮像パラメータ213に含まれる露光時間が、最適フレームレート212から決定される撮影時間間隔以上である場合、撮像制御部204は、露光時間を延長可能ではないと判定する。
【0041】
ステップS502において撮像制御部204が露光時間を延長可能である場合、ステップS503において撮像制御部204は、フリッカの周波数fqに基づいて、露光時間を延長する。つまり、ステップS501~ステップS503の処理により、撮像制御部204は、代表値215が所定範囲より小さく、撮像パラメータ213に含まれる露光時間が、最適フレームレート212から決定される撮影時間間隔より短い場合、撮像パラメータ213に含まれる露光時間を調整する。
【0042】
具体的には、撮像制御部204が撮像パラメータ213に含まれる露光時間を調整することは、最適フレームレート212から算出される複数の露光時間候補のいずれかを選択して、撮像パラメータ213に含まれる露光時間を設定することである。例えば、撮像制御部204は、撮像パラメータ213に含まれる露光時間を、N/fqから(N+1)/fqに変更することで、撮像パラメータ213に含まれる露光時間を延長することで、撮像パラメータ213に含まれる露光時間を調整する。Nは、正の整数である。例えば、フリッカの周波数fqが120Hzであり、撮像パラメータ213に含まれる露光時間が1/120秒である場合、撮像制御部204は、撮像パラメータ213に含まれる露光時間を、2/120に変更する。また、例えば、フリッカの周波数fqが100Hzであり、撮像パラメータ213に含まれる露光時間が1/100秒である場合、撮像制御部204は、撮像パラメータ213に含まれる露光時間を、1/50(=2/100)秒に変更する。以上より、撮像制御部204は、最適フレームレート212から決定される撮影時間間隔以下であるように露光時間を設定する。
【0043】
そして、撮像制御部204は、フリッカの周波数fqに基づいて、露光時間を延長した後、制御部202は、撮像パラメータ213を調整する処理を終了し、図4に例示するステップS408に移行する。
【0044】
ステップS502において撮像制御部204が露光時間を延長可能ではない場合、ステップS504において撮像制御部204は、撮像パラメータ213に含まれる感度が、感度上限値以下であるか否かを判定する。感度上限値は、測定装置100に応じて設定され、記憶部201に記憶されているものとする。
【0045】
ステップS504において撮像パラメータ213に含まれる感度が上限値より高い場合、ステップS505において撮像制御部204は、記憶部201に記憶されている感度上限値より高い新たな感度上限値を、記憶部201に記憶させる。または、ステップS505において撮像制御部204は、撮影環境が暗いために適切に撮影できないことを通知するメッセージを、出力部207によって出力させる。出力部207は、測定装置100が接続するディスプレイ(不図示)に、撮影環境が暗いために適切に撮影できないことを通知するメッセージを示す文字を表示させもよい。または、出力部207は、測定装置100が接続するスピーカ(不図示)に、撮影環境が暗いために適切に撮影できないことを通知するメッセージを示す音声を出力させてもよい。そして、制御部202は、撮像パラメータ213を調整する処理を終了し、図4に例示するステップS408に移行する。
【0046】
一方、ステップS504において撮像パラメータ213に含まれる感度が上限値以下である場合、ステップS506において撮像制御部204は、撮像パラメータ213に含まれる感度より大きい新たな感度を、撮像パラメータ213に含まれる感度として設定することで、撮像パラメータ213に含まれる感度を調整する。つまり、ステップS506において撮像制御部204が、撮像パラメータ213に含まれる感度を調整することは、代表値215が所定範囲より小さく、撮像パラメータ213に含まれる露光時間が前記撮影時間間隔以上であり、撮像パラメータ213に含まれる感度が感度上限値より小さい場合、撮像パラメータ213に含まれる感度より大きい新たな感度を設定することである。以上より、ステップS501~ステップS502、ステップS504、及びステップS506の処理により、撮像制御部204は、代表値215が所定範囲より小さく、撮像パラメータ213に含まれる露光時間が、最適フレームレート212から決定される撮影時間間隔以上である場合、撮像パラメータ213に含まれる感度を調整する。そして、制御部202は、撮像パラメータ213を調整する処理を終了し、図4に例示するステップS408に移行する。
【0047】
次に、図6を参照して、代表値215が所定範囲より大きい場合における処理について説明する。図6は、図5に続く撮像パラメータ213を調整する処理の一例を示すフローチャートである。
【0048】
図5に例示するステップS501において代表値215が所定範囲より大きい場合、ステップS601において撮像パラメータ213に含まれる感度が、感度下限値より大きいか否かを判定する。感度下限値は、測定装置100に応じて設定され、記憶部201に記憶されているものとする。
【0049】
ステップS601において撮像パラメータ213に含まれる感度が感度下限値より大きい場合、ステップS602において撮像制御部204は、撮像パラメータ213に含まれる感度より小さい新たな感度を、撮像パラメータ213に含まれる感度として決定することで、撮像パラメータ213に含まれる感度を調整する。つまり、撮像制御部204が、撮像パラメータ213に含まれる感度を調整することは、代表値215が所定範囲より大きく、撮像パラメータ213に含まれる感度が感度下限値より大きい場合、感度より小さい新たな感度を設定することである。以上より、図5に例示するステップS501、ステップS601~ステップS602の処理により、撮像制御部204は、代表値215が所定範囲より大きく、撮像パラメータ213に含まれる感度が感度下限値より大きい場合、撮像パラメータに含まれる感度を調整する。そして、制御部202は、撮像パラメータ213を調整する処理を終了し、図4に例示するステップS408に移行する。
【0050】
一方、ステップS601において撮像パラメータ213に含まれる感度が感度下限値以下である場合、ステップS603において撮像制御部204は、撮像パラメータ213に含まれる露光時間を短縮可能であるか否かを判定する。
【0051】
撮像パラメータ213に含まれる露光時間が、測定装置100に設定可能な露光時間下限値よりも長い場合に、撮像制御部204は、露光時間を短縮可能であると判定する。露光時間下限値は、測定装置100に応じて設定され、記憶部201に記憶されているものとする。例えば、露光時間下限値が80ミリ秒である場合に、撮像パラメータ213に含まれる露光時間が80ミリ秒よりも長い場合、撮像制御部204は、露光時間を短縮可能であると判定する。一方、撮像パラメータ213に含まれる露光時間が、露光時間下限値よりも短い場合、撮像制御部204は、露光時間を短縮可能ではないと判定する。
【0052】
ステップS603において撮像制御部204が露光時間を短縮可能である場合、ステップS604において撮像制御部204は、フリッカの周波数fqに基づいて、露光時間を短縮する。つまり、ステップS501、ステップS601、ステップS603~ステップS604の処理により、撮像制御部204は、代表値215が所定範囲より大きく、撮像パラメータ213に含まれる感度が感度下限値以下である場合、撮像パラメータ213に含まれる露光時間を調整する。
【0053】
具体的には、撮像制御部204が撮像パラメータ213に含まれる露光時間を調整することは、最適フレームレート212から算出される複数の露光時間候補のいずれかを選択して、撮像パラメータ213に含まれる露光時間を設定することである。例えば、撮像制御部204は、撮像パラメータ213に含まれる露光時間を、N/fqから(N-1)/fqに変更することで、撮像パラメータ213に含まれる露光時間を短縮する。Nは、正の整数である。例えば、フリッカの周波数fqが120Hzであり、撮像パラメータ213に含まれる露光時間が1/60(=2/120)秒である場合、撮像制御部204は、撮像パラメータ213に含まれる露光時間を、1/120に変更する。また、例えば、フリッカの周波数fqが100Hzであり、撮像パラメータ213に含まれる露光時間が1/50(=2/100)秒である場合、撮像制御部204は、撮像パラメータ213に含まれる露光時間を、1/100(=1/100)秒に変更する。以上より、撮像制御部204は、最適フレームレート212から決定される撮影時間間隔以下であるように露光時間を設定する。
【0054】
撮像制御部204は、フリッカの周波数fqに基づいて、露光時間を短縮した後、制御部202は、撮像パラメータ213を調整する処理を終了し、図4に例示するステップS408に移行する。
【0055】
一方、ステップS603において撮像制御部204が露光時間を短縮可能ではない場合、ステップS604において撮像制御部204は、記憶部201に記憶されている感度下限値より低い新たな感度下限値を、記憶部201に記憶させる。または、ステップS604において、撮像制御部204は、撮影環境が明るいために適切に撮影できないことを、生体102に注意喚起するメッセージを、出力部207によって出力させる。出力部207は、測定装置100が接続するディスプレイ(不図示)に、生体102に注意喚起するメッセージを示す文字を表示させてもよい。または、出力部207は、測定装置100が接続するスピーカ(不図示)に、生体102に注意喚起するメッセージを示す音声を出力させてもよい。そして、制御部202は、撮像パラメータ213を調整する処理を終了し、図4に例示するステップS408に移行する。
【0056】
以上より、本実施形態に係る測定装置100は、生体情報を取得することに適した明るさで生体の表面を撮像するために、フリッカを低減するように露光時間を制御するとともに、感度を調整できる。
【0057】
(第二実施形態)
図7図9を参照して、第二実施形態について説明する。なお、図面については、同一又は同様の要素には同一の符号を付し、重複する説明は省略する。他の実施形態と実質的に共通の機能を有する構成及び処理を共通の符号で参照して説明を省略し、他の実施形態と異なる点を説明する。
【0058】
図7は、本実施形態に係る測定装置100の構成の一例を示すブロック図である。図7に例示する測定装置100と、図2に例示する測定装置100との相違点は、図7に例示する測定装置100は、フリッカ検出部701を備え、記憶部201にフレームレートテーブル711が記憶される点にある。
【0059】
フリッカ検出部701は、フリッカの有無及びフリッカの周波数からなる群より選択される少なくとも一種を検出する。
【0060】
図8は、フレームレートテーブル711の一例を示す図である。フレームレートテーブル711には、登録周波数に登録フレームレートが関連付けられる。具体的には、フレームレートテーブル711には、登録フレームレートとして、登録周波数と登録フレームレートの整数倍との差の絶対値が閾値以上となるフレームレートが登録される。
【0061】
例えば、登録周波数が120Hzである場合、登録フレームレートは50fpsである。また、例えば、登録周波数が100Hzである場合、登録フレームレートは60fpsである。なお、図6に例示する登録周波数及び登録フレームレートは一例であり、登録周波数及び登録フレームレートを、図6に例示する数値に限定する趣旨ではない。
【0062】
例えば、測定装置100のメーカや機種ごとに登録周波数と登録フレームレートとが関連付けてフレームレートテーブル711に登録されてもよい。または、ユーザが、登録周波数と、登録フレームレートとを、測定装置100が備える操作部(図示せず)を用いて入力することで、登録周波数と登録フレームレートとが関連付けられてフレームレートテーブル711に登録されてもよい。
【0063】
図9は、本実施形態に係る測定装置100の動作の一例を示すフローチャートである。本例では、測定装置100が起動した場合、制御部202は、図9に例示するステップS901の処理を開始する。制御部202が図9に例示するステップS901の処理を開始する時点において、記憶部201には、フレームレートテーブル711が記憶されているものとする。
【0064】
ステップS901において、撮像制御部204は、撮像部101を起動する。撮像部101は起動した場合、撮像範囲を撮像して画像を取得する処理を開始する。ステップS901で取得される画像は、フリッカの有無を検出するために取得される画像である。撮像部101がフリッカの有無を検出するために画像を撮像する場合、撮像範囲に生体102が存在しなくてもよい。
【0065】
ステップS902においてフリッカ検出部701は、フリッカが検出されたか否かを判定する。例えば、フリッカ検出部701は、フリッカの有無を検出するために撮像された画像に含まれる所定領域内の画素の画素値から輝度値を算出する。所定領域は、体表とは異なる領域である。その場合、フリッカ検出部701は、算出された輝度値の時間変化を示す時系列信号から、輝度値の時間変化のピークのタイミングを検出する。輝度値の時間変化のピークのタイミングが周期的である場合、フリッカ検出部701は、フリッカが検出できたと判定する。例えば、フリッカ検出部701は、輝度値の時間変化のピークのタイミングが、予め設定されたフリッカに起因する周期である場合、フリッカが検出できたと判定する。一方、輝度値の時間変化のピークのタイミングが周期的ではない場合、フリッカ検出部701は、フリッカが検出できないと判定する。なお、フリッカ検出部701は、複数のフレームレートで撮像範囲を撮像し、互いに異なるフレームレートにおいて、輝度値の時間変化のピークのタイミングの周期が異なる場合、フリッカが検出されたと判定してもよい。
【0066】
ステップS902においてフリッカが検出されない場合、ステップS903において撮像制御部204は、所定フレームレートを、最適フレームレート212として決定する。ステップS903の処理は、図4に例示するステップS402の処理と同様であるため、詳細な説明は省略する。そして、制御部202は、処理を図4に例示するステップS404に移行する。
【0067】
一方、ステップS902においてフリッカが検出された場合、ステップS904においてフリッカ検出部701は、フリッカの周波数fqを検出する。例えば、フリッカ検出部701は、輝度値の時間変化のピークのタイミングを検出した場合、検出されたタイミングの時間間隔から、フリッカの周波数fqを検出する。または、フリッカ検出部701は、輝度値の時間変化を示す時系列信号に関する周波数スペクトルを算出してもよい。そして、フリッカ検出部701は、算出された周波数スペクトルにおいて、所定周波数帯域内のピーク周波数を、フリッカの周波数fqとして検出してもよい。
【0068】
ステップS905において撮像制御部204は、フレームレートテーブル711において、ステップS904で検出されたフリッカの周波数fqに最も近い値である登録周波数を選択する。
【0069】
ステップS906において撮像制御部204は、フレームレートテーブル711において、選択された登録周波数に関連付けられた登録フレームレートを、最適フレームレート212として決定する。そして、制御部202は、処理を図4に例示するステップS404に移行する。
【0070】
以上より、本実施形態に係る測定装置100は、フリッカの有無を検出して、フリッカの周波数fqに応じて予め登録されたフレームレートで生体102を撮像する。これにより、本実施形態に係る測定装置100は、フリッカによるノイズの影響を抑制することができ、且つできるだけ高いフレームレートで生体102を撮像できる。
【0071】
(第三実施形態)
図10図12を参照して、第三実施形態について説明する。なお、図面については、同一又は同様の要素には同一の符号を付し、重複する説明は省略する。他の実施形態と実質的に共通の機能を有する構成及び処理を共通の符号で参照して説明を省略し、他の実施形態と異なる点を説明する。
【0072】
図10は、本実施形態に係る測定装置100の構成の一例を示すブロック図である。図10に例示する測定装置100と、図7に例示する測定装置100との相違点は、図10に例示する測定装置100は、撮像間隔算出部1001を備え、撮像制御部204に替えて撮像制御部1002を備える点にある。
【0073】
撮像間隔算出部1001は、動画像214を構成する各画像が取得された時間差から、実際のフレームレートfrを算出する。
【0074】
撮像制御部1002は、実際のフレームレートfrと、最適フレームレート212との差異に応じて、撮像部101の設定を制御する。具体的には、撮像制御部1002は、実際のフレームレートfrと最適フレームレート212との差異が所定範囲内であるように、撮像部101の設定を制御する。
【0075】
図11は、本実施形態に係る測定装置100の動作の一例を示すフローチャートである。図11に例示するステップS1101~ステップS1106の処理は、図9に例示するステップS901~ステップS906の処理と同様であるため、詳細な説明は省略する。
【0076】
ステップS1107において撮像制御部1002は、撮像パラメータ213に含まれる露光時間と、撮像パラメータ213に含まれる感度とで、生体102を撮像するように、撮像部101を制御して画像を取得する。そして、撮像部101は、取得された動画像を構成する各画像を画素値算出部203に出力する。
【0077】
ステップS1108において撮像制御部1002は、ステップS1107で動画像を構成する各画像が取得された時刻を取得する。例えば、撮像制御部1002は、画像が取得された時刻を取得した場合、撮像制御部1002は、当該画像に割り当てられたフレーム番号に、当該画像が取得された時刻を関連付けた時刻情報を記憶部201に記憶させる。
【0078】
ステップS1109において画素値算出部203は、取得された動画像を構成する各画像について、関心領域を決定する。ステップS1110において画素値算出部203は、取得された動画像を構成する各画像について、関心領域の画素値の代表値215を算出する。ステップS1109~ステップS1110の処理は、図4に例示するステップS405~ステップS406の処理と同様であるため、詳細な説明は省略する。
【0079】
ステップS1111において撮像制御部204は、ステップS1103又はステップS1106で決定された最適フレームレート212と、ステップS1110で算出された代表値215とに基づいて、撮像パラメータ213を調整する処理を実行する。撮像パラメータ213を調整する処理の詳細は、図5図6に例示する通りであり、詳細な説明は省略する。そして、制御部202は、処理を図12に例示するステップS1201に移行する。
【0080】
図12は、図11に続く測定装置100の動作の一例を示すフローチャートである。
【0081】
ステップS1201において撮像間隔算出部1001は、所定数のフレームの画像について、図11に例示するステップS1108で取得された時刻の時間差から、実際のフレームレートfrを算出する。例えば、撮像間隔算出部1001は、記憶部201から時刻情報を取得することで、所定数のフレームの画像が取得された時間差を算出する。
【0082】
例えば、撮像間隔算出部1001は、所定数のフレームが2つのフレームである場合、連続する2つのフレームの画像が取得された時刻tと時刻tの差の絶対値を、時間差として算出する。時刻tは、連続する2つのフレームのうち、先の時刻にフレームの画像が取得された時刻である。時刻tは、連続する2つのフレームのうち、時刻t以降にフレームの画像が取得された時刻である。そして、撮像間隔算出部1001は、算出された時間差の逆数を、実際のフレームレートfrとして算出する。つまり、撮像間隔算出部1001は、fr=1/(t-t)との算出式により、実際のフレームレートfrを算出する。
【0083】
または、例えば、所定数のフレームが3つ以上のフレームである場合、3つ以上のフレームのうち、連続する2つのフレームの画像が取得された時間差から、実際のフレームレートfrを算出してもよい。
【0084】
例えば、所定数のフレームがN個のフレームである場合、各フレームの画像が取得された時刻が、それぞれ、時刻tであるとする。Nは、3以上の整数であり、iは0以上且つN-1以下の整数であるとする。その場合、N個のフレームのうち、2つの連続するフレームのフレームレートは、それぞれ、1/(t―tk-1)である。kは、1以上且つN-1以下の整数である。撮像間隔算出部1001は、N個のフレームのうちの2つの連続するフレームに関するフレームレートの代表値を、実際のフレームレートfrとして算出する。例えば、撮像間隔算出部1001は、fr=(ΣN-1 k=1(1/(t-tk-1)))/(N-1)との算出式により、実際のフレームレートfrを算出する。例えば、N=4である場合、撮像間隔算出部1001は、fr=(1/(t-t)+1/(t-t)+1/(t-t))/3との算出式により、実際のフレームレートfrを算出する。
【0085】
または、撮像間隔算出部1001は、fr=(N-1)/(tN-1-t)との算出式により、実際のフレームレートfrを算出してもよい。例えば、所定数のフレームが30フレームである場合、撮像間隔算出部1001は、fr=29/(t29-t)との算出式により、実際のフレームレートfrを算出する。
【0086】
ステップS1202において撮像制御部1002は、実際のフレームレートfrが最適フレームレート212より低いか否かを判定する。ステップS1202において実際のフレームレートfrが最適フレームレート212より低い場合、ステップS1203において撮像制御部1002は、図11に例示するステップS1107において取得された動画像を構成する各画像が取得されたときの露光時間より短い、新たな露光時間を決定する。撮像制御部1002が、取得された動画像を構成する各画像が取得されたときの露光時間よりも、新たな露光時間ET2を短くすることで、以降の実際のフレームレートfr2は、ステップS1107において画像が取得されたときの実際のフレームレートfr1よりも高くなる。そして、制御部202は、処理を図11に例示するステップS1107に戻す。
【0087】
一方、ステップS1202において実際のフレームレートfrが最適フレームレート212以上である場合、ステップS1204において撮像制御部1002は、実際のフレームレートfrと最適フレームレート212との差異が所定範囲内であるか否かを判定する。
【0088】
ステップS1204において実際のフレームレートfrと最適フレームレート212との差異が所定範囲内ではない場合、制御部202は処理を図11に例示するステップS1107に戻す。一方、ステップS1204において実際のフレームレートfrと最適フレームレート212との差異が所定範囲内である場合、ステップS1205において撮像制御部1002は、図11に例示するステップS1103又はステップS1106で決定された最適フレームレートと、図11に例示するステップS1111で調整された撮像パラメータ213に含まれる露光時間と、ステップS1111で調整された撮像パラメータ213に含まれる感度とで生体102を撮像するように、撮像部101を制御して動画像214を取得する。撮像部101は、取得された動画像214を構成する各画像を画素値算出部203に出力する。
【0089】
ステップS1206において撮像制御部204は、撮像部101が所定時間、生体102を撮像したか否かを判定する。ステップS1206において撮像部101が所定時間、生体102を撮像していない場合、制御部202は、処理をステップS1205に戻す。一方、ステップS1206において撮像部101が所定時間、生体102を撮像した場合、制御部202は、図4に例示するステップS409に移行する。
【0090】
以上より、本実施形態に係る測定装置100は、実際のフレームレートfrに応じて、最適フレームレート212に近づくように撮像パラメータ213を調整する。これにより、本実施形態に係る測定装置100は、撮像部101の処理時間、及び画素値算出部203における処理時間を要することによって、実際のフレームレートfrが最適フレームレート212よりも低下した場合であっても、生体情報を取得することに適した明るさで生体の表面を撮像するために、フリッカを低減するように露光時間を制御するとともに、感度を調整できる。
【0091】
(第三実施形態の変形例1)
本実施形態に係る測定装置100の変形例1として、撮像制御部1002は、フリッカの周波数fqに応じて、所定の算出式によって最適フレームレート212を決定してもよい。例えば、撮像制御部1002は、フリッカの周波数fqを整数Nで割った値を、最適フレームレート212として決定してもよい。例えば、フリッカの周波数fqが120Hzである場合、撮像制御部1002は、60fps(=120/2)を、最適フレームレート212として決定してもよい。または、例えば、フリッカの周波数fqが100Hzである場合、撮像制御部1002は、50fps(=100/2)を最適フレームレート212として、決定してもよい。
【0092】
(第三実施形態の変形例2)
本実施形態に係る測定装置100の変形例2として、撮像制御部1002は、フレームレートの上限値を設定可能である場合、フレームレートの上限値を、ステップS1103又はステップS1106で決定された最適フレームレート212に決定してもよい。これにより撮像制御部1002は、実際のフレームレートfrが最適フレームレート212を超えることを防止できる。その結果、撮像制御部1002は、実際のフレームレートfrと最適フレームレート212との差異を所定範囲内にすることが容易になる。
【0093】
(第三実施形態の変形例3)
本実施形態に係る測定装置100の変形例3として、撮像制御部1002は、露光時間を調整することを、所定時間間隔以上をあけて行ってもよい。撮像制御部1002は、図11に例示するステップS1111で撮像パラメータ213を調整してから、切替最短時間が経過した時点以降に、実際のフレームレートfrと最適フレームレート212との差異が所定範囲内ではない場合、制御部202は処理を図11に例示するステップS1107に戻してもよい。これにより、撮像制御部1002は、実際のフレームレートfrと最適フレームレート212との差異が所定範囲内ではない場合に、頻繁に露光時間を変更することを防止できる。
【0094】
(第三実施形態の変形例4)
本実施形態に係る測定装置100の変形例4として、記憶部201にフリッカ関連情報211が記憶されてもよい。
【0095】
図13は、本変形例に係る測定装置100の構成の一例を示すブロック図である。図13に例示する測定装置100と、図10に例示する測定装置100との相違点は、図13に例示する測定装置100は、フリッカ検出部701を備えない点にある。
【0096】
本変形例に係る撮像制御部1002は、フリッカ関連情報211によって示されるフリッカの有無、又はフリッカ関連情報211によって示されるフリッカの周波数fqに基づいて、最適フレームレート212を決定する。これにより、本変形例に係る測定装置100は、実際のフレームレートfrを、照明に応じて設定されたフリッカの周波数fqに基づく最適フレームレートに近づけることができる。
【0097】
本開示は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態に夫々開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。更に、各実施形態に夫々開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。
【符号の説明】
【0098】
100 測定装置、101 撮像部、102 生体、201 記憶部、202 制御部、203 画素値算出部、204 撮像制御部、205 脈波算出部、206 バイタル指標算出部、207 出力部、211 フリッカ関連情報、212 最適フレームレート、213 撮像パラメータ、214 動画像、215 代表値、216 脈波信号、701 フリッカ検出部、711 フレームレートテーブル、1001 撮像間隔算出部、1002 撮像制御部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13