特開 2022-138336 画像処理方法、画像処理プログラム、及び画像処理装置。

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022138336

(43)【公開日】2022-09-26

(54)【発明の名称】画像処理方法、画像処理プログラム、及び画像処理装置。

(51)【国際特許分類】

   A61B 5/08 20060101AFI20220915BHJP

   A61B 5/107 20060101ALI20220915BHJP

   A61B 5/113 20060101ALI20220915BHJP

   A61B 5/11 20060101ALI20220915BHJP

【ＦＩ】

A61B5/08

A61B5/107 800

A61B5/113

A61B5/11 120

【審査請求】未請求

【請求項の数】4

【出願形態】ＯＬ

(21)【出願番号】P 2021038159

(22)【出願日】2021-03-10

(71)【出願人】

【識別番号】520477429

【氏名又は名称】合同会社画像技術研究所

(74)【代理人】

【識別番号】100186129

【弁理士】

【氏名又は名称】滝川 水大

(72)【発明者】

【氏名】高橋 雅人

(72)【発明者】

【氏名】津村 徳道

【テーマコード（参考）】

4C038

【Ｆターム（参考）】

4C038SS08

4C038ST04

4C038SV01

4C038VA04

4C038VB03

4C038VB22

4C038VB33

4C038VC05

(57)【要約】

【課題】画像に基づき被写体の呼吸に関するデータを取得する場合において、精度の高いデータを取得できる方法を提供する。
【解決手段】
顔を含む体表面の画像である身体画像データを取得するステップと、取得した前記身体画像データに基づいて、メラニン成分を表すメラニン画像データを生成するステップと、前記メラニン画像データに基づいて、被写体の呼吸に関するデータを生成するステップと、を有することとした。
【選択図】図４

【特許請求の範囲】

【請求項1】

顔を含む体表面の画像である身体画像データを取得するステップと、
取得した前記身体画像データに基づいて、メラニン成分を表すメラニン画像データを生成するステップと、
前記メラニン画像データに基づいて、被写体の呼吸に関するデータを生成するステップと、を有する、
ことを特徴とする画像処理方法。

【請求項2】

前記メラニン画像データを生成するステップでは、前記身体画像データに基づいて前記メラニン画像データを生成するとともに、ヘモグロビン成分を表すヘモグロビン画像データ及び陰影を表す陰影画像データを生成する、
ことを特徴とする請求項１記載の画像処理方法。

【請求項3】

顔を含む体表面の画像である身体画像データを取得するステップと、
取得した前記身体画像データに基づいて、メラニン成分を表すメラニン画像データを生成するステップと、
前記メラニン画像データに基づいて、被写体の呼吸に関するデータを生成するステップと、をコンピュータに実行させる、
こと特徴とする画像処理プログラム。

【請求項4】

顔を含む体表面の画像である身体画像データを取得する身体画像データ取得部と、
取得した前記身体画像データに基づいて、メラニン成分を表すメラニン画像データを生成する画像データ生成部と、
前記メラニン画像データに基づいて、被写体の呼吸に関するデータを生成する呼吸データ生成部と、を備える、
ことを特徴とする画像処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理方法、画像処理プログラム及び画像処理装置に関する。

【背景技術】

【0002】

従来、カメラで人を撮影し、その撮影された画像を処理することで、その人の（被写体の）生体情報を取得する方法が案出されている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００７－０５０１４４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、例えば、カメラで撮影された画像に基づいて被写体の呼吸に関する生体情報を取得しようとすると、皮膚中に含まれるヘモグロビンなどの成分の影響により、取得される呼吸に関する情報（データ）の精度が低下してしまうおそれがある。

【0005】

そこで本発明は、上記課題を解決するために行われたものであり、画像に基づき呼吸に関する生体情報を取得する際のデータの精度の向上を図った画像処理方法、画像処理プログラム、及び画像処理装置を提供すること目的とする。

【課題を解決するための手段】

【0006】

本発明は、顔を含む体表面の画像である身体画像データを取得するステップと、取得した前記身体画像データに基づいて、メラニン成分を表すメラニン画像データを生成するステップと、前記メラニン画像データに基づいて、被写体の呼吸に関するデータを生成するステップとを有することを特徴とする。

【0007】

また、前記メラニン画像データを生成するステップでは、前記身体画像データに基づいて前記メラニン画像データを生成するとともに、ヘモグロビン成分を表すヘモグロビン画像データ及び陰影を表す陰影画像データを生成する。

【0008】

本発明は、顔を含む体表面の画像である身体画像データを取得するステップと、取得した前記身体画像データに基づいて、メラニン成分を表すメラニン画像データを生成するステップと、前記メラニン画像データに基づいて、被写体の呼吸に関するデータを生成するステップと、をコンピュータに実行させること特徴とする。

【0009】

本発明は、顔を含む体表面の画像である身体画像データを取得する身体画像データ取得部と、取得した前記身体画像データに基づいて、メラニン成分を表すメラニン画像データを生成する画像データ生成部と、前記メラニン画像データに基づいて、被写体の呼吸に関するデータを生成する呼吸データ生成部とを備えることを特徴とする。

【発明の効果】

【0010】

本発明によると、画像に基づき被写体の呼吸に関する生体情報を取得する際のデータの精度の向上を図ることができる。

【図面の簡単な説明】

【0011】

【図1】本実施の形態にかかる画像処理装置の構成を示す全体図である。

【図2】本実施の形態にかかる画像処理装置を構成するサーバ装置のブロック図である。

【図3】本実施の形態にかかる画像処理装置を構成するサーバ装置の制御部のブロック図である。

【図4】本実施の形態にかかる画像処理方法のフローを示す図である。

【図5】本実施の形態にかかる特徴点及び関心領域を示した模式図である。

【発明を実施するための形態】

【0012】

以下、本発明の実施の形態に係る生体情報取得方法について図１～図５を参照しつつ説明する。

【0013】

（画像処理装置の構成）
まずは、画像処理装置１の全体の構成について説明する。

【0014】

画像処理装置１は、図１に示すように、カメラ部１０と情報処理部２０とを有して構成されている。

【0015】

＜カメラ部＞
カメラ部１０は、画像を取得するものであり、ＲＧＢカメラで構成されている。ここでＲＧＢカメラ１０とは、Ｒ（赤）、Ｇ（緑）、及びＢ（青）の各色に対応する波長領域の光強度を有する検出素子を複数備え、画像データを取得することができるものである。そして、本実施の形態では、撮影対象者Ｈの顔をＲＧＢカメラ１０で撮影するようになっており、顔についての画像データ（以下、顔画像データという）が取得されるようになっている（図５参照）。そして、本実施の形態では、この顔画像データが本発明の身体画像データを構成している。

【0016】

＜情報処理部＞
情報処理部２０は、ＲＧＢカメラ１０によって撮影された画像データなどについて画像処理などを行うものである。本実施の形態では、いわゆるパーソナルコンピュータ（以下、単にパソコンという）で情報処理部２０が構成されている。パソコン２０は、様々な情報の処理や記憶を行うサーバ装置２１や画像を表示するディスプレイ２２の他、図示はしないが、キーボードやマウスなどを有している。

【0017】

サーバ装置２１は、図２に示すように、制御部２１０、記憶部２２０、通信部２３０、及び電源部２４０などを有して構成されている。

【0018】

制御部２１０は、サーバ装置２１の動作や、サーバ装置２１に接続されたＲＧＢカメラ１０の動作や、ディスプレイ２２の動作の制御など、画像処理装置１の全体の動作を制御するものである。

【0019】

制御部２１０は、プロセッサーであるＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）や、メモリであるＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などを有して構成され、情報の処理などを行うものである。

【0020】

記憶部２２０、例えば、半導体メモリであるＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）やＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などで構成され、制御部２１０で取得された情報や処理された情報を記憶するものである。

【0021】

通信部２３０は、例えば、他のサーバ装置などネットワークを介して外部装置と通信するものである。

【0022】

電源部２４０は、制御部２１０からの指示により、電源オン状態、電源オフ状態などの状態に応じてサーバ装置２１を構成する各部位に電源を供給するものである。そして、制御部２１０、記憶部２２０、及び通信部２３０は、図示はしないが、それぞれ内部バスによって接続されている。

【0023】

また、サーバ装置２１には、図示はしないが、ＵＳＢメモリなど外付け情報記憶媒体などを接続するための接続部なども設けられている。

【0024】

制御部２１０は、図３に示すように、ＣＰＵがＲＯＭに記憶されている情報処理プログラムをＲＡＭにロードして実行することで、身体画像データ取得部２１１、信号データ抽出部２１２、画像データ生成部２１３、及び呼吸データ生成部２１４として機能するようになっている。

【0025】

また、画像データ生成部２１３は、抽出点データ生成部２１３ａ及び関心領域データ生成部２１３ｂとしても機能するようになっている。

【0026】

身体画像データ取得部２１１は、ＲＧＢカメラ１０によって撮影された顔画像データを取得するものである。具体的には、顔画像データをパソコン２０内にあるメモリなどの記憶媒体に記憶させることで当該画像データをパソコン２０内に取り込むものである。

【0027】

信号データ抽出部２１２は、取得された画像データから各種の信号情報を抽出するものである。そして本実施の形態では、ＲＧＢカメラ１０で撮影された顔画像データからＲ信号、Ｇ信号、及びＢ信号の各信号のそれぞれについて抽出する。なお、ここでＲ信号は赤成分画像信号であり、Ｇ信号は緑成分画像信号であり、及びＢ信号は青成分画像信号を意味するものである。

【0028】

画像データ生成部２１３は、取得された顔画像データに基づいてメラニン画像データを生成するものである。ここでメラニン画像データとは、被写体（撮影対象者Ｈ）の皮膚中におけるメラニン色素について表すものであって顔画像データからメラニン成分を抽出したものである。

【0029】

また、画像データ生成部２１３は、メラニン画像データを生成すると同時にヘモグロビン画像データ及び陰影画像データの各画像についても生成する。ここでヘモグロビン画像データとは、顔画像データからヘモグロビン成分を抽出したものである。また、陰影画像データとは、顔画像における陰影について抽出したものである。このように、画像データ生成部２１３は、ＲＧＢ画像を各画像へ分離するものである。

【0030】

抽出点データ生成部２１３ａは、取得された顔画像データにおいて特徴点Ｐを特定して抽出するものである（図５参照）。

【0031】

関心領域データ生成部２１３ｂは、取得された顔画像データにおいて、一領域に関するデータである関心領域Ｒを生成する（設定する）ものである（図５参照）。そして、この関心領域Ｒは抽出点データ生成部２１３ａによって抽出された顔画像データでの特徴点Ｐに基づいて設定されるようになっている。

【0032】

上述のように、抽出点データ及び抽出点データに基づき関心領域データを生成すると、画像データ生成部２１３がメラニン画像データやヘモグロビン画像データなどの各画像を生成する際に、その精度の向上を図ることができる。なお、画像データ生成部２１３は、抽出点データや関心領域データを生成することなくメラニン画像データなどを生成することもできる。

【0033】

呼吸データ生成部２１４は、顔画像データに基づき被写体の生体情報として、呼吸数などの呼吸に関するデータについて生成する（算出する）ようになっている。

【0034】

（画像処理装置の動作）
次いで、上述のように構成された画像処理装置１の動作について図４を参照しつつ説明する。

【0035】

画像処理装置１は、ＲＧＢカメラ１０で顔を撮影する。その顔画像データは、身体画像データ取得部２１１によってパソコン２０内のメモリに記憶される。すなわち、顔画像データがパソコン２０内に取り込まれる。これにより、画像処理装置１は当該画像を取得する（Ｓｔｅｐ１０以下単にＳ〇〇という）。

【0036】

顔画像データが取得されると、信号データ抽出部２１２は、顔画像データに基づきＲＧＢ信号の各信号であるＲ信号、Ｇ信号、及びＢ信号を抽出する（Ｓ２０）。

【0037】

また、抽出点データ生成部２１３ａは、取得された顔画像データに基づき複数の特徴点Ｐを特定する。さらに、抽出点データ生成部２１３ａは、図５に示すように、その特徴点Ｐを抽出して抽出点データを生成する（Ｓ３０）。

【0038】

そして、抽出点データが生成されると、関心領域データ生成部２１３ｂは、図５に示すように、生成された抽出点データに基づき一定の領域である関心領域Ｒを設定する（Ｓ４０）。本実施の形態では、顔の中心付近（眼の下側から唇の上側までであって、鼻の周辺を関心領域Ｒとして設定するようになっている。

【0039】

関心領域データが生成されると、画像データ生成部２１３は、関心領域データが設定された顔画像データに基づいてメラニン画像データ、ヘモグロビン画像データ、及び陰影画像データの各画像データを生成する（Ｓ５０）。

【0040】

具体的には、関心領域Ｒが設定された顔画像データに対して、色素成分の分離操作を行う色素成分分離を実行することで各画像データを生成する。なお、本実施の形態では、色素成分分離として公知の独立成分分析を用いて行うようになっている。

【0041】

メラニン画像データが生成されると、呼吸データ生成部２１４は、生成されたメラニン画像データに基づき被写体の呼吸に関するデータを算出する（Ｓ６０）。

【0042】

本実施の形態において呼吸に関すデータとは、メラニン画像データに含まれるメラニンの量に基づき推定される呼吸数に関するデータである。また、本実施の形態での呼吸数データは、メラニン画像データにおける画素平均値の時間変化を示すデータである。

【0043】

なお、呼吸データ生成部２１４は、メラニン画像データに基づき呼吸数データを生成する際に、フィルタ処理を行うようになっている。具体的には、傾き除去処理及びバンドパスフィルタ処理を行うようになっている。ここで行うバンドパスフィルタ処理は、特定の周波数領域であってこの信号に窓関数をかけることにより行われる処理である。

【0044】

また、呼吸データ生成部２１４は、呼吸に関するデータとして呼吸間隔データについても生成するようになっている。ここで呼吸間隔データとは、周期的な呼吸に関するデータであって、上述の呼吸数データにおいて表れるピークの間隔である。

【0045】

さらに呼吸データ生成部２１４は、上述の呼吸間隔データに対して周波数変換を行うことで呼吸変動スペクトログラムデータについても生成するようにもなっている。ここで呼吸変動スペクトログラムデータとは、呼吸変動周波数の時間軸の変化に関する情報を含むものである。また、周波数変換とは、時系列から周波数領域への変換であり、本実施の形態では、フーリエパワースペクトル変換を行うようになっている。

【0046】

上述の呼吸データ生成部２１４によって生成されるメラニン画像データに基づき生成されるデータから被写体の呼吸数などについて測定することができる。何故なら、限られた短時間においては、人の皮膚中におけるメラニンの量が変化することはない。そのため、肌の一定領域を対象としてメラニン量について測定した場合に、メラニン量が変化するということは対象領域（即ち、測定している肌）が動いた（対象領域が移動した）ことによってメラニン量が変化しているといえる。対象領域は、呼吸が行われるのに伴い動く（呼吸に伴い体（肌）が動く）ことから対象領域のメラニン量の変化が呼吸数の変化と推定することができるからである。

【0047】

上述のように、顔画像データからメラニン画像データ生成し、その生成したメラニン画像データに基づいて呼吸数データなどを算出するようにしたので、例えば、ＲＧＢ画像からＢ信号を抽出してこのＢ信号を呼吸に関するデータとする場合と比して高い精度で呼吸に関するデータを算出することができる。何故なら、Ｂ信号は、メラニンの量と相関性は高いがヘモグロビンや陰影などの影響を受けやすいことから、Ｂ信号を呼吸に関するデータとするとそれらの影響によりそのデータの精度（信頼性）が低下することになる。よって、Ｂ信号にかわってメラニン画像データから呼吸に関するデータを算出することで呼吸に関するデータの精度を向上させることができる。

【0048】

また、ＲＧＢ画像からメラニン画像データを生成するとともに、ヘモグロビン画像データ及び陰影画像データの各画像データを生成するようにした。すなわち、ＲＧＢ画像をメラニン画像データとヘモグロビン画像データと陰影画像データとに分離するようにしたので、ヘモグロビンや陰影の要素（影響）を排除したメラニン画像データを生成することができる。これにより、ヘモグロビンや陰影による影響を抑えて精度の高い呼吸に関するデータを算出することができる。

【0049】

また、ヘモグロビン画像データに基づいて被写体の呼吸に関するデータを取得する場合には、ヘモグロビン画像データから心拍とともに呼吸が心拍に影響を及ぼす信号を抽出して、当該信号に基づき被写体の呼吸に関するデータを取得する方法が考えられる。ただし、当該方法の場合には、例えば、被写体の人物が緊張状態にある場合に呼吸が小さくなるのに伴って呼吸の信号も小さくなる。そのため、呼吸に関するデータの精度も低くなってしまう。同様に、上述のようにメラニン画像データに基づき被写体の呼吸に関するデータを取得する場合にも被写体が緊張状態ある場合に呼吸の動作が小さくなるので呼吸に関するデータの精度も低くなる。しかしながら、メラニン画像データから呼吸のデータを取得する場合は、体の動きによるメラニンの変化量に基づいて呼吸に関するデータを算出するものである。よって同じ緊張状態でもメラニン画像データに基づく方がヘモグロビン画像データに基づくよりも高い精度で呼吸に関するデータを算出することができる。

【0050】

なお、本実施の形態では、ＲＧＢカメラ１０で顔を撮影した顔画像に基づいて被写体の呼吸数に関するデータを算出するようにしたがこれに限らない。例えば、胸や腕など部位をＲＧＢカメラ１０で撮影して当該画像データから被写体の呼吸に関するデータを算出するようにしてもよい。即ち、肌を映した画像（体表面の画像）であれば身体の何れの部位であってもよい。

【0051】

また、本実施の形態では、画像処理装置１をＲＧＢカメラ１０とパソコン２０で構成したがこれに限らない。例えば、カメラ機能を有したスマートフォンなどでもよい。即ち、ＲＧＢ画像を撮影することができるＲＧＢカメラと撮影したＲＧＢ画像を画像処理できる処理機能を有した装置であれば何れのものであってもよい。

【0052】

また、本実施の形態では、人の顔を撮影した画像を取得するようにしたがこれに限らない。メラニン分布がある動物を撮影した画像であれば何れのものであってもよい。

【0053】

また、本実施の形態では、ＲＧＢカメラ１０で顔を撮影し、撮影されたＲＧＢ画像（ＲＧＢ信号）からメラニン画像データやヘモグロビン画像データや陰影画像データを生成するように構成したがこれに限らない。例えば、光を波長ごとに分光してイメージングする分光カメラであって、ＲＧＢカメラよりも多くのバンド（光の波長帯）画像を取得することができるマルチスペクトルカメラやハイパースペクトルカメラで顔を撮影し、その画像データからメラニン画像データなどを生成するようにしてもよい。即ち、メラニンの量を推定することができる波長の画像信号であれば何れのものであってもよい。

【0054】

また、本実施の形態では、鼻を中心とした周辺を関心領域として設定したがこれに限らない。例えば、目元に関心領域Ｒを設定してもよく、または、顎部分や額部分に関心領域を設定するなど複数の位置に関心領域Ｒを設定してもよい。すなわち、メラニン画像データなどの画像データを生成する際に、その精度の向上を図ることができれば何れの位置であってもよい。

【0055】

また、本実施の形態では、呼吸数や呼吸間隔を呼吸に関するデータとして算出するように構成したがこれに限らない。例えば、呼吸量など呼吸に関するものであれば何れのものであってもよい。

【0056】

本発明を上述の実施の形態で説明したがこれに限定されるものではない。本発明の目的を達成し得る範囲内において、変形、変更、及び各構成要件の組み合わせの変更などを行なうことが可能である。

【符号の説明】

【0057】

１ 画像処理装置
２１１ 身体画像データ取得部
２１３ 画像データ生成部
２１４ 呼吸データ生成部

【図1】

【図2】

【図3】

【図4】

【図5】