(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024139070
(43)【公開日】2024-10-09
(54)【発明の名称】心拍情報隠蔽映像伝送方法、プログラム及び装置
(51)【国際特許分類】
G06F 21/62 20130101AFI20241002BHJP
H04L 9/12 20060101ALI20241002BHJP
G06T 1/00 20060101ALI20241002BHJP
【ＦＩ】
G06F21/62 345
H04L9/12
G06T1/00 340Z
【審査請求】未請求
【請求項の数】9
【出願形態】ＯＬ
(21)【出願番号】P 2023049862
(22)【出願日】2023-03-27
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＰＹＴＨＯＮ
【国等の委託研究の成果に係る記載事項】（出願人による申告）令和３年度、国立研究開発法人情報通信研究機構「Ｂｅｙｏｎｄ ５Ｇ研究開発促進事業／低遅延でインタラクティブなゼロレイテンシー映像・Ｓｏｍａｔｉｃ統合ネットワーク」、産業技術力強化法第１７条の適用を受ける特許出願
(71)【出願人】
【識別番号】899000068
【氏名又は名称】学校法人早稲田大学
(74)【代理人】
【識別番号】100180758
【弁理士】
【氏名又は名称】荒木 利之
(72)【発明者】
【氏名】甲藤 二郎
(72)【発明者】
【氏名】新井 茉優
(72)【発明者】
【氏名】金井 謙治
(72)【発明者】
【氏名】勝山 裕
(72)【発明者】
【氏名】佐藤 俊雄
(72)【発明者】
【氏名】佐藤 拓朗
【テーマコード（参考）】
5B057
【Ｆターム（参考）】
5B057CA08
5B057CA12
5B057CA16
5B057CB08
5B057CB12
5B057CB16
5B057CC03
5B057CE06
(57)【要約】
【課題】遠隔地に映像を送信するシステムにおいて、受信側において個人の心拍情報の推定を困難にする心拍情報隠蔽映像伝送方法、プログラム及び装置を提供する。
【解決手段】心拍情報隠蔽映像伝送装置は、送信器１２１と受信器１２２とから構成され、送信器１２１は入力映像を圧縮してネットワークに伝送し、受信器１２２は受け取った圧縮ストリームを復号し、ｒＰＰＧによる心拍推定、生体認証識別子の生成を試みる。補正映像生成器１２３は、生体情報処理器１２６による心拍推定を無効化するために、入力映像の微小な時間変動を抑圧した補正映像を出力とする。
【選択図】図６
【解決手段】心拍情報隠蔽映像伝送装置は、送信器１２１と受信器１２２とから構成され、送信器１２１は入力映像を圧縮してネットワークに伝送し、受信器１２２は受け取った圧縮ストリームを復号し、ｒＰＰＧによる心拍推定、生体認証識別子の生成を試みる。補正映像生成器１２３は、生体情報処理器１２６による心拍推定を無効化するために、入力映像の微小な時間変動を抑圧した補正映像を出力とする。
【選択図】図６
【特許請求の範囲】
【請求項1】
送信器と受信器によって人物が撮影された映像を伝送するシステムにおいて、
前記送信器において、映像信号内の前記人物の顔領域の画素値平均値の微小振動を低減させた補正映像を生成するステップと、
当該補正映像を送信するステップとを有する心拍情報隠蔽映像伝送方法。
前記送信器において、映像信号内の前記人物の顔領域の画素値平均値の微小振動を低減させた補正映像を生成するステップと、
当該補正映像を送信するステップとを有する心拍情報隠蔽映像伝送方法。
【請求項2】
前記補正映像を生成するステップは、
複数の映像フレームグループの前記顔領域の画素値平均値と、前記複数の映像フレームグループの各映像フレームの顔領域の画素値平均値とを求めるステップと、
前記映像フレームグループの画素値平均値と前記各映像フレームの画素値平均値の差分を前記各映像フレームに加算して各補正映像フレームを生成し、複数の当該補正映像フレームから前記補正映像を生成するステップとを有する請求項１に記載の心拍情報隠蔽映像伝送方法。
複数の映像フレームグループの前記顔領域の画素値平均値と、前記複数の映像フレームグループの各映像フレームの顔領域の画素値平均値とを求めるステップと、
前記映像フレームグループの画素値平均値と前記各映像フレームの画素値平均値の差分を前記各映像フレームに加算して各補正映像フレームを生成し、複数の当該補正映像フレームから前記補正映像を生成するステップとを有する請求項１に記載の心拍情報隠蔽映像伝送方法。
【請求項3】
前記補正映像を生成するステップは、
前記各補正映像フレームに付加情報を加算するステップをさらに有し、
前記補正映像を送信するステップは、前記付加情報が加算されたフレームの集合である新たな補正映像を送信し、
前記受信器において、
前記新たな補正映像を受信するステップと、
当該受信した新たな補正映像の複数の映像フレームグループの顔領域の画素値平均値と、各映像フレームの顔領域の画素値平均値を求め、前記映像フレームグループの平均値と前記各映像フレームの平均値の差分値に基づいて前記付加情報を復元するとともに、当該差分情報を前記映像フレームに加算して再補正画像を出力するステップを有する請求項２に記載の心拍情報隠蔽映像伝送方法。
前記各補正映像フレームに付加情報を加算するステップをさらに有し、
前記補正映像を送信するステップは、前記付加情報が加算されたフレームの集合である新たな補正映像を送信し、
前記受信器において、
前記新たな補正映像を受信するステップと、
当該受信した新たな補正映像の複数の映像フレームグループの顔領域の画素値平均値と、各映像フレームの顔領域の画素値平均値を求め、前記映像フレームグループの平均値と前記各映像フレームの平均値の差分値に基づいて前記付加情報を復元するとともに、当該差分情報を前記映像フレームに加算して再補正画像を出力するステップを有する請求項２に記載の心拍情報隠蔽映像伝送方法。
【請求項4】
コンピュータを、
送信器と受信器によって人物が撮影された映像を伝送するシステムにおいて、
前記送信器において、映像信号内の前記人物の顔領域の画素値平均値の微小振動を低減させた補正映像を生成する生成手段と、
当該補正映像を送信する送信手段として機能させる心拍情報隠蔽映像伝送プログラム。
送信器と受信器によって人物が撮影された映像を伝送するシステムにおいて、
前記送信器において、映像信号内の前記人物の顔領域の画素値平均値の微小振動を低減させた補正映像を生成する生成手段と、
当該補正映像を送信する送信手段として機能させる心拍情報隠蔽映像伝送プログラム。
【請求項5】
前記生成手段は、
複数の映像フレームグループの前記顔領域の画素値平均値と、前記複数の映像フレームグループの各映像フレームの顔領域の画素値平均値とを求める平均手段と、
前記映像フレームグループの画素値平均値と前記各映像フレームの画素値平均値の差分を前記各映像フレームに加算して各補正映像フレームを生成し、複数の当該補正映像フレームから前記補正映像を生成するオフセット調整手段とを有する請求項４に記載の心拍情報隠蔽映像伝送プログラム。
複数の映像フレームグループの前記顔領域の画素値平均値と、前記複数の映像フレームグループの各映像フレームの顔領域の画素値平均値とを求める平均手段と、
前記映像フレームグループの画素値平均値と前記各映像フレームの画素値平均値の差分を前記各映像フレームに加算して各補正映像フレームを生成し、複数の当該補正映像フレームから前記補正映像を生成するオフセット調整手段とを有する請求項４に記載の心拍情報隠蔽映像伝送プログラム。
【請求項6】
前記生成手段は、
前記各補正映像フレームに付加情報を加算する加算手段をさらに有し、
前記送信手段は、前記付加情報が加算されたフレームの集合である新たな補正映像を送信し、
前記受信器において、
前記新たな補正映像を受信する受信手段と、
当該受信した新たな補正映像の複数の映像フレームグループの顔領域の画素値平均値と、各映像フレームの顔領域の画素値平均値を求め、前記映像フレームグループの平均値と前記各映像フレームの平均値の差分値に基づいて前記付加情報を復元するとともに、当該差分情報を前記映像フレームに加算して再補正画像を出力する再補正映像生成手段を有する請求項５に記載の心拍情報隠蔽映像伝送プログラム。
前記各補正映像フレームに付加情報を加算する加算手段をさらに有し、
前記送信手段は、前記付加情報が加算されたフレームの集合である新たな補正映像を送信し、
前記受信器において、
前記新たな補正映像を受信する受信手段と、
当該受信した新たな補正映像の複数の映像フレームグループの顔領域の画素値平均値と、各映像フレームの顔領域の画素値平均値を求め、前記映像フレームグループの平均値と前記各映像フレームの平均値の差分値に基づいて前記付加情報を復元するとともに、当該差分情報を前記映像フレームに加算して再補正画像を出力する再補正映像生成手段を有する請求項５に記載の心拍情報隠蔽映像伝送プログラム。
【請求項7】
映像信号内の前記人物の顔領域の画素値平均値の微小振動を低減させた補正映像を生成する生成手段と、
当該補正映像を送信する送信手段とを有する心拍情報隠蔽映像伝送装置。
当該補正映像を送信する送信手段とを有する心拍情報隠蔽映像伝送装置。
【請求項8】
前記生成手段は、
複数の映像フレームグループの前記顔領域の画素値平均値と、前記複数の映像フレームグループの各映像フレームの顔領域の画素値平均値とを求める平均手段と、
前記映像フレームグループの画素値平均値と前記各映像フレームの画素値平均値の差分を前記各映像フレームに加算して各補正映像フレームを生成し、複数の当該補正映像フレームから前記補正映像を生成するオフセット調整手段とを有する請求項７に記載の心拍情報隠蔽映像伝送装置。
複数の映像フレームグループの前記顔領域の画素値平均値と、前記複数の映像フレームグループの各映像フレームの顔領域の画素値平均値とを求める平均手段と、
前記映像フレームグループの画素値平均値と前記各映像フレームの画素値平均値の差分を前記各映像フレームに加算して各補正映像フレームを生成し、複数の当該補正映像フレームから前記補正映像を生成するオフセット調整手段とを有する請求項７に記載の心拍情報隠蔽映像伝送装置。
【請求項9】
前記生成手段は、
前記各補正映像フレームに付加情報を加算する加算手段をさらに有し、
前記送信手段は、前記付加情報が加算されたフレームの集合である新たな補正映像を送信し、
受信器としての心拍情報隠蔽映像伝送装置において、
前記新たな補正映像を受信する受信手段と、
当該受信した新たな補正映像の複数の映像フレームグループの顔領域の画素値平均値と、各映像フレームの顔領域の画素値平均値を求め、前記映像フレームグループの平均値と前記各映像フレームの平均値の差分値に基づいて前記付加情報を復元するとともに、当該差分情報を前記映像フレームに加算して再補正画像を出力する再補正映像生成手段を有する請求項８に記載の心拍情報隠蔽映像伝送装置。
前記各補正映像フレームに付加情報を加算する加算手段をさらに有し、
前記送信手段は、前記付加情報が加算されたフレームの集合である新たな補正映像を送信し、
受信器としての心拍情報隠蔽映像伝送装置において、
前記新たな補正映像を受信する受信手段と、
当該受信した新たな補正映像の複数の映像フレームグループの顔領域の画素値平均値と、各映像フレームの顔領域の画素値平均値を求め、前記映像フレームグループの平均値と前記各映像フレームの平均値の差分値に基づいて前記付加情報を復元するとともに、当該差分情報を前記映像フレームに加算して再補正画像を出力する再補正映像生成手段を有する請求項８に記載の心拍情報隠蔽映像伝送装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、心拍情報隠蔽映像伝送方法、プログラム及び装置に関する。特に、遠隔地に映像を送信するシステムにおいて、受信側における個人の心拍情報の推定を困難にするために、送信側において、映像信号内の顔領域の画素値平均値の微小振動を低減させた補正映像を生成して映像伝送する方式及び装置に関する。さらに、送信側において、上記の補正映像を生成した上で付加情報の追加を行い、受信側において、映像信号内の顔領域の画素値平均値を計算した上で、送信側で追加した付加情報を取り出すことを特徴とする方式及び装置に関する。
【背景技術】
【0002】
近年、映像信号から個人の心拍数を推定するｒＰＰＧ（Ｒｅｍｏｔｅ Ｐｈｏｔｏｐｌｅｔｈｙｓｍｏｇｒａｐｈｙ）と呼ばれる技術が注目を集めている。これは、主にＲＧＢカメラを使用して、人間の皮膚表面の脈拍による微小な色の変化を検出する非接触技術であり、専用の計測デバイスを必要とする接触型ＰＰＧよりも利便性が高く、かつ、アルゴリズムの進化により、近年は接触型ＰＰＧに近い推定精度が得られている。
【0003】
また、ｒＰＰＧベースの心拍数推定を提供するオープンソースフレームワークとしてｐｙＶＨＲ（Ｐｙｔｈｏｎ ｔｏｏｌ ｆｏｒ Ｖｉｒｔｕａｌ Ｈｅａｒｔ Ｒａｔｅ）が存在する（例えば、非特許文献１）。ｐｙＶＨＲは、Ｐｙｔｈｏｎベースのプラットフォームであり、複数のｒＰＰＧ手法をオープンソース実装している。図１にはｐｙＶＨＲの基本的な処理の流れを示す。ここで、上側のパスが映像信号に対するｒＰＰＧ処理であり、下側は別途計測した心電図（ＥＣＧ：Ｅｌｅｃｔｒｏｃａｒｄｉｏｇｒａｍ）と容積脈波（ＢＶＰ：Ｂｌｏｏｄ Ｖｏｌｕｍｅ Ｐｕｌｓｅ）から真値としての心拍数を計算するパスである。
【0004】
図１において、ｒＰＰＧは以下のプロセスを実行する。
（１）顔検出：各種の顔検出アルゴリズムを用いて、入力映像フレームから顔領域を切り出す。
（２）ＲＯＩ（Ｒｅｇｉｏｎ ｏｆ Ｉｎｔｅｒｅｓｔ）処理：顔領域から、さらに心拍推定に貢献する領域（ＲＯＩ）を切り出す。
（３）ＲＧＢ計算：ＲＯＩの平均値（もしくは中間値）を計算する。
（４）前処理：必要に応じて前処理を実行する。
（５）ｒＰＰＧ：各種のｒＰＰＧ手法を実行する。
（６）容積脈波推定：フーリエ変換手法を適用し、心拍推定結果を出力する。
（７）ＢＰＭ（ｂｅａｔｓ ｐｅｒ ｍｉｎｕｔｅｓ）比較：心拍数真値との比較を行い、誤差や相関係数を記録する。
（１）顔検出：各種の顔検出アルゴリズムを用いて、入力映像フレームから顔領域を切り出す。
（２）ＲＯＩ（Ｒｅｇｉｏｎ ｏｆ Ｉｎｔｅｒｅｓｔ）処理：顔領域から、さらに心拍推定に貢献する領域（ＲＯＩ）を切り出す。
（３）ＲＧＢ計算：ＲＯＩの平均値（もしくは中間値）を計算する。
（４）前処理：必要に応じて前処理を実行する。
（５）ｒＰＰＧ：各種のｒＰＰＧ手法を実行する。
（６）容積脈波推定：フーリエ変換手法を適用し、心拍推定結果を出力する。
（７）ＢＰＭ（ｂｅａｔｓ ｐｅｒ ｍｉｎｕｔｅｓ）比較：心拍数真値との比較を行い、誤差や相関係数を記録する。
【0005】
具体的なｒＰＰＧ手法としては、ｐｙＶＨＲでは以下の複数手法が提供されている。現状、常に最良な手法は存在せず、入力映像によって傾向は異なる。
（１）ＩＣＡ（Ｉｎｄｅｐｅｎｄｅｎｔ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ）：独立成分分析による信号分解
（２）ＰＣＡ（Ｐｒｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ）：主成分分析による信号分解
（３）ＧＲＥＥＮ：緑チャネルの出力
（４）ＣＨＲＯＭ：色差信号の出力
（５）ＰＯＳ（Ｐｌａｎｅ Ｏｒｔｈｏｇｏｎａｌ ｔｏ Ｓｋｉｎ）：ＣＨＲＯＭ法に類似した色差信号の出力
（６）ＰＶＢ（Ｐｕｌｓｅ Ｂｌｏｏｄ Ｖｏｌｕｍｅ）：脈拍血液量ベクトルに基づく信号分解
（７）ＳＳＲ（Ｓｐａｔｉａｌ Ｓｕｂｓｐａｃｅ Ｒｏｔａｔｉｏｎ）：固有値分解に基づく信号分解
（８）ＬＧＩ（Ｌｏｃａｌ Ｇｒｏｕｐ Ｉｎｖａｒｉａｎｃｅ）：ＳＳＲ法に類似した信号分解
（１）ＩＣＡ（Ｉｎｄｅｐｅｎｄｅｎｔ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ）：独立成分分析による信号分解
（２）ＰＣＡ（Ｐｒｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ）：主成分分析による信号分解
（３）ＧＲＥＥＮ：緑チャネルの出力
（４）ＣＨＲＯＭ：色差信号の出力
（５）ＰＯＳ（Ｐｌａｎｅ Ｏｒｔｈｏｇｏｎａｌ ｔｏ Ｓｋｉｎ）：ＣＨＲＯＭ法に類似した色差信号の出力
（６）ＰＶＢ（Ｐｕｌｓｅ Ｂｌｏｏｄ Ｖｏｌｕｍｅ）：脈拍血液量ベクトルに基づく信号分解
（７）ＳＳＲ（Ｓｐａｔｉａｌ Ｓｕｂｓｐａｃｅ Ｒｏｔａｔｉｏｎ）：固有値分解に基づく信号分解
（８）ＬＧＩ（Ｌｏｃａｌ Ｇｒｏｕｐ Ｉｎｖａｒｉａｎｃｅ）：ＳＳＲ法に類似した信号分解
【0006】
また、心拍推定に加え、連続する心拍の時間間隔（ＩＰＩ：Ｉｎｔｅｒｐｕｌｓｅ Ｉｎｔｅｒｖａｌ）を用いた生体認証を行う提案が行われている（例えば、非特許文献２）。ＩＰＩは、ある程度のランダム性を含む時変変数であり、ＩＰＩから個人及び時間に固有の識別子を導出できることが知られている。これは、交感神経系と副交感神経系の間のバランス作用によって引き起こるとされ、図２には、ＩＰＩによる生体認証識別子の生成手法の一例を示す。
【0007】
図２において、センシングデバイスでは心電図等の生体信号を計測し、心拍を検出し、ＩＰＩを計算する。このＩＰＩを８ビットの固定小数点で表し、上位ビットは予測が容易であるため識別子から除外し、最下位ビットはノイズの影響を受けやすいため同じく識別子から除外し、中間ビットによる時系列ベクトルを生成する。この中間ビット列にグレイ符号を適用し、最終的な生体認証識別子を生成する。この識別子は常に同一ではないため、複数回計測して十分に類似している場合、生体認証として認証を許容する。この心拍を生体認証に使う提案は、接触型デバイスを対象に、例えば、非特許文献３でも行われている。
【0008】
一方、ｒＰＰＧがネットワークを介してリモートに実行されるようになると、利便性が向上する一方で、攻撃者は，信頼できる接触デバイスによって取得した識別子と十分に類似した生体認証識別子を、映像信号からリモートに取得できるようになる。このような攻撃は、あらゆる映像通信に対して適用可能であり、ｒＰＰＧを用いた生体認証システムに深刻な脅威をもたらす可能性がある。
【0009】
これを受け、例えば、非特許文献４では、ｒＰＰＧを用いた生体認証の防御方法の提案を行っており、図３にはその構成を示す。図３では、図１と同様の顔検出とＲＯＩ処理を行い、（心拍とは異なる）正弦波で時間的に変動する重みを乗じたテンプレートを生成する（ｉｎｊｅｃｔｉｏｎ ｔｅｍｐｌａｔｅ）。このとき、テンプレート境界部が不自然に目立たないようにぼかしをかけて加算し（ｆｕｚｚｙ ｔｅｍｐｌａｔｅｓ）、最終的な補正映像の出力を行う（ｉｎｊｅｃｔ ｏｒｉｇｉｎａｌ ｖｉｄｅｏ）。さらに、実映像を用いた比較実験として、補正処理を行わない映像にｒＰＰＧを適用する場合に対して、補正処理を行った映像にｒＰＰＧを適用することで、生体認証精度を下げることに成功している。
【0010】
ただし、この手法では、加算するテンプレートによっては、補正映像に不自然なひずみを発生させることがあり、また、時間方向の変化が大きくなるため、映像圧縮の効果が下がるリスクが予想される。
【先行技術文献】
【特許文献】
【0011】
【特許文献1】特開２０２２－１２８６２７号公報
【特許文献2】特開２０２２－１７７２２９号公報
【特許文献3】特開２０２２－１４１５６５号公報
【非特許文献】
【0012】
【非特許文献1】G. Boccignone, D. Conte, V. Cuculo, A. D’Amelio, G. Grossi, and R. Lanzarotti: “An Open Framework for Remote－PPG Methods and Their Assessment,” IEEE Access, Vol.8, pp.216103－216103, Dec.2020 (https://github.com/phuselab/pyVHR).
【非特許文献2】R. M. Seepers, W. Wang, G. de Haan, I. Souedis, and C. Strydis: “Attacks on Heartbeat－Based Security Using Remote Photoplethysmography,” IEEE Journal of Biomedical and Health Informatics, Vol.22, No.3, pp.714－721, May.2018.
【非特許文献3】L. Wang, K. Huang, K. Sun, W. Wang, C. Tian, L. Xie, and Q. Gu: “Unlock with Your Heart: Heartbeat－based Authentication on Commercial Mobile Phones,” ACM IMWUT 2018, Sep.2018.
【非特許文献4】L. Li, C. Chen, L. Pan, Y. Tai, J. Zhang, and Y. Xiang: “Hiding Your Signals: A Security Analysis of PPG－based Biometric Authentication,” arXiv:2207.04434, Jul.2022.
【発明の概要】
【発明が解決しようとする課題】
【0013】
また、特許文献１では、心拍を含めた生体情報を用いた生体認証システムの提案を行っているが、ｒＰＰＧ、及び生体認証の防御方法については何も言及していない。
また、特許文献２では、生体認証システムの学習方式の提案を行い、ｒＰＰＧにも言及しているが、具体的にｒＰＰＧを用いた提案は何も行っていない。
また、特許文献３では、ネットワークを介してｒＰＰＧを活用する健康モニタリングシステムの提案を行っているが、具体的なセキュリティ対策の提案は何も行っていない。
また、上記した非特許文献１では、実映像をｒＰＰＧ処理するｐｙｔｈｏｎのオープンソースフレームワークを提供しているが、セキュリティ対策は何も言及していない。
また、上記した非特許文献２では、ｒＰＰＧの生体認証応用を提案し、接触型ＰＰＧに迫る心拍推定が可能なことも言及しているが、ｒＰＰＧとして具体的な防御手法の提案は行っていない。
また、上記した非特許文献３では、接触型ＰＰＧの生体認証応用を提案しているが、ｒＰＰＧについては何も言及していない。
また、上記した非特許文献４では、ｒＰＰＧを用いたネットワークを介した生体認証の防御方法を提案しているが、加算するテンプレートに応じて画像がひずんだり、テンプレートの付加によって時間方向の相関が減少するため、映像圧縮の圧縮率が低下するリスクが懸念される。
また、特許文献２では、生体認証システムの学習方式の提案を行い、ｒＰＰＧにも言及しているが、具体的にｒＰＰＧを用いた提案は何も行っていない。
また、特許文献３では、ネットワークを介してｒＰＰＧを活用する健康モニタリングシステムの提案を行っているが、具体的なセキュリティ対策の提案は何も行っていない。
また、上記した非特許文献１では、実映像をｒＰＰＧ処理するｐｙｔｈｏｎのオープンソースフレームワークを提供しているが、セキュリティ対策は何も言及していない。
また、上記した非特許文献２では、ｒＰＰＧの生体認証応用を提案し、接触型ＰＰＧに迫る心拍推定が可能なことも言及しているが、ｒＰＰＧとして具体的な防御手法の提案は行っていない。
また、上記した非特許文献３では、接触型ＰＰＧの生体認証応用を提案しているが、ｒＰＰＧについては何も言及していない。
また、上記した非特許文献４では、ｒＰＰＧを用いたネットワークを介した生体認証の防御方法を提案しているが、加算するテンプレートに応じて画像がひずんだり、テンプレートの付加によって時間方向の相関が減少するため、映像圧縮の圧縮率が低下するリスクが懸念される。
【0014】
従って、本発明の目的は、遠隔地に映像を送信するシステムにおいて、受信側において個人の心拍情報の推定を困難にする心拍情報隠蔽映像伝送方法、プログラム及び装置を提供することにある。
【課題を解決するための手段】
【0015】
本発明の一態様は、上記目的を達成するため、以下の心拍情報隠蔽映像伝送方法、プログラム及び装置を提供する。
【0016】
［１］送信器と受信器によって人物が撮影された映像を伝送するシステムにおいて、
前記送信器において、映像信号内の前記人物の顔領域の画素値平均値の微小振動を低減させた補正映像を生成するステップと、
当該補正映像を送信するステップとを有する心拍情報隠蔽映像伝送方法。
［２］前記補正映像を生成するステップは、
複数の映像フレームグループの前記顔領域の画素値平均値と、前記複数の映像フレームグループの各映像フレームの顔領域の画素値平均値とを求めるステップと、
前記映像フレームグループの画素値平均値と前記各映像フレームの画素値平均値の差分を前記各映像フレームに加算して各補正映像フレームを生成し、複数の当該補正映像フレームから前記補正映像を生成するステップとを有する前記［１］に記載の心拍情報隠蔽映像伝送方法。
［３］前記補正映像を生成するステップは、
前記各補正映像フレームに付加情報を加算するステップをさらに有し、
前記補正映像を送信するステップは、前記付加情報が加算されたフレームの集合である新たな補正映像を送信し、
前記受信器において、
前記新たな補正映像を受信するステップと、
当該受信した新たな補正映像の複数の映像フレームグループの顔領域の画素値平均値と、各映像フレームの顔領域の画素値平均値を求め、前記映像フレームグループの平均値と前記各映像フレームの平均値の差分値に基づいて前記付加情報を復元するとともに、当該差分情報を前記映像フレームに加算して再補正画像を出力するステップを有する前記［２］に記載の心拍情報隠蔽映像伝送方法。
［４］コンピュータを、
送信器と受信器によって人物が撮影された映像を伝送するシステムにおいて、
前記送信器において、映像信号内の前記人物の顔領域の画素値平均値の微小振動を低減させた補正映像を生成する生成手段と、
当該補正映像を送信する送信手段として機能させるための心拍情報隠蔽映像伝送プログラム。
［５］前記生成手段は、
複数の映像フレームグループの前記顔領域の画素値平均値と、前記複数の映像フレームグループの各映像フレームの顔領域の画素値平均値とを求める平均手段と、
前記映像フレームグループの画素値平均値と前記各映像フレームの画素値平均値の差分を前記各映像フレームに加算して各補正映像フレームを生成し、複数の当該補正映像フレームから前記補正映像を生成するオフセット調整手段とを有する前記［４］に記載の心拍情報隠蔽映像伝送プログラム。
［６］前記生成手段は、
前記各補正映像フレームに付加情報を加算する加算手段をさらに有し、
前記送信手段は、前記付加情報が加算されたフレームの集合である新たな補正映像を送信し、
前記受信器において、
前記新たな補正映像を受信する受信手段と、
当該受信した新たな補正映像の複数の映像フレームグループの顔領域の画素値平均値と、各映像フレームの顔領域の画素値平均値を求め、前記映像フレームグループの平均値と前記各映像フレームの平均値の差分値に基づいて前記付加情報を復元するとともに、当該差分情報を前記映像フレームに加算して再補正画像を出力する再補正映像生成手段を有する前記［５に記載の心拍情報隠蔽映像伝送プログラム。
［７］映像信号内の前記人物の顔領域の画素値平均値の微小振動を低減させた補正映像を生成する生成手段と、
当該補正映像を送信する送信手段とを有する心拍情報隠蔽映像伝送装置。
［８］前記生成手段は、
複数の映像フレームグループの前記顔領域の画素値平均値と、前記複数の映像フレームグループの各映像フレームの顔領域の画素値平均値とを求める平均手段と、
前記映像フレームグループの画素値平均値と前記各映像フレームの画素値平均値の差分を前記各映像フレームに加算して各補正映像フレームを生成し、複数の当該補正映像フレームから前記補正映像を生成するオフセット調整手段とを有する前記［７］に記載の心拍情報隠蔽映像伝送装置。
［９］前記生成手段は、
前記各補正映像フレームに付加情報を加算する加算手段をさらに有し、
前記送信手段は、前記付加情報が加算されたフレームの集合である新たな補正映像を送信し、
受信器としての心拍情報隠蔽映像伝送装置において、
前記新たな補正映像を受信する受信手段と、
当該受信した新たな補正映像の複数の映像フレームグループの顔領域の画素値平均値と、各映像フレームの顔領域の画素値平均値を求め、前記映像フレームグループの平均値と前記各映像フレームの平均値の差分値に基づいて前記付加情報を復元するとともに、当該差分情報を前記映像フレームに加算して再補正画像を出力する再補正映像生成手段を有する前記［８］に記載の心拍情報隠蔽映像伝送装置。
前記送信器において、映像信号内の前記人物の顔領域の画素値平均値の微小振動を低減させた補正映像を生成するステップと、
当該補正映像を送信するステップとを有する心拍情報隠蔽映像伝送方法。
［２］前記補正映像を生成するステップは、
複数の映像フレームグループの前記顔領域の画素値平均値と、前記複数の映像フレームグループの各映像フレームの顔領域の画素値平均値とを求めるステップと、
前記映像フレームグループの画素値平均値と前記各映像フレームの画素値平均値の差分を前記各映像フレームに加算して各補正映像フレームを生成し、複数の当該補正映像フレームから前記補正映像を生成するステップとを有する前記［１］に記載の心拍情報隠蔽映像伝送方法。
［３］前記補正映像を生成するステップは、
前記各補正映像フレームに付加情報を加算するステップをさらに有し、
前記補正映像を送信するステップは、前記付加情報が加算されたフレームの集合である新たな補正映像を送信し、
前記受信器において、
前記新たな補正映像を受信するステップと、
当該受信した新たな補正映像の複数の映像フレームグループの顔領域の画素値平均値と、各映像フレームの顔領域の画素値平均値を求め、前記映像フレームグループの平均値と前記各映像フレームの平均値の差分値に基づいて前記付加情報を復元するとともに、当該差分情報を前記映像フレームに加算して再補正画像を出力するステップを有する前記［２］に記載の心拍情報隠蔽映像伝送方法。
［４］コンピュータを、
送信器と受信器によって人物が撮影された映像を伝送するシステムにおいて、
前記送信器において、映像信号内の前記人物の顔領域の画素値平均値の微小振動を低減させた補正映像を生成する生成手段と、
当該補正映像を送信する送信手段として機能させるための心拍情報隠蔽映像伝送プログラム。
［５］前記生成手段は、
複数の映像フレームグループの前記顔領域の画素値平均値と、前記複数の映像フレームグループの各映像フレームの顔領域の画素値平均値とを求める平均手段と、
前記映像フレームグループの画素値平均値と前記各映像フレームの画素値平均値の差分を前記各映像フレームに加算して各補正映像フレームを生成し、複数の当該補正映像フレームから前記補正映像を生成するオフセット調整手段とを有する前記［４］に記載の心拍情報隠蔽映像伝送プログラム。
［６］前記生成手段は、
前記各補正映像フレームに付加情報を加算する加算手段をさらに有し、
前記送信手段は、前記付加情報が加算されたフレームの集合である新たな補正映像を送信し、
前記受信器において、
前記新たな補正映像を受信する受信手段と、
当該受信した新たな補正映像の複数の映像フレームグループの顔領域の画素値平均値と、各映像フレームの顔領域の画素値平均値を求め、前記映像フレームグループの平均値と前記各映像フレームの平均値の差分値に基づいて前記付加情報を復元するとともに、当該差分情報を前記映像フレームに加算して再補正画像を出力する再補正映像生成手段を有する前記［５に記載の心拍情報隠蔽映像伝送プログラム。
［７］映像信号内の前記人物の顔領域の画素値平均値の微小振動を低減させた補正映像を生成する生成手段と、
当該補正映像を送信する送信手段とを有する心拍情報隠蔽映像伝送装置。
［８］前記生成手段は、
複数の映像フレームグループの前記顔領域の画素値平均値と、前記複数の映像フレームグループの各映像フレームの顔領域の画素値平均値とを求める平均手段と、
前記映像フレームグループの画素値平均値と前記各映像フレームの画素値平均値の差分を前記各映像フレームに加算して各補正映像フレームを生成し、複数の当該補正映像フレームから前記補正映像を生成するオフセット調整手段とを有する前記［７］に記載の心拍情報隠蔽映像伝送装置。
［９］前記生成手段は、
前記各補正映像フレームに付加情報を加算する加算手段をさらに有し、
前記送信手段は、前記付加情報が加算されたフレームの集合である新たな補正映像を送信し、
受信器としての心拍情報隠蔽映像伝送装置において、
前記新たな補正映像を受信する受信手段と、
当該受信した新たな補正映像の複数の映像フレームグループの顔領域の画素値平均値と、各映像フレームの顔領域の画素値平均値を求め、前記映像フレームグループの平均値と前記各映像フレームの平均値の差分値に基づいて前記付加情報を復元するとともに、当該差分情報を前記映像フレームに加算して再補正画像を出力する再補正映像生成手段を有する前記［８］に記載の心拍情報隠蔽映像伝送装置。
【0017】
本願発明によれば、遠隔地に映像を送信するシステムにおいて、受信側において個人の心拍情報の推定を困難にすることができる。
【図面の簡単な説明】
【0018】
【発明を実施するための形態】
【0019】
【0020】
心拍推定・生体認証システムは、送信器１０１、受信器１０２を有する。送信器１０１は、入力映像を圧縮してネットワークに伝送し、受信器１０２は、受け取った圧縮ストリームを復号し、ｒＰＰＧによる心拍推定、生体認証識別子の生成を行う。送信器１０１の圧縮器１０３は、Ｈ．２６４／ＡＶＣやＨ．２６５／ＨＥＶＣ等による映像圧縮を実行し、受信器１０２の復号器１０４は、受信した圧縮ストリームを復号して復号映像を生成する。受信器１０２の生体情報処理器１０５は、入力映像内の被写体の心拍を推定し、さらに、被写体の生体認証識別子を生成する。
【0021】
（生体情報処理器の構成）
図５は、生体情報処理器１０５の構成例を示す。
図５は、生体情報処理器１０５の構成例を示す。
【0022】
生体情報処理器１０５は、顔検出・ＲＯＩ処理器１１１、ＲＧＢ計算器１１２、ｒＰＰＧアルゴリズム器１１３、心拍推定器１１４、生体認証識別子生成器１１５を有する。図１の手法と同様に、顔検出・ＲＯＩ処理器１１１は、入力映像内の顔領域を検出し、心拍推定の計算に必要なＲＯＩ（肌色領域やパッチ領域）を切り出す。次に、ＲＧＢ計算器１１２は、ＲＯＩ内の画素値の平均値（もしくは中間値）を計算する。次に、ｒＰＰＧアルゴリズム器１１３は、ＲＯＩ内画素値の平均値の時間変動信号から、心拍に相当する信号を分離する。次に、心拍推定器１１４は、フーリエ変換手法を実行し、心拍推定結果を出力する。最後に、生体認証識別子生成器１１５は、図２の手法と同様に、心拍推定結果の時系列から、生体認証識別子を生成する。
【0023】
図６は、本発明の第１の実施の形態の心拍情報隠蔽通信を実行する心拍情報隠蔽映像伝送装置の構成例を示す。
【0024】
心拍情報隠蔽映像伝送装置は、送信器１２１と受信器１２２とから構成され、図４と同様に、送信器１２１は入力映像を圧縮してネットワークに伝送し、受信器１２２は受け取った圧縮ストリームを復号し、ｒＰＰＧによる心拍推定、生体認証識別子の生成を試みる。圧縮器１２４、復号器１２５、生体情報処理器１２６は、それぞれ図４の圧縮器１０３、復号器１０４、生体情報処理器１０５と同様の動作を行うが、新たに加えた補正映像生成器１２３は、生体情報処理器１２６による心拍推定を無効化するために、入力映像の微小な時間変動を抑圧した補正映像を出力とする。ここで、図３に示した非特許文献４の手法とは異なり、ひずみ要因になり得るテンプレート加算を行うのではなく、ＲＯＩの画素値の微小なシフトを行うことで、入力映像と補正映像の主観的な印象は同等で、ひずみが発生しないという大きな利点が得られる。
【0025】
図７は、補正映像生成器１２３の構成例を示している。
【0026】
補正映像生成器１２３は、顔検出・ＲＯＩ処理器１３１、補正処理器１３２を有する。顔検出・ＲＯＩ処理器１３１は、図５の顔検出・ＲＯＩ処理器１１１と同様に、入力映像内の顔領域を検出し、心拍推定の計算に必要なＲＯＩを切り出す。補正処理器１３２は、ＧＯＰ平均器１３３、フレーム平均器１３４、オフセット調整器１３５から構成される。まず、ＧＯＰ平均器１３３は、映像フレームの複数枚のグループ（ＧＯＰ：Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅｓ）の画素値の平均値を計算する。また、フレーム平均器１３４は、映像フレーム毎の画素値の平均値を計算する。また、オフセット調整器１３５は、顔検出・ＲＯＩ処理器１３１の出力である各映像フレーム、ＧＯＰ平均器１３３の出力であるＧＯＰ平均値、フレーム平均器１３４の出力である各映像フレームの平均値を入力とし、各映像フレームの画素値の平均値がＧＯＰの画素値の平均値に等しくなるようにオフセット調整（画素値の微小なシフト）を行った補正映像を出力とする。ＧＯＰのフレーム数は、１０枚、３０枚、６０枚等、任意の枚数に設定することが可能で、ＧＯＰ内のＲＯＩの画素値の平均値の時間変動が抑圧されるため、補正映像からの心拍推定が困難になる。
【0027】
図８は、補正処理器１３２の詳細な構成例を示している。
【0028】
補正処理器１３２のフレーム平均器１４１は、各映像フレームのＲＯＩの画素値の平均値を出力とする。補正処理器１３２のオフセット調整器１３５は、減算器１４２、加算器１４３を有する。減算器１４２は、ＧＯＰ平均器１３３の出力であるＧＯＰ平均値と、フレーム平均器１４１の出力である映像フレーム平均値を入力とし、減算値を出力とする。加算器１４３は、各映像フレームのＲＯＩの画素値に減算器１４２の出力を加算し、補正映像を出力する。ここで、図７に記載したμＧＯＰ、μ（ｎ）、Ｉ（ｎ）は、それぞれＧＯＰの画素値の平均値、各映像フレームの画素値の平均値、各フレームのＲＯＩの画素値を表し、ｎはＧＯＰ内のフレーム番号を表す（ｎ＝１，２，…，Ｎ、ただしＮはＧＯＰの映像フレーム数）。このとき、加算器１４３の実装は、いくつかの工夫が考えられる。補正映像の画素値を８ビット等の整数値で与える場合、最も単純な加算器１４３の実装は次式で与えられる。
ここでμＧＯＰとμ（ｎ）は実数値（もしくは固定小数点表現）であるため、整数への丸め演算が必要で、ｒｏｕｎｄはその丸め演算を示す。しかし、動きの少ない顔画像の場合、μＧＯＰ－μ（ｎ）の値が非常に小さく、丸目演算によってすべてゼロになってしまう動画像が多数見受けられた。この場合、各映像フレームのオフセット値はゼロになり、補正映像として入力映像がそのまま出力され、心拍推定の隠蔽効果が何もないことになる。そこで、μＧＯＰ－μ（ｎ）を確率換算して上記の問題を回避する以下の手法が考えられる。
ここで、ａｂｓは絶対値、ｓｉｇｎは正負符号、ｃｅｉｌは整数への切り上げを求める関数であり、ｒａｎｄは画素毎に発生させる０から１の乱数である。また、μＧＯＰ－μ（ｎ）をオフセットと呼ぶ場合、変数ｑはオフセットの絶対値、変数ｓはオフセットの符号、変数ｒはオフセットを切り上げた整数値、変数ｐはｑ／ｒで定義される確率値を表す。この手法を用いることにより、確率ｐで整数値±ｒを加算することになり、上記の丸め演算がゼロになる問題を回避でき、安定した画素値の平均値の時間変動の抑圧が可能になる。また、顔画像の場合は稀であるが、変数ｒの値が大きい場合は、補正映像に熱雑音的なひずみが見える場合があり、ｐ＊ｍ＜１を満足する変数ｍを導入し、
とすることで、変数ｒの加算がｒ／ｍの加算となり、主観的に目立たない実装にすることもできる。
【数1】
【数2】
【数3】
【0029】
（第１の実施の形態の効果）
上記した第１の実施の形態によれば、顔検出・ＲＯＩ処理器１３１の出力である各映像フレーム、ＧＯＰ平均器１３３の出力であるＧＯＰ平均値、フレーム平均器１３４の出力である各映像フレームの平均値を入力とし、各映像フレームの画素値の平均値がＧＯＰの画素値の平均値に等しくなるようにオフセット調整（画素値の微小なシフト）を行った補正映像を出力としたため、ＧＯＰ内のＲＯＩの画素値の平均値の時間変動が抑圧され、補正映像からの心拍推定が困難になり、受信側において個人の心拍情報の推定を困難にすることができる。
上記した第１の実施の形態によれば、顔検出・ＲＯＩ処理器１３１の出力である各映像フレーム、ＧＯＰ平均器１３３の出力であるＧＯＰ平均値、フレーム平均器１３４の出力である各映像フレームの平均値を入力とし、各映像フレームの画素値の平均値がＧＯＰの画素値の平均値に等しくなるようにオフセット調整（画素値の微小なシフト）を行った補正映像を出力としたため、ＧＯＰ内のＲＯＩの画素値の平均値の時間変動が抑圧され、補正映像からの心拍推定が困難になり、受信側において個人の心拍情報の推定を困難にすることができる。
【0030】
また、非特許文献４の手法とは異なり、ひずみ要因になり得るテンプレート加算を行うのではなく、ＲＯＩの画素値の微小なシフトを行うようにしたため、入力映像と補正映像の主観的な印象は同等で、ひずみが発生しないという大きな利点が得られる。つまり、補正映像のひずみを抑え、かつ、映像圧縮の圧縮率を低下させないことができる。
【0031】
［第２の実施の形態］
一方、図６の方式もしくは装置により、補正映像のＧＯＰ内のすべての映像フレームの画素値の平均値をμＧＯＰに揃えられる場合、送信側で補正映像の各映像フレームに付加情報を加算して送信し、受信側でも補正映像生成処理を行い、ＧＯＰの画素値の平均値と各映像フレームの画素値の平均値の比較を行うことで付加情報を復元することができる。すなわち、映像情報に付加情報を埋め込んで送信し、受信側で付加情報を取り出すことができる。これは、映像情報の電子透かしや、暗号化した心拍情報の送信などに使用することができる。ただし、各映像フレームに付加する情報の数値がすべて同じになる場合は、ＧＯＰの画素値の平均値と各映像フレームの画素値の平均値が一致してしまうため、ＧＯＰの最終映像フレームの付加情報は反転させるなどの工夫が必要になる。
一方、図６の方式もしくは装置により、補正映像のＧＯＰ内のすべての映像フレームの画素値の平均値をμＧＯＰに揃えられる場合、送信側で補正映像の各映像フレームに付加情報を加算して送信し、受信側でも補正映像生成処理を行い、ＧＯＰの画素値の平均値と各映像フレームの画素値の平均値の比較を行うことで付加情報を復元することができる。すなわち、映像情報に付加情報を埋め込んで送信し、受信側で付加情報を取り出すことができる。これは、映像情報の電子透かしや、暗号化した心拍情報の送信などに使用することができる。ただし、各映像フレームに付加する情報の数値がすべて同じになる場合は、ＧＯＰの画素値の平均値と各映像フレームの画素値の平均値が一致してしまうため、ＧＯＰの最終映像フレームの付加情報は反転させるなどの工夫が必要になる。
【0032】
以上の背景に基づき、図９は、本発明の第２の実施の形態の心拍情報隠蔽通信を実行する心拍情報隠蔽映像伝送装置の構成例を示している。
【0033】
心拍情報隠蔽映像伝送装置は、送信器１５１、受信器１５２を有する。図６と同様に、送信器１５１は入力映像を圧縮してネットワークに伝送し、受信器１５２は受け取った圧縮ストリームを復号し、ｒＰＰＧによる心拍推定、生体認証識別子の生成を試みる。圧縮器１５４、復号器１５５、生体情報処理器１５７は、それぞれ図４の圧縮器１０３、復号器１０４、生体情報処理器１０５と同様の動作を行うが、補正映像生成器１５３は、生体情報処理器１２６による心拍推定を無効化するために、入力映像の微小な時間変動を抑圧した補正映像を出力とすると共に、新たに補正映像に付加情報を加算する。また、再補正映像生成器１５６は、補正映像生成器１５３に類似した動作を行い、再補正映像を出力すると共に、補正映像に埋め込まれた付加情報も出力する。ここで、図６の方式と同様に、図３に示した非特許文献４の手法とは異なり、ひずみ要因になり得るテンプレート加算を行うのではなく、ＲＯＩの画素値の微小なシフトを行うことで、復号映像と再補正映像の主観的な印象は同等で、ひずみが発生しないという大きな利点が得られる。
【0034】
図１０は、補正映像生成器１５３の構成例を示している。
【0035】
補正映像生成器１５３は、顔検出・ＲＯＩ処理器１６１、補正処理器１６２、加算器１６６を有する。顔検出・ＲＯＩ処理器１６１は、図５の顔検出・ＲＯＩ処理器１１１と同様に、入力映像内の顔領域を検出し、心拍推定の計算に必要なＲＯＩを切り出す。補正処理器１６２は、ＧＯＰ平均器１６３、フレーム平均器１６４、オフセット調整器１６５から構成される。まず、ＧＯＰ平均器１６３は、ＧＯＰの画素値の平均値を計算する。フレーム平均器１６４は、映像フレーム毎の画素値の平均値を計算する。また、オフセット調整器１６５は、オフセット調整器１３５と同様の動作を行い、顔検出・ＲＯＩ処理器１６１の出力である各映像フレーム、ＧＯＰ平均器１６３の出力であるＧＯＰ平均値、フレーム平均器１６４の出力である各映像フレームの平均値を入力とし、各映像フレームの画素値の平均値がＧＯＰの画素値の平均値に等しくなるようにオフセット調整（画素値の微小なシフト）を行った補正映像を出力とする。第１の実施の形態と同様に、ＧＯＰのフレーム数は、１０枚、３０枚、６０枚等、任意の枚数に設定することが可能で、ＧＯＰ内のＲＯＩの画素値の平均値の時間変動が抑圧されるため、補正映像からの心拍推定が困難になる。最後に加算器１６６は、映像フレーム毎に付加情報Ｓ（ｎ）を加算し、補正映像を生成出力する。ただし、ｎはＧＯＰ内のフレーム番号を表す。
【0036】
図１１は、再補正映像生成器１５６の構成例を示している。
【0037】
再補正映像生成器１５６は、顔検出・ＲＯＩ処理器１７１、再補正処理器１７２を有する。顔検出・ＲＯＩ処理器１７１は、図５の顔検出・ＲＯＩ処理器１１１と同様に、入力映像内の顔領域を検出し、心拍推定の計算に必要なＲＯＩを切り出す。再補正処理器１７２は、ＧＯＰ平均器１７３、フレーム平均器１７４、オフセット調整器１７５から構成される。まず、ＧＯＰ平均器１７３は、ＧＯＰの画素値の平均値を計算する。また、フレーム平均器１７４は、映像フレーム毎の画素値の平均値を計算する。また、オフセット調整器１７５は、顔検出・ＲＯＩ処理器１７１の出力である各映像フレーム、ＧＯＰ平均器１７３の出力であるＧＯＰ平均値、フレーム平均器１７４の出力である各映像フレームの平均値を入力とし、再補正映像を出力すると共に、付加情報Ｓ（ｎ）を取り出して出力する。ただし、ｎはＧＯＰ内のフレーム番号を表す。
【0038】
図１２は、再補正処理器１７２の詳細な構成例を示している。
【0039】
再補正処理器１７２のフレーム平均器１７４は、フレーム平均器１８１を有し、フレーム平均器１８１は、各映像フレームのＲＯＩの画素値の平均値を出力とする。再補正処理器１７２のオフセット調整器１７５は、減算器１８２、減算器１８３を有し、減算器１８２は、ＧＯＰ平均器１７３の出力であるＧＯＰ平均値と、フレーム平均器１８１の出力である映像フレーム平均値を入力とし、減算値を出力とする。このとき、減算値の正負に応じて、付加情報Ｓ（ｎ）が確定し、出力される。減算器１８３は、各映像フレームのＲＯＩの画素値に減算器１８２の出力を加算し、再補正映像を出力する。ここで、図１２に記載したμＧＯＰ、μ（ｎ）、Ｉ（ｎ）、Ｓ（ｎ）は、それぞれＧＯＰの画素値の平均値、各映像フレームの画素値の平均値、各フレームのＲＯＩの画素値、付加情報を表し、ｎはＧＯＰ内のフレーム番号を表す。各映像フレームの画素値の平均値は、送信側の補正映像生成により、μＧＯＰ＋Ｓ（ｎ）に等しくなっている。
【0040】
（第２の実施の形態の効果）
上記した第２の実施の形態によれば、補正映像のＧＯＰ内のすべての映像フレームの画素値の平均値をμＧＯＰに揃え、送信側で補正映像の各映像フレームに付加情報を加算して送信し、受信側でも補正映像生成処理を行い、ＧＯＰの画素値の平均値と各映像フレームの画素値の平均値の比較を行うようにしたため、映像情報に付加情報を埋め込んで送信し、受信側で付加情報を取り出すことができる。つまり、上記の補正画像生成を実行した上で、送信側で付加情報の追加を行い、受信側で付加情報を取り出すことができる。これは、映像情報の電子透かしや、暗号化した心拍情報の送信などに使用することができる。
上記した第２の実施の形態によれば、補正映像のＧＯＰ内のすべての映像フレームの画素値の平均値をμＧＯＰに揃え、送信側で補正映像の各映像フレームに付加情報を加算して送信し、受信側でも補正映像生成処理を行い、ＧＯＰの画素値の平均値と各映像フレームの画素値の平均値の比較を行うようにしたため、映像情報に付加情報を埋め込んで送信し、受信側で付加情報を取り出すことができる。つまり、上記の補正画像生成を実行した上で、送信側で付加情報の追加を行い、受信側で付加情報を取り出すことができる。これは、映像情報の電子透かしや、暗号化した心拍情報の送信などに使用することができる。
【0041】
【0042】
表内の数値は、心拍推定の二乗平均平方根誤差（ＲＭＳＥ：Ｒｏｏｔ Ｍｅａｎ Ｓｑｕａｒｅｄ Ｅｒｒｏｒ）を示しており、使用した映像圧縮は、図１５はＨ．２６４／ＡＶＣ、図１６はＨ．２６５／ＨＥＶＣである。顔映像の空間解像度は６４０ｘ３６０。時間解像度は３０ｆｐｓであり、心拍数の真値は心拍計測専用のウェアラブルデバイスを用いて計測した。これらの表からわかるように、有効に働かないｒＰＰＧアルゴリズムは存在するものの、ある程度のビットレート以上（６００ｋｂｐｓ以上）であれば、ひずみを含む圧縮映像の場合でも、無圧縮映像と同等の心拍推定が可能であることがわかる。２Ｋ映像（空間解像度１９２０ｘ１０８０）の場合も、同様の結果が得られることを確認している。
【0043】
【0044】
図１３は、オリジナルの顔映像と、図６に示した補正映像処理を適用した補正映像の、映像フレーム毎のＲＯＩのグリーン成分の画素値の平均値の推移を示す。ＧＯＰの画像数は３０に設定しており、オリジナル映像の平均値が微小変動しているのに対して、補正映像の平均値はＧＯＰ単位に一定値を取っていることがわかる。また、図１４は、オリジナル映像と補正映像を用いて心拍推定を行った結果の時間的推移を示す。オリジナル映像の心拍推定結果は比較的安定した数値を示しているが、当初の想定通り、補正映像の心拍推定結果は安定しておらず、かつ、オリジナル映像からの推定結果から離れた低めの数値になっていることがわかる。
【0045】
【0046】
インターネット上に公開されている顔映像データセットは、ＬＧＩ－ＰＰＧＩ－Ｆａｃｅ－Ｖｉｄｅｏ－Ｄａｔａｂａｓｅ（ｈｔｔｐｓ：／／ｇｉｔｈｕｂ．ｃｏｍ／ｐａｒｔｏｆｔｈｅｓｔａｒｓ／ＬＧＩ－ＰＰＧＩ－ＤＢ）であり、これを使用し、ｐｙＶＨＲによる心拍推定を行った結果を示す。このデータセットでは、動き、場所、照明等を変化させた複数のセッション（ｒｅｓｔｉｎｇ，ｒｏｔａｔｉｏｎ，ｇｙｍ，ｔａｌｋ）を定義し、このセッション毎に複数の被験者の顔映像が記録されている。このデータセットから、２名の被験者（ｈａｒｕｎ，ｃｐｉ）の４セッションの顔映像を使用し、ｐｙＶＨＲによる心拍推定実験を行った。図１７は被験者１の心拍推定結果を示し、図１８は被験者２の心拍推定結果を示している。これらの結果から、総じて補正映像生成によって心拍推定誤差が大幅に増加しており、補正映像生成の心拍数隠蔽目的の有効性が確認できる。一方、セッションによっては、オリジナル映像を用いた場合でも、十分な心拍推定が行えない顔映像が存在する。これは、屋外で撮影した顔領域の輝度が暗い映像であり、心拍推定アルゴリズムの今後の課題と考えられる。
【0047】
［他の実施の形態］
なお、本発明は、上記実施の形態に限定されず、本発明の趣旨を逸脱しない範囲で種々な変形が可能である。
なお、本発明は、上記実施の形態に限定されず、本発明の趣旨を逸脱しない範囲で種々な変形が可能である。
【0048】
また、上記実施の形態の各機能の全て又は一部は、プログラムで実現してもよいし、各機能専用のハードウエア、ＡＳＩＣ等のハードウエアによって実現してもよい。また、各機能をプログラムで実現した場合は、当該プログラムを不揮発性メモリ、ＣＤ－ＲＯＭ等の記録媒体に記憶して提供することもできる。また、上記実施の形態で説明した上記ステップの入れ替え、削除、追加等は本発明の要旨を変更しない範囲内で可能である。
【0049】
また、各機能は、必ずしも一の装置上で実現する必要はなく、本発明の要旨を変更しない範囲内で、複数の装置上で分担して実現してもよい。
【産業上の利用可能性】
【0050】
上述したように、本発明によれば、遠隔地に映像を伝送するシステムにおいて、送信映像に顕著なひずみを発生させることなく、遠隔地における映像内の被写体の心拍数の推定及び生体認証識別子の生成を防御することができる。さらに、本発明によれば、映像信号の電子透かしや暗号情報の埋め込み用途で、送信映像に顕著なひずみを発生させることなく、送信側で送信映像に付加情報を埋め込み、受信側で埋め込んだ付加情報を取り出すことができる。
【符号の説明】
【0051】
１ ：被験者
２ ：被験者
１０１ ：送信器
１０２ ：受信器
１０３ ：圧縮器
１０４ ：復号器
１０５ ：生体情報処理器
１１１ ：ＲＯＩ処理器
１１２ ：ＲＧＢ計算器
１１３ ：ｒＰＰＧアルゴリズム器
１１４ ：心拍推定器
１１５ ：生体認証識別子生成器
１２１ ：送信器
１２２ ：受信器
１２３ ：補正映像生成器
１２４ ：圧縮器
１２５ ：復号器
１２６ ：生体情報処理器
１３１ ：ＲＯＩ処理器
１３２ ：補正処理器
１３３ ：ＧＯＰ平均器
１３４ ：フレーム平均器
１３５ ：オフセット調整器
１４１ ：フレーム平均器
１４２ ：減算器
１４３ ：加算器
１５１ ：送信器
１５２ ：受信器
１５３ ：補正映像生成器
１５４ ：圧縮器
１５５ ：復号器
１５６ ：再補正映像生成器
１５７ ：生体情報処理器
１６１ ：ＲＯＩ処理器
１６２ ：補正処理器
１６３ ：ＧＯＰ平均器
１６４ ：フレーム平均器
１６５ ：オフセット調整器
１６６ ：加算器
１７１ ：ＲＯＩ処理器
１７２ ：再補正処理器
１７３ ：ＧＯＰ平均器
１７４ ：フレーム平均器
１７５ ：オフセット調整器
１８１ ：フレーム平均器
１８２ ：減算器
１８３ ：減算器
２ ：被験者
１０１ ：送信器
１０２ ：受信器
１０３ ：圧縮器
１０４ ：復号器
１０５ ：生体情報処理器
１１１ ：ＲＯＩ処理器
１１２ ：ＲＧＢ計算器
１１３ ：ｒＰＰＧアルゴリズム器
１１４ ：心拍推定器
１１５ ：生体認証識別子生成器
１２１ ：送信器
１２２ ：受信器
１２３ ：補正映像生成器
１２４ ：圧縮器
１２５ ：復号器
１２６ ：生体情報処理器
１３１ ：ＲＯＩ処理器
１３２ ：補正処理器
１３３ ：ＧＯＰ平均器
１３４ ：フレーム平均器
１３５ ：オフセット調整器
１４１ ：フレーム平均器
１４２ ：減算器
１４３ ：加算器
１５１ ：送信器
１５２ ：受信器
１５３ ：補正映像生成器
１５４ ：圧縮器
１５５ ：復号器
１５６ ：再補正映像生成器
１５７ ：生体情報処理器
１６１ ：ＲＯＩ処理器
１６２ ：補正処理器
１６３ ：ＧＯＰ平均器
１６４ ：フレーム平均器
１６５ ：オフセット調整器
１６６ ：加算器
１７１ ：ＲＯＩ処理器
１７２ ：再補正処理器
１７３ ：ＧＯＰ平均器
１７４ ：フレーム平均器
１７５ ：オフセット調整器
１８１ ：フレーム平均器
１８２ ：減算器
１８３ ：減算器
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】