特許 7405527 変化タイミング検知装置、変化タイミング検知方法及び変化タイミング検知プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-12-18

(45)【発行日】2023-12-26

(54)【発明の名称】変化タイミング検知装置、変化タイミング検知方法及び変化タイミング検知プログラム

(51)【国際特許分類】

   A61B 5/11 20060101AFI20231219BHJP

   A61B 5/113 20060101ALI20231219BHJP

   G06T 7/20 20170101ALI20231219BHJP

   G08B 21/02 20060101ALI20231219BHJP

【ＦＩ】

A61B5/11 120

A61B5/113

G06T7/20 300Z

G08B21/02

【請求項の数】 11

(21)【出願番号】P 2019130568

(22)【出願日】2019-07-12

(65)【公開番号】P2021013608

(43)【公開日】2021-02-12

【審査請求日】2022-05-02

(73)【特許権者】

【識別番号】000001432

【氏名又は名称】グローリー株式会社

(74)【代理人】

【識別番号】110000914

【氏名又は名称】弁理士法人ＷｉｓｅＰｌｕｓ

(72)【発明者】

【氏名】鵜飼 和歳

【審査官】▲高▼原 悠佑

(56)【参考文献】

【文献】特開２０１７－０５５９４９（ＪＰ，Ａ）

【文献】特開２００２－１７５５８２（ＪＰ，Ａ）

【文献】国際公開第２０１７／０１３８９５（ＷＯ，Ａ１）

【文献】特開２００３－２８１５４３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ５／００－５／３９８

(57)【特許請求の範囲】

【請求項1】

検知対象を含む空間の多次元時系列データに基づいて、前記検知対象の変化タイミングを求める変化タイミング検知装置であって、
前記多次元時系列データ内の前記検知対象に対して設定された複数の観測点の各々において、前記検知対象の動き又は輝度が切り替わるタイミングである個別変化タイミングを計測する計測部と、
前記多次元時系列データの各フレームから過去に向かって前記各観測点における２以上の個別変化タイミングを抽出し、抽出した前記各観測点における前記２以上の個別変化タイミングに基づいて、前記検知対象の変化タイミングを検知する検知部と、を備え、
前記検知部は、抽出した前記各観測点における前記２以上の個別変化タイミングの計測時刻を、抽出した前記個別変化タイミングの数に応じた次元を有する２次元以上の投票空間であって抽出した前記個別変化タイミングの計測時刻を座標軸とする投票空間に対し、前記各観測点ごとに投票し、前記投票空間において最も得票数の多かった座標値に基づいて、抽出した前記個別変化タイミングの数に応じた２以上の変化タイミングを検知する
ことを特徴とする変化タイミング検知装置。

【請求項2】

前記検知部は、投票時に前記個別変化タイミングの信頼度に応じて重みを変えて投票する
ことを特徴とする請求項１記載の変化タイミング検知装置。

【請求項3】

各フレームに過去最も近い変化タイミングの時系列の値の変動に追従して、各フレームに過去２番目に近い変化タイミングの時系列の値が変動する場合に、前記検知対象の動き又は輝度の切り替わりが正常であると判定する判定部を更に備える
ことを特徴とする請求項１又は２記載の変化タイミング検知装置。

【請求項4】

前記多次元時系列データは、映像である
ことを特徴とする請求項１～３のいずれかに記載の変化タイミング検知装置。

【請求項5】

前記個別変化タイミングは、前記検知対象の動きが切り替わるタイミングである
ことを特徴とする請求項１～４のいずれかに記載の変化タイミング検知装置。

【請求項6】

前記計測部は、前記各観測点において個別変化タイミングの候補を検出し、時間的に連続する個別変化タイミングの候補間での当該観測点における前記検知対象の動きの平均方向を計測し、計測した前記平均方向を向きに応じて２つのグループに分類する
ことを特徴とする請求項５記載の変化タイミング検知装置。

【請求項7】

前記検知対象は、生命体であり、
前記変化タイミングは、前記生命体の呼気及び吸気が切り替わるタイミングである
ことを特徴とする請求項５又は６記載の変化タイミング検知装置。

【請求項8】

前記個別変化タイミングは、前記検知対象の輝度が切り替わるタイミングである
ことを特徴とする請求項４記載の変化タイミング検知装置。

【請求項9】

前記検知対象は、生命体であり、
前記複数の観測点は、前記映像内の前記生命体の皮膚領域を含み、
前記計測部は、前記各観測点における輝度値の変化に基づいて前記個別変化タイミングを計測する
ことを特徴とする請求項８記載の変化タイミング検知装置。

【請求項10】

検知対象を含む空間の多次元時系列データに基づいて、前記検知対象の変化タイミングを求める変化タイミング検知方法であって、
前記多次元時系列データ内の前記検知対象に対して設定された複数の観測点の各々において、前記検知対象の動き又は輝度が切り替わるタイミングである個別変化タイミングを計測する計測ステップと、
前記多次元時系列データの各フレームから過去に向かって前記各観測点における２以上の個別変化タイミングを抽出し、抽出した前記各観測点における前記２以上の個別変化タイミングに基づいて、前記検知対象の変化タイミングを検知する検知ステップと、を含み、
前記検知ステップは、抽出した前記各観測点における前記２以上の個別変化タイミングの計測時刻を、抽出した前記個別変化タイミングの数に応じた次元を有する２次元以上の投票空間であって抽出した前記個別変化タイミングの計測時刻を座標軸とする投票空間に対し、前記各観測点ごとに投票し、前記投票空間において最も得票数の多かった座標値に基づいて、抽出した前記個別変化タイミングの数に応じた２以上の変化タイミングを検知する
ことを特徴とする変化タイミング検知方法。

【請求項11】

検知対象を含む空間の多次元時系列データに基づいて、前記検知対象の変化タイミングを求める変化タイミング検知プログラムであって、
前記多次元時系列データ内の前記検知対象に対して設定された複数の観測点の各々において、前記検知対象の動き又は輝度が切り替わるタイミングである個別変化タイミングを計測する計測処理と、
前記多次元時系列データの各フレームから過去に向かって前記各観測点における２以上の個別変化タイミングを抽出し、抽出した前記各観測点における前記２以上の個別変化タイミングに基づいて、前記検知対象の変化タイミングを検知する検知処理と、をコンピュータに実行させるものであり、
前記検知処理は、抽出した前記各観測点における前記２以上の個別変化タイミングの計測時刻を、抽出した前記個別変化タイミングの数に応じた次元を有する２次元以上の投票空間であって抽出した前記個別変化タイミングの計測時刻を座標軸とする投票空間に対し、前記各観測点ごとに投票し、前記投票空間において最も得票数の多かった座標値に基づいて、抽出した前記個別変化タイミングの数に応じた２以上の変化タイミングを検知する
ことを特徴とする変化タイミング検知プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、変化タイミング検知装置、変化タイミング検知方法及び変化タイミング検知プログラムに関する。

【背景技術】

【0002】

カメラによって人物が撮影された映像を解析し、その人物の呼吸に異常が発生しているか否かを検知する手法が従来から提案されている。

【0003】

例えば、特許文献１には、人物に所定の照明パターンを投光し、人物を撮像した画像から投光した照明パターンのフレーム間移動量を算出し、フレーム間移動量を時系列に並べた移動量波形データを生成し、移動量波形データに基づき就寝者の呼吸を検出する方法が開示されている。

【0004】

また、特許文献２には、深度データを含む撮像画像に基づいて、人物表面の位置を特定するとともに人物の肩や胸の変動を測定することによって、対称人物の呼吸数を計測する方法が開示されている。

【0005】

また、特許文献３には、人物を撮像した画像内に人物の胸部領域を予め設定しておき、設定した領域の画像濃度の時間的変化とエッジ位置の変化とから呼気及び吸気を計測する方法が開示されている。

【先行技術文献】

【特許文献】

【0006】

【文献】特開２００２－１７５５８２号公報

【文献】特開２０１７－０３８６７３号公報

【文献】特開２００５－２１８５０７号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかしながら、特許文献１～３記載の方法はいずれも、人物を撮像した画像から得られた単一の時間軸上での当該人物の動きの変化に基づいて当該人物の呼吸を検出するものであるが、このように一時間軸上での動きの変化に着目しても、異常な呼吸等を示す異常値を正確に検知できないことがあった。これは、呼吸の呼気と吸気が切り替わるタイミングを正確に検知するためには、多数の観測点でそれぞれ個別の時間軸上にて計測された動きが切り替わるタイミングから、呼吸する人物の動きが切り替わる代表的なタイミングを検知する必要があるが、一時間軸上での動きの変化からこの代表的なタイミングを正確に検知することは困難であった。

【0008】

このように、従来は、呼吸に伴って人物の各部の動きが一斉に切り替わるタイミングのように、検知対象の動き（動きの方向）等の状態が切り替わる代表的なタイミングである変化タイミングを高精度に検知するという点で改善の余地があった。

【0009】

上記課題に鑑み、本発明においては、検知対象の状態が切り替わる代表的なタイミングを高精度に検知することができる変化タイミング検知装置、変化タイミング検知方法及び変化タイミング検知プログラムを提供することを目的とする。

【課題を解決するための手段】

【0010】

上述した課題を解決し、目的を達成するために、本発明は、検知対象を含む空間の多次元時系列データに基づいて、前記検知対象の変化タイミングを求める変化タイミング検知装置であって、前記多次元時系列データ内の前記検知対象に対して設定された複数の観測点の各々において、前記検知対象の状態が切り替わるタイミングである個別変化タイミングを計測する計測部と、前記多次元時系列データの各フレームから過去に向かって前記各観測点における２以上の個別変化タイミングを抽出し、抽出した前記各観測点における前記２以上の個別変化タイミングに基づいて、前記検知対象の変化タイミングを検知する検知部と、を備えることを特徴とする。

【0011】

また、本発明は、上記発明において、前記検知部は、抽出した前記各観測点における前記２以上の個別変化タイミングの計測時刻を２次元以上の投票空間に投票することによって、前記変化タイミングを検知することを特徴とする。

【0012】

また、本発明は、上記発明において、前記検知部は、投票時に前記個別変化タイミングの信頼度に応じて重みを変えて投票することを特徴とする。

【0013】

また、本発明は、上記発明において、前記変化タイミング検知装置は、各フレームに過去最も近い変化タイミングの時系列の値の変動に追従して、各フレームに過去２番目に近い変化タイミングの時系列の値が変動する場合に、前記検知対象の状態の切り替わりが正常であると判定する判定部を更に備えることを特徴とする。

【0014】

また、本発明は、上記発明において、前記多次元時系列データは、映像であることを特徴とする。

【0015】

また、本発明は、上記発明において、前記状態は、動きであることを特徴とする。

【0016】

また、本発明は、上記発明において、前記計測部は、前記各観測点において個別変化タイミングの候補を検出し、時間的に連続する個別変化タイミングの候補間での当該観測点における前記検知対象の動きの平均方向を計測し、計測した前記平均方向を向きに応じて２つのグループに分類することを特徴とする。

【0017】

また、本発明は、上記発明において、前記検知対象は、生命体であり、前記変化タイミングは、前記生命体の呼気及び吸気が切り替わるタイミングであることを特徴とする。

【0018】

また、本発明は、上記発明において、前記状態は、輝度であることを特徴とする。

【0019】

また、本発明は、上記発明において、前記検知対象は、生命体であり、前記複数の観測点は、前記映像内の前記生命体の皮膚領域を含み、前記計測部は、前記各観測点における輝度値の変化に基づいて前記個別変化タイミングを計測することを特徴とする。

【0020】

また、本発明は、検知対象を含む空間の多次元時系列データに基づいて、前記検知対象の変化タイミングを求める変化タイミング検知方法であって、前記多次元時系列データ内の前記検知対象に対して設定された複数の観測点の各々において、前記検知対象の状態が切り替わるタイミングである個別変化タイミングを計測する計測ステップと、前記多次元時系列データの各フレームから過去に向かって前記各観測点における２以上の個別変化タイミングを抽出し、抽出した前記各観測点における前記２以上の個別変化タイミングに基づいて、前記検知対象の変化タイミングを検知する検知ステップと、を含むことを特徴とする。

【0021】

また、本発明は、検知対象を含む空間の多次元時系列データに基づいて、前記検知対象の変化タイミングを求める変化タイミング検知プログラムであって、前記多次元時系列データ内の前記検知対象に対して設定された複数の観測点の各々において、前記検知対象の状態が切り替わるタイミングである個別変化タイミングを計測する計測処理と、前記多次元時系列データの各フレームから過去に向かって前記各観測点における２以上の個別変化タイミングを抽出し、抽出した前記各観測点における前記２以上の個別変化タイミングに基づいて、前記検知対象の変化タイミングを検知する検知処理と、をコンピュータに実行させることを特徴とする。

【発明の効果】

【0022】

本発明の変化タイミング検知装置、変化タイミング検知方法及び変化タイミング検知プログラムによれば、検知対象の状態が切り替わる代表的なタイミングを高精度に検知することができる。

【図面の簡単な説明】

【0023】

【図1】実施形態１において検知された変化タイミングの時系列の値の短期的な変動を示すグラフの一例である。

【図2】実施形態１において検知された変化タイミングの時系列の値の長期的な変動を示すグラフの一例である。

【図3】実施形態１に係る変化タイミング検知装置を含むシステムの全体構成を説明するブロック図である。

【図4】実施形態１に係る変化タイミング検知装置の構成を説明するブロック図である。

【図5】実施形態１において撮影された映像と、その映像内に設定された処理領域とを説明するための模式図である。

【図6】計測部によって合成された観測点におけるベクトルの長さを示すグラフの一例である。

【図7】図６で示した合成ベクトル長をガウシアン微分した結果を示すグラフである。

【図8】計測部によって生成された観測点におけるベクトルの方向を示すグラフの一例である。

【図9】実施形態１に係る変化タイミング検知装置で行われる変化タイミング検知処理の手順の一例を示すフローチャートである。

【発明を実施するための形態】

【0024】

本明細書において、「多次元時系列データ」とは、実空間に設定された領域内の複数のポイントにおいて、所定の物理量（例えば輝度）を、時間経過に従って順次検知して得られたデータを意味し、例えば映像（映像データ）を包含するものである。また、映像の場合に倣い、多次元時系列データにおいて複数のポイントで検知された一連のデータの塊をフレームと称する。

【0025】

また、本明細書において、「多次元時系列データの各フレーム」或いは「各フレーム」とは、カメラやレーダ等で取得された多次元時系列データを構成する各フレームそのものであってもよいし、カメラやレーダ等で取得された多次元時系列データを構成するフレームを適宜間引いたものであってもよい。また、「フレームに過去最も近い」といった記載とは、フレーム（映像の場合、静止画像）が取得された時刻から過去に遡った時に時間的に最も近いことを意味する。更に、「フレームから過去に向かって」といった記載は、フレーム（映像の場合、静止画像）が取得された時刻から過去に遡ることを意味する。

【0026】

以下、本発明に係る変化タイミング検知装置、変化タイミング検知方法及び変化タイミング検知プログラムの好適な実施形態を、図面を参照しながら説明する。本発明において、変化タイミングを検知する対象となる検知対象は、その検知対象の状態（例えば、動きや輝度）が多次元時系列データ内において変化するものである限り特に限定されないが、以下では、検知対象を人物とし、検知対象の多次元時系列データとして人物の映像を取得し、検知対象の状態が切り替わる代表的なタイミングである変化タイミングとして、人物の動き（動きの方向）、なかでも呼吸に伴う動き（動きの方向）が切り替わるタイミングを検知する場合について説明する。

【0027】

＜本実施形態における処理の概要＞
まず、図１及び２を用いて、本実施形態における処理の概要について説明する。本実施形態における処理の流れは、下記（ｉ）～（ｖ）に示す通りである。

【0028】

（ｉ）人物を撮影した映像内の複数の観測点の各々において、時系列データ上で撮影した人物の動きが切り替わるタイミングである個別変化タイミングを計測する。個別変化タイミングは、各観測点においてオプティカルフローが反転したタイミングに基づいて決定する。

【0029】

（ｉｉ）個別変化タイミングの計測時刻を座標値とし、１観測点１票の重みにて、投票空間に投票する。投票空間は、２次元以上であれば何次元でもよく、例えば、３次元であっても、４次元以上であってもよい。ただし、投票空間の座標軸は、映像の各フレームに過去最も近いものから過去に向かって順に２以上の個別変化タイミングの計測時刻を座標軸とする。例えば、投票空間が３次元の場合は、１軸目は、着目するフレームの直近の（過去最も近い）個別変化タイミングの計測時刻とし、２軸目は、その一つ前の個別変化タイミングの計測時刻とし、３軸目は、その二つ前の個別変化タイミングの計測時刻とする。

【0030】

（ｉｉｉ）投票空間において、最も多くの観測点から投票された座標値（個別変化タイミングの計測時刻）を、そのフレームにおける変化タイミングの観測時刻として検知する。この結果、各フレームについて、投票空間の次数と同じ数の変化タイミングが検知される。例えば、投票空間が３次元の場合は、図１に示すように、各フレームについて、直近と一つ前と二つ前の変化タイミングの三つの観測時刻が検知される。

【0031】

（ｉｖ）所定フレーム分の変化タイミングを、観測時刻が近いもの同士グルーピングする。例えば、投票空間が３次元の場合は、図１中の破線で示すように、直近と一つ前と二つ前の変化タイミングの観測時刻がそれぞれ近いフレームを同一のグループに分類する。

【0032】

（ｖ）各グループの変化タイミングが所定の条件を満たすか否かを判定し、満たす場合は、撮影された人物の呼吸は正常と判定し、満たさない場合は、撮影された人物の呼吸が異常と判定する。具体的には、例えば投票空間が３次元であれば、着目グループの変化タイミングが下記２条件（Ｉ）及び（ＩＩ）を満たした場合、撮影された人物の呼吸は正常と判定する。
（Ｉ）着目グループのＡとＢが、それぞれ、未来のグループのＢとＣと一致すること
（ＩＩ）着目グループのＢとＣが、それぞれ、過去のグループのＡとＢと一致すること
ただし、Ａは直近、Ｂは一つ前、Ｃは二つ前の変化タイミングの観測時刻を示す。なお、ここで、一致するとは、完全に一致するのみならず、実質的に一致する場合も包含する。実質的に一致する場合の具体的な範囲は、検知対象や変化タイミングを検知する対象に応じて適宜設定可能であるが、呼吸に伴う動きに応じて切り替わる変化タイミングを検知する本実施形態では、複数の変化タイミングの観測時刻が、例えば５フレーム分の時間（１０ｆｐｓであれば０．５秒）以内に収まれば一致するものとする。

【0033】

上記処理では、複数観測点（多くの票による投票）及び複数観測時刻（投票空間の多次元化）、更に投票結果の検証ルールを用いることから、最終的に信頼度の高い信号のみを抽出できる。そのため、小さく弱い信号であっても、とにかく投票することができ、変化タイミングの検出漏れを防ぐことができる。

【0034】

また、投票結果を所定のルールで検証することにより、図２の破線で挟まれた領域で示すように、周期性のない変化タイミング（呼吸停止や寝返り期間等）をより正確に検出することができる。

【0035】

＜変化タイミング検知装置を含むシステムの全体構成＞
次に、図３を用いて、実施形態１に係る変化タイミング検知装置を含むシステムの全体構成について説明する。図３に示すように、このシステムは、屋内で就寝中の人物を対象にして構築されるものであり、２次元の映像を取得するカメラ１と、変化タイミング検知装置２と、を備えている。カメラ１は、変化タイミング検知装置２と通信可能に接続されている。

【0036】

カメラ１は、通常、屋内の所望の場所（例えば高所）に設置される。カメラ１により屋内で就寝中の人物（例えば、保育園児）が所定のフレームレート（例えば、１０ｆｐｓ）で撮影される。このとき、少なくとも、人物の呼吸に伴って動く部位（以下、可動部）が撮影される。可動部の好適な具体例としては、例えば、胸部、背中部分、腹部、肩部等が挙げられる。カメラ１は、可動部の動きに伴って同様のタイミングで変動する物体を撮影してもよい。例えば、人物にかけられた布団や毛布が撮影されてもよい。撮影された映像（動画像）は、変化タイミング検知装置２に出力される。カメラ１は、ＲＧＢのカラー映像を取得してもよいし、モノクロ映像を取得してもよい。また、カメラ１は、可視光に感度をもつカメラであってもよいし、赤外線に感度をもつカメラ（赤外線カメラ）であってもよい。

【0037】

変化タイミング検知装置２には、撮影した映像等を表示するモニタ（表示装置、図示せず）と、操作者が種々の入力操作を行う入力デバイス（例えばマウス、図示せず）とが接続されている。なお、モニタ及び入力デバイスは、タッチパネルディスプレイ等の入力機能付きの表示装置から構成されてもよい。

【0038】

変化タイミング検知装置２は、操作者が、モニタによって、カメラ１で撮影された映像をリアルタイムで閲覧できるように構成されている。

【0039】

＜変化タイミング検知装置の構成＞
次に、図４を用いて、変化タイミング検知装置２の構成について説明する。変化タイミング検知装置２は、一般的なパーソナルコンピューター相当の機能を有する情報処理装置から構成され、図４に示すように、制御部１０及び記憶部２０を備えている。

【0040】

制御部１０は、映像入力部１１と、計測部１２と、検知部１３と、判定部１４との機能を備えている。制御部１０は、例えば、各種の処理を実現するためのソフトウェアプログラムと、該ソフトウェアプログラムを実行するＣＰＵ（Central Processing Unit）と、該ＣＰＵによって制御される各種ハードウェア等によって構成されている。制御部１０の動作に必要なソフトウェアプログラムやデータは記憶部２０に記憶される。

【0041】

なお、制御部１０の図４に示した各部は、制御部１０のＣＰＵで変化タイミング検知プログラムを実行させることによって実現される。変化タイミング検知プログラムは、変化タイミング検知装置２に予め導入されてもよいし、汎用ＯＳ上で動作可能なアプリケーションプログラムとして、コンピュータ読み取り可能な記録媒体に記録して、又は、ネットワークを介して、操作者に提供されてもよい。

【0042】

記憶部２０は、ハードディスク装置や不揮発性メモリ等の記憶装置から構成される。

【0043】

映像入力部１１は、カメラ１から映像を取得する処理を行い、映像を計測部１２に出力する。

【0044】

計測部１２は、映像内の人物に対して設定された複数の観測点の各々において、人物の動きが切り替わるタイミングである個別変化タイミングを計測する。

【0045】

図５に示すように、映像３０内には変化タイミングが検知される領域である処理領域３１が設定されている。なお、図５では、映像３０内に設定されている処理領域３１と、その処理領域３１を拡大したものとを示す。処理領域３１は、上述のように、少なくとも可動部（可動部の動きに伴って同様のタイミングで変動する物体でもよい）を含むように設定される。また、処理領域３１は、所定のピッチのメッシュで複数のセグメント３２に区切られる。セグメント３２は、同一サイズの矩形の領域であり、各セグメント３２のサイズは、例えば、縦横１０画素（１０×１０画素）である。そして、各セグメント３２にて計測部１２が個別変化タイミングを計測する処理を行う。すなわち、これらのセグメント３２がそれぞれ観測点に対応している。

【0046】

計測部１２による処理の流れは、下記（Ａ）～（Ｄ）に示す通りである。

【0047】

（Ａ）処理領域３１の各観測点に対して、一定間隔おきに、オプティカルフロー（ベクトル）を算出する（図５参照）。

【0048】

（Ｂ）着目観測点における過去のベクトルを単位ベクトルに変換し、合成（平均化）する。過去とは、例えば、着目フレームを含む１０フレームの相当する程度とする。

【0049】

（Ｃ）合成したベクトルの長さ（図６参照）をガウシアン微分し、正から負に変わる点を個別変化タイミングの候補とする（図７中、矢印で示されるタイミング参照）。

【0050】

（Ｄ）合成したベクトルの方向から、隣り合う２つの個別変化タイミングの候補間の平均方向をそれぞれ求め（図８参照）、求めた平均方向が個別変化タイミングの候補の前後で反転していれば、その候補を個別変化タイミングに確定する。なお、図８のグラフでは、縦軸、すなわち合成したベクトルの方向を、３６＝３６０°として表している。

【0051】

上記（Ｄ）の処理の詳細は、下記（ａ）～（ｃ）に示す通りである。

【0052】

（ａ）合成したベクトルの方向から、過去１０秒間の個別変化タイミングの候補全てに対して、時間的に連続する個別変化タイミングの候補間の平均方向を求める。なお、時間的に連続する個別変化タイミングの候補間とは、ある個別変化タイミングの候補の計測時間と、その次の個別変化タイミングの候補の計測時間との間の時間間隔を意味する。

【0053】

（ｂ）求めた平均方向を２クラスに分ける。具体的には、合成したベクトルの方向の最大値により近いクラスと、合成したベクトルの方向の最小値により近いクラスとの２つに分類する。

【0054】

（ｃ）個別変化タイミングの候補の前後で平均方向のクラスが異なる場合、その候補を個別変化タイミングとして確定する。

【0055】

計測部１２によって計測された各観測点における個別変化タイミングに関する情報は、個別変化タイミング情報２１として、計測部１２によって記憶部２０に記憶される。個別変化タイミング情報２１には、各観測点で計測された全ての個別変化タイミングの時刻情報等が含まれる。ここで、各個別変化タイミングの計測時刻は、その個別変化タイミングが計測された観測点と対応付けられて記憶部２０に記憶される。

【0056】

検知部１３は、まず、前記映像の各フレームに過去最も近いものから過去に向かって順に前記各観測点における２以上の個別変化タイミングを抽出する。

【0057】

より具体的には、検知部１３は、記憶部２０に記憶された個別変化タイミング情報２１に基づいて、映像のフレーム毎に、各観測点で計測された個別変化タイミングの観測時刻を、そのフレームの撮影時刻から過去に遡って時間的に最も近いものから順に二つ以上抽出する。この結果、例えば、三つの個別変化タイミングを抽出する場合は、各観測点について、着目するフレームの直近の（過去最も近い）個別変化タイミングの観測時刻と、その一つ前の個別変化タイミングの観測時刻と、その二つ前の個別変化タイミングの観測時刻とが互いに対応付けられて記憶部２０から読み出される。

【0058】

そして、検知部１３は、抽出した各観測点における２以上の個別変化タイミングに基づいて、検知対象である人物の変化タイミングを検知する。

【0059】

より具体的には、検知部１３は、抽出した各観測点における２以上の個別変化タイミングの観測時刻を、個別変化タイミングの観測時刻を座標軸とする投票空間に対し、１観測点１票の重みで、点又は領域にて投票する。ここで、投票空間の次元の数は、各観測点で抽出した個別変化タイミングの数に対応しており、例えば、三つの個別変化タイミングを抽出した場合は、投票空間は、３次元となり、着目するフレームに直近の（過去最も近い）個別変化タイミングの観測時刻を示す座標軸と、その一つ前の個別変化タイミングの観測時刻を示す座標軸と、その二つ前の個別変化タイミングの観測時刻を示す座標軸とから構成される。

【0060】

そして、検知部１３は、最終的な票数の得票分布に基づいて、撮影された人物の変化タイミングを検知する。ここでは、最も得票数の多かった座標の各座標値、すなわち着目するフレームに直近の（過去最も近い）ものから過去に遡って連続する２以上の個別変化タイミングの観測時刻を、それぞれ当該人物の変化タイミングとする。この結果、着目するフレームに過去最も近いものから過去に向かって順に２以上の変化タイミングが検知される。

【0061】

また、検知部１３は、上述の投票処理を各フレームについて行う。この結果、各フレームについて、各フレームに過去最も近いものから過去に向かって順に２以上の変化タイミングが検知される。

【0062】

検知部１３によって検知された変化タイミングに関する情報は、変化タイミング情報２２として、検知部１３によって記憶部２０に記憶される。変化タイミング情報２２には、各フレームについて検知された２以上の変化タイミングの全ての時刻情報等が含まれる。ここで、フレームを特定する情報（例えば、フレーム番号）と、そのフレームについて検知された２以上の変化タイミングの観測時刻とが互いに対応付けられて記憶部２０に記憶される。

【0063】

判定部１４は、記憶部２０に記憶された変化タイミング情報２２に基づいて、撮影された人物の呼吸が正常か否かを判定する。このときは、判定部１４は、各フレームに過去最も近い変化タイミングの時系列の値（例えば、図１に示した直近のデータ参照）の変動に追従して、各フレームに過去２番目に近い変化タイミングの時系列の値（例えば、図１に示した一つ前のデータ参照）が変動する場合に、撮影された人物の呼気及び吸気の切り替わり、すなわち呼吸が正常であると判定する。他方、過去２番目に近い変化タイミングの時系列の値が、過去最も近い変化タイミングの時系列の値の変動に追従して変動していない場合は、撮影された人物が、無呼吸、呼吸停止、寝返り等に起因して不安定な呼吸を行っていると判定する。そして、その場合、制御部１０は、撮影された人物が不安定な呼吸を行っていることを操作者に報知する報知処理を行う。

【0064】

より具体的には、図２に示したように、フレームが撮影された時刻に対応するフレーム番号を横軸とし、変化タイミングが検知された時刻を縦軸としたグラフにおいて、各フレームの直近の（過去最も近い）変化タイミングの観測時刻のフレーム番号の増加に伴う変動に追従して、その一つ前の変化タイミングの観測時刻がフレーム番号の増加に伴って変動する場合は、撮影された人物の呼吸が正常であると判定する。

【0065】

特に本実施形態では、判定部１４は、上述したように、各フレームに過去最も近いものから３番目までの変化タイミングの時系列の値（例えば、図１及び２に示した直近、一つ前及び二つ前のデータ参照）に基づいて、撮影された人物の呼吸が正常であるか否かを判定してもよい。これにより、撮影された人物の呼吸が正常である否かをより正確に判定することができる。また、着目グループの変化タイミングが上記２条件（Ｉ）及び（ＩＩ）を満たした場合は、撮影された人物の呼吸は正常と判定し、上記２条件（Ｉ）及び（ＩＩ）の少なくとも一方を満たさない場合は、撮影された人物の呼吸は異常と判定してもよい。

【0066】

上記のように、ある変化タイミングの時系列の値（例えば、図１及び２に示した直近のデータ）の変動に追従して、別の変化タイミングの時系列の値（例えば、図１及び２に示した一つ前のデータ）が変動するとは、両方の時系列の対応する値、すなわち両方の時系列における対応する変化タイミングの観測時刻が一致することであってもよい。なお、ここで、一致するとは、上述のように、完全に一致するのみならず、実質的に一致する場合も包含し、実質的に一致する場合、対応する変化タイミングの観測時刻は、例えば、５フレーム分の時間（１０ｆｐｓであれば０．５秒）以内に収まっていてもよい。

【0067】

図１に示したように、各フレームに過去最も近いものから過去に向かって少なくとも２番目までの変化タイミングの時系列の値が階段状に変動する場合は、撮影された人物の呼吸が正常であると判定することができる。

【0068】

＜変化タイミング検知処理の手順＞
次に、図９を用いて、変化タイミング検知装置２で行われる変化タイミング検知処理の手順について説明する。

【0069】

図９に示すように、まず、映像入力部１１に、カメラ１から、検知対象の人物を撮影した映像が入力される（Ｓ１１）。すなわち、当該映像の各フレームが順次入力される。

【0070】

次に、映像入力部１１から計測部１２に所定フレーム分の映像が入力されると、計測部１２が、上述のように、各観測点において、撮影された人物の動きが切り替わるタイミングである個別変化タイミングを計測する（Ｓ１２）。

【0071】

次に、検知部１３が、上述のように、計測部１２が計測した個別変化タイミングに基づいて、撮影された人物の変化タイミングを検知する（Ｓ１３）。

【0072】

そして、所定フレーム分について変化タイミングが検出されると、判定部１４が、上述のように、各フレームに過去最も近いものから過去に向かって少なくとも２番目までの変化タイミングの時系列の値に基づいて、撮影された人物の呼吸が正常であるか否かを判定し（Ｓ１４）、正常であれば（Ｓ１４でＹＥＳ）、操作者から処理終了の指示を受け付けるまで上述の処理を繰り返す。正常でなければ（Ｓ１４でＮＯ）、撮影された人物の呼吸に異常が発生していることを操作者に報知する報知処理を行い（Ｓ１５）、その後、操作者から処理終了の指示を受け付けるまで上述の処理を繰り返す。

【0073】

以上説明したように、本実施形態では、映像内の検知対象である人物に対して設定された複数の観測点の各々において、撮影された人物の動き（状態）が切り替わる個別変化タイミングを計測し、映像の各フレームに過去最も近いものから過去に向かって順に各観測点における２以上の個別変化タイミングを抽出し、抽出した各観測点における２以上の個別変化タイミングに基づいて、撮影された人物の変化タイミングを検知することから、各観測点において撮影された人物の動き（状態）が切り替わる個別変化タイミングから、撮影された人物の動き（状態）、具体的には呼吸の吸気と排気が切り替わる代表的なタイミングを変化タイミングとして高精度に検知することができる。

【0074】

また、本実施形態では、抽出した各観測点における２以上の個別変化タイミングの計測時刻を２次元以上の投票空間に投票することによって、変化タイミングを検知することから、変化タイミングをより高精度に検知することができる。

【0075】

また、本実施形態では、各フレームに過去最も近い変化タイミングの時系列の値の変動に追従して、各フレームに過去２番目に近い変化タイミングの時系列の値が変動する場合に、撮影された人物の動き（状態）の切り替わりが正常であると判定することから、撮影された人物の動き（状態）の切り替わり、すなわち呼吸の吸気と排気の切り替わりが正常であると判定することができる。

【0076】

また、本実施形態では、多次元時系列データとして映像を取得することから、オプティカルフローを使って検知対象である人物の移動方向を計算することが可能である。また、多次元時系列データ（映像）を取得する手段として、カメラといった一般的に利用されている低コストの撮影装置を用いることが可能である。

【0077】

また、本実施形態では、撮影された人物の状態として動きを検知することから、撮影された人物の動きが切り替わる代表的なタイミングを高精度に検知することができる。

【0078】

また、本実施形態では、変化タイミングとして、撮影された人物（生命体）の呼気及び吸気が切り替わるタイミングを検知することから、撮影された人物（生命体）の呼吸に伴う変化タイミングを高精度に検知することができる。

【0079】

また、本実施形態では、各観測点において個別変化タイミングの候補を検出し、時間的に連続する個別変化タイミングの候補間での当該観測点における撮影された人物の動きの平均方向を計測し、計測した平均方向を向きに応じて２つのグループに分類することから、任意の方向について撮影された人物の動きが反転したか否かがわかるため、撮影された人物の動きが切り替わる個別変化タイミングを精度良く計測することができる。

【0080】

また、本実施形態では、個別変化タイミングの計測にオプティカルフローを用い、オプティカルフローの反転タイミングを、フローの大きさの極小値ではなく、単位ベクトル化して方向成分のみを取り出し、その単位ベクトルを近傍の時（空）領域で合成した合成ベクトル長の極小値とすることから、フローの大きさが非常に小さい対象（ノイズが多く安定していない対象）についても、フローの変化を検出することができる。

【0081】

なお、上記実施形態では、１観測点１票の重みで、すなわち同じ重みで各観測点における個別変化タイミングを投票する場合について説明したが、投票に際して、個別変化タイミングの信頼度に応じて重みを変えて投票してもよい。これにより、変化タイミングをより高精度に検知することができる。より具体的には、図６に示したように、合成したベクトルの長さの極小値間の平均値を算出し、その平均値を対応する個別変化タイミングに乗じた上で投票してもよい。

【0082】

また、上記実施形態では、個別変化タイミングの計測にオプティカルフローを用いる場合について説明したが、個別変化タイミングを計測する手法は、オプティカルフローを利用する手法に特に限定されない。具体的には、例えば、着目画素（各観測点）の輝度値の変動（明るくなっているか、暗くなっているか）を追跡することによって個別変化タイミングを計測してもよい。

【0083】

また、上記実施形態では、撮影された人物の状態として動きを検知する場合について説明したが、検知対象の状態として輝度を検知してもよい。これにより、検知対象（例えば、人物等の生命体）の輝度が切り替わる代表的なタイミングを高精度に検知することができる。

【0084】

また、この場合、複数の観測点は、映像内の生命体（例えば、人物）の皮膚領域を含み、各観測点における輝度値の変化に基づいて個別変化タイミングを計測してもよい。これにより、生命体の脈動に伴う変化タイミングを高精度に検知することができる。これは、血液中のヘモグロビンは、緑色の波長（５５０ｎｍ付近）を吸収する性質が強く、緑色の輝度値の微小な時間的変化から脈動を検出できるためである。したがって、脈動をより高精度に検知する観点からは、ＲＧＢのカラー映像を取得し、各観測点における緑色の輝度値の変化に基づいて個別変化タイミングを計測することが好ましい。

【0085】

また、上記実施形態では、検知対象が人物（生命体）である場合について説明したが、検知対象は、動きや輝度といった状態が変化するものであればよく、生命体に特に限定されず、無生物であってもよい。具体的には、動きが変化する検知対象としては、例えば、鉄塔や電線といった建築物や屋外設備等が挙げられ、これらのものが微小に揺れている場合、その揺れ（動き）の変化タイミングを映像から検出することが可能である。

【0086】

また、上記実施形態では、検知部１３、検知ステップ及び検知処理が、映像の各フレームに過去最も近いものから過去に向かって順に各観測点における２以上の個別変化タイミングを抽出し、抽出した各観測点における２以上の個別変化タイミングに基づいて、撮影された人物の変化タイミングを検知する場合について説明したが、検知部１３、検知ステップ及び検知処理は、例えば、映像の各フレームに過去２番目に近いものから過去に向かって順に各観測点における２以上の個別変化タイミングを抽出してもよいし、映像の各フレームに過去最も又は２番目に近いものから過去に向かって一つ置きに順に各観測点における２以上の個別変化タイミングを抽出してもよく、そして、これらの抽出した２以上の個別変化タイミングに基づいて、検知対象の変化タイミングを検知してもよい。このように、検知部１３、検知ステップ及び検知処理は、映像の各フレームから過去に向かって各観測点における２以上の個別変化タイミングを抽出し、抽出した各観測点における２以上の個別変化タイミングに基づいて、検知対象の変化タイミングを検知するものであってもよい。

【0087】

また、上記実施形態では、検知対象である人物をカメラ１で撮影し、多次元時系列データとして映像を取得する場合について説明したが、検知対象の多次元時系列データを取得する手段は、カメラといった撮影手段に特に限定されず、例えば、ミリ波レーダ等のレーダを用いてもよい。人物に向けてミリ波を送信し、その人物で反射した反射波を観測すると、息を吸っているときは、送信波と反射波の位相ずれが小さくなる傾向にあり、息を吐くときは、送信波と反射波の位相ずれが大きくなる傾向がある。また、送信波と反射波の位相ずれは、心臓の拍動に対しても同期する。したがって、映像の輝度値と同じように、この位相ずれの変動（大きくなっているか、小さくなっているか）を追跡することによって個別変化タイミングを計測してもよい。そして、このようにして得られた各観測点における２以上の個別変化タイミングを用いて上述の投票を行うことにより、映像を使用した同様に、より正確な検知対象の変化タイミングを検知することができる。

【0088】

以上、図面を参照しながら本発明の実施形態を説明したが、本発明は、上記実施形態に限定されるものではない。また、各実施形態の構成は、本発明の要旨を逸脱しない範囲において適宜組み合わされてもよいし、変更されてもよい。

【産業上の利用可能性】

【0089】

以上のように、本発明は、検知対象を含む空間の多次元時系列データに基づいて、検知対象の状態が切り替わる代表的なタイミングを検知するのに有用な技術である。

【符号の説明】

【0090】

１：カメラ
２：変化タイミング検知装置
１０：制御部
１１：映像入力部
１２：計測部
１３：検知部
１４：判定部
２０：記憶部
２１：個別変化タイミング情報
２２：変化タイミング情報
３０：映像
３１：処理領域
３２：セグメント（観測点）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】