IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ アトラス5ディー, インコーポレイテッドの特許一覧

特許7083809プライバシーの保護を伴う人物の識別しおよび/または痛み、疲労、気分、および意図の識別および定量化のためのシステムおよび方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-06-03
(45)【発行日】2022-06-13
(54)【発明の名称】プライバシーの保護を伴う人物の識別しおよび/または痛み、疲労、気分、および意図の識別および定量化のためのシステムおよび方法
(51)【国際特許分類】
   H04N 7/18 20060101AFI20220606BHJP
【FI】
H04N7/18 K
【請求項の数】 49
(21)【出願番号】P 2019504817
(86)(22)【出願日】2017-08-01
(65)【公表番号】
(43)【公表日】2019-11-07
(86)【国際出願番号】 US2017044936
(87)【国際公開番号】W WO2018026838
(87)【国際公開日】2018-02-08
【審査請求日】2020-08-03
(31)【優先権主張番号】62/370,083
(32)【優先日】2016-08-02
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】62/438,229
(32)【優先日】2016-12-22
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】519025965
【氏名又は名称】アトラス5ディー, インコーポレイテッド
(74)【代理人】
【識別番号】100078282
【弁理士】
【氏名又は名称】山本 秀策
(74)【代理人】
【識別番号】100113413
【弁理士】
【氏名又は名称】森下 夏樹
(74)【代理人】
【識別番号】100181674
【弁理士】
【氏名又は名称】飯田 貴敏
(74)【代理人】
【識別番号】100181641
【弁理士】
【氏名又は名称】石川 大輔
(74)【代理人】
【識別番号】230113332
【弁護士】
【氏名又は名称】山本 健策
(72)【発明者】
【氏名】バーサニック, ジョナサン エス.
(72)【発明者】
【氏名】キンメル, ゼバダイア エム.
(72)【発明者】
【氏名】シュバリエ, ティモシー ダブリュー.
【審査官】中嶋 樹理
(56)【参考文献】
【文献】特開2012-115570(JP,A)
【文献】特開2015-061577(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 7/18
(57)【特許請求の範囲】
【請求項1】
センサデータから1人以上の着目人物の表現を識別する方法であって、前記センサデータは、その中に人物を伴う周辺環境の表現を含有しており、前記方法は、
(a)コンピューティングデバイスのプロセッサによって、1つ以上のフレームからセンサデータを受信することであって、前記センサデータは、人物の表現と、前記周辺環境の表現とを備え、前記人物の表現は、前記1人以上の着目人物の表現を備える、ことと、
(b)前記プロセッサによって、前記センサデータ内の人物の各表現が、前記センサデータの個別のセグメント化と関連付けられるように、前記センサデータを前記センサデータ内の前記人物のそれぞれの固有の表現にセグメント化し、それによって、前記センサデータ内の前記周辺環境の表現から前記人物のそれぞれの表現を区別することと、
(c)前記プロセッサによって、前記センサデータの各セグメント化から1つ以上の身体部分を分離することと、
(d)前記プロセッサによって、前記センサデータのセグメント化毎に、前記センサデータの前記個別のセグメント化の1つ以上の分離された身体部分に基づいて、前記人物の個別の表現と関連付けられる特徴のセットのうちの1つ以上の特徴毎の測度を判定することと、
(e)前記プロセッサによって、前記特徴のセットのうちの1つ以上の特徴が前記1つ以上のフレームにおいて利用不可能または前記1つ以上のフレームから算出不可能であることを判定することと、
)前記プロセッサによって、前記センサデータのセグメント化毎に、前記人物の個別の表現と関連付けられる1つ以上の特徴の判定された測度の組み合わせが、前記1人以上の着目人物のうちの1人のボディプリントに対応するかどうかを判定し、それによって、前記センサデータの個別のセグメント化を着目人物として識別することであって、前記組み合わせは、利用不可能または算出不可能である前記特徴のセットのうちの前記1つ以上の特徴を除外する、ことと、
)前記プロセッサによって、前記データのセグメント化が前記対応する着目人物の識別と関連付けられるように、前記1人以上の着目人物のうちの1人のボディプリントに対応する前記人物の個別の表現と関連付けられるデータのセグメント化を記憶することと
を含む、方法。
【請求項2】
前記プロセッサによって、前記センサデータを前記センサデータ内の前記人物のそれぞれの固有の表現にセグメント化することは、機械学習および/またはパターン認識技法を実施することを含む、請求項1に記載の方法。
【請求項3】
前記プロセッサによって、前記センサデータの各セグメント化から前記1つ以上の身体部分を分離することは、機械学習および/またはパターン認識技法を実施することを含む、請求項1または2に記載の方法。
【請求項4】
前記1人以上の着目人物はそれぞれ、識別のために登録される、請求項1~3のいずれか1項に記載の方法。
【請求項5】
全ての視覚データが、前記センサデータから省略される、請求項1~4のいずれか1項に記載の方法。
【請求項6】
前記1つ以上の特徴はそれぞれ、1つ以上のフレームに基づいて計算される、請求項1~5のいずれか1項に記載の方法。
【請求項7】
前記1つ以上の特徴は、1つ以上の静的特徴を備える、請求項1~6のいずれか1項に記載の方法。
【請求項8】
前記1つ以上の静的特徴は、Convolutional Neural Networkを含むニューラルネットワークの重みおよび/または出力、Convolutional Neural Networkを含む、異なる時点におけるニューラルネットワークの重みおよび/または出力、Random Forestの重みおよび/または出力、Support Vector Machineの重みおよび/または出力、単純なベイズマシンの重みおよび/または出力、K平均クラスタリングを含むクラスタリング、教師あり学習、教師なし学習から成る群から選択される1つ以上の要素を備える、請求項7に記載の方法。
【請求項9】
前記1つ以上の特徴は、1つ以上の動的特徴を備える、請求項1~8のいずれか1項に記載の方法。
【請求項10】
前記1つ以上の動的特徴は、Convolutional Neural Networkを含むニューラルネットワークの重みおよび/または出力、Convolutional Neural Networkを含む、異なる時点におけるニューラルネットワークの重みおよび/または出力、Random Forestの重みおよび/または出力、Support Vector Machineの重みおよび/または出力、単純なベイズマシンの重みおよび/または出力、K平均クラスタリングを含むクラスタリング、教師あり学習、教師なし学習から成る群から選択される1つ以上の要素を備える、請求項9に記載の方法。
【請求項11】
前記1つ以上の動的特徴はそれぞれ、1)-3)、すなわち、1)時間、空間、または他の着目測定単位にわたる単一の身体部分の属性の変動、2)時間、空間、または他の着目測定単位にわたる異なる身体部分の特徴間の関係の変動、および3)時間、空間、または他の着目測定単位にわたる前記人物の異なる身体区画に対する環境またはその関係の変動のうちの少なくとも1つに基づいて計算される、請求項9または10に記載の方法。
【請求項12】
前記1つ以上の特徴および/またはボディプリントは、機械学習および/またはパターン認識技法によって自動的に計算される、請求項1~11のいずれか1項に記載の方法。
【請求項13】
センサによって、センサデータを取得することを含み、前記センサデータは、複数のフレームを備え、各フレームは、ピクセルの2次元空間マップとして表され、各ピクセルの強度値は、前記センサからの投影距離に対応する、請求項1~12のいずれか1項に記載の方法。
【請求項14】
前記プロセッサによって、前記1つ以上の特徴に優先順位を付けることを含み、前記優先順位を付けることは、異なるセンサ、異なる時間、異なるボディプリント、および異なる空間的場所から成る群から選択される少なくとも1つの要素を横断して特徴を集約することを含む、請求項1~13のいずれか1項に記載の方法。
【請求項15】
前記識別することは、前記人物が自然に動き回っている間に実施される、請求項1~14のいずれか1項に記載の方法。
【請求項16】
センサデータから1人以上の着目人物の表現を識別するためのシステムであって、前記センサデータは、その中に人物を伴う周辺環境の表現を含有しており、前記システムは、
プロセッサと、
メモリであって、前記メモリは、その上に命令を記憶しており、前記命令は、前記プロセッサによって実行されると、前記プロセッサに、
センサデータ内の人物の各表現が、前記センサデータの個別のセグメント化と関連付けられるように、1つ以上のフレームからの前記センサデータを前記センサデータ内の前記人物のそれぞれの固有の表現にセグメント化し、それによって、前記センサデータ内の前記周辺環境の表現から前記人物のそれぞれの表現を区別することであって、前記センサデータは、人物の表現と、前記周辺環境の表現とを備え、前記人物の表現は、前記1人以上の着目人物の表現を備える、ことと、
前記センサデータの各セグメント化から1つ以上の身体部分を分離することと、
前記センサデータのセグメント化毎に、前記センサデータの前記個別のセグメント化の1つ以上の分離された身体部分に基づいて、前記人物の個別の表現と関連付けられる特徴のセットのうちの1つ以上の特徴毎の測度を判定することと、
前記特徴のセットのうちの1つ以上の特徴が前記1つ以上のフレームにおいて利用不可能または前記1つ以上のフレームから算出不可能であることを判定することと、
前記センサデータのセグメント化毎に、前記人物の個別の表現と関連付けられる1つ以上の特徴の判定された測度の組み合わせが、前記1人以上の着目人物のうちの1人のボディプリントに対応するかどうかを判定し、それによって、前記センサデータの個別のセグメント化を着目人物として識別することであって、前記組み合わせは、利用不可能または算出不可能である前記特徴のセットのうちの前記1つ以上の特徴を除外する、ことと、
前記データのセグメント化が前記対応する着目人物の識別と関連付けられるように、前記1人以上の着目人物のうちの1人のボディプリントに対応する前記人物の個別の表現と関連付けられるデータのセグメント化を記憶することと
を行わせる、メモリと、
を備える、システム。
【請求項17】
前記命令は、前記プロセッサによって実行されると、前記プロセッサに、機械学習および/またはパターン認識技法を実施させ、前記センサデータを前記センサデータ内の前記人物のそれぞれの固有の表現にセグメント化させる、請求項16に記載のシステム。
【請求項18】
前記命令は、前記プロセッサによって実行されると、前記プロセッサに、機械学習および/またはパターン認識技法を実施させ、前記センサデータの各セグメント化から前記1つ以上の身体部分を分離させる、請求項16または17に記載のシステム。
【請求項19】
前記1人以上の着目人物はそれぞれ、識別のために登録される、請求項16~18のいずれか1項に記載のシステム。
【請求項20】
全ての視覚データが、前記センサデータから省略される、請求項16~19のいずれか1項に記載のシステム。
【請求項21】
前記1つ以上の特徴はそれぞれ、1つ以上のフレームに基づいて計算される、請求項16~20のいずれか1項に記載のシステム。
【請求項22】
前記1つ以上の特徴は、1つ以上の静的特徴を備える、請求項16~21のいずれか1項に記載のシステム。
【請求項23】
前記1つ以上の静的特徴は、Convolutional Neural Networkを含むニューラルネットワークの重みおよび/または出力、Convolutional Neural Networkを含む、異なる時点におけるニューラルネットワークの重みおよび/または出力、Random Forestの重みおよび/または出力、Support Vector Machineの重みおよび/または出力、単純なベイズマシンの重みおよび/または出力、K平均クラスタリングを含むクラスタリング、教師あり学習、教師なし学習から成る群から選択される1つ以上の要素を備える、請求項22に記載のシステム。
【請求項24】
前記1つ以上の特徴は、1つ以上の動的特徴を備える、請求項16~23のいずれか1項に記載のシステム。
【請求項25】
前記1つ以上の動的特徴は、Convolutional Neural Networkを含むニューラルネットワークの重みおよび/または出力、Convolutional Neural Networkを含む、異なる時点におけるニューラルネットワークの重みおよび/または出力、Random Forestの重みおよび/または出力、Support Vector Machineの重みおよび/または出力、単純なベイズマシンの重みおよび/または出力、K平均クラスタリングを含むクラスタリング、教師あり学習、教師なし学習から成る群から選択される1つ以上の要素を備える、請求項24に記載のシステム。
【請求項26】
前記1つ以上の動的特徴はそれぞれ、1)-3)、すなわち、1)時間、空間、または他の着目測定単位にわたる単一の身体部分の属性の変動、2)時間、空間、または他の着目測定単位にわたる異なる身体部分の特徴間の関係の変動、および3)時間、空間、または他の着目測定単位にわたる前記人物の異なる身体区画に対する環境またはその関係の変動のうちの少なくとも1つに基づいて計算される、請求項24~25のいずれか1項に記載のシステム。
【請求項27】
前記1つ以上の特徴および/またはボディプリントは、機械学習またはパターン認識技法によって自動的に計算される、請求項16~26のいずれか1項に記載のシステム。
【請求項28】
前記センサデータは、センサによって取得され、前記センサデータは、複数のフレームを備え、各フレームは、ピクセルの2次元空間マップとして表され、各ピクセルの強度値は、前記センサからの投影距離に対応する、請求項16~27のいずれか1項に記載のシステム。
【請求項29】
前記命令は、前記プロセッサによって実行されると、前記プロセッサに、前記1つ以上の特徴に優先順位を付けさせ、それによって、異なるセンサ、異なる時間、異なるボディプリント、および異なる空間的場所から成る群から選択される少なくとも1つの要素を横断して特徴を集約させる、請求項16~28のいずれか1項に記載のシステム。
【請求項30】
前記個別のセグメント化を識別することは、前記人物が自然に動き回っている間に実施される、請求項16~29のいずれか1項に記載のシステム。
【請求項31】
奥行きデータに少なくとも部分的に基づいて、センサ場内の事前登録された人間個人の離散セットのうちの1つのリアルタイムまたはほぼリアルタイムの識別の方法であって、前記方法は、
コンピューティングデバイスのプロセッサによって、前記1つ以上のセンサによって取得された奥行きデータに少なくとも部分的に基づいて、前記センサ場内で検出された人間に特徴的な複数の特徴のそれぞれを定量化することと、
前記プロセッサによって、前記複数の特徴に優先順位を付けることと、
前記プロセッサによって、前記センサ場内で検出された人間に関する優先順位を付けられた定量化された複数の特徴に基づいて、1つ以上のボディプリントを定量化することと、
前記プロセッサによって、リアルタイムまたはほぼリアルタイムで、前記1つ以上のボディプリントに少なくとも部分的に基づいて、事前登録された人間個人のセット間から前記センサ場内で検出された人間を肯定的に識別することと
を含む、方法。
【請求項32】
前記センサデータを取得するために、赤外線飛行時間センサをさらに備える、請求項16~30のいずれか1項に記載のシステム。
【請求項33】
ディスプレイと、前記プロセッサおよびメモリのための筐体とをさらに備える、請求項16~30または32のいずれか1項に記載のシステム。
【請求項34】
前記1つ以上の特徴は、2つ以上の特徴であり、前記方法は、前記プロセッサによって、前記組み合わせが前記ボディプリントに対応するかどうかを判定する前に、前記2つ以上の特徴に優先順位を付けることを含み、前記判定は、前記優先順位を付けられた2つ以上の特徴に基づく、請求項1~15のいずれか1項に記載の方法。
【請求項35】
前記優先順位を付けることは、異なるセンサ、異なる時間、異なるボディプリント、および異なる空間的場所から成る群から選択される少なくとも1つの要素を横断して特徴を集約することを含む、請求項34に記載の方法。
【請求項36】
前記1つ以上の特徴は、2つ以上の特徴であり、前記命令は、前記プロセッサによって実行されると、前記プロセッサに、前記組み合わせが前記ボディプリントに対応するかどうかを判定する前に、前記2つ以上の特徴に優先順位を付けることを行わせ、前記判定は、前記優先順位を付けられた2つ以上の特徴に基づく、請求項16~30のいずれか1項に記載のシステム。
【請求項37】
前記優先順位を付けることは、異なるセンサ、異なる時間、異なるボディプリント、および異なる空間的場所から成る群から選択される少なくとも1つの要素を横断して特徴を集約することを含む、請求項36に記載のシステム。
【請求項38】
センサデータから1人以上の着目人物の表現を識別する方法であって、前記センサデータは、その中に人物を伴う周辺環境の表現を含有しており、前記方法は、
(a)コンピューティングデバイスのプロセッサによって、1つ以上のフレームからセンサデータを受信することであって、前記センサデータは、人物の表現と、前記周辺環境の表現とを備え、前記人物の表現は、前記1人以上の着目人物の表現を備える、ことと、
(b)前記プロセッサによって、前記センサデータ内の人物の各表現が、前記センサデータの個別のセグメント化と関連付けられるように、前記センサデータを前記センサデータ内の前記人物のそれぞれの固有の表現にセグメント化し、それによって、前記センサデータ内の前記周辺環境の表現から前記人物のそれぞれの表現を区別することと、
(c)前記プロセッサによって、前記センサデータの各セグメント化から1つ以上の身体部分を分離することと、
(d)前記プロセッサによって、前記センサデータのセグメント化毎に、前記センサデータの前記個別のセグメント化の1つ以上の分離された身体部分に基づいて、前記人物の個別の表現と関連付けられる2つ以上の特徴毎の測度を判定することと、
(e)前記プロセッサによって、2つ以上の特徴に優先順位を付けることと、
(f)前記プロセッサによって、前記センサデータのセグメント化毎に、前記人物の個別の表現と関連付けられる前記優先順位を付けられた2つ以上の特徴の判定された測度の組み合わせが、前記1人以上の着目人物のうちの1人のボディプリントに対応するかどうかを判定し、それによって、前記センサデータの個別のセグメント化を着目人物として識別することと
を含む、方法。
【請求項39】
前記優先順位を付けることは、異なるセンサ、異なる時間、異なるボディプリント、および異なる空間的場所から成る群から選択される少なくとも1つの要素を横断して特徴を集約することを含む、請求項38に記載の方法。
【請求項40】
センサデータから1人以上の着目人物の表現を識別するためのシステムであって、前記センサデータは、その中に人物を伴う周辺環境の表現を含有しており、前記システムは、
プロセッサと、
メモリであって、前記メモリは、その上に命令を記憶しており、前記命令は、前記プロセッサによって実行されると、前記プロセッサに、
センサデータ内の人物の各表現が、前記センサデータの個別のセグメント化と関連付けられるように、1つ以上のフレームからの前記センサデータを前記センサデータ内の前記人物のそれぞれの固有の表現にセグメント化し、それによって、前記センサデータ内の前記周辺環境の表現から前記人物のそれぞれの表現を区別することであって、前記センサデータは、人物の表現と、前記周辺環境の表現とを備え、前記人物の表現は、前記1人以上の着目人物の表現を備える、ことと、
前記センサデータの各セグメント化から1つ以上の身体部分を分離することと、
前記センサデータのセグメント化毎に、前記センサデータの前記個別のセグメント化の1つ以上の分離された身体部分に基づいて、前記人物の個別の表現と関連付けられる2つ以上の特徴毎の測度を判定することと、
前記2つ以上の特徴に優先順位を付けることと、
前記センサデータのセグメント化毎に、前記人物の個別の表現と関連付けられる前記優先順位を付けられた2つ以上の特徴の判定された測度の組み合わせが、前記1人以上の着目人物のうちの1人のボディプリントに対応するかどうかを判定し、それによって、前記センサデータの個別のセグメント化を着目人物として識別することと
を行わせる、メモリと、
を備える、システム。
【請求項41】
前記優先順位を付けることは、異なるセンサ、異なる時間、異なるボディプリント、および異なる空間的場所から成る群から選択される少なくとも1つの要素を横断して特徴を集約することを含む、請求項40に記載のシステム。
【請求項42】
前記特徴のセットは、1つ以上の静的特徴および1つ以上の動的特徴を備える、請求項1に記載の方法。
【請求項43】
前記特徴のセットは、身体の異なる部分に対応する異なる特徴を備える、請求項1に記載の方法。
【請求項44】
前記2つ以上の特徴は、1つ以上の静的特徴および1つ以上の動的特徴を備える、請求項38に記載の方法。
【請求項45】
前記2つ以上の特徴は、身体の異なる部分に対応する異なる特徴を備える、請求項38に記載の方法。
【請求項46】
前記特徴のセットは、1つ以上の静的特徴および1つ以上の動的特徴を備える、請求項16に記載のシステム。
【請求項47】
前記特徴のセットは、身体の異なる部分に対応する異なる特徴を備える、請求項16に記載のシステム。
【請求項48】
前記2つ以上の特徴は、1つ以上の静的特徴および1つ以上の動的特徴を備える、請求項40に記載のシステム。
【請求項49】
前記2つ以上の特徴は、身体の異なる部分に対応する異なる特徴を備える、請求項40に記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
(優先権出願)
本願は、2016年8月2日に出願された米国仮特許出願第62/370,083号および2016年12月22日に出願された米国仮特許出願第62/438,229号に対する優先権およびそれらの利益を主張するものであり、これらの内容の全体は、参照により本明細書中に援用される。
【0002】
本発明は、概して、センサベースのデータを使用して人物を識別し、および/または人体の(例えば、身体的属性および運動の)測定値を使用して精神的知覚(例えば、痛み、疲労、気分)および/または意図(例えば、ある行為を実施するため)を特性評価し、その間常に該人物のプライバシーを保護するためのシステムおよび方法に関する。
【背景技術】
【0003】
写真、リアルタイム画像、および多くの他のタイプのセンサベースのデータから人物を識別する課題は、種々の産業および用途に関連する。例えば、問題は、人物が制御されたエリアへのアクセスのためにスクリーニングされる、または事前連絡に基づいて脅威として標識化されることを必要とし得る、セキュリティ産業において普遍的である。
【0004】
多くの現在の識別方法は、人物の一意の識別を提供するために、顔または指紋認識に依拠する。これらの方法は、動作パラメータまたは条件のある範囲内で正確な識別を可能にし得るが、その動作条件の幾分厳密なセット外で劇的に劣化する、または機能しない。例えば、顔認識は、照明の変動(例えば、弱光または真暗闇)に対してロバストではない。顔認識の正確度は、典型的には、カメラから対象への距離が増加するとともに劣化する(例えば、顔属性を判別するために十分な分解能が存在しない)。さらに、人物がカメラから離れるように向いている場合、顔認識は、完全に失敗する。同様に、指紋認識および網膜走査等の近接ベースのバイオメトリック技法は、数センチメートルを上回って離れた人物の識別を要求する用途において不可能になる。
【0005】
多くの現在の識別方法は、人物が狭い場所、位置、または姿勢を採用するときにのみ適切に機能する。例えば、指紋を取得することは、具体的指が具体的センサに直接隣接して配置されることを要求する。例えば、ラップトップのための顔認識ログインシステムは、顔がコンピュータカメラの事前規定された近接する範囲内にあることを要求する。その結果、多くの現在の識別方法は、ある人物が通常通りに環境を動き回っている、すなわち、意図的に自身をセンサに提示していないとき、その人物を識別することに苦労する。
【0006】
プライバシーの懸念が、人物識別のいくつかの方法に関して特に困難である。例えば、人物の顔または身体の視覚データに依拠する方法は、どのような衣類が着用されているか、またはどのような資料が読まれている、または閲覧されているか等、人物識別のために具体的に必要とされるもの以上の情報を暴露し得る。公知の方法による視覚画像を不明瞭にする、または隠す試みは、依然として、「リバースエンジニアリング」を受けやすくあり得、それによって、視覚画像が、数学的に再構築される。
【0007】
閉塞および視野は、人物識別のいくつかの方法に対してさらなる限定を付与する。例えば、人物の歩き方(歩行パターン)または輪郭(アウトライン)に依拠する方法は、具体的視野(例えば、非閉塞視野)の可用性、具体的人物配向(例えば、センサに対して)、または具体的特徴(例えば、属性または性質)の可用性に依存し得る。これらの必要条件のいずれかが利用不可能である、または具体的人物を一意に識別することができないとき、そのような方法は、特に、人物の家等の制御できない(例えば、乱雑または一時的な)環境において失敗しやすい。運動(例えば、歩き方)に基づく人物識別は、運動の身体的測定値がわずかであり、現実世界の状況において遂行することが困難であり得るため、付加的課題を提示する。
【0008】
個人の運動を特性評価するための現代の方法は、多くの場合、1次元データストリーム(例えば、誰かがこれを横断するときに「破壊」される赤外線ビーム)、2次元データストリーム(例えば、ウェブカメラ写真またはビデオ)、または3次元データストリーム(例えば、画像の各ピクセルが、センサから視野内の物体のある部分までの現実世界の距離に対応する、奥行き画像)のいずれかを利用する。これらの種々のデータストリームでは、人物の顔上の解剖学的ランドマーク等、いわゆる「特徴」、つまり、着目算出特性が、識別され得る。本明細書では、比較的に一定である特徴を「静的」と称し(例えば、眼間距離)、経時的にかなり変化する特徴を「動的」と称する(例えば、センサに対する眼注視の角度)。
【0009】
運動を特性評価するための現代の方法は、多くの場合、顔認識によって取得されるもの等の静的特徴の空間的場所を追跡することに依拠する。しかしながら、多くの場合では、これらの方法は、複雑な運動の特性評価のために不十分である。複雑な運動の実施例は、歩行(例えば、歩行速度、歩幅長さ、または垂直からの姿勢角度)および同期される活動(例えば、食事、着座、または別の人物への身振り)を含む。
【0010】
複雑な運動は、経時的に進展し、いくつかの異なる段階または副次的部分から成り得るため、その特性評価は、経時的なデータ取得を要求する。しかしながら、ある持続時間にわたって複雑な運動に関するデータを取得することは、多くの付加的課題を提示する。例えば、取得されたデータセットは、相当な大きさになり得るため、それらは、記憶または伝送することが困難である。例えば、長い持続時間のデータ取得は、特に、センサが家に配置される、または装着されなければならない場合、ユーザによるプライバシーの侵害として知覚され得る。
【0011】
加えて、人間運動についてのデータを取得することに対する現在のアプローチは、欠点を有しやすい。ウェアラブルセンサは、低信号対雑音、限定されたモダリティ(例えば、取得され得るデータのタイプ)、およびユーザがそれらを装着する、記憶する、および再充電する必要性に悩まされる。例えば、手首装着ウェアラブルセンサは、水平に対するユーザの脊柱の角度を検出することができない。固定器具類(例えば、高速カメラ、センサ埋設歩行マット、および身体運動スーツ)は、高コスト、大きいサイズ、不便、および制御できない、または妨害される環境において動作できないことの欠点に悩まされる。例えば、任意の相当なサイズのセンサ埋設歩行マットを人物の家に配置することは、困難かつ不便である。
【0012】
したがって、制御できない環境に対してロバストであり、ある距離において効果的であり、個人的プライバシーを保護する人物識別方法が、必要とされる。
【0013】
人物を識別することに加えて、人物の精神的知覚または意図をさらに識別および特性評価する能力が、例えば、医療(例えば、疾患検出および進行)、セキュリティ(例えば、窃盗およびサボタージュ)、および産業(例えば、安全性および生産性)状況において用途を有する。しかしながら、これらの性質の多くは、既存の技術を使用する直接測定に影響しない。
【0014】
医療産業は、疲労の客観的測度を必要とする。疲労を定量化する能力は、特に、時間の経過中に、多種多様な疾患(例えば、多発性硬化症、鬱病、癌、および多くの他の疾病)の重症度および進行を計測することを可能にする。現在、疲労のレベルを推定する唯一の方法は、問診またはアンケート等の患者報告を通してである(「今日は1から5の段階でどのくらい疲れていると感じますか?」)。そのような報告によって提供される定質的印象は、取得するために人手がかかり、異なる患者を横断して比較および対比することが事実上不可能であり、知覚バイアス、想起バイアス、および種々のタイプの操作、意識、またはその他を受ける。疲労の客観的測度は、診断、評価、および処置全体を通して信頼性のある一貫したメトリックを提供することによって、多くの病気の監視および処置のために変革的であろう。
【0015】
医療産業はまた、疲労に関して上記に説明されるものと類似する理由から、痛みの客観的測度を必要とする。特に、痛みを追跡する能力は、鎮痛剤の必要性およびその投薬量を計測することを可能にする。多くの鎮痛剤は、習慣性があるため、乱用および不正行為と関連付けられる。特に、薬物投与に応答して、現実世界の痛みの正確なレベルを追跡することは、そのような乱用および不正行為が検出および対処されることを可能にするであろう。
【0016】
セキュリティ、軍事、工場、および小売産業は全て、意図を識別および定量化(例えば、検出)する能力から利益を享受するであろう。(無数の可能性からの)いくつかの実施例は、人物が、将来の攻撃に備えるかのように、あるエリアを異常に詳細に、または異常な方法で観察している可能性があること、または人物が、バックパック等の疑わしいアイテムを放棄したこと、または人物が、禁止されたツール等のアイテムを別の人物と内密に交換したこと、または人物が、工場における危険を示し得る臭気または音声等の警告信号に突然気付いたこと、または人物が、小売ディスプレイ等の特定の物体に注意する状態になったことを自動的に感知する能力を含む。
【0017】
上記に説明される利益を手に入れるために、センサデータを介して、現実世界の状況における信頼性のある、精密な、便宜的な、かつ非侵襲的な様式で精神的知覚および意図を検出および/または定量化し得る方法およびシステムが、必要とされる。
【発明の概要】
【課題を解決するための手段】
【0018】
本明細書に開示されるものは、身体的身体特徴および/または運動のセンサ測定値を介して、人物を識別する、および/またはその精神的知覚および意図を特性評価するための方法およびシステムである。開示される技術は、プライベート情報(例えば、人物の視覚的外観、服装の状態、人物が読んでいる、またはTVで視聴しているものもの等)を暴露することなく人物を正確に識別し、個人的プライバシーの保全を可能にすることができる。以前のアプローチと比較して、開示される技術は、複数の身体的属性または運動(例えば、身長または歩行速度)を使用して、人物をより正確に識別することができる。本アプローチは、任意の単一の身体的属性、特に、経時的に変化する、またはセンサによる視認から妨害された状態になり得る属性に依拠する依存性および関連付けられる不利点を除去する。対照的に、以前のアプローチは、測定がより限定された身体的制約下で実施されることを要求し、それらは、より小さい身体的属性のセットに依拠する(例えば、顔認識は、典型的には、対象がカメラを向いていないとき、失敗し、静的な顔特徴のみを利用する)。
【0019】
さらに、開示される技術は、1つ以上の身体的属性の部分的または不完全な測定値を利用し、現実世界の(ノイジーな、制御できない)状況に対してこれをよりロバストにすることができる。例えば、開示される技術は、人物が開示される技術を向いているとき、または人物が開示される技術から離れるように向いているとき、または人物が開示される技術に関連して部分的に(例えば、家具によって)閉塞されているとき、人物を識別し得る。例えば、開示される技術は、人物がある時間には開示される技術に対して頻繁に可視であるが、他の時間には散発的に可視である場合、または人物の顔がある時間には閉塞され、他の時間には閉塞されない場合、一貫したままである疲労の測定値を記述し得る。
【0020】
開示される技術は、人物の身体のセンサ測定値を介して、人物の移動、活動、および/または挙動を特性評価することによって、精神的知覚(痛み、疲労、気分)および意図(例えば、ある行為を実施するため)を識別および定量化するために使用されることができる。精神的知覚および意図は、既存の技術に殆ど影響しない。本明細書に開示されるアプローチでは、これらの性質は、それにもかかわらず、間接的に検出および定量化され、人物の身体的姿勢および移動の測定値を介して代理され得る。他の進歩の中でもとりわけ、開示される技術は、疾患の新規の移動関連バイオマーカを取得する能力を確立する。
【0021】
本明細書に開示される身体的測定値は、「直接的」(つまり、センサの人物の身体との相互作用の即時の結果)または「間接的」(つまり、他の測定値から導出され、順に、直接的または間接的であり得る)のいずれかであり得る。身体的測定値が取得されるセンサデータは、リアルタイムであるか、または記憶されるかのいずれかであり得、センサと人物との間の視通線が空いているか、または閉塞されているかにかわかわず収集され得る。これらの測定値は、連続的である、隣接する、完全である、一貫する、または逐次的である必要はなく、遡及的に、および予め計算され得る。
【0022】
開示される技術は、ある実施形態では、その中に人物を伴う周辺環境の表現を含有するセンサデータから1人以上の着目人物の表現を識別する方法を含み、本方法は、(a)コンピューティングデバイスのプロセッサによって、1つ以上のフレームからセンサデータ(例えば、奥行きデータ)を受信するステップであって、センサデータは、人物の表現と、周辺環境の表現とを備え、人物の表現は、1人以上の着目人物の表現を備える、ステップと、(b)プロセッサによって、センサデータ内の人物の各表現が、センサデータの個別のセグメント化と関連付けられるように、センサデータをセンサデータ内の人物のそれぞれの固有の表現にセグメント化し、それによって、センサデータ内の周辺環境の表現から人物のそれぞれの表現を区別するステップと、(c)プロセッサによって、センサデータの各セグメント化から1つ以上の身体部分を分離するステップと、(d)プロセッサによって、センサデータのセグメント化毎に、センサデータの個別のセグメント化の1つ以上の分離された身体部分に基づいて、人物の個別の表現と関連付けられる1つ以上の特徴毎の測度を判定するステップと、(e)プロセッサによって、センサデータのセグメント化毎に、人物の個別の表現と関連付けられる1つ以上の特徴の判定された測度の組み合わせが、1人以上の着目人物のうちの1人のボディプリントに対応する(例えば、適用可能な場合、ある信頼性閾値内である)かどうかを判定し、それによって、センサデータの個別のセグメント化を着目人物として識別するステップと、(f)プロセッサによって、データの該セグメント化が対応する着目人物の識別と関連付けられるように、1人以上の着目人物のうちの1人のボディプリントに対応する人物の個別の表現と関連付けられるデータのセグメント化を記憶するステップとを含む。
【0023】
ある実施形態では、プロセッサによって、センサデータをセンサデータ内の人物のそれぞれの固有の表現にセグメント化するステップは、機械学習および/またはパターン認識技法(例えば、Convolutional Neural Network、Random Forest、Support Vector Machine、単純なベイズマシン、および/またはクラスタリング技法)(例えば、明示的または暗示的にのいずれかで)を実施するステップを含む。
【0024】
ある実施形態では、プロセッサによって、センサデータの各セグメント化から1つ以上の身体部分を分離するステップは、機械学習および/またはパターン認識技法(例えば、Convolutional Neural Network、Random Forest、Support Vector Machine、単純なベイズマシン、および/またはクラスタリング技法)(例えば、明示的または暗示的にのいずれかで)を実施するステップを含む。
【0025】
ある実施形態では、1人以上の着目人物はそれぞれ、識別のために登録される。
【0026】
ある実施形態では、個別のセグメント化を識別するステップは、分類子の出力に基づく。
【0027】
ある実施形態では、個別のセグメント化を識別するステップは、ルールまたはカテゴリまたはヒューリスティック(例えば、点乗積等の数学的計算または高さ等のカットオフ閾値)に基づく。
【0028】
ある実施形態では、本方法は、1人以上の着目人物毎に、プロセッサによって、メモリデバイス内に、識別およびボディプリントを記憶するステップを含み(例えば、着目人物のボディプリントのみが、メモリ内に記憶され、着目人物ではない人物のボディプリントは、メモリ内に記憶されない)、各ボディプリントは、1人以上の着目人物内の個別の着目人物に対してともに特有であるそれらの特徴毎の測度の範囲と組み合わせられる特徴のセットを備え、各識別は、ボディプリントと関連付けられる。
【0029】
ある実施形態では、本方法は、プロセッサによって、個別の1つ以上の特徴の判定された測度および各ボディプリントの特徴のセットの対応するサブセットからの測度を比較し、個別の1つ以上の特徴の判定された測度が、ボディプリントの特徴の対応するサブセットに関する測度の範囲内であるかどうかを判定するステップを含む。
【0030】
ある実施形態では、1人以下の人物、2人以下の人物、3人以下の人物、4人以下の人物、5人以下の人物、6人以下の人物、10人以下の人物、25人以下の人物、50人以下の人物、100人以下の人物が、識別のために登録される。
【0031】
ある実施形態では、顔特徴が、センサデータから省略される。
【0032】
ある実施形態では、全ての視覚データが、センサデータから省略される。
ある実施形態では、人物のうちの少なくとも1人は、「その他」として識別される。
【0033】
ある実施形態では、1つ以上の身体部分を分離するステップは、プロセッサによって、データセットの特質、センサのタイプ、人物に対して利用可能な非閉塞(すなわち、「可視」)データの量、センサデータのセグメント化内の身体部分の表現の可用性、着目人物に関するボディプリントの可用性、および計算のために利用可能な特徴のライブラリから成る群から選択される少なくとも1つの性質に基づいて、センサデータの各セグメント化内のどの身体部分を分離するかを判定するステップを含む。
【0034】
ある実施形態では、1つ以上の身体部分は、フレーム内の人物毎に異なり得る。
【0035】
ある実施形態では、1つ以上の測度は、面積、体積、円周、閉曲線、非閉曲線、長さ、空間的場所、角度、画像(2Dであり得る)、形態/形状(3Dであり得る)、強度、フィルタ処理された出力、数値的重みのセット、数学的スケーリング、数学的変換、数学的畳み込み、一般化された数学的演算、または前述のいずれかの変化率から成る群から選択される1つ以上の要素を備える。
【0036】
ある実施形態では、本方法は、人物毎に、測度がフレーム内の人物毎に判定されるべきである(例えば、特徴のライブラリおよび利用可能なセンサデータに基づく)1つ以上の候補特徴のセットからサブセットを選択するステップを含む。
【0037】
ある実施形態では、1つ以上の特徴のうちの少なくとも1つは、任意の所与のフレームまたは一連のフレームにおいて利用不可能または算出不可能である。
【0038】
ある実施形態では、1つ以上の特徴はそれぞれ、1つ以上のフレームに基づいて計算される。
【0039】
ある実施形態では、1つ以上のフレームは、複数の連続または非連続フレームを備える。
【0040】
ある実施形態では、1つ以上の特徴は、1つ以上の静的特徴を備える。
【0041】
ある実施形態では、1つ以上の静的特徴は、人物の身長、肩から肩までの幅、上腕、下腕、上脚、下脚、手、足、頭部、首、または胴の長さまたは幅、胴表面積、胴体積、頭部の長さ、胴の長さ、肢円周のうちの任意の2つの間の比率、頭部または鼻の体積、頭部または眼窩の円周、頭部輪郭、口、または顎の幅、頭部の上部または背部または顎の湾曲度、および眉間、鼻梁、鼻の先端、人中、下顎点、眼の瞳孔、耳の外耳道、耳介、頭頂、地面のうちの任意の2つの間の距離、身体部分の画像(2Dであり得る)、身体部分の形態/形状(3Dであり得る)、固有画像、固有顔、スケール不変特徴変換、配向勾配のヒストグラム、ピクセルマスク、ピクセルカウント、ボクセル体積、重心、凸多面体、3Dメッシュ、色、反射、テクスチャ、パターン、畳み込みから成る群から選択される1つ以上の要素を備える。
【0042】
ある実施形態では、1つ以上の静的特徴は、Convolutional Neural Networkを含むニューラルネットワークの重みおよび/または出力、Convolutional Neural Networkを含む、異なる時点におけるニューラルネットワークの重みおよび/または出力、Random Forestの重みおよび/または出力、Support Vector Machineの重みおよび/または出力、単純なベイズマシンの重みおよび/または出力、K平均クラスタリングを含むクラスタリング、教師あり学習、教師なし学習から成る群から選択される1つ以上の要素を備える。
【0043】
ある実施形態では、各特徴は、単一の身体部分の属性の測定値、または異なる身体部分の属性の測定値間の関係、または1つ以上の身体部分の属性の測定値と環境の測定値との間の関係に基づいて計算される。
【0044】
ある実施形態では、単一の身体部分の属性は、人物の身長、上腕、下腕、上脚、下脚、手、足、頭部、首、または胴の長さまたは幅、頭部または鼻の体積、頭部または眼窩の円周、頭部輪郭、口、または顎の幅、頭部の上部または背部または顎の湾曲度から成る群から選択される1つ以上の要素を備える。
【0045】
ある実施形態では、異なる身体部分の属性の測定値間の関係は、胴表面積、胴体積、頭部の長さ、胴の長さ、肢円周のうちの任意の2つの間の比率、眉間、鼻梁、鼻の先端、人中、下顎点、眼の瞳孔、耳の外耳道、耳介、頭頂、地面のうちの任意の2つの間の距離を備える。
【0046】
ある実施形態では、1つ以上の特徴は、1つ以上の動的特徴を備える。
【0047】
ある実施形態では、1つ以上の動的特徴は、身体の方向転換の速度、歩行速度(瞬間または平均)、大股で歩く間の2つの脚の間の最大距離、大股で歩く間の肩関節における回転の最大角度、右脚と左脚との間の歩幅長さの差異、車椅子の存在または不在、杖等の補助デバイスの存在または不在、衣類の色または反射の存在または不在、靴の高さ(例えば、ハイヒール)、地面に対する身体の傾斜または振りの角度、胴と脚との間の屈曲の角度、脊柱湾曲度、体温(例えば、病気中)、局所的家具または壁への近接またはそれからの距離、身体のセンサからの距離、胴に対する頭部の配向、センサに対する頭部の配向、センサに対する注視の角度、眼鏡の存在または不在、帽子またはヘルメットの存在または不在、および髪の量から成る群から選択される1つ以上の要素を備える。
【0048】
ある実施形態では、1つ以上の動的特徴は、Convolutional Neural Networkを含むニューラルネットワークの重みおよび/または出力、Convolutional Neural Networkを含む、異なる時点におけるニューラルネットワークの重みおよび/または出力、Random Forestの重みおよび/または出力、Support Vector Machineの重みおよび/または出力、単純なベイズマシンの重みおよび/または出力、K平均クラスタリングを含むクラスタリング、教師あり学習、教師なし学習から成る群から選択される1つ以上の要素を備える。
【0049】
ある実施形態では、1つ以上の動的特徴はそれぞれ、1)-3)、すなわち、以下のような、1)時間、空間、または他の着目測定単位にわたる単一の身体部分の属性の変動(例えば、頭部の方向転換、挙手、体温、身体部分の形状またはサイズ、またはセンサに対する身体関節の配向)、2)時間、空間、または他の着目測定単位にわたる異なる身体部分の特徴間の関係の変動(例えば、センサに対する全体的身体配向)、および3)時間、空間、または他の着目測定単位にわたる人物の異なる身体区画に対する環境またはその関係の変動(例えば、部屋内の特定の椅子に近接する人物の頻度またはセンサまでの人物の距離)のうちの少なくとも1つに基づいて計算される。
【0050】
ある実施形態では、識別は、ルールイン識別である(例えば、「本人物は、おそらくBobである」)。
【0051】
ある実施形態では、識別は、ルールアウト(「その他」としても公知である)識別である(例えば、「本人物は、おそらくBobではない」)。
【0052】
ある実施形態では、1つ以上の特徴は、別の人物を識別するために使用される1つ以上の特徴とは異なるセンサデータ内のフレームまたはフレームのセットから捕捉される。
【0053】
ある実施形態では、人物毎に、識別は、特徴のセットに基づいて、かつそれらの特徴毎の測度の範囲に基づいて判定され、その組み合わせられたものは、特定の人物に対して高度に特有である(例えば、そのボディプリントが本システムに把握される人物のセット内である)。
【0054】
ある実施形態では、人物毎に、識別は、少なくとも部分的に、その識別を実施するために使用される1つ以上の特徴の忠実度および/または予測力に基づいて判定される(例えば、特徴が良好に測定され得る程度、特徴の測定における信頼性、単一の人物に対するその特徴の特異性)。
【0055】
ある実施形態では、1つ以上の特徴は、利用可能なシーン、センサ、センサデータ、既知のボディプリントのライブラリ、および既知かつ算出可能な特徴のライブラリから成る群から選択される少なくとも1つの要素に基づいて、経時的に変動する。
【0056】
ある実施形態では、1つ以上の特徴および/またはボディプリントは、機械学習および/またはパターン認識技法(例えば、Convolutional Neural Network、Random Forest、Support Vector Machine、単純なベイズマシン、および/またはクラスタリング技法)によって自動的に計算される。
【0057】
ある実施形態では、1つ以上の特徴および/またはボディプリントは、手動タグ付け等の外部エージェントによって事前または事後情報として提供される。
【0058】
ある実施形態では、1つ以上の特徴および/またはボディプリントは、経時的に更新または修正されることができる。
【0059】
ある実施形態では、本方法は、センサ(例えば、人物の家等の建物の部屋内に配置される)によって、センサデータ(所与の視野に対応する)を取得するステップを含み、センサデータは、複数のフレームを備え、各フレームは、ピクセルの2次元空間マップ(例えば、マトリクス)として表され、各ピクセルの強度値は、センサからの投影距離(すなわち、センサを通過する第1の垂直平面とシーン内の物体を通過する第2の垂直平面との間の水平距離)に対応する。
【0060】
ある実施形態では、本方法は、プロセッサによって、1つ以上の特徴に優先順位を付けるステップを含み、該優先順位を付けるステップは、異なるセンサ、異なる時間、異なるボディプリント、および異なる空間的場所から成る群から選択される少なくとも1つの要素を横断して特徴を集約するステップを含む。
【0061】
ある実施形態では、1つ以上の特徴は、同一のシーン内の人物毎に異なる。
【0062】
ある実施形態では、1つ以上の特徴は、同一の人物に関してであってもフレーム毎に異なる割当を有する。
【0063】
ある実施形態では、センサデータは、飛行時間光検出および測距か、またはシーン上に少なくとも1つのエネルギーパターンを投影し、パターンの変形を測定することによってかのうちの少なくとも1つによって取得されるデータを備える。
【0064】
ある実施形態では、センサデータは、光(例えば、電磁放射)または音声(例えば、音響データ)を使用して取得されるデータを備える。
【0065】
ある実施形態では、センサデータは、未加工センサデータ、未加工センサデータから導出される値(例えば、人物の骨格の関節が推定される骨格データおよびデータ集合の各ピクセルがゼロまたは1人の人物のいずれかに割り当てられるピクセル標識データ)、および軌跡データ(例えば、経時的に変化する人物の場所)から成る群から選択される少なくとも1つのデータタイプを備える。
【0066】
ある実施形態では、1つ以上のフレームはそれぞれ、特定の瞬間に先行して、またはその時点のいずれかで取得されたデータを備える1つ以上のデータストリームから成る「スナップショット」に対応する。
【0067】
ある実施形態では、1つ以上のフレームは、複数の時点において単一のセンサによって取得された複数のフレーム、または同一または異なる時点において複数のセンサによって取得された複数のフレームのうちの少なくとも1つを備える。
【0068】
ある実施形態では、本方法は、プロセッサによって、識別された人物毎に信頼性スコアを判定するステップを含む。
【0069】
ある実施形態では、本方法は、プロセッサによって、人物(例えば、「その他」の人物)と関連付けられるセンサデータのサブセットを破棄するステップを含む。
【0070】
ある実施形態では、識別は、未知の識別を備える。
【0071】
ある実施形態では、本方法は、プロセッサによって、1つ以上の特徴を調節し、(観察結果を「整合」させようとして)全ての特徴が時間的かつ/または空間的に並置されることを確実にするステップを含む。
【0072】
ある実施形態では、1つ以上の特徴のうちの少なくとも1つは、センサにおける、または計算方法論におけるタイミング遅延またはバイアスを調節するために、オフセット補正される、待ち時間補正される、または空間的に並置される。
【0073】
ある実施形態では、特徴の忠実度は、シーンの組成(すなわち、視野およびその中の物体)、利用されているセンサのタイプ、および取得されているデータのタイプから成る群から選択される少なくとも1つの要素に依存する。
【0074】
ある実施形態では、識別するステップは、人物が自然に動き回っている(例えば、歩行している、方向転換している、ある活動を実施している)間に実施される。
【0075】
ある実施形態では、識別するステップは、リアルタイムで、またはほぼリアルタイムで実施される。
【0076】
ある実施形態では、識別するステップは、遅延後に、または同じく、データ取得が起こった時間とは実質的に異なる時間に実施される。
【0077】
ある実施形態では、識別するステップは、遡及的に実施される(すなわち、先に取得されたデータを通して「巻き戻す」)。
【0078】
ある実施形態では、人物は、センサから、0.1メートルを上回る、0.5メートルを上回る、1メートルを上回る、2メートルを上回る、5メートルを上回る距離に位置する。
【0079】
開示される技術は、ある実施形態では、その中に人物を伴う周辺環境の表現を含有するセンサデータから1人以上の着目人物の表現を識別するためのシステムを含み、本システムは、プロセッサと、その上に命令を記憶する、メモリとを備え、命令は、プロセッサによって実行されると、プロセッサに、センサデータ内の人物の各表現が、センサデータの個別のセグメント化と関連付けられるように、1つ以上のフレームからのセンサデータ(例えば、奥行きデータ)をセンサデータ内の人物のそれぞれの固有の表現にセグメント化させ、それによって、センサデータ内の周辺環境の表現から人物のそれぞれの表現を区別させ、センサデータは、人物の表現と、周辺環境の表現とを備え、人物の表現は、1人以上の着目人物の表現を備え、センサデータの各セグメント化から1つ以上の身体部分を分離させ、センサデータのセグメント化毎に、センサデータの個別のセグメント化の1つ以上の分離された身体部分に基づいて、人物の個別の表現と関連付けられる1つ以上の特徴毎の測度を判定させ、センサデータのセグメント化毎に、人物の個別の表現と関連付けられる1つ以上の特徴の判定された測度の組み合わせが、1人以上の着目人物のうちの1人のボディプリントに対応する(例えば、適用可能な場合、ある信頼性閾値内である)かどうかを判定させ、それによって、センサデータの個別のセグメント化を着目人物として識別させ、データの該セグメント化が対応する着目人物の識別と関連付けられるように、1人以上の着目人物のうちの1人のボディプリントに対応する人物の個別の表現と関連付けられるデータのセグメント化を記憶させる。
【0080】
ある実施形態では、命令は、プロセッサによって実行されると、プロセッサに、機械学習および/またはパターン認識技法(例えば、Convolutional Neural Network、Random Forest、Support Vector Machine、単純なベイズマシン、および/またはクラスタリング技法)(例えば、明示的または暗示的にのいずれかで)を実施させ、センサデータをセンサデータ内の人物のそれぞれの固有の表現にセグメント化させる。
【0081】
ある実施形態では、命令は、プロセッサによって実行されると、プロセッサに、機械学習および/またはパターン認識技法(例えば、Convolutional Neural Network、Random Forest、Support Vector Machine、単純なベイズマシン、および/またはクラスタリング技法)(例えば、明示的または暗示的にのいずれかで)を実施させ、センサデータの各セグメント化から1つ以上の身体部分を分離させる。
【0082】
ある実施形態では、1人以上の着目人物はそれぞれ、識別のために登録される。
【0083】
ある実施形態では、個別のセグメント化を識別するステップは、分類子の出力に基づく。
【0084】
ある実施形態では、個別のセグメント化を識別するステップは、ルールまたはカテゴリまたはヒューリスティック(例えば、点乗積等の数学的計算または高さ等のカットオフ閾値)に基づく。
【0085】
ある実施形態では、命令は、プロセッサによって実行されると、プロセッサに、1人以上の着目人物毎に、メモリデバイス内に、識別およびボディプリントを記憶させ(例えば、着目人物のボディプリントのみが、メモリ内に記憶され、着目人物ではない人物のボディプリントは、メモリ内に記憶されない)、各ボディプリントは、1人以上の着目人物内の個別の着目人物に対してともに特有であるそれらの特徴毎の測度の範囲と組み合わせられる特徴のセットを備え、各識別は、ボディプリントと関連付けられる。
【0086】
ある実施形態では、命令は、プロセッサによって実行されると、プロセッサに、個別の1つ以上の特徴の判定された測度および各ボディプリントの特徴のセットの対応するサブセットからの測度を比較させ、個別の1つ以上の特徴の判定された測度が、ボディプリントの特徴の対応するサブセットに関する測度の範囲内であるかどうかを判定させる。
【0087】
ある実施形態では、1人以下の人物、2人以下の人物、3人以下の人物、4人以下の人物、5人以下の人物、6人以下の人物、10人以下の人物、25人以下の人物、50人以下の人物、100人以下の人物が、識別のために登録される。
【0088】
ある実施形態では、顔特徴が、センサデータから省略される。
【0089】
ある実施形態では、全ての視覚データが、センサデータから省略される。
ある実施形態では、人物のうちの少なくとも1人は、「その他」として識別される。
【0090】
ある実施形態では、命令は、プロセッサによって実行されると、プロセッサに、データセットの特質、センサのタイプ、人物に対して利用可能な非閉塞(すなわち、「可視」)データの量、センサデータのセグメント化内の身体部分の表現の可用性、着目人物に関するボディプリントの可用性、および計算のために利用可能な特徴のライブラリから成る群から選択される少なくとも1つの性質に基づいて、センサデータの各セグメント化内のどの身体部分を分離するかを判定させる。
【0091】
ある実施形態では、分離される1つ以上の身体部分は、フレーム内の人物毎に異なり得る。
【0092】
ある実施形態では、1つ以上の特徴の1つ以上の測度はそれぞれ、面積、体積、円周、閉曲線、非閉曲線、長さ、空間的場所、角度、画像(2Dであり得る)、形態/形状(3Dであり得る)、強度、フィルタ処理された出力、数値的重みのセット、数学的スケーリング、数学的変換、数学的畳み込み、一般化された数学的演算、または前述のいずれかの変化率から成る群から選択される1つ以上の要素を備える。
【0093】
ある実施形態では、命令は、プロセッサによって実行されると、プロセッサに、人物毎に、(例えば、特徴のライブラリおよび利用可能なセンサデータに基づいて)どの特徴がフレーム内の人物毎に計算され得、計算されるべきかを判定させる。
【0094】
ある実施形態では、1つ以上の特徴のうちの少なくとも1つは、任意の所与のフレームまたは一連のフレームにおいて利用不可能または算出不可能である。
【0095】
ある実施形態では、1つ以上の特徴はそれぞれ、1つ以上のフレームに基づいて計算される。
【0096】
ある実施形態では、1つ以上のフレームは、複数の連続または非連続フレームを備える。
【0097】
ある実施形態では、1つ以上の特徴は、1つ以上の静的特徴を備える。
【0098】
ある実施形態では、1つ以上の静的特徴は、人物の身長、肩から肩までの幅、上腕、下腕、上脚、下脚、手、足、頭部、首、または胴の長さまたは幅、胴表面積、胴体積、頭部の長さ、胴の長さ、肢円周のうちの任意の2つの間の比率、頭部または鼻の体積、頭部または眼窩の円周、頭部輪郭、口、または顎の幅、頭部の上部または背部または顎の湾曲度、および眉間、鼻梁、鼻の先端、人中、下顎点、眼の瞳孔、耳の外耳道、耳介、頭頂、地面のうちの任意の2つの間の距離、身体部分の(2Dであり得る)画像、身体部分の(3Dであり得る)形態/形状、固有画像、固有顔、スケール不変特徴変換、配向勾配のヒストグラム、ピクセルマスク、ピクセルカウント、ボクセル体積、重心、凸多面体、3Dメッシュ、色、反射、テクスチャ、パターン、畳み込みから成る群から選択される1つ以上の要素を備える。
【0099】
ある実施形態では、1つ以上の静的特徴は、Convolutional Neural Networkを含むニューラルネットワークの重みおよび/または出力、Convolutional Neural Networkを含む、異なる時点におけるニューラルネットワークの重みおよび/または出力、Random Forestの重みおよび/または出力、Support Vector Machineの重みおよび/または出力、単純なベイズマシンの重みおよび/または出力、K平均クラスタリングを含むクラスタリング、教師あり学習、教師なし学習から成る群から選択される1つ以上の要素を備える。
【0100】
ある実施形態では、1つ以上の特徴はそれぞれ、単一の身体部分の属性の測定値、または異なる身体部分の属性の測定値間の関係、または1つ以上の身体部分の属性の測定値と環境の測定値との間の関係に基づいて計算される。
【0101】
ある実施形態では、単一の身体部分の属性は、人物の身長、上腕、下腕、上脚、下脚、手、足、頭部、首、または胴の長さまたは幅、頭部または鼻の体積、頭部または眼窩の円周、頭部輪郭、口、または顎の幅、頭部の上部または背部または顎の湾曲度から成る群から選択される1つ以上の要素を備える。
【0102】
ある実施形態では、異なる身体部分の属性の測定値間の関係は、胴表面積、胴体積、頭部の長さ、胴の長さ、肢円周のうちの任意の2つの間の比率、眉間、鼻梁、鼻の先端、人中、下顎点、眼の瞳孔、耳の外耳道、耳介、頭頂、地面のうちの任意の2つの間の距離を備える。
【0103】
ある実施形態では、1つ以上の特徴は、1つ以上の動的特徴を備える。
【0104】
ある実施形態では、1つ以上の動的特徴は、身体の方向転換の速度、歩行速度(瞬間または平均)、大股で歩く間の2つの脚の間の最大距離、大股で歩く間の肩関節における回転の最大角度、右脚と左脚との間の歩幅長さの差異、車椅子の存在または不在、杖等の補助デバイスの存在または不在、衣類の色または反射の存在または不在、靴の高さ(例えば、ハイヒール)、地面に対する身体の傾斜または振りの角度、胴と脚との間の屈曲の角度、脊柱湾曲度、体温(例えば、病気中)、局所的家具または壁への近接またはそれからの距離、身体のセンサからの距離、胴に対する頭部の配向、センサに対する頭部の配向、センサに対する注視の角度、眼鏡の存在または不在、帽子またはヘルメットの存在または不在、および髪の量から成る群から選択される1つ以上の要素を備える。
【0105】
ある実施形態では、1つ以上の動的特徴は、Convolutional Neural Networkを含むニューラルネットワークの重みおよび/または出力、Convolutional Neural Networkを含む、異なる時点におけるニューラルネットワークの重みおよび/または出力、Random Forestの重みおよび/または出力、Support Vector Machineの重みおよび/または出力、単純なベイズマシンの重みおよび/または出力、K平均クラスタリングを含むクラスタリング、教師あり学習、教師なし学習から成る群から選択される1つ以上の要素を備える。
【0106】
ある実施形態では、1つ以上の動的特徴はそれぞれ、1)-3)、すなわち、以下のような、1)時間、空間、または他の着目測定単位にわたる単一の身体部分の属性の変動(例えば、頭部の方向転換、挙手、体温、身体部分の形状またはサイズ、またはセンサに対する身体関節の配向)、2)時間、空間、または他の着目測定単位にわたる異なる身体部分の特徴間の関係の変動(例えば、センサに対する全体的身体配向)、および3)時間、空間、または他の着目測定単位にわたる人物の異なる身体区画に対する環境またはその関係の変動(例えば、部屋内の特定の椅子に近接する人物の頻度またはセンサまでの人物の距離)のうちの少なくとも1つに基づいて計算される。
【0107】
ある実施形態では、識別は、ルールイン識別である(例えば、「本人物は、おそらくBobである」)。
【0108】
ある実施形態では、識別は、ルールアウト(「その他」としても公知である)識別である(例えば、「本人物は、おそらくBobではない」)。
【0109】
ある実施形態では、1つ以上の特徴は、別の人物を識別するために使用される1つ以上の特徴とは異なるセンサデータ内のフレームまたはフレームのセットから捕捉される。
【0110】
ある実施形態では、人物毎に、識別は、特徴のセットに基づいて、かつそれらの特徴毎の測度の範囲に基づいて判定され、その組み合わせられたものは、特定の人物に対して高度に特有である(例えば、そのボディプリントが本システムに把握される人物のセット内である)。
【0111】
ある実施形態では、識別は、少なくとも部分的に、その識別を実施するために使用される1つ以上の特徴の忠実度および/または予測力に基づいて判定される(例えば、特徴が良好に測定され得る程度、特徴の測定における信頼性、単一の人物に対するその特徴の特異性)。
【0112】
ある実施形態では、1つ以上の特徴は、利用可能なシーン、センサ、センサデータ、既知のボディプリントのライブラリ、および既知かつ算出可能な特徴のライブラリから成る群から選択される少なくとも1つの要素に基づいて、経時的に変動する。
【0113】
ある実施形態では、1つ以上の特徴および/またはボディプリントは、機械学習またはパターン認識技法(例えば、Convolutional Neural Network、Random Forest、Support Vector Machine、単純なベイズマシン、および/またはクラスタリング技法)によって自動的に計算される。
【0114】
ある実施形態では、1つ以上の特徴および/またはボディプリントは、手動タグ付け等の外部エージェントによって事前または事後情報として提供される。
【0115】
ある実施形態では、1つ以上の特徴および/またはボディプリントは、経時的に更新または修正されることができる。
【0116】
ある実施形態では、センサデータは、センサ(例えば、人物の家等の建物の部屋内に配置される)によって取得され、センサデータは、複数のフレームを備え、各フレームは、ピクセルの2次元空間マップ(例えば、マトリクス)として表され、各ピクセルの強度値は、センサからの投影距離(すなわち、センサを通過する第1の垂直平面とシーン内の物体を通過する第2の垂直平面との間の水平距離)に対応する。
【0117】
ある実施形態では、命令は、プロセッサによって実行されると、プロセッサに、1つ以上の特徴に優先順位を付けさせ、それによって、異なるセンサ、異なる時間、異なるボディプリント、および異なる空間的場所から成る群から選択される少なくとも1つの要素を横断して特徴を集約させる。
【0118】
ある実施形態では、1つ以上の特徴は、同一のシーン内の人物毎に異なる。
【0119】
ある実施形態では、1つ以上の特徴は、同一の人物に関してであってもフレーム毎に異なる割当を有する。
【0120】
ある実施形態では、センサデータは、飛行時間光検出および測距か、またはシーン上に少なくとも1つのエネルギーパターンを投影し、パターンの変形を測定することによってかのうちの少なくとも1つによって取得されるデータを備える。
【0121】
ある実施形態では、センサデータは、光(例えば、電磁放射)または音声(例えば、音響データ)を使用して取得されるデータを備える。
【0122】
ある実施形態では、センサデータは、未加工センサデータ、未加工センサデータから導出される値(例えば、人物の骨格の関節が推定される骨格データおよびデータ集合の各ピクセルがゼロまたは1人の人物のいずれかに割り当てられるピクセル標識データ)、または軌跡データ(例えば、経時的に変化する人物の場所)から成る群から選択される少なくとも1つのデータタイプを備える。
【0123】
ある実施形態では、1つ以上のフレームはそれぞれ、特定の瞬間に先行して、またはその時点のいずれかで取得されたデータを備える1つ以上のデータストリームから成る「スナップショット」に対応する。
【0124】
ある実施形態では、1つ以上のフレームは、複数の時点において単一のセンサによって取得された複数のフレーム、または同一または異なる時点において複数のセンサによって取得された複数のフレームのうちの少なくとも1つを備える。
【0125】
ある実施形態では、命令は、プロセッサによって実行されると、プロセッサに、識別された人物毎に信頼性スコアを判定させる。
【0126】
ある実施形態では、命令は、プロセッサによって実行されると、プロセッサに、人物(例えば、「その他」の人物)と関連付けられるセンサデータのサブセットを破棄させる。
【0127】
ある実施形態では、識別は、未知の識別を備える。
【0128】
ある実施形態では、命令は、プロセッサによって実行されると、プロセッサに、1つ以上の特徴を調節させ、(観察結果を「整合」させようとして)全ての特徴が時間的かつ/または空間的に並置されることを確実にさせる。
【0129】
ある実施形態では、1つ以上の特徴のうちの少なくとも1つは、センサにおける、または計算方法論におけるタイミング遅延またはバイアスを調節するために、オフセット補正される、待ち時間補正される、または空間的に並置される。
【0130】
ある実施形態では、特徴の忠実度は、シーンの組成(すなわち、視野およびその中の物体)、利用されているセンサのタイプ、および取得されているデータのタイプから成る群から選択される少なくとも1つの要素に依存する。
【0131】
ある実施形態では、個別のセグメント化を識別するステップは、人物が自然に動き回っている(例えば、歩行している、方向転換している、ある活動を実施している)間に実施される。
【0132】
ある実施形態では、個別のセグメント化を識別するステップは、リアルタイムで、またはほぼリアルタイムで実施される。
【0133】
ある実施形態では、個別のセグメント化を識別するステップは、遅延後に、または同じく、データ取得が起こった時間とは実質的に異なる時間に実施される。
【0134】
ある実施形態では、個別のセグメント化を識別するステップは、遡及的に実施される(すなわち、先に取得されたデータを通して「巻き戻す」)。
【0135】
ある実施形態では、人物は、センサから、0.1メートルを上回る、0.5メートルを上回る、1メートルを上回る、2メートルを上回る、5メートルを上回る距離に位置する。
【0136】
ある実施形態では、本システムはさらに、センサデータを取得するために、赤外線飛行時間センサを備える。
【0137】
ある実施形態では、本システムはさらに、ディスプレイと、プロセッサおよびメモリのための筐体とを備える。
【0138】
開示される技術は、ある実施形態では、少なくとも部分的に(または排他的に)、奥行きデータ(例えば、1つ以上のセンサ、例えば、1つ以上の室内センサによって取得される1つ以上の奥行きマップ[例えば、時系列の奥行きマップ])に基づいて、(例えば、事前登録を伴わずに孤立して閲覧または分析される場合、個人の肯定的識別を提供するであろう画像の使用を伴わず、例えば、写真静止またはビデオ画像の使用を伴わず、それによって、個人の個人的プライバシーを保護する)センサ場内の事前登録された人間個人の離散セットのうちの1つのリアルタイムまたはほぼリアルタイムの識別の方法を含み、本方法は、コンピューティングデバイスのプロセッサによって、少なくとも部分的に、1つ以上のセンサによって取得された奥行きデータに基づいて、センサ場内で検出された人間に特徴的な複数の特徴のそれぞれを定量化するステップと(例えば、複数の特徴は、少なくとも1つの静的特徴(例えば、身長、脚長さ、肩から肩までの幅、機械学習および/またはパターン認識技法[例えば、Convolutional Neural Network、 Random Forest、Support Vector Machine、単純なベイズマシン、および/またはクラスタリング技法]の重みおよび/または出力)および/または少なくとも1つの動的特徴(例えば、注視の角度、歩行速度、頭部輪郭幅、機械学習および/またはパターン認識技法[例えば、Convolutional Neural Network、 Random Forest、Support Vector Machine、単純なベイズマシン、および/またはクラスタリング技法]の重みおよび/または出力)を備える)、プロセッサによって、センサ場内で検出された人間に関する定量化された複数の特徴に基づいて、1つ以上のボディプリント(すなわち、分類数量)を定量化するステップと、プロセッサによって、リアルタイムまたはほぼリアルタイムで、少なくとも部分的に、1つ以上のボディプリントに基づいて、事前登録された人間個人のセット間からセンサ場内で検出された人間を肯定的に識別するステップとを含む。
【0139】
ある実施形態では、本方法は、少なくとも部分的に、1つ以上のボディプリントに基づいて、肯定的に識別された個人が従事する活動(例えば、歩行、前屈、転倒、方向転換、走行、物体の後方を歩行)を判定するステップを含む。
【0140】
ある実施形態では、人間を肯定的に識別するステップは、奥行きデータに対して排他的に実施される。
【0141】
ある実施形態では、奥行きデータは、1つ以上のセンサ(例えば、1つ以上の室内センサ)によって取得される1つ以上の奥行きマップ(例えば、時系列の奥行きマップ)を備える。
【0142】
ある実施形態では、奥行きデータは、(例えば、事前登録を伴わずに孤立して閲覧または分析される場合、個人の肯定的識別を提供するであろう)視覚画像(例えば、写真)を備えていない。
【0143】
ある実施形態では、人間を肯定的に識別するステップは、写真静止またはビデオ画像の使用を伴わずに遂行され、それによって、個人の個人的プライバシーを保護する。
【0144】
ある実施形態では、複数の特徴は、少なくとも1つの静的特徴(例えば、身長、脚長さ、肩から肩までの幅、機械学習および/またはパターン認識技法[例えば、Convolutional Neural Network、 Random Forest、Support Vector Machine、単純なベイズマシン、および/またはクラスタリング技法]の重みおよび/または出力)および/または少なくとも1つの動的特徴(例えば、注視の角度、歩行速度、頭部輪郭幅、機械学習および/またはパターン認識技法[例えば、Convolutional Neural Network、 Random Forest、Support Vector Machine、単純なベイズマシン、および/またはクラスタリング技法]の重みおよび/または出力)を備える。
【0145】
ある実施形態では、事前登録された人間個人のセットは、100人以下の、50人以下の、25人以下の、10人以下の、6人以下の、5人以下の、4人以下の、3人以下の、2人以下の、または1人以下の人間個人を備える。
【0146】
ある実施形態では、人間は、少なくとも80%、少なくとも90%、少なくとも95%、または少なくとも99%の信頼性とともに肯定的に識別される。
【0147】
ある実施形態では、本方法は、プロセッサによって、センサ場内で検出された肯定的に識別された人間の名前(例えば、ニックネーム、ファーストネーム、グラフィカルアイコン等)を表示し、随意に、肯定的に識別された個人が従事する判定された活動のグラフィカルインジケーションを(例えば、少なくとも80%、少なくとも90%、少なくとも95%、または少なくとも99%の信頼性とともに)表示するステップを含む。
【0148】
開示される技術は、ある実施形態では、人物の身体的測定値を介して人物の痛み、疲労、気分、および意図のうちの少なくとも1つを識別および/または定量化する方法を含み、本方法は、コンピューティングデバイスのプロセッサによって、センサによって(例えば、能動的に[例えば、1つ以上のセンサは、データを取得することに従事する]かつ/または受動的に[例えば、データは、ファイルからロードされる])取得されるセンサデータを備えるデータセットを(例えば、1つ以上のセンサから、または記憶装置から直接)受信するステップと、プロセッサによって、データセットに基づいて、人物の移動、活動、および挙動から成る群から選択される少なくとも1つの要素を特性評価するステップであって、該特性評価するステップは、データセット内に表される1人以上の人物を、相互に、かつデータセット内に表される環境物体(例えば、家具)からセグメント化する(例えば、区別する)ステップと、1人以上のセグメント化された人物のうちの少なくとも1人の少なくとも1つの特徴を計算するステップと、少なくとも1つの特徴をある関係と相関させることに基づいて、結論を判定するステップとを含む、ステップと、プロセッサによって、結論を出力するステップとを含む。
【0149】
ある実施形態では、データセット内に表される1人以上の人物をセグメント化するステップは、機械学習および/またはパターン認識技法(例えば、Convolutional Neural Network、Random Forest、Support Vector Machine、単純なベイズマシン、および/またはクラスタリング技法)(例えば、明示的または暗示的にのいずれかで)を実施するステップを含む。
【0150】
ある実施形態では、関係は、学習された関係である。
【0151】
ある実施形態では、少なくとも1つの特徴は、直接測定値(例えば、センサの人物の身体との相互作用の即時の結果)である身体的測定値を備える。
【0152】
ある実施形態では、少なくとも1つの特徴は、間接的測定値(例えば、他の測定値から導出され、順に、直接的または間接的であり得る)である身体的測定値を備える。
【0153】
ある実施形態では、結論は、不完全な測定値(例えば、非連続、非隣接、一貫性のない、非逐次測定値)に基づく。
【0154】
ある実施形態では、少なくとも1つの特徴は、非連続、非隣接、不完全、一貫性のない、非逐次のうちの少なくとも1つであるデータセット内の測定値に基づく。
【0155】
ある実施形態では、結論は、いくつかの異なるタイプおよび組み合わせの特徴の統合に基づく。
【0156】
ある実施形態では、データセット内のセンサデータは、センサから直接取得される(例えば、未加工データである)、および/または付加的処理を受けている。
【0157】
ある実施形態では、データセットは、1つ以上のフレームを備える。
【0158】
ある実施形態では、1つ以上のフレームの各フレームは、特定の瞬間に先行して、またはその時点のいずれかで取得されたデータを備える1つ以上のデータストリームのスナップショットに対応する。
【0159】
ある実施形態では、1つ以上のフレームは、複数の時点において単一のセンサによって捕捉される、および/または複数のセンサによって捕捉される。
【0160】
ある実施形態では、データセットは、略リアルタイムで(例えば、「ライブ」データフィードから)取得される、バッチモード(例えば、記憶およびサービシング)で取得される、またはデータベース内に以前に記憶されたデータから取得される。
【0161】
ある実施形態では、本方法は、非プライベートであると判定されたデータのタイプ(例えば、着目用途において人物のプライバシーを危険に晒す)(例えば、写真等の色画像データ)を破棄するステップを含む。
【0162】
ある実施形態では、本方法は、プロセッサによって、後続分析のためにデータセットを事前処理するステップを含み、事前処理するステップは、データセットをフィルタ処理する(例えば、逐次的データ点間の一貫した時間の量等、ある品質基準に適合しないデータの断片を雑音除去する、平均化する、および/または除去または修復する)ステップ、条件付けするステップ、クリーニングするステップ、および正規化するステップから成る群から選択される1つ以上のステップを含む。
【0163】
ある実施形態では、本方法は、プロセッサによって、後続分析のためにデータセットを事前処理するステップを含み、事前処理するステップは、データセットからの未加工データまたは計算された特徴に対して実施される。
【0164】
ある実施形態では、セグメント化するステップは、セグメント化された人物の識別に関するいずれの情報も伴わずに実施される。
【0165】
ある実施形態では、本方法は、セグメント化した後、計算された特徴を具体的個人と関連付けるために、1人以上のセグメント化された人物毎に標識を判定するステップを含む。
【0166】
ある実施形態では、少なくとも1つの特徴は、肢長さ、足サイズ、頭部形状、身長、身体割合、身体体積、音声周波数スペクトル、声量、歩幅長さ、視野内の場所、および腕を上げる速度から成る群から選択される少なくとも1つの要素を備える。
【0167】
ある実施形態では、本方法は、プロセッサによって、機械学習および/またはパターン認識技法(例えば、Convolutional Neural Network、Random Forest、Support Vector Machine、単純なベイズマシン、および/またはクラスタリング技法)を使用して、少なくとも1つの特徴を自動的に計算するステップを含む。
【0168】
ある実施形態では、少なくとも1つの特徴を計算するステップは、具体的特徴の可用性および出力される結論に関する関連度のうちの少なくとも1つに基づいて、中断される。
【0169】
ある実施形態では、プロセッサによって、データセットに基づいて、移動、活動、または挙動の所望の特性を判定するステップは、セグメント化する前に、プロセッサによって、後続分析のためにデータセットを事前処理するステップを含む。
【0170】
ある実施形態では、関係は、事前判定される。
【0171】
ある実施形態では、学習された関係は、グラウンドトゥルースに基づく。
【0172】
開示される技術は、ある実施形態では、人物の身体的測定値を介して人物の痛み、疲労、気分、および意図のうちの少なくとも1つを識別および/または定量化するためのシステムを含み、本システムは、人物に対応するデータを取得するためのセンサと、プロセッサと、その上に記憶される命令を有する、メモリであって、命令は、プロセッサによって実行されると、プロセッサに、センサによって(例えば、能動的に(例えば、1つ以上のセンサは、データを取得することに従事する)かつ/または受動的に(例えば、データは、ファイルからロードされる))取得されるセンサデータを備えるデータセットを(例えば、1つ以上のセンサから、または記憶装置から直接)受信させ、データセットに基づいて、データセット内に表される1人以上の人物を、相互に、かつデータセット内に表される環境物体(例えば、家具)からセグメント化する(例えば、区別する)ステップと、1人以上のセグメント化された人物のうちの少なくとも1人の少なくとも1つの特徴を計算するステップと、少なくとも1つの特徴をある関係と相関させることに基づいて、人物の結論を判定するステップとによって、人物の移動、活動、および挙動のうちの少なくとも1つを特性評価させ、結論を出力させる、メモリとを備える。
【0173】
ある実施形態では、データセット内に表される1人以上の人物をセグメント化するステップは、機械学習および/またはパターン認識技法(例えば、Convolutional Neural Network、Random Forest、Support Vector Machine、単純なベイズマシン、および/またはクラスタリング技法)(例えば、明示的または暗示的にのいずれかで)を実施するステップを含む。
【図面の簡単な説明】
【0174】
本開示の前述および他の目的、側面、特徴、および利点は、付随の図面と併せて検討される以下の説明を参照することによって、より明白となり、より深く理解されるであろう。
【0175】
図1A図1A-1Dは、本発明のいくつかの実施形態による、人物を識別する、および/または痛み、疲労、気分、または意図を識別および定量化する方法を図示する、高レベルブロック図である。
図1B図1A-1Dは、本発明のいくつかの実施形態による、人物を識別する、および/または痛み、疲労、気分、または意図を識別および定量化する方法を図示する、高レベルブロック図である。
図1C図1A-1Dは、本発明のいくつかの実施形態による、人物を識別する、および/または痛み、疲労、気分、または意図を識別および定量化する方法を図示する、高レベルブロック図である。
図1D図1A-1Dは、本発明のいくつかの実施形態による、人物を識別する、および/または痛み、疲労、気分、または意図を識別および定量化する方法を図示する、高レベルブロック図である。
図2図2A-2Cは、例証的実施形態による、赤外線反射測定に基づく例示的センサタイプおよびシーンからの奥行き(空間)データを測定する際のその使用の概略図を図示する。
図3-1】図3A-3Mは、例証的実施形態による、例示的未加工センサデータストリーム(色、奥行き、および骨格データ)、導出された特徴(歩行速度)、種々の条件(例えば、配向、姿勢、および人物の閉塞)下の人物および着目人物(「Tim」)の表現の識別を実証する、例示的システムの一部のスナップショットを図示する。
図3-2】図3A-3Mは、例証的実施形態による、例示的未加工センサデータストリーム(色、奥行き、および骨格データ)、導出された特徴(歩行速度)、種々の条件(例えば、配向、姿勢、および人物の閉塞)下の人物および着目人物(「Tim」)の表現の識別を実証する、例示的システムの一部のスナップショットを図示する。
図3-3】図3A-3Mは、例証的実施形態による、例示的未加工センサデータストリーム(色、奥行き、および骨格データ)、導出された特徴(歩行速度)、種々の条件(例えば、配向、姿勢、および人物の閉塞)下の人物および着目人物(「Tim」)の表現の識別を実証する、例示的システムの一部のスナップショットを図示する。
図3-4】図3A-3Mは、例証的実施形態による、例示的未加工センサデータストリーム(色、奥行き、および骨格データ)、導出された特徴(歩行速度)、種々の条件(例えば、配向、姿勢、および人物の閉塞)下の人物および着目人物(「Tim」)の表現の識別を実証する、例示的システムの一部のスナップショットを図示する。
図4図4は、例証的実施形態による、静的および動的特徴を計算するための例示的方法の高レベルブロック図である。
図5-1】図5A-5Eは、例証的実施形態による、特徴および/またはボディプリントの実施例を図示する。
図5-2】図5A-5Eは、例証的実施形態による、特徴および/またはボディプリントの実施例を図示する。
図5-3】図5A-5Eは、例証的実施形態による、特徴および/またはボディプリントの実施例を図示する。
図5-4】図5A-5Eは、例証的実施形態による、特徴および/またはボディプリントの実施例を図示する。
図6図6は、本発明の例証的実施形態による、一連の移動、一連のフレーム内で捕捉される例示的静的および動的特徴のセット、および人物の分類の結果を図示する概略図である。
図7図7は、例証的実施形態による、人物識別のための分類子を訓練するための例示的方法の高レベルブロック図である。
図8図8は、例証的実施形態による、人物識別のための分類子の例示的出力を図示する概略図である。
図9A図9A-9Dは、例証的実施形態による、結論を判定するために特徴を関係に相関させる実施例を図示する。
図9B図9A-9Dは、例証的実施形態による、結論を判定するために特徴を関係に相関させる実施例を図示する。
図9C図9A-9Dは、例証的実施形態による、結論を判定するために特徴を関係に相関させる実施例を図示する。
図9D図9A-9Dは、例証的実施形態による、結論を判定するために特徴を関係に相関させる実施例を図示する。
図10図10は、測定された特徴と判定された結論との間の関係の実施例を列挙する。
図11図11は、例証的実施形態による、静的および動的特徴を使用して、人物および物体を識別するための方法およびシステムにおいて使用するための例示的ネットワーク環境のブロック図である。
図12図12は、本明細書に提示されるシステムおよび方法の例証的実施形態において使用するための例示的コンピューティングデバイスおよび例示的モバイルコンピューティングデバイスのブロック図である。
図13A図13A-13Dは、本発明のいくつかの実施形態による、人物を識別する、および/または痛み、疲労、気分、または意図を識別および定量化するための例示的システムの概略図および画像である。
図13B図13A-13Dは、本発明のいくつかの実施形態による、人物を識別する、および/または痛み、疲労、気分、または意図を識別および定量化するための例示的システムの概略図および画像である。
図13C図13A-13Dは、本発明のいくつかの実施形態による、人物を識別する、および/または痛み、疲労、気分、または意図を識別および定量化するための例示的システムの概略図および画像である。
図13D図13A-13Dは、本発明のいくつかの実施形態による、人物を識別する、および/または痛み、疲労、気分、または意図を識別および定量化するための例示的システムの概略図および画像である。
【0176】
本開示の特徴および利点は、同様の参照文字が全体を通して対応する要素を識別する、図面と併せて検討されるとき、下記に記載される詳細な説明からより明白となるであろう。図面では、同様の番号は、概して、同じ、機能的に類似する、および/または構造的に類似する要素を示す。
【発明を実施するための形態】
【0177】
定義
本願では、別様に文脈から明白でない限り、(i)用語「a」は、「少なくとも1つ」を意味するように理解され得、(ii)用語「または」は、「および/または」を意味するように理解され得、(iii)用語「~を備える」および「~を含む」は、それだけで、または1つ以上の付加的構成要素またはステップとともに提示されるかを問わず、箇条書きの構成要素またはステップを包含するように理解され得、(iv)用語「約」および「ほぼ」は、当業者によって理解されるであろうような標準的変形例を可能にするように理解され得る。
【0178】
活動:本明細書で使用されるように、「活動」は、ある環境の文脈における移動の協調を示す。「活動」の実施例は、歩くために杖を使用すること、会話をするために電話を使用すること、およびある明確な時間周期にわたって着座することを含む。
【0179】
属性:本明細書で使用されるように、「属性」は、人物または物体のある性質の現実世界の値を指す。属性は、現実世界における何かの「グラウンドトゥルース」または「現実」である。身体的属性の実施例は、(現実の)人物の頭部の体積、(現実の)人物の上腕の円周、および(現実の)人物の髪の(可視光の波長としての)色を含む。精神的または意図的属性の実施例は、(現実の)人物の疲労または痛みのレベル、(現実の)想定された行為を実行するかどうかに関する人物の意図、および(現実の)感知された危険に関連して対象によって感じられる警戒の程度を含む。
【0180】
挙動:本明細書で使用されるように、「挙動」は、目標に向かっての移動および/または活動を介した進行を示す。「挙動」の実施例は、食事をすること、大きな音に驚いて見上げること、勤務時間中に机で眠ること、および怒って身振りをすることを含む。用語「活動」および「挙動」は、重複し、時として、本明細書で同義的に使用されるであろう。
【0181】
ボディプリント:本明細書で使用されるように、「ボディプリント」は、1)特徴のセットであり、2)(その「ボディプリント」が本システムに把握される人物のセット内の)特定の人物に対してともに高度に特有である、それらの特徴毎に測度の範囲と組み合わせられ、特異性の程度は、随意に、3)いわゆる「ボディプリントスコア」によって定量化され得る。「ボディプリント」は、本発明的システムの、人物の「指紋」に対する類似物である。
【0182】
カメラ:本明細書で使用されるように、「カメラ」は、環境についての情報、特に(但し、限定ではないが)、可視光または赤外光等の電磁測定値を収集し得る任意のセンサを指す。本明細書で使用されるような「カメラ」は、したがって、あるタイプのセンサを指す汎用用語であり、可視光デバイスを具体的に指すものではない、またはそれに限定されない。
【0183】
結論:本明細書で使用されるように、「結論」は、人物の痛み、疲労、気分、および/または意図の評価および/または人物の移動、挙動、および/または活動の特性評価を指す。結論は、人物(および/または人物の環境)の「特徴」を「関係」(事前判定されたもの、または学習されたもののいずれか)と相関させることに基づいて判定され得る。例えば、結論は、「Bobは先週よりも痛みが増している」であり得る。例えば、結論は、「Bobは先週よりも痛みが20%増している」であり得る。例えば、結論は、「視野内の未知の人物が疑わしい物体を置き去りにしている」であり得る。
【0184】
結論は、加えて、人物の移動、活動、または挙動に関連する定量化された計算を備え得る。例えば、人物の意図が足早に歩行することを含むことを判定する際、結論出力は、人物の計算された歩行速度を記載し得る。付加的実施例として、人物の気分を判定する際、結論出力は、モニタが人物の気分をさらに特性評価するために、定質的気分および人物の歩幅長さおよび/または食事の持続時間および頻度を記載し得る。
【0185】
データセット:本明細書で使用されるように、「データセット」は、1つ以上のフレームの集合を指す。1つ以上のフレームは、実質的に異なる時間に取得されている場合がある。データセット内のデータのタイプは、本明細書にさらに説明されるように、限定ではないが、未加工センサデータ(例えば、デジタルカメラからの色画像データ)、計算されたセンサデータストリーム(例えば、奥行きデータから計算された骨格データ)、または身体輪郭、歩行速度、歩幅長さ、関節配向、および/または時空依存性を有し得る他のそのようなメトリック等の多種多様な計算されたデータタイプを含み得る。データセットは、単一のセンサを介して、または可変観察点に配置され得、時間において同期され得る、または同期されない場合がある複数のセンサを介して収集され得る。
【0186】
データストリーム:本明細書で使用されるように、「データストリーム」は、センサに由来するデジタル的にエンコードされた信号のシーケンスを指す。データストリームの実施例は、1次元データストリーム(例えば、誰かがこれを横断するときに「破壊」される赤外線ビームからの信号)、2次元データストリーム(例えば、ウェブカメラ写真またはビデオ)、および3次元データストリーム(例えば、画像の各ピクセルが、センサから視野内の物体のある部分までの現実世界の距離に対応する、奥行き画像)を含む。
【0187】
奥行きデータ:本明細書で使用されるように、「奥行きデータ」は、既知の座標系に対する空間内の物体の空間的位置についての情報を指す。いくつかの実施形態では、奥行きデータは、飛行時間光検出および測距(LIDAR)を使用して取得される。他の実施形態では、奥行きデータは、あるパターンをシーン上に投影し、その変形を測定することによって取得される。他の実施形態では、奥行きデータは、光(電磁放射)、音声(音響)、または付加的モダリティを含む種々の方法によって取得される。奥行きデータは、2D画像データと類似する様式で表され得、2Dのいわゆる「奥行きマップ」における各ピクセルの強度値は、共通の基準平面、例えば、センサ自体によって確立される垂直平面から所与の物体に対応する空間内の点または平面までの距離の測定値を含有する。「Method and Apparatus for Sizing and Fitting an Individual for Apparel, Accessories, or Prosthetics」と題され、2012年10月2日に出願された米国特許第9,341,464号(参照することによってその全体として本明細書に組み込まれる)に説明されるように、視野に関する奥行きデータを取得する、計算する、または別様に生成する多くの方法が存在する。
【0188】
動的特徴:本明細書で使用されるように、「動的特徴」は、着目時間周期にわたって(例えば、数秒、数分、または数時間にわたって)時間とともに変動する特徴を指す。動的特徴は、時変データを使用して測定される。動的特徴は、単一のフレームから、または時間または空間において連続的であり得る、または連続的ではない場合がある複数のフレームから判定または測定され得る。静的特徴のように、動的特徴の測定された値(または測度)は、測定限定のため、その実際の現実世界の値とは異なり得る。動的特徴の実施例は、部屋内の物体の場所、センサに対する人物の身体の配向、周囲温度、瞬間的歩行速度、平均歩行速度(恣意的持続時間にわたって計算される)、および歩幅長さを含む。
【0189】
特徴:本明細書で使用されるような用語「特徴」は、人物を識別するために、および/または人物についての何かを測定するために使用され得る代表的特性またはメトリックを指す。
【0190】
いくつかの事例では、本明細書で使用されるような用語「特徴」は、現実世界の属性または現実世界の属性の組み合わせの計算または他の判定を指し得る。各そのような特徴は、未加工データから直接、未加工データに対する計算から、および/または他の特徴に対する計算から、任意の重み付けまたは組み合わせにおいて計算され得る。(現実世界では、物体から取得された測定値は、雑音、エラー、および他の劣化の源のため、必然的に、「グラウンドトゥルース」属性の近似値である。例えば、人物の頭部の測定された体積は、閉塞する帽子類またはセンサの分解能限界に起因して誤差があり得る。例えば、人物の髪の測定された色は、衝突する周囲光に起因して変動し得る。)
【0191】
いくつかの事例では、本明細書で使用されるような用語「特徴」は、人物、周辺環境、センサデータ(未加工または処理済)、および/または他の特徴の任意の測定可能な性質を指し得る。各そのような特徴は、随意に、経時的に、空間にわたって、ある他の測定単位(角度またはピクセルカウント等)にわたって、またはそれらの任意の組み合わせにわたって計算され得る。例えば、特徴は、身体的に測定可能である人物の数量または性質(例えば、メートルにおける人物の身長)であり得る。例えば、特徴は、順に、他の性質または特徴(例えば、固有顔としても公知である、顔の数学的固有画像またはその用語が下記に定義される、ピクセル標識データのセットにおいて頭部を備えるピクセルのカウント)から導出される人物の数量または性質であり得る。特徴の(包括的ではない)付加的実施例は、肩から肩までの幅、頭部サイズ、頭部形態(形状)、鼻形態、眼間距離、眼から耳までの距離、歩行速度(瞬間または平均)、歩幅長さ、身体部分のSIFT(スケール不変特徴変換)、および身体部分のHOG(配向勾配のヒストグラム)を含む。
【0192】
いくつかの特徴は、人物の身長等の直感的に理解可能な人間スケールの属性に対応し、人間に容易に理解可能であり得る。他の特徴は、抽象的アルゴリズムの数値出力等の純粋に数学的な表現に対応し、人間にあまり直感的ではない場合がある。他の特徴は、それらの組み合わせであり得る。特徴は、経時的に、例えば、可変入力データとともに、または可変計算方法とともに変化し得る。例えば、顔の画像の主要なコンポーネントに基づく数学的構成概念である、計算された固有顔は、人間の視覚にとって、既知の顔またはいずれの顔にも似ていない場合がある。例えば、Convolutional Neural Network(CNN)は、直感的な人間の解釈から独立した数学的演算に対応する特徴を計算し得る。
【0193】
特徴判定のいくつかの側面は、事前に(すなわち、図1A-1Dに説明される一連のステップに先立って)行われ得る。例えば、CNN等の機械学習構成の一般的アウトラインおよび構造は、事前に判定され得る。特徴判定の他の側面は、事後に(すなわち、図1A-1Dに説明される一連のステップ中またはその後に)行われ得る。例えば、CNN等の機械学習構成内の計算の具体的重みおよび分布は、事後に判定され得る。
【0194】
フレーム:本明細書で使用されるように、「フレーム」は、特定の瞬間またはそれに近接して取得される、またはそれに対応するデータの集合を指す。例えば、データは、視野内の物体への距離を記述する奥行きデータであり得る、またはデータは、3D空間内の人間の関節(頭部または手等)の場所を識別する骨格データであり得る、またはデータは、視野内の人間の身体表面に対応するピクセルを標識化するピクセル標識データであり得る。他のデータタイプもまた、可能である。代表的データタイプの詳細な説明が、「Method and Apparatus for Detecting Deterioration of Health Status」と題され、2012年10月3日に出願された国際出願第PCT/US2012/058534号および「Method and Apparatus for Monitoring Individuals While Protecting Their Privacy」と題され、2012年10月12日に出願された国際出願第PCT/US2012/060041号(そのそれぞれが、参照することによってその全体として本明細書に組み込まれる)に提供されている。
【0195】
各フレームは、1つまたは1つを上回るデータタイプを含有し、1つまたは1つを上回るデータストリームを含有し得る。識別されるべき人物のプライバシーを保護することに役立てるために、フレーム内で取得されるデータタイプのいずれかまたは全ては、可視光を要求しない場合がある。データの各フレームは、変化率の精密な計算を可能にし、複数のセンサを横断して取得されるデータを組み合わせるように、データが取得された時間を識別するためのタイムスタンプと関連付けられ得る。(複数のセンサが同時に使用される場合、タイムスタンプ機構を同期させ、フレームが正しい時間順序で報告されることを確実にすることが、必要であり得る。)
【0196】
人物を識別すること:本明細書で使用されるように、「人物を識別する」または「人物を識別すること」は、より多い人物のグループから1人の具体的着目人物を区別すること、例えば、部屋内の1人の人物が「Bob」であることを識別することを指す。識別は、肯定的または否定的であり得る。「肯定的」識別は、人物をルールインすることを意味し、例えば、「本人物はBobである」。「肯定的」識別は、人物をルールアウトすることを意味し、例えば、「本人物はBob以外の誰かである」。識別は、確率的であり得、例えば、「本人物はおそらくBobである」または「本人物はおそらくBob以外の誰かである」。
【0197】
識別:本明細書で使用されるように、「識別」は、人物が分類(またはカテゴリ化)され得る事前判定された標識(またはカテゴリ)のセットのうちの1つを指す。人物に配置される標識は、現実におけるその人物の識別にマッピングされることができる。識別の実施例は、「Bob」、「患者番号10」、および「その他」(「本システムに把握されていない人物」と同等である)を含む。
【0198】
画像データ:本明細書で使用されるように、「画像データ」は、例えば、電磁スペクトルの視覚波長内または他の波長内であり得る、シーンの画像についての情報を指す。本明細書で使用されるように、「色画像データ」は、標準的デジタルカメラが視覚画像を収集する方法と同様に、色波長を使用して、シーンの視覚画像を収集することを指す。
【0199】
意図:本明細書で使用されるように、「意図」は、人物の基本的な目標または動機を示す。「意図」の実施例は、薬品を服用する意図、安全装備を装着する意図、警告する光景または匂いを確認する意図、店舗から物体を盗む意図、誰かに害を及ぼす意図、制限されたエリアの中に何かを持ち込む意図、およびある場所を偵察し、次いで、有害なデバイスを置き去りにする意図を含む。
【0200】
学習された関係:本明細書で使用されるように、「学習された関係」は、データ分析中に判定される関係である。ある実施形態では、関係は、機械学習の方法を通して学習される。例えば、「人物の平均腕高さは、過去5週間のうちの3週間中に10パーセントだけ通常よりも低かった」および「人物は、人物がそれらの同一の3週間中に通常よりも抑鬱的な気分だったことを調査で示した」等の測定された特徴の、結論「高い信頼度で、10パーセントの平均腕高さの減少は、抑鬱気分の悪化を示す」に対する関係が、学習される。学習された関係は、人間への可解性にかかわらず、抽象的または数学的であり得、例えば、CNNの数値的重みは、学習された関係を備え得る。学習された関係と事前判定された関係との間に重複が存在し、特に、学習された関係は、いったん確立されると、続けて、事前判定された関係として採用され得る。
【0201】
機械可読媒体、コンピュータ可読媒体:本明細書で使用されるように、用語「機械可読媒体」または「コンピュータ可読媒体」は、機械可読信号として機械命令を受信する機械可読媒体を含む、プログラマブルプロセッサに機械命令および/またはデータを提供するために使用される、任意のコンピュータプログラム製品、装置、および/またはデバイス(例えば、磁気ディスク、光学ディスク、メモリ、プログラマブル論理デバイス(PLD))を指す。用語「機械可読信号」は、プログラマブルプロセッサに機械命令および/またはデータを提供するために使用される任意の信号を指す。
【0202】
移動、運動:本明細書で使用されるように、「移動」または「運動」は、身体または身体の一部の物理位置付けの変化を示す。移動の実施例は、歩行する、腕を上げる、俯く、着座する、および立つ行為を含む。移動の測度は、歩行速度、歩幅長さ、および腕を上げる速度を含む。移動または移動の測度は、精神的知覚または意図の代理として使用されることができる。用語「移動」および「運動」は、同義的に使用される。
【0203】
人物:本明細書で一般的に使用されるように、「人物」は、データセット内の人間の表現を指す。いくつかの事例では、人物の表現は、明確化のために、具体的人間を指すように具体的に言及される。
【0204】
プライバシーを伴う人物識別:本明細書で使用されるように、「プライバシーを伴う人物識別」は、人物を識別しながら、識別以外のその人物についての最小の情報を示すことを指す。いくつかの実施形態では、プライバシーの保護は、必要とされない場合があり、その場合では、本発明の実施形態はまた、(プライバシーを問わず)人物の一般的識別のために使用されてもよい。
【0205】
ピクセル標識データ:本明細書で使用されるように、「ピクセル標識データ」は、データの集合のコンポーネントを標識化することから成り、したがって、各標識化されたコンポーネントは、着目点(例えば、人間の身体の表面上に位置する点)に対応する。例えば、奥行きマップでは、「人物A」の身体形状に対応するピクセルは、「A」と標識化され得る。例えば、ピクセル標識データは、別個に取得された奥行きおよび/または画像データから、またはそれに関して判定され得る。米国特許第9,341,464号(参照することによってその全体として本明細書に組み込まれる)に説明されるように、視野に関するピクセル標識データを取得する、計算する、または別様に生成する多くの方法が存在する。
【0206】
身体の部分、身体部分:本明細書で使用されるように、「身体の部分」または「身体部分」は、人物の全て、または人物のある区分、または人物内またはその上の空間的場所を指す。任意の人物が、部分に分割され得る。例えば、人物の一部は、身体形状、または頭部、肩、腕、または脚等の身体区分、または関節、皮膚表面、または皮膚曲線等の身体のより小さい解剖学的部分に対応し得る。
【0207】
事前判定された関係:本明細書で使用されるように、「事前判定された関係」は、データ分析に先立って定義される関係である。例えば、測定された特徴「人物の手が、過去60秒以内に10回胸高さから口高さまで移動した」の、結論「その人物は、今食事をしている」に対する関係が、事前判定される。例えば、測定された特徴「人物の姿勢は、先週と比較して今週10パーセント低下した」の、結論「その人物は、先週よりも今週疲労している」に対する関係が、事前判定される。
【0208】
個人的プライバシーを保護すること:本明細書で使用されるように、「個人的プライバシーを保護すること」は、人物についての恥ずかしい、不名誉な、またはさらには単に慣用的な情報、例えば、その人物またはその人物が読んでいる、または閲覧しているものの写真の取得および/または普及を防止することを指す。個人的プライバシーを保護することは、人物がモニタに(例えば、人物を観察することに責任があり得る、または他の理由から人物を観察することを所望し得る、人物に精通する、または精通しない存在に)示すことを所望しない情報の取得および/または普及を防止することを指し得る。
【0209】
関係:本明細書で使用されるように、「関係」は、1つ以上の特徴および/または経時的なその測度と移動、活動、または挙動との間の関連付けを指す。さらに、各移動、活動、および挙動(またはそれらの組み合わせ)は、痛み、疲労、気分、または意図の代理として作用することができる。したがって、人物の精神的知覚または意図に関する結論は、1つ以上の特徴をある関係に相関させることによって判定されることができる。関係は、事前判定または学習され得る。
【0210】
シーン:本明細書で使用されるように、「シーン」は、センサの視野(FOV)内にある、家具等の物体とともに散在する(潜在的に)何人かの人物を備える物理的シーンを指す。
【0211】
セグメント化:本明細書で使用されるように、「セグメント化」(例えば、センサデータのセグメント化」は、人物を他の人物、物体、または環境から区別すること(例えば、センサデータを人物の表現にセグメント化すること)を指す。ある実施形態では、セグメント化は、奥行きマップ内のピクセルの集合(または任意の他のデータの表現)が、単一の人物に対応し、例えば、家具の断片または2人の(以上の)異なる人物に対応しないことを決定するように行われる。ある実施形態では、「セグメント化」は、例えば、センサデータ内の人物を区別するために、機械学習および/またはパターン認識技法(例えば、Convolutional Neural Network、Random Forest、Support Vector Machine、単純なベイズマシン、および/またはクラスタリング技法)を適用することを指す。例えば、セグメント化は、人物に対応する境界またはアウトライン表現を明示的に生成し得る、またはセグメント化は、境界またはアウトラインを明示的に生産することなく、人物に対応するデータの領域またはサブセットを暗示的に識別し得る、またはセグメント化は、人物に対応するものとしてそれらのデータフレーム内のいずれの具体的データも識別またはマーキングすることなく、1つ以上のデータフレームから取得された1つ以上の特徴が、人物がそれらのデータフレーム内に存在することを決定するために十分であると暗示的に結論し得る。
【0212】
センサ:本明細書で使用されるように、「センサ」は、シーンの測定値を記録するために使用されるデバイスを指す。センサの実施例は、限定ではないが、飛行時間(ToF)センサ、カメラ、ボロメータ、音響トランスデューサ、LIDAR、および人物または環境の静的または動的データストリームを捕捉するために使用される任意の他のセンサモダリティを含む。センサは、例えば、1次元、2次元、または3次元センサであり得る。1次元データの実施例は、マイクロホン、温度計、光センサ、および距離センサを含む。2次元データの実施例は、写真、ビデオ、赤外画像、熱画像、およびその他を含む。3次元データの実施例は、奥行きマップおよびポイントクラウドを含む。
【0213】
センサベースのデータ:本明細書で使用されるように、「センサベースのデータ」は、人物または周辺環境の任意の側面を測定するために任意のセンサから取得されるデータを指す。センサベースのデータの実施例は、画像(視覚、赤外線)、温度(ボロメータ)、および音響(超音波)を含む。センサベースのデータは、観察されているシーンの「特徴」、すなわち、測定値を生成するために使用される。本明細書に説明されるように、特徴は、静的または動的であり得る。静的特徴は、ある着目時間周期(例えば、数日から数週間、実施例は、人物の身長である)にわたって緩慢にのみ変化する、または決して変化しない。動的特徴は、ある着目時間周期(例えば、数分から数時間、実施例は、人物の歩行速度である)にわたってかなり変化する。
【0214】
骨格データ:本明細書で使用されるように、「骨格データ」は、関節の空間内のおおよその場所または他の不明瞭かつ/または拡散した解剖学的構造から成るデータを記述する。例えば、骨格データは、別個に取得された奥行きおよび/または画像データから、またはそれに関して判定され得る。米国特許第9,341,464号(参照することによってその全体として本明細書に組み込まれる)に説明されるように、視野に関する骨格データを取得する、計算する、または別様に生成する多くの方法が存在する。
【0215】
スナップショット:本明細書で使用されるように、「スナップショット」は、特定の瞬間に先行して、またはその時点のいずれかで取得された1つ以上のデータストリームの単一のフレームを指す。
【0216】
静的特徴:本明細書で使用されるように、「静的特徴」は、着目時間周期にわたって(例えば、数秒、数分、または数時間にわたって)時間とともに緩慢にのみ変動する、または全く変動しない特徴を指す。エンジニアリング専門用語では、前述の定義と同義の形容詞は、「準静的」である。どのレベルの分散が「緩慢」と見なされるかは、恣意的かつ用途依存性であり、絶対的用語において(例えば、固定数として)、または相対的用語において(例えば、標準偏差として、または測定値と繰り返しの測定値の平均との比率として)定義され得る。静的特徴は、データの単一のフレーム(同時存在セット)から、または時間または空間において連続的であり得る、または連続的ではない場合がある複数のフレームから判定または測定され得る。上記に説明されるように、静的特徴の測定された値(または測度)は、例えば、センサ測定値における変動または雑音またはセンサの視野(FOV)における限定に起因して、その実際の現実世界の値とは異なり得る。複数のフレームが、静的特徴の測定される精度または信号対雑音を改良するために集約され得る。静的特徴の実施例は、身長、肩から肩までの幅、頭部体積を含む。
発明を実施するための形態
【0217】
請求される発明のシステム、アーキテクチャ、デバイス、方法、およびプロセスは、本明細書に説明される実施形態からの情報を使用して開発される変形例および適合を包含することが想定される。本明細書に説明されるシステム、アーキテクチャ、デバイス、方法、およびプロセスの適合および/または修正は、本説明によって想定されるように実施され得る。
【0218】
物品、デバイス、システム、およびアーキテクチャが、具体的構成要素を有する、含む、または備えるものとして説明される、またはプロセスおよび方法が、具体的ステップを有する、含む、または備えるものとして説明される、本説明全体を通して、加えて、列挙される構成要素から本質的に成る、またはそれから成る、本発明の物品、デバイス、システム、およびアーキテクチャが存在し、列挙される処理ステップから本質的に成る、またはそれから成る、本発明によるプロセスおよび方法が存在することが想定される。
【0219】
ステップの順序またはある行為を実施するための順序は、本発明が動作可能なままである限り、重要ではないことを理解されたい。さらに、2つ以上のステップまたは行為が、同時に実行されてもよい。
【0220】
例えば、背景の節における任意の公開の本明細書における言及および/または背景の節における任意の概念の説明は、公開または概念が本明細書に提示される請求のいずれかに関する従来技術としての役割を果たすことを承認するわけではない。背景の節は、明確化を目的として提示され、任意の請求に関する従来技術の説明を意味しない。
【0221】
文書が、留意されるように、参照することによって本明細書に組み込まれる。特定の用語の意味においていずれかの矛盾が存在する場合、上記の定義の節において提供される意味が、優先される。
【0222】
人物を識別しながら、その同一の人物のプライバシーを保護することは、一見すると誤称または逆説に思える場合がある。しかしながら、いくつかの実施形態では、本発明の目標は、人物の視覚的外観、服装の状態、人物が読んでいる、またはTVで視聴しているもの等のプライベート情報を暴露することなく人物を識別することである。さらに、ある実施形態では、目標は、全世界の全ての人を識別することではなく、むしろ、家庭における人物等の人物の少数のセットのみを識別することである。開示される技術は、それらが動き回り、センサから離れているときであっても、かつ複数の個人が同時に存在するときであっても、これらの個人の識別を可能にする。
【0223】
開示される技術は、とりわけ、医療、安全、および/または在宅ケア目的のために人物を識別および追跡する能力を可能にする。特に重要なことは、変性疾患(例えば、多発性硬化症)の進行を追跡することまたは処置またはリハビリテーションの有効性を監視すること等の長期患者監視を要求する用途である。そのような目的は、縦断的データが、経時的にその人物(例えば、患者)に添付され得るように、人物の識別が判定されることを要求する。
【0224】
実験室等の研究状況は、制御され、言い換えると、臨床医または科学者等の誰かが、家具およびデバイスの精密な配置、人物(オペレータおよび研究対象を含む)の厳密な活動等を指示することができる。対照的に、人物の家等の現実世界の状況は、制御できず、言い換えると、外部の関係者は、デバイス配置、人間の活動等を殆どまたは全く制御できない。これは、現実世界における使用のために設計された人物識別ソリューションが、事前通知なしで事象が起こり得、物体が変化し得る制御できない環境であっても、人物識別ソリューションが自律的に適応し得る要件を満たしながら、人物を識別することにロバストでなければならないことを意味する。
【0225】
人物に関連する変化の実施例は、今日装着する衣類の選択肢、体重の増減、最近のヘアカット、眼鏡を装着しているかどうか、姿勢および注視、他の人物との口頭および身体的相互作用を含む。局所的環境に関連する変化の実施例は、センサ場所または再配置、ライトのオンまたはオフ、新しい家具、家の建造を含む。開示される技術は、(例えば)ちょうど説明された変化への適応を含め、制御された環境(例えば、実験室)および制御できない環境(例えば、現実世界)の両方の多種多様な環境を取り扱うように設計される。
【0226】
開示される技術は、ある実施形態では、識別されるべき人物が種々の方法で動き回る際、正確度を減少させるのではなく、正確度を改良しながらこれらの目標を遂行する。ある実施形態では、開示される技術は、単一の特徴または属性への依存性を不要にすることによって、人物識別におけるエラーのマージンを低減させ得る。例えば、顔認識は、典型的には、顔全体の接写画像を要求し、したがって、対象がカメラを向いていないと失敗する。例えば、歩き方認識は、典型的には、具体的歩行経路の妨げられていないビューを要求し、したがって、対象が静止する、または経路から外れると失敗する。
【0227】
いくつかの現代の人物識別ソリューションは、累積正確度を改良する試みにおいて、単独識別の複数の方法(顔、声、および指掌紋等)を組み合わせる。対照的に、開示される技術は、ある実施形態では、(それぞれ単独では)単独識別の手段として作用しない場合があるが、組み合わせられると、制御できない環境においてさらに高い正確度およびよりロバストな動作を提供する特徴を採用する。このように、開示される技術はまた、ある実施形態では、任意の1つのセンサタイプから、または任意の1つのセンサ配置からのデータ取得における欠陥に対する相対的ロバスト性を提供し、したがって、任意の単一のセンサモダリティにわたってより広い範囲の動作条件を提供する。
【0228】
さらに、医療用途のためのソリューションは、プライバシーの懸念に対処しなければならない。例えば、人物は、その服装または脱衣の状態、人物が読んでいるもの等を示し得る、ビデオカメラまたは類似するデバイスのその家への配置に反対する場合がある。開示される技術は、ある実施形態では、写真の使用を回避し、したがって、ユーザプライバシーおよびセンサアーチファクトに対するロバスト性(例えば、センサからの異なる距離における正確度の変化に対するロバスト性)を維持し、複数のセンサまたは異なるモダリティのセンサをプライバシーに敏感な場所を含む種々の場所に配置する必要性を低減または排除し得る。
【0229】
本明細書に説明されるシステムおよび方法は、痛み、疲労、気分、および意図を検出および/または定量化するために、1つ以上のセンサから収集されたデータに基づいて、1人以上の人物を識別すること、および/または1つ以上のセンサによって取得されるデータからの直接および/または間接的測定値を使用して、移動、活動、および挙動を特性評価することに関連する。
【0230】
センサからのデータは、不完全であり得る、またはノイジーであり得る、またはタイプおよび精度において異種であり得る、または経時的に変動し得る。任意の特定の瞬間における、または任意の特定の空間内の場所における各センサからのデータは、各人物の正しい識別を実施するためにそれ自体では不十分であり得る、および/または個人の移動、活動、または挙動を特性評価するためにそれ自体では不十分であり得る。
【0231】
いくつかの実施形態では、本発明の方法およびシステムは、空間および/または時間にわたって、センサからの異なるフラグメント化されたデータを集約し、次いで、各人物の正しい識別を実施するように、各人物の1つ以上の静的および/または動的特徴を計算するために組み合わせられたデータを採用する。留意すべきこととして、人物識別のために使用される特徴は、本明細書にさらに説明されるように、どの特徴が実際に利用可能であるかに応じて(順に、環境物体による人物の閉塞、センサに対する人物の配向等に依存する)、同一のシーン内であっても人物毎に異なり得る。
【0232】
いくつかの実施形態では、開示される技術は、単一の、いくつかの組み合わせの、またはいくつかの異なる群の組み合わせの便宜的に収集された測定値から移動または挙動を推測または別様に特性評価する能力を提供する。これらの測定値の組み合わせまたは組み合わせのセットは、当該移動、活動、または挙動の特性評価における信頼性を達成するために統合され得る。
【0233】
多くの現代の方法と対照的に、本明細書に説明されるシステムおよび方法は、単一の測定値または測定値の任意の固定された組み合わせが、着目移動、活動、または挙動を推測するために使用されることを要求しない。代わりに、便宜的に収集された、いくつかの異なるタイプおよび組み合わせの測定値の統合が、着目移動、活動、または挙動を推測するために使用されることができる。本能力は、ノイジーな、現実世界の、または他の制御できない状況に適応させるために重要である。
【0234】
移動、活動、または挙動を測定する(包括的ではない)実施例は、以下である。例えば、脚がビューから閉塞されているときに人物の歩幅長さを測定するために、本システムは、経時的に頭部の開始および停止位置(すなわち、移動を伴う頭部の上下)の測定値を介して間接的に歩幅長さを計算し得る。例えば、口が形状認識のために遠すぎるときに食事活動を検出するために、本システムは、胸高さから顎高さへの手の繰り返される移動(手の揺れ)の検出に依拠し得る。例えば、腰が衣類によって不明瞭であるときに立位から座位への移動を検出するために、本システムは、頭部高さの測定に間接的に依拠し得る。
【0235】
痛み、疲労、気分、または意図を検出および/または測定する(包括的ではない)実施例は、以下である。例えば、人物の疲労のレベルを定量化するために、本システムは、固定された時間周期にわたって進んだ歩数、または肩の落ち込み、または顎の下向き角度、または着座して費やした時間の量、または座位から立ち上がるためにかかった時間の量、または歩行速度の変化、または姿勢、または垂直からの脊柱角度、またはこれらの特徴のいくつかまたは全ての組み合わせを測定し得る。例えば、人物の制限されたエリアの中に忍び込む意図を検出するために、本システムは、人物の歩き方のコンポーネント、または歩行軌跡、または注視の方向、または姿勢、または顔特徴の側面、またはこれらの特徴のいくつかまたは全ての組み合わせを測定し得る。例えば、股関節痛の変化を定量化するために、本システムは、歩行に費やした時間、または杖を使用して費やした時間、または歩行速度、またはこれらの特徴のいくつかまたは全ての組み合わせを測定し得る。例えば、気分の変化を定量化するために、本システムは、手の速度、または腕高さ、または姿勢、または頭部の傾斜、または全体的移動の速度、または顔特徴の側面、または言葉の発声のフーリエ分析、またはこれらの特徴のいくつかまたは全ての組み合わせを測定し得る。例えば、人物の特定の場所まで歩行する意図を検出するために、本システムは、歩行速度の変化または定常状態からの歩行の開始が存在する前であっても、目的地を向くための上半身および下半身の両方の角度の変化を測定し得る。例えば、人物の、例えば、バックパックをある場所に残す意図を測定するために、本システムは、その場所に立ちながら身体からバックパックを外し始めることを測定し得る。これらの実施例のそれぞれでは、精神的知覚または意図が、身体の身体的測定値を介して検出および/または定量化される。
【0236】
リアルタイムか記憶されるかを問わず、種々のデータストリームおよび測定値を便宜的に利用することによって、開示される技術は、特定の着目数量の直接観察または測定が利用可能ではないとき(代理物または導出される値から特定の着目数量を推測することによって)、運動の測定値を提供する。推測は、時々で利用可能であるどの特徴に基づいて計算されてもよく、利用可能な特徴は、データのフレーム毎に変動し得る。測定値の妥当性は、信頼性閾値が満たされるまで、便宜的に収集されたデータの断片を組み合わせることによって判断され得る。
【0237】
ある実施形態では、測定値のコンポーネント、例えば、どの特徴か、特徴の数、およびデータ取得のどの最小または最大時間周期かが、規定される。開示される技術は、必要とされるデータが取得されている限り、着目数量の遡及計算のために使用されることができる。特徴は、連続的である、または逐次的に収集される必要はない。移動、活動、または挙動のフラグメント化および/または推測される知識は、便宜的に収集され、所望の信頼性閾値に到達するまで統合されることができる。
データ取得および事前処理
【0238】
図1Aは、例証的実施形態による、人物を識別するための方法の実施例のフローチャートである。図1Aのアプローチは、データ取得ステップ105で開始される。本ステップでは、データセットが、作成される、または記憶装置からロードされる。データセットは、能動的に(例えば、センサは、データを取得することに従事する)か、または受動的に(例えば、データは、ファイルからロードされる)かのいずれかで、シーンの測定値から取得されるセンサデータを含有する。データセットは、1つ以上のセンサに由来し得る。データは、センサから直接取得される(例えば、未加工データ)、および/または付加的処理を受けているデータであり得る。取得されたデータセットは、1つ以上のフレームを備え得、各フレームは、特定の瞬間に取得されたデータを備える1つ以上のデータストリームの「スナップショット」に対応する。1つ以上のフレームは、複数の時点において単一のセンサによって取得される、複数のセンサによって取得される、またはそれらの任意の組み合わせまたは併合によって取得され得る。データセットは、略リアルタイムで(例えば、「ライブ」データフィードを通して)取得され得る、バッチモード(例えば、記憶およびサービシング)で取得され得る、またはデータベース内に以前に記憶されたデータから取得され得る。ステップ105は、奥行きデータまたは他のタイプの入力データ(例えば、ボロメトリ、音響、または無線周波数)から計算される多種多様な測定値、属性、および特徴を包含し得る。
【0239】
ステップ107は、随意に、非プライペートと見なされ得る、すなわち、着目用途において人物のプライバシーを危険に晒し得る色画像データ(写真)等のデータのタイプを破棄する。
【0240】
ステップ110-120は、データセットを処理し、特徴を計算する。ステップ110は、後続分析のためにデータをフィルタ処理し、条件付けし、クリーニングし、および別様に事前処理する。ステップ110は、未加工データおよび/または計算された特徴に対して実施される、多種多様な処理および数学的演算を包含し得、随意に、(例えば)画像サイズ変更、キーポイント検出、二値化、セグメント化、配向勾配のヒストグラム(HOG)、エッジ検出、および固有画像分解等の数学的演算を介して、新しく導出されるデータストリームを生成し得る。ステップ115は、随意に、存在する場合、相互に、家具等の無生物物体から、および周辺環境からデータセット内の人物をセグメント化(分離)する。ステップ120は、まだ識別されていない人物に対して測定を実施し、それによって、特徴を計算する。ステップ125は、それらの特徴を使用し、シーン内の1人以上の人物を識別する。ステップ125の出力は、ルールイン識別(「本人物はおそらくBobである」)、またはルールアウト識別(「本人物はおそらくBobではない」)、または未知(「本人物がBobであるかどうかを見分けるために十分な情報が存在しない」)であり得る。ステップ125の出力は、0~1の信頼性スコア等の確率の測度を含み得る。
【0241】
いくつかの実施形態では、図1Bおよび1Cに示されるように、ステップ120において計算された特徴は、それぞれ、ステップ155および165において結論を出力するために使用される。いくつかの実施形態では、図1Bに示されるように、特徴は、ステップ135において事前判定された関係と相関され、ステップ155において結論を出力する。いくつかの実施形態では、図1Cに示されるように、特徴は、ステップ135において、グラウンドトゥルース175に基づく学習された関係と相関され、ステップ165において結論を出力する。
【0242】
いくつかの実施形態では、図1Dに示されるように、特徴は、ステップ125において人物を識別することおよびステップ180において結論を出力することの両方のために使用される。本例示的実施形態では、ステップ120からの計算された特徴は、ステップ180において事前学習された関係または学習された関係のいずれかと相関され、ステップ185において結論を出力する。
【0243】
図2A-2Cは、シーンを測定し、代表的データセットを生産するための例示的アプローチおよびセンサを図示する。
【0244】
いくつかの実施形態では、図2Aに示されるように、フレームは、少なくとも奥行きデータを含有し、奥行きデータは、ピクセルの2次元「奥行きマップ」(すなわち、マトリクス)として表され、各奥行きマップの2次元は、センサに由来する現実世界の空間軸に対応し、各ピクセルの強度値は、センサからの投影距離(つまり、センサを通過する第1の垂直平面とシーン内の物体を通過する第2の垂直平面との間の水平距離)に対応する。各フレームが、具体的時間に取得されるシーンの測定値に対応する複数のフレームが、写真可視光画像がビデオを形成するように順序付けられる方法と同様に、経時的に奥行きデータの発展を形成するように順序付けられ得る。
【0245】
いくつかの実施形態では、図2Bに示されるように、センサが、部屋、例えば、それを通して人物215が横断している人物の家内の居間210内に配置され、人物がセンサ212に偶然近接しているときは常に、人物の奥行きデータを取得する。図2Cに示されるように、センサ212によって取得された奥行きデータはさらに、人物220を家具またはペット等の他の物体からセグメント化(分離)するために処理され得る。
【0246】
図3A-3Mは、上記に説明されるように奥行きデータを取得および処理するためのシステムの出力の実施例を提示する。図3Aは、その中で人物が部屋を歩き回る視野に関する従来のビデオからのフレームを示す。図3Bは、図3Aと同一の視野および同一の瞬間に関する奥行きデータのフレームを示す。図3Bの奥行きデータにおけるピクセルは、色分けされ、先に説明されるようなセンサからの投影距離を表し、より暗いピクセルは、センサにより近接する位置に対応する。特に、図3Bは、奥行きデータが人物のプライバシーを保全するために役立つ様子を示し、人物の全体的輪郭は、明確に可視であるが、顔または衣類上に印刷されるロゴ等の画像等の詳細は、可視ではない。図3Cは、いわゆる骨格データのフレームを示し、人物の骨格の関節が、図3Aおよび3Bと同一の視野および同一の瞬間に関して推定される。図3Dは、いわゆる軌跡データのフレームを示し、人物の場所および瞬間的歩行速度が、経時的にプロットされる。
【0247】
図3E-3Mは、人物のグループ内から単一の着目人物「Tim」を識別(標識化)するように構成される、本発明の実施形態のセンサの視野内の個人のスクリーンショットを提示する。ある実施形態では、人物識別は、奥行きデータのみを使用して、例えば、赤外線飛行時間センサを使用して実施される。図3E-3Gに示されるように、本システムは、いくつかの実施形態では、センサから異なる距離における、かつ視野内の他の人物に対する異なる相対的配向における「Tim」を正しく識別する。図3H-3Iに示されるように、本システムは、いくつかの実施形態では、「Tim」がセンサによるビューから部分的に閉塞されている(図3H)、または通常ではない姿勢を採用している(図3I)ときに「Tim」を正しく識別する。図3J-3Mに示されるように、本システムは、いくつかの実施形態では、センサに対して異なる配向における(例えば、「Tim」が側方を向いている、または完全にセンサから離れるように向いているとき)「Tim」を正しく識別する。
【0248】
いくつかの実施形態では、図3E-3Mに示されるように、本発明は、「Tim」を識別するように構成される。しかしながら、本システムは、他の人物(「John」および「Zeb」)のうちの1人以上の人を識別する、または人物のそれぞれを同時に識別し得る。とりわけ、顔認識等の現代の人物識別の方法は、図3E-3Mに実証されるものと類似する(例えば、センサからの距離、視野からの閉塞度、およびセンサに対する相対的配向の)条件下で人物を正確に識別することができない。
【0249】
ある実施形態では、本発明の方法およびシステムの目的は、視野内の人物を正しく識別(標識化)することである。図3A-3Dの実施例では、視野内の人物は、図1に示されるフローチャートの結論において「Victoria」として識別される。図3E-3Mの実施例では、視野内の単一の着目人物は、図1に示されるフローチャートの結論において「Tim」として識別される。
【0250】
いくつかの実施形態では、図13Aに示されるように、人物を識別する、および/または痛み、疲労、気分、または意図を識別および定量化するためのシステムが、奥行きデータを取得するための赤外線飛行時間センサ1305を含有し得る。いくつかの実施形態では、本システムは、プロセッサと、命令を記憶するためのメモリ1315と、これらのコンポーネントのための筐体1335とを含有し得る。いくつかの実施形態では、本システムは、人物識別に関連するグラフィカル情報および/または識別および/または人物の痛み、疲労、気分、または意図の数量をレンダリングするためのディスプレイ1325を有する。いくつかの実施形態では、ディスプレイ1325は、本システムの視野内の人物の表現(例えば、図3E-3Mに示される人物の表現)を示す。いくつかの実施形態では、図13Aに示されるシステムは、視野内の人物(例えば、「Zeb」、「Tim」、および「John」)の色画像を取得するためのカメラ1345を有し得る。いくつかの実施形態では、ユーザプライバシーを保護するために、人物の写真は、取得されない。例えば、図3E-3Mに実証される人物識別は、奥行きデータのみを用いて実施された。
【0251】
図13B-13Dは、図13Aに図式的に描写される例示的システムの実施形態の画像を提示する。例えば、図13B-13Dに示されるデバイスは、人物識別を実施し、図3E-3Mに示されるスクリーンショットを捕捉した。
【0252】
いくつかの実施形態では、1つ以上のセンサによって取得されるデータは、図3Bに示される奥行きデータ等のセンサから直接の未加工データに対応する、または図3Cおよび3E-3Mに示される骨格データ等の未加工データから導出される測定値に対応する、または図3Dに示される軌跡データ等の種々のソースから導出される測定値に対応し得る。
【0253】
上記に説明される実施形態は、代表的実施例を提供するが、それらは、包括的ではなく、限定と見なされるべきではない。人物の特徴およびその環境を測定および記録するための種々のシステムおよび方法が、可能であり、本明細書に説明されるアプローチに組み込まれ得ることが、当業者に明白となるはずである。
人物セグメント化
【0254】
ステップ105のデータセット取得およびステップ110のデータセット事前処理に続いて、続くデータセットは、随意に、ステップ120および125において続けて識別されるであろう人物をセグメント化するために、ステップ115において処理され得る。言い換えると、ステップ115では、ステップ120および125において続けて識別されるであろう単一の人物に対応する、奥行きマップにおけるピクセルの(またはデータの別の表現のコンポーネントの)集合が、選定される。セグメント化は、データセットのフレームのうちの1つ、そのいくつか、またはその全てを使用して実施され得る。
【0255】
ゼロ人、1人、または1人を上回る人物が、データの各フレーム内でセグメント化され得る。いくつかの実施形態では、本システムおよび方法は、奥行きデータ、骨格データ、および/またはピクセル標識データを使用し、どのピクセルが動物、物体、または環境とは異なるものとして人間に対応するかをセグメント化し得る。1つまたは1つを上回るタイプのデータが、セグメント化のために利用され得、奥行き、骨格、およびピクセル標識データの代用として、またはそれに加えて、ボロメトリ、サーモグラフィック撮像、衣類テクスチャ、髪または皮膚の色、および多くの他のタイプ等のデータタイプを含み得る。
【0256】
多種多様な方法が、人物のセグメント化のために使用されることができる。ある実施形態では、奥行きデータが、人物をセグメント化するために使用され得る。例えば、その形状が球体(頭部)および対合された円筒(腕)にほぼ対応する空間的物体の集合は、単一の人物である可能性が高い。例えば、両方が移動しており、それぞれ、床の上方に所与の閾値を超える垂直範囲を伴い、それぞれ、所与の閾値距離を超える水平間隔を伴う、居間内の2つのぼんやりとしたような物体は、2人の異なる人間である可能性が高い。別の実施例では、放射熱痕跡または観察される衣類テクスチャにおける差異を呈する2つの物体は、2人の異なる人間である可能性が高い。
【0257】
ある実施形態では、セグメント化は、機械学習および/またはパターン認識技法(例えば、Convolutional Neural Network、Random Forest、Support Vector Machine、単純なベイズマシン、および/またはクラスタリング技法)を使用して実施され得る。例えば、いくつかの実施形態では、Convolutional Neural Networkは、明示的なセグメント化を生成し、ステップ120および125において続けて識別されるであろう人物の境界またはアウトラインを生産し得る。さらに、いくつかの実施形態では、Convolutional Neural Network は、人物の明示的なアウトラインを伴わずに、ステップ120および125において続けて識別されるであろう暗示的なセグメント化を生成するために使用されることができる。
【0258】
いわゆる数学的「カスケード差」演算が、視野内の各人物のおおよその形状または輪郭を分離するために採用され得る。実施例が、以下のように提供される。フレーム毎に変化する輪郭の重心が、人物等の移動する物体を静止する無生物物体から区別するために使用され得る。フレーム毎に変化する輪郭のアウトラインが、人間の形状を動物または無生物物体のものから区別するために使用され得る。上記に説明される方法および多くの他の方法が、時間および/または空間にわたってデータの1つ以上のフレーム内のゼロ人、1人、または1人を上回る人物をセグメント化するために利用され得る。
【0259】
説明される実施形態では、複数の固有の人物がステップ115においてセグメント化され得るが、その識別は、まだ判定されていない。各固有の(セグメント化された)人物は、ステップ115中、その間に、例えば、「人物1」、「人物2」、「人物3」等として恣意的に標識化され得る。ステップ120は、次いで、人物毎に特徴測定値を判定し、ステップ125は、各人物を識別する(したがって、人物に関する識別が、ルールインされる、ルールアウトされる、または未知として確立される)。
特徴抽出および計算
【0260】
いったんデータセット内の固有の(セグメント化された)人物のセットがステップ115によって判定されると、データセットは、次いで、それらの人物毎に特徴を抽出および計算するために、ステップ120において処理される。ゼロ人、1人、または1人を上回る人物が、ステップ120によってその特徴を確認され得る。人物毎に、ゼロ、1つ、または1つを上回る特徴が、抽出され得る。同一または異なる特徴が、同一のシーン内または同一のフレーム内の異なる人物に関して計算され得、例えば、センサに対して異なる配向の人物または異なる身長の人物が、計算するための異なる特徴を割り当てられ得る。ステップ120によって抽出された特徴は、続けて、人物識別を実施するために、ステップ125内で利用されるであろう。
【0261】
概して、本発明の方法およびシステムのある実施形態によって分析されるデータは、不完全または曖昧であり得る、または非連続時間フレームにわたって取得され得るため、ステップ120の重要なタスクは、どの特徴がフレーム内の人物毎に計算され得、計算されるべきかを決定することである。例えば、人物がデータ収集周期における全ての時間にセンサから離れるように向いている場合、人物の顔微細構成(例えば、鼻形態)は、利用不可能であり、人物識別は、完全に異なる特徴に依拠しなければならない一方、人物が時として離れるように向いており、時として向かうように向いている場合、潜在的な顔微細構成測定値の可用性および品質は、その相対的重要性およびステップ125の人物識別における後続組み込みを決定付けるであろう。例えば、人物がセンサに対して横を向いている場合、かつ特定のセンサによって生成された骨格データの品質が、そのような人物配向において劣化することが事前に把握されている場合、その骨格データは、ステップ125の人物識別において使用され得ない。このように、どの特徴を計算するか、したがって、どの特徴が人物識別において最終的に使用されるかの選択は、人物毎に変動し得、同一の人物に関してフレーム毎に変動し得る。
【0262】
いくつかの実施形態では、ステップ120において特定の特徴を計算するかどうかを判定する際、他の特徴と比較した特定の特徴の相対的重要性は、最初に、優先順位付け、ランキング、または下位分類等の補助プロシージャを通して判定され得る。さらに、どの特徴がフレーム内の人物毎に計算され得、計算されるべきかを判定することは、ユーザが特定の用途のために重要と見なす利用可能なセンサデータと併せて特徴のライブラリを使用して遂行されることができる。例えば、2D画像のみが使用される場合、3D特徴は、そのレベルの情報とともに利用可能ないかなる未加工データも存在しないため、使用されることができない。同様に、骨格特徴は、奥行きカメラが存在しない場合、使用されることが可能ではない場合がある。
【0263】
図4のフローチャートは、ステップ115においてセグメント化された異なる人物に関する特徴を計算するための例示的方法を提供する。
【0264】
ステップ405は、セグメント化された人物毎に身体の部分を分離する。ステップ405は、データセットの特質、センサのタイプ、人物に対して利用可能な非閉塞(すなわち、「可視」)データの量、計算のために利用可能な特徴のライブラリ、およびステップ125において選択された分類プロセス等の因子に基づいて、どの部分を分離するかを判定する。いくつかの実施形態では、身体部分は、機械学習および/またはパターン認識技法(例えば、Convolutional Neural Network、Random Forest、Support Vector Machine、単純なベイズマシン、および/またはクラスタリング技法)を使用して、ステップ405において分離される。どの部分が分離されるかは、同一のフレーム内であっても、人物毎に異なり得る。例えば、フレーム内の「人物1」は、それらがセンサに可視であるため、脚を分離され得る一方、同一のフレーム内の「人物2」は、それらがテーブルによってセンサから閉塞されるため、脚を無視され得る。
【0265】
例えば、図3Cに示されるような骨格表現を生産するために処理された図3B等に示されるような奥行きデータから構成されるデータセットは、図3Cの線区画によって示されるように、3次元空間内のおおよその関節位置によって画定される身体部分にパーティション化され得る。身体部分を画定するための方法のいくつかの実施例が、米国特許第9,341,464号(参照することによってその全体として本明細書に組み込まれる)に説明されている。
【0266】
上記に留意されるように、センサおよび他の人物または物体に対するシーン内の人物の位置、配向、および移動に応じて、人物の部分は、時として、または完全に、センサのビューから隠され得る。その結果、人物のセグメント化された表現をともに構成する全ての部分が、全てのフレーム内で利用可能なわけではない場合がある。
【0267】
いくつかの実施形態では、どの特徴を後続人物識別(ステップ125における)のために使用するかの優先順位付け(ステップ120における)は、人物の部分の可用性に依存する。例えば、頭部のみが存在する場合、胴の形状は、後続人物識別のために使用され得ない。例えば、頭部および胴の一部が、最小閾値数のフレームにわたって存在する場合、その存在は、胴の残りの大まかなアウトラインを推定するために十分であり得、したがって、胴の形状は、後続人物識別のために使用される。例えば、頭部が存在し、センサに向かって配向される場合、耳から眼までの距離および眼間距離が、後続人物識別のために使用され得る。このように、身体部分の可用性は、特徴の選択を判定することに役立つ。ある実施形態では、本発明の方法およびシステムは、経時的に異なる身体部分の異なる可用性を利用し、全てが同一の人物にマッピングされ、全てが後続人物識別のために使用される異なる特徴を経時的に計算し得る。
【0268】
ステップ415は、ステップ405において分離された身体部分毎に測定されるべき現実世界の属性を識別する。属性のリストの生成を指す、ステップ415における単語「識別」の使用は、人物の標識化を指す、ステップ125における単語「識別」の使用とは異なる。上記に説明されるような属性の実施例は、体積、円周、長さ、空間的場所、および数学的計算(例えば、Convolutional Neural Networkによって実施される計算)を含む。属性を識別するための方法のいくつかの実施例が、米国特許第9,341,464号(その内容が、参照することによってその全体として本明細書に組み込まれる)にさらに説明されている。各身体部分は、ゼロ、1つ、または1つを上回る属性を含み得る。いくつかの実施形態では、本発明の方法およびシステムは、Random Forests、Support Vector Machines、およびConvolutional Neural Networks等の機械学習の方法を使用して、スッテップ415においてどの特徴を識別するかを自律的に判定し得る。
【0269】
ステップ425は、ステップ415の属性に対応する静的特徴を計算する。静的特徴の実施例は、図5Aに示される。各静的特徴は、1つまたは1つを上回るフレームに基づいて計算され得る。各静的特徴は、1)単一の身体部分の属性、2)異なる身体部分の属性間の関係、または3)環境の属性および/または1つ以上の身体部分に対する環境的関係に対応して計算され得る。単一の身体部分の属性に基づいて計算される静的特徴の実施例は、頭部サイズ、胴長さ、水平(地面)に対する胴傾斜、鼻形態、および眼間距離を含む。異なる身体部分の属性間の関係に基づいて計算される静的特徴の実施例は、肩から肘までの長さおよび肩から肩までの長さと腰から腰までの長さとの比率を含む。顔認識(数学的固有顔)は、静的特徴の別の実施例であり、さらに、概して、静的特徴は、(限定ではないが)身体部分の2次元画像および/または3次元形態を含む、ステップ105および110のデータの任意のサブセットを含む、組み込む、または別様に利用し得る。静的特徴の計算された測度は、基本的な属性が現実世界において一定であるときであっても、例えば、閉塞およびデータ雑音に起因して、フレーム毎に変動し得ることに留意されたい。
【0270】
静的特徴は、概して、単一のフレームのみを使用して計算され得るが、実践では、多くの場合、複数のフレームが、雑音を考慮し、精度を改良し得る数学的演算、例えば、1つ以上の逐次的(必ずしも連続的ではない)フレームのローリングバッファにわたって行われる移動平均またはメディアンフィルタを利用するために、静的特徴を計算するために使用される。
【0271】
ステップ435は、ステップ415の属性に対応する動的特徴を計算する。動的特徴の実施例は、図5Bに示される。各動的特徴は、具体的時間に取得される1つ以上のフレームに基づいて計算され得る。各動的特徴は、1)経時的な単一の身体部分の属性の変動、2)経時的な異なる身体部分の属性間の関係の変動、または3)経時的な(#1および#2に説明されるような)人物の異なる身体部分に対する環境またはその関係の変動に基づいて計算され得る。#1の実施例は、頭部の方向転換、挙手、体温、身体部分の形状またはサイズ、およびセンサに対する身体関節の配向を含む。#2の実施例は、センサに対する全体的身体配向を含む。#3の実施例は、部屋内の特定の椅子に近接する人物の頻度またはセンサに対する人物の距離を含む。いくつかの動的特徴は、複数の測定経路を享受し、例えば、歩行速度および歩幅長さが、それぞれ、経時的に頭部平行移動(1つの身体部分)を測定することによって、または経時的に相互に対する2つの脚の位置(2つの身体部分)を測定することによって計算され得る。
【0272】
いくつかの実施形態では、動的特徴は、単一のフレームから計算されることができる。例えば、センサに対する瞬間的身体配向は、奥行きデータの単一のフレームのみから推定されることができる。しかしながら、歩行速度等の多くの動的特徴は、経時的な複数の測定を要求する。簡易化するために、動的特徴は、本明細書では、異なる時間における2つ以上のフレームを要求すると仮定されるが、しかしながら、類似方法が、単一のフレームに依存する動的特徴のために利用可能なままであることを認識する。
【0273】
動的特徴の実施例は、歩行速度である。図3Dは、人物の瞬間的歩行速度が経時的に測定される実施形態の実施例を示す。本実施形態の最も単純な形態では、人物の瞬間的速度は、2つのフレームを横断する人物の3次元空間内の水平平行移動を、それらのフレーム間で経過した時間で除算することによって測定される。精度を改良するために、そのような計算は、複数のフレーム(「ウィンドウ」)の集合を横断して平均化され得る、またはデータにおける雑音を補償するために、種々の数学的演算を使用し得る。
【0274】
静的特徴のように、いくつかの動的特徴は、任意または全てのフレームにおける測定のために利用不可能であり得る。例えば、床の上での足踏に対応する、いわゆる「ヒールストライク」は、連続的足踏を測定するために、最小連続数のフレームにわたって人物の脚および/または足の妨げられていないビューを要求し得る。
【0275】
ともに、ステップ425および435は、1つ以上のデータのフレームからステップ405によって生成されたゼロ以上の身体部分からステップ415によって識別されたゼロ以上の属性の集合から、ゼロ以上の静的特徴、加えて、ゼロ以上の動的特徴のセットを抽出する。
【0276】
ステップ445は、次に説明されるように、静的特徴および動的特徴の集合に優先順位を付ける、および/またはそれを調節する。
【0277】
所与の特徴の優先順位付けは、特徴が利用可能であるかどうか、およびさらなる処理ステップ内に含まれるべきであるかどうかを選定することを意味する。(上記に留意されるように、特徴は、異なるセンサ、時間、および場所を横断して集約され得る、同一のシーン内または同一のフレーム内の人物毎に異なり得る、および/または同一の人物に関してであってもフレーム毎に異なる割当を有し得る。)いくつかの実施形態では、本発明の方法およびシステムは、ステップ445における品質メトリックをステップ425および435によって生成された特徴に割り当てる。例えば、品質メトリックは、関連身体部分の閉塞の量または特徴が経時的に実証する数学的分散(安定性)に基づき得る。445において割り当てられる各品質メトリックはまた、限定ではないが、ステップ135、145、および180を含む、他のステップにおいて使用され、特徴のセットが識別または結論を生成するために採用される程度を均衡させる、または別様に重み付けし得る。
【0278】
所与の特徴の調節は、周囲または環境条件に応答して特徴を補正することを意味する。例えば、各特徴は、いわゆる「オフセット補正」され、特徴のセットにおける特徴が全て、必要に応じて、時間的かつ/または空間的に並置されることを確実にし得る。例えば、各特徴は、スケーリング、サイズ変更、または回転等の数学的変換によって補正され得る。
【0279】
図5A-5Dは、静的および動的特徴の実施例を示す。図5Aに示されるように、属性502、504、および506は、それぞれ、身長、肩幅、および首長さを判定するために使用されることができる。同様に、図5Bに示されるように、頭部配向は、属性508を使用して判定されることができる一方、歩行速度は、経時的な属性510の変化に基づいて判定されることができる。頭部輪郭幅は、頭部の測定値に基づいて判定されることができる。図5Cおよび5Dは、それぞれ、静的動的特徴のさらなる実施例を示す。(包括的ではない)特徴のカテゴリは、例えば、身体またはその一部(例えば、頭部、肩、腕、または脚等)に対応する特徴を含む。特徴の各カテゴリ内で、特徴は、静的または動的であり得る。特徴のさらなる実施例が、米国特許第9,341,464号、その付随のテキスト、およびその図4、12、および13、およびPCT出願第PCT/US2012/058534号、その付随のテキスト、およびその図4および17(そのそれぞれの内容が、参照することによってその全体として本明細書に組み込まれる)に示されている。
【0280】
図5Eは、特徴がボディプリントに関連する様子を図示し、下記にさらに説明される。
【0281】
図6は、シーン内を移動する人物に関する静的特徴および動的特徴を計算する実施例を提示する。簡易化するために、1人の人物のみが、図6に説明される。しかしながら、概して、複数の人物に関する特徴が、同時に抽出され得る。図6の実施例では、抽出されるべき静的特徴は、身長、右脚長さ、および肩から肩までの幅であり、抽出されるべき動的特徴は、注視の角度、歩行速度、および頭部輪郭幅である。
【0282】
静的特徴は、1つまたは1つを上回るフレームに基づいて計算され得る。図6では、静的特徴は、それらが対応する単一のフレームから計算され得る。いくつかの実施形態では、静的特徴は、複数の連続的フレームのウィンドウに基づいて(例えば、平均化することによって)計算される。いくつかの実施形態では、静的特徴は、非連続的であり得る、1つ以上のフレームの任意の所望の組み合わせに基づいて計算される。
【0283】
動的特徴は、2つ以上のフレームに基づいて計算され得る。図6では、動的特徴は、すぐ隣の連続的フレームと比較したときにそれらが対応する単一のフレームから計算され得る。いくつかの実施形態では、動的特徴は、複数の連続的フレームのウィンドウに基づいて(例えば、平均化することによって)計算される。いくつかの実施形態では、動的特徴は、非連続的であり得る、2つ以上のフレームの任意の所望の組み合わせに基づいて計算される。
【0284】
図6に図示されるように、静的特徴は、動的特徴よりも低い変動を示す傾向にある。身長等の静的属性は、現実世界では緩慢にのみ変化し、したがって、その対応する特徴は、センサデータから計算されるときに相対的安定性を呈する。しかし、歩行速度または頭部輪郭幅(すなわち、センサに暴露される頭部断面)等の動的特徴は、より急速に変化する。その結果、動的特徴は、概して、センサデータから計算されるとき、特に、姿勢または配向の変化中、より大きな変動を呈する。先に説明されるように、時間、空間、速度、ピクセルカウント、角度、またはある他の測定の単位に依存するかどうかを問わず、特徴の変動の量は、用途に依存し、状況毎に変動し得る。
【0285】
図6に示されるように、いくつかの特徴は、任意の所与のフレームまたは一連のフレーム内で利用不可能または算出不可能であり得る。例えば、図6では、人物がカウチの後方を歩行するとき、人物の脚は、センサのビューから閉塞された状態になり、したがって、脚長さは、一時的に利用不可能になる。例えば、図6では、人物が靴紐を結ぶために立ち止まるとき、本システムは、歩行速度を計算するために必要とされる解剖学的ランドマークを適正な精度内で確認することが不可能であり、したがって、歩行速度は、一時的に算出不可能になる。例えば、図6では、人物がカウチの後方を歩行するとき、歩行速度は、人物の脚が視野外である間であっても、人物の頭部の位置変化から判定され得るため、歩行速度は、特徴として継続して計算される。
【0286】
概して、いくつかの特徴は、他の特徴から計算され得、多くの場合、所与の特徴を計算するために利用可能な複数の異なる経路が存在する。例えば、図6では、肩から肩までの幅の特徴は、各肩の場所の直接測定値から、または2つの他の特徴、すなわち、左肩から脊柱の上部までの幅および右肩から脊柱の上部までの幅を合計することによって間接的に計算され得る。例えば、図6では、歩行速度は、頭部のみに関する空間的位置の平均変化から、または頭部、首、および脊柱の組み合わせに関する空間的位置の平均変化から、または床上の左および右足の逐次的着地点の空間的位置から計算され得る。ある持続時間にわたる平均歩行速度は、その持続時間にわたるフレームの集合から直接、またはフレーム毎ベースで計算された瞬間的歩行速度から間接的に(例えば、その加重移動平均をとることによって)計算され得る。
【0287】
図6に示されるように、いったん所望の特徴が1つ以上のフレームに関して計算されると、特徴は、人物識別を実施するために、ステップ125において分類子に送信される。分類子は、単一のフレームに対応する630等の特徴のセット(図6の単一の列)、または複数のフレームに対応する特徴のセット(図6の複数の列)、またはそれらの特徴の任意のサブセットを受信し得る。上記に説明されるように、特徴は、センサまたは計算方法論におけるタイミング遅延またはバイアスを調節するために、調節され得る(例えば、待ち時間補正される、または空間的に並置される)。
人物識別
【0288】
人物を正常に識別するための特定の特徴の判別能力は、1)特徴の忠実度(特徴が良好に測定され得る程度)および2)特徴の予測力(特徴がその人物に特有である程度)に依存する。
【0289】
特徴の忠実度は、シーンの組成(すなわち、視野およびその中の物体)、利用されているセンサのタイプ、および取得されているデータのタイプに依存する。例えば、人物の身長測定値の忠実度は、人物が真っ直ぐに立っているときにより良好であり、人物がかがんでいる、またはしゃがんでいるときにより悪いであろう。いずれの特徴の忠実度も、人物の関連部分が家具等の物体によって閉塞されているときは常に、より悪いであろう。
【0290】
特徴の予測力は、その特徴が識別されるべきである人物間で異なる程度に依存する。例えば、身長の予測力は、同じ双子に関して不良であるが、その身長が有意に異なる個人の対に関して優れている。
【0291】
本実施例を継続すると、身長の特徴は、単独で使用されると、忠実度が欠如し(人物の姿勢に基づいて変動し、人物が閉塞されているときに利用不可能になる)、予測力が欠如し得る(多くの人物が類似する身長であり得るため)。概して、特徴の力は、経時的に変化し、ある瞬間に(例えば、人物が真っ直ぐに立っているときに)より強くなり、他の瞬間に(例えば、人物が靴紐を結んでいるときに)より弱くなり得る。
【0292】
ある実施形態では、本発明の方法およびシステムは、利用可能なシーン、センサデータ、および既知かつ算出可能な特徴のライブラリによって判定されるように、特徴の組み合わせを混合および合致させる機構を通して、任意の固定された特徴のセットに依拠する弱点を克服する。特徴の組み合わせは、ステップ125において識別されるべき人物毎に高度に特有な「ボディプリント」を提供する。
【0293】
図5Eは、ボディプリントの2つの実施例を図示する。ボディプリント580は、180~200センチメートルの測定された身長を保有し、58~60センチメートルの測定された頭部円周を伴い、0.5~1メートル/秒の平均速度で歩行し、眼鏡を装着する人物が、0.95の数値的ボディプリントスコア(精度推定値)とともに「Bob」として識別され得ることを説明する。ボディプリント590は、170~180センチメートルの測定された身長を保有し、14~16センチメートルの測定された眼間距離を伴い、1~2メートル/秒の平均速度で歩行する人物が、0.80の数値的ボディプリントスコア(精度推定値)とともに「Clara」として識別され得ることを説明する。図5Eのボディプリントは、例証的実施例にすぎない。実践では、任意の数および組み合わせの特徴が、ボディプリントに組み込まれ得、ボディプリントは、ゼロ、1、または1を上回るボディプリントスコアを含み得る。任意のボディプリントスコアが、分類子700によって、使用され得る、または代替として、無視され得る。
【0294】
図6は、2つの異なるボディプリント610および620の簡略化された実施例を示し、そのそれぞれは、後続ステップ125が図6に説明される人物を識別するために十分な特徴の組み合わせを保有する。図6に示されるように、異なるボディプリントが、異なる瞬間に、異なるフレーム内で、かつ異なるフレームの集合(セット)内で、同一の人物に関して確認され得る。
【0295】
先に説明されるように、ボディプリントに関連する特徴のいくつかまたは全ては、人間の脳によって容易に、または直感的に把握されない数学的演算からもたらされ得る。例えば、Convolutional Neural Network(CNN)は、入力データ上に数学的演算のセットを繰り返し適用し、入力データ(色、形状、テクスチャ、およびパターン等)から導出される、またはそれを記述する、一意の特徴の群を表すアーキテクチャ層をもたらす。これらの特徴の多くは、人間の閲覧者に容易に認識可能な意味を伝えないが、それらは、それにもかかわらず、明白に実行可能なボディプリントを生成するために使用され、歩行速度および身長のようなより知られた特徴と同一の有用性を供給し、同一の取扱を生じることができる。
【0296】
用語「ボディプリント」は、特徴のいくつかまたは全てが、人物の身体の形態または運動から導出され得ることを強調するために採用され、人物のボディプリントは、ボディプリントおよび指紋の両方がその人物を識別することが可能である点において、人物の小規模指紋に対する大規模類似物として見なされる。ボディプリントとして(本発明の方法およびシステムのある実施形態によって)利用される特徴の組み合わせは、経時的に、空間にわたって、かつ人物にわたって変動し得る。例えば、1つのボディプリントのために必要とされる所望の特徴が、一連のフレームにわたって一時的に利用不可能になり、したがって、その具体的ボディプリントが使用されないように妨げる場合、本発明は、それらの同一のフレームに対して利用可能である、代替ボディプリント、同じく、特徴の代替組み合わせを代用することができる。いくつかの実施形態では、生産可能なボディプリントのセットは、プライバシーをより良好に保護するために、色画像データ(すなわち、写真)を除外するように意図的に制約される。
【0297】
本明細書に説明されるようなボディプリントの提供は、動的特徴(歩行速度等)が人物識別のために静的特徴(身長等)とちょうど同程度に重要であり得る理由を説明し、人物の属性が時間および/または空間にわたって変化する様式(例えば、人物の移動または挙動のパターン)は、その人物に関する高度に特有なシグネチャを説明し得、静的特徴の相補的可用性が限定される複雑な、または混雑した環境において利用可能なままであり得る。例えば、2人の人物が家屋に居住し、1人の人物が非常に高齢であり、1人の人物が非常に若年である、類似する身長および体格の両者である場合、数秒の持続時間にわたる平均歩行速度(動的特徴)は、身長および体格(静的特徴)がそれ自体では不十分であるにもかかわらず、2人の人物のそれぞれを識別するために十分であることが分かり得る。
【0298】
静的および動的特徴の両方へのアクセスを有する重要性は、人物が、1)人物が規定された、または常同的行為を実施する必要がないように、受動的に、または2)例えば、センサから1メートルを上回って位置する距離のいずれかで識別されなければならないときは常に強調される。これらの2つの状況のいずれにおいても、指紋等の多くの場合使用される、かつ/または単一ソースのバイオメトリックは、取得することが不可能になる。
【0299】
図7は、分類子700の高レベルブロック図を示す。いくつかの実施形態では、分類子は、ステップ125の動作のコンポーネントである。図7は、1つのタイプの分類子700を示すが、多くの他のタイプも、利用可能である。図7に示される分類子700の実施例は、最初に、具体的着目人物(例えば、「Bob」)を認識するために、トレーナ701によって(先立って)訓練される。訓練データ705は、事前選択されたデータフレームから成り、その少なくともいくつかは、着目人物の既知の表現を含有する。タグ付けデータ710は、事前規定された標識または「タグ」から成り、これは、訓練データ705内の着目人物の表現を正しく識別することが公知である。随意の特徴生成モジュール707は、先に説明されるように、特徴を計算するために、訓練データ705およびタグ付けデータ710を使用する。分類子訓練モジュール715は、入力として、特徴生成モジュール707のゼロ以上の出力、訓練データ705のゼロ以上のコンポーネント、およびタグ付けデータ710のゼロ以上のコンポーネントの組み合わせを受信し、出力として、着目人物に対応する訓練された分類子パラメータ720のセットを返す。トレーナ701は、コンピュータビジョン、機械学習、およびパターン認識の多種多様な方法を使用し得、実施例は、先に説明されるように、Random Forests、Support Vector Machines、およびConvolutional Neural Networksを含む。
【0300】
続けて、分類子実行モジュール760は、新規データにおいて着目人物を識別するために採用される。分類子実行モジュール760は、入力として、図4のステップ445から受信される、特徴751の新しいセットとともに、トレーナ701によって生成された訓練された分類子パラメータ720の前のセットを受信し、出力として、各着目人物を識別する分類出力765を返す。分類子実行モジュール760は、コンピュータビジョン、機械学習、およびパターン認識の多種多様な方法を使用し得、再び、実施例は、Random Forests、Support Vector Machines、およびConvolutional Neural Networksを含む。
【0301】
分類出力765は、ゼロ、1つ、または1つを上回るデータのフレーム内に現れる、ゼロ、1人、または1人を上回る人物の識別を提案する。分類出力765によって提供される各人物識別は、ルールイン識別(例えば、「本人物はおそらくBobである」)、ルールアウト識別(例えば、「本人物はおそらくBobではない」)、または未知の識別(例えば、「本人物がBobであるかどうかを見分けるために十分な情報が存在しない」)であり得る。
【0302】
ルールアウト識別の重要な特殊な事例は、「その他」としての人物の識別であり、いかなる識別合致も見出されず、人物の識別が既知のボディプリントのセット内に含有されていない可能性が高いことを示す。例えば、家族の家庭を訪問する客(家族のボディプリントは既知であり得るが、客のボディプリントは既知ではない場合がある)は、「その他」として識別され得る。人物を「その他」として識別することが可能であることは、少なくともその人物がセンサ範囲内にいる限り、いかなるさらなる特徴もその人物に関して計算される必要がないことを信号伝達することによって、算出性能を改良し得る。
【0303】
別の重要な特殊な事例では、いくつかの実施形態では、本システムは、世界中の他の誰か(「その他」)から単一の着目人物を区別することのみを必要とする。これらの実施形態では、本システムは、人物が、例えば、「Bob」であるかどうかを識別することのみを追求する。これは、本システムが人物が「Bob」または「Clara」または「Sigi」または「Suse」等であるかを識別しようとせず、本システムが「Bob」対「Bobではない」を識別しようとするのみであるため、算出性能を改良し得る。算出オーバーヘッドおよび検索空間の結果として生じる低減は、その人物識別のタスクにおける本システムの改良された精度および速度につながり得る。例えば、母親が、その重症度が平均歩行速度によって推定され得る病状である多発性硬化症に罹患している家族の家庭では、本発明の方法およびシステムのある実施形態は、1)各通行人が「母親」または「母親ではない」であるかを識別し、2)「母親」である場合、他の誰か(すなわち、「その他」である誰か)の前述の測定の間に母親の現在の歩行速度を測定および記録するために採用され得る。
【0304】
いくつかの実施形態では、信頼性スコアが、各人物識別に割り当てられる。信頼性スコアは、機械学習方法が、これが人物を正しく識別したと「考える」可能性の程度の確率的測度である。例えば、Support Vector Machine、Convolutional Neural Network、またはRandom Forestが、肯定的な「投票」の数を実行中に遭遇した分岐路の数で除算し、ゼロ~1の数値信頼性スコアを生産し得る。存在する場合、各人物識別の信頼性スコアは、人物毎に変動し得る、または同一の人物に関してであってもフレーム毎に、またはフレームの集合(セット)を横断して変動し得る。存在する場合、個々の人物識別に割り当てられる信頼性スコアの判定は、随意に、ゼロ以上のボディプリントに割り当てられるゼロ、1つ、または1つを上回るボディプリントスコアに基づく計算を含み得る。
【0305】
図8は、(同様に付番された765と同一である)分類出力865によって提供され得る信頼性スコアの実施例を図示する。図8では、例示的方法は、人物が「Bob」、「Clara」、「Sigi」、「Suse」、または「その他」であるかを識別しようと試みている。各場合では、本方法は、0~1の信頼性スコアを生成する。例えば、「Bob」に関する0.95の信頼性スコア820は、分類子が着目人物が「Bob」であることを95%確信しており、着目人物が「Bobではない」ことを5%確信していることを意味する。図8の種々の信頼性スコアは、相互に独立し、したがって、合計して1にならない。図8では、0.7の閾値スコア810は、0.7を上回る信頼性スコアを伴う着目人物が保持される一方、0.7を下回る信頼性スコアを伴う人物が破棄されることを意味する。図8では、例示的着目人物は、その対応する信頼性スコアの両方が0.7を上回るため、「Bob」または「Clara」のみであり得る(「Sigi」、「Suse」、または「その他」ではない)。着目人物はまた、「Bob」に関する信頼性スコアが「Clara」に関する信頼性スコアよりも高いため、「Clara」よりも「Bob」である可能性がより高い。
【0306】
図8の実施例では、それぞれ、識別に関する閾値を超える2つの候補名「Bob」および「Clara」が存在する。いくつかの実施形態では、「Bob」の信頼性レベルが「Clara」よりも高いため、「Bob」が、その人物の識別として返される。一方、いくつかの実施形態では、「Bob」および「Clara」が選択をするには信頼性において近接しすぎていると見なされるため、「未知」が、その人物の識別として返される。概して、いくつかの実施形態では、複数の信頼性スコアが閾値を超える状況の取扱は、システム構成またはオペレータ選好によって判定される。
【0307】
ある実施形態では、信頼性スコアは、容易に割り当てられない。例えば、スケーリングおよび二値化等の方法または座標変換または線形(または非線形)マッピング技法を伴う方法は、概して、一貫した信頼性スコアを生産しない。しかしながら、そのような方法は、導出される信頼性スコアを生産するために増強され得る。
【0308】
随意に、分類子は、分類出力765内で信頼性スコアを算出または利用しない場合がある、または分類子は、訓練データ705を要求または利用しない場合がある。代わりに、分類子は、ヒューリスティック方法、カットオフ閾値、および/または他のカテゴリ化の手段を使用し得る。これらおよび類似する場合では、分類子は、より適切に「カテゴライザ」と称され得る。例えば、Bobが視野を通して歩行しているときに取得される特徴のセットが、ユークリッド距離(数学的点乗積)を使用することによって、既知のボディプリント「Bob」、「Clara」、「Sigi」、および「Suse」と比較され得る。続けて、Bobは、ヒューリスティックとして最も小さいユークリッド距離を選定することによって、「Bob」として識別され得る。例えば、家庭の唯一の子供が視野を通して歩行しているときに取得される特徴のセットが、カットオフ閾値(例えば、身長に関する)を使用することによって、既知のボディプリント「母親」、「父親」、および「子供」と比較され得、続けて、子供は、カットオフ閾値(身長に関する)よりも低い身長を保有する唯一のボディプリントを選択することによって、「子供」として識別される。これらの実施例はそれぞれ、用語「分類」よりも用語「カテゴリ化」によってより良好に説明される。本明細書では、簡潔にするために、「分類」および「カテゴリ化」の両方を包含する包括的用語として単語「分類」を使用する。
人物登録
【0309】
いくつかの実施形態では、本発明の方法およびシステムのある実施形態に、予期される着目人物の既知の特徴および/またはボディプリントを提供することが、望ましくあり得、したがって、分類子700およびそのトレーナ701は、動作するための事前知識を有するであろう。例えば、そのような実施形態が、母親が多発性硬化症に罹患している前述の家族の家庭内に配置される場合、全ての家庭居住者の既知の特徴および/またはボディプリントを先立って本システムに提供することが、望ましくあり得る。本アプローチを通して、本システムは、より精密に、母親を識別し、他の家族メンバーを排除するであろう。1つ以上の既知の特徴および/またはボディプリントがシステムまたは方法に提供されるプロシージャは、登録と呼ばれ、本システムにそのように入力された人物は、登録されたと言われる。
【0310】
いくつかの実施形態では、本システムは、例えば、家族の家庭の4~6人のメンバー、またはさらには単一の着目人物のみ等の少数の人物を登録することのみを必要とし得る。上記に説明されるように、ボディプリントの数をそのような少ない範囲に制約することは、ここでは本システムがそれらの少ない家庭メンバー対「その他」を識別することのみを要求するため、システム性能を増加させることができる。
【0311】
それを通して分類子が登録データを用いて訓練され得るプロシージャは、当業者に周知である。簡潔には、登録データは、自動的に(既知の識別の人物に測定を予め受けさせることによって)、手動で(人間のオペレータにデータセットを遡及的に繰らせ、その中に表される人物を手動で標識化させることによって)、またはそれらの組み合わせによって取得され得る。例えば、命令が、コンピュータスクリーン上に表示され、センサの正面で一連の既知の、または規定された移動を実施するように特定の着目人物に命令し得る。これらの移動は、次いで、ボディプリントに変換される。着目人物は、人物の識別をブロードキャストするブレスレットを一時的に装着し得、したがって、着目人物がセンサの視野を(ブレスレットを装着しながら)横断するときは常に、本システムは、その人物に関する登録データを取得する。
【0312】
それによって登録が起こる具体的方法は、基本的な分類子700の機構に依存し得る。いくつかの実施形態では、登録は、1つ、いくつかの、または全ての利用可能な着目特徴に対して実施される。いくつかの実施形態では、登録および/または訓練は、人物のボディプリントの進行中の変化(例えば、ヘアカット、体重変化、嵩張るジャケットを装着すること)に適応するように、通常の日常動作中であっても無期限に継続する。いくつかの実施形態では、登録および/または訓練は、毎月または毎年等の事前定義された間隔において繰り返される。いくつかの実施形態では、登録および/または訓練は、着目人物の外観の変化、または1人の着目人物から別の人物に識別を切り替えることの所望、または分類子700に成される性能改良等のアドホックまたは恣意的事象に対して繰り返される。いくつかの実施形態では、着目人物自身が、登録プロシージャによるデータセット内の自信の表現のタグ付け(標識化)を照合し、タグが誤っている、または欠落している場合に訂正を行うように求められる。
【0313】
いくつかの実施形態では、登録中、登録されるべき人物は、閉塞されたいくつかの身体部分の有無を問わず、センサのビュー内で立つ、着座する、方向転換する、または回転する。いくつかの実施形態では、登録中、登録されるべき人物は、事前定義された移動のセット(例えば、視野全体を網羅するように歩き回ること、またはセンサに対して種々の配向において立つこと)を実行する。いくつかの実施形態では、事前定義された移動のセットは、線、長方形、円、または8の字に沿って歩行することを含む。いくつかの実施形態では、登録プロシージャは、無監督であり、つまり、登録されるべき人物は、移動する方法に関する命令を与えられ、命令に対する後続順守は、人物の責任である。いくつかの実施形態では、登録プロシージャは、監督され、つまり、開示される技術は、登録中にリアルタイムで人物を追跡し、人物が所望の登録移動から極端に逸脱する場合、是正命令またはフィードバックを提供する。いくつかの実施形態では、開示される技術は、データが取得される際にリアルタイムで登録データの数量および品質を確認し、現在の移動を継続するべきとき、異なる移動に切り替えるべきとき、または登録プロシージャを終了するべきときを人物に通知する。いくつかの実施形態では、開示される技術は、具体的タイプの登録データの不足を検出し、そうすることに応じて、欠落しているデータを「埋める」ために、具体的場所に行く、または具体的移動を採用するように人物に命令することが可能である。
【0314】
いくつかの実施形態では、システムまたは方法は、これが登録データを受信するまで、いずれの着目人物も識別することなく、ある時間周期にわたってデータを取得し、ステップ105-120を実施し(但し、ステップ125を実施しない)、その点において、本システムまたは方法は、全ての以前に収集されたデータを使用して、ステップ125を遡及的に実施する。上記に留意されるように、登録および分類は、それぞれ、手動、半自律的な、または完全に自律的な様式で実施され得、異なる登録および分類が、同一または異なるデータ、特徴、および/またはボディプリントを採用し得る。半自律的および完全に自律的な登録の方法は、例えば、機械学習およびパターン認識を含み得る。
【0315】
上記に留意されるように、登録は、システムまたは方法が識別を実施するために要求されない。例えば、上記に留意されるように、本システムは、代わりに、ヒューリスティック方法、カットオフ閾値、および/または他のカテゴリ化の手段を使用してもよい。
【0316】
いくつかの実施形態では、方法またはシステムにおいて採用されるデータ、特徴、および/またはボディプリントは、写真およびビデオおよび顔認識等の視覚画像データがプライバシーを保護するために除外されるように選定される。いくつかの実施形態では、プライバシーの必要性は、あまり顕著ではない場合があり、したがって、採用されるデータ、特徴、および/またはボディプリントは、写真およびビデオおよび顔認識等の視覚画像データを含んでもよい。ある実施形態では、システムまたは方法の重要な利点は、これが異なる用途のために調整され得る異なるレベルのプライバシー保護を提供し得ることである。
特徴と精神的知覚および/または意図との間の関係
事前定義された関係の使用
【0317】
図1Bは、例証的実施形態による、移動、挙動、または活動を特性評価し、それによって、(例えば、痛み、疲労、または気分の)精神的知覚または意図を特性評価するための方法の実施例のフローチャートである。図1Bでは、結論が、事前判定された関係から判定される。
【0318】
ステップ135および155を除いて、図1Bのステップは全て、図1Aにおけるその同様の名称の対応物と同じである。
【0319】
ステップ120における特徴の計算は、信号処理、コンピュータビジョン、および/または機械学習からの技法を採用し得る。例えば、ステップ115における人物セグメント化の副作用は、人物の解剖学的関節の空間的位置を特定することであり得、これらの関節の相対的位置および移動は、次いで、ステップ120における特徴になる。例えば、人物の姿勢は、特徴として使用され得、姿勢がその日全体を通して緩慢に悪化する場合、人物が疲労した状態になっていることが、推測され得る。例えば、機械学習からのRandom Forest構成概念は、入力として、人物の複数の関節の位置(「骨格データ」)を受信し、出力として、人物が心理的に抑鬱的な気分である信頼性レベルを生産し得る。例えば、人工知能からのConvolutional Neural Network構成概念は、入力として、人物の身体の3次元形状(「奥行きデータ」)を受信し、出力として、人物が悪意のある行為を行うことを意図する信頼性レベルを生産し得る。例えば、人物の言葉の発声のフーリエ分析が、特徴として使用され得、突然、声量がより大きくなり、調子がより高くなる場合、人物が興奮した状態になっていることが、推測され得る。
【0320】
ステップ135は、人物の移動、活動、および挙動を識別および定量化する、ステップ120によって生成された特徴を事前判定された関係に対して相関させ、痛み、疲労、気分、または意図についての結論を判定する。事前判定された関係および結論の実施例は、本明細書の上記に与えられる。
【0321】
ステップ155は、ステップ135によって生成された結論を出力する。例証的実施形態による、結論の実施例は、図10に示される。
学習された関係の使用
【0322】
図1Cは、例証的実施形態による、移動、挙動、または活動を特性評価し、それによって、(例えば、痛み、疲労、または気分の)精神的知覚または意図を特性評価するための方法の実施例のフローチャートである。図1Cでは、結論が、学習された関係から判定される。
【0323】
ステップ145、165、および175を除いて、図1Cのステップは全て、図1Aおよび1Bにおけるその同様の名称の対応物と同じである。
【0324】
ステップ145は、ステップ120において生成された特徴を、「グラウンドトゥルース」175と呼ばれる既知の外因的に供給された属性またはデータに対して比較する。ステップ175の出力は、特徴と学習された関係との間の相関であり、学習された関係は、特徴およびステップ175において供給される任意のグラウンドトゥルースを使用して確立される。このように、学習された関係は、計算された特徴を使用して、図1Cの方法中に修正または更新され得る。相関、関連付け、または学習された関係を生成する、修正する、または更新するプロセスは、「訓練」と呼ばれ、コンピュータビジョンおよび機械学習の技法を介して遂行される。そのような技法の実施例は、Support Vector Machine、単純なベイズ分類子、Random Forest、決定木、およびニューラルネットワーク(Convolutional Neural Networkを含む)を含む。
【0325】
例えば、ステップ145によって生成される学習された関係は、ある閾値から成り得、「人物の歩行速度が1秒あたり0.5メートルを上回る場合、疲労のレベルは、最小である」。例えば、ステップ145によって生成される学習された関係は、ある代数方程式から成り得、「人物の先週からの疲労の変化は、歩行速度のパーセント変化、加えて、同一の時間周期にわたる姿勢のパーセント変化である」。例えば、ステップ145によって生成される学習された関係は、Convolutional Neural Network等のニューラルネットワーク構成概念内に埋設される多数の数値的重みを備え得る。
特徴を関係と相関させること
【0326】
図1Bおよび1Cでは、ステップ135および145は、結論を判定するために、特徴を関係に相関させる。ステップ135の事前判定された関係は、ヒューリスティック、ルールセット、および統計的方法等の分析方法から構築されることができる。例えば、生体力学的推論を使用して、人物の歩幅長さが、経時的に頭部の位置を見ることによって測定され得ると判定することができる。頭部の加速度は、各足踏中に最小である。図9Aに図示されるように、逐次的加速度最小値における頭部場所間の距離を計算することによって、人物の歩幅長さを間接的に測定し、したがって、事前判定された関係を定義することが、可能である。
【0327】
ステップ145の学習された関係は、(例えば)Support Vector MachinesおよびConvolutional Neural Networks等の機械学習方法によって生成されることができる。グラウンドトゥルース175は、例えば、科学文献によって、人間の入力によって、または他の機構または算出によって提供され得る。例えば、疲労に関するグラウンドトゥルースは、自己報告される疲労レベルに関連する質問を用いて、数日毎に人物に施行される調査からのデータであり得る。それらの調査応答は、ステップ145において、機械学習アルゴリズム、例えば、単純なベイズ分類子を訓練し、特徴120の入力セットとグラウンドトゥルース175(自己報告された疲労レベル)との間の相関を最大限にするために使用され得え、したがって、出力結論165もまた、グラウンドトゥルース175(自己報告された疲労レベル)と相関する。
【0328】
関係は、進行中の用途に応じて、データ収集の前後に判定され得る。関係は、例えば、ルックアップテーブル内のルールまたは値、方程式、Convolutional Neural Networks等のニューラルネットワーク、Random Forests等の多種多様な他の機械学習またはパターン認識構成概念、またはアルゴリズム的ステップとして表され得る。例えば、関係は、疲労レベルが、一連の24時間にわたる、歩行速度の平均変化、移動に費やした時間の量、および垂直からの脊柱角度に基づいて判定されることを規定し得る。
【0329】
関係は、前提的閾値または制約を割り当てられ得る。例えば、最小限の少なくとも3つの全ステップに関するデータ取得は、歩行速度に基づく結論が報告されるであろう前に要求され得る。
結論を判定すること
【0330】
図9A-9Dは、結論を判定するために特徴が関係と相関され得る様子の実施例を図示する。
【0331】
図9Aは、移動を定量化する実施例を表し、ここでは、人物が計算された歩幅長さにおいて歩行していると結論する。本実施例では、人物は、(センサに対して)右に歩行し、下半身を閉塞するカウチの後方を通過する。人物の下半身の可視化が拒否される間に歩き方を評価するために、本実施形態は、下半身の代わりに、上半身の特徴に依拠しなければならない。本実施例では、2つの上半身特徴910、すなわち、頭部加速度(事前フレームからの頭部速度の変化率)および頭部平行移動(事前フレームからの頭部によって横断された距離)が、計算される。本実施例では、図9Aに列挙されるように、3つの事前判定された関係920が、本実施形態に公知である。特徴910および事前判定された関係920から、本実施形態は、人物が計算された歩幅長さを用いて能動的に歩行している(つまり、着座していない、またはもたれていない)という結論930を供給することが可能である。
【0332】
図9Bは、活動を識別する実施例を表し、ここでは、人物が食事をしていると結論する。本実施例では、人物は、着座し、食事をしており、したがって、人物の手は、皿と口との間で周期的に移動している。本実施例では、2つの特徴940、すなわち、人物が着座し、静止していると判定されたかどうか(これは、順に、頭部位置等の他の特徴[図示せず]から計算され得る)、および右手と頭部との間の
瞬間的距離が、計算される。本実施例では、図9Bに列挙されるように、3つの事前判定された関係950が、本実施形態に公知である。特徴940および事前判定された関係950から、本実施形態は、人物が食事をしているという結論960を供給することが可能である。
【0333】
図9Cは、精神的知覚を識別する実施例を表し、ここでは、人物が疲労を感じていると結論する。本実施例では、人物は、(センサに対して)右に歩行する。本実施例では、2つの特徴950、すなわち、歩行速度(これは、順に、頭部位置等の他の特徴[図示せず]から計算され得る)および垂直に対する瞬間的脊柱角度が、計算される。本実施例では、図9Cに列挙されるように、3つの事前判定された関係980が、本実施形態に公知である。特徴970および事前判定された関係980から、本実施形態は、人物が経時的に疲労した状態になった80%の可能性が存在するという結論990を供給することが可能である。
【0334】
図9Dは、図9Cに示される精神的知覚を識別する同一の実施例を表す。しかしながら、図9Dでは、特徴993は、Convolutional Neural Network(CNN)によって自律的に判定される。さらに、図9Dでは、特徴993と結論999との間の関係996が、事前判定されるのではなく、学習され、同一のCNNまたは異なるCNNのいずれかによって再び自律的に判定される。CNNによって生成された特徴および学習された関係は、入力データに応じて実行される無数の数学的演算によってカプセル化される。
【0335】
ステップ155、165、および185によって生成された結論は、随意に、信頼性値が付随する、それらに帰する確率を有し得る。「信頼性値」は、本明細書の上記に説明される正しい人物識別の可能性の測度として計算される「信頼性スコア」とは異なる。例えば、信頼性値は、独立して計算される特徴が、例えば、足踏の存在と一致する程度と関連付けられ得る。例えば、信頼性値は、線形回帰による適合度計算に対応し得る。当分野で公知であるように、信頼性値を測定値の1つ以上のセットに帰する多くの他の方法が存在する。
【0336】
ステップ155、165、および185によって生成された結論は、随意に、定量化され得、例えば、図9Cまたは図9Dの結論990または999は、(単純に、疲労が存在するかどうかを問わず)人物の疲労のレベルの定量化された測度を含み得る。例えば、疲労のレベルは、歩行速度および垂直からの脊柱角度の同時存在測度(すなわち、図9Cの特徴970)から、またはCNNの数値的重み(すなわち、図9Dの特徴993)から計算され得る。
【0337】
機械学習、人工知能、またはパターン認識の技法を結論の生成に適用する(包括的ではない)実施例は、以下である。例えば、頭部等の経時的な身体部分の場所のフーリエ変換に応じた主成分分析(PCA)は、歩き方を表す特徴を備え得、それらの特徴は、単純なベイズ分類子によって自律的に処理され、学習された関係を生産し、それによって、特徴を人物が異常な歩き方をしているという結論と関連付け得る。例えば、経時的な関節の空間的場所(骨格データ)は、転倒リスクを表す特徴を備え得、それらの特徴は、Random Forestによって自律的に処理され、学習された関係を生産し、それによって、特徴を人物が高い転倒のリスクに晒されているという結論と関連付け得る。例えば、経時的な人物の身体の発展する3次元形状は、食事をする行為を表す特徴を備え得、それらの特徴は、CNNによって自律的に処理され、学習された関係を生産し、それによって、特徴を人物が食事をしているという結論と関連付け得る。
【0338】
図10は、結論を判定するために関係と相関され得る(すなわち、関連付けられる)特徴のタイプの実施例を示す。結論は、移動、活動、および/または挙動(例えば、歩行、食事、睡眠)の識別(検出)および/または定量化、または人物の痛み、疲労、気分、および意図に対応することができる。例えば、人物の歩行速度および脊柱角度(特徴)が所与の閾値を下回る(関係)場合、人物は、疲労していると判定される(結論)。例えば、人物の歩行速度および脊柱角度が履歴平均と比較して減少する場合、その人物の疲労レベルは、例えば、10中4の疲労レベルにおいて定量化される。
現実世界の設定
【0339】
本発明の物理的実施形態の非限定的実施例は、ネットワーク接続を用いてコンピュータに接続され、人物の家内に配置され、健康ステータスを測定する奥行きセンサである。本実施形態は、人物が視野内を偶然通過するときは常に、人物の移動を便宜的にサンプリングする。取得されたデータは、リアルタイムで分析される、または1日の終わりの処理のために記憶される、またはクラウドコンピュータ等の遠隔処理ステーションに周期的に伝送され得る。結論の実施例は、歩行速度、姿勢、または全体的活動の変化を含む。結論は、ウェブサイト上に表示される、または電子メールによって臨床医に送信されることができる。結論は、例えば、数量がある閾値を過ぎて急減する場合、緊急ページャまたはテキストメッセージアラートとして送信されることができる。
【0340】
物理的実施形態の別の実施例は、ネットワーク接続を用いてコンピュータに接続され、小売状況において配置され、窃盗を識別する奥行きセンサである。本実施形態は、歩行速度、歩行方向の変化、眼注視の方向、および姿勢等の店舗顧客に関する特徴を計算する。結論は、人物が盗みをする意図を有し得るかどうかに関して判定され、信頼性値が付随し、信頼性値がある閾値を超える場合、店舗人員は、アラートされる。本実施形態は、窃盗犯のような挙動を模倣するオペレータを観察することによって訓練され得る(すなわち、関係を学習する)。
【0341】
物理的実施形態の別の実施例は、ネットワーク接続を用いてコンピュータに接続され、産業状況において配置され、安全性問題を識別する奥行きセンサである。本実施形態は、突然の頭部移動、または歩行から走行への遷移、またはその場所における全ての従業員を横断する平均からある閾値だけ異なる歩行速度等の従業員に関する特徴を計算する。結論は、例えば、警告する匂いまたは音に対する従業員の身体的反応によって前兆となる、何かが環境において危険であり得るかどうかに関して判定される。
【0342】
物理的実施形態の別の実施例は、ネットワーク接続を用いてコンピュータに接続され、軍事状況において配置され、セキュリティ脅威を識別する奥行きセンサである。本実施形態は、歩行速度および物体の落下等の通行人に関する特徴を計算する。結論は、人物が害を引き起こす意図を有し得るかどうかに関して判定される。
ネットワークおよびコンピューティング実装
【0343】
図11に示されるように、プライバシーの保護とともに人物を識別するためのシステムを提供する使用のためのネットワーク環境1100の実装が、示され、説明される。簡潔な概観では、ここで図11を参照すると、例示的クラウドコンピューティング環境1100のブロック図が、示され、説明される。クラウドコンピューティング環境1100は、1つ以上のリソースプロバイダ1102a、1102b、1102c(集合的に、1102)を含み得る。各リソースプロバイダ1102は、コンピューティングリソースを含み得る。いくつかの実装では、コンピューティングリソースは、データを処理するために使用される任意のハードウェアおよび/またはソフトウェアを含み得る。例えば、コンピューティングリソースは、アルゴリズム、コンピュータプログラム、および/またはコンピュータアプリケーションを実行することが可能なハードウェアおよび/またはソフトウェアを含み得る。いくつかの実装では、例示的コンピューティングリソースは、記憶および読出能力を伴うアプリケーションサーバおよび/またはデータベースを含み得る。各リソースプロバイダ1102は、クラウドコンピューティング環境1100内の任意の他のリソースプロバイダ1102に接続され得る。いくつかの実装では、リソースプロバイダ1102は、コンピュータネットワーク1108を経由して接続され得る。各リソースプロバイダ1102は、コンピュータネットワーク1108を経由して、1つ以上のコンピューティングデバイス1104a、1104b、1104c(集合的に、1104)に接続され得る。
【0344】
クラウドコンピューティング環境1100は、リソースマネージャ1106を含み得る。リソースマネージャ1106は、コンピュータネットワーク1108を経由して、リソースプロバイダ1102およびコンピューティングデバイス1104に接続され得る。いくつかの実装では、リソースマネージャ1106は、1つ以上のリソースプロバイダ1102によるコンピューティングリソースの1つ以上のコンピューティングデバイス1104への提供を促進し得る。リソースマネージャ1106は、特定のコンピューティングデバイス1104からコンピューティングリソースに関する要求を受信し得る。リソースマネージャ1106は、コンピューティングデバイス1104によって要求されるコンピューティングリソースを提供することが可能な1つ以上のリソースプロバイダ1102を識別し得る。リソースマネージャ1106は、リソースプロバイダ1102を選択し、コンピューティングリソースを提供し得る。リソースマネージャ1106は、リソースプロバイダ1102と特定のコンピューティングデバイス1104との間の接続を促進し得る。いくつかの実装では、リソースマネージャ1106は、特定のリソースプロバイダ1102と特定のコンピューティングデバイス1104との間の接続を確立し得る。いくつかの実装では、リソースマネージャ1106は、特定のコンピューティングデバイス1104を要求されたコンピューティングリソースを伴う特定のリソースプロバイダ1102にリダイレクトし得る。
【0345】
図12は、本開示に説明される技法を実装するために使用され得る、コンピューティングデバイス1200およびモバイルコンピューティングデバイス1250の実施例を示す。コンピューティングデバイス1200は、ラップトップ、デスクトップ、ワークステーション、携帯情報端末、サーバ、ブレードサーバ、メインフレーム、および他の適切なコンピュータ等の種々の形態のデジタルコンピュータを表すことが意図される。モバイルコンピューティングデバイス1250は、携帯情報端末、セルラー電話、スマートフォン、および他の類似するコンピューティングデバイス等の種々の形態のモバイルデバイスを表すことが意図される。ここで示されるコンポーネント、その接続および関係、およびその機能は、実施例にすぎないことを意味し、限定であることを意味しない。
【0346】
コンピューティングデバイス1200は、プロセッサ1202と、メモリ1204と、記憶デバイス1206と、メモリ1204および複数の高速拡張ポート1210に接続する高速インターフェース1208と、低速拡張ポート1214および記憶デバイス1206に接続する低速インターフェース1212とを含む。プロセッサ1202、メモリ1204、記憶デバイス1206、高速インターフェース1208、高速拡張ポート1210、および低速インターフェース1212はそれぞれ、種々のバスを使用して相互接続され、共通マザーボード上に、または必要に応じて他の様式で搭載され得る。プロセッサ1202は、メモリ1204内に、または記憶デバイス1206上に記憶される命令を含む、コンピューティングデバイス1200内で実行するための命令を処理し、高速インターフェース1208に結合されるディスプレイ1216等の外部入力/出力デバイス上でGUIに関するグラフィカル情報を表示することができる。他の実装では、複数のプロセッサおよび/または複数のバスが、必要に応じて、複数のメモリおよび複数のタイプのメモリとともに使用され得る。また、複数のコンピューティングデバイスが、接続され、各デバイスは、(例えば、サーババンク、ブレードサーバの群、またはマルチプロセッサシステムとして)必要な動作の部分を提供し得る。したがって、用語が本明細書で使用されるように、複数の機能が「1つのプロセッサ」によって実施されるものとして説明される場合、これは、複数の機能が任意の数のコンピューティングデバイス(1つ以上の)の任意の数のプロセッサ(1つ以上の)によって実施される実施形態を包含する。さらに、機能が「1つのプロセッサ」によって実施されるものとして説明される場合、これは、機能が(例えば、分散コンピューティングシステムにおける)任意の数のコンピューティングデバイス(1つ以上の)の任意の数のプロセッサ(1つ以上の)によって実施される実施形態を包含する。
【0347】
メモリ1204は、コンピューティングデバイス1200内に情報を記憶する。いくつかの実装では、メモリ1204は、揮発性メモリユニットまたは複数のユニットである。いくつかの実装では、メモリ1204は、不揮発性メモリユニットまたは複数のユニットである。メモリ1204はまた、磁気または光学ディスク等の別の形態のコンピュータ可読媒体であり得る。
【0348】
記憶デバイス1206は、コンピューティングデバイス1200のために大容量記憶を提供することが可能である。いくつかの実装では、記憶デバイス1206は、フロッピディスクデバイス、ハードディスクデバイス、光学ディスクデバイス、またはテープデバイス等のコンピュータ可読媒体、フラッシュメモリまたは他の類似するソリッドステートメモリデバイス、または記憶エリアネットワークまたは他の構成におけるデバイスを含むデバイスのアレイである、またはそれを含有し得る。命令は、情報担体内に記憶されることができる。命令は、1つ以上の処理デバイス(例えば、プロセッサ1202)によって実行されると、上記に説明されるもの等の1つ以上の方法を実施する。命令はまた、コンピュータまたは機械可読媒体等の1つ以上の記憶デバイス(例えば、メモリ1204、記憶デバイス1206、またはプロセッサ1202上のメモリ)によって記憶されることができる。
【0349】
高速インターフェース1208は、コンピューティングデバイス1200に関する帯域幅集約的動作を管理する一方、低速インターフェース1212は、より低い帯域幅集約的動作を管理する。そのような機能の分配は、実施例にすぎない。いくつかの実装では、高速インターフェース1208は、メモリ1204、ディスプレイ1216(例えば、グラフィックスプロセッサまたはアクセラレータを通して)、および種々の拡張カード(図示せず)を受け取り得る高速拡張ポート1210に結合される。実装では、低速インターフェース1212は、記憶デバイス1206および低速拡張ポート1214に結合される。種々の通信ポート(例えば、USB、Bluetooth(登録商標)、イーサネット(登録商標)、無線イーサネット(登録商標))を含み得る、低速拡張ポート1214は、キーボード、ポインティングデバイス、走査装置等の1つ以上の入力/出力デバイス、またはスイッチまたはルータ等のネットワーキングデバイスに、例えば、ネットワークアダプタを通して結合され得る。
【0350】
コンピューティングデバイス1200は、図に示されるように、いくつかの異なる形態において実装され得る。例えば、これは、標準的サーバ1220として、またはそのようなサーバの群内で複数回実装され得る。加えて、これは、ラップトップコンピュータ1222等のパーソナルコンピュータ内に実装され得る。これはまた、ラックサーバシステム1224の一部として実装され得る。代替として、コンピューティングデバイス1200からのコンポーネントは、モバイルコンピューティングデバイス1250等のモバイルデバイス内の他のコンポーネント(図示せず)と組み合わせられ得る。そのようなデバイスはそれぞれ、コンピューティングデバイス1200およびモバイルコンピューティングデバイス1250のうちの1つ以上のものを含有し得、システム全体が、相互に通信する複数のコンピューティングデバイスから構成され得る。
【0351】
モバイルコンピューティングデバイス1250は、他のコンポーネントの中でもとりわけ、プロセッサ1252、メモリ1264、ディスプレイ1254等の入力/出力デバイス、通信インターフェース1266、および送受信機1268を含む。モバイルコンピューティングデバイス1250はまた、付加的記憶装置を提供するために、マイクロドライブまたは他のデバイス等の記憶デバイスを提供され得る。プロセッサ1252、メモリ1264、ディスプレイ1254、通信インターフェース1266、および送受信機1268はそれぞれ、種々のバスを使用して相互接続され、コンポーネントのいくつかは、共通マザーボード上に、または必要に応じて他の様式で搭載され得る。
【0352】
プロセッサ1252は、メモリ1264内に記憶される命令を含む、モバイルコンピューティングデバイス1250内の命令を実行することができる。プロセッサ1252は、別個かつ複数のアナログおよびデジタルプロセッサを含むチップのチップセットとして実装され得る。プロセッサ1252は、例えば、ユーザインターフェースの制御、モバイルコンピューティングデバイス1250によって起動されるアプリケーション、およびモバイルコンピューティングデバイス1250による無線通信等のモバイルコンピューティングデバイス1250の他のコンポーネントの協調を提供し得る。
【0353】
プロセッサ1252は、ディスプレイ1254に結合される制御インターフェース1258およびディスプレイインターフェース1256を通してユーザと通信し得る。ディスプレイ1254は、例えば、TFT(薄膜トランジスタ液晶ディスプレイ)ディスプレイ、またはOLED(有機発光ダイオード)ディスプレイ、または他の適切なディスプレイ技術であり得る。ディスプレイインターフェース1256は、ユーザにグラフィカル情報および他の情報を提示するようにディスプレイ1254を駆動するための適切な回路を備え得る。制御インターフェース1258は、ユーザからコマンドを受信し、プロセッサ1252への提出のためにそれらを変換し得る。加えて、外部インターフェース1262が、モバイルコンピューティングデバイス1250の他のデバイスとの近接エリア通信を可能にするように、プロセッサ1252との通信を提供し得る。外部インターフェース1262は、例えば、いくつかの実装では、有線通信を提供し、他の実施形態では、無線通信を提供し得、複数のインターフェースもまた、使用され得る。
【0354】
メモリ1264は、モバイルコンピューティングデバイス1250内に情報を記憶する。メモリ1264は、コンピュータ可読媒体または複数の媒体、揮発性メモリユニットまたは複数のユニット、または不揮発性メモリユニットまたは複数のユニットのうちの1つ以上のものとして実装されることができる。拡張メモリ1274もまた、提供され、例えば、SIMM(シングルインラインメモリモジュール)カードインターフェースを含み得る、拡張インターフェース1272を通してモバイルコンピューティングデバイス1250に接続され得る。拡張メモリ1274は、モバイルコンピューティングデバイス1250のための余剰記憶スペースを提供し得る、またはモバイルコンピューティングデバイス1250のためのアプリケーションまたは他の情報もまた記憶し得る。具体的には、拡張メモリ1274は、上記に説明されるプロセスを実行または補完するための命令を含み得、セキュアな情報もまた含み得る。したがって、例えば、拡張メモリ1274は、モバイルコンピューティングデバイス1250のためのセキュリティモジュールとして提供され得、モバイルコンピューティングデバイス1250のセキュアな使用を可能にする命令を用いてプログラムされ得る。加えて、セキュアなアプリケーションが、ハッキング不可能な様式でSIMMカード上に識別情報を配置する等、付加的情報とともにSIMMカードを介して提供され得る。
【0355】
メモリは、例えば、下記に議論されるように、フラッシュメモリおよび/またはNVRAMメモリ(不揮発性ランダムアクセスメモリ)を含み得る。いくつかの実装では、命令は、命令が、1つ以上の処理デバイス(例えば、プロセッサ1252)によって実行されると、上記に説明されるもの等の1つ以上の方法を実施するように、情報担体内に記憶される。命令はまた、1つ以上のコンピュータまたは機械可読媒体等の1つ以上の記憶デバイス(例えば、メモリ1264、拡張メモリ1274、またはプロセッサ1252上のメモリ)によって記憶されることができる。いくつかの実装では、命令は、例えば、送受信機1268または外部インターフェース1262を経由して、伝搬信号において受信されることができる。
【0356】
モバイルコンピューティングデバイス1250は、必要に応じてデジタル信号処理回路を含み得る、通信インターフェース1266を通して無線で通信し得る。通信インターフェース1266は、とりわけ、GSM(登録商標)音声通話(汎欧州デジタル移動電話方式)、SMS(ショートメッセージサービス)、EMS(エンハンスドメッセージングサービス)、またはMMSメッセージング(マルチメディアメッセージングサービス)、CDMA(符号分割多重アクセス)、TDMA(時分割多重アクセス)、PDC(パーソナルデジタルセルラー)、WCDMA(登録商標)(広帯域符号分割多重アクセス)、CDMA2000、またはGPRS(汎用パケット無線サービス)等の種々のモードまたはプロトコル下で通信を提供し得る。そのような通信は、例えば、無線周波数を使用する送受信機1268を通して起こり得る。加えて、短距離通信が、Bluetooth(登録商標)、Wi-Fi、または他のそのような送受信機(図示せず)等を使用して起こり得る。加えて、GPS(全地球測位システム)受信機モジュール1270が、付加的ナビゲーションおよび場所関連無線データをモバイルコンピューティングデバイス1250に提供し得、これは、モバイルコンピューティングデバイス1250上で起動するアプリケーションによって必要に応じて使用され得る。
【0357】
モバイルコンピューティングデバイス1250はまた、オーディオコーデック1260を使用して可聴的に通信し得、これは、ユーザから発話された情報を受信し、これを使用可能なデジタル情報に変換し得る。オーディオコーデック1260は、例えば、モバイルコンピューティングデバイス1250のハンドセット内のスピーカ等を通して、ユーザのための可聴音声を同様に生成し得る。そのような音声は、音声通話からの音声を含み得、記録された音声(例えば、音声メッセージ、音楽ファイル等)を含み得、また、モバイルコンピューティングデバイス1250上で動作するアプリケーションによって生成される音声を含み得る。
【0358】
モバイルコンピューティングデバイス1250は、図に示されるように、いくつかの異なる形態において実装され得る。例えば、これは、セルラー電話1280として実装され得る。これはまた、スマートフォン1282、携帯情報端末、または他の類似するモバイルデバイスの一部として実装され得る。
【0359】
本明細書に説明されるシステムおよび技法の種々の実装は、デジタル電子回路、集積回路、特別に設計されたASIC(特定用途向け集積回路)、コンピュータハードウェア、ファームウェア、ソフトウェア、および/またはそれらの組み合わせにおいて実現されることができる。これらの種々の実装は、記憶システムからデータおよび命令を受信し、それにデータおよび命令を伝送するように結合される、専用または汎用であり得る少なくとも1つのプログラマブルプロセッサと、少なくとも1つの入力デバイスと、少なくとも1つの出力デバイスとを含む、プログラマブルシステム上で実行可能かつ/または解釈可能である1つ以上のコンピュータプログラムにおける実装を含むことができる。
【0360】
これらのコンピュータプログラム(プログラム、ソフトウェア、ソフトウェアアプリケーション、またはコードとしても公知である)は、プログラマブルプロセッサのための機械命令を含み、高レベル手続型および/またはオブジェクト指向プログラミング言語において、および/またはアセンブリ/機械言語において実装されることができる。
【0361】
ユーザとの相互作用を提供するために、ここで説明されるシステムおよび技法は、情報をユーザに表示するためのディスプレイデバイス(例えば、CRT(ブラウン管)またはLCD(液晶ディスプレイ)モニタ)と、それによってユーザが入力をコンピュータに提供し得る、キーボードおよびポインティングデバイス(例えば、マウスまたはトラックボール)とを有するコンピュータ上で実装されることができる。他の種類のデバイスもまた同様に、ユーザとの相互作用を提供するために使用されることができ、例えば、ユーザに提供されるフィードバックは、任意の形態の感覚フィードバック(例えば、視覚フィードバック、聴覚フィードバック、または触覚フィードバック)であり得、ユーザからの入力は、音響、音声、または触覚入力を含む任意の形態において受信されることができる。
【0362】
ここで説明されるシステムおよび技法は、バックエンドコンポーネント(例えば、データサーバとして)を含む、またはミドルウェアコンポーネント(例えば、アプリケーションサーバ)を含む、またはフロントエンドコンポーネント(例えば、それを通してユーザがここで説明されるシステムおよび技法の実装と相互作用し得る、グラフィカルユーザインターフェースまたはウェブブラウザを有するクライアントコンピュータ)を含む、またはそのようなバックエンド、ミドルウェア、またはフロントエンドコンポーネントの任意の組み合わせを含む、コンピューティングシステム内で実装されることができる。本システムのコンポーネントは、デジタルデータ通信(例えば、通信ネットワーク)の任意の形態または媒体によって相互接続されることができる。通信ネットワークの実施例は、ローカルエリアネットワーク(LAN)、広域ネットワーク(WAN)、およびインターネットを含む。
【0363】
コンピューティングシステムは、クライアントと、サーバとを含むことができる。クライアントおよびサーバは、概して、相互に遠隔にあり、典型的には、通信ネットワークを通して相互作用する。クライアントおよびサーバの関係は、個別のコンピュータ上で起動し、相互にクライアント-サーバ関係を有するコンピュータプログラムによって生じる。
【0364】
プライバシーの保護とともに、人物を識別し、および/または痛み、疲労、気分、および意図を識別および定量化するためのシステムおよび方法のある実装を説明したが、本開示の概念を組み込む他の実装も使用され得ることが、当業者にここで明白となるであろう。したがって、本開示は、ある実装に限定されるべきではなく、むしろ、以下の請求項の精神および範囲によってのみ限定されるべきである。
【0365】
本発明が、具体的な好ましい実施形態を参照して特に示され、説明されたが、形態および詳細における種々の変更が、添付される請求項によって定義されるような本発明の精神および範囲から逸脱することなく、それにおいて成され得ることが、当業者によって理解されるはずである。
(項目1)
センサデータから1人以上の着目人物の表現を識別する方法であって、上記センサデータは、その中に人物を伴う周辺環境の表現を含有しており、上記方法は、
(a)コンピューティングデバイスのプロセッサによって、1つ以上のフレームからセンサデータを受信するステップであって、上記センサデータは、人物の表現と、上記周辺環境の表現とを備え、上記人物の表現は、上記1人以上の着目人物の表現を備える、ステップと、
(b)上記プロセッサによって、上記センサデータ内の人物の各表現が、上記センサデータの個別のセグメント化と関連付けられるように、上記センサデータを上記センサデータ内の上記人物のそれぞれの固有の表現にセグメント化し、それによって、上記センサデータ内の上記周辺環境の表現から上記人物のそれぞれの表現を区別するステップと、
(c)上記プロセッサによって、上記センサデータの各セグメント化から1つ以上の身体部分を分離するステップと、
(d)上記プロセッサによって、上記センサデータのセグメント化毎に、上記センサデータの上記個別のセグメント化の1つ以上の分離された身体部分に基づいて、上記人物の個別の表現と関連付けられる1つ以上の特徴毎の測度を判定するステップと、
(e)上記プロセッサによって、上記センサデータのセグメント化毎に、上記人物の個別の表現と関連付けられる1つ以上の特徴の判定された測度の組み合わせが、上記1人以上の着目人物のうちの1人のボディプリントに対応するかどうかを判定し、それによって、上記センサデータの個別のセグメント化を着目人物として識別するステップと、
(f)上記プロセッサによって、上記データのセグメント化が上記対応する着目人物の識別と関連付けられるように、上記1人以上の着目人物のうちの1人のボディプリントに対応する上記人物の個別の表現と関連付けられるデータのセグメント化を記憶するステップと、
を含む、方法。
(項目2)
上記プロセッサによって、上記センサデータを上記センサデータ内の上記人物のそれぞれの固有の表現にセグメント化するステップは、機械学習および/またはパターン認識技法を実施するステップを含む、項目1に記載の方法。
(項目3)
上記プロセッサによって、上記センサデータの各セグメント化から上記1つ以上の身体部分を分離するステップは、機械学習および/またはパターン認識技法を実施するステップを含む、項目1または2に記載の方法。
(項目4)
上記1人以上の着目人物はそれぞれ、識別のために登録される、項目1-3に記載の方法。
(項目5)
上記個別のセグメント化を識別するステップは、分類子の出力に基づく、項目1-4に記載の方法。
(項目6)
上記個別のセグメント化を識別するステップは、ルールまたはカテゴリまたはヒューリスティックに基づく、上記項目のうちのいずれか1項に記載の方法。
(項目7)
上記1人以上の着目人物毎に、上記プロセッサによって、メモリデバイス内に、識別およびボディプリントを記憶するステップを含み、各ボディプリントは、上記1人以上の着目人物内の個別の着目人物に対してともに特有であるそれらの特徴毎の測度の範囲と組み合わせられる特徴のセットを備え、各識別は、ボディプリントと関連付けられる、上記項目のうちのいずれか1項に記載の方法。
(項目8)
上記プロセッサによって、上記個別の1つ以上の特徴の判定された測度および各ボディプリントの特徴のセットの対応するサブセットからの測度を比較し、上記個別の1つ以上の特徴の判定された測度が、上記ボディプリントの特徴の対応するサブセットに関する測度の範囲内であるかどうかを判定するステップを含む、項目7に記載の方法。
(項目9)
1人以下の人物、2人以下の人物、3人以下の人物、4人以下の人物、5人以下の人物、6人以下の人物、10人以下の人物、25人以下の人物、50人以下の人物、100人以下の人物が、識別のために登録される、上記項目のうちのいずれか1項に記載の方法。
(項目10)
顔特徴が、上記センサデータから省略される、上記項目のうちのいずれか1項に記載の方法。
(項目11)
全ての視覚データが、上記センサデータから省略される、上記項目のうちのいずれか1項に記載の方法。
(項目12)
上記人物のうちの少なくとも1人は、「他人」として識別される、上記項目のうちのいずれか1項に記載の方法。
(項目13)
1つ以上の身体部分を分離するステップは、上記プロセッサによって、上記データセットの特質、上記センサのタイプ、上記人物に対して利用可能な非閉塞データの量、上記センサデータのセグメント化内の身体部分の表現の可用性、着目人物に関するボディプリントの可用性、および計算のために利用可能な特徴のライブラリから成る群から選択される少なくとも1つの性質に基づいて、センサデータの各セグメント化内のどの身体部分を分離するかを判定するステップを含む、上記項目のうちのいずれか1項に記載の方法。
(項目14)
上記1つ以上の身体部分は、フレーム内の人物毎に異なり得る、上記項目のうちのいずれか1項に記載の方法。
(項目15)
上記1つ以上の測度は、面積、体積、円周、閉曲線、非閉曲線、長さ、空間的場所、角度、画像、形態/形状、強度、フィルタ処理された出力、数値的重みのセット、数学的スケーリング、数学的変換、数学的畳み込み、一般化された数学的演算、または前述のいずれかの変化率から成る群から選択される1つ以上の要素を備える、上記項目のうちのいずれか1項に記載の方法。
(項目16)
人物毎に、測度がフレーム内の人物毎に判定されるべきである1つ以上の候補特徴のセットからサブセットを選択するステップを含む、上記項目のうちのいずれか1項に記載の方法。
(項目17)
上記1つ以上の特徴のうちの少なくとも1つは、任意の所与のフレームまたは一連のフレームにおいて利用不可能または算出不可能である、上記項目のうちのいずれか1項に記載の方法。
(項目18)
上記1つ以上の特徴はそれぞれ、1つ以上のフレームに基づいて計算される、上記項目のうちのいずれか1項に記載の方法。
(項目19)
上記1つ以上のフレームは、複数の連続または非連続フレームを備える、項目18に記載の方法。
(項目20)
上記1つ以上の特徴は、1つ以上の静的特徴を備える、上記項目のうちのいずれか1項に記載の方法。
(項目21)
上記1つ以上の静的特徴は、人物の身長、肩から肩までの幅、上腕、下腕、上脚、下脚、手、足、頭部、首、または胴の長さまたは幅、胴表面積、胴体積、頭部の長さ、胴の長さ、肢円周のうちの任意の2つの間の比率、頭部または鼻の体積、頭部または眼窩の円周、頭部輪郭、口、または顎の幅、頭部の上部または背部または顎の湾曲度、および眉間、鼻梁、鼻の先端、人中、下顎点、眼の瞳孔、耳の外耳道、耳介、頭頂、地面のうちの任意の2つの間の距離、身体部分の画像、身体部分の形態/形状、固有画像、固有顔、スケール不変特徴変換、配向勾配のヒストグラム、ピクセルマスク、ピクセルカウント、ボクセル体積、重心、凸多面体、3Dメッシュ、色、反射、テクスチャ、パターン、畳み込みから成る群から選択される1つ以上の要素を備える、項目20に記載の方法。
(項目22)
上記1つ以上の静的特徴は、Convolutional Neural Networkを含むニューラルネットワークの重みおよび/または出力、Convolutional Neural Networkを含む、異なる時点におけるニューラルネットワークの重みおよび/または出力、Random Forestの重みおよび/または出力、Support Vector Machineの重みおよび/または出力、単純なベイズマシンの重みおよび/または出力、K平均クラスタリングを含むクラスタリング、教師あり学習、教師なし学習から成る群から選択される1つ以上の要素を備える、項目20に記載の方法。
(項目23)
各特徴は、単一の身体部分の属性の測定値、または異なる身体部分の属性の測定値間の関係、または1つ以上の身体部分の属性の測定値と環境の測定値との間の関係に基づいて計算される、上記項目のうちのいずれか1項に記載の方法。
(項目24)
上記単一の身体部分の属性は、人物の身長、上腕、下腕、上脚、下脚、手、足、頭部、首、または胴の長さまたは幅、頭部または鼻の体積、頭部または眼窩の円周、頭部輪郭、口、または顎の幅、頭部の上部または背部または顎の湾曲度から成る群から選択される1つ以上の要素を備える、項目23に記載の方法。
(項目25)
上記異なる身体部分の属性の測定値間の関係は、胴表面積、胴体積、頭部の長さ、胴の長さ、肢円周のうちの任意の2つの間の比率、眉間、鼻梁、鼻の先端、人中、下顎点、眼の瞳孔、耳の外耳道、耳介、頭頂、地面のうちの任意の2つの間の距離を備える、項目23または24に記載の方法。
(項目26)
上記1つ以上の特徴は、1つ以上の動的特徴を備える、上記項目のうちのいずれか1項に記載の方法。
(項目27)
上記1つ以上の動的特徴は、身体の方向転換の速度、歩行速度、大股で歩く間の2つの脚の間の最大距離、大股で歩く間の肩関節における回転の最大角度、右脚と左脚との間の歩幅長さの差異、車椅子の存在または不在、杖等の補助デバイスの存在または不在、衣類の色または反射の存在または不在、靴の高さ、地面に対する身体の傾斜または振りの角度、胴と脚との間の屈曲の角度、脊柱湾曲度、体温、局所的家具または壁への近接またはそれからの距離、身体のセンサからの距離、胴に対する頭部の配向、センサに対する頭部の配向、センサに対する注視の角度、眼鏡の存在または不在、帽子またはヘルメットの存在または不在、および髪の量から成る群から選択される1つ以上の要素を備える、項目26に記載の方法。
(項目28)
上記1つ以上の動的特徴は、Convolutional Neural Networkを含むニューラルネットワークの重みおよび/または出力、Convolutional Neural Networkを含む、異なる時点におけるニューラルネットワークの重みおよび/または出力、Random Forestの重みおよび/または出力、Support Vector Machineの重みおよび/または出力、単純なベイズマシンの重みおよび/または出力、K平均クラスタリングを含むクラスタリング、教師あり学習、教師なし学習から成る群から選択される1つ以上の要素を備える、項目26に記載の方法。
(項目29)
上記1つ以上の動的特徴はそれぞれ、1)-3)、すなわち、1)時間、空間、または他の着目測定単位にわたる単一の身体部分の属性の変動、2)時間、空間、または他の着目測定単位にわたる異なる身体部分の特徴間の関係の変動、および3)時間、空間、または他の着目測定単位にわたる上記人物の異なる身体区画に対する環境またはその関係の変動のうちの少なくとも1つに基づいて計算される、項目26-28のうちのいずれか1項に記載の方法。
(項目30)
上記識別は、ルールイン識別である、上記項目のうちのいずれか1項に記載の方法。
(項目31)
上記識別は、「その他」識別としても公知なルールアウトである、上記項目のうちのいずれか1項に記載の方法。
(項目32)
上記1つ以上の特徴は、別の人物を識別するために使用される上記1つ以上の特徴とは異なる上記センサデータ内のフレームまたはフレームのセットから捕捉される、上記項目のうちのいずれか1項に記載の方法。
(項目33)
人物毎に、上記識別は、特徴のセットに基づいて、かつそれらの特徴毎の測度の範囲に基づいて判定され、その組み合わせられたものは、特定の人物に対して高度に特有である、上記項目のうちのいずれか1項に記載の方法。
(項目34)
人物毎に、上記識別は、少なくとも部分的に、その識別を実施するために使用される上記1つ以上の特徴の忠実度および/または予測力に基づいて判定される、上記項目のうちのいずれか1項に記載の方法。
(項目35)
上記1つ以上の特徴は、利用可能なシーン、上記センサ、上記センサデータ、既知のボディプリントの上記ライブラリ、および既知かつ算出可能な特徴の上記ライブラリから成る群から選択される少なくとも1つの要素に基づいて、経時的に変動する、上記項目のうちのいずれか1項に記載の方法。
(項目36)
上記1つ以上の特徴および/またはボディプリントは、機械学習および/またはパターン認識技法によって自動的に計算される、上記項目のうちのいずれか1項に記載の方法。
(項目37)
上記1つ以上の特徴および/またはボディプリントは、手動タグ付け等の外部エージェントによって事前または事後情報として提供される、上記項目のうちのいずれか1項に記載の方法。
(項目38)
上記1つ以上の特徴および/またはボディプリントは、経時的に更新または修正されることができる、上記項目のうちのいずれか1項に記載の方法。
(項目39)
センサによって、センサデータを取得するステップを含み、上記センサデータは、複数のフレームを備え、各フレームは、ピクセルの2次元空間マップとして表され、各ピクセルの強度値は、上記センサからの投影距離に対応する、上記項目のうちのいずれか1項に記載の方法。
(項目40)
上記プロセッサによって、上記1つ以上の特徴に優先順位を付けるステップを含み、上記優先順位を付けるステップは、異なるセンサ、異なる時間、異なるボディプリント、および異なる空間的場所から成る群から選択される少なくとも1つの要素を横断して特徴を集約するステップを含む、上記項目のうちのいずれか1項に記載の方法。
(項目41)
上記1つ以上の特徴は、同一のシーン内の人物毎に異なる、項目40に記載の方法。
(項目42)
上記1つ以上の特徴は、同一の人物に関してであってもフレーム毎に異なる割当を有する、項目40または41に記載の方法。
(項目43)
上記センサデータは、飛行時間光検出および測距のうちの少なくとも1つによって、または、上記シーン上に少なくとも1つのエネルギーパターンを投影し、上記パターンの変形を測定することによって取得されるデータを備える、上記項目のうちのいずれか1項に記載の方法。
(項目44)
上記センサデータは、光または音声を使用して取得されるデータを備える、上記項目のうちのいずれか1項に記載の方法。
(項目45)
上記センサデータは、未加工センサデータ、未加工センサデータから導出される値、および軌跡データから成る群から選択される少なくとも1つのデータタイプを備える、上記項目のうちのいずれか1項に記載の方法。
(項目46)
上記1つ以上のフレームはそれぞれ、特定の瞬間に先行して、またはその時点のいずれかで取得されたデータを備える1つ以上のデータストリームから成る「スナップショット」に対応する、上記項目のうちのいずれか1項に記載の方法。
(項目47)
上記1つ以上のフレームは、複数の時点において単一のセンサによって取得された複数のフレーム、または同一または異なる時点において複数のセンサによって取得された複数のフレームのうちの少なくとも1つを備える、上記項目のうちのいずれか1項に記載の方法。
(項目48)
上記プロセッサによって、識別された人物毎に信頼性スコアを判定するステップを含む、上記項目のうちのいずれか1項に記載の方法。
(項目49)
上記プロセッサによって、人物と関連付けられる上記センサデータのサブセットを破棄するステップを含む、上記項目のうちのいずれか1項に記載の方法。
(項目50)
上記識別は、未知の識別を備える、上記項目のうちのいずれか1項に記載の方法。
(項目51)
上記プロセッサによって、上記1つ以上の特徴を調節し、全ての特徴が時間的かつ/または空間的に並置されることを確実にするステップを含む、上記項目のうちのいずれか1項に記載の方法。
(項目52)
上記1つ以上の特徴のうちの少なくとも1つは、上記センサにおける、または計算方法論におけるタイミング遅延またはバイアスを調節するために、オフセット補正される、待ち時間補正される、または空間的に並置される、上記項目のうちのいずれか1項に記載の方法。
(項目53)
特徴の上記忠実度は、上記シーンの組成、利用されているセンサのタイプ、および取得されているデータのタイプから成る群から選択される少なくとも1つの要素に依存する、項目34に記載の方法。
(項目54)
上記識別するステップは、上記人物が自然に動き回っている間に実施される、上記項目のうちのいずれか1項に記載の方法。
(項目55)
上記識別するステップは、リアルタイムで、またはほぼリアルタイムで実施される、項目54に記載の方法。
(項目56)
上記識別するステップは、遅延後に、または同じく、データ取得が起こった時間とは実質的に異なる時間に実施される、上記項目のうちのいずれか1項に記載の方法。
(項目57)
上記識別するステップは、遡及的に実施される、上記項目のうちのいずれか1項に記載の方法。
(項目58)
上記人物は、上記センサから、0.1メートルを上回る、0.5メートルを上回る、1メートルを上回る、2メートルを上回る、5メートルを上回る距離に位置する、上記項目のうちのいずれか1項に記載の方法。
(項目59)
センサデータから1人以上の着目人物の表現を識別するためのシステムであって、上記センサデータは、その中に人物を伴う周辺環境の表現を含有しており、上記システムは、
プロセッサと、
メモリであって、上記メモリは、その上に命令を記憶しており、上記命令は、上記プロセッサによって実行されると、上記プロセッサに、
センサデータ内の人物の各表現が、上記センサデータの個別のセグメント化と関連付けられるように、1つ以上のフレームからの上記センサデータを上記センサデータ内の上記人物のそれぞれの固有の表現にセグメント化し、それによって、上記センサデータ内の上記周辺環境の表現から上記人物のそれぞれの表現を区別することであって、上記センサデータは、人物の表現と、上記周辺環境の表現とを備え、上記人物の表現は、上記1人以上の着目人物の表現を備える、ことと、
上記センサデータの各セグメント化から1つ以上の身体部分を分離することと、
上記センサデータのセグメント化毎に、上記センサデータの上記個別のセグメント化の1つ以上の分離された身体部分に基づいて、上記人物の個別の表現と関連付けられる1つ以上の特徴毎の測度を判定することと、
上記センサデータのセグメント化毎に、上記人物の個別の表現と関連付けられる1つ以上の特徴の判定された測度の組み合わせが、上記1人以上の着目人物のうちの1人のボディプリントに対応するかどうかを判定し、それによって、上記センサデータの個別のセグメント化を着目人物として識別することと、
上記データのセグメント化が上記対応する着目人物の識別と関連付けられるように、上記1人以上の着目人物のうちの1人のボディプリントに対応する上記人物の個別の表現と関連付けられるデータのセグメント化を記憶することと
を行わせる、メモリと、
を備える、システム。
(項目60)
上記命令は、上記プロセッサによって実行されると、上記プロセッサに、機械学習および/またはパターン認識技法を実施させ、上記センサデータを上記センサデータ内の上記人物のそれぞれの固有の表現にセグメント化させる、項目59に記載のシステム。
(項目61)
上記命令は、上記プロセッサによって実行されると、上記プロセッサに、機械学習および/またはパターン認識技法を実施させ、上記センサデータの各セグメント化から上記1つ以上の身体部分を分離させる、項目59または60に記載のシステム。
(項目62)
上記1人以上の着目人物はそれぞれ、識別のために登録される、項目59-61に記載のシステム。
(項目63)
上記個別のセグメント化を識別するステップは、分類子の出力に基づく、項目59-62に記載のシステム。
(項目64)
上記個別のセグメント化を識別するステップは、ルールまたはカテゴリまたはヒューリスティックに基づく、項目59-63のうちのいずれか1項に記載のシステム。
(項目65)
上記命令は、上記プロセッサによって実行されると、上記プロセッサに、上記1人以上の着目人物毎に、メモリデバイス内に、識別およびボディプリントを記憶させ、各ボディプリントは、上記1人以上の着目人物内の個別の着目人物に対してともに特有であるそれらの特徴毎の測度の範囲と組み合わせられる特徴のセットを備え、各識別は、ボディプリントと関連付けられる、項目59-64のうちのいずれか1項に記載のシステム。
(項目66)
上記命令は、上記プロセッサによって実行されると、上記プロセッサに、上記個別の1つ以上の特徴の判定された測度および各ボディプリントの特徴のセットの対応するサブセットからの測度を比較させ、上記個別の1つ以上の特徴の判定された測度が、上記ボディプリントの特徴の対応するサブセットに関する測度の範囲内であるかどうかを判定させる、項目65に記載のシステム。
(項目67)
1人以下の人物、2人以下の人物、3人以下の人物、4人以下の人物、5人以下の人物、6人以下の人物、10人以下の人物、25人以下の人物、50人以下の人物、100人以下の人物が、識別のために登録される、項目59-66のうちのいずれか1項に記載のシステム。
(項目68)
顔特徴が、上記センサデータから省略される、項目59-67のうちのいずれか1項に記載のシステム。
(項目69)
全ての視覚データが、上記センサデータから省略される、項目59-68のうちのいずれか1項に記載のシステム。
(項目70)
上記人物のうちの少なくとも1人は、「他人」として識別される、項目59-69のうちのいずれか1項に記載のシステム。
(項目71)
上記命令は、上記プロセッサによって実行されると、上記プロセッサに、上記データセットの特質、上記センサのタイプ、上記人物に対して利用可能な非閉塞データの量、上記センサデータのセグメント化内の身体部分の表現の可用性、着目人物に関するボディプリントの可用性、および計算のために利用可能な特徴のライブラリから成る群から選択される少なくとも1つの性質に基づいて、センサデータの各セグメント化内のどの身体部分を分離するかを判定させる、項目59-70のうちのいずれか1項に記載のシステム。
(項目72)
分離される上記1つ以上の身体部分は、フレーム内の人物毎に異なり得る、項目59-71のうちのいずれか1項に記載のシステム。
(項目73)
上記1つ以上の特徴の上記1つ以上の測度はそれぞれ、面積、体積、円周、閉曲線、非閉曲線、長さ、空間的場所、角度、画像、形態/形状、強度、フィルタ処理された出力、数値的重みのセット、数学的スケーリング、数学的変換、数学的畳み込み、一般化された数学的演算、または前述のいずれかの変化率から成る群から選択される1つ以上の要素を備える、項目59-72のうちのいずれか1項に記載のシステム。
(項目74)
上記命令は、上記プロセッサによって実行されると、上記プロセッサに、人物毎に、どの特徴がフレーム内の人物毎に計算され得、計算されるべきかを判定させる、項目59-73のうちのいずれか1項に記載のシステム。
(項目75)
上記1つ以上の特徴のうちの少なくとも1つは、任意の所与のフレームまたは一連のフレームにおいて利用不可能または算出不可能である、項目59-74のうちのいずれか1項に記載のシステム。
(項目76)
上記1つ以上の特徴はそれぞれ、1つ以上のフレームに基づいて計算される、項目59-75のうちのいずれか1項に記載のシステム。
(項目77)
上記1つ以上のフレームは、複数の連続または非連続フレームを備える、項目76に記載のシステム。
(項目78)
上記1つ以上の特徴は、1つ以上の静的特徴を備える、項目59-77のうちのいずれか1項に記載のシステム。
(項目79)
上記1つ以上の静的特徴は、人物の身長、肩から肩までの幅、上腕、下腕、上脚、下脚、手、足、頭部、首、または胴の長さまたは幅、胴表面積、胴体積、頭部の長さ、胴の長さ、肢円周のうちの任意の2つの間の比率、頭部または鼻の体積、頭部または眼窩の円周、頭部輪郭、口、または顎の幅、頭部の上部または背部または顎の湾曲度、および眉間、鼻梁、鼻の先端、人中、下顎点、眼の瞳孔、耳の外耳道、耳介、頭頂、地面のうちの任意の2つの間の距離、身体部分の画像、身体部分の形態/形状、固有画像、固有顔、スケール不変特徴変換、配向勾配のヒストグラム、ピクセルマスク、ピクセルカウント、ボクセル体積、重心、凸多面体、3Dメッシュ、色、反射、テクスチャ、パターン、畳み込みから成る群から選択される1つ以上の要素を備える、項目78に記載のシステム。
(項目80)
上記1つ以上の静的特徴は、Convolutional Neural Networkを含むニューラルネットワークの重みおよび/または出力、Convolutional Neural Networkを含む、異なる時点におけるニューラルネットワークの重みおよび/または出力、Random Forestの重みおよび/または出力、Support Vector Machineの重みおよび/または出力、単純なベイズマシンの重みおよび/または出力、K平均クラスタリングを含むクラスタリング、教師あり学習、教師なし学習から成る群から選択される1つ以上の要素を備える、項目78に記載のシステム。
(項目81)
上記1つ以上の特徴はそれぞれ、単一の身体部分の属性の測定値、または異なる身体部分の属性の測定値間の関係、または1つ以上の身体部分の属性の測定値と環境の測定値との間の関係に基づいて計算される、項目59-80のうちのいずれか1項に記載のシステム。
(項目82)
上記単一の身体部分の属性は、人物の身長、上腕、下腕、上脚、下脚、手、足、頭部、首、または胴の長さまたは幅、頭部または鼻の体積、頭部または眼窩の円周、頭部輪郭、口、または顎の幅、頭部の上部または背部または顎の湾曲度から成る群から選択される1つ以上の要素を備える、項目81に記載のシステム。
(項目83)
上記異なる身体部分の属性の測定値間の関係は、胴表面積、胴体積、頭部の長さ、胴の長さ、肢円周のうちの任意の2つの間の比率、眉間、鼻梁、鼻の先端、人中、下顎点、眼の瞳孔、耳の外耳道、耳介、頭頂、地面のうちの任意の2つの間の距離を備える、項目81または82に記載のシステム。
(項目84)
上記1つ以上の特徴は、1つ以上の動的特徴を備える、項目59-83のうちのいずれか1項に記載のシステム。
(項目85)
上記1つ以上の動的特徴は、身体の方向転換の速度、歩行速度、大股で歩く間の2つの脚の間の最大距離、大股で歩く間の肩関節における回転の最大角度、右脚と左脚との間の歩幅長さの差異、車椅子の存在または不在、杖等の補助デバイスの存在または不在、衣類の色または反射の存在または不在、靴の高さ、地面に対する身体の傾斜または振りの角度、胴と脚との間の屈曲の角度、脊柱湾曲度、体温、局所的家具または壁への近接またはそれからの距離、身体のセンサからの距離、胴に対する頭部の配向、センサに対する頭部の配向、センサに対する注視の角度、眼鏡の存在または不在、帽子またはヘルメットの存在または不在、および髪の量から成る群から選択される1つ以上の要素を備える、項目84に記載のシステム。
(項目86)
上記1つ以上の動的特徴は、Convolutional Neural Networkを含むニューラルネットワークの重みおよび/または出力、Convolutional Neural Networkを含む、異なる時点におけるニューラルネットワークの重みおよび/または出力、Random Forestの重みおよび/または出力、Support Vector Machineの重みおよび/または出力、単純なベイズマシンの重みおよび/または出力、K平均クラスタリングを含むクラスタリング、教師あり学習、教師なし学習から成る群から選択される1つ以上の要素を備える、項目84に記載のシステム。
(項目87)
上記1つ以上の動的特徴はそれぞれ、1)-3)、すなわち、1)時間、空間、または他の着目測定単位にわたる単一の身体部分の属性の変動、2)時間、空間、または他の着目測定単位にわたる異なる身体部分の特徴間の関係の変動、および3)時間、空間、または他の着目測定単位にわたる上記人物の異なる身体区画に対する環境またはその関係の変動のうちの少なくとも1つに基づいて計算される、項目84-86のうちのいずれか1項に記載のシステム。
(項目88)
上記識別は、ルールイン識別である、項目59-87のうちのいずれか1項に記載のシステム。
(項目89)
上記識別は、「その他」識別としても公知なルールアウトである、項目59-88のうちのいずれか1項に記載のシステム。
(項目90)
上記1つ以上の特徴は、別の人物を識別するために使用される上記1つ以上の特徴とは異なる上記センサデータ内のフレームまたはフレームのセットから捕捉される、項目59-89のうちのいずれか1項に記載のシステム。
(項目91)
人物毎に、上記識別は、特徴のセットに基づいて、かつそれらの特徴毎の測度の範囲に基づいて判定され、その組み合わせられたものは、特定の人物に対して高度に特有である、項目59-90のうちのいずれか1項に記載のシステム。
(項目92)
上記識別は、少なくとも部分的に、その識別を実施するために使用される上記1つ以上の特徴の忠実度および/または予測力に基づいて判定される、項目59-91のうちのいずれか1項に記載のシステム。
(項目93)
上記1つ以上の特徴は、利用可能なシーン、上記センサ、上記センサデータ、既知のボディプリントの上記ライブラリ、および既知かつ算出可能な特徴の上記ライブラリから成る群から選択される少なくとも1つの要素に基づいて、経時的に変動する、項目59-92のうちのいずれか1項に記載のシステム。
(項目94)
上記1つ以上の特徴および/またはボディプリントは、機械学習またはパターン認識技法によって自動的に計算される、項目59-93のうちのいずれか1項に記載のシステム。
(項目95)
上記1つ以上の特徴および/またはボディプリントは、手動タグ付け等の外部エージェントによって事前または事後情報として提供される、項目59-94のうちのいずれか1項に記載のシステム。
(項目96)
上記1つ以上の特徴および/またはボディプリントは、経時的に更新または修正されることができる、項目59-95のうちのいずれか1項に記載のシステム。
(項目97)
上記センサデータは、センサによって取得され、上記センサデータは、複数のフレームを備え、各フレームは、ピクセルの2次元空間マップとして表され、各ピクセルの強度値は、上記センサからの投影距離に対応する、項目59-96のうちのいずれか1項に記載のシステム。
(項目98)
上記命令は、上記プロセッサによって実行されると、上記プロセッサに、上記1つ以上の特徴に優先順位を付けさせ、それによって、異なるセンサ、異なる時間、異なるボディプリント、および異なる空間的場所から成る群から選択される少なくとも1つの要素を横断して特徴を集約させる、項目59-97のうちのいずれか1項に記載のシステム。
(項目99)
上記1つ以上の特徴は、同一のシーン内の人物毎に異なる、項目98に記載のシステム。
(項目100)
上記1つ以上の特徴は、同一の人物に関してであってもフレーム毎に異なる割当を有する、項目98または99に記載のシステム。
(項目101)
上記センサデータは、飛行時間光検出および測距のうちの少なくとも1つによって、または、上記シーン上に少なくとも1つのエネルギーパターンを投影し、上記パターンの変形を測定することによって取得されるデータを備える、項目59-100のうちのいずれか1項に記載のシステム。
(項目102)
上記センサデータは、光または音声を使用して取得されるデータを備える、項目59-101のうちのいずれか1項に記載のシステム。
(項目103)
上記センサデータは、未加工センサデータ、未加工センサデータから導出される値、または軌跡データから成る群から選択される少なくとも1つのデータタイプを備える、項目59-102のうちのいずれか1項に記載のシステム。
(項目104)
上記1つ以上のフレームはそれぞれ、特定の瞬間に先行して、またはその時点のいずれかで取得されたデータを備える1つ以上のデータストリームから成る「スナップショット」に対応する、項目59-103のうちのいずれか1項に記載のシステム。
(項目105)
上記1つ以上のフレームは、複数の時点において単一のセンサによって取得された複数のフレーム、または同一または異なる時点において複数のセンサによって取得された複数のフレームのうちの少なくとも1つを備える、項目59-104のうちのいずれか1項に記載のシステム。
(項目106)
上記命令は、上記プロセッサによって実行されると、上記プロセッサに、識別された人物毎に信頼性スコアを判定させる、項目59-105のうちのいずれか1項に記載のシステム。
(項目107)
上記命令は、上記プロセッサによって実行されると、上記プロセッサに、人物と関連付けられる上記センサデータのサブセットを破棄させる、項目59-106のうちのいずれか1項に記載のシステム。
(項目108)
上記識別は、未知の識別を備える、項目59-107のうちのいずれか1項に記載のシステム。
(項目109)
上記命令は、上記プロセッサによって実行されると、上記プロセッサに、上記1つ以上の特徴を調節させ、全ての特徴が時間的かつ/または空間的に並置されることを確実にさせる、項目59-108のうちのいずれか1項に記載のシステム。
(項目110)
上記1つ以上の特徴のうちの少なくとも1つは、上記センサにおける、または計算方法論におけるタイミング遅延またはバイアスを調節するために、オフセット補正される、待ち時間補正される、または空間的に並置される、項目59-109のうちのいずれか1項に記載のシステム。
(項目111)
特徴の上記忠実度は、上記シーンの組成、利用されているセンサのタイプ、および取得されているデータのタイプから成る群から選択される少なくとも1つの要素に依存する、項目92に記載のシステム。
(項目112)
上記個別のセグメント化を識別するステップは、上記人物が自然に動き回っている間に実施される、項目59-111のうちのいずれか1項に記載のシステム。
(項目113)
上記個別のセグメント化を識別するステップは、リアルタイムで、またはほぼリアルタイムで実施される、項目112に記載のシステム。
(項目114)
上記個別のセグメント化を識別するステップは、遅延後に、または同じく、データ取得が起こった時間とは実質的に異なる時間に実施される、項目59-113のうちのいずれか1項に記載のシステム。
(項目115)
上記個別のセグメント化を識別するステップは、遡及的に実施される、項目59-114のうちのいずれか1項に記載のシステム。
(項目116)
上記人物は、上記センサから、0.1メートルを上回る、0.5メートルを上回る、1メートルを上回る、2メートルを上回る、5メートルを上回る距離に位置する、項目59-115のうちのいずれか1項に記載のシステム。
(項目117)
少なくとも部分的に、奥行きデータに基づいて、センサ場内の事前登録された人間個人の離散セットのうちの1つのリアルタイムまたはほぼリアルタイムの識別の方法であって、上記方法は、
コンピューティングデバイスのプロセッサによって、少なくとも部分的に、上記1つ以上のセンサによって取得された奥行きデータに基づいて、上記センサ場内で検出された人間に特徴的な複数の特徴のそれぞれを定量化するステップと、
上記プロセッサによって、上記センサ場内で検出された人間に関する定量化された複数の特徴に基づいて、1つ以上のボディプリントを定量化するステップと、
上記プロセッサによって、リアルタイムまたはほぼリアルタイムで、少なくとも部分的に、上記1つ以上のボディプリントに基づいて、事前登録された人間個人のセット間から上記センサ場内で検出された人間を肯定的に識別するステップと、
を含む、方法。
(項目118)
少なくとも部分的に、上記1つ以上のボディプリントに基づいて、上記肯定的に識別された個人が従事する活動を判定するステップを含む、項目117に記載の方法。
(項目119)
上記人間を肯定的に識別するステップは、奥行きデータに対して排他的に実施される、項目117または118に記載の方法。
(項目120)
上記奥行きデータは、1つ以上のセンサによって取得される1つ以上の奥行きマップを備える、項目117-119に記載の方法。
(項目121)
上記奥行きデータは、視覚画像を備えていない、項目117-120に記載の方法。
(項目122)
上記人間を肯定的に識別するステップは、写真静止またはビデオ画像の使用を伴わずに遂行され、それによって、上記個人の個人的プライバシーを保護する、項目117-121のうちのいずれか1項に記載の方法。
(項目123)
上記複数の特徴は、少なくとも1つの静的特徴および/または少なくとも1つの動的特徴を備える、項目117-122のうちのいずれか1項に記載の方法。
(項目124)
上記事前登録された人間個人のセットは、100人以下の、50人以下の、25人以下の、10人以下の、6人以下の、5人以下の、4人以下の、3人以下の、2人以下の、または1人以下の人間個人を備える、項目117-123のうちのいずれか1項に記載の方法。
(項目125)
上記人間は、少なくとも80%、少なくとも90%、少なくとも95%、または少なくとも99%の信頼性とともに肯定的に識別される、項目117-124のうちのいずれか1項に記載の方法。
(項目126)
上記プロセッサによって、上記センサ場内で検出された上記肯定的に識別された人間の名前を表示し、随意に、上記肯定的に識別された個人が従事する上記判定された活動のグラフィカルインジケーションを表示するステップを含む、項目117-125のうちのいずれか1項に記載の方法。
(項目127)
人物の身体的測定値を介して上記人物の痛み、疲労、気分、および意図のうちの少なくとも1つを識別および/または定量化する方法であって、上記方法は、
コンピューティングデバイスのプロセッサによって、センサによって取得されるセンサデータを備えるデータセットを受信するステップと、
上記プロセッサによって、上記データセットに基づいて、上記人物の移動、活動、および挙動から成る群から選択される少なくとも1つの要素を特性評価するステップであって、上記特性評価するステップは、
上記データセット内に表される1人以上の人物を、相互に、かつ上記データセット内に表される環境物体からセグメント化するステップと、
上記1人以上のセグメント化された人物のうちの少なくとも1人の少なくとも1つの特徴を計算するステップと、
上記少なくとも1つの特徴をある関係と相関させることに基づいて、結論を判定するステップと、
を含む、ステップと、
上記プロセッサによって、上記結論を出力するステップと、
を含む、方法。
(項目128)
上記データセット内に表される1人以上の人物をセグメント化するステップは、機械学習および/またはパターン認識技法を実施するステップを含む、項目127に記載の方法。
(項目129)
上記関係は、学習された関係である、項目127または128に記載の方法。
(項目130)
上記少なくとも1つの特徴は、直接測定値である身体的測定値を備える、項目127-129のうちのいずれか1項に記載の方法。
(項目131)
上記少なくとも1つの特徴は、間接的測定値である身体的測定値を備える、項目127-130のうちのいずれか1項に記載の方法。
(項目132)
上記結論は、不完全な測定値に基づく、項目127-131のうちのいずれか1項に記載の方法。
(項目133)
上記少なくとも1つの特徴は、非連続、非隣接、不完全、一貫性のない、非逐次のうちの少なくとも1つである上記データセット内の測定値に基づく、項目127-132のうちのいずれか1項に記載の方法。
(項目134)
上記結論は、いくつかの異なるタイプおよび組み合わせの特徴の統合に基づく、項目127-133のうちのいずれか1項に記載の方法。
(項目135)
上記データセット内のセンサデータは、センサから直接取得される、および/または付加的処理を受けている、項目127-134のうちのいずれか1項に記載の方法。
(項目136)
上記データセットは、1つ以上のフレームを備える、項目127に記載の方法。
(項目137)
上記1つ以上のフレームの各フレームは、特定の瞬間に先行して、またはその時点のいずれかで取得されたデータを備える1つ以上のデータストリームのスナップショットに対応する、項目136に記載の方法。
(項目138)
上記1つ以上のフレームは、複数の時点において単一のセンサによって捕捉される、および/または複数のセンサによって捕捉される、項目136に記載の方法。
(項目139)
上記データセットは、略リアルタイムで取得される、バッチモードで取得される、またはデータベース内に以前に記憶されたデータから取得される、項目127-138のうちのいずれか1項に記載の方法。
(項目140)
非プライベートであると判定されたデータのタイプを破棄するステップを含む、項目127-139のうちのいずれか1項に記載の方法。
(項目141)
上記プロセッサによって、後続分析のために上記データセットを事前処理するステップを含み、上記事前処理するステップは、上記データセットをフィルタ処理するステップ、条件付けするステップ、クリーニングするステップ、および正規化するステップから成る群から選択される1つ以上のステップを含む、項目127-140のうちのいずれか1項に記載の方法。
(項目142)
上記プロセッサによって、後続分析のために上記データセットを事前処理するステップを含み、上記事前処理するステップは、上記データセットからの未加工データまたは計算された特徴に対して実施される、項目127-141のうちのいずれか1項に記載の方法。
(項目143)
上記セグメント化するステップは、上記セグメント化された人物の識別に関するいずれの情報も伴わずに実施される、項目127-142のうちのいずれか1項に記載の方法。
(項目144)
セグメント化した後、計算された特徴を具体的個人と関連付けるために、上記1人以上のセグメント化された人物毎に標識を判定するステップを含む、項目127-143のうちのいずれか1項に記載の方法。
(項目145)
上記少なくとも1つの特徴は、肢長さ、足サイズ、頭部形状、身長、身体割合、身体体積、音声周波数スペクトル、声量、歩幅長さ、視野内の場所、および腕を上げる速度から成る群から選択される少なくとも1つの要素を備える、項目127-144のうちのいずれか1項に記載の方法。
(項目146)
上記プロセッサによって、機械学習および/またはパターン認識技法を使用して、上記少なくとも1つの特徴を自動的に計算するステップを含む、項目127-145のうちのいずれか1項に記載の方法。
(項目147)
上記少なくとも1つの特徴を計算するステップは、上記具体的特徴の可用性および上記出力される結論に関する関連度のうちの少なくとも1つに基づいて、中断される、項目127-146のうちのいずれか1項に記載の方法。
(項目148)
上記プロセッサによって、上記データセットに基づいて、移動、活動、または挙動の所望の特性を判定するステップは、セグメント化する前に、上記プロセッサによって、後続分析のために上記データセットを事前処理するステップを含む、項目127-147のうちのいずれか1項に記載の方法。
(項目149)
上記関係は、事前判定される、項目127-148のうちのいずれか1項に記載の方法。
(項目150)
上記学習された関係は、グラウンドトゥルースに基づく、項目128に記載の方法。
(項目151)
人物の身体的測定値を介して上記人物の痛み、疲労、気分、および意図のうちの少なくとも1つを識別および/または定量化するためのシステムであって、上記システムは、
上記人物に対応するデータを取得するための、センサと、
プロセッサと、
メモリであって、上記メモリは、その上に記憶される命令を有しており、上記命令は、上記プロセッサによって実行されると、上記プロセッサに、
センサによって取得されるセンサデータを備えるデータセットを受信することと、
上記データセットに基づいて、
上記データセット内に表される1人以上の人物を、相互に、かつ上記データセット内に表される環境物体からセグメント化するステップと、
上記1人以上のセグメント化された人物のうちの少なくとも1人の少なくとも1つの特徴を計算するステップと、
上記少なくとも1つの特徴をある関係と相関させることに基づいて、上記人物の結論を判定するステップと、
によって、上記人物の移動、活動、および挙動のうちの少なくとも1つを特性評価させることと、
上記結論を出力することと
を行わせる、メモリと、
を備える、システム。
(項目152)
上記データセット内に表される1人以上の人物をセグメント化するステップは、機械学習および/またはパターン認識技法を実施するステップを含む、項目151に記載のシステム。
(項目153)
上記センサデータを取得するために、赤外線飛行時間センサをさらに備える、項目59-116のうちのいずれか1項に記載のシステム。
(項目154)
ディスプレイと、上記プロセッサおよびメモリのための筐体とをさらに備える、項目59-116または153のうちのいずれか1項に記載のシステム。
図1A
図1B
図1C
図1D
図2
図3-1】
図3-2】
図3-3】
図3-4】
図4
図5-1】
図5-2】
図5-3】
図5-4】
図6
図7
図8
図9A
図9B
図9C
図9D
図10
図11
図12
図13A
図13B
図13C
図13D