特開2022-120775 | 知財ポータル「IP Force」

知財求人 - 知財ポータルサイト「IP Force」

▶ グーグル　インコーポレイテッドの特許一覧

特開2022-120775オンデバイスでの活動認識

書誌要約請求の範囲詳細な説明課題実施例実施するための形態図面の説明

目に優しい文字サイズ小中大 PDF Top

< >

1
2
3A
3B
3C
3D
3E
4

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022120775

(43)【公開日】2022-08-18

(54)【発明の名称】オンデバイスでの活動認識

(51)【国際特許分類】

G06Q 10/06 20120101AFI20220810BHJP

G06N 3/02 20060101ALI20220810BHJP

【ＦＩ】

G06Q10/06

G06N3/02

【審査請求】有

【請求項の数】17

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2021164946

(22)【出願日】2021-10-06

(31)【優先権主張番号】17/169,194

(32)【優先日】2021-02-05

(33)【優先権主張国・地域又は機関】US

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＴＥＮＳＯＲＦＬＯＷ

(71)【出願人】

【識別番号】502208397

【氏名又は名称】グーグルエルエルシー

【氏名又は名称原語表記】ＧｏｏｇｌｅＬＬＣ

【住所又は居所原語表記】１６００ＡｍｐｈｉｔｈｅａｔｒｅＰａｒｋｗａｙ９４０４３ＭｏｕｎｔａｉｎＶｉｅｗ，ＣＡＵ．Ｓ．Ａ．

(74)【代理人】

【識別番号】110001195

【氏名又は名称】弁理士法人深見特許事務所

(72)【発明者】

【氏名】ジャスティン・ポール・フィリップス

(72)【発明者】

【氏名】ロバート・キース・ハール

(72)【発明者】

【氏名】プラナフ・ナーシカー

(72)【発明者】

【氏名】アレックス・ウィルソン

(72)【発明者】

【氏名】サンデル・アレウィンゼ

【テーマコード（参考）】

5L049

【Ｆターム（参考）】

5L049AA06

(57)【要約】（修正有）

【課題】センサデータを外部のコンピューティングシステム（たとえば、クラウド）に送信することなく、１つ以上のセンサコンポーネントによって提供されるセンサデータに基づいてユーザの活動を認識する方法、コンピューティングデバイス及び記憶媒体を提供する。
【解決手段】コンピューティングデバイスは、１つ以上のモーションセンサによって感知される動きに対応するとともに１つ以上のモーションセンサによって生成されるモーションデータを受信し、差分プライバシーでトレーニングされた１つ以上のニューラルネットワークを用いて、オンデバイス活動認識を実行して、モーションデータに対応する身体活動を認識し、モーションデータに対応する身体活動を認識することに応答して、身体活動に関連付けられた動作を実行する。
【選択図】図４

【特許請求の範囲】

【請求項1】

方法であって、
１つ以上のモーションセンサによって感知される動きに対応するとともに前記１つ以上のモーションセンサによって生成されるモーションデータをコンピューティングデバイスによって受信するステップと、
差分プライバシーでトレーニングされた１つ以上のニューラルネットワークを用いて、前記コンピューティングデバイスによってオンデバイス活動認識を実行して、前記モーションデータに対応する身体活動を認識するステップと、
前記モーションデータに対応する前記身体活動を認識することに応答して、前記コンピューティングデバイスによって、前記身体活動に関連付けられた動作を実行するステップとを含む、方法。

【請求項2】

前記１つ以上のニューラルネットワークは、差分プライバシーフレームワークを用いて、かつ、前記１つ以上のニューラルネットワークのプライバシー保証が保持していない確率に境界を付けるデルタパラメータを用いてトレーニングされ、前記デルタパラメータは、前記１つ以上のニューラルネットワークのためのトレーニングセットのサイズの逆数に設定される値を有する、請求項１に記載の方法。

【請求項3】

前記１つ以上のニューラルネットワークは、複数の身体活動に対応するモーションデータのトレーニングセットを用いてトレーニングされる、請求項１に記載の方法。

【請求項4】

前記モーションデータのトレーニングセットは、制約なしのランダム回転で複数の方向に変換されている、請求項３に記載の方法。

【請求項5】

前記モーションデータのトレーニングセットは、車両の運転中であるかまたは車両に乗車中であるユーザから生成されたものであり静止状態であると分類される複数のモーションデータを含む、請求項３に記載の方法。

【請求項6】

前記モーションデータのトレーニングセットは、ラベル付けされていない自由生活モーションデータのラベル付けに少なくとも部分的に基づいて、予めトレーニングされた活動認識モデルによって生成される複数のモーションデータを含む、請求項３に記載の方法。

【請求項7】

前記ラベル付けされていない自由生活モーションデータのラベル付けに少なくとも部分的に基づいて前記予めトレーニングされた活動認識モデルによって生成される前記複数のモーションデータはさらに、モーションデータのウィンドウに対するモーションデータの隣接するウィンドウのコンテキストに基づいてサイクリングに対応するモーションデータの１つ以上の短いバーストを除去するために、前記ラベル付けされていない自由生活モーションデータにおいて前記モーションデータのウィンドウのデバウンシングを実行する前記予めトレーニングされた活動認識モデルによって生成されている、請求項６に記載の方法。

【請求項8】

前記モーションデータのトレーニングセットは、ラベル付けされていない自由生活モーションデータにおけるモーションデータのウィンドウに関連付けられた平均加速度計の計測値に少なくとも部分的に基づいて、前記ラベル付けされていない自由生活モーションデータから選択された静止状態として分類された複数のモーションデータを含む、請求項３に記載の方法。

【請求項9】

前記身体活動を認識するために前記オンデバイス活動認識を実行するステップは、前記１つ以上のニューラルネットワークを用いて、複数の身体活動にわたる前記モーションデータの確率分布を判定するステップを含む、請求項１に記載の方法。

【請求項10】

前記１つ以上のモーションセンサによって感知される前記動きに対応するとともに前記１つ以上のモーションセンサによって生成される前記モーションデータを受信するステップはさらに、
前記コンピューティングデバイスによって、前記コンピューティングデバイスに通信可能に結合されたウェアラブルコンピューティングデバイスの前記１つ以上のモーションセンサによって生成される前記モーションデータを受信するステップを含み、前記モーションデータは、前記１つ以上のモーションセンサによって感知される前記ウェアラブルコンピューティングデバイスの動きに対応する、請求項１に記載の方法。

【請求項11】

前記１つ以上のモーションセンサによって感知される前記動きに対応するとともに前記１つ以上のモーションセンサによって生成される前記モーションデータを受信するステップはさらに、
前記コンピューティングデバイスによって、前記コンピューティングデバイスの前記１つ以上のモーションセンサによって生成される前記モーションデータを受信するステップを含み、前記モーションデータは、前記１つ以上のモーションセンサによって感知される前記コンピューティングデバイスの動きに対応している、請求項１に記載の方法。

【請求項12】

コンピューティングデバイスは、
メモリと、
１つ以上のプロセッサとを含み、前記１つ以上のプロセッサは、
１つ以上のモーションセンサによって感知される動きに対応するとともに前記１つ以上のモーションセンサによって生成されるモーションデータを受信し、
差分プライバシーでトレーニングされた１つ以上のニューラルネットワークを用いてオンデバイス活動認識を実行して、前記モーションデータに対応する身体活動を認識し、
前記モーションデータに対応する前記身体活動を認識することに応答して、前記身体活動に関連付けられた動作を実行するように構成される、コンピューティングデバイス。

【請求項13】

前記１つ以上のニューラルネットワークは、差分プライバシーライブラリを用いて、かつ、前記１つ以上のニューラルネットワークのプライバシー保証が保持していない確率に境界を付けるデルタパラメータを用いてトレーニングされ、前記デルタパラメータは、前記１つ以上のニューラルネットワークのためのトレーニングセットのサイズの逆数に設定される値を有する、請求項１２に記載のコンピューティングデバイス。

【請求項14】

前記１つ以上のニューラルネットワークは、複数の身体活動に対応するモーションデータのトレーニングセットを用いてトレーニングされる、請求項１２に記載のコンピューティングデバイス。

【請求項15】

前記モーションデータのトレーニングセットは、制約なしのランダム回転で複数の方向に変換されている、請求項１４に記載のコンピューティングデバイス。

【請求項16】

前記モーションデータのトレーニングセットは、ラベル付けされていない自由生活モーションデータのラベル付けに少なくとも部分的に基づいて、予めトレーニングされた活動認識モデルによって生成される複数のモーションデータを含む、請求項１４に記載のコンピューティングデバイス。

【請求項17】

命令を格納するコンピュータ可読記憶媒体であって、前記命令は、実行されると、コンピューティングデバイスの１つ以上のプロセッサに、
１つ以上のモーションセンサによって感知される動きに対応するとともに前記１つ以上のモーションセンサによって生成されるモーションデータを受信させる命令と、
差分プライバシーでトレーニングされた１つ以上のニューラルネットワークを用いてオンデバイス活動認識を実行して、前記モーションデータに対応する身体活動を認識させる命令と、
前記モーションデータに対応する前記身体活動を認識することに応答して、前記身体活動に関連付けられた動作を実行させる命令とを含む、コンピュータ可読記憶媒体。

【請求項18】

前記１つ以上のニューラルネットワークは、差分プライバシーライブラリを用いて、かつ、前記１つ以上のニューラルネットワークのプライバシー保証が保持していない確率に境界を付けるデルタパラメータを用いてトレーニングされ、前記デルタパラメータは、前記１つ以上のニューラルネットワークのためのトレーニングセットのサイズの逆数に設定される値を有する、請求項１７に記載のコンピュータ可読記憶媒体。

【請求項19】

前記１つ以上のニューラルネットワークは、複数の身体活動に対応するモーションデータのトレーニングセットを用いてトレーニングされる、請求項１７に記載のコンピュータ可読記憶媒体。

【請求項20】

前記モーションデータのトレーニングセットは、制約なしのランダム回転で複数の方向に変換されている、請求項１９に記載のコンピュータ可読記憶媒体。

【発明の詳細な説明】

【背景技術】

【0001】

背景
いくつかのモバイルコンピューティングデバイスおよびウェアラブルコンピューティングデバイスは、ユーザがより健康的でよりアクティブなライフスタイルを維持するのを支援するためにユーザ活動を追跡し得る。たとえば、モバイルコンピューティングデバイスは、身体活動に関わっているユーザを示し得るセンサデータを提供する１つ以上のセンサコンポーネントを含み得る。モバイルコンピューティングデバイスは、センサデータに基づいてユーザによって実行されている身体活動を識別するための処理のために、デバイス外で１つ以上のセンサコンポーネントによって提供されるデータをクラウドコンピューティングシステムなどに送信し得る。

【発明の概要】

【課題を解決するための手段】

【0002】

概要
概して、本開示の技術は、差分プライバシーでトレーニングされる１つ以上のニューラルネットワークを用いて、コンピューティングデバイスのユーザが関わっている活動のオンデバイス認識を実行することに向けられている。コンピューティングデバイスは、センサデータを外部のコンピューティングシステム（たとえば、クラウド）に送信することなく、１つ以上のセンサコンポーネントによって提供されるセンサデータに基づいてユーザの活動を認識し得る。むしろ、コンピューティングデバイスは、活動認識を実行するようにトレーニングされた１つ以上のニューラルネットワークを用いて、１つ以上のセンサコンポーネントによって提供されるセンサデータに基づいてオンデバイスでの活動認識を実行し得る。

【0003】

１つ以上のニューラルネットワークは、サーバ側活動認識を実行するニューラルネットワークと比較して、用いられるコンピューティングリソースがより少なくなる（たとえば、用いられる処理サイクルおよびメモリがより少なくなる）ような方法で活動認識を実行するようにデバイス外でトレーニングされ得るので、コンピューティングデバイスは、１つ以上のニューラルネットワークを用いてオンデバイス活動認識を実行できるようになり得る。１つ以上のニューラルネットワークを用いてオンデバイス活動認識を実行することによって、コンピューティングデバイスは、サーバ側活動認識を実行する外部コンピューティングシステムにデータを送受信する必要なしに、ユーザの活動を正確に認識できるようになり得る。むしろ、１つ以上のセンサコンポーネントによって提供されるセンサデータがコンピューティングデバイス上に保持され得ることにより、ユーザのプライバシーが保護され得る。加えて、オンデバイス活動認識を実行することにより、以下でさらに説明するように、コンピューティングデバイスの性能を向上させ得る。

【0004】

差分プライバシーで１つ以上のニューラルネットワークをトレーニングすることにより、ノイズが付加されて、１つ以上のニューラルネットワークのトレーニングデータセットにおける個々の例が隠されてしまう。差分プライバシーで１つ以上のニューラルネットワークをトレーニングすることにより、１つ以上のニューラルネットワークは強固な数学的保証を提供する。この強固な数学的保証とは、１つ以上のニューラルネットワークをトレーニングするためにデータが用いられたいずれかの特定のユーザに関する詳細を当該１つ以上のニューラルネットワークが学習または記憶しないというものである。たとえば、差分プライバシーは、１つ以上のニューラルネットワークのトレーニング中に特定のデータが用いられたかどうかを悪意ある人が正確に判定することを妨げ得るものであり、これにより、１つ以上のニューラルネットワークをトレーニングするのにデータが用いられたユーザのプライバシーを保護し得る。したがって、差分プライバシーで１つ以上のニューラルネットワークをトレーニングすることで、１つ以上のニューラルネットワークをトレーニングするためにデータが用いられたユーザのプライバシーを保護することによってユーザからの自由生活データに基づいて１つ以上のニューラルネットワークをトレーニングすることが可能になり得る。

【0005】

いくつかの例では、方法は、１つ以上のモーションセンサによって感知される動きに対応するとともに当該１つ以上のモーションセンサによって生成されるモーションデータをコンピューティングデバイスによって受信するステップと、差分プライバシーでトレーニングされた１つ以上のニューラルネットワークを用いて、当該コンピューティングデバイスによってオンデバイス活動認識を実行して、当該モーションデータに対応する身体活動を認識するステップと、当該モーションデータに対応する当該身体活動を認識することに応答して、当該コンピューティングデバイスによって、当該身体活動に関連付けられた動作を実行するステップとを含む。

【0006】

いくつかの例では、コンピューティングデバイスは、メモリと、１つ以上のプロセッサとを含み、当該１つ以上のプロセッサは、１つ以上のモーションセンサによって感知される動きに対応するとともに当該１つ以上のモーションセンサによって生成されるモーションデータを受信し、差分プライバシーでトレーニングされた１つ以上のニューラルネットワークを用いてオンデバイス活動認識を実行して、当該モーションデータに対応する身体活動を認識し、当該モーションデータに対応する当該身体活動を認識することに応答して、当該身体活動に関連付けられた動作を実行するように構成される。

【0007】

いくつかの例では、コンピュータ可読記憶媒体は命令を格納し、当該命令は、実行されると、コンピューティングデバイスの１つ以上のプロセッサに、１つ以上のモーションセンサによって感知される動きに対応するとともに当該１つ以上のモーションセンサによって生成されるモーションデータを受信させる命令と、差分プライバシーでトレーニングされた１つ以上のニューラルネットワークを用いてオンデバイス活動認識を実行して、当該モーションデータに対応する身体活動を認識させる命令と、当該モーションデータに対応する当該身体活動を認識することに応答して、当該身体活動に関連付けられた動作を実行させる命令とを含む。

【0008】

いくつかの例では、装置は、１つ以上のモーションセンサによって感知される動きに対応するとともに当該１つ以上のモーションセンサによって生成されるモーションデータを受信するための手段と、差分プライバシーでトレーニングされた１つ以上のニューラルネットワークを用いてオンデバイス活動認識を実行して、当該モーションデータに対応する身体活動を認識するための手段と、当該モーションデータに対応する当該身体活動を認識することに応答して、当該身体活動に関連付けられた動作を実行するための手段とを含む。

【0009】

１つ以上の例の詳細が添付の図面に例示されるとともに以下の説明において記載される。本開示の他の特徴、目的および利点は、以下の説明および添付の図面、ならびに添付の特許請求の範囲から明らかになるだろう。

【図面の簡単な説明】

【0010】

【図1】本開示の１つ以上の局面に従った、差分プライバシーを用いてトレーニングされた１つ以上のニューラルネットワークを用いて身体活動のオンデバイス認識を実行し得るコンピューティングデバイス１１０を示す概念図である。

【図2】本開示の１つ以上の局面に従った、差分プライバシーを用いてトレーニングされた活動認識モデルを用いてオンデバイス活動認識を実行するコンピューティングデバイスのさらなる詳細を示すブロック図である。

【図3A】本開示の例示的な実現例に従った、差分プライバシーを用いてトレーニングされた例示的な機械学習モデルの局面を示す概念図である。

【図3B】本開示の例示的な実現例に従った、差分プライバシーを用いてトレーニングされた例示的な機械学習モデルの局面を示す概念図である。

【図3C】本開示の例示的な実現例に従った、差分プライバシーを用いてトレーニングされた例示的な機械学習モデルの局面を示す概念図である。

【図3D】本開示の例示的な実現例に従った、差分プライバシーを用いてトレーニングされた例示的な機械学習モデルの局面を示す概念図である。

【図3E】本開示の例示的な実現例に従った、差分プライバシーを用いてトレーニングされた例示的な機械学習モデルの局面を示す概念図である。

【図4】本開示の１つ以上の局面に従った、差分プライバシーを用いてトレーニングされた活動認識モデルを用いてオンデバイス活動認識を実行するコンピューティングデバイスの例示的な動作を示すフロー図である。

【発明を実施するための形態】

【0011】

詳細な説明
図１は、本開示の１つ以上の局面に従った、差分プライバシーを用いてトレーニングされた１つ以上のニューラルネットワークを用いて身体活動のオンデバイス認識を実行し得るコンピューティングデバイス１１０を示す概念図である。図１に示されるように、コンピューティングデバイス１１０は、携帯電話（スマートフォンを含む）、ラップトップコンピュータ、タブレットコンピュータ、ウェアラブルコンピューティングデバイス、携帯情報端末（personal digital assistant：ＰＤＡ）、またはユーザの活動を検出するのに適した他の任意のコンピューティングデバイスなどのモバイルコンピューティングデバイスであり得る。いくつかの例では、コンピューティングデバイス１１０は、コンピュータ化された時計、コンピュータ化されたフィットネスバンド／トラッカー、コンピュータ化されたアイウェア、コンピュータ化されたヘッドウェア、コンピュータ化されたグローブ、または人の身体もしくは衣類への取付けおよび着用が可能である他の任意のタイプのモバイルコンピューティングデバイスなどのウェアラブルコンピューティングデバイスであり得る。

【0012】

いくつかの例では、コンピューティングデバイス１１０は存在感知ディスプレイ１１２を含み得る。コンピューティングデバイス１１０の存在感知ディスプレイ１１２は、コンピューティングデバイス１１０のための入力デバイスとして、および出力デバイスとして機能し得る。存在感知ディスプレイ１１２はさまざまな技術を用いて実現され得る。たとえば、存在感知ディスプレイ１１２は、抵抗性タッチスクリーン、表面音響波タッチスクリーン、容量性タッチスクリーン、投影型静電容量タッチスクリーン、圧力感知スクリーン、音響パルス認識タッチスクリーン、または別の存在感知ディスプレイ技術などの存在感知入力コンポーネントを用いる入力デバイスとして機能し得る。存在感知ディスプレイ１１２は、液晶ディスプレイ（liquid crystal display：ＬＣＤ）、ドットマトリックスディスプレイ、発光ダイオード（light emitting diode：ＬＥＤ）ディスプレイ、マイクロＬＥＤ、有機発光ダイオード（organic light-emitting diode：ＯＬＥＤ）ディスプレイ、電子インク、または、コンピューティングデバイス１１０のユーザに可視情報を出力することができる同様のモノクロディスプレイもしくはカラーディスプレイなどの、任意の１つ以上のディスプレイコンポーネントを用いる出力（たとえば、ディスプレイ）デバイスとして機能し得る。

【0013】

コンピューティングデバイス１１０はまた、１つ以上のセンサコンポーネント１１４を含み得る。いくつかの例では、センサコンポーネントは、コンピューティングデバイス１１０を含む環境の環境情報を取得する入力コンポーネントであり得る。センサコンポーネントは、コンピューティングデバイス１１０のユーザの生理学的情報を取得する入力コンポーネントであり得る。いくつかの例では、センサコンポーネントは、コンピューティングデバイス１１０の物理的位置情報、動き情報、および／またはロケーション情報を取得する入力コンポーネントであり得る。たとえば、センサコンポーネント１１４は、モーションセンサ（たとえば、加速度計、ジャイロスコープなど）、心拍数センサ、温度センサ、位置センサ、圧力センサ（たとえば、気圧計）、近接センサ（たとえば、赤外線センサ）、周囲光検出器、ロケーションセンサ（たとえば、全地球測位システムセンサ）、または他の任意のタイプの感知コンポーネントを含み得るが、これらに限定されない。本開示でさらに説明するように、活動認識モジュール１１８は、ウェアラブルコンピューティングデバイス１００の１つ以上のセンサコンポーネント１１４および／または１つ以上のセンサコンポーネント１０８によって生成されるセンサデータに基づいて、コンピューティングデバイス１１０のユーザによって実行される１つ以上の身体活動を判定し得る。

【0014】

いくつかの例では、コンピューティングデバイス１１０は、１つ以上のウェアラブルコンピューティングデバイス１００に通信可能に結合され得る。たとえば、コンピューティングデバイス１１０は、１つ以上の通信プロトコルを用いて、ウェアラブルコンピューティングデバイス１００との間でデータを送受信し得る。いくつかの例では、通信プロトコルは、Bluetooth（登録商標）、近距離無線通信、WiFi（登録商標）、または他の任意の適切な通信プロトコルを含み得る。

【0015】

図１の例では、ウェアラブルコンピューティングデバイス１００はコンピュータ化された時計である。しかしながら、他の例では、ウェアラブルコンピューティングデバイス１００は、コンピュータ化されたフィットネスバンド／トラッカー、コンピュータ化されたアイウェア、コンピュータ化されたヘッドウェア、コンピュータ化されたグローブなどであり得る。他の例では、ウェアラブルコンピューティングデバイス１００は、人の身体または衣服への取付けおよび着用が可能である任意のタイプのモバイルコンピューティングデバイスであり得る。

【0016】

図１に示されるように、いくつかの例では、ウェアラブルコンピューティングデバイス１００は、アタッチメントコンポーネント１０２および電気ハウジング１０４を含み得る。ウェアラブルコンピューティングデバイス１００のハウジング１０４は、ウェアラブルコンピューティングデバイス１００のハードウェア、ソフトウェア、ファームウェア、および／または他の電気コンポーネントの組合わせを収容するウェアラブルコンピューティングデバイスの物理的部分を含む。たとえば、図１は、ハウジング１０４内に、ウェアラブルコンピューティングデバイス１００が、センサコンポーネント１０８と存在感知ディスプレイ１０６とを含み得ることを示す。

【0017】

存在感知ディスプレイ１０６は、存在感知ディスプレイ１１２に関して説明したとおりの存在感知ディスプレイであり得るとともに、センサコンポーネント１０８は、センサコンポーネント１１４に関して説明したとおりのセンサコンポーネントであり得る。ハウジング１０４はまた、１つ以上のプロセッサ、メモリ、オペレーティングシステム、アプリケーションなどの、図１に示されない他のハードウェアコンポーネントおよび／またはソフトウェアモジュールを含み得る。

【0018】

アタッチメントコンポーネント１０２は、ユーザがウェアラブルコンピューティングデバイス１００を着用しているときにユーザの身体（たとえば、組織、筋肉、皮膚、毛髪、衣類など）と接触するウェアラブルコンピューティングデバイスの物理的部分を含み得る（ただし、いくつかの例では、ハウジング１０４の部分がユーザの身体と接触することもあり得る）。たとえば、ウェアラブルコンピューティングデバイス１００が時計である場合、アタッチメントコンポーネント１０２は、ユーザの手首の周りにフィットしてユーザの皮膚と接触する時計バンドであり得る。ウェアラブルコンピューティングデバイス１００がアイウェアまたはヘッドウェアである例では、アタッチメントコンポーネント１０２は、ユーザの頭の周りにフィットするアイウェアまたはヘッドウェアのフレームの一部分であり得るとともに、ウェアラブルコンピューティングデバイス１００がグローブである場合、アタッチメントコンポーネント１０２は、ユーザの指および手に密着するグローブの材料であり得る。いくつかの例では、ウェアラブルコンピューティングデバイス１００は、ハウジング１０４および／またはアタッチメントコンポーネント１０２から把持および保持され得る。

【0019】

図１に示されるように、コンピューティングデバイス１１０は活動認識モジュール１１８を含み得る。活動認識モジュール１１８は、センサコンポーネント１１４のうちの１つ以上によって生成されるセンサデータに基づいて、または、コンピューティングデバイス１１０がウェアラブルコンピューティングデバイス１００に通信可能に結合される場合には、ウェアラブルコンピューティングデバイス１００のセンサコンポーネント１０８のうちの１つ以上によって生成されるセンサデータに基づいて、または、センサコンポーネント１１４のうちの１つ以上とセンサコンポーネント１０８のうちの１つ以上との組合わせによって生成されるセンサデータに基づいて、ユーザの１つ以上の活動を判定し得る。活動認識モジュール１１８によって検出される活動は、サイクリング、ランニング、静止状態（たとえば、座ったままであること、または立ったままであること）、階段昇降、ウォーキング、スイミング、ヨガ、ウェイトリフティングなどを含み得るが、これらに限定されない。

【0020】

活動認識モジュール１１８は、例示の目的で、コンピューティングデバイス１１０において実現されるとともに当該コンピューティングデバイス１１０を動作させるものとして説明されるが、ウェアラブルコンピューティングデバイス１００はまた、活動認識モジュール１１８に関して説明される機能を含む活動認識モジュールを実現してもよく、および／または動作させてもよい。いくつかの例では、コンピューティングデバイス１１０のユーザがウェアラブルコンピューティングデバイス１００を着用している場合、活動認識モジュール１１８は、ウェアラブルコンピューティングデバイス１００の１つ以上のセンサコンポーネント１０８によって生成されるセンサデータに基づいてユーザの１つ以上の活動を判定し得る。

【0021】

概して、コンピューティングデバイス１１０の活動認識モジュール１１８が、ウェアラブルコンピューティングデバイス１００の１つ以上のセンサコンポーネント１０８によって生成されるセンサデータに基づいてユーザの１つ以上の活動を判定する場合、コンピューティングデバイス１１０およびウェアラブルコンピューティングデバイス１００はともに同じユーザの制御下にあり得る。すなわち、ウェアラブルコンピューティングデバイス１００を着用するユーザは、コンピューティングデバイス１１０を使用および／または制御しているのと同じユーザであり得る。たとえば、ウェアラブルコンピューティングデバイス１００を着用しているユーザは、コンピューティングデバイス１１０を携帯もしくは把持することもでき、またはユーザの物理的近傍（たとえば、同じ部屋内）にコンピューティングデバイス１１０を有することもできる。したがって、コンピューティングデバイス１１０は、たとえば、ウェアラブルコンピューティングデバイス１００の１つ以上のセンサコンポーネント１０８によって生成されるセンサデータに基づいて活動認識を遠隔で実行するために、たとえばインターネットを介して、ウェアラブルコンピューティングデバイス１００と通信するリモートコンピューティングサーバまたはクラウドコンピューティングシステムではない可能性もある。

【0022】

いくつかの例では、ウェアラブルコンピューティングデバイス１００において実現されるおよび／または動作させる活動認識モジュールは、有線通信または無線通信を介して活動認識モジュール１１８との間で情報を送受信し得る。活動認識モジュール１１８は、本開示の技術にしたがってウェアラブルコンピューティングデバイス１００から受信したこのような情報を、あたかも当該情報がコンピューティングデバイス１１０においてローカルに生成されたかのように用いてもよい。

【0023】

活動認識モジュール１１８は、センサコンポーネント１１４のうちの１つ以上および／または１つ以上のセンサコンポーネント１０８に対応するセンサデータを受信し得るとともに、ユーザが関わっている１つ以上の身体活動を判定し得る。いくつかの例では、活動認識モジュール１１８は、（たとえば、図２でさらに説明するように）センサ処理モジュールからセンサデータを受信し得る。センサ処理モジュールは、センサコンポーネント１１４を実現するハードウェアと、センサデータをさらに処理する活動認識モジュール１１８などのモジュールとの間のインターフェイスを提供し得る。たとえば、センサ処理モジュールは、特定のセンサコンポーネントを実現するハードウェアの出力を表わすかまたは当該出力に対応するセンサデータを生成し得る。一例として、加速度計センサコンポーネント用のセンサ処理モジュールは、座標系のさまざまな軸（たとえば、ｘ軸、ｙ軸、およびｚ軸）に沿った加速度値を含むセンサデータを生成し得る。

【0024】

活動認識モジュール１１８は、センサデータに基づいてユーザの身体活動のオンデバイス認識を実行し得る。すなわち、活動認識モジュール１１８は、センサデータなどの情報をデバイス外でクラウドコンピューティングシステムなどに送信することなく、ユーザの活動を識別し得る。代わりに、活動認識モジュール１１８は、１つ以上のニューラルネットワークを実現するとともに、当該１つ以上のニューラルネットワークを用いて、センサデータに基づいてユーザの活動を判定し得る。ユーザの身体活動のオンデバイス認識を実行するために活動認識モジュール１１８が用い得るセンサデータの例は、１つ以上のモーションセンサによって生成されるモーションデータを含み得る。本明細書で説明するように、モーションデータは、１つ以上の多軸加速度計によって生成される座標系のさまざまな軸に沿った加速度値、心拍数センサによって生成される心拍数データ、ロケーションセンサ（たとえば、全地球測位システム（global positioning system：ＧＰＳ）センサ）によって生成されるロケーションデータ、酸素飽和度センサによって生成される酸素飽和度データ（たとえば、末梢酸素飽和度）などを含み得る。本明細書で説明するように、モーションデータを生成するためのモーションセンサは、このような多軸加速度計、心拍数センサ、ロケーションセンサ、酸素飽和度センサ、ジャイロスコープなどを含み得る。

【0025】

概して、活動認識モジュール１１８によって実現される１つ以上のニューラルネットワークは、相互接続された複数のノードを含み得る。各ノードは、１つ以上の特徴に対応する入力値のセットに１つ以上の関数を適用し得るとともに、１つ以上の対応する出力値を提供し得る。１つ以上の特徴はセンサデータであってもよく、１つ以上のニューラルネットワークの１つ以上の対応する出力値はセンサデータに対応するユーザの活動の表示であり得る。

【0026】

いくつかの例では、１つ以上の対応する出力値はユーザの活動の確率を含み得る。したがって、活動認識モジュール１１８は、１つ以上のニューラルネットワークを用いてユーザ入力の特徴に基づいてユーザの活動の確率を判定し得るとともに、当該対応する確率に基づいて、ユーザの活動のうち確率が最も高いユーザの活動の表示を判定して出力し得る。

【0027】

いくつかの例では、１つ以上のニューラルネットワークは、当該特徴に基づいてユーザの身体活動のうち確率が最も高い身体活動をより正確に判定するために、活動認識モジュール１１８によってオンデバイスでトレーニングされ得る。たとえば、１つ以上のニューラルネットワークは、当該特徴に適用される１つ以上の学習可能なパラメータまたは「重み」を含み得る。活動認識モジュール１１８は、１つ以上のニューラルネットワークがセンサデータに対応するユーザの身体活動を判定する精度を向上させるために、および／または、他の任意の適切な目的のために、たとえば、活動が実行される方法の副次的特徴を学習するなどのために、トレーニング中にこれらの学習可能なパラメータを調整し得る。たとえば、ユーザが当該ユーザの実際の身体活動を示すためにユーザ入力を提供するかどうかに基づいて、活動認識モジュール１１８は学習可能なパラメータを調整してもよい。

【0028】

いくつかの例では、１つ以上のニューラルネットワークは、デバイス外でトレーニングされ得るとともに、さらに、コンピューティングデバイス１１０にダウンロードまたはインストールされ得る。特に、１つ以上のニューラルネットワークは差分プライバシーを用いてトレーニングされ得る。すなわち、１つ以上のニューラルネットワークは、プライバシー保証とも称される強固な数学的保証を提供する個々の例をトレーニングデータに隠すために、１つ以上のニューラルネットワークのトレーニングデータにノイズを追加することなどによる方法でトレーニングされ得る。強固な数学的保証とは、１つ以上のニューラルネットワークをトレーニングするためにデータが用いられた任意の特定のユーザに関する詳細を当該１つ以上のニューラルネットワークが学習または記憶しないというものである。差分プライバシーを用いて１つ以上のニューラルネットワークをトレーニングすることにより、悪意ある人が、１つ以上のニューラルネットワークのトレーニング中に特定のデータが用いられたかどうかを正確に判定すること、または１つ以上のニューラルネットワークがどのようにトレーニングされたかを正確に判定することを防ぎ、これにより、１つ以上のニューラルネットワークをトレーニングするためにデータが用いられたユーザのプライバシーを保護する。

【0029】

１つ以上のニューラルネットワークは、ユーザの集団によって用いられるコンピューティングデバイスのセンサコンポーネントによって提供されるセンサデータを含み得るトレーニングデータを用いてトレーニングされ得る。たとえば、トレーニングデータは、サイクリング、ランニング、静止状態（たとえば、動いていない）、ウォーキングなどのさまざまな身体活動を実行する間にユーザが用いるコンピューティングデバイスのセンサコンポーネントによって提供されるセンサデータを含み得る。トレーニングされた結果得られる１つ以上のニューラルネットワークは、当該１つ以上のニューラルネットワークが活動認識を実行するためにコンピューティングデバイス１１０などのモバイルコンピューティングデバイスにインストール可能となるように、量子化および圧縮され得る。たとえば、１つ以上のニューラルネットワークにおけるモデル重みは、より効率的なオンデバイス推論のために８ビット整数に圧縮され得る。

【0030】

活動認識モジュール１１８は、センサデータに基づいて、１つ以上のニューラルネットワークを用いて、１つ以上の身体活動に対応する確率分布などの１つ以上の確率を生成し得る。すなわち、活動認識モジュール１１８は、特定の期間におけるセンサデータに関して、それぞれの身体活動に関するそれぞれの確率を生成し得る。活動認識モジュール１１８は、センサコンポーネント１１４のうちの１つ以上、センサコンポーネント１０８のうちの１つ以上、および／または、センサコンポーネント１１４とセンサコンポーネント１０８とのいずれかの組合わせによって生成されたセンサデータを用い得る。一例として、活動認識モジュール１１８は、センサデータに関して、ユーザがウォーキングしている確率０．６、ユーザがランニングしている確率０．２、ユーザがサイクリングしている確率０．２、およびユーザが静止状態である（すなわち、動いていない）確率０．０を生成し得る。

【0031】

活動認識モジュール１１８は、１つ以上の身体活動に対応する１つ以上の確率に少なくとも部分的に基づいて、センサデータに対応する身体活動を判定し得る。たとえば、活動認識モジュール１１８は、１つ以上の確率のうち最も高い確率を有する活動（たとえば、上述の例においては、０．６の確率を有するウォーキングの身体活動）に関して、対応する確率が閾値を満たしている（たとえば、確率が閾値よりも大きいか、閾値以上であるか、閾値未満であるか、閾値以下であるか、または閾値に等しいか）かどうかを判定してもよい。閾値は、ハードコード化された値でもよく、ユーザによって設定された値でもよく、または、動的に変化する値でもよい。いくつかの例では、活動認識モジュール１１８は、さまざまな活動についてさまざまな閾値を格納または使用し得る。いずれの場合においても、活動認識モジュール１１８は、閾値活動に関する確率が閾値を満たすかどうかを判定し得る。いくつかの例では、身体活動についての確率が閾値を満たしていると活動認識モジュール１１８が判定した場合、活動認識モジュール１１８は、ユーザが特定の身体活動に関わっている可能性が高いと判定し得るとともに、これにより、特定の身体活動をセンサデータに対応する身体活動として認識し得る。

【0032】

いくつかの例では、活動認識モジュール１１８は、身体活動を認識することに応答して、コンピューティングデバイス１１０に、身体活動に関連付けられた１つ以上の動作を実行させ得る。当該１つ以上の動作とは、関連する活動用の特定のセンサから特定のデータを収集する動作などである。いくつかの例では、活動認識モジュール１１８は、センサのセットからデータを収集し得るとともに、当該データを、認識された身体活動に関連付けられた身体活動情報として（たとえば、図２に示される身体活動情報データストア２２８に）格納し得る。身体活動情報は、特定の身体活動を記述するデータを含み得る。このようなデータの例として、身体活動情報についてほんの数例を挙げると、身体活動の時間、ユーザが身体活動を実行する地理的位置、心拍数、ユーザが動いた歩数、ユーザの動きの変化の速度またはレート、ユーザの体温またはユーザの環境、ユーザが活動を実行する高度または高さを含むがこれらに限定されない。

【0033】

いくつかの例では、活動認識モジュール１１８は、グラフィカルユーザインターフェイスにおいて、認識された身体活動に関連付けられた身体活動情報をユーザに出力し得る。いくつかの例では、活動認識モジュール１１８は、合計値、平均値などを含むさまざまな統計メトリクスを判定するなどの分析を身体活動情報に対して実行し得る。いくつかの例では、活動認識モジュール１１８は、身体活動情報をユーザのユーザアカウントに関連付ける身体活動情報を遠隔サーバに送信してもよい。さらに他の例では、活動認識モジュール１１８は、１つ以上のサードパーティアプリケーションに通知し得る。たとえば、サードパーティフィットネスアプリケーションは活動認識モジュール１１８に登録することができ、サードパーティフィットネスアプリケーションは、ユーザについての身体活動情報を記録することができる。

【0034】

図２は、本開示の１つ以上の局面に従った、オンデバイス活動認識を実行するコンピューティングデバイス２１０のさらなる詳細を示すブロック図である。図２のコンピューティングデバイス２１０は、図１に示されるコンピューティングデバイス１１０の一例として以下に説明される。図２は、コンピューティングデバイス２１０の１つの特定の例のみを示しており、コンピューティングデバイス２１０の多くの他の例が他の事例において用いられてもよく、例示的なコンピューティングデバイス２１０に含まれるコンポーネントのサブセットを含んでもよく、または図２に示されない追加のコンポーネントを含んでもよい。

【0035】

図２の例に示されるように、コンピューティングデバイス２１０は、存在感知ディスプレイ２１２、１つ以上のプロセッサ２４０、１つ以上の入力コンポーネント２４２、１つ以上の通信ユニット２４４、１つ以上の出力コンポーネント２４６、および１つ以上のストレージコンポーネント２４８を含む。存在感知ディスプレイ（presence-sensitive display：ＰＳＤ）２１２は、ディスプレイコンポーネント２０２および存在感知入力コンポーネント２０４を含む。入力コンポーネント２４２はセンサコンポーネント２１４を含む。コンピューティングデバイス２１０のストレージコンポーネント２４８はまた、活動認識モジュール２１８、活動検出モデル２２０、アプリケーションモジュール２２４、センサ処理モジュール２２６、および身体活動情報データストア２２８を含む。

【0036】

通信チャネル２５０は、（物理的な、通信可能な、および／または動作可能な）コンポーネント間通信のためにコンポーネント２４０、２１２、２０２、２０４、２４４、２４６、２４２、２１４、２４８、２１８、２２０、２２４、２２６、および２２８の各々を相互接続し得る。いくつかの例では、通信チャネル２５０は、システムバス、ネットワーク接続、プロセス間通信データ構造、または、データを通信するための他の任意の方法を含み得る。

【0037】

コンピューティングデバイス２１０の１つ以上の入力コンポーネント２４２は入力を受信し得る。入力の例として、触覚入力、音声入力、および映像入力がある。コンピューティングデバイス２１０の入力コンポーネント２４２は、一例では、存在感知ディスプレイ、タッチ式スクリーン、マウス、キーボード、音声応答システム、ビデオカメラ、マイクロフォン、または人もしくは機械からの入力を検出するための他の任意のタイプのデバイスを含む。

【0038】

１つ以上の入力コンポーネント２４２は１つ以上のセンサコンポーネント２１４を含む。センサコンポーネント２１４の多数の例が存在しており、コンピューティングデバイス２１０を取り囲む状況に関する環境情報、ならびに／または、コンピューティングデバイス２１０のユーザの活動状態および／もしくは身体的健康を規定する生理学的情報を取得するように構成された任意の入力コンポーネントを含む。いくつかの例では、センサコンポーネントは、コンピューティングデバイス２１０の物理的位置、動きおよび／またはロケーションの情報を取得する入力コンポーネントであり得る。たとえば、センサコンポーネント２１４は、１つ以上のロケーションセンサ２１４Ａ（ＧＰＳコンポーネント、Wi-Fiコンポーネント、セルラーコンポーネント）、１つ以上の温度センサ２１４Ｂ、１つ以上のモーションセンサ２１４Ｃ（たとえば、多軸加速度計、ジャイロ）、１つ以上の圧力センサ２１４Ｄ（たとえば、気圧計）、１つ以上の周囲光センサ２１４Ｅ、および、１つ以上の他のセンサ２１４Ｆ（たとえば、マイクロフォン、カメラ、赤外線近接センサ、湿度計など）を含み得る。他のセンサは、いくつかの他の非限定的な例を挙げると、心拍数センサ、磁力計、グルコースセンサ、湿度計センサ、嗅覚センサ、コンパスセンサ、歩数計センサを含み得る。

【0039】

コンピューティングデバイス２１０の１つ以上の出力コンポーネント２４６は出力を生成し得る。出力の例として、触覚出力、音声出力、および映像出力がある。コンピューティングデバイス２１０の出力コンポーネント２４６は、一例では、存在感知ディスプレイ、サウンドカード、ビデオグラフィックスアダプタカード、スピーカ、陰極線管（cathode ray tube：ＣＲＴ）モニタ、液晶ディスプレイ（ＬＣＤ）、または、人もしくは機械への出力を生成するための他の任意のタイプのデバイスを含む。

【0040】

コンピューティングデバイス２１０の１つ以上の通信ユニット２４４は、１つ以上のネットワーク上でネットワーク信号を送信および／または受信することによって、１つ以上の有線ネットワークおよび／または無線ネットワークを介して外部デバイスと通信し得る。通信ユニット２４４の例は、ネットワークインターフェイスカード（たとえば、イーサネット（登録商標）カードなど）、光トランシーバ、無線周波数トランシーバ、ＧＰＳ受信機、または情報を送信および／もしくは受信することのできる他の任意のタイプのデバイスを含む。通信ユニット２４４の他の例は、短波電波、セルラーデータ電波、無線ネットワーク電波、およびユニバーサルシリアルバス（universal serial bus：ＵＳＢ）コントローラを含み得る。

【0041】

コンピューティングデバイス２００の存在感知ディスプレイ（ＰＳＤ）２１２は、ディスプレイコンポーネント２０２および存在感知入力コンポーネント２０４を含む。ディスプレイコンポーネント２０２は、情報がＰＳＤ２１２によって表示される画面であってもよく、存在感知入力コンポーネント２０４は、ディスプレイコンポーネント２０２におけるオブジェクトおよび／またはディスプレイコンポーネント２０２付近のオブジェクトを検出し得る。１つの例示的な範囲として、存在感知入力コンポーネント２０４は、ディスプレイコンポーネント２０２から２インチ以内にある指またはスタイラスなどのオブジェクトを検出し得る。存在感知入力コンポーネント２０４は、オブジェクトが検出されたディスプレイコンポーネント２０２のロケーション（たとえば、（ｘ，ｙ）座標）を判定し得る。別の例示的範囲では、存在感知入力コンポーネント２０４は、ディスプレイコンポーネント２０２から６インチ以内にあるオブジェクトを検出し得るとともに、他の範囲でも検出可能である。存在感知入力コンポーネント２０４は、容量的、誘導的および／または光学的な認識技術を用いて、ユーザの指によって選択されたディスプレイコンポーネント２０２の位置を判定し得る。いくつかの例では、存在感知入力コンポーネント２０４はまた、ディスプレイコンポーネント２０２に関して説明したように、触覚刺激、音声刺激、または映像刺激を用いてユーザに出力を提供する。図２の例では、ＰＳＤ２１２はユーザインターフェイスを提示する。

【0042】

存在感知ディスプレイ２１２はまた、コンピューティングデバイス２１０の内部コンポーネントとして示されているが、入力および出力を送信および／または受信するためにコンピューティングデバイス２１０とデータ経路を共有する外部コンポーネントを表わし得る。たとえば、一例では、ＰＳＤ２１２は、コンピューティングデバイス２１０の外部パッケージング内に配置されるとともに当該外部パッケージングに物理的に接続されているコンピューティングデバイス２１０の内蔵コンポーネントを表わしている（たとえば、携帯電話上のスクリーン）。別の例では、ＰＳＤ２１２は、コンピューティングデバイス２１０の外部に配置されるとともにコンピューティングデバイス２１０のパッケージングから物理的に分離されているコンピューティングデバイス２１０の外部コンポーネントを表わしている（たとえば、タブレットコンピュータと有線および／または無線のデータ経路を共有するモニタ、プロジェクタなど）。

【0043】

コンピューティングデバイス２１０のＰＳＤ２１２は、コンピューティングデバイス１１０のユーザから触覚入力を受信し得る。ＰＳＤ２１２は、コンピューティングデバイス２１０のユーザから１つ以上のジェスチャ（たとえば、ユーザが指またはスタイラスペンでＰＳＤ２１２の１つ以上の場所に触れるかまたは指し示すこと）を検出することによって触覚入力の表示を受信し得る。ＰＳＤ２１２は、ユーザに出力を提示し得る。ＰＳＤ２１２は、コンピューティングデバイス２１０によって提供される機能に関連付けられ得るグラフィカルユーザインターフェイスとして出力を提示し得る。たとえば、ＰＳＤ２１２は、コンピューティングデバイス２１０において実行されるかまたはコンピューティングデバイス２１０によってアクセス可能であるコンピューティングプラットフォーム、オペレーティングシステム、アプリケーション、またはサービスのコンポーネントのさまざまなユーザインターフェイス（たとえば、電子メッセージアプリケーション、ナビゲーションアプリケーション、インターネットブラウザアプリケーション、モバイルオペレーティングシステムなど）を提示し得る。ユーザは、それぞれのユーザインターフェイスと対話して、機能に関連する動作をコンピューティングデバイス２１０に実行させ得る。

【0044】

コンピューティングデバイス２１０のＰＳＤ２１２は、コンピューティングデバイス２１０のユーザからの入力として２次元および／または３次元のジェスチャを検出し得る。たとえば、ＰＳＤ２１２のセンサは、ＰＳＤ２１２のセンサの閾値距離内のユーザの（たとえば、手、腕、ペン、スタイラスなどを移動させる）動きを検出し得る。ＰＳＤ２１２は、動きの２次元または３次元ベクトル表現を判定し得るとともに、ベクトル表現を、多次元を有するジェスチャ入力（たとえば、手振り、ピンチ、クラップ、ペンストロークなど）と相関させ得る。換言すれば、ＰＳＤ２１２は、ＰＳＤ２１２が表示のために情報を出力する画面または表面においてまたはその近くでユーザがジェスチャを行なう必要なしに、多次元ジェスチャを検出することができる。代わりに、ＰＳＤ２１２は、ＰＳＤ２１２が表示のために情報を出力する画面または表面の近くに配置されるかもしれないし配置されないかもしれないセンサにおいてまたはその近くで実行される多次元ジェスチャを検出することができる。

【0045】

１つ以上のプロセッサ２４０は、コンピューティングデバイス２１０内で機能を実現してもよく、および／または命令を実行してもよい。たとえば、コンピューティングデバイス２１０上のプロセッサ２４０は、モジュール２１８、２２４、２２６および／または２２８ならびにモデル２２０の機能を実行するストレージコンポーネント２４８によって格納された命令を受信して実行し得る。プロセッサ２４０によって実行される命令は、コンピューティングデバイス２１０に、プログラム実行中にストレージコンポーネント２４８内に情報を格納させ得る。プロセッサ２４０の例は、アプリケーションプロセッサ、ディスプレイコントローラ、センサハブ、および、処理ユニットとして機能するように構成された他の任意のハードウェアを含む。プロセッサ２４０は、モジュール２１８、２２４、２２６および／または２２８ならびにモデル２２０の命令を実行して、ＰＳＤ２１２に、表示データのコンテンツの部分を、ＰＳＤ２１２におけるユーザインターフェイススクリーンショットの１つとしてレンダリングさせ得る。すなわち、モジュール２１８、２２４、２２６および／または２２８ならびにモデル２２０は、コンピューティングデバイス２１０のさまざまなアクションまたは機能を実行するようにプロセッサ２４０によって動作可能であり得る。

【0046】

コンピューティングデバイス２１０内の１つ以上のストレージコンポーネント２４８は、コンピューティングデバイス２１０の動作中に処理するための情報を格納し得る（たとえば、コンピューティングデバイス２１０は、コンピューティングデバイス２１０での実行中にモジュール２１８、２２４、２２６および／または２２８ならびにモデル２２０によってアクセスされるデータを格納し得る）。いくつかの例では、ストレージコンポーネント２４８は一時的なメモリであり、これは、ストレージコンポーネント２４８の主要な目的が長期的な格納ではないことを意味する。コンピューティングデバイス２１０上のストレージコンポーネント２４８は、揮発性メモリとして情報を短期的に格納するために構成されてもよく、したがって、電源がオフにされた場合、格納されたコンテンツを保持し得ない。揮発性メモリの例として、ランダムアクセスメモリ（random access memory：ＲＡＭ）、ダイナミックランダムアクセスメモリ（dynamic random access memory：ＤＲＡＭ）、スタティックランダムアクセスメモリ（static random access memory：ＳＲＡＭ）、および当技術分野で公知の他の形態の揮発性メモリが挙げられる。

【0047】

いくつかの例では、ストレージコンポーネント２４８は１つ以上のコンピュータ可読記憶媒体も含む。ストレージコンポーネント２４８は、揮発性メモリよりも大量の情報を格納するように構成され得る。ストレージコンポーネント２４８はさらに、不揮発性メモリ空間として情報を長期間格納するとともに、電源オン／オフサイクル後に情報を保持するように構成され得る。不揮発性メモリの例として、磁気ハードディスク、光ディスク、フロッピー（登録商標）ディスク、フラッシュメモリ、または電気的プログラム可能メモリ（electrically programmable memory：ＥＰＲＯＭ）もしくは電気的消去可能およびプログラム可能（electrically erasable and programmable：ＥＥＰＲＯＭ）メモリの形態を含む。ストレージコンポーネント２４８は、モジュール２１８、２２４、２２６および／または２２８、モデル２２０、ならびにデータストア２８０に関連付けられたプログラム命令および／または情報（たとえば、データ）を格納し得る。

【0048】

アプリケーションモジュール２２４は、コンピューティングデバイス２１０において実行されるすべてのさまざまな個々のアプリケーションおよびサービスを表わす。コンピューティングデバイス２１０のユーザは、１つ以上のアプリケーションモジュール２２４に関連付けられたインターフェイス（たとえば、グラフィカルユーザインターフェイス）と対話して、コンピューティングデバイス２１０に機能を実行させ得る。アプリケーションモジュール２２４は、多数の例が存在し得るとともに、フィットネスアプリケーション、カレンダアプリケーション、パーソナルアシスタントもしくは予測エンジン、検索アプリケーション、地図もしくはナビゲーションアプリケーション、輸送サービスアプリケーション（たとえば、バスもしくは列車追跡アプリケーション）、ソーシャルメディアアプリケーション、ゲームアプリケーション、電子メールアプリケーション、メッセージングアプリケーション、インターネットブラウザアプリケーション、または、コンピューティングデバイス２１０において実行され得る他の任意のすべてのアプリケーションを含み得る。活動認識モジュール２１８は、アプリケーションモジュール２２４とは別個に示されているが、アプリケーションモジュール２２４のうちの１つ以上の内部に含まれ得る（たとえば、フィットネスアプリケーション内に含まれ得る）。

【0049】

図２に示されるように、コンピューティングデバイス２１０はセンサ処理モジュール２２６を含み得る。いくつかの例では、センサ処理モジュール２２６は、センサコンポーネント２１４からの出力を受信し得るとともに、その出力を表わすセンサデータを生成し得る。たとえば、センサコンポーネント２１４の各々は、対応するセンサ処理モジュールを有していてもよい。一例として、ロケーションセンサコンポーネント２１４Ａのためのセンサ処理モジュールは、センサデータ（たとえば、オブジェクト）内にＧＰＳ座標値を生成し得る。ここで、ＧＰＳ座標は、ロケーションセンサコンポーネント２１４Ａのハードウェア出力に基づいている。別の例として、モーションセンサコンポーネント２１４Ｃのためのセンサ処理モジュールは、モーションデータにおける座標系のさまざまな軸に沿ったモーションおよび／または加速度値を生成し得る。ここで、モーションおよび／または加速度値は、モーションセンサコンポーネント２１４Ｃのハードウェア出力に基づいている。

【0050】

図２では、活動認識モジュール２１８は、１つ以上のモーションセンサによって生成されるモーションデータを受信し得る。たとえば、活動認識モジュール２１８は、モーションセンサ２１４Ｃによって生成されたモーションデータを受信してもよく、当該モーションデータは、モーションセンサ２１４Ｃによって生成されたセンサデータ、またはモーションセンサ２１４Ｃによって生成されたセンサデータに基づいてセンサ処理モジュール２２６によって生成されたモーションデータであり得る。いくつかの例では、活動認識モジュール２１８は、図１に示されるウェアラブルコンピューティングデバイス１００と同様のウェアラブルコンピューティングデバイスなどの、コンピューティングデバイス２１０に通信可能に結合されたウェアラブルコンピューティングデバイスのうちの１つ以上のモーションセンサによって生成されるモーションデータを受信し得る。

【0051】

ウェアラブルコンピューティングデバイスのモーションセンサ２１４Ｃまたは１つ以上のモーションセンサなどの１つ以上のモーションセンサによって生成されるとともに活動認識モジュール２１８によって受信されるモーションデータは、三軸加速度計データなどの多軸加速度計データの形式であってもよい。たとえば、三軸加速度計データは、ｘ軸、ｙ軸、およびｚ軸に沿って１つ以上のモーションセンサによって測定される加速度を特定する浮動小数点数の３チャネルの形態であってもよい。

【0052】

１つ以上のモーションセンサによって生成されるとともに活動認識モジュール２１８によって受信されるモーションデータは、ある期間にわたって１つ以上のモーションセンサによって感知されるモーションデータであり得る。たとえば、モーションデータは、約１０秒の期間にわたって１つ以上のセンサによって感知されるモーションデータであり得る。２５ヘルツのサンプリングレートであると想定すると、モーションデータは、合計２５６サンプルの多軸加速度計データを含み得る。

【0053】

活動認識モジュール２１８は、１つ以上のセンサによって生成されたモーションデータを受信することに応答して、差分プライバシーでトレーニングされた１つ以上のニューラルネットワークを用いて、１つ以上のモーションセンサによって生成されたモーションデータに対応する身体活動を認識し得る。そのために、活動認識モジュール２１８は、活動認識モデル２２０を用いて、１つ以上のモーションセンサによって生成されるモーションデータに対応する身体活動を認識し得る。

【0054】

活動認識モジュール２１８は、１つ以上のモーションセンサによって生成されるモーションデータに対応する身体活動を認識するために、差分プライバシーでデバイス外でトレーニングされた１つ以上のニューラルネットワークを含み得る活動認識モデル２２０を含み得る。活動認識モデル２２０の例は、１つ以上の畳み込みニューラルネットワーク、回帰型ニューラルネットワーク、または差分プライバシーでトレーニングされた他の任意の適切な人工ニューラルネットワークを含み得る。活動認識モジュール２１８は、ある期間にわたって１つ以上のセンサによって感知される多軸加速度計データなどの１つ以上のモーションセンサによって生成されるモーションデータを入力として取込み得るとともに、１つ以上の身体活動に対応する１つ以上の確率を確率分布などの形式で出力し得る。すなわち、活動認識モデル２２０は、ある期間にわたるモーションデータに関して、複数の身体活動に関するモーションデータの確率分布などのそれぞれの身体活動についてのそれぞれの確率を生成し得る。

【0055】

いくつかの例では、活動認識モジュール２１８および／または活動認識モデル２２０は、１つ以上のモーションセンサによって生成されるモーションデータを用いて、１つ以上のモーションセンサによって生成されるモーションデータに対応する身体活動を認識することに加えて、１つ以上のセンサコンポーネント２１４によって生成される追加のセンサデータを用いて、１つ以上のモーションセンサによって生成されるモーションデータに対応する身体活動を認識し得る。たとえば、活動認識モジュール２１８は、ユーザの心拍数を測定する心拍数センサによって生成される心拍数データを用いて、１つ以上のモーションセンサによって生成されるモーションデータの使用を補強することで、１つ以上のモーションセンサによって生成されるモーションデータに対応する身体活動を認識し得る。

【0056】

たとえば、活動認識モジュール２１８は、所与の期間にわたって１つ以上のモーションセンサによって生成されるモーションデータについて、同じ所与の期間中に心拍数センサによって生成される対応する心拍数データも受信し得るとともに、同じ所与の期間中に心拍数センサによって生成される対応する心拍数データに基づいて、活動認識モデル２２０によって判定される１つ以上の身体活動に対応する１つ以上の確率を調整し得る。たとえば、活動認識モジュール２１８は、所与の期間中のユーザの心拍数がユーザの安静時の心拍数の特定の範囲内にあると判定した場合、ユーザのウォーキング、サイクリング、またはランニングの確率を下げることなどによって、ユーザが静止状態である確率を高め得るととももにユーザが活動的である確率を下げ得る。別の例では、活動認識モジュール２１８は、所与の期間中のユーザの心拍数がユーザの安静時の心拍数の特定の範囲外であると判定した場合、たとえば、ユーザがウォーキング、サイクリング、またはランニングしている確率を高めることなどによって、ユーザが活動的である確率を高め得るとともに、ユーザが静止状態である確率を下げ得る。

【0057】

活動認識モジュール２１８は、１つ以上の身体活動に対応する判定された１つ以上の確率に少なくとも部分的に基づいて、１つ以上のモーションセンサによって生成されるモーションデータに対応する身体活動を認識し得る。いくつかの例では、活動認識モジュール２１８は、活動認識モデル２２０によって判定された１つ以上の身体活動に対応する１つ以上の確率のうち最も高い確率に関連付けられた身体活動が、１つ以上のモーションセンサによって生成されるモーションデータに対応する身体活動であると判定し得る。たとえば、身体活動がウォーキングである確率を０．６、身体活動がランニングである確率を０．２、身体活動がサイクリングである確率を０．２、および身体活動が静止状態である（すなわち、動いていない）確率を０．０であると活動認識モデル２２０が判定する場合、活動認識モジュール２１８は、モーションデータに対応する身体活動がウォーキングであることを認識し得る。

【0058】

いくつかの例では、活動認識モジュール２１８は、身体活動の関連する確率がしきい値を満たす場合（たとえば、確率がしきい値よりも大きい場合、閾値以上である場合、閾値未満である場合、閾値以下である場合、または、閾値に等しい場合）、活動認識モデル２２０によって判定される１つ以上の身体活動に対応する１つ以上の確率のうち最も高い確率に関連付けられた身体活動が１つ以上のモーションセンサによって生成されるモーションデータに対応する身体活動であると判定し得る。身体活動に関する確率が閾値を満たすと活動検出モジュール２１８が判定した場合、当該活動認識モジュール２１８は、ユーザが特定の身体活動に関わっている可能性が高いと判定し得るため、これにより、特定の身体活動をモーションデータに対応する身体活動として認識し得る。

【0059】

活動認識モジュール２１８は、モーションデータに対応する身体活動を認識することに応答して、身体活動に関連付けられた１つ以上の動作を実行し得る。いくつかの例では、活動認識モジュール２１８は、モーションデータに対応する身体活動を認識することに応答して、身体活動の時間、ユーザが身体活動を実行する地理的位置、心拍数、ユーザが歩いた歩数、ユーザの動きの変化の速度またはレート、ユーザの体温またはユーザの環境、ユーザが活動を実行している高度または高さなどの、身体活動に関連付けられた身体活動情報を追跡することなどによって、ユーザのフィットネス追跡を実行し得る。

【0060】

いくつかの例では、活動認識モジュール２１８は、身体活動の時間、ユーザが身体活動を実行する地理的位置、心拍数、ユーザが歩いた歩数、ユーザの動きの変化の速度またはレート、ユーザの体温またはユーザの環境、ユーザが活動を行実行している高度または高さなどの身体活動に関連付けられた身体活動情報とともに、身体活動の表示を身体活動情報データストア２２８などのストレージコンポーネント２４８に格納し得る。

【0061】

いくつかの例では、活動認識モジュール２１８は、身体活動に関連付けられた身体活動情報に対して、合計値、平均値などを含むさまざまな統計メトリクスを判定するなどの分析を実行し得る。いくつかの例では、活動認識モジュール２１８は、身体活動に関連付けられた身体活動情報を、身体活動情報をユーザのユーザアカウントに関連付ける遠隔サーバに送信し得る。さらに他の例では、活動認識モジュール２１８は、１つ以上のサードパーティアプリケーションに通知し得る。たとえば、サードパーティフィットネスアプリケーションは、活動認識モジュール２１８に登録することができ、サードパーティフィットネスアプリケーションは、ユーザについての身体活動情報を記録することができる。

【0062】

図３Ａ～図３Ｅは、本開示の例示的な実現例に従った、例示的な機械学習モデルの局面を示す概念図である。図３Ａ～図３Ｅは、図２の活動認識モジュール２１８の文脈において以下に説明される。たとえば、いくつかの事例においては、機械学習モデル３００は、以下で言及されるように、図２の活動認識モデル２２０の例であり得る。

【0063】

図３Ａは、本開示の例示的な実現例に従った、例示的な機械学習モデルの概念図を示す。図３Ａに示されるように、いくつかの実現例では、機械学習モデル３００は、１つ以上のタイプの入力データを受信し、それに応答して、１つ以上のタイプの出力データを提供するようにトレーニングされる。このため、図３Ａは、推論を実行する機械学習モデル３００を示す。たとえば、機械学習モデル３００が受信する入力データは、多軸加速度計によって生成されるセンサデータなどのモーションデータであってもよく、機械学習モデル３００によって提供される出力データは、モーションデータに対応するユーザの活動であってもよい。

【0064】

入力データは、事例または例に関連付けられる１つ以上の特徴を含み得る。いくつかの実現例では、事例または例に関連付けられた１つ以上の特徴は、特徴ベクトルに編成され得る。いくつかの実現例では、出力データは１つ以上の予測を含み得る。予測は推論とも称され得る。このように、特定の事例に関連付けられた特徴である場合、機械学習モデル３００は、当該特徴に基づいてそのような事例に関する予測を出力し得る。

【0065】

機械学習モデル３００は、さまざまな異なるタイプの機械学習モデルのうちの１つ以上であり得るかまたはそれらを含み得る。特に、いくつかの実現例では、機械学習モデル３００は、分類、回帰、クラスタリング、異常検出、推奨生成、および／または他のタスクを実行することができる。

【0066】

いくつかの実現例では、機械学習モデル３００は、入力データに基づいてさまざまなタイプの分類を実行することができる。たとえば、機械学習モデル３００は、バイナリ分類またはマルチクラス分類を実行することができる。バイナリ分類では、出力データは、入力データを２つの異なるクラスのうちの１つに分類することを含み得る。マルチクラス分類では、出力データは、入力データを３以上のクラスのうち１つ（またはそれ以上）に分類することを含み得る。これらの分類は、単一ラベルまたはマルチラベルであり得る。機械学習モデル３００は、入力データが単に１つ以上のクラスまたはカテゴリに分類される離散カテゴリ分類を実行し得る。

【0067】

いくつかの実現例では、機械学習モデル３００が実行することのできる分類においては、機械学習モデル３００が、１つ以上のクラスごとに、入力データが対応するクラスに分類されるべきであると考えられる度合いを記述する数値を提供する。いくつかの事例においては、機械学習モデル３００によって提供される数値は、それぞれのクラスへの入力の分類に関連付けられたそれぞれの信頼を示す「信頼性スコア」と称され得る。いくつかの実現例では、信頼性スコアは、離散的なカテゴリ予測をレンダリングするために１つ以上の閾値と比較され得る。いくつかの実現例では、離散的なカテゴリ予測をレンダリングするために、信頼性スコアが相対的に最大である特定数（たとえば、１つ）のクラスだけが選択され得る。

【0068】

機械学習モデル３００は確率的分類を出力し得る。たとえば、機械学習モデル３００は、サンプル入力の場合、１セットのクラスにわたる確率分布を予測し得る。このため、機械学習モデル３００は、サンプル入力が属するべき可能性が最も高いクラスのみを出力するのではなく、各クラスごとに、サンプル入力がそのようなクラスに属する確率を出力し得る。いくつかの実現例では、起こり得るあらゆるクラスにわたる確率分布を合計して１とすることができる。いくつかの実現例では、Ｓｏｆｔｍａｘ関数、または他のタイプの関数もしくは層を用いて、当該起こり得るクラスにそれぞれ関連付けられた実値のセットを、合計１となる範囲（０，１）内の実値のセットに詰め込み（squash）得る。

【0069】

いくつかの例では、確率分布によって提供される確率は、離散的なカテゴリ予測をレンダリングするために１つ以上の閾値と比較され得る。いくつかの実現例では、離散的なカテゴリ予測をレンダリングするために、予測される確率が相対的に最大となる特定数（たとえば、１つ）のクラスだけが選択され得る。

【0070】

機械学習モデル３００が分類を実行する場合、機械学習モデル３００は、教師あり学習技術を用いてトレーニングされ得る。たとえば、機械学習モデル３００は、１つ以上のクラスに属する（または属していない）とラベル付けされたトレーニング例を含むトレーニングデータセット上でトレーニングされ得る。教師ありトレーニング技術に関するさらなる詳細を以下において図３Ｂ～図３Ｅの記載において提供する。

【0071】

いくつかの実現例では、機械学習モデル３００は、回帰を実行して、連続的な数値の形式で出力データを提供し得る。連続的な数値は、たとえば通貨値、スコア、または他の数値表現を含む任意の数のさまざまなメトリクスまたは数値表現に対応し得る。例として、機械学習モデル３００は、線形回帰、多項式回帰、または非線形回帰を実行することができる。例として、機械学習モデル３００は、単純回帰または重回帰を実行することができる。上述したように、いくつかの実現例では、Ｓｏｆｔｍａｘ関数または他の関数もしくは層を用いて、２つ以上の起こり得るクラスにそれぞれ関連付けられた実値のセットを、合計１となる範囲（０，１）内の実値のセットに詰め込み得る。

【0072】

機械学習モデル３００は、いくつかの事例においては、環境内でエージェントとして機能し得る。たとえば、機械学習モデル３００は、以下でさらに詳細に説明する強化学習を用いてトレーニングすることができる。

【0073】

いくつかの実現例では、機械学習モデル３００はパラメトリクスモデルであり得る一方で、他の実現例では、機械学習モデル３００は非パラメトリクスモデルであり得る。いくつかの実現例では、機械学習モデル３００は線形モデルであり得る一方で、他の実現例では、機械学習モデル３００は非線形モデルであり得る。

【0074】

上述したように、機械学習モデル３００は、さまざまな異なるタイプの機械学習モデルのうちの１つ以上であり得るか、またはそれらを含み得る。このようなさまざまなタイプの機械学習モデルの例を例示のために以下に提供する。以下において説明されるモデル例のうちの１つ以上を用いて（たとえば、組合わせて）、入力データに応答して出力データを提供し得る。以下で提供される例示的なモデル以外の追加のモデルも同様に用いることができる。

【0075】

いくつかの実現例では、機械学習モデル３００は、たとえば線形分類モデル、二次分類モデルなどの１つ以上の分類器モデルであり得るか、またはそれらを含み得る。機械学習モデル３００は、たとえば、単純線形回帰モデル、多重線形回帰モデル、ロジスティック回帰モデル、段階的回帰モデル、多変量適応回帰スプライン、局所推定分散平滑化モデルなどの１つ以上の回帰モデルであり得るか、またはそれらを含み得る。

【0076】

いくつかの実現例では、機械学習モデル３００は、１つ以上の人工ニューラルネットワーク（単にニューラルネットワークとも称される）であり得るか、またはそれを含み得る。ニューラルネットワークは、ニューロンまたはパーセプトロンとも称され得る接続ノードのグループを含み得る。ニューラルネットワークは１つ以上の層に編成され得る。複数の層を含むニューラルネットワークは「ディープ」ネットワークと称され得る。ディープネットワークは、入力層と、出力層と、入力層と出力層との間に配置される１つ以上の隠れ層とを含み得る。ニューラルネットワークの複数のノードは接続され得るかまたは不完全に接続され得る。

【0077】

機械学習モデル３００は、１つ以上のフィードフォワードニューラルネットワークであり得るか、またはそれを含み得る。フィードフォワードネットワークにおいては、ノード間の接続はサイクルを形成しない。たとえば、各接続は、前の層からのノードを後の層からのノードに接続することができる。

【0078】

いくつかの事例においては、機械学習モデル３００は、１つ以上の再帰ニューラルネットワークであり得るか、またはそれを含み得る。いくつかの事例においては、再帰ニューラルネットワークの複数ノードのうちの少なくともいくつかがサイクルを形成し得る。再帰ニューラルネットワークは、本質的に連続している入力データを処理するのに特に有用であり得る。特に、いくつかの事例においては、再帰ニューラルネットワークは、再帰型または指向型の周期的ノード接続を用いることにより、入力データシーケンスのうち前部分から入力データシーケンスのうち後部分へと情報を渡すかまたは保持することができる。

【0079】

いくつかの例では、連続的な入力データは、時系列データ（たとえば、時間に対するセンサデータ、またはさまざまな時間に取込まれた画像）を含み得る。たとえば、再帰ニューラルネットワークは、センサデータを時間に対して分析して、スワイプ方向を検出または予測したり、筆跡を認識したりなどすることができる。連続的な入力データは、（たとえば、自然言語処理、音声検出または処理などのための）文中の単語、楽曲における音調、（たとえば、連続的なアプリケーションの使用を検出または予測するために）ユーザが取る連続的なアクション、連続的なオブジェクト状態などを含み得る。

【0080】

再帰ニューラルネットワークの例として、長・短期（long short-term：ＬＳＴＭ）再帰ニューラルネットワーク、ゲート制御された再帰ユニット、双方向再帰ニューラルネットワーク、連続時間再帰ニューラルネットワーク、ニューラル履歴コンプレッサ、エコー状態ネットワーク、エルマン（Elman）ネットワーク、ジョーダン（Jordan）ネットワーク、再帰型ニューラルネットワーク、ホップフィールド（Hopfield）ネットワーク、完全再帰ネットワーク、シーケンス間（sequence-to-sequence）構成などが含まれる。

【0081】

いくつかの実現例では、機械学習モデル３００は、１つ以上の畳み込みニューラルネットワークであり得るか、またはそれを含み得る。いくつかの事例においては、畳み込みニューラルネットワークは、学習済みフィルタを用いて入力データにわたって畳み込みを実行する１つ以上の畳み込み層を含み得る。

【0082】

フィルタはカーネルとも称され得る。畳み込みニューラルネットワークは、入力データが静止画像または映像などの画像を含む場合などの視覚に関する問題に特に有用であり得る。しかしながら、畳み込みニューラルネットワークは、自然言語処理にも適用可能である。

【0083】

いくつかの例においては、機械学習モデル３００は、たとえば敵対的生成ネットワークなどの１つ以上の生成ネットワークであり得るか、またはそれを含み得る。生成ネットワークを用いて、新しい画像または他のコンテンツなどの新しいデータを生成することができる。

【0084】

機械学習モデル３００はオートエンコーダであり得るかまたはオートエンコーダを含み得る。いくつかの事例においては、オートエンコーダの目的は、典型的には次元削減の目的で、１セットのデータに関する表現（たとえば、より低次元の符号化）を学習することである。たとえば、いくつかの事例では、オートエンコーダは、入力データを符号化し、次いで、この符号化から入力データを再構築する出力データを提供しようと試みることができる。近年、オートエンコーダの概念は、データの生成モデルを学習するために、より広く利用されている。いくつかの事例では、オートエンコーダは、入力データの再構築を上回る付加的な損失を含む可能性がある。

【0085】

機械学習モデル３００は、たとえば、ディープボルツマン（Boltzmann）マシン、ディープビリーフネットワーク、スタック型オートエンコーダなどの人工ニューラルネットワークの１つ以上の他の形態であり得るか、またはそれを含み得る。本明細書中で説明するニューラルネットワークのいずれかを組合わせる（たとえば、積み重ねる）ことで、より複雑なネットワークを形成することができる。

【0086】

１つ以上のニューラルネットワークを用いて、入力データに基づく埋込みを設けることができる。たとえば、埋込みは、入力データから１つ以上の学習済み次元に抽象化された知識の表現であり得る。いくつかの事例においては、埋込みは、関係するエンティティを識別するための有用なソースであり得る。いくつかの事例では、埋込みは、ネットワークの出力から抽出することができ、他の事例では、埋込みは、ネットワークの任意の隠れノードまたは層（たとえば、ネットワークの最終層に近いが最終層ではない層）から抽出することができる。埋込みは、次の映像のオートサジェスト、プロダクト提案、エンティティまたはオブジェクト認識などを実行するのに有用であり得る。いくつかの事例においては、埋込みは下流モデルのための有用な入力である。たとえば、埋込みは、下流モデルまたは処理システムのための入力データ（たとえば、サーチクエリ）を一般化するために有用であり得る。

【0087】

いくつかの実現例では、機械学習モデル３００は、たとえば、主成分分析、カーネル主成分分析、グラフベースのカーネル主成分分析、主成分回帰、部分最小二乗回帰、サモン（Sammon）マッピング、多次元スケーリング、射影追跡、線形判別分析、混合判別分析、二次判別分析、一般化された判別分析、柔軟な判別分析、オートエンコーディングなどの１つ以上の次元縮小技術を実行し得る。

【0088】

いくつかの実現例では、機械学習モデル３００は、マルコフ決定プロセス、動的プログラミング、Ｑ関数またはＱ学習、値関数アプローチ、ディープＱネットワーク、微分可能なニューラルコンピュータ、非同期利点アクタークリティック（asynchronous advantage actor-critics）、決定論的方策勾配などの１つ以上の強化学習技術を実行するかまたは施すことができる。

【0089】

いくつかの実現例では、機械学習モデル３００は自己回帰モデルであり得る。いくつかの事例においては、自己回帰モデルは、出力データがそれ自体の前の値および確率項に線形に依存することを規定し得る。いくつかの事例においては、自己回帰モデルは確率差分方程式の形態を取り得る。自己回帰モデルの一例として、生音声のための生成モデルであるWaveNetがある。

【0090】

いくつかの実現例では、機械学習モデル３００は、多重モデル集合の一部を含み得るかまたはそれを形成し得る。一例として、「バギング」とも称され得るブートストラップ・アグリゲーティングを実行することができる。ブートストラップ・アグリゲーティングでは、トレーニングデータセットが（たとえば、置換を用いたランダムサンプリングによって）いくつかのサブセットに分割されるとともに、複数のモデルがそれぞれサブセットの数ごとにトレーニングされる。推論時に、複数のモデルのそれぞれの出力を（たとえば、平均化、投票、または他の技術によって）組合わせて、集合の出力として用いることができる。

【0091】

集合の一例は、ランダム決定フォレストとも称され得るランダムフォレストである。ランダムフォレストは、分類、回帰、および他のタスクのための集合学習法である。ランダムフォレストは、トレーニング時に複数のデシジョンツリーを作成することによって生成される。いくつかの事例では、推論時に、個々のツリーのクラスのモード（分類）または平均予測（回帰）であるクラスをフォレストの出力として用いることができる。ランダムなデシジョンフォレストは、それらのトレーニングセットに過剰適合するデシジョンツリーの傾向を訂正することができる。

【0092】

別の例示的な集合技術はスタッキングであり、これは、いくつかの例では、スタック型一般化と称され得る。スタッキングは、コンバイナモデルをトレーニングして、いくつかの他の機械学習モデルの予測をブレンドするかまたは組合わせることを含む。このように、複数の（たとえば、同じタイプまたは異なるタイプの）機械学習モデルをトレーニングデータに基づいてトレーニングすることができる。加えて、コンバイナモデルは、他の機械学習モデルからの予測を入力として取得し、それに応じて最終的な推論または予測を生成するようにトレーニングすることができる。いくつかの事例においては、単層ロジスティック回帰モデルをコンバイナモデルとして用いることができる。

【0093】

別の例示的な集合技術はブースティングである。ブースティングは、弱いモデルを反復的にトレーニングし、次いで、最終的な強いモデルに追加することによって集合を徐々に構築することを含み得る。たとえば、いくつかの事例においては、各々の新しいモデルは、前のモデルが誤解釈（たとえば、誤分類）したトレーニング例を強調するようにトレーニングされ得る。たとえば、そのような誤解釈された例の各々に関連付けられた重みを増やすことができる。ブースティングの１つの一般的な実現例としてAdaBoostがあり、適応ブースティング（Adaptive Boosting）とも称され得る。他のブースティング技術の例として、LPBoost、TotalBoost、BrownBoost、xgboost、MadaBoost、LogitBoost、勾配ブースティングなどがある。さらに、上述のモデルのいずれか（たとえば、回帰モデルおよび人工ニューラルネットワーク）を組合わせて集合を形成することができる。一例として、集合は、当該集合を形成するモデルの出力を組合わせるための、および／または重み付けするためのトップレベルの機械学習モデルまたはヒューリスティック関数を含み得る。

【0094】

いくつかの実現例では、（たとえば、集合を形成する）複数の機械学習モデルは、（たとえば、モデル集合を通じて連続的にエラーを逆伝搬することによって）一緒にリンクされてトレーニングされ得る。しかしながら、いくつかの実現例では、一緒にトレーニングされたモデルのサブセット（たとえば、１つ）のみが推論のために用いられる。

【0095】

いくつかの実現例では、機械学習モデル３００は、別のモデルへの後続の入力のための入力データを前処理するために用いることができる。たとえば、機械学習モデル３００は、次元縮小技術および埋込み（たとえば、行列因数分解、主成分分析、特異値分解、word2vec/GLOVE、および／または関連するアプローチ）、クラスタリング、さらには、下流での消費のための分類および回帰さえも実行することができる。これらの技術の多くは上記で説明されてきたが、以下でさらに説明する。

【0096】

上述のように、機械学習モデル３００は、入力データを受信し、それに応じて出力データを提供するようにトレーニングされ得るかまたは構成され得る。入力データは、さまざまなタイプ、形態、またはバリエーションの入力データを含み得る。例として、さまざまな実現例では、入力データは、ユーザによって最初に選択されたコンテンツ（またはコンテンツの一部）、たとえば、ユーザによって選択された文書または画像のコンテンツ、ユーザ選択を指すリンク、デバイスまたはクラウド上で利用可能な他のファイルに関係するユーザ選択内のリンク、ユーザ選択のメタデータなどを記述する特徴を含み得る。加えて、ユーザ許可がある場合、入力データは、アプリ自体または他のソースから取得されるユーザ使用のコンテキストを含む。使用コンテキストの例は、（公的に共有するか、または大きなグループと共有するか、または個別に共有する、または特定の人と共有する）シェアの幅、シェアのコンテキスト等を含む。追加の入力データは、ユーザによって許可される場合、デバイスの状態、たとえば、デバイスの位置、デバイス上で動作するアプリなどを含み得る。

【0097】

加えて、ユーザ許可がある場合、入力データは、アプリ自体または他のソースから取得されるユーザ使用のコンテキストを含む。使用コンテキストの例は、（公的に共有するか、または大きなグループと共有するか、または個別に共有するか、または特定の人と共有する）シェアの幅、シェアのコンテキストなどを含む。追加の入力データは、ユーザによって許可される場合、デバイスの状態、たとえば、デバイスの位置、デバイス上で動作するアプリなどを含み得る。

【0098】

いくつかの実現例では、機械学習モデル３００は、入力データを受信し、当該入力データをその未処理の形態で用いることができる。いくつかの実現例では、未処理の入力データを前処理することができる。このため、未処理の入力データに加えて、またはその代わりに、機械学習モデル３００は、前処理された入力データを受信して用いることができる。

【0099】

いくつかの実現例では、入力データを前処理することは、未処理の入力データから１つ以上の追加の特徴を抽出することを含み得る。たとえば、特徴抽出技術を入力データに適用して、１つ以上の新しい追加の特徴を生成することができる。特徴抽出技術の例として、エッジ検出、コーナー検出、ブロブ検出、リッジ検出、スケール不変特徴変換、モーション検出、オプティカルフロー、ハフ（Hough）変換などが含まれる。

【0100】

いくつかの実現例では、抽出された特徴は、他のドメインおよび／または次元への入力データの変換を含み得るかまたは当該変換から導出され得る。一例として、抽出された特徴は、周波数領域への入力データの変換を含むかまたは当該変換から導出され得る。たとえば、ウェーブレット変換および／または高速フーリエ変換を入力データに対して実行して、追加の特徴を生成することができる。

【0101】

いくつかの実現例では、抽出された特徴は、入力データまたは入力データのうち特定の部分もしくは次元から計算された統計を含み得る。例示的な統計は、入力データまたはそのうちのいくつかの部分についてのモード、平均、最大、最小、または他のメトリクスを含む。

【0102】

いくつかの実現例では、上述したように、入力データは本質的に連続的なものであり得る。いくつかの事例では、連続的な入力データは、入力データのストリームをサンプリングするかまたはセグメント化することによって生成され得る。一例として、映像からフレームを抽出することができる。いくつかの実現例では、連続したデータは要約によって非連続にすることができる。

【0103】

別の例示的な前処理技術として、入力データの一部を帰属させることができる。たとえば、追加の合成入力データは補間および／または外挿によって生成することができる。

【0104】

別の例示的な前処理技術として、入力データの一部または全てをスケーリング、標準化、正規化、一般化、および／または正則化することができる。例示的な正則化技術は、リッジ回帰、最小絶対収縮および選択演算子（least absolute shrinkage and selection operator：ＬＡＳＳＯ）、エラスティックネット、最小角度回帰、交差検証、Ｌ１正則化、Ｌ２正則化などを含む。一例として、入力データの一部または全ては、個々の特徴値の各々から所与の次元の特徴値にわたる平均を減じ、次いで標準偏差または他のメトリクスで割ることによって正規化され得る。

【0105】

別の例示的な前処理技術として、入力データの一部または全てを量子化または離散化することができる。場合によっては、入力データに含まれる定性的特徴または変数は定量的特徴または変数に変換され得る。たとえば、１回のホットエンコードを実行することができる。

【0106】

いくつかの例では、次元縮小技術は、機械学習モデル３００への入力前に入力データに適用することができる。上述した次元縮小技術のいくつかの例には、たとえば、主成分分析、カーネル主成分分析、グラフベースのカーネル主成分分析、主成分回帰、部分最小二乗回帰、サモンマッピング、多次元スケーリング、射影追跡、線形判別分析、混合判別分析、二次判別分析、一般化された判別分析、柔軟な判別分析、オートエンコーディングなどが含まれる。

【0107】

いくつかの実現例では、トレーニング中、入力データは、モデルのロバスト性、一般化、または他の品質を高めるために、いくつもの方法で意図的に変形させることができる。入力データを変形させるための例示的な技術には、ノイズの追加、色、陰影または色相の変更、倍率、セグメント化、増幅などが含まれる。

【0108】

機械学習モデル３００は、入力データの受信に応答して出力データを提供し得る。出力データは、さまざまなタイプ、形態、またはバリエーションの出力データを含み得る。例として、さまざまな実現例では、出力データは、初期コンテンツ選択とともに適切に共有可能であるとともにユーザデバイス上またはクラウド内にローカルに格納されたコンテンツを含み得る。

【0109】

上で説明したように、いくつかの実現例では、出力データは、さまざまなタイプの分類データ（たとえば、バイナリ分類、マルチクラス分類、シングルラベル、マルチラベル、離散分類、回帰的分類、確率的分類など）を含み得るか、または、さまざまなタイプの回帰データ（たとえば、線形回帰、多項式回帰、非線形回帰、単純回帰、重回帰など）を含み得る。他の例では、出力データは、クラスタリングデータ、異常検出データ、推奨データ、または上述の出力データの他の形態のいずれかを含み得る。

【0110】

いくつかの実現例では、出力データは、下流のプロセスまたは意思判定に影響を及ぼし得る。一例として、いくつかの実現例では、出力データは、ルールベースのレギュレータによって解釈することおよび／または作用させることができる。

【0111】

本開示は、初期コンテンツ選択の特徴に基づいて初期コンテンツ選択と共に適切に共有可能である、ユーザのデバイス上またはクラウド内にローカルに格納されたコンテンツを提案するために、１つ以上の機械学習モデルを含むかまたは活用するシステムおよび方法を提供する。上述した入力データのさまざまなタイプまたは形態のいずれかを上述した機械学習モデルのさまざまなタイプまたは形態のいずれかと組合わせて、上述した出力データのさまざまなタイプまたは形態のいずれかを提供することができる。

【0112】

本開示のシステムおよび方法は、１つ以上のコンピューティングデバイスによって実現され得るかまたは１つ以上のコンピューティングデバイス上で実行され得る。例示的なコンピューティングデバイスは、ユーザコンピューティングデバイス（たとえば、ラップトップ、デスクトップ、および、モバイルコンピューティングデバイス、たとえば、タブレット、スマートフォン、ウェアラブルコンピューティングデバイスなど）、埋込み型コンピューティングデバイス（たとえば、車両、カメラ、イメージセンサ、工業用機械、衛星、ゲームコンソールもしくはコントローラ、または、家電機器、たとえば、冷蔵庫、サーモスタット、エネルギメータ、ホームエネルギマネージャ、スマートホームアシスタントなどに埋込まれたデバイス）、他のコンピューティングデバイス、またはそれらの組合わせを含む。

【0113】

図３Ｂは、図１のコンピューティングデバイス１１０の一例であるコンピューティングデバイス３１０の概念図を示す。コンピューティングデバイス３１０は、処理コンポーネント３０２、メモリコンポーネント３０４、および機械学習モデル３００を含む。コンピューティングデバイス３１０は、機械学習モデル３００をローカルに（すなわち、オンデバイスで）格納して実現し得る。このように、機械学習モデル３００は、内蔵デバイスまたはユーザコンピューティングデバイス、たとえばモバイルデバイスなどに格納され得る、および／またはこれらによってローカルに実現され得る。埋込みデバイスまたはユーザコンピューティングデバイスにおいて機械学習モデル３００をローカルに実現することによって得られる出力データを用いることで、埋込みデバイスまたはユーザコンピューティングデバイス（たとえば、埋込みデバイスまたはユーザコンピューティングデバイスによって実現されるアプリケーション）の性能を向上させることができる。

【0114】

図３Ｃは、モデルトレーナを含む例示的なトレーニングコンピューティングシステムと通信する例示的なコンピューティングデバイスの概念図を示す。図３Ｃは、ネットワーク３３０を介してトレーニングデバイス３２０と通信するクライアントデバイス３１０を含む。クライアントデバイス３１０は、図１のコンピューティングデバイス１１０の一例である。本明細書で説明する機械学習モデル３００は、トレーニングデバイス３２０などのトレーニングコンピューティングシステムでトレーニングされて提供されることで、クライアントデバイス３１０などの１つ以上のコンピューティングデバイスにおいて格納および／または実現され得る。たとえば、モデルトレーナ３７２は、トレーニングデバイス３２０においてローカルに実行される。いくつかの例では、モデルトレーナ３７２を含むトレーニングデバイス３２０は、クライアントデバイス３１０、または機械学習モデル３００を実現する他の任意のコンピューティングデバイスに含まれ得るか、またはそれとは別個であり得る。

【0115】

機械学習モデル３００または本開示の他の局面を実現するコンピューティングデバイス３１０と、機械学習モデル３００をトレーニングするトレーニングデバイス３２０とは、本明細書で説明する技術の実行を可能にするいくつかのハードウェアコンポーネントを含み得る。たとえば、コンピューティングデバイス３１０は、機械学習モデル３００の一部または全体を格納する１つ以上のメモリデバイスを含み得る。たとえば、機械学習モデル３００は、メモリに格納される構造化された数値表現であり得る。１つ以上のメモリデバイスはまた、機械学習モデル３００を実現するための命令、または他の動作を実行するための命令を含み得る。メモリデバイスの例として、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＥＰＲＯＭ、フラッシュメモリデバイス、磁気ディスクなど、およびそれらの組合わせが含まれる。

【0116】

コンピューティングデバイス３１０はまた、機械学習モデル３００の一部または全体を実現する、および／または他の関連動作を実行する、１つ以上の処理デバイスを含み得る。例示的な処理デバイスは、中央処理装置（central processing unit：ＣＰＵ）、ビジュアル処理ユニット（visual processing unit：ＶＰＵ）、グラフィックス処理ユニット（graphics processing unit：ＧＰＵ）、テンソル処理ユニット（tensor processing unit：ＴＰＵ）、ニューラル処理ユニット（neural processing engine：ＮＰＵ）、ニューラル処理エンジン、ＣＰＵ、ＶＰＵ、ＧＰＵ、ＴＰＵ、ＮＰＵまたは他の処理デバイスのコア、特定用途向け集積回路（application specific integrated circuit：ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（field programmable gate array：ＦＰＧＡ）、コプロセッサ、コントローラ、または、上述の処理デバイスの組合わせ、のうちの１つ以上を含む。処理デバイスは、たとえば、画像センサ、加速度計などの他のハードウェアコンポーネント内に埋込むことができる。

【0117】

トレーニングデバイス３２０は、１つ以上の機械学習プラットフォーム、フレームワーク、および／またはライブラリ、たとえば、TensorFlow、Caffe/Caffe2、Theano、Torch/PyTorch、MXnet、CNTKなどを用いて、グラフ処理技術または他の機械学習技術を実行し得る。いくつかの実現例では、機械学習モデル３００は、オフラインで、またはオンラインでトレーニングされ得る。（バッチ学習としても公知である）オフライントレーニングでは、機械学習モデル３００は、トレーニングデータの静的セット全体に対してトレーニングされる。オンライン学習では、機械学習モデル３００は、（たとえば、モデルが推論を実行するために用いられる間に）新しいトレーニングデータが利用可能になると、継続的にトレーニングされる（または再トレーニングされる）。

【0118】

モデルトレーナ３７２は、（たとえば、集約的に格納されたデータセットに基づいて）機械学習モデル３００の集中トレーニングを実行し得る。他の実現例では、分散型トレーニング、連合型学習などの分散型トレーニング技術を用いて、機械学習モデル３００をトレーニング、更新、または個人化することができる。

【0119】

本明細書で説明する機械学習モデル３００は、さまざまな異なるトレーニングタイプまたは技術のうちの１つ以上にしたがってトレーニングすることができる。たとえば、いくつかの実現例では、機械学習モデル３００は、教師あり学習を用いてモデルトレーナ３７２によってトレーニングすることができる。ここで、機械学習モデル３００は、ラベルを有する事例または例を含むトレーニングデータセットに対してトレーニングされる。これらのラベルは、専門家によって手動で適用され得るか、クラウドソーシングによって作成され得るか、または、他の技術によって（たとえば、物理学ベースの、または複雑な数学的モデルによって）提供され得る。いくつかの実現例では、ユーザが同意した場合、ユーザコンピューティングデバイスによってトレーニング例を提供することができる。いくつかの実現例では、このプロセスはモデルの個人化と称され得る。

【0120】

トレーニングデバイス３２０が機械学習モデル３００のトレーニングを終了すると、機械学習モデル３００がクライアントデバイス３１０にインストールされ得る。たとえば、トレーニングデバイス３２０は、ネットワーク３３０を介して機械学習モデル３００をクライアントデバイス３１０に転送し得るか、または、機械学習モデル３００は、クライアントデバイス３１０の製造中にクライアントデバイス３１０にインストールされ得る。いくつかの例では、機械学習モデル３００がトレーニングデバイス３２０においてトレーニングされると、トレーニングデバイス３２０は、TensorFlow Liteライブラリを用いることなどによってトレーニング後の重み量子化を実行して、モデル重みを８ビット整数に圧縮することなどによってモデル重みを圧縮することで、クライアントデバイス３１０が機械学習モデル３００を用いてより効率的なオンデバイス推論を実行することを可能にし得る。

【0121】

図３Ｄは、トレーニングデバイス３４０がラベル３４３を有する例示的な入力データ３４２を含むトレーニングデータ３４１に対して機械学習モデル３００をトレーニングし得る例示的なトレーニングプロセスであるトレーニングプロセス３４０の概念図を示す。トレーニングプロセス３４０は、トレーニングプロセスの一例であり、他のトレーニングプロセスが同様に用いられてもよい。

【0122】

トレーニングプロセス３４０によって用いられるトレーニングデータ３４１は、トレーニングのためのこのようなデータの使用をユーザが許可する場合、共有フローの匿名化された使用ログ、たとえば、一緒に共有されたコンテンツアイテム、たとえば知識グラフ内のエンティティからの、共に属していると既に識別されたバンドル化コンテンツ部分などを含み得る。いくつかの実現例では、トレーニングデータ３４１は、出力データ３４４に対応するラベル３４３が割当てられた入力データ３４２の例を含み得る。

【0123】

本開示の局面に従うと、機械学習モデル３００は差分プライバシーでトレーニングされる。すなわち、機械学習モデル３００は、強固な数学的保証を提供する方法で機械学習モデル３００をトレーニングし得る。強固な数学的保証とは、すなわち、機械学習モデル３００をトレーニングするために（たとえば、例示的な入力データ３４２および／またはトレーニングデータ３４１の一部として）データが用いられた任意の特定のユーザに関する詳細を機械学習モデル３００が学習または記憶せず、これにより、機械学習モデル３００のトレーニング中に特定のデータが用いられたか否かを悪意ある人が正確に判定することを防止し、これにより、機械学習モデル３００をトレーニングするのにデータが用いられたユーザのプライバシーを保護するというものである。

【0124】

差分プライバシーで機械学習モデル３００をトレーニングするために、トレーニングデバイス３２０は、トレーニングデータ３４１にノイズを加えて、機械学習モデル３００のトレーニングデータ３４１に個々の例を隠し得る。このために、トレーニングデバイス３２０は、TensorFlowプライバシーなどの差分プライバシーフレームワークを用いて機械学習モデル３００をトレーニングし得る。差分プライバシーフレームワークを用いて機械学習モデル３００をトレーニングすることにより、トレーニングデバイス３２０は、強固なプライバシー保証を提供するためにトレーニングデータ３４１にノイズを追加する。この強固なプライバシー保証とは、機械学習モデル３００が、当該機械学習モデル３００をトレーニングするために（たとえば、入力データ３４２および／またはトレーニングデータ３４１の一部として）データが用いられた任意の特定のユーザに関する詳細を学習または記憶しないというものである。

【0125】

機械学習モデル３００をトレーニングするためにデータが用いられた任意の特定のユーザに関する詳細を機械学習モデル３００が学習または記憶しないという強固な数学的保証を提供するために、差分プライバシーを用いて機械学習モデル３００をトレーニングするのに用いられる差分プライバシーフレームワークは、イプシロン（ε）パラメータおよびデルタ（δ）パラメータを用いて記述され得る。イプシロンパラメータの値は、プライバシー保証の強さの基準であり得るとともに、単一のトレーニング例を含めるかまたはトレーニングデータ３４１から削除することによって特定の出力の確率をどれだけ増加できるかについての最高限度（すなわち、上限）であり得る。概して、イプシロンパラメータの値は、より厳密なプライバシー保証のために、１０未満、または１未満であり得る。デルタパラメータの値は、プライバシー保証が保持していない確率の境界となり得る。いくつかの例では、デルタパラメータは、トレーニングデータ３４１のサイズの逆数の値に設定されてもよく、または、トレーニングデータ３４１のサイズの逆数よりも小さい値に設定されてもよい。

【0126】

トレーニングデバイス３２０は、差分プライバシーを用いて機械学習モデル３００をトレーニングするために差分プライバシーフレームワークによって用いられるデルタパラメータについての目標値を指定し得る。トレーニングデバイス３２０は、機械学習モデル３００のために指定されるデルタパラメータの目標値と所与のセットのハイパーパラメータとに基づいて、差分プライバシーを用いて機械学習モデル３００をトレーニングするために差分プライバシーフレームワークによって用いられるイプシロンパラメータの値を判定し得る。

【0127】

機械学習モデル３００についてのイプシロンパラメータの値を判定するために、トレーニングデバイス３２０は、いくつかの例では、機械学習モデル３００についてのトレーニングデータのRenyi発散（Renyiエントロピーとしても公知である）および当該トレーニングデータの近傍を計算し得る。当該近傍は、トレーニングデータ（たとえば、１のハミング（Hamming）距離または別の類似の値を有する）に極めて類似するトレーニングデータの分布であり得る。データのRenyi発散は、本質的に、アルファ値によってパラメータ化された一般化されたカルバック・ライブラー（Kullback-Leibler：ＫＬ）発散であり得る。ここで、ＫＬ発散は、アルファ値が１に設定される場合、Renyi発散から正確に導出され得る。

【0128】

トレーニングデータが大きなＲｅｎｙｉ発散を有する場合、トレーニングデータの分布は、単一の変数を変更することによって大きくシフトし得る。したがって、１つの余分な例が識別可能になり得ることにより全体的なプライバシーを損なう可能性があるものの、このような態様で情報を検索することはより容易であり得る。トレーニングデータが小規模なRenyi発散を有する場合、余分な例があるとデータの有意な変更がなされない可能性があり、これにより、この余分な例がデータに追加されたかどうかを識別することがより困難になるかもしれない。上述したように、デルタパラメータの値は、トレーニングデータ３４１のサイズの逆数の値に設定され得るので、機械学習モデル３００用のトレーニングデータが比較的小規模なRenyi発散を有することが可能となり得る。

【0129】

上述のように、機械学習モデル３００は、活動認識を実行する１つ以上のニューラルネットワークを含み得る。すなわち、機械学習モデル３００は、動きに対応するモーションデータを入力として取得し、それに応答して、入力されたモーションデータに一致する身体活動の表示を出力し得る。機械学習モデル３００に入力されるモーションデータは、１つ以上の加速度計などの１つ以上のモーションセンサによって生成される多軸加速度計データを含み得る。いくつかの例では、１つ以上の加速度計は三軸加速度計データを生成し得る。当該三軸加速度計データは、ｘ軸、ｙ軸、およびｚ軸に沿って１つ以上の加速度計によって測定された加速度力を指定する浮動小数点数の３つチャネルの形態であり得る。

【0130】

機械学習モデル３００は、１つ以上のモーションセンサによって生成される或る期間にわたるモーションデータに基づいて活動認識を実行するようにトレーニングされ得る。たとえば、機械学習モデル３００のモーションデータは、約１０秒の三軸加速度計データを含み得る。約１０秒にわたる２５ヘルツのサンプリングレートであると想定すると、機械学習モデル３００は合計２５６サンプルの三軸加速度計データを受信し得る。この場合、三軸加速度計データの各サンプルは、ｘ軸、ｙ軸、およびｚ軸に沿って１つ以上の加速度計によって測定される加速度力を指定する浮動小数点数の３チャネルの形態であり得るとともに、三軸加速度計データの２５６のサンプルに対応する身体活動を判定するようにトレーニングされ得る。

【0131】

したがって、例示的な入力データ３４２の個々の例示的な入力データは、合計２５６サンプルの三軸加速度計データを含む三軸加速度計データの１０秒などの、指定された期間にわたるモーションデータであり得る。例示的な入力データ３４２は、数百万の個々の例示的な入力データを含み得る。さらに、上述の機械学習モデル３００のデルタ値は、入力データ３４２中の個々の例示的な入力データの数の逆数であり得る。

【0132】

上述したように、トレーニングデータ３４１は、ラベル３４３を有する例示的な入力データ３４２を含んでおり、このため、例示的な入力データ３４２の個々の例示的な入力データはラベル３４３のラベルを有する。活動認識を実行するように機械学習モデル３００をトレーニングするために、例示的な入力データ３４２の各個々の例示的な入力データは、個々の例示的な入力データに対応する活動を示すラベルを有する。たとえば、機械学習モデル３００が、サイクリング、ランニング、ウォーキング、または静止状態である（たとえば、座ったままである、立ったままである、および動いていない）ことのうちの１つとしてモーションデータを認識するようにトレーニングされる場合、サイクリングに対応する例示的な入力データの各々は、サイクリングを示すラベルを有し得るとともに、ランニングに対応する例示的な入力データの各々は、ランニングを示すラベルを有し得るとともに、ウォーキングに対応する例示的な入力データの各々はウォーキングを示すラベルを有し得るとともに、静止状態に対応する例示的な入力データの各々は静止状態を示すラベルを有し得る。

【0133】

例示的な入力データ３４２は、機械学習モデル３００が認識するようにトレーニングされるさまざまな身体活動をユーザが実行するのに応じて、ユーザが携帯するかまたは着用するコンピューティングデバイスのモーションセンサによって生成されるモーションデータであり得る。たとえば、サイクリングに対応する例示的な入力データは、ユーザがサイクリング中に着用しているウェアラブルコンピューティングデバイスのモーションセンサによって生成されるモーションデータであり得るとともに、ウォーキングに対応する例示的な入力データは、ユーザがウォーキング中に着用しているウェアラブルコンピューティングデバイスのモーションセンサによって生成されるモーションデータであり得るとともに、ランニングに対応する例示的な入力データは、ユーザがランニング中に着用しているウェアラブルコンピューティングデバイスのモーションセンサによって生成されるモーションデータであり得るとともに、静止状態に対応する例示的な入力データは、ユーザが静止状態である間に着用しているウェアラブルコンピューティングデバイスのモーションセンサによって生成されるモーションデータであり得る。

【0134】

トレーニングデータ３４１は、機械学習モデル３００が認識するようにトレーニングされる複数の身体活動の各々についての、ほぼ等しい数の例示的な入力データを含み得る。たとえば、機械学習モデル３００がモーションデータをサイクリング、ランニング、ウォーキング、または静止状態のうちの１つとして認識するようにトレーニングされた場合、例示的な入力データ３４２の約１／４はサイクリングに対応する例示的な入力データであり得るとともに、例示的な入力データ３４２の約１／４はランニングに対応する例示的な入力データであり得るとともに、例示的な入力データ３４２の約１／４はウォーキングに対応する例示的な入力データであり得るとともに、例示的な入力データ３４２の約１／４は静止状態であることに対応する例示的な入力データであり得る。トレーニングデバイス３２０は、例示的な入力データ３４２のいずれかの不均衡に対処するためにトレーニングデータ３４１を再サンプリングすることで、機械学習モデル３００が認識するようにトレーニングされる複数の身体活動の各々についてほぼ等しい数の例示的な入力データをトレーニングデータ３４１に確実に含めるようにし得る。

【0135】

いくつかの例では、トレーニングデバイス３２０は、活動認識を実行する際に回転不変性をもたらすように機械学習モデル３００をトレーニングするために、例示的な入力データ３４２を３つのすべての方向（すなわち、ｘ軸、ｙ軸、およびｚ軸）に、制約なしのランダム回転で変換し得る。すなわち、トレーニングデバイス３２０は、例示的な入力データ３４２の各々の例示的な入力データごとに、例示的な入力データによって指定されるｘ軸、ｙ軸、およびｚ軸に沿って加速度力にランダムな回転を適用することなどによって、例示的な入力データにランダムな回転を適用し得るとともに、ランダムに回転された例示的な入力データを、機械学習モデル３００をトレーニングするために用いられるトレーニングデータ３４１の一部として含み得る。コンピューティングデバイスのモーションセンサの位置および向きは、このようなコンピューティングデバイスがユーザによってどのように携帯または着用されるかに依存し得るとともに、時間とともに変化し得るので、回転不変性をもたらすようにトレーニングされる機械学習モデル３００は、活動認識を実行するために機械学習モデル３００によって用いられるモーションデータを生成するモーションセンサの位置および向きに関係なく、活動認識を正確に実行することができるだろう。いくつかの例では、トレーニングデバイス３２０はまた、例示的な入力データ３４２の反射変換を実行してもよく、これにより、活動認識を実行するのに当該機械学習モデル３００が用いるモーションデータを生成する（たとえば、スマートウォッチ上の）モーションセンサがユーザの左手首に着用されているかまたは右手首に着用されているかに関わらず、機械学習モデル３００は活動認識を正確に実行できるようになり得る。

【0136】

いくつかの例では、静止状態に対応する例示的な入力データは、自動車、バス、電車などの運転中または乗車中のユーザなどの、車両の運転中または車両に乗車中であったユーザによって生成されるモーションデータを含み得る。具体的には、例示的な入力データは、静状態であるとラベル付けされた車両の運転中または車両に乗車中であったユーザが携帯または着用しているコンピューティングデバイスのモーションセンサによって生成されるモーションデータを含み得る。このような例示的な入力データを用いて機械学習モデル３００をトレーニングすることにより、機械学習モデル３００は、車両の運転中または車両に乗車中であったユーザが携帯または着用しているコンピューティングデバイスのモーションセンサによって生成されるこのようなモーションデータをウォーキング、ランニング、または任意の形態の身体運動として認識しないようにトレーニングされ得る。

【0137】

いくつかの例では、ウォーキングに対応する例示的な入力データは、ウォーキング中であったユーザが携帯するスマートフォンのモーションセンサによって生成されるモーションデータと、ウォーキング中であったユーザが着用するウェアラブルコンピューティングデバイスのモーションセンサによって生成されるモーションデータとを含み得る。ウォーキング中であったユーザが携帯しているスマートフォンのモーションセンサによって生成されるモーションデータや、ウェアラブルコンピューティングデバイスのモーションセンサによって生成されるモーションデータを含めることにより、スマートウォッチなどのウェアラブルコンピューティングデバイスのモーションセンサによって生成されるモーションデータのみを用いる場合とは対照的に、ウォーキングに関するトレーニングデータの可利性が高まり得る。

【0138】

いくつかの例では、トレーニングデバイス３２０は、自由生活モーションデータ３４６からのモーションデータを、機械学習モデル３００をトレーニングするのに用いられるトレーニングデータ３４１に組込み得る。自由生活モーションデータ３４６は、ユーザが複数の連続する日数、たとえば３日間以上、にわたって日々の活動に取り組む際に当該ユーザが携帯または着用するコンピューティングデバイスのモーションセンサによって生成されるモーションデータを含み得る。一般に、自由生活モーションデータ３４６はラベル付けされない可能性がある。このため、トレーニングデバイス３２０は、自由生活モーションデータ３４６についてのラベルを判定し得るとともに、機械学習モデル３００をトレーニングするのに用いられるトレーニングデータ３４１内に自由生活モーションデータ３４６の少なくとも一部およびその関連ラベルを含み得る。

【0139】

いくつかの例では、トレーニングデバイス３２０は、自由生活モーションデータ３４６内のモーションデータのウィンドウに関連付けられた加速度計の計測値（すなわち、ｘ軸、ｙ軸、およびｚ軸に沿った加速度力）ならびに／または平均の加速度計の計測値（すなわち、ｘ軸、ｙ軸、およびｚ軸を組合わせた総加速度力の平均）に少なくとも部分的に基づいて、自由生活モーションデータ３４６内のモーションデータに関連付けられたラベルを判定し得る。特に、トレーニングデバイス３２０は、自由生活モーションデータ３４６内のモーションデータの加速度計の計測値および／または平均加速度計の計測値に少なくとも部分的に基づいて、自由生活モーションデータ３４６内のモーションデータをラベル付けすべきかどうかと、自由生活モーションデータ３４６内のモーションデータを選択するして機械学習モデル３００をトレーニングするのに用いられるトレーニングデータ３４１に含めるべきかどうかとを判定し得る。

【0140】

トレーニングデバイス３２０は、自由生活モーションデータ３４６をモーションデータの複数ウィンドウに分割し得る。たとえば、各ウィンドウは、１００ヘルツでサンプリングされる場合に三軸加速度計データなどの５１２サンプルのモーションデータを含む、約５秒のモーションデータであり得る。トレーニングデバイス３２０は、ウィンドウについての平均（すなわち、中間）加速度計の計測値を判定し得るとともに、モーションデータのサンプルごとに、モーションデータのサンプルからウィンドウについての平均加速度計の計測値を減じることで、重力の影響除去などのために、ウィンドウ内にゼロ平均で平均加速度計の計測値を生成し得る。クリッピングされたウィンドウの平均加速度計の計測値はウィンドウについての全体的なスコアを表わし得る。

【0141】

トレーニングデバイス３２０がゼロ平均で平均加速度計の計測値を有するウィンドウを生成すると、トレーニングデバイス３２０は、０から４の間などの２つの値の間のウィンドウ内の加速度計の計測値をクリッピングして、平均未満のモーションを除去し、外れ値となる加速度計の計測値の値の影響を減らし得る。したがって、トレーニングデバイス３２０は、ウィンドウにおけるクリッピング済みの平均的な加速度計の計測値を、当該ウィンドウに関する全体スコアとして判定し得る。

【0142】

ウィンドウに関する全体スコアは、ウィンドウ内で検出された活動のレベルに一致し得る。この場合、或るウィンドウに関する低い全体スコアは、当該ウィンドウ内で検出された低レベルの活動に一致し得るとともに、或るウィンドウに関する高い全体スコアは、高レベルの活動に一致し得る。たとえば、或るウィンドウは、静止状態、低強度、中強度、および高強度といった４つの活動レベルのうちの１つとして、当該ウィンドウに関する全体スコアに基づいて分類され得る。したがって、トレーニングデバイス３２０は、機械学習モデル３００をトレーニングするのに用いられる静止状態に対応する例示的な入力データ３４２の例示的な入力データに含めるために、静止状態として分類されるウィンドウ内の自由生活モーションデータ３４６のモーションデータを選択し得る。

【0143】

いくつかの例では、トレーニングデバイス３２０はまた、機械学習モデル３００をトレーニングするために用いられる静止状態に対応する例示的な入力データ３４２の例示的な入力データに含めるために、低強度活動として分類されるウィンドウ内の自由生活モーションデータ３４６のモーションデータを選択し得る。機械学習モデル３００をトレーニングするのに用いられる静止状態に対応する例示的な入力データ３４２の例示的な入力データにおいて低強度活動に対応するこのようなモーションデータを含めることにより、機械学習モデル３００が一般的な活動分類器としてより適切に機能することや、機械学習モデル３００の静止状態検出を全体的に向上させることが可能となり得る。

【0144】

いくつかの例では、トレーニングデバイス３２０は、活動認識モデル３４８などの予めトレーニングされた活動認識モデルを用いて自由生活モーションデータ３４６の活動認識を実行して、自由生活モーションデータ３４６をラベル付けし得るとともに、当該ラベル付けされた自由生活モーションデータ３４６を、機械学習モデル３００をトレーニングするために用いられるトレーニングデータ３４１に含め得る。活動認識モデル３４８は、活動認識を実行して、ウィンドウ内のモーションデータに関連付けられた起こり得る活動を判定し得るとともに、活動認識モデル３４８によって判定される当該起こり得る活動の各々に関する活動認識確率を推定し得る。活動認識モデル３４８は、指定された信頼性閾値を下回る関連する活動認識確率を有する当該起こり得る活動をフィルタリングして除去し得るとともに、信頼性閾値以上である活動認識確率を有する関連する当該起こり得る活動で、自由生活モーションデータ３４６内のモーションデータの残りのウィンドウの各々にラベル付けし得ることにより、機械学習モデル３００をトレーニングするのに用いられるトレーニングデータ３４１に組込むことができるラベル付けされたモーションデータを生成し得る。

【0145】

信頼性閾値以上である活動認識確率を有する静止状態という起こり得る活動に関連付けられたモーションデータのウィンドウに関して、モーションデータのこのようなウィンドウはまた、上述の（たとえば、静止状態であると分類される）静止状態のヒューリスティックをパスしなければならない可能性があり、この場合、ウィンドウの静止度は、静止状態であるとラベル付けされるために、ウィンドウについての平均加速度計の計測値に少なくとも部分的に基づいて判定されることに留意されたい。たとえば、静止状態という起こり得る活動に関連付けられたモーションデータの或るウィンドウが、信頼性閾値以上であるが、上述の静止度ヒューリスティックをパスしない（たとえば、静止状態であると分類されない）活動認識確率を有する場合、トレーニングデバイス３２０は、機械学習モデル３００をトレーニングするのに用いられるトレーニングデータ３４１にモーションデータのウィンドウを含めないようにし得る。

【0146】

いくつかの例では、活動認識モデル３４８は、自由生活モーションデータ３４６内のモーションデータの或るウィンドウから２つ以上の起こり得る活動を判定し得る。たとえば、活動認識モデル３４８は、複数の重複するモーションデータのセットの各々に関する起こり得る活動を判定し得る。この場合、モーションデータの各セットは、モーションデータのウィンドウ内にあるモーションデータの少なくともいくつかのサンプルを含む。したがって、活動認識モデル３４８は、複数の重複するモーションデータのセットの加重平均を実行することによって、モーションデータのウィンドウに関する単一の起こり得る活動を判定し得る。この場合、加重平均を実行するために用いられる重みは、モーションデータのウィンドウ内にあるモーションデータのセット中のモーションデータのサンプルのパーセンテージに対応し得る。

【0147】

いくつかの例では、活動認識モデル３４８は、トレーニングデータ３４１にこのようなウィンドウモーションデータを含める前に、自由生活モーションデータ３４６内のモーションデータのウィンドウのデバウンシングを実行し得る。たとえば、いくつかのモーションデータは、モーションデータが、サイクリング以外の身体活動に対応するように見えるモーションデータによって囲まれる、長さ数秒（たとえば、１０秒）のサイクリングの身体活動に対応しているといった高信頼予測のランダムスパイクを含み得る。ユーザが一度に数秒間だけサイクリングすることはほぼあり得ないので、活動認識モデル３４８は、モーションデータの周囲のウィンドウのコンテキストを考慮に入れることによって、サイクリングの身体活動に対応するモーションデータの短いバーストをフィルタリングして除去するために、このようなウィンドウのモーションデータのデバウンシングを実行し得る。

【0148】

活動認識モデル３４８は、サイクリングについての関連する起こり得る活動を有する現在のウィンドウに関して、自由生活モーションデータ３４６における現在のウィンドウの左側の隣接ウィンドウ、自由生活モーションデータ３４６における現在のウィンドウの右側の隣接ウィンドウ、または、隣接ウィンドウ間の中心にある現在のウィンドウの右側および左側の隣接ウィンドウなどの設定可能な数（たとえば、５個）の隣接ウィンドウに基づいて、現在のウィンドウに関するサイクリングについての関連する当該起こり得る活動が正確である可能性が高いかどうかを判定し得る。サイクリングという起こり得る活動にも関連付けられている隣接ウィンドウの数が指定された閾値以上ではないと活動認識モデル３４８が判定した場合、活動認識モデル３４８は、現在のウィンドウが起こり得る活動であるサイクリングに関連付けられていると誤分類される可能性があると判定し得る。

【0149】

或るウィンドウがサイクリングという起こり得る活動に関連付けられていると誤分類される可能性があると活動認識モデル３４８が判定した場合、活動認識モデル３４８は、当該ウィンドウがサイクリングとは異なる起こり得る活動に関連付けられる可能性があるかどうかを判定し得る。たとえば、活動認識モデル３４８は、ウィンドウに関する活動認識確率ベクトルのサイクリング成分をゼロにし（すなわち、すべてゼロに設定し）得るとともに、当該ウィンドウに関する活動認識確率ベクトルを１に再正規化し得ることで、当該ウィンドウに関連付けられる可能性が高い別の起こり得る活動が存在する場合に、活動認識モデル３４８は、その起こり得る活動を当該ウィンドウと関連付ける機会を有し得る。

【0150】

いくつかの実現例では、機械学習モデル３００は、目的関数３４５などの目的関数を最適化することによってトレーニングすることができる。たとえば、いくつかの実現例では、目的関数３４５は、トレーニングデータからモデルによって生成される出力データと、トレーニングデータに関連付けられたラベル（たとえば、正解データ（ground-truth）ラベル）とを比較する（たとえば、それらの間の差異を判定する）損失関数であり得るか、または当該損失関数を含み得る。たとえば、損失関数は、出力データとラベルとの間の二乗差の和または平均を評価し得る。いくつかの例では、目的関数３４５は、或る成果または出力データのコストを記述するコスト関数であり得るかまたは当該コスト関数を含み得る。目的関数３４５の他の例は、たとえば、三重項損失または最大マージントレーニングなどのマージンベースの技術を含み得る。

【0151】

目的関数３４５を最適化するために、さまざまな最適化技術のうちの１つ以上を実行することができる。たとえば、最適化技術は、目的関数３４５を最小化または最大化することができる。例示的な最適化技術として、ヘッセ（Hessian）ベースの技術および勾配ベースの技術、たとえば、座標降下、勾配降下（たとえば、確率的勾配降下）、劣勾配法などが含まれる。他の最適化技術として、ブラックボックス最適化技術およびヒューリスティック技術が含まれる。

【0152】

いくつかの実現例では、（たとえば、機械学習モデルが人工ニューラルネットワークなどの多層モデルである場合に）機械学習モデル３００をトレーニングするために、最適化技術（たとえば、勾配ベースの技術）と併せてエラーの逆伝搬を用いることができる。たとえば、機械学習モデル３００をトレーニングするために、伝搬およびモデルパラメータ（たとえば、重み）更新の反復サイクルを実行することができる。逆伝搬技術の例として、打ち切り型通時的逆伝搬（truncated backpropagation through time）、レーベンバーグ・マルカート（Levenberg-Marquardt）逆伝搬などが含まれる。

【0153】

いくつかの実現例では、本明細書で説明する機械学習モデル３００は、教師なし学習技術を用いてトレーニングすることができる。教師なし学習は、ラベル付けされていないデータから隠し構造を記述するための関数を推論することを含み得る。たとえば、分類またはカテゴリ化はデータに含まれていなくてもよい。教師なし学習技術を用いて、クラスタリング、異常検出、潜在的な変数モデルの学習、または他のタスクを実行することのできる機械学習モデルを生成することができる。

【0154】

機械学習モデル３００は、教師あり学習および教師なし学習の局面を組合わせた半教師あり技術を用いてトレーニングすることができる。機械学習モデル３００は、進化的技術または遺伝的アルゴリズムによってトレーニングまたは生成することができる。いくつかの実現例では、本明細書で説明する機械学習モデル３００は強化学習を用いてトレーニングすることができる。強化学習では、エージェント（たとえば、モデル）は、或る環境においてアクションを取ることができ、そのようなアクションに起因する報酬を最大化すること、および／または、そのようなアクションに起因するペナルティを最小化することを学習し得る。強化学習は、正しい入力／出力の対が提示されず、準最適アクションも明確に修正されないという点で、教師あり学習の問題とは異なり得る。

【0155】

いくつかの実現例では、機械学習モデル３００の一般化を向上させるために、トレーニング中に１つ以上の一般化技術を実行することができる。一般化技術は、トレーニングデータに対する機械学習モデル３００の過剰適合を低減させるのに役立ち得る。一般化技術の例には、ドロップアウト技術、重み減衰技術、バッチ正規化、早期停止、サブセット選択、段階的選択などが含まれる。

【0156】

いくつかの実現例では、本明細書で説明する機械学習モデル３００は、たとえば、学習速度、層の数、各層におけるノードの数、ツリーのリーフの数、クラスタの数などのいくつかのハイパーパラメータを含むかまたは当該いくつかのハイパーパラメータの影響を受ける可能性がある。ハイパーパラメータはモデル性能に影響を及ぼし得る。ハイパーパラメータは、手動で選択することができるか、または、たとえばグリッドサーチ、ブラックボックス最適化技術（たとえば、ベイズ（Bayesian）最適化、ランダムサーチなど）、勾配ベースの最適化などの技術を適用することによって自動的に選択することができる。自動ハイパーパラメータ最適化を実行するための例示的な技術および／またはツールには、Hyperopt、Auto-WEKA、Spearmint、メトリック最適化エンジン（Metric Optimization Engine：ＭＯＥ）などが含まれる。

【0157】

いくつかの実現例では、さまざまな技術を用いて、モデルのトレーニング時に学習速度を最適化および／または適合させることができる。学習速度最適化または適合化を実行するための例示的な技術および／またはツールは、Adagrad、適応モーメント推定（Adaptive Moment Estimation：ＡＤＡＭ）、Adadelta、RMSpropなどが含まれる。

【0158】

いくつかの実現例では、転移学習技術を用いて、本明細書で説明する機械学習モデル３００のトレーニングを開始するための初期モデルを提供することができる。

【0159】

いくつかの実現例では、本明細書で説明する機械学習モデル３００は、コンピューティングデバイス上のコンピュータ可読コードのさまざまな部分に含まれ得る。一例では、機械学習モデル３００は、特定のアプリケーションまたはプログラムに含まれ得るとともに、このような特定のアプリケーションまたはプログラムによって（たとえば排他的に）用いられ得る。このため、一例では、コンピューティングデバイスは、いくつかのアプリケーションを含み得るとともに、そのようなアプリケーションのうちの１つ以上は、それ自体のそれぞれの機械学習ライブラリおよび機械学習モデルを含み得る。

【0160】

別の例では、本明細書で説明される機械学習モデル３００は、コンピューティングデバイスのオペレーティングシステムに（たとえば、オペレーティングシステムの中央インテリジェンス層に）含まれ得るとともに、オペレーティングシステムと対話する１つ以上のアプリケーションによって呼出または使用され得る。いくつかの実現例では、各アプリケーションは、アプリケーションプログラミングインターフェイス（application programming interface：ＡＰＩ）（たとえば、すべてのアプリケーションにわたる共通の公衆ＡＰＩ）を用いて中央インテリジェンス層（およびそこに格納されたモデル）と通信し得る。

【0161】

いくつかの実現例では、中央インテリジェンス層は中央デバイスデータ層と通信することができる。中央デバイスデータ層は、コンピューティングデバイスのためのデータの集中型レポジトリであってもよい。中央デバイスデータ層は、たとえば、１つ以上のセンサ、コンテキストマネージャ、デバイス状態コンポーネント、および／または追加コンポーネントなどのコンピューティングデバイスのいくつかの他のコンポーネントと通信し得る。いくつかの実現例では、中央デバイスデータ層は、ＡＰＩ（たとえば、プライベートＡＰＩ）を用いて各デバイスコンポーネントと通信し得る。

【0162】

本明細書で説明される技術は、サーバ、データベース、ソフトウェアアプリケーション、および他のコンピュータベースのシステム、さらには、これらのようなシステムに対して取られるアクションや、これらのようなシステムに対して送受信される情報を参照する。コンピュータベースのシステムの固有の融通性は、コンポーネント間でのタスクおよび機能の多種多様で実現可能な構成、組合わせおよび分割を可能にする。たとえば、本明細書で説明するプロセスは、単一のデバイスもしくはコンポーネント、または、組合わせて機能する複数のデバイスもしくはコンポーネントを用いて実現され得る。データベースおよびアプリケーションは、単一のシステム上で実現され得るかまたは複数のシステムにわたって分散され得る。分散されたコンポーネントは連続的または並列に動作し得る。

【0163】

加えて、本明細書で説明される機械学習技術は、容易に置換え可能であるとともに組合わせ可能である。いくつかの例示的な技術を説明したが、他の多くの技術が存在しており、本開示の局面と併せて用いることができる。

【0164】

上記の説明に付け加えて、ユーザは、本明細書に記載されているシステム、プログラムまたは特徴がユーザ情報（たとえば、ユーザのソーシャルネットワーク、社会的行為もしくは社会活動、職業、ユーザの嗜好、またはユーザの現在位置）の収集を可能にし得るか否かおよびいつ可能にし得るか、ならびに、ユーザがサーバからコンテンツまたは通信を送信されるか否かについてユーザが選択を行うことを可能にする制御を提供されてもよい。加えて、特定のデータは、格納または使用される前に１つ以上の方法で処理されてもよく、その結果、個人を特定できる情報は取り除かれる。たとえば、ユーザのアイデンティティは、当該ユーザについて個人を特定できる情報を突き止めることができないように処理されてもよく、または、ユーザの地理的位置は、位置情報（市、郵便番号または州レベルなど）が得られる場合には、ユーザの特定の位置を突き止めることができないように一般化されてもよい。したがって、ユーザは、どのような情報がユーザについて収集されるか、当該情報がどのように使用されるか、およびどのような情報がユーザに提供されるかを制御し得る。

【0165】

図３Ｅは、例示的な機械学習モデルを示す概念図を示す。図３Ｅに示されるように、機械学習モデル３００は、８個の畳み込みブロック３５２Ａ～３５２Ｈ（「畳み込みブロック３５２」）と、それに続くボトルネック層３５４およびＳｏｆｔＭａｘ層３５６とを含む畳み込みニューラルネットワークであり得る。

【0166】

畳み込みブロック３５２の各々は、畳み込みフィルタと、それに続く正規化線形ユニット（rectified linear unit：ＲｅＬＵ）活性化関数および最大プーリング演算とを含み得る。畳み込みブロックの畳み込みフィルタは、最大プーリング演算からの空間分解能の低下を抑制するために、層ごとの容量を指数関数的に増加させ得る。図３Ｅに示されるように、機械学習モデル３００は、過剰適合を減らすためにドロップアウト正則化を実現し得る。

【0167】

入力３５０は、約１０秒にわたって２５ヘルツでサンプリングされるような２５６サンプルの三軸加速度計データであり得る。このため、畳み込みブロック３５２Ａの畳み込みフィルタは、入力３５０の２５６のサンプルを受け入れるための２５６の高さを有し得る。畳み込みブロック３５２Ａの畳み込みフィルタはまた、１２の深さを有し得る。畳み込みブロック３５２Ａは、２５６サンプル入力３５０から１２８サンプルの出力を生成し得る。

【0168】

畳み込みブロック３５２Ｂの畳み込みフィルタは、畳み込みブロック３５２Ａによって出力される１２８のサンプルを受け入れるために１２８の高さを有し得る。畳み込みブロック３５２Ｂの畳み込みフィルタはまた、１４の深さを有し得る。畳み込みブロック３５２Ｂは、畳み込みブロック３５２Ａから出力される１２８のサンプルから６４のサンプルの出力を生成し得る。

【0169】

畳み込みブロック３５２Ｃの畳み込みフィルタは、畳み込みブロック３５２Ｂによって出力される６４のサンプルを受け入れるために６４の高さを有し得る。畳み込みブロック３５２Ｃの畳み込みフィルタはまた、１７の深さを有し得る。畳み込みブロック３５２Ｃは、畳み込みブロック３５２Ｂから出力される６４のサンプルから３２のサンプルの出力を生成し得る。

【0170】

畳み込みブロック３５２Ｄの畳み込みフィルタは、畳み込みブロック３５２Ｃによって出力される３２のサンプルを受け入れるために３２の高さを有し得る。畳み込みブロック３５２Ｄの畳み込みフィルタはまた、２０の深さを有し得る。畳み込みブロック３５２Ｄは、畳み込みブロック３５２Ｃから出力される３２のサンプルから１６のサンプルの出力を生成し得る。

【0171】

畳み込みブロック３５２Ｅの畳み込みフィルタは、畳み込みブロック３５２Ｄによって出力される１６のサンプルを受け入れるために１６の高さを有し得る。畳み込みブロック３５２Ｅの畳み込みフィルタはまた、２５の深さを有し得る。畳み込みブロック３５２Ｅは、畳み込みブロック３５２Ｄから出力される１６のサンプルから８のサンプルの出力を生成し得る。

【0172】

畳み込みブロック３５２Ｆの畳み込みフィルタは、畳み込みブロック３５２Ｅによって出力される８のサンプルを受け入れるために８の高さを有し得る。畳み込みブロック３５２Ｆの畳み込みフィルタもまた、３０の深さを有し得る。畳み込みブロック３５２Ｆは、畳み込みブロック３５２Ｅから出力される８のサンプルから４のサンプルの出力を生成し得る。

【0173】

畳み込みブロック３５２Ｇの畳み込みフィルタは、畳み込みブロック３５２Ｆによって出力される４のサンプルを受け入れるために４の高さを有し得る。畳み込みブロック３５２Ｇの畳み込みフィルタはまた、３５の深さを有し得る。畳み込みブロック３５２Ｇは、畳み込みブロック３５２Ｆから出力される４のサンプルから２のサンプルの出力を生成し得る。

【0174】

畳み込みブロック３５２Ｈの畳み込みフィルタは、畳み込みブロック３５２Ｇによって出力される２のサンプルを受け入れるために２の高さを有し得る。畳み込みブロック３５２Ｈの畳み込みフィルタはまた、４３の深さを有し得る。畳み込みブロック３５２Ｈは、畳み込みブロック３５２Ｆから出力される２のサンプルから、ボトルネック層３５４に供給され得る出力を生成し得る。

【0175】

ボトルネック層３５４は、畳み込みブロック３５２の出力を平らにする、１６ユニットが完全に接続された層であり得る。完全に接続されたＳｏｆｔＭａｘ層３５６は、ボトルネック層３５４の出力を受信して、身体活動の複数のクラスの各々に対応する入力３５０のモーションデータの確率を判定し得る。たとえば、完全に接続されたＳｏｆｔＭａｘ層３５６は、ウォーキング中、ランニング中、サイクリング中、および静止状態である身体活動に関する確率分布などの身体活動の複数のクラスにわたる、合計して１となる浮動小数点数であり得る確率分布を判定し得る。したがって、完全に接続されたＳｏｆｔＭａｘ層３５６は、複数の身体活動に関する入力３５０のモーションデータの確率分布である出力３５８を生成し得る。

【0176】

図４は、本開示の１つ以上の局面に従った、身体活動のオンデバイス認識を実行し得るコンピューティングデバイスの例示的な動作を示すフロー図である。例示のみを目的として、図１のコンピューティングデバイス１１０の文脈で動作例を以下に説明する。

【0177】

図４に示されるように、コンピューティングデバイス１１０は、１つ以上のモーションセンサによって感知される動きに対応するとともに１つ以上のモーションセンサ、たとえば１つ以上のセンサコンポーネント１１４および／または１つ以上のセンサコンポーネント１０８によって生成されるモーションデータを受信し得る（４００）。コンピューティングデバイス１１０は、差分プライバシーでトレーニングされた１つ以上のニューラルネットワークを用いてオンデバイス活動認識を実行して、モーションデータに対応する身体活動を認識し得る（４０２）。コンピューティングデバイス１１０は、モーションデータに対応する身体活動を認識することに応答して、身体活動に関連付けられた動作を実行し得る（４０６）。

【0178】

本開示は以下の例を含む。
例１：方法は、１つ以上のモーションセンサによって感知される動きに対応するとともに当該１つ以上のモーションセンサによって生成されるモーションデータをコンピューティングデバイスによって受信するステップと、差分プライバシーでトレーニングされた１つ以上のニューラルネットワークを用いて、当該コンピューティングデバイスによってオンデバイス活動認識を実行して、当該モーションデータに対応する身体活動を認識するステップと、当該モーションデータに対応する当該身体活動を認識することに応答して、当該コンピューティングデバイスによって、当該身体活動に関連付けられた動作を実行するステップとを含む。

【0179】

例２：当該１つ以上のニューラルネットワークは、差分プライバシーフレームワークを用いて、かつ、当該１つ以上のニューラルネットワークのプライバシー保証が保持していない確率に境界を付けるデルタパラメータを用いてトレーニングされ、当該デルタパラメータは、当該１つ以上のニューラルネットワークのためのトレーニングセットのサイズの逆数に設定される値を有する、例１に記載の方法。

【0180】

例３：当該１つ以上のニューラルネットワークは、複数の身体活動に対応するモーションデータのトレーニングセットを用いてトレーニングされる、例１または２に記載の方法。

【0181】

例４：当該モーションデータのトレーニングセットは、制約なしのランダム回転で複数の方向に変換されている、例３に記載の方法。

【0182】

例５：当該モーションデータのトレーニングセットは、車両の運転中であるかまたは車両に乗車中であるユーザから生成されたものであり静止状態であると分類される複数のモーションデータを含む、例３または４に記載の方法。

【0183】

例６：当該モーションデータのトレーニングセットは、ラベル付けされていない自由生活モーションデータのラベル付けに少なくとも部分的に基づいて、予めトレーニングされた活動認識モデルによって生成される複数のモーションデータを含む、例３から５のいずれか１つに記載の方法。

【0184】

例７：当該ラベル付けされていない自由生活モーションデータのラベル付けに少なくとも部分的に基づいて当該予めトレーニングされた活動認識モデルによって生成される当該複数のモーションデータはさらに、モーションデータのウィンドウに対するモーションデータの隣接するウィンドウのコンテキストに基づいてサイクリングに対応するモーションデータの１つ以上の短いバーストを除去するために、当該ラベル付けされていない自由生活モーションデータにおいて当該モーションデータのウィンドウのデバウンシングを実行する当該予めトレーニングされた活動認識モデルによって生成されている、例６に記載の方法。

【0185】

例８：当該モーションデータのトレーニングセットは、ラベル付けされていない自由生活モーションデータにおけるモーションデータのウィンドウに関連付けられた平均加速度計の計測値に少なくとも部分的に基づいて、当該ラベル付けされていない自由生活モーションデータから選択された静止状態として分類された複数のモーションデータを含む、例３から７のいずれか１つに記載の方法。

【0186】

例９：当該身体活動を認識するために当該オンデバイス活動認識を実行するステップは、当該１つ以上のニューラルネットワークを用いて、複数の身体活動にわたる当該モーションデータの確率分布を判定するステップを含む、例１～８のいずれか１つに記載の方法。

【0187】

例１０：当該１つ以上のモーションセンサによって感知される当該動きに対応するとともに当該１つ以上のモーションセンサによって生成される当該モーションデータを受信するステップはさらに、当該コンピューティングデバイスによって、当該コンピューティングデバイスに通信可能に結合されたウェアラブルコンピューティングデバイスの当該１つ以上のモーションセンサによって生成される当該モーションデータを受信するステップを含み、当該モーションデータは、当該１つ以上のモーションセンサによって感知される当該ウェアラブルコンピューティングデバイスの動きに対応する、例１～９のいずれか１つに記載の方法。

【0188】

例１１：当該１つ以上のモーションセンサによって感知される当該動きに対応するとともに当該１つ以上のモーションセンサによって生成される当該モーションデータを受信するステップは、当該コンピューティングデバイスによって、当該コンピューティングデバイスの当該１つ以上のモーションセンサによって生成される当該モーションデータを受信するステップを含み、当該モーションデータは、当該１つ以上のモーションセンサによって感知される当該コンピューティングデバイスの動きに対応している、例１～１０のいずれか１つに記載の方法。

【0189】

例１２：コンピューティングデバイスは、メモリと、１つ以上のプロセッサとを含み、当該１つ以上のプロセッサは、１つ以上のモーションセンサによって感知される動きに対応するとともに当該１つ以上のモーションセンサによって生成されるモーションデータを受信し、差分プライバシーでトレーニングされた１つ以上のニューラルネットワークを用いてオンデバイス活動認識を実行して、当該モーションデータに対応する身体活動を認識し、当該モーションデータに対応する当該身体活動を認識することに応答して、当該身体活動に関連付けられた動作を実行するように構成される。

【0190】

例１３：当該１つ以上のニューラルネットワークは、差分プライバシーライブラリを用いて、かつ、当該１つ以上のニューラルネットワークのプライバシー保証が保持していない確率に境界を付けるデルタパラメータを用いてトレーニングされ、当該デルタパラメータは、当該１つ以上のニューラルネットワークのためのトレーニングセットのサイズの逆数に設定される値を有する、例１２に記載のコンピューティングデバイス。

【0191】

例１４：当該１つ以上のニューラルネットワークは、複数の身体活動に対応するモーションデータのトレーニングセットを用いてトレーニングされる、例１２または１３に記載のコンピューティングデバイス。

【0192】

例１５：当該モーションデータのトレーニングセットは、制約なしのランダム回転で複数の方向に変換されている、例１４に記載のコンピューティングデバイス。

【0193】

例１６：当該モーションデータのトレーニングセットは、ラベル付けされていない自由生活モーションデータのラベル付けに少なくとも部分的に基づいて、予めトレーニングされた活動認識モデルによって生成される複数のモーションデータを含む、例１４または１５に記載のコンピューティングデバイス。

【0194】

例１７：コンピュータ可読記憶媒体は命令を格納し、当該命令は、実行されると、コンピューティングデバイスの１つ以上のプロセッサに、１つ以上のモーションセンサによって感知される動きに対応するとともに当該１つ以上のモーションセンサによって生成されるモーションデータを受信させる命令と、差分プライバシーでトレーニングされた１つ以上のニューラルネットワークを用いてオンデバイス活動認識を実行して、当該モーションデータに対応する身体活動を認識させる命令と、当該モーションデータに対応する当該身体活動を認識することに応答して、当該身体活動に関連付けられた動作を実行させる命令とを含む。

【0195】

例１８：当該１つ以上のニューラルネットワークは、差分プライバシーライブラリを用いて、かつ、当該１つ以上のニューラルネットワークのプライバシー保証が保持していない確率に境界を付けるデルタパラメータを用いてトレーニングされ、当該デルタパラメータは、当該１つ以上のニューラルネットワークのためのトレーニングセットのサイズの逆数に設定される値を有する、例１７に記載のコンピュータ可読記憶媒体。

【0196】

例１９：当該１つ以上のニューラルネットワークは、複数の身体活動に対応するモーションデータのトレーニングセットを用いてトレーニングされる、例１７または１８に記載のコンピュータ可読記憶媒体。

【0197】

例２０：当該モーションデータのトレーニングセットは、制約なしのランダム回転で複数の方向に変換されている、例１９に記載のコンピュータ可読記憶媒体。

【0198】

１つ以上の例においては、記載されている機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組み合わせで実現され得る。ソフトウェアで実現される場合、これらの機能は、１つ以上の命令またはコードとして、コンピュータ可読媒体に格納されるか、またはコンピュータ可読媒体を介して送信されて、ハードウェアベースの処理ユニットによって実行されてもよい。コンピュータ可読媒体は、コンピュータ可読記憶媒体を含んでいてもよく、コンピュータ可読記憶媒体は、データ記憶媒体などの有形の媒体、または、たとえば通信プロトコルに従った１つの場所から別の場所へのコンピュータプログラムの転送を容易にする任意の媒体を含む通信媒体に対応する。このように、コンピュータ可読媒体は、一般に、（１）非一時的である有形のコンピュータ可読記憶媒体、または、（２）信号もしくは搬送波などの通信媒体に対応し得る。データ記憶媒体は、１つ以上のコンピュータまたは１つ以上のプロセッサによってアクセスされて、本開示に記載されている技術の実現のために命令、コードおよび／またはデータ構造を検索することができる任意の利用可能な媒体であってもよい。コンピュータプログラム製品はコンピュータ可読媒体を含んでいてもよい。

【0199】

限定ではなく一例として、このようなコンピュータ可読記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ－ＲＯＭもしくは他の光ディスクストレージ、磁気ディスクストレージ、または他の磁気記憶装置、フラッシュメモリ、またはその他の媒体を備えていてもよく、これらは、所望のプログラムコードを命令またはデータ構造の形式で格納するのに使用されることができ、コンピュータによってアクセスされることができる。また、任意の接続もコンピュータ可読媒体と呼ぶにふさわしい。たとえば、同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者線（ＤＳＬ）、またはワイヤレス技術（赤外線、無線およびマイクロ波など）を用いてウェブサイト、サーバまたは他のリモートソースから命令が送信される場合、同軸ケーブル、光ファイバケーブル、ツイストペア、ＤＳＬ、またはワイヤレス技術（赤外線、無線およびマイクロ波など）は媒体の定義に含まれる。しかしながら、コンピュータ可読記憶媒体およびデータ記憶媒体は、接続、搬送波、信号または他の一時的な媒体を含むのではなく、代わりに非一時的な有形の記憶媒体を対象とものであることが理解されるべきである。本明細書におけるディスク（「disk」および「disc」）は、コンパクトディスク（compact disc：ＣＤ）、レーザディスク、光ディスク、デジタル多用途ディスク（digital versatile disc：ＤＶＤ）、フロッピー（登録商標）ディスクおよびブルーレイディスクを含み、ｄｉｓｋは通常はデータを磁気的に再生するのに対して、ｄｉｓｃはレーザを用いてデータを光学的に再生する。上記の組み合わせもコンピュータ可読媒体の範囲内に含まれるべきである。

【0200】

命令は、１つ以上のプロセッサ、たとえば、１つ以上のデジタル信号プロセッサ（digital signal processor：ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブル論理アレイ（field programmable logic array：ＦＰＧＡ）、または他の等価の集積もしくは個別論理回路など、によって実行されてもよい。したがって、本明細書における「プロセッサ」という用語は、本明細書に記載されている技術の実現に適した上記の構造またはその他の構造のいずれかを意味し得る。加えて、いくつかの局面においては、本明細書に記載されている機能は、専用のハードウェアおよび／またはソフトウェアモジュール内で提供されてもよい。また、これらの技術は、１つ以上の回路または論理要素において完全に実現されてもよい。

【0201】

本開示の技術は、ワイヤレスハンドセット、集積回路（integrated circuit：ＩＣ）または一組のＩＣ（たとえば、チップセット）を含む多種多様なデバイスまたは装置において実現されてもよい。開示されている技術を実行するように構成されたデバイスの機能的局面を強調するためにさまざまなコンポーネント、モジュールまたはユニットが本開示に記載されているが、さまざまなハードウェアユニットによる実現を必ずしも必要とするわけではない。むしろ、上述のように、さまざまなユニットは、ハードウェアユニット内で組合わせられてもよく、または、好適なソフトウェアおよび／またはファームウェアとともに、上記の１つ以上のプロセッサを含む相互運用可能なハードウェアユニットの集合体によって提供されてもよい。

【0202】

実施形態に応じて、ここに説明された方法のうちのいずれかのうちの何らかの行為またはイベントが異なる順序で行なわれ得ること、追加されてもよいこと、併合されてもよいこと、または全て除外されてもよい（たとえば、説明された行為またはイベントがすべて、方法の実施に必要であるとは限らない）ことが認識されるべきである。さらに、いくつかの実施形態では、行為またはイベントは、順次ではなく、同時に、たとえばマルチスレッド処理、割込み処理、または複数のプロセッサにより行なわれてもよい。

【0203】

いくつかの例では、コンピュータ可読記憶媒体は非一時的な媒体を含む。いくつかの例では、「非一時的な」という語は、記憶媒体が搬送波または伝搬信号で具現化されないことを示す。いくつかの例では、非一時的な記憶媒体は、時間とともに変わり得るデータを（たとえばＲＡＭまたはキャッシュに）格納してもよい。いくつかの例は表示のためにさまざまな情報を出力するものとして説明されるが、この開示の技術は、ほんの数例を挙げると音声形式、ホログラフ形式、または触覚形式などの他の形式で、そのような情報を出力してもよい。

【0204】

本開示のさまざまな局面について説明してきた。これらのおよび他の局面は添付の特許請求の範囲内にある。

【図1】