特許 7504476 モバイル装置のユーザの認知状態を判定するための装置、方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-06-14

(45)【発行日】2024-06-24

(54)【発明の名称】モバイル装置のユーザの認知状態を判定するための装置、方法、及びプログラム

(51)【国際特許分類】

   G16H 50/20 20180101AFI20240617BHJP

   G06F 3/01 20060101ALI20240617BHJP

   G16H 50/30 20180101ALI20240617BHJP

【ＦＩ】

G16H50/20

G06F3/01 510

G16H50/30

【請求項の数】 15

(21)【出願番号】P 2021537524

(86)(22)【出願日】2019-09-04

(65)【公表番号】

(43)【公表日】2022-01-04

(86)【国際出願番号】 IB2019057436

(87)【国際公開番号】W WO2020049470

(87)【国際公開日】2020-03-12

【審査請求日】2022-05-09

(31)【優先権主張番号】18192686.6

(32)【優先日】2018-09-05

(33)【優先権主張国・地域又は機関】EP

(31)【優先権主張番号】19174607.2

(32)【優先日】2019-05-15

(33)【優先権主張国・地域又は機関】EP

【前置審査】

(73)【特許権者】

【識別番号】522138397

【氏名又は名称】アルトイダ インコーポレイテッド

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】タルナナス、イオアニス

(72)【発明者】

【氏名】ビューグラー、マクシミリアン

【審査官】梅岡 信幸

(56)【参考文献】

【文献】国際公開第２０１７／２２２９９７（ＷＯ，Ａ１）

【文献】米国特許出願公開第２００８／０２８０２７６（ＵＳ，Ａ１）

【文献】特開２０１８－０１５１３９（ＪＰ，Ａ）

【文献】特開２０１７－１８４９９６（ＪＰ，Ａ）

【文献】特表２０１４－５２３０４１（ＪＰ，Ａ）

【文献】特開２０１８－０３２１２０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ１６Ｈ １０／００－８０／００

Ｇ０６Ｆ ３／０１

(57)【特許請求の範囲】

【請求項1】

装置（１）のモバイル装置（２）のユーザの認知状態を判定するための装置（１）であって、
前記装置（１）は、モバイル装置（２）を備え、
前記モバイル装置（２）は、
前記モバイル装置（２）が置かれた環境の第１の視野方向（３．１）の画像を記録するために配置された第１のカメラ（３）と、
ユーザの少なくとも１つの特徴の画像であって、第２の視野方向（４．１）の画像を記録するための第２のカメラ（４）、及び／又は、音声信号を記録するためのマイクロフォン（１３）と、
前記ユーザに視覚情報を示すための視覚出力手段（５．１）と、
を有し、
前記装置（１）は、
前記環境内の前記モバイル装置（２）の位置経路を位置センサで特定する経路手段（６）と、
前記視覚出力手段（５．１）を介して前記ユーザに表示される拡張現実環境であって、前記第１のカメラ（３）によって取得された前記モバイル装置（２）の前記環境に基づいた前記拡張現実環境を用いて、前記拡張現実環境内に定義された少なくとも１つの目標位置に対応する前記モバイル装置（２）の前記環境内の位置に前記モバイル装置（２）を移動させるタスクを前記ユーザに解決させるために、前記視覚出力手段（５．１）を介して前記ユーザと対話するタスク手段（７、７’）と、
前記ユーザが前記タスクを解決する間に前記第２のカメラ（４）によって記録された前記画像、及び／又は、前記ユーザが前記タスクを解決する間に前記マイクロフォン（１３）において記録された前記音声信号における、前記ユーザの少なくとも１つの特徴を検出し、かつ、追跡するユーザ特徴手段（８、８’）と、
前記ユーザが前記タスクを解決する間に特定された前記モバイル装置（２）の前記位置経路と、前記ユーザの前記少なくとも１つの特徴とのユーザデータセットに基づいて、前記ユーザの前記認知状態を判定するための認知状態手段（９、９’）と、
をさらに備え、
前記認知状態手段（９、９’）は、認知状態が分かっている複数のユーザの各ユーザの状態と、前記認知状態手段（９、９’）に対して入力された前記複数のユーザの各ユーザの前記ユーザデータセットとに基づく機械学習によって取得された機械学習データに応じて、前記認知状態を判定する装置。

【請求項2】

前記第２のカメラ（４）は、前記ユーザが前記タスクを解決する間に、連続した画像を撮影し、
前記ユーザ特徴手段（８、８’）は、前記連続した画像内の前記ユーザの前記少なくとも１つの特徴を検出し、前記連続した画像内で検出された前記少なくとも１つの特徴の時系列を特定し、
前記認知状態手段（９、９’）は、前記ユーザの前記少なくとも１つの特徴の時系列にさらに基づいて、前記ユーザの認知状態を判定する請求項１に記載の装置。

【請求項3】

前記ユーザが前記タスクを解決する間に、前記第２のカメラ（４）によって記録された前記画像において検出され、かつ、追跡される前記ユーザの前記少なくとも１つの特徴が、前記ユーザの眼の瞳孔拡張を含む請求項１または２に記載の装置。

【請求項4】

サンプリング・ウィンドウは、時間の経過にそった複数のサンプリングステップを含み、前記経路手段（６）は、各サンプリングステップにおいて前記モバイル装置（２）の少なくとも１つの位置を記録し、
前記第２のカメラ（４）は、各サンプリングステップにおいて少なくとも１つの画像を記録し、
前記ユーザ特徴手段（８、８’）は、各サンプリングステップごとに、前記サンプリングステップにおいて前記第２のカメラ（４）によって記録された前記少なくとも１つの画像から前記ユーザの前記少なくとも１つの特徴を検出し、
前記認知状態手段（９、９’）は、各サンプリングステップごとに、該サンプリングステップにおいて検出された前記ユーザの前記少なくとも１つの特徴に基づくサンプリングポイントが含まれるサンプリング・ウィンドウ内の時系列と、該サンプリングステップにおいて特定された前記モバイル装置（２）の前記少なくとも１つの位置とに基づいて、前記ユーザの認知状態を判定する請求項１～３のいずれか１項に記載の装置。

【請求項5】

前記視覚出力手段（５．１）は、前記モバイル装置（２）の第１の側に配置されたディスプレイを備え、
前記第２のカメラ（４）は、前記モバイル装置（２）の第１の側に配置され、及び／又は、前記第２の視野方向（４．１）が前記ディスプレイの面の法線ベクトルと同じ方向に向けて配置され、
前記第１のカメラ（３）は、前記第１の側に対向する前記モバイル装置（２）の第２の側に配置され、かつ、前記第１の視野方向（３．１）が前記ディスプレイの面の法線ベクトルと反対の方向に向けて配置される請求項１～４のいずれか１項に記載の装置。

【請求項6】

前記タスク手段（７）は、前記視覚出力手段（５．１）を介して前記ユーザと対話して、前記ユーザを前記環境内で前記モバイル装置（２）と一緒に歩行させるように構成される請求項１～５のいずれか１項に記載の装置。

【請求項7】

前記タスク手段（７）は、前記拡張現実環境内の前記少なくとも１つの目標位置を定義し、
前記少なくとも１つの目標位置の各々に対して、前記拡張現実環境において前記各目標位置を探すように前記ユーザを招待するステップと、
前記ユーザが、前記少なくとも１つの目標位置が前記第１のカメラ（３）によって取得され、所定の条件で前記視覚出力手段（５．１）上に表示され得る前記環境内の位置に前記モバイル装置（２）を移動させたときに、前記各目標位置が拡張現実環境内で発見されたと見做されるステップとを実行するように構成された請求項１～６のいずれか１項に記載の装置。

【請求項8】

前記タスク手段（７、７’）は、前記モバイル装置（２）のユーザ入力に基づいて、前記拡張現実環境における前記少なくとも１つの目標位置を定義するように構成される、請求項７に記載の装置。

【請求項9】

前記少なくとも１つの目標位置は少なくとも２つの目標位置を含み、
前記タスク手段（７、７’）は、
前記各目標位置が前記拡張現実環境において定義及び／又は表示されると、前記少なくとも２つの目標位置の各々を、前記視覚出力手段（５．１）によって前記ユーザに出力される異なる特徴に関連付けられ、前記視覚出力手段（５．１）で１つの前記目標位置に関連付けられた前記特徴を出力することによって、前記ユーザは前記拡張現実環境における前記少なくとも２つの目標位置のうちの１つを探すように招待され、
前記少なくとも２つの目標位置のうちの１つが発見されたと見做された後に、前記ユーザが前記少なくとも２つの目標位置のうちの次の１つを探すように続いて招待されるように、前記ユーザを前記少なくとも２つの目標位置を探すために連続して招待する請求項７又は８に記載の装置。

【請求項10】

前記タスク手段（７、７’）は、前記タスクを解決している間、及び／又は前記少なくとも１つの目標位置の各々を探している間に、前記ユーザの注意をそらすための複数の刺激を、前記視覚出力手段（５．１）を介して与えるように構成される請求項１～９のいずれか１項に記載の装置。

【請求項11】

前記タスク手段（７、７’）は、前記タスクの解決すること、及び／又は、探索のために招待された前記各目標位置を探索することを続行する前に、前記各刺激の後にサブタスクを解決するように、前記ユーザに要求するように構成される請求項１０に記載の装置。

【請求項12】

ユーザ入力手段（１０）を備え、
前記タスク手段（７、７’）は、前記ユーザ入力手段（１０）を介して所定のユーザ入力を受信したときに、前記サブタスクが解決されたと見做す請求項１１に記載の装置。

【請求項13】

前記認知状態は、少なくとも１つの脳疾患又は脳損傷に関する健康状態である請求項１～１２のいずれか１項に記載の装置。

【請求項14】

請求項１～１３のいずれか１項に記載の装置のモバイル装置（２）のプロセッサ上で命令が実行されると、以下のステップを実行するように構成された前記命令を含む前記モバイル装置（２）のユーザの認知状態を判定するためのコンピュータプログラムであって、
前記モバイル装置（２）の前記第１のカメラ（３）であって、前記モバイル装置（２）の環境の第１の視野方向（３．１）の画像を記録するために前記モバイル装置（２）内に配置された前記第１のカメラ（３）によって取得された前記モバイル装置（２）の環境に基づく拡張現実環境であって、前記視覚出力手段（５．１）を介して表示された前記拡張現実環境を用いて、前記ユーザにタスクを解決させるために、前記モバイル装置（２）の前記視覚出力手段（５．１）を介して前記ユーザと対話するステップと、
前記ユーザが前記モバイル装置（２）で前記タスクを解決するときに実行された前記モバイル装置（２）の位置経路を受信するステップと、
前記ユーザが前記モバイル装置（２）で前記タスクを解決するときに、前記モバイル装置（２）の前記第２のカメラ（４）で記録された画像の少なくとも１つから抽出された少なくとも１つのユーザ特徴を受信するステップと、
前記モバイル装置（２）の前記受信された位置経路と、前記受信された少なくとも１つのユーザ特徴とに基づいて前記ユーザの前記認知状態を判定するステップとを実行するためのコンピュータプログラム。

【請求項15】

請求項１～１３のいずれか１項に記載の装置のモバイル装置（２）のユーザの認知状態を判定するための方法であって、
前記モバイル装置（２）は、前記モバイル装置（２）の前記視覚出力手段（５．１）を介して前記ユーザと対話して、前記モバイル装置（２）の前記第１のカメラ（３）であって、前記モバイル装置（２）の環境の第１の視野方向（３．１）に画像を記録するために前記モバイル装置（２）内に配置された前記第１のカメラ（３）によって取得された前記モバイル装置（２）の環境に基づく拡張現実環境であって、前記視覚出力手段（５．１）を介して表示された該拡張現実環境を用いて前記ユーザにタスクを解決させるものであり、
前記ユーザが前記モバイル装置（２）を用いて前記タスクを解決している間に、前記モバイル装置（２）によって実行される位置経路を特定するステップと、
前記ユーザが前記モバイル装置（２）を用いて前記タスクを解決している間に、前記モバイル装置（２）の前記第２のカメラ（４）であって、前記第２の視野方向（４．１）に画像を記録するために前記モバイル装置（２）内に配置された該第２のカメラ（４）を用いて画像を記録するか、及び／又は、前記ユーザが前記モバイル装置（２）を用いて前記タスクを解決している間に、前記モバイル装置（２）のマイクロフォン（１３）を用いて音声信号を記録するステップと、
前記記録された画像及び／又は音声信号に基づいて、時間の経過にそった少なくとも１つのユーザ特徴を判定するステップと、
前記モバイル装置（２）で特定された前記位置経路と、時間の経過にそった前記判定された少なくとも１つのユーザ特徴とに基づいて、前記ユーザの認知状態を判定するステップを備えた方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、モバイル装置のユーザの認知状態を判定するための装置、方法、及びコンピュータプログラムに関する。

【背景技術】

【0002】

認知状態、特に脳疾患又は脳損傷に関する健康状態の検出は、検出するのが困難である。それぞれの脳の病気や脳の損傷の症状を知っている専門の医師が必要である。その場合でも、人間の医師によるそのような健康状態の検出は、あまり客観的ではなく、しばしば誤りが起こりやすい。
ＷＯ２０１８／０８１１３４は、認知プラットフォームのコンピュータ化されたタスクを用いて個人の応答から収集されたデータを使用して、認知能力の指標としてパフォーマンス測定基準を導き出し、予測モデルを適用して神経変性状態の指標を生成するための装置を開示している。装置は、スマートフォン、タブレット、スレート、電子リーダー（ｅ-リーダー）、デジタルアシスタント、又は他の電子リーダーや、又は、ハンドヘルド、ポータブル、又はウェアラブルコンピュータ装置、又は、その他の同等のデバイスや、又は、ゲームコンソール、又はゲームのような要素をレンダリングするために使用できるその他のコンピューティングシステムや、ディスプレイが組み込まれたスマートグラス、ディスプレイが組み込まれたスマートゴーグル、又はディスプレイ内蔵のスマートヘルメットなどのヘッドマウントデバイスを含む、様々な異なるデバイスを採用することができる。いくつかの実装の例において、メインコンピュータとデスクトップディスプレイ（又はプロジェクターディスプレイ）を含むデスクトップコンピューティングシステムなどでは、システムは静止している場合があり、ユーザはキーボード、コンピュータのマウス、ジョイスティック、ハンドヘルドコンソール、リストバンド、又は有線又は無線通信を使用してメインコンピュータと通信するセンサーを備えたその他のウェアラブルデバイスを使用して、アプリプログラムに入力を提供する。

【0003】

近年、位置センサを備えたモバイル装置で、ユーザが保持しているモバイル装置の経路に基づいて健康状態を検出できることが示めされた。これは、驚くほど良好に機能し、ユーザの認知状態を客観的に検出することができた。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明の目的は、認知状態を検出するためのモバイル装置をさらに改善することである。

【0005】

この目的は、独立請求項による装置、方法、及びコンピュータプログラムによって解決される。

【0006】

モバイル装置の経路と組み合わせて、モバイル装置の第２のカメラで記録されたユーザ特徴を用いることで、認知状態の検出の質を大幅に改善する。

【課題を解決するための手段】

【0007】

本発明の一つの態様によれば、請求項１で特定されたように、モバイル装置のユーザの認知状態を判定するための装置が提供される。

【0008】

本発明の他の態様によれば、請求項１５で特定されたように、ユーザの認知状態を判定するための機械学習データを決定する方法が提供される。

【0009】

一実施形態では、本発明の課題は、装置／システムのモバイル装置のユーザの認知状態を判定するための装置／システムによって解決される。この装置／システムは、モバイル装置内にあるユーザに情報を提供するための出力手段であって、ユーザに情報を視覚的に与えるための出力手段である視覚出力手段と、モバイル装置内にあるモバイル装置の周囲の第１の視野方向の画像を記録するためのカメラと、周囲のモバイル装置の位置経路を決定するように構成された経路手段と、出力手段を介してユーザと対話して、カメラによって取得されたモバイル装置の周囲に基づいて、視覚出力手段を介して表示された拡張現実環境を用いて、ユーザにタスクを解決させるタスク手段と、ユーザがタスクを解決する間に決定されたモバイル装置の位置経路に基づいてユーザの認知状態を判定するための認知状態手段と、を備える。

【0010】

従属請求項は、本発明の更なる有利な実施形態を示す。

【0011】

一実施形態では、少なくとも１つのユーザ特徴が少なくとも１つのユーザの顔特徴を含む。ユーザの顔の特徴は、第２のカメラによって取得された画像において検出されたユーザの特徴の中からが特に有効である。

【0012】

一実施形態では更なるカメラが、ユーザがタスクを解決する間に連続した画像を撮るように構成され、ユーザ特徴手段は、連続した画像内のユーザの少なくとも１つの特徴を検出し、連続した画像内で検出された少なくとも１つの特徴の時系列を決定するように構成され、認知状態手段は、さらにユーザの少なくとも１つの特徴の時系列に基づいて、ユーザの認知状態を判定するように構成される。

【0013】

一実施形態では、サンプリング・ウィンドウが時間の経過にそった複数のサンプリングステップを含み、経路手段はモバイル装置の各サンプリングステップにおける少なくとも１つの位置を記録するように構成され、更なるカメラは各サンプリングステップにおいて少なくとも１つの画像を記録するように構成され、ユーザ特徴手段は、各サンプリングステップごとに、サンプリングステップにおいて更なるカメラによって記録された少なくとも１つの画像におけるユーザの少なくとも１つの特徴を検出するように構成され、認知状態手段は、サンプリングステップ毎に、このサンプリングステップにおいて検出されたユーザの少なくとも１つの特徴に基づいて、各サンプリングステップごとにサンプリングポイントを含むサンプリング・ウィンドウ内の時系列と、このサンプリングステップにおいて決定されたモバイル装置の少なくとも１つの位置とに基づいて、ユーザの認知状態を判定するように構成される。

【0014】

一実施形態では、サンプリング・ウィンドウが、モバイル装置が閾値よりも少なくとも１つの目標位置の近くにある時間ウィンドウに対応し、及び／又は少なくとも１つの目標位置が発見されたと見做される前のある期間又は経路長に対応する。好ましくは、サンプリング・ウィンドウが複数のサブウィンドウを含み、各サブウィンドウは（ただ１つの）定義された目標位置に対応し、各サブウィンドウは、モバイル装置が閾値よりも各サブウィンドウに対応する目標位置の近くに位置する時間ウィンドウに対応し、及び／又は、各サブウィンドウに対応する目標位置が発見されたと見做される前のある期間又は経路長に対応する。目標位置からの閾値距離は、好ましくは５メートル（ｍ）未満、好ましくは４ｍ未満、好ましくは３ｍ未満である。目標位置からの距離の閾値は、好ましくは０．５メートル（ｍ）より大きく、好ましくは１ｍより大きい。

【0015】

一実施形態では、視覚出力手段は、モバイル装置の第１の側に配置されたディスプレイを備え、更なるカメラは、モバイル装置の第１の側に配置され、及び／又は、第２の視野方向がディスプレイの面の法線ベクトルと同じ方向に向いて配置される。

【0016】

一実施形態では、カメラは、第１の側面に対向するモバイル装置の第２の側面上に配置され、及び／又は、第１の視野方向がディスプレイの面の法線ベクトルに対して反対の方向に向けて配置される。

【0017】

一実施形態では、モバイル装置は、ポータブルハンドヘルド装置である。

【0018】

一実施形態では、タスク手段が、拡張現実環境内の少なくとも１つの目標位置を定義し、少なくとも１つの目標位置の各々に対して以下のステップを実行するように構成される。拡張現実環境内の各目標位置を探すようにユーザを招待し、ユーザが、カメラによって取得された少なくとも１つの目標位置が所定の条件で視覚出力手段に表示された拡張現実環境内の位置にモバイル装置を移動させたときに、各目標位置が拡張現実環境で発見されたと見做される。

【0019】

一実施形態では、タスク手段が、モバイル装置のユーザ入力に基づいて、拡張現実環境における少なくとも１つの目標位置を定義するように構成される。

【0020】

一実施形態では、少なくとも１つの目標位置が少なくとも２つの目標位置を含み、タスク手段は、それぞれの目標位置が拡張現実環境において定義され及び／又は表示されるときに、出力手段によって少なくとも２つの目標位置の各々をユーザに出力される異なる特徴に関連付けるように構成され、出力手段で１つの目標位置に関連付けられた特徴を出力することによって、ユーザは拡張現実環境における少なくとも２つの目標位置のうちの１つを探すように招待されて、及び／又は、少なくとも２つの目標位置のうちの１つが発見されたと見做された後に、ユーザが少なくとも２つの目標位置のうちの次の１つを探すように続いて招待される。

【0021】

一実施形態では、タスク手段は、タスクを解決している間、及び／又は少なくとも１つの目標位置のそれぞれを探している間に、ユーザの注意をそらすための複数の刺激を出力手段を介して与えるように構成される。

【0022】

一実施形態では、タスク手段は、タスクを解決する前であって、及び／又は、探すために招待された各目標位置の探索を続行する前に、各刺激の後にサブタスクを解決するようにユーザに要求するように構成される。

【0023】

一実施形態では、ユーザ入力手段を備え、タスク手段はユーザ入力手段を介して特定のユーザ入力を受け付けると、サブタスクが解決されたと見做されるように構成される。

【0024】

一実施形態では、認知状態が少なくとも１つの脳疾患又は脳損傷に関する健康状態である。

【図面の簡単な説明】

【0025】

本発明は、例示であって、図面によって示される実施形態の説明を用いることで、より良く理解されるであろう。

【図1】ユーザの認知状態を判定するための装置の一実施形態の概略図を示す。

【図2】ユーザの認知状態を判定するための方法の実施形態の概略図を示す

【図3】機械学習データを決定する装置の一実施形態の概略図を示す。

【発明を実施するための形態】

【0026】

図１は、ユーザの認知状態を判定するための装置１の実施形態を示す。装置１は、モバイル装置２と、モバイル装置２内の第１のカメラ３と、モバイル装置２内の第２のカメラ４と、モバイル装置２内の出力手段５と、経路手段６と、タスク手段７と、ユーザ特徴手段８と、認知状態手段９とを備え、好ましくはユーザ入力手段１０と、マイクロフォン１３とを設ける。

【0027】

モバイル装置２は、好ましくはスマートフォンのようなハンドヘルドポータブル装置である。しかしながら、モバイル装置２は、ユーザが携帯可能な他の任意の装置であってもよい。例えば、装置は着用可能な装置、例えば、スマートウォッチのような（スマート）ブレスレット、グーグルメガネ（登録商標）のような（スマート）メガネ、又はユーザによって着用可能な他の任意の装置であってもよい。モバイル装置２は、１つの単一の装置で実現されてもよく、又は少なくとも２つの別個の装置で実現されてもよい。少なくとも２つの個々の装置は、例えば、ポータブルハンドヘルド装置（例えば、スマートフォン）、ブレスレット（例えば、スマートウォッチのようなスマートブレスレット）、眼鏡（例えば、拡張現実(ＡＲ）眼鏡）、又はユーザによって装着可能な他の任意の装置のうちの少なくとも２つにしてもよい。モバイル装置２、特にハンドヘルドポータブル装置は、第１の側面と、第１の側面とは反対側の第２の側面とを備える。モバイル装置２が少なくとも２つの別個の装置を備える場合、同じ別個の装置上の第１の側面とその反対側の第２の側面とに配置される。しかしながら、第１の側面が第１の別個の装置上にあり、第２の側面が第２の別個の装置上にあるようにしてもよい。

【0028】

装置１は、モバイル装置２から離れたところで計算処理を実現するために、別の装置１１を設けることができる。別の装置１１はデータ及び／又は結果をやりとりするために、モバイル装置２に接続するようにしてもよい。モバイル装置２と別の装置１１との間の接続はインターネットを介することが好ましいが、無線ＬＡＮ、携帯電話ネットワーク、他の無線通信プロトコル及び／又は他の通信技術を介してもよい。別の装置１１は、例えば、サーバであり、インターネット接続サーバが好ましく、及び／又はモバイル装置２からリモート接続が好ましい。しかしながら、別の装置１１は、モバイル装置２の環境に配置され、及び／又は、例えば、無線ＬＡＮ及び／又はＬＡＮ及び／又は他の無線通信プロトコルを介して接続されることも可能である。しかしながら、全ての計算処理がモバイル装置２において行われる場合は、別の装置１１はオプションであって必ずしも必要ではない。この場合、装置１が、モバイル装置２に対応する。

【0029】

出力手段５は、モバイル装置２のユーザに対して出力するように構成されている。

【0030】

出力手段５は、好ましくはモバイル装置２のユーザに視覚情報を示すための視覚出力手段５を備える。視覚出力手段５は、ディスプレイが好ましい。視覚出力手段５．１、特にディスプレイは、好ましくはモバイル装置２、特にモバイル装置の第２の側面に配置される。しかしながら、プロジェクタ（例えば、眼鏡のアイプロジェクタ）のような他の視覚出力手段５．１も可能である。視覚出力手段５．１は、ユーザが視覚出力手段５．１からの情報を出力視野方向から見ることができるようにモバイル装置２内に配置され、すなわち、ユーザが視覚出力手段５．１の方向に向くと、ユーザは、視覚出力手段５．１からの情報を見ることができる。

【0031】

一実施形態では、出力手段５が、ユーザに知らせるためのラウドスピーカのような音声出力手段５．２をさらに備える。

【0032】

入力手段１０は、ユーザ指示をモバイル装置２に入力するように構成されている。入力手段１０は、好ましくはモバイル装置２内に配置される。好ましくは、入力手段１０が視覚出力手段５．１上の位置を選択するための指示手段を含む。指示手段は、好ましくはモバイル装置２のディスプレイ上に配置されるタッチセンサである。つまり、ディスプレイとタッチセンサが、タッチスクリーンを構成する。しかしながら、指示手段は、マウス、トラックボール、ノブ、又は他の指示装置であってもよい。指示手段は、また、ＡＲ内の位置を示す手又は目の向き認識するものであってもよい。しかしながら、入力手段１０はマイクロフォン（例えば、ボイスコマンド用）又は他の任意の入力装置を含むこともできる。なお、入力手段１０のマイクロフォンは、後述するマイクロフォン１３に相当する。入力手段１０を設けることが好ましいが、必ずしも必要ではない。

【0033】

第１のカメラ３及び／又は第２のカメラ４は、周囲、好ましくはユーザが目で視認できる周囲にある特徴がある画像を記録するために、任意の適切なセンサであってもよい。好ましくは、第１のカメラ３及び／又は第２のカメラ４がユーザから見える環境を写した画像を記録するための光学カメラである。しかしながら、第１のカメラ３及び／又は第２のカメラ４は、他の任意のカメラ、例えば、３Ｄカメラ、ｔｉｍｅ－ｏｆ－ｆｌｉｇｈｔ（ＴｏＦ）カメラ、又は可視スペクトル以外の波長をカバーする光学カメラ（例えば、赤外線カメラ又は紫外線カメラ）などであってもよい。好ましくは、第１のカメラ３及び／又は第２のカメラ４は、デジタル画像センサ及び／又は（光学）レンズ（画像をデジタル画像センサ上に焦点を合わせるため）を備えたものである。

【0034】

第１のカメラ３は、モバイル装置２内に配置され、モバイル装置２の環境（周囲）の第１の視野方向３．１の画像が記録されるように配置され、及び／又は、第１のカメラ３の画像をＡＲの目的のために視覚出力手段５．１上に表示することができるように配置され、及び／又は、ユーザが視覚出力手段５．１の視覚情報を確認するために視覚出力手段５．１を見たときに、第１のカメラ３が現在記録している画像が視覚出力手段５．１上に表示されると、ユーザが視覚出力手段５．１の背後の環境の画像が視覚出力手段５．１上で見えるように配置される。このモバイル装置２の環境が第１のカメラ３によって取得され、視覚出力手段５．１によって（リアルタイムで）再生されると、これがＡＲ環境として定義される。このＡＲ環境は、他の情報によって拡張されてもよいが、拡張されなくてもよい。したがって、拡張された情報でデジタル化された環境に限定されるものではない。

【0035】

タスク手段７は、モバイル装置２のユーザと対話して（モバイル装置２を介して）、ユーザはモバイル装置２の周囲でモバイル装置２を移動させるように構成される。好ましくは、タスク手段７はモバイル装置２のユーザと対話して（モバイル装置２を介して）、ユーザにモバイル装置２を持ってモバイル装置２の周囲を歩かせるように構成される。タスク手段７は、ユーザに、モバイル装置２を持ってモバイル装置２の周囲を移動させる（特に、歩行する）タスクを与えることによって、モバイル装置２のユーザと対話（モバイル装置２を介して）するように構成される。一実施形態では、タスク手段７がユーザにタスクを解決させるために、及び／又はユーザにモバイル装置２をその環境内で移動させる（特に一緒に歩行する）ために、モバイル装置２のＡＲ環境を用いるように構成される。

【0036】

一実施形態では、このタスクは、（ＡＲ）環境内の少なくとも１つの定義された目標位置を探索又は発見することである。好ましくは、タスクは、ユーザがＡＲ環境において少なくとも１つの定義された目標位置を探すために、モバイル装置２を移動させる（特に、モバイル装置２と一緒に歩行する）必要がある。言い換えれば、ユーザは環境内のモバイル装置２を環境内の少なくとも１つの定義された目標位置に移動させ（特に、一緒に歩行する）、第１のカメラ３を少なくとも１つの定義された目標位置の方に向ける（その結果、定義された目標位置が視覚出力手段５．１上に現れる）必要がある。少なくとも１つの定義された目標位置のうちの１つが視覚出力手段５．１上に（おそらく少なくとも１つの条件で）現れ、及び／又はＡＲ環境上に（おそらく少なくとも１つの条件で）現れると、１つの定義された目標位置が発見されたと見做される。少なくとも１つの条件は、例えば、モバイル装置２及び／又は第１のカメラ３が閾値よりも定義された目標位置に近いこと、及び／又は、定義された目標位置が第１のカメラ３の所定の角度の視野範囲において記録されること、及び／又は、定義された目標位置の現在記録されている画像が目標位置を定義したときに記録された画像に対応することである。定義された目標位置が発見されたかどうかをチェックするために、多くの他の条件を設定することが可能である。少なくとも１つの定義された目標位置が、第１の定義された目標位置と第２の定義された目標位置を含む場合には、タスク手段７は、ユーザに第１の定義された目標位置を探させるために、モバイル装置２のユーザと対話するように構成される。ユーザが第１の定義された目標位置を発見すると、タスク手段７は、ユーザに第２の定義された目標位置を探させるようにモバイル装置２のユーザと対話するように構成される。したがって、タスク手段７は、ユーザが続いて少なくとも２つの定義された目標位置の各々を探させるように、モバイル装置２のユーザと対話するように構成される。少なくとも１つ以上定義された目標位置のうちの全てが発見されると、タスクは解決されたと見做される。

【0037】

好ましくは、ユーザが少なくとも１つの目標位置を記憶できるように、少なくとも１つの定義された目標位置の各々は、ＡＲ環境内でユーザに表示され、及び／又は、ＡＲ環境内でユーザよって定義される。ユーザが少なくとも１つの目標位置（の全て）を記憶した後、ユーザは少なくとも１つの定義された目標位置（の全て）を、次々と探すように招待されるのが好ましい。したがって、第１のフェーズでは、少なくとも１つの定義された目標位置（の全て）がユーザに表示されるか、又はユーザによって定義され、第２のフェーズでは第１のフェーズの後に、少なくとも１つの定義された目標位置の全てが上述のように発見される。

【0038】

好ましくは、少なくとも１つの定義された目標位置の各々は、ユーザが少なくとも１つの目標位置を記憶することができるように、ＡＲ環境においてユーザに表示される。これは、同時に行っても、続いて行ってもよい。ユーザが、少なくとも１つの定義された目標位置の全てを見て、及び／又はそれらを記憶した後、ユーザは、少なくとも１つの定義された目標位置の全てを、好ましくは次々と探すように招待される。したがって、第１のフェーズでは少なくとも１つの定義された目標位置（の全て）がユーザに表示され、第１のフェーズの後に続く第２のフェーズでは、少なくとも１つの定義された目標位置の全てが上述のように発見される。好ましくは、ユーザが対応する定義された目標位置と視覚化オブジェクトとが関連付けることができるように、少なくとも１つの定義された目標位置の各々が、（第１のフェーズにおいて）ＡＲ環境で定義された目標位置とユーザに表示された視覚化オブジェクトとが対応付けられる。好ましくは、第２のフェーズにおいて、少なくとも１つの定義された目標位置のうちのこの１つに対応付けられた視覚化オブジェクトを、視覚出力手段５．１上に表示するか、あるいは、出力手段５を介して指示することによって、ユーザは少なくとも１つの定義された目標位置のうちの１つを探すように招待される。好ましくは、第２のフェーズでは、ユーザは対応する定義された目標位置を記憶し、ユーザのモバイル装置２でそれを捜す必要があるように、指示がなくとも、視覚化オブジェクトに対応する定義された目標位置が表示される。好ましくは、タスク手段７は、環境に依存しないように構成され、すなわち、ユーザは現在いる任意の環境においてタスクを実行することができる。タスクを実行するために特別な環境は必要ではない。

【0039】

少なくとも１つの目標位置が、好ましくは第１フェーズにおいて、入力手段１０を介してユーザによって定義されるのが好ましい。少なくとも１つの目標位置が、ユーザからの指示手段を介して、ＡＲ環境における目標位置の指示を受信することによって、ユーザによって定義されるのが好ましい。しかしながら、モバイル装置２は、少なくとも１つの目標位置を定義する他の任意の入力を、入力手段１０を介して受信するようにしてもよい。例えば、目標位置は、入力手段１０を介してユーザの入力を受信すると、視覚出力手段５．１に現在表示されているＡＲ環境内に、タスク手段７によって（例えば、ランダムに）定義することができる。少なくとも１つの目標位置の各々がユーザによって定義されたときは、例えば、ＡＲ環境内の関連する視覚化装置に表示されることで、ユーザに示されるのが好ましい。

【0040】

タスク手段７は、ユーザがタスクを解決している間に、特に、ユーザが少なくとも１つの定義された目標位置の各々を探している間に、ユーザにサブタスクを解決させるために、携帯電話２を介してユーザと対話するように構成するのが好ましい。タスク手段７は、ユーザがタスクを解決している間、特に、ユーザが少なくとも１つの定義された目標位置の各々を探している間に、平均で、少なくとも１０秒、好ましくは少なくとも８秒毎、好ましくは少なくとも５秒毎、好ましくは少なくとも３秒毎、好ましくは少なくとも２秒毎にサブタスクを解決するように、ユーザを招待するように構成されることが好ましい。サブタスクへの招待は、定期的に又はランダムに行うことができる。サブタスクは、ユーザがタスクを解決することから注意をそらす必要がある。好ましくは、サブタスクは、モバイル装置２のタッチスクリーンを触りながら対話を行う。サブタスクの一例として、タスク手段７がサブタスクを解決するようにユーザを招待したときに、モバイル装置２のボタンをアクティブにすることであってもよい。好ましくは、ボタンは、視覚出力手段５．１に表示されるソフトボタンである。好ましくは、ユーザが入力手段１０の指示手段で、視覚出力手段５．２上に表示されるソフトボタンを指すと、サブタスクが解決される。これは、ユーザが（ＡＲ）環境からボタンに焦点を移して、指示手段によってボタンをアクティブにしなければならないので、タスクからユーザの注意をそらすことになる。ボタンをアクティブにするサブタスクは、単なる一例である。また、ユーザは、入力手段１０のマイクロフォンによって録音されたボイスコマンドを言うようにしてもよい。サブタスクを解決するための招待は例えば、音声出力手段５．２を介して出力される音声信号によるものであってもよい。しかしながら、（例えば、モバイル装置２の振動による）触覚信号のような他の招待も可能である。タスクがユーザを環境内でモバイル装置２を移動（特に一緒に歩行する）させ、一方、サブタスクが、ユーザをタスクから、つまりユーザが行っている移動から注意をそらすので、タスクとサブタスクとの組み合わせは特に有効である。この動きと注意をそらすようにすることとの組み合わせは、ユーザの認知状態を分析するために後で分析される。

【0041】

タスク手段７は、好ましくはモバイル装置２内に配置される。しかしながら、タスク手段７’を完全に又は部分的にモバイル装置２の外に、例えば別の装置１１に配置することもできる。

【0042】

経路手段６は、タスクの少なくとも一部が解決される間に、モバイル装置２の経路、特にモバイル装置２がたどる経路を決定するように構成される。経路は、（位置サンプリング・ウィンドウ内の）連続した位置ポイントである。位置ポイントは、モバイル装置２の１次元、２次元、又は好ましくは３次元の位置、及び／又は１次元、２次元、又は好ましくは３次元の向きを含む。したがって、位置ポイントは、１次元から６次元の間の次元とすることができる。好ましくは、位置ポイントは少なくとも３次元の位置を含む。位置、すなわち、位置及び／又は向きは、絶対値、つまり予め決まった位置から測定することも、又は、相対値、つまり決まっていない位置（例えば、各時点でそれぞれ測定された最初の位置ポイント又は１つ前の位置ポイント）から測定することも可能である。相対位置は、また、加速度計又はジャイロスコープにおいて通常行われるように、最後に測定されたサンプリング／位置又は慣性の加速ポイント（並進又は回転に関する）に対する位置の偏向から得る。

【0043】

経路手段６は、位置センサ６．１を備えることが好ましい。位置センサ６．１は、モバイル装置２の位置ポイントを測定するように構成される。位置センサ６．１は、好ましくは位置サンプリング・ウィンドウ内の連続した位置ポイントを測定するように構成される。位置サンプリング・ウィンドウは、タスクの少なくとも一部を解決するときの時間ウィンドウに対応する。位置サンプリング・ウィンドウ内で位置ポイントが記録された時点を、位置サンプリングポイントと呼ぶ。位置サンプリングポイントは、位置サンプリング周期を用いて測定する、及び／又は一定の位置サンプリングステップを用いて周期的に測定することができる。したがって、位置ポイントは、位置サンプリングポイントにおけるモバイル装置２の位置を与える。好ましくは、位置センサ６．１は、モバイル装置２の位置の変化を検出するための慣性測定ユニット（ＩＭＵ）である。位置センサ６．１及び／又はIＭＵは、好ましくは加速度計（モバイル装置２の位置変化を測定するため）及び／又はジャイロスコープ（モバイル装置２の方向変化を測定するため）を含む。ＩＭＵ測定値は、位置サンプルポイントに変換することも、又はＩＭＵによって測定された増分加速ポイントとして直接用いることができる。好ましくは、位置センサ６．１及び／又はＩＭＵが（地球の磁場に基づいて）モバイル装置２のアブソリュート・オリエンテーションを検出するための磁力計を備える。しかしながら、位置センサ６．１は、位置を検出するために他の手段を追加しても、又は他の手段を代わりに用いることもできる。例えば、三角測量センサなどである。三角測量センサは、衛星（例えば、ＧＰＳ）又は携帯電話基地局から送られてくる様々な信号に基づいて、位置を測定することができる。さらに、第１のカメラ３によって、位置センサ６．１を実現することも可能である。好ましくは、位置ポイントを、ＩＭＵと第１のカメラ３との組み合わせによって決定する。位置センサ６．１は、モバイル装置２内に配置されるのが好ましい。しかし、位置センサ６．１′の全て又は一部を、モバイル装置２の外部に配置することも可能であり、例えば、モバイル装置２から送信される信号に基づいて位置を検出するセンサであってもよい。

【0044】

経路手段６は、好ましくは経路装置を含む。経路手段６．２は、位置センサ６．１の測定値に基づいて経路を決定するように構成される。好ましくは、経路手段６．２がモバイル装置２内に配置される。経路手段６．２は、専用チップ（例えば、位置センサ６．１）及び／又は中央処理装置（ＣＰＵ）及び／又はモバイル装置２内の他の任意の処理ユニットで実現することができる。しかしながら、経路手段６．２を全て又は一部がモバイル装置２の外部に、例えばサーバ１１又は位置センサ６．１’と同じ装置に配置することもできる。

【0045】

モバイル装置２は、第２のカメラ４及び／又はマイクロフォン１３を備える。

【0046】

第２のカメラ４は、第２視野方向４．１の画像が記録されるように第２視野方向４．１に向いている。第２の視野方向４．１及び／又は第２のカメラ４の向きは、第２の視野方向４．１又は第１の視野方向３．１の反対（好ましくは、平行）の方向であり、及び／又は、視覚出力手段の出力視野方向１２と同じ方向になるようにする、及び／又は、第２のカメラ４によって記録された画像が、ユーザが視覚出力手段５．１を覗き込むと、ユーザがいる方向、特にユーザの顔がある方向に向くようになっている。すなわち、第２のカメラ４は、ユーザを視覚出力手段５．１から出力された映像を見ている位置にいるユーザを撮影する。第２のカメラ４は、ユーザがモバイル装置２によってタスク（の少なくとも一部）を解決している間に、ユーザを画像に記録するように構成される。第２のカメラ４は、画像サンプリング・ウィンドウ内の連続した画像を測定するように構成されるのが好ましい。画像サンプリング・ウィンドウは、タスク（の少なくとも一部）が解決されるときの時間ウィンドウに対応する。画像が画像サンプリング・ウィンドウに記録された時点を、画像サンプリングポイントと呼ぶ。画像サンプリングポイントは、画像サンプリング周期で測定する、及び／又は、２つの連続した画像サンプリングポイントの間の一定の画像サンプリングステップで周期的に測定することができる。つまり、画像は、画像サンプリングポイントにおけるモバイル装置２の画像を与える。

【0047】

マイクロフォン１３は、モバイル装置２の環境の音声信号を記録するように構成されている。ユーザがモバイル装置２でタスク（の少なくとも一部）を解決する間に、マイクロフォン１３はユーザの音声信号を記録するように構成される。マイクロフォン１３は、好ましくはオーディオ・サンプリング・ウィンドウ内の連続したオーディオポイントを測定するように構成される。オーディオ・サンプリング・ウィンドウは、タスク（の少なくとも一部）が解決されるときの時間ウィンドウに対応する。オーディオ・サンプリング・ウィンドウ内でオーディオポイントが記録された時点を、オーディオ・サンプリング・ポイントと呼ぶ。オーディオ・サンプリング・ポイントは、オーディオサンプリング周期で測定する、及び／又は、２つの連続したオーディオ・サンプリング・ポイント間の一定のオーディオサンプリングステップを用いて周期的に測定することができる。つまり、オーディオポイントは、オーディオ・サンプリング・ポイントにおけるモバイル装置２の周囲の音を表す。

【0048】

位置サンプリング・ウィンドウ、画像サンプリング・ウィンドウ及び／又は音声サンプリング・ウィンドウは、同一の時間ウィンドウが好ましいが、及び／又は部分的（だけ）に重なる時間ウィンドウであってもよい。しかし、あまり好ましくはない実施であるが、位置サンプリング・ウィンドウ、画像サンプリング・ウィンドウ、及び／又はオーディオ・サンプリング・ウィンドウが重ならない、すなわち、異なる時間ウィンドウで測定されたものでもよい。位置サンプリング・ウィンドウ、画像サンプリング・ウィンドウ、及び／又は音声サンプリング・ウィンドウは、途切れることがない時間ウィンドウに対応するのが好ましい。しかしながら、サンプリングが中断された時間ウィンドウを用いることもできる。位置サンプリング周期、画像サンプリング周期、及び／又は音声サンプリング周期は、同じであっても、異なっていてもよい。位置サンプリングポイント、画像サンプリングポイント、及び／又は音声サンプリングポイントは、同時であってもよいし、異なる時点であってもよい。位置サンプリング・ウィンドウ、画像サンプリング・ウィンドウ、及び／又はオーディオ・サンプリング・ウィンドウは、定義された閾値よりも、ユーザ／モバイル装置２が少なくとも１つの定義された目標位置に近い時間ウィンドウに対応するか、及び／又は、ユーザが少なくとも１つの目標位置の各々を発見する前の所定の期間又は経路長に対応する時間ウィンドウに、対応することが好ましい。タスクが、複数の定義された目標位置を含む場合は、位置サンプリング・ウィンドウ、画像サンプリング・ウィンドウ、及び／又はオーディオ・サンプリング・ウィンドウは、定義された目標位置のうちの１つにそれぞれ対応する連続するサブ時間ウィンドウに対応するのが好ましく、すなわち、各サブ時間ウィンドウは、定義された閾値よりも、ユーザ／モバイル装置２がこのサブ時間ウィンドウに対応する定義された目標位置に近い時間ウィンドウに対応するか、及び／又はユーザがサブ時間ウィンドウに対応する目標位置を発見する前のある期間又は経路長に対応する時間ウィンドウに対応する。

【0049】

ユーザ特徴手段８は、ユーザがタスクを解決する間に、マイクロフォン１３によって録音された音声信号、及び／又は、ユーザがタスクを解決する間に、更なるカメラ４によって記録された画像に基づいて、少なくとも１つのユーザ特徴を決定するように構成される。

【0050】

更なるカメラ４によって記録された画像に基づいて決定された少なくとも１つのユーザ特徴は、少なくとも１つのユーザの顔特徴であることが好ましい。したがって、ユーザ特徴手段８は、ユーザがタスクを解決する間に、記録された画像の少なくともいくつかの各々からユーザの顔を検出し、画像から検出された顔から少なくとも１つの顔特徴を検出するように構成される。顔の特徴の例として、瞳孔拡張、口形、目が開いている状態、眉の状態、視野方向などとすることができる。なお、記録された画像から他のユーザ特徴を検出することも可能である。第２のカメラ４によって記録された画像に基づいて決定された少なくとも１つのユーザ特徴は、ユーザの少なくとも１つの視認可能な特徴の動き、好ましくはユーザの少なくとも１つの顔特徴の動きであることが好ましい。したがって、ユーザ特徴手段８は、ユーザがタスクを解決する間に、記録された画像の少なくともいくつかについて、各々から身体、特にユーザの顔を検出し、検出された画像の顔から少なくとも１つの身体又は顔の特徴の動きを検出するように構成される。より好ましい実施形態では、瞳孔拡張が、第２のカメラ４によって記録された画像から抽出されたユーザ特徴として用いられる。タスクを解くときのユーザの瞳孔の大きさは、ユーザがタスクを解決するときに第２のカメラ４で撮影された画像から抽出される（ユーザがタスクを解決するときに、サンプルウィンドウの間に瞳孔の大きさが時系列で得られることになる）。瞳孔サイズは、片眼の瞳孔サイズ（１次元）、両眼の瞳孔サイズ（２次元）、両眼の瞳孔サイズの組み合わせ（１次元）、又は、ユーザの片眼又は両眼の瞳孔サイズから導出される他の計測値で構成することができる。瞳孔サイズは、ユーザの瞳孔サイズを基準として正規化することができる。瞳孔サイズの基準値は、例えば、ユーザの瞳孔サイズの平均、例えば、タスクがユーザに対して認知要求をしていない期間の瞳孔サイズの平均とすることができる。正規化された瞳孔サイズ及び／又は正規化された瞳孔サイズの変化が、例えば、瞳孔拡張のユーザ特徴として用いられ得る。

【0051】

マイクロフォンによって記録された音声信号に基づいて決定される少なくとも１つのユーザ特徴は、好ましくはユーザの口又は鼻で生成される音である。これは、例えば、ユーザの会話（発話）から抽出された特徴であってもよい。例えば、タスクがユーザに話をさせることがある。他の例では、例えば、息であってもよい。しかしながら、記録された音声信号から他のユーザ特徴を検出することも可能である。より好ましい実施形態では、発話の規則性をユーザ特徴として用いる。発話の規則性は、以下の発話パラメータの１つ又は組み合わせを評価することによって評価することができる。発話パラメータは、発話の音の振幅又はパワー（特定の周期、又は、全ての周期について）、発話の速度、単語間の休止、イントネーションなどである。次に、発話パラメータを正規化して、ユーザの基準発話パラメータとする。基準発話パラメータは、例えば、タスクがユーザに対して認知を要求していない期間の平均発話パラメータなどを、ユーザの平均発話パラメータとすることができる。正規化された発話パラメータの１つ又は組み合わせ、又は正規化された発話パラメータの変動／変動の１つ又は組み合わせを、ユーザ特徴として用いることができる。

【0052】

少なくとも１つのユーザ特徴は、画像又はマイクロフォンに基づいて、又はその両方に基づいて決定することができる。より好ましい実施形態では、少なくとも１つのユーザ特徴が、両方か、画像に基づいた少なく一つのユーザ特徴を少なくとも含んで決定される。より好ましい実施形態では、ユーザの特徴が、ユーザがタスクを解決している間に撮影された第２のカメラ４の画像から抽出された瞳孔拡張と、ユーザがタスクを解決している間にマイクロフォン５によって記録された音声信号から抽出された発話の規則性との組み合わせである。この組み合わされたユーザ特徴は、例えば、瞳孔拡張に関連する１次元以上と、発話の規則性に関連する１次元以上とを含む２次元以上の複数次元ベクトルとすることができる。

【0053】

一実施形態では、ユーザ特徴手段８は、ユーザがタスクを解決する間に、モバイル装置２の位置経路に基づいて、さらに少なくとも１つのユーザ特徴を決定するように構成される。好ましくは、少なくとも１つのユーザ特徴には、少なくとも１つの第１のユーザ特徴と少なくとも１つの第２のユーザ特徴が含まれる。少なくとも１つの第１のユーザ特徴は、ユーザがタスクを解決している間に更なるカメラ４によって記録された画像に基づくか、及び／又は、ユーザがタスクを解決している間にマイクロフォン１３によって記録された音声信号に基づいている。少なくとも１つの第２のユーザ特徴は、ユーザがタスクを解決する間のモバイル装置２の位置経路、及び／又はユーザがタスクを解決する間のマイクロフォン１３によって記録された音声信号に基づいている。しかしながら、位置経路によるユーザ特徴と、画像及び音声信号の少なくとも一方とで決まるユーザ特徴の組み合わせを決定することも可能である。モバイル装置２の位置経路に基づく少なくとも１つの（第２の）ユーザ特徴は、モバイル装置の位置の瞬間的な変動であってもよい。これは、例えば、この変動の周期であっても、他の任意の尺度であってもよい。

【0054】

好ましくは、ユーザ特徴手段８は、ユーザ特徴サンプリング・ウィンドウ内に連続したユーザ特徴ポイントを決定するように構成される。連続したユーザ特徴ポイントは、画像サンプリング・ウィンドウの画像ポイント及び／又はオーディオ・サンプリング・ウィンドウのオーディオポイントによって決められる。連続したユーザ特徴ポイントは、さらに位置サンプリング・ウィンドウの位置ポイントによって決めることができる。ユーザ特徴サンプリング・ウィンドウは、ユーザが上述のタスクを（少なくとも部分的に）解決する間の時間ウィンドウである。好ましくは、ユーザ特徴サンプリング・ウィンドウが、位置サンプリング・ウィンドウと、画像サンプリング・ウィンドウ及び音声サンプリング・ウィンドウの少なくとも一方とが、重なる時間ウィンドウに対応する。ユーザ特徴ポイントが関連付けられているタイムポイントを、ユーザ特徴サンプリングポイントと呼ぶ。

【0055】

ユーザ特徴手段８は、好ましくはモバイル装置２内に配置される。しかしながら、ユーザ特徴手段８’を、全て又は部分的にモバイル装置２の外部、例えば別の装置１１に配置することも可能である。

【0056】

モバイル装置２の移動だけでなく、タスクを解決する間のユーザの身体の他の特徴も、ユーザの認知状態を検出するのに有効であり役立つことが分かった。

【0057】

認知状態手段９は、ユーザがタスクを解決する間に決定されたモバイル装置２の位置経路と、ユーザがタスクを解決する間に決定された少なくとも１つのユーザ特性とに基づいて、ユーザの認知状態を判定するように構成される。認知状態手段９は、好ましくは、位置サンプリング・ウィンドウ内のモバイル装置２の位置経路（又は連続した位置ポイント）と、ユーザ特徴サンプリング・ウィンドウのユーザ連続した特徴ポイントとに基づいて、ユーザの認知状態を判定するように構成される。認知状態手段９は、好ましくは、測定サンプリング・ウィンドウ中の測定ポイントに基づいて、ユーザの認知状態を判定するように構成される。測定サンプリング・ウィンドウの測定ポイントは、測定／位置サンプリング・ウィンドウの間の位置経路と、測定／オーディオ／イメージ・サンプリング・ウィンドウの間に記録される画像及び／又は音声信号とによって決まる。測定サンプリング・ウィンドウの測定ポイントは、測定／位置サンプリング・ウィンドウの間の位置経路と、測定／ユーザ特徴サンプリング・ウィンドウの間に決定されたユーザ特徴とによって決まる。測定サンプリング・ウィンドウは、ユーザが上述のタスクを（少なくとも部分的に）解決する時間ウィンドウである。測定ポイントが関連付けられている時点を、測定サンプリングポイントと呼ぶ。測定サンプリングポイントは、測定サンプリング周期、及び／又は、２つの連続した測定サンプリングポイントの間に測定サンプリングステップを有している。ユーザ特徴ウィンドウのユーザ特徴ポイントが、位置サンプリング・ウィンドウの位置ポイントによって既に決まっている場合には、測定サンプリング・ウィンドウの測定ポイント及び／又は認知状態は、ユーザ特徴サンプリング・ウィンドウのユーザ特徴ポイントのみに基づいて決めることも可能である。したがって、認知状態手段９は、ユーザの認知状態を判定する入力を受け付ける。
認知状態手段９の入力は、
－ユーザがタスクを解決する間に決定されたモバイル装置２の位置経路と、ユーザがタスクを解決する間に決定された少なくとも１つのユーザ特徴
－位置サンプリング・ウィンドウ内のモバイル装置２の位置経路（又は、連続した位置ポイント）、及び／又はユーザ特徴サンプリング・ウィンドウの連続したユーザ特徴ポイント
－測定サンプリング・ウィンドウ内の測定ポイント
のいずれか１つ以上である。認知状態手段９は、入力データから１つ以上の特徴を抽出することができる。例えば、歩行速度、特に歩幅時間の変動は、ユーザ特徴と組み合わせて、認知状態を検出するモバイル装置２の位置経路から抽出することができる。歩行速度、又は歩行周期とも呼ばれるが、モバイル装置２の垂直方向の低周波の移動から抽出することができる。位置経路及び／又は位置経路データから直接抽出されたこれらの歩行速度及び／又は他の特徴は、ｔｖｅ状態を検出するために用いることができる。しかしながら、歩行速度は、よく知られているように特に有効である。もちろん、経路手段６における歩行速度を位置路情報として直接検出し、認知状態手段９が直接歩行速度に基づいて認知状態を検出することも可能である。さらに、ユーザ特徴手段８において歩行速度を検出することも可能である。

【0058】

決定された認知状態の結果は、好ましくは多数の別個の認知状態のうちの１つである。別個の認知状態が１つの認知特徴を指し、好ましくは別個の認知状態が、認知特徴の値又は強度に対応する。認知特徴又は認知状態が、好ましくはユーザの脳の健康状態に対応する。ユーザの脳の健康状態は、好ましくは１つの脳疾患又は１つの脳損傷を指す。このような脳疾患又は脳損傷の例として、アルツハイマー病及び／又は前臨床期アルツハイマー病理学的変化、前頭側頭型認知症、外傷性脳損傷、例えば脳震盪、パーキンソン病、手術後認知障害、後皮質萎縮、運動障害、神経変性障害、認知障害、うつ病がある。次いで、認知状態手段９は、少なくとも２つの別個の認知状態のうちの１つを出力するように構成される。少なくとも２つの別個の認知状態には、認知特徴が満たされていることを示す第１の別個の認知状態と、認知特徴が満たされていないことを示す第２の別個の認知状態とが含まれる。認知状態が健康状態である場合、第１の別個の認知状態（第１の別個の健康状態）は、ユーザが脳疾患又は脳損傷を有することを示し、第２の別個の認知状態（第２の別個の健康状態）は、ユーザが脳疾患又は脳損傷に関して健康であることを示す。ユーザが認知状態を満たすか及び／又は脳疾患もしくは脳損傷である一定のリスクを有していることを示す、少なくとも３分の１の別個の認知／健康状態が存在する可能性がある。

【0059】

認知状態は、好ましくは機械学習データにさらに基づいて決定される。機械学習データは、対応する第１の別個の認知状態に対して第１の条件セットが含まれる。認知状態手段９は、認知状態手段９の入力が第１の条件セットを満たすかどうかをチェックするように構成されるのが好ましい。この場合には、認知状態手段９は、ユーザが、第１の別個の認知状態の認知特徴を持っていると結論付ける。３つ以上の別個の認知状態がある場合、第３の別個の認知状態又は他の別個の認知状態であることを決定するために、他の条件セットをチェックするようにしてもよい。そうでない場合は、ユーザは第２の認知状態である。機械学習データは、複数のユーザのユーザ・データ・セットに基づく機械学習によって取得される。各ユーザのユーザ・データ・セットは、認知状態又は健康状態が分かっているユーザの状態とタスクを解決する間に認知状態手段９のために準備された入力とに対応する。好ましくは、機械学習データが決定木を含む。認知状態手段９は、決定木を通過するときにノード毎に決定木の次のどのノードに行くかを、ユーザ入力のデータに基づいて決定するように構成されている。ユーザのデータは、少なくともモバイル装置２の位置経路と、ユーザ特徴とを含む。ユーザのデータは、年齢、性別などのユーザデータをさらに含むようにしてもよい。決定木の条件、すなわち条件セットは、学習データに基づいて機械学習フェーズで学習される。一実施形態では、少なくとも１つのノードで、位置経路に基づいて少なくとも１つの特徴をチェックする。１つのノードは、例えば、（１つ以上のサブ期間中の）歩行速度の変化が（基準サブ期間中の）基準歩行速度の閾値を超えているかどうかをチェックするようにしてもよい。別のノードでは、サブ期間毎に同じ機能をチェックしてもよい。サブ期間は、ユーザがタスクを解決するときのサブ期間が好ましく、特に、ユーザの注意がタスクによってより多く要求されるサブ期間である。これらのサブ期間は、ユーザが探さなければならないオブジェクトに近づくときが好ましい。基準期間は、例えば、ユーザがタスクを解決している期間のサブ期間であり、特に、前述のサブ期間よりもタスクによって注意が必要になることが少ない期間である。別のノードは、位置経路の別の特徴、又は、歩行速度の平均、歩行速度の分散などの歩行速度の別の特徴をチェックするようにしてもよい。一実施形態では、少なくとも１つのノードが、ユーザ特徴に基づいて、好ましくは瞳孔拡張及び／又は発話の規則性に基づいて、少なくとも１つの特徴をチェックする。例えば、１つのノードは、ユーザ特徴（１つ以上のサブ期間）が基準ユーザ特徴（基準サブ期間）の閾値を超えるかをチェックするようにしてもよい。別のノードは、別のサブ期間で同じ機能をチェックしてもよい。別のノードは、ユーザ特徴の別の特徴の平均、別の特徴の分散などの、別の特徴をチェックしてもよい。

【0060】

好ましくは、ユーザの認知状態は、装置１から与えられる。好ましくは、ユーザの認知状態は、モバイル装置２の出力手段５を介して与えられる。

【0061】

認知状態手段９は、認知状態手段９の入力を受信するためにモバイル装置２と通信する別の装置１１に配置されるのが好ましい。最終的に、認知状態手段９は、決定されたユーザの認知状態をモバイル装置２に送信して、決定された認知状態を配信する。しかしながら、認知状態手段９’は、全て又は一部をモバイル装置２内に配置するようにしてもよい。

【0062】

タスク手段７によって提供されたタスクは、ユーザが注意を払うことが必要とされる。ユーザが注意を払っている間、すなわち、タスクを解決している間における、ユーザの動き、特に、経路手段６を用いて記録された歩行と、さらに、カメラ４、マイクロフォン５、及び／又はユーザ特徴手段８を用いて記録されたユーザ特徴は、ユーザの多くの様々な認知状態に対して信頼できるシンプルな指標となることが分かった。この経路手段６によって記録されたユーザの動きについては、既に分かっていたことである。しかしながら、ユーザ特徴手段８を用いて決定されたユーザ特徴も考慮することによって、結果が著しく改善された。

【0063】

図２は、ユーザの認知状態を判定するための実施形態を示す。

【0064】

ステップＳ１において、モバイル装置２は、タスクを解決させるためにユーザを招待する。この招待は、モバイル装置２によって開始されてもよい。これは、例えば、あるタスクを解決するためにモバイル装置の視覚出力装置５．１に表示されるメッセージによって実現することができる。あるいは、招待は、ユーザが、例えば、モバイル装置のアプリケーションを開くことによって、又はタスクを解決することを選択することによって開始され得る。上述の好ましいタスクでは、ユーザによって、少なくとも１つ（好ましくは少なくとも２つ）の定義された目標位置がモバイル装置２のＡＲ環境内に定義され、及び／又は、ユーザに対して、（少なくとも１つの対応する視覚化オブジェクトを介して）モバイル装置２のＡＲ環境内で表示される。次に、ユーザは少なくとも１つの定義された目標位置を（例えば、探すために定義された目標位置に対応する視覚化オブジェクトを表示することによって）探索／発見するために招待される。

【0065】

ステップＳ２において、モバイル装置２の経路が記録され、タスク（の少なくとも一部）が解決される。

【0066】

ステップＳ３において、タスク（の少なくとも一部）が解決される間に、第２のカメラ４の画像及び／又はマイクロフォン４の音声信号が記録される。ユーザの少なくとも１つのユーザ特徴が、タスク（の少なくとも一部）が解決される間に記録された画像及び／又は音声信号に基づいて決定される。

【0067】

ステップＳ１と、ステップＳ２の位置経路、ステップＳ３の画像及び／又は音声信号の記録とは、好ましくは同時に実行される（すなわち、ステップＳ２及びＳ３の少なくとも測定は、ステップＳ１と少なくとも一部は時間的に重なる）。

【0068】

ステップＳ４において、ステップＳ２で決定されたモバイル装置２の位置経路と、ステップＳ３で決定された少なくとも１つのユーザ特徴とに基づいた入力に基づいて、ユーザの認知状態が決定される。

【0069】

図３は、ユーザの認知状態を判定するための機械学習データを決定するための装置１００を示す。装置１００は、装置１の認知状態手段９に対して、上記で定義された入力を決定するための少なくとも１つの装置１０１を備える。したがって、装置１０１は、モバイル装置２００と、モバイル装置２内の第１のカメラ３として機能するモバイル装置２００内の第１のカメラと、モバイル装置２内の第２のカメラ４及び／又はマイクロフォン１３として機能するモバイル装置２００内の第２のカメラ及び／又はマイクロフォン１３と、モバイル装置２内の出力手段５として機能するモバイル装置２００内の出力手段５と、経路手段６として機能する経路手段６と、図１のタスク手段７として機能するタスク手段７と、図１のユーザ特徴手段８として機能するユーザ特徴手段８とを備え、好ましくは図１のユーザ入力手段１０として機能するユーザ入力手段１０を備え、認知状態手段９の代わりに入力準備手段１９又は１９’とを備える。入力準備手段は、装置１の認知状態手段９に入力される入力を準備するように構成される。入力は、ユーザがタスクを解決する間に特定されたモバイル装置の位置経路と、ユーザがタスクを解決する間に特定された少なくとも１つのユーザ特徴に基づいている。

【0070】

装置１０１は、好ましい２つの構成を持つ図１の装置１に対応する。図１に記載された、ユーザの認知状態を判定するための第１の構成。前の段落で説明したように、ユーザの入力を決定するための第２の構成。

【0071】

装置１００は、多数の（好ましくは異なる)ユーザの各々に対してユーザ・データ・セットを受信するように構成された機械学習データ手段１０９をさらに備える。ユーザのユーザ・データ・セットは、ユーザの認知状態と、ユーザがタスクを解決している間に少なくとも１つの装置１０１のうちの１つで生成された入力とを含む。機械学習データ手段１０９は、さらに、多数のユーザのためのユーザ・データ・セットに基づいて、各ユーザの入力に対する認知状態を判定するための機械学習データを決定するように構成される。一実施形態では、機械学習データ手段１０９が、全てのユーザについてユーザ・データ・セットを受信し、機械学習データを（１回だけ)決定する。一実施形態では、機械学習データ手段１０９が、１人又は他の所定の人数のユーザのユーザ・データ・セットを受信するたびに、機械学習データをアップデートするように構成される。この実施形態では、機械学習データが再帰的に決定される。好ましくは、機械学習データ手段１０９は、ユーザ・データ・セットに基づいて決定木の決定パラメータを決定するように構成される。機械学習データ手段１０９がブーストに基づいて機械学習データを決定するように構成されることが好ましい。

【0072】

機械学習データ手段１０９は、好ましくは別の装置１１に配置される。しかしながら、機械学習データ手段１０９は、（一部又は全てが)モバイル装置２００又は別の装置内にあってもよい。

【図1】

【図2】

【図3】