特許 6227107 常時オンカメラサンプリング法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6227107

(24)【登録日】2017年10月20日

(45)【発行日】2017年11月8日

(54)【発明の名称】常時オンカメラサンプリング法

(51)【国際特許分類】

   H04N 5/232 20060101AFI20171030BHJP

   H04M 1/00 20060101ALI20171030BHJP

【ＦＩ】

   H04N5/232

   H04M1/00 R

【請求項の数】33

【全頁数】23

(21)【出願番号】特願2016-500584(P2016-500584)

(86)(22)【出願日】2014年3月4日

(65)【公表番号】特表2016-512409(P2016-512409A)

(43)【公表日】2016年4月25日

(86)【国際出願番号】US2014020160

(87)【国際公開番号】WO2014149664

(87)【国際公開日】20140925

【審査請求日】2017年2月9日

(31)【優先権主張番号】13/843,201

(32)【優先日】2013年3月15日

(33)【優先権主張国】US

【早期審査対象出願】

(73)【特許権者】

【識別番号】507364838

【氏名又は名称】クアルコム，インコーポレイテッド

(74)【代理人】

【識別番号】100108453

【弁理士】

【氏名又は名称】村山 靖彦

(74)【代理人】

【識別番号】100163522

【弁理士】

【氏名又は名称】黒田 晋平

(72)【発明者】

【氏名】シャンカール・サダシヴァム

(72)【発明者】

【氏名】アシュウィン・スワミナサン

(72)【発明者】

【氏名】マヘシュ・ラマチャンドラン

【審査官】 藤原 敬利

(56)【参考文献】

【文献】 特開２００１−０３６８００（ＪＰ，Ａ）

【文献】 特開２００９−０４９９５２（ＪＰ，Ａ）

【文献】 特開２００３−１７９８９５（ＪＰ，Ａ）

【文献】 特開２０１０−１３５９８３（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２２２− ５／２３２

Ｈ０４Ｍ １／００

(57)【特許請求の範囲】

【請求項1】

常時オンカメラのセンササンプリングを適合的に調節する方法であって、
ユーザコマンドとは独立して、モバイルデバイスに関連付けられる1つまたは複数のセンサからの入力を使用して、前記モバイルデバイスのユーザの活動または前記モバイルデバイスの状態を含むコンテキスト情報を判定するステップと、
ユーザコマンドとは独立して、前記判定されたユーザの活動または前記判定されたモバイルデバイスの状態に基づいて、前記モバイルデバイスに通信可能に結合される複数のカメラから、前記常時オンカメラとして第1のカメラを選択するステップと、
前記選択された第1のカメラに、あるサンプリングレートでサンプリングさせるステップと、
前記第1のカメラを選択した後に、前記1つまたは複数のセンサからのセンサ入力に基づいて、前記モバイルデバイスの前記ユーザの状態を判定するステップと、
前記判定されたユーザの状態に基づいて、前記サンプリングレートを調整するステップを含む、方法。

【請求項2】

前記コンテキスト情報を判定するステップが、
前記モバイルデバイスの位置もしくは座標、
前記モバイルデバイスの前記ユーザに対する、前記モバイルデバイスの位置、
前記モバイルデバイスの前記ユーザが従事している活動、
前記モバイルデバイスの関連場所、または
前記モバイルデバイスの環境変化
の少なくとも1つを判定するステップを含む、請求項1に記載の方法。

【請求項3】

前記ユーザの前記状態が、前記ユーザの動作状態を含む、請求項1に記載の方法。

【請求項4】

前記動作状態が、
静止中、
歩行中、
走行中、
移動中、または
前記モバイルデバイスを操作中
の少なくとも1つを含む、請求項3に記載の方法。

【請求項5】

前記ユーザの前記状態を判定するステップが、前記ユーザが次の活動リスト、すなわち、会議中、電話中、一人でいる、テレビを見ている、娯楽中、読書中、筆記中、人と会っている、画面を見ている、プレゼンテーション中、食事中、買い物中、調理中、会話中、運動中、音楽を聞いている、および睡眠中から選択された少なくとも1つの活動に関与していることを判定するステップを含む、請求項1に記載の方法。

【請求項6】

前記サンプリングレートが、デフォルトレートを含み、
前記調整するステップが、他の場合には前記デフォルトレートに従ってサンプリングされることになる1つまたは複数のサンプルを抑制するステップを含む、
請求項1に記載の方法。

【請求項7】

前記センサ入力が、
前記第1のカメラ、
動作センサ、
光センサ、
配向センサ、
マイクロフォン、
ワイヤレス通信インターフェース、または
衛星受信機
の少なくとも1つからのデータを含む、請求項1に記載の方法。

【請求項8】

前記判定するステップが、前記1つまたは複数のセンサからのセンサ入力をクラスタ化するステップを含む、請求項7に記載の方法。

【請求項9】

建物案内図に基づいて、前記ユーザの前記状態を判定するステップをさらに含む、請求項1に記載の方法。

【請求項10】

前記モバイルデバイスによって実行されるカレンダーアプリケーションから受信された情報に基づいて、前記ユーザの前記状態を判定するステップをさらに含む、請求項1に記載の方法。

【請求項11】

メモリと、
前記メモリおよび1つまたは複数のセンサに結合される処理部と
を備え、前記処理部は、
ユーザコマンドとは独立して、前記1つまたは複数のセンサからの入力を使用して、モバイルデバイスのユーザの活動または前記モバイルデバイスの状態を含むコンテキスト情報を判定することと、
ユーザコマンドとは独立して、前記判定されたユーザの活動または前記判定されたモバイルデバイスの状態に基づいて、前記モバイルデバイスに通信可能に結合される複数のカメラから、カメラを選択することと、
前記選択されたカメラに、あるサンプリングレートでサンプリングさせることと、
前記カメラを選択した後に、前記1つまたは複数のセンサからのセンサ入力に基づいて、前記モバイルデバイスの前記ユーザの状態を判定することと、
前記判定されたユーザの状態に基づいて、前記サンプリングレートを調整することと
を含む機能を実行するように構成される、モバイルデバイス。

【請求項12】

前記処理部が、
前記モバイルデバイスの位置または座標、
前記モバイルデバイスの前記ユーザに対する、前記モバイルデバイスの位置、
前記モバイルデバイスの前記ユーザが従事している活動、
前記モバイルデバイスの関連場所、または
前記モバイルデバイスの環境変化
の少なくとも1つを判定することによって、前記コンテキスト情報を判定するように構成される、請求項11に記載のモバイルデバイス。

【請求項13】

前記処理部が、前記ユーザの動作状態を判定することによって、前記ユーザの前記状態を判定するように構成される、請求項11に記載のモバイルデバイス。

【請求項14】

前記処理部が、
静止中、
歩行中、
走行中、
移動中、または
前記モバイルデバイスを操作中
の少なくとも1つとして前記動作状態を判定するように構成される、請求項13に記載のモバイルデバイス。

【請求項15】

前記処理部が、前記ユーザが次の活動リスト、すなわち会議中、電話中、一人でいる、テレビを見ている、娯楽中、読書中、筆記中、人と会っている、画面を見ている、プレゼンテーション中、食事中、買い物中、調理中、会話中、運動中、音楽を聞いている、または睡眠中から選択された少なくとも1つの活動に関与していることを判定することによって、前記ユーザの前記状態を判定するように構成される、請求項11に記載のモバイルデバイス。

【請求項16】

前記サンプリングレートが、デフォルトレートを含み、
前記処理部が、他の場合には前記デフォルトレートに従ってサンプリングされることになる1つまたは複数のサンプルを抑制することによって、前記サンプリングレートを調整するように構成される、請求項11に記載のモバイルデバイス。

【請求項17】

前記カメラ、
動作センサ、
光センサ、
配向センサ、
マイクロフォン、
ワイヤレス通信インターフェース、または
衛星受信機
の少なくとも1つをさらに備える、請求項11に記載のモバイルデバイス。

【請求項18】

前記処理部が、前記1つまたは複数のセンサからのセンサ入力をクラスタ化することによって、前記ユーザの前記状態を判定するように構成される、請求項17に記載のモバイルデバイス。

【請求項19】

前記処理部が、建物案内図に基づいて、前記ユーザの前記状態を判定するようにさらに構成される、請求項11に記載のモバイルデバイス。

【請求項20】

前記処理部が、前記モバイルデバイスによって実行されるカレンダーアプリケーションから受信された情報に基づいて、前記ユーザの前記状態を判定するようにさらに構成される、請求項11に記載のモバイルデバイス。

【請求項21】

前記モバイルデバイスが、頭部装着型表示装置を含む、請求項11に記載のモバイルデバイス。

【請求項22】

前記モバイルデバイスが、モバイル電話を含む、請求項11のモバイルデバイス。

【請求項23】

ユーザコマンドとは独立して、モバイルデバイスに関連付けられる1つまたは複数のセンサからの入力を使用して、前記モバイルデバイスのユーザの活動または前記モバイルデバイスの状態を含むコンテキスト情報を判定するための手段と、
ユーザコマンドとは独立して、前記判定されたユーザの活動または前記判定されたモバイルデバイスの状態に基づいて、前記モバイルデバイスに通信可能に結合される複数のカメラからカメラを選択するための手段と、
前記選択されたカメラに、あるサンプリングレートでサンプリングさせるための手段と、
前記カメラを選択した後に、前記1つまたは複数のセンサからのセンサ入力に基づいて、前記モバイルデバイスの前記ユーザの状態を判定するための手段と、
前記判定されたユーザの状態に基づいて、前記サンプリングレートを調整するための手段
を備える、装置。

【請求項24】

前記ユーザの前記状態を判定するための前記手段が、
前記モバイルデバイスの位置もしくは座標、
前記モバイルデバイスの前記ユーザに対する、前記モバイルデバイスの位置、
前記モバイルデバイスの前記ユーザが従事している活動、
前記モバイルデバイスの関連場所、または
前記モバイルデバイスの環境変化
の少なくとも1つを判定するための手段を備える、請求項23に記載の装置。

【請求項25】

前記ユーザの前記状態を判定するための前記手段が、前記ユーザの動作状態を判定するための手段を備える、請求項23に記載の装置。

【請求項26】

前記ユーザの前記動作状態を判定するための前記手段は、前記ユーザが
静止中、
歩行中、
走行中、
移動中、または
前記モバイルデバイスを操作中
の少なくとも1つにあることを判定するための手段を備える、請求項25に記載の装置。

【請求項27】

前記ユーザの前記状態を判定するための前記手段が、前記ユーザが次の活動リスト、すなわち、会議中、電話中、一人でいる、テレビを見ている、娯楽中、読書中、筆記中、人と会っている、画面を見ている、プレゼンテーション中、食事中、買い物中、調理中、会話中、運動中、音楽を聞いている、または睡眠中から選択された少なくとも1つの活動に関与していることを判定するための手段を備える、請求項23に記載の装置。

【請求項28】

前記サンプリングレートが、デフォルトレートを含み、
前記サンプリングレートを調整するための前記手段が、他の場合には前記デフォルトレートに従ってサンプリングされることになる1つまたは複数のサンプルを抑制するための手段を備える、請求項23に記載の装置。

【請求項29】

前記カメラ、
動作センサ、
光センサ、
配向センサ、
マイクロフォン、
ワイヤレス通信インターフェース、または
衛星受信機
の少なくとも1つからの前記センサ入力を受信するための手段をさらに備える、請求項23に記載の装置。

【請求項30】

1つまたは複数のセンサからのセンサ入力をクラスタ化するための手段をさらに備える、請求項29に記載の装置。

【請求項31】

建物案内図に基づいて、前記ユーザの前記状態を判定するための手段をさらに備える、請求項23に記載の装置。

【請求項32】

前記モバイルデバイスによって実行されるカレンダーアプリケーションから受信された情報に基づいて、前記ユーザの前記状態を判定するための手段をさらに備える、請求項23に記載の装置。

【請求項33】

常時オンカメラのセンササンプリングを適合的に調節するための命令が埋め込まれたコンピュータ可読記録媒体であって、前記命令が、
ユーザコマンドとは独立して、モバイルデバイスに関連付けられる1つまたは複数のセンサからの入力を使用して、前記モバイルデバイスのユーザの活動または前記モバイルデバイスの状態を含むコンテキスト情報を判定するステップと、
ユーザコマンドとは独立して、前記判定されたユーザの活動または前記判定されたモバイルデバイスの状態に基づいて、前記モバイルデバイスに通信可能に結合される複数のカメラから、前記常時オンカメラとして第1のカメラを選択するステップと、
前記選択された第1のカメラに、あるサンプリングレートでサンプリングさせるステップと、
前記第1のカメラを選択した後に、前記1つまたは複数のセンサからのセンサ入力に基づいて、前記モバイルデバイスの前記ユーザの状態を判定するステップと、
前記判定されたユーザの状態に基づいて、前記サンプリングレートを調整するステップ
を行うためのコンピュータ実行可能コードを含む、コンピュータ可読記録媒体。

【発明の詳細な説明】

【背景技術】

【0001】

常時オンカメラとは、所与のサンプリングレートで画像を連続して取得することができるカメラ、または画像を取得するために常時利用可能なカメラであり、これらのカメラは、ライフログ、ジェスチャ識別/認識、屋内-屋外推定など、モバイルデバイスの様々なアプリケーションで使用することができる。モバイルデバイス(たとえば、モバイル電話、タブレット、頭部または身体装着型カメラ、頭部装着型またはヘッドアップ表示装置など)の処理能力および記憶能力は増大し続け、また、そのような常時オンカメラの潜在的な機能性もやはり同様に増大し続けている。しかし、常時オンカメラの所要電力は、他のセンサよりも高くなることがあり、また、常時オンカメラによって取得された画像の多くは、ほとんど、またはまったく価値がないものである。

【発明の概要】

【発明が解決しようとする課題】

【0002】

本発明の実施形態は、常時オンカメラを有効に使用するインテリジェントサンプリング法を提供することを対象とする。そのために、実施形態では、センサ情報を用いて、モバイルデバイスのユーザの状態を含めて、モバイルデバイスに関するコンテキスト情報を判定することができる。次いで、常時オンカメラのサンプリングレートは、そのコンテキスト情報に基づいて調整され得る。

【課題を解決するための手段】

【0003】

本明細書による、常時オンカメラのセンササンプリングを適合的に調節する例示的な方法は、カメラをモバイルデバイスと通信可能に結合させて、あるサンプリングレートでサンプリングさせるステップと、センサ入力に基づいて、モバイルデバイスのユーザの状態を判定するステップと、判定されたユーザの状態に基づいて、サンプリングレートを調整するステップとを含む。

【0004】

本開示による例示的なモバイルデバイスは、メモリと、メモリと結合された処理装置であって、カメラをモバイルデバイスに通信可能に結合させて、あるサンプリングレートでサンプリングさせる機能と、センサ入力に基づいて、モバイルデバイスのユーザの状態を判定する機能と、判定されたユーザの状態に基づいて、サンプリングレートを調整する機能とを含む機能を実施するように構成された、処理装置とを含む。

【0005】

本開示による例示的な装置は、カメラをモバイルデバイスと通信可能に結合させて、あるサンプリングレートでサンプリングさせるための手段と、センサ入力に基づいて、モバイルデバイスのユーザの状態を判定するための手段と、判定されたユーザの状態に基づいて、サンプリングレートを調整するための手段とを含む。

【0006】

本開示による例示的な非一時的コンピュータ可読媒体には、常時オンカメラのセンササンプリングを適合的に調節するための命令が埋め込まれている。これらの命令は、カメラをモバイルデバイスと通信可能に結合させて、あるサンプリングレートでサンプリングさせるため、センサ入力に基づいて、モバイルデバイスのユーザの状態を判定するため、かつ判定されたユーザの状態に基づいて、サンプリングレートを調整するためのコンピュータ実行可能なコードを含む。

【0007】

本明細書に記載の物品および/または技法は、次の能力の1つまたは複数、ならびに言及していない他の能力を提供することができる。本技法によって、電力効率の増大を実現することができ、その結果、常時オンカメラが配設されているモバイルデバイスのバッテリ寿命をより長くすることができる。本実施形態によってまた、ほとんど、またはまったく使用し得ないデータを低減させることによって、データ効率を高めることができる。上記およびその他の実施形態について、多くの利点および特徴とともに、下記の本文、および添付の図とともにより詳細に説明する。

【図面の簡単な説明】

【0008】

【図1】本明細書に開示の技法による常時オンカメラを利用することができる、様々なモバイルデバイスの実施形態の簡略図である。

【図2】常時オンカメラのサンプリングレートがどのように調整され得るかに影響を及ぼし得るコンテキスト判定において、本発明の実施形態がセンサ情報および他の情報をどのように使用することができるかを例示した簡略入出力図である。

【図3】いくつかの実施形態において、ジオフェンシング、関連場所(POR: place of relevance)に基づいたトリガ、および他の機能に使用することができる建物案内図の一部分を示す図である。

【図4】一実施形態によるモバイルデバイスの常時オンカメラのセンササンプリングを適合的に調節するためのプロセス400の流れ図である。

【図5】モバイルデバイスの一実施形態を示す図である。

【発明を実施するための形態】

【0009】

添付の図では、同様の構成要素および/または特徴には、同じ参照符号を付すことがある。さらに、同じ種類の様々な構成要素は、同様の構成要素同士を区別している参照符号の後にダッシュ、および第2の符号を付すことによって識別することができる。本明細書で第1の参照符号しか使用されていない場合、その説明は、第2の参照符号にかかわらず、同じ第1の参照符号を有する同様の構成要素のいずれにもあてはまる。

【0010】

図面を参照しながら以下で説明を行うものであり、図面全体を通して、同じ要素には同じ参照符号が使用されている。本明細書では、1つまたは複数の技法の様々な詳細について説明しているが、他の技法もやはり考えられ得る。いくつかの例では、様々な技法について説明しやすいように、構造およびデバイスがブロック図の形で示されている。

【0011】

本明細書で述べる「命令」とは、1つまたは複数の論理演算を表す式を指す。たとえば、命令は「機械可読」とすることができ、1つまたは複数のデータ対象物に対して1つまたは複数の演算を実行するように機械によって解釈可能である。しかし、これは、命令の単なる一例にすぎず、特許請求される主題は、この点において限定されるものではない。別の例では、本明細書で述べる命令とは、符号化されたコマンドを含むコマンドセットを有する、処理装置によって実行可能な符号化コマンドを指すこともある。そのような命令は、処理装置によって理解される機械言語の形で符号化することができる。ここでもやはり、これらは、命令の単なる例にすぎず、特許請求される主題は、この点において限定されるものではない。

【0012】

モバイルデバイスの常時オンカメラとは、ユーザが始動させる必要なく使用できる、一連の画像を定常的に供給することができるカメラである。本明細書に使用される場合、「常時オンカメラ」という用語は、字義通りにカメラを決してオフにすることができないことを意味するものではなく、また、字義通りにカメラが常時完全にオンであることを意味するものでもない。そうではなく、「常時オンカメラ」という用語は、長期間にわたって連続的に使用可能なカメラを説明するために使用するものである。そのような機能は、モバイルデバイスのバックグラウンドサービスとして供給することができ、ライフログ、ジェスチャ識別/認識、屋内-屋外推定など、モバイルデバイスによって実行可能な多種多様なアプリケーションのいずれにおいても使用することができる。この機能は、アプリケーション層に設けることができるが、さらに、またはその代わりにより低いレベルに設けてもよく、たとえばモバイルデバイスのオペレーティングシステム、デバイスドライバ、および/またはハードウェアに組み込んでもよい。モバイルデバイスの常時オンカメラは、常に画像を取得することによって、カメラ画像の要請を待ってからカメラで画像を取得するのではなく、アプリケーションが直近のカメラ画像を確実にほぼ常に使用できるようにする助けとなり得る。

【0013】

常時オンカメラを実装するときに起こり得る問題の1つとして、他の構成要素よりも電力消費が高いことがあり、このため、モバイルデバイスのバッテリ電力が急速に消耗することがある。たとえば、モバイル電話およびポータブルゲームシステムなどのモバイルデバイスに組み込まれた最新カメラでは、1画像の取得につき約70〜80mAを消費することがある。この比較的高い電力消費量が減少したとしても、常時オンカメラは、その取得する画像の容量のため、なおもモバイルデバイスにとって高い電力負担となり得る。したがって、本明細書に記載の技法は、常時オンカメラの効率を高めるインテリジェントサンプリング法を提供するものである。

【0014】

常時オンカメラは、多種多様なモバイルデバイスのいずれにも含め、かつ/または通信可能に結合させることができる。たとえば、図1は、常時オンカメラを使用することができる様々なモバイルデバイス100の実施形態の簡略図である。モバイルデバイス100には、モバイル電話100-1、タブレット100-2、および頭部装着型表示装置(HMD: head-mounted display)100-3が含まれる。図1には描かれていないが、パーソナル情報端末(PDA)、ノートブックコンピュータ、パーソナルメディアプレーヤ、ゲームデバイス、カメラ、ビデオレコーダなどの他のモバイルデバイスにもやはり、本明細書に開示の技法を使用することができ、ならびに、1つまたは複数の装着型デバイス(たとえば、ヘルメットカメラ、スポーツカメラなど)にも使用することができ、これらの装着型デバイスは、ユーザの身体にわたって分散配置することができる。複数のデバイス(たとえば、装着型デバイス)は、コンテキスト判定エンジンと通信可能に接続し、かつ/またはコンテキスト判定エンジンによって管理することができ、これについては図2に関連して下記でさらに詳細に説明する。さらに、モバイルデバイスのスタイル、寸法、機能、および/または他の特徴は、同種の異なるモバイルデバイス間で異なってもよい。当業者には、例示の構成要素の多くの改変形態が認識されよう。

【0015】

モバイルデバイス100は、モバイルデバイス100の多種多様な位置のいずれかに位置決めされた1つまたは複数のカメラ110を含むことができる。たとえば、モバイル電話100-1は、前向きカメラ110-1および/または後向きカメラ110-2を含むことができる。タブレット100-2はまた、前向きカメラ110-3、および/または追加のカメラ110-4を他の表面(たとえば側面および/または背面)に含むことができ、これらの追加のカメラは他の方向を向いていてよい。HMD100-3は、図示のようにHMD100-3の表示装置120間に配置された外向きカメラ110-5を有することができ、かつ/またはこの外向きカメラ110-5は、HMD100-3の別の位置に配置されてもよい。

【0016】

モバイルデバイス100のカメラ110はいずれも、またはすべて、所望の機能に依存して、常時オンカメラとして使用することができる。いくつかの実施形態では、常時オン機能に対処することができる特定の特徴(たとえば、広角、魚眼、低電力、低解像度など)を備えた常時オン機能専用の特定のカメラを使用することができるが、実施形態によっては、さらに、またはその代わりに多種多様のタイプのカメラ(たとえば、赤外、紫外、分光計、高解像度、前配向など)のいずれも常時オン機能用に使用してもよい。モバイルデバイス100が複数のカメラを含む実施形態では、どのカメラを常時オンカメラとして使用するかを選択することができ、かつ/またはある状況では異なるカメラ間で切り換えることができる。この機能に関するさらなる詳細について、以下で説明する。

【0017】

モバイルデバイス100の実施形態は、図1に示すモバイルデバイスとは実質的に異なってもよい。モバイルデバイス100に埋め込まれたカメラに加えて、またはその代わりに、実施形態によっては、カメラとは物理的に分離しているが、(たとえば、ワイヤレス技法またはワイヤード技法によって)カメラと通信可能に結合されたモバイルデバイスを含んでもよい。他のセンサもやはり、モバイルデバイス100とは物理的に分離していてもよいが、モバイルデバイス100と通信しており、したがってたとえばユーザの身体に接した、かつ/またはその周りの様々な位置に、カメラおよび/または他のセンサを分散配置することができる。

【0018】

図2は、常時オンカメラのサンプリングレートがどのように調整され得るかに影響を及ぼし得るコンテキスト判定において、本明細書に記載の実施形態が、センサ情報および他の情報をどのように使用することができるかを例示した簡略入出力図である。これらのコンテキスト判定は、たとえば、(図5に関して下記でさらに詳細に説明するように)モバイルデバイス100のソフトウェアおよび/またはハードウェアによって実行されるコンテキスト判定エンジン280によって行うことができ、かつ/またはモバイルデバイス100のより大型のソフトウェアおよび/またはハードウェアアプリケーションの一部としても、かつ/またはそこに組み込んでもよい。コンテキスト判定エンジン280は、コンテキスト判定を行うために、光センサ210(たとえば、環境光センサ、紫外(UV)センサ、UV-Aセンサ、UB-Bセンサ、赤-緑-青(RGB)センサなどが含まれ得る)、マイクロフォン220、動作/配向検出器230(たとえば、1つまたは複数のジャイロスコープ、磁力計(および/または別の種類のコンパス)、加速度計などが含まれ得る)、カメラ110、ワイヤレス通信インターフェース240(たとえば、2G、3G、4Gモデム、WiFi、ブルートゥース、ブルートゥースLE、WiMaxなどが含まれ得る)、衛星測位センサ250、および/または他のセンサ260(たとえば、高度計、近接センサ、圧縮撮像センサ、温度センサ、圧力センサ、触覚センサ、指紋センサなど)を含めて、様々な構成要素からデータを受け取ることができる。構成要素にはまた、地図270、動作モデル290、および/またはアプリケーションデータ295が含まれ得る。当業者には、図2に例示した構成要素に対する多くの改変形態が認識されよう。構成要素は、たとえば、追加しても、省略しても、組み合わせても、かつ/または別個としてもよい。所望の機能に依存して、構成要素をモバイルデバイス100に組み込んでも、かつ/またはモバイルデバイス100とは別個としてもよい(たとえば、前述のようにワイヤードおよび/またはワイヤレス接続を介して通信している)。

【0019】

1つまたは複数のカメラ110は、モバイルデバイス100に組み込んでも、かつ/または通信可能に結合させてもよい。さらに、カメラ110のいずれも、またはすべてを常時オンカメラとして指定してもよい。コンテキスト判定エンジン280は、この指定を行うことができる。コンテキスト判定エンジン280によるコンテキスト判定によって、常時オンカメラのサンプリングレートに影響を及ぼすことができるだけでなく、常時オンカメラ(および/または他のカメラ110)からの画像を、さらなるコンテキスト判定のために処理することもできる。

【0020】

本明細書に技法は、常時オンカメラのサンプリングレート(このサンプリングレートは、ソフトウェアアプリケーションおよび/またはハードウェアデフォルトによって選択された初期サンプリングレートでよい)の調整をもたらし得るコンテキスト判定を実現する。サンプリングレートは、多種多様なサンプリングレートのいずれにも調整され得る。たとえば、初期サンプリングレートは、4〜5秒ごとに1回のサンプリングでよい。しかし、あるコンテキスト判定では、サンプリングレートを1秒当たり30回のサンプリング(すなわち、30フレーム/秒(FPS)以上にまで増大させることができる。他の判定では、たとえばサンプリングレートを5分ごとに1回にまで低減させることも、かつ/またはサンプリングを完全に抑制することもできる。最終的には、コンテキスト判定は、サンプリングレートをゼロ(すなわちサンプリングなし)から、常時オンカメラのハードウェアおよび/またはソフトウェアの制約下で実現可能な最高レートまで実現することができる。さらに、またはその代わりに、以下でより詳細に説明するように、実施形態では、コンテキスト判定に基づいて、常時オンカメラを選択的にトリガすること、および/またはマルチカメラシステムのうちのあるカメラを選択的に起動させることができる。

【0021】

光センサ210は、能動的光センサ、RGBセンサ、紫外(UV)センサなど、多種多様な感光性センサのいずれも含むことができる。そのような光センサ210は通常、常時オンカメラよりもはるかに少量の電力しか消費せず、モバイルデバイス100のコンテキスト判定および/またはモバイルデバイスのユーザ判定に有用となり得る。たとえば、1つまたは複数の光センサ210を位置決めして、常時オンカメラが露出している光の強度を求めることができる。検出された光の強度が、ある閾値を下回る場合、コンテキスト判定エンジン280は、常時オンカメラがポケットまたはハンドバッグまたは暗室にあると判定することができ、その場合、常時オンカメラのサンプリングを低減させるか、または中止することができる。

【0022】

いくつかの実施形態は、常時オンカメラとして使用することができる複数のカメラ110を有してもよい。照明条件がカメラ位置によって変動し得、かつ1つまたは複数の光センサ210が、各カメラと対応して位置決めされる場合、コンテキスト判定エンジン180は、光センサ210からの光強度データに基づいて、複数のカメラ110のうちのいずれを常時オンカメラとして使用するかを決定することができる。

【0023】

さらに、またはその代わりに、コンテキスト判定エンジン280は、動作/配向検出器230、動作モデル290、および/または光センサ210を用いて、ユーザに対するモバイルデバイスの配置および/または常時オンカメラの位置(机上、またはユーザの手中、鞄、シャツポケット、パンツポケット、ホルスタ内など)を判定し、それに応じて常時オンカメラのサンプリングレートを調整することができる。たとえば、モバイルデバイスが、ポケット、鞄、ハンドバッグ、またはホルスタ内にあることが検出された場合、かつ/またはある閾値を下回る光に露出している場合、常時オンカメラの視野は妨げられることが多く、常時オンカメラのサンプリングレートを低減または停止させることができる。常時オンカメラの取得画像が、ユーザの生活の写真ログを自動的に収集するために使用されるライフログアプリケーションによって使用されるシナリオでは、夜間など、写真によって有益な情報がほとんど、またはまったく得られない場合、常時オンカメラがポケット、鞄内などにある場合に、この機能によって、不必要な画像取得を回避することができ、大幅な電力節約を実現することができる。動作/配向検出器230および/または動作モデル290はまた、コンテキスト判定エンジン280が、モバイルデバイス100を身に付け、かつ/または携えているユーザの状態を判定することを可能とすることができる。判定可能なユーザ状態は、所望の機能に基づいて異なり得る。例として、歩行中、走行中、運動中、移動中、および検出可能な動きおよび/または配向が含まれ得る他のそのような活動が含まれる。さらに、ユーザ状態は、常時オンカメラがどのように調整されるかに影響を及ぼし得る。たとえば、常時オンカメラは、ユーザ状態が、屋外での動きを示す場合(たとえば、ユーザの環境が頻繁に変わりがちな場合)、サンプリングレートを増大させるように構成することができる。一方、ユーザ状態が屋内での比較的非活動的な状態を示す場合は、コンテキスト判定エンジン280によって、常時オンカメラのサンプリング頻度を低減させることができる。

【0024】

コンテキスト判定エンジン280はまた、マイクロフォン220からのデータを用いて、ある音声活動および方向を検出することもできる。この検出を用いて、特定の活動(たとえば、会議または会話)が行われていることを判定することができる。この判定を用いて、たとえば音が検出された場合に、常時オンカメラのサンプリング頻度を調整させ、サンプリングを増大させることができる。

【0025】

モバイルデバイスが複数のカメラ110のうちのいずれも常時オンカメラとして使用することができる実施形態では、マイクロフォンデータから導出された音声方向性を用いて、音がどの方向から来ているのかを判定することができる。次いで、現在の音声活動の方向に基づいて、音の方向にほぼ面した対応するカメラを、画像を取得する常時オンカメラとして指定することができ、話者識別、感情、表情、音声活動に対応した視覚場面など、有益な視覚情報を保持することになる。マイクロフォン220は、音声方向性を判定する1つまたは複数の低電力マイクロフォン活動検出器を含むことができる。

【0026】

この機能は、たとえば、複数のカメラ110を備えたモバイルデバイス100がライフログアプリケーションを実行しているシナリオで使用することができる。会議のコンテキストでは、ユーザは、モバイルデバイス100をテーブル上の、コンテキスト判定エンジン280がマイクロフォン220および/または他の構成要素を用いて、ユーザ状態(たとえば、「会議中」)を判定することができる箇所に置き、そのユーザ状態に基づいて、マイクロフォン220の音声方向情報を活用し、どのカメラ110からサンプリングを行うかを決定し、かつ/またはカメラのサンプリングレートをどのように調整するか(たとえば、増大させる、または低減させる)を決定することができる。ユーザが自身のオフィスで勤務中である場合、コンテキスト判定エンジンは、音声データを用いて(たとえば、音声環境クラスタ化および/または他の音声分析技法を用いて)このユーザ状態(たとえば、「オフィス内で勤務中」)を判定することができ、そのユーザ状態に基づいて、音声環境に変化が観察されるまでサンプリングレートを低減させる、または常時オンカメラをオフにすることができる。

【0027】

コンテキスト判定エンジン280はまた、動作/配向検出器230からのデータを用いて、ユーザが従事し得る活動など(たとえば歩行中、走行中、移動中など)のコンテキスト情報を判定することができる。動作/配向検出器230からのデータは、動作モデル290と比較することができ、動作モデル290は、判定を行うための様々な活動および/またはユーザの他の状態をモデル化することができる。たとえば、感知された動作がある活動のモデル化された動作の類似閾値内である場合、コンテキスト判定エンジン280は、ユーザがその活動に従事していると判定することができる。いくつかの実施形態では、絶対的な動作識別器、または相対的な、もしくは完全な動作識別器などの識別器によってデータを処理することができ、あるいは歩数計モジュールもしくは機能によって処理してもよい。

【0028】

コンテキスト判定エンジン280は、速度、動作、および/または判定されたユーザおよび/またはモバイルデバイス100のコンテキスト(たとえば、ユーザ状態)に基づいて、常時オンカメラのサンプリングレートを調整することができる。たとえば、コンテキスト判定エンジン280が、ユーザが走っている、またはジャンプしているなど、比較的多量の動きを伴うある活動に従事していることを判定する場合である。したがって、コンテキスト判定エンジン280は、常時オンカメラからのサンプリングを低減または中止することができる。

【0029】

同様に、コンテキスト判定エンジン280は、動作/配向検出器230および/または位置情報(たとえば、衛星測位受信機250、測位情報および/または速度情報を提供することが可能なワイヤレス通信インターフェース240などを使用することによって判定することができる)から速度を推定することによって、ユーザがある速度で前進していると判定することができる。速度がある閾値を上回る場合、コンテキスト判定エンジン280は、常時オンカメラがサンプリングを行うことを低減または中止させて、ぼやけた画像を取得する可能性を低減させることができる。さらに、またはその代わりに、ユーザ状態の判定に速度を使用してもよく、次いでその判定を用いて常時オンカメラのサンプリングがどのように調整され得るかを判定することができる。

【0030】

コンテキスト判定エンジン280はまた、動作/配向検出器230からの配向情報を用い、1つまたは複数の他の構成要素と組み合わせて、感知された配向および/または動作に基づいて、常時オンカメラのサンプリングレートを調整するかを判定し、かつ/またはあるカメラを常時オン機能に指定することができる。たとえば、コンテキスト判定エンジン280は、常時オンカメラによって取得された前の画像が、ある使用ケースにとって情報価値がない(たとえば、空または天井の方を向いている)と判定され、モバイルデバイス100および/または常時オンカメラが、その後完全に静止している場合、常時オンカメラの画像取得を抑制することができる。

【0031】

ジオフェンシング、および関連場所(POR)に基づいたトリガもやはり、常時オンカメラのサンプリングレートに影響を及ぼし得るコンテキスト判定に使用することができる。図3は、ジオフェンシングおよび/またはPORに基づいたトリガに使用することができる建物案内図300の一部分を例示した図である。いくつかの実施形態では、建物案内図300は、建物サーバによって、屋内配置および/または他の目的で供給することができる。任意選択で、モバイルデバイス100は、インターネットなどのデータ通信ネットワークから地図をダウンロードしてもよい。建物案内図300および/または他の地図は、図2に示す地図270に含めることができ、これらの地図は、モバイルデバイスのメモリに少なくとも部分的に記憶させることができる。建物案内図300は、非限定的な一例として示されていることを理解されたい。本明細書で説明するジオフェンシングおよび/またはPOR機能は、建物案内図の他に多種多様なタイプの地図のいずれも使用することができる。

【0032】

ジオフェンシングに建物案内図を使用した一実施形態では、コンテキスト判定エンジン280によって、建物案内図300とともに、衛星測位センサ250、動作/配向検出器230からのセンサデータ、および/または他のセンサデータを用いて、ユーザがある場所にいることを判定することができ、この判定によって、常時オンカメラのサンプリングレートを増大させるか、それとも低減させるかに影響を及ぼすことができる。案内図300のある場所を、ユーザ活動を示す情報または他のコンテキスト情報で「タグ付け」する(すなわち、関連付ける)ことができ、このタグ付けによって、常時オンカメラをサンプリングする頻度に影響を及ぼすことができる。たとえば、化粧室320および/または会議室310をタグ付けすることができ、したがってモバイルデバイスがこれらの場所のいずれかに位置していると判定された場合に、コンテキスト判定エンジン280が、あるユーザ活動を推定することなどが可能となる。そのような用途が特化された他の場所(たとえば、カフェテリア、劇場、車庫、寝室、エレベータなど)もやはり、タグ付けして、あるユーザ活動を暗示することができる。

【0033】

いくつかの場所によっては、常時オンカメラのサンプリングレートを明らかに比較的高くする必要があり、または比較的低くする必要がある場合もある。たとえば、サンプリングレートは、画像取得が禁止または阻止され得る浴室、寝室、高セキュリティ領域、および/または他の場所では低減/中止させることができる。一方、ユーザおよび/またはアプリケーションが画像取得を比較的高いレートで行いたいテーマパークおよび/または他の場所などのあるPORでは、常時オンカメラのサンプリングレートを増大させることができる。ユーザは、所望の機能に依存して、PORの境界を画定することができ、かつ/またはあるPORを、サンプリングレートの選択に影響を及ぼし得る情報でタグ付けすることができる。いくつかの実施形態では、コンテキスト判定エンジン280は、常時オンカメラが写真を撮影するのを阻止または防止することができるプライバシ設定を維持することができ、かつ/またはその設定にアクセスすることができる。いくつかの実施形態では、これらの設定は、ユーザによって行うことができる。実施形態によってはまた、ユーザがプライベート領域またはセキュリティ領域に入るとモバイルデバイス100によって警告(たとえば、音声、振動、表示装置上の指示など)を与えることができ、常時オンカメラは画像取得を停止することになる。ユーザがプライベート領域またはセキュリティ領域から出て、常時オン中メラが画像取得を再開したときに、同様の警告をさらに、またはその代わりに与えてもよい。

【0034】

常時オンカメラによる画像を含めて、カメラ110からの画像データおよび/または他の情報は、コンテキスト判定エンジン280によって用いて、常時オンカメラの画像取得をデューティサイクル化および/または時間差化することができる。画像処理技法を、カメラ110からの1つまたは複数の画像に用いて動きを検出することができ、こうした動きは、モバイルデバイスの周囲に変化があること、またはある活動が行われていることを示し得る。たとえば、連続して取得された画像の変化から動きを検出することができる。たとえば、カメラが、最後に取得した2つの画像間で動きが検出されない光景に面している場合、コンテキスト判定エンジン280は、モバイルデバイス100のコンテキストは静止している、またはユーザの状態が、ユーザの環境にごくわずかな変化しか生じない活動しか含まないと判定することができ、その場合、コンテキスト判定エンジン280は、指数バックオフ型デューティサイクリングを実装して、電力消費量を低減させることができる。

【0035】

さらに、またはその代わりに、モバイルデバイスが複数のカメラを有する場合、モバイルデバイスは、カメラを循環させる(各カメラからの取得を時間差にする)、または全カメラからの取得を同期させることができる。たとえば、常時オンカメラからの画像が、カメラの視野内で動きがほとんど、またはまったく生じないことを示す場合、コンテキスト判定エンジン280は、カメラ110のうちの別のものを常時オンカメラとして指定し、動き(および/または他の何らかのトリガ)が検出されるまで、モバイルデバイス100のあるカメラ110から次のカメラへと順に交替させていくことができる。いくつかの実施形態では、コンテキスト判定エンジンは、任意選択で、カメラ110を同期させて、画像を同時に、またはほぼ同時に取得することができる。

【0036】

コンテキスト判定エンジン280は、ワイヤレス通信インターフェース240をさらに用いて、常時オンカメラのサンプリングレートに影響を及ぼし得るコンテキスト判定を行うことができる。ワイヤレス通信インターフェース240は、近距離通信(NFC: near-field communication)信号、IEEE 802.11(たとえば、WiFi)、ブルートゥース(BT)、ブルートゥース低エネルギー(BT-LE)などのワイヤレス信号の存在を検出することができる。ワイヤレス信号の変化は、ワイヤレスデバイスの存在および/または不在を含めて、モバイルデバイスの環境および/または場所の変化を示すことができる。例として、モバイルデバイス近傍のブルートゥースデバイスの台数の変化は、新しいデバイスおよび/または新しい人々が出入りしたことを示すことになる。また、デバイスの台数が変化する頻度は、環境の動性(dynamism)を示し得る(たとえば、ショッピングモールは家と比較してより多くの変化が生じ得る)。ワイヤレス信号のこの変化をトリガとして用いて、常時オンカメラのサンプリングレートを調整することができる。すなわち、そのようなワイヤレストリガは、モバイルユーザのすぐ近傍が変化したことを意味し得、したがって常時オンカメラのサンプリングレートを増大させることができる。ワイヤレス通信インターフェース240はさらに、またはその代わりに、たとえば、モバイルデバイス100があるワイヤレス技法から別の技法に使用を切り換えた場合、無線アクセス技術(RAT: radio access technology)スイッチを用いて、ワイヤレス信号の変化を判定することができる。

【0037】

コンテキスト判定エンジン280は、モバイルデバイス100によって実行される1つまたは複数のアプリケーションから得られたアプリケーションデータ295をさらに使用することができ、このデータはユーザの状態を示すことができる。そのようなデータには、それだけに限られるものではないが、カレンダー情報、位置情報、ソーシャルメディアステータスの更新などが含まれ得る。たとえば、カレンダーアプリケーションからの情報は、ユーザが会議中(またはその見込み)であることを示すことができる。判定されたそのユーザ状態に基づき、コンテキスト判定エンジンは、それに応じてカメラのサンプリングレートを調整する選択をして、適正な量の視覚情報が確実に取得される助けとなることができる。アプリケーションデータは、アプリケーション機能に基づいて実質的に変動しもよい。

【0038】

再度図3を参照すると、ジオフェンシングおよび/またはPOR関連情報の供給に加えて、建物案内図300(または部屋、中庭などの他の種類の地図)を用いて、常時オンカメラの視野に何が映り得るのか(たとえば、壁、天井、窓の外、舞台などを見ている)を判定することができ、それによってのそのサンプリングレートに影響を及ぼすことができる。たとえば、建物案内図300を配向および/または位置情報とともに使用することによって、コンテキスト判定エンジン280は、モバイルデバイス100が、部屋310内にあり、常時オンカメラが壁313に面していると判定することができる。壁には、有益なデータがほとんど、またはまったく含まれないことが多いので、コンテキスト判定エンジン280は、常時オンカメラのサンプリングレートを低減させることができる。一方、部屋310が会議室であり、常時オンカメラが、プロジェクタスクリーン315に面していると判定された場合、サンプリングレートを増大させることができる。さらに、またはその代わりに、複数のカメラが利用可能である場合、この情報を用いてどのカメラ110でサンプリングを行うかを決定し(たとえば、常時オンカメラとして指定する)、関心アイテムを含む可能性が高い視野を備えたカメラ110からサンプリングを行うことができる。

【0039】

上述の技法および/またはセンサは、状況に依存して、優先順位を付けても、かつ/または互いに連動させて使用してもよい。たとえば、マイクロフォンを建物案内図データとともに使用して、どのカメラ110を常時オンカメラとして指定するかを決定することができる。別の例では、光センサ210から判定されたコンテキスト情報を、ジオフェンシング情報よりも優先させることができ、したがって、モバイルデバイス100が会議室内にあると判定された場合、他の場合にはサンプリングレートが増大することになるが、光センサ210によって常時オンカメラ(および/またはモバイルデバイス100)がユーザのポケット内にあることが示される場合は、会議室内にあることが判定されても、常時オンカメラのサンプリングレートは低減することになる。

【0040】

図4は、一実施形態による、モバイルデバイスの常時オンカメラのセンササンプリングを適合的に調節するためのプロセス400の流れ図である。プロセス400は、図2に例示したコンテキスト判定エンジン280、センサ、および/または他の構成要素など、モバイルデバイス100の様々なハードウェアおよび/またはソフトウェア構成要素によって実行することができる。特に、プロセス400を実施するための手段には、たとえば、図示のプロセス400の全部または一部を実施するようにプログラミングおよび/または他の形で構成することができる専用および/または汎用ハードウェアが含まれ得る。そのような手段については、図5を参照しながら下記でさらに詳細に説明する。

【0041】

プロセス400は、任意選択でブロック410から、コンテキスト情報に基づいて、複数のカメラから1つまたは複数のカメラを選択することによって開始することができる。そのような情報には、たとえば、(地図化されたある特徴に対するカメラの視野を示すことができる)地図、配向および動作情報、音声方向性、先に取得された1つまたは複数の特徴などが含まれ得る。コンテキスト情報がほとんど、またはまったく利用可能でない場合、あるいはコンテキストが容易に決定できない場合は、広角カメラまたは魚眼カメラなどのある種のカメラを常時オン機能のためのデフォルトカメラとして使用することができる。ブロック410の機能を実施するための手段には、たとえば、1つまたは複数の処理装置、センサ、および/またはソフトウェア(たとえば、アプリケーション、オペレーティングシステムなど)が含まれ得、これらの手段については下記の図5でさらに詳細に説明する。

【0042】

ブロック420で、プロセス400は、モバイルデバイスのカメラを、サンプリングレートでサンプリングさせるステップを含む。上述のように、そのような常時オン機能は、モバイルデバイスによって実行されるアプリケーション、モバイルデバイスのオペレーティングシステム、デバイスドライバ、および/またはモバイルデバイスの物理層に組み込まれたバックグラウンドサービスとすることができ、ユーザ入力なしに画像取得を自動的に行うことができる。初期のサンプリングレートは、ユーザによって、かつ/またはアプリケーション設定、カメラデフォルト、モバイルデバイスデフォルトなどによって決定することができる。ブロック410の機能を実施するための手段には、たとえば、1つまたは複数の処理装置、カメラ、ワイヤレス通信インターフェース、および/またはソフトウェアが含まれ得、これらの手段については下記の図5でさらに詳細に説明する。

【0043】

ブロック430で、センサ入力に基づいて、モバイルデバイスのユーザの状態を判定する。前述のように、ユーザの状態などのコンテキスト情報は、多種多様なセンサのうちの任意のものからの入力、および/または他のソースからの情報を用いて判定することができる。上記で論じたように、データは、カメラ、動作センサ、光センサ、配向センサ、マイクロフォン、ワイヤレス通信インターフェース、および/または衛星受信機から受け取ることができる。

【0044】

ユーザの状態を判定するステップは、ユーザに関する多種多様なコンテキスト情報のうちの任意のものを判定するステップを含むことができる。こうした情報には、たとえば、モバイルデバイスのユーザに対する、モバイルデバイスの位置(たとえば、ポケット内、ハンドバッグ内、ホルスタ内、ユーザの手中、ユーザ近くの机上など)、モバイルデバイスのユーザが従事している活動(たとえば、会議中、電話中、一人でいる、テレビを見ている、娯楽中、読書中、筆記中、人と会っている、画面を見ている、プレゼンテーション中、食事中、買い物中、調理中、会話中、運動中、音楽を聞いている、睡眠中など)、ユーザの動作状態(たとえば、静止中、歩行中、走行中、移動中、モバイルデバイスを操作中など)、モバイルデバイスのPOR(関連場所)(たとえば、カフェテリア内、バス停、会議室内など、ユーザの状態を示し得る場所)、モバイルデバイスの環境変化(たとえば、音声変化、周囲の光情報の変化、ユーザ周囲のデバイス台数の変化、ユーザ周囲の人々の人数変化など)などが含まれ得る。ユーザの状態を判定するステップはさらに、またはその代わりに、ユーザの環境を、会議中、電話中、一人でいるなど、多種多様な所定の状態のうちの1つまたは複数であるとして分類するステップを含んでもよい。この種の環境分類は、PORに関する情報、モバイルデバイスの状態(たとえば、電話中)、センサデータ、および/または他の情報から行うことができる。ユーザの状態を判定するステップは、1つまたは複数のセンサからのセンサ入力をクラスタ化するステップをさらに含んでもよい。たとえば、ユーザが事務所内で一人で勤務中である場合、音声環境クラスタ化技法を用いて、ユーザのこの状態を判定することができる。音声環境に変化が観察されるまで、常時オンカメラによる対応する画像取得を最小限に抑える、またはオフにすることができる。ブロック410の機能を実施するための手段は、たとえば、1つまたは複数の処理装置、カメラ、ワイヤレス通信インターフェース、メモリ(たとえば、動作モデル、地図、および/または他のデータを記憶するために使用することができる)、および/またはソフトウェアを含むことができ、これらの手段については下記の図5でさらに詳細に説明する。

【0045】

ブロック440で、判定されたユーザの状態に基づいて、サンプリングレートが調整される。既存のサンプリングレートを調整するステップは、デフォルトまたは初期のサンプリングレートを増大させる、または低減させるステップを含むことができる。いくつかの例では、サンプリングレートを調整するステップはまた、他の場合にはデフォルトまたは初期のレートに従ってサンプリングされることになる1つまたは複数のサンプルを抑制するステップを含むことができる。先に示したように、サンプリングレートは実際上、判定されたユーザの状態に基づいて、常時オンカメラが実施可能ないかなるレートにも調整され得る。この調整には、たとえば、常時オンカメラのサンプリングを完全に中止させるステップ、画像取得をビデオレート(たとえば、1秒当たり30画像)以上まで増大させるステップ、またはそれらの間の任意のサンプリングレートを選択するステップが含まれ得る。ブロック410の機能を実施するための手段には、たとえば、1つまたは複数の処理装置、カメラ、ワイヤレス通信インターフェース、および/またはソフトウェアが含まれ得、これらの手段については下記の図5でさらに詳細に説明する。判定されたユーザの状態によって、常時オンカメラのサンプリングレートがどのように調整されるかに影響を及ぼすことができるだけでなく、常時オンカメラからの画像を用いてユーザ状態を判定することもできることにさらに留意され得る。したがって、ユーザ状態を判定するステップは、常時オンカメラによる画像取得の前後どちらでも行うことができる。

【0046】

図4に例示した具体的なステップは、モバイルデバイスの常時オンカメラのセンササンプリングを適合的に調節するためのプロセス400の一例を示すものであることを理解されたい。代替実施形態には、図示の実施形態に対する変更を含めることができる。さらに、特定のアプリケーションに依存して、さらなる特徴を追加しても、削除してもよい。たとえば、ユーザの状態を判定した後、第2のカメラを常時オンカメラとして選択することができる。マルチカメラシステムでは、本明細書で先に論じたように、サンプリングをカメラ間で順に交替させても、かつ/または同期させてもよい。当業者には、多くの変形形態、改変形態、および代替形態が認識されよう。

【0047】

図5は、上述のように常時オンカメラを含むことができ、かつ/または常時オンカメラと通信可能に結合させることができるモバイルデバイス100の実施形態を例示している。モバイルデバイス100はまた、図4に例示したプロセス400などの様々な他の実施形態によって提供される方法を実施するように構成することができる。図5は、様々な構成要素を概括的に例示したものにすぎず、それらのいずれも、またはすべて、適切に使用することができることに留意されたい。さらに、図5に示すモバイルデバイス100のハードウェアおよび/またはソフトウェア構成要素は、コンテキスト判定エンジン280、センサなど、図2に示す構成要素の1つまたは複数を実装するように構成することができる。

【0048】

図5によって例示した構成要素は、単一のモバイルデバイスにローカライズしても、かつ/またはネットワーク化された様々なデバイス間で分散配置してもよく、これらのデバイスを異なる物理的位置に配設してもよいことに留意されたい。たとえば、いくつかの実施形態は、ユーザの身体の様々な位置、またはその付近に分散配置されたカメラ543および/または他のセンサ540を含むことができる。たとえば、(ユーザの頭部に装着された)HMDの常時オンカメラは、ユーザのポケット内のモバイル電話と通信可能に結合させることができ、所望の機能に依存して、図5に示す構成要素をHMDとモバイル電話とに、多種多様な任意の形で分散配置することができる。

【0049】

バス505を介して電気的に結合させることができる(またはその他の形で適切に通信させることができる)ハードウェア要素を備えるモバイルデバイス100が示されている。ハードウェア要素は、それだけに限られるものではないが、1つまたは複数の汎用プロセッサ、1つまたは複数の専用プロセッサ(デジタル信号プロセッサ(DSP)、グラフィック高速化プロセッサ、特定用途向け集積回路(ASIC)など)、および/または他の処理構造体もしくは手段などが含まれ得る処理装置510を含むことができ、これらは、図4の方法を含めて、本明細書に記載の方法の1つまたは複数を実施するように構成することができる。モバイルデバイス100はまた、それだけに限られるものではないが、タッチスクリーン、タッチパッド、ボタン、ダイアル、スイッチ、および/またはその他が含まれ得る1つまたは複数の入力デバイス570と、それだけに限られるものではないが、表示装置、発光ダイオード(LED)、スピーカ、および/またはその他が含まれ得る1つまたは複数の出力デバイス515とを含むことができる。

【0050】

モバイルデバイス100はまた、それだけに限られるものではないが、モデム、ネットワークカード、赤外通信デバイス、ワイヤレス通信デバイス、および/またはチップセット(ブルートゥース(商標)デバイス、IEEE 802.11デバイス、IEEE 802.15.4デバイス、WiFiデバイス、WiMaxデバイス、セルラー通信機構など)、および/またはその他が含まれ得るワイヤレス通信インターフェース530を含むことができる。したがって、いくつかの実施形態では、モバイルデバイス100への通信、およびそこからの通信は、様々なワイヤレス通信ネットワークを用いて実装することもできる。これらのネットワークには、たとえば、広域ワイヤレスネットワーク(WWAN)、ワイヤレスローカルエリアネットワーク(WLAN)、ワイヤレスパーソナルエリアネットワーク(WPAN)などが含まれ得る。WWANは、符号分割多元接続(CDMA)ネットワーク、時分割多元接続(TDMA)ネットワーク、周波数分割多元接続(FDMA)ネットワーク、直交周波数分割多元接続(OFDMA)ネットワーク、シングルキャリア周波数分割多元接続(SC-FDMA)ネットワーク、WiMax(IEEE 802.16)などでよい。CDMAネットワークは、cdma2000、広帯域CDMA(W-CDMA)などの1つまたは複数の無線アクセス技法(RAT)を実装することができる。cdma2000には、IS-95、IS-2000、および/またはIS-856標準が含まれる。TDMAネットワークは、グローバルモバイル通信システム(GSM（登録商標）: Global System for Mobile Communications)、デジタルアドバンストモバイル電話システム(D-AMPS)または他の何らかのRATを実装することができる。OFDMAネットワークは、ロングタームエボリューション(LTE)、LTEアドバンストなどを実装することができる。LTE、LTEアドバンスト、GSM、およびW-CDMAについては、「第3世代パートナーシッププロジェクト」(3GPP)という名称の共同体からの文献に記載されている。cdma2000については、「第3世代パートナーシッププロジェクト2」(3GPP2)という名称の共同体からの文献に記載されている。3GPPおよび3GPP2の文献は、公式に入手可能である。WLANはまた、IEEE 802.11xネットワークでよく、WPANは、ブルートゥースネットワーク、IEEE 802.15x、または他の何らかの種類のネットワークでよい。本明細書に記載の技法はまた、WWAN、WLAN、および/またはWPANのいかなる組合せで使用してもよい。ワイヤレス通信インターフェース530によって、他のセンサ、システム、および/または本明細書に記載の他のいかなる電子デバイスともデータを直接交換することが可能となり得る。通信は、ワイヤレス信号534を送信および/または受信する1つまたは複数のワイヤレス通信アンテナ532を介して実行することができる。

【0051】

ワイヤレス通信インターフェース530はまた、モバイルデバイス100の位置を求めるために使用することもできる。たとえば、(基地局、および/またはワイヤレス音声および/またはデータ通信のために使用される他のシステムを含む)アクセスポイントは、たとえば、RTTおよび/またはRSSI測定に基づいた三辺測量ベースの手順を実装することによって、独立した位置データ源として働くことができる。アクセスポイントは、建物内で動作して、WWANよりも狭い地理的領域にわたって通信を実施するWLANの一部とすることができる。さらに、アクセスポイントは、WiFiネットワーク(802.11x)、セルラーピコネットおよび/またはフェムトセル、ブルートゥースネットワークなどの一部でもよい。アクセスポイントはまた、クアルコム屋内測位システム(QUIPSTM: Qualcomm indoor positioning system)の一部を成すこともできる。

【0052】

モバイルデバイス100は、センサ540をさらに含むことができる。本明細書で示したように、センサ540は、図2で説明したセンサに対応し得、1つまたは複数の加速度計541、ジャイロスコープ542、磁気計544など、モバイルデバイス100の配向および/または動作を判定することができるセンサを含むことができる。モバイルデバイス100は、図2を参照しながら先に説明したように、マイクロフォン545、光センサ546、近接センサなどの他のセンサ540をさらに含むことができる。カメラ543は、異なる機能(RGB、赤外、広角、魚眼、高解像度など)を備えたいかなる台数の様々なカメラも含むことができ、本明細書で説明したように、そのうちのいずれも、またはすべてを常時オンカメラとして使用することができる。

【0053】

モバイルデバイスの実施形態はまた、衛星測位システム(SPS: satellite positioning system)受信機580を含んでもよく、この受信機は、SPSアンテナ582を用いて、1つまたは複数のSPSから信号584を受信することが可能である。SPS受信機580は、図2に関して説明した衛星測位受信機250に対応し得、この受信機は、モバイルデバイスに関する位置情報(たとえば、座標)、ならびにそこから導出される情報(速度、加速度など)を供給することができる。送信される衛星信号584には、たとえば、チップの組数の反復擬似ランダム雑音(PN: pseudo-random noise)コードでマークされた信号が含まれ得、地上ベースの制御局、ユーザ機器、および/または宇宙飛行体に配置することができる。衛星測位システムには、全地球測位システム(GPS)、ガリレオ、グロナス、コンパス、日本上の準天頂衛星システム(QZSS: Quasi-Zenith Satellite System)、インド上のインド地域航法衛星システム(IRNSS: Indian Regional Navigational Satellite System)、中国上の北斗(Beidou)など、および/または1つまたは複数の全地球および/または地域航法衛星システムと関連付けることができる、またはその他の形でともに使用することが可能な様々な補強システム(たとえば、衛星型補強システム(SBAS: Satellite Based Augmentation System))のようなシステムが含まれ得る。それだけに限られるものではなく、例として、SBASには、インテグリティ情報、差分補正などを実現する補強システム、たとえば、広域補強システム(WAAS: Wide Area Augmentation System)、欧州静止衛星航法オーバーレイサービス(EGNOS: European Geostationary Navigation Overlay Service)、多目的衛星補強システム(MSAS: Multi-functional Satellite Augmentation System)、GPS補完衛星補強航法もしくはGPS衛星補強航法システム(GAGAN:GPS Aided Geo Augmented NavigationまたはGPS and Geo Augmented Navigation system)などが含まれ得る。

【0054】

モバイルデバイス100はまた、メモリ560をさらに含む(かつ/または、通信している)ことができる。メモリ560には、それだけに限られるものではないが、ローカルおよび/またはネットワークアクセス可能記憶装置、ディスクドライブ、ドライブアレイ、光記憶デバイス、ランダムアクセスメモリ(「RAM」)、および/またはプログラム可能であり、フラッシュ更新可能な読出し専用メモリ(「ROM」)、および/またはその他のものなどの固体記憶デバイスが含まれ得る。そのような記憶デバイスは、それだけに限られるものではないが、様々なファイルシステム、データベース構造、および/またはその他を含めて、適切ないかなるデータ記憶も実装するように構成することができる。

【0055】

モバイルデバイス100のメモリ560はまた、オペレーティングシステム、デバイスドライバ、実行可能なライブラリ、および/または1つまたは複数のアプリケーションプログラムなどの他のコードを含むソフトウェア要素(図示せず)を備えることができ、これらの要素は、様々な実施形態によって供給されるコンピュータプログラムを備えることができ、かつ/または本明細書で説明するように、他の実施形態によって供給される方法を実装し、かつ/またはシステムを構成するように設計することができる。図4に関して説明したプロセスなど、単なる例として上記で論じた方法に関して説明した1つまたは複数の手順は、モバイルデバイス100(および/またはモバイルデバイス100内の処理装置)(および/または測位システムの別のデバイス)によって実行可能なコードおよび/または命令として実装することができる。次いで、一態様では、そのようなコードおよび/または命令を用いて、汎用コンピュータ(または他のデバイス)を、上述の方法に従って1つまたは複数のオペレーションを実施するように構成および/または適合させることができる。

【0056】

具体的な要件に従って、実質的な変更を行うことができることが当業者には明白であろう。たとえば、カスタマイズされたハードウェアもやはり使用することができ、かつ/または特定の要素をハードウェア、(アプレットなどの可搬性ソフトウェアを含めた)ソフトウェア、またはその両方で実装してもよい。さらに、ネットワーク入出力デバイスなどの他のコンピューティングデバイスへの接続を使用してもよい。

【0057】

上述のように、一態様では、いくつかの実施形態は、コンピュータシステム(モバイルデバイス100など)を用いて、本発明の様々な実施形態による方法を実施することができる。1組の実施形態によれば、そのような方法の手順の一部または全部は、処理装置510が、メモリ560に収容された1つまたは複数の命令の1つまたは複数のシーケンス(オペレーティングシステムおよび/または他のコードに組み込まれていることがある)を実行することに応答して、モバイルデバイス100によって実施される。単なる例として、メモリ560に収容された命令のシーケンスを実行することによって、処理装置510に、本明細書に記載の方法の1つまたは複数の手順を実施させることができる。さらに、またはその代わりに、本明細書に記載の方法の一部分を専用ハードウェアによって実行してもよい。

【0058】

本明細書で論じた方法、システム、およびデバイスは、例である。様々な実施形態では、様々な手順または構成要素を適切に省略、置換え、または追加することができる。たとえば、ある実施形態に関して説明した特徴を、様々な他の実施形態において組み合わせてもよい。実施形態の様々な態様および要素を、同様の形で組み合わせてもよい。本明細書で示す諸図の様々な構成要素は、ハードウェアおよび/またはソフトウェアとして具現化することができる。また、技法は進化するものであり、したがって要素の多くは例であり、本開示の範囲はそれらの具体的な例に限定されるものではない。

【0059】

本実施形態の完全な理解をもたらすために、具体的な詳細を本説明で示している。しかし、実施形態はこれらの具体的な詳細がなくとも実践することができる。たとえば、実施形態が分かりにくくなることを回避するために、周知の回路、プロセス、アルゴリズム、構造、および技法については、不要な詳細なしに示してきた。本説明は、例示的な実施形態を示すものにすぎず、本発明の範囲、適用可能性、または構成を限定するものではない。そうではなく、本実施形態の上述の説明は、本発明の実施形態を実装可能とするための説明を当業者に供給するためのものである。本発明の趣旨および範囲から逸脱することなく、諸要素の機能および配置に様々な変更を行うことができる。

【0060】

主に通常使用されていることから、そのような信号をビット、情報、値、要素、シンボル、文字、変数、項、数、数字などと呼ぶことがときには便宜的であることが判明している。しかし、これらの用語、または類似の用語は、適切な物理量に関連付けられるものであり、単に便宜的な符号にすぎないことを理解されたい。別段の記載がない限り、上記の考察から明白なように、「処理」、「コンピューティング」、「計算」、「判定」、「確認」、「識別」、「関連付け」、「測定」、「実施」など、本明細書の考察全体にわたって使用する用語は、専用コンピュータまたは類似の専用電子コンピューティングデバイスなどの特定の装置の行為または処理を指すことを理解されたい。したがって、本明細書のコンテキストでは、専用コンピュータまたは類似の専用電子コンピューティングデバイスは、信号を操作または変換することが可能であり、典型的には、こうした信号は、専用コンピュータまたは類似の専用電子コンピューティングデバイスのメモリ、レジスタ、もしくは他の情報記憶デバイス、伝送デバイス、または表示デバイス内の物理的な電子量、電気量、または磁気量として表される。

【0061】

本明細書で使用される場合、「および」、「または」という用語は、多種多様な意味を含み得、少なくとも一部にはそのような用語が使用されるコンテキストに依存することも予期される。典型的には、A、BまたはCなど、列挙に伴って使用される「または」、がA、B、およびCを意味する場合、ここでは包含的な意味で使用されるものであり、また、A、B、またはCを意味する場合、ここでは排他的な意味で使用されるものである。加えて、本明細書で使用される場合、「1つまたは複数」という用語は、単一のいかなる特徴、構造、または特性も説明するために使用することができ、また、特徴、構造、または特性のいくつかの組合せを説明するためにも使用することができる。しかし、これは例示的な単なる一例にすぎず、特許請求する主題は、本例に限られるものではないことに留意されたい。さらに、「少なくとも1つの」という用語がA、B、またはCなどの列挙に伴って使用される場合、A、AB、AA、AAB、AABBCCCなど、A、B、および/またはCのいかなる組合せも意味するものとして解釈することができる。

【0062】

いくつかの実施形態について説明してきたが、本開示の趣旨から逸脱することなく、様々な改変形態、代替構成、および均等物を使用することができる。たとえば、上記の要素は、単により大型のシステムの構成要素でよいが、他のルールが本発明のアプリケーションに優先しても、他の形で本発明のアプリケーションを改変してもよい。また、上記の要素を考慮する前、その間、またはその後に、いくつかのステップを実施してもよい。したがって、上記の説明は、本開示の範囲を限定するものではない。

【符号の説明】

【0063】

100 モバイルデバイス
100-1 モバイル電話
100-2 タブレット
100-3 頭部装着型表示装置
110、543 カメラ
110-1、110-3 前向きカメラ
110-2 後向きカメラ
110-4 追加のカメラ
110-5 外向きカメラ
210、546 光センサ
220、565 マイクロフォン
230 動作/配向検出器
240、530 ワイヤレス通信インターフェース
250 衛星測位センサ
260、540 他のセンサ
270 地図
280 コンテキスト判定エンジン
290 動作モデル
295 アプリケーションデータ
300 建物案内図
310 会議室
315 プロジェクタスクリーン
320 化粧室
505 バス
510 処理装置
515 出力デバイス
532 ワイヤレス通信アンテナ
534 ワイヤレス信号
541 加速度計
542 ジャイロスコープ
544 磁気計
560 メモリ
570 入力デバイス
580 衛星測位システム受信機
582 SPSアンテナ
584 衛星信号

【図1】

【図2】

【図3】

【図4】

【図5】