特表 2024-534007 低消費電力のためのダイナミックキャプチャパラメータ処理

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-09-18

(54)【発明の名称】低消費電力のためのダイナミックキャプチャパラメータ処理

(51)【国際特許分類】

   H04N 23/60 20230101AFI20240910BHJP

【ＦＩ】

H04N23/60 100

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024508515

(86)(22)【出願日】2022-08-12

(85)【翻訳文提出日】2024-04-01

(86)【国際出願番号】 US2022074915

(87)【国際公開番号】W WO2023019249

(87)【国際公開日】2023-02-16

(31)【優先権主張番号】63/260,206

(32)【優先日】2021-08-12

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】63/260,207

(32)【優先日】2021-08-12

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】17/819,154

(32)【優先日】2022-08-11

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】17/819,170

(32)【優先日】2022-08-11

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＢＬＵＥＴＯＯＴＨ

(71)【出願人】

【識別番号】502208397

【氏名又は名称】グーグル エルエルシー

【氏名又は名称原語表記】Ｇｏｏｇｌｅ ＬＬＣ

【住所又は居所原語表記】１６００ Ａｍｐｈｉｔｈｅａｔｒｅ Ｐａｒｋｗａｙ ９４０４３ Ｍｏｕｎｔａｉｎ Ｖｉｅｗ， ＣＡ Ｕ．Ｓ．Ａ．

(74)【代理人】

【識別番号】110001195

【氏名又は名称】弁理士法人深見特許事務所

(72)【発明者】

【氏名】ガングリー，シャミック

(72)【発明者】

【氏名】クーパー，エミリー・バーバラ

(72)【発明者】

【氏名】ボンドラン，ゲイリー・リー，ジュニア

【テーマコード（参考）】

5C122

【Ｆターム（参考）】

5C122EA42

5C122FC07

5C122FH09

5C122FH11

5C122FH14

5C122FJ01

5C122FJ04

5C122FK09

5C122GC04

5C122GC06

5C122GC07

5C122GC14

5C122HA13

5C122HA35

5C122HA75

5C122HB01

5C122HB05

(57)【要約】

ある一般的な態様において、方法は、画像センサを使用して、第１の解像度で第１の生画像をキャプチャすることと、画像信号プロセッサを使用して、第１の生画像をデジタル処理された画像に変換することと、処理条件に基づいてデジタル処理された画像の少なくとも一部を解析することと、を含むことができる。方法は、第１の解像度が処理条件を満たさないと判定することと、第１の解像度よりも大きい第２の解像度で、画像センサにおける第２の生画像のキャプチャをトリガすることと、を含むことができる。

【特許請求の範囲】

【請求項1】

画像センサを使用して、第１の解像度で第１の生画像をキャプチャすることと、
画像信号プロセッサを使用して、前記第１の生画像をデジタル処理された画像に変換することと、
処理条件に基づいて前記デジタル処理された画像の少なくとも一部を解析することと、
前記第１の解像度が前記処理条件を満たさないと判定することと、
前記第１の解像度よりも大きい第２の解像度で、前記画像センサにおける第２の生画像のキャプチャをトリガすることと、
を含む、画像処理方法。

【請求項2】

前記デジタル処理された画像の前記少なくとも一部は、テキスト文字を含む、請求項１に記載の画像処理方法。

【請求項3】

前記デジタル処理された画像の前記少なくとも一部は、実世界の物体を含む、請求項１または請求項２に記載の画像処理方法。

【請求項4】

前記処理条件は、１文字あたりのピクセル数条件、高さ条件、面積条件の少なくとも１つである、請求項１～請求項３のいずれかに記載の画像処理方法。

【請求項5】

前記第１の生画像をキャプチャするための前記第１の解像度は、前記画像センサで定義されたビンに対応する、請求項１～請求項４のいずれかに記載の画像処理方法。

【請求項6】

前記第１の解像度はデフォルト解像度であり、前記第２の解像度はルックアップテーブルのエントリに基づいて定義される、請求項１～請求項４のいずれかに記載の画像処理方法。

【請求項7】

前記デジタル処理された画像は、コンピューティングデバイスでキャプチャされた第１のデジタル処理された画像であり、
前記方法はさらに、
前記第２の生画像を第２のデジタル処理された画像に変換することと、
前記第２の解像度が前記処理条件を満たすと判定することと、
前記第２の解像度が前記処理条件を満たすと判定することに応答して、前記第２のデジタル処理された画像を、さらなる処理のために、前記コンピューティングデバイスのコンパニオンデバイスに送信することと、
を含む、請求項１～請求項６のいずれかに記載の画像処理方法。

【請求項8】

画像処理方法を実行するために１つまたは複数のプロセッサによって読み取られ実行される命令を記憶する非一時的な機械読取り可能な有形の媒体であって、
前記方法は、
画像センサを使用して、第１の解像度で第１の生画像をキャプチャすることと、
画像信号プロセッサを使用して、前記第１の生画像をデジタル処理された画像に変換す ることと、
処理条件に基づいて前記デジタル処理された画像の少なくとも一部を解析することと、
前記第１の解像度が前記処理条件を満たさないと判定することと、
前記第１の解像度よりも大きい第２の解像度で、前記画像センサにおける第２の生画像のキャプチャをトリガすることと、
を含む、非一時的な機械読取り可能な有形の媒体。

【請求項9】

前記デジタル処理された画像の前記少なくとも一部は、テキスト文字を含む、請求項８に記載の方法。

【請求項10】

前記デジタル処理された画像の前記少なくとも一部は、実世界の物体を含む、請求項８または請求項９に記載の方法。

【請求項11】

前記処理条件は、１文字あたりのピクセル数条件、高さ条件、面積条件の少なくとも１つである、請求項８～請求項１０のいずれかに記載の方法。

【請求項12】

前記第１の生画像をキャプチャするための前記第１の解像度は、前記画像センサで定義されたビンに対応する、請求項８～請求項１１のいずれかに記載の方法。

【請求項13】

前記第１の解像度はデフォルト解像度であり、前記第２の解像度はルックアップテーブルのエントリに基づいて定義される、請求項８～請求項１１のいずれかに記載の方法。

【請求項14】

前記デジタル処理された画像は、コンピューティングデバイスでキャプチャされた第１のデジタル処理された画像であり、
前記方法はさらに、
前記第２の生画像を第２のデジタル処理された画像に変換することと、
前記第２の解像度が前記処理条件を満たすと判定することと、
前記第２の解像度が前記処理条件を満たすと判定することに応答して、前記第２のデジタル処理された画像を、さらなる処理のために、前記コンピューティングデバイスのコンパニオンデバイスに送信することと、
を含む、請求項８～請求項１３のいずれかに記載の方法。

【請求項15】

プロセッサと、
前記プロセッサに通信可能に結合され、前記プロセッサによって実行されると、前記プロセッサに、
画像センサを使用して、第１の解像度で第１の生画像をキャプチャすることと、
画像信号プロセッサを使用して、前記第１の生画像をデジタル処理された画像に変換することと、
処理条件に基づいて前記デジタル処理された画像の少なくとも一部を解析することと、
前記第１の解像度が前記処理条件を満たさないと判定することと、
前記第１の解像度よりも大きい第２の解像度で、前記画像センサにおける第２の生画像のキャプチャをトリガすることと、
を実行させる複数の命令を記憶するメモリデバイスと、を含む、システム。

【請求項16】

前記デジタル処理された画像の前記少なくとも一部は、テキスト文字を含む、請求項１５に記載のシステム。

【請求項17】

前記デジタル処理された画像の前記少なくとも一部は、実世界の物体を含む、請求項１５または請求項１６に記載のシステム。

【請求項18】

前記処理条件は、１文字あたりのピクセル数条件、高さ条件、面積条件の少なくとも１つである、請求項１５～請求項１７のいずれかに記載のシステム。

【請求項19】

前記第１の生画像をキャプチャするための前記第１の解像度は、前記画像センサで定義されたビンに対応する、請求項１５～請求項１８のいずれかに記載のシステム。

【請求項20】

前記第１の解像度はデフォルト解像度であり、前記第２の解像度はルックアップテーブルのエントリに基づいて定義される、請求項１５～請求項１８のいずれかに記載のシステム。

【請求項21】

前記デジタル処理された画像は、コンピューティングデバイスでキャプチャされた第１のデジタル処理された画像であり、前記メモリデバイスは、命令をさらに記憶しており、前記命令は、前記プロセッサによって実行されると、前記プロセッサに、
前記第２の生画像を第２のデジタル処理された画像に変換することと、
前記第２の解像度が前記処理条件を満たすと判定することと、
前記第２の解像度が前記処理条件を満たすと判定することに応答して、前記第２のデジタル処理された画像を、さらなる処理のために、前記コンピューティングデバイスのコンパニオンデバイスに送信することと、
を実行させる、請求項１５～請求項２０のいずれかに記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願
本出願は、２０２１年８月１２日に出願された米国仮出願第６３／２６０，２０６号および米国仮出願第６３／２６０，２０７号の利益を主張する、２０２２年８月１１日に出願された米国出願第１７／８１９，１５４号および米国特許出願第１７／８１９，１７０号の継続出願であり、その優先権を主張するものであり、これらの開示は、参照によりその全体が本明細書に組み込まれる。

【0002】

本出願はまた、２０２１年８月１２日に出願された米国仮出願第６３／２６０，２０６号、および２０２１年８月１２日に出願された米国仮出願第６３／２６０，２０７号の優先権を主張し、これらの出願の開示は、参照によりその全体が本明細書に組み込まれる。

【0003】

技術分野
本明細書は、概して、画像コンテンツを処理するために使用される方法、デバイス、およびアルゴリズムに関する。

【背景技術】

【0004】

背景
コンピュータビジョン技術は、コンピュータが画像から情報を分析し抽出することを可能にする。このようなコンピュータビジョン技術は、処理および電力消費に関してコストがかかる場合がある。モバイルコンピューティングデバイスの性能と電力消費のバランスをとる要求が増加し続ける中、デバイス製造者は、モバイルコンピューティングデバイスの限界に過度の負担をかけないように、画像劣化とデバイス性能のバランスをとるようにデバイスを構成することを課せられている。

【発明の概要】

【0005】

概要
１つまたは複数のコンピュータのシステムは、操作中にシステムに動作を実行させるソフトウェア、ファームウェア、ハードウェア、またはそれらの組み合わせをシステムにインストールすることによって、特定の操作または動作を実行するように構成することができる。１つまたは複数のコンピュータプログラムは、データ処理装置によって実行されると、装置に動作を実行させる命令を含むことによって、特定の操作または動作を実行するように構成することができる。

【0006】

本開示は、コンピューティングデバイス（例えば、ウェアラブルコンピューティングデバイス）がコンピュータビジョンタスクを効率的に実行（例えば、実施）することを可能にし得る、画像処理を実行するためのシステムおよび方法について説明する。本明細書に記載のシステムおよび方法は、コンピュータビジョンおよび画像解析タスクを実行する際に使用される画像データの量を低減（例えば、最小化）して、特定のハードウェアおよび／またはデバイスリソース（例えば、メモリ、プロセッサ、ネットワーク帯域幅など）の使用を低減することができる。リソースの使用を低減するためにコンピューティングデバイス（例えば、ヘッドマウントデバイス（ＨＭＤ）、拡張現実（ＡＲ）スマートグラス）を構成することは、そのようなデバイスが、デバイスに搭載された比較的低電力の計算タスクを実施し、複雑および／または高電力の処理をコンパニオンデバイス（例えば、サーバ、コンピューティングデバイスと接続されたモバイルデバイス、他のコンピュータなど）にオフロード（例えば、プッシュ）することを可能にするという利点を提供することができる。例えば、光学式文字認識（ＯＣＲ）の実現可能性の初期評価は、コンピューティングデバイス（例えば、ＨＭＤ）で実行され得、そして、画像が、ＯＣＲを実行するために望ましいキャプチャパラメータ（例えば、十分な解像度）でキャプチャされ得ると決定されるとき、画像は、追加の（例えば、より詳細な、より集中的な）ＯＣＲ処理のために、コンパニオンデバイスに送られ得る（例えば、無線で送られる）。

【0007】

少なくとも１つの一般的な態様において、画像処理方法は、画像センサを使用して、第１の解像度で第１の生画像をキャプチャすることと、画像信号プロセッサを使用して、第１の生画像をデジタル処理された画像に変換することと、処理条件に基づいてデジタル処理された画像の少なくとも一部を解析することと、を含むことができる。方法は、第１の解像度が処理条件を満たさないと判定することと、第１の解像度よりも大きい第２の解像度で、画像センサにおける第２の生画像のキャプチャをトリガすることと、を含むことができる。方法は、以下の任意の組み合わせを含むことができる。

【0008】

別の一般的な態様では、非一時的な機械読取り可能な有形の媒体は、画像処理方法を実行するために１つまたは複数のプロセッサによって読み取られ実行される命令を記憶しており、この方法は、画像センサを使用して、第１の解像度で第１の生画像をキャプチャすることと、画像信号プロセッサを使用して、第１の生画像をデジタル処理された画像に変換することと、処理条件に基づいてデジタル処理された画像の少なくとも一部を解析することと、を含むことができる。方法は、第１の解像度が処理条件を満たさないと判定することと、第１の解像度よりも大きい第２の解像度で、画像センサにおける第２の生画像のキャプチャをトリガすることと、を含むことができる。方法は、以下の任意の組み合わせを含むことができる。

【0009】

さらに別の一般的な態様では、システムは、プロセッサと、プロセッサに通信可能に結合され、プロセッサによって実行されると、プロセッサに、画像センサを使用して、第１の解像度で第１の生画像をキャプチャすることと、画像信号プロセッサを使用して、第１の生画像をデジタル処理された画像に変換することと、処理条件に基づいてデジタル処理された画像の少なくとも一部を解析することと、を実行させる複数の命令を記憶するメモリデバイスと、を含むことができる。プロセッサは、第１の解像度が処理条件を満たさないと判定し、第１の解像度よりも大きい第２の解像度で、画像センサにおける第２の生画像のキャプチャをトリガするようにされ得る。

【0010】

上述の各態様は、以下の任意の組み合わせを含むことができる。いくつかの実施態様では、デジタル処理された画像の少なくとも一部は、テキスト文字を含む。いくつかの実施態様では、デジタル処理された画像の少なくとも一部は、実世界の物体を含む。いくつかの実施態様では、処理条件は、１文字あたりのピクセル数条件、高さ条件、面積条件の少なくとも１つである。いくつかの実施態様では、第１の生画像をキャプチャするための第１の解像度は、画像センサで定義されたビンに対応する。いくつかの実施態様では、第１の解像度はデフォルト解像度であり、第２の解像度はルックアップテーブルのエントリに基づいて定義される。いくつかの実施態様では、デジタル処理された画像は、コンピューティングデバイスでキャプチャされた第１のデジタル処理された画像である。方法は、第２の生画像を第２のデジタル処理された画像に変換することと、第２の解像度が処理条件を満たすと判定することと、第２の解像度が処理条件を満たすと判定することに応答して、第２のデジタル処理された画像を、さらなる処理のために、コンピューティングデバイスのコンパニオンデバイスに送信することと、も含むことができる。

【図面の簡単な説明】

【0011】

【図1】本開示全体を通じて説明される実施態様による、限られた計算リソースおよび／または電力リソースを使用して画像コンテンツを生成および処理するためのコンピューティングデバイスの一例を示す図である。

【図2】本開示全体を通して説明される実施態様による、コンピューティングデバイス上で画像処理を実行するためのシステムを示す図である。

【図3A】様々なシナリオにおいてＨＭＤディスプレイ内で見ることができる、印刷された単語を有する標識を示す図である。

【図3B】様々なシナリオにおいてＨＭＤディスプレイ内で見ることができる、印刷された単語を有する標識を示す図である。

【図3C】様々なシナリオにおいてＨＭＤディスプレイ内で見ることができる、印刷された単語を有する標識を示す図である。

【図4A】本開示全体を通して説明される実施態様による、ウェアラブルコンピューティングデバイスの一例を示す図である。

【図4B】本開示全体を通して説明される実施態様による、ウェアラブルコンピューティングデバイスの一例を示す図である。

【図5】本明細書で説明する実施態様に関連する方法を示すフローチャートである。

【図6】本明細書で説明される技術と共に使用され得るコンピュータデバイスおよびモバイルコンピュータデバイスの例を示す図である。

【発明を実施するための形態】

【0012】

様々な図面における同様の参照符号は、同様の要素を示す。
詳細な説明
本開示は、コンピューティングデバイス（例えば、ウェアラブルコンピューティングデバイス）がコンピュータビジョンタスクを効率的に実行する（例えば、実施する）ことを可能にし得る、画像処理を実行するためのシステムおよび方法を説明する。例えば、本明細書に記載のシステムおよび方法は、プロセッサ、センサ、ニューラルネットワーク、および／または画像解析アルゴリズムを利用して、画像内のテキスト、記号、および／または物体を認識し、および／または画像から情報を抽出することができる。いくつかの実施態様では、本明細書に記載のシステムおよび方法は、低減された計算モードおよび／または低減された電力モードで動作しながら、そのようなタスクを実行することができる。例えば、本明細書に記載のシステムおよび方法は、コンピュータビジョンおよび画像解析タスクを実行するときに使用される画像データの量を低減（例えば、最小化）して、特定のハードウェアおよび／またはデバイスリソース（例えば、メモリ、プロセッサ、ネットワーク帯域幅など）の使用を低減することができる。

【0013】

リソースの使用を低減するためにコンピューティングデバイス（例えば、ヘッドマウントデバイス（ＨＭＤ）、拡張現実（ＡＲ）スマートグラス）を構成することは、そのようなデバイスがデバイスに搭載された比較的低電力の計算タスクを実行し、複雑および／または高電力の処理をコンパニオンデバイス（例えば、サーバ、コンピューティングデバイスと接続されたモバイルデバイス、他のコンピュータなど）にオフロード（例えば、プッシュ）することを可能にするという利点を提供することができる。

【0014】

例えば、光学式文字認識（ＯＣＲ）の実現可能性の初期評価は、コンピューティングデバイス（例えば、ＨＭＤ）で実行され得、そして、画像が、ＯＣＲを実行するために望ましいキャプチャパラメータ（例えば、十分な解像度）でキャプチャされ得ると決定されるとき、画像は、追加の（例えば、より詳細な、より集中的な）ＯＣＲ処理のために、コンパニオンデバイスに送られ得る（例えば、無線で送られる）。

【0015】

別の例として、ＯＣＲの初期段階（例えば、テキスト認識のようなＯＣＲパイプラインの初期段階）を実行するための１つまたは複数のキャプチャパラメータ（例えば、解像度、１文字あたりのピクセル数）がコンピューティングデバイスで実行され得る。ＯＣＲを実行するために望ましいキャプチャパラメータで画像がキャプチャされ得ると判断されるとき、画像は、詳細ＯＣＲ処理のためにコンパニオンデバイスに送られ得る（例えば、無線で送られる）。いくつかの実施態様において、詳細ＯＣＲ処理（または他の処理）は、コンピューティングデバイスで実行されることができ、本明細書で説明される技術は、少なくともいくつかの（例えば、任意の）下流処理の間、エネルギーを節約するのに役立ち得る。

【0016】

いくつかの実施態様では、画像の初期低電力処理は、より高電力および／またはより複雑な処理のために別のデバイスに送られ得る画像をキャプチャするためのターゲットキャプチャパラメータ（例えば、最小解像度、関心領域（ＲＯＩ）へのクロッピング）を決定するために使用することができる。特定のキャプチャパラメータは、１つまたは複数の処理条件に基づいて決定することができる。ターゲットキャプチャパラメータを決定するための最初の処理は、キャプチャパラメータ選択処理段階と呼ぶことができ、後の処理は、下流画像処理段階と呼ぶことができる。

【0017】

具体例として、画像の少なくとも一部を第１のキャプチャパラメータでキャプチャし、キャプチャパラメータ選択処理段階で、処理条件に基づいて、第１のキャプチャパラメータが後の処理段階で処理される条件を満たさない（例えば、十分に高くない）という判定を行うことができる。処理条件は、後の処理段階での処理（例えば、下流処理）が望ましい態様で実行され得るか否かを決定するために使用される条件とすることができる。第１の解決策の不十分さの判定に応答して、画像の一部を第２のキャプチャパラメータでキャプチャし、処理条件に基づいて、第２のキャプチャパラメータが後の処理段階で処理されるのに十分であるという判定を行うことができる。下流画像処理段階は、例えば、光学式文字認識に関する処理とすることができる。

【0018】

別の具体例として、画像の少なくとも一部を第１のキャプチャパラメータでキャプチャし、キャプチャパラメータ選択処理段階で、処理条件に基づいて、第１のキャプチャパラメータが後の処理段階で処理される条件を満たす（例えば、十分高い）という判定を行うことができる。十分であるという判定に応答して、画像の一部は、下流画像処理段階（例えば、光学式文字認識に関連する処理）で処理することができる。

【0019】

いくつかの実施態様では、キャプチャパラメータ選択処理は、別個の関心領域選択技術を使用して決定された特定の関心領域に基づいて行うことができる。例えば、画像全体を解析する代わりに、画像データにおいて関心領域（ＲＯＩ）を特定し、それらの領域の１つまたは複数をコンピューティングデバイスに搭載して解析することができる。正確な結果を維持しながら解析する情報量を削減することで、画像全体を解析するリソース負担なしに、複雑な画像処理タスクをコンピューティングデバイス上で実行することを可能にし得る。いくつかの実施態様では、本明細書に記載のシステムおよび方法は、計算負荷および／または電力を低減しつつ、そのようなデバイスが効率的な画像処理タスクを実行し得るように、デバイス上で実行されるように構成され得る。例えば、本明細書に記載のシステムおよび方法は、電力、メモリ、および／または処理消費を低減するための特定の技術を利用しながら、デバイスがオブジェクト検出タスク、光学式文字認識（ＯＣＲ）タスク、および／または他の画像処理タスクを実行することを可能にし得る。

【0020】

いくつかの実施態様では、本明細書に記載のシステムおよび方法は、複雑な画像処理計算が、他のリソースおよび／またはデバイスからの支援なしにデバイス上で実行され得ることを保証し得る。例えば、従来のシステムは、計算負荷の高い画像処理タスクを実行するために、通信可能に結合された他のモバイルデバイス、サーバ、および／またはオフボードシステムからの支援を要求することがある。本明細書で説明するシステムおよび方法は、完全かつ正確な画像処理能力を提供しつつ、例えばサーバよりも計算能力の低いデバイスによって操作され得る画像の一部を生成するという利点を提供する。

【0021】

本明細書に記載のシステムおよび方法は、コンピューティングデバイスが、低消費電力および／または低処理消費を利用する機械学習インテリジェンス（例えば、ニューラルネットワーク、アルゴリズムなど）を使用して、物体検出、動き追跡、顔認識、ＯＣＲタスクなどのコンピュータビジョンタスクを実行することを可能にし得る。

【0022】

図１は、本開示全体を通じて説明される実施態様による、限られた計算リソースおよび／または電力リソースを使用して画像コンテンツを生成および処理するためのコンピューティングデバイス１００（例えば、ＨＭＤ）の一例を示す図である。この例では、コンピューティングデバイス１００は、ＡＲスマートグラスの形態で描かれている。しかしながら、任意のフォームファクタが代用され、本明細書に記載されるシステムおよび方法と組み合わされてもよい。いくつかの実施態様では、コンピューティングデバイス１００は、１つまたは複数のセンサ、低電力アイランドプロセッサ、高電力アイランドプロセッサ、コアプロセッサ、エンコーダなどのいずれかまたは全てと組み合わせたシステムオンチップ（ＳＯＣ）アーキテクチャ（図示せず）を含む。

【0023】

動作において、コンピューティングデバイス１００（デバイスとも呼ばれ得る）は、例えば、カメラ、画像センサなどを使用して、シーン１０２の画像をキャプチャすることができる。デバイス１００は、ユーザ１０４によって装着され、操作されてもよい。シーン１０２は、物理的コンテンツだけでなく、拡張現実（ＡＲ）コンテンツを含むことがある。シーン１０２は、デバイス１００を通したビューの観点から示されている。いくつかの実施態様では、コンピューティングデバイス１００は、コンパニオンデバイス１０６（例えば、モバイルコンピューティングデバイス）と通信可能に結合されてもよい。

【0024】

いくつかの実施態様では、コンピューティングデバイス１００は、シーン１０２から画像コンテンツを特定する要求に応答して、リアルタイムの画像処理（例えば、リアルタイムの画像および／または文字認識）を開始するようにトリガされ得る。非限定的な例では、コンピューティングデバイス１００は、デバイス１００に含まれるセンサによってキャプチャされた光学データに関連付けられた画像コンテンツを特定する要求に応答して、リアルタイム画像処理を開始するようにトリガされてもよい。要求は、デバイス１００を装着しているユーザ（例えば、ユーザ１０４）からのものであってもよい。

【0025】

動作において、コンピューティングデバイス１００は、キャプチャパラメータ選択処理段階１００－１を含み得る。キャプチャパラメータ選択処理段階１００－１における、画像の初期低電力処理は、さらなる処理に望ましい（またはさらなる処理をトリガするための）シーン１０２の少なくとも一部の画像をキャプチャするためのターゲットキャプチャパラメータ（例えば、最小解像度、関心領域（ＲＯＩ）へのクロッピング）を決定するために使用され得る。キャプチャパラメータ選択処理段階１００－１で決定されたターゲットキャプチャパラメータは、下流画像処理段階１００－２内でより高電力および／またはより複雑な処理のためにコンパニオンデバイス１０６に送られ得る１つまたは複数の追加画像をキャプチャするために使用することができる。下流画像処理段階１００－２は、コンパニオンデバイス１０６内にあるように図示されているが、下流画像処理段階１００－２の処理のいずれも、コンピューティングデバイス１００で実行することができる。

【0026】

シーン１０２の少なくとも一部の画像をキャプチャするためのターゲットキャプチャパラメータは、キャプチャパラメータ選択処理段階１００－１における１つまたは複数の処理条件１０１に基づいて決定することができる。ターゲットキャプチャパラメータは、下流画像処理段階１００－２で画像を処理するために（処理条件に基づいて）最適化されたキャプチャパラメータとすることができる。具体的には、ターゲットキャプチャパラメータは、１つまたは複数の処理条件１０１が満たされることに基づいて選択（例えば、収束）され得る。

【0027】

いくつかの実施態様では、ターゲットキャプチャパラメータは、コンテンツをキャプチャするための初期キャプチャパラメータに基づいて選択され得る。いくつかの実施態様では、ターゲットキャプチャパラメータは、初期キャプチャパラメータと同じであるか、または初期キャプチャパラメータと同じであることが特定され得る。いくつかの実施態様では、初期キャプチャパラメータに加えて、複数の中間キャプチャパラメータを、ターゲットキャプチャパラメータが特定されるまで（例えば、収束するまで）テストする（例えば、１つまたは複数の処理条件に対して考慮する）ことができる。中間キャプチャパラメータの少なくとも１つは、中間キャプチャパラメータが１つまたは複数の処理条件１０１を満たす場合に、ターゲットキャプチャパラメータとして特定され得る。

【0028】

いくつかの実施態様では、キャプチャパラメータ選択処理段階１００－１による処理のためのコンテンツは、関心領域１３０を対象とすることができる。いくつかの実施態様では、関心領域（例えば、クロッピングによって絞り込まれた関心領域）は、ターゲットキャプチャパラメータ処理とともに、またはターゲットキャプチャパラメータ処理の後に選択され得る。いくつかの実施態様では、関心領域は、キャプチャパラメータ選択処理段階１００－１の任意の要素（例えば、画像センサ、画像信号プロセッサ、オンデバイス処理など）で選択または処理され得る。

【0029】

具体例として、シーン１０２内のテキストは、第１の解像度（低解像度、低解像度レベル）を表す初期キャプチャパラメータを使用して第１の画像内にキャプチャされ得る。キャプチャパラメータ選択処理段階１００－１は、第１の画像内のテキストが処理条件１０１を満たさない（例えば、テキスト内の文字が１文字あたりのピクセル閾値（例えば、１文字あたりのピクセル高さ）を下回る）と判定することができる。キャプチャパラメータ選択処理段階１００－１による第１の画像（例えば、テキスト）の解析に基づいて処理条件１０１が満たされないので、第２の解像度（より高い解像度、高解像度レベル）を表す中間キャプチャパラメータを使用して、シーン内のテキストの第２の画像をキャプチャすることができる。キャプチャパラメータ選択処理段階１００－１が、第２の画像内のテキストが処理条件１０１を満たす（例えば、テキスト内の文字が１文字あたりのピクセル閾値を満たすか、または超える）と判定した場合、キャプチャされたテキストの第２の画像は、下流画像処理段階１００－２内での処理（例えば、ＯＣＲ処理）のためにコンパニオンデバイスに送られ得る。

【0030】

いくつかの実施態様では、複数の画像を異なるキャプチャパラメータで同時に、またはほぼ同時にキャプチャすることができる。複数の画像のうちの第１の画像が１つまたは複数の処理条件１０１を満たすか否かについての評価が実行され得る。複数の画像のうちの第１の画像は、より少ない処理リソースを使用する（例えば、複数の画像のうちの最も少ない処理リソースを使用する）画像であり得る。複数の画像のうちの第１の画像が１つまたは複数の処理条件１０１を満たす場合、複数の画像のうちの他の画像のさらなる評価は不要であり得る。複数の画像のうちの第１の画像が１つまたは複数の処理条件１０１を満たさない場合、複数の画像のうちの第２の画像が１つまたは複数の処理条件１０１を満たすか否かの評価が実行され得る。複数の画像のうちの第２の画像は、複数の画像のうちの第１の画像よりも多くの（例えば、漸増的に多くの）処理リソースを使用する画像であり得る。複数の画像のこのような処理は、複数の画像のうちの１つが、（複数の画像から）最小量の処理リソースを使用しながら、１つまたは複数の処理条件１０１を満たすと特定されるまで実行され得る。

【0031】

図２は、本開示全体を通して説明される実施態様による、コンピューティングデバイス１００上で画像処理を実行するためのシステム２００を示す図である。いくつかの実施態様では、画像処理は、コンピューティングデバイス１００で実行される。いくつかの実施態様では、画像処理は、１つまたは複数のデバイス間で共有される。例えば、画像処理は、コンピューティングデバイス１００上で部分的に完了し、コンパニオンデバイス２０２（例えば、モバイルコンピューティングデバイス１０６など）および／またはサーバコンピューティングデバイス２０４で部分的に完了し得る。いくつかの実施態様では、画像処理は、コンピューティングデバイス１００で実行され、そのような処理からの出力は、コンパニオンデバイス２０２および／またはサーバコンピューティングデバイス２０４に提供される。

【0032】

図２は、コンピューティングデバイス１００に含まれるキャプチャパラメータ選択処理段階１００－１の実施態様を示している。図示されていないが、下流画像処理段階１００－２をコンパニオンデバイス２０２に含めることができる。この実施態様では、キャプチャパラメータ選択処理段階１００－１は、画像センサ２１６、画像信号プロセッサ２２４、およびパラメータ選択プロセッサ２２７を含む。

【0033】

画像信号プロセッサ２２４は、画像センサ２１６によってキャプチャされた生画像（例えば、生画像、アナログ画像）を、パラメータ選択プロセッサ２２７によって処理可能なデジタル処理画像フォーマットに変換するように構成することができる。例えば、生画像は、さらなる画像処理のためのいくつかの情報を含まない非圧縮画像であり得る。画像信号プロセッサ２２４は、生画像を、パラメータ選択プロセッサ２２７などの下流処理によってさらに処理可能なデジタルフォーマットに処理することができる。画像信号プロセッサ２２４は、例えば、ノイズ低減、自動ホワイトバランスおよび色補正、色補間、ガンマ補正等を実行して、デジタル処理された画像を生成することができる。いくつかの実施態様では、画像信号プロセッサ２２４は、センサシステム２１４の一部とすることができる。議論を簡略化するために、画像信号プロセッサ２２４による、画像センサ２１６によって生成された画像のデジタルプレゼンテーションへの変換は、そのような変換が下流処理（例えば、パラメータ選択プロセッサ２２７による処理）の前に生じても、一般に説明から省略される。したがって、下流の構成要素による処理は、本明細書の説明内で言及されなくても、一般に、画像信号プロセッサ２２４によるデジタル処理の後に実行される。

【0034】

図２に示される実施態様は、議論に焦点を合わせ、この説明における原理を説明するために、ＯＣＲプロセスに関連する解像度（例えば、解像度キャプチャパラメータ２２１、解像度条件２２２、解像度選択アルゴリズム２２３）の文脈で議論される。解像度以外の、または解像度に加えて、異なるタイプのキャプチャパラメータ、条件、および／またはプロセスが、少なくとも図２の実施態様に関連して使用され得る。例えば、本明細書で説明する技術は、バーコード、製品、標識、店頭、ランドマーク、植物、食品、顔、手（例えば、指し示すまたは保持する）、物体（例えば、車、建物、自転車、本、人）、特徴点追跡、および／またはこれらに限定されないような実世界オブジェクトの任意のタイプの処理（例えば、コンピュータビジョン、機械学習）に適用することができる。

【0035】

画像センサ２１６、画像信号プロセッサ２２４、およびパラメータ選択プロセッサ２２７は、キャプチャパラメータ選択処理段階１００－１内のパイプラインとして機能することができる。画像解像度は、エネルギー消費を低減または最小化するために、パイプラインのできるだけ早い段階で低減または最小化される。例えば、任意の下流処理（例えば、画像信号プロセス２２４、パラメータ選択プロセッサ２２７、通信モジュール２５２、コンパニオンデバイス２０２）での処理を低減または最小化できるように、最小解像度の画像を画像センサ２１６でキャプチャすることができる。画像センサ２１６においてより高い解像度で画像をキャプチャすることは、下流処理において、電力使用量の増加、待ち時間（例えば、送信待ち時間）の増加等をもたらす可能性がある。

【0036】

上述したように、キャプチャパラメータ選択処理段階１００－１は、さらなる処理にとって（および電力節約のために）望ましいシーン１０２の少なくとも一部の画像をキャプチャするためのターゲット解像度キャプチャパラメータを決定するために使用され得る。キャプチャパラメータ選択処理段階１００－１で決定されたターゲット解像度キャプチャパラメータは、下流の画像処理段階内でより高電力および／またはより複雑なＯＣＲ処理のためにコンパニオンデバイス２０２に送られ得る１つまたは複数の追加画像をキャプチャするために使用され得る。

【0037】

解像度キャプチャパラメータ２２１は、例えば、画像をキャプチャするために画像センサ２１６によって使用され得るパラメータを表すことができる。図示しないが、異なるタイプの解像度キャプチャパラメータ（例えば、初期解像度キャプチャパラメータ、中間解像度キャプチャパラメータ、およびターゲット解像度キャプチャパラメータ）の各々は、解像度キャプチャパラメータ２２１によって表すことができ、または一般に解像度キャプチャパラメータ２２１と呼ぶことができる。例えば、初期またはデフォルトの解像度キャプチャパラメータは、解像度キャプチャパラメータ２２１と呼ぶことができる。解像度キャプチャパラメータ２２１は、例えば、解像度の異なる値またはレベルを表すことができる。

【0038】

キャプチャパラメータ選択処理段階１００－１は、画像センサ２１６を使用して１つまたは複数の初期キャプチャパラメータを使用して画像のキャプチャを開始し、さらなる処理のために１つまたは複数のターゲット解像度キャプチャパラメータが決定されるまで、追加の解像度キャプチャパラメータ（例えば、１つまたは複数の中間キャプチャパラメータ）を調整および／または定義するように構成され得る。いくつかの実施態様では、初期キャプチャパラメータをターゲット解像度キャプチャパラメータとして特定することができる。

【0039】

例えば、画像センサ２１６は、初期解像度キャプチャパラメータ（例えば、デフォルト解像度キャプチャパラメータ、第１の解像度）を使用して画像をキャプチャするように構成され得る。パラメータ選択プロセッサ２２７は、画像内のコンテンツの少なくとも一部を解析することによって、パラメータ選択プロセッサ２２７によってキャプチャされたコンテンツがさらなる処理に十分な解像度を有するか否かを判定するように構成され得る。解像度の十分性は、解像度処理条件２２２のうちの１つまたは複数に基づいて決定することができる。具体的には、画像内のコンテンツが解像度処理条件２２２のうちの１つまたは複数を満たす場合（例えば、解像度がさらなる処理に十分である場合）、パラメータ選択プロセッサ２２７は、初期解像度キャプチャパラメータを、画像センサ２１６を使用して画像コンテンツをキャプチャするためのターゲット解像度キャプチャパラメータとして特定する。

【0040】

別の例として、画像センサ２１６は、初期解像度キャプチャパラメータ（例えば、第１の解像度）を使用して画像をキャプチャするように構成され得る。パラメータ選択プロセッサ２２７は、画像内のコンテンツの少なくとも一部を解析することによって、パラメータ選択プロセッサ２２７によってキャプチャされたコンテンツがさらなる処理に十分な解像度を有するか否かを判定するように構成され得る。解像度がさらなる処理に十分でない場合、パラメータ選択プロセッサ２２７は、中間解像度キャプチャパラメータを特定する。

【0041】

初期解像度キャプチャパラメータが、１つまたは複数の解像度起訴条件２２２に基づいて、下流処理のために画像センサ２１６によって画像をキャプチャするのに適切でないと判定された後、解像度選択アルゴリズム２２３を使用して、ターゲット解像度キャプチャパラメータが特定されるまで、１つまたは複数の中間解像度キャプチャパラメータを決定することができる。解像度アルゴリズム２２３は、解像度キャプチャパラメータの予め決定されたセットに基づくことができる。解像度アルゴリズム２２３は、解像度キャプチャパラメータの予め決定された順序に基づくことができる。解像度アルゴリズム２２３は、最小限の処理をもたらす解像度キャプチャパラメータを特定することに基づくことができる。

【0042】

解像度選択アルゴリズム２２３は、例えば、初期解像度キャプチャパラメータの後の解像度キャプチャパラメータ順序を特定するルックアップテーブル（ＬＵＴ）とすることができ、またはそれに基づくことができる。言い換えれば、異なるキャプチャパラメータ（例えば、キャプチャパラメータレベル）は、ルックアップテーブルを使用して決定され得る。ルックアップテーブルは、望ましい解像度キャプチャパラメータ（または他のタイプのキャプチャパラメータ）を迅速に決定するために使用することができる。

【0043】

例えば、ルックアップテーブルは、初期解像度キャプチャパラメータ（例えば、デフォルト解像度キャプチャパラメータ）を含むことができる。初期解像度キャプチャパラメータに基づいてキャプチャされた第１の画像が、さらなる処理（例えば、下流処理）に対して許容されない場合、第２の画像が、ルックアップテーブル内で特定された中間解像度キャプチャパラメータに基づいてキャプチャされ得る。中間解像度キャプチャパラメータに基づいてキャプチャされた第２の画像がさらなる処理に許容される場合、さらなる処理を実行することができる（中間解像度キャプチャパラメータを最終解像度キャプチャパラメータとすることができる）。中間解像度キャプチャパラメータに基づいてキャプチャされた第２の画像がさらなる処理（例えば、下流処理）に対して許容されない場合、ルックアップテーブル内で特定されたさらに別の中間解像度キャプチャパラメータに基づいて第３の画像をキャプチャすることができる。処理は、最終的な解像度キャプチャパラメータが特定されるまで、反復方式で上述したように進行することができる。解像度キャプチャパラメータ以外の他のパラメータを特定することもできる。

【0044】

いくつかの実施態様において、解像度選択アルゴリズム２２３は、様々なアルゴリズムおよび／または方程式に基づくことができる。

【0045】

コンピューティングデバイス１００は、センサシステム２１４を含む。センサシステム２１４は、画像データを検出および／または取得するように構成された画像センサ２１６を含む。いくつかの実施態様では、センサシステム２１４は複数の画像センサ２１６を含む。示されるように、センサシステム２１４は、１つまたは複数の画像センサ２１６を含む。画像センサ２１６は、画像（例えば、ピクセル、フレーム、および／または画像の一部）およびビデオをキャプチャして記録することができる。

【0046】

いくつかの実施態様では、画像センサ２１６の解像度（例えば、解像度のレベル）は、画像センサ２１６の予め定義された（例えば、予めプログラムされた）ビニング（例えば、ピクセルのビニング）によって定義され得る。例えば、画像センサ２１６の増加したピクセル数のビニングは、低下した解像度または解像度レベルをもたらすことができる。増加したピクセル数のビニングは、増加した解像度または解像度レベルをもたらすことができる。

【0047】

処理条件（例えば、処理条件１０１）の一種であるピクセル毎の閾値の満足度は、距離および現実世界の画像要素サイズ（例えば、実際のフォントサイズ）を含む多くの要因に依存し得る。本明細書で説明する技術は、任意のタイプの画像または画像要素に適用することができるが、便宜上、本明細書で説明する技術をフォントに関して説明する。

【0048】

例えば、比較的大きなフォントを有する文字をキャプチャしたが、画像センサ２１６から遠く離れている画像（例えば、生画像）は、比較的大きなフォントサイズが画像センサ２１６から離れた比較的大きな距離から解像され得るので、ピクセル毎の閾値を依然として満足し得る。このような例を図３Ａに示す。

【0049】

図３Ａに示すように、「ｔｈｅ」という単語が印刷された標識３５０－１（例えば、現実世界の標識）は、距離Ｄ１でＨＭＤディスプレイ３１０（例えば、ピクセルサイズＰ１×Ｐ２を有する表示ウィンドウ）内で見ることができる。ＨＭＤ（図示せず）の外向きの画像センサ（例えば、図２に示す画像センサ２１６）に関連する視野３２０が、ＨＭＤディスプレイ３１０内の画像（例えば、生画像）を生成してもよい。この例では、標識上の「ｔｈｅ」という単語のサイズは、距離Ｄ１において比較的大きいので、ＨＭＤディスプレイ３１０内の単語のサイズも比較的大きい。単語「ｔｈｅ」からの文字「ｔ」のピクセル数Ｑ１におけるサイズ（例えば、この例では高さ）は、下流プロセス（例えば、図１に示す下流画像処理段階１００－２）におけるさらなる処理が望ましい態様で実行され得るように、閾値（例えば、十分に大きい）よりも大きくてもよい。

【0050】

図２に戻って、別の例として、比較的小さいフォントで画像センサ２１６から遠く離れた文字をキャプチャした画像（例えば、生画像）は、比較的小さいサイズが画像センサ２１６から比較的大きく離れた距離から解像されない可能性があるため、ピクセル毎の閾値を満たさない可能性がある。図３Ａの変形例であるこのような例を図３Ｂに示す。

【0051】

図３Ｂに示すように、「ｔｈｅ」という単語が印刷された標識３５０－２（例えば、現実世界の標識）は、距離Ｄ１（図３Ａと同じ距離）でＨＭＤディスプレイ３１０（例えば、ピクセルサイズＰ１×Ｐ２を有する表示ウィンドウ）内で見ることができる。ＨＭＤ（図示せず）の外向きの画像センサに関連する視野３２０は、ＨＭＤディスプレイ３１０内の画像（例えば、生画像）を生成することができる。この例では、標識上の「ｔｈｅ」という単語のサイズは、距離Ｄ１では比較的小さいので、ＨＭＤディスプレイ３１０内の単語のサイズも比較的小さい。単語「ｔｈｅ」からの文字「ｔ」のピクセル数Ｑ２におけるサイズは、下流プロセス（例えば、図１に示す下流画像処理段階１００－２）におけるさらなる処理が望ましい態様で実行され得ないように、閾値よりも小さい場合がある。このような状況では、下流プロセス（例えば、図１に示す下流画像処理段階１００－２）におけるさらなる処理が望ましい態様で実行され得るように、「ｔｈｅ」の単語のピクセル数がＱ２よりも大きくなり得るように、キャプチャ解像度が増大され得る。

【0052】

いくつかの実施態様では、低解像度画像（例えば、生画像）と高解像度画像を同時にキャプチャするか、またはほぼ同時にキャプチャすることができる。低解像度画像が処理条件（例えば、ピクセル毎の閾値）を満たすかどうかの評価を実行することができる。低解像度画像が処理条件を満たす場合、高解像度の処理は実行されないか、または除外されることがある。低解像度画像が処理条件を満たさない場合、高解像度画像が処理条件（例えば、ピクセル毎の閾値）を満たすかどうかの評価を実行することができる。高解像度画像が処理条件を満たす場合、その高解像度画像はさらなる処理に使用される（またはトリガされる）可能性がある。高解像度画像が処理条件を満たさない場合、より高解像度の画像がキャプチャされ、より高解像度の画像が処理条件（例えば、ピクセル毎の閾値）を満たすかどうかの評価が実行され得る。

【0053】

いくつかの実施態様では、処理は高い処理レベルで開始することができる。例えば、いくつかの実施態様では、低解像度画像（例えば、生画像）と高解像度画像（例えば、生画像）とを同時にキャプチャするか、またはほぼ同時にキャプチャすることができる。高解像度画像が処理条件（例えば、ピクセル毎の閾値）を満たすかどうかの評価を実行することができる。高解像度画像が処理条件を満たす場合、低解像度の処理は実行されないか、または除外され得る。

【0054】

いくつかの実施態様では、処理は高い処理レベルで開始し、望ましい条件が満たされるまで低下させることができる。例えば、いくつかの実施態様では、低解像度画像と高解像度画像を同時にキャプチャするか、ほぼ同時にキャプチャすることができる。高解像度画像が処理条件（例えば、ピクセル毎の閾値）を満たすかどうかの評価を実行することができる。高解像度画像が処理条件を満たす場合、低解像度画像が処理条件（例えば、ピクセル毎の閾値）を満たすかどうかの評価も実行することができる。低解像度画像が処理条件を満たす場合、低解像度画像は（高解像度画像よりも）さらなる処理に使用される（またはトリガされる）可能性がある。画像は、（処理条件に基づいて決定される）最小限のさらなる処理をもたらす可能性がある解像度がキャプチャされるまで、キャプチャされ、評価され得る。

【0055】

別の例として、フォントが比較的小さいが画像センサ２１６の近くにある文字をキャプチャした画像（例えば、生画像）は、文字が比較的短い距離から解像できるため、フォントが小さくてもピクセル毎の閾値を満たす可能性がある。図３Ｂの変形例であるこのような例を図３Ｃに示す。

【0056】

図３Ｃに示すように、「ｔｈｅ」という文字が印刷された標識３５０－３（例えば、現実世界の標識）は、距離Ｄ２（図３Ａおよび図３Ｂの距離Ｄ１よりも小さい）でＨＭＤディスプレイ３１０（例えば、ピクセルサイズＰ１×Ｐ２を有する表示ウィンドウ）内で見ることができる。ＨＭＤ（図示せず）の外向きの画像センサに関連する視野３２０が、ＨＭＤディスプレイ３１０内の画像（例えば、生画像）を生成してもよい。この例では、標識上の「ｔｈｅ」という単語のサイズは距離Ｄ２において比較的大きいので、ＨＭＤディスプレイ３１０内の単語のサイズも比較的大きい。単語「ｔｈｅ」からの文字「ｔ」のピクセル数Ｑ３におけるサイズ（例えば、この例では高さ）は、下流プロセス（例えば、図１に示す下流画像処理段階１００－２）におけるさらなる処理が望ましい態様で実行され得るように、閾値（例えば、十分に大きい）よりも大きくてもよい。

【0057】

上述した実施例にしたがって、ピクセル毎の閾値は、多くの状況において適切なキャプチャ解像度を決定するための強力なツールとなり得る。ピクセル毎の閾値は、例えば、フォントサイズ（例えば、現実世界のフォントサイズ）および／または距離に関する情報なしで決定され得る単一のメトリックであり得る。

【0058】

いくつかの実施態様では、ピクセル毎の閾値は、テキスト情報のスクリプトまたは言語に基づいて決定することができる。いくつかの実施態様では、１つまたは複数の処理条件１０１は、システムの角度分解能または視力に基づくことができる。角度分解能は、画像（例えば、生画像）をキャプチャする画像センサ（例えば、カメラ）の視野に基づくことができる。いくつかの実施態様では、１つまたは複数の処理条件１０１は、鮮明度、コントラスト、精度、文字の識別の確信度、および／またはこれらに基づくことができる。

【0059】

いくつかの実施態様では、画像センサ２１６は赤緑青（ＲＧＢ）カメラである。いくつかの実施例では、画像センサ２１６は、パルスレーザセンサ（例えば、ＬｉＤＡＲセンサ）および／または深度カメラを含む。例えば、画像センサ２１６は、画像フレーム２２６によって表される画像を作成するために使用される情報を検出して伝達するように構成されたカメラであってもよい。画像センサ２１６は、画像とビデオの両方をキャプチャして記録することができる。

【0060】

動作において、画像センサ２１６は、デバイス１００が起動されている間、連続的または周期的に画像データ（例えば、光学センサデータ）を取得する（例えば、キャプチャする）ように構成される。いくつかの実施態様では、画像センサ２１６は、常時オンセンサとして動作するように構成される。いくつかの実施態様では、画像センサ２１６は、物体または関心領域の検出に応答して起動され得る。

【0061】

いくつかの実施態様では、コンピューティングデバイス１００は、１つまたは複数のコンピューティングデバイスを含み、デバイスの少なくとも１つは、人の皮膚上にまたは皮膚に近接して装着可能なディスプレイデバイスである。いくつかの例では、コンピューティングデバイス１００は、１つまたは複数のコンピューティングデバイスコンポーネントであるか、またはそれを含む。いくつかの実施態様では、コンピューティングデバイス１００は、光学ヘッドマウントディスプレイ（ＯＨＭＤ）デバイス、透明ヘッドアップディスプレイ（ＨＵＤ）デバイス、仮想現実（ＶＲ）デバイス、ＡＲデバイス、またはセンサ、ディスプレイ、およびコンピューティング機能を有するゴーグルもしくはヘッドセットなどの他のデバイスなどのヘッドマウントディスプレイ（ＨＭＤ）デバイスを含み得る。いくつかの実施態様では、コンピューティングデバイス１００は、ＡＲメガネ（例えば、スマートグラス）を含む。ＡＲメガネは、一対のメガネの形状に設計された光学ヘッドマウントディスプレイデバイスを表す。いくつかの実施態様において、コンピューティングデバイス１００は、スマートウォッチであるか、またはスマートウォッチを含む。いくつかの実施態様において、コンピューティングデバイス１００は、宝飾品であるか、または宝飾品を含む。いくつかの実施態様では、コンピューティングデバイス１００は、リングコントローラデバイスまたは他のウェアラブルコントローラであるか、またはそれを含む。いくつかの実施態様では、コンピューティングデバイス１００は、イヤホン／ヘッドホンまたはスマートイヤホン／ヘッドホンであるか、またはそれを含む。

【0062】

図２に示すように、システム２００は、コンパニオンデバイス２０２および任意選択でサーバコンピューティングデバイス２０４に通信可能に結合されたコンピューティングデバイス１００を含む。いくつかの実施態様では、通信可能な結合は、ネットワーク２０６を介して発生する可能性がある。いくつかの実施態様では、通信可能な結合は、コンピューティングデバイス１００、コンパニオンデバイス２０２、および／またはサーバコンピューティングデバイス２０４の間で直接発生してもよい。

【0063】

コンピューティングデバイス１００は、１つまたは複数のプロセッサ２０８を含み、これらのプロセッサは、１つまたは複数の機械実行可能命令またはソフトウェア、ファームウェア、またはそれらの組み合わせを実行するように構成された基板に形成され得る。プロセッサ２０８は、半導体ベースであることができ、デジタル論理を実行することができる半導体材料を含むことができる。プロセッサ２０８は、ほんのいくつかの例を挙げると、ＣＰＵ、ＧＰＵ、および／またはＤＳＰを含み得る。

【0064】

コンピューティングデバイス１００はまた、１つまたは複数のメモリデバイス２１０を含み得る。メモリデバイス２１０は、プロセッサ２０８によって読み取りおよび／または実行され得るフォーマットで情報を記憶する任意のタイプの記憶デバイスを含み得る。メモリデバイス２１０は、プロセッサ２０８によって実行されると、特定の動作を実行するアプリケーションおよびモジュールを記憶することができる。いくつかの例では、アプリケーションおよびモジュールは、外部記憶デバイスに記憶され、メモリデバイス２１０にロードされてもよい。メモリ２１０は、例えば、デバイス１００のための画像コンテンツおよび／または音声コンテンツを記憶および取得するために、バッファ２１２を含むかまたはバッファ２１２にアクセスすることができる。

【0065】

センサシステム２１４は、慣性運動ユニット（ＩＭＵ）センサ２１８を含むこともできる。ＩＭＵセンサ２１８は、コンピューティングデバイス１００の動き、移動、および／または加速度を検出し得る。ＩＭＵセンサ２１８は、例えば、加速度計、ジャイロスコープ、磁力計、および他のそのようなセンサなどの様々な異なるタイプのセンサを含み得る。

【0066】

いくつかの実施態様では、センサシステム２１４は、コンピューティングデバイス１００によって受信された音声を検出するように構成された音声センサ２２０も含み得る。センサシステム２１４は、光センサ、距離センサおよび／または近接センサ、静電容量センサなどの接触センサ、タイマ、および／または他のセンサおよび／またはセンサの異なる組み合わせなどの他のタイプのセンサを含み得る。センサシステム２１４は、コンピューティングデバイス１００の位置および／または向きに関連する情報を取得するために使用され得る。

【0067】

また、コンピューティングデバイス１００は、無線信号を介して他のコンピューティングデバイスと通信するように構成された１つまたは複数のアンテナ２４２を含み得る。例えば、コンピューティングデバイス１００は、１つまたは複数の無線信号を受信し、無線信号を使用して、コンパニオンデバイス２０２および／またはサーバコンピューティングデバイス２０４などの他のデバイス、またはアンテナ２４２の範囲内にある他のデバイスと通信することができる。無線信号は、近距離接続（例えば、Bluetooth接続または近距離無線通信（ＮＦＣ）接続）またはインターネット接続（例えば、Wi－Fiまたはモバイルネットワーク）などの無線接続を介してトリガされてもよい。

【0068】

コンピューティングデバイス１００は、ディスプレイ２４４を含む。ディスプレイ２４４は、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）ディスプレイ、有機発光ディスプレイ（ＯＬＥＤ）、電気泳動ディスプレイ（ＥＰＤ）、またはＬＥＤ光源を採用するマイクロプロジェクションディスプレイを含み得る。いくつかの例では、ディスプレイ２４４は、ユーザの視野上に投影される。いくつかの例では、ＡＲメガネの場合、ディスプレイ２４４は、ＡＲメガネを装着したユーザが、ディスプレイ２４４によって提供される画像だけでなく、投影された画像の背後にあるＡＲメガネの視野内に位置する情報も見ることができるように、透明または半透明のディスプレイを提供することができる。

【0069】

また、コンピューティングデバイス１００は、コンピューティングデバイス１００の動作を容易にするための様々な制御システムデバイスを含む制御システム２４６を含む。制御システム２４６は、コンピューティングデバイス１００の構成要素に動作可能に結合されたプロセッサ２０８および／またはセンサシステム２１４を利用することができる。

【0070】

コンピューティングデバイス１００は、ＵＩレンダラ２５０も含む。ＵＩレンダラ２５０は、ディスプレイ２４４と共に機能して、コンピューティングデバイス１００のユーザに対してユーザインターフェースオブジェクトまたは他のコンテンツを描写することができる。例えば、ＵＩレンダラ２５０は、デバイス１００によってキャプチャされた画像を受信して、ディスプレイ２４４上に追加のユーザインターフェースコンテンツを生成し、レンダリングすることができる。

【0071】

コンピューティングデバイス１００はまた、通信モジュール２５２を含む。通信モジュール２５２は、コンピューティングデバイス１００が、デバイス１００の範囲内にある別のコンピューティングデバイスと情報を交換するために通信することを可能にし得る。例えば、コンピューティングデバイス１００は、例えば有線接続、例えばWi－FiまたはBluetoothを介した無線接続、または他のタイプの接続を介した通信を容易にするために、他のコンピューティングデバイスに動作可能に結合されてもよい。

【0072】

いくつかの実施態様では、コンピューティングデバイス１００は、ネットワーク２０６を介してサーバコンピューティングデバイス２０４および／またはコンパニオンデバイス２０２と通信するように構成される。サーバコンピューティングデバイス２０４は、例えば標準サーバ、そのようなサーバのグループ、またはラックサーバシステムのような、多数の異なるデバイスの形態をとる１つまたは複数のコンピューティングデバイスを表すことができる。いくつかの実施態様では、サーバコンピューティングデバイス２０４は、プロセッサおよびメモリなどの構成要素を共有する単一のシステムである。ネットワーク２０６は、インターネットおよび／またはローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、セルラーネットワーク、衛星ネットワーク、または他のタイプのデータネットワーク、などの他のタイプのデータネットワークを含むことができる。ネットワーク２０６はまた、ネットワーク２０６内でデータを受信および／または送信するように構成された任意の数のコンピューティングデバイス（例えば、コンピュータ、サーバ、ルータ、ネットワークスイッチなど）を含み得る。

【0073】

図４Ａおよび図４Ｂは、本開示全体を通して説明される実施態様による、ＡＲウェアラブルコンピューティングデバイスの一例の様々な図を示す。図４Ａは、本開示全体を通して説明される実施態様による、ウェアラブルコンピューティングデバイスの一例の正面図である。この例では、ウェアラブルコンピューティングデバイスは、一対のＡＲメガネ４００Ａ（例えば、図１のウェアラブルコンピューティングデバイス１００）である。一般に、ＡＲメガネ４００Ａは、システム２００の任意の構成要素または全ての構成要素を含み得る。ＡＲメガネ４００Ａはまた、一対のメガネの形状に設計された光学ヘッドマウントディスプレイデバイスを表すスマートグラスとして示されてもよい。例えば、スマートグラスは、着用者がメガネを通して見るものと並行して情報を追加する（例えば、ディスプレイを投影する）メガネである。

【0074】

ＡＲメガネ４００Ａは、本明細書で説明されるウェアラブルコンピューティングデバイスとして示されるが、他のタイプのウェアラブルコンピューティングデバイスも可能である。例えば、ウェアラブルコンピューティングデバイスは、光学ヘッドマウントディスプレイ（ＯＨＭＤ）デバイスなどのヘッドマウントディスプレイ（ＨＭＤ）デバイス、透明ヘッドアップディスプレイ（ＨＵＤ）デバイス、拡張現実（ＡＲ）デバイス、またはセンサ、ディスプレイ、およびコンピューティング機能を有するゴーグルもしくはヘッドセットなどの他のデバイスを含み得る。いくつかの例では、ウェアラブルコンピューティングデバイスは、時計、モバイルデバイス、宝飾品、リングコントローラ、または他のウェアラブルコントローラであってもよい。

【0075】

図４Ａに示すように、ＡＲメガネ４００Ａは、フレーム４０２を含み、フレーム４０２内（またはフレーム４０２のガラス部分内）にディスプレイデバイス４０４が結合されている。ＡＲメガネ４００Ａはまた、音声出力デバイス４０６、照明デバイス４０８、感知システム４１０、制御システム４１２、少なくとも１つのプロセッサ４１４、およびカメラ４１６を含む。

【0076】

ディスプレイデバイス４０４は、バードバス光学系または導波路光学系を使用するものなどのシースルーニアアイディスプレイを含むことができる。例えば、このような光学設計は、ディスプレイ光源からの光を、４５度の角度で配置されたビームスプリッタとして機能するテレプロンプターガラスの一部に投影することができる。ビームスプリッタは、ディスプレイ光源からの光を部分的に反射させ、残りの光を透過させる反射値と透過値を可能にすることができる。このような光学設計により、ユーザは、ディスプレイによって生成されたデジタル画像（例えば、ＵＩ要素、仮想コンテンツなど）の隣にある世界の物理的アイテムの両方を見ることができる。いくつかの実施態様では、ＡＲメガネ４００Ａのディスプレイデバイス４０４にコンテンツを描写するために導波路光学系が使用され得る。

【0077】

音声出力デバイス４０６（例えば、１つまたは複数のスピーカ）は、フレーム４０２に結合されてもよい。感知システム４１０は、ＡＲメガネ４００Ａの操作を容易にするために、様々な感知デバイスおよび様々な制御システムデバイスを含む制御システム４１２を含むことができる。制御システム４１２は、制御システム４１２の構成要素に動作可能に結合されたプロセッサ４１４を含むことができる。

【0078】

カメラ４１６は、静止画像および／または動画像をキャプチャすることができる。いくつかの実施態様では、カメラ４１６は、カメラ４１６からの外部物体の距離に関連するデータを収集することができる深度カメラであってもよい。いくつかの実施態様では、カメラ４１６は、例えば、入力デバイス上の光学マーカまたはスクリーン上の指など、外部デバイス上の１つまたは複数の光学マーカを検出して追跡することができる点追跡カメラであってもよい。いくつかの実施態様では、ＡＲメガネ４００Ａは、カメラ４１６の視野内の物体（例えば、仮想および物理）を検出するために、例えば、カメラ４１６と共に選択的に動作し得る照明デバイス４０８を含み得る。照明デバイス４０８は、例えば、カメラ４１６の視野内の物体の検出のために、カメラ４１６と共に選択的に動作してもよい。

【0079】

ＡＲメガネ４００Ａは、プロセッサ４１４および制御システム４１２と通信する通信モジュール（例えば、通信モジュール２５２）を含むことができる。通信モジュールは、ＡＲメガネ４００Ａ内に収容されたデバイス間の通信だけでなく、例えばコントローラ、モバイルデバイス、サーバ、および／または他のコンピューティングデバイスなどの外部デバイスとの通信を提供することができる。通信モジュールは、ＡＲメガネ４００Ａが別のコンピューティングデバイスと情報を交換するために通信し、ＡＲメガネ４００Ａまたは環境内の他の識別可能な要素の範囲内にある他のデバイスを認証することを可能にすることができる。例えば、ＡＲメガネ４００Ａは、例えば有線接続、例えばWi－FiまたはBluetoothを介した無線接続、または他のタイプの接続を介した通信を容易にするために、他のコンピューティングデバイスに動作可能に結合されてもよい。

【0080】

図４Ｂは、本開示全体を通して説明される実施態様による、ＡＲメガネ４００Ａの背面図４００Ｂである。ＡＲメガネ４００Ｂは、図１のウェアラブルコンピューティングデバイス１００の一例であってもよい。ＡＲメガネ４００Ｂは、着用者がメガネを通して見るものと並行して情報を追加する（例えば、ディスプレイ４２０に投影する）メガネである。いくつかの実施態様では、情報を投影する代わりに、ディスプレイ４２０はレンズ内マイクロディスプレイである。いくつかの実施態様では、ＡＲメガネ４００Ｂ（例えば、メガネまたは眼鏡）は、人の目の前にレンズを保持するフレーム４０２に取り付けられたレンズ４２２（例えば、ガラスまたは硬質プラスチックレンズ）を含む視覚補助具であり、典型的には、鼻の上のブリッジ４２４、および耳の上に載るつる４２６（例えば、テンプルまたはテンプル片）を利用する。

【0081】

図５は、本明細書で説明する実施態様に関連する方法を示すフローチャートである。本方法は、少なくとも図１および図２に示すキャプチャパラメータ選択処理段階１００－１内で実行することができる。

【0082】

本方法は、画像センサを使用して、第１の解像度で第１の生画像をキャプチャすることを含むことができる（ブロック５１０）。第１の画像は、例えば、図２に示す画像センサ２１６を使用してキャプチャすることができる。第１の解像度は、図２に示す解像度キャプチャパラメータ２２１内に含めることができる。

【0083】

本方法は、画像信号プロセッサを使用して、第１の生画像をデジタル処理された画像に変換することを含むことができる（ブロック５２０）。画像信号プロセッサは、例えば、図２に示す画像信号プロセッサ２２４であり得る。

【0084】

本方法は、処理条件に基づいてデジタル処理された画像の少なくとも一部を解析することを含むことができる（ブロック５３０）。解析は、例えば、図２に示すパラメータ選択プロセッサ２２７で実行することができる。処理条件は、例えば、図１に示す処理条件１０１を含み得る。処理条件の具体例は、図１に示す解像度処理条件２２２として示される。

【0085】

本方法は、第１の解像度が処理条件を満たさないと判定することを含むことができる（ブロック５４０）。判定は、例えば、図２に示すパラメータ選択プロセッサ２２７で実行することができる。判定は、図２に示す解像度選択アルゴリズム２２３に基づくことができる。

【0086】

本方法は、第１の解像度よりも大きい第２の解像度で、画像センサにおける第２の生画像のキャプチャをトリガすることを含むことができる（ブロック５５０）。第２の画像は、例えば、図２に示す画像センサ２１６を使用してキャプチャすることができる。第２の解像度は、図２に示す解像度キャプチャパラメータ２２１内に含めることができる。

【0087】

図６は、本明細書で説明される技術と共に使用され得る（例えば、クライアントコンピューティングデバイス１００、サーバコンピューティングデバイス２０４、および／またはモバイルデバイス２０２を実装する）コンピュータデバイス１０００およびモバイルコンピュータデバイス１０５０の例を示す。コンピューティングデバイス１０００は、プロセッサ１００２、メモリ１００４、記憶デバイス１００６、メモリ１００４および高速拡張ポート１０１０に接続する高速インターフェース１００８、および低速バス１０１４および記憶デバイス１００６に接続する低速インターフェース１０１２を含む。各構成要素１００２、１００４、１００６、１００８、１０１０、および１０１２は、様々なバスを使用して相互接続されており、共通のマザーボード上に、または適切な他の方法で搭載することができる。プロセッサ１００２は、高速インターフェース１００８に結合されたディスプレイ１０１６などの外部入出力デバイス上にＧＵＩのためのグラフィカル情報を表示するために、メモリ１００４または記憶デバイス１００６に格納された命令を含む、コンピューティングデバイス１０００内で実行するための命令を処理することができる。他の実施態様では、複数のプロセッサおよび／または複数のバスが、複数のメモリおよびメモリの種類とともに、適宜、使用されてもよい。また、複数のコンピューティングデバイス１０００が接続され、各デバイスが必要な動作の一部を提供してもよい（例えば、サーババンク、ブレードサーバのグループ、またはマルチプロセッサシステムとして）。

【0088】

メモリ１００４は、コンピューティングデバイス１０００内の情報を記憶する。ある実施態様では、メモリ１００４は、揮発性メモリユニットまたは複数の揮発性メモリユニットである。別の実施態様では、メモリ１００４は、不揮発性メモリユニットまたは複数の不揮発性メモリユニットである。メモリ１００４はまた、磁気ディスクまたは光ディスクなどの、別の形態のコンピュータ可読媒体であってもよい。

【0089】

記憶デバイス１００６は、コンピューティングデバイス１０００に大容量記憶装置を提供することができる。一実施態様では、記憶デバイス１００６は、フロッピー（登録商標）ディスクデバイス、ハードディスクデバイス、光ディスクデバイス、またはテープデバイス、フラッシュメモリまたは他の類似のソリッドステートメモリデバイス、またはストレージエリアネットワークまたは他の構成のデバイスを含むデバイスのアレイなどのコンピュータ可読媒体であるか、またはそれを含むことができる。コンピュータプログラム製品は、情報キャリアに具体化することができる。また、コンピュータプログラム製品は、実行されると、上述したような１つまたは複数の方法を実行する命令を含むことができる。情報キャリアは、メモリ１００４、記憶デバイス１００６、またはプロセッサ１００２上のメモリなどのコンピュータまたは機械可読媒体である。

【0090】

高速コントローラ１００８は、コンピューティングデバイス１０００の帯域幅集約的な操作を管理し、低速コントローラ１０１２は、低帯域幅集約的な操作を管理する。このような機能の割り当ては、一例である。一実施態様では、高速コントローラ１００８は、メモリ１００４、ディスプレイ１０１６（例えば、グラフィックプロセッサまたはアクセラレータを介して）、および高速拡張ポート１０１０に結合され、様々な拡張カード（図示せず）を受け入れることができる。本実施態様では、低速コントローラ１０１２は、記憶デバイス１００６および低速拡張ポート１０１４に結合される。様々な通信ポート（例えば、ＵＳＢ、Bluetooth、Ethernet、ワイヤレスEthernet）を含み得る低速拡張ポートは、キーボード、ポインティングデバイス、スキャナなどの１つまたは複数の入出力デバイス、または、例えば、ネットワークアダプタを介して、スイッチまたはルータなどのネットワークデバイスに結合され得る。

【0091】

コンピューティングデバイス１０００は、図示のように、多数の異なる形態で実装されてもよい。例えば、コンピューティングデバイス１０００は、標準サーバ１０２０として実装されてもよいし、そのようなサーバ群で複数回実装されてもよい。また、コンピューティングデバイス１０００は、ラックサーバシステム１０２４の一部として実装してもよい。さらに、コンピューティングデバイス１０００は、ラップトップコンピュータ１０２２のようなパーソナルコンピュータに実装されてもよい。あるいは、コンピューティングデバイス１０００からの構成要素は、デバイス１０５０のようなモバイルデバイス（図示せず）において他の構成要素と組み合わされてもよい。このようなデバイスの各々は、コンピューティングデバイス１０００、１０５０の１つまたは複数を含むことができ、システム全体は、互いに通信する複数のコンピューティングデバイス１０００、１０５０で構成されることができる。

【0092】

コンピューティングデバイス１０５０は、他の構成要素の中でも、プロセッサ１０５２、メモリ１０６４、ディスプレイ１０５４などの入出力デバイス、通信インターフェース１０６６、およびトランシーバ１０６８を含む。デバイス１０５０はまた、追加の記憶装置を提供するために、マイクロドライブまたは他のデバイスなどの記憶デバイスを備えることもできる。各構成要素１０５０、１０５２、１０６４、１０５４、１０６６、および１０６８は、様々なバスを使用して相互接続され、構成要素のいくつかは、共通のマザーボード上に、または適切な他の方法で搭載されてもよい。

【0093】

プロセッサ１０５２は、メモリ１０６４に記憶された命令を含む、コンピューティングデバイス１０５０内の命令を実行することができる。プロセッサは、別個の複数のアナログおよびデジタルプロセッサを含むチップのチップセットとして実装されてもよい。プロセッサは、例えば、ユーザインターフェースの制御、デバイス１０５０によって実行されるアプリケーション、およびデバイス１０５０による無線通信のような、デバイス１０５０の他の構成要素の調整を提供することができる。

【0094】

プロセッサ１０５２は、ディスプレイ１０５４に結合された制御インターフェース１０５８およびディスプレイインターフェース１０５６を介してユーザと通信することができる。ディスプレイ１０５４は、例えば、ＴＦＴ ＬＣＤ（薄膜トランジスタ液晶ディスプレイ）、ＬＥＤ（発光ダイオード）またはＯＬＥＤ（有機発光ダイオード）ディスプレイ、または他の適切なディスプレイ技術であってもよい。ディスプレイインターフェース１０５６は、ディスプレイ１０５４を駆動してグラフィカルなその他の情報をユーザに提示するための適切な回路を含むことができる。制御インターフェース１０５８は、ユーザからコマンドを受信し、プロセッサ１０５２に送信するために変換することができる。さらに、外部インターフェース１０６２が、プロセッサ１０５２と通信して、デバイス１０５０と他のデバイスとの近距離通信を可能にするように提供されてもよい。外部インターフェース１０６２は、例えば、ある実施態様では有線通信を提供し、他の実施態様では無線通信を提供し、複数のインターフェースが使用されることもある。

【0095】

メモリ１０６４は、コンピューティングデバイス１０５０内の情報を記憶する。メモリ１０６４は、コンピュータ可読媒体またはメディア、揮発性メモリユニットまたは複数の揮発性メモリユニット、または不揮発性メモリユニットまたは複数の不揮発性メモリユニットのうちの１つまたは複数として実装され得る。拡張メモリ１０７４もまた、例えばＳＩＭＭ（シングルインラインメモリモジュール）カードインターフェースを含み得る拡張インターフェース１０７２を介してデバイス１０５０に提供および接続され得る。このような拡張メモリ１０７４は、デバイス１０５０のための余分な記憶空間を提供することができ、またはデバイス１０５０のためのアプリケーションまたは他の情報を記憶することもできる。具体的には、拡張メモリ１０７４は、上述した処理を実行または補足する命令を含んでもよく、また、セキュアな情報を含んでもよい。したがって、例えば、拡張メモリ１０７４は、デバイス１０５０のセキュリティモジュールとして提供され、デバイス１０５０の安全な使用を可能にする命令でプログラムされてもよい。さらに、セキュアアプリケーションは、ＳＩＭＭカード上に識別情報をハッキング不可能な方法で配置するなどの追加情報とともに、ＳＩＭＭカードを介して提供されてもよい。

【0096】

メモリは、例えば、後述するように、フラッシュメモリおよび／またはＮＶＲＡＭメモリを含み得る。一実施態様では、コンピュータプログラム製品は、情報キャリアに具体化することができる。コンピュータプログラム製品は、実行されると、上述したような１つまたは複数の方法を実行する命令を含む。情報キャリアは、例えば、トランシーバ１０６８または外部インターフェース１０６２を介して受信され得る、メモリ１０６４、拡張メモリ１０７４、またはプロセッサ１０５２上のメモリなどの、コンピュータまたは機械可読媒体である。

【0097】

デバイス１０５０は、必要に応じてデジタル信号処理回路を含み得る通信インターフェース１０６６を介して無線通信することができる。通信インターフェース１０６６は、ＧＳＭ（登録商標）音声通話、ＳＭＳ、ＥＭＳ、またはＭＭＳメッセージング、ＣＤＭＡ、ＴＤＭＡ、ＰＤＣ、ＷＣＤＭＡ（登録商標）、ＣＤＭＡ２０００、またはＧＰＲＳなどの様々なモードまたはプロトコルでの通信を提供することができる。このような通信は、例えば、無線周波数トランシーバ１０６８を介して行われる。さらに、Bluetooth、Wi－Fi、または他のそのようなトランシーバ（図示せず）を使用するなどして、近距離通信が行われてもよい。さらに、ＧＰＳ（全地球測位システム）受信機モジュール１０７０は、追加のナビゲーションおよび位置関連の無線データをデバイス１０５０に提供する場合があり、デバイス１０５０上で実行されるアプリケーションによって適宜使用される場合がある。

【0098】

デバイス１０５０は、音声コーデック１０６０を使用して音声通信することもでき、音声コーデック１０６０は、ユーザから音声情報を受信し、それを使用可能なデジタル情報に変換することができる。音声コーデック１０６０は、同様に、例えば、デバイス１０５０のハンドセット内のスピーカを介するなどして、ユーザに対して可聴音を生成してもよい。そのような音は、音声通話からの音を含み、録音された音（例えば、音声メッセージ、音楽ファイルなど）を含み、また、デバイス１０５０上で動作するアプリケーションによって生成された音を含むことができる。

【0099】

コンピューティングデバイス１０５０は、図示のように、多数の異なる形態で実装されてもよい。コンピューティングデバイス１０５０は、例えば、携帯電話１０８０として実装されてもよい。また、コンピューティングデバイス１０５０は、スマートフォン１０８２、パーソナルデジタルアシスタント、または他の同様のモバイルデバイスの一部として実装されてもよい。

【0100】

本明細書で説明するシステムおよび技術の様々な実施態様は、デジタル電子回路、集積回路、特別に設計されたＡＳＩＣ（特定用途向け集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェア、および／またはそれらの組み合わせで実現することができる。これらの様々な実施態様は、特殊目的であっても汎用目的であってもよく、記憶システム、少なくとも１つの入力デバイス、および少なくとも１つの出力デバイスからデータおよび命令を受信し、記憶システム、少なくとも１つの入力デバイス、および少なくとも１つの出力デバイスにデータおよび命令を送信するように結合された少なくとも１つのプログラマブルプロセッサを含むプログラマブルシステム上で実行可能および／または解釈可能な１つまたは複数のコンピュータプログラムでの実装を含むことができる。

【0101】

これらのコンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーションまたはコードとしても知られている）は、プログラマブルプロセッサのための機械命令を含み、高レベルの手続き型および／またはオブジェクト指向プログラミング言語、および／またはアセンブリ／機械言語で実装され得る。本明細書で使用される場合、「機械可読媒体」「コンピュータ可読媒体」という用語は、機械命令を機械可読信号として受信する機械可読媒体を含め、機械命令および／またはデータをプログラマブルプロセッサに提供するために使用される任意のコンピュータプログラム製品、装置および／またはデバイス（例えば、磁気ディスク、光ディスク、メモリ、プログラマブルロジックデバイス（ＰＬＤ））を指す。「機械可読信号」という用語は、機械命令および／またはデータをプログラマブルプロセッサに提供するために使用されるあらゆる信号を指す。

【0102】

ユーザとの対話を提供するために、本明細書で説明するシステムおよび技術は、ユーザに情報を表示するための表示デバイス（ＬＥＤ（発光ダイオード）、またはＯＬＥＤ（有機ＬＥＤ）、またはＬＣＤ（液晶ディスプレイ）モニタ／スクリーン）、およびユーザがコンピュータに入力を提供することができるキーボードおよびポインティングデバイス（例えば、マウスまたはトラックボール）を有するコンピュータ上で実装することができる。ユーザとの対話を提供するために、他の種類のデバイスを使用することもできる。例えば、ユーザに提供されるフィードバックは、任意の形式の感覚的フィードバック（例えば、視覚的フィードバック、聴覚的フィードバック、または触覚的フィードバック）とすることができ、ユーザからの入力は、音響入力、音声入力、または触覚入力を含む任意の形式で受信することができる。

【0103】

本明細書で説明するシステムおよび技術は、バックエンド構成要素（例えば、データサーバとして）を含むコンピューティングシステム、またはミドルウェア構成要素（例えば、アプリケーションサーバ）を含むコンピューティングシステム、またはフロントエンド構成要素（例えば、グラフィカルユーザインターフェースまたはユーザが本明細書で説明するシステムおよび技術の実装と対話することができるウェブブラウザを有するクライアントコンピュータ）を含むコンピューティングシステム、またはそのようなバックエンド、ミドルウェア、またはフロントエンド構成要素の任意の組み合わせで実装することができる。システムの構成要素は、デジタルデータ通信（例えば、通信ネットワーク）の任意の形式または媒体によって相互接続することができる。通信ネットワークの例には、ローカルエリアネットワーク（「ＬＡＮ」）、ワイドエリアネットワーク（「ＷＡＮ」）、およびインターネットが含まれる。

【0104】

コンピューティングシステムは、クライアントとサーバを含むことができる。クライアントとサーバは、一般的に互いに離れており、通常、通信ネットワークを介して相互作用する。クライアントとサーバの関係は、それぞれのコンピュータ上で実行されるコンピュータプログラムによって生じ、互いにクライアントとサーバの関係を有する。

【0105】

いくつかの実施態様では、図に描かれているコンピューティングデバイスは、ＡＲヘッドセット／ＨＭＤデバイス１０９０とインターフェースして、挿入されたコンテンツを物理空間内で見るための拡張環境を生成するセンサを含むことができる。例えば、コンピューティングデバイス１０５０または図に描かれている他のコンピューティングデバイスに含まれる１つまたは複数のセンサは、ＡＲヘッドセット１０９０に入力を提供することができ、または一般に、ＡＲ空間に入力を提供することができる。センサは、タッチスクリーン、加速度計、ジャイロスコープ、圧力センサ、生体センサ、温度センサ、湿度センサ、および周囲光センサを含むことができるが、これらに限定されない。コンピューティングデバイス１０５０は、センサを使用して、ＡＲ空間におけるコンピューティングデバイスの絶対位置および／または検出された回転を決定することができ、これは、次いで、ＡＲ空間への入力として使用され得る。例えば、コンピューティングデバイス１０５０は、コントローラ、レーザポインタ、キーボード、武器などの仮想物体としてＡＲ空間に組み込むことができる。ＡＲ空間に組み込まれたとき、ユーザによるコンピューティングデバイス／仮想物体の位置決めにより、ユーザは、ＡＲ空間において特定の態様で仮想物体を見るようにコンピューティングデバイスを位置決めすることができる。

【0106】

いくつかの実施態様では、コンピューティングデバイス１０５０に含まれる、またはコンピューティングデバイス１０５０に接続される、１つまたは複数の入力デバイスは、ＡＲ空間への入力として使用され得る。入力デバイスは、タッチスクリーン、キーボード、１つまたは複数のボタン、トラックパッド、タッチパッド、ポインティングデバイス、マウス、トラックボール、ジョイスティック、カメラ、マイク、入力機能を有するイヤホンまたはバッド、ゲーミングコントローラ、または他の接続可能な入力デバイスを含むことができるが、これらに限定されない。コンピューティングデバイスがＡＲ空間に組み込まれたときに、コンピューティングデバイス１０５０に含まれる入力デバイスと対話するユーザは、ＡＲ空間において特定のアクションを発生させることができる。

【0107】

いくつかの実施態様では、コンピューティングデバイス１０５０のタッチスクリーンは、ＡＲ空間においてタッチパッドとしてレンダリングされ得る。ユーザは、コンピューティングデバイス１０５０のタッチスクリーンと対話することができる。対話は、例えばＡＲヘッドセット１０９０において、ＡＲ空間内のレンダリングされたタッチパッド上の動きとしてレンダリングされる。レンダリングされた動きは、ＡＲ空間内の仮想物体を制御することができる。

【0108】

いくつかの実施態様では、コンピューティングデバイス１０５０に含まれる１つまたは複数の出力デバイスは、ＡＲ空間においてＡＲヘッドセット１０９０のユーザに出力および／またはフィードバックを提供することができる。出力およびフィードバックは、視覚的、触覚的、または音声であり得る。出力および／またはフィードバックは、振動、１つまたは複数のライトまたはストロボのオン／オフまたは点滅および／またはフラッシング、アラームの鳴動、チャイムの再生、曲の再生、および音声ファイルの再生を含むことができるが、これらに限定されない。出力デバイスには、振動モータ、振動コイル、圧電デバイス、静電デバイス、発光ダイオード（ＬＥＤ）、ストロボ、およびスピーカが含まれるが、これらに限定されない。

【0109】

いくつかの実施態様では、コンピューティングデバイス１０５０は、コンピュータ生成された３Ｄ環境の別の物体として現れることがある。ユーザによるコンピューティングデバイス１０５０との対話（例えば、回転、振る、タッチスクリーンに触れる、タッチスクリーンを横切って指をスワイプする）は、ＡＲ空間内の物体との対話として解釈され得る。ＡＲ空間におけるレーザポインタの例では、コンピューティングデバイス１０５０は、コンピュータ生成された３Ｄ環境における仮想レーザポインタとして現れる。ユーザがコンピューティングデバイス１０５０を操作すると、ＡＲ空間内のユーザは、レーザポインタの動きを見る。ユーザは、ＡＲ環境におけるコンピューティングデバイス１０５０との対話からのフィードバックを、コンピューティングデバイス１０５０上またはＡＲヘッドセット１０９０上で受け取る。ユーザのコンピューティングデバイスとの対話は、制御可能なデバイスのＡＲ環境において生成されたユーザインターフェースとの対話に変換されてもよい。

【0110】

いくつかの実施態様では、コンピューティングデバイス１０５０は、タッチスクリーンを含み得る。例えば、ユーザは、制御可能なデバイスのためのユーザインターフェースと対話するために、タッチスクリーンと対話することができる。例えば、タッチスクリーンは、制御可能なデバイスのプロパティを制御できるスライダなどのユーザインターフェース要素を含むことができる。

【0111】

コンピューティングデバイス１０００は、ラップトップ、デスクトップ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、メインフレーム、および他の適切なコンピュータを含むが、これらに限定されない、様々な形態のデジタルコンピュータおよびデバイスを表すことを意図している。コンピューティングデバイス１０５０は、パーソナルデジタルアシスタント、携帯電話、スマートフォン、および他の同様のコンピューティングデバイスなど、様々な形態のモバイルデバイスを表すことを意図している。本明細書に示された構成要素、それらの接続および関係、ならびにそれらの機能は、例示であることのみを意図しており、本明細書で説明および／または特許請求される主題の実施を制限することを意図していない。

【0112】

多数の実施形態が説明されてきた。それにもかかわらず、本明細書の精神および範囲から逸脱することなく、様々な変更がなされ得ることが理解されるであろう。

【0113】

さらに、図に描かれた論理フローは、望ましい結果を達成するために、示された特定の順序、または連続した順序を必要としない。さらに、記載されたフローから他のステップを設けてもよく、またはステップを削除してもよく、記載されたシステムに他の構成要素を追加してもよく、またはシステムから他の構成要素を削除してもよい。したがって、他の実施形態は、以下の特許請求の範囲の範囲内にある。

【0114】

上記の説明に加えて、本明細書に記載されるシステム、プログラム、または機能が、ユーザ情報（例えば、ユーザのソーシャルネットワーク、ソーシャルアクション、またはアクティビティ、職業、ユーザの嗜好、またはユーザの現在位置に関する情報）の収集を可能にする場合、およびユーザがサーバからコンテンツまたは通信を送信される場合の両方について、ユーザが選択を行うことを可能にする制御がユーザに提供され得る。さらに、特定のデータは、保存または使用される前に、個人を特定できる情報が削除されるように、１つまたは複数の方法で処理され得る。例えば、ユーザの身元は、個人を特定できる情報がユーザについて決定されないように処理される場合があり、また、ユーザの地理的位置は、ユーザの特定の位置が決定されないように、位置情報が取得される場所（都市、郵便番号、州レベルなど）で一般化され得る。したがって、ユーザは、ユーザについてどのような情報が収集され、その情報がどのように使用され、どのような情報がユーザに提供されるかを制御することができる。

【0115】

本明細書では、説明した実施態様の特定の特徴を説明したが、当業者には多くの修正、置換、変更、および等価物が生じるであろう。したがって、添付の特許請求の範囲は、実施態様の範囲内に入るような全てのそのような修正および変更をカバーすることが意図されていることを理解されたい。これらは、限定ではなく、例示の方法によってのみ提示されており、形態および詳細における様々な変更がなされ得ることが理解されるべきである。本明細書に記載の装置および／または方法の任意の部分は、相互に排他的な組み合わせを除き、任意の組み合わせで組み合わせることができる。本明細書に記載される実施態様は、記載される異なる実施態様の機能、構成要素および／または特徴の様々な組み合わせおよび／またはサブ組み合わせを含むことができる。

【図1】

【図2】

【図3A】

【図3B】

【図3C】

【図4A】

【図4B】

【図5】

【図6】

【手続補正書】

【提出日】2024-05-28

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

画像センサを使用して、第１の解像度で第１の画像をキャプチャすることと、
画像信号プロセッサを使用して、前記第１の画像を処理された画像に変換することと、
処理条件に基づいて前記処理された画像の少なくとも一部を解析することと、
前記第１の解像度が前記処理条件を満たさないと判定することと、
前記処理条件が満たされないことに応じて、前記第１の解像度よりも大きい第２の解像度で、前記画像センサにおける第２の画像のキャプチャをトリガすることと、
を含む、画像処理方法。

【請求項2】

前記処理された画像の前記少なくとも一部は、テキスト文字を含む、請求項１に記載の画像処理方法。

【請求項3】

前記処理された画像の前記少なくとも一部は、実世界の物体を含む、請求項１または請求項２に記載の画像処理方法。

【請求項4】

前記処理条件は、１文字あたりのピクセル数条件、高さ条件、面積条件の少なくとも１つである、請求項１または請求項２に記載の画像処理方法。

【請求項5】

前記第１の画像をキャプチャするための前記第１の解像度は、前記画像センサで定義されたビンに対応する、請求項１または請求項２に記載の画像処理方法。

【請求項6】

前記第１の解像度はデフォルト解像度であり、前記第２の解像度はルックアップテーブルのエントリに基づいて定義される、請求項１または請求項２に記載の画像処理方法。

【請求項7】

前記処理された画像は、コンピューティングデバイスでキャプチャされた第１の処理された画像であり、
前記画像処理方法はさらに、
前記第２の画像を第２の処理された画像に変換することと、
前記第２の解像度が前記処理条件を満たすと判定することと、
前記第２の解像度が前記処理条件を満たすと判定することに応答して、前記第２の処理された画像を、さらなる処理のために、前記コンピューティングデバイスのコンパニオンデバイスに送信することと、
を含む、請求項１または請求項２に記載の画像処理方法。

【請求項8】

１つまたは複数のプロセッサによって読み取られ実行されると、前記１つまたは複数のプロセッサに画像処理方法を実行させるための命令を含み、
前記画像処理方法は、
画像センサを使用して、第１の解像度で第１の画像をキャプチャすることと、
画像信号プロセッサを使用して、前記第１の画像を処理された画像に変換す ることと、
処理条件に基づいて前記処理された画像の少なくとも一部を解析することと、
前記第１の解像度が前記処理条件を満たさないと判定することと、
前記第１の解像度よりも大きい第２の解像度で、前記画像センサにおける第２の画像のキャプチャをトリガすることと、
を含む、コンピュータプログラム。

【請求項9】

前記処理された画像の前記少なくとも一部は、テキスト文字を含む、請求項８に記載のコンピュータプログラム。

【請求項10】

前記処理された画像の前記少なくとも一部は、実世界の物体を含む、請求項８または請求項９に記載のコンピュータプログラム。

【請求項11】

前記処理条件は、１文字あたりのピクセル数条件、高さ条件、面積条件の少なくとも１つである、請求項８または請求項９に記載のコンピュータプログラム。

【請求項12】

前記第１の画像をキャプチャするための前記第１の解像度は、前記画像センサで定義されたビンに対応する、請求項８または請求項９に記載のコンピュータプログラム。

【請求項13】

前記第１の解像度はデフォルト解像度であり、前記第２の解像度はルックアップテーブルのエントリに基づいて定義される、請求項８または請求項９に記載のコンピュータプログラム。

【請求項14】

前記処理された画像は、コンピューティングデバイスでキャプチャされた第１の処理された画像であり、
前記画像処理方法はさらに、
前記第２の画像を第２の処理された画像に変換することと、
前記第２の解像度が前記処理条件を満たすと判定することと、
前記第２の解像度が前記処理条件を満たすと判定することに応答して、前記第２の処理された画像を、さらなる処理のために、前記コンピューティングデバイスのコンパニオンデバイスに送信することと、
を含む、請求項８または請求項９に記載のコンピュータプログラム。

【請求項15】

１つまたは複数のプロセッサと、
前記１つまたは複数のプロセッサに通信可能に結合され、前記１つまたは複数のプロセッサによって実行されると、前記１つまたは複数のプロセッサに、
画像センサを使用して、第１の解像度で第１の画像をキャプチャすることと、
画像信号プロセッサを使用して、前記第１の画像を処理された画像に変換することと、
処理条件に基づいて前記処理された画像の少なくとも一部を解析することと、
前記第１の解像度が前記処理条件を満たさないと判定することと、
前記処理条件が満たされないことに応じて、前記第１の解像度よりも大きい第２の解像度で、前記画像センサにおける第２の画像のキャプチャをトリガすることと、
を実行させる複数の命令を記憶するメモリデバイスと、を含む、システム。

【請求項16】

前記処理された画像の前記少なくとも一部は、テキスト文字を含む、請求項１５に記載のシステム。

【請求項17】

前記処理された画像の前記少なくとも一部は、実世界の物体を含む、請求項１５または請求項１６に記載のシステム。

【請求項18】

前記処理条件は、１文字あたりのピクセル数条件、高さ条件、面積条件の少なくとも１つである、請求項１５または請求項１６に記載のシステム。

【請求項19】

前記第１の画像をキャプチャするための前記第１の解像度は、前記画像センサで定義されたビンに対応する、請求項１５または請求項１６に記載のシステム。

【請求項20】

前記第１の解像度はデフォルト解像度であり、前記第２の解像度はルックアップテーブルのエントリに基づいて定義される、請求項１５または請求項１６に記載のシステム。

【請求項21】

前記処理された画像は、コンピューティングデバイスでキャプチャされた第１の処理された画像であり、前記メモリデバイスは、命令をさらに記憶しており、前記命令は、前記１つまたは複数のプロセッサによって実行されると、前記１つまたは複数のプロセッサに、
前記第２の画像を第２の処理された画像に変換することと、
前記第２の解像度が前記処理条件を満たすと判定することと、
前記第２の解像度が前記処理条件を満たすと判定することに応答して、前記第２の処理された画像を、さらなる処理のために、前記コンピューティングデバイスのコンパニオンデバイスに送信することと、
を実行させる、請求項１５または請求項１６に記載のシステム。

【国際調査報告】