特表 2024-534769 実時間捕獲された関心領域を使用した低電力機械学習

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-09-26

(54)【発明の名称】実時間捕獲された関心領域を使用した低電力機械学習

(51)【国際特許分類】

   G06V 10/25 20220101AFI20240918BHJP

   H04N 23/60 20230101ALI20240918BHJP

   H04N 23/63 20230101ALI20240918BHJP

   H04N 23/65 20230101ALI20240918BHJP

   G06F 3/04845 20220101ALI20240918BHJP

【ＦＩ】

G06V10/25

H04N23/60 300

H04N23/63

H04N23/65 100

G06F3/04845

H04N23/60 500

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024508516

(86)(22)【出願日】2022-08-12

(85)【翻訳文提出日】2024-04-05

(86)【国際出願番号】 US2022074912

(87)【国際公開番号】W WO2023019247

(87)【国際公開日】2023-02-16

(31)【優先権主張番号】63/260,206

(32)【優先日】2021-08-12

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】63/260,207

(32)【優先日】2021-08-12

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】17/819,154

(32)【優先日】2022-08-11

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】17/819,170

(32)【優先日】2022-08-11

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＢＬＵＥＴＯＯＴＨ

(71)【出願人】

【識別番号】502208397

【氏名又は名称】グーグル エルエルシー

【氏名又は名称原語表記】Ｇｏｏｇｌｅ ＬＬＣ

【住所又は居所原語表記】１６００ Ａｍｐｈｉｔｈｅａｔｒｅ Ｐａｒｋｗａｙ ９４０４３ Ｍｏｕｎｔａｉｎ Ｖｉｅｗ， ＣＡ Ｕ．Ｓ．Ａ．

(74)【代理人】

【識別番号】110001195

【氏名又は名称】弁理士法人深見特許事務所

(72)【発明者】

【氏名】ガングリー，シャミック

(72)【発明者】

【氏名】クーパー，エミリー・バーバラ

(72)【発明者】

【氏名】ボンドラン，ゲイリー・リー，ジュニア

【テーマコード（参考）】

5C122

5E555

【Ｆターム（参考）】

5C122EA42

5C122EA52

5C122FC07

5C122FH09

5C122FH10

5C122FH11

5C122FH14

5C122FJ03

5C122FK09

5C122GC07

5C122GC14

5C122GC52

5C122GD01

5C122GD12

5C122GE11

5C122GG08

5C122HA13

5C122HA35

5C122HA85

5C122HB01

5C122HB05

5E555AA66

5E555BA04

5E555BA08

5E555BB04

5E555BB08

5E555BC09

5E555BE17

5E555CA42

5E555CB45

5E555CB47

5E555CC06

5E555CC19

5E555DA09

5E555DB25

5E555DC09

5E555DD01

5E555DD08

5E555EA04

5E555EA19

5E555EA22

5E555EA23

5E555EA24

5E555FA00

(57)【要約】

画像内容を生成するためのシステムおよび方法が説明される。システムおよび方法は、コンピューティングデバイスのセンサに、そのセンサによって捕獲された光データと関連付けられた画像内容を識別させる要求を受け取ることに応答して、第１の画像解像度を有する第１のセンサデータストリームを検出することと、第２の画像解像度を有する第２のセンサデータストリームを検出することとを含むことができる。システムおよび方法は、コンピューティングデバイスの処理回路機構によって、第１のセンサデータストリーム中の少なくとも１つの関心領域を識別することと、第１のセンサデータストリーム中の少なくとも１つの関心領域の第１の複数のピクセルを画定するクロッピング座標を決定することと、少なくとも１つの関心領域を表すクロップされた画像を生成することとを同じく含むことができる。

【特許請求の範囲】

【請求項1】

画像処理方法であって、
コンピューティングデバイスのセンサに、前記センサによって捕獲された光データと関連付けられた画像内容を識別させる要求を受け取ることに応答して、
第１の画像解像度を有する、前記光データに基づく第１のセンサデータストリームを検出すること、および
第２の画像解像度を有する、前記光データに基づく第２のセンサデータストリームを検出することと、
前記コンピューティングデバイスの処理回路機構によって、前記第１のセンサデータストリーム中の少なくとも１つの関心領域を識別することと、
前記処理回路機構によって、前記第１のセンサデータストリーム中の前記少なくとも１つの関心領域の第１の複数のピクセルを画定するクロッピング座標を決定することと、
前記処理回路機構によって、前記少なくとも１つの関心領域を表すクロップされた画像を生成することと
を含み、前記生成することは、
前記第１のセンサデータストリーム中の前記少なくとも１つの関心領域の前記第１の複数のピクセルを画定する前記クロッピング座標を使用して、前記第２のセンサデータストリーム中の第２の複数のピクセルを識別することと、
前記第２のセンサデータストリームを前記第２の複数のピクセルにクロッピングすることと
を含む画像処理方法。

【請求項2】

前記クロップされた画像の機械可読バージョンを生成するために、前記処理回路機構によって、前記クロップされた画像に光学文字解像を実施することと、
複数の探索結果を生成するために、前記処理回路機構によって、前記クロップされた画像の前記機械可読バージョンを使用して探索照会を実施することと、
前記コンピューティングデバイスのディスプレイ上に探索結果を表示させることと
をさらに含む、請求項１に記載の画像処理方法。

【請求項3】

前記第２のセンサデータストリームは前記コンピューティングデバイス上のメモリに記憶され、
前記画像処理方法は、
前記第１のセンサデータストリーム中の前記少なくとも１つの関心領域を識別することに応答して、メモリに記憶されている前記第２のセンサデータ中の対応する少なくとも１つの関心領域を検索することと、
前記第２のセンサデータストリームの検出およびアクセスを継続している間、前記第１のセンサデータストリームへのアクセスを制限することと
をさらに含む、請求項１または請求項２に記載の画像処理方法。

【請求項4】

前記少なくとも１つの関心領域を表す前記クロップされた画像を生成することに応答して、生成された前記クロップされた画像を前記コンピューティングデバイスと通信しているモバイルデバイスに伝送させることと、
前記モバイルデバイスから、前記少なくとも１つの関心領域に関する情報を受け取ることと、
前記コンピューティングデバイスのディスプレイ上に前記情報を表示させることと
をさらに含む、先行する請求項のいずれかに記載の画像処理方法。

【請求項5】

前記コンピューティングデバイスは電池電力供給コンピューティングデバイスであり、
前記第１の画像解像度は低画像解像度を有し、前記第２の画像解像度は高画像解像度を有し、
前記少なくとも１つの関心領域を識別することは、前記コンピューティングデバイス上で実行し、かつ、前記第１のセンサデータを入力として使用する機械学習アルゴリズムによって、前記第１のセンサデータの中で表されている文章または少なくとも１つのオブジェクトを識別することをさらに含む、
先行する請求項のいずれかに記載の画像処理方法。

【請求項6】

前記処理回路機構は、少なくとも、
前記第１のセンサデータストリームに画像信号処理を実施するように構成された第１の画像プロセッサを含み、
前記第２のセンサデータストリームに画像信号処理を実施するように構成された第２の画像プロセッサを含み、前記第１のセンサデータストリームの前記第１の画像解像度は前記第２のデータセンサストリームの前記第２の画像解像度より低い、
先行する請求項のいずれかに記載の画像処理方法。

【請求項7】

前記少なくとも１つの関心領域を表す前記クロップされた画像を前記生成することは、前記少なくとも１つの関心領域が閾値条件に合致することの検出に応答して実施され、前記閾値条件は、前記第２のセンサデータストリーム中の前記第２の複数のピクセルのブレが小さいことの検出を含む、先行する請求項のいずれかに記載の画像処理方法。

【請求項8】

ウェアラブルコンピューティングデバイスであって、
少なくとも１つの処理デバイスと、
光データを捕獲するように構成された少なくとも１つの画像センサと、
実行されると前記ウェアラブルコンピューティングデバイスが動作を実施することになる命令を記憶するメモリと
を備え、前記動作は、
前記少なくとも１つの画像センサに前記光データと関連付けられた画像内容を識別させる要求を受け取ることに応答して、
第１の画像解像度を有する、前記光データに基づく第１のセンサデータストリームを検出すること、および
第２の画像解像度を有する、前記光データに基づく第２のセンサデータストリームを検出することと、
前記第１のセンサデータストリーム中の少なくとも１つの関心領域を識別することと、
前記第１のセンサデータストリーム中の前記少なくとも１つの関心領域の第１の複数のピクセルを画定するクロッピング座標を決定することと、
前記少なくとも１つの関心領域を表すクロップされた画像を生成することと、を含み、前記生成することは、前記第１のセンサデータストリーム中の前記少なくとも１つの関心領域の前記第１の複数のピクセルを画定する前記クロッピング座標を使用して、前記第２のセンサデータストリーム中の第２の複数のピクセルを識別することと、前記第２のセンサデータストリームを前記第２の複数のピクセルにクロッピングすることとを含む、
ウェアラブルコンピューティングデバイス。

【請求項9】

前記少なくとも１つの画像センサは、トリガされて高画像解像度モードでの動作に切り換わるまで低画像解像度モードで動作するように構成された二重ストリーム画像センサである、請求項８に記載のウェアラブルコンピューティングデバイス。

【請求項10】

前記動作は、
前記クロップされた画像の機械可読バージョンを生成するために、前記クロップされた画像に光学文字解像を実施することと、
複数の探索結果を生成するために、前記クロップされた画像の前記機械可読バージョンを使用して探索照会を実施することと、
実施された前記光学文字解像を前記ウェアラブルコンピューティングデバイスのスピーカから音声出力させることと
をさらに含む、請求項８または請求項９に記載のウェアラブルコンピューティングデバイス。

【請求項11】

前記第２のセンサデータストリームは前記ウェアラブルコンピューティングデバイス上のメモリに記憶され、前記動作は、
前記第１のセンサデータストリーム中の前記少なくとも１つの関心領域を識別することに応答して、メモリに記憶されている前記第２のセンサデータ中の対応する少なくとも１つの関心領域を検索することと、
前記第２のセンサデータストリームの検出およびアクセスを継続している間、前記第１のセンサデータストリームへのアクセスを制限することと
をさらに含む、先行する請求項のいずれかに記載のウェアラブルコンピューティングデバイス。

【請求項12】

前記動作は、
前記少なくとも１つの関心領域を表す前記クロップされた画像を生成することに応答して、生成された前記クロップされた画像を前記ウェアラブルコンピューティングデバイスと通信しているモバイルデバイスに伝送させることと、
前記モバイルデバイスから、前記少なくとも１つの関心領域に関する情報を受け取ることと、
前記ウェアラブルコンピューティングデバイスで前記情報を出力させることと
をさらに含む、先行する請求項のいずれかに記載のウェアラブルコンピューティングデバイス。

【請求項13】

前記第１の画像解像度は低画像解像度を有し、前記第２の画像解像度は高画像解像度を有し、
前記少なくとも１つの関心領域を識別することは、前記ウェアラブルコンピューティングデバイス上で実行し、かつ、前記第１のセンサデータを入力として使用する機械学習アルゴリズムによって、前記第１のセンサデータの中で表されている文章または少なくとも１つのオブジェクトを識別することをさらに含む、
先行する請求項のいずれかに記載のウェアラブルコンピューティングデバイス。

【請求項14】

前記少なくとも１つの処理デバイスは、
前記第１のセンサデータストリームに画像信号処理を実施するように構成された第１の画像プロセッサと、
前記第２のセンサデータストリームに画像信号処理を実施するように構成された第２の画像プロセッサとを含み、前記第１のセンサデータストリームの前記第１の画像解像度は前記第２のデータセンサストリームの前記第２の画像解像度より低い、
先行する請求項のいずれかに記載のウェアラブルコンピューティングデバイス。

【請求項15】

命令がその上に記憶された非一時的コンピュータ可読媒体であって、前記命令は、処理回路機構によって実行されると、ウェアラブルコンピューティングデバイスに、
第１の画像解像度を有する、前記ウェアラブルコンピューティングデバイスのセンサによって獲得された光データに基づく第１のセンサデータストリームを検出することと、
第２の画像解像度を有する、前記光データに基づく第２のセンサデータストリームを検出することと、
前記第１のセンサデータストリーム中の少なくとも１つの関心領域を識別することと、
前記第１のセンサデータストリーム中の前記少なくとも１つの関心領域の第１の複数のピクセルを画定するクロッピング座標を決定することと、
前記少なくとも１つの関心領域を表すクロップされた画像を生成することとを行わせ、
前記生成することは、
前記第１のセンサデータストリーム中の前記少なくとも１つの関心領域の前記第１の複数のピクセルを画定する前記クロッピング座標を使用して、前記第２のセンサデータストリーム中の第２の複数のピクセルを識別することと、
前記第２のセンサデータストリームを前記第２の複数のピクセルにクロッピングすることと
を含む、非一時的コンピュータ可読媒体。

【請求項16】

前記処理回路機構は、前記ウェアラブルコンピューティングデバイスに、
前記クロップされた画像の機械可読バージョンを生成するために、前記クロップされた画像に光学文字解像を実施することと、
複数の探索結果を生成するために、前記クロップされた画像の前記機械可読バージョンを使用して探索照会を実施することと、
前記ウェアラブルコンピューティングデバイスのディスプレイ上に探索結果を表示することとを行わせる
ようにさらに構成される、請求項１５に記載のコンピュータ可読媒体。

【請求項17】

前記第２のセンサデータストリームは前記ウェアラブルコンピューティングデバイス上のメモリに記憶され、前記処理回路機構は、前記ウェアラブルコンピューティングデバイスに、
前記第１のセンサデータストリーム中の前記少なくとも１つの関心領域を識別することに応答して、メモリに記憶されている前記第２のセンサデータ中の対応する少なくとも１つの関心領域を検索することと、
前記第２のセンサデータストリームの検出およびアクセスを継続している間、前記第１のセンサデータストリームへのアクセスを制限することとを行わせる
ようにさらに構成される、請求項１５または請求項１６に記載のコンピュータ可読媒体。

【請求項18】

前記処理回路機構は、前記ウェアラブルコンピューティングデバイスに、
前記少なくとも１つの関心領域を表す前記クロップされた画像を生成することに応答して、生成された前記クロップされた画像を前記ウェアラブルコンピューティングデバイスと通信しているモバイルデバイスに伝送することと、
前記モバイルデバイスから、前記少なくとも１つの関心領域に関する情報を受け取ることと、
前記ウェアラブルコンピューティングデバイスのディスプレイ上に前記情報を表示することとを行わせる
ようにさらに構成される、先行する請求項のいずれかに記載のコンピュータ可読媒体。

【請求項19】

前記第１の画像解像度は低画像解像度を有し、前記第２の画像解像度は高画像解像度を有し、
前記少なくとも１つの関心領域を識別することは、前記ウェアラブルコンピューティングデバイス上で実行し、かつ、前記第１のセンサデータを入力として使用する機械学習アルゴリズムによって、前記第１のセンサデータの中で表されている文章または少なくとも１つのオブジェクトを識別することをさらに含む、
先行する請求項のいずれかに記載のコンピュータ可読媒体。

【請求項20】

前記処理回路機構は、少なくとも、
前記第１のセンサデータストリームに画像信号処理を実施するように構成された第１の画像プロセッサを含み、
前記第２のセンサデータストリームに画像信号処理を実施するように構成された第２の画像プロセッサを含み、前記第１のセンサデータストリームの前記第１の画像解像度は前記第２のデータセンサストリームの前記第２の画像解像度より低い、
先行する請求項のいずれかに記載のコンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、２０２２年８月１１日に出願した、米国特許出願第１７／８１９，１７０号の継続であり、かつ、その出願の優先権を主張するものであり、また、米国特許出願第１７／８１９，１５４号の継続で、かつ、その出願の優先権を主張するものであり、これらの出願は、いずれも、２０２１年８月１２日に出願した、米国仮特許出願第６３／２６０，２０６号の利益、および米国仮特許出願第６３／２６０，２０７号の利益を同じく主張するものである。これらのすべての出願の開示は、参照によりそれらの全体が本明細書に組み込まれている。

【0002】

また、本出願は、２０２１年８月１２日に出願した米国仮特許出願第６３／２６０，２０６号、および２０２１年８月１２日に出願した米国仮特許出願第６３／２６０，２０７号の優先権を主張するものであり、それらの開示は、参照によりそれらの全体が本明細書に組み込まれている。

【0003】

技術分野
本説明は、一般に、画像内容を処理するために使用される方法、デバイスおよびアルゴリズムに関する。

【背景技術】

【0004】

背景
コンピュータビジョン技術により、コンピュータは、画像を解析し、かつ、画像から情報を引き出すことができる。このようなコンピュータビジョン技術は、処理および電力消費に関して、場合によってはコストがかかる。モバイルコンピューティングデバイスに対する性能と電力消費のバランスに対する要求はますます高まっているため、デバイス製造者は、モバイルコンピューティングデバイスの限界に過剰な負担をかけることを回避するために、画像劣化とデバイス性能のバランスを保つようにデバイスを構成することに取り組んでいる。

【発明の概要】

【0005】

概要
１つまたは複数のコンピュータのシステムは、動作中、システムにアクションを実施させることになるソフトウェア、ファームウェア、ハードウェアまたはそれらの組合せをシステム上にインストールすることによって特定の動作またはアクションを実施するように構成することができる。１つまたは複数のコンピュータプログラムは、データ処理装置によって実行されると、その装置がアクションを実施することになる命令を含むことによって特定の動作またはアクションを実施するように構成することができる。

【0006】

一般的な一態様では、画像処理方法が説明される。方法は、ウェアラブルまたは非ウェアラブルコンピューティングデバイスのセンサに、そのセンサによって捕獲された光データと関連付けられた画像内容を識別させる要求を受け取ることに応答して、第１の画像解像度を有する、光データに基づく第１のセンサデータストリームを検出することと、第２の画像解像度を有する、光データに基づく第２のセンサデータストリームを検出することとを含むことができる。

【0007】

方法は、ウェアラブルまたは非ウェアラブルコンピューティングデバイスの処理回路機構によって、第１のセンサデータストリーム中の少なくとも１つの関心領域を識別することと、処理回路機構によって、第１のセンサデータストリーム中の少なくとも１つの関心領域の第１の複数のピクセルを画定するクロッピング座標を決定することと、処理回路機構によって、少なくとも１つの関心領域を表すクロップされた画像を生成することとをさらに含むことができる。生成することは、第１のセンサデータストリーム中の少なくとも１つの関心領域の第１の複数のピクセルを画定するクロッピング座標を使用して、第２のセンサデータストリーム中の第２の複数のピクセルを識別することと、第２のセンサデータストリームを第２の複数のピクセルにクロッピングすることとを含むことができる。

【0008】

実施態様は、以下の特徴のうちのいずれかを単独で、あるいは組み合わせて含むことができる。方法は、クロップされた画像の機械可読バージョンを生成するために、処理回路機構によって、クロップされた画像に光学文字解像を実施することと、複数の探索結果を生成するために、処理回路機構によって、クロップされた画像の機械可読バージョンを使用して探索照会を実施することと、ウェアラブルまたは非ウェアラブルコンピューティングデバイスのディスプレイ上に探索結果を表示させることとを同じく含むことができる。

【0009】

いくつかの実施態様では、第２のセンサデータストリームはウェアラブルまたは非ウェアラブルコンピューティングデバイス上のメモリに記憶され、また、方法は、第１のセンサデータストリーム中の少なくとも１つの関心領域を識別することに応答して、メモリに記憶されている第２のセンサデータ中の対応する少なくとも１つの関心領域を検索することと、第２のセンサデータストリームの検出およびアクセスを継続している間、第１のセンサデータストリームへのアクセスを制限することとをさらに含むことができる。

【0010】

いくつかの実施態様では、方法は、少なくとも１つの関心領域を表すクロップされた画像を生成することに応答して、生成されたクロップ画像をウェアラブルまたは非ウェアラブルコンピューティングデバイスと通信しているモバイルデバイスに伝送させることと、モバイルデバイスから、少なくとも１つの関心領域に関する情報を受け取ることと、ウェアラブルまたは非ウェアラブルコンピューティングデバイスのディスプレイ上にその情報を表示させることとをさらに含むことができる。

【0011】

いくつかの実施態様では、コンピューティングデバイスは電池電力供給コンピューティングデバイスであり、また、第１の画像解像度は低画像解像度を有し、第２の画像解像度は高画像解像度を有する。いくつかの実施態様では、少なくとも１つの関心領域を識別することは、ウェアラブルまたは非ウェアラブルコンピューティングデバイス上で実行し、かつ、第１のセンサデータを入力として使用する機械学習アルゴリズムによって、第１のセンサデータの中で表されている文章または少なくとも１つのオブジェクトを識別することをさらに含む。

【0012】

いくつかの実施態様では、処理回路機構は、少なくとも、第１のセンサデータストリームに画像信号処理を実施するように構成された第１の画像プロセッサと、第２のセンサデータストリームに画像信号処理を実施するように構成された第２の画像プロセッサとを含み、第１のセンサデータストリームの第１の画像解像度は第２のデータセンサストリームの第２の画像解像度より低い。

【0013】

いくつかの実施態様では、少なくとも１つの関心領域を表すクロップされた画像を生成することは、その少なくとも１つの関心領域が閾値条件に合致することの検出に応答して実施され、閾値条件は、第２のセンサデータストリーム中の第２の複数のピクセルのブレが小さいことの検出を含む。

【0014】

第２の一般的な態様では、ウェアラブルコンピューティングデバイスが説明される。ウェアラブルコンピューティングデバイスは、少なくとも１つの処理デバイスと、光データを捕獲するように構成された少なくとも１つの画像センサと、実行されるとウェアラブルコンピューティングデバイスが動作を実施することになる命令を記憶するメモリとを含み、動作は、少なくとも１つの画像センサに光データと関連付けられた画像内容を識別させる要求を受け取ることに応答して、第１の画像解像度を有する、光データに基づく第１のセンサデータストリームを検出することと、第２の画像解像度を有する、光データに基づく第２のセンサデータストリームを検出することとを含む。

【0015】

動作は、第１のセンサデータストリーム中の少なくとも１つの関心領域を識別することと、第１のセンサデータストリーム中の少なくとも１つの関心領域の第１の複数のピクセルを画定するクロッピング座標を決定することと、少なくとも１つの関心領域を表すクロップされた画像を生成することとをさらに含むことができ、生成することは、第１のセンサデータストリーム中の少なくとも１つの関心領域の第１の複数のピクセルを画定するクロッピング座標を使用して、第２のセンサデータストリーム中の第２の複数のピクセルを識別することと、第２のセンサデータストリームを第２の複数のピクセルにクロッピングすることとを含む。

【0016】

実施態様は、以下の特徴のうちのいずれかを単独で、あるいは組み合わせて含むことができる。いくつかの実施態様では、少なくとも１つの画像センサは、トリガされて高画像解像度モードでの動作に切り換わるまで低画像解像度モードで動作するように構成された二重ストリーム画像センサである。いくつかの実施態様では、動作は、クロップされた画像の機械可読バージョンを生成するために、クロップされた画像に光学文字解像を実施することと、複数の探索結果を生成するために、クロップされた画像の機械可読バージョンを使用して探索照会を実施することと、ウェアラブルコンピューティングデバイスのディスプレイ上に探索結果を表示させることとをさらに含む。いくつかの実施態様では、ウェアラブルコンピューティングデバイスは、実施された光学文字解像をウェアラブルコンピューティングデバイスのスピーカから音声出力させることができる。

【0017】

いくつかの実施態様では、第２のセンサデータストリームはウェアラブルコンピューティングデバイス上のメモリに記憶され、また、動作は、第１のセンサデータストリーム中の少なくとも１つの関心領域を識別することに応答して、メモリに記憶されている第２のセンサデータ中の対応する少なくとも１つの関心領域を検索することと、第２のセンサデータストリームの検出およびアクセスを継続している間、第１のセンサデータストリームへのアクセスを制限することとをさらに含む。

【0018】

いくつかの実施態様では、動作は、少なくとも１つの関心領域を表すクロップされた画像を生成することに応答して、生成されたクロップ画像をウェアラブルコンピューティングデバイスと通信しているモバイルデバイスに伝送させることと、モバイルデバイスから、少なくとも１つの関心領域に関する情報を受け取ることと、ウェアラブルコンピューティングデバイスのディスプレイ上にその情報を表示させることとをさらに含む。いくつかの実施態様では、動作は、ウェアラブルコンピューティングデバイスで情報を出力させる（例えば音声、視覚、触覚、等々）ことを含む。

【0019】

いくつかの実施態様では、第１の画像解像度は低画像解像度を有し、第２の画像解像度は高画像解像度を有し、また、動作は、少なくとも１つの関心領域を識別することをさらに含むことができ、少なくとも１つの関心領域を識別することは、ウェアラブルコンピューティングデバイス上で実行し、かつ、第１のセンサデータを入力として使用する機械学習アルゴリズムによって、第１のセンサデータの中で表されている文章または少なくとも１つのオブジェクトを識別することをさらに含む。

【0020】

いくつかの実施態様では、少なくとも１つの処理デバイスは、第１のセンサデータストリームに画像信号処理を実施するように構成された第１の画像プロセッサと、第２のセンサデータストリームに画像信号処理を実施するように構成された第２の画像プロセッサとを含み、第１のセンサデータストリームの第１の画像解像度は第２のデータセンサストリームの第２の画像解像度より低い。

【0021】

説明される技術の実施態様は、ハードウェア、方法またはプロセス、あるいはコンピュータアクセス可能媒体上のコンピュータソフトウェアを含むことができる。１つまたは複数の実施態様についての詳細は、添付の図面および以下の説明の中で示される。他の特徴は、その説明および図面から、また、特許請求の範囲から明らかになるであろう。

【図面の簡単な説明】

【0022】

【図1】本開示全体を通して説明される実施態様による、限られたコンピューテーション資源および／または電力資源を使用して画像内容を生成し、かつ、処理するためのウェアラブルコンピューティングデバイスの例を示す図である。

【図2】本開示全体を通して説明される実施態様による、ウェアラブルコンピューティングデバイス上で画像処理を実施するためのシステムを示す図である。

【図3A】本開示全体を通して説明される実施態様によるウェアラブルコンピューティングデバイスの例を示す図である。

【図3B】本開示全体を通して説明される実施態様によるウェアラブルコンピューティングデバイスの例を示す図である。

【図4A】本開示全体を通して説明される実施態様による、ウェアラブルコンピューティングデバイス上で画像処理タスクを実施するための例示的流れ図である。

【図4B】本開示全体を通して説明される実施態様による、ウェアラブルコンピューティングデバイス上で画像処理タスクを実施するための例示的流れ図である。

【図4C】本開示全体を通して説明される実施態様による、ウェアラブルコンピューティングデバイス上で画像処理タスクを実施するための例示的流れ図である。

【図5A】本開示全体を通して説明される実施態様による、ウェアラブルコンピューティングデバイス上で画像処理タスクを実施するための例示的流れ図である。

【図5B】本開示全体を通して説明される実施態様による、ウェアラブルコンピューティングデバイス上で画像処理タスクを実施するための例示的流れ図である。

【図6A】本開示全体を通して説明される実施態様による、ウェアラブルコンピューティングデバイス上で画像処理タスクを実施するための例示的流れ図である。

【図6B】本開示全体を通して説明される実施態様による、ウェアラブルコンピューティングデバイス上で画像処理タスクを実施するための例示的流れ図である。

【図6C】本開示全体を通して説明される実施態様による、ウェアラブルコンピューティングデバイス上で画像処理タスクを実施するための例示的流れ図である。

【図7A】本開示全体を通して説明される実施態様による、ウェアラブルコンピューティングデバイス上で画像処理タスクを実施するための例示的流れ図である。

【図7B】本開示全体を通して説明される実施態様による、ウェアラブルコンピューティングデバイス上で画像処理タスクを実施するための例示的流れ図である。

【図7C】本開示全体を通して説明される実施態様による、ウェアラブルコンピューティングデバイス上で画像処理タスクを実施するための例示的流れ図である。

【図8A】本開示全体を通して説明される実施態様による、画像処理タスクを実施するために単一の画像センサを使用して二重解像度画像センサをエミュレートするための例示的流れ図である。

【図8B】本開示全体を通して説明される実施態様による、画像処理タスクを実施するために単一の画像センサを使用して二重解像度画像センサをエミュレートするための例示的流れ図である。

【図9】本開示全体を通して説明される実施態様による、ウェアラブルコンピューティングデバイス上で画像処理タスクを実施するためのプロセスの一例を線図化したフローチャートである。

【図10】本明細書において説明される技術と共に使用することができるコンピュータデバイスおよびモバイルコンピュータデバイスの例を示す図である。

【発明を実施するための形態】

【0023】

詳細な説明
様々な図面における同様の参照記号は同様の要素を示している。

【0024】

本開示は、ウェアラブルコンピューティングデバイスによるコンピュータビジョンタスクの効果的な実施を可能にすることができる画像処理を実施するためのシステムおよび方法を説明する。例えば本明細書において説明されるシステムおよび方法は、プロセッサ、センサ、ニューラルネットワークおよび／または画像解析アルゴリズムを利用して、画像中の文章、記号および／もしくはオブジェクトを認識し、ならびに／または画像から情報を引き出すことができる。いくつかの実施態様では、本明細書において説明されるシステムおよび方法は、少ないコンピューテーションモードおよび／または低電力モードで動作しつつ、このようなタスクを実施することができる。例えば本明細書において説明されるシステムおよび方法は、コンピュータビジョンタスクおよび画像解析タスクを実施する際に使用される画像データの量を最少化して、特定のハードウェアおよび／またはデバイス資源（例えばメモリ、プロセッサ、ネットワーク帯域幅、等々）の使用を少なくすることができる。

【0025】

資源の使用を少なくするようにウェアラブルコンピューティングデバイスを構成することにより、タスクを他のデバイス（例えばサーバ、モバイルデバイス、他のコンピュータ、等々）に送ることなく、このようなデバイスによる、比較的低電力のコンピューテーションタスクのデバイスのオンボードでの実施を可能にする利点を提供することができる。例えば画像全体を解析する代わりに、本明細書において説明されるシステムおよび方法は、画像データ中の関心領域（ＲＯＩ）を識別することができ、また、これらの領域のうちの１つまたは複数をウェアラブルコンピューティングデバイスのオンボードで解析することができる。解析する情報の量を少なくし、その一方で依然として正確な結果を維持することにより、画像全体を解析する資源負担なしに、ウェアラブルコンピューティングデバイス上で複雑な画像処理タスクを実施することを可能にすることができる。

【0026】

いくつかの実施態様では、本明細書において説明されるシステムおよび方法は、このようなデバイスが有効な画像処理タスクを実施することができ、その一方でコンピューテーション負荷および／または電力を低減することを保証するために、デバイス上で実行されるように構成することができる。例えば本明細書において説明されるシステムおよび方法によれば、ウェアラブルデバイスは、特定の技術を利用して電力、メモリおよび／または処理消費を低減しつつ、オブジェクト検出タスク、光学文字認識（ＯＣＲ）タスク、および／または他の画像処理タスクを実施することを可能とし得る。

【0027】

いくつかの実施態様では、本明細書において説明されるシステムおよび方法は、他の資源および／またはデバイスによる援助なしに、複雑な画像処理コンピューテーションをウェアラブルデバイス上で実行することができることを保証することができる。例えば従来のシステムは、コンピューテーション的にヘビーな画像処理タスクを実施するために、他の通信可能に結合されたモバイルデバイス、サーバおよび／またはオフボードシステムの援助を要求することができる。本明細書において説明されるシステムおよび方法は、例えばサーバよりもコンピューテーション能力が低く、その一方で依然として、完全で、かつ、正確な画像処理能力を提供するデバイスによって処理を行うことができる画像の部分（例えばＲＯＩ、オブジェクト、クロップされた画像内容、等々）を生成する利点を提供する。

【0028】

本明細書において説明されるシステムおよび方法は、ウェアラブルコンピューティングデバイスが、低電力消費および／または低処理消費を利用して、オブジェクト検出、動き追跡、顔認識、ＯＣＲタスク、等々などのコンピュータビジョンタスクを実施する機械学習知能（例えばニューラルネットワーク、アルゴリズム、等々）を使用することを可能にし得る。

【0029】

いくつかの実施態様では、本明細書において説明されるシステムおよび方法は、より少ない処理資源および／または電力資源を利用するために、拡張可能レベルの画像処理を使用することができる。例えば低解像度画像信号プロセッサを使用して、低解像度画像ストリームに低レベル画像処理タスクを実施することができ、一方、高解像度画像信号プロセッサを使用して、高解像度画像ストリームに高レベル画像処理タスクを実施することができる。いくつかの実施態様では、低解像度画像信号プロセッサからの出力を入力として追加センサ、検出器、機械学習ネットワークおよび／またはプロセッサに提供することができる。このような出力は、低解像度画像からの対応するピクセル、関心領域および／または認識された画像内容を表す画像内容を含むより高い解像度の画像中の内容を識別するために使用することができる画像の一部（例えばピクセル、関心領域、認識された画像内容、等々）を表すことができる。

【0030】

いくつかの実施態様では、本明細書において説明されるシステムおよび方法は、ウェアラブルコンピューティングデバイスのオンボードの１つまたは複数のセンサを利用して、検出タスクおよび／または処理タスクを分割することができる。例えばウェアラブルコンピューティングデバイスは、複数の画像から高解像度画像ストリームと低解像度画像ストリームの両方を検索することができる二重ストリームセンサ（例えばカメラ）を含むことができる。例えば低解像度画像ストリームは、場面カメラとして機能するセンサによって捕獲することができる。高解像度画像ストリームは、詳細カメラとして機能する同じセンサによって捕獲することができる。一方または両方のストリームを異なるプロセッサに提供して画像処理タスクを実施することができる。いくつかの実施態様では、個々のストリームを使用して、コンピュータビジョンタスク、機械学習タスクおよび／または他の画像処理タスクの実施に使用するための異なる情報を生成することができる。

【0031】

図１は、本開示全体を通して説明される実施態様による、限られたコンピューテーション資源および／または電力資源を使用して画像内容を生成し、かつ、処理するためのウェアラブルコンピューティングデバイス１００の例である。この例では、ウェアラブルコンピューティングデバイス１００は、ＡＲスマート眼鏡の形態で示されている。しかしながら任意のフォームファクタの電池電力供給デバイスを代用し、本明細書において説明されているシステムおよび方法と組み合わせることができる。いくつかの実施態様では、ウェアラブルコンピューティングデバイス１００は、１つまたは複数のセンサ、低電力アイランドプロセッサ、高電力アイランドプロセッサ、コアプロセッサ、エンコーダ、等々のうちのいずれか、またはすべてと組み合わせたシステムオンチップ（ＳＯＣ）アーキテクチャ（図示せず）を含む。

【0032】

動作中、ウェアラブルコンピューティングデバイス１００は、カメラ、画像センサ、等々によって場面１０２を捕獲することができる。ウェアラブルコンピューティングデバイス１００はユーザ１０４が着用することができ、また、ユーザが操作することができる。場面１０２は、物理的内容ならびに拡張現実（ＡＲ）内容を含むことができる。いくつかの実施態様では、ウェアラブルコンピューティングデバイス１００は、モバイルコンピューティングデバイス１０６などの他のデバイスと通信可能に結合することができる。

【0033】

動作中、モバイルコンピューティングデバイス１０６は、二重ストリーム画像センサ１０８（例えば二重解像度画像センサ）を含むことができる。二重ストリーム画像センサ１０８は低解像度画像ストリーム１１０を低解像度（例えば軽量）画像信号プロセッサ１１２に提供することができる。二重ストリーム画像センサ１０８は、同時に、高解像度画像ストリーム１１４をバッファ１１６に提供することができる。高解像度画像信号プロセッサ１１８は、追加処理を実施するためにバッファ１１６から高解像度画像ストリーム１１４を獲得することができる。低解像度画像ストリーム１１０は、例えばＲＯＩ検出器１２０を介して１つまたは複数のＲＯＩ（例えば文章、オブジェクト、手、段落、等々）を識別するＭＬモデルに提供することができる。プロセッサ１１２は、１つまたは複数のＲＯＩと関連付けられたＲＯＩ座標１２２（例えばクロッピング座標）を決定することができる。

【0034】

高解像度画像信号プロセッサ１１２はＲＯＩ座標１２２を受け取る（または要求する）ことができ、また、ＲＯＩ座標１２２を使用して１つまたは複数の高解像度画像を高解像度画像ストリーム１１４からクロップすることができる。例えばプロセッサ１１２は、ＲＯＩが識別された、関連する低解像度画像フレームと同じ捕獲時間に一致するフレームおよび領域を高解像度画像ストリーム１１４内で決定するために、低解像度画像ストリーム１１０と関連付けられたＲＯＩ座標１２２を検索することができる。高解像度画像信号プロセッサ１１８は、次に、画像を同じクロッピングＲＯＩ座標１２２にクロップすることができる。クロップされた画像１２４は、ＭＬエンジン（例えば、それらに限定されないが、ＯＣＲ、オブジェクト認識、深層段落化、手検出、顔検出、記号検出、等々を含むコンピュータビジョンタスクを実施するための、例えばＭＬプロセッサ１２６）に提供することができる。

【0035】

非制限例では、二重ストリーム画像センサ１０８によって捕獲された光データと関連付けられた画像内容を識別する要求に応答して、ウェアラブルコンピューティングデバイス１００をトリガして実時間画像処理を開始することができる。要求は、ウェアラブルコンピューティングデバイス１００を着用しているユーザからのものであってもよい。実時間画像処理は、第１のセンサデータストリーム（例えば低解像度画像ストリーム１１０）および第２のセンサデータストリーム（例えば高解像度画像ストリーム１１４）を検出することで開始することができる。ウェアラブルコンピューティングデバイス１００は、次に、少なくとも１つの関心領域（例えばＲＯＩ １２８およびＲＯＩ １３０）を識別することができる。この例では、ＲＯＩ １２８はアナログクロックを含み、また、ＲＯＩ １３０はプレゼンテーションの文章および画像を含む。デバイス１００は第１のストリーム（例えば低解像度画像ストリーム１１０）を解析して、ＲＯＩ １２８および１３０のためのクロッピング座標を決定することができる。

【0036】

ウェアラブルコンピューティングデバイス１００は、低解像度画像ストリーム１１０からのＲＯＩ １２８および１３０に対応する高解像度画像ストリーム１１４の１つまたは複数の画像フレームをクロップするために、バッファ１１６から高解像度画像ストリーム１１４を獲得して、高解像度画像ストリーム１１４内の同じ対応する（例えばフレーム内の同じ捕獲時間、同じクロッピング座標）ＲＯＩ １２８および１３０を識別することができる。クロップされた１つまたは複数の画像フレームをオンボードＭＬプロセッサ１２６に提供して、クロップされた画像の追加処理を実施することができる。画像解析のために、画像をクロッピングして、より少ない画像内容（例えばより少ない視覚センサデータ、画像の部分、等々）を提供することにより、画像全体の解析が要求される従来のＭＬプロセッサよりも少ない電力および短い待ち時間を使用してＭＬ処理が実施されることになり得る。したがってウェアラブルコンピューティングデバイス１００は、ＯＣＲ、オブジェクト認識、深層段落化、手検出、顔検出、記号検出、等々などのタスクのためのＭＬ処理を実時間で実施することができる。

【0037】

例えばウェアラブルコンピューティングデバイス１００は、ＲＯＩ １３０を識別し、画像クロッピングを実施し、また、ＭＬ処理を使用して、ユーザ１０４の手がＲＯＩ １３０の画像および文章を指していることを決定することができる。処理は、ＲＯＩ １３０に対する手検出およびＯＣＲを実施することができる。同様に、プレゼンテーション中に音声内容を利用することができる場合、ウェアラブルコンピューティングデバイス１００は、ユーザ１０４がＲＯＩ １３０を指したタイムスタンプに関してＲＯＩ １２８を評価することができる。タイムスタンプ（例えば９：０５）を使用して、ＲＯＩ １３０と関連付けられた音声データ（例えば写し）を検索し、かつ、解析することができる。このような音声データは、ウェアラブルコンピューティングデバイス１００のディスプレイ上でのプレゼンテーションのために視覚文章に変換することができる。したがってＭＬプロセッサ１２６はＲＯＩを選択することができるが、出力１３２によって示されているようにＲＯＩを相関させることも同じく可能である。出力１３２は、ウェアラブルコンピューティングデバイス１００のディスプレイ上に提示することができる。

【0038】

複数のプロセッサブロック（例えばプロセッサ１１２、プロセッサ１１８、プロセッサ１２６、等々）が示されているが、単一のプロセッサを利用して、ウェアラブルコンピューティングデバイス１００上ですべての処理タスクを実施することも可能である。すなわち個々のプロセッサブロック１１２、１１８および１２６は、ウェアラブルコンピューティングデバイス１００のオンボードの単一のプロセッサ上で実行することができる異なるアルゴリズムまたはコード断片を表すことができる。

【0039】

いくつかの実施態様では、オブジェクトおよび／またはＲＯＩは、プロセッサ１１２または１１８によってクロップされるのではなく、二重ストリーム画像センサ１０８でクロップすることができる。上で詳細に説明したいくつかの実施態様では、オブジェクトおよび／またはＲＯＩは、画像信号プロセッサ１１２または画像信号プロセッサ１１８のいずれかでクロップすることができる。いくつかの実施態様では、クロップする代わりに、ＲＯＩを準備して、ウェアラブルコンピューティングデバイス１００と通信しているモバイルデバイスに送ることが可能である。モバイルデバイスはＲＯＩをクロップし、クロップされた画像をウェアラブルコンピューティングデバイス１００に提供して戻すことができる。

【0040】

図２は、本開示全体を通して説明されている実施態様による、ウェアラブルコンピューティングデバイス１００上で画像処理を実施するためのシステム２００を示したものである。いくつかの実施態様では、画像処理はウェアラブルコンピューティングデバイス１００上で実施される。いくつかの実施態様では、画像処理は１つまたは複数のデバイスの間で共有される。例えば画像処理は、ウェアラブルコンピューティングデバイス１００上で部分的に完了し、また、モバイルコンピューティングデバイス２０２（例えばモバイルコンピューティングデバイス１０６など）および／またはサーバコンピューティングデバイス２０４上で部分的に完了することができる。いくつかの実施態様では、ウェアラブルコンピューティングデバイス１００上で画像処理が実施され、このような処理からの出力がモバイルコンピューティングデバイス２０２および／またはサーバコンピューティングデバイス２０４に提供される。

【0041】

いくつかの実施態様では、ウェアラブルコンピューティングデバイス１００は１つまたは複数のコンピューティングデバイスを含み、これらのデバイスのうちの少なくとも１つは、着用することができ、あるいは人の肌の近傍に置くことができるディスプレイデバイスである。いくつかの例では、ウェアラブルコンピューティングデバイス１００は１つもしくは複数のウェアラブルコンピューティングデバイス構成要素であるか、または１つもしくは複数のウェアラブルコンピューティングデバイス構成要素を含む。いくつかの実施態様では、ウェアラブルコンピューティングデバイス１００は、光ヘッド－マウンテドディスプレイ（ＯＨＭＤ）デバイス、透明ヘッド－アップディスプレイ（ＨＵＤ）デバイス、仮想現実（ＶＲ）デバイス、ＡＲデバイスなどのヘッド－マウンテドディスプレイ（ＨＭＤ）デバイスを含むことができ、あるいはセンサ、ディスプレイおよびコンピューティング能力を有するゴーグルまたはヘッドセットなどの他のデバイスを含むことができる。いくつかの実施態様では、ウェアラブルコンピューティングデバイス１００はＡＲ眼鏡（例えばスマート眼鏡）を含む。ＡＲ眼鏡は、一対の眼鏡の形で設計された光ヘッド－マウンテドディスプレイデバイスを表している。いくつかの実施態様では、ウェアラブルコンピューティングデバイス１００はスマートウォッチであるか、またはスマートウォッチを含む。いくつかの実施態様では、ウェアラブルコンピューティングデバイス１００は一個の宝石であるか、または一個の宝石を含む。いくつかの実施態様では、ウェアラブルコンピューティングデバイス１００はリングコントローラデバイスもしくは他のウェアラブルコントローラであるか、またはリングコントローラデバイスもしくは他のウェアラブルコントローラを含む。いくつかの実施態様では、ウェアラブルコンピューティングデバイス１００はイヤホン／ヘッドホンもしくはスマートイヤホン／ヘッドホンであるか、またはイヤホン／ヘッドホンもしくはスマートイヤホン／ヘッドホンを含む。

【0042】

図２に示されているように、システム２００は、モバイルコンピューティングデバイス２０２および任意選択でサーバコンピューティングデバイス２０４に通信可能に結合されたウェアラブルコンピューティングデバイス１００を含む。いくつかの実施態様では、通信可能結合はネットワーク２０６を介して生じ得る。いくつかの実施態様では、通信可能結合は、ウェアラブルコンピューティングデバイス１００、モバイルコンピューティングデバイス２０２および／またはサーバコンピューティングデバイス２０４の間で直接生じ得る。

【0043】

ウェアラブルコンピューティングデバイス１００は１つまたは複数のプロセッサ２０８を含み、１つまたは複数のプロセッサ２０８は、１つまたは複数の機械実行可能命令、またはソフトウェア片、ファームウェア片あるいはそれらの組合せを実行するように構成された基板の中に形成することができる。プロセッサ２０８は半導体をベースとするプロセッサであってもよく、また、デジタル論理を実施することができる半導体材料を含むことができる。プロセッサ２０８は、ほんのいくつかの例を挙げると、ＣＰＵ、ＧＰＵおよび／またはＤＳＰを含むことができる。

【0044】

ウェアラブルコンピューティングデバイス１００は１つまたは複数のメモリデバイス２１０を含むことも可能である。メモリデバイス２１０は、プロセッサ２０８が読み出し、および／または実行することができるフォーマットで情報を記憶する任意のタイプの記憶デバイスを含むことができる。メモリデバイス２１０は、プロセッサ２０８によって実行されると、特定の動作を実施するアプリケーションおよびモジュールを記憶することができる。いくつかの例では、外部記憶デバイスにアプリケーションおよびモジュールを記憶して、メモリデバイス２１０にロードすることができる。メモリ２１０は、例えばウェアラブルコンピューティングデバイス１００のための画像内容および／または音声内容を記憶し、かつ、検索するためのバッファ２１２へのアクセスを含むことができ、またはそのようなアクセスを有することができる。

【0045】

ウェアラブルコンピューティングデバイス１００はセンサシステム２１４を含む。センサシステム２１４は、画像データを検出し、および／または獲得するように構成された１つまたは複数の画像センサ２１６を含む。いくつかの実施態様では、センサシステム２１４は複数の画像センサ２１６を含む。示されているように、センサシステム２１４は１つまたは複数の画像センサ２１６を含む。画像センサ２１６は、画像（例えばピクセル、フレームおよび／または画像の部分）およびビデオを捕獲し、かつ、記録することができる。

【0046】

いくつかの実施態様では、画像センサ２１６は、赤、緑および青（ＲＧＢ）カメラである。いくつかの例では、画像センサ２１６はパルスレーザセンサ（例えばＬｉＤＡＲセンサ）および／または深度カメラを含む。例えば画像センサ２１６は、画像フレーム２２６によって表される画像を構築するために使用される情報を検出し、かつ、伝えるように構成されたカメラであってもよい。画像センサ２１６は画像およびビデオの両方を捕獲し、かつ、記録することができる。

【0047】

動作中、画像センサ２１６は、ウェアラブルコンピューティングデバイス１００が起動されている間、画像データ（例えば光センサデータ）を連続的または周期的に獲得する（例えば捕獲する）ように構成されている。いくつかの実施態様では、画像センサ２１６は、常時オンセンサとして動作するように構成されている。いくつかの実施態様では、画像化センサ２１６は、関心オブジェクトまたは関心領域の検出に応答して起動することができる。

【0048】

いくつかの実施態様では、画像センサ２１６は、二重解像度ストリーミングモードで機能するように構成された単一のセンサである。例えば画像センサ２１６は、低画像解像度を有する複数の画像を捕獲する（例えば受け取る、獲得する、等々）低解像度ストリーミングモードで動作することができる。センサ２１６は、高画像解像度を有する同じ複数の画像を捕獲する（例えば受け取る、獲得する、等々）高解像度ストリーミングモードで同時に動作することができる。二重モードは、低画像解像度を有する第１の画像ストリーム、および高画像解像度を有する第２の画像ストリームとして複数の画像を捕獲し、または検索することができる。

【0049】

いくつかの実施態様では、ウェアラブルコンピューティングデバイス１００は、より少ない処理資源および／または電力資源を利用するために、画像センサ２１６を使用して、拡張可能レベルの画像処理を使用することができる。例えば本明細書において説明されているシステムおよび方法は、低レベル画像処理、中間レベル画像処理、高レベル画像処理、および／またはこれらのレベルの間の任意の組合せ、および／または２つ以上の異なるタイプの画像信号プロセッサを使用することによるこれらのレベルの任意の組合せを使用することができる。いくつかの実施態様では、本明細書において説明されているシステムおよび方法は、画像処理技術を実施する場合、画像の解像度を変えることも可能である。

【0050】

本明細書において使用されているように、高レベル処理は高解像度画像内容に対する画像処理を含む。例えば内容（例えばオブジェクト）認識を実施するためのコンピュータビジョン技術は高レベル処理と見なすことができる。中間レベル画像処理は、画像メタデータから場面記述を引き出す処理タスクを含み、例えば画像メタデータは、場面の部分の位置および／または形状を示すことができる。低レベル画像処理は、画像から記述を引き出し、その一方で場面オブジェクトおよびオブザーバ詳細を無視することを含む。

【0051】

センサシステム２１４は慣性運動ユニット（ＩＭＵ）センサ２１８を同じく含むことができる。ＩＭＵセンサ２１８は、ウェアラブルコンピューティングデバイス１００の運動、動きおよび／または加速度を検出することができる。ＩＭＵセンサ２１８は、例えば加速度計、ジャイロスコープ、磁力計および他のこのようなセンサなどの様々な異なるタイプのセンサを含むことができる。

【0052】

いくつかの実施態様では、センサシステム２１４は、ウェアラブルコンピューティングデバイス１００によって受け取られる音声を検出するように構成された音声センサ２２０を同じく含むことができる。センサシステム２１４は、光センサ、距離および／もしくは近接センサ、容量センサなどの接触センサ、タイマーならびに／または他のセンサならびに／または異なる組合せのセンサなどの他のタイプのセンサを含むことができる。センサシステム２１４を使用して、ウェアラブルコンピューティングデバイス１００の位置および／または配向と関連付けられた情報を獲得することができる。

【0053】

ウェアラブルコンピューティングデバイス１００は、低解像度画像ストリーム（例えば低解像度画像ストリーム１１０）からの画像を処理するための低解像度画像信号プロセッサ２２２を同じく含むことができる。低解像度画像信号プロセッサ２２２は低電力画像信号プロセッサと呼ぶことも可能である。ウェアラブルコンピューティングデバイス１００は、高解像度画像ストリーム（例えば高解像度画像ストリーム１１４）からの画像を処理するための高解像度画像信号プロセッサ２２４を同じく含むことができる。高解像度画像信号プロセッサ２２４は高電力画像信号プロセッサと呼ぶことも可能である（低解像度画像信号プロセッサ２２２に対して）。画像ストリームは複数の画像フレーム２２６を含むことができ、個々の画像フレーム２２６は特定の画像解像度２２８を有する。動作中、画像センサ２１６は、低電力低解像度（ＬＰＬＲ）モードおよび／または高電力高解像度（ＨＰＬＲ）モードのいずれか、または両方で動作するために二重機能であってもよい。

【0054】

ウェアラブルコンピューティングデバイス１００は、ＲＯＩ ２３２および／またはオブジェクト２３４を検出するように構成された関心領域（ＲＯＩ）検出器２３０を含むことができる。さらに、ウェアラブルコンピューティングデバイス１００は、画像内容（例えば画像フレーム２２６）およびＲＯＩ ２３２をクロッピング座標２３８に従ってクロップするように構成されたクロッパ２３６を含むことができる。いくつかの実施態様では、ウェアラブルコンピューティングデバイス１００は、特定のピクセルブロック、画像内容、等々を圧縮するように構成されたエンコーダ２４０を含む。エンコーダ２４０は、圧縮のための画像内容を例えばバッファ２１２から受け取ることができる。

【0055】

低解像度画像信号プロセッサ２２２は、低電力コンピューテーションを実施して、センサ２１６からの画像の生成されたストリームを解析し、画像内の関心オブジェクトおよび／または関心領域を検出することができる。検出は、手検出、オブジェクト検出、段落検出、等々を含むことができる。関心オブジェクトおよび／またはＲＯＩが検出され、また、このような領域またはオブジェクトの検出が閾値条件２５６と合致すると、そのオブジェクトおよび／または領域に関連するバウンディングボックスおよび／または他の座標を識別することができる。閾値条件は、画像のストリームの画像フレーム中のオブジェクトまたは領域に対する特定の高水準の品質を表すことができる。例えば閾値条件は、そのオブジェクトもしくは領域に的が絞られており、依然としてブレが小さく（例えば運動ブレが小さい）、および／または適切な露出を有し、および／またはコンピューティングデバイスのビューの中で検出された特定のオブジェクトを有していることの何らかの決定またはすべての決定に関連していてもよい。

【0056】

ウェアラブルコンピューティングデバイス１００は、無線信号を介して他のコンピューティングデバイスと通信するように構成された１つまたは複数のアンテナ２４２を同じく含むことができる。例えばウェアラブルコンピューティングデバイス１００は１つまたは複数の無線信号を受信し、その無線信号を使用して、モバイルコンピューティングデバイス２０２および／またはサーバコンピューティングデバイス２０４などの他のデバイス、あるいはアンテナ２４２のレンジ内の他のデバイスと通信することができる。無線信号は、短距離接続（例えばBluetooth接続または近距離場通信（ＮＦＣ）接続）またはInternet接続（例えばＷｉ－Ｆｉまたはモバイルネットワーク）などの無線接続を介してトリガすることができる。

【0057】

ウェアラブルコンピューティングデバイス１００はディスプレイ２４４を含む。ディスプレイ２４４は、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）ディスプレイ、有機発光ディスプレイ（ＯＬＥＤ）、電気泳動ディスプレイ（ＥＰＤ）、またはＬＥＤ光源を採用したマイクロ－投影ディスプレイを含むことができる。いくつかの例では、ディスプレイ２４４はユーザの視野の上に投影される。いくつかの例では、ＡＲ眼鏡の事例では、ディスプレイ２４４は、ＡＲ眼鏡を着用しているユーザがディスプレイ２４４によって提供される画像を見ることができるだけでなく、投影された画像の背後のＡＲ眼鏡の視野の中に配置された情報を同じく見ることができるよう、透明または半透明のディスプレイを提供することができる。

【0058】

ウェアラブルコンピューティングデバイス１００は、ウェアラブルコンピューティングデバイス１００の動作を容易にするための様々な制御システムデバイスを含む制御システム２４６を同じく含む。制御システム２４６は、プロセッサ２０８、センサシステム２１４および／またはウェアラブルコンピューティングデバイス１００の構成要素に動作可能に結合されたプロセッサ２４８（例えばＣＰＵ、ＧＰＵ、ＤＳＰ、等々）を利用することができる。

【0059】

ウェアラブルコンピューティングデバイス１００はＵＩレンダラー２５０を同じく含む。ＵＩレンダラー２５０は、ディスプレイ２４４と共に機能して、ユーザインタフェースオブジェクトまたは他の内容をウェアラブルコンピューティングデバイス１００のユーザに描写することができる。例えばＵＩレンダラー２５０は、ウェアラブルコンピューティングデバイス１００によって捕獲された画像を受け取って、追加ユーザインタフェース内容を生成し、かつ、ディスプレイ２４４上に描写することができる。

【0060】

ウェアラブルコンピューティングデバイス１００は通信モジュール２５２を同じく含む。通信モジュール２５２により、ウェアラブルコンピューティングデバイス１００は、ウェアラブルコンピューティングデバイス１００のレンジ内の別のコンピューティングデバイスと情報を交換するために通信することができる。例えばウェアラブルコンピューティングデバイス１００は、例えば有線接続、例えばＷｉ－ＦｉもしくはBluetoothを介した無線接続、または他のタイプの接続を介した通信を容易にするために、別のコンピューティングデバイスに動作可能に結合することができる。

【0061】

いくつかの実施態様では、ウェアラブルコンピューティングデバイス１００は、ネットワーク２０６を介してサーバコンピューティングデバイス２０４および／またはモバイルコンピューティングデバイス２０２と通信するように構成される。サーバコンピューティングデバイス２０４は、いくつかの異なるデバイス、例えば標準サーバ、このようなサーバのグループまたはラックサーバシステムの形態を取る１つまたは複数のコンピューティングデバイスを表すことができる。いくつかの実施態様では、サーバコンピューティングデバイス２０４は、プロセッサおよびメモリなどの構成要素を共有する単一のシステムである。ネットワーク２０６は、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、セルラーネットワーク、衛星ネットワークまたは他のタイプのデータネットワークなどのInternetおよび／または他のタイプのデータネットワークを含むことができる。ネットワーク２０６は、ネットワーク２０６内でデータを受け取り、および／または伝送するように構成される任意の数のコンピューティングデバイス（例えばコンピュータ、サーバ、ルータ、ネットワークスイッチ、等々）を同じく含むことができる。

【0062】

いくつかの実施態様では、ウェアラブルコンピューティングデバイス１００は、ウェアラブルコンピューティングデバイス１００のオンボードで機械学習タスクを実施するニューラルネットワークＮＮ２５４を同じく含む。ニューラルネットワークを機械学習モデルおよび／またはオペレーションと共に使用して、特定の画像内容を生成し、修正し、予測し、および／または検出することができる。いくつかの実施態様では、センサ２１６によって獲得されたセンサデータ上で実施される画像処理は機械学習（ＭＬ）推論操作と呼ばれる。推論操作は、１つまたは複数の予測を実施する（あるいは１つまたは複数の予測をもたらす）ＭＬモデルを必要とする画像処理動作、ステップまたはサブ－ステップと呼ぶことができる。ウェアラブルコンピューティングデバイス１００によって実施される特定のタイプの画像処理は、ＭＬモデルを使用して予測することができる。例えば機械学習は、推論と呼ばれるプロセスである、新しいデータに関する決定を表示するために、既存のデータからデータを学習する統計的アルゴリズムを使用することができる。言い換えると、推論は、既に訓練済みのモデルを獲得し、かつ、その訓練済みモデルを使用して予測するプロセスを意味している。推論のいくつかの例には、画像認識（例えばＯＣＲ文章認識、顔認識、顔、身体またはオブジェクト追跡、等々）、および／または認知（例えば常時オン音声知覚、声－入力要求音声知覚、等々）を含むことができる。

【0063】

いくつかの実施態様では、ＭＬモデルは１つまたは複数のＮＮ２５４を含む。ＮＮ２５４は、一連の隠れた層を介して入力層によって受け取られる入力を変換し、出力層を介して出力を生成する。個々の層は、ノードのセットのサブセットで構築される。隠れた層中のノードは、先行する層中のすべてのノードに完全に接続され、それぞれの出力を隣の層中のすべてのノードに提供する。単一の層中のノードは互いに独立して機能する（すなわち接続を共有しない）。出力中のノードは、変換された入力を要求元プロセスに提供する。いくつかの実施態様では、ウェアラブルコンピューティングデバイス１００によって利用されるＮＮ２５４は、完全には接続されないＮＮである畳込みニューラルネットワークである。

【0064】

通常、ウェアラブルコンピューティングデバイス１００は、ＮＮおよび分類器（図示せず）を使用して訓練データを生成し、かつ、ＭＬタスクを実施することができる。例えばプロセッサ２０８は、例えばＲＯＩ ２３２が画像センサ２１６によって捕獲された画像フレーム２２６内に含まれているか否かを検出する分類器を実行するように構成することができる。ＲＯＩ ２３２は関心オブジェクトと呼ぶことも可能である。分類器はＭＬモデルを含むことができ、またはＭＬモデルによって定義することができる。ＭＬモデルは、予測する（例えばＲＯＩ ２３２が画像フレーム２２６内に含まれているか否か）ためにＭＬモデルによって使用されるいくつかのパラメータを定義することができる。ＭＬモデルは比較的小さくてもよく、また、画像全体ではなく、ＲＯＩ上で機能するように構成することができる。したがって分類器は、その比較的小さいＭＬモデルを通して電力を節約し、かつ、待ち時間を短くするように機能するように構成することができる。

【0065】

いくつかの実施態様では、ウェアラブルコンピューティングデバイス１００は、ＭＬモデルを実行してＲＯＩデータセット（例えばＲＯＩ ２３２）をコンピュートするＲＯＩ分類器を使用することができる。いくつかの例では、ＲＯＩ ２３２は、オブジェクト場所データおよび／またはバウンディングボックスデータセットの例を表している。ＲＯＩ ２３２は、ＲＯＩが画像フレーム２２６内で位置している場所を定義するデータであってもよい。

【0066】

動作中、ウェアラブルコンピューティングデバイス１００は、二重解像度画像センサ（例えば画像センサ２１６）で画像内容（例えば複数の画像／フレーム）を受け取ることができ、または捕獲することができる。画像内容は、複数の画像／フレームの高解像度画像を高解像度画像信号プロセッサ２２４に同じく送っている間に低解像度画像信号プロセッサ２２２に送られる低解像度画像であってもよい。低解像度画像は、次に、ニューラルネットワーク２５４などのオンボード機械学習モデルに送ることができる。ＮＮ２５４はＲＯＩ検出器２３０を利用して、１つまたは複数のＲＯＩ（例えば文章、オブジェクト、画像、フレーム、ピクセル、等々）を識別することができる。識別されたＲＯＩは、各々決定済みクロッピング座標２３８と関連付けることができる。ウェアラブルコンピューティングデバイス１００は、このようなクロッピング座標２３８を高解像度画像信号プロセッサ２２４に伝送して、検出されたＲＯＩに対応する低解像度画像のクロップ座標に基づいて高解像度画像をクロッピングさせることができる。クロップされた画像は元の高解像度画像よりも小さく、したがってウェアラブルコンピューティングデバイス１００は、ＮＮ２５４を使用して、クロップされた画像に機械学習アクティビティ（例えばＯＣＲ、オブジェクト検出、等々）を実施することができる。

【0067】

いくつかの実施態様では、ウェアラブルコンピューティングデバイス１００は、クロップされた領域上で他のビジョン－ベースアルゴリズムを実施することができる。例えばクロップされた領域上でオブジェクト認識を実施して、認識されたオブジェクトと関連付けられた情報を識別し、かつ、利用することができる。例えば特定の製品、ランドマーク、店先、工場、動物および／または他の様々な一般的なオブジェクトおよび／またはオブジェクト分類器を認識し、かつ、ユーザのための追加情報を決定するための入力として使用することができる。いくつかの実施態様では、クロップされた領域上でバーコード認識および読取りを実施して、表示することができ、可聴的に提供することができ、あるいは他の出力であってもよい追加情報をウェアラブルコンピューティングデバイス１００上で識別し、かつ、提供することができる。いくつかの実施態様では、クロップされた領域上で顔検出を実施することにより、認識された顔の上にＡＲ内容および／またはＶＲ内容を配置して、認識された顔の特定の特徴を捕獲し、顔の特定の特徴をカウントし、等々を可能にすることができる。いくつかの実施態様では、クロップされた領域上で特徴追跡（例えば特徴点検出）を実施して、オブジェクト運動および／またはユーザ運動を追跡することができる。

【0068】

図３Ａおよび図３Ｂは、本開示全体を通して説明されている実施態様によるＡＲウェアラブルコンピューティングデバイスの例の様々な図を示したものである。図３Ａは、本開示全体を通して説明されている実施態様によるウェアラブルコンピューティングデバイスの例の正面図である。この例では、ウェアラブルコンピューティングデバイスは一対のＡＲ眼鏡３００Ａ（例えば図１のウェアラブルコンピューティングデバイス１００）である。通常、ＡＲ眼鏡３００Ａは、システム２００の任意の構成要素またはすべての構成要素を含むことができる。ＡＲ眼鏡３００Ａは、一対の眼鏡の形状で設計された光ヘッド－マウンテドディスプレイデバイスを表すスマート眼鏡として示すことも可能である。例えばスマート眼鏡は、着用者が眼鏡を通して見ている物のそばに情報を追加する（例えばディスプレイを投影する）眼鏡である。

【0069】

ＡＲ眼鏡３００Ａは、本明細書において説明されているウェアラブルコンピューティングデバイスとして示されているが、他のタイプのウェアラブルコンピューティングデバイスも可能である。例えばウェアラブルコンピューティングデバイスは、それらに限定されないが、光ヘッド－マウンテドディスプレイ（ＯＨＭＤ）デバイスなどのヘッド－マウンテドディスプレイ（ＨＭＤ）デバイス、透明ヘッド－アップディスプレイ（ＨＵＤ）デバイス、拡張現実（ＡＲ）デバイス、またはセンサ、ディスプレイおよびコンピューティング能力を有するゴーグルもしくはヘッドセットなどの他のデバイスを含む任意の電池電力供給デバイスを含むことができる。いくつかの例では、ウェアラブルコンピューティングデバイス３００Ａは、時計、モバイルデバイス、一個の宝石、リングコントローラまたは他のウェアラブルコントローラであってもよい。

【0070】

図３Ａに示されているように、ＡＲ眼鏡３００Ａはフレーム３０２を含み、フレーム３０２の中（またはフレーム３０２のガラス部分の中）にはディスプレイデバイス３０４が結合されている。ＡＲ眼鏡３００Ａは、音声出力デバイス３０６、照明デバイス３０８、知覚システム３１０、制御システム３１２、少なくとも１つのプロセッサ３１４およびカメラ３１６を同じく含む。

【0071】

ディスプレイデバイス３０４は、バードバスまたは導波路光学に使用されるデバイスなどのシースルーニアアイディスプレイを含むことができる。例えばこのような光学設計は、表示源から、４５度の角度で着座しているビームスプリッタとして機能するテレプロンプターガラスの一部に光を投影することができる。ビームスプリッタにより、表示源からの光を部分的に反射させ、かつ、残りの光を透過させることができる反射値および透過値を許容することができる。このような光学設計によれば、ユーザは、ディスプレイによって生成されるデジタル画像（例えばＵＩ要素、仮想内容、等々）の隣の世界の中に両方の物理的アイテムを見ることができる。いくつかの実施態様では、導波路光学を使用して、ＡＲ眼鏡３００Ａのディスプレイデバイス３０４の上に内容を描写することができる。

【0072】

音声出力デバイス３０６（例えば１つまたは複数のスピーカ）はフレーム３０２に結合することができる。知覚システム３１０は、ＡＲ眼鏡３００Ａの動作を容易にするための様々な制御システムデバイスを含む、様々な知覚デバイスおよび制御システム３１２を含むことができる。制御システム３１２は、制御システム３１２の構成要素に動作可能に結合されたプロセッサ３１４を含むことができる。

【0073】

カメラ３１６は静止画像および／または動画像を捕獲することができる。いくつかの実施態様では、カメラ３１６は、カメラ３１６からの外部オブジェクトの距離に関連するデータを収集することができる深度カメラであってもよい。いくつかの実施態様では、カメラ３１６は、例えば外部デバイス上の１つまたは複数の光マーカ、例えば入力デバイス上の光マーカなど、あるいはスクリーン上の指を検出し、かつ、追従することができる点追跡カメラであってもよい。いくつかの実施態様では、ＡＲ眼鏡３００Ａは、カメラ３１６の視野の中のオブジェクト（例えば仮想および物理的）を検出するために、例えばカメラ３１６と共に選択的に動作させることができる照明デバイス３０８を含むことができる。照明デバイス３０８は、カメラ３１６の視野の中のオブジェクトを検出するために、例えばカメラ３１６と共に選択的に動作させることができる。

【0074】

ＡＲ眼鏡３００Ａは、プロセッサ３１４および制御システム３１２と通信する通信モジュール（例えば通信モジュール２５２）を含むことができる。通信モジュールは、ＡＲ眼鏡３００Ａ内に収納されているデバイス同士の間の通信、ならびに例えばコントローラ、モバイルデバイス、サーバおよび／または他のコンピューティングデバイスなどの外部デバイスとの通信を提供することができる。通信モジュールにより、ＡＲ眼鏡３００Ａは、別のコンピューティングデバイスと通信して情報を交換することができ、また、ＡＲ眼鏡３００Ａのレンジ内の他のデバイスまたは環境中の他の識別可能要素を認証することができる。例えばＡＲ眼鏡３００Ａは、例えば、有線接続、例えばＷｉ－ＦｉもしくはBluetoothを介した無線接続、または他のタイプの接続を介した通信を容易にするために、別のコンピューティングデバイスに動作可能に結合することができる。

【0075】

図３Ｂは、本開示全体を通して説明されている実施態様によるＡＲ眼鏡３００Ａの背面図３００Ｂである。ＡＲ眼鏡３００Ｂは、図１のウェアラブルコンピューティングデバイス１００の例であってもよい。ＡＲ眼鏡３００Ｂは、着用者が眼鏡を通して見ている物のそばに情報を追加する（例えばディスプレイ３２０を投影する）眼鏡である。いくつかの実施態様では、情報を投影する代わりに、ディスプレイ３２０はイン－レンズマイクロディスプレイである。いくつかの実施態様では、ＡＲ眼鏡３００Ｂ（例えば眼鏡またはスペクタクル）は、典型的には鼻にかけるブリッジ３２４、および耳にかける蔓３２６（例えばテンプルまたはテンプルピース）を利用している、人の眼の前でレンズを保持するフレーム３０２に取り付けられたレンズ３２２（例えばガラスレンズまたはハードプラスチックレンズ）を含むビジョンエイドである。

【0076】

図４Ａ～図４Ｃは、本開示全体を通して説明されている実施態様による、ウェアラブルコンピューティングデバイス上で画像処理タスクを実施するための例示的流れ図４００Ａ、４００Ｂおよび４００Ｃを示したものである。例えば流れ図４００Ａ～４００Ｃは、１つまたは複数の画像センサ２１６を使用して、ウェアラブルコンピューティングデバイス１００によって実施することができる。図４００Ａ～図４００Ｃの例では、センサ４０２は二重ストリームモードで機能することができ、センサ４０２は、入ってくる（すなわち捕獲された）低解像度画像ストリームおよび入ってくる（すなわち捕獲された）高解像度画像ストリームの両方を連続的に、かつ、同時に処理する。

【0077】

図４Ａは、ウェアラブルコンピューティングデバイスにインストールされ、画像データのストリームを捕獲または受け取るように構成された画像センサ４０２の使用を示す流れ図４００Ａである。センサ４０２は画像内容の２つのストリームを捕獲し、かつ、出力することができる。例えばセンサ４０２は、全視野を使用して捕獲される複数の高解像度画像フレーム（例えばカメラ／センサ４０２の最大解像度）を獲得することができる。複数の高解像度画像フレームはバッファ４０４に記憶することができる。通常、高電力画像信号プロセッサ４０６を任意選択で利用して、高解像度画像フレームの解析を実施することができる。

【0078】

さらに、センサ４０２は、全視野を使用して捕獲される複数の低解像度画像フレームを（同時に）獲得することができる。低解像度画像フレームは低電力画像信号プロセッサ４０８に提供することができる。プロセッサ４０８は、低解像度画像フレームを処理して、デベイヤーされ、色補正され、および陰影補正される画像である画像４１０（例えば１つまたは複数の画像）のストリーム（例えばＹＵＶ－フォーマット化画像ストリーム）を生成する。

【0079】

低電力画像信号プロセッサ４０８は低電力コンピューテーション４１２を実施して、画像４１０の生成されたストリームを解析し、それにより画像４１０内の関心オブジェクトおよび／または関心領域４１４を検出することができる。検出は、手検出、オブジェクト検出、段落検出、等々を含むことができる。関心オブジェクトおよび／またはＲＯＩが検出され、また、このような領域またはオブジェクトの検出が閾値条件と合致すると、そのオブジェクトおよび／または領域のバウンディングボックスが識別される。閾値条件は、画像のストリームの画像フレーム中のオブジェクトまたは領域に対する特定の高水準の品質を表すことができる。例えば閾値条件は、そのオブジェクトもしくは領域に的が絞られており、依然としてブレが小さく、および／または適切な露出を有していることの何らかの決定またはすべての決定に関連していてもよい。バウンディングボックスは、ボックスの４つの隅の各々のクロッピング座標を表すことができる。いくつかの実施態様では、バウンディングボックスは箱形でなくてもよく、その代わりに三角形、円形、楕円形または他の形状であってもよい。

【0080】

図４Ｂは、ウェアラブルコンピューティングデバイスにインストールされ、画像データのストリームを捕獲または受け取るように構成された画像センサ４０２の使用を示す流れ図４００Ｂである。図４Ａと同様、センサ４０２は画像内容の２つのストリーム、すなわち複数の高解像度画像フレームおよび複数の低解像度画像フレームを捕獲し、かつ、出力することができる。複数の高解像度画像フレームはバッファ４０４に提供することができる。

【0081】

低解像度画像フレームは低電力画像信号プロセッサ４０８に提供することができる。プロセッサ４０８は、低解像度画像フレームを処理して、デベイヤーされ、色補正され、および陰影補正される画像である画像４１０（例えば１つまたは複数の画像）のストリーム（例えばＹＵＶ－フォーマット化画像ストリーム）を生成する。

【0082】

低電力画像信号プロセッサ４０８は低電力コンピューテーション４１２を実施して、画像４１０の生成されたストリームを解析し、それにより画像４１０内の関心オブジェクトおよび／または関心領域４１４を検出することができる。関心オブジェクトおよび／またはＲＯＩが検出され、また、このような領域またはオブジェクトの検出が閾値条件と合致すると、そのオブジェクトおよび／または領域のバウンディングボックスが識別される。閾値条件は、画像のストリームの画像フレーム中のオブジェクトまたは領域に対する特定の高水準の品質を表すことができる。例えば閾値条件は、そのオブジェクトもしくは領域に的が絞られており、依然としてブレが小さく、および／または適切な露出を有していることの何らかの決定またはすべての決定に関連していてもよい。バウンディングボックスは、関心領域または関心オブジェクト４１４を表すクロッピング座標を表すことができる。関心オブジェクトまたは関心領域４１４が決定され、また、閾値条件が合致していると、高電力画像信号プロセッサ４０６は、バッファ４０４から高解像度画像フレーム（例えば関心オブジェクトまたは関心領域が識別された低解像度画像フレームと同じ捕獲時間と一致する生フレーム）を検索する（または受け取る）。

【0083】

例えばクロッピング座標および検索された高解像度画像フレームは、高電力画像信号プロセッサ４０６に入力として提供することができる（例えば矢印４１６）。高電力画像信号プロセッサ４０６は、低解像度画像フレームから決定された関心オブジェクトおよび／または関心領域にクロップされる処理済み（例えばデベイヤーされ、色補正され、陰影補正され、等々された）画像４１８を出力することができる。このクロップされた最大解像度画像４１８は、さらなる処理のために追加オンボードデバイスまたはオフボードデバイスに提供することができる。

【0084】

いくつかの実施態様では、複数の画像フレームではなく、高電力画像信号プロセッサを介して単一の高解像度画像を処理し、コンピューテーション電力および／またはデバイス電力を節約することができる。下流側処理は、高解像度画像全体ではなく、クロップされた画像４１８で動作することができるため、このようなさらなる下流側処理によって、さらなるコンピューテーション電力および／またはデバイス電力が同じく発生し得る。

【0085】

一般に、関心オブジェクトおよび／または関心領域が識別された後、低電力画像信号プロセッサ４０８は、低解像度画像フレームのストリームの処理を継続しないことがあり得る。いくつかの実施態様では、低電力画像信号プロセッサ４０８をスタンバイモードに置いて、その前に提供され／識別された画像フレームに対するさらなる品質計量を待機させることができる。いくつかの実施態様では、センサ４０２は、低解像度画像ストリームへの認知機能の実施（すなわちＭＬ処理）のトリガを継続することができ、これは、下流側機能への出力にさらに影響を及ぼすことができる。

【0086】

図４Ｃは、追加下流側処理の例を示す流れ図４００Ｃである。示されているように、クロップされた画像４１８は関心領域を表している。クロップされた画像４１８は、画像４１８（すなわち画像）をメモリにバッファすることなくエンコーダ（例えば圧縮）ブロックに伝送することができる高解像度画像である。エンコーダの圧縮された出力はバッファ４２２にバッファされ、かつ、暗号化ブロック４２４によって暗号化される。暗号化された画像４１８はバッファ４２６にバッファし、かつ、例えばＷｉ－Ｆｉ（例えばネットワーク２０６）を介してコンパニオンモバイルコンピューティングデバイス２０２に送ることができる。モバイルコンピューティングデバイス２０２は、コンピューテーション電力、メモリ、および例えばウェアラブルコンピューティングデバイス１００上でサポートされるよりも複雑な処理をサポートする電池容量を含むように構成することができる。追加下流側処理は、全体画像ではなく、画像内容のクロップされたバージョンを利用するため、下流側処理は、コンピューテーション、メモリおよび電池電力を節約する利点を同じく有する。例えばクロップされた画像４１８ではなく、より大きい画像に対するＷｉ－Ｆｉを介した追加パケットは、より大量の電力を使用して送られる。

【0087】

図５Ａおよび図５Ｂは、本開示全体を通して説明されている実施態様による、ウェアラブルコンピューティングデバイス上で画像処理タスクを実施するための例示的流れ図５００Ａおよび５００Ｂを示したものである。例えば流れ図５００Ａおよび５００Ｂは、１つまたは複数の画像センサ２１６を使用して、ウェアラブルコンピューティングデバイス１００によって実施することができる。図５００Ａおよび図５００Ｂの例では、センサ４０２は二重ストリームモードで機能することができ、センサ４０２は、入ってくる（すなわち捕獲された）低解像度画像ストリームおよび入ってくる（すなわち捕獲された）高解像度画像ストリームの両方を連続的に、かつ、同時に処理する。

【0088】

図５Ａは、例えばウェアラブルコンピューティングデバイス１００にインストールされ、画像データのストリームを捕獲または受け取るように構成された画像センサ４０２の使用を示す流れ図５００Ａである。センサ４０２は画像内容の２つのストリームを捕獲し、かつ、出力することができる。例えばセンサ４０２は、全視野を使用して捕獲される複数の高解像度画像フレーム（例えばカメラ／センサ４０２の最大解像度）を獲得することができる。この例では、複数の高解像度画像フレームは高電力画像信号プロセッサ４０６によって処理することができる。処理された高解像度画像フレームは、次に、エンコーダ５０２によって符号化することができ（例えば圧縮することができ）、また、バッファ４０４に記憶することができる。これは、圧縮に先だって高解像度画像フレームを記憶するバッファメモリおよびメモリ帯域幅を節約する利点を提供する。この例は、その代わりに圧縮し、圧縮されていない元の画像フレームではなく、高解像度画像フレームの圧縮されたバージョンを記憶する。

【0089】

さらに、センサ４０２は、全視野を使用して捕獲される複数の低解像度画像フレームを（同時に）獲得することができる。低解像度画像フレームは低電力画像信号プロセッサ４０８に提供することができる。プロセッサ４０８は、低解像度画像フレームを処理して、デベイヤーされ、色補正され、および陰影補正される画像である画像４１０（例えば１つまたは複数の画像）のストリーム（例えばＹＵＶ－フォーマット化画像ストリーム）を生成する。

【0090】

低電力画像信号プロセッサ４０８は低電力コンピューテーション４１２を実施して、画像４１０の生成されたストリームを解析し、それにより画像４１０内の関心オブジェクトおよび／または関心領域４１４を検出することができる。検出は、手検出、オブジェクト検出、段落検出、等々を含むことができる。関心オブジェクトおよび／またはＲＯＩが検出され、また、このような領域またはオブジェクトの検出が閾値条件と合致すると、そのオブジェクトおよび／または領域のバウンディングボックスが識別される。閾値条件は、画像のストリームの画像フレーム中のオブジェクトまたは領域に対する特定の高水準の品質を表すことができる。例えば閾値条件は、そのオブジェクトまたは領域に的が絞られており、依然としてブレが小さく、および／または適切な露出を有していることの何らかの決定またはすべての決定に関連していてもよい。バウンディングボックスは、例えばボックスの４つの隅の各々のクロッピング座標を表すことができる。

【0091】

図５Ｂは、例えば１つまたは複数の画像フレーム４１０から部分画像内容を生成するためのプロセスを示す流れ図５００Ｂである。図５Ａと同様、センサ４０２は、少なくとも１つの高解像度画像フレームおよび少なくとも１つの低解像度画像フレームを含む画像内容の２つのストリームを捕獲し、かつ、出力することができる。この例では、少なくとも１つの高解像度画像フレームは高電力画像信号プロセッサ４０６によって処理することができる。処理された高解像度画像フレームは、次に、エンコーダ５０２によって符号化し（例えば圧縮し）、かつ、バッファ４０４に記憶することができる。

【0092】

さらに、センサ４０２は少なくとも１つの低解像度画像フレームを（同時に）獲得することができ、この少なくとも１つの低解像度画像フレームは低電力画像信号プロセッサ４０８に提供することができる。プロセッサ４０８は、少なくとも１つの低解像度画像フレームを処理して、デベイヤーされ、色補正され、および陰影補正される画像である少なくとも１つの画像４１０（例えばＹＵＶ－フォーマット化画像）を生成する。

【0093】

低電力画像信号プロセッサ４０８は低電力コンピューテーション４１２を実施して、少なくとも１つの画像４１０を解析し、それにより例えば少なくとも１つの画像４１０内の関心オブジェクトおよび／または関心領域４１４を検出することができる。検出は、手検出、オブジェクト検出、段落検出、等々を含むことができる。関心オブジェクトおよび／またはＲＯＩが検出され、また、このような領域またはオブジェクトの検出が閾値条件と合致すると、そのオブジェクトおよび／または領域のバウンディングボックスが識別される。閾値条件は、画像のストリームの画像フレーム中のオブジェクトまたは領域に対する特定の高水準の品質を表すことができる。例えば閾値条件は、そのオブジェクトまたは領域に的が絞られており、依然としてブレが小さく、および／または適切な露出を有していることの何らかの決定またはすべての決定に関連していてもよい。バウンディングボックスは、例えばボックスの４つの隅の各々のクロッピング座標を表すことができる。

【0094】

ＲＯＩまたは関心オブジェクトが決定され、また、閾値条件が合致していると、クロッピング座標（例えばクロッピング座標２３８）をクロッパ（例えばクロッパ２３６）に伝送することができ、あるいはクロッパ（例えばクロッパ２３６）によって獲得され得る。流れ図５００Ｂは、次に、バッファ４０４から少なくとも１つの高解像度画像を検索することができる。検索された高解像度画像は、次に、低解像度画像に対して決定されたクロッピング座標に従って、関心領域または関心オブジェクトにクロップされる５０４。高解像度画像は、通常、関心領域または関心オブジェクトが識別された低解像度画像と同じ捕獲時間を有している。クロップの出力は、高解像度画像のクロップされた部分５０６を含むことができる。追加下流側処理は、ウェアラブルコンピューティングデバイス１００のオンボードまたはオフボードで実施することができる。

【0095】

より高いコンピューテーション資源および電力資源を有するデバイス上で生じる従来の画像解析とは異なり、本明細書において説明されているシステムは、高解像度画像の連続処理を回避することができる。さらに、ウェアラブルコンピューティングデバイス１００によってスケーリングが実施されないため、本明細書において説明されているシステムは、スケーリングのためのコンピューテーション資源を回避することができる。さらに、低解像度画像ストリームと高解像度画像ストリームの両方を利用する典型的な画像解析システムは、ストリーム毎に個別のバッファ付き記憶装置を使用する。本明細書において説明されているシステムは、高解像度画像のためにバッファを利用して、低解像度画像のためのバッファの使用を回避し、これは、メモリトラフィックおよび／またはメモリを少なくする利点を提供する。

【0096】

図６Ａ～図６Ｃは、本開示全体を通して説明されている実施態様による、ウェアラブルコンピューティングデバイス１００上で画像処理タスクを実施するための例示的流れ図６００Ａ、６００Ｂおよび６００Ｃを示したものである。図６００Ａ～図６００Ｃの例では、センサ４０２は単一ストリームモードで機能することができ、センサ４０２は、入ってくる（すなわち捕獲された）低解像度画像ストリームまたは入ってくる（すなわち捕獲された）高解像度画像ストリームのいずれかの単一モード解析を処理する。センサ４０２は、次に、二重ストリームモードで機能して、入ってくる（すなわち捕獲された）低解像度画像ストリームおよび入ってくる（すなわち捕獲された）高解像度画像ストリームの両方を連続的に、かつ、同時に処理するようにトリガすることができる。

【0097】

図６Ａは、例えばウェアラブルコンピューティングデバイス１００にインストールされた画像センサ４０２の使用を示す流れ図６００Ａである。センサ４０２は、二重モード処理と単一モード処理の間で切り換わるように構成することができる。例えばセンサ４０２は、最初に、低解像度画像ストリーム（例えば複数の逐次画像フレーム）をストリームし／捕獲するモードで機能することができる。最初の捕獲および／または画像検索ステージにおける高解像度画像解析が回避されるため、このようなモードは、ウェアラブルコンピューティングデバイス１００のためのコンピューテーション電力および電池電力を節約することができる。バッファ４０４および高電力画像信号プロセッサ４０６を利用して使用することができるが、この例では不能にされている。

【0098】

動作中、低解像度画像フレームを低電力画像信号プロセッサ４０８に提供することができる。プロセッサ４０８は、低解像度画像フレームを処理して、デベイヤーされ、色補正され、および陰影補正される画像である画像４１０（例えば１つまたは複数の画像）のストリーム（例えばＹＵＶ－フォーマット化画像ストリーム）を生成する。低電力画像信号プロセッサ４０８は低電力コンピューテーション４１２を実施して、画像４１０の生成されたストリームを解析し、それにより画像４１０内の関心オブジェクトおよび／または関心領域４１４を検出することができる。検出は、手検出、オブジェクト検出、段落検出、等々を含むことができる。

【0099】

関心オブジェクトおよび／またはＲＯＩが検出され、また、このような領域またはオブジェクトの検出が閾値条件と合致すると、そのオブジェクトおよび／または領域のバウンディングボックスが識別される。閾値条件は、画像のストリームの画像フレーム中のオブジェクトまたは領域に対する特定の高水準の品質を表すことができる。例えば閾値条件は、そのオブジェクトまたは領域に的が絞られており、依然としてブレが小さく、および／または適切な露出を有していることの何らかの決定またはすべての決定に関連していてもよい。バウンディングボックスは、例えばボックスの４つの隅の各々のクロッピング座標を表すことができる。関心領域または関心オブジェクトおよびクロッピング座標の識別は、センサ４０２による二重ストリームモードでの動作の開始を可能にするためのトリガであってもよい。

【0100】

いくつかの実施態様では、二重ストリームモードを開始するためのトリガは、すべてではなく、いくつかの閾値条件が合致すると生じ得る。例えばウェアラブルコンピューティングデバイス１００は、カメラ焦点に対する閾値条件およびカメラ露出に対する閾値条件に合致する関心オブジェクトを認識することができる。しかしながらオブジェクトは移動し得る（例えば運動ブレを有し得る）ため、ウェアラブルコンピューティングデバイス１００は、最終条件が合致すると、プロセッサ１１８を使用した高解像度画像の捕獲を準備するために、二重ストリームモードの使用をトリガすることができる。これは、二重ストリームモードをスイッチオンするために数フレームの遅延が存在する場合に有利であり得る。すなわち二重ストリームモードを実行している時間期間は、ほぼすべての閾値条件が合致し、また、検出し、かつ、決定するための最終閾値条件が、今度の画像フレーム中で生じることが予測されると、突入する移行時間期間であってもよい。

【0101】

図６Ｂは、ウェアラブルコンピューティングデバイス１００にインストールされた画像センサ４０２の使用を示す流れ図６００Ｂであり、センサ４０２は二重ストリームモードに切り換えられている。二重ストリームモードに切り換えるためのトリガは、１つまたは複数の関心オブジェクトまたは関心領域の検出を含むことができる。二重ストリームモードはセンサ４０２をトリガして、既にストリームしている低解像度画像フレームに加えて、高解像度画像フレームの捕獲（またはさもなければ獲得）を開始させる。いくつかの実施態様では、高解像度画像ストリームのいくつかの画像フレームを使用して、自動利得測定、露出設定および焦点設定を構成することができる。高解像度画像ストリームのための構成が完了すると、ストリームを同期させることができ、また、低解像度画像フレームは、矢印６０２で示されているように、図６Ａと同じフローを介して継続することができる。しかしながらセンサ４０２は、プロセッサを使用して高解像度画像フレームのバッファを開始することができる（バッファ４０４を使用して）。バッファ４０４は、センサが画像ストリーミングの開始から連続二重ストリームモードで動作する場合に使用されるバッファよりも小さくてもよい。

【0102】

図６Ｃは、ウェアラブルコンピューティングデバイス１００にインストールされ、単一モードストリーミングから二重モードストリーミングに切り換えられた後に画像データのストリームを捕獲または受け取るように構成された画像センサ４０２の使用を示す流れ図６００Ｃである。動作中、センサ４０２は、全視野を使用して捕獲される複数の高解像度画像フレーム（例えばカメラ／センサ４０２の最大解像度）を獲得することができる。複数の高解像度画像フレームはバッファ４０４に記憶することができる。

【0103】

低解像度画像フレームはセンサ４０２によって継続して捕獲および／または獲得され、また、低電力画像信号プロセッサ４０８に提供することができる。プロセッサ４０８は、低解像度画像フレームを処理して、デベイヤーされ、色補正され、および陰影補正される画像である画像４１０（例えば１つまたは複数の画像）のストリーム（例えばＹＵＶ－フォーマット化画像ストリーム）を生成する。低電力画像信号プロセッサ４０８は低電力コンピューテーション４１２を実施して、画像４１０の生成されたストリームを解析し、それにより画像４１０内の関心オブジェクトおよび／または関心領域４１４を検出することができる。関心オブジェクトおよび／またはＲＯＩが検出され、また、このような領域またはオブジェクトの検出が閾値条件と合致すると、そのオブジェクトおよび／または領域のバウンディングボックスが識別される。

【0104】

閾値条件は、画像のストリームの画像フレーム中のオブジェクトまたは領域に対する特定の高水準の品質を表すことができる。例えば閾値条件は、そのオブジェクトまたは領域に的が絞られており、依然としてブレが小さく、および／または適切な露出を有していることの何らかの決定またはすべての決定に関連していてもよい。バウンディングボックスは、関心領域または関心オブジェクト４１４を表すクロッピング座標を表すことができる。関心オブジェクトまたは関心領域４１４が決定され、また、閾値条件が合致していると、高電力画像信号プロセッサ４０６は、バッファ４０４から高解像度画像フレーム（例えば関心オブジェクトまたは関心領域が識別された低解像度画像フレームと同じ捕獲時間と一致する生フレーム）を検索する（または受け取る）。

【0105】

クロッピング座標および検索された高解像度画像フレームは、高電力画像信号プロセッサ４０６に入力として提供することができる（例えば矢印６０４）。高電力画像信号プロセッサ４０６は、低解像度画像フレームから決定された関心オブジェクトおよび／または関心領域にクロップされる処理済み（例えばデベイヤーされ、色補正され、陰影補正され、等々された）画像６０６を出力することができる。このクロップされた最大解像度画像６０６は、さらなる処理のために追加オンボードデバイスまたはオフボードデバイスに提供することができる。

【0106】

図７Ａ～図７Ｃは、本開示全体を通して説明されている実施態様による、ウェアラブルコンピューティングデバイス１００上で画像処理タスクを実施するための例示的流れ図７００Ａ、７００Ｂおよび７００Ｃを示したものである。図７００Ａ～図７００Ｃの例では、センサ４０２は第１のモードで機能することができ、次に、第２のモードで機能するようにトリガすることができる。例えばセンサ４０２は、低解像度ストリーミングモードで内容のストリームおよび／または捕獲を開始するようにトリガすることができ、低解像度画像が捕獲され、かつ、利用される。１つまたは複数の関心オブジェクトおよび／または関心領域を検出すると、センサ４０２は高解像度ストリーミングモードに切り換わることができ、高解像度画像が利用される。

【0107】

図７Ａは、例えばウェアラブルコンピューティングデバイス１００にインストールされた画像センサ４０２の使用を示す流れ図７００Ａである。この例ではセンサ４０２は、最初に、低解像度画像ストリーム（例えば複数の逐次画像フレーム）をストリームし、および／または捕獲する（あるいはさもなければ獲得する）低解像度ストリーミングモードで機能することができる。

【0108】

動作中、低解像度画像フレームを低電力画像信号プロセッサ４０８に提供することができる。プロセッサ４０８は、低解像度画像フレームを処理して、デベイヤーされ、色補正され、および陰影補正される画像である画像４１０（例えば１つまたは複数の画像）のストリーム（例えばＹＵＶ－フォーマット化画像ストリーム）を生成する。低電力画像信号プロセッサ４０８は低電力コンピューテーション４１２を実施して、画像４１０の生成されたストリームを解析し、それにより画像４１０内の関心オブジェクトおよび／または関心領域４１４を検出することができる。検出は、手検出、オブジェクト検出、段落検出、等々を含むことができる。

【0109】

関心オブジェクトおよび／またはＲＯＩが検出され、また、このような領域またはオブジェクトの検出が閾値条件と合致すると、そのオブジェクトおよび／または領域のバウンディングボックスが識別される。閾値条件は、画像のストリームの画像フレーム中のオブジェクトまたは領域に対する特定の高水準の品質を表すことができる。例えば閾値条件は、そのオブジェクトまたは領域に的が絞られており、依然としてブレが小さく、および／または適切な露出を有していることの何らかの決定またはすべての決定に関連していてもよい。バウンディングボックスは、例えばボックスの４つの隅の各々のクロッピング座標を表すことができる。関心領域または関心オブジェクトおよびクロッピング座標の識別は、センサ４０２による低解像度ストリーミングモードから高解像度ストリーミングモードへの切換えを可能にするためのトリガであってもよい。

【0110】

図７Ｂは、ウェアラブルコンピューティングデバイス１００にインストールされた画像センサ４０２の使用を示す流れ図７００Ｂであり、センサ４０２は、低解像度ストリーミングモードから高解像度ストリーミングモードに切り換わるようにトリガされている。このようなモード切換えのトリガは、１つまたは複数の関心オブジェクトまたは関心領域の検出を含むことができる。低解像度ストリーミングモードから高解像度ストリーミングモードへの切換えは、センサ４０２をトリガして、高解像度画像フレームの捕獲（またはさもなければ獲得）を開始させ、その一方で低解像度画像フレームの捕獲（またはさもなければ獲得）を停止させる。

【0111】

この例では、高電力画像信号プロセッサ４０６によって少なくとも１つの高解像度画像フレームを処理することができる。処理された高解像度画像フレームのうちの１つまたは複数は、低解像度画像７０４（または画像ストリーム）を生成するために、スケーリングされる（例えば解像度がスケールダウンされる）スケーラ７０２に提供することができる。高電力画像信号プロセッサ４０６は、画像７０４（または画像ストリーム）上で低電力コンピューテーション４１２を実施することができる。低電力コンピューテーションは、少なくとも１つの画像７０４を解析して、例えば少なくとも１つの画像７０４内の関心オブジェクトおよび／または関心領域７０６を検出することを含むことができる。検出は、手検出、オブジェクト検出、段落検出、等々を含むことができる。関心オブジェクトおよび／またはＲＯＩが検出され、また、このような領域またはオブジェクトの検出が閾値条件と合致すると、そのオブジェクトおよび／または領域のバウンディングボックスが識別される。閾値条件は、画像のストリームの画像フレーム中のオブジェクトまたは領域に対する特定の高水準の品質を表すことができる。例えば閾値条件は、そのオブジェクトまたは領域に的が絞られており、依然としてブレが小さく、および／または適切な露出を有していることの何らかの決定またはすべての決定に関連していてもよい。バウンディングボックスは、例えばボックスの４つの隅の各々のクロッピング座標を表すことができる。高電力画像信号プロセッサ４０６は、最大高解像度画像７０８をバッファ７１０に同じくバッファすることができる。画像７０８は、高解像度画像から恩恵を受けることができる動作のために使用することができる。

【0112】

図７Ｃは、ウェアラブルコンピューティングデバイス１００にインストールされた画像センサ４０２の使用を示す流れ図７００Ｃである。この例におけるセンサ４０２は、ＲＯＩ ７０６のクロッピング座標を決定することに応答して高解像度ストリーミングモードに切り換えられている。例えばＲＯＩ ７０６（または関心オブジェクト）が決定され、また、閾値条件が合致していると、クロッピング座標（例えばクロッピング座標２３８）をクロッパ（例えばクロッパ２３６）に伝送することができ、あるいはクロッパ（例えばクロッパ２３６）によって獲得され得る。バッファ７１０から高解像度画像７０８を検索することができる。検索された高解像度画像７０８は、次に、低解像度画像７０４に対して決定された（例えばＲＯＩ ７０６の）クロッピング座標に従って、関心領域または関心オブジェクトにクロップされる７１２。高解像度画像７０８は、通常、関心領域または関心オブジェクト７０６が識別された低解像度画像７０４と同じ捕獲時間を有している。クロップの出力は、高解像度画像のクロップされた部分７１４を含むことができる。追加下流側処理は、ウェアラブルコンピューティングデバイス１００のオンボードまたはオフボードで実施することができる。

【0113】

いくつかの実施態様では、センサ４０２は、低解像度ストリーミングモードの使用と高解像度ストリーミングモードの使用の間の高速動的切換えを実施する時期を決定することができる。例えばセンサ４０２は、センサデータ（例えば画像データ、ピクセル、光データ、等々）を高電力画像信号プロセッサ４０６または低電力画像信号プロセッサ４０８に提供する時期を決定することができる。決定は、例えば電力の使用およびシステム待ち時間を低減し、および／またはさもなければ最少にする目的で、画像ストリームに関して生じる、検出された事象に基づくことができる。検出される例示的事象には、オブジェクト、ＲＯＩ、動きまたは動きの停止、照明の変化、新しいユーザ、別のユーザ、別のオブジェクト、等々のうちの任意の１つまたは複数の検出を含むことができる。

【0114】

この例では、ウェアラブルコンピューティングデバイス１００をトリガして、低解像度を有する内容で動作させることができ、また、高解像度を有する内容に切り換えることができる。画像ストリームの低解像度および高解像度の両方を利用することができるため、ウェアラブルコンピューティングデバイス１００は、バッファされたデータから内容を検索することなく、２つのストリームから選択することができる。これは、コンピューテーション切換えコスト、メモリコスト、およびメモリからの内容の検索コストを節約することができる。

【0115】

図８Ａおよび図８Ｂは、本開示全体を通して説明されている実施態様による、画像処理タスクを実施するために単一の画像センサを使用して二重解像度画像センサをエミュレートするための例示的流れ図８００Ａおよび８００Ｂを示したものである。この例では、二重ストリーム出力センサ（例えばセンサ４０２）は、場面カメラ８０２を表すために、低解像度で広い視野を有する第１の画像ストリームを出力するように構成することができる。同様に、センサは、詳細カメラ８０４を表すために、高解像度で狭い視野を有する第２のストリームを出力するように構成することができる。

【0116】

図８Ａは、ウェアラブルコンピューティングデバイスにインストールされ、画像データのストリームを捕獲または受け取るように構成された画像センサ（例えば場面カメラ８０２および詳細カメラ８０４）の使用を示す流れ図８００Ａである。詳細カメラ８０４は、高解像度画像ストリーム（例えば複数の画像フレーム）を獲得し（例えば捕獲し）、かつ、出力することができる。複数の高解像度画像フレームはバッファ８０６に記憶することができる。通常、高電力画像信号プロセッサ８０８は、任意選択で利用可能であり、高解像度画像フレームの解析を実施することができる。

【0117】

場面カメラ８０２は、複数の低解像度画像フレームを（同時に）獲得し（例えば捕獲し）、かつ、出力することができる。低解像度画像フレームは低電力画像信号プロセッサ８１０に提供することができる。プロセッサ８１０は、低解像度画像フレームを処理して、デベイヤーされ、色補正され、および陰影補正される画像である画像８１２（例えば１つまたは複数の画像）のストリーム（例えばＹＵＶ－フォーマット化画像ストリーム）を生成する。

【0118】

低電力画像信号プロセッサ８１０は低電力コンピューテーション８１４を実施して、画像８１２の生成されたストリームを解析し、それにより画像８１２内の関心オブジェクトおよび／または関心領域８１６を検出することができる。検出は、手検出、オブジェクト検出、段落検出、等々を含むことができる。関心オブジェクトおよび／またはＲＯＩが検出され、また、このような領域またはオブジェクトの検出が閾値条件と合致すると、そのオブジェクトおよび／または領域のバウンディングボックスが識別される。バウンディングボックスは、ボックスの４つの隅の各々のクロッピング座標を表すことができる。閾値条件は場面カメラビューの中のトリガ事象を表すことができ、例えば検出されたトリガ事象に基づいて、単一捕獲（または短い捕獲バースト）のための詳細カメラに切り換えさせることができる。閾値条件（例えばトリガ事象）は、例えば画像のビューの中で条件および／またはアイテムが認識されると生じ得る。

【0119】

図８Ｂは、ウェアラブルコンピューティングデバイスにインストールされ、画像データのストリームを捕獲または受け取るように構成された画像センサ（例えば場面カメラ８０２および詳細カメラ８０４）の使用を示す流れ図８００Ｂである。図８Ａと同様、場面カメラ８０２は、１つまたは複数の低解像度画像（例えば画像フレーム）を捕獲および出力し、低電力画像信号プロセッサ８１０を使用して画像を処理し、および／または低電力コンピュート８１４を使用してコンピューテーションを実施して低解像度画像８１２を生成し、かつ、関心オブジェクトおよび／または関心領域８１６を決定することができる。

【0120】

関心オブジェクトおよび／または関心領域８１６が識別され、また、閾値条件が合致していることが決定されると、バッファ８０６から高解像度画像を検索することができる。例えば高電力画像信号プロセッサ８０８は、低解像度画像８１２およびクロップされたＲＯＩ ８１６のクロッピング座標を使用して、バッファ８０６に記憶されている、画像８１２と同じ時間に捕獲された、高解像度で、かつ、より狭い視野の画像内の同じＲＯＩ ８１６を識別することができる。

【0121】

例えばクロッピング座標（例えば矢印８１８）および検索された高解像度画像フレームは、高電力画像信号プロセッサ８０８に入力として提供することができる。高電力画像信号プロセッサ８０８は、低解像度画像フレームから決定された関心オブジェクトおよび／または関心領域にクロップされる処理済み（例えばデベイヤーされ、色補正され、陰影補正され、等々された）画像８２０を出力することができる。このクロップされた最大解像度画像８２０は、さらなる処理のために追加オンボードデバイスまたはオフボードデバイスに提供することができる。

【0122】

いくつかの実施態様では、複数の画像フレームではなく、高電力画像信号プロセッサを介して単一の高解像度画像を処理し、コンピューテーション電力および／またはデバイス電力を節約することができる。下流側処理は、高解像度画像全体ではなく、クロップされた画像８２０で動作することができるため、このようなさらなる下流側処理によって、さらなるコンピューテーション電力および／またはデバイス電力が同じく発生し得る。

【0123】

図４Ａから図８Ｂは、単一のセンサを利用して二重センサ（例えば場面カメラおよび詳細カメラ）の機能性を提供する流れ図を示している。センサは少なくとも２つのストリームを異なる解像度および／または異なる視野で出力することができるため、いくつかの実施態様では、個別のセンサを必要とすることなく、二重モードで機能するように単一のセンサの出力を構成することができる。例えば第１のストリームは、画像の低解像度ストリームのための広い視野を出力して場面カメラを表すように構成することができる。同様に、第２のストリームは、画像の高解像度ストリームのための狭い視野を出力して詳細カメラを表すように構成することができる。

【0124】

図９は、本開示全体を通して説明されている実施態様による、コンピューティングデバイス上で画像処理タスクを実施するためのプロセス９００の一例を線図化したフローチャートである。いくつかの実施態様では、コンピューティングデバイスは、電池で電力が供給されるウェアラブルコンピューティングデバイスである。いくつかの実施態様では、コンピューティングデバイスは、電池で電力が供給される非ウェアラブルコンピューティングデバイスである。

【0125】

プロセス９００は、少なくとも１つの処理デバイス、スピーカ、任意選択のディスプレイ能力、および実行されると、特許請求の範囲に記載されている複数の動作およびコンピュータが実行するステップを処理デバイスが実施することになる命令を記憶するメモリを有するコンピューティングデバイス上の画像処理システムを利用することができる。一般に、ウェアラブルコンピューティングデバイス１００、システム２００および／または１０００を使用して、プロセス９００を説明し、かつ、実行することができる。ウェアラブルコンピューティングデバイス１００ならびにシステム２００および／または１０００の組合せは、いくつかの実施態様では単一のシステムを表すことができる。通常、プロセス９００は、本明細書において説明されているシステムおよびアルゴリズムを利用して、１つまたは複数の関心領域を実時間で（例えば捕獲時に）識別するための画像データを検出し、この画像データは、ウェアラブルコンピューティングデバイス１００上で画像処理を実施するために使用されるデータの量を少なくするためにクロップすることができる。

【0126】

ブロック９０２で、プロセス９００は、画像内容（または画像内容を識別する要求）の受取りを待機することを含むことができる。例えばウェアラブルコンピューティングデバイス１００上の画像センサ２１６は、画像内容を受け取り、捕獲し、または検出することができる。内容の受取り、またはセンサによって捕獲された光データと関連付けられた画像内容をセンサ２１６に識別させるこのような要求の受取りに応答して、センサ２１６ならびに／またはプロセッサ２０８、２２２および／もしくは２２４は、ブロック９０４で、第１の画像解像度を有する第１のセンサデータストリームを検出することができ、第１のセンサデータストリームは光データに基づいていてもよい。例えば画像センサ２１６は、画像センサ２１６で受け取った光データに基づいて低画像解像度データストリームを検出することができ、また、その低画像解像度データストリームを低解像度画像信号プロセッサ２２２に提供することができる。さらに、ブロック９０６で、センサ２１６ならびに／またはプロセッサ２０８、２２２および／もしくは２２４は、第２の画像解像度を有する第２のセンサデータストリームを検出することができ、第２のセンサデータストリームは同じく光データに基づく。例えば画像センサ２１６は、画像センサ２１６で受け取った光データに基づいて高画像解像度データストリームを検出することができ、また、その高画像解像度データストリームを高解像度画像信号プロセッサ２２４に提供することができる。

【0127】

動作中、第１のセンサデータストリームおよび第２のデータストリームは、同じ時間に、および／または第２のセンサデータストリームからの高解像度画像のタイムスタンプと一致する第１のセンサデータストリームから低解像度画像を獲得するために相互参照することができる捕獲時間に対する相関で捕獲し、および／または受け取ることができる。

【0128】

ブロック９０８で、プロセス９００は、ウェアラブルコンピューティングデバイス１００の処理回路機構によって、第１のセンサデータストリーム中の少なくとも１つの関心領域を識別することを含む。例えば画像センサ２１６によって獲得された画像フレーム２２６内の１つまたは複数のＲＯＩ ２３２を識別することができる。画像フレーム２２６は、低解像度画像信号プロセッサ２２２および／またはＲＯＩ検出器２３０によって解析済みであってもよい。ＲＯＩは、ピクセル、縁検出座標、オブジェクト形状または検出、あるいは他の領域またはオブジェクト識別メトリックによって画定することができる。いくつかの実施態様では、ＲＯＩは画像ストリーム中のオブジェクトまたは他の画像内容であってもよい。

【0129】

いくつかの実施態様では、処理回路機構は、第１のセンサデータストリーム（例えば低解像度ストリーム）上で画像信号処理を実施するように構成された第１の画像プロセッサ（例えば低解像度プロセッサ２２２）、および第２のセンサデータストリーム（例えば高解像度ストリーム）上で画像信号処理を実施するように構成された第２の画像プロセッサ（例えば高解像度画像信号プロセッサ２２４）を含むことができる。通常、第１のセンサデータストリームの第１の画像解像度は第２のデータセンサストリームの第２の画像解像度より低い。

【0130】

ブロック９１０で、プロセス９００は、処理回路機構によって、第１のセンサデータストリーム中の少なくとも１つの関心領域の第１の複数のピクセルを画定するクロッピング座標２３８を決定することを含む。例えば低解像度画像信号プロセッサ２２２は、画像フレーム２２６、解析された解像度２２８およびＲＯＩ検出器２３０を利用して、オブジェクト２３４または関心領域（ＲＯＩ）２３２を画定するためのクロッピング座標を識別することができる。

【0131】

ブロック９１２で、プロセス９００は、処理回路機構によって、少なくとも１つの関心領域を表すクロップされた画像を生成することを含む。クロップされた画像を生成することは、ブロック９１４で、第１のセンサデータストリーム中の少なくとも１つの関心領域の第１の複数のピクセルを画定するクロッピング座標２３８を使用して、第２のセンサデータストリーム中の第２の複数のピクセルの識別をトリガするクロッパ２３６を含むことができ、また、ブロック９１６で第２のセンサデータストリームを第２の複数のピクセルにクロッピングすることを含むことができる。生成されるクロップ画像は、最初に識別された関心領域または関心オブジェクトの高解像度バージョンであってもよい。

【0132】

いくつかの実施態様では、少なくとも１つの関心領域（またはオブジェクト）を表すクロップされた画像を生成することは、その少なくとも１つの関心領域が閾値条件２５６に合致することの検出に応答して実施される。一般に、閾値条件２５６は、画像のストリームの画像フレーム中のオブジェクトまたは領域に対する特定の高水準の品質を表すことができる。いくつかの実施態様では、閾値条件２５６は、第２のセンサデータストリーム中の第２の複数のピクセルのブレが小さいことの検出を含むことができる。いくつかの実施態様では、閾値条件２５６は、第２の複数のピクセルが特定の画像露出測定値を有していることの検出を含むことができる。いくつかの実施態様では、閾値条件２５６は、第２の複数のピクセルに的が絞られていることの検出を含むことができる。

【0133】

例えば閾値条件は、そのオブジェクトまたは領域に的が絞られており、依然としてブレが小さく、および／または適切な露出を有していることの何らかの決定またはすべての決定に関連していてもよい。バウンディングボックスは、関心領域または関心オブジェクト４１４を表すクロッピング座標を表すことができる。関心オブジェクトまたは関心領域（例えば第２の複数のピクセル）が決定され、また、閾値条件が合致していると、高電力画像信号プロセッサは、高解像度画像フレーム（例えば関心オブジェクトまたは関心領域が識別された低解像度画像フレームと同じ捕獲時間と一致する生フレーム）を検索する（または受け取る）ことができる。

【0134】

クロップされた高解像度画像は、追加画像解析のために使用することができる。例えば処理回路機構２２４は、クロップされた画像に光学文字解像（ＯＣＲ）を実施して、クロップされた画像の機械可読バージョン（例えば出力１３２）を生成することを含むことができる。処理回路機構２２４は、次に、クロップされた画像（例えば画像４１８）の機械可読バージョンを使用して探索照会を実施し、それにより複数の探索結果（例えば出力１３２に示されている）を生成することができ、この探索結果をトリガして、ウェアラブルコンピューティングデバイス１００のディスプレイ２４４上に表示することができる。いくつかの実施態様では、探索照会を実施する代わりに、クロップされた画像にＯＣＲを実施して、ウェアラブルコンピューティングデバイス１００上でユーザに表示することができ、ユーザに読んで聞かせることができ、および／またはさもなければユーザによって消費される出力として提供することができる出力１３２を生成することができる。例えば実施されたＯＣＲの音声出力は、ウェアラブルコンピューティングデバイス１００のスピーカから提供することができる。

【0135】

いくつかの実施態様では、第２のセンサデータストリームはウェアラブルコンピューティングデバイス１００上のメモリに記憶される。例えば高解像度画像ストリームは、後で、高解像度画像ストリームと関連付けられた画像フレームおよびメタデータにアクセスするために、バッファ４０４に記憶することができる。第１のセンサデータストリーム中の少なくとも１つの関心領域（またはオブジェクト）の識別に応答して、処理回路機構２２４は、メモリに記憶されている第２のセンサデータ中の対応する少なくとも１つの関心領域（またはオブジェクト）を検索することができる。例えばバッファされたデータにアクセスして、低解像度画像ストリーム中の関心領域（またはオブジェクト）の中で識別された画像内容の高解像度バージョンを獲得することができる。さらに、ウェアラブルコンピューティングデバイス１００は、第２のセンサデータストリーム（例えば高解像度画像ストリーム）の検出およびアクセスを継続している間、第１のセンサデータストリーム（例えば低解像度画像ストリーム）へのアクセスの制限をトリガすることができる。すなわち、関心オブジェクトまたは関心領域が決定されると、ウェアラブルコンピューティングデバイス１００は、もはや、低解像度画像ストリームと関連付けられた電力または資源の使用を望むことはあり得ず、ストリームへのアクセスを制限して、低解像度画像ストリームのストリーミング、記憶および／またはアクセスに関する資源および／または電力の過剰使用を回避することができる。

【0136】

いくつかの実施態様では、プロセス９００は、少なくとも１つの関心領域を表すクロップされた画像の生成に応答して、生成されたクロップ画像をコンピューティングデバイスと通信しているモバイルデバイスに伝送することを同じく含むことができる。例えばウェアラブルコンピューティングデバイス１００上で高解像度画像の識別およびクロッピングが実施されると、ウェアラブルコンピューティングデバイス１００は、クロップされた画像を追加処理のためにモバイルデバイス２０２に伝送することができる。例えばモバイルデバイス２０２は、関心領域または関心オブジェクトに関するデータまたは情報を生成することができる。モバイルデバイス２０２はウェアラブルコンピューティングデバイス１００より高い電力資源および／またはコンピューテーション資源を有することができ、したがって生成されたデータおよび／または情報をモバイルデバイス２０２上で検索し、および／または計算して、ウェアラブルコンピューティングデバイス１００に送り返すことができる。ウェアラブルコンピューティングデバイス１００は、少なくとも１つの関心領域に関する情報をモバイルデバイスから受け取ることができ、また、ウェアラブルコンピューティングデバイス１００のディスプレイ２４４上にその情報を表示させることができる。

【0137】

いくつかの実施態様では、第１の画像解像度は低画像解像度を有し、また、第２の画像解像度は高画像解像度を有している。少なくとも１つの関心領域または関心オブジェクトの識別は、ウェアラブルコンピューティングデバイス１００上で実行する機械学習アルゴリズムの使用をさらに含むことができる（例えばＮＮ２５４を介して）。機械学習アルゴリズムは、第１のセンサデータを入力として使用して、第１のセンサデータの中で表された文章または少なくとも１つのオブジェクトを識別することができる。例えば第１のデータセンサストリームは低解像度のデータセンサストリームであってもよいが、機械学習アルゴリズムは、文章またはオブジェクトを画像ストリームの中で見ることができることを決定することができる。

【0138】

例えばウェアラブルコンピューティングデバイス１００は、機械学習アルゴリズムを使用して、低解像度画像の中に特定の画像内容（例えばオブジェクト、ＲＯＩ）が存在している（例えば描写されている、または表現されている）ことを決定することができる。クロッパ２３６は、決定された未知の画像内容をクロッピング座標２３８にクロップすることができ、また、クロップされた画像を訓練された機械学習アルゴリズムに提供して、特定の画像内容が関心オブジェクトおよび／または関心領域を表しているかどうかを決定することができる。例えばクロップする画像内容を決定するための機械学習アルゴリズムは、捕獲された画像の１つまたは複数の詳細を識別することを含むことができる。識別された詳細は、その詳細が認識可能なオブジェクト、記号、オブジェクト部分、等々を含んでいるかどうかを解析することができる。

【0139】

例えばその詳細が認識可能オブジェクトとして識別されると、ウェアラブルコンピューティングデバイス１００は、そのオブジェクトの特定の特徴の認識を試行することができる。例えばオブジェクトがソーダ缶である場合、ウェアラブルコンピューティングデバイス１００はどのブランドのソーダかを評価することができる。機械学習アルゴリズムは、デバイス上で（例えばウェアラブルコンピューティングデバイス１００上で）、低解像度画像全体にわたって軽量検出器アーキテクチャを実行して、特定のパターンのＲＯＩ（または関心オブジェクト）座標を識別することができる。例えば機械学習アルゴリズムは、出力として、ソーダ缶のブランドがパターンによって識別することができる文章のクラスタ化領域であること、およびさらなる解析のためにパターンをクロップアウトし、かつ、使用することができることを決定することができる。例えばパターンは、クロッピングの座標を示す機械学習アルゴリズム出力に基づいてクロップすることができる。次に、これらの座標を使用して、同じ場面（例えば文章のクラスタ化領域）の高解像度画像の一部を選択することができる。その部分をさらに解析してブランドを決定することができる。高解像度の一部は低解像度画像から検索された入力に基づいて使用されるため、機械学習アルゴリズムは、最大高解像度画像の解析が回避されたため、ウェアラブルコンピューティングデバイス１００上でエネルギーおよび待ち時間を最適化する利点を提供することができる。

【0140】

本開示全体を通して説明されている例は、コンピュータおよび／またはコンピューティングシステムを意味することができる。本明細書において使用されているように、コンピュータ（および／またはコンピューティング）システムは、非制限で、ハードウェア、ファームウェアおよびソフトウェアを使用して構成された、本明細書において説明されているコンピュータ化技術のうちの１つまたは複数を実施するための１つまたは複数のデバイスの任意の適切な組合せを含む。本明細書において使用されているコンピュータ（および／またはコンピューティング）システムは、単一のコンピューティングデバイスであっても、あるいは集合的に動作する、データの記憶および機能の実行が様々なコンピューティングデバイスの間に分散された複数のコンピューティングデバイスであってもよい。

【0141】

本開示全体を通して説明されている例は、拡張現実（ＡＲ）を意味することができる。本明細書において使用されているように、ＡＲは、コンピュータシステムが少なくとも１つの仮想態様および現実の少なくとも１つの態様を含む知覚認知を容易にするユーザ経験を意味している。ＡＲ経験は、それらに限定されないが、電池電力供給ウェアラブルコンピューティングデバイス、または電池電力供給非ウェアラブルコンピューティングデバイスを含む複数のタイプのコンピュータシステムのうちのいずれかによって提供することができる。いくつかの実施態様では、ウェアラブルコンピューティングデバイスはＡＲヘッドセットを含むことができ、ＡＲヘッドセットは、それらに限定されないが、ＡＲ眼鏡、別のウェアラブルＡＲデバイス、タブレット、時計またはラップトップコンピュータを含むことができる。

【0142】

いくつかのタイプのＡＲ経験では、ユーザは、コンピュータシステムが介在することなく、現実の態様を自身の知覚で直接認知することができる。例えばウェアラブルコンピューティングデバイス１００などのいくつかのＡＲ眼鏡は、画像（例えば認知される仮想態様）をユーザの網膜に向け、その一方で眼は、ＡＲ眼鏡によって生成された光ではない他の光を同じく重ね合わせることができるように設計されている。別の例として、イン－レンズマイクロディスプレイをシースルーレンズに埋め込むことも可能であり、あるいは投影されたディスプレイをシースルーレンズに重ねることも可能である。他のタイプのＡＲ経験では、コンピュータシステムは、１つまたは複数の方法でユーザの現実（例えば認知される実態様）の印象を改善し、相補し、改変し、および／または可能にすることができる。いくつかの実施態様では、ＡＲ経験はコンピュータシステムのディスプレイデバイスのスクリーン上で認知される。例えばいくつかのＡＲヘッドセットおよび／またはＡＲ眼鏡は、ユーザの眼の前に配置されたディスプレイデバイス上にユーザの周囲の環境のカメラ画像を提示するために、カメラフィードスルーを使用して設計される。

【0143】

図１０は、ここで説明されている技術と共に使用することができる（例えばウェアラブルコンピューティングデバイス１００（例えばクライアントコンピューティングデバイス）、サーバコンピューティングデバイス２０４および／またはモバイルデバイス２０２を実現するために）コンピュータデバイス１０００およびモバイルコンピュータデバイス１０５０の例を示したものである。コンピューティングデバイス１０００は、プロセッサ１００２、メモリ１００４、記憶デバイス１００６、メモリ１００４および高速拡張ポート１０１０に接続する高速インタフェース１００８、低速バス１０１４および記憶デバイス１００６に接続する低速インタフェース１０１２を含む。これらの構成要素１００２、１００４、１００６、１００８、１０１０および１０１２の各々は、様々なバスを使用して相互接続されており、また、共通のマザーボードの上に取り付けることができ、あるいは適切な他の方法で取り付けることができる。プロセッサ１００２は、コンピューティングデバイス１０００内で実行するために命令を処理することができ、命令は、高速インタフェース１００８に結合されたディスプレイ１０１６などの外部入力／出力デバイス上のＧＵＩのための図形情報を表示するための、メモリ１００４の中または記憶デバイス１００６の上に記憶されている命令を含む。他の実施態様では、適切である場合、複数のメモリおよび複数のタイプのメモリと共に複数のプロセッサおよび／または複数のバスを使用することができる。また、複数のコンピューティングデバイス１０００を接続することができ、個々のデバイスが必要な動作の一部を提供する（例えばサーババンク、ブレードサーバのグループまたは多重プロセッサシステムとして）。

【0144】

メモリ１００４は、コンピューティングデバイス１０００内の情報を記憶している。一実施態様では、メモリ１００４は１つまたは複数の揮発性メモリユニットである。別の実施態様では、メモリ１００４は１つまたは複数の不揮発性メモリユニットである。メモリ１００４はまた、磁気ディスクまたは光ディスクなどの別の形態のコンピュータ可読媒体であってもよい。

【0145】

記憶デバイス１００６は、コンピューティングデバイス１０００のための大容量記憶装置を提供することができる。一実施態様では、記憶デバイス１００６は、フロッピー（登録商標）ディスクデバイス、ハードディスクデバイス、光ディスクデバイスまたはテープデバイス、フラッシュメモリまたは他の同様のソリッドステートメモリデバイス、あるいは記憶領域ネットワークまたは他の構成のデバイスを含むデバイスのアレイなどのコンピュータ可読媒体であってもよく、あるいはそのようなコンピュータ可読媒体を含むことができる。コンピュータプログラム製品は、情報キャリアの中に実体的に実装することができる。コンピュータプログラム製品も、実行されると、上で説明した方法などの１つまたは複数の方法を実施する命令を同じく含むことができる。情報キャリアは、メモリ１００４、記憶デバイス１００６またはプロセッサ１００２上のメモリなどのコンピュータ可読媒体または機械可読媒体である。

【0146】

高速コントローラ１００８はコンピューティングデバイス１０００のための帯域幅集約動作を管理し、一方、低速コントローラ１０１２は、より低い帯域幅集約動作を管理している。機能のこのような割振りは単に例示的なものにすぎない。一実施態様では、高速コントローラ１００８は、メモリ１００４、ディスプレイ１０１６（例えばグラフィックスプロセッサまたはアクセレレータを介して）、および様々な拡張カード（図示せず）を受け入れることができる高速拡張ポート１０１０に結合されている。実施態様では、低速コントローラ１０１２は記憶デバイス１００６および低速拡張ポート１０１４に結合されている。様々な通信ポート（例えばＵＳＢ、Bluetooth、Ethernet、無線Ethernet）を含むことができる低速拡張ポートは、キーボード、ポインティングデバイス、スキャナーなどの１つまたは複数の入力／出力デバイス、あるいは例えばネットワークアダプタを介したスイッチまたはルータなどのネットワーキングデバイスに結合することができる。

【0147】

コンピューティングデバイス１０００は、図に示されているようにいくつかの異なる形態で実現することができる。例えばコンピューティングデバイス１０００は、標準サーバ１０２０として実現することができ、あるいはこのようなサーバのグループの複数倍で実現することができる。コンピューティングデバイス１０００はラックサーバシステム１０２４の部分として実現することも同じく可能である。さらに、コンピューティングデバイス１０００は、ラップトップコンピュータ１０２２などのパーソナルコンピュータの中で実現することも可能である。別法として、コンピューティングデバイス１０００からの構成要素は、デバイス１０５０などのモバイルデバイス（図示せず）の中の他の構成要素と組み合わせることも可能である。このようなデバイスの各々は、コンピューティングデバイス１０００、１０５０のうちの１つまたは複数を含むことができ、また、互いに通信している複数のコンピューティングデバイス１０００、１０５０でシステム全体を構築することが可能である。

【0148】

コンピューティングデバイス１０５０は、構成要素の中でもとりわけ、プロセッサ１０５２、メモリ１０６４、ディスプレイ１０５４などの入力／出力デバイス、通信インタフェース１０６６およびトランシーバ１０６８を含む。デバイス１０５０は、追加記憶装置を提供するためのマイクロドライブまたは他のデバイスなどの記憶デバイスを同じく備えることができる。これらの構成要素１０５０、１０５２、１０６４、１０５４、１０６６および１０６８の各々は様々なバスを使用して相互接続され、また、これらの構成要素のうちのいくつかは共通のマザーボードの上に取り付けることができ、あるいは適切な他の方法で取り付けることができる。

【0149】

プロセッサ１０５２は、コンピューティングデバイス１０５０内で命令を実行することができ、命令は、メモリ１０６４に記憶されている命令を含む。プロセッサは、個別の複数のアナログプロセッサおよびデジタルプロセッサを含む複数のチップのチップセットとして実現することができる。プロセッサは、例えばユーザインタフェース、デバイス１０５０によって実行されるアプリケーション、およびデバイス１０５０による無線通信の制御などの、デバイス１０５０の他の構成要素の協調を提供することができる。

【0150】

プロセッサ１０５２は、ディスプレイ１０５４に結合された制御インタフェース１０５８およびディスプレイインタフェース１０５６を介してユーザと通信することができる。ディスプレイ１０５４は、例えばＴＦＴ ＬＣＤ（薄膜トランジスタ液晶ディスプレイ）、およびＬＥＤ（発光ダイオード）もしくはＯＬＥＤ（有機発光ダイオード）ディスプレイ、または他の適切なディスプレイ技術であってもよい。ディスプレイインタフェース１０５６は、ディスプレイ１０５４を駆動して図形および他の情報をユーザに提示するための適切な回路機構を含むことができる。制御インタフェース１０５８は、ユーザからコマンドを受け取り、かつ、プロセッサ１０５２に実行依頼するためにそれらを変換することができる。さらに、デバイス１０５０による他のデバイスとの近接場通信を可能にするために、プロセッサ１０５２と通信している外部インタフェース１０６２を提供することができる。外部インタフェース１０６２は、例えばいくつかの実施態様では有線通信を提供することができ、あるいは他の実施態様では無線通信を提供することができ、また、複数のインタフェースを使用することも可能である。

【0151】

メモリ１０６４はコンピューティングデバイス１０５０内の情報を記憶している。メモリ１０６４は、１つまたは複数のコンピュータ可読媒体、１つまたは複数の揮発性メモリユニット、あるいは１つまたは複数の不揮発性メモリユニットのうちの１つまたは複数として実現することができる。拡張メモリ１０７４を提供して、拡張インタフェース１０７２を介してデバイス１０５０に接続することも可能であり、拡張インタフェース１０７２は例えばＳＩＭＭ（単一イン－ラインメモリモジュール）カードインタフェースを含むことができる。このような拡張メモリ１０７４は、デバイス１０５０のための余分の記憶空間を提供することができ、あるいはアプリケーションまたはデバイス１０５０のための他の情報を記憶することも可能である。詳細には、拡張メモリ１０７４は、上で説明したプロセスを実施し、あるいは補足するための命令を含むことができ、また、セキュア情報を同じく含むことができる。したがって例えば拡張メモリ１０７４は、デバイス１０５０のためのセキュリティモジュールとして提供することができ、また、デバイス１０５０のセキュアな使用を許容する命令を使用してプログラムすることができる。さらに、ＳＩＭＭカードを介して、追加情報と共にセキュアアプリケーションを提供することも可能であり、例えば識別情報を非ハック可能方法でＳＩＭＭカード上に置くことができる。

【0152】

メモリは、例えば以下で考察されるようにフラッシュメモリおよび／またはＮＶＲＡＭメモリを含むことができる。一実施態様では、コンピュータプログラム製品は、情報キャリアの中に実体的に実装される。コンピュータプログラム製品は、実行されると、上で説明した方法などの１つまたは複数の方法を実施する命令を含む。情報キャリアは、例えばトランシーバ１０６８または外部インタフェース１０６２を介して受け取ることができる、メモリ１０６４、拡張メモリ１０７４またはプロセッサ１０５２上のメモリなどのコンピュータ可読媒体または機械可読媒体である。

【0153】

デバイス１０５０は、必要に応じてデジタル信号処理回路機構を含むことができる通信インタフェース１０６６を介して無線で通信することができる。通信インタフェース１０６６は、とりわけＧＳＭ（登録商標）音声呼出し、ＳＭＳ、ＥＭＳ、またはＭＭＳメッセージ発信、ＣＤＭＡ、ＴＤＭＡ、ＰＤＣ、ＷＣＤＭＡ（登録商標）、ＣＤＭＡ２０００またはＧＰＲＳなどの様々なモードまたはプロトコルの下で通信を提供することができる。このような通信は、例えば無線周波数トランシーバ１０６８を介して生じ得る。さらに、Bluetooth、Ｗｉ－Ｆｉまたは他のこのようなトランシーバ（図示せず）などを使用した短距離通信が生じ得る。さらに、ＧＰＳ（全地球測位システム）レシーバモジュール１０７０は、追加航法および場所関連無線データをデバイス１０５０に提供することができ、適切である場合、デバイス１０５０上で実行しているアプリケーションはこの無線データを使用することができる。

【0154】

デバイス１０５０は、音声コーデック１０６０を使用して音声で通信することも可能であり、音声コーデック１０６０は、話された情報をユーザから受け取り、かつ、それを有用なデジタル情報に変換することができる。音声コーデック１０６０は、同様に、例えばデバイス１０５０のハンドセット中のスピーカなどを介して、ユーザのための可聴音を生成することができる。このような音は、音声電話呼出しからの音を含むことができ、録音された音（例えば音声メッセージ、音楽ファイル、等々）を含むことができ、また、デバイス１０５０上で動作しているアプリケーションによって生成される音を同じく含むことができる。

【0155】

コンピューティングデバイス１０５０は、図に示されているようにいくつかの異なる形態で実現することができる。例えばコンピューティングデバイス１０５０はセルラー電話１０８０として実現することができる。コンピューティングデバイス１０５０は、スマートフォン１０８２、パーソナルデジタルアシスタントまたは他の同様のモバイルデバイスの一部として実現することも可能である。

【0156】

ここで説明されているシステムおよび技術の様々な実施態様は、デジタル電子回路機構、集積回路機構、特殊設計ＡＳＩＣ（特定用途向け集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェアおよび／またはそれらの組合せの中で実現することができる。これらの様々な実施態様は、記憶システム、少なくとも１つの入力デバイスおよび少なくとも１つの出力デバイスからデータおよび命令を受け取り、かつ、それらにデータおよび命令を伝送するように結合された、専用または汎用であってもよい、少なくとも１つのプログラマブルプロセッサを含むプログラマブルシステム上で実行することができ、および／または解釈することができる１つまたは複数のコンピュータプログラムにおける実施態様を含むことができる。

【0157】

これらのコンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーションまたはコードとして同じく知られている）はプログラマブルプロセッサのための機械命令を含み、また、高水準手続きおよび／もしくはオブジェクト指向プログラミング言語、ならびに／またはアセンブリ／機械言語で実現することができる。本明細書において使用されているように、「機械可読媒体」および「コンピュータ可読媒体」という用語は、機械命令を機械可読信号として受け取る機械可読媒体を含むプログラマブルプロセッサに機械命令および／またはデータを提供するために使用される任意のコンピュータプログラム製品、装置および／またはデバイス（例えば磁気ディスク、光ディスク、メモリ、プログラマブル論理デバイス（ＰＬＤ））を意味している。「機械可読信号」という用語は、機械命令および／またはデータをプログラマブルプロセッサに提供するために使用される任意の信号を意味している。

【0158】

ユーザとの対話を提供するために、ここで説明されているシステムおよび技術は、情報をユーザに表示するためのディスプレイデバイス（ＬＥＤ（発光ダイオード）またはＯＬＥＤ（有機ＬＥＤ）、あるいはＬＣＤ（液晶ディスプレイ）モニタ／スクリーン）、ならびにユーザがコンピュータに入力を提供することができるキーボードおよびポインティングデバイス（例えばマウスまたはトラックボール）を有するコンピュータ上で実現することができる。他の種類のデバイスを使用してユーザとの対話を提供することも可能であり、例えばユーザに提供されるフィードバックは、任意の形態の知覚フィードバック（例えば視覚フィードバック、聴覚フィードバックまたは触覚フィードバック）であってもよく、また、ユーザからの入力は、音響入力、音声入力または触覚入力を含む任意の形態で受け取ることができる。

【0159】

ここで説明されているシステムおよび技術は、後置構成要素（例えばデータサーバとして）を含むコンピューティングシステム、またはミドルウェア構成要素（例えばアプリケーションサーバ）を含むコンピューティングシステム、または前置構成要素（例えばユーザがここで説明されているシステムおよび技術の実施態様と対話することができるグラフィカルユーザインタフェースまたはウェブブラウザを有するクライアントコンピュータ）を含むコンピューティングシステム、またはこのような後置構成要素、ミドルウェア構成要素もしくは前置構成要素の任意の組合せの中で実現することができる。システムの構成要素は、任意の形態または任意の媒体のデジタルデータ通信（例えば通信ネットワーク）によって相互接続することができる。通信ネットワークの例には、ローカルエリアネットワーク（「ＬＡＮ」）、広域ネットワーク（「ＷＡＮ」）およびInternetがある。

【0160】

コンピューティングシステムはクライアントおよびサーバを含むことができる。クライアントおよびサーバは、通常、互いに遠隔であり、また、典型的には通信ネットワークを介して対話している。クライアントとサーバの関係は、それぞれのコンピュータ上で実行しており、クライアント－サーバ関係を互いに有しているコンピュータプログラムによって生じる。

【0161】

いくつかの実施態様では、図に示されているコンピューティングデバイスは、ＡＲヘッドセット／ＨＭＤデバイス１０９０とインタフェースして、物理空間内の挿入された内容を見るための拡張環境を生成するセンサを含むことができる。例えば図に示されているコンピューティングデバイス１０５０または他のコンピューティングデバイス上に含まれている１つまたは複数のセンサは、ＡＲヘッドセット１０９０に入力を提供することができ、あるいは通常、ＡＲ空間に入力を提供することができる。センサは、それらに限定されないが、タッチスクリーン、加速度計、ジャイロスコープ、圧力センサ、生物測定センサ、温度センサ、湿度センサおよび周辺光センサを含むことができる。コンピューティングデバイス１０５０は、これらのセンサを使用して、ＡＲ空間におけるコンピューティングデバイスの絶対位置および／または検出された回転を決定することができ、決定された絶対位置および／または検出された回転は、次に、ＡＲ空間への入力として使用することができる。例えばコンピューティングデバイス１０５０は、コントローラ、レーザポインタ、キーボード、武器、等々などの仮想オブジェクトとしてＡＲ空間に組み込むことができる。ＡＲ空間に組み込まれる際に、ユーザがコンピューティングデバイス／仮想オブジェクトを配置することにより、ユーザは、ＡＲ空間の中で特定の方法で仮想オブジェクトを見るようにコンピューティングデバイスを配置することを可能とし得る。

【0162】

いくつかの実施態様では、コンピューティングデバイス１０５０の上に含まれている、またはコンピューティングデバイス１０５０に接続されている１つまたは複数の入力デバイスをＡＲ空間への入力として使用することができる。入力デバイスは、それらに限定されないが、タッチスクリーン、キーボード、１つまたは複数のボタン、トラックパッド、タッチパッド、ポインティングデバイス、マウス、トラックボール、ジョイスティック、カメラ、マイクロホン、入力機能性を有するイヤホンもしくはバッド、ゲーミングコントローラまたは他の接続可能入力デバイスを含むことができる。コンピューティングデバイスがＡＲ空間に組み込まれる際に、ユーザがコンピューティングデバイス１０５０の上に含まれている入力デバイスと対話することにより、ＡＲ空間中で特定のアクションを生じさせることができる。

【0163】

いくつかの実施態様では、コンピューティングデバイス１０５０のタッチスクリーンは、ＡＲ空間におけるタッチパッドとして表示することができる。ユーザはコンピューティングデバイス１０５０のタッチスクリーンと対話することができる。対話は、例えばＡＲヘッドセット１０９０の中で、ＡＲ空間における表示されたタッチパッド上の動きとして表示される。表示された動きは、ＡＲ空間における仮想オブジェクトを制御することができる。

【0164】

いくつかの実施態様では、コンピューティングデバイス１０５０の上に含まれている１つまたは複数の出力デバイスは、ＡＲ空間のＡＲヘッドセット１０９０のユーザに出力および／またはフィードバックを提供することができる。出力およびフィードバックは、視覚、触覚または音声であってもよい。出力および／またはフィードバックは、それらに限定されないが、振動、１つまたは複数の光またはストローブのターンオンおよびオフまたはブリンキングおよび／またはフラッシング、警報音を発すること、チャイムを鳴らすこと、歌を歌うこと、および音声ファイルを鳴らすことを含むことができる。出力デバイスは、それらに限定されないが、振動モータ、振動コイル、圧電デバイス、静電デバイス、発光ダイオード（ＬＥＤ）、ストローブおよびスピーカを含むことができる。

【0165】

いくつかの実施態様では、コンピューティングデバイス１０５０は、コンピュータ生成３Ｄ環境に別のオブジェクトとして出現し得る。ユーザによるコンピューティングデバイス１０５０との対話（例えば回転、揺さぶり、タッチスクリーンの接触、タッチスクリーン上における指の滑らせ）は、ＡＲ空間におけるオブジェクトとの対話として解釈され得る。ＡＲ空間におけるレーザポインタの例では、コンピューティングデバイス１０５０は、コンピュータ生成３Ｄ環境に仮想レーザポインタとして出現する。ユーザがコンピューティングデバイス１０５０を操ると、ＡＲ空間のユーザはレーザポインタの動きを見る。ユーザは、コンピューティングデバイス１０５０上、またはＡＲヘッドセット１０９０上のＡＲ環境におけるコンピューティングデバイス１０５０との対話からフィードバックを受け取る。コンピューティングデバイスとのユーザの対話は、制御可能デバイスのためのＡＲ環境で生成されたユーザインタフェースとの対話に翻訳することができる。

【0166】

いくつかの実施態様では、コンピューティングデバイス１０５０はタッチスクリーンを含むことができる。例えばユーザはタッチスクリーンと対話して、制御可能デバイスのためのユーザインタフェースと対話することができる。例えばタッチスクリーンは、制御可能デバイスの特性を制御することができるスライダなどのユーザインタフェース要素を含むことができる。

【0167】

コンピューティングデバイス１０００には、それらに限定されないが、ラップトップ、デスクトップ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、メインフレーム、および他の適切なコンピュータを含む、様々な形態のデジタルコンピュータおよびデバイスを表すことが意図されている。コンピューティングデバイス１０５０には、パーソナルデジタルアシスタント、セルラー電話、スマートフォン、および他の同様のコンピューティングデバイスなどの様々な形態のモバイルデバイスを表すことが意図されている。ここで示されている構成要素、それらの接続および関係、ならびにそれらの機能には、単に例示的なものにすぎないことが意味されており、また、本文書で記述され、および／または特許請求されている主題の実施態様を制限することは意味されていない。

【0168】

いくつかの実施形態が説明されている。しかしながら本明細書の精神および範囲を逸脱することなく様々な修正を加えることができることは理解されよう。

【0169】

さらに、図に示されている論理フローには、所望の結果を達成するための示されている特定の順序または逐次順序は不要である。さらに、他のステップを提供することも可能であり、あるいは説明されているフローからステップを除去することも可能であり、また、他の構成要素を説明されているシステムに追加し、あるいはシステムから除去することも可能である。したがって他の実施形態は、以下の特許請求の範囲の範囲内である。

【0170】

以上の説明に加えて、ユーザは、本明細書において説明されているシステム、プログラムまたは特徴が、ユーザ情報（例えばユーザのソーシャルネットワーク、ソーシャルアクションまたはアクティビティ、職業、ユーザの好み、またはユーザの現在の場所に関する情報）の収集を可能にすることができるかどうか、および本明細書において説明されているシステム、プログラムまたは特徴がそれらをいつ可能にすることができるかの両方に関して、また、サーバから内容または通信がユーザに送られるかどうかに関して、ユーザが選ぶことができる制御を備えることができる。さらに、個人的に識別可能な情報が除去されるよう、記憶または使用に先だって特定のデータを１つまたは複数の方法で処理することも可能である。例えばユーザのための個人的に識別可能な情報を決定することができないよう、ユーザの身元を処理することができ、あるいはユーザの特定の場所を決定することができないよう、場所情報（都市、郵便番号または国家レベルなど）が獲得されるユーザの地理的場所を一般化することができる。したがってユーザは、ユーザに関してどのような情報が収集され、その情報がどのように使用されているか、また、ユーザに提供されるのはどのような情報か、についての制御を有することができる。

【0171】

以上、説明されている実施態様の特定の特徴について、本明細書において説明されている通りに例証したが、当業者には多くの修正、置換、変更および等価物が思い浮かぶことであろう。したがって添付の特許請求の範囲には、すべてのこのような修正および変更を実施態様の範囲の範疇として包含することが意図されていることを理解されたい。それらは単なる例として提示されているにすぎず、何ら制限的なものではなく、また、形態および詳細に様々な変更を加えることができることを理解されたい。本明細書において説明されている装置および／または方法のあらゆる部分は、相互に排他的な組合せを除き、任意の組合せで組み合わせることができる。本明細書において説明されている実施態様は、説明されている異なる実施態様の機能、構成要素および／または特徴の様々な組合せおよび／または副組合せを含むことができる。

【図1】

【図2】

【図3A】

【図3B】

【図4A】

【図4B】

【図4C】

【図5A】

【図5B】

【図6A】

【図6B】

【図6C】

【図7A】

【図7B】

【図7C】

【図8A】

【図8B】

【図9】

【図10】

【手続補正書】

【提出日】2024-05-30

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

画像処理方法であって、
コンピューティングデバイスによって、画像センサから、第１の画像解像度を有する第１のセンサデータストリームを受け取ることと、
前記第１のセンサデータストリームを入力として利用して前記第１のセンサデータストリームにおいて表されているテキストを識別することにより、関心領域を識別することと、
前記第１のセンサデータストリーム中の前記関心領域のためのクロッピング座標を決定することと、
前記画像センサから、前記第１の画像解像度とは異なる第２の画像解像度を有する第２のセンサデータストリームを受け取ることと、
前記第１のセンサデータストリーム中の前記関心領域のための前記クロッピング座標に基づいて、前記第２のセンサデータストリーム中の前記関心領域を表すクロップされた画像を生成することと、
を含む画像処理方法。

【請求項2】

前記クロップされた画像の機械可読バージョンを生成するために、前記クロップされた画像に光学文字解像を実施することと、
複数の探索結果を生成するために、前記クロップされた画像の前記機械可読バージョンを使用して探索照会を実施することと、
前記コンピューティングデバイスのディスプレイ上に前記複数の探索結果を表示することと
をさらに含む、請求項１に記載の画像処理方法。

【請求項3】

前記第２のセンサデータストリームは前記コンピューティングデバイス上のメモリに記憶され、
前記画像処理方法は、
前記第１のセンサデータストリーム中の前記テキストを識別することに応答して、メモリに記憶されている前記第２のセンサデータストリーム中の対応する関心領域を検索することと、
前記第２のセンサデータストリームの検出およびアクセスを継続している間、前記第１のセンサデータストリームへのアクセスを制限することと
をさらに含む、請求項１または請求項２に記載の画像処理方法。

【請求項4】

前記クロップされた画像を前記コンピューティングデバイスと通信しているモバイルデバイスに伝送することと、
前記モバイルデバイスから、前記関心領域に関する情報を受け取ることと、
前記コンピューティングデバイスのディスプレイ上に前記情報を表示することと
をさらに含む、請求項１または請求項２に記載の画像処理方法。

【請求項5】

前記第１の画像解像度は、前記第２の画像解像度より低く、
前記関心領域を識別することは、前記コンピューティングデバイス上で実行する機械学習アルゴリズムを使用して実施される、
請求項１または請求項２に記載の画像処理方法。

【請求項6】

前記コンピューティングデバイスは、少なくとも、
前記第１のセンサデータストリームに画像信号処理を実施するように構成された第１の画像プロセッサを含み、
前記第２のセンサデータストリームに画像信号処理を実施するように構成された第２の画像プロセッサを含み、前記第１のセンサデータストリームの前記第１の画像解像度は前記第２のセンサデータストリームの前記第２の画像解像度より低い、
請求項１または請求項２に記載の画像処理方法。

【請求項7】

前記関心領域を表す前記クロップされた画像を前記生成することは、前記関心領域が閾値条件に合致することの検出に応答して実施され、前記閾値条件は、前記第２のセンサデータストリームのブレが小さいことの検出を含む、請求項１または請求項２に記載の画像処理方法。

【請求項8】

コンピューティングデバイスであって、
処理デバイスと、
光データを捕獲し、前記光データに基づいて、第１の画像解像度を有する第１のセンサデータストリームと前記第１の画像解像度とは異なる第２の画像解像度を有する第２のセンサデータストリームを出力するように構成された画像センサと、
実行されると前記コンピューティングデバイスが動作を実施することになる命令を記憶するメモリと
を備え、前記動作は、
前記第１のセンサデータストリーム中の関心領域を識別することと、
前記第１のセンサデータストリーム中の前記関心領域のためのクロッピング座標を決定することと、
前記第１のセンサデータストリーム中の前記関心領域のための前記クロッピング座標に基づいて、前記第２のセンサデータストリーム中の前記関心領域を表すクロップされた画像を生成することと、を含む、
コンピューティングデバイス。

【請求項9】

前記画像センサは、トリガされて高画像解像度モードでの動作に切り換わるまで低画像解像度モードで動作するように構成された二重ストリーム画像センサである、請求項８に記載のコンピューティングデバイス。

【請求項10】

前記動作は、
前記クロップされた画像の機械可読バージョンを生成するために、前記クロップされた画像に光学文字解像を実施することと、
複数の探索結果を生成するために、前記クロップされた画像の前記機械可読バージョンを使用して探索照会を実施することと、
前記光学文字解像の音声を前記コンピューティングデバイスのスピーカから出力することと
をさらに含む、請求項８または請求項９に記載のコンピューティングデバイス。

【請求項11】

前記第２のセンサデータストリームは前記コンピューティングデバイス上のメモリに記憶され、前記動作は、
前記第１のセンサデータストリーム中の前記関心領域を識別することに応答して、メモリに記憶されている前記第２のセンサデータストリーム中の対応する関心領域を検索することと、
前記第２のセンサデータストリームの検出およびアクセスを継続している間、前記第１のセンサデータストリームへのアクセスを制限することと
をさらに含む、請求項８または請求項９に記載のコンピューティングデバイス。

【請求項12】

前記動作は、
前記クロップされた画像を前記コンピューティングデバイスと通信しているモバイルデバイスに伝送することと、
前記モバイルデバイスから、前記関心領域に関する情報を受け取ることと、
前記コンピューティングデバイスで前記情報を出力することと
をさらに含む、請求項８または請求項９に記載のコンピューティングデバイス。

【請求項13】

前記第１の画像解像度は、前記第２の画像解像度より低く、
前記関心領域を識別することは、前記コンピューティングデバイス上で実行し、かつ、前記第１のセンサデータストリームを入力として使用する機械学習アルゴリズムによって、前記第１のセンサデータストリームの中で表されているテキストを識別することをさらに含む、
請求項８または請求項９に記載のコンピューティングデバイス。

【請求項14】

前記処理デバイスは、
前記第１のセンサデータストリームに画像信号処理を実施するように構成された第１の画像プロセッサと、
前記第２のセンサデータストリームに画像信号処理を実施するように構成された第２の画像プロセッサとを含み、前記第１のセンサデータストリームの前記第１の画像解像度は前記第２のセンサデータストリームの前記第２の画像解像度より低い、
請求項８または請求項９に記載のコンピューティングデバイス。

【請求項15】

命令を有し、前記命令は、処理回路機構によって実行されると、コンピューティングデバイスに、
第１の画像解像度を有する第１のセンサデータストリームを受け取ることと、
前記第１の画像解像度とは異なる第２の画像解像度を有する第２のセンサデータストリームを検出することと、
前記第１のセンサデータストリームを入力として利用する、前記第１のセンサデータストリーム中に表されているテキストを識別することにより、関心領域を識別することと、
前記第１のセンサデータストリーム中の前記関心領域のためのクロッピング座標を決定することと、
前記第１のセンサデータストリーム中の前記関心領域のための前記クロッピング座標に基づいて、前記第２のセンサデータストリーム中の前記関心領域を表すクロップされた画像を生成することと、
を行わせる、コンピュータプログラム。

【請求項16】

前記コンピュータプログラムは、前記コンピューティングデバイスに、
前記クロップされた画像の機械可読バージョンを生成するために、前記クロップされた画像に光学文字解像を実施することと、
複数の探索結果を生成するために、前記クロップされた画像の前記機械可読バージョンを使用して探索照会を実施することと、
前記コンピューティングデバイスのディスプレイ上に探索結果を表示することと、
を行わせる、請求項１５に記載のコンピュータプログラム。

【請求項17】

前記第２のセンサデータストリームは前記コンピューティングデバイス上のメモリに記憶され、前記コンピュータプログラムは、前記コンピューティングデバイスに、
前記第１のセンサデータストリームにおいて表されている前記テキストを識別することに応答して、メモリに記憶されている前記第２のセンサデータストリーム中の対応する関心領域を検索することと、
前記第２のセンサデータストリームの検出およびアクセスを継続している間、前記第１のセンサデータストリームへのアクセスを制限することとを行わせる
請求項１５または請求項１６に記載のコンピュータプログラム。

【請求項18】

前記コンピュータプログラムは、前記コンピューティングデバイスに、
前記クロップされた画像を前記コンピューティングデバイスと通信しているモバイルデバイスに伝送することと、
前記モバイルデバイスから、前記関心領域に関する情報を受け取ることと、
前記コンピューティングデバイスのディスプレイ上に前記情報を表示することと、
を行わせる、請求項１５または請求項１６に記載のコンピュータプログラム。

【請求項19】

前記第１の画像解像度は、前記第２の画像解像度よりも低く、
前記関心領域を識別することは、前記コンピューティングデバイス上で実行する機械学習アルゴリズムを利用して行われる、
請求項１５または請求項１６に記載のコンピュータプログラム。

【請求項20】

前記処理回路機構は、少なくとも、
前記第１のセンサデータストリームに画像信号処理を実施するように構成された第１の画像プロセッサを含み、
前記第２のセンサデータストリームに画像信号処理を実施するように構成された第２の画像プロセッサを含み、前記第１のセンサデータストリームの前記第１の画像解像度は前記第２のセンサデータストリームの前記第２の画像解像度より低い、
請求項１５または請求項１６に記載のコンピュータプログラム。

【国際調査報告】