知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-02-15
(54)【発明の名称】カメラズームのためのシステムおよび方法
(51)【国際特許分類】
G06T 3/053 20240101AFI20240207BHJP
H04N 23/60 20230101ALI20240207BHJP
H04N 23/69 20230101ALI20240207BHJP
【ＦＩ】
G06T3/053
H04N23/60 500
H04N23/69
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023549589
(86)(22)【出願日】2022-01-24
(85)【翻訳文提出日】2023-08-16
(86)【国際出願番号】 US2022013552
(87)【国際公開番号】W WO2022182454
(87)【国際公開日】2022-09-01
(31)【優先権主張番号】17/184,343
(32)【優先日】2021-02-24
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】595020643
【氏名又は名称】クゥアルコム・インコーポレイテッド
【氏名又は名称原語表記】ＱＵＡＬＣＯＭＭ ＩＮＣＯＲＰＯＲＡＴＥＤ
(74)【代理人】
【識別番号】110003708
【氏名又は名称】弁理士法人鈴榮特許綜合事務所
(72)【発明者】
【氏名】ガジャラ、ダーガ・プラサド・レディ
(72)【発明者】
【氏名】チェプリ、ナレンドラ・クマー
(72)【発明者】
【氏名】スリバスタバ、ニティン
【テーマコード（参考）】
5B057
5C122
【Ｆターム（参考）】
5B057CD05
5B057DC22
5C122EA37
5C122FE03
5C122FH11
5C122FH14
5C122FK37
5C122FK41
5C122GA01
5C122GA23
5C122GC13
5C122HA35
5C122HB01
5C122HB05
(57)【要約】
シャープネス、明瞭性、および／またはコントラストなど、画像特性を保持するデジタルズームの例が説明される。いくつかの態様では、デバイスが、画像を受信することができ、異なるズーム強度を有する、画像のデジタル的にズームされた変形態に対応する様々な画像特性スコアを決定することができる。たとえば、デバイスは、第１のズーム強度についての第１の画像特性スコアと、第２のズーム強度についての第２の画像特性スコアとを決定することができる。デバイスは、画像特性スコアを画像特性しきい値と比較することができ、対応する画像特性スコアが画像特性しきい値を下回らない、最高ズーム強度を選択することができる。たとえば、デバイスは、第１の画像特性スコアは画像特性しきい値を満たすかまたは超え、第２の画像特性スコアは画像特性しきい値を満たさないかまたは超えない場合、第１のズーム強度を選択することができる。デバイスは、選択されたズーム強度において、画像に対応する画像データを出力することができる。
【選択図】図２
【選択図】図２
【特許請求の範囲】
【請求項1】
画像データを処理するための装置であって、前記装置は、メモリと、
前記メモリに結合された１つまたは複数のプロセッサと、
を備え、前記１つまたは複数のプロセッサは、
画像センサーから画像を受信することと、
画像データの第１のセットの第１の画像特性スコアを決定することと、画像データの前記第１のセットは、第１のズーム強度における前記画像の第１のズームされた変形態に対応する、
画像データの第２のセットの第２の画像特性スコアを決定することと、画像データの前記第２のセットは、第２のズーム強度における前記画像の第２のズームされた変形態に対応する、
前記第２の画像特性スコアが画像特性しきい値よりも小さいことを識別することと、
前記第２の画像特性スコアが前記画像特性しきい値よりも小さいことを識別することに基づいて、出力画像として画像データの前記第１のセットを出力することと、
を行うように構成された、装置。
【請求項2】
前記出力画像として画像データの前記第１のセットを出力することは、前記第１の画像特性スコアが前記画像特性しきい値よりも大きいかまたはそれに等しいことにも基づく、請求項１に記載の装置。
【請求項3】
前記第１の画像特性スコアは第１の画像シャープネススコアであり、前記第２の画像特性スコアは第２の画像シャープネススコアであり、前記画像特性しきい値は画像シャープネスしきい値である、請求項１に記載の装置。
【請求項4】
前記第１の画像特性スコアは画像データの前記第１のセットの第１のアンダーシャープ化値であり、前記第２の画像特性スコアは画像データの前記第２のセットの第２のアンダーシャープ化値であり、前記画像特性しきい値はアンダーシャープ化値しきい値である、請求項１に記載の装置。
【請求項5】
前記１つまたは複数のプロセッサは、前記画像の部分を識別する１つまたは複数の入力を受信することを行うようにさらに構成され、ここにおいて、前記画像の前記第１のズームされた変形態および前記画像の前記第２のズームされた変形態は、前記画像の前記識別された部分に基づく、
請求項１に記載の装置。
【請求項6】
前記画像の前記第１のズームされた変形態および前記画像の前記第２のズームされた変形態は、前記画像の前記識別された部分を含む、請求項５に記載の装置。
【請求項7】
前記１つまたは複数の入力は、ユーザインターフェースを通したユーザ入力を含む、請求項５に記載の装置。
【請求項8】
前記１つまたは複数の入力は、タッチ入力、ジェスチャー入力、および視線入力のうちの少なくとも１つを含む、請求項７に記載の装置。
【請求項9】
前記１つまたは複数のプロセッサは、オブジェクト検出アルゴリズムから前記１つまたは複数の入力を受信するように構成され、前記オブジェクト検出アルゴリズムは、前記画像の前記識別された部分が、オブジェクトのタイプの描写を含むと決定する、請求項５に記載の装置。
【請求項10】
オブジェクトの前記タイプは顔である、請求項９に記載の装置。
【請求項11】
前記１つまたは複数のプロセッサは、少なくとも部分的に、前記第１のズーム強度に従って前記画像をクロップおよびアップスケールすることによって、前記画像の前記第１のズームされた変形態を生成することと、
少なくとも部分的に、前記第２のズーム強度に従って前記画像と前記画像の前記第１のズームされた変形態とのうちの少なくとも１つをクロップおよびアップスケールすることによって、前記画像の前記第２のズームされた変形態を生成することと、
を行うように構成された、請求項１に記載の装置。
【請求項12】
前記出力画像として画像データの前記第１のセットを出力するために、前記１つまたは複数のプロセッサは、ディスプレイスクリーン上の表示のために前記出力画像をレンダリングするように構成された、請求項１に記載の装置。
【請求項13】
前記出力画像を表示するように構成された前記ディスプレイスクリーンをさらに備える、請求項１２に記載の装置。
【請求項14】
前記１つまたは複数のプロセッサは、前記第１の画像特性スコアと前記第２の画像特性スコアとの間の差が差しきい値よりも小さいことを識別することと、
前記差が前記差しきい値よりも小さいことに基づいて、第２の出力画像として画像データの前記第２のセットを出力することと、
を行うように構成された、請求項１に記載の装置。
【請求項15】
画像データの前記第１のセットは、前記第１のズーム強度における前記画像の第１のデジタル的にズームされた部分に対応し、画像データの前記第２のセットは、前記第２のズーム強度における前記画像の第２のデジタル的にズームされた部分に対応する、請求項１に記載の装置。
【請求項16】
前記画像の前記第２のデジタル的にズームされた部分は、前記画像の前記第１のデジタル的にズームされた部分のサブセットである、請求項１５に記載の装置。
【請求項17】
前記画像の前記第１のデジタル的にズームされた部分は、前記画像の前記第２のデジタル的にズームされた部分とは異なる、請求項１５に記載の装置。
【請求項18】
前記出力画像として画像データの前記第１のセットを出力するために、前記１つまたは複数のプロセッサは、通信インターフェースを使用して前記出力画像を送信するように構成された、請求項１に記載の装置。
【請求項19】
前記出力画像をデバイスに送信するように構成された前記通信インターフェースをさらに備える、請求項１８に記載の装置。
【請求項20】
前記装置は、モバイルデバイス、モバイルハンドセット、ワイヤレス通信デバイス、ヘッドマウントディスプレイ、およびカメラのうちの１つである、請求項１に記載の装置。
【請求項21】
前記画像をキャプチャするように構成された前記画像センサーをさらに備える、請求項１に記載の装置。
【請求項22】
画像データを処理する方法であって、前記方法は、画像センサーから画像を受信することと、
画像データの第１のセットの第１の画像特性スコアを決定することと、画像データの前記第１のセットは、第１のズーム強度における前記画像の第１のズームされた変形態に対応する、
画像データの第２のセットの第２の画像特性スコアを決定することと、画像データの前記第２のセットは、第２のズーム強度における前記画像の第２のズームされた変形態に対応する、
前記第２の画像特性スコアが画像特性しきい値よりも小さいことを識別することと、
前記第２の画像特性スコアが前記画像特性しきい値よりも小さいことを識別することに基づいて、出力画像として画像データの前記第１のセットを出力することと、
を備える、方法。
【請求項23】
前記出力画像として画像データの前記第１のセットを出力することは、前記第１の画像特性スコアが前記画像特性しきい値よりも大きいかまたはそれに等しいことにも基づく、請求項２２に記載の方法。
【請求項24】
前記第１の画像特性スコアは第１の画像シャープネススコアであり、前記第２の画像特性スコアは第２の画像シャープネススコアであり、前記画像特性しきい値は画像シャープネスしきい値である、請求項２２に記載の方法。
【請求項25】
前記第１の画像特性スコアは画像データの前記第１のセットの第１のアンダーシャープ化値であり、前記第２の画像特性スコアは画像データの前記第２のセットの第２のアンダーシャープ化値であり、前記画像特性しきい値はアンダーシャープ化値しきい値である、請求項２２に記載の方法。
【請求項26】
前記画像の部分を識別する１つまたは複数の入力を受信することをさらに備え、ここにおいて、前記画像の前記第１のズームされた変形態および前記画像の前記第２のズームされた変形態は、前記画像の前記識別された部分に基づく、請求項２２に記載の方法。
【請求項27】
前記画像の前記第１のズームされた変形態および前記画像の前記第２のズームされた変形態は、前記画像の前記識別された部分を含む、請求項２６に記載の方法。
【請求項28】
少なくとも部分的に、前記第１のズーム強度に従って前記画像をクロップおよびアップスケールすることによって、前記画像の前記第１のズームされた変形態を生成することと、少なくとも部分的に、前記第２のズーム強度に従って前記画像と前記画像の前記第１のズームされた変形態とのうちの少なくとも１つをクロップおよびアップスケールすることによって、前記画像の前記第２のズームされた変形態を生成することと、
をさらに備える、請求項２２に記載の方法。
【請求項29】
前記出力画像として画像データの前記第１のセットを出力することは、ディスプレイスクリーン上の表示のために前記出力画像をレンダリングすることを含む、請求項２２に記載の方法。
【請求項30】
前記出力画像として画像データの前記第１のセットを出力することは、通信インターフェースを使用して前記出力画像を送信することを含む、請求項２２に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
[0001]本出願は、画像処理に関する。より詳細には、本出願の態様は、画像が、少なくともしきい値レベルの、シャープネス、コントラスト、または明瞭性などの１つまたは複数の画像特性を保持する、画像のための高強度または高レベルのデジタルズームを識別するシステムおよび方法に関する。
【背景技術】
【0002】
[0002]光学系では、ズームは、カメラが、ズーム設定に応じて、撮影されたオブジェクトにより近いところまたは撮影されたオブジェクトからより遠いところからキャプチャされたように見える画像をキャプチャすることを可能にする技法を指す。ズームインすることは、キャプチャされた画像を、撮影されたオブジェクトにより近いところからキャプチャされたように見せる調整を指す。ズームアウトすることは、キャプチャされた画像を、撮影されたオブジェクトからより遠いところからキャプチャされたように見せる調整を指す。ズームは、光学ズームおよびデジタルズームを含む。光学ズームは、明瞭な画像を作り出すが、カメラの１つまたは複数のレンズの物理的移動を伴う。デジタルズームは、旧来、キャプチャされた画像の部分をクロップおよびアップスケールすることを伴う。デジタルズームは、特殊なカメラ機器を必要としない。しかしながら、高ズーム強度において画像をデジタル的にズームすることは、元の画像の対応する画像特性と比較して、画像のデジタル的にズームされた部分のためのシャープネス、コントラスト、および／または明瞭性などの画像特性に悪影響を及ぼし得る。
【発明の概要】
【0003】
[0003]デジタルズームのためのシステムおよび技法が、本明細書で説明される。いくつかの態様では、デバイスが、画像センサーによってキャプチャされた画像を受信することができる。デバイスは、異なる（ズームレベルとも呼ばれる）ズーム強度を有する、画像のデジタル的にズームされたバージョンに対応する様々な画像特性スコアを決定することができる。たとえば、デバイスは、第１のズーム強度（またはズームレベル）についての第１の画像特性スコアと、第２のズーム強度（またはズームレベル）についての第２の画像特性スコアとを決定することができる。デバイスは、画像特性スコアを画像特性しきい値と比較することができ、対応する画像特性スコアが画像特性しきい値を下回らない、最高ズーム強度を選択することができる。いくつかの例では、デバイスは、対応する画像特性スコアが画像特性しきい値を上回る、最高ズーム強度を選択することができる。いくつかの例では、デバイスは、対応する画像特性スコアが画像特性しきい値に等しい、最高ズーム強度を選択することができる。たとえば、デバイスは、第１の画像特性スコアが画像特性しきい値を満たすかまたは超え、第２の画像特性スコアが画像特性しきい値を下回る場合、第１のズーム強度を選択することができる。デバイスは、選択されたズーム強度において、画像のデジタル的にズームされた部分に対応する画像データを出力する（たとえば、画像データを表示する、画像データを記憶する、画像データを別のデバイスに送るなど）ことができる。
【0004】
[0004]一例では、画像処理のための装置が提供される。本装置は、メモリと、メモリに結合された（たとえば、回路において実装された）１つまたは複数のプロセッサとを含む。１つまたは複数のプロセッサは、画像センサーから画像を受信することと；画像データの第１のセットの第１の画像特性スコアを決定することと、画像データの第１のセットが、第１のズーム強度における画像の第１のズームされた変形態（variant）に対応する；画像データの第２のセットの第２の画像特性スコアを決定することと、画像データの第２のセットが、第２のズーム強度における画像の第２のズームされた変形態に対応する；第２の画像特性スコアが画像特性しきい値よりも小さいことを識別することと；第２の画像特性スコアが画像特性しきい値よりも小さいことを識別することに基づいて、出力画像として画像データの第１のセットを出力することとを行うように構成され、それらを行うことができる。
【0005】
[0005]別の例では、画像処理の方法が提供される。本方法は、画像センサーによってキャプチャされた画像を受信することを含む。本方法は、画像センサーから画像を受信することと；画像データの第１のセットの第１の画像特性スコアを決定することと、画像データの第１のセットが、第１のズーム強度における画像の第１のズームされた変形態に対応する；画像データの第２のセットの第２の画像特性スコアを決定することと、画像データの第２のセットが、第２のズーム強度における画像の第２のズームされた変形態に対応する；第２の画像特性スコアが画像特性しきい値よりも小さいことを識別することと；第２の画像特性スコアが画像特性しきい値よりも小さいことを識別することに基づいて、出力画像として画像データの第１のセットを出力することとを含む。
【0006】
[0006]別の例では、命令を記憶した非一時的コンピュータ可読媒体であって、命令は、１つまたは複数のプロセッサによって実行されたとき、１つまたは複数のプロセッサに、画像センサーから画像を受信することと；画像データの第１のセットの第１の画像特性スコアを決定することと、画像データの第１のセットが、第１のズーム強度における画像の第１のズームされた変形態に対応する；画像データの第２のセットの第２の画像特性スコアを決定することと、画像データの第２のセットが、第２のズーム強度における画像の第２のズームされた変形態に対応する；第２の画像特性スコアが画像特性しきい値よりも小さいことを識別することと；第２の画像特性スコアが画像特性しきい値よりも小さいことを識別することに基づいて、出力画像として画像データの第１のセットを出力することとを行わせる、非一時的コンピュータ可読媒体が提供される。
【0007】
[0007]別の例では、画像処理のための装置が提供される。本装置は、画像センサーから画像を受信するための手段と；画像データの第１のセットの第１の画像特性スコアを決定するための手段と、画像データの第１のセットが、第１のズーム強度における画像の第１のズームされた変形態に対応する；画像データの第２のセットの第２の画像特性スコアを決定するための手段と、画像データの第２のセットが、第２のズーム強度における画像の第２のズームされた変形態に対応する；第２の画像特性スコアが画像特性しきい値よりも小さいことを識別するための手段と；第２の画像特性スコアが画像特性しきい値よりも小さいことを識別することに基づいて、出力画像として画像データの第１のセットを出力するための手段とを含む。
【0008】
[0008]いくつかの態様では、出力画像として画像データの第１のセットを出力することは、第１の画像特性スコアが画像特性しきい値よりも大きいかまたはそれに等しいことにも基づく。
【0009】
[0009]いくつかの態様では、第１の画像特性スコアは第１の画像シャープネススコアであり、第２の画像特性スコアは第２の画像シャープネススコアであり、画像特性しきい値は画像シャープネスしきい値である。いくつかの態様では、第１の画像特性スコアは画像データの第１のセットの第１のアンダーシャープ化（under-sharpening）値であり、第２の画像特性スコアは画像データの第２のセットの第２のアンダーシャープ化値であり、画像特性しきい値はアンダーシャープ化値しきい値である。
【0010】
[0010]いくつかの態様では、上記で説明された方法、装置、およびコンピュータ可読媒体は、画像の部分を識別する１つまたは複数の入力を受信することをさらに備え、ここにおいて、画像の第１のズームされた変形態および画像の第２のズームされた変形態は、画像の識別された部分に基づく。いくつかの態様では、画像の第１のズームされた変形態および画像の第２のズームされた変形態は、画像の識別された部分を含む。いくつかの態様では、１つまたは複数の入力は、ユーザインターフェースを通したユーザ入力を含む。いくつかの態様では、１つまたは複数の入力は、タッチ入力、ホバー（hover）入力、ジェスチャー入力、および視線入力のうちの少なくとも１つを含む。いくつかの態様では、上記で説明された方法、装置、およびコンピュータ可読媒体は、オブジェクト検出アルゴリズムから１つまたは複数の入力を受信することをさらに備え、オブジェクト検出アルゴリズムは、画像の識別された部分が、オブジェクトのタイプの描写を含むと決定する。いくつかの態様では、オブジェクトのタイプは顔である。
【0011】
[0011]いくつかの態様では、上記で説明された方法、装置、およびコンピュータ可読媒体は、少なくとも部分的に、第１のズーム強度に従って画像をクロップ（crop）およびアップスケールすることによって、画像の第１のズームされた変形態を生成することと、少なくとも部分的に、第２のズーム強度に従って画像と画像の第１のズームされた変形態とのうちの少なくとも１つをクロップおよびアップスケールすることによって、画像の第２のズームされた変形態を生成することとをさらに備える。
【0012】
[0012]いくつかの態様では、出力画像として画像データの第１のセットを出力するために、１つまたは複数のプロセッサは、ディスプレイスクリーン上の表示のために出力画像をレンダリングするように構成される。いくつかの態様では、上記で説明された装置は、出力画像を表示するように構成されたディスプレイスクリーンをさらに備える。
【0013】
[0013]いくつかの態様では、上記で説明された方法、装置、およびコンピュータ可読媒体は、第１の画像特性スコアと第２の画像特性スコアとの間の差が差しきい値よりも小さいことを識別することと、差が差しきい値よりも小さいことに基づいて、第２の出力画像として画像データの第２のセットを出力することとをさらに備える。
【0014】
[0014]いくつかの態様では、画像データの第１のセットは、第１のズーム強度における画像の第１のデジタル的にズームされた部分に対応し、画像データの第２のセットは、第２のズーム強度における画像の第２のデジタル的にズームされた部分に対応する。いくつかの態様では、画像の第２のデジタル的にズームされた部分は、画像の第１のデジタル的にズームされた部分のサブセットである。いくつかの態様では、画像の第１のデジタル的にズームされた部分は、画像の第２のデジタル的にズームされた部分とは異なる。
【0015】
[0015]いくつかの態様では、出力画像として画像データの第１のセットを出力するために、１つまたは複数のプロセッサは、通信インターフェースを使用して出力画像を送信するように構成される。いくつかの態様では、上記で説明された装置は、出力画像をデバイスに送信するように構成された通信インターフェースをさらに備える。
【0016】
[0016]いくつかの態様では、上記で説明された装置は、モバイルデバイス、モバイルハンドセット、ワイヤレス通信デバイス、ヘッドマウントディスプレイ、およびカメラのうちの１つである。いくつかの態様では、上記で説明された装置は、画像をキャプチャするように構成された画像センサーをさらに備える。
【0017】
[0017]いくつかの態様では、本装置は、カメラ、モバイルデバイス、携帯電話、スマートフォン、モバイルハンドセット、ポータブルゲーミングデバイス、ワイヤレス通信デバイス、スマートウォッチ、ウェアラブルデバイス、ヘッドマウントディスプレイ（ＨＭＤ）、エクステンデッドリアリティデバイス（たとえば、仮想現実（ＶＲ）デバイス、拡張現実（ＡＲ）デバイス、または複合現実（ＭＲ）デバイス）、パーソナルコンピュータ、ラップトップコンピュータ、サーバコンピュータ、または他のデバイスを備える。いくつかの態様では、１つまたは複数のプロセッサは、画像信号プロセッサ（ＩＳＰ）を含む。いくつかの態様では、本装置は、１つまたは複数の画像をキャプチャするための１つまたは複数のカメラを含む。いくつかの態様では、本装置は、画像をキャプチャする画像センサーを含む。いくつかの態様では、本装置は、画像、（たとえば、画像の処理に関連付けられた）１つまたは複数の通知、および／または他の表示可能なデータを表示するためのディスプレイをさらに含む。いくつかの態様では、ディスプレイは、１つまたは複数のプロセッサが画像を処理した後に、画像を表示する。
【0018】
[0018]本発明の概要は、請求される主題の主要なまたは本質的な特徴を識別することが意図されず、請求される主題の範囲を決定するために独立して使用されることも意図されない。本主題は、本特許の明細書全体、いずれかまたはすべての図面、および各請求項の適切な部分を参照することによって理解されたい。
【0019】
[0019]前述の内容は、他の特徴および実施形態とともに、以下の明細書、特許請求の範囲、および添付の図面を参照すれば、より明らかになるであろう。
【0020】
[0020]本出願の例示的な実施形態が、以下の図を参照しながら以下で詳細に説明される。
【図面の簡単な説明】
【0021】
【図1】[0021]画像キャプチャおよび処理システムのアーキテクチャを示すブロック図。
【図2】[0022]画像特性評価エンジンを含む画像処理システムのアーキテクチャを示すブロック図。
【図3A】[0023]画像のデジタル的にズームされた部分が、タッチ入力に基づいて識別された画像の部分に中心がある、選択インターフェースを示す概念図。
【図3B】[0024]画像のデジタル的にズームされた部分が、画像解析に基づいて識別された画像の部分に中心がある、選択インターフェースを示す概念図。
【図4A】[0025]画像と対応するシャープネスグラフとを示す概念図。
【図5】[0028]一連のインクリメンタルズーム（incremental zoom）動作に沿った、異なるズーム強度と対応する特性スコアとを示す概念図。
【図6】[0029]画像データを処理するための動作を示す流れ図。
【図7】[0030]本技術のいくつかの態様を実装するためのシステムの一例を示す図。
【発明を実施するための形態】
【0022】
[0031]本開示のいくつかの態様および実施形態が以下で提供される。当業者に明らかであるように、これらの態様および実施形態のうちのいくつかは独立して適用され得、それらのうちのいくつかは組み合わせて適用され得る。以下の説明では、説明の目的で、本出願の実施形態の完全な理解を提供するために具体的な詳細が記載される。ただし、様々な実施形態は、これらの具体的な詳細なしに実施され得ることが明らかであろう。図および説明は限定するものではない。
【0023】
[0032]以下の説明は、例示的な実施形態を提供するにすぎず、本開示の範囲、適用可能性、または構成を限定するものではない。そうではなく、例示的な実施形態の以下の説明は、例示的な実施形態を実装することを可能にする説明を当業者に提供する。添付の特許請求の範囲に記載されるように、本出願の趣旨および範囲から逸脱することなく、要素の機能および構成において様々な変更が行われ得ることを理解されたい。
【0024】
[0033]画像キャプチャデバイス（たとえば、カメラ）は、画像センサーを使用して、光を受け取り、静止画像またはビデオフレームなど、画像フレームをキャプチャするデバイスである。「画像」、「画像フレーム」、および「フレーム」という用語は、本明細書では互換的に使用される。画像キャプチャデバイスは、典型的には、シーンから光を受け取り、画像キャプチャデバイスの画像センサーのほうへ光を曲げる少なくとも１つのレンズを含む。レンズによって受け取られた光は、１つまたは複数の制御機構によって制御される開口を通過し、画像センサーによって受け取られる。１つまたは複数の制御機構は、画像センサーからの情報に基づいて、および／または画像プロセッサ（たとえば、ホストまたはアプリケーションプロセスおよび／あるいは画像信号プロセッサ）からの情報に基づいて、露出、フォーカス、および／またはズームを制御することができる。いくつかの例では、１つまたは複数の制御機構は、画像キャプチャデバイスのレンズをターゲットレンズ位置に移動させるモーターまたは他の制御機構を含む。
【0025】
[0034]ズームは、カメラが、ズーム設定に応じて、撮影されたオブジェクトにより近いところまたは撮影されたオブジェクトからより遠いところからキャプチャされたように見える画像をキャプチャすることを可能にする技法のセットを指す。ズームインすることは、キャプチャされた画像を、撮影されたオブジェクトにより近いところからキャプチャされたように見せる調整を指す。ズームアウトすることは、キャプチャされた画像を、撮影されたオブジェクトからより遠いところからキャプチャされたように見せる調整を指す。ズームは、光学ズームおよびデジタルズームを含む。
【0026】
[0035]光学ズームは、カメラのズームレンズの焦点距離を変更することによって、または第１の焦点距離をもつカメラから第２の焦点距離をもつカメラに切り替えることによってズームを実施する技法である。光学ズームを通してズームインすることは、画像品質を劣化させないが、特殊なカメラ機器を必要とし、画像がキャプチャされる前に実施されなければならない。
【0027】
[0036]デジタルズームは、画像をクロップし、クロップされた画像をアップスケールすることによって画像の部分上にズームインするための技法である。デジタルズームは、望遠レンズなどの特殊なカメラ機器を必要としないので有益であり得、したがって、かなり基本的なカメラをもつデバイス上のズーム機能を可能にすることができる。デジタルズームはまた、特定のカメラの光学ズーム能力を超えてズームインするために、光学ズームに加えて使用され得る。デジタルズームは、画像がキャプチャされた後に任意のポイントにおいて実施され得る。しかしながら、デジタルズームを使用してズームインすることは、元の画像の部分をクロップし、それをアップスケールすることを伴う。ズームインするプロセスは、シャープネス、コントラスト、および／または明瞭性など、画像特性を劣化させることがある。たとえば、画像のクロップおよびアップスケールされた部分は、元の画像よりも低い画像特性スコア（たとえば、より低いシャープネス、より低いコントラスト、および／またはより低い明瞭性）を有することができる。たとえば、デジタルズームによってもたらされる品質の劣化は、しばしば、エッジのシャープネスを低減し（たとえば、エッジをぼやけたように見せ）、および／または曲線の滑らかさを低減する（たとえば、曲線をぎざぎざのエッジを有するように見せる）。
【0028】
[0037]以下でより詳細に説明されるように、少なくともしきい値レベルの、シャープネス、コントラスト、および／または明瞭性などの１つまたは複数の画像特性を保持する、選択されたデジタルズームレベルを決定するためのシステムおよび技法が、本明細書で説明される。たとえば、デバイスの画像センサー（たとえば、カメラまたはカメラの部分）が画像をキャプチャし得る。画像の部分を識別する入力が、デバイスにおいて受信され得る。たとえば、デバイスは、デバイスのディスプレイスクリーンが画像を表示する間に入力を受信することができる。いくつかの例では、入力は、たとえば、ディスプレイスクリーンがタッチスクリーンである場合、ディスプレイスクリーン上に表示される画像の部分にタッチするタッチ入力であり得る。入力は、ホバー入力、視線追跡入力、マウスカーソルクリック入力、ポインタクリック入力、ボタン押下入力、それらの任意の組合せ、および／あるいは、画像の部分を識別または選択する別のタイプの入力であり得る。
【0029】
[0038]デバイスは、（ズームレベルとも呼ばれる）異なるズーム強度においてデジタルズームを使用して、画像から複数のズームされた画像を、ズームされた画像が画像の部分を含むように、生成することができる。たとえば、デバイスは、第１のズーム強度（たとえば、２Ｘズーム）を使用して画像の部分上にデジタル的にズームインすることによって、第１のズームされた画像を生成することができる。デバイスは、第１のズーム強度よりも大きい第２のズーム強度（たとえば、４Ｘズーム）を使用して画像の部分上にデジタル的にズームインすることによって、第２のズームされた画像を生成することができる。したがって、第２のズームされた画像は、第１のズームされた画像よりも高いズーム強度においてクロップされ、アップスケールされる。
【0030】
[0039]デバイスは、ズームされた画像の各々についての画像シャープネス値を決定することができる。たとえば、デバイスは、第１のズームされた画像の第１の画像シャープネスと、第２のズームされた画像の第２の画像シャープネスとを決定することができる。画像シャープネス値の各々は、たとえば、モジュロ伝達関数（ＭＴＦ：modulo transfer function）を使用してデバイスによって計算されるアンダーシャープ化割合であり得る。画像シャープネス測定値は、ラインペアパーミリメートル（ｍｍ）測定値など、他の測定値に基づき得る。
【0031】
[0040]所定の画像特性しきい値は、デバイスにおいて記憶され得る。デバイスは、異なる画像特性スコアを画像特性しきい値と比較することができる。その画像特性スコア値が依然として画像特性しきい値よりも大きいかまたはそれに等しい、最も大きいズーム強度をもつズームされた画像が、選択されたズームされた画像として選択される。画像特性スコアは画像シャープネススコアであり得、画像特性しきい値は画像シャープネスしきい値であり得る。１つの例示的な例では、画像シャープネスしきい値は、８０％アンダーシャープ化（under-sharpening）であり得る。この例では、１．５ｘズームを有する第１のズームされた画像が、９５％アンダーシャープ化の第１の画像シャープネススコアを有し、２ｘズームを有する第２のズームされた画像が、８６％アンダーシャープ化の画像シャープネススコアを有し、２．５ｘズームを有する第３のズームされた画像が７２％アンダーシャープ化の画像シャープネススコアを有する場合、第２のズームされた画像についての８６％画像シャープネススコアが８０％シャープネスしきい値よりも大きく、第３のズームされた画像についての７２％画像シャープネススコアが８０％シャープネスしきい値よりも小さいので、（２ｘズームにおける）第２のズームされる画像は、選択されたズームされた画像である。
【0032】
[0041]本明細書で説明されるシステムおよび技法は、デジタルズーム技法を適用するイメージング技術に対する技術的改善を提供する。たとえば、本明細書で説明されるシステムおよび技法は、高レベルの、シャープネス、コントラスト、および明瞭性などの画像特性を保持しながら、デジタルズーム強度を最大にする。これは、高画像品質を保持しながら特殊なハードウェア（たとえば、望遠レンズ）なしにズーム動作を実施する能力など、デジタルズームの利益を与える。
【0033】
[0042]図１は、画像キャプチャおよび処理システム１００のアーキテクチャを示すブロック図である。画像キャプチャおよび処理システム１００は、シーンの画像（たとえば、シーン１１０の画像）をキャプチャし、処理するために使用される様々な構成要素を含む。画像キャプチャおよび処理システム１００は、スタンドアロン画像（または写真）をキャプチャすることができ、および／または特定のシーケンス中の複数の画像（またはビデオフレーム）を含むビデオをキャプチャすることができる。システム１００のレンズ１１５は、シーン１１０に面し、シーン１１０からの光を受け取る。レンズ１１５は、画像センサー１３０のほうへ光を曲げる。レンズ１１５によって受け取られた光は、１つまたは複数の制御機構１２０によって制御される開口を通過し、画像センサー１３０によって受け取られる。
【0034】
[0043]１つまたは複数の制御機構１２０は、画像センサー１３０からの情報に基づいて、および／または画像プロセッサ１５０からの情報に基づいて、露出、フォーカス、および／またはズームを制御し得る。１つまたは複数の制御機構１２０は、複数の機構および構成要素を含み得、たとえば、制御機構１２０は、１つまたは複数の露出制御機構１２５Ａ、１つまたは複数のフォーカス制御機構１２５Ｂ、および／または１つまたは複数のズーム制御機構１２５Ｃを含み得る。１つまたは複数の制御機構１２０は、アナログ利得、フラッシュ、ＨＤＲ、被写界深度、および／または他の画像キャプチャプロパティを制御する制御機構など、図示されているもの以外の追加の制御機構をも含み得る。
【0035】
[0044]制御機構１２０のフォーカス制御機構１２５Ｂは、フォーカス設定を取得することができる。いくつかの例では、フォーカス制御機構１２５Ｂは、フォーカス設定をメモリレジスタに記憶する。フォーカス設定に基づいて、フォーカス制御機構１２５Ｂは、画像センサー１３０の位置に対してレンズ１１５の位置を調整することができる。たとえば、フォーカス設定に基づいて、フォーカス制御機構１２５Ｂは、モーターまたはサーボ（または他のレンズ機構）を作動させることによってレンズ１１５を画像センサー１３０のより近くにまたは画像センサー１３０からより遠くに移動させ、それによりフォーカスを調整することができる。いくつかの場合には、画像センサー１３０の各フォトダイオード上の１つまたは複数のマイクロレンズなどの追加のレンズが、システム１００中に含まれ得、各々、レンズ１１５から受け取られた光を、光がフォトダイオードに到達する前に、対応するフォトダイオードのほうへ曲げる。フォーカス設定は、コントラスト検出オートフォーカス（ＣＤＡＦ）、位相検出オートフォーカス（ＰＤＡＦ）、ハイブリッドオートフォーカス（ＨＡＦ）、またはそれらの何らかの組合せを介して決定され得る。フォーカス設定は、制御機構１２０、画像センサー１３０、および／または画像プロセッサ１５０を使用して決定され得る。フォーカス設定は、画像キャプチャ設定および／または画像処理設定と呼ばれることがある。
【0036】
[0045]制御機構１２０の露出制御機構１２５Ａは、露出設定を取得することができる。いくつかの場合には、露出制御機構１２５Ａは、露出設定をメモリレジスタに記憶する。この露出設定に基づいて、露出制御機構１２５Ａは、開口のサイズ（たとえば、開口サイズまたはｆ／ストップ）、開口が開いている持続時間（たとえば、露出時間またはシャッター速度）、画像センサー１３０の感度（たとえば、ＩＳＯ速度またはフィルム速度）、画像センサー１３０によって適用されるアナログ利得、またはそれらの任意の組合せを制御することができる。露出設定は、画像キャプチャ設定および／または画像処理設定と呼ばれることがある。
【0037】
[0046]制御機構１２０のズーム制御機構１２５Ｃは、ズーム設定を取得することができる。いくつかの例では、ズーム制御機構１２５Ｃは、ズーム設定をメモリレジスタに記憶する。いくつかの例では、ズーム設定は、デジタルズーム設定を含み得る。いくつかの例では、ズーム設定は、光学ズーム設定を含み得る。ズーム設定に基づいて、ズーム制御機構１２５Ｃは、カメラのセットのうちのどれがアクティブであるか、レンズ１１５および／または１つまたは複数の追加のレンズを含むレンズ要素のアセンブリ（レンズアセンブリ）の焦点距離、あるいはそれらの組合せを制御することができる。たとえば、ズーム制御機構１２５Ｃは、レンズのうちの１つまたは複数を互いに対して移動させるために、ズーム制御機構１２５Ｃの）１つまたは複数のモーターまたはサーボを作動させることによって、レンズアセンブリの焦点距離を制御することができる。ズーム設定は、画像キャプチャ設定および／または画像処理設定と呼ばれることがある。
【0038】
[0047]画像センサー１３０は、フォトダイオードまたは他の感光性要素の１つまたは複数のアレイを含む。各フォトダイオードは、画像センサー１３０によって作り出された画像中の特定のピクセルに最終的に対応する光の量を測定する。いくつかの場合には、異なるフォトダイオードが異なる色フィルタによってカバーされ得、したがって、フォトダイオードをカバーするフィルタの色に一致する光を測定し得る。たとえば、ベイヤー（Bayer）色フィルタは、赤色フィルタと、青色フィルタと、緑色フィルタとを含み、画像の各ピクセルは、赤色フィルタでカバーされた少なくとも１つのフォトダイオードからの赤色光データと、青色フィルタでカバーされた少なくとも１つのフォトダイオードからの青色光データと、緑色フィルタでカバーされた少なくとも１つのフォトダイオードからの緑色光データとに基づいて生成される。他のタイプの色フィルタは、赤色、青色、および／または緑色の色フィルタの代わりに、またはそれらに加えて、黄色、マゼンタ、および／または（「エメラルド」とも呼ばれる）シアンの色フィルタを使用し得る。いくつかの画像センサー（たとえば、画像センサー１３０）は、色フィルタがまったくないことがあり、代わりに、（いくつかの場合には、垂直にスタックされる）ピクセルアレイ全体にわたって異なるフォトダイオードを使用し得る。ピクセルアレイ全体にわたる異なるフォトダイオードは、異なるスペクトル感度曲線を有し、したがって、異なる波長の光に応答することができる。モノクローム画像センサーも、色フィルタがなく、したがって、色深度がないことがある。
【0039】
[0048]いくつかの場合には、画像センサー１３０は、代替または追加として、位相検出オートフォーカス（ＰＤＡＦ）のために使用され得る、ある時間におよび／またはある角度から、光があるフォトダイオード、またはあるフォトダイオードの部分に達するのをブロックする、不透明なマスクおよび／または反射マスクを含み得る。画像センサー１３０はまた、フォトダイオードによって出力されたアナログ信号を増幅するためのアナログ利得増幅器、および／またはフォトダイオードの（および／またはアナログ利得増幅器によって増幅された）アナログ信号出力をデジタル信号に変換するためのアナログデジタル変換器（ＡＤＣ）を含み得る。いくつかの場合には、制御機構１２０のうちの１つまたは複数に関して説明されるいくつかの構成要素または機能は、その代わりにまたはそれに加えて、画像センサー１３０に含まれ得る。画像センサー１３０は、電荷結合デバイス（ＣＣＤ）センサー、電子増倍ＣＣＤ（ＥＭＣＣＤ）センサー、アクティブピクセルセンサー（ＡＰＳ）、相補型金属酸化物半導体（ＣＭＯＳ）、Ｎ型金属酸化物半導体（ＮＭＯＳ）、ハイブリッドＣＣＤ／ＣＭＯＳセンサー（たとえば、ｓＣＭＯＳ）、またはそれらの何らかの他の組合せであり得る。
【0040】
[0049]画像プロセッサ１５０は、（ＩＳＰ１５４を含む）１つまたは複数の画像信号プロセッサ（ＩＳＰ）、（ホストプロセッサ１５２を含む）１つまたは複数のホストプロセッサ、および／あるいはコンピューティングシステム７００に関して説明される任意の他のタイプのプロセッサ７１０のうちの１つまたは複数など、１つまたは複数のプロセッサを含み得る。ホストプロセッサ１５２は、デジタル信号プロセッサ（ＤＳＰ）および／または他のタイプのプロセッサであり得る。いくつかの実装形態では、画像プロセッサ１５０は、ホストプロセッサ１５２とＩＳＰ１５４とを含む単一の集積回路または（たとえば、システムオンチップまたはＳｏＣと呼ばれる）チップである。いくつかの場合には、チップはまた、１つまたは複数の入出力ポート（たとえば、入出力（Ｉ／Ｏ）ポート１５６）、中央処理ユニット（ＣＰＵ）、グラフィックス処理ユニット（ＧＰＵ）、ブロードバンドモデム（たとえば、３Ｇ、４ＧまたはＬＴＥ（登録商標）、５Ｇなど）、メモリ、接続性構成要素（たとえば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、全地球測位システム（ＧＰＳ）など）、それらの任意の組合せ、および／または他の構成要素を含むことができる。Ｉ／Ｏポート１５６は、インター集積回路２（Ｉ２Ｃ）インターフェース、インター集積回路３（Ｉ３Ｃ）インターフェース、シリアル周辺インターフェース（ＳＰＩ）インターフェース、シリアル汎用入出力（ＧＰＩＯ）インターフェース、（ＭＩＰＩ ＣＳＩ－２物理（ＰＨＹ）レイヤポートまたはインターフェースなどの）モバイルインダストリプロセッサインターフェース（ＭＩＰＩ：Mobile Industry Processor Interface）、アドバンストハイパフォーマンスバス（ＡＨＢ：Advanced High-performance Bus）バス、それらの任意の組合せ、および／または他の入出力ポートなど、１つまたは複数のプロトコルまたは仕様による任意の好適な入出力ポートまたはインターフェースを含むことができる。１つの例示的な例では、ホストプロセッサ１５２は、Ｉ２Ｃポートを使用して画像センサー１３０と通信することができ、ＩＳＰ１５４は、ＭＩＰＩポートを使用して画像センサー１３０と通信することができる。
【0041】
[0050]画像プロセッサ１５０は、デモザイキング（de-mosaicing）、色空間変換、画像フレームダウンサンプリング、ピクセル補間、自動露光（ＡＥ）制御、自動利得制御（ＡＧＣ）、ＣＤＡＦ、ＰＤＡＦ、自動ホワイトバランス、ＨＤＲ画像を形成するための画像フレームのマージング、画像認識、オブジェクト認識、特徴認識、入力の受信、出力を管理すること、メモリを管理すること、またはそれらの何らかの組合せなど、いくつかのタスクを実施し得る。画像プロセッサ１５０は、画像フレームおよび／または処理された画像を、ランダムアクセスメモリ（ＲＡＭ）１４０／７２０、読取り専用メモリ（ＲＯＭ）１４５／７２５、キャッシュ、メモリユニット、別の記憶デバイス、またはそれらの何らかの組合せに記憶し得る。
【0042】
[0051]様々な入出力（Ｉ／Ｏ）デバイス１６０が画像プロセッサ１５０に接続され得る。Ｉ／Ｏデバイス１６０は、ディスプレイスクリーン、キーボード、キーパッド、タッチスクリーン、トラックパッド、タッチセンシティブ表面、プリンタ、任意の他の出力デバイス７３５、任意の他の入力デバイス７４５、またはそれらの何らかの組合せを含むことができる。いくつかの場合には、キャプションは、Ｉ／Ｏデバイス１６０の物理キーボードまたはキーパッドを通して、あるいはＩ／Ｏデバイス１６０のタッチスクリーンの仮想キーボードまたはキーパッドを通して、画像処理デバイス１０５Ｂに入力され得る。Ｉ／Ｏ１６０は、システム１００と１つまたは複数の周辺デバイスとの間のワイヤード接続を可能にする１つまたは複数のポート、ジャック、または他のコネクタを含み得、それらを介して、システム１００は、１つまたは複数の周辺デバイスからデータを受信し、および／または１つまたは複数の周辺デバイスにデータを送信し得る。Ｉ／Ｏ１６０は、システム１００と１つまたは複数の周辺デバイスとの間のワイヤレス接続を可能にする１つまたは複数のワイヤレストランシーバを含み得、それらを介して、システム１００は、１つまたは複数の周辺デバイスからデータを受信し、および／または１つまたは複数の周辺デバイスにデータを送信し得る。周辺デバイスは、前に説明されたタイプのＩ／Ｏデバイス１６０のいずれかを含み得、ポート、ジャック、ワイヤレストランシーバ、あるいは他のワイヤードおよび／またはワイヤレスコネクタに結合されると、それら自体がＩ／Ｏデバイス１６０と見なされ得る。
【0043】
[0052]いくつかの場合には、画像キャプチャおよび処理システム１００は、単一のデバイスであり得る。いくつかの場合には、画像キャプチャおよび処理システム１００は、画像キャプチャデバイス１０５Ａ（たとえば、カメラ）と画像処理デバイス１０５Ｂ（たとえば、カメラに結合されたコンピューティングシステム）とを含む、２つまたはそれ以上の別個のデバイスであり得る。いくつかの実装形態では、画像キャプチャデバイス１０５Ａと画像処理デバイス１０５Ｂとは、たとえば、１つまたは複数のワイヤ、ケーブル、または他の電気コネクタを介して、および／あるいは１つまたは複数のワイヤレストランシーバを介してワイヤレスに、互いに結合され得る。いくつかの実装形態では、画像キャプチャデバイス１０５Ａと画像処理デバイス１０５Ｂとは、互いに分離され得る。
【0044】
[0053]図１に示されているように、垂直の破線は、図１の画像キャプチャおよび処理システム１００を、画像キャプチャデバイス１０５Ａと画像処理デバイス１０５Ｂとをそれぞれ表す２つの部分に分割する。画像キャプチャデバイス１０５Ａは、レンズ１１５と、制御機構１２０と、画像センサー１３０とを含む。画像処理デバイス１０５Ｂは、（ＩＳＰ１５４とホストプロセッサ１５２とを含む）画像プロセッサ１５０と、ＲＡＭ１４０と、ＲＯＭ１４５と、Ｉ／Ｏ１６０とを含む。いくつかの場合には、ＩＳＰ１５４および／またはホストプロセッサ１５２など、画像キャプチャデバイス１０５Ａ中に示されたいくつかの構成要素は、画像キャプチャデバイス１０５Ａに含まれ得る。
【0045】
[0054]画像キャプチャおよび処理システム１００は、モバイルまたは固定電話ハンドセット（たとえば、スマートフォン、セルラー電話など）、デスクトップコンピュータ、ラップトップまたはノートブックコンピュータ、タブレットコンピュータ、セットトップボックス、テレビジョン、カメラ、ディスプレイデバイス、デジタルメディアプレーヤ、ビデオゲーミングコンソール、ビデオストリーミングデバイス、インターネットプロトコル（ＩＰ）カメラ、あるいは任意の他の好適な電子デバイスなど、電子デバイスを含むことができる。いくつかの例では、画像キャプチャおよび処理システム１００は、セルラーネットワーク通信、８０２．１１ｗｉ－ｆｉ通信、ワイヤレスローカルエリアネットワーク（ＷＬＡＮ）通信、またはそれらの何らかの組合せなど、ワイヤレス通信のための１つまたは複数のワイヤレストランシーバを含むことができる。いくつかの実装形態では、画像キャプチャデバイス１０５Ａと画像処理デバイス１０５Ｂとは、異なるデバイスであり得る。たとえば、画像キャプチャデバイス１０５Ａは、カメラデバイスを含むことができ、画像処理デバイス１０５Ｂは、モバイルハンドセット、デスクトップコンピュータ、または他のコンピューティングシステムなど、コンピューティングシステムを含むことができる。
【0046】
[0055]画像キャプチャおよび処理システム１００はいくつかの構成要素を含むように示されているが、当業者は、画像キャプチャおよび処理システム１００が図１に示されているものよりも多くの構成要素を含むことができることを諒解されよう。画像キャプチャおよび処理システム１００の構成要素は、ソフトウェア、ハードウェア、またはソフトウェアとハードウェアとの１つまたは複数の組合せを含むことができる。たとえば、いくつかの実装形態では、画像キャプチャおよび処理システム１００の構成要素は、本明細書で説明される様々な動作を実施するために、１つまたは複数のプログラマブル電子回路（たとえば、マイクロプロセッサ、ＧＰＵ、ＤＳＰ、ＣＰＵ、および／または他の好適な電子回路）を含むことができる、電子回路または他の電子ハードウェアを含み、および／またはそれらを使用して実装され得、ならびに／あるいはコンピュータソフトウェア、ファームウェア、またはそれらの任意の組合せを含み、および／またはそれらを使用して実装され得る。ソフトウェアおよび／またはファームウェアは、コンピュータ可読記憶媒体に記憶され、画像キャプチャおよび処理システム１００を実装する電子デバイスの１つまたは複数のプロセッサによって実行可能な、１つまたは複数の命令を含むことができる。
【0047】
[0056]いくつかの例では、光学ズームは、レンズ１１５、ズーム制御機構１２５Ｃ、画像プロセッサ１５０、ＩＳＰ１５４、および／またはホストプロセッサ１５２を使用して制御され得る。いくつかの例では、デジタルズームは、ズーム制御機構１２５Ｃ、画像プロセッサ１５０、ＩＳＰ１５４、および／またはホストプロセッサ１５２を使用して制御され得る。
【0048】
[0057]図２は、画像特性評価エンジン２３５を含む画像処理システム２００のアーキテクチャを示すブロック図である。画像処理システム２００は、画像センサー２０５を含む。画像センサー２０５は、画像センサー１３０の一例であり得る。いくつかの例では、画像センサー２０５は、１つまたは複数の追加の構成要素（たとえば、制御機構１２０）を含むことができる。画像センサー２０５は、画像に対応する画像データをキャプチャすることができる。画像は、画像センサー２０５から画像信号プロセッサ（ＩＳＰ）２１０に送られ得、ＩＳＰ２１０は、画像センサー２０５から画像を受信することができる。ＩＳＰ２１０は、ＩＳＰ１５４の一例であり得る。いくつかの例では、ＩＳＰ２１０は、１つまたは複数の追加の構成要素（たとえば、画像プロセッサ１５０、ホストプロセッサ１５２、Ｉ／Ｏ１５６、Ｉ／Ｏ１６０、ＲＯＭ１４５、ＲＡＭ１４０）を含むことができる。ＩＳＰ２１０は、画像を少なくとも部分的に処理するために、画像に対していくつかの処理動作を実施することができる。たとえば、ＩＳＰ２１０は、デモザイキング（demosaicking）色空間変換、（たとえば、ＲＧＢからＹＵＶへ）、ホワイトバランス調整、ブラックバランス調整、またはそれらの組合せを実施することができる。ＩＳＰ２１０は、画像を後処理エンジン２１５に送ることができ、後処理エンジン２１５は、ＩＳＰ２１０から画像を受信することができる。ＩＳＰ２１０は、画像を画像特性評価エンジン２３５に送ることができ、画像特性評価エンジン２３５は、ＩＳＰ２１０から画像を受信することができる。
【0049】
[0058]後処理エンジン２１５は、ホストプロセッサ１５２の一例であり得る。後処理エンジン２１５は、画像プロセッサ１５０の一例であり得る。いくつかの例では、後処理エンジン２１５は、１つまたは複数の追加の構成要素（たとえば、Ｉ／Ｏ１５６、Ｉ／Ｏ１６０、ＲＯＭ１４５、ＲＡＭ１４０）を含むことができる。後処理エンジン２１５は、画像をさらに処理することができる。たとえば、後処理エンジン２１５は、クロッピング動作、リサイジング（resizing）動作、デジタルズーム動作、またはそれらの組合せを実施することができる。リサイジング動作は、たとえば、アップスケーリング動作、アップサンプリング動作、ダウンスケーリング動作、ダウンサンプリング動作、サブサンプリング動作、再スケーリング動作、リサンプリング動作、またはそれらの組合せを含むことができる。リサイジング動作は、最近傍（ＮＮ：nearest neighbor）再スケーリング、双１次補間（bilinear interpolation）、双３次補間（bicubic interpolation）、Ｓｉｎｃリサンプリング、ランツォシュリサンプリング、ボックスサンプリング、ミップマッピング、フーリエ変換スケーリング、エッジ指向補間（edge-directed interpolation）、高品質スケーリング（ＨＱＸ）、特殊なコンテキスト依存再スケーリング技法（specialized context-sensitive rescaling technique）、またはそれらの組合せを含むことができる。後処理エンジン２１５は、画像をカメラプレビューエンジン２２０に送ることができ、カメラプレビューエンジン２２０は、後処理エンジン２１５から画像を受信することができる。後処理エンジン２１５は、画像を画像特性評価エンジン２３５に送ることができ、画像特性評価エンジン２３５は、後処理エンジン２１５から画像を受信することができる。後処理エンジン２１５は、画像を選択インターフェース２３０に送ることができ、選択インターフェース２３０は、後処理エンジン２１５から画像を受信することができる。後処理エンジン２１５は、画像をメディアエンコーダ２４０に送ることができ、メディアエンコーダ２４０は、後処理エンジン２１５から画像を受信することができる。
【0050】
[0059]画像処理システム２００の画像特性評価エンジン２３５は、ＩＳＰ２１０から、後処理エンジン２１５から、選択インターフェース２３０から、カメラプレビューエンジン２２０から、またはそれらの組合せから、画像を受信することができる。画像特性評価エンジン２３５によって受信された画像は、ＩＳＰ２１０によって処理され得る。画像特性評価エンジン２３５によって受信された画像は、後処理エンジン２１５によって、クロップ、リサイズ、および／または場合によっては処理され得る。画像特性評価エンジン２３５は、画像についての画像特性スコアを生成することができる。画像特性スコアは、画像のシャープネス、コントラスト、および／または明瞭性を示すスコアであり得る。いくつかの例では、特性スコアは、アンダーシャープ化割合またはアンダーシャープ化値であり得る。いくつかの例では、画像特性評価エンジン２３５は、モジュロ伝達関数（ＭＴＦ）を使用して画像についての特性スコアを生成することができる。いくつかの例では、特性スコアは、ラインペア（ｌｐ:line pairs）パーミリメートル（ｍｍ）測定（ｌｐ／ｍｍ）値であり得る。いくつかの例では、画像特性評価エンジン２３５は、画像中の関心領域の解析に基づいて画像についての特性スコアを生成することができる。
【0051】
[0060]画像特性評価エンジン２３５は、画像を後処理エンジン２１５に送ることができ、後処理エンジン２１５は、画像特性評価エンジン２３５から画像を受信することができる。後処理エンジン２１５は、（画像特性評価エンジン２３５によって識別されるような）画像に適用される各ズーム強度についての特性スコアが、所定の特性しきい値よりも小さいのか、それに等しいのか、それよりも大きいのかに基づいて、（たとえば、メディアエンコーダ２４０によって符号化されるべき）出力画像のためにどのズーム強度が使用されるべきであるかを決定することができる。画像特性評価エンジン２３５は、画像をカメラプレビューエンジン２２０に送ることができ、カメラプレビューエンジン２２０は、画像特性評価エンジン２３５から画像を受信することができる。カメラプレビューエンジン２２０は、画像に適用される各ズーム強度についての特性スコアが、所定の特性しきい値よりも小さいのか、それに等しいのか、それよりも大きいのかに基づいて、プレビュー画像のためにどのズーム強度が使用されるべきであるかを決定することができる。画像特性評価エンジン２３５は、画像を選択インターフェース２３０に送ることができ、選択インターフェース２３０は、画像特性評価エンジン２３５から画像を受信することができる。カメラプレビューエンジン２２０は、画像に適用される各ズーム強度についての特性スコアが、所定の特性しきい値よりも小さいのか、それに等しいのか、それよりも大きいのかに基づいて、選択インターフェース２３０によってどのズーム強度が使用されるべきであるかを決定することができる。
【0052】
[0061]画像処理システム２００のカメラプレビューエンジン２２０は、ＩＳＰ２１０から、後処理エンジン２１５から、選択インターフェース２３０から、画像特性評価エンジン２３５から、またはそれらの組合せから、画像を受信することができる。カメラプレビューエンジン２２０は、それが受信する画像に基づいてプレビュー画像を生成することができる。カメラプレビューエンジン２２０によって受信された画像は、ＩＳＰ２１０によって処理され得る。カメラプレビューエンジン２２０によって受信された画像は、後処理エンジン２１５によって、クロップ、リサイズ、および／または場合によっては処理され得る。カメラプレビューエンジン２２０によって受信された画像は、選択インターフェース２３０によって修正され得る。プレビュー画像は、画像処理システム２００のディスプレイスクリーン２２５によって表示され得る。プレビュー画像は、画像センサー２０５によってキャプチャされている画像データをプレビューするビューファインダーとして働くことができる。プレビュー画像は、周期的におよび／またはリアルタイムで更新され得る。カメラプレビューエンジン２２０は、プレビュー画像をディスプレイスクリーン２２５に送ることができ、ディスプレイスクリーン２２５は、カメラプレビューエンジン２２０からその画像を受信することができる。カメラプレビューエンジン２２０は、プレビュー画像を選択インターフェース２３０に送ることができ、選択インターフェース２３０は、カメラプレビューエンジン２２０からその画像を受信することができる。カメラプレビューエンジン２２０は、プレビュー画像を画像特性評価エンジン２３５に送ることができ、画像特性評価エンジン２３５は、カメラプレビューエンジン２２０からその画像を受信することができる。
【0053】
[0062]画像処理システム２００の選択インターフェース２３０は、ＩＳＰ２１０から、後処理エンジン２１５から、カメラプレビューエンジン２２０から、画像特性評価エンジン２３５から、またはそれらの組合せから、画像を受信することができる。選択インターフェース２３０は、タッチスクリーンのタッチセンシティブ表面など、タッチセンシティブ表面に関連付けられ得る。ディスプレイスクリーン２２５は、タッチスクリーン、またはタッチスクリーンの一部であり得る。選択インターフェース２３０は、マウスカーソル、スタイラス、キーボード、キーパッド、ホバー入力検出器、ジェスチャー入力検出器、または別のタイプの入力デバイス７４５に関連付けられ得る。選択インターフェース２３０は、入力インターフェースを通して１つまたは複数の入力を受信することができる。入力インターフェースは、Ｉ／Ｏ１５６および／またはＩ／Ｏ１６０に対応し得る。選択インターフェース２３０は、（たとえば、図３Ａのタッチ入力３３５の場合のように）１つまたは複数の入力に基づいて、画像の部分を識別することができる。選択インターフェース２３０は、画像の識別された部分および／または１つまたは複数の入力自体を後処理エンジン２１５に送ることができ、後処理エンジン２１５は、選択インターフェース２３０から画像の部分を受信し得る。後処理エンジン２１５は、１つまたは複数の入力を使用して識別された画像の部分に基づいて、画像をクロップ、リサイズ、および／またはズームすることができる。
【0054】
[0063]選択インターフェース２３０は、ソフトウェアアプリケーションに関連付けられ得る。たとえば、選択インターフェース２３０は、顔検出アルゴリズム、顔認識アルゴリズム、顔追跡アルゴリズム、オブジェクト検出アルゴリズム、オブジェクト認識アルゴリズム、オブジェクト追跡アルゴリズム、特徴検出アルゴリズム、特徴認識アルゴリズム、特徴追跡アルゴリズム、またはそれらの組合せに関連付けられ得る。選択インターフェース２３０は、１つまたは複数の人工知能（ＡＩ）アルゴリズム、１つまたは複数の機械学習（ＭＬ）アルゴリズムに基づく１つまたは複数のトレーニングされたＭＬモデル、１つまたは複数のトレーニングされたニューラルネットワーク（ＮＮ）、またはそれらの組合せに関連付けられ得る。選択インターフェース２３０に関連付けられたソフトウェアアプリケーションは、たとえば、ソフトウェアアプリケーションが、画像の部分が特定のタイプの特徴、オブジェクト、および／または（たとえば、図３Ｂの場合のように）顔の描写を含むことを検出したことに基づいて、画像のその部分を識別することができる。選択インターフェース２３０は、画像の識別された部分を後処理エンジン２１５に送ることができ、後処理エンジン２１５は選択インターフェース２３０から画像の部分を受信し得る。後処理エンジン２１５は、検出された描写を使用して識別された画像の部分に基づいて、画像をクロップ、リサイズ、および／またはズームすることができる。
【0055】
[0064]いくつかの例では、画像処理システム２００の選択インターフェース２３０はまた、画像を修正するために使用され得る。たとえば、選択インターフェース２３０は、ソフトウェアアプリケーションに関連付けられ得、ユーザは、ソフトウェアアプリケーションを通して、画像のための処理設定を調整すること、画像に注釈を付けること、画像をクロップするように後処理エンジン２１５に手動で指示すること、画像をリサイズするように後処理エンジン２１５に手動で指示すること、画像をズームするように後処理エンジン２１５に手動で指示すること、画像を回転すること、画像に対して別の変更を行うこと、またはそれらの何らかの組合せを行うことができる。選択インターフェース２３０は、画像および／または入力および／または画像の（１つまたは複数の）識別された部分を後処理エンジン２１５に送ることができ、後処理エンジン２１５は、選択インターフェース２３０から画像を受信することができる。選択インターフェース２３０は、画像および／または入力および／または画像の（１つまたは複数の）識別された部分を画像特性評価エンジン２３５に送ることができ、画像特性評価エンジン２３５は、選択インターフェース２３０から画像を受信することができる。選択インターフェース２３０は、画像および／または入力および／または画像の（１つまたは複数の）識別された部分をカメラプレビューエンジン２２０に送ることができ、カメラプレビューエンジン２２０は、選択インターフェース２３０から画像を受信することができる。
【0056】
[0065]画像処理システム２００のメディアエンコーダ２４０は、ＩＳＰ２１０から、後処理エンジン２１５から、カメラプレビューエンジン２２０から、画像特性評価エンジン２３５から、選択インターフェース２３０から、またはそれらの組合せから、画像を受信することができる。カメラプレビューエンジン２２０によって受信された画像は、ＩＳＰ２１０によって処理され得る。カメラプレビューエンジン２２０によって受信された画像は、後処理エンジン２１５によって、クロップ、リサイズ、および／または場合によっては処理され得る。カメラプレビューエンジン２２０によって受信された画像は、選択インターフェース２３０によって修正され得る。いくつかの例では、後処理エンジン２１５は、画像特性評価エンジン２３５によって決定された異なるズーム強度についての特性スコアに基づいて後処理エンジン２１５が選択するズーム強度において、画像のズームインされたバージョンを生成することができる。後処理エンジン２１５は、画像のズームインされたバージョンをメディアエンコーダ２４０に送ることができ、メディアエンコーダ２４０は、後処理エンジン２１５から画像のズームインされたバージョンを受信することができる。メディアエンコーダ２４０は、静止画像圧縮技法などの静止画像符号化技法を使用して、メディアエンコーダ２４０が受信する１つまたは複数の画像を符号化することができる。メディアエンコーダ２４０は、ビデオ圧縮技法などのビデオ符号化技法を使用して、メディアエンコーダ２４０が受信する１つまたは複数の画像を符号化することができる。ビデオ符号化技法は、画像をビデオ中の複数のビデオフレームのうちの１つとして使用し得、フレーム間コーディングおよび／またはフレーム内コーディングを伴い得る。メディアエンコーダ２４０は、符号化画像を生成し得る。符号化画像は、出力画像と呼ばれることがある。いくつかの場合には、（たとえば、処理エンジン２１５および／または本明細書で説明される任意の他の、送る構成要素から）メディアエンコーダ２４０に送られた画像が、出力画像と呼ばれることがある。メディアエンコーダ２４０は、画像をカメラプレビューエンジン２２０に送ることができ、カメラプレビューエンジン２２０は、メディアエンコーダ２４０から画像を受信することができる。メディアエンコーダ２４０は、画像をディスプレイスクリーン２２５に送ることができ、ディスプレイスクリーン２２５は、メディアエンコーダ２４０から画像を受信することができる。ディスプレイスクリーン２２５は、それがメディアエンコーダ２４０から受信する画像を表示することができる。
【0057】
[0066]画像処理システム２００のディスプレイスクリーン２２５は、メディアエンコーダ２４０から、ＩＳＰ２１０から、後処理エンジン２１５から、カメラプレビューエンジン２２０から、画像特性評価エンジン２３５から、選択インターフェース２３０から、またはそれらの組合せから、画像を受信することができる。ディスプレイスクリーン２２５は、画像を表示することができる。ディスプレイスクリーン２２５は、任意のタイプのディスプレイスクリーンまたは他のディスプレイデバイス（たとえば、プロジェクタ）であり得る。ディスプレイスクリーン２２５は、出力デバイス７３５に関して説明される要素であり得るか、またはそれを含むことができる。たとえば、ディスプレイスクリーン２２５はスピーカーをも含むことができ、スピーカーは、（たとえば、画像が、オーディオトラックを含むビデオのビデオフレームである場合）画像に対応するオーディオを出力し得る。ディスプレイスクリーン２２５は、Ｉ／Ｏ１５６および／またはＩ／Ｏ１６０に対応することができる。
【0058】
[0067]図３Ａは、画像３１０のデジタル的にズームされる部分３２０が、タッチ入力３３５に基づいて画像３１０の識別された部分３３０に中心がある、選択インターフェースを示す概念図３００Ａである。画像３１０は、４人の人々がデスクと椅子とのセットの周りに座っているかまたは立っているオフィス環境を示す。図３Ａ中の画像３１０上に指紋アイコンがオーバーレイされている。指紋アイコンは、選択インターフェース（たとえば、選択インターフェース２３０）を通して受信されるタッチ入力３３５を表す。選択インターフェースは、タッチスクリーンのタッチセンシティブ表面など、タッチセンシティブ表面を含み得る。選択インターフェースは、ディスプレイスクリーン上のタッチ入力３３５のロケーションに基づいて、およびディスプレイスクリーン上に表示される画像３１０のポジショニングに基づいて、タッチ入力３３５によってカバーされたエリアの少なくともサブセットを含む、画像３１０の識別された部分３３０を識別する。画像３１０の識別された部分３３０は、破線を使用して輪郭を描かれた、画像３１０の円形部分３３０として示されている。いくつかの場合には、画像３１０の識別された部分３３０は、単に、タッチ入力３３５によってカバーされたエリアの中心を表すポイント、またはカーソルのクリックを表すポイント、またはスタイラスによってタッチされたポイントを表すポイント、あるいはそれらの何らかの組合せであり得る。
【0059】
[0068]選択インターフェースは、画像３１０の識別された部分３３０に基づいて、画像３１０のデジタル的にズームされた部分３２０を識別する。たとえば、図３Ａ中の画像３１０のデジタル的にズームされた部分３２０は、画像３１０の識別された部分３３０を中心とする。画像３１０のデジタル的にズームされた部分３２０は、破線によって輪郭を描かれた影付きの長方形として図３Ａに示されている。画像３１０のデジタル的にズームされた部分３２０は、デジタルズーム動作のための画像３１０のクロップエリアを表す。たとえば、デジタルズーム動作では、画像３１０のデジタル的にズームされた部分３２０の外部のすべてのものがクロップアウトされ、画像３１０のデジタル的にズームされた部分３２０のみを残ったままにする。デジタルズーム動作は、クロッピングの前または後に画像３１０のデジタル的にズームされた部分３２０をリサイズ（たとえば、アップスケールおよび／またはアップサンプリング）することができる。
【0060】
[0069]図３Ｂは、画像３１０のデジタル的にズームされた部分３４０が、画像解析に基づいて識別された画像３１０の部分３５０に中心がある、選択インターフェースを示す概念図３００Ｂである。図３Ｂに示されている画像３１０は、図３Ａに示されているオフィス環境の同じ画像３１０である。画像解析は、顔の周りに示され、画像３１０の識別された部分３５０を表すものとして識別される破線の角丸長方形によって表されるように、画像３１０中の人々のうちの１人の顔を識別する。いくつかの例では、画像解析は、顔検出アルゴリズム３５５を使用して顔を検出することによって画像３１０の部分３５０を識別する。いくつかの例では、画像解析は、顔認識アルゴリズム３５５を使用して顔を認識することによって画像３１０の部分３５０を識別する。画像３１０の識別された部分３５０は、顔の検出に基づいて画像解析によって生成された顔の周りのバウンディングボックスであり得る。画像３１０の識別された部分３５０に基づく、画像３１０のデジタル的にズームされた部分３４０。たとえば、図３Ｂ中の画像３１０のデジタル的にズームされた部分３４０は、画像３１０の識別された部分３５０を中心とする。画像３１０のデジタル的にズームされた部分３４０は、デジタルズーム動作のための画像３１０のクロップエリアを表す。画像３１０のデジタル的にズームされた部分３４０は、破線によって輪郭を描かれた影付きの長方形として図３Ｂに示されている。
【0061】
[0070]画像３１０のデジタル的にズームされた部分３４０は、画像３１０の識別された部分３５０を中心とするものとして示されているが、それは、そうである必要はない。いくつかの例では、画像３１０のデジタル的にズームされた部分３４０は、画像３１０の識別された部分３５０を中心とすることなしに、画像３１０の識別された部分３５０を含むことができる。いくつかの例では、画像３１０のデジタル的にズームされた部分３４０は、画像３１０の識別された部分３５０を含むことなしに、画像３１０の識別された部分３５０に基づいて識別され得る。たとえば、画像３１０の識別された部分３５０は、画像３１０のデジタル的にズームされた部分３４０の角または辺を表すことができる。同様に、画像３１０のデジタル的にズームされた部分３４０は、画像３１０の識別された部分３３０を中心とするものとして示されているが、それは、そうである必要はない。いくつかの例では、画像３１０のデジタル的にズームされた部分３４０は、画像３１０の識別された部分３３０を中心とすることなしに、画像３１０の識別された部分３３０を含むことができる。いくつかの例では、画像３１０のデジタル的にズームされた部分３４０は、画像３１０の識別された部分３３０を含むことなしに、画像３１０の識別された部分３３０に基づいて識別され得る。たとえば、画像３１０の識別された部分３３０は、画像３１０のデジタル的にズームされた部分３４０の角または辺を表すことができる。
【0062】
[0071]いくつかの例では、画像３１０の意味解析を実施する意味解析アルゴリズムが、顔認識アルゴリズム３５５の代わりに、またはそれに加えて使用され得る。意味解析は、たとえば、１つまたは複数の前景要素（foreground element）と１つまたは複数の背景要素（background element）との間のセグメンテーションを実施することができる。意味解析は、画像自体の解析、同じシーンの他の画像（たとえば、シーンのビデオ中の前の画像フレーム）の解析、深度センサーからの（たとえば、ＬＩＤＡＲ、ＲＡＤＡＲ、ＳＯＮＡＲ、ＳＯＤＡＲ、飛行時間センサー、構造化光センサー、またはそれらの組合せからの）深度情報の解析、またはそれらの組合せに基づいてセグメンテーションを実施することができる。たとえば、画像の識別された部分３５０は、画像の識別された部分３５０が前景要素の描写を含むことを示す画像３１０の意味解析に基づいて選択され得る。いくつかの例では、画像の識別された部分は、画像の識別された部分３５０が背景要素の描写を含むことを示す画像３１０の意味解析に基づいて選択され得る。意味解析は、関心対象を識別することができる。たとえば、画像の識別された部分３５０は、画像の識別された部分３５０が関心対象の描写を含むことを示す画像３１０の意味解析に基づいて選択され得る。意味解析は、関心領域を識別することができる。たとえば、画像の識別された部分３５０は、画像の識別された部分３５０が関心領域を含むことを示す画像３１０の意味解析に基づいて選択され得る。意味解析は、画像中に示されているシーンを識別することができる。たとえば、画像の識別された部分３５０は、画像の識別された部分３５０が画像中に示されているシーンの特定の部分の描写を含むことを示す画像３１０の意味解析に基づいて選択され得る。
【0063】
[0072]いくつかの例では、画像のデジタル的にズームされた部分は、入力インターフェース（たとえば、図３Ａのタッチ入力３３５）からの１つまたは複数の入力と、画像解析（たとえば、図３Ｂの顔検出アルゴリズム３５５、オブジェクト検出アルゴリズム、特徴検出アルゴリズム、上記で説明された意味解析、またはそれらの組合せ）からの１つまたは複数の入力との組合せに基づいて、識別され得る。たとえば、画像解析は、入力インターフェースからの入力が画像３１０中の顔の描写の近くにあることを識別することができる。選択インターフェースは、入力インターフェースからの入力の中心と、画像３１０中の顔の検出された描写を含むバウンディングボックスの中心との間のラインに沿ったポイント上に、画像のデジタル的にズームされた部分の中心を置くことができる。たとえば、ポイントは、ラインに沿った中間のポイントにあり得る。
【0064】
[0073]図４Ａは、画像４１０と対応するシャープネスグラフ４１５とを示す概念図４００Ａである。画像４１０は鳥を示す。鳥の頭部の一方の側が画像４１０中に示されている。鳥の眼のうちの１つが画像４１０中に示されている。正方形が、鳥の眼の周りで画像４１０上にオーバーレイされ、画像４１０の識別された部分４５０を表す。画像４１０の識別された部分４５０は、入力インターフェースからの入力（たとえば、鳥の眼の上のタッチ入力）に基づいて、画像解析（たとえば、鳥の眼を識別するオブジェクト検出器）に基づいて、またはそれらの組合せに基づいて、選択インターフェースによって識別され得る。
【0065】
[0074]図４Ａ～図４Ｃのコンテキストでは、シャープネススコアが画像特性スコアとして使用される。特に、図４Ａ～図４Ｃでは、アンダーシャープネス（under-sharpness）値が画像特性スコアとして使用される。画像４１０は、１００％の高い画像特性スコア、すなわち、高いアンダーシャープ化値４５５を有する。シャープネスグラフ４１５は、画像４１０のシャープネススコアリングを示す。シャープネスグラフ４１５は垂直軸を含み、それに沿ってシャープネスグラフ４１５は変調伝達関数（ＭＴＦ：modulation transfer function）の結果を示す。ＭＴＦの結果は、変調、特性スコア、シャープネス、アンダーシャープ化割合、コントラスト、空間周波数応答、またはそれらの何らかの組合せと呼ばれることがある。いくつかの例では、ＭＴＦは、式、変調＝（Ｉmax－Ｉmin）／（Ｉmax＋Ｉmin）に基づいて識別され得る。この式では、Ｉmaxは最大強度を表すことができ、Ｉminは最小強度を表すことができる。シャープネスグラフ４１５は水平軸を含み、それに沿ってシャープネスグラフ４１５はピクセルごとのサイクルを示す。ピクセルごとのサイクルは、最大強度ライン（たとえば、黒いライン）が最小強度ライン（たとえば、白いライン）と交互するいくつのサイクルが、シャープネス（たとえば、特性スコア）の現在のレベルにおいてピクセルごとに識別可能である（または識別可能であろう）か、を表すことができる。
【0066】
[0075]図４Ｂは、図４Ａの画像４１０の第１のデジタル的にズームされた部分４２０と対応するシャープネスグラフ４２５とを示す概念図４００Ｂである。画像４１０の第１のデジタル的にズームされた部分４２０は、第１のズーム強度に従って、図４Ａの画像４１０のクロップおよびリサイズされた（たとえばアップスケールおよび／またはアップサンプリングされた）部分である。画像４１０の第１のデジタル的にズームされた部分４２０は、画像の識別された部分４５０を中心とする。画像４１０の第１のデジタル的にズームされた部分４２０は、１００％の高い特性スコア、すなわち、高いアンダーシャープ化値４６０を有する。シャープネスグラフ４２５は、画像４１０のシャープネススコアリングを示す。
【0067】
[0076]図４Ｃは、図４Ａの画像４１０の第２のデジタル的にズームされた部分４３０と対応するシャープネスグラフ４３５とを示す概念図４００Ｃである。いくつかの例では、画像４１０の第２のデジタル的にズームされた部分４３０は、図４Ｂにおいて使用される第１のズーム強度よりも強い第２のズーム強度に従って、図４Ａの画像４１０のクロップおよびリサイズされた（たとえば、アップスケールおよび／またはアップサンプリングされた）部分である。いくつかの例では、画像４１０の第２のデジタル的にズームされた部分４３０は、図４Ｂの画像４１０の第１のデジタル的にズームされた部分４２０のクロップおよびリサイズされた（たとえば、アップスケールおよび／またはアップサンプリングされた）部分である。
【0068】
[0077]画像４１０の第２のデジタル的にズームされた部分４３０は、画像の識別された部分４５０を含む。画像４１０の第２のデジタル的にズームされた部分４３０は、垂直方向に、画像の識別された部分４５０を中心とする。画像４１０の第２のデジタル的にズームされた部分４３０は、水平方向に、画像の識別された部分４５０を中心とせず、画像の識別された部分４５０が、画像４１０の第２のデジタル的にズームされた部分４３０中の中心のやや左にある。画像４１０の第２のデジタル的にズームされた部分４３０は、７２％のより低い特性スコア、すなわち、より低いアンダーシャープ化値４６５を有する。シャープネスグラフ４３５は、画像４１０のシャープネススコアリングを示す。
【0069】
[0078]画像シャープネスを保持するために、画像処理デバイスは、所定の特性しきい値を上回る特性スコアを依然として有する、最高ズーム強度を有する画像４１０のバージョン（画像４１０の最もズームインされたバージョン）を出力することができる。ここで、図４Ａの画像４１０についての特性スコアは１００％であり、図４Ｂの画像４１０の第１のデジタル的にズームされた部分４２０についての特性スコアは１００％であり、図４Ｃの画像４１０の第２のデジタル的にズームされた部分４３０についての特性スコアは７２％である。所定の特性しきい値が７２％を上回る（たとえば、７５％、８０％、８５％、９０％、９５％、９９％）場合、図４Ｂの画像４１０の第１のデジタル的にズームされた部分４２０は、それの１００％の特性スコアが所定の特性しきい値を超えるので、画像処理デバイスによって出力される。所定の特性しきい値が７２％を下回る（たとえば、７０％、６５％、６０％、５５％、５０％）場合、図４Ｃの画像４１０の第２のデジタル的にズームされた部分４３０は、それの７２％の特性スコアが所定の特性しきい値を超えるので、画像処理デバイスによって出力され得る。
【0070】
[0079]図４Ａ～図４Ｃのコンテキストでは、特性スコアは、画像４１０の識別された部分４５０の（たとえば、画像特性評価エンジン２３５に関して説明されたような）シャープネス解析に基づいて生成される。画像４１０の識別された部分４５０は、図４Ａの画像４１０、図４Ｂの画像４１０の第１のデジタル的にズームされた部分４２０、および図４Ｃの画像４１０の第２のデジタル的にズームされた部分４３０中に含まれる。したがって、これらの各々中に示されているような画像４１０の識別された部分４５０に基づく特性スコアは、図４Ａの画像４１０と、図４Ｂの画像４１０の第１のデジタル的にズームされた部分４２０と、図４Ｃの画像４１０の第２のデジタル的にズームされた部分４３０との間の直接比較を提供することができる。
【0071】
[0080]いくつかの例では、図４Ａの画像４１０についての特性スコアは、図４Ａの画像４１０全体のシャープネス解析に基づいて生成され得る。いくつかの例では、図４Ｂの画像４１０の第１のデジタル的にズームされた部分４２０についての特性スコアは、図４Ｂの画像４１０の第１のデジタル的にズームされた部分４２０全体のシャープネス解析に基づいて生成され得る。いくつかの例では、図４Ｃの画像４１０の第２のデジタル的にズームされた部分４３０についての特性スコアは、図４Ｃの画像４１０の第２のデジタル的にズームされた部分４３０全体のシャープネス解析に基づいて生成され得る。
【0072】
[0081]図５は、一連のインクリメンタルズーム動作に沿った、異なるズーム強度と対応する特性スコアとを示す概念図５００である。画像処理システムが、画像センサーによってキャプチャされた画像を受信する。画像についての１Ｘの第１のズーム強度５１０は、画像センサーから受信された画像に対応する。画像処理システムは、１Ｘの第１のズーム強度５１０において画像のシャープネス解析を実施し、「極めて高い」の第１の特性スコア５１５を生成する。
【0073】
[0082]画像処理システムは、元の画像に対してデジタルズームイン動作を実施して、２Ｘの第２のズーム強度５２０におけるズームされた画像を作り出す。画像処理システムは、２Ｘの第２のズーム強度５２０におけるズームされた画像のシャープネス解析を実施し、「高い」の第２の特性スコア５２５を生成する。
【0074】
[0083]いくつかの例では、画像処理システムは、第２のデジタルズームイン動作を実施して、２Ｘの第２のズーム強度５２０におけるズームされた画像上に、２Ｘのさらなる係数だけズームインし、合計４Ｘの第３のズーム強度５３０におけるズームされた画像を作り出す。いくつかの例では、画像処理システムは、元の画像に直接４Ｘの第３のズーム強度５３０を適用することによって、元の画像から直接、４Ｘの第３のズーム強度５３０におけるズームされた画像を生成することができる。画像処理システムは、４Ｘの第３のズーム強度５３０におけるズームされた画像のシャープネス解析を実施し、「中」の第３の特性スコア５３５を生成する。
【0075】
[0084]いくつかの例では、画像処理システムは、第３のデジタルズームイン動作を実施して、４Ｘの第３のズーム強度５３０におけるズームされた画像上に、２Ｘのさらなる係数だけズームインし、合計８Ｘの第４のズーム強度５４０におけるズームされた画像を作り出す。いくつかの例では、画像処理システムは、元の画像に直接合計８Ｘの第４のズーム強度５４０を適用することによって、元の画像から直接、８Ｘの第４のズーム強度５４０におけるズームされた画像を生成することができる。画像処理システムは、８Ｘの第４のズーム強度５４０におけるズームされた画像のシャープネス解析を実施し、「低い」の第４の特性スコア５４５を生成する。
【0076】
[0085]いくつかの例では、画像処理システムは、第４のデジタルズームイン動作を実施して、８Ｘの第４のズーム強度５４０におけるズームされた画像上に、２Ｘのさらなる係数だけズームインし、合計１６Ｘの第５のズーム強度５５０におけるズームされた画像を作り出す。いくつかの例では、画像処理システムは、元の画像に直接１６Ｘの第５のズーム強度５５０を適用することによって、元の画像から直接、１６Ｘの第５のズーム強度５５０におけるズームされた画像を生成することができる。画像処理システムは、１６Ｘの第５のズーム強度５５０におけるズームされた画像のシャープネス解析を実施し、「極めて低い」の第５の特性スコア５５５を生成する。
【0077】
[0086]いくつかの例では、画像処理システムは、第４の特性スコア５４５が所定の特性しきい値５６０よりも小さいことを識別する。たとえば、所定の特性しきい値５６０は「中」あり得る。第３の特性スコア５３５は、「中」であり、したがって、所定の特性しきい値５６０に等しい。いくつかの例では、画像処理システムは、第３の特性スコア５３５（「中」）が所定の特性しきい値５６０（「中」）を満たすかまたは超えることに基づいて、画像処理システムがそれの出力画像として、４Ｘの第３のズーム強度５３０におけるズームされた画像を出力すると決定することができる。いくつかの例では、所定の特性しきい値５６０を満たすことは不十分であり得、画像処理システムは、特性スコアが画像処理システムを超えることを必要とし得る。そのような例では、画像処理システムは、第２の特性スコア５２５（「高い」）が所定の特性しきい値５６０（「中」）を満たすかまたは超えることに基づいて、画像処理システムがそれの出力画像として、２Ｘの第２のズーム強度５２０におけるズームされた画像を出力すると決定することができる。
【0078】
[0087]図６は、画像データを処理するための動作を示す流れ図６００である。いくつかの例では、流れ図６００に示されている画像処理技法の動作は、画像処理システムによって実施され得る。いくつかの例では、画像処理システムは画像処理システム２００である。いくつかの例では、分類システムは、画像キャプチャおよび処理システム１００、画像キャプチャデバイス１０５Ａ、画像処理デバイス１０５Ｂ、画像プロセッサ１５０、ＩＳＰ１５４、ホストプロセッサ１５２、画像処理システム２００、画像センサー２０５、ＩＳＰ２１０、後処理エンジン２１５、選択インターフェース２３０、画像特性評価エンジン２３５、メディアエンコーダ２４０、図３Ａ～図３Ｂに関連付けられた選択インターフェース、図４Ａ～図４Ｃに関連付けられた画像処理システム、トレーニングされたＭＬモデル、トレーニングされたＮＮ、クラウドサービスの１つまたは複数のネットワークサーバ、コンピューティングシステム７００、またはそれらの組合せのうちの少なくとも１つを含む。
【0079】
[0088]動作６０５において、画像処理システムは、画像センサーから画像を受信する。画像は、画像処理システムの画像センサーによってキャプチャされ得る。動作６０５の画像センサーの例は、図１の画像センサー１３０と図２の画像センサー２０５とを含む。いくつかの例では、画像は、画像処理システムが画像を受信する前に、（たとえば、ＩＳＰ１５４および／またはＩＳＰ２１０によって）少なくとも部分的に処理される。いくつかの例では、画像処理システムは、画像センサーに結合されたコネクタを含み得、画像は、コネクタを使用して受信され得る。コネクタは、ポート、ジャック、ワイヤ、入出力（ＩＯ）ピン、プリント回路板（ＰＣＢ）上の導電トレース、本明細書で説明される任意の他のタイプのコネクタ、またはそれらの何らかの組合せを含み得る。いくつかの例では、画像処理システムは、画像をキャプチャする画像センサーを含み得る。
【0080】
[0089]動作６１０において、画像処理システムは、画像データの第１のセットの第１の画像特性スコアを決定する。画像データの第１のセットは、第１のズーム強度における画像の第１のズームされた変形態に対応する。いくつかの例では、画像処理システムは、少なくとも部分的に、第１のズーム強度に従って画像をクロップおよびアップスケールすることによって、画像の第１のズームされた変形態を生成する。図４Ｂの画像４１０の第１のデジタル的にズームされた部分４２０は、第１のズーム強度における画像の第１のズームされた変形態（および／または画像データの第１のセット）の一例である。
【0081】
[0090]動作６１５において、画像処理システムは、画像データの第２のセットの第２の画像特性スコアを決定する。画像データの第２のセットは、第２のズーム強度における画像の第２のズームされた変形態に対応する。いくつかの例では、画像処理システムは、少なくとも部分的に、第２のズーム強度に従って画像と画像の第１のズームされた変形態とのうちの少なくとも１つをクロップおよびアップスケールすることによって、画像の第２のズームされた変形態を生成する。図４Ｃの画像４１０の第２のデジタル的にズームされた部分４３０は、第１のズーム強度における画像の第２のズームされた変形態（および／または画像データの第２のセット）の一例である。
【0082】
[0091]いくつかの例では、画像データの第１のセットは、第１のズーム強度における画像の第１のデジタル的にズームされた部分に対応する。図４Ｂの画像４１０の第１のデジタル的にズームされた部分４２０は、第１のズーム強度における画像の第１のデジタル的にズームされた部分（および／または画像データの第１のセット）の一例である。いくつかの例では、画像データの第２のセットは、第２のズーム強度における画像の第２のデジタル的にズームされた部分に対応する。図４Ｃの画像４１０の第２のデジタル的にズームされた部分４３０は、第１のズーム強度における画像の第２のデジタル的にズームされた部分（および／または画像データの第２のセット）の一例である。いくつかの例では、画像の第２のデジタル的にズームされた部分は、画像の第１のデジタル的にズームされた部分のサブセットである。たとえば、図４Ｃの第２のデジタル的にズームされた部分４３０は、図４Ｂの画像４１０の第１のデジタル的にズームされた部分４２０のサブセットである。いくつかの例では、画像の第１のデジタル的にズームされた部分は、画像の第２のデジタル的にズームされた部分とは異なる。たとえば、図４Ｃの第２のデジタル的にズームされた部分４３０は、図４Ｂの画像４１０の第１のデジタル的にズームされた部分４２０とは異なる。
【0083】
[0092]いくつかの例では、第１のズーム強度における画像の第１のデジタル的にズームされた部分を生成することは、画像をクロップすることを含み得る。いくつかの例では、第２のズーム強度における画像の第２のデジタル的にズームされた部分を生成することは、画像または画像の第１のデジタル的にズームされた部分をクロップすることを含み得る。いくつかの例では、第１のズーム強度における画像の第１のデジタル的にズームされた部分を生成することは、画像をアップスケールおよび／またはアップサンプリングすることを含み得る。いくつかの例では、第２のズーム強度における画像の第２のデジタル的にズームされた部分を生成することは、画像の第１のデジタル的にズームされた部分をアップスケールおよび／またはアップサンプリングすることを含み得る。
【0084】
[0093]いくつかの例では、画像センサーは、高解像度画像センサーであり得る。画像は、動作６０５において画像センサーから受信されたときにピクセルビニング（pixel-binning）され得る。ピクセルビニングでは、１つまたは複数の隣接ピクセル（たとえば、４つのピクセルの正方形）についての値（たとえば、電荷値）が、平均化または加算され得、単一のスーパーピクセルとして報告され（reported）得る。ピクセルビニングは雑音を低減し得る。いくつかの例では、画像の第１のデジタル的にズームされた部分および／または画像の第２のデジタル的にズームされた部分を生成するために画像をアップスケールおよび／またはアップサンプリングするのではなく、画像処理システムは、ビニングを無効にし（ディセーブルにし）得、スーパーピクセルではなく（１つまたは複数の）ズームされた画像についての画像センサーからの元のピクセル値を使用し得る。いくつかの例では、画像の第１のデジタル的にズームされた部分および／または画像の第２のデジタル的にズームされた部分を生成するために画像をアップスケールおよび／またはアップサンプリングするのではなく、画像処理システムは、各スーパーピクセルについてのより少数の元のピクセルを組み合わせることによってビニングを低減し得、（１つまたは複数の）ズームされた画像についてのビニング低減スーパーピクセル（reduced-binning super pixel）値を使用することある。
【0085】
[0094]動作６２０において、画像処理システムは、第２の画像特性スコアが画像特性しきい値よりも小さいことを識別する。いくつかの例では、画像処理システムは、（動作６１０の）第１の画像特性スコアが画像特性しきい値よりも大きいかまたはそれに等しいことをも識別する。
【0086】
[0095]いくつかの例では、第１の画像特性スコアは第１の画像シャープネススコアであり、第２の画像特性スコアは第２の画像シャープネススコアであり、画像特性しきい値は画像シャープネスしきい値である。いくつかの例では、第１の画像特性スコアは画像データの第１のセットの第１のアンダーシャープ化値であり、第２の画像特性スコアは画像データの第２のセットの第２のアンダーシャープ化値であり、画像特性しきい値はアンダーシャープ化値しきい値である。
【0087】
[0096]例示的な例では、動作６１５の画像特性しきい値は、図５の画像特性しきい値５６０であり得る。動作６１５および動作６２０の第２の画像特性スコアは、図５の画像特性スコア５４５（低い）または画像特性スコア５５５（極めて低い）であり得る。したがって、第２のズーム強度における画像の第２のズームされた変形態は、図５のズーム強度５４０（８Ｘ）におけるまたはズーム強度５５０（１６Ｘ）における画像のズームされた変形態であり得る。動作６１０の第１の画像特性スコアは、図５の画像特性スコア５１５（極めて高い）、画像特性スコア５２５（高い）、または画像特性スコア５３５（中）であり得る。したがって、第１のズーム強度における画像の第１のズームされた変形態は、図５のズーム強度５１０（１Ｘ）における、ズーム強度５２０（２Ｘ）における、またはズーム強度５３０（４Ｘ）における画像のズームされた変形態であり得る。
【0088】
[0097]動作６２５において、画像処理システムは、第２の画像特性スコアが画像特性しきい値よりも小さいことを識別することに基づいて、出力画像として画像データの第１のセットを出力する。いくつかの例では、出力画像として画像データの第１のセットを出力することは、第１の画像特性スコアが画像特性しきい値よりも大きいかまたはそれに等しいことにも基づく。
【0089】
[0098]いくつかの例では、画像データの第１のセット、および／または出力画像、および／または第１のズーム強度における画像の第１のズームされた変形態は、図５のズーム強度５１０（１Ｘ）における、ズーム強度５２０（２Ｘ）における、またはズーム強度５３０（４Ｘ）における画像のズームされた変形態であり得る。例示的な例では、画像データの第１のセットおよび／または出力画像ならびに／あるいは第１のズーム強度における画像の第１のズームされた変形態は、ズーム強度５３０（４Ｘ）が、対応する画像特性スコア（「中」の画像特性スコア５３５）が図５の画像特性しきい値５６０（「中」）以上である最も高い可能なズーム強度であるので、図５のズーム強度５３０（４Ｘ）における画像のズームされた変形態であり得る。
【0090】
[0099]いくつかの例では、出力画像として画像データの第１のセットを出力するために、画像処理システムは、ディスプレイスクリーン上の表示のために出力画像をレンダリングするように構成され、レンダリングすることができる。いくつかの例では、出力画像として画像データの第１のセットを出力するために、画像処理システムは、ディスプレイスクリーン上に出力画像を表示するように構成され、表示することができる。画像処理システムは、ディスプレイスクリーンを含むことができる。ディスプレイスクリーンの例は、Ｉ／Ｏ１５６、Ｉ／Ｏ１６０、ディスプレイスクリーン２２５、出力デバイス７３５、またはそれらの組合せを含み得る。いくつかの例では、出力画像として画像データの第１のセットを出力するために、画像処理システムは、ディスプレイスクリーン上の表示のために出力画像を符号化するように構成され、符号化することができる。出力画像の符号化および／またはレンダリングは、いくつかの例では、ホストプロセッサ１５２、画像プロセッサ１５０、後処理エンジン２１５、カメラプレビューエンジン２２０、メディアエンコーダ２４０、出力デバイス７３５、またはそれらの組合せによって実施され得る。
【0091】
[0100]いくつかの例では、出力画像として画像データの第１のセットを出力するために、１つまたは複数のプロセッサは、通信インターフェースを使用して出力画像を送信するように構成される。画像処理システムは、出力画像をデバイスに送信するように構成され得、送信し得る、通信インターフェースを含み得る。通信インターフェースの例は、Ｉ／Ｏ１５６、Ｉ／Ｏ１６０、出力デバイス７３５、通信インターフェース７４０、またはそれらの組合せを含み得る。
【0092】
[0101]いくつかの例では、画像処理システムはまた、画像の部分を識別する１つまたは複数の入力を受信し、ここにおいて、画像の第１のズームされた変形態および画像の第２のズームされた変形態が、画像の識別された部分に基づく。画像の識別された部分の例は、図３Ａの画像３１０の識別された部分３３０、図３Ａの画像３１０のデジタル的にズームされた部分３２０、図３Ｂの画像３１０の識別された部分３５０、図３Ｂの画像３１０のデジタル的にズームされた部分３４０、図４Ａ～図４Ｃの画像４１０の識別された部分４５０、図４Ｂの画像４１０の第１のデジタル的にズームされた部分４２０、図４Ｃの画像４１０の第２のデジタル的にズームされた部分４３０、またはそれらの組合せを含む。
【0093】
[0102]いくつかの例では、画像の第１のズームされた変形態および画像の第２のズームされた変形態は、画像の識別された部分を含む。いくつかの例では、１つまたは複数の入力は、ユーザインターフェースを通したユーザ入力を含む。いくつかの例では、ユーザ入力および／または１つまたは複数の入力は、タッチ入力、ホバー入力、ジェスチャー入力、視線入力、ボタン押下、ポインタ移動、ポインタクリック、またはそれらの組合せのうちの少なくとも１つを含む。ユーザ入力および／または１つまたは複数の入力の例は、図３Ａのタッチ入力３３５を含む。いくつかの例では、画像処理システムは、オブジェクト検出アルゴリズムから１つまたは複数の入力を受信し、オブジェクト検出アルゴリズムは、画像の識別された部分がオブジェクトのタイプの描写を含むと決定する。いくつかの例では、オブジェクトのタイプは顔である。オブジェクト検出アルゴリズムの例は、図３Ｂの顔検出アルゴリズム３５５を含む。オブジェクト検出アルゴリズムは、顔検出アルゴリズム、顔認識アルゴリズム、顔追跡アルゴリズム、オブジェクト検出アルゴリズム、オブジェクト認識アルゴリズム、オブジェクト追跡アルゴリズム、特徴検出アルゴリズム、特徴認識アルゴリズム、特徴追跡アルゴリズム、意味解析アルゴリズム、またはそれらの組合せであり得る。
【0094】
[0103]いくつかの例では、画像処理システムは、シーンの第１の部分に対応する第１のセンサー読出しを受信することができる。画像処理システムは読出しを評価することができる。画像処理システムは、異なるズーム強度におけるシーンの第２の部分に対応する第２のセンサー読出しを受信することができる。画像処理システムは、第１のセンサー読出しまたは第２のセンサー読出しのうちの１つを選択し、出力画像として出力することができる。いくつかの例では、画像処理システムは、第１のセンサー読出しについての第１の画像特性スコアと、第２のセンサー読出しについての第２の画像特性スコアとを決定することができる。画像処理システムは、たとえば、第１の画像特性スコアが第２の画像特性スコアよりも高いと決定したことに基づいて、出力画像として第１のセンサー読出しを選択することができる。画像処理システムは、たとえば、第１の画像特性スコアが画像特性しきい値よりも高い、および／または第２の画像特性スコアが画像特性しきい値よりも低いと決定したことに基づいて、出力画像として第１のセンサー読出しを選択することができる。
【0095】
[0104]流れ図６００に示される画像処理技法は、概念図、ブロック図、ならびに流れ図１００、２００、３００、５００、および／または７００のいずれかにおいて説明され示されるか、またはそれらに関して説明される任意の動作をも含み得る。
【0096】
[0105]いくつかの場合には、少なくとも、概念図、ブロック図、ならびに流れ図１００、２００、３００、５００、および／または７００のいずれかによって示されている技法のサブセットは、クラウドサービスの１つまたは複数のネットワークサーバによってリモートで実施され得る。いくつかの例では、本明細書で説明されるプロセス（たとえば、概念図、ブロック図、および流れ図２００、３００、５００、６００、１０００、１１００、１２００、６００によって示されているものを含むプロセス、ならびに／あるいは本明細書で説明される他のプロセス）は、コンピューティングシステムまたは装置によって実施され得る。いくつかの例では、概念図、ブロック図、ならびに流れ図１００、２００、３００、５００、および／または７００によって示されているプロセスは、図１の画像キャプチャデバイス１０５Ａ、図１の画像処理デバイス１０５Ｂ、ならびに／または図１の画像キャプチャおよび処理システム１００によって実施され得る。いくつかの例では、概念図、ブロック図、ならびに流れ図１００、２００、３００、５００、および／または７００によって示されているプロセスは、図２の画像処理システム２００によって実施され得る。いくつかの例では、概念図、ブロック図、ならびに流れ図１００、２００、３００、５００、および／または７００によって示されているプロセスは、図７に示されているコンピューティングシステム７００のアーキテクチャをもつコンピューティングシステムによって実施され得る。コンピューティングシステムは、モバイルデバイス（たとえば、携帯電話）、デスクトップコンピューティングデバイス、タブレットコンピューティングデバイス、ウェアラブルデバイス（たとえば、ＶＲヘッドセット、ＡＲヘッドセット、ＡＲ眼鏡、ネットワーク接続された時計またはスマートウォッチ、あるいは他のウェアラブルデバイス）、サーバコンピュータ、自律車両または自律車両のコンピューティングデバイス、ロボティックデバイス、テレビジョン、ならびに／あるいは、概念図、ブロック図、および流れ図１００、２００、３００、５００、および／または７００によって示されているプロセスを含む、本明細書で説明されるプロセスを実施するためのリソース能力をもつ任意の他のコンピューティングデバイスなど、任意の好適なデバイスを含むことができる。いくつかの場合には、コンピューティングシステムまたは装置は、１つまたは複数の入力デバイス、１つまたは複数の出力デバイス、１つまたは複数のプロセッサ、１つまたは複数のマイクロプロセッサ、１つまたは複数のマイクロコンピュータ、１つまたは複数のカメラ、１つまたは複数のセンサー、および／あるいは本明細書で説明されるプロセスのステップを行うように構成された（１つまたは複数の）他の構成要素など、様々な構成要素を含み得る。いくつかの例では、コンピューティングシステムは、ディスプレイ、データを通信および／または受信するように構成されたネットワークインターフェース、それらの任意の組合せ、ならびに／あるいは（１つまたは複数の）他の構成要素を含み得る。ネットワークインターフェースは、インターネットプロトコル（ＩＰ）ベースデータまたは他のタイプのデータを通信および／または受信するように構成され得る。
【0097】
[0106]コンピューティングシステムの構成要素は、回路において実装され得る。たとえば、構成要素は、本明細書で説明される様々な動作を実施するために、１つまたは複数のプログラマブル電子回路（たとえば、マイクロプロセッサ、グラフィックス処理ユニット（ＧＰＵ）、デジタル信号プロセッサ（ＤＳＰ）、中央処理ユニット（ＣＰＵ）、および／または他の好適な電子回路）を含むことができ、ならびに／あるいはコンピュータソフトウェア、ファームウェア、またはそれらの任意の組合せを含み、および／またはそれらを使用して実装され得る、電子回路または他の電子ハードウェアを含むことができ、および／またはそれらを使用して実装され得る。
【0098】
[0107]概念図、ブロック図、および流れ図１００、２００、３００、５００、および／または７００によって示されるプロセスは、論理的流れ図として編成され、それらの動作は、ハードウェア、コンピュータ命令、またはそれらの組合せにおいて実装され得る動作のシーケンスを表す。コンピュータ命令のコンテキストでは、動作は、１つまたは複数のプロセッサによって実行されたとき、具陳された動作を実施する１つまたは複数のコンピュータ可読記憶媒体に記憶されたコンピュータ実行可能命令を表す。概して、コンピュータ実行可能命令は、特定の機能を実施するか、または特定のデータタイプを実装する、ルーチン、プログラム、オブジェクト、構成要素、データ構造などを含む。動作が説明される順序は、限定として解釈されるものではなく、任意の数の説明される動作は、プロセスを実装するために任意の順序でおよび／または並行して組み合わせられ得る。
【0099】
[0108]さらに、概念図、ブロック図、および流れ図１００、２００、３００、５００、７００によって示されるプロセス、ならびに／あるいは本明細書で説明される他のプロセスは、実行可能命令で構成された１つまたは複数のコンピュータシステムの制御下で実施され得、まとめて１つまたは複数のプロセッサ上で、ハードウェアによって、またはそれらの組合せで実行するコード（たとえば、実行可能命令、１つまたは複数のコンピュータプログラム、または１つまたは複数のアプリケーション）として実装され得る。上述のように、コードは、たとえば、１つまたは複数のプロセッサによって実行可能な複数の命令を備えるコンピュータプログラムの形態で、コンピュータ可読または機械可読記憶媒体に記憶され得る。コンピュータ可読または機械可読記憶媒体は、非一時的であり得る。
【0100】
[0109]図７は、本技術のいくつかの態様を実装するためのシステムの一例を示す図である。特に、図７は、たとえば、画像キャプチャおよび処理システム１００、画像キャプチャデバイス１０５Ａ、画像処理デバイス１０５Ｂ、画像プロセッサ１５０、ホストプロセッサ１５２、ＩＳＰ１５４、画像処理システム２００、画像センサー２０５、ＩＳＰ２１０、後処理エンジン２１５、選択インターフェース２３０、画像特性評価エンジン２３５、メディアエンコーダ２４０、図３Ａ～図３Ｂに関連付けられた選択インターフェース、図４Ａ～図４Ｃに関連付けられた画像処理システム、１つまたは複数のトレーニングされたＭＬモデル、１つまたは複数のトレーニングされたＮＮ、１つまたは複数のネットワークサーバ、カメラ、それらの任意の組合せ、またはその任意の構成要素を構成している任意のコンピューティングデバイスまたはコンピューティングシステムであり得る、コンピューティングシステム７００の一例を示し、システムの構成要素は、接続７０５を使用して互いと通信している。接続７０５は、バスを使用したプロセッサ７１０への物理接続、または、チップセットアーキテクチャなどにおける、プロセッサ７１０への直接接続であり得る。接続７０５はまた、仮想接続、ネットワーク化された接続、または論理接続であり得る。
【0101】
[0110]いくつかの実施形態では、コンピューティングシステム７００は、本開示で説明される機能が、データセンター、複数のデータセンター、ピアネットワーク内などに分散され得る、分散型システムである。いくつかの実施形態では、説明されるシステム構成要素のうちの１つまたは複数は、構成要素がそれについて説明される機能の一部または全部を各々実施する多くのそのような構成要素を表す。いくつかの実施形態では、構成要素は、物理デバイスまたは仮想デバイスであり得る。
【0102】
[0111]例示的なシステム７００は、少なくとも１つの処理ユニット（ＣＰＵまたはプロセッサ）７１０と接続７０５とを含み、接続７０５は、読取り専用メモリ（ＲＯＭ）７２０およびランダムアクセスメモリ（ＲＡＭ）７２５など、システムメモリ７１５を含む様々なシステム構成要素を、プロセッサ７１０に結合する。コンピューティングシステム７００は、プロセッサ７１０と直接接続された、プロセッサ７１０に極めて近接した、またはプロセッサ７１０の一部として統合された、高速メモリのキャッシュ７１２を含むことができる。
【0103】
[0112]プロセッサ７１０は、任意の汎用プロセッサと、プロセッサ７１０ならびに専用プロセッサを制御するように構成された、記憶デバイス７３０に記憶されたサービス７３２、７３４、および７３６など、ハードウェアサービスまたはソフトウェアサービスとを含むことができ、ここで、ソフトウェア命令が実際のプロセッサ設計に組み込まれる。プロセッサ７１０は、本質的に、複数のコアまたはプロセッサ、バス、メモリコントローラ、キャッシュなどを含んでいる、完全自己完結型コンピューティングシステムであり得る。マルチコアプロセッサは、対称的または非対称的であり得る。
【0104】
[0113]ユーザ対話を可能にするために、コンピューティングシステム７００は入力デバイス７４５を含み、入力デバイス７４５は、音声のためのマイクロフォン、ジェスチャーまたはグラフィカル入力のためのタッチセンシティブスクリーン、キーボード、マウス、動き入力、音声など、任意の数の入力機構を表すことができる。コンピューティングシステム７００は、いくつかの出力機構のうちの１つまたは複数であり得る、出力デバイス７３５をも含むことができる。いくつかの事例では、マルチモーダルシステムは、ユーザがコンピューティングシステム７００と通信するために複数のタイプの入出力を提供することを可能にすることができる。コンピューティングシステム７００は、概してユーザ入力とシステム出力とを統制および管理することができる、通信インターフェース７４０を含むことができる。通信インターフェースは、オーディオジャック／プラグ、マイクロフォンジャック／プラグ、ユニバーサルシリアルバス（ＵＳＢ）ポート／プラグ、Ａｐｐｌｅ（登録商標）Ｌｉｇｈｔｎｉｎｇ（登録商標）ポート／プラグ、イーサネット（登録商標）ポート／プラグ、光ファイバーポート／プラグ、プロプライエタリワイヤードポート／プラグ、ＢＬＵＥＴＯＯＴＨ（登録商標）ワイヤレス信号転送、ＢＬＵＥＴＯＯＴＨ（登録商標）低エネルギー（ＢＬＥ）ワイヤレス信号転送、ＩＢＥＡＣＯＮ（登録商標）ワイヤレス信号転送、無線周波数識別（ＲＦＩＤ）ワイヤレス信号転送、ニアフィールド通信（ＮＦＣ）ワイヤレス信号転送、専用短距離通信（ＤＳＲＣ）ワイヤレス信号転送、８０２．１１Ｗｉ－Ｆｉ（登録商標）ワイヤレス信号転送、ワイヤレスローカルエリアネットワーク（ＷＬＡＮ）信号転送、可視光通信（ＶＬＣ）、ワールドワイドインターオペラビリティフォーマイクロウェーブアクセス（ＷｉＭＡＸ（登録商標））、赤外線（ＩＲ）通信ワイヤレス信号転送、公衆交換電話網（ＰＳＴＮ）信号転送、統合サービスデジタルネットワーク（ＩＳＤＮ）信号転送、３Ｇ／４Ｇ／５Ｇ／ＬＴＥセルラーデータネットワークワイヤレス信号転送、アドホックネットワーク信号転送、電波信号転送、マイクロ波信号転送、赤外線信号転送、可視光信号転送、紫外光信号転送、電磁スペクトルに沿ったワイヤレス信号転送、またはそれらの何らかの組合せを利用するものを含む、ワイヤードトランシーバおよび／またはワイヤレストランシーバを使用して、ワイヤード通信またはワイヤレス通信の受信および／または送信を実施するか、または容易にし得る。通信インターフェース７４０はまた、１つまたは複数のグローバルナビゲーション衛星システム（ＧＮＳＳ）システムに関連付けられた１つまたは複数の衛星からの１つまたは複数の信号の受信に基づいてコンピューティングシステム７００のロケーションを決定するために使用される１つまたは複数のＧＮＳＳ受信機またはトランシーバを含み得る。ＧＮＳＳシステムは、限定はしないが、米国ベースの全地球測位システム（ＧＰＳ）と、ロシアベースの全地球航法衛星システム（ＧＬＯＮＡＳＳ）と、中国ベースの北斗航法衛星システム（ＢＤＳ）と、欧州ベースのＧａｌｉｌｅｏ ＧＮＳＳとを含む。任意の特定のハードウェア構成上で動作することに対する制限はなく、したがって、ここでの基本的特徴は、改善されたハードウェア構成またはファームウェア構成が開発されるにつれて、それらで容易に代用され得る。
【0105】
[0114]記憶デバイス７３０は、不揮発性および／または非一時的および／またはコンピュータ可読メモリデバイスであり得、磁気カセット、フラッシュメモリカード、固体メモリデバイス、デジタル多用途ディスク、カートリッジ、フロッピー（登録商標）ディスク、フレキシブルディスク、ハードディスク、磁気テープ、磁気ストリップ／ストライプ、任意の他の磁気記憶媒体、フラッシュメモリ、メモリスタメモリ、任意の他の固体メモリ、コンパクトディスク読取り専用メモリ（ＣＤ－ＲＯＭ）光ディスク、書換え可能コンパクトディスク（ＣＤ）光ディスク、デジタルビデオディスク（ＤＶＤ）光ディスク、ｂｌｕ－ｒａｙ（登録商標）ディスク（ＢＤＤ）光ディスク、ホログラフィック光ディスク、別の光媒体、セキュアデジタル（ＳＤ）カード、マイクロセキュアデジタル（ｍｉｃｒｏＳＤ）カード、Ｍｅｍｏｒｙ Ｓｔｉｃｋ（登録商標）カード、スマートカードチップ、ＥＭＶチップ、加入者識別モジュール（ＳＩＭ）カード、ミニ／マイクロ／ナノ／ピコＳＩＭカード、別の集積回路（ＩＣ）チップ／カード、ランダムアクセスメモリ（ＲＡＭ）、スタティックＲＡＭ（ＳＲＡＭ）、ダイナミックＲＡＭ（ＤＲＡＭ）、読取り専用メモリ（ＲＯＭ）、プログラマブル読取り専用メモリ（ＰＲＯＭ）、消去可能プログラマブル読取り専用メモリ（ＥＰＲＯＭ）、電気的消去可能プログラマブル読取り専用メモリ（ＥＥＰＲＯＭ（登録商標））、フラッシュＥＰＲＯＭ（ＦＬＡＳＨＥＰＲＯＭ）、キャッシュメモリ（Ｌ１／Ｌ２／Ｌ３／Ｌ４／Ｌ５／Ｌ＃）、抵抗性ランダムアクセスメモリ（ＲＲＡＭ（登録商標）／ＲｅＲＡＭ）、相変化メモリ（ＰＣＭ）、スピン転送トルクＲＡＭ（ＳＴＴ－ＲＡＭ）、別のメモリチップまたはカートリッジ、および／あるいはそれらの組合せなど、コンピュータによってアクセス可能であるデータを記憶することができるハードディスクまたは他のタイプのコンピュータ可読媒体であり得る。
【0106】
[0115]記憶デバイス７３０は、ソフトウェアサービス、サーバ、サービスなどを含むことができ、それらは、そのようなソフトウェアを定義するコードがプロセッサ７１０によって実行されるとき、システムに機能を実施させる。いくつかの実施形態では、特定の機能を実施するハードウェアサービスは、その機能を行うために、プロセッサ７１０、接続７０５、出力デバイス７３５など、必要なハードウェア構成要素に関して、コンピュータ可読媒体に記憶されたソフトウェア構成要素を含むことができる。
【0107】
[0116]本明細書で使用される「コンピュータ可読媒体」という用語は、限定はしないが、ポータブルまたは非ポータブル記憶デバイス、光記憶デバイス、ならびに（１つまたは複数の）命令および／またはデータを記憶、含有、または担持することが可能な様々な他の媒体を含む。コンピュータ可読媒体は、データが記憶され得、ワイヤレスに、またはワイヤード接続を介して伝搬する搬送波および／または一時的な電子信号を含まない、非一時的媒体を含み得る。非一時的媒体の例は、限定はしないが、磁気ディスクまたはテープ、コンパクトディスク（ＣＤ）またはデジタル多用途ディスク（ＤＶＤ）などの光記憶媒体、フラッシュメモリ、メモリまたはメモリデバイスを含み得る。コンピュータ可読媒体は、プロシージャ、関数、サブプログラム、プログラム、ルーチン、サブルーチン、モジュール、ソフトウェアパッケージ、クラス、あるいは命令、データ構造、またはプログラムステートメントの任意の組合せを表し得る、コードおよび／または機械実行可能命令をその上に記憶していることがある。コードセグメントは、情報、データ、引数、パラメータ、またはメモリコンテンツをパスおよび／または受信することによって、別のコードセグメントまたはハードウェア回路に結合され得る。情報、引数、パラメータ、データなどは、メモリ共有、メッセージパッシング、トークンパッシング、ネットワーク送信などを含む、任意の好適な手段を使用してパス、フォワーディング、または送信され得る。
【0108】
[0117]いくつかの実施形態では、コンピュータ可読記憶デバイス、媒体、およびメモリは、ビットストリームなどを含んでいるケーブル信号またはワイヤレス信号を含むことができる。しかしながら、述べられるとき、非一時的コンピュータ可読記憶媒体は、エネルギー、キャリア信号、電磁波、および信号自体などの媒体を明確に除外する。
【0109】
[0118]本明細書で提供される実施形態および例の完全な理解を提供するために、具体的な詳細が上記の説明で提供される。ただし、実施形態はこれらの具体的な詳細なしに実施され得ることを当業者は理解されよう。説明の明快のために、いくつかの事例では、本技術は、デバイス、デバイス構成要素、ソフトウェアで具現される方法におけるステップまたはルーチン、あるいはハードウェアとソフトウェアとの組合せを備える機能ブロックを含む個々の機能ブロックを含むものとして提示され得る。図に示されているおよび／または本明細書で説明される構成要素以外の追加の構成要素が使用され得る。たとえば、回路、システム、ネットワーク、プロセス、および他の構成要素は、実施形態を不要な詳細で不明瞭にしないためにブロック図の形態で構成要素として示され得る。他の事例では、実施形態を不明瞭にすることを回避するために、よく知られている回路、プロセス、アルゴリズム、構造、および技法が不要な詳細なしに示され得る。
【0110】
[0119]個々の実施形態は、フローチャート、流れ図、データフロー図、構造図、またはブロック図として示されるプロセスまたは方法として、上記で説明され得る。フローチャートは、動作を逐次的なプロセスとして説明し得るが、動作の多くは、並行してまたは同時に実施され得る。さらに、動作の順序は並べ替えられ得る。それの動作が完了されるとき、プロセスは終了されるが、図中に含まれない追加のステップを有し得る。プロセスは、方法、関数、プロシージャ、サブルーチン、サブプログラムなどに対応し得る。プロセスが関数に対応するとき、それの終了は呼出し関数またはメイン関数への関数の復帰に対応することができる。
【0111】
[0120]上記で説明された例によるプロセスおよび方法は、記憶されるかまたはさもなければコンピュータ可読媒体から利用可能である、コンピュータ実行可能命令を使用して実装され得る。そのような命令は、たとえば、汎用コンピュータ、専用コンピュータ、または処理デバイスが、ある機能または機能のグループを実施することを引き起こすか、あるいはさもなければそれらを実施するように構成する、命令とデータとを含むことができる。使用されるコンピュータリソースの部分が、ネットワークを介してアクセス可能であり得る。コンピュータ実行可能命令は、たとえば、バイナリ、アセンブリ言語などの中間フォーマット命令、ファームウェア、ソースコードなどであり得る。命令、使用される情報、および／または説明される例による方法中に作成される情報を記憶するために使用され得るコンピュータ可読媒体の例は、磁気または光ディスク、フラッシュメモリ、不揮発性メモリを備えたＵＳＢデバイス、ネットワーク化された記憶デバイスなどを含む。
【0112】
[0121]これらの開示によるプロセスおよび方法を実装するデバイスは、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、またはそれらの任意の組合せを含むことができ、様々なフォームファクタのいずれかをとることができる。ソフトウェア、ファームウェア、ミドルウェア、またはマイクロコードで実装されるとき、必要なタスクを実施するためのプログラムコードまたはコードセグメント（たとえば、コンピュータプログラム製品）は、コンピュータ可読または機械可読媒体に記憶され得る。（１つまたは複数の）プロセッサが、必要なタスクを実施し得る。フォームファクタの一般的な例は、ラップトップ、スマートフォン、モバイルフォン、タブレットデバイスまたは他のスモールフォームファクタパーソナルコンピュータ、携帯情報端末、ラックマウントデバイス、スタンドアロンデバイスなどを含む。本明細書で説明される機能はまた、周辺機器またはアドインカードで具現され得る。そのような機能はまた、さらなる例として、単一のデバイスにおいて実行する異なるチップまたは異なるプロセスの間で回路板上に実装され得る。
【0113】
[0122]命令、そのような命令を伝達するための媒体、それらを実行するためのコンピューティングリソース、およびそのようなコンピューティングリソースをサポートするための他の構造は、本開示で説明される機能を提供するための例示的な手段である。
【0114】
[0123]上記の説明では、本出願の態様がそれの特定の実施形態を参照しながら説明されたが、本出願はそれに限定されないことを、当業者は認識されよう。したがって、本出願の例示的な実施形態が本明細書で詳細に説明されているが、従来技術によって限定される場合を除いて、発明概念が、場合によっては様々に具現および採用され得、添付の特許請求の範囲が、そのような変形形態を含むように解釈されるものであることを理解されたい。上記で説明された適用例の様々な特徴および態様は、個々にまたは一緒に使用され得る。さらに、実施形態は、本明細書のより広い趣旨および範囲から逸脱することなく、本明細書で説明された環境および適用例以外に、任意の数の環境および適用例において利用され得る。したがって、本明細書および図面は、限定的ではなく例示的と見なされるべきである。説明の目的で、方法は特定の順序で説明された。代替実施形態では、方法は、説明された順序とは異なる順序で実施され得ることを諒解されたい。
【0115】
[0124]本明細書で使用される、よりも小さい（「＜」）、および、よりも大きい（「＞」）のシンボルまたは専門用語は、本説明の範囲から逸脱することなく、それぞれ、よりも小さいかまたはそれに等しい（「≦」）、および、よりも大きいかまたはそれに等しい（「≧」）のシンボルと置き換えられ得ることを、当業者は諒解されよう。
【0116】
[0125]構成要素がいくつかの動作を実施する「ように構成される」ものとして説明される場合、そのような構成は、たとえば、動作を実施するように電子回路または他のハードウェアを設計することによって、動作を実施するようにプログラマブル電子回路（たとえば、マイクロプロセッサ、または他の好適な電子回路）をプログラムすることによって、あるいはそれらの任意の組合せで達成され得る。
【0117】
[0126]「に結合された」という句は、直接的にまたは間接的にのいずれかで別の構成要素に物理的に接続された任意の構成要素、および／あるいは直接的にまたは間接的にのいずれかで別の構成要素と通信している（たとえば、ワイヤードまたはワイヤレス接続および／あるいは他の好適な通信インターフェースを介して別の構成要素に接続された）任意の構成要素を指す。
【0118】
[0127]セット「のうちの少なくとも１つ」、および／またはセットのうちの「１つまたは複数」を具陳するクレームの文言または他の文言は、セットのうちの１つのメンバーまたは（任意の組合せにおける）セットのうちの複数のメンバーがクレームを満足することを示す。たとえば、「ＡおよびＢのうちの少なくとも１つ」を具陳するクレームの文言は、Ａ、Ｂ、またはＡおよびＢを意味する。別の例では、「Ａ、Ｂ、およびＣのうちの少なくとも１つ」を具陳するクレームの文言は、Ａ、Ｂ、Ｃ、またはＡおよびＢ、またはＡおよびＣ、またはＢおよびＣ、またはＡおよびＢおよびＣを意味する。セット「のうちの少なくとも１つ」および／またはセットのうちの「１つまたは複数」という文言は、セットを、セットに記載されている項目に限定しない。たとえば、「ＡおよびＢのうちの少なくとも１つ」を具陳するクレームの文言は、Ａ、Ｂ、またはＡおよびＢを意味することができ、さらに、ＡおよびＢのセットに記載されていない項目を含むことができる。
【0119】
[0128]本明細書で開示される実施形態に関して説明された様々な例示的な論理ブロック、モジュール、回路、およびアルゴリズムステップは、電子ハードウェア、コンピュータソフトウェア、ファームウェア、またはそれらの組合せとして実装され得る。ハードウェアとソフトウェアのこの互換性を明確に示すために、様々な例示的な構成要素、ブロック、モジュール、回路、およびステップが、概してそれらの機能に関して上記で説明された。そのような機能がハードウェアとして実装されるのかソフトウェアとして実装されるのかは、特定の適用例および全体的なシステムに課される設計制約に依存する。当業者は、説明された機能を特定の適用例ごとに様々な方法で実装し得るが、そのような実装の決定は、本出願の範囲からの逸脱を引き起こすものとして解釈されるべきではない。
【0120】
[0129]本明細書で説明された技法はまた、電子ハードウェア、コンピュータソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得る。そのような技法は、汎用コンピュータ、ワイヤレス通信デバイスハンドセット、またはワイヤレス通信デバイスハンドセットおよび他のデバイスにおける適用を含む複数の用途を有する集積回路デバイスなど、様々なデバイスのいずれかにおいて実装され得る。モジュールまたは構成要素として説明された特徴は、集積論理デバイスに一緒に、または個別であるが相互運用可能な論理デバイスとして別個に実装され得る。ソフトウェアで実装された場合、本技法は、実行されたとき、上記で説明された方法のうちの１つまたは複数を実施する命令を含むプログラムコードを備えるコンピュータ可読データ記憶媒体によって少なくとも部分的に実現され得る。コンピュータ可読データ記憶媒体は、パッケージング材料を含み得るコンピュータプログラム製品の一部を形成し得る。コンピュータ可読媒体は、シンクロナスダイナミックランダムアクセスメモリ（ＳＤＲＡＭ）などのランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、不揮発性ランダムアクセスメモリ（ＮＶＲＡＭ）、電気的消去可能プログラマブル読取り専用メモリ（ＥＥＰＲＯＭ）、フラッシュメモリ、磁気または光データ記憶媒体など、メモリまたはデータ記憶媒体を備え得る。本技法は、追加または代替として、伝搬信号または電波など、命令またはデータ構造の形態でプログラムコードを搬送または通信し、コンピュータによってアクセスされ、読み取られ、および／または実行され得るコンピュータ可読通信媒体によって少なくとも部分的に実現され得る。
【0121】
[0130]プログラムコードは、１つまたは複数のデジタル信号プロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブル論理アレイ（ＦＰＧＡ）、あるいは他の等価の集積回路またはディスクリート論理回路など、１つまたは複数のプロセッサを含み得るプロセッサによって実行され得る。そのようなプロセッサは、本開示で説明された技法のいずれかを実施するように構成され得る。汎用プロセッサは、マイクロプロセッサであり得るが、代替として、プロセッサは、任意の従来のプロセッサ、コントローラ、マイクロコントローラ、または状態機械であり得る。プロセッサはまた、コンピューティングデバイスの組合せ、たとえば、ＤＳＰとマイクロプロセッサとの組合せ、複数のマイクロプロセッサ、ＤＳＰコアと連携する１つまたは複数のマイクロプロセッサ、または任意の他のそのような構成として実装され得る。したがって、本明細書で使用される「プロセッサ」という用語は、上記の構造、上記の構造の任意の組合せ、あるいは本明細書で説明された技法の実装に好適な任意の他の構造または装置のいずれかを指し得る。さらに、いくつかの態様では、本明細書で説明された機能は、符号化および復号のために構成された専用のソフトウェアモジュールまたはハードウェアモジュール内に提供され得、あるいは複合ビデオエンコーダ／デコーダ（コーデック）に組み込まれ得る。
【0122】
[0131]本開示の例示的な態様は以下を含む。
【0123】
[0132]態様１：画像データを処理するための装置であって、装置が、メモリと、メモリに結合された１つまたは複数のプロセッサとを備え、１つまたは複数のプロセッサは、画像センサーから画像を受信することと、画像データの第１のセットの第１の画像特性スコアを決定することと、画像データの第１のセットが、第１のズーム強度における画像の第１のズームされた変形態に対応する、画像データの第２のセットの第２の画像特性スコアを決定することと、画像データの第２のセットが、第２のズーム強度における画像の第２のズームされた変形態に対応する、第２の画像特性スコアが画像特性しきい値よりも小さいことを識別することと、第２の画像特性スコアが画像特性しきい値よりも小さいことを識別することに基づいて、出力画像として画像データの第１のセットを出力することとを行うように構成された、装置。
【0124】
[0133]態様２：出力画像として画像データの第１のセットを出力することは、第１の画像特性スコアが画像特性しきい値よりも大きいかまたはそれに等しいことにも基づく、態様１に記載の装置。
【0125】
[0134]態様３：第１の画像特性スコアが第１の画像シャープネススコアであり、第２の画像特性スコアが第２の画像シャープネススコアであり、画像特性しきい値が画像シャープネスしきい値である、態様１から２のいずれかに記載の装置。
【0126】
[0135]態様４：第１の画像特性スコアが画像データの第１のセットの第１のアンダーシャープ化値であり、第２の画像特性スコアが画像データの第２のセットの第２のアンダーシャープ化値であり、画像特性しきい値がアンダーシャープ化値しきい値である、態様１から３のいずれかに記載の装置。
【0127】
[0136]態様５：１つまたは複数のプロセッサが、画像の部分を識別する１つまたは複数の入力を受信することを行うように構成され、ここにおいて、画像の第１のズームされた変形態および画像の第２のズームされた変形態が、画像の識別された部分に基づく、態様１から４のいずれかに記載の装置。
【0128】
[0137]態様６：画像の第１のズームされた変形態および画像の第２のズームされた変形態が、画像の識別された部分を含む、態様５に記載の装置。
【0129】
[0138]態様７：１つまたは複数の入力が、ユーザインターフェースを通したユーザ入力を含む、態様５または６のいずれかに記載の装置。
【0130】
[0139]態様８：１つまたは複数の入力が、タッチ入力、ジェスチャー入力、および視線入力のうちの少なくとも１つを含む、態様５から７のいずれかに記載の装置。
【0131】
[0140]態様９：１つまたは複数のプロセッサが、オブジェクト検出アルゴリズムから１つまたは複数の入力を受信するように構成され、オブジェクト検出アルゴリズムは、画像の識別された部分が、オブジェクトのタイプの描写を含むと決定する、態様５から８のいずれかに記載の装置。
【0132】
[0141]態様１０：オブジェクトのタイプが顔である、態様９に記載の装置。
【0133】
[0142]態様１１：１つまたは複数のプロセッサが、少なくとも部分的に、第１のズーム強度に従って画像をクロップおよびアップスケールすることによって、画像の第１のズームされた変形態を生成することと、少なくとも部分的に、第２のズーム強度に従って画像と画像の第１のズームされた変形態とのうちの少なくとも１つをクロップおよびアップスケールすることによって、画像の第２のズームされた変形態を生成することとを行うように構成された、態様１から１０のいずれかに記載の装置。
【0134】
[0143]態様１２：出力画像として画像データの第１のセットを出力するために、１つまたは複数のプロセッサが、ディスプレイスクリーン上の表示のために出力画像をレンダリングするように構成された、態様１から１１のいずれかに記載の装置。
【0135】
[0144]態様１３：出力画像を表示するように構成されたディスプレイスクリーンをさらに備える、態様１から１２のいずれかに記載の装置。
【0136】
[0145]態様１４：１つまたは複数のプロセッサは、第１の画像特性スコアと第２の画像特性スコアとの間の差が差しきい値よりも小さいことを識別することと、差が差しきい値よりも小さいことに基づいて、第２の出力画像として画像データの第２のセットを出力することとを行うように構成された、態様１から１３のいずれかに記載の装置。
【0137】
[0146]態様１５：画像データの第１のセットが、第１のズーム強度における画像の第１のデジタル的にズームされた部分に対応し、画像データの第２のセットが、第２のズーム強度における画像の第２のデジタル的にズームされた部分に対応する、態様１から１４のいずれかに記載の装置。
【0138】
[0147]態様１６：画像の第２のデジタル的にズームされた部分が、画像の第１のデジタル的にズームされた部分のサブセットである、態様１５に記載の装置。
【0139】
[0148]態様１７：画像の第１のデジタル的にズームされた部分が、画像の第２のデジタル的にズームされた部分とは異なる、態様１５に記載の装置。
【0140】
[0149]態様１８：出力画像として画像データの第１のセットを出力するために、１つまたは複数のプロセッサが、通信インターフェースを使用して出力画像を送信するように構成された、態様１から１７のいずれかに記載の装置。
【0141】
[0150]態様１９：出力画像をデバイスに送信するように構成された通信インターフェースをさらに備える、態様１から１８のいずれかに記載の装置。
【0142】
[0151]態様２０：装置が、モバイルデバイス、モバイルハンドセット、ワイヤレス通信デバイス、ヘッドマウントディスプレイ、およびカメラのうちの１つである、態様１から１９のいずれかに記載の装置。
【0143】
[0152]態様２１：画像をキャプチャするように構成された画像センサーをさらに備える、態様１から２０のいずれかに記載の装置。
【0144】
[0153]態様２２：画像データを処理する方法であって、方法は、画像センサーから画像を受信することと、画像データの第１のセットの第１の画像特性スコアを決定することと、画像データの第１のセットが、第１のズーム強度における画像の第１のズームされた変形態に対応する、画像データの第２のセットの第２の画像特性スコアを決定することと、画像データの第２のセットが、第２のズーム強度における画像の第２のズームされた変形態に対応する、第２の画像特性スコアが画像特性しきい値よりも小さいことを識別することと、第２の画像特性スコアが画像特性しきい値よりも小さいことを識別することに基づいて、出力画像として画像データの第１のセットを出力することとを備える、方法。
【0145】
[0154]態様２３：出力画像として画像データの第１のセットを出力することは、第１の画像特性スコアが画像特性しきい値よりも大きいかまたはそれに等しいことにも基づく、態様２２に記載の方法。
【0146】
[0155]態様２４：第１の画像特性スコアが第１の画像シャープネススコアであり、第２の画像特性スコアが第２の画像シャープネススコアであり、画像特性しきい値が画像シャープネスしきい値である、態様２２から２３のいずれかに記載の方法。
【0147】
[0156]態様２５：第１の画像特性スコアが画像データの第１のセットの第１のアンダーシャープ化値であり、第２の画像特性スコアが画像データの第２のセットの第２のアンダーシャープ化値であり、画像特性しきい値がアンダーシャープ化値しきい値である、態様２２から２４のいずれかに記載の方法。
【0148】
[0157]態様２６：画像の部分を識別する１つまたは複数の入力を受信することをさらに備え、ここにおいて、画像の第１のズームされた変形態および画像の第２のズームされた変形態が、画像の識別された部分に基づく、態様２２から２５のいずれかに記載の方法。
【0149】
[0158]態様２７：画像の第１のズームされた変形態および画像の第２のズームされた変形態が、画像の識別された部分を含む、態様２６に記載の方法。
【0150】
[0159]態様２８：１つまたは複数の入力が、ユーザインターフェースを通したユーザ入力を含む、態様２６または２７のいずれかに記載の方法。
【0151】
[0160]態様２９：１つまたは複数の入力が、タッチ入力、ジェスチャー入力、および視線入力のうちの少なくとも１つを含む、態様２６から２８のいずれかに記載の方法。
【0152】
[0161]態様３０：オブジェクト検出アルゴリズムから１つまたは複数の入力を受信することをさらに備え、オブジェクト検出アルゴリズムは、画像の識別された部分が、オブジェクトのタイプの描写を含むと決定する、態様２６から２９のいずれかに記載の方法。
【0153】
[0162]態様３１：オブジェクトのタイプが顔である、態様３０に記載の方法。
【0154】
[0163]態様３２：１つまたは複数のプロセッサが、少なくとも部分的に、第１のズーム強度に従って画像をクロップおよびアップスケールすることによって、画像の第１のズームされた変形態を生成することと、少なくとも部分的に、第２のズーム強度に従って画像と画像の第１のズームされた変形態とのうちの少なくとも１つをクロップおよびアップスケールすることによって、画像の第２のズームされた変形態を生成することと、ように構成された、態様２２から３１のいずれかに記載の方法。
【0155】
[0164]態様３３：出力画像として画像データの第１のセットを出力することが、ディスプレイスクリーン上の表示のために出力画像をレンダリングすることを含む、態様２２から３２のいずれかに記載の方法。
【0156】
[0165]態様３４：１つまたは複数のプロセッサは、第１の画像特性スコアと第２の画像特性スコアとの間の差が差しきい値よりも小さいことを識別することと、差が差しきい値よりも小さいことに基づいて、第２の出力画像として画像データの第２のセットを出力することとを行うように構成された、態様２２から３３のいずれかに記載の方法。
【0157】
[0166]態様３５：画像データの第１のセットが、第１のズーム強度における画像の第１のデジタル的にズームされた部分に対応し、画像データの第２のセットが、第２のズーム強度における画像の第２のデジタル的にズームされた部分に対応する、態様２２から３４のいずれかに記載の方法。
【0158】
[0167]態様３６：画像の第２のデジタル的にズームされた部分が、画像の第１のデジタル的にズームされた部分のサブセットである、態様３５に記載の方法。
【0159】
[0168]態様３７：画像の第１のデジタル的にズームされた部分が、画像の第２のデジタル的にズームされた部分とは異なる、態様３５に記載の方法。
【0160】
[0169]態様３８：出力画像として画像データの第１のセットを出力することが、通信インターフェースを使用して出力画像を送信することを含む、態様２２から３７のいずれかに記載の方法。
【0161】
[0170]態様３９：１つまたは複数のプロセッサによって実行されたとき、１つまたは複数のプロセッサに２から３８のいずれかに記載の動作を実施させる命令を記憶した非一時的コンピュータ可読媒体。
【0162】
[0171]態様４０：態様２から３８のいずれかに記載の動作を実施するための手段を備える、画像処理のための装置。
【図1】
【図2】
【図3A】
【図3B】
【図4A】
【図4B】
【図4C】
【図5】
【図6】
【図7】
【国際調査報告】