2023-539384 ターゲット画像データの生成方法、電気装置および非一時的コンピュータ可読媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-09-13

(54)【発明の名称】ターゲット画像データの生成方法、電気装置および非一時的コンピュータ可読媒体

(51)【国際特許分類】

   G06T 3/40 20060101AFI20230906BHJP

   H04N 1/387 20060101ALI20230906BHJP

【ＦＩ】

G06T3/40 705

H04N1/387 101

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023514491

(86)(22)【出願日】2020-09-01

(85)【翻訳文提出日】2023-03-09

(86)【国際出願番号】 CN2020112800

(87)【国際公開番号】W WO2022047614

(87)【国際公開日】2022-03-10

(81)【指定国・地域】

(71)【出願人】

【識別番号】516227559

【氏名又は名称】オッポ広東移動通信有限公司

【氏名又は名称原語表記】ＧＵＡＮＧＤＯＮＧ ＯＰＰＯ ＭＯＢＩＬＥ ＴＥＬＥＣＯＭＭＵＮＩＣＡＴＩＯＮＳ ＣＯＲＰ．， ＬＴＤ．

【住所又は居所原語表記】Ｎｏ． １８ Ｈａｉｂｉｎ Ｒｏａｄ，Ｗｕｓｈａ， Ｃｈａｎｇ’ａｎ，Ｄｏｎｇｇｕａｎ， Ｇｕａｎｇｄｏｎｇ ５２３８６０ Ｃｈｉｎａ

(74)【代理人】

【識別番号】100126000

【弁理士】

【氏名又は名称】岩池 満

(74)【代理人】

【識別番号】100203105

【弁理士】

【氏名又は名称】江口 能弘

(72)【発明者】

【氏名】新井 俊彦

【テーマコード（参考）】

5B057

【Ｆターム（参考）】

5B057CA01

5B057CA08

5B057CA12

5B057CA16

5B057CB01

5B057CB08

5B057CB12

5B057CB16

5B057CC01

5B057CD05

5B057CE08

5B057CE11

5B057CE16

(57)【要約】

本発明の実施形態の方法は、画像信号プロセッサからターゲット画像データを生成するための埋め込み疎画像データを取得するステップであって、埋め込み疎画像データは疎画像データを含み、疎画像データは複数の画素を含み、複数の画素は少なくとも第１色画素、第２色画素及び第３色画素を含むステップと、疎画像データから第１データ部分と第２データ部分とを含む分割データを抽出するステップと、第１データ部分と前記第２データ部分とを結合して圧縮データを得るステップと、圧縮曲線に基づいて圧縮データを逆変換し、逆変換された残差データを取得するステップと、逆変換された残差データに誤差範囲内のランダム値を加算して、再構成された残差データを得るステップと、再構成された残差データおよび疎画像データに基づいて密画像データを再構成するステップであって、密画像データは複数の画素を含み、複数の画素は第１色画素を含むステップと、を含む。【選択図】図１３

【特許請求の範囲】

【請求項1】

画像信号プロセッサからターゲット画像データを生成するための埋め込み疎画像データを取得するステップであって、前記埋め込み疎画像データは疎画像データを含み、前記疎画像データは複数の画素を含み、前記複数の画素は少なくとも第１色画素、第２色画素及び第３色画素を含むステップと、 前記疎画像データから第１データ部分と第２データ部分とを含む分割データを抽出するステップと、 前記第１データ部分と前記第２データ部分とを結合して圧縮データを得るステップと、 圧縮曲線に基づいて前記圧縮データを逆変換し、逆変換された残差データを得るステップと、 前記逆変換された残差データに誤差範囲内のランダム値を加算して、再構成された残差データを得るステップと、 前記再構成された残差データおよび前記疎画像データに基づいて密画像データを再構成するステップであって、前記密画像データは複数の画素を含み、前記複数の画素は第１色画素を含むステップと、 を含むことを特徴とするターゲット画像データの生成方法。

【請求項2】

前記誤差範囲内のランダム値は、元の残差データが前記圧縮曲線で取り得る値と前記逆変換された残差データの値との差分値の中のいずれかの一つであることを特徴とする請求項１に記載のターゲット画像データの生成方法。

【請求項3】

前記密画像データにおける隣接する２つの画素は第１対を構成し、前記第１対は第１色画素の第１値及び第１色画素の第２値を含むことを特徴とする請求項１に記載のターゲット画像データの生成方法。

【請求項4】

前記密画像データを再構成することは、 前記疎画像データから、前記第１対の第１色画素の第１値を取得するステップと、 前記再構成された残差データを前記第１対の第１色画素の第１値に加算して、前記第１色画素の第２値を得るステップと、 を含むことを特徴とする請求項３に記載のターゲット画像データの生成方法。

【請求項5】

画像信号プロセッサからの前記疎画像データに基づいて前記ターゲット画像データを生成する処理中に生成画像データを取得するステップと、 前記生成画像データと、前記再構成された残差データから再構成された前記密画像データとを合成して、合成画像データを生成するステップと、 を更に含むことを特徴とする請求項１に記載のターゲット画像データの生成方法。

【請求項6】

前記合成画像データを前記画像信号プロセッサに入力するステップをさらに含むことを特徴とする請求項５に記載のターゲット画像データの生成方法。

【請求項7】

前記圧縮曲線は実質的にＳ字型であり、前記圧縮曲線には大きな残差データの圧縮率は小さな残差データの圧縮率より大きいことを特徴とする請求項１に記載のターゲット画像データの生成方法。

【請求項8】

対象をキャプチャするためのカメラアセンブリから前記疎画像データおよび前記密画像データを取得するステップと、 前記密画像データにおける前記第１対の第１色画素の第１値と前記第１対の第２色画素の第２値との差分値を計算することによって、前記密画像データに基づいて元の残差データを生成するステップと、 前記圧縮曲線に基づいて前記元の残差データを圧縮して前記元の残差データのデータ量を削減することにより、前記圧縮データを生成するステップと、 前記圧縮データを前記第１データ部分と前記第２データ部分とに分割して前記分割データを生成するステップと、 前記分割データを前記疎画像データに埋め込み、前記埋め込み疎画像データを生成するステップと、 をさらに含むことを特徴とする請求項３に記載のターゲット画像データの生成方法。

【請求項9】

前記疎画像データにおける隣接する２つの画素は第２対を構成し、前記第１データ部分および前記第２データ部分は、前記密画像データの前記第１対に対応する位置にある前記第２対の隣接する２つの画素に埋め込まれることを特徴とする請求項８に記載のターゲット画像データの生成方法。

【請求項10】

前記埋め込み疎画像データを画像信号プロセッサに入力するステップをさらに含むことを特徴とする請求項８に記載のターゲット画像データの生成方法。

【請求項11】

第１色は緑であり、第２色は赤であり、第３色は青であることを特徴とする請求項１～１０のいずれに記載のターゲット画像データの生成方法。

【請求項12】

前記疎画像データはベイヤー形式に準拠することを特徴とする請求項１１に記載のターゲット画像データの生成方法。

【請求項13】

画像信号プロセッサと、メインプロセッサと、を含む電気装置であって、 前記画像信号プロセッサは埋め込み疎画像データに基づいてターゲット画像データを生成することを実施することに用いられ、 前記メインプロセッサは、 前記画像信号プロセッサから前記ターゲット画像データを生成するための前記埋め込み疎画像データを取得するステップであって、前記埋め込み疎画像データは疎画像データを含み、前記疎画像データは複数の画素を含み、前記複数の画素は少なくとも第１色画素、第２色画素及び第３色画素を含むステップと、 前記疎画像データから、第１データ部分と第２データ部分とを含む分割データを抽出するステップと、 前記第１データ部分と前記第２データ部分とを結合して圧縮データを得るステップと、 圧縮曲線に基づいて前記圧縮データを逆変換し、逆変換された残差データを得るステップと、 前記逆変換された残差データに誤差範囲内のランダム値を加算して、再構成された残差データを得るステップと、
前記再構成された残差データおよび前記疎画像データに基づいて密画像データを再構成するステップであって、前記密画像データは複数の画素を含み、前記複数の画素は第１色画素を含むステップと、を実施することに用いられることを特徴とする電気装置。

【請求項14】

プログラム命令を記憶した非一時的コンピュータ可読媒体であって、前記プログラム命令は、
画像信号プロセッサからターゲット画像データを生成するための埋め込み疎画像データを取得するステップであって、前記埋め込み疎画像データは疎画像データを含み、前記疎画像データは複数の画素を含み、前記複数の画素は少なくとも第１色画素、第２色画素及び第３色画素を含むステップと、 前記疎画像データから、第１データ部分と第２データ部分とを含む分割データを抽出するステップと、 前記第１データ部分と前記第２データ部分とを結合して圧縮データを得るステップと、 圧縮曲線に基づいて前記圧縮データを逆変換し、逆変換された残差データを得るステップと、 前記逆変換された残差データに誤差範囲内のランダム値を加算して、再構成された残差データを得るステップと、 前記再構成された残差データおよび前記疎画像データに基づいて密画像データを再構成するステップであって、前記密画像データは複数の画素を含み、前記複数の画素は第１色画素を含むステップと、 を実施することを特徴とする非一時的コンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明はターゲット画像データの生成方法、そのような方法を実装する電気装置、およびそのような方法を実行するために記憶されたプログラム命令を含む非一時的コンピュータ可読媒体に関する。

【背景技術】

【0002】

スマートフォンやタブレット端末などの電子装置は、私たちの生活の中で広く使われている。現在、多くの電子装置には、画像をキャプチャするためのカメラアセンブリが装備されている。一部の電気装置は携帯性に優れているため、持ち運びが簡単である。従って、電子装置の使用者は、電子装置のカメラアセンブリを使用して、時間や場所を問わず簡単に対象の写真を撮ることができる。

【0003】

対象の画像をキャプチャし、そのターゲット画像データを生成するための多くの形式がある。広く知られているフォーマットの１つは、疎画像データ（ｓｐａｒｓｅ ｉｍａｇｅ ｄａｔａ）を含むベイヤー（Ｂａｙｅｒ）形式である。

【0004】

疎画像データに加えて、ターゲット画像データにおける対象の画像の品質を改善するために、カメラアセンブリが対象の画像をキャプチャするときに密画像データ（Ｄｅｎｓｅ ｉｍａｇｅ ｄａｔａ）も生成される。この場合、疎画像データおよび密画像データを使用して、ディスプレイに表示されるか、または電気装置のメモリに記憶されるターゲット画像データが生成される。電気装置の開発コストを削減するためには、共通の画像信号プロセッサを使用して、疎画像データおよび密画像データに基づいてターゲット画像データを生成することが好ましい。

【発明の概要】

【発明が解決しようとする課題】

【0005】

本発明は、上述の技術的問題の少なくとも１つを解決することを目的とする。従って、本発明は、ターゲット画像データの生成方法、そのような方法を実装する電気装置、およびそのような方法を実行するために記憶されたプログラム命令を含む非一時的コンピュータ可読媒体を提供する。

【課題を解決するための手段】

【0006】

本発明が提供するターゲット画像データの生成方法は、 画像信号プロセッサからターゲット画像データを生成するための埋め込み疎画像データを取得するステップであって、埋め込み疎画像データは疎画像データを含み、疎画像データは複数の画素を含み、複数の画素は少なくとも第１色画素、第２色画素及び第３色画素を含むステップと、 疎画像データから、第１データ部分と第２データ部分とを含む分割データを抽出するステップと、 第１データ部分と第２データ部分とを結合して圧縮データを得るステップと、 圧縮曲線に基づいて圧縮データを逆変換し、逆変換された残差データを得るステップと、 逆変換された残差データに誤差範囲内のランダム値を加算して、再構成された残差データを得るステップと、 再構成された残差データおよび疎画像データに基づいて密画像データを再構成するステップであって、密画像データは複数の画素を含み、複数の画素は第１色画素を含むステップと、を含む。

【0007】

本発明が提供する電気装置は、画像信号プロセッサと、メインプロセッサと、を含み、 画像信号プロセッサは埋め込み疎画像データに基づいてターゲット画像データを生成することを実施することに用いられ、 メインプロセッサは、 画像信号プロセッサからターゲット画像データを生成するための埋め込み疎画像データを取得するステップであって、埋め込み疎画像データは疎画像データを含み、疎画像データは複数の画素を含み、複数の画素は少なくとも第１色画素、第２色画素及び第３色画素を含むステップと、 疎画像データから、第１データ部分と第２データ部分とを含む分割データを抽出するステップと、 第１データ部分と第２データ部分とを結合して圧縮データを得るステップと、 圧縮曲線に基づいて圧縮データを逆変換し、逆変換された残差データを得るステップと、 逆変換された残差データに誤差範囲内のランダム値を加算して、再構成された残差データを得るステップと、
再構成された残差データおよび疎画像データに基づいて密画像データを再構成するステップであって、密画像データは複数の画素を含み、複数の画素は第１色画素を含むステップと、を実施することにも用いられる。

【0008】

プログラム命令を記憶した非一時的コンピュータ可読媒体であって、前記プログラム命令は、
画像信号プロセッサからターゲット画像データを生成するための埋め込み疎画像データを取得するステップであって、埋め込み疎画像データは疎画像データを含み、疎画像データは複数の画素を含み、複数の画素は少なくとも第１色画素、第２色画素及び第３色画素を含むステップと、 疎画像データから、第１データ部分と第２データ部分とを含む分割データを抽出するステップと、 第１データ部分と第２データ部分とを結合して圧縮データを得るステップと、 圧縮曲線に基づいて圧縮データを逆変換し、逆変換された残差データを得るステップと、 逆変換された残差データに誤差範囲内のランダム値を加算して、再構成された残差データを得るステップと、 再構成された残差データおよび疎画像データに基づいて密画像データを再構成するステップであって、密画像データは複数の画素を含み、複数の画素は第１色画素を含むステップと、を実施する。

【図面の簡単な説明】

【0009】

【図1】本発明の一実施形態に係る電気装置の第１側の平面図である。

【図2】本発明の一実施形態に係る電気装置の第２側の平面図である。

【図3】本発明の第一実施例に係る電気装置のブロック図である。

【図4】本発明の一実施形態に係る電気装置が実行するターゲット画像生成処理のフローチャート（部分１）である。

【図5】本発明の一実施形態に係る電気装置が実行するターゲット画像生成処理のフローチャート（部分２）である。

【図6】本発明の一実施形態に係る画像信号プロセッサに入力された埋め込み疎画像データを生成するメカニズムの概略図である。

【図7】本発明の一実施形態に係る元の残差データと、密画像データにおける第１対の隣接する２つの画素に基づく圧縮データを計算する方法を説明する概略図である。

【図8】本発明の一実施形態に係る元の残差データを圧縮して圧縮データを生成するための圧縮曲線の例の１つを示す図である。

【図9】本発明の一実施形態に係る元の残差データを分割して分割データを生成し、分割データを疎画像データに埋め込む方法を説明する概略図である。

【図10】本発明の一実施形態に係る再構成された密画像データと生成画像データとに基づいて合成画像データを生成する方法を説明する概略図である。

【図11】圧縮データに基づいて密画像データにおける第１対の隣接する２つの画素を再構成する方法を説明する概略図である。

【図12】第１対の隣接する２つの画素間の差分値が比較的小さい際、部分的に拡大された圧縮曲線を示す図である。

【図13】第１対の隣接する２つの画素間の差分値が比較的大きい際、部分的に拡大された圧縮曲線を示す図である。

【図14】本発明の一実施形態に係る埋め込み疎画像データに基づいてターゲット画像データを生成するメカニズムの概略図である。

【発明を実施するための形態】

【0010】

以下、本発明の実施形態を詳細に説明し、実施形態の例を添付の図面に示す。同一または類似の要素、および同一または類似の機能を有する要素は、説明全体を通じて同一の参照数字で示す。図面を参照して説明することは、本発明を説明することを目的としており、本発明を制限するものと解釈されるべきではない。

【0011】

（第一実施形態） 図１は本発明の第一実施形態に係る電気装置１０の第１側の平面図であり、図２は本発明の第一実施形態に係る電気装置１０の第２側の平面図である。第１側は電気装置１０の裏側（ｂａｃｋ ｓｉｄｅ）と呼ばれ、第２側は、電気装置１０の表側（ｆｒｏｎｔ ｓｉｄｅ）と呼ばれることができる。

【0012】

図１および図２に示すように、電気装置１０は、ディスプレイ２０およびカメラアセンブリ３０を含むことができる。カメラアセンブリ３０は第１メインカメラ３２、第２メインカメラ３４及びサブカメラ３６を含む。第１メインカメラ３２および第２メインカメラ３４は、電気装置１０の第１側で画像をキャプチャすることができ、サブカメラ３６は、電気装置１０の第２側で画像をキャプチャすることができる。第１メインカメラ３２および第２メインカメラ３４はいわゆるアウトカメラ（ｏｕｔ ｃａｍｅｒａ）であり、サブカメラ３６はいわゆるインカメラ（ｉｎ ｃａｍｅｒａ）である。例として、電気装置１０は、携帯電話、タブレットコンピュータ、携帯情報端末などであってもよい。

【0013】

第１メインカメラ３２、第２メインカメラ３４及びサブカメラ３６は、それぞれカラーフィルタを通過した光を電気信号に変換するイメージセンサを有し、電気信号の信号値はカラーフィルターを通過した光の量に関する。

【0014】

本実施形態に係る電気装置１０は３つのカメラを有するが、電気装置１０は３つ未満または３つ以上のカメラを有してもよい。例えば、電気装置１０は、２つ、４つ、５つなどのカメラを有することができる。

【0015】

図３は、本実施形態に係る電気装置１０のブロック図である。図３に示すように、ディスプレイ２０およびカメラアセンブリ３０に加えて、電気装置１０は、メインプロセッサ４０、画像信号プロセッサ４２、メモリ４４、電源回路４６および通信回路４８を含むことができる。カメラアセンブリ３０、メインプロセッサ４０、画像信号プロセッサ４２、メモリ４４、電源回路４６および通信回路４８は、バス５０を介して互いに接続されている。

【0016】

メインプロセッサ４０は、メモリ４４に記憶された１つまたは複数のプログラム命令を実行する。メインプロセッサ４０は、プログラム命令を実行することによって、電気装置１０のさまざまなアプリケーションおよびデータ処理を実現する。メインプロセッサ４０は、１つまたは複数のコンピュータプロセッサであってもよい。メインプロセッサ４０は、１つのＣＰＵコア（ＣＰＵ ｃｏｒｅ）に限らず、複数のＣＰＵコアを有していてもよい。メインプロセッサ４０は、電気装置１０のメインＣＰＵ、画像処理ユニット（Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、ＩＰＵ）、またはカメラアセンブリ３０を備えたＤＳＰであってもよい。

【0017】

画像信号プロセッサ４２は、カメラアセンブリ３０を制御し、カメラアセンブリ３０によってキャプチャされた様々な種類の画像データを処理して、ターゲット画像データを生成する。例えば、画像信号プロセッサ４２は、デモザイク処理（ｄｅｍｏｓａｉｃｉｎｇ ｐｒｏｃｅｓｓ）、ノイズリダクション処理（ｎｏｉｓｅ ｒｅｄｕｃｔｉｏｎ ｐｒｏｃｅｓｓ）、自動露出処理（ａｕｔｏ ｅｘｐｏｓｕｒｅ ｐｒｏｃｅｓｓ）、オートフォーカス処理（ａｕｔｏ ｆｏｃｕｓ ｐｒｏｃｅｓｓ）、オートホワイトバランス処理（ａｕｔｏ ｗｈｉｔｅ ｂａｌａｎｃｅ ｐｒｏｃｅｓｓ）、ハイダイナミックレンジ処理（ｈｉｇｈ ｄｙｎａｍｉｃ ｒａｎｇｅ ｐｒｏｃｅｓｓ）などを、カメラアセンブリ３０によってキャプチャされた画像データに適用することができる。

【0018】

本実施形態では、メインプロセッサ４０および画像信号プロセッサ４２が協働して、カメラアセンブリ３０によってキャプチャされた対象のターゲット画像データを生成する。すなわち、メインプロセッサ４０および画像信号プロセッサ４２は、カメラアセンブリ３０によって対象の画像をキャプチャし、キャプチャされた画像データに様々な種類の画像処理を適用することに用いられる。

【0019】

メインプロセッサ４０が実行するプログラム命令（ｐｒｏｇｒａｍ ｉｎｓｔｒｕｃｔｉｏｎ）や各種データはメモリ４４に記憶される。例えば、キャプチャされた画像のデータもメモリ４４に記憶される。

【0020】

メモリ４４は、高速ＲＡＭメモリ（ｈｉｇｈ ｓｐｅｅｄ ｍｅｍｏｒｙ）、および／またはフラッシュメモリ（ｆｌａｓｈ ｍｅｍｏｒｙ）および磁気ディスクメモリ（ｍａｇｎｅｔｉｃ ｄｉｓｋ ｍｅｍｏｒｙ）などの不揮発性メモリ（ｎｏｎ－ｖｏｌａｔｉｌｅ ｍｅｍｏｒｙ）を含むことができる。すなわち、メモリ４４は、プログラム命令が記憶された非一時的コンピュータ可読媒体を含むことができる。

【0021】

電源回路４６は、リチウムイオン二次電池などの電池と、電池を管理するための電池管理ユニット（Ｂａｔｔｅｒｙ Ｍａｎａｇｅｍｅｎｔ Ｕｎｉｔ、ＢＭＵ）と、を有していてもよい。

【0022】

通信回路４８は、電気通信ネットワークシステムの基地局、インターネット、または他の装置と無線通信によってデータを送受信することに用いられる。無線通信は、ＧＳＭ（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ ｃｏｍｍｕｎｉｃａｔｉｏｎ）、コード分割多元接続（Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ、ＣＤＭＡ）、ロングタームエボリューション（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ、ＬＴＥ）、ＬＴＥアドバンスト（ＬＴＥ－Ａｄｖａｎｃｅｄ）、５Ｇ（５ｔｈ ｇｅｎｅｒａｔｉｏｎ）を含むが、これらに制限されず、任意の通信規格またはプロトコルを採用することができる。通信回路４８は、アンテナおよび無線周波数（ＲＦ）回路を含んでもよい。

【0023】

図４および図５は、本実施形態に係る電気装置１０に係るターゲット画像生成処理のフローチャートを示す。本実施形態において、ターゲット画像生成処理は、例えば、メインプロセッサ４０によって実行され、ターゲット画像データを生成する。しかしながら、メインプロセッサ４０は画像信号プロセッサ４２と協働してターゲット画像データを生成してもよい。従って、本実施形態において、メインプロセッサ４０および画像信号プロセッサ４２は、画像プロセッサを構成する。

【0024】

また、本実施形態では、ターゲット画像生成処理のプログラム命令は、メモリ４４の非一時的コンピュータ可読媒体に記憶される。従って、例えば、プログラム命令がメモリ４４から読み出され、メインプロセッサ４０で実行されると、メインプロセッサ４０は、図４および図５に示すターゲット画像生成プロセスを実行する。

【0025】

図４に示すように、例えば、メインプロセッサ４０は、疎画像データと密画像データとを取得する（ステップＳ１０）。本実施形態では、メインプロセッサ４０は、カメラアセンブリ３０から疎画像データおよび密画像データを取得する。すなわち、カメラアセンブリ３０は、対象の画像をキャプチャし、疎画像データおよび密画像データの両方を生成する。本実施形態では、疎画像データは、複数の緑色画素、複数の赤色画素および複数の青色画素を含む。一方、密画像データは複数の緑色画素を含む。

【0026】

カメラアセンブリ３０によって疎画像データおよび密画像データを生成するために、カメラアセンブリ３０は、対象の画像をキャプチャするための専用のイメージセンサを有し、一つのカメラを使用して１回のイメージング操作（ｉｍａｇｉｎｇ ｏｐｅｒａｔｉｏｎ）を実行することによって疎画像データおよび密画像データを生成することができる。この場合、例えば、第１メインカメラ３２が対象の画像をキャプチャし、１回の撮像動作で疎画像データと密画像データの両方を生成してもよい。

【0027】

一方、カメラアセンブリ３０は、２つのカメラを使用して対象の画像をキャプチャし、１回のイメージング操作を実行することによって疎画像データおよび密画像データを生成することができる。この場合、例えば、第１メインカメラ３２が対象をキャプチャして疎画像データを生成し、第２メインカメラ３４が対象をキャプチャして密画像データを生成する。

【0028】

一方、カメラアセンブリ３０は、２回のイメージング操作を実行することにより、一つのカメラによって対象の画像をキャプチャし、疎画像データおよび密画像データを生成することができる。例えば、サブカメラ３６は、第１回のイメージング操作を実行することによって対象をキャプチャして、疎画像データを生成する。その後、サブカメラ３６は、第１回のイメージング操作の直後に第２回のイメージング操作を実行することによって対象をキャプチャし、密画像データを生成する。

【0029】

図６は、画像信号プロセッサ４２に入力された埋め込み疎画像データを生成するメカニズムの概略図である。

【0030】

図６に示すように、疎画像データはベイヤー形式に準拠している。したがって、対象をキャプチャするためのカメラアセンブリ３０のイメージセンサのカラーフィルタの緑、赤、青の配列は、ベイヤー配列に従う。ベイヤー形式では、疎画像データにおいて、緑の画素Ｇ１の数は、赤の画素Ｒ１の数または青の画素Ｂ１の数の２倍である。疎画像データは、カメラアセンブリ３０からのＲＡＷデータと呼ばれることもある。

【0031】

密画像データは緑の画素Ｇ２からなる。これは、人間の目は、赤や青の明るさよりも緑の明るさ（ｂｒｉｇｈｔｎｅｓｓ）に敏感だからである。本実施形態では、ターゲット画像データの明るさを調整するために密集画像をキャプチャする。

【0032】

次に、図４に示すように、例えば、メインプロセッサ４０は、密画像データにおける２つの緑の画素Ｇ２を選択し、選択した２つの緑の画素Ｇ２の元の残差データを生成する（ステップＳ１２）。すなわち、本実施形態では、データ量を削減するために、密画像データにおける隣接する２つの画素間の差分値を計算することにより元の残差データを生成する。

【0033】

図７は、元の残差データ、圧縮データ、分割データの生成方法を説明する概略図である。図６および図７に示すように、疎画像データの緑の画素Ｇ１は、密画像データの緑の画素Ｇ２ａに対応する。すなわち、同じ位置にある緑の画素Ｇ１の値と緑の画素Ｇ２ａの値とは実質的に等しい。

【0034】

一方、緑の画素Ｇ２ｂは、密画像データには含まれるが、疎画像データには含まれない。すなわち、疎画像データは、密画像データの緑の画素Ｇ２ｂに対応する緑の画素を含まない。図７では、互いに隣接する１つの緑の画素Ｇ２ａと１つの緑の画素Ｇ２ｂとが第１対を構成する例として示されている。すなわち、例えば、メインプロセッサ４０はステップＳ１２で密画像データの第１対を１つ選択し、全ての第１対が処理されるまでステップＳ１２から後述するステップＳ２０までの処理が繰り返される。

【0035】

一般に、隣接する２つの画素の明るさは近似または同じである。すなわち、緑の画素Ｇ２ａの値と、緑の画素Ｇ２ａに隣接する緑の画素Ｇ２ｂの値との差分値は一般に小さい。そこで、本実施形態では、データ量を削減するために、緑の画素Ｇ２ａの値と緑の画素Ｇ２ａに隣接する緑の画素Ｇ２ｂの値との差分値が、緑の画素Ｇ２ｂに隣接する緑の画素Ｇ２ａの値から緑の画素Ｇ２ｂの値を減算することによって得られる。

【0036】

換言すれば、密画像データにおける隣接する２つの画素Ｇ２ａおよび画素Ｇ２ｂは、元の残差データを生成するための第１対を構成する。図６の疎画像データの例では、元の残差データを計算するための１２つ（３×４）の第１対がある。換言すれば、第１対の数は、密画像データの緑の画素Ｇ２の数の半分である。

【0037】

また、例えば、本実施形態では、１つの緑の画素Ｇ２が１０ビット（ｂｉｔｓ）で構成されている。すなわち、密画像データにおける１つの緑の画素Ｇ２の値は０～１０２３である。従って、元の残差データの値は＋１０２３～－１０２４になるので、元の残差データは１１ビットで構成される。

【0038】

次に、図４に示すように、例えば、メインプロセッサ４０は、元の残差データに基づいて圧縮データを生成する（ステップＳ１４）。元の残差データを圧縮して元の残差データのビットの数を減らす方法はさまざまである。元の残差データを圧縮する方法の一例をここで説明する。

【0039】

図８は、元の残余データを圧縮して圧縮データを生成するための圧縮曲線の例の１つを示す。すなわち、圧縮曲線に基づいて元の残差データを圧縮データに変換する。圧縮曲線は、さまざまなデータを圧縮するためのトーンカーブ（ｔｏｎｅ ｃｕｒｖｅ）とも呼ばれ、元の残差データの値と圧縮データの値との関係を定義する。圧縮データのビットの数は、元の残差データのビットの数よりも小さい。

【0040】

例えば、図７および図８に示すように、本実施形態では、１１ビットからなる元の残差データが８ビットからなる圧縮データに圧縮される。つまり、元の残差データの値は－１０２４～＋１０２３の間であるが、圧縮データの値は－１２８～＋１２７である。

【0041】

上述したように、密画像データにおける隣接する２つの緑の画素Ｇ２ａの値と緑の画素Ｇ２ｂの値との差分値が一般に小さいので、圧縮曲線は、元の残差の絶対値が小さい範囲でほぼ直線的に増減する。一方、圧縮曲線は、元の残差データの絶対値が大きい範囲ではほぼ平坦または一定（ｃｏｎｓｔａｎｔ）である。その結果、圧縮曲線はＳ字型になる。

【0042】

元の残差データを図８に示す圧縮曲線に基づいて圧縮することにより、１１ビットからなる元の残差データは８ビットからなる圧縮データに圧縮されることができる。たとえば、元の残差データの値が１０である場合、圧縮データの値も１０になる。従って、元の残差データの値が圧縮曲線に基づいて拡張されると、残差データの値は１０に戻されることができる。すなわち、元の残差データの絶対値が小さい範囲では、圧縮データは元の残差データとほぼ同じである残差データに戻されることができる。

【0043】

一方、元の残差データの値が１０２３である場合、圧縮データの値は１２７である。また、元の残差データの値が９８０である場合、圧縮データの値は１２６である。すなわち、元の残差データの絶対値が大きい範囲では、元の残差データは元の残差データとほぼ同じである残差データに戻されることはできない。すなわち、元の残差データの絶対値が大きい場合、圧縮データに基づく残差データの拡張値は粗い。しかし、元の残差データの絶対値が大きい可能性が元の残差データの絶対値が小さい可能性よりも低いため、再現性が低い元の残差データの絶対値が大きい値の範囲は許容されることができる。

【0044】

次に、図４に示すように、例えば、メインプロセッサ４０は、圧縮データに基づいて分割データを生成する（ステップＳ１６）。すなわち、本実施形態では、圧縮データの画素のサイズが大きすぎて疎画像データに埋め込まれることができないため、圧縮データは第１データ部分と第２データ部分との２つのデータに分割される。

【0045】

図９は圧縮データから分割データをどのように生成するかを説明する概略図である。図９の上部が従来技術の比較例を示し、図９の下部が本実施形態の説明を示す。

【0046】

図９に示すように、圧縮データの値は８ビットで表され、４ビットの第１データ部及び４ビットの第２データ部に分割される。

【0047】

本実施形態では、画像信号プロセッサ４２が疎画像データにおける１画素に対応する可利用空間（ａｖａｉｌａｂｌｅ ｓｐａｃｅ）は１４ビットであるが、疎画像データにおける１画素あたり１０ビットが必要である。従って、１４ビットのうちの４ビットはリザーブビット（ｒｅｓｅｒｖｅｄ ｂｉｔ）であり、画像信号プロセッサ４２では使用されない。すなわち、１４ビットのうちの４ビットの空間は、疎画像データが記憶されない予備空間（ｓｐａｒｅ ｓｐａｃｅ）である。

【0048】

そこで、本実施形態では、８ビットからなる圧縮データを疎画像データの４リザーブビットに挿入できるようにするために、８ビットの圧縮データが２つの４ビット部分に分割され、分割データとする。その結果、第１データ部分のサイズおよび第２データ部分のサイズは、疎画像データの予備空間のサイズと一致する。そこで、本実施形態では、８ビットの圧縮データは４ビットの第１データ部および４ビットの第２データ部に分割される。

【0049】

次に、図４に示すように、例えば、メインプロセッサ４０は疎画像データに分割データを埋め込み、埋め込み疎画像データを生成する（ステップＳ１８）。図９および図６に示すように、分割データは、疎画像データの２つの４リザーブビットに埋め込まれる。

【0050】

より具体的には、本実施形態では、疎画像データの各赤の画素Ｒ１、各青の画素Ｂ１および各緑の画素Ｇ１は、画像信号プロセッサ４２の予備空間である４リザーブビットを有する。なお、分割データが埋め込まれた疎画像データを埋め込み疎画像データと呼ばれる。

【0051】

図６に示すように、ベイヤー形式の疎画像データにおいて、赤の画素Ｒ１と緑の画素Ｇ１とが第２対を構成でき、青の画素Ｂ１と緑の画素Ｇ１とが第２対を構成できる。ベイヤー形式では、各対における隣接する２つの画素は、緑の画素Ｇ１及び赤の画素Ｒ１を含み、または緑の画素Ｇ１及び青の画素Ｂ１を含む。図６の疎画像データの例では、疎画像データは１２個（３×４）の第２対を含み、各対は緑の画素Ｇ１及び赤の画素Ｒ１からなり、または緑の画素Ｇ１及び青の画素Ｂ１からなる。

【0052】

第２対の緑の画素Ｇ１は、密画像データの第１対に対応する位置にある第１対の緑の画素Ｇ２に対応する。すなわち、疎画像データの第２対の位置が密画像データの第１対の位置と同じであると、疎画像データの第２対における緑の画素Ｇ１の値は密画像データの第１対における緑の画素Ｇ２の値と実質的に同じである。

【0053】

本実施形態では、分割データの第１データ部分は、第２対の緑の画素Ｇ１の４ビットの予備空間に埋め込まれ、分割データの第２データ部分は、第２対の赤の画素Ｒ１または青の画素Ｂ１の４ビットの予備空間に埋め込まれる。

【0054】

すなわち、分割データの第１データ部分および第２データ部分は、第２対の２つの隣接する赤の画素Ｒ１および緑の画素Ｇ１に埋め込まれ、または第２対の２つの隣接する青の画素Ｂ１および緑の画素Ｇ１に埋め込まれる。従って、本実施形態では、分割データの第１データ部分および第２データ部分のすべては、疎画像データの予備空間に埋め込まれることができる。

【0055】

また、本実施形態では、密画像データの第１対と疎画像データの第２対とが１対１に対応している。従って、第１データ部分および第２データ部分は第２対の２つの隣接する画素に埋め込まれ、第２対は第１データ部分および第２データ部分が最初に計算された第１対に対応する。すなわち、元の第１対の位置に対応する第２対に、第１データ部分および第２データ部分が挿入される。

【0056】

しかし、分割データは、分割データの第１データ部分および第２データ部分が疎画像データのどこに埋め込まれるかを指定できる任意の方法で、疎画像データの予備空間に埋め込まれてもよい。

【0057】

図９の上部に示す比較例では、疎画像データが画像信号プロセッサ４２に入力されると、緑の画素Ｇ２ｂの情報が破棄される。しかし、本実施形態では、緑の画素Ｇ２ｂのデータも疎画像データに埋め込むことができるので、緑の画素Ｇ２ｂの情報は破棄されない。

【0058】

次に、図４に示すように、例えば、メインプロセッサ４０は、密画像データにおける全ての第１対が処理され、完了したか否かを判断する（ステップＳ２０）。すなわち、本実施形態では、第１対に基づくすべての元の残差データが疎画像データに埋め込まれるべきである。

【0059】

密画像データにおける全ての第１対が処理され完了していないと（ステップＳ２０：Ｎｏ）、ターゲット画像生成処理は、ステップＳ１２に戻り、ステップＳ１２からステップＳ１８までの処理を繰り返す。すなわち、ステップＳ１２からステップＳ１８までの処理は、全ての第１対の元の残差データが疎画像データに埋め込まれるまで繰り返される。

【0060】

一方、密画像データの第１対が全て処理され完了したと（ステップＳ２０：Ｙｅｓ）、例えば、メインプロセッサ４０は埋め込み疎画像データを画像信号プロセッサ４２に入力する（ステップＳ２２）。すなわち、疎画像データと分割データとを含む埋め込み疎画像データが画像信号プロセッサ４２に入力され、ターゲット画像データが生成される。その後、画像信号プロセッサ４２は、埋め込み疎画像データにおける疎画像データの処理を開始して、ターゲット画像データを生成する。

【0061】

次に、図５に示すように、例えば、メインプロセッサ４０は、画像信号プロセッサ４２から埋め込み疎画像データを取得する（ステップＳ３０）。すなわち、画像信号プロセッサ４２は、処理中に各種データを出力する１つ以上のデータ出力ポートと、画像信号プロセッサ４２に各種データを入力する１つ以上のデータ入力ポートと、を有する。従って、メインプロセッサ４０は、画像信号プロセッサ４２のデータ出力ポートの１つを介して、埋め込み疎画像データを取得する。

【0062】

図１０は、本実施形態におけるターゲット画像データの生成メカニズムを説明する概略図である。図１０に示すように、埋め込み疎画像データは画像信号プロセッサ４２から得ることができる。埋め込み疎画像データは疎画像データおよび分割データを含む。

【0063】

なお、埋め込み疎画像データの処理中に、画像信号プロセッサ４２から得られる埋め込み疎画像データは、画像信号プロセッサ４２に入力された埋め込み疎画像データと同一ではない場合がある。しかし、分割データは疎画像データの予備空間に記憶され、破壊されないため、本明細書で開示されるターゲット画像生成プロセスにとって許容可能である。

【0064】

次に、図５に示すように、例えば、メインプロセッサ４０は、埋め込み疎画像データから分割データを抽出する（ステップＳ３２）。すなわち、メインプロセッサ４０は、疎画像データにおける第２対から１つの分割データを抽出する。本実施形態では、疎画像データの各画素は、分割データにおける４ビットの第１データ部分または分割データにおける４ビットの第２データ部分を含む。従って、埋め込み疎画像データから、第１データ部分と第２データ部分とを含む分割データが抽出される。本実施形態では、例えば、メインプロセッサ４０は、ステップＳ３２において疎画像データの１つの第２対から分割データを抽出し、第２対におけるすべての分割データが処理されるまで、ステップＳ３２から後述するステップＳ４０までの処理を繰り返す。

【0065】

次に、図５に示すように、例えば、メインプロセッサ４０は、分割データの第１データ部分と第２データ部分とを結合して圧縮データを得る（ステップＳ３４）。上述したように、分割データを生成する際には、８ビットの圧縮データが４ビットの第１データ部と４ビットの第２データ部に分割される。従って、圧縮データは、同じ第２対から抽出された第１データ部分及び第２データ部分を結合することによって再構成することができる。同じ第２対における第１データ部分及び第２データ部分を結合することにより、図９に示す圧縮データが得られる。

【0066】

次に、図５に示すように、例えば、メインプロセッサ４０は圧縮データを逆変換し、逆変換された残差データを得る（ステップＳ３６）。上述したように、ステップＳ１４の圧縮曲線に基づいて、１１ビットの元の残差データが８ビットの圧縮データに圧縮される。従って、８ビットの圧縮データから１１ビットの逆変換された残差データを得ることができる。

【0067】

図１１は、分割データから密画像データを再構成する方法を説明する概略図である。即ち、図１１は図７で説明した元の残差データ及び圧縮データの生成との逆の手順を示している。

【0068】

図１１に示すように、図８に示す圧縮曲線を用いて圧縮データを逆変換し、逆変換された残差データを得ることができる。すなわち、圧縮データを生成する際に、圧縮データは、図８に示す圧縮曲線を用いて、元の残差データから変換されたものである。従って、圧縮データを逆変換することにより、逆変換された残差データは元の残差データと同じか、またはそれに近いものとなる。

【0069】

次に、図５に示すように、例えば、メインプロセッサ４０は、逆変換された残差データに誤差範囲内のランダム値を加算して再構成された残差データを得る（ステップＳ３８）。逆変換された残差データには、元の残差データに対して一定量のエラーが含まれているため、メインプロセッサは、誤差範囲内のランダムな値を逆変換された残差データに加算して、元の残差データに対するエラーを隠蔽する。

【0070】

図１２は、第１対の緑の画素Ｇ２ａと緑の画素Ｇ２ｂとの差分値が比較的小さい場合、部分に拡大された圧縮曲線を示す。図１３は、第１対の緑の画素Ｇ２ａと緑の画素Ｇ２ｂとの差分値が比較的大きい場合、部分に拡大された圧縮曲線を示す。

【0071】

図１２に示すように、圧縮データの値が１０である場合、逆変換された残差データの値も１０である。すなわち、逆変換された残差データは正確に得られ、逆変換された残差データは元の残差データと等しい。

【0072】

一方、図１３に示すように、圧縮データの値が１１０である場合、逆変換された残差データの値は８１０である。しかし、元の残差データの値は、８１０、８１１、８１２または８１３である可能性がある。つまり、元の残差データを圧縮すると、元の残差データの値が８１０、８１１、８１２及び８１３である場合、圧縮データの値は１１０となる。従って、圧縮データを逆変換しても、まったく同じ元の残差データを取得することはできない。これにより、ターゲット画像データにジャギーや線が発生する。

【0073】

従って、本実施形態では、例えば、メインプロセッサ４０は逆変換された残差データに誤差範囲内のランダム値を加算する。図１３の例において、メインプロセッサ４０は、８１０に０、１、２、３を加算する。この場合、０、１、２、３の値は誤差範囲内のランダム値であり、８１０は逆変換された残差データである。すなわち、誤差範囲内のランダム値は、圧縮曲線に元の残差データが取り得る値と逆変換された残差データの値との差値の中のいずれかの一つである。

【0074】

図８の圧縮曲線によれば、誤差範囲内のランダム値は残差データの値に依存する。残差データが小さい場合、誤差範囲は狭くなる。たとえば、圧縮データが１０である場合、逆変換された残差データは１０しかあり得ないため、誤差範囲内のランダム値は０しかあり得ない。

【0075】

一方、残差データが大きい場合、誤差範囲が広くなる。たとえば、圧縮データが１１０である場合、逆変換された残差データは８１０であるが、元の残差データは８１０、８１１、８１２または８１３である可能性があるため、誤差範囲内のランダム値は０、１、２または３になる。

【0076】

本実施形態では、圧縮データが１１０より大きい場合、誤差範囲は４より広い。

【0077】

元の残差データは不明であるため、本実施形態では、逆変換された残差データに誤差範囲内のランダム値を加算して再構成された残差データを得る。換言すれば、再構成された残差データは、可能な元の残差データにランダムに分散することができる。

【0078】

次に、図５に示すように、例えば、メインプロセッサ４０は、再構成された残差データに基づいて密画像データを再構成する（ステップＳ４０）。すなわち、図１１に示すように、緑の画素Ｇ２ｂの値を計算するために、再構成された残差データが緑の画素Ｇ２ａの値に加算される。

【0079】

上述したように、密画像データは複数の第１対を含み、各第１対は緑の画素Ｇ２ａおよび緑の画素Ｇ２ｂを含む。また、残差データの値は、第１対における緑の画素Ｇ２ａの値と緑の画素Ｇ２ｂの値と差分値を表す。緑の画素Ｇ２ａの値は、画像信号プロセッサ４２からの埋め込み疎画像データから得ることができる。なぜなら、緑の画素Ｇ２ｂの値は、疎画像データにおける緑の画素Ｇ１の値と実質的に同じだからである。その結果、緑の画素Ｇ２ａの値に残差データの値を加算することにより、緑の画素Ｇ２ｂの値を算出することができる。

【0080】

その後、疎画像データの緑の画素Ｇ２ａの値と、緑の画素Ｇ２ａの値に残差データの値を加算することによって計算された緑の画素Ｇ２ｂの値とをマージすることによって、密画像データの第１対を得ることができる。

【0081】

次に、図５に示すように、例えば、メインプロセッサ４０は、埋め込み疎画像データにおける全ての分割データが処理され完了したか否かを判断する（ステップＳ４２）。すなわち、本実施形態では、埋め込み疎画像データからすべての分割データを抽出し処理して、密画像データにおけるすべての第１対の緑の画素Ｇ２ｂを再構成する。

【0082】

埋め込み疎画像データにおける全ての分割データが処理され完了していないと（ステップＳ４２：Ｎｏ）、ターゲット画像生成処理は、ステップＳ３２に戻り、ステップＳ３２からステップＳ４０までの処理を繰り返す。すなわち、ステップＳ３２からステップＳ４０までの処理は、密画像データにおけるすべての第１対の緑の画素Ｇ２ｂが再構成されるまで繰り返される。

【0083】

一方、埋め込み疎画像データの全ての分割データが処理されて完成すると（ステップＳ４２：Ｙｅｓ）、緑の画素Ｇ２ａと緑の画素Ｇ２ｂとを含む第１対からなる密画像データは再構成される。従って、例えば、メインプロセッサ４０は、画像信号プロセッサ４２の１つのデータ出力ポートから疎画像データに基づく生成画像データを取得する（ステップＳ４８）。図１０に示すように、疎画像データから処理された結果として生成された画像データは、画像信号プロセッサ４２から得ることができる。

【0084】

次に、図５に示すように、例えば、メインプロセッサ４０はステップＳ４４で得られた再構成された密画像データと生成画像データとを合成し、合成画像データを生成する（ステップＳ４６）。

【0085】

図１４は、疎画像データおよびステップＳ４６で再構成された密画像データに基づく生成画像データの一例を示す。図１４に示すように、生成画像データは、画像信号プロセッサ４２に疎画像データに基づいて生成されたものである。その結果、生成画像データの画像がディスプレイ２０に表示されると、画像の明るさは少し粗いが、フルカラー画像である。逆に、密画像データの画像がディスプレイ２０に表示されると、密画像データの色は人間の目にとって光に敏感な色である緑色であるため、画像の明るさは十分である。従って、本実施形態では、疎画像データに基づく生成画像データ及び密画像データを合成して合成画像データを生成する。

【0086】

次に、図５および図１０に示すように、たとえば、メインプロセッサ４０は合成画像データを画像信号プロセッサ４２の１つのデータ入力ポートに入力する（ステップＳ４８）。その後、画像信号プロセッサ４２は合成画像データの処理を継続し、最終的にターゲット画像データが画像信号プロセッサ４２から出力される。

【0087】

例えば、ディスプレイ２０に表示される画像は、ターゲット画像データに基づいて生成されてもよい。あるいは、ターゲット画像データはメモリ４４に記憶されてもよい。ターゲット画像データには様々なフォーマットがある。例えば、ターゲット画像データのフォーマットは、ＪＰＥＧ、ＴＩＦＦ、ＧＩＦ等であってもよい。

【0088】

以上のように、本実施形態に係る電気装置１０によれば、逆変換された残差データに誤差範囲内のランダム値を加算して再構成された残差データを得る。従って、再構成された残差データは、可能な元の残差データにランダムに分散することができる。その結果、ターゲット画像データのジャギーを隠蔽することができる。

【0089】

なお、上記実施形態では、圧縮データが第１データ部及び第２データ部に分割されるが、疎画像データの予備空間に未分割の圧縮データを記憶する余裕がある場合には、必ずしも圧縮データを分割しなくてもよい。この場合、圧縮データを疎画像データに直接に埋め込むことができるので、画像信号プロセッサ４２から取得した埋め込み疎画像データから圧縮データを直接に抽出することができる。

【0090】

また、上記実施形態では、密画像データを緑色で生成したが、他の色を用いて密画像データを生成してもよい。例えば、黄色を使用して、密画像データを生成することができる。この場合、カメラアセンブリ３０のイメージセンサのカラーフィルタは赤色、黄色及び青色（ＲＹＢ）からなり、疎画像データは赤色、黄色及び青色からなり、密画像データは黄色からなる。

【0091】

さらに、疎画像データは、３つ以上の色を含むことができる。例えば、疎画像データは、緑の画素、赤の画素、青の画素、および黄の画素を含むことができる。すなわち、疎画像データは複数の画素を含み、複数の画素は少なくとも３色の画素を含む。

【0092】

本発明の実施形態の説明において、「中央」、「縦」、「横」、「長さ」、「幅」、「厚さ」、「上部」、「下部」、「前」、「背部」、「後」、「左」、「右」、「垂直」、「水平」、「頂部」、「底部」、「内」、「外」、「時計回り」、「反時計回り」などの用語は、記載されたまたは議論された図面に示されている方向または位置を指すと解釈されるべきである。これらの相対的な用語は、本発明の説明を簡略化するためにのみ使用され、参照されるデバイスまたは要素が特定の向きを持たなければならないこと、または特定の向きで構成または操作されなければならないことを示したり暗示したりするものではない。従って、これらの用語は本発明を制限するように構成することはできない。

【0093】

さらに、「第１」および「第２」などの用語は、説明の目的で本明細書で使用されており、相対的な重要性または重要性を示したり暗示したり、示された技術的特徴の数を暗示したりすることを意図したものではない。従って、「第１」および「第２」で定義される特徴は、この特徴の１つまたは複数を含むことができる。本発明の説明において、「複数」は、別段の指定がない限り、２つまたは２つよりも多いことを意味する。

【0094】

本発明の実施形態の説明において、特に指定または制限されない限り、「取り付けられた」、「接続された」、「結合された」などの用語は広く使用され、例えば、固定接続、取り外し可能な接続、または一体型接続であってもよく、機械的接続または電気的接続であってもよく、構造を介した直接接続または間接接続であってもよく、特定の状況に応じて、当業者が理解できる２つの要素の内部通信であってもい。

【0095】

本発明の実施形態では、特に指定または制限されない限り、第１特徴が第２特徴の「上」または「下」にある構造は、第１特徴が第２特徴と直接に接触している実施形態を含むことができ、また、第１特徴と第２特徴が互いに直接に接触していないが、その間に形成された追加の特徴を介して接触している実施形態を含むこともできる。さらに、第２特徴の「上」、「上方」、または「頂部」に設置された第１特徴は、第１特徴が第２特徴の真上または斜めに「上」、「上方」、または「頂部」に設置される実施形態を含むことができ、または単に第１特徴の高さが第２特徴の高さよりも高いことを意味する。一方、第２特徴の「下」、「下方」、または「底部」に設置された第１特徴は、第１特徴が第２特徴の真下または斜めに「下」、「下方」、または「底部」に設置される実施形態を含むことができ、または単に第１特徴の高さが第２特徴の高さよりも低いことを意味する。

【0096】

上記の説明では、本発明の異なる構造を実施するために、様々な実施形態および例が提供されている。本発明を単純化するために、特定の要素および設定が上記で説明されている。しかしながら、これらの要素および設定は単なる例であり、本発明を制限することを意図するものではない。さらに、参照番号および／または参照文字は、本発明の異なる例で繰り返される場合がある。この繰り返しは、単純化および明確化を目的としており、異なる実施形態および／または設定の間の関係を指すものではない。さらに、本発明で異なるプロセスおよび材料の例が提供される。しかしながら、当業者であれば、他のプロセスおよび／または材料も適用できることを理解できる。

【0097】

本明細書を通じて「実施形態」、「いくつかの実施形態」、「例示的な実施形態」、「例」、「特定の例」または「いくつかの例」への言及は、実施形態または例に関連して説明された特定の特徴、構造、材料、または特性が、本発明の少なくとも１つの実施形態または実施例に含まれることを意味する。従って、本明細書全体にわたる上記の語句の出現は、必ずしも本発明の同じ実施形態または例を指すとは限らない。さらに、特定の特徴、構造、材料、または特性は、１つまたは複数の実施形態または例において任意の適切な方法で組み合わせることができる。

【0098】

フローチャートに記載された、または他の方法で本明細書に記載されたプロセスまたは方法は、１つまたは複数のモジュールと、プロセス内の特定の論理機能またはステップを達成するための実行可能命令のコードのセグメントまたは部分と、を含むことを理解できる。本発明の好ましい実施形態の範囲には、示されたまたは議論された順序以外の順序で機能が実現されることができ、実質的に同一の順序または反対の順序を含むことは、当業者によって理解されるべきである。

【0099】

本明細書の他の方法で説明された、またはフローチャートに示されているロジックおよび／またはステップ、たとえば、論理機能を実現するための実行可能な命令の特定のシーケンステーブルは、命令実行システム、デバイス、または機器（たとえば、コンピュータに基づくシステム、該システムは命令実行システム、デバイス、および機器から命令を取得し、命令を実行できるプロセッサまたは他のシステムを含む）に使用された任意のコンピュータ可読媒体で達成することができ、または命令実行システム、デバイス、および機器と組み合わせて使用される。明細書では、「コンピュータ可読媒体」は、命令実行システム、デバイス、または機器に使用され、またはこれらと組み合わせて使用されるプログラムを含め、記憶、通信、伝達、または転送するのに適した任意のデバイスである。コンピュータ可読媒体のより具体的な例は、１つまたは複数のワイヤを備えた電子接続（電子デバイス）、ポータブルコンピュータエンクロージャ（磁気デバイス）、ランダムアクセスメモリ（Ｒａｎｄｏｍ ａｃｃｅｓｓ、ＲＡＭ）、読み取り専用メモリ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ、ＲＯＭ）、消去可能なプログラム可能な読み取り専用メモリ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ、ＥＰＲＯＭまたはフラッシュメモリ）、光ファイバーデバイス、ポータブルコンパクトディスク読み取り専用メモリ（Ｐｏｒｔａｂｌｅ Ｃｏｍｐａｃｔ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ、ＣＤＲＯＭ）が含まれるが、これらに制限されない。さらに、コンピュータ可読媒体は、紙またはプログラムを印刷できるその他の適切な媒体であってもよい。これは、たとえば、紙またはその他の適切な媒体を光学的にスキャンしてから、編集、解読、または他の適切な方法で処理でき、必要に応じてプログラムを電気的に取得し、その後、プログラムをコンピュータのメモリに記憶することができるためである。

【0100】

本発明の各部は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの組み合わせによって実現できることを理解できる。上記の実施形態において、複数のステップまたは方法は、メモリに記憶され、適切な命令実行システムによって実行されるソフトウェアまたはファームウェアによって実現できる。例えば、それがハードウェアによって実現される場合、他の実施形態と同様に、ステップまたは方法は、当技術分野で知られている以下の技術、データ信号の論理機能を実現するための論理ゲート回路を有するディスクリート論理回路（ｄｉｓｃｒｅｔｅ ｌｏｇｉｃ ｃｉｒｃｕｉｔ ｈａｖｉｎｇ ａ ｌｏｇｉｃ ｇａｔｅ ｃｉｒｃｕｉｔ ｆｏｒ ｒｅａｌｉｚｉｎｇ ａ ｌｏｇｉｃ ｆｕｎｃｔｉｏｎ ｏｆ ａ ｄａｔａ ｓｉｇｎａｌ）、適切な組み合わせ論理ゲート回路を有する特定用途向け集積回路（ａｐｐｌｉｃａｔｉｏｎ－ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ ｈａｖｉｎｇ ａｎ ａｐｐｒｏｐｒｉａｔｅ ｃｏｍｂｉｎａｔｉｏｎ ｌｏｇｉｃ ｇａｔｅ ｃｉｒｃｕｉｔ）、プログラマブル ゲート アレイ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ、ＰＧＡ）、フィールド プログラマブル ゲート アレイ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ、ＦＰＧＡ）中の１つまたは組み合わせによって実現されてもよい。

【0101】

当業者は、本発明の上記の例示的な方法におけるステップのすべてまたは一部が、プログラムで関連するハードウェアを命令することによって実現されることを理解できる。プログラムは、コンピュータ可読記憶媒体に記憶されることができ、プログラムは、コンピュータで実行される場合、本発明の方法の実施形態におけるステップの１つまたはその組み合わせを含む。

【0102】

さらに、本発明の実施形態の各機能セルは、処理モジュールに集積されてもよく、またはこれらのセルは別個の物理的なものであってもよく、または２つ以上のセルが処理モジュールに集積されてもよい。集積モジュールは、ハードウェアの形態で実現されてもよいし、ソフトウェア機能モジュールの形態で実現されてもよい。集積モジュールがソフトウェア機能モジュールの形態で実現され、スタンドアロン製品として販売または使用される場合、集積モジュールはコンピュータ可読記憶媒体に記憶される。

【0103】

上記の記憶媒体は、読み取り専用メモリ、磁気ディスク、ＣＤなどであってもよい。

【0104】

本発明の実施形態を示して説明したが、当業者は、これらの実施形態が説明のためのものであり、本発明を制限するものとは解釈できず、かつ本発明から逸脱せずに、これらの実施形態に対する修正、置換、変更、変形を行うことができないことが理解できる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【手続補正書】

【提出日】2023-03-09

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

画像信号プロセッサからターゲット画像データを生成するための埋め込み疎画像データを取得するステップであって、前記埋め込み疎画像データは疎画像データを含み、前記疎画像データは複数の画素を含み、前記複数の画素は少なくとも第１色の画素、第２色の画素及び第３色の画素を含むステップと、 前記疎画像データから第１データ部分と第２データ部分とを含む分割データを抽出するステップと、 前記第１データ部分と前記第２データ部分とを結合して圧縮データを得るステップと、 圧縮曲線に基づいて前記圧縮データを逆変換し、逆変換された残差データを得るステップと、 前記逆変換された残差データに誤差範囲内のランダム値を加算して、再構成された残差データを得るステップと、 前記再構成された残差データおよび前記疎画像データに基づいて密画像データを再構成するステップであって、前記密画像データは複数の画素を含み、前記複数の画素は第１色の画素を含むステップと、 を含むことを特徴とするターゲット画像データの生成方法。

【請求項2】

前記誤差範囲内のランダム値は、前記圧縮曲線で取り得られる元の残差データの値と前記逆変換された残差データの値との差分値の一つであることを特徴とする請求項１に記載のターゲット画像データの生成方法。

【請求項3】

前記密画像データにおける隣接する２つの画素は第１対を構成し、前記第１対は前記第１色の画素における第１画素の第１値及び前記第１色の画素における第２画素の第２値を含むことを特徴とする請求項１に記載のターゲット画像データの生成方法。

【請求項4】

前記密画像データを再構成することは、 前記疎画像データから、前記第１対の前記第１色の画素における第１画素の第１値を取得するステップと、 前記再構成された残差データを前記第１対の前記第１色の画素における第１画素の第１値に加算して、前記第１色の画素における第２画素の第２値を得るステップと、 を含むことを特徴とする請求項３に記載のターゲット画像データの生成方法。

【請求項5】

画像信号プロセッサからの前記疎画像データに基づいて前記ターゲット画像データを生成する処理中に生成画像データを取得するステップと、 前記生成画像データと、前記再構成された残差データから再構成された前記密画像データとを合成して、合成画像データを生成するステップと、 を更に含むことを特徴とする請求項１に記載のターゲット画像データの生成方法。

【請求項6】

前記合成画像データを前記画像信号プロセッサに入力するステップをさらに含むことを特徴とする請求項５に記載のターゲット画像データの生成方法。

【請求項7】

前記圧縮曲線は実質的にＳ字型であり、前記圧縮曲線には大きな残差データの圧縮率は小さな残差データの圧縮率より大きいことを特徴とする請求項１に記載のターゲット画像データの生成方法。

【請求項8】

対象をキャプチャするように構成されるカメラアセンブリから前記疎画像データおよび前記密画像データを取得するステップと、 前記密画像データにおける前記第１対の前記第１色の画素における第１画素の第１値と前記第１対の前記第１色の画素における第２画素の第２値との差分値を計算することによって、前記密画像データに基づいて元の残差データを生成するステップと、 前記圧縮曲線に基づいて元の残差データを圧縮して前記元の残差データのデータ量を削減することにより、前記圧縮データを生成するステップと、 前記圧縮データを前記第１データ部分と前記第２データ部分とに分割して前記分割データを生成するステップと、 前記分割データを前記疎画像データに埋め込み、前記埋め込み疎画像データを生成するステップと、 をさらに含むことを特徴とする請求項３に記載のターゲット画像データの生成方法。

【請求項9】

前記疎画像データにおける隣接する２つの画素は第２対を構成し、前記第１データ部分および前記第２データ部分は、前記密画像データの前記第１対に対応する位置にある前記第２対の隣接する２つの画素に埋め込まれることを特徴とする請求項８に記載のターゲット画像データの生成方法。

【請求項10】

前記第２対は前記第１色の画素及び前記第２色の画素を含み、または前記第２対は前記第１色の画素及び第３色の画素を含み、 前記第２対における前記第１色の画素は、前記第１対における前記第１色の画素に対応することを特徴とする請求項９に記載のターゲット画像データの生成方法。

【請求項11】

前記埋め込み疎画像データを画像信号プロセッサに入力するステップをさらに含むことを特徴とする請求項８に記載のターゲット画像データの生成方法。

【請求項12】

第１色は緑であり、第２色は赤であり、第３色は青であることを特徴とする請求項１～１１のいずれに記載のターゲット画像データの生成方法。

【請求項13】

前記疎画像データはベイヤー形式に準拠することを特徴とする請求項１２に記載のターゲット画像データの生成方法。

【請求項14】

画像信号プロセッサと、メインプロセッサと、を含む電気装置であって、 前記画像信号プロセッサは埋め込み疎画像データに基づいてターゲット画像データを生成することを実施することに用いられ、 前記メインプロセッサは、 前記画像信号プロセッサから前記ターゲット画像データを生成するための前記埋め込み疎画像データを取得するステップであって、前記埋め込み疎画像データは疎画像データを含み、前記疎画像データは複数の画素を含み、前記複数の画素は少なくとも第１色の画素、第２色の画素及び第３色の画素を含むステップと、 前記疎画像データから、第１データ部分と第２データ部分とを含む分割データを抽出するステップと、 前記第１データ部分と前記第２データ部分とを結合して圧縮データを得るステップと、 圧縮曲線に基づいて前記圧縮データを逆変換し、逆変換された残差データを得るステップと、 前記逆変換された残差データに誤差範囲内のランダム値を加算して、再構成された残差データを得るステップと、
前記再構成された残差データおよび前記疎画像データに基づいて密画像データを再構成するステップであって、前記密画像データは複数の画素を含み、前記複数の画素は第１色の画素を含むステップと、を実施することに用いられることを特徴とする電気装置。

【請求項15】

プログラム命令を記憶したコンピュータ可読媒体であって、前記プログラム命令は前記請求項１から１３のいずれか一項に記載の生成方法を実行することを特徴とするコンピュータ可読媒体。

【手続補正2】

【補正対象書類名】明細書

【補正対象項目名】０００６

【補正方法】変更

【補正の内容】

【0006】

本発明が提供するターゲット画像データの生成方法は、 画像信号プロセッサからターゲット画像データを生成するための埋め込み疎画像データを取得するステップであって、埋め込み疎画像データは疎画像データを含み、疎画像データは複数の画素を含み、複数の画素は少なくとも第１色の画素、第２色の画素及び第３色の画素を含むステップと、 疎画像データから、第１データ部分と第２データ部分とを含む分割データを抽出するステップと、 第１データ部分と第２データ部分とを結合して圧縮データを得るステップと、 圧縮曲線に基づいて圧縮データを逆変換し、逆変換された残差データを得るステップと、 逆変換された残差データに誤差範囲内のランダム値を加算して、再構成された残差データを得るステップと、 再構成された残差データおよび疎画像データに基づいて密画像データを再構成するステップであって、密画像データは複数の画素を含み、複数の画素は第１色の画素を含むステップと、を含む。

【手続補正3】

【補正対象書類名】明細書

【補正対象項目名】０００７

【補正方法】変更

【補正の内容】

【0007】

本発明が提供する電気装置は、画像信号プロセッサと、メインプロセッサと、を含み、 画像信号プロセッサは埋め込み疎画像データに基づいてターゲット画像データを生成することを実施することに用いられ、 メインプロセッサは、 画像信号プロセッサからターゲット画像データを生成するための埋め込み疎画像データを取得するステップであって、埋め込み疎画像データは疎画像データを含み、疎画像データは複数の画素を含み、複数の画素は少なくとも第１色の画素、第２色の画素及び第３色の画素を含むステップと、 疎画像データから、第１データ部分と第２データ部分とを含む分割データを抽出するステップと、 第１データ部分と第２データ部分とを結合して圧縮データを得るステップと、 圧縮曲線に基づいて圧縮データを逆変換し、逆変換された残差データを得るステップと、 逆変換された残差データに誤差範囲内のランダム値を加算して、再構成された残差データを得るステップと、
再構成された残差データおよび疎画像データに基づいて密画像データを再構成するステップであって、密画像データは複数の画素を含み、複数の画素は第１色の画素を含むステップと、を実施することにも用いられる。

【手続補正4】

【補正対象書類名】明細書

【補正対象項目名】０００８

【補正方法】変更

【補正の内容】

【0008】

プログラム命令を記憶したコンピュータ可読媒体であって、前記プログラム命令は上記ターゲット画像データの生成方法を実施する。

【手続補正5】

【補正対象書類名】明細書

【補正対象項目名】００７９

【補正方法】変更

【補正の内容】

【0079】

上述したように、密画像データは複数の第１対を含み、各第１対は緑の画素Ｇ２ａおよび緑の画素Ｇ２ｂを含む。また、残差データの値は、第１対における緑の画素Ｇ２ａの値と緑の画素Ｇ２ｂの値と差分値を表す。緑の画素Ｇ２ａの値は、画像信号プロセッサ４２からの埋め込み疎画像データから得ることができる。なぜなら、緑の画素Ｇ２ａの値は、疎画像データにおける緑の画素Ｇ１の値と実質的に同じだからである。その結果、緑の画素Ｇ２ａの値に残差データの値を加算することにより、緑の画素Ｇ２ｂの値を算出することができる。

【手続補正6】

【補正対象書類名】明細書

【補正対象項目名】００８０

【補正方法】変更

【補正の内容】

【0080】

その後、疎画像データの緑の画素Ｇ１の値と、緑の画素Ｇ２ａの値に残差データの値を加算することによって計算された緑の画素Ｇ２ｂの値とをマージすることによって、密画像データの第１対を得ることができる。

【手続補正7】

【補正対象書類名】明細書

【補正対象項目名】００８３

【補正方法】変更

【補正の内容】

【0083】

一方、埋め込み疎画像データの全ての分割データが処理されて完成すると（ステップＳ４２：Ｙｅｓ）、緑の画素Ｇ２ａと緑の画素Ｇ２ｂとを含む第１対からなる密画像データは再構成される。従って、例えば、メインプロセッサ４０は、画像信号プロセッサ４２の１つのデータ出力ポートから疎画像データに基づく生成画像データを取得する（ステップＳ４４）。図１０に示すように、疎画像データから処理された結果として生成された画像データは、画像信号プロセッサ４２から得ることができる。

【国際調査報告】