(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-12-06
(54)【発明の名称】イメージセンサ、撮像モジュール及び電子機器
(51)【国際特許分類】
H04N 25/76 20230101AFI20231129BHJP
H04N 23/54 20230101ALI20231129BHJP
H04N 23/76 20230101ALI20231129BHJP
【ＦＩ】
H04N25/76
H04N23/54
H04N23/76
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2023532577
(86)(22)【出願日】2021-11-24
(85)【翻訳文提出日】2023-05-29
(86)【国際出願番号】 CN2021132700
(87)【国際公開番号】W WO2022111508
(87)【国際公開日】2022-06-02
(31)【優先権主張番号】202011373308.2
(32)【優先日】2020-11-30
(33)【優先権主張国・地域又は機関】CN
(81)【指定国・地域】
(71)【出願人】
【識別番号】517372494
【氏名又は名称】維沃移動通信有限公司
【氏名又は名称原語表記】ＶＩＶＯ ＭＯＢＩＬＥ ＣＯＭＭＵＮＩＣＡＴＩＯＮ ＣＯ．， ＬＴＤ．
【住所又は居所原語表記】Ｎｏ．１， ｖｉｖｏ Ｒｏａｄ， Ｃｈａｎｇ’ａｎ， Ｄｏｎｇｇｕａｎ，Ｇｕａｎｇｄｏｎｇ ５２３８６３， Ｃｈｉｎａ
(74)【代理人】
【識別番号】100099759
【弁理士】
【氏名又は名称】青木 篤
(74)【代理人】
【識別番号】100123582
【弁理士】
【氏名又は名称】三橋 真二
(74)【代理人】
【識別番号】100180806
【弁理士】
【氏名又は名称】三浦 剛
(72)【発明者】
【氏名】李 沛▲徳▼
(72)【発明者】
【氏名】胡 孔明
【テーマコード（参考）】
5C024
5C122
【Ｆターム（参考）】
5C024CX03
5C024EX52
5C024GY31
5C024HX17
5C122EA22
5C122FB16
5C122FC06
5C122FF15
(57)【要約】
本出願は、イメージセンサ、撮像モジュール及び電子機器を開示し、画像処理の技術分野に関する。前記イメージセンサは、画素アレイと複数の増幅器を含み、前記画素アレイは、行方向及び／又は列方向に沿って並べられる複数の画素グループを含み、各前記画素グループに複数の異なる色の画素が含まれ、各前記増幅器は、各前記画素に一対一で対応し、ターゲット増幅器の入力端がターゲット画素の出力端に接続され、前記ターゲット増幅器の出力端が前記ターゲット画素の位置する列線に接続され、前記ターゲット増幅器は、前記複数の増幅器のうちのいずれか一つであり、前記ターゲット画素は、前記ターゲット増幅器に対応する画素である。
【選択図】 図２
【選択図】 図２
【特許請求の範囲】
【請求項1】
イメージセンサであって、画素アレイと複数の増幅器を含み、前記画素アレイは、行方向及び／又は列方向に沿って並べられる複数の画素グループを含み、各前記画素グループに複数の異なる色の画素が含まれ、各前記増幅器は、各前記画素に一対一で対応し、ターゲット増幅器の入力端がターゲット画素の出力端に接続され、前記ターゲット増幅器の出力端が前記ターゲット画素の位置する列線に接続され、前記ターゲット増幅器は、前記複数の増幅器のうちのいずれか一つであり、前記ターゲット画素は、前記ターゲット増幅器に対応する画素である、イメージセンサ。
【請求項2】
前記複数の増幅器は、第一の増幅器、第二の増幅器及び第三の増幅器を含み、各前記画素グループに第一の画素、第二の画素及び第三の画素が含まれ、前記第一の増幅器は、入力端が前記第一の画素の出力端に接続され、出力端が前記第一の画素の位置する列線に接続され、
前記第二の増幅器は、入力端が前記第二の画素の出力端に接続され、出力端が前記第二の画素の位置する列線に接続され、
前記第三の増幅器は、入力端が前記第三の画素の出力端に接続され、出力端が前記第三の画素の位置する列線に接続される、請求項１に記載のイメージセンサ。
【請求項3】
前記第二の画素は、第一のサブ画素と第二のサブ画素を含み、前記第二の増幅器は、第一のサブ増幅器と第二のサブ増幅器を含み、前記第一のサブ増幅器は、入力端が前記第一のサブ画素の出力端に接続され、出力端が前記第一のサブ画素の位置する列線に接続され、
前記第二のサブ増幅器は、入力端が前記第二のサブ画素の出力端に接続され、出力端が前記第二のサブ画素の位置する列線に接続される、請求項２に記載のイメージセンサ。
【請求項4】
前記第一のサブ画素と前記第二のサブ画素は、いずれも緑色感光画素であり、前記第一のサブ増幅器の増幅倍数は、前記第二のサブ増幅器の増幅倍数と異なる、請求項３に記載のイメージセンサ。
【請求項5】
前記第一のサブ増幅器の増幅倍数が前記第二のサブ増幅器の増幅倍数と異なることは、前記第一のサブ増幅器の増幅倍数と前記第二のサブ増幅器の増幅倍数とが倍数関係を呈することを含む、請求項４に記載のイメージセンサ。
【請求項6】
前記倍数関係は、ターゲット撮影シーンに応じて決定され、前記ターゲット撮影シーンは、人物像の撮影シーン及び／又は空の撮影シーンを含む、請求項５に記載のイメージセンサ。
【請求項7】
複数のターゲット増幅器の増幅倍数は、同じであり、前記複数のターゲット増幅器は、同じ色の画素に対応する、請求項１から３のいずれか１項に記載のイメージセンサ。
【請求項8】
各前記増幅器の増幅倍数は、輝度利得行列に基づいて決定され、前記輝度利得行列は、画像プロセッサＩＳＰが前記イメージセンサにより出力されるｒａｗ画像に対して輝度均一性計算を行うことで得られる、請求項１から３のいずれか１項に記載のイメージセンサ。
【請求項9】
各前記増幅器の増幅倍数は、調整可能である、請求項１から３のいずれか１項に記載のイメージセンサ。
【請求項10】
撮像モジュールであって、請求項１から９のいずれか１項に記載のイメージセンサを含み、前記撮像モジュールにおけるレンズ群は、前記イメージセンサに対応して設置される、撮像モジュール。
【請求項11】
電子機器であって、前記電子機器は、請求項１から９のいずれか１項に記載のイメージセンサを含む、電子機器。
【発明の詳細な説明】
【技術分野】
【0001】
（関連出願の相互参照）
本発明は、２０２０年１１月３０日に中国特許庁に提出された、出願番号が２０２０１１３７３３０８．２であり、発明の名称が「イメージセンサ、撮像モジュール及び電子機器」である中国特許出願の優先権を主張しており、この出願のすべての内容は、援用により本発明に取り込まれる。
本発明は、２０２０年１１月３０日に中国特許庁に提出された、出願番号が２０２０１１３７３３０８．２であり、発明の名称が「イメージセンサ、撮像モジュール及び電子機器」である中国特許出願の優先権を主張しており、この出願のすべての内容は、援用により本発明に取り込まれる。
【0002】
本出願は、画像処理の技術分野に属し、具体的にイメージセンサ、撮像モジュール及び電子機器に関する。
【背景技術】
【0003】
移動端末製品の普及に伴い、移動端末製品の市場競争も、特にスマートフォンの写真撮影、例えばスマートフォンの画像の信号対雑音比の向上においてますます激しくなっている。
【0004】
関連技術では、画像の信号対雑音比を高める際に、一方では、イメージセンサ（ｓｅｎｓｏｒ）の実際の信号対雑音比をできるだけ高め、他方では、イメージセンサにより出力されるｒａｗ画像をＩＳＰ（Ｉｍａｇｅ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ、画像プロセッサ）における画像アルゴリズムを用いて処理する時のノイズをできるだけ抑制する。
【0005】
しかしながら、ＩＳＰにおける画像アルゴリズムを採用してｒａｗ画像を処理する時、より多くのノイズが導入され、画像の劣化を招くことが多い。
【発明の概要】
【発明が解決しようとする課題】
【0006】
本出願は、ＩＳＰにおける画像アルゴリズムを採用してｒａｗ画像を処理するため導入される画像劣化を招くノイズを減少させるためのイメージセンサ、撮像モジュール及び電子機器を提供することを目的とする。
【課題を解決するための手段】
【0007】
上記技術課題を解決するために、本出願は、以下のように実現される。
【0008】
第一の態様によれば、本出願の実施例は、イメージセンサを提案し、このイメージセンサは、画素アレイと複数の増幅器を含み、前記画素アレイは、行方向及び／又は列方向に沿って並べられる複数の画素グループを含み、各前記画素グループに複数の異なる色の画素が含まれ、各前記増幅器は、各前記画素に一対一で対応し、ターゲット増幅器の入力端がターゲット画素の出力端に接続され、前記ターゲット増幅器の出力端が前記ターゲット画素の位置する列線に接続され、前記ターゲット増幅器は、前記複数の増幅器のうちのいずれか一つであり、前記ターゲット画素は、前記ターゲット増幅器に対応する画素である。
【0009】
第二の態様によれば、本出願の実施例は、撮像モジュールを提案し、この撮像モジュールは、第一の態様に記載のイメージセンサを含み、前記撮像モジュールにおけるレンズ群は、前記イメージセンサに対応して設置される。
【0010】
第三の態様によれば、本出願の実施例は、電子機器を提案し、前記電子機器は、第一の態様に記載のイメージセンサを含む。
【発明の効果】
【0011】
本出願の実施例では、イメージセンサに増幅器を追加することで、各画素チャンネルに対する増幅処理を実現し、それによって、ＩＳＰにおける画像増幅操作をより前段に位置するイメージセンサで実現することで、より前段からノイズ成分を減少させ、画像ノイズを抑制し、最終的な画質信号対雑音比とユーザ体験を高めることができる。
【図面の簡単な説明】
【0012】
本出願の上記及び／又は付加的な態様と利点は、以下図面を併せる実施例についての記述から明らか且つ理解しやすくなり、ここで、
【図1a】本出願の例示的な一実施例による画素グループに含まれる画素の概略図である。
【図1b】本出願の例示的な一実施例による画素グループに含まれる画素の概略図である。
【図2】本出願の例示的な一実施例によるイメージセンサの構造概略図である。
【図3】本出願の例示的な一実施例による撮像モジュールの分解概略図である。
【発明を実施するための形態】
【0013】
以下は、本出願の実施例について詳細に記述し、前記実施例の例は、図面において示され、ここで、最初から最後まで同じ又は類似している符号は、同じ又は類似している素子、又は同じ又は類似している機能を有する素子を表す。以下、図面を参照して記述された実施例は、例示的なものであり、本出願を解釈するためだけに使用され、本出願に対する制限と理解されるべきではない。本出願における実施例に基づき、当業者が創造的な労力を払わない前提で得られたすべての他の実施例は、いずれも本出願の保護範囲に属する。
【0014】
本出願の明細書と特許請求の範囲における用語である「第一」、「第二」の特徴は、一つ又は複数のこの特徴を明示的に又は暗示的に含むものであってもよい。本出願の記述において、特に断りのない限り、「複数」の意味は、二つ以上である。なお、明細書及び請求項における「及び／又は」は、接続される対象のうちの少なくとも一つを表し、文字である「／」は、一般的には前後関連対象が「又は」の関係であることを表す。
【0015】
本出願の記述において、理解すべきこととして、用語である「中心」、「縦方向」、「横方向」、「長さ」、「幅」、「厚さ」、「上」、「下」、「前」、「後」、「左」、「右」、「鉛直」、「水平」、「頂」、「底」、「内」、「外」、「時計回り」、「反時計回り」、「軸方向」、「径方向」、「周方向」などにより指示される方位又は位置関係は、図面に基づいて示される方位又は位置関係であり、本出願の記述の便宜上及び記述の簡略化のためのものに過ぎず、言及された装置又は素子が特定の方位を有し、特定の方位で構成して操作しなければならないことを指示又は暗示するものではないため、本出願に対する制限と理解されるべきではない。
【0016】
本出願の記述において、説明すべきこととして、特に明確に規定、限定されていない限り、用語である「取り付け」、「繋がり」、「接続」は、広義に理解されるべきであり、例えば固定的な接続であってもよく、取り外し可能な接続であってもよく、又は一体的な接続であってもよい。機械的な接続であってもよく、電気的な接続であってもよい。直接的な繋がりであってもよく、中間媒体による間接的な繋がりであってもよく、二つの素子の内部の連通であってもよい。当業者にとって、具体的な状況に応じて上記用語の本出願における具体的な意味を理解することができる。
【0017】
本出願の例示的な一実施例は、イメージセンサを提供し、このイメージセンサは、光線変化を記録するために使用可能な半導体である。ここで、前記イメージセンサは、相補型金属酸化半導体（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ、ＣＭＯＳ）イメージセンサ、電荷結合素子（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ、ＣＣＤ）イメージセンサ又は量子薄膜イメージセンサなどであってもよい。
【0018】
本実施例では、前記イメージセンサは、画素アレイと増幅器を含んでもよく、前記画素アレイは、行方向及び／又は列方向に沿って並べられる複数の画素グループ（例えば少なくとも二つの画素グループ）を含み、各前記画素グループに複数の異なる色の画素、例えば赤色感光画素、緑色感光画素、青色感光画素などが含まれてもよく、各前記増幅器は、各前記画素に一対一で対応する。
【0019】
ここで、ターゲット増幅器の入力端がターゲット画素の出力端に接続され、前記ターゲット増幅器の出力端が前記ターゲット画素の位置する列線に接続され、前記ターゲット増幅器は、前記複数の増幅器のうちのいずれか一つであり、前記ターゲット画素は、前記ターゲット増幅器に対応する画素である。それによって、前記ターゲット画素に対応する画素チャンネルをそれぞれ制御でき、各画素チャンネルの個別増幅を実現することで、イメージセンサは、画像処理（例えば輝度均一性（ｌｅｎｓ ｓｈａｄｉｎｇ）処理など）を実現できる機能を有する。つまり、本出願は、イメージセンサに増幅器を追加することで、ＩＳＰにおける画像増幅操作をより前段に位置するイメージセンサで実現して、より前段からノイズ成分を減少させ、画像ノイズを抑制し、最終的な画質信号対雑音比とユーザ体験を高めることができる。
【0020】
本実施例では、前記ターゲット画素は、赤色感光画素、青色感光画素又は緑色感光画素などであってもよいが、これらに限定されない。理解できるように、各前記画素グループにおいて、それに含まれる異なる色の画素は、少なくとも一つのサブ画素から構成されてもよい。例えば、前記画素グループに赤色感光画素、緑色感光画素及び青色感光画素が含まれると仮定する場合、ここで赤色感光画素を例とすると、前記赤色感光画素は、図１ａに示すＲ１、Ｒ２、Ｒ３、Ｒ４の合計四つの赤色感光サブ画素を含んでもよく、図１ｂに示すＲ１の合計一つの赤色感光画素のみを含んでもよく、本実施例は、ここで制限しない。また、前記画素アレイにおいて、各前記画素グループにおける異なる色の画素の並べ方式は、同じであっても異なっていてもよい。
【0021】
さらに、前記増幅器は、オペアンプなどを採用してもよいが、これに限定されない。前記増幅器の増幅倍数（ｇａｉｎ）は、実際の需要に応じて設定されてもよく、例えば撮影環境が変化すると、増幅器の増幅倍数を調整することで画像品質を確保することができ、即ち、前記増幅器の増幅倍数は、調整可能である。
【0022】
一つの実現方式では、各画素チャンネルの増幅倍数の需要によって、一つの増幅器により前記画素アレイでのある１行におけるターゲット画素（例えば赤色感光画素、青色感光画素又は緑色感光画素）の出力のみを増幅してもよく、複数の増幅器によりそれぞれ複数行におけるターゲット画素の出力を増幅してもよく、異なる色の画素に対応する複数の増幅器により、複数の異なる色のターゲット画素の出力を同時に増幅してもよく、本実施例は、これに対して制限しない。
【0023】
前述実施例に基づいて、一つの可能な実現方式として、各前記画素グループは、第一の画素、第二の画素及び第三の画素を含んでもよく、これに対応して、前記増幅器は、第一の増幅器、第二の増幅器及び第三の増幅器を含んでもよい。
【0024】
ここで、前記第一の増幅器は、入力端が前記第一の画素の出力端に接続され、出力端が前記第一の画素の位置する列線に接続され、前記第二の増幅器は、入力端が前記第二の画素の出力端に接続され、出力端が前記第二の画素の位置する列線に接続され、前記第三の増幅器は、入力端が前記第三の画素の出力端に接続され、出力端が前記第三の画素の位置する列線に接続される。それによって、異なる画素チャンネルの出力を増幅するために、イメージセンサに異なる画素に対応する増幅器を増設することで、イメージセンサは、各画素チャンネルをそれぞれ制御できる機能を有し、さらに画像輝度の均一化処理などの画像処理機能を実現し、最終的な画質信号対雑音比とユーザ体験を高めることができる。理解できるように、本実現方式では、前記第一の画素、前記第二の画素及び前記第三の画素は、それぞれ赤色感光画素、緑色感光画素、青色感光画素に対応するものであり、つまり、前記第一の画素、第二の画素及び前記第三の画素からなる画素グループは、三チャンネルの画素グループである。
【0025】
別の可能な方式として、各前記画素グループは、第一の画素、第二の画素、第三の画素を含み、前記第二の画素は、第一のサブ画素と第二のサブ画素を含んでもよく、これに対応して、前記増幅器は、第一の増幅器、第二の増幅器、第三の増幅器を含み、前記第二の増幅器は、第一のサブ増幅器と第二のサブ増幅器を含んでもよい。
【0026】
ここで、前記第一の増幅器は、入力端が前記第一の画素の出力端に接続され、出力端が前記第一の画素の位置する列線に接続され、前記第一のサブ増幅器は、入力端が前記第一のサブ画素の出力端に接続され、出力端が前記第一のサブ画素の位置する列線に接続され、前記第二のサブ増幅器は、入力端が前記第二のサブ画素の出力端に接続され、出力端が前記第二のサブ画素の位置する列線に接続され、前記第三の増幅器は、入力端が前記第三の画素の出力端に接続され、出力端が前記第三の画素の位置する列線に接続される。理解できるように、本実現方式では、前記第一の画素と前記第三の画素は、それぞれ赤色感光画素と青色感光画素に対応し、前記第一のサブ画素と前記第二のサブ画素は、いずれも緑色感光画素に対応し、つまり、前記第一の画素、第一のサブ画素、第二のサブ画素及び前記第三の画素からなる画素グループは、四チャンネルの画素グループである。
【0027】
例示的に、図２を併せて参照すると、ここで四チャンネルの画素グループを例として、前記イメージセンサにおける増幅器の接続方式について説明する。ここで、画素グループ２０に含まれる第一の画素が赤色感光画素（Ｒ）で、第一のサブ画素、第二のサブ画素がいずれも緑色感光画素（Ｇｒ、Ｇｂ）で、第三の画素が青色感光画素（Ｂ）であるとすると、前記Ｒ画素の出力は、第一の増幅器１１の入力端に接続され、その出力は、第一の増幅器を介して増幅された後にＲ画素の位置する列線に接続され、前記Ｇｒ画素の出力は、第一のサブ増幅器１２の入力端に接続され、その出力は、第一のサブ増幅器を介して増幅された後にＧｒ画素の位置する列線に接続され、前記Ｇｂ画素の出力は、第二のサブ増幅器１３の入力端に接続され、その出力は、第二のサブ増幅器を介して増幅された後にＧｂ画素の位置する列線に接続され、前記Ｂ画素の出力は、第三の増幅器１４の入力端に接続され、その出力は、第三の増幅器を介して増幅された後にＢ画素の位置する列線に接続され、最後に列増幅器３０によって、後続の列増幅（列増幅とは、イメージセンサにおけるすべての信号の増幅であり、この列増幅器は、すべての信号を全体的に増幅するしかできず、あるチャンネルを個別に増幅することはできない）とアナログデジタル変換器（ＡＤＣ）による変換を完了する。この場合に、前記第一の増幅器、第一のサブ増幅器、第二のサブ増幅器、第三の増幅器は、それぞれ異なる色に対応する画素チャンネルを制御することで、イメージセンサは、輝度の均一性処理などの画像処理機能を実現できる。
【0028】
前述した第一の増幅器、第二の増幅器（又は第一のサブ増幅器、第二のサブ増幅器）、第三の増幅器の増幅倍数については、実際の需要に応じて設定されてもよく、以下、異なる例を併せて説明する。
【0029】
例１では、ＩＳＰがＬｅｎｓ Ｓｈａｄｉｎｇモジュールによって処理を行う時、ｌｅｎｓ ｓｈａｄｉｎｇの特性により成像輝度が中心から四隅にかけて暗くなることを考慮する。このため、本実施例では、ｌｅｎｓ ｓｈａｄｉｎｇの補償に必要な輝度利得行列を計算し、さらにこの輝度利得行列を各前記増幅器にマッピングすることで、イメージセンサ端のｌｅｎｓ ｓｈａｄｉｎｇ補償機能を実現する。つまり、本実施例では、各前記増幅器の増幅倍数は、輝度利得行列に基づいて決定されてもよく、前記輝度利得行列は、画像プロセッサ（ＩＳＰ）が前記イメージセンサにより出力されるｒａｗ画像に対して輝度均一性計算を行うことで得られる。それによって、イメージセンサ端のｌｅｎｓ ｓｈａｄｉｎｇ補償機能を実現することで、より前段からノイズ成分を減少させ、ＩＳＰ端のｌｅｎｓ ｓｈａｄｉｎｇ補償処理を回避し、画像ノイズを抑制し、最終的な画質信号対雑音比とユーザ体験を高めることができる。
【0030】
一つの実現方式では、前述実現プロセスは、以下のことを含んでもよい。まず、イメージセンサにより第一のｒａｗ画像を取得し、さらに前記第一のｒａｗ画像をＩＳＰ処理モジュールに入力し、輝度均一性アルゴリズムを用いて前記第一のｒａｗ画像を処理し、輝度利得行列を得る。そして、前記輝度利得行列を前記イメージセンサにおける各増幅器の増幅倍数として設定し、最後にイメージセンサを再度利用して第二のｒａｗ画像を取得する。この場合、前記第二のｒａｗ画像は、輝度均一性処理後の画像であり、即ち、イメージセンサ端の自動的な輝度均一性処理機能が実現される。環境が変化した場合には、上記ステップを繰り返せば、イメージセンサの輝度均一性処理の動的リフレッシュを完了することができる。
【0031】
例２では、前記第一のサブ画素と前記第二のサブ画素がいずれも緑色感光画素（例えばＧｒ、Ｇｂ）である場合、前記第一のサブ増幅器の増幅倍数は、前記第二のサブ増幅器の増幅倍数と異なる。例えば、ＧｒチャンネルとＧｂチャンネルをそれぞれ異なる増幅倍数で処理する場合、イメージセンサの解像度は犠牲になるが、イメージセンサのダイナミックレンジを上げることができる。理解できるように、イメージセンサにおけるＧｒチャンネルとＧｂチャンネルの信号が近いほど、イメージセンサの解像度が高くなり、イメージセンサにより出力される画像信号の画質が良くなる。
【0032】
ここで、前記第一のサブ増幅器の増幅倍数が前記第二のサブ増幅器の増幅倍数と異なることは、前記第一のサブ増幅器の増幅倍数と前記第二のサブ増幅器の増幅倍数とが倍数関係（倍数の差異）を呈することを含んでもよい。例えば、ＧｒチャンネルとＧｂチャンネルに対応する第一のサブ増幅器の増幅倍数と第二のサブ増幅器の増幅倍数を、例えば２倍、３倍、４倍……のような整数倍の差異になるように設定してもよいが、ここで制限しない。それによって、効果的にイメージセンサのダイナミックレンジを上げる。
【0033】
注意すべきものとして、前記倍数関係は、ターゲット撮影シーンに応じて決定されてもよく、前記ターゲット撮影シーンは、人物像の撮影シーン及び／又は空の撮影シーンなどを含み、本実施例は、これに対して制限しない。
【0034】
例えば、ここで顔及び空のシーンを例とし、ユーザが携帯電話などのスマート製品におけるフロントカメラを使用して自撮りをする際によく遭遇する顔及び空のシーンであり、一般的に、Ｇｂチャンネルは、空の露光が正常であることを確保するためには、１ｘ ｇａｉｎを使用する必要があるが、顔の部分は露光不足となる。この時、ＧｒチャンネルとＧｂチャンネルが異なる増幅倍数の処理をサポートできる場合、例えば空の部分（即ち空のシーン）に対してＧｒチャンネルの１ｘ ｇａｉｎ（１倍の利得）を使用するが、顔の部分に対してはＧｂチャンネルの４ｘ ｇａｉｎ（１倍の利得）を使用して処理でき、つまり、前記第一のサブ増幅器の増幅倍数と前記第二のサブ増幅器の増幅倍数との間が４倍の関係を呈する場合、それによって、空の部分と顔の部分をいずれも正常な露光状態にして、イメージセンサの出力画像の画質を改善し、ユーザ体験を確保することができる。
【0035】
説明すべきこととして、前述した各実現方式では、複数のターゲット増幅器の増幅倍数は、同じか又は異なり、前記複数のターゲット増幅器は、同じ色の画素に対応し、前記ターゲット増幅器は、前記第一の増幅器、前記第二の増幅器（第一のサブ増幅器又は第二のサブ増幅器を含む）又は前記第三の増幅器であってもよい。例えば、前記第一の増幅器を例とし、複数の第一の増幅器の増幅倍数は同じであってもよく、異なっていてもよく、具体的に実際の需要に応じて設定されてもよく、本実施例は、これに対して制限しない。
【0036】
前述各実現方式で与えられたイメージセンサに加えて、一つの可能な実現方式としては、前記イメージセンサは、マイクロレンズ（Ｍｉｃｒｏ－ｌｅｎｓ）とカラーフィルタ（ｃｏｌｏｒ ｆｉｌｔｅｒ）をさらに含んでもよく、Ｍｉｃｒｏ－ｌｅｎｓ（マイクロレンズ／レンズシート）は、光線を画素アレイにおける各フォトダイオードに集光するために用いられ、ｃｏｌｏｒ ｆｉｌｔｅｒは、入射した光線をフィルタリングし、このｃｏｌｏｒ ｆｉｌｔｅｒの色に対応する波長帯域の光線のみの通過を許可し、フォトダイオードは、光を受けると電荷を発生させ、光線を電気信号に変換する。
【0037】
さらに、本出願の例示的な一実施例は、撮像モジュールをさらに提供し、この撮像モジュールは、前述実施例によるイメージセンサを含み、前記撮像モジュールにおけるレンズ群は、レンズ群を通過した光線が前記イメージセンサに到達するように前記イメージセンサに対応して設置される。理解できるように、本実施例に含まれる前記イメージセンサは、前述実施例によるイメージセンサと同じ又は類似する技術的特徴を有するため、説明の繰り返しを回避するために、ここでこれ以上説明しない。
【0038】
例示的に、図３に示すように、前記撮像モジュールは、例えば保護フィルム２０１、レンズ（Ｌｅｎｓ）２０２、ボイスコイルモータ（Ｖｏｉｃｅ Ｃｏｉｌ Ｍｏｔｏｒ）２０３、支持部材２０４、赤外線フィルタ（ＩＲ Ｆｉｌｔｅｒ）２０５、本出願によるイメージセンサ２０６、フレキシブルプリント基板（ＦＰＣ）２０７、及び接続部材２０８をさらに含んでもよい。
【0039】
ここで、撮像モジュールの作動フローは、以下の（１）－（４）を含んでもよい。
【0040】
（１）レンズは、集光と合焦に用いられ、レンズは、ボイスコイルモータに包まれて固定され、ボイスコイルモータの上下端は、弾性シートにリンクされている。合焦時、通電によりモータに電磁力を発生させ、この力は、最終的に弾性シートの弾性力とバランスをとり、モータの位置は、通電の大きさによって制御することができ、さらにモータによってレンズを合焦位置まで押す。
【0041】
ボイスコイルモータは、上蓋、上ばねシート、下ばねシート、ハウジング、コイル、磁石、移動部材、ベース及び端子を含む。ここで、上蓋は、モータを保護する役割を果たす。上ばねシートは、変形する時にモータに対して付勢力を発生し、下ばねシートによる付勢力との和が電磁力と釣り合う。ハウジングは、モータ固定部分のメインフレームであり、導磁作用を有し、磁石の有効利用率を向上させることができる。コイルに電流を流すと、磁石の磁場作用によって上向きの推力が発生し、移動部分の他の部材を連動させる。磁石が磁場を発生させることで、通電コイルがその磁場作用によって電磁力を発生させ、移動部材キャリアがレンズを装着して連動するようにする。下ばねシートは、変形する時にモータに対して付勢力を発生し、上ばねシートによる付勢力との和が電磁力と釣り合う。ベースとモータは、直接にフレキシブルプリント基板に組み立てられ、携帯電話は、端子を介してモータに給電する。
【0042】
（２）イメージセンサ２０６による感光
景物の光線は、イメージセンサ２０６におけるカラーフィルタ（ＩＲ ｆｉｌｔｅｒ）に投射され、ＩＲ ｆｉｌｔｅｒによって不要な光線を除去することで、イメージセンサ２０６の偽色／モワレを防止して、その有効解像度と色復元性を向上させ、ＩＲ ｆｉｌｔｅｒを通過した後の光線は、イメージセンサ２０６に感知されることができる。
景物の光線は、イメージセンサ２０６におけるカラーフィルタ（ＩＲ ｆｉｌｔｅｒ）に投射され、ＩＲ ｆｉｌｔｅｒによって不要な光線を除去することで、イメージセンサ２０６の偽色／モワレを防止して、その有効解像度と色復元性を向上させ、ＩＲ ｆｉｌｔｅｒを通過した後の光線は、イメージセンサ２０６に感知されることができる。
【0043】
イメージセンサ２０６は、感光した後に光信号を電気信号に変換し、増幅してＡＤＣによってデジタル信号に変換し、ｒａｗ画像を形成して画像プロセッサＩＳＰに出力する。
【0044】
（３）画像を処理してｓｅｎｓｏｒにフィードバックして処理させる
（２）で得られたｒａｗ画像に対して、自動露光（ＡＥ）、自動合焦（ＡＦ）、ＡＷＢ、ＯＢ、ｌｅｎ ｓｈａｄｉｎｇなどのＩＳＰアルゴリズムモジュールによって処理を行い、正しい輝度均一性処理の取得に必要な輝度利得行列が得られ、そして輝度利得行列をイメージセンサ２０６におけるＲチャンネル（第一の増幅器に対応する）、Ｇｒチャンネル（第一の増幅器に対応する）、Ｇｂチャンネル（第二のサブ増幅器に対応する）、Ｂチャンネル（第三の増幅器に対応する）の増幅利得（即ち、増幅倍数）として設定すれば、イメージセンサ２０６端の輝度均一性処理機能の設定が完了する。環境が変化した場合には、上記ステップを繰り返せば、イメージセンサ２０６の輝度均一性処理の動的リフレッシュを完了することができる。
（２）で得られたｒａｗ画像に対して、自動露光（ＡＥ）、自動合焦（ＡＦ）、ＡＷＢ、ＯＢ、ｌｅｎ ｓｈａｄｉｎｇなどのＩＳＰアルゴリズムモジュールによって処理を行い、正しい輝度均一性処理の取得に必要な輝度利得行列が得られ、そして輝度利得行列をイメージセンサ２０６におけるＲチャンネル（第一の増幅器に対応する）、Ｇｒチャンネル（第一の増幅器に対応する）、Ｇｂチャンネル（第二のサブ増幅器に対応する）、Ｂチャンネル（第三の増幅器に対応する）の増幅利得（即ち、増幅倍数）として設定すれば、イメージセンサ２０６端の輝度均一性処理機能の設定が完了する。環境が変化した場合には、上記ステップを繰り返せば、イメージセンサ２０６の輝度均一性処理の動的リフレッシュを完了することができる。
【0045】
なお、Ｇｒチャンネル（第一のサブ増幅器に対応する）とＧｂチャンネル（第二のサブ増幅器に対応する）の増幅倍数を倍数の差異となるように設定する場合にも、ｓｅｎｓｏｒのダイナミックレンジを上げることができる。
【0046】
（４）画像を処理して圧縮記憶する
イメージセンサ２０６により出力されたｒａｗ画像はＩＳＰ処理に再入力され、鮮鋭化、ノイズ低減、カラーキャリブレーションなどの操作を経てＪＰＥＧ画像に圧縮して記憶するか、又はディスプレイに送信する。
イメージセンサ２０６により出力されたｒａｗ画像はＩＳＰ処理に再入力され、鮮鋭化、ノイズ低減、カラーキャリブレーションなどの操作を経てＪＰＥＧ画像に圧縮して記憶するか、又はディスプレイに送信する。
【0047】
本出願の例示的な一実施例は、さらに電子機器を提供し、前記電子機器は、前述実施例によるイメージセンサ２０６を含み、本実施例に含まれる前記イメージセンサ２０６が、前述各実施例によるイメージセンサ２０６と同じ又は類似する技術的特徴を有するので、説明の繰り返しを回避するために、ここでこれ以上説明しない。
【0048】
本明細書の記述において、用語である「一つの実施例」、「いくつかの実施例」、「例示的な実施例」、「例」、「具体例」、又は「いくつかの例」などを参照した記述は、この実施例又は例を併せて記述された具体的な特徴、構造、材料又は特点が本出願の少なくとも一つの実施例又は例に含まれることを意味する。本明細書では、上記用語に対する例示的な表現は、必ずしも同じ実施例又は例を指すものではない。そして、記述された具体的な特徴、構造、材料又は特点は、任意の一つ又は複数の実施例又は例において適切な方式で組み合わせることができる。
【0049】
すでに本出願の実施例が示され記述されたが、当業者であれば理解できるように、本出願の原理と趣旨を逸脱することなく、これらの実施例に対して様々な変化、修正、置き換え及び変形を行うことができ、本出願の範囲は、請求項及びその同等物によって限定される。
【図1a】
【図1b】
【図2】
【図3】
【手続補正書】
【提出日】2023-05-29
【手続補正1】
【補正対象書類名】明細書
【補正対象項目名】００４４
【補正方法】変更
【補正の内容】
【0044】
（３）画像を処理してｓｅｎｓｏｒにフィードバックして処理させる
（２）で得られたｒａｗ画像に対して、自動露光（ＡＥ）、自動合焦（ＡＦ）、ＡＷＢ、ＯＢ、ｌｅｎｓ ｓｈａｄｉｎｇなどのＩＳＰアルゴリズムモジュールによって処理を行い、正しい輝度均一性処理の取得に必要な輝度利得行列が得られ、そして輝度利得行列をイメージセンサ２０６におけるＲチャンネル（第一の増幅器に対応する）、Ｇｒチャンネル（第一の増幅器に対応する）、Ｇｂチャンネル（第二のサブ増幅器に対応する）、Ｂチャンネル（第三の増幅器に対応する）の増幅利得（即ち、増幅倍数）として設定すれば、イメージセンサ２０６端の輝度均一性処理機能の設定が完了する。環境が変化した場合には、上記ステップを繰り返せば、イメージセンサ２０６の輝度均一性処理の動的リフレッシュを完了することができる。
（２）で得られたｒａｗ画像に対して、自動露光（ＡＥ）、自動合焦（ＡＦ）、ＡＷＢ、ＯＢ、ｌｅｎｓ ｓｈａｄｉｎｇなどのＩＳＰアルゴリズムモジュールによって処理を行い、正しい輝度均一性処理の取得に必要な輝度利得行列が得られ、そして輝度利得行列をイメージセンサ２０６におけるＲチャンネル（第一の増幅器に対応する）、Ｇｒチャンネル（第一の増幅器に対応する）、Ｇｂチャンネル（第二のサブ増幅器に対応する）、Ｂチャンネル（第三の増幅器に対応する）の増幅利得（即ち、増幅倍数）として設定すれば、イメージセンサ２０６端の輝度均一性処理機能の設定が完了する。環境が変化した場合には、上記ステップを繰り返せば、イメージセンサ２０６の輝度均一性処理の動的リフレッシュを完了することができる。
【手続補正2】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
イメージセンサであって、画素アレイと複数の増幅器を含み、前記画素アレイは、行方向及び／又は列方向に沿って並べられる複数の画素グループを含み、各前記画素グループに複数の異なる色の画素が含まれ、各前記増幅器は、各前記画素に一対一で対応し、ターゲット増幅器の入力端がターゲット画素の出力端に接続され、前記ターゲット増幅器の出力端が前記ターゲット画素の位置する列線に接続され、前記ターゲット増幅器は、前記複数の増幅器のうちのいずれか一つであり、前記ターゲット画素は、前記ターゲット増幅器に対応する画素である、イメージセンサ。
【請求項2】
前記複数の増幅器は、第一の増幅器、第二の増幅器及び第三の増幅器を含み、各前記画素グループに第一の画素、第二の画素及び第三の画素が含まれ、前記第一の増幅器は、入力端が前記第一の画素の出力端に接続され、出力端が前記第一の画素の位置する列線に接続され、
前記第二の増幅器は、入力端が前記第二の画素の出力端に接続され、出力端が前記第二の画素の位置する列線に接続され、
前記第三の増幅器は、入力端が前記第三の画素の出力端に接続され、出力端が前記第三の画素の位置する列線に接続される、請求項１に記載のイメージセンサ。
【請求項3】
前記第二の画素は、第一のサブ画素と第二のサブ画素を含み、前記第二の増幅器は、第一のサブ増幅器と第二のサブ増幅器を含み、前記第一のサブ増幅器は、入力端が前記第一のサブ画素の出力端に接続され、出力端が前記第一のサブ画素の位置する列線に接続され、
前記第二のサブ増幅器は、入力端が前記第二のサブ画素の出力端に接続され、出力端が前記第二のサブ画素の位置する列線に接続される、請求項２に記載のイメージセンサ。
【請求項4】
前記第一のサブ画素と前記第二のサブ画素は、いずれも緑色感光画素であり、前記第一のサブ増幅器の増幅倍数は、前記第二のサブ増幅器の増幅倍数と異なる、請求項３に記載のイメージセンサ。
【請求項5】
前記第一のサブ増幅器の増幅倍数が前記第二のサブ増幅器の増幅倍数と異なることは、前記第一のサブ増幅器の増幅倍数と前記第二のサブ増幅器の増幅倍数とが倍数関係を呈することを含む、請求項４に記載のイメージセンサ。
【請求項6】
前記倍数関係は、ターゲット撮影シーンに応じて決定され、前記ターゲット撮影シーンは、人物像の撮影シーン及び／又は空の撮影シーンを含む、請求項５に記載のイメージセンサ。
【請求項7】
複数のターゲット増幅器の増幅倍数は、同じであり、前記複数のターゲット増幅器は、同じ色の画素に対応する、請求項１から３のいずれか１項に記載のイメージセンサ。
【請求項8】
各前記増幅器の増幅倍数は、輝度利得行列に基づいて決定され、前記輝度利得行列は、画像プロセッサＩＳＰが前記イメージセンサにより出力されるｒａｗ画像に対して輝度均一性計算を行うことで得られる、請求項１から３のいずれか１項に記載のイメージセンサ。
【請求項9】
各前記増幅器の増幅倍数は、調整可能である、請求項１から３のいずれか１項に記載のイメージセンサ。
【請求項10】
撮像モジュールであって、レンズ群と、請求項１から９のいずれか１項に記載のイメージセンサとを含み、前記レンズ群は、前記イメージセンサに対応して設置される、撮像モジュール。
【請求項11】
電子機器であって、前記電子機器は、請求項１から９のいずれか１項に記載のイメージセンサを含む、電子機器。
【国際調査報告】