特表 2018-504034 ハイダイナミックレンジイメージの生成方法、撮影装置と端末、及び結像方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】特表2018-504034(P2018-504034A)

(43)【公表日】2018年2月8日

(54)【発明の名称】ハイダイナミックレンジイメージの生成方法、撮影装置と端末、及び結像方法

(51)【国際特許分類】

   H04N 5/355 20110101AFI20180112BHJP

   H04N 5/235 20060101ALI20180112BHJP

   H04N 5/225 20060101ALI20180112BHJP

   G03B 11/00 20060101ALI20180112BHJP

   G03B 7/093 20060101ALI20180112BHJP

【ＦＩ】

   H04N5/355 540

   H04N5/235 500

   H04N5/235 300

   H04N5/225 300

   H04N5/225 400

   G03B11/00

   G03B7/093

【審査請求】有

【予備審査請求】未請求

【全頁数】33

(21)【出願番号】特願2017-534249(P2017-534249)

(86)(22)【出願日】2016年9月29日

(85)【翻訳文提出日】2017年6月23日

(86)【国際出願番号】CN2016100883

(87)【国際公開番号】WO2017101561

(87)【国際公開日】20170622

(31)【優先権主張番号】201510963939.2

(32)【優先日】2015年12月18日

(33)【優先権主張国】CN

(81)【指定国】 AP(BW,GH,GM,KE,LR,LS,MW,MZ,NA,RW,SD,SL,ST,SZ,TZ,UG,ZM,ZW),EA(AM,AZ,BY,KG,KZ,RU,TJ,TM),EP(AL,AT,BE,BG,CH,CY,CZ,DE,DK,EE,ES,FI,FR,GB,GR,HR,HU,IE,IS,IT,LT,LU,LV,MC,MK,MT,NL,NO,PL,PT,RO,RS,SE,SI,SK,SM,TR),OA(BF,BJ,CF,CG,CI,CM,GA,GN,GQ,GW,KM,ML,MR,NE,SN,TD,TG),AE,AG,AL,AM,AO,AT,AU,AZ,BA,BB,BG,BH,BN,BR,BW,BY,BZ,CA,CH,CL,CN,CO,CR,CU,CZ,DE,DJ,DK,DM,DO,DZ,EC,EE,EG,ES,FI,GB,GD,GE,GH,GM,GT,HN,HR,HU,ID,IL,IN,IR,IS,JP,KE,KG,KN,KP,KR,KW,KZ,LA,LC,LK,LR,LS,LU,LY,MA,MD,ME,MG,MK,MN,MW,MX,MY,MZ,NA,NG,NI,NO,NZ,OM,PA,PE,PG,PH,PL,PT,QA,RO,RS,RU,RW,SA,SC,SD,SE,SG,SK,SL,SM,ST,SV,SY,TH,TJ,TM,TN,TR,TT,TZ,UA

(71)【出願人】

【識別番号】516376385

【氏名又は名称】クワントン オーピーピーオー モバイル テレコミュニケーションズ コーポレイション リミテッド

(74)【代理人】

【識別番号】100118913

【弁理士】

【氏名又は名称】上田 邦生

(74)【代理人】

【識別番号】100142789

【弁理士】

【氏名又は名称】柳 順一郎

(74)【代理人】

【識別番号】100163050

【弁理士】

【氏名又は名称】小栗 眞由美

(74)【代理人】

【識別番号】100201466

【弁理士】

【氏名又は名称】竹内 邦彦

(72)【発明者】

【氏名】リー， シャオポン

【テーマコード（参考）】

2H002

2H083

5C024

5C122

【Ｆターム（参考）】

2H002CC01

2H002FB26

2H002GA24

2H002GA35

2H002HA02

2H002JA07

2H083AA02

2H083AA26

5C024CX47

5C024EX43

5C024EX52

5C024GY31

5C024HX23

5C024HX55

5C122EA21

5C122FB05

5C122FC06

5C122FC07

5C122FF11

5C122FH18

5C122HB01

(57)【要約】

本発明にハイダイナミックレンジイメージの生成方法が開示される。該方法は、画素アレイと、画素アレイに設けられたフィルタアレイとを備えるイメージセンサを用いて、フィルタアレイにおける各フィルタユニットが画素アレイにおける複数の画素ユニットを備えて画素構造単位を構成するステップと、各画素構造単位内の画素ユニットの露光をそれぞれ制御し、各画素構造単位内の一部の画素ユニットが第１露光時間で露光し、残りの部分の画素ユニットが第２露光時間で露光し、第１露光時間が前記第２露光時間より大きいステップとを含み、当該方法がＨＤＲ画像の品質を高めることができる。本発明には、撮影装置、端末及び結像方法が更に開示される。
【選択図】図１

【特許請求の範囲】

【請求項1】

ハイダイナミックレンジイメージの生成方法であって、
画素アレイと、該画素アレイに設けられたフィルタアレイとを備えるイメージセンサを用いて、
前記フィルタアレイにおける各フィルタユニットが前記画素アレイにおける複数の画素ユニットを備えて画素構造単位を構成するステップと
各前記画素構造単位内の前記画素ユニットの露光をそれぞれ制御し、そのうち、各前記画素構造単位内の一部の前記画素ユニットが第１露光時間で露光し、残りの部分の前記画素ユニットが第２露光時間で露光し、前記第１露光時間が前記第２露光時間より大きいステップとを含むハイダイナミックレンジイメージの生成方法。

【請求項2】

各前記フィルタユニットが２＊２個の前記画素ユニットを備え、
各前記画素構造単位内の前記画素ユニットの露光をそれぞれ制御するステップは、具体的には、
各前記画素構造単位における同一の行の２つの前記画素ユニットを前記第１露光時間で露光するようにそれぞれ制御するステップと、
各前記画素構造単位におけるもう１つの行の２つの前記画素ユニットを前記第２露光時間で露光するようにそれぞれ制御するステップとを含む請求項１に記載の生成方法。

【請求項3】

前記画素アレイの出力を読み出し、また同一の前記画素構造単位の前記画素ユニットの出力を加算して前記画素構造単位の画素値を取得するステップと、
全ての前記画素構造単位の画素値を合成してシングルフレームのハイダイナミックレンジイメージを取得するステップとを含む請求項１又は請求項２に記載の生成方法。

【請求項4】

イメージセンサと、
イメージプロセッサとを備え、
前記イメージセンサが、画素アレイと、該画素アレイに設けられたフィルタアレイとを備え、各該フィルタアレイにおける各フィルタユニットが前記画素アレイにおける複数の画素ユニットを備えて画素構造単位を構成し、
前記イメージプロセッサが、各前記画素構造単位内の前記画素ユニットの露光をそれぞれ制御し、各前記画素構造単位内の一部の前記画素ユニットが第１露光時間で露光し、残りの部分の前記画素ユニットが第２露光時間で露光し、前記第１露光時間が前記第２露光時間より大きい撮影装置。

【請求項5】

前記イメージセンサが、ＣＭＯＳイメージセンサを備える請求項４に記載のイメージセンサ。

【請求項6】

前記フィルタアレイが、べイヤーアレイを備える請求項４又は請求項５に記載のイメージセンサ。

【請求項7】

各前記フィルタユニットが２＊２個の前記画素ユニットを備え、
前記イメージプロセッサが、各前記画素構造単位における同一の行の２つの前記画素ユニットを前記第１露光時間で露光するようにそれぞれ制御し、各前記画素構造単位におけるもう１つの行の２つの前記画素ユニットを前記第２露光時間で露光するようにそれぞれ制御する請求項４から請求項６のいずれかに記載の撮影装置。

【請求項8】

前記イメージプロセッサが、前記画素アレイの出力を読み出し、同一の前記画素構造単位の前記画素ユニットの出力を加算して前記画素構造単位の画素値を取得し、全ての前記画素構造単位の画素値を合成してシングルフレームのハイダイナミックレンジイメージを取得する請求項４から請求項７のいずれかに記載の撮影装置。

【請求項9】

前記イメージセンサが、前記フィルタアレイに設けられるマイクロミラーアレイを備え、
各該マイクロミラーが、１つの前記画素ユニットに対応する請求項４に記載の撮影装置。

【請求項10】

請求項４から請求項７のいずれかに記載の撮影装置を備える端末。

【請求項11】

携帯電話を備える請求項１０に記載の端末。

【請求項12】

前記撮影装置に接続される中央処理装置と、
表示装置と備え、
前記中央処理装置が、前記表示装置に前記ハイダイナミックレンジイメージを表示するように制御する請求項１０又は請求項１１に記載の端末。

【請求項13】

イメージセンサが、画素アレイと、該画素アレイに設けられたフィルタアレイとを備え、該フィルタアレイにおける各フィルタユニットが前記画素アレイにおける複数の画素ユニットを備えて画素構造単位を構成し、
前記画素アレイの出力を読み出すステップと、
同一の前記画素構造単位の前記画素ユニットの出力を加算して前記画素構造単位の画素値を取得するステップと、
全ての前記画素構造単位の画素値を合成してシングルフレームのハイダイナミックレンジイメージを取得するステップとを含む結像方法。

【請求項14】

各前記フィルタユニットが２＊２個の前記画素ユニットに対応する請求項１３に記載の結像方法。

【請求項15】

前記イメージセンサが、レジスタを備え、
前記読み出しステップが、
ｋ行目及びｋ＋１行目の前記画素ユニットの出力を採取して前記レジスタに記憶し、そのうち、ｋ＝２ｎ−１であり、ｎが自然数であり、ｋ＋１が前記画素ユニットの総行数以下であるステップと、
前記レジスタから前記ｋ行目及び前記ｋ＋１行目の前記画素ユニットの出力を抽出し、同一の前記画素構造単位の前記画素ユニットの出力を加算して前記画素構造単位の画素値を取得するステップとを含む請求項１３又は請求項１４に記載の結像方法。

【請求項16】

前記読み出しステップが、前記画素ユニットにより発生されたアナログ信号の出力をデジタル信号の出力に変換するステップを含む請求項１３から請求項１５のいずれかに記載の結像方法。

【請求項17】

モバイル端末であって、
ハウジングと、プロセッサと、メモリと、回路基板と、電源回路とを備え、
前記回路基板が、前記ハウジングにより囲まれた空間内部に配置され、
前記プロセッサ及び前記メモリが、前記回路基板に設けられ、
前記電源回路が、前記モバイル端末の各回路又は部品に給電し、
前記メモリが、実行可能なプログラムコードを記憶し、
前記プロセッサが、前記メモリに記憶された前記実行可能なプログラムコードを読み出し、前記実行可能なプログラムコードに対応するプログラムを実行し、
請求項１３から請求項１６のいずれかに記載の結像方法を実行するモバイル端末。

【請求項18】

コンピュータ読み取り可能な記録媒体であって、
記憶されたコマンドを有し、モバイル端末のプロセッサが前記コマンドを実行するときに、前記モバイル端末が請求項１３から請求項１６のいずれかに記載の結像方法を実行するコンピュータ読み取り可能な記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本出願は、２０１５年１２月１８日に中国国家知識産権局に提出された特許出願番号が２０１５１０９６３９３９．２である特許出願の優先権及び権益を主張するものであり、当該中国特許出願の全内容は参照により本明細書に組み入れられる。

【0002】

本発明は、撮影機器技術分野に関し、特にハイダイナミックレンジイメージの生成方法、撮影装置と端末、及び結像方法に関する。

【背景技術】

【0003】

スマートフォンの発展に伴い、スマートフォンで撮影することがますます頻繁になってきている。スマートフォンの撮影効果を高めるために、前端から後端まで各種の方法で必要な効果を実現することができる。そのうち、撮影時のＨＤＲ（Ｈｉｇｈ−Ｄｙｎａｍｉｃ Ｒａｎｇｅ：ハイダイナミックレンジ）画像の機能をさらに高める必要がある。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明の目的は、関連技術における少なくとも１つの技術的課題をある程度解決することである。

【課題を解決するための手段】

【0005】

上記課題を解決するために、本発明の一態様において、ハイダイナミックレンジイメージの生成方法を提供する。そのうち、前記イメージセンサが、画素アレイと、該画素アレイに設けられたフィルタアレイとを備え、前記フィルタアレイにおける各フィルタユニットが前記画素アレイにおける複数の画素ユニットを備えて画素構造単位を構成し、前記生成方法が、各前記画素構造単位内の前記画素ユニットの露光をそれぞれ制御し、そのうち、各前記画素構造単位内の一部の前記画素ユニットが第１露光時間で露光し、残りの部分の前記画素ユニットが第２露光時間で露光し、前記第１露光時間が前記第２露光時間より大きいステップを含む。

【0006】

本発明のハイダイナミックレンジイメージの生成方法により、イメージセンサの各フィルタユニットは画素アレイの中の複数の画素ユニットを備えて画素構造単位（即ち、単色画素）を構成し、各画素構造単位内の画素ユニットの露光をそれぞれ制御し、単色画素内での２つのレベルの露光を実現し、インターレース露光に比べ、取得されたハイダイナミックレンジイメージの色彩がより明るく、ノイズがより低減され、ハイダイナミックレンジイメージの品質を高めることができる。

【0007】

また、各前記フィルタユニットが２＊２個の前記画素ユニットを備え、各前記画素構造単位内の前記画素ユニットの露光をそれぞれ制御するステップは、具体的には、各前記画素構造単位における同一の行の２つの前記画素ユニットを前記第１露光時間で露光するようにそれぞれ制御するステップと、各前記画素構造単位におけるもう１つの行の２つの前記画素ユニットを前記第２露光時間で露光するようにそれぞれ制御するステップとを含む。

【0008】

また、前記方法は、前記画素アレイの出力を読み出し、また同一の前記画素構造単位の前記画素ユニットの出力を加算して前記画素構造単位の画素値を取得するステップと、全ての前記画素構造単位の画素値を合成してシングルフレームのハイダイナミックレンジイメージを取得するステップとを含み、同一フィルタユニットをカバーする画素ユニットを合わせて出力することにより、取得された画像がさらにはっきりとなる。

【0009】

上記課題を解決するために、本発明の他の態様の実施形態に係る撮影装置を提出する。当該撮影装置は、イメージセンサと、イメージプロセッサとを備える。前記イメージセンサが、画素アレイと、該画素アレイに設けられたフィルタアレイとを備え、各フィルタユニットが前記画素アレイにおける複数の画素ユニットを備えて画素構造単位を構成する。前記イメージプロセッサが、各前記画素構造単位内の前記画素ユニットの露光をそれぞれ制御し、各前記画素構造単位内の一部の前記画素ユニットが第１露光時間で露光し、残りの部分の前記画素ユニットが第２露光時間で露光し、前記第１露光時間が前記第２露光時間より大きい。

【0010】

本態様の撮影装置により、イメージセンサの各フィルタユニットが複数の画素ユニットを備えて１つの画素構造単位（即ち、単色画素）を構成することにより、イメージプロセッサが単色画素内の画素ユニットの２つのレベルの露光をそれぞれ制御するのを実現することができる。インターレース露光に比べ、取得されたハイダイナミックレンジイメージの色彩がより明るく、ノイズがより低減され、ハイダイナミックレンジイメージの品質を高めることができる。

【0011】

少なくとも１つの実施形態において、前記イメージセンサが、ＣＭＯＳイメージセンサを備えていてもよい。

【0012】

少なくとも１つの実施形態において、前記フィルタアレイがべイヤーアレイを備えていてもよい。

【0013】

少なくとも１つの実施形態において、各前記フィルタユニットが２＊２個の前記画素ユニットを備え、前記イメージプロセッサが、各前記画素構造単位における同一の行の２つの前記画素ユニットを前記第１露光時間で露光するようにそれぞれ制御し、また各前記画素構造単位におけるもう１つの行の２つの前記画素ユニットを前記第２露光時間で露光するようにそれぞれ制御してもよい。

【0014】

前記イメージプロセッサは、前記画素アレイの出力を読み出し、また同一の前記画素構造単位の前記画素ユニットの出力を加算して前記画素構造単位の画素値を取得し、また前記画素構造単位全部の画素値を合成してシングルフレームのハイダイナミックレンジイメージを取得する。同一フィルタユニットを備える画素ユニットを合わせて出力することにより、取得された画像がさらにはっきりとなる。

【0015】

前記イメージセンサが、前記フィルタアレイに設けられるマイクロミラーを備え、各該マイクロミラーが１つの前記画素ユニットに対応していてもよい。

【0016】

本発明の他の態様において、上記態様に記載の撮影装置を備える端末をさらに提供する。当該端末は撮影することができ、取得されたハイダイナミックレンジイメージは、解像度がより高く、色彩がより明るく、明暗の移行が良好的で、復元がより徹底的で、さらに本物的である。

【0017】

具体的には、前記端末が携帯電話を備えていてもよい。

【0018】

前記端末は、前記撮影装置に接続される中央処理装置と、表示装置とを備え、前記中央処理装置は、前記表示装置が前記ハイダイナミックレンジイメージを表示するように制御してもよい。

【0019】

本発明は結像方法をさらに提出する。そのうち、イメージセンサが、画素アレイと、該画素アレイに設けられたフィルタアレイとを備え、前記フィルタアレイにおける各フィルタユニットが前記画素アレイにおける複数の画素ユニットを備えて画素構造単位を構成し、前記結像方法は、前記画素アレイの出力を読み出すステップと、同一の前記画素構造単位の前記画素ユニットの出力を加算して前記画素構造単位の画素値を取得するステップと、前記画素構造単位全部の画素値を合成してシングルフレームのハイダイナミックレンジイメージを取得するステップとを含む。

【0020】

画素構造単位のノイズが、合わせる前の各画素のノイズの和より小さいため、この結像方法で低輝度においても信号ノイズ比、輝度及び解像度の高く、ノイズの比較的少ない画像を取得することができ、ある一部の先行結像方法の欠点が克服された。

【0021】

少なくとも１つの実施形態において、前記結像装置が、レジスタを備え、各前記フィルタユニットが２＊２個の前記画素ユニットを備え、前記読み出しステップが、ｋ行目及びｋ＋１行目の前記画素ユニットの出力を採取して前記レジスタに記憶し、そのうち、ｋ＝２ｎ−１であり、ｎが自然数であり、ｋ＋１が前記画素ユニットの総行数の以下であるステップと、前記レジスタから前記ｋ行目及び前記ｋ＋１行目の前記画素ユニットの出力を抽出し、同一の前記画素構造単位の前記画素ユニットの出力を加算して前記画素構造単位の画素値を取得するステップとを含んでいてもよい。

【0022】

少なくとも１つの実施形態において、前記読み出しステップが、前記画素ユニットにより発生されたアナログ信号の出力をデジタル信号の出力に変換するステップを含んでいてもよい。

【0023】

上記問題を解決するために、本発明の他の態様において、モバイル端末を提供する。当該モバイル端末は、ハウジングと、プロセッサと、メモリと、回路基板と、電源回路とを備え、前記回路基板が、前記ハウジングにより囲まれた空間内部に配置され、前記プロセッサ及び前記メモリが、前記回路基板に設けられ、前記電源回路が、前記モバイル端末の各回路又は部品に給電し、前記メモリが、実行可能なプログラムコードを記憶し、前記プロセッサが、前記メモリに記憶された前記実行可能なプログラムコードを読み出すことにより、前記実行可能なプログラムコードに対応するプログラムを実行し、本発明における上記の結像方法を実行する。

【0024】

本発明の実施形態におけるモバイル端末は、画素アレイの出力を読み出すことにより、同一の画素構造単位の画素ユニットの出力を加算して画素構造単位の画素値を取得し、また全ての画素構造単位の画素値を合成してシングルフレームのハイダイナミックレンジイメージを取得し、画素構造単位のノイズが、合せる前の各画素のノイズの和より小さいため、この結像方法で低輝度においても信号ノイズ比、輝度及び解像度の高く、ノイズの比較的少ない画像を取得することができる。

【0025】

本発明の他の態様の実施形態において、記憶されたコマンドを有するコンピュータ読み取り可能な記録媒体を提供する。モバイル端末のプロセッサが前記コマンドを実行するときに、前記モバイル端末が上記態様の実施形態に記載の結像方法を実行する。

【0026】

本発明の付加的な特徴及び利点は、一部が下記の説明の中にあり、一部が下記の説明により、明らかになり、又は本発明の実践により、理解される。

【図面の簡単な説明】

【0027】

【図1】本発明の一実施形態に係るイメージセンサのハイダイナミックレンジイメージの生成方法のフローチャートである。

【図2】本発明の一実施形態における画素構造単位にある４つの画素ユニットが合わされた概略図である。

【図3】本発明の一実施形態に係るイメージセンサのハイダイナミックレンジイメージの生成方法の変形例のフローチャートである。

【図4】本発明の一実施形態に係る撮影装置のブロック図である。

【図5】本発明の一実施形態に係る撮影装置の変形例のブロック図である。

【図6】本発明の一実施形態に係る端末のブロック図である。

【図7】本発明の一実施形態に係る端末の変形例のブロック図である。

【図8】本発明の一実施形態に係る結像方法のフローチャートである。

【図9】本発明の一実施形態に係る結像方法の変形例のフローチャートである。

【図10】本発明の一実施形態に係る結像方法の変形例のフローチャートである。符号の説明 １０００ 端末 １００ 撮影装置 ２００ 中央処理装置 ３００ 表示装置 １０ イメージセンサ ２０ イメージプロセッサ １１ 画素アレイ １２ フィルタアレイ １２１ フィルタユニット、 １１２ 画素ユニット １１１ 画素構造単位 １３ マイクロミラーアレイ １３１ マイクロミラー

【発明を実施するための形態】

【0028】

以下に、本発明の一実施形態を詳しく説明する。上記実施形態の一例が図面に示されるが、そのうち、同一または類似する符号は、常に相同又は類似の部品、又は相同又は類似の機能を有する部品を表す。以下に、図面を参照しながら説明される実施形態は例示的なものであり、本発明を解釈するために用いられ、本発明を限定するものと理解されてはいけない。

【0029】

一般的に、シングルフレームＨＤＲとは、ＲＧＧＢを１つの単位とし、インターレース露光時間の長さが一致せず、撮影により取得された短時間露光行及び長時間露光行を１つの単一のＨＤＲ画像に合わせてシングルフレームＨＤＲを生成する。しかし、長時間露光時、常にノイズが目立つようになる。即ち長時間露光を使用する場合、信号の増加となるとともに、ノイズの増加ともなるため、１つのシングルフレームＨＤＲ画像の全体の解像度が明らかに下がる。なお、インターレース露光の場合、現在が明るいシーンであるかそれとも暗いシーンであるか確定されないため、明るいシーンと長時間露光との結合となる場合、現在の行の画素が露光オーバーとなる恐れがある。露光オーバーとなれば、この行の画素は利用されなくなり、次の行又は上の行の画素を補間により補充する必要があるため、解像度が明らかに下がることになる。

【0030】

画像の効果を高めるために、複数の方法が存在する。例えば、ＳＮＲの向上について、１６ＭのイメージセンサがＰｉｘｅｌ Ｍｅｒｇｅｄ（画素融合）という方式により効果の向上を実現することができる。本発明の実施形態に係るハイダイナミックレンジイメージの生成方法及び撮影装置は、まさに１６Ｍ画素のイメージセンサをベースにして、１６Ｍ画素の４Ｍを出力し、ＨＤＲの効果向上を実現するとともに、ＨＤＲの速度を大きく向上する。

【0031】

以下、図面を参照して、本発明の実施形態により提供されたイメージセンサのハイダイナミックレンジイメージの生成方法を説明する。

【0032】

図１は本発明の一実施形態に係るイメージセンサのハイダイナミックレンジイメージの生成方法のフローチャートである。図１に示されるように、当該生成方法は、Ｓ１ステップ及びＳ２ステップを含む。

【0033】

Ｓ１ステップにおいて、イメージセンサを提供する。

【0034】

そのうち、イメージセンサは、画素アレイと、画素アレイに配置され、複数の異なる色のフィルタユニットを備え、各フィルタユニットが画素アレイの中の複数、例えばｓ＊ｓ（ｓ≧２）個の画素ユニットをカバーして画素構造単位を構成する。変形例として、イメージセンサが、ＣＭＯＳイメージセンサを備えていてもよい。

【0035】

変形例として、フィルタアレイがべイヤーアレイを備えていてもよい。

【0036】

例えば、図２に示されるように、各フィルタユニットは２＊２個の画素ユニットを備え、和（Σ）部分の４つの画素ユニット、例えば、フォトダイオードが同じ色のフィルタユニットに対応し、当該４つの画素ユニットが１つの画素構造単位、即ち単色画素と見なされる。

【0037】

理解できるのは、２＊２の構造以外に、３＊３、４＊４、しいては任意ｎ＊ｍ構造（ｎ，ｍが自然数である）もある。画素アレイに配列できる画素ユニットの数が限られており、各画素構造単位に備えられる画素ユニットが過多であれば、画像の解像度の大きさが制限されることになる。例えば、画素アレイの画素値が１６Ｍであれば、２＊２の画素構造単位を用いて解像度が４Ｍである合併画像を取得するが、４＊４の構造を用いて解像度が１Ｍである合併画像しか得られない。従って、２＊２の合併画素ユニット構造がひとつの比較的好適なアレイ方式であり、解像度をできるだけ少なく犠牲にすること前提で画像の輝度及びシャープネスを高める。

【0038】

Ｓ２ステップにおいて、各画素構造単位内の画素ユニットの露光をそれぞれ制御し、そのうち、各画素構造単位内の一部の画素ユニットが第１露光時間で露光し、残りの部分の画素ユニットが第２露光時間で露光し、第１露光時間が前記第２露光時間より大きくする。具体的には、第１露光時間が長時間露光であってもよいが、第２露光時間が短時間露光であってもよい。即ち、単一の画素即ち画素構造単位内だけで２つのレベルの露光が実現され、２つのレベルの露光が行われる画素ユニットが同じ色である。

【0039】

本発明の一実施形態において、各フィルタユニットは、２＊２個の画素素を備え、各画素構造単位内の同一の行の２つの画素ユニットが第１露光時間で露光することをそれぞれ制御し、各画素構造単位内のもう一行の２つの画素ユニットが第２露光時間で露光することをそれぞれ制御する。例えば、図２に示されるように、４つの画素ユニットを１つの画素構造単位に合わせて、上面にある２つの画素ユニットが長時間露光し、下面にある２つの画素ユニットが短時間露光することにより、単色画素、即ち１つの画素構造単位内で長・短時間露光の制御を実現することができる。

【0040】

さらに、画素値の読み出しについて、本発明の他の実施形態として、図３に示されるように、上記方法は、Ｓ３ステップ及びＳ４ステップをさらに含んでいてもよい。

【0041】

Ｓ３ステップにおいて、画素アレイの出力を読み出し、また同一画素構造単位の画素ユニットの出力を加算して画素構造単位の画素値を取得する。

【0042】

具体的には、ｋ行目及びｋ＋１行目の画素ユニットの出力を採取してレジスタに記憶し、そのうち、ｋ＝２ｎ−１であり、ｎが自然数であり、ｋ＋１が前記画素アレイの総行数の以下であり、レジスタからｋ行目及びｋ＋１行目の感光画素の出力を抽出し、同一画素構造単位の画素ユニットの出力を加算して画素構造単位の画素値を取得する。

【0043】

即ち、各画素構造単位内の長時間露光及び短時間露光を経た画素ユニットの結像情報を合わせて、撮影により取得された短時間露光及び長時間露光された行を１つの単一画素に合わせて、単一の画素構造単位が生成した画素値を取得する。

【0044】

Ｓ４ステップにおいて、すべての画素構造単位の画素値を合成してシングルフレームのハイダイナミックレンジイメージを取得する。

【0045】

即ち、各画素構造単位内で合成された露光画像をシングルフレームＨＤＲに合わせて、そして４ＭのＨＤＲ画像を取得した。

【0046】

本発明の一実施形態に係るハイダイナミックレンジイメージの生成方法は、各フィルタユニットが複数の画素ユニットを備える。例えば、１６Ｍ画素のイメージセンサをベースにし、１６Ｍの画素がＭｅｒｇｅｄ方式で４Ｍの画素に合併される。即ち、４つの画素ユニットを合わせて１つの画素構造単位即ち単一の画素とし、それに各画素ユニットを単独に露光させることにより、シングル画素内部の長短時間露光の制御を実現することができる。取得されたＨＤＲ画像の色彩がより明るく、ノイズがより低減され、一部のＲＧＧＢ方式で生成された画像に現れる必要のないノイズが現れるのを回避し、一種の解像度の高いシングルフレームＨＤＲの実現方式を提供し、ユーザにさらなる良好な撮影体験を提供することができる。

【0047】

さらに、４つの同じ色の画素ユニットを１つの画素構造単位、即ち１つの単色画素に合わせるため、単一の画素についても長時間露光及び短時間露光の制御を実現し、乱雑なノイズが発生せずにＨＤＲ画像を取得することができる。そして、現在の行画素ユニットが明るいシーン及び長時間露光である場合、長・短時間露光がいずれも同一の大画素内で行われるため、補間で補っても、解像度の損失も多くなく、一致に保持され、ＨＤＲ画像の解像度が確保される。

【0048】

上記態様の実施形態に係るハイダイナミックレンジイメージの生成方法に基づいて、以下に、図面を参照して、本発明の他の態様で提供された撮影装置を説明する。

【0049】

図４は本発明の一実施形態に係る撮影装置のブロック図である。図４に示されるように、当該撮影装置１００はイメージセンサ１０及びイメージプロセッサ２０を備える。

【0050】

本実施形態において、イメージセンサ１０は、画素アレイ１１と、画素アレイ１１に配置されたフィルタアレイ１２とを備え、且つフィルタアレイ１２が複数の異なる色のフィルタユニット１２１を備え、各フィルタユニット１２１が画素アレイ１１における複数、例えばｓ＊ｓ（ｓ≧２）個の画素ユニット１１２を備えるとともに画素構造単位１１１を構成する。具体的には、各フィルタユニットが２＊２個の画素ユニットを備え、例えば、図３における符号が１、２、３、４である画素ユニット１１２が１つの画素構造単位１１１を構成し、画素ユニット１、画素ユニット２、画素ユニット３及び画素ユニット４がフィルタユニットＦ、例えば赤色のフィルタユニットに対応する。同じ色の２＊２個の画素ユニットが１つの単色画素に合併するため、１６Ｍの画素について、４Ｍの画素に合併されると考えられる。

【0051】

イメージプロセッサ２０は各画素構造単位１１１内の画素ユニット１１２の露光をそれぞれ制御し、そのうち、各画素構造単位１１１内の一部の画素ユニット１１２が第１露光時間で露光し、残りの部分の画素ユニット１１２が第２露光時間で露光し、第１露光時間が第２露光時間より大きい。例えば、第１露光時間が長時間露光であってもよいし、第２露光時間が短時間露光であってもよい。

【0052】

さらに、イメージプロセッサ２０は、画素アレイ１１の出力を読み出し、同一画素構造単位１１１の画素ユニット１１２の出力を加算して画素構造単位１１１の画素値を取得し、すべての画素構造単位１１１の画素値を合成してシングルフレームのハイダイナミックレンジイメージを取得する。

【0053】

具体的には、各フィルタユニットが備える２＊２個の画素ユニットについて、イメージプロセッサ２０は、各画素構造単位１１１内にある同一の行の２つの画素ユニット１１２が第１露光時間で露光することをそれぞれ制御し、各画素構造単位１１１内にある他の行の２つの画素ユニット１１２が第２露光時間で露光することをそれぞれ制御する。図２に示されるように、上面にある２つの画素ユニットが長時間露光し、下面にある２つの画素ユニットが短時間露光し、即ち同一の画素構造単位１１１、即ち１つの単色画素が長・短時間露光を行った。

【0054】

さらに、４つの同じ色の画素ユニット１１２を１つの画素構造単位１１１、即ち１つの単色画素に合併するため、単一の画素に対しても長時間露光及び短時間露光の制御を実現し、乱雑なノイズが発生しないＨＤＲ画像を取得することができる。そして、現在の行画素ユニットが明るいシーン及び長時間露光である場合、長・短時間露光がいずれも同一の大画素内で行われるため、補間で補っても、解像度の損失も多くなく、一致に保持され、ＨＤＲ画像の解像度が確保される。

【0055】

本発明の一実施形態に係る撮影装置１００は、各フィルタアレイが複数の画素ユニットを備えて１つの画素構造単位１１１（即ち、単色画素）に合併し、また画素ユニットの単独露光をそれぞれ制御し、単色画素内の長・短時間露光を実現する。取得されたハイダイナミックレンジイメージは、色彩がより明るく、ノイズがより低減され、ハイダイナミックレンジイメージの品質を高めることができる。なお、補間で補う場合、ＨＤＲ画像の解像度を確保することができる。

【0056】

図５に示されるように、イメージセンサ１０は、フィルタアレイ１２に設けられたマイクロミラーアレイ１３をさらに備え、各マイクロミラー１３１が１つの画素ユニット１１２に対応する。そのうち、各マイクロミラー１３１が１つの画素ユニット１１２に対応し、形成、大きさ、位置の対応を含む。マイクロミラー１３１は、光を画素ユニット１１２の感光部分に集め、画素ユニット１１２の受光強度を高め、結像の画質を改善することができる。本実施形態の変形例として、各フィルタユニット１２１が２＊２個の画素ユニット１１２及び２＊２個のマイクロミラー１３１に対応し、画素構造単位１１１を形成してもよい。

【0057】

図６は本発明の一実施形態に係る端末のブロック図である。当該端末１０００は上記方面の実施形態における撮影装置１００を備え、具体的には、端末１０００は、携帯電話を備える。

【0058】

図７に示されるように、端末１０００は、撮影装置１００に接続される中央処理装置２００及び表示装置３００をさらに備える。中央処理装置２００は、表示装置３００にハイダイナミックレンジイメージを表示するように制御する。そうすると、端末１０００が撮影した画像が表示３００に表示され、ユーザの閲覧に用いられる。表示装置３００は、ＬＥＤディスプレイなどを備える。

【0059】

本発明の一実施形態に係る端末１０００は、撮影することができ、取得されたハイダイナミックレンジイメージは、解像度がより高く、色彩がより明るく、画像の中の明るいところがより明るく、暗いところがより暗く、明暗の移行が良好で、復元がより徹底的で、さらに本物的である。

【0060】

本発明の他の態様の一実施形態に係る結像方法をさらに提供する。そのうち、イメージセンサは、画素アレイと、画素アレイに設けられたフィルタアレイとを備える。そのうち、フィルタアレイにおける各フィルタユニットが画素アレイにおける複数の画素ユニットを備えて画素構造単位を構成する。

【0061】

図８は、本発明の一実施形態に係る結像方法のフローチャートである。図８に示されるように、当該結像方法は、以下のステップを含む。

【0062】

Ｓ１ステップにおいて、画素アレイの出力を読み出す。

【0063】

Ｓ２ステップにおいて、同一画素構造単位の画素ユニットの出力を加算して画素構造単位の画素値を取得する。

【0064】

Ｓ３ステップにおいて、すべての画素構造単位の画素値を合成してシングルフレームのハイダイナミックレンジイメージを取得する。

【0065】

本発明の一実施形態に係る結像方法は、仮に元の各画素ユニットの出力をＳとし、ノイズをＮとし、画素構造単位がＭ個の画素ユニットを備えるとしたら、画素構造単位の画素値がｎ＊ｍ＊Ｓとなり、画素構造単位のノイズが

となり、ｎ＝２、ｍ＝２である場合、
画素構造単位のノイズがｎ＊ｍ＊Ｎ／２程度になる。従って、画素構造単位の輝度が低輝
度の環境で向上できるうえに、信号ノイズ比も高められる。

【0066】

図９に示されるように、本実施形態の変形例として、イメージセンサの各同じ色のフィルタが２＊２個の画素ユニットに対応し、イメージセンサがレジスタを備え、Ｓ２ステップは、Ｓ２０１ステップとＳ２０２ステップとをさらに含んでいてもよい。

【0067】

Ｓ２０１ステップにおいて、ｋ行目及びｋ＋１行目の画素ユニットの出力を採取してレジスタに記憶し、そのうち、ｋ＝２ｎ−１であり、ｎが自然数であり、ｋ＋１が画素ユニットの総行数の以下である。

【0068】

Ｓ２０２ステップにおいて、レジスタからｋ行目及びｋ＋１行目の画素ユニットの出力を抽出し、同一画素構造単位における画素ユニットの出力を加算して画素構造単位の画素値を取得する。

【0069】

よって、レジスタを十分利用することにより、画素ユニットの出力の読み出し、バッファ及び合併のプロセスを実現することができる。

【0070】

図１０に示されるように、本実施形態の変形例として、Ｓ２ステップは、画素ユニットにより発生されたアナログ信号の出力をデジタル信号の出力に変換するＳ３０１ステップと、同一画素構造単位における画素ユニットの出力を加算して画素構造単位の画素値を取得するＳ３０２ステップとをさらに含んでいてもよい。

【0071】

よって、１つは、一般的にデジタル信号処理チップである画像処理モジュールが、イメージセンサの出力を直接に処理することができる。もう１つは、回路を介してイメージセンサのアナログ信号フォーマットの出力を直接処理するある一例に対して、画像の情報を比較的によく保留してある。例えば、１６Ｍ画素のイメージセンサにとって、本実施形態に係る結像方法は、４Ｍ画素（２＊２の画素を合併する）の画素構造単位を生成することができ、１６Ｍ画素（即ち合併しない）の元画像を生成することもできる。

【0072】

本発明の他の態様において、モバイル端末をさらに提供する。当該モバイル端末は、ハウジングと、プロセッサと、メモリと、回路基板と、電源回路とを備える。そのうち、回路基板は、ハウジングにより囲まれた空間内部に配置される。プロセッサ及びメモリは、回路基板に設けられる。電源回路は、前記モバイル端末の各回路又は部品への給電に用いられる。メモリは、実行可能なプログラムコードを記憶する。プロセッサは、メモリに記憶された実行可能なプログラムコードを読み出すことにより、実行可能なプログラムコードに対応するプログラムを実行し、上記態様における結像方法を実行する。

【0073】

本実施形態においては、その中に記憶されたコマンドを有するコンピュータ読み取り可能な記録媒体をさらに提供し、モバイル端末のプロセッサがコマンドを実行する時に、モバイル端末が、図８に示される本発明の一実施形態に係る結像方法を実行するようにしてもよい。

【0074】

説明する必要があるのは、本文において、例えば第１及び第２などの関係用語が、１つの実体又は操作と、もう１つの実体又は操作とを区別することだけに使われ、必ずしもこれらの実体又は操作の間にあらゆるこういう実際の関係又は順序が存在することを要求又は示唆するわけではない。また、「含む」及び「備える」という用語又はその他のあらゆる変わった形は、非排他的な包括をカバーするものであり、一連の要素を含むステップ、方法、物又は機器がそれらの要素を含むだけではなく、明確に挙げられなかったその他の要素も含み、又はこういうステップ、方法、物又は機器が固有する要素も含むことを意味する。より多い限定がない場合、「ひとつの……を含む」というセンテンスに限定された要素について、要素を含むステップ、方法、物又は機器において、他の同一要素が存在することを排除するわけではない。

【0075】

フローチャートで表された、又はここでその他の形態で説明された論理及び/又はステップは、例えば、論理機能の実現に用いられる実行可能な定アレイ表だと思われてもよく、あらゆるコンピュータ読み取り可能な媒体において具体的に実現されることができ、コマンド実行システム、装置又は機器（例えば、コンピュータをベースにしたシステム、プロセッサを備えるシステム、又はコマンド実行システム、装置又は機器からコマンドを取るとともにコマンドを実行するその他のシステム）により使用され、又はこれらのコマンド実行システム、装置又は機器に合わせて使用される。本明細書について、「コンピュータ読み取り可能な媒体」は、プログラムを包括、記憶、通信、伝播又は伝送することができる、コマンド実行システム、装置又は機器に使用される、又はこれらのコマンド実行システム、装置又は機器に合わせて使用されるあらゆる装置であってもいい。コンピュータ読み取り可能な媒体は、さらに具体的な一例（包括的でないリスト）で示すと、１つ又は複数の配線を有する電気的接続部（電子装置）と、携帯式コンピュータディスクカートリッジ（磁気装置）と、ランダム・アクセス・メモリ（ＲＡＭ）と、読み出し専用メモリ（ＲＯＭ）と、消去可能編集可能な読み出し専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）と、光ファイバー装置と、携帯式ディスク読み出し専用メモリ（ＣＤＲＯＭ）とを備える。なお、コンピュータ読み取り可能な媒体は、その上にプログラムがプリントされることのできる紙、又はその他の適切な媒体であればよい。なぜならば、例えば、紙又はその他の媒体を光学的なスキャンし、そして編集、解釈し、又は必要な時にその他の適切な方式で処理することにより、電子方式で前記プログラムを取得し、それをコンピュータメモリに記憶することができるからである。

【0076】

理解すべきなのは、本発明の各部分がハードウェア、ソフトウェア、ファームウェア又はこれらの組み合わせによって実現されることができる。上記の実施形態において、複数のステップ又は方法が、メモリに記憶され、且つ適切なコマンド実行システムにより実行されるソフトウェア又はファームウェアで実現されることができる。例えば、ハードウェアで実現するなら、変形例と同じく、本分野の下記周知技術のいずれか又はこれらの組み合わせで実現することができる。データ信号の論理機能を実現する論理ゲート回路に使われる離散的論理回路を有し、論理ゲート回路を組み合わせる適切な専用集成回路、プログラマブル・ゲート・アレイ（ＰＧＡ）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）などを有する。

【0077】

説明する必要があるのは、本明細書の説明において、「一実施形態」、「他の実施形態」、「一例」、「具体的な一例」、或いは「変形例」などの用語を参考した説明は、実施形態或いは実施例に結合して説明された具体的な特徴、構成、材料又は特徴が、本発明の少なくとも１つの実施形態或いは実施例に含まれることである。本明細書において、上記用語に対する例示的な説明は、必ずしも同じ実施形態或いは実施例を示すことではない。また、説明された具体的な特徴、構成、材料又は特徴は、少なくとも１つの実施形態又は実施例において適切に結合することができる。なお、お互いに矛盾しない場合、当業者は本明細書で説明された異なる実施形態又は実施例、及び異なる実施形態又は実施例の特徴を合わせる、及び組み合わせることができる。

【0078】

本明細書の説明において、「一実施形態」、「他の実施形態」、「一例」、「具体的な一例」、或いは「変形例」などの用語を参考した説明とは、実施形態或いは実施例に結合して説明された具体的な特徴、構成、材料又は特徴が、本発明の少なくとも１つの実施形態或いは実施例に含まれることである。本明細書において、上記用語に対する例示的な説明は、必ずしも同じ実施形態或いは実施例を示すことではない。また、説明された具体的な特徴、構成、材料又は特徴は、少なくとも１つの実施形態又は実施例において適切に結合することができる。なお、お互いに矛盾しない場合、当業者は本明細書で説明された異なる実施形態又は実施例、及び異なる実施形態又は実施例の特徴を合わせる、及び組み合わせることができる。

【0079】

以上、本発明の実施形態を示して説明したが、理解できるのは、上記実施形態は例示的なものであり、本発明を限定するものであると理解してはいけなく、普通の当業者は、本発明の範囲内で、上記実施形態に対して変化、修正、置き換え及び変形を行うことができる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【手続補正書】

【提出日】2017年6月23日

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

ハイダイナミックレンジイメージの生成方法であって、
画素アレイと、該画素アレイに設けられたフィルタアレイとを備えるイメージセンサを用いて、
前記フィルタアレイにおける各フィルタユニットが前記画素アレイにおける複数の画素ユニットを備えて画素構造単位を構成するステップと
各前記画素構造単位内の前記画素ユニットの露光をそれぞれ制御し、そのうち、第１画素ユニットが第１露光時間で露光し、第２画素ユニットが第２露光時間で露光し、前記第１露光時間が前記第２露光時間より大きいステップとを含むハイダイナミックレンジイメージの生成方法。

【請求項2】

各前記フィルタユニットが２＊２個の前記画素ユニットを備え、
各前記画素構造単位内の前記画素ユニットの露光をそれぞれ制御するステップは、具体的には、
各前記画素構造単位における同一の行の２つの前記画素ユニットである前記第１画素ユニットを前記第１露光時間で露光するようにそれぞれ制御するステップと、
各前記画素構造単位におけるもう１つの行の２つの前記画素ユニットである前記第２画素ユニットを前記第２露光時間で露光するようにそれぞれ制御するステップとを含む請求項１に記載の生成方法。

【請求項3】

前記画素アレイの出力を読み出し、また同一の前記画素構造単位の前記画素ユニットの出力を加算して前記画素構造単位の画素値を取得するステップと、
全ての前記画素構造単位の画素値を合成してシングルフレームのハイダイナミックレンジイメージを取得するステップとを含む請求項１又は請求項２に記載の生成方法。

【請求項4】

イメージセンサと、
イメージプロセッサとを備え、
前記イメージセンサが、画素アレイと、該画素アレイに設けられたフィルタアレイとを備え、各該フィルタアレイにおける各フィルタユニットが前記画素アレイにおける複数の画素ユニットを備えて画素構造単位を構成し、
前記イメージプロセッサが、各前記画素構造単位内の前記画素ユニットの露光をそれぞれ制御し、第１画素ユニットが第１露光時間で露光するように制御し、第２画素ユニットが第２露光時間で露光するように制御し、前記第１露光時間が前記第２露光時間より大きい撮影装置。

【請求項5】

前記フィルタアレイが、べイヤーアレイを備える請求項４に記載の撮像装置。

【請求項6】

各前記フィルタユニットが２＊２個の前記画素ユニットを備え、
前記イメージプロセッサが、各前記画素構造単位における同一の行の２つの前記画素ユニットである前記第１画素ユニットを前記第１露光時間で露光するようにそれぞれ制御し、各前記画素構造単位におけるもう１つの行の２つの前記画素ユニットである前記第２画素ユニットを前記第２露光時間で露光するようにそれぞれ制御する請求項４又は請求項５に記載の撮影装置。

【請求項7】

前記イメージプロセッサが、前記画素アレイの出力を読み出し、同一の前記画素構造単位の前記画素ユニットの出力を加算して前記画素構造単位の画素値を取得し、全ての前記画素構造単位の画素値を合成してシングルフレームのハイダイナミックレンジイメージを取得する請求項４から請求項６のいずれかに記載の撮影装置。

【請求項8】

前記イメージセンサが、前記フィルタアレイに設けられるマイクロミラーアレイを備え、
各該マイクロミラーが、１つの前記画素ユニットに対応する請求項４に記載の撮影装置。

【請求項9】

請求項４から請求項６のいずれかに記載の撮影装置を備える端末。

【請求項10】

イメージセンサが、画素アレイと、該画素アレイに設けられたフィルタアレイとを備え、該フィルタアレイにおける各フィルタユニットが前記画素アレイにおける複数の画素ユニットを備えて画素構造単位を構成し、
前記画素アレイの出力を読み出すステップと、
同一の前記画素構造単位の前記画素ユニットの出力を加算して前記画素構造単位の画素値を取得するステップと、
全ての前記画素構造単位の画素値を合成してシングルフレームのハイダイナミックレンジイメージを取得するステップとを含む結像方法。

【請求項11】

各前記フィルタユニットが２＊２個の前記画素ユニットに対応する請求項１０に記載の結像方法。

【請求項12】

前記イメージセンサが、レジスタを備え、
前記読み出しステップが、
ｋ行目及びｋ＋１行目の前記画素ユニットの出力を採取して前記レジスタに記憶し、そのうち、ｋ＝２ｎ−１であり、ｎが自然数であり、ｋ＋１が前記画素ユニットの総行数以下であるステップと、
前記レジスタから前記ｋ行目及び前記ｋ＋１行目の前記画素ユニットの出力を抽出し、同一の前記画素構造単位の前記画素ユニットの出力を加算して前記画素構造単位の画素値を取得するステップとを含む請求項１０又は請求項１１に記載の結像方法。

【請求項13】

前記読み出しステップが、前記画素ユニットにより発生されたアナログ信号の出力をデジタル信号の出力に変換するステップを含む請求項１０から請求項１２のいずれかに記載の結像方法。

【請求項14】

モバイル端末であって、
ハウジングと、プロセッサと、メモリと、回路基板と、電源回路とを備え、
前記回路基板が、前記ハウジングにより囲まれた空間内部に配置され、
前記プロセッサ及び前記メモリが、前記回路基板に設けられ、
前記電源回路が、前記モバイル端末の各回路又は部品に給電し、
前記メモリが、実行可能なプログラムコードを記憶し、
前記プロセッサが、前記メモリに記憶された前記実行可能なプログラムコードを読み出し、前記実行可能なプログラムコードに対応するプログラムを実行し、
請求項１０から請求項１３のいずれかに記載の結像方法を実行するモバイル端末。

【請求項15】

コンピュータ読み取り可能な記録媒体であって、
記憶されたコマンドを有し、モバイル端末のプロセッサが前記コマンドを実行するときに、前記モバイル端末が請求項１０から請求項１３のいずれかに記載の結像方法を実行するコンピュータ読み取り可能な記録媒体。

【手続補正2】

【補正対象書類名】明細書

【補正対象項目名】０００５

【補正方法】変更

【補正の内容】

【0005】

上記課題を解決するために、本発明の一態様において、ハイダイナミックレンジイメージの生成方法を提供する。そのうち、前記イメージセンサが、画素アレイと、該画素アレイに設けられたフィルタアレイとを備え、前記フィルタアレイにおける各フィルタユニットが前記画素アレイにおける複数の画素ユニットを備えて画素構造単位を構成し、前記生成方法が、各前記画素構造単位内の前記画素ユニットの露光をそれぞれ制御し、そのうち、第１画素ユニットが第１露光時間で露光し、第２画素ユニットが第２露光時間で露光し、前記第１露光時間が前記第２露光時間より大きいステップを含む。

【手続補正3】

【補正対象書類名】明細書

【補正対象項目名】０００９

【補正方法】変更

【補正の内容】

【0009】

上記課題を解決するために、本発明の他の態様の実施形態に係る撮影装置を提出する。当該撮影装置は、イメージセンサと、イメージプロセッサとを備える。前記イメージセンサが、画素アレイと、該画素アレイに設けられたフィルタアレイとを備え、各該フィルタアレイにおける各フィルタユニットが前記画素アレイにおける複数の画素ユニットを備えて画素構造単位を構成する。前記イメージプロセッサが、各前記画素構造単位内の前記画素ユニットの露光をそれぞれ制御し、露光の制御とは、前記第１画素ユニットが第１露光時間で露光するように制御し、前記第２画素ユニットが第２露光時間で露光するように制御し、前記第１露光時間が前記第２露光時間より大きい。

【手続補正4】

【補正対象書類名】明細書

【補正対象項目名】００２７

【補正方法】変更

【補正の内容】

【0027】

【図1】本発明の一実施形態に係るイメージセンサのハイダイナミックレンジイメージの生成方法のフローチャートである。

【図2】本発明の一実施形態における画素構造単位にある４つの画素ユニットが合わされた概略図である。

【図3】本発明の一実施形態に係るイメージセンサのハイダイナミックレンジイメージの生成方法の変形例のフローチャートである。

【図4】本発明の一実施形態に係る撮影装置のブロック図である。

【図5】本発明の一実施形態に係る撮影装置の変形例のブロック図である。

【図6】本発明の一実施形態に係る端末のブロック図である。

【図7】本発明の一実施形態に係る端末の変形例のブロック図である。

【図8】本発明の一実施形態に係る結像方法のフローチャートである。

【図9】本発明の一実施形態に係る結像方法の変形例のフローチャートである。

【図10】本発明の一実施形態に係る結像方法の変形例のフローチャートである。

【手続補正5】

【補正対象書類名】明細書

【補正対象項目名】００３８

【補正方法】変更

【補正の内容】

【0038】

Ｓ２ステップにおいて、各画素構造単位内の画素ユニットの露光をそれぞれ制御し、そのうち、第１画素ユニットが第１露光時間で露光し、第２画素ユニットが第２露光時間で露光し、第１露光時間が前記第２露光時間より大きくする。具体的には、第１露光時間が長時間露光であってもよいが、第２露光時間が短時間露光であってもよい。即ち、単一の画素即ち画素構造単位内だけで２つのレベルの露光が実現され、２つのレベルの露光が行われる画素ユニットが同じ色である。

【手続補正6】

【補正対象書類名】明細書

【補正対象項目名】００４１

【補正方法】変更

【補正の内容】

【0041】

Ｓ３ステップにおいて、画素アレイの出力を読み出し、また同一画素構造単位の画素ユニットの出力を加算して画素構造単位の画素値を取得する。
本発明の変形例において、各画像ユニットの出力をＳとする。

【手続補正7】

【補正対象書類名】明細書

【補正対象項目名】００５１

【補正方法】変更

【補正の内容】

【0051】

イメージプロセッサ２０は各画素構造単位１１１内の画素ユニット１１２の露光をそれぞれ制御する。具体的には、イメージプロセッサ２０は、第１画素ユニット１１２が第１露光時間で露光するように制御し、第２画素ユニット１１２が第２露光時間で露光するように制御し、第１露光時間が第２露光時間より大きい。例えば、第１露光時間が長時間露光であってもよいし、第２露光時間が短時間露光であってもよい。

【手続補正8】

【補正対象書類名】明細書

【補正対象項目名】００６２

【補正方法】変更

【補正の内容】

【0062】

Ｓ１’ステップにおいて、画素アレイの出力を読み出す。

【手続補正9】

【補正対象書類名】明細書

【補正対象項目名】００６３

【補正方法】変更

【補正の内容】

【0063】

Ｓ２’ステップにおいて、同一画素構造単位の画素ユニットの出力を加算して画素構造単位の画素値を取得する。

【手続補正10】

【補正対象書類名】明細書

【補正対象項目名】００６４

【補正方法】変更

【補正の内容】

【0064】

Ｓ３’ステップにおいて、すべての画素構造単位の画素値を合成してシングルフレームのハイダイナミックレンジイメージを取得する。

【手続補正11】

【補正対象書類名】明細書

【補正対象項目名】００６５

【補正方法】変更

【補正の内容】

【0065】

本発明の一実施形態に係る結像方法は、仮に元の各画素ユニットの出力をＳとし、ノイズをＮとし、画素構造単位がｍ個の画素ユニットを備えるとしたら、画素構造単位の画素値がｎ＊ｍ＊Ｓとなり、画素構造単位のノイズが

となり、ｎ＝２、ｍ＝２である場合、画素構造単位のノイズがｎ＊ｍ＊Ｎ／２程度になる。従って、画素構造単位の輝度が低輝度の環境で向上できるうえに、信号ノイズ比も高められる。

【手続補正12】

【補正対象書類名】明細書

【補正対象項目名】００６６

【補正方法】変更

【補正の内容】

【0066】

図９に示されるように、本実施形態の変形例として、イメージセンサの各同じ色のフィルタが２＊２個の画素ユニットに対応し、イメージセンサがレジスタを備え、Ｓ２ステップは、Ｓ２０１’ステップとＳ２０２’ステップとをさらに含んでいてもよい。

【手続補正13】

【補正対象書類名】明細書

【補正対象項目名】００６７

【補正方法】変更

【補正の内容】

【0067】

Ｓ２０１’ステップにおいて、ｋ行目及びｋ＋１行目の画素ユニットの出力を採取してレジスタに記憶し、そのうち、ｋ＝２ｎ−１であり、ｎが自然数であり、ｋ＋１が画素ユニットの総行数の以下である。

【手続補正14】

【補正対象書類名】明細書

【補正対象項目名】００６８

【補正方法】変更

【補正の内容】

【0068】

Ｓ２０２’ステップにおいて、レジスタからｋ行目及びｋ＋１行目の画素ユニットの出力を抽出し、同一画素構造単位における画素ユニットの出力を加算して画素構造単位の画素値を取得する。

【手続補正15】

【補正対象書類名】明細書

【補正対象項目名】００７０

【補正方法】変更

【補正の内容】

【0070】

図１０に示されるように、本実施形態の変形例として、Ｓ２ステップは、画素ユニットにより発生されたアナログ信号の出力をデジタル信号の出力に変換するＳ３０１’ステップと、同一画素構造単位における画素ユニットの出力を加算して画素構造単位の画素値を取得するＳ３０２’ステップとをさらに含んでいてもよい。

【手続補正16】

【補正対象書類名】図面

【補正対象項目名】図１

【補正方法】変更

【補正の内容】

【図1】

【手続補正17】

【補正対象書類名】図面

【補正対象項目名】図３

【補正方法】変更

【補正の内容】

【図3】

【手続補正18】

【補正対象書類名】図面

【補正対象項目名】図８

【補正方法】変更

【補正の内容】

【図8】

【手続補正19】

【補正対象書類名】図面

【補正対象項目名】図９

【補正方法】変更

【補正の内容】

【図9】

【手続補正20】

【補正対象書類名】図面

【補正対象項目名】図１０

【補正方法】変更

【補正の内容】

【図10】

【国際調査報告】