知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024122913
(43)【公開日】2024-09-09
(54)【発明の名称】イメージセンサ
(51)【国際特許分類】
H04N 25/703 20230101AFI20240902BHJP
【ＦＩ】
H04N25/703
【審査請求】未請求
【請求項の数】20
【出願形態】ＯＬ
(21)【出願番号】P 2024026742
(22)【出願日】2024-02-26
(31)【優先権主張番号】10-2023-0026909
(32)【優先日】2023-02-28
(33)【優先権主張国・地域又は機関】KR
(71)【出願人】
【識別番号】390019839
【氏名又は名称】三星電子株式会社
【氏名又は名称原語表記】Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ．
【住所又は居所原語表記】１２９，Ｓａｍｓｕｎｇ－ｒｏ，Ｙｅｏｎｇｔｏｎｇ－ｇｕ，Ｓｕｗｏｎ－ｓｉ，Ｇｙｅｏｎｇｇｉ－ｄｏ，Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100229448
【弁理士】
【氏名又は名称】中槇 利明
(72)【発明者】
【氏名】朴 根柱
(72)【発明者】
【氏名】金 俊▲そく▼
(72)【発明者】
【氏名】孫 奉祺
(72)【発明者】
【氏名】朴 宰河
(72)【発明者】
【氏名】林 仁天
【テーマコード（参考）】
5C024
【Ｆターム（参考）】
5C024CX54
5C024CY26
5C024GY31
5C024HX23
5C024HX29
5C024HX58
(57)【要約】 （修正有）
【課題】低速フレームレートのイメージデータとイメージデータに対する高速フレームレートのイベントデータを生成し、順次にパッキングして出力することにより、イメージデータ及びイベントデータの伝送効率を向上させるためのイメージセンサを提供する。
【解決手段】複数のピクセルを含むイメージセンサ１００ａは、複数のピクセル含むピクセルアレイ及び処理回路を含み、処理回路は、第１露出時間の間、複数のピクセルのそれぞれに受信される光学信号を電気信号に変換して第１イメージデータを生成し、第１露出時間の間に、複数のピクセルそれぞれに入射される光学信号の強度変化に係わる情報を含み第１イメージデータのフレームレートより高いフレームレートのイベントデータを生成し、第１イメージデータ及びイベントデータを受信し、第１イメージデータと第１露出時間に対応するイベントデータを順次にパッキングして出力データを生成することができる。
【選択図】図３
【解決手段】複数のピクセルを含むイメージセンサ１００ａは、複数のピクセル含むピクセルアレイ及び処理回路を含み、処理回路は、第１露出時間の間、複数のピクセルのそれぞれに受信される光学信号を電気信号に変換して第１イメージデータを生成し、第１露出時間の間に、複数のピクセルそれぞれに入射される光学信号の強度変化に係わる情報を含み第１イメージデータのフレームレートより高いフレームレートのイベントデータを生成し、第１イメージデータ及びイベントデータを受信し、第１イメージデータと第１露出時間に対応するイベントデータを順次にパッキングして出力データを生成することができる。
【選択図】図３
【特許請求の範囲】
【請求項1】
イメージセンサにおいて、
複数のピクセルと、
処理回路と、を含み、
前記処理回路は、
第１露出時間の間に、前記複数のピクセルのそれぞれに受信される光学信号を電気信号に変換して第１イメージデータを生成し、前記第１露出時間の間に、前記複数のピクセルのそれぞれに入射される光学信号の強度変化に係わる情報を含み、前記第１イメージデータのフレームレートより高いフレームレートのイベントデータを生成し、
前記第１イメージデータ及び前記イベントデータを受信し、
前記第１イメージデータと前記第１露出時間に対応する前記イベントデータとを順次にパッキングして出力データを生成することを特徴とする、
イメージセンサ。
複数のピクセルと、
処理回路と、を含み、
前記処理回路は、
第１露出時間の間に、前記複数のピクセルのそれぞれに受信される光学信号を電気信号に変換して第１イメージデータを生成し、前記第１露出時間の間に、前記複数のピクセルのそれぞれに入射される光学信号の強度変化に係わる情報を含み、前記第１イメージデータのフレームレートより高いフレームレートのイベントデータを生成し、
前記第１イメージデータ及び前記イベントデータを受信し、
前記第１イメージデータと前記第１露出時間に対応する前記イベントデータとを順次にパッキングして出力データを生成することを特徴とする、
イメージセンサ。
【請求項2】
前記第１露出時間は、複数のサブ露出時間を含み、
前記処理回路は、
イメージフレームの複数のサブフレームに対応する第２イメージデータを生成し、前記複数のサブフレームは、前記複数のサブ露出時間に対応することを特徴とする、
請求項１に記載のイメージセンサ。
前記処理回路は、
イメージフレームの複数のサブフレームに対応する第２イメージデータを生成し、前記複数のサブフレームは、前記複数のサブ露出時間に対応することを特徴とする、
請求項１に記載のイメージセンサ。
【請求項3】
前記イメージセンサは、
前記第２イメージデータを保存するメモリをさらに含むことを特徴とする、
請求項２に記載のイメージセンサ。
前記第２イメージデータを保存するメモリをさらに含むことを特徴とする、
請求項２に記載のイメージセンサ。
【請求項4】
前記処理回路は、
前記メモリから前記複数のサブフレームのそれぞれに対応する第２イメージデータのうちの少なくとも一部を受信するプリプロセッサをさらに含み、
前記複数のサブフレームのそれぞれに対応する第２イメージデータのうちの少なくとも一部を併合して前記第１イメージデータとして生成することを特徴とする、
請求項３に記載のイメージセンサ。
前記メモリから前記複数のサブフレームのそれぞれに対応する第２イメージデータのうちの少なくとも一部を受信するプリプロセッサをさらに含み、
前記複数のサブフレームのそれぞれに対応する第２イメージデータのうちの少なくとも一部を併合して前記第１イメージデータとして生成することを特徴とする、
請求項３に記載のイメージセンサ。
【請求項5】
前記処理回路は、
前記複数のサブフレームから生成された前記第２イメージデータ及び前記複数のサブフレームのそれぞれと連続した少なくとも１つの参照フレームで生成された第２イメージデータを用いて前記複数のサブフレームのそれぞれに対応するイベントデータを生成することを特徴とする、請求項２に記載のイメージセンサ。
前記複数のサブフレームから生成された前記第２イメージデータ及び前記複数のサブフレームのそれぞれと連続した少なくとも１つの参照フレームで生成された第２イメージデータを用いて前記複数のサブフレームのそれぞれに対応するイベントデータを生成することを特徴とする、請求項２に記載のイメージセンサ。
【請求項6】
前記処理回路は、
前記複数のサブフレームのそれぞれに対応する第２イメージデータに基づいて前記複数のサブフレームのそれぞれに対応する変換イメージデータを生成し、
前記複数のサブフレームのそれぞれに対応する変換イメージデータと、前記複数のサブフレームのそれぞれに対応する前記少なくとも１つの参照フレームの変換イメージデータのそれぞれの差分を示し、前記複数のサブフレームのそれぞれに対応する差分データを生成し、
前記差分データに基づいて前記複数のサブフレームのそれぞれに対応するイベントデータを生成することを特徴とする、
請求項５に記載のイメージセンサ。
前記複数のサブフレームのそれぞれに対応する第２イメージデータに基づいて前記複数のサブフレームのそれぞれに対応する変換イメージデータを生成し、
前記複数のサブフレームのそれぞれに対応する変換イメージデータと、前記複数のサブフレームのそれぞれに対応する前記少なくとも１つの参照フレームの変換イメージデータのそれぞれの差分を示し、前記複数のサブフレームのそれぞれに対応する差分データを生成し、
前記差分データに基づいて前記複数のサブフレームのそれぞれに対応するイベントデータを生成することを特徴とする、
請求項５に記載のイメージセンサ。
【請求項7】
前記処理回路は、
前記複数のサブフレームのそれぞれに対応する第２イメージデータをグレースケールに変換し、
前記グレースケールに変換した結果をログスケールに変換し、
前記複数のサブフレームのそれぞれに対応する変換イメージデータを生成することを特徴とする
請求項６に記載のイメージセンサ。
前記複数のサブフレームのそれぞれに対応する第２イメージデータをグレースケールに変換し、
前記グレースケールに変換した結果をログスケールに変換し、
前記複数のサブフレームのそれぞれに対応する変換イメージデータを生成することを特徴とする
請求項６に記載のイメージセンサ。
【請求項8】
前記処理回路は、
前記複数のサブフレームのそれぞれの差分データと既設定のしきい値とを比較して前記複数のサブフレームのそれぞれのイベントデータを生成することを特徴とする、請求項６に記載のイメージセンサ。
前記複数のサブフレームのそれぞれの差分データと既設定のしきい値とを比較して前記複数のサブフレームのそれぞれのイベントデータを生成することを特徴とする、請求項６に記載のイメージセンサ。
【請求項9】
前記処理回路は、
前記複数のサブフレームのそれぞれの差分データをピクセル単位で既設定のしきい値と比べて、前記ピクセル単位に対応する前記イベントデータの大きさは、１ビット(bit)であることを特徴とする、請求項６に記載のイメージセンサ。
前記複数のサブフレームのそれぞれの差分データをピクセル単位で既設定のしきい値と比べて、前記ピクセル単位に対応する前記イベントデータの大きさは、１ビット(bit)であることを特徴とする、請求項６に記載のイメージセンサ。
【請求項10】
前記処理回路は、
前記複数のサブフレームのそれぞれの第２イメージデータをｋ（ｋは、２以上の正数）個のピクセル単位にグルーピングし、
グルーピングされたピクセル単位で、前記複数のサブフレームのそれぞれに対応する第２イメージデータ及び前記複数のサブフレームのそれぞれに対応する参照フレームの第２イメージデータに基づき、前記複数のサブフレームのそれぞれに対応するイベントデータを生成することを特徴とする、
請求項５に記載のイメージセンサ。
前記複数のサブフレームのそれぞれの第２イメージデータをｋ（ｋは、２以上の正数）個のピクセル単位にグルーピングし、
グルーピングされたピクセル単位で、前記複数のサブフレームのそれぞれに対応する第２イメージデータ及び前記複数のサブフレームのそれぞれに対応する参照フレームの第２イメージデータに基づき、前記複数のサブフレームのそれぞれに対応するイベントデータを生成することを特徴とする、
請求項５に記載のイメージセンサ。
【請求項11】
前記複数のピクセルは、
前記光学信号を前記電気信号に変換する少なくとも１つのＣＭＯＳイメージセンサ（ＣＩＳ）ピクセル及び前記光学信号の強度変化を感知する少なくとも１つのダイナミックビジョンセンサ（ＤＶＳ）ピクセルを含み、
前記処理回路は、
前記複数のピクセルのうち、前記少なくとも１つのＣＩＳピクセルを用いて前記第１イメージデータを生成し、前記少なくとも１つのＤＶＳピクセルを用いて前記イベントデータを生成することを特徴とする、
請求項１に記載のイメージセンサ。
前記光学信号を前記電気信号に変換する少なくとも１つのＣＭＯＳイメージセンサ（ＣＩＳ）ピクセル及び前記光学信号の強度変化を感知する少なくとも１つのダイナミックビジョンセンサ（ＤＶＳ）ピクセルを含み、
前記処理回路は、
前記複数のピクセルのうち、前記少なくとも１つのＣＩＳピクセルを用いて前記第１イメージデータを生成し、前記少なくとも１つのＤＶＳピクセルを用いて前記イベントデータを生成することを特徴とする、
請求項１に記載のイメージセンサ。
【請求項12】
前記処理回路は、
既設定の時間ごとにサブフレーム単位でイベントデータを生成し、
前記第１イメージデータと前記第１露出時間の間に、フレーム単位で生成された前記イベントデータを順次にパッキングして出力データを生成することを特徴とする、
請求項１１に記載のイメージセンサ。
既設定の時間ごとにサブフレーム単位でイベントデータを生成し、
前記第１イメージデータと前記第１露出時間の間に、フレーム単位で生成された前記イベントデータを順次にパッキングして出力データを生成することを特徴とする、
請求項１１に記載のイメージセンサ。
【請求項13】
それぞれの光学信号を電気信号に変換する複数のピクセルを含むピクセルアレイから前記電気信号をリードアウトしてサブフレーム単位で初期イメージデータを生成する処理回路と、
前記初期イメージデータを保存するメモリと、を含み、
前記処理回路は、
前記初期イメージデータに基づいて第１イメージデータを生成し、前記第１イメージデータは、第１露出時間に含まれる複数のサブ露出時間それぞれによってフレームに含まれたｍ（ｍは、正数）個のサブフレームそれぞれの初期イメージデータを併合して生成され、
前記ｍ個のサブフレームそれぞれに対応する初期イメージデータに基づいて前記ｍ個のサブフレームそれぞれに対応するイベントデータを生成し、
前記第１イメージデータ及び前記イベントデータをいずれも順次にパッキングして出力データを生成することを特徴とする、
イメージセンサ。
前記初期イメージデータを保存するメモリと、を含み、
前記処理回路は、
前記初期イメージデータに基づいて第１イメージデータを生成し、前記第１イメージデータは、第１露出時間に含まれる複数のサブ露出時間それぞれによってフレームに含まれたｍ（ｍは、正数）個のサブフレームそれぞれの初期イメージデータを併合して生成され、
前記ｍ個のサブフレームそれぞれに対応する初期イメージデータに基づいて前記ｍ個のサブフレームそれぞれに対応するイベントデータを生成し、
前記第１イメージデータ及び前記イベントデータをいずれも順次にパッキングして出力データを生成することを特徴とする、
イメージセンサ。
【請求項14】
前記処理回路は、
第１フレームレートを使用して前記初期イメージデータを併合し、
前記併合された初期イメージデータに基づいて前記第１フレームレートより低い第２フレームレートの第１イメージデータとして生成し、
前記第２フレームレートの第１イメージデータ及び前記第１フレームレートの前記イベントデータをパッキングすることを特徴とする、
請求項１３に記載のイメージセンサ。
第１フレームレートを使用して前記初期イメージデータを併合し、
前記併合された初期イメージデータに基づいて前記第１フレームレートより低い第２フレームレートの第１イメージデータとして生成し、
前記第２フレームレートの第１イメージデータ及び前記第１フレームレートの前記イベントデータをパッキングすることを特徴とする、
請求項１３に記載のイメージセンサ。
【請求項15】
前記ｍ個のサブフレームは、第１サブフレーム及び前記第１サブフレームと連続した第２サブフレームを含み、
前記処理回路は、
前記第１サブフレーム及び前記第２サブフレームそれぞれに対応する初期イメージデータに基づいて前記第１サブフレームのイベントデータを生成することを特徴とする、
請求項１３に記載のイメージセンサ。
前記処理回路は、
前記第１サブフレーム及び前記第２サブフレームそれぞれに対応する初期イメージデータに基づいて前記第１サブフレームのイベントデータを生成することを特徴とする、
請求項１３に記載のイメージセンサ。
【請求項16】
前記処理回路は、
前記第１サブフレームに対応する初期イメージデータと前記第２サブフレームに対応する初期イメージデータそれぞれを変換して変換イメージデータを生成し、
前記第１サブフレームに対応する変換イメージデータと前記第２サブフレームに対応する変換イメージデータとの差を示す差分データを生成し、
前記差分データに基づいて前記第１サブフレームに対応するイベントデータを生成することを特徴とする、
請求項１５に記載のイメージセンサ。
前記第１サブフレームに対応する初期イメージデータと前記第２サブフレームに対応する初期イメージデータそれぞれを変換して変換イメージデータを生成し、
前記第１サブフレームに対応する変換イメージデータと前記第２サブフレームに対応する変換イメージデータとの差を示す差分データを生成し、
前記差分データに基づいて前記第１サブフレームに対応するイベントデータを生成することを特徴とする、
請求項１５に記載のイメージセンサ。
【請求項17】
前記処理回路は、
前記第１サブフレームの初期イメージデータ及び前記第２サブフレームの初期イメージデータそれぞれをグレースケールに変換し、
前記グレースケールへの変換の結果をログスケールに変換し、
前記第１サブフレームに対応する変換イメージデータ及び前記第２サブフレームに対応する変換イメージデータを生成することを特徴とする、
請求項１６に記載のイメージセンサ。
前記第１サブフレームの初期イメージデータ及び前記第２サブフレームの初期イメージデータそれぞれをグレースケールに変換し、
前記グレースケールへの変換の結果をログスケールに変換し、
前記第１サブフレームに対応する変換イメージデータ及び前記第２サブフレームに対応する変換イメージデータを生成することを特徴とする、
請求項１６に記載のイメージセンサ。
【請求項18】
前記差分データは、前記複数のピクセルの各ピクセルに対応する差分値を含み、
前記処理回路は、
前記複数のピクセルの各ピクセルに対応する差分値と既設定のしきい値とを比較して、前記第１サブフレームに対応するイベントデータを生成することを特徴とする、
請求項１６に記載のイメージセンサ。
前記処理回路は、
前記複数のピクセルの各ピクセルに対応する差分値と既設定のしきい値とを比較して、前記第１サブフレームに対応するイベントデータを生成することを特徴とする、
請求項１６に記載のイメージセンサ。
【請求項19】
前記処理回路は、
前記第１サブフレームに対応する初期イメージデータ及び前記第２サブフレームに対応する初期イメージデータをｋ（ｋは、２以上の正数）個のピクセル単位に対応するようにグルーピングし、
グルーピングされた前記第１サブフレームに対応する初期イメージデータ及びグルーピングされた前記第２サブフレームに対応する初期イメージデータに基づいて前記第１サブフレームのイベントデータを生成することを特徴とする、
請求項１５に記載のイメージセンサ。
前記第１サブフレームに対応する初期イメージデータ及び前記第２サブフレームに対応する初期イメージデータをｋ（ｋは、２以上の正数）個のピクセル単位に対応するようにグルーピングし、
グルーピングされた前記第１サブフレームに対応する初期イメージデータ及びグルーピングされた前記第２サブフレームに対応する初期イメージデータに基づいて前記第１サブフレームのイベントデータを生成することを特徴とする、
請求項１５に記載のイメージセンサ。
【請求項20】
光学信号を電気信号に変換する少なくとも１つのＣＭＯＳイメージセンサ（ＣＩＳ）ピクセル及び前記光学信号の強度変化を感知してイベント信号を生成する少なくとも１つの
ダイナミックビジョンセンサ（ＤＶＳ）ピクセルを含むピクセルアレイと、
処理回路と、を含み、
前記処理回路は、
前記電気信号に基づいて第１フレームレートの第１イメージデータを生成し、
前記イベント信号に基づいて前記第１イメージデータの前記第１フレームレートより高い第２フレームレートのイベントデータを生成し、
前記第１イメージデータ及び前記第１イメージデータの露出時間に対応する前記イベントデータを順次にパッキングして出力データを生成することを特徴とする、
イメージセンサ。
ダイナミックビジョンセンサ（ＤＶＳ）ピクセルを含むピクセルアレイと、
処理回路と、を含み、
前記処理回路は、
前記電気信号に基づいて第１フレームレートの第１イメージデータを生成し、
前記イベント信号に基づいて前記第１イメージデータの前記第１フレームレートより高い第２フレームレートのイベントデータを生成し、
前記第１イメージデータ及び前記第１イメージデータの露出時間に対応する前記イベントデータを順次にパッキングして出力データを生成することを特徴とする、
イメージセンサ。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、イメージデータを伝送するイメージセンサに係り、さらに詳細には、イメージデータ及びイメージデータをイメージ処理するためのイベントデータを伝送するイメージセンサに関する。
【背景技術】
【0002】
イメージセンサ(image sensor)は、対象物の２次元または３次元イメージをキャプチャー(capture)する装置である。イメージセンサは、対象物から反射される光の強度によって反応する光電変換素子を用いて対象物のイメージを生成する。最近、コンピュータ産業と通信産業との発達によってデジタルカメラ、カムコーダ、PCS(Personal Communication System)、ゲーム機器、警備用カメラ、医療用マイクロカメラ、携帯電話など多様な電子機器で性能が向上したイメージセンサに対する需要が増加している。
【0003】
イメージセンサは、イメージ信号プロセッサにイメージデータを出力することができる。撮像装置がスローモーションモード、スーパースローモーションモードなど高速フレーム速度でイメージを提供する動作モードを支援することにより、イメージセンサは、高速フレームレート(high frame rate)でイメージデータを生成及び出力することができる。高速フレームレートでイメージデータを出力するとき、伝送容量が制限されるか、データ伝送遅延が発生しうる。
【0004】
これにより、伝送容量の制限なしにイメージデータを伝送する技術が要求される。
【発明の概要】
【発明が解決しようとする課題】
【0005】
本発明の技術的思想が解決しようとする課題は、低速フレームレートのイメージデータとイメージデータに対する高速フレームレートのイベントデータを生成し、低速フレームレートのイメージデータと高速フレームレートのイベントデータを順次にパッキングして出力することにより、イメージデータ及びイベントデータの伝送効率を向上させるためのイメージセンサを提供する。
【課題を解決するための手段】
【0006】
上述した技術的課題を達成するための技術的手段として、本開示の第１側面は、複数のピクセル及び処理回路を含み、前記処理回路は、第１露出時間の間、前記複数のピクセルそれぞれに受信される光学信号を電気信号に変換して第１イメージデータを生成し、前記第１露出時間の間、前記複数のピクセルそれぞれに入射される光学信号の強度(intensity)変化に係わる情報を含み、前記第１イメージデータのフレームレートより高いフレームレートのイベントデータを生成し、前記第１イメージデータ及び前記イベントデータを受信し、前記第１イメージデータと前記第１露出時間に対応する前記イベントデータを順次にパッキングして出力データを生成することを特徴とするイメージセンサを提供することができる。
【0007】
また、上述した技術的課題を達成するための技術的手段として、本開示の第２側面は、それぞれ光学信号を電気信号に変換する複数のピクセルを含むピクセルアレイから前記電気信号をリードアウトしてフレーム単位で初期イメージデータを生成する処理回路、及び前記初期イメージデータを保存するメモリを含み、前記処理回路は、前記初期イメージデータに基づいて第１イメージデータを生成し、前記第１イメージデータは、第１露出時間に含まれる複数のサブ露出時間それぞれによってフレームに含まれたｍ（ｍは、正数）個のサブフレームそれぞれの初期イメージデータを併合して生成され、前記ｍ個のサブフレームそれぞれに対応する初期イメージデータに基づいて前記ｍ個のサブフレームそれぞれに対応するイベントデータを生成し、前記第１イメージデータ及び前記イベントデータをいずれも順次にパッキングして出力データを生成することを特徴とするイメージセンサを提供することができる。
【0008】
また、上述した技術的課題を達成するための技術的手段として、本開示の第３側面は、光学信号を電気信号に変換する少なくとも１つのCIS(CMOS Image Sensor)ピクセル及び前記光学信号の強度変化を感知してイベント信号を生成する少なくとも１つのDVS(Dynamic Vision Sensor)ピクセルを含むピクセルアレイ、及び処理回路を含み、前記処理回路は、前記電気信号に基づいて第１フレームレートの第１イメージデータを生成し、前記イベント信号に基づいて前記第１イメージデータの前記第１フレームレートより高い第２フレームレートのイベントデータを生成し、前記第１イメージデータ及び前記第１イメージデータの露出時間に対応する前記イベントデータを順次にパッキングして出力データを生成することを特徴とするイメージセンサを提供することができる。
【図面の簡単な説明】
【0009】
【図1】本開示の例示的な実施例によるイメージ処理システムを示すブロック図である。
【図2】本開示の例示的な実施形態による出力データを説明するための図面である。
【図3】本開示の例示的な実施形態によるイメージセンサを説明するためのブロック図である。
【図4】本開示の例示的な実施形態によるイメージセンサの一部を説明するための図面である。
【図5】本開示の例示的な実施形態による第１イメージデータを生成する方法を説明するための図面である。
【図6】本開示の例示的な実施形態によるイベントデータを生成する方法を説明するための図面である。
【図7】本開示の例示的な実施形態によるイベントデータを生成する方法を具体的に説明するための図面である。
【図8】本開示の例示的な実施形態による第２イメージデータを説明するための図面である。
【図9】本開示の例示的実施形態によるイメージセンサを説明するための図面である。
【図10】本開示の例示的な実施形態による第１露出時間に対応するイベントデートを説明するための図面である。
【図11】本開示の例示的実施形態による電子装置を示すブロック図である。
【発明を実施するための形態】
【0010】
以下、添付した図面を参照して本発明の実施例について詳細に説明する。図面上の同じ構成要素については、同じ参照符号を使用し、それらについての重複説明は省略する。
【0011】
本開示で使用される「回路」という用語は、ソフトウェアまたはＦＰＧＡまたはＡＳＩＣのようなハードウェア構成要素を意味し、「回路」は、特定の役割を遂行する。但し、「回路」は、ソフトウェアまたは、ハードウェアに限定される意味ではない。「回路」は、アドレッシング可能な記録媒体に位置するようにも構成され、１つまたはそれ以上のプロセッサを再生させるようにも構成される。したがって、一例として、「回路」は、ソフトウェア構成要素、客体指向ソフトウェア構成要素、クラス構成要素及びタスク構成要素のような構成要素と、プロセス、関数、属性、プロシージャ、サブルーチン、プログラムコードのセグメント、ドライバ、ファームウェア、マイクロコード、回路、データ、データベース、データ構造、テーブル、アレイ、及び変数を含みうる。
【0012】
図１は、本開示の例示的な実施例によるイメージ処理システムを示すブロック図である。
【0013】
イメージ処理システム１０は、電子装置に内蔵(embedded)されるか、または、電子装置として具現されうる。電子装置は、イメージを撮影し、撮影されたイメージをディスプレイするか、または撮影されたイメージに基づいた動作を遂行する装置であって、例えば、PC(personal computer)、IoT(Internet of Things)装置、または、携帯用電子装置として具現されうる。携帯用電子装置は、ラップトップコンピュータ、移動電話機、スマ－トフォン、タブレットＰＣ、PDA(personal digital assistant)、EDA(enterprise digital assistant)、デジタルスチールカメラ、デジタルビデオカメラ、オーディオ装置、PMP(portable multimedia player)、PND(personal navigation device)、ＭＰ３プレーヤー、携帯用ゲームコンソール(handheld game console)、ｅブック(e-book)、ウェアラブル機器などを含みうる。また、イメージ処理システム１０は、ドローン(drone)、先進運転支援システム(Advanced Drivers Assistance System; ADAS)のような電子機器または車両、家具、製造設備、ドア、各種計測機器などに部品として備えられる電子機器に搭載されうる。但し、必ずしもそれに制限されるものではない。
【0014】
図１を参照すれば、イメージ処理システム１０は、イメージセンサ１００及びイメージ信号プロセッサ２００を含みうる。イメージ処理システム１０は、ディスプレイ、ユーザインターフェースなどの他の構成をさらに含みうる。イメージセンサ１００は、センシング回路１１０及びロジック回路１２０を含みうる。但し、必ずしもそれに制限されるものではない。一部実施形態によれば、イメージセンサ１００、イメージ信号プロセッサ２００、センシング回路１１０及び／または論理回路１２０のうち１つ以上が処理回路として具現されうる。処理回路は、論理回路を含むハードウェアまたは、ハードウェア回路、ソフトウェア及び／またはファームウェアを実行するプロセッサのようなハードウェア／ソフトウェアの組み合わせ、または、それらの組み合わせを含みうる。例えば、処理回路は、さらに具体的に中央処理装置（ＣＰＵ）、算術論理装置（ＡＬＵ）、デジタル信号プロセッサ、マイクロコンピュータ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、システムオンチップ（ＳｏＣ）、プログラマブル論理装置、マイクロプロセッサ、アプリケーション別集積回路（ＡＳＩＣ）などを含むことができるが、必ずしもそれに制限されるものではない。
【0015】
イメージセンサ１００は、光学レンズを介して入射された被写体(Object)の光学信号を電気信号に変換し、電気信号に基づいてイメージを生成することができる。イメージセンサ１００は、複数のピクセルを含みうる。複数のピクセルそれぞれは、外部からの光学信号を感知し、感知された光学信号を電気信号に変換してピクセル信号を生成することができる。イメージセンサ１００は、電気信号に基づいてイメージデータを生成することができる。
【0016】
イメージセンサ１００は、例えば、２次元に配列された複数のピクセルを含むピクセルアレイ及びリードアウト(readout)回路を含み、ピクセルアレイは、受信される光信号を電気信号に変換しうる。ピクセルアレイは、例えば、CCD(Charge Coupled Devices)またはCMOS(Complementary Metal Oxide Semiconductor)などの光電変換素子として具現され、それ以外にも、多様な種類の光電変換素子として具現されうる。
【0017】
複数のピクセルそれぞれは、特定スペクトル領域の光を感知しうる。例えば、複数のピクセルは、レッド(red)スペクトル領域の光を電気信号に変換するレッドピクセル、グリーン(green)スペクトル領域の光を電気信号に変換するためのグリーンピクセル、及びブルー(blue)スペクトル領域の光を電気信号に変換するためのブルーピクセルを含みうる。複数のピクセルそれぞれの上部には、特定スペクトル領域の光を透過させるためのカラーフィルタが配置され、集光のためのマイクロレンズが配置されうる。
【0018】
一実施形態において、複数のピクセルは、CIS(CMOS Image Sensor)ピクセル及びDVS(Dynamic Vision Sensor)ピクセルを含みうる。ＣＩＳピクセルは、光学信号を電気信号に変換してイメージ信号を生成し、ＤＶＳピクセルは、光学信号の強度変化を感知してイベント信号を生成しうる。ＤＶＳピクセルは、入射される光の強度(intensity)の変化であるイベント(event)を感知してイベント信号を出力しうる。
【0019】
センシング回路１１０は、第１イメージデータＩＤＴ１及びイベントデータＥＤＴを生成しうる。センシング回路１１０は、第１フレームレートのイベントデータＥＤＴを生成しうる。センシング回路１１０は、第２フレームレートの第１イメージデータＩＤＴ１を生成しうる。第１フレームレートは、第２フレームレートより高い速度でもある。第１フレームレートは、高速フレームレートと指称され、第２フレームレートは、低速フレームレートとも指称される。例示的に、イメージデータは、イメージの色相を示すＲＧＢデータでもあり、イベントデータは、イメージの光の強度変化を示すデータでもある。センシング回路１１０は、第１イメージデータＩＤＴ１及びイベントデータＥＤＴをロジック回路１２０に伝達しうる。
【0020】
センシング回路１１０は、第１露出時間の間、複数のピクセルそれぞれに受信される光学信号を電気信号に変換して第１イメージデータＩＤＴ１を生成しうる。センシング回路１１０は、光学レンズを介して入射されたオブジェクトの光学信号を電気信号に変換し、ピクセルアレイから提供される電気信号に基づいてローデータ(Raw data)を生成し、ローデータまたはバッドピクセル除去などの前処理が遂行されたローデータを第１イメージデータＩＤＴ１として出力しうる。
【0021】
センシング回路１１０は、光電変換素子を第１露出時間の間、露出させて獲得された第１イメージ信号に基づいて、第１イメージデータＩＤＴ１を生成することができる。センシング回路１１０は、第１露出時間に対応するメインフレームの第１イメージデータＩＤＴ１を生成しうる。センシング回路１１０は、第１露出時間の間、獲得された第１イメージ信号に基づいてメインフレームの第１イメージデータＩＤＴ１を生成しうる。
【0022】
一実施形態において、センシング回路１１０は、同じ被写体に対して輝度の異なる複数のイメージデータを生成しうる。第１露出時間は、複数のサブ露出時間を含みうる。第１露出時間は、メインフレームに対応し、複数のサブ露出時間それぞれは、複数のサブフレームそれぞれに対応しうる。センシング回路１１０は、第１露出時間に含まれる複数のサブ露出時間それぞれによるフレーム単位で複数のフレームそれぞれの第２イメージデータを生成しうる。
【0023】
センシング回路１１０は、第１露出時間に含まれるそれぞれの複数のサブ露出時間の間、複数のピクセルそれぞれに受信される光学信号を電気信号に変換して第２イメージ信号を生成し、第２イメージ信号に基づいて複数のサブフレームそれぞれの第２イメージデータを生成しうる。例示的に、第１露出時間は、複数のサブ露出時間を含み、センシング回路１１０は、それぞれの複数のサブ露出時間ごとに第２イメージ信号を生成し、第２イメージ信号に基づいて複数のサブ露出時間それぞれに対応する複数のサブフレームそれぞれの第２イメージデータを生成しうる。第２イメージデータは、第１イメージデータＩＤＴ１より高速のフレームレートとして生成されうる。例えば、センシング回路１１０は、第１フレームレートの第２イメージデータを生成しうる。
【0024】
センシング回路１１０は、複数のサブフレームそれぞれの第２イメージデータに基づいて第１イメージデータＩＤＴ１を生成することができる。センシング回路１１０は、複数のサブフレームそれぞれの第２イメージデータのうち少なくとも一部を併合して第１イメージデータＩＤＴ１を生成することができる。例示的に、センシング回路１１０は、複数のサブフレームそれぞれの第２イメージデータの値を合算してメインフレームの第１イメージデータＩＤＴ１として生成しうる。センシング回路１１０は、複数のフレームそれぞれの第２イメージデータを併合して第１イメージデータＩＤＴ１を生成しうる。第１露出時間は、複数のサブ露出時間を含み、センシング回路１１０は、複数のサブ露出時間それぞれに対応する複数のサブフレームそれぞれの第２イメージデータを併合することができる。
【0025】
センシング回路１１０は、複数のサブフレームそれぞれの第２イメージデータを併合して第１露出時間の間、露出された第１イメージデータＩＤＴ１を生成しうる。センシング回路１１０は、高速フレームレートの第２イメージデータを併合して低速フレームレートの第１イメージデータＩＤＴ１を生成することができる。
【0026】
センシング回路１１０は、イベントデータＥＤＴを生成しうる。センシング回路１１０は、第１露出時間の間、複数のピクセルそれぞれに入射される光学信号の強度変化に係わる情報を含むイベントデータＥＤＴを生成しうる。センシング回路１１０は、第１露出時間の間、複数のピクセルそれぞれに受信される光学信号に基づいて第１イメージデータＩＤＴ１を生成し、第１露出時間の間に発生したイベントに基づいてイベントデータＥＤＴを生成しうる。
【0027】
一実施形態において、イメージセンサ１００がＤＶＳピクセルを含む場合、センシング回路１１０は、ＤＶＳピクセルを用いてイベントデータを生成することができる。ＤＶＳピクセルは、入射される光の強度変化を感知してイベント信号を出力することができる。光の強度の増加するイベントが発生する場合、ＤＶＳピクセルは、それに対応するオンイベント信号を出力することができる。逆に、光の強度が減少するイベントが発生する場合、ＤＶＳピクセルは、オフイベント信号を出力することができる。
【0028】
センシング回路１１０は、イベント信号に基づいてフレーム単位でイベントデータＥＤＴを生成しうる。センシング回路１１０は、第１露出時間の間に発生したイベントに係わる情報を含むイベントデータＥＤＴを既設定の時間ごとにフレーム単位で生成しうる。例示的に、センシング回路１１０は、第１露出時間の間に発生したイベントに係わる情報を含むイベントデータＥＤＴをメインフレームより短いサブフレーム単位で生成することができる。センシング回路１１０は、第１露出時間の間のイベントデータＥＤＴに対して既設定の時間ごとにサブフレーム単位で生成するので、高速フレームレートのイベントデータＥＤＴが生成されうる。センシング回路１１０は、既設定の周期ごとにＤＶＳピクセルをスキャンしてイベントデータＥＤＴを出力することができる。センシング回路１１０は、全てのＤＶＳピクセルに対してイベント信号を出力するものではなく、光の強度変化が感知されるピクセルのみにイベント信号を出力することができる。
【0029】
または、一実施形態において、イメージセンサ１００は、ＣＩＳピクセルのみ含みうる。センシング回路１１０は、第１露出時間に含まれる複数のサブ露出時間に基づいてサブフレーム単位で複数のサブフレームそれぞれの第２イメージデータを生成することができる。第２イメージデータは、第１イメージデータＩＤＴ１より高速のフレームレートによって生成されうる。センシング回路１１０は、第２イメージデータに基づいてイベントデータＥＤＴを生成することができる。センシング回路１１０は、複数のサブフレームそれぞれの第２イメージデータに基づいて複数のサブフレームそれぞれのイベントデータＥＤＴを生成しうる。センシング回路１１０は、複数のサブフレームそれぞれのイベントデータＥＤＴを生成するので、第１イメージデータＩＤＴ１より高速フレームレートのイベントデータＥＤＴを生成することができる。
【0030】
センシング回路１１０は、参照フレームに基づき、複数のサブフレームのうちイベントデータＥＤＴを生成しようとする対象フレームでのイベントデータＥＤＴを生成しうる。参照フレームは、対象フレームと連続したフレームを意味する。例えば、第１サブフレーム及び第２サブフレームが連続する場合、第１サブフレームの参照フレームは、第２サブフレームでもある。
【0031】
センシング回路１１０は、複数のサブフレームのうち複数のサブフレームそれぞれと連続した少なくとも１つの参照フレームの第２イメージデータに基づいて複数のサブフレームそれぞれのイベントデータＥＤＴを生成しうる。センシング回路１１０は、参照フレームの第２イメージデータに含まれたピクセルと、対象フレームの第２イメージデータに含まれたピクセルとの差（例えば、光の強度差、輝度値差など）に基づいてイベントデータＥＤＴを生成しうる。例えば、センシング回路１１０は、対象フレームである第１サブフレームの第２イメージデータと、参照フレームである第２サブフレームの第２イメージデータとの差に基づき、第１サブフレームのイベントデータＥＤＴを生成することができる。
【0032】
センシング回路１１０は、第１イメージデータＩＤＴ１及びイベントデータＥＤＴをロジック回路１２０に伝達しうる。第１露出時間に対応する第１イメージデータＩＤＴ１及びイベントデータＥＤＴがロジック回路１２０に伝達されうる。第１露出時間に対応するイベントデータＥＤＴは、前述した複数のサブフレームそれぞれのイベントデータＥＤＴを含みうる。センシング回路１１０は、低速フレームレートの第１イメージデータＩＤＴ１及び高速フレームレートのイベントデータＥＤＴをロジック回路１２０に伝達しうる。
【0033】
ロジック回路１２０は、第１イメージデータＩＤＴ１及びイベントデータＥＤＴを受信しうる。ロジック回路１２０は、第１イメージデータＩＤＴ１及びイベントデータＥＤＴをパッキングして出力データｏｄを生成しうる。ロジック回路１２０は、第１露出時間に対応する第１イメージデータＩＤＴ１及び第１露出時間に対応するイベントデータＥＤＴを順次にパッキングして出力データｏｄを生成することができる。
【0034】
例えば、ロジック回路１２０は、第１露出時間に対応する第１イメージデータＩＤＴ１及びイベントデータＥＤＴの羅列順にパッキングしうる。但し、必ずしもそれに制限されるものではなく、ロジック回路１２０は、イベントデータＥＤＴ及び第１イメージデータＩＤＴ１の羅列順にパッキングすることができる。出力データｏｄについて図２で詳細に後述する。
【0035】
ロジック回路１２０は、出力データｏｄをイメージセンサ１００の外部に伝達しうる。例示的に、ロジック回路１２０は、インターフェース回路を介して外部装置（例えば、イメージ信号プロセッサ(ISP: Image Signal Processor)２００、アプリケーションプロセッサ(AP; Application Processor)など）に出力データｏｄを伝達しうる。インターフェース回路は、外部装置と既定のプロトコルを基盤に出力データｏｄを送受信することができる。例えば、インターフェース回路は、ＡＥＲインターフェース、MIPI(Mobile Industry Processor Interface)インターフェース及び並列インターフェースなどを含みうる。ロジック回路１２０は、出力データｏｄをイメージ信号プロセッサ２００に伝達しうる。
【0036】
イメージ信号プロセッサ２００は、ハードウェア、ソフトウェア（またはファームウェア）またはハードウェアとソフトウェアの組み合わせによって具現されうる。イメージ信号プロセッサ２００は、GPU(Graphic Processor Unit)、DSP(Digital Signal Processor)、ISP(Image Signal Processor)などイメージ処理を遂行する多様な種類のプロセッサのうち１つによって具現されうる。イメージ信号プロセッサ２００は、単一チップとして具現されるか、またはAP(Application Processor)に内蔵されうる。
【0037】
イメージ信号プロセッサ２００は、イメージ処理動作を遂行して出力イメージデータＯＩＤＴを生成することができる。イメージ信号プロセッサ２００は、受信されるイメージに対してイメージ処理を遂行することができる。この際、イメージ処理とは、ノイズ除去、明るさ調整、鮮明度(sharpness)調整などの画質向上のための処理、イメージサイズ変更、データ形式を変更するイメージ処理（例えば、ベイヤーパターンのイメージデータをＹＵＶまたはＲＧＢ形式に変更）などの多様な処理を含みうる。
【0038】
例示的に、イメージ信号プロセッサ２００は、受信したイメージデータに対してノイズを低減し、ガンマ補正(Gamma Correction)、色フィルタ配列補間(color filter array interpolation)、色マトリックス(color matrix)、色補正(color correction)、色向上(color enhancement)などの画質改善のためのイメージ処理動作を遂行することができる。イメージ信号プロセッサ２００は、前述したイメージ処理動作以外にも、イメージ信号プロセッサ２００は、イメージデータに対するクロストーク補正(crosstalk correction)、デスペックル(despeckle)動作、HDR(high dynamic range)処理、フルイメージデータに対するシャプニング動作などをさらに遂行することもできる。また、例えば、イメージ信号プロセッサ２００は、イメージデータに対する自動ダークレベル補正(ADLC: Auto Dark Level Compensation)、不良ピクセル補正(bad Pixel Correction)、レンズ陰影補正(Lens Shading Correction)などのイメージ処理動作をさらに遂行することもできる。
【0039】
イメージ信号プロセッサ２００は、第１イメージデータＩＤＴ１及びイベントデータＥＤＴを受信する。イメージ信号プロセッサ２００は、第１イメージデータＩＤＴ１に対してイメージ処理動作を遂行する。イメージ信号プロセッサ２００は、イベントデータＥＤＴを用いて第１イメージデータＩＤＴ１に対してイメージ処理動作を遂行することができる。
【0040】
イメージセンサ１００によって撮影されるオブジェクトの動き、またはイメージセンサ１００またはイメージ処理システム１０自体の動きによって、相対的に低速のフレームレートを有するイメージデータには、ブラー(blur)が発生しうる。例えば、複数のフレームそれぞれの第２イメージデータを少なくとも１つ併合して第１イメージデータＩＤＴ１が生成された場合、第１イメージデータＩＤＴ１には、ブラーが発生しうる。
【0041】
イメージ信号プロセッサ２００は、イベントデータＥＤＴを用いて、第１イメージデータＩＤＴ１に対するイメージデブラー(deblur)処理を遂行することができる。イメージ信号プロセッサ２００は、第１イメージデータＩＤＴ１からモーションブラー(motion blur)を除去するためのアルゴリズム（例えば、ＣＩＳデブラー(CMOS image sensor deblur)アルゴリズム）を効果的に適用することができる。
【0042】
図２は、本開示の例示的な実施形態による出力データを説明するための図面である。上述した内容と重複する内容は省略する。
【0043】
図２を参照すれば、出力データｏｄは、第１イメージデータＩＤＴ１＿１、ＩＤＴ１＿２、ＩＤＴ１＿３及び全体イベントデータＥＤＴ１、ＥＤＴ２、ＥＤＴ３を含みうる。ロジック回路（例えば、図１のロジック回路１２０）は、対応する第１イメージデータとイベントデータとを順次にパッキングすることができる。
【0044】
第１イメージデータＩＤＴ１＿１は、第１露出時間の間、複数のピクセルそれぞれに受信される光学信号に基づいて生成されうる。第１イメージデータＩＤＴ１＿１は、第１露出時間に対応しうる。第１全体イベントデータＥＤＴ１は、第１露出時間の間、複数のピクセルそれぞれに入射される光学信号の強度変化に基づいて生成されうる。第１全体イベントデータＥＤＴ１は、第１露出時間の間に発生したイベントに係わる情報を含みうる。第１全体イベントデータＥＤＴ１は、第１露出時間に対応しうる。
【0045】
第１全体イベントデータＥＤＴ１は、複数のサブフレームそれぞれで生成された第１イベントデータを含みうる。例えば、第１全体イベントデータＥＤＴ１は、第１イベントデータＥＤＴ１＿１ないし第１イベントデータＥＤＴ１＿ｎを含みうる。第１イベントデータＥＤＴ１＿１ないし第１イベントデータＥＤＴ１＿ｎそれぞれは、第１イベントデータＥＤＴ１＿１ないし第１イベントデータＥＤＴ１＿ｎそれぞれに対応するサブ露出時間の間に発生したイベントに係わる情報を含みうる。第１イベントデータＥＤＴ１＿１ないし第１イベントデータＥＤＴ１＿ｎそれぞれは、第１イベントデータＥＤＴ１＿１ないし第１イベントデータＥＤＴ１＿ｎそれぞれに対応する時間区間に発生したイベントに係わる情報を含みうる。第１イベントデータＥＤＴ１＿１ないし第１イベントデータＥＤＴ１＿ｎそれぞれに対応するサブ露出時間の和は、第１露出時間でもある。例示的に、第１イメージデータＩＤＴ１＿１は、第１露出時間である１６ｍｓに基づいて生成されうる。第１イベントデータＥＤＴ１＿１ないし第１イベントデータＥＤＴ１＿ｎそれぞれは、１ｍｓに基づいて生成されうる。
【0046】
ロジック回路は、第１イメージデータＩＤＴ１＿１及び第１全体イベントデータＥＤＴ１を順次にパッキングすることができる。ロジック回路は、第１イメージデータＩＤＴ１＿１を第１時間ｔ１から伝送し、第１全体イベントデータＥＤＴ１を第２時間ｔ２から伝送しうる。但し、必ずしもそれに制限されるものではなく、第１全体イベントデータＥＤＴ１から伝送し、第１イメージデータＩＤＴ１＿１を伝送しうる。例示的に、ロジック回路は、６０ｆｐｓ(frame per second)の第１イメージデータＩＤＴ１＿１及び９６０ｆｐｓの第１全体イベントデータＥＤＴ１を順次にパッキングすることができる。
【0047】
第１イメージデータＩＤＴ１＿２は、第２露出時間の間、複数のピクセルそれぞれに受信される光学信号に基づいて生成されうる。複数のピクセルは、第１露出時間の間、露出された後、第２露出時間の間、露出されうる。第１露出時間及び第２露出時間は、互いに同一でも、異なってもいる。第１イメージデータＩＤＴ１＿２は、第２露出時間に対応する。第２全体イベントデータＥＤＴ２は、第２露出時間の間に発生したイベントに係わる情報を含みうる。第２全体イベントデータＥＤＴ２は、第２露出時間に対応しうる。
【0048】
第２全体イベントデータＥＤＴ２は、第２露出時間に含まれる複数のサブ露出時間それぞれに対応する複数のフレームそれぞれの第２イベントデータを含みうる。ロジック回路は、第１イメージデータＩＤＴ１＿２及び第２全体イベントデータＥＤＴ２を順次にパッキングすることができる。ロジック回路は、第１イメージデータＩＤＴ１＿２を第３時間ｔ３から伝送し、第２全体イベントデータＥＤＴ２を第４時間ｔ４から伝送しうる。但し、必ずしもそれに制限されるものではなく、第２全体イベントデータＥＤＴ２から伝送し、第１イメージデータＩＤＴ１＿２を伝送しうる。例示的に、ロジック回路は、６０ｆｐｓ(frame per second)の第１イメージデータＩＤＴ１＿２及び９６０ｆｐｓの第２全体イベントデータＥＤＴ２を順次にパッキングすることができる。
【0049】
第１イメージデータＩＤＴ１＿３は、第３露出時間の間、複数のピクセルそれぞれに受信される光学信号に基づいて生成されうる。複数のピクセルは、第２露出時間の間、露出された後、第３露出時間の間、露出されうる。第２露出時間及び第３露出時間は、互いに同一でもあり、異なってもいる。第１イメージデータＩＤＴ１＿３は、第３露出時間に対応しうる。第３全体イベントデータＥＤＴ３は、第３露出時間に対応しうる。
【0050】
第３全体イベントデータＥＤＴ３は、第３露出時間に含まれる複数のサブ露出時間それぞれに対応する複数のフレームそれぞれの第３イベントデータを含みうる。ロジック回路は、第１イメージデータＩＤＴ１＿３及び第３全体イベントデータＥＤＴ３を順次にパッキングすることができる。ロジック回路は、第１イメージデータＩＤＴ１＿３を第５時間ｔ５から伝送し、第３全体イベントデータＥＤＴ３を第６時間ｔ６から伝送しうる。但し、必ずしもそれに制限されるものではなく、第３全体イベントデータＥＤＴ３から伝送し、第１イメージデータＩＤＴ１＿３を伝送しうる。例示的に、ロジック回路は、６０ｆｐｓ(frame per second)の第１イメージデータＩＤＴ１＿３及び９６０ｆｐｓの第３全体イベントデータＥＤＴ３を順次にパッキングすることができる。
【0051】
図３は、本開示の例示的な実施形態によるイメージセンサを説明するためのブロック図である。図３のイメージセンサ１００a、センシング回路１１０ａ、及びロジック回路１2０aそれぞれは、図１のイメージセンサ１００、センシング回路１１０、及びロジック回路１２０それぞれに対応するので、重複する内容は省略する。
【0052】
図３を参照すれば、イメージセンサ１００aは、センシング回路１１０ａ及びロジック回路１２０aを含みうる。センシング回路１１０ａは、ピクセルアレイ１３０ａ、リードアウト回路１４０ａ、メモリ１５０ａ、プリプロセッサ１６０ａ、イベント生成器１７０ａを含みうる。但し、必ずしもそれに制限されるものではなく、必要によって他の構成要素をさらに含みうる。また、センシング回路１１０ａは、必要によってメモリ１５０ａを含まない。一部例示的な実施形態によれば、イメージセンサ１００a、センシング回路１１０ａ、論理回路１2０a、リードアウト回路１４０ａ、メモリ１５０ａ、プリプロセッサ１６０ａ及び／またはイベント発生器１７０ａのうち１つ以上が処理回路として具現されうる。処理回路は、論理回路を含むハードウェアまたはハードウェア回路、ソフトウェア及び／またはファームウェアを行うプロセッサのようなハードウェア／ソフトウェア組み合わせ、またはそれらの組み合わせを含みうる。例えば、処理回路は、さらに具体的に、中央処理装置（ＣＰＵ）、算術論理装置（ＡＬＵ）、デジタル信号プロセッサ、マイクロコンピュータ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、システムオンチップ（ＳｏＣ）、プログラマブル論理装置、マイクロプロセッサ、アプリケーション別集積回路（ＡＳＩＣ）などを含みうるが、必ずしもそれに制限されるものではない。
【0053】
ピクセルアレイ１３０ａは、複数のピクセルを含みうる。複数のピクセルは、ＣＩＳピクセルを含みうる。ピクセルアレイ１３０ａは、複数のピクセルそれぞれに受信される光学信号を電気信号に変換してピクセル信号ＰＸＳを生成しうる。リードアウト回路１４０ａは、第２イメージデータＩＤＴ２を生成しうる。リードアウト回路１４０ａは、第１露出時間に含まれる複数のサブ露出時間それぞれに基づいてサブフレーム単位で複数のサブフレームそれぞれの第２イメージデータＩＤＴ２を生成しうる。例示的に、リードアウト回路１４０ａは、第１露出時間に基づいてｍ（ｍは、正数）個のフレームそれぞれの第２イメージデータＩＤＴ２を生成しうる。リードアウト回路１４０ａは、高速フレームレートの第２イメージデータＩＤＴ２を生成することができる。ピクセルアレイ１３０ａ及びリードアウト回路１４０ａは、図４で詳細に後述する。
【0054】
メモリ１５０ａは、第１露出時間に基づいて生成された複数のサブフレームそれぞれの第２イメージデータＩＤＴ２を保存しうる。メモリ１５０ａは、DRAM(dynamic random access memory)、SRAM(static random access memory)のような揮発性メモリまたはReRAM(resistive random access memory)、MRAM(magnetic random access memory)のような抵抗性メモリによって具現されうる。
【0055】
プリプロセッサ１６０ａは、複数のサブフレームそれぞれの第２イメージデータＩＤＴ２のうち少なくとも一部を受信しうる。プリプロセッサ１６０ａは、メモリ１５０ａから複数のサブフレームそれぞれの第２イメージデータＩＤＴ２を受信しうる。プリプロセッサ１６０ａは、複数のサブフレームそれぞれの第２イメージデータＩＤＴ２のうち少なくとも一部を併合して第１イメージデータＩＤＴ１として生成しうる。
【0056】
プリプロセッサ１６０ａは、第１露出時間に基づいて生成された複数のサブフレームそれぞれの第２イメージデータＩＤＴ２を併合して第１イメージデータＩＤＴ１を生成することができる。第１露出時間は、複数のサブ露出時間を含み、プリプロセッサ１６０ａは、複数のサブ露出時間それぞれに対応する複数のサブフレームそれぞれの第２イメージデータＩＤＴ２を併合しうる。第１露出時間に含まれた複数のサブ露出時間それぞれに対応する複数のサブフレームそれぞれの第２イメージデータＩＤＴ２は、第１露出時間に基づいて生成された複数のサブフレームそれぞれの第２イメージデータＩＤＴ２でもある。複数のサブ露出時間の和は、第１露出時間でもある。
【0057】
プリプロセッサ１６０ａは、複数のサブフレームそれぞれの第２イメージデータＩＤＴ２を併合して第１露出時間の間、露出された第１イメージデータＩＤＴ１を生成することができる。プリプロセッサ１６０ａは、ｍ個のフレームそれぞれの第２イメージデータＩＤＴ２を併合して第１イメージデータＩＤＴ１として生成することができる。プリプロセッサ１６０ａは、高速フレームレートの第２イメージデータＩＤＴ２を併合して低速フレームレートの第１イメージデータＩＤＴ１を生成することができる。
【0058】
イベント生成器１７０ａは、複数のサブフレームそれぞれの第２イメージデータＩＤＴ２のうち少なくとも一部を受信することができる。イベント生成器１７０ａは、メモリ１５０ａから複数のサブフレームそれぞれの第２イメージデータＩＤＴ２を受信することができる。イベント生成器１７０ａは、複数のサブフレームそれぞれの第２イメージデータＩＤＴ２に基づいて複数のサブフレームそれぞれのイベントデータＥＤＴを生成することができる。イベント生成器１７０ａは、高速フレームレートの第２イメージデータＩＤＴ２に基づいて複数のフレームそれぞれに対応する高速フレームレートのイベントデータＥＤＴを生成することができる。
【0059】
イベント生成器１７０ａは、参照フレームに基づいて、複数のサブフレームのうちイベントデータＥＤＴを生成しようとする対象フレームのイベントデータＥＤＴを生成しうる。参照フレームは、対象フレームと連続したフレームを意味しうる。例えば、第１サブフレーム及び第２サブフレームが連続する場合、第１フレームの参照フレームは、第２フレームでもある。例示的に、イベント生成器１７０ａは、ｍ個のサブフレームそれぞれの第２イメージデータＩＤＴ２を用いてｍ個のサブフレームそれぞれのイベントデータＥＤＴを生成することができる。
【0060】
イベント生成器１７０ａは、複数のサブフレームのうち複数のサブフレームそれぞれと連続した少なくとも１つの参照フレームで生成された第２イメージデータに基づいて複数のサブフレームそれぞれのイベントデータＥＤＴを生成することができる。イベント生成器１７０ａは、参照フレームの第２イメージデータＩＤＴ２と対象フレームの第２イメージデータＩＤＴ２との差（例えば、ピクセル値差及び／または変化）に基づいてイベントデータＥＤＴを生成することができる。例えば、イベント生成器１７０ａは、対象フレームである第１サブフレームの第２イメージデータＩＤＴ２と、参照フレームである第２サブフレームの第２イメージデータＩＤＴ２とのピクセル値の差に基づいて対象フレームのイベントデータＥＤＴを生成することができる。
【0061】
ロジック回路１2０aは、第１イメージデータＩＤＴ１及びイベントデータＥＤＴを受信することができる。ロジック回路１２０aは、第１露出時間に対応する第１イメージデータＩＤＴ１及び複数のサブフレームそれぞれのイベントデータＥＤＴを順次にパッキングして出力データを生成しうる。例示的に、ロジック回路１２０aは、低速フレームレートの第１イメージデータＩＤＴ１及び高速フレームレートにおいて、ｍ個のフレームそれぞれのイベントデータＥＤＴをいずれも順次にパッキングすることができる。
【0062】
【0063】
図４を参照すれば、イメージセンサ１００aは、ピクセルアレイ１３０ａ、ロウドライバ１４３ａ、リードアウト回路１４０ａ、ランプ信号生成器１４４ａ、及びタイミングコントローラ１４５ａを含み、リードアウト回路１４０ａは、アナログ－デジタル変換回路１４１ａ（以下、ＡＤＣ回路と称する）及びデータバス１４２ａを含みうる。一部例示的な実施形態によれば、イメージセンサ１００a、ロウドライバ１４３ａ、リードアウト回路１４０ａ、ランプ信号発生器１４４ａ、タイミングコントローラ１４５ａ、ＡＤＣ変換回路１４１ａ及び／またはデータバス１４２ａのうち１つ以上が処理回路として具現されうる。処理回路は、論理回路を含むハードウェアまたはハードウェア回路、ソフトウェア及び／またはファームウェアを実行するプロセッサのようなハードウェア／ソフトウェア組み合わせ、または、それらの組み合わせを含みうる。例えば、処理回路は、さらに具体的に中央処理装置（ＣＰＵ）、算術論理装置（ＡＬＵ）、デジタル信号プロセッサ、マイクロコンピュータ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、システムオンチップ（ＳｏＣ）、プログラマブル論理装置、マイクロプロセッサ、アプリケーション別集積回路（ＡＳＩＣ）などを含みうるが、それに限定されない。
【0064】
ピクセルアレイ１３０ａは、複数のロウラインＲＬ、複数のカラムラインＣＬ及び複数のロウラインＲＬ及び複数のカラムラインＣＬと接続され、行列に配列された複数のピクセルＰＸを含む。ピクセルアレイ１３０ａは、ＣＩＳピクセルを含みうる。一実施形態において、複数のピクセルＰＸは、APS(active pixel sensor)でもある。
【0065】
複数のピクセルＰＸそれぞれは、少なくとも１つの光電変換素子を含み、ピクセルＰＸは、光電変換素子を用いて光を感知し、感知された光による電気信号であるイメージ信号を出力しうる。例えば、光電変換素子は、無機フォト(photo)ダイオード、有機フォトダイオード、ペロブスカイトフォトダイオード、フォトトランジスタ、フォトゲートまたは埋込フォトダイオード(pinned photodiode)のように、有機物質または無機物質からなる光感知素子でもある。実施形態において、複数のピクセルＰＸそれぞれは、複数の光電変換素子を含みうる。
【0066】
一方、複数のピクセルＰＸそれぞれの上部または隣接したピクセルＰＸで構成されるピクセルグループそれぞれの上部に集光のためのマイクロレンズが配置されうる。複数のピクセルＰＸそれぞれは、マイクロレンズを通じて受信された光から特定スペクトル領域の光を感知しうる。例えば、ピクセルアレイ１３０ａは、レッド(red)スペクトル領域の光を電気信号に変換するレッドピクセル、グリーン(green)スペクトル領域の光を電気信号に変換するためのグリーンピクセル、及びブルー(blue)スペクトル領域の光を電気信号に変換するためのブルーピクセルを含みうる。複数のピクセルＰＸそれぞれの上部には、特定スペクトル領域の光を透過させるためのカラーフィルタが配置されうる。しかし、それに制限されるものではなく、ピクセルアレイ１３０ａは、レッド、グリーン及びブルー以外に他のスペクトル領域の光を電気信号に変換するピクセルを含みうる。
【0067】
一部実施形態において、複数のピクセルＰＸは、マルチレイヤ構造を有することができる。マルチレイヤ構造のピクセルＰＸは、互いに異なるスペクトル領域の光を電気信号に変換する積層された複数の光電変換素子を含み、複数の光電変換素子から互いに異なる色相に対応する電気信号が生成されうる。すなわち、１つのピクセルＰＸで複数の色に対応する電気信号が出力されうる。
【0068】
複数のピクセルＰＸ上部には、特定スペクトル領域の光を透過させるためのカラーフィルタアレイが配置され、複数のピクセルそれぞれの上部に配置されたカラーフィルタによって当該ピクセルが感知することができる色相が決定されうる。しかし、それに制限されるものではなく、実施形態において、特定光電変換素子の場合、光電変換素子に印加される電気信号のレベルによって、特定波長帯域の光を電気信号に変換しうる。ピクセルＰＸは、２個以上の光電変換素子を含みうる。
【0069】
複数のピクセルＰＸそれぞれは、ピクセル信号ＰＸＳを生成しうる。例示的に、複数のピクセルＰＸそれぞれは、第１露出時間に含まれる複数のサブ露出時間ごとにピクセル信号ＰＸＳを生成することができる。複数のサブ露出時間に対応してピクセル信号ＰＸＳが生成されうる。例示的に、第１露出時間は、第１サブ露出時間、第２サブ露出時間、及び第３サブ露出時間を含みうる。
【0070】
ロウドライバ１４３ａは、ピクセルアレイ１３０ａを行(row)単位で駆動する。ロウドライバ１４３ａは、タイミングコントローラ１４５ａから受信される行制御信号（例えば、アドレス信号）をデコーディングし、デコーディングされた行制御信号に応答してピクセルアレイ１３０ａを構成するロウラインのうち少なくともいずれか１本のロウラインを選択する。例えば、ロウドライバ１４３ａは、複数の行のうち１つを選択する選択信号を生成する。そして、ピクセルアレイ１３０ａは、ロウドライバ１４３ａから提供された選択信号によって選択される行(row)からピクセル信号ＰＸＳを出力する。
【0071】
ロウドライバ１４３ａは、ピクセル信号ＰＸＳ出力のための制御信号をピクセルアレイ１３０ａに伝送し、ピクセルＰＸは、制御信号に応答して動作することで、ピクセル信号ＰＸＳを出力することができる。例えば、ロウドライバ１４３ａは、リードアウト期間にピクセルＰＸが複数のモードで動作するように制御する制御信号を生成し、生成した制御信号をピクセルアレイ１３０ａに提供することができる。
【0072】
ランプ信号生成器１４４ａは、所定の傾度に増加または減少するランプ信号ＲＡＭＰを生成し、ランプ信号ＲＡＭＰをリードアウト回路１４０ａのＡＤＣ回路１４１ａに提供しうる。
【0073】
リードアウト回路１４０ａは、複数のピクセルＰＸのうちロウドライバ１４３ａによって選択されたロウのピクセルＰＸからピクセル信号ＰＸＳをリードアウトすることができる。この際、ピクセル信号ＰＸＳは、リセット信号またはイメージ信号（または、センシング信号）を含みうる。リードアウト回路１４０ａは、複数のカラムラインＣＬを介してピクセルアレイ１３０ａから受信されるリセット信号及びイメージ信号をランプ信号生成器１４４ａからのランプ信号ＲＡＭＰに基づいてデジタル信号に変換することで、第２イメージデータＩＤＴ２を生成することができる。
【0074】
リードアウト回路１４０ａは、複数のフレームそれぞれのピクセル信号ＰＸＳを変換して複数のサブフレームそれぞれの第２イメージデータＩＤＴ２を生成することができる。例示的に、リードアウト回路１４０ａは、第１サブ露出時間に対応するピクセル信号ＰＸＳに基づいて第１サブフレームの第２イメージデータＩＤＴ２を生成しうる。リードアウト回路１４０ａは、第２サブ露出時間に対応する第２サブフレームのピクセル信号ＰＸＳに基づいて第２サブフレームの第２イメージデータＩＤＴ２を生成することができる。
【0075】
ＡＤＣ回路１４１ａは、複数のカラムラインＣＬに対応する複数のＡＤＣを含み、複数のＡＤＣそれぞれは、対応するカラムラインＣＬを通じて受信されるリセット信号及びイメージ信号をランプ信号ＲＡＭＰとそれぞれ比較し、比較結果に基づいて第２イメージデータＩＤＴ２を生成する。ＡＤＣ回路１４１ａで生成される複数のサブフレームそれぞれの第２イメージデータＩＤＴ２は、データバス１４２ａを通じて出力されうる。
【0076】
図５は、本開示の例示的な実施形態による第１イメージデータを生成する方法を説明するための図面である。以下、図３を共に参照する。センシング回路１１０ａは、第１イメージデータＩＤＴ１＿１を生成しうる。具体的に、プリプロセッサ１６０ａは、第１イメージデータＩＤＴ１＿１を生成しうる。
【0077】
図５を参照すれば、第１露出時間ＥＩＴ１は、複数のサブ露出時間を含みうる。第１露出時間ＥＩＴ１は、第１サブ露出時間ＳＩＴ１ないし第６サブ露出時間ＳＩＴ６を含みうる。図５では、第１露出時間ＥＩＴ１は、６個のサブ露出時間を含むと図示されているが、それに制限されるものではなく、多様な数のサブ露出時間を含みうる。第１サブ露出時間ＳＩＴ１ないし第６サブ露出時間ＳＩＴ６それぞれは、互いに同一でもある。但し、必ずしもそれに制限されるものではなく、第１サブ露出時間ＳＩＴ１ないし第６サブ露出時間ＳＩＴ６それぞれは、互いに異なり、少なくとも２個が同一でもある。
【0078】
センシング回路１１０ａは、第２イメージデータＩＤＴ２を生成しうる。センシング回路１１０ａは、複数のサブ露出時間それぞれに対応するサブフレームの第２イメージデータＩＤＴ２を生成しうる。センシング回路１１０ａは、第１サブ露出時間ＳＩＴ１に対応する第１サブフレームの第２イメージデータＩＤＴ２＿１を生成しうる。センシング回路１１０ａは、第２サブ露出時間ＳＩＴ２に対応する第２サブフレームの第２イメージデータＩＤＴ２＿２を生成しうる。センシング回路１１０ａは、第３サブ露出時間ＳＩＴ３に対応する第３サブフレームの第２イメージデータＩＤＴ２＿３を生成しうる。センシング回路１１０ａは、第１露出時間に対して複数のサブフレームそれぞれの第２イメージデータＩＤＴ２を高速フレームレートで生成しうる。
【0079】
プリプロセッサ１６０ａは、複数のサブフレームそれぞれの第２イメージデータＩＤＴ２のうち少なくとも一部を受信しうる。プリプロセッサ１６０ａは、複数のサブフレームそれぞれの第２イメージデータＩＤＴ２のうち少なくとも一部を併合して第１イメージデータＩＤＴ１として生成しうる。プリプロセッサ１６０ａは、複数のサブフレームそれぞれの第２イメージデータＩＤＴ２を併合して第１露出時間の間、露出され、低速フレームレートの第１イメージデータＩＤＴ１を生成しうる。
【0080】
プリプロセッサ１６０ａは、ｍ個のサブフレームそれぞれの第２イメージデータＩＤＴ２を併合して第１イメージデータＩＤＴ１として生成しうる。例示的に、プリプロセッサ１６０ａは、第２イメージデータＩＤＴ２＿１、第２イメージデータＩＤＴ２＿２、第２イメージデータＩＤＴ２＿３、第２イメージデータＩＤＴ２＿４、第２イメージデータＩＤＴ２＿５、及び第２イメージデータＩＤＴ２＿６を併合して第１露出時間ＥＩＴ１に対応する第１イメージデータＩＤＴ１＿１を生成しうる。高速フレームレートの第２イメージデータＩＤＴ２を併合して低速フレームレートの第１イメージデータＩＤＴ１が生成されうる。イメージセンサ１００aは、高速フレームレートで撮像された第２イメージデータを併合して低速フレームレートの第１イメージデータＩＤＴ１＿１を生成することにより、伝送容量の制限なしに第１イメージデータＩＤＴ１＿１をイメージセンサ１００a外部に伝送することができる。
【0081】
図６は、本開示の例示的な実施形態によるイベントデータを生成する方法を説明するための図面である。以下、図３を共に参照する。センシング回路１１０ａは、イベントデータＥＤＴを生成しうる。具体的に、イベント生成器１７０ａは、イベントデータＥＤＴを生成しうる。
【0082】
図６を参照すれば、センシング回路１１０ａは、第２イメージデータＩＤＴ２を生成することができる。センシング回路１１０ａは、第１露出時間に含まれる複数のサブ露出時間それぞれに対応するサブフレームの第２イメージデータＩＤＴ２を生成しうる。センシング回路１１０ａは、複数のサブ露出時間それぞれに対応するｍ個のサブフレームの第２イメージデータＩＤＴ２を生成しうる。ｍ個のサブフレームそれぞれは、第１露出時間に含まれる複数のサブ露出時間それぞれに対応しうる。センシング回路１１０ａは、第１サブフレームの第２イメージデータＩＤＴ２＿１、第２サブフレームの第２イメージデータＩＤＴ２＿２、第３サブフレームの第２イメージデータＩＤＴ２＿３、……第ｍサブフレームの第２イメージデータＩＤＴ２＿ｍを生成することができる。
【0083】
イベント生成器１７０ａは、複数のサブフレームそれぞれの第２イメージデータＩＤＴ２を受信することができる。イベント生成器１７０ａは、複数のサブフレームそれぞれの第２イメージデータＩＤＴ２に基づいて複数のサブフレームそれぞれのイベントデータＥＤＴを生成しうる。イベント生成器１７０ａは、複数のサブフレームそれぞれと連続した少なくとも１つの参照フレームに基づいて複数のサブフレームそれぞれのイベントデータＥＤＴを生成しうる。
【0084】
参照フレームは、対象フレームと連続した（例えば、順次な）フレームを意味する。例えば、第１サブフレーム及び第２サブフレームが連続する場合、第１サブフレームの参照フレームは、第２サブフレームでもある。第２サブフレームの参照フレームは、第３サブフレームでもある。第ｍ－１サブフレームの参照フレームは、第ｍサブフレームでもある。
【0085】
イベント生成器１７０ａは、第１サブフレームの第２イメージデータＩＤＴ２＿１及び第２サブフレームの第２イメージデータＩＤＴ２＿２に基づいて第１サブフレームのイベントデータＥＤＴ１＿１を生成しうる。イベント生成器１７０ａは、第２イメージデータＩＤＴ２＿１及び第２イメージデータＩＤＴ２＿２の差に基づいてイベントデータＥＤＴ１＿１を生成することができる。
イベント生成器１７０ａは、第２サブフレームの第２イメージデータＩＤＴ２＿２及び第３サブフレームの第２イメージデータＩＤＴ２＿３に基づいて第２サブフレームのイベントデータＥＤＴ１＿２を生成しうる。イベント生成器１７０ａは、第２イメージデータＩＤＴ２＿２及び第２イメージデータＩＤＴ２＿３の差に基づいてイベントデータＥＤＴ１＿２を生成することができる。
イベント生成器１７０ａは、第２サブフレームの第２イメージデータＩＤＴ２＿２及び第３サブフレームの第２イメージデータＩＤＴ２＿３に基づいて第２サブフレームのイベントデータＥＤＴ１＿２を生成しうる。イベント生成器１７０ａは、第２イメージデータＩＤＴ２＿２及び第２イメージデータＩＤＴ２＿３の差に基づいてイベントデータＥＤＴ１＿２を生成することができる。
【0086】
イベント生成器１７０ａは、第ｍ－１サブフレームの第２イメージデータＩＤＴ２＿ｍ－１及び第ｍサブフレームの第２イメージデータＩＤＴ２＿ｍに基づいて第ｍ－１サブフレームのイベントデータＥＤＴ１＿ｍ－１を生成しうる。第ｍサブフレームのイベントデータは、第１露出時間に後続する第２露出時間に含まれるサブフレームの第２イメージデータに基づいて生成されうる。ｍ個のサブフレームそれぞれのイベントデータ（ＥＤＴ１＿１、ＥＤＴ１＿２、…ＥＤＴ１＿ｍ）はいずれも、第１イメージデータＩＤＴ１に対応するイベントデータＥＤＴとしてロジック回路１２０aに伝達されうる。
【0087】
イメージセンサ１００aは、イメージデータに基づいてイベントデータＥＤＴを生成することができる。イメージセンサ１００aは、フレーム差に基づいてイベントデータＥＤＴを生成することで、各フレームの正確なイベントデータＥＤＴが生成されうる。また、イメージセンサ１００aは、イメージデータ及びイベントデータＥＤＴをパッキングして同時に伝送することにより、伝送容量が増加し、イベントデータＥＤＴに基づいてイメージデータの損失された情報が補償されうる。
【0088】
図７は、本開示の例示的な実施形態によるイベントデータを生成する方法を具体的に説明するための図面である。以下、図３を共に参照する。図７は、センシング回路１１０ａがイベントデータＥＤＴ１＿１を生成する方法を示す。具体的に、図７は、イベント生成器１７０ａがイベントデータＥＤＴ１＿１を生成する方法を示す。図７において、ピクセルアレイ１３０ａに含まれた複数のピクセルそれぞれに対応するイメージデータを図式化した。例えば、第２イメージデータＩＤＴ２＿１において第１ピクセルＰＸ１部分は、ピクセルアレイ１３０ａの第１ピクセルＰＸ１に対応する第２イメージデータＩＤＴ２＿１を意味する。第１変換イメージデータＣＤＴ２＿１において第１ピクセルＰＸ１部分は、ピクセルアレイ１３０ａの第１ピクセルＰＸ１に対応する第１変換イメージデータＣＤＴ２＿１を意味する。差分データＤＩＴにおいて第１ピクセルＰＸ１部分は、ピクセルアレイ１３０ａの第１ピクセルＰＸ１に対応する差分データＤＩＴを意味する。イベントデータＥＤＴ１＿１において第１ピクセルＰＸ１部分は、ピクセルアレイ１３０ａの第１ピクセルＰＸ１に対応するイベントデータＥＤＴ１＿１を意味する。図７において、ピクセルアレイは、５ｘ５ピクセルを含むと図示されているが、これは、説明の便宜のためのものであって、必ずしもそれに制限されるものではなく、ピクセルアレイの大きさまたは配列が異なってもいる。図６において上述した内容と重複する内容は省略する。
【0089】
イベント生成器１７０ａは、複数のサブフレームそれぞれの第２イメージデータ（例えば、ＩＤＴ２＿１、ＩＤＴ２＿２）を変換して変換イメージデータ（例えば、ＣＤＴ２＿１、ＣＤＴ２＿２）を生成することができる。イベント生成器１７０ａは、第１露出時間に対応する複数のサブフレームそれぞれの第２イメージデータを変換し、複数のサブフレームそれぞれの変換イメージデータを生成することができる。例示的に、イベント生成器１７０ａは、第１サブフレームの第２イメージデータＩＤＴ２＿１を変換して第１サブフレームの第１変換イメージデータＣＤＴ２＿１を生成しうる。イベント生成器１７０ａは、第２サブフレームの第２イメージデータＩＤＴ２＿２を変換して第２サブフレームの第２変換イメージデータＣＤＴ２＿２を生成することができる。
【0090】
イベント生成器１７０ａは、複数のサブフレームそれぞれの第２イメージデータＩＤＴ２＿１、ＩＤＴ２＿２を光の強度を示すようにグレースケール(gray scale)に変換し、グレースケール結果をログスケール(log scale)に変換し、複数のサブフレームそれぞれの変換イメージデータＣＤＴ２＿１、ＣＤＴ２＿２を生成しうる。例示的に、第１変換イメージデータＣＤＴ２＿１は、第２イメージデータＩＤＴ２＿１がグレースケール変換され、ログスケール変換されたイメージデータでもある。第２変換イメージデータＣＤＴ２＿２は、第２イメージデータＩＤＴ２＿２がグレースケール変換され、ログスケール変換されたイメージデータでもある。
【0091】
イベント生成器１７０ａは、複数のピクセルそれぞれに対応する第２イメージデータを変換しうる。第１ピクセルＰＸ１に対応する第１変換イメージデータＣＤＴ２＿１は、第１ピクセルＰＸ１に対応する第２イメージデータＩＤＴ２＿１がグレースケール及びログスケール変換された値でもある。第２イメージデータＩＤＴ２＿１の第１ピクセルＰＸ１は、ＲＧＢデータを示し、第１変換イメージデータＣＤＴ２＿１の第１ピクセルＰＸ１は、輝度データを示す。第１ピクセルＰＸ１に対応する第２変換イメージデータＣＤＴ２＿２は、第１ピクセルＰＸ１に対応する第２イメージデータＩＤＴ２＿２がグレースケール及びログスケール変換された値でもある。
【0092】
イベント生成器１７０ａは、複数のサブフレームそれぞれの変換イメージデータと複数のサブフレームそれぞれに対応する少なくとも１つの参照フレームの変換イメージデータそれぞれに対応する差分データを生成する。イベント生成器１７０ａは、第１サブフレームの第１変換イメージデータＣＤＴ２＿１及び第２サブフレームの第２変換イメージデータＣＤＴ２＿２の差に基づいて第１サブフレームに対応する差分データＤＩＴを生成しうる。第２サブフレームは、第１サブフレームの参照フレームでもある。
【0093】
イベント生成器１７０ａは、変換イメージデータ（例えば、ＣＤＴ２＿１、ＣＤＴ２＿２）において、複数のピクセルそれぞれの差を比べて、差分データＤＩＴを生成しうる。例示的に、イベント生成器１７０ａは、第１ピクセルＰＸ１に対応する第１変換イメージデータＣＤＴ２＿１と、第１ピクセルＰＸ１に対応する第２変換イメージデータＣＤＴ２＿２との差を示す、第１ピクセルＰＸ１に対応する差分データＤＩＴを生成しうる。
【0094】
イベント生成器１７０ａは、差分データＤＩＴに基づいて複数のサブフレームそれぞれのイベントデータＥＤＴ１＿１を生成することができる。イベント生成器１７０ａは、複数のフレームそれぞれの差分データＤＩＴと既設定のしきい値との比較に基づいて複数のフレームそれぞれのイベントデータＥＤＴ１＿１を生成することができる。イベント生成器１７０ａは、第１サブフレームの差分データＤＩＴとしきい値との比較に基づいて第１サブフレームのイベントデータＥＤＴ１＿１を生成することができる。
【0095】
イベント生成器１７０ａは、複数のサブフレームそれぞれの差分データＤＩＴをピクセル単位で既設定のしきい値と比較することができる。イベント生成器１７０ａは、第１サブフレームの差分データＤＩＴに含まれた複数のピクセルそれぞれに対応する差分値と既設定のしきい値とを比較して、第１サブフレームのイベントデータＥＤＴ１＿１を生成しうる。例示的に、イベント生成器１７０ａは、第１ピクセルＰＸ１に対応する差分データＤＩＴとしきい値とを比較し、第１ピクセルＰＸ１に対応するイベントデータＥＤＴ１＿１を生成することができる。
【0096】
一実施形態において、ピクセル単位に対応するイベントデータの大きさは、１ビット(bit)でもある。例示的に、イベント生成器１７０ａは、第１ピクセルＰＸ１に対応する差分データＤＩＴがしきい値以上である場合、第１ピクセルＰＸ１に対応するイベントデータＥＤＴ１＿１を１と生成しうる。イベント生成器１７０ａは、第１ピクセルＰＸ１に対応する差分データＤＩＴがしきい値未満である場合、第１ピクセルＰＸ１に対応するイベントデータＥＤＴ１＿１を０と生成しうる。
【0097】
図８は、本開示の例示的な実施形態による第２イメージデータを説明するための図面である。以下、図３を共に参照する。図８は、センシング回路１１０ａがイベントデータＥＤＴ１＿１を生成する方法を示す。具体的に、図８は、イベント生成器１７０ａがイベントデータＥＤＴ１＿１を生成する方法を示す。図８において、ピクセルアレイ１３０ａに含まれた複数のピクセルそれぞれに対応するイメージデータを図式化した。上述した内容と重複する内容は省略する。
【0098】
図８を参照すれば、第２イメージデータＩＤＴ２＿１がピクセルアレイ１３０ａの複数のピクセルそれぞれに対応するように図式化した。図８には、第２イメージデータＩＤＴ２＿１に８ｘ８個のピクセルＰＸが含まれたと図示されているが、これは、説明の便宜上のことであり、ピクセルＰＸの個数は、必ずしもそれに制限されるものではない。また、図８を参照すれば、第２イメージデータＩＤＴ２＿１にグリーンピクセル、レッドピクセル、及びブルーピクセルが含まれると図示されているが、必ずしもそれに制限されるものではない。
【0099】
イベント生成器１７０ａは、複数のサブフレームそれぞれの第２イメージデータをｋ（ｋは、正数）個のピクセル単位にグルーピング(grouping)することができる。イベント生成器１７０ａは、第１サブフレームの第２イメージデータＩＤＴ２＿１をｋ個のピクセル単位にグルーピングしうる。イベント生成器１７０ａは、第２サブフレームの第２イメージデータＩＤＴ２＿２をｋ個のピクセル単位にグルーピングすることができる。例示的に、イベント生成器１７０ａは、イメージデータを４個のピクセル単位にグルーピングすることができる。イベント生成器１７０ａは、第２イメージデータＩＤＴ２＿１を４個のピクセル単位にグルーピングして第１グループＧ１＿１を生成しうる。第１グループＧ１＿１には、第１グリーンピクセル、第２グリーンピクセル、第３グリーンピクセル、及び第４グリーンピクセルそれぞれに対応する第２イメージデータＩＤＴ２＿１が含まれる。
【0100】
イベント生成器１７０ａは、第２イメージデータＩＤＴ２＿２を４個のピクセル単位にグルーピングして第１グループＧ２＿１を生成しうる。第１グループＧ２＿１には、第１グリーンピクセル、第２グリーンピクセル、第３グリーンピクセル、及び第４グリーンピクセルそれぞれに対応する第２イメージデータＩＤＴ２＿２が含まれうる。
【0101】
イベント生成器１７０ａは、グルーピングされたピクセル単位で、複数のサブフレームそれぞれの第２イメージデータ及び複数のサブフレームそれぞれに対応する参照フレームに基づいて複数のサブフレームそれぞれのイベントデータを生成しうる。イベント生成器１７０ａは、グルーピングされた第１サブフレームの第２イメージデータＩＤＴ２＿１及びグルーピングされた第２サブフレームの第２イメージデータＩＤＴ２＿２に基づいて第１サブフレームのイベントデータＥＤＴ１＿１を生成することができる。
【0102】
イベント生成器１７０ａは、第２イメージデータをｋ個のピクセル単位にグルーピングし、同じグループに含まれたｋ個のピクセルに対応する第２イメージデータ値の特性値を算出して特性値データＶＤＴ１、ＶＤＴ２として生成することができる。特性値は、同じグループに含まれたｋ個のピクセルそれぞれに対応する第２イメージデータ値の平均値(mean)、最大値(Max)、及び中間値(median)のうち少なくとも１つでもある。例示的に、イベント生成器１７０ａは、第２イメージデータＩＤＴ２＿１の第１グループＧ１＿１に含まれた第１グリーンピクセル、第２グリーンピクセル、第３グリーンピクセル、及び第４グリーンピクセルそれぞれに対応する第２イメージデータＩＤＴ２＿１に基づいて特性値Ｖ１＿１を算出することができる。イベント生成器１７０ａは、第２イメージデータＩＤＴ２＿１の第２グループＧ１＿２に含まれた第１レッドピクセル、第２レッドピクセル、第３レッドピクセル、及び第４レッドピクセルそれぞれに対応する第２イメージデータＩＤＴ２＿１に基づいて特性値Ｖ１＿２を算出することができる。
【0103】
イベント生成器１７０ａは、第２イメージデータＩＤＴ２＿２の第１グループＧ２＿１に含まれた第１グリーンピクセル、第２グリーンピクセル、第３グリーンピクセル、及び第４グリーンピクセルそれぞれに対応する第２イメージデータＩＤＴ２＿２に基づいて特性値Ｖ２＿１を算出することができる。イベント生成器１７０ａは、第２イメージデータＩＤＴ２＿２の第２グループＧ２＿２に含まれた第１レッドピクセル、第２レッドピクセル、第３レッドピクセル、及び第４レッドピクセルそれぞれに対応する第２イメージデータＩＤＴ２＿２の特性値Ｖ２＿２を算出することができる。
【0104】
イベント生成器１７０ａは、特性値データＶＤＴ１、ＶＤＴ２に基づいてイベントデータを生成することができる。イベント生成器１７０ａは、第１サブフレームの第１特性値データＶＤＴ１に基づいてイベントデータＥＤＴ１＿１を生成することができる。イベント生成器１７０ａは、第１サブフレームの第１特性値データＶＤＴ１を変換して第１変換イメージデータを生成し、第２フレームの第２特性値データＶＤＴ２を変換して第２変換イメージデータを生成することができる。
【0105】
図７で説明されたように、イベント生成器１７０ａは、第１サブフレームの第１特性値データＶＤＴ１及び第２サブフレームの第２特性値データＶＤＴ２それぞれをグレースケール変換及びログスケールに変換することができる。イベント生成器１７０ａは、第１サブフレームの第１変換イメージデータと第２サブフレームの第２変換イメージデータとを比較して、第１サブフレームの差分データを生成することができる。イベント生成器１７０ａは、第１サブフレームの差分データに基づいて第１サブフレームのイベントデータＥＤＴ１＿１を生成することができる。
【0106】
イメージセンサ１００aは、イメージデータをｋ個のピクセル単位にグルーピングして特性値データを生成することができる。イメージセンサ１００aは、特性値データに基づいてイベントデータを生成することにより、イベントデータの大きさを減らし、イベントデータを伝送時にデータ伝送遅延が減少しうる。
【0107】
図９は、本開示の例示的実施形態によるイメージセンサを説明するための図面である。図９のイメージセンサ１００Ｂ、センシング回路１１０ｂ、及びロジック回路１２０ｂそれぞれは、図１のイメージセンサ１００、センシング回路１１０、及びロジック回路１２０それぞれに対応するので、重複する内容は省略する。
【0108】
図９を参照すれば、イメージセンサ１００Ｂは、センシング回路１１０ｂ及びロジック回路１２０ｂを含みうる。センシング回路１１０ｂは、ピクセルアレイ１３０ｂ、第１リードアウト回路１４０ｂ、及び第２リードアウト回路１５０ｂを含みうる。但し、必ずしもそれに制限されるものではなく、必要によって、他の構成要素をさらに含みうる。一部例示的な実施形態によれば、イメージセンサ１００Ｂ、センシング回路１１０ｂ、論理回路１２０ｂ、第１リードアウト回路１４０ｂ及び／または第２リードアウト回路１５０ｂのうち１つ以上が処理回路として具現されうる。処理回路は、論理回路を含むハードウェアまたはハードウェア回路、ソフトウェア及び／またはファームウェアを実行するプロセッサのようなハードウェア／ソフトウェアの組み合わせ、または、それらの組み合わせを含みうる。例えば、処理回路は、さらに具体的に、中央処理装置（ＣＰＵ）、算術論理装置（ＡＬＵ）、デジタル信号プロセッサ、マイクロコンピュータ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、システムオンチップ（ＳｏＣ）、プログラマブル論理装置、マイクロプロセッサ、アプリケーション別集積回路（ＡＳＩＣ）などを含むことができるが、それらに限定されない。
【0109】
ピクセルアレイ１３０ｂは、複数のピクセルを含みうる。複数のピクセルは、ＣＩＳピクセルＰＸ及びＤＶＳピクセルＤＰＸを含みうる。ＣＩＳピクセルＰＸは、光学信号を電気信号に変換してピクセル信号ＰＸＳを生成しうる。ＤＶＳピクセルＤＰＸは、光学信号の強度変化を感知してイベント信号ＥＶＳを生成することができる。ＤＶＳピクセルＤＰＸは、入射される光の強度の変化であるイベントを感知してイベント信号を出力することができる。
【0110】
第１リードアウト回路１４０ｂは、ピクセル信号ＰＸＳに基づいて第１イメージデータＩＤＴ１を生成することができる。第１リードアウト回路１４０ｂは、第１露出時間の間、第１イメージデータＩＤＴ１を生成することができる。第１リードアウト回路１４０ｂは、第１露出時間に基づいて低速フレームレートの第１イメージデータＩＤＴ１を生成することができる。第１リードアウト回路１４０ｂは、第１露出時間の間、ピクセル信号ＰＸＳに基づいてメインフレームの第１イメージデータＩＤＴ１を生成するので、低速フレームレートの第１イメージデータＩＤＴ１が生成されうる。
【0111】
第２リードアウト回路１５０ｂは、ＤＶＳピクセルＤＰＸで生成されたイベント信号ＥＶＳに基づいてイベントデータＥＤＴを生成することができる。第２リードアウト回路１５０ｂは、第１露出時間に基づいて高速フレームレートのイベントデータＥＤＴを生成しうる。第２リードアウト回路１５０ｂは、イベント信号ＥＶＳに基づいてフレーム単位でイベントデータＥＤＴを生成しうる。例示的に、第２リードアウト回路１５０ｂは、第１露出時間の間に発生したイベントに係わる情報を含むイベントデータＥＤＴを既設定の時間ごとにサブフレーム単位で生成することができる。
【0112】
第２リードアウト回路１５０ｂは、第１露出時間の間のイベントデータＥＤＴに対して既設定の時間ごとにサブフレーム単位で生成するので、高速フレームレートのイベントデータＥＤＴが生成されうる。第２リードアウト回路１５０ｂは、既設定の周期ごとにＤＶＳピクセルをスキャンして第１露出時間に対応するイベントデータＥＤＴを出力することができる。第１露出時間の間、第１イメージデータＩＤＴ１が出力される周期は、イベントデータＥＤＴが出力される周期より長い。相対的に低速フレームレートの第１イメージデータＩＤＴ１が生成され、相対的に高速フレームレートのイベントデータＥＤＴが生成されうる。
【0113】
ロジック回路１２０ｂは、第１イメージデータＩＤＴ１及びイベントデータＥＤＴを受信することができる。ロジック回路１２０aは、第１露出時間に対応する第１イメージデータＩＤＴ１及び第１露出時間に対応するイベントデータＥＤＴを順次にパッキングして出力データを生成しうる。例示的に、ロジック回路１２０aは、低速フレームレートの第１イメージデータＩＤＴ１及び高速フレームレートのイベントデータＥＤＴを順次にパッキングすることができる。
【0114】
図１０は、本開示の例示的な実施形態による第１露出時間に対応するイベントデートを説明するための図面である。以下、図９を共に参照する。センシング回路１１０ｂは、イベントデータＥＤＴを生成することができる。具体的に、第２リードアウト回路１５０ｂは、イベントデータＥＤＴを生成することができる。
【0115】
図１０を参照すれば、第２リードアウト回路１５０ｂは、イベント信号ＥＶＳに基づいてフレーム単位でイベントデータＥＤＴを生成することができる。第２リードアウト回路１５０ｂは、第１露出時間内に発生したイベントに係わる情報を含むイベントデータＥＤＴを既設定の時間ごとに生成することができる。例えば、第１露出時間ＥＩＴ１は、６個の時間区間を含みうる。第１露出時間ＥＩＴ１は、第１時間区間ｔ１、第２時間区間ｔ２、第３時間区間ｔ３、第４時間区間ｔ４、第５時間区間ｔ５、第６時間区間ｔ６を含みうる。図１０では、第１露出時間ＥＩＴ１は、６個の時間区間を含むと図示されているが、それに制限されるものではない。
【0116】
第２リードアウト回路１５０ｂは、複数の時間区間それぞれに対応するサブフレームのイベントデータＥＤＴを生成することができる。第２リードアウト回路１５０ｂは、第１時間区間ｔ１に対応するイベントデータＥＤＴ１＿１を生成することができる。第２リードアウト回路１５０ｂは、第２時間区間ｔ２に対応するイベントデータＥＤＴ１＿２を生成することができる。第２リードアウト回路１５０ｂは、第３時間区間ｔ３に対応するイベントデータＥＤＴ１＿３を生成することができる。
【0117】
第２リードアウト回路１５０ｂは、第１露出時間に含まれる複数の時間区間それぞれのイベントデータを高速フレームレートで生成することができる。第１時間区間ｔ１のイベントデータＥＤＴ１＿１、第２時間区間ｔ２のイベントデータＥＤＴ１＿２、第３時間区間ｔ３のイベントデータＥＤＴ１＿３、第４時間区間ｔ４のイベントデータＥＤＴ１＿４、第５時間区間ｔ５のイベントデータＥＤＴ１＿５、第６時間区間ｔ６のイベントデータＥＤＴ１＿６は、第１露出時間ＥＩＴ１に対応する全体イベントデータＥＤＴとして生成されうる。
【0118】
図１１は、本開示の例示的実施形態による電子装置を示すブロック図である。例えば、電子装置１０００は、携帯用端末機でもある。
【0119】
図１１を参照すれば、本開示の例示的実施形態による電子装置１０００は、アプリケーションプロセッサ１１００、イメージセンサ１２００、ディスプレイ装置１３００、ワーキングメモリ１４００、ストレージ１５００、ユーザインターフェース１６００及び送受信部１７００を含みうる。図１ないし図１０で敍述された本開示の例示的実施形態によるイメージセンサに係わる説明、及びイメージセンサの動作方法がイメージセンサ１２００に適用されうる。
【0120】
アプリケーションプロセッサ１１００は、電子装置１０００の全般的な動作を制御して応用プログラム、運営体制（ＯＳ）などを駆動するシステムオンチップ（ＳｏＣ）として提供されうる。
【0121】
アプリケーションプロセッサ１１００は、イメージセンサ１２００から出力データを受信することができる。アプリケーションプロセッサ１１００は、イメージセンサ１２００から第１イメージデータ及びイベントデータがパッキングされた出力データを受信することができる。アプリケーションプロセッサ１１００は、出力データに対してイメージ処理動作を遂行し、出力イメージデータを生成することができる。アプリケーションプロセッサ１１００は、出力イメージデータをディスプレイ装置１３００に提供するか、またはストレージ１５００に保存しうる。アプリケーションプロセッサ１１００は、低速フレームレートの第１イメージデータ及び高速フレームレートのイベントデータがパッキングされた出力データを受信することができる。アプリケーションプロセッサ１１００は、イベントデータに基づいて高速フレームレートの第１イメージデータを復元することができる。アプリケーションプロセッサ１１００は、イベントデータに基づいて第１イメージデータに対するイメージデブラー処理を遂行することができる。
【0122】
イメージセンサ１２００は、受信される光信号に基づいてイメージデータ、例えば、遠眼イメージデータを生成し、イメージデータをアプリケーションプロセッサ１１００に提供することができる。イメージセンサ１２００は低速フレームレートの第１イメージデータ及び高速フレームレートのイベントデータを順次にパッキングすることができる。
【0123】
ワーキングメモリ１４００は、ＤＲＡＭ、ＳＲＭＡなどの揮発性メモリまたはＦｅＲＡＭ、ＲＲＡＭ、ＰＲＡＭなどの不揮発性の抵抗性メモリとして具現されうる。ワーキングメモリ１４００は、アプリケーションプロセッサ１１００が処理または実行するプログラム及び／またはデータを保存することができる。
【0124】
ストレージ１５００は、ＮＡＮＤフラッシュ、抵抗性メモリなどの不揮発性メモリ装置として具現され、例えば、ストレージ１５００は、メモリカード（ＭＭＣ、ｅＭＭＣ、ＳＤ、ｍｉｃｒｏ ＳＤ）などとして提供されうる。ストレージ１５００は、イメージ処理装置のイメージ処理動作を制御する実行アルゴリズムに対するデータ及び／またはプログラムを保存し、イメージ処理動作が遂行されるとき、データ及び／またはプログラムがワーキングメモリ１４００にローディングされうる。アプリケーションプロセッサ（ＡＰ）１１００は、イメージ処理装置を含みうる。実施形態において、ストレージ１５００は、イメージ処理装置１１００で生成される出力イメージデータ、例えば、変換されたイメージデータまたは後処理されたイメージデータを保存することができる。
【0125】
ユーザインターフェース１６００は、キーボード、カーテンキーパネル、タッチパネル、指紋センサ、マイクなどユーザ入力を受信することができる多様な装置によって具現されうる。ユーザインターフェース１６００は、ユーザ入力を受信し、受信されたユーザ入力に対応する信号をアプリケーションプロセッサに提供することができる。
【0126】
無線送受信部１７００は、トランシーバ１７２０、モデム１７１０及びアンテナ１７３０を含みうる。
【0127】
前述したように図面と明細書で例示的な実施例が開示された。本明細書において特定の用語を使用して実施例が説明されたが、これは、単に本開示の技術的思想を説明するための目的に使用されたものであって、意味限定や特許請求の範囲に記載の本開示の範囲を制限するために使用されたものではない。したがって、本技術分野の通常の知識を有するものであれば、それらから多様な変形及び均等な他の実施形態が可能であるという点を理解するであろう。よって、本開示の真の技術的保護範囲は、特許請求の範囲の技術的思想によって決定されねばならない。
【符号の説明】
【0128】
１０ イメージ処理システム
１００ イメージセンサ
２００ イメージ信号プロセッサ
１１０ センシング回路
１２０ ロジック回路
ＩＤＴ１ 第１イメージデータ
ＥＤＴ イベントデータ
ｏｄ 出力データ
１００ イメージセンサ
２００ イメージ信号プロセッサ
１１０ センシング回路
１２０ ロジック回路
ＩＤＴ１ 第１イメージデータ
ＥＤＴ イベントデータ
ｏｄ 出力データ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】