特開2019-4361(P2019-4361A)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ソニーセミコンダクタソリューションズ株式会社の特許一覧
特開2019-4361信号処理装置および方法、並びにプログラム
<>
  • 特開2019004361-信号処理装置および方法、並びにプログラム 図000003
  • 特開2019004361-信号処理装置および方法、並びにプログラム 図000004
  • 特開2019004361-信号処理装置および方法、並びにプログラム 図000005
  • 特開2019004361-信号処理装置および方法、並びにプログラム 図000006
  • 特開2019004361-信号処理装置および方法、並びにプログラム 図000007
  • 特開2019004361-信号処理装置および方法、並びにプログラム 図000008
  • 特開2019004361-信号処理装置および方法、並びにプログラム 図000009
  • 特開2019004361-信号処理装置および方法、並びにプログラム 図000010
  • 特開2019004361-信号処理装置および方法、並びにプログラム 図000011
  • 特開2019004361-信号処理装置および方法、並びにプログラム 図000012
  • 特開2019004361-信号処理装置および方法、並びにプログラム 図000013
  • 特開2019004361-信号処理装置および方法、並びにプログラム 図000014
  • 特開2019004361-信号処理装置および方法、並びにプログラム 図000015
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】特開2019-4361(P2019-4361A)
(43)【公開日】2019年1月10日
(54)【発明の名称】信号処理装置および方法、並びにプログラム
(51)【国際特許分類】
   H04N 5/378 20110101AFI20181207BHJP
【FI】
   H04N5/378
【審査請求】未請求
【請求項の数】15
【出願形態】OL
【全頁数】28
(21)【出願番号】特願2017-118493(P2017-118493)
(22)【出願日】2017年6月16日
(71)【出願人】
【識別番号】316005926
【氏名又は名称】ソニーセミコンダクタソリューションズ株式会社
【住所又は居所】神奈川県厚木市旭町四丁目14番1号
(74)【代理人】
【識別番号】100121131
【弁理士】
【氏名又は名称】西川 孝
(74)【代理人】
【識別番号】100082131
【弁理士】
【氏名又は名称】稲本 義雄
(72)【発明者】
【氏名】室塚 真毅
【住所又は居所】神奈川県厚木市旭町四丁目14番1号 ソニーセミコンダクタソリューションズ株式会社内
【テーマコード(参考)】
5C024
【Fターム(参考)】
5C024BX04
5C024CY44
5C024EX52
5C024HX29
(57)【要約】
【課題】より簡単かつ高精度に故障検出を行うことができるようにする。
【解決手段】信号処理装置は、互いに異なるパスで並列に処理される2以上のサンプルが同じサンプル値を有する故障検出用のテストデータを、所定の処理が施される有効データに付加する付加部と、有効データ、および有効データに付加されたテストデータに対して、複数のパスにより所定の処理を施す信号処理部とを備える。本技術は車載用のカメラに適用することができる。
【選択図】図1
【特許請求の範囲】
【請求項1】
互いに異なるパスで並列に処理される2以上のサンプルが同じサンプル値を有する故障検出用のテストデータを、所定の処理が施される有効データに付加する付加部と、
前記有効データ、および前記有効データに付加された前記テストデータに対して、複数の前記パスにより前記所定の処理を施す信号処理部と
を備える信号処理装置。
【請求項2】
前記信号処理部により前記所定の処理が施された前記テストデータの前記2以上のサンプルのサンプル値を比較する比較部をさらに備える
請求項1に記載の信号処理装置。
【請求項3】
前記信号処理部は、前記2以上のサンプルに対して前記所定の処理として同じ処理が施されるように、前記2以上のサンプルに対して施される処理を選択する選択部を有する
請求項1に記載の信号処理装置。
【請求項4】
前記有効データはカラー画像の画像データであり、
前記選択部は、
前記有効データの画素に対しては、前記所定の処理として前記画素の色成分に応じた処理を選択し、
前記テストデータの前記2以上のサンプルに対しては、前記所定の処理として同じ処理を選択する
請求項3に記載の信号処理装置。
【請求項5】
前記テストデータを生成するテストデータ生成部をさらに備える
請求項1に記載の信号処理装置。
【請求項6】
前記所定の処理が施された前記有効データおよび前記テストデータを出力する出力部をさらに備える
請求項1に記載の信号処理装置。
【請求項7】
前記有効データは画像データである
請求項1に記載の信号処理装置。
【請求項8】
互いに異なるパスで並列に処理される2以上のサンプルが同じサンプル値を有する故障検出用のテストデータを、所定の処理が施される有効データに付加し、
前記有効データ、および前記有効データに付加された前記テストデータに対して、複数の前記パスにより前記所定の処理を施す
ステップを含む信号処理方法。
【請求項9】
互いに異なるパスで並列に処理される2以上のサンプルが同じサンプル値を有する故障検出用のテストデータを、所定の処理が施される有効データに付加し、
前記有効データ、および前記有効データに付加された前記テストデータに対して、複数の前記パスにより前記所定の処理を施す
ステップを含む処理をコンピュータに実行させるプログラム。
【請求項10】
有効データと、前記有効データに付加され、互いに異なるパスで並列に処理される2以上のサンプルが同じサンプル値を有する故障検出用のテストデータとからなる出力データを受信する受信部と、
前記テストデータの前記2以上のサンプルのサンプル値を比較する比較部と
を備える信号処理装置。
【請求項11】
前記受信部は、外部の信号処理ブロックにおいて前記有効データおよび前記テストデータのそれぞれに対して複数の前記パスにより並列に処理が施された前記出力データを受信する
請求項10に記載の信号処理装置。
【請求項12】
前記受信部により受信された前記出力データの前記有効データおよび前記テストデータに対して所定の処理を施す信号処理部をさらに備え、
前記比較部は、前記信号処理部により前記所定の処理が施された前記テストデータの前記2以上のサンプルのサンプル値を比較する
請求項10に記載の信号処理装置。
【請求項13】
前記有効データは画像データである
請求項10に記載の信号処理装置。
【請求項14】
有効データと、前記有効データに付加され、互いに異なるパスで並列に処理される2以上のサンプルが同じサンプル値を有する故障検出用のテストデータとからなる出力データを受信し、
前記テストデータの前記2以上のサンプルのサンプル値を比較する
ステップを含む信号処理方法。
【請求項15】
有効データと、前記有効データに付加され、互いに異なるパスで並列に処理される2以上のサンプルが同じサンプル値を有する故障検出用のテストデータとからなる出力データを受信し、
前記テストデータの前記2以上のサンプルのサンプル値を比較する
ステップを含む処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本技術は、信号処理装置および方法、並びにプログラムに関し、特に、より簡単かつ高精度に故障検出を行うことができるようにした信号処理装置および方法、並びにプログラムに関する。
【背景技術】
【0002】
従来、自動車の安全機能などの自動車の制御に関する各種の機能を実現するために、自動車の周囲の画像を撮影する車載用途のカメラが利用されている。
【0003】
このような車載用途のカメラは、ISO(International Organization for Standardization)26262の開発プロセスに沿って開発する必要があり、障害発生による故障のリスクを抑制するために安全機構の配置が必要となる。
【0004】
安全機構は、意図機能、つまりカメラ等の基本機能に合わせて配置する必要があり、例えば車載用途のカメラ内の信号処理回路の故障の検出については、ランタイムでの検出が望まれている。
【0005】
例えばカメラの故障検出に関する技術として、カメラで撮影された画像の一部の領域に対して変調を行い、その領域部分にユーザが目視で判別できない程度のテストパタンを合成するものが提案されている(例えば、特許文献1参照)。
【0006】
この技術では、カメラ内の信号処理回路で処理される前後において画像に合成したテストパタンが変化したかを判定することで、信号処理回路が正しく動作しているか、つまり信号処理回路が故障していないかが診断される。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】特開2016−008970号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
しかしながら、上述した技術では、簡単かつ高精度に故障検出を行うことは困難であった。
【0009】
例えば、画像の一部の領域にテストパタンを合成する技術では、画像に対して変調を行ってテストパタンを合成するなどの処理が必要であり、故障検出のために複雑な処理が必要となる。
【0010】
また、信号処理回路の故障を高精度に検出するには、様々なテストパタンで故障検出を行うことが理想的である。ところが、上述の技術ではテストパタンが画像に合成されることから、そのテストパタンはユーザが目視で判別できないものである必要がある。そうすると限られたテストパタンしか用いることができず、信号処理回路の故障を十分な精度で検出することができなくなってしまうおそれがあった。
【0011】
しかも、画像の一部の領域にはテストパタンが合成されるため、カメラの後段においてテストパタンが合成された領域が物体検出等の処理対象の領域となったときには、テストパタンの合成が後段での処理の精度に影響を与えてしまう可能性もある。
【0012】
本技術は、このような状況に鑑みてなされたものであり、より簡単かつ高精度に故障検出を行うことができるようにするものである。
【課題を解決するための手段】
【0013】
本技術の第1の側面の信号処理装置は、互いに異なるパスで並列に処理される2以上のサンプルが同じサンプル値を有する故障検出用のテストデータを、所定の処理が施される有効データに付加する付加部と、前記有効データ、および前記有効データに付加された前記テストデータに対して、複数の前記パスにより前記所定の処理を施す信号処理部とを備える。
【0014】
本技術の第1の側面の信号処理方法またはプログラムは、互いに異なるパスで並列に処理される2以上のサンプルが同じサンプル値を有する故障検出用のテストデータを、所定の処理が施される有効データに付加し、前記有効データ、および前記有効データに付加された前記テストデータに対して、複数の前記パスにより前記所定の処理を施すステップを含む。
【0015】
本技術の第1の側面においては、互いに異なるパスで並列に処理される2以上のサンプルが同じサンプル値を有する故障検出用のテストデータが、所定の処理が施される有効データに付加され、前記有効データ、および前記有効データに付加された前記テストデータに対して、複数の前記パスにより前記所定の処理が施される。
【0016】
本技術の第2の側面の信号処理装置は、有効データと、前記有効データに付加され、互いに異なるパスで並列に処理される2以上のサンプルが同じサンプル値を有する故障検出用のテストデータとからなる出力データを受信する受信部と、前記テストデータの前記2以上のサンプルのサンプル値を比較する比較部とを備える。
【0017】
本技術の第2の側面の信号処理方法またはプログラムは、有効データと、前記有効データに付加され、互いに異なるパスで並列に処理される2以上のサンプルが同じサンプル値を有する故障検出用のテストデータとからなる出力データを受信し、前記テストデータの前記2以上のサンプルのサンプル値を比較するステップを含む。
【0018】
本技術の第2の側面においては、有効データと、前記有効データに付加され、互いに異なるパスで並列に処理される2以上のサンプルが同じサンプル値を有する故障検出用のテストデータとからなる出力データが受信され、前記テストデータの前記2以上のサンプルのサンプル値が比較される。
【発明の効果】
【0019】
本技術の第1の側面および第2の側面によれば、より簡単かつ高精度に故障検出を行うことができる。
【0020】
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載された何れかの効果であってもよい。
【図面の簡単な説明】
【0021】
図1】イメージセンサの構成例を示す図である。
図2】出力データのフォーマット例を示す図である。
図3】画素配列と撮影画像について説明する図である。
図4】テストデータの例を示す図である。
図5】信号処理部の構成例を示す図である。
図6】データ出力処理を説明するフローチャートである。
図7】画素配列と撮影画像について説明する図である。
図8】信号処理部の構成例を示す図である。
図9】画像処理システムの構成例を示す図である。
図10】入力部の構成例を示す図である。
図11】受信処理を説明するフローチャートである。
図12】画像処理システムの車両への適用例を示す図である。
図13】コンピュータの構成例を示す図である。
【発明を実施するための形態】
【0022】
以下、図面を参照して、本技術を適用した実施の形態について説明する。
【0023】
〈第1の実施の形態〉
〈イメージセンサの構成例〉
本技術は、画像データ等の有効データが複数のパスを有する信号処理回路で処理される場合に、互いに異なるパスで並列に処理される2以上のサンプルが同じサンプル値を有するテストデータを有効データに付加して信号処理回路に入力することで、より簡単かつ高精度に信号処理回路の故障検出を行うことができるようにするものである。
【0024】
このような本技術は、車載用のカメラや車載用のカメラを用いた車内システムの他、自動二輪車、自転車、電動車椅子、パーソナルモビリティ、飛行機、船舶、電車、ロボット等の移動体に搭載するカメラや、そのようなカメラを用いたシステム等に適用可能である。
【0025】
また、本技術において故障検出の対象となる信号処理回路は、画像データに対して処理を施す信号処理回路に限らず、音声データや測定データなどの任意のデータに対して処理を施す信号処理回路とすることができる。
【0026】
それでは以下、より具体的な実施の形態について説明する。
【0027】
図1は、本技術を適用したイメージセンサの一実施の形態の構成例を示す図である。
【0028】
図1に示すイメージセンサ11は、例えば車載用途のカメラ等の撮像装置に搭載されており、周囲にある被写体を撮影して得られた画像データを外部に出力する。なお、以下ではイメージセンサ11が車載用途のカメラに設けられているものとして説明を続ける。
【0029】
イメージセンサ11は、画素アレイ部21、A/D(Analog/Digital)変換部22、信号処理部23、および出力部24を有している。
【0030】
画素アレイ部21は、行方向および列方向に複数の画素が配列された画素アレイからなり、各画素が被写体から入射した光を受光して光電変換することにより得られた複数の画素信号からなるアナログの画像信号を生成することで、被写体の画像を撮影する。画素アレイ部21は、撮影により得られた画像信号をA/D変換部22に供給する。
【0031】
なお、画素アレイ部21で撮影される画像は静止画像であってもよいし動画像であってもよいが、以下では画素アレイ部21で動画像が撮影されるものとして説明を続ける。
【0032】
A/D変換部22は、AD変換により、画素アレイ部21から供給されたアナログ信号である画像信号を、デジタル信号である画像データへと変換し、得られた画像データを信号処理部23に供給する。このような画像データは、信号処理部23で処理される目的のデータであり、以下ではそのようなデータを有効データとも称することとする。
【0033】
信号処理部23は、複数のパスを有するデジタルの信号処理回路などからなり、A/D変換部22から供給された画像データに対して複数のパスで所定の信号処理を施して出力部24に供給する。例えば信号処理部23では、画像データに対してゲイン調整やクランプ処理、HDR(High Dynamic Range)合成処理などの処理が行われる。
【0034】
また、この例では、信号処理部23が故障検出の検出対象、つまり故障の診断対象とされており、信号処理部23には比較部31が設けられている。
【0035】
信号処理部23では、信号処理部23の故障検出に用いられる、任意のパタンのテストデータが生成され、信号処理部23の最前段においてテストデータが有効データである画像データに付加される。そして、テストデータが付加された画像データ、つまり画像データとテストデータに対して、信号処理部23に設けられた信号処理ブロックにより各種の処理が施された後、得られた画像データとテストデータが出力部24に供給される。
【0036】
また、信号処理ブロックにより処理が施されたテストデータは、比較部31にも供給され、信号処理部23の故障検出が行われる。
【0037】
すなわち、比較部31は、テストデータの予め定められたサンプルのサンプル値を比較することで信号処理部23の故障検出を行い、その検出結果を外部に出力する。なお、故障検出の検出結果は、出力部24を介して外部に出力されてもよいし、出力部24を介さずに外部に出力されるようにしてもよい。
【0038】
出力部24は、例えばMIPI(Mobile Industry Processor Interface)I/Fなどのデジタル回路からなり、信号処理部23から供給された画像データおよびテストデータを、MIPIなどの所定の規格で定められた形式(フォーマット)の出力データに変換し、外部に出力する。
【0039】
なお、出力部24内の最後段等に比較部31と同様の比較部を設ければ、イメージセンサ11において、信号処理部23だけでなく出力部24についても故障検出を行うことができる。
【0040】
ここで、出力部24から出力される出力データの例について説明する。図2は、出力部24から出力される1フレーム分の出力データ、すなわち1フレーム分の画像データのフォーマット例を示している。
【0041】
図2に示す例では、FS(Frame Start)からFE(Frame End)までのデータが1フレーム分の出力データとされており、その出力データには、動画像の1フレーム分の画像データと、1フレーム分のテストデータとが含まれている。
【0042】
すなわち、この例ではPH(Packet Header)からPF(Packet Footer)の間に有効データ領域とテストデータ領域が設けられている。
【0043】
ここで、有効データ領域は撮影により得られた画像データ(有効データ)が格納される領域であり、その有効データ領域の後に続くテストデータ領域は、信号処理部23で生成されたテストデータが格納される領域である。特に、この例では、画像データ(有効データ)とは異なる任意のデータを格納可能な自由領域がテストデータ領域として利用されている。
【0044】
したがって、この例では動画像の1フレームを構成する1行分の画像データに対してパケットヘッダ(PH)とパケットフッタ(PF)が付加されて、動画像のフレーム内の各行の画像データが出力される。同様に、テストデータに対してもパケットヘッダとパケットフッタが付加されて出力される。
【0045】
なお、テストデータは、動画像のフレームの1行分の長さのデータであってもよいし、数行分の長さのデータであってもよい。
【0046】
また、イメージセンサ11の後段において、特にテストデータに基づく故障検出が行われない場合には、テストデータ領域にテストデータを格納する必要はない。つまり、出力部24から、テストデータが含まれない、画像データのみが含まれた出力データが出力されるようにすればよい。
【0047】
〈信号処理部の構成例〉
続いて、信号処理部23のより具体的な構成例について説明する。
【0048】
例えば画素アレイ部21における画素配列が図3の矢印Q11に示すようにベイヤー配列であったとする。
【0049】
矢印Q11に示す部分において各四角形は1つの画素を表しており、それらの画素内に記された文字は画素に設けられたカラーフィルタを示している。
【0050】
すなわち、文字「R」が記された画素は、R(赤)のカラーフィルタが設けられ、Rの色の成分の画素信号を出力する画素を表している。
【0051】
また、文字「Gr」または「Gb」が記された画素はG(緑)のカラーフィルタが設けられ、Gの色の成分の画素信号を出力する画素を表しており、文字「B」が記された画素はB(青)のカラーフィルタが設けられ、Bの色の成分の画素信号を出力する画素を表している。
【0052】
以下では、文字「R」、「Gr」、「Gb」、および「B」が記された各画素を、それぞれR画素、Gr画素、Gb画素、およびB画素とも称することとする。また、Gr画素とGb画素を特に区別する必要のない場合には、単にG画素とも称することとする。
【0053】
画素アレイ部21においては、このようなR画素、Gr画素、Gb画素、およびB画素がベイヤー配列で配置されており、画素アレイ部21からは各画素がR、G、またはBの何れかの色の成分の値を画素値(サンプル値)として有するカラー画像の画像信号が出力される。
【0054】
なお、ここでは画素アレイ部21がベイヤー配列である場合を例として説明するが、これに限らず画素アレイ部21におけるカラーフィルタの配列は、他のどのような配列であってもよい。また、画素アレイ部21で得られる画像信号はカラー画像の画像信号ではなく、モノクロ画像の画像信号であっても勿論よい。
【0055】
また、信号処理部23には、2つのデータパス(以下、単にパスと称する)が設けられているとする。換言すれば、信号処理部23が2相化された回路であるとする。
【0056】
この場合、図3の矢印Q12に示すように、画像データに基づく画像に対して処理が行われる際には、互いに隣接する2つの画素が互いに異なるパス、つまり互いに異なるチャネルで並列に処理されるとする。
【0057】
矢印Q12に示す部分は、画素アレイ部21の一部分の領域、すなわちA/D変換部22から出力された画像データに基づく1フレーム分の画像(以下、撮影画像とも称する)の一部分の領域を表しており、各四角形は1つの画素を表している。
【0058】
また、矢印Q12に示す部分において文字「PG_Raw_0」乃至「PG_Raw_3」は撮影画像の行を示しており、文字「Column_0」乃至「Column_7」は撮影画像の列を示している。
【0059】
さらに、画素内に記された数字は画素の行と列を示しており、PG_Raw_m行(0≦m≦3),Column_n列(0≦n≦7)の画素には文字「mn」が記されている。以下では、PG_Raw_m行(0≦m≦3),Column_n列(0≦n≦7)の画素を画素mnとも称することとする。
【0060】
したがって、例えば文字「00」が記された画素は、PG_Raw_0行,Column_0列の画素を表しており、以下ではこの画素を画素00とも称する。
【0061】
また、矢印Q11に示した部分の画素と、矢印Q12に示した部分の画素とでは、同じ色成分の画素には同じハッチが施されている。したがって、例えば画素00や画素02はR画素であり、画素01や画素03はG画素である。
【0062】
撮影画像に対して処理が施されるときには、基本的には画素00から画素37までラスタスキャン順に処理されていく。
【0063】
ここでは、信号処理部23が2相化されており、2つのパスがあるので、撮影画像が処理されるときには、矢印Q13に示す処理サイクルで撮影画像に対する処理が行われていくことになる。
【0064】
具体的には、まず画素00が1つのパス(以下、チャネルCH0とも称する)に設けられた回路で処理され、それと略同じタイミングで画素00に隣接する画素01が他の1つのパス、すなわちチャネルCH0とは異なるチャネル(以下、チャネルCH1とも称する)に設けられた回路で処理される。つまり、互いに異なるチャネルCH0とチャネルCH1で、画素00と画素01が並列に処理される。
【0065】
画素00と画素01が処理されると、続いて画素02がチャネルCH0の回路で処理され、それと略同じタイミングで画素03がチャネルCH1の回路で処理される。さらに、画素04がチャネルCH0の回路で処理され、それと略同じタイミングで画素05がチャネルCH1の回路で処理される。そして、その後においても未処理の一対の画素が順番に互いに異なるチャネル(パス)の回路で処理されていく。
【0066】
このように信号処理部23が2相化されている場合、信号処理部23では例えば図4に示すようにテストデータが生成される。
【0067】
なお、図4において文字「PG_Raw_0」乃至「PG_Raw_3」は撮影画像の各行に対応するテストデータの行を示しており、文字「Column_0」乃至「Column_7」は撮影画像の各列に対応するテストデータの列を示している。
【0068】
また、図4において各四角形はテストデータの1つの画素、より詳細には撮影画像の画素に対応する1つのサンプルを示しており、それらの画素内の文字はテストデータの画素(サンプル)の画素値(サンプル値)を示している。
【0069】
例えば図4では、PG_Raw_0行,Column_0列にあるテストデータの画素は、図3に示した画素00に対応する画素となっており、その画素の画素値はAとされている。
【0070】
同様にPG_Raw_0行,Column_1列にあるテストデータの画素は、図3に示した画素01に対応する画素となっており、その画素の画素値はAとされている。
【0071】
これらのPG_Raw_0行,Column_0列の画素と、PG_Raw_0行,Column_1列の画素とは、略同じタイミングで信号処理部23における互いに異なるパスで処理される画素であり、それらの画素の画素値は同じ値Aとされている。
【0072】
以下では、テストデータにおけるPG_Raw_m行(0≦m≦3),Column_n列(0≦n≦7)の画素を画素mn’とも称することとする。
【0073】
例えば1フレーム分のテストデータを1フレーム分の撮影画像の画像データの後ろに付加し、テストデータが付加された画像データを、テストデータの最後の部分までが撮影画像のデータであるものと仮定して処理するものとする。そのような場合、画素mn’は画素mnと同じ色成分の画素であるとして処理されることになる。
【0074】
このようにテストデータの各画素mn’は、画像データの各画素mnに対応するが、画素mn’は実際には色成分を有していない。つまり画素mn’の画素値は、対応する画素mnが有する色成分と同じ色成分の値ではなく、単にテストパタンの値となっている。
【0075】
図4に示すテストデータでは、互いに異なるパス(チャネル)の回路により並列に処理される互いに隣接する2つの画素(サンプル)の画素値(サンプル値)が同じ値となるようになされている。すなわち、テストデータでは、異なるパスで略同じタイミングで処理される2つの画素の画素値が同じ値となるようにされている。
【0076】
なお、テストデータは、互いに異なるパスの回路により並列に処理される2つの画素の画素値が同じ値となれば、どのようなパタンのテストデータとされてもよく、各画素の画素値も乱数とされるなど、どのようにして定められてもよい。
【0077】
例えば図4に示す例では、画素値A乃至画素値Pの各値は任意に生成された乱数の値などとされ、画素値A乃至画素値Pのうちのいくつかの値が同じ値とされてもよい。
【0078】
テストデータにおいて、信号処理部23の互いに異なるパスで並列に処理される画素の画素値が同じ値とされるのは、後述するように、それらの画素が比較部31で比較されて故障検出が行われるからである。
【0079】
以上のように図3に示した画素配列の画像データが得られ、かつ図4に示したパタンのテストデータが生成される場合、信号処理部23は、例えば図5に示すように構成される。なお、図5において図1における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【0080】
図5に示す信号処理部23は、パタンジェネレータ61、付加部62、ゲインレジスタ63−1乃至ゲインレジスタ63−4、セレクタ64−1、セレクタ64−2、セレクタ65−1、セレクタ65−2、乗算部66−1、乗算部66−2、および比較部31を有している。
【0081】
この信号処理部23は、入力された画像データやテストデータに対してゲイン調整を行うデジタル回路である。すなわち、信号処理部23は、画像データやテストデータの各画素に対して、それらの画素が有する色成分、より詳細には画素位置に応じたゲインを乗算することでゲイン調整を行う。
【0082】
パタンジェネレータ61は、例えば乱数を生成するなどして図4に示したパタンのテストデータを生成し、付加部62に供給する。例えば、テストデータは撮影画像の数ライン分の画素数のデータなどとされる。このようなパタンジェネレータ61は、テストデータを生成するテストデータ生成部として機能する。なお、テストデータの各画素の画素値は乱数に限らず、予め定められた値とされてもよい。
【0083】
付加部62は、A/D変換部22から供給された画像データに、パタンジェネレータ61から供給されたテストデータを付加し、テストデータが付加された画像データを乗算部66−1および乗算部66−2に供給する。
【0084】
具体的には、付加部62に対して、例えば図3に示した1フレーム分の画像データが供給され、図4に示した1フレーム分のテストデータが供給されるとする。
【0085】
そのような場合、付加部62は、まず画像データの画素00を乗算部66−1に供給するとともに、画像データの画素01を乗算部66−2に供給する。
【0086】
ここで、乗算部66−1はチャネルCH0に対応するパスに設けられた乗算回路であり、乗算部66−2はチャネルCH1に対応するパスに設けられた乗算回路である。
【0087】
また、次のタイミングでは、付加部62は画像データの画素02を乗算部66−1に供給するとともに、画像データの画素03を乗算部66−2に供給し、このようにして順次、画像データの画素を乗算部66−1と乗算部66−2に供給していく。
【0088】
そして、付加部62が1フレーム分の画像データの最後の画素を乗算部66−2に供給した次のタイミングでは、付加部62はテストデータの乗算部66−1および乗算部66−2への供給を開始する。
【0089】
すなわち、まず付加部62は、テストデータの画素00’を乗算部66−1に供給するとともに、テストデータの画素01’を乗算部66−2に供給する。また、次のタイミングでは、付加部62は、テストデータの画素02’を乗算部66−1に供給するとともに、テストデータの画素03’を乗算部66−2に供給する。
【0090】
その後、同様にして付加部62は、順次、テストデータの画素を乗算部66−1と乗算部66−2に供給していく。
【0091】
このように、付加部62は、撮影画像の画像データを1フレーム分だけ出力すると、その後、1フレーム分のテストデータを出力する処理を繰り返し行う。
【0092】
ゲインレジスタ63−1乃至ゲインレジスタ63−4には、各色成分に応じたゲイン(ゲイン値)が格納されている。
【0093】
すなわち、ゲインレジスタ63−1は、R画素に乗算されるゲイン(以下、ゲインRとも称する)を保持しており、保持しているゲインをセレクタ64−1に供給する。
【0094】
ゲインレジスタ63−2は、Gb画素に乗算されるゲイン(以下、ゲインGbとも称する)を保持しており、保持しているゲインをセレクタ64−1に供給する。
【0095】
ゲインレジスタ63−3は、Gr画素に乗算されるゲイン(以下、ゲインGrとも称する)を保持しており、保持しているゲインをセレクタ64−2に供給する。
【0096】
ゲインレジスタ63−4は、B画素に乗算されるゲイン(以下、ゲインBとも称する)を保持しており、保持しているゲインをセレクタ64−2に供給する。
【0097】
なお、以下、ゲインレジスタ63−1乃至ゲインレジスタ63−4を特に区別する必要のない場合、単にゲインレジスタ63とも称することとする。また、ゲインR、ゲインGb、ゲインGr、およびゲインBは、それぞれ互いに異なる値のゲインであるものとする。
【0098】
セレクタ64−1は、ゲインレジスタ63−1から供給されたゲインR、およびゲインレジスタ63−2から供給されたゲインGbのうちの何れか一方を選択し、選択したゲインをセレクタ65−1およびセレクタ65−2に供給する。
【0099】
また、セレクタ64−2は、ゲインレジスタ63−3から供給されたゲインGr、およびゲインレジスタ63−4から供給されたゲインBのうちの何れか一方を選択し、選択したゲインをセレクタ65−1およびセレクタ65−2に供給する。
【0100】
なお、以下、セレクタ64−1およびセレクタ64−2を特に区別する必要のない場合、単にセレクタ64とも称することとする。
【0101】
セレクタ65−1は、セレクタ64−1から供給されたゲイン、およびセレクタ64−2から供給されたゲインのうちの何れか一方を選択し、選択したゲインを乗算部66−1に供給する。
【0102】
また、セレクタ65−2は、セレクタ64−1から供給されたゲイン、およびセレクタ64−2から供給されたゲインのうちの何れか一方を選択し、選択したゲインを乗算部66−2に供給する。
【0103】
なお、以下、セレクタ65−1およびセレクタ65−2を特に区別する必要のない場合、単にセレクタ65とも称することとする。
【0104】
乗算部66−1は、付加部62から供給された画像データの画素やテストデータの画素に対して、セレクタ65−1から供給されたゲインを乗算し、ゲインが乗算された画素を比較部31および出力部24に供給する。
【0105】
乗算部66−2は、付加部62から供給された画像データの画素やテストデータの画素に対して、セレクタ65−2から供給されたゲインを乗算し、ゲインが乗算された画素を比較部31および出力部24に供給する。
【0106】
なお、以下、乗算部66−1および乗算部66−2を特に区別する必要のない場合、単に乗算部66とも称することとする。
【0107】
比較部31は、乗算部66−1から供給されたゲイン乗算後のテストデータの画素と、乗算部66−2から供給されたゲイン乗算後のテストデータの画素とを比較することで信号処理部23の故障検出を行い、その検出結果を出力する。
【0108】
具体的には、乗算部66−1から供給されたテストデータの画素の画素値と、乗算部66−2から供給されたテストデータの画素の画素値とが一致する場合、つまり画素値が同じである場合、信号処理部23に故障が発生していないと判定される。
【0109】
これに対して、乗算部66−1から供給されたテストデータの画素の画素値と、乗算部66−2から供給されたテストデータの画素の画素値とが一致しない場合、つまり画素値が異なる場合、信号処理部23に故障が発生したと判定される。
【0110】
このように、比較部31では付加部62や乗算部66を通って供給された2つの画素の画素値を比較して故障の検出を行うため、テストデータでは、比較部31で比較される画素同士が同じ画素値となるようになされている。
【0111】
また、ここでは信号処理部23のうち、付加部62乃至乗算部66の部分を対象として故障検出が行われることになる。すなわち、付加部62乃至乗算部66の何れかの部分が故障等により正しく動作していないときには、比較部31において故障(エラー)が発生した旨の検出結果(判定結果)が得られる。
【0112】
上述したように、信号処理部23は撮影画像のゲイン調整を行うブロックとして機能している。そのため、撮影画像のR画素、Gb画素、Gr画素、およびB画素のそれぞれには乗算部66によってゲインR、ゲインGb、ゲインGr、およびゲインBのそれぞれが乗算されて撮影画像がゲイン調整される。
【0113】
したがって、セレクタ64およびセレクタ65では、撮影画像の画像データに対しては、各色の画素にその色のゲインが乗算されるようにゲインの選択が行われる。
【0114】
例えば図3に示した画素配列から分かるように、チャネルCH0の乗算部66−1にはR画素またはGb画素の何れかが供給される。
【0115】
そのため、セレクタ64−1は、乗算部66−1に供給される画素の色成分に応じて、ゲインRとゲインGbの何れかをセレクタ65に供給する。また、セレクタ65−1は、撮影画像が処理されている間は、継続してセレクタ64−1から供給されたゲインを選択し、乗算部66−1に供給する。
【0116】
同様に、チャネルCH1の乗算部66−2にはGr画素またはB画素の何れかが供給される。そのため、セレクタ64−2は、乗算部66−2に供給される画素の色成分に応じて、ゲインGrとゲインBの何れかをセレクタ65に供給する。また、セレクタ65−2は、撮影画像が処理されている間は、継続してセレクタ64−2から供給されたゲインを選択し、乗算部66−2に供給する。
【0117】
このように撮影画像を処理している間はセレクタ65は不要であるが、撮影画像の1フレーム分の処理が終わり、テストデータが乗算部66に供給されるとセレクタ65が必要となる。
【0118】
例えばセレクタ65がないものと仮定すると、図4に示したテストデータの画素00’が乗算部66−1に供給され、テストデータの画素01’が乗算部66−2に供給されるタイミングでは、乗算部66−1および乗算部66−2には、それぞれゲインRおよびゲインGrが供給されることになる。
【0119】
そうすると、比較部31には、画素00’の画素値AにゲインRが乗算された画素値A×Rと、画素01’の画素値AにゲインGrが乗算された画素値A×Grとが供給されて、それらの画素値が比較されることになる。
【0120】
この場合、特に信号処理部23に故障がなく、付加部62や乗算部66が正しく動作していてもゲインRとゲインGrが異なるため、比較される画素の画素値が一致せず、故障が発生していると判定されてしまう。つまり、誤検出が発生してしまうことになる。
【0121】
そこで、セレクタ65は、テストデータが処理されている間においては2つの乗算部66に対して同じゲインが供給されるように、セレクタ64から供給されたゲインを選択する。換言すれば、乗算部66において撮影画像の画像データに対して画素の色成分に依存する処理が行われるときには、セレクタ65は、2つの乗算部66において同じ処理が行われるように、つまりテストデータの比較される対となる画素に対して同じ処理が施されるように、乗算部66における処理を選択する選択部として機能する。
【0122】
なお、セレクタ65では、有効データである画像データが処理されている間においては、画像データの処理対象の画素の色成分に応じた処理(ゲイン)が選択されるようにされる。
【0123】
具体的な例として、例えばテストデータの画素00’と画素01’が処理されるタイミングでは、セレクタ65がゲインRまたはゲインGrを選択するようにされる。
【0124】
例えばゲインRが選択されるものとすると、セレクタ65−1においてもセレクタ65−2においてもゲインRが選択され、乗算部66に供給されるようにされる。
【0125】
このようにすれば、比較部31には、画素00’の画素値AにゲインRが乗算された画素値A×Rと、画素01’の画素値AにゲインRが乗算された画素値A×Rとが供給されて、それらの画素値が比較されることになる。
【0126】
この場合、特に信号処理部23に故障がなく付加部62や乗算部66が正しく動作していれば、比較される画素の画素値が一致し、故障検出の結果として、正しい検出結果が得られるようになる。
【0127】
特に信号処理部23では、テストデータを乗算部66等の回路に入力して、本来、信号処理部23での処理対象とされる画像データに対して行われるのと同様の処理を行わせ、回路から出力されたテストデータの対応する画素の画素値を比較するだけでよい。そのため、簡単な処理で故障検出を行うことができる。
【0128】
すなわち、本技術では、故障検出のために乗算部66に供給されるゲイン等のパラメータを、故障検出のための専用のパラメータに切り替えるなどの切り替えを行う必要がない。また、テストデータに応じて画像データに変調等の処理を施す必要もなく、単に画素を比較するだけでよいので、本技術では簡単に故障検出を行うことができる。
【0129】
しかも、ゲインレジスタ63に格納されるゲインなど、信号処理部23で行われる処理のパラメータをユーザが設定したときでも正しく故障検出を行うことができる。故障検出用のパラメータではなく、実際にユーザが設定したパラメータが用いられて故障検出が行われるので、実際の動作環境で高精度に故障を検出することができる。
【0130】
また、図5に示す信号処理部23では、画像データに対するテストデータの付加が行われる付加部62が信号処理部23の最前段に設けられており、故障検出を行う比較部31が信号処理部23の最後段に設けられている。そのため、信号処理部23では最も広い範囲を対象として故障検出を行うことができる。
【0131】
さらに、信号処理部23が多相化されているという特徴を活かし、信号処理部23のアーキテクチャを利用してテストデータの2つの画素を比較して故障検出を行う構成としたので、簡単な構成で故障検出を行うことができ、回路規模の増加を抑制することができる。
【0132】
その他、信号処理部23では、撮影画像のフレームごとに、有効データである画像データの後に故障検出用のテストデータが付加され、撮影画像のブランキング期間に故障検出が行われるので、ランタイム、つまり撮影画像の処理中に故障検出が可能である。特に、画像データの1フレーム分のデータをテストデータとして用いることがないので、1フレーム期間よりも短い時間で故障検出を行うことができる。
【0133】
しかも、信号処理部23では、故障検出の目的で有効データである画像データに対して加工が行われることもないので、後段において画像データを用いた処理に影響が生じるおそれもなく、テストデータのパタンとして任意のパタンを生成することができる。
【0134】
これにより、テストデータの各画素の画素値を様々な値に変化させてパタンを振ることができる。また、ゲインレジスタ63のゲイン等のパラメータもユーザにより設定された様々な値でテストデータに対する処理が行われるので、より多くのパラメータやテストパタンで故障検出を行うことができ、故障検出の検出精度を向上させることができる。
【0135】
〈データ出力処理の説明〉
続いて、図1に示したイメージセンサ11の動作について説明する。
【0136】
すなわち、以下、図6のフローチャートを参照して、イメージセンサ11によるデータ出力処理について説明する。
【0137】
ステップS11において、画素アレイ部21は、被写体から入射した光を受光して光電変換することで撮影画像を撮影し、その結果得られた撮影画像の画像信号をA/D変換部22に供給する。
【0138】
ステップS12において、A/D変換部22は画素アレイ部21から供給された撮影画像の画像信号に対してAD変換を行い、その結果得られた撮影画像の画像データを信号処理部23の付加部62に供給する。
【0139】
ステップS13においてパタンジェネレータ61は、乱数を生成することで任意のパタンのテストデータを生成し、付加部62に供給する。
【0140】
ステップS13では、信号処理部23の互いに異なるパス(チャネル)で並列に処理される画素(サンプル)の画素値(サンプル値)が同じ値を有するデータがテストデータとして生成される。具体的には、例えば図4に示したテストデータが生成される。
【0141】
ステップS14において、付加部62は、A/D変換部22から供給された画像データに、パタンジェネレータ61から供給されたテストデータを付加して乗算部66に供給する。すなわち、撮影画像の各フレームの画像データの後ろに、1フレーム分のテストデータが付加されて乗算部66に出力される。
【0142】
ステップS15において、セレクタ64およびセレクタ65は、ゲインレジスタ63から供給されるゲインのなかから乗算部66に供給するゲインを選択する。
【0143】
例えばセレクタ64は、ゲインレジスタ63から供給されたゲインのうち、乗算部66に供給される画像データまたはテストデータの画素の位置に対して定まる色成分のゲインを選択し、セレクタ65に供給する。
【0144】
また、セレクタ65は、乗算部66に画像データの画素が供給されるタイミングでは、セレクタ64から供給されたゲインのうち、ゲインの出力先の乗算部66に供給される画像データの画素の位置に対して定まる色成分のゲインを選択し、乗算部66に供給する。
【0145】
これに対してセレクタ65は、乗算部66にテストデータの画素が供給されるタイミングでは、2つの乗算部66に同じ色成分のゲインが供給されるように、セレクタ64から供給されたゲインのなかから所定のゲインを選択し、乗算部66に供給する。
【0146】
ステップS16において、乗算部66は付加部62から供給された画像データやテストデータに対して、セレクタ65から供給されたゲインを乗算し、出力部24および比較部31に供給する。
【0147】
ステップS17において、比較部31は、乗算部66−1から供給されたゲイン乗算後のテストデータの画素の画素値と、乗算部66−2から供給されたゲイン乗算後のテストデータの画素の画素値とを比較することで故障検出を行う。
【0148】
すなわち、比較部31は、2つの画素の画素値が一致した場合には故障が発生していない旨の検出結果を出力し、2つの画素の画素値が一致しない場合には故障が発生した旨の検出結果を出力する。このような故障検出は、撮影画像の各フレームについて、テストデータの対となる画素ごとに行われる。
【0149】
ステップS18において、出力部24は、乗算部66から供給された画像データおよびテストデータを予め定められた所定の形式の出力データに変換して出力し、データ出力処理は終了する。例えばステップS18では、画像データとテストデータが含まれる図2に示した形式の出力データが生成されて出力される。
【0150】
なお、ステップS18では、少なくとも所定形式に変換された画像データが出力されればよく、必ずしもテストデータは出力される必要はない。
【0151】
以上のようにしてイメージセンサ11は、互いに異なるパスで並列に処理される複数の画素の画素値が同じ値を有するテストデータを生成し、乗算部66で処理されたテストデータに基づいて故障検出を行う。このようにすることで、より簡単かつ高精度に故障検出を行うことができる。
【0152】
なお、以上においては、信号処理部23においてゲイン調整を行う例について説明したが、上述したように信号処理部23において画像データおよびテストデータに対して行われる処理はゲイン調整に限らず、他のどのような処理であってもよい。
【0153】
すなわち、例えば画像データやテストデータに対して、撮影画像の黒レベルを固定するためのクランプ処理や、複数の撮影画像を合成するHDR合成処理が行われてもよい。
【0154】
また、信号処理部23において画像データやテストデータに対して行われる処理は、カラーフィルタ、すなわち色成分に依存しない処理でもよい。例えば撮影画像がモノクロ画像であり、撮影画像の各画素に同じ値のゲインが乗算されるときには、図5に示した構成においてセレクタ64やセレクタ65は必要なく、ゲインレジスタから、直接、乗算部66に対してゲインが供給されるようにすればよい。
【0155】
さらに、図1に示したイメージセンサ11では、信号処理部23が故障検出の対象とされる例について説明したが、比較部31を出力部24内に設けることで、信号処理部23だけでなく出力部24も対象として故障検出を行うことができる。
【0156】
例えば出力部24の最後段に比較部31を設ければ、信号処理部23の付加部62から出力部24の最後段までの間のパス(回路)を対象として故障検出を行うことができる。しかも、この場合、出力部24のみに比較部を設けてもよいが、信号処理部23と出力部24の両方に比較部を設ければ、故障が発生したときに信号処理部23と出力部24のどちらで故障が発生したかを特定することが可能である。
【0157】
また、テストデータを信号処理部23のようなデジタルブロック(デジタル回路)からではなく、アナログブロック(アナログ回路)から入力するようにしてもよい。
【0158】
そのような場合、例えばパタンジェネレータ61および付加部62が画素アレイ部21内に設けられるようにし、画素アレイ部21からは、撮影により得られた画像信号にアナログのテストデータが付加されてA/D変換部22へと供給される。
【0159】
そして、A/D変換部22では、画素アレイ部21から供給された画素信号とテストデータに対してAD変換が行われ、その結果得られた画像データとテストデータが信号処理部23の乗算部66に供給される。これにより、A/D変換部22と信号処理部23を対象として故障検出を行うことができるようになる。
【0160】
〈第1の実施の形態の変形例1〉
〈信号処理部の構成例〉
さらに、以上においては信号処理部23に2つのパスが設けられている例について説明したが、3以上のパスが設けられているようにしてもよく、そのような場合には信号処理部23に設けられたパスの数に応じてテストデータのパタンを定めればよい。
【0161】
ここで、具体的な例として、例えば信号処理部23が4相化されている場合、つまり信号処理部23に4つのパス(チャネル)が設けられている場合について説明する。
【0162】
例えば画素アレイ部21の画素配列が図7の矢印Q21に示すようにベイヤー配列であるとすると、撮影画像の領域の一部は矢印Q22に示すようになる。
【0163】
なお、図7の矢印Q21に示す部分において、各四角形は1つの画素を表しており、文字「R」、「Gr」、「Gb」、および「B」が記された画素は、それぞれR画素、Gr画素、Gb画素、およびB画素を示している。
【0164】
また、矢印Q22に示す部分においても各四角形は撮影画像の1つの画素を表しており、それらの画素内の数字はその画素の行および列を示している。すなわち、図3に示した例と同様に、PG_Raw_m行,Column_n列の画素には文字「mn」が記されており、そのような画素を画素mnとも称することとする。
【0165】
このような撮影画像が得られる場合、信号処理部23が4相化された構造となっているときには、行方向に互いに隣接して並ぶ4つの画素が互いに異なるパスにより並列に処理される。
【0166】
すなわち、例えば画素00、画素01、画素02、および画素03が互いに異なるパスで略同じタイミングで処理される。
【0167】
以下では、画素00、画素01、画素02、および画素03のそれぞれが処理されるパスを、それぞれチャネルCH0、チャネルCH1、チャネルCH2、およびチャネルCH3とも称することとする。
【0168】
このようにカラーの撮影画像が4つのパスで処理される場合、互いに異なるパスで並列に処理される4つの画素(サンプル)のうち、少なくとも2以上の画素が同じ画素値(サンプル値)を有するテストデータを生成すればよい。すなわち、例えば互いに異なるパスで並列に処理される4つの画素のうち、同じ色成分に対応する2つの画素が同じ画素値を有するテストデータを生成すればよい。
【0169】
具体的には、例えば図4を参照して説明した場合と同様に、テストデータのPG_Raw_m行,Column_n列の画素を画素mn’と記すこととする。
【0170】
この場合、例えばテストデータの画素00’はR成分の画素00に対応し、画素00’はチャネルCH0の回路で処理される。また、テストデータの画素01’はGr成分の画素01に対応し、画素01’はチャネルCH1の回路で処理される。
【0171】
同様にテストデータの画素02’はR成分の画素02に対応し、チャネルCH2の回路で処理され、テストデータの画素03’はGr成分の画素03に対応し、チャネルCH3の回路で処理される。
【0172】
したがって、例えばR成分(R画素)に対応する画素00’と画素02’とが同じ画素値を有し、Gr成分(Gr画素)に対応する画素01’と画素03’とが同じ画素値を有するテストデータを生成すればよい。
【0173】
また、そのような場合、4相化された信号処理部23は、例えば図8に示す構成とされる。なお、図8において図5における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【0174】
図8に示す信号処理部23は、パタンジェネレータ61、付加部62、ゲインレジスタ63−1乃至ゲインレジスタ63−4、セレクタ64−1、セレクタ64−2、乗算部66−1、乗算部66−2、乗算部66−3、乗算部66−4、および比較部31を有している。
【0175】
図8に示す信号処理部23の構成は、セレクタ65−1およびセレクタ65−2が設けられておらず、新たに乗算部66−3および乗算部66−4を設けた点で図5の信号処理部23と異なっている。
【0176】
この例では、乗算部66−1乃至乗算部66−4のそれぞれは、チャネルCH0乃至チャネルCH3のそれぞれに設けられた回路となっている。
【0177】
乗算部66−1および乗算部66−3は、付加部62から供給された画像データの画素およびテストデータの画素に対して、セレクタ64−1から供給されたゲインを乗算し、ゲインが乗算された画素を比較部31および出力部24に供給する。
【0178】
乗算部66−2および乗算部66−4は、付加部62から供給された画像データの画素およびテストデータの画素に対して、セレクタ64−2から供給されたゲインを乗算し、ゲインが乗算された画素を比較部31および出力部24に供給する。
【0179】
なお、以下、乗算部66−1乃至乗算部66−4を特に区別する必要のない場合、単に乗算部66とも称することとする。
【0180】
図8に示す構成の信号処理部23では、入力された画像データやテストデータは、4画素並列に処理が行われる。
【0181】
例えば図7に示した画像データが付加部62に供給された場合、付加部62は、画像データの画素00をチャネルCH0の乗算部66−1に供給し、画像データの画素01をチャネルCH1の乗算部66−2に供給する。また、付加部62は、画像データの画素02をチャネルCH2の乗算部66−3に供給し、画像データの画素03をチャネルCH3の乗算部66−4に供給する。
【0182】
この場合、セレクタ64−1はゲインRを選択して、そのゲインRを乗算部66−1および乗算部66−3に供給し、セレクタ64−2はゲインGrを選択して、そのゲインGrを乗算部66−2および乗算部66−4に供給する。
【0183】
そして、乗算部66−1および乗算部66−3は、付加部62から供給された画素00および画素02のそれぞれの画素値に、セレクタ64−1から供給されたゲインRを乗算してゲイン調整を行い、ゲインRが乗算された画素00および画素02を出力部24および比較部31に供給する。
【0184】
同様に、乗算部66−2および乗算部66−4は、付加部62から供給された画素01および画素03のそれぞれの画素値に、セレクタ64−2から供給されたゲインGrを乗算してゲイン調整を行い、ゲインGrが乗算された画素01および画素03を出力部24および比較部31に供給する。
【0185】
また、パタンジェネレータ61は、チャネルCH0とチャネルCH2で並列に処理される画素が同じ画素値を有し、チャネルCH1とチャネルCH3で並列に処理される画素が同じ画素値を有するテストデータを生成して付加部62に供給する。
【0186】
この場合、上述したように、例えば画素00’と画素02’とが同じ画素値を有し、画素01’と画素03’とが同じ画素値を有するテストデータが生成される。
【0187】
付加部62は、撮影画像の1フレーム分の画像データを乗算部66に供給すると、その後、パタンジェネレータ61から供給された1フレーム分のテストデータを乗算部66に供給する。
【0188】
例えば付加部62は、テストデータの画素00’乃至画素03’のそれぞれを乗算部66−1乃至乗算部66−4のそれぞれに供給し、その後も同様にしてテストデータの画素を乗算部66に供給していく。
【0189】
また、セレクタ64は、乗算部66に画像データが供給されているときと同様にゲインを選択し、乗算部66に選択したゲインを供給する。
【0190】
すなわち、例えば乗算部66−1および乗算部66−3に画素00’および画素02’が供給されるタイミングでは、セレクタ64−1はゲインRを選択し、乗算部66−1および乗算部66−3に供給する。そして、乗算部66−1および乗算部66−3は、付加部62から供給された画素00’および画素02’に対してゲインRを乗算し、出力部24および比較部31に供給する。
【0191】
また、乗算部66−2および乗算部66−4に画素01’および画素03’が供給されるタイミングでは、セレクタ64−2はゲインGrを選択し、乗算部66−2および乗算部66−4に供給する。そして、乗算部66−2および乗算部66−4は、付加部62から供給された画素01’および画素03’に対してゲインGrを乗算し、出力部24および比較部31に供給する。
【0192】
この場合、比較部31は、ゲインRが乗算された画素00’の画素値と、ゲインRが乗算された画素02’の画素値とを比較し、それらの画素値が一致しない場合、故障が発生した旨の検出結果を出力する。
【0193】
また、比較部31は、ゲインGrが乗算された画素01’の画素値と、ゲインGrが乗算された画素03’の画素値とを比較し、それらの画素値が一致しない場合、故障が発生した旨の検出結果を出力する。
【0194】
これに対して、比較部31は、ゲインRが乗算された画素00’の画素値と、ゲインRが乗算された画素02’の画素値とが一致し、かつゲインGrが乗算された画素01’の画素値と、ゲインGrが乗算された画素03’の画素値とが一致する場合、故障が発生していない旨の検出結果を出力する。
【0195】
このように信号処理部23が4相化されているときには、並列に処理される4つの画素のなかに同じ色成分の画素が複数あるのでセレクタ65は不要となる。
【0196】
なお、図8に示した信号処理部23においても画素00’乃至画素03’が同じ画素値を有するテストデータが生成され、それらの画素00’乃至画素03’が乗算部66に供給されるタイミングでは、乗算部66−1乃至乗算部66−4に同じ値のゲインが供給されるようにしてもよい。
【0197】
〈第2の実施の形態〉
〈画像処理システムの構成例〉
ところで、イメージセンサ11では、図2を参照して説明したように画像データに対してテストデータを付加して外部に出力することが可能である。
【0198】
したがって、イメージセンサ11の後段にあるシステムも対象として故障検出を行うことが可能である。
【0199】
そのような場合、イメージセンサ11と、そのイメージセンサ11の後段にあるホストとからなる画像処理システムは、例えば図9に示すように構成される。なお、図9において図1における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【0200】
図9に示す画像処理システムは、イメージセンサ11と、そのイメージセンサ11の後段にあるホスト101とを有している。
【0201】
ホスト101は、イメージセンサ11の出力部24から出力(送信)された画像データおよびテストデータを含む出力データを受信して、出力データに含まれる画像データに対して所定の処理を施す信号処理装置である。ホスト101は、入力部111および信号処理部112を有している。
【0202】
入力部111は、例えばMIPIなどの所定の規格に準拠した受信機からなり、出力部24から出力された出力データから撮影画像の画像データやテストデータを抽出する。
【0203】
また、入力部111は、抽出した画像データやテストデータを信号処理部112に供給するとともに、抽出したテストデータに基づいて、入力部111等を診断対象とした故障検出を行う。なお、信号処理部112において故障検出が行われない場合には、信号処理部112に画像データのみが供給されるようにすればよい。
【0204】
信号処理部112は、入力部111から供給された画像データに対して、クランプ処理やHDR合成処理、ゲイン調整処理などの所定の処理を行い、その処理結果を外部に出力する。
【0205】
なお、入力部111や信号処理部112も信号処理部23と同様に多相化された構成とされていてもよい。これらの入力部111や信号処理部112はデジタル回路から構成されている。
【0206】
また、入力部111は、より詳細には例えば図10に示すように構成される。
【0207】
図10に示す入力部111は、受信部141、抽出部142、および比較部143を有している。
【0208】
受信部141は、出力部24から出力された出力データを受信して抽出部142に供給する。抽出部142は、受信部141から供給された出力データから画像データおよびテストデータを抽出して、画像データおよびテストデータを信号処理部112に供給するとともに、テストデータを比較部143に供給する。
【0209】
比較部143は、イメージセンサ11の比較部31に対応し、抽出部142から供給されたテストデータに基づいて故障検出を行う。
【0210】
例えば信号処理部23が図5に示した構成とされ、図4に示したテストデータが生成されたとする。このとき、比較部143は、例えば抽出部142からテストデータとして、付加部62から抽出部142の間で処理が行われた画素00’と画素01’が供給された場合には、それらの画素00’の画素値と画素01’の画素値とを比較することで、故障検出を行う。
【0211】
そして、比較部143は、画素00’の画素値と画素01’の画素値とが一致するときには、故障が発生していない旨の検出結果を出力する。
【0212】
これに対して、比較部143は、画素00’の画素値と画素01’の画素値とが一致しないときには、故障が発生した旨の検出結果を出力する。
【0213】
比較部143において故障が発生した旨の検出結果が得られた場合、付加部62から抽出部142までの間において故障(不具合)が発生していることになる。この場合、信号処理部23および出力部24のそれぞれに故障検出のための比較部が設けられているときには、信号処理部23、出力部24、および入力部111のうちのどのブロックで故障が発生しているかを特定することができる。
【0214】
また、図10に示す構成では、比較部143が入力部111の最後段に設けられているので、入力部111のより広い範囲のブロックを故障検出の対象とすることができる。
【0215】
さらに、ここでは入力部111に比較部143が設けられる例について説明したが、入力部111ではなく信号処理部112に比較部143が設けられるようにしてもよく、入力部111と信号処理部112の両方に故障検出のための比較部が設けられてもよい。
【0216】
また、例えば入力部111や信号処理部112に色成分に依存する処理を行う信号処理ブロックが設けられていることもある。そのような場合、テストデータの互いに異なるパスで並列に処理される画素、つまり比較部で比較される対となる画素に対して同じ処理が施されるように、信号処理ブロックにおける処理を選択する選択部を設ければよい。
【0217】
〈受信処理の説明〉
図9に示した画像処理システムでは、イメージセンサ11側では、例えば図6を参照して説明したデータ出力処理が行われる。そして、データ出力処理が行われ、出力部24から出力データが出力されると、ホスト101では図11に示す受信処理が行われる。
【0218】
以下、図11のフローチャートを参照して、ホスト101による受信処理について説明する。
【0219】
ステップS41において、受信部141は、イメージセンサ11の出力部24から出力された出力データを受信して抽出部142に供給する。
【0220】
ステップS42において、抽出部142は、受信部141から供給された出力データから画像データとテストデータを抽出し、画像データおよびテストデータを信号処理部112に供給するとともに、テストデータを比較部143に供給する。
【0221】
ステップS43において、比較部143は抽出部142から供給されたテストデータに基づいて故障検出を行い、その検出結果を出力する。ステップS43では、図6のステップS17と同様の処理が行われる。
【0222】
ステップS44において、信号処理部112は、抽出部142から供給された画像データに対してクランプ処理等の所定の処理を行って、その処理結果を出力し、受信処理は終了する。
【0223】
以上のようにしてホスト101は、イメージセンサ11から出力された出力データを受信してテストデータを抽出し、故障検出を行う。これにより、イメージセンサ11における場合と同様に、より簡単かつ高精度に故障検出を行うことができる。
【0224】
なお、ホスト101側において故障検出を行う場合においても、イメージセンサ11で故障検出を行う場合と同様に、ランタイムでの故障検出を行うことができる。また、信号処理部112等におけるゲインなどのパラメータをユーザが任意に設定したときでも、正しく故障検出を行うことができる。
【0225】
〈車両への適用例〉
さらに、上述したイメージセンサ11や、イメージセンサ11とホスト101からなる画像処理システムを車両に適用した場合、例えば図12に示すようになる。
【0226】
図12に示す車両171は、安全機能を有する自動車である。例えば車両171には、車両171の運転に関する制御に用いられる撮影画像を得るためのカメラ181−1乃至カメラ181−4が設けられている。
【0227】
ここで、カメラ181−1は、車両171の前方の領域VR11-1を被写体として撮影画像を得るためのカメラである。
【0228】
また、カメラ181−2は、車両171の左側方の領域VR11-2を被写体として撮影画像を得るためのカメラであり、カメラ181−3は、車両171の右側方の領域VR11-3を被写体として撮影画像を得るためのカメラである。
【0229】
さらに、カメラ181−4は、車両171の後方の領域VR11-4を被写体として撮影画像を得るためのカメラである。
【0230】
なお、以下、カメラ181−1乃至カメラ181−4を特に区別する必要のない場合、単にカメラ181とも称することとする。
【0231】
これらのカメラ181内には、例えばイメージセンサ11が設けられている。
【0232】
また、カメラ181で得られた撮影画像は、例えば車両171の中央に配置された車両制御部182に供給され、車両171の運転に関する制御に用いられる。
【0233】
車両制御部182は、例えばADAS(Advanced Driving Assistant System)チップなどからなり、カメラ181から供給された撮影画像に対して画像解析を行うとともに、その画像解析の結果に基づいて、ステアリングホイールやアクセル、ブレーキなどの車両171の運転に関する制御を行う。上述したホスト101は、例えば車両制御部182内に設けられているようにすることができる。
【0234】
〈コンピュータの構成例〉
ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【0235】
図13は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【0236】
コンピュータにおいて、CPU(Central Processing Unit)501,ROM(Read Only Memory)502,RAM(Random Access Memory)503は、バス504により相互に接続されている。
【0237】
バス504には、さらに、入出力インターフェース505が接続されている。入出力インターフェース505には、入力部506、出力部507、記録部508、通信部509、及びドライブ510が接続されている。
【0238】
入力部506は、キーボード、マウス、マイクロフォン、撮像素子などよりなる。出力部507は、ディスプレイ、スピーカなどよりなる。記録部508は、ハードディスクや不揮発性のメモリなどよりなる。通信部509は、ネットワークインターフェースなどよりなる。ドライブ510は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記録媒体511を駆動する。
【0239】
以上のように構成されるコンピュータでは、CPU501が、例えば、記録部508に記録されているプログラムを、入出力インターフェース505及びバス504を介して、RAM503にロードして実行することにより、上述した一連の処理が行われる。
【0240】
コンピュータ(CPU501)が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体511に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【0241】
コンピュータでは、プログラムは、リムーバブル記録媒体511をドライブ510に装着することにより、入出力インターフェース505を介して、記録部508にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部509で受信し、記録部508にインストールすることができる。その他、プログラムは、ROM502や記録部508に、あらかじめインストールしておくことができる。
【0242】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【0243】
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【0244】
例えば、本技術は、1つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【0245】
また、上述のフローチャートで説明した各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。
【0246】
さらに、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。
【0247】
さらに、本技術は、以下の構成とすることも可能である。
【0248】
(1)
互いに異なるパスで並列に処理される2以上のサンプルが同じサンプル値を有する故障検出用のテストデータを、所定の処理が施される有効データに付加する付加部と、
前記有効データ、および前記有効データに付加された前記テストデータに対して、複数の前記パスにより前記所定の処理を施す信号処理部と
を備える信号処理装置。
(2)
前記信号処理部により前記所定の処理が施された前記テストデータの前記2以上のサンプルのサンプル値を比較する比較部をさらに備える
(1)に記載の信号処理装置。
(3)
前記信号処理部は、前記2以上のサンプルに対して前記所定の処理として同じ処理が施されるように、前記2以上のサンプルに対して施される処理を選択する選択部を有する
(1)または(2)に記載の信号処理装置。
(4)
前記有効データはカラー画像の画像データであり、
前記選択部は、
前記有効データの画素に対しては、前記所定の処理として前記画素の色成分に応じた処理を選択し、
前記テストデータの前記2以上のサンプルに対しては、前記所定の処理として同じ処理を選択する
(3)に記載の信号処理装置。
(5)
前記テストデータを生成するテストデータ生成部をさらに備える
(1)乃至(4)の何れか一項に記載の信号処理装置。
(6)
前記所定の処理が施された前記有効データおよび前記テストデータを出力する出力部をさらに備える
(1)乃至(5)の何れか一項に記載の信号処理装置。
(7)
前記有効データは画像データである
(1)乃至(6)の何れか一項に記載の信号処理装置。
(8)
互いに異なるパスで並列に処理される2以上のサンプルが同じサンプル値を有する故障検出用のテストデータを、所定の処理が施される有効データに付加し、
前記有効データ、および前記有効データに付加された前記テストデータに対して、複数の前記パスにより前記所定の処理を施す
ステップを含む信号処理方法。
(9)
互いに異なるパスで並列に処理される2以上のサンプルが同じサンプル値を有する故障検出用のテストデータを、所定の処理が施される有効データに付加し、
前記有効データ、および前記有効データに付加された前記テストデータに対して、複数の前記パスにより前記所定の処理を施す
ステップを含む処理をコンピュータに実行させるプログラム。
(10)
有効データと、前記有効データに付加され、互いに異なるパスで並列に処理される2以上のサンプルが同じサンプル値を有する故障検出用のテストデータとからなる出力データを受信する受信部と、
前記テストデータの前記2以上のサンプルのサンプル値を比較する比較部と
を備える信号処理装置。
(11)
前記受信部は、外部の信号処理ブロックにおいて前記有効データおよび前記テストデータのそれぞれに対して複数の前記パスにより並列に処理が施された前記出力データを受信する
(10)に記載の信号処理装置。
(12)
前記受信部により受信された前記出力データの前記有効データおよび前記テストデータに対して所定の処理を施す信号処理部をさらに備え、
前記比較部は、前記信号処理部により前記所定の処理が施された前記テストデータの前記2以上のサンプルのサンプル値を比較する
(10)または(11)に記載の信号処理装置。
(13)
前記有効データは画像データである
(10)乃至(12)の何れか一項に記載の信号処理装置。
(14)
有効データと、前記有効データに付加され、互いに異なるパスで並列に処理される2以上のサンプルが同じサンプル値を有する故障検出用のテストデータとからなる出力データを受信し、
前記テストデータの前記2以上のサンプルのサンプル値を比較する
ステップを含む信号処理方法。
(15)
有効データと、前記有効データに付加され、互いに異なるパスで並列に処理される2以上のサンプルが同じサンプル値を有する故障検出用のテストデータとからなる出力データを受信し、
前記テストデータの前記2以上のサンプルのサンプル値を比較する
ステップを含む処理をコンピュータに実行させるプログラム。
【符号の説明】
【0249】
11 イメージセンサ, 21 画素アレイ部, 22 A/D変換部, 23 信号処理部, 24 出力部, 31 比較部, 61 パタンジェネレータ, 62 付加部, 65−1,65−2,65 セレクタ, 66−1乃至66−4,66 乗算部, 101 ホスト, 111 入力部, 112 信号処理部, 141 受信部, 142 抽出部, 143 比較部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13