(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-08-05
(45)【発行日】2022-08-16
(54)【発明の名称】画像処理装置
(51)【国際特許分類】
H04L 43/50 20220101AFI20220808BHJP
G01R 31/28 20060101ALI20220808BHJP
【FI】
H04L43/50
G01R31/28 V
(21)【出願番号】P 2019042304
(22)【出願日】2019-03-08
【審査請求日】2021-08-23
(73)【特許権者】
【識別番号】000003078
【氏名又は名称】株式会社東芝
(73)【特許権者】
【識別番号】317011920
【氏名又は名称】東芝デバイス&ストレージ株式会社
(74)【代理人】
【識別番号】110002907
【氏名又は名称】特許業務法人イトーシン国際特許事務所
(72)【発明者】
【氏名】山田 裕
【審査官】鈴木 香苗
(56)【参考文献】
【文献】特開昭63-316182(JP,A)
【文献】特開平6-006832(JP,A)
【文献】特開2017-204738(JP,A)
【文献】特開2014-123814(JP,A)
【文献】国際公開第2018/138584(WO,A1)
【文献】特開2016-171575(JP,A)
【文献】米国特許出願公開第2018/0329371(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
H04L 43/50
G01R 31/28
(57)【特許請求の範囲】
【請求項1】
撮像された複数の画像データのそれぞれが割り当てられ、割り当てられた画像データを転送する複数の転送部と、
前記複数の転送部によって転送された前記複数の画像データを保持するデータ保持部と、
前記データ保持部に保持された前記複数の画像データを画像処理する画像処理プロセッサと、
前記データ保持部から前記画像処理プロセッサに対して画像データが入力されていない期間に前記画像処理プロセッサのテストを実施するテスト回路と、
を有することを特徴とする画像処理装置。
【請求項2】
前記データ保持部に保持された前記複数の画像データの位相を合わせて出力するように制御する制御回路を更に有し、
前記テスト回路は、位相が合わされた前記複数の画像データの垂直ブランキング期間に前記画像処理プロセッサの自己診断テストを実施するBIST回路であることを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記テスト回路は、前記画像処理プロセッサをテストするためのテストパターンを生成し、前記画像データが入力されていない期間に、前記テストパターンを前記画像処理プロセッサに入力するテストパターン生成回路であることを特徴とする請求項1に記載の画像処理装置。
【請求項4】
前記複数の画像データに誤り訂正符号を付加する符号部と、前記複数の画像データに付加された前記誤り訂正符号を復号する復号部と、を更に有することを特徴とする請求項1から請求項3のいずれか1つに記載の画像処理装置。
【請求項5】
前記誤り訂正符号は、データの転送の際に生じる誤りを検出するためのCRC符号、又は、データの転送の際に生じる誤りを検出し、検出した誤りを訂正することができるECC符号であることを特徴とする請求項4に記載の画像処理装置。
【請求項6】
前記符号部は、前記複数の画像データのライン毎に前記CRC符号を付加する、又は、数画素単位毎に前記ECC符号を付加することを特徴とする請求項5に記載の画像処理装置。
【請求項7】
前記画像処理プロセッサは、前記複数の画像データに対して画像処理を施し、RAWデータをRGBデータに変換することを特徴とする請求項1から請求項6のいずれか1つに記載の画像処理装置。
【請求項8】
前記複数の画像データは、複数のカメラにより撮像されたデータであることを特徴とする請求項1から請求項7のいずれか1つに記載の画像処理装置。
【請求項9】
前記複数の画像データは、1つのカメラにより撮像された1つの画像について輝度を変更することで、複数の画像データとすることを特徴とする請求項1から請求項7のいずれか1つに記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、画像処理装置に関する。
【背景技術】
【0002】
近年、車載用のカメラにより撮影された画像データに対して画像処理を行うISP(Image Signal Processor)を備えた画像処理装置が一般的に知られている。車載用のカメラにより撮影された画像データに対して画像処理を行うISPは、高い信頼性が求められるため、ISPが故障していないか、常時診断を実施する必要があった。
【0003】
従来では、カメラから出力された画像データを単一のバーチャルチャネル(以下、VCという)を介してISPに送信していた。VCが単一の場合、画像データの垂直ブランキング期間(以下、Vブランク期間と呼ぶ)にテストパターンや自己診断テスト(BIST)により常時診断を実施している。
【0004】
一方、複数のカメラからの出力された複数の画像データを複数のVCにそれぞれ割り当ててISPに送信し、単一のISPで複数の画像データを処理する構成の画像処理装置が知られている。
【0005】
しかしながら、複数のカメラからの出力された複数の画像データを複数のVCにそれぞれ割り当ててISPに送信する場合、複数の画像データのVブランク期間がばらばらでISPに入力されるため、Vブランク期間の確保が困難になり、常時診断を実施することができないという問題があった。
【先行技術文献】
【特許文献】
【0006】
【発明の概要】
【発明が解決しようとする課題】
【0007】
そこで、実施形態は、複数のVCを有する構成であっても、常時診断を実施することができる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【0008】
実施形態の画像処理装置は、複数の転送部と、データ保持部と、画像処理プロセッサと、テスト回路と、を有する。複数の転送部は、撮像された複数の画像データのそれぞれが割り当てられ、割り当てられた画像データを転送する。データ保持部は、複数の転送部によって転送された複数の画像データを保持する。画像処理プロセッサは、データ保持部に保持された複数の画像データを画像処理する。テスト回路は、データ保持部から画像処理プロセッサに対して画像データが入力されていない期間に画像処理プロセッサのテストを実施する。
【図面の簡単な説明】
【0009】
【
図1】第1の実施形態に係る画像処理装置を搭載した車両の一例を示す図である。
【
図2】第1の実施形態に係る画像処理装置の詳細な構成を示すブロック図である。
【
図3】比較例のISPに入力される画像データの一例を示すタイミングチャートである。
【
図4】第1の実施形態のISPに入力される画像データの一例を示すタイミングチャートである。
【
図5】変形例1に係る画像処理装置の詳細な構成を示すブロック図である。
【
図6】変形例2に係る画像処理装置の詳細な構成を示すブロック図である。
【
図7】第2の実施形態に係る画像処理装置の詳細な構成を示すブロック図である。
【
図8】第2の実施形態のISPに入力される画像データ及びテストパターンの一例を示すタイミングチャートである。
【発明を実施するための形態】
【0010】
以下、図面を参照して実施形態について詳細に説明する。
(第1の実施形態)
まず、
図1及び
図2に基づき、第1の実施形態に係る画像処理装置の構成を説明する。
図1は、第1の実施形態に係る画像処理装置を搭載した車両の一例を示す図であり、
図2は、第1の実施形態に係る画像処理装置の詳細な構成を示すブロック図である。
【0011】
図1に示すように、画像処理装置1は、例えば自動車等の車両Xに搭載されている。車両Xには、車両Xの周囲の画像を撮影するための車載用の4つのカメラC1、C2、C3及びC4が搭載されている。
【0012】
なお、以下の説明では、車両Xの運転席に運転者が座った際の前側を前方向、後側を後方向、左側を左方向、右側を右方向とする。
【0013】
カメラC1は、車両Xの前側に取り付けられ、車両Xの前方向の画像データを取得する。カメラC2は、車両Xの後側に取り付けられ、車両Xの後方向の画像データを取得する。カメラC3は、車両Xの左側に取り付けられ、車両Xの左方向の画像データを取得する。カメラC4は、車両Xの右側に取り付けられ、車両Xの右方向の画像データを取得する。カメラC1、C2、C3及びC4によって取得された画像データは、画像処理装置1に入力される。
【0014】
画像処理装置1は、車両Xに搭載された4つのカメラC1、C2、C3及びC4によって取得された画像データを処理するための半導体装置である。
【0015】
図2に示すように、画像処理装置1は、MIPI I/F11a~11d、CRC ENC12a~12d、MIPI CTRL13a~13d、VC14a~14d、Data Type Select15a~15d、unpack16a~16d、CRC CHK17、Buffer18、ISP19、CRC CHK20、DMAC21、BIST回路22、及び、制御回路23を有して構成されている。
【0016】
MIPI I/F11a~11dは、撮像部としてのカメラC1~C4によって撮影された撮像データ(RAWデータ)を受信し、CRC ENC12a~12dに出力する。符号部を構成するCRC ENC12a~12dは、データの転送の際に生じる誤りを検出するための方式の1種であるCRC(Cyclic Redundancy Check)符号を入力されたRAWデータに対して付加してMIPI CTRL13a~13dに出力する。CRC ENC12a~12dは、例えばライン毎にCRC符号を付加する。
【0017】
なお、本実施形態では、CRC符号を入力されたRAWデータに対して付加するが、これに限定されるものではない。例えば、画像処理装置1は、データの転送の際に生じる誤りを検出、及び、検出した誤りを訂正することができるECC(Error Correcting Code)符号を入力されたRAWデータに対して付加するECC回路を有する構成であってもよい。この場合、ECC回路は、数画素単位毎にECC符号を付加する。
【0018】
MIPI CTRL13a~13dは、CRC ENC12a~12dから入力されたRAWデータのそれぞれを複数の転送部を構成するVC14a~14dに割り当てる。VC14a~14dは、RAWデータをData Type Select15a~15dに転送する。なお、本実施形態の画像処理装置1は、物理チャネルを4つ有する構成であるため、VC14a~14dを有していない構成であってもよい。
【0019】
Data Type Select15a~15dは、入力されたRAWデータのデータタイプ(ヘッダー情報、画像データ等)を選択し、unpack16a~16d及びCRC CHK20に出力する。Data Type Select15a~15dは、画像データをunpack16a~16dに出力し、ヘッダー情報をCRC CHK20に出力する。
【0020】
unpack16a~16dは、Data Type Select15a~15dから入力された画像データをデコードし、デコードした画像データをCRC CHK17に出力する。また、unpack16b~16dは、デコードした画像データをCRC CHK20に出力する。具体的には、unpack16a~16dは、入力された画像データに対してデータの並び替えを行い、データの並び替えを行った画像データをCRC CHK17及びCRC CHK20に出力する。
【0021】
復号部を構成するCRC CHK17は、unpack16a~16dから入力された画像データに対して付加されたCRC符号を復号し、画像データに誤りがないかをチェックする。CRC CHK17は、画像データに誤りを検出した場合、エラー信号を例えば制御回路23に出力する。
【0022】
MIPI CTRL13a、VC14a、及び、Data Type Select15aの経路では、データを選択するのみであり、データ値は変更されない。また、unpack16aは、入力された画像データの順序を変更するだけであり、データ値は変更されない。そのため、MIPI CTRL13a~unpack16aの経路では、データ値は変更されない。なお、MIPI CTRL13b~unpack16b、MIPI CTRL13c~unpack16c、及び、MIPI CTRL13d~unpack16dの経路も同様であり、データ値は変更されない。本実施形態では、データ値が変更されない経路は、CRC符号によって故障(エラー)がないかを診断している。
【0023】
データ保持部を構成するBuffer18は、例えば100ラインあるいは100ライン以上の画像データを保持するラインバッファであり、unpack16a~16dから入力された画像データを保持する。Buffer18は、制御回路23の制御に基づいて、VC14a~14dによって転送された画像データの位相を合わせてVブランク期間を確保し、ISP19に出力する。なお、制御回路23は、Buffer18の制御のみを行うものではなく、画像処理装置1内の各回路の制御を行うことができる。
【0024】
後述するように、本実施形態では、各画像データの位相を合わせることで確保したVブランク期間にBISTを実施する。そのため、ラインバッファを構成するBuffer18によって入力された各画像データの位相を合わせるように構成されている。なお、カメラC1、C2、C3及びC4を制御し、カメラC1、C2、C3及びC4から出力される画像データの位相を合わせる構成の場合、固体撮像装置1は、各画像データの位相を合わせるためのBuffer18を有していなくてもよい。
【0025】
ISP19は、入力された画像データに対して画像処理を施し、RAWデータをRGBデータに変換し、バス31を介して画像処理部32に出力する。画像処理部32は、ISP19によってRGBデータに変換された画像データに対して、パターンマッチング等を行い、人物や標識等を識別することができる。
【0026】
復号部を構成するCRC CHK20は、Data Type Select15a~15dから入力された画像データに対して付加されたCRC符号、及び、unpack16b~16dから入力されたヘッダー情報に対して付加されたCRC符号を復号し、データに誤りがないかをチェックする。CRC CHK20は、データに誤りを検出した場合、エラー信号を例えば制御回路23に出力する。
【0027】
DMAC21は、バス31を介して画像データ及びヘッダー情報を外部のRAM33に出力し、RAM33に画像データ及びヘッダー情報を保持させることができる。なお、DMAC21には、ISP19において処理が行われないデータ、ISP19において処理が実行されたRGBデータ、YUVデータ、及び、埋め込みデータ等が入力されるように構成されている。
【0028】
テスト回路を構成するBIST回路22は、Buffer18によって確保されたVブランク期間にISP19の自己診断テスト(BIST)を実施し、ISP19に故障がないかを診断する。
【0029】
次に、このように構成された画像処理装置1の動作について説明する。
図3は、比較例のISPに入力される画像データの一例を示すタイミングチャートであり、
図4は、第1の実施形態のISPに入力される画像データの一例を示すタイミングチャートである。
【0030】
車載用のカメラC1、C2、C3及びC4からの画像データを処理するISP19は、一般的に高い信頼性が求められるため、例えばBIST等により常時診断を実施する必要がある。
【0031】
比較例では、カメラC1、C2、C3及びC4によって取得された画像データは、VC14a、14b、14c、及び、14dに割り当てられ、ISP19に入力されていた。そのため、比較例では、
図3に示すように、VC14a、14b、14c、14d毎にVブランク期間がばらばらでISP19に入力されていた。
【0032】
この場合、全VC14a~14dから画像データの入力がないVブランク期間が確保できない。あるいは、全VC14a~14dから画像データの入力がないVブランク期間が確保できたとしても、そのVブランク期間が非常に短い期間となり、BISTを実行することができない。
【0033】
これに対して、本実施形態では、Buffer18がVC14a~14dからの画像データを保持する。Buffer18は、制御回路23の制御に基づいて、VC14a~14dからの画像データの位相を合わせた後、VC14a~14dからの画像データをISP19に出力する。
【0034】
この結果、
図4に示すように、全VC14a~14dから画像データの入力がないVブランク期間を確保することができる。BIST回路22は、全VC14a~14dから画像データの入力がないVブランク期間に、ISP19のBISTを実行する。
【0035】
このように、VC14a~14dからの画像データは、Buffer18によって一時的に保持され、位相が合わされた後にISP19に出力される。これにより、ISP19は、VC14a~14dからの画像データのVブランク期間を確保することができる。BIST回路22は、確保されたVブランク期間にBISTを実行することで異常がないかを検出することができる。
【0036】
よって、本実施形態の画像処理装置によれば、複数のVCを有する構成であっても、常時診断を実施することができる。
【0037】
また、Vブランク期間が確保することができない部分(MIPI CTRL13a~unpack16aの経路、MIPI CTRL13b~unpack16bの経路、MIPI CTRL13c~unpack16cの経路、及び、MIPI CTRL13d~unpack16dの経路)については、データの入口でCRC符号を付加し、データの出口でCRC符号をチェックすることで、データが変化していないことを確認する。
【0038】
この結果、画像処理装置1は、MIPI CTRL13a~unpack16aの経路、MIPI CTRL13b~unpack16bの経路、MIPI CTRL13c~unpack16cの経路、及び、MIPI CTRL13d~unpack16dの経路に異常がないことを検出することができる。
【0039】
(変形例1)
次に、第1の実施形態の変形例1について説明する。
【0040】
第1の実施形態では、4個のカメラC1~C4から画像データが入力される画像処理装置について説明したが、カメラの個数は4個に限定されるものではない。例えば、カメラの個数は、1個、2個、3個、あるいは、5個以上であってもよい。変形例1では、1つのカメラ(ここでは、カメラC1とする)から画像データが入力される画像処理装置について説明する。
【0041】
図5は、変形例1に係る画像処理装置の詳細な構成を示すブロック図である。なお、
図5において、
図2と同様の構成については、同一の符号を付して説明を省略する。
【0042】
変形例1の画像処理装置1Aには、カメラC1によって撮像された画像データが入力される。このカメラC1は、HDR(High Dynamic Range)対応のセンサであり、1つの画像を輝度(明るさ)を変更して複数撮像し、輝度を変更した複数の画像データを出力する。すなわち、複数の画像データは、1つのカメラC1により撮像された1つの画像について輝度を変更したものである。
【0043】
画像処理装置1Aは、
図2のMIPI I/F11a~11d、CRC ENC12a~12d、及び、MIPI CTRL13a~13dに代わり、MIPI I/F11、CRC ENC12、及び、MIPI CTRL13を用いて構成されている。カメラC1によって輝度が変更されて撮影された4つの画像データは、MIPI I/F11に送信される。
【0044】
MIPI I/F11は、カメラC1によって撮影された4つの画像データを受信し、CRC ENC12に出力する。CRC ENC12は、データの転送の際に生じる誤りを検出するための方式の1種であるCRC符号を入力された4つの画像データに対して付加してMIPI CTRL13に出力する。
【0045】
MIPI CTRL13は、入力された4つの画像データのそれぞれをVC14a~14dに割り当てる。MIPI CTRL13は、4つの画像データに付加されているヘッダー情報を解析することで、4つの画像データのそれぞれをVC14a~14dに割り当てる。
【0046】
その他の構成及び動作については、第1の実施形態と同様である。画像処理部32は、輝度を変更して撮影された4つの画像をHDR合成し、1枚の画像を生成することができる。
【0047】
本変形例1においても、Buffer18において輝度の異なる複数の画像データの位相を合わせてISP19に出力する。この結果、画像処理装置1Aは、VC14a~14dから画像データの入力がないVブランク期間を確保することができる。BIST回路22は、全VC14a~14dから画像データの入力がないVブランク期間に、ISP19の自己診断テスト(BIST)を実行する。
【0048】
よって、変形例1の画像処理装置によれば、第1の実施形態と同様に、複数のVCを有する構成であっても、Vブランク期間に常時診断を実施することができる。
【0049】
(変形例2)
次に、第1の実施形態の変形例2について説明する。
【0050】
第1の実施形態では、Buffer18おいて複数の画像データの位相を合わせてから出力するため、Buffer18の容量が大容量となる虞がある。そこで、変形例2では、Buffer18の容量を小さくすることができる画像処理装置について説明する。
【0051】
図6は、変形例2に係る画像処理装置の詳細な構成を示すブロック図である。なお、
図6において、
図2と同様の構成については、同一の符号を付して説明を省略する。
【0052】
画像処理装置1Bは、
図2のBuffer18に代わり、Buffer18aを用いて構成されている。Buffer18aは、数ライン分のみの画像データを保持するラインバッファである。
【0053】
CRC CHK20には、Data Type Select15a~15d及びunpack16a~16dからの画像データが入力される。CRC CHK20は、Data Type Select15a~15d及びunpack16a~16dから入力された画像データに対して付加されたCRC符号を復号し、画像データに誤りがないかをチェックする。CRC CHK20は、データに誤りを検出した場合、エラー信号を例えば制御回路23に出力する。
【0054】
DMAC21は、バス31を介して画像データを外部のRAM33に出力する。RAM33は、画像データを格納するバッファを構成する。DMAC21は、RAM33に格納された画像データの位相を合わせてから読み出し、Buffer18aに出力する。Buffer18aは、DMAC21からの画像データを一時的に保持した後、ISP19に出力する。その他の構成及び動作は、第1の実施形態と同様である。
【0055】
このように、外部のRAM33に画像データを記憶し、位相を合わせるバッファとして構成することにより、Buffer18aは、数ライン分のみの画像データを保持するラインバッファとして構成することができる。そのため、変形例2のBuffer18aは、第1の実施形態のBuffer18よりも容量を小さくすることができる。
【0056】
すなわち、第1の実施形態のBuffer18は、100ラインあるいは100ライン以上のラインバッファとして構成されていたが、変形例2のBuffer18aは、数ラインのラインバッファとして構成することができる。そのため、変形例2のBuffer18aは、第1の実施形態のBuffer18に比べて、容量を小さくすることができる。
【0057】
この結果、変形例2の画像処理装置1Bは、第1の実施形態の画像処理装置1よりも回路規模を小さくすることができる。
【0058】
(第2の実施形態)
次に、第2の実施形態について説明する。
【0059】
図7は、第2の実施形態に係る画像処理装置の詳細な構成を示すブロック図である。なお、
図7において、
図2及び
図6と同様の構成については、同一の符号を付して説明を省略する。
【0060】
図7に示すように、画像処理装置1Cは、
図2の画像処理装置1からBIST回路22が削除されるとともに、テスト回路としてのTEST Gen41、バス42、及び、TEST Checker43が追加されて構成されている。また、画像処理装置1Cは、
図2のBuffer18に代わり、Buffer18aを用いて構成されている。Buffer18aは、上述した第1の実施形態の変形例2と同様に、数ライン分のみの画像データを保持するラインバッファである。
【0061】
テストパターン生成回路を構成するTEST Gen41は、ISP19をテストするためのテストパターンを生成し、生成したテストパターンをバス42を介してISP19に入力する。TEST Gen41は、Buffer18aから画像データがISP19に入力されていない期間にテストパターンをISP19に入力する。TEST Checker43は、ISP19から出力されたデータを期待値と比較し、ISP19に故障がないかを診断する。その他の構成は、第1の実施形態と同様である。
【0062】
図8は、第2の実施形態のISPに入力される画像データ及びテストパターンの一例を示すタイミングチャートである。
【0063】
VC14a~14dから画像データが入力されていない期間にTEST Gen41からテストパターンをISP19に入力する。TEST Checker43は、ISP19から出力されたデータを期待値と比較し、ISP19に故障がないかを診断する。
【0064】
本実施形態では、VC14a~14dからの画像データの位相を合わせてVブランク期間を確保する必要がないため、Buffer18aの容量は上述した第1の実施形態の変形例2と同様に、小さい容量でよい。
【0065】
以上のように、本実施形態の画像処理装置1Cは、第1の実施形態と同様に、複数のVCを有する構成であっても常時診断を実施することができる。
【0066】
さらに、本実施形態の画像処理装置1Cは、VC14a~14dからの画像データの位相を合わせて必要がないため、Buffer18aの容量を第1の実施形態のBuffer18の容量よりも小さくすることができる。この結果、本実施形態の画像処理装置1Cは、第1の実施形態の画像処理装置1よりも回路規模を小さくすることができる。
【0067】
なお、第2の実施形態においても、カメラの個数は4個に限定されるものではなく、例えば、カメラの個数は、1個、2個、3個、あるいは、5個以上であってもよい。
【0068】
発明のいくつかの実施の形態を説明したが、これらの実施の形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施の形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施の形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【0069】
1,1A,1B,1C…画像処理装置、11,11a~11d…MIPI I/F、12,12a~12d…CRC ENC、13,13a~13d…MIPI CTRL、14a~14d…VC、15a~15d…Data Type Select、16a~16d…unpack、17…CRC CHK、18…Buffer、19…ISP、20…CRC CHK、21…DMAC、22…BIST回路、23…制御回路、31…バス、32…画像処理部、33…RAM、41…TEST Gen、42…バス、43…TEST Checker。