特許 7508843 画像処理装置、画像処理方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-06-24

(45)【発行日】2024-07-02

(54)【発明の名称】画像処理装置、画像処理方法、及びプログラム

(51)【国際特許分類】

   H04N 1/00 20060101AFI20240625BHJP

【ＦＩ】

H04N1/00 Z

【請求項の数】 8

(21)【出願番号】P 2020072256

(22)【出願日】2020-04-14

(65)【公開番号】P2020202556

(43)【公開日】2020-12-17

【審査請求日】2023-02-13

(31)【優先権主張番号】P 2019108182

(32)【優先日】2019-06-10

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000006747

【氏名又は名称】株式会社リコー

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(72)【発明者】

【氏名】澁澤 直樹

【審査官】橘 高志

(56)【参考文献】

【文献】特開２０１７－１０３６９８（ＪＰ，Ａ）

【文献】特開２００９－２７８５６３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ １／００

(57)【特許請求の範囲】

【請求項1】

受信画像における異常ライン画像に含まれる異常画像の区間を示す情報に基づいて、前記区間の画像データが補正された補正画像データを出力する補正画像出力部、を備え、
前記補正画像出力部は、
前記異常画像の区間の画像データと、
前記異常ライン画像における前記異常画像の区間の両側に位置する所定数の画素の画像データと、が補正された前記補正画像データを出力する
画像処理装置。

【請求項2】

位相同期回路のロック状態に基づいて、前記異常画像の区間を検出する異常検出部を備える
請求項１に記載の画像処理装置。

【請求項3】

前記補正画像出力部は、
前記異常画像の区間の画像データが、前記受信画像における前記異常ライン画像の近傍のライン画像の画像データに置き換えられた前記補正画像データを出力する
請求項１、又は２に記載の画像処理装置。

【請求項4】

前記補正画像出力部は、
前記異常ライン画像における前記異常画像の区間以外の画像データと、前記近傍のライン画像の画像データとの類似度に基づき、前記異常画像の区間の画像データが前記近傍のライン画像の画像データに置き換えられた前記補正画像データを出力する
請求項３に記載の画像処理装置。

【請求項5】

前記補正画像出力部は、
複数ラインに跨って前記異常画像が発生した場合に、前記複数ラインに跨って前記異常画像が発生していない場合とは異なる方法で、前記区間の画像データが補正された前記補正画像データを出力する
請求項１に記載の画像処理装置。

【請求項6】

位相同期回路のロック状態及び過去のライン周期に基づいて、補正ライン同期信号を生成する生成部を備える
請求項５に記載の画像処理装置。

【請求項7】

補正画像出力部により、受信画像における異常ライン画像に含まれる異常画像の区間を示す情報に基づいて、前記異常画像の区間の画像データが補正された補正画像データを出力する工程を含み、
前記補正画像出力部は、
前記異常画像の区間の画像データと、
前記異常ライン画像における前記異常画像の区間の両側に位置する所定数の画素の画像データと、が補正された前記補正画像データを出力する
画像処理方法。

【請求項8】

補正画像出力部により、受信画像における異常ライン画像に含まれる異常画像の区間を示す情報に基づいて、前記異常画像の区間の画像データが補正された補正画像データを出力する
処理をコンピュータに実行させ、
前記補正画像出力部は、
前記異常画像の区間の画像データと、
前記異常ライン画像における前記異常画像の区間の両側に位置する所定数の画素の画像データと、が補正された前記補正画像データを出力するプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本願は、画像処理装置、画像処理方法、及びプログラムに関する。

【背景技術】

【0002】

従来、ライン同期信号に従って画像データの転送を行う画像処理装置では、画像転送中に転送エラーが発生した場合、転送エラーによる異常画像を補正する技術が知られている。

【0003】

また、一定の帯域を保証する同期（アイソクロナス）転送によるデータ転送中に、転送エラーによる異常画像が発生した場合に、転送エラーを検知して異常画像を補正する技術が開示されている（例えば、特許文献１参照）。

【0004】

さらに、１ライン分の画像データが転送されるべき一定期間中に転送エラーによる異常画像が発生した場合、ラインメモリに蓄積されているエラー発生前後のライン画像データを参照し、異常画像を補正する技術が開示されている（例えば、特許文献２参照）。

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献１及び２の技術では、異常画像の補正により転送画像全体の画質が低下する場合があった。

【0006】

開示の技術は、画質を低下させずに異常画像を補正することを課題とする。

【課題を解決するための手段】

【0007】

開示の技術の一態様に係る画像処理装置は、受信画像における異常ライン画像に含まれる異常画像の区間を示す情報に基づいて、前記異常画像の区間の画像データが補正された補正画像データを出力する補正画像出力部、を備え、前記補正画像出力部は、前記異常画像の区間の画像データと、前記異常ライン画像における前記異常画像の区間の両側に位置する所定数の画素の画像データと、が補正された前記補正画像データを出力する。

【発明の効果】

【0008】

開示の技術によれば、画質を低下させずに異常画像を補正することができる。

【図面の簡単な説明】

【0009】

【図1】実施形態に係る画像処理装置の全体構成例を示すブロック図である。

【図2】第１の実施形態に係る画像処理ＡＳＩＣの機能構成例を示すブロック図である。

【図3】第１の実施形態に係る異常検出部のハードウェア構成例を示すブロック図である。

【図4】第１の実施形態に係る異常検出処理例を説明する図である。

【図5】蓄積された画像データ及び異常情報例を示す図であり、（ａ）は異常画像を含むライン画像を示す図、（ｂ）は異常情報を示す図である。

【図6】第１の実施形態に係る画像補正部のハードウェア構成例を示すブロック図である。

【図7】画像補正部による補正結果の一例を説明する図であり、（ａ）は異常画像を含むライン画像を示す図、（ｂ）は異常画像が補正されたライン画像を示す図である。

【図8】第１の実施形態に係る画像処理ＡＳＩＣの処理例を示すフローチャートである。

【図9】第２の実施形態に係る画像処理ＡＳＩＣの機能構成例を示すブロック図である。

【図10】第２の実施形態に係る画像補正部のハードウェア構成例のブロック図である。

【図11】複数ラインに跨って発生する異常の一例を説明するタイミングチャートであり、（ａ）は画像データに異常が発生する場合、（ｂ）は画像データとライン同期信号の両方に異常が発生する場合を示す図である。

【図12】複数ラインに跨って異常が生じた異常画像例を示す図である。

【図13】画像処理ＡＳＩＣの機能構成例を示すブロック図である。

【図14】補正処理部が補正処理で参照する画素例を示す図である。

【図15】補正ライン同期信号の生成方法例の図である。

【発明を実施するための形態】

【0010】

以下、図面を参照して発明を実施するための形態について説明する。各図面において、同一の構成部分には同一符号を付し、重複した説明を省略する場合がある。

【0011】

実施形態では、ライン同期信号に従って画像データの転送を行う際に、静電気等のノイズにより受信側回路のＰＬＬ（Phase Locked Loop；位相同期回路）ロックが外れ、受信画像に異常画像が発生した場合に、異常ライン画像を識別する識別情報と、異常ライン画像における異常画像の区間を示す情報に基づいて、異常画像区間の画像データを補正する。

【0012】

ここで、異常ライン画像とは、受信画像に含まれるライン画像のうち、異常画像を含むライン画像をいう。また、異常画像とは、受信画像において、転送エラーにより画像データが欠落した部分や、ノイズが大きくなった部分をいう。さらに、ＰＬＬロックとは、参照する基準クロックに対してＰＬＬの出力信号が同期していることをいい、「ＰＬＬロックが外れる」とは、ＰＬＬがロックしていない状態をいう。

【0013】

［第１の実施形態］
＜実施形態に係る画像処理装置１の全体構成＞
図１は、本実施形態に係る画像処理装置１の全体構成の一例を説明するブロック図である。図１に示すように、画像処理装置１は、スキャナ２と、プロッタ３と、画像処理ＡＳＩＣ(Application Specific Integrated Circuit)４と、コントローラＡＳＩＣ５と、記憶部であるＨＤＤ（Hard Disk Drive）６と、ＣＰＵ（Central Processing Unit）７とを備える。

【0014】

これらのうち、スキャナ２は、画像処理装置１によるスキャン処理において、原稿画像を読み取り、読み取った画像データを画像処理ＡＳＩＣ４に転送する。プロッタ３は、画像処理装置１によるプリント処理において、画像処理ＡＳＩＣ４から転送された画像データに基づいて、用紙等の記録媒体に印刷を行う。

【0015】

画像処理ＡＳＩＣ４は、スキャン処理において、スキャナ２により読み取られ、スキャナ２から受信した受信画像に対して種々の画像処理を実行し、処理後の受信画像をコントローラＡＳＩＣ５に転送する。また、画像処理ＡＳＩＣ４は、プリント処理において、コントローラＡＳＩＣ５から転送された画像データに対して書き込みに適した画像処理を実行し、処理後の画像データをプロッタ３に転送する。

【0016】

また、画像処理ＡＳＩＣ４は、受信画像に含まれるライン画像を蓄積させるラインバッファ４１を備えている。

【0017】

スキャナ２と画像処理ＡＳＩＣ４との間では、ライン同期信号を用いた画像転送が行われ、画像転送クロック、ライン同期信号、及び画像データ等が、スキャナ２から画像処理ＡＳＩＣ４に転送される。画像処理ＡＳＩＣ４は、スキャナ２から受信したクロックをＰＬＬの基準クロックとし、転送された画像データを受信するための画像転送クロックを生成する。

【0018】

コントローラＡＳＩＣ５は、スキャン処理において、画像処理ＡＳＩＣ４から転送された画像データをＨＤＤ６に蓄積させる。また、コントローラＡＳＩＣ５は、プリント処理において、ＨＤＤ６に蓄積された画像データを画像処理ＡＳＩＣ４に転送する。

【0019】

ＣＰＵ７は、コントローラＡＳＩＣ５によるＨＤＤ６へのアクセスを制御する。

【0020】

＜画像処理ＡＳＩＣ４の機能構成＞
次に、画像処理装置１における画像処理ＡＳＩＣ４の機能構成について説明する。図２は、画像処理ＡＳＩＣ４の機能構成の一例を説明するブロック図である。図２に示すように、画像処理ＡＳＩＣ４は、異常検出部４２と、画像蓄積部４３と、異常情報蓄積部４４と、画像補正部４５と、内部バス４６とを備える。

【0021】

これらのうち、異常検出部４２は、スキャナ２から受信した受信画像に含まれる複数のライン画像の画像データを画像蓄積部４３に出力する。また、異常検出部４２は、異常ライン画像検出部４２１と、異常画像区間検出部４２２とを備え、受信画像における異常画像を検出し、異常ライン画像を識別する識別情報と、異常ライン画像における異常画像区間を示す情報を異常情報蓄積部４４に出力する。

【0022】

異常ライン画像検出部４２１は、スキャナ２からの受信画像に含まれるライン画像のうち、異常画像を含む異常ライン画像を検出し、異常ライン画像を識別する識別情報を異常情報蓄積部４４に出力する。

【0023】

異常画像区間検出部４２２は、異常ライン画像における異常画像に対応した画像の区間である異常画像区間を検出し、異常画像区間を示す情報を異常情報蓄積部４４に出力する。

【0024】

画像蓄積部４３は、ラインバッファ４１等により実現され、異常検出部４２から入力した複数のライン画像の画像データを蓄積する。蓄積された画像データは、画像補正部４５により読み出され、読み出された画像データに対して補正処理が実行される。

【0025】

異常情報蓄積部４４は、ラインバッファ４１等により実現され、画像蓄積部４３に蓄積されたライン画像のライン数分の異常情報を異常検出部４２から入力し、ライン画像に対応させて異常情報を蓄積する。この異常情報には、上記の識別情報と、異常画像区間を示す情報とが含まれる。異常情報は、異常ライン画像と異常画像を含まない正常なライン画像のそれぞれに対応して蓄積される。異常ライン画像には、異常ライン画像であることを示す識別情報と、異常画像区間を示す情報が異常情報として蓄積され、正常なライン画像には、異常ライン画像でないことを示す識別情報と、異常画像区間が０であることを示す情報が異常情報として蓄積される。蓄積された異常情報は、画像蓄積部４３に蓄積されたライン画像の画像データの読み出しに対応して画像補正部４５により読み出される。

【0026】

画像補正部４５は、出力選択部４５１と、補正処理部４５２と、補正画像出力部４５３とを備え、異常情報蓄積部４４に蓄積された異常情報に基づいて、画像蓄積部４３に蓄積された異常ライン画像における異常画像の補正をリアルタイムに実行する。そして、異常ラインが補正された画像の画像データをコントローラＡＳＩＣ５に出力する。

【0027】

出力選択部４５１は、異常情報蓄積部４４から読み出した異常情報に基づき、画像蓄積部４３から読み出したライン画像の画像データ、又は補正処理部４５２による補正後の画像データの何れか一方を、画像補正部４５による補正画像データとして選択させる指示信号を補正画像出力部４５３に出力する。

【0028】

補正処理部４５２は、異常ライン画像の近傍の画像データを用いて、異常画像を補正する画像データを算出し、算出した画像データを補正画像出力部４５３に出力する。

【0029】

補正画像出力部４５３は、出力選択部４５１からの指示信号に応答して、画像蓄積部４３から読み出したライン画像の画像データ、又は補正処理部４５２による補正後の画像データの何れか一方を、内部バス４６を介してコントローラＡＳＩＣ５に出力する。

【0030】

＜異常検出部４２のハードウェア構成＞
次に、画像処理ＡＳＩＣ４における異常検出部４２の機能を実現するためのハードウェア構成について説明する。図３は、異常検出部４２のハードウェア構成の一例を説明するブロック図である。図３に示すように、異常検出部４２は、ＰＬＬ４２５と、受信回路４２６と、カウンタ回路４２７とを含む。ここで、カウンタ回路４２７は、異常ライン画像検出部４２１の機能を実現する構成の一例であり、また、異常画像区間検出部４２２の機能を実現する構成の一例である。

【0031】

図３のＰＬＬ４２５は、スキャナ２から入力した基準クロックに基づき、画像処理ＡＳＩＣ４の内部で使用する画像転送クロックを生成し、受信回路４２６及びカウンタ回路４２７に出力する電子回路である。

【0032】

受信回路４２６は、スキャナ２から受信した画像データ及びライン同期信号を、ＰＬＬ４２５で生成された画像転送クロックに同期させて、画像蓄積部４３に出力する電子回路である。

【0033】

カウンタ回路４２７は、システムクロックに基づき動作するカウンタを含み、ＰＬＬ４２５のロック状態を監視する電子回路である。

【0034】

ここで、図３に示されている各信号を説明する。ｄａｔａは、スキャナ２から転送される画像データを示し、ｌｓｙｎｃは、スキャナ２から画像データとともに転送されるライン同期信号を示し、ｒｅｆ_ｃｌｋは、スキャナ２から画像データとともに転送される基準クロックを示す。

【0035】

また、ｒｘ_ｃｌｋは、基準クロックｒｅｆ_ｃｌｋに基づいてＰＬＬ４２５で生成される画像転送クロックを示し、ｐｌｌ_ｌｏｃｋは、ＰＬＬ４２５が基準クロックｒｅｆ_ｃｌｋにロックしていることを表すロック信号を示す。

【0036】

ｓｙｓ_ｃｌｋは、画像転送に用いられるクロックと同じ周波数で、異なる発振源から供給されるシステムクロックを示し、ｅｒｒ_ｄｅｔは、ライン画像の転送中にＰＬＬ４２５のロックが外れたことを検知するための異常検知信号を示す。

【0037】

ｅｒｒ_ｓｔは、ＰＬＬ４２５のロックが外れたタイミングにおけるカウンタ回路４２７によるカウント値を示し、ｅｒｒ_ｅｎｄは、ＰＬＬ４２５が再ロックしたタイミングにおけるカウンタ回路４２７によるカウント値を示す。カウント値ｅｒｒ_ｓｔ及びｅｒｒ_ｅｎｄのそれぞれはレジスタで保持される。

【0038】

これらの信号のうち、異常検知信号ｅｒｒ_ｄｅｔ、カウント値ｅｒｒ_ｓｔ、及びカウント値ｅｒｒ_ｅｎｄは、画像データのライン毎に検出されるものであるため、ライン同期信号に合わせてクリアされる。また、カウンタ回路４２７によるカウント値ｃｏｕｎｔも同様に、ライン同期信号に合わせてクリアされる。

【0039】

＜異常検出部４２による異常検出処理＞
図４は、異常検出部４２による処理の一例を説明する図である。図４では、上段から下段の方向に順に、基準クロックｒｅｆ_ｃｌｋ、ロック信号ｐｌｌ_ｌｏｃｋ、ライン同期信号ｌｓｙｎｃ、画像データｄａｔａ、システムクロックｓｙｓ_ｃｌｋ、異常検知信号ｅｒｒ_ｄｅｔ、カウント値ｃｏｕｎｔ、カウント値ｅｒｒ_ｓｔ及びｅｒｒ_ｅｎｄが示されている。

【0040】

図４において、１ライン分の画像データの受信中に静電気等によるノイズが重畳されると、ＰＬＬのロックが外れ、画像転送クロックｒｘ_ｃｌｋが異常動作して、転送エラーが発生する。その結果、ＰＬＬが再ロックするまでの期間では、画像処理ＡＳＩＣ４は、基準クロックｒｅｆ_ｃｌｋ及び画像データｄａｔａを正常に受信できず、画像データｄａｔａは異常画像になる。また、静電気等によるノイズは、瞬間的なものであっても、一旦ＰＬＬのロックが外れると再ロックまでにある程度の時間がかかり、その間の画像データｄａｔａは異常画像になる。図４の画像データｄａｔａにおいて、斜線ハッチングで示した画像データ４７は、このような異常画像の画像データを表している。

【0041】

ＰＬＬのロックが外れたタイミングにおいて、ロック信号ｐｌｌ_ｌｏｃｋがネゲートされ、異常検知信号ｅｒｒ_ｄｅｔはアサートされる。

【0042】

カウンタ回路４２７は、ロック信号ｐｌｌ_ｌｏｃｋに基づいて、ノイズによる転送エラーを検出する。検出後、次に受信するライン画像のライン同期信号ｌｓｙｎｃの受信時に、異常検知信号ｅｒｒ_ｄｅｔの状態がＨｉｇｈの場合には異常を示す識別情報を、また、Ｌｏｗの場合には正常を示す識別情報を、異常情報蓄積部４４に出力して蓄積させる。

【0043】

また、カウンタ回路４２７は、画像転送に用いる基準クロックｒｅｆ_ｃｌｋとは異なる発振源からの画像転送クロックｒｘ_ｃｌｋと同じ周波数のクロックでカウンタ回路４２７を動作させ、受信した画像データ（画素）のカウントをライン毎に行う。そして、ＰＬＬのロックが外れたタイミングにおけるカウント値を異常画像区間の始点画素とし、ＰＬＬが再ロックしたタイミングにおけるカウント値を異常画像区間の終点画素として、それぞれを異常情報蓄積部４４に出力して蓄積させる。

【0044】

図４に示した例では、ＰＬＬのロックが外れ、ロック信号ｐｌｌ_ｌｏｃｋが立ち下がったタイミングにおけるカウント値ｃｏｕｎｔに該当する「５」が、カウント値ｅｒｒ_ｓｔとして出力される。また、ＰＬＬが再ロックし、ロック信号ｐｌｌ_ｌｏｃｋが立ち上がったタイミングにおけるカウント値ｃｏｕｎｔに該当する「１３」が、カウント値ｅｒｒ_ｅｎｄとして出力される。

【0045】

＜画像データ及び異常情報例＞
図５は、蓄積された画像データ及び異常情報の一例を説明する図であり、（ａ）は画像蓄積部４３に蓄積されたライン画像を説明する図、（ｂ）は異常情報蓄積部４４に蓄積された異常情報を説明する図である。

【0046】

図５は、４ラインのライン画像を蓄積可能なラインバッファ４１を用いて画像データが蓄積された例を示している。また、図５の例では、ライン番号０にスキャナ２から入力された最新のライン画像データが蓄積され、ライン番号１、ライン番号２及びライン番号３と数値が大きくなるにつれ、古いライン画像データが蓄積されているものとする。

【0047】

図５（ａ）に示された格子のそれぞれは、画像データの各画素を示しており、画像蓄積部４３は、ライン番号０～３で表される４ラインのライン画像を蓄積している。また、斜線ハッチングで示された異常画像区間４３１は、異常画像に該当する区間を表している。

【0048】

図５（ａ）に示すように、ライン番号２のライン画像は、異常画像を含む異常ライン画像である。また、画素番号ｎを始点とし、画素番号ｍを終点とする区間は、異常画像に該当する異常画像区間である。

【0049】

図５（ｂ）の識別情報４４１は、異常画像を含む異常ライン画像であるか否かを示す情報であり、白い四角は、異常ライン画像ではないことを表し、斜線ハッチングの四角は、異常ライン画像であることを表している。ライン番号２のライン画像は、異常ライン画像であるため、斜線ハッチングの四角が識別情報として蓄積され、ライン番号０、１及び３のライン画像は、異常ライン画像でないため、白い四角が識別情報として蓄積されている。

【0050】

また、図５（ｂ）の始点画素番号４４２は、異常画像の始点となる画素番号を表し、終点画素番号４４３は、異常画像の終点となる画素番号を表している。ライン番号２のライン画像は異常ライン画像であるため、異常画像の始点である画素番号「ｎ」が蓄積され、異常画像の終点である画素番号「ｍ」が蓄積されている。また、ライン番号０、１及び３のライン画像は異常ライン画像でないため、始点画素番号４４２及び終点画素番号４４３には、それぞれ「０」が蓄積されている。

【0051】

＜画像補正部４５のハードウェア構成＞
次に、画像処理ＡＳＩＣ４における画像補正部４５の機能を実現するためのハードウェア構成について説明する。図６は、画像補正部４５のハードウェア構成の一例を説明するブロック図である。図６に示すように、画像補正部４５は、出力選択部４５１の一例としての出力選択回路４５５と、補正処理部４５２の一例としての補正処理回路４５６と、補正画像出力部４５３の一例としての画像出力Ｉ／Ｆ（Interface）４５７とを含む。

【0052】

画像補正部４５は、画像蓄積部４３に蓄積された複数のライン画像のうち、読み出し対象のライン画像であるライン番号ｉのライン画像の画像データを読み出し、その前後のライン番号ｉ－１、及びｉ＋１のライン画像の画像データを読み出す。そして、これらを用いて補正処理を行う。なお、以下では、ライン番号ｉ－１のライン画像をｉ－１ライン画像といい、ライン番号ｉのライン画像をｉライン画像といい、ライン番号ｉ＋１のライン画像をｉ＋１ライン画像という。

【0053】

出力選択回路４５５は、画像補正部４５が画像蓄積部４３からライン画像の画像データを読み出す前に、異常情報蓄積部４４から読み出したｉライン画像の異常情報に基づいて、画像補正部４５による補正画像データを選択する。

【0054】

異常情報における識別情報４４１が異常ライン画像でないことを示す場合は、出力選択回路４５５は、ｉライン画像の画像データを補正画像データとして選択する。

【0055】

一方、識別情報４４１が異常ライン画像であることを示す場合は、出力選択回路４５５は、以下の（１）～（３）の規則に従って補正画像データを選択する。
（１）読み出す画素の画素番号が「始点画素番号－追加補正画素数」より小さい場合は、ｉライン画像の画像データを補正画像データとして選択する。
（２）読み出す画素の画素番号が「始点画素番号－追加補正画素数」以上で、かつ「終点画素番号＋追加補正画素数」以下の場合は、補正後の画像データを補正画像データとして選択する。
（３）読み出す画素番号が「終点画素番号＋追加補正画素数」より大きい場合は、ｉライン画像の画像データを補正画像データとして選択する。

【0056】

換言すると、出力選択回路４５５は、識別情報４４１が異常ライン画像であることを示す場合は、異常ライン画像における異常画像区間では、補正後の画像データを補正画像データとして選択し、異常画像区間以外の区間では、ｉライン画像の画像データを補正画像データとして選択する。

【0057】

ここで、上記の追加補正画素数とは、カウンタ回路４２７の動作クロックと、スキャナ２からのＬＶＤＳ（Low Voltage Differential Signaling）転送クロックとの間の位相ずれや、ノイズ発生からＰＬＬのロック外れまでの遅延時間等を考慮して、異常画像区間を調整するマージンとなる画素数をいう。また、追加補正画素数は、「所定数」の一例である。追加補正画素数は、デバイス特性等に応じて適切な画素数が予め設定される。

【0058】

補正処理回路４５６は、ｉ－１ライン画像の画像データと、ｉ＋１ライン画像の画像データの平均値を算出して画像出力Ｉ／Ｆ４５７に出力する。但し、補正処理回路４５６は、平均値を算出せず、ｉ－１ライン、又はｉ＋１ラインの何れか一方の画像データを出力してもよい。このようにすると、ｉ－１ライン画像の画像データ、又はｉ＋１ライン画像の画像データの何れか一方と、読み出し対象であるｉライン画像の画像データとを蓄積可能なラインバッファ４１を用いて補正処理を実行できるため、ラインバッファ４１の蓄積容量を削減できる。

【0059】

画像出力Ｉ／Ｆ４５７は、出力選択回路４５５による選択結果に応答して、画像蓄積部４３から読み出したライン番号ｉの画像データ、又は補正処理回路４５６による補正処理結果の画像データの何れか一方を、内部バス４６を介してコントローラＡＳＩＣ５に出力する。

【0060】

図７は、画像補正部４５による補正結果の一例を説明する図であり、（ａ）は異常画像を含むライン画像を示す図であり、（ｂ）は異常画像が補正されたライン画像を示す図である。図７は、異常画像区間の始点画像番号はｎ、終点画素番号はｍであり、追加補正画素数は１の場合の例を示している。

【0061】

図７（ａ）におけるｉライン画像の異常画像区間７１における各画素の画像データが、ｉ－１ライン画像の異常画像区間７１に対応する区間における各画素の画像データとｉ＋１ライン画像の異常画像区間７１に対応する区間における各画素の画像データの平均値に置き換えられる。具体的には、一例として、ｉライン画像の画素番号ｎの画素の画像データは、ｉ－１ライン画像の画素番号ｎの画素の画像データと、ｉ＋１ライン画像の画素番号ｎの画素の画像データの平均値に置き換えられる。

【0062】

これにより、図７（ｂ）に示すように、異常画像区間７２の画像データが補正される。また、追加補正画素数は１であるため、図７（ｂ）の異常画像区間７２は、異常画像区間７１に対して、主走査方向の正、負方向にそれぞれ１画素ずつ区間が長くなっている。

【0063】

＜画像処理ＡＳＩＣ４による処理＞
次に、図８は、画像処理ＡＳＩＣ４による処理の一例を示すフローチャートである。

【0064】

まず、ステップＳ８１において、画像蓄積部４３は、異常検出部４２を介してスキャナ２から受信した受信画像に含まれる複数のライン画像の画像データを蓄積する。

【0065】

続いて、ステップＳ８２において、異常ライン画像検出部４２１は、画像蓄積部４３に蓄積された複数のライン画像における異常ライン画像を検出する。

【0066】

続いて、ステップＳ８３において、異常情報蓄積部４４は、画像蓄積部４３に蓄積された複数のライン画像のそれぞれに対して識別情報４４１を蓄積する。

【0067】

続いて、ステップＳ８４において、異常画像区間検出部４２２は、異常ライン画像検出部４２１により検出された異常ライン画像における異常画像区間を検出する。

【0068】

続いて、ステップＳ８５において、異常情報蓄積部４４は、画像蓄積部４３に蓄積された複数のライン画像のそれぞれに対して始点画素番号４４２及び終点画素番号４４３を蓄積する。

【0069】

続いて、ステップＳ８６において、出力選択部４５１は、異常情報蓄積部４４から読み出した異常情報に基づき、画像蓄積部４３から読み出したライン画像の画像データ、又は補正処理部４５２による補正後の画像データの何れか一方を、画像補正部４５による補正画像データとして選択させる指示信号を補正画像出力部４５３に出力する。

【0070】

続いて、ステップＳ８７において、補正処理部４５２は、異常ライン画像の近傍の画像データを用いて、異常画像を補正する画像データを算出し、算出した画像データを補正画像出力部４５３に出力する。

【0071】

続いて、ステップＳ８８において、補正画像出力部４５３は、出力選択部４５１からの指示信号に応答して、画像蓄積部４３から読み出したライン画像の画像データ、又は補正処理部４５２による補正後の画像データの何れか一方を、内部バス４６を介してコントローラＡＳＩＣ５に出力する。

【0072】

このようにして、画像処理ＡＳＩＣ４は、スキャナ２から転送された画像データにおける異常画像を検出し、補正することができる。

【0073】

＜第１の実施形態に係る画像処理装置１の作用効果＞
画像処理装置１の作用効果について説明する。

【0074】

ＭＦＰ（Multifunction Peripheral/Printer/Product）やプリンタ等の画像処理装置において、スキャナ２で原稿を読み取って画像処理ＡＳＩＣ４へ画像転送している際に、読み取った画像に横スジが発生する場合があった。

【0075】

発明者らの解析の結果、ＬＶＤＳ転送される画像データを受信する側の画像処理ＡＳＩＣ４において、静電気等の外的要因によりＰＬＬロックが外れることが原因の１つとなり、横スジが発生することが分かった。

【0076】

従来技術では、異常ライン画像の1ライン中における数画素のみが異常画像である場合でも、１ライン全体を補正するため、正常な画素も補正してしまうことで、受信画像全体の画質が低下する場合があった。

【0077】

本実施形態では、受信画像における異常ライン画像を識別する識別情報と、異常ライン画像における異常画像区間を示す情報とに基づき、異常ライン画像近傍のライン画像であるｉ－１ライン画像及びｉ＋１ライン画像の画像データを用いて、異常画像区間の画像データを補正する。

【0078】

異常ライン画像における異常画像区間以外の画像データは補正しないため、正常な画素も補正してしまうことで受信画像全体の画質が低下することを防ぐことができる。そして、受信画像の画質を低下させずに異常画像を補正することができる。

【0079】

また、本実施形態では、異常ライン画像における異常画像区間の画像データを補正するとともに、異常ライン画像における異常画像区間の両側に位置する追加補正画素数の画素の画像データを補正する。これにより、スキャナ２等の機器の特性に伴う、カウンタ回路４２７の動作クロックとスキャナ２からのＬＶＤＳ転送クロックとの間の位相ずれや、ノイズ発生からＰＬＬのロック外れまでの遅延時間等の影響を抑制し、異常ライン画像における適切な区間の画像データを補正することができる。

【0080】

また、本実施形態では、異常検出部４２は、ＰＬＬ４２５のロック状態に基づいて、異常画像区間を検出する。画像データに基づき異常ライン画像を検出すると、ＣＲＣ（Cyclic Redundancy Check）確認回路や８ｂ１０ｂ復号回路等を備えることで回路規模が大きくなる場合があるが、本実施形態では、ＰＬＬ４２５のロック状態に基づき、異常ライン画像を検出するため、検出回路の規模を小さくすることができる。

【0081】

また、本実施形態では、ｉライン画像の画像データを、ｉ－１ライン画像、又はｉ＋１ライン画像の何れかの画像データに置き換えて異常画像を補正する。ｉ－１ライン画像の画像データとｉ＋１ライン画像の画像データの平均値に置き換えて補正する場合等、ｉライン画像の前後の２つのライン画像を用いる場合と比較して、１つのライン画像を用いればよいため、ラインバッファ４１の蓄積容量を削減できる。

【0082】

［第２の実施形態］
次に、第２の実施形態に係る画像処理装置１ａについて説明する。

【0083】

＜第２の実施形態に係る画像処理装置１ａの構成＞
図９は、画像処理装置１ａの備える画像処理ＡＳＩＣ４ａの機能構成の一例を説明するブロック図である。図９に示すように、画像処理ＡＳＩＣ４ａに含まれる画像補正部４５ａは、類似度取得部４５４を含む補正処理部４５２ａを備える。

【0084】

類似度取得部４５４は、異常ライン画像における画素番号が「始点画素番号－追加補正画素数」より小さい区間において、画像蓄積部４３からの読み出し対象のライン画像であるｉライン画像の画像データと、前後のライン画像であるｉ－１及びｉ＋１ライン画像のそれぞれの画像データとの間の類似度を取得する。

【0085】

なお、異常ライン画像において、類似度を取得する区間は、上記の「始点画素番号－追加補正画素数」より小さい区間に代えて、「終点画素番号＋追加補正画素数」より大きい区間であってもよい。換言すると、類似度取得部４５４は、異常ライン画像における異常画像区間以外の画像データを用いて、類似度を取得する。

【0086】

また、以下では、説明の便宜のため、ｉライン画像の画像データとｉ－１ライン画像の画像データの類似度を類似度Ａといい、ｉライン画像の画像データとｉ＋１ライン画像の画像データの類似度を類似度Ｂという。

【0087】

また、類似度は、画素毎の画像データを減算し、差分の絶対値の総和であるＳＡＤ（Sum of Absolute Difference）を算出することで取得できる。また、ＳＡＤ以外の公知の算出方法を類似度の取得に適用してもよい。

【0088】

補正処理部４５２ａは、類似度Ａと類似度Ｂとを比較し、類似度Ａが大きい場合は、ｉライン画像における異常画像区間の画像データをｉ－１ライン画像の画像データに置き換えて補正する。一方、類似度Ｂが大きい場合は、ｉライン画像における異常画像区間の画像データを、ｉ＋１ライン画像の画像データに置き換えて補正する。

【0089】

図１０は、画像処理ＡＳＩＣ４ａの画像補正部４５ａを実現するハードウェア構成の一例を説明するブロック図である。図９に示すように、ｉライン画像の画像データは、画像出力Ｉ／Ｆ４５７に入力されるとともに、補正処理部４５２ａの一例としての補正回路４５６ａにも入力される。補正回路４５６ａにより、上述した補正処理部４５２ａの機能が実現される。

【0090】

＜第２の実施形態に係る画像処理装置１ａの作用効果＞
異常ライン画像がカラー領域とモノクロ領域の境界であった場合は、前後のライン画像の画像データの平均値に置き換えて補正するよりも、前後のライン画像のうち、類似度の高い方のライン画像の画像データに置き換えて補正した方がより自然な画像となる。本実施形態によれば、前後のライン画像のうち、類似度の高い方のライン画像の画像データに置き換えて補正することで、より自然な補正画像を得ることができる。

【0091】

一方で、異常ライン画像が主走査方向のグラデーション画像の場合、前後のライン画像の何れかの画像データに置き換えて補正するよりも、第１の実施形態で示したように、前後のライン画像の画像データの平均値に置き換えて補正した方がより自然な画像になる。従って、類似度の閾値を予め定めておき、取得した類似度Ａ及びＢの何れもが閾値を超えない場合は、前後のライン画像の画像データの平均値を用いて補正すると好適である。

【0092】

なお、上記以外の効果は、第１の実施形態で説明したものと同様である。

【0093】

［第３の実施形態］
上述した実施形態では、１ラインの転送中にノイズによる異常が発生し、またこのラインの転送中に正常に復帰した場合の補正について説明した。しかし、異常が発生するタイミング及び正常に復帰するタイミングが１ラインの転送中に収まらず、複数ラインに跨って異常が生じる場合がある。

【0094】

図１１は、複数ラインに跨って発生する異常の一例を説明するタイミングチャートである。（ａ）は画像データに異常が発生する場合のタイミングチャート、（ｂ）は画像データとライン同期信号の両方に異常が発生する場合のタイミングチャートである。

【0095】

図１１（ａ）に示すように、異常画像データ１１２は、１つのライン同期信号１１１を跨いで生じている。つまり２ラインに跨って異常画像データが生じている。

【0096】

また図１１（ｂ）において、ライン同期信号１１３は、異常により消失したライン同期信号を示している。静電気等のノイズによっては、ライン同期信号１１３と、異常画像データ１１４の両方で異常が生じる場合がある。

【0097】

また図１２は、複数ラインに跨って異常が生じた異常画像の一例を説明する図である。図１２において塗り潰して示した画素１２１は、異常画像を構成する画素を示している。図１２の例では、２ライン目のｍ番目の画素及びｎ番目の画素は異常画素であり、また３ライン目のｍ番目の画素及びｎ番目の画素も異常画素である。

【0098】

従ってｍ番目及びｎ番目の画素では、異常が生じたラインの前側又は後側の何れか一方は異常画素となるため、異常が生じたラインの前側及び後側の両方のラインにおけるｍ番目及びｎ番目の画素を参照して、異常画素を補正する処理を実行できない。

【0099】

そのため、本実施形態では、異常画素が複数のラインに跨るか否かを判定し、複数ラインに跨る画素では、前側のラインと後側の両方のラインを参照せず、前側又は後側の何れかの異常が発生していない画素を参照して、異常画素を補正可能にする。

【0100】

ここで、図１３は、画像処理ＡＳＩＣ４ａの機能構成の一例を説明するブロック図である。図１３に示すように、画像処理ＡＳＩＣ４ａは、異常検出部４２ａと、画像補正部４５ａと、生成部４７とを備える。また、異常検出部４２ａは判定部４２３と、予測部４２４とを備えている。画像補正部４５ａは補正処理部４５２ａを備えている。

【0101】

判定部４２３は、異常画像区間検出部４２２により検出された異常画像区間における異常開始画素及び異常終了画素のそれぞれの位置に基づき、異常画素が複数ラインに跨るか否かを判定し、判定結果を画像補正部４５ａに出力する。

【0102】

補正処理部４５２ａは、異常画素が複数ラインに跨っていると判定された場合には、異常画素が１ラインにのみ存在する画素では前後のラインの画素値の平均値で異常画素の画素値を補正する。また異常画素が２ラインに存在する画素の前側のラインではそのさらに前側のラインの画素値を用いて異常画素の画素値を補正する。異常画素が２ラインに存在する画素の後側のラインではそのさらに後側のラインの画素値を用いて異常画素の画素値を補正する。

【0103】

また予測部４２４は、静電気ノイズ等でライン同期信号が消失した場合に、カウント値ｃｏｕｎｔに基づき算出した過去のライン周期の平均値Ａｖｇ及び標準偏差σを用いて、補正ライン同期信号のアサートタイミングを予測し、予測結果を生成部４７に出力する。なお、予測部４２４は、ライン同期信号に異常が発生した場合にはノイズと判断し、補正ライン同期信号をアサートさせないようにすることができる。

【0104】

生成部４７は、予測部４２４から予測結果を入力し、予測されたタイミングで補正ライン同期信号を生成して内部バス４６を介して受信デバイスに出力する。これにより、次ラインの開始を受信デバイスが検出できないことに起因する１ライン分の画像データの欠落を防止する。

【0105】

図１４は、補正処理部４５２ａが補正処理で参照する画素の一例を説明する図である。

【0106】

補正処理部４５２ａは、異常画素が複数ラインに跨っていると判定された場合には、異常画素が１ラインにのみ存在する画素、つまり図１４の画素１２１におけるｍ番目及びｎ番目以外の画素では、前後のラインの画素値の平均値で異常画素の画素値を補正する。

【0107】

また異常画素が２ラインに存在する画素、つまり図１４の画素１２１におけるｍ番目及びｎ番目の画素では、前側のライン（図１４の２ライン目）ではそのさらに前側のライン（図１４の１ライン目）の画素値により異常画素の画素値を補正する。一方、後側のライン（図１４の３ライン目）ではそのさらに後側のライン（図１４の４ライン目）の画素値により異常画素の画素値を補正する。

【0108】

このようにして、複数ラインに跨って異常が生じた場合にも、異常画素の画素値を補正することができる。

【0109】

次に図１５は、複数ラインに跨って異常が生じ、ライン同期信号が消失してしまった場合の補正ライン同期信号の生成方法の一例を説明する図である。

【0110】

予測部４２４（図１２参照）は、カウント値ｃｏｕｎｔによる過去のライン同期信号の平均値Ａｖｇ及び標準偏差σを算出して、補正ライン同期信号のアサートタイミングを予測する。このような予測処理と、予測結果に基づく補正ライン同期信号の生成処理は、信号ｐｌｌ_ｌｏｃｋが外れている期間に実行される。

【0111】

図１５の信号１４１，１４２のように、Ａｖｇ±３σの範囲外にライン同期信号がアサートされる場合には、予測部４２４はこれらの信号をノイズと判断し、生成部４７は補正ライン同期信号をアサートしない。

【0112】

またＡｖｇ±３σの範囲内にライン同期信号がアサートされる場合には、正常なライン同期信号と判断し、補正ライン同期信号をアサートする。さらにＡｖｇ±３σの範囲内にライン同期信号がアサートされない場合には、予測部４２４はライン同期信号が消失したと判断し、生成部４７は生成した補正ライン同期信号１４３をアサートする。

【0113】

また、前ラインでＰＬＬのロックが外れている期間にライン同期信号をアサートした場合には、カウント値ｃｏｕｎｔの値をＣＮＴとするとＣＮＴ＜Ａｖｇ－６σでアサートされるライン同期信号をノイズと判断し、補正ライン同期信号をアサートしない。

【0114】

ここで、６σとしている理由は、実際に前段デバイスから送信されたライン同期信号のアサートタイミングと補正ライン同期信号のアサートタイミングにはある程度の時間差が生じると考えられるので、この時間差を考慮して余裕を持たせるためである。

【0115】

カウント値ｃｏｕｎｔは、ノイズと判断したライン同期信号ではクリアされず、補正ライン同期信号をアサートするタイミングでクリアされる。

【0116】

以上説明したように、本実施形態では、異常画素が複数ラインに跨るか否かを判定し、跨ると判定された場合には、異常画素が１ラインにのみ存在する画素では前後のラインの画素値の平均値で異常画素の画素値を補正する。また異常画素が２ラインに存在する画素における前側のラインでは、そのさらに前側のラインの画素値を用いて異常画素の画素値を補正する。また後側のラインでは、そのさらに後側のラインの画素値を用いて異常画素の画素値を補正する。

【0117】

これにより、異常が生じたラインの前側及び後側の両方のラインの画素値を用いずに補正できるため、異常画素が複数ラインに跨る場合には、異常画像を補正することができる。

【0118】

また本実施形態では、静電気ノイズ等でライン同期信号が消失した場合に、カウント値ｃｏｕｎｔに基づき算出した過去のライン同期信号の平均値Ａｖｇ及び標準偏差σを用いて、補正ライン同期信号のアサートタイミングを予測し、生成した補正ライン同期信号をアサートする。これにより、次ラインの開始を受信デバイスがライン同期信号を検出できないことに起因する１ライン分の画像データの欠落を防止することができる。

【0119】

以上、実施形態について説明してきたが、本発明は、具体的に開示された上記の実施形態に限定されるものではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。

【0120】

実施形態では、画像処理装置としてＭＦＰやプリンタの例を示したが、画像データとともにライン同期信号及び基準クロックを転送するライン同期転送を用いる機器にも広く適用可能である。また、実施形態では、電子回路及び電気回路等のハードウェアで各機能部を実現する例を説明したが、ＣＰＵによりソフトウェアで各機能部を実現しても良い。

【0121】

また、実施形態は、画像処理方法も含む。例えば、画像処理方法は、受信画像における異常ライン画像に含まれる異常画像の区間を示す情報に基づいて、前記異常画像の区間の画像データが補正された補正画像データを出力する工程を含む。このような画像処理方法により、上述した画像処理装置と同様の効果を得ることができる。

【0122】

さらに、実施形態は、プログラムも含む。例えば、プログラムは、受信画像における異常ライン画像に含まれる異常画像の区間を示す情報に基づいて、前記異常画像の区間の画像データが補正された補正画像データを出力する処理をコンピュータに実行させる。このようなプログラムにより、上述した画像処理装置と同様の効果を得ることができる。

【0123】

また、上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP（digital signal processor）、FPGA（field programmable gate array）や従来の回路モジュール等のデバイスを含むものとする。

【符号の説明】

【0124】

１ 画像処理装置
２ スキャナ
３ プロッタ
４ 画像処理ＡＳＩＣ
４１ ラインバッファ
４２ 異常検出部
４２１ 異常ライン画像検出部
４２２ 異常画像区間検出部
４２３ 判定部
４２４ 予測部
４２５ ＰＬＬ
４２６ 受信回路
４２７ カウンタ回路
４３ 画像蓄積部
４４ 異常情報蓄積部
４５ 画像補正部
４７ 生成部
４５１ 出力選択部
４５２ 補正処理部
４５３ 補正画像出力部
４５４ 類似度取得部
４５５ 出力選択回路
４５６ 補正処理回路
４５７ 画像出力Ｉ／Ｆ
４６ 内部バス

【先行技術文献】

【特許文献】

【0125】

【文献】特開２００３－０４６７０９号公報

【文献】特開２０１１－２３９１７６号公報

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】