特開 2022-188888 画像処理装置および画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022188888

(43)【公開日】2022-12-22

(54)【発明の名称】画像処理装置および画像処理方法

(51)【国際特許分類】

   H04N 9/07 20060101AFI20221215BHJP

【ＦＩ】

H04N9/07 A

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2021097151

(22)【出願日】2021-06-10

(71)【出願人】

【識別番号】514315159

【氏名又は名称】株式会社ソシオネクスト

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(72)【発明者】

【氏名】窄口 優人

【テーマコード（参考）】

5C065

【Ｆターム（参考）】

5C065AA01

5C065BB48

5C065CC01

5C065DD01

5C065DD17

5C065EE05

5C065EE09

5C065EE10

5C065GG13

5C065GG21

5C065GG23

(57)【要約】

【課題】画像に含まれるエッジを正しく検出し、検出したエッジに基づいて画素値を補間することで、補間後の画像に偽色が発生することを抑制する。
【解決手段】検出する光の波長領域が異なる複数種の画素を含む撮像装置から受信する画素値を、撮像装置の第１画素配列と異なる第２画素配列での画素の画素値に置き換える画像処理装置は、画素値を補間する着目画素の周辺に位置する、着目画素の置き換え後の色と同じ色の周辺画素のうち、画素値の変化が少ない画素が並ぶ方向を示すエッジの有無を判定する第１判定部と、エッジがあると判定された場合、周辺画素のうちエッジの方向に沿う画素の画素値を使用して着目画素の画素値を補間し、エッジがないと判定された場合、着目画素の周辺に位置する画素の輝度に基づいて検出したエッジの方向に沿う画素の画素値を使用して着目画素の画素値を補間する補間処理部と、を有する。
【選択図】図２

【特許請求の範囲】

【請求項1】

検出する光の波長領域が異なる複数種の画素を含む撮像装置から受信する画素値を、前記撮像装置の第１画素配列と異なる第２画素配列での画素の画素値に置き換える画像処理装置であって、
画素値を補間する着目画素の周辺に位置する、着目画素の置き換え後の色と同じ色の周辺画素のうち、画素値の変化が少ない画素が並ぶ方向を示すエッジの有無を判定する第１判定部と、
エッジがあると判定された場合、前記周辺画素のうちエッジの方向に沿う画素の画素値を使用して前記着目画素の画素値を補間し、エッジがないと判定された場合、前記着目画素の周辺に位置する画素の輝度に基づいて検出したエッジの方向に沿う画素の画素値を使用して前記着目画素の画素値を補間する補間処理部と、
を有する画像処理装置。

【請求項2】

前記第１判定部は、前記周辺画素のうち前記着目画素に対して第１方向に沿って配置される画素の画素値の差と、前記周辺画素のうち前記第１方向の交差方向に沿って配置される画素の画素値の差とが所定の閾値以上の場合、エッジがあると判定する
請求項１に記載の画像処理装置。

【請求項3】

前記着目画素の周辺に位置する画素の輝度に基づいてエッジを検出する第２判定部を有し、
前記第２判定部によるエッジの検出は、前記第１判定部によるエッジの有無の判定前に実施される
請求項１または請求項２に記載の画像処理装置。

【請求項4】

前記着目画素の周辺に位置する画素の輝度に基づいてエッジを検出する第２判定部を有し、
前記第２判定部によるエッジの検出は、前記第１判定部によりエッジがないと判定された場合に実施される
請求項１または請求項２に記載の画像処理装置。

【請求項5】

前記第１画素配列は、赤、緑、青の画素と、赤、緑、青以外の他の画素とを含み、
前記補間処理部は、赤、緑、青の画素と前記他の画素とを含む前記第１画素配列の画像データを、赤、緑、青の画素を含み、前記他の画素を含まない前記第２画素配列の画像データに変換する
請求項１ないし請求項４のいずれか１項に記載の画像処理装置。

【請求項6】

前記第２画素配列は、ベイヤー配列である
請求項５に記載の画像処理装置。

【請求項7】

前記他の画素は、赤外の波長領域の光を検出する画素である
請求項５または請求項６に記載の画像処理装置。

【請求項8】

検出する光の波長領域が異なる複数種の画素を含む撮像装置から受信する画素値に基づいて、着目画素の画素値を、前記撮像装置の画素配列と異なる画素配列での画素の画素値に置き換える画像処理方法であって、
前記着目画素の周辺に位置する、置き換え後の画素と同じ色の周辺画素のうち、画素値の変化が少ない画素が並ぶ方向を示すエッジの有無を判定する第１判定処理と、
エッジがあると判定された場合、前記周辺画素のうちエッジの方向に沿う画素の画素値を使用して前記着目画素の画素値を補間し、エッジがないと判定された場合、前記着目画素の周辺に位置する画素の輝度に基づいて検出したエッジの方向に沿う画素の画素値を使用して前記着目画素の画素値を補間する補間処理と、
を実施する画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置および画像処理方法に関する。

【背景技術】

【0002】

車載カメラ等においては、被写体を撮影する場所または時間帯等により照明条件が大きく異なる場合がある。そこで、様々な照明条件に応じて適切な画像を得るため、赤、緑、青の３色のカラーフィルタに加えて、赤外光を透過する赤外フィルタまたは赤、緑、青の全てを透過する白色フィルタを有する撮像装置が開発されている。この種の撮像装置の画素の配列は、ベイヤー配列等の既存の配列と異なるため、既存の処理手法を使用して画像処理を実施するためには、撮像装置が取得した画像データを、画素値の補間処理によりベイヤー配列の画像データに変換する必要がある。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１１－２５９０６０号公報

【特許文献2】特開２０１９－１０６５７６号公報

【特許文献3】特開２００８－２５８９３２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

例えば、画素値の補間処理は、着目する画素の周囲で輝度が大きく変化するエッジを検出し、エッジの方向に沿って配置される、着目する画素と同色の画素の画素値を使用して実施される。しかしながら、例えば、互いに隣接する色合いの異なる２つの画像領域の輝度の差が小さい場合、２つの画像領域の境界部のエッジを検出できない場合がある。エッジが存在するにもかかわらず、エッジを考慮した画素値の補間処理が実施されない場合、補間処理後の画像に本来の画像の色と異なる偽色（アーティファクト）が発生するおそれがある。

【0005】

本発明は、上記の点に鑑みてなされたもので、画像に含まれるエッジを正しく検出し、検出したエッジに基づいて画素値を補間することで、補間後の画像に偽色が発生することを抑制することを目的とする。

【課題を解決するための手段】

【0006】

本発明の一態様では、画像処理装置は、検出する光の波長領域が異なる複数種の画素を含む撮像装置から受信する画素値を、前記撮像装置の第１画素配列と異なる第２画素配列での画素の画素値に置き換える画像処理装置であって、画素値を補間する着目画素の周辺に位置する、着目画素の置き換え後の色と同じ色の周辺画素のうち、画素値の変化が少ない画素が並ぶ方向を示すエッジの有無を判定する第１判定部と、エッジがあると判定された場合、前記周辺画素のうちエッジの方向に沿う画素の画素値を使用して前記着目画素の画素値を補間し、エッジがないと判定された場合、前記着目画素の周辺に位置する画素の輝度に基づいて検出したエッジの方向に沿う画素の画素値を使用して前記着目画素の画素値を補間する補間処理部と、を有する。

【発明の効果】

【0007】

開示の技術によれば、画像に含まれるエッジを正しく検出し、検出したエッジに基づいて画素値を補間することで、補間後の画像に偽色が発生することを抑制することができる。

【図面の簡単な説明】

【0008】

【図1】第１の実施形態における画像処理装置を含む画像処理システムの一例を示すイメージ図である。

【図2】図１の画像処理装置の機能構成の一例を示すブロック図である。

【図3】図１の移動体に搭載される各種装置の構成の概要を示すブロック図である。

【図4】図３の画像処理装置および情報処理装置の構成の一例を示すブロック図である。

【図5】図３の撮像装置により取得されたＲＧＢＩｒの画像データをベイヤー配列の画像データに変換する例を示す説明図である。

【図6】図３のイメージセンサにより取得された画像データを使用してエッジを検出する手法の一例と、エッジの検出結果に基づいて画素値を補間する手法の一例とを示す説明図である。

【図7】図３の画像処理装置が実施するエッジ検出処理と画素値の補間処理の一例を示すフロー図である。

【図8】第２の実施形態における画像処理装置が実施するエッジ検出処理と画素値の補間処理の一例を示すフロー図である。

【発明を実施するための形態】

【0009】

以下、図面を用いて実施形態を説明する。以下の説明では、画像データを単に画像と称する場合がある。

【0010】

（第１の実施形態）
図１は、第１の実施形態における画像処理装置を含む画像処理システムの一例のイメージを示す。図１に示す画像処理システム１００は、例えば、自動車等の移動体２００に搭載される。移動体２００の進行方向Ｄの前方、後方、左側および右側と、移動体２００の車内の前方には、カメラ等の撮像装置１９Ａ、１９Ｂ、１９Ｃ、１９Ｄ、１９Ｅが設置される。以下では、撮像装置１９Ａ、１９Ｂ、１９Ｃ、１９Ｄ、１９Ｅを区別なく説明する場合、撮像装置１９とも称される。撮像装置１９に搭載されるイメージセンサの画素の例は、図６で説明される。

【0011】

なお、移動体２００に設置される撮像装置１９の数および設置位置は、図１に限定されない。例えば、１つの撮像装置１９が移動体２００の前方のみに設置されてもよく、２つの撮像装置１９が前方と後方のみに設置されてもよい。あるいは、撮像装置１９は、移動体２００の天井に設置されてもよい。

【0012】

また、画像処理システム１００が搭載される移動体２００は、自動車に限定されず、例えば、工場内で稼働する搬送ロボットまたはドローンでもよい。また、画像処理システム１００は、例えば、監視カメラ、デジタルスチルカメラまたはデジタルカムコーダなどの、移動体２００に設置された撮像装置１９以外の撮像装置から取得した画像を処理するシステムであってもよい。

【0013】

各撮像装置１９は、信号線または無線を介して画像処理装置１０に接続される。さらに、各撮像装置１９と画像処理装置１０との距離は、図１でイメージされる距離よりも長くてもよい。例えば、撮像装置１９で取得した画像データは、ネットワークを介して画像処理装置１０に伝送されてもよい。この場合、画像処理装置１０および情報処理装置１１の少なくとも一方は、クラウドコンピューティングにより実現されてもよい。

【0014】

画像処理システム１００は、画像処理装置１０、情報処理装置１１および表示装置１２を有する。なお、図１では、説明を分かりやすくするために、上方から俯瞰した移動体２００のイメージ図に画像処理システム１００が重ねて記載されている。しかしながら、実際には、画像処理装置１０および情報処理装置１１は、移動体２００に搭載される制御基板等に実装され、表示装置１２は、移動体２００内において、運転者等の人物から見える位置に設置される。なお、画像処理装置１０は、情報処理装置１１の一部として制御基板等に実装されてもよい。

【0015】

図２は、図１の画像処理装置１０の機能構成の一例を示す。画像処理装置１０は、取得部１０ａ、第１判定部１０ｂ、第２判定部１０ｃ、補間処理部１０ｄおよび出力部１０ｅを有する。取得部１０ａは、各撮像装置１９により撮像された移動体２００の周囲の画像を示す画像データを取得する。

【0016】

第１判定部１０ｂは、取得部１０ａから取得した画像データを使用して、画素値を補間する着目画素の周辺に位置する、着目画素の置き換え後の色と同じ色の周辺画素のうち、画素値の変化が少ない画素が並ぶ方向を示すエッジの有無を判定する（第１判定処理）。第２判定部１０ｃは、取得部１０ａから取得した画像データを使用して、着目画素の周辺に位置する画素の輝度に基づいてエッジを判定する（第２判定処理）。例えば、第２判定部１０ｃによるエッジの判定は、第１判定部１０ｂによるエッジの有無の判定前に実施されてもよく、第１判定部１０ｂによりエッジがないと判定された場合に実施されてもよい。

【0017】

補間処理部１０ｄは、第１判定部１０ｂによりエッジがあると判定された場合、周辺画素のうちエッジの方向に沿う画素の画素値を使用して着目画素の画素値を補間する。補間処理部１０ｄは、第１判定部１０ｂによりエッジがないと判定された場合、第２判定部１０ｃにより判定された画素の輝度に基づくエッジの方向に沿う画素の画素値を使用して着目画素の画素値を補間する。

【0018】

これにより、画素値の差（色差）に基づいて検出されるエッジによる画素値の補間処理を、輝度差に基づいて検出されるエッジによる画素値の補間処理よりも優先的に実施することができる。したがって、互いに隣接する色合いの異なる２つの画像領域の輝度の差が小さく、２つの画像領域の境界部のエッジを輝度差では検出できない場合にも、色差により検出したエッジに基づいて画素値の補間処理を適切に実施することができる。この結果、画素値の補間処理が画像領域の境界部を跨いで実施されることを抑制でき、画像領域の境界部に偽色が発生することを抑制することができる。

【0019】

出力部１０ｅは、補間処理部１０ｄにより補間された画素の画素値を含む補間後の画像データを画像処理結果として表示装置１２および情報処理装置１１の少なくとも一方に出力する。

【0020】

図３は、図１の移動体２００に搭載される各種装置の構成の概要を示す。移動体２００は、内部ネットワークを介して相互に接続された画像処理装置１０、情報処理装置１１、表示装置１２、少なくとも１つのＥＣＵ（Electronic Control Unit）１３および無線通信装置１４を有する。また、移動体２００は、センサ１５、駆動装置１６、ランプ装置１７、ナビゲーション装置１８および撮像装置１９を有する。例えば、内部ネットワークは、ＣＡＮ（Controller Area Network）またはイーサネット（登録商標）等の車載ネットワークである。

【0021】

画像処理装置１０は、撮像装置１９により取得された画像データ（フレームデータ）を受信し、受信した画像データを使用して画像処理を実施する。情報処理装置１１は、画像処理装置１０により画像処理された画像データを用いて、画像認識等の処理を実施する。例えば、情報処理装置１１は、画像処理装置１０により生成された画像に基づいて、移動体２００の外部の人物、信号または標識等の物体を認識してもよく、認識した物体を追尾してもよい。情報処理装置１１は、移動体２００の各部を制御するコンピュータとして機能されてもよい。また、情報処理装置１１は、ＥＣＵ１３を制御することにより、移動体２００の全体を制御してもよい。

【0022】

表示装置１２は、画像処理装置１０により生成された画像データを使用して画像および補正画像等を表示する。表示装置１２は、移動体２００が後進（バック）する際に、移動体２００の後進方向の画像をリアルタイムで表示してもよい。また、表示装置１２は、ナビゲーション装置１８から出力される画像を表示してもよい。

【0023】

ＥＣＵ１３は、エンジンまたはトランスミッション等の機構部に対応してそれぞれ設けられる。各ＥＣＵ１３は、情報処理装置１１からの指示に基づいて、対応する機構部を制御する。無線通信装置１４は、移動体２００の外部の装置との通信を行う。センサ１５は、各種の情報を検出するセンサである。センサ１５は、例えば、移動体２００の現在の位置情報を取得する位置センサを含んでもよい。また、センサ１５は、移動体２００の速度を検出する速度センサを含んでもよい。

【0024】

駆動装置１６は、移動体２００を移動させるための各種装置である。駆動装置１６には、例えば、エンジン、操舵装置（ステアリング）、および制動装置（ブレーキ）等が含まれてもよい。ランプ装置１７は、移動体２００に搭載された各種灯具である。ランプ装置１７には、例えば、前照灯（ヘッドランプ、ヘッドライト）、方向指示器（ウインカー）のランプ、バックライトおよびブレーキランプ等が含まれてもよい。ナビゲーション装置１８は、目的地への経路を音声および表示により案内する装置である。

【0025】

撮像装置１９は、例えば、赤色光Ｒ、緑色光Ｇ、青色光Ｂおよび近赤外光Ｉｒをそれぞれ透過する複数種のフィルタを含む画素が搭載されたＲＧＢＩｒのイメージセンサＩＭＧＳを有する。すなわち、イメージセンサＩＭＧＳは、検出する光の波長領域が異なる複数種の画素を含む。

【0026】

近赤外光Ｉｒを検出する画素は、赤、緑、青以外の他の画素の一例である。イメージセンサＩＭＧＳは、ＲＧＢ以外の１種類の他の画素だけでなく、複数種類の他の画素を有してもよい。なお、イメージセンサＩＭＧＳは、近赤外光Ｉｒを検出する画素の代わりに、他の波長領域の光（例えば、ＲＧＢ全て）を検出する画素を有してもよい。

【0027】

上述したように、撮像装置１９により取得された画像データは、画像処理装置１０により処理される。例えば、画像処理装置１０は、ＲＧＢＩｒのイメージセンサＩＭＧＳにより取得された画像データを補正（補間）し、ベイヤー配列の画像データを生成する。画像処理装置１０が実施する画像処理については、図５から図７で説明される。イメージセンサＩＭＧＳのＲＧＢＩｒの画素配列は、第１画素配列の一例である。ベイヤー配列の画素配列は、第２画素配列の一例である。

【0028】

なお、画像処理装置１０は、ベイヤー配列のイメージセンサにより取得された画像データを、ベイヤー配列以外の画像データに変換してもよい。さらに、画像処理装置１０は、補正により生成した画像データを、外部または内部の記録装置に記録してもよい。

【0029】

図４は、図３の画像処理装置１０および情報処理装置１１の構成の一例を示す。画像処理装置１０および情報処理装置１１の構成は、互いに同様であるため、以下では、画像処理装置１０の構成が説明される。例えば、画像処理装置１０は、バスＢＵＳで相互に接続されたＣＰＵ２０、インタフェース装置２１、ドライブ装置２２、補助記憶装置２３およびメモリ装置２４を有する。

【0030】

ＣＰＵ２０は、メモリ装置２４に格納された画像処理プログラムを実行することで、後述する各種の画像処理を実施する。インタフェース装置２１は、図示しないネットワークに接続するために使用される。補助記憶装置２３は、例えば、ＨＤＤ（Hard Disk Drive）またはＳＳＤ（Solid State Drive）等であり、画像処理プログラム、画像データおよび画像処理に使用する各種パラメータ等を保持する。

【0031】

メモリ装置２４は、例えば、ＤＲＡＭ（Dynamic Random Access Memory）等であり、補助記憶装置２３から転送される画像処理プログラム等を保持する。ドライブ装置２２は、記録媒体３０を接続するインタフェースを有し、例えば、ＣＰＵ２０からの指示に基づいて、記録媒体３０に格納された画像処理プログラムを補助記憶装置２３に転送する。なお、ドライブ装置２２は、補助記憶装置２３に記憶された画像データ等を記録媒体３０に転送してもよい。

【0032】

図５は、図３のイメージセンサＩＭＧＳにより取得されたＲＧＢＩｒの画像データＩＭＧ１をベイヤー配列の画像データＩＭＧ２に変換する例を示す。イメージセンサＩＭＧＳは、赤色光を検出する画素Ｒ、緑色光を検出する画素Ｇ、青色光を検出する画素Ｂおよび近赤外光を検出する画素Ｉｒを有する。

【0033】

イメージセンサＩＭＧＳの配列の繰り返しの単位である縦４画素、横４画素において、画素Ｒ、画素Ｇ、画素Ｂ、画素Ｉｒは、１：４：１：２の比率で配置される。画素Ｉｒは、ベイヤー配列の画素Ｒまたは画素Ｂの位置に配置される。図５の左下の括弧内に示す画素配列は、左上の画素配列の画素Ｒと画素Ｂとを入れ替えたものである（画素位置はずれている）。以下では、イメージセンサＩＭＧＳの画素配列は、非ベイヤー配列とも称される。

【0034】

これに対して、図５の右上に示すベイヤー配列では、縦２画素、横２画素において、画素Ｒ、画素Ｇ、画素Ｂは、１：２：１の比率で配置される。図５の左上および左下の非ベイヤー配列において、太枠で示す画素は、ベイヤー配列の画素と色が相違することを示す。非ベイヤー配列の画像データＩＭＧ１をベイヤー配列の画像データＩＭＧ２に変換する場合、太枠の画素に対応するベイヤー配列の画素の画素値は、周囲の同色の画素の画素値を使用して補間処理を実施することで生成される。

【0035】

画素値の補間処理の一手法では、まず、ＲＧＢの画素値から求まる各画素の輝度に基づいて、輝度が大きく変化する画像の境界部分であるエッジの位置（エッジ方向）が検出される。画素値を補間する着目画素は、エッジにより二分される画像領域の一方に属する。そして、着目画素と同じ画像領域に含まれ、エッジの方向に沿う画素の画素値を使用して画素値が補間される。あるいは、着目画素と同じ画像領域に含まれ、着目画素の位置に近い同色の画素の画素値を使用して画素値が補間される。エッジを跨いだ画素の画素値を補間に使用しないことで、画素値を適切に補間することが可能になる。

【0036】

しかしながら、図５の右下に示すように、例えば、青色の画像領域１と赤色の画像領域２とが隣接する場合、上述した輝度による画素値の補間では、画像領域の境界に偽色（アーティファクト）が発生する場合がある。偽色の発生により画像領域１、２の境界がぼやけた画像が生成されてしまう。偽色の発生の原因について以下に説明する。

【0037】

画像領域１において画素Ｒの画素値、画素Ｇの画素値、画素Ｂの画素値は、それぞれＲ１、Ｇ１、Ｂ１とする。画像領域２において画素Ｒの画素値、画素Ｇの画素値、画素Ｂの画素値は、それぞれＲ２、Ｇ３、Ｂ３とする。また、説明を分かりやすくするため、画像領域１および画像領域２の各々において、ＲＧＢ各色の成分は一様であるとする。

【0038】

青色の画像領域１では、画素値Ｂ１は大きく、画素値Ｒ１は小さい。赤色の画像領域２では、画素値Ｒ２は大きく、画素値Ｂ２は小さい。画素値Ｂ１は画素値Ｒ２とほぼ等しく、画素値Ｒ１は画素値Ｂ２とほぼ等しいとする。画像領域１の画素値Ｇ１と画像領域２の画素値Ｇ２とは、ほぼ等しいとする。

【0039】

画像領域１の輝度Ｙ１および画像領域２の輝度Ｙ２は、例えば、式（１）、式（２）によりそれぞれ算出可能である。式中の符号"＊"は、乗算符号を示す。
輝度Ｙ１＝（画素値Ｒ１＋画素値Ｇ１＊２＋画素値Ｂ１）／４ …（１）
輝度Ｙ２＝（画素値Ｒ２＋画素値Ｇ２＊２＋画素値Ｂ２）／４ …（２）

【0040】

上述したように、画素値Ｂ１が画素値Ｒ２とほぼ等しく、画素値Ｒ１が画素値Ｂ２とほぼ等しく、画素値Ｇ１が画素値Ｇ２とほぼ等しい場合、式（１）、式（２）から算出される輝度Ｙ１、Ｙ２は、ほぼ等しくなる。輝度Ｙ１、Ｙ２がほぼ等しい場合、輝度の差分に基づいてエッジの方向を判断する手法では、画像領域１と画像領域２との境界であるエッジを検出できない。

【0041】

このため、画像領域１において、画像領域２との境界付近の画素の画素値を補間により算出する場合、画像領域１の画素の画素値だけでなく、画像領域２の画素の画素値が参照される。同様に、画像領域２において、画像領域１との境界付近の画素の画素値を補間により算出する場合、画像領域２の画素の画素値だけでなく、画像領域１の画素の画素値が参照される。この結果、画像領域１と画像領域２との境界部分に偽色が発生する。

【0042】

図６は、図３のイメージセンサＩＭＧＳにより取得された画像データを使用してエッジを検出する手法の一例と、エッジの検出結果に基づいて画素値を補間する手法の一例とを示す。図６に示す２５個の画素は、イメージセンサＩＭＧＳに搭載される画素の一部を示す。

【0043】

図６では、説明を分かりやすくするために、画素Ｒ、Ｇ、Ｂ、Ｉｒに色毎の通し番号を付している。画素Ｒに括弧で付した符号"－＞Ｂ"は、画素Ｒの画素値がベイヤー配列の画像データに変換する補間処理により、画素Ｂの画素値に置き換えられることを示す。画素Ｉｒに括弧で付した符号"－＞Ｒ"は、画素Ｉｒの画素値がベイヤー配列の画像データに変換する補間処理により、画素Ｒの画素値に置き換えられることを示す。

【0044】

以下では、２５個の画素のうち、太枠で示す中央の画素Ｒ３の画素値が、ベイヤー配列での画素Ｂの画素値に置き換えられる例が示される。エッジの検出処理および画素値の補間処理は、図３の画像処理装置１０に搭載されるＣＰＵ２０（図４）が、画像処理プログラムを実行して画像処理方法を実施することにより実現される。以下では、太枠で示す画素Ｒ３および置き換え後の画素Ｂは、着目画素とも称される。

【0045】

まず、画像処理装置１０は、着目画素Ｒ３に対して水平方向Ｈの両側と垂直方向Ｖの両側に位置する、着目画素Ｂと同種の４つの画素Ｂ１－Ｂ４の画素値を用いて、各方向での画素Ｂの色差データ（勾配）を生成する。以下では、画素Ｂ１－Ｂ４の各々の画素値は、画素値Ｂ１－Ｂ４と称される。水平方向Ｈは、第１方向の一例であり、垂直方向Ｖは、第１方向の交差方向の一例である。

【0046】

水平方向Ｈの色差データｇｒａｄＨ、垂直方向Ｖの色差データｇｒａｄＶ、左上から右下に向く斜め方向の色差データｇｒａｄＮおよび左下から右上に向く斜め方向の色差データｇｒａｄＺは、式（３）、（４）、（５）、（６）により算出される。式（３）から式（６）において、符号ａｂｓは、絶対値の算出を示す。また、式（５）および式（６）の計算結果は、小数点以下が切り捨てられてもよい。

【0047】

ｇｒａｄＨ＝ａｂｓ（Ｂ２－Ｂ３） …（３）
ｇｒａｄＶ＝ａｂｓ（Ｂ１－Ｂ４） …（４）
ｇｒａｄＮ＝（ａｂｓ（Ｂ１－Ｂ３）＋ａｂｓ（Ｂ４－Ｂ２））／２ …（５）
ｇｒａｄＺ＝（ａｂｓ（Ｂ１－Ｂ２）＋ａｂｓ（Ｂ４－Ｂ３））／２ …（６）

【0048】

次に、画像処理装置１０は、式（７）により、色差データｇｒａｄＨ、ｇｒａｄＶ、ｇｒａｄＮ、ｇｒａｄＺのうち、最小勾配値ｍｉｎＧｒａｄを算出する。
ｍｉｎＧｒａｄ＝ｍｉｎ（ｇｒａｄＨ，ｇｒａｄＶ，ｇｒａｄＺ，ｇｒａｄＮ） …（７）
式（７）において、符号ｍｉｎ（ｇｒａｄＨ，ｇｒａｄＶ，ｇｒａｄＺ，ｇｒａｄＮ）は、最小値を算出する関数を示す。

【0049】

そして、画像処理装置１０は、最小勾配値ｍｉｎＧｒａｄが色差データｇｒａｄＨの場合で、かつ、色差データｇｒａｄＨ、ｇｒａｄＺの差（絶対値）が所定の閾値Ｔ以上の場合、水平方向Ｈがエッジの方向であると判断する。画像処理装置１０は、最小勾配値ｍｉｎＧｒａｄが色差データｇｒａｄＶの場合で、かつ、色差データｇｒａｄＨ、ｇｒａｄＺの差（絶対値）が所定の閾値Ｔ以上の場合、垂直方向Ｖがエッジの方向であると判断する。そして、画像処理装置１０は、色差により判断したエッジの方向に基づいて、着目画素Ｂの画素値を他の画素Ｂの画素値を使用して補間する補間処理を実施する。

【0050】

色差データｇｒａｄＨ、ｇｒａｄＺの差（絶対値）が所定の閾値Ｔより小さい場合、色差によるエッジの方向の判断の精度が低いおそれがある。この場合、画像処理装置１０は、色差ではエッジの方向を判断せず、輝度差によりエッジの方向を判断する。そして、画像処理装置１０は、輝度差により判断したエッジの方向に基づいて画素値を補間する。

【0051】

なお、最小勾配値ｍｉｎＧｒａｄが色差データｇｒａｄＺまたは色差データｇｒａｄＮの場合、色差により斜め方向のエッジの存在が判断される。しかしながら、画像処理装置１０は、判断した斜め方向のエッジに基づいて画素値を補間しなくてもよい。これは、図６に示す画素配列では、斜め方向のエッジが検出された場合、方向によらず、着目画素Ｂの周囲の４つの画素Ｂ１－Ｂ４の画素値を使用して着目画素Ｂの画素値が補間されるためである。

【0052】

斜め方向のエッジの検出に基づいて、画像の境界部を跨いだ画素の画素値を使用して画素値の補間処理が実施される場合、偽色が発生するおそれがある。このため、画像処理装置１０は、斜め方向のエッジが検出された場合、輝度差によりエッジの方向を判断し、判断したエッジの方向に基づいて画素値を補間する。

【0053】

例えば、判断されたエッジの方向が水平方向Ｈの場合、画像処理装置１０は、画素値Ｂ２、Ｂ３を参照して着目画素Ｂの画素値を補間する。判断されたエッジの方向が垂直方向Ｖの場合、画像処理装置１０は、画素値Ｂ１、Ｂ４を参照して着目画素Ｂの画素値を補間する。図６に示す例では、着目画素Ｂと参照する画素Ｂ２、Ｂ３（またはＢ１、Ｂ４）との距離は互いに等しいため、画素Ｂ２、Ｂ３（またはＢ１、Ｂ４）の画素値の平均が、着目画素Ｂの画素値に設定される。着目画素Ｂと参照する複数の画素との距離がそれぞれ異なる場合、距離に応じて重み付けされた画素値の平均が着目画素Ｂの画素値に設定される。

【0054】

なお、画像処理装置１０は、輝度差により判断したエッジの方向に基づいて画素値を補間する場合、色差により判断したエッジの方向に基づく画素値の補間と同様に手法を使用する。例えば、画像処理装置１０は、輝度差により判断したエッジの方向が水平方向Ｈの場合、画素Ｂ２、Ｂ３の画素値を参照して着目画素Ｂの画素値を補間する。画像処理装置１０は、輝度差により判断したエッジの方向が垂直方向Ｖの場合、画素Ｂ１、Ｂ４の画素値を参照して着目画素Ｂの画素値を補間する。画像処理装置１０は、輝度差により判断したエッジの方向が斜め方向の場合、またはエッジ方向が判断できなかった場合、着目画素Ｂの周囲の４つの画素Ｂ１－Ｂ４の画素値を使用して着目画素Ｂの画素値を補間する。

【0055】

図７は、図３の画像処理装置１０が実施するエッジ検出処理と画素値の補間処理のフローの一例を示す。すなわち、図７は、画像処理装置１０による画像処理方法の一例を示す。図７に示すフローは、例えば、画像処理装置１０のＣＰＵ２０が画像処理プログラムを実行することにより実現される。

【0056】

上述した処理と同様の処理については、詳細な説明は省略する。なお、図７に示すフローは、画像処理装置１０に搭載されるＦＰＧＡ（Field-Programmable Gate Array）またはＡＳＩＣ（Application Specific Integrated Circuit）等のハードウェアにより実現されてもよい。あるいは、図７に示すフローは、ハードウェアとソフトウェアとを協働させることで実現されてもよい。

【0057】

まず、ステップＳ１０において、画像処理装置１０は、撮像装置１９から取得した画像データに基づいて、各画素の輝度情報を生成する。次に、ステップＳ１１において、画像処理装置１０は、生成した輝度情報を使用して、輝度の変化が少ない画素が並ぶ方向を示すエッジを検出する。

【0058】

次に、ステップＳ１２において、画像処理装置１０は、撮像装置１９から取得した画像データに基づいて、着目画素の周囲の画素であって、着目画素の補間後の色と同じ色の画素の画素値を使用して各方向の色差情報を生成する。次に、ステップＳ１３において、画像処理装置１０は、生成した色差情報を使用して、色差の変化が少ない画素が並ぶ方向を示すエッジを検出する。

【0059】

次に、ステップＳ１４において、画像処理装置１０は、垂直方向Ｖの色差と水平方向Ｈの色差との差分が閾値Ｔ以上の場合、色差情報によるエッジを検出したと判定し、処理をステップＳ１５に移行する。画像処理装置１０は、垂直方向Ｖの色差と水平方向Ｈの色差との差分が所定の閾値Ｔ未満の場合、色差情報によるエッジを検出していないと判定する。この場合、画像処理装置１０は、輝度情報により検出したエッジを使用して補間処理を実施するため、処理をステップＳ１６に移行する。

【0060】

ステップＳ１５において、画像処理装置１０は、ステップＳ１３で検出した色差情報に基づくエッジの採用を決定し、処理をステップＳ１７に移行する。ステップＳ１６において、画像処理装置１０は、ステップＳ１１で検出した輝度情報に基づくエッジの採用を決定し、処理をステップＳ１７に移行する。

【0061】

ステップＳ１７において、画像処理装置１０は、ステップＳ１５またはステップＳ１６で決定したエッジを使用して、ＲＧＢＩｒの画素配列の画像データをベイヤー配列の画像データに変換する補間処理を実施し、図７に示す処理を終了する。

【0062】

以上、この実施形態では、画像処理装置１０は、画素値の差（色差）に基づいて検出されるエッジによる画素値の補間処理を、輝度差に基づいて検出されるエッジによる画素値の補間処理よりも優先的に実施する。これにより、色が互いに異なる画像領域の境界において、補間処理により偽色が発生することを抑制することができ、補間後の画像の品位が低下することを抑制することができる。例えば、ＲＧＢＩｒの画素配列の画像データをベイヤー配列の画像データに変換する場合に、変換後の画像に偽色が発生することを抑制することができる。

【0063】

画像処理装置１０は、垂直方向Ｖの色差と水平方向Ｈの色差との差分が閾値以上の場合、色差に基づいて検出したエッジを使用した補間処理を実施する。換言すれば、画像処理装置１０は、垂直方向Ｖの色差と水平方向Ｈの色差との差分が閾値Ｔ未満の場合に、色差に基づいて検出したエッジを使用した補間処理を実施せず、輝度に基づいて検出したエッジを使用して補間処理を実施する。色差の差分が小さく、色差から検出したエッジの精度が低い場合に輝度から検出したエッジを使用して補間処理を実施することで、精度の低いエッジによる補間処理の実施により、補間後の画像に偽色等のノイズが含まれることを抑制することができる。

【0064】

画像処理装置１０は、垂直方向Ｖの色差と水平方向Ｈの色差との差分が閾値Ｔ以上か否かを判定する前に、予め輝度情報を生成し、生成した輝度情報を使用して、輝度の変化が少ない方向を示すエッジを検出する。これにより、輝度により検出したエッジが補間処理に使用されない場合にも、他の画像処理に使用することが可能になる。

【0065】

（第２の実施形態）
図８は、第２の実施形態における画像処理装置が実施するエッジ検出処理と画素値の補間処理のフローの一例を示す。すなわち、図８は、画像処理装置による画像処理方法の一例を示す。図７と同様の処理については、詳細な説明は省略する。

【0066】

図８に示すフローを実施する画像処理装置１０は、図１から図３に示す画像処理装置１０と同様であり、情報処理装置１１および表示装置１２とともに画像処理システム１００に搭載される。図８に示すフローは、例えば、図３の画像処理装置１０のＣＰＵ２０（図４）が画像処理プログラムを実行することにより実現される。

【0067】

なお、図８に示すフローは、画像処理装置１０に搭載されるＦＰＧＡまたはＡＳＩＣ等のハードウェアにより実現されてもよい。あるいは、図８に示すフローは、ハードウェアとソフトウェアとを協働させることで実現されてもよい。

【0068】

画像処理システム１００は、例えば、自動車、搬送ロボットまたはドローン等の移動体２００に搭載される。なお、画像処理システム１００は、監視カメラ、デジタルスチルカメラまたはデジタルカムコーダなどの撮像装置から取得した画像を処理するシステムであってもよい。

【0069】

まず、ステップＳ２０において、画像処理装置１０は、図７のステップＳ１２と同様に、撮像装置１９から取得した画像データに基づいて、各方向の色差情報を生成する。次に、ステップＳ２１において、画像処理装置１０は、図７のステップＳ１４と同様に、垂直方向Ｖの色差と水平方向Ｈの色差との差分が所定の閾値Ｔ以上の場合、色差情報によるエッジを検出したと判定し、処理をステップＳ２２に移行する。画像処理装置１０は、垂直方向Ｖの色差と水平方向Ｈの色差との差分が所定の閾値Ｔ未満の場合、色差情報によるエッジを検出していないため、輝度情報により検出したエッジを使用すると判定し、処理をステップＳ２３に移行する。

【0070】

ステップＳ２２において、画像処理装置１０は、図７のステップＳ１３と同様に、ステップＳ２０で生成した色差情報を使用して、色差の変化が少ない方向を示すエッジを検出し、処理をステップＳ２５に移行する。ステップＳ２３において、画像処理装置１０は、図７のステップＳ１０と同様に、撮像装置１９から取得した画像データに基づいて、各画素の輝度情報を生成する。

【0071】

次に、ステップＳ２４において、画像処理装置１０は、図７のステップＳ１１と同様に、生成した輝度情報を使用して、輝度の変化が少ない方向を示すエッジを検出し、処理をステップＳ２５に移行する。このように、輝度情報の生成および輝度情報に基づくエッジの検出は、色差情報に基づくエッジの検出を実施しない場合のみ実施される。これにより、ステップＳ２３、Ｓ２４の処理が無駄に実施されることを抑制することができる。

【0072】

ステップＳ２５において、画像処理装置１０は、図７のステップＳ１７と同様に、ステップＳ２２またはステップＳ２４で検出したエッジを使用して、ＲＧＢＩｒの画素配列の画像データをベイヤー配列の画像データに変換する補間処理を実施する。そして、画像処理装置１０は、図８に示す処理を終了する。

【0073】

以上、この実施形態においても、上述した実施形態と同様の効果を得ることができる。例えば、色差に基づいて検出したエッジを使用して、着目画素の画素値の補間処理を実施することで、色が互いに異なる画像領域の境界において、補間処理後の画像に偽色が発生することを抑制することができる。

【0074】

さらに、この実施形態では、画像処理装置１０は、垂直方向Ｖの色差と水平方向Ｈの色差との差分が閾値Ｔ未満の場合のみ、輝度情報を生成し、生成した輝度情報を使用して、輝度の変化が少ない方向を示すエッジを検出する。これにより、輝度により検出したエッジが補間処理以外に使用されない場合に、輝度によるエッジの検出処理が無駄になることを抑制することができる。

【0075】

以上、各実施形態に基づき本発明の説明を行ってきたが、上記実施形態に示した要件に本発明が限定されるものではない。これらの点に関しては、本発明の主旨をそこなわない範囲で変更することができ、その応用形態に応じて適切に定めることができる。

【符号の説明】

【0076】

１０ 画像処理装置
１０ａ 取得部
１０ｂ 第１判定部
１０ｃ 第２判定部
１０ｄ 補間処理部
１０ｅ 出力部
１１ 情報処理装置
１２ 表示装置
１３ ＥＣＵ
１４ 無線通信装置
１５ センサ
１６ 駆動装置
１７ ランプ装置
１８ ナビゲーション装置
１９（１９Ａ、１９Ｂ、１９Ｃ、１９Ｄ、１９Ｅ） 撮像装置
２０ ＣＰＵ
２１ インタフェース装置
２２ ドライブ装置
２３ 補助記憶装置
２４ メモリ装置
３０ 記録媒体
１００ 画像処理システム
２００ 移動体
ＢＵＳ バス
Ｈ 水平方向
ＩＭＧ１、ＩＭＧ２ 画像データ
ＩＭＧＳ イメージセンサ
ＰＸ 画素
Ｖ 垂直方向

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】