特許 7147878 画像処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-09-27

(45)【発行日】2022-10-05

(54)【発明の名称】画像処理装置

(51)【国際特許分類】

   H04N 5/232 20060101AFI20220928BHJP

   G06T 7/223 20170101ALI20220928BHJP

【ＦＩ】

H04N5/232 290

G06T7/223

【請求項の数】 6

(21)【出願番号】P 2020567684

(86)(22)【出願日】2019-01-21

(86)【国際出願番号】 JP2019001701

(87)【国際公開番号】W WO2020152756

(87)【国際公開日】2020-07-30

【審査請求日】2021-07-13

(73)【特許権者】

【識別番号】000001993

【氏名又は名称】株式会社島津製作所

(74)【代理人】

【識別番号】100104433

【弁理士】

【氏名又は名称】宮園 博一

(72)【発明者】

【氏名】武藤 実由

【審査官】大西 宏

(56)【参考文献】

【文献】特開平０９－１９０５３４（ＪＰ，Ａ）

【文献】特開２００７－２６８１５５（ＪＰ，Ａ）

【文献】特開２０１１－０００４７０（ＪＰ，Ａ）

【文献】特開２０１１－１２０８１５（ＪＰ，Ａ）

【文献】特開２０１２－０２７６９６（ＪＰ，Ａ）

【文献】特開２０１２－１０５７５０（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１２／００５９２３９（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１３／０１２９２５５（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／２２２－ ５／２５７

Ｇ０６Ｔ ７／００ － ７／９０

Ｇ０６Ｖ １０／００ －２０／９０

Ｇ０６Ｖ ３０／４１８

Ｇ０６Ｖ ４０／１６ －４０／１６

Ｇ０６Ｖ ４０／２０

(57)【特許請求の範囲】

【請求項1】

放射線撮影装置において連続的に撮影されることにより生成される複数の画像に対して画像処理を行う画像処理装置であって、
前記放射線撮影装置において撮影された第１画像内の画素の中から注目画素と前記注目画素の周辺の周辺画素とから構成される注目ブロック領域を設定する注目ブロック領域設定部と、
前記放射線撮影装置において前記第１画像とは異なる時刻に撮影された第２画像内において前記注目ブロック領域に最も類似した移動先ブロック領域を取得する移動先ブロック領域取得部と、
前記注目画素から前記移動先ブロック領域における前記注目画素に対応する移動先画素への移動ベクトルを取得する移動ベクトル取得部と、
前記移動ベクトル取得部により取得された複数の前記移動ベクトルから構成されるベクトルブロック領域内の全ての前記移動ベクトルに対する前記ベクトルブロック領域内の類似する全ての移動ベクトルの割合に基づいて、前記ベクトルブロック領域内の注目移動ベクトルに対応する前記第１画像内の前記注目画素が構造物部分であるか背景部分である非構造物部分であるかを判定する構造物判定部と、
を備える画像処理装置。

【請求項2】

前記構造物判定部は、前記割合が第１閾値以上の場合に、前記注目画素が前記構造物部分であると判定するとともに、前記割合が前記第１閾値よりも小さい場合に、前記注目画素が前記非構造物部分であると判定するように構成されている、請求項１に記載の画像処理装置。

【請求項3】

前記注目画素が、前記第１画像と前記第２画像との間において前記構造物部分が移動した構造物動体部分であるか、前記第１画像と前記第２画像との間において前記構造物部分が移動していない構造物非動体部分または前記背景部分である前記非構造物部分であるかを第２閾値に基づいて判定する動体判定部と、
前記動体判定部により前記構造物動体部分であると判定された前記注目画素に対して、前記注目画素と、前記注目画素の移動先の前記第２画像における画素である前記移動先画素とに基づく第１ノイズ低減処理を行うとともに、前記動体判定部により前記構造物非動体部分または前記非構造物部分であると判定された前記注目画素に対して、前記注目画素と、前記注目画素と同位置の前記第２画像における画素である同位置画素とに基づく第２ノイズ低減処理を行うノイズ低減処理部と、
をさらに備え、
前記構造物判定部により前記構造物部分であると判定された前記注目画素に対して、前記第２閾値の大きさを変更した後に、前記動体判定部による判定を行うように構成されている、請求項１または２に記載の画像処理装置。

【請求項4】

前記注目画素の画素値と、前記同位置画素の画素値との差分値に基づく第１差分指標値を取得するとともに、前記注目画素の画素値と、前記移動先画素の画素値との差分値に基づく第２差分指標値を取得する差分指標値取得部をさらに備え、
前記動体判定部は、前記第１差分指標値と前記第２差分指標値との比率が前記第２閾値以下の場合に前記注目画素が前記構造物動体部分であると判定するとともに、前記比率が前記第２閾値よりも大きい場合に前記注目画素が前記構造物非動体部分または前記非構造物部分であると判定するように構成されており、
前記構造物判定部により前記構造物部分であると判定された前記注目画素に対して前記第２閾値を大きくするように前記第２閾値を変更した後に、前記動体判定部による判定を行うように構成されている、請求項３に記載の画像処理装置。

【請求項5】

前記構造物判定部により前記構造物部分であると判定された前記注目画素に対して前記第２閾値を大きくするように前記第２閾値を変更するとともに、前記構造物判定部により前記非構造物部分であると判定された前記注目画素に対して前記第２閾値を小さくするように前記第２閾値を変更した後に、前記動体判定部による判定を行うように構成されている、請求項４に記載の画像処理装置。

【請求項6】

前記構造物判定部により前記構造物部分であると判定された前記注目画素に対して、前記第１画像における前記注目画素と前記周辺画素とに基づいて構造物を強調する画像処理、および、前記構造物判定部により前記非構造物部分であると判定された前記注目画素に対して、前記第１画像における前記注目画素と前記周辺画素とに基づいてノイズを低減する第３ノイズ低減処理の少なくとも一方の処理を行うように構成されている、請求項１または２に記載の画像処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置に関し、特に、第１画像内に注目ブロック領域を設定するとともに、第２画像内において注目ブロック領域に最も類似した移動先ブロック領域を取得する画像処理装置に関する。

【背景技術】

【0002】

従来、第１画像内に注目ブロック領域を設定するとともに、第２画像内において注目ブロック領域に最も類似した移動先ブロック領域を取得する画像処理装置が知られている（たとえば、特許文献１参照）。

【0003】

上記特許文献１には、ターゲット設定部と、探索部と、画像生成部と、を備えた画像処理装置が開示されている。上記特許文献１の画像処理装置では、ターゲット設定部は、被検体像が写り込んでいる元画像（第１画像）を構成する画素の中から注目画素と注目画素を囲む周辺画素とから構成されるターゲットブロック（注目ブロック領域）を設定する。探索部は、元画像とは異なる時刻に撮影された被検体が映り込む参照画像（第２画像）の中からターゲットブロックに最も類似した移動先ブロック（移動先ブロック領域）を探し出す。画像生成部は、注目画素の位置を変えながら、ターゲットブロックが順次設定されるのに伴い、注目画素と移動先ブロックの注目画像と同じ位置の画素とを順次合成することにより、元画像に映り込むノイズ（ランダムノイズ）が低減されたノイズ低減画像を生成する。なお、上記特許文献１の画像処理装置では、画像生成部は、重み付き加算平均処理を行うことにより、画素同士を合成するように構成されている。

【0004】

また、上記特許文献１の画像処理装置は、探索部の出力を編集するベクトル編集部を備える。上記特許文献１の画像処理装置では、ベクトル編集部は、参照画像において元画像におけるターゲットブロック位置と同じ位置にある同位置ブロックを設定して、同位置ブロックとターゲットブロックとの類似度合いが、移動先ブロックとターゲットブロックとの類似度合いと略同程度の場合、探索部が探し出した移動先ブロックを同位置ブロックに変更してから出力する。すなわち、上記特許文献１の画像処理装置では、元画像上の注目画素が、被検体像が移動した部分（動体部分）であると考えられる場合に、注目画素と移動先画素とを合成するように構成されている。また、元画像上の注目画素が、被検体像が移動せずに静止している部分または被検体像が写り込んでいない部分（動体部分ではない部分）であると考えられる場合に、注目画素と参照画像の同位置の画素とを合成するように構成されている。これにより、画像上における、動体部分と動体部分ではない部分とにおいて適切にノイズが低減されている。なお、上記特許文献１の画像処理装置では、ターゲットブロック内の画素の画素値と同位置ブロック内の画素の画素値とに基づく値と、ターゲットブロック内の画素の画素値と移動先ブロック内の画素の画素値とに基づく値とを比較することにより、同位置ブロックとターゲットブロックとの類似度合いと、移動先ブロックとターゲットブロックとの類似度合いとを比較するように構成されている。

【先行技術文献】

【特許文献】

【0005】

【文献】国際公開２０１５／１７８３５０号

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、上記特許文献１に記載のような従来の画像処理装置では、画像のコントラストが比較的小さい（ノイズに起因する各画素の間の輝度変化（画素値の差）に対して構造物部分と非構造物部分との間の輝度変化（画素値の差）が比較的小さい）場合がある。この場合、ターゲットブロック（注目ブロック領域）内の画素の画素値と移動先ブロック（移動先ブロック領域）内の画素の画素値とに基づく値と、ターゲットブロック内の画素の画素値と同位置ブロック内の画素の画素値とに基づく値との差異が比較的小さくなる。すなわち、同位置ブロックとターゲットブロックとの類似度合いと、移動先ブロックとターゲットブロックとの類似度合いとを比較するのが難しくなる。このため、上記特許文献１に記載のような従来の画像処理装置では、画像のコントラストが比較的小さい場合に、注目画素が、動体部分であるか動体部分ではない部分であるかを判定する精度が低下してしまうという問題点がある

【0007】

この発明は、上記のような課題を解決するためになされたものであり、この発明の１つの目的は、画像のコントラストが比較的小さい場合でも、注目画素が動体部分であるか動体部分ではない部分であるかを判定する精度を向上させることが可能な画像処理装置を提供することである。

【課題を解決するための手段】

【0008】

上記目的を達成するために、この発明の一の局面における画像処理装置は、放射線撮影装置において連続的に撮影されることにより生成される複数の画像に対して画像処理を行う画像処理装置であって、放射線撮影装置において撮影された第１画像内の画素の中から注目画素と注目画素の周辺の周辺画素とから構成される注目ブロック領域を設定する注目ブロック領域設定部と、放射線撮影装置において第１画像とは異なる時刻に撮影された第２画像内において注目ブロック領域に最も類似した移動先ブロック領域を取得する移動先ブロック領域取得部と、注目画素から移動先ブロック領域における注目画素に対応する移動先画素への移動ベクトルを取得する移動ベクトル取得部と、移動ベクトル取得部により取得された複数の移動ベクトルから構成されるベクトルブロック領域内の全ての移動ベクトルに対するベクトルブロック領域内の類似する全ての移動ベクトルの割合に基づいて、ベクトルブロック領域内の注目移動ベクトルに対応する第１画像内の注目画素が構造物部分であるか背景部分である非構造物部分であるかを判定する構造物判定部と、を備える。

【0009】

この発明の一の局面による画像処理装置では、上記のように、複数の移動ベクトルから構成されるベクトルブロック領域内の移動ベクトルに基づいて、ベクトルブロック領域内の注目移動ベクトルに対応する第１画像内の注目画素が構造物部分であるか非構造物部分であるかを判定するように構成されている。ここで、第１画像と第２画像との間において構造物部分が移動した場合、複数の画素からなる領域がある程度まとまって移動すると考えられるので、注目移動ベクトルに対応する第１画像内の注目画素が構造物部分である場合、ベクトルブロック領域内の移動ベクトルの方向および大きさは互いに類似する（関連性を有する）可能性が高い。一方、ノイズ（ランダムノイズ）は、第１画像と第２画像とのいずれにおいても、ランダムな位置および大きさとして生じるので、注目移動ベクトルに対応する第１画像内の注目画素が背景部分（非構造物部分）である場合、ベクトルブロック領域内の移動ベクトルは互いにランダムな方向および大きさになる（関連性を有さない）可能性が大きい。なお、ベクトルブロック領域内の移動ベクトルの関連性の有無は、同位置ブロックとターゲットブロックとの類似度合いと、移動先ブロックとターゲットブロックとの類似度合いとを比較する場合のように画素値の大きさに基づいた値を用いる場合と異なり、画像のコントラストの大きさの影響が少ないと考えられる。これにより、画像のコントラストが比較的小さい場合でも、注目移動ベクトルに対応する第１画像内の注目画素が構造物部分であるか背景部分（非構造物部分）であるかを判定することができる。その結果、動体とはなり得ない背景部分（非構造物部分）を動体と判定することを抑制することができるので、画像のコントラストが比較的小さい場合でも、注目画素が動体部分であるか動体部分ではない部分であるかを判定する精度を向上させることができる。

【0012】

上記一の局面による画像処理装置において、好ましくは、構造物判定部は、上記割合が第１閾値以上の場合に、注目画素が構造物部分であると判定するとともに、上記割合が第１閾値よりも小さい場合に、注目画素が非構造物部分であると判定するように構成されている。このように構成すれば、第１閾値を用いることにより、ベクトルブロック領域内の類似する移動ベクトルの割合を容易に調べることができるので、ベクトルブロック領域内の移動ベクトルの関連性（移動ベクトルの方向および大きさが互いに類似するか否か）をより容易に調べることができる。

【0013】

上記一の局面による画像処理装置において、好ましくは、注目画素が、第１画像と第２画像との間において構造物部分が移動した構造物動体部分であるか、第１画像と第２画像との間において構造物部分が移動していない構造物非動体部分または背景部分である非構造物部分であるかを第２閾値に基づいて判定する動体判定部と、動体判定部により構造物動体部分であると判定された注目画素に対して、注目画素と、注目画素の移動先の第２画像における画素である移動先画素とに基づく第１ノイズ低減処理を行うとともに、動体判定部により構造物非動体部分または非構造物部分であると判定された注目画素に対して、注目画素と、注目画素と同位置の第２画像における画素である同位置画素とに基づく第２ノイズ低減処理を行うノイズ低減処理部と、をさらに備え、構造物判定部により構造物部分であると判定された注目画素に対して、第２閾値の大きさを変更した後に、動体判定部による判定を行うように構成されている。ここで、構造物判定部により構造物部分であると判定された注目画素は、背景部分である非構造物部分である可能性が低い。したがって、上記のように構成すれば、動体判定部による判定において、注目画素が構造物動体部分であるか非構造物部分であるかを判定することが難しい場合でも、注目画素を構造物動体部分であると判定させるように第２閾値の大きさを変更することにより、注目画素が構造物動体部分であるか背景部分（非構造物部分）であるかを判定する精度を確実に向上させることができる。その結果、精度を向上させた動体判定部による判定に基づいて、ノイズ低減処理部による注目画素に対するノイズ低減処理を適切に行うことができる。

【0014】

この場合、好ましくは、注目画素の画素値と、同位置画素の画素値との差分値に基づく第１差分指標値を取得するとともに、注目画素の画素値と、移動先画素の画素値との差分値に基づく第２差分指標値を取得する差分指標値取得部をさらに備え、動体判定部は、第１差分指標値と第２差分指標値との比率が第２閾値以下の場合に注目画素が構造物動体部分であると判定するとともに、上記比率が第２閾値よりも大きい場合に注目画素が構造物非動体部分または非構造物部分であると判定するように構成されており、構造物判定部により構造物部分であると判定された注目画素に対して第２閾値を大きくするように第２閾値を変更した後に、動体判定部による判定を行うように構成されている。ここで、第１差分指標値および第２差分指標値を、それぞれ、分母および分子として、第１差分指標値と第２差分指標値との比率とした場合、上記比率は、０から１までの範囲の値となる。そして、横軸を上記比率、縦軸を度数（その比率が出現した回数）で表したヒストグラムにおいて、注目画素が構造物動体部分、構造物非動体部分および非構造物部分のいずれの分布も、ある上記比率にピークを有するように分布する。また、ヒストグラムは、構造物動体部分のピークと、非構造物部分のピークと、構造物非動体部分のピークとが、上記比率の小さい方から大きい方に向かって、この順に並ぶように分布する。したがって、上記のように構成すれば、第２閾値を、構造物動体部分と非構造物部分とを分離する通常の上記比率から、構造物動体部分と構造物非動体部分とを分離する上記比率に大きくするように変更することができる。その結果、構造物判定部により構造物部分であると判定された注目画素において、構造物動体部分であるか非構造物部分であるかを判定する（分離する）ことが難しい場合でも、注目画素を構造物動体部分であると容易に判定させることができる。したがって、動体判定部による判定を行う前に、注目画素が構造物動体部分であるか背景部分（非構造物部分）であるかを判定する精度を容易かつ確実に向上させることができる。

【0015】

上記構造物部分であると判定された注目画素に対して第２閾値を大きくするように第２閾値を変更した後に動体判定部による判定を行う構成において、好ましくは、構造物判定部により構造物部分であると判定された注目画素に対して第２閾値を大きくするように第２閾値を変更するとともに、構造物判定部により非構造物部分であると判定された注目画素に対して第２閾値を小さくするように第２閾値を変更した後に、動体判定部による判定を行うように構成されている。このように構成すれば、第２閾値を、構造物動体部分と非構造物部分とを分離する通常の上記比率から、背景部分（非構造物部分）の分布を比較的多く含むように小さくするように変更するができる。その結果、構造物判定部により非構造物部分であると判定された注目画素において、構造物動体部分であるか非構造物部分であるかを判定することが難しい場合に、注目画素を非構造物部分であると容易に判定させることができる。したがって、動体判定部による判定を行う前に、注目画素が構造物動体部分であるか背景部分（非構造物部分）であるかを判定する精度を容易かつより確実に向上させることができる。

【0016】

上記一の局面による画像処理装置において、好ましくは、構造物判定部により構造物部分であると判定された注目画素に対して、第１画像における注目画素と周辺画素とに基づいて構造物を強調する画像処理、および、構造物判定部により非構造物部分であると判定された注目画素に対して、第１画像における注目画素と周辺画素とに基づいてノイズを低減する第３ノイズ低減処理の少なくとも一方の処理を行うように構成されている。このように構成すれば、構造物判定部により構造物部分であると判定された注目画素および非構造物部分であると判定された注目画素の少なくともいずれか一方に対して、画質を向上させるための適切な画像処理を容易に行うことができる。

【発明の効果】

【0017】

本発明によれば、上記のように、画像のコントラストが比較的小さい場合でも、注目画素が動体部分であるか動体部分ではない部分であるかを判定する精度を向上させることができる。

【図面の簡単な説明】

【0018】

【図1】本発明の一実施形態による画像処理装置の全体構成を示した図である。

【図2】撮影装置により連続的に撮影されることにより生成され、本発明の一実施形態による画像処理装置において画像処理される複数の画像を示した図である。

【図3】Ｋフレーム目の画像を示した図である。

【図4】（Ｋ－１）フレーム目の画像を示した図である。

【図5】Ｋフレーム目の画像と（Ｋ－１）フレーム目の画像との差を説明するための図である。

【図6】注目ブロック領域を説明するための図である。

【図7】注目ブロック領域および移動先ブロック領域に基づく移動ベクトルの取得を説明するための図である。

【図8】移動ベクトルから構成される移動ベクトルマップを説明するための図である。

【図9】マッチング誤差および同位置誤差の取得を説明するための図である。

【図10】画像のコントラストが比較的大きい場合のマッチング誤差と同位置誤差との比率および動体判定を説明するための図である。

【図11】動体判定の結果に基づく画像の補正処理を説明するための図である。

【図12】画像のコントラストが比較的小さい場合のマッチング誤差と同位置誤差との比率を説明するための図である。

【図13】構造物判定における構造物動体部分を説明するための図である。

【図14】構造物判定における構造物非動体部分を説明するための図である。

【図15】構造物判定における非構造物部分を説明するための図である。

【図16】構造物判定における閾値を説明するための図である。

【図17】構造物判定部により構造物部分であると判定された注目画素に対する動体判定を説明するための図である。

【図18】構造物判定部により非構造物部分であると判定された注目画素に対する動体判定を説明するための図である。

【図19】本発明の一実施形態による画像処理装置における画質を向上させるための画像処理のフローである。

【発明を実施するための形態】

【0019】

以下、本発明を具体化した実施形態を図面に基づいて説明する。

【0020】

図１～図１８を参照して、本発明の一実施形態による画像処理装置１００の構成について説明する。

【0021】

図１に示すように、画像処理装置１００は、撮影装置２００において連続的に撮影されることにより生成される複数の画像（フレーム）３０（図２参照）から構成される動画に対して画質を向上させるための画像処理を行う装置である。撮影装置２００は、たとえば、血管等のように動きのある部位を撮影する放射線撮影装置である。

【0022】

画像処理装置１００は、画像取得部１１と、注目ブロック領域設定部１２と、移動先ブロック領域取得部１３と、移動ベクトル取得部１４と、差分指標値取得部１５と、動体判定部１６と、画像補正部１７と、画像出力部１８と、を備えている。なお、画像補正部１７は、特許請求の範囲の「ノイズ低減処理部」の一例である。

【0023】

画像取得部１１は、撮影装置２００により生成された複数の画像（フレーム）３０（図２参照）を取得するように構成されている。すなわち、図２に示すように、画像取得部１１（図１参照）は、互いに異なる時刻に撮影された複数の画像（フレーム）３０を取得する。画像３０には、被検体等の構造物部分４１が写り込んでいる。そして、図３および図４に示すように、構造物部分４１は、各々の画像（フレーム）３０間で位置が変化する（移動する）場合がある。図３および図４では、Ｋフレーム目の画像３１と（Ｋ－１）フレーム目の画像３２との間において、四角形状の構造物部分４１の位置が変化している（移動している）（図５参照）とともに、三角形状の構造物部分４１の位置は変化していない（移動していない）例を示している。なお、Ｋフレーム目の画像３１および（Ｋ－１）フレーム目の画像３２は、それぞれ、特許請求の範囲の「第１画像」および「第２画像」の一例である。

【0024】

図６に示すように、注目ブロック領域設定部１２（図１参照）は、Ｋフレーム目の画像３１内の画素の中から注目ブロック領域５１を設定するように構成されている。注目ブロック領域５１は、注目画素５１ａと注目画素５１ａの周辺の周辺画素５１ｂとから構成される領域である。図６では、注目ブロック領域５１が、１つの注目画素５１ａおよび注目画素５１ａの周辺の２４個の周辺画素５１ｂの合計２５個の画素からなる５行５列の領域として構成された例を示している。

【0025】

図７に示すように、移動先ブロック領域取得部１３（図１参照）は、Ｋフレーム目の画像３１とは異なる時刻に撮影された（Ｋ－１）フレーム目の画像３２内において注目ブロック領域５１に最も類似した移動先ブロック領域５２を取得するように構成されている。具体的には、移動先ブロック領域取得部１３は、（Ｋ－１）フレーム目の画像３２内のブロック領域の位置を次々と変更しながら、注目ブロック領域５１と（Ｋ－１）フレーム目の画像３２内のブロック領域との間の残差平方和（画素値（画素の輝度）の残差平方和）の値を算出する。そして、移動先ブロック領域取得部１３は、（Ｋ－１）フレーム目の画像３２内の各々のブロック領域の中から、注目ブロック領域５１との残差平方和の値が最も小さいブロック領域を移動先ブロック領域５２として取得する。なお、移動先ブロック領域５２は、注目ブロック領域５１と等しい大きさ（画素数）の領域である。

【0026】

移動ベクトル取得部１４（図１参照）は、注目画素５１ａから移動先ブロック領域５２における注目画素５１ａに対応する移動先画素５２ａへの移動ベクトルＶを取得するように構成されている。具体的には、移動ベクトル取得部１４は、注目ブロック領域設定部１２（図１参照）により設定された注目ブロック領域５１内の注目画素５１ａと、移動先ブロック領域取得部１３（図１参照）により取得された移動先ブロック領域５２内の移動先画素５２ａとの間の移動量および移動方向を移動ベクトルＶとして取得する。なお、移動先画素５２ａは、移動先ブロック領域５２内において、注目ブロック領域５１内の注目画素５１ａの位置と対応する位置（移動先ブロック領域５２の中心の位置）の画素である。

【0027】

画像処理装置１００は、Ｋフレーム目の画像３１内の全ての画素の移動ベクトルＶを取得するように構成されている。具体的には、注目ブロック領域設定部１２（図１参照）による注目ブロック領域５１の設定と、移動先ブロック領域取得部１３による移動先ブロック領域５２の取得と、移動ベクトル取得部１４（図１参照）による移動ベクトルＶの取得とが、Ｋフレーム目の画像３１内の全ての画素に対して行われる。これにより、図８に示すように、Ｋフレーム目の画像３１内の全ての画素の移動ベクトルＶから構成される移動ベクトルマップＶＭが取得される。図８では、Ｘ行目Ｙ列目の移動ベクトルＶを、Ｖ（Ｘ、Ｙ）で示している。

【0028】

図９に示すように、差分指標値取得部１５（図１参照）は、同位置誤差Ｄ１およびマッチング誤差Ｄ２を取得するように構成されている。同位置誤差Ｄ１は、注目画素５１ａの画素値と、同位置画素５３ａの画素値との差分値に基づく値である。また、マッチング誤差Ｄ２は、注目画素５１ａの画素値と、移動先画素５２ａの画素値との差分値に基づく指標値である。具体的には、同位置誤差Ｄ１は、Ｋフレーム目の画像３１内の注目ブロック領域５１における残差平方和（画素値の残差平方和）の値と、（Ｋ－１）フレーム目の画像３２内の注目ブロック領域５１と同位置の同位置ブロック領域５３における残差平方和の値との差分値（誤差）である。また、マッチング誤差Ｄ２は、Ｋフレーム目の画像３１内の注目ブロック領域５１における残差平方和の値と、（Ｋ－１）フレーム目の画像３２内の移動先ブロック領域５２における残差平方和の値との差分値（誤差）である。なお、同位置誤差Ｄ１およびマッチング誤差Ｄ２は、それぞれ、特許請求の範囲の「第１差分指標値」および「第２差分指標値」の一例である。

【0029】

図１０に示すように、動体判定部１６（図１参照）は、注目画素５１ａが、構造物動体部分４１ａ（図５参照）であるか、構造物非動体部分４１ｂ（図５参照）または背景部分である非構造物部分４２（図５参照）であるかを閾値Ｔ２（図１０参照）に基づいて判定するように構成されている。詳細には、動体判定部１６は、同位置誤差Ｄ１とマッチング誤差Ｄ２との比率（Ｄ２／Ｄ１）が閾値Ｔ２以下の場合に注目画素５１ａが構造物動体部分４１ａであると判定するように構成されている。また、動体判定部１６は、同位置誤差Ｄ１とマッチング誤差Ｄ２との比率（Ｄ２／Ｄ１）が閾値Ｔ２よりも大きい場合に注目画素５１ａが構造物非動体部分４１ｂまたは非構造物部分４２であると判定するように構成されている。なお、閾値Ｔ２は、特許請求の範囲の「第２閾値」の一例である。

【0030】

具体的には、図５に示すように、構造物動体部分４１ａは、注目画素５１ａが、Ｋフレーム目の画像３１と（Ｋ－１）フレーム目の画像３２との間において構造物部分４１が移動した部分である。構造物非動体部分４１ｂは、Ｋフレーム目の画像３１と（Ｋ－１）フレーム目の画像３２との間において構造物部分４１が移動していない部分である。非構造物部分４２は、Ｋフレーム目の画像３１および（Ｋ－１）フレーム目の画像３２において、構造物部分４１ではない背景部分である。

【0031】

図１０に示すように、同位置誤差Ｄ１とマッチング誤差Ｄ２との比率（Ｄ２／Ｄ１）は、０から１までの範囲の値となる。そして、横軸を比率（Ｄ２／Ｄ１）、縦軸を度数（その比率（Ｄ２／Ｄ１）が出現した回数）で表したヒストグラムにおいて、注目画素５１ａが構造物動体部分４１ａ、構造物非動体部分４１ｂおよび非構造物部分４２のいずれの分布も、ある比率（Ｄ２／Ｄ１）にピークを有するように分布する。また、ヒストグラムでは、構造物動体部分４１ａのピークと、非構造物部分４２のピークと、構造物非動体部分４１ｂのピークとが、比率（Ｄ２／Ｄ１）の小さい方から大きい方に向かって、この順に並ぶように分布する。なお、図１０では、画像３０のコントラストが比較的大きい場合を示している。

【0032】

図１０のヒストグラムでは、構造物動体部分４１ａ、構造物非動体部分４１ｂおよび非構造物部分４２の分布の重複が比較的小さい。したがって、動体判定部１６（図１参照）は、閾値Ｔ２を、構造物動体部分４１ａのピークと構造物非動体部分４１ｂのピークとの間に設定することにより、構造物動体部分４１ａと、構造物非動体部分４１ｂまたは非構造物部分４２とを概ね分離することが可能である。これにより、動体判定部１６（図１参照）は、注目画素５１ａが、構造物動体部分４１ａであるか、構造物非動体部分４１ｂまたは非構造物部分４２であるかを閾値Ｔ２に基づいて判定する（動体判定を行う）ことが可能である。なお、図１０の例では、閾値Ｔ２を、同位置誤差Ｄ１とマッチング誤差Ｄ２との比率（Ｄ２／Ｄ１）が略０．３に設定するのが好ましい。

【0033】

図１１に示すように、画像補正部１７（図１参照）は、動体判定部１６により構造物動体部分４１ａであると判定された注目画素５１ａに対して、第１ノイズ低減処理を行うとともに、動体判定部１６により構造物非動体部分４１ｂまたは非構造物部分４２であると判定された注目画素５１ａに対して、第２ノイズ低減処理を行うように構成されている。第１ノイズ低減処理は、注目画素５１ａと移動先画素５２ａとに基づくノイズ低減処理である。第２ノイズ低減処理は、注目画素５１ａと同位置画素５３ａとに基づくノイズ低減処理である。

【0034】

具体的には、第１ノイズ低減処理は、Ｋフレーム目の画像３１内の注目画素５１ａの画素値と、（Ｋ－１）フレーム目の画像３２内の移動先画素５２ａの画素値との加算平均処理である。すなわち、第１ノイズ低減処理により、注目画素５１ａの画素値と移動先画素５２ａの画素値とが平均化されることにより、Ｋフレーム目の画像３１内の構造物動体部分４１ａである注目画素５１ａは、ノイズ（ランダムノイズ）が低減された注目画素５１ａｘとなる。また、第２ノイズ低減処理は、Ｋフレーム目の画像３１内の注目画素５１ａの画素値と、（Ｋ－１）フレーム目の画像３２内の同位置画素５３ａの画素値との加算平均処理である。すなわち、第２ノイズ低減処理により、注目画素５１ａの画素値と同位置画素５３ａの画素値とが平均化されることにより、Ｋフレーム目の画像３１内の構造物非動体部分４１ｂおよび非構造物部分４２である注目画素５１ａは、ノイズ（ランダムノイズ）が低減された注目画素５１ａｙとなる。これにより、Ｋフレーム目の画像３１は、ノイズ（ランダムノイズ）が低減された画像３１ｘとなる。なお、画素値と画素値との加算平均処理は、単純に加算平均してもよいし、いずれかの一方の画素値に重み付けをした重み付け平均をしてもよい。

【0035】

画像出力部１８（図１参照）は、画像補正部１７（図１参照）により補正された（ノイズが低減された）Ｋフレーム目の画像３１ｘを表示部（図示しない）に出力するように構成されている。

【0036】

以上の構成により、画像処理装置１００では、撮影装置２００において連続的に撮影されることにより生成される複数の画像３０が、画像補正部１７により順次補正される。そして、画像出力部１８によりノイズが低減された（画質が向上された）動画が出力される。

【0037】

ここで、画像取得部１１が撮影装置２００から取得した複数の画像（フレーム）３０（図２参照）のコントラストが比較的小さい場合がある。この場合、図１２に示すように、同位置誤差Ｄ１とマッチング誤差Ｄ２との比率（Ｄ２／Ｄ１）の分布を示したヒストグラムにおいて、画像（フレーム）３０のコントラストが比較的大きい場合（図１０の場合）と比較して、構造物部分４１が横軸方向に広がって分布する。したがって、構造物動体部分４１ａのピークが、非構造物部分４２のピークに比較的近付くことにより、構造物動体部分４１ａの分布と非構造物部分４２との分布の重複が比較的大きくなる。このため、画像（フレーム）３０のコントラストが比較的小さい場合、動体判定部１６（図１参照）は、構造物動体部分４１ａと非構造物部分４２とを分離するための閾値Ｔ２を適切に設定することが困難となる（動体判定部１６による動体判定を精度よく行うことが困難となる）。

【0038】

そこで、本実施形態では、図１に示すように、画像処理装置１００は、動体判定部１６による動体判定を精度よく行うために、構造物判定部１９と、閾値変更部２０と、を備えている。

【0039】

図１３～図１５に示すように、構造物判定部１９（図１参照）は、ベクトルブロック領域ＶＲ内の移動ベクトルＶに基づいて、ベクトルブロック領域ＶＲ内の注目移動ベクトルＶａに対応するＫフレーム目の画像３１内の注目画素５１ａが構造物部分４１であるか背景部分である非構造物部分４２であるかを判定するように構成されている。ベクトルブロック領域ＶＲは、移動ベクトル取得部１４により取得された複数の移動ベクトルＶから構成される領域である。また、ベクトルブロック領域ＶＲは、注目移動ベクトルＶａと注目移動ベクトルＶａの周辺の周辺移動ベクトルＶｂとから構成される領域である。図１３～図１５では、ベクトルブロック領域ＶＲが、１つの注目移動ベクトルＶａおよび注目移動ベクトルＶａの周辺の４８個の周辺移動ベクトルＶｂの合計４９個の移動ベクトルＶからなる７行７列の領域として構成された例を示している。

【0040】

詳細には、図１７に示すように、構造物判定部１９（図１参照）は、ベクトルブロック領域ＶＲ内の類似する移動ベクトルＶの割合Ｒａ（（ベクトルブロック領域ＶＲ内の類似する全ての移動ベクトルＶ）／（ベクトルブロック領域ＶＲ内の全ての移動ベクトルＶ））に基づいて、注目移動ベクトルＶａに対応するＫフレーム目の画像３１内の注目画素５１ａが構造物部分４１であるか非構造物部分４２であるかを判定するように構成されている。なお、「類似する移動ベクトルＶ」とは、移動ベクトルＶの大きさおよび方向が完全に一致しない場合も含む。また、移動ベクトルＶが類似するか否かの条件は、画像処理装置１００の使用者等によって設定することが可能である。

【0041】

具体的には、図５に示すように、Ｋフレーム目の画像３１と（Ｋ－１）フレーム目の画像３２との間において構造物部分４１が移動した場合、複数の画素からなる領域がある程度まとまって移動すると考えられる。したがって、注目移動ベクトルＶａに対応するＫフレーム目の画像３１内の注目画素５１ａが構造物部分４１である場合、ベクトルブロック領域ＶＲ内の移動ベクトルＶの方向および大きさは互いに類似する（関連性を有する）可能性が高い。

【0042】

すなわち、図１３に示すように、Ｋフレーム目の画像３１と（Ｋ－１）フレーム目の画像３２との間で構造物部分４１が移動した構造物動体部分４１ａにおいてベクトルブロック領域ＶＲ１を取得した場合、ベクトルブロック領域ＶＲ１内の移動ベクトルＶの方向および大きさは、互いに類似する。図１３では、４９個の移動ベクトルＶの内の３７個の移動ベクトルＶ（図１３の破線で囲まれた部分の移動ベクトルＶ）が互いに類似した例を示している。

【0043】

また、図１４に示すように、Ｋフレーム目の画像３１と（Ｋ－１）フレーム目の画像３２との間で構造物部分４１が移動していない構造物非動体部分４１ｂにおいてベクトルブロック領域ＶＲ２を取得した場合、ベクトルブロック領域ＶＲ２内の移動ベクトルＶの方向および大きさも、互いに類似する。なお、構造物非動体部分４１ｂにおける移動ベクトルＶの大きさは、構造物動体部分４１ａと比較して小さい（ゼロに近い）ので、図１４では、移動ベクトルＶの図示を省略している。

【0044】

一方、ノイズ（ランダムノイズ）は、Ｋフレーム目の画像３１と（Ｋ－１）フレーム目の画像３２とのいずれにおいても、ランダムな位置および大きさとして生じる。したがって、注目移動ベクトルＶａに対応するＫフレーム目の画像３１内の注目画素５１ａがノイズを含む背景部分（非構造物部分４２）である場合、ベクトルブロック領域ＶＲ内の移動ベクトルＶは互いにランダムな方向および大きさになる（関連性を有さない）可能性が大きい。

【0045】

すなわち、図１５に示すように、Ｋフレーム目の画像３１（（Ｋ－１）フレーム目の画像３２）の非構造物部分４２においてベクトルブロック領域ＶＲ３を取得した場合、ベクトルブロック領域ＶＲ３内の移動ベクトルＶの方向および大きさは、互いにランダムな方向および大きさとなる。

【0046】

図１６に示すように、構造物判定部１９（図１参照）は、割合Ｒａが閾値Ｔ１以上の場合に、注目画素５１ａが構造物部分４１であると判定するとともに、割合Ｒａが閾値Ｔ１よりも小さい場合に、注目画素５１ａが非構造物部分４２であると判定するように構成されている。図１７では、閾値Ｔ１の大きさを、割合Ｒａが略０．５に設定した例を示している。なお、閾値Ｔ１は、特許請求の範囲の「第１閾値」の一例である。

【0047】

図１７および図１８に示すように、本実施形態では、閾値変更部２０（図１参照）は、構造物判定部１９により構造物部分４１であると判定された注目画素５１ａに対して、閾値Ｔ２の大きさを変更した後に、動体判定部１６による判定を行うように構成されている。詳細には、閾値変更部２０は、構造物判定部１９により構造物部分４１であると判定された注目画素５１ａに対して、閾値Ｔ２を大きくするように閾値Ｔ２を変更するとともに、構造物判定部１９により非構造物部分４２であると判定された注目画素５１ａに対して、閾値Ｔ２を小さくするように閾値Ｔ２を変更した後に動体判定部１６による判定を行うように構成されている。

【0048】

具体的には、図１７に示すように、閾値変更部２０（図１参照）は、構造物判定部１９により注目画素５１ａが構造物部分４１であると判定された場合、画像３０のコントラストが比較的大きい場合の閾値Ｔ２である略０．３（図１０参照）から、閾値Ｔ２を略０．３よりも大きくなるように変更する。図１７では、閾値Ｔ２を略０．６３に変更した例を示している。そして、閾値Ｔ２を略０．３よりも大きくなるように変更した状態で、閾値Ｔ２に基づいて、動体判定部１６により、注目画素５１ａが構造物動体部分４１ａ（図５参照）であるか、構造物非動体部分４１ｂ（図５参照）または背景部分である非構造物部分４２（図５参照）であるかの判定が行われる。これにより、ヒストグラムの分布において、構造物動体部分４１ａと非構造物部分４２とが重複する部分が大きい場合に、構造物判定部１９により構造物部分４１であると判定された注目画素５１ａは、非構造物部分４２である可能性が低いので、動体判定部１６による判定において、構造物動体部分４１ａであると判定され易くすることが可能である。

【0049】

また、図１８に示すように、閾値変更部２０（図１参照）は、構造物判定部１９により注目画素５１ａが非構造物部分４２であると判定された場合、画像３０のコントラストが比較的大きい場合の閾値Ｔ２である略０．３（図１０参照）から、閾値Ｔ２を略０．３よりも小さくなるように変更する。図１８では、閾値Ｔ２を略０．２に変更した例を示している。そして、閾値Ｔ２を略０．３よりも小さくなるように変更した状態で、閾値Ｔ２に基づいて、動体判定部１６により、注目画素５１ａが構造物動体部分４１ａ（図５参照）であるか、構造物非動体部分４１ｂ（図５参照）または背景部分である非構造物部分４２（図５参照）であるかの判定が行われる。これにより、ヒストグラムの分布において、構造物動体部分４１ａと非構造物部分４２とが重複する部分が大きい場合に、構造物判定部１９により非構造物部分４２であると判定された注目画素５１ａは、構造物動体部分４１ａである可能性が低いので、動体判定部１６による判定において、非構造物部分４２であると判定され易くすることが可能である。なお、画像処理装置１００では、構造物判定部１９による判定により、注目画素５１ａが非構造物部分４２であると判定された場合でも、構造物判定部１９による判定に誤りが含まれる可能性を考慮して、動体判定部１６による判定を行うように構成されている。

【0050】

（画像処理のフロー）
次に、図１９を参照して、複数の画像（フレーム）３０から構成される動画に対して画質を向上させるための画像処理のフローを説明する。

【0051】

まず、ステップ１０１において、画像取得部１１は、Ｋフレーム目の画像３１と、Ｋフレーム目の画像３１とは異なる時刻に撮影された（Ｋ－１）フレーム目の画像３２と、を取得する。

【0052】

次に、ステップ１０２において、注目ブロック領域設定部１２は、Ｋフレーム目の画像３１内の画素の中から注目画素５１ａと注目画素５１ａの周辺の周辺画素５１ｂとから構成される注目ブロック領域５１を設定する。

【0053】

次に、ステップ１０３において、移動先ブロック領域取得部１３は、（Ｋ－１）フレーム目の画像３２内において注目ブロック領域５１に最も類似した移動先ブロック領域５２を取得する。

【0054】

次に、ステップ１０４において、移動ベクトル取得部１４は、注目画素５１ａから移動先ブロック領域５２における注目画素５１ａに対応する移動先画素５２ａへの移動ベクトルＶを取得する。

【0055】

次に、ステップ１０５において、差分指標値取得部１５は、注目画素５１ａの画素値と、同位置画素５３ａの画素値との差分値に基づく同位置誤差Ｄ１、および、注目画素５１ａの画素値と、移動先画素５２ａの画素値との差分値に基づくマッチング誤差Ｄ２を取得する。

【0056】

次に、ステップ１０６において、構造物判定部１９は、複数の移動ベクトルＶから構成されるベクトルブロック領域ＶＲ内の類似する移動ベクトルＶの割合Ｒａに基づいて、注目移動ベクトルＶａに対応するＫフレーム目の画像３１内の注目画素５１ａが構造物部分４１であるか非構造物部分４２であるかを判定する（構造物判定を行う）。

【0057】

次に、ステップ１０７において、閾値変更部２０は、構造物判定部１９により構造物部分４１であると判定された注目画素５１ａに対して、（ステップ１０８の動体判定部１６による判定に用いられる）閾値Ｔ２を大きくするように閾値Ｔ２を変更するとともに、構造物判定部１９により非構造物部分４２であると判定された注目画素５１ａに対して、閾値Ｔ２を小さくするように閾値Ｔ２を変更する。

【0058】

次に、ステップ１０８において、動体判定部１６は、注目画素５１ａが、構造物動体部分４１ａであるか、構造物非動体部分４１ｂまたは非構造物部分４２であるかを閾値Ｔ２と、（ステップ１０５において、差分指標値取得部１５が取得した）同位置誤差Ｄ１およびマッチング誤差Ｄ２と、に基づいて判定する（動体判定を行う）。

【0059】

次に、ステップ１０９において、画像補正部１７は、動体判定部１６により構造物動体部分４１ａであると判定された注目画素５１ａに対して、第１ノイズ低減処理を行うとともに、動体判定部１６により構造物非動体部分４１ｂまたは非構造物部分４２であると判定された注目画素５１ａに対して、第２ノイズ低減処理を行う。

【0060】

そして、ステップ１１０において、画像出力部１８は、画像補正部１７により補正された（ノイズが低減された）Ｋフレーム目の画像３１ｘを表示部に出力する。

【0061】

（実施形態の効果）
本実施形態では、以下のような効果を得ることができる。

【0062】

本実施形態では、上記のように、構造物判定部１９を、複数の移動ベクトルＶから構成されるベクトルブロック領域ＶＲ内の移動ベクトルＶに基づいて、ベクトルブロック領域ＶＲ内の注目移動ベクトルＶａに対応するＫフレーム目の画像３１内の注目画素５１ａが構造物部分４１であるか非構造物部分４２であるかを判定するように構成する。これにより、画像３０のコントラストが比較的小さい場合でも、注目移動ベクトルＶａに対応するＫフレーム目の画像３１内の注目画素５１ａが構造物部分４１であるか背景部分（非構造物部分４２）であるかを判定することができる。その結果、注目画素５１ａが動体部分（構造物動体部分４１ａ）であるか動体部分ではない部分（構造物非動体部分４１ｂまたは非構造物部分４２）であるかを判定する方法（動体判定部１６による判定）と、動体判定部１６による判定とは異なる観点から注目画素５１ａを判定する方法（注目画素が構造物部分４１であるか非構造物部分４２であるかを判定する方法）を組み合わせることにより、画像３０のコントラストが比較的小さい場合でも、注目画素５１ａが動体部分（構造物動体部分４１ａ）であるか動体部分ではない部分（構造物非動体部分４１ｂまたは非構造物部分４２）であるかを判定する精度を向上させることができる。

【0063】

また、本実施形態では、上記のように、構造物判定部１９を、ベクトルブロック領域ＶＲを構成する移動ベクトルＶの中の注目移動ベクトルＶａと注目移動ベクトルＶａの周辺の周辺移動ベクトルＶｂとの両方に基づいて、注目移動ベクトルＶａに対応するＫフレーム目の画像３１内の注目画素５１ａが、構造物部分４１であるか非構造物部分４２であるかを判定するように構成する。これにより、注目移動ベクトルＶａと周辺移動ベクトルＶｂとの両方に基づいて、ベクトルブロック領域ＶＲ内の移動ベクトルＶの関連性（移動ベクトルＶの方向および大きさが互いに類似するか否か）を確実に調べることができるので、注目画素５１ａが動体部分（構造物動体部分４１ａ）であるか動体部分ではない部分（構造物非動体部分４１ｂまたは非構造物部分４２）であるかを判定する精度を確実に向上させることができる。

【0064】

また、本実施形態では、上記のように、構造物判定部１９を、ベクトルブロック領域ＶＲ内の類似する移動ベクトルＶの割合Ｒａに基づいて、注目移動ベクトルＶａに対応するＫフレーム目の画像３１内の注目画素５１ａが構造物部分４１であるか非構造物部分４２であるかを判定するように構成する。これにより、ベクトルブロック領域ＶＲ内の類似する移動ベクトルＶの割合Ｒａに基づいて、ベクトルブロック領域ＶＲ内の移動ベクトルＶの関連性（移動ベクトルＶの方向および大きさが互いに類似するか否か）を容易に調べることができるので、注目画素５１ａが動体部分（構造物動体部分４１ａ）であるか動体部分ではない部分（構造物非動体部分４１ｂまたは非構造物部分４２）であるかを判定する精度を容易に向上させることができる。

【0065】

また、本実施形態では、上記のように、構造物判定部１９を、割合Ｒａが閾値Ｔ１以上の場合に、注目画素５１ａが構造物部分４１であると判定するとともに、割合Ｒａが閾値Ｔ１よりも小さい場合に、注目画素５１ａが非構造物部分４２であると判定するように構成する。これにより、閾値Ｔ１を用いることにより、ベクトルブロック領域ＶＲ内の類似する移動ベクトルＶの割合Ｒａを容易に調べることができるので、ベクトルブロック領域ＶＲ内の移動ベクトルの関連性（移動ベクトルＶの方向および大きさが互いに類似するか否か）をより容易に調べることができる。

【0066】

また、本実施形態では、上記のように、画像処理装置１００は、動体判定部１６と、画像補正部１７と、を備える。動体判定部１６は、注目画素５１ａが、Ｋフレーム目の画像３１と（Ｋ－１）フレーム目の画像３２との間において構造物部分４１が移動した構造物動体部分４１ａであるか、Ｋフレーム目の画像３１と（Ｋ－１）フレーム目の画像３２との間において構造物部分４１が移動していない構造物非動体部分４１ｂまたは背景部分である非構造物部分４２であるかを閾値Ｔ２に基づいて判定する。画像補正部１７は、動体判定部１６により構造物動体部分４１ａであると判定された注目画素５１ａに対して第１ノイズ低減処理を行うとともに、動体判定部１６により構造物非動体部分４１ｂまたは非構造物部分４２であると判定された注目画素５１ａに対して第２ノイズ低減処理を行う。第１ノイズ低減処理は、注目画素５１ａと、注目画素５１ａの移動先の（Ｋ－１）フレーム目の画像３２における画素である移動先画素５２ａとに基づくノイズ低減処理である。第２ノイズ低減処理は、注目画素５１ａと、注目画素５１ａと同位置の（Ｋ－１）フレーム目の画像３２における画素である同位置画素５３ａとに基づくノイズ低減処理である。そして、画像処理装置１００を、構造物判定部１９により構造物部分４１であると判定された注目画素５１ａに対して、閾値Ｔ２の大きさを変更した後に、動体判定部１６による判定を行うように構成する。これにより、動体判定部１６による判定において、注目画素５１ａが構造物動体部分４１ａであるか非構造物部分４２であるかを判定することが難しい場合でも、注目画素５１ａを構造物動体部分４１ａであると判定させるように閾値Ｔ２の大きさを変更することにより、注目画素５１ａが構造物動体部分４１ａであるか背景部分（非構造物部分４２）であるかを判定する精度を確実に向上させることができる。その結果、精度を向上させた動体判定部１６による判定に基づいて、画像補正部１７による注目画素５１ａに対するノイズ低減処理を適切に行うことができる。

【0067】

また、本実施形態では、上記のように、画像処理装置１００は、同位置誤差Ｄ１を取得するとともにマッチング誤差Ｄ２を取得する差分指標値取得部１５を備える。同位置誤差Ｄ１は、注目画素５１ａの画素値と、同位置画素５３ａの画素値との差分値に基づく差分指標値である。マッチング誤差Ｄ２は、注目画素５１ａの画素値と、移動先画素５２ａの画素値との差分値に基づく差分指標値である。そして、動体判定部１６を、同位置誤差Ｄ１とマッチング誤差Ｄ２との比率（Ｄ２／Ｄ１）が閾値Ｔ２以下の場合に注目画素５１ａが構造物動体部分４１ａであると判定するとともに、比率（Ｄ２／Ｄ１）が閾値Ｔ２よりも大きい場合に注目画素５１ａが構造物非動体部分４１ｂまたは非構造物部分４２であると判定するように構成する。また、画像処理装置１００を、構造物判定部１９により構造物部分４１であると判定された注目画素５１ａに対して閾値Ｔ２を大きくするように閾値Ｔ２を変更した後に、動体判定部１６による判定を行うように構成する。これにより、閾値Ｔ２を、構造物動体部分４１ａと非構造物部分４２とを分離する通常の比率（Ｄ２／Ｄ１）から、構造物動体部分４１ａと構造物非動体部分４１ｂとを分離する比率（Ｄ２／Ｄ１）に大きくするように変更することができる。その結果、構造物判定部１９により構造物部分４１であると判定された注目画素５１ａにおいて、構造物動体部分４１ａであるか非構造物部分４２であるかを判定する（分離する）ことが難しい場合でも、注目画素５１ａを構造物動体部分４１ａであると容易に判定させることができる。したがって、動体判定部１６による判定を行う前に、注目画素５１ａが構造物動体部分４１ａであるか背景部分（非構造物部分４２）であるかを判定する精度を容易かつ確実に向上させることができる。

【0068】

また、本実施形態では、上記のように、画像処理装置１００を、構造物判定部１９により構造物部分４１であると判定された注目画素５１ａに対して閾値Ｔ２を大きくするように閾値Ｔ２を変更するとともに、構造物判定部１９により非構造物部分４２であると判定された注目画素５１ａに対して閾値Ｔ２を小さくするように変更した後に、動体判定部１６による判定を行うように構成する。これにより、閾値Ｔ２を、構造物動体部分４１ａと非構造物部分４２とを分離する通常の比率（Ｄ２／Ｄ１）から、背景部分（非構造物部分４２）の分布を比較的多く含むように小さくするように変更するができる。その結果、構造物判定部１９により非構造物部分４２であると判定された注目画素５１ａにおいて、構造物動体部分４１ａであるか非構造物部分４２であるかを判定することが難しい場合に、注目画素５１ａを非構造物部分４２であると容易に判定させることができる。したがって、動体判定部１６による判定を行う前に、注目画素５１ａが構造物動体部分４１ａであるか背景部分（非構造物部分４２）であるかを判定する精度を容易かつより確実に向上させることができる。

【0069】

［変形例］
なお、今回開示された実施形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した実施形態の説明ではなく特許請求の範囲によって示され、さらに特許請求の範囲と均等の意味および範囲内でのすべての変更（変形例）が含まれる。

【0070】

たとえば、上記実施形態では、画像処理装置１００を、構造物判定部１９により構造物部分４１であると判定された注目画素５１ａに対して閾値Ｔ２を大きくするように閾値Ｔ２を変更するとともに、構造物判定部１９により非構造物部分４２であると判定された注目画素５１ａに対して閾値Ｔ２を小さくするように変更した例を示したが、本発明はこれに限られない。本発明では、画像処理装置を、構造物判定部１９により構造物部分４１であると判定された注目画素５１ａに対して閾値Ｔ２を大きくするように閾値Ｔ２を変更するとともに、構造物判定部１９により非構造物部分４２であると判定された注目画素５１ａに対して閾値Ｔ２を変更しないように構成してもよい。

【0071】

また、上記実施形態では、動体判定部１６により、注目画素５１ａが、構造物動体部分４１ａであるか、構造物非動体部分４１ｂまたは非構造物部分４２であるかを閾値Ｔ２に基づいて判定するように構成した例を示したが、本発明はこれに限られない。本発明では、注目画素５１ａが、構造物動体部分４１ａであるか、構造物非動体部分４１ｂまたは非構造物部分４２であるかを閾値Ｔ２以外に基づいて判定するように構成してもよい。たとえば、構造物判定部１９により、注目画素５１ａが構造物部分４１であるか非構造物部分４２であるかを移動ベクトルＶに基づいて判定することに加えて、移動ベクトルＶの大きさを考慮することにより、構造物部分４１を、構造物動体部分４１ａであるか構造物非動体部分４１ｂであるかを判定するように構成してもよい。

【0072】

また、上記実施形態では、動体判定部１６により構造物非動体部分４１ｂまたは非構造物部分４２であると判定された注目画素５１ａに対して第２ノイズ低減処理を行うように構成した例を示したが、本発明はこれに限られない。本発明では、第１ノイズ低減処理および第２ノイズ低減処理のいずれか一方のみを行うように構成してもよい。また、第１ノイズ低減処理および第２ノイズ低減処理を行わないように構成してもよい。この場合、動体判定部１６による判定を省略することができる。

【0073】

また、上記実施形態では、構造物判定部１９による判定に基づいて閾値Ｔ２を変更する例を示したが、本発明はこれに限られない。本発明では、構造物判定部１９による判定に基づいて閾値Ｔ２を変更せずに、他の画像処理を行うように構成してもよいし、閾値Ｔ２を変更するとともに、他の画像処理を行うように構成してもよい。たとえば、構造物判定部１９により構造物部分４１であると判定された注目画素５１ａに対して、Ｋフレーム目の画像３１における注目画素５１ａと周辺画素５１ｂとに基づいて構造物を強調する画像処理を行うように構成してもよい。構造物を強調する画像処理は、たとえば、エッジ強調処理である。また、構造物判定部１９により非構造物部分４２であると判定された注目画素５１ａに対して、Ｋフレーム目の画像３１における注目画素５１ａと周辺画素５１ｂとに基づいてノイズを低減する画像の平滑化処理を行うように構成してもよい。これにより、構造物判定部１９により構造物部分４１であると判定された注目画素５１ａおよび非構造物部分４２であると判定された注目画素５１ａに対して、画質を向上させるための適切な画像処理を容易に行うことができる。なお、画像の平滑化処理は、特許請求の範囲の「第３ノイズ低減処理」の一例である。

【0074】

また、上記実施形態では、画像処理装置１００が撮影装置２００とは別個に設けられた例を示したが、本発明はこれに限られない。本発明では、画像処理装置を撮影装置の処理ユニットに含めるように構成してもよい。

【0075】

また、上記実施形態では、説明の便宜上、画像処理装置１００の画像処理を処理フローに沿って順番に処理を行うフロー駆動型のフローを用いて説明したが、本発明はこれに限られない。本発明では、画像処理装置の画像処理を、イベント単位で処理を実行するイベント駆動型（イベントドリブン型）の処理により行ってもよい。この場合、完全なイベント駆動型で行ってもよいし、イベント駆動およびフロー駆動を組み合わせて行ってもよい。

【符号の説明】

【0076】

１２ 注目ブロック領域設定部
１３ 移動先ブロック領域取得部
１４ 移動ベクトル取得部
１５ 差分指標値取得部
１６ 動体判定部
１７ 画像補正部（ノイズ低減処理部）
１９ 構造物判定部
３０ 画像
３１ Ｋフレーム目の画像（第１画像）
３２ （Ｋ－１）フレーム目の画像（第２画像）
４１ 構造物部分
４１ａ 構造物動体部分
４１ｂ 構造物非動体部分
４２ 非構造物部分
５１ 注目ブロック領域
５１ａ 注目画素
５１ｂ 周辺画素
５２ 移動先ブロック領域
５２ａ 移動先画素
５３ａ 同位置画素
１００ 画像処理装置
Ｄ１ 同位置誤差（第１差分指標値）
Ｄ２ マッチング誤差（第２差分指標値）
（Ｄ２／Ｄ１） （第１差分指標値と第２差分指標値との）比率
Ｒａ （ベクトルブロック領域内の類似する移動ベクトルの）割合
ＶＲ（ＶＲ１、ＶＲ２、ＶＲ３） ベクトルブロック領域
Ｖ 移動ベクトル
Ｖａ 注目移動ベクトル
Ｖｂ 周辺移動ベクトル

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】