特開 2024-130629 画像処理装置および画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024130629

(43)【公開日】2024-09-30

(54)【発明の名称】画像処理装置および画像処理方法

(51)【国際特許分類】

   H04N 5/14 20060101AFI20240920BHJP

【ＦＩ】

H04N5/14

【審査請求】有

【請求項の数】4

【出願形態】ＯＬ

(21)【出願番号】P 2023040463

(22)【出願日】2023-03-15

(71)【出願人】

【識別番号】000214984

【氏名又は名称】ＴＶＳ ＲＥＧＺＡ株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】徳永 将之

(72)【発明者】

【氏名】石丸 大

(57)【要約】

【課題】フィルムグレインを含む映像に対して、フィルムグレインの特徴を劣化させずに元の味を生かした画像を出力することができる画像処理装置および画像処理方法を提供する。
【解決手段】画像処理装置は、入力された画像に対して画像の補正を行う画像処理装置であって、ノイズ量検出部と、フィルムグレイン検出部と、制御部と、画像補正部と、を備える。ノイズ量検出部は、画像のノイズ量を求める。フィルムグレイン検出部は、画像にフィルムグレインが含まれるかを判定する。制御部は、ノイズ量検出部とフィルムグレイン検出部の判定結果に基づいて、画像に対する画像処理の補正量を決定する。画像補正部は、制御部で決定した補正量に基づいて、画像処理を行う。
【選択図】図２

【特許請求の範囲】

【請求項1】

入力された画像に対して画像の補正を行う画像処理装置であって、
前記画像のノイズ量を求めるノイズ量検出部と、
前記画像にフィルムグレインが含まれるかを判定するフィルムグレイン検出部と、
前記ノイズ量検出部と前記フィルムグレイン検出部の判定結果に基づいて、前記画像に対する画像処理の補正量を決定する制御部と、
前記制御部で決定した補正量に基づいて、画像処理を行う画像補正部と、
を備えることを特徴とする画像処理装置。

【請求項2】

前記フィルムグレイン検出部は、フィルムグレイン粒子の大きさと量を検出し、
前記制御部は、前記フィルムグレイン粒子の大きさと量の度合いに応じて前記画像処理の補正量を変化させる、
ことを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記画像補正部は、
前記画像のノイズを除去するノイズ除去部と、
前記画像の輪郭またはテクスチャを強調する鮮鋭化部と、
を備え、
前記制御部の決定した補正量に応じて除去する前記ノイズの量または前記強調の度合いを変更する、
ことを特徴とする請求項１または請求項２に記載の画像処理装置。

【請求項4】

入力された画像に対して画像の補正を行う画像処理装置における画像処理方法であって、
前記画像のノイズ量を求めるノイズ量検出ステップと、
前記画像にフィルムグレインが含まれるかを判定するフィルムグレイン検出ステップと、
前記ノイズ量検出ステップと前記フィルムグレイン検出ステップの判定結果に基づいて、前記画像に対する画像処理の補正量を決定する制御ステップと、
前記制御ステップで決定した補正量に基づいて、画像処理を行う画像補正ステップと、
を含むことを特徴とする画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、画像処理装置および画像処理方法に関する。

【背景技術】

【0002】

従来、映像入力に含まれるノイズをノイズリダクション処理によって除去し、ノイズのない映像を見ることができるようにした技術が知られている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００８－３５４３９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、フィルムコンテンツなどでは、製作者が意図的にノイズの一種であるフィルムグレイン（古い映画フィルムの質感）を映像の味としている場合があり、そのような映像ではあまり強くノイズリダクションをかけないことが求められる。

【0005】

本発明が解決しようとする課題は、フィルムグレインを含む映像に対して、フィルムグレインの特徴を劣化させずに元の味を生かした画像を出力することができる画像処理装置および画像処理方法を提供することである。

【課題を解決するための手段】

【0006】

実施形態の画像処理装置は、入力された画像に対して画像の補正を行う画像処理装置であって、ノイズ量検出部と、フィルムグレイン検出部と、制御部と、画像補正部と、を備える。ノイズ量検出部は、画像のノイズ量を求める。フィルムグレイン検出部は、画像にフィルムグレインが含まれるかを判定する。制御部は、ノイズ量検出部とフィルムグレイン検出部の判定結果に基づいて、画像に対する画像処理の補正量を決定する。画像補正部は、制御部で決定した補正量に基づいて、画像処理を行う。

【図面の簡単な説明】

【0007】

【図1】図１は、実施形態にかかるテレビジョン装置のハードウェア構成の一例を示す図である。

【図2】図２は、画像処理回路の回路構成の一例を示すブロック図である。

【図3】図３は、フィルムグレイン検出部におけるフィルムグレインの有無、強弱の判定を示す図である。

【図4】図４は、フィルムグレインの強さの判定例を示す図である。

【図5】図５は、フィルムグレインの有無、強弱の判定の処理の流れを示すフローチャートである。

【図6】図６は、ノイズリダクション処理部における処理を示す図である。

【図7】図７は、鮮鋭化処理部における処理を示す図である。

【図8】図８は、オフセット値とフィルムグレインの強さとの関係を示す図である。

【発明を実施するための形態】

【0008】

図１は、実施形態にかかるテレビジョン装置１０のハードウェア構成の一例を示す図である。テレビジョン装置１０は、放送等により入力された画像に対して画像処理を実行する画像処理装置である。そして、テレビジョン装置１０は、画像処理を実行した画像を表示する。

【0009】

図１に示すように、テレビジョン装置１０は、アンテナ１０１、入力端子１０２ａ～１０２ｃ、チューナ１０３、デモジュレータ１０４、デマルチプレクサ１０５、Ａ／Ｄ（アナログ／デジタル）変換器１０６、セレクタ１０７、信号処理部１０８、スピーカ１０９、表示パネル１１０、操作部１１１、受光部１１２、ＩＰ通信部１１３、ＣＰＵ（Central Processing Unit）１１４、メモリ１１５、ストレージ１１６、マイクロフォン１１７、及びオーディオＩ／Ｆ（インターフェース）１１８を備える。

【0010】

アンテナ１０１は、デジタル放送の放送信号を受信し、受信した放送信号を、入力端子１０２ａを介してチューナ１０３に供給する。

【0011】

チューナ１０３は、アンテナ１０１から供給された放送信号から所望のチャンネルの放送信号を選局し、選局した放送信号をデモジュレータ１０４に供給する。

【0012】

デモジュレータ１０４は、チューナ１０３から供給された放送信号を復調し、復調した放送信号をデマルチプレクサ１０５に供給する。

【0013】

デマルチプレクサ１０５は、デモジュレータ１０４から供給された放送信号を分離して映像信号および音声信号を生成し、生成した映像信号および音声信号をセレクタ１０７に供給する。

【0014】

セレクタ１０７は、デマルチプレクサ１０５、Ａ／Ｄ変換器１０６、及び入力端子１０２ｃから供給される複数の信号から１つを選択し、選択した１つの信号を信号処理部１０８に供給する。

【0015】

信号処理部１０８は、セレクタ１０７から供給された映像信号に所定の信号処理を施し、処理後の映像信号を表示パネル１１０に供給する。また、信号処理部１０８は、セレクタ１０７から供給された音声信号に所定の信号処理を施し、処理後の音声信号をスピーカ１０９に供給する。信号処理部１０８は、図２に示す画像処理回路１０００を有する。

【0016】

スピーカ１０９は、信号処理部１０８から供給された音声信号に基づいて音声、または各種の音を出力する。また、スピーカ１０９は、ＣＰＵ１１４による制御に基づいて、出力する音声または各種の音の音量を変更する。

【0017】

表示部としての表示パネル１１０は、信号処理部１０８から供給された映像信号またはＣＰＵ１１４による制御に基づいて、静止画および動画などの映像、その他の画像、並びに文字情報等を表示する。

【0018】

入力端子１０２ｂは、外部から入力される映像信号および音声信号等のアナログ信号を受け付ける。また、入力端子１０２ｃは、外部から入力される映像信号および音声信号等のデジタル信号を受け付ける。例えば、入力端子１０２ｃは、ＢＤ（Ｂｌｕ－ｒａｙ（登録商標） Ｄｉｓｃ）などの録画再生用の記録媒体を駆動して録画および再生するドライブ装置を搭載したレコーダ等から、デジタル信号の入力が可能である。

【0019】

Ａ／Ｄ変換器１０６は、入力端子１０２ｂから供給されたアナログ信号にＡ／Ｄ変換を施すことにより生成したデジタル信号をセレクタ１０７に供給する。

【0020】

操作部１１１は、ユーザの操作入力を受け付ける。

【0021】

受光部１１２は、リモートコントローラ１１９からの赤外線を受光する。

【0022】

ＩＰ通信部１１３は、ネットワーク４０を介したＩＰ（インターネットプロトコル）通信を行うための通信インターフェースである。

【0023】

ＣＰＵ１１４は、テレビジョン装置１０全体を制御する。

【0024】

メモリ１１５は、ＣＰＵ１１４が実行する各種コンピュータプログラムを格納するＲＯＭ、及びＣＰＵ１１４に作業エリアを提供するＲＡＭ等である。

【0025】

ストレージ１１６は、ＨＤＤ（Hard Disk Drive）またはＳＳＤ（Solid State Drive）等である。ストレージ１１６は、例えば、セレクタ１０７により選択された信号を録画データとして記録する。

【0026】

音声入力部としてのマイクロフォン１１７は、ユーザが発話した音声を取得して、オーディオＩ／Ｆ１１８に送出する。

【0027】

オーディオＩ／Ｆ１１８は、マイクロフォン１１７が取得した音声をアナログ／デジタル変換して、音声信号としてＣＰＵ１１４に送出する。

【0028】

次に、信号処理部１０８が有する画像処理回路１０００について説明する。

【0029】

図２は、画像処理回路１０００の回路構成の一例を示すブロック図である。図２に示すように、画像処理回路１０００は、ノイズ量検出部１００１と、フィルムグレイン検出部１００２と、制御部１００３と、画像補正部として機能する高画質処理部１００４と、備える。

【0030】

ノイズ量検出部１００１は、画像処理回路１０００に入力された入力画像について、ノイズの度合いを求める。

【0031】

フィルムグレイン検出部１００２は、画像処理回路１０００に入力された入力画像について、ノイズの一種であるフィルムグレインの有無、強弱を判定する。

【0032】

高画質処理部１００４は、画像処理回路１０００に入力された入力画像について、高画質化処理を実行する。高画質処理部１００４は、ノイズ除去部として機能するノイズリダクション処理部１００５と、鮮鋭化部として機能する鮮鋭化処理部１００６と、を備える。

【0033】

制御部１００３は、ノイズ量検出部１００１において検出されたノイズが多い場合、高画質処理部１００４のノイズリダクション処理部１００５に対して、ノイズリダクションを強める。

【0034】

ここで、フィルムグレイン検出部１００２におけるフィルムグレインの有無、強弱の判定について説明する。

【0035】

図３は、フィルムグレイン検出部１００２におけるフィルムグレインの有無、強弱の判定を示す図である。図３に示すように、フィルムグレイン検出部１００２は、画像処理回路１０００に入力された入力画像を解析し、フィルムグレインがどの程度含まれるかを求める。フィルムグレイン検出部１００２は、機械学習により、あらかじめフィルムグレインを含む映像、フィルムグレインを含まない映像を分類する。より具体的には、フィルムグレイン検出部１００２は、ＣＮＮ（convolutional neural network，畳み込みニューラルネットワーク）によって画像からのフィルムグレイン抽出等の特徴抽出を行った後、全結合して活性化関数とする。

【0036】

フィルムグレイン検出部１００２は、フィルムグレインの有無、強弱の判定結果に基づいて検出した図３に示したような出力値に従い、フィルムグレインの強さＦ（ｘ，ｙ，ｚ）を例えば下記式として出力する。
Ｆ（ｘ，ｙ，ｚ）＝αｘ＋βｙ＋γｚ

【0037】

なお、フィルムグレインの測定方法は、下記の何れかを組み合わせるようにしてもよい。
・ＳＮ比
・フィルムグレイン粒子の大きさ（平均、最大）
・周辺画素との差分
・フレーム間の差分
・入力映像のフレームレート

【0038】

本実施形態においては、フィルムグレイン検出部１００２は、フィルムグレインの強さを、フィルムグレイン粒子のサイズ、フィルムグレイン粒子の量により決定する。図４は、フィルムグレインの強さの判定例を示す図である。フィルムグレイン検出部１００２は、図４（ａ）（ｂ）に示すように、単位面積当たりのフィルムグレインが占める割合が大きい場合（単位面積当たりのフィルムグレイン量が多い場合、単位面積当たりのフィルムグレイン量がそれほど多くなくても粒子サイズが大きい場合など）には、フィルムグレインの強さが強いと判定する。一方、フィルムグレイン検出部１００２は、図４（ｃ）に示すように、単位面積当たりのフィルムグレインが占める割合が小さい場合（単位面積当たりのフィルムグレイン量が少ない場合、単位面積当たりのフィルムグレイン量がそれほど多くなく粒子サイズが小さい場合など）には、フィルムグレインの強さが弱いと判定する。

【0039】

図５は、フィルムグレイン検出部１００２におけるフィルムグレインの有無、強弱の判定の処理の流れを示すフローチャートである。図５に示すように、フィルムグレイン検出部１００２は、フィルムグレインの有無を判定する（ステップＳ１）。

【0040】

フィルムグレインが有ると判定した場合（ステップＳ１のＹｅｓ）、フィルムグレイン検出部１００２は、フィルムグレインのノイズ量を測定し（ステップＳ２）、フィルムグレインの強弱を判定する（ステップＳ３）。

【0041】

フィルムグレインが無いと判定した場合（ステップＳ１のＮｏ）、フィルムグレイン検出部１００２は、フィルムグレインが無いとする（ステップＳ４）。

【0042】

次に、フィルムグレイン検出時のノイズリダクション処理部１００５における処理について説明する。

【0043】

ここで、図６はノイズリダクション処理部１００５における処理を示す図である。上述したように、一般的には、制御部１００３は、ノイズ量検出部１００１において検出されたノイズが多い場合、ノイズリダクション処理部１００５に対して、ノイズリダクションを強める制御を実行する。しかしながら、制御部１００３は、フィルムグレイン検出時には、図６に示すように、オフセット値を設定して、ノイズリダクション処理部１００５に対してノイズリダクション補正量を少なくする制御を行う。このようにするのは、フィルムグレインの味を残した映像を出力するためである。

【0044】

次に、フィルムグレイン検出時の鮮鋭化処理部１００６における処理について説明する。

【0045】

ここで、図７は鮮鋭化処理部１００６における処理を示す図である。制御部１００３は、フィルムグレイン検出部１００２においてフィルムグレインが検出された場合には、オフセット値を設定して、鮮鋭化処理部１００６における処理の度合いを変化させる。また、制御部１００３は、フィルムグレイン検出部１００２において検出されたフィルムグレインの強さに応じて鮮鋭化処理部１００６における処理の変化量（オフセット値）を決める。すなわち、図７に示すように、制御部１００３は、フィルムグレイン検出時には、鮮鋭化処理部１００６に対して、鮮鋭化補正量を少なくするように制御する。このようにするのは、ノイズリダクション処理を弱めた分、残ったノイズを強調しないようにするためである。

【0046】

ここで、図８はオフセット値とフィルムグレインの強さとの関係を示す図である。図８に示すように、制御部１００３は、フィルムグレインの強さが強いほどオフセット値を大きくし、ノイズリダクション補正量および鮮鋭化補正量を少なくするように制御する。

【0047】

このように、本実施形態の画像処理装置および画像処理方法によれば、フィルムグレインの有無、強弱の判定結果に基づいて決定した画像に対する画像処理の補正量に基づいて、画像処理を行うことにより、フィルムグレインを含む映像に対して、フィルムグレインの特徴を劣化させずに元の味を生かした画像を出力することができる。また、フィルムグレインを含まない映像については、十分にノイズを除去し、細部を鮮鋭化した画像を出力することができる。

【0048】

本発明の実施形態を説明したが、この実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0049】

１０ 画像処理装置
１００１ ノイズ量検出部
１００２ フィルムグレイン検出部
１００３ 制御部
１００４ 画像補正部
１００５ ノイズ除去部
１００６ 鮮鋭化部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】