特開 2023-39912 画像処理回路及び画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023039912

(43)【公開日】2023-03-22

(54)【発明の名称】画像処理回路及び画像処理方法

(51)【国際特許分類】

   G06T 5/20 20060101AFI20230314BHJP

   G06T 7/00 20170101ALI20230314BHJP

   G06T 7/194 20170101ALI20230314BHJP

   G06V 10/82 20220101ALI20230314BHJP

【ＦＩ】

G06T5/20

G06T7/00 350C

G06T7/194

G06V10/82

【審査請求】有

【請求項の数】15

【出願形態】ＯＬ

(21)【出願番号】P 2022124635

(22)【出願日】2022-08-04

(31)【優先権主張番号】63/242,471

(32)【優先日】2021-09-09

(33)【優先権主張国・地域又は機関】US

(71)【出願人】

【識別番号】519187872

【氏名又は名称】星宸科技股▲ふん▼有限公司

【氏名又は名称原語表記】ＳｉｇｍａＳｔａｒ Ｔｅｃｈｎｏｌｏｇｙ Ｌｔｄ．

(74)【代理人】

【識別番号】100217434

【弁理士】

【氏名又は名称】万野 秀人

(72)【発明者】

【氏名】ヂィア－チェ・チャン

(72)【発明者】

【氏名】ユイ－シアン・リン

(72)【発明者】

【氏名】チア－ジェン・モー

(72)【発明者】

【氏名】リン－チャン・ツァイ

【テーマコード（参考）】

5B057

5L096

【Ｆターム（参考）】

5B057BA02

5B057CA01

5B057CA08

5B057CA12

5B057CA16

5B057CB01

5B057CB08

5B057CB12

5B057CB16

5B057CC01

5B057CD05

5B057CE04

5B057CE08

5B057DA08

5B057DB02

5B057DB06

5B057DB09

5B057DC22

5B057DC25

5B057DC36

5L096AA02

5L096AA06

5L096CA02

5L096DA01

5L096EA02

5L096EA03

5L096EA06

5L096FA02

5L096FA06

5L096FA69

5L096GA59

5L096HA11

5L096JA11

5L096MA03

(57)【要約】

【課題】前景の明瞭さを維持しながら背景を迅速かつ効果的にぼかすことができ、背景ぼかし画像の前景エッジもより滑らかに見えるようにすることができる画像処理回路を提供する。
【解決手段】画像処理回路１００は、入力画像データＤｉｎを処理して、ヒートマップＤＨを生成するような所定のオブジェクトを入力画像データＤｉｎが有するかどうかを判定するニューラルネットワークプロセッサ１２０と、入力画像データＤｉｎをぼかして、ぼかし画像データＤＢＢを生成する背景処理回路１３０と、ヒートマップＤＨに従って入力画像データＤｉｎとぼかし画像データＤＢＢとをブレンドして出力画像データＤｏｕｔを生成するブレンド回路１６０と、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

画像処理回路であって、
入力画像データを処理して、ヒートマップを生成するような所定のオブジェクトを前記入力画像データが有するかどうかを判定するように構成されるニューラルネットワークプロセッサと、
前記入力画像データをぼかして、ぼかし画像データを生成するように構成される背景処理回路と、
前記ヒートマップに従って前記入力画像データと前記ぼかし画像データとをブレンドして出力画像データを生成するように構成されるブレンド回路と、を備える、画像処理回路。

【請求項2】

前記背景処理回路は、前記入力画像データの全体をぼかして前記ぼかし画像データを生成する、請求項１に記載の画像処理回路。

【請求項3】

前記ニューラルネットワークプロセッサは、
前記入力画像データに対して特徴抽出及び識別を実行して前記所定のオブジェクトの位置を識別してオブジェクト特徴マップを生成し、前記オブジェクト特徴マップに対してエッジ識別を実行してエッジ特徴マップを生成するように構成される畳み込みニューラルネットワーク回路と、
前記オブジェクト特徴マップ及び前記エッジ特徴マップに従って前記ヒートマップを生成するように構成されるバックエンド処理回路と、を備える、請求項１に記載の画像処理回路。

【請求項4】

前記ニューラルネットワークプロセッサは、前記入力画像データに対してオブジェクト識別を実行してオブジェクト特徴マップを生成し、前記オブジェクト特徴マップに対してエッジ識別を実行してエッジ特徴マップを生成し、前記オブジェクト特徴マップ及び前記エッジ特徴マップに従って前記ヒートマップを生成する、請求項１に記載の画像処理回路。

【請求項5】

前記背景処理回路は、前記入力画像データ内の各画素に対してローパスフィルタリングを実行して前記ぼかし画像データを生成する、請求項１に記載の画像処理回路。

【請求項6】

前記背景処理回路は、前記入力画像データを少なくとも１回ダウンスケール及びアップスケールして、前記ぼかし画像データを生成する、請求項１に記載の画像処理回路。

【請求項7】

前記ブレンド回路は、前記入力画像データ及び前記ぼかし画像データに重み付け加算を実行して前記出力画像データを生成し、前記重み付け加算に使用する重みは前記ヒートマップに従って生成される、請求項１に記載の画像処理回路。

【請求項8】

前記ブレンド回路は、前記ヒートマップに従って、前記入力画像データ及び前記ぼかし画像データの対応する画素の画素値のうちの一方を、前記出力画像データの対応する画素の画素値として画素単位で選択して出力する、請求項１に記載の画像処理回路。

【請求項9】

ダウンスケールされた入力画像データを生成するために前記入力画像データをダウンスケールするように構成される第１のスケーリング回路をさらに備え、
前記ニューラルネットワークプロセッサは、前記ダウンスケールされた入力画像データを処理して、前記ヒートマップを生成するような前記所定のオブジェクトを前記ダウンスケールされた入力画像データが有するかどうかを判定し、前記背景処理回路は、前記ダウンスケールされた入力画像データをぼかして前記ぼかし画像データを生成する、
請求項１に記載の画像処理回路。

【請求項10】

前記ヒートマップをアップスケールして、スケーリングされたヒートマップを生成するように構成される第２のスケーリング回路と、
スケーリングされたぼかし画像データを生成するために前記ぼかし画像データをアップスケールするように構成される第３のスケーリング回路と、をさらに備え、
前記ブレンド回路は、前記スケーリングされたヒートマップに従って前記入力画像データと前記スケーリングされたぼかし画像データとをブレンドして前記出力画像データを生成する、
請求項９に記載の画像処理回路。

【請求項11】

画像処理装置に適用される画像処理方法であって、
ニューラルネットワークプロセッサによって入力画像データを処理して、ヒートマップを生成するような所定のオブジェクトを前記入力画像データが有するかどうかを判定するステップと、
前記入力画像データをぼかしてぼかし画像データを生成するステップと、
前記ヒートマップに従って前記入力画像データと前記ぼかし画像データとをブレンドして出力画像データを生成するステップと、を含む、画像処理方法。

【請求項12】

前記入力画像データをぼかすステップでは、前記入力画像データの全体をぼかして前記ぼかし画像データを生成する、請求項１１に記載の画像処理方法。

【請求項13】

前記ニューラルネットワークプロセッサは、前記入力画像データに対してオブジェクト識別を実行してオブジェクト特徴マップを生成し、前記オブジェクト特徴マップに対してエッジ識別を実行してエッジ特徴マップを生成し、前記オブジェクト特徴マップ及び前記エッジ特徴マップに従って前記ヒートマップを生成する、請求項１１に記載の画像処理方法。

【請求項14】

前記ヒートマップに従って前記入力画像データと前記ぼかし画像データとをブレンドするステップでは、前記入力画像データ及び前記ぼかし画像データに重み付け加算を実行して前記出力画像データを生成し、前記重み付け加算に使用する重みは前記ヒートマップに従って生成される、請求項１１に記載の画像処理方法。

【請求項15】

前記ヒートマップに従って前記入力画像データと前記ぼかし画像データとをブレンドするステップでは、前記ヒートマップに従って、前記入力画像データ及び前記ぼかし画像データのそれぞれの対応する画素の画素値のうちの一方を、前記出力画像データの対応する画素の画素値として画素単位で選択して出力する、請求項１１に記載の画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、画像データの背景を部分的にぼかす画像処理回路及び画像処理方法に関する。

【背景技術】

【0002】

現在の撮像機能を有する電子機器の中には、撮像画像の背景を部分的にぼかすための背景ぼかし機能を有するものがある。例えば、テレビ会議中に、電子機器は、カメラによって撮像された画像データを自発的に分析して、そのような背景のぼかしのために個人の位置を識別し、ユーザのプライバシーを保護することができる。しかしながら、背景のぼかしは、前景識別の問題に起因する前景エッジの表示上の欠陥をもたらし、その結果、映像品質が低下する可能性がある。

【発明の概要】

【発明が解決しようとする課題】

【0003】

そこで、本開示は、ニューラルネットワークプロセッサによってヒートマップを生成した後、ヒートマップに従って元の画像とぼかし画像とをブレンドして背景ぼかし画像を生成する画像処理方法を提供することを目的とする。

【課題を解決するための手段】

【0004】

本開示の一実施形態による画像処理回路は、ニューラルネットワークプロセッサと、背景処理回路と、ブレンド回路と、を含む。ニューラルネットワークプロセッサは、入力画像データを処理して、ヒートマップを生成するような所定のオブジェクトを入力画像データが有するかどうかを判定する。背景処理回路は、入力画像データをぼかして、ぼかし画像データを生成する。ブレンド回路は、ヒートマップに従って入力画像データとぼかし画像データとをブレンドして出力画像データを生成する。

【0005】

本開示の一実施形態による画像処理方法は、ニューラルネットワークプロセッサによって入力画像データを処理して、ヒートマップを生成するような所定のオブジェクトを入力画像データが有するかどうかを判定することと、入力画像データをぼかしてぼかし画像データを生成することと、ヒートマップに従って入力画像データとぼかし画像データとをブレンドして出力画像データを生成することと、を含む。

【0006】

本開示の前述の実施形態では、ニューラルネットワークプロセッサの正確な識別能力及び単純な構造を有する背景処理回路を使用して、前景の明瞭さを維持しながら背景を迅速かつ効果的にぼかすことができ、背景ぼかし画像の前景エッジもより滑らかに見えるようにすることができる。

【図面の簡単な説明】

【0007】

【図1】本開示の一実施形態による画像処理回路の概略図である。

【図2】本開示の一実施形態によるニューラルネットワークプロセッサの概略図である。

【図3】本開示の一実施形態による、ニューラルネットワークプロセッサにおける畳み込みニューラルネットワーク回路及びバックエンド処理回路の動作の概略図である。

【図4】本開示の一実施形態による背景処理回路の概略図である。

【図5】本開示の一実施形態による入力画像データ、スケーリングされたヒートマップ、スケーリングされたぼかし画像データ、及び出力画像データの概略図である。

【図6】本開示の一実施形態による画像処理方法のフローチャートである。

【発明を実施するための形態】

【0008】

図１は、本開示の一実施形態による画像処理回路１００の概略図を示す。図１に示すように、画像処理回路１００は、スケーリング回路１１０と、ニューラルネットワークプロセッサ１２０と、背景処理回路１３０と、スケーリング回路１４０、１５０と、ブレンド回路１６０とを含む。この実施形態では、画像処理回路１００は、カメラ、スマートフォン、タブレットコンピュータ、及びラップトップコンピュータなどの任意の撮像装置又は画像表示装置に適している。すなわち、画像処理回路１００は、表示パネルに表示することができる出力画像データＤｏｕｔを生成するために、画像センサから入力画像データＤｉｎを受信することができ、又は画像ソースによって生成された入力画像データＤｉｎを受信することができる。

【0009】

画像処理回路１００の動作において、スケーリング回路１１０は、入力画像データＤｉｎをダウンスケールして、ダウンスケールされた入力画像データＤｉｎ’を生成する。例えば、入力画像データＤｉｎが１９２０＊１０８０の解像度を有するフレームを含み、スケーリング回路１１０が入力画像データＤｉｎの解像度を低減することができると仮定すると、ダウンスケールされた入力画像データＤｉｎ’は、その後に処理されるデータ量が低減されるように、より低い解像度を有するフレームを含む。そして、ニューラルネットワークプロセッサ１２０は、ダウンスケールされた入力画像データＤｉｎ’に対して画像識別を行うことで、ダウンスケールされた入力画像データＤｉｎ’における各フレームが、ヒートマップを生成するような所定のオブジェクトを有するかどうかを判定する。本実施形態では、所定のオブジェクトは人であり、これに基づいて以下の説明を行う。

【0010】

一実施形態では、図２に示すように、ニューラルネットワークプロセッサ１２０は、フォーマット変換回路２１０、畳み込みニューラルネットワーク（ＣＮＮ）回路２２０、及びバックエンド処理回路２３０を含む。ニューラルネットワークプロセッサ１２０の動作において、フォーマット変換回路２１０は、ダウンスケールされた入力画像データＤｉｎ’に対して、ニューラルネットワークプロセッサ１２０の要求に応じたフォーマット変換を実行、例えば、元のＮＶ１２フォーマットをＲＧＢフォーマットに変換する。畳み込みニューラルネットワーク回路２２０は、ダウンスケールされた入力画像データＤｉｎ’に対して特徴抽出及び識別を実行して、ダウンスケールされた入力画像データＤｉｎ’内の１人以上の人物の位置及びエッジを識別し、それに応じて１つ又は複数の特徴マップを生成する。一実施形態では、畳み込みニューラルネットワーク回路２２０は、人物特徴マップ及びエッジ特徴マップを生成する。バックエンド処理回路２３０は、畳み込みニューラルネットワーク回路２２０によって生成された１つ又は複数の特徴マップを融合及び変換して、ダウンスケールされた入力画像データＤｉｎ’における１つ又は複数の人物が含まれる領域を示すヒートマップＤＨを生成する。例えば、ヒートマップＤＨとダウンスケールされた入力画像データＤｉｎ’とは、同じ解像度であってもよく、ダウンスケールされた入力画像データにおける１つ又は複数の人物を含む領域は、対応するヒートマップＤＨにおいてより高い値（例えば２５５）を有し、ダウンスケールされた入力画像データＤｉｎ’における残りの領域は、対応するヒートマップＤＨにおいてより低い値（例えば、０）を有する。

【0011】

一実施形態では、畳み込みニューラルネットワーク回路２２０及びバックエンド処理回路２３０の動作を示す図３を参照されたい。図３に示すように、ダウンスケールされた入力画像データＤｉｎ’は、対応する特徴値を生成するために、バックボーン３１０内の複数の部分残差ブロック３１２＿１～３１２＿Ｎに対応する異なる畳み込み層の演算を最初に受けることができ、次いで、膨張空間ピラミッドプーリング（ＡＳＰＰ）３２０は、バックボーン３１０から生成された特徴値を受信して、特徴マップの寸法を縮小し、特徴値を強化する。次に、意味推定モジュール３３０は、バックボーン３１０及びＡＳＰＰ３２０からの特徴値に対して複数の特徴融合３３２＿１～３３２＿Ｍを実行して、人物特徴マップを生成する。境界修正モジュール３４０は、人物特徴マップに対してエッジ識別を実行して、エッジ特徴マップを生成する。最後に、ヒートマップ推定モジュール３５０内の特徴値取得モジュール３５２が、人物特徴マップ及び／又はエッジ特徴マップに従って出力特徴マップを取得し、次いで、ヒートマップ生成モジュール３５４が、出力特徴マップに従ってヒートマップＤＨを生成する。一実施形態では、バックボーン３１０、ＡＳＰＰ３２０、意味推定モジュール３３０、及び境界修正モジュール３４０は、畳み込みニューラルネットワーク回路２２０によって実装されてもよく、又は畳み込みニューラルネットワーク回路２２０に含まれてもよく、ヒートマップ推定モジュール３５０は、バックエンド処理回路２３０によって実装されてもよく、又はバックエンド処理回路２３０に含まれてもよい。一実施形態では、バックエンド処理回路２３０はまた、畳み込みニューラルネットワーク回路によって実装されてもよく、又は畳み込みニューラルネットワーク回路２２０に統合されてもよい。

【0012】

動作の概略図を示す図３を参照すると、ニューラルネットワークプロセッサ１２０によってヒートマップＤＨを生成する処理は、最初にダウンスケールされた入力画像データＤｉｎ’に従って人物特徴マップを生成し、次に人物特徴マップに従ってエッジ特徴マップを生成し、最後に人物特徴マップ及びエッジ特徴マップに従ってヒートマップＤＨを生成するという３つの部分にさらに分割することができる。ヒートマップＤＨを生成する処理を３つの部分に分割することで、人物やエッジの識別精度を向上させることができ、ニューラルネットワークプロセッサ１２０の処理複雑度を低減させることができる。実際には、ニューラルネットワークプロセッサ１２０は、上記の３つの部分、すなわち、人物を学習及び識別し、人物特徴マップを生成するために、ニューラルネットワークプロセッサ１２０に基準人物特徴マップを提供する部分、エッジ特徴マップを生成するように、人物特徴マップからエッジを学習及び識別するために、ニューラルネットワークプロセッサ１２０に基準エッジ特徴マップを提供する部分、人物特徴マップ及びエッジ特徴マップを学習及び使用してヒートマップＤＨを生成するために、ニューラルネットワークプロセッサ１２０に基準ヒートマップを提供する部分、に関して訓練を実行することができる。

【0013】

背景処理回路１３０は、ダウンスケールされた入力画像データＤｉｎ’をぼかして、ぼかし画像データＤＢＢを生成する。一実施形態では、背景処理回路１３０は、ダウンスケールされた入力画像データＤｉｎ’内の各画素に対してローパスフィルタリングを実行することができる。すなわち、各画素及び複数の周囲画素に対して重み付け加算を実行して、画素のフィルタリングされた画素値を取得することができる。一実施形態では、上記のローパスフィルタリングは、ガウシアンフィルタ行列を介して実行されてもよい。別の実施形態では、図４に示すように、背景処理回路１３０は、２つのスケーリング回路４１０及び４２０を含むことができる。スケーリング回路４１０は、ダウンスケールされた入力画像データＤｉｎ’をダウンスケールしてもよく、スケーリング回路４２０は、アップスケーリングを実行してぼかし画像データＤＢＢを生成してもよい。一実施形態では、スケーリング回路４１０及び４２０は、ぼかし画像データＤＢＢを生成するために複数回動作することができる。すなわち、ぼかし画像データＤＢＢは、次の回のスケーリングのためにスケーリング回路４１０に再び入力されて、背景処理回路１３０の出力のためのぼかし画像データＤＢＢの次のセットを生成することができる。本実施形態では、背景処理回路１３０は、ダウンスケールされた入力画像データＤｉｎ’の一部の領域を選択的にぼかすのではなく、ダウンスケールされた入力画像データＤｉｎ’の全体を直接ぼかす。より具体的には、ダウンスケールされた入力画像データＤｉｎ’におけるフレームごとに、背景処理回路１３０は、フレーム全体を直接ぼかす。フレーム全体で同じ処理が実行されるため、背景処理回路１３０は単純な構造で実装されてもよく、従って複雑な回路構造及び／又は設計を必要とせずに画像ぼかし機能を達成する。

【0014】

次に、スケーリング回路１４０は、ヒートマップＤＨをアップスケールしてスケーリングされたヒートマップＤＨ’を生成する。ここでヒートマップＤＨ’の解像度はヒートマップＤＨの解像度よりも大きい。一実施形態では、スケーリングされたヒートマップＤＨ’の解像度は、入力画像データＤｉｎの解像度に等しく、例えば、スケーリングされたヒートマップＤＨ’の解像度及び入力画像データＤｉｎの解像度は、いずれも１９２０＊１０８０である。同様に、スケーリング回路１５０は、ぼかし画像データＤＢＢをアップスケールして、スケーリングされたぼかし画像データＤＢＢ’を生成する。一実施形態では、スケーリングされたぼかし画像データＤＢＢ’の解像度は、入力画像データＤｉｎの解像度に等しく、例えば、スケーリングされたぼかし画像データＤＢＢ’の解像度及び入力画像データＤｉｎの解像度は、いずれも１９２０＊１０８０である。

【0015】

ブレンド回路１６０の動作において、ブレンド回路１６０は、入力画像データＤｉｎとスケーリングされたぼかし画像データＤＢＢ’とを、スケーリングされたヒートマップＤＨ’に従って、例えば重み付け加算を実行してブレンドして出力画像データＤｏｕｔを生成し、スケーリングされたヒートマップＤＨ’は、ブレンドのための重み基底として機能する。例えば、入力画像データＤｉｎ、スケーリングされたヒートマップＤＨ’、及びスケーリングされたぼかし画像データＤＢＢ’は同じ解像度を有するので、同じ位置の画素については、出力画像データＤｏｕｔの画素の画素値Ｐｏｕｔは以下のように計算することができる。

【0016】

Ｐｏｕｔ＝Ｐｉｎ＊（ＰＨ／２５５）＋ＰＢＢ＊（（２５５－ＰＨ）／２５５）．．．．．．（１）

【0017】

ここで、Ｐｉｎは入力画像データＤｉｎの画素値であり、ＰＨはスケーリングされたヒートマップＤＨ’の画素値であり、ＰＢＢはスケーリングされたぼかし画像データＤＢＢ’の画素値である。一例では、現在処理中の画素が人物の領域内にあるとすると、ＰＨは非常に高い値、例えば、ＰＨは「２５５」であるので、上記の式（１）に従って計算される出力画像データＤｏｕｔの画素値Ｐｏｕｔは、入力画像データＤｉｎの画素値Ｐｉｎとなる。別の例では、現在処理中の画素が人物の領域外（例えば、背景の領域）にあると仮定すると、ＰＨは非常に低い値、例えば、ＰＨは「０」であるので、上記の式（１）に従って計算される出力画像データＤｏｕｔの画素値Ｐｏｕｔは、ぼかし画像データＤＢＢ’の画素値ＰＢＢとなる。

【0018】

一実施形態では、入力画像データＤｉｎ及びスケーリングされたぼかし画像データＤＢＢ’に対してブレンド回路１６０によって実行されるブレンドは、スケーリングされたヒートマップＤＨ’に従って、入力画像データＤｉｎ及びスケーリングされたぼかし画像データＤＢＢ’のそれぞれの対応する画素の画素値のうちの一方を、出力画像データＤｏｕｔの対応する画素の画素値として画素単位で選択して出力する。例えば、スケーリングされたヒートマップＤＨ’の画素値は、２５５又は０であってもよい。画素の画素値が「２５５」であることは、その画素が人物の領域内に位置することを意味し、画素の画素値が「０」であることは、画素が人物の領域内に位置していないことを意味する。本実施形態では、スケーリングされたヒートマップＤＨにおいて現在処理中の画素の画素値が「２５５」である場合、ブレンド回路１６０は、入力画像データＤｉｎの対応する画素の画素値を、出力画像データＤｏｕｔの対応する画素の画素値として選択して出力し、スケーリングされたヒートマップＤＨ’において現在処理中の画素の画素値が「０」である場合、ブレンド回路１６０は、スケーリングされたぼかし画像データＤＢＢ’の対応する画素の画素値を、出力画像データＤｏｕｔの対応する画素の画素値として選択して出力する。

【0019】

図５は、入力画像データＤｉｎ、スケーリングされたヒートマップＤＨ’、スケーリングされたぼかし画像データＤＢＢ’及び出力画像データＤｏｕｔの概略図を示す。図５に示すように、画像処理回路１００の処理により、前景（人物）の明瞭さを維持しつつ、背景を迅速かつ効果的にぼかすことができる。

【0020】

図１から図５の実施形態では、入力画像データＤｉｎは、最初にスケーリング回路１１０によって処理されてダウンスケールされた入力撮像データＤｉｎ’が生成され、その後、後続処理のためにニューラルネットワークプロセッサ１２０及び背景処理回路１３０に入って回路全体の計算量が減ることに留意されたい。しかしながら、この特徴は、本開示の限定であると解釈されるものではない。他の実施形態では、ニューラルネットワークプロセッサ１２０及び背景処理回路１３０は、入力画像データＤｉｎを直接処理してもよい。このとき、スケーリング回路１１０、１４０及び１５０を画像処理回路１００から排除してもよく、次にブレンド回路１６０は、ヒートマップＤＨに従って入力画像データＤｉｎとぼかし画像データＤＢＢとを直接ブレンドして出力画像データＤｏｕｔを生成してもよい。一実施形態では、十分に速い回路処理速度が提供され、スケーリング回路１４０及びスケーリング回路１５０が、同じ回路によって実装されてもよい。

【0021】

図６は、本開示の一実施形態による画像処理方法のフローチャートを示す。本開示の画像処理方法は、画像処理装置に適用可能である。上記の実施形態の詳細を参照すると、画像処理方法のプロセスは以下の通りである。

【0022】

ステップ６００において、プロセスが開始する。

【0023】

ステップ６０２において、ニューラルネットワークプロセッサによって入力画像データが処理されて、ヒートマップを生成するような所定のオブジェクトを入力画像データが有するかどうかを判定する。

【0024】

ステップ６０４において、入力画像データがぼかされて、ぼかし画像データが生成される。

【0025】

ステップ６０６において、ヒートマップに従って入力画像データとぼかし画像データとがブレンドされて出力画像データが生成される。

【0026】

本開示を要約すると、本開示の画像処理回路及び画像処理方法では、元の画像がニューラルネットワークプロセッサによって分析されてヒートマップが生成され、元の画像がぼかされてぼかし画像が生成され、元の画像とぼかし画像とがヒートマップに従ってブレンドされて背景ぼかし画像が出力画像データとして生成される。本開示では、ニューラルネットワークプロセッサの正確な識別能力及び単純な構造を有する背景処理回路を使用して、追加のセンサ（例えば、距離センサ）を必要とせずに、又は複雑な回路によって画像フレームを選択的にぼかすことなく、前景の明瞭さを維持しながら背景を迅速かつ効果的にぼかすことができ、背景ぼかし画像の前景エッジもより滑らかに見えるようにすることができる。

【0027】

以上の説明は、本開示の好ましい実施形態を提供するにすぎず、本発明の特許請求の範囲に基づいてなされるすべての変形及び修正は、本開示の範囲内に包含されるべきである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】