(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2022-05-19
(45)【発行日】2022-05-27
(54)【発明の名称】リアルタイム映像における画像の物体輪郭を強調する方法
(51)【国際特許分類】
G06T 5/00 20060101AFI20220520BHJP
G06T 5/20 20060101ALI20220520BHJP
【FI】
G06T5/00 710
G06T5/20
(21)【出願番号】P 2021565940
(86)(22)【出願日】2020-04-29
(86)【国際出願番号】 CN2020087871
(87)【国際公開番号】W WO2020224508
(87)【国際公開日】2020-11-12
【審査請求日】2021-12-03
(31)【優先権主張番号】201910368593.X
(32)【優先日】2019-05-05
(33)【優先権主張国・地域又は機関】CN
【早期審査対象出願】
(73)【特許権者】
【識別番号】519272972
【氏名又は名称】湖南省華芯医療器械有限公司
(74)【代理人】
【識別番号】110000291
【氏名又は名称】特許業務法人コスモス国際特許商標事務所
(72)【発明者】
【氏名】莫 文軍
(72)【発明者】
【氏名】苟 春梅
【審査官】岡本 俊威
(56)【参考文献】
【文献】特開2012-190148(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 5/00- 5/20
(57)【特許請求の範囲】
【請求項1】
リアルタイム映像における画像の物体輪郭を強調する方法であって、
撮影された映像を取得し、映像における次のフレームの画像に対してブロック化処理を行い、複数の画像ブロックを得るステップS1と、
勾配アルゴリズムに基づいて、各画像ブロックにおける各画素に対して輪郭強調を行うステップS2と、
ガウスフィルタリング方法に基づいて、輪郭を強調した後の複数の画像ブロックを全体としてノイズのフィルタリングを行い、ノイズをフィルタリングした後の画像を得るステップS3と、
gamma変換に基づいて、ノイズをフィルタリングした後の画像全体に対して明暗コントラスト処理を行い、最終的な強調後の画像を得るステップS4と、を含
み、
前記ステップS2は、具体的には、 改善された勾配計算式に基づいて各画像ブロックの各画素の輝度成分に対して勾配計算を行い、各画素の勾配値を得るステップS2.1と、
各勾配値が設定された閾値より大きいか否かを判断し、閾値より大きい場合、エッジであると判定し、勾配値のプラスマイナスに基づいてホワイトエッジ又はダークエッジに設定すると判定し、閾値より小さい場合、いかなる処理を行わないステップS2.2と、を含み、
前記ステップS2.1では、改善された勾配計算式は、
【数10】
(式中、Yl、Y2は隣接する2つの画素の輝度であり、i、jはそれぞれ画素の横座標及び縦座標であり、Iは算出された勾配値である。)である、ことを特徴とする方法。
【請求項2】
前記ステップS1では、映像における次のフレームの画像を複数の画像ブロックに分割し、次のフレームの画像は8×8、16×16又は32×32のうちのいずれかの方式に基づいてブロック化を行い、対応する複数の画像ブロックを得る、ことを特徴とする請求項1に記載のリアルタイム映像における画像の物体輪郭を強調する方法。
【請求項3】
前記ステップS3は、具体的には、
輪郭を強調した後の複数の画像ブロックの明暗レベルに基づいて、輪郭を強調した後の複数の画像ブロックを全体として等級分けするステップS3.1と、
等級分け後の画像全体のgain値が明暗要件を満たし、ガウスフィルタリング公式に基づいて要件を満たす画像全体に対してフィルタリング処理を行い、そうでなければ、フィルタリング処理を行わないステップS3.2と、を含む、ことを特徴とする請求項
1に記載のリアルタイム映像における画像の物体輪郭を強調する方法。
【請求項4】
前記ステップ3.1では、輪郭を強調した後の複数の画像ブロックに対して加重平均を行い、画像全体の輝度値を計算し、その輝度値の明暗レベルに基づいて輪郭を強調した後の画像全体を等級分けし、即ちgain値に基づいて等級分けし、gain値がISO100より小さいレベル、gain値がISO200であるレベル、gain値がISO400であるレベル、gain値がISO800であるレベルという4つのレベルを含む、ことを特徴とする請求項
3に記載のリアルタイム映像における画像の物体輪郭を強調する方法。
【請求項5】
前記ステップ3.2では、gain値がISO100より小さい場合、フィルタリング処理を行わず、gain値がISO200である場合、標準偏差を16に設定し、ガウスフィルタリング公式に基づいてフィルタリング処理を行い、gain値がISO400である場合、標準偏差を20に設定し、ガウスフィルタリング公式に基づいてフィルタリング処理を行い、gain値がISO800である場合、標準偏差を25に設定し、ガウスフィルタリング公式に基づいてフィルタリング処理を行い、
ここで、ガウスフィルタリング公式は、
【数11】
(式中、σは標準偏差を示し、Yは現在の画素の輝度を示し、i、jはそれぞれ画素の横座標及び縦座標である。)である、ことを特徴とする請求項
3に記載のリアルタイム映像における画像の物体輪郭を強調する方法。
【請求項6】
前記ステップ4では、gamma変換の公式は、
【数12】
(式中、Yは現在の画素の輝度を示し、γはγ係数を示し、i、jはそれぞれ画素の横座標及び縦座標である。)であり、
gamma変換の公式に基づいて、画像全体を観察するγパラメータ値と画像細部を観察するγパラメータ値を設定し、それぞれ2つのγパラメータ値を利用してノイズをフィルタリングした後の画像全体に対して明暗コントラスト処理を行い、最終的な強調後の画像T(Y)を得る、ことを特徴とする請求項1又は
5に記載のリアルタイム映像における画像の物体輪郭を強調する方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明はリアルタイムビデオ画像処理の技術分野に属し、具体的には、画像における物体輪郭を強調する方法に関し、画像における輪郭を強調するために用いられる。
【背景技術】
【0002】
医用画像学Medical Imagingは、ある媒体(例えばX線、電磁場、超音波など)が人体と相互作用することを利用して、人体の内部組織器官の構造、密度を画像方式で示して医師の観察に用いることにより、人体を研究する可視化情報を研究する学科であり、医学イメージングシステムと医学画像処理の2つの面の相対的に独立した研究方向を含む。
【0003】
主にX線イメージャ、CT(一般的なCT、スパイラルCT)、陽電子放出断層撮影(PET)、超音波(Bモード超音波、カラードップラー超音波、心臓カラードップラー超音波、3次元カラードップラー超音波)、核磁気共鳴イメージング(MRI)、心電計、脳波計などを含む。
【0004】
X線イメージャ、CT、超音波、核磁気共鳴イメージングなどの表示された映像(画像)はいずれも白黒画像であり、光学的原因で画像内の血管組織を識別することができず、いくつかの特殊な場所しか見ることができない。ある観点から言えば、従来技術は単に画像に対して輪郭抽出を行うだけで、映像の細部を無視する。
【0005】
以上をまとめると、従来技術における医療器械製品において、機器に表示された映像はいずれも元の画像であり、輪郭の強調及び抽出を経ず、識別度が低い物体に対する見分け、識別の難しさを増やす。
【発明の概要】
【発明が解決しようとする課題】
【0006】
従来技術における上記の課題を解決するために、本発明の目的は、従来技術における機器から出力された映像が元の画像であり、識別度が低い物体に対する見分け、識別の難しさが増加するという問題を解決するために、リアルタイム映像における画像の物体輪郭を強調する方法を提供することである。
【課題を解決するための手段】
【0007】
本発明によって採用される技術案は次のとおりである。
【0008】
リアルタイム映像における画像の物体輪郭を強調する方法であって、
撮影された映像を取得し、映像における次のフレームの画像に対してブロック化処理を行い、複数の画像ブロックを得るステップS1と、
勾配アルゴリズムに基づいて、各画像ブロックにおける各画素に対して輪郭強調を行うステップS2と、
ガウスフィルタリング方法に基づいて、輪郭を強調した後の複数の画像ブロックを全体としてノイズのフィルタリングを行い、ノイズをフィルタリングした後の画像を得るステップS3と、
gamma変換に基づいて、ノイズをフィルタリングした後の画像全体に対して明暗コントラスト処理を行い、最終的な強調後の画像を得るステップS4と、を含む方法。
【0009】
さらには、前記ステップS1では、映像における次のフレームの画像を複数の画像ブロックに分割し、次のフレームの画像は8×8、16×16又は32×32のうちのいずれかの方式に基づいてブロック化を行い、対応する複数の画像ブロックを得る。
【0010】
さらには、前記ステップS2は、具体的には、
改善された勾配計算式に基づいて各画像ブロックの各画素の輝度成分に対して勾配計算を行い、各画素の勾配値を得るステップS2.1と、
各勾配値が設定された閾値より大きいか否かを判断し、閾値より大きい場合、エッジであると判定し、勾配値のプラスマイナスに基づいてホワイトエッジ又はダークエッジに設定すると判定し、閾値より小さい場合、いかなる処理も行わないステップS2.2と、を含む。
【0011】
さらには、前記ステップS2.1では、改善された勾配計算式は、
【数1】
(式中、Y1、Y2は隣接する2つの画素の輝度であり、i、jはそれぞれ画素の横座標及び縦座標であり、Iは算出された勾配値である。)である。
【0012】
さらには、ステップS3は、具体的には、
輪郭を強調した後の複数の画像ブロックの明暗レベルに基づいて、輪郭を強調した後の複数の画像ブロックを全体として等級分けするステップS3.1と、
等級分け後の画像全体のgain値が明暗要件を満たし、ガウスフィルタリング公式に基づいて要件を満たす画像全体に対してフィルタリング処理を行い、そうでなければ、フィルタリング処理を行わないステップS3.2と、を含む。
【0013】
さらには、前記ステップ3.1では、輪郭を強調した後の複数の画像ブロックに対して加重平均を行い、画像全体の輝度値を計算し、その輝度値の明暗レベルに基づいて輪郭を強調した後の画像全体を等級分けし、即ちgain値に基づいて等級分けし、gain値がISO100より小さいレベル、gain値がISO200であるレベル、gain値がISO400であるレベル、gain値がISO800であるレベルという4つのレベルを含む。
【0014】
さらには、前記ステップ3.2では、gain値がISO100より小さい場合、フィルタリング処理を行わず、gain値がISO200である場合、標準偏差を16に設定し、ガウスフィルタリング公式に基づいてフィルタリング処理を行い、gain値がISO400である場合、標準偏差を20に設定し、ガウスフィルタリング公式に基づいてフィルタリング処理を行い、gain値がISO800である場合、標準偏差を25に設定し、ガウスフィルタリング公式に基づいてフィルタリング処理を行い、
ここで、ガウスフィルタリング公式は、
【数2】
(式中、σは標準偏差を示し、Yは現在の画素の輝度を示し、i、jはそれぞれ画素の横座標及び縦座標である。)である。
【0015】
さらには、前記ステップ4では、gamma変換の公式は、
【数3】
(式中、Yは現在の画素の輝度を示し、γはγ係数を示し、i、jはそれぞれ画素の横座標及び縦座標である。)であり、
gamma変換の公式に基づいて、画像全体を観察するγパラメータ値と画像細部を観察するγパラメータ値を設定し、それぞれ2つのγパラメータ値を利用してノイズをフィルタリングした後の画像全体に対して明暗コントラスト処理を行い、最終的な強調後の画像T(Y)を得る。
【0016】
本発明の有益な効果は以下のとおりである。
【0017】
1、本発明は勾配アルゴリズム、ガウスフィルタリング方法及びgamma変換に基づいて、画像における物体の輪郭を強調し、画像における物体の識別度を最大限に向上させることができ、マイクロ物体を識別しやすくなることを容易にする。
【0018】
2、本発明における画像における各画素は離散関数であり、従来の勾配アルゴリズムの勾配は曲面で連続関数の偏微分であるため、本案において従来の勾配アルゴリズムを修正すると、複数の画像ブロックの輪郭をよりよく強調することを容易にする。
【0019】
3、本発明では、画像全体の明暗レベルに基づいて等級分け及びフィルタリングを行うことは、従来技術における、同じ明暗レベルに基づいてガウスフィルタリングによりフィルタリング処理を直接行うため、画像の解像度及び滑らかさが悪くなるという問題を解決する。
【0020】
4、本発明では、2つのγパラメータ値を設定することにより、画像全体を観察する強調画像と、画像細部を観察する強調画像を得ることができ、異なる状況での観察に適用する。
【0021】
本発明の実施例又は従来技術における技術案をより明瞭に説明するために、以下、実施例又は従来技術の説明のために使用された図面を簡単に紹介し、明らかに、以下に説明する図面は本発明のいくつかの実施例に過ぎず、当業者にとって、創造的な労力をを必要とせず、これらの図面に基づいて他の図面を得ることもできる。
【図面の簡単な説明】
【0022】
【発明を実施するための形態】
【0023】
以下に本発明の実施例を詳細に説明し、前記実施例の例は図面に示され、ここで同じ又は類似の符号は常に同じ又は類似の素子又は同じ又は類似の機能を有する素子を示す。以下に図面を参照して説明された実施例は例示的なものであり、本発明を解釈するためのものであり、本発明を限定するものとして理解すべきではない。
【0024】
本発明の説明では、「第1」、「第2」という用語は単に説明の目的に使用されると理解すべきであり、相対的な重要性を指示又は暗示したり、指示される技術的特徴の数を暗黙的に指示したりするものとして理解することはできず、したがって、「第1」、「第2」で限定された特徴は1つ又はより多くの該特徴を明示的又は暗黙的に含んでもよい。本発明の説明では、別途明確で具体的な限定がない限り、「複数の」の意味は2つ又は2つ以上である。
【0025】
本発明の説明では、別途明確な規定や限定がない限り、「取付」、「連結」、「接続」、「固定」などの用語は、広義に理解すべきであり、例えば、固定接続、取り外し可能な接続、または一体接続であってもよいし、機械的接続または電気的接続であってもよいし、直接接続、または中間媒体による間接的な接続であってもよいし、2つの素子内部の連通であってもよい。当業者にとって、具体的な状況に応じて本発明における上記用語の具体的な意味を理解することができる。
【0026】
本発明の説明では、いくつかの構造又はデバイス又はステップは具体的に説明されず、従来技術において実現可能なデバイス又は装置又はステップがあると理解される。
【0027】
画像の物体輪郭を強調する方法であって、以下のステップS1~S4を含む。
【0028】
S1、撮影された映像を取得し、映像における次のフレームの画像に対してブロック化処理を行い、複数の画像ブロックを得て、即ち映像における次のフレームの画像を複数の画像ブロックに分割し、次のフレームの画像は8×8、16×16又は32×32のうちのいずれかの方式に基づいてブロック化を行い、対応する複数の画像ブロックを得て、当然のことながら、他のブロック化の方式であってもよく、このいくつかの方式を選択してブロック化を行うだけで、処理速度をより速くする。
【0029】
S2、勾配アルゴリズムに基づいて、各画像ブロックにおける各画素に対して輪郭強調を行い、ステップS2は、具体的には、ステップS2.1とテップS2.2を含む。
【0030】
S2.1、改善された勾配計算式に基づいて各画像ブロックの各画素の輝度成分に対して勾配計算を行い、各画素の勾配値を得る。
【0031】
従来技術における勾配アルゴリズムの勾配が曲面で連続関数の偏微分であり、本発明における画像の各画素が離散関数であり、勾配を計算する時、具体的な画素点を採用して計算する必要があるため、従来技術における勾配アルゴリズムを改善する必要があり、改善された勾配計算式は、
【数4】
(式中、Y1、Y2は隣接する2つの画素の輝度であり、i、jはそれぞれ画素の横座標及び縦座標であり、Iは算出された勾配値である。)である。
【0032】
S2.2、各勾配値が設定された閾値より大きいか否かを判断し、閾値より大きい場合、エッジであると判定し、勾配値のプラスマイナスに基づいてホワイトエッジ又はダークエッジに設定すると判定し、閾値より小さい場合、いかなる処理も行わない。
【0033】
S3、画像の滑らかさを向上させるように、ガウスフィルタリング方法に基づいて、輪郭を強調した後の複数の画像ブロックを全体としてノイズのフィルタリングを行い、ノイズをフィルタリングした後の画像を得る。
【0034】
ノイズ除去は、センサーのサンプリング、gainなどの要素により、必ずイメージノイズ、又は自分の電子ノイズを導入し、イメージノイズの表現形態に応じて、プレッツェルノイズ、ホワイトノイズ、ガウスノイズなどがあり、これにより、画像の解像度や滑らかさを低下させ、従って、画像に対してフィルタ処理を行わなければならないが、同じ明暗レベルに基づいてフィルタ処理を行うと、同様に画像の解像度や滑らかさを低下させることになる。
【0035】
上記の課題を解決するために、ガウスフィルタリング方法に基づいて、輪郭を強調した後の複数の画像ブロックを全体としてノイズのフィルタリングを行い、ノイズをフィルタリングした後の画像を得るステップは、具体的には、ステップS3.1とステップS3.2を含む。
【0036】
S3.1、輪郭を強調した後の複数の画像ブロックに対して加重平均を行い、画像全体の輝度値を計算し、その輝度値の明暗レベルに基づいて輪郭を強調した後の画像全体を等級分けし、即ち、輪郭を強調した後の画像全体をgain値(輝度値)に基づいて等級分けし、gain値がISO100より小さいレベル、gain値がISO200であるレベル、gain値がISO400であるレベル、gain値がISO800であるレベルという4つのレベルを含む。
【0037】
S3.2、等級分け後の複数の画像ブロック(即ち画像全体)のgain値が明暗要件を満たし、ガウスフィルタリング公式に基づいて要件を満たす画像全体に対してフィルタリング処理を行い、gain値がISO100より小さい場合、フィルタリング処理を行わず、gain値がISO200である場合、標準偏差を16に設定し、ガウスフィルタリング公式に基づいてフィルタリング処理を行い、gain値がISO400である場合、標準偏差を20に設定し、ガウスフィルタリング公式に基づいてフィルタリング処理を行い、gain値がISO800である場合、標準偏差を25に設定し、ガウスフィルタリング公式に基づいてフィルタリング処理を行い、
ここで、ガウスフィルタリング公式は、
【数5】
(式中、σは標準偏差を示し、Yは現在の画素の輝度を示し、i、jはそれぞれ画素の横座標及び縦座標である。)である。
【0038】
S4、gamma変換に基づいて、ノイズをフィルタリングした後の画像全体に対して明暗コントラスト処理を行い、最終的な強調後の画像を得る。gammaの変換公式は、
【数6】
(式中、Yは現在の画素の輝度を示し、γはγ係数を示し、i、jはそれぞれ画素の横座標及び縦座標である。)であり、
異なるγパラメータを選択する場合、強調後の画像効果が異なり、異なる環境応用に適用され、大きなgammaパラメータを採用すると、より大きな輝度範囲を見ることができ、画像全体を観察することに適用され、小さなgammaパラメータを採用すると、限られた輝度範囲内の細部を重点的に強調し、画像の細部を観察することに適用される。従って、gamma変換の公式に基づいて、画像全体を観察する1つのγパラメータ値と画像細部を観察する1つのγパラメータ値を設定し、それぞれ2つのγパラメータ値を利用してノイズをフィルタリングした後の画像全体に対して明暗コントラスト処理を行い、最終的な強調後の画像T(Y)を得る。
【実施例1】
【0039】
本発明者らは映像における画像をリアルタイムに処理し、リアルタイムに表示しようとするため、現在の画像を表示する時、次のフレームの画像を処理する必要があり、即ち32×32に基づいて、次のフレームの画像(1920×1080画素)を複数の60×33.75画素の画像ブロックに分割し、小数点がある場合、四捨五入によって画像ブロックの分割を行い、即ち60×34画素を1つの画像ブロックとし、次のフレームの画像を分割し、具体的には、それぞれ32×31と32×26に基づいて、次のフレームの画像1920×1080画素を1920×1054と1920×26に分割してブロック化処理を行い、処理した後に最終的な画像ブロックを得る。
【0040】
改善された勾配計算式
【数7】
に基づいて各画像ブロックにおける各画素の輝度成分に対して勾配計算を行い、各画素の勾配値を得て、
各勾配値が設定された閾値より大きいか否かを判断し、閾値より大きい場合、エッジであると判定し、勾配値のプラスマイナスに基づいてホワイトエッジ又はダークエッジに設定すると判定し、閾値より小さい場合、いかなる処理を行わない。
【0041】
輪郭を強調した後の複数の画像ブロックの明暗レベルに基づいて、輪郭を強調した後の複数の画像ブロックを全体として等級分けし、即ち、gain値に基づいて輪郭を強調した後の画像全体を等級分けし、gain値がISO100より小さいレベル、gain値がISO200であるレベル、gain値がISO400であるレベル、gain値がISO800であるレベルという4つのレベルを含む。
【0042】
等級分け後の画像全体のgain値が明暗要件を満たし、ガウスフィルタリング公式
【数8】
に基づいて要件を満たす画像全体に対してフィルタリング処理を行い、そうでなければ、フィルタリング処理を行わない。即ち、gain値がISO100より小さい場合、フィルタリング処理を行わず、gain値がISO200である場合、標準偏差を16に設定し、ガウスフィルタリング公式に基づいてフィルタリング処理を行い、gain値がISO400である場合、標準偏差を20に設定し、ガウスフィルタリング公式に基づいてフィルタリング処理を行い、gain値がISO800である場合、標準偏差を25に設定し、ガウスフィルタリング公式に基づいてフィルタリング処理を行い、
gamma変換の公式
【数9】
に基づいて、ノイズをフィルタリングした後の画像全体に対して明暗コントラスト処理を行い、最終的な強調後の画像を得る。
【0043】
本発明は上記の選択可能な実施形態に限定されるものではなく、いかなる者も本発明の示唆下で他の様々な形態の製品を得ることができるが、その形状又は構造上のいかなる変化に関係なく、本発明の特許請求の範囲に含まれる技術案は、いずれも本発明の保護範囲内に含まれる。
【要約】
本発明は画像処理技術分野に属し、本発明はリアルタイム映像における画像の物体輪郭を強調する方法を開示し、従来技術における機器から出力された画像が元の画像であり、識別度が低い物体に対する見分け、識別の難しさが増加するという問題を解決する。本発明は撮影された映像を取得し、映像における次のフレームの画像に対してブロック化処理を行い、複数の画像ブロックを得て、勾配アルゴリズムに基づいて、各画像ブロックにおける各画素に対して輪郭強調を行い、ガウスフィルタリング方法に基づいて、輪郭を強調した後の複数の画像ブロックを全体としてノイズのフィルタリングを行い、ノイズをフィルタリングした後の画像を得て、gamma変換に基づいて、ノイズをフィルタリングした後の画像全体に対して明暗コントラスト処理を行い、最終的な強調後の画像を得る。本発明は画像における輪郭を強調するために用いられる。
【選択図】
図1