IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ボンワイズインコーポレイテッドの特許一覧

特開2022-79426人工知能システムを訓練させるためのイメージデータを処理するように構成される電子装置
<>
  • 特開-人工知能システムを訓練させるためのイメージデータを処理するように構成される電子装置 図1
  • 特開-人工知能システムを訓練させるためのイメージデータを処理するように構成される電子装置 図2
  • 特開-人工知能システムを訓練させるためのイメージデータを処理するように構成される電子装置 図3
  • 特開-人工知能システムを訓練させるためのイメージデータを処理するように構成される電子装置 図4
  • 特開-人工知能システムを訓練させるためのイメージデータを処理するように構成される電子装置 図5
  • 特開-人工知能システムを訓練させるためのイメージデータを処理するように構成される電子装置 図6
  • 特開-人工知能システムを訓練させるためのイメージデータを処理するように構成される電子装置 図7
  • 特開-人工知能システムを訓練させるためのイメージデータを処理するように構成される電子装置 図8
  • 特開-人工知能システムを訓練させるためのイメージデータを処理するように構成される電子装置 図9
  • 特開-人工知能システムを訓練させるためのイメージデータを処理するように構成される電子装置 図10
  • 特開-人工知能システムを訓練させるためのイメージデータを処理するように構成される電子装置 図11
  • 特開-人工知能システムを訓練させるためのイメージデータを処理するように構成される電子装置 図12
  • 特開-人工知能システムを訓練させるためのイメージデータを処理するように構成される電子装置 図13
  • 特開-人工知能システムを訓練させるためのイメージデータを処理するように構成される電子装置 図14
  • 特開-人工知能システムを訓練させるためのイメージデータを処理するように構成される電子装置 図15
  • 特開-人工知能システムを訓練させるためのイメージデータを処理するように構成される電子装置 図16
  • 特開-人工知能システムを訓練させるためのイメージデータを処理するように構成される電子装置 図17
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022079426
(43)【公開日】2022-05-26
(54)【発明の名称】人工知能システムを訓練させるためのイメージデータを処理するように構成される電子装置
(51)【国際特許分類】
   G06T 7/00 20170101AFI20220519BHJP
【FI】
G06T7/00 350B
【審査請求】有
【請求項の数】20
【出願形態】OL
(21)【出願番号】P 2021180071
(22)【出願日】2021-11-04
(31)【優先権主張番号】10-2020-0152760
(32)【優先日】2020-11-16
(33)【優先権主張国・地域又は機関】KR
(71)【出願人】
【識別番号】521084149
【氏名又は名称】ボンワイズインコーポレイテッド
(74)【代理人】
【識別番号】110002697
【氏名又は名称】めぶき国際特許業務法人
(74)【代理人】
【識別番号】100104709
【弁理士】
【氏名又は名称】松尾 誠剛
(72)【発明者】
【氏名】陳 東奎
【テーマコード(参考)】
5L096
【Fターム(参考)】
5L096BA06
5L096BA13
5L096CA01
5L096EA07
5L096GA51
5L096KA04
(57)【要約】      (修正有)
【課題】人工知能システムの訓練用イメージデータを前処理するための電子装置を提供する。
【解決手段】電子装置1000において、受信回路は、ピクセルで構成される入力イメージデータを受信する。プロセッサは、ピクセルのうちノイズデータに基づいて選択される第1対象ピクセルのピクセル値を調整するための第1動作と、ピクセルのピクセル値に基づいて決定される互いに隣接するピクセルの数に基づいて選択される第2対象ピクセルのピクセル値を調整するための第2動作と、互いに隣接するピクセルの座標値の間の傾きに基づいて決定される変曲ピクセルの座標値に基づいて入力イメージデータを正規化するための第3動作と、第1範囲のピクセル値を有する入力イメージデータのピクセル値を調整して、第1範囲より大きい第2範囲のピクセル値を有する入力イメージデータを取得するための第4動作と、のうち少なくとも1つを行う。
【選択図】図1
【特許請求の範囲】
【請求項1】
入力イメージデータを受信するように構成される受信回路;及び
前記入力イメージデータの入力ピクセルのうちノイズデータに対応するイメージデータを示す第1対象ピクセルのピクセル値を調整する第1動作、
前記入力ピクセルのピクセル値に基づいて前記入力ピクセルのうち順次隣接するラインピクセルを決定し、前記ラインピクセルの数に基づいて前記入力ピクセルの中で決定された第2対象ピクセルのピクセル値を調整する第2動作、
前記ラインピクセルの座標値の間の変化率に基づいて決定される変曲ピクセルの座標値に基づいて、前記入力ピクセルの座標値を調整する第3動作、及び
第1範囲内のピクセル値を有する前記入力ピクセルが前記第1範囲の大きさより大きい大きさの第2範囲内のピクセル値を有するように、前記入力ピクセルのピクセル値を調整する第4動作のうち少なくとも1つを行うように構成されるプロセッサを含む電子装置。
【請求項2】
第1項において、
前記入力イメージデータは、人体を撮影したX線イメージに関するデータであり、
前記入力イメージデータに前記第1動作~前記第4動作のうち少なくとも1つを行って取得されるデータに基づいて、新たな入力イメージデータから前記新たな入力イメージデータが示す人体の骨年齢情報を取得するように訓練される人工知能システムをさらに含む電子装置。
【請求項3】
第1項において、
前記変曲ピクセルは、前記変化率及び前記変化率の間の差値に基づいて決定される電子装置。
【請求項4】
第1項において、前記プロセッサは、
前記ラインピクセルの配列に基づいて、前記入力イメージデータから領域イメージデータを抽出する第5動作をさらに行うように構成される電子装置。
【請求項5】
第1項において、前記プロセッサは、
前記第1動作~前記第4動作以前に、前記変曲ピクセルのうち少なくとも1つの座標値に基づいて前記入力イメージデータから対象イメージデータを取得する第6動作をさらに行うように構成され、
前記第1動作~前記第4動作は、前記入力イメージデータの代わりに前記対象イメージデータに対して行われる電子装置。
【請求項6】
第1項において、
前記プロセッサは、前記ラインピクセルのピクセル値及び前記ラインピクセルに隣接する他のピクセルのピクセル値の間の差値のそれぞれがしきい値以上であるか否かに基づいて、前記ラインピクセルを決定する電子装置。
【請求項7】
第1項において、
前記ラインピクセルは、第1ピクセル及び第2ピクセルを含み、
前記変化率のうち前記第1ピクセルと前記第2ピクセルとの間の第1変化率は、第1軸による前記第1ピクセルの座標値と前記第2ピクセルの座標値との間の差値、及び前記第1軸に垂直である第2軸による前記第1ピクセルの座標値と前記第2ピクセルの座標値との間の差値に基づいて決定される電子装置。
【請求項8】
第7項において、
前記ラインピクセルは、第3ピクセルをさらに含み、
前記第2ピクセルと前記第3ピクセルとの間の第2変化率と、前記第1変化率との間の差値が基準値以上である場合、前記第2ピクセルは、前記変曲ピクセルに含まれる電子装置。
【請求項9】
第1項において、
前記第2対象ピクセルは、前記ラインピクセルの座標値に基づいて決定される電子装置。
【請求項10】
第1項において、
前記第2対象ピクセルは、前記入力イメージデータによって示されるイメージのうち前記ラインピクセルによって区分される領域のイメージに対応する電子装置。
【請求項11】
入力イメージデータを受信するように構成される受信回路;及び
前記入力イメージデータの第1ピクセルラインに含まれる変曲ピクセルに基づいて、前記入力イメージデータから対象イメージデータを抽出する第1動作、
前記対象イメージデータの第2ピクセルラインに含まれるピクセルの数と、前記対象イメージデータの第3ピクセルラインに含まれるピクセルの数との間の比較に基づいて前記入力イメージデータのピクセルの中で決定される対象ピクセルのピクセル値を調整する第2動作、及び
前記対象イメージデータのピクセル値をスケーリングする第3動作を行うように構成されるプロセッサを含む電子装置。
【請求項12】
第11項において、
前記プロセッサは、前記対象イメージデータのうちノイズデータとマッチングされるイメージデータのピクセル値を調整する第4動作をさらに行うように構成される電子装置。
【請求項13】
第11項において、
前記第1ピクセルラインのピクセル値と、前記第1ピクセルラインに隣接するピクセルのピクセル値との間の差値のそれぞれがしきい値以上である電子装置。
【請求項14】
第11項において、
前記プロセッサは、前記対象イメージデータの第4ピクセルラインの配列を判別するための関数を呼び出し、前記呼び出された関数に基づいて前記対象イメージデータに含まれる領域イメージデータを抽出するようにさらに構成される電子装置。
【請求項15】
第11項において、
前記プロセッサは、前記第1ピクセルラインに含まれるピクセルの座標値の間の差値に基づいて、前記変曲ピクセルを決定するようにさらに構成される電子装置。
【請求項16】
第15項において、
前記プロセッサは、前記座標値の間の前記差値に基づいて計算される傾きの間の差値にさらに基づいて前記変曲ピクセルを決定するようにさらに構成される電子装置。
【請求項17】
第11項において、
前記プロセッサは、前記変曲ピクセルをインデクシングし、前記インデクシングされた変曲ピクセルの座標値に基づいて前記インデクシングされた変曲ピクセルのうち基準ピクセルを決定し、前記決定される基準ピクセルの座標値に基づいて前記対象イメージデータの座標値を調整する第5動作を行うようにさらに構成される電子装置。
【請求項18】
第17項において、
前記プロセッサは、前記基準ピクセルの前記座標値の間の比較に基づいて、前記入力イメージデータの座標値を反転させるための前記第5動作を行うようにさらに構成される電子装置。
【請求項19】
第11項において、
前記プロセッサは、前記変曲ピクセルの座標値の間の差値及び変化率に基づいて、前記入力イメージデータに含まれる前記対象イメージデータを抽出するようにさらに構成される電子装置。
【請求項20】
第1イメージデータを受信するように構成される受信回路;及び
前記第1イメージデータに含まれ、ノイズデータとマッチングされる領域のピクセル値を調整して第2イメージデータを取得し、
前記第2イメージデータから分割される下位イメージデータのピクセル値を調整して第3イメージデータを取得し、
前記第3イメージデータのピクセルのうち第1基準ピクセルの座標値が前記第3イメージデータの前記ピクセルのうち第2基準ピクセルの座標値より大きい場合、前記第3イメージデータの前記ピクセルの座標値を調整して第4イメージデータを取得するように構成されるプロセッサを含むものの、
前記下位イメージデータに対応する領域は互いに重畳せず、前記第3イメージデータを示すピクセル値の範囲の大きさは前記第2イメージデータを示すピクセル値の範囲の大きさより大きい電子装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は電子装置に関するものであって、更に詳細には、人工知能システムの訓練のためのイメージデータを処理するように構成される電子装置に関するものである。
【背景技術】
【0002】
患者の人体を撮影したX線イメージのような医療映像に基づいて患者の骨年齢を評価するための研究がなされている。患者の骨年齢が正確に評価される場合、評価された骨年齢は多様な医療目的のために用いられる。例えば、患者の骨年齢を評価するために、Greulich-Pyle(G&P)方法またはTanner-Whitehouse(TW)方法が用いられる。
【0003】
一方、イメージを示すイメージデータを分析するために、機械学習(machine learning)のような人工知能技術が活用されている。機械学習の例示として、人工神経網(neural network)を用いるディープラーニング(deep learning)の多様な技法が研究されている。ディープラーニングを実現するための人工神経網は、多量のデータに基づいて訓練されることができる。訓練のために用いられるデータの質が高いほど高い性能の人工神経網が得られる。訓練のための高い質のデータを得るために訓練に用いられるデータは前処理されることができる。
【0004】
医療分野で医療映像を分析し、患者を診断するために、ディープラーニング技術が活用されている。例えば、人工神経網によってX線イメージを分類することによって患者の骨年齢が評価され、臨床医は評価された骨年齢に基づいて患者を診断することができる。従って、患者を診断するために用いられる高い性能の人工神経網を得るために、人工神経網を訓練するのに用いられるイメージデータを処理する方法に関する研究が必要である。
【発明の概要】
【発明が解決しようとする課題】
【0005】
本開示は、人工知能システムの訓練に用いられるイメージデータを前処理するように構成される電子装置を提供することができる。
【課題を解決するための手段】
【0006】
本開示の一実施例による電子装置は、受信回路及びプロセッサを含み得る。受信回路は、入力イメージデータを受信し得る。プロセッサは、前記入力イメージデータの入力ピクセルのうちノイズデータに対応するイメージデータを示す第1対象ピクセルのピクセル値を調整する第1動作、前記入力ピクセルのピクセル値に基づいて前記入力ピクセルのうち順次隣接するラインピクセルを決定し、前記ラインピクセルの数に基づいて前記入力ピクセルの中で決定された第2対象ピクセルのピクセル値を調整する第2動作、前記ラインピクセルの座標値の間の変化率に基づいて決定される変曲ピクセルの座標値に基づいて、前記入力ピクセルの座標値を調整する第3動作、及び第1範囲内のピクセル値を有する前記入力ピクセルが前記第1範囲より大きい第2範囲内のピクセル値を有するように、前記入力ピクセルのピクセル値を調整する第4動作のうち少なくとも1つを行い得る。
【0007】
本開示の一実施例による電子装置は、受信回路及びプロセッサを含み得る。受信回路は、入力イメージデータを受信し得る。プロセッサは、前記入力イメージデータの第1ピクセルラインに含まれる変曲ピクセルに基づいて、前記入力イメージデータから対象イメージデータを抽出する第1動作、前記対象イメージデータの第2ピクセルラインに含まれるピクセルの数と、前記対象イメージデータの第3ピクセルラインに含まれるピクセルの数との間の比較に基づいて前記入力イメージデータのピクセルの中で決定される対象ピクセルのピクセル値を調整する第2動作、及び前記対象イメージデータのピクセル値をスケーリングする第3動作を行い得る。
【0008】
本開示の一実施例による電子装置は、受信回路及びプロセッサを含み得る。受信回路は、第1イメージデータを受信し得る。プロセッサは、前記第1イメージデータに含まれ、ノイズデータとマッチングされる領域のピクセル値を調整して第2イメージデータを取得し、前記第2イメージデータから分割される下位イメージデータのピクセル値を調整して第3イメージデータを取得し、前記第3イメージデータのピクセルのうち第1基準ピクセルの座標値が前記第3イメージデータの前記ピクセルのうち第2基準ピクセルの座標値より大きい場合、前記第3イメージデータの前記ピクセルの座標値を調整して第4イメージデータを取得し得る。前記下位イメージデータに対応する領域は互いに重畳せず、前記第3イメージデータを示すピクセル値の範囲の大きさは前記第2イメージデータを示すピクセル値の範囲の大きさより大きくなり得る。
【発明の効果】
【0009】
本開示の一実施例によれば、人工知能システムを訓練させるためにイメージデータが前処理されることができ、前処理されたイメージデータに基づいて人工知能システムが効率よく訓練されることができる。
【図面の簡単な説明】
【0010】
図1図1は、本開示の実施例に従ってデータを処理するように構成される電子装置を示すブロック図である。
図2図2は、イメージデータを処理するための電子装置の例示的な動作を示すフローチャートである。
図3図3は、イメージデータを処理するための電子装置の例示的な動作を示すフローチャートである。
図4図4は、S111動作の実施例を説明するための概念図である。
図5図5は、ピクセル単位で構成される例示的なイメージデータを示す概念図である。
図6図6は、イメージデータを構成する例示的な境界ピクセルを説明するための概念図である。
図7図7は、S111動作の実施例を説明するための概念図である。
図8図8は、S111動作の実施例を説明するための概念図である。
図9図9は、S112動作の実施例を説明するための概念図である。
図10図10は、ピクセルラインの例示的な傾きを説明するための概念図である。
図11図11は、イメージデータを構成する例示的な変曲ピクセルを示す概念図である。
図12図12は、変曲ピクセルを決定するのに用いられる基準値と変曲ピクセルの数との間の例示的な関係を示すグラフである。
図13図13は、S113動作の実施例を説明するための概念図である。
図14図14は、イメージデータを処理するための電子装置の例示的な動作を示すフローチャートである。
図15図15は、S214動作の実施例を説明するための概念図である。
図16図16は、S214動作の実施例を説明するための概念図である。
図17図17は、本開示の実施例によるネットワークシステムを示す概念図である。
【発明を実施するための形態】
【0011】
以下で、本開示の技術分野で通常の知識を有する者が本開示による実施例を容易に実施できる程度に、本開示の実施例が明確かつ詳細に記載される。
【0012】
図1は、本開示の実施例に従ってデータを処理するように構成される電子装置を示すブロック図である。
【0013】
図1を参照すると、電子装置(1000)は、プロセッサ(1100)、メモリ(1200)、ストレージ(1300)、通信装置(1400)、人工知能システム(1500)、イメージ処理装置(1600)、ユーザーインターフェース(1700)及びバス(1800)を含み得る。例えば、電子装置(1000)は、携帯用通信装置、携帯用マルチメディア装置、ウェアラブル(wearable)装置、パーソナルコンピュータ装置及びワークステーション(workstation)等のような多様な類型の電子装置のうち少なくとも1つ、または、これらの組合わせによって具現され得る。
【0014】
ただし、電子装置(1000)の構成要素は図1の実施例に限定されない。電子装置(1000)は、図1に示した構成要素のうち1つ以上を含まないか、図1に示していない少なくとも1つの構成要素をさらに含み得る。例えば、電子装置(1000)は、電子装置(1000)の外部から多様な物理的エネルギーを感知するための多様な類型のセンサ、及び外部の攻撃者から格納された情報を保護するために動作するセキュリティーモジュールなどをさらに含み得る。
【0015】
プロセッサ(1100)は、電子装置(1000)の全般的な動作を制御することができる。例えば、プロセッサ(1100)は、汎用プロセッサ、専用プロセッサ、または、アプリケーションプロセッサ(Application Processor)等で具現され得る。プロセッサ(1100)は、電子装置(1000)を動作させるための多様な演算を処理することができる。
【0016】
プロセッサ(1100)は、通信装置(1400)及び/又はユーザーインターフェース(1700)を通じてイメージデータを受信することができる。プロセッサ(1100)は、イメージ処理装置(1600)により取得されるイメージデータを受信することができる。
【0017】
イメージデータは、電子装置(1000)外部のオブジェクトまたは背景に対応するイメージに関連し得る。例えば、イメージデータは、人体のような生体の一部または全部に対するイメージを示し得る。例えば、イメージデータは、人体のような生体の一部または全部に照射される放射線(例えば、X線)に基づいて取得され得る。以下、理解促進のために、人体の一部または全部に対するX線イメージを示す例示的なイメージデータが説明されるが、本開示の実施例はこれに限定されず、イメージデータが任意のオブジェクトまたは背景に対するイメージに基づいて多様な方法により取得され得ることが理解されるだろう。
【0018】
プロセッサ(1100)は、人工知能システム(1500)の動作のために用いられるイメージデータを生成するために、イメージ処理装置(1600)から受信されるイメージデータを処理することができる。例えば、プロセッサ(1100)は、人工知能システム(1500)の訓練に用いられるイメージデータを生成するために前処理動作を行うことができる。図2及び図3を参照して、プロセッサ(1100)によりイメージデータを前処理するための例示的な方法が具体的に説明される。
【0019】
メモリ(1200)は、電子装置(1000)の動作に必要なデータを格納することができる。例えば、メモリ(1200)は、プロセッサ(1100)及び/又は人工知能システム(1500)により処理された、又は、処理されるイメージデータを格納することができる。例えば、メモリ(1200)は、SRAM(Static Random Access Memory)、DRAM(Dynamic RAM)、SDRAM(Synchronous DRAM)等のような揮発性メモリ、及び/又はフラッシュメモリ、PRAM(Phase-change RAM)、MRAM(Magneto-resistive RAM)、ReRAM(Resistive RAM)、FRAM(Ferro-electric RAM)(登録商標)等のような不揮発性メモリのうち少なくとも1つを含み得る。
【0020】
ストレージ(1300)は、電力供給に関係なくデータを格納することができる。例えば、ストレージ(1300)は、プロセッサ(1100)及び/又は人工知能システム(1500)により処理された、又は、処理されるイメージデータを格納することができる。例えば、ストレージ(1300)は、フラッシュメモリ、PRAM、MRAM、ReRAM、FRAM等のような多様な不揮発性メモリのうち少なくとも1つを含み得る。または、ストレージ(1300)は、HDD(Hard Disk Drive)、SSD(Solid State Drive)、SD(Secure Digital)カード等のような着脱式メモリ、及び/又はeMMC(Embedded Multimedia Card)等のような内蔵(Embedded)メモリを含み得る。
【0021】
通信装置(1400)は、電子装置(1000)外部の他の電子装置及び/又はシステムと通信するように構成され得る。通信装置(1400)は、プロセッサ(1100)の動作に用いられるデータを取得するために通信することができる。例えば、通信装置(1400)は、電子装置(1000)外部のサーバーからプロセッサ(1100)の前処理動作に用いられるイメージデータを受信することができる。通信装置(1400)は、イメージデータを受信するように構成される受信回路を含み得る。
【0022】
例えば、通信装置(1400)は、LTE(long-term evolution)、LTE-A(LTE Advance)、CDMA(code division multiple access)、WCDMA(wideband CDMA)(登録商標)、WiBro(WirelessBroadband)、WiFi(wireless fidelity)、ブルートゥース(Bluetooth)(登録商標)、NFC(near field communication)、GPS(Global Positioning System)及びGNSS(global navigation satellite system)のような無線通信規格、及びUSB(universal serial bus)、HDMI(high definition multimedia interface)(登録商標)、RS-232(recommended standard232)及びPOTS(plain old telephone service)のような有線通信規格により外部の電子装置及び/又はシステムと通信することができる。
【0023】
人工知能システム(1500)は、プロセッサ(1100)から提供されるデータに基づいて訓練されることができる。例えば、人工知能システム(150)は、プロセッサ(1100)から提供されるイメージデータに基づいて多様な類型のアルゴリズムにより訓練されることができる。その後、電子装置(1000)は、訓練された人工知能システム(1500)により、新たに入力されるイメージデータを処理することができる。
【0024】
例えば、人工知能システム(1500)は、多様な類型の機械学習(machine learning)を実現するための人工神経網を含み得る。例えば、人工知能システム(1500)は、CNN(Convolutional Neural Network)、RNN(Recurrent Neural Network)及びGAN(Generative Adversarial Network)等のような人工神経網を実現するために多様な類型のハードウェアを含み得る。
【0025】
または、人工知能システム(1500)は、人工神経網を実現するためのプログラムコードを格納し、そのプログラムコードを実行するように構成され得る。例えば、人工知能システム(1500)は、機械学習を実行するために構成される別途のプロセッサ(例えば、NPU(Neural Processing Unit)等)を含み得る。または、人工知能システム(1500)は、機械学習に関連するデータ(例えば、加重値など)を格納するように構成される別途のメモリ装置(例えば、メモリスタ素子を含むメモリ装置)を含み得る。
【0026】
人工知能システム(1500)は、新たに入力されるイメージデータを分類し、分類されたイメージデータから新たなデータを取得することができる。例えば、人工知能システム(1500)は、人体の一部または全部に対するX線イメージに基づいて生成されるイメージデータにより訓練されることができる。電子装置(1000)は、訓練された人工知能システム(1500)に基づいて新たに入力されるイメージデータを適切な基準(例えば、X線イメージと人体の年齢との間の相関関係など)によって分類することができる。
【0027】
イメージ処理装置(1600)は、電子装置(1000)の外部から伝達される電磁波及び放射線などを感知してイメージデータを生成することができる。例えば、イメージ処理装置(1600)は、イメージデータを生成するためのイメージセンサ及びイメージ信号プロセッサなどを含み得る。例えば、イメージ処理装置(1600)は、人体の一部または全部に照射されたX線を受信し、受信されるX線に基づいて人体の一部または全部のイメージを示すイメージデータを取得することができる。イメージ処理装置(1600)は、取得されたイメージデータをプロセッサ(1100)に伝送することができる。
【0028】
ユーザーインターフェース(1700)は、ユーザーと電子装置(1000)との間の通信を中継することができる。ユーザーは、ユーザーインターフェース(1700)を通じて命令を電子装置(1000)に入力することができる。例えば、電子装置(1000)は、プロセッサ(1100)及び人工知能システム(1500)により生成される情報をユーザーインターフェース(1700)を通じてユーザーに提供することができる。例えば、電子装置(1000)は、ユーザーインターフェース(1700)を通じてプロセッサ(1100)の前処理動作に用いられるデータを受信することができる。ユーザーインターフェース(1700)は、プロセッサ(1100)の前処理動作に用いられるイメージデータを受信するための受信回路を含み得る。
【0029】
バス(1800)は、電子装置(1000)の構成要素の間の通信のための経路を提供することができる。例えば、電子装置(1000)の構成要素は、多様な通信プロトコルに基づいてバス(1800)を通じてデータを交換することができる。
【0030】
以下、図2図16を参照して、プロセッサ(1100)により行われるイメージデータに関する例示的な前処理動作が説明される。
【0031】
図2は、イメージデータを処理するための電子装置(1000)の例示的な動作を示すフローチャートである。
【0032】
以下、図2を参照して説明された動作がハードウェアにより実行され得るプログラムコードで具現され、プロセッサ(1100)のような処理装置により実行されるものとして説明されるが、本開示の実施例はこれに限定されない。例えば、図2を参照して説明される動作は、多様な類型の電子回路(例えば、多様な類型の論理ゲート、カスタム半導体(Application Specific Integrated Circuit;ASIC)及びFPGA(Field Programmable Gate Array)等)により具現され得る。または、図2を参照して説明された動作は、ファームウェアのようなハードウェアとソフトウェアの組合わせにより具現され得る。
【0033】
S110動作において、電子装置(1000)のプロセッサ(1100)は前処理動作を行うことができる。例えば、プロセッサ(1100)は、イメージデータを多様な類型の受信回路(例えば、通信装置(1400)及び/又はユーザーインターフェース(1700)に含まれる受信回路)を通じて受信することができる。プロセッサ(1100)は、受信されるイメージデータを前処理することができる。以下、図3を参照して例示的な前処理動作が具体的に説明される。
【0034】
S120動作において、人工知能システム(1500)は、S110動作において前処理されたイメージデータを受信することができる。人工知能システム(1500)は、前処理されたイメージデータに基づいて訓練されることができる。例えば、人工知能システム(1500)は、プロセッサ(1100)から繰り返し受信されるイメージデータに基づいて加重値を計算及び更新することができる。人工知能システム(1500)は、計算及び更新される加重値を格納することができる。例えば、計算及び更新される加重値は、人工知能システム(1500)に入力されるイメージデータ(例えば、人体の手を示すX線イメージのイメージデータ)を分類する動作に関連し得る。人工知能システム(1500)は、格納された加重値と受信されるイメージデータに基づいて活性関数による計算を行うことができる。
【0035】
S130動作において、電子装置(1000)は、電子装置(1000)の外部から新たなイメージデータを受信することができる。例えば、電子装置(1000)は、ユーザーインターフェース(1700)を通じてユーザーによって入力されるイメージデータを受信することができる。または、電子装置(1000)は、通信装置(1400)を通じて電子装置(1000)の外部から新たなイメージデータを受信することができる。
【0036】
電子装置(1000)は、S120動作において訓練された人工知能システム(1500)により新たなイメージデータを処理することができる。例えば、電子装置(1000)は、人工知能システム(1500)により入力される新たなイメージデータを多様な基準によって分類することができる。電子装置(1000)は、分類されるイメージデータに基づいて新たなデータを取得することができる。その後、電子装置(1000)は、取得されるデータに関連する情報をユーザーインターフェース(1700)によりユーザーに提供することができる。
【0037】
例えば、電子装置(1000)は、人体の手に関連するイメージデータに基づいて訓練された人工知能システム(1500)により、新たに入力されるイメージデータを分類することができる。電子装置(1000)は、分類されるイメージデータに基づいて新たな情報(例えば、X線のイメージに対応する骨年齢に関連した情報)を取得することができる。
【0038】
図3は、イメージデータを処理するための電子装置(1000)の例示的な動作を示すフローチャートである。図3を参照すると、S110動作はS111動作~S113動作を含み得る。
【0039】
S111動作において、プロセッサ(1100)は、イメージデータに含まれるノイズを除去することができる。例えば、イメージデータは、電子装置(1000)外部の対象オブジェクト(例えば、人体の手)に関連し得る。イメージデータは、対象オブジェクトに関連していない特定イメージに対するイメージデータを含み得る。例えば、イメージデータがイメージ処理装置(1600)により出力される過程で暗電流のような要素などによってノイズが発生し得る。または、イメージデータは、提供者によって意図的に生成されるノイズを含み得る。電子装置(1000)のユーザーは、全体のイメージデータのうち対象オブジェクトに関連していないイメージデータによって示されるイメージをノイズとして認識し、認識されたノイズをイメージデータから除去することができる。
【0040】
S112動作において、プロセッサ(1100)は、イメージデータを補正することができる。例えば、プロセッサ(1100)は、イメージデータを複数の領域にそれぞれ対応する下位イメージデータに分割することができる。プロセッサ(1100)は、イメージデータに対応するイメージの可視性のためにイメージデータに含まれる下位イメージデータそれぞれのピクセル値を補正することができる。図9を参照して、S112動作がさらに具体的に説明される。
【0041】
S113動作において、プロセッサ(1100)は、イメージデータを正規化(generalization)することができる。例えば、イメージデータはピクセル単位で構成され、イメージデータを構成するピクセルは特定の座標値にそれぞれ対応することができる。ピクセルの座標値は、全体イメージ上でそのピクセルが有する位置を示し得る。プロセッサ(1100)は、イメージデータのピクセルのうち特定条件を満たすピクセルを選択することができる。プロセッサ(1100)は、選択されるピクセルに基づいて、イメージデータの類型を決定し、当該イメージデータが所定の類型を有するように当該イメージデータのピクセルの座標値を変更することができる。これを通じてイメージデータがある類型のイメージデータとして正規化されることができる。例えば、人体の一部または全部(例えば、手)のX線イメージに対するイメージデータが受信される場合、イメージデータは2つの類型(例えば、右手類型及び左手類型)のうち1つに分類されることができる。プロセッサ(1100)は、全てのイメージデータが1つの類型に分類されるように、2つの類型のうち1つの類型に分類されるイメージデータの座標値を変更することができる。従って、S113動作によって、受信される全てのイメージデータが左手類型のイメージを示すように右手のイメージを示すイメージデータの座標値が変更され得る。図10図13を参照して、S113動作がさらに具体的に説明される。
【0042】
S111動作~S113動作によって前処理されたイメージデータに基づいてS120動作が行われるにつれ、人工知能システム(1500)が効率よく訓練されることができる。また、前処理されたイメージデータに基づいて訓練された人工知能システム(1500)は、S130動作を行うにおいて改善された性能を示し得る。従って、ユーザーは、訓練された人工知能システム(1500)に基づいて、意図した目的に更に符合する情報を取得することができる。
【0043】
以上、S111動作~S113動作がすべて順次行われるものとして説明されたが、S111動作~S113動作は任意の順序に従って行われ得、S111動作~S113動作のうち少なくとも1つの動作が行われ得ないということが理解されるだろう。例えば、プロセッサ(1100)は、ユーザーの制御により、S111動作~S113動作のうち1つ以上の動作を任意の順序に従って行うことができる。
【0044】
図4は、S111動作の一実施例を説明するための概念図である。プロセッサ(1100)は、イメージデータ(IM1)に対してS111動作を行うことができる。
【0045】
図4の例において、プロセッサ(1100)は、イメージデータ(IM1)及びノイズデータ(ND1)を受信することができる。例えば、電子装置(1000)は、ユーザーインターフェース(1700)及び/又は通信装置(1400)を通じてノイズデータ(ND1)の提供を受けることができる。ノイズデータ(ND1)は、イメージデータ(IM1)に含まれたノイズに関連し得る。
【0046】
例えば、イメージデータ(IM1)を含むイメージデータは、多様な出所から繰り返し提供され、イメージデータの提供者はそのイメージデータが示すイメージを識別するためにイメージデータにノイズを意図的に含ませることができる。図4の例において、イメージ「L」はイメージデータの提供者によって意図的にイメージデータに含まれたものであり得る。
【0047】
電子装置(1000)のユーザーは、イメージデータの提供者によって意図的に含まれるノイズを除去するために、そのノイズに対応するイメージデータであるノイズデータ(例えば、ノイズデータ(ND1))を電子装置(1000)に提供することができる。または、電子装置(1000)は、通信装置(1400)により電子装置(1000)外部の他の電子装置及びシステムからノイズデータ(ND1)の提供を受けることができる。電子装置(1000)は、メモリ(1200)及び/又はストレージ(1300)にノイズデータ(ND1)を格納することができる。図4の例において、「L」の形態を示す多様なイメージを示すイメージデータがノイズデータ(ND1)として提供され得る。
【0048】
プロセッサ(1100)は、提供されるノイズデータ(ND1)に基づいてイメージデータ(IM1)に含まれたノイズを識別することができる。プロセッサ(1100)は、ノイズデータ(ND1)に基づいて、イメージデータ(IM1)に対応するイメージの領域のうち領域(NDR1)に含まれたイメージデータをノイズとして判別することができる。即ち、領域(NDR1)に含まれたイメージデータは、ノイズデータ(ND1)とマッチングされることができる。
【0049】
プロセッサ(1100)は、ノイズを除去するために領域(NDR1)のイメージに対応するイメージデータを処理することができる。例えば、プロセッサ(1100)は、領域(NDR1)のピクセル値を調整することができる。イメージデータのピクセル値は、イメージデータによって示されるイメージの特性値に対応し得る。以下、イメージデータのピクセル値は、イメージデータによって示されるイメージの明暗値を意味するものとして説明されるが、本開示の実施例はこれに限定されず、イメージデータのピクセル値が示すイメージの特性値は多様に変更され得るということが理解されるだろう。イメージデータのピクセル値は、特定範囲内の値を有し得る。例えば、ピクセル値は0~255の値のうち1つであり得る。例えば、ピクセル値の範囲の大きさは、イメージデータの品質に対応し得る。電子装置(1000)の設計者は、イメージデータの品質を考慮してピクセル値の範囲を事前に設定することができる。例えば、ピクセル値の最小値が最も暗い明暗値に対応し、ピクセル値の最大値が最も明るい明暗値に対応する場合、プロセッサ(1100)は領域(NDR1)のピクセル値を最小値に調整することができる。
【0050】
プロセッサ(1100)は、調整されたピクセル値を有するイメージデータ(IMP1)を出力することができる。その後、S112動作及びS113動作は、出力されたイメージデータ(IMP1)に基づいて行われ得る。イメージデータ(IMP1)により示されるイメージの領域(NDR2)は、イメージデータ(IM1)により示されるイメージの領域(NDR1)に対応し得る。即ち、領域(NDR2)のイメージデータは、調整されたピクセル値を有し得る。
【0051】
領域(NDR1)に示されるイメージデータは、対象オブジェクト(例えば、人体の手)のイメージに関連がないこともある。従って、領域(ND1)上に示される特定のイメージのイメージデータが人工知能システム(1500)の訓練に用いられる場合、人工知能システム(1500)が有意な結果を出力するように訓練されるのにかなりの時間が要されるか、そのような結果を出力するように訓練されないこともある。従って、イメージデータ(IM1)の代わりにイメージデータ(IMP1)に基づいて人工知能システム(1500)が訓練される場合、人工知能システム(1500)の性能は向上することができる。
【0052】
図5は、ピクセル単位で構成される例示的なイメージデータを示す概念図である。
【0053】
図5を参照すると、イメージデータ(IM1)は、X軸に対する座標値及びY軸に対する座標値を有するピクセルで構成され得る。ただし、ピクセルが軸に対する座標値を有するということは、ピクセルが物理的な空間上に配置されることを意味するというよりは、イメージデータに基づいて示されるイメージ上でそのピクセルに対応するイメージがその座標値に対応する位置に示されるということを意味し得る。イメージデータ(IM1)を構成するピクセルのそれぞれは、X軸及びY軸に対する座標値を有し得る。例えば、X軸に対するピクセル(P1)の座標値はx0であり、Y軸に対するピクセル(P1)の座標値はy0であり得る。
【0054】
イメージデータ(IM1)を構成するピクセルは、互いに隣接し得る。以下、本明細書においてピクセルが互いに隣接するということは、そのピクセルのX軸に対する座標値の間の差が単位値(例えば、「1」)であるか、そのピクセルのY軸に対する座標値の間の差が単位値であるか、そのピクセルのX軸に対する座標値の間の差及びY軸に対する座標値の間の差がいずれも単位値であるということを意味する。例えば、ピクセル(P2)のX軸に対する座標値はx0+1であり、Y軸に対する座標値はy0であり得る。ピクセル(P1)のX軸に対する座標値と、ピクセル(P2)のX軸に対する座標値との間の差が単位値1であるので、ピクセル(P1)とピクセル(P2)は互いに隣接していると表現され得る。
【0055】
例えば、ピクセル(P3)のX軸に対する座標値はx0+1であり、Y軸に対する座標値はy0+1であり得る。ピクセル(P2)のY軸に対する座標値と、ピクセル(P3)のY軸に対する座標値との間の差が単位値1であるので、ピクセル(P2)とピクセル(P3)は互いに隣接していると表現され得る。例えば、ピクセル(P4)のX軸に対する座標値はx0+2であり、Y軸に対する座標値はy0+2であり得る。ピクセル(P4)のX軸に対する座標値と、ピクセル(P3)のX軸に対する座標値との間の差が単位値1であり、ピクセル(P3)のY軸に対する座標値と、ピクセル(P3)のY軸に対する座標値との間の差が単位値1であるので、ピクセル(P1)とピクセル(P2)は互いに隣接していると表現され得る。
【0056】
図5において、単位値が1であるものとして説明されたが、単位値の大きさは電子装置(1000)の設計者によって多様に設定され得るということが理解されるだろう。ピクセル(P1)とピクセル(P2)が互いに隣接しており、ピクセル(P1)とピクセル(P2)が互いに隣接しており、ピクセル(P1)とピクセル(P2)が互いに隣接しているので、ピクセル(P1~P4)は隣接するピクセルの集合として表現され得る。
【0057】
図6は、イメージデータを構成する例示的な境界ピクセルを説明するための概念図である。本開示において、順次隣接する境界ピクセルにより、あるピクセルラインが定義され得る。ピクセルラインによって示されるイメージは、全体イメージデータのイメージのうち対象オブジェクト(例えば、人体の手)のイメージと背景イメージとの間の境界線に対応し得る。
【0058】
図6の例において、ピクセル(PX1~PX7)は、イメージデータを示すピクセルのうち互いに隣接するピクセルの集合であり得る。ピクセル(PX1~PX7)のそれぞれは、ピクセル値を有し得る。例えば、ピクセル(PX1~PX5)のそれぞれはピクセル値Q1を有し、ピクセル(PX6及びPX7)のそれぞれはピクセル値Q2を有し得る。Q1はQ2より小さく、Q1とQ2との間の差はPDであり得る。
【0059】
比較的小さいピクセル値Q1を有するピクセル(PX1~PX5)により示されるイメージの明暗が比較的暗く(図6でパターン処理されたピクセル)、比較的大きいピクセル値Q2を有するピクセル(PX6及びPX7)の明暗が比較的明るい(図6でパターン処理されていないピクセル)ものとして説明されるが、ピクセル値と明暗値との間の対応関係は多様に変更され得るということが理解されるだろう。
【0060】
隣接するピクセルのピクセル値の間の差に基づいて境界ピクセルが決定され得る。例えば、プロセッサ(1100)は、隣接するピクセルのピクセル値の間の差を計算することができる。プロセッサ(1100)は、その差としきい値を比較することができる。その差がしきい値以上である場合、プロセッサ(1100)は互いに隣接するピクセルのうち1つを境界ピクセルとして決定することができる。
【0061】
例えば、しきい値は、イメージデータが有するピクセル値の分布を考慮して決定され得る。しきい値の大きさは、イメージデータ上で決定される境界ピクセルの数に関連し得る。電子装置(1000)の設計者は、意図した数の境界ピクセルがイメージデータを示すピクセルに含まれるようにしきい値を適宜設定することができる。
【0062】
図6の例において、ピクセル(PX5)のピクセル値Q1と、ピクセル(PX5)に隣接するピクセル(PX6)のピクセル値Q2との間の差PDは、設計者によって設定されたしきい値以上であり得る。従って、プロセッサ(1100)は、隣接するピクセル(PX5及びPX6)のうち1つを境界ピクセルとして決定することができる。例えば、プロセッサ(1100)は、比較的大きいピクセル値Q2を有するピクセル(PX6)を境界ピクセルとして決定することができる。
【0063】
しかし、隣接するピクセルのピクセル値の間の差に基づいて境界ピクセルを決定するための方法は、多様に変更及び修正され得るということが理解されるだろう。例えば、プロセッサ(1100)は、隣接するピクセル(PX5及びPX6)のうちさらに小さいピクセル値を有するピクセル(PX5)を境界ピクセルとして決定することができる。
【0064】
または、プロセッサ(1100)は、ピクセル(PX5及びPX6)のうち少なくとも1つと順次隣接する少なくとも1つのピクセルを境界ピクセルとしてさらに決定することができる。例えば、ピクセル(PX5及びPX6)のピクセル値の間の差PDがしきい値以上である場合、プロセッサ(1100)は、隣接するピクセル(PX5及びPX6)のうちさらに大きいピクセル値を有するピクセル(PX6)、及びピクセル(PX6)と隣接するピクセル(PX7)を境界ピクセルとして決定することができる。
【0065】
または、ピクセル(PX5及びPX6)のピクセル値の間の差PDがしきい値以上である場合、プロセッサ(1100)は、互いに隣接するピクセル(PX5及びPX6)のうちさらに小さいピクセル値を有するピクセル(PX5)、及びピクセル(PX5)と順次隣接する少なくとも1つのピクセルを境界ピクセルとして決定することができる。即ち、ピクセル(PX1~PX5)が境界ピクセルとして決定されるか、ピクセル(PX2~PX5)が境界ピクセルとして決定されるか、ピクセル(PX3~PX5)が境界ピクセルとして決定されるか、ピクセル(PX4及びPX5)が境界ピクセルとして決定され得る。
【0066】
図7は、S111動作の実施例を説明するための概念図である。前述した通り、プロセッサ(1100)は、イメージデータ(IMP1)に対するS111動作を行うことができる。
【0067】
図6を参照して説明された通り、プロセッサ(1100)は、イメージデータ(IMP1)を構成するピクセルのうち境界ピクセルを判別することができる。図5を参照して説明された通り、プロセッサ(1100)は、イメージデータ(IMP1)に含まれた境界ピクセルは互いに隣接し得る。イメージデータ(IMP1)を構成するピクセルは、順次隣接する境界ピクセルの集合(以下、ピクセルラインと称する)を含み得る。例えば、イメージデータ(IMP1)のピクセルは、ピクセルライン(LN1)を含み得る。ピクセルライン(LN1)のピクセル値と、ピクセルライン(LN1)に隣接する他のピクセルのピクセル値との間の差のそれぞれは、しきい値以上であり得る。
【0068】
プロセッサ(1100)は、ピクセルラインの配列を判別するための関数(以下、判別関数(FN)と称する)を呼び出すことができる。例えば、プロセッサ(1100)は、メモリ(1200)、ストレージ(1300)及び/又はバッファ(図示せず)等に格納された関数を呼び出すことができる。ピクセルライン(LN1)の配列に応じてピクセルライン(LN1)により示されるイメージは、特定の形態を有することができる。
【0069】
以下、ピクセルライン(LN1)の配列は、ピクセルライン(LN1)を構成する境界ピクセルの物理的な配列を意味するというよりは、境界ピクセルの座標値によって決定されるイメージデータのパターンを意味し得る。例えば、境界ピクセルの配列は、境界ピクセルによって示されるイメージデータに基づいてディスプレイ装置などによって提供されるイメージの特定の形態/パターン/模様などに対応し得る。
【0070】
または、配列は、境界ピクセルの間の関係を示す値、または、値の集合であって、境界ピクセルの座標値に基づいて計算されることができる。例えば、配列は、境界ピクセルの座標値の間の差に基づいて計算される傾き及び/又はその傾きの間の差に関連し得る。図10を参照して、傾き及び傾きの間の差の定義がより具体的に説明されるので、以下、説明は省略する。
【0071】
プロセッサ(1100)は、判別関数(FN)に基づいてピクセルライン(LN1)の配列を判別し、判別された配列が基準配列に対応する場合、ピクセルライン(LN1)により区分される領域のイメージデータ(以下、領域イメージデータ)を抽出することができる。プロセッサ(1100)は、抽出された領域イメージデータ(IMP2)を出力することができる。その後、S112動作及びS113動作は、領域イメージデータ(IMP2)に基づいて行われることができる。
【0072】
図7の例において、ピクセルライン(LN1)は、四角形のイメージに対応する配列を有し得る。ピクセルライン(LN1)により示される四角形のイメージが、ユーザーによって必要とされる対象イメージではない場合、そのイメージはユーザーによってノイズとして認知され得る。従って、プロセッサ(1100)は、ユーザーによってノイズとして認識されるピクセルライン(LN1)に基づいてイメージデータ(IMP1)を処理することができる。
【0073】
例えば、プロセッサ(1100)は、四角形のイメージに対応する配列を判別するための判別関数(FN)を呼び出すことができる。プロセッサ(1100)は、ピクセルライン(LN1)の座標に基づいて判別関数(FN)による計算を行うことができる。プロセッサ(1100)は、行われた計算に基づいてピクセルライン(LN1)の配列が四角形のイメージに対応するか否かを判別することができる。
【0074】
ピクセルライン(LN1)の配列が四角形のイメージに対応すると判別される場合、プロセッサ(1100)は、ピクセルライン(LN1)により区分される領域のピクセルによって示される領域イメージデータ(IMP2)を抽出することができる。プロセッサ(1100)は、抽出された領域イメージデータ(IMP2)を出力することができる。
【0075】
図8は、S111動作の実施例を説明するための概念図である。プロセッサ(1100)は、イメージデータ(IM2)に対してS111動作を行うことができる。
【0076】
イメージデータ(IM2)は、ピクセルライン(LN2及びLN3)を含み得る。イメージデータ(IM2)は、ピクセルライン(LN2及びLN3)により区分される領域(IA1及びIA2)のイメージデータを含み得る。プロセッサ(1100)は、ピクセルライン(LN2)により区分される領域(IA1)のイメージデータ及びピクセルライン(LN3)により区分される領域(IA2)のイメージデータにノイズが含まれるか否かを判別することができる。
【0077】
本開示において、領域(IA1及びIA2)は、物理的な領域を意味するというよりは、ピクセルの座標値に基づいて特定されたピクセルの集合を意味する。例えば、ピクセルライン(LN2)により示されるイメージによって、全体イメージ上で領域(IA1)により示されるイメージが領域(IA1)以外の領域により示されるイメージ(例えば、背景イメージ)から区分され得る。
【0078】
一実施例において、プロセッサ(1100)は、ピクセルラインの長さに基づいてイメージデータからノイズを判別することができる。具体的には、プロセッサ(1100)は、ピクセルライン(LN2)の長さ及びピクセルライン(LN3)の長さを計算することができる。特定のピクセルラインの長さは、物理的な長さを意味するというよりは、そのピクセルラインを構成するピクセルの個数に関連し得る。ピクセルラインが長いほど(即ち、ピクセルラインに含まれたピクセルの数が多いほど)そのピクセルラインのイメージデータによって示されるイメージも長くなり得る。
【0079】
例えば、プロセッサ(1100)は、ピクセルライン(LN2及びLN3)の長さを計算するために、ピクセルライン(LN2及びLN3)それぞれに含まれる境界ピクセルの数をカウンティングすることができる。プロセッサ(1100)は、カウンティングされる境界ピクセルの数に基づいてピクセルライン(LN2及びLN3)それぞれの長さを計算することができる。
【0080】
プロセッサ(1100)は、計算されるピクセルライン(LN2及びLN3)の長さに基づいて領域(IA1及びIA2)のピクセルに対応するイメージデータがノイズであるか否かを判別することができる。例えば、プロセッサ(1100)は、最も長い長さを有するピクセルラインではなく、他のピクセルラインによって区分される領域に含まれたイメージデータをノイズとして判別することができる。
【0081】
図8の例において、ピクセルライン(LN2)は、ピクセルライン(LN3)より長くなり得る。プロセッサ(1100)は、比較的長い長さを有するピクセルライン(LN2)により区分される領域(IA1)のイメージデータが対象オブジェクトのイメージに対応するイメージデータであると判別することができる。即ち、プロセッサ(1100)は、比較的長い長さを有するピクセルライン(LN2)により区分される領域(IA1)のイメージデータがノイズではないと判別することができる。また、プロセッサ(1100)は、比較的短い長さを有するピクセルライン(LN3)により区分される領域(IA2)のイメージをノイズとして判別することができる。
【0082】
一実施例において、プロセッサ(1100)は、ピクセルラインにより区分される領域の面積に基づいてイメージデータからノイズを判別することができる。具体的には、プロセッサ(1100)は、ピクセルライン(LN2及びLN3)により区分される領域(IA1及びIA2)の面積(以下、領域(IA1またはIA2)の面積と称する)を計算することができる。本明細書において、領域の面積は、物理的な領域の面積を意味するというよりは、その領域に含まれるピクセルの数に関連し得る。例えば、プロセッサ(1100)は、領域(IA1及びIA2)それぞれに含まれるピクセルの数をカウンティングすることができる。プロセッサ(1100)は、カウンティングされるピクセルの数に基づいて領域(IA1及びIA2)のイメージデータに対応するイメージの面積を計算することができる。
【0083】
プロセッサ(1100)は、計算される領域(IA1及びIA2)の面積に基づいて領域(IA1及びIA2)に含まれるピクセルによって示されるイメージデータがノイズであるか否かを判別することができる。例えば、プロセッサ(1100)は、ピクセルラインによって区分される領域のうち最も大きい面積を有する領域ではなく、他の領域のイメージデータをノイズとして判別することができる。図8の例において、領域(IA1)の面積は領域(IA2)の面積より大きくなり得る。プロセッサ(1100)は、比較的小さい面積を有する領域(IA2)のイメージデータをノイズとして判別することができる。
【0084】
プロセッサ(1100)は、ノイズを除去するために領域(IA2)のイメージを示すピクセルのピクセル値を調整することができる。例えば、ピクセル値の最小値が最も暗い明暗値に対応し、ピクセル値の最大値が最も明るい明暗値に対応する場合、プロセッサ(1100)はノイズと判断された領域(IA2)のピクセル値を最小値に調整することができる。プロセッサ(1100)は、調整されたピクセル値を含むイメージデータ(IMP3)を出力することができる。その後、S112動作及びS113動作はイメージデータ(IMP3)に基づいて行われることができる。
【0085】
図9は、S112動作の実施例を説明するための概念図である。プロセッサ(1100)は、イメージデータ(IM3)に対してS112動作を行うことができる。
【0086】
プロセッサ(1100)は、イメージデータ(IM3)の領域を複数の領域に分割することができる。分割された複数の領域のそれぞれは、下位イメージデータを示すことができる。例えば、プロセッサ(1100)は、イメージデータ(IM3)を示すピクセルの座標値に基づいてイメージデータ(IM3)を分割することができる。イメージデータ(IM3)から分割された下位イメージデータは、互いに重畳しなくなり得る。従って、イメージデータによって示されるイメージの領域は、互いに重畳しなくなり得る。イメージデータ(IM3)から分割された下位イメージデータの合計は、イメージデータ(IM3)と実質的に同一であり得る。
【0087】
図9の例において、プロセッサ(1100)は、X軸に対してイメージデータ(IM3)のピクセルが3等分されるようにイメージデータ(IM3)を分割し、Y軸に対してイメージデータ(IM3)のピクセルが3等分されるようにイメージデータ(IM3)を分割することができる。従って、イメージデータ(IM3)は、9つの領域に対応する下位イメージデータに分割されることができる。下位イメージデータは「PXピクセル×PYピクセル」の大きさを有し得る。イメージデータ(IM3)の領域を同一の大きさを有する下位イメージデータに分割するための実施例が説明されたが、イメージデータ(IM3)を分割するための方法は多様に変更及び/又は修正され得るということが理解されるだろう。
【0088】
その後、プロセッサ(1100)は、分割された下位イメージデータのピクセル値を補正することができる。図9の例において、プロセッサ(1100)は、イメージデータ(IM3)に含まれる下位イメージデータ(IM3_1)のピクセル値を補正することができる。例えば、プロセッサ(1100)は、下位イメージデータ(IM3_1)のピクセル値をスケーリングすることができる。例えば、プロセッサ(1100)は、下位イメージデータ(IM3_1)のピクセル値にスケーリング係数(例えば、2以上の自然数)を乗じることができる。
【0089】
または、プロセッサ(1100)は、下位イメージデータ(IM3_1)のピクセル値から固定された値を差し引いたり、そのピクセル値に固定された値を加えたりすることができる。または、プロセッサ(1100)は、下位イメージデータ(IM3_1)のピクセル値のうち特定値以下のピクセル値を最小値に変更することができる。または、プロセッサ(1100)は、下位イメージデータ(IM3_1)のピクセル値のうち特定値以下のピクセル値を最大値に変更することができる。例えば、イメージデータが8ビットのデータで表現される場合、ピクセル値の最小値は0であり、最大値は255であり得る。
【0090】
図9の例において、下位イメージデータ(IM3_1)のピクセル値はP1~P2の範囲(PI1)を有し得る。プロセッサ(1100)は、多様なアルゴリズムに基づいて下位イメージデータ(IM3_1)のピクセル値がP3~P4の範囲(PI2)を有するように下位イメージデータ(IM3_1)のピクセル値を調整することができる。範囲(PI2)の大きさは範囲(PI1)の大きさより大きくなり得る。
【0091】
図9において、範囲(PI2)の大きさが範囲(PI1)の大きさより大きいので、下位イメージデータ(IMP3_1)により示されるイメージの対比(contrast)値は、下位イメージデータ(IM3_1)により示されるイメージの対比値より大きくなり得る。
【0092】
図9において、範囲(PI1及びPI2)が互いに重畳せず、範囲(PI1)のピクセル値が範囲(PI2)のピクセル値より大きいものとして図示されたが、範囲(PI1及びPI2)の間の関係は多様に変更/修正され得るということが理解されるだろう。例えば、範囲(PI1)の一部と範囲(PI2)の一部は、互いに重畳し得る。または、範囲(PI2)は範囲(PI1)を含み得る。または、範囲(PI1及びPI2)が互いに重畳せず、範囲(PI2)のピクセル値が範囲(PI1)のピクセル値より大きくなり得る。
【0093】
イメージの対比値が大きいほど、人工知能システム(1500)は、そのイメージに含まれた対象(例えば、X線イメージに含まれた骨格形態など)に対する正確なイメージデータを取得することができる。従って、人工知能システム(1500)は、その対象を示すイメージデータを明確に判別し、判別されるイメージデータに基づいて訓練されることができる。
【0094】
人工知能システム(1500)は、イメージデータ(IM3_1)だけでなく、イメージデータ(IMP3_1)に基づいても訓練されることができる。S112動作によって人工知能システム(1500)の訓練に用いられるイメージデータ(IMP3_1)がさらに生成され、人工知能システム(1500)がより多くの量のイメージデータに基づいて訓練されることによって、人工知能システム(1500)の性能は向上することができる。
【0095】
プロセッサ(1100)は、イメージデータ(IM3)に含まれた全ての下位イメージデータに対して、図9を参照して説明された方法と類似の方法によりS112動作を行うことができる。従って、プロセッサ(1100)によりイメージデータ(IM3)全体に対するS112動作が行われることができる。その後、S111動作及びS113動作は、S112動作によって処理されたイメージデータに基づいて行われることができる。
【0096】
図10は、ピクセルラインの例示的な傾きを説明するための概念図である。
【0097】
図10を参照すると、ピクセル(PG11~PG14)、ピクセル(PG21~PG24)、ピクセル(PG31~PG34)及びピクセル(PG41)は、順次互いに隣接し得る。従って、ピクセル(PG11~PG14)、ピクセル(PG21~PG24)、ピクセル(PG31~PG34)及びピクセル(PG41)は、ピクセルラインを構成し得る。
【0098】
ピクセル(PG11)のX軸に対する座標値はx1であり、Y軸に対する座標値はy1であり得る。ピクセル(PG21)のX軸に対する座標値はx2であり、Y軸に対する座標値はy2であり得る。ピクセル(PG31)のX軸に対する座標値はx3であり、Y軸に対する座標値はy3であり得る。ピクセル(PG41)のX軸に対する座標値はx4であり、Y軸に対する座標値はy4であり得る。
【0099】
プロセッサ(1100)は、ピクセルラインの傾きを計算することができる。例えば、プロセッサ(1100)は、ピクセルラインに含まれるピクセルのうち順次隣接するN個のピクセルの座標値に基づいてピクセルラインの傾きを計算することができる(ただし、Nは自然数)。例えば、Nが5である場合、プロセッサ(1100)は、順次隣接する5つのピクセルのうち第1ピクセルの座標値と第5ピクセルの座標値との間の変化率を傾きとして計算することができる。設計者は多様な条件(例えば、プロセッサの性能など)を考慮してNを事前に設定することができ、Nは設計者の設定に応じて多様に変更され得るということが理解されるだろう。
【0100】
例えば、プロセッサ(1100)は、ピクセル(PG11~PG21)の中で第1ピクセル(PG11)と第5ピクセル(PG21)との間の変化率をピクセルラインの傾きK1として計算することができる。即ち、プロセッサ(1100)は、ピクセル(PG11及びPG21)の間で(y2-y1)/(x2-x1)をピクセルラインの傾きK1として計算することができる。
【0101】
例えば、プロセッサ(1100)は、ピクセル(PG21~PG31)の中で第1ピクセル(PG21)と第5ピクセル(PG31)との間の変化率をピクセルラインの傾きK2として計算することができる。即ち、プロセッサ(1100)は、ピクセル(PG21及びPG31)の間で(y3-y2)/(x3-x2)をピクセルラインの傾きK2として計算することができる。
【0102】
例えば、プロセッサ(1100)は、ピクセル(PG31~PG41)の中で第1ピクセル(PG31)と第5ピクセル(PG41)との間の変化率をピクセルラインの傾きK3として計算することができる。即ち、プロセッサ(1100)は、ピクセル(PG31及びPG41)の間で(y4-y3)/(x4-x3)をピクセルラインの傾きK3として計算することができる。
【0103】
プロセッサ(1100)は、傾きの間の差、即ち、傾きの変化値を計算することができる。図10の例において、プロセッサ(1100)は、ピクセル(PG11及びPG21)の間の傾きK1と、ピクセル(PG21及びPG31)の間の傾きK2との間の差(角度GR1に対応する値)を計算することができる。プロセッサ(1100)は、ピクセル(PG21及びPG31)の間の傾きK2と、ピクセル(PG31及びPG41)の間の傾きK3との間の差(角度GR2に対応する値)を計算することができる。
【0104】
プロセッサ(1100)は、傾きの変化値が基準値以上である場合、傾きが変わる座標値を有するピクセルを変曲ピクセルと決定することができる。本開示において、変曲ピクセルは、ピクセルラインを連続的な線と見たとき、当該線の変曲点に対応するピクセルを意味し得る。
【0105】
プロセッサ(1100)は、イメージデータに含まれる変曲ピクセルの数を考慮して基準値を変更することができる。図12を参照して、イメージデータに含まれる変曲ピクセルの数を考慮して基準値を変更する例示的な動作が説明される。
【0106】
図11は、イメージデータを構成する例示的な変曲ピクセルを示す概念図である。
【0107】
図11を参照すると、イメージデータ(IM3)のピクセルはピクセルライン(LN4)を含み得る。プロセッサ(1100)は、ピクセルライン(LN4)上で傾きを計算することができる。プロセッサ(1100)は、計算される傾きに基づいて変曲ピクセルを決定することができる。図11の例において、ピクセルライン(LN4)は14個の変曲ピクセルを含み得る。
【0108】
プロセッサ(1100)は、ピクセルライン(LN4)の変曲ピクセルをインデクシングすることができる。プロセッサ(1100)は、変曲ピクセルを段階的な順序に従ってインデクシングすることができる。例えば、プロセッサ(1100)は、変曲ピクセルのX軸に対する座標値及びY軸に対する座標値に基づいて変曲ピクセルをインデクシングすることができる。
【0109】
図11の例において、プロセッサ(1100)は、X軸に対する座標値のうち最も大きい座標値「Xmax」を有する変曲ピクセルを「CP1」とインデクシングすることができる。プロセッサ(1100)は、「CP1」変曲ピクセルからピクセルライン(PN4)に沿って変曲ピクセルをサーチすることができる。プロセッサ(1100)は、順次サーチされる変曲ピクセルを「CP2」~「CP14」とそれぞれインデクシングすることができる。
【0110】
例えば、プロセッサ(1100)は、「CP1」の変曲ピクセルから「CP1」の変曲ピクセルに隣接し、X軸に対する座標値が減少する軸(即ち、図11において反時計軸)に沿ってピクセルライン(LN4)の変曲ピクセルを決定し、決定される順序に従って変曲ピクセルを「CP2」~「CP14」とインデクシングすることができる。
【0111】
図12は、変曲ピクセルを決定するのに用いられる基準値と変曲ピクセルの数との間の例示的な関係を示すグラフである。
【0112】
図12の例において、ピクセルライン(LN4)上の特定の境界ピクセル上で傾きの変化が基準値「AT1」以上である場合、プロセッサ(1100)はその境界ピクセルを変曲ピクセルとして決定することができる。この場合、ピクセルライン(LN4)上でN1個の境界ピクセルが変曲ピクセルとして決定され得る。同様に、基準値「AT2」、「AT3」及び「AT4」それぞれに対応して、「N2」個、「N3」個及び「N4」個の境界ピクセルが変曲ピクセルとして決定され得る。イメージデータ(IM3)のピクセルのうち変曲ピクセルを決定するのに用いられる基準値が増加するほど、変曲ピクセルの数は減少し得る。
【0113】
プロセッサ(1100)は、イメージデータ(IM3)上で基準個数の変曲ピクセルが決定されるまで基準値を継続的に変更して変曲ピクセルの数を決定することができる。例えば、電子装置(1000)の設計者は、変曲ピクセルの基準個数を14に設定することができる。プロセッサ(1100)は、14個の変曲ピクセルがイメージデータ上で決定されるように基準値を徐々に増加させてイメージデータ(IM3)上で変曲ピクセルの数を決定することができる。従って、プロセッサ(1100)は、基準値に対応してイメージデータ(IM3)上で「14」個の変曲ピクセルを決定することができる。
【0114】
その後、新たなイメージデータが繰り返し受信される場合、プロセッサ(1100)は、基準個数の変曲ピクセルが新たなイメージデータ上で決定されるように基準値を徐々に増加させて変曲ピクセルの数を決定することができる。従って、新たに受信される任意のイメージデータ上でも事前に設定された基準個数の変曲ピクセルが決定され得る。即ち、プロセッサ(1100)によりイメージデータ上で決定される変曲ピクセルの数は固定され得る。
【0115】
図13は、S113動作の実施例を説明するための概念図である。
【0116】
プロセッサ(1100)は、イメージデータ(IM3)の変曲ピクセルの座標値を取得することができる。プロセッサ(1100)は、変曲ピクセルの座標値に基づいて基準ピクセルを決定することができる。例えば、プロセッサ(1100)は、X軸に対する座標値が最も大きい「CP1」変曲ピクセルと、X軸に対する座標値が最も小さい「CP9」変曲ピクセルを基準ピクセルとして決定することができる。
【0117】
図13を参照して、「CP1」変曲ピクセルと「CP9」変曲ピクセルが基準ピクセルとして決定される実施例が説明されるが、基準ピクセルを決定するための方法は多様に変更及び/又は修正され得る。例えば、プロセッサ(1100)は、多様なアルゴリズムに基づいて変曲ピクセルの座標値を互いに比較し、比較結果に基づいてイメージデータ(IM3)の特徴を示す特定の変曲ピクセルを基準ピクセルと決定することができる。
【0118】
プロセッサ(1100)は、「CP1」変曲ピクセルのY軸に対する座標値と「CP9」変曲ピクセルのY軸に対する座標値を比較することができる。「CP1」変曲ピクセルのY軸に対する座標値が「CP9」変曲ピクセルのY軸に対する座標値より小さい場合、プロセッサ(1100)は、イメージデータ(IM3)を構成するピクセルの座標値を全般的に変更することができる。
【0119】
例えば、プロセッサ(1100)は、X軸に対する座標値の中間値Xmidを基準に、イメージデータ(IM3)を構成するピクセルのX軸に対する座標値を反転させることができる。プロセッサ(1100)は、反転した座標値を有するピクセルによって示されるイメージデータ(IMI3)を出力することができる。その後、S111動作及びS112動作はイメージデータ(IMI3)に基づいて行われることができる。
【0120】
プロセッサ(1100)は、図13を参照して説明された方法と類似の方法により新たに受信される全てのイメージデータを処理することができる。従って、プロセッサ(1100)により受信される全てのイメージデータは正規化されることができる。例えば、人体の手に関連するX線イメージのイメージデータ(IM3)が受信されることができる。プロセッサ(1100)は、「CP1」変曲ピクセルのY軸に対する座標値が「CP9」変曲ピクセルのY軸に対する座標値より大きい場合、イメージデータを第1類型(例えば、右手の類型)に分類し、「CP9」変曲ピクセルのY軸に対する座標値が「CP1」変曲ピクセルのY軸に対する座標値より大きい場合、イメージデータを第2類型(例えば、左手の類型)に分類することができる。
【0121】
第1類型のイメージデータと第2類型のイメージデータが受信される場合、プロセッサ(1100)は、S113動作と類似の動作により第2類型のイメージデータの座標値を変更することができる。変更された座標値を有するイメージデータは、第1類型に再び分類されることができる。従って、プロセッサ(1100)により正規化される全てのイメージデータは、第1類型に分類されることができる。同様に、プロセッサ(1100)は、全てのイメージデータが第2類型に分類されるように受信されるイメージデータを正規化することができる。
【0122】
図14は、イメージデータを処理するための電子装置(1000)の例示的な動作を示すフローチャートである。
【0123】
S214動作において、プロセッサ(110)は、受信されるイメージデータから対象イメージデータを抽出することができる。例えば、プロセッサ(1100)は、イメージデータを下位イメージデータに分割し、分割された下位イメージデータのうち適切な条件を満たす下位イメージデータを対象イメージデータとして選択することができる。図15及び図16を参照して、例示的なS214動作がさらに具体的に説明される。
【0124】
図14図3と比較すると、S110動作~S130動作はS210動作~S230動作にそれぞれ対応し、S111動作~S113動作はS211動作~S213動作にそれぞれ対応するので、以下、重複する説明は省略される。ただし、プロセッサ(1100)は、S214動作で抽出された対象イメージデータに対してS211動作~S213動作、S220動作及びS230動作を行うことができる。
【0125】
S214動作は、S211動作~S213動作が行われる前に行われ得る。理解促進のために、S211動作~S213動作がいずれも順次行われるものとして図示されたが、S211動作~S213動作は任意の順序に従って行われ得、S211動作~S213動作のうち少なくとも1つの動作が行われ得ないということが理解されるだろう。例えば、プロセッサ(1100)は、ユーザーの制御により、S211動作~S213動作のうち1つ以上の動作を任意の順序に従って行うことができる。
【0126】
図15は、S214動作の実施例を説明するための概念図である。
【0127】
図15の例において、プロセッサ(1100)は、イメージデータ(IM4)のピクセルのうち14個の変曲ピクセルを決定し、決定された変曲ピクセルを「CP1」~「CP14」とインデクシングすることができる。プロセッサ(1100)は、「CP2」~「CP4」変曲ピクセルに基づいてピクセルライン(LN5)を決定することができる。
【0128】
例えば、プロセッサ(1100)は、「CP2」及び「CP4」変曲ピクセルの座標値に基づいて、「CP2」変曲ピクセルと「CP4」変曲ピクセルとの間の距離L1を計算することができる。プロセッサ(1100)は、「CP3」及び「CP4」変曲ピクセルの座標値に基づいて、「CP3」変曲ピクセルと「CP4」変曲ピクセルとの間の距離L2を計算することができる。本明細書において、変曲ピクセルの間の距離は、物理的な距離を意味するというよりは、その変曲ピクセルの座標値に基づいて計算される値を意味し得る。
【0129】
例えば、プロセッサ(1100)は、「CP2」及び「CP4」変曲ピクセルの座標値に基づいて、「CP2」変曲ピクセルから「CP4」変曲ピクセルまでの傾きM1を計算することができる。プロセッサ(1100)は、「CP3」及び「CP4」変曲ピクセルの座標値に基づいて、「CP3」変曲ピクセルから「CP4」変曲ピクセルまでの傾きM2を計算することができる。プロセッサ(1100)は、距離L1及びL2、及び傾きM1及びM2に基づいてピクセルライン(LN5)を決定することができる。プロセッサ(1100)は、ピクセルライン(LN5)により区分される領域(IP1)のイメージデータをイメージデータ(IM4)の下位イメージデータとして抽出することができる。
【0130】
図16は、S214動作の実施例を説明するための概念図である。
【0131】
プロセッサ(1100)は、図15を参照して説明された方法と類似の方法に基づいてイメージデータ(IM4)から下位イメージデータを抽出することができる。プロセッサ(1100)は、変曲ピクセルに基づいてピクセルラインを決定し、ピクセルラインによって区分される領域(IP1~IP7)に含まれるピクセルのイメージデータを下位イメージデータとして抽出することができる。プロセッサ(1100)は、イメージデータ(IM4)から領域(IP1~IP7)にそれぞれ対応する下位イメージデータ(IS1~IS7)を出力することができる。
【0132】
プロセッサ(1100)は、下位イメージデータ(IS1~IS7)のうち対象イメージデータを選択することができる。例えば、イメージデータ(IM4)は人体の手に対するX線イメージを示し得る。ユーザーは、手のイメージのうち特定目的に符合する部分に対する下位イメージデータを対象イメージデータとして選択するために、電子装置(1000)を制御することができる。プロセッサ(1100)は、ユーザーの制御により下位イメージデータ(IS1~IS7)のうち対象イメージデータを選択することができる。
【0133】
図17は、本開示の実施例によるネットワークシステムを示す概念図である。
【0134】
図17を参照すると、ネットワークシステム(2000)は、サーバー(2100)及びエンドポイント(2210~2240)を含み得る。エンドポイント(2210~2240)のそれぞれは、電子装置(1000)と類似の電子装置を含み得る。
【0135】
エンドポイント(2210~2240)は、サーバー(2100)と多様なデータを交換することができる。例えば、エンドポイント(2210~2240)は、サーバー(2100)から人工知能システムの訓練に用いられるイメージデータを受信することができる。または、エンドポイント(2210~2240)は、サーバー(2100)からS111動作~S113動作、S120動作、及びS130動作、及びS211動作~S214動作、S220動作、及びS230動作に用いられる多様なデータ(例えば、ノイズデータ(ND1)、イメージデータ(IM1)、イメージデータ(IMP1)、イメージデータ(IMP2)、イメージデータ(IM3)、イメージデータ(IM4)等)を受信することができる。
【0136】
エンドポイント(2210~2240)のそれぞれは、訓練された人工知能システムによって多様なデータを処理することができる。例えば、エンドポイント(2210~2240)のそれぞれは、人体の一部または全部を示すX線イメージのイメージデータを受信し、受信されるイメージデータに基づいて人体に関連する情報を取得することができる。エンドポイント(2210~2240)は、サーバー(2100)を経由して情報を交換することができる。
【0137】
図17を参照して、スター(star)型で構成されるネットワークシステム(2000)の実施例が説明されたが、ネットワークシステム(2000)の形態は多様に変更及び/又は修正され得るということが理解されるだろう。例えば、ネットワークシステム(2000)は、バス共有型、環(ring)型、及びメッシュ(mesh)型などの形態のうち少なくとも1つで構成され得る。
【0138】
上述した内容は本開示を実施するための具体的な実施例である。本開示は上述した実施例だけでなく、単純に設計変更されるか、容易に変更できる実施例も含む。また、本開示は実施例を用いて容易に変形して実施できる技術も含む。従って、本開示の範囲は上述した実施例に限定されて定められてはならず、後述する特許請求の範囲だけでなく、本開示の特許請求の範囲と均等なものによって定められなければならない。
【符号の説明】
【0139】
1000:電子装置
1100:プロセッサ
1200:メモリ
1300:ストレージ
1400:通信装置
1500:人工知能システム
1600:イメージ処理装置
1700:ユーザーインターフェース
1800:バス
2000:ネットワークシステム
2100:サーバー
2210:エンドポイント
2220:エンドポイント
2230:エンドポイント
2240:エンドポイント
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17