(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024010649
(43)【公開日】2024-01-24
(54)【発明の名称】大便イメージ分析システムおよび方法
(51)【国際特許分類】
G01N 33/483 20060101AFI20240117BHJP
G06T 7/00 20170101ALI20240117BHJP
G06V 10/82 20220101ALI20240117BHJP
【FI】
G01N33/483 C
G06T7/00 350C
G06V10/82
【審査請求】有
【請求項の数】17
【出願形態】OL
【外国語出願】
(21)【出願番号】P 2023079401
(22)【出願日】2023-05-12
(31)【優先権主張番号】10-2022-0085663
(32)【優先日】2022-07-12
(33)【優先権主張国・地域又は機関】KR
【新規性喪失の例外の表示】特許法第30条第2項適用申請有り KASID 20▲th▼ anniversary conferenceにおいて、Jung won Leeらによって、2022年5月14日に行われたプレゼンテーション「Development of an Artificial Intelligence Model using Stool Pictures for Predicting Endoscopic Mucosal Healing in Patients with Ulcerative Colitis: KASID Multicenter Study」において公開された内容に関する情報を提出致します。 提出物件の「上記プレゼンテーションの台本のコピー等」の1~2ページは、KASID 20▲th▼ anniversary conferenceに関する冊子の抜粋であり、3~4ページは、上記プレゼンテーションの台本のコピーです。
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.BLUETOOTH
2.ZIGBEE
(71)【出願人】
【識別番号】517181092
【氏名又は名称】キュン プク ナショナル ユニバーシティ インダストリ-アカデミック コーポレーション ファンデーション
(74)【代理人】
【識別番号】100108453
【弁理士】
【氏名又は名称】村山 靖彦
(74)【代理人】
【識別番号】100110364
【弁理士】
【氏名又は名称】実広 信哉
(74)【代理人】
【識別番号】100133400
【弁理士】
【氏名又は名称】阿部 達彦
(72)【発明者】
【氏名】ウン・ス・キム
(72)【発明者】
【氏名】スン・ムン・ジョン
(72)【発明者】
【氏名】ドン・ウォン・ウ
【テーマコード(参考)】
2G045
5L096
【Fターム(参考)】
2G045AA22
2G045CB04
2G045JA01
5L096AA02
5L096AA06
5L096BA06
5L096CA02
5L096DA02
5L096EA13
5L096EA14
5L096EA35
5L096HA11
5L096KA04
(57)【要約】
【課題】本発明は、大便イメージ分析システムおよび方法に関し、より詳細には、既に学習済みのディープラーニングモデルを用いてユーザの大便イメージを分析することによって、ユーザの大腸状態を導出する大便イメージ分析システムおよび方法を提供する。
【解決手段】本発明の一実施形態に係る大便イメージ分析システムは、ユーザの大便イメージを入力される入力部と、前記大便イメージを時間順に群集化してデータセットを構成するデータセット生成部と、前記データセットを分析して前記ユーザの大便状態情報または大腸状態情報を導出する分析部と、前記大便状態情報または大腸状態情報を出力する出力部と、を含んでもよい。本発明の一実施形態によると、大腸内視鏡を行うことなく、大便のカメラ映像から潰瘍性大腸炎の内視鏡活性度を予測することができる。
【選択図】
図1
【特許請求の範囲】
【請求項1】
ユーザの大便イメージを入力される入力部と、
前記大便イメージを時間順に群集化してデータセットを構成するデータセット生成部と、
前記データセットを分析して前記ユーザの大便状態情報または大腸状態情報を導出する分析部と、
前記大便状態情報または大腸状態情報を出力する出力部と、を含む、
大便イメージ分析システム。
【請求項2】
前記データセットは、
前記ユーザの大腸内視鏡検査の直後、7日間の大便イメージを含む請求項1に記載の大便イメージ分析システム。
【請求項3】
前記大便イメージを、前記大便イメージに含まれた便器の特定の地点を基準にクロップ(crop)する前処理部をさらに含む請求項1に記載の大便イメージ分析システム。
【請求項4】
前記前処理部は、
前記大便イメージから便器の特定の地点を抽出し、前記大便イメージの縁のいずれかが前記便器の特定の地点を含むように、前記大便イメージをクロップ(crop)することを特徴とする請求項3に記載の大便イメージ分析システム。
【請求項5】
ディスプレイ部を含むユーザ端末と大便イメージを送受信する通信部をさらに含み、
前記ディスプレイ部は、座便器の内部の特定の地点とマッチングさせるためのガイドラインを含む請求項1に記載の大便イメージ分析システム。
【請求項6】
前記分析部は、
前記大便イメージまたは前記データセットを入力データとし、大便状態情報または大腸状態情報を出力データとして既に学習済みのディープラーニングモデルを含む請求項1に記載の大便イメージ分析システム。
【請求項7】
前記大腸状態情報が、前記ユーザの大腸状態の程度を示す不連続的な値である場合、
前記既に学習済みのディープラーニングモデルは、分類問題に該当する損失関数を用いて学習を行うことを特徴とする請求項6に記載の大便イメージ分析システム。
【請求項8】
前記大腸状態情報が特定の数値を示す連続的な値である場合、
前記既に学習済みのディープラーニングモデルは、線形回帰問題に該当する損失関数を用いて学習を行うことを特徴とする請求項6に記載の大便イメージ分析システム。
【請求項9】
入力部が、ユーザの大便イメージを入力される入力ステップと、
データセット構成部が、前記大便イメージを時間順に群集化してデータセットを構成するデータセット生成ステップと、
分析部が、前記データセットを分析して前記ユーザの大便状態情報または大腸状態情報を導出する分析ステップと、
出力部が、前記大便状態情報または大腸状態情報を出力する出力ステップと、
を含む、大便イメージ分析方法。
【請求項10】
前記データセットは、
前記ユーザの大腸内視鏡検査の直後、7日間の大便イメージを含む請求項9に記載の大便イメージ分析方法。
【請求項11】
前処理部が前記大便イメージを前記大便イメージに含まれた楕円形状を基準にクロップ(crop)する前処理ステップをさらに含む請求項9に記載の大便イメージ分析方法。
【請求項12】
前記前処理ステップは、
前記前処理部が、前記大便イメージから便器の特定の地点を抽出する基準抽出ステップと、
前記前処理部が、前記大便イメージの縁のいずれかが前記便器の特定の地点を含むように、前記大便イメージをクロップ(crop)するクロッピングステップと、をさらに含む請求項11に記載の大便イメージ分析方法。
【請求項13】
通信部が、ディスプレイ部を含むユーザ端末と大便イメージを送受信する送受信ステップと、
前記ディスプレイ部が、座便器の内部の特定の地点とマッチングさせるためのガイドラインを表示するガイドライン表示ステップと、をさらに含む請求項9に記載の大便イメージ分析方法。
【請求項14】
前記大便イメージまたは前記データセットを入力データとし、
前記大便状態情報または大腸状態情報を出力データとしてディープラーニングモデルを学習させる学習ステップをさらに含む請求項9に記載の大便イメージ分析方法。
【請求項15】
前記学習ステップは、
前記大腸状態情報が、前記ユーザの大腸状態の程度を示す不連続的な値である場合、
分類問題に該当する損失関数を用いて前記ディープラーニングモデルを学習させることを特徴とする請求項14に記載の大便イメージ分析方法。
【請求項16】
前記学習ステップは、
前記大腸状態情報が特定の数値を示す連続的な値である場合、
線形回帰問題に該当する損失関数を用いて前記ディープラーニングモデルを学習させることを特徴とする請求項14に記載の大便イメージ分析方法。
【請求項17】
請求項9~請求項16のいずれか一項に記載の方法を具現するためのプログラムが記録された、コンピュータで読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、大便イメージ分析システムおよび方法に関し、より詳細には、既に学習済みのディープラーニングモデルを用いてユーザの大便イメージを分析することによって、ユーザの大腸状態を導出する大便イメージ分析システムおよび方法に関する。
【背景技術】
【0002】
潰瘍性大腸炎は、大腸の粘膜または粘膜下層に限局する炎症を特徴とする原因不明の慢性炎症性腸疾患であり、直腸から連続的に大腸を侵犯し、病的な変化があちこちに散在しておらず、すべて連結されているという特徴を有する。
【0003】
また、潰瘍性大腸炎は、慢性的に大腸に炎症を起こす疾患であり、持続的な薬物治療が必要である。薬物治療を通じて炎症が調節できない場合、入院や腸切除手術または大腸がんの発症リスクの増加などの問題が発生することもある。
【0004】
大腸がんのような病気の発症を防ぐため、大腸の健康状態を定期的にモニターリングすることが好ましい。特に、大腸がんの発症リスクが大きい潰瘍性大腸炎患者の場合、大腸の状態を定期的にモニターリングすることは必須である。
【0005】
一方、従来、大腸内視鏡を通じて粘膜の炎症活性度を測定するなどの方法によって患者の大腸状態をモニターリングしてきた。しかし、大腸内視鏡は、場合によっては睡眠麻酔が必要であり、比較的多くの時間と費用がかかり、穿孔や感染のような深刻な副作用が発生することもあり、被検査者に強い不快感を感じさせるため、必要性に比べて頻繁に行われ難いという問題点がある。
【0006】
そこで、少ない費用と時間がかかり、かつ被検査者が感じる不快感を減らすことができる大腸状態モニターリング技術の開発が求められている実情である。
【先行技術文献】
【特許文献】
【0007】
【発明の概要】
【発明が解決しようとする課題】
【0008】
前述の問題を解決するために、本発明は、ユーザの大便イメージとディープラーニングモデルを用いて、ユーザの大腸状態を分析できる大便イメージ分析システムおよび方法を提供することを目的とする。
【課題を解決するための手段】
【0009】
本発明の一実施形態として、大便イメージ分析システムが提供される。
【0010】
本発明の一実施形態に係る大便イメージ分析システムは、ユーザの大便イメージを入力される入力部と、前記大便イメージを時間順に群集化してデータセットを構成するデータセット生成部と、前記データセットを分析して前記ユーザの大便状態情報または大腸状態情報を導出する分析部と、前記大便状態情報または大腸状態情報を出力する出力部と、を含んでもよい。
【0011】
本発明の一実施形態に係る大便イメージ分析システムにおいて、前記データセットは、前記ユーザの大腸内視鏡検査の直後、7日間の大便イメージを含んでもよい。
【0012】
本発明の一実施形態に係る大便イメージ分析システムは、前記大便イメージを、前記大便イメージに含まれた便器の特定の地点を基準にクロップ(crop)する前処理部をさらに含んでもよい。
【0013】
本発明の一実施形態に係る大便イメージ分析システムにおいて、前記前処理部は、前記大便イメージから便器の特定の地点を抽出し、前記大便イメージの縁のいずれかが前記便器の特定の地点を含むように、前記大便イメージをクロップ(crop)することを特徴とする。
【0014】
本発明の一実施形態に係る大便イメージ分析システムは、ディスプレイ部を含むユーザ端末と大便イメージを送受信する通信部をさらに含み、前記ディスプレイ部は、座便器の内部の特定の地点とマッチングさせるためのガイドラインを含んでもよい。
【0015】
本発明の一実施形態に係る大便イメージ分析システムは、前記分析部は、前記大便イメージまたは前記データセットを入力データとし、大便状態情報または大腸状態情報を出力データとして既に学習済みのディープラーニングモデルを含んでもよい。
【0016】
本発明の一実施形態に係る大便イメージ分析システムは、前記大腸状態情報が、前記ユーザの大腸状態の程度を示す不連続的な値である場合、前記既に学習済みのディープラーニングモデルは、分類問題に該当する損失関数を用いて学習を行うことを特徴とする。
【0017】
本発明の一実施形態に係る大便イメージ分析システムは、前記大腸状態情報が特定の数値を示す連続的な値である場合、前記既に学習済みのディープラーニングモデルは、線形回帰問題に該当する損失関数を用いて学習を行うことを特徴とする。
【0018】
本発明の一実施形態として、大便イメージ分析方法が提供される。
【0019】
本発明の一実施形態に係る大便イメージ分析方法は、入力部が、ユーザの大便イメージを入力される入力ステップと、データセット構成部が、前記大便イメージを時間順に群集化してデータセットを構成するデータセット生成ステップと、分析部が、前記データセットを分析して前記ユーザの大便状態情報または大腸状態情報を導出する分析ステップと、出力部が前記大便状態情報または大腸状態情報を出力する出力ステップと、を含んでもよい。
【0020】
本発明の一実施形態に係る大便イメージ分析方法において、前記データセットは、前記ユーザの大腸内視鏡検査の直後、7日間の大便イメージを含んでもよい。
【0021】
一実施形態に係る大便イメージ分析方法は、前処理部が前記大便イメージを前記大便イメージに含まれた便器の特定の地点を基準にクロップ(crop)する前処理ステップをさらに含んでもよい。
【0022】
本発明の一実施形態に係る大便イメージ分析方法において、前記前処理ステップは、前記前処理部が前記大便イメージから前記便器の特定の地点を抽出する基準抽出ステップと、前記前処理部が、前記大便イメージの縁のいずれかが前記便器の特定の地点を含むように、前記大便イメージをクロップ(crop)するクロッピングステップと、をさらに含んでもよい。
【0023】
本発明の一実施形態に係る大便イメージ分析方法は、通信部が、ディスプレイ部を含むユーザ端末と大便イメージを送受信するイメージ送受信ステップと、前記ディスプレイ部が、座便器の内部の特定の地点とマッチングさせるためのガイドラインを表示するガイドライン表示ステップと、をさらに含んでもよい。
【0024】
本発明の一実施形態に係る大便イメージ分析方法は、前記大便イメージまたは前記データセットを入力データとし、前記大便状態情報または大腸状態情報を出力データとしてディープラーニングモデルを学習させる学習ステップをさらに含んでもよい。
【0025】
本発明の一実施形態に係る大便イメージ分析方法において、前記学習ステップは、前記大腸状態情報が、前記ユーザの大腸状態の程度を示す不連続的な値である場合、分類問題に該当する損失関数を用いて前記ディープラーニングモデルを学習させることを特徴とする。
【0026】
本発明の一実施形態に係る大便イメージ分析方法において、前記学習ステップは、前記大腸状態情報が特定の数値を示す連続的な値である場合、線形回帰問題に該当する損失関数を用いて前記ディープラーニングモデルを学習させることを特徴とする。
【0027】
本発明の一実施形態として、前述の方法を具現するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体が提供される。
【発明の効果】
【0028】
本発明の一実施形態によると、大腸内視鏡を行うことなく、大便のカメラ映像から潰瘍性大腸炎の内視鏡活性度を予測することができる。
【0029】
また、本発明の一実施形態によると、病院に行かずに自宅でも大便イメージを撮影する簡単な方法でユーザの大腸状態をモニターリングすることができる。
【0030】
また、本発明の一実施形態によると、挙動が不便であるか、病院へのアクセスが容易でない場所に居住するユーザも、自分の大腸の状態をモニターリングすることができるという利点がある。
【0031】
本開示で得られる効果は、以上で言及した効果に制限されず、言及されていない他の効果は、以下の記載から本開示の属する技術分野における通常の知識を有する者に明確に理解できるだろう。
【図面の簡単な説明】
【0032】
【
図1】本発明の一実施形態に係る大便イメージ分析システムのブロック図である。
【
図2】本発明の一実施形態に係る前処理部による前処理過程の一例である。
【
図3】本発明の一実施形態に係る通信部を通じて表示されたガイドラインを含むユーザ端末のディスプレイを示す。
【
図4】本発明の一実施形態に係るディープラーニングモデルの訓練用データの一例である。
【
図5】分類問題に該当する損失関数を用いて学習を行うディープラーニングモデルの構造を示す。
【
図6】線形回帰問題(Mean square error)に該当する損失関数を用いて学習を行うディープラーニングモデルの構造を示す。
【
図7】分類問題に該当する損失関数を用いて学習済みのディープラーニングモデルを用いてユーザの大腸状態を評価する過程の一例示図である。
【
図8】線形回帰問題に該当する損失関数を用いて学習済みのディープラーニングを用いてユーザの大腸状態を評価する過程の一例示図である。
【
図9】本発明の一実施形態に係る大便イメージ分析方法のフローチャートである。
【発明を実施するための形態】
【0033】
以下では、添付の図面を参照して、本発明の属する技術分野における通常の知識を有する者が容易に実施できるように本発明の実施形態を詳細に説明する。しかし、本発明は、様々な異なる形態で具現することができ、ここで説明する実施形態に限定されない。なお、図面で本発明を明確に説明するために、説明と関係のない部分は省略し、明細書全体を通して類似の部分には類似の参照番号を付けた。
【0034】
本明細書で使用される用語について簡単に説明し、本発明について具体的に説明することにする。
【0035】
本発明で使用される用語は、本発明における機能を考慮すると共にできる限り現在広く使用されている一般的な用語を選択しているが、これは、当分野に従事する技術者の意図または判例、新しい技術の出現などによって変わることもある。また、特定の場合は出願人が任意に選定した用語もあり、この場合、該当する発明の説明部分でその意味を詳細に記載する。したがって、本発明で使用される用語は、単なる用語の名称ではなく、その用語が有する意味と本発明の全般にわたる内容に基づいて定義されるべきである。
【0036】
明細書全体において、ある部分がある構成要素を「含む」というとき、これは、特に反対の記載がない限り、他の構成要素を除外することではなく、他の構成要素をさらに含んでもよいことを意味する。また、本明細書に記載された「~部」、「モジュール」などの用語は、少なくとも1つの機能または動作を処理する単位を意味し、これは、ハードウェアまたはソフトウェアで具現するか、ハードウェアとソフトウェアとの結合で具現することもできる。また、明細書全体において、ある部分が他の部分と「連結」されているとするとき、これには、「直接に連結」されている場合だけでなく、「その中間に他の素子を挟んで」連結されている場合も含む。
【0037】
以下、添付の図面を参考にして本発明を詳細に説明することにする。
【0038】
図1は、本発明の一実施形態に係る大便イメージ分析システムのブロック図である。
【0039】
図1を参照すると、本発明の一実施形態に係る大便イメージ分析システムは、入力部100、データセット生成部200、分析部300および出力部400を含んでもよい。
【0040】
前記入力部100は、ユーザの大便イメージを入力されてもよい。このとき、前記大便イメージは、ユーザ端末を通じて得られたユーザの大便が含まれた便器イメージを意味する。
【0041】
前記データセット生成部200は、大便イメージを時間順に群集化してデータセットを生成することができる。
【0042】
実施形態によると、前記データセットは前記ユーザの大腸内視鏡検査の直後、7日間の大便イメージを1つのデータセットにグループ化したことを意味する。つまり、本発明の実施形態に係るデータセットは、7日間の大便の変化に関連する情報または内視鏡の回数に関する情報を含むことができる。
【0043】
前記分析部300は、データセットを分析して前記ユーザの大便状態情報または大腸状態情報を導出することができる。
【0044】
ここで、大便状態情報は、大便の色情報またはテクスチャ情報を含んでもよい。例えば、大便の色情報は黄色、茶色、赤色または黒赤色を含んでもよく、テクスチャ情報は下痢、定常、非常に硬い、硬い、若干硬い、普通、若干水っぽい、水っぽいまたは非常に水っぽいを含んでもよいが、これに限定されるものではない。
【0045】
また、大腸状態情報は、大腸に関連する疾患および当該疾患の進行の程度を示すことができる。例えば、大腸がんの初期、大腸がん中期、大腸がん末期、潰瘍性大腸炎の軽症、潰瘍性大腸炎の中等症、潰瘍性大腸炎の重症または潰瘍性大腸炎の危篤などの情報を含んでもよいが、これに限定されるものではない。
【0046】
前記出力部400は、大便状態情報または大腸状態情報を出力することができる。実施形態によると、前記出力部400は、大便状態情報または大腸状態情報をユーザ端末に含まれたディスプレイ部に出力することができる。
【0047】
つまり、本発明の一実施形態に係る大便イメージ分析システムは、大腸内視鏡に関連する一切の医療行為(例えば、疾患の診断および分析、治療、検査、大腸内視鏡のための腸管洗浄など)に拡張または適用が可能である。
【0048】
一方、本発明の一実施形態に係る大便イメージ分析システムは、前処理部500をさらに含んでもよい。以下、
図2および
図3を参照して、本発明の実施形態に係る前処理部500について説明する。
【0049】
図2は、本発明の一実施形態に係る前処理部500による前処理過程の一例である。
【0050】
図2を参照すると、本発明の実施形態に係る前処理部500は、大便イメージを前記大便イメージに含まれた便器の特定の地点を基準にクロップ(crop)することができる。
【0051】
ここで、クロップ(crop)は写真編集技術の一つであって、写真を希望のサイズに合わせるようにサイズをトリミング(trimming)することを意味する。
【0052】
実施形態によると、前記前処理部500は、前記大便イメージから便器の特定の地点を抽出し、前記大便イメージの縁のいずれかが前記便器の特定の地点を含むように、前記大便イメージをクロップ(crop)することを特徴とする。
【0053】
ここで、大便器の特定の地点は、座便器の構成要素のうち、便座の内部楕円形または座便器の内部に存在する水の縁を意味するものであってもよい。
【0054】
図2(a)は、大便イメージを座便器の便座の内部楕円形状を基準にクロップ(crop)処理したイメージであり、
図2(b)は、大便イメージを座便器の内部に存在する水の縁を基準にクロップ(crop)処理したイメージである。
【0055】
ユーザ一人一人が自分の携帯電話カメラから得た大便イメージは、ユーザ、撮影場所、撮影時間に応じてデータ間の変化(距離や角度など)が大きい。これにより、前処理過程を経ていないデータを用いて大腸状態を分析する場合、分析結果に誤差が発生する確率が大きい。
【0056】
しかし、本発明の実施形態に係る前処理部500によると、データを得る過程で撮影に対する自由度(Degree of Freedom)が高いことから発生し得るデータ間の差を減らすことで、分析結果で発生し得る誤差を減らすことができる。
【0057】
図3は、本発明の一実施形態に係る通信部600を通じて表示されたガイドラインを含むユーザ端末のディスプレイを示す。
【0058】
本発明の一実施形態に係る大便イメージ分析システムは、通信部600をさらに含んでもよい。前記通信部600は、ユーザ端末などの外部装置と通信を行うための構成である。
【0059】
実施形態によると、通信部600は、有線通信および/または無線通信を通じて具現されたネットワークを基盤に外部電子機器と連結されてもよい。
【0060】
ここで、有線通信は、イーサネット(Ethernet)、光ネットワーク(optical network)、USB(Universal Serial Bus)、サンダーボルト(Thunder Bolt)などの通信方式のうち少なくとも1つを含んでもよい。
【0061】
また、無線通信は、LTE(long-term evolution)、LTE-A(LTE Advance)、5G(5th Generation)移動通信、CDMA(code division multiple access)、WCDMA(登録商標)(wideband CDMA)、UMTS(universal mobile telecommunications system)、WiBro(Wireless Broadband)、GSM(Global System for Mobile Communications)、DMA(Time Division Multiple Access)、WiFi(Wi-Fi)、WiFi Direct、Bluetooth、NFC(near field communication)、Zigbeeなどの通信方式のうち少なくとも1つを含んでもよい。
【0062】
図3を参照すると、本発明の一実施形態に係る通信部600は、ディスプレイ部11を含むユーザ端末10と大便イメージを送受信することができ、前記ディスプレイ部11は、座便器の内部の特定の地点とマッチングさせるためのガイドラインXを含んでもよい。
【0063】
図4は、本発明の一実施形態に係るディープラーニングモデルの訓練用データの一例である。
【0064】
図4(a)は、ディープラーニングモデル学習のための入力データであり、
図4(b)は、
図4(a)の各々の大便イメージに対応するユーザの内視鏡映像イメージである。
【0065】
実施形態によると、前記分析部300は、前記大便イメージまたは前記データセットを入力データとし、大便状態情報または大腸状態情報を出力データとして既に学習済みのディープラーニングモデルを含んでもよい。
【0066】
実施形態によると、前記ディープラーニングモデルは、特定の入力データが入力される場合、特定の入力データとマッチングした特定の出力データを出力するように学習されてもよい。つまり、大便イメージとそれに伴う大便または大腸状態情報をそれぞれ入力データと出力データにマッチングした後、ディープラーニングモデルを学習させることができる。
【0067】
実施形態によると、前記大便イメージは、ユーザ端末10などに含まれたカメラのような映像撮影装置を通じて得られたイメージを意味し、例えば、
図4(a)のように座便器などに存在する大便を撮影したイメージを意味するものであってもよい。
【0068】
図4(a)および
図4(b)を参照すると、ユーザの大便状態は、当該ユーザの大腸の状態と関連性があることが分かる。したがって、大便の状態を分析することによって、大腸の健康状態情報が分かる。
【0069】
実施形態によると、前記大便状態情報は、Myo score、大便の回数、血便、Mayo endoscopic subscore、PGA、UCEIS、Vascular score、Bleeding scoreおよびErosion/Ulcer scoreのような不連続的な値と、WBC、Hb、Platelet、ESR、serum albumin、CRPのような連続的な値とを含んでもよく、前記ディープラーニングモデルを学習させるための出力データとして用いられてもよい。
【0070】
例えば、前記出力データは、以下の[表1]または[表2]のように構成することができる。
【表1】
【表2】
【0071】
図5は、分類問題に該当する損失関数を用いて学習を行うディープラーニングモデルの構造を示し、
図6は、線形回帰問題(Mean square error)に該当する損失関数を用いて学習を行うディープラーニングモデルの構造を示す。
【0072】
図5を参照すると、本発明の実施形態に係るディープラーニングモデルは、大腸状態情報が前記ユーザの大腸状態の程度を示す不連続的な値である場合に、前記既に学習済みのディープラーニングモデルは、分類問題(Cross-entropy)に該当する損失関数を用いて学習を行うことを特徴とする。
【0073】
ここで、不連続的な値は、大腸に関連する状態の程度(例えば、潰瘍性大腸炎の程度)を示す情報を含んでもよいが、これに限定されるものではない。
【0074】
図6を参照すると、本発明の実施形態に係るディープラーニングモデルは、大腸状態情報が特定の数値を示す連続的な値である場合、前記既に学習済みのディープラーニングモデルは、線形回帰問題に該当する損失関数を用いて学習を行うことを特徴とする。
【0075】
ここで、連続的な値は、ユーザの大腸の健康状態に関連する正確な数値を示す情報を含んでもよいが、これに限定されるものではない。
【0076】
図7は、分類問題に該当する損失関数を用いて学習済みのディープラーニングモデルを用いてユーザの大腸状態を評価する過程の一例示図である。
【0077】
本発明の一実施形態に係る分類問題に該当する損失関数を用いて学習済みのディープラーニングモデルに一定期間の大便状態イメージを1つのデータセットとするデータを入力する場合、各々の大便状態イメージに対応する出力データ(
図7のProbability 1~5に該当する)が得られる。このとき、前記出力データは不連続的な値に該当し、前記出力データの値を基準に特定の疾患があるか否かを評価することができる。
【0078】
例えば、各々の出力データの値が特定の基準(
図7では、Probabilityが0.5を超える場合、異常(赤色で表示)と評価する)を満たす場合、異常と評価することができる。
【0079】
また、実施形態によると、複数の出力データの平均値が特定の基準を満たすか否か、または複数の出力データのうちの特定の基準を満たす出力データの個数を基準に特定の疾患があるか否かを評価することもできる。
【0080】
例えば、
図7のProbability 1~5のうち0.5以上であるProbabilityの個数を基準に特定の疾患の正常/異常か否かの評価を導出することもできる。
【0081】
図8は、線形回帰問題に該当する損失関数を用いて学習済みのディープラーニングを用いてユーザの大腸状態を評価する過程の一例示図である。
【0082】
本発明の一実施形態に係る線形回帰問題に該当する損失関数を用いて学習済みのディープラーニングモデルに一定期間の大便状態イメージを1つのデータセットとするデータを入力する場合、各々の大便状態イメージに対応する出力データ(
図8のvalue 1~5に該当する)が得られる。
【0083】
このとき、前記出力データは連続的な値に該当し、前記出力データは、等級化過程(Grading)を経た後、特定の疾患に該当するか否かの判断基準として用いられる。つまり、前記出力データ(value)は、臨床医の判断によって2~Nの等級に区分することができる。
【0084】
例えば、線形回帰問題に該当する損失関数を用いて学習済みのディープラーニングの出力データは、
図8に示しているように0等級~2等級に区分することができる。
【0085】
また、実施形態によると、複数の出力データの等級が特定の基準を満たすか否か、または複数の出力データの等級のうちの特定の基準を満たすものの個数を基準に特定の疾患があるか否かを評価することもできる。
【0086】
本発明の一実施形態に係る方法に関連しては、前述のシステムに関する内容を適用することができる。以下では、方法に関連して前述のシステムに関する内容と同一の内容については説明を省略する。
【0087】
図9は、本発明の一実施形態に係る大便イメージ分析方法のフローチャートである。
【0088】
図9を参照すると、本発明の一実施形態に係る大便イメージ分析方法は、入力ステップS100、データセット生成ステップS200、分析ステップS300および出力ステップS400を含んでもよい。
【0089】
前記入力ステップS100では、入力部100がユーザの大便イメージを入力されてもよい。
【0090】
前記データセット生成ステップS200では、データセット生成部200が、前記大便イメージを時間順に群集化してデータセットを構成してもよい。
【0091】
実施形態によると、前記データセットは、前記ユーザの大腸内視鏡検査の直後、7日間の大便イメージを含んでもよい。
【0092】
前記分析ステップS300では、分析部300が、前記データセットを分析して前記ユーザの大便状態情報または大腸状態情報を導出することができる。
【0093】
前記出力ステップS400では、出力部400が、前記大便状態情報または大腸状態情報を出力することができる。
【0094】
本発明の一実施形態に係る大便イメージ分析方法は、前処理ステップをさらに含んでもよい。
【0095】
前記前処理ステップでは、前処理部500が前記大便イメージを、前記大便イメージに含まれた便器の特定の地点を基準にクロップ(crop)することができる。
【0096】
実施形態によると、前記前処理ステップは、基準抽出ステップと、クロッピングステップと、をさらに含んでもよい。
【0097】
前記基準抽出ステップでは、前記前処理部500が、前記大便イメージから前記便器の特定の地点を抽出することができる。
【0098】
前記クロッピングステップでは、前記前処理部500が、前記大便イメージの縁のいずれかが前記便器の特定の地点を含むように、前記大便イメージをクロップ(crop)することができる。
【0099】
本発明の一実施形態に係る大便イメージ分析方法は、送受信ステップと、ガイドライン表示ステップと、をさらに含んでもよい。
【0100】
前記送受信ステップでは、通信部600が、ディスプレイ部11を含むユーザ端末10と大便イメージを送受信することができる。
【0101】
前記ガイドライン表示ステップでは、ディスプレイ部11が座便器の内部の特定の地点とマッチングさせるためのガイドラインXを表示することができる。
【0102】
本発明の一実施形態に係る大便イメージ分析方法は、学習ステップをさらに含んでもよい。
【0103】
前記学習ステップは、大便イメージまたは前記データセットを入力データとし、前記大便状態情報または大腸状態情報を出力データとしてディープラーニングモデルを学習させることができる。
【0104】
実施形態によると、前記学習ステップは、前記大腸状態情報が、前記ユーザの大腸状態の程度を示す不連続的な値である場合、分類問題に該当する損失関数を用いて前記ディープラーニングモデルを学習させることを特徴とする。
【0105】
実施形態によると、前記学習ステップは、前記大腸状態情報が特定の数値を示す連続的な値である場合、線形回帰問題に該当する損失関数を用いて前記ディープラーニングモデルを学習させることを特徴とする。
【0106】
一方、前述の方法は、コンピュータで実行可能なプログラムに作成可能であり、コンピュータで読み取り可能な記録媒体を用いて前記プログラムを動作させる汎用デジタルコンピュータで具現することができる。また、前述の方法で使用されるデータの構造は、コンピュータで読み取り可能な記録媒体に様々な手段を通じて記録することができる。前記コンピュータで読み取り可能な記録媒体は、磁気記憶媒体(例えば、ROM、RAM、USB、フロッピーディスク、ハードディスクなど)、光学的読み取り媒体(例えば、CD-ROM、DVDなど)のような記憶媒体を含む。
【0107】
前述の本発明の説明は例示のためのものであり、本発明の属する技術分野における通常の知識を有する者は、本発明の技術的思想や必須の特徴を変更することなく、他の具体的な形態に容易に変形が可能であることが理解できるであろう。したがって、前述の実施形態は、あらゆる面で例示的なものであって、限定的ではないものと理解すべきである。例えば、単一形で説明されている各構成要素は分散して実施することもあり、同様に分散されたものと記載されている構成要素も結合した形態で実施することもある。
【0108】
本発明の範囲は、前記の詳細な説明よりは、後述する特許請求の範囲によって示され、特許請求の範囲の意味および範囲、並びにその均等な概念から導出されるすべての変更または変形された形態が、本発明の範囲に含まれるものと解釈されるべきである。
【符号の説明】
【0109】
X:ガイドライン
10:ユーザ端末
11:ディスプレイ
100:入力部
200:データセット構成部
300:分析部
400:出力部
500:前処理部
600:通信部
【外国語明細書】