(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2021-12-24
(45)【発行日】2022-01-19
(54)【発明の名称】骨年齢評価と身長予測モデルの確立方法、そのシステム及びその予測方法
(51)【国際特許分類】
G16H 50/20 20180101AFI20220112BHJP
A61B 6/00 20060101ALI20220112BHJP
G06N 3/08 20060101ALI20220112BHJP
【FI】
G16H50/20
A61B6/00 350Z
A61B6/00 360Z
G06N3/08
(21)【出願番号】P 2020528374
(86)(22)【出願日】2018-08-01
(86)【国際出願番号】 CN2018097915
(87)【国際公開番号】W WO2020024127
(87)【国際公開日】2020-02-06
【審査請求日】2020-05-28
(73)【特許権者】
【識別番号】516144245
【氏名又は名称】中國醫藥大學附設醫院
【氏名又は名称原語表記】China Medical University Hospital
(74)【代理人】
【識別番号】100102842
【氏名又は名称】葛和 清司
(72)【発明者】
【氏名】サイ、フゥ-ジェン
(72)【発明者】
【氏名】フアン、ズング-チ
(72)【発明者】
【氏名】リャオ、ケン イン-カイ
(72)【発明者】
【氏名】ユ、ジアシン
【審査官】岡北 有平
(56)【参考文献】
【文献】中国特許出願公開第108334899(CN,A)
【文献】特表2004-535882(JP,A)
【文献】米国特許出願公開第2014/0081146(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G16H 10/00 - 80/00
A61B 6/00
G06N 3/08
(57)【特許請求の範囲】
【請求項1】
骨年齢身長マップデータ集合と、生理的年齢情報及び性別情報を含有する複数の手骨X線画像の参照データと、を含む参照データベースを取得する工程と、
標準化された複数の手骨X線画像データを取得するために、画像データ編集モジュールによって各前記手骨X線画像の参照データの画像サイズ及び画像の白黒コントラストを調整し、更に、各前記手骨X線画像の参照データに対して画像彩度補正処理を行う画像前処理工程と、
特徴選択モジュールによって前記標準化された複数の手骨X線画像データを分析して少なくとも1つの画像特徴値を得る特徴選択工程と、
前記少なくとも1つの画像特徴値を畳み込みニューラルネットワーク学習分類子、ここにおいて前記畳み込みニューラルネットワーク学習分類子は、Inception-ResNet-v2畳み込みニューラルネットワークであり、によってトレーニングして収束を達成して、被験者の手骨の発達状態、前記被験者の骨年齢を判断して前記被験者の成人身長を予測するための骨年齢評価と身長予測モデルを得るトレーニング工程と、
で確立されることを特徴とする骨年齢評価と身長予測モデル
の確立方法。
【請求項2】
前記複数の手骨X線画像の参照データの画像フォーマットは、デジタル医療画像通信標準規格の画像フォーマットであることを特徴とする請求項1に記載の骨年齢評価と身長予測モデル
の確立方法。
【請求項3】
前記骨年齢身長マップデータ集合は、男性の骨年齢身長マップデータサブ集合及び女性の骨年齢身長マップデータサブ集合を含むことを特徴とする請求項1に記載の骨年齢評価と身長予測モデル
の確立方法。
【請求項4】
各前記手骨X線画像の参照データは、非利き手の手骨X線画像の参照データであることを特徴とする請求項1に記載の骨年齢評価と身長予測モデル
の確立方法。
【請求項5】
請求項1に記載の骨年齢評価と身長予測モデルを提供する工程と、
生理的年齢情報及び性別情報を含む、被験者の対象手骨X線画像データを提供する工程と、
標準化された対象手骨X線画像データを取得するために、前記画像データ編集モジュールによって前記対象手骨X線画像データの画像サイズ及び画像の白黒コントラストを調整し、更に、各前記手骨X線画像の参照データに対して画像彩度補正処理を行う前処理を、前記対象手骨X線画像データに対して行う工程と、
前記特徴選択モジュールによって前記標準化された対象手骨X線画像データを分析して少なくとも1つの画像特徴値を得る工程と、
前記骨年齢評価と身長予測モデルによって前記少なくとも1つの画像特徴値を分析して、前記被験者の手骨の発達状態、前記被験者の骨年齢を判断して前記被験者の成人身長を予測する工程と、
を備えることを特徴とする骨年齢評価と身長予測方法。
【請求項6】
前記対象手骨X線画像データの画像フォーマットは、デジタル医療画像通信標準規格の画像フォーマットであることを特徴とする請求項5に記載の骨年齢評価と身長予測方法。
【請求項7】
前記対象手骨X線画像データは、非利き手の対象手骨X線画像データであることを特徴とする請求項5に記載の骨年齢評価と身長予測方法。
【請求項8】
生理的年齢情報及び性別情報を含有する被験者の対象手骨X線画像データを取得するための画像キャプチャユニットと、
前記画像キャプチャユニットに通信可能に接続され、プログラムを保存することに用いられ、前記プログラムが処理ユニットによって実行される場合に、前記被験者の手骨の発達状態、前記被験者の骨年齢を評価し前記被験者の成人身長を予測することに用いられる非一時的機械可読媒体と、
を備え、且つ
前記プログラムは、
骨年齢身長マップデータ集合と、生理的年齢情報及び性別情報を含有する複数の手骨X線画像の参照データと、を含む参照データベースを取得するための参照データベース取得モジュールと、
標準化された複数の手骨X線画像データを取得するために、各前記手骨X線画像の参照データの画像サイズ及び画像の白黒コントラストを調整し、各前記手骨X線画像の参照データに対して画像彩度補正処理を行う第1の画像データ編集モジュールと、
前記標準化された複数の手骨X線画像データを分析して少なくとも1つの参照画像特徴値を得るための特徴選択モジュールと、
前記少なくとも1つの参照画像特徴値を畳み込みニューラルネットワーク学習分類子によってトレーニングして収束を達成して、骨年齢評価と身長予測モデルを得るトレーニングモジュール、ここにおいて前記畳み込みニューラルネットワーク学習分類子は、Inception-ResNet-v2畳み込みニューラルネットワークである、と、
標準化された対象手骨X線画像データを取得するために、前記対象手骨X線画像データの画像サイズ及び画像の白黒コントラストを調整し、各前記手骨X線画像の参照データに対して画像彩度補正処理を行う第2の画像データ編集モジュールと、
前記標準化された対象手骨X線画像データを分析して少なくとも1つの対象画像特徴値を得るための対象特徴選択モジュールと、
前記少なくとも1つの対象画像特徴値を前記骨年齢評価と身長予測モデルで分析して、対象画像特徴値重み付けデータを得、前記対象画像特徴値重み付けデータと前記参照データベースとを比較して、前記被験者の手骨の発達状態の判定結果、前記被験者の骨年齢判定結果及び前記被験者の成人身長予測結果を出力する比較モジュールと、
を含むことを特徴とする骨年齢評価と身長予測システム。
【請求項9】
前記対象手骨X線画像データの画像フォーマットは、デジタル医療画像通信標準規格の画像フォーマットであり、前記複数の手骨X線画像の参照データとの画像フォーマットは、デジタル医療画像通信標準規格の画像フォーマットであることを特徴とする請求項8に記載の骨年齢評価と身長予測システム。
【請求項10】
前記骨年齢身長マップデータ集合は、男性の骨年齢身長マップデータサブ集合及び女性の骨年齢身長マップデータサブ集合を含むことを特徴とする請求項8に記載の骨年齢評価と身長予測システム。
【請求項11】
各前記手骨X線画像の参照データは、非利き手の手骨X線画像の参照データであり、前記対象手骨X線画像データは、非利き手の対象手骨X線画像データであることを特徴とする請求項8に記載の骨年齢評価と身長予測システム。
【請求項12】
前記標準化された対象手骨X線画像データが前記骨年齢評価と身長予測モデルで分析された後、アクティブな警告通知を発行するための警告モジュールを更に含むことを特徴とする請求項8に記載の骨年齢評価と身長予測システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、医療情報分析モデル、システム及び方法に関し、特に、骨年齢評価と身長予測モデル、骨年齢評価と身長予測システム及び骨年齢評価と身長予測方法に関する。
【背景技術】
【0002】
骨年齢は、人体の生理的年齢の重要な指標の1つであり、骨の成長、発達、成熟、及び老化の基準によって人体の生理的年齢を推測する。骨年齢評価(bone age assessment;BAA)は、小児科医が小児の成長と発達を解釈するために一般的に使用する通常検査であり、異なる成長段階における骨の異なる形態発現を分析して、ヒト骨の連続的と段階的な発達状態を参照することで、更に個人の成長と発達のレベル及び成熟度を更に正確に評価し、また小児被験者の成長と発達の潜在力と性的成熟の傾向を更に評価し予測することができる。
【発明の概要】
【発明が解決しようとする課題】
【0003】
公知の骨年齢評価法としては、低線量のX線で撮像するように、被験者の左手又は右手の指骨、中手骨、及び手根骨のX線画像を取得して、前記X線画像をGreulich and Pyle(G-P)方法とTanner-Whitehouse(TW)方法によってマップ比較で骨年齢評価を実行するものがある。G-P方法は、操業上、被験者の手骨の元のX線画像とデータベースにおける手骨X線画像とを異なる年齢別に1対1で人為的に比較するものである。TW方法は、左手のひらと左手首の手骨のX線画像における20個の関心領域(Regions of Interests;ROI)を1つずつ比較して分析して、後の評価を行うように、手骨の発達状況を9つの成熟度レベルに分けるものである。しかしながら、G-P方法によって骨年齢評価を行う場合、同じ被験者の骨年齢の評価結果は、異なる分析者の異なる比較習慣によって異なることがよくあるが、TW方法によって骨年齢の評価を行う場合に得られる骨年齢の評価結果は、より客観的であるが、採点する必要のある骨が多く、プロセスも面倒で時間がかかるため、被験者の手骨の元のX線画像を短時間で分析して、対応する骨年齢の評価結果をリアルタイムで取得することはできない。
【0004】
従って、高精度で迅速に検出できる骨年齢評価及び身長予測システムを如何に開発するかは、商業的価値のある技術的な課題となる。
【課題を解決するための手段】
【0005】
本発明の目的は、骨年齢評価及び身長予測の精度と感度を効果的に向上させ、骨年齢評価及び身長予測の判定時間を短くすることのできる骨年齢評価と身長予測モデル、そのシステム及びその予測方法を提供することにある。
【0006】
本発明の一態様は、骨年齢身長マップデータ集合と、生理的年齢情報及び性別情報を含有する複数の手骨X線画像の参照データと、を含む参照データベースを取得する工程と、標準化された複数の手骨X線画像データを取得するために、画像データ編集モジュールによって各手骨X線画像の参照データの画像サイズ及び画像の白黒コントラストを調整する画像前処理工程と、特徴選択モジュールによって標準化された複数の手骨X線画像データを分析して少なくとも1つの画像特徴値を得る特徴選択工程と、画像特徴値を畳み込みニューラルネットワーク学習分類子によってトレーニングして収束を達成して、被験者の手骨の発達状態、被験者の骨年齢を判断し、また被験者の成人身長を予測するための骨年齢評価と身長予測モデルを得るトレーニング工程と、で確立される骨年齢評価と身長予測モデルを提供することにある。
【0007】
前記の骨年齢評価と身長予測モデルによれば、畳み込みニューラルネットワーク学習分類子は、Inception-ResNet-v2畳み込みニューラルネットワークであってよい。
【0008】
前記の骨年齢評価と身長予測モデルによれば、手骨X線画像の参照データの画像フォーマットは、デジタル医療画像通信標準規格(Digital Imaging and Communications in Medicine;DICOM)の画像フォーマットであってよい。
【0009】
前記の骨年齢評価と身長予測モデルによれば、画像前処理工程は、更に、各手骨X線画像の参照データに対して画像彩度補正処理を行ってもよい。
【0010】
前記の骨年齢評価と身長予測モデルによれば、骨年齢身長マップデータ集合は、男性の骨年齢身長マップデータサブ集合及び女性の骨年齢身長マップデータサブ集合を含んでよい。
【0011】
前記の骨年齢評価と身長予測モデルによれば、各手骨X線画像の参照データは、非利き手の手骨X線画像の参照データであってよい。
【0012】
本発明の別の一態様は、前段に記載の骨年齢評価と身長予測モデルを提供する工程と、生理的年齢情報及び性別情報を含む、被験者の対象手骨X線画像データを提供する工程と、標準化された対象手骨X線画像データを取得するために、画像データ編集モジュールによって対象手骨X線画像データの画像サイズ及び画像の白黒コントラストを調整する前処理を、対象手骨X線画像データに対して行う工程と、前記特徴選択モジュールによって標準化された対象手骨X線画像データを分析して少なくとも1つの画像特徴値を得る工程と、前記骨年齢評価と身長予測モデルによって画像特徴値を分析して、被験者の手骨の発達状態、被験者の骨年齢を判断し、また被験者の成人身長を予測する工程と、を備える骨年齢評価と身長予測方法を提供することにある。
【0013】
前記の骨年齢評価と身長予測方法によれば、対象手骨X線画像データの画像フォーマットは、デジタル医療画像通信標準規格の画像フォーマットであってよい。
【0014】
前記の骨年齢評価と身長予測方法によれば、画像データ編集モジュールは、更に、対象手骨X線画像データに対して画像彩度補正処理を行ってもよい。
【0015】
前記の骨年齢評価と身長予測方法によれば、前記の対象手骨X線画像データは、非利き手の対象手骨X線画像データであってよい。
【0016】
本発明の更なる一態様は、生理的年齢情報及び性別情報を含有する被験者の対象手骨X線画像データを取得するための画像キャプチャユニットと、前記画像キャプチャユニットに通信可能に接続され、プログラムを保存することに用いられ、前記プログラムが処理ユニットによって実行される場合に、被験者の手骨の発達状態、被験者の骨年齢を評価し被験者の成人身長を予測することに用いられる非一時的機械可読媒体と、を備え、且つプログラムは、骨年齢身長マップデータ集合と、生理的年齢情報及び性別情報を含有する複数の手骨X線画像の参照データと、を含む参照データベースを取得するための参照データベース取得モジュールと、標準化された複数の手骨X線画像データを取得するために、各手骨X線画像の参照データの画像サイズ及び画像の白黒コントラストを調整する第1の画像データ編集モジュールと、標準化された手骨X線画像データを分析して少なくとも1つの参照画像特徴値を得るための特徴選択モジュールと、前記の参照画像特徴値を畳み込みニューラルネットワーク学習分類子によってトレーニングして収束を達成して、骨年齢評価と身長予測モデルを得るトレーニングモジュールと、標準化された対象手骨X線画像データを取得するために、対象手骨X線画像データの画像サイズ及び画像の白黒コントラストを調整する第2の画像データ編集モジュールと、標準化された対象手骨X線画像データを分析して少なくとも1つの対象画像特徴値を得るための対象特徴選択モジュールと、前記の少なくとも1つの対象画像特徴値を骨年齢評価と身長予測モデルで分析して、対象画像特徴値重み付けデータを得、前記の少なくとも1つの対象画像特徴値重み付けデータと参照データベースとを比較して、被験者の手骨の発達状態の判定結果、被験者の骨年齢判定結果及び被験者の成人身長予測結果を出力する比較モジュールと、を含む骨年齢評価と身長予測システムを提供することにある。
【0017】
前記の骨年齢評価と身長予測システムによれば、畳み込みニューラルネットワーク学習分類子は、Inception-ResNet-v2畳み込みニューラルネットワークであってよい。
【0018】
前記の骨年齢評価と身長予測システムによれば、前記の対象手骨X線画像データの画像フォーマットは、デジタル医療画像通信標準規格の画像フォーマットであってよく、前記の手骨X線画像の参照データとの画像フォーマットは、デジタル医療画像通信標準規格の画像フォーマットであってよい。
【0019】
前記の骨年齢評価と身長予測システムによれば、第1の画像データ編集モジュールは、更に、各手骨X線画像の参照データに対して画像彩度補正処理を行ってよく、第2の画像データ編集モジュールは、更に、対象手骨X線画像データに対して画像彩度補正処理を行ってよい。
【0020】
前記の骨年齢評価と身長予測システムによれば、骨年齢身長マップデータ集合は、男性の骨年齢身長マップデータサブ集合及び女性の骨年齢身長マップデータサブ集合を含んでよい。
【0021】
前記の骨年齢評価と身長予測システムによれば、各手骨X線画像の参照データは、非利き手の手骨X線画像の参照データであってよく、対象手骨X線画像データは、非利き手の対象手骨X線画像データであってよい。
【0022】
前記の骨年齢評価と身長予測システムによれば、標準化された対象手骨X線画像データが骨年齢評価と身長予測モデルで分析された後、アクティブな警告通知を発行するための警告モジュールを更に含んでよい。
【発明の効果】
【0023】
これにより、本発明の骨年齢評価と身長予測モデル、骨年齢評価と身長予測システム及び骨年齢評価と身長予測方法は、手骨X線画像の参照データと対象手骨X線画像データに対して画像標準化前処理を行い、特徴選択モジュールによって分析して少なくとも1つの画像特徴値を得た後で、更に畳み込みニューラルネットワークによって画像特徴値をトレーニングして、手骨の発達状態、骨年齢及び成人身長に対して分析判断を行って、骨年齢評価と身長予測に必要な時間を効果的に短くすることができるだけでなく、公知の骨年齢評価形態における異なる分析者の特徴選択及び比較形態の異なりによる結果誤差を避けることもできる。なお、畳み込みニューラルネットワーク学習分類子を含む骨年齢評価と身長予測モデルによれば、骨年齢評価及び身長予測の精度と感度を効果的に向上させて、本発明の骨年齢評価と身長予測モデル、骨年齢評価と身長予測システム及び骨年齢評価と身長予測方法による骨年齢判断及び身長予測の点でより効率的となるようにし、異なる被験者の成長と発達のレベルや成熟度を正確に評価して、被験者の未来の成長と発達の可能性を予測することができる。
【0024】
上記の発明の内容は、読者に本開示内容を基本的に理解させるように、本開示内容の簡単な概要を提供する。本発明の内容は、本開示内容の完全な記述ではなく、また本発明実施例の重要な(又は肝心な)素子を指摘し、又は本発明の範囲を限定するものではない。
【図面の簡単な説明】
【0025】
下記の添付図面の説明は、本発明の上記及び他の目的、特徴、メリット及び実施例をより分かりやすくするためのものである。
【
図1】本発明の一実施形態に係る骨年齢評価と身長予測モデルの確立工程を示すフロー図である。
【
図2】本発明の別の実施形態に係る骨年齢評価と身長予測方法の工程を示すフロー図である。
【
図3】本発明の更なる1つの実施形態に係る骨年齢評価と身長予測システムの構造を示す模式図である。
【
図4】本発明の骨年齢評価と身長予測モデルの局部確立工程を示すフロー図である。
【
図5】本発明の骨年齢評価と身長予測モデルの畳み込みニューラルネットワーク学習分類子の構造を示す模式図である。
【
図6】本発明の骨年齢評価と身長予測システムの適用結果を示す模式図である。
【発明を実施するための形態】
【0026】
以下、本発明の各実施形態をより詳細に説明する。しかしながら、この実施形態は、様々な発明の概念の適用であってよく、様々な異なる特定の範囲で具体化されてよい。特定の実施形態は、単に説明するためのものであり、公開の範囲に限定されない。
【0027】
本発明の一実施形態に係る骨年齢評価と身長予測モデル100の確立工程を示すフロー図である
図1を参照されたい。骨年齢評価と身長予測モデル100は、被験者の手骨の発達状態、被験者の骨年齢を判断し、また被験者の成人身長を予測することに用いられ、且つ工程110、工程120、工程130及び工程140を含む。
【0028】
工程110は、骨年齢身長マップデータ集合と、生理的年齢情報及び性別情報を含有する複数の手骨X線画像の参照データと、を含む参照データベースを取得することである。好ましくは、本発明の骨年齢評価と身長予測モデル100の利き手の使用頻度又は使用習慣による骨の形態変化によりその判断精度が影響されないように、前記の手骨X線画像の参照データは、非利き手の手骨X線画像の参照データであってよい。
【0029】
好ましくは、各手骨X線画像の参照データの生理的年齢情報、性別情報等の基本データを手骨X線画像の参照データのヘッダー(header)に保存して、後の分析を容易にするように、前記の手骨X線画像の参照データの画像フォーマットは、デジタル医療画像通信標準規格(Digital Imaging and Communications in Medicine;DICOM)の画像フォーマットであってよい。なお、男性と女性の生理的成熟のプロセスが異なり、骨の発達形態及びその対応する生理的年齢も異なるため、本発明の骨年齢評価と身長予測モデル100は、更に異なる性別の手骨X線画像の参照データに対して別々に特徴選択工程とトレーニング工程を更に行って、性別ごとに手骨の発達状態、骨年齢及び成人身長の判断と予測を行うことができる。好ましくは、異なる性別の被験者を容易に分析できるように、前記の骨年齢身長マップデータ集合は、男性の骨年齢身長マップデータサブ集合及び女性の骨年齢身長マップデータサブ集合を含んでよい。
【0030】
工程120は、標準化された複数の手骨X線画像データを取得するために、画像データ編集モジュールによって各手骨X線画像の参照データの画像サイズ及び画像の白黒コントラストを調整する画像前処理工程を行うことである。詳しく言えば、画像データ編集モジュールは、異なる手骨X線画像の参照データの画像サイズをそれぞれ256ピクセル(pixel)×256ピクセルに調整してから、その白黒コントラストを調整することにより、異なる手骨X線画像の参照データ同士の白黒の色度差を減らして画像の解像度を高めて、後の分析を容易にすることができる。
【0031】
また、工程120において、画像データ編集モジュールは、更に各手骨X線画像の参照データに対して画像彩度補正処理を行うことができる。詳しく言えば、画像データ編集モジュールは、各手骨X線画像の参照データの画像階調度を計算し、前記の計算結果によって順に各手骨X線画像の参照データの画像ピクセルの行、列を自動的に色で補填して、グレースケールトーンを示す各手骨X線画像の参照データをカラートーンに変換し、更に後の分析の精度を向上させることができるが、本発明は前記説明と添付図面の公開した内容に限定されない。
【0032】
工程130は、特徴選択モジュールによって標準化された手骨X線画像データを分析して少なくとも1つの画像特徴値を得る特徴選択工程を行うことである。詳しく言えば、本発明の骨年齢評価と身長予測モデル100は、特徴選択モジュールによって標準化された手骨X線画像データの画像情報を自動的に分析を行い、対応する画像特徴値を自動的に抽出することで、本発明の骨年齢評価と身長予測モデル100の評価と予測効率を改善する。
【0033】
工程140は、前記の画像特徴値を畳み込みニューラルネットワーク学習分類子によってトレーニングして収束を達成して、骨年齢評価と身長予測モデル100を得るトレーニング工程を行うことである。好ましくは、前記の畳み込みニューラルネットワーク学習分類子は、Inception-ResNet-v2畳み込みニューラルネットワークであってよい。Inception-ResNet-v2畳み込みニューラルネットワークは、ImageNet視覚化データデータベースに基づいた大規模な視覚認識(Large Scale Visual Recognition)畳み込みニューラルネットワークであり、残差結合(Residual connections)の形態によって畳み込みニューラルネットワークのトレーニングの深さを効果的に拡張することができるため、更にInception-ResNet-v2畳み込みニューラルネットワークの画像分類と認識の点で相当高い精度を持つようになる。
【0034】
本発明の別の実施形態に係る骨年齢評価と身長予測方法200を示す工程フロー図である
図2を参照されたい。骨年齢評価と身長予測方法200は、工程210、工程220、工程230、工程240及び工程250を含む。
【0035】
工程210は、前記工程110~工程140によって確立される骨年齢評価と身長予測モデルを提供することである。
【0036】
工程220は、生理的年齢情報及び性別情報を含む、被験者の対象手骨X線画像データを提供することである。好ましくは、被験者の利き手の使用頻度又は使用習慣による骨の形態変化により骨年齢評価と身長予測方法200の分析精度が影響されないように、前記の対象手骨X線画像データは、非利き手の対象手骨X線画像データであってよい。
【0037】
好ましくは、対象手骨X線画像データの生理的年齢情報、性別情報等の基本データを対象手骨X線画像データのヘッダーに保存して、後の分析を容易にするように、前記の対象手骨X線画像データの画像フォーマットは、デジタル医療画像通信標準規格の画像フォーマットであってよい。なお、男性と女性の生理的成熟のプロセスが異なり、骨の発達形態及びその対応する生理的年齢も異なるため、本発明の骨年齢評価と身長予測方法200は、それぞれ異なる性別の対象手骨X線画像データに対して性別ごとに手骨の発達状態、骨年齢及びその成人身長の評価と分析を行う。
【0038】
工程230は、標準化された対象手骨X線画像データを取得するために、前記の画像データ編集モジュールによって対象手骨X線画像データの画像サイズ及び画像の白黒コントラストを調整する前処理を、対象手骨X線画像データに対して行うことである。詳しく言えば、画像データ編集モジュールは、対象手骨X線画像データの画像サイズを256ピクセル×256ピクセルに調整してから、その白黒コントラストを調整することにより、画像の解像度を向上させて、後の分析を容易にする。
【0039】
また、工程230において、画像データ編集モジュールは、更に対象手骨X線画像データに対して画像彩度補正処理を行うことができる。詳しく言えば、画像データ編集モジュールは、対象手骨X線画像データの画像階調度を計算し、前記の計算結果によって順に対象手骨X線画像データの画像ピクセルの行、列を自動的に色で補填して、グレースケールトーンを示す対象手骨X線画像データをカラートーンに変換し、更に後の分析の精度を向上させることができるが、本発明は前記説明と添付図面の公開した内容に限定されない。
【0040】
工程240は、特徴選択モジュールによって標準化された対象手骨X線画像データを分析して少なくとも1つの画像特徴値を得ることである。詳しく言えば、本発明の骨年齢評価と身長予測方法200は、特徴選択モジュールによって標準化された対象手骨X線画像データの画像情報に対して分析を自動的に行い、対応する画像特徴値を自動的に抽出することで、本発明の骨年齢評価と身長予測方法200の評価と予測効率を改善することができる。
【0041】
工程250は、前記の骨年齢評価と身長予測モデルによって画像特徴値を分析して、被験者の手骨の発達状態、被験者の骨年齢を判断し、また被験者の成人身長を予測することである。
【0042】
本発明の更なる1つの実施形態に係る骨年齢評価と身長予測システム300の構造を示す模式図である
図3を参照されたい。骨年齢評価と身長予測システム300は、画像キャプチャユニット400及び非一時的機械可読媒体500を含む。
【0043】
画像キャプチャユニット400は、生理的年齢情報及び性別情報を含む、被験者の対象手骨X線画像データを取得することに用いられる。詳しく言えば、画像キャプチャユニット400は、X線検査装置であってよく、被験者の手に低線量のX線を照射して、適切な解像度の対象手骨X線画像データを取得する。好ましくは、本発明の骨年齢評価と身長予測システム300の利き手の使用頻度又は使用習慣による骨の形態変化によりその分析精度が影響されないように、前記の対象手骨X線画像データは、非利き手の対象手骨X線画像データであってよい。好ましくは、対象手骨X線画像データの生理的年齢情報、性別情報等の基本データを対象手骨X線画像データのヘッダーに保存して、後の分析を容易にするように、前記の対象手骨X線画像データの画像フォーマットは、デジタル医療画像通信標準規格の画像フォーマットであってよい。
【0044】
非一時的機械可読媒体500は、画像キャプチャユニット400に通信可能に接続され、プログラム(未図示)を保存することに用いられ、前記のプログラムが処理ユニット(未図示)によって実行される場合に、被験者の手骨の発達状態、被験者の骨年齢と予測被験者の成人身長を評価することに用いられ、且つ前記のプログラムが参照データベース取得モジュール510、第1の画像データ編集モジュール520、特徴選択モジュール530、トレーニングモジュール540、第2の画像データ編集モジュール550、対象特徴選択モジュール560及び比較モジュール570を含む。
【0045】
参照データベース取得モジュール510は、骨年齢身長マップデータ集合と、生理的年齢情報及び性別情報を含有する複数の手骨X線画像の参照データと、を含む参照データベースを取得することに用いられる。好ましくは、各手骨X線画像の参照データは、非利き手の手骨X線画像の参照データであってよく、異なる性別の被験者を容易に分析できるように、前記の骨年齢身長マップデータ集合は、男性の骨年齢身長マップデータサブ集合及び女性の骨年齢身長マップデータサブ集合を含んでよい。
【0046】
好ましくは、各手骨X線画像の参照データの生理的年齢情報、性別情報等の基本データを手骨X線画像の参照データのヘッダーに保存して、後の分析を容易にするように、前記の手骨X線画像の参照データの画像フォーマットは、デジタル医療画像通信標準規格の画像フォーマットであってよい。
【0047】
第1の画像データ編集モジュール520は、標準化された複数の手骨X線画像データを取得するために、各手骨X線画像の参照データの画像サイズ及び画像の白黒コントラストを調整する。詳しく言えば、第1の画像データ編集モジュール520は、異なる手骨X線画像の参照データの画像サイズを256ピクセル×256ピクセルに調整してから、その白黒コントラストを調整することにより、異なる手骨X線画像の参照データ同士の白黒の色度差を減らして画像の解像度を高める。
【0048】
また、第1の画像データ編集モジュール520は、更に各手骨X線画像の参照データに対して画像彩度補正処理を行うことができる。詳しく言えば、第1の画像データ編集モジュール520は、各手骨X線画像の参照データの画像階調度を計算し、前記の計算結果によって順に各手骨X線画像の参照データの画像ピクセルの行、列を自動的に色で補填して、グレースケールトーンを示す各手骨X線画像の参照データをカラートーンに変換し、更に後の分析の精度を向上させることができるが、本発明は前記説明と添付図面の公開した内容に限定されない。
【0049】
特徴選択モジュール530は、標準化された手骨X線画像データを分析して少なくとも1つの参照画像特徴値を得ることに用いられる。詳しく言えば、本発明の骨年齢評価と身長予測システム300は、特徴選択モジュール530によって標準化された手骨X線画像データの画像情報を自動的に分析し、対応する画像特徴値を自動的に抽出することができる。
【0050】
トレーニングモジュール540は、前記の参照画像特徴値を畳み込みニューラルネットワーク学習分類子によってトレーニングして収束を達成して、骨年齢評価と身長予測モデルを得ることに用いられる。好ましくは、畳み込みニューラルネットワークのトレーニングの深さを効果的に拡張し、更にトレーニングモジュール540の画像分類と認識能力を向上させるように、前記の畳み込みニューラルネットワーク学習分類子は、Inception-ResNet-v2畳み込みニューラルネットワークであってよい。
【0051】
第2の画像データ編集モジュール550は、標準化された対象手骨X線画像データを取得するために、対象手骨X線画像データの画像サイズ及び画像の白黒コントラストを調整する。詳しく言えば、第2の画像データ編集モジュール550は、対象手骨X線画像データの画像サイズを256ピクセル×256ピクセルに調整してから、その白黒コントラストを調整することにより、画像の解像度を向上させ、更に前記の標準化された対象手骨X線画像データを得る。好ましくは、第2の画像データ編集モジュール550は、更に対象手骨X線画像データに対して画像彩度補正処理を行い、対象手骨X線画像データの画像階調度を計算し、前記の計算結果によって順に対象手骨X線画像データの画像ピクセルの行、列を自動的に色で補填して、グレースケールトーンを示す対象手骨X線画像データをカラートーンに変換するが、本発明は前記説明と添付図面の公開した内容に限定されない。
【0052】
対象特徴選択モジュール560は、標準化された対象手骨X線画像データを分析して少なくとも1つの対象画像特徴値を得ることに用いられる。詳しく言えば、対象特徴選択モジュール560は、標準化された対象手骨X線画像データの画像情報を自動的に分析して、対応する画像特徴値を自動的に抽出することができる。具体的に、対象特徴選択モジュール560は、対象手骨X線画像データにおける手のひら領域と背景領域を自動的に切断し、手のひら領域の画像をポジティブサンプルとして、手のひら領域外の画像をネガティブサンプルとして、前記のポジティブサンプルとネガティブサンプルを対象特徴選択モジュール560で処理された後で、標準化された対象手骨X線画像データの対象画像特徴値を得、後の分析を行う。
【0053】
比較モジュール570は、前記の対象画像特徴値を前記の骨年齢評価と身長予測モデルで分析して、対象画像特徴値重み付けデータを得、前記の対象画像特徴値重み付けデータと前記の参照データベースとを比較して、被験者の手骨の発達状態の判定結果、被験者の骨年齢判定結果及び被験者の成人身長予測結果を出力する。
【0054】
なお、男性と女性の生理的成熟のプロセスが異なり、骨の発達形態及びその対応する生理的年齢も異なるため、比較モジュール570は、更に異なる性別の被験者の標準化された対象手骨X線画像データをそれぞれ男性の骨年齢身長マップデータサブ集合又は女性の骨年齢身長マップデータサブ集合と比較して、異なる性別の被験者に対して手骨の発達状態、骨年齢及びその成人身長の分析と予測を行う。
【0055】
なお、図に示されていないが、本発明の骨年齢評価と身長予測システム300は、警告モジュール(未図示)を含んでよい。標準化された対象手骨X線画像データと骨年齢身長マップデータ集合とを比較した後で、被験者の骨年齢の比較結果が生理的年齢よりも大幅に進んでいるか遅れている場合、警告モジュールは、後で容易に治療し又は他の関連する対策を実施できるように、初期段階でアクティブな警告通知を発行する。
【0056】
上記の実施形態によれば、以下、具体的な試験例を提出して、添付図面に合わせて詳しく説明する。
<試験例>
一、参照データベース
【0057】
本発明に用いられる参照データベースは、中国医薬大学附属病院研究倫理委員会によって収集された既往の小児科骨年齢X線画像データであり、中国医薬大学附属病院研究倫理委員会(China Medical University & Hospital Research Ethics Committee)によって承認された臨床試験案であり、番号がCMUH 107-REC2-097であった。前記の参照データベースは、2758名の男性被験者及び4462名の女性被験者、合計で7220名の被験者の手骨X線画像の参照データを含み、被験者の年齢が2歳~16歳の範囲にあり、且つ各被験者の生理的年齢情報、性別情報、カルテ番号、被験者番号等の関連データを画像データのヘッダーに保存して、後の分析を容易にするように、前記の手骨X線画像の参照データの画像フォーマットの何れもデジタル医療画像通信標準規格の画像フォーマットであった。
【0058】
前記の参照データベースは、更に骨年齢身長マップデータ集合を含む。詳しく言えば、利き手の使用頻度又は使用習慣による骨の形態変化により参照データベースの信頼性が影響されないように、前記の手骨X線画像の参照データは、被験者の非利き手の手骨X線画像の参照データであり、骨年齢身長マップデータ集合は、骨成長マップ、成長曲線マップ等の参照データを含んだ。なお、異なる性別の参照被験者を分析するように、本試験例の骨年齢身長マップデータ集合は、男性の骨年齢身長マップデータサブ集合及び女性の骨年齢身長マップデータサブ集合を含んでよかった。
二、本発明の骨年齢評価と身長予測モデル
【0059】
本発明の骨年齢評価と身長予測モデル(未図示)の局部確立工程を示すフロー図である
図4を参照されたい。
図4の試験例において、手骨X線画像の参照データ611a、手骨X線画像の参照データ611bと手骨X線画像の参照データ611cを例として、本発明の骨年齢評価と身長予測モデルの操作方法及び分析形態を説明した。
【0060】
まず、前記の参照データベースを取った後、手骨X線画像の参照データ611a、手骨X線画像の参照データ611bと手骨X線画像の参照データ611cに対してそれぞれ画像前処理工程620を行って、サイズと彩度を標準化することで、標準化された手骨X線画像データ621a、標準化された手骨X線画像データ621bと標準化された手骨X線画像データ621cを取った。詳しく言えば、画像前処理工程620は、画像データ編集モジュール(未図示)によって手骨X線画像の参照データ611a、手骨X線画像の参照データ611bと手骨X線画像の参照データ611cの画像サイズを256ピクセル×256ピクセルに調整し、更にその白黒コントラストを調整することにより、画像の解像度を向上させて、異なる手骨X線画像の参照データ同士の黒白の色度差を減らした。
【0061】
好ましくは、画像データ編集モジュールは、必要に応じて更に各手骨X線画像の参照データに対して画像彩度補正処理を行い、各手骨X線画像の参照データの画像階調度を計算し、前記の計算結果によってそれぞれ手骨X線画像の参照データ611a、手骨X線画像の参照データ611bと手骨X線画像の参照データ611cの画像ピクセルの行、列を自動的に色で補填して、カラートーンに変換し、更に後の分析の精度を向上させた。
【0062】
なお、各被験者の生理的年齢情報、性別情報等の基本データが直接デジタル医療画像通信標準規格の画像フォーマットを表現する標準化された手骨X線画像データ621a、標準化された手骨X線画像データ621bと標準化された手骨X線画像データ621cのヘッダーに保存されるので、本発明の骨年齢評価と身長予測モデルは、別にラベル付け操作を人工的に実行する必要はなく、直接標準化された手骨X線画像データ621a、標準化された手骨X線画像データ621bと標準化された手骨X線画像データ621cの生理的年齢情報及び性別情報を抽出することができ、追加の分析プロセスを排除し、分析効率を向上させることに寄与した。
【0063】
画像前処理工程620による標準化された前記の手骨X線画像データ621a、標準化された手骨X線画像データ621bと標準化された手骨X線画像データ621cについては、更にそれぞれ特徴選択工程630を行って、特徴選択モジュール(未図示)によって分析して少なくとも1つの画像特徴値を得た。詳しく言えば、特徴選択モジュールは、それぞれ標準化された手骨X線画像データ621a、標準化された手骨X線画像データ621bと標準化された手骨X線画像データ621cにおける手のひら領域と背景領域を切断して、手のひら領域の画像をポジティブサンプルとして、手のひら領域外の画像をネガティブサンプルとして、前記のポジティブサンプルとネガティブサンプルを特徴選択モジュールで処理してそれぞれの画像特徴値を得た。
【0064】
次に、
図4と
図5を合せて参照すると、
図5は本発明の骨年齢評価と身長予測モデルの畳み込みニューラルネットワーク学習分類子641の構造を示す模式図である。
図5の試験例において、畳み込みニューラルネットワーク学習分類子641は、Inception-ResNet-v2畳み込みニューラルネットワークであり、画像特徴値に対してトレーニングと分析を行うように、複数の畳み込み層(Convolution)、複数の最大プーリング層(MaxPool)、複数の平均プーリング層(AvG-Pool)及び複数のカスケード層(Concat)を含んでよかった。
【0065】
画像特徴値に対してトレーニングを行う過程中に、まず、それぞれ標準化された手骨X線画像データ621a、標準化された手骨X線画像データ621bと標準化された手骨X線画像データ621cの画像特徴値に対して2層の畳み込み層及び1層の最大プーリング層(MaxPool)処理を行って、抽出された画像特徴値の最大出力を実行し、再び前記の2層の畳み込み層と1層の最大プーリング層の出力を繰り返した後、複数の畳み込み層により並列タワー(parallel towers)トレーニングして、画像特徴値の初期トレーニング(Inception)を完成した。
【0066】
前記の初期トレーニングを完成した後で、標準化された手骨X線画像データ621a、標準化された手骨X線画像データ621bと標準化された手骨X線画像データ621cの画像特徴値については、それぞれ10回(10×)、20回(20×)と10回(10×)の異なる深さ、異なるレベルと異なるアスペクトでの残差(Residual)モジュールトレーニングを行って、画像特徴値に対してトレーニングを行い収束を達成した。詳しく言えば、残差モジュールによってトレーニングすることで、畳み込みニューラルネットワーク学習分類子641が前記の画像特徴値に対して複数層のトレーニングを行った後で勾配が消える劣化現象を防ぐことができ、また畳み込みニューラルネットワーク学習分類子641のトレーニング効率を効果的に向上させることができる。
【0067】
残差モジュールのディープで繰り返したトレーニングを完了した後で、順に畳み込み層、平均プーリング層、置き換えグローバル平均プーリング(Global Average Pooling 2D;GloAvePool2D)及び線形整流ユニットトレーニング層(Rectified Linear Unit;ReLU)によって収束された画像特徴値に対して最終トレーニングと処理を行って、これにより、被験者の手骨の発達状態、被験者の骨年齢を判断し、また被験者の成人身長を予測した。平均プーリング層は、まず残差モジュールトレーニングが完成された画像特徴値を計算して、各画像特徴値の平均値を得てよいが、置き換えグローバル平均プーリング層は、畳み込みニューラルネットワーク学習分類子641のネットワーク構造全体に対して正則化(Regularization)処理をして、畳み込みニューラルネットワーク学習分類子641が低誤差を追求するトレーニングモードで過剰適合現象(Overfitting)が発生し、判定結果の誤差値が高くなりすぎて、骨年齢評価と身長予測モデルの結果が予想よりも信頼性が低くなることを防いでよかった。最後、線形整流ユニットトレーニング層は、更にトレーニング完成後の画像特徴値をアクティブ化し、対象画像特徴値重み付けデータ650を出力して、後の比較と分析を行った。前記の線形整流ユニットトレーニング層は、骨年齢評価と身長予測モデルの出力した対象画像特徴値重み付けデータ650がゼロに近づくか無限に近づくことを防ぐことができ、後の比較工程に有益であり、更に本発明の骨年齢評価と身長予測モデルの判断精度を更に向上させた。
三、本発明の骨年齢評価と身長予測モデルの被験者の手骨の発達状態、骨年齢と成人身長の判断への適用
【0068】
本試験例において、更に、確立された骨年齢評価と身長予測モデルを、被験者の手骨の発達状態、被験者の骨年齢の判断、また被験者の成人身長の予測に用いた。その工程は、以下の通りであった。前記確立された骨年齢評価と身長予測モデルを提供した。生理的年齢情報及び性別情報を含む、被験者の対象手骨X線画像データを提供した。標準化された対象手骨X線画像データを取得するために、前記の画像データ編集モジュールによって対象手骨X線画像データの画像サイズ及び画像の白黒コントラストを調整する前処理を、対象手骨X線画像データに対して行う。前記の特徴選択モジュールによって標準化された対象手骨X線画像データを分析して少なくとも1つの画像特徴値を得た。前記の骨年齢評価と身長予測モデルによって画像特徴値を分析して、被験者の手骨の発達状態、被験者の骨年齢を判断し、また被験者の成人身長を予測した。
【0069】
なお、前記確立された骨年齢評価と身長予測モデルは、被験者の手骨の発達状態の判定結果、被験者の骨年齢判定結果及び被験者の成人身長予測結果を更に参照データベースに統合して、骨年齢評価と身長予測モデルを最適化するように、本発明の骨年齢評価と身長予測システムに適用された。また、本発明の骨年齢評価と身長予測システムの細部構造については、
図3と前文に示されるので、ここで説明しない。
【0070】
本発明の骨年齢評価と身長予測システム(未図示)の適用結果700を示す模式図である
図6を参照されたい。骨年齢評価と身長予測システムは、その骨年齢評価と身長予測モデルの分析を完成した後で、更に被験者の手骨の発達状態の判定結果と被験者の骨年齢判定結果を出力して、表示モジュール(未図示)に示すことができる。
図6に示すように、本発明の骨年齢評価と身長予測システムの適用結果700は、結果フィールド701、結果フィールド702、結果フィールド703及び結果フィールド704を含んでよい。結果フィールド701は、被験者の生理的年齢情報、性別情報及びカルテ番号、被験者番号等の他の個人データを含む被験者の基本データを示すことができ、結果フィールド702は、画像前処理されていない被験者の対象手骨X線画像データであり、結果フィールド703は、骨年齢評価と身長予測モデルによって判断された被験者の骨年齢であり、結果フィールド704は、前記骨年齢評価と身長予測システムによって判断された被験者の骨年齢結果の前後12カ月の骨年齢マップであり、後で分析者が比較及び分析するために用いられる。
【0071】
なお、図に示されていないが、本発明の骨年齢評価と身長予測システムは、被験者の手骨の発達状態の判定結果及び被験者の骨年齢判定結果を更に骨年齢身長マップデータ集合の男性の骨年齢身長マップデータサブ集合又は女性の骨年齢身長マップデータサブ集合と比較して、異なる性別の被験者に対して成人身長の予測を行い、被験者の成人身長予測結果を前記の表示モジュールに同期して出力し表示することができるが、本発明は前記の説明又は図面の公開した内容に限定されない。
【0072】
また、図に示されていないが、本発明の骨年齢評価と身長予測システムは、警告モジュール(未図示)を更に含んでよい。骨年齢評価と身長予測モデルが被験者の骨年齢判定結果を出力した後で、被験者の骨年齢判断結果が被験者の生理的年齢よりも大幅に進んでいるか遅れている場合、警告モジュールは、初期段階でアクティブな警告通知を発行し、後で容易に治療し又は他の関連する対策を実施するように、結果フィールド703に赤い字で表示する。
【0073】
これにより、本発明の骨年齢評価と身長予測モデル、骨年齢評価と身長予測システム及び骨年齢評価と身長予測方法は、骨年齢評価と身長予測モデルによって自動的に被験者の対象手骨X線画像データに対して画像特徴値の抽出及びディープニューラルネットワークトレーニングして、骨年齢評価と身長予測に必要な時間を効果的に短くすることができるだけでなく、公知の骨年齢評価形態における異なる分析者の特徴選択及び比較形態の異なりによる結果誤差を避けることもできる。なお、畳み込みニューラルネットワーク学習分類子を含む骨年齢評価と身長予測モデルによれば、骨年齢評価及び身長予測の精度と感度を効果的に向上させて、本発明の骨年齢評価と身長予測モデル、骨年齢評価と身長予測システム及び骨年齢評価と身長予測方法による骨年齢判断及び身長予測の点でより効率的となるようにし、個々の症例の骨年齢判断結果に対して、適切な治療又は関連する適用措置を実施して、小児の発育阻害又は早熟に起因する疾患の発生率を低下させることができる。
【0074】
本発明は、実施形態で前述の通りに開示されたが、それらに限定されなく、業者であれば、本発明の精神と範囲から逸脱しない限り、多様の変更や修飾を加えてもよく、従って、本発明の保護範囲は、後の特許請求の範囲で指定した内容を基準とするものである。
【符号の説明】
【0075】
100 骨年齢評価と身長予測モデル
110、120、130、140 工程
200 骨年齢評価と身長予測方法
210、220、230、240、250 工程
300 骨年齢評価と身長予測システム
400 画像キャプチャユニット
500 非一時的機械可読媒体
510 参照データベース取得モジュール
520 第1の画像データ編集モジュール
530 特徴選択モジュール
540 トレーニングモジュール
550 第2の画像データ編集モジュール
560 対象特徴選択モジュール
570 比較モジュール
611a、611b、611c 手骨X線画像の参照データ
620 画像前処理工程
621a、621b、621c 標準化された手骨X線画像データ
630 特徴選択工程
641 畳み込みニューラルネットワーク学習分類子
650 対象画像特徴値重み付けデータ
700 適用結果
701、702、703、704 結果フィールド