ホーム > 特許ランキング > 中山大学中山眼科中心
知財求人 - 知財ポータルサイト「IP Force」
特開2023-37550眼科患者のプライバシーを保護する方法、装置及び記憶媒体
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023037550
(43)【公開日】2023-03-15
(54)【発明の名称】眼科患者のプライバシーを保護する方法、装置及び記憶媒体
(51)【国際特許分類】
A61B 3/10 20060101AFI20230308BHJP
G06T 7/00 20170101ALI20230308BHJP
【ＦＩ】
A61B3/10
G06T7/00 612
【審査請求】有
【請求項の数】9
【出願形態】ＯＬ
(21)【出願番号】P 2021196269
(22)【出願日】2021-12-02
(11)【特許番号】
(45)【特許公報発行日】2022-11-01
(31)【優先権主張番号】202111031513.5
(32)【優先日】2021-09-03
(33)【優先権主張国・地域又は機関】CN
(71)【出願人】
【識別番号】519228739
【氏名又は名称】中山大学中山眼科中心
(71)【出願人】
【識別番号】513322718
【氏名又は名称】清華大学
【氏名又は名称原語表記】Ｔｓｉｎｇｈｕａ Ｕｎｉｖｅｒｓｉｔｙ
【住所又は居所原語表記】Ｎｏ．１，Ｔｓｉｎｇｈｕａ Ｙｕａｎ，Ｈａｉｄｉａｎ Ｄｉｓｔｒｉｃｔ， Ｂｅｉｊｉｎｇ，１０００８４，Ｐ．Ｒ．Ｃｈｉｎａ
(74)【代理人】
【識別番号】110001139
【氏名又は名称】ＳＫ弁理士法人
(74)【代理人】
【識別番号】100130328
【弁理士】
【氏名又は名称】奥野 彰彦
(74)【代理人】
【識別番号】100130672
【弁理士】
【氏名又は名称】伊藤 寛之
(72)【発明者】
【氏名】林浩添
(72)【発明者】
【氏名】徐楓
(72)【発明者】
【氏名】楊雅涵
(72)【発明者】
【氏名】汪瑞▲シィン▼
(72)【発明者】
【氏名】呂軍鋒
【テーマコード（参考）】
4C316
5L096
【Ｆターム（参考）】
4C316AA16
4C316AA22
4C316AB16
4C316FB21
5L096BA03
5L096CA04
5L096FA69
5L096HA11
5L096KA04
(57)【要約】 （修正有）
【課題】眼科患者のプライバシーを保護する方法、装置及び記憶媒体を提供する。
【解決手段】眼科患者の検査ビデオを収集することと、検査ビデオ中の各フレームの画像の画像特徴を抽出して、画像特徴における器官位置情報に基づいて、各フレームの画像に対して領域分割を行い、領域分割の結果に基づいて精密再構成対象領域とぼかし再構成対象領域を得ることと、精密再構成対象領域とぼかし再構成対象領域に対して３次元再構成を行い、各フレームの画像に対応する３次元再構成データを得ることと、全ての３次元再構成データを３次元再構成ビデオにレンダリングすることとを含む。
【効果】眼科患者の大部分の病理学的特徴を保留しながら、眼科患者の大部分のアイデンティティ特徴を遮蔽することができ、医師による診断に影響せずに眼科患者のプライバシーを保護することができる。
【選択図】図１
【解決手段】眼科患者の検査ビデオを収集することと、検査ビデオ中の各フレームの画像の画像特徴を抽出して、画像特徴における器官位置情報に基づいて、各フレームの画像に対して領域分割を行い、領域分割の結果に基づいて精密再構成対象領域とぼかし再構成対象領域を得ることと、精密再構成対象領域とぼかし再構成対象領域に対して３次元再構成を行い、各フレームの画像に対応する３次元再構成データを得ることと、全ての３次元再構成データを３次元再構成ビデオにレンダリングすることとを含む。
【効果】眼科患者の大部分の病理学的特徴を保留しながら、眼科患者の大部分のアイデンティティ特徴を遮蔽することができ、医師による診断に影響せずに眼科患者のプライバシーを保護することができる。
【選択図】図１
【特許請求の範囲】
【請求項1】
眼科患者のプライバシーを保護する方法であって、
眼科患者の検査ビデオを収集することと、
前記検査ビデオ中の各フレームの画像の画像特徴を抽出して、前記画像特徴における器官位置情報に基づいて各フレームの前記画像に対して領域分割を行い、領域分割の結果に基づいて精密再構成対象領域とぼかし再構成対象領域を得ることと、
前記精密再構成対象領域と前記ぼかし再構成対象領域に対して３次元再構成を行い、各フレームの前記画像に対応する３次元再構成データを得ることと、
全ての前記３次元再構成データを３次元再構成ビデオにレンダリングすることとを含む、ことを特徴とする眼科患者のプライバシーを保護する方法。
眼科患者の検査ビデオを収集することと、
前記検査ビデオ中の各フレームの画像の画像特徴を抽出して、前記画像特徴における器官位置情報に基づいて各フレームの前記画像に対して領域分割を行い、領域分割の結果に基づいて精密再構成対象領域とぼかし再構成対象領域を得ることと、
前記精密再構成対象領域と前記ぼかし再構成対象領域に対して３次元再構成を行い、各フレームの前記画像に対応する３次元再構成データを得ることと、
全ての前記３次元再構成データを３次元再構成ビデオにレンダリングすることとを含む、ことを特徴とする眼科患者のプライバシーを保護する方法。
【請求項2】
前記眼科患者の検査ビデオを収集することとは、
予め設定された検査距離で斜視患者の交互遮蔽試験ビデオと二方位検査ビデオを収集することと、
甲状腺関連眼症患者の９方位検査ビデオを収集することと、
眼振患者の年齢範囲に応じて選択された対応する検査距離に基づいて、前記眼振患者の注視過程ビデオを収集することと、
上眼瞼下垂患者の筋力検査ビデオを収集することとを含む、ことを特徴とする請求項１に記載の眼科患者のプライバシーを保護する方法。
予め設定された検査距離で斜視患者の交互遮蔽試験ビデオと二方位検査ビデオを収集することと、
甲状腺関連眼症患者の９方位検査ビデオを収集することと、
眼振患者の年齢範囲に応じて選択された対応する検査距離に基づいて、前記眼振患者の注視過程ビデオを収集することと、
上眼瞼下垂患者の筋力検査ビデオを収集することとを含む、ことを特徴とする請求項１に記載の眼科患者のプライバシーを保護する方法。
【請求項3】
前記精密再構成対象領域と前記ぼかし再構成対象領域に対して３次元再構成を行い、各フレームの前記画像に対応する３次元再構成データを得ることとは、
前記画像特徴における離散特徴に基づいて離散制約項を構成するとともに、前記画像特徴における連続特徴に基づいて連続制約項を構成し、前記離散制約項と前記連続制約項を合わせて非線形最適化問題を構成し、
前記非線形最適化問題の解を求めることによって３次元再構成モデルのパラメータを確定し、
前記パラメータのうち、前記精密再構成対象領域を再構成するための第１のパラメータを求め、前記パラメータのうち、前記ぼかし再構成対象領域を再構成するための第２のパラメータを求め、
前記３次元再構成モデルのベース、前記第１のパラメータ、及び前記第２のパラメータに基づいて行列とベクトルの演算を行い、各フレームの前記画像に対応する３次元再構成データを得ることである、ことを特徴とする請求項１に記載の眼科患者のプライバシーを保護する方法。
前記画像特徴における離散特徴に基づいて離散制約項を構成するとともに、前記画像特徴における連続特徴に基づいて連続制約項を構成し、前記離散制約項と前記連続制約項を合わせて非線形最適化問題を構成し、
前記非線形最適化問題の解を求めることによって３次元再構成モデルのパラメータを確定し、
前記パラメータのうち、前記精密再構成対象領域を再構成するための第１のパラメータを求め、前記パラメータのうち、前記ぼかし再構成対象領域を再構成するための第２のパラメータを求め、
前記３次元再構成モデルのベース、前記第１のパラメータ、及び前記第２のパラメータに基づいて行列とベクトルの演算を行い、各フレームの前記画像に対応する３次元再構成データを得ることである、ことを特徴とする請求項１に記載の眼科患者のプライバシーを保護する方法。
【請求項4】
前記精密再構成対象領域と前記ぼかし再構成対象領域に対して３次元再構成を行い、各フレームの前記画像に対応する３次元再構成データを得ることとは、さらに、
事前訓練済みのニューラルネットワークを用いて前記検査ビデオ中の各フレームの画像に対して遮蔽検出を行い、各フレームの前記画像の遮蔽検出結果を得ることと、
前記遮蔽検出結果が両側遮蔽である場合、前のフレームの３次元再構成データを現在のフレームの３次元再構成データとすることとを含む、ことを特徴とする請求項１に記載の眼科患者のプライバシーを保護する方法。
事前訓練済みのニューラルネットワークを用いて前記検査ビデオ中の各フレームの画像に対して遮蔽検出を行い、各フレームの前記画像の遮蔽検出結果を得ることと、
前記遮蔽検出結果が両側遮蔽である場合、前のフレームの３次元再構成データを現在のフレームの３次元再構成データとすることとを含む、ことを特徴とする請求項１に記載の眼科患者のプライバシーを保護する方法。
【請求項5】
前記精密再構成対象領域と前記ぼかし再構成対象領域に対して３次元再構成を行い、各フレームの前記画像に対応する３次元再構成データを得ることとは、さらに、
変形転移技術を用いて眉領域の変形状態を顔モデルから前記３次元再構成データに転移することを含む、ことを特徴とする請求項１に記載の眼科患者のプライバシーを保護する方法。
変形転移技術を用いて眉領域の変形状態を顔モデルから前記３次元再構成データに転移することを含む、ことを特徴とする請求項１に記載の眼科患者のプライバシーを保護する方法。
【請求項6】
前記３次元再構成データを３次元再構成ビデオにレンダリングすることとは、予め設定された条件で、各フレームの画像の３次元再構成データを対応する２次元画像にレンダリングし、前記２次元画像に対して画像合成処理を行って３次元再構成ビデオを得ることである、ことを特徴とする請求項１に記載の眼科患者のプライバシーを保護する方法。
【請求項7】
前記予め設定された条件は、予め設定された仮想カメラ及び光照射環境を含む、ことを特徴とする請求項６に記載の眼科患者のプライバシーを保護する方法。
【請求項8】
眼科患者のプライバシー保護装置であって、
眼科患者の検査ビデオを収集するビデオ収集モジュールと、
前記検査ビデオ中の各フレームの画像の画像特徴を抽出して、前記画像特徴における器官位置情報に基づいて各フレームの前記画像に対して領域分割を行い、領域分割の結果に基づいて精密再構成対象領域とぼかし再構成対象領域を得る領域分割モジュールと、
前記精密再構成対象領域と前記ぼかし再構成対象領域に対して３次元再構成を行い、各フレームの前記画像に対応する３次元再構成データを得る３次元再構成モジュールと、
全ての前記３次元再構成データを３次元再構成ビデオにレンダリングするデータレンダリングモジュールとを含む、ことを特徴とする眼科患者のプライバシー保護装置。
眼科患者の検査ビデオを収集するビデオ収集モジュールと、
前記検査ビデオ中の各フレームの画像の画像特徴を抽出して、前記画像特徴における器官位置情報に基づいて各フレームの前記画像に対して領域分割を行い、領域分割の結果に基づいて精密再構成対象領域とぼかし再構成対象領域を得る領域分割モジュールと、
前記精密再構成対象領域と前記ぼかし再構成対象領域に対して３次元再構成を行い、各フレームの前記画像に対応する３次元再構成データを得る３次元再構成モジュールと、
全ての前記３次元再構成データを３次元再構成ビデオにレンダリングするデータレンダリングモジュールとを含む、ことを特徴とする眼科患者のプライバシー保護装置。
【請求項9】
コンピュータ読み取り可能な記憶媒体であって、
記憶されたコンピュータプログラムを含み、
前記コンピュータプログラムの実行際に、前記コンピュータ読み取り可能な記憶媒体が位置する機器を請求項１～７のいずれか１項に記載の眼科患者のプライバシーを保護する方法を実行するように制御する、ことを特徴とするコンピュータ読み取り可能な記憶媒体。
記憶されたコンピュータプログラムを含み、
前記コンピュータプログラムの実行際に、前記コンピュータ読み取り可能な記憶媒体が位置する機器を請求項１～７のいずれか１項に記載の眼科患者のプライバシーを保護する方法を実行するように制御する、ことを特徴とするコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、コンピュータグラフィックスの技術分野に関し、特に、眼科患者のプライバシーを保護する方法、装置及び記憶媒体に関する。
【背景技術】
【0002】
デジタル化が盛んになるにつれ、デジタル医療が人々の視野に入りつつある。デジタル医療とは、情報技術を医療プロセス全体に適用する新しい現代的な医療方法を指す。しかし、デジタル医療が推進される中で、いくつかのリスクや課題にも直面している。その中で、どのように患者のプライバシーをよく保護するかはデジタル医療の早急に解決すべき問題となっている。顔情報は、疾患の徴候をデジタル的に記録すると同時に、敏感な生体識別情報を保留することは避けられず、どのように技術的に両者を正確に分離するかは、現在、顔のプライバシー保護の重大な技術的な難点である。
【0003】
従来の眼科患者のプライバシーを保護する方法は、主に遮蔽処理のような手段によってアイデンティティ情報を含む画像を処理するが、この方法は、非遮蔽領域のアイデンティティ情報を除去することができず、しかも遮蔽領域に含まれる病理学的特徴情報を失う可能性が高く、そのため、医師による診断に影響せずに眼科患者のプライバシーを保護することが困難になる。
【発明の概要】
【発明が解決しようとする課題】
【0004】
本発明は、従来の眼科患者のプライバシーを保護する方法では、非遮蔽領域におけるアイデンティティ情報を除去できず、しかも遮蔽領域に含まれる病理学的特徴情報を失い、医師による診断に影響せずに眼科患者のプライバシーを保護できないという技術的課題を解決するために、眼科患者のプライバシーを保護する方法、装置及び記憶媒体を提供する。
【課題を解決するための手段】
【0005】
本発明の第１の実施例は、
眼科患者の検査ビデオを収集することと、
前記検査ビデオ中の各フレームの画像の画像特徴を抽出して、前記画像特徴における器官位置情報に基づいて各フレームの前記画像に対して領域分割を行い、領域分割の結果に基づいて精密再構成対象領域とぼかし再構成対象領域を得ることと、
前記精密再構成対象領域と前記ぼかし再構成対象領域に対して３次元再構成を行い、各フレームの前記画像に対応する３次元再構成データを得ることと、
全ての前記３次元再構成データを３次元再構成ビデオにレンダリングすることと、を含む眼科患者のプライバシーを保護する方法である。
眼科患者の検査ビデオを収集することと、
前記検査ビデオ中の各フレームの画像の画像特徴を抽出して、前記画像特徴における器官位置情報に基づいて各フレームの前記画像に対して領域分割を行い、領域分割の結果に基づいて精密再構成対象領域とぼかし再構成対象領域を得ることと、
前記精密再構成対象領域と前記ぼかし再構成対象領域に対して３次元再構成を行い、各フレームの前記画像に対応する３次元再構成データを得ることと、
全ての前記３次元再構成データを３次元再構成ビデオにレンダリングすることと、を含む眼科患者のプライバシーを保護する方法である。
【0006】
さらに、前記眼科患者の検査ビデオを収集することとは、
予め設定された検査距離で斜視患者の交互遮蔽試験ビデオと二方位検査ビデオを収集することと、
甲状腺関連眼症患者の９方位検査ビデオを収集することと、
眼振患者の年齢範囲に応じて選択された対応する検査距離に基づいて前記眼振患者の注視過程ビデオを収集することと、
上眼瞼下垂患者の筋力検査ビデオを収集することと、を含む。
予め設定された検査距離で斜視患者の交互遮蔽試験ビデオと二方位検査ビデオを収集することと、
甲状腺関連眼症患者の９方位検査ビデオを収集することと、
眼振患者の年齢範囲に応じて選択された対応する検査距離に基づいて前記眼振患者の注視過程ビデオを収集することと、
上眼瞼下垂患者の筋力検査ビデオを収集することと、を含む。
【0007】
さらに、前記精密再構成対象領域と前記ぼかし再構成対象領域に対して３次元再構成を行い、各フレームの前記画像に対応する３次元再構成データを得ることとは、具体的には、
前記画像特徴における離散特徴に基づいて離散制約項を構成するとともに、前記画像特徴における連続特徴に基づいて連続制約項を構成し、前記離散制約項と前記連続制約項とを合わせて非線形最適化問題を構成し、
前記非線形最適化問題の解を求めることによって３次元再構成モデルのパラメータを確定し、
前記パラメータのうち、前記精密再構成対象領域を再構成するための第１のパラメータを求め、前記パラメータのうち、前記ぼかし再構成対象領域を再構成するための第２のパラメータを求め、
前記３次元再構成モデルのベース、前記第１のパラメータ及び記第２のパラメータに基づいて行列とベクトルの演算を行い、各フレームの前記画像に対応する３次元再構成データを得ることである。
前記画像特徴における離散特徴に基づいて離散制約項を構成するとともに、前記画像特徴における連続特徴に基づいて連続制約項を構成し、前記離散制約項と前記連続制約項とを合わせて非線形最適化問題を構成し、
前記非線形最適化問題の解を求めることによって３次元再構成モデルのパラメータを確定し、
前記パラメータのうち、前記精密再構成対象領域を再構成するための第１のパラメータを求め、前記パラメータのうち、前記ぼかし再構成対象領域を再構成するための第２のパラメータを求め、
前記３次元再構成モデルのベース、前記第１のパラメータ及び記第２のパラメータに基づいて行列とベクトルの演算を行い、各フレームの前記画像に対応する３次元再構成データを得ることである。
【0008】
さらに、前記精密再構成対象領域と前記ぼかし再構成対象領域に対して３次元再構成を行い、各フレームの前記画像に対応する３次元再構成データを得ることとは、さらに、
事前訓練済みのニューラルネットワークを用いて前記検査ビデオ中の各フレームの画像に対して遮蔽検出を行い、各フレームの前記画像の遮蔽検出結果を得ることと、
前記遮蔽検出結果が両側遮蔽である場合、前のフレームの３次元再構成データを現在のフレームの３次元再構成データとすることと、を含む。
事前訓練済みのニューラルネットワークを用いて前記検査ビデオ中の各フレームの画像に対して遮蔽検出を行い、各フレームの前記画像の遮蔽検出結果を得ることと、
前記遮蔽検出結果が両側遮蔽である場合、前のフレームの３次元再構成データを現在のフレームの３次元再構成データとすることと、を含む。
【0009】
さらに、前記精密再構成対象領域と前記ぼかし再構成対象領域に対して３次元再構成を行い、各フレームの前記画像に対応する３次元再構成データを得る前記こととは、
変形転移技術を用いて眉領域の変形状態を顔モデルから前記３次元再構成データに転移することをさらに含む。
変形転移技術を用いて眉領域の変形状態を顔モデルから前記３次元再構成データに転移することをさらに含む。
【0010】
さらに、前記３次元再構成データを３次元再構成ビデオにレンダリングする前記こととは、具体的には
予め設定された条件で、各フレームの画像の３次元再構成データを対応する２次元画像レンダリングし、前記２次元画像に対して画像合成処理を行って３次元再構成ビデオを得ることである。
予め設定された条件で、各フレームの画像の３次元再構成データを対応する２次元画像レンダリングし、前記２次元画像に対して画像合成処理を行って３次元再構成ビデオを得ることである。
【0011】
さらに、前記予め設定された条件は、予め設定された仮想カメラ及び光照射環境を含む。
【0012】
本発明の第２の実施例は、
眼科患者の検査ビデオを収集するビデオ収集モジュールと、
前記検査ビデオ中の各フレームの画像の画像特徴を抽出して、前記画像特徴における器官位置情報に基づいて各フレームの前記画像に対して領域分割を行い、領域分割の結果に基づいて精密再構成対象領域とぼかし再構成対象領域を得る領域分割モジュールと、
前記精密再構成対象領域と前記ぼかし再構成対象領域に対して３次元再構成を行い、各フレームの前記画像に対応する３次元再構成データを得る３次元再構成モジュールと、
全ての前記３次元再構成データを３次元再構成ビデオにレンダリングするデータレンダリングモジュールとを含む、眼科患者のプライバシー保護装置を提供する。
眼科患者の検査ビデオを収集するビデオ収集モジュールと、
前記検査ビデオ中の各フレームの画像の画像特徴を抽出して、前記画像特徴における器官位置情報に基づいて各フレームの前記画像に対して領域分割を行い、領域分割の結果に基づいて精密再構成対象領域とぼかし再構成対象領域を得る領域分割モジュールと、
前記精密再構成対象領域と前記ぼかし再構成対象領域に対して３次元再構成を行い、各フレームの前記画像に対応する３次元再構成データを得る３次元再構成モジュールと、
全ての前記３次元再構成データを３次元再構成ビデオにレンダリングするデータレンダリングモジュールとを含む、眼科患者のプライバシー保護装置を提供する。
【0013】
本発明の第３の実施例は、記憶されたコンピュータプログラムを含み、前記コンピュータプログラムの実行際に、前記コンピュータ読み取り可能な記憶媒体が位置する機器を上述の眼科患者のプライバシーを保護する方法を実行するように制御するコンピュータ読み取り可能な記憶媒体を提供する。
【発明の効果】
【0014】
本発明の実施例では、上記位置情報に基づいて各フレームの画像を複数の画像領域に分割し、さらに眼科患者が罹患した疾患に必要な病理学的特徴と組み合わせて、画像領域のうち精密再構成対象領域とぼかし再構成対象領域を得て、これにより、後で精密再構成対象領域とぼかし再構成対象領域に基づいて様々な精度の３Ｄ顔再構成を行うにあたり、眼科患者の大部分の病理学的特徴を保留しながら、眼科患者の大部分のアイデンティティ特徴を遮蔽することができ、医師による診断に影響せずに眼科患者のプライバシーを保護することができる。
【図面の簡単な説明】
【0015】
【発明を実施するための形態】
【0016】
以下、本出願の実施例における図面を参照しながら、本出願の実施例の技術的解決手段を明確かつ完全に説明するが、説明する実施例は本出願の実施例の一部に過ぎず、全ての実施例ではない。当業者が本出願の実施例に基づいて創造的な努力をせずに得る他の全ての実施例は、いずれも本出願の特許範囲に属する。
【0017】
なお、本出願の説明において、「第１」、「第２」などの用語は説明するためのものに過ぎず、相対的な重要性を指示又は示唆するか、又はかかる技術的特徴の数を暗示的に示すものとして理解することはできない。そのため、「第１の」、「第２の」で限定される特徴は、１つ又は複数の該特徴を明示的又は暗示的に含めてもよい。本出願の説明において、特に断らない限り、「複数」とは、２つ又は２つ以上を意味する。
【0018】
なお、本出願の説明において、特に明確な規定や限定がない限り、「取り付ける」、「連結」、「接続」などの用語は広義に理解すべきであり、例えば、固定的に接続されてもよいし、取り外し可能に接続されてもよく、一体的に接続されてもよい。機械的に接続されてもよいし、電気的に接続されてもよい。直接連結してもよいし、中間媒体を介して連結してもよく、２つの構成部品の内部が連通してもよい。当業者であれば、具体的な状況に応じて上述用語の本出願での具体的な意味を理解できる。
【0019】
図１を参照すると、本発明の第１の実施例では、ステップＳ１～Ｓ４を含む眼科患者のプライバシーを保護する方法を提供する。
【0020】
Ｓ１．眼科患者の検査ビデオを収集する。
本発明の実施例では、眼科患者は、斜視患者、甲状腺関連眼症患者、眼振患者や上眼瞼下垂患者などを含む。検査ビデオは、撮影装置により患者の病理学的特徴を収集する際に得られてもよく、ここで、検査ビデオは、通常カラービデオであり、且つ病理学的特徴及び顔の非病理学的特徴を含む。
本発明の実施例では、眼科患者は、斜視患者、甲状腺関連眼症患者、眼振患者や上眼瞼下垂患者などを含む。検査ビデオは、撮影装置により患者の病理学的特徴を収集する際に得られてもよく、ここで、検査ビデオは、通常カラービデオであり、且つ病理学的特徴及び顔の非病理学的特徴を含む。
【0021】
Ｓ２．検査ビデオ中の各フレームの画像の画像特徴を抽出して、画像特徴における器官位置情報に基づいて、各フレームの画像に対して領域分割を行い、かつ、領域分割の結果に基づいて精密再構成対象領域とぼかし再構成対象領域を得る。
本発明の実施例では、事前訓練済みのニューラルネットワークによって各フレームの画像における、眼の位置情報、眉の位置情報、鼻の位置情報及び口の位置情報などのような顔における各器官の位置情報を含む画像特徴を自動的に抽出する。本発明の実施例では、上記位置情報に基づいて各フレームの画像を複数の画像領域に分割して、さらに眼科患者が罹患した疾患に必要な病理学的特徴と組み合わせて、画像領域のうち精密再構成対象領域とぼかし再構成対象領域を得る。なお、精密再構成対象領域は、眼科疾患を診断するための主要な病理学的特徴を含み、主に眼球とまぶたの形態及び動きの特徴を含む。一方、ぼかし再構成対象領域は、鼻や口などの眼科疾患に関連しない特徴及び眼科疾患との相関性が低いアイデンティティ特徴を含む。本発明の実施例では、領域分割の結果に基づいて精密再構成対象領域とぼかし再構成対象領域を得ることで、後で精密再構成対象領域とぼかし再構成対象領域に基づいて様々な精度の３Ｄ顔再構成を行うにあたり、眼科患者の大部分の病理学的特徴を保留しながら、眼科患者の大部分のアイデンティティ特徴を遮蔽することができ、これにより、医師による診断に影響せずに眼科患者のプライバシーを保護することができる。
本発明の実施例では、事前訓練済みのニューラルネットワークによって各フレームの画像における、眼の位置情報、眉の位置情報、鼻の位置情報及び口の位置情報などのような顔における各器官の位置情報を含む画像特徴を自動的に抽出する。本発明の実施例では、上記位置情報に基づいて各フレームの画像を複数の画像領域に分割して、さらに眼科患者が罹患した疾患に必要な病理学的特徴と組み合わせて、画像領域のうち精密再構成対象領域とぼかし再構成対象領域を得る。なお、精密再構成対象領域は、眼科疾患を診断するための主要な病理学的特徴を含み、主に眼球とまぶたの形態及び動きの特徴を含む。一方、ぼかし再構成対象領域は、鼻や口などの眼科疾患に関連しない特徴及び眼科疾患との相関性が低いアイデンティティ特徴を含む。本発明の実施例では、領域分割の結果に基づいて精密再構成対象領域とぼかし再構成対象領域を得ることで、後で精密再構成対象領域とぼかし再構成対象領域に基づいて様々な精度の３Ｄ顔再構成を行うにあたり、眼科患者の大部分の病理学的特徴を保留しながら、眼科患者の大部分のアイデンティティ特徴を遮蔽することができ、これにより、医師による診断に影響せずに眼科患者のプライバシーを保護することができる。
【0022】
Ｓ３．精密再構成対象領域とぼかし再構成対象領域に対して３次元再構成を行い、各フレームの画像に対応する３次元再構成データを得る。
本発明の実施例では、３次元再構成に際して、精密再構成対象領域に対して、比較的高い精度の３次元再構成モデルのパラメータを求め、ぼかし再構成対象領域に対して、比較的低い精度の３次元再構成モデルのパラメータを求め、３次元再構成モデルのベース及び求められたパラメータに対して行列とベクトルの演算を行い、各フレームの画像の３次元再構成データを出力する。上記３次元再構成モデルのベースは、異なるセマンティクスを有するが、同じトポロジーを有する３次元再構成モデルのテンプレートであってもよく、互いの間の線形結合により様々な３次元再構成データを構成することができ、上記行列とベクトルの演算は行列とベクトルの乗算演算であってもよい。
本発明の実施例では、３次元再構成に際して、精密再構成対象領域に対して、比較的高い精度の３次元再構成モデルのパラメータを求め、ぼかし再構成対象領域に対して、比較的低い精度の３次元再構成モデルのパラメータを求め、３次元再構成モデルのベース及び求められたパラメータに対して行列とベクトルの演算を行い、各フレームの画像の３次元再構成データを出力する。上記３次元再構成モデルのベースは、異なるセマンティクスを有するが、同じトポロジーを有する３次元再構成モデルのテンプレートであってもよく、互いの間の線形結合により様々な３次元再構成データを構成することができ、上記行列とベクトルの演算は行列とベクトルの乗算演算であってもよい。
【0023】
Ｓ４．全ての３次元再構成データを３次元再構成ビデオにレンダリングする。
【0024】
本発明の実施例では、医師による診断のために、レンダラーにより３次元再構成データを３次元再構成ビデオにレンダリングしてもよい。ビデオ再構成過程にわたって、医師はこの検査ビデオを見えず、レンダリングによる３次元再構成ビデオだけを見ることができ、即ち、この過程において、患者の大部分の顔特徴及び名前の情報などは医師により見られず、このように、眼科患者のプライバシーを効果的に保護することができる。
【0025】
一実施例では、眼科患者の検査ビデオを収集することとは、
予め設定された検査距離（一般的には、３３ｃｍである）で斜視患者の交互遮蔽試験ビデオと二方位検査ビデオを収集することと、
医師のニーズに応じて決定された、予め設定された検査距離で甲状腺関連眼症患者の９方位検査ビデオを収集することと、
眼振患者の年齢範囲に応じて対応する検査距離（一般的には、５５ｃｍである）を選択し、検査距離に基づいて眼振患者の注視過程ビデオを収集することと、
医師のニーズに応じて決定された、予め設定された検査距離で上眼瞼下垂患者の筋力検査ビデオを収集することとを含む。
予め設定された検査距離（一般的には、３３ｃｍである）で斜視患者の交互遮蔽試験ビデオと二方位検査ビデオを収集することと、
医師のニーズに応じて決定された、予め設定された検査距離で甲状腺関連眼症患者の９方位検査ビデオを収集することと、
眼振患者の年齢範囲に応じて対応する検査距離（一般的には、５５ｃｍである）を選択し、検査距離に基づいて眼振患者の注視過程ビデオを収集することと、
医師のニーズに応じて決定された、予め設定された検査距離で上眼瞼下垂患者の筋力検査ビデオを収集することとを含む。
【0026】
本発明の実施例では、検査ビデオを収集する機器は、カメラ、ビデオカメラ及びモバイル端末のうちの少なくとも１つであってもよく、しかも、収集した検査ビデオは、特徴抽出の正確性を高めるために、全てカラービデオである。
【0027】
一実施例では、精密再構成対象領域とぼかし再構成対象領域に対して３次元再構成を行い、各フレームの画像に対応する３次元再構成データを得ることとは、具体的には、
画像特徴における離散特徴に基づいて離散制約項を構成するとともに、画像特徴における連続特徴に基づいて連続制約項を構成し、離散制約項と連続制約項を合わせて非線形最適化問題を構成し、
非線形最適化問題の解を求めることによって３次元再構成モデルのパラメータを確定し、該パラメータは、具体的には、１組の形状パラメータと１組の動きパラメータを含み、
パラメータのうち、精密再構成対象領域を再構成するための第１のパラメータを求め、パラメータのうち、ぼかし再構成対象領域を再構成するための第２のパラメータを求め、
本発明の実施例では、第１のパラメータは、精度が相対的に高いパラメータであり、第２のパラメータは、精度が相対的に低いパラメータであり、第１のパラメータは、精密再構成対象領域を精密再構成するためのものであり、第２のパラメータは、ぼかし再構成対象領域をぼかし再構成するためのものであり、
３次元再構成モデルのベース、第１のパラメータ、及び第２のパラメータに基づいて行列とベクトルの演算を行い、各フレームの画像に対応する３次元再構成データを得ることである。
画像特徴における離散特徴に基づいて離散制約項を構成するとともに、画像特徴における連続特徴に基づいて連続制約項を構成し、離散制約項と連続制約項を合わせて非線形最適化問題を構成し、
非線形最適化問題の解を求めることによって３次元再構成モデルのパラメータを確定し、該パラメータは、具体的には、１組の形状パラメータと１組の動きパラメータを含み、
パラメータのうち、精密再構成対象領域を再構成するための第１のパラメータを求め、パラメータのうち、ぼかし再構成対象領域を再構成するための第２のパラメータを求め、
本発明の実施例では、第１のパラメータは、精度が相対的に高いパラメータであり、第２のパラメータは、精度が相対的に低いパラメータであり、第１のパラメータは、精密再構成対象領域を精密再構成するためのものであり、第２のパラメータは、ぼかし再構成対象領域をぼかし再構成するためのものであり、
３次元再構成モデルのベース、第１のパラメータ、及び第２のパラメータに基づいて行列とベクトルの演算を行い、各フレームの画像に対応する３次元再構成データを得ることである。
【0028】
一実施例では、精密再構成対象領域とぼかし再構成対象領域に対して３次元再構成を行い、各フレームの画像に対応する３次元再構成データを得ることとは、さらに、
事前訓練済みのニューラルネットワークを用いて検査ビデオ中の各フレームの画像に対して遮蔽検出を行い、各フレームの画像の遮蔽検出結果を得ることを含み、
具体的な一実施形態では、遮蔽検出結果は左側遮蔽、右側遮蔽、両側遮蔽及び遮蔽なしという４種類の結果を含む。
事前訓練済みのニューラルネットワークを用いて検査ビデオ中の各フレームの画像に対して遮蔽検出を行い、各フレームの画像の遮蔽検出結果を得ることを含み、
具体的な一実施形態では、遮蔽検出結果は左側遮蔽、右側遮蔽、両側遮蔽及び遮蔽なしという４種類の結果を含む。
【0029】
遮蔽検出結果が両側遮蔽である場合、前のフレームの３次元再構成データを現在のフレームの３次元再構成データとする。
【0030】
画像に両側遮蔽が存在すると検出した場合、確実ではない画像特徴による誤再構成を回避するために、前のフレームの３次元再構成データを現在のフレームの３次元再構成データとし、例えば、斜視に対する交互遮蔽試験では、両側遮蔽の場合、眼の領域が遮蔽されるが、遮蔽された領域の画像特徴が確実ではない。
【0031】
一実施例では、精密再構成対象領域とぼかし再構成対象領域に対して３次元再構成を行い、各フレームの画像に対応する３次元再構成データを得ることとは、さらに、
ラプラス変形技術（Laplacian Deformation）及び三角形メッシュ変形転移技術（Deformation Transfer for Triangle Meshes）を含む変形転移技術を用いて眉領域の変形状態を顔モデルから３次元再構成データに転移することを含む。
ラプラス変形技術（Laplacian Deformation）及び三角形メッシュ変形転移技術（Deformation Transfer for Triangle Meshes）を含む変形転移技術を用いて眉領域の変形状態を顔モデルから３次元再構成データに転移することを含む。
【0032】
眼科患者が甲状腺関連眼症に罹患している場合、甲状腺関連眼症の９方位検査では、眉の動きは甲状腺関連眼症の診断に有利である。本発明の実施例では、変形転移技術を用いて眉領域の変形状態を顔モデルから最終の３次元再構成データに転移することによって、甲状腺関連眼症の病理学的特徴を効果的に保留することができ、そして、医師による診断に影響せずに患者のプライバシーを保護することができる。
【0033】
一実施例では、３次元再構成データを３次元再構成ビデオにレンダリングすることとは、具体的には、
予め設定された条件で、各フレームの画像の３次元再構成データを対応する２次元画像にレンダリングし、２次元画像に対して画像合成処理を行って３次元再構成ビデオを得ることである。
予め設定された条件で、各フレームの画像の３次元再構成データを対応する２次元画像にレンダリングし、２次元画像に対して画像合成処理を行って３次元再構成ビデオを得ることである。
【0034】
一実施例では、予め設定された条件は、予め設定された仮想カメラ及び光照射環境を含む。
【0035】
本発明の実施例を実施すると、以下の有益な効果がある。
利点１：本発明の実施例は、病理学的特徴の大部分を保留しながら、アイデンティティ特徴のごく一部のみを保留することができ、これにより、医師による診断に影響せずに眼科患者のプライバシーを効果的に保護することができる。臨床医の試験から、本発明の実施例は、上瞼下垂、眼振、斜視、甲状腺関連性眼疾患という４種類の一般的な眼の外観に関する眼科疾患において良好なパフォーマンスを示し、日常的な診断ニーズを満たすことができる。従来の写真遮蔽、切り抜きの方法とは異なり、本発明の実施例では、最終的に得られる３次元再構成ビデオによれば、患者の親戚や友人によって患者の個人アイデンティティを識別することができず、また、本発明の実施例で最終的に得られる３次元再構成ビデオによって元の顔画像を再び復元することもできず、患者のプライバシーをさらに保護する。
利点２：本発明の実施例は、機器への要求が低く、単一視点のカラービデオを入力するだけでよく、深度カメラ又は多視点カラーカメラアレイを必要としない。
利点３：本発明の実施例の３次元再構成ビデオは、従来の２次元平面画像処理とは異なり、より多くの疾患の特徴を保留することができる。
利点４：統計学的分析により、本発明の実施例では、患者が眼部外観画像情報の収集に協力する意欲を効果的に高めることができ、それにより、医療ファイルの完備に有利であり、病状の長期追跡フォローアップを実現できることを示した。
利点５：従来の医療顔画像情報は非構造化データであり、本発明の実施例におけるデジタル化処理を経て得られた３次元再構成ビデオは、医療情報の標準化と構造化の統一に有利であり、臨床研究及び新型医学人工知能システムの開発に有利である。
利点１：本発明の実施例は、病理学的特徴の大部分を保留しながら、アイデンティティ特徴のごく一部のみを保留することができ、これにより、医師による診断に影響せずに眼科患者のプライバシーを効果的に保護することができる。臨床医の試験から、本発明の実施例は、上瞼下垂、眼振、斜視、甲状腺関連性眼疾患という４種類の一般的な眼の外観に関する眼科疾患において良好なパフォーマンスを示し、日常的な診断ニーズを満たすことができる。従来の写真遮蔽、切り抜きの方法とは異なり、本発明の実施例では、最終的に得られる３次元再構成ビデオによれば、患者の親戚や友人によって患者の個人アイデンティティを識別することができず、また、本発明の実施例で最終的に得られる３次元再構成ビデオによって元の顔画像を再び復元することもできず、患者のプライバシーをさらに保護する。
利点２：本発明の実施例は、機器への要求が低く、単一視点のカラービデオを入力するだけでよく、深度カメラ又は多視点カラーカメラアレイを必要としない。
利点３：本発明の実施例の３次元再構成ビデオは、従来の２次元平面画像処理とは異なり、より多くの疾患の特徴を保留することができる。
利点４：統計学的分析により、本発明の実施例では、患者が眼部外観画像情報の収集に協力する意欲を効果的に高めることができ、それにより、医療ファイルの完備に有利であり、病状の長期追跡フォローアップを実現できることを示した。
利点５：従来の医療顔画像情報は非構造化データであり、本発明の実施例におけるデジタル化処理を経て得られた３次元再構成ビデオは、医療情報の標準化と構造化の統一に有利であり、臨床研究及び新型医学人工知能システムの開発に有利である。
【0036】
図２を参照すると、本発明の一実施例は、
眼科患者の検査ビデオを収集するビデオ収集モジュール１０と、
検査ビデオ中の各フレームの画像の画像特徴を抽出して、画像特徴における器官位置情報に基づいて、各フレームの画像に対して領域分割を行い、領域分割の結果に基づいて精密再構成対象領域とぼかし再構成対象領域を得る領域分割モジュール２０と、
精密再構成対象領域とぼかし再構成対象領域に対して３次元再構成を行い、各フレームの画像に対応する３次元再構成データを得る３次元再構成モジュール３０と、
全ての３次元再構成データを３次元再構成ビデオにレンダリングするデータレンダリングモジュール４０とを含む眼科患者のプライバシー保護装置を提供する。
眼科患者の検査ビデオを収集するビデオ収集モジュール１０と、
検査ビデオ中の各フレームの画像の画像特徴を抽出して、画像特徴における器官位置情報に基づいて、各フレームの画像に対して領域分割を行い、領域分割の結果に基づいて精密再構成対象領域とぼかし再構成対象領域を得る領域分割モジュール２０と、
精密再構成対象領域とぼかし再構成対象領域に対して３次元再構成を行い、各フレームの画像に対応する３次元再構成データを得る３次元再構成モジュール３０と、
全ての３次元再構成データを３次元再構成ビデオにレンダリングするデータレンダリングモジュール４０とを含む眼科患者のプライバシー保護装置を提供する。
【0037】
さらに、ビデオ収集モジュール１０は、具体的には、
予め設定された検査距離で斜視患者の交互遮蔽試験ビデオと二方位検査ビデオを収集することと、
甲状腺関連眼症患者の９方位検査ビデオを収集することと、
眼振患者の年齢範囲に応じて選択された対応する検査距離に基づいて眼振患者の注視過程ビデオを収集することと、
上眼瞼下垂患者の筋力検査ビデオを収集することに用いられる。
予め設定された検査距離で斜視患者の交互遮蔽試験ビデオと二方位検査ビデオを収集することと、
甲状腺関連眼症患者の９方位検査ビデオを収集することと、
眼振患者の年齢範囲に応じて選択された対応する検査距離に基づいて眼振患者の注視過程ビデオを収集することと、
上眼瞼下垂患者の筋力検査ビデオを収集することに用いられる。
【0038】
さらに、３次元再構成モジュール３０は、具体的には、
画像特徴における離散特徴に基づいて離散制約項を構成するとともに、画像特徴における連続特徴に基づいて連続制約項を構成し、離散制約項と連続制約項を合わせて非線形最適化問題を構成し、
非線形最適化問題の解を求めることによって３次元再構成モデルのパラメータを確定し、
パラメータのうち、精密再構成対象領域を再構成するための第１のパラメータを求め、パラメータのうちぼかし再構成対象領域を再構成するための第２のパラメータを求め、
３次元再構成モデルのベース、第１のパラメータ、及び第２のパラメータに基づいて行列とベクトルの演算を行い、各フレームの画像に対応する３次元再構成データを得ることに用いられる。
画像特徴における離散特徴に基づいて離散制約項を構成するとともに、画像特徴における連続特徴に基づいて連続制約項を構成し、離散制約項と連続制約項を合わせて非線形最適化問題を構成し、
非線形最適化問題の解を求めることによって３次元再構成モデルのパラメータを確定し、
パラメータのうち、精密再構成対象領域を再構成するための第１のパラメータを求め、パラメータのうちぼかし再構成対象領域を再構成するための第２のパラメータを求め、
３次元再構成モデルのベース、第１のパラメータ、及び第２のパラメータに基づいて行列とベクトルの演算を行い、各フレームの画像に対応する３次元再構成データを得ることに用いられる。
【0039】
さらに、３次元再構成モジュール３０は、
事前訓練済みのニューラルネットワークを用いて検査ビデオ中の各フレームの画像遮蔽検出を行い、各フレームの画像の遮蔽検出結果を得て、
遮蔽検出結果が両側遮蔽である場合、前のフレームの３次元再構成データを現在のフレームの３次元再構成データとすることに用いられる。
事前訓練済みのニューラルネットワークを用いて検査ビデオ中の各フレームの画像遮蔽検出を行い、各フレームの画像の遮蔽検出結果を得て、
遮蔽検出結果が両側遮蔽である場合、前のフレームの３次元再構成データを現在のフレームの３次元再構成データとすることに用いられる。
【0040】
さらに、３次元再構成モジュール３０は、
変形転移技術を用いて眉領域の変形状態を顔モデルから３次元再構成データに転移することに用いられる。
変形転移技術を用いて眉領域の変形状態を顔モデルから３次元再構成データに転移することに用いられる。
【0041】
さらに、データレンダリングモジュール４０は、具体的には、
予め設定された条件で、各フレームの画像の３次元再構成データを対応する２次元画像にレンダリングし、２次元画像に対して画像合成処理を行って３次元再構成ビデオを得ることに用いられる。
予め設定された条件で、各フレームの画像の３次元再構成データを対応する２次元画像にレンダリングし、２次元画像に対して画像合成処理を行って３次元再構成ビデオを得ることに用いられる。
【0042】
さらに、予め設定された条件は予め設定された仮想カメラ及び光照射環境を含む。
【0043】
本発明の一実施例は、コンピュータ読み取り可能な記憶媒体を提供し、コンピュータ読み取り可能な記憶媒体は、記憶されたコンピュータプログラムを含み、コンピュータプログラムが運行されると、コンピュータ読み取り可能な記憶媒体が位置する機器を、上述のような眼科患者のプライバシーを保護する方法を実行するように制御する。
【0044】
なお、以上は本発明の好適な実施形態であり、当業者であれば、本発明の原理を逸脱することなく、複数の改良や修飾を行うことができ、これらの改良や修飾も本発明の保護範囲とみなすべきである。
【図1】
【図2】
