特許 7617994 三次元再構成に基づく眼位ずれ角度の測定方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-01-09

(45)【発行日】2025-01-20

(54)【発明の名称】三次元再構成に基づく眼位ずれ角度の測定方法及び装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20250110BHJP

   A61B 3/08 20060101ALI20250110BHJP

【ＦＩ】

G06T7/00 660A

G06T7/00 350C

A61B3/08

【請求項の数】 10

(21)【出願番号】P 2023149489

(22)【出願日】2023-09-14

(65)【公開番号】P2024095513

(43)【公開日】2024-07-10

【審査請求日】2023-09-14

(31)【優先権主張番号】202211693689.1

(32)【優先日】2022-12-28

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】519228739

【氏名又は名称】中山大学中山眼科中心

(73)【特許権者】

【識別番号】513322718

【氏名又は名称】清華大学

【氏名又は名称原語表記】ＴＳＩＮＧＨＵＡ ＵＮＩＶＥＲＳＩＴＹ

【住所又は居所原語表記】１ Ｑｉｎｇｈｕａｙｕａｎ， Ｈａｉｄｉａｎ Ｄｉｓｔｒｉｃｔ， Ｂｅｉｊｉｎｇ １０００８４， Ｃｈｉｎａ

(74)【代理人】

【識別番号】110001139

【氏名又は名称】ＳＫ弁理士法人

(74)【代理人】

【識別番号】100130328

【弁理士】

【氏名又は名称】奥野 彰彦

(74)【代理人】

【識別番号】100130672

【弁理士】

【氏名又は名称】伊藤 寛之

(72)【発明者】

【氏名】汪瑞▲シィン▼

(72)【発明者】

【氏名】林浩添

(72)【発明者】

【氏名】徐楓

(72)【発明者】

【氏名】余新平

(72)【発明者】

【氏名】呂軍鋒

【審査官】菊池 伸郎

(56)【参考文献】

【文献】国際公開第２０２２／２３５５３４（ＷＯ，Ａ１）

【文献】特表２０２０－５３５５６８（ＪＰ，Ａ）

【文献】Yang ZHENG et al.，Intelligent Evaluation of Strabismus in Videos Based on an Automated Cover Test，Applied Sciences［オンライン］，スイス，MDPI，2019年02月20日，Vol. 9，No. 4，p.731，https://mdpi.com/2076-3417/9/4/731，DOI: 10.3390/app9040731

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ａ６１Ｂ ３／０８

(57)【特許請求の範囲】

【請求項1】

三次元再構成に基づく眼位ずれ角度の測定方法であって、
被測定者の顔のビデオストリーミング情報を収集し、前記ビデオストリーミング情報に基づいて前記被測定者の顔画像シーケンスを取得することと、
前記顔画像シーケンスを第１のニューラルネットワークに入力し、前記顔画像シーケンスの遮蔽状態を取得し、前記遮蔽状態に基づいて前記顔画像シーケンスのキーフレームの画像を決定することと、
前記キーフレームの画像を第２のニューラルネットワークに入力し、前記キーフレームの画像の特徴点ヒートマップを取得し、前記特徴点ヒートマップを顔特徴点座標に変換することと、
顔三次元モデルを構築し、前記顔特徴点座標及び前記顔三次元モデルに基づいて、前記顔特徴点座標と前記顔三次元モデルの投影座標との間の目的関数を取得し、前記目的関数に基づいて前記キーフレームの画像の顔特徴点座標に対応する頭部姿勢を得ることと、
前記キーフレームの画像から左眼と右眼の各々の１フレームの基準眼位画像を選択して眼球の位置を初期化し、前記頭部姿勢に基づいて、基準眼位の眼球回転角度を予め設定された角度に固定し、基準眼位画像における眼球の頭部座標系での基準三次元座標を求めることと、
前記基準三次元座標に基づいて、被測定画像における眼球の頭部座標系での三次元座標を固定し、前記被測定画像における眼球回転角度を求めて、前記眼球回転角度及び基準眼位の眼球回転角度に基づいて、前記被測定画像における眼球のずれ角度を得ることとを含む、ことを特徴とする三次元再構成に基づく眼位ずれ角度の測定方法。

【請求項2】

前記した、前記顔画像シーケンスを第１のニューラルネットワークに入力し、前記顔画像シーケンスの遮蔽状態を取得することの前に、
第１のニューラルネットワークを訓練することをさらに含み、訓練過程は、初期の第１のニューラルネットワークを構築し、顔画像シーケンスを収集するとともに前記顔画像シーケンスの実際の遮蔽状態についてラベリングし、前記顔画像シーケンスにおける各フレームの画像を訓練画像として前記初期の第１のニューラルネットワークに順に入力し、前記訓練画像の予測遮蔽状態を取得し、前記予測遮蔽状態及び対応する実際の遮蔽状態に基づいて交差エントロピー損失関数を構築し、前記交差エントロピー損失関数に基づいて前記初期の第１のニューラルネットワークを訓練し、訓練済みのニューラルネットワークを前記第１のニューラルネットワークとして取得することである、ことを特徴とする請求項１に記載の三次元再構成に基づく眼位ずれ角度の測定方法。

【請求項3】

前記した、前記キーフレームの画像を第２のニューラルネットワークに入力し、前記キーフレームの画像の特徴点ヒートマップを取得することの前に、
第２のニューラルネットワークを訓練することをさらに含み、訓練過程は、初期の第２のニューラルネットワークを構築し、公開されたデータセットから顔画像を取得して、前記顔画像に実際の特徴点座標をマークし、前記実際の特徴点座標を実際の特徴点ヒートマップに変換させ、かつ、前記顔画像を初期の第２のニューラルネットワークに入力し、前記顔画像の予測される特徴点ヒートマップを取得し、前記実際の特徴点ヒートマップ及び前記予測される特徴点ヒートマップに基づいてＬ１損失関数を構築し、前記Ｌ１損失関数が収束するまで、前記Ｌ１損失関数に基づいて前記初期の第２のニューラルネットワークを訓練して、訓練済みの初期の第２のニューラルネットワークを第２のニューラルネットワークとして取得することである、ことを特徴とする請求項１に記載の三次元再構成に基づく眼位ずれ角度の測定方法。

【請求項4】

前記基準三次元座標に基づいて、被測定画像における眼球の頭部座標系での三次元座標を固定し、前記被測定画像における眼球回転角度を求めることは、
被測定画像における眼球の頭部座標系での三次元座標を固定し、虹彩特徴点と虹彩モデルの投影点との間の目的関数を構築し、反復最適化により前記被測定画像の眼球回転角度を求めることをさらに含む、ことを特徴とする請求項１に記載の三次元再構成に基づく眼位ずれ角度の測定方法。

【請求項5】

前記した、基準眼位の眼球回転角度を予め設定された角度に固定することについて、前記予め設定された角度は、０度に設定される、ことを特徴とする請求項１に記載の三次元再構成に基づく眼位ずれ角度の測定方法。

【請求項6】

前記した、被測定者の顔のビデオストリーミング情報を収集することは、
被測定者から前方に第１の予め設定された距離の位置に第１の視標を設け、第２の予め設定された距離の位置に第２の視標を設け、被測定者が左眼を遮蔽した状態、右眼を遮蔽した状態、左眼と右眼をすべて遮蔽した状態、及び、左眼と右眼をいずれも遮蔽していない状態のそれぞれで前記第１の視標と前記第２の視標を注視するときのビデオストリーミング情報をカメラで収集することを含む、ことを特徴とする請求項１に記載の三次元再構成に基づく眼位ずれ角度の測定方法。

【請求項7】

顔画像シーケンスの遮蔽状態は、左眼を遮蔽した状態と、右眼を遮蔽した状態と、左眼と右眼をすべて遮蔽した状態と、左眼と右眼をいずれも遮蔽していない状態とのうちの１つの状態である、ことを特徴とする請求項６に記載の三次元再構成に基づく眼位ずれ角度の測定方法。

【請求項8】

三次元再構成に基づく眼位ずれ角度の測定装置であって、
被測定者の顔のビデオストリーミング情報を収集し、前記ビデオストリーミング情報に基づいて前記被測定者の顔画像シーケンスを取得するための画像収集モジュールと、
前記顔画像シーケンスを第１のニューラルネットワークに入力し、前記顔画像シーケンスの遮蔽状態を取得し、前記遮蔽状態に基づいて前記顔画像シーケンスのキーフレームの画像を決定するためのキーフレーム抽出モジュールと、
前記キーフレームの画像を第２のニューラルネットワークに入力し、前記キーフレームの画像の特徴点ヒートマップを取得し、前記特徴点ヒートマップを顔特徴点座標に変換させ、かつ、顔三次元モデルを構築し、前記顔特徴点座標及び前記顔三次元モデルに基づいて、前記顔特徴点座標と前記顔三次元モデルの投影座標との間の目的関数を取得し、前記目的関数に基づいて前記キーフレームの画像の顔特徴点座標に対応する頭部姿勢を得るための顔三次元再構成モジュールと、
前記キーフレームの画像から左眼と右眼の各々の１フレームの基準眼位画像を選択して眼球の位置を初期化し、前記頭部姿勢に基づいて、基準眼位の眼球回転角度を予め設定された角度に固定し、基準眼位画像における眼球の頭部座標系での基準三次元座標を求めるための人眼三次元再構成モジュールと、
前記基準三次元座標に基づいて、被測定画像における眼球の頭部座標系での三次元座標を固定し、被測定画像における眼球回転角度を求めて、前記眼球回転角度及び基準眼位の眼球回転角度に基づいて、前記被測定画像における眼球のずれ角度を得るためのずれ角度測定モジュールとを含む、ことを特徴とする三次元再構成に基づく眼位ずれ角度の測定装置。

【請求項9】

コンピュータ機器であって、メモリと、プロセッサと、メモリに記憶されたコンピュータプログラムとを含み、前記プロセッサは、前記コンピュータプログラムを実行することで請求項１～７のいずれか１項に記載の方法のステップを実現する、ことを特徴とするコンピュータ機器。

【請求項10】

コンピュータ読み取り可能な記憶媒体であって、前記コンピュータ読み取り可能な記憶媒体にコンピュータプログラムが記憶されており、前記コンピュータプログラムがプロセッサにより実行されると、請求項１～７のいずれか１項に記載の方法のステップを実現する、ことを特徴とするコンピュータ読み取り可能な記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本出願は、眼位測定の技術分野に関し、特に三次元再構成に基づく眼位ずれ角度の測定方法及び装置に関する。

【背景技術】

【0002】

斜視とは、患者の両眼が間欠的又は持続的に目標物を同時に注視することができない状態のことをいい、斜視状態になった片目の視線がもう片方の目で見たものに向くことができず、例えば、水平方向での内斜視や垂直方向での上下斜視がある。斜視は、よくみられる眼科疾患であり、人口の約３％～８％に影響を与え、その中で、子供の約３％に発生する。斜視現象が生じると、早期判定して介入するによる治すことができるが、診療が遅れると両眼で奥行きを感じることが困難になり、子供に深刻な心理発展障害をもたらす可能性がある。大人にとっても、斜視は、例えば、閲読能力に影響を与え、転倒リスクを増加させ、社交的な不安をもたらすなど、多くの問題を引き起こし、心身の健康に深刻な影響を与え、生活の質を大幅に低下させるため、斜視現象が生じると、早く測定して判定を行う必要がある。斜視度の測定は、主に眼位ずれ角度の測定であり、この後の斜視手術設計の支援、疾病タイプの診断と病状の推定などに大いに役立つ。現在広く応用されている眼位ずれ角度の測定方法は、主に、プリズム遮蔽テスト、ヒルシュベルグ法、視野検査法などがあるが、上記測定方法は、いずれも、ある程度で患者の高度な協力に依存し、そして検査者の主観的な要素の影響を受け、大きな偏差が現れることがあり、異なる検査者によって、取得した検査結果が一致しない状況が生じることもあり、客観的な一致性に欠ける。

【発明の概要】

【発明が解決しようとする課題】

【0003】

ところで、本出願の実施例は、眼位ずれ角度の測定の利便性及び測定精度を向上させる、三次元再構成に基づく眼位ずれ角度の測定方法及び装置を提供する。

【0004】

第１の態様によれば、本出願は、三次元再構成に基づく眼位ずれ角度の測定方法を提供する。

【課題を解決するための手段】

【0005】

本出願は、以下の技術的解決手段により実現される。

【0006】

三次元再構成に基づく眼位ずれ角度の測定方法であって、
被測定者の顔のビデオストリーミング情報を収集し、前記ビデオストリーミング情報に基づいて前記被測定者の顔画像シーケンスを取得することと、
前記顔画像シーケンスを第１のニューラルネットワークに入力し、前記顔画像シーケンスの遮蔽状態を取得し、前記遮蔽状態に基づいて前記顔画像シーケンスのキーフレームの画像を決定することと、
前記キーフレームの画像を第２のニューラルネットワークに入力し、前記キーフレームの画像の特徴点ヒートマップを取得し、前記特徴点ヒートマップを顔特徴点座標に変換することと、
顔三次元モデルを構築し、前記顔特徴点座標及び前記顔三次元モデルに基づいて、前記顔特徴点座標と前記顔三次元モデルの投影座標との間の目的関数を取得し、前記目的関数に基づいて前記キーフレームの画像の顔特徴点座標に対応する頭部姿勢を得ることと、
前記キーフレームの画像から左眼と右眼の各々の１フレームの基準眼位画像を選択して眼球の位置を初期化し、前記頭部姿勢に基づいて、基準眼位の眼球回転角度を予め設定された角度に固定し、基準眼位画像における眼球の頭部座標系での基準三次元座標を求めることと、
前記基準三次元座標に基づいて、被測定画像における眼球の頭部座標系での三次元座標を固定し、前記被測定画像における眼球回転角度を求めて、前記眼球回転角度及び基準眼位の眼球回転角度に基づいて、前記被測定画像における眼球のずれ角度を得ることを含む。

【0007】

本出願の好ましい例では、前記した、前記顔画像シーケンスを第１のニューラルネットワークに入力し、前記顔画像シーケンスの遮蔽状態を取得することは、
第１のニューラルネットワークを訓練することをさらに含み、具体的な訓練過程は、初期の第１のニューラルネットワークを構築し、顔画像シーケンスを収集するとともに、前記顔画像シーケンスの実際の遮蔽状態についてラベリングし、前記顔画像シーケンスにおける各フレームの画像を訓練画像として前記初期の第１のニューラルネットワークに順に入力し、前記訓練画像の予測遮蔽状態を取得し、前記予測遮蔽状態及び対応する実際の遮蔽状態に基づいて交差エントロピー損失関数を構築し、前記交差エントロピー損失関数に基づいて前記初期の第１のニューラルネットワークを監督訓練し、訓練済みのニューラルネットワークを前記第１のニューラルネットワークとして取得することであるように構成されてもよい。

【0008】

本出願の好ましい例では、前記した、前記キーフレームの画像を第２のニューラルネットワークに入力し、前記キーフレームの画像の特徴点ヒートマップを得ることは、
第２のニューラルネットワークを訓練することをさらに含み、具体的な訓練過程は、初期の第２のニューラルネットワークを構築し、公開されたデータセットから顔画像を取得し、前記顔画像に実際の特徴点座標をマークし、前記実際の特徴点座標を実際の特徴点ヒートマップに変換させ、かつ、前記顔画像を初期の第２のニューラルネットワークに入力して、前記顔画像の予測される特徴点ヒートマップを取得し、前記実際の特徴点ヒートマップ及び前記予測される特徴点ヒートマップに基づいてＬ１損失関数を構築し、前記Ｌ１損失関数が収束するまで前記Ｌ１損失関数に基づいて前記初期の第２のニューラルネットワークを監督訓練し、訓練済みの初期の第２のニューラルネットワークを第２のニューラルネットワークとして取得することであるように構成されてもよい。

【0009】

本出願の好ましい例では、前記した、前記基準三次元座標に基づいて、被測定画像における眼球の頭部座標系での三次元座標を固定し、前記被測定画像における眼球回転角度を求めることは、被測定画像における眼球の頭部座標系での三次元座標を固定し、虹彩特徴点と虹彩モデルの投影点との間の目的関数を構築し、反復最適化により前記被測定画像の眼球回転角度を求めることをさらに含むように構成されてもよい。

【0010】

本出願の好ましい例では、前記した、基準眼位の眼球回転角度を予め設定された角度に固定することについて、前記予め設定された角度は、０度に設定されるように構成されてもよい。

【0011】

本出願の好ましい例では、さらに、前記した、被測定者の顔のビデオストリーミング情報を収集することは、
被測定者から前方に第１の予め設定された距離の位置に第１の視標を設け、第２の予め設定された距離の位置に第２の視標を設け、被測定者が左眼を遮蔽した状態、右眼を遮蔽した状態、左眼と右眼をすべて遮蔽した状態、及び、左眼と右眼をいずれも遮蔽していない状態のそれぞれで前記第１の視標と前記第２の視標を注視するときのビデオストリーミング情報をカメラで収集することを含むように構成されてもよい。

【0012】

本出願の好ましい例では、さらに、顔画像シーケンスの遮蔽状態は、左眼を遮蔽した状態と、右眼を遮蔽した状態と、左眼と右眼をすべて遮蔽した状態と、左眼と右眼をいずれも遮蔽していない状態とのうちの１つの状態であるように構成されてもよい。

【0013】

第２の態様によれば、本出願は、三次元再構成に基づく眼位ずれ角度の測定装置を提供する。

【0014】

本出願は、以下の技術的解決手段により実現される。

【0015】

三次元再構成に基づく眼位ずれ角度の測定装置であって、
被測定者の顔のビデオストリーミング情報を収集し、前記ビデオストリーミング情報に基づいて前記被測定者の顔画像シーケンスを取得するための画像収集モジュールと、
前記顔画像シーケンスを第１のニューラルネットワークに入力し、前記顔画像シーケンスの遮蔽状態を取得し、前記遮蔽状態に基づいて前記顔画像シーケンスのキーフレームの画像を決定するためのキーフレーム抽出モジュールと、
前記キーフレームの画像を第２のニューラルネットワークに入力し、前記キーフレームの画像の特徴点ヒートマップを取得し、前記特徴点ヒートマップを顔特徴点座標に変換させ、かつ、顔三次元モデルを構築し、前記顔特徴点座標及び前記顔三次元モデルに基づいて、前記顔特徴点座標と前記顔三次元モデルの投影座標との間の目的関数を取得し、前記目的関数に基づいて前記キーフレームの画像に対応する顔特徴点座標に対応する頭部姿勢を得るための顔三次元再構成モジュールと、
前記キーフレームの画像から左眼と右眼の各々の１フレームの基準眼位画像を選択して眼球の位置を初期化し、前記頭部姿勢に基づいて、基準眼位の眼球回転角度を予め設定された角度に固定し、基準眼位画像における眼球の頭部座標系での基準三次元座標を求めるための人眼三次元再構成モジュールと、
前記基準三次元座標に基づいて、被測定画像における眼球の頭部座標系での三次元座標を固定し、被測定画像における眼球回転角度を求めて、前記眼球回転角度及び基準眼位の眼球回転角度に基づいて、前記被測定画像における眼球のずれ角度を得るためのずれ角度測定モジュールとを含む。

【0016】

第３の態様によれば、本出願は、コンピュータ機器を提供する。

【0017】

本出願は、以下の技術的解決手段により実現される。

【0018】

コンピュータ機器であって、メモリと、プロセッサと、前記メモリに記憶され、前記プロセッサ上で実行できるコンピュータプログラムとを含み、前記プロセッサが前記コンピュータプログラムを実行すると、上記いずれか１つの三次元再構成に基づく眼位ずれ角度の測定方法のステップを実現する。

【0019】

第４の態様によれば、本出願は、コンピュータ読み取り可能な記憶媒体を提供する。

【0020】

本出願は、以下の技術的解決手段により実現される。

【0021】

コンピュータ読み取り可能な記憶媒体であって、プロセッサにより実行されると、上記いずれか１つの三次元再構成に基づく眼位ずれ角度の測定方法のステップを実現するコンピュータプログラムが記憶されている。

【発明の効果】

【0022】

上述のように、従来技術に比べて、本出願の実施例に係る技術的解決手段による有益な効果は、少なくとも以下の効果を含む。被測定者の顔画像シーケンスを収集し、第１のニューラルネットワークにおいて、顔画像シーケンスの遮蔽状態を取得することで、キーフレームの画像を決定し、第２のニューラルネットワークにおいて、特徴点ヒートマップを取得するとともに、顔特徴点座標に変換させ、顔特徴点と顔三次元モデルの投影点との間の目的関数を構築し、キーフレームの画像に対応する頭部姿勢を取得し、眼球の位置を初期化し、頭部姿勢に基づいて、基準眼位の眼球回転角度を予め設定された角度に固定し、基準眼位画像における眼球の頭部座標系での三次元座標を求め、被測定画像における眼球の頭部座標系での三次元座標を固定し、被測定画像における眼球回転角度を求めて、この眼球のずれ角度を取得することにより、画像収集モジュールを手動で操作し適切なビデオストリーミング情報を収集して、データを伝送すればよく、その後の操作は、いずれもクラウドプラットフォームに記憶された各モジュールにより計算処理を行い、病院の空間により制限されず、ユーザは、任意の時間、任意の場所で携帯電話やパソコンなどのスマートデバイスを使用してデータにアップロードした後、分析結果を迅速に取得することができ、検査時間を大幅に短縮し、利便性を高め、また、ニューラルネットワークモデルを利用して収集した画像に対して分析処理を行うことにより、収集者と被測定者の主観的要素の影響を小さくし、測定精度及び一致性が向上する。

【図面の簡単な説明】

【0023】

【図1】本出願の一例示的な実施例による三次元再構成に基づく眼位ずれ角度の測定方法のフローチャートである。

【発明を実施するための形態】

【0024】

本具体的な実施例は、本願を説明するためのものにすぎず、本願を限定するものではない。当業者は、本明細書を閲覧した後、必要に応じて本実施例に対して創造的な貢献のない変更をすることができ、その変更が本願の特許請求の範囲内で行われるものであれば特許法によって保護される。

【0025】

本願の実施例の目的、技術的解決手段及び利点をより明瞭にするために、以下、本願の実施例における図面を参照しながら、本願の実施例における技術的解決手段に対して明確且つ完全な説明を行う。明らかに、説明された実施例は、本願の一部の実施例であり、すべての実施例ではない。本願における実施例に基づいて、当業者が創造的な労働をせずに取得した他のすべての実施例は、本願の保護範囲に属する。

【0026】

また、本明細書における「及び／又は」という用語は、関連対象の相互関係を説明するためのものにすぎず、３つの関係が存在し得ることを意味し、例えば、「Ａ及び／又はＢ」とは、Ａが単独で存在すること、ＡとＢが同時に存在すること、Ｂが単独で存在することという３つの状態を意味することができる。なお、本願における記号「／」は、特に断らない限り、一般的には、前後の関連対象同士の関係が「又は」の関係であることを表す。

【0027】

本願における用語「第１」「第２」などの記載は、作用及び機能が実質的に同一である要素又は類似する要素を区別するためのものであり、「第１」、「第２」、「第ｎ」とは、それらの間に論理的又はタイミング的な依存関係がなく、数や実行順序を限定するものでもないことを理解すべきである。

【0028】

以下、明細書図面を参照しながら本出願の実施例についてさらに詳細に説明する。

【0029】

本出願の一実施例において、三次元再構成に基づく眼位ずれ角度の測定方法を提供し、図１に示すように、主なステップについての説明は、以下のとおりである。

【0030】

Ｓ１０：被測定者の顔のビデオストリーミング情報を収集し、このビデオストリーミング情報に基づいて被測定者の顔画像シーケンスを取得する。

【0031】

いくつかの実施例において、被測定者から前方に第１の予め設定された距離の位置に第１の視標を設け、第２の予め設定された距離の位置に第２の視標を設け、被測定者が左眼を遮蔽した状態、右眼を遮蔽した状態、左眼と右眼をすべて遮蔽した状態、及び、左眼と右眼をいずれも遮蔽していない状態のそれぞれで第１の視標と第２の視標を注視するときのビデオストリーミング情報をカメラで収集する。

【0032】

具体的には、まず頭部位置決め機器を利用して、被測定者の下顎を顎受けに置き、額帯に額を密着させるように被測定者の頭部を固定し、適宜位置を調整してできるだけ被測定者の両眼の視線を水平にさせる。被測定者の視線から前方に第１の予め設定された距離の位置に第１の視標を設け、第１の予め設定された距離は、第１の視標と被測定者頭部との距離であり、３～６ｍであり、第１の視標は、遠くを見る視標である。被測定者の視線から前方に第２の予め設定された距離の位置に第２の視標を設け、第２の予め設定された距離は、第２の視標と被測定者頭部との距離であり、０．２～０．５ｍであり、第２の視標は、近くを見る視標である。第１の視標及び第２の視標は一直線上にあり、第１の視標及び第２の視標の同軸位置に高精細カメラを設ける。被測定者が１つの遮閉板で左眼のみを遮蔽した状態、１つの遮閉板で右眼のみを遮蔽した状態、２つの遮閉板で左眼と右眼をすべて遮蔽した状態及び左眼と右眼をいずれも遮蔽していない状態で第１の視標を注視するときのビデオストリーミング情報を高精細カメラで収集し、同時に、被測定者が１つの遮閉板で左眼のみを遮蔽した状態、１つの遮閉板で右眼のみを遮蔽した状態、２つの遮閉板で左眼と右眼をすべて遮蔽した状態、及び、左眼と右眼をいずれも遮蔽していない状態で第２の視標を注視するときのビデオストリーミング情報を収集する。収集したビデオストリーミング情報から被測定者の顔画像シーケンスを取得する。取得した被測定者の顔画像シーケンスは、患者の測定開始から測定終了までの期間に取得した顔画像のシーケンスであり、例えばこの期間の総時間が４０秒で、ビデオフレームレートが３０フレーム／秒であれば、合計４０＊３０枚の顔画像を顔画像シーケンスとして取得する。

【0033】

Ｓ２０：顔画像シーケンスを第１のニューラルネットワークに入力し、顔画像シーケンスの遮蔽状態を取得し、遮蔽状態に基づいて顔画像シーケンスのキーフレームの画像を決定する。

【0034】

第１のニューラルネットワークのネットワークモデルは、深層残差ネットワークＲｅｓｎｅｔ（Ｄｅｅｐ ｒｅｓｉｄｕａｌ ｎｅｔｗｏｒｋ）であり、上記取得した被測定者の顔画像シーケンスを深層残差ネットワークＲｅｓｎｅｔに入力し、各フレームの画像の遮蔽状態を取得することができ、具体的には、遮蔽状態は、４種類に分けられ、それぞれ左眼を遮蔽した状態と、右眼を遮蔽した状態と、左眼と右眼をすべて遮蔽した状態と、左眼と右眼をいずれも遮蔽していない状態とのうちの１つの状態である。顔画像シーケンスから取得した遮蔽状態を時系列でソートし、遮蔽状態が変化したフレームをキーフレームの画像とする。異なる変化状況に応じて、キーフレームの画像を基準眼位、顕性斜視眼位及び最大ずれ眼位などのキーフレームの画像にさらに区分する。基準眼位は、０度眼位や片眼注視眼位と呼ばれてもよく、片眼を遮蔽した後、注視眼の三次元座標での眼位と定義される。注視する視標は、顔部の真正面又は眼球の運動を引き起こすその他の方向に位置することができ、ここで、真正面を注視することを例にして、基準眼位、顕性斜視眼位、最大ずれ眼位について説明する。

【0035】

顕性斜視眼位：両眼で注視するとき（１つの眼は、注視眼で、もう１つの眼は、斜視眼である）の、斜視眼がずれた角度である。

【0036】

最大ずれ眼位：不透明な遮閉板で片眼を交互に遮蔽し、交互な片眼注視を形成し、両眼融合を破壊することができ、このとき、最大ずれ眼位を取得することができる。例えば、交互に遮蔽した過程において、右眼に置かれた遮閉板を左眼に移動しようとするとき、右眼の遮閉板が離れた直後の眼位は、右眼の最大ずれ眼位である（これは業界の常識である）。

【0037】

本技術では、各眼の基準眼位、顕性斜視眼位、最大ずれ眼位をペアでそれぞれ計算する。

【0038】

第１の視標（近くを見る）を注視した後に基準眼位、顕性斜視眼位、最大ずれ眼位の計算を行い、その後に、第２の視標を注視し（遠くを見る）、上記計算を繰り返す。まず遠くを見るか又はまず近くを見るかは、実際の臨床需要に応じて順序を決めてもよい。

【0039】

遮蔽状態が変化する状況は、左眼と右眼をいずれも遮蔽していないことから左眼を遮蔽したことに変化する状況、左眼と右眼をいずれも遮蔽していないことから右眼を遮蔽したことに変化する状況、左眼と右眼をいずれも遮蔽していないことから左眼と右眼をすべて遮蔽したことに変化する状況、左眼を遮蔽したことから左眼と右眼をいずれも遮蔽していないことに変化する状況、左眼を遮蔽したことから右眼を遮蔽したことに変化する状況、左眼を遮蔽したことから左眼と右眼をすべて遮蔽したことに変化する状況、右眼を遮蔽したことから左眼と右眼をいずれも遮蔽していないことに変化する状況、右眼を遮蔽したことから左眼を遮蔽したことに変化する状況、右眼を遮蔽したことから左眼と右眼をすべて遮蔽したことに変化する状況、左眼と右眼をすべて遮蔽したことから左眼を遮蔽したことに変化する状況、左眼と右眼をすべて遮蔽したことから右眼を遮蔽したことに変化する状況、左眼と右眼をすべて遮蔽したことから左眼と右眼をいずれも遮蔽していないことに変化する状況の１２種類の変化状況に分けられることができる。

【0040】

好ましくは、第１のニューラルネットワークのネットワークモデルの出力精度を向上させるために、第１のニューラルネットワークのネットワークモデルを事前訓練する必要がある。事前訓練のステップは、以下のとおりである。初期の第１のニューラルネットワークを構築し、顔画像シーケンスを収集し、顔画像シーケンスの実際の遮蔽状態についてラベリングし、顔画像シーケンスにおける各フレームの画像を訓練画像として前記初期の第１のニューラルネットワークに順に入力し、訓練画像の予測遮蔽状態を取得し、予測遮蔽状態及びそれに対応する実際の遮蔽状態に基づいて交差エントロピー損失関数を構築し、交差エントロピー損失関数に基づいて初期の第１のニューラルネットワークを監督訓練し、訓練済みのニューラルネットワークを第１のニューラルネットワークとして取得する。ここで、各フレームの画像をニューラルネットワークで処理した後、１つの予測ラベルを出力し、前記予測遮蔽状態は、前記予測ラベルを含み、前記予測ラベルは、左眼を遮蔽したことと、右眼を遮蔽したことと、左眼と右眼をすべて遮蔽したことと、左眼と右眼をいずれも遮蔽していないことのいずれかを示すラベルを含み、予測ラベルの数は、画像シーケンスの数と一致する。

【0041】

具体的には、初期の第１のニューラルネットワークを構築し、上記取得した顔画像シーケンスに実際の遮蔽状態について手動でラベリングし、実際の遮蔽状態の分類ラベルを有する顔画像シーケンスを取得し、顔画像シーケンスにおける各フレームの画像を訓練されていない初期の第１のニューラルネットワークに順に入力し、識別処理を行って各フレームの画像の予測遮蔽状態を取得し、予測遮蔽状態及び実際の遮蔽状態に基づいて交差エントロピー損失関数を作成し、交差エントロピー損失関数に基づいて初期の第１のニューラルネットワークを訓練し、訓練済みのニューラルネットワークを最終的にキーフレームの抽出に用いる第１のニューラルネットワークとして取得する。前期の大量のデータの訓練により、第１のニューラルネットワークの出力精度を向上させ、第１のニューラルネットワークの出力結果が予測精度に達する（遮蔽状態の分類正確率が９０％以上ひいては９５％以上に達する）ことを確保し、この後の眼球のずれ角度の測定精度をさらに向上させることができる。

【0042】

Ｓ３０：キーフレームの画像を第２のニューラルネットワークに入力し、キーフレームの画像の特徴点ヒートマップを取得し、特徴点ヒートマップを顔特徴点座標に変換する。

【0043】

第２のニューラルネットワークのネットワークモデルは、Ｕ-ｎｅｔモデルであり、顔画像シーケンスをＵ-ｎｅｔモデルに入力すれば、顔画像シーケンスのＮ個の予測される特徴点ヒートマップを得ることができ、ここで、Ｎは、１よりも大きい。

【0044】

好ましくは、第２のニューラルネットワークモデルの出力精度を向上させるために、第２のニューラルネットワークモデルを事前訓練する。事前訓練のステップは、以下のとおりである。初期の第２のニューラルネットワークを構築し、公開されたデータセットから顔画像を取得し、顔画像に実際の特徴点座標をマークし、実際の特徴点座標を実際の特徴点ヒートマップに変換させ、具体的には、公開された顔画像データベースから顔画像を取得し、顔画像を処理してＮ個の実際の特徴点座標をマークし、鼻、口、虹彩の二次元位置をマークし、さらにガウス分布サンプリングにより、Ｎ個の実際の特徴点座標をＮ個の特徴点ヒートマップに変換させ、顔画像を初期の第２のニューラルネットワークに入力し、顔画像の予測される特徴点ヒートマップを取得し、実際の特徴点ヒートマップ及び予測される特徴点ヒートマップに基づいてＬ１損失関数を構築し、Ｌ１損失関数が収束するまで、前記Ｌ１損失関数に基づいて前記初期の第２のニューラルネットワークを監督訓練し、訓練済みの初期の第２のニューラルネットワークを第２のニューラルネットワークとして取得する。

【0045】

第２のニューラルネットワークを予め設定された精度（標準化された画素誤差が５％以下）になるまで訓練した後、収集した顔画像シーケンスを訓練済みの第２のニューラルネットワークに入力し、顔画像シーケンスの特徴点ヒートマップを得ることができ、さらに、特徴点ヒートマップを特徴点座標に変換させ、後続の顔の三次元再構成過程に用いて顔三次元モデルを構築する。

【0046】

Ｓ４０：顔の三次元再構成により顔三次元モデルを構築し、顔特徴点座標及び顔三次元モデルに基づいて、顔特徴点座標と顔三次元モデルの投影座標との間の目的関数を構築し、目的関数に基づいてキーフレームの画像の顔特徴点座標に対応する頭部姿勢を得る。

【0047】

具体的には、まず複数の人の複数の表情の三次元スキャンデータにより、パラメータ化された顔三次元モデルを構築し、ステップＳ３０で得られた顔特徴点座標を組み合わせて、顔特徴点と対応する顔三次元モデルの投影点との間の目的関数を構築し、それらの二次元のユークリッド距離が近いように制約し、反復最適化法により頭部姿勢を求める。ここで、反復最適化法は、ガウスニュートン法又は共役勾配法である。

【0048】

Ｓ５０：キーフレームの画像から左眼と右眼の各々の１フレームの基準眼位画像を選択して眼球の位置を初期化し、頭部姿勢に基づいて、基準眼位の眼球回転角度を予め設定された角度に固定し、基準眼位画像における眼球の頭部座標系での基準三次元座標を求め、前記基準三次元座標は、基準眼位画像における眼球の頭部座標系での三次元座標で、前記頭部座標系は、顔三次元モデルの座標系である。

【0049】

具体的には、上記抽出したキーフレームの画像及び顔特徴点座標に基づいて、左眼と右眼の各々の１フレームの基準眼位画像を選択し、眼球の位置を初期化する。初期化のステップは、以下のとおりである。現在の基準眼位画像における眼球の回転角度を０度に固定し、虹彩特徴点と虹彩モデルの投影点との間の目的関数を構築し、反復最適化法により眼球の頭部座標系での基準三次元座標を求め、前記虹彩モデル投影は、顔特徴点が位置する座標系における虹彩モデルの投影である。

【0050】

Ｓ６０：上記基準三次元座標に基づいて、被測定画像における眼球の頭部座標系での三次元座標を固定し、被測定画像における眼球回転角度を求めて、眼球回転角度及び基準眼位の眼球回転角度に基づいて、被測定画像における眼球のずれ角度を得る。

【0051】

上記抽出したキーフレームの画像及び顔特徴点座標に基づいて、顕性斜視眼位、最大ずれ眼位の眼球ずれ角度を取得することができる。ここで、キーフレームの画像における顕性斜視眼位及び最大ずれ眼位の画像を被測定画像とし、なお、被測定画像は、取得した顔画像シーケンスにおけるすべての画像であってもよい。具体的な取得ステップは、以下のとおりである。上記取得した基準眼位の基準三次元座標に基づいて、被測定画像における眼球の頭部座標系での三次元座標を固定し、虹彩特徴点と虹彩モデルの投影点との間の目的関数を構築し、反復最適化法により被測定画像における眼球回転角度を求めて、被測定画像に対応する眼球回転角度と基準眼位の眼球回転角度との差を求めることで、被測定画像における眼球のずれ角度を取得することができる。

【0052】

いくつかの実施例において、三次元再構成に基づく眼位ずれ角度の測定方法は、前期に収集した大量の標準化された斜視及び正常な人の顔画像のビデオストリーミングデータを利用し、それに対応するプリズムの斜視度に基づいて、眼球の三次元回転及びプリズム角度の回帰モデルを構築し、新たな顔画像サンプルをこの回帰モデルに入力した後、対応するプリズムの斜視度を取得し得ることをさらに含む。回帰モデルを基として、内斜視、外斜視、垂直斜視、潜性斜視、正常などの分類の判断をさらに支援することができる。臨床情報を併せ、診療意思決定の意見の提供を支援することができ、ここで、診療意思決定の意見は、弱視リスクの評価、メガネの装着の提案又は手術の提案などを含むが、それらに限らない。

【0053】

本出願は、三次元再構成に基づく眼位ずれ角度の測定装置をさらに提供する。この装置は、画像収集モジュールと、キーフレーム抽出モジュールと、顔三次元再構成モジュールと、人眼三次元再構成モジュールと、ずれ角度測定モジュールとを含み、
画像収集モジュールは、被測定者の顔のビデオストリーミング情報を収集し、前記ビデオストリーミング情報に基づいて前記被測定者の顔画像シーケンスを取得するためのものであり、前記画像収集モジュールは、例えば高精細カメラ、三次元カメラ、ＣＡＭＥＲＡ又はＷＥＢＣＡＭであってもよく、
キーフレーム抽出モジュールは、前記顔画像シーケンスを第１のニューラルネットワークに入力し、前記顔画像シーケンスの遮蔽状態を取得し、前記遮蔽状態に基づいて前記顔画像シーケンスのキーフレームの画像を決定するためのものであり、前記キーフレーム抽出モジュールは、例えば、画像処理装置（Ｇｒａｐｈｉｃｓ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ、ＧＰＵ）、中央処理装置（Ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ、ＣＰＵ）、又は、サーバ、パソコン、スマートフォンなどのＣＰＵ及びＧＰＵを搭載した機器であってもよく、
顔三次元再構成モジュールは、前記キーフレームの画像を第２のニューラルネットワークに入力して、前記キーフレームの画像の特徴点ヒートマップを取得し、前記特徴点ヒートマップを顔特徴点座標に変換させ、かつ、顔三次元モデルを構築し、前記顔特徴点座標及び顔三次元モデルに基づいて、顔特徴点座標と顔三次元モデルの投影座標との間の目的関数を構築し、前記目的関数に基づいてキーフレームの画像に対応する顔特徴点座標に対応する頭部姿勢を得るためのものであり、前記顔三次元再構成モジュールは、例えば、中央処理装置（Ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ、ＣＰＵ）、又は、サーバ、パソコン、スマートフォンなどのＣＰＵを搭載した機器であってもよく、
人眼三次元再構成モジュールは、キーフレームの画像から左眼と右眼の各々の１フレームの基準眼位画像を選択して眼球の位置を初期化し、前記頭部姿勢に基づいて、基準眼位の眼球回転角度を予め設定された角度に固定し、基準眼位画像における眼球の頭部座標系での基準三次元座標を求めるためのものであり、前記人眼三次元再構成モジュールは、例えば、中央処理装置（Ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ、ＣＰＵ）、又は、サーバ、パソコン、スマートフォンなどのＣＰＵを搭載した機器であってもよく、
ずれ角度測定モジュールは、上記基準三次元座標に基づいて、被測定画像における眼球の頭部座標系での三次元座標を固定し、被測定画像における眼球回転角度を求めて、前記眼球回転角度及び基準眼位の眼球回転角度に基づいて、前記被測定画像における眼球のずれ角度を得るためのものであり、前記ずれ角度測定モジュールは、例えば、中央処理装置（Ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ、ＣＰＵ）、又は、サーバ、パソコン、スマートフォンなどのＣＰＵを搭載した機器であってもよい。

【0054】

画像収集モジュールを手動で操作して、適切なビデオストリーミング情報を収集してデータを伝送すればよく、その後の操作は、いずれもクラウドプラットフォームに記憶された各モジュールにより計算処理を行い、病院の空間により制限されず、ユーザは、任意の時間、任意の場所で携帯電話やパソコンなどのスマートデバイスを使用してデータをアップロードした後、分析結果を迅速に取得することができ、検査時間を大幅に短縮させるとともに、収集者と被測定者の主観的要素の影響を小さくし、測定精度及び一致性が高い。

【0055】

一実施例において、コンピュータ機器を提供し、このコンピュータ機器は、サーバであってもよい。

【0056】

このコンピュータ機器は、システムバスを介して接続されたプロセッサ、メモリ、ネットワークインターフェース及びデータベースを含む。ここで、このコンピュータ機器のプロセッサは、計算及び制御の能力を提供するためのものである。このコンピュータ機器のメモリは、不揮発性記憶媒体と、内部メモリとを含む。この不揮発性記憶媒体は、オペレーティングシステム、コンピュータプログラム及びデータベースを有する。この内部メモリは、不揮発性記憶媒体におけるオペレーティングシステム及びコンピュータプログラムの実行に環境を提供する。このコンピュータ機器のネットワークインターフェースは、外部の端末とネットワークを介して接続されて通信するためのものである。このコンピュータプログラムがプロセッサにより実行されると、上記いずれか１つの三次元再構成に基づく眼位ずれ角度の測定方法を実現する。

【0057】

一実施例において、コンピュータ読み取り可能な記憶媒体を提供し、このコンピュータ読み取り可能な記憶媒体は、メモリと、プロセッサと、メモリに記憶され、プロセッサ上で実行できるコンピュータプログラムとを含み、プロセッサによりコンピュータプログラムを実行することで、上記いずれか１つの三次元再構成に基づく眼位ずれ角度の測定方法を実現する。

【0058】

当業者であれば、上記の実施例の方法における流れの全部又は一部は、実行されると、上記の方法の実施例のような流れを含むことができる、不揮発性コンピュータ読み取り可能な記憶媒体に記憶可能なコンピュータプログラムによって、関連するハードウェアに命令を出すことによって達成されてもよいことを理解することができる。本出願による各実施例で使用されるメモリ、ストレージ、データベース又は他の媒体への任意の参照は、いずれも、不揮発性及び／又は揮発性メモリを含んでもよい。不揮発性メモリは、読み出し専用メモリ（ＲＯＭ）、プログラマブルＲＯＭ（ＰＲＯＭ）、電気的プログラマブルＲＯＭ（ＥＰＲＯＭ）、電気的消去可能なプログラマブルＲＯＭ（ＥＥＰＲＯＭ）、又はフラッシュメモリを含んでもよい。揮発性メモリは、ランダムアクセスメモリ（ＲＡＭ）又は外部キャッシュメモリを含んでもよい。ＲＡＭとしては、例えば、静的ＲＡＭ（ＳＲＡＭ）、動的ＲＡＭ（ＤＲＡＭ）、同期式ＤＲＡＭ（ＳＤＲＡＭ）、ダブルデータレートＳＤＲＡＭ（ＤＤＲＳＤＲＡＭ）、拡張ＳＤＲＡＭ（ＥＳＤＲＡＭ）、シンクリンク（Ｓｙｎｃｈｌｉｎｋ）ＤＲＡＭ（ＳＬＤＲＡＭ）、メモリバス（Ｒａｍｂｕｓ）ダイレクトＲＡＭ（ＲＤＲＡＭ）、ダイレクトメモリバス動的ＲＡＭ（ＤＲＤＲＡＭ）、及びメモリバス動的ＲＡＭ（ＲＤＲＡＭ）等の様々な形態が挙げられるが、これらに限定されない。

【0059】

当業者であればはっきりと理解できるように、説明の便宜と簡潔のために、上述した各機能ユニット、モジュールの区分のみを例として説明したが、実際の応用では、必要に応じて上記機能が異なる機能ユニット、モジュールによって実施されてもよく、即ち本出願の前記システムの内部構造を異なる機能ユニット又はモジュールに分割することで、以上に説明されたすべて又は一部の機能を実現する。

【図1】