特表 2025-524078 眼瞼裂幅の測定方法、装置及び記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2025-07-25

(54)【発明の名称】眼瞼裂幅の測定方法、装置及び記憶媒体

(51)【国際特許分類】

   G06T 7/60 20170101AFI20250717BHJP

   G06T 7/00 20170101ALI20250717BHJP

   G06V 10/82 20220101ALI20250717BHJP

   G06V 10/776 20220101ALI20250717BHJP

【ＦＩ】

G06T7/60 150Z

G06T7/00 660Z

G06T7/00 350C

G06V10/82

G06V10/776

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2025504147

(86)(22)【出願日】2023-08-17

(85)【翻訳文提出日】2025-01-22

(86)【国際出願番号】 CN2023113527

(87)【国際公開番号】W WO2024037587

(87)【国際公開日】2024-02-22

(31)【優先権主張番号】202210989506.4

(32)【優先日】2022-08-18

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

(71)【出願人】

【識別番号】517398254

【氏名又は名称】上海市内分泌代謝病研究所

(71)【出願人】

【識別番号】525028374

【氏名又は名称】上海佰翊医療科技有限公司

(74)【代理人】

【識別番号】100230086

【弁理士】

【氏名又は名称】譚 粟元

(72)【発明者】

【氏名】王 衛慶

(72)【発明者】

【氏名】寧 光

(72)【発明者】

【氏名】沈 力韵

(72)【発明者】

【氏名】田 超楠

(72)【発明者】

【氏名】杜 東

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA13

5L096BA06

5L096HA11

(57)【要約】

本願は、眼瞼裂幅の測定方法、装置及び記憶媒体に関する。前記方法は、７００～１２００ｎｍの近赤外光ライトフィールドにおいて、眼球の前方位置にユーザの正面視からの第１眼位画像を撮影して取得するステップと、ニューラルネットワークの訓練方式を用いて前記第１眼位画像から背景、虹彩、強膜、瞳孔を分割するステップと、分割された瞳孔から瞳孔中心を抽出し、鉛直方向の瞳孔中心線を取得するステップと、前記瞳孔中心線上の強膜、虹彩又は瞳孔と背景との交点間の距離を求め、前記距離を用いて眼瞼裂幅を計算するステップと、を含む。
【選択図】図１

【特許請求の範囲】

【請求項1】

カメラを用いて眼部画像を取得する眼瞼裂幅の測定方法であって、
７００～１２００ｎｍの近赤外光ライトフィールドにおいて、眼球の前方位置にユーザの正面視からの第１眼位画像を撮影して取得するステップと、
ニューラルネットワークの訓練方式を用いて前記第１眼位画像から背景、虹彩、強膜、瞳孔を分割するステップと、
分割された前記瞳孔から瞳孔中心を抽出し、鉛直方向の瞳孔中心線を取得するステップと、
前記瞳孔中心線上の強膜、虹彩又は瞳孔と背景との交点間の距離を決定し、前記距離を用いて眼瞼裂幅を計算するステップと、を含む、
ことを特徴とする眼瞼裂幅の測定方法。

【請求項2】

前記瞳孔中心は、第１眼位画像から抽出された全ての瞳孔画素のＸ、Ｙ座標の平均値であり、
Ｘ座標の平均値を用いて垂直線を引いて瞳孔中心線を取得する、
ことを特徴とする請求項１に記載の眼瞼裂幅の測定方法。

【請求項3】

ニューラルネットワークの訓練方式を用いて前記第１眼位画像から背景、虹彩、強膜、瞳孔を分割するステップは、
ニューラルネットワークモデルとしてＵＮｅｔニューラルネットワークモデルとＤｅｎｓｅＮｅｔニューラルネットワークモデルとの組み合わせを用い、ニューラルネットワークモデルでは、前記第１眼位画像を入力とし、Ｕｎｅｔニューラルネットワークモデルを用いて前記入力に対して次元削減と次元拡張を行い、次元削減ブロックの出力をスキップ接続により対応する次元拡張ブロックに伝送し、各次元削減ブロックではＤｅｎｓｅＮｅｔニューラルネットワークモデルを用いて特徴抽出を行い、各次元拡張モジュールではＤｅｎｓｅＮｅｔニューラルネットワークモデルを用いてアップサンプリングを行うステップを含む、
ことを特徴とする請求項１に記載の眼瞼裂幅の測定方法。

【請求項4】

損失関数を用いてニューラルネットワークの訓練効果を検証するステップをさらに含み、
前記損失関数は、複合損失であり、焦点損失、一般化ダイス損失、表面損失、境界認識損失で構成されている、
ことを特徴とする請求項３に記載の眼瞼裂幅の測定方法。

【請求項5】

前記損失関数は、複合損失であり、
計算方法は、
複合損失＝ａ_１×表面損失＋ａ_２×焦点損失＋ａ_３×一般化ダイス損失＋ａ_４×境界認識損失×焦点損失であり、
ここで、前記ａ_１、ａ_２、ａ_３、ａ_４は、ハイパーパラメータであり、
前記ａ_１は、訓練プロセス期間の時間経過数に関連し、
前記ａ_２＝１であり、
前記ａ_３＝１－ａ_１であり、
前記ａ_４＝２０である、
ことを特徴とする請求項４に記載の眼瞼裂幅の測定方法。

【請求項6】

前記眼瞼裂幅は、
眼瞼裂幅（Ｂ）＝眼瞼裂幅の画素距離（Ａ）×眼瞼裂幅方向における単一画素の長さ×眼瞼裂からカメラレンズまでの距離（Ｄ）÷カメラ感光センサからカメラレンズまでの距離（Ｃ）であり、
ここで、眼瞼裂幅の画素距離（Ａ）は、前記瞳孔中心線上の強膜、虹彩又は瞳孔と背景との交点間の距離である、
ことを特徴とする請求項１～５のいずれか一項に記載の眼瞼裂幅の測定方法。

【請求項7】

眼瞼裂からカメラレンズまでの距離は、眼瞼裂からカメラレンズまでの距離（Ｄ）＝眼角係止点からカメラレンズまでの距離（１）－眼球突出度（２）である、
ことを特徴とする請求項６に記載の眼瞼裂幅の測定方法。

【請求項8】

前記眼球突出度（２）は、健常者の眼球突出度の平均値を用いる、
ことを特徴とする請求項７に記載の眼瞼裂幅の測定方法。

【請求項9】

７００～１２００ｎｍの近赤外光ライトフィールドにおいて、眼球の前方位置にユーザの正面視からの第１眼位画像を撮影して取得する画像取得モジュールと、
ニューラルネットワークの訓練方式を用いて前記第１眼位画像から背景、虹彩、強膜、瞳孔を分割する画像分割モジュールと、
分割された前記瞳孔から瞳孔中心を抽出し、鉛直方向の瞳孔中心線を取得する特徴抽出モジュールと、
前記瞳孔中心線上の強膜、虹彩又は瞳孔と背景との交点間の距離を決定し、前記距離を用いて眼瞼裂幅を計算する計算モジュールと、を含む、
ことを特徴とする眼瞼裂幅の測定装置。

【請求項10】

プロセッサによってロードされて実行されて、請求項１～８のいずれか一項に記載の眼瞼裂幅の測定方法を実現する少なくとも１つのプログラムコードが記憶される、
ことを特徴とするコンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、眼部検出の技術分野に関し、具体的には、眼瞼裂幅の測定方法、装置及び記憶媒体に関する。

【背景技術】

【0002】

眼瞼裂は、瞼裂とも呼ばれ、眼瞼裂幅は、瞳孔を通る上下眼瞼間の距離を指す。臨床上、眼瞼の退縮は、上眼瞼と下眼瞼の退縮を含み、甲状腺関連眼疾患（Ｔｈｙｒｏｉｄ－ａｓｓｏｃｉａｔｅｄ ｏｐｈｔｈａｌｍｏｐａｔｈｙ、ＴＡＯ）によく見られる臨床病症であり、臨床診断の重要な指標でもある。眼瞼の退縮は、患者が受け入れにくい顔面の崩壊を引き起こすだけでなく、角膜潰瘍のような視力が脅かされる露出性角膜病変を引き起こす可能性がある。したがって、眼瞼の退縮に対する測定は、臨床診断にとって重要であり、眼瞼裂幅を測定することによって眼瞼の退縮の程度を反映することができる。

【0003】

現在、臨床上、通常、ミリスケールを用いて眼瞼裂幅を検出するが、当該方法では、測定時に、読み取り値が正確ではなく、操作者のレベル及び習慣の影響を受けるため、測定データに誤差が生じやすい。ＴＡＯ患者の診断と評価において、２ｍｍの浮動は、患者の病状の変化を示すことが多いため、測定精度に対する要求が高いことが多いが、上記測定方法は、患者の診断漏れ、誤診を引き起こし、患者の病状の進行を遅延させる。

【0004】

また、従来技術では、自動測定方式を用いて眼瞼が縮退したか否かを判断する技術手段もある。中国特許「甲状腺関連眼疾患の眼部症候識別方法及び装置」（出願番号：２０２０１０８０３７６１．６、公開日：２０２０年１０月３０日）に記載されているように、画像識別及びニューラルネットワークの訓練によって角膜及び強膜を識別し、角膜及び強膜の画像によって上眼瞼及び角膜領域の上縁が強膜領域に露出しているか否かを判断することで、眼瞼の退縮が存在するか否かを決定する。しかしながら、当該方式は、三白眼を患っている人又は近視により眼球が突出して白目が露出する人に対して誤判断を与える。中国特許「画像処理に基づく瞬き回数分析方法及びシステム」（出願番号：２０１９１０９３９６１２．Ｘ、公開日：２０２０年２月０４日）に記載されているように、撮影された人間の眼画像により虹彩輪郭及び強膜輪郭を決定し、虹彩輪郭及び強膜輪郭により眼瞼裂境界を決定し、人間の眼瞼裂の上境界点の座標と下境界点の座標との差により眼瞼裂の高さを計算する。しかしながら、眼瞼裂の高さは、瞳孔中心線を通る上下眼瞼間の距離として定義され、上記方式で決定された眼瞼裂の高さは、眼瞼裂の斜め方向距離である可能性がある。

【0005】

ニューラルネットワークモデルの訓練方法を用いて眼部画像を分割する従来技術もあるが、その訓練モデルが比較的古く、訓練プロセスに手間がかかり、占有するメモリ空間が大きいため、従来技術をさらに改善する必要がある。

【発明の概要】

【発明が解決しようとする課題】

【0006】

従来技術における眼瞼裂幅の測定精度の不足を解消するために、本願は、眼瞼裂幅の測定方法を提供する。

【課題を解決するための手段】

【0007】

上記目的を達成するために、本願は、以下の技術手段を用いる。

【0008】

一態様に係る眼瞼裂幅の測定方法は
７００～１２００ｎｍの近赤外光ライトフィールドにおいて、眼球の前方位置にユーザの正面視からの第１眼位画像を撮影して取得するステップと、
ニューラルネットワークの訓練方式を用いて前記第１眼位画像から背景、虹彩、強膜、瞳孔を分割するステップと、
分割された瞳孔から瞳孔中心を抽出し、鉛直方向の瞳孔中心線を取得するステップと、
前記瞳孔中心線上の強膜、虹彩又は瞳孔と背景との交点間の距離を求め、前記距離を用いて眼瞼裂幅を計算するステップと、を含む。

【0009】

さらに、前記瞳孔中心は、第１眼位画像から抽出された全ての瞳孔画素のＸ、Ｙ座標の平均値であり、Ｘ座標の平均値を用いて垂直線を引いて瞳孔中心線を取得する。

【0010】

さらに、ニューラルネットワークの訓練方式を用いて前記第１眼位画像から背景、虹彩、強膜、瞳孔を分割するステップは、ニューラルネットワークモデルとしてＵＮｅｔニューラルネットワークモデルとＤｅｎｓｅＮｅｔニューラルネットワークモデルとの組み合わせを用い、ニューラルネットワークモデルでは、前記第１眼位画像を入力とし、Ｕｎｅｔニューラルネットワークモデルを用いて前記入力に対して次元削減と次元拡張を行い、次元削減ブロックの出力をスキップ接続により対応する次元拡張ブロックに伝送し、各次元削減ブロックではＤｅｎｓｅＮｅｔニューラルネットワークモデルを用いて特徴抽出を行い、各次元拡張モジュールではＤｅｎｓｅＮｅｔニューラルネットワークモデルを用いてアップサンプリングを行うステップを含む。

【0011】

さらに、当該眼瞼裂幅の測定方法は、損失関数を用いてニューラルネットワークの訓練効果を検証するステップをさらに含み、前記損失関数は、複合損失であり、焦点損失、一般化ダイス損失、表面損失、境界認識損失で構成されている。

【0012】

前記損失関数は、複合損失であり、計算方法は、
複合損失＝ａ_１×表面損失＋ａ_２×焦点損失＋ａ_３×一般化ダイス損失＋ａ_４×境界認識損失×焦点損失であり、
ここで、前記ａ_１、ａ_２、ａ_３、ａ_４は、ハイパーパラメータであり、前記ａ_１は、訓練プロセス期間の時間経過数に関連し、前記ａ_２＝１であり、前記ａ_３＝１－ａ_１であり、前記ａ_４＝２０である。

【0013】

さらに、前記眼瞼裂幅は、眼瞼裂幅（Ｂ）＝眼瞼裂幅の画素距離（Ａ）×眼瞼裂幅方向における単一画素の長さ×眼瞼裂からカメラレンズまでの距離（Ｄ）÷カメラ感光センサからカメラレンズまでの距離（Ｃ）であり、
ここで、眼瞼裂幅の画素距離（Ａ）は、前記瞳孔中心線上の強膜、虹彩又は瞳孔と背景との交点間の距離である。

【0014】

具体的には、眼瞼裂からカメラレンズまでの距離は、眼瞼裂からカメラレンズまでの距離（Ｄ）＝眼角係止点からカメラレンズまでの距離（１）－眼球突出度（２）である。

【0015】

さらに、前記眼球突出度（２）は、健常者の眼球突出度の平均値を用いる。

【0016】

一態様では、本願に係る眼瞼裂幅の測定装置は、
７００～１２００ｎｍの近赤外光ライトフィールドにおいて、眼球の前方位置にユーザの正面視からの第１眼位画像を撮影して取得する画像取得モジュールと、
ニューラルネットワークの訓練方式を用いて前記第１眼位画像から背景、虹彩、強膜、瞳孔を分割する画像分割モジュールと、
分割された瞳孔から瞳孔中心を抽出し、鉛直方向の瞳孔中心線を取得する特徴抽出モジュールと、
前記瞳孔中心線上の強膜、虹彩又は瞳孔と背景との交点間の距離を計算し、前記距離を用いて眼瞼裂幅を計算する計算モジュールと、を含む。

【0017】

一態様では、本願に係るコンピュータ可読記憶媒体には、プロセッサによってロードされて実行されて、当該眼瞼裂幅の測定方法を実現する少なくとも１つのプログラムコードが記憶される。

【発明の効果】

【0018】

本願の技術手段は、従来技術に比べて、少なくとも以下の有益な効果を有する。

【0019】

１．近赤外光ライトフィールドにおいて眼部画像を撮影することにより、虹彩、瞳孔、強膜、背景、涙丘を効果的に区別して、後続のニューラルネットワークの訓練により直感的で識別しやすい画像を提供することができる。

【0020】

２．本願は、ＵＮｅｔニューラルネットワークモデルとＤｅｎｓｅＮｅｔニューラルネットワークモデルとの組み合わせ形式を用いてニューラルネットワークの訓練を行うことにより、ＵＮｅｔニューラルネットワークモデルの構造が簡単で、安定し、医用画像処理に広く適用されるという利点を利用するだけでなく、ＵＮｅｔニューラルネットワークモデルの各次元削減ブロック及び次元拡張ブロックにＤｅｎｓｅＮｅｔニューラルネットワークモデルを適用し、各次元削減ブロック及び次元拡張ブロックにおいてｓｋｉｐ ｃｏｎｎｅｃｔｉｏｎ操作により特徴再利用を行うことにより、特徴抽出効果を向上させ、かつ、本願で用いられるＤｅｎｓｅＮｅｔニューラルネットワークモデルは、従来のＤｅｎｓｅＮｅｔニューラルネットワークモデルを簡略化し、従来のＤｅｎｓｅＮｅｔニューラルネットワークモデルが各層において前の全ての層と関連付ける必要があるため、計算が遅すぎるという問題を回避する。

【0021】

３．ニューラルネットワークモデルにより虹彩、瞳孔、強膜、背景、涙丘を正確に識別することにより、瞳孔中心線上の強膜、虹彩又は瞳孔と背景との交点を識別することができ、２つの交点の間の距離は、眼瞼裂幅の画素距離であり、幾何学的計算により眼瞼裂幅の距離を取得することができる。

【図面の簡単な説明】

【0022】

【図1】眼瞼裂幅の測定方法のフローチャートである。

【図2】用いられるニューラルネットワークモデルの構造図である。

【図3】次元削減ブロックの処理フローチャートである。

【図4】次元拡張ブロックの処理フローチャートである。

【図5】眼瞼裂幅の計算原理図である。

【図6】眼瞼裂幅の測定装置の概略構成図である。

【発明を実施するための形態】

【0023】

以下、図面及び実施例を参照しながら、本願の具体的な実施形態をさらに詳細に説明する。以下の実施例は、本願を説明するためのものであり、本願の範囲を限定するものではない。

【0024】

本願は、ニューラルネットワークモデル訓練の思想に基づいて、撮影された眼部画像に対して特徴抽出を行うことにより、瞳孔中心を見つけ、さらに瞳孔中心線を取得し、瞳孔中心線と眼窩との交点に基づいて眼瞼裂幅の画素距離を位置決めし、結像原理により眼瞼裂幅をさらに算出する。以下、具体的な実施例により本願の構想をさらに説明する。

【0025】

一態様では、図１に示す眼瞼裂幅の測定方法は、以下のステップＳ１～ステップＳ４を含む。

【0026】

ステップＳ１では、７００～１２００ｎｍの近赤外光ライトフィールドにおいて、眼球の前方位置にユーザの正面視からの第１眼位画像を撮影して取得する。

【0027】

上記ステップＳ１では、７００～１２００ｎｍの近赤外光ライトフィールドにおいて眼部画像を撮影するため、正常可視光の波長帯域４００～７００ｎｍにおいて、眼の異なる部分、即ち瞳孔、虹彩、強膜の色は、結像にほとんど作用せず、虹彩と強膜との接触部分の角膜縁のグラデーション構造により、眼球の球心を正確に識別することができない。ヒトメラニン色素は、吸収ピークが約３３５ｎｍに発生し、波長が７００ｎｍを超える波長帯域でほとんど全く吸収されず、虹彩の反射率は、波長が７００ｎｍを超える近赤外線帯域内でかなり安定しているため、近赤外光ライトフィールドを用いることにより、強膜、虹彩、瞳孔境界をよく区別することができ、これにより、アルゴリズムの正確性及び安定性をよりよく向上させることができる。

【0028】

ステップＳ２では、ニューラルネットワークの訓練方式を用いて前記第１眼位画像から背景、虹彩、強膜、瞳孔を分割する。

【0029】

上記ステップＳ２では、ニューラルネットワークモデルとしてＵＮｅｔニューラルネットワークモデルとＤｅｎｓｅＮｅｔニューラルネットワークモデルとの組み合わせを用い、ニューラルネットワークモデルでは、前記第１眼位画像を入力とし、Ｕｎｅｔニューラルネットワークモデルを用いて前記入力に対して次元削減と次元拡張を行い、次元削減ブロックの出力をスキップ接続により対応する次元拡張ブロックに伝送し、各次元削減ブロックではＤｅｎｓｅＮｅｔニューラルネットワークモデルを用いて特徴抽出を行い、各次元拡張モジュールではＤｅｎｓｅＮｅｔニューラルネットワークモデルを用いてアップサンプリングを行う。

【0030】

本願で用いられるニューラルネットワークのアーキテクチャは、ＵＮｅｔとＤｅｎｓｅＮｅｔの組み合わせであり、Ｐｙｔｏｒｃｈフレームワークに基づいて実現される。ニューラルネットワークの全体構造は、１つのＵ字形であり、図２に示すように、合計５つの次元削減ブロック、即ち、次元削減ブロック１から次元削減ブロック５、及び４つの次元拡張ブロック、即ち、次元拡張ブロック１から次元拡張ブロック４がある。

【0031】

ニューラルネットワークは、入力画像を受信し、次元削減ブロック１から次元削減ブロック５に伝送する。次元削減ブロック１を除き、各次元削減ブロックは、いずれも１つの最大プーリング層によって接続され、該層は、次元を半分に減らす。そして、次元削減ブロック５は、出力を次元拡張ブロック１から次元拡張ブロック４に伝送する。次元拡張ブロック４から出力が最後の畳み込みに伝送される。スキップ接続としては、次元削減ブロック１が次元拡張ブロック４に接続され、次元削減領域２が次元拡張ブロック３に接続され、次元削減ブロック３が次元拡張ブロック２に接続され、次元削減ブロック４が次元拡張ブロック１に接続されることが挙げられる。

【0032】

ＵＮｅｔは、１つの深層畳み込み構造を提供し、まず、入力次元をある程度に低減し、次に、入力を元のサイズに戻すとともに、スキップ接続により、次元削減ブロックから対応する次元拡張ブロックへの情報伝送を実現し、初期の層の出力を入力として後の層に伝送すべきであり、これにより、深層ニューラルネットワーク内部の情報損失を防止し、最大限に学習することができる。一方、ＤｅｎｓｅＮｅｔは、固定構造ではなく概念であり、本願におけるＤｅｎｓｅＮｅｔに対する注目は、具体的なスキップ接続ｓｋｉｐ ｃｏｎｎｅｃｔｉｏｎ技術であり、本願では、最適化された縮小バージョンが提案され、各次元拡張ブロック及び次元削減ブロックは、ｓｋｉｐ ｃｏｎｎｅｃｔｉｏｎ操作を行うとき、従来のＤｅｎｓｅＮｅｔネットワークモデルの各層のように、前の全ての層の出力を入力とする必要がなく、１～２回のスキップ接続操作を行うことにより、ネットワークが遅すぎるのを防止することができる。

【0033】

ニューラルネットワークの訓練プロセスを説明するために、以下の概念を導入する。

【0034】

最大プーリング（Ｍａｘ Ｐｏｏｌｉｎｇ）について、最大プーリングは、各特徴マップの各パッチにおける最大値を計算するプーリング操作である。その結果、平均的に集約された場合の特徴の平均的な存在ではなく、パッチの中で最も多い特徴が強調されたダウンサンプリング又は集約された特徴マップが得られる。この操作は、ｔｏｒｃｈ．ｎｎ．ＭａｘＰｏｏｌ２ｄ関数に対応し、カーネルのサイズは、２×２と定義され、この操作は、入力次元を半分に減らす。

【0035】

畳み込み（Ｃｏｎｖｏｌｕｔｉｏｎ）について、畳み込みは、１つのフィルタ（カーネルとも呼ばれる）を１つの入力に簡単に適用して、１つの活性化を生成する。入力に同じフィルタを繰り返し適用すると、特徴マップと呼ばれる活性化マップが生成され、入力から検出された特徴の位置及び強度を示す。この操作は、ｔｏｒｃｈ．ｎｎ．Ｃｏｎｖ２ｄ関数に対応する。

【0036】

同じ畳み込み（Ｓａｍｅ Ｃｏｎｖｏｌｕｔｉｏｎ）について、同じ畳み込みは、畳み込みタイプであり、出力行列が入力行列の次元と同じである。この操作は、ｔｏｒｃｈ．ｎｎ．Ｃｏｎｖ２ｄ関数に対応し、本願の例では、パディングが１×１であり、カーネルサイズが３×３である。

【0037】

有効畳み込み（Ｖａｌｉｄ Ｃｏｎｖｏｌｕｔｉｏｎ）について、有効畳み込みは、入力にいかなるパディングも使用しない畳み込み操作である。このような操作は、ｔｏｒｃｈ．ｎｎ．Ｃｏｎｖ２ｄ関数に対応し、本願の例では、パディングがなく、カーネルサイズが１×１である。

【0038】

転置畳み込み（Ｔｒａｎｓｐｏｓｅｄ Ｃｏｎｖｏｌｕｔｉｏｎ）について、転置畳み込み層は、畳み込み層の空間次元を再構成し、そのダウンサンプリング技術とアップサンプリング技術を逆に適用しようとする。この操作は、ｔｏｒｃｈ．ｎｎ．ＣｏｎｖＴｒａｎｓｐｏｓｅ２ｄに対応する。

【0039】

バッチ正規化について、バッチ正規化（バッチ規範とも呼ばれる）は、層の入力に対して再センタリング及び再スケーリングを行うことにより、人工ニューラルネットワークをより速く、より安定させる方法である。この操作は、ＢａｔｃｈＮｏｒｍ２ｄに対応し、ｎｕｍ＿ｆｅａｔｕｒｅｓは、ネットワークのラベル数である５である。

【0040】

リークＲＥＬＵ（Ｌｅａｋｙ ＲＥＬＵ）について、リーク補正線形活性化関数又は単にリークＲＥＬＵは、入力が正であれば、直接出力し、そうでなければ、１つの小さな因子（本願の例では０．１である）と入力との積を出力する１つのスライス線形関数である。

【0041】

具体的な次元拡張ブロック及び次元削減ブロックの動作プロセスは、以下のとおりである。

【0042】

次元削減ブロックには、いくつかの畳み込み演算並びにＬｅａｋｙ ＲＥＬＵ及びｓｋｉｐ ｃｏｎｎｅｃｔｉｏｎ操作が適用され、本願では、元の画像のサイズがｎ×ｎ×１次元であることを例として説明し、ここで、１次元は、元の画像が階調値のみを有することを指し、具体的な構造説明は、図３に示すとおりである。

【0043】

まず、次元削減ブロックの元の入力は、３２個のフィルタ（チャネル）を有する同じ畳み込み層（Ｌａｙｅｒ－１）を通過する。その後、Ｌａｙｅｒ－１の出力に対してＬｅａｋｙ ＲＥＬＵ活性化（ＲＥＬＵ－Ｌａｙｅｒ－１）を行う。次に、ＲＥＬＵ－Ｌａｙｅｒ－１と元の入力とは、チャネル次元に沿って直列接続され（Ｓｋｉｐ－Ｃｏｎｎｅｃｔｉｏｎ－Ｉｎｐｕｔ－１）、これにより、出力の次元は、３２に元の入力の次元を加えたものであり、これは、スキップ接続操作を初めて適用する場合であり、元の入力は、直接的に後期畳み込み段階に伝送される。第３、Ｓｋｉｐ－Ｃｏｎｎｅｃｔｉｏｎ－Ｉｎｐｕｔ－１は、３２個のフィルタを有する有効畳み込み層（Ｌａｙｅｒ－２）に伝送され、次元数を３２次元に削減し、これは、一般的に「ボトルネック層」と呼ばれ、ニューラルネットワークのチャネル次元を縮小して、ネットワークがあまり遅くならないように確保する。第４、Ｌａｙｅｒ－２の出力は、３２個のフィルタ（チャネル）を有する同じ畳み込み層（Ｌａｙｅｒ－３）を再び通過する。その後、Ｌａｙｅｒ－３の出力に対してリークＲＥＬＵ活性化（ＲＥＬＵ－Ｌａｙｅｒ－３）を行う。第５、ＲＥＬＵ－Ｌａｙｅｒ－３は、ＲＥＬＵ－Ｌａｙｅｒ－１と元の入力（Ｓｋｉｐ－Ｃｏｎｎｅｃｔｉｏｎ－Ｉｎｐｕｔ－２）に接続され、これは、スキップ接続操作を２回目に適用する場合である。第６、Ｓｋｉｐ－Ｃｏｎｎｅｃｔｉｏｎ－Ｉｎｐｕｔ－２は、３２個のフィルタを有する有効畳み込み層（Ｌａｙｅｒ－４）を再び通過し、当該層は、次元を３２次元に再び削減する。第７、Ｌａｙｅｒ－４の出力は、３２個のフィルタ（チャネル）を有する同じ畳み込み層（Ｌａｙｅｒ－５）を再び通過する。その後、Ｌａｙｅｒ－５の出力に対して１つのリークＲＥＬＵ活性化（ＲＥＬＵ－Ｌａｙｅｒ－５）を加える。最後に、ＲＥＬＵ－Ｌａｙｅｒ－５の結果は、バッチ正規化層（ｂａｔｃｈ ｎｏｒｍａｌｉｚａｔｉｏｎ）に伝送される。

【0044】

また、任意の畳み込みを適用する前に、各次元削減ブロックは、１番目の次元削減ブロックの入力が元の画像そのものであるため、１番目のブロックを除き、入力に対して最大プーリング層を適用し、これは、「次元削減」が実際に発生する箇所であり、当該層が入力の次元を半分に減らすためである。次元拡張ブロックは、次元を元の次元に戻す。

【0045】

次元拡張ブロックは、次元削減ブロックとほぼ同じであり、最大プーリングではなく転置畳み込みが適用され、次元拡張ブロックは、次元削減ブロックからのスキップ接続も受信する。具体的な構造の説明は、図４にも示すとおりである。

【0046】

まず、次元拡張ブロックは、入力に対して転置畳み込み（Ｌａｙｅｒ－１）を適用し、入力の次元を１倍増加させ、ここでは「次元拡張」が行われる。第２、Ｌａｙｅｒ－１の出力は、次元削減ブロックからのスキップ接続とチャネル次元に沿って接続され（Ｓｋｉｐ－Ｃｏｎｎｅｃｔｉｏｎ－Ｉｎｐｕｔ－１）、これは、構造的スキップ接続技術の実例である。第３、Ｓｋｉｐ－Ｃｏｎｎｅｃｔｉｏｎ－Ｉｎｐｕｔ－１は、３２個のフィルタを有する有効畳み込み層（Ｌａｙｅｒ－２）を通過して、次元を３２次元に削減する。第４、Ｌａｙｅｒ－２の出力は、３２個のフィルタ（チャネル）を有する同じ畳み込み層（Ｌａｙｅｒ－３）を再び通過する。その後、Ｌａｙｅｒ－３の出力に対して１つのリークＲＥＬＵ活性化（ＲＥＬＵ－Ｌａｙｅｒ－３）を加える。第５、ＲＥＬＵ－Ｌａｙｅｒ－３とＳｋｉｐ－Ｃｏｎｎｅｃｔｉｏｎ－Ｉｎｐｕｔ－１とは、スキップ接続操作を行うことにより、出力の次元を９６（Ｓｋｉｐ－Ｃｏｎｎｅｃｔｉｏｎ－Ｉｎｐｕｔ－２）にする。第６、Ｓｋｉｐ－Ｃｏｎｎｅｃｔｉｏｎ－Ｉｎｐｕｔ－２は、３２個のフィルタを有する有効畳み込み層（Ｌａｙｅｒ－４）を再び通過し、次元を３２次元に再び削減する。第７、Ｌａｙｅｒ－４の出力は、３２個のフィルタ（チャネル）を有する同じ畳み込み層（Ｌａｙｅｒ－５）を再び通過する。その後、Ｌａｙｅｒ－５の出力に対して１つのリークＲＥＬＵ活性化（ＲＥＬＵ－Ｌａｙｅｒ－５）を加える。最後に、ＲＥＬＵ－Ｌａｙｅｒ－５の結果は、バッチ正規化層（ｂａｔｃｈ ｎｏｒｍａｌｉｚａｔｉｏｎ）に伝送される。

【0047】

次元拡張ブロックと次元削減ブロックにより、出力は、Ｎ×Ｎ×３２次元の行列であり、ここで、ＮとＮは、画像の次元である。Ｎ×Ｎ×３２次元の行列は、５つのフィルタ（チャネル）を有する最終的な有効畳み込みを通過し、最終的な出力は、１つのＮ×Ｎ×５の行列である。直感的には、この行列は、各画素に５つの値を割り当て、この５つの値は、各画素が有するべきラベルの確率を表す。ここで、０は、背景のラベルであり、１は、強膜のラベルであり、２は、虹彩のラベルであり、３は、瞳孔のラベルであり、４は、涙丘のラベルである。最終的な出力は、各画素の５つの値のうちの最大値を見つけることによって計算され、これらの最大値のインデックスを、最終的な出力マスクである１つのＮ×Ｎの行列に割り当てる。

【0048】

ステップＳ３では、分割された瞳孔から瞳孔中心を抽出し、鉛直方向の瞳孔中心線を取得する。

【0049】

上記ステップＳ３では、瞳孔中心は、第１眼位画像から抽出された全ての瞳孔画素のＸ、Ｙ座標の平均値であり、Ｘ座標の平均値を用いて垂直線を引いて瞳孔中心線を取得することができる。

【0050】

ステップＳ４では、前記瞳孔中心線上の強膜、虹彩又は瞳孔と背景との交点間の距離を求め、前記距離を用いて眼瞼裂幅を計算する。

【0051】

図５に示すように、前記ステップＳ４では、類似の三角形原理に基づいて眼瞼裂幅を計算し、計算式は、
眼瞼裂幅（Ｂ）＝眼瞼裂幅の画素距離（Ａ）×眼瞼裂幅方向における単一画素の長さ×眼瞼裂からカメラレンズまでの距離（Ｄ）÷カメラ感光センサからカメラレンズまでの距離（Ｃ）であり、ここで、眼瞼裂幅の画素距離（Ａ）は、前記瞳孔中心線上の強膜、虹彩又は瞳孔と背景との交点間の距離である。

【0052】

さらに、前記ステップＳ４では、眼瞼裂からカメラレンズまでの距離Ｄ＝眼角係止点からカメラレンズまでの距離１－眼球突出度２である。

【0053】

さらに、前記眼球突出度（２）は、健常者の眼球突出度の平均値を用いる。統計平均学の観点から、健常者の眼球突出度の平均値は、１２～１４ｍｍを用いてもよい。実際の操作において、眼角係止点からカメラレンズまでの距離１は、既知であり、カメラ感光センサからカメラレンズまでの距離Ｃも既知であり、眼瞼裂幅の画素距離Ａは、撮影された第１眼位画像から取得されてもよく、眼瞼裂幅方向における単一画素の長さも既知の固定値であるため、眼瞼裂幅の値を算出することができる。

【0054】

ニューラルネットワークの訓練プロセスにおいて、ニューラルネットワークの訓練により最終的に出力された結果が正確であるか否かを検証するために、損失関数の定義をさらに導入する必要がある。損失関数は、アルゴリズムにおける現在の出力と予想出力との間の距離を計算する関数であり、モデル表現に関するデジタル指標を提供する。損失関数は、ニューラルネットワークの重要な構成要素である。本願では、焦点損失、一般化ダイス損失、表面損失、境界認識損失で構成された複合損失関数が設計される。

【0055】

まず、損失関数計算におけるパラメータＴＰ、ＦＰ、ＴＮ、ＦＮの意味を説明する必要がある。

【0056】

ＴＰ、即ち、Ｔｒｕｅ Ｐｏｓｉｔｉｖｅは、予測結果が正例であり、実績も正例であり、即ち、正例が正確に予測されることを示し、
ＦＰ、即ち、Ｆａｌｓｅ Ｐｏｓｉｔｉｖｅは、予測結果が正例であり、実績が負例であり、即ち正例が誤って予測され、負例が予測されないことを示し、
ＴＮ、即ち、Ｔｒｕｅ Ｎｅｇａｔｉｖｅは、予測結果が負例であり、実績も負例であり、即ち負例が正確に予測されることを示し、
ＦＮ、即ち、Ｆａｌｓｅ Ｎｅｇａｔｉｖｅは、予測結果が負例であり、実績が正例であり、即ち負例が誤って予測され、正例が予測されないことを示す。

【0057】

一般化ダイス損失（Ｇｅｎｅｒａｌｉｚｅｄ Ｄｉｃｅ Ｌｏｓｓ、ＧＤＬ）は、Ｆ_１得点に由来し、具体的には、一般的な正確性の補足として、式２を参照する。一般的な正確度は、モデル性能の良い指標とすることができるが、アンバランスデータに関する場合、需要を満たさない。セマンティックセグメンテーションスキームにおいて一般的に使用される損失関数は、ＩｏＵ（Ｉｎｔｅｒｓｅｃｔｉｏｎ ｏｖｅｒ Ｕｎｉｏｎ）損失であり、即ち、ユニオン交差であり、「予測ボックス（ｂｏｕｎｄｉｎｇ ｂｏｘ）」と「グラウンドトゥルース（ｇｒｏｕｎｄ ｔｒｕｔｈ）」の共通集合と和集合との比として表され、ＩｏＵは、式１によって規定される。式３で規定されるダイス係数（Ｄｉｃｅ Ｆａｃｔｏｒ）は、式１及び式２から求めることができ、ダイス損失（Ｄｉｃｅ Ｌｏｓｓ）は、式４のダイス係数から求めることができる。一般化ダイス損失は、ダイス損失の１つの拡張に過ぎない。簡単なダイス損失は、２つの分割クラスのみに適用されるため、広義のダイス損失は、複数の分割クラスを処理し、ここでは、ラベル部分に言及された５つの分割クラスを処理する。関連する式は、以下のとおりである。

【0058】

【数1】

【数2】

ここで、ｐｒｅｃｉｓｉｏｎは、分類モデル指標における正確率を指し、Ｒｅｃａｌｌは、リコール率を指し、Ｉｎｔｅｒｓｅｃｔｉｏｎは、共通集合を指し、Ｕｎｉｏｎは、和集合を指す。

【0059】

焦点損失（Ｆｏｃａｌ Ｌｏｓｓ）は、厳密な負の例に焦点を当てようとするため、標準クロスエントロピー損失の変種である。焦点損失関数は、以下から導出される。ｐ_Ｔは、式５において定義され、ここで、ｐは、グランドトゥルースを表す。合成ｐ_Ｔの定義により、焦点損失は、式６で記述でき、ここで、ａ_Ｔとγは、ハイパーパラメータである。γがゼロである場合、焦点損失は、クロスエントロピー損失に縮小する。γは、例において２であり、γは、調節効果を提供し、グランドトゥルースが非常に小さい場合、当該関数は、容易な例から損失を取得する。モデルが簡単な例を習得すると、関数は、より難しい例へ遷移する。関連する式は、以下のとおりである。

【0060】

【数3】

【数4】

【0061】

上記ｙは、教師あり学習の分類に対する訓練セットの正確性（ｇｒｏｕｎｄ ｔｒｕｔｈ）クラスラベルを指定し、ｐは、ラベルｙ＝１の推定確率である。

【0062】

境界認識損失（Ｂｏｕｎｄａｒｙ Ａｗａｒｅ Ｌｏｓｓ、ＢＡＬ）におけるセマンティック上の境界は、カテゴリラベルに基づく分離領域である。各画素と２つの最も近いフラグメントとの距離に基づいてその損失を重み付けし、エッジ意識を導入した。本願では、ｏｐｅｎ ｃｖにおけるＣａｎｎｙエッジ検出器を用いて境界画素を生成し、さらに２つの画素拡大して境界での混同を低減する。これらの境界画素の数値が一定倍拡大された後、従来の標準クロスエントロピー損失に増加し、モデルの境界に対する注意を高める。

【0063】

表面損失（Ｓｕｒｆａｃｅ Ｌｏｓｓ、ＳＬ）は、高いセマンティック価値を有する小さくまれな構造を保持する、画像輪郭空間に基づく距離尺度である。ＢＡＬは、境界付近の正確な画素確率を最大限に向上させようとし、ＧＤＬは、アンバランスな条件のために安定した勾配を提供する。両者とは逆に、ＳＬは、各画素と各カテゴリのグランドトゥルース境界との距離に基づいて各画素の損失を測定し、領域に基づく損失により無視される小さな領域を効果的に復元することができる。表面損失は、単一の画素から各ラベルグループの境界までの距離を計算し、この距離を画像のサイズに応じて標準化する。これらの計算結果は、モデル予測の結果と組み合わせて平均値を求める。

【0064】

最終的な複合損失関数は、以下の式７で与えられる。

【0065】

複合損失＝ａ_１×表面損失＋ａ_２×焦点損失＋ａ_３×一般化ダイス損失＋ａ_４×境界認識損失×焦点損失（７）
ここで、変数ａ_１、変数ａ_２、変数ａ_３、変数ａ_４は、ハイパーパラメータである。本願の具体的な場合では、ａ_１は、訓練期間の時間経過数に関連し、ａ_２は、１であり、ａ_３は、１－ａ_１、ａ_４は、２０である。

【0066】

一態様では、図６に示すように、本願に係る眼瞼裂幅の測定装置は、画像取得モジュール６０１と、画像分割モジュール６０２と、特徴抽出モジュール６０３と、計算モジュール６０４とを含む。

【0067】

画像取得モジュール６０１は、７００～１２００ｎｍの近赤外光ライトフィールドにおいて、眼球の前方位置にユーザの正面視からの第１眼位画像を撮影して取得し、
画像分割モジュール６０２は、ニューラルネットワークの訓練方式を用いて前記第１眼位画像から背景、虹彩、強膜、瞳孔を分割し、
特徴抽出モジュール６０３は、分割された瞳孔から瞳孔中心を抽出し、鉛直方向の瞳孔中心線を取得し、
計算モジュール６０４は、前記瞳孔中心線上の強膜、虹彩又は瞳孔と背景との交点間の距離を計算し、前記距離を用いて眼瞼裂幅を計算する。

【0068】

一態様では、本願に係るコンピュータ可読記憶媒体には、プロセッサによってロードされて実行されて、上記実施例における眼瞼裂幅の測定方法を実現する少なくとも１つのプログラムコードが記憶される。

【0069】

例示的な実施例では、プロセッサによってロードされて実行されて、上記実施例における眼瞼裂幅の測定方法を実現する少なくとも１つのプログラムコードが記憶されるメモリを含むコンピュータ可読記憶媒体をさらに提供する。例えば、当該コンピュータ可読記憶媒体は、読み取り専用メモリ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、ＲＯＭ）、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＲＡＭ）、コンパクトディスク読み取り専用メモリ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、ＣＤＲＯＭ）、磁気テープ、フロッピーディスク及び光データ記憶機器などであってもよい。

【0070】

当業者であれば、上記実施例のステップの全部又は一部の実現が、ハードウェアによって完了されてもよく、少なくとも１つのプログラムコードに関連するハードウェアによって完了されてもよく、当該プログラムがコンピュータ可読記憶媒体に記憶されてもよく、上述した記憶媒体が読み取り専用メモリ、磁気ディスク又は光ディスクなどであってもよいと理解される。

【0071】

以上の記載は、本願の好ましい実施例に過ぎず、本願を限定するものではなく、本願の精神及び原則内に行われるいかなる修正、同等置換、改良などは、いずれも本願の保護範囲内に含まれるべきである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【国際調査報告】