知財求人 - 知財ポータルサイト「IP Force」
特表2024-546482前眼部ＯＣＴＡに使用されるアイトラッキング方法、装置、機器及び記憶媒体
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-12-24
(54)【発明の名称】前眼部ＯＣＴＡに使用されるアイトラッキング方法、装置、機器及び記憶媒体
(51)【国際特許分類】
A61B 3/10 20060101AFI20241217BHJP
【ＦＩ】
A61B3/10 100
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2024534540
(86)(22)【出願日】2022-10-21
(85)【翻訳文提出日】2024-06-07
(86)【国際出願番号】 CN2022126616
(87)【国際公開番号】W WO2023103609
(87)【国際公開日】2023-06-15
(31)【優先権主張番号】202111489187.2
(32)【優先日】2021-12-07
(33)【優先権主張国・地域又は機関】CN
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＡＮＤＲＯＩＤ
(71)【出願人】
【識別番号】524218318
【氏名又は名称】図湃（北京）医療科技有限公司
【氏名又は名称原語表記】ＴＯＷＡＲＤＰＩ（ＢＥＩＪＩＮＧ）ＭＥＤＩＣＡＬ ＴＥＣＨＮＯＬＯＧＹ ＬＴＤ．
【住所又は居所原語表記】４ｔｈ Ｆｌｏｏｒ，Ｂｕｉｌｄｉｎｇ ３，Ｙａｒｄ ９，Ｓｈｅｎｇｍｉｎｇｙｕａｎ Ｒｏａｄ，Ｌｉｆｅ Ｓｃｉｅｎｃｅ Ｐａｒｋ，Ｃｈａｎｇｐｉｎｇ Ｄｉｓｔｒｉｃｔ Ｂｅｉｊｉｎｇ １０２２０６ Ｃｈｉｎａ
(74)【代理人】
【識別番号】110000523
【氏名又は名称】アクシス国際弁理士法人
(72)【発明者】
【氏名】尚学森
(72)【発明者】
【氏名】汪霄
【テーマコード（参考）】
4C316
【Ｆターム（参考）】
4C316AA01
4C316AA06
4C316AB02
4C316AB11
4C316FA19
4C316FB23
(57)【要約】
本開示は、前眼部ＯＣＴＡに使用されるアイトラッキング方法、装置、機器及び記憶媒体を提供する。前眼部ＯＣＴＡに使用されるアイトラッキング方法は、連続する２フレームの瞳孔図を取得することと、２フレームの瞳孔図に対してそれぞれ輪郭の抽出を行い、対応する２つの瞳孔輪郭を得ることと、２つの瞳孔輪郭が基準輪郭と類似するか否かを確定することと、２つの瞳孔輪郭が基準輪郭と類似することに応答し、２つの瞳孔輪郭のうちの１つの瞳孔輪郭のもう１つの瞳孔輪郭に対する中心位置のずれを計算することと、を含む。
【特許請求の範囲】
【請求項1】
連続する２フレームの瞳孔図を取得することと、前記２フレームの瞳孔図に対してそれぞれ輪郭の抽出を行い、対応する２つの瞳孔輪郭を得ることと、
前記２つの瞳孔輪郭が基準輪郭と類似するか否かを確定することと、
前記２つの瞳孔輪郭が前記基準輪郭と類似することに応答し、前記２つの瞳孔輪郭のうちの１つの瞳孔輪郭のもう１つの瞳孔輪郭に対する中心位置のずれを計算することと、を含む、
前眼部光干渉断層血管撮影ＯＣＴＡに使用されるアイトラッキング方法。
【請求項2】
１フレームの瞳孔図に対して輪郭の抽出を行うことは、前記瞳孔図に対して極座標変換を行い、変換後の瞳孔図を得ることと、
最短経路アルゴリズムに基づいて、前記変換後の瞳孔図における瞳孔の境界を抽出することと、
前記境界に対して極座標逆変換を行い、対応する瞳孔輪郭を得ることと、を含む、
請求項１に記載の方法。
【請求項3】
１つの瞳孔輪郭が前記基準輪郭と類似するか否かを確定することは、前記瞳孔輪郭と前記基準輪郭との間の距離を計算することと、
予め設定された距離範囲及び前記距離に応じて、前記瞳孔輪郭が前記基準輪郭と類似するか否かを確定することと、を含む、
請求項１に記載の方法。
【請求項4】
前記した、前記２つの瞳孔輪郭のうちの１つの瞳孔輪郭のもう１つの瞳孔輪郭に対する中心位置のずれを計算することは、各瞳孔輪郭に応じて、瞳孔輪郭の質量中心を取得することと、
２つの質量中心に応じて、前記中心位置のずれを計算することと、を含む、
請求項１に記載の方法。
【請求項5】
前記２つの瞳孔輪郭が前記基準輪郭と類似しないことに応答し、前記連続する２フレームの瞳孔図に隣り合う画像である２フレームの連続する瞳孔図を再取得して、前記２フレームの連続する瞳孔図に対してそれぞれ輪郭の抽出を行い、対応する２つの瞳孔輪郭を得る操作、及び該２つの瞳孔輪郭が前記基準輪郭と類似するか否かを確定する操作を実行することをさらに含む、請求項１に記載の方法。
【請求項6】
前記基準輪郭は、瞳孔が遮られていない場合に撮影された基準図である瞳孔基準図を取得する操作と、
前記瞳孔基準図に対して極座標変換を行い、変換後の瞳孔基準図を得る操作と、
最短経路アルゴリズムに基づいて、前記変換後の瞳孔基準図における瞳孔の境界を抽出する操作と、
前記境界に対して極座標逆変換を行い、瞳孔の基準輪郭を得る操作と、により取得される、
請求項１に記載の方法。
【請求項7】
連続する２フレームの瞳孔図を取得するように構成される取得モジュールと、前記２フレームの瞳孔図に対してそれぞれ輪郭の抽出を行い、対応する２つの瞳孔輪郭を得るように構成される抽出モジュールと、
前記２つの瞳孔輪郭が基準輪郭と類似するか否かを確定するように構成される確定モジュールと、
前記２つの瞳孔輪郭が前記基準輪郭と類似することに応答し、前記２つの瞳孔輪郭のうちの１つの瞳孔輪郭のもう１つの瞳孔輪郭に対する中心位置のずれを計算するように構成される計算モジュールと、を備える、
前眼部光干渉断層血管撮影ＯＣＴＡに使用されるアイトラッキング装置。
【請求項8】
前記２つの瞳孔輪郭が基準輪郭と類似しないことに応答し、前記連続する２フレームの瞳孔図に隣り合う画像である２フレームの連続する瞳孔図を再取得して、前記２フレームの連続する瞳孔図に対してそれぞれ輪郭の抽出を行い、対応する２つの瞳孔輪郭を得る操作、及び前記２つの瞳孔輪郭が前記基準輪郭と類似するか否かを確定する操作を実行するように構成される再取得モジュールをさらに備える、請求項７に記載の装置。
【請求項9】
コンピュータプログラムが記憶されたメモリ及びプロセッサを備え、前記プロセッサが前記コンピュータプログラムを実行すると、請求項１～６のいずれか１項に記載の前眼部光干渉断層血管撮影ＯＣＴＡに使用されるアイトラッキング方法を実現する、電子機器。
【請求項10】
プロセッサにより実行されると、請求項１～６のいずれか１項に記載の前眼部光干渉断層血管撮影ＯＣＴＡに使用されるアイトラッキング方法を実現する、コンピュータプログラムが記憶されている、コンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本願は、２０２１年１２月０７日に中国専利局に出願された、出願番号が２０２１１１４８９１８７．２である中国特許出願の優先権を主張し、該出願の全ての内容は引用により本願に組み込まれている。
【0002】
本開示は、アイトラッキングの技術分野に関し、例えば前眼部光干渉断層血管撮影（Ｏｐｔｉｃａｌ Ｃｏｈｅｒｅｎｃｅ Ｔｏｍｏｇｒａｐｈｙ Ａｎｇｉｏｇｒａｐｈｙ、ＯＣＴＡ）に使用されるアイトラッキング方法、装置、機器及び記憶媒体に関する。
【背景技術】
【0003】
ＯＣＴＡは、最初に後眼部、即ち眼底に応用され、非侵襲性の新型の眼底画像検査技術であり、網膜脈絡膜の血流の運動情報を高分解能で認識し、生体組織に対して網膜脈絡膜の微小血管の循環の撮影を行うことができる。ＯＣＴＡは、正常な網膜脈絡膜の血管の改変、並びに疾患の管理やフォローアップ及び治療効果の検出等の面で独特の優勢を有する。前眼部では、同一の横断面を複数回走査する光干渉断層撮影（ＯＣＴ、Ｏｐｔｉｃａｌ Ｃｏｈｅｒｅｎｃｅ Ｔｏｍｏｇｒａｐｈｙ）の信号変化により走査領域の血流信号を得て、複数の横断面を連続的に走査すれば、前眼部の走査される領域のＯＣＴＡ画像を得ることができる。
【0004】
現在のＯＣＴＡが全ての患者に適しているわけではなく、患者の固視が不良になったり瞬きが頻繁になったり眼球が移動したりする場合、ＯＣＴＡ画像が不正確になる。
【発明の概要】
【0005】
本開示は、ＯＣＴＡが全ての患者に適しているわけではなく、特に患者の固視が不良になったり瞬きが頻繁になったり眼球が移動したりする場合、ＯＣＴＡ画像が不正確になる問題を改善可能な前眼部ＯＣＴＡに使用されるアイトラッキング方法、装置、機器及び記憶媒体を提供する。
【0006】
本開示の第１側面では、
連続する２フレームの瞳孔図を取得することと、
前記２フレームの瞳孔図に対してそれぞれ輪郭の抽出を行い、対応する２つの瞳孔輪郭を得ることと、
前記２つの瞳孔輪郭が基準輪郭と類似するか否かを確定することと、
前記２つの瞳孔輪郭が前記基準輪郭と類似することに応答し、前記２つの瞳孔輪郭のうちの１つの瞳孔輪郭のもう１つの瞳孔輪郭に対する中心位置のずれを計算することと、を含む、前眼部ＯＣＴＡに使用されるアイトラッキング方法を提供する。
連続する２フレームの瞳孔図を取得することと、
前記２フレームの瞳孔図に対してそれぞれ輪郭の抽出を行い、対応する２つの瞳孔輪郭を得ることと、
前記２つの瞳孔輪郭が基準輪郭と類似するか否かを確定することと、
前記２つの瞳孔輪郭が前記基準輪郭と類似することに応答し、前記２つの瞳孔輪郭のうちの１つの瞳孔輪郭のもう１つの瞳孔輪郭に対する中心位置のずれを計算することと、を含む、前眼部ＯＣＴＡに使用されるアイトラッキング方法を提供する。
【0007】
本開示の第２側面では、
連続する２フレームの瞳孔図を取得するように構成される取得モジュールと、
前記２フレームの瞳孔図に対してそれぞれ輪郭の抽出を行い、対応する２つの瞳孔輪郭を得るように構成される抽出モジュールと、
前記２つの瞳孔輪郭が基準輪郭と類似するか否かを確定するように構成される確定モジュールと、
前記２つの瞳孔輪郭が基準輪郭と類似することに応答し、前記２つの瞳孔輪郭のうちの１つの瞳孔輪郭のもう１つの瞳孔輪郭に対する中心位置のずれを計算するように構成される計算モジュールと、を備える、前眼部ＯＣＴＡに使用されるアイトラッキング装置を提供する。
連続する２フレームの瞳孔図を取得するように構成される取得モジュールと、
前記２フレームの瞳孔図に対してそれぞれ輪郭の抽出を行い、対応する２つの瞳孔輪郭を得るように構成される抽出モジュールと、
前記２つの瞳孔輪郭が基準輪郭と類似するか否かを確定するように構成される確定モジュールと、
前記２つの瞳孔輪郭が基準輪郭と類似することに応答し、前記２つの瞳孔輪郭のうちの１つの瞳孔輪郭のもう１つの瞳孔輪郭に対する中心位置のずれを計算するように構成される計算モジュールと、を備える、前眼部ＯＣＴＡに使用されるアイトラッキング装置を提供する。
【0008】
本開示の第３側面では、電子機器を提供する。該電子機器は、メモリ及びプロセッサを備え、前記メモリにはコンピュータプログラムが記憶されており、前記プロセッサが前記コンピュータプログラムを実行すると、本開示の実施例に記載の前眼部ＯＣＴＡに使用されるアイトラッキング方法を実現する。
【0009】
本開示の第４側面では、プロセッサにより実行されると、本開示の実施例に記載の前眼部ＯＣＴＡに使用されるアイトラッキング方法を実現するコンピュータプログラムが記憶されているコンピュータ可読記憶媒体を提供する。
【図面の簡単な説明】
【0010】
【図1】本開示の実施例に係る正常に撮影された瞳孔図である。
【図2】本開示の実施例に係る前眼部ＯＣＴＡに使用されるアイトラッキング方法のフロー図である。
【図3】本開示の実施例に係る瞳孔輪郭の抽出過程の模式図である。
【図4】本開示の実施例に係る瞳孔輪郭と基準輪郭とが類似しない模式図である。
【図5】本開示の実施例に係る瞳孔輪郭と基準輪郭とが類似する模式図である。
【図6】本開示の実施例に係る前眼部ＯＣＴＡに使用されるアイトラッキング装置の構造模式図である。
【図7】本開示の実施例に係る電子機器の構造模式図である。
【発明を実施するための形態】
【0011】
以下、本開示の実施例における図面を参照しながら、本開示の実施例における技術案を説明する。
【0012】
本開示の実施例に係る前眼部ＯＣＴＡに使用されるアイトラッキング方法は、アイトラッキングの技術分野に応用可能である。
【0013】
ＯＣＴＡは、同一の横断面を複数回走査して得られたＯＣＴの信号変化を測定することにより血管腔における赤血球の運動を探知し、連続する横断面の（ｅｎ ｆａｃｅ）ＯＣＴ画像の情報を統合した後、完全な網膜脈絡膜の３次元血管画像を得るものである。そのうち、ｅｎ ｆａｃｅ ＯＣＴは、従来の高密度のＢ走査（Ｂ－ｓｃａｎ）画像を踏まえてソフトウエアの演算により処理してなる横方向断層画像技術である。
【0014】
ＯＣＴＡは全ての患者に適しているわけではなく、患者の固視が良好で、中間透光体が透明である場合のみ、血流の連続性がよく、走査信号の品質が高いＯＣＴＡ画像が得られる。ＯＣＴＡの単一回の血流の撮影の走査に必要な時間は、走査範囲及び光源周波数によって決まる。走査範囲が大きく且つ光源周波数に対する要求が高い場合、ＯＣＴＡの撮影時間も長くなり、その結果、患者には、固視が不良になったり瞬きが頻繁になったり眼球が移動したりする状況が発生し、ＯＣＴＡの走査信号の強度が悪くなり、得られる画像品質が悪くなる。
【0015】
従って、走査過程において、アイトラッキングの導入は非常に必要である。アイトラッキングを導入することで、患者の瞳孔の自動位置測定を実現して瞬き及び眼球の移動の状況を認識して排除し、前後２つの連続位置の高品質の瞳孔図の間の移動方向及び大きさを得て、後続のＯＣＴＡの撮影をより正確にすることができる。
【0016】
図１は、本開示の実施例に係る正常に撮影された瞳孔図である。図１を参照し、関連技術において、通常の、瞳孔を認識する策略には、画像フィルタリング、画像二値化、エッジ検出及び楕円フィッティング等のステップが含まれる。一方、瞬きし、即ち一部又は全部の瞳孔がまぶた又はまつげにより遮られた場合、一般的に、遮られた部分を排除し、有効領域のみを使用して楕円フィッティングを行う。
【0017】
楕円フィッティング方法の過程に関しては、まず画像に対してマスク（Ｍａｓｋ）により関心領域を抽出し、次にヒストグラムにより１つの閾値を得て画像を二値化し、そして、エッジ追従アルゴリズムを使用して二値化画像に対して輪郭を抽出し、最後に抽出した輪郭に対して楕円フィッティングを行う。フィッティングした楕円と元の輪郭との誤差が１つの閾値よりも大きければ、ランダムコンセンサスアルゴリズムを使用して外れ値を捨てる。
【0018】
関連技術に関しては、多くの技術案において画像を二値化する必要があるが、二値化に必要な閾値の確定が容易ではない。一旦、画像品質が悪く、又は閾値の選出が適切ではないと、二値化画像により標識された領域は、瞳孔であるとは限らない。
【0019】
また、多くの技術案において、瞳孔の位置の認識は、楕円のフィッティングにより得られる。しかし、このようにすると、いくつかの欠点が存在する。例えば、眼科検査において、患者の瞳孔が既に変形している可能性があり、この場合、１つの予め設定された形状（例えば楕円）でフィッティングすると、大きな誤差を招く。且つ、楕円のフィッティング自体も誤差を招く。
【0020】
前眼部ＯＣＴＡを専門的に対象としたアイトラッキング案はまだない。これについて案をカスタマイズするには、さらに患者が瞬きしているか否かを認識する必要があるが、多くの技術案はいずれもこれに言及したことがない。
【0021】
以上の技術問題を解決するために、本開示の実施例は前眼部ＯＣＴＡに使用されるアイトラッキング方法を提供する。いくつかの実施例において、該前眼部ＯＣＴＡに使用されるアイトラッキング方法は電子機器により実行可能である。
【0022】
【0023】
操作２０１において、連続する２フレームの瞳孔図を取得する。
【0024】
本開示の実施例において、連続する２フレームの瞳孔図は、患者に対してＯＣＴＡ画像認識を行う時、正常に撮影された瞳孔図から任意に選出した前後連続する２フレームの瞳孔図である。光学原理で診断撮影を行う機器により、前後連続する２フレームの瞳孔図を取得することができる。
【0025】
本開示の実施例において、取得する画像フレーム数は、光学原理で診断撮影を行う機器の分解能に応じて確定され、一般的に、１秒以内に取得する画像フレーム数は、３０フレーム、６０フレーム又は１２０フレームである。一定時間内に、光学原理で診断撮影を行う機器は、複数フレームの画像を取得可能である。
【0026】
本開示の実施例において、光学原理で診断撮影を行う機器は、ＯＣＴ撮影機器及び瞳孔カメラ撮影機器を含む。
【0027】
該前眼部ＯＣＴＡに使用されるアイトラッキング方法の説明を容易にするために、複数フレームの画像の中の各グループの前後連続する２フレームの瞳孔図のうちの任意の１グループを具体的な実施例における前後連続する２フレームの瞳孔図として選出し、それについて説明する。
【0028】
本開示の実施例において、連続する２フレームの瞳孔図は、後続の輪郭の抽出に使用され、患者が瞬きしているか否か等を判断する正確性を向上させる。
【0029】
操作２０２において、２フレームの瞳孔図に対してそれぞれ輪郭の抽出を行い、対応する２つの瞳孔輪郭を得る。
【0030】
本開示の実施例において、極座標変換及び最短経路アルゴリズムにより、２フレームの瞳孔図における瞳孔に対してそれぞれ輪郭の抽出を行い、２つの瞳孔輪郭を得る。
【0031】
図３は、本開示の実施例に係る瞳孔輪郭の抽出過程の模式図である。図３を参照し、２フレームの瞳孔図のうちの１フレームの瞳孔図に対して輪郭の抽出を行う方式は、正常に撮影された瞳孔図（ａ）に対して極座標変換を行うことにより、変換後の瞳孔図（ｂ）を取得し、最短経路アルゴリズムに基づいて、変換後の瞳孔図（ｂ）における瞳孔の境界に対して抽出を行い、境界が抽出された後の瞳孔図（ｃ）を得てから、境界が抽出された後の瞳孔図（ｃ）における境界に対して極座標逆変換を行い、瞳孔輪郭を含む瞳孔図（ｄ）を得ることである。
【0032】
瞳孔輪郭を含む瞳孔図（ｄ）で表示された瞳孔輪郭は、瞳孔において画像の中心から一定距離離れ且つ囲んで閉ループになる輪郭である。
【0033】
本開示の実施例において、極座標変換及び最短経路アルゴリズムにより、２フレームの瞳孔図における瞳孔に対してそれぞれ輪郭の抽出を行うことで、関連技術における、画像二値化の方法を採用すると、二値化に必要な閾値の確定が容易ではない問題に起因して、二値化画像で標識された領域が瞳孔であるとは限らないという問題を回避することができる。
【0034】
いくつかの実施例において、操作２０２において１フレームの瞳孔図に対して輪郭の抽出を行うことは、操作Ａ１から操作Ａ３を含む。
【0035】
操作Ａ１において、瞳孔図に対して極座標変換を行い、変換後の瞳孔図を得る。
【0036】
操作Ａ２において、最短経路アルゴリズムに基づいて、変換後の瞳孔図における瞳孔の境界を抽出する。
【0037】
操作Ａ３において、境界に対して極座標逆変換を行い、瞳孔輪郭を得る。
【0038】
本開示の実施例において、１フレームの瞳孔図に対して輪郭の抽出を行う方法の説明は、以下の通りである。
【0039】
本開示の実施例において、極座標変換は、画像における閉じた輪郭を検出するために使用される。図３を参照し、瞳孔図においてデカルト座標系ｘｏｙを作り、一般的に画像の中心（ｘ0，ｙ0）を変換中心として選出する。デカルト座標系ｘｏｙの平面における任意の一点（ｘ，ｙ）は、（ｘ0，ｙ0）を中心とし、以下の計算数式により極座標系における極座標（θ，ｒ）に対応させ、
図３における正常に撮影された瞳孔図（ａ）から変換後の瞳孔図（ｂ）への過程の通りである。
【数1】
【0040】
本開示の実施例において、最短経路アルゴリズムに基づいて、極座標での瞳孔の境界を見つける。最短経路アルゴリズムは、深さ又は幅優先探索アルゴリズム、フロイドアルゴリズム、ダイクストラアルゴリズム及びＢｅｌｌｍａｎ－Ｆｏｒｄアルゴリズムを含む。
【0041】
一実施例において、ダイクストラアルゴリズムを採用して極座標での瞳孔の境界を見つける。ダイクストラアルゴリズムを採用して極座標での瞳孔の境界を見つけるステップは、以下に示す通りである。
【0042】
操作１において、変換後の瞳孔図において１つの配列Ｎ及び２つの集合Ｐ、Ｑを維持し、配列Ｎは、始点から各頂点までの最短距離を格納するために使用され、集合Ｐは、トラバースされていない点を記憶するために使用され、集合Ｑは、既にトラバースされた点を記憶する。
【0043】
操作２において、集合Ｐから始点を選択し、該始点を集合Ｑに追加するとともに、集合Ｐから削除し、そして、該始点に隣り合う点までの距離を配列Ｎに追加し、隣接しない点までの距離を無限大で表す。
【0044】
操作３において、集合Ｑに最も近い１つの点Ｍ（即ち、全ての既にトラバースされた点に繋がるトラバースされていない点のうち、辺の重み値が最も小さい点）を選択し、該点を集合Ｑに加えるとともに、集合Ｐから削除する。
【0045】
操作４において、点Ｍに隣り合う点Ｃを見つけ、配列Ｎに記憶されたＣ点に到達する距離が始点からＭを経由してＣ点に到達する距離よりも小さいか否かを判断する。配列Ｎに記憶されたＣ点に到達する距離が始点からＭを経由してＣ点に到達する距離よりも小さければ、配列Ｎを更新し、配列Ｎに記憶されたＣ点に到達する距離が始点からＭを経由してＣ点に到達する距離以上であれば、引き続き次の点Ｍに隣り合う点を探し、点Ｍの全ての隣り合う点のトラバースが済むまで操作４を繰り返す。
【0046】
トラバースする集合Ｐが空になり、即ち配列Ｎが極座標での瞳孔の境界を構成するまで、「集合Ｑに最も近い１つの点Ｍ（即ち、全ての既にトラバースされた点に繋がるトラバースされていない点のうち、辺の重み値が最も小さい点）を選択し、該点を集合Ｑに加えるとともに、集合Ｐから削除する」こと、及び「点Ｍに隣り合う点Ｃを見つけ、配列Ｎに記憶されたＣ点に到達する距離が始点からＭを経由してＣ点に到達する距離よりも小さいか否かを判断する。配列Ｎに記憶されたＣ点に到達する距離が始点からＭを経由してＣ点に到達する距離よりも小さければ、配列Ｎを更新し、配列Ｎに記憶されたＣ点に到達する距離が始点からＭを経由してＣ点に到達する距離以上であれば、引き続き次の点Ｍに隣り合う点を探し、点Ｍの全ての隣り合う点のトラバースが済むまで操作４を繰り返す」ことを繰り返す。
【0047】
図３における変換後の瞳孔図（ｂ）から境界が抽出された後の瞳孔図（ｃ）への過程の通りである。
【0048】
本開示の実施例において、見つけた瞳孔の境界を極座標からデカルト座標に変換し、以下の計算数式によりデカルト座標系における座標に対応させ、
そうすると、図３における瞳孔輪郭を含む瞳孔図（ｄ）におけるデカルト座標系での瞳孔輪郭は、以下の数式で表され、
そのうち、ｎは輪郭内の点の個数である。
【数2】
【数3】
【0049】
操作２０３において、２つの瞳孔輪郭が基準輪郭と類似するか否かを確定する。
【0050】
本開示の実施例において、基準輪郭は、瞳孔基準図から抽出された瞳孔輪郭である。瞳孔基準図及び取得しようとする連続する２フレームの瞳孔図は、患者が同一の患者であり、且ついずれも患者の同じ目に対して撮影されたものであり、瞳孔基準図は即ち、撮影される同一の患者の瞳孔が遮られていない正常に撮影された瞳孔図である。
【0051】
本開示の実施例において、瞳孔輪郭と基準輪郭との類似性を比較することにより、目の状態を判断して、追跡をよりよく実現することができる。同時に、類似性の比較は、輪郭の大きさの影響を受けず、形態のみに関係している。これにより、瞳孔の、入射光線のムラ等による大きくなったり小さくなったりするサイズの変化を無視してもよい。
【0052】
いくつかの実施例において、操作２０３における基準輪郭は、以下の操作（操作Ｂ１から操作Ｂ４）により取得することができる。
【0053】
操作Ｂ１において、瞳孔が遮られていない基準図である瞳孔基準図を取得する。
【0054】
操作Ｂ２において、瞳孔基準図に対して極座標変換を行い、変換後の瞳孔基準図を得る。
【0055】
操作Ｂ３において、最短経路アルゴリズムに基づいて、変換後の瞳孔基準図における瞳孔の境界を抽出する。
【0056】
操作Ｂ４において、境界に対して極座標逆変換を行い、瞳孔の基準輪郭を得る。
【0057】
本開示の実施例において、瞳孔基準図の基準輪郭の抽出の操作は、上記操作２０２における１フレームの瞳孔図に対して輪郭の抽出を行う過程と一致しており、操作２０２における操作Ａ１から操作Ａ３を参照することができ、ここでは繰り返し説明しない。
【0058】
図４は、本開示の実施例に係る瞳孔輪郭と基準輪郭とが類似しない模式図である。図４を参照し、瞳孔基準図（Ｄ）における基準輪郭は、２つの瞳孔輪郭（ｄ１）、（ｄ２）のいずれとも類似していない。言い換えれば、連続する２フレームの瞳孔図を取得する時、患者には瞬きしたり、まぶた又はまつげが瞳孔を遮ったりする状況が現れ、即ち患者の瞳孔は遮られている。
【0059】
図５は、本開示の実施例に係る瞳孔輪郭と基準輪郭とが類似する模式図である。図５を参照し、そのうちの１つの瞳孔図（ｄ３）に関して、瞳孔基準図（Ｄ）における基準輪郭と瞳孔図（ｄ３）における瞳孔輪郭とが類似している。言い換えれば、連続する２フレームの瞳孔図を取得する時、患者には瞬きしたり、まぶた又はまつげが瞳孔を遮ったりする状況が現れず、即ち患者の瞳孔は遮られていない。そのうち、瞳孔基準図（Ｄ）における基準輪郭と瞳孔図における瞳孔輪郭との間の距離が予め設定された範囲内にあれば、該瞳孔輪郭が該基準輪郭と類似すると認められ、さらに、該瞳孔図を採取する時に患者の瞳孔が遮られていないと確定できる。
【0060】
いくつかの実施例において、操作２０３は、操作Ｃ１から操作Ｃ２を含む。
【0061】
操作Ｃ１において、瞳孔輪郭と基準輪郭との間の距離を計算する。
【0062】
操作Ｃ２において、予め設定された距離範囲及び距離（即ち、操作Ｃ１を実行することで得られた距離の計算結果）に応じて、瞳孔輪郭が基準輪郭と類似するか否かを判断する。
【0063】
開示の瞳孔輪郭と基準輪郭との間の距離は画像モーメント（Ｈｕモーメント）である。画像のＨｕモーメントは、平行移動、回転及びスケールの不変性を有する画像特徴であり、Ｈｕモーメントの計算は、素モーメントの計算、中心モーメントの計算及び正規化された中心モーメントの計算を含む。
【0064】
一実施例において、正規化された中心モーメントの計算を採用して瞳孔輪郭と基準輪郭との間の距離を計算する。正規化された中心モーメントは、正規化されたモーメントの線型結合であり、画像の回転、平行移動、縮小拡大等の操作の後でも、依然として不変性を保持することができ、従って、常に正規化された中心モーメントを使用して画像の特徴を認識している。
【0065】
下式により瞳孔輪郭と基準輪郭との間の距離を計算し、
そのうち、Ａは、瞳孔輪郭を表し、Ｂは、基準輪郭を表し、Ｄ（Ａ，Ｂ）は、瞳孔輪郭と基準輪郭との間の距離を表し、ｍi
A及びｍi
Bは、２つの輪郭のｌｏｇ変換されたＨｕモーメントを表し、ｈi
A及びｈi
Bは、輪郭Ａ及びＢのＨｕモーメントである。
【数4】
【0066】
本開示の実施例において、さらに、下式により瞳孔輪郭と基準輪郭との間の距離を計算してもよく、
そのうち、Ａは、瞳孔輪郭を表し、Ｂは、基準輪郭を表し、Ｄ（Ａ，Ｂ）は、瞳孔輪郭と基準輪郭との間の距離を表し、ｍi
A及びｍi
Bは、２つの輪郭のｌｏｇ変換されたＨｕモーメントを表し、ｈi
A及びｈi
Bは、輪郭Ａ及びＢのＨｕモーメントである。
【数5】
【0067】
本開示の実施例において、予め設定された距離範囲は、人為により規定された距離の取り値の範囲であり、研究のニーズに応じて自ら設定することができる。計算された距離が予め設定された距離範囲内にある場合、瞳孔輪郭は基準輪郭と類似する。
【0068】
操作２０４において、２つの瞳孔輪郭が基準輪郭と類似することに応答し、これらの２つの瞳孔輪郭のうちの１つの瞳孔輪郭のもう１つの瞳孔輪郭に対する中心位置のずれを計算する。
【0069】
本開示の実施例において、前後連続する２フレームの瞳孔図の２つの瞳孔輪郭がいずれも基準輪郭と類似すると確定した場合、即ち、前後連続する２フレームの瞳孔図がいずれも正常である場合、これらの２つの瞳孔輪郭のうちの１つの瞳孔輪郭のもう１つの瞳孔輪郭に対する中心位置のずれを計算する。
【0070】
下式により１つの瞳孔輪郭のもう１つの瞳孔輪郭に対する中心位置のずれを計算し、
そのうち、（ｘA，ｙA）及び（ｘB，ｙB）は、それぞれ２つの瞳孔の中心位置を表し、（Δｘ，Δｙ）は、１つの瞳孔輪郭のもう１つの瞳孔輪郭に対する中心位置のずれを表す。
【数6】
【0071】
いくつかの実施例において、操作２０４は、操作Ｄ１から操作Ｄ２を含む。
【0072】
操作Ｄ１において、各瞳孔輪郭に応じて、瞳孔輪郭の質量中心を取得する。
【0073】
操作Ｄ２において、２つの質量中心に応じて、中心位置のずれを計算する。
【0074】
本開示の実施例において、瞳孔の中心位置は、輪郭の質量中心を計算することにより取得する。
【0075】
本開示の実施例において、瞳孔の中心位置（即ち瞳孔輪郭の質量中心）は、輪郭における点を計算することにより取得することができる。瞳孔の中心位置のうちの（ｘA，ｙA）の取得方法を例にとると、下式により瞳孔の中心位置を計算し、
そのうち、（ｘA，ｙA）は、瞳孔の中心位置（即ち瞳孔輪郭の質量中心）の座標を表し、（ｘi，ｙi）は、輪郭におけるｉ個目の点の座標を表す。
【数7】
【0076】
本開示の実施例において、楕円フィッティングアルゴリズムで瞳孔の中心位置をフィッティングすることを採用する代わりに、瞳孔の中心位置を直接計算することを採用することで、楕円フィッティングの方法の採用で導入された楕円フィッティングアルゴリズム自身による誤差を回避することができ、且つ患者の瞳孔が既に変形している可能性があっても、１つの予め設定された形状（例えば楕円）を採用してフィッティングすることに起因して大きな誤差を導入することを回避することができ、さらに、これによる瞳孔の標識が不正確になるという問題を回避することができる。
【0077】
本開示の実施例において、操作２０１から操作２０４の概説は以下の通りである。
【0078】
瞳孔図を取得する撮影方式は、連続撮影であり、毎回の撮影で１枚の瞳孔図、即ち複数フレームの画像の中の各グループの前後連続する２フレームの瞳孔図のうちの任意の１グループにおける１枚目の瞳孔図を取得し、１枚目の瞳孔図に対して輪郭の抽出を行った後、１枚目の瞳孔図の輪郭を、基準輪郭と類似性を比較する。１枚目の瞳孔図の輪郭が基準輪郭と類似すれば、撮影し続け、次の１枚の瞳孔図、即ち複数フレームの画像の中の各グループの前後連続する２フレームの瞳孔図のうちの任意の１グループにおける２枚目の瞳孔図を取得し、２枚目の瞳孔図に対して輪郭の抽出を行った後、２枚目の瞳孔図の輪郭を、基準輪郭と類似性を比較する。これらの２枚の瞳孔図に対応する瞳孔輪郭がいずれも基準輪郭と類似すれば、該２枚の瞳孔図が有効であると確認され、対応する２つの瞳孔輪郭の中心のずれを計算することができる。
【0079】
いくつかの実施例において、前記方法は、操作２０５をさらに含む。
【0080】
操作２０５において、２つの瞳孔輪郭が基準輪郭と類似しないことに応答し、２フレームの連続する瞳孔図を再取得して、「該２フレームの連続する瞳孔図に対してそれぞれ輪郭の抽出を行い、対応する２つの瞳孔輪郭を得る」操作及び「該２つの瞳孔輪郭が基準輪郭と類似するか否かを確定する」操作を実行し、そのうち、再取得された２フレームの連続する瞳孔図は、操作２０１で得られた連続する２フレームの瞳孔図に隣り合う画像である。
【0081】
本開示の実施例において、２つの瞳孔輪郭が基準輪郭と類似しなければ、患者に瞬きしたり、まぶた又はまつげが瞳孔を遮ったりする状況が現れ、即ち患者の瞳孔が遮られていることを示す。患者の瞳孔が遮られている場合、後続でＯＣＴＡアルゴリズムを使用して取得した結果も不正確になる。
【0082】
本開示の実施例において、正確なＯＣＴＡ画像を取得するために、正確なＯＣＴＡ画像が取得されるまで、操作２０１で得られた連続する２フレームの瞳孔図に隣り合う２フレームの連続する瞳孔図を再取得して、「再取得された該２フレームの連続する瞳孔図に対してそれぞれ輪郭の抽出を行い、対応する２つの瞳孔輪郭を得る」こと及び「これらの２つの瞳孔輪郭が基準輪郭と類似するか否かを確定する」ことを実行する。
【0083】
本開示の実施例において、研究のニーズに応じて、ＯＣＴＡ画像の正確度を向上させるように、後続で撮影される各画像はいずれも該方法により実行する必要がある。
【0084】
以上の技術案を採用することにより、本開示の実施例に係る前眼部ＯＣＴＡに使用されるアイトラッキング方法では、連続する２フレームの瞳孔図を取得してから、これらの２フレームの瞳孔図に対してそれぞれ輪郭の抽出を行い、対応する２つの瞳孔輪郭を得て、さらにこれらの２つの瞳孔輪郭をいずれも基準輪郭と比較し、これらの２つの瞳孔輪郭がいずれも基準輪郭と類似すれば、これらの２フレームの瞳孔図を採取する時に患者の瞳孔が遮られていないと判定し、この時、これらの２つの瞳孔輪郭のうちの１つの瞳孔輪郭のもう１つの瞳孔輪郭に対する中心位置のずれを後続でＯＣＴＡアルゴリズムに使用されるように計算することで、より正確なＯＣＴＡ画像を得ることができ、これにより、関連技術におけるＯＣＴＡが全ての患者に適しているわけではなく、特に患者の固視が不良になったり瞬きが頻繁になったり眼球が移動したりする場合、ＯＣＴＡ画像が不正確になる問題を改善して、ＯＣＴＡの適合性の向上、及び、患者の固視が不良になったり瞬きが頻繁になったり眼球が移動したりする状況において採取された瞳孔画像の使用の排除を達成することができ、従って、ＯＣＴＡ画像の正確度を向上させる効果を実現することができる。
【0085】
前述した複数の方法の実施例に関しては、簡単に説明するために、それらをいずれも一連の動作の組合せとして説明したが、当業者であれば、本開示が説明された動作の順に限定されるものではなく、これは、本開示に基づき、いくつかの操作を他の順で行ったり、同時に行ったりしてもよいためであることを知っているべきである。そして、当業者であれば、明細書に説明された実施例がいずれも好ましい実施例に属し、係る動作及びモジュールが必ずしも本開示に必要なものではないことも知っているべきである。
【0086】
以上は方法の実施例に関する紹介であり、以下、装置の実施例により、本開示に記載の案について説明する。
【0087】
図６は、本開示の実施例に係る前眼部ＯＣＴＡに使用されるアイトラッキング装置の構造模式図である。図６を参照し、該前眼部ＯＣＴＡに使用されるアイトラッキング装置は、取得モジュール６０１、抽出モジュール６０２、確定モジュール６０３及び計算モジュール６０４を備える。
【0088】
取得モジュール６０１は、連続する２フレームの瞳孔図を取得するように構成され、抽出モジュール６０２は、これらの２フレームの瞳孔図に対してそれぞれ輪郭の抽出を行い、対応する２つの瞳孔輪郭を得るように構成され、確定モジュール６０３は、これらの２つの瞳孔輪郭が基準輪郭と類似するか否かを確定するように構成され、計算モジュール６０４は、２つの瞳孔輪郭が基準輪郭と類似することに応答し、これらの２つの瞳孔輪郭のうちの１つの瞳孔輪郭のもう１つの瞳孔輪郭に対する中心位置のずれを計算するように構成される。
【0089】
いくつかの実施例において、該前眼部ＯＣＴＡに使用されるアイトラッキング装置は、
これらの２つの瞳孔輪郭が基準輪郭と類似しないことに応答し、２フレームの連続する瞳孔図を再取得して、「再取得された２フレームの連続する瞳孔図に対してそれぞれ輪郭の抽出を行い、対応する２つの瞳孔輪郭を得る」操作、及び「これらの２つの瞳孔輪郭が基準輪郭と類似するか否かを確定する」操作を実行するように構成される再取得モジュール６０５をさらに備え、そのうち、再取得されたこれらの２フレームの連続する瞳孔図は、前回で取得された連続する２フレームの瞳孔図に隣り合う画像である。
これらの２つの瞳孔輪郭が基準輪郭と類似しないことに応答し、２フレームの連続する瞳孔図を再取得して、「再取得された２フレームの連続する瞳孔図に対してそれぞれ輪郭の抽出を行い、対応する２つの瞳孔輪郭を得る」操作、及び「これらの２つの瞳孔輪郭が基準輪郭と類似するか否かを確定する」操作を実行するように構成される再取得モジュール６０５をさらに備え、そのうち、再取得されたこれらの２フレームの連続する瞳孔図は、前回で取得された連続する２フレームの瞳孔図に隣り合う画像である。
【0090】
説明の便宜及び簡潔さのために、上記に記載のモジュールの動作過程は、前述した方法の実施例における対応する過程を参照することができ、ここでは繰り返し説明しない。
【0091】
図７は、本開示の実施例に係る電子機器の構造模式図である。図７に示すように、図７に示す電子機器７００は、プロセッサ７０１及びメモリ７０３を備える。そのうち、プロセッサ７０１とメモリ７０３とは繋がっている。一実施例において、電子機器７００は、トランシーバ７０４をさらに備えてもよい。実際の応用において、トランシーバ７０４は１つに限らず、該電子機器７００の構造は、本開示の実施例を限定するものではない。
【0092】
プロセッサ７０１は、中央処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、ＣＰＵ）、汎用プロセッサ、デジタルシグナルプロセッサ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ、ＤＳＰ）、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ、ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ、ＦＰＧＡ）或いは他のプログラマブルロジックデバイス、トランジスタロジックデバイス、ハードウエア部品又はそれらの任意の組合せであってもよい。それは、本開示に開示された内容と結び付けて説明された様々な例示的なロジックブロック、モジュール及び回路を実現又は実行することができる。プロセッサ７０１は、計算機能を実現する組合せであってもよく、例えば１つ又は複数のマイクロプロセッサの組合せ、ＤＳＰとマイクロプロセッサとの組合せ等を含む。
【0093】
バス７０２は、上記コンポーネントの間で情報を伝送するパスを備えてもよい。バス７０２は、周辺機器相互接続規格（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ、ＰＣＩ）バス又は拡張業界標準アーキテクチャ（Ｅｘｔｅｎｄｅｄ Ｉｎｄｕｓｔｒｙ Ｓｔａｎｄａｒｄ Ａｒｃｈｉｔｅｃｔｕｒｅ、ＥＩＳＡ）バス等であってもよい。バス７０２は、アドレスバス、データバス、コントロールバス等に分けることができる。表現を容易にするために、バスは、図７において１本の太線のみで表されているが、１本又は１種類しかないことを示しているわけではない。
【0094】
メモリ７０３は、リードオンリーメモリ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ、ＲＯＭ）又は静的情報及び命令を記憶可能な他のタイプの静的記憶装置、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＲＡＭ）又は情報及び命令を記憶可能な他のタイプの動的記憶装置であってもよいし、電気的消去可能プログラマブルリードオンリーメモリ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ、ＥＥＰＲＯＭ）、リードオンリー光ディスク（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ、ＣＤ－ＲＯＭ）又は他の光ディスク記憶、光学ディスク記憶（圧縮光学ディスク、レーザディスク、光学ディスク、デジタル汎用光学ディスク、ブルーレイディスク等を含む）、磁気ディスク記憶媒体又は他の磁気記憶機器、或いは命令又はデータ構造形式を有する所望のプログラムコードを搬送又は記憶するように構成可能でコンピュータによりアクセス可能な任意の他の媒体であってもよいが、これらに限定されない。
【0095】
メモリ７０３は、本開示の案を実行して実行がプロセッサ７０１により制御されるアプリケーションのコードを記憶するように構成される。プロセッサ７０１は、前述した方法の実施例に示す内容を実現するために、メモリ７０３に記憶されるアプリケーションのコードを実行するように構成される。
【0096】
電子機器７００は、携帯電話、ノートパソコン、デジタル放送受信機、パーソナルデジタルアシスタント（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ、ＰＤＡ）、タブレットコンピュータ（Ｐｏｒｔａｂｌｅ Ａｎｄｒｏｉｄ Ｄｅｖｉｃｅ、ＰＡＤ）、ポータブルマルチメディアプレイヤー（Ｐｏｒｔａｂｌｅ Ｍｅｄｉａ Ｐｌａｙｅｒ、ＰＭＰ）、車載端末（例えば車載ナビゲーション端末）等のようなモバイル端末及びデジタルテレビ（Ｔｅｌｅｖｉｓｉｏｎ、ＴＶ）、デスクトップ型コンピュータ等々のような固定端末を含むが、これらに限定されない。図７に示す電子機器７００は一例に過ぎず、本開示の実施例の機能及び使用範囲に何らかの制限を与えるべきではない。
【0097】
本開示の実施例は、コンピュータ可読記憶媒体を提供し、該コンピュータ可読記憶媒体には、コンピュータで運行すると、コンピュータが前述した方法の実施例における相応の内容を実行することを可能にするコンピュータプログラムが記憶されている。関連技術と比べ、本開示の実施例において、連続する２フレームの瞳孔図を取得してから、これらの２フレームの瞳孔図に対してそれぞれ輪郭の抽出を行い、対応する２つの瞳孔輪郭を得て、さらにこれらの２つの瞳孔輪郭をいずれも基準輪郭と比較し、これらの２つの瞳孔輪郭がいずれも基準輪郭と類似すれば、これらの２フレームの瞳孔図を採取する時に患者の瞳孔が遮られていないと判定し、この時、これらの２つの瞳孔輪郭のうちの１つの瞳孔輪郭のもう１つの瞳孔輪郭に対する中心位置のずれを後続でＯＣＴＡアルゴリズムに使用されるように計算することで、より正確なＯＣＴＡ画像を得ることができ、これにより、関連技術におけるＯＣＴＡが全ての患者に適しているわけではなく、特に患者の固視が不良になったり瞬きが頻繁になったり眼球が移動したりする場合、ＯＣＴＡ画像が不正確になる問題を改善して、ＯＣＴＡの適合性の向上、及び、患者の固視が不良になったり瞬きが頻繁になったり眼球が移動したりする状況において採取された瞳孔画像の使用の排除を達成することができ、従って、ＯＣＴＡ画像の正確度を向上させる効果を実現することができる。
【0098】
図面のフロー図における複数のステップは矢印の指示に従って順次示されているが、これらのステップは、必ずしも矢印で示された順に従って順次実行されるとは限らない。本稿で明確な説明がない限り、これらのステップは、実行に厳格な順の制限がなく、他の順で実行されてもよい。さらに、図面のフロー図における少なくとも一部のステップは、複数のサブステップ又は複数の段階を含んでもよく、これらのサブステップ又は段階は、必ずしも同一の時刻で実行が完成するとは限らず、異なる時刻で実行されてもよく、その実行の順も必ずしも順次進むとは限らず、他のステップ或いは他のステップのサブステップ又は段階の少なくとも一部と交代し、又は交互に実行されてもよい。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【国際調査報告】