(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2024-03-15
(45)【発行日】2024-03-26
(54)【発明の名称】情報処理システム、情報処理方法及びプログラム
(51)【国際特許分類】
A61B 3/103 20060101AFI20240318BHJP
A61B 3/14 20060101ALI20240318BHJP
G06T 7/00 20170101ALI20240318BHJP
【FI】
A61B3/103
A61B3/14
G06T7/00 350B
(21)【出願番号】P 2023148606
(22)【出願日】2023-09-13
【審査請求日】2023-10-05
【早期審査対象出願】
(73)【特許権者】
【識別番号】321005467
【氏名又は名称】InnoJin株式会社
(74)【代理人】
【識別番号】110002790
【氏名又は名称】One ip弁理士法人
(72)【発明者】
【氏名】猪俣 武範
(72)【発明者】
【氏名】奥村 雄一
【審査官】牧尾 尚能
(56)【参考文献】
【文献】特表2022-536762(JP,A)
【文献】特開2021-029385(JP,A)
【文献】米国特許出願公開第2020/0394408(US,A1)
【文献】特表2022-516689(JP,A)
【文献】特開2022-007433(JP,A)
【文献】特開2010-201072(JP,A)
【文献】特開昭60-03289(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 3/00 - 3/18
G06T 7/00
(57)【特許請求の範囲】
【請求項1】
ライトを発光させ角膜に照射した状態で
前記ライトの前記角膜における反射光を含む目を撮影した画像と前記目の屈折値とを機械学習により学習させた学習モデルを記憶する学習モデル記憶部と、
ユーザ端末がライトを発光させてユーザの
角膜に照射した状態で前記ユーザの目を撮影した撮影画像を取得する画像取得部と、
取得した前記撮影画像を前記学習モデルに与えて前記ユーザの屈折値を推定する推定処理部と、
を備えることを特徴とする情報処理システム。
【請求項2】
請求項1に記載の情報処理システムであって、
前記屈折値には、球面度数、乱視度数、及び乱視の軸の少なくとも何れかが含まれること、
を特徴とする情報処理システム。
【請求項3】
請求項1に記載の情報処理システムであって、
前記学習モデルは、前記画像に含まれる前記ライト
の反射が写っている領域と前記屈折値とを学習させたものであり、
前記撮影画像から前記ライト
の反射が写っている
領域を抽出するライト抽出部を備え、
前記推定処理部は、
抽出した前記領域を前記学習モデルに与えて前記屈折値を推定すること、
を特徴とする情報処理システム。
【請求項4】
請求項1に記載の情報処理システムであって、
前記学習モデルは、角膜上に前記ライトが入るように撮影された前記画像に含まれる前記角膜の領域と前記屈折値とを学習させたものであり、
前記撮影画像から角膜が写っている角膜領域を抽出する角膜抽出部を備え、
前記推定処理部は、前記角膜領域を前記学習モデルに与えて前記屈折値を推定すること、
を特徴とする情報処理システム。
【請求項5】
ユーザ端末がライトを発光させてユーザの
角膜に照射した状態で前記ユーザの目を撮影した撮影画像を取得するステップと、
ライトを発光させ角膜に照射した状態で前記ライトの前記角膜における反射光を含む目を撮影した画像と前記目の屈折値とを機械学習により学習させた学習モデルに、取得した前記撮影画像を与えて前記ユーザの屈折値を推定するステップと、
を
コンピュータが実行することを特徴とする情報処理方法。
【請求項6】
ユーザ端末がライトを発光させてユーザの
角膜に照射した状態で前記ユーザの目を撮影した撮影画像を取得するステップと、
ライトを発光させ角膜に照射した状態で前記ライトの前記角膜における反射光を含む目を撮影した画像と前記目の屈折値とを機械学習により学習させた学習モデルに、取得した前記撮影画像を与えて前記ユーザの屈折値を推定するステップと、
を
コンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理システム、情報処理方法及びプログラムに関する。
【背景技術】
【0002】
特許文献1にはフォトレフラクションを用いて眼の屈折力を測定している。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
従来の眼屈折力の測定装置よりも容易に屈折力を測定することのできる技術を提供する。
【課題を解決するための手段】
【0005】
上記課題を解決するための本発明の主たる発明は、情報処理システムであって、ライトを発光させ角膜に照射した状態で目を撮影した画像と前記目の屈折値とを機械学習により学習させた学習モデルを記憶する学習モデル記憶部と、ユーザ端末がライトを発光させてユーザの目を撮影した撮影画像を取得する画像取得部と、取得した前記撮影画像を前記学習モデルに与えて前記ユーザの屈折値を推定する推定処理部と、を備えることを特徴とする。
【0006】
その他本願が開示する課題やその解決方法については、発明の実施形態の欄及び図面により明らかにされる。
【発明の効果】
【0007】
本発明によれば、容易に屈折力を測定することができる。
【図面の簡単な説明】
【0008】
【
図1】本発明の一実施形態に係る情報処理システムである屈折力測定システムの全体構成例を示す図である。
【
図2】本実施形態における測定の様子を説明する図である。
【
図3】撮影画像に含まれるユーザの目20を説明する図である。
【
図4】管理サーバ2のハードウェア構成例を示す図である。
【
図5】管理サーバ2のソフトウェア構成例を示す図である。
【
図7】屈折値の予測処理の流れを説明する図である。
【発明を実施するための形態】
【0009】
<発明の概要>
本発明の実施形態の内容を列記して説明する。本発明は、たとえば、以下のような構成を備える。
[項目1]
ライトを発光させ角膜に照射した状態で目を撮影した画像と前記目の屈折値とを機械学習により学習させた学習モデルを記憶する学習モデル記憶部と、
ユーザ端末がライトを発光させてユーザの目を撮影した撮影画像を取得する画像取得部と、
取得した前記撮影画像を前記学習モデルに与えて前記ユーザの屈折値を推定する推定処理部と、
を備えることを特徴とする情報処理システム。
[項目2]
項目1に記載の情報処理システムであって、
前記屈折値には、球面度数、乱視度数、及び乱視の軸の少なくとも何れかが含まれること、
を特徴とする情報処理システム。
[項目3]
項目1に記載の情報処理システムであって、
前記学習モデルは、前記画像に含まれる前記ライトの領域と前記屈折値とを学習させたものであり、
前記撮影画像から前記ライトが写っているライト領域を抽出するライト抽出部を備え、
前記推定処理部は、前記ライト領域を前記学習モデルに与えて前記屈折値を推定すること、
を特徴とする情報処理システム。
[項目4]
項目1に記載の情報処理システムであって、
前記学習モデルは、角膜上に前記ライトが入るように撮影された前記画像に含まれる前記角膜の領域と前記屈折値とを学習させたものであり、
前記撮影画像から角膜が写っている角膜領域を抽出する角膜抽出部を備え、
前記推定処理部は、前記角膜領域を前記学習モデルに与えて前記屈折値を推定すること、
を特徴とする情報処理システム。
[項目5]
ライトを発光させて人間の目を撮影した画像と前記目の屈折値とを機械学習により学習させた学習モデルを記憶するコンピュータが、
ユーザ端末がライトを発光させてユーザの目を撮影した撮影画像を取得するステップと、
取得した前記撮影画像を前記学習モデルに与えて前記ユーザの屈折値を推定するステップと、
を実行することを特徴とする情報処理方法。
[項目6]
ライトを発光させて人間の目を撮影した画像と前記目の屈折値とを機械学習により学習させた学習モデルを記憶するコンピュータに、
ユーザ端末がライトを発光させてユーザの目を撮影した撮影画像を取得するステップと、
取得した前記撮影画像を前記学習モデルに与えて前記ユーザの屈折値を推定するステップと、
を実行させるためのプログラム。
【0010】
<システムの概要>
図1は、本発明の一実施形態に係る情報処理システムである屈折力測定システムの全体構成例を示す図である。本実施形態の屈折力測定システムは、管理サーバ2を含んで構成される。管理サーバ2は、ユーザ端末1と通信ネットワークを介して通信可能に接続される。通信ネットワークは、たとえばインターネットであり、公衆電話回線網や携帯電話回線網、無線通信路、イーサネット(登録商標)などにより構築される。
【0011】
ユーザ端末1は、ユーザが操作するコンピュータである。ユーザ端末1は、例えば、スマートフォン、タブレットコンピュータ、パーソナルコンピュータなどとすることができる。本実施形態では、ユーザ端末1はスマートフォン又はタブレットコンピュータであり、カメラ(不図示)とフラッシュライト(不図示)とを備えることを想定する。
【0012】
管理サーバ2は、例えばワークステーションやパーソナルコンピュータのような汎用コンピュータとしてもよいし、あるいはクラウド・コンピューティングによって論理的に実現されてもよい。
【0013】
本実施形態の屈折力測定システムは、ユーザの目の屈折力を推定する。
図2は、本実施形態における測定の様子を説明する図である。本実施形態の屈折力測定システムでは、ユーザ端末1のフラッシュライトを発光させて、フラッシュライトからの光が角膜(黒目)に照射されるようにし、ユーザ端末1のカメラでユーザ(上半身であってもよいし、顔であってもよいし、目の部分だけでもよい。)を撮影することにより、撮影画像に角膜で反射された光が含まれるようにする。
【0014】
図3は、撮影画像に含まれるユーザの目20を説明する図である。目20の中の角膜21の中にフラッシュライトの反射光22が写っている。フラッシュライトの形状は円形であることを想定する。この反射光22の形状が
図3に示すように楕円状に変形することがある。屈折値に応じてこの変形具体が変わる。
【0015】
本実施形態の屈折力測定システムでは、一般的な測定機器によりユーザの目の屈折力を示す値(屈折値)を測定しておく。一般的な測定機器では、例えば、フォトレフラクション法によりライトを照射して眼底から反射された光を検出して屈折率を測定することができる。一般的な測定機器により測定した屈折値と、角膜21からの反射光の画像とを機械学習により学習させて学習モデルを作成する。反射光の画像は、ユーザの全身を撮影した画像、ユーザの上半身を撮影した画像、ユーザの顔を撮影した画像、あるいはユーザの目の部分を撮影した画像であってよい。また、反射光の画像は、ユーザを撮影した画像から、目の部分又は角膜の部分を抽出したものであってもよい。屈折力測定システムでは、ユーザがフラッシュライトを自身の目に向けて発光させた状態で自身を撮影した撮影画像を学習モデルに与えることにより、ユーザの屈折値を推定することができる。
【0016】
<管理サーバ>
図4は、管理サーバ2のハードウェア構成例を示す図である。なお、図示された構成は一例であり、これ以外の構成を有していてもよい。管理サーバ2は、CPU201、メモリ202、記憶装置203、通信インタフェース204、入力装置205、出力装置206を備える。記憶装置203は、各種のデータやプログラムを記憶する、例えばハードディスクドライブやソリッドステートドライブ、フラッシュメモリなどである。通信インタフェース204は、通信ネットワークに接続するためのインタフェースであり、例えばイーサネット(登録商標)に接続するためのアダプタ、公衆電話回線網に接続するためのモデム、無線通信を行うための無線通信機、シリアル通信のためのUSB(Universal Serial Bus)コネクタやRS232Cコネクタなどである。入力装置205は、データを入力する、例えばキーボードやマウス、タッチパネル、ボタン、マイクロフォンなどである。出力装置206は、データを出力する、例えばディスプレイやプリンタ、スピーカなどである。なお、後述する管理サーバ2の各機能部はCPU201が記憶装置203に記憶されているプログラムをメモリ202に読み出して実行することにより実現され、管理サーバ2の各記憶部はメモリ202及び記憶装置203が提供する記憶領域の一部として実現される。
【0017】
図5は、管理サーバ2のソフトウェア構成例を示す図である。管理サーバ2は、学習モデル記憶部231と、画像取得部211と、推定処理部212と、ライト抽出部213と、角膜抽出部214と、を備える。
【0018】
<記憶部>
学習モデル記憶部231は、人間を撮影した撮影画像と当該人間の目の屈折値とを機械学習により学習させた学習モデルを記憶する。上述したように、撮影画像は、ユーザ端末1のフラッシュライトを発光させて、フラッシュライトからの光が当該人間の角膜に照射されるようにした後、ユーザ端末1のカメラで当該人間を撮影した場合に、撮影画像に角膜から反射された光が含まれるようにして撮影された画像である。目の屈折値には、球面度数、乱視度数、及び乱視の軸の少なくとも何れかが含まれる。
【0019】
なお、学習モデルは、撮影画像に含まれるフラッシュライトの反射光の領域(以下、ライト領域という。)と屈折値とを機械学習により学習させて作成してもよい。また、学習モデルは、撮影画像に含まれる角膜の領域(以下、角膜領域という。)と屈折値とを機械学習により学習させて作成してもよい。
【0020】
<機能部>
画像取得部211は、ユーザ端末1がフラッシュライトを発光させてユーザを撮影した撮影画像を取得する。
【0021】
推定処理部212は、取得した撮影画像を学習モデルに与えてユーザの屈折値を推定する。
【0022】
ライト抽出部213は、撮影画像からフラッシュライトが写っているライト領域を抽出することができる。推定処理部212は、ライト領域を学習モデルに与えて屈折値を推定することができる。
【0023】
角膜抽出部214は、撮影画像から角膜が写っている角膜領域を抽出することができる。推定処理部212は、角膜領域を学習モデルに与えて屈折値を推定することができる。角膜抽出部214が、撮影画像から角膜領域を抽出できない場合、(例えば目をつぶっている場合)、画像取得部211は、再度撮影するように指示するメッセージをユーザ端末1に送信して、撮影画像を再取得するようにしてもよい。
【0024】
ライト抽出部213は、撮影画像の角膜領域からライト領域を抽出するようにしてもよい。ライト抽出部213が撮影画像からライト領域を抽出できない場合(例えば、フラッシュライトが発光していない場合やフラッシュライトの光が角膜領域に照射されていない場合)、画像取得部211は、再度撮影するように指示するメッセージをユーザ端末1に送信して、撮影画像を再取得するようにしてもよい。
【0025】
<動作>
図6は、学習処理の流れを説明する図である。なお、学習モデルの作成はユーザ端末1又は管理サーバ2で行うようにしてもよいし、他のコンピュータにより行うようにしてもよい。
【0026】
まずオートレフラクトメーターなどの一般的な測定器を用いて被検者の屈折値を測定する(S301)。次にユーザ端末1(スマートフォン)のフラッシュライトを発光させて被検者の目に照射しながら、ユーザ端末1のカメラで被検者を撮影する(S302)。測定した屈折値と、撮影された撮影画像とを対応付けてコンピュータに記憶しておき(S303)、コンピュータはこの屈折値と撮影画像とのペアを機械学習により学習して、撮影画像から屈折値を推論する学習モデルを作成する(S304)。
【0027】
このようにして作成された学習モデルが管理サーバ2の学習モデル記憶部231に格納される。
【0028】
図7は、屈折値の予測処理の流れを説明する図である。
【0029】
ユーザ端末1は、フラッシュライトを発光して(S321)、ユーザを撮影して(S322)、撮影画像を管理サーバ2に送信する(S323)。ここで、フラッシュライトから照射された光が角膜に反射して反射光が撮影画像に写るようにユーザ端末1は位置決めされていることを想定する。
【0030】
管理サーバ2は、ユーザ端末1から撮影画像を受信し(S324)、学習モデル記憶部231に記憶されている学習モデルに受信した撮影画像を与えて屈折値を推論し(S325)、屈折値を出力する(例えば、ユーザ端末1に屈折値を送信して表示させたり、医師の端末に屈折値を送信して表示させたりする)ことができる(S326)。なお、撮影画像から目あるいは角膜の部分を抽出した画像を学習モデルに与えるようにしてもよい。
【0031】
なお、管理サーバ2は、受信した撮影画像から角膜領域を特定し、撮影画像から角膜領域の部分を抽出した抽出画像又は撮影画像と角膜領域を特定する情報とを学習モデルに与えることにより屈折値を推論するようにしてもよい。また、管理サーバ2は、受信した撮影画像からライト領域を特定し、撮影画像からライト領域の部分を抽出した抽出画像又は撮影画像とライト領域を特定する情報とを学習モデルに与えることにより屈折値を推論するようにしてもよい。
【0032】
以上のようにして、本実施形態の屈折力測定システムによれば、スマートフォンなどのユーザ端末1を用いて、フラッシュライトを発光させてユーザを撮影し、この撮影画像を学習モデルに与えるだけで、ユーザの屈折値を推定することができる。したがって、ユーザの屈折力を容易に測定することができる。
【0033】
以上、本実施形態について説明したが、上記実施形態は本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物も含まれる。
【0034】
例えば、本実施形態では、フラッシュライトをユーザの目に照射するものとしたが、これに限らず、例えば、ユーザ端末1のディスプレイを発光させて、インカメラ(不図示)を用いてユーザを撮影するようにしてもよい。この場合、ユーザ端末1のディスプレイにユーザの顔(又は目)の位置を揃えるためのガイドを表示して顔(又は目)の位置を固定することができる。ユーザ端末1は、ディスプレイの一部を明るい白色に発光するように制御することで、ユーザの目にこの光が照射されるようにすることができる。
【0035】
また、本実施形態では、フラッシュライトの形状を円形であるものとしたが、例えば、十字状に発光させるようにしてもよい。例えば、ディスプレイに明るい白色の十字を表示して、この十字が角膜内に入るように位置合わせしたうえで、インカメラを用いてユーザを撮影することができる。
【符号の説明】
【0036】
1 ユーザ端末
2 管理サーバ
【要約】
【課題】容易に屈折力を測定することができるようにする。
【解決手段】情報処理システムであって、ライトを発光させ角膜に照射した状態で目を撮影した画像と目の屈折値とを機械学習により学習させた学習モデルを記憶する学習モデル記憶部と、ユーザ端末がライトを発光させてユーザの目を撮影した撮影画像を取得する画像取得部と、取得した撮影画像を学習モデルに与えてユーザの屈折値を推定する推定処理部と、を備えることを特徴とする。
【選択図】
図1