(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-01-30
(45)【発行日】2024-02-07
(54)【発明の名称】識別装置
(51)【国際特許分類】
G06V 10/70 20220101AFI20240131BHJP
G06T 7/00 20170101ALI20240131BHJP
G16H 10/40 20180101ALI20240131BHJP
A61F 2/16 20060101ALI20240131BHJP
【FI】
G06V10/70
G06T7/00 350B
G16H10/40
A61F2/16
(21)【出願番号】P 2022125106
(22)【出願日】2022-07-19
(62)【分割の表示】P 2018248887の分割
【原出願日】2018-12-14
【審査請求日】2022-07-29
(73)【特許権者】
【識別番号】518148973
【氏名又は名称】株式会社シンクアウト
(72)【発明者】
【氏名】長田 克規
(72)【発明者】
【氏名】田淵 仁志
【審査官】新井 則和
(56)【参考文献】
【文献】特開2002-163357(JP,A)
【文献】特開平05-054195(JP,A)
【文献】特開2002-132934(JP,A)
【文献】特開平11-045310(JP,A)
【文献】特表2018-533387(JP,A)
【文献】米国特許出願公開第2017/0103363(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G06V 10/70
G06T 7/00
G16H 10/40
A61F 2/16
(57)【特許請求の範囲】
【請求項1】
眼内レンズの度数について表記の仕方にゆらぎのある複数の画像の特徴量、もしくは前記眼内レンズの度数について表記の仕方にゆらぎのある複数の文字列と、前記複数の画像の特徴量もしくは前記複数の文字列から示唆される前記眼内レンズの度数についての識別記号との対応関係が記述された学習モデルと、
各々が、前記度数の種類ごとに付与された複数の前記識別記号のうちの1つを含む複数のテキストファイルと、
前記眼内レンズを含むパッケージの表記を撮像することにより得られた撮像画像もしくは前記撮像画像から検出した検出文字列を前記学習モデルに入力することにより得られた、前記撮像画像の特徴量もしくは前記検出文字列に対応する前記識別記号を、前記複数のテキストファイルのうちの少なくとも1つと照合し、その照合結果を生成する制御部と
を備え、
前記ゆらぎは、前記識別記号に対するプラスマイナスの有無、前記識別記号に付与される小数点以下の桁数の違いといったテキストとしてのゆらぎであり、
前記眼内レンズを含むパッケージには、少なくとも前記識別記号を含む、前記眼内レンズの度数について表記がなされており、
前記識別記号は、前記複数の文字列に共通に含まれる文字列である
識別システム。
【請求項2】
前記テキストファイルは、手術についての情報を含む手術ファイルであり、
前記制御部は、前記撮像画像もしくは前記検出文字列を前記学習モデルに入力することにより得られた前記識別記号を、前記複数のテキストファイルのうち、前記パッケージに含まれる前記
眼内レンズが適用される患者についての前記テキストファイルと照合し、その照合結果を生成する
請求項1に記載の識別システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、例えば眼内レンズなどの物品の特性を識別する識別装置に関する。
【背景技術】
【0002】
白内障になると、すりガラス越しに見ているような白くかすんだ視界になったり、濁りが光を乱反射させるために屋外で眩しさを感じるようになったりする。症状が進むと日常生活に支障が出るため、手術により、眼内の水晶体を人工の水晶体(眼内レンズ)に交換することで、視力の改善が図られる(非特許文献1参照)。
【先行技術文献】
【非特許文献】
【0003】
【文献】https://www.ocular.net/treatment/cataract/treat.html
【発明の概要】
【発明が解決しようとする課題】
【0004】
眼内レンズの度数は、例えば、術前検査で眼軸長を測定することで決定される。手術の際には、術前検査で決定された度数の眼内レンズが用意されているか否かの確認作業が医療従事者によって行われる。しかし、医療従事者が、その確認作業の際に、術前検査で決定された度数とは異なる度数の眼内レンズが用意されていることを誤って見過ごしてしまう可能性がある。このような問題は、医療の現場以外の現場においても、起こり得る問題である。従って、見過ごしの無い確実な確認作業を行うことの可能な識別装置を提供することが望ましい。
【課題を解決するための手段】
【0005】
本発明の一実施形態に係る識別装置は、学習モデルと、複数のテキストファイルとを備えたシステムに設けられる識別装置である。学習モデルには、物品の特性について表記の仕方にゆらぎのある複数の画像の特徴量もしくは複数の文字列と、複数の画像の特徴量もしくは複数の文字列から示唆される物品の特性についての識別記号との対応関係が記述されている。各テキストファイルは、物品の特性の種類ごとに付与された複数の識別記号のうちの1つを含む。この識別装置は、物品を含むパッケージの表記を撮像することにより得られた撮像画像もしくは撮像画像から検出した検出文字列を学習モデルに入力することにより得られた、撮像画像の特徴量もしくは検出文字列に対応する識別記号を、複数のテキストファイルのうちの少なくとも1つと照合し、その照合結果を生成する制御部を備えている。
【0006】
本発明の一実施形態に係る識別装置では、物品を含むパッケージの表記を撮像することにより得られた撮像画像もしくは撮像画像から検出した検出文字列を学習モデルに入力することにより得られた識別記号が、複数のテキストファイルのうちの少なくとも1つと照合され、その照合結果が生成される。このように、本発明では、パッケージの文字列の代わりに、学習モデルから得られた識別記号が、複数のテキストファイルのうちの少なくとも1つと照合され、その照合結果が生成される。これにより、パッケージにおいて物品の特性についての表記の仕方にゆらぎがある場合であっても、ゆらぎの影響を受けない照合を行うことができる。
【発明の効果】
【0007】
本発明の一実施形態に係る識別装置によれば、パッケージにおいて物品の特性についての表記の仕方にゆらぎがある場合であっても、ゆらぎの影響を受けない照合を行うことができるようにしたので、目視での照合に頼らずに、システムによる正確な照合を行うことができる。その結果、見過ごしの無い確実な確認作業を行うことができる。
【図面の簡単な説明】
【0008】
【
図1】本発明の一実施の形態に係る眼内レンズ識別システムによる識別対象である眼内レンズのパッケージの表記の一例を表す図である。
【
図2】
図1のパッケージに含まれるレンズ度数の、メーカごとの表記のゆらぎの一例を表す図である。
【
図3】本発明の一実施の形態に係る眼内レンズ識別システムの概略構成の一例を表す図である。
【
図4】
図3の眼内レンズ識別システムの機能ブロックの一例を表す図である。
【
図5】
図4の眼内レンズ学習モデルに入力する学習データの一例を表す図である。
【
図6】
図3のデータサーバ装置に記憶されている手術ファイルの一例を表す図である。
【
図7】
図3の眼内レンズ識別システムにおける眼内レンズの識別手順の一例を表す流れ図である。
【
図8】
図3の眼内レンズ識別システムの概略構成の一変形例を表す図である。
【
図9】
図8の眼内レンズ識別システムの機能ブロックの一例を表す図である。
【
図10】
図8の眼内レンズ識別システムにおける眼内レンズの識別手順の一例を表す流れ図である。
【
図11】
図8の眼内レンズ識別システムの機能ブロックの一変形例を表す図である。
【
図12】
図11の眼内レンズ識別システムにおける眼内レンズの識別手順の一例を表す流れ図である。
【
図13】
図8の眼内レンズ識別システムの機能ブロックの一変形例を表す図である。
【
図14】
図13の眼内レンズ識別システムにおける眼内レンズの識別手順の一例を表す流れ図である。
【
図15】
図4の眼内レンズ学習モデルに入力する学習データの一変形例を表す図である。
【
図16】
図3の眼内レンズ識別システムにおける眼内レンズの識別手順の一変形例を表す流れ図である。
【発明を実施するための形態】
【0009】
以下、本発明を実施するための形態について、図面を参照して詳細に説明する。以下の説明は本発明の一具体例であって、本発明は以下の態様に限定されるものではない。また、本発明は、各図に示す各構成要素の配置や寸法、寸法比などについても、それらに限定されるものではない。なお、説明は、以下の順序で行う。
1.実施の形態
2.変形例
【0010】
<1.実施の形態>
[構成]
図1は、本発明の一実施の形態に係る眼内レンズ識別システムによる識別対象である眼内レンズの外箱(眼内レンズパッケージ200)の表記の一例を表したものである。眼内レンズパッケージ200には、例えば、
図1に示したように、モデル番号210、レンズ度数220、使用期限230およびバーコード240が記載されている。モデル番号210は、眼内レンズパッケージ200内の眼内レンズのモデルに対する識別子である。レンズ度数220は、眼内レンズパッケージ200内の眼内レンズの度数である。使用期限230は、眼内レンズパッケージ200内の眼内レンズの使用期限である。バーコード240は、物流での商品ごとの管理を行うための識別子である。
【0011】
図2は、眼内レンズパッケージ200に含まれるレンズ度数220の、メーカごとの表記のゆらぎの一例を表したものである。「表記のゆらぎ」とは、例えば、プラスマイナスの有無や、小数点以下の桁数の違いといったテキストとしてのゆらぎだけでなく、フォントの違い、文字の大きさの違い、文字の色の違い、文字間隔の違いといったビジュアルとしてのゆらぎも含む。なお、プラスマイナスの有無や、小数点以下の桁数の違いなども、ビジュアルとしてのゆらぎの一形態と捉えることができる。従って、本実施の形態では、テキストとしてのゆらぎは、ビジュアルとしてのゆらぎの一例と捉えるものとする。
【0012】
図3は、本発明の一実施の形態に係る眼内レンズ識別システム100の概略構成の一例を表したものである。
図4は、眼内レンズ識別システム100の機能ブロックの一例を表したものである。
【0013】
眼内レンズ識別システム100は、手術の際に用意された眼内レンズが所望のレンズであるか否かを、眼内レンズパッケージ200の表記を撮像機能付き電子機器10で読み取ることにより判断する。眼内レンズパッケージ200のレンズ度数220の表記については、
図2に示したように、メーカごとに「ゆらぎ」があるため、読み取った文字を、手術ファイルと照合しようとしても、うまく照合できない場合がある。そこで、本実施の形態では、眼内レンズ識別システム100は、機械学習(例えば、deep learning)を利用して、撮像画像から切り出した部分画像を、手術ファイルと照合可能な識別記号に置き換え、置き換えにより得られた識別記号を手術ファイルと照合することにより、手術の際に用意された眼内レンズが所望のレンズであるか否かを判断する。
【0014】
眼内レンズ識別システム100は、例えば、
図1に示したように、撮像機能付き電子機器10と、データサーバ装置20とを備えている。撮像機能付き電子機器10およびデータサーバ装置20は、ネットワーク30を介して接続されている。撮像機能付き電子機器10は、ネットワーク30を介してデータサーバ装置20と通信することができるように構成されている。データサーバ装置20は、ネットワーク30を介して撮像機能付き電子機器10と通信することができるように構成されている。
【0015】
ネットワーク30は、例えば、インターネットで標準的に利用されている通信プロトコル(TCP/IP)を用いて通信を行うネットワークである。ネットワーク30は、例えば、そのネットワーク独自の通信プロトコルを用いて通信を行うセキュアなネットワークであってもよい。ネットワーク30は、例えば、インターネット、イントラネット、または、ローカルエリアネットワークである。ネットワーク30と、撮像機能付き電子機器10またはデータサーバ装置20との接続は、例えば、イーサネット等の有線LAN(Local Area Network)であってもよいし、Wi-Fi等の無線LANや、携帯電話回線などであってもよい。
【0016】
撮像機能付き電子機器10は、例えば、制御部11、撮像部12、メモリ13、眼内レンズ学習モデル14、ネットワークIF(Interface)15、入力部16および表示部17を含んで構成されている。撮像機能付き電子機器10は、例えば、制御部11、撮像部12、メモリ13、眼内レンズ学習モデル14、ネットワークIF(Interface)15、入力部16および表示部17を一体に保持する筐体10Cを備えている。制御部11は、CPU(Central Processing Unit)およびGPU(Graphics Processing Unit)などを含んで構成され、例えば、メモリ13に記憶されたウェブブラウザプログラムや、オペレーティングシステムなどを実行する。制御部11は、さらに、例えば、メモリ13に記憶されたプログラム13Aを実行する。プログラム13Aについては、後に詳述する。
【0017】
撮像部12は、例えば、CCD(Charge Coupled Device)イメージセンサもしくはCMOS(Complementary metal-oxide-semiconductor)イメージセンサである。メモリ13は、制御部11によって実行されるプログラム(例えば、ウェブブラウザプログラムや、オペレーティングシステム)などを格納する。メモリ13は、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)、補助記憶装置(ハードディスク等)等によって構成される。メモリ13は、さらに、プログラム13Aを格納する。
【0018】
眼内レンズ学習モデル14は、学習プロセスでは、入力データを学習データとして機械学習を行う。眼内レンズ学習モデル14に入力される入力データは、例えば、
図5に示したように、レンズ度数200を含む画像と、識別記号250の文字列である。識別記号250は、メーカごとに「ゆらぎ」のあるレンズ度数200の意味を表しており、後述の手術ファイル23Aと照合可能な文字列となっている。識別記号250は、例えば、メーカごとに「ゆらぎ」のある複数のレンズ度数200において共通に含まれる文字列で構成されている。
【0019】
眼内レンズ学習モデル14は、学習データとして入力された画像を、所定の手法を用いて特徴量に変換する。特徴量は、学習データとして入力された画像に基づいて得られたデータであり、機械学習を行うのに適したデータとなっている。眼内レンズ学習モデル14は、機械学習の結果、レンズ度数200を含む画像の特徴量と、識別記号250との対応関係についての情報を学習結果として生成し、保有する。つまり、眼内レンズ学習モデル14では、眼内レンズ(物品)の度数(特性)について表記の仕方にゆらぎのあるレンズ度数200を含む複数の画像の特徴量と、眼内レンズ(物品)の度数(特性)について表記の仕方にゆらぎのある複数のレンズ度数200の文字列から示唆される眼内レンズの度数についての識別記号250との対応関係が記述されている。
【0020】
ネットワークIF15は、ネットワーク30を介してデータサーバ装置20と通信するための通信インターフェースである。入力部16は、外部(例えば、ユーザ)からの指示を受け付け、受け付けた指示を制御部11に出力する。入力部16は、例えば、ボタンやダイヤルなどを含む機械的な入力インターフェースであってもよいし、マイクロフォンなどを含む音声入力インターフェースであってもよい。入力部16は、例えば、撮像機能付き電子機器10の表示面10Aに設けられたタッチパネルであってもよい。表示部17は、例えば、液晶パネルや有機EL(Electro Luminescence)パネル等のパネル型表示装置からなる。表示部17は、例えば、制御部11で生成された照合結果を表示する。
【0021】
データサーバ装置20は、例えば、制御部21、ネットワークIF22およびメモリ23を含んで構成されている。制御部21は、CPUで構成され、例えば、メモリ23に記憶されたウェブサーバプログラムや、オペレーティングシステムなどを実行する。制御部21は、さらに、例えば、メモリ23に記憶された手術ファイル23Aを読み出し、ネットワークIF22を介して撮像機能付き電子機器10に送信する。
【0022】
ネットワークIF22は、ネットワーク30を介して撮像機能付き電子機器10と通信するための通信インターフェースである。メモリ23は、制御部21によって実行されるプログラム(例えば、ウェブサーバプログラムや、オペレーティングシステム)などを格納する。メモリ23は、例えば、RAM、ROM、補助記憶装置(ハードディスク等)等によって構成される。メモリ23は、さらに、複数の手術ファイル23Aを格納する。各手術ファイル23Aは、患者ごとに作成されたものであり、例えば、患者ごとに適した、眼内レンズについての情報(例えばレンズ度数)を含んでいる。
【0023】
手術ファイル23Aは、手術についての情報を含む。手術ファイル23Aは、例えば、例えば、
図6に示したように、複数のカラムデータ23aと、顔写真データ23dとによって構成されている。カラムデータ23aは、タグ23-1と、タグ23-1に対応する具体的な内容23-2とによって構成されている。タグ23-1としては、例えば、患者氏名、患者ID(Identification)、病名、手術開始日、手術開始時刻、術眼、術式、眼内レンズおよび担当医が挙げられる。タグ23-1が患者氏名であるときの内容23-2としては、手術を受ける患者の氏名(例えば、山田花子)が挙げられる。タグ23-1が患者IDであるときの内容23-2としては、手術を受ける患者に付与された識別子(例えば、012345などの識別番号)が挙げられる。タグ23-1が病名であるときの内容23-2としては、手術の要因となった病気の名前(例えば、白内障)が挙げられる。タグ23-1が手術開始日であるときの内容23-2としては、手術が行われる日(例えば、2018年9月10日)が挙げられる。タグ23-1が手術開始時刻であるときの内容23-2としては、手術が行われる時刻(例えば、午前10時30分)が挙げられる。タグ23-1が術眼であるときの内容23-2としては、一対の眼のうち手術が行われる方の眼の位置(例えば、右(R))が挙げられる。タグ23-1が術式であるときの内容23-2としては、手術の名称(例えば、PEA+IOL)が挙げられる。タグ23-1が眼内レンズであるときの内容23-2としては、眼内レンズのモデル番号23bおよびレンズ度数23cが挙げられる。タグ23-1が担当医であるときの内容23-2としては、手術を執刀する医師の氏名(例えば、A医師)が挙げられる。
【0024】
[動作]
次に、本実施の形態に係る眼内レンズ識別システム100の動作について説明する。
【0025】
(機械学習)
ユーザは、入力部16に対して、レンズ度数200と、識別記号250との対応関係の作成開始を指示する。すると、制御部11がユーザに対して撮像を指示する。ユーザは、その指示に従って、撮像部12の撮像領域10B内に様々なメーカの眼内レンズパッケージ200を載置して撮像する。撮像部12は、撮像により得られた外箱画像をメモリ13に格納する。続いて、制御部11は、メモリ13に格納した外箱画像を含む映像信号を生成し、表示部17に出力する。表示部17は、外箱画像を含む映像を表示する。次に、ユーザは、入力部16を用いて、撮像により得られた各外箱画像に含まれる、レンズ度数220を含む部分画像を切り出す。制御部11は、ユーザによって切り出された各部分画像をメモリ13に格納する。ユーザは、例えば、部分画像を切り出す度に、入力部16に対して、部分画像に含まれるレンズ度数220の意味を表す識別記号250を入力する。制御部11は、入力された識別記号250を、対応する部分画像と関連付けてメモリ13に格納する。このようにして、複数組の部分画像および識別記号250が、メモリ13に格納される。
【0026】
次に、ユーザは、入力部16に対して、撮像終了を入力する。すると、眼内レンズ学習モデル14は、メモリ13に格納された各部分画像を、所定の手法を用いて特徴量に変換する。特徴量は、部分画像に基づいて得られたデータであり、眼内レンズ学習モデル14において機械学習を行うのに適したデータとなっている。続いて、眼内レンズ学習モデル14は、変換により得られた各特徴量を、対応する識別記号250と関連付けてメモリ13に格納する。次に、眼内レンズ学習モデル14は、メモリ13に格納された複数組の特徴量および識別記号250を学習データとして機械学習を行い、特徴量と、識別記号250との対応関係を生成する。このようにして、眼内レンズ学習モデル14による機械学習が終了する。
【0027】
(レンズ識別)
図7は、眼内レンズ識別システム100における眼内レンズの識別手順の一例を表したものである。ユーザは、まず、入力部16に対して、レンズ識別の開始を指示する。すると、撮像機能付き電子機器10(制御部11)は、メモリ13からプログラム13Aを読み出し、実行する。撮像機能付き電子機器10(制御部11)は、まず、顔画像の取得を、表示部17を介してユーザに指示する。ユーザは、その指示に従い、撮像部12の撮像領域10B内に患者の顔が入るように撮像部12を患者の顔にかざして、患者の顔を撮像し、顔画像を得る。撮像部12は、撮像により得られた顔画像を制御部11に出力する。撮像機能付き電子機器10(制御部11)は、撮像部12から顔画像を取得すると、取得した顔画像を含む、手術ファイル取得依頼コマンドを作成し、データサーバ装置20に送信する。
【0028】
データサーバ装置20(制御部21)は、撮像機能付き電子機器10から手術ファイル取得依頼コマンドを受信すると、受信した手術ファイル取得依頼コマンドに含まれる顔画像と一致する顔写真データ23dを有する手術ファイル23Aを探索する。データサーバ装置20(制御部21)は、探索の結果、受信した手術ファイル取得依頼コマンドに含まれる顔画像と一致する顔写真データ23dを有する手術ファイル23Aが見つかった場合には、該当する手術ファイル23A(または、眼内レンズについての情報(レンズ度数23c))を、撮像機能付き電子機器10に送信する。
【0029】
撮像機能付き電子機器10(制御部11)は、データサーバ装置20から手術ファイル23A(または、眼内レンズについての情報(レンズ度数23c))を受信すると、外箱画像の取得を、表示部17を介してユーザに指示する。ユーザは、その指示に従い、撮像部12の撮像領域10B内に眼内レンズパッケージ200を載置して撮像し、外箱画像を得る。撮像部12は、撮像により得られた外箱画像を制御部11に出力する。撮像機能付き電子機器10(制御部11)は、撮像部12から外箱画像を取得すると、所定の手法を用いて、外箱画像から、レンズ度数220を含む部分画像を切り出す。
【0030】
次に、撮像機能付き電子機器10(制御部11)は、切り出した部分画像を眼内レンズ学習モデル14に入力する。すると、眼内レンズ学習モデル14は、入力された部分画像を特徴量に変換した後、学習結果に基づいて、変換により得られた特徴量に対応する識別記号250を制御部11に出力する(ゆらぎ補正)。
【0031】
続いて、撮像機能付き電子機器10(制御部11)は、眼内レンズ学習モデル14によって得られた識別記号250を、データサーバ装置20から取得した手術ファイル23A(具体的には、その手術ファイル23Aに含まれるレンズ度数23c)と照合する。つまり、撮像機能付き電子機器10(制御部11)は、眼内レンズ学習モデル14によって得られた識別記号250を、複数の手術ファイル23Aのうち、撮像された眼内レンズパッケージ200に含まれる眼内レンズが適用される患者についての手術ファイル23Aと照合する。照合結果が“一致”である場合には、撮像機能付き電子機器10(制御部11)は、用意された眼内レンズが所望のレンズである旨を、表示部17を介してユーザに通知する。一方、照合結果が“不一致”である場合には、撮像機能付き電子機器10(制御部11)は、用意された眼内レンズが所望のレンズではない旨を、表示部17を介してユーザに通知する。このようにして、レンズ識別が行われる。
【0032】
[効果]
次に、本実施の形態に係る眼内レンズ識別システム100の効果について説明する。
【0033】
白内障になると、すりガラス越しに見ているような白くかすんだ視界になったり、濁りが光を乱反射させるために屋外で眩しさを感じるようになったりする。症状が進むと日常生活に支障が出るため、手術により、眼内の水晶体を人工の水晶体(眼内レンズ)に交換することで、視力の改善が図られる。
【0034】
眼内レンズの度数は、例えば、術前検査で眼軸長を測定することで決定される。手術の際には、術前検査で決定された度数の眼内レンズが用意されているか否かの確認作業が医療従事者によって行われる。しかし、医療従事者が、その確認作業の際に、術前検査で決
定された度数とは異なる度数の眼内レンズが用意されていることを誤って見過ごしてしまう可能性がある。
【0035】
一方、本実施の形態では、眼内レンズを含む眼内レンズパッケージ200の表記を撮像することにより得られた撮像画像を眼内レンズ学習モデル14に入力することにより得られた識別記号250が、複数の手術ファイル23Aのうちの少なくとも1つと照合され、その照合結果が生成される。このように、本実施の形態では、眼内レンズパッケージ200のレンズ度数220の文字列の代わりに、眼内レンズ学習モデル14から得られた識別記号250が、複数の手術ファイル23Aのうちの少なくとも1つと照合され、その照合結果が生成される。これにより、眼内レンズパッケージ200において眼内レンズの度数についての表記の仕方にゆらぎがある場合であっても、ゆらぎの影響を受けない照合を行うことができる。その結果、目視での照合に頼らずに、システムによる正確な照合を行うことができる。従って、見過ごしの無い確実な確認作業を行うことができる。
【0036】
また、本実施の形態では、制御部11で生成された照合結果が表示部17に表示される。これにより、見過ごしの無い確実な確認作業を行うことができる。
【0037】
また、本実施の形態では、制御部11、撮像部12、メモリ13、眼内レンズ学習モデル14、ネットワークIF15、入力部16および表示部17を一体に保持する筐体10Cが設けられている。これにより、1つの装置を持ち歩くだけで、照合を行うことができる。その結果、場所を選ばず、見過ごしの無い確実な確認作業を行うことができる。
【0038】
また、本実施の形態では、識別記号250は、複数のレンズ度数220の文字列に共通に含まれる文字列である。これにより、識別記号250として、レンズ度数220とは異なる新たな識別記号を設ける必要がなく、また、照合対象の文字列同士を目視でも照合することができる。その結果、システムエラーなどにより、目視で確認する必要がある場合であっても、見過ごしを抑制することが可能である。
【0039】
また、本実施の形態では、眼内レンズを含む眼内レンズパッケージ200の表記を撮像することにより得られた撮像画像を眼内レンズ学習モデル14に入力することにより得られた識別記号250が、複数の手術ファイル23Aのうち、眼内レンズパッケージ200に含まれる眼内レンズが適用される患者についての手術ファイル23Aと照合され、その照合結果が生成される。これにより、全ての手術ファイル23Aを照合対象とする場合と比べて、短時間で照合を行うことができる。
【0040】
<2.変形例>
次に、上記実施の形態に係る眼内レンズ識別システム100の変形例について説明する。
【0041】
[[変形例A]]
図8は、上記実施の形態に係る眼内レンズ識別システム100の概略構成の一変形例を表したものである。
図9は、
図8の眼内レンズ識別システム100の機能ブロックの一例を表したものである。上記実施の形態に係る眼内レンズ識別システム100において、例えば、
図8に示したように、撮像機能付き電子機器10の代わりに、ネットワーク60で接続された撮像装置40および電子機器50が設けられていてもよい。
【0042】
撮像装置40は、ネットワーク60を介して電子機器50と通信可能に構成されている。電子機器50は、ネットワーク60を介して撮像装置40と通信可能に構成されている。ネットワーク60は、例えば、Bluetooth(登録商標)などの近距離無線通信である。電子機器50は、撮像機能付き電子機器10において、撮像部12が省略されるとともに、ネットワーク60と通信可能なネットワークIF18が設けられたものに相当する。電子機器50は、例えば、制御部11、メモリ13、眼内レンズ学習モデル14、ネットワークIF15、入力部16、表示部17およびネットワークIF18を一体に保持する筐体50Aを備えている。
【0043】
[動作]
次に、本変形例に係る眼内レンズ識別システム100の動作について説明する。
【0044】
(機械学習)
ユーザは、入力部16に対して、レンズ度数200と、識別記号250との対応関係の作成開始を指示する。すると、制御部11がユーザに対して撮像を指示する。ユーザは、その指示に従って、撮像装置40の撮像領域40B内に様々なメーカの眼内レンズパッケージ200を載置して撮像する。撮像装置40は、撮像により得られた外箱画像を電子機器50のメモリ13に格納する。続いて、制御部11は、メモリ13に格納した外箱画像を含む映像信号を生成し、表示部17に出力する。表示部17は、外箱画像を含む映像を表示する。次に、ユーザは、入力部16を用いて、撮像により得られた各外箱画像に含まれる、レンズ度数220を含む部分画像を切り出す。制御部11は、ユーザによって切り出された各部分画像をメモリ13に格納する。ユーザは、例えば、部分画像を切り出す度に、入力部16に対して、部分画像に含まれるレンズ度数220の意味を表す識別記号250を入力する。制御部11は、入力された識別記号250を、対応する部分画像と関連付けてメモリ13に格納する。このようにして、複数組の部分画像および識別記号250が、メモリ13に格納される。
【0045】
次に、ユーザは、入力部16に対して、撮像終了を入力する。すると、眼内レンズ学習モデル14は、メモリ13に格納された各部分画像を、所定の手法を用いて特徴量に変換する。続いて、眼内レンズ学習モデル14は、変換により得られた各特徴量を、対応する識別記号250と関連付けてメモリ13に格納する。次に、眼内レンズ学習モデル14は、メモリ13に格納された複数組の特徴量および識別記号250を学習データとして機械学習を行い、特徴量と、識別記号250との対応関係を生成する。このようにして、眼内レンズ学習モデル14による機械学習が終了する。
【0046】
(レンズ識別)
図10は、本変形例に係る眼内レンズ識別システム100における眼内レンズの識別手順の一例を表したものである。ユーザは、まず、入力部16に対して、レンズ識別の開始を指示する。すると、電子機器50(制御部11)は、メモリ13からプログラム13Aを読み出し、実行する。電子機器50(制御部11)は、まず、顔画像の取得を、表示部17を介してユーザに指示するとともに、撮像装置40に対して、撮像準備を指示する。ユーザは、その指示に従い、撮像装置40の撮像領域40B内に患者の顔が入るように撮像装置40を患者の顔にかざして、患者の顔を撮像し、顔画像を得る。撮像装置40は、撮像により得られた顔画像を電子機器50に出力する。電子機器50(制御部11)は、撮像装置40から顔画像を取得すると、取得した顔画像を含む、手術ファイル取得依頼コマンドを作成し、データサーバ装置20に送信する。
【0047】
データサーバ装置20(制御部21)は、電子機器50から手術ファイル取得依頼コマンドを受信すると、受信した手術ファイル取得依頼コマンドに含まれる顔画像と一致する顔写真データ23dを有する手術ファイル23Aを探索する。データサーバ装置20(制御部21)は、探索の結果、受信した手術ファイル取得依頼コマンドに含まれる顔画像と一致する顔写真データ23dを有する手術ファイル23Aが見つかった場合には、該当する手術ファイル23A(または、眼内レンズについての情報(レンズ度数23c))を、電子機器50に送信する。
【0048】
電子機器50(制御部11)は、データサーバ装置20から手術ファイル23A(または、眼内レンズについての情報(レンズ度数23c))を受信すると、外箱画像の取得を、表示部17を介してユーザに指示するとともに、撮像装置40に対して、撮像準備を指示する。ユーザは、その指示に従い、撮像装置40の撮像領域40B内に眼内レンズパッケージ200を載置して撮像し、外箱画像を得る。撮像装置40は、撮像により得られた外箱画像を電子機器50に出力する。電子機器50(制御部11)は、撮像装置40から外箱画像を取得すると、所定の手法を用いて、外箱画像から、レンズ度数220を含む部分画像を切り出す。
【0049】
次に、電子機器50(制御部11)は、切り出した部分画像を眼内レンズ学習モデル14に入力する。すると、眼内レンズ学習モデル14は、入力された部分画像を特徴量に変換した後、学習結果に基づいて、変換により得られた特徴量に対応する識別記号250を制御部11に出力する(ゆらぎ補正)。
【0050】
続いて、電子機器50(制御部11)は、眼内レンズ学習モデル14によって得られた識別記号250を、データサーバ装置20から取得した手術ファイル23A(具体的には、その手術ファイル23Aに含まれるレンズ度数23c)と照合する。つまり、電子機器50(制御部11)は、眼内レンズ学習モデル14によって得られた識別記号250を、複数の手術ファイル23Aのうち、撮像された眼内レンズパッケージ200に含まれる眼内レンズが適用される患者についての手術ファイル23Aと照合する。照合結果が“一致”である場合には、電子機器50(制御部11)は、用意された眼内レンズが所望のレンズである旨を、表示部17を介してユーザに通知する。一方、照合結果が“不一致”である場合には、電子機器50(制御部11)は、用意された眼内レンズが所望のレンズではない旨を、表示部17を介してユーザに通知する。このようにして、レンズ識別が行われる。
【0051】
本変形例では、上記実施の形態と同様、目視での照合に頼らずに、システムによる正確な照合を行うことができる。従って、見過ごしの無い確実な確認作業を行うことができる。
【0052】
また、本変形例では、撮像装置40が電子機器50とは別体で設けられている。これにより、撮像装置40を小型化することができるので、撮像装置40を容易に運ぶことができる。その結果、場所を選ばず、見過ごしの無い確実な確認作業を行うことができる。
【0053】
[[変形例B]]
図11は、上記変形例Aに係る眼内レンズ識別システム100の機能ブロックの一変形例を表したものである。上記変形例Aに係る眼内レンズ識別システム100において、例えば、
図11に示したように、眼内レンズ学習モデル14がデータサーバ装置20に設けられていてもよい。このとき、電子機器50は、例えば、制御部11、メモリ13、ネットワークIF15、入力部16、表示部17およびネットワークIF18を一体に保持する筐体50Aを備えている。
【0054】
[動作]
次に、本変形例に係る眼内レンズ識別システム100の動作について説明する。
【0055】
(機械学習)
ユーザは、入力部16に対して、レンズ度数200と、識別記号250との対応関係の作成開始を指示する。すると、制御部11がユーザに対して撮像を指示する。ユーザは、その指示に従って、撮像装置40の撮像領域40B内に様々なメーカの眼内レンズパッケージ200を載置して撮像する。撮像装置40は、撮像により得られた外箱画像をメモリ13に格納する。続いて、制御部11は、メモリ13に格納した外箱画像を含む映像信号を生成し、表示部17に出力する。表示部17は、外箱画像を含む映像を表示する。次に、ユーザは、入力部16を用いて、撮像により得られた各外箱画像に含まれる、レンズ度数220を含む部分画像を切り出す。制御部11は、ユーザによって切り出された各部分画像をメモリ13に格納する。ユーザは、例えば、部分画像を切り出す度に、入力部16に対して、部分画像に含まれるレンズ度数220の意味を表す識別記号250を入力する。制御部11は、入力された識別記号250を、対応する部分画像と関連付けてメモリ13に格納する。このようにして、複数組の部分画像および識別記号250が、メモリ13に格納される。
【0056】
次に、ユーザは、入力部16に対して、撮像終了を入力する。すると、眼内レンズ学習モデル14は、メモリ13に格納された各部分画像を、所定の手法を用いて特徴量に変換する。特徴量は、部分画像に基づいて得られたデータであり、眼内レンズ学習モデル14において機械学習を行うのに適したデータとなっている。続いて、眼内レンズ学習モデル14は、変換により得られた各特徴量を、対応する識別記号250と関連付けてメモリ13に格納する。次に、眼内レンズ学習モデル14は、メモリ13に格納された複数組の特徴量および識別記号250を学習データとして機械学習を行い、特徴量と、識別記号250との対応関係を生成する。このようにして、眼内レンズ学習モデル14による機械学習が終了する。
【0057】
(レンズ識別)
図12は、本変形例に係る眼内レンズ識別システム100における眼内レンズの識別手順の一例を表したものである。ユーザは、まず、入力部16に対して、レンズ識別の開始を指示する。すると、電子機器50(制御部11)は、メモリ13からプログラム13Aを読み出し、実行する。電子機器50(制御部11)は、まず、顔画像の取得を、表示部17を介してユーザに指示するとともに、撮像装置40に対して、撮像準備を指示する。ユーザは、その指示に従い、撮像装置40の撮像領域40B内に患者の顔が入るように撮像装置40を患者の顔にかざして、患者の顔を撮像し、顔画像を得る。撮像装置40は、撮像により得られた顔画像を電子機器50に出力する。電子機器50(制御部11)は、撮像装置40から顔画像を取得すると、取得した顔画像を含む、手術ファイル取得依頼コマンドを作成し、データサーバ装置20に送信する。
【0058】
データサーバ装置20(制御部21)は、電子機器50から手術ファイル取得依頼コマンドを受信すると、受信した手術ファイル取得依頼コマンドに含まれる顔画像と一致する顔写真データ23dを有する手術ファイル23Aを探索する。データサーバ装置20(制御部21)は、探索の結果、受信した手術ファイル取得依頼コマンドに含まれる顔画像と一致する顔写真データ23dを有する手術ファイル23Aが見つかった場合には、該当する手術ファイル23A(または、眼内レンズについての情報(レンズ度数23c))を、電子機器50に送信する。
【0059】
電子機器50(制御部11)は、データサーバ装置20から手術ファイル23A(または、眼内レンズについての情報(レンズ度数23c))を受信すると、外箱画像の取得を、表示部17を介してユーザに指示するとともに、撮像装置40に対して、撮像準備を指示する。ユーザは、その指示に従い、撮像装置40の撮像領域40B内に眼内レンズパッケージ200を載置して撮像し、外箱画像を得る。撮像装置40は、撮像により得られた外箱画像を電子機器50に出力する。電子機器50(制御部11)は、撮像装置40から外箱画像を取得すると、所定の手法を用いて、外箱画像から、レンズ度数220を含む部分画像を切り出す。
【0060】
次に、電子機器50(制御部11)は、切り出した部分画像を、データサーバ装置20に送信する。データサーバ装置20(制御部21)は、受信した部分画像を眼内レンズ学習モデル14に入力する。すると、眼内レンズ学習モデル14は、入力された部分画像を特徴量に変換した後、学習結果に基づいて、変換により得られた特徴量に対応する識別記号250を電子機器50に送信する(ゆらぎ補正)。
【0061】
電子機器50(制御部11)は、データサーバ装置20から取得した識別記号250を、データサーバ装置20から取得した手術ファイル23A(具体的には、その手術ファイル23Aに含まれるレンズ度数23c)と照合する。つまり、電子機器50(制御部11)は、眼内レンズ学習モデル14によって得られた識別記号250を、複数の手術ファイル23Aのうち、撮像された眼内レンズパッケージ200に含まれる眼内レンズが適用される患者についての手術ファイル23Aと照合する。照合結果が“一致”である場合には、電子機器50(制御部11)は、用意された眼内レンズが所望のレンズである旨を、表示部17を介してユーザに通知する。一方、照合結果が“不一致”である場合には、電子機器50(制御部11)は、用意された眼内レンズが所望のレンズではない旨を、表示部17を介してユーザに通知する。このようにして、レンズ識別が行われる。
【0062】
本変形例では、上記実施の形態と同様、目視での照合に頼らずに、システムによる正確な照合を行うことができる。従って、見過ごしの無い確実な確認作業を行うことができる。
【0063】
[[変形例C]]
図13は、上記変形例Bに係る眼内レンズ識別システム100の機能ブロックの一変形例を表したものである。上記変形例Bに係る眼内レンズ識別システム100において、例えば、
図13に示したように、プログラム13Aの代わりにプログラム13Bが設けられるとともに、プログラム23Bがデータサーバ装置20のメモリ23に設けられていてもよい。プログラム13Bは、プログラム13Aにおける一連の手順の一部の手順を含んでいる。プログラム23Bは、プログラム13Aにおける一連の手順のうち、プログラム13Bにおける一連の手順を除いた手順を含んでいる。
【0064】
[動作]
次に、本変形例に係る眼内レンズ識別システム100の動作について説明する。
【0065】
(機械学習)
ユーザは、入力部16に対して、レンズ度数200と、識別記号250との対応関係の作成開始を指示する。すると、制御部11がユーザに対して撮像を指示する。ユーザは、その指示に従って、撮像装置40の撮像領域40B内に様々なメーカの眼内レンズパッケージ200を載置して撮像する。撮像装置40は、撮像により得られた外箱画像を電子機器50のメモリ13に格納する。続いて、制御部11は、メモリ13に格納した外箱画像を含む映像信号を生成し、表示部17に出力する。表示部17は、外箱画像を含む映像を表示する。次に、ユーザは、入力部16を用いて、撮像により得られた各外箱画像に含まれる、レンズ度数220を含む部分画像を切り出す。制御部11は、ユーザによって切り出された各部分画像をメモリ13に格納する。ユーザは、例えば、部分画像を切り出す度に、入力部16に対して、部分画像に含まれるレンズ度数220の意味を表す識別記号250を入力する。制御部11は、入力された識別記号250を、対応する部分画像と関連付けてメモリ13に格納する。このようにして、複数組の部分画像および識別記号250が、メモリ13に格納される。
【0066】
次に、ユーザは、入力部16に対して、撮像終了を入力する。すると、眼内レンズ学習モデル14は、メモリ13に格納された各部分画像を、所定の手法を用いて特徴量に変換する。続いて、眼内レンズ学習モデル14は、変換により得られた各特徴量を、対応する識別記号250と関連付けてメモリ13に格納する。次に、眼内レンズ学習モデル14は、メモリ13に格納された複数組の特徴量および識別記号250を学習データとして機械学習を行い、特徴量と、識別記号250との対応関係を生成する。このようにして、眼内レンズ学習モデル14による機械学習が終了する。
【0067】
(レンズ識別)
図14は、本変形例に係る眼内レンズ識別システム100における眼内レンズの識別手順の一例を表したものである。ユーザは、まず、入力部16に対して、レンズ識別の開始を指示する。すると、電子機器50(制御部11)は、メモリ13からプログラム13Bを読み出し、実行する。電子機器50(制御部11)は、まず、データサーバ装置20に対して、プログラム23Bの実行を指示する。データサーバ装置20(制御部21)は、電子機器50からプログラム23Bの実行指示を受信すると、メモリ23からプログラム23Bを読み出し、実行する。
【0068】
電子機器50(制御部11)は、次に、顔画像の取得を、表示部17を介してユーザに指示するとともに、撮像装置40に対して、撮像準備を指示する。ユーザは、その指示に従い、撮像装置40の撮像領域40B内に患者の顔が入るように撮像装置40を患者の顔にかざして、患者の顔を撮像し、顔画像を得る。撮像装置40は、撮像により得られた顔画像を電子機器50に出力する。電子機器50(制御部11)は、撮像装置40から顔画像を取得すると、取得した顔画像を含む、手術ファイル取得依頼コマンドを作成し、データサーバ装置20に送信する。
【0069】
データサーバ装置20(制御部21)は、電子機器50から手術ファイル取得依頼コマンドを受信すると、受信した手術ファイル取得依頼コマンドに含まれる顔画像と一致する顔写真データ23dを有する手術ファイル23Aを探索する。データサーバ装置20(制御部21)は、探索の結果、受信した手術ファイル取得依頼コマンドに含まれる顔画像と一致する顔写真データ23dを有する手術ファイル23Aが見つかった場合には、該当する手術ファイル23A(または、眼内レンズについての情報(レンズ度数23c))を、メモリ23内に格納する。
【0070】
次に、電子機器50(制御部11)は、外箱画像の取得を、表示部17を介してユーザに指示するとともに、撮像装置40に対して、撮像準備を指示する。ユーザは、その指示に従い、撮像装置40の撮像領域40B内に眼内レンズパッケージ200を載置して撮像し、外箱画像を得る。撮像装置40は、撮像により得られた外箱画像を電子機器50に出力する。電子機器50(制御部11)は、撮像装置40から外箱画像を取得すると、取得した外箱画像をデータサーバ装置20に送信する。
【0071】
次に、データサーバ装置20(制御部21)は、電子機器50から外箱画像を受信すると、所定の手法を用いて、受信した外箱画像から、レンズ度数220を含む部分画像を切り出す。続いて、データサーバ装置20(制御部21)は、切り出した部分画像を眼内レンズ学習モデル14に入力する。すると、眼内レンズ学習モデル14は、入力された部分画像を特徴量に変換した後、学習結果に基づいて、変換により得られた特徴量に対応する識別記号250を制御部21に出力する(ゆらぎ補正)。
【0072】
続いて、データサーバ装置20(制御部21)は、眼内レンズ学習モデル14から取得した識別記号250を、メモリ23から読み出した手術ファイル23A(具体的には、その手術ファイル23Aに含まれるレンズ度数23c)と照合し、照合結果を電子機器50に送信する。つまり、データサーバ装置20(制御部21)は、眼内レンズ学習モデル14によって得られた識別記号250を、複数の手術ファイル23Aのうち、撮像された眼内レンズパッケージ200に含まれる眼内レンズが適用される患者についての手術ファイル23Aと照合し、照合結果を電子機器50に送信する。電子機器50(制御部11)は、データサーバ装置20から受信した照合結果が“一致”である場合には、電子機器50(制御部11)は、用意された眼内レンズが所望のレンズである旨を、表示部17を介してユーザに通知する。一方、電子機器50(制御部11)は、データサーバ装置20から受信した照合結果が“不一致”である場合には、電子機器50(制御部11)は、用意された眼内レンズが所望のレンズではない旨を、表示部17を介してユーザに通知する。このようにして、レンズ識別が行われる。
【0073】
本変形例では、上記実施の形態と同様、目視での照合に頼らずに、システムによる正確な照合を行うことができる。従って、見過ごしの無い確実な確認作業を行うことができる。
【0074】
[[変形例D]]
上記実施の形態およびその変形例では、機械学習を利用して、撮像画像から切り出した部分画像の特徴量が、手術ファイルと照合可能な識別記号に置き換えられていた。しかし、上記実施の形態およびその変形例において、眼内レンズ識別システム100が、機械学習を利用して、撮像画像から読み取った文字(レンズ度数220の表記)の意味を理解し、読み取った文字を、手術ファイルと照合可能な識別記号に置き換えてもよい。
【0075】
本変形例では、眼内レンズ学習モデル14に入力される入力データは、例えば、
図15に示したように、レンズ度数200の文字列と、識別記号250の文字列である。眼内レンズ学習モデル14は、機械学習の結果、レンズ度数200と、識別記号250との対応関係についての情報を学習結果として生成し、保有する。つまり、眼内レンズ学習モデル14では、眼内レンズ(物品)の度数(特性)について表記の仕方にゆらぎのある複数のレンズ度数200の文字列と、眼内レンズ(物品)の度数(特性)について表記の仕方にゆらぎのある複数のレンズ度数200の文字列から示唆される眼内レンズの度数についての識別記号250との対応関係が記述されている。
【0076】
[動作]
次に、本変形例に係る眼内レンズ識別システム100の動作について説明する。
【0077】
(機械学習)
ユーザは、入力部16に対して、レンズ度数200と、識別記号250との対応関係の作成開始を指示する。すると、制御部11がユーザに対して撮像を指示する。ユーザは、その指示に従って、撮像領域10B,40B内に様々なメーカの眼内レンズパッケージ200を載置して撮像する。撮像部12,撮像装置40は、撮像により得られた外箱画像をメモリ13に格納する。続いて、制御部11は、メモリ13に格納した外箱画像を含む映像信号を生成し、表示部17に出力する。表示部17は、外箱画像を含む映像を表示する。次に、ユーザは、入力部16を用いて、撮像により得られた各外箱画像に含まれる、レンズ度数220を含む部分画像を切り出す。制御部11は、ユーザによって切り出された各部分画像をメモリ13に格納する。ユーザは、入力部16に対して、各部分画像から、レンズ度数200の文字列を読み取ることを指示する。すると、制御部11は、所定の手法を用いて、各部分画像から、レンズ度数200の文字列を読み取り、それにより得られた各文字列をメモリ13に格納する。ユーザは、例えば、各部分画像からレンズ度数200の文字列が読み取られる度に、入力部16に対して、部分画像に含まれるレンズ度数220の意味を表す識別記号250を入力する。制御部11は、入力された識別記号250を、対応する文字列(部分画像から読み取られた文字列)と関連付けてメモリ13に格納する。このようにして、複数組の文字列(部分画像から読み取られた文字列)および識別記号250が、メモリ13に格納される。
【0078】
次に、ユーザは、入力部16に対して、撮像終了を入力する。すると、眼内レンズ学習モデル14は、メモリ13に格納された複数組の文字列(部分画像から読み取られた文字列)および識別記号250を学習データとして機械学習を行い、文字列(部分画像から読み取られた文字列)と、識別記号250との対応関係を生成する。このようにして、眼内レンズ学習モデル14による機械学習が終了する。
【0079】
(レンズ識別)
図16は、本変形例に係る眼内レンズ識別システム100における眼内レンズの識別手順の一例を表したものである。ユーザは、まず、入力部16に対して、レンズ識別の開始を指示する。すると、撮像機能付き電子機器10(制御部11)は、メモリ13からプログラム13Aを読み出し、実行する。撮像機能付き電子機器10(制御部11)は、まず、顔画像の取得を、表示部17を介してユーザに指示する。ユーザは、その指示に従い、撮像部12の撮像領域10B内に患者の顔が入るように撮像部12を患者の顔にかざして、患者の顔を撮像し、顔画像を得る。撮像部12は、撮像により得られた顔画像を制御部11に出力する。撮像機能付き電子機器10(制御部11)は、撮像部12から顔画像を取得すると、取得した顔画像を含む、手術ファイル取得依頼コマンドを作成し、データサーバ装置20に送信する。
【0080】
データサーバ装置20(制御部21)は、撮像機能付き電子機器10から手術ファイル取得依頼コマンドを受信すると、受信した手術ファイル取得依頼コマンドに含まれる顔画像と一致する顔写真データ23dを有する手術ファイル23Aを探索する。データサーバ装置20(制御部21)は、探索の結果、受信した手術ファイル取得依頼コマンドに含まれる顔画像と一致する顔写真データ23dを有する手術ファイル23Aが見つかった場合には、該当する手術ファイル23A(または、眼内レンズについての情報(レンズ度数23c))を、撮像機能付き電子機器10に送信する。
【0081】
撮像機能付き電子機器10(制御部11)は、データサーバ装置20から手術ファイル23A(または、眼内レンズについての情報(レンズ度数23c))を受信すると、外箱画像の取得を、表示部17を介してユーザに指示する。ユーザは、その指示に従い、撮像部12の撮像領域10B内に眼内レンズパッケージ200を載置して撮像し、外箱画像を得る。撮像部12は、撮像により得られた外箱画像を制御部11に出力する。撮像機能付き電子機器10(制御部11)は、撮像部12から外箱画像を取得すると、所定の手法を用いて、外箱画像から、レンズ度数220を含む部分画像を切り出し、切り出した部分画像から、レンズ度数220の文字列を検出する。
【0082】
次に、撮像機能付き電子機器10(制御部11)は、検出により得られたレンズ度数220を眼内レンズ学習モデル14に入力する。すると、眼内レンズ学習モデル14は、学習結果に基づいて、入力されたレンズ度数220に対応する識別記号250を制御部11に出力する(ゆらぎ補正)。
【0083】
続いて、撮像機能付き電子機器10(制御部11)は、眼内レンズ学習モデル14によって得られた識別記号250を、データサーバ装置20から取得した手術ファイル23A(具体的には、その手術ファイル23Aに含まれるレンズ度数23c)と照合する。つまり、撮像機能付き電子機器10(制御部11)は、眼内レンズ学習モデル14によって得られた識別記号250を、複数の手術ファイル23Aのうち、撮像された眼内レンズパッケージ200に含まれる眼内レンズが適用される患者についての手術ファイル23Aと照合する。照合結果が“一致”である場合には、撮像機能付き電子機器10(制御部11)は、用意された眼内レンズが所望のレンズである旨を、表示部17を介してユーザに通知する。一方、照合結果が“不一致”である場合には、撮像機能付き電子機器10(制御部11)は、用意された眼内レンズが所望のレンズではない旨を、表示部17を介してユーザに通知する。このようにして、レンズ識別が行われる。
【0084】
なお、本変形例では、
図10、
図12、
図14における「特徴量導出」のプロセスが、部分画像からレンズ度数220の文字列を検出するプロセスに置き換えられる。
【0085】
本変形例では、上記実施の形態と同様、目視での照合に頼らずに、システムによる正確な照合を行うことができる。従って、見過ごしの無い確実な確認作業を行うことができる。
【0086】
[[変形例E]]
上記実施の形態およびその変形例において、モデル番号210についても、「表記のゆらぎ」がある場合には、眼内レンズ識別システム100は、撮像画像から切り出した部分画像(モデル番号210を含む部分画像)の特徴量、または、撮像画像から切り出した部分画像(モデル番号210を含む部分画像)から読み取った文字列(モデル番号210)を、機械学習を利用して、手術ファイルと照合可能な識別記号に置き換えてもよい。
【0087】
[[変形例F]]
上記実施の形態およびその変形例において、眼内レンズパッケージ200における、レンズ度数220の表記位置にメーカごとのゆらぎがある場合には、眼内レンズ識別システム100は、機械学習を利用して、撮像画像における、レンズ度数220の文字列が記載されていると推定される箇所の位置情報(座標)を取得し、取得した位置情報(座標)に基づいて、撮像画像から、レンズ度数220を含む部分画像を切り出してもよい。
【0088】
このとき、眼内レンズ学習モデル14は、学習プロセスにおいて入力される入力データは、例えば、
図2に示したようなレンズ度数200を含む画像(入力画像)と、外箱画像から切り出す対象についての情報(レンズ度数)である。眼内レンズ学習モデル14は、学習データとして入力された画像(入力画像)を、所定の手法を用いて特徴量に変換する。眼内レンズ学習モデル14は、機械学習の結果、レンズ度数200を含む画像の特徴量と、外箱画像から切り出す対象についての情報(レンズ度数)との対応関係についての情報を学習結果として生成し、保有する。つまり、眼内レンズ学習モデル14では、表記位置にメーカごとのゆらぎのあるレンズ度数200を含む複数の画像の特徴量と、各外箱画像から切り出す対象についての情報(レンズ度数)との対応関係が記述されている。
【0089】
(部分画像の切り出し)
制御部11,21は、眼内レンズ識別プロセスにおいて、撮像部12または撮像装置40から外箱画像を取得すると、制御部11,21は、外箱画像を眼内レンズ学習モデル14に入力する。すると、眼内レンズ学習モデル14は、外箱画像において、「レンズ度数」の文字列が記載されていると推定される箇所の位置情報(座標)を制御部11,21に出力する。制御部11,21は、眼内レンズ学習モデル14から入力された位置情報(座標)に基づいて、撮像画像から、レンズ度数220を含む部分画像を切り出す。
【0090】
本変形例では、機械学習を利用して、撮像画像における、レンズ度数220の文字列が記載されていると推定される箇所の位置情報(座標)が導出され、導出された位置情報(座標)に基づいて、撮像画像から、レンズ度数220を含む部分画像が切り出される。これにより、撮像画像から、レンズ度数220を含む部分画像を効率良く取り出すことができる。
【0091】
また、本変形例では、レンズ度数220の、メーカごとの表記のゆらぎに対処するために機械学習に入力するデータと、レンズ度数220の表記位置のゆらぎに対処するために機械学習に入力するデータとして、共通のデータ(レンズ度数220を含む部分画像)が用いられる。これにより、機械学習に必要なデータの準備に要する手間やコストを抑えることができる。
【0092】
[[変形例G]]
変形例Eにおいて、眼内レンズパッケージ200における、モデル番号210の表記位置にメーカごとのゆらぎがある場合には、眼内レンズ識別システム100は、機械学習を利用して、撮像画像における、モデル番号210の文字列が記載されていると推定される箇所の位置情報(座標)を取得し、取得した位置情報(座標)に基づいて、撮像画像から、モデル番号210を含む部分画像を切り出してもよい。
【0093】
このとき、眼内レンズ学習モデル14は、学習プロセスにおいて入力される入力データは、例えば、モデル番号210を含む画像(入力画像)と、外箱画像から切り出す対象についての情報(モデル番号)である。眼内レンズ学習モデル14は、学習データとして入力された画像(入力画像)を、所定の手法を用いて特徴量に変換する。眼内レンズ学習モデル14は、機械学習の結果、モデル番号210を含む画像の特徴量と、外箱画像から切り出す対象についての情報(モデル番号)との対応関係についての情報を学習結果として生成し、保有する。つまり、眼内レンズ学習モデル14では、表記位置にメーカごとのゆらぎのあるモデル番号210を含む複数の画像の特徴量と、各外箱画像から切り出す対象についての情報(モデル番号)との対応関係が記述されている。
【0094】
(部分画像の切り出し)
制御部11,21は、眼内レンズ識別プロセスにおいて、撮像部12または撮像装置40から外箱画像を取得すると、制御部11,21は、外箱画像を眼内レンズ学習モデル14に入力する。すると、眼内レンズ学習モデル14は、外箱画像において、「モデル番号」の文字列が記載されていると推定される箇所の位置情報(座標)を制御部11,21に出力する。制御部11,21は、眼内レンズ学習モデル14から入力された位置情報(座標)に基づいて、撮像画像から、モデル番号210を含む部分画像を切り出す。
【0095】
本変形例では、機械学習を利用して、撮像画像における、モデル番号210の文字列が記載されていると推定される箇所の位置情報(座標)が導出され、導出された位置情報(座標)に基づいて、撮像画像から、モデル番号210を含む部分画像が切り出される。これにより、撮像画像から、モデル番号210を含む部分画像を効率良く取り出すことができる。
【0096】
また、本変形例では、モデル番号210の、メーカごとの表記のゆらぎに対処するために機械学習に入力するデータと、モデル番号210の表記位置のゆらぎに対処するために機械学習に入力するデータとして、共通のデータ(モデル番号210を含む部分画像)が用いられる。これにより、機械学習に必要なデータの準備に要する手間やコストを抑えることができる。
【0097】
[[変形例H]]
上記実施の形態およびその変形例では、本発明を、眼内レンズの照合に適用したが、他の物品の照合に適用してもよい。
【0098】
[[変形例I]]
上記実施の形態およびその変形例では、患者の手術ファイル23Aの特定に、患者の顔写真データ23dが用いられていたが、例えば、患者の氏名や患者IDなどが用いられてもよい。
【符号の説明】
【0099】
10…撮像機能付き電子機器、10A…表示面、10B…撮像領域、10C…筐体、11…制御部、12…撮像部、13…メモリ、13A…プログラム、14…眼内レンズ学習モデル、15…ネットワークIF、16…入力部、17…表示部、20…データサーバ装置、21…制御部、22…ネットワークIF、23…メモリ、23A…手術ファイル、23-1…タグ、23-2…内容、23a…モデル番号、23b…レンズ度数、23c…顔写真データ、23d…顔写真データ、30…ネットワーク、40…撮像装置、40A…表示面、50…電子機器、50A…筐体、60…ネットワーク、100…眼内レンズ識別システム、200…眼内レンズパッケージ、210…モデル番号、220,220a…レンズ度数、230…使用期限、240…バーコード。