特許 6887199 コンピュータシステム、データセット作成方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】6887199

(24)【登録日】2021年5月20日

(45)【発行日】2021年6月16日

(54)【発明の名称】コンピュータシステム、データセット作成方法及びプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20210603BHJP

   A61B 3/14 20060101ALI20210603BHJP

【ＦＩ】

   G06T7/00 350B

   A61B3/14

【請求項の数】6

【全頁数】12

(21)【出願番号】特願2020-132198(P2020-132198)

(22)【出願日】2020年8月4日

【審査請求日】2021年3月5日

【早期審査対象出願】

(73)【特許権者】

【識別番号】500521522

【氏名又は名称】株式会社オプティム

(74)【代理人】

【識別番号】100177220

【弁理士】

【氏名又は名称】小木 智彦

(72)【発明者】

【氏名】奥村 佳雄

【審査官】 佐田 宏史

(56)【参考文献】

【文献】 特開２０００−３３９４９９（ＪＰ，Ａ）

【文献】 特開２００１−０１４４４４（ＪＰ，Ａ）

【文献】 特開２０１９−０４６２６９（ＪＰ，Ａ）

【文献】 特開２０１９−１１８８１４（ＪＰ，Ａ）

【文献】 法橋 孝、外４名，“眼科医療支援システム”，第６６回（平成１６年）全国大会講演論文集（４），日本，社団法人情報処理学会，２００４年 ３月 ９日，pp.535-536

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １／００，７／００−７／９０，１１／００−１９／２０

Ｈ０４Ｎ １／３８７

Ａ６１Ｂ ３／１４

(57)【特許請求の範囲】

【請求項1】

機械学習用のデータセットを作成するコンピュータシステムであって、
球体を撮影した第１球体画像を取得する第１球体画像取得手段と、
取得した前記第１球体画像における前記球体の所定領域をアノテーションデータとして指定するアノテーションデータ指定手段と、
取得した前記第１球体画像に対して、逆ＵＶマッピングを行い、前記第１球体画像を三次元化するためのテクスチャを生成するテクスチャ生成手段と、
生成した前記テクスチャを前記球体の形状にＵＶマッピングを行い、当該球体の三次元データを生成する三次元データ生成手段と、
生成した前記三次元データを所定の角度毎に回転させ、当該三次元データを其々の角度で撮影した複数の第２球体画像を取得する第２球体画像取得手段と、
取得した前記第２球体画像の其々に、指定された前記アノテーションデータを設定するアノテーションデータ設定手段と、
を備えることを特徴とするコンピュータシステム。

【請求項2】

前記テクスチャ生成手段は、前記球体の非撮影領域を、当該球体の形状に基づいて推測して補完し、前記テクスチャを生成する、
ことを特徴とする請求項１に記載のコンピュータシステム。

【請求項3】

前記アノテーションデータの前記第１球体画像における位置情報を記録する記録手段と、
回転させた前記角度と、記録した前記位置情報とに基づいて、前記第２球体画像の其々におけるアノテーションデータの位置情報を推測する推測手段と、
を更に備え、
前記アノテーションデータ設定手段は、推測した前記第２球体画像の其々におけるアノテーションデータの位置情報に基づいて、アノテーションデータを設定する、
ことを特徴とする請求項１に記載のコンピュータシステム。

【請求項4】

前記球体が、眼底である、
ことを特徴とする請求項１に記載のコンピュータシステム。

【請求項5】

機械学習用のデータセットを作成するコンピュータシステムが実行するデータセット作成方法であって、
球体を撮影した第１球体画像を取得するステップと、
取得した前記第１球体画像における前記球体の所定領域をアノテーションデータとして指定するステップと、
取得した前記第１球体画像に対して、逆ＵＶマッピングを行い、前記第１球体画像を三次元化するためのテクスチャを生成するステップと、
生成した前記テクスチャを前記球体の形状にＵＶマッピングを行い、当該球体の三次元データを生成するステップと、
生成した前記三次元データを所定の角度毎に回転させ、当該三次元データを其々の角度で撮影した複数の第２球体画像を取得するステップと、
取得した前記第２球体画像の其々に、指定された前記アノテーションデータを設定するステップと、
を備えることを特徴とするデータセット作成方法。

【請求項6】

機械学習用のデータセットを作成するコンピュータに、
球体を撮影した第１球体画像を取得するステップ、
取得した前記第１球体画像における前記球体の所定領域をアノテーションデータとして指定するステップ、
取得した前記第１球体画像に対して、逆ＵＶマッピングを行い、前記第１球体画像を三次元化するためのテクスチャを生成するステップ、
生成した前記テクスチャを前記球体の形状にＵＶマッピングを行い、当該球体の三次元データを生成するステップ、
生成した前記三次元データを所定の角度毎に回転させ、当該三次元データを其々の角度で撮影した複数の第２球体画像を取得するステップ、
取得した前記第２球体画像の其々に、指定された前記アノテーションデータを設定するステップ、
を実行させるためのコンピュータ読み取り可能なプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、機械学習用のデータセットを作成するコンピュータシステム、データセット作成方法及びプログラムに関する。

【背景技術】

【0002】

近年、様々な分野において、人工知能が利用されている。特に、医療分野において、人工知能の活用が図られている。このような人工知能は、利用者が所望するデータを収集し、このデータにアノテーションを指定し、このアノテーションを指定したデータを、教師データとして機械学習を行い、精度の向上が図られている。このような機械学習には、大量のデータセットが必要となる。

【0003】

画像を用いた機械学習の場合、データセットとして画像と、この画像に対して指定したアノテーションとが必要となる。この画像の数を増やすための方法として、例えば、画像から、三次元オブジェクトを生成し、この三次元オブジェクトをデータセット用のデータとして使うことが考えられる。画像から三次元オブジェクトを生成する技術としては、一枚のＲＧＢ画像から、このＲＧＢ画像に写る人物を三次元で再現するものが知られている（非特許文献１参照）。

【先行技術文献】

【非特許文献】

【0004】

【非特許文献1】ｓｈｉｚｕｍａ、“ほろ酔い開発日誌”、［online］、２０１９年７月３日、［２０２０年６月２２日検索］、インターネット<https://blog.seishin55.com/entry/2019/07/03/005723>

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、医療分野におけるデータセットにおいて、医用画像の収集とそのアノテーションとは、高い専門性が求められるうえ、医用画像の収集及びアノテーションに多くの時間が必要となる。そのため、機械学習用のデータセットの作成は、コストが高くなってしまう。
非特許文献１の技術では、あくまでも、画像を三次元オブジェクトに生成するものに過ぎず、機械学習用のデータセットを作成するためのものではなかった。

【0006】

本発明は、少数枚の球体画像と、そのアノテーションデータとから、多数枚の球体画像とそのアノテーションデータとを機械学習用のデータセットとして生成し、機械学習の精度を効率良く向上させることを目的とする。

【課題を解決するための手段】

【0007】

本発明では、以下のような解決手段を提供する。

【0008】

本発明は、機械学習用のデータセットを作成するコンピュータシステムであって、
球体を撮影した第１球体画像を取得する第１球体画像取得手段と、
取得した前記第１球体画像における前記球体の所定領域をアノテーションデータとして指定するアノテーションデータ指定手段と、
取得した前記第１球体画像に対して、逆ＵＶマッピングを行い、前記第１球体画像を三次元化するためのテクスチャを生成するテクスチャ生成手段と、
生成した前記テクスチャを前記球体の形状にＵＶマッピングを行い、当該球体の三次元データを生成する三次元データ生成手段と、
生成した前記三次元データを所定の角度毎に回転させ、当該三次元データを其々の角度で撮影した複数の第２球体画像を取得する第２球体画像取得手段と、
取得した前記第２球体画像の其々に、指定された前記アノテーションデータを設定するアノテーションデータ設定手段と、
を備えることを特徴とするコンピュータシステムを提供する。

【0009】

本発明によれば、機械学習用のデータセットを作成するコンピュータシステムは、球体を撮影した第１球体画像を取得し、取得した前記第１球体画像における前記球体の所定領域をアノテーションデータとして指定し、取得した前記第１球体画像に対して、逆ＵＶマッピングを行い、前記第１球体画像を三次元化するためのテクスチャを生成し、生成した前記テクスチャを前記球体の形状にＵＶマッピングを行い、当該球体の三次元データを生成し、生成した前記三次元データを所定の角度毎に回転させ、当該三次元データを其々の角度で撮影した複数の第２球体画像を取得し、取得した前記第２球体画像の其々に、指定された前記アノテーションデータを設定する。

【0010】

本発明は、システムのカテゴリであるが、コンピュータ、方法及びプログラム等の他のカテゴリにおいても、そのカテゴリに応じた同様の作用・効果を発揮する。

【発明の効果】

【0011】

本発明によれば、少数枚の球体画像と、そのアノテーションデータとから、多数枚の球体画像とそのアノテーションデータとを機械学習用のデータセットとして生成し、機械学習の精度を効率良く向上させることが可能となる。

【図面の簡単な説明】

【0012】

【図1】図１は、データセット作成システム１の全体構成図である。

【図2】図２は、コンピュータ１０が実行するデータセット作成処理のフローチャートを示す図である。

【図3】図３は、第１眼底画像に指定されたアノテーションデータを模式的に示した図である。

【図4】図４は、第２眼底画像に設定されたアノテーションデータを模式的に示した図である。

【発明を実施するための形態】

【0013】

以下、本発明を実施するための最良の形態について図を参照しながら説明する。なお、これはあくまでも例であって、本発明の技術的範囲はこれに限られるものではない。

【0014】

［データセット作成システム１の構成］
本発明の好適な実施形態であるデータセット作成システム１について説明する。データセット作成システム１は、コンピュータ１０（図１参照）により構成されて良く、機械学習用のデータセット（球体画像（例えば、眼底画像）とこの球体画像に指定したアノテーションデータとからなる）を作成するコンピュータシステムである。本明細書において、球体は、眼底として説明する。また、第１球体画像及び第２球体画像は、其々、第１眼底画像及び第２眼底画像として説明する。
なお、眼底画像は、患者等の眼底を撮影した画像である。アノテーションデータは、球体画像における所定領域（異常を示す領域、正常を示す領域、その他の領域等）に指定されるアノテーション（物体検出、領域抽出、画像分類等による属性分類、属性分類に付与されるタグ等）を示すデータであって良い。

【0015】

データセット作成システム１は、患者等の眼底を撮影する眼底カメラ、その他の端末や、眼底画像を登録したデータベースを記録する他のコンピュータ、装置類等が含まれていても良い。この場合、データセット作成システム１は、後述する処理を、コンピュータ１０や上記の端末、コンピュータ、装置の何れか又は複数の組み合わせにより構成される。

【0016】

コンピュータ１０は、サーバ機能を有するコンピュータや、メインフレーム、パーソナルコンピュータ等であって良く、上述した眼底カメラ、その他の端末やコンピュータ、装置類等と、公衆回線網等を介してデータ通信可能に接続されており、必要なデータの送受信や各種処理を実行する。

【0017】

コンピュータ１０は、例えば、１台のコンピュータで実現されてもよいし、クラウドコンピュータのように、複数のコンピュータで実現されてもよい。本明細書におけるクラウドコンピュータとは、ある特定の機能を果たす際に、任意のコンピュータをスケーラブルに用いるものや、あるシステムを実現するために複数の機能モジュールを含み、その機能を自由に組み合わせて用いるものの何れであってもよい。

【0018】

コンピュータ１０は、制御部として、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等を備え、通信部として、他の端末や装置等と通信可能にするためのデバイス、例えば、ＩＥＥＥ８０２．１１に準拠したＷｉ―Ｆｉ（Ｗｉｒｅｌｅｓｓ―Ｆｉｄｅｌｉｔｙ）対応デバイス等を備える。また、コンピュータ１０は、記録部として、ハードディスクや半導体メモリ、記録媒体、メモリカード等によるデータのストレージ部を備える。また、コンピュータ１０は、処理部として、各種処理を実行する各種デバイス等を備える。

【0019】

コンピュータ１０において、制御部が所定のプログラムを読み込むことにより、通信部と協働して、図１に示す、第１眼底画像取得モジュール２０を実現する。また、コンピュータ１０において、制御部が所定のプログラムを読み込むことにより、記録部と協働して、図１に示す、記録モジュール３０を実現する。また、コンピュータ１０において、制御部が所定のプログラムを読み込むことにより、処理部と協働して、図１に示す、アノテーションデータ指定モジュール４０、位置情報特定モジュール４１、テクスチャ生成モジュール４２、三次元データ生成モジュール４３、第２眼底画像取得モジュール４４、推測モジュール４５、アノテーションデータ設定モジュール４６を実現する。

【0020】

各モジュールにおいては、第１眼底画像取得モジュール２０が、第１球体画像取得手段の処理を実現し、記録モジュール３０が、記録手段の処理を実現し、アノテーションデータ指定モジュール４０が、アノテーションデータ指定手段の処理を実現し、テクスチャ生成モジュール４２が、テクスチャ生成手段の処理を実現し、三次元データ生成モジュール４３が、三次元データ生成手段の処理を実現し、第２眼底画像取得モジュール４４が、第２球体画像取得手段の処理を実現し、推測モジュール４５が、推測手段の処理を実現し、アノテーションデータ設定モジュール４６が、アノテーションデータ設定手段の処理を実現する。

【0021】

［概略］
データセット作成システムが実行する各処理の概略について、説明する。

【0022】

コンピュータ１０は、球体（例えば、患者等の眼底）を撮影した第１球体画像を取得する。
例えば、コンピュータ１０は、眼底カメラやその他のコンピュータから、この第１球体画像を取得する。眼底カメラは、自身が撮影した眼底画像を、コンピュータ１０に送信し、その他のコンピュータは、予め自身が記録したデータベースに登録された眼底画像を、コンピュータ１０に送信する。コンピュータ１０は、この眼底画像を第１球体画像として受信することにより、第１球体画像を取得する。また、コンピュータ１０は、自身が記録した眼底画像が登録されたデータベースから、この眼底画像を第１球体画像として取得する。

【0023】

コンピュータ１０は、取得した第１球体画像における球体の所定領域をアノテーションデータとして指定する。この所定領域とは、上述したような、第１球体画像における異常を示す領域、正常を示す領域、その他の領域等である。また、このアノテーションデータとは、上述したような物体検出、領域抽出、画像分類等によるこの所定領域の属性分類、この属性分類に付与されるタグ等を示すデータである。
コンピュータ１０は、アノテータからこの所定領域に対するアノテーションデータの指定を受け付ける。アノテータは、コンピュータ１０の入力デバイス等を介して、この所定領域に対して、アノテーションデータを指定する入力を行う。コンピュータ１０は、この入力されたアノテーションデータを、第１球体画像に対して、指定することになる。

【0024】

コンピュータ１０は、取得した第１球体画像に対して、逆ＵＶマッピングを行い、第１球体画像を三次元化するためのテクスチャを生成する。ＵＶマッピングとは、画像（本明細書では、第１球体画像）をＵＶ座標系に展開し、二次元のテクスチャを、三次元オブジェクトに貼り付けるものである。逆ＵＶマッピングとは、三次元オブジェクトをレンダリングした画像において、三次元オブジェクトの各画素が、テクスチャでどの位置に該当するかを変換することを示すものである。テクスチャとは、球体画像に写る球体を、三次元化するために必要な質感、模様、凹凸等を表現するためのデータである。
なお、コンピュータ１０は、球体の非撮影領域を、球体の形状に基づいて推測して補完し、このテクスチャを生成しても良い。例えば、コンピュータ１０は、球体の撮影していない領域である非撮影領域を、球体の形状に基づいて推測し、第１球体画像に写っている球体に、この推測した非撮影領域を補完し、テクスチャを生成しても良い。

【0025】

コンピュータ１０は、生成したテクスチャを球体の形状にＵＶマッピングを行い、球体の三次元データを生成する。コンピュータ１０は、第１球体画像に対して、生成したテクスチャに基づいて、球体の形状にＵＶマッピングを行い、この球体の三次元オブジェクトを三次元データとして生成する。

【0026】

コンピュータ１０は、生成した三次元データを所定の角度毎に回転させ、三次元データを其々の角度で撮影した複数の第２球体画像を取得する。コンピュータ１０は、生成した三次元オブジェクトを所定の角度毎（１度毎、２度毎、５度毎等）に回転させる。回転の方向は、Ｘ軸、Ｙ軸、Ｚ軸の何れかの軸を中心としたものであって良い。コンピュータ１０は、回転後の三次元オブジェクトを撮影した第２球体画像を取得する。コンピュータ１０は、角度毎に撮影した複数の第２球体画像を取得することになる。

【0027】

コンピュータ１０は、取得した第２球体の其々に、指定されたアノテーションデータを設定する。コンピュータ１０は、三次元オブジェクトを回転させた角度と、取得した第１球体画像におけるアノテーションデータの位置情報とに基づいて、第２球体画像の其々におけるアノテーションデータの位置情報を推測する。コンピュータ１０は、推測した第２球体画像の其々におけるアノテーションデータの位置情報に基づいて、この第２球体画像の其々に、アノテーションデータを設定する。

【0028】

以上が、データセット作成システム１が実行する各処理の概略である。

【0029】

［データセット作成処理］
図２に基づいて、コンピュータ１０が実行するデータセット作成処理について説明する。図２は、コンピュータ１０が実行するデータセット作成処理のフローチャートを示す図である。上述した各モジュールが実行する処理について、本処理に併せて説明する。

【0030】

最初に、第１眼底画像取得モジュール２０（第１球体画像取得手段）は、眼底を撮影した第１眼底画像を取得する（ステップＳ１０）。第１眼底画像取得モジュール２０は、患者等の眼底を撮影した眼底カメラや患者等の眼底を撮影した眼底画像を登録したデータベースを記録するその他のコンピュータ等から、この第１眼底画像を取得する。眼底カメラやその他のコンピュータは、自身が撮影又は記録する眼底画像を、コンピュータ１０に送信する。第１眼底画像取得モジュール２０は、この眼底画像を、第１眼底画像として受信することにより、第１眼底画像を取得することになる。
なお、第１眼底画像取得モジュール２０は、記録モジュール３０が記録した眼底画像を、第１眼底画像として取得する構成であっても良い。

【0031】

次に、アノテーションデータ指定モジュール４０（アノテーションデータ指定手段）は、この取得した第１眼底画像における眼底の所定領域をアノテーションデータとして指定する（ステップＳ１１）。所定領域は、上述のような異常を示す領域、正常を示す領域、その他の領域等である。ここで、異常を示す領域とは、毛細血管の狭窄や出血、白斑、浮腫等が認められる領域である。また、アノテーションデータとは、上述のような物体検出、領域抽出、画像分類等による属性分類や、この属性分類に付与されるタグ等を示すデータである。
アノテーションデータ指定モジュール４０は、アノテータから所定領域に対するアノテーションデータの指定を受け付ける。アノテータは、入力デバイス等を介して、後述する図３に示すようなこのアノテーションデータを指定する入力を行う。この時、アノテータは、所定領域を囲う等することにより、所定領域の属性部類を行う。アノテータは、更に、この所定領域に対するタグを入力することにより、属性分類にタグを付与する。アノテーションデータ指定モジュール４０は、この入力された属性分類及びタグとをアノテーションデータとして指定する。

【0032】

次に、位置情報特定モジュール４１は、第１眼底画像における、アノテーションデータの位置情報を特定する（ステップＳ１２）。位置情報特定モジュール４１は、上述のステップＳ１１の処理により指定された所定領域の位置情報を、アノテーションデータの位置情報として特定する。この位置情報は、例えば、（Ｘ１，Ｙ１）といったＸＹ座標系で示されるものであって良い。この位置情報は、所定領域が、円又はそれに類するものである場合、この円の中心及び円周上の一又は複数の地点を所定領域の位置情報として特定する。また、この位置情報は、所定領域が、矩形又はそれに類するものである場合、各頂点を所定領域の位置情報として特定する。
なお、この位置情報は、上述した例に限らず、適宜変更可能である。

【0033】

図３は、アノテーションデータ指定モジュール４０が指定するアノテーションデータの一例を模式的に示す図である。上述のステップＳ１１の処理の結果、第１眼底画像１００は、所定領域として、異常を示す領域１１０と、この領域１１０に対するタグ１２０とが指定されている。アノテーションデータ指定モジュール４０は、この領域１１０及びタグ１２０をアノテーションデータとして指定する。
位置情報特定モジュール４１は、上述のステップＳ１２の処理の結果、第１眼底画像１００に置けるこの領域１１０の位置情報１３０を、（Ｘ１，Ｙ１）、（Ｘ２，Ｙ２）といったＸＹ座標系で特定する。

【0034】

図２に戻り、ステップＳ１２の処理に続く処理を説明する。
記録モジュール３０（記録手段）は、上述のステップＳ１１の処理により指定されたアノテーションデータ及び上述のステップＳ１２の処理により特定されたアノテーションデータの位置情報を記録する（ステップＳ１３）。コンピュータ１０は、本処理により記録したアノテーションデータ及びこのアノテーションデータの位置情報を後述するステップＳ１７の処理（アノテーションデータの位置情報の推測処理）に用いる。

【0035】

次に、テクスチャ生成モジュール４２（テクスチャ生成手段）は、取得した第１眼底画像に対して、逆ＵＶマッピングを行い、第１眼底画像を三次元化するためのテクスチャを生成する（ステップＳ１４）。テクスチャ生成モジュール４２は、上述のステップＳ１０の処理により取得した第１眼底画像に対して、逆ＵＶマッピングを行う。逆ＵＶマッピングは、上述のような三次元オブジェクトをレンダリングした画像において、三次元オブジェクトの各画素が、テクスチャでどの位置に該当するかを変換するものである。テクスチャは、上述のような第１眼底画像に写る眼底を、三次元化するために必要な質感、模様、凹凸等を再現するためのデータである。
テクスチャ生成モジュール４２は、逆ＵＶマッピングの結果に基づいて、第１眼底画像を三次元化するためのテクスチャを生成する。このとき、テクスチャ生成モジュール４２は、第１眼底画像に写っていない眼底の非撮影領域を、眼底の形状に基づいて推測し、眼底を補完する。テクスチャ生成モジュール４２は、取得した第１眼底画像に写っている眼底及び被撮影領域を補完した眼底に基づいたものを三次元化するためのテクスチャを生成する。テクスチャの生成方法は、第１眼底画像における眼底と、非撮影領域における眼底との各画素に、三次元化するために必要なデータを貼り付けるものであって良い。

【0036】

次に、三次元データ生成モジュール４３（三次元データ生成手段）は、生成したテクスチャを眼底の形状にＵＶマッピングを行い、眼底の三次元データを生成する（ステップＳ１５）。ＵＶマッピングは、上述のような、画像（本明細書では、第１眼底画像）をＵＶ座標系に展開し、二次元のテクスチャを、三次元オブジェクトに貼り付けるものである。
三次元データ生成モジュール４３は、上述のステップＳ１４の処理により生成したテクスチャを、眼底の形状にＵＶマッピングを行う。三次元データ生成モジュール４３は、第１眼底画像に写っている眼底及び被撮影領域を補完した眼底と、ＵＶマッピングとの結果とに基づいて、眼底の三次元データとして、この患者等の眼底の三次元オブジェクトを生成する。すなわち、この三次元オブジェクトは、撮影した眼底の部分だけでなく、眼底の非撮影領域の部分を補完した球体である。

【0037】

次に、第２眼底画像取得モジュール４４（第２球体画像取得手段）は、生成した三次元データを所定の角度毎に回転させ、三次元データを其々の角度で撮影した複数の第２眼底画像を取得する（ステップＳ１６）。コンピュータ１０は、生成した三次元オブジェクトを所定の角度毎に回転させる。所定の角度は、上述のような１度毎、２度毎、５度毎といった、所定の数値刻みである。また回転の方向は、上述のようなＸ軸、Ｙ軸、Ｚ軸の何れかの軸を中心としたものであって良い。コンピュータ１０は、所定の角度毎に回転させた三次元オブジェクトを撮影する。第２眼底画像取得モジュール４４は、この撮影した三次元オブジェクトの画像を、第２眼底画像として取得する。第２眼底画像取得モジュール４４は、この第２眼底画像に合わせて、回転の角度及び方向を取得する。第２眼底画像取得モジュール４４は、角度毎の第２眼底画像を取得することにより、複数の第２眼底画像を取得することになる。
なお、コンピュータ１０は、所定の角度に回転させる際、この角度を小さく抑えて回転させることにより、補完した非撮影領域と実際との間の誤差を抑制することが望ましい。

【0038】

次に、推測モジュール４５（推測手段）は、回転させた角度と、記録した位置情報とに基づいて、第２眼底画像の其々におけるアノテーションデータの位置情報を推測する（ステップＳ１７）。推測モジュール４５は、上述のステップＳ１６の処理により三次元オブジェクトを回転させた角度及び方向と、上述のステップＳ１３の処理により記録したアノテーションデータの位置情報とに基づいて、第２眼底画像の其々に置けるアノテーションデータの位置情報を推測する。推測モジュール４５は、記録したアノテーションデータの位置情報を、回転させた角度及び方向に基づいて、回転後の三次元オブジェクトにおけるアノテーションデータの位置情報を算出する、推測モジュール４５は、この算出したアノテーションデータの位置情報に基づいて、この回転させた角度及び方向に該当する第２眼底画像におけるアノテーションデータの位置情報を推測する。推測モジュール４５は、第２眼底画像の其々に対して、この処理を実行する。

【0039】

次に、アノテーションデータ設定モジュール４６（アノテーションデータ設定手段）は、取得した第２眼底画像の其々に、指定されたアノテーションデータを設定する（ステップＳ１８）。アノテーションデータ設定モジュール４６は、上述のステップＳ１６の処理により取得した第２眼底画像の其々に、上述のステップＳ１１の処理により指定されたアノテーションデータを設定する。具体的には、アノテーションデータ設定モジュール４６は、上述のステップＳ１７の処理により推測した第２画像の其々におけるアノテーションデータの位置情報に基づいて、第２眼底画像に対してアノテーションデータを設定する。アノテーションデータ設定モジュール４６は、第２眼底画像の其々に対して、この処理を実行する。

【0040】

図４は、アノテーションデータ設定モジュール４６が第２眼底画像に設定したアノテーションデータの例を模式的に示す図である。図４では、右手系の座標系において、三次元オブジェクトをＺ軸を中心として正の方向に其々回転させた二種類の第２眼底画像２００が示されている。アノテーションデータ設定モジュール４６は、第２眼底画像２００の其々に、上述の図３と同様に、異常を示す領域２１０と、この領域２１０に対するタグ２２０とを設定する。アノテーションデータ設定モジュール４６は、この領域２１０及びタグ２２０をアノテーションデータとして設定する。

【0041】

コンピュータ１０は、このようにして取得した第２眼底画像と、この第２眼底画像に設定したアノテーションデータとを機械学習用のデータセットとして作成することになる。この結果、コンピュータ１０は、一枚の眼底画像から、複数の機械学習用のデータセットを作成することになる。コンピュータ１０は、作成したデータセットを正解データとする機械学習を行うことにより、少数枚の眼底画像と、そのアノテーションデータとから、多数枚の眼底画像とそのアノテーションデータとを機械学習用のデータセットとして生成し、機械学習の精度を効率良く向上させることが可能となる。

【0042】

以上が、データセット作成システム１が実行するデータセット作成処理である。

【0043】

なお、本発明は、上述した説明において、球体の例として眼底に基づいて説明しているが、眼底以外の球体に対しても、適用可能である。

【0044】

上述した手段、機能は、コンピュータ（ＣＰＵ、情報処理装置、各種端末を含む）が、所定のプログラムを読み込んで、実行することによって実現される。プログラムは、例えば、コンピュータからネットワーク経由で提供されるソフトウェア・アズ・ア・サービス（ＳａａＳ）の形態や、ＷＥＢサービス、クラウドサービスで提供されてよい。また、プログラムは、例えば、コンピュータ読取可能な記録媒体に記録された形態で提供されてもよい。

【0045】

以上、本発明の実施形態について説明したが、本発明は上述したこれらの実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されるものではない。

【符号の説明】

【0046】

１ データセット作成システム、
１０ コンピュータ
２０ 第１眼底画像取得モジュール
３０ 記録モジュール
４０ アノテーションデータ指定モジュール
４１ 位置情報特定モジュール
４２ テクスチャ生成モジュール
４３ 三次元データ生成モジュール
４４ 第２眼底画像取得モジュール
４５ 第２眼底画像取得モジュール
４６ アノテーションデータ設定モジュール

【要約】

【課題】少数枚の球体画像と、そのアノテーションデータとから、多数枚の球体画像とそのアノテーションデータとを機械学習用のデータセットとして生成し、機械学習の精度を効率良く向上させる。
【解決手段】機械学習用のデータセットを作成するコンピュータシステムは、球体を撮影した第１球体画像を取得し、取得した前記第１球体画像における前記球体の所定領域をアノテーションデータとして指定し、取得した前記第１球体画像に対して、逆ＵＶマッピングを行い、前記第１球体画像を三次元化するためのテクスチャを生成し、生成した前記テクスチャを前記球体の形状にＵＶマッピングを行い、当該球体の三次元データを生成し、生成した前記三次元データを所定の角度毎に回転させ、当該三次元データを其々の角度で撮影した複数の第２球体画像を取得し、取得した前記第２球体画像の其々に、指定された前記アノテーションデータを設定する。
【選択図】図２

【図1】

【図2】

【図3】

【図4】