(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022186389
(43)【公開日】2022-12-15
(54)【発明の名称】情報処理システム及び情報処理方法
(51)【国際特許分類】
A61B 1/045 20060101AFI20221208BHJP
A61B 6/00 20060101ALI20221208BHJP
A61B 6/14 20060101ALI20221208BHJP
A61B 1/24 20060101ALI20221208BHJP
G06T 7/00 20170101ALI20221208BHJP
G16H 30/20 20180101ALI20221208BHJP
A61C 19/04 20060101ALI20221208BHJP
【ＦＩ】
A61B1/045 620
A61B6/00 370
A61B6/14 300
A61B6/00 360Z
A61B1/24
A61B1/045 614
A61B1/045 622
G06T7/00 612
G16H30/20
A61C19/04 Z
【審査請求】未請求
【請求項の数】13
【出願形態】ＯＬ
(21)【出願番号】P 2021094576
(22)【出願日】2021-06-04
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＢＬＵＥＴＯＯＴＨ
(71)【出願人】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】110003281
【氏名又は名称】弁理士法人大塚国際特許事務所
(72)【発明者】
【氏名】細田 翔平
【テーマコード（参考）】
4C052
4C093
4C161
5L096
5L099
【Ｆターム（参考）】
4C052NN02
4C052NN03
4C052NN04
4C052NN15
4C052NN16
4C093AA01
4C093AA26
4C093CA15
4C093DA05
4C093EE01
4C093FA42
4C093FF21
4C093FF32
4C093FF35
4C093FG13
4C093FH03
4C093FH08
4C161AA08
4C161BB02
4C161BB08
4C161WW04
5L096BA06
5L096BA13
5L096CA04
5L096CA27
5L096DA02
5L096FA67
5L096FA69
5L096HA11
5L099AA26
(57)【要約】
【課題】 異なる方法で撮影された可視光画像とＸ線画像とを関連付けて管理すること。
【解決手段】 データの送受信が可能な情報処理手段と、前記情報処理手段を介して入力される口腔内の可視光画像およびＸ線画像それぞれに写る歯の歯式番号および撮影方向を推定する推定手段と、を有し、前記情報処理手段は、前記可視光画像および前記Ｘ線画像それぞれに対して、前記歯式番号および前記撮影方向をメタデータとして付与し、前記メタデータを用いて、前記可視光画像および前記Ｘ線画像を関連付けて管理する。
【選択図】 図５
【解決手段】 データの送受信が可能な情報処理手段と、前記情報処理手段を介して入力される口腔内の可視光画像およびＸ線画像それぞれに写る歯の歯式番号および撮影方向を推定する推定手段と、を有し、前記情報処理手段は、前記可視光画像および前記Ｘ線画像それぞれに対して、前記歯式番号および前記撮影方向をメタデータとして付与し、前記メタデータを用いて、前記可視光画像および前記Ｘ線画像を関連付けて管理する。
【選択図】 図５
【特許請求の範囲】
【請求項1】
データの送受信が可能な情報処理手段と、
前記情報処理手段を介して入力される口腔内の可視光画像およびＸ線画像それぞれに写る歯の歯式番号および撮影方向を推定する推定手段と、を有し、
前記情報処理手段は、前記可視光画像および前記Ｘ線画像それぞれに対して、前記歯式番号および前記撮影方向をメタデータとして付与し、前記メタデータを用いて、前記可視光画像および前記Ｘ線画像を関連付けて管理することを特徴とする情報処理システム。
前記情報処理手段を介して入力される口腔内の可視光画像およびＸ線画像それぞれに写る歯の歯式番号および撮影方向を推定する推定手段と、を有し、
前記情報処理手段は、前記可視光画像および前記Ｘ線画像それぞれに対して、前記歯式番号および前記撮影方向をメタデータとして付与し、前記メタデータを用いて、前記可視光画像および前記Ｘ線画像を関連付けて管理することを特徴とする情報処理システム。
【請求項2】
前記情報処理手段は、前記歯式番号が一致する前記可視光画像および前記Ｘ線画像を関連付けることを特徴とする請求項１に記載の情報処理システム。
【請求項3】
前記情報処理手段は、前記撮影方向が一致する前記可視光画像および前記Ｘ線画像を関連付けることを特徴とする請求項１に記載の情報処理システム。
【請求項4】
患者の情報を入力する入力手段を更に有し、
前記情報処理手段は、前記可視光画像および前記Ｘ線画像に、更に前記患者の情報および撮影日を前記メタデータとして付与し、患者ごとに前記可視光画像および前記Ｘ線画像を管理することを特徴とする請求項１乃至３のいずれか１項に記載の情報処理システム。
前記情報処理手段は、前記可視光画像および前記Ｘ線画像に、更に前記患者の情報および撮影日を前記メタデータとして付与し、患者ごとに前記可視光画像および前記Ｘ線画像を管理することを特徴とする請求項１乃至３のいずれか１項に記載の情報処理システム。
【請求項5】
前記情報処理手段は、更に、前記可視光画像および前記Ｘ線画像に、前記可視光画像および前記Ｘ線画像の撮影日および前記入力手段により入力された歯の状態に関する情報をメタデータとして付与し、管理することを特徴とする請求項４に記載の情報処理システム。
【請求項6】
前記関連付けて管理された前記可視光画像、前記Ｘ線画像および前記メタデータを表示する表示手段を更に有することを特徴とする請求項１乃至５のいずれか１項に記載の情報処理システム。
【請求項7】
前記表示手段に表示された前記可視光画像に、関連付けられた前記Ｘ線画像に対応する領域を示す枠を重畳表示することを特徴とする請求項６に記載の情報処理システム。
【請求項8】
前記情報処理手段と前記推定手段とが、それぞれ別の装置により構成されることを特徴とする請求項１乃至７のいずれか１項に記載の情報処理システム。
【請求項9】
前記情報処理手段と前記推定手段とが、同じ装置に構成されることを特徴とする請求項１乃至７のいずれか１項に記載の情報処理システム。
【請求項10】
口腔内の可視光画像を撮影する第１の撮影手段と、
口腔内のＸ線画像を撮影する第２の撮影手段と、を更に含み、
前記情報処理手段は、前記第１の撮影手段及び前記第２の撮影手段から、可視光画像およびＸ線画像を取得することを特徴とする請求項１乃至８のいずれか１項に記載の情報処理システム。
口腔内のＸ線画像を撮影する第２の撮影手段と、を更に含み、
前記情報処理手段は、前記第１の撮影手段及び前記第２の撮影手段から、可視光画像およびＸ線画像を取得することを特徴とする請求項１乃至８のいずれか１項に記載の情報処理システム。
【請求項11】
入力手段が、口腔内の可視光画像およびＸ線画像を入力する入力工程と、
推定手段が、前記可視光画像および前記Ｘ線画像それぞれに写る歯の歯式番号および撮影方向を推定する推定工程と、
情報処理手段が、前記可視光画像および前記Ｘ線画像それぞれに対して、前記歯式番号および前記撮影方向をメタデータとして付与し、前記メタデータを用いて、前記可視光画像および前記Ｘ線画像を関連付けて管理する管理工程と
を有することを特徴とする情報処理方法。
推定手段が、前記可視光画像および前記Ｘ線画像それぞれに写る歯の歯式番号および撮影方向を推定する推定工程と、
情報処理手段が、前記可視光画像および前記Ｘ線画像それぞれに対して、前記歯式番号および前記撮影方向をメタデータとして付与し、前記メタデータを用いて、前記可視光画像および前記Ｘ線画像を関連付けて管理する管理工程と
を有することを特徴とする情報処理方法。
【請求項12】
コンピュータに、請求項１乃至９のいずれか１項に記載の情報処理システムの各手段として機能させるためのプログラム。
【請求項13】
請求項１２に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理システム及び情報処理方法に関し、特に歯科診察における可視光画像とＸ線画像を関連付ける技術に関するものである。
【背景技術】
【0002】
歯科診察においては、複数の異なる撮影機器（デジタルカメラ、Ｘ線撮影装置等）で様々な角度から口腔内の写真（画像）を撮影し、撮影した画像を利用して、治療方針の決定や経過観察が行われる。特許文献１には、複数の画像から特徴量を抽出し、画像合成により高画質な画像を生成する技術が開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１８－８４９８２号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献１に開示された従来技術では、画像が１対１で関連付けられることを前提としている。
しかし、歯科診察において、デジタルカメラにより撮影される可視光画像は、５枚法と呼ばれる「上・下・左・右・正面」の５方向から撮影する方法が一般的である。また、Ｘ線撮影装置により撮影されるＸ線画像は、１０枚法と呼ばれる１０方向から撮影する方法が主流となっている。このように、可視光画像とＸ線画像では分割数が異なるケースが多く、特許文献１に開示された従来技術では画像同士の紐付けが困難である。
しかし、歯科診察において、デジタルカメラにより撮影される可視光画像は、５枚法と呼ばれる「上・下・左・右・正面」の５方向から撮影する方法が一般的である。また、Ｘ線撮影装置により撮影されるＸ線画像は、１０枚法と呼ばれる１０方向から撮影する方法が主流となっている。このように、可視光画像とＸ線画像では分割数が異なるケースが多く、特許文献１に開示された従来技術では画像同士の紐付けが困難である。
【0005】
本発明は上記問題点を鑑みてなされたものであり、異なる方法で撮影された可視光画像とＸ線画像とを関連付けて管理できるようにすることを目的とする。
【課題を解決するための手段】
【0006】
上記目的を達成するために、本発明のデータの情報処理システムは、送受信が可能な情報処理手段と、前記情報処理手段を介して入力される口腔内の可視光画像およびＸ線画像それぞれに写る歯の歯式番号および撮影方向を推定する推定手段と、を有し、前記情報処理手段は、前記可視光画像および前記Ｘ線画像それぞれに対して、前記歯式番号および前記撮影方向をメタデータとして付与し、前記メタデータを用いて、前記可視光画像および前記Ｘ線画像を関連付けて管理する。
【発明の効果】
【0007】
本発明によれば、異なる方法で撮影された可視光画像とＸ線画像とを関連付けて管理することが可能になる。
【図面の簡単な説明】
【0008】
【図1】本発明の実施形態に係るシステム構成図。
【図2】実施形態に係る各装置のハードウェア構成を示すブロック図。
【図3】実施形態に係る各装置の機能構成を示すブロック図。
【図4】実施形態に係る推定モデルの概念図。
【図5】実施形態に係るシステムにおけるデータの流れを示す図。
【図6】第１の実施形態に係る情報処理を示すフローチャート。
【図7】第１の実施形態に係る画像の関連付けの説明図。
【図8】第１の実施形態に係るユーザーインターフェースの一例を示す図。
【図9】第２の実施形態に係る情報処理を示すフローチャート。
【図10】第２の実施形態に係る経過情報付与の説明図。
【発明を実施するための形態】
【0009】
以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
【0010】
図１を用いて、本発明を適用可能な情報処理システム１００について説明する。
情報処理システム１００は、看護師や医師等のユーザーが使用するデジタルカメラ１０１、ユーザーが使用するＸ線撮影装置１０７、デジタルカメラ１０１及びＸ線撮影装置１０７と接続してデータを送受信可能なクライアント端末１０２を含む。
情報処理システム１００は、看護師や医師等のユーザーが使用するデジタルカメラ１０１、ユーザーが使用するＸ線撮影装置１０７、デジタルカメラ１０１及びＸ線撮影装置１０７と接続してデータを送受信可能なクライアント端末１０２を含む。
【0011】
デジタルカメラ１０１とクライアント端末１０２との間は、ＵＳＢ等の第１の通信部１０３により通信可能となる。また、Ｘ線撮影装置１０７とクライアント端末１０２との間は、ＵＳＢ等の第２の通信部１０８により通信可能となる。なお、第１の通信部１０３及び第２の通信部１０８は、ＵＳＢのような有線の通信手段でもよいし、ＷｉＦｉやＢｌｕｅＴｏｏｔｈのような無線の通信手段でも構わない。
【0012】
更に、情報処理システム１００は、画像解析を行い、画像に写っている歯の歯式番号、歯の状態（齲蝕の状態等）、撮影方向（どの方向から撮影された画像か）を推定することが可能な推定サーバー１０４、及び、画像管理を行うデータサーバー１０５を含む。
【0013】
ローカルネットワーク１０６は、クライアント端末１０２、推定サーバー１０４とデータサーバー１０５を接続して、相互通信を可能にしている。
【0014】
次に、図２を用いて、図１のシステムを構成する各装置のハードウェア構成について説明する。
まず、デジタルカメラ１０１の構成について説明する。
ＣＰＵ２０１は、デジタルカメラ１０１全体の制御を行うと共に、電源の制御も行う。ＲＯＭ２０２は、ＣＰＵ２０１が動作するためのプログラムやデータを保持する。ＲＡＭ２０３は、ＣＰＵ２０１がＲＯＭ２０２から読み出したプログラムを一時的に展開し、そこからプログラムを実行したり、動作上のデータを一時的に保持するために用いられる。
まず、デジタルカメラ１０１の構成について説明する。
ＣＰＵ２０１は、デジタルカメラ１０１全体の制御を行うと共に、電源の制御も行う。ＲＯＭ２０２は、ＣＰＵ２０１が動作するためのプログラムやデータを保持する。ＲＡＭ２０３は、ＣＰＵ２０１がＲＯＭ２０２から読み出したプログラムを一時的に展開し、そこからプログラムを実行したり、動作上のデータを一時的に保持するために用いられる。
【0015】
撮影部２０５は、撮影を行うために用いられ、デジタルカメラ１０１が画像（可視光画像）を撮影するための画像センサからなる。ユーザーからの撮影操作をＣＰＵ２０１が検出し、それをトリガに撮影部２０５により撮影動作が実行される。Ｉ／Ｆ部２０６は、デジタルカメラ１０１とクライアント端末１０２との間で第１の通信部１０３を介してデータのやり取りを行うために用いられる。入力部２０７は、デジタルカメラ１０１にカメラの動作モードの指定等をするスイッチ、手ブレ補正及びフォーカス制御や露出補正を行うための動きを検知するモーションセンサ等で構成される。
【0016】
表示部２０８は、撮影部２０５の画像センサが撮影中の画像及び撮影済みの画像や、デジタルカメラ１０１の動作状態等を表示する。
カメラエンジン２０９は、入力部２０７の画像センサで撮影した画像の処理や、後述する記憶部２１０に保存された画像を表示部２０８に表示するための画像処理等を行う。
記憶部２１０は、デジタルカメラ１０１が撮影した静止画や動画の画像データを保存する。
システムバス２１１は、上述したデジタルカメラ１０１の各構成２０１～２１０を接続する。
カメラエンジン２０９は、入力部２０７の画像センサで撮影した画像の処理や、後述する記憶部２１０に保存された画像を表示部２０８に表示するための画像処理等を行う。
記憶部２１０は、デジタルカメラ１０１が撮影した静止画や動画の画像データを保存する。
システムバス２１１は、上述したデジタルカメラ１０１の各構成２０１～２１０を接続する。
【0017】
次に、Ｘ線撮影装置１０７の構成について説明する。
ＣＰＵ２３５は、Ｘ線撮影装置１０７全体の制御を行うと共に、電源の制御も行う。ＲＯＭ２３６は、ＣＰＵ２３５が動作するためのプログラムやデータを保持する。ＲＡＭ２３７は、ＣＰＵ２３５がＲＯＭ２３６から読み出したプログラムを一時的に展開し、そこからプログラムを実行したり、動作上のデータを一時的に保持するために用いられる。
ＣＰＵ２３５は、Ｘ線撮影装置１０７全体の制御を行うと共に、電源の制御も行う。ＲＯＭ２３６は、ＣＰＵ２３５が動作するためのプログラムやデータを保持する。ＲＡＭ２３７は、ＣＰＵ２３５がＲＯＭ２３６から読み出したプログラムを一時的に展開し、そこからプログラムを実行したり、動作上のデータを一時的に保持するために用いられる。
【0018】
撮影部２３８は、撮影を行うために用いられ、画像（Ｘ線画像）を撮影するための画像センサからなる。ユーザーからの撮影操作をＣＰＵ２３５が検出し、それをトリガに撮影部２３８によって撮影動作が実行される。Ｉ／Ｆ部２４３は、Ｘ線撮影装置１０７とクライアント端末１０２との間で第２の通信部１０８を介してデータのやり取りを行うために用いられる。入力部２３９は、Ｘ線撮影装置１０７にカメラの動作モードの指定等をするスイッチ等で構成される。
カメラエンジン２４１は、撮影部２３８の画像センサで撮影した画像の処理や、後述する記憶部２４２に保存された画像を表示部２４０に表示するための画像処理等を行う。
記憶部２４２は、Ｘ線撮影装置１０７が撮影したＸ線画像の画像データを保存する。
システムバス２４４は、上述したＸ線撮影装置１０７の各構成２３５～２４３を接続する。
カメラエンジン２４１は、撮影部２３８の画像センサで撮影した画像の処理や、後述する記憶部２４２に保存された画像を表示部２４０に表示するための画像処理等を行う。
記憶部２４２は、Ｘ線撮影装置１０７が撮影したＸ線画像の画像データを保存する。
システムバス２４４は、上述したＸ線撮影装置１０７の各構成２３５～２４３を接続する。
【0019】
次に、クライアント端末１０２の構成について説明する。
ＣＰＵ２１２は、クライアント端末１０２の全体の制御を行う。ＨＤＤ２１３は、ＣＰＵ２１２が動作するためのプログラムや電子カルテのデータを保持する。ＲＡＭ２１４は、ＣＰＵ２１２がＨＤＤ２１３から読み出したプログラムを一時的に展開し、そこからプログラムを実行したり、動作上のデータを一時的に保持するために用いられる。
ＣＰＵ２１２は、クライアント端末１０２の全体の制御を行う。ＨＤＤ２１３は、ＣＰＵ２１２が動作するためのプログラムや電子カルテのデータを保持する。ＲＡＭ２１４は、ＣＰＵ２１２がＨＤＤ２１３から読み出したプログラムを一時的に展開し、そこからプログラムを実行したり、動作上のデータを一時的に保持するために用いられる。
【0020】
ＮＩＣ２１５は、ローカルネットワーク１０６を介して推定サーバー１０４やデータサーバー１０５と通信するために用いられる。Ｉ／Ｆ部２１６は、クライアント端末１０２とデジタルカメラ１０１及びＸ線撮影装置１０７との間で、第１の通信部１０３及び第２の通信部１０８を介してデータのやり取りを行うために用いられる。入力部２１７は、クライアント端末１０２を操作するためのキーボードやマウス等で構成される。
【0021】
表示部２１８は、クライアント端末１０２の入力状態等を表示する。
システムバス２１９は、上述したクライアント端末１０２の各構成２１２～２１８を接続する。
システムバス２１９は、上述したクライアント端末１０２の各構成２１２～２１８を接続する。
【0022】
次に、推定サーバー１０４の構成について説明する。
ＣＰＵ２２０は、推定サーバー１０４全体の制御を行う。ＨＤＤ２２１は、ＣＰＵ２２０が動作するためのプログラムやデータを保持する。ＲＡＭ２２２は、ＣＰＵ２２０がＨＤＤ２２１から読み出したプログラムを一時的に展開し、そこからプログラムを実行したり、動作上のデータを一時的に保持するために用いられる。
ＣＰＵ２２０は、推定サーバー１０４全体の制御を行う。ＨＤＤ２２１は、ＣＰＵ２２０が動作するためのプログラムやデータを保持する。ＲＡＭ２２２は、ＣＰＵ２２０がＨＤＤ２２１から読み出したプログラムを一時的に展開し、そこからプログラムを実行したり、動作上のデータを一時的に保持するために用いられる。
【0023】
ＧＰＵ２２３は、画像処理用の演算や行列演算等を高速に、より多くのデータを処理できるようにデータ演算処理に特化されている。ＧＰＵ２２３は、データをより多く並列処理することで効率的な演算を行うことができるので、推定モデルを用いて推定を行う場合にはＧＰＵ２２３で処理を行うことが有効である。そのため、本実施形態では、推定サーバー１０４における推定処理には、ＣＰＵ２２０に加えてＧＰＵ２２３を用いる。具体的には、推定モデルを含む推定プログラムを実行する場合に、ＣＰＵ２２０とＧＰＵ２２３が協働して演算を行うことで推定を行う。なお、推定処理の演算は、ＣＰＵ２２０またはＧＰＵ２２３のみにより行っても良い。また、ＧＰＵ２２３は学習処理にも利用される。
【0024】
ＮＩＣ２２４は、ローカルネットワーク１０６を介してクライアント端末１０２やデータサーバー１０５と通信するために用いられる。入力部２２５は、推定サーバー１０４を操作するためのキーボードやマウス等で構成される。
【0025】
表示部２２６は、推定サーバー１０４の入力状態等を表示する。
システムバス２２７は、上述した推定サーバー１０４の各構成２２０～２２６を接続する。
システムバス２２７は、上述した推定サーバー１０４の各構成２２０～２２６を接続する。
【0026】
次に、データサーバー１０５の構成について説明する。
ＣＰＵ２２８は、データサーバー１０５全体の制御を行う。ＨＤＤ２２９は、ＣＰＵ２２８が動作するためのプログラムや画像データを保持する。ＲＡＭ２３０は、ＣＰＵ２２８がＨＤＤ２２９から読み出したプログラムを一時的に展開し、そこからプログラムを実行したり、動作上のデータを一時的に保持するために用いられる。
ＣＰＵ２２８は、データサーバー１０５全体の制御を行う。ＨＤＤ２２９は、ＣＰＵ２２８が動作するためのプログラムや画像データを保持する。ＲＡＭ２３０は、ＣＰＵ２２８がＨＤＤ２２９から読み出したプログラムを一時的に展開し、そこからプログラムを実行したり、動作上のデータを一時的に保持するために用いられる。
【0027】
ＮＩＣ２３１は、ローカルネットワーク１０６によってクライアント端末１０２や推定サーバー１０４と通信するために用いられる。入力部２３２は、データサーバー１０５を操作するためのキーボードやマウス等で構成される。
【0028】
表示部２３３は、データサーバー１０５の入力状態等を表示する。
システムバス２３４は、上述したデータサーバー１０５の各構成２２８～２３３を接続する。
システムバス２３４は、上述したデータサーバー１０５の各構成２２８～２３３を接続する。
【0029】
【0030】
デジタルカメラ１０１のカメラ制御部３０１は、ＣＰＵ２０１がＲＯＭ２０２からデジタルカメラ１０１を制御するためのプログラムを読み出し、プログラムの一部をＲＡＭ２０３に展開することによって、デジタルカメラ１０１全体を制御する。例えば、カメラ制御部３０１は、データサーバー１０５や入力部２０７からのユーザーの操作に従って、画像センサから入力された画像をカメラエンジン２０９で処理させたり、記憶部２１０に記憶された画像を表示部２０８に表示させる、といった制御を行う。
【0031】
データ送受信部３０２は、クライアント端末１０２とＩ／Ｆ部２０６を経由してデータを送受信する。
【0032】
Ｘ線撮影装置１０７のカメラ制御部３１８は、ＣＰＵ２３５がＲＯＭ２３６からＸ線撮影装置１０７を制御するためのプログラムを読み出し、プログラムの一部をＲＡＭ２３７に展開することによって、Ｘ線撮影装置１０７全体を制御する。例えば、カメラ制御部３１８は、データサーバー１０５や入力部２３９からのユーザーの操作に従って、画像センサから入力された画像をカメラエンジン２４１で処理させたり、記憶部２４２に記憶された画像を表示部２４０に表示させる、といった制御を行う。
【0033】
データ送受信部３１７は、クライアント端末１０２とＩ／Ｆ部２４３を経由してデータを送受信する。
【0034】
クライアント端末１０２のクライアント端末制御部３０５は、ＣＰＵ２１２がＨＤＤ２１３からクライアント端末１０２を制御するためのプログラムを読み出し、プログラムの一部をＲＡＭ２１４に展開することによって、クライアント端末１０２全体を制御する。
【0035】
データ送受信部３０６は、デジタルカメラ１０１及びＸ線撮影装置１０７から送信される画像データをＩ／Ｆ部２１６で受信して、ＮＩＣ２１５を通して、推定サーバー１０４及びデータサーバー１０５に送信する。
【0036】
推定サーバー１０４の推定サーバー制御部３１０は、ＣＰＵ２２０がＨＤＤ２２１から推定サーバー１０４を制御するためのプログラムを読み出し、プログラムの一部をＲＡＭ２２２に展開することによって、推定サーバー１０４全体を制御する。
【0037】
データ送受信部３１１は、ＮＩＣ２２４を介してクライアント端末１０２及び推定サーバー１０４と画像データや学習データ等を送受信する。
【0038】
学習部３１２は、ＲＡＭ２２２またはＨＤＤ２２１に保持されているデータを用いて、ＧＰＵ２２３及び／またはＣＰＵ２２０を使用して学習処理を行う。ここでは、あらかじめ歯を含む口腔内を撮影した画像と、その画像に写っている歯の歯式番号、歯の状態（齲蝕の状態等）、撮影方向（どの方向から撮影された画像か）を示す情報をセットでＲＡＭ２２２またはＨＤＤ２２１に学習データとして保持しておく。そして、歯を含む口腔内を撮影した画像を入力データとし、その画像とセットの、その画像に写っている歯の歯式番号、歯の状態（齲蝕の状態等）、撮影方向（どの方向から撮影された画像か）を示す情報を教師データとして学習する。ここで、歯を含む口腔内を撮影した画像は、可視光の撮像画像および、Ｘ線画像を含む。データ記憶部３１３は、学習部３１２で学習を行って生成した推定モデルをＨＤＤ２２１に記憶する。推定部３１４は、ＨＤＤ２２１に記憶された推定モデルを用いて、歯を含む口腔内を撮影した画像が入力された場合、その画像に写っている歯の歯式番号、歯の状態（齲蝕の状態等）、撮影方向（どの方向から撮影された画像か）を推定する。ここで、上述したように、歯を含む口腔内を撮影した画像は、可視光画像および、Ｘ線画像を含む。すなわち、本実施形態で述べる推定モデルは、可視光画像とＸ線画像のどちらを入力されても、画像に写っている歯の歯式番号、歯の状態（齲蝕の状態等）、撮影方向（どの方向から撮影された画像か）を推定する。
【0039】
データサーバー１０５のデータサーバー制御部３０７は、ＣＰＵ２２８がＨＤＤ２２９からデータサーバー１０５を制御するためのプログラムを読み出し、プログラムの一部をＲＡＭ２３０に展開することによって、データサーバー１０５全体を制御する。
【0040】
データ送受信部３０８は、ＮＩＣ２３１を介して、クライアント端末１０２及び推定サーバー１０４と画像データや学習データ等を送受信する。データ記憶部３０９は、学習データをＨＤＤ２２９に保存する。
【0041】
次に、図４を用いて、学習部３１２において推定モデルで推定する内容について説明する。
推定モデル４０１は、ニューラルネットワーク等を用いた推定モデル、画像データ４０２は、推定モデル４０１に入力するデジタルカメラ１０１もしくはＸ線撮影装置１０７で撮影した画像の画像データである。推定結果４０３は、画像データ４０２を推定モデル４０１に入力し、画像に写っている歯の歯式番号、歯の状態（齲蝕の状態等）、撮影方向（どの方向から撮影された画像か）を推定した推定結果である。
推定モデル４０１は、ニューラルネットワーク等を用いた推定モデル、画像データ４０２は、推定モデル４０１に入力するデジタルカメラ１０１もしくはＸ線撮影装置１０７で撮影した画像の画像データである。推定結果４０３は、画像データ４０２を推定モデル４０１に入力し、画像に写っている歯の歯式番号、歯の状態（齲蝕の状態等）、撮影方向（どの方向から撮影された画像か）を推定した推定結果である。
【0042】
次に、図５を用いて、図４で示した推定モデルを利用した、本実施形態のシステムにおけるデータの流れについて説明する。
まず、ユーザーは、クライアント端末１０２で患者ＩＤを選択する（５０１）。デジタルカメラ１０１を用いて可視光画像を撮影する場合、デジタルカメラ１０１は、クライアント端末１０２から患者ＩＤを読み込む（５０２）。そして、ユーザーの撮影指示に基づいて、デジタルカメラ１０１は可視光画像の撮影を実行し（５０３）、クライアント端末１０２に撮影した可視光画像を転送する（５０４）。
まず、ユーザーは、クライアント端末１０２で患者ＩＤを選択する（５０１）。デジタルカメラ１０１を用いて可視光画像を撮影する場合、デジタルカメラ１０１は、クライアント端末１０２から患者ＩＤを読み込む（５０２）。そして、ユーザーの撮影指示に基づいて、デジタルカメラ１０１は可視光画像の撮影を実行し（５０３）、クライアント端末１０２に撮影した可視光画像を転送する（５０４）。
【0043】
Ｘ線撮影装置１０７を用いてＸ線画像を撮影する場合、Ｘ線撮影装置１０７は、クライアント端末１０２から患者ＩＤを読み込む（５０５）。そして、ユーザーの撮影指示に基づいて、Ｘ線撮影装置１０７はＸ線画像の撮影を実行し（５０６）、クライアント端末１０２に撮影したＸ線画像を転送する（５０７）。
【0044】
クライアント端末１０２は、推定サーバー１０４に可視光画像及び／またはＸ線画像を転送する（５０８）。推定サーバー１０４は、推定モデル４０１を用いて画像解析を行い、得られた推定結果４０３をメタデータとして可視光画像及びＸ線画像に付与し（５０９）、データサーバー１０５にメタデータを付与した可視光画像及び／またはＸ線画像を転送する（５１０）。
【0045】
データサーバー１０５は、メタデータ情報を元に、関連する画像同士を紐付けてＨＤＤ２２９に保存する（５１１）。例えば、患者ＩＤと撮影方向が共通の画像同士を紐付ける。そして、データサーバー１０５は、クライアント端末１０２にメタデータを付与した可視光画像及び／またはＸ線画像を転送する（５１２）。
【0046】
クライアント端末１０２は、受信した可視光画像及び／またはＸ線画像を用いて、ＨＤＤ２１３内にある電子カルテの情報を更新する（５１３）。
【0047】
＜第１の実施形態＞
以下、図６～図８を参照して、上記構成を有する情報処理システムにおける、本発明の第１の実施形態に係る処理について説明する。
図６は、第１の実施形態に係る情報処理の流れを示すフローチャートである。このフローチャートにおける各処理は、クライアント端末１０２、データサーバー１０５、推定サーバー１０４、デジタルカメラ１０１、Ｘ線撮影装置１０７が実行することにより実現される。
以下、図６～図８を参照して、上記構成を有する情報処理システムにおける、本発明の第１の実施形態に係る処理について説明する。
図６は、第１の実施形態に係る情報処理の流れを示すフローチャートである。このフローチャートにおける各処理は、クライアント端末１０２、データサーバー１０５、推定サーバー１０４、デジタルカメラ１０１、Ｘ線撮影装置１０７が実行することにより実現される。
【0048】
Ｓ６０１において、クライアント端末１０２は入力部２１７へのユーザー入力に基づいて、患者ＩＤを選択する。Ｓ６０２において、クライアント端末１０２は可視光画像とＸ線画像のどちらを撮影するかを選択するようユーザーに促す。可視光画像の撮影が選択された場合はＳ６０３に進み、Ｘ線画像の撮影が選択された場合はＳ６０８に進む。
【0049】
Ｓ６０３において、デジタルカメラ１０１は、Ｓ６０１で選択された患者ＩＤを読み込み、Ｓ６０４において、ユーザーの撮影指示に基づいて可視光画像の撮影を実行する。Ｓ６０５において、デジタルカメラ１０１は、全ての可視光画像撮影が完了したかを判断し、撮影が完了した場合はＳ６０６に進み、撮影が完了していない場合は、Ｓ６０４に戻り、続けて可視光画像の撮影を行う。
【0050】
Ｓ６０６において、デジタルカメラ１０１は、撮影した可視光画像の画像データのメタデータ領域に患者ＩＤと撮影日を書き込み、Ｓ６０７において、クライアント端末１０２に可視光画像の画像データを転送する。
【0051】
Ｓ６０８～Ｓ６１２の各処理は、Ｘ線撮影装置１０７が実行し、Ｘ線画像を撮影することを除いて、デジタルカメラ１０１におけるＳ６０３～Ｓ６０７の処理と同様であるため、説明を割愛する。
【0052】
Ｓ６１３において、クライアント端末１０２は、デジタルカメラ１０１もしくはＸ線撮影装置１０７から画像データを受信し、Ｓ６１４において、推定サーバー１０４に画像データを転送する。
【0053】
Ｓ６１５において、推定サーバー１０４は、受信した画像データを取り込み、Ｓ６１６において、推定モデル４０１を元に画像解析を行い、画像に写っている歯の歯式番号、歯の状態（齲蝕の状態等）、撮影方向（どの方向から撮影された画像か）を推定する。Ｓ６１７において、推定サーバー１０４は、推定結果４０３を画像データのメタデータ領域に書き込み、Ｓ６１８において、データサーバー１０５にメタデータを付与した画像データを転送する。
【0054】
Ｓ６１９において、データサーバー１０５は受信した画像データを取り込み、Ｓ６２０において、関連する画像同士を紐付けてＨＤＤ２２９に保存する。例えば、患者ＩＤと撮影方向が共通の画像同士を紐付ける。Ｓ６２１において、データサーバー１０５は、各画像の画像データのメタデータ領域に、関連する画像番号を書き込み、Ｓ６２２において、クライアント端末１０２に画像データを転送する。
【0055】
Ｓ６２３において、クライアント端末１０２は画像データを取り込み、電子カルテの画像データを更新する。
【0056】
図７は、第１の実施形態に係る画像の関連付けの説明図である。
図７（ａ）において、７０１は、デジタルカメラ１０１を用いて撮影された口腔内の可視光画像である。７０２～７０５は、Ｘ線撮影装置１０７を用いて撮影された口腔内のＸ線画像である。７０６～７１０はそれぞれ、可視光画像７０１及びＸ線画像７０２～７０５のメタデータ領域に書き込まれた情報の一部を表している。
図７（ａ）において、７０１は、デジタルカメラ１０１を用いて撮影された口腔内の可視光画像である。７０２～７０５は、Ｘ線撮影装置１０７を用いて撮影された口腔内のＸ線画像である。７０６～７１０はそれぞれ、可視光画像７０１及びＸ線画像７０２～７０５のメタデータ領域に書き込まれた情報の一部を表している。
【0057】
メタデータ領域には、写っている歯の歯式番号、歯の状態（齲蝕の状態等）、撮影方向（どの方向から撮影された画像か）の情報が書き込まれており、この情報が一致する画像同士が関連付けられる。例えば、可視光画像７０１とＸ線画像７０２のメタデータ領域７０６、７０７には、共通の歯式番号「左上１～左上４」が含まれているため、画像が関連付けられる。データサーバー１０５は、各画像のメタデータ領域に、関連付けられた画像番号を付与する。
【0058】
なお、本実施形態では、歯式番号の一致に基づいて画像の関連付けを行う例を挙げたが、撮影方向が一致する画像同士を関連付ける構成であってもよい。
【0059】
図７（ｂ）において、７２０～７２３は、可視光画像７０１上に重畳表示される枠の一例を示す図であり、Ｘ線画像７０２～７０５と対応する領域をそれぞれ示す。枠７２０～７２３の表示・非表示はユーザーが任意に切り替えられるものであってもよい。
【0060】
図８は、第１の実施形態に係るクライアント端末１０２に表示されるユーザーインターフェースの一例を示す図である。
図８において、８０１は、デジタルカメラ１０１を用いて撮影された口腔内の可視光画像表示領域である。可視光画像表示領域８０１中、８０２は患者の歯を右側から撮影した可視光画像、８０３は患者の上の歯を撮影した可視光画像、８０４は患者の歯を正面から撮影した可視光画像、８０５は患者の歯を左側から撮影した可視光画像、８０６は患者の下の歯を撮影した可視光画像である。８１０は、入力部２１７で操作が可能なカーソルである。図８では、ユーザーが可視光画像８０２を選択している状態を示している。
図８において、８０１は、デジタルカメラ１０１を用いて撮影された口腔内の可視光画像表示領域である。可視光画像表示領域８０１中、８０２は患者の歯を右側から撮影した可視光画像、８０３は患者の上の歯を撮影した可視光画像、８０４は患者の歯を正面から撮影した可視光画像、８０５は患者の歯を左側から撮影した可視光画像、８０６は患者の下の歯を撮影した可視光画像である。８１０は、入力部２１７で操作が可能なカーソルである。図８では、ユーザーが可視光画像８０２を選択している状態を示している。
【0061】
８２０は、Ｘ線撮影装置１０７を用いて撮影されたＸ線画像表示領域である。Ｘ線画像表示領域８２０には、ユーザーがカーソル８１０を用いて選択した可視光画像に関連付けられたＸ線画像が表示される。本実施形態では、ユーザーが可視光画像８０２を選択しているため、可視光画像８０２に関連付けられたＸ線画像４枚がＸ線画像表示領域８２０に表示されている。
【0062】
上記の通り本第１の実施形態によれば、画像に付与したメタデータに基づいて、可視光画像とＸ線画像とを関連付けて管理することができる。
【0063】
＜第２の実施形態＞
次に、図９及び図１０を参照して、図１乃至図５を参照して説明した情報処理システムにおける、本発明の第２の実施形態に係る処理について説明する。
図９は、第２の実施形態に係る情報処理の流れを示すフローチャートである。このフローチャートにおける各処理は、クライアント端末１０２、データサーバー１０５、推定サーバー１０４、デジタルカメラ１０１、Ｘ線撮影装置１０７が実行することにより実現される。
次に、図９及び図１０を参照して、図１乃至図５を参照して説明した情報処理システムにおける、本発明の第２の実施形態に係る処理について説明する。
図９は、第２の実施形態に係る情報処理の流れを示すフローチャートである。このフローチャートにおける各処理は、クライアント端末１０２、データサーバー１０５、推定サーバー１０４、デジタルカメラ１０１、Ｘ線撮影装置１０７が実行することにより実現される。
【0064】
【0065】
Ｓ６２１において、データサーバー１０５が、各画像の画像データのメタデータ領域に、関連する画像番号を付与すると、Ｓ９２２において、クライアント端末１０２はユーザー（歯科医）が患者に対して実施した治療内容の入力を受け付ける。ユーザーは表示部２１８を見ながら、入力部２１７を使用して治療内容の入力を行うことができる。
【0066】
Ｓ９２３において、データサーバー１０５は、過去の画像のメタデータから、今回治療した歯の過去の状態を抽出する。Ｓ９２４において、データサーバー１０５はＳ９２２で入力された治療内容と、Ｓ９２３で抽出した過去の状態を、最新画像の画像データのメタデータ領域に書き込む。
【0067】
Ｓ９２５において、データサーバー１０５は、クライアント端末１０２にメタデータを付与した画像データを転送する。Ｓ９２６において、クライアント端末１０２は画像データを取り込み、電子カルテの画像データを更新する。
【0068】
図１０は、第２の実施形態に係る経過情報付与の説明図である。
図１０（ａ）～図１０（ｄ）は、それぞれ３か月前、２か月前、１か月前、今回撮影した口腔内の可視光画像１００１～１００４と、可視光画像１００１～１００４のメタデータ領域に書き込まれた情報の一部１００５～１００８とを示す図である。１０１０はある特定の歯を示す。本実施形態では、１０１０を歯式番号「左上７」と定義し、「左上７」についての経過情報に着目して説明を行う。
図１０（ａ）～図１０（ｄ）は、それぞれ３か月前、２か月前、１か月前、今回撮影した口腔内の可視光画像１００１～１００４と、可視光画像１００１～１００４のメタデータ領域に書き込まれた情報の一部１００５～１００８とを示す図である。１０１０はある特定の歯を示す。本実施形態では、１０１０を歯式番号「左上７」と定義し、「左上７」についての経過情報に着目して説明を行う。
【0069】
図１０（ａ）に示すように、可視光画像１００１を撮影した段階では、歯１０１０に齲蝕がないため、メタデータ領域の「状態」には「／（異常なし）」が記録されている。
【0070】
図１０（ｂ）に示す可視光画像１００２において、１０２０は歯１０１０の齲蝕部を表す。このとき、齲蝕部１０２０の進行度は「Ｃ１（軽度の齲蝕）」であり、歯科医の診察結果は「経過観察」であったため、メタデータ領域に以下の情報が書き込まれる。
・メタデータ１００５に書かれていた「左上７」に関わる情報
・可視光画像１００２の撮影日における「左上７」の状態（Ｃ１）と治療内容（経過観察）
・メタデータ１００５に書かれていた「左上７」に関わる情報
・可視光画像１００２の撮影日における「左上７」の状態（Ｃ１）と治療内容（経過観察）
【0071】
図１０（ｃ）に示す可視光画像１００３において、１０３０は歯１０１０の齲蝕部を表す。このとき、齲蝕部１０３０の進行度は「Ｃ２（軽度だが治療が必要な齲蝕）」であり、歯科医が実施した治療内容は「齲蝕部を削って詰め物をする」であったため、メタデータ領域に以下の情報が書き込まれる。
・メタデータ１００６に書かれていた「左上７」に関わる情報
・可視光画像１００３の撮影日における「左上７」の状態（Ｃ２）と治療内容（詰め物）
・メタデータ１００６に書かれていた「左上７」に関わる情報
・可視光画像１００３の撮影日における「左上７」の状態（Ｃ２）と治療内容（詰め物）
【0072】
図１０（ｄ）に示す可視光画像１００４において、１０４０は歯１０１０の治療痕を表す。このとき、歯１０１０の状態は「〇（治療済）」であり、歯科医の診察結果は「経過良好」であったため、メタデータ領域に以下の情報が書き込まれる。
・メタデータ１００７に書かれていた「左上７」に関わる情報
・可視光画像１００４の撮影日における「左上７」の状態（〇）と診察結果（経過良好）
・メタデータ１００７に書かれていた「左上７」に関わる情報
・可視光画像１００４の撮影日における「左上７」の状態（〇）と診察結果（経過良好）
【0073】
このように、「過去の情報」と「最新の診察結果」を付与していくことにより、最新の画像のメタデータ領域を見れば、過去に遡って経過情報を取得することが可能となる。
【0074】
上記の通り第２の実施形態によれば、画像に付与したメタデータに基づいて、可視光画像とＸ線画像を関連付けて管理することができると共に、最新の画像に付与されたメタデータから経過情報を取得するができる。
【0075】
＜他の実施形態＞
なお、上述した実施形態では、クライアント端末１０２と、推定サーバー１０４と、データサーバー１０５とがそれぞれ別の装置である場合について説明したが、これらの内少なくとも２つを単体の装置により構成してもよい。
また、本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
なお、上述した実施形態では、クライアント端末１０２と、推定サーバー１０４と、データサーバー１０５とがそれぞれ別の装置である場合について説明したが、これらの内少なくとも２つを単体の装置により構成してもよい。
また、本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【0076】
発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。
【符号の説明】
【0077】
１００：情報処理システム、１０１：デジタルカメラ、１０２：クライアント端末、１０４：推定サーバー、１０５：データサーバー、１０７：Ｘ線撮影装置、３０１：カメラ制御部、３０２：データ送受信部、３０５：クライアント端末制御部、３０６，３０８，３１１：データ送受信部、３０７：データサーバー制御部、３０９，３１３：データ記憶部、３１０：推定サーバー制御部、３１２：学習部、３１４：推定部、４０１：推定モデル
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】